Problème avec NFS

[Mickelebof 16]

Bonjour,

Depuis quelques semaines, j'ai un phénomène étrange sur ma VM Emby.
C'est une VM, en Débian 11, sur laquelle ne tourne que Emby.
Le volume contenant mes médias est un montage NFS dont le serveur est l'hyperviseur qui héberge la VM (donc pas de réseau physique entre les 2).
Je n'ai pas changé cette architecture depuis au moins 4 ou 5 ans.
Depuis quelques semaines, j'ai des alarmes sur le fait que le volume NFS est injoignable depuis ma VM Emby :

Exemple aujourd'hui à 16h31 environ :

J'ai pu, à plusieurs reprises, faire quelques test au moment où le volume ne répond pas et je constate que :

  - Aucune perte de paquets réseau
  - Le serveur NFS répond bien aux commandes rpcinfo et showmount depuis la VM Emby
  - Le volume répond toujours sans problème sur une autre VM hébergée sur le même hyperviseur
  - Le problème ne semble arriver que lorsqu'il y a un client qui lit un média
  - A priori ça ne le fait qu'avec des clients sous Android ou Android TV, je ne constate jamais le problème avec Kodi + Emby plugin
  - L'indisponibilité dure de quelques secondes à 1min en moyenne

Le phénomène est apparu aujourd'hui pendant la lecture de ce client :

Ce sont tous les éléments que j'ai pu réunir jusqu'à aujourd'hui sur ce phénomène.
Je vous fourni aussi les logs Emby mais je n'ai pas l'impression qu'on y vois quelque chose.

Le problème semble avoir un lien avec le client Emby sous Android, peut être lié à la dernière version ?

Merci d'avance.
Mick

Edit : Ca vient de me le faire également avec Kodi + plugin emby...

Edited May 29, 2022 by Mickelebof

[Randdrick 24]

Bonjour,

Je vais peut-être pas te rassurer, mais pour ma part, je pencherai à un problème sur ton volume NFS et non à un problème lié Emby. As-tu fais des tests de lecture (ou des tests de charge) sur ton volume, en dehors d'Emby ?

[Mickelebof 16]

Salut,

Oui bien sur, je l'utilise d'ailleurs bien plus quand j'y dépose mes média qu'Emby lui même

Exemple lorsque j'y dépose mes medias (graph vert) depuis mon PC également en NFS et en bleu c'est de l'upload vers un autre serveur :

Et là, voilà l'utilisation par Emby :

D'ailleurs, comme je l'indique, le même volume NFS, depuis une autre VM (même OS) accède parfaitement au volume pendant que la VM Emby n'y parvient plus.

Je ne vois pas non plus l'adhérence avec Emby, mais c'est pour le moment la seule chose que j'ai pu constater jusque là.

J'ai prévu de passer le serveur en mode debug pour voir mais encore faut il que je sois devant quand ça arrive...

 

[Luke 37091]

On 5/28/2022 at 11:40 AM, Mickelebof said:

Bonjour,

Depuis quelques semaines, j'ai un phénomène étrange sur ma VM Emby.
C'est une VM, en Débian 11, sur laquelle ne tourne que Emby.
Le volume contenant mes médias est un montage NFS dont le serveur est l'hyperviseur qui héberge la VM (donc pas de réseau physique entre les 2).
Je n'ai pas changé cette architecture depuis au moins 4 ou 5 ans.
Depuis quelques semaines, j'ai des alarmes sur le fait que le volume NFS est injoignable depuis ma VM Emby :

Exemple aujourd'hui à 16h31 environ :

J'ai pu, à plusieurs reprises, faire quelques test au moment où le volume ne répond pas et je constate que :

  - Aucune perte de paquets réseau
  - Le serveur NFS répond bien aux commandes rpcinfo et showmount depuis la VM Emby
  - Le volume répond toujours sans problème sur une autre VM hébergée sur le même hyperviseur
  - Le problème ne semble arriver que lorsqu'il y a un client qui lit un média
  - A priori ça ne le fait qu'avec des clients sous Android ou Android TV, je ne constate jamais le problème avec Kodi + Emby plugin
  - L'indisponibilité dure de quelques secondes à 1min en moyenne

Le phénomène est apparu aujourd'hui pendant la lecture de ce client :

Ce sont tous les éléments que j'ai pu réunir jusqu'à aujourd'hui sur ce phénomène.
Je vous fourni aussi les logs Emby mais je n'ai pas l'impression qu'on y vois quelque chose.

Le problème semble avoir un lien avec le client Emby sous Android, peut être lié à la dernière version ?

Merci d'avance.
Mick

Edit : Ca vient de me le faire également avec Kodi + plugin emby...

Hi, what exactly do you mean by unreachable? What exactly is the problem in Emby?

[Randdrick 24]

8 hours ago, Mickelebof said:

Je ne vois pas non plus l'adhérence avec Emby, mais c'est pour le moment la seule chose que j'ai pu constater jusque là.

Ni moi, j'avoue.
Mais supposons que ce message t'induise en erreur. Qu'en fait, ton volume NFS ne soit plus accessible par Emby, parce qu'à un instant T, ta machine virtuelle Emby plante pour une raison ou pour une autre. As tu un monitoring de ressource de ta machine Emby (ou des logs) qui montreraient une utilisation des ressources à 100 % par exemple.
 

[Mickelebof 16]

1 hour ago, Luke said:

Hi, what exactly do you mean by unreachable? What exactly is the problem in Emby?

The volume is inaccessible, I can't even do an "ls" in it anymore.
But, still from the Emby VM, I can do an rpcinfo and a showmount on the NFS server and it responds well during the issue.

It seems to happen only when there is an Emby client reading content (but not systematically either).
When Emby is not in use (at night for example), I never have any problem.

43 minutes ago, Randdrick said:

Ni moi, j'avoue.
Mais supposons que ce message t'induise en erreur. Qu'en fait, ton volume NFS ne soit plus accessible par Emby, parce qu'à un instant T, ta machine virtuelle Emby plante pour une raison ou pour une autre. As tu un monitoring de ressource de ta machine Emby (ou des logs) qui montreraient une utilisation des ressources à 100 % par exemple.
 

Oui, j'ai un monitoring complet sur tous mes serveurs/VM/container

Encore une occurrence il y a un peu plus de 2h :

Aucun problème réseau (ni DROP, ni ERROR) :

Iface      MTU    RX-OK  RX-ERR  RX-DRP RX-OVR    TX-OK    TX-ERR TX-DRP TX-OVR Flg
ens18     1500 79137758      0      0     0      18418855     0      0      0 BMRU
lo       65536       12      0      0     0          12       0      0      0 LRU

Aucun problème de CPU :

Les pics sont normaux, j'ai 8 vCPU, le graph peut monter à 800%, exemple pendant un transcodage :

Mais rien à signaler pendant le problème NFS.

J'ai également une supervision complète qui me notifie au moindre problème :

La seule alarme que je reçois, c'est le montage NFS qui ne répond plus...
Et pour rappel, le montage ne répond plus uniquement sur la VM Emby, et seulement lorsqu'un client lit un contenu.

Le même volume NFS est parfaitement joignable et en permanence depuis d'autres VM et depuis mon PC portable.

En ce qui concerne l'installation de la VM, c'est simple, c'est une Debian 11 net-install + Emby, rien d'autre.
J'étais sur une kernel 5.10 (celui de debian 11) et j'ai testé sur un 5.16 (backports) => toujours pareil.

De mon expérience avec le NFS, que je pratique depuis plus de 15 ans, que ça soit chez moi ou à mon travail, je n'ai encore jamais vu ce genre de chose à cause d'une application.
En général, ce problème arrive à cause d'un problème réseau, et lorsque ça arrive, les commandes rpcinfo et showmount sont en timeout, ce qui n'est pas le cas ici.
Cependant, dans le cas présent, la seule chose qui semble être en lien, c'est Emby

Le problème a commencé alors que j'étais encore en version Emby 4.6.7.0, qui a tourné sans problème pendant longtemps.
Et il perdure avec la 4.7.0.60 et maintenant la 4.7.1.0.

Encore une fois, je n'ai jamais vu ce genre de problème lié à une application, donc je suis également dubitatif sur le fait qu'Emby en soit la cause, mais jusque là tout le pointe du doigt

Mick

 

 

 

Edited May 31, 2022 by Mickelebof

[Randdrick 24]

59 minutes ago, Mickelebof said:

Encore une fois, je n'ai jamais vu ce genre de problème lié à une application, donc je suis également dubitatif sur le fait qu'Emby en soit la cause, mais jusque là tout le pointe du doigt

Alors là.. Je suis aussi dubitatif que toi. Reste que quoiqu'il en soit, il y a forcément une chose qui déclenche indirectement ce problème.
Outre que le transcodage utilise aussi de l'espace disque (qu'il ne libère pas forcément correctement) et même si je doute que cela puisse venir de là, peux-tu vérifier si :

- Lors de la perte de ton montage NFS, est-ce qu'un client transcodait ?
- Le chemin de ton cache pour le transcodage est-il celui par défaut sur Emby, ou l'as tu personnalisé ?
- Quelle est la capacité disque restante de ton serveur Emby ?

[Mickelebof 16]

9 hours ago, Randdrick said:

Alors là.. Je suis aussi dubitatif que toi. Reste que quoiqu'il en soit, il y a forcément une chose qui déclenche indirectement ce problème.
Outre que le transcodage utilise aussi de l'espace disque (qu'il ne libère pas forcément correctement) et même si je doute que cela puisse venir de là, peux-tu vérifier si :

- Lors de la perte de ton montage NFS, est-ce qu'un client transcodait ?
- Le chemin de ton cache pour le transcodage est-il celui par défaut sur Emby, ou l'as tu personnalisé ?
- Quelle est la capacité disque restante de ton serveur Emby ?

Alors toutes les fois où j'ai pu constaté le problème, il n'y avait pas de transcodage.

Mais le système de la VM et la partition utilisée par le transcodage ne sont pas sur le NFS mais sur un disque NVMe.
Le volume NFS n'est utilisé que pour les médiathèques.

Mais j'ai eu une idée ce matin, je vais cloner ma VM et lui mettre une autre IP, donc elle sera strictement identique.

Et on verra si elle subit le même problème avec :
  - Emby lancé mais du coup utilisé par aucun client
  - Emby coupé

Si ça continue sur la VM originale et pas sur celle là, il n'y aura plus aucun doute possible sur l'implication de Emby sur ce phénomène

Edit : Voilà la VM est clonée, supervision et monitoring en place. Ne reste plus qu'à attendre.

Edited June 1, 2022 by Mickelebof

[Mickelebof 16]

Re,

Alors le verdict est tombé.

Nouvelles occurrences à 12h51 et 13h25, le volume est resté injoignable pendant 4min la première fois et quelques secondes la deuxième fois.

Il y avait un client en cours de visionnage à chaque fois :
  - 12h51 : Depuis "Emby for iOS 2.1.6" sur iphone XR.
  - 13h25 : Depuis "AndroidTv 2.0.70g" sur Nvidia Shield Pro

La VM clonée, avec Emby lancé (mais non utilisé), n'a pas rencontré le problème de joignabilité du volume NFS.
C'est donc forcément Emby qui cause ce problème

@Luke Avez le moyen de reproduire le problème en utilisant du NFS ?

Mick.

Edited June 1, 2022 by Mickelebof

[Luke 37091]

Or maybe it is the NFS volume that is having a problem with the file access? We have a lot of NFS users around here and no others are reporting this.

[Mickelebof 16]

This is unlikely.
On 1 or 2 files maybe, but then it would be on a multitude of files.

I tested the last 2 files that were playing during the problem.
I watched them, in NFS, but with VLC from my PC, and no reading problem...

I have no error in the logs, either on the server side or on the client side (except that the volume is not responding anymore)

In any case for the moment, there was no client connected the last 8 hours, and there was no problem to access the volume.

I just activated the debug mode on the NFS, to see if it brings more elements...

For your information, I also checked the status of my disks, no errors or even predictive failure.

[Randdrick 24]

14 hours ago, Mickelebof said:

Alors toutes les fois où j'ai pu constaté le problème, il n'y avait pas de transcodage.

Ce qui est quand même fou, c'est que si il n'y a aucun transcodage, le serveur ne fait que de servir de relais avec le client. A ce titre, le problème proviendrait de la couche réseau du serveur, mais si tel était le cas, je pense que le forum serait en feu. Est-ce que tu as activé le débogage au niveau de ton serveur Emby, histoire de voir si il y a pas quelque chose qui apparaitrait ? 

[Mickelebof 16]

Alors je n'ai pas activé le mode debug coté emby, mais je l'ai activé coté client NFS.

Le problème, c'est que ça plombe le serveur lol, le temps de tomber sur le problème, je vais remplir le FS de log.

Donc je l'ai désactivé pour le moment, il faudra que je puisse être là quand je l'active.

Je vous tiens au courant pour la suite