Emby auf DS 423+ sehr langes Scannen der Bibliothek - NAS blockiert

[PeerNAS 2]

Hallo zusammen.

Dieses Thema habe ich in den letzten Wochen auf der Synology-Website schon angesprochen und inzwischen konnte ich immer noch keine Ruhe finden.
Ich habe nach dem damaligen Installieren von Emby auf meiner (fast) neuen DS 423+ mit 2x 4 TB WD Red Plus und 18 GB RAM Emby nicht zum Laufen gebracht.
Den ganzen Inhalt von Videos und Audiodateien zu scannen hat über eine Woche in Anspruch genommen und am Ende hat sich die DS aufgehängt und konnte nicht mehr herunterfahren bzw neu gestartet werden. Nur das Ziehen des Netzkabels an der DS und anschließenden Starten und deinstallieren von Emby hat mein NAS wieder zu Leben erwecken können.

Nun habe ich nicht gleich aufgeben wollen und bin es kleiner angegangen. Ich habe Emby nochmals installiert, mit der neuen Version versehen und nur eine Bibliothek mit meinen Audiodateien erstellt und einscannen lassen. Dies sind ca. 1,5 TB.
Nach einer Woche einlesen wieder selbes Problem. NAS meldet mir beim Einlesen immer wieder, das der Server verloren gegangen ist, um nach 2 Stunden sich wieder gefunden zu haben. Dies meldet er solange, bis das Einlesen scheinbar beendet ist und die DS hängt sich danach auf. Die ganze Zeit zeigt mir die Bibliothek mir immer 28% an, aber dies seit dem Beginn des Einlesens.
Also wieder Netzkabel gezogen, eingesteckt und DS neu gestartet. Emby aufgerufen, aber nichts von meinen Daten zu sehen.
Wenn ich mal mit Plex auf meine Daten zugreifen möchte, um Nachzusehen, ob überhaupt noch zum Einlesen drauf ist, meldet Plex beim Starten einer Datei, das nicht genug CPU vorhanden ist. Emby scheint immer oder schon wieder mein NAS zu einlesen lahm zu legen.
Ich kann inzwischen nicht mehr verstehen, warum dies so ist. Mit Plex lief bis jetzt alles ohne große Probleme.
Ich wollte mit Emby eigentlich eine Alternative für Videostation schaffen. Nun dachte ich, versuche ich wenigstens meine Audiodateien für meinen Smart-TV mit Emby darauf zu zugreifen, weil Plex hierzu nicht so gut dafür geeignet ist. Da dachte ich, dass durch die vielen positiven Hinweise hier im Forum, Emby zumindest ein Versuch wert wäre.

Also stellt sich mir die Frage, was mache ich falsch (kann man da überhaupt etwas falsch machen)?
Liegt es an der Hardware oder an den Einstellungen?

So sieht es nach dem Neustart bei mir aus. Ich habe die NAS nur an, ich streame nichts und installiere nichts.

Vielleicht hat jemand das gleich Problem und eine Lösung?
Für jeden Hinweis bin ich dankbar.

Gruß Peer

 

Seit einer Woche...

Edited December 21, 2024 by PeerNAS
edit

[weyon668 8]

Da stimmt was nicht, meine ca. 11TB an Filme wurden in ein paar Stunden analysiert (DS1520+). Hast du das erstellen der Videovorschau beim anlegen der Media Library auch deaktiviert? Sonst kann das wirklich ewig dauern.

[PeerNAS 2]

Hallo weyon668.

Vielen Dank für deine Antwort.

Ich habe gestern zum dritten Mal Emby von meiner DS entfernt, weil mich der ständige Traffic und das damit verbundene blockieren des NAS genervt haben.

Mit ein wenig Abstand habe ich über die Ursache nachgedacht, ob vielleicht zu viele Einstellungen für das automatische Herunterladen von Infos aktiviert sind/waren.

Auf die von dir genannte Video-Vorschau konnte ich aber nicht finden.

Aber selbst wenn sie aktiv gewesen wäre, könnte es doch nicht so ewig dauern bei 1,5 TB Audio-Dateien, wenn du deine Dateien mit um ein vielfaches mehr an Files weniger Zeit benötigst.

Momentan bin ich überfragt, woran es sonst noch liegen kann.

Gruß Peer

 

[weyon668 8]

Siehe Screenshot für Videovorschau deaktivieren, unter Eigenschaften der Media Library

 

Edited December 22, 2024 by weyon668

[PeerNAS 2]

Ich habe zum Versuch die Desktop-Version (Win 10 64bit) von Emby installiert und darüber die Audiodateien einlesen lassen. Ich habe auch alle "automatischen" Suchmaschinen und jegliche Vorschauen beim Erstellen der Bibliothek ausgenommen. Dabei scannt Emby in der Tat schneller und hat nach 5 Stunden die 1,5 TB eingelesen. Danach hat sich die NAS wieder aufgehängt, die Emby-App hat nichts gefunden bzw. hat sich beim erneuten Starten auch aufgehangen.

Es kommt mir die Idee, dass eventuell an den Dateien (oder den Tags) der mp3-Dateien etwas dafür sorgt, dass das Einlesen Probleme bereitet.

Die Videovorschau-Miniaturansichten spielen bei den Audiodateien eh keine Rolle und werden auch beim Erstellen der Bibliothek nicht angeboten.

Jetzt hat sich soeben die Desktop-App auch aufgehängt !!!!!

Edited December 22, 2024 by PeerNAS

[weyon668 8]

Tritt das Problem nur beim scanner von Audio Daten auf oder auch mit Videos?

[PeerNAS 2]

Ursprünglich hatte ich alles einlesen lassen wollen, also Videos, Audios und Fotos. Aber diese Größenordnung brach scheinbar mein ganzes System zum "Einsturz". Also habe ich langsam anfangen wollen und erst einmal mit den Musikdateien begonnen, da hier die Größe am niedrigsten war.

Nun warte ich ab, bis die Audio-Dateien von Emby eingelesen wurden (Emby scannt nun erneut, als ich alles "Hard-Resettet" und neu gestartet habe), und dann mache ich mich mal an die Videos und schau, ob es besser läuft. Scheint das Scannen der Musik-Dateien nicht erfolgreich zu werden, werde ich Emby deinstallieren, und zwar auf NAS und Desktop.

[Carlo 4560]

Hi

Have you looked at the server log to see what files it was working when it has this issue?
What about errors in the log? Do you see any? If so, it is repeating over and over?

Have you checked the disks in storage manager to make sure it's not a disk issue?
How about system resources?

• Is it running out of storage space?
• How much memory do you have?
• How is available memory when it stops?

[PeerNAS 2]

Hi Carlo.

Vielen Dank, dass du dich gemeldet hast.

Quote

Have you looked at the server log to see what files it was working when it has this issue?
What about errors in the log? Do you see any? If so, it is repeating over and over?

Ich bin nur Laie auf dem Gebiet von NAS und den dazugehörigen Einstellungen und Protokollen. Daher kann ich nicht sagen, wo ich nachschauen kann bzw. wo ich die von dir erwähnten Protokolle einlesen kann.

Nur so viel kann ich sagen, dass ich nach ca. 2 Wochen durchlaufen von Emby keinen Erfolg hatte und mein NAS regelmäßig zusammenbrach und der Server verlor gegangen ist und sich danach wieder neu aufbaute, und das zwei bis dreimal am Tag.

Quote

Have you checked the disks in storage manager to make sure it's not a disk issue?
How about system resources?

Das System hat im Bezug des Speichers keine Probleme erkannt. Plex und Media-Server von Synology haben keine Probleme mit dem System gehabt.

Quote

Is it running out of storage space?
How much memory do you have?

Ich habe noch ca 800 GB freien Speicher bei 2x 4TB im Raid SHR. Ich habe mir eine weitere 4TB HDD geordert und möchte damit meinen Speicher erweitern, um das Problem mit Speichermangel auszugrenzen.

Quote

How is available memory when it stops?

Hier bin ich ebenfalls nicht in der Lage zu verstehen, wie ich als Laie zu diesen Informationen gelange.

 

Schlussendlich habe ich aktuell Emby wieder entfernt, damit ich über die Feiertage auf meine Dateien zugreifen kann, denn solange Emby gearbeitet bzw. gescannt hat, konnte ich das NAS nicht nutzen.

Wenn ich die neue HDD habe und eingebaut ist, versuche ich es erneut. Wenn das nicht gelingen sollte, werde ich mich wohl mit dem Gedanken anfreunden müssen, Emby nicht nutzen zu können, bis eine Lösung gefunden wurde. Ich hoffe, dass es weitere Nutzer gibt, die vor gleichen Problem stehen.

Regards

Peer

[Carlo 4560]

  

On 12/21/2024 at 4:07 AM, PeerNAS said:

Scanning the entire content of videos and audio files took over a week and in the end the DS hung up and could not be shut down or restarted. Only pulling the power cable on the DS and then starting and uninstalling Emby was able to bring my NAS back to life.
..

So I pulled the power cable again, plugged it in and restarted DS. Emby called, but I couldn't see anything of my data.

Don't do that. You're playing with fire and will get burnt doing that, sooner than later. That's an easy way to corrupt disks & volumes. Just to be safe, you can run a full check of your disks & volumes in storage manager. When your NAS comes to a halt, it's almost always not "halted" but has a shortage of resources of some kind and there are extra threads running trying to manage or free up resources, which can help, but often times the offending app will continue to suck up freed resources as fast as they can be freed until no additional resources are available. That's a bad situation to be in. We don't know the cause of this yet, but having a hunch, I'm thinking your running out of RAM caused by file scanning when you have a lot of errors showing up in the server log. If I'm wrong this won't hurt anything, but if I'm correct, this will give you two notifications at 70% & 80% RAM usage, followed by a notification and Emby Restart at 90% memory.

Steps to set up notifications and automatic restart of Emby Server on your Synology NAS when RAM usage gets high:

1. Set up Notifications

• Go to Control Panel > Notification.

• Create three new notification rules:

• Rule 1: 70% RAM Warning

  Event Source: "System"

  Event: "System health"

  Severity: "Warning"

  Condition: "Memory" > "70%"

  Actions: Choose your notification methods (email, etc.).

  Name: "RAM Usage 70% Warning"

  Rule 2: 80% RAM Warning

  Duplicate the 70% rule.

  Edit the duplicated rule:

  Condition: Change the value to "80%"

  Name: "RAM Usage 80% Warning"

  Consider making the notification method more urgent.

  Rule 3: 90% RAM Warning & Emby Restart

  Event Source: "System"

  Event: "System health"

  Severity: "Warning"

  Condition: "Memory" > "90%"

  Actions:

  Choose your notification methods.

  In the message body, add a line like: "Warning: RAM usage has reached 90%. Emby Server will be restarted automatically."

  Name: "RAM Usage 90% - Restarting Emby"

2. Configure Automatic Emby Server Restart

• Go to Control Panel > Task Scheduler.
• Click "Create" and select "Triggered Task."
• General Settings:

  Name: "Restart Emby Server (High RAM)"

  User: "root"

• Schedule:

  Run on event: Select this option.

  Event: "System health"

  Condition:

  Source: "Memory"

  Operator: ">"

  Value: "90%" (include the percent sign)

• Task Settings:

  Action: "Restart package"

  Package: "Emby Server"

• Enable the task.
•  

On 12/21/2024 at 4:07 AM, PeerNAS said:

Now I didn't want to give up right away and took it smaller. I installed Emby again, provided it with the new version and only created a library with my audio files and had it scanned. This is about 1.5 TB.
After a week of reading again, the same problem. NAS keeps telling me when reading that the server has been lost, only to have found itself again after 2 hours. It reports this until the reading is apparently finished and the DS hangs up afterwards. All the time, the library always shows me 28%, but this has been the case since the beginning of the scan.

If you uninstall and then reinstall Emby Server, but don't manually remove the installation folders, you will simply be "updating" the executable and dynamic link libraries, but won't be touching any of the config, file-based settings, database files, internal emby user, etc.   So in this case, all the non-music files had to be removed from the system as well as scan the new music filles.  Did you make sure your music files had good internal tagging?  Emby reads the metadata directly from the audio files and uses this as the primary source of data for these files.  So your music content will be as good or bad as the meta data of the audio files.

Can you upload the current server log or two for us to take look at?
You can take a look at them as well to see if there are a lot of errors. If you see errors in the log and understand the problem (ie permission issue of media), you can try and fix the issue yourself first.

 

 

[PeerNAS 2]

Hallo Carlo.

Frohes Neues Jahr.

Quote

Wir kennen die Ursache dafür noch nicht, aber ich habe eine Ahnung, dass Ihnen der RAM ausgeht, weil die Dateiprüfung durchgeführt wird, während im Serverprotokoll viele Fehler angezeigt werden. Wenn ich falsch liege, schadet das nichts, aber wenn ich richtig liege, erhalten Sie zwei Benachrichtigungen bei 70 % und 80 % RAM-Auslastung, gefolgt von einer Benachrichtigung und einem Emby-Neustart bei 90 % Speicher.

Sind 18 GB RAM zu wenig? Wenn dies wirklich der Grund ist, dann würde Emby für mich nicht in Frage kommen, denn noch mehr RAM kann ich nicht adressieren und wäre für mich auch kein Grund, nur wegen Emby aufzurüsten.

Ich habe jetzt noch eine HDD mit 4 TB eingebaut, um den Speicher zu erweitern. Inzwischen hatte ich Emby vorerst deinstalliert. Eventuell unternehme ich noch einmal einen letzten Versuch und installiere Emby.

Quote

If you uninstall and then reinstall Emby Server, but don't manually remove the installation folders, you will simply be "updating" the executable and dynamic link libraries, but won't be touching any of the config, file-based settings, database files, internal emby user, etc.   So in this case, all the non-music files had to be removed from the system as well as scan the new music filles.

Ich kann dies nicht verstehen!. Wie soll ich damit umgehen, ohne die physischen Dateien zu ändern?

Quote

Did you make sure your music files had good internal tagging?  Emby reads the metadata directly from the audio files and uses this as the primary source of data for these files.  So your music content will be as good or bad as the meta data of the audio files.

Ich habe meine Audio-Dateien so geordnet...

\\music\pop_rock\A\AC+DC\[[2008] Black Ice (Leidseplein Presse B.V. - 88697392382)\01) AC+DC - Rock 'n' Roll Train...

und im gleichen Ordner noch die Playlist-Datei "AC+DC - Black Ice.m3u" und als Tag die Version ID3v2.3

 

[PeerNAS 2]

Hallo.

Ich habe jetzt Emby erneut installiert, eine Bibliothek 'Musik' angelegt...

..wobei meine Struktur "/volume1/music" für Musik ist. (volume1/video für Filme, Serien, Musikvideos)

Dann habe ich alle Einstellungen von den Post 5 (22 Dez 2024) übernommen und bin auf 'Bibliothek scannen'. Nun sprang der Scan gleich auf 28%...

Heute ist der 13.01.2025 und seit 17:20 arbeitet der Scan.

Mal sehen, wie lang die 1,5 TB Audiodateien brauchen.........

 

Edited January 13, 2025 by PeerNAS

[PeerNAS 2]

Bis jetzt (14.01.2025 12:00) arbeitet der Emby Server und blockiert mein NAS. Ich kann nicht einmal auf die Einstellungen vom Emby-Server zugreifen.

Ich befürchte, das das Problem bei mir weiterhin besteht, obwohl ich HDD-Speicher erweitert habe und 18GB RAM besitze.

Ich warte noch zwei Tage...

[PeerNAS 2]

Bis jetzt (14.01.2025 12:00) arbeitet der Emby Server und blockiert mein NAS. Ich kann nicht einmal auf die Einstellungen vom Emby-Server zugreifen.

Ich befürchte, das das Problem bei mir weiterhin besteht, obwohl ich HDD-Speicher erweitert habe und 18GB RAM besitze.

Ich warte noch zwei Tage...

[PeerNAS 2]

14.01.2025 18:22

... derzeit läuft sich das NAS heiss...

[Neminem 1518]

Well from your screen shots you are using /volume1

Are your music in that folder or in a sub folder of that.

/volume1/music

Do you also have 

/volume1/movies ?

/volume1/tvshows ?

[PeerNAS 2]

21 minutes ago, Neminem said:

Nun, Ihren Screenshots zufolge verwenden Sie /volume1

Befindet sich Ihre Musik in diesem Ordner oder in einem Unterordner davon?

/Volume1/Musik

Haben Sie auch 

/Volume1/Filme?

/volume1/tvshows ?

Thanx for your answer.

Yes.
volume1/music
volume1/video/Filme

volume1/video/Serien

...

Wenn ich eine Bibliothek erstelle und als Ordner volume1/music anlege und scannen lasse, passiert nichts...

 

[Neminem 1518]

 OK that's weird.

Devs will need logs.

 

[PeerNAS 2]

Ich komme aktuell nicht auf die Einstellungen, daher kann ich die Protokolle nicht öffnen bzw herunterladen....

Ich vermute, das die Zuordnung des Ordner volume1/ nicht richtig ist, sondern volume1/music heißen muss.

Aber wie #schon geschrieben, passiert bei letzteren nichts beim Scannen, obwohl 1,5 TB im Ordner volume1/music liegen.

[Neminem 1518]

You can ssh into the server and get the logs that way.

I don't know Synology so can't help you in that regards.

 

But I suspect some sort of file/folder permissions.

Edited January 14, 2025 by Neminem

[PeerNAS 2]

Das Synology-NAS wird auch blockiert.

Ich habe in der Tat keine Ahnung davon, ich bin nur Medien-Nutzer.

Deshalb muss ich mich damit erstmal befassen.

Ich habe den Server neu starten lassen. Ich werde sehen, ob er sich überreden lässt...

Für heute gebe ich auf...

 

Danke Neminem für deine Hilfe

[PeerNAS 2]

Ich habe alle verfügbaren Protokolle nach dem Neustart von Emby und NAS heruntergeladen und hier sind sie...

Da die Dateigrößen zu groß sind, lade ich es auf zweimal hoch

embyserver-63872386125.txt embyserver-63872394932.txt hardware_detection-63872385579.txt hardware_detection-63872395031.txt hardware_detection-63872518347.txt

[PeerNAS 2]

embyserver-63872409600.txt hardware_detection-63872518347.txt

[Luke 42077]

Hi, you configured a media library using all of /volume1. Can you try instead removing that and adding a library using your actual music folder path?

 

[Neminem 1518]

 As I suspected all your sub folders have permission issues, that you need to fix.

And by adding /volume1

Emby will try all your sub folders, and error out.

2025-01-13 17:20:38.547 Error App: Error resolving path /volume1/music
    *** Error Report ***
    Version: 4.8.10.0
    Command line: /volume1/@appstore/EmbyServer/system/EmbyServer.dll -programdata /var/packages/EmbyServer/var -ffdetect /var/packages/EmbyServer/target/bin/ffdetect -ffmpeg /var/packages/EmbyServer/target/bin/ffmpeg -ffprobe /var/packages/EmbyServer/target/bin/ffprobe -nolocalportconfig -ignore_vaapi_enabled_flag -pidfile /var/packages/EmbyServer/var/EmbyServer.pid -defaultdirectory /volume1/Public -updatepackage emby-server-synology72_{version}_x86_64.spk
    Operating system: Linux version 4.4.302+ (root@build5) (gcc version 12.2.0 (GCC) ) #72806 SMP Thu Sep 5 13:44:44 CST 2024
    Framework: .NET 6.0.31
    OS/Process: x64/x64
    Runtime: volume1/@appstore/EmbyServer/system/System.Private.CoreLib.dll
    Processor count: 4
    Data path: /var/packages/EmbyServer/var
    Application path: /volume1/@appstore/EmbyServer/system
    System.UnauthorizedAccessException: System.UnauthorizedAccessException: Access to the path '/volume1/music' is denied.
     ---> System.IO.IOException: Permission denied
       --- End of inner exception stack trace ---
       at System.IO.Enumeration.FileSystemEnumerator`1.CreateDirectoryHandle(String path, Boolean ignoreNotFound)
       at System.IO.Enumeration.FileSystemEnumerator`1.Init()
       at System.IO.Enumeration.FileSystemEnumerator`1..ctor(String directory, Boolean isNormalized, EnumerationOptions options)
       at System.IO.Enumeration.FileSystemEnumerable`1..ctor(String directory, FindTransform transform, EnumerationOptions options, Boolean isNormalized)
       at System.IO.Enumeration.FileSystemEnumerableFactory.FileSystemInfos(String directory, String expression, EnumerationOptions options, Boolean isNormalized)
       at System.IO.DirectoryInfo.InternalEnumerateInfos(String path, String searchPattern, SearchTarget searchTarget, EnumerationOptions options)
       at System.IO.DirectoryInfo.EnumerateFileSystemInfos()
       at Emby.Server.Implementations.IO.ManagedFileSystem.EnumerateFileSystemInfos(DirectoryInfo dir, Boolean recursive)
       at Emby.Server.Implementations.IO.ManagedFileSystem.GetFileSystemEntries(String path, Boolean recursive, FileSystemCredentials credentials)
       at MediaBrowser.Controller.Providers.DirectoryService.GetFileSystemEntriesInternal(String path)
       at System.Collections.Concurrent.ConcurrentDictionary`2.GetOrAdd(TKey key, Func`2 valueFactory)
       at MediaBrowser.Controller.Providers.DirectoryService.GetFileSystemEntries(String path, Boolean clearCache)
       at MediaBrowser.Controller.Providers.DirectoryService.GetFileSystemEntries(String path)
       at MediaBrowser.Controller.Library.ItemResolveArgs.GetFileSystemChildren()
       at MediaBrowser.Controller.Library.ItemResolveArgs.ContainsFileSystemEntryByName(String name, Boolean caseSensitive)
       at Emby.Server.Implementations.Library.LibraryManager.ShouldResolvePathContents(ItemResolveArgs args)
       at Emby.Server.Implementations.Library.LibraryManager.ResolvePath(FileSystemMetadata fileInfo, IDirectoryService directoryService, Folder parent, LibraryOptions libraryOptions)
       at Emby.Server.Implementations.Library.LibraryManager.ResolveFileList(List`1 fileList, IDirectoryService directoryService, Folder parent, LibraryOptions libraryOptions)
    Source: System.Private.CoreLib
    TargetSite: IntPtr CreateDirectoryHandle(System.String, Boolean)
    InnerException: System.IO.IOException: Permission denied
    Source: 
    TargetSite: