Categories
Mit dem rasanten Wachstum von KI- und HPC (High-Performance Computing)-Anwendungen steigen das Daten-Volumen und die Computing-Dichte kontinuierlich. Ob beim Training großer Sprachmodelle, der Simulation des Klimawandels oder der Verarbeitung genetischer Sequenzen – diese Workloads sind stark auf schnellen und stabilen Daten-Zugriff angewiesen. Wenn Speicher-Systeme nicht mit GPUs und Algorithmen Schritt halten, werden sie zu kritischen Engpässen für Leistung und Kosteneffizienz.
Auch Szenarien wie 4K/8K-Video-Bearbeitung, VDI, Unternehmens-Virtualisierung und Cloud-Dienste stellen höhere Anforderungen an Stabilität und Echtzeitverarbeitung von Speicher-Systemen. Um diese Herausforderungen zu meistern, werden All-Flash-Architekturen sowie iSCSI + RDMA-Technologie zunehmend zur Mainstream-Wahl. Um ihr volles Potenzial auszuschöpfen, ist jedoch die kontinuierliche Optimierung der Softwareebene des Speicher-Systems entscheidend.
Der nächste Schritt in der Optimierung der Speicher-Architektur: Die entscheidende Rolle der Softwareebene
QNAP konzentriert sich konsequent darauf, das Potenzial der zugrunde liegenden Ressourcen im QuTS hero-Betriebssystem maximal auszuschöpfen. Das System hat mehrere wichtige leistungssteigernde Designs integriert und verbessert diese kontinuierlich auf mehreren Ebenen, um den sich wandelnden Anforderungen an Computing und Speicher gerecht zu werden.
Die Verbesserung der Softwareleistung ist jedoch ein fortlaufendes Unterfangen, insbesondere da Fortschritte in der Hardware ständig neue Möglichkeiten für tiefere Optimierungen eröffnen. Durch Systemanalysen hat das QNAP-Team zwei zentrale systembezogene Schwerpunkte als Ansatzpunkte für die kontinuierliche Optimierung identifiziert:
1. Leistungssteigerung für Multi-Core- und Parallel-Computing
Mit der stetig steigenden Anzahl an Prozessorkernen erschließen Systeme größere Potenziale für parallele Verarbeitung. Durch die Einführung eines Multithreading-Modells in weitere Arbeitsmodule und Task-Entkopplungsmechanismen, die kontinuierliche Analyse von Workload-Eigenschaften und Thread-Zuweisungsstrategien im Verarbeitungsablauf sowie die Optimierung von Thread-Affinität und Parallelverarbeitungsmechanismen kann die Multi-Core-Leistung in der Praxis besser ausgeschöpft werden.
2. Kontinuierliche Verbesserung von Speicher- undI/O-Subsystem-Effizienz
Obwohl die Prozessorleistung rasant gestiegen ist, spielt das Design der I/O-Kanäle weiterhin eine entscheidende Rolle bei der Optimierung der I/O-Effizienz. Durch die kontinuierliche Analyse von Engpässen in den Daten-Zugriffswegen und die Umsetzung notwendiger Designverbesserungen kann die Übertragungsleistung weiter gesteigert werden, sodass das Gesamtsystem effizient und reibungslos arbeitet.
Effiziente Daten-Kanäle aufbauen: Die Integration von iSCSI und ZFS in der Praxis
Als Antwort auf die genannten Engpässe hat das QNAP-Team die zentralen Daten-Kanäle tiefgreifend optimiert. Wir verfolgen einen integrierten Designansatz – vom Netzwerk-Stack über die iSCSI-Transportschicht bis hin zum Backend-Dateisystem (mit ZFS als Kern) – mit dem Ziel, jede Stufe des Daten-Flows zu optimieren und wirklich schnelle Übertragungen zu ermöglichen.
EinführungZero-Copy: Reduzierung der Daten-Migration und Entfesselung der Performance
In modernen Systemarchitekturen ist die Softwareintegration zwischen der Kommunikationsprotokollschicht und der Dateisystemschicht entscheidend für einen effizienten Daten-Austausch und Speicher. QuTS hero ermöglicht Zero-Copy-Daten-Übertragungen vom Netzwerk-Stack zur iSCSI-Schicht bis hinunter zur Dateisystemschicht, wodurch mehrere Daten-Kopien zwischen den Kernmodulen während der Übertragung vermieden werden. Dies reduziert die CPU-Belastung erheblich und steigert die Effizienz der Daten-Übertragung.
Dies reduziert nicht nur den Speicherbandbreitenverbrauch, sondern senkt auch die Latenz und ist besonders vorteilhaft für hochfrequente I/O-Workloads wie KI, HPC und Virtualisierung-Plattformen. Ein solches integriertes Design verwandelt iSCSI von einem traditionellen Speicher-Protokoll in eine zentrale Komponente eines leistungsstarken Daten-Pfads.
Parallele Entkopplung: Neugestaltung des iSCSI-Daten-Verarbeitungs-Workflows
Traditionell verarbeitet das iSCSI-Modul Paketempfang, Befehlsanalyse, Daten-Migration und Antwortübertragung sequenziell. Wenn Befehle und Daten linear verarbeitet werden, kann dies leicht zu Verarbeitungsengpässen führen. Um die Reaktionsfähigkeit in realen Anwendungen zu verbessern, wurde die Architektur mit Aufgabenentkopplung und Parallelisierung neu gestaltet.
Wir trennen die Planung der Daten-Verarbeitung und der Befehlsanalyse, sodass sie parallel ablaufen können und so gegenseitige Blockierungen zwischen den Verarbeitungsstufen reduziert werden. Gleichzeitig wird durch die Einführung des Konzepts des Lock Splitting Hilfe Ressourcenkonflikte durch globale Sperren vermieden, wodurch der Synchronisationsaufwand und die Daten-Migrationskosten bei paralleler Verarbeitung weiter reduziert werden. So werden letztlich leistungsstarke iSCSI-Dienste ermöglicht.
Schichtenübergreifende kollaborative Planung: iSCSI- und ZFS-Performance-Integration
In modernen Speicher-Systemen ist die Performancesynergie zwischen dem iSCSI-Transportmodul und dem ZFS-Dateisystem entscheidend für die gesamte I/O-Leistung. Durch koordinierte Thread-Planungsstrategien können beide unter hoher Parallelität unabhängig und ohne gegenseitige Beeinträchtigung arbeiten, was die Ressourcenauslastung auf mehreren Kernen und die Reibungslosigkeit der Daten-Verarbeitung weiter verbessert.
Fazit: Softwarepraktiken zur Freisetzung des Hardwarepotenzials
Nach der Optimierung konnten wir in mehreren simulierten Testszenarien deutliche Leistungssteigerungen beobachten, insbesondere bei zufälligen I/O-Lasten, mit spürbaren Verbesserungen der Systemreaktionsfähigkeit und Verarbeitungseffizienz. In einigen Testfällen wurden sogar Leistungssteigerungen von bis zu etwa 50 % festgestellt, was die Wirksamkeit der Systemoptimierungen in bestimmten Anwendungsszenarien deutlich belegt.
Diese Ergebnisse bestätigen, dass die abgestimmten Optimierungen von QNAP in Schlüsselmodulen wie iSCSI, ZFS und Planungslogik das Potenzial des Systems für Multi-Core-Verarbeitung und leistungsstarke Speicher-Architekturen effektiv freisetzen. Dies steigert die Gesamteffizienz der Daten-Übertragung und der Speicher-Pfade und bietet eine stabile und zuverlässige technische Grundlage sowie Performance für Hochleistungsrechnen und Virtualisierung-Anwendungen. Es zeigt auch QNAPs technisches Engagement, das Produkterlebnis kontinuierlich zu optimieren und die Fähigkeit zur Unterstützung kritischer Anwendungen zu verbessern.
Auch in Zukunft werden wir weiter in Architekturverbesserungen und Performance-Optimierungen investieren, um eine stabile, vorhersehbare und skalierbare Speicher-Plattform für verschiedene Nutzungsszenarien mit unterschiedlichen Größen und Lasttypen bereitzustellen.
