Categories
Con la rapida crescita delle applicazioni AI e HPC (High-Performance Computing), i volumi di dati e la densità di calcolo continuano ad aumentare. Che si tratti di addestrare grandi modelli linguistici, simulare i cambiamenti climatici o elaborare sequenze genetiche, questi carichi di lavoro dipendono fortemente da un accesso a dati veloce e stabile. Se i sistemi Archiviazione non riescono a tenere il passo con GPU e algoritmi, diventeranno colli di bottiglia critici sia per le prestazioni che per l’efficienza dei costi.
Allo stesso modo, scenari come il montaggio video 4K/8K video, VDI, Virtualizzazione aziendale e servizi cloud richiedono anch’essi maggiore stabilità e capacità di elaborazione in tempo reale dai sistemi Archiviazione. Per affrontare queste sfide, le architetture All-Flash e la tecnologia iSCSI + RDMA stanno diventando scelte sempre più diffuse. Tuttavia, per sbloccare appieno il loro potenziale, la chiave risiede nell’ottimizzazione continua dello strato software del sistema Archiviazione.
Il prossimo passo nell’ottimizzazione dell’architettura Archiviazione: il ruolo cruciale dello strato software
QNAP si è sempre concentrata sulla massimizzazione del potenziale delle risorse sottostanti nel sistema operativo QuTS hero. Il sistema ha incorporato diversi design chiave per migliorare le prestazioni e continua a perfezionarlo su più livelli per soddisfare le esigenze in evoluzione di calcolo e Archiviazione.
Tuttavia, il miglioramento delle prestazioni software è un impegno continuo, soprattutto perché i progressi dell’hardware aprono costantemente nuove opportunità per ottimizzazioni più profonde. Attraverso l’analisi del sistema, il team QNAP ha identificato due aree chiave a livello di sistema come punti di partenza per l’ottimizzazione continua:
1. Miglioramento delle prestazioni per il calcolo multi-core e parallelo
Con l’aumento continuo del numero di core dei processori, i sistemi stanno sbloccando maggiori capacità di elaborazione parallela. Introducendo un modello multi-threading in più moduli di lavoro e meccanismi di decoupling dei task, analizzando continuamente le caratteristiche dei carichi di lavoro e le strategie di allocazione dei thread nel flusso di elaborazione, e ottimizzando l’affinità dei thread insieme ai meccanismi di elaborazione parallela, le prestazioni multi-core possono essere sfruttate più pienamente nelle applicazioni pratiche.
2. Miglioramento continuo della memoria eEfficienza del sottosistema I/O
Sebbene le prestazioni dei processori siano migliorate rapidamente, la progettazione dei canali I/O gioca ancora un ruolo cruciale nell’ottimizzazione dell’efficienza I/O. Analizzando continuamente i colli di bottiglia nei percorsi di accesso a dati e implementando i necessari miglioramenti progettuali, le prestazioni di trasmissione possono essere ulteriormente potenziate, garantendo che l’intero sistema operi in modo coeso per raggiungere la massima efficienza.
Costruire canali dati efficienti: l’integrazione di iSCSI e ZFS nella pratica
In risposta ai suddetti colli di bottiglia, il team QNAP ha effettuato ottimizzazioni approfondite sui canali principali di dati. Adottiamo un approccio di progettazione integrata dallo stack di rete, attraverso il livello di trasporto iSCSI, fino al file system di backend (con ZFS come nucleo), con l’obiettivo di ottimizzare ogni fase del flusso dati e ottenere una trasmissione realmente ad alta velocità.
IntroduzioneZero-Copy: Ridurre la migrazione di dati e liberare le prestazioni
Nelle architetture di sistema moderne, l’integrazione software tra il livello del protocollo di comunicazione e il livello del file system è fondamentale per ottenere uno scambio efficiente di dati e Archiviazione. QuTS hero consente il trasferimento Zero-Copy di dati dallo stack di rete al livello iSCSI fino al livello del file system, evitando molteplici copie di dati tra i moduli principali durante la trasmissione. Questo riduce significativamente il carico sulla CPU e migliora l’efficienza del trasferimento di dati.
Ciò non solo riduce il consumo di banda di memoria, ma abbassa anche la latenza, risultando particolarmente vantaggioso per carichi di lavoro I/O ad alta frequenza come AI, HPC e piattaforme Virtualizzazione. Un design così integrato trasforma iSCSI da un protocollo Archiviazione tradizionale a un componente vitale di un percorso dati ad alte prestazioni.
Decoupling parallelo: rimodellare il workflow di elaborazione dati di iSCSI
Tradizionalmente, il modulo iSCSI gestisce la ricezione dei pacchetti, l’analisi dei comandi, la migrazione di dati e la trasmissione delle risposte in modo sequenziale. Quando i comandi e dati vengono elaborati in modo lineare, si possono facilmente creare colli di bottiglia. Per migliorarne la reattività nelle applicazioni reali, l’architettura è stata riprogettata con disaccoppiamento dei task e parallelizzazione.
Separiamo la schedulazione dell’elaborazione di dati e l’analisi dei comandi per eseguirle in parallelo, riducendo così il blocco reciproco tra le fasi di elaborazione. Allo stesso tempo, introducendo il concetto di Lock Splitting Guida si evita la contesa delle risorse causata dai lock globali, riducendo ulteriormente il sovraccarico di sincronizzazione e i costi di migrazione di dati nell’elaborazione parallela, abilitando infine servizi iSCSI ad alte prestazioni.
Schedulazione collaborativa cross-layer: integrazione delle prestazioni tra iSCSI e ZFS
Nei moderni sistemi Archiviazione, la sinergia prestazionale tra il modulo di trasporto iSCSI e il file system ZFS è fondamentale per le prestazioni I/O complessive. Attraverso strategie coordinate di schedulazione dei thread, entrambi possono operare in modo indipendente senza interferenze in scenari ad alta concorrenza, migliorando ulteriormente l’efficienza di utilizzo delle risorse multi-core e la fluidità dell’elaborazione di dati.
Conclusione: pratiche software per sbloccare il potenziale dell’hardware
Dopo l’ottimizzazione, abbiamo osservato notevoli miglioramenti delle prestazioni in diversi scenari di test simulati, soprattutto sotto carichi I/O casuali, con miglioramenti significativi nella reattività e nell’efficienza di elaborazione del sistema. In alcuni casi di test, abbiamo persino osservato miglioramenti delle prestazioni fino a circa il 50%, dimostrando l’efficacia delle ottimizzazioni di sistema in specifici scenari applicativi.
Questi risultati confermano che le ottimizzazioni coordinate di QNAP in moduli chiave come iSCSI, ZFS e la logica di schedulazione sbloccano efficacemente il potenziale del sistema per l’elaborazione multi-core e le architetture Archiviazione ad alte prestazioni. Questo migliora l’efficienza complessiva della trasmissione di dati e dei percorsi Archiviazione, fornendo una base tecnica stabile e affidabile e prestazioni per il calcolo ad alta densità e le applicazioni Virtualizzazione. Dimostra inoltre l’impegno tecnico di QNAP nel continuare a ottimizzare l’esperienza del prodotto e migliorare la capacità di supportare applicazioni critiche.
In futuro continueremo a investire in miglioramenti architetturali e ottimizzazioni delle prestazioni per fornire una piattaforma Archiviazione stabile, prevedibile e scalabile per diversi scenari d’uso con differenti scale e tipologie di carico.
