Categories
A medida que las aplicaciones de IA y HPC (computación de alto rendimiento) crecen rápidamente, los volúmenes de datos y la densidad de computación continúan aumentando. Ya sea entrenando grandes modelos de lenguaje, simulando el cambio climático o procesando secuencias genéticas, estas cargas de trabajo dependen en gran medida de un acceso rápido y estable a datos. Si los sistemas de Almacenamiento no logran mantenerse al ritmo de las GPU y los algoritmos, se convertirán en cuellos de botella críticos tanto para el rendimiento como para la rentabilidad.
De manera similar, escenarios como la edición de vídeo en 4K/8K, VDI, Virtualización empresarial y servicios en la nube también exigen mayor estabilidad y capacidades de procesamiento en tiempo real de los sistemas Almacenamiento. Para abordar estos desafíos, las arquitecturas All-Flash y la tecnología iSCSI + RDMA se están convirtiendo cada vez más en opciones principales. Sin embargo, para desbloquear todo su potencial, la clave está en la optimización continua de la capa de software del sistema Almacenamiento.
El siguiente paso en la optimización de la arquitectura Almacenamiento: el papel fundamental de la capa de software
QNAP se ha centrado constantemente en maximizar el potencial de los recursos subyacentes en el sistema operativo QuTS hero. El sistema ha incorporado varios diseños clave para mejorar el rendimiento y continúa mejorándolo en múltiples capas para satisfacer las demandas cambiantes de la computación y Almacenamiento.
Sin embargo, la mejora del rendimiento del software es un esfuerzo continuo, especialmente a medida que los avances en hardware abren constantemente nuevas oportunidades para una optimización más profunda. A través del análisis del sistema, el equipo de QNAP ha identificado dos áreas clave a nivel de sistema como puntos de entrada para la optimización continua:
1. Mejora del rendimiento para la computación multinúcleo y en paralelo
Con el aumento continuo en el número de núcleos de los procesadores, los sistemas están desbloqueando mayores capacidades para el procesamiento en paralelo. Al introducir un modelo multihilo en más módulos de trabajo y mecanismos de desacoplamiento de tareas, analizar continuamente las características de las cargas de trabajo y las estrategias de asignación de hilos dentro del flujo de procesamiento, y optimizar la afinidad de hilos junto con los mecanismos de procesamiento en paralelo, el rendimiento multinúcleo puede aprovecharse más plenamente en aplicaciones prácticas.
2. Mejora continua de la memoria yEficiencia del subsistema de E/S
Aunque el rendimiento del procesador ha mejorado rápidamente, el diseño de los canales de E/S sigue desempeñando un papel crucial en la optimización de la eficiencia de E/S. Al analizar continuamente los cuellos de botella en las rutas de acceso a datos e implementar las mejoras de diseño necesarias, se puede mejorar aún más el rendimiento de transmisión, asegurando que el sistema en su conjunto funcione de manera cohesionada para lograr la máxima eficiencia.
Construyendo canales de datos eficientes: la integración de iSCSI y ZFS en la práctica
En respuesta a los cuellos de botella mencionados, el equipo de QNAP realizó optimizaciones en profundidad en los canales principales de datos. Adoptamos un enfoque de diseño integrado desde la pila de red, pasando por la capa de transporte iSCSI, hasta el sistema de archivos de backend (con ZFS como núcleo), con el objetivo de optimizar cada etapa del flujo de datos y lograr una transmisión verdaderamente de alta velocidad.
PresentandoZero-Copy: Reduciendo la migración de datos y desatando el rendimiento
En las arquitecturas de sistemas modernos, la integración de software entre la capa de protocolo de comunicación y la capa del sistema de archivos es clave para lograr un intercambio eficiente de datos y Almacenamiento. QuTS hero permite la transferencia Zero-Copy de datos desde la pila de red hasta la capa iSCSI y hacia la capa del sistema de archivos, evitando múltiples copias de datos entre los módulos principales durante la transmisión. Esto reduce significativamente la carga de la CPU y mejora la eficiencia de la transferencia de datos.
Esto no solo reduce el consumo de ancho de banda de memoria, sino que también disminuye la latencia, lo que resulta especialmente beneficioso para cargas de trabajo de E/S de alta frecuencia como IA, HPC y plataformas de Virtualización. Este diseño integrado transforma iSCSI de un protocolo tradicional de Almacenamiento en un componente vital de una ruta de datos de alto rendimiento.
Desacoplamiento paralelo: Redefiniendo el flujo de procesamiento de datos de iSCSI
Tradicionalmente, el módulo iSCSI gestiona la recepción de paquetes, el análisis de comandos, la migración de datos y la transmisión de respuestas de forma secuencial. Cuando los comandos y datos se procesan de manera lineal, fácilmente pueden surgir cuellos de botella en el procesamiento. Para mejorar su capacidad de respuesta en aplicaciones reales, la arquitectura fue rediseñada con desacoplamiento de tareas y paralelización.
Separamos la programación del procesamiento de datos y el análisis de comandos para que se ejecuten en paralelo, reduciendo así el bloqueo mutuo entre las etapas de procesamiento. Al mismo tiempo, la introducción del concepto de Lock Splitting Ayuda evita la contención de recursos causada por bloqueos globales, reduciendo aún más la sobrecarga de sincronización y los costes de migración de datos en el procesamiento paralelo, permitiendo finalmente servicios iSCSI de alto rendimiento.
Programación colaborativa entre capas: Integración de rendimiento entre iSCSI y ZFS
En los sistemas modernos de Almacenamiento, la sinergia de rendimiento entre el módulo de transporte iSCSI y el sistema de archivos ZFS es clave para el rendimiento general de E/S. A través de estrategias coordinadas de programación de hilos, ambos pueden operar de forma independiente sin interferencias en escenarios de alta concurrencia, mejorando aún más la eficiencia en la utilización de recursos multinúcleo y la fluidez del procesamiento de datos.
Conclusión: Prácticas de software para liberar el potencial del hardware
Tras la optimización, observamos mejoras significativas en el rendimiento en múltiples escenarios de prueba simulados, especialmente bajo cargas aleatorias de E/S, con notables mejoras en la capacidad de respuesta y eficiencia de procesamiento del sistema en general. En algunos casos de prueba, incluso observamos mejoras de rendimiento de hasta aproximadamente un 50%, demostrando la clara efectividad de las optimizaciones del sistema en escenarios de aplicación específicos.
Estos resultados confirman que las optimizaciones coordinadas de QNAP en módulos clave como iSCSI, ZFS y la lógica de programación desbloquean eficazmente el potencial del sistema para el procesamiento multinúcleo y arquitecturas de Almacenamiento de alto rendimiento. Esto mejora la eficiencia general de la transmisión de datos y las rutas de Almacenamiento, proporcionando una base técnica y un rendimiento estables y fiables para la computación de alta densidad y aplicaciones de Virtualización. También demuestra el compromiso técnico de QNAP de optimizar continuamente la experiencia del producto y mejorar su capacidad para soportar aplicaciones críticas.
En el futuro, continuaremos invirtiendo en mejoras arquitectónicas y optimizaciones de rendimiento para proporcionar una plataforma de Almacenamiento estable, predecible y escalable para diversos escenarios de uso con diferentes escalas y tipos de carga.
