Categories
AI와 HPC(고성능 컴퓨팅) 애플리케이션이 빠르게 성장함에 따라, 데이터 볼륨과 컴퓨팅 밀도가 계속 증가하고 있습니다. 대형 언어 모델 학습, 기후 변화 시뮬레이션, 유전자 서열 처리 등 이러한 작업는 빠르고 안정적인 데이터 접근에 크게 의존합니다. 만약 스토리지 시스템이 GPU와 알고리즘의 속도를 따라가지 못한다면, 성능과 비용 효율성 모두에 치명적인 병목이 될 수 있습니다.
마찬가지로 4K/8K 영상 편집, VDI, 엔터프라이즈 가상화, 클라우드 서비스와 같은 시나리오에서도 스토리지 시스템의 더 높은 안정성과 실시간 처리 능력이 요구됩니다. 이러한 과제에 대응하기 위해 올플래시 아키텍처와 iSCSI + RDMA 기술이 점점 주류 선택지로 자리잡고 있습니다. 하지만 이들의 잠재력을 완전히 발휘하려면 스토리지 시스템의 소프트웨어 계층을 지속적으로 최적화하는 것이 핵심입니다.
스토리지 아키텍처 최적화의 다음 단계: 소프트웨어 계층의 핵심 역할
QNAP은 QuTS hero 운영체제에서 기본 리소스의 잠재력을 극대화하는 데 꾸준히 집중해왔습니다. 시스템은 여러 핵심 성능 강화 설계를 도입했으며, 컴퓨팅과 스토리지의 진화하는 요구를 충족하기 위해 여러 계층에서 지속적으로 개선되고 있습니다.
하지만 소프트웨어 성능 향상은 지속적인 과제이며, 특히 하드웨어의 발전이 더 깊은 최적화의 기회를 계속 열어주고 있습니다. 시스템 분석을 통해 QNAP 팀은 지속적인 최적화를 위한 진입점으로 두 가지 핵심 시스템 레벨의 중점 영역을 확인했습니다:
1. 멀티코어 및 병렬 컴퓨팅 성능 향상
프로세서 코어 수가 지속적으로 증가함에 따라 시스템은 병렬 처리 능력을 더욱 확장하고 있습니다. 더 많은 작업 모듈에 멀티스레딩 모델과 작업 분리 메커니즘을 도입하고, 처리 흐름 내에서 작업 특성과 스레드 할당 전략을 지속적으로 분석하며, 스레드 어피니티 및 병렬 처리 메커니즘을 최적화함으로써 실제 응용에서 멀티코어 성능을 더욱 극대화할 수 있습니다.
2. 메모리 및I/O 서브시스템 효율성 지속 개선
프로세서 성능이 빠르게 향상되고 있지만, I/O 채널 설계는 여전히 I/O 효율성 조정에 중요한 역할을 합니다. 데이터 접근 경로의 병목을 지속적으로 분석하고 필요한 설계 개선을 적용함으로써 전송 성능을 더욱 향상시킬 수 있으며, 전체 시스템이 유기적으로 작동하여 최대 효율을 달성할 수 있습니다.
효율적인 데이터 채널 구축: 실전에서의 iSCSI와 ZFS 통합
앞서 언급한 병목 현상에 대응하기 위해 QNAP 팀은 핵심 데이터 채널에 대해 심층적인 최적화를 진행했습니다. 네트워크 스택에서 iSCSI 전송 계층, 백엔드 파일 시스템(ZFS를 핵심으로)까지 통합 설계 방식을 채택하여 데이터 흐름의 모든 단계를 간소화하고 진정한 고속 전송을 실현하는 것을 목표로 하고 있습니다.
소개Zero-Copy: 데이터 마이그레이션 감소 및 성능 극대화
현대 시스템 아키텍처에서 통신 프로토콜 계층과 파일 시스템 계층 간의 소프트웨어 통합은 효율적인 데이터 교환과 스토리지 달성의 핵심입니다. QuTS hero는 네트워크 스택에서 iSCSI 계층, 그리고 파일 시스템 계층까지 Zero-Copy 데이터 전송을 가능하게 하여, 전송 중 핵심 모듈 간의 반복적인 데이터 복사를 방지합니다. 이는 CPU 오버헤드를 크게 줄이고 데이터 전송 효율을 향상시킵니다.
이는 메모리 대역폭 소모를 줄일 뿐만 아니라 레이턴시도 낮추어, AI, HPC, 가상화 플랫폼과 같은 고빈도 I/O 작업에 특히 유리합니다. 이러한 통합 설계는 iSCSI를 기존의 스토리지 프로토콜에서 고성능 데이터 경로의 핵심 요소로 탈바꿈시킵니다.
병렬 분리: iSCSI 데이터 처리 워크플로우의 재구성
전통적으로 iSCSI 모듈은 패킷 수신, 명령 파싱, 데이터 마이그레이션, 응답 전송을 순차적으로 처리합니다. 명령과 데이터가 선형적으로 처리될 때, 이는 쉽게 처리 병목 현상으로 이어질 수 있습니다. 실제 환경에서의 응답성을 높이기 위해 아키텍처를 작업 분리와 병렬화로 재설계하였습니다.
데이터 처리와 명령어 파싱의 스케줄링을 분리하여 병렬로 실행함으로써, 처리 단계 간의 상호 차단을 줄였습니다. 동시에 Lock Splitting 도움말 개념을 도입하여 글로벌 락으로 인한 자원 경합을 방지하고, 병렬 처리에서의 동기화 오버헤드와 데이터 마이그레이션 비용을 더욱 줄여, 궁극적으로 고성능 iSCSI 서비스를 실현합니다.
계층 간 협업 스케줄링: iSCSI와 ZFS 성능 통합
현대의 스토리지 시스템에서는 iSCSI 전송 모듈과 ZFS 파일 시스템 간의 성능 시너지가 전체 I/O 성능의 핵심입니다. 스레드 스케줄링 전략을 조율함으로써, 두 시스템은 고동시성 환경에서도 상호 간섭 없이 독립적으로 동작할 수 있으며, 멀티코어 자원 활용 효율과 데이터 처리의 원활함을 더욱 향상시킵니다.
결론: 하드웨어 잠재력을 끌어내는 소프트웨어 실천
최적화 이후, 여러 시뮬레이션 테스트 시나리오에서 특히 랜덤 I/O 부하 환경에서 전체 시스템 응답성과 처리 효율이 크게 향상되는 등 의미 있는 성능 개선을 관찰했습니다. 일부 테스트 케이스에서는 최대 약 50%에 달하는 성능 향상이 나타나, 특정 응용 시나리오에서 시스템 최적화의 명확한 효과를 입증했습니다.
이러한 결과는 QNAP이 iSCSI, ZFS, 스케줄링 로직 등 핵심 모듈에서의 협업 최적화를 통해 시스템의 멀티코어 처리 및 고성능 스토리지 아키텍처의 잠재력을 효과적으로 끌어냈음을 확인시켜줍니다. 이는 데이터 전송 및 스토리지 경로의 전체 효율을 높이고, 고밀도 컴퓨팅 및 가상화 응용을 위한 안정적이고 신뢰할 수 있는 기술적 기반과 성능을 제공합니다. 또한 QNAP이 제품 경험을 지속적으로 최적화하고, 핵심 응용 지원 역량을 강화하려는 기술적 의지를 보여줍니다.
앞으로도 다양한 규모와 부하 유형의 사용 시나리오에 대해 안정적이고 예측 가능하며 확장 가능한 스토리지 플랫폼을 제공하기 위해 아키텍처 개선과 성능 최적화에 지속적으로 투자할 예정입니다.
