도쿄, 일본--(뉴스와이어)--키오시아(Kioxia Corporation)가 오픈 소스 키오시아 AiSAQ(Kioxia AiSAQ™) 근사 최근접 이웃 검색(approximate nearest neighbor search, ANNS) 기술을 사용하여 단일 서버에서 48억 개 규모로 확장 가능한 고차원 벡터 검색을 성공적으로 시연했다고 발표했다. 또한 키오시아는 엔비디아 cuVS(NVIDIA cuVS)를 통한 GPU 가속을 활용해 인덱스 구축 시간을 대폭 단축했다. 이 두 가지 성과는 RAG(검색 증강 생성) 솔루션 분야의 중대한 진전을 의미한다. 키오시아는 현재 48억 개의 벡터를 넘어서는 대규모 배포를 지원하기 위한 개발을 계속 진행하고 있다.

대규모 벡터 데이터베이스의 긴 인덱스 구축 시간은 업계의 치명적인 애로사항으로 꼽혀왔다. 키오시아는 엔비디아와 협력해 1024차원의 고차원 벡터에 대한 키오시아 AiSAQ 인덱스 구축 시간을 최대 20배, 엔드투엔드 구축 시간을 최대 7.8배 개선하는 성과를 시연했다. 이러한 20배 개선은 CPU 사용 시 28.4일 걸리던 인덱스 구축을 엔비디아 호퍼(NVIDIA Hopper) GPU 4개를 사용하여 1.4일로 단축한 것이며, 엔드투엔드 테스트 기준으로는 31일에서 4일로 단축한 결과다.[1]

10억 개 규모부터는 DRAM만으로 시스템을 구성하는 것이 현실적으로 불가능해지면서 이제 AI 애플리케이션은 SSD에 저장된 수백억 개 이상의 방대한 벡터 정보에 의존하게 될 전망이다. 키오시아는 키오시아 AiSAQ 기술을 통해 고도로 확장 가능한 스토리지 아키텍처를 구현한다. 인덱스 빌드(구축) 시 GPU 가속을 지원하여 대규모 배포를 현실화하는 밀버스(Milvus) 벡터DB 환경에서 키오시아는 단 1대의 쿼리 서버만으로 10억 단위 규모의 검색을 성공적으로 수행해 냈으며, 이를 통해 RAG 애플리케이션의 지연 시간(레이턴시) 요구 조건을 여유 있게 충족했다.

제이슨 하디(Jason Hardy) 엔비디아 스토리지 기술 부문 부사장은 “벡터 데이터베이스는 대규모 비정형 데이터 세트 전반에서 의도, 맥락, 유사성을 실시간으로 파악해야 하는 애플리케이션의 근간을 제공한다”며 “엔비디아 cuVS 라이브러리를 통한 GPU 가속 인덱싱을 활용해 키오시아는 전례 없는 효율성으로 시스템을 확장하고 인덱스를 구축할 수 있는 고차원 벡터 데이터베이스를 지원한다”고 말했다.

작년에 처음 발표된 키오시아 AiSAQ 오픈 소스 소프트웨어 기술은 DRAM 사용량을 줄이면서 SSD에서 직접 벡터 검색을 가능하게 해 RAG 확장성 문제를 해결한다. 키오시아 AiSAQ 기술은 높은 확장성을 제공해 멀티테넌트 환경과 대규모 모놀리식 인덱스 배포 모두에 적합하다. 이 기술은 하이브리드 클러스터링과 그래프 검색을 결합한 혁신적인 글로벌 인덱스(Global Index) 알고리즘을 활용해 초대규모 환경에서도 효율적인 벡터 검색을 제공한다. 성능과 대용량 벡터 확장성 간의 균형을 맞추는 유연한 튜닝 옵션을 통해 키오시아 AiSAQ 소프트웨어는 대규모 배포를 더욱 용이하게 하고 시스템 확장을 한층 수월하게 지원한다.

요코츠카 마사시(Masashi Yokotsuka) 키오시아 전무집행임원 겸 SSD 사업부 부사장은 “벡터 데이터베이스를 수십억 개 규모로 확장하려면 메모리와 컴퓨팅 아키텍처 전반에 대한 재고가 필요하다”며 “키오시아 AiSAQ SSD 기반 벡터 검색과 인덱스 구축을 위한 엔비디아 GPU 가속을 결합함으로써 우리는 대규모 배포 환경에서 실질적으로 적용 가능한 인덱스 구축 환경을 제공한다. 업계 혁신 기업으로서 우리는 플래시 메모리를 사용하여 AI의 한계를 계속 넓혀나갈 것”이라고 말했다.

키오시아는 대규모 지능형 데이터 처리를 지원하는 스토리지 기반 AI 솔루션의 발전에 전념하고 있으며, 1조 개 규모의 벡터 배포를 향해 키오시아 AiSAQ를 계속 발전시키고 있다.

키오시아 AiSAQ 오픈 소스 소프트웨어 다운로드 링크: https://github.com/kioxia-jp/aisaq-diskann.

[1] 이 벤치마크를 위해 총 19.66TB의 벡터 데이터가 처리됐다. 성능 또는 벤치마크 결과는 호스트 디바이스, 읽기 및 쓰기 조건, 데이터 크기 및 기타 요인에 따라 달라질 수 있다.

Kioxia AiSAQ는 Kioxia의 상표이다.

회사명, 제품명, 서비스명은 해당 회사의 상표일 수 있다.

키오시아(Kioxia) 소개

키오시아(Kioxia)는 플래시 메모리 및 솔리드 스테이트 드라이브(SSD)의 개발, 생산 및 판매에 전념하는 메모리 솔루션 분야의 세계적 리더이다. 2017년 4월 그 전신인 도시바 메모리(Toshiba Memory)는 1987년 낸드 플래시 메모리를 발명한 회사인 도시바(Toshiba Corporation)에서 스핀오프했다. 키오시아는 고객이 만족하는 선택과 사회를 위한 ‘메모리’ 기반 가치를 창출하는 제품, 서비스 및 시스템을 제공함으로써 메모리로 세상을 발전시키는 데 전념하고 있다. 키오시아의 혁신적인 3D 플래시 메모리 기술인 ‘BiCS FLASH™’는 고급 스마트폰, PC, 자동차 시스템, 데이터 센터 및 생성형 AI 시스템을 포함한 고밀도 애플리케이션에서 스토리지의 미래를 만들고 있다.

제품 가격 및 사양, 서비스 내용, 연락처 정보 등을 포함한 이 문서의 정보는 발표일 현재를 기준으로 정확하나 사전 고지 없이 변경될 수 있다.

이 보도자료는 해당 기업에서 원하는 언어로 작성한 원문을 한국어로 번역한 것이다. 그러므로 번역문의 정확한 사실 확인을 위해서는 원문 대조 절차를 거쳐야 한다. 처음 작성된 원문만이 공식적인 효력을 갖는 발표로 인정되며 모든 법적 책임은 원문에 한해 유효하다.