AI 검색 용어집: HNSW
벡터가 수십만, 수백만 개로 늘어나면 모든 벡터를 하나씩 비교하는 방식은 느려집니다.
HNSW는 가까운 벡터를 빠르게 찾기 위해 그래프 구조를 사용하는 대표적인 ANN 인덱스 방식입니다.
한 문장으로 잡으면
- HNSW는 Hierarchical Navigable Small World의 약자로, 벡터 검색에서 가까운 이웃을 빠르게 찾기 위한 그래프 기반 ANN 인덱스 방식입니다.
핵심 포인트
포인트 1
벡터들을 그래프처럼 연결합니다.
포인트 2
검색할 때 가까운 노드를 따라 이동합니다.
포인트 3
전체를 모두 비교하지 않고도 가까운 후보를 찾습니다.
어디에 쓰이나
대량 벡터 검색
수십만 개 이상의 벡터에서 모든 벡터를 비교하지 않고 가까운 후보를 찾습니다.
속도와 정확도 절충
빠르게 찾는 대신 recall과 메모리 사용량을 함께 봐야 합니다.
Vector DB 내부
많은 Vector DB가 HNSW 계열 인덱스를 선택지로 제공합니다.
헷갈리기 쉬운 부분
- 빠른 검색에 유리하지만 인덱스 메모리와 튜닝 비용이 있습니다.
- 정확도와 속도 사이의 절충을 이해하고 써야 합니다.
기억할 것
- HNSW는 대량 벡터를 빠르게 찾기 위한 그래프 기반 인덱스입니다.
- 속도가 빨라지는 대신 메모리와 recall 튜닝을 함께 봐야 합니다.