AI 검색 용어집: Embedding
Embedding은 AI 검색에서 거의 모든 흐름의 출발점입니다.
문장을 숫자 벡터로 바꿔야 유사도 검색, 추천, clustering 같은 작업을 계산으로 처리할 수 있습니다.
한 문장으로 잡으면
- Embedding은 텍스트나 이미지를 모델이 비교할 수 있는 숫자 배열로 바꾼 표현입니다.
핵심 포인트
포인트 1
사람이 보는 의미를 좌표처럼 표현합니다.
포인트 2
비슷한 의미의 데이터는 비슷한 벡터가 되도록 학습됩니다.
포인트 3
검색, 추천, 분류, clustering 같은 작업의 입력으로 쓰입니다.
어디에 쓰이나
문장 비교
두 문장을 벡터로 바꾼 뒤 cosine similarity로 얼마나 가까운지 계산할 수 있습니다.
이미지 검색
이미지도 벡터로 바꾸면 비슷한 이미지를 찾는 검색에 사용할 수 있습니다.
갱신 관리
원문이 바뀌면 이전 embedding은 낡은 표현이 되므로 다시 만들어야 합니다.
헷갈리기 쉬운 부분
- Embedding 자체가 정답은 아닙니다. 어떤 모델로 만들었는지, 어떤 데이터에 쓰는지가 중요합니다.
- 문서가 바뀌면 embedding도 다시 만들어야 검색 결과가 최신 상태를 유지합니다.
기억할 것
- Embedding은 데이터를 비교 가능한 숫자 좌표로 바꾸는 과정입니다.
- 검색 품질은 벡터 DB보다 먼저 embedding model과 입력 텍스트 품질에 흔들립니다.