AI 검색 용어집: Grounding / Hallucination
LLM 답변이 그럴듯해 보여도 실제 근거와 맞지 않으면 서비스에서는 문제가 됩니다.
Grounding은 답변을 근거 자료에 묶는 관점이고, Hallucination은 근거 없는 내용을 만들어내는 현상입니다.
한 문장으로 잡으면
- Grounding은 LLM 답변을 주어진 근거 문서나 데이터에 묶는 것이고, Hallucination은 근거 없이 그럴듯한 내용을 만들어내는 현상입니다.
핵심 포인트
포인트 1
검색된 문서를 답변 근거로 제공합니다.
포인트 2
답변에 참고 문서나 출처를 함께 보여줍니다.
포인트 3
근거에 없는 내용은 말하지 않도록 제한합니다.
어디에 쓰이나
출처 있는 답변
검색된 문서 범위 안에서 답하고 참고 링크를 함께 보여줍니다.
근거 부족 처리
충분한 문서를 찾지 못하면 모른다고 답하게 만드는 설계가 필요합니다.
품질 평가
답변이 그럴듯한지보다 근거 문서와 맞는지를 확인해야 합니다.
헷갈리기 쉬운 부분
- RAG는 hallucination을 줄이는 데 도움을 줄 수 있지만 자동으로 없애지는 않습니다.
- 검색된 문서가 틀렸거나 부족하면 grounded answer도 틀릴 수 있습니다.
기억할 것
- Grounding은 답변을 근거에 묶는 설계이고, Hallucination은 근거 없이 만들어낸 내용입니다.
- RAG를 붙여도 검색 근거가 틀리면 답변도 틀릴 수 있습니다.