기본 콘텐츠로 건너뛰기

글

라벨이 Elasticsearch인 게시물 표시

키워드 검색 제대로 알기: 역색인·BM25·한국어 형태소 분석을 파이썬으로 직접 만들어 봤다 [RAG 검색 이해하기 2편]

1편에서 '머신러닝'으로 찾을 때와 '기계학습'으로 찾을 때 1위가 다르게 나오는 걸 봤다. 키워드 검색이 뜻이 아니라 글자로 찾기 때문이었다. 그럼 그 '글자로 찾는다'는 게 속에서 정확히 어떻게 돌아가는 걸까? 지금 내 서비스는 하이브리드 검색을 쓴다. 하지만 그 절반은 여전히 키워드 검색이다. 그래서 이번 편은 키워드 검색의 속을 열어 본다. 역색인, 한국어 형태소 분석, BM25 점수 계산까지 파이썬으로 직접 만들어 보고, 실무에서 쓰는 Elasticsearch 설정까지 정리했다. ( 1편: 키워드·벡터·하이브리드 검색 개념 정리 )