IT와 재테크, 그리고 나의 웰빙 라이프

4편 끝에 이렇게 적었다. 질문 5개를 눈으로 보는 걸로는 정말 좋아졌는지 말하기 어렵다고. 지금 내 서비스도 그렇다. 완료라는 게 없고 계속 고도화해야 하는데, 뭔가 바꿀 때마다 "이게 나아진 건가?"를 확인할 방법이 필요하다. 그래서 시리즈 마지막 편은 검색 품질을 숫자로 재는 법이다. 1~4편의 문서 14개로 시험지를 만들어 키워드, 벡터, 하이브리드, 필터, 재정렬을 채점해 봤다. 그런데 첫 시험은 거의 다 만점이 나왔다. ㅡ,.ㅡ; ( 1편 · 2편 · 3편 · 4편 )

3편 마지막에 "둘을 합치는 게 하이브리드 검색"이라고 적었다. 지금 내 서비스도 하이브리드 검색에 재정렬(reranker)을 붙여서 쓰고 있다. 이번 편은 합치면 무엇이 좋아지고 무엇이 그대로인지 하나씩 비교해 본다. 그래서 1~3편에서 쓴 문서를 전부 모아 14개로 만들고, 같은 질문을 키워드, 벡터, 하이브리드, 재정렬까지 한 번에 돌려 봤다. 결론부터 말하면 하이브리드가 항상 이기지는 않았다. ㅡ,.ㅡ; ( 1편 · 2편 · 3편 )

2편에서 키워드 검색은 사전을 키우는 만큼 똑똑해진다고 정리했다. 하지만 사전에 없는 말은 여전히 못 찾는다. 이번 편은 뜻으로 찾는 벡터 검색이다. ( 1편: 개념 정리 · 2편: 키워드 검색 ) 이번에는 회사 PC에서 직접 돌렸다. 그런데 첫 줄부터 막혔다. 모델을 내려받는 단계에서 SSL 인증서 오류가 났다. ㅡ,.ㅡ; 그 이야기부터 시작한다.

1편에서 '머신러닝'으로 찾을 때와 '기계학습'으로 찾을 때 1위가 다르게 나오는 걸 봤다. 키워드 검색이 뜻이 아니라 글자로 찾기 때문이었다. 그럼 그 '글자로 찾는다'는 게 속에서 정확히 어떻게 돌아가는 걸까? 지금 내 서비스는 하이브리드 검색을 쓴다. 하지만 그 절반은 여전히 키워드 검색이다. 그래서 이번 편은 키워드 검색의 속을 열어 본다. 역색인, 한국어 형태소 분석, BM25 점수 계산까지 파이썬으로 직접 만들어 보고, 실무에서 쓰는 Elasticsearch 설정까지 정리했다. ( 1편: 키워드·벡터·하이브리드 검색 개념 정리 )

나는 자바로 웹 SI 프로젝트만 해 본 개발자다. 게시판, 관리자 화면, DB 조회.. 그런 거. 그런데 요즘 생성형 AI로 검색 서비스를 만드는 일을 하고 있다. AI 쪽은 솔직히 초짜다. ㅡ,.ㅡ; 검색 대상은 크롤링한 메타정보와 문서, 사내 시스템 기술문서 3만 건 정도, 그리고 RDB에 있는 각종 정보들이다. 처음에는 키워드 검색으로 시작했고, 지금은 하이브리드 검색을 쓴다. 예전에 sLLM 구축 글 에서 "진짜 문제는 검색이었다"고 적었는데, 이번에 제대로 공부해 보려고 시리즈로 정리한다.

이번 주는 제주 출장이었다. 10월 13일 오후, 제주국제컨벤션센터(ICC)에서 일정을 마치고 숙소로 가면서, 근처에 있는 베릿내오름을 걸어서 넘어갔다. 정상 쉼터에서 쉬어 가도 40분이면 충분한 길이다. 걸은 순서대로 사진과 함께 정리해 둔다..

숫자 두 개를 합치고 또 합쳐서 2048을 만드는 게임이다. 규칙은 단순한데 한 판 하다 보면 자꾸 "한 판만 더" 하게 된다.. 설치도, 회원가입도 필요 없다. 아래에서 바로 시작하면 된다. PC에서는 키보드 방향키로, 휴대폰에서는 화면을 밀어서 한다. 실수했으면 되돌리기로 한 수 무를 수도 있다.