IT와 재테크, 그리고 나의 웰빙 라이프

지난 1편 에서 머신 리더블(기계판독 가능) 문서를 정리하면서, AI-Ready 데이터는 그 위층이라고만 짧게 적었다. 생성형 AI 사업에서 RAG를 붙여 보니 문서를 기계가 "읽는" 것만으로는 부족하더라.. 그래서 이번에는 AI-Ready 데이터가 정확히 뭘 더 요구하는지, 올해 나온 행정안전부·NIA 가이드라인을 중심으로 정리해 둔다.

요즘 생성형 AI를 활용한 사업을 구축하고 있다. RAG도 그렇고, AI가 좀 더 정확한 지식으로 답하게 하려면 결국 기존 문서들을 머신 리더블(기계판독 가능) 문서로 바꾸는 작업이 필요하더라.. 문제는 회사에서 나오는 문서 대부분이 HWP, DOC, PDF라는 거다. 그래서 머신 리더블 문서가 정확히 뭔지, 단계가 있다는데 어떤 단계인지, 요즘 같이 들리는 'AI-Ready 데이터'와는 같은 말인지 정리해 둔다.

4편 끝에 이렇게 적었다. 질문 5개를 눈으로 보는 걸로는 정말 좋아졌는지 말하기 어렵다고. 지금 내 서비스도 그렇다. 완료라는 게 없고 계속 고도화해야 하는데, 뭔가 바꿀 때마다 "이게 나아진 건가?"를 확인할 방법이 필요하다. 그래서 시리즈 마지막 편은 검색 품질을 숫자로 재는 법이다. 1~4편의 문서 14개로 시험지를 만들어 키워드, 벡터, 하이브리드, 필터, 재정렬을 채점해 봤다. 그런데 첫 시험은 거의 다 만점이 나왔다. ㅡ,.ㅡ; ( 1편 · 2편 · 3편 · 4편 )

3편 마지막에 "둘을 합치는 게 하이브리드 검색"이라고 적었다. 지금 내 서비스도 하이브리드 검색에 재정렬(reranker)을 붙여서 쓰고 있다. 이번 편은 합치면 무엇이 좋아지고 무엇이 그대로인지 하나씩 비교해 본다. 그래서 1~3편에서 쓴 문서를 전부 모아 14개로 만들고, 같은 질문을 키워드, 벡터, 하이브리드, 재정렬까지 한 번에 돌려 봤다. 결론부터 말하면 하이브리드가 항상 이기지는 않았다. ㅡ,.ㅡ; ( 1편 · 2편 · 3편 )

2편에서 키워드 검색은 사전을 키우는 만큼 똑똑해진다고 정리했다. 하지만 사전에 없는 말은 여전히 못 찾는다. 이번 편은 뜻으로 찾는 벡터 검색이다. ( 1편: 개념 정리 · 2편: 키워드 검색 ) 이번에는 회사 PC에서 직접 돌렸다. 그런데 첫 줄부터 막혔다. 모델을 내려받는 단계에서 SSL 인증서 오류가 났다. ㅡ,.ㅡ; 그 이야기부터 시작한다.

1편에서 '머신러닝'으로 찾을 때와 '기계학습'으로 찾을 때 1위가 다르게 나오는 걸 봤다. 키워드 검색이 뜻이 아니라 글자로 찾기 때문이었다. 그럼 그 '글자로 찾는다'는 게 속에서 정확히 어떻게 돌아가는 걸까? 지금 내 서비스는 하이브리드 검색을 쓴다. 하지만 그 절반은 여전히 키워드 검색이다. 그래서 이번 편은 키워드 검색의 속을 열어 본다. 역색인, 한국어 형태소 분석, BM25 점수 계산까지 파이썬으로 직접 만들어 보고, 실무에서 쓰는 Elasticsearch 설정까지 정리했다. ( 1편: 키워드·벡터·하이브리드 검색 개념 정리 )

나는 자바로 웹 SI 프로젝트만 해 본 개발자다. 게시판, 관리자 화면, DB 조회.. 그런 거. 그런데 요즘 생성형 AI로 검색 서비스를 만드는 일을 하고 있다. AI 쪽은 솔직히 초짜다. ㅡ,.ㅡ; 검색 대상은 크롤링한 메타정보와 문서, 사내 시스템 기술문서 3만 건 정도, 그리고 RDB에 있는 각종 정보들이다. 처음에는 키워드 검색으로 시작했고, 지금은 하이브리드 검색을 쓴다. 예전에 sLLM 구축 글 에서 "진짜 문제는 검색이었다"고 적었는데, 이번에 제대로 공부해 보려고 시리즈로 정리한다.

나는 현재 생성형 AI를 활용한 검색 서비스를 개발 중이다. 처음에는 메타의 Llama 모델을 사용하다가 최근 알리바바의 Qwen3 모델로 변경하여 RAG(Retrieval-Augmented Generation) 기술을 적용하고 있다. 이 과정에서 나는 RAG의 적용 방식을 두고 개발업체와 의견이 갈리는 경험을 했다. 나의 초기 생각은 ' LLM이 가진 기존 지식 + 내부 문서 '를 융합하여 더 풍부한 답변을 만드는 것이었다. 하지만 개발업체는 ' 오직 내부 문서 '만으로 답변을 생성하는 것이 RAG의 올바른 방향이라고 주장했다.

요즘 AI 관련 업무를 하다 보면 AI 용어에서 파생된 신규 단어들을 자주 접하게 된다. 오늘도 '피지컬 AI' 같은 단어를 접하게 되었는데 솔직히 나도 처음 보는 단어였다. ChatGPT 같은 건 이제 익숙하지만, AI 분야는 정말 하루가 다르게 새로운 용어들이 쏟아진다. 정부 정책 발표나 기술 컨퍼런스 자료를 보면 온통 새로운 AI 용어들 천지다. 이러한 새로운 AI 용어들은 단순히 복잡한 기술 개념을 넘어, AI 발전의 방향성과 미래 사회 변화를 암시한다. AI 관련 업무를 하거나, AI 시대에 대한 이해를 높이고 싶은 사람들을 위해, 무엇보다 내가 필요해서 AI와 관련된 최신 용어들을 정리해 보았다.  1. AI 핵심 개념 및 기반 기술 용어 (Fundamentals) AI의 기초를 이루는 핵심적인 개념 및 기반 기술과 관련된 용어들이다. 1.1 인공지능 (Artificial Intelligence, AI): 인간의 지능을 모방하여 학습, 추론, 인지, 문제 해결 등을 수행하는 컴퓨터 시스템 또는 소프트웨어이다. 1.2 머신러닝 (Machine Learning, ML): 데이터를 통해 학습하여 패턴을 인식하고 예측을 수행하는 AI의 하위 분야이다. 명시적인 프로그래밍 없이 시스템이 스스로 학습하는 방식이다. 1.3 딥러닝 (Deep Learning, DL): 머신러닝의 한 종류로, 인간 뇌의 신경망을 모방한 '심층 신경망(Deep Neural Network)'을 사용하여 데이터를 학습한다. 이미지 인식, 음성 인식 등 고차원적인 패턴 인식에 강점을 가진다. 1.4 신경망 (Neural Network): 뇌의 뉴런 연결 구조를 모방한 계산 모델이다. 입력층, 은닉층(하나 이상), 출력층으로 구성된다. 1.5 데이터셋 (Dataset): AI 모델 학습 및 평가에 사용되는 정제된 데이터의 집합이다. 학습 데이터, 검증 데이터, 테스트 데이터 등으로 나뉜다. 1.6 알고리즘 (Algorithm): 어떤 문제를 해결하기 ...