IT와 재테크, 그리고 나의 웰빙 라이프

나는 현재 생성형 AI를 활용한 검색 서비스를 개발 중이다. 처음에는 메타의 Llama 모델을 사용하다가 최근 알리바바의 Qwen3 모델로 변경하여 RAG(Retrieval-Augmented Generation) 기술을 적용하고 있다. 이 과정에서 나는 RAG의 적용 방식을 두고 개발업체와 의견이 갈리는 경험을 했다. 나의 초기 생각은 ' LLM이 가진 기존 지식 + 내부 문서 '를 융합하여 더 풍부한 답변을 만드는 것이었다. 하지만 개발업체는 ' 오직 내부 문서 '만으로 답변을 생성하는 것이 RAG의 올바른 방향이라고 주장했다. 이 글은 나의 이런 고민을 정리하고, 중소기업이 온프레미스 환경에서 sLLM(소형 거대 언어 모델)을 구축할 때 고려해야 할 사항, 특히 RAG 적용 방안에 대한 두 가지 접근법을 비교 분석하기 위해 작성해 본다. 1. 왜 중소기업은 '온프레미스 sLLM'을 고민하는가? 대기업처럼 막대한 자본이 없는 중소기업이 OpenAI의 ChatGPT API를 사용하지 않고, 굳이 복잡한 온프레미스 sLLM 구축을 고민하는 이유는 명확하다. 보안: 가장 결정적인 이유다. 기업의 민감한 내부 데이터를 외부 클라우드 서비스로 전송하지 않고, 우리 회사 서버 안에서만 안전하게 처리할 수 있다. 비용: 초기 구축 비용은 들지만, API 호출당 과금되는 방식이 아니므로 장기적으로 대규모 사용 시 비용을 절감할 수 있다. sLLM의 발전: Llama, Qwen, Mistral 등 오픈소스 sLLM의 성능이 비약적으로 발전하여, 비교적 적은 컴퓨팅 자원으로도 충분히 활용 가능한 수준에 도달했다. 2. RAG 적용의 두 가지 접근법: 당신의 AI는 '창작자'인가, '답변자'인가? RAG는 LLM이 답변을 생성할 때, 외부 지식 DB(우리의 경우 내부 문서)에서 관련 정보를 '검색(Retrieval)'하여, 그 내용을 '참고(Augmented)'해서 답변을 ...