기본 콘텐츠로 건너뛰기

글

라벨이 sLLM인 게시물 표시

중소기업 온프레미스 sLLM 구축 가이드: RAG 적용의 두 가지 접근법

나는 현재 생성형 AI를 활용한 검색 서비스를 개발 중이다. 처음에는 메타의 Llama 모델을 사용하다가 최근 알리바바의 Qwen3 모델로 변경하여 RAG(Retrieval-Augmented Generation) 기술을 적용하고 있다. 이 과정에서 나는 RAG의 적용 방식을 두고 개발업체와 의견이 갈리는 경험을 했다. 나의 초기 생각은 ' LLM이 가진 기존 지식 + 내부 문서 '를 융합하여 더 풍부한 답변을 만드는 것이었다. 하지만 개발업체는 ' 오직 내부 문서 '만으로 답변을 생성하는 것이 RAG의 올바른 방향이라고 주장했다.