IT와 재테크, 그리고 나의 웰빙 라이프

나는 현재 생성형 AI를 활용한 검색 서비스를 개발 중이다. 처음에는 메타의 Llama 모델을 사용하다가 최근 알리바바의 Qwen3 모델로 변경하여 RAG(Retrieval-Augmented Generation) 기술을 적용하고 있다. 이 과정에서 나는 RAG의 적용 방식을 두고 개발업체와 의견이 갈리는 경험을 했다. 나의 초기 생각은 ' LLM이 가진 기존 지식 + 내부 문서 '를 융합하여 더 풍부한 답변을 만드는 것이었다. 하지만 개발업체는 ' 오직 내부 문서 '만으로 답변을 생성하는 것이 RAG의 올바른 방향이라고 주장했다. 이 글은 나의 이런 고민을 정리하고, 중소기업이 온프레미스 환경에서 sLLM(소형 거대 언어 모델)을 구축할 때 고려해야 할 사항, 특히 RAG 적용 방안에 대한 두 가지 접근법을 비교 분석하기 위해 작성해 본다. 1. 왜 중소기업은 '온프레미스 sLLM'을 고민하는가? 대기업처럼 막대한 자본이 없는 중소기업이 OpenAI의 ChatGPT API를 사용하지 않고, 굳이 복잡한 온프레미스 sLLM 구축을 고민하는 이유는 명확하다. 보안: 가장 결정적인 이유다. 기업의 민감한 내부 데이터를 외부 클라우드 서비스로 전송하지 않고, 우리 회사 서버 안에서만 안전하게 처리할 수 있다. 비용: 초기 구축 비용은 들지만, API 호출당 과금되는 방식이 아니므로 장기적으로 대규모 사용 시 비용을 절감할 수 있다. sLLM의 발전: Llama, Qwen, Mistral 등 오픈소스 sLLM의 성능이 비약적으로 발전하여, 비교적 적은 컴퓨팅 자원으로도 충분히 활용 가능한 수준에 도달했다. 2. RAG 적용의 두 가지 접근법: 당신의 AI는 '창작자'인가, '답변자'인가? RAG는 LLM이 답변을 생성할 때, 외부 지식 DB(우리의 경우 내부 문서)에서 관련 정보를 '검색(Retrieval)'하여, 그 내용을 '참고(Augmented)'해서 답변을 ...

ChatGPT는 이제 많은 사람이 아는 AI 챗봇이다. 하지만 **노트북LM(NotebookLM)**이라는 이름은 아직 생소한 사람들이 많을 거다. 이 AI 도구는 단순한 챗봇을 넘어, '나만의 AI 연구 비서' 역할을 수행한다. 방대한 인터넷 정보를 기반으로 작동하는 ChatGPT와 달리, 노트북LM은 사용자가 직접 제공하는 자료를 기반으로 작동 한다는 점에서 차별점을 가진다. 본 글은 노트북LM의 개념과 등장 배경을 제공하고 더불어 많은 사람이 익숙한 ChatGPT와 노트북LM이 가진 핵심적인 차이점을 살펴보려고 한다. 노트북LM의 주요 기능과 실제 활용법을 상세히 설명하며, 자료 분석, 글쓰기, 아이디어 정리 등 정보 과부하 시대에 생산성을 극대화하고자 하는 모든 사람에게 도움이 되길 바라며 글을 시작해본다. 1. 노트북LM / NotebookLM, 대체 무엇인가?  노트북LM은 **구글에서 개발한 인공지능(AI) 기반의 '연구 및 글쓰기 도우미'**이다. 이 도구는 사용자가 직접 제공하는 자료(소스 자료)를 분석하고 이해하여, 해당 자료를 기반으로 요약, 질의응답, 아이디어 제안, 글쓰기 초안 작성 등을 수행한다. 등장 배경: 기존 AI 챗봇의 가장 큰 한계 중 하나는 **'정확한 정보 출처 제시의 어려움'**과 **'환각 현상(Hallucination) 위험'**이다. 또한 사용자가 가진 특정 자료를 심층적으로 분석하고 그에 기반하여 대화하는 데 한계가 있었다. 노트북LM은 이러한 지점을 보완하고자 탄생하였다. 사용자가 직접 업로드한 자료(문서, 웹페이지 등)를 AI가 학습하여, 그 자료의 맥락 안에서 정확하고 신뢰할 수 있는 답변을 제공하는 데 강점을 가진다. 2. ChatGPT와 노트북LM 차이점 ChatGPT와 노트북LM은 모두 AI 기반의 언어 모델 도구이지만, 그 정보 출처와 주요 활용 목적에서 명확한 차이를 보인다. 2.1 정보 출처의 차이 ChatGPT: 방대한 웹 데이터 및 ...