IT와 재테크, 그리고 나의 웰빙 라이프

나는 현재 생성형 AI를 활용한 검색 서비스를 개발 중이다. 처음에는 메타의 Llama 모델을 사용하다가 최근 알리바바의 Qwen3 모델로 변경하여 RAG(Retrieval-Augmented Generation) 기술을 적용하고 있다. 이 과정에서 나는 RAG의 적용 방식을 두고 개발업체와 의견이 갈리는 경험을 했다. 나의 초기 생각은 ' LLM이 가진 기존 지식 + 내부 문서 '를 융합하여 더 풍부한 답변을 만드는 것이었다. 하지만 개발업체는 ' 오직 내부 문서 '만으로 답변을 생성하는 것이 RAG의 올바른 방향이라고 주장했다. 이 글은 나의 이런 고민을 정리하고, 중소기업이 온프레미스 환경에서 sLLM(소형 거대 언어 모델)을 구축할 때 고려해야 할 사항, 특히 RAG 적용 방안에 대한 두 가지 접근법을 비교 분석하기 위해 작성해 본다. 1. 왜 중소기업은 '온프레미스 sLLM'을 고민하는가? 대기업처럼 막대한 자본이 없는 중소기업이 OpenAI의 ChatGPT API를 사용하지 않고, 굳이 복잡한 온프레미스 sLLM 구축을 고민하는 이유는 명확하다. 보안: 가장 결정적인 이유다. 기업의 민감한 내부 데이터를 외부 클라우드 서비스로 전송하지 않고, 우리 회사 서버 안에서만 안전하게 처리할 수 있다. 비용: 초기 구축 비용은 들지만, API 호출당 과금되는 방식이 아니므로 장기적으로 대규모 사용 시 비용을 절감할 수 있다. sLLM의 발전: Llama, Qwen, Mistral 등 오픈소스 sLLM의 성능이 비약적으로 발전하여, 비교적 적은 컴퓨팅 자원으로도 충분히 활용 가능한 수준에 도달했다. 2. RAG 적용의 두 가지 접근법: 당신의 AI는 '창작자'인가, '답변자'인가? RAG는 LLM이 답변을 생성할 때, 외부 지식 DB(우리의 경우 내부 문서)에서 관련 정보를 '검색(Retrieval)'하여, 그 내용을 '참고(Augmented)'해서 답변을 ...

요즘 AI 관련 업무를 하다 보면 AI 용어에서 파생된 신규 단어들을 자주 접하게 된다. 오늘도 '피지컬 AI' 같은 단어를 접하게 되었는데 솔직히 나도 처음 보는 단어였다. ChatGPT 같은 건 이제 익숙하지만, AI 분야는 정말 하루가 다르게 새로운 용어들이 쏟아진다. 정부 정책 발표나 기술 컨퍼런스 자료를 보면 온통 새로운 AI 용어들 천지다. 이러한 새로운 AI 용어들은 단순히 복잡한 기술 개념을 넘어, AI 발전의 방향성과 미래 사회 변화를 암시한다. AI 관련 업무를 하거나, AI 시대에 대한 이해를 높이고 싶은 사람들을 위해, 무엇보다 내가 필요해서 AI와 관련된 최신 용어들을 정리해 보았다.  1. AI 핵심 개념 및 기반 기술 용어 (Fundamentals) AI의 기초를 이루는 핵심적인 개념 및 기반 기술과 관련된 용어들이다. 1.1 인공지능 (Artificial Intelligence, AI): 인간의 지능을 모방하여 학습, 추론, 인지, 문제 해결 등을 수행하는 컴퓨터 시스템 또는 소프트웨어이다. 1.2 머신러닝 (Machine Learning, ML): 데이터를 통해 학습하여 패턴을 인식하고 예측을 수행하는 AI의 하위 분야이다. 명시적인 프로그래밍 없이 시스템이 스스로 학습하는 방식이다. 1.3 딥러닝 (Deep Learning, DL): 머신러닝의 한 종류로, 인간 뇌의 신경망을 모방한 '심층 신경망(Deep Neural Network)'을 사용하여 데이터를 학습한다. 이미지 인식, 음성 인식 등 고차원적인 패턴 인식에 강점을 가진다. 1.4 신경망 (Neural Network): 뇌의 뉴런 연결 구조를 모방한 계산 모델이다. 입력층, 은닉층(하나 이상), 출력층으로 구성된다. 1.5 데이터셋 (Dataset): AI 모델 학습 및 평가에 사용되는 정제된 데이터의 집합이다. 학습 데이터, 검증 데이터, 테스트 데이터 등으로 나뉜다. 1.6 알고리즘 (Algorithm): 어떤 문제를 해결하기 ...