IT와 재테크, 그리고 나의 웰빙 라이프

요즘 생성형 AI를 활용한 사업을 구축하고 있다. RAG도 그렇고, AI가 좀 더 정확한 지식으로 답하게 하려면 결국 기존 문서들을 머신 리더블(기계판독 가능) 문서로 바꾸는 작업이 필요하더라.. 문제는 회사에서 나오는 문서 대부분이 HWP, DOC, PDF라는 거다. 그래서 머신 리더블 문서가 정확히 뭔지, 단계가 있다는데 어떤 단계인지, 요즘 같이 들리는 'AI-Ready 데이터'와는 같은 말인지 정리해 둔다.

나는 현재 생성형 AI를 활용한 검색 서비스를 개발 중이다. 처음에는 메타의 Llama 모델을 사용하다가 최근 알리바바의 Qwen3 모델로 변경하여 RAG(Retrieval-Augmented Generation) 기술을 적용하고 있다. 이 과정에서 나는 RAG의 적용 방식을 두고 개발업체와 의견이 갈리는 경험을 했다. 나의 초기 생각은 ' LLM이 가진 기존 지식 + 내부 문서 '를 융합하여 더 풍부한 답변을 만드는 것이었다. 하지만 개발업체는 ' 오직 내부 문서 '만으로 답변을 생성하는 것이 RAG의 올바른 방향이라고 주장했다.

요즘 AI 관련 업무를 하다 보면 AI 용어에서 파생된 신규 단어들을 자주 접하게 된다. 오늘도 '피지컬 AI' 같은 단어를 접하게 되었는데 솔직히 나도 처음 보는 단어였다. ChatGPT 같은 건 이제 익숙하지만, AI 분야는 정말 하루가 다르게 새로운 용어들이 쏟아진다. 정부 정책 발표나 기술 컨퍼런스 자료를 보면 온통 새로운 AI 용어들 천지다. 이러한 새로운 AI 용어들은 단순히 복잡한 기술 개념을 넘어, AI 발전의 방향성과 미래 사회 변화를 암시한다. AI 관련 업무를 하거나, AI 시대에 대한 이해를 높이고 싶은 사람들을 위해, 무엇보다 내가 필요해서 AI와 관련된 최신 용어들을 정리해 보았다.  1. AI 핵심 개념 및 기반 기술 용어 (Fundamentals) AI의 기초를 이루는 핵심적인 개념 및 기반 기술과 관련된 용어들이다. 1.1 인공지능 (Artificial Intelligence, AI): 인간의 지능을 모방하여 학습, 추론, 인지, 문제 해결 등을 수행하는 컴퓨터 시스템 또는 소프트웨어이다. 1.2 머신러닝 (Machine Learning, ML): 데이터를 통해 학습하여 패턴을 인식하고 예측을 수행하는 AI의 하위 분야이다. 명시적인 프로그래밍 없이 시스템이 스스로 학습하는 방식이다. 1.3 딥러닝 (Deep Learning, DL): 머신러닝의 한 종류로, 인간 뇌의 신경망을 모방한 '심층 신경망(Deep Neural Network)'을 사용하여 데이터를 학습한다. 이미지 인식, 음성 인식 등 고차원적인 패턴 인식에 강점을 가진다. 1.4 신경망 (Neural Network): 뇌의 뉴런 연결 구조를 모방한 계산 모델이다. 입력층, 은닉층(하나 이상), 출력층으로 구성된다. 1.5 데이터셋 (Dataset): AI 모델 학습 및 평가에 사용되는 정제된 데이터의 집합이다. 학습 데이터, 검증 데이터, 테스트 데이터 등으로 나뉜다. 1.6 알고리즘 (Algorithm): 어떤 문제를 해결하기 ...