요즘 생성형 AI를 활용한 사업을 구축하고 있다. RAG도 그렇고, AI가 좀 더 정확한 지식으로 답하게 하려면 결국 기존 문서들을 머신 리더블(기계판독 가능) 문서로 바꾸는 작업이 필요하더라..
문제는 회사에서 나오는 문서 대부분이 HWP, DOC, PDF라는 거다. 그래서 머신 리더블 문서가 정확히 뭔지, 단계가 있다는데 어떤 단계인지, 요즘 같이 들리는 'AI-Ready 데이터'와는 같은 말인지 정리해 둔다.
머신 리더블 문서, 한 줄로 말하면
사람이 아니라 기계(프로그램, AI)가 내용과 구조를 정확하게 읽을 수 있는 문서다. 화면에 보이는 게 똑같아도 기계 입장에서는 전혀 다를 수 있다.
| 같은 표라도 | 사람이 볼 때 | 기계가 볼 때 |
|---|---|---|
| 스캔 PDF 속 표 | 잘 보인다 | 그림 한 장. 글자를 읽으려면 OCR이 필요하다 |
| 텍스트 PDF 속 표 | 잘 보인다 | 글자는 나오지만 칸이 섞여서 어느 값이 어느 열인지 모른다 |
| 마크다운 표 | 잘 보인다 | 행과 열이 그대로 구분된다 |
RAG는 문서를 잘게 나눠(청크) 검색한 뒤 그 내용을 근거로 답한다. 처음에 글자와 구조를 잘못 읽으면, 검색도 답변도 그 오류를 그대로 물려받는다.
레벨이 있다: 5-Star 오픈 데이터
"머신 리더블에도 레벨이 있다"는 말의 원조는 월드와이드웹을 만든 팀 버너스리의 5-Star 오픈 데이터다. 별이 하나씩 늘 때마다 아래 단계를 모두 포함한다.
| 등급 | 뜻 | 예 |
|---|---|---|
| ★ | 웹에 공개만 되어 있다 (형식 상관없음) | |
| ★★ | 기계가 해석할 수 있게 구조화돼 있다 (스캔 이미지는 아님) | 엑셀 |
| ★★★ | 특정 회사 프로그램에 묶이지 않는 개방 형식이다 | CSV |
| ★★★★ | W3C 표준으로 각 항목에 주소(URI)를 붙인다 | RDF |
| ★★★★★ | 다른 데이터와 서로 연결돼 있다 | Linked Data |
다만 이건 원래 데이터용 등급이다. 보고서나 보도자료 같은 문서에 대한 공식 레벨은 아직 없다. 그래서 문서에 맞춰 단계를 다시 나눠 봤다.
문서로 바꿔 보면: 0단계부터 5단계까지
| 단계 | 형식 | 기계 입장 |
|---|---|---|
| 0단계 | 스캔 PDF, 사진 | 그림이다. OCR부터 해야 한다 |
| 1단계 | 텍스트 PDF | 글자는 뽑히지만 표, 단, 머리말이 섞인다 |
| 2단계 | HWP, DOC | 바이너리 형식이라 전용 프로그램이나 변환 도구가 필요하다 |
| 3단계 | HWPX, DOCX | XML 기반 개방형 형식. 제목, 표 구조가 파일 안에 남는다 |
| 4단계 | 마크다운, HTML | 제목 계층과 표가 텍스트로 그대로 보인다. RAG에 넣기 좋다 |
| 5단계 | 구조화 데이터 + 메타데이터 | JSON·CSV에 작성일, 출처, 버전까지. AI-Ready로 가는 출발점 |
이 기준으로 보면 우리 회사 문서는 대부분 1~2단계에 있다.
RAG에 제대로 쓰려면 적어도 4단계까지는 올려야 한다.
HWPX는 한컴의 XML 기반 문서 형식(국가표준 KS X 6101)이고, DOCX도 XML 기반이라 같은 HWP·DOC라도 'X'가 붙은 형식으로만 저장해도 한 단계 올라간다.
공공 분야도 움직이고 있다
- 행정안전부 보도자료 (2026년 4월 발표): 보도자료를 HWPX·PDF 첨부 대신 웹 게시글로 바로 볼 수 있게 바꾸고, AI와 사람이 모두 읽기 쉬운 마크다운 내려받기도 지원하겠다고 했다. AI가 첨부 파일을 직접 읽기 어려워 검증되지 않은 자료를 참조하는 문제를 줄이려는 취지다.
- 「공공데이터의 인공지능 친화적 관리 가이드라인 V1.0」 (행정안전부·NIA, 2026년 3월): CSV, JSON, XML 같은 기계가 읽기 쉬운 형식을 권장하고, HWP·DOCX·XLSX 같은 특정 프로그램 형식은 1차 제공 형식으로 권장하지 않는다.
정부 보도자료가 마크다운으로 나온다는 건, 앞으로 문서의 기본 독자가 사람만이 아니라는 뜻이다.
그럼 AI-Ready 데이터와는 같은 말일까?
나도 헷갈렸는데, 같은 말은 아니다. 머신 리더블은 AI-Ready의 1층이다.
| 머신 리더블 | AI-Ready 데이터 | |
|---|---|---|
| 질문 | 기계가 읽을 수 있나? | AI가 바로 쓸 수 있나? |
| 보는 것 | 형식과 구조 | 형식 + 품질, 메타데이터, 표준 코드, 라벨, 라이선스, 관리 체계 |
| 관계 | 필요조건 | 머신 리더블 위에 쌓는 것 |
TTA 정보통신용어사전은 AI-Ready(인공지능 준비) 데이터를 "학습, 분석 및 추론에 바로 활용할 수 있도록 데이터의 품질, 구조, 라벨, 메타데이터, 접근성 및 거버넌스 요건을 갖춘 데이터"로 정의한다. 기계가 읽을 수 있어도 결측이 많거나, 날짜 형식이 제각각이거나, 무슨 값인지 설명이 없으면 AI-Ready라고 할 수 없다. 이 부분은 다음 편에서 자세히 정리한다.
기존 문서는 그렇다 쳐도, 새 문서부터는
기존 문서를 전부 바꾸는 건 쉽지 않다. 실제로 다른 프로젝트와 협업해서 머신 리더블 문서가 나오도록 추진하고 있는데, 아직은 영 시원찮은 느낌이다. 그래서 적어도 앞으로 새로 만드는 문서는 처음부터 머신 리더블하게 만들려고 한다.
내가 정리한 새 문서 원칙은 이렇다.
- 제목은 '제목 스타일'로: 글자만 크게 키우지 말고 제목 1·2·3 스타일을 쓴다. 그래야 기계가 문서 계층을 안다.
- 표는 단순하게: 셀 병합을 최소화하고, 한 칸에 값 하나만 넣는다.
- 글자를 그림으로 넣지 않는다: 캡처한 표나 도표 대신 실제 표와 원본 데이터를 함께 둔다.
- 저장은 HWPX·DOCX로: 최소한 XML 기반 형식으로 저장하고, 가능하면 마크다운본도 함께 만든다.
- 문서 정보를 적는다: 작성일, 작성 부서, 버전, 출처를 문서 첫머리에 넣는다. 날짜는 2026-10-18처럼 한 형식으로 쓴다.
정리하면 머신 리더블은 "AI가 내 문서를 제대로 읽게 하는 최소 조건"이다.
RAG의 답변 품질은 모델보다 먼저 문서에서 결정되더라..
다음 편에서는 그 위층인 AI-Ready 데이터를 행정안전부 가이드라인의 5개 영역(포맷·구조, 데이터 정보 제공, 품질지표, 표준코드, 관리체계) 중심으로 더 자세히 정리해 보겠다.
이상 머신 리더블 문서 정리 끝!
2026년 10월 기준. 참고: W3C 5 Star Linked Data, 행정안전부 보도자료(2026.4.27), 「공공데이터의 인공지능 친화적 관리 가이드라인 V1.0」(행정안전부·NIA, 2026.3), TTA 정보통신용어사전. 문서 단계 구분(0~5단계)은 이해를 돕기 위해 직접 정리한 것이다.
댓글
댓글 쓰기