월요일 아침, 입사 두 달 된 직원이 팀 단톡방에 묻습니다. “처가 쪽 조부모상에도 경조휴가가 나오나요?” 답을 아는 사람은 총무 과장뿐인데 오늘 연차이고, 공유 폴더에는 ‘취업규칙_최종’, ‘취업규칙_최종_수정’, ‘취업규칙_2025개정’ 파일이 나란히 있습니다. 회사 규정과 매뉴얼에 물으면 근거와 함께 답해 주는 AI 챗봇은 이런 장면을 줄이려는 도구이고, 그 뒤에 있는 기술이 RAG입니다.

ChatGPT에 바로 물으면 안 되는 이유

ChatGPT 같은 범용 AI는 인터넷의 방대한 글로 학습했지만 우리 회사 취업규칙은 읽은 적이 없습니다. 그래도 물으면 대개 무언가를 답합니다. “보통 조부모상에는 1~3일의 경조휴가를 주는 회사가 많습니다” 같은 답은 그럴듯하지만 우리 회사 규정과는 다를 수 있습니다.

AI가 모르는 것을 그럴듯하게 지어내는 현상을 환각(hallucination)이라고 부릅니다. 오픈AI는 2025년 9월 공개한 연구에서 이유 하나를 이렇게 설명했습니다. 지금의 모델 평가는 대부분 정답률만 채점하는데, 객관식 시험에서 빈칸은 0점이지만 찍으면 맞을 수도 있듯이 모르는 문제에 추측하는 모델이 점수를 더 받게 된다는 것입니다. 같은 글에 실린 사례에서 “모르겠다”고 답을 거른 비율이 52%인 모델은 오답률이 26%였고, 거의 답을 거르지 않은(1%) 이전 모델은 오답률이 75%였습니다.

사내 챗봇에 필요한 것은 그 반대 성질입니다. 규정에 있는 것만 말하고, 없으면 없다고 말하고, 어디에 적혀 있는지 보여 주는 것입니다.

RAG는 ’오픈북 시험’입니다

RAG(Retrieval-Augmented Generation, 검색 증강 생성)는 AI가 답을 쓰기 전에 지정한 문서에서 관련 부분을 먼저 찾아 읽게 하는 방식입니다. 2020년 페이스북 AI 연구소(현 메타) 등의 연구진이 논문으로 이름을 붙였습니다. 이 논문은 AI가 학습으로 머릿속에 넣어 둔 지식만으로는 답의 출처를 대기 어렵고 새 정보로 고치기도 어렵다는 점을 풀어야 할 과제로 들었는데, 사내 챗봇이 부딪히는 문제와 정확히 같습니다.

비유하면 RAG는 오픈북 시험입니다. AI에게 회사 규정을 외우게 하는 대신, 질문이 들어올 때마다 규정집의 해당 쪽을 펴서 옆에 놓아 주고 “이 내용만 보고 답하라”고 시키는 것입니다. 과정은 네 단계로 나뉩니다.

  1. 쪼개기: 규정과 매뉴얼을 검색하기 좋은 크기로 나눕니다. 규정집이라면 조항 하나를 한 조각으로 자르고 “『취업규칙』 제3장 휴가 > 제21조 경조휴가”처럼 위치 정보를 붙여 두면 잘 맞습니다.
  2. 찾기: 질문과 관련된 조각을 찾습니다. 같은 단어가 들어 있는 조각을 찾는 키워드 검색과, 표현이 달라도 뜻이 가까운 조각을 찾는 의미 검색을 함께 씁니다. 의미 검색은 문장을 뜻에 따라 숫자 목록(임베딩)으로 바꿔 두고 가까운 것끼리 찾는 방식이라, “처가 쪽 조부모상”이라고 물어도 “배우자의 조부모 사망” 조항을 찾아낼 수 있습니다.
  3. 답하기: 찾은 조각 몇 개를 질문과 함께 AI에 건네고, 그 안에서만 답하게 합니다.
  4. 출처 달기: 답 아래에 근거가 된 문서 이름, 조항, 개정일을 붙입니다.

규정이 바뀌면 AI를 다시 학습시킬 필요 없이 문서만 바꿔 넣으면 됩니다. 사내 챗봇에 재학습(파인튜닝)보다 RAG를 먼저 쓰는 이유입니다.

답의 품질은 2단계, 곧 제대로 찾느냐에서 크게 갈립니다. 앤트로픽(Anthropic)은 2024년 실험에서 각 조각 앞에 “이 조각이 문서의 어떤 내용인지” 설명하는 짧은 문장을 붙이고 키워드 검색을 함께 쓰자 관련 조각을 놓치는 비율이 49% 줄었고, 찾은 결과를 한 번 더 정밀하게 재정렬하자 67%까지 줄었다고 발표했습니다. 어떤 AI 모델을 고르느냐 못지않게 문서를 어떻게 자르고 찾느냐가 중요하다는 뜻입니다.

RAG는 '오픈북 시험'입니다 관련 장면
AI 생성 이미지

답보다 출처가 중요한 이유

2024년 2월 캐나다 브리티시컬럼비아주 민사분쟁조정심판소는 에어캐나다가 승객에게 812.02캐나다달러(손해액, 이자, 심판 수수료 포함)를 지급해야 한다고 결정했습니다. 할머니를 잃은 승객이 항공사 웹사이트 챗봇에 조의 할인 운임을 물었고, 챗봇은 여행 뒤에도 소급해 신청할 수 있다고 안내했지만 실제 규정은 달랐습니다. 에어캐나다는 챗봇이 한 말에 책임이 없다고 맞섰지만, 심판소는 챗봇도 웹사이트의 일부일 뿐이며 정보가 일반 안내 페이지에서 나왔든 챗봇에서 나왔든 회사가 책임진다고 판단했습니다.

사내 챗봇도 다르지 않습니다. 직원에게 회사가 만든 챗봇의 답은 곧 회사의 공식 답변입니다. 그래서 답만 보여 주는 챗봇보다 답 아래에 규정 원문 한 단락과 문서 이름, 조항 번호, 개정일을 함께 보여 주는 챗봇이 훨씬 안전합니다. 직원은 원문을 눈으로 확인할 수 있고, 틀렸을 때 어디가 틀렸는지 바로 찾을 수 있습니다.

설계 요령이 하나 있습니다. 근거 원문은 AI가 다시 써서 보여 주지 말고, 검색에서 찾은 문서 조각을 그대로 화면에 띄우는 것입니다. “원문을 그대로 인용하라”고 지시해도 AI가 문장을 조금씩 바꿀 수 있기 때문입니다. AI에게는 어느 조각을 근거로 썼는지 번호만 말하게 하고, 원문은 시스템이 붙이는 방식이 확실합니다.

RAG도 틀립니다: 환각을 줄이는 방법

RAG를 쓰면 환각이 사라진다고 홍보하는 제품도 있지만 사실이 아닙니다. 스탠퍼드대 연구진은 2024년, “환각 없음”을 내세운 RAG 기반 법률 AI 도구들을 200개가 넘는 질문으로 시험했습니다. 범용 챗봇보다는 오류가 줄었지만 렉시스넥시스의 Lexis+ AI와 톰슨로이터의 Ask Practical Law AI는 17% 넘게, 같은 톰슨로이터의 Westlaw AI-Assisted Research는 34% 넘게 틀린 정보를 내놓았습니다. 연구진은 내용이 틀린 경우 말고도, 내용은 맞는데 그 내용을 뒷받침하지 않는 자료를 출처로 다는 경우를 따로 짚으며 이쪽이 더 위험할 수 있다고 지적했습니다.

사내 챗봇에서 오류를 줄이는 방법은 대체로 다음과 같습니다.

  • 모르면 모른다고 답하게 합니다. 찾은 조각의 관련도가 기준보다 낮으면 답을 지어내지 말고 “규정에서 찾지 못했습니다. 총무팀에 문의해 주세요”라고 답하게 합니다.
  • 현행본 하나만 넣습니다. 구버전이 함께 들어가 있으면 AI는 두 버전을 섞어 답합니다. 개정 이력은 따로 보관하고 검색 대상에는 현행 규정만 넣습니다.
  • 평가 질문 세트를 만듭니다. 실제로 자주 받는 질문 50~100개와 정답(근거 조항 포함)을 만들어 두고, 문서나 설정을 바꿀 때마다 다시 채점합니다. 모건스탠리는 자산관리 부문 사내 AI 비서를 들이면서 이런 평가 체계를 먼저 세우고 매일 표본 질문으로 회귀 시험(고친 뒤에도 전에 맞히던 답을 계속 맞히는지 보는 시험)을 돌렸고, 오픈AI의 사례 소개에 따르면 지금은 자문 인력 팀의 98% 이상이 이 비서를 씁니다.
  • 사람이 결론 낼 질문을 나눕니다. 급여 계산, 징계, 법적 해석처럼 틀리면 비용이 큰 질문은 챗봇이 근거 조항까지만 안내하고 결론은 담당자가 내리게 합니다.

부서별 권한: 볼 수 없는 문서는 찾지도 못하게

사내 챗봇에서 가장 조심할 부분은 권한입니다. 공유 드라이브에 급여대장이나 인사평가 파일이 실수로 ’전사 공개’로 올라가 있어도, 지금까지는 아무도 찾아보지 않아서 문제가 드러나지 않았을 수 있습니다. 챗봇은 그런 파일도 찾아서 요약해 줍니다. “우리 팀 과장 연봉이 얼마예요?“라는 질문에 답이 나오는 순간 사고가 됩니다.

마이크로소프트는 자사 코파일럿(Copilot)이 사용자가 이미 접근 권한을 가진 데이터만 근거로 쓴다고 설명하면서도, 도입 첫 단계로 과도하게 공유된 사이트와 파일부터 찾아 정리하라고 관리자에게 안내합니다. AI가 권한을 새로 뚫는 것이 아니라, 원래 잘못 열려 있던 문을 찾기 쉽게 만들기 때문입니다. 소프트웨어 보안 비영리 단체 OWASP도 2025년판 LLM 애플리케이션 10대 위험에 RAG의 벡터·임베딩 약점을 넣으면서, 접근 통제가 부족하거나 어긋나면 민감한 정보가 권한 없는 사용자에게 흘러갈 수 있다고 경고했습니다.

부서별 권한: 볼 수 없는 문서는 찾지도 못하게 관련 장면
AI 생성 이미지

원칙은 간단합니다. 권한은 AI가 답을 쓰는 단계가 아니라 문서를 찾는 단계에서 걸러야 합니다. “인사 문서 내용은 말하지 마”라고 AI에게 지시하는 방식은 질문을 비틀면 우회될 수 있으니, 그 직원이 볼 수 없는 문서는 애초에 검색 결과에 올라오지 않게 해야 합니다.

문서 등급 예 챗봇 처리
전사 공개 취업규칙, 출장·여비 규정, 경조사 규정, 복리후생 안내 전 직원이 검색 가능
부서 한정 영업 할인 기준, 생산 작업표준서, 구매 단가표 해당 부서 계정만 검색
개인·민감 급여대장, 인사평가, 징계 기록, 고객 개인정보 색인하지 않음

도입 순서: 여섯 단계

처음부터 전사용 챗봇을 만들 필요는 없습니다. 아래 순서로 한 부서, 한 문서 묶음부터 시작하는 편이 실패가 적습니다.

  1. 질문부터 모읍니다. 2주 동안 단톡방, 메일, 전화로 총무·인사팀이 받은 질문을 모두 적습니다. 경조휴가, 출장비 한도, 연차 이월, 법인카드 사용 기준처럼 반복되는 질문 50개 정도면 첫 범위로 충분합니다.
  2. 문서를 정리합니다. 그 질문의 답이 담긴 문서를 모으고, 파일마다 현행본인지, 개정일이 언제인지, 담당자가 누구인지 적습니다. 규정끼리 숫자가 서로 다르면 이 단계에서 바로잡아야 합니다.
  3. 권한을 나눕니다. 위 표처럼 문서를 등급으로 나누고, 민감 문서는 아예 색인 대상에서 뺍니다.
  4. 작게 엽니다. 인사·총무 규정처럼 전사 공개 문서로 먼저 열고, 답마다 “도움이 됐어요 / 틀렸어요” 버튼을 붙입니다.
  5. 채점합니다. 1단계에서 모은 질문으로 정답률, 답이 없을 때 “모른다”고 제대로 답한 비율, 출처가 맞는 비율을 따로 봅니다. 내용은 맞지만 출처가 틀린 답도 오답으로 셉니다.
  6. 운영 규칙을 둡니다. 규정이 개정되면 누가 문서를 바꿔 넣는지, 틀렸다는 신고를 누가 언제 검토하는지 정합니다. 한 달에 한 번 오답만 모아 보면 문서의 빈틈도 함께 드러납니다.

사내 챗봇은 결국 회사 문서의 상태를 그대로 비춥니다. 규정이 최신으로 정리돼 있고 권한이 제대로 나뉘어 있으면 RAG는 총무 과장의 반복 답변을 크게 덜어 주지만, 문서가 엉켜 있으면 엉킨 답을 빠르게 내놓을 뿐입니다. 챗봇을 만드는 시간보다 문서를 정리하는 시간이 더 드는 것이 정상입니다.

문서를 AI가 읽기 좋게 정리하는 방법은 자동화보다 매뉴얼(SOP)이 먼저인 이유에서 다루고, 우리 회사 문서와 권한 구조에 맞춘 챗봇이 필요하다면 맞춤 업무 툴 개발에서 상담할 수 있습니다.

참고한 자료