이 글의 목차
먼저 알아둘 답
사내 문서를 참고하는 RAG 챗봇은 정보를 어떻게 찾고 답하나요?
RAG는 질문에 맞는 문서를 찾아 AI가 답변에 참고하도록 연결하는 방식입니다. 사내 규정이나 제품 안내를 찾는 데 활용할 수 있지만 자료를 연결했다고 오답이 없어지지는 않습니다. 직원별 문서 접근 범위, 최신 자료 반영과 답변 근거를 함께 확인해야 합니다.
설비 회사: 설명서에서 답을 찾는 직원용 챗봇
직원들이 여러 제품 설명서에서 오류 코드와 점검 절차를 찾느라 시간을 씁니다.
이렇게 바꿔보세요
질문과 관련된 승인 문서를 찾아 답하고 참고한 문서명과 위치를 보여줍니다. 직원에게 허용된 자료만 검색하고 문서에 답이 없으면 확인이 필요하다고 안내합니다.
RAG는 관련 자료를 찾아 AI 답변에 참고시키는 방식입니다. 자료를 연결했다고 모든 답이 정확해지는 것은 아니므로 원문 확인과 시험이 필요합니다.
내 사업에서 확인할 일
최신 설명서, 폐기할 문서, 직원별 열람 범위, 자주 찾는 질문을 준비하세요.
이 글에 나오는 용어3개 · 뜻과 예시 보기
낯선 용어는 아래 뜻과 예시를 참고하세요.
- RAG관련 자료를 찾아 AI 답변에 함께 사용하는 방식
-
질문과 관련된 문서를 검색해 AI가 답할 때 참고하도록 연결하는 구조입니다. 문서 품질·권한·검색 결과와 답변을 확인해야 합니다.
예를 들면 직원용 챗봇이 사내 규정에서 관련 문장을 찾아 답변에 참고하도록 만들 수 있습니다.
- AI 챗봇채팅으로 질문에 답하거나 업무를 돕는 프로그램
-
자료를 바탕으로 질문에 답하는 기능과 예약·주문 정보를 실제로 바꾸는 기능은 개발 범위가 다릅니다.
예를 들면 매장 운영시간 안내는 공개 정보로 가능하지만 고객 주문 조회는 신원과 권한 확인이 필요합니다.
- 접근 권한사용자별로 볼 수 있거나 바꿀 수 있는 범위
-
누가 어떤 자료를 조회·수정·삭제할 수 있는지 정하는 규칙입니다. 화면에서 버튼을 숨기는 것만으로 권한이 보호되지는 않습니다.
예를 들면 담당 직원은 자기 업무를 처리하고 관리자는 승인·전체 조회를 하는 식으로 구분합니다.
RAG는 자료를 찾아 답변에 사용하는 구조입니다
모델이 일반 지식만으로 회사 정책을 추측하게 두기보다 승인된 매뉴얼이나 문서에서 관련 내용을 검색하고 그 내용을 답변에 참고하도록 구성할 수 있습니다. 사용자 질문, 문서 검색과 모델 답변의 단계를 나누어 생각하면 이해하기 쉽습니다.
예를 들어 직원이 “재택근무 신청은 누구에게 하나요?”라고 물으면 회사의 해당 절차가 적힌 문서를 찾고 신청 담당자와 경로를 안내하도록 설계합니다. 회사 문서에 없는 개인 승인이나 예외를 모델이 대신 결정하게 하지는 않습니다. 이 예시는 사용 흐름의 설명입니다.
문서가 많다는 것보다 정리 상태가 중요합니다
여러 버전의 규정과 오래된 파일이 섞여 있으면 어떤 문서가 현재 기준인지부터 정해야 합니다. 자료마다 제목, 담당자와 공개 범위, 폐기, 대체 여부를 관리하세요. 파일에 실제 텍스트가 있는지, 표, 스캔 이미지처럼 별도 처리가 필요한지도 확인합니다.
페이지를 단순히 많이 모으는 것보다 답변 근거로 쓸 범위를 정리하는 것이 필요합니다. 제품군별 조건이 다르면 해당 범위를 문서에 분명히 안내하고 공통 조건과 예외를 구분하세요. 처음 시험할 때는 대표 질문을 답할 수 있는 제한된 자료 묶음으로 시작할 수 있습니다.
사용자 권한을 검색 전에 확인합니다
모든 직원이 볼 수 있는 매뉴얼과 인사, 고객별 제한 문서를 같은 방식으로 공개하지 않습니다. 사용자 인증과 문서별 접근 조건을 시스템에서 확인한 뒤 허용된 자료를 검색에 사용하도록 설계합니다. 챗봇에게 “비밀 문서는 말하지 마라”라고 적는 문구만으로 권한 처리를 대신하지 않습니다.
문서 제목과 검색 결과 일부에도 민감한 정보가 있을 수 있습니다. 답변에 표시할 출처와 다운로드 링크가 사용자 권한을 유지하는지 확인하세요. 권한이 바뀌거나 계정이 비활성화되었을 때 기존 검색, 대화 기록을 어떻게 처리할지도 운영 범위에 포함합니다.
문서 검색과 답변 생성의 문제를 나눠 봅니다
필요한 문서를 찾지 못한 상황과 문서는 찾았지만 답을 잘못 요약한 상황은 다른 문제입니다. 질문, 검색한 자료와 실제 답변을 함께 확인하면 개선할 단계를 좁힐 수 있습니다. Microsoft의 공식 RAG 평가 안내도 답변의 근거 일치, 정확성과 관련성 등을 나눠 살펴봅니다.
내부 최종 확인에서는 자료에 있는 정책을 묻는 질문, 여러 문서를 함께 봐야 하는 질문과 자료에 없는 질문을 구분할 수 있습니다. 자동 평가 점수만으로 공개 여부를 결정하지 말고 실제 담당자가 회사 정책과 답을 비교하세요. 자료 검색을 붙이는 것이 오류 없는 답변의 보장은 아닙니다.
근거를 볼 수 있는 답변 화면
답변과 함께 참고 문서명과 위치를 보여주면 담당자가 원문을 확인하기 쉽습니다. 문서가 삭제되거나 권한이 바뀌면 링크가 실제로 접근 가능한지도 확인하세요. 근거가 부족한 경우에는 단정 대신 담당자 확인이 필요하다는 안내를 제공하는 방향으로 설계합니다.
다만 문서 링크가 있다는 것만으로 답변의 모든 문장이 자료와 일치하는 것은 아닙니다. 가격, 날짜, 담당자, 예외 조건 같은 핵심 항목을 원문과 비교하는 최종 확인 절차를 준비하세요. 이용자가 틀린 답을 알릴 수 있는 운영 경로도 필요합니다.
자료 변경과 삭제가 반영되는지 시험합니다
기존 문서를 고쳐 담당자를 바꾸거나 문서 자체를 삭제했을 때 검색 결과와 답변이 어떻게 달라지는지 시험합니다. 업로드만 되고 검색 자료가 갱신되지 않는 상황이 없는지 확인하세요. 갱신 작업이 실패하면 운영자가 상태를 알 수 있어야 합니다.
자료 관리 담당자, 반영 방식과 갱신 완료 확인을 전달 문서에 남깁니다. 기존 대화 내용이 과거 정책을 담고 있을 수 있으므로 새 질문과 과거 기록을 구분하는 안내도 검토합니다. 자료 갱신은 개발 완료 후에도 유지할 운영 업무입니다.
도입 상담에 필요한 자료
- 익명화한 대표 문서와 질문, 기대 답변
- 문서별 이용자, 부서 접근 권한
- 파일 종류와 기존 보관 시스템
- 변경, 삭제 빈도와 자료 담당자
- 답변에 표시할 출처와 담당자 연결 방법
- 실제 모델, 검색 서비스의 데이터 처리 조건
자주 묻는 질문
RAG 챗봇에 문서를 넣으면 AI를 새로 학습시키는 건가요?
이 글에서 설명하는 RAG는 질문과 관련된 자료를 찾아 답변에 참고하도록 연결하는 방식입니다. 문서를 연결하는 것과 모델 자체를 새로 학습시키는 것은 다른 작업입니다. 어떤 자료를 검색하고 답변 근거를 어떻게 보여줄지 정합니다.
모든 직원에게 같은 문서를 보여줘도 되나요?
부서·직원별로 볼 수 있는 자료가 다르면 검색 단계부터 해당 권한을 적용해야 합니다. 화면에서 링크만 숨기는 방식으로는 충분하지 않을 수 있습니다. 실제 계정별 질문으로 제한된 자료가 답변에 섞이지 않는지 시험하세요.
확인할 공식 자료
외부 서비스와 기준은 달라질 수 있습니다. 실제 적용 시 현재 안내와 개별 운영 조건을 확인하세요.
YOUR NEXT STEP WITH 짓고 JiTGO
AI 기능을, 실제로 운영할 서비스로 만드세요.
챗봇·문서 검색·업무 보조의 자료와 권한, 실제 기능 확인과 운영 비용을 확인해 맞춤 개발로 상담합니다.
- 만들 기능·제작할 내용·비용을 먼저 확인
- AI의 효율과 개발자의 최종 확인
- 진단·상담 모두 무료
- 모든 개발 완료 후 원천 소스 제공
- 프로젝트별 별도 견적·계약
예약·결제·회원·챗봇·장비 연동 등 맞춤 개발에는 기본형 홈페이지의 30만 원 가격과 후불 조건이 자동 적용되지 않습니다.
