AI 챗봇 공개 전 검수: 오답·권한·담당자 연결까지 확인하세요

기대 답변이 있는 질문 목록을 만듭니다

가격, 지원 범위, 운영 시간과 신청 절차처럼 사업에서 중요한 질문을 담당자가 먼저 작성합니다. 질문별로 답변 근거와 반드시 포함할 조건, 말하면 안 되는 내용을 정하세요. 모델이 작성한 답을 같은 모델에게 좋다고 평가하게 하는 것만으로 최종 확인을 끝내지 않습니다.

같은 질문을 다르게 물어도 답변 조건이 유지되는지 확인합니다. “반려견과 숙박할 수 있나요?”와 “대형견 두 마리도 되나요?”는 확인할 조건이 다릅니다. 챗봇이 마릿수·크기·객실 조건을 구분하고 자료에 없는 내용은 담당자에게 연결하는지 시험하세요.

시험할 질문의 유형

사용자와 외부 자료의 지시를 신뢰하지 않습니다

사용자가 기존 규칙을 무시하라고 요구하거나 검색 자료에 의도하지 않은 지시가 섞일 수 있습니다. OWASP는 이런 프롬프트 인젝션을 모델 기반 서비스의 위험으로 다룹니다. 챗봇이 참고하는 내용과 실행할 권한을 구분하고, 중요한 처리는 시스템에서 제한하는 방향으로 설계해야 합니다.

개별 금칙어 몇 개만 넣었다고 문제가 해결되었다고 표현하지 않습니다. 운영 범위와 실제 자료를 기준으로 공격적인 입력과 외부 내용의 영향을 시험하세요. 고객이나 회사 비밀번호 등 계정 인증정보를 모델의 지시문에 넣어 권한을 관리하는 방식도 피해야 합니다.

생성한 답변을 코드나 명령처럼 바로 실행하지 않습니다

모델의 출력이 다른 시스템에 전달되면 잘못된 형식과 의도하지 않은 작업의 영향이 커질 수 있습니다. OWASP는 모델 출력의 부적절한 처리를 별도 위험으로 설명합니다. 화면 표시와 API 호출에는 필요한 형식 검증과 권한 확인을 적용하고 출력 자체를 신뢰하지 않는 방향으로 설계합니다.

예약 변경이나 이메일 발송 같은 기능은 실행할 작업과 대상, 사용자 확인을 분명히 정하세요. 같은 요청이 반복되어 중복 작업이 생기는 상황과 실패 후 재시도도 최종 확인합니다. 안내만 하는 챗봇과 상태를 바꾸는 기능의 최종 확인은 같은 범위가 아닙니다.

담당자 전환과 장애 안내도 기능입니다

답변할 근거가 부족하면 문의 채널을 제공하고 이용자가 다음 행동을 이해할 수 있게 안내합니다. 연결 버튼만 있는지, 대화 요약이 실제 담당자에게 전달되는지와 접수 상태를 구분하세요. 카카오톡이나 이메일 앱을 여는 것만으로 문의가 등록됐다고 표시하지 않습니다.

모델 서비스가 응답하지 않거나 사용량 제한에 도달했을 때도 일반 상담 채널로 이어질 수 있어야 합니다. 실제 수신 가능한 채널과 운영 담당자를 시험하세요. 자동 답변이 모든 상담을 해결할 것이라고 가정하지 않고 사람이 확인할 상황을 남기는 편이 명확합니다.

로그와 개인정보의 보관 범위를 정합니다

오류 개선에 필요한 기록과 불필요한 원문 개인정보를 구분합니다. 운영자가 볼 수 있는 대화와 삭제 요청, 보관 기간과 접근 담당자를 실제 서비스 조건에 맞춰 정해야 합니다. 민감한 정보가 포함된 실대화를 최종 확인 예시 자료로 무조건 재사용하지 않습니다.

외부 모델과 채팅 서비스의 데이터 처리 조건도 확인하고 고객에게 설명할 개인정보 안내에 반영하세요. 어떤 비밀번호 등 계정 인증정보를 어디에 저장하는지 개발, 운영 문서에서 관리합니다. 정적 홈페이지 파일에 비밀키를 넣는 방식은 챗봇 운영 구조로 사용하지 않습니다.

공개 뒤에도 대표 질문을 다시 시험합니다

답변 자료와 모델, 검색 설정이 바뀌면 같은 질문의 결과가 달라질 수 있습니다. 중요한 질문과 권한, 예외 시험을 다시 실행하고 발견한 오류를 자료 문제와 시스템 문제로 분류하세요. 답변 오류를 신고하고 담당자가 확인할 운영 경로도 필요합니다.

완료 기준은 프로젝트별로 정하되 검사한 범위와 제한을 함께 문서화합니다. 짓고 JiTGO는 챗봇을 업무 시스템의 별도 개발로 상담하며 임의의 정확도, 보안 인증, 자동 해결률을 약속하지 않습니다. 실제 질문과 운영 환경으로 검증할 방법을 먼저 정하는 것이 도입 상담의 출발점입니다.