시연 화면에서 AI가 회사 문서를 읽고 답을 만들었습니다. 설명도 자연스럽고 처리 속도도 빨라 보입니다. 이제 계약을 진행해도 되는지 고민됩니다. 이때는 우리 회사가 맡기려는 일을 어떤 자료로 시험했고, 직원의 도움 없이 어디까지 처리했는지 확인해야 합니다. 답변이 잘 나온 화면만으로는 매일 들어오는 요청에도 쓸 수 있을지 알기 어렵습니다. 자료 준비와 검토에 든 시간, 아직 시험하지 않은 업무도 함께 확인해야 합니다.
PoC는 Proof of Concept의 약자로, 구상한 기능이 실제로 가능한지 작은 범위에서 시험하는 것을 뜻합니다. 다만 계약과 프로젝트마다 사용하는 범위는 다를 수 있습니다. 회사 자료를 넣어 답변을 시험하는 수준인지, 기존 업무 시스템에서 정보를 가져오는 것까지 포함하는지 먼저 맞춰야 합니다. 이름이 PoC라는 이유만으로 운영에 필요한 사항이 모두 확인됐다고 볼 수는 없습니다.
PoC의 성공은 이번에 정한 시험 범위에서 확인한 결과입니다. 예를 들어 문서에서 정보를 찾는 기능을 확인했더라도 기존 시스템에 등록하는 기능은 따로 시험해야 할 수 있습니다. 다음 투자에서는 확인된 기능을 어디에 적용하고 무엇을 더 검증할지 정해야 합니다. PoC 결과 보고서에 사용 범위와 남은 질문이 함께 있어야 대표가 진행·보완·중단을 판단할 수 있습니다.
시연을 보기 전에 검증 질문을 문장으로 적습니다
검증 질문이 모호하면 결과 보고서도 기능 목록으로 채워지기 쉽습니다. 문서를 이해하는 AI가 필요한지 묻기보다, 승인된 안내문에서 고객 문의에 해당하는 조건을 찾아 담당자가 검토할 초안을 만들 수 있는지 묻는 편이 구체적입니다. 어떤 자료를 받고, 무엇을 내놓으며, 누가 어디에서 사용하는지가 드러나기 때문입니다.
예를 들어 교육 서비스를 제공하는 가상 회사를 생각해보겠습니다. 과정별 수강 조건이 여러 문서에 나뉘어 있고 상담 직원은 문의를 받을 때마다 해당 내용을 찾아봅니다. 이 회사의 검증 질문은 모든 교육 상담을 자동화할 수 있는지가 아닐 수 있습니다. 현재 모집 중인 과정의 공식 안내문을 기준으로, 수강 조건과 변경 가능 여부를 출처와 함께 제시할 수 있는지가 먼저일 수 있습니다.
이렇게 범위를 적으면 다루지 않을 것도 정해집니다. 과거 과정의 특약이나 고객별 예외 약속까지 답하는 것은 이번 검증에서 제외할 수 있습니다. 대신 그 질문이 들어오면 담당자 확인이 필요하다고 표시하는지를 평가합니다. 답하지 않아야 할 상황을 정하는 일도 PoC의 일부입니다. 허용한 자료에 없는 내용을 그럴듯하게 채워 넣는 답변을 성공으로 처리해서는 곤란합니다.
검증 질문 옆에는 현재 담당자가 그 일을 처리하는 방법도 적습니다. 어떤 문서를 찾아 몇 번 확인하는지, 문의 내용이 불분명할 때 무엇을 되묻는지 살펴봅니다. 그래야 AI가 만든 답만 보고 판단하지 않고 기존 업무와 비교할 수 있습니다. 현재 과정이 기록돼 있지 않다면 짧은 관찰과 실제 처리 기록을 통해 비교 기준부터 만들어야 합니다.
정상 요청과 누락·예외가 있는 요청을 함께 시험합니다
자료가 회사에서 나온 것이라고 해서 검증 자료로 충분한 것은 아닙니다. 설명하기 쉬운 문서만 골랐을 수도 있고, 실제 문의와 달리 질문이 정돈돼 있을 수도 있습니다. 자료의 출처뿐 아니라 어떤 업무 상황을 대표하는지 확인해야 합니다. 정상적으로 끝나는 건, 담당자가 다시 물어보는 건, 처리할 수 없는 건이 어떻게 포함됐는지 살펴보세요.
앞의 가상 교육 회사라면 과정명이 정확한 문의와 줄임말로 들어온 문의는 조건이 다릅니다. 신청 시점과 실제 수강 시점이 다른 질문도 있을 수 있습니다. 안내문이 개정되기 전 신청한 고객이라면 최신 안내문만 보고 답하는 것이 적절하지 않을 수 있습니다. 이런 차이는 문서를 잘 요약하는 능력만으로 평가하기 어렵습니다.
평가할 자료에는 원문과 함께 담당자의 판단 근거를 남깁니다. 정답 문장 하나만 만들어두면 표현이 다른 올바른 답을 오답으로 처리하거나, 문장이 비슷한 잘못된 답을 통과시킬 수 있습니다. 반드시 포함해야 하는 내용, 빠지면 안 되는 조건, 확인이 필요하다고 표시해야 하는 상황을 구분하면 평가가 더 분명해집니다.
모든 회사가 정교한 평가 시스템부터 구축할 필요는 없습니다. 자료별로 질문, 허용한 근거, 기대하는 처리, 실제 결과, 오류의 영향을 나란히 적는 표에서 시작할 수 있습니다. 다만 시험 도중 기준을 바꾸면 변경 이유를 남겨야 합니다. 결과가 좋게 보이도록 어려운 건을 제외하면 이후 투자 판단에 쓸 근거가 약해집니다.
개발 과정에서 반복해서 본 자료와 최종 평가 자료도 구별하는 편이 좋습니다. 개발자가 답변을 보며 조정한 질문에서 좋은 결과가 나왔더라도, 처음 접하는 질문에 잘 답하는지는 별도로 확인해야 합니다. 실제 확보할 수 있는 자료가 적다면 그 한계를 숨기지 않고, 다음 단계에서 어떤 종류의 자료를 추가로 확인할지 결정에 포함합니다.
평균 점수보다 오류의 영향을 나눠서 봅니다
결과 보고서에 정확도 하나만 적혀 있으면 대표는 어떤 답을 정답으로 계산했는지 알기 어렵습니다. 문서 분류가 틀린 것인지, 고객에게 잘못된 약속을 한 것인지, 근거를 찾지 못했는데 답을 만든 것인지가 모두 다르기 때문입니다. 점수가 있다면 전체 몇 건 중 몇 건을 맞았다고 봤는지, 무엇을 정답으로 인정했는지 확인해야 합니다.
결과 유형 | 업무에서 확인할 영향 | 다음 단계 판단 |
|---|---|---|
표현이 어색하지만 조건은 맞음 | 직원의 수정 부담 | 수정 시간을 포함해 비교 |
필요한 조건을 빠뜨림 | 잘못된 안내 가능성 | 누락 발견 방법과 검토 기준 확인 |
다른 문서를 근거로 답함 | 적용 대상 착오 | 자료 선택과 출처 연결 재검증 |
근거가 없을 때 확인 요청 | 담당자 처리 필요 | 정해둔 보류 기준과 일치하는지 평가 |
처리 범위 밖 질문에 단정적 답변 | 권한과 업무 범위 침범 | 진행을 막는 조건인지 사전 합의 |
허용할 오류와 진행을 막을 오류는 결과를 실제로 사용하는 방식에 맞춰 정합니다. 표의 오류가 최근 회사 업무에서 발생했다면 어떻게 처리했을지 생각해보세요. 직원이 고쳐 쓸 수 있는지, 해결 전에는 도입을 보류해야 하는지 정할 수 있습니다. 내부 검토용 초안과 고객에게 바로 전송하는 답변은 같은 기준으로 평가하기 어렵습니다. 중요한 오류를 평균 속도나 문장 만족도로 상쇄하지 않도록 항목을 나눠야 합니다.
미국 국립표준기술연구소 NIST의 AI 위험관리 프레임워크도 사용 맥락을 파악하고, 그 맥락에 맞게 평가하며, 결과를 의사결정에 연결하도록 제시합니다. 여기에서 적용할 실무 원칙은 틀린 답이 실제 업무에서 어떤 문제를 일으키는지 기준으로 평가하자는 것입니다. NIST AI RMF의 맥락 파악과 평가 체계
평가자끼리 판정이 다른 자료도 따로 보관합니다. AI의 문제가 아니라 회사 기준이 정해지지 않은 건일 수 있습니다. 담당자마다 예외를 다르게 처리하는 상태에서 단일 정답을 요구하면 평가가 흔들립니다. 이 경우에는 모델을 더 조정하기 전에 업무 책임자가 적용 기준을 확정해야 합니다.
평가 결과를 다시 설명할 수 있는지도 확인합니다
평가자가 결과를 좋다고 표시했다면 그 이유를 짧게 남깁니다. 필요한 조건이 모두 포함됐는지, 근거가 맞는지, 담당자가 수정 없이 쓸 수 있었는지를 구분합니다. 판단 근거가 없는 점수는 나중에 기준이 달라졌을 때 다시 해석하기 어렵습니다. 공급사와 회사 담당자가 일부 결과를 함께 판정해보면 서로 다르게 이해한 기준을 찾을 수 있습니다.
시험 중 사람이 질문을 바꿔주거나 자료를 추가한 경우에도 그 과정을 기록합니다. 도움을 받은 결과와 최초 결과를 구분해야 실제 직원에게 필요한 지원을 알 수 있습니다. 이 기록이 있어야 실제 운영에서도 직원이 같은 자료 준비나 질문 수정 작업을 해야 하는지 알 수 있습니다. 같은 조건에서 결과를 다시 확인했을 때 차이가 있다면 차이가 생긴 상황과 업무 영향을 다음 판단 자료에 포함합니다.
사람이 고친 시간과 준비한 작업까지 결과에 포함합니다
시연에서는 AI가 답을 만드는 순간이 잘 보입니다. 반면 문서를 정리한 시간, 답을 확인한 시간, 틀린 부분을 다시 등록한 작업은 화면 밖에 있을 수 있습니다. 실제 도입 판단에서는 이 작업까지 포함해야 합니다. AI가 빠르더라도 사람이 처음부터 다시 확인해야 한다면 기대한 변화가 생기지 않을 수 있습니다.
검토 시간은 초안을 처음 읽은 때부터 업무에 사용할 수 있다고 판단한 때까지 기록하는 방식으로 정할 수 있습니다. 담당자가 원문을 다시 찾거나 다른 직원에게 문의한 시간도 구분해서 남깁니다. 다만 사용법을 익히는 동안 잰 시간과 익숙해진 뒤 잰 시간은 구분합니다. 어떤 조건에서 측정했는지 함께 적어야 비교가 가능합니다.
자료를 사람이 미리 가공했다면 그 내용도 밝혀야 합니다. 원래 문서에서 표를 옮겼는지, 오래된 자료를 제외했는지, 질문에 맞는 문서를 미리 골라줬는지에 따라 운영 준비가 달라집니다. 이런 작업이 필요하다는 사실 자체가 실패는 아닙니다. 앞으로 누가 얼마나 자주 해야 하는지가 확인되지 않은 상태가 판단을 어렵게 만듭니다.
운영 비용도 PoC 비용과 분리해 봅니다. 시험용으로 적은 자료를 처리했을 때의 비용을 회사 전체 사용 비용으로 곧바로 확대하면 안 됩니다. 사용할 인원, 요청량, 연결할 시스템, 자료 갱신 방식에 따라 추가 확인이 필요합니다. 여기서는 정확한 견적을 억지로 만들기보다 다음 투자 전에 받아야 할 비용 항목과 가정을 명시합니다.
검증 결과가 좋다는 이유로 숨겨진 수작업까지 사라진 것으로 계산하지 않습니다.
이번 시험에만 필요했던 준비와 직원이 계속 반복해야 할 작업을 구분하세요.
해결된 질문과 남은 질문을 같은 보고서에 남깁니다
PoC 종료 보고서에는 성공 화면보다 판단의 근거가 필요합니다. 무엇을 시험했고, 어떤 자료를 사용했으며, 어떤 항목이 기준을 충족했는지 적습니다. 동시에 시험하지 않은 대상과 남은 오류를 표시합니다. 이 구분이 있어야 다음 단계의 범위를 정할 수 있습니다.
예를 들어 문서에서 조건을 찾아 초안을 만드는 기능은 확인했지만 상담 시스템에 저장하는 기능은 만들지 않았을 수 있습니다. 이 경우 결과는 초안 생성 가능성 확인입니다. 상담 처리 전체를 자동화할 수 있다고 표현하면 시험하지 않은 기능까지 확인된 것으로 오해할 수 있습니다. 시스템 연결과 사용자 권한, 저장 실패 처리는 별도 검증 대상으로 남겨야 합니다.
보고서를 받는 대표는 남은 문제가 얼마나 어려운지 기술적으로 모두 판단할 필요는 없습니다. 그 문제를 해결할 책임자, 필요한 자료, 예상되는 추가 작업, 해결 여부를 확인할 방법을 물으면 됩니다. 아직 알 수 없는 부분은 추정과 확인된 사실을 나눠 적도록 요청합니다. 확인하지 못한 부분까지 성공한 것으로 보고하면 추가 작업과 비용을 예상하기 어렵습니다.
검증 자료와 결과를 회사가 다시 볼 수 있어야 한다는 점도 확인합니다. 최종 화면만 전달받으면 나중에 요구사항이 달라졌을 때 무엇이 달랐는지 비교하기 어렵습니다. 회사 자료의 보관과 삭제 조건을 지키면서도 질문 목록, 평가 기준, 오류 유형, 실행 조건을 남길 수 있는 방법을 합의해야 합니다.
진행·보완·중단을 서로 다른 결정으로 다룹니다
다음 단계 진행을 승인할 때는 검증이 끝난 범위와 계속 지켜야 할 조건을 명시합니다. 직원이 검토하는 내부 초안으로는 진행하되 자동 전송은 승인하지 않을 수 있습니다. 이런 제한은 애매한 승인이 아니라 권한과 위험을 구분한 결정입니다. 이후 범위를 넓히려면 무엇을 추가로 확인해야 하는지도 함께 적습니다.
보완 후 다시 판단하는 경우에는 재시험 질문을 좁힙니다. 답변 품질을 개선하자는 문장만 남기면 수정 작업이 끝없이 이어질 수 있습니다. 최신 문서 선택이 문제였다면 갱신 기준을 수정하고 해당 유형의 질문으로 다시 확인합니다. 핵심 기능은 동작하지만 업무 부담이 줄지 않았다면 검토 화면이나 자료 전달 과정을 바꿔 재평가할 수 있습니다.
중단도 유효한 결과입니다. 필요한 자료에 접근할 수 없거나, 검토 부담이 이득보다 크거나, 허용할 수 없는 오류를 통제하기 어렵다면 다음 투자를 멈출 수 있습니다. 이미 사용한 비용을 만회하려고 범위를 확대하면 검증의 의미가 줄어듭니다. 중단할 때에는 확보한 자료 기준이나 정리한 업무 조건 가운데 재사용할 것을 남깁니다.
대표의 결정 기록은 길 필요가 없습니다. 이번에 확인한 가능성, 승인하는 사용 범위, 진행 전 해결할 조건, 다음 판단의 시점이 분명하면 됩니다. 승인하지 않은 기능도 함께 적으면 담당자와 공급사가 서로 다른 기대를 갖는 일을 줄일 수 있습니다. 이 기록을 기준으로 다음 계약에 포함할 작업과 회사가 준비할 자료·담당자를 정할 수 있습니다.
다음 PoC 결과 회의에는 검증 질문과 남은 조건을 나란히 놓아보세요. 어떤 업무를 맡길 수 있다는 근거를 얻었는지 설명할 수 있어야 다음 투자의 범위도 정할 수 있습니다. FlowOS와 검증 범위를 논의할 때는 시험에 쓴 자료, 맞고 틀린 결과, 직원이 수정한 내용, 아직 시험하지 않은 항목을 준비해보세요. AI 도입 검토를 위한 FlowOS의 접근을 살펴보세요.