🧑🏻💻 Ep.28 | AI 제품은 확신을 어떻게 보여줘야 하나
한 팀이 상담원용 AI 화면에 신뢰도 숫자를 붙입니다. 90%가 넘으면 초록색, 70% 아래면 주황색입니다. 설명하지 않아도 이해하기 쉬운 기능처럼 보입니다.
며칠 뒤 상담원이 97%짜리 답변을 그대로 보냈습니다. “개봉한 상품도 반품할 수 있다”는 잘못된 안내였어요. AI가 참고한 문서는 오래됐지만 숫자는 아주 높았습니다. 반대로 최신 정책을 정확히 인용한 답이 68%를 받은 경우도 있었습니다.
상담원은 물었습니다. “그럼 이 숫자는 뭘 믿은 거예요?”
아무도 짧게 답하지 못했습니다.
설명할 수 없는 확률은 사용자의 판단을 돕기보다, 판단을 숫자에 맡기게 합니다.
※ 이 글의 장면과 신뢰도 수치는 불확실성 UI의 문제를 설명하기 위한 가상 사례입니다.
1. 자신감과 정확성은 다른 신호다
사람은 단정적인 문장을 자신 있는 말로 읽습니다. 제품이 백분율까지 붙이면 그 느낌은 측정된 사실처럼 바뀝니다. 97%라고 쓰여 있으면 누군가 100번 검증해 97번 맞았을 것 같으니까요.
하지만 그 값이 모델이 다음 단어를 고른 확률인지, 별도 분류기의 점수인지, 팀의 평가 결과를 보정한 값인지에 따라 뜻은 완전히 다릅니다. 질문 종류가 달라지면 같은 점수의 정확도도 달라질 수 있고요.
특히 모델이 자기 답을 다시 평가하게 만든 숫자는 조심해야 합니다. 오래된 문서를 충실히 요약한 모델은 아주 자신 있을 수 있습니다. 근거가 틀렸다는 사실은 모델의 말투에서 드러나지 않습니다.
팀은 숫자를 잠시 지우고 다시 묻습니다.
“상담원이 이 답을 보내도 되는지 판단하려면 실제로 무엇을 알아야 할까?”
2. 숫자 대신 관찰한 사실을 보여준다
상담원에게 필요했던 건 AI의 기분이 아니라 답이 만들어진 상태였습니다.
✔️ 공식 정책 문서를 찾았는가
✔️ 그 문서는 현재 버전인가
✔️ 주문 상태 조회가 성공했는가
✔️ 질문의 모든 조건을 확인했는가
✔️ 서로 다른 공식 문서가 충돌하지 않는가
이를 화면에서는 짧은 상태로 보여줄 수 있습니다.
공식 정책 확인 · 8월 20일 갱신 · 주문 상태 확인 완료
반대로 문제가 있으면 정책 갱신 대기, 주문을 특정하지 못함, 공식 문서 두 개가 충돌함처럼 표시합니다. 이 정보는 다음 행동과 연결됩니다. 그대로 전송할지, 주문을 다시 물을지, 정책 담당자에게 넘길지 고를 수 있으니까요.💡 좋은 신호는 “믿으세요”라고 말하지 않습니다. 왜 검토가 필요한지와 다음에 무엇을 할지를 보여줍니다.
3. 출처 링크 하나로는 부족하다
신뢰도 숫자를 없애고 문서 링크를 붙이면 해결될 것 같았습니다. 그런데 링크가 있다는 사실도 또 다른 안심 버튼이 됐습니다.
AI는 반품 정책 문서를 인용했지만, 결론에 중요한 “미개봉 상품에 한함”이라는 다음 문단을 놓칠 수 있습니다. 제주 지역 배송 규정을 묻는데 전국 공통 안내만 가져올 수도 있고요. 출처는 진짜여도 결론을 뒷받침하지 않을 수 있습니다.
상담원이 원문 전체를 매번 읽게 만들 수도 없습니다. 그래서 답의 핵심 문장 옆에 그 결론을 지지하는 짧은 근거 구간을 연결하고, 문서 제목·버전·적용 조건을 함께 보여주는 편이 낫습니다. 원문을 열면 해당 구간으로 바로 갈 수 있게 하고요.
제품도 인용의 존재와 인용의 적합성을 따로 평가해야 합니다. “링크가 붙었다”는 통과 조건으로는 부족합니다. 링크 속 문장이 실제 주장과 같은 조건을 말하는지 확인해야 합니다.
4. 모름에도 종류가 있다
모든 불확실성을 같은 경고 아이콘으로 보여주면 사용자는 곧 무시합니다. 이유에 따라 다음 행동이 다르기 때문입니다.
주문 번호가 없으면 사용자에게 다시 물으면 됩니다. 검색 장애로 정책을 못 찾았다면 잠시 뒤 재시도하거나 상담원에게 넘깁니다. 공식 문서끼리 충돌하면 정책 담당자의 결정이 필요합니다. 지원하지 않는 상품이라면 처음부터 자동 안내 범위 밖이고요.
“확인할 수 없습니다” 뒤에 이유와 탈출구가 있어야 합니다.
이때 AI에게 억지로 한 문장을 완성하게 하지 않는 것도 중요합니다. 답변 일부만 근거가 있다면 확인된 부분과 확인되지 않은 부분을 나눠 보여줍니다. 사용자는 부분 답변을 전체 답변으로 오해하지 않게 되고요.
☑️ 모른다고 잘 말하는 제품은 덜 똑똑해 보일 수 있습니다. 대신 사용자가 틀린 확신으로 행동하는 일을 줄입니다.
5. 수정 흔적을 품질로 바꾸기
상담원이 답을 수정할 수 있게 하면 그 자체로 중요한 신호가 생깁니다. 어떤 문장을 자주 고치는지, 어떤 상태에서 전송을 포기하는지, 어느 근거를 다시 여는지를 볼 수 있습니다.
단, 수정 횟수만 세면 오해하기 쉽습니다. 브랜드 말투를 다듬은 수정과 정책 오류를 바로잡은 수정은 무게가 다릅니다. 수정 이유를 가볍게 선택할 수 있게 하거나, 변경된 핵심 사실을 표본으로 리뷰해야 합니다.
수정 없이 보냈다고 정답인 것도 아닙니다. 높은 신뢰도 숫자처럼 UI가 검토를 건너뛰게 했을 수도 있습니다. 클릭 수보다 실제 문의가 해결됐는지, 재문의나 보상이 생기지 않았는지를 같이 봅니다.
화면은 사용자의 판단을 측정하는 곳이면서 동시에 판단을 바꾸는 곳입니다. 어떤 신호를 강조하느냐가 곧 운영 품질에 영향을 줍니다.
6. 위험할수록 더 구체적으로 말한다
사내 문서 요약이라면 출처 하나와 간단한 경고로 충분할 수 있습니다. 의료·금융·계정·환불처럼 영향이 큰 영역에서는 필요한 근거와 사람 확인의 수준이 달라집니다.
이 차이를 “AI는 틀릴 수 있습니다”라는 공통 문구로 덮지 않습니다. 매번 같은 경고는 배경이 되고, 결국 아무도 읽지 않습니다. 지금 부족한 정보와 그 때문에 제한되는 행동을 구체적으로 보여줍니다.
예를 들어
주문 소유자 확인 전이라 환불을 실행할 수 없습니다는 행동 가능한 안내입니다. AI 답변은 부정확할 수 있습니다는 책임을 사용자에게 넘기는 문장에 가깝고요.✅ 신뢰는 AI가 늘 자신 있게 답할 때 쌓이지 않습니다. 확인한 것은 분명히 말하고, 확인하지 못한 것은 숨기지 않으며, 사용자가 다음 행동을 고를 수 있을 때 쌓입니다.
97% 숫자를 지운 뒤 화면은 조금 덜 화려해졌습니다. 대신 상담원은 왜 멈춰야 하는지 알게 됐고, 팀은 어떤 데이터 경로를 고쳐야 하는지 볼 수 있게 됐습니다. 제품이 보여줘야 할 확신은 숫자의 크기가 아니라 근거의 상태였습니다.
🌱 신뢰할 수 있는 제품 경험을 고민하는 개발자들이 모인 곳, 루퍼스
AI의 답을 어떻게 보여주느냐도 중요한 엔지니어링 결정입니다. 기술과 사용자 판단이 만나는 지점을 함께 고민하고 싶다면 루퍼스에서 시작해보세요 🙌
AI 시대에도 결국 중요한 건 생각하는 힘과 성장하는 환경이라고 믿습니다.
루퍼스에는 성장에 진심인 800+명의 크루가 함께하고 있습니다. 현업에서 부딪히는 고민과 경험을 나누며 함께 성장하는 크루들의 이야기. 전액 기부 강의 그리고 다양한 오프라인 네트워킹까지! 루퍼스는 개발자를 위한 지속 가능한 성장을 만들어 갑니다.
📢 LOOPERS의 소식이 궁금하다면?
Share article