에이전트가 Q&A 혹은 문서 검색 결과에 긍정/부정 평가를 부여하여 Alli 의 AI 를 훈련할 수 있습니다. 에이전트가 평가를 부여하면 ‘조정 신뢰도’ 값에 수정이 가해지고, 이 수정분이 고객의 평가와 다른 에이전트의 평가와 합산되어 이후의 검색 결과와 순서에 영향을 주게 됩니다. 고객 선택이 QA 검색 결과에 반영되도록 설정하기 가이드를 참고하시면 고객 피드백과 조정 신뢰도에 대해 더 알아보실 수 있습니다.
QA 검색 결과와 문서 검색 결과에 피드백을 부여하는 방법에는 각각 두가지가 있습니다. 하나는 검색 프리뷰에서, 다른 하나는 학습 메뉴에서 부여하는 방법입니다.
검색 프리뷰에서 피드백 부여: QA
지식 베이스 QA 메뉴에서 QA 를 검색해 프리뷰를 확인하면, 검색되는 QA 쌍 오른쪽 아래에 긍정/부정 아이콘이 있는 것을 볼 수 있습니다.
원하는 아이콘에 클릭하기만 하면 해당 QA 에 긍정 혹은 부정 피드백을 부여할 수 있습니다. 피드백 부여 후에 같은 검색 쿼리를 다시 입력하면, 아래와 같이 조정 신뢰도 값이 변한 것을 볼 수 있습니다.
위 스크린샷에서 다시 긍정 아이콘을 클릭하여 피드백을 취소하거나, 부정 아이콘을 클릭하여 부정 피드백으로 바꿀 수도 있습니다.
이 방법으로 상위의 QA 검색 결과들에 대해 간단하게 피드백을 부여할 수 있는데요, 검색 결과에 나타나지 않는 QA 들에도 피드백을 부여하고 싶거나 이미 피드백이 부여된 모든 검색 쿼리의 피드백을 관리하고 싶다면 ‘학습’ 메뉴에서 진행할 수 있습니다. 본 가이드 하단의 ‘학습 메뉴’ 항목을 참고하세요.
검색 프리뷰에서 피드백 부여: 문서
검색 프리뷰에서 문서 검색 결과에 피드백을 부여하는 방법은 QA 검색 결과에 피드백을 부여하는 방법과 동일합니다. 지식 베이스 문서 메뉴로 이동하여 문서 검색을 시도하면, 각 검색 결과 우측 하단에서 긍정/부정 아이콘을 찾을 수 있습니다.
위 스크린샷에서 다시 긍정 아이콘을 클릭하여 피드백을 취소하거나, 부정 아이콘을 클릭하여 부정 피드백으로 바꿀 수도 있습니다.
긍정 혹은 부정 아이콘을 클릭하여 피드백을 부여합니다. 이후 동일한 검색 쿼리로 다시 검색해 보면, 피드백 부여 현황과 수정된 조정 신뢰도를 확인할 수 있습니다.
위 스크린샷에서 다시 긍정 아이콘을 클릭하여 피드백을 취소하거나, 부정 아이콘을 클릭하여 부정 피드백으로 바꿀 수도 있습니다.
문서 검색에서도 마찬가지로 학습 메뉴를 이용해 쉽게 피드백을 관리할 수 있습니다. 뿐만 아니라 검색 결과를 수정하거나 새로운 답변을 작성할 수도 있습니다. 아래 학습 메뉴 가이드에서 자세한 내용을 확인하실 수 있습니다.
학습 메뉴
학습 메뉴를 사용하면 QA 와 문서 검색 결과에 부여된 피드백을 쉽게 확인하고 관리할 수 있으며, 새로운 질문에 대한 답변을 학습시킬수도 있습니다.
지식 베이스 학습 메뉴로 이동하면 ‘학습된 문장 리스트’ 항목 아래에서 기존에 학습된 질문들 및 각 질문에 부여된 적절/부적절 피드백의 수를 확인할 수 있습니다. 각각의 피드백 수는 QA와 문서 검색 결과에서 부여된 피드백 수의 합산입니다. 예를 들어 아래의 ‘보험 해지’ 질문에 QA 에서 적절 피드백이 1건, 문서에서 2건 부여된 경우 피드백 수는 3으로 표시됩니다.
- 이미 부여된 피드백을 확인하고 관리하려면 학습된 문장 리스트에서 원하는 문장을 클릭합니다.
- 새로운 질문을 학습시키고 싶다면 ‘AI 학습을 위한 질문 입력’ 필드에 질문을 입력하고 학습 버튼을 클릭합니다.
두 경우 모두 아래와 같은 화면으로 이동하게 됩니다.
이 화면에서 학습중인 질문에 대한 피드백들을 관리하여 AI 모델을 학습시킬 수 있습니다. QA 와 문서 탭 중 학습을 시작할 항목을 선택합니다. 기본값으로 QA 탭이 선택된 상태입니다. 뒤로가기 버튼을 클릭하면 이전 화면으로 돌아갑니다.
학습 메뉴에서 피드백 부여: QA
QA 탭 아래에는 지식 베이스에 있는 모든 QA 가 리스트됩니다. 적절 피드백이 있는 항목이 제일 위에, 부적절 피드백이 있는 항목은 그 아래에, 마지막으로 아무 피드백도 없는 항목들이 위치하게 됩니다.
적절 / 부적절 아이콘을 클릭하여 피드백을 부여할 수 있으며, QA 항목이 많을 때 등 필요한 경우 키워드 검색 필드를 이용해 피드백 부여를 원하는 QA 를 빠르게 검색할 수 있습니다. 상황에 따라 QA 목록 전체를 하나하나 확인하는 것도 물론 가능합니다.
- 에이전트마다 하나의 QA 아이템에 하나의 피드백을 부여할 수 있습니다. 적절 / 부적절 아이콘 옆에 해당하는 총 피드백 수가 표시됩니다.
- 자신이 부여한 피드백의 아이콘은 보라색으로 표시됩니다. 이미 선택한 피드백을 다시 클릭하면 피드백을 취소할 수도 있습니다. 예를 들어 위 스크린샷에서는 적절 아이콘을 클릭해 피드백을 취소하거나, 부적절 아이콘을 클릭해 피드백을 변경할 수 있습니다.
원하는 QA 항목들에 피드백 부여가 완료되면 지식 베이스 QA 메뉴로 이동해 방금 학습시킨 문장을 검색해 보세요. 피드백이 적용되어 조정 신뢰도가 변화했으며, 이에 따라 검색 결과와 노출 순서도 변경된 것을 확인할 수 있습니다.
학습 메뉴에서 피드백 부여: 문서
학습 메뉴에서 학습된 문장을 클릭하거나 새 문장을 입력한 후 다음 화면에서 문서 탭을 클릭합니다. 문서 검색의 특성상, 문서에서 추출되는 답변을 학습시키는 방법은 QA 의 경우와 매우 다릅니다. QA 와는 달리 문서에서 추출 가능한 모든 답변을 나열하는 것이 불가능하기 때문인데요. 만약 현재 학습중인 질문과 관련해 이전에 피드백을 부여한 일이 없다면, 학습 메뉴에서 보여지는 답변 리스트는 지식 베이스 문서 탭에서의 검색 결과 미리보기와 완전히 동일합니다.
이는 여기에서 보여지는 답변들이 ‘문서 검색 설정‘ 메뉴의 설정을 그대로 따른다는 뜻인데요, 즉 에이전트가 피드백을 주고싶어 하는 답변 부분이 ‘신뢰도 기준값’ 혹은 ‘답변 후보 개수’ 설정에 따라 여기에서 보여지지 않을 수도 있다는 뜻입니다 (자세한 내용은 해당 가이드를 참고하세요). 그렇다면, 질문에 대한 답변이 문서 내에 존재한다는 것을 알고 있을 때, 해당하는 답변 부분에 어떻게 피드백을 줄 수 있을까요? 아래의 세 가지 방법을 사용하면 됩니다.
- 키워드 검색 활용
키워드 검색을 활용하면, 피드백을 부여하고 싶은 검색 결과가 리스트에 나타날 만큼 높은 조정 신뢰도를 가지고 있지 않더라도 해당 결과를 찾아낼 수 있습니다. 이는 키워드 검색이 신뢰도 기준값을 무시하고 전체 문서 검색 결과에서 키워드로 필터링하는 방식으로 작동하기 때문입니다. - 기존 답변 편집
만약 찾아낸 최선의 답변이 답변으로 채택하기에 다소 부족하다면, 편집 아이콘을 클릭해 해당 답변을 편집할 수 있습니다. 편집된 답변은 항상 매우 높은 조정 신뢰도 값을 가지며, 편집한 담당자는 자동으로 해당 답변에 적절 피드백을 준 것으로 간주됩니다. - 직접 답변 작성
1, 2번을 모두 시도했으나 만족스러운 답변이 없는 경우 직접 답변을 작성할 수 있습니다. ‘직접 답변 작성’ 버튼을 클릭하면 됩니다. 직접 작성된 답변은 항상 매우 높은 조정 신뢰도 값을 가지며, 답변을 작성한 담당자는 자동으로 해당 답변에 적절 피드백을 준 것으로 간주됩니다.
학습 메뉴에서의 문서 학습 관련 몇가지 기억할 사항들입니다.
- 리스트에는 직접 작성된 답변이 가장 위에, 수정된 답변이 그 다음에 위치하며, 마지막으로 문서 검색 결과들이 나타납니다.
- 직접 작성된 답변과 수정된 답변은 ‘문서 검색 설정’ 메뉴에서 지정된 ‘답변 후보 개수’ 설정에 포함되지 않습니다.
- 수정된 답변에서 미리보기 아이콘을 클릭하면 출처 문서의 일반적인 미리보기가 나타납니다. 이 때 해당 답변은 이 문서의 일부에서 편집되어 작성되었다는 메시지가 표시됩니다.
- 직접 작성된 답변은 출처 문서가 없기 때문에 미리보기 아이콘이 표시되지 않습니다.
- 직접 작성 혹은 편집된 답변에는 삭제 아이콘, ‘직접 작성 답변’ 문구 및 마지막 편집자/편집 시간 정보가 포함되어 있습니다.
비교적 긴 가이드를 끝까지 읽어 주셔서 감사합니다. 에이전트 피드백 기능은 간단하면서도 활용도가 높은 기능인데요, 예를 들어 정기적으로 ‘미답변’ 탭의 질문들을 확인해 미답변 질문들 중 기존 QA 로 답변 가능한 질문이 있다면 학습을 진행한다거나, 답변봇을 고객에게 오픈하기 전에 미리 예상 가능한 질문들을 학습시켜 두는 등으로 활용할 수 있습니다. 원하는 때 언제건 Alli 의 AI 를 훈련시켜 보다 높은 답변 정확도와 고객 만족도를 달성해 보세요!
UPDATE
1/22/2021 – 문서 검색 결과 학습 가이드가 추가되었습니다. 여기를 클릭하면 해당 가이드로 이동합니다.
