피드백 부여 및 관리

Updated on 8월 12, 2024

이제 검색 결과에 고객이 직접 피드백을 부여할 수 있으며, 에이전트는 부여된 피드백을 일괄적으로 확인 후 관리 및 답변으로 활용할 수 있습니다. 

고객이 검색을 실시하면, 답변에 긍정/부정 아이콘이 표시됩니다.
답변이 마음에 들었다면 👍, 마음에 들지 않았다면 👎 버튼을 클릭할 수 있습니다.

👎 아이콘 클릭 시, 유저는 더욱 더 자세한 피드백을 기록할 수 있습니다.

이제 에이전트가 직접 답변이 되는 근거에 피드백을 부여하는 방법을 알아보겠습니다.

대화 목록 > 대화 이력에서 피드백을 부여하고 싶은 답변을 확인합니다. 

답변 하단의 1.단서 피드백(답변의 근거가 되는 문서에 부여할 수 있는 피드백) 2.👍 버튼 3.👎 버튼을 통해 답변에 대한 직접적인 피드백을 제공할 수 있습니다.

1.단서 피드백 클릭 시, 하기와 같은 화면으로 이동합니다.

1. 유저의 질문과 생성된 답변을 확인할 수 있습니다
2. 답변의 근거가 된 문서명, 페이지 정보가 표시됩니다.
3. 만약 표시된 페이지 이외에 특정 페이지에 정답이 포함되어 있을 경우에는, 페이지 네비게이션을 통해 원하시는 페이지로 자유롭게 이동하며 ‘질문과 연관된 내용’ 피드백을 부여할 수 있습니다.
👍 (질문과 연관된 내용) 피드백을 부여했을 경우에는, 추후 동일 혹은 비슷한 질문에 대해 해당 페이지가 상위에 랭크하여 표시되며 👎 (질문과 무관한 내용) 피드백을 부여했을 경우에는, 해당 페이지는 답변 후보에서 제외됩니다.
4. 답변의 근거가 된 문서 리스트가 나열됩니다. 단 지식베이스 > 문서 탭에서 문서를 삭제했을 경우, 해당 리스트에서 문서도 비활성화 처리(삭제된 문서로 표시)됩니다.
5. 답변을 생성한 페이지가 답변에 대한 근거로서 적절하면 👍 피드백 버튼을, 전혀 관계 없는 내용이라면 👎 피드백 버튼을 누를 수 있습니다.

6.좌측 리스트에 답변에 근거가 되는 문서가 없다면 직접 지식베이스에서 추가 후 피드백을 줄 수 있습니다.

답변 근거 문서만 추가한 후에는 상단의 ‘클루가 지정되지 않은 문서’ 섹션에 위치합니다. 특정 페이지에 피드백을 줘야만 하단의 답변에 대한 근거로 사용됩니다.

지금까지 피드백을 부여하는 방법에 대해 알아봤습니다. 이제 누적된 피드백을 확인하고 관리하는 방법에 대해 설명하겠습니다.

지식베이스 > 피드백 관리 탭을 통해 기록된 유저 & 에이전트 피드백을 일괄적으로 확인할 수 있습니다.

1.실제 대화에서 이루어진 유저의 질문과 생성된 답변을 확인할 수 있습니다

2.피드백에 대한 상세 개요를 확인할 수 있습니다.
2-1. 유저가 부여한 피드백은 실제 대화창에서 집계된 유저 피드백을 뜻합니다.
2-2. 에이전트가 부여한 피드백은 대화 이력창에서 집계된 에이전트 피드백을 뜻합니다.
3. 에이전트 피드백이 부여된 문서와 문서 페이지가 표시됩니다. 버튼 클릭 시, 답변 근거 문서들의 상세 내용을 확인할 수 있습니다.
4. 표시된 답변 & 피드백 내용이 정확한지 평가할 수 있습니다.

5. 표시된 답변 & 피드백 내용이 정확한지 평가할 수 있으며 어느 부분의 개선이 필요한지 평가할 수 있습니다.
6. 피드백 내역을 일괄 다운로드할 수 있습니다. 필터를 적용한 후 다운로드하면 필터가 적용된 목록만 다운로드 됩니다.

다운로드 상세 내역은 하기와 같습니다.

①Feedback Type : 유저(사용자) 피드백인지 에이전트(관리자) 피드백인지를 구분할 수 있습니다.    ②Created At : 최초로 생성된 피드백 일자가 표시됩니다.
③Modified At : 마지막으로 수정된 피드백 일자가 표시됩니다.
④Agent Email : 답변 근거 피드백을 부여한 에이전트 이메일이 표시됩니다.
⑤User ID : 대화 내에서 피드백을 부여한 유저 아이디가 표시됩니다.
⑥First Name, Last Name : 등록된 이름이 표시됩니다.
⑦Question : 질문이 표시됩니다.
⑧Generative Answer : 생성된 답변이 표시됩니다.
⑨Clues : 답변의 근거가 된 문서가 표시됩니다.
①⓪Positive/Negative : 피드백 종류가 표시됩니다.
①①Feedback Clue : 피드백으로 부여한 문서명 및 페이지가 표시됩니다.
①②Negative Feedback Type : 부정 피드백의 유형이 표시됩니다.
①③Negative Feedback Detail : 부정적인 피드백 세부 정보가 표시됩니다.

대시보드 상단의 ‘답변 근거 피드백 업로드’ 버튼을 통해 엑셀 파일을 바탕으로 일괄적으로 피드백 데이터를 업로드 하는 것도 가능합니다.

샘플 파일을 다운로드 후, 양식에 맞춰 질문과 답변이 포함되어 있는 문서명, 페이지 넘버를 기입한 후 업로드할 수 있습니다. 이 때 문서명이 잘못되거나 문서에 적은 페이지 넘버가 없다면 해당 행은 누락된 채 업로드 됩니다.

피드백 관리 탭을 통해 답변 혹은 근거로 제시된 문서에 대한 피드백 상세 내역을 확인하고 질문과 답변에 대한 피드백을 관리하여 답변 생성 품질을 안정화할 수 있습니다.