강화 학습법을 이용한 효과적인 적응형 대화 전략 (An Effective Adaptive Dialogue Strategy Using Reinforcement Learning)

서지정보

· 발행기관 : 한국정보과학회
· 수록지 정보 : 정보과학회논문지 : 소프트웨어 및 응용 / 35권 / 1호 / 33 ~ 40페이지
· 저자명 : 김원일, 고영중, 서정연

초록

인간은 다른 사람과 대화할 때, 시행착오 과정을 거치면서 상대방에 관한 학습이 일어난다. 본 논문에서는 이런 과정의 강화학습법(Reinforcement Learning)을 이용하여 대화시스템에 적응형 능력의 부여 방법을 제안한다. 적응형 대화 전략이란 대화시스템이 사용자의 대화 처리 습성을 학습하여, 사용자 만족도와 효율성을 높이는 것을 말한다. 강화 학습법을 효율적으로 대화처리 시스템에 적용하기 위하여 대화를 주대화와 부대화로 나누어 정의하고 사용하였다. 주대화에서는 전체적인 만족도를, 부대화에서는 완료 여부, 완료시간, 에러 횟수를 이용해서 시스템의 효율성을 측정하였다. 또한 학습 과정에서의 사용자 편의성을 위하여 시스템 사용 역량에 따라 사용자를 두 그룹으로 분류한 후 해당 그룹의 강화 학습 훈련 정책을 적용하였다. 실험에서는 개인별, 그룹별 강화 학습에 따라 제안한 방법의 성능을 평가하였다.

영어초록

In this paper, we propose a method to enhance adaptability in a dialogue system using the reinforcement learning that reduces response errors by trials and error-search similar to a human dialogue process . The adaptive dialogue strategy means that the dialogue system improves users’ satisfaction and dialogue efficiency by learning users’ dialogue styles. To apply the reinforcement learning to the dialogue system, we use a main-dialogue span and sub-dialogue spans as the mathematic application units, and evaluate system usability by using features; success or failure, completion time, and error rate in sub-dialogue and the satisfaction in main-dialogue. In addition, we classify users’ groups into beginners and experts to increase users’ convenience in training steps. Then, we apply reinforcement learning policies according to users’ groups. In the experiments, we evaluated the performance of the proposed method on the individual reinforcement learning policy and group’s reinforcement learning policy.

참고자료

· 없음