KR100732611B1

KR100732611B1 - 음성대화 오류검증을 통한 확인대화 방법 및 장치

Info

Publication number: KR100732611B1
Application number: KR1020060037216A
Authority: KR
Inventors: 정상근; 이청재; 이근배
Original assignee: 학교법인 포항공과대학교; 포항공과대학교 산학협력단
Priority date: 2006-04-25
Filing date: 2006-04-25
Publication date: 2007-06-28

Abstract

음성 기반의 대화 처리는 음성인식 오류, 음성언어이해 오류 등 많은 오류를 수반하며 진행 된다. 이러한 오류들로 인해 시스템이 인지하는 사용자의 의도는 최초의 사용자 의도와는 그 차이가 벌어지게 된다. 사람과 사람사이의 대화에서도 역시 이러한 의도의 차이는 발생하게 되지만, 사람사이의 대화에서는 이러한 의도의 차이를 확인대화를 통해서 좁혀가게 된다. 본 발명은 이러한 사람과 사람사이에서 이루어지는 확인대화를 사람과 기계 사이의 음성대화시스템에 적용하는 확인대화 방법 및 장치에 대한 것이다. 이를 위하여 본 발명은, 확인대화를 오류 검증과 오류 수정의 2단계로 나누어 접근하고, 바람직하기로는 오류 검증에서의 정확도 향상을 위해서 오류검증 단계를 단어단위 음성인식 오류 감지, 문장단위 포괄적 오류판정, 대화 정보의 포괄적 오류판정의 3단계로 나누었다. 또한 확인대화에 특화된 확인대화전문가 시스템을 만들어 3단계 오류 검증의 결과물을 충분히 이용해 다양한 상황에서의 확인대화를 가능하게 하였다.

음성대화, 확인대화, 3단계 검증, 확인대화전문가, 음성언어이해, 대화관리

Description

음성대화 오류검증을 통한 확인대화 방법 및 장치{Method of clarifying dialogues via error verification of voice conversation, and apparatus thereof}

도 1은 기존의 음성대화시스템의 흐름도이다.

도 2는 본 발명의 바람직한 실시예에서 제시된 3단계 음성대화 검증과, 확인대화전문가 시스템이 적용된 음성대화 오류검증을 통한 확인대화 방법의 흐름도이다.

도 3은 본 발명의 바람직한 실시예에서 제시된 3단계 음성대화 검증과, 확인대화전문가 시스템이 적용된 음성대화 오류검증을 통한 확인대화 장치의 구성도이다.

<도면의 주요 부분에 대한 부호의 설명>

301...대화관리자 302...대화전문가(주전문가)

303...3단계 검증기 304...확인대화전문가(부전문가)

본 발명은 음성대화시스템에서의 확인대화 기술에 관한 것으로, 더욱 상세하 게는 음성인식 및 음성언어이해의 오류를 자동으로 검증해 내어 이런 오류로 인해 대화진행이 잘못된 방향으로 흐르지 않도록 미연에 방지하고, 실제로 오류가 검출되었을 때 이를 효과적으로 수정해 내는 음성대화 오류검증을 통한 확인대화 방법 및 장치에 관한 것이다.

도 1은 기존의 음성대화시스템의 흐름도이다. 도 1에 도시한 바와 같이, 일반적으로 기존의 대부분의 음성대화 시스템에서는 사용자가 음성으로 발화를 하고(101), 음성인식기를 통하여 그 음성을 인식하며(102), 음성입력결과에 따라 음성언어를 이해하여(103) 문장에서 음성 언어 이해 결과에 따라 의미구조를 추출하게 되고(104), 이를 통해 대화관리자가 대화관리(105)를 해나가는 방식으로 진행되고 있다. 이러한 일반적인 시스템은 음성인식결과에 매우 민감하며, 음성인식결과가 잘못되었을 경우 이를 복구할 수 있는 방법이 없다.

따라서 종래의 기술에서는 이러한 오류를 미연에 검출하기 위해서 음성인식 단위의 오류 검증 방법이 제시되어 왔으나, 이러한 음성인식 단위의 오류 검증은 단지 음성인식의 오류만 고려하고, 음성인식의 오류로 인한 음성언어이해의 오류는 고려하지 않았다. 또한 확인대화 방법에 있어서도 단순히 음성인식이 잘못된 단어나 문장 수준에서의 오류 수정만이 제기되었고, 실제로 대화관리에 사용되는 대화정보단위에 대한 오류 검증 및 확인대화를 통한 오류 수정방법은 전무하였다.

상기와 같은 문제점을 해소하기 위해서는 음성인식 수준에서 뿐만이 아니라 음성언어이해 측면에서도 오류를 검출할 수 있어야 하며, 대화정보 단위에 대한 오 류 검증 역시 고려되어야만 한다. 또한 단순한 음성인식오류에 대한 재인식이 아닌 효과적인 확인대화 방법이 제시되어야 한다.

본 발명은 이러한 사람과 사람사이에서 이루어지는 확인대화를 사람과 기계 사이의 음성대화시스템에 적용하는 확인대화 방법 및 장치를 제공하는 것을 목적으로 한다.

이와 같은 목적을 달성하기 위해 본 발명은, 음성대화시스템에서 발생하는 오류의 개념을 기존의 음성인식오류에서 음성인식 오류와 음성언어이해오류를 동시에 고려하는 포괄적 오류로 확장하였으며, 이러한 포괄적 오류개념을 바탕으로 하여 기존의 단순한 음성인식결과만을 검증하는 오류검출방법론을 벗어나, 바람직하기로는 단어단위 음성인식 오류 검증, 문장단위 포괄적 오류 검증, 대화정보 단위의 포괄적 오류 검증의 3단계로 나누어 오류 검증을 수행하는 확인대화 방법 및 장치를 제공한다.

본 발명의 일 형태에 의하면, 음성대화시스템에서의 음성대화 오류검증을 통한 확인대화 방법에 있어서, 사용자가 발화단계에서 발화를 하게 되면, 이는 음성인식기에 의해 음성인식하는 음성인식단계; 상기 음성인식단계의 음성인식 정보는 각 단어에 대해서 그 단어가 얼마만큼의 신뢰도를 가지고 인식 되었는지를 판별하여, 단어단위 음성인식 신뢰도를 계산하는 제1 검증 단계; 상기 음성인식기의 음성인식단계의 음성인식 정보는 동시에 음성이해모듈에 넘겨져 의미구조로 추출되는 음성언어이해 단계; 상기 음성언어이해 단계의 정보와 제1 검증단계의 정보가 모아져 문장단위 포괄적 오류 판정을 통하여 음성인식 신뢰도 및 음성언어이해의 신뢰 도를 복합적으로 고려해, 현재 인식된 문장이 사용자가 말하고자 하는 의도를 얼마나 손실없이 보존하고 있는지 포괄적으로 검증하는 제2 검증단계; 및 상기 제2 검증단계에서 인식된 문장의 신뢰도가 믿을만 하다고 판단된 경우 이 제2 검증단계의 최종 음성언어 이해결과를 통해 대화관리하고, 상기 제2 검증단계에서 만약 인식된 문장의 신뢰도가 믿을 만하지 못하다고 판단되면 대화관리자를 통한 대화관리단계로 확인대화가 필요하다는 불신뢰신호를 보내며 대화관리자는 확인대화전문가를 불러 이 문장자체를 다시 발화해달라고 사용자에게 요구하게 하는 확인대화관리단계를 포함하는 음성대화 오류검증을 통한 확인대화 방법을 제공한다.

바람직하기로는 상기 제2 검증단계에서 인식된 문장의 신뢰도가 믿을만 하다고 판단된 경우 이 제2 검증단계의 최종 음성언어 이해결과를 토대로, 실제 대화관리시스템에서 사용되는 단위인 대화정보단위에 대해서 이 결과물이 음성인식 및 음성언어이해 측면에서 얼마나 믿을 만한지 포괄적으로 검증하여, 만약 대화정보들 중에 어느 하나라도 믿을 만하지 못한 대화정보가 있을 경우 대화관리자의 대화관리단계로 대화정보의 확인대화가 필요함을 확인대화 전문가를 부르면서 알려주게 하는 제3 검증단계를 더 포함하는 것을 특징으로 한다.

바람직하기로는 상기 제3 검증단계는 대화정보단위로 포괄적 오류판정을 하는 단계로서, 포괄적 오류 판정 결과, 복수개 이상의 대화정보가 믿을 만하지 못한 경우 각 대화정보들에 대해서 수학식 확인우선순위점수(k)= a*우선순위점수(k) + b*(1/대화정보단위신뢰도(k))(여기서 k 는 대화정보를 의미하고 a와 b는 가중치팩터를 의미함)의 점수계산법을 이용하여, 제3 검증단계의 정보와 정보단위의 우선순 위들을 고려하여 어떤 정보가 가장 먼저 재검증되어야 하는지 판단하고, 모든 대화정보들에 대해서 확인우선순위점수가 가장 높은 대화정보를 선택하여, 사용자에게 그 발화정보를 다시 요구하게 됨을 특징으로 한다.

본 발명의 다른 형태에 의하면, 음성대화시스템에서 발생하는 오류를 음성대화 오류검증을 통해 수정해 나가는 확인대화 장치에 있어서, 시스템이 현재 다루고 있는 주 도메인을 전담하여 처리하는 주대화전문가; 상기 주 도메인에 특화된 주대화전문가를 보조해주는 보조 대화전문가인 확인대화전문가; 상기 제1항의 제1 및 제2 검증단계를 수행하는 검증기; 상기 검증기의 검증결과, 확인대화가 필요하다고 판단되는 경우, 주대화전문가를 잠시 멈추고, 대화의 주도권을 확인대화전문가에게 건네주면서 동시에 주대화전문가의 모든 정보를 확인대화전문가가 사용할 수 있도록 정보공유를 통해 권한을 열어주어, 정보공유를 통해 확인대화전문가와 주대화전문가를 연결시킴으로서 확인대화전문가의 완벽한 도메인 독립성을 보장해주는 대화관리자를 포함하는 음성대화 오류검증을 통한 확인대화 장치를 제공한다.

바람직하기로는, 상기 검증기는 상기 제2항의 제3 검증단계를 더 수행함을 특징으로 한다.

바람직하기로는 상기 확인대화전문가는 오류 수정단계에서 대화정보단위에서의 복수개 이상의 오류가 발생할 경우의 가장 최우선으로 수정해야할 대화정보를 선택하는 것을 특징으로 한다.

또한 기존의 확인대화 방법론이 단순히 오인식된 단어나, 문장의 재인식에 머물렀던 반면에, 본 발명에서는 확인대화를 하나의 특정한 대화 패턴으로 보고, 이를 전담하여 처리할 수 있는 확인대화전문가 시스템을 구축하였으며, 이를 통해 기존의 전문가 기반 대화시스템과의 통합에 있어서 통일성 및 융통성을 얻을 수 있었으며 문장단위의 재인식뿐만 아니라 대화정보들의 우선순위 및 상호 관계를 고려하여 가장 중요한 대화정보를 우선적으로 오류 수정할 수 있도록 하였다.

이하 첨부된 도면을 참조하여 본 발명의 확인대화 방법 및 장치를 상세히 설명하기로 한다.

도 2는 본 발명에서 제시된 3단계 음성대화 검증과, 확인대화전문가 시스템이 적용된 음성대화 오류검증을 통한 확인대화 방법의 흐름도이며, 도 3은 본 발명에서 제시된 3단계 음성대화 검증과, 확인대화전문가 시스템이 적용된 음성대화 오류검증을 통한 확인대화 장치의 구성도이다.

도 2에 의하면, 사용자가 발화단계(201)에서 발화를 하게 되면, 이는 음성인식기의 음성인식단계(202)에 의해 음성인식이 되어지고, 이러한 음성인식 정보는 제1 검증 단계(203)로 넘겨져 음성인식된 결과중에서도 각 단어에 대해서 그 단어가 얼마만큼의 신뢰도를 가지고 인식 되었는지를 판별하게 된다. 상기 제1 검증 단계(203)는 단어단위 음성인식 신뢰도를 계산하는 단계이다.

상기 음성인식기의 음성인식단계(202)의 음성인식 정보는 동시에 음성언어이해 단계(204)의 음성이해모듈에 넘겨져 의미구조로 추출되게 된다.

이러한 음성언어이해 단계(204)의 정보와 제1 검증단계(203)의 정보가 모아져 제2 검증단계(205)에서의 문장단위 포괄적 오류 판정을 통하여 음성인식 신뢰도 및 음성언어이해의 신뢰도를 복합적으로 고려해, 현재 인식된 문장이 사용자가 말하고자 하는 의도를 얼마나 손실없이 보존하고 있는지 포괄적으로 검증하게 된다.

이 제2 검증단계(205)에서 만약 인식된 문장의 신뢰도가 믿을 만하지 못하다고 판단되면 대화관리자를 통한 대화관리단계(209)로 확인대화가 필요하다는 불신뢰신호를 보내며 대화관리자는 확인대화전문가(208)를 불러 이 문장자체를 다시 발화해달라고 사용자에게 요구하게 되며, 제2 검증단계(205)에서 인식된 문장의 신뢰도가 믿을만 하다고 판단된 경우 이 제2 검증단계(205)의 최종 음성언어 이해결과(206)는 제3 검증단계(207)로 넘어가게 된다.

제3 검증단계(207)에서는 실제 대화관리시스템에서 사용되는 단위인 대화정보단위에 대해서 이 결과물이 음성인식 및 음성언어이해 측면에서 얼마나 믿을 만한지 포괄적으로 검증하게 되며, 만약 대화정보들 중에 어느 하나라도 믿을 만하지 못한 대화정보가 있을 경우 대화관리자의 대화관리단계(209)로 대화정보의 확인대화가 필요함을 확인대화 전문가(208)를 부르면서 알려주게 된다.

상기 제3 검증단계(207)에서는 대화정보단위로 포괄적 오류판정을 하는 단계로서, 포괄적 오류 판정 결과, 복수개 이상의 대화정보가 믿을 만하지 못한 경우 각 대화정보들에 대해서, 하기 수학식의 점수계산법을 이용하여, 제3 검증단계의 정보와 정보단위의 우선순위들을 고려하여 어떤 정보가 가장 먼저 재검증되어야 하는지 판단하여 사용자에게 그 정보를 다시 요구하게 된다.

확인우선순위점수(k) = a*우선순위점수(k) + b*(1/대화정보단위신뢰도(k))

( 여기서 k 는 대화정보를 의미하고, a 와 b는 가중치팩터를 의미함)

즉, 각 대화정보들에 대해서, 상기 수학식의 확인우선순위점수 값을 계산하여, 모든 대화정보들에 대해서 확인우선순위점수가 가장 높은 대화정보를 선택하여, 재검증과정을 거친다.

상기 제 3 검증 단계에 의해서 문장단위나 대화정보단위에서 확인대화가 필요한 경우 대화관리단계(209)의 확인대화전문가(208)에게 대화주도권을 주어 확인대화를 진행하게 된다.

확인대화전문가(208)는 기존의 전문가 방식의 대화관리 기법이 대화관리에 효과적이며 여러 도메인을 동시에 처리할 수 있는 것에 착상하여 발명되었다. 즉 확인대화 역시 특정 유형의 대화라고 보고 확인대화를 기존의 전문가방식처럼 구현하면 기존의 전문가방식의 대화관리기법과 완벽하게 조화를 이룰 수 있을 뿐만 아니라 종래의 단순한 확인대화 기법을 극복할 수 있다.

확인대화전문가(208)는 상기 제1 내지 제3 검증단계의 검증방법에서 얻은 각 결과를 고려하여 그 상황에 가장 맞는 오류 수정방법을 제시한다. 우선 제2 검증단계(205)의 문장단위의 포괄적 오류 판정 결과의 신뢰도가 기준신뢰도에 미치지 못하는 경우엔 문장을 재발화해 달라고 요구를 하게 되며, 제3 검증단계(207)의 대화정보 단위의 포괄적 오류 판정 결과에 오류가 있다고 판단되는 정보들이 나타나게 된 경우 이러한 대화정보들 중에서도 가장 중요하다고 판단되는 정보를 선택하여 그 정보를 재확인해달라고 사용자에게 요구하게 된다.

도 3을 참조하여, 본 발명의 확인대화 구조를 설명하면 확인대화전문가(304) 는 3가지 기술적 특징을 지닌다. 첫째 확인대화전문가(304)는 도메인에 특화된 대화전문가를 보조해주는 보조 대화전문가이며, 둘째 확인대화전문가(304)는 도메인에 상관없이 어떤 도메인의 확인대화든지 처리할 수 있는 도메인 독립방식이라는 것이며, 셋째 도메인 독립을 유지하면서 특정도메인에 대한 확인대화를 처리하기 위해서 주대화전문가(302)의 정보를 모두 공유(305)할 수 있어야 한다는 것이다.

즉 시스템이 현재 다루고 있는 주 도메인을 전담하여 처리하는 주대화전문가(302)가 실행상태에 있다가, 상술한 제1 내지 제3 검증단계를 수행하는 3단계 검증기(303)가 확인대화가 필요하다고 대화관리자(301)에게 신호를 보내는 경우, 대화관리자(301)는 주대화전문가(302)를 잠시 멈추고, 대화의 주도권을 확인대화전문가(304)에게 건네주면서 동시에 주대화전문가(302)의 모든 정보를 확인대화전문가(304)가 사용할 수 있도록 정보공유(305)를 통해 권한을 열어준다. 즉 정보공유를 통해 확인대화전문가(304)와 주대화전문가(302)를 연결시킴으로서 확인대화전문가(304)의 완벽한 도메인 독립성을 보장해주게 된다.

이상에서 상술한 바와 같이 본 발명은 음성대화시스템에서 발생하는 음성인식 및 음성이해 오류를 사전에 검출해 내어 부적절한 음성인식 결과 및 부적절한 대화정보단위를 가지고 대화관리자가 대화를 진행해 나가는 것을 사전에 방지함으로서 대화성공율을 높이며 동시에 사용자와 시스템 사이의 발화 횟수를 줄이는 효과를 가져오게 된다.

Claims

음성대화시스템에서의 음성대화 오류검증을 통한 확인대화 방법에 있어서,

사용자가 발화단계에서 발화를 하게 되면, 이는 음성인식기에 의해 음성인식하는 음성인식단계;

상기 음성인식단계의 음성인식 정보는 각 단어에 대해서 그 단어가 얼마만큼의 신뢰도를 가지고 인식 되었는지를 판별하여, 단어단위 음성인식 신뢰도를 계산하는 제1 검증 단계;

상기 음성인식기의 음성인식단계의 음성인식 정보는 동시에 음성이해모듈에 넘겨져 의미구조로 추출되는 음성언어이해 단계;

상기 음성언어이해 단계의 정보와 제1 검증단계의 정보가 모아져 문장단위 포괄적 오류 판정을 통하여 음성인식 신뢰도 및 음성언어이해의 신뢰도를 복합적으로 고려해, 현재 인식된 문장이 사용자가 말하고자 하는 의도를 얼마나 손실없이 보존하고 있는지 포괄적으로 검증하는 제2 검증단계; 및

상기 제2 검증단계에서 인식된 문장의 신뢰도가 믿을만 하다고 판단된 경우 이 제2 검증단계의 최종 음성언어 이해결과를 통해 대화관리하고, 상기 제2 검증단계에서 만약 인식된 문장의 신뢰도가 믿을 만하지 못하다고 판단되면 대화관리자를 통한 대화관리단계로 확인대화가 필요하다는 불신뢰신호를 보내며 대화관리자는 확인대화전문가를 불러 이 문장자체를 다시 발화해달라고 사용자에게 요구하게 하는 확인대화관리단계를 포함하는 음성대화 오류검증을 통한 확인대화 방법.
제1항에 있어서, 상기 제2 검증단계에서 인식된 문장의 신뢰도가 믿을만 하다고 판단된 경우 이 제2 검증단계의 최종 음성언어 이해결과를 토대로, 실제 대화관리시스템에서 사용되는 단위인 대화정보단위에 대해서 이 결과물이 음성인식 및 음성언어이해 측면에서 얼마나 믿을 만한지 포괄적으로 검증하여, 만약 대화정보들 중에 어느 하나라도 믿을 만하지 못한 대화정보가 있을 경우 대화관리자의 대화관리단계로 대화정보의 확인대화가 필요함을 확인대화 전문가를 부르면서 알려주게 하는 제3 검증단계를 더 포함하는 것을 특징으로 하는 음성대화 오류검증을 통한 확인대화 방법.
제2항에 있어서, 상기 제3 검증단계는 대화정보단위로 포괄적 오류판정을 하는 단계로서, 포괄적 오류 판정 결과, 복수개 이상의 대화정보가 믿을 만하지 못한 경우 각 대화정보들에 대해서 수학식 확인우선순위점수(k)= a*우선순위점수(k) + b*(1/대화정보단위신뢰도(k))(여기서 k 는 대화정보를 의미하고 a와 b는 가중치팩터를 의미함)의 점수계산법을 이용하여, 제3 검증단계의 정보와 정보단위의 우선순위들을 고려하여 어떤 정보가 가장 먼저 재검증되어야 하는지 판단하고, 모든 대화정보들에 대해서 확인우선순위점수가 가장 높은 대화정보를 선택하여, 사용자에게 그 발화정보를 다시 요구하게 됨을 특징으로 하는 음성대화 오류검증을 통한 확인대화 방법.
음성대화시스템에서 발생하는 오류를 음성대화 오류검증을 통해 수정해 나가는 확인대화 장치에 있어서,

시스템이 현재 다루고 있는 주 도메인을 전담하여 처리하는 주대화전문가;

상기 주 도메인에 특화된 주대화전문가를 보조해주는 보조 대화전문가인 확인대화전문가;

상기 제1항의 제1 및 제2 검증단계를 수행하는 검증기;

상기 검증기의 검증결과, 확인대화가 필요하다고 판단되는 경우, 주대화전문가를 잠시 멈추고, 대화의 주도권을 확인대화전문가에게 건네주면서 동시에 주대화전문가의 모든 정보를 확인대화전문가가 사용할 수 있도록 정보공유를 통해 권한을 열어주어, 정보공유를 통해 확인대화전문가와 주대화전문가를 연결시킴으로서 확인대화전문가의 완벽한 도메인 독립성을 보장해주는 대화관리자를 포함하는 음성대화 오류검증을 통한 확인대화 장치.
제4항에 있어서, 상기 검증기는 상기 제2항의 제3 검증단계를 더 수행함을 특징으로 하는 음성대화 오류검증을 통한 확인대화 장치.
제5항에 있어서, 상기 확인대화전문가는 오류 수정단계에서 대화정보단위에서의 복수개 이상의 오류가 발생할 경우의 가장 최우선으로 수정해야할 대화정보를 선택하는 것을 특징으로 하는 음성대화 오류검증을 통한 확인대화 장치.