KR20210084207A

KR20210084207A - 음성 언어 이해에서의 분석 오류 정보를 출력하는 방법과 장치

Info

Publication number: KR20210084207A
Application number: KR1020200068999A
Authority: KR
Inventors: 젠롱 위; 팅팅 리; 후이펑 순; 슈치 순; 커 순; 허한 리
Original assignee: 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Priority date: 2019-12-27
Filing date: 2020-06-08
Publication date: 2021-07-07
Also published as: EP3843090A1; CN111160002A; JP7182584B2; US11482211B2; KR102382421B1; CN111160002B; JP2021108095A; EP3843090B1; US20210201895A1

Abstract

본 출원의 실시예는 음성 언어 이해에서의 분석 오류 정보를 출력하는 방법과 장치를 제공한다. 상기 방법의 구체적인 실시형태는, 제1 음성 언어 정보와 제1 음성 언어 정보에 대한 제1 분석 결과를 획득하는 단계; 제1 분석 결과에 의도 정보가 있는지 여부를 확정하는 단계; 제1 분석 결과에 의도 정보가 없다고 확정됨에 응답하여, 제1 음성 언어 정보에 사전에 정의된 단어 슬롯 밸류가 있는지 여부를 확정하는 단계; 제1 음성 언어 정보에 사전에 정의된 단어 슬롯 밸류가 있다고 확정됨에 응답하여, 제1 분석 결과에 오류가 있다고 표시하는 정보를 출력하는 단계를 포함한다. 상기 실시형태는 음성 언어 이해에서의 분석 오류 정보를 출력하는 효율을 높인다.

Description

음성 언어 이해에서의 분석 오류 정보를 출력하는 방법과 장치{METHOD AND APPARATUS FOR OUTPUTTING ANALYSIS ABNORMALITY INFORMATION IN SPOKEN LANGUAGE UNDERSTANDING}

본 출원의 실시예는 컴퓨터 기술 분야에 관한 것이고, 특히 음성 언어 이해에서의 분석 오류 정보를 출력하는 방법과 장치에 관한 것이다.

인공 지능 기술이 발전하면서 스마트폰, 스마트 오디오와 같은 스마트 기기도 점점 더 많이 사용되고 있다. 사용자는 음성으로 스마트 기기와 인터랙션이 가능하여 사용자의 음성에 따라 스마트 기기가 응답할 수 있다. 스마트 기기는 주로 음성 언어 이해(Spoken Language Understanding, SLU) 모듈로 사용자가 입력하는 정보를 분석하여 후속 작업의 로직 처리를 편리하게 한다. 하지만 실제 응용에 있어서, SLU 모듈은 분석 오류가 발생할 수 있는데 만약 이러한 오류 상황을 파악할 수 있다면, SLU의 분석 효과를 최적화할 수 있으므로, 사용자는 더 향상된 음성 언어 대화 시스템을 경험할 수 있다.

본 출원의 실시예는 음성 언어 이해에서의 분석 오류 정보를 출력하는 방법과 장치를 제공한다.

첫번째 측면에 있어서, 본 출원의 일부 실시예는 음성 언어 이해에서의 분석 오류 정보를 출력하는 방법을 제공하고, 상기 방법은 제1 음성 언어 정보와 제1 음성 언어 정보에 대한 제1 분석 결과를 획득하는 단계; 상기 제1 분석 결과에 의도 정보가 있는지 여부를 확정하는 단계; 상기 제1 분석 결과에 의도 정보가 없다고 확정됨에 응답하여, 상기 제1 음성 언어 정보에 사전에 정의된 단어 슬롯 밸류가 있는지 여부를 확정하는 단계; 상기 제1 음성 언어 정보에 상기 사전에 정의된 단어 슬롯 밸류가 있다고 확정됨에 응답하여, 상기 제1 분석 결과에 오류가 있다고 표시하는 정보를 출력하는 단계를 포함한다.

일부 실시예에서, 상기 방법은 상기 제1 분석 결과에 단어 슬롯 정보가 있는지 여부를 확정하는 단계; 상기 제1 분석 결과에 의도 정보와 단어 슬롯 정보가 있다고 확정됨에 응답하여, 상기 제1 분석 결과에 포함된 의도 정보, 단어 슬롯 정보 및 대화 상태 정보가 수행 가능한 후보 작업을 구성하였는지 여부를 확정하는 단계; 상기 제1 분석 결과에 포함된 의도 정보, 단어 슬롯 정보 및 대화 상태 정보가 수행 가능한 후보 작업을 구성하지 않았다고 확정됨에 응답하여, 상기 제1 분석 결과에 오류가 있다고 표시하는 정보를 출력하는 단계를 더 포함한다.

일부 실시예에서, 대화 상태 정보는 제2 음성 언어 정보에 대한 제2 분석 결과로부터 획득하고, 제2 음성 언어 정보는 상기 제1 음성 언어 정보의 직전 대화에서의 음성 언어 정보를 포함한다.

일부 실시예에서, 제1 분석 결과에 포함된 의도 정보, 단어 슬롯 정보 및 대화 상태 정보가 수행 가능한 후보 작업을 구성하였는지 여부를 확정하는 단계는, 상기 제1 분석 결과에 포함된 의도 정보의 유형이 단어 슬롯 업데이트라고 확정됨에 응답하여, 상기 제1 분석 결과에 포함된 단어 슬롯 정보와 매칭되는 입력 예정 단어 슬롯의 의도 정보가 상기 대화 상태 정보에 포함되어 있는지 여부를 확정하는 단계; 상기 대화 상태 정보에 상기 입력 예정 단어 슬롯의 의도 정보가 포함되어 있지 않다고 확정됨에 응답하여, 상기 제1 분석 결과에 포함된 의도 정보, 단어 슬롯 정보 및 대화 상태 정보가 수행 가능한 후보 작업을 구성하지 않았다고 확정하는 단계를 포함한다.

일부 실시예에서, 상기 방법은 상기 제1 분석 결과에 포함된 의도 정보, 단어 슬롯 정보 및 대화 상태 정보가 수행 가능한 후보 작업을 구성하였다고 확정됨에 응답하여, 상기 제1 음성 언어 정보에 정정될 정보가 있는지 여부를 확정하는 단계; 상기 제1 음성 언어 정보에 정정될 정보가 있다고 확정됨에 응답하여, 상기 제1 분석 결과에 오류가 있다고 표시하는 정보를 출력하는 단계를 더 포함한다.

일부 실시예에서, 제1 분석 결과에 포함된 의도 정보, 단어 슬롯 정보 및 대화 상태 정보는 적어도 두 개의 수행 가능한 후보 작업을 구성하고, 제1 음성 언어 정보에 정정될 정보가 있는지 여부를 확정하는 단계는, 상기 제1 분석 결과에 포함된 의도 정보, 단어 슬롯 정보 및 대화 상태 정보가 구성한 각각의 수행 가능한 후보 작업의 신뢰도를 획득하는 단계; 획득한 신뢰도에 기반하여 상기 제1 음성 언어 정보에 정정될 정보가 있는지 여부를 확정하는 단계를 포함한다.

일부 실시예에서, 획득한 신뢰도에 기반하여 상기 제1 음성 언어 정보에 정정될 정보가 있는지 여부를 확정하는 단계는, 획득한 신뢰도가 설정된 신뢰도 임계치보다 작음에 응답하여, 상기 제1 음성 언어 정보에 정정될 정보가 있다고 확정하는 단계를 포함한다.

일부 실시예에서, 획득한 신뢰도에 기반하여 상기 제1 음성 언어 정보에 정정될 정보가 있는지 여부를 확정하는 단계는, 상기 신뢰도 임계치보다 큰 후보 작업을 신뢰도가 높은 순으로 정렬하고, 첫번째 및 두번째 후보 작업의 신뢰도 간 차이가 설정된 임계치보다 작음에 응답하여, 상기 제1 분석 결과에 오류가 있다고 표시하는 정보를 출력하는 단계를 포함한다.

일부 실시예에서, 상기 방법은 제3 음성 언어 정보와 상기 제3 음성 언어 정보에 대한 제3 분석 결과를 획득하는 단계 - 상기 제3 음성 언어 정보는 상기 제1 음성 언어 정보의 직후 대화에서의 음성 언어 정보를 포함함 - 를 더 포함한다.

일부 실시예에서, 상기 방법은 상기 제1 음성 언어 정보에 상기 제3 분석 결과의 단어 슬롯 밸류가 있고, 상기 제1 분석 결과에는 상기 제3 분석 결과의 단어 슬롯 밸류가 없다고 확정됨에 응답하여, 상기 제1 분석 결과에 오류가 있다고 표시하는 정보를 출력하는 단계를 더 포함한다.

일부 실시예에서, 상기 방법은 제3 분석 결과에 의도 정보와 단어 슬롯 정보가 있고, 상기 제1 분석 결과에 의도 정보 및/또는 단어 슬롯 정보가 없으며, 상기 제1 음성 언어 정보와 상기 제3 음성 언어 정보의 유사도가 설정된 임계치를 초과한다고 확정됨에 응답하여, 상기 제1 분석 결과에 오류가 있다고 표시하는 정보를 출력하는 단계를 더 포함한다.

두번째 측면에 있어서, 본 출원의 일부 실시예는 음성 언어 이해에서의 분석 오류 정보를 출력하는 장치를 제공하며, 상기 장치는 제1 음성 언어 정보와 제1 음성 언어 정보에 대한 제1 분석 결과를 획득하는 제1 획득 유닛; 상기 제1 분석 결과에 의도 정보가 있는지 여부를 확정하는 제1 확정 유닛; 상기 제1 분석 결과에 의도 정보가 없다고 확정됨에 응답하여, 상기 제1 음성 언어 정보에 사전에 정의된 단어 슬롯 밸류가 있는지 여부를 확정하는 제2 확정 유닛; 상기 제1 음성 언어 정보에 상기 사전에 정의된 단어 슬롯 밸류가 있다고 확정됨에 응답하여, 상기 제1 분석 결과에 오류가 있다고 표시하는 정보를 출력하는 제1 출력 유닛을 포함한다.

일부 실시예에서, 상기 장치는 상기 제1 분석 결과에 단어 슬롯 정보가 있는지 여부를 확정하는 제3 확정 유닛; 상기 제1 분석 결과에 의도 정보와 단어 슬롯 정보가 있다고 확정됨에 응답하여, 상기 제1 분석 결과에 포함된 의도 정보, 단어 슬롯 정보 및 대화 상태 정보가 수행 가능한 후보 작업을 구성하였는지 여부를 확정하는 제4 확정 유닛; 기 제1 분석 결과에 포함된 의도 정보, 단어 슬롯 정보 및 대화 상태 정보가 수행 가능한 후보 작업을 구성하지 않았다고 확정됨에 응답하여, 상기 제1 분석 결과에 오류가 있다고 표시하는 정보를 출력하는 제2 출력 유닛을 더 포함한다.

일부 실시예에서, 대화 상태 정보는 제2 음성 언어 정보에 대한 제2 분석 결과로부터 획득하고, 제2 음성 언어 정보는 제1 음성 언어 정보의 직전 대화에서의 음성 언어 정보를 포함한다.

일부 실시예에서, 제4 확정 유닛은 상기 제1 분석 결과에 포함된 의도 정보의 유형이 단어 슬롯 업데이트라고 확정됨에 응답하여, 상기 제1 분석 결과에 포함된 단어 슬롯 정보와 매칭되는 입력 예정 단어 슬롯의 의도 정보가 상기 대화 상태 정보에 포함되어 있는지 여부를 확정하는 제1 확정 모듈; 상기 대화 상태 정보에 상기 입력 예정 단어 슬롯의 의도 정보가 포함되어 있지 않다고 확정됨에 응답하여, 상기 제1 분석 결과에 포함된 의도 정보, 단어 슬롯 정보 및 대화 상태 정보가 수행 가능한 후보 작업을 구성하지 않았다고 확정하는 제2 확정 모듈을 포함한다.

일부 실시예에서, 상기 장치는 상기 제1 분석 결과에 포함된 의도 정보, 단어 슬롯 정보 및 대화 상태 정보가 수행 가능한 후보 작업을 구성하였다고 확정됨에 응답하여, 상기 제1 음성 언어 정보에 정정될 정보가 있는지 여부를 확정하는 제5 확정 유닛; 상기 제1 음성 언어 정보에 정정될 정보가 있다고 확정됨에 응답하여, 상기 제1 분석 결과에 오류가 있다고 표시하는 정보를 출력하는 제3 출력 유닛을 더 포함한다.

일부 실시예에서, 제1 분석 결과에 포함된 의도 정보, 단어 슬롯 정보 및 대화 상태 정보는 적어도 두 개의 수행 가능한 후보 작업을 구성하고, 제5 확정 유닛은 상기 제1 분석 결과에 포함된 의도 정보, 단어 슬롯 정보 및 대화 상태 정보가 구성한 각각의 수행 가능한 후보 작업의 신뢰도를 획득하는 제1 획득 모듈; 획득한 신뢰도에 기반하여 상기 제1 음성 언어 정보에 정정될 정보가 있는지 여부를 확정하는 제3 확정 모듈을 포함한다.

일부 실시예에서, 제3 확정 모듈은 획득한 신뢰도가 설정된 신뢰도 임계치보다 작음에 응답하여, 상기 제1 음성 언어 정보에 정정될 정보가 있다고 확정하도록 추가적으로 구성된다.

일부 실시예에서, 제3 확정 모듈은 상기 신뢰도 임계치보다 큰 후보 작업을 신뢰도가 높은 순으로 정렬하고, 첫번째 및 두번째 후보 작업의 신뢰도 간 차이가 설정된 임계치보다 작음에 응답하여, 상기 제1 분석 결과에 오류가 있다고 표시하는 정보를 출력하도록 추가적으로 구성된다.

일부 실시예에서, 상기 장치는 제3 음성 언어 정보와 제3 음성 언어 정보에 대한 제3 분석 결과를 획득하는 제2 획득 유닛을 더 포함하고, 상기 제3 음성 언어 정보는 제1 음성 언어 정보의 직후 대화에서의 음성 언어 정보를 포함한다.

일부 실시예에서, 상기 장치는 제1 음성 언어 정보에 상기 제3 분석 결과의 단어 슬롯 밸류가 있고, 상기 제1 분석 결과에는 상기 제3 분석 결과의 단어 슬롯 밸류가 없다고 확정됨에 응답하여, 상기 제1 분석 결과에 오류가 있다고 표시하는 정보를 출력하는 제4 출력 유닛을 더 포함한다.

일부 실시예에서, 상기 장치는 제3 분석 결과에 의도 정보와 단어 슬롯 정보가 있고, 상기 제1 분석 결과에 의도 정보 및/또는 단어 슬롯 정보가 없으며, 상기 제1 음성 언어 정보와 상기 제3 음성 언어 정보의 유사도가 설정된 임계치를 초과한다고 확정됨에 응답하여, 상기 제1 분석 결과에 오류가 있다고 표시하는 정보를 출력하는 제5 출력 유닛을 더 포함한다.

세번째 측면에 있어서, 본 출원의 일부 실시예는 하나 또는 복수의 프로세서; 하나 또는 복수의 프로그램을 저장하고 있는 저장장치를 포함하는 기기를 제공한다. 상기 하나 또는 복수의 프로세서에 의해 상기 하나 또는 복수의 프로그램이 실행될 때, 상기 하나 또는 복수의 프로세서가 첫번째 측면의 상술한 방법을 구현한다.

네번째 측면에 있어서, 본 출원의 일부 실시예는 따른 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능한 매체를 제공한다. 프로세서에 의해 상기 프로그램이 실행될 때 첫번째 측면의 상술한 방법을 구현한다.

본 출원의 실시예에서 제공하는 음성 언어 이해에서의 분석 오류 정보를 출력하는 방법과 장치는, 제1 음성 언어 정보와 제1 음성 언어 정보에 대한 제1 분석 결과를 획득하여; 제1 분석 결과에 의도 정보가 있는지 여부를 확정하고; 제1 분석 결과에 의도 정보가 없다고 확정됨에 응답하여, 제1 음성 언어 정보에 사전에 정의된 단어 슬롯 밸류가 있는지 여부를 확정하여; 제1 음성 언어 정보에 사전에 정의된 단어 슬롯 밸류가 있다고 확정됨에 응답하여, 제1 분석 결과에 오류가 있다고 표시하는 정보를 출력함으로써, 음성 언어 이해에서 분석한 오류 정보의 출력 효과를 높여준다.

비제한적 실시예를 나타낸 아래의 도면과 상세 설명을 참고하면 본 출원의 다른 특징, 목적 및 장점이 더 분명해질 것이다.
도 1은 본 출원에 적용될 수 있는 일부 예시 시스템 아키텍처를 개략적으로 나타낸다.
도 2는 본 출원에 따른 음성 언어 이해에서 분석한 오류 정보 출력 방법의 일 실시예 흐름도를 개략적으로 나타낸다.
도 3은 본 출원에 따른 음성 언어 이해에서 분석한 오류 정보 출력 방법의 응용 상황 설명도를 개략적으로 나타낸다.
도 4는 본 출원에 따른 음성 언어 이해에서 분석한 오류 정보 출력 방법의 또 다른 일 실시예의 흐름도를 개략적으로 나타낸다.
도 5는 본 출원에 따른 음성 언어 이해에서 분석한 오류 정보 출력 장치의 일 실시예 구조도를 개략적으로 나타낸다.
도 6은 본 출원의 일부 실시예의 서버 또는 단말기의 컴퓨터 시스템을 구현하는 구조를 개략적으로 나타낸다.

후문에서는 도면과 실시예를 참고하여 본 출원을 더 자세하게 설명하고자 한다. 여기서 설명한 구체적인 실시예는 관련 발명을 설명하기 위한 것이며, 상기 발명을 제한하는 것이 아니다. 또한 용이한 설명을 위해 도면에는 발명과 연관된 부분만 나타낸다.

상충되지 않는 상황에서 본 출원의 실시예와 실시예의 특징은 서로 결합이 될 수 있음을 설명할 필요가 있다. 아래에서는 도면과 실시예를 결합하여 본 출원에 대해 상세하게 설명한다.

도 1은 본 출원에 적용할 수 있는 음성 언어 이해에서 분석한 오류 정보의 출력 방법 또는 음성 언어 이해에서 분석한 오류 정보의 출력 장치 실시예의 예시 시스템 아키텍처(100)를 개략적으로 나타낸다.

도 1과 같이 시스템 아키텍처(100)는 단말기(101, 102, 103), 네트워크(104) 및 서버(105)를 포함할 수 있다. 네트워크(104)는 단말기(101, 102, 103)와 서버(105) 사이에 통신링크를 제공하는 매개체이다. 네트워크(104)는 유선, 무선통신 링크 또는 광섬유 케이블 등 다양한 연결 유형을 포함할 수 있다.

사용자는 단말기(101, 102, 103)로 네트워크(104)와 서버(105)의 인터랙션을 통해 정보의 전송 또는 수신 등을 할 수 있다. 단말기(101, 102, 103)에 음성 비서 관련 애플리케이션, 전자 상거래 관련 애플리케이션, 검색 관련 애플리케이션 등 다양한 클라이언트 애플리케이션을 장착할 수 있다.

단말기(101, 102, 103)는 하드웨어 일 수 있고, 소프트웨어 일 수도 있다. 단말기(101, 102, 103)가 하드웨어일 경우 스마트폰, 태블릿 PC, 랩탑 컴퓨터, 데스크탑 컴퓨터 등의 스크린을 구비한 각종 전자기기를 포함하되 여기에 국한되지 않는다. 만약 단말기(101, 102, 103)가 소프트웨어일 경우 상기 열거한 전자기기에 장착될 수 있다. 또한 복수의 소프트웨어 또는 소프트웨어 모듈로 구현될 수 있고, 단일 소프트웨어 또는 단일 소프트웨어 모듈로도 구현될 수 있다. 여기서 구체적인 제한은 두지 않는다.

서버(105)는 다양한 서비스를 제공하는 서버일 수 있다. 예를 들어 단말기(101, 102, 103)에 장착된 애플리케이션을 지원하는 백엔드 서버일 수 있다. 서버(105)는 제1 음성 언어 정보와 제1 음성 언어 정보에 대한 제1 분석 결과를 획득하고; 제1 분석 결과에 의도 정보가 있는지 여부를 확정하며; 제1 분석 결과에 의도 정보가 없다고 확정됨에 응답하여, 제1 음성 언어 정보에 사전에 정의된 단어 슬롯 밸류가 있는지 여부를 확정하고; 제1 음성 언어 정보에 사전에 정의된 단어 슬롯 밸류가 있다고 확정됨에 응답하여, 제1 분석 결과에 오류가 있다고 표시하는 정보를 출력할 수 있다.

본 출원 실시예에서 제공한 음성 언어 이해에서의 분석 오류 정보를 출력하는 방법은 서버(105)에서 수행될 수 있고, 단말기(101, 102, 103)에서 수행될 수도 있다. 이와 같이 음성 언어 이해에서 분석된 오류 정보를 출력하는 장치는 서버(105)에 장착될 수 있고, 단말기(101, 102, 103)에 장착될 수도 있다.

서버는 하드웨어 일 수도 소프트웨어 일 수도 있다는 점을 설명할 필요가 있다. 서버가 하드웨어일 경우 복수의 서버로 이루어진 분산식 서버 클러스터로 구성될 수 있고 단일 서버로 구성될 수도 있다. 서버가 소프트웨어일 경우 복수의 소프트웨어 또는 소프트웨어 모듈(예컨대, 분산식 서비스를 제공하는)로 구성될 수 있고, 단일 소프트웨어 또는 소프트웨어 모듈로 구성될 수도 있다. 여기서 구체적으로 제한을 두지 않는다.

도 1의 단말기, 네트워크 및 서버의 개수는 예시일 뿐임을 이해하여야 한다. 필요에 따라 임의 개수의 단말기, 네트워크 및 서버를 구비할 수 있다.

도 2는 본 출원에 따른 음성 언어 이해에서의 분석 오류 정보를 출력하는 방법의 일 실시예의 흐름도(200)를 개략적으로 나타낸다. 상기 음성 언어 이해에서의 분석 오류 정보를 출력하는 방법은 다음의 단계를 포함한다.

단계(201)에서, 제1 음성 언어 정보와 제1 음성 언어 정보에 대한 제1 분석 결과를 획득한다.

본 실시예에서, 음성 언어 이해에서의 분석 오류 정보를 출력하는 방법의 수행 주체(예컨대, 도 1의 서버 또는 단말기)는 우선 제1 음성 언어 정보와 제1 음성 언어 정보에 대한 제1 분석 결과를 획득할 수 있다. 제1 음성 언어 정보는 음성 인터랙션에서 사용자가 입력한 음성 정보를 음성 식별을 통해 획득한 문자 정보를 포함할 수 있다. 제1 분석 결과는 SLU 또는 자연어 이해(natural language understanding，NLU)를 통해 제1 음성 언어 정보를 분석한 결과를 포함하고, SLU 또는 NLU는 사용자가 입력한 정보를 의도와 단어 슬롯의 조합으로 분석할 수 있다. 예를 들어, "나는 시즈먼에 갈거야"라는 음성 언어 정보를 "길 안내(목적지=시즈먼)"로, "베이징 내일 날씨"라는 음성 언어 정보를 "날씨 검색(도시=베이징, 시간=내일)"으로, "오후 회의실 예약"이라는 음성 언어 정보를 "회의실 예약(시간=오후)"으로 분석할 수 있다. 또한 상기 수행 주체는 실시간으로 음성 언어 대화 시스템에서 제1 음성 언어 정보 및 제1 음성 언어 정보에 대한 제1 분석 결과를 획득할 수 있고, 음성 언어 대화 시스템의 히스토리에서 제1 음성 언어 정보 및 제1 음성 언어 정보에 대한 제1 분석 결과를 획득할 수도 있다.

단계(202)에서, 제1 분석 결과에 의도 정보가 있는지 여부를 확정한다.

본 실시예에서, 상기 수행 주체는 단계(201)에서 획득한 제1 분석 결과에 의도 정보가 있는지 여부를 확정할 수 있다. 의도 정보는 사용자의 의도를 뜻한다. 예를 들어 "날씨 검색(도시=베이징, 시간=내일)" 라는 분석 결과에서 날씨 검색이 바로 의도 정보이다.

단계(203)에서, 제1 분석 결과에 의도 정보가 없다고 확정됨에 응답하여, 제1 음성 언어 정보에 사전에 정의된 단어 슬롯 밸류가 있는지 여부를 확정한다.

본 실시예에서, 상기 수행 주체는 단계(202)에서 제1 분석 결과에 의도 정보가 없다고 확정됨에 응답하여, 제1 음성 언어 정보에 사전에 정의된 단어 슬롯 밸류가 있는지 여부를 확정할 수 있다. 사전에 정의된 단어 슬롯 밸류는, 사용자가 사전에 정의한 단어 슬롯 밸류 및/또는 음성 언어 대화 시스템의 관리자가 사전에 정의한 단어 슬롯 밸류를 포함할 수 있다. 단어 슬롯 정보는 단어 슬록 유형과 단어 슬롯 밸류를 포함할 수 있다. 예를 들면, "도시=베이징, 시간=내일"이라는 단어 슬롯 정보에서 단어 슬롯 유형은 "도시", "시간"을 포함할 수 있고, 단어 슬롯 밸류는 "베이징", "내일"을 포함할 수 있다.

단계(204)에서, 제1 음성 언어 정보에 사전에 정의된 단어 슬롯 밸류가 있다고 확정됨에 응답하여, 제1 분석 결과에 오류가 있다고 표시하는 정보를 출력한다.

본 실시예에서, 상기 수행 주체는 단계(203)에서 제1 음성 언어 정보에 사전에 정의된 단어 슬롯 밸류가 있다고 확정됨에 응답하여, 제1 분석 결과에 오류가 있다고 표시하는 정보를 출력할 수 있다. 이때 제1 분석 결과에 오류가 있다고 표시하는 정보는, 제1 분석 결과에 대해 추가된 오류 태그 또는 사전에 구축된 오류 로그의 정보를 포함할 수 있다.

본 실시예의 일부 바람직한 구현 방안에서, 상기 방법은 제3 음성 언어 정보와 제3 음성 언어 정보에 대한 제3 분석 결과를 획득하는 단계를 더 포함하고, 제3 음성 언어 정보는 제1 음성 언어 정보의 직후 대화에서의 음성 언어 정보를 포함한다. 직후 대화는 한 대화 그룹에서 현재 대화 다음에 발생되는 대화를 포함할 수 있다. 예를 들어, 대화 그룹에 사용자가 "베이징 출발"이라고 입력하면, 기기는 "현재 베이징으로 출발"이라고 대답하고, 사용자는 다시 "베이징에서 출발"이라고 입력하는데, 이때 "베이징에서 출발"이 "베이징 출발"의 직후 대화에서의 음성 언어 정보이다. 직후 대화에서의 음성 언어 정보를 획득하는 것은 오류 분석을 확정하는 데이터 출처를 풍부하게 하여, 더 전면적인 오류 분석 정보를 출력한다.

본 실시예의 일부 바람직한 구현 방안에서, 상기 방법은 제1 음성 언어 정보에 제3 분석 결과의 단어 슬롯 밸류가 있고, 제1 분석 결과에는 제3 분석 결과의 단어 슬롯 밸류가 없다고 확정됨에 응답하여, 제1 분석 결과에 오류가 있다고 표시하는 정보를 출력하는 단계를 더 포함한다. 예를 들어, 현재 대화에서 제1 음성 언어 정보가 "k21시 회의실"일 경우, 21이 하나의 단어로 구분이 되어 결과 식별에 영향을 주었기 때문에, 제1 분석 결과에 단어 슬롯 정보 "회의실이 위치한 건물 번호=k2"가 없고, 직후 대화의 제3 음성 언어 정보가 "k2, 1시 회의실"이며, 제3 분석 결과가 "회의실 예약(회의실이 위치한 건물 번호=k2, 회의시간=1시)" 이므로, 제1 분석 결과에 오류가 있다고 표시하는 정보를 출력한다. 따라서 현재 대화의 표현을 SLU가 이해하지 못했기 때문에, 사용자가 동일한 정보를 다른 방식으로 표현하고 강조를 하였으므로 제1 분석 결과에 오류가 있다고 표시하는 정보를 출력한다.

본 실시예의 일부 바람직한 구현 방안에서, 상기 방법은 제3 분석 결과에 의도 정보와 단어 슬롯 정보가 있고, 제1 분석 결과에 의도 정보 및/또는 단어 슬롯 정보가 없으며, 제1 음성 언어 정보와 제3 음성 언어 정보의 유사도가 설정된 임계치를 초과한다고 확정됨에 응답하여, 제1 분석 결과에 오류가 있다고 표시하는 정보를 출력하는 단계를 더 포함한다. 예를 들어, 제1 음성 언어 정보가 "저우지에룬의 것으로 가져와"이고, 제3 음성 언어 정보가 "저우지에룬 노래 한 곡 틀어"일 경우, 제1 음성 언어 정보와 제3 음성 언어 정보의 유사도가 설정된 임계치를 초과하고, 제3 분석 결과가 "노래 재생(가수=저우지에룬)" 이지만 제1 분석 결과에 의도 정보인 "노래 재생" 및/또는 단어 슬롯 정보인 "가수=저우지에룬"이 없으므로, 제1 분석 결과에 오류가 있다고 표시하는 정보를 출력한다. 제1 음성 언어 정보와 제3 음성 언어 정보의 유사도가 설정된 임계치를 초과한다는 것은, 제1 음성 언어 정보가 제대로 이해되지 못하였음을 사용자가 인지한 후, 자신의 의도를 다른 표현으로 강조하였다는 것을 의미한다. 이때 유사도는 텍스트의 유사도를 확정하는 다양한 방법을 통해 확정할 수 있다. 예를 들어 제1 음성 언어 정보와 제3 음성 언어 정보 간의 최대 공통 서브 시퀀스의 비율이 사전에 설정된 임계치를 초과하는지 여부를 비교할 수 있다.

본 출원의 상기 실시예에서 제공하는 방법은 제1 음성 언어 정보와 제1 음성 언어 정보에 대한 제1 분석 결과를 획득하고; 제1 분석 결과에 의도 정보가 있는지 여부를 확정하며; 제1 분석 결과에 의도 정보가 없다고 확정됨에 응답하여, 제1 음성 언어 정보에 사전에 정의된 단어 슬롯 밸류가 있는지 여부를 확정하고; 제1 음성 언어 정보에 사전에 정의된 단어 슬롯 밸류가 있다고 확정됨에 응답하여, 제1 분석 결과에 오류가 있다고 표시하는 정보를 출력함으로써, 음성 언어 이해에서의 분석 오류 정보를 출력하는 효율을 향상시킨다. 또한 대화에 오류가 있을 때 분석 오류 정보를 출력하는 종래 기술과 비교해서 더 전면적으로 분석된 오류 정보를 출력한다.

도 3은 본 실시예에 따른 음성 언어 이해에서 분석한 오류 정보 출력 방법의 응용 상황 설명도를 개략적으로 나타낸다. 도 3의 응용 상황에서, 서버(301)는 사용자가 단말기(302)를 통해 입력한 제1 음성 언어 정보인 "성도로 돌아가자"(303)와 "성도로 돌아가자"(303)의 제1 분석 결과(304)를 획득하고; 제1 분석 결과(304)에 의도 정보가 있는지 여부를 확정하며; 제1 분석 결과(304)에 의도 정보가 없다고 확정됨에 응답하여, 제1 음성 언어 정보인 "성도로 돌아가자"(303)에 사전에 정의된 단어 슬롯 밸류가 있는지 여부를 확정하고; 제1 음성 언어 정보인 "성도로 돌아가자"(303)에 사전에 정의된 단어 슬롯 밸류인 "성도"가 있다고 확정됨에 응답하여, 제1 분석 결과에 오류가 있다고 표시하는 정보(305)를 출력한다.

도 4는 음성 언어 이해에서 분석한 오류 정보 출력 방법의 또 다른 일 실시예의 흐름도(400)를 개략적으로 나타낸다. 상기 음성 언어 이해에서 분석한 오류 정보 출력 방법의 또 다른 일 실시예의 흐름도(400)는 다음의 단계를 포함한다.

단계(401)에서, 제1 음성 언어 정보와 제1 음성 언어 정보에 대한 제1 분석 결과를 획득한다.

본 실시예에서, 음성 언어 이해에서 분석한 오류 정보 출력 방법의 수행 주체(예컨대, 도 1의 서버 또는 단말기)는 우선 제1 음성 언어 정보와 제1 음성 언어 정보에 대한 제1 분석 결과를 획득할 수 있다.

단계(402)에서 제1 분석 결과에 의도 정보가 있는지 여부를 확정한다.

본 실시예에서, 상기 수행 주체는 단계(401)에서 획득한 제1 분석 결과에 의도 정보가 있는지 여부를 확정할 수 있다.

단계(403)에서, 제1 분석 결과에 단어 슬롯 정보가 있는지 여부를 확정한다.

본 실시예에서, 상기 수행 주체는 단계(410)에서 획득한 제1 분석 결과에 단어 슬롯 정보가 있는 여부를 확정할 수 있고, 단어 슬롯 정보는 단어 슬롯의 유형과 단어 슬롯 밸류를 포함할 수 있다. 단계(403)는 단계(402)보다 먼저 수행될 수 있고, 단계(402) 다음에 수행될 수도 있으며 단계(402)와 동시에 수행될 수도 있다는 것을 설명할 필요가 있다.

단계(404)에서, 제1 분석 결과에 의도 정보와 단어 슬롯 정보가 있다고 확정됨에 응답하여, 제1 분석 결과에 포함된 의도 정보, 단어 슬롯 정보 및 대화 상태 정보가 수행 가능한 후보 작업을 구성하였는지 여부를 확정한다.

본 실시예에서, 상기 수행 주체는 단계(402, 403)에서 제1 분석 결과에 의도 정보와 단어 슬롯 정보가 있다고 확정됨에 응답하여, 제1 분석 결과에 포함된 의도 정보, 단어 슬롯 정보 및 대화 상태 정보가 수행 가능한 후보 작업을 구성하였는지 여부를 확정할 수 있다. 제1 분석 결과에는 몇 가지 가능한 의도 단어 슬롯 조합 후보가 포함될 수 있다. 대화 상태 정보는 직전 대화와 대화 히스토리 및/또는 시스템 설정에서 획득할 수 있다. 의도 정보, 단어 슬롯 정보 및 대화 상태 정보가 수행 가능한 후보 작업을 구성하였는지 여부는, 사전에 설정된 규칙 또는 사전에 학습된 모델에 따라 확정할 수 있다.

본 실시예의 일부 바람직한 구현 방안에서, 대화 상태 정보는 제2 음성 언어 정보의 제2 분석 결과에서 획득한다. 제2 음성 언어 정보는 제1 음성 언어 정보의 직전 대화에서의 음성 언어 정보를 포함한다. 직전 대화는 한 대화 그룹에서 현재 대화 이전에 발생한 대화를 포함할 수 있다. 예를 들어, 대화 그룹에서 사용자가 "베이징 출발"이라고 입력할 경우, 기기가 "현재 베이징으로 가는 중"이라고 응답하면, 사용자는 다시 "베이징에서 출발"이라고 입력을 하는데, 이때 "베이징 출발"이 "베이징에서 출발"의 직전 대화에서의 음성 언어 정보가 된다. 직전 대화에서의 음성 언어 정보를 획득하는 것은 오류 분석을 확정하는 데이터 출처를 더 풍부하게 하여, 더 전면적으로 분석된 오류 정보를 출력한다.

본 실시예의 일부 바람직한 구현 방안에서, 제1 분석 결과에 포함된 의도 정보, 단어 슬롯 정보 및 대화 상태 정보가 수행 가능한 후보 작업을 구성하였는지 여부를 확정하는 단계는, 제1 분석 결과에 포함된 의도 정보의 유형이 단어 슬롯 업데이트라고 확정됨에 응답하여, 제1 분석 결과에 포함된 단어 슬롯 정보와 매칭되는 입력 예정 단어 슬롯의 의도 정보가 대화 상태 정보에 포함되어 있는지 여부를 확정하고; 대화 상태 정보에 입력 예정 단어 슬롯의 의도 정보가 포함되어 있지 않다고 확정됨에 응답하여, 제1 분석 결과에 포함된 의도 정보, 단어 슬롯 정보 및 대화 상태 정보가 수행 가능한 후보 작업을 구성하지 않았다고 확정한다. 예를 들어, 제1 음성 언어 정보가 "추수이 회의실"이고, 제1 분석 결과가 "단어 슬롯 업데이트(회의실 명칭=추수이 회의실)"이지만, 현재 대화의 대화 상태 정보에 의도 정보인 "회의실 예약"이 없고， 의도 정보가 있어야만 단어 슬롯 업데이트 작업이 가능하기 때문에, "단어 슬롯 업데이트(회의실 명칭=추수이 회의실)"는 현재 대화 상태에서는 불법이다. 즉, SLU가 필요한 후보인 "회의실 예약(회의실 명칭=추수이 회의실)"을 식별해 내지 못하였으므로, 상기 분석 결과가 오류라고 인식하는 것이다.

단계(405)에서, 제1 분석 결과에 포함된 의도 정보, 단어 슬롯 정보 및 대화 상태 정보가 수행 가능한 후보 작업을 구성하지 않았다고 확정됨에 응답하여, 제1 분석 결과에 오류가 있다고 표시하는 정보를 출력한다.

본 실시예의 일부 바람직한 구현 방안에서, 상기 방법은, 제1 분석 결과에 포함된 의도 정보, 단어 슬롯 정보 및 대화 상태 정보가 수행 가능한 후보 작업을 구성하였다고 확정됨에 응답하여, 제1 음성 언어 정보에 정정될 정보가 있는지 여부를 확정하고; 제1 음성 언어 정보에 정정될 정보가 있다고 확정됨에 응답하여, 제1 분석 결과에 오류가 있다고 표시하는 정보를 출력하는 단계를 더 포함한다. 정정될 정보는 직후 대화 또는 다른 획득 가능한 입력 정보를 통해 정정할 필요가 있는 정보를 포함할 수 있다. 정정될 정보는 사전에 설정된 규칙 또는 사전에 학습된 머신 러닝 모델을 통해 식별할 수 있다.

본 실시예의 일부 바람직한 구현 방안에서, 제1 분석 결과에 포함된 의도 정보, 단어 슬롯 정보 및 대화 상태 정보는 적어도 두 개의 수행 가능한 후보 작업을 구성하고, 제1 음성 언어 정보에 정정될 정보가 있는지 여부를 확정하는 단계는, 제1 분석 결과에 포함된 의도 정보, 단어 슬롯 정보 및 대화 상태 정보가 구성한 각각의 수행 가능한 후보 작업의 신뢰도를 획득하는 단계; 획득한 신뢰도에 기반하여 제1 음성 언어 정보에 정정될 정보가 있는지 여부를 확정하는 단계를 포함한다. 의도 정보, 단어 슬롯 정보 및 대화 상태 정보가 구성한 각각의 수행 가능한 후보 작업의 신뢰도는 SLU에 의해 확정될 수 있고, 사전에 학습된 다른 머신 러닝 모델에 의해 확정될 수도 있다.

본 실시예의 일부 바람직한 구현 방안에서, 획득한 신뢰도에 기반하여 제1 음성 언어 정보에 정정될 정보가 있는지 여부를 확정하는 단계는, 획득한 신뢰도가 설정된 신뢰도 임계치보다 작은 것에 응답하여, 제1 음성 언어 정보에 정정될 정보가 있다고 확정하는 단계를 포함한다. 예를 들어, 제1 음성 언어 정보가 "나는 놀러 가고 싶어"이고, 제1 분석 결과의 수행 가능한 후보 작업이 "길 안내(목적지=놀러)"일 경우, 신뢰도는 0.02이며, 신뢰도가 사전에 설정된 신뢰도 임계치에 크게 못 미치므로 정정이 필요하다.

본 실시예의 일부 바람직한 구현 방안에서, 획득한 신뢰도에 기반하여 제1 음성 언어 정보에 정정될 정보가 있는지 여부를 확정하는 단계는, 신뢰도 임계치보다 큰 후보 작업을 신뢰도가 높은 순으로 정렬하고, 첫번째 및 두번째 후보 작업의 신뢰도 간 차이가 설정된 임계치보다 작은 것에 응답하여 제1 분석 결과에 오류가 있다고 표시하는 정보를 출력하는 단계를 포함한다. 예를 들어, 제1 음성 언어 정보가 "베이징"이고, 제1 분석 결과 중 첫번째 및 두번째 후보 작업인 "길 안내(목적지=베이징)"의 신뢰도가 0.8, "길 안내(출발지=베이징)"의 신뢰도도 0.8이다. 두가지 모두 가능한 이해 결과이므로 정정이 필요하다.

본 실시예에서, 단계(401, 402)의 작업은 단계(201, 202)의 작업과 기본적으로 동일하므로 반복하여 설명하지 않는다.

도 2에 대응되는 실시예와 비교해서, 도 4의 음성 언어 이해에서의 분석 오류 정보를 출력하는 방법의 흐름도(400) 중 제1 분석 결과에 포함된 의도 정보, 단어 슬롯 정보 및 대화 상태 정보가 수행 가능한 후보 작업을 구성하였는지 여부를 확정하는 것은 더 전면적인 분석 오류 정보를 출력하도록 한다.

도 5는 상기 각 도면에서 나타낸 방법의 구현으로써, 본 출원은 음성 언어 이해에서의 분석 오류 정보를 출력하는 장치의 일 실시예를 제공하고, 상기 장치의 실시예는 도 2에서 나타낸 방법 실시예와 서로 대응하는 것으로, 상기 장치는 구체적으로 다양한 전자기기에 응용될 수 있다.

도 5는 본 실시예에 따른 음성 언어 이해에서의 분석 오류 정보를 출력하는 장치(500)를 개략적으로 나타내며, 장치는 제1 획득 유닛(501), 제1 확정 유닛(502), 제3 확정 유닛(503), 제1 출력 유닛(504)을 포함한다. 이때, 제1 획득 유닛은 제1 음성 언어 정보와 제1 음성 언어 정보에 대한 제1 분석 결과를 획득하고; 제1 확정 유닛은 제1 분석 결과에 의도 정보가 있는지 여부를 확정하며; 제2 확정 유닛은 제1 분석 결과에 의도 정보가 없다고 확정됨에 응답하여, 제1 음성 언어 정보에 사전에 정의된 단어 슬롯 밸류가 있는지 여부를 확정하고; 제1 출력 유닛은 제1 음성 언어 정보에 사전에 정의된 단어 슬롯 밸류가 있다고 확정됨에 응답하여, 제1 분석 결과에 오류가 있다고 표시하는 정보를 출력한다.

본 실시예에서, 음성 언어 이해에서의 분석 오류 정보를 출력하는 장치(500)의 제1 획득 유닛(501), 제1 확정 유닛(502), 제3 확정 유닛(503), 제1 출력 유닛(504)의 구체적인 처리는 도 2에 대응되는 실시예의 단계(201, 202, 203 및 204)를 참고할 수 있다.

본 실시예의 일부 바람직한 구현 방안에서, 상기 장치는 제1 분석 결과에 단어 슬롯 정보가 있는지 여부를 확정하는 제3 확정 유닛; 제1 분석 결과에 의도 정보와 단어 슬롯 정보가 있다고 확정됨에 응답하여, 제1 분석 결과에 포함된 의도 정보, 단어 슬롯 정보 및 대화 상태 정보가 수행 가능한 후보 작업을 구성하였는지 여부를 확정하는 제4 확정 유닛; 제1 분석 결과에 포함된 의도 정보, 단어 슬롯 정보 및 대화 상태 정보가 수행 가능한 후보 작업을 구성하지 않았다고 확정됨에 응답하여, 제1 분석 결과에 오류가 있다고 표시하는 정보를 출력하는 제2 출력 유닛을 더 포함한다.

본 실시예의 일부 바람직한 구현 방안에서, 대화 상태 정보는 제2 음성 언어 정보에 대한 제2 분석 결과로부터 획득하고, 제2 음성 언어 정보는 제1 음성 언어 정보의 직전 대화에서의 음성 언어 정보를 포함한다.

본 실시예의 일부 바람직한 구현 방안에서, 제4 확정 유닛은 제1 분석 결과에 포함된 의도 정보의 유형이 단어 슬롯 업데이트라고 확정됨에 응답하여, 제1 분석 결과에 포함된 단어 슬롯 정보와 매칭되는 입력 예정 단어 슬롯의 의도 정보가 대화 상태 정보에 포함되어 있는지 여부를 확정하는 제1 확정 모듈; 대화 상태 정보에 입력 예정 단어 슬롯의 의도 정보가 포함되어 있지 않다고 확정됨에 응답하여, 제1 분석 결과에 포함된 의도 정보, 단어 슬롯 정보 및 대화 상태 정보가 수행 가능한 후보 작업을 구성하지 않았다고 확정하는 제2 확정 모듈을 포함한다.

본 실시예의 일부 바람직한 구현 방안에서, 장치는 제1 분석 결과에 포함된 의도 정보, 단어 슬롯 정보 및 대화 상태 정보가 수행 가능한 후보 작업을 구성하였다고 확정됨에 응답하여, 제1 음성 언어 정보에 정정될 정보가 있는지 여부를 확정하는 제5 확정 유닛; 제1 음성 언어 정보에 정정될 정보가 있다고 확정됨에 응답하여, 제1 분석 결과에 오류가 있다고 표시하는 정보를 출력하는 제3 출력 유닛도 포함한다.

본 실시예의 일부 바람직한 구현 방안에서, 제1 분석 결과에 포함된 의도 정보, 단어 슬롯 정보 및 대화 상태 정보는 적어도 두 개의 수행 가능한 후보 작업을 구성하고; 제5 확정 유닛은 제1 분석 결과에 포함된 의도 정보, 단어 슬롯 정보 및 대화 상태 정보가 구성한 각각의 수행 가능한 후보 작업의 신뢰도를 획득하는 제1 획득 모듈; 획득한 신뢰도에 기반하여 제1 음성 언어 정보에 정정될 정보가 있는지 여부를 확정하는 제3 확정 모듈을 포함한다.

본 실시예의 일부 바람직한 구현 방안에서, 제3 확정 모듈은 획득한 신뢰도가 설정된 신뢰도 임계치보다 작은 것에 응답하여 제1 음성 언어 정보에 정정될 정보가 있다고 확정하도록 추가적으로 구성된다.

본 실시예의 일부 바람직한 구현 방안에서, 제3 확정 모듈은 신뢰도 임계치보다 큰 후보 작업을 신뢰도가 높은 순으로 정렬하고, 첫번째 및 두번째 후보 작업의 신뢰도 간 차이가 설정된 임계치보다 작은 것에 응답하여 제1 분석 결과에 오류가 있다고 표시하는 정보를 출력하도록 추가적으로 구성된다.

본 실시예의 일부 바람직한 구현 방안에서, 상기 장치는 제3 음성 언어 정보와 제3 음성 언어 정보에 대한 제3 분석 결과를 획득하는 제2 획득 유닛을 더 포함하고, 제3 음성 언어 정보는 제1 음성 언어 정보의 직후 대화에서의 음성 언어 정보를 포함한다.

본 실시예의 일부 바람직한 구현 방안에서, 장치는 제1 음성 언어 정보에 제3 분석 결과의 단어 슬롯 밸류가 있고, 제1 분석 결과에는 제3 분석 결과의 단어 슬롯 밸류가 없다고 확정됨에 응답하여, 제1 분석 결과에 오류가 있다고 표시하는 정보를 출력하는 제4 출력 유닛을 더 포함한다.

본 실시예의 일부 바람직한 구현 방안에서, 장치는 제3 분석 결과에 의도 정보와 단어 슬롯 정보가 있고, 제1 분석 결과에 의도 정보 및/또는 단어 슬롯 정보가 없으며, 제1 음성 언어 정보와 제3 음성 언어 정보의 유사도가 설정된 임계치를 초과한다고 확정됨에 응답하여, 제1 분석 결과에 오류가 있다고 표시하는 정보를 출력하는 제5 출력 유닛을 더 포함한다.

본 출원의 상기 실시예에서 제공하는 상기 장치는, 제1 음성 언어 정보와 제1 음성 언어 정보에 대한 제1 분석 결과를 획득하고; 제1 분석 결과에 의도 정보가 있는지 여부를 확정하며; 제1 분석 결과에 의도 정보가 없다고 확정됨에 응답하여, 제1 음성 언어 정보에 사전에 정의된 단어 슬롯 밸류가 있는지 여부를 확정하고; 제1 음성 언어 정보에 사전에 정의된 단어 슬롯 밸류가 있다고 확정됨에 응답하여, 제1 분석 결과에 오류가 있다고 표시하는 정보를 출력함으로써, 음성 언어 이해에서의 분석 오류 정보를 출력하는 효율을 향상시킨다.

도 6은 본 출원의 실시예를 구현하는데 적용되는 서버 또는 단말기의 컴퓨터 시스템(600) 구조도를 개략적으로 나타낸다. 도 6에서 나타낸 서버 또는 단말기는 하나의 예시일 뿐이고, 본 출원 실시예의 기능과 사용 범위를 어떠한 방식으로도 제한하지 않는다.

도 6과 같이 컴퓨터 시스템(600)은 읽기 전용 메모리(ROM)(602)에 저장된 프로그램 또는 저장 장치(608)에서 랜덤 액세스 메모리(RAM)(603)에 로드된 프로그램에 따라 다양한 적절한 동작과 처리를 수행할 수 있는 중앙처리장치(CPU)(601)를 포함한다. RAM(603)에는 시스템(600) 작업에 필요한 다양한 프로그램과 데이터도 저장되어 있다. CPU(601), ROM(602), RAM(603)은 버스(604)를 통해 서로 연결된다. 입출력(I/O) 인터페이스(605)도 버스(604)에 연결된다.

키보드, 마우스를 포함하는 입력장치(606); 음극선관(CRT), 액정표시장치(LCD) 등 및 스피커 등을 포함하는 출력장치(607); 하드디스크 등을 포함하는 저장장치(608); 및 LAN카드, 모뎀 등을 포함하는 네트워크 인터페이스 카드의 통신장치(609)는 I/O 인터페이스(605)에 연결될 수 있다. 통신장치(609)는 인터넷과 같은 네트워크를 통해 통신처리를 수행한다. 디스크 드라이버(610)도 필요에 따라 I/O 인터페이스(605)에 연결될 수 있다. 디스크, CD, 자기디스크, 반도체 메모리 등 리무버블 미디어(611)는 여기에서 읽어오는 컴퓨터 프로그램을 필요에 따라 저장장치(608)에 설치하도록, 필요에 따라 디스크 드라이버(610)에 장착된다.

특히 본 출원의 실시예에 따라, 전문에서 흐름도를 참고하여 설명한 과정은 컴퓨터 소프트웨어 프로그램으로 구현될 수 있다. 예를 들어 본 출원의 실시예는 컴퓨터 판독 가능한 매체에 컴퓨터 프로그램이 탑재된 컴퓨터 프로그램 제품이 포함되어 있다. 상기 컴퓨터 프로그램에는 흐름도에 나타낸 방법을 수행하는 데 사용되는 프로그램 코드가 포함되어 있다. 이러한 실시예에서 상기 컴퓨터 프로그램은 통신장치(609)를 통해 네트워크에서 다운로드 되고 설치되고, 및/또는 리무버블 미디어(611)에 설치될 수 있다. 중앙처리장치(CPU)(601)에서 상기 컴퓨터 프로그램을 실행할 때 본 출원 실시예의 방법에 한정된 상기 기능을 수행한다. 본 출원의 실시예에서 설명한 컴퓨터 판독 가능한 매체는 컴퓨터 판독 가능한 신호매체이거나 컴퓨터 판독 가능한 매체 또는 상기 두 개의 임의 조합일 수 있다. 컴퓨터 판독 가능한 매체는 전기, 자기, 빛, 전자, 적외선 또는 반도체의 시스템, 장치 또는 부품 또는 이들의 임의 조합일 수 있으며 여기에 국한되지 않는다. 컴퓨터 판독 가능한 매체의 더 구체적인 예는 하나 또는 복수 도선을 갖춘 전기 연결, 휴대용 컴퓨터 디스크, 하드 디스크, 랜덤 액세스 메모리(RAM), 읽기 전용 메모리(ROM), 비휘발성 반도체 기억장치(EPROM 또는 플래시 메모리), 파이버, 읽기용 콤팩트 디스크 기억장치(CD-ROM), 광 메모리, 자기 메모리 또는 이들의 적절한 조합을 포함하되 여기에 국한되지 않는다. 본 출원의 실시예에서, 컴퓨터 판독 가능한 매체는 어떤 프로그램을 포함하거나 저장한 유형의 매체일 수 있고, 상기 프로그램은 명령실행 시스템, 장치 또는 부품에 의해 사용되거나 이들과 결합되어 사용될 수 있다. 또한 본 출원의 실시예에서 컴퓨터 판독 가능한 신호매체는 기저대역에서 또는 반송파의 일 부분으로써 전송되는 컴퓨터 판독 가능한 프로그램 코드를 탑재한 데이터 신호를 포함할 수 있다. 이렇게 전송되는 데이터 신호는 전자기 신호, 광신호 또는 상술한 것의 임의의 적절한 조합 등 다양한 형식을 사용할 수 있으며 여기에 국한되지 않는다. 컴퓨터 판독 가능한 신호매체는 컴퓨터 판독 가능한 저장매체 외 임의의 컴퓨터 판독 가능한 매체일수도 있으며, 상기 컴퓨터 판독 가능한 매체는 명령실행 시스템, 장치 또는 부품에 의해 사용되거나 이들과 결합하여 사용되는 프로그램을 발송, 전파 또는 전송할 수 있다. 컴퓨터 판독 가능한 매체에 포함된 프로그램 코드는 무선, 전선, 광케이블, RF(주파수) 등 또는 이들의 임의의 적절한 조합을 포함하되 여기에 국한되지 않는 임의의 적절한 매체로 전송될 수 있다.

하나 또는 복수 종류의 프로그래밍 언어 또는 이들의 조합으로 본 출원의 작업을 수행하는 컴퓨터 프로그램 코드를 프로그래밍할 수 있고, 상기 프로그래밍 언어는 Java, Smalltalk, C++와 같은 객체를 위한 프로그래밍 언어를 포함할 수 있고, C 언어 또는 이와 유사한 일반적인 절차식 프로그래밍 언어도 포함할 수 있다. 프로그램 코드는 사용자 컴퓨터에서 완전히 실행, 사용자 컴퓨터에서 부분적 실행, 하나의 독립된 소프트웨어 패키지로 실행, 일부는 사용자의 컴퓨터에서 일부는 원격 컴퓨터에서 실행 또는 원격 컴퓨터 또는 서버에서 완전하게 실행될 수 있다. 원격 컴퓨터에서 실행될 때, 원격 컴퓨터는 임의의 네트워크 - 근거리 통신망(LAN) 또는 광역 통신망(WAN) - 를 통해 사용자 컴퓨터에 연결되거나, 외부 컴퓨터(예컨대, 인터넷 제공업체를 통해 인터넷에 연결)에 연결될 수 있다.

도면의 흐름도와 블록도는 본 출원의 다양한 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품을 구현할 수 있는 아키텍처, 기능 및 작업을 나타낸다. 흐름도 또는 블록도의 모든 사각 틀은 하나의 모듈, 프로그램 세그먼트 또는 코드의 일부를 나타낼 수 있고, 상기 모듈, 프로그램 세그먼트 또는 코드의 일부에 규정된 논리적 기능을 구현하기 위한 실행 가능한 명령이 하나 이상 포함되어 있다. 또한 일부 대체적인 실시예에서, 사각 틀에 표시된 기능이 도면에 표시된 순서와 다른 순서로도 작동될 수 있다는 점을 주의하여야 한다. 예를 들어 연달아 표시된 두 개의 틀은 사실상 기본적으로 병렬로 수행될 수 있고, 때로는 거꾸로 수행될 수도 있는데 이는 관련되는 기능에 따라 정해진다. 블록도 및/또는 흐름도의 모든 사각 틀과 블록도 및/또는 흐름도의 사각 틀 조합은 규정된 기능 또는 작업을 수행하는 하드웨어 기반의 전용 시스템으로 구현되거나, 전용 하드웨어와 컴퓨터 명령 조합으로 구현될 수 있다.

본 출원의 실시예 설명에서의 유닛은 소프트웨어로 구현될 수 있고, 하드웨어로 구현될 수도 있다. 설명한 유닛은 처리장치에 설치될 수 있다. 예를 들어, 제1 획득 유닛, 제1 확정 유닛, 제2 확정 유닛, 제1 출력 유닛을 포함하는 처리장치로 설명할 수 있다. 이때 일부 상황에서 이러한 유닛의 명칭은 상기 유닛 자체에 제한을 두지 않는다. 예를 들어 제1 획득 유닛은 "제1 음성 언어 정보와 제1 음성 언어 정보에 대한 제1 분석 결과를 획득하는 유닛"으로 표현될 수 있다.

다른 측면에 있어서, 본 출원은 컴퓨터 판독 가능한 매체를 제공하며, 상기 컴퓨터 판독 가능한 매체는 상기 실시예에서 설명한 장치에 포함될 수 있고; 상기 장치에 설치되지 않고 단독으로 구성될 수도 있다. 상기 컴퓨터 판독 가능한 매체는 하나 또는 복수의 프로그램을 탑재하고 있고, 상기 장치에서 상기 하나 또는 복수의 프로그램이 실행될 때 상기 장치가 다음을 수행하도록 한다. 제1 음성 언어 정보와 제1 음성 언어 정보에 대한 제1 분석 결과를 획득하고; 제1 분석 결과에 의도 정보가 있는지 여부를 확정하며; 제1 분석 결과에 의도 정보가 없다고 확정됨에 응답하여, 제1 음성 언어 정보에 사전에 정의된 단어 슬롯 밸류가 있는지 여부를 확정하고; 제1 음성 언어 정보에 사전에 정의된 단어 슬롯 밸류가 있다고 확정됨에 응답하여, 제1 분석 결과에 오류가 있다고 표시하는 정보를 출력한다.

이상의 설명은 본 출원의 비교적 바람직한 실시예와 응용된 기술 원리에 대한 설명일 뿐이다. 해당 분야의 당업자라면, 본 출원의 실시예에서 언급된 발명의 범위는 상기 기술 특징의 특정 조합으로 구성된 기술 방안에 국한되지 않으며, 상기 발명의 사상에서 벗어나지 않는 상황에서 상기 기술의 특징 또는 이와 동등한 특징으로 임의 조합하여 형성한 다른 기술 방안도 포함되어야 한다고 이해하여야 할 것이다. 그 예로 상기 특징과 본 출원에서 공개한(단 국한되지 않는) 것과 유사한 기능을 가진 기술적 특징을 서로 교체하여 형성한 기술 방안을 들 수 있다.

Claims

음성 언어 이해에서의 분석 오류 정보를 출력하는 방법에 있어서,
제1 음성 언어 정보와 제1 음성 언어 정보에 대한 제1 분석 결과를 획득하는 단계;
상기 제1 분석 결과에 의도 정보가 있는지 여부를 확정하는 단계;
상기 제1 분석 결과에 의도 정보가 없다고 확정됨에 응답하여, 상기 제1 음성 언어 정보에 사전에 정의된 단어 슬롯 밸류가 있는지 여부를 확정하는 단계;
상기 제1 음성 언어 정보에 상기 사전에 정의된 단어 슬롯 밸류가 있다고 확정됨에 응답하여, 상기 제1 분석 결과에 오류가 있다고 표시하는 정보를 출력하는 단계를 포함하는 방법.
제 1항에 있어서,
상기 제1 분석 결과에 단어 슬롯 정보가 있는지 여부를 확정하는 단계;
상기 제1 분석 결과에 의도 정보와 단어 슬롯 정보가 있다고 확정됨에 응답하여, 상기 제1 분석 결과에 포함된 의도 정보, 단어 슬롯 정보 및 대화 상태 정보가 수행 가능한 후보 작업을 구성하였는지 여부를 확정하는 단계;
상기 제1 분석 결과에 포함된 의도 정보, 단어 슬롯 정보 및 대화 상태 정보가 수행 가능한 후보 작업을 구성하지 않았다고 확정됨에 응답하여, 상기 제1 분석 결과에 오류가 있다고 표시하는 정보를 출력하는 단계를 더 포함하는 방법.
제 2항에 있어서,
상기 대화 상태 정보는 제2 음성 언어 정보에 대한 제2 분석 결과로부터 획득하고, 제2 음성 언어 정보는 상기 제1 음성 언어 정보의 직전 대화에서의 음성 언어 정보를 포함하는 방법.
제 2항에 있어서,
상기 제1 분석 결과에 포함된 의도 정보, 단어 슬롯 정보 및 대화 상태 정보가 수행 가능한 후보 작업을 구성하였는지 여부를 확정하는 단계는,
상기 제1 분석 결과에 포함된 의도 정보의 유형이 단어 슬롯 업데이트라고 확정됨에 응답하여, 상기 제1 분석 결과에 포함된 단어 슬롯 정보와 매칭되는 입력 예정 단어 슬롯의 의도 정보가 상기 대화 상태 정보에 포함되어 있는지 여부를 확정하는 단계;
상기 대화 상태 정보에 상기 입력 예정 단어 슬롯의 의도 정보가 포함되어 있지 않다고 확정됨에 응답하여, 상기 제1 분석 결과에 포함된 의도 정보, 단어 슬롯 정보 및 대화 상태 정보가 수행 가능한 후보 작업을 구성하지 않았다고 확정하는 단계를 포함하는 방법.
제 2항에 있어서,
상기 제1 분석 결과에 포함된 의도 정보, 단어 슬롯 정보 및 대화 상태 정보가 수행 가능한 후보 작업을 구성하였다고 확정됨에 응답하여, 상기 제1 음성 언어 정보에 정정될 정보가 있는지 여부를 확정하는 단계;
상기 제1 음성 언어 정보에 정정될 정보가 있다고 확정됨에 응답하여, 상기 제1 분석 결과에 오류가 있다고 표시하는 정보를 출력하는 단계를 더 포함하는 방법.
제 5항에 있어서,
상기 제1 분석 결과에 포함된 의도 정보, 단어 슬롯 정보 및 대화 상태 정보가 적어도 두 개의 수행 가능한 후보 작업을 구성하고,
상기 제1 음성 언어 정보에 정정될 정보가 있는지 여부를 확정하는 단계는,
상기 제1 분석 결과에 포함된 의도 정보, 단어 슬롯 정보 및 대화 상태 정보가 구성한 각각의 수행 가능한 후보 작업의 신뢰도를 획득하는 단계;
획득한 신뢰도에 기반하여 상기 제1 음성 언어 정보에 정정될 정보가 있는지 여부를 확정하는 단계를 포함하는 방법.
제 5항에 있어서,
획득한 신뢰도에 기반하여 상기 제1 음성 언어 정보에 정정될 정보가 있는지 여부를 확정하는 단계는,
획득한 신뢰도가 설정된 신뢰도 임계치보다 작음에 응답하여, 상기 제1 음성 언어 정보에 정정될 정보가 있다고 확정하는 단계를 포함하는 방법.
제 5항에 있어서,
획득한 신뢰도에 기반하여 상기 제1 음성 언어 정보에 정정될 정보가 있는지 여부를 확정하는 단계는,
상기 신뢰도 임계치보다 큰 후보 작업을 신뢰도가 높은 순으로 정렬하고, 첫번째 및 두번째 후보 작업의 신뢰도 간 차이가 설정된 임계치보다 작음에 응답하여, 상기 제1 분석 결과에 오류가 있다고 표시하는 정보를 출력하는 단계를 포함하는 방법.
제 1항 내지 제 8항 중 어느 한 항에 있어서,
제3 음성 언어 정보와 상기 제3 음성 언어 정보에 대한 제3 분석 결과를 획득하는 단계 - 상기 제3 음성 언어 정보는 상기 제1 음성 언어 정보의 직후 대화에서의 음성 언어 정보를 포함함 - 를 더 포함하는 방법.
제 9항에 있어서,
상기 제1 음성 언어 정보에 상기 제3 분석 결과의 단어 슬롯 밸류가 있고, 상기 제1 분석 결과에는 상기 제3 분석 결과의 단어 슬롯 밸류가 없다고 확정됨에 응답하여, 상기 제1 분석 결과에 오류가 있다고 표시하는 정보를 출력하는 단계를 더 포함하는 방법.
제 9항에 있어서,
상기 제3 분석 결과에 의도 정보와 단어 슬롯 정보가 있고, 상기 제1 분석 결과에 의도 정보 및/또는 단어 슬롯 정보가 없으며, 상기 제1 음성 언어 정보와 상기 제3 음성 언어 정보의 유사도가 설정된 임계치를 초과한다고 확정됨에 응답하여, 상기 제1 분석 결과에 오류가 있다고 표시하는 정보를 출력하는 단계를 더 포함하는 방법.
음성 언어 이해에서의 분석 오류 정보를 출력하는 장치에 있어서,
제1 음성 언어 정보와 제1 음성 언어 정보에 대한 제1 분석 결과를 획득하는 제1 획득 유닛;
상기 제1 분석 결과에 의도 정보가 있는지 여부를 확정하는 제1 확정 유닛;
상기 제1 분석 결과에 의도 정보가 없다고 확정됨에 응답하여, 상기 제1 음성 언어 정보에 사전에 정의된 단어 슬롯 밸류가 있는지 여부를 확정하는 제2 확정 유닛;
상기 제1 음성 언어 정보에 상기 사전에 정의된 단어 슬롯 밸류가 있다고 확정됨에 응답하여, 상기 제1 분석 결과에 오류가 있다고 표시하는 정보를 출력하는 제1 출력 유닛을 포함하는 장치.
제 12항에 있어서,
상기 제1 분석 결과에 단어 슬롯 정보가 있는지 여부를 확정하는 제3 확정 유닛;
상기 제1 분석 결과에 의도 정보와 단어 슬롯 정보가 있다고 확정됨에 응답하여, 상기 제1 분석 결과에 포함된 의도 정보, 단어 슬롯 정보 및 대화 상태 정보가 수행 가능한 후보 작업을 구성하였는지 여부를 확정하는 제4 확정 유닛;
기 제1 분석 결과에 포함된 의도 정보, 단어 슬롯 정보 및 대화 상태 정보가 수행 가능한 후보 작업을 구성하지 않았다고 확정됨에 응답하여, 상기 제1 분석 결과에 오류가 있다고 표시하는 정보를 출력하는 제2 출력 유닛을 더 포함하는 장치.
제 13항에 있어서,
상기 대화 상태 정보는 제2 음성 언어 정보에 대한 제2 분석 결과로부터 획득하고, 제2 음성 언어 정보는 상기 제1 음성 언어 정보의 직전 대화에서의 음성 언어 정보를 포함하는 장치.
제 13항에 있어서,
상기 제4 확정 유닛은,
상기 제1 분석 결과에 포함된 의도 정보의 유형이 단어 슬롯 업데이트라고 확정됨에 응답하여, 상기 제1 분석 결과에 포함된 단어 슬롯 정보와 매칭되는 입력 예정 단어 슬롯의 의도 정보가 상기 대화 상태 정보에 포함되어 있는지 여부를 확정하는 제1 확정 모듈;
상기 대화 상태 정보에 상기 입력 예정 단어 슬롯의 의도 정보가 포함되어 있지 않다고 확정됨에 응답하여, 상기 제1 분석 결과에 포함된 의도 정보, 단어 슬롯 정보 및 대화 상태 정보가 수행 가능한 후보 작업을 구성하지 않았다고 확정하는 제2 확정 모듈을 포함하는 장치.
제 13항에 있어서,
상기 제1 분석 결과에 포함된 의도 정보, 단어 슬롯 정보 및 대화 상태 정보가 수행 가능한 후보 작업을 구성하였다고 확정됨에 응답하여, 상기 제1 음성 언어 정보에 정정될 정보가 있는지 여부를 확정하는 제5 확정 유닛;
상기 제1 음성 언어 정보에 정정될 정보가 있다고 확정됨에 응답하여, 상기 제1 분석 결과에 오류가 있다고 표시하는 정보를 출력하는 제3 출력 유닛을 더 포함하는 장치.
제 16항에 있어서,
상기 제1 분석 결과에 포함된 의도 정보, 단어 슬롯 정보 및 대화 상태 정보가 적어도 두 개의 수행 가능한 후보 작업을 구성하고,
상기 제5 확정 유닛은,
상기 제1 분석 결과에 포함된 의도 정보, 단어 슬롯 정보 및 대화 상태 정보가 구성한 각각의 수행 가능한 후보 작업의 신뢰도를 획득하는 제1 획득 모듈;
획득한 신뢰도에 기반하여 상기 제1 음성 언어 정보에 정정될 정보가 있는지 여부를 확정하는 제3 확정 모듈을 포함하는 장치.
제 16항에 있어서,
상기 제3 확정 모듈은,
획득한 신뢰도가 설정된 신뢰도 임계치보다 작음에 응답하여, 상기 제1 음성 언어 정보에 정정될 정보가 있다고 확정하도록 추가적으로 구성되는 장치.
제 16항에 있어서,
상기 제3 확정 모듈은,
상기 신뢰도 임계치보다 큰 후보 작업을 신뢰도가 높은 순으로 정렬하고, 첫번째 및 두번째 후보 작업의 신뢰도 간 차이가 설정된 임계치보다 작음에 응답하여, 상기 제1 분석 결과에 오류가 있다고 표시하는 정보를 출력하도록 추가적으로 구성되는 장치.
제 12항 내지 제 19항 중 어느 한 항에 있어서,
제3 음성 언어 정보와 제3 음성 언어 정보에 대한 제3 분석 결과를 획득하는 제2 획득 유닛을 더 포함하고, 상기 제3 음성 언어 정보는 제1 음성 언어 정보의 직후 대화에서의 음성 언어 정보를 포함하는 장치.
제 20항에 있어서,
상기 제1 음성 언어 정보에 상기 제3 분석 결과의 단어 슬롯 밸류가 있고, 상기 제1 분석 결과에는 상기 제3 분석 결과의 단어 슬롯 밸류가 없다고 확정됨에 응답하여, 상기 제1 분석 결과에 오류가 있다고 표시하는 정보를 출력하는 제4 출력 유닛을 더 포함하는 장치.
제 20항에 있어서,
상기 제3 분석 결과에 의도 정보와 단어 슬롯 정보가 있고, 상기 제1 분석 결과에 의도 정보 및/또는 단어 슬롯 정보가 없으며, 상기 제1 음성 언어 정보와 상기 제3 음성 언어 정보의 유사도가 설정된 임계치를 초과한다고 확정됨에 응답하여, 상기 제1 분석 결과에 오류가 있다고 표시하는 정보를 출력하는 제5 출력 유닛을 더 포함하는 장치.
전자기기에 있어서,
하나 또는 복수의 프로세서;
하나 또는 복수의 프로그램을 저장하고 있는 저장장치를 포함하고,
상기 하나 또는 복수의 프로그램이 상기 하나 또는 복수의 프로세서에 의해 실행될 때, 상기 하나 또는 복수의 프로세서가 제 1항 내지 제 8항 중 어느 한 항의 방법을 구현하는 전자기기.
컴퓨터 프로그램이 저장된 컴퓨터 판독 가능한 매체에 있어서,
상기 프로그램이 프로세서에 의해 실행될 때 청구항 제 1항 내지 제 8항 중 어느 한 항의 방법을 구현하는 컴퓨터 판독 가능한 매체.