KR20210137118A - 대화 단절 검출을 위한 글로벌 및 로컬 인코딩을 갖는 컨텍스트 풍부 주의 기억 네트워크를 위한 시스템 및 방법 - Google Patents

대화 단절 검출을 위한 글로벌 및 로컬 인코딩을 갖는 컨텍스트 풍부 주의 기억 네트워크를 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20210137118A
KR20210137118A KR1020217032014A KR20217032014A KR20210137118A KR 20210137118 A KR20210137118 A KR 20210137118A KR 1020217032014 A KR1020217032014 A KR 1020217032014A KR 20217032014 A KR20217032014 A KR 20217032014A KR 20210137118 A KR20210137118 A KR 20210137118A
Authority
KR
South Korea
Prior art keywords
conversation
context
score
global
weighted
Prior art date
Application number
KR1020217032014A
Other languages
English (en)
Inventor
신종호
알리레자 디라프준
아비랄 안슈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20210137118A publication Critical patent/KR20210137118A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324—Display of status information
    • G06F11/327—Alarm or error message display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/221—Announcement of recognition results
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Quality & Reliability (AREA)
  • User Interface Of Digital Computer (AREA)
  • Machine Translation (AREA)

Abstract

대화 단절 검출을 위한 방법, 전자 디바이스 및 컴퓨터 판독가능 매체가 제공된다. 그 방법은 오디오 센서로부터 구두 입력을 획득하는 단계를 포함한다. 그 방법은 또한 구두 입력에 대한 답신을 생성하는 단계를 포함한다. 그 방법은 추가적으로, 구두 입력으로부터의 로컬 컨텍스트와 구두 입력으로부터의 글로벌 컨텍스트, 오디오 센서에 의해 이전에 수신된 추가 구두 입력들, 및 추가 구두 입력들에 응답하여 생성되는 이전의 답신들을 식별하는 단계를 포함한다. 그 방법은 답신이 로컬 컨텍스트 및 글로벌 컨텍스트에 대응하지 않는다고 결정하는 것에 응답하여 대화 단절을 식별하는 단계를 더 포함한다 덧붙여서, 그 방법은 대화 단절이 식별되지 않을 때 스피커를 통해 답신에 대응하는 사운드를 생성하는 단계를 포함한다.

Description

대화 단절 검출을 위한 글로벌 및 로컬 인코딩을 갖는 컨텍스트 풍부 주의 기억 네트워크를 위한 시스템 및 방법
본 개시는 대체로 자연어 프로세싱에 관한 것이다. 더 구체적으로는, 본 개시는 사용자와 전자 디바이스 사이의 대화 동안 대화 단절들(dialogue breakdowns)을 식별하는 것에 관한 것이다.
더 자연스러운 사용자 인터페이스들을 만들기 위하여 컴퓨팅 디바이스들과 상호작용하고 제어하기 위한 방법들이 계속해서 개선되고 있다. 컴퓨팅 디바이스들과 상호작용하고 제어하기 위한 많은 방법들은 일반적으로, 사용자가 컴퓨팅 디바이스를 제어하기 위해 액세서리와 물리적으로 상호작용하는 경우, 사용자들에게 키보드, 마우스, 터치 패드, 또는 터치스크린과 같은 액세서리를 이용하는 것을 요구한다. 일부 전자 디바이스들은 사용자들이 자연어 입력을 통해 컴퓨팅 디바이스들과 상호작용하는 것을 가능하게 하는 자연어 프로세싱을 사용한다. 예를 들어, 자연어 입력은 사용자가 말하는 것으로 인해 컴퓨팅 디바이스와 상호작용하는 음성 지원 사용자 인터페이스(voice enabled user interface)를 포함할 수 있다. 전자 디바이스는 사용자의 요청을 수행할 수 있을 뿐만 아니라 후속 질문(follow up question) 또는 코멘트(comment) 형태로 사용자에게 구두 응답(verbal response)을 제공할 수 있다.
대화 단절은 전자 디바이스들의 부정확한 응답 생성을 수반한다. 자신과 사용자 사이의 대화 단절을 감지하고 정정할 수 있는 전자 디바이스가, 인공 지능(artificial intelligent)(AI) 기반 시스템에 대한 소비자 만족도에 점점 더 중요한 역할을 한다.
본 개시는 대화 단절 검출을 위한 글로벌 및 로컬 인코딩을 갖는 컨텍스트 풍부 주의 기억(context-enriched attentive memory) 네트워크를 위한 시스템들 및 방법들을 제공한다.
제1 실시예에서, 방법이 오디오 센서로부터 구두 입력(verbal input)을 획득하는 단계를 포함한다. 그 방법은 또한 구두 입력에 대한 답신(reply)을 생성하는 단계를 포함한다. 그 방법은 추가적으로, 구두 입력으로부터 로컬 컨텍스트와 구두 입력으로부터 글로벌 컨텍스트, 오디오 센서에 의해 이전에 수신된 추가 구두 입력들, 및 추가 구두 입력들에 응답하여 생성되는 이전의 답신들을 식별하는 단계를 포함한다. 그 방법은 답신이 로컬 컨텍스트 및 글로벌 컨텍스트에 대응하지 않는다고 결정하는 것에 응답하여 대화 단절을 식별하는 단계를 더 포함한다. 덧붙여서, 그 방법은 대화 단절이 식별되지 않을 때 스피커를 통해 답신에 대응하는 사운드를 생성하는 단계를 포함한다.
제2 실시예에서, 전자 디바이스가 오디오 센서, 스피커, 및 프로세서를 포함한다. 그 프로세서는 오디오 센서로부터 구두 입력을 획득하도록 구성된다. 그 프로세서는 또한 구두 입력에 대한 답신을 생성하도록 구성된다. 그 프로세서는 추가적으로, 구두 입력으로부터 로컬 컨텍스트와 구두 입력으로부터 글로벌 컨텍스트, 오디오 센서에 의해 이전에 수신된 추가 구두 입력들, 및 추가 구두 입력들에 응답하여 생성되는 이전의 답신들을 식별하도록 구성된다. 그 프로세서는 추가로 답신이 로컬 컨텍스트 및 글로벌 컨텍스트에 대응하지 않는다고 결정하는 것에 응답하여 대화 단절을 식별하도록 구성된다. 덧붙여서, 그 프로세서는 대화 단절이 식별되지 않을 때 스피커를 통해 답신에 대응하는 사운드를 생성하도록 구성된다.
제3 실시예에서, 비일시적 머신 판독가능 매체가, 실행될 때, 전자 디바이스의 적어도 하나의 프로세서로 하여금, 오디오 센서로부터 구두 입력을 획득하게 하는 명령들을 포함한다. 그 매체는 또한, 실행될 때, 적어도 하나의 프로세서로 하여금 구두 입력에 대한 답신을 생성하게 하는 명령들을 포함한다. 그 매체는 추가적으로, 실행될 때, 적어도 하나의 프로세서로 하여금, 구두 입력으로부터 로컬 컨텍스트와 구두 입력으로부터 글로벌 컨텍스트, 오디오 센서에 의해 이전에 수신된 추가 구두 입력들, 및 추가 구두 입력들에 응답하여 생성되는 이전의 답신들을 식별하게 하는 명령들을 포함한다. 그 매체는, 게다가, 실행될 때, 적어도 하나의 프로세서로 하여금, 답신이 로컬 컨텍스트 및 글로벌 컨텍스트에 대응하지 않는다고 결정하는 것에 대한 응답으로 대화 단절을 식별하게 하는 명령들을 포함한다. 덧붙여서, 그 매체는 실행될 때, 적어도 하나의 프로세서로 하여금, 대화 단절이 식별되지 않을 때 스피커를 통해 답신에 대응하는 사운드를 생성하게 하는 명령들을 포함한다.
본 개시와 그것의 장점들의 더욱 완벽한 이해를 위해, 유사한 참조 번호들을 유사한 부분들을 나타내는 첨부 도면들과 연계하여 취해진 다음의 설명이 이제 언급될 것인데, 도면들 중:
도 1은 본 개시의 일 실시예에 따라 예시적인 통신 시스템을 도시하며;
도 2는 본 개시의 일 실시예에 따라 전자 디바이스들을 포함하는 예시적인 네트워크 구성을 도시하며;
도 3은 본 개시의 일 실시예에 따라 자연어 프로세싱 시스템의 예시적인 블록도를 예시하며;
도 4a는 본 개시의 일 실시예에 따라 대화 단절 검출을 위한 아키텍처를 예시하며;
도 4b, 도4c, 도4d, 도4e, 도4f, 도4g, 및 도 4h는 본 개시의 일 실시예에 따라 컨텍스트 기반 메모리 네트워크를 사용하는 대화 단절 검출을 위한 프로세스를 예시하며;
도 5는 본 개시의 일 실시예에 따라 로컬 및 글로벌 컨텍스트 사이를 구별하는 예시적인 대화를 도시하며;
도 6은 본 개시에 따라 그래프를 예시하며; 그리고
도 7은 본 개시의 일 실시예에 따라 대화 단절 검출을 위한 예시적인 방법을 도시한다.
다른 기술적 특징들은 다음의 도면들, 설명들 및 청구항들로부터 본 기술분야의 통상의 기술자에게 쉽고 명확하게 될 수 있다.
아래의 "발명을 실시하기 위한 구체적인 내용의 설명"에 착수하기에 앞서, 본 특허 문서의 전체에 걸쳐 사용되는 특정 단어들 및 문구들의 정의들을 언급하는 것이 유리할 수 있다. "커플"이란 용어와 그 파생어들은 둘 이상의 엘리먼트들이 서로 물리적으로 접촉하든 아니든 간에, 그들 엘리먼트들 사이의 임의의 직접 또는 간접 통신을 말한다. "송신한다", "수신한다" 및 "통신한다"라는 용어들 뿐만 아니라 그 파생어들은 직접 통신 및 간접 통신 둘 다를 포함한다. "구비한다" 및 "포함한다"라는 용어들 뿐만 아니라 그 파생어들은, 제한 없는 포함을 의미한다. "또는"이란 용어는 포함적(inclusive)이며, "및/또는"을 의미한다. "~에 연관된"이란 문구 뿐만 아니라 그 파생어들은, ~를 포함한다, ~내에 포함된다, ~와 상호연결한다, ~를 담고 있다, ~내에 담긴다, ~에 또는 ~와 연결한다, ~에 또는 ~와 커플링한다, ~와 통신 가능하다, ~와 협력한다, ~를 인터리브(interleave)한다, ~를 병치(juxtapose)한다, ~에 근접된다, ~에 또는 ~와 결부된다, ~를 가진다, ~의 특성을 가진다, ~에 또는 ~와 관계를 가진다 등을 의미한다. "컨트롤러"라는 용어는 적어도 하나의 동작을 제어하는 임의의 디바이스, 시스템 또는 그 부분을 의미한다. 이러한 컨터롤러는 하드웨어 또는 하드웨어 및 소프트웨어 및/또는 펌웨어의 조합으로 구현될 수 있다. 임의의 특정 컨트롤러에 연관된 기능은, 로컬이든 또는 원격이든, 집중형 또는 분산형일 수 있다. "~ 중 적어도 하나"라는 문구는, 항목들의 목록과 함께 사용될 때, 열거된 항목들 중 하나 이상의 항목들의 상이한 조합들이 사용될 수 있고 목록에서의 임의의 하나의 항목만이 필요할 수 있다는 것을 의미한다. 예를 들어, "A, B, 및 C 중 적어도 하나"는 다음의 조합들 중 임의의 것을 포함한다: A, B, C, A 및 B, A 및 C, B 및 C, 그리고 A 및 B 및 C.
더구나, 아래에서 설명되는 다양한 기능들은 하나 이상의 컴퓨터 프로그램들에 의해 구현 또는 지원될 수 있으며, 그러한 컴퓨터 프로그램들의 각각은 컴퓨터 판독가능 프로그램 코드로부터 형성되고 컴퓨터 판독가능 매체에 수록된다. "애플리케이션" 및 "프로그램"이란 용어들은 적합한 컴퓨터 판독가능 프로그램 코드에서의 구현에 적합한 하나 이상의 컴퓨터 프로그램들, 소프트웨어 컴포넌트들, 명령 세트들, 프로시저들, 함수들, 개체들(objects), 클래스들, 인스턴스들, 관련된 데이터, 또는 그 부분을 지칭한다. "컴퓨터 판독가능 프로그램 코드"라는 문구는 소스 코드, 목적 코드, 및 실행가능 코드를 포함하는 임의의 유형의 컴퓨터 코드를 포함한다. "컴퓨터 판독가능 매체"라는 문구는, ROM(read only memory), RAM(random access memory), 하드 디스크 드라이브, CD(compact disc), DVD(digital video disc), 또는 임의의 다른 유형의 메모리와 같은, 컴퓨터에 의해 액세스될 수 있는 임의의 유형의 매체를 포함한다. "비일시적" 컴퓨터 판독가능 매체가 일시적인 전기적 또는 다른 신호들을 전송하는 유선, 무선, 광학적, 또는 다른 통신 링크들을 배제한다. 비일시적 컴퓨터 판독가능 매체가 데이터가 영구적으로 저장될 수 있는 매체와 데이터가 저장되고 나중에 덮어쓰기될 수 있는 매체, 이를테면 재기입가능 광 디스크 또는 소거가능 메모리 디바이스를 포함한다.
다른 특정 단어들 및 문구들에 대한 정의들은 본 특허 문서의 전체에 걸쳐 제공된다. 본 기술분야의 통상의 기술자들은, 대부분은 아니지만 많은 경우들에서, 이러한 정의들이 이렇게 정의된 단어들 및 문구들의 이전 및 장래의 사용들에 적용된다는 것을 이해하여야 한다.
아래에서 논의되는 도 1 내지 도 7과, 본 특허 문서에서 본 개시의 원리들을 설명하는데 사용되는 다양한 실시예들은 단지 예시일 뿐이고 어떤 식으로든 본 개시의 범위를 제한하는 것으로 해석되지 않아야 한다. 본 기술분야의 통상의 기술자들은 본 개시의 원리들이 임의의 적절히 배열된 시스템 또는 디바이스로 구현될 수 있다는 것을 이해할 것이다.
사용자가 키보드, 마우스, 터치패드, 원격, 터치 스크린 등과 같은 하나 이상의 액세서리들을 사용하여 전자 디바이스와 상호작용할 수 있다. 공통 상호작용들은 무엇보다도, 사용자가 마우스를 물리적으로 이동하는 것, 키보드로 입력하는 것, 터치 감응 표면의 터치 스크린을 터치하는 것과 같은 액세서리의 물리적 조작들을 포함한다. 전자 디바이스가 디스플레이 등을 포함하지 않으면, 전자 디바이스와 상호작용하는 다양한 액세서리들을 이용하는 것이 실현 가능하지 않을 경우들, 이를테면 사용자가 헤드 마운트 디스플레이를 착용할 경우들이 있다. 덧붙여, 터치스크린을 터치하는 것과 같은 다양한 물리적 상호작용들을 이용하는 경우들이 있거나 또는 마우스를 이동하는 것을 사용하는 것은 불편하거나 또는 다루기 힘든 경우들이 있다. 본 개시에서 사용되는 바와 같이, "사용자"라는 용어는 전자 디바이스를 사용하는 인간 또는 다른 디바이스(이를테면 인공 지능 전자 디바이스)를 지칭할 수 있다는 것에 주의한다.
본 개시의 실시예들에 따른 전자 디바이스가 개인용 컴퓨터(이를테면 랩톱, 데스크톱, 및 태블릿), 워크스테이션, 서버, 텔레비전, 어플라이언스 등을 포함할 수 있다. 덧붙여, 전자 디바이스는 가구 한 점 또는 빌딩/구조물의 일부, 전자 보드, 전자 시그너쳐 수신 디바이스, 프로젝터, 보안 제어 패널, 게이밍 콘솔, 또는 측정 디바이스 중 적어도 하나일 수 있다. 특정 실시예들에서, 전자 디바이스는, 무엇보다도, 휴대용 통신 디바이스(이를테면 스마트폰 또는 모바일 폰), 랩톱, 태블릿, 전자책 리더(이를테면 e-리더), 개인 정보 단말기들(personal digital assistants)(PDA들), 휴대용 멀티미디어 플레이어(portable multimedia player)(PMP들), MP3 플레이어, 모바일 의료 디바이스, 가상 현실 헤드셋, 휴대용 게임 콘솔, 카메라, 및 착용가능 디바이스(스마트 안경, 헤드 마운트 디스플레이, 링들, 팔찌들, 워치들), 전자 옷들과 같은 휴대용 전자 디바이스일 수 있다. 전자 디바이스는 위에 나열된 디바이스들 중 하나 또는 그 조합이다. 덧붙여, 본원에서 개시되는 바와 같은 전자 디바이스는 위에 나열된 디바이스들로 제한되지 않고, 기술의 개발에 따라 새로운 전자 디바이스들을 포함할 수 있다.
본 개시의 실시예들에 따른 전자 디바이스가, 가상 개인 비서, 스마트 비서, 인공지능 (AI) 비서, 스마트 허브 등(가상 비서라고 여기서 총괄하여 언급됨)을 포함할 수 있다. 가상 비서는 스마트 폰과 같은 다른 디바이스가 포함될 수 있다는 것에 주의한다. 가상 비서 디바이스들은 사용자에 대한 다양한 태스크들 및 서비스들을 수행할 수 있는 디바이스들의 제품군이다. 예를 들어, 수신된 사용자 입력에 기초하여, 가상 비서가 날씨 제공, 알람 설정, 달력 항목(calendar entry) 생성, 쇼핑 목록 생성 및 유지, 음악 재생, 특정 디바이스들(이를테면, 무엇보다도, 어플라이언스, 텔레비전 프로그램, 백열 전구, 또는 전기 출구) 켜거나 끄기, 품목들 찾기 및 구매 등과 같은 다양한 서비스들을 제공할 수 있다. 가상 비서가 사용자가 가상 비서에게 말하는 것을 가능하게 하는 음성 가능 사용자 인터페이스를 통해 사용자와 종종 상호작용할 수 있고 가상 비서는 사용자에게 구두로 답신할 수 있다.
본 개시의 실시예들에 따르면, 전자 디바이스와 상호작용하게 제어하기 위한 자연스러운 접근법이 음성 가능 사용자 인터페이스이다. 음성 가능 사용자 인터페이스들은 구두로 말하기와 같은 자연어 입력을 제공하는 행위를 통해 사용자가 컴퓨팅 디바이스와 상호작용하는 것을 가능하게 한다. 말하기는 스피커를 통해 사운드를 투사하는 전자 디바이스 또는 다른 전자 디바이스에 인간이 직접 말하는 것을 포함할 수 있다. 일단 가상 비서가 사운드를 검출하고 수신하면, 가상 비서는 발화(utterance)로부터 맥락적 의미를 도출하고 그 후 요청된 태스크를 수행하거나 또는 필요하다면 사용자로부터 추가 정보를 요청할 수 있다. 자연어 입력들은 구두 발화들에 제한되지 않는다는 것에 주의해야 한다. 예를 들어, 자연어 입력들은 타이핑된 입력들을 포함할 수 있다.
자연어 프로세싱은 가상 비서가 자연어를 사용하여 사용자와 상호작용하는 것을 가능하게 한다. 자연어 프로세싱은 자동 스피치 인식(automatic speech recognition)(ASR), 자연어 이해(natural language understanding)(NLU), 및 TTS(text to speech)를 포함할 수 있다. ASR은 수신된 구두 입력을 텍스트로 변환할 뿐만 아니라 입력의 단어들을 인식하기 위한 다양한 언어 모델들을 포함할 수 있다. NLU는 가상 비서가 수신된 자연어 입력을 이해하는 것을 가능하게 한다. TTS는 텍스트를 스피치로 변환하여 가상 비서가 사용자에게 응답하는 것을 가능하게 한다.
예를 들어, 사용자가 가상 비서에게 "배우자에게 전화걸기"를 구두로 지시하면, 가상 비서는 전화 기능을 사용하기 위한 요청으로서 태스크를 식별하며, 디바이스의 전화 특징을 활성화하며, "배우자"에 연관되는 전화 번호를 조회하고, 그 뒤에 사용자의 배우자의 전화 번호에 전화를 걸 수 있다. 다른 예로서, 사용자가 가상 비서에게 레스토랑에서 예약을 하도록 구두로 지시할 수 있다. 그 다음에 가상 비서는 날짜, 시간, 레스토랑 이름, 예약에 포함될 사람들의 수 등과 같은, 사용자로부터 추가 정보를 요청하는 것이 필요할 것이다. 가상 비서는 예약을 하기 위해 사용자로부터 추가 정보를 수신할 수 있다. 원하는 레스토랑이 요청된 시간에 예약을 수용할 수 없는 것과 같은 문제가 있으면, 가상 비서는 사용자에게 정보를 제공할 필요가 있을 것이고 심지어 사용자에게 대체 시간을 요청할 수 있거나 또는 예약을 수용하기 위한 제한의 대체 일시를 제안할 수 있다.
가상 비서가 사용자에게 응답하는 경우 부정확한 응답을 생성할 때 가상 비서와 사용자 사이에 대화 단절이 일어날 수 있다. 대화 단절의 결과는 사용자가 가상 비서에게 응답하기 어렵게 한다.
예를 들어, 대화 단절은 가상 비서가 사용자에 의한 전체 구두 입력을 듣지 못할 때 발생할 수 있다. 예를 들면, 가상 비서는 큰 주변 소음들로 인해 구두 입력의 특정 부분을 듣지 못할 수 있다. 다른 예를 들어, 가상 비서가 사용자로부터 구두 입력을 부정확하게 해석할 때 대화 단절이 발생할 수 있다. 예를 들어, 사용자의 가족과의 소풍을 위한 달력 항목을 생성하는 것에 관한 사용자와 가상 비서 사이의 대화 중에, 사용자는 "I NEED TO SPEND SOME TIME ALONE BEFORE THE PICNIC(나는 소풍 전에 혼자 얼마간 시간을 보내는 것이 필요해)"라고 말할 수 있다. 사용자에게 응답할 때, 가상 비서는, "GOING ON A PICNIC ALONE IS FUN(혼자 소풍을 가는 것이 즐거워)"라고 말할 수 있다. 이 예에서, 가상 비서는 "alone(혼자)"라는 단어를 사용자가 "spending time alone before going on the picnic with their family(자신의 가족과 함께 소풍을 가기 전에 혼자 시간을 보내는)" 대신 "requesting to go on the picnic alone(혼자 소풍을 가기를 요구하는 것)으로서 부정확하게 해석했다. 게다가, 대화 단절은 또한 사용자가 하나를 구두로 말했지만 다른 무언가를 말하고자 의도했던 경우 발생할 수 있다. 예를 들어, 사용자는 가상 비서에게 전자 디바이스 상에 저장된 파일들의 목록을 디스플레이할 것을 요청하지만 사용자는 가상 비서가 전자 디바이스 상에 저장된 이미지들의 목록을 디스플레이하도록 의도했다.
본 개시의 실시예들은 대화 단절을 검출하기 위한 시스템들 및 방법들을 포함한다. 특정 실시예들에서, 대화 단절은 사용자와 가상 비서 사이의 회화(conversation)에 연관되는 로컬 및 글로벌 컨텍스트에 기초하여 검출된다. 본 개시의 실시예들은 대화의 사용자에게 통지하기 위한 시스템들 및 방법들을 또한 포함한다. 덧붙여, 본 개시의 실시예들은 대화 단절로부터 복구하기 위한 시스템들 및 방법들을 포함한다.
도 1은 본 개시의 일 실시예에 따라 예시적인 통신 시스템(100)을 도시한다. 도 1에 도시된 통신 시스템(100)의 실시예는 예시만을 위한 것이다. 통신 시스템(100)의 다른 실시예들은 본 개시의 범위로부터 벗어남없이 사용될 수 있다.
통신 시스템(100)은 통신 시스템(100)에서 다양한 컴포넌트들 간에 통신을 용이하게 하는 네트워크(102)를 포함한다. 예를 들어, 네트워크(102)는 인터넷 프로토콜(Internet Protocol)(IP) 패킷들, 프레임 릴레이 프레임들, 비동기 전송 모드(Asynchronous Transfer Mode)(ATM) 셀들, 또는 네트워크 주소들 사이의 다른 정보를 통신할 수 있다. 네트워크(102)는 하나 이상의 근거리 네트워크들(local area networks)(LANs), 도시권 통신망들(metropolitan area networks)(MANs), 광역 네트워크들(wide area networks)(WANs), 인터넷과 같은 글로벌 네트워크의 전부 또는 부분, 또는 하나 이상의 로케이션들에서의 임의의 다른 통신 시스템 또는 시스템들을 포함한다.
이 예에서, 네트워크(102)는 서버(104)와 다양한 클라이언트 디바이스들(106~114) 사이의 통신들을 용이하게 한다. 클라이언트 디바이스들(106~114)은, 예를 들어, 스마트폰, 태블릿 컴퓨터, 랩톱, 개인용 컴퓨터, 착용가능 디바이스, 두부 장착형 디스플레이(head-mounted display)(HMD), 가상 비서 등일 수 있다. 서버(104)는 하나 이상의 서버들을 나타낼 수 있다. 각각의 서버(104)는 하나 이상의 클라이언트 디바이스들, 이를테면 클라이언트 디바이스들(106~114)에게 컴퓨팅 디바이스들을 제공할 수 있는 임의의 적합한 컴퓨팅 또는 프로세싱 디바이스를 포함한다. 각각의 서버(104)는, 예를 들어, 하나 이상의 프로세싱 디바이스들, 명령들 및 데이터를 저장하는 하나 이상의 메모리들, 및 네트워크(102)를 통한 통신을 용이하게 하는 하나 이상의 네트워크 인터페이스들을 포함할 수 있다.
각각의 클라이언트 디바이스(106~114)는 네트워크(102)를 통해 적어도 하나의 서버(이를테면 서버(104)) 또는 다른 컴퓨팅 디바이스(들)와 상호작용하는 임의의 적합한 컴퓨팅 또는 프로세싱 디바이스를 나타낸다. 이 예에서, 클라이언트 디바이스들(106~114)은 데스크톱 컴퓨터(106), 모바일 전화기 또는 모바일 디바이스(108)(이를테면 스마트폰), PDA(110), 랩톱 컴퓨터(112), 및 태블릿 컴퓨터(114)를 포함한다. 그러나, 임의의 다른 또는 추가적인 클라이언트 디바이스들이 통신 시스템(100)에서 사용될 수 있다. 스마트폰들은 음성, 단문 메시지 서비스(short message service)(SMS), 및 인터넷 데이터 통신들을 위한 모바일 운영 체제들(operating systems) 및 통합된 모바일 광대역 셀룰러 네트워크 연결들을 갖는 휴대기기들인 모바일 디바이스들(108)의 클래스를 나타낸다. 아래에서 더 상세히 설명되는 바와 같이, 전자 디바이스(이를테면 데스크톱 컴퓨터(106), 모바일 디바이스(108), PDA(110), 랩톱 컴퓨터(112), 또는 태블릿 컴퓨터(114))는 사용자로부터 구두 발화들과 같은 자연어 입력들을 수신하고 의도된 액션들을 수행하는 가상 비서 디바이스일 수 있다.
이 예에서, 일부 클라이언트 디바이스들(108~114)은 네트워크(102)와 간접적으로 통신한다. 예를 들어, 클라이언트 디바이스들(108 및 110)(각각 모바일 디바이스(108) 및 PDA(110))은 하나 이상의 기지국들(116), 이를테면 셀룰러 기지국들 또는 eNodeB들(eNBs)을 통해 통신한다. 또한, 클라이언트 디바이스들(112 및 114)(각각 랩톱 컴퓨터(112) 및 태블릿 컴퓨터(114))은 하나 이상의 무선 액세스 포인트들(118), 이를테면 IEEE 802.11 무선 액세스 포인트들을 통해 통신한다. 이것들은 예시만을 위한 것이고 각각의 클라이언트 디바이스(106~114)는 임의의 적합한 중간 디바이스(들) 또는 네트워크(들)를 통해 네트워크(102)와 직접적으로 또는 네트워크(102)와 간접적으로 통신할 수 있다는 것에 주의한다.
일부 실시예들에서, 클라이언트 디바이스들(106~114) 중 임의의 것은 예를 들어, 서버(104)와 같은 다른 디바이스에 정보를 안전하고 효율적으로 송신한다. 또한, 클라이언트 디바이스들(106~114) 중 임의의 것은 자신과 서버(104) 사이의 정보 송신을 트리거할 수 있다.
도 1이 통신 시스템(100)의 하나의 예를 도시하지만, 다양한 변경들이 도 1에 대해 이루어질 수 있다. 예를 들어, 통신 시스템(100)은 임의의 수의 각각의 컴포넌트를 임의의 적합한 배열로 포함할 수 있다. 일반적으로, 컴퓨팅 및 통신 시스템들은 매우 다양한 구성들로 제공되고, 도 1은 본 개시의 범위를 임의의 특정 구성으로 제한하지 않는다. 도 1이 이 특허 문서에서 개시된 다양한 특징들이 사용될 수 있는 하나의 운영 환경을 예시하지만, 이들 특징들은 임의의 다른 적합한 시스템에서 사용될 수 있다.
도 2는 본 개시의 일 실시예에 따라 전자 디바이스들을 포함하는 예시적인 네트워크 구성(200)을 도시한다. 도 2에 도시된 네트워크 구성(200)의 실시예는 예시만을 위한 것이다. 네트워크 구성(200)의 다른 실시예들은 본 개시의 범위로부터 벗어남없이 사용될 수 있다.
본 개시의 실시예들에 따르면, 전자 디바이스(201)가 네트워크 구성(200)에 포함된다. 전자 디바이스(201)는 도 1의 클라이언트 디바이스들(106~114) 중 임의의 것과 유사할 수 있다. 특정 실시예들에서, 전자 디바이스(201)는 가상 비서이다. 다른 실시예들에서, 전자 디바이스(201)는 가상 비서를 포함한다. 전자 디바이스(201)는 버스(210), 프로세서(220), 메모리(230), 입출력(I/O) 인터페이스(250), 디스플레이(260), 통신 인터페이스(270), 하나 이상의 센서들(280), 스피커(290), 또는 마이크로폰 중 적어도 하나를 포함할 수 있다. 일부 실시예들에서, 전자 디바이스(201)는 이들 컴포넌트들 중 적어도 하나를 실행할 수 있거나 또는 적어도 하나의 다른 컴포넌트를 추가할 수 있다. 버스(210)는 컴포넌트들(220~295)을 서로 연결하기 위한 그리고 통신물들(이를테면 제어 메시지들 및/또는 데이터)을 컴포넌트들 사이에 전달하기 위한 회로를 포함한다.
프로세서(220)는 중앙 프로세싱 유닛(central processing unit)(CPU), 그래픽 프로세서 유닛(graphics processor unit)(GPU), 애플리케이션 프로세서(application processor)(AP), 또는 통신 프로세서(communication processor)(CP) 중 하나 이상을 포함한다. 프로세서(220)는 전자 디바이스(201)의 다른 컴포넌트들 중 적어도 하나에 대한 제어 및/또는 통신에 관련한 동작 또는 데이터 프로세싱을 수행할 수 있다. 특정 실시예들에서, 프로세서(220)는 자연어 프로세싱을 수행하고 대화의 단절을 검출할 뿐만 아니라 검출된 대화 단절로부터 복구할 수 있다.
메모리(230)는 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 예를 들어, 메모리(230)는 전자 디바이스(201)의 적어도 하나의 다른 컴포넌트에 관련된 커맨드들 또는 데이터를 저장할 수 있다. 본 개시의 실시예들에 따르면, 메모리(230)는 소프트웨어 및/또는 프로그램(240)을 저장할 수 있다. 프로그램(240)은, 예를 들어, 커널(241), 미들웨어(243), 애플리케이션 프로그래밍 인터페이스(application programming interface)(API)(245), 및/또는 애플리케이션 프로그램(또는 "애플리케이션")(247)을 포함한다. 커널(241), 미들웨어(243), 또는 API(245)의 적어도 부분이 운영 체제(OS)로서 표시될 수 있다.
커널(241)은 다른 프로그램들(이를테면 미들웨어(243), API(245), 또는 애플리케이션(247))에서 구현되는 동작들 또는 기능들을 수행하는데 사용되는 시스템 자원들(이를테면 버스(210), 프로세서(220), 또는 메모리(230))을 제어 또는 관리할 수 있다. 커널(241)은 미들웨어(243), API(245), 또는 애플리케이션(247)이 시스템 자원들을 제어 또는 관리하기 위해 전자 디바이스(201)의 개개의 컴포넌트들에 액세스하도록 허용하는 인터페이스를 제공한다. 애플리케이션(247)은 아래에서 논의되는 바와 같은 대화 단절 검출 및 복구를 위한 하나 이상의 애플리케이션들을 포함한다. 이들 기능들은 단일 애플리케이션에 의해 또는 각각이 이들 기능들 중 하나 이상을 수행하는 다수의 애플리케이션들에 의해 수행될 수 있다. 미들웨어(243)는 API(245) 또는 애플리케이션(247)이, 예를 들면, 커널(241)과 데이터를 통신하는 것을 허용하기 위한 중계기로서 기능을 할 수 있다. 복수의 애플리케이션들(247)이 제공될 수 있다. 미들웨어(243)는, 이를테면 (버스(210), 프로세서(220), 또는 메모리(230)와 같은) 전자 디바이스(201)의 시스템 자원들을 사용하는 우선순위를 복수의 애플리케이션들(247) 중 적어도 하나에 할당함으로써 애플리케이션들(247)로부터 수신되는 작업 요청들을 제어할 수 있다. API(245)는 애플리케이션(247)이 커널(241) 또는 미들웨어(243)로부터 제공되는 기능들을 제어하는 것을 허용하는 인터페이스이다. 예를 들어, API(245)는 파일링 제어(filing control), 윈도우 제어, 이미지 프로세싱, 또는 텍스트 제어를 위한 적어도 하나의 인터페이스 또는 기능(이를테면 커맨드)을 포함한다.
I/O 인터페이스(250)는, 예를 들어, 사용자 또는 다른 외부 디바이스들로부터 입력된 커맨드들 또는 데이터를 전자 디바이스(201)의 다른 컴포넌트(들)로 전송할 수 있는 인터페이스로서 역할을 한다. I/O 인터페이스(250)는 또한 전자 디바이스(201)의 다른 컴포넌트(들)로부터 수신된 커맨드들 또는 데이터를 사용자 또는 다른 외부 디바이스에 출력할 수 있다.
디스플레이(260)는, 예를 들어, 액정 디스플레이(liquid crystal display)(LCD), 발광 다이오드(light emitting diode)(LED) 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 양자점(quantum-dot) 발광 다이오드(QLED) 디스플레이, 마이크로전자기계 시스템들(microelectromechanical systems)(MEMS) 디스플레이, 또는 전자 종이 디스플레이를 포함한다. 디스플레이(260)는 또한 깊이 인식(depth-aware) 디스플레이, 이를테면 다초점 디스플레이일 수 있다. 디스플레이(260)는, 예를 들어, 다양한 콘텐츠들(이를테면 텍스트, 이미지들, 비디오들, 아이콘들, 또는 심볼들)을 사용자에게 디스플레이할 수 있다. 디스플레이(260)는 터치스크린을 포함할 수 있고, 예를 들어, 전자 펜 또는 사용자의 신체 부분을 사용한 터치, 제스처, 근접, 또는 호버링 입력(hovering input)을 수신할 수 있다.
통신 인터페이스(270)는, 예를 들어, 전자 디바이스(201)와 외부 전자 디바이스(이를테면 전자 디바이스(202), 제2 전자 디바이스(204), 또는 서버(206)) 사이의 통신을 셋업할 수 있다. 예를 들어, 통신 인터페이스(270)는 외부 전자 디바이스를 통신하기 위한 무선 또는 유선 통신을 통해 네트워크(262 또는 264)와 연결될 수 있다. 통신 인터페이스(270)는 유선 또는 무선 송수신부 또는 이미지들과 같은 신호들을 송신하고 수신하기 위한 임의의 다른 컴포넌트일 수 있다.
무선 통신은, 예를 들어, LTE(long term evolution), LTE-A(long term evolution-advanced), 5세대 무선 시스템(5G), 밀리미터파 또는 60 GHz 무선 통신, 무선 USB, CDMA(code division multiple access), WCDMA(wideband code division multiple access), UMTS(universal mobile telecommunication system), WiBro(wireless broadband), 또는 GSM(global system for mobile communication) 중 적어도 하나를 셀룰러 통신 프로토콜로서 사용할 수 있다. 유선 연결은, 예를 들어, USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard 232), 또는 POTS(plain old telephone service) 중 적어도 하나를 포함할 수 있다. 네트워크(262 또는 264)는 적어도 하나의 통신 네트워크, 이를테면 컴퓨터 네트워크(로컬 영역 네트워크(LAN) 또는 광역 네트워크(WAN)와 같음), 인터넷, 또는 전화 네트워크를 포함한다.
전자 디바이스(201)는 물리량을 계량하거나 또는 전자 디바이스(201)의 활성화 상태를 검출하고 계량되거나 또는 검출된 정보를 전기 신호로 변환할 수 있는 하나 이상의 센서들(280)을 더 포함한다. 예를 들어, 하나 이상의 센서들(280)은 장면들의 이미지들을 캡처하기 위한 하나 이상의 카메라들 또는 다른 이미지 센서들을 포함할 수 있다. 센서(들)(280)는 또한 터치 입력을 위한 하나 이상의 버튼들, 제스처 센서, 자이로스코프 또는 자이로 센서, 공기 압력 센서, 자기 센서 또는 자력계, 가속도 센서 또는 가속도계, 그립(grip) 센서, 근접 센서, 컬러 센서(이를테면 적녹청(RGB) 센서), 생체물리 센서, 온도 센서, 습도 센서, 조명 센서, 자외선(UV) 센서, 근전도검사(electromyography)(EMG) 센서, 뇌전도(electroencephalogram)(EEG) 센서, 심전도(electrocardiogram)(ECG) 센서, 적외선(infrared)(IR) 센서, 초음파 센서, 홍채 센서, 또는 지문 센서를 포함할 수 있다. 센서(들)(280)는 하나 이상의 가속도계들, 자이로스코프들, 및 다른 컴포넌트들을 포함할 수 있는 관성 측정 유닛을 더 포함할 수 있다. 덧붙여서, 센서(들)(280)는 여기에 포함되는 센서들 중 적어도 하나를 제어하기 위한 제어 회로를 포함할 수 있다. 이들 센서(들)(280) 중 임의의 것이 전자 디바이스(201) 내에 위치될 수 있다.
전자 디바이스(201)는 추가로 전기 신호들을 사운드로 변환하는 하나 이상의 스피커들(290)과 사운드를 전기 신호들로 변환하는 하나 이상의 오디오 센서들(295)을 포함한다. 오디오 센서(295)는 다이나믹 마이크로폰, 콘덴서 마이크로폰, 압전 마이크로폰 등과 유사한 마이크로폰일 수 있다. 프로세서(220)는 사용자로부터 오디오 센서들(295)을 통해 구두 입력(발화)을 수신하며, 구두 입력을 프로세싱하고, 스피커(290)에 의해 사용자에게 전달되는 출력을 생성할 수 있다.
외부 전자 디바이스(202)와 외부 전자 디바이스(204)는 도 1의 클라이언트 디바이스들(106~114) 중 임의의 것과 유사할 수 있다. 외부 전자 디바이스들(202 및 204)은 전자 디바이스(201)(또는 그것의 적합한 서브세트)와 동일하거나 또는 유사한 컴포넌트들(210~295)을 포함할 수 있다. 덧붙여, 외부 전자 디바이스들(202 및 204)은 착용가능 디바이스 또는 전자 디바이스 장착가능 착용가능 디바이스(이를테면 HMD)일 수 있다. 전자 디바이스(201)가 전자 디바이스(202)(이를테면 HMD)에 탑재될 때, 전자 디바이스(201)는 통신 인터페이스(270)를 통해 전자 디바이스(202)와 통신할 수 있다. 전자 디바이스(201)는 별도의 네트워크를 수반하는 일없이 전자 디바이스(202)와 통신하기 위해 전자 디바이스(202)와 직접 연결될 수 있다. 전자 디바이스(201)는 또한 하나 이상의 카메라들을 포함하는 안경과 같은 증강 현실 착용가능 디바이스일 수 있다.
외부 전자 디바이스들(202 및 204)과 서버(206) 각각은 전자 디바이스(201)와는 동일하거나 또는 상이한 유형의 디바이스일 수 있다. 본 개시의 특정한 실시예들에 따르면, 서버(206)는 하나 이상의 서버들의 그룹을 포함한다. 서버(206)는 도 1의 서버(104)와 유사할 수 있다. 또한, 본 개시의 특정한 실시예들에 따르면, 전자 디바이스(201) 상에서 실행되는 동작들의 전부 또는 일부는 다른 하나 또는 다수의 다른 전자 디바이스들(이를테면 전자 디바이스들(202 및 204) 또는 서버(206)) 상에서 실행될 수 있다. 게다가, 본 개시의 특정한 실시예들에 따르면, 전자 디바이스(201)가 일부 기능 또는 서비스를 자동으로 또는 요청으로 수행해야 할 때, 전자 디바이스(201)는, 기능 또는 서비스를 자체적으로 또는 추가적으로 실행하는 대신, 다른 디바이스(이를테면 전자 디바이스들(202 및 204) 또는 서버(206))에 연관되는 적어도 일부 기능들을 수행할 것을 요청할 수 있다. 다른 전자 디바이스(이를테면 전자 디바이스들(202 및 204) 또는 서버(206))는 요청된 기능들 또는 추가적인 기능들을 실행하고 실행의 결과를 전자 디바이스(201)에 전달할 수 있다. 전자 디바이스(201)는 수신된 결과를 그대로 또는 추가적으로 프로세싱함으로써 요청된 기능 또는 서비스를 제공할 수 있다. 이를 위해, 예를 들어, 클라우드 컴퓨팅, 분산형 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기법이 사용될 수 있다. 전자 디바이스(201)가 네트워크(262 또는 264)를 통해 외부 전자 디바이스(204) 또는 서버(206)와 통신하기 위한 통신 인터페이스(270)를 포함함을 도 2가 도시하지만, 전자 디바이스(201)는 본 개시의 일부 실시예들에 따른 별도의 통신 기능 없이 독립적으로 운용될 수 있다.
서버(206)는 전자 디바이스(201)(또는 그것의 적합한 서브세트)와 동일하거나 또는 유사한 컴포넌트들(210~295)을 포함할 수 있다. 서버(206)는 전자 디바이스(201) 상에 구현되는 동작들(또는 기능들) 중 적어도 하나를 수행함으로써 전자 디바이스(201)를 구동하도록 지원할 수 있다. 예를 들어, 서버(206)는 전자 디바이스(201)에 구현되는 프로세서(220)를 지원할 수 있는 처리 모듈 또는 프로세서를 포함할 수 있다. 특정 실시예들에서, 서버(206)는 자연어 프로세싱을 수행한다.
도 2가 전자 디바이스(201)를 포함하는 네트워크 구성(200)의 하나의 예를 도시하지만, 다양한 변경들이 도 2에 대해 이루어질 수 있다. 예를 들어, 네트워크 구성(200)은 임의의 수의 각각의 컴포넌트를 임의의 적합한 배열로 포함할 수 있다. 일반적으로, 컴퓨팅 및 통신 시스템들은 매우 다양한 구성들로 제공되고, 도 2는 본 개시의 범위를 임의의 특정 구성으로 제한하지 않는다. 또한, 도 2가 이 특허 문서에서 개시된 다양한 특징들이 사용될 수 있는 하나의 운영 환경을 예시하지만, 이들 특징들은 임의의 다른 적합한 시스템에서 사용될 수 있다.
도 3은 본 개시의 일 실시예에 따라 자연어 프로세싱 시스템(300)의 예시적인 블록도를 예시한다. 자연어 프로세싱 시스템(300)은 도 1의 클라이언트 디바이스들(106~112) 또는 서버(104) 중 임의의 것, 전자 디바이스(201) 또는 도 2의 서버(206), 가상 비서, 또는 그것들의 임의의 조합으로 구현되는 것으로 설명된다. 예를 들어, 도 2의 전자 디바이스(201)는 자연어 프로세싱 시스템(300)을 포함한다. 그러나, 자연어 프로세싱 시스템(300)은 임의의 다른 적합한 디바이스(들)에 의해 그리고 임의의 다른 적합한 시스템(들)에서 사용될 수 있다. 자연어 프로세싱 시스템(300)은 자연어 이해 및 대화 단절 검출을 수행하기 위해 사용되는 것으로서 설명된다. 대화 단절의 검출 시, 자연어 프로세싱 시스템(300)은 사용자에게 대화 단절을 통지하거나, 대화 단절로부터 복구하거나, 또는 그것들의 조합을 수행할 수 있다. 그러나, 자연어 프로세싱 시스템(300)은 임의의 다른 적합한 태스크를 수행하는데 사용될 수 있다.
자연어 프로세싱 시스템(300)은 입력(302)을 수신하도록 구성된다. 입력(302)은 도 2의 오디오 센서(295)와 같은 마이크로폰을 통해 수신될 수 있다. 특정 실시예들에서, 입력(302)은 텍스트이다. 특정 실시예들에서, 입력(302)은 멀티모달(multimodal) 자연어 입력이다. 입력(302)은 그것이 구두 발화(도 3에 예시된 바와 같음) 또는 텍스트일 때 멀티모달이다. 입력(302)은 자동 스피치 인식(304), 자연어 이해(306), 또는 둘 다에 의해 프로세싱된다. 특정 실시예들에서, 자연어 프로세싱 시스템(300)은 입력(302)에 연관된 신뢰 수준을 나타내기 위한 신뢰 점수를 생성한다. 예를 들어, 신뢰 점수는 입력(302)에 포함되는 배경 잡음의 정도에 기초할 수 있다. 다른 예를 들어, 신뢰 점수는, 사용자의 전체 발화가 입력(302)에 포함되는 확실성 레벨에 기초하여, 발화의 부분이 누락되었는지 여부를 나타낼 수 있다.
ASR(304)은 입력(302)을 인식하기 위한 음향 모델들 및 언어 모델들을 포함할 수 있다. 언어 모델들은 특정 도메인 컨텍스트 내로부터 특정 발화들을 사용하여 훈련된다. 예를 들어, 언어 모델들이 영화들과 같은 도메인에 연관될 수 있는 한편, 다른 언어 모델이 스포츠 등과 같은 도메인에 연관될 수 있다. ASR(304)은 또한 입력(302)을 인식하는 것에 연관되는 신뢰 수준을 나타내기 위해 신뢰 점수를 생성할 수 있다.
NLU(306)는 도메인 분류, 의도 분류, 슬롯 태거(tagger), 임베딩 등을 포함할 수 있다. 예를 들어, NLU(306)는 입력(302)의 도메인을 식별할 수 있다. NLU(306)는 또한 식별된 도메인에 연관되는 신뢰 수준을 나타내기 위해 신뢰 점수를 생성할 수 있다. NLU(306)는 또한 입력(302)으로부터 태스크 또는 요청을 식별할 수 있다. 태스크는 전자 디바이스(201)가 수행하기를 사용자가 원하는 목표일 수 있다. 예를 들어, 입력(302)이 "컨트리 음악 재생"이면, 해당 태스크는 음악 플레이어를 열며, 검색하고, 요청된 장르아의 음악을 재생하는 것이다. NLU(306)는 또한 입력(302)으로부터 식별된 태스크 또는 요청에 연관되는 신뢰 수준을 나타내기 위해 신뢰 점수를 생성할 수 있다. NLU(306)는 또한 특정 슬롯들에 대응하는 것으로서 입력(302)의 다양한 단어들을 연결(tag)할 수 있다. NLU(306)는 또한 입력(302)을 특정 슬롯들에 연결하는 것(tagging)에 연관되는 신뢰 수준을 나타내기 위해 신뢰 점수를 생성할 수 있다.
대화 관리 시스템(308)은 대화 단절 복구부(314)를 포함할 수 있다. 대화 관리 시스템(308)은 규칙 기반, 취출 기반, 확률 기반 등일 수 있다. 대화 관리 시스템(308)은 다양한 입력들을 수신한다. 그 입력들은 스피치 신호, 발화(이를테면 입력(302)), 의미론적, 외부 컨텍스트, 멀티모달 입력들(이를테면 구두 입력 외의 텍스트), 및 피드백 데이터를 포함할 수 있다. 예를 들어, 대화 관리 시스템(308)은 NLU(306)로부터 파싱된 데이터를 수신한다. 입력들에 기초하여, 대화 관리 시스템(308)은 사용자에 대한 답신을 나타내는 데이터세트를 생성한다. 생성된 답신은 사용자로부터 추가 입력들(302)을 요청하거나 또는 요청된 정보를 사용자에게 제공할 수 있다.
자연어 생성기(310)는 답신을 나타내는 데이터세트를 사용자에게 전달되거나 또는 제시될 자연어 응답으로 변환한다. 즉, 데이터세트에 포함되는 개념들이 사용자에 의해 이해되도록, 자연어 생성기(310)는 단어들을 선택하고 그 단어들을 자연어 문장에 배치한다. 단어들을 선택함으로써, 자연어 생성기(310)는 답신(320)을 생성한다. 답신(320)은 스피커(290)를 통해 사용자에게 전달되거나 또는 제시된다. 특정 실시예들에서, 답신(320)은 도 2의 디스플레이(260)와 같은 디스플레이 상에 디스플레이된다.
특정 실시예들에서, 자연어 생성기(310)는 답신(320)을 나타내는 데이터세트를 자연어 텍스트로 변환한다. 자연어 생성기(310)가 답신(320)을 나타내는 자연어 텍스트를 생성할 때, 텍스트 투 스피치 부(312)는 텍스트를 오디오 포맷으로 변환한다. 스피커(290)는 사용자가 스피커를 통해 답신(320)을 들을 수 있도록 오디오 포맷에 대응하는 사운드를 생성한다.
대화 단절 검출 시스템(316)은 글로벌 로컬 상호 인코딩을 갖는 주의 기억 네트워크이다. 대화 단절 검출 시스템(316)은 대화 관리 시스템(308)에 의해 생성되었던 답신과 사용자 사이에 대화 단절이 발생했는지 여부를 검출한다. 특정 실시예들에서, 대화 단절 검출 시스템(316)은 사용자의 발화들 뿐만 아니라 대화 관리 시스템(308)에 의한 생성된 답신들에 기초하여 단절을 검출한다. 다른 실시예들에서, 대화 단절 검출 시스템(316)은 대화 관리 시스템(308)에 의한 생성된 답신들에 기초하여 단절을 검출한다.
대화 단절을 검출하기 위하여, 대화 단절 검출 시스템(316)은 입력(302), 이전 입력들, 답신(320)을 나타내는 생성된 데이터세트, 이전에 생성된 답신들, ASR(304)로부터의 출력(입력(302) 및 이전 입력들 양쪽 모두로부터), NLU(306)로부터의 출력(입력(302) 및 이전 입력들 양쪽 모두로부터), 입력(302), ASR(304) 및 NLU(306)에 연관되는 신뢰 점수들(입력(302) 및 이전 입력들 양쪽 모두로부터) 등을 모니터링한다. 아래의 도 4a는 단절이 발생했는지 여부를 검출하기 위한 대화 단절 검출 시스템(316)의 아키텍처를 기술한다. 특정 실시예들에서, 대화 단절 검출 시스템(316)은 단절이 발생했는지 여부를 검출할 때 입력(302), ASR(304), NLU(306), 또는 그것들의 조합에 연관되는 신뢰 점수들을 사용한다. 특정 실시예들에서, 대화 단절 검출 시스템(316)은 검출된 대화 단절로부터 복구할 때 입력(302), ASR(304), NLU(306), 또는 그것들의 조합에 연관되는 신뢰 점수들을 사용한다.
대화 단절 검출 시스템(316)이 모니터링하는 정보의 양은 고정되거나 또는 가변할 수 있다. 윈도우가 작을수록(대화 단절 검출 시스템(316)이 모니터링하는 발화들의 수가 적을수록) 더 빠른 프로세싱을 초래할 수 있다. 그러나 윈도우가 너무 작을 때, 대화 단절 검출 시스템(316)은 대화의 단절을 식별할 수도 없거나 또는 대화 단절 검출 시스템(316)에서 이용 가능한 제한된 컨텍스트로 인해 대화의 단절을 부정확하게 식별할 수 있다. 대안적으로, 윈도우의 사이즈가 증가함에 따라(대화 단절 검출 시스템(316)이 모니터링하는 발화들이 더 많을수록) 대화에서 단절을 정확하게 식별하기 위해 대화 단절 검출 시스템(316)에 제공되는 이력적 컨텍스트는 또한 증가한다. 그러나 대화 단절 검출 시스템(316)이 대화의 단절이 발생했는지 여부를 식별하기 위하여 파싱할 발화들의 수를 계속 증가시킴으로 인해 더 큰 윈도우가 프로세싱 시간을 증가시킬 수 있다.
대화 단절 검출 시스템(316)은 사용자와 전자 디바이스(201)(이를테면 가상 비서) 사이에 고정된 수의 발화들을 모니터링하는 고정 윈도우를 포함할 수 있다. 특정 실시예들에서, 고정 윈도우는 사용자와 가상 비서 사이의 단일 회화의 발화들의 모두를 모니터링한다. 예를 들어, 요청된 태스크를 수행하기 위해 사용자로부터 추가 정보를 수집하기 위해 가상 비서가 다수의 답신들을 제공하는 특정 태스크를 수행하는 것에 대화의 컨텍스트가 연관되면, 대화 단절 검출 시스템(316)이 모니터링하는 정보의 양은 계속해서 증가할 것이다. 다시 말하면, 회화가 길어질수록, 대화 단절 검출 시스템(316)이 모니터링하는 발화들이 더 많다.
특정 실시예들에서, 고정 윈도우는 동일한 대화 이벤트에 연관되는 특정한 수의 최근 발화들까지 사용자와 가상 비서 사이의 발화들을 모니터링한다. 예를 들어, 대화 단절 검출 시스템(316)이 세 가지 발화들(이를테면 (i) 사용자가 가상 비서가 특정 태스크를 수행하기 위한 요청을 말하는 것, (ii) 가상 비서가 추가 정보를 위한 요청으로 답신하는 것, (iii) 사용자가 요청된 정보를 제공하는 것)만을 모니터링하도록 윈도우가 고정되면, 시스템이 가상 비서 답신을 모니터링하기 위해, 시스템은 사용자에 의해 말해진 첫 번째 발화를 모니터링하는 것을 중지할 것이다. 다시 말하면, 대화 단절 검출 시스템(316)은 가장 최근의 고정 수의 발화들만을 모니터링한다.
대화 단절 검출 시스템(316)은 대화에 연관되는 상황에 기초하여 상이한 수의 발화들을 모니터링하는 가변 윈도우를 포함할 수 있다. 특정 실시예들에서, 대화 단절 검출 시스템(316)이 모니터링하는 정보의 양은 시스템 의존적이다. 예를 들어, 시스템의 자원들(이를테면 메모리 및 프로세서)이 이용 가능하면, 대화 단절 검출 시스템(316)이 모니터링하는 정보의 양은 증가한다. 대안적으로, 시스템의 자원들이 다른 태스크들로 제한되거나 또는 점유되면, 대화 단절 검출 시스템(316)이 모니터링하는 정보의 양은 감소한다.
특정 실시예들에서, 윈도우의 사이즈는 각각의 특정 도메인에 대해 설정될 수 있다. 다시 말하면, 윈도우 사이즈는 대화의 식별된 도메인에 기초한다. 예를 들어, 제1 도메인들이 특정한 사이즈의 고정 윈도우를 포함할 수 있고 제2 도메인이 고정 윈도우 또는 상이한 사이즈를 포함할 수 있다. 도메인이 사용자와 가상 비서 간의 대화 중에 변경되면, 윈도우의 사이즈는 그에 따라 변경될 수 있다.
윈도우 사이즈가 각각의 도메인에 대한 미리 결정된 사이즈 또는 머신 러닝 중 어느 하나에 의해 최적화된다. 예를 들어, 대화 단절 검출 시스템(316)은 특정한 도메인들 내의 사용자와 가상 비서 간의 이전 대화들로부터 윈도우의 사이즈를 학습할 수 있다.
특정 실시예들에서, 일단 단절이 검출되면, 모니터링된 정보에 기초하여, 대화 단절 검출 시스템(316)은 대화 관리 시스템(308)에게 단절을 통지한다. 대화 단절 복구부(314)는 대화에 연관되는 로컬 및 글로벌 컨텍스트에 기초하여 단절로부터 복구하려고 시도한다. 예를 들어, 대화 단절 복구부(314)는 상태에 연관되는 컨텍스트를 식별하고 그 컨텍스트에 기초하여 수정된 답신을 생성한다. 그 상태는 슬롯, 키워드, 로컬 컨텍스트(획득된 구두 입력 또는 생성된 답신) 등을 포함할 수 있다. 특정 실시예들에서, 대화 단절 복구부(314)는 입력(302), ASR(304), NLU(306), 또는 그것들의 조합에 연관되는 신뢰 점수들을 사용한다. 예를 들어, 대화 단절 복구부(314)는 상태에 연관되는 컨텍스트를 식별할 때 신뢰 점수들 중 하나 이상을 사용한다. 대화 단절 복구부(314)는 수정된 답신을 사용자에게 나타내는 수정된 데이터세트를 생성한다. 자연어 생성기(310)는 수정된 답신을 나타내는 수정된 데이터세트를 사용자에게 전달되거나 또는 제시될 자연어 응답으로 변환한다.
특정 실시예들에서, 일단 단절이 검출되면, 모니터링된 정보에 기초하여, 대화 단절 검출 시스템(316)은 대화 통지 생성기(318)에게 통지한다. 대화 통지 생성기(318)는 디스플레이(260) 상에 디스플레이될 수 있는 통지를 생성한다. 디스플레이된 통지는 사용자에게 소통오류를 나타낼 수 있다. 대화 통지 생성기(318)는 메시지를 나타내는 데이터세트를 생성하고, 자연어 생성기(310)에 의해 변환될 때, 스피커(290)를 통해 사용자에게 제시될 수 있다. 예를 들어, 그 통지는 소통오류에 대한 사과, 사용자가 자신의 이전 발화를 반복하라는 요청, 또는 둘 다를 나타낼 수 있다. 특정 실시예들에서, 대화 통지 생성기(318)는, 로컬 컨텍스트 및 글로벌 컨텍스트 둘 다를 사용하여, 단절을 야기했던 발화를 식별한다. 그 후, 대화 통지 생성기(318)는 대화 단절을 야기했던 발화에 관해 사용자에게 문의하는 요청을 나타내는 데이터세트를 생성할 수 있다.
특정 실시예들에서, 대화 단절 검출 시스템(316)은 대화 관리 시스템(308)에 포함된다. 예를 들어, 답신을 나타내는 데이터세트가 생성될 때, 대화 단절 검출 시스템(316)은 단절이 발생했는지 여부를 결정할 수 있어서, 대화 단절 복구부(314)는 스피커(290)를 통해 사용자에게 원래의 답신을 나타내는 원래의 데이터세트(단절을 포함하는 것임)를 제시하기 전에 수정된 데이터세트를 생성할 수 있다. 다시 말하면, 부적절한 응답이 사용자에게 주어지기 전에 대화의 단절이 검출될 수 있다.
도 3이 자연어 프로세싱 시스템(300)의 하나의 예를 도시하지만, 다양한 변경들이 도 3에 대해 이루어질 수 있다. 예를 들어, 자연어 프로세싱 시스템(300)은 텍스트와 같은 다양한 유형들의 입력들을 수신하고 프로세싱하고 가청 답신 대신 서면 답신을 제공할 수 있다. 또한, 자연어 프로세싱 시스템(300)을 사용하여 수행되는 태스크들은 자연어 프로세싱을 수행하지 않으면서도 대화 단절 검출, 복구, 및 통지 엘리먼트들을 포함할 수 있다.
도 4a는 본 개시의 일 실시예에 따라 대화 단절 검출을 위한 아키텍처(400a)를 예시한다. 도 4b, 도4c, 도4d, 도4e, 도4f, 도4g, 및 도 4h는 본 개시의 일 실시예에 따라 아키텍처(400a)를 사용하는 대화 단절 검출을 위한 프로세스를 예시한다. 아키텍처(400a)는 컨텍스트 기반 메모리 네트워크를 포함한다. 도 4b, 도 4c, 도 4d, 도 4e, 도 4f, 및 도 4g는 특정 라벨을 갖는 발화를 프로세싱하는 상세한 프로세스를 예시하는 한편, 도 4h는 도 4a에서와 같이 이전에 획득된 가중된 혼합물에 대해 주의를 수행하는 프로세스를 예시한다.
아키텍처(400a)는 도 3의 대화 단절 검출 시스템(316)에 포함되는 것으로 설명된다. 예를 들어, 아키텍처(400a)에 도시된 바와 같은 컨텍스트 기반 메모리 네트워크는 도 1의 클라이언트 디바이스들(106~112) 또는 서버(104) 또는 도 2의 전자 디바이스(201) 또는 서버(206) 중 임의의 것에 의해 수행될 수 있다. 아키텍처(400a)는 사용자와 통신할 수 있는 가상 비서를 포함하는 전자 디바이스에 포함될 수 있다. 그러나, 아키텍처(400a)는 임의의 다른 적합한 디바이스(들)에 의해 그리고 임의의 다른 적합한 시스템(들)에서 사용될 수 있다.
아키텍처(400a)에서 도시된 바와 같은 컨텍스트 기반 메모리 네트워크는 시스템에 의해 생성되는 답신에 관한 대화 단절의 확률을 결정한다. 컨텍스트 기반 메모리 네트워크는 사용자 발화들 및 시스템 발화들로부터 글로벌 및 로컬 둘 다의 컨텍스트 정보를 사용하여 대화 단절이 발생했는지 여부를 나타내는 라벨의 확률을 식별한다. 예를 들어, 컨텍스트 기반 메모리 네트워크는 라벨에 관해 각각의 발화를 분류함으로써 발화들(이를테면 발화들(402, 402b, 402c, 402d))의 각각에 관해 단절이 발생했는지 여부를 식별한다. 예를 들어, 컨텍스트 기반 메모리 네트워크는 발화를 상이한 라벨들과 연관시키고, 발화의 로컬 컨텍스트, 발화의 글로벌 컨텍스트, 및 임의의 이전 발화들에 기초하여 발화를 가장 정확하게 특성화하는 라벨을 결정한다. 임의의 수의 라벨들은 아키텍처(400a)에 사용될 수 있다. 아키텍처(400a)는 세 개의 라벨들을 포함한다. 아키텍처(400a)의 라벨들의 수 및 라벨들의 디스크립션은 제한되지 않는다. 라벨 X는 단절에 해당하며, 라벨 T는 가능한 단절에 해당하고, 라벨 O는 비단절(non-breakdown)에 해당한다. 특정 실시예들에서, 라벨들은, 신경망, 이를테면 LSTM(Long Short Term Memory) 네트워크 또는 BiLSTM(Bidirectional Long Short Term Memory) 네트워크가 원래 훈련되었을 때, 훈련 데이터에서 제시되지 않았던 경우들에서 대화 단절을 식별하는데 사용될 수 있다. LSTM 네트워크는 정보를 유지할 수 있는 메모리 셀을 포함한다. LSTM 네트워크는 단일 방향으로 이미 전달된 입력들로부터 정보를 보존하는 한편 BiLSTM은 미래에서 과거로 뿐만 아니라 과거에서 미래로인 두 개의 방향들로 입력을 전달한다. BERT는 예시적인 BiLSTM이고 24 개 레이어들(변환기 블록들), 1024 개 숨겨진 사이즈, 16 개 주의 헤드들, 및 총 3억4천만 개의 파라미터들을 포함한다.
아키텍처(400a)는 세 개의 부분들로 분리된다. 제1 부분이 라인(401) 위에 위치되고 사용자와 시스템 사이의 이전 대화 쌍을 나타낸다. 제1 부분에 포함되는 발화들에는 라벨들이 이전에 할당되었다. 아키텍처(400a)는 발화의 다양한 양태들을 정의하는 임의의 수의 라벨들을 포함할 수 있다. 예시된 바와 같이, 아키텍처(400a)는 세 개의 라벨들을 포함한다. 라벨은 단절이 발생했음을 나타내는 X, 가능한 단절이 발생할 수 있음을 나타내는 T, 또는 단절이 발생하지 않았음을 나타내는 O일 수 있다. 아래에서 논의되는 도 4b 내지 도 4g는 일단 라벨이 대화 쌍에 할당될 때의 데이터흐름을 설명한다. 라인(401) 위의 발화들은 라벨을 새로운 발화에 할당할 때 사용되는 글로벌 컨텍스트(컨텍스트(455))를 생성하는데 사용된다.
제2 부분이 라인(401) 아래에 위치되고 사용자와 시스템 사이의 현재 대화 쌍을 나타낸다. 현재 대화 쌍은 할당된 라벨을 갖지 않는다.
제3 부분은 전체 주의(overall attention)(450)의 우측에 위치된다. 제3 부분은 제2 부분의 대화 쌍에 라벨을 할당한다. 제3 부분은 각각의 라벨에 대해 반복적으로 수행되고, 현재 대화 쌍에 할당될 수 있는 각각의 라벨에 연관되는 확률 점수를 생성한다. 최고 확률 점수를 갖는 라벨은 그러면 현재 대화 쌍에 할당된다. 현재 대화 쌍에 라벨을 할당한 후, 현재 대화 쌍은 (이전 대화 쌍 및 현재 대화 쌍 둘 다가 라인 위에 있고 컨텍스트(455)를 생성하는데 사용되도록) 라인(401) 위로 이동되고 새로운 대화 쌍이 자연어 프로세싱 시스템(300)에 의해 수신되고 생성된다. 윈도우 사이즈는 라인(401) 위에 위치되는 대화 쌍들의 수를 제한할 수 있다는 것에 주의한다. 예를 들어, 윈도우가 네 개의 대화 쌍들로 제한되면, (윈도우가 해당 사이즈로 고정되거나 또는 도메인이 네 개의 대화 쌍들이 단절을 검출하기에 충분함을 나타내기 때문에) 가장 최근의 네 개의 대화 쌍들만이 라인 위에 유지된다. 새로운 대화 쌍이 라벨을 할당받고 라인(401) 위로 이동할 때마다 가장 오래된 대화 쌍은 폐기된다.
컨텍스트 기반 메모리 네트워크로의 입력들은, 아키텍처(400a)에 도시된 바와 같이, 사용자 발화(이를테면 사용자 발화(402a))와 시스템 발화(이를테면 시스템 발화(402b))를 포함한다. 사용자 발화는 입력(302)일 수 있고 시스템 발화는 도 3의 대화 관리 시스템(308)에 의해 생성된 데이터세트일 수 있다. 특정 실시예들에서, 시스템 발화는 도 3의 스피커(290)를 통해 사용자에게 제시되는 답신(320)일 수 있다.
입력의 임베딩은 글로벌-로컬 LSTM 네트워크 또는 글로벌-로컬 BiLSTM 네트워크(이를테면 글로벌 BiLSTM(410a) 및 로컬 BiLSTM(420a))에 전달된다. 로컬 BiLSTM(420a)은 다양한 라벨들에 관해 훈련되는 다수의 로컬 BiLSTM 네트워크들(420a)을 포함할 수 있다. 글로벌 주의(global attention)(이를테면 글로벌 주의(430a)), 로컬 주의(local attention)(이를테면 로컬 주의(440a)), 및 전체 주의(overall attention)(이를테면 전체 주의(4450))가 입력의 로컬 컨텍스트 및 글로벌 컨텍스트를 식별한다. 그러면 컨텍스트 기반 메모리 네트워크는 로컬 컨텍스트 및 글로벌 컨텍스트에 기초하여 현재 발화(이를테면 시스템 발화(402d))에 연관되는 라벨의 확률 점수를 계산한다.
사용자와 시스템(이를테면 가상 비서) 사이의 대화가, 아키텍처(400a)에서 예시된 바와 같이, 다수의 대화 쌍들로 구성된다. 각각의 대화 쌍은 사용자 발화와 시스템에 의한 답신을 포함할 것이다. 라벨이 단절을 결정하기 위하여 각각의 대화 쌍에 적용된다. 예를 들어, 제1 대화 쌍이 사용자가 "HELLO SYSTEM"이라고 말하는 것과 시스템이 사용자에게 확인하는 답신을 생성하는 것일 수 있다. 제2 대화 쌍은 사용자가 시스템에게 정보(이를테면 현재 날씨)를 제공할 것 또는 특정 태스크(이를테면 어플라이언스 켜기, 특정한 장르아의 음악(certain genera of music) 재생, 비행기 티켓 예약 등)를 수행할 것을 요청하는 것일 수 있다. 그 후, 시스템은 요청된 정보를 제공하거나, 태스크가 완료됨을 지시하거나, 또는 추가 정보를 요청하는 답신을 생성할 것이다. 대화는 사용자가 새로운 발화들을 제공하는 것을 중단하기까지 사용자가 발화를 제공하는 것과 뒤따르는 시스템이 발화를 생성하는 것으로 계속될 것이다.
사용자 발화(402a)는 정보에 대한 요청 또는 특정 태스크를 수행하기 위한 요청을 포함하는 초기 발화일 수 있다. 대안적으로, 사용자 발화(402a)는 사용자와 가상 비서 간의 대화의 중간에서의 발화이다. 시스템 발화(402b)는 도 3의 대화 관리 시스템(308)에 의해 생성될 수 있다. 시스템 발화(402b)은 요청된 정보 또는 요청된 태스크가 완료되었다는 지시를 포함할 수 있는 사용자에 대한 답신이다. 시스템 발화(402b)는 또한 사용자로부터 추가 정보를 요청하는 답신일 수 있다. 사용자 발화(402c)는 사용자로부터 가상 비서로의 제2 발화이다. 사용자 발화(402c)는 사용자에 의해 요청된 추가 정보를 포함할 수 있다. 시스템 발화(402d)는 요청된 정보 또는 요청된 태스크가 완료되었다는 지시를 포함할 수 있다. 시스템 발화(402d)는 또한 사용자로부터 추가 정보를 요청하는 답신일 수 있다. 사용자 발화(402a)와 시스템 발화(402b)는 제1 대화 쌍을 나타내는 반면, 사용자 발화(402c)와 시스템 발화(402d)는 제2 대화 쌍을 나타내는 것에 주의한다.
사용자 발화들(402a, 및 402c) 뿐만 아니라 시스템 발화들(402b 및 402d)은 사용자와 가상 비서 사이의 대화를 나타낸다. 사용자와 가상 비서 사이에 발생하는 발화들의 양은 도 4a에 예시된 바와 같은 발화들의 수로 제한되지 않는다. 사용자 발화들(402a 및 402c)은 도 2의 오디오 센서(295)를 통해 전자 디바이스(201)에 의해 수신될 수 있는 한편, 시스템 발화들(402b 및 402d)은 도 2의 스피커(290)에 의해 생성되고 도 3의 대화 관리 시스템(308)에 의해 발생되는 가청음들일 수 있다는 것에 주의한다.
아키텍처(400a)에 도시된 바와 같은 컨텍스트 기반 메모리 네트워크는 글로벌-로컬 주의 인코더를 포함한다. 글로벌-로컬 주의 인코더는 (i) 임베더, (ii) 글로벌 및 로컬 BiLSTM 네트워크, 및 (ii) 글로벌 및 로컬 자체-주의 레이어들을 포함한다. 특정 실시예들에서, 임베딩, 글로벌 및 로컬 BiLSTM 네트워크들, 및 글로벌 및 로컬 자체-주의 계층들은 상이한 컴포넌트들이다.
글로벌 BiLSTM 네트워크(410a, 410b, 410c, 및 410d)(총괄하여 글로벌 BiLSTM 네트워크(410))는 어떤 기간 동안 정보를 유지할 수 있는 메모리 셀을 포함하는 신경망들이다. 마찬가지로, 로컬 BiLSTM 네트워크(420a, 420b, 420c, 및 420d)(총괄하여 420)는 어떤 기간 동안 정보를 유지할 수 있는 메모리 셀을 또한 포함하는 신경망들이다. BiLSTM 네트워크의 메모리 컴포넌트는 컨텍스트 기반 메모리 네트워크가 대화의 전체에 걸쳐 (사용자 또는 가상 에이전트에 의한) 이전 발화들로부터 컨텍스트를 고려하는 것을 가능하게 한다. 글로벌 및 로컬 BiLSTM 네트워크(410 및 420)는 하나 이상의 망각(forget) 게이트들, 하나 이상의 블록 게이트들, 하나 이상의 입력 게이트들, 하나 이상의 출력 게이트들 등을 포함할 수 있다. 글로벌 BiLSTM 및 로컬 BiLSTM 네트워크들은 BERT, ROBERTA, XLNET, T5, ERNIE 등과 같은 인코더를 포함할 수 있다.
글로벌 BiLSTM 네트워크(410)는 현재 사용자 발화 또는 시스템 발화 중 어느 하나를 임베딩하고 인코딩한다. 덧붙여, 이용 가능하다면, 글로벌 BiLSTM 네트워크(410)는 임의의 이전 사용자 및 시스템 발화들을 임베딩하고 인코딩한다. 글로벌 BiLSTM 네트워크(410)는 로컬 임베딩에 기초하여 글로벌 임베딩을 학습하는 로컬 안내식 인코더들(local guided encoders)이다. 글로벌 BiLSTM 네트워크(410)는 사용자 또는 시스템 발화를 한 세트 숫자들을 포함하는 벡터로 변환하며, 여기서 그 숫자들은 발화의 단어들을 나타낸다. 글로벌 BiLSTM 네트워크(410) 네트워크들의 각각은 단일 발화를 프로세싱한다. 예를 들어, 글로벌 BiLSTM 네트워크(410a)는 사용자 발화(402a)를 프로세싱하며, 글로벌 BiLSTM 네트워크(410b)는 시스템 발화(402b)를 프로세싱하며, 글로벌 BiLSTM 네트워크(410c)는 사용자 발화(402c)를 프로세싱하고, 글로벌 BiLSTM 네트워크(410n)는 시스템 발화(402d)를 프로세싱한다.
로컬 BiLSTM 네트워크(420)는 특정 라벨에 관해 현재 사용자 발화 또는 시스템 발화 중 어느 하나를 임베딩하고 인코딩한다. 로컬 BiLSTM 네트워크(420)는 글로벌 임베딩에 기초하여 로컬 임베딩을 학습하는 글로벌 안내식 로컬 인코더이다. 로컬 BiLSTM 네트워크(420)는 사용자 또는 시스템 발화를 한 세트의 숫자들을 포함하는 벡터로 변환하며, 여기서 숫자들은 발화의 단어들이다.
특정 실시예들에서, 로컬 BiLSTM 네트워크(420)는 특정 라벨에 기초하여 각각 훈련되는 다수의 로컬 BiLSTM 네트워크들(420)을 포함한다. 로컬 BiLSTM 네트워크들(420)의 수는 라벨들의 수에 대응한다. 아키텍처(400a)가 임의의 수의 라벨들을 포함할 수 있으므로, 로컬 BiLSTM 네트워크들(420)의 수는 그에 따라 변경된다. 예시된 바와 같이, 아키텍처(400a)는 세 개의 라벨들(X, T, 및 O)을 사용한다. 예시된 바와 같이, 라벨 X는 단절이 발생했음을 나타내며, 라벨 T는 단절이 발생할 수 있음을 나타내고, 라벨 O은 단절이 발생하지 않았음을 나타낸다. 발화에 특정한 라벨이 할당될 때(이를테면 라인(401) 위의 발화들일 때), 할당된 라벨에 대응하는 로컬 BiLSTM 네트워크(420)는 발화를 프로세싱한다. 발화에 특정한 라벨이 아직 할당되지 않을 때(이를테면 라인(401) 위의 발화들일 때), 로컬 BiLSTM 네트워크들(420)의 모두는 발화를 프로세싱한다.
로컬 BiLSTM 네트워크(420)는 현재 발화를 프로세싱하는 한편 글로벌 BiLSTM 네트워크(410)는 현재 발화와, 이용 가능하다면, 임의의 이전 발화들을 프로세싱한다. 예를 들어, 라벨을 갖는 발화가 글로벌 BiLSTM 네트워크(410)에 의해 프로세싱되고 또한 그 라벨에 대응하는 로컬 BiLSTM 네트워크(420) 중 하나에 의해 프로세싱된다. 라벨을 갖지 않는 발화가 글로벌 BiLSTM 네트워크(410)에 의해 프로세싱되고 로컬 BiLSTM 네트워크들(420)의 모두에 의해 프로세싱된다. 발화들(이를테면 402a, 402b, 402c, 내지 402d) 중 각각은 하나의 글로벌 BiLSTM 네트워크들 및 적어도 하나의 로컬 BiLSTM 네트워크들에 의해 프로세싱된다.
가중된 혼합물들(425a, 425b, 425c, 및 425d)(총괄하여 가중된 혼합물(425))은 각각의 글로벌 BiLSTM 네트워크들(410) 및 로컬 BiLSTM 네트워크들(420)의 출력을 결합한다. 예를 들어, 가중된 혼합물(425a)은 글로벌 BiLSTM 네트워크(410a)와 (사용자 발화(402a)에 연관되는 라벨에 대응하는) 로컬 BiLSTM 네트워크(420a) 중 하나의 출력을 결합하여, 글로벌 주의(global attention) (430a) 및 로컬 주의(local attention)(440a)에 들어가는 결합된 글로벌-로컬 BiLSTM 상태를 생성한다. 다른 예를 들어, 가중된 혼합물(425d)은 글로벌 BiLSTM 네트워크(410d)와 로컬 LSTM 네트워크(420d)의 모두의 출력을 결합하여(시스템 발화(402d)에는 라벨이 아직 할당되지 않았기 때문임) 글로벌 주의(430d) 및 로컬 주의(440d)에 들어가는 결합된 글로벌-로컬 BiLSTM 상태를 생성한다. 가중된 혼합물(425)은 글로벌 BiLSTM 네트워크(410) 및 로컬 BiLSTM 네트워크(420)의 출력의 가중된 평균을 취한다.
글로벌 주의(430a, 430b, 430c, 및 430d)(총괄하여 430)와 로컬 주의(440a, 440b, 440c, 및 440d)(총괄하여 440))는 발화의 어떤 부분이 중요한지를 식별하기 위해 특정 발화에 집중한다. 예를 들어, 글로벌 주의(430a)와 로컬 주의(440a)는 사용자 발화(402a)에 연관되는 한편, 글로벌 주의(430b)와 로컬 주의(440b)는 사용자 발화(402b)에 연관된다.
글로벌 주의(430)는 현재 및 이전 벡터들(현재 및 이전 발화들)을 분석하는 한편 로컬 주의(440)는 현재 벡터(현재 발화에 대응함)를 분석한다. 글로벌 주의(430)와 로컬 주의(440)는 발화에 연관되는 임의의 라벨에 특정되지 않는다. 글로벌 주의(430)는 현재 발화 및 이전 발화들의 중요한 부분들을 식별하는 한편 로컬 주의(440)는 현재 발화의 중요한 부분들을 식별한다.
가중된 혼합물들(445a, 445b, 445c, 및 445d)(총괄하여 가중된 혼합물(445))은 각각의 글로벌 주의(430) 및 로컬 주의(440)의 출력을 결합한다. 특정 실시예들에서, 가중된 혼합물(445)은 글로벌 주의(430) 및 로컬 주의(440)의 출력의 가중된 선형 결합을 취한다. 예를 들어, 가중된 혼합물(445)은 제1 변수를 글로벌 주의(430)의 출력에 그리고 제2 변수를 로컬 주의(440)의 출력에 곱하고, 그 값들을 함께 합산한다. 특정 실시예들에서, 가중된 혼합물(445)은 글로벌 주의(430) 및 로컬 주의(440)의 출력들의 가중된 평균을 취한다.
전체 주의(overall attention)(450)는 (가중된 혼합물들(445)의 모두에 기초하여) 발화들의 모두의 이력에 주목한다. 전체 주의(450)는 컨텍스트(455)를 생성한다. 전체 주의(450)가 주의하는 이력의 양은 윈도우 사이즈에 기초한다. 위에서 설명된 바와 같이 전체 주의(450)는 고정 또는 가변 윈도우를 포함할 수 있다. 전체 주의(450)는 단절을 검출하는데 사용될 발화들의 중요한 양태들을 식별한다.
아키텍처(400a)의 제3 부분은 최고 확률을 갖는 라벨을 선택함으로써 라벨을 시스템 발화(402d)에 할당한다. 다시 말하면 아키텍처(400a)의 제3 부분은 라벨들의 각각에 대한 출력(465)을 생성하며, 여기서 그 출력은 발화(402d)가 세 개의 라벨들 중 하나 내에 속할 확률을 나타낸다. 출력(465)은 발화에 관해 라벨들의 각각에 연관되는 확률이다.
시스템 발화(402d)에 연관되는 출력(465)을 생성하기 위해, 시스템 발화(402d)는 각각의 라벨에 관해 프로세싱된다. 예를 들어, 첫 번째 반복 동안, 시스템 발화(402d)는 X 라벨에 관해 글로벌 BiLSTM 네트워크(410e) 및 로컬 BiLSTM 네트워크(420e)에 의해 프로세싱된다. 출력의 가중된 혼합물이 글로벌 주의(430e) 및 로컬 주의(440e)에 의해 프로세싱된다. 해당 출력의 가중된 혼합물은 그 다음에 스코어러(scorer)(460)에 입력된다. 스코어러(460)는 X 라벨에 연관되는 확률인 제1 출력(465)을 생성하기 위해 가중되고 정규화된 두 개의 점수들을 생성한다. X 라벨에 연관되는 확률을 생성한 후, 시스템 발화(402d)가 T 라벨에 관해 글로벌 BiLSTM 네트워크(410e) 및 로컬 BiLSTM 네트워크(420e)에 의해 프로세싱되도록 두 번째 반복은 시작한다. T 라벨에 연관되는 확률에 대응하는 제2 출력(465)이 생성된다. X 및 T 라벨들에 연관되는 확률을 생성한 후, 시스템 발화(402d)가 O 라벨에 관해 글로벌 BiLSTM 네트워크(410e) 및 로컬 BiLSTM 네트워크(420e)에 의해 프로세싱되도록 세 번째 반복이 시작한다. O 라벨에 연관되는 확률에 대응하는 제3 출력(465)이 생성된다. 최고 확률을 갖는 라벨은 선택되고 사용자 발화(402c) 및 시스템 발화(402d)에 할당된다. 그 후 사용자 발화(402c) 및 시스템 발화(402d)는 라인(401) 위로 이동되고 새로운 대화 쌍이 라인(401) 아래에 위치된다.
스코어러(460)는 기억 점수(462)와 발화 점수(464)를 포함한다. 기억 점수(462)는 시스템 발화(402d) 및 현재 라벨(이는 특정 로컬 BiLSTM 네트워크(420e)에 기초함)에 연관되는 가중된 혼합물(445d)을 고려하여, 컨텍스트(455)(이는 전체 주의(450)에 의해 생성된 글로벌 컨텍스트를 포함함)에 주목한다. 예를 들어, 기억 점수(462)는, 발화들의 이력이 주어지면, 특정 라벨의 확률을 나타내는 라벨에 대한 점수를 생성한다.
발화 점수(464)는 사용자 발화(402c)의 가중된 혼합물(425c) 및 라벨(이는 특정 로컬 BiLSTM 네트워크(420e)에 기초함)을 고려하여 (시스템 발화(402d)의 가중된 혼합물(425d)에 기초하여) 현재 시스템 발화(402d)에 주목한다. 예를 들어, 발화 점수(464)는 현재 라벨이 사용자 발화(402c)에 기초하여 현재 발화에 대응하는 확률을 나타내는 라벨에 대한 점수를 생성한다.
기억 점수(462) 및 발화 점수(464)가 생성된 후 스코어러(460)는 기억 점수(462) 및 발화 점수(464)의 가중된 합에 기초하여 출력(465)을 생성한다. 기억 점수(462) 및 발화 점수(464)의 가중된 합은 입력 라벨에 연관되는 확률을 추정하기 위해 시그모이드 함수(sigmoid function)에 의해 정규화될 수 있다. 최고 확률을 갖는 라벨은 사용자 발화(402c) 및 시스템 발화(402d)에 할당된다.
수학식 (1)은 가중된 혼합물(425), 가중된 혼합물(445), 그리고 기억 점수(462) 및 발화 점수(464)의 가중된 합을 생성하는 것을 설명한다. 수학식 (1)에 도시된 바와 같이 가중값들은 아키텍처(400a)의 다양한 엘리먼트들의 출력들에 적용되는 변수들이다. 가중된 혼합물(425)에 적용되는 가중값들은 가중된 혼합물(445)에 적용되는 가중값들과는 상이할 수 있다는 것에 주의한다. 수학식 (1)의 표현(G)은 글로벌 BiLSTM 네트워크(410)의 출력, 글로벌 주의(430)의 출력, 또는 기억 점수(462)의 출력에 해당한다. 수학식 (1)의 표현(L)은 로컬 BiLSTM 네트워크(420)의 출력, 로컬 주의(440)의 출력, 또는 발화 점수(464)의 출력에 해당한다. 수학식 1:
가중된 혼합=W1G+ W2L (1)
가중된 혼합물(425), 가중된 혼합물(445), 그리고 기억 점수(462) 및 발화 점수(464)의 가중된 합을 생성할 때 가중값들은 변경될 수 있다. 가중값들은 미리 결정된다. 특정 실시예들에서, 가중값들은 대화의 전체에 걸쳐 일정하다. 특정 실시예들에서, 가중값들은 더 많은 발화들이 발생함에 따라, 가중값들이 변할 수 있도록 대화 중에 변할 수 있다. 예를 들어, 발화들의 수에 기초하여, 가중된 혼합물(425a) 동안 적용되는 가중값들은 가중된 혼합물(425d) 동안 적용되는 가중값들과는 상이할 수 있다. 이전 발화들이 없을 때, 로컬 BiLSTM 네트워크(420a)보다 글로벌 BiLSTM 네트워크(410a)에 더 중점을 둘 수 있다. 가중된 혼합물(425d)과는 대조적으로 이전 발화들이 있고 이와 같이 글로벌 BiLSTM 네트워크(410d)보다 로컬 BiLSTM 네트워크(420d)에 더 많은 중점을 둘 수 있다. 마찬가지로, 발화들의 수에 기초하여 기억 점수(462)보다 발화 점수(464)에 더 많은 가중값이 적용될 수 있다. 발화들의 수가 증가함에 따라, 가중값은 시프트될 수 있고 발화 점수(464)보다 기억 점수(462)에 더 많은 가중값이 적용된다.
각각의 라벨에 연관되는 확률을 생성한 후, 최고 확률을 갖는 라벨은 대화 쌍에 할당된다. 라벨이 단절이 없음을 나타내면(라벨 O), 해당 대화 쌍은 라인(401) 위로 이동한다. 라벨이 가능한 단절이 있음을 나타내면(라벨 T), 해당 대화 쌍은 라인(401) 위로 이동한다. 라벨이 단절이 있음을 나타내면(라벨 X), 해당 대화 쌍은 라인(401) 위로 이동한다. 덧붙여, 또는 대안적으로, 단절이 있음을 라벨이 나타내면(라벨 X), 대화 단절 검출 시스템(316)은 대화 단절 복구부(314)를 통해 새로운 답신을 생성할 것을 대화 관리 시스템(308)에 통지하거나, 또는 대화 통지 생성기(318)에 통지하거나, 또는 둘 다에 통지한다.
도 4b 내지 도 4g는 전체 주의(450)(이는 미래 대화 쌍들에 관한 라벨의 확률을 생성할 때 사용되는 컨텍스트(455)를 식별합니다.)로의 입력으로서, 상이한 라벨들을 갖는 다양한 대화 쌍들을 사용하는 예를 설명한다. 도 4b 및 도 4c는 각각 환경(400b 및 400c)을 예시하고, 단절이 있음을 나타내는 라벨 X가 할당되었던 대화 쌍(404a)을 설명한다. 도 4d 및 도 4e는 각각 환경(400d 및 400e)을 예시하고, 단절의 가능성이 있음을 나타내는 라벨 T가 할당되었던 대화 쌍(404b)을 설명한다. 도 4f 및 도 4g는 각각 환경(400f 및 400g)을 예시하고, 단절이 없음을 나타내는 라벨 O가 할당되었던 대화 쌍(404c)을 설명한다.
도 4b 및 도 4c의 대화 쌍(404a)은 "TELL ME ABOUT PICNICS(소풍에 관해 나에게 말해보세요)"라는 사용자 발화와"TODAY IS MONDAY(오늘은 월요일)"이라는 시스템 답신을 포함할 수 있다. 시스템의 의해 생성된 답신이 사용자의 문의에 응답하지 않기 때문에 대화 단절이 발생했다. 대화 쌍(404a)의 사용자 발화는 사용자 임베딩(406a)을 사용하여 임베딩된다. X 라벨에 대응하는 글로벌 BiLSTM 네트워크(410) 및 로컬 BiLSTM 네트워크(422)는 사용자 발화의 임베딩을 프로세싱한다. 가중된 혼합물(425)은 글로벌 BiLSTM 네트워크(410)의 출력 및 로컬 BiLSTM 네트워크(422)의 출력의 가중된 합을 생성한다. 글로벌 주의(430) 및 로컬 주의(440)는 핵심 단어들을 식별한다. 가중된 혼합물(445)은 글로벌 주의(430)의 출력 및 로컬 주의(440)의 출력의 가중된 합을 생성한다. 대화 쌍(404a)의 사용자 발화에 기초한 가중된 혼합물은 전체 주의(450)에 제공된다.
마찬가지로, 대화 쌍(404a)의 시스템 발화는 시스템 임베딩(406b)을 사용하여 임베딩된다. X 라벨에 대응하는 글로벌 BiLSTM 네트워크(410) 및 로컬 BiLSTM 네트워크(422)는 사용자 발화의 임베딩을 프로세싱한다. 가중된 혼합물(425)은 글로벌 BiLSTM 네트워크(410)의 출력 및 로컬 BiLSTM 네트워크(422)의 출력의 가중된 합을 생성한다. 글로벌 주의(430) 및 로컬 주의(440)는 핵심 단어들을 식별한다. 가중된 혼합물(445)은 글로벌 주의(430)의 출력 및 로컬 주의(440)의 출력의 가중된 합을 생성한다. 대화 쌍(404a)의 시스템 발화에 기초한 가중된 혼합물은 전체 주의(450)에 제공된다.
도 4d 및 도 4d의 대화 쌍(404b)은 "TELL ME ABOUT PICNICS"라는 사용자 발화와"SURE, WHERE WOULD YOU LIKE TO GO(물론이죠, 어디로 가시겠어요)?"라는 시스템 답신을 포함할 수 있다. 대화 단절이 발생할 수 있는데 시스템의 답신이 사용자의 문의를 직접 다루지도 않고 시스템의 답신이 사용자의 문의에 응답하지 않기 때문이다. 이와 같이, 라벨 T에 의해 나타내어진 바와 같이, 단절의 가능성이 대화 쌍(404b)에서 발생했다.
대화 쌍(404b)의 사용자 발화는 사용자 임베딩(406a)을 사용하여 임베딩된다. T 라벨에 대응하는 글로벌 BiLSTM 네트워크(410) 및 로컬 BiLSTM 네트워크(422)는 사용자 발화의 임베딩을 프로세싱한다. 가중된 혼합물(425)은 글로벌 BiLSTM 네트워크(410)의 출력 및 로컬 BiLSTM 네트워크(422)의 출력의 가중된 합을 생성한다. 글로벌 주의(430) 및 로컬 주의(440)는 핵심 단어들을 식별한다. 가중된 혼합물(445)은 글로벌 주의(430)의 출력 및 로컬 주의(440)의 출력의 가중된 합을 생성한다. 대화 쌍(404b)의 사용자 발화에 기초한 가중된 혼합물이 전체 주의(450)에 제공된다.
마찬가지로, 대화 쌍(404b)의 시스템 발화는 시스템 임베딩(406b)을 사용하여 임베딩된다. T 라벨에 대응하는 글로벌 BiLSTM 네트워크(410) 및 로컬 BiLSTM 네트워크(422)는 사용자 발화의 임베딩을 프로세싱한다. 가중된 혼합물(425)은 글로벌 BiLSTM 네트워크(410)의 출력 및 로컬 BiLSTM 네트워크(422)의 출력의 가중된 합을 생성한다. 글로벌 주의(430) 및 로컬 주의(440)는 핵심 단어들을 식별한다. 가중된 혼합물(445)은 글로벌 주의(430)의 출력 및 로컬 주의(440)의 출력의 가중된 합을 생성한다. 대화 쌍(404b)의 시스템 발화에 기초한 가중된 혼합물이 전체 주의(450)에 제공된다.
도 4f 및 도 4g의 대화 쌍(404c)은 "TELL ME ABOUT PICNICS"이라는 사용자 발화와 "PICNICS ARE FUN WHEN YOU GO WITH FRIENDS OR FAMILY. WOULD YOU LIKE TO KNOW THE TOP PICNIC LOCATIONS IN YOUR AREA(소풍은 친구나 가족과 함께 갈 때 재미 있어요. 당신 지역의 최고 소풍 위치를 알고 싶으세요?)"라는 시스템 답신을 포함할 수 있다. 시스템이 사용자의 문의에 직접 응답했을 때 대화 단절이 발생하지 않았다. 이와 같이, 라벨 O에 의해 나타내어진 바와 같이, 단절이 대화 쌍(404c)에서 발생하지 않았다.
대화 쌍(404c)의 사용자 발화는 사용자 임베딩(406a)을 사용하여 임베딩된다. O 라벨에 대응하는 글로벌 BiLSTM 네트워크(410) 및 로컬 BiLSTM 네트워크(422)는 사용자 발화의 임베딩을 프로세싱한다. 가중된 혼합물(425)은 글로벌 BiLSTM 네트워크(410)의 출력 및 로컬 BiLSTM 네트워크(422)의 출력의 가중된 합을 생성한다. 글로벌 주의(430) 및 로컬 주의(440)는 핵심 단어들을 식별한다. 가중된 혼합물(445)은 글로벌 주의(430)의 출력 및 로컬 주의(440)의 출력의 가중된 합을 생성한다. 대화 쌍(404c)의 사용자 발화에 기초한 가중된 혼합물이 전체 주의(450)에 제공된다.
마찬가지로, 대화 쌍(404c)의 시스템 발화는 시스템 임베딩(406b)을 사용하여 임베딩된다. O 라벨에 대응하는 글로벌 BiLSTM 네트워크(410) 및 로컬 BiLSTM 네트워크(422)는 시스템 발화의 임베딩을 프로세싱한다. 가중된 혼합물(425)은 글로벌 BiLSTM 네트워크(410)의 출력 및 로컬 BiLSTM 네트워크(422)의 출력의 가중된 합을 생성한다. 글로벌 주의(430) 및 로컬 주의(440)는 핵심 단어들을 식별한다. 가중된 혼합물(445)은 글로벌 주의(430)의 출력 및 로컬 주의(440)의 출력의 가중된 합을 생성한다. 대화 쌍(404c)의 시스템 발화에 기초한 가중된 혼합물이 전체 주의(450)에 제공된다.
도 4h는 이전에 획득되었던 다수의 가중된 혼합물들을 사용하여 전체 주의(450)를 수행하는 프로세스를 예시한다. 예를 들어, 도 4a의 가중된 혼합물(445a)은 제1 사용자 발화로부터 가중된 혼합물에 대응한다. 도 4a의 가중된 혼합물(445b)은 제1 시스템 발화로부터 가중된 혼합물에 대응한다. 도 4a의 가중된 혼합물(445c)은 제2 사용자 발화로부터 가중된 혼합물에 대응한다. 전체 주의(450)는 다수의 가중된 혼합물들로부터 컨텍스트(455)를 식별한다. 일단 아키텍처(400a)가 시스템 발화(402d)에 대한 라벨을 식별하고 새로운 대화 쌍이 획득되면, 시스템 발화(402d) 및 할당된 라벨에 대응하는 가중된 혼합물은 전체 주의(450)로의 추가 입력이 될 것이다.
도 4a 내지 도 4h가 아키텍처(400a)의 하나의 예를 도시하지만, 다양한 변경들이 도 4a 내지 도 4h에 대해 이루어질 수 있다. 예를 들어, 아키텍처(400a)는 세 개를 초과하는 라벨들을 포함할 수 있다. 다른 예를 들어, 아키텍처(400a)는 세 개 미만의 라벨들을 포함할 수 있다. 또한, 아키텍처(400a)를 사용하여 수행되는 태스크들은 전자 디바이스(201)의 대화 단절 검출 시스템(316)에 포함될 수 있거나, 또는 원격 디바이스, 이를테면 서버(206) 상에 위치될 수 있다.
도 5는 본 개시의 일 실시예에 따라 로컬 및 글로벌 컨텍스트 간을 구별하는 예시적인 대화(500)를 도시한다. 대화(500)는, 예를 들어, 도 4a의 아키텍처(400a)에서 사용되는 발화 세트를 나타낼 수 있다.
대화(500)는 글로벌 컨텍스트(510)와 로컬 컨텍스트(520)를 포함한다. 글로벌 컨텍스트(510)는 다수의 발화들에 대응하는 한편 로컬 컨텍스트(520)는 특정 발화에 대응한다. 예를 들어, 로컬 컨텍스트(520)는 "다음은 날짜별로 정렬된 케빈에게서 온 문서들입니다."
글로벌 컨텍스트(510)는 고정되거나 또는 윈도우의 사이즈에 기초하여 변경 가능할 수 있다. 예를 들어, 발화들의 양이 시스템에 의해 생성되거나 또는 사용자를 통해 수신되는 각각의 새로운 발화와 함께 증가함에 따라 글로벌 컨텍스트의 사이즈는 계속 증가한다. 글로벌 컨텍스트(510)는 고정되고 특정한 수의 발화, 이를테면 여섯 개의 발화들을 포함할 수 있다. 예를 들어, 새로운 발화가 사용자로부터 획득되면, "홈 디렉터리들을 나에게 보여줘"라는 초기 사용자 발화는 글로벌 컨텍스트로부터 제거될 것이다. 위에서 논의된 바와 같이 윈도우의 사이즈는 대화의 식별된 도메인에 기초하여 변경될 수 있다. 특정 실시예들에서, 윈도우의 사이즈가 그 도메인에 기초하고 그 도메인이 대화 중에 변경되어, 윈도우의 사이즈가 변경되게 하면, 글로벌 컨텍스트의 사이즈는 그에 따라 변경될 것이다.
도 5가 대화의 하나의 예를 도시하지만, 다양한 변경들이 도 6에 대해 이루어질 수 있다. 예를 들어, 대화(500)는 단절을 포함할 수 있다. 다른 예를 들어 대화(500)는 더 크거나 또는 더 작은 글로벌 컨텍스트(510)를 포함할 수 있다.
도 6은 본 개시에 따라 그래프(600)를 예시한다. 도 6이 하나의 예시적인 그래프를 도시하지만, 다양한 변경들이 도 6에 대해 이루어질 수 있다.
그래프(600)는 대화의 글로벌 및 로컬 컨텍스트 둘 다를 사용하는 도 3의 대화 단절 검출 시스템(316)의 구현예를 두 개의 다른 단절 검출 시스템들과 비교한다. 그래프(600)는 턴(turn) 수를 메트릭 값에 관련시킨다. 턴 수는 대화 내의 발화들의 수에 해당한다. 라인(610)은 턴 수에 대한 제1 단절 검출 방법(Recall이라 표시됨)의 성공률을 식별하며, 라인(620)은 턴 수에 대한 제2 단절 검출 방법(F-Method이라 표시됨)의 성공률을 식별하고, 라인(630)은 턴 수에 대한 (아키텍처(400a)에서 설명된 바와 같이 글로벌 로컬 컨텍스트를 사용한) 개시된 단절 검출 방법의 성공률을 식별한다. 예시된 바와 같이 라인(630)은, 글로벌 로컬 컨텍스트가, 도 4a에 기술된 바와 같이, 다른 컨텍스트 기반 단절 검출 모델들을 능가한다는 것을 나타내는 각각의 새로운 발화에서 최고 메트릭 값을 갖는다.
도 7은 본 개시의 일 실시예에 따라 대화 단절 검출을 위한 예시적인 방법(700)을 도시한다. 그 방법(700)은 도 1의 서버(104) 또는 클라이언트 디바이스들(106~114) 중 임의의 것, 도 2의 전자 디바이스(201) 또는 서버(206), 또는 임의의 다른 적합한 디바이스 또는 시스템에 의해 수행될 수 있다. 설명의 편의를 위해, 방법(700)은 도 3의 자연어 프로세싱 시스템(300)과 도 4의 아키텍처(400a)를 포함하는 전자 디바이스(201)에 의해 수행되고 있는 것으로서 설명된다. 그러나, 그 방법(700)은 임의의 다른 적합한 시스템과 함께 사용될 수 있다.
블록 702에서, 전자 디바이스(201)는 입력을 획득한다. 특정 실시예들에서, 그 입력은 오디오 센서(295), 예를 들어 도 4a의 사용자 발화(402a 및 402c)를 통해 획득되는 구두 입력이다. 그 입력은 전자 디바이스가 키보드를 통해 타이핑된 발화를 수신하도록 하는 텍스트 입력일 수 있다. 그 입력은 전자 디바이스(201)가 정보를 제공하거나 또는 특정 태스크를 수행할 것을 요청할 수 있다.
블록 704에서, 전자 디바이스(201)는 입력에 대한 답신을 생성한다. 그 답신은 입력, 예를 들어 도 4a의 시스템 발화(402b 및 402n)에 응답한다. 그 답신은 요청된 정보를 제공하며, 태스크가 완료됨을 확인하거나, 또는 부정확한 응답을 제공한다. 부정확한 응답은 대화 단절에 대응한다.
블록 706에서, 전자 디바이스(201)는 로컬 컨텍스트와 글로벌 컨텍스트를 식별한다. 로컬 컨텍스트는 입력에 기초하는 반면, 글로벌 컨텍스트는 입력, 전자 디바이스(201)에 의해 이전에 수신되었던 추가 입력들, 및 추가 입력들에 응답하여 이전에 생성되었던 추가 답신들에 기초한다. 로컬 및 글로벌 컨텍스트를 식별하기 위해, 전자 디바이스는 LSTM 신경망을 사용하여 입력 및 답신을 개별적으로 인코딩한다. 특정 실시예들에서, LSTM 신경망은 BiLSTM 신경망이다. LSTM 신경망은 입력을 나타내는 벡터를 생성한다.
입력 및 답신은 글로벌 LSTM 네트워크 및 로컬 LSTM 네트워크에 관해 개별적으로 인코딩되고 프로세싱된다. 글로벌 LSTM 네트워크는 이전 발화들(이용 가능하다면임)과 입력을 프로세싱한다. 글로벌 LSTM 네트워크는 또한 이전 발화들(이용 가능하다면임)과 답신을 프로세싱한다. 로컬 LSTM 네트워크는 특정 라벨에 관해 입력 및 답신을 각각 프로세싱한다. 예를 들어, 라벨이 입력 또는 답신에 할당되면, 특정 로컬 LSTM 네트워크는 발화(이를테면 입력 또는 답신)의 키워드들을 그 발화에 할당된 라벨에 기초하여 식별하도록 훈련된다. 라벨이 입력 또는 답신에 할당되지 않으면, 로컬 LSTM 네트워크들의 모두는 상이한 라벨들 프로세스 발화에 관해 훈련된다.
전자 디바이스(201)는 글로벌 LSTM 네트워크 및 로컬 LSTM 네트워크의 가중된 혼합물을 생성한다. 글로벌 LSTM 네트워크 및 로컬 LSTM 네트워크의 가중된 혼합물은 글로벌 주의 및 로컬 주의에 입력된다. 전자 디바이스(201)는 글로벌 주의 및 로컬 주의의 가중된 혼합물을 생성한다.
라벨이 발화에 할당될 때, 글로벌 주의 및 로컬 주의의 가중된 혼합물은 전체 주의에 입력된다. 전체 주의는 로컬 컨텍스트 및 글로벌 컨텍스트를 식별하기 위해 이전 발화들에 연관되는 하나 이상의 추가적인 가중된 혼합물들을 결합한다. 로컬 컨텍스트는 구두 입력 내의 포커싱된 키워드들에 기초하고 글로벌 컨텍스트는 구두 입력, 답신, 추가 구두 입력들, 및 이전 답신들 내의 반복된 키워드들 및 상호 컨텍스트 정보에 기초한다. 로컬 및 글로벌 컨텍스트들은 미래 발화들의 라벨들에 연관되는 확률들을 생성하는데 사용되어서, 라벨은 미래 발화에 대해 선택되고 할당될 수 있다. 라벨이 발화에 할당되지 않을 때, 전자 디바이스는 가능한 라벨들에 연관되는 확률들을 생성한다. 확률들은 기억 점수 및 발화 점수에 기초한다. 기억 점수는 전체 주의에 의해 생성된 컨텍스트에 기초하여 생성되는 반면 발화 점수는 입력 및 답신에 기초하여 생성된다.
대안으로, 단계 708에서, 전자 디바이스(201)는 답신에 할당된 라벨이 단절이 발생했음을 나타낼 때 대화 단절을 식별한다. 특정 실시예들에서, 단절이 발생할 때, 전자 디바이스(201)는 대화 단절이 발생했음을 나타내는 통지를 생성한다. 그 통지는 사운드 통지, 디스플레이된 통지, 또는 둘 다이다. 특정 실시예들에서, 단절이 발생할 때, 전자 디바이스(201)는 대화 단절로부터 복구한다. 특정 실시예들에서, 복구는 답신이 사용자에게 제공되기 전에 발생할 수 있다.
블록 710에서, 전자 디바이스(201)는 대화 단절이 식별되지 않을 때 스피커를 통해 답신에 대응하는 사운드를 생성한다. 답신이 로컬 컨텍스트 및 글로벌 컨텍스트에 대응한다고 결정하는 것에 응답하여, 대화 단절은 식별되지 않을 것이다. 예를 들어, 전자 디바이스(201)는 시스템 답신에 할당된 라벨이 단절이 없음을 나타내지 않을 때 사용자에게 답신한다.
도 7이 요청을 실행 엔진에 제공하기 위한 방법(700)의 하나의 예를 도시하지만, 다양한 변경들이 도 7에 대해 이루어질 수 있다. 예를 들어, 일련의 단계들로서 도시되지만, 도 7에서의 다양한 단계들은 중첩되거나, 병행하여 발생하거나, 또는 임의의 횟수로 발생할 수 있다.
도면들이 사용자 장비의 상이한 예들을 도시하지만, 다양한 변경들이 도면들에 이루어질 수 있다. 예를 들어, 사용자 장비는 임의의 수의 각각의 컴포넌트를 임의의 적합한 배열로 포함할 수 있다. 일반적으로, 도면들은 본 개시의 범위를 임의의 특정 구성(들)으로 제한하지 않는다. 더구나, 도면들이 이 특허 문서에서 개시되는 다양한 사용자 장비 특징부들이 사용될 수 있는 운영 환경들을 예시하지만, 이들 특징부들은 임의의 다른 적합한 시스템에서 사용될 수 있다.
본 개시의 설명의 어느 것도 임의의 특정 엘리먼트, 단계, 또는 기능이 청구 범위에 포함되어야만 하는 필수 요소임을 암시하는 것으로서 해석되지 않아야 한다. 특허받고자 하는 요지의 범위는 청구항들에 의해서만 정의된다. 청구항 내의 "메커니즘", "모듈", "디바이스", "유닛", "컴포넌트", "엘리먼트", "멤버", "장치", "머신", "시스템", "프로세서", 또는 "제어기"를 비제한적으로 포함하는 임의의 다른 용어의 사용은 관련 기술분야의 통상의 기술자에게 알려진 구조들을 언급하는 것으로 출원인에 의해 이해된다.
비록 본 개시가 예시적인 실시예로 설명되었지만, 다양한 변경들 및 수정들이 본 기술분야의 통상의 기술자에게 제안될 수 있다. 본 개시는 첨부의 청구항들의 범위 내에 속하는 이러한 변경들 및 수정들을 포함하는 것으로 의도된다.

Claims (15)

  1. 오디오 센서로부터 구두 입력을 획득하는 단계;
    프로세서에 의해, 상기 구두 입력에 대한 답신을 생성하는 단계;
    상기 프로세서에 의해, 상기 구두 입력으로부터 로컬 컨텍스트와 상기 구두 입력으로부터 글로벌 컨텍스트, 상기 오디오 센서에 의해 이전에 수신된 추가 구두 입력들, 및 상기 추가 구두 입력들에 응답하여 생성된 이전의 답신들을 식별하는 단계;
    상기 프로세서에 의해, 상기 답신이 상기 로컬 컨텍스트 및 상기 글로벌 컨텍스트에 대응하지 않는다고 결정하는 것에 응답하여 대화 단절을 식별하는 단계; 및
    상기 대화 단절이 식별되지 않을 때 스피커를 통해 상기 답신에 대응하는 사운드를 생성하는 단계;를 포함하는 방법.
  2. 제1항에 있어서,
    상기 프로세서에 의해, 상기 대화 단절을 식별하는 것에 응답하여 상기 대화 단절이 발생했음을 나타내는 통지를 생성하는 단계를 더 포함하고,
    상기 통지는 상기 스피커에 의해 생성된 사운드 통지 및 디스플레이에 출력되는 시각적 통지 중 적어도 하나를 포함하는, 방법.
  3. 제1항에 있어서,
    상기 프로세서에 의해, 상기 대화 단절의 식별에 응답하여 상기 로컬 컨텍스트 및 상기 글로벌 컨텍스트에 기초하여 상기 대화 단절로부터 복구하는 단계를 더 포함하는, 방법.
  4. 제3항에 있어서, 상기 대화 단절로부터 복구하는 단계는,
    상기 프로세서에 의해, 자동 음성 인식에 연관되는 제1 신뢰 점수, 자연어 이해에 연관되는 제2 신뢰 점수, 및 상기 구두 입력에 연관되는 제3 신뢰 점수 중 적어도 하나를 식별하는 단계;
    상기 프로세서에 의해, 상태에 연관되는 상기 컨텍스트가 상기 로컬 컨텍스트 및 글로벌 컨텍스트에 상응함을 검증하는 것과, 상기 제1 신뢰 점수, 상기 제2 신뢰 점수, 및 상기 제3 신뢰 점수 중 적어도 하나에 기초하여, 상기 상태에 연관되는 컨텍스트를 식별하는 단계; 및
    상기 프로세서에 의해, 상기 상태에 연관되는 상기 컨텍스트에 기초하여 수정된 답신을 생성하는 단계를 포함하고,
    상기 상태는 슬롯, 키워드, 문장, 및 상기 구두 입력 중에서 적어도 하나를 포함하는, 방법.
  5. 제1항에 있어서,
    상기 구두 입력, 상기 이전의 답신들, 및 상기 추가 구두 입력들 사이의 시간적 관계들을 식별하기 위해 LSTM(Long Short Term Memory) 네트워크를 사용하여 상기 구두 입력을 인코딩하는 단계;
    상기 구두 입력 내의 포커싱된 키워드들로부터 상기 로컬 컨텍스트를 식별하는 단계; 및
    상기 구두 입력, 상기 이전의 답신, 상기 추가 구두 입력들, 및 상기 이전의 답신들 내에서 반복된 키워드들 및 상호 컨텍스트 정보로부터 상기 글로벌 컨텍스트를 식별하는 단계를 더 포함하는, 방법.
  6. 제5항에 있어서, 상기 글로벌 컨텍스트를 식별하는 단계는 고정 윈도우 사이즈 또는 가변 윈도우 사이즈 중 적어도 하나인 윈도우 사이즈에 기초하여 상기 추가 구두 입력들 및 상기 이전의 답신들의 양을 식별하는 단계를 포함하는, 방법.
  7. 제1항에 있어서, 상기 대화 단절을 식별하는 단계는,
    제1 라벨에 연관되는 기억 점수를 생성하는 단계로서, 상기 기억 점수는 상기 제1 라벨이 상기 답신 및 상기 글로벌 컨텍스트에 대응할 확률을 나타내는, 상기 기억 점수를 생성하는 단계;
    상기 제1 라벨에 연관되는 발화 점수를 생성하는 단계로서, 상기 발화 점수는 상기 답신이 상기 구두 입력에 대응할 확률을 나타내는, 상기 발화 점수를 생성하는 단계;
    가중된 기억 점수 및 가중된 발화 점수를 각각 생성하기 위해 상기 기억 점수에 제1 가중값을 그리고 상기 발화 점수에 제2 가중값을 할당하는 단계;
    상기 가중된 기억 점수 및 상기 가중된 발화 점수를 결합하는 것에 기초하여 가중된 점수를 생성하는 단계로서, 상기 가중된 점수는 상기 제1 라벨에 연관되는, 상기 가중된 점수를 생성하는 단계; 및
    상기 가중된 점수를 각각의 라벨들에 연관되는 이전의 가중된 점수들과 비교하는 단계를 포함하고,
    상기 대화 단절은 제1 라벨이 대화 단절에 연관되고 가중된 점수가 이전의 가중된 점수들보다 클 때 식별되는, 방법.
  8. 오디오 센서;
    사운드를 생성하도록 구성된 스피커; 및
    상기 오디오 센서 및 상기 스피커에 작동 가능하게 커플링된 프로세서;
    상기 프로세서에 작동 가능하게 커플링된 메모리;로서, 상기 프로세서에 의해 실행 가능한 명령들을 포함하는 상기 메모리;를 포함하고, 상기 명령들은,
    상기 오디오 센서로부터 구두 입력을 획득하고,
    상기 구두 입력에 대한 답신을 생성하고,
    상기 구두 입력으로부터 로컬 컨텍스트와 상기 구두 입력으로부터 글로벌 컨텍스트, 상기 오디오 센서에 의해 이전에 수신된 추가 구두 입력들, 및 상기 추가 구두 입력들에 응답하여 생성된 이전의 답신들을 식별하고,
    상기 답신이 상기 로컬 컨텍스트 및 상기 글로벌 컨텍스트에 대응하지 않는다고 결정하는 것에 응답하여 대화 단절을 식별하고,
    상기 대화 단절이 식별되지 않을 때 상기 스피커를 통해 상기 답신에 대응하는 사운드를 생성하는, 전자 디바이스.
  9. 제8항에 있어서,
    상기 전자 디바이스는 디스플레이를 더 포함하고,
    상기 메모리는 상기 대화 단절을 식별하는 것에 응답하여 상기 대화 단절이 발생했음을 나타내는 통지를 생성하기 위한 명령들을 더 포함하며, 상기 통지는 상기 스피커에 의해 생성된 사운드 통지 및 상기 디스플레이에 출력되는 시각적 통지 중 적어도 하나를 포함하는, 전자 디바이스.
  10. 제8항에 있어서, 상기 메모리는 상기 대화 단절의 식별에 응답하여 상기 로컬 컨텍스트 및 상기 글로벌 컨텍스트에 기초하여 상기 대화 단절로부터 복구하기 위한 명령들을 더 포함하는, 전자 디바이스.
  11. 제10항에 있어서, 상기 대화 단절로부터 복구하기 위해, 상기 메모리는,
    자동 음성 인식에 연관되는 제1 신뢰 점수, 자연어 이해에 연관되는 제2 신뢰 점수, 및 상기 구두 입력에 연관되는 제3 신뢰 점수 중 적어도 하나를 식별하고,
    상태에 연관되는 상기 컨텍스트가 상기 로컬 컨텍스트 및 글로벌 컨텍스트에 상응함을 검증하는 것과, 상기 제1 신뢰 점수, 상기 제2 신뢰 점수, 및 상기 제3 신뢰 점수 중 적어도 하나에 기초하여 상기 상태에 연관되는 컨텍스트를 식별하고,
    상기 상태에 연관되는 상기 컨텍스트에 기초하여 수정된 답신을 생성하기 위한 명령들을 포함하고,
    상기 상태는 슬롯, 키워드, 문장, 및 상기 구두 입력 중에서 적어도 하나를 포함하는, 전자 디바이스.
  12. 제8항에 있어서, 상기 로컬 컨텍스트 및 상기 글로벌 컨텍스트를 식별하기 위해, 상기 메모리는,
    상기 구두 입력, 상기 이전의 답신들, 및 상기 추가 구두 입력들 사이의 시간적 관계들을 식별하기 위해 LSTM(Long Short Term Memory) 네트워크를 사용하여 상기 구두 입력을 인코딩하고,
    상기 구두 입력 내의 포커싱된 키워드들로부터 상기 로컬 컨텍스트를 식별하고,
    상기 구두 입력, 상기 답신, 상기 추가 구두 입력들, 및 상기 이전의 답신들 내에서 반복된 키워드들 및 상호 컨텍스트 정보로부터 상기 글로벌 컨텍스트를 식별하기 위한 명령들을 포함하는, 전자 디바이스.
  13. 제12항에 있어서, 상기 글로벌 컨텍스트를 식별하기 위해, 상기 메모리는 고정 윈도우 사이즈 또는 가변 윈도우 사이즈 중 적어도 하나인 윈도우 사이즈에 기초하여 상기 추가 구두 입력들 및 상기 이전의 답신들의 양을 식별하기 위한 명령들을 포함하는, 전자 디바이스.
  14. 제8항에 있어서, 상기 대화 단절을 식별하기 위해, 상기 메모리는,
    제1 라벨에 연관되는 기억 점수를 생성하고, 상기 기억 점수는 상기 제1 라벨이 상기 답신 및 상기 글로벌 컨텍스트에 대응할 확률을 나타내고,
    상기 제1 라벨에 연관되는 발화 점수를 생성하고, 상기 발화 점수는 상기 답신이 상기 구두 입력에 대응할 확률을 나타내고,
    가중된 기억 점수 및 가중된 발화 점수를 각각 생성하기 위해 상기 기억 점수에 제1 가중값을 그리고 상기 발화 점수에 제2 가중값을 할당하고,
    상기 가중된 기억 점수 및 상기 가중된 발화 점수를 결합하는 것에 기초하여 가중된 점수를 생성하고, 상기 가중된 점수는 상기 제1 라벨에 연관되고,
    상기 가중된 점수를 각각의 라벨들에 연관되는 이전의 가중된 점수들과 비교하는 것을 위한 명령들을 포함하며,
    상기 대화 단절은 제1 라벨이 대화 단절에 연관되고 가중된 점수가 이전의 가중된 점수들보다 클 때 식별되는, 전자 디바이스.
  15. 실행될 때 전자 디바이스의 적어도 하나의 프로세서로 하여금 제1항 내지 제7항 중 어느 한 항의 방법을 수행하게 하는 명령들을 포함하는 컴퓨터 판독가능 매체.
KR1020217032014A 2019-04-05 2020-04-03 대화 단절 검출을 위한 글로벌 및 로컬 인코딩을 갖는 컨텍스트 풍부 주의 기억 네트워크를 위한 시스템 및 방법 KR20210137118A (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201962830337P 2019-04-05 2019-04-05
US62/830,337 2019-04-05
US201962886147P 2019-08-13 2019-08-13
US62/886,147 2019-08-13
US16/826,713 2020-03-23
US16/826,713 US11580970B2 (en) 2019-04-05 2020-03-23 System and method for context-enriched attentive memory network with global and local encoding for dialogue breakdown detection
PCT/KR2020/004575 WO2020204655A1 (en) 2019-04-05 2020-04-03 System and method for context-enriched attentive memory network with global and local encoding for dialogue breakdown detection

Publications (1)

Publication Number Publication Date
KR20210137118A true KR20210137118A (ko) 2021-11-17

Family

ID=72661688

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217032014A KR20210137118A (ko) 2019-04-05 2020-04-03 대화 단절 검출을 위한 글로벌 및 로컬 인코딩을 갖는 컨텍스트 풍부 주의 기억 네트워크를 위한 시스템 및 방법

Country Status (5)

Country Link
US (1) US11580970B2 (ko)
EP (1) EP3915039A4 (ko)
KR (1) KR20210137118A (ko)
CN (1) CN113678133A (ko)
WO (1) WO2020204655A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11544456B2 (en) * 2020-03-05 2023-01-03 Adobe Inc. Interpretable label-attentive encoder-decoder parser
CN112508265A (zh) * 2020-12-02 2021-03-16 中国极地研究中心 面向业务流程管理的时间与活动多任务预测方法及系统
CN112766359B (zh) * 2021-01-14 2023-07-25 北京工商大学 一种面向食品安全舆情的字词双维度微博谣言识别方法
US11836438B2 (en) 2021-01-28 2023-12-05 Microsoft Technology Licensing, Llc ML using n-gram induced input representation
WO2022164613A1 (en) * 2021-01-28 2022-08-04 Microsoft Technology Licensing, Llc Ml using n-gram induced input representation
CN112967730A (zh) * 2021-01-29 2021-06-15 北京达佳互联信息技术有限公司 语音信号的处理方法、装置、电子设备及存储介质
CN115617972B (zh) * 2022-12-14 2023-04-07 成都明途科技有限公司 一种机器人对话方法、装置、电子设备及存储介质

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ZA716498B (en) 1971-07-09 1972-07-26 Misawa Homes Co Prefabricated house
US6061512A (en) * 1997-04-29 2000-05-09 Global Adsi Solutions Methods and apparatus for creating automated servers for display telephones
FR2846458B1 (fr) * 2002-10-25 2005-02-25 France Telecom Procede de traitement automatique d'un signal de parole.
KR100577387B1 (ko) * 2003-08-06 2006-05-10 삼성전자주식회사 음성 대화 시스템에서의 음성 인식 오류 처리 방법 및 장치
JP4679254B2 (ja) * 2004-10-28 2011-04-27 富士通株式会社 対話システム、対話方法、及びコンピュータプログラム
CN101243449A (zh) * 2005-06-16 2008-08-13 文字点击有限公司 用于从计算机显示的内容中自动启动搜索查询的方法和系统
US7620549B2 (en) * 2005-08-10 2009-11-17 Voicebox Technologies, Inc. System and method of supporting adaptive misrecognition in conversational speech
JP4197344B2 (ja) * 2006-02-20 2008-12-17 インターナショナル・ビジネス・マシーンズ・コーポレーション 音声対話システム
ATE555591T1 (de) * 2008-02-28 2012-05-15 Leeds Richard Verfahren und system für benachrichtigungs- und telekommunikationsmanagement
KR101622111B1 (ko) * 2009-12-11 2016-05-18 삼성전자 주식회사 대화 시스템 및 그의 대화 방법
US8593331B2 (en) * 2010-06-16 2013-11-26 Qualcomm Incorported RF ranging-assisted local motion sensing
US9495331B2 (en) * 2011-09-19 2016-11-15 Personetics Technologies Ltd. Advanced system and method for automated-context-aware-dialog with human users
US10156455B2 (en) * 2012-06-05 2018-12-18 Apple Inc. Context-aware voice guidance
US9053708B2 (en) * 2012-07-18 2015-06-09 International Business Machines Corporation System, method and program product for providing automatic speech recognition (ASR) in a shared resource environment
US10042603B2 (en) * 2012-09-20 2018-08-07 Samsung Electronics Co., Ltd. Context aware service provision method and apparatus of user device
US20150314454A1 (en) * 2013-03-15 2015-11-05 JIBO, Inc. Apparatus and methods for providing a persistent companion device
US20160246929A1 (en) * 2013-10-07 2016-08-25 President And Fellows Of Harvard College Computer implemented method, computer system and software for reducing errors associated with a situated interaction
US10482184B2 (en) * 2015-03-08 2019-11-19 Google Llc Context-based natural language processing
KR101567555B1 (ko) * 2015-05-18 2015-11-20 이미지랩409(주) 이미지가 이용되는 소셜 네트워크 서비스 시스템 및 방법
US10262654B2 (en) * 2015-09-24 2019-04-16 Microsoft Technology Licensing, Llc Detecting actionable items in a conversation among participants
US10157309B2 (en) * 2016-01-14 2018-12-18 Nvidia Corporation Online detection and classification of dynamic gestures with recurrent convolutional neural networks
KR102447513B1 (ko) * 2016-01-22 2022-09-27 한국전자통신연구원 점증적 대화지식 자가학습 기반 대화장치 및 그 방법
WO2017200080A1 (ja) * 2016-05-20 2017-11-23 日本電信電話株式会社 対話方法、対話装置、及びプログラム
JP6719739B2 (ja) * 2016-05-20 2020-07-08 日本電信電話株式会社 対話方法、対話システム、対話装置、及びプログラム
CN108075962A (zh) * 2016-11-16 2018-05-25 阿里巴巴集团控股有限公司 即时通讯对话的场景识别方法、装置及系统
KR102643501B1 (ko) * 2016-12-26 2024-03-06 현대자동차주식회사 대화 처리 장치, 이를 포함하는 차량 및 대화 처리 방법
EP3382696B1 (en) * 2017-03-28 2022-09-14 Samsung Electronics Co., Ltd. Method for operating speech recognition service and electronic device supporting the same
US10453454B2 (en) * 2017-10-26 2019-10-22 Hitachi, Ltd. Dialog system with self-learning natural language understanding
CN107831903B (zh) * 2017-11-24 2021-02-02 科大讯飞股份有限公司 多人参与的人机交互方法及装置
US10929607B2 (en) * 2018-02-22 2021-02-23 Salesforce.Com, Inc. Dialogue state tracking using a global-local encoder
US11282020B2 (en) * 2018-07-24 2022-03-22 MachEye, Inc. Dynamic playback of synchronized narrated analytics playlists
CN109241255B (zh) * 2018-08-20 2021-05-18 华中师范大学 一种基于深度学习的意图识别方法
CN109549651A (zh) * 2018-10-31 2019-04-02 何勇 一种可改善阿尔兹海默症患者认知的智能机器人
US10777191B2 (en) * 2018-12-30 2020-09-15 International Business Machines Corporation Visually exploring and prioritizing discordant conversations with conversational bots

Also Published As

Publication number Publication date
EP3915039A1 (en) 2021-12-01
US11580970B2 (en) 2023-02-14
EP3915039A4 (en) 2022-04-06
US20200321002A1 (en) 2020-10-08
CN113678133A (zh) 2021-11-19
WO2020204655A1 (en) 2020-10-08

Similar Documents

Publication Publication Date Title
US11810562B2 (en) Reducing the need for manual start/end-pointing and trigger phrases
US11580970B2 (en) System and method for context-enriched attentive memory network with global and local encoding for dialogue breakdown detection
US11810557B2 (en) Dynamic and/or context-specific hot words to invoke automated assistant
US11735182B2 (en) Multi-modal interaction between users, automated assistants, and other computing services
US11347801B2 (en) Multi-modal interaction between users, automated assistants, and other computing services
CN111033492A (zh) 为自动化助手提供命令束建议
US11200893B2 (en) Multi-modal interaction between users, automated assistants, and other computing services
KR20210008521A (ko) 자동화된 어시스턴트를 호출하기 위한 다이내믹 및/또는 컨텍스트-특정 핫 워드
WO2021162675A1 (en) Synthesized speech audio data generated on behalf of human participant in conversation
US20240055003A1 (en) Automated assistant interaction prediction using fusion of visual and audio input
JP7230803B2 (ja) 情報処理装置および情報処理方法
US11935449B2 (en) Information processing apparatus and information processing method
US20240031339A1 (en) Method(s) and system(s) for utilizing an independent server to facilitate secure exchange of data
US20240029723A1 (en) System and method for command fulfillment without wake word
WO2024019767A1 (en) Method(s) and system(s) for utilizing an independent server to facilitate secure exchange of data
WO2019054009A1 (ja) 情報処理装置、情報処理方法、およびプログラム