KR20120031722A - 동적 응답 생성 장치 및 방법 - Google Patents

동적 응답 생성 장치 및 방법 Download PDF

Info

Publication number
KR20120031722A
KR20120031722A KR1020100093278A KR20100093278A KR20120031722A KR 20120031722 A KR20120031722 A KR 20120031722A KR 1020100093278 A KR1020100093278 A KR 1020100093278A KR 20100093278 A KR20100093278 A KR 20100093278A KR 20120031722 A KR20120031722 A KR 20120031722A
Authority
KR
South Korea
Prior art keywords
information
user
response
modality
analyzing
Prior art date
Application number
KR1020100093278A
Other languages
English (en)
Inventor
조정미
김정수
곽병관
박치연
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100093278A priority Critical patent/KR20120031722A/ko
Priority to US13/243,308 priority patent/US20120075178A1/en
Publication of KR20120031722A publication Critical patent/KR20120031722A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Abstract

입력 수단으로부터 수신된 사용자 입력 정보를 기반으로 사용자의 의도를 분석하고, 상기 분석된 사용자의 의도에 대한 제1 응답 정보, 상기 사용자 입력 정보에 대한 문맥 정보, 사용자 동작 정보 또는 환경 정보 중 어느 하나 이상을 분석하여 상기 제1 응답 정보에 대한 모달리티(modality)를 동적으로 결정한 후, 상기 제1 응답 정보를 가공하여 상기 결정된 모달리티 형식의 제2 응답 정보를 동적으로 생성하는 동적 응답 생성 장치 및 방법을 개시한다.

Description

동적 응답 생성 장치 및 방법{APPARATUS AND METHOD FOR GENERATING DYNAMIC RESPONSE}
본 발명의 실시예들은 응답 생성 장치 및 방법에 관한 것으로서, 대화형 사용자 인터페이스(conversational user interface)에 관한 것이다.
사용자 인터페이스(User Interface, UI)는 사용자와 사물 또는 시스템, 특히 기계, 컴퓨터 프로그램 등 사이에서 의사소통을 할 수 있도록 일시적 또는 영구적인 접근을 목적으로 만들어진 물리적, 가상적 매개체를 의미한다.
사용자 인터페이스는 다양한 형태로 발전되어 왔으며, 오늘날에는 사용자와 시스템 간의 인터렉션(interaction)을 통하여 사용자 입력 정보를 입력하고, 그에 대응하는 맞춤형 시스템 응답을 제공하는 대화형 사용자 인터페이스가 큰 관심을 받고 있다.
대화형 사용자 인터페이스에서 시스템 응답은 최종적으로 사용자에게 보여지는 시스템의 모습으로, 시스템 응답이 얼마나 자연스럽고 지능적인가에 따라 사용자 인터페이스의 자연성과 지능적 능력이 결정된다.
한편, 대화형 사용자 인터페이스는 시스템 응답으로 다양한 모달리티(modality) 형식을 제공할 수 있다.
모달리티란 인간 또는 기계가 정보를 주고받는 채널의 성격이며, 시각과 청각 모달리티는 각각 구별된 특성을 지닌다.
예를 들어, 이동 통신 단말기에서는 시각 모달리티를 사용하여 정보를 주고 받는 것은 화면에 해당하며, 청각 모달리티를 사용하여 정보를 주고 받는 것은 통화음에 해당한다.
대화형 사용자 인터페이스는 사용자가 원하는 시스템 응답이 무엇인지 여부를 정확하게 판단할 수 있어야 하며, 그에 대응하는 정확한 모달리티 형식의 시스템 응답을 제공할 수 있어야 한다.
본 발명의 일실시예에 따른 동적 응답 생성 장치는 입력 수단으로부터 사용자 입력 정보를 수신하는 정보 수신부, 상기 사용자 입력 정보를 기반으로 사용자의 의도를 분석하는 분석부, 상기 분석된 사용자의 의도에 대한 제1 응답 정보를 생성하는 제1 응답 생성부, 상기 제1 응답 정보, 상기 사용자 입력 정보에 대한 문맥 정보, 사용자 동작 정보 또는 환경 정보 중 어느 하나 이상을 분석하여 상기 제1 응답 정보에 대한 모달리티(modality)를 동적으로 결정하는 모달리티 결정부, 상기 제1 응답 정보를 가공하여 상기 결정된 모달리티 형식의 제2 응답 정보를 동적으로 생성하는 제2 응답 생성부 및 상기 결정된 모달리티 형식의 컨텐츠 및 상기 제2 응답 정보를 출력하는 출력부를 포함한다.
본 발명의 일측에 따르면, 상기 입력 수단은 음성 인식 장치, 영상 인식 장치, 텍스트 인식 장치, 동작 인식 센서, 온도 센서, 조도 센서 또는 습도 센서 중 어느 하나 이상을 포함할 수 있다.
본 발명의 일측에 따르면, 상기 사용자 입력 정보는 상기 입력 수단을 통하여 입력되는 사용자 음성, 사용자 동작, 텍스트 또는 영상 중 어느 하나 이상을 포함하는 모달리티 입력 정보일 수 있다.
본 발명의 일측에 따른 동적 응답 생성 장치는 상기 사용자 의도에 대응하는 어플리케이션을 실행하는 어플리케이션 실행부를 더 포함할 수 있다.
본 발명의 일측에 따르면, 상기 제2 응답 생성부는 상기 사용자 입력 정보에 대한 모달리티(modality)를 직접 수신한 경우, 상기 직접 수신된 모달리티 형식의 상기 제2 응답 정보를 생성할 수 있다.
본 발명의 일측에 따른 동적 응답 생성 장치는 상기 제1 응답 정보, 상기 문맥 정보, 상기 사용자 동작 정보 또는 상기 환경 정보 중 어느 하나 이상을 기반으로 상기 모달리티를 결정하기 위한 사용자의 상황을 분석하는 상황 분석부를 더 포함할 수 있다.
본 발명의 일측에 따르면, 상기 상황 분석부는 상기 컨텐츠의 종류 또는 상기 컨텐츠의 재생 시간 중 어느 하나를 기반으로 상기 사용자의 상황을 분석할 수 있다.
본 발명의 일측에 따르면, 상기 모달리티 결정부는 상기 사용자의 상황을 분석하여 상기 모달리티를 동적으로 결정할 수 있다.
본 발명의 일측에 따르면, 상기 문맥 정보는 대화 문맥 정보 또는 도메인 문맥 정보 중 어느 하나 이상을 포함할 수 있다.
본 발명의 일측에 따르면, 상기 모달리티 결정부는 상기 제1 응답 정보, 상기 사용자 입력 정보에 대한 문맥 정보, 사용자 동작 정보 또는 환경 정보 중 어느 하나를 개별적으로 분석하여 상기 모달리티를 결정할 수 있다.
본 발명의 일측에 따르면, 상기 모달리티 결정부는 상기 제1 응답 정보, 상기 사용자 입력 정보에 대한 문맥 정보, 사용자 동작 정보 또는 환경 정보 중 둘 이상을 복합적으로 분석하여 상기 모달리티를 결정할 수 있다.
본 발명의 일측에 따르면, 상기 모달리티 결정부는 상기 모달리티가 복수인 경우 상기 복수의 모달리티에 대한 우선순위를 결정할 수 있다.
본 발명의 일실시예에 따른 동적 응답 생성 방법은 입력 수단으로부터 사용자 입력 정보를 수신하는 단계, 상기 사용자 입력 정보를 기반으로 사용자의 의도를 분석하는 단계, 상기 분석된 사용자의 의도에 대한 제1 응답 정보를 생성하는 단계, 상기 제1 응답 정보, 상기 사용자 입력 정보에 대한 문맥 정보, 사용자 동작 정보 또는 환경 정보 중 어느 하나 이상을 분석하여 상기 제1 응답 정보에 대한 모달리티(modality)를 동적으로 결정하는 단계, 상기 제1 응답 정보를 가공하여 상기 결정된 모달리티 형식의 제2 응답 정보를 동적으로 생성하는 단계 및 상기 결정된 모달리티 형식의 컨텐츠 및 상기 제2 응답 정보를 출력하는 단계를 포함한다.
본 발명의 일실시예에 따르면 음성, 텍스트, 영상, 모션, 터치 등 다양한 모달리티(modality)의 입력과 출력이 가능한 사용자 인터페이스에 있어서, 사용자의 의도 및 상황을 분석하여 최적의 시스템 응답을 제공할 수 있다.
본 발명의 일실시예에 따르면 사용자와 시스템간의 인터렉션(interaction)이 이루어지는 경우, 시스템 응답의 특징과 대화 문맥, 도메인 문맥, 사용자 정보, 환경 정보를 반영하여 사용자 상황에 가장 최적화된 응답 모달리티를 적용할 수 있다.
도 1은 본 발명의 일실시예에 따른 동적 응답 생성 장치가 적용된 시스템의 구성을 도시한 블록도이다.
도 2는 본 발명의 일실시예에 따른 동적 응답 생성 장치의 구성을 도시한 블록도이다.
도 3은 본 발명의 일실시예에 따른 동적 응답 생성 방법을 도시한 흐름도이다.
도 4는 본 발명의 일실시예에 따른 동적 응답 생성 장치를 이용하여 시스템 응답을 생성하는 과정에서 예측 가능한 사용자 상황의 예를 도시한 도면이다.
도 5는 본 발명의 일실시예에 따른 동적 응답 생성 장치를 이용하여 모달리티를 결정하는 예를 도시한 도면이다.
도 6 내지 도 9는 본 발명의 일실시예에 따른 동적 응답 생성 장치를 대화형 사용자 인터페이스에 적용한 예를 도시한 도면이다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예에 의해 제한되거나 한정되는 것은 아니다.
한편, 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 상세한 설명을 생략할 것이다. 그리고, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 발명의 일실시예에 따른 동적 응답 생성 장치는 음성, 텍스트, 영상, 모션, 터치 등 다양한 모달리티의 입력과 출력이 가능한 사용자 인터페이스를 기초로 한다.
도 1은 본 발명의 일실시예에 따른 동적 응답 생성 장치가 적용된 시스템의 구성을 도시한 블록도이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 동적 응답 생성 장치(120)가 적용된 시스템은 대화형 사용자 인터페이스를 통하여 통해 어플리케이션을 제어한다.
본 발명의 일측에 따르면 대화형 사용자 인터페이스는 마이크, 카메라, 키보드, 모션 센서, 온도 센서, 조도 센서 또는 습도 센서 등의 다양한 입력 수단(110)으로부터 사용자 멀티모달 입력 정보를 수신하고, 사용자 정보 및 환경 정보를 감지한다.
본 발명의 일측에 따른 동적 응답 생성 장치(120)는 상기 수신된 사용자 멀티모달 입력 정보, 사용자 정보 및 환경 정보 등을 분석하여 시스템 응답을 생성한 후, 디스플레이, 스피커, 햅틱 인터페이스 등의 다양한 출력 수단을 통해 멀티모달 형식으로 출력한다.
도 2는 본 발명의 일실시예에 따른 동적 응답 생성 장치의 구성을 도시한 블록도이고, 도 3은 본 발명의 일실시예에 따른 동적 응답 생성 방법을 도시한 흐름도이다.
도 2를 참조하면, 본 발명의 일실시예에 따른 동적 응답 생성 장치는 정보 수신부(210), 분석부(220), 제1 응답 생성부(230), 모달리티 결정부(240), 제2 응답 생성부(250) 및 출력부(260)로 구성된다.
본 발명의 일실시예에 따른 동적 응답 생성 장치는 사용자의 의도를 분석하여 시스템 응답인 제1 응답 정보를 생성하고, 상기 제1 응답 정보 및 입력되는 다양한 정보를 분석하여 동적으로 모달리티를 결정한 후, 결정된 모달리티 형식의 최종 시스템 응답인 제2 응답 정보를 생성한다.
본 발명의 일실시예에 따른 정보 수신부(210)는 입력 수단으로부터 사용자 입력 정보를 수신한다(310).
본 발명의 일측에 따른 정보 수신부(210)는 음성 인식 장치, 영상 인식 장치, 텍스트 인식 장치, 동작 인식 센서, 온도 센서, 조도 센서 또는 습도 센서 등의 다양한 입력 수단으로부터 상기 사용자 입력 정보를 수신할 수 있다.
예를 들어, 본 발명의 일측에 따른 정보 수신부(210)는 상기 입력 수단을 통하여 사용자 음성, 사용자 동작, 텍스트 또는 영상 등의 다양한 사용자 입력 정보를 수신할 수 있다.
본 발명의 일실시예에 따른 분석부(220)는 상기 사용자 입력 정보를 기반으로 사용자의 의도를 분석한다(320).
본 발명의 일실시예에 따른 제1 응답 생성부(230)는 상기 분석된 사용자의 의도에 대한 제1 응답 정보를 생성한다(330).
본 발명의 일실시예에 따른 모달리티 결정부(240)는 상기 제1 응답 정보, 상기 사용자 입력 정보에 대한 문맥 정보, 사용자 동작 정보 또는 환경 정보 중 어느 하나 이상을 분석하여 상기 제1 응답 정보에 대한 모달리티(modality)를 동적으로 결정한다(340).
예를 들어, 본 발명의 일측에 따른 모달리티 결정부(240)는 대화 문맥 정보 또는 도메인 문맥 등의 다양한 문맥 정보를 분석하여 상기 모달리티를 결정할 수 있다.
본 발명의 일실시예에 따른 제2 응답 생성부(250)는 상기 제1 응답 정보를 가공하여 상기 결정된 모달리티 형식의 제2 응답 정보를 동적으로 생성한다(350).
본 발명의 일실시예에 따른 출력부(260)는 상기 결정된 모달리티 형식의 컨텐츠 및 상기 제2 응답 정보를 출력한다(360).
본 발명의 일측에 따르면 동적 응답 생성 장치는 어플리케이션 실행부(270)를 이용하여 상기 사용자 의도에 대응하는 어플리케이션을 실행할 수도 있다.
본 발명의 일측에 따르면, 제2 응답 생성부(250)는 상기 사용자 입력 정보에 대한 모달리티(modality)를 직접 수신한 경우, 상기 직접 수신된 모달리티 형식의 상기 제2 응답 정보를 생성할 수 있다.
예를 들어, 본 발명의 일측에 따른 동적 응답 생성 장치는 상기 제1 응답 정보 또는 상기 제2 응답 정보 등의 시스템 응답을 생성하는 과정에서, 사용자가 "음성으로 알려줘" 또는 "화면으로 보여줘" 등과 같이 상기 시스템 응답의 모달리티를 직접 명령하는 경우 사용자가 명령한 모달리티 형식의 시스템 응답을 제공할 수도 있다.
본 발명의 일측에 따른 동적 응답 생성 장치는 상황 분석부(280)를 이용하여 상기 제1 응답 정보, 상기 문맥 정보, 상기 사용자 동작 정보 또는 상기 환경 정보 중 어느 하나 이상을 기반으로 상기 모달리티를 결정하기 위한 사용자의 상황을 분석할 수 있다.
예를 들어, 본 발명의 일측에 따른 상황 분석부(280)는 상기 컨텐츠의 종류 또는 상기 컨텐츠의 재생 시간 등을 기반으로 상기 사용자의 상황을 분석할 수 있다.
본 발명의 일측에 따른 모달리티 결정부(240)는 상기 사용자의 상황을 분석하여 상기 모달리티를 동적으로 결정함으로써, 보다 효과적이고 합리적인 모달리티를 결정할 수 있다.
도 4는 본 발명의 일실시예에 따른 동적 응답 생성 장치를 이용하여 시스템 응답을 생성하는 과정에서 예측 가능한 사용자 상황의 예를 도시한 도면이다.
본 발명에 대한 이해를 돕고자, 아래에서는 동적 응답 생성 장치를 음성, 영상 또는 모션 등으로 TV를 제어하고 TV 컨텐츠를 검색하는 대화형 사용자 인터페이스로 가정하여 설명하기로 한다.
본 발명의 일측에 따르면 동적 응답 생성 장치는 대화 문맥 정보 및 도메인 문맥 정보를 분석한 결과를 기반으로, “사용자와 동적 응답 생성 장치 간의 인터렉션(interaction)이 발생된 시점”, “TV에서 광고를 방영 중”, “사용자가 인터페이스를 통해 채널을 빠르게 변경하는 채널 재핑(zapping) 중”, “사용자가 현재 TV에서 방영 중인 컨텐츠에 대해 크게 관심이 없음” 등의 다양한 상황을 분석할 수 있다.
본 발명의 일측에 따르면 동적 응답 생성 장치는 “사용자가 채널을 일정 시간 동안 고정한 상태” 및 “상기 시간대에 해당 채널에서 드라마나 영화와 같은 프로그램을 방영 중” 인 경우, 사용자가 상기 프로그램에 집중하고 있는 상황으로 분석 할 수 있다.
본 발명의 일측에 따르면 동적 응답 생성 장치는 시스템 응답이 매우 긴 경우 사용자가 응답을 통해 알아야 하는 내용이 많은 것으로 사용자 상황을 분석 할 수 있다.
본 발명의 일측에 따르면 동적 응답 생성 장치는 시스템 응답에 사용자 선택을 요구하는 내용이 포함된 경우, 사용자가 선택을 하기 위해 시스템 응답 내용을 정확히 알아야 하는 상황으로 분석할 수 있다.
본 발명의 일측에 따르면 동적 응답 생성 장치는 사용자 위치 정보인 사용자 정보를 확인 결과, 사용자가 현재 TV 앞에 있지 않는 경우 사용자가 TV 내용을 볼 수 없는 상황으로 분석 할 수 있다.
본 발명의 일측에 따르면 상황 분석부(280)를 이용하여 분석된 사용자 상황은 동적 응답 생성 장치에서 모달리티를 결정하는데 주요한 요인이라 할 수 있다.
본 발명의 일측에 따르면 동적 응답 생성 장치는 사용자가 방영 중인 프로그램에 집중하고 있는 상황인 경우, 가능하면 사용자 행위에 방해가 되지 않는 모달리티를 선택하도록 제어할 수 있다.
본 발명의 일측에 따르면 동적 응답 생성 장치는 사용자가 시스템 응답인 상기 제2 응답 정보를 통해 알아야 하는 내용이 많은 상황 또는 정확한 내용을 알아야 하는 상황인 경우, 음성보다는 텍스트 형태의 제2 응답 정보를 생성하여 제공함으로써 더욱 정확한 내용을 전달할 수 있다.
본 발명의 일측에 따르면 동적 응답 생성 장치는 사용자가 TV를 볼 수 없는 상황인 경우, 디스플레이 출력보다 음성 중심의 출력을 제공할 수도 있다.
본 발명의 일측에 따르면 동적 응답 생성 장치는 사용자 위치가 TV를 볼 수는 있지만 주변 소음이 큰 경우, 음성보다 디스플레이 중심의 출력을 제공할 수도 있다.
본 발명의 일측에 따르면 동적 응답 생성 장치는 상기 대화 문맥 정보 또는 상기 도메인 문맥 정보에 대한 히스토리 등을 분석하여 사용자와 인터렉션을 시도한 시간 관련 정보를 판단할 수 있다.
본 발명의 일측에 따르면 동적 응답 생성 장치는 프로그램 편성(EPG: Electronic Program Guide) 정보, 현재 시간, 현재 사용자 채널 등의 도메인 문맥 정보를 분석하여 TV에서 프로그램 또는 광고 중 어떤 것을 방영 중인지 여부를 판단할 수 있다.
본 발명의 일측에 따르면 동적 응답 생성 장치는 채널 변경 히스토리, 채널 변경 시간, 사용자와 시스템 간의 대화 히스토리 등의 문맥 정보를 분석하여 사용자가 채널 재핑(zapping) 중인지는 여부를 판단할 수 있다.
본 발명의 일측에 따르면 동적 응답 생성 장치는 프로그램 편성 정보, 현재 시간, 현재 사용자 채널의 프로그램 방영 여부 등을 판단하고, 현재 채널 고정 시간 및 상기 시간 동안의 인터렉션 횟수 등을 분석함으로써, 사용자의 프로그램 집중도를 판단할 수 있다.
본 발명의 일측에 따르면 동적 응답 생성 장치는 상기 사용자의 의도, 프로그램 편성 정보 검색 결과 또는 어플리케이션 제공 여부 등의 피드백 정보를 분석하여 시스템 응답의 길이를 판단할 수 있다.
본 발명의 일측에 따르면 동적 응답 생성 장치는 시스템 다이얼로그 액트(System Dialog Act)을 분석하여 사용자의 컨텐츠 선택이 필요한지 여부를 판단할 수 있다.
본 발명의 일측에 따르면 동적 응답 생성 장치는 카메라로부터 수신된 영상을 얼굴 인식 기술 등을 통해 분석하여 사용자가 TV 앞에 있는지 여부를 판단할 수 있다.
본 발명의 일측에 따르면 동적 응답 생성 장치는 마이크로부터 수신되는 잡음의 레벨을 측정하여 사용자 주변의 소음 여부를 판단할 수 있다.
도 5는 본 발명의 일실시예에 따른 동적 응답 생성 장치를 이용하여 모달리티를 결정하는 예를 도시한 도면이다.
본 발명의 일측에 따르면 모달리티 결정부(240)는 상기 제1 응답 정보, 상기 사용자 입력 정보에 대한 문맥 정보, 사용자 동작 정보 또는 환경 정보 중 어느 하나를 개별적으로 분석하여 상기 모달리티를 결정할 수 있다.
또한, 본 발명의 일측에 따르면 모달리티 결정부(240)는 상기 제1 응답 정보, 상기 사용자 입력 정보에 대한 문맥 정보, 사용자 동작 정보 또는 환경 정보 중 둘 이상을 복합적으로 분석하여 상기 모달리티를 결정할 수도 있다.
예를 들어, 본 발명의 일측에 따르면 동적 응답 생성 장치는 TV에서 광고 중이거나 사용자가 채널 재핑(zapping) 중인 경우이거나 사용자가 현재 TV 컨텐츠에 특별히 관심이 없는 경우, 사용자로부터 "뉴스 언제 해?" 등과 같이 음성으로 사용자 입력 정보를 수신하고, 그에 대응하도록 음성 모달리티 형식의 제2 응답 정보를 생성하여 제공하는 것이 바람직하다.
본 발명의 일측에 따르면 동적 응답 생성 장치는 "주말에 영화 뭐해?" 등과 같은 사용자 입력 정보에 대한 제2 응답 정보로써 영화 검색 결과 리스트를 제공하는 경우, 음성 모달리티 형식의 제2 응답 정보를 제공하기 보다는 시각 모달리티 형식의 제2 응답 정보를 제공하는 것이 바람직하다.
본 발명의 일측에 따르면 동적 응답 생성 장치는 사용자가 프로그램을 시청하는 과정에서, 사용자가 "예/아니오" 형태의 질문을 한 경우, 즉, 사용자 다이얼로그 액트(User Dialog Act)이 ASK_IF인 경우, 사용자가 "예/아니오"에 대한 빠른 응답을 원하는 것으로 판단하여 음성 모달리티 형식의 제2 응답 정보를 제공하는 것이 바람직하다.
본 발명의 일측에 따르면 동적 응답 생성 장치는 상기 제1 응답 정보, 상기 문맥 정보, 상기 사용자 정보 또는 환경 정보를 복합적으로 반영하기 위하여 각각의 정보를 개별적으로 사용자 상황 및 모달리티를 정의하고, 각각의 사용자 상황 및 모달리티에 대한 우선 순위를 결정하여 복합적인 제2 응답 정보를 생성할 수도 있다.
즉, 본 발명의 일측에 따른 모달리티 결정부(240)는 상기 모달리티가 복수인 경우 상기 복수의 모달리티에 대한 우선순위를 결정할 수 있다.
도 6 내지 도 9는 본 발명의 일실시예에 따른 동적 응답 생성 장치를 대화형 사용자 인터페이스에 적용한 예를 도시한 도면이다.
도 6을 참조하면, 본 발명의 일측에 따른 동적 응답 생성 장치는 TV 컨텐츠를 검색하는 대화형 사용자 인터페이스로 사용되는 경우, 사용자가 음성으로 사용자 입력 정보를 입력하면 음성 모달리티 형식의 제2 응답 정보를 생성하여 사용자에게 제공할 수 있다.
본 발명의 일측에 따른 동적 응답 생성 장치는 도메인 문맥 분석 결과 사용자가 일정시간 하나의 채널을 고정하여 시청하거나, 방영되는 채널에서 드라마나 영화와 같은 특정 프로그램이 방영 중인 경우, 사용자가 프로그램을 집중하여 시청하는 것으로 분석할 수 있다.
본 발명의 일측에 따른 동적 응답 생성 장치는 사용자가 프로그램을 집중하여 시청하는 것으로 분석된 경우, 사용자의 시청 흐름을 방해하는 음성 모달리티 형식의 제2 응답 정보를 제공하는 것보다 시각 모달리티 형식의 제2 응답 정보를 제공하는 것이 바람직하다.
도 7을 참조하면, 본 발명의 일측에 따른 동적 응답 생성 장치는 대화 문맥 정보 및 도메인 문맥 정보를 분석한 결과, 광고와 같이 사용자가 현재 TV에서 방영되고 있는 컨텐츠에 관심이 적은 상황으로 분석된 경우, 음성 모달리티 형식의 제2 응답 정보를 제공하는 것이 바람직하다.
도 8을 참조하면, 본 발명의 일측에 따른 동적 응답 생성 장치는 제2 응답 정보로 제공되는 정보의 결과의 양이 많은 경우, 음성 모달리티 형식의 제2 응답 정보를 제공하는 것보다 시각 모달리티 형식의 제2 응답 정보를 제공하는 것이 바람직하다.
도 9를 참조하면, 본 발명의 일측에 따른 동적 응답 생성 장치는 TV에 설치된 카메라를 통해 사용자 위치 정보를 파악한 결과, 사용자가 TV 디스플레이를 볼 수 없는 상황인 경우 음성 모달리티 형식의 제2 응답 정보를 제공하는 것이 바람직하다.
본 발명에 따른 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(Floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
210: 정보 수신부
220: 분석부
230: 제1 응답 생성부
240: 모달리티 결정부
250: 제2 응답 생성부
260: 출력부
270: 어플리케이션 실행부
280: 상황 분석부

Claims (17)

  1. 입력 수단으로부터 사용자 입력 정보를 수신하는 정보 수신부;
    상기 사용자 입력 정보를 기반으로 사용자의 의도를 분석하는 분석부;
    상기 분석된 사용자의 의도에 대한 제1 응답 정보를 생성하는 제1 응답 생성부;
    상기 제1 응답 정보, 상기 사용자 입력 정보에 대한 문맥 정보, 사용자 동작 정보 또는 환경 정보 중 어느 하나 이상을 분석하여 상기 제1 응답 정보에 대한 모달리티(modality)를 동적으로 결정하는 모달리티 결정부;
    상기 제1 응답 정보를 가공하여 상기 결정된 모달리티 형식의 제2 응답 정보를 동적으로 생성하는 제2 응답 생성부; 및
    상기 결정된 모달리티 형식의 컨텐츠 및 상기 제2 응답 정보를 출력하는 출력부
    를 포함하는 동적 응답 생성 장치.
  2. 제1항에 있어서,
    상기 입력 수단은,
    음성 인식 장치, 영상 인식 장치, 텍스트 인식 장치, 동작 인식 센서, 온도 센서, 조도 센서 또는 습도 센서 중 어느 하나 이상을 포함하는 동적 응답 생성 장치.
  3. 제1항에 있어서,
    상기 사용자 입력 정보는,
    상기 입력 수단을 통하여 입력되는 사용자 음성, 사용자 동작, 텍스트 또는 영상 중 어느 하나 이상을 포함하는 모달리티 입력 정보인 동적 응답 생성 장치.
  4. 제1항에 있어서,
    상기 사용자 의도에 대응하는 어플리케이션을 실행하는 어플리케이션 실행부
    를 더 포함하는 동적 응답 생성 장치.
  5. 제1항에 있어서,
    상기 제2 응답 생성부는,
    상기 사용자 입력 정보에 대한 모달리티(modality)를 직접 수신한 경우, 상기 직접 수신된 모달리티 형식의 상기 제2 응답 정보를 생성하는 동적 응답 생성 장치.
  6. 제1항에 있어서,
    상기 제1 응답 정보, 상기 문맥 정보, 상기 사용자 동작 정보 또는 상기 환경 정보 중 어느 하나 이상을 기반으로 상기 모달리티를 결정하기 위한 사용자의 상황을 분석하는 상황 분석부
    를 더 포함하는 동적 응답 생성 장치.
  7. 제6항에 있어서,
    상기 상황 분석부는,
    상기 컨텐츠의 종류 또는 상기 컨텐츠의 재생 시간 중 어느 하나를 기반으로 상기 사용자의 상황을 분석하는 동적 응답 생성 장치.
  8. 제6항에 있어서,
    상기 모달리티 결정부는,
    상기 사용자의 상황을 분석하여 상기 모달리티를 동적으로 결정하는 동적 응답 생성 장치.
  9. 제1항에 있어서,
    상기 문맥 정보는,
    대화 문맥 정보 또는 도메인 문맥 정보 중 어느 하나 이상을 포함하는 동적 응답 생성 장치.
  10. 제1항에 있어서,
    상기 모달리티 결정부는,
    상기 제1 응답 정보, 상기 사용자 입력 정보에 대한 문맥 정보, 사용자 동작 정보 또는 환경 정보 중 어느 하나를 개별적으로 분석하여 상기 모달리티를 결정하는 동적 응답 생성 장치.
  11. 제1항에 있어서,
    상기 모달리티 결정부는,
    상기 제1 응답 정보, 상기 사용자 입력 정보에 대한 문맥 정보, 사용자 동작 정보 또는 환경 정보 중 둘 이상을 복합적으로 분석하여 상기 모달리티를 결정하는 동적 응답 생성 장치.
  12. 제11항에 있어서,
    상기 모달리티 결정부는,
    상기 모달리티가 복수인 경우 상기 복수의 모달리티에 대한 우선순위를 결정하는 동적 응답 생성 장치.
  13. 입력 수단으로부터 사용자 입력 정보를 수신하는 단계;
    상기 사용자 입력 정보를 기반으로 사용자의 의도를 분석하는 단계;
    상기 분석된 사용자의 의도에 대한 제1 응답 정보를 생성하는 단계;
    상기 제1 응답 정보, 상기 사용자 입력 정보에 대한 문맥 정보, 사용자 동작 정보 또는 환경 정보 중 어느 하나 이상을 분석하여 상기 제1 응답 정보에 대한 모달리티(modality)를 동적으로 결정하는 단계;
    상기 제1 응답 정보를 가공하여 상기 결정된 모달리티 형식의 제2 응답 정보를 동적으로 생성하는 단계; 및
    상기 결정된 모달리티 형식의 컨텐츠 및 상기 제2 응답 정보를 출력하는 단계
    를 포함하는 동적 응답 생성 방법.
  14. 제13항에 있어서,
    상기 제2 응답 정보를 동적으로 생성하는 단계는,
    상기 사용자 입력 정보에 대한 모달리티(modality)를 직접 수신한 경우, 상기 직접 수신된 모달리티 형식의 상기 제2 응답 정보를 생성하는 단계
    를 포함하는 동적 응답 생성 방법.
  15. 제13항에 있어서,
    상기 제1 응답 정보, 상기 문맥 정보, 상기 사용자 동작 정보 또는 상기 환경 정보 중 어느 하나 이상을 기반으로 상기 모달리티를 결정하기 위한 사용자의 상황을 분석하는 단계
    를 더 포함하는 동적 응답 생성 방법.
  16. 제15항에 있어서,
    상기 모달리티를 결정하는 단계는,
    상기 사용자의 상황을 분석하여 상기 모달리티를 동적으로 결정하는 단계
    를 포함하는 동적 응답 생성 방법.
  17. 제13항 내지 제16항 중 어느 한 항의 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.
KR1020100093278A 2010-09-27 2010-09-27 동적 응답 생성 장치 및 방법 KR20120031722A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100093278A KR20120031722A (ko) 2010-09-27 2010-09-27 동적 응답 생성 장치 및 방법
US13/243,308 US20120075178A1 (en) 2010-09-27 2011-09-23 Apparatus and method for generating dynamic response

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100093278A KR20120031722A (ko) 2010-09-27 2010-09-27 동적 응답 생성 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20120031722A true KR20120031722A (ko) 2012-04-04

Family

ID=45870114

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100093278A KR20120031722A (ko) 2010-09-27 2010-09-27 동적 응답 생성 장치 및 방법

Country Status (2)

Country Link
US (1) US20120075178A1 (ko)
KR (1) KR20120031722A (ko)

Cited By (142)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160084748A (ko) * 2015-01-06 2016-07-14 포항공과대학교 산학협력단 대화시스템 및 그 방법
US9576574B2 (en) 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
US9668024B2 (en) 2014-06-30 2017-05-30 Apple Inc. Intelligent automated assistant for TV user interactions
US9865248B2 (en) 2008-04-05 2018-01-09 Apple Inc. Intelligent text-to-speech conversion
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9966060B2 (en) 2013-06-07 2018-05-08 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US9971774B2 (en) 2012-09-19 2018-05-15 Apple Inc. Voice-based media searching
US9986419B2 (en) 2014-09-30 2018-05-29 Apple Inc. Social reminders
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
US10049675B2 (en) 2010-02-25 2018-08-14 Apple Inc. User profiling for voice input processing
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10079014B2 (en) 2012-06-08 2018-09-18 Apple Inc. Name recognition system
US10083690B2 (en) 2014-05-30 2018-09-25 Apple Inc. Better resolution when referencing to concepts
US10089072B2 (en) 2016-06-11 2018-10-02 Apple Inc. Intelligent device arbitration and control
US10108612B2 (en) 2008-07-31 2018-10-23 Apple Inc. Mobile device having human language translation capability with positional feedback
US10169329B2 (en) 2014-05-30 2019-01-01 Apple Inc. Exemplar-based natural language processing
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
KR101951196B1 (ko) * 2018-09-17 2019-02-25 (주)투비소프트 사용자의 의도에 기초하여 사용자 인터페이스를 제공하는 전자 장치 및 그의 동작 방법
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10269345B2 (en) 2016-06-11 2019-04-23 Apple Inc. Intelligent task discovery
US10297253B2 (en) 2016-06-11 2019-05-21 Apple Inc. Application integration with a digital assistant
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US10311871B2 (en) 2015-03-08 2019-06-04 Apple Inc. Competing devices responding to voice triggers
US10318871B2 (en) 2005-09-08 2019-06-11 Apple Inc. Method and apparatus for building an intelligent automated assistant
US10332518B2 (en) 2017-05-09 2019-06-25 Apple Inc. User interface for correcting recognition errors
US10354011B2 (en) 2016-06-09 2019-07-16 Apple Inc. Intelligent automated assistant in a home environment
US10356243B2 (en) 2015-06-05 2019-07-16 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US10381016B2 (en) 2008-01-03 2019-08-13 Apple Inc. Methods and apparatus for altering audio output signals
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US10403283B1 (en) 2018-06-01 2019-09-03 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10410637B2 (en) 2017-05-12 2019-09-10 Apple Inc. User-specific acoustic models
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
US10417405B2 (en) 2011-03-21 2019-09-17 Apple Inc. Device access using voice authentication
US10431204B2 (en) 2014-09-11 2019-10-01 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10438595B2 (en) 2014-09-30 2019-10-08 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US10453443B2 (en) 2014-09-30 2019-10-22 Apple Inc. Providing an indication of the suitability of speech recognition
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10482874B2 (en) 2017-05-15 2019-11-19 Apple Inc. Hierarchical belief states for digital assistants
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10497365B2 (en) 2014-05-30 2019-12-03 Apple Inc. Multi-command single utterance input method
US10496705B1 (en) 2018-06-03 2019-12-03 Apple Inc. Accelerated task performance
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10521466B2 (en) 2016-06-11 2019-12-31 Apple Inc. Data driven natural language event detection and classification
US10529332B2 (en) 2015-03-08 2020-01-07 Apple Inc. Virtual assistant activation
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10643611B2 (en) 2008-10-02 2020-05-05 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10657961B2 (en) 2013-06-08 2020-05-19 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10684703B2 (en) 2018-06-01 2020-06-16 Apple Inc. Attention aware virtual assistant dismissal
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10699717B2 (en) 2014-05-30 2020-06-30 Apple Inc. Intelligent assistant for home automation
US10706841B2 (en) 2010-01-18 2020-07-07 Apple Inc. Task flow identification based on user intent
US10714117B2 (en) 2013-02-07 2020-07-14 Apple Inc. Voice trigger for a digital assistant
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
US10733993B2 (en) 2016-06-10 2020-08-04 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10741185B2 (en) 2010-01-18 2020-08-11 Apple Inc. Intelligent automated assistant
US10748546B2 (en) 2017-05-16 2020-08-18 Apple Inc. Digital assistant services based on device capabilities
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10755703B2 (en) 2017-05-11 2020-08-25 Apple Inc. Offline personal assistant
US10769385B2 (en) 2013-06-09 2020-09-08 Apple Inc. System and method for inferring user intent from speech inputs
US10789945B2 (en) 2017-05-12 2020-09-29 Apple Inc. Low-latency intelligent automated assistant
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10791176B2 (en) 2017-05-12 2020-09-29 Apple Inc. Synchronization and task delegation of a digital assistant
US10795541B2 (en) 2009-06-05 2020-10-06 Apple Inc. Intelligent organization of tasks items
US10810274B2 (en) 2017-05-15 2020-10-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
US11010127B2 (en) 2015-06-29 2021-05-18 Apple Inc. Virtual assistant for media playback
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US11023513B2 (en) 2007-12-20 2021-06-01 Apple Inc. Method and apparatus for searching using an active ontology
US11048473B2 (en) 2013-06-09 2021-06-29 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
US11069336B2 (en) 2012-03-02 2021-07-20 Apple Inc. Systems and methods for name pronunciation
US11070949B2 (en) 2015-05-27 2021-07-20 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on an electronic device with a touch-sensitive display
US11080012B2 (en) 2009-06-05 2021-08-03 Apple Inc. Interface for a virtual digital assistant
US11120372B2 (en) 2011-06-03 2021-09-14 Apple Inc. Performing actions associated with task items that represent tasks to perform
US11127397B2 (en) 2015-05-27 2021-09-21 Apple Inc. Device voice control
US11133008B2 (en) 2014-05-30 2021-09-28 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US11217251B2 (en) 2019-05-06 2022-01-04 Apple Inc. Spoken notifications
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US11231904B2 (en) 2015-03-06 2022-01-25 Apple Inc. Reducing response latency of intelligent automated assistants
US11237797B2 (en) 2019-05-31 2022-02-01 Apple Inc. User activity shortcut suggestions
US11269678B2 (en) 2012-05-15 2022-03-08 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11314370B2 (en) 2013-12-06 2022-04-26 Apple Inc. Method for extracting salient dialog usage from live data
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11350253B2 (en) 2011-06-03 2022-05-31 Apple Inc. Active transport based notifications
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
US11388291B2 (en) 2013-03-14 2022-07-12 Apple Inc. System and method for processing voicemail
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11467802B2 (en) 2017-05-11 2022-10-11 Apple Inc. Maintaining privacy of personal information
US11468282B2 (en) 2015-05-15 2022-10-11 Apple Inc. Virtual assistant in a communication session
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
US11495218B2 (en) 2018-06-01 2022-11-08 Apple Inc. Virtual assistant operation in multi-device environments
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11532306B2 (en) 2017-05-16 2022-12-20 Apple Inc. Detecting a trigger of a digital assistant
WO2023058894A1 (ko) * 2021-10-08 2023-04-13 삼성전자주식회사 서버 및 이의 제어 방법
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11657813B2 (en) 2019-05-31 2023-05-23 Apple Inc. Voice identification in digital assistant systems
US11671920B2 (en) 2007-04-03 2023-06-06 Apple Inc. Method and system for operating a multifunction portable electronic device using voice-activation
US11696060B2 (en) 2020-07-21 2023-07-04 Apple Inc. User identification using headphones
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11765209B2 (en) 2020-05-11 2023-09-19 Apple Inc. Digital assistant hardware abstraction
US11790914B2 (en) 2019-06-01 2023-10-17 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11798547B2 (en) 2013-03-15 2023-10-24 Apple Inc. Voice activated device for use with a voice-based digital assistant
US11809483B2 (en) 2015-09-08 2023-11-07 Apple Inc. Intelligent automated assistant for media search and playback
US11838734B2 (en) 2020-07-20 2023-12-05 Apple Inc. Multi-device audio adjustment coordination
US11853536B2 (en) 2015-09-08 2023-12-26 Apple Inc. Intelligent automated assistant in a media environment
US11886805B2 (en) 2015-11-09 2024-01-30 Apple Inc. Unconventional virtual assistant interactions
US11914848B2 (en) 2020-05-11 2024-02-27 Apple Inc. Providing relevant data items based on context

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2831872A4 (en) * 2012-03-30 2015-11-04 Intel Corp MULTISENSOR SPEED DEPENDENT CONTEXTUAL LANGUAGE IDENTIFICATION AND SUMMARY
KR20130134785A (ko) * 2012-05-31 2013-12-10 엘지전자 주식회사 유저 입력 리스폰스 출력 방법 및 이를 위한 홈 디바이스
US20150077381A1 (en) * 2013-09-19 2015-03-19 Qualcomm Incorporated Method and apparatus for controlling display of region in mobile device
US10770067B1 (en) * 2015-09-08 2020-09-08 Amazon Technologies, Inc. Dynamic voice search transitioning
CN108241497B (zh) * 2017-10-18 2021-09-07 北京车和家信息技术有限公司 车载客户端开发接口动态更新方法、装置、设备和介质
KR20190142219A (ko) * 2018-06-15 2019-12-26 삼성전자주식회사 사용자의 입력에 대한 응답을 출력하는 전자 장치 및 그 동작 방법
JP7358621B2 (ja) * 2019-08-14 2023-10-10 ライブパーソン， インコーポレイテッド 対話勧誘を管理するためのシステムおよび方法
US11606446B1 (en) 2021-09-13 2023-03-14 International Business Machines Corporation Microapplication composition

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050184973A1 (en) * 2004-02-25 2005-08-25 Xplore Technologies Corporation Apparatus providing multi-mode digital input
KR20100007625A (ko) * 2008-07-14 2010-01-22 엘지전자 주식회사 이동 단말기 및 그 메뉴 표시 방법
US10540976B2 (en) * 2009-06-05 2020-01-21 Apple Inc. Contextual voice commands

Cited By (221)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10318871B2 (en) 2005-09-08 2019-06-11 Apple Inc. Method and apparatus for building an intelligent automated assistant
US11928604B2 (en) 2005-09-08 2024-03-12 Apple Inc. Method and apparatus for building an intelligent automated assistant
US11671920B2 (en) 2007-04-03 2023-06-06 Apple Inc. Method and system for operating a multifunction portable electronic device using voice-activation
US11023513B2 (en) 2007-12-20 2021-06-01 Apple Inc. Method and apparatus for searching using an active ontology
US10381016B2 (en) 2008-01-03 2019-08-13 Apple Inc. Methods and apparatus for altering audio output signals
US9865248B2 (en) 2008-04-05 2018-01-09 Apple Inc. Intelligent text-to-speech conversion
US10108612B2 (en) 2008-07-31 2018-10-23 Apple Inc. Mobile device having human language translation capability with positional feedback
US11900936B2 (en) 2008-10-02 2024-02-13 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11348582B2 (en) 2008-10-02 2022-05-31 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10643611B2 (en) 2008-10-02 2020-05-05 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11080012B2 (en) 2009-06-05 2021-08-03 Apple Inc. Interface for a virtual digital assistant
US10795541B2 (en) 2009-06-05 2020-10-06 Apple Inc. Intelligent organization of tasks items
US11423886B2 (en) 2010-01-18 2022-08-23 Apple Inc. Task flow identification based on user intent
US10741185B2 (en) 2010-01-18 2020-08-11 Apple Inc. Intelligent automated assistant
US10706841B2 (en) 2010-01-18 2020-07-07 Apple Inc. Task flow identification based on user intent
US10049675B2 (en) 2010-02-25 2018-08-14 Apple Inc. User profiling for voice input processing
US10692504B2 (en) 2010-02-25 2020-06-23 Apple Inc. User profiling for voice input processing
US10417405B2 (en) 2011-03-21 2019-09-17 Apple Inc. Device access using voice authentication
US11120372B2 (en) 2011-06-03 2021-09-14 Apple Inc. Performing actions associated with task items that represent tasks to perform
US11350253B2 (en) 2011-06-03 2022-05-31 Apple Inc. Active transport based notifications
US11069336B2 (en) 2012-03-02 2021-07-20 Apple Inc. Systems and methods for name pronunciation
US11269678B2 (en) 2012-05-15 2022-03-08 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US11321116B2 (en) 2012-05-15 2022-05-03 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US10079014B2 (en) 2012-06-08 2018-09-18 Apple Inc. Name recognition system
US9576574B2 (en) 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
US9971774B2 (en) 2012-09-19 2018-05-15 Apple Inc. Voice-based media searching
US11862186B2 (en) 2013-02-07 2024-01-02 Apple Inc. Voice trigger for a digital assistant
US11636869B2 (en) 2013-02-07 2023-04-25 Apple Inc. Voice trigger for a digital assistant
US10714117B2 (en) 2013-02-07 2020-07-14 Apple Inc. Voice trigger for a digital assistant
US10978090B2 (en) 2013-02-07 2021-04-13 Apple Inc. Voice trigger for a digital assistant
US11557310B2 (en) 2013-02-07 2023-01-17 Apple Inc. Voice trigger for a digital assistant
US11388291B2 (en) 2013-03-14 2022-07-12 Apple Inc. System and method for processing voicemail
US11798547B2 (en) 2013-03-15 2023-10-24 Apple Inc. Voice activated device for use with a voice-based digital assistant
US9966060B2 (en) 2013-06-07 2018-05-08 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US10657961B2 (en) 2013-06-08 2020-05-19 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10769385B2 (en) 2013-06-09 2020-09-08 Apple Inc. System and method for inferring user intent from speech inputs
US11048473B2 (en) 2013-06-09 2021-06-29 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
US11727219B2 (en) 2013-06-09 2023-08-15 Apple Inc. System and method for inferring user intent from speech inputs
US11314370B2 (en) 2013-12-06 2022-04-26 Apple Inc. Method for extracting salient dialog usage from live data
US10497365B2 (en) 2014-05-30 2019-12-03 Apple Inc. Multi-command single utterance input method
US10714095B2 (en) 2014-05-30 2020-07-14 Apple Inc. Intelligent assistant for home automation
US10417344B2 (en) 2014-05-30 2019-09-17 Apple Inc. Exemplar-based natural language processing
US10083690B2 (en) 2014-05-30 2018-09-25 Apple Inc. Better resolution when referencing to concepts
US11810562B2 (en) 2014-05-30 2023-11-07 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US11133008B2 (en) 2014-05-30 2021-09-28 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US11699448B2 (en) 2014-05-30 2023-07-11 Apple Inc. Intelligent assistant for home automation
US10699717B2 (en) 2014-05-30 2020-06-30 Apple Inc. Intelligent assistant for home automation
US10657966B2 (en) 2014-05-30 2020-05-19 Apple Inc. Better resolution when referencing to concepts
US11670289B2 (en) 2014-05-30 2023-06-06 Apple Inc. Multi-command single utterance input method
US11257504B2 (en) 2014-05-30 2022-02-22 Apple Inc. Intelligent assistant for home automation
US10169329B2 (en) 2014-05-30 2019-01-01 Apple Inc. Exemplar-based natural language processing
US10878809B2 (en) 2014-05-30 2020-12-29 Apple Inc. Multi-command single utterance input method
US11838579B2 (en) 2014-06-30 2023-12-05 Apple Inc. Intelligent automated assistant for TV user interactions
US10904611B2 (en) 2014-06-30 2021-01-26 Apple Inc. Intelligent automated assistant for TV user interactions
US11516537B2 (en) 2014-06-30 2022-11-29 Apple Inc. Intelligent automated assistant for TV user interactions
US9668024B2 (en) 2014-06-30 2017-05-30 Apple Inc. Intelligent automated assistant for TV user interactions
US10431204B2 (en) 2014-09-11 2019-10-01 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10438595B2 (en) 2014-09-30 2019-10-08 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9986419B2 (en) 2014-09-30 2018-05-29 Apple Inc. Social reminders
US10390213B2 (en) 2014-09-30 2019-08-20 Apple Inc. Social reminders
US10453443B2 (en) 2014-09-30 2019-10-22 Apple Inc. Providing an indication of the suitability of speech recognition
KR20160084748A (ko) * 2015-01-06 2016-07-14 포항공과대학교 산학협력단 대화시스템 및 그 방법
US11231904B2 (en) 2015-03-06 2022-01-25 Apple Inc. Reducing response latency of intelligent automated assistants
US11087759B2 (en) 2015-03-08 2021-08-10 Apple Inc. Virtual assistant activation
US10311871B2 (en) 2015-03-08 2019-06-04 Apple Inc. Competing devices responding to voice triggers
US10529332B2 (en) 2015-03-08 2020-01-07 Apple Inc. Virtual assistant activation
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US10930282B2 (en) 2015-03-08 2021-02-23 Apple Inc. Competing devices responding to voice triggers
US11842734B2 (en) 2015-03-08 2023-12-12 Apple Inc. Virtual assistant activation
US11468282B2 (en) 2015-05-15 2022-10-11 Apple Inc. Virtual assistant in a communication session
US11127397B2 (en) 2015-05-27 2021-09-21 Apple Inc. Device voice control
US11070949B2 (en) 2015-05-27 2021-07-20 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on an electronic device with a touch-sensitive display
US10356243B2 (en) 2015-06-05 2019-07-16 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10681212B2 (en) 2015-06-05 2020-06-09 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US11947873B2 (en) 2015-06-29 2024-04-02 Apple Inc. Virtual assistant for media playback
US11010127B2 (en) 2015-06-29 2021-05-18 Apple Inc. Virtual assistant for media playback
US11550542B2 (en) 2015-09-08 2023-01-10 Apple Inc. Zero latency digital assistant
US11809483B2 (en) 2015-09-08 2023-11-07 Apple Inc. Intelligent automated assistant for media search and playback
US11853536B2 (en) 2015-09-08 2023-12-26 Apple Inc. Intelligent automated assistant in a media environment
US11500672B2 (en) 2015-09-08 2022-11-15 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US11126400B2 (en) 2015-09-08 2021-09-21 Apple Inc. Zero latency digital assistant
US11954405B2 (en) 2015-09-08 2024-04-09 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11809886B2 (en) 2015-11-06 2023-11-07 Apple Inc. Intelligent automated assistant in a messaging environment
US11526368B2 (en) 2015-11-06 2022-12-13 Apple Inc. Intelligent automated assistant in a messaging environment
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US11886805B2 (en) 2015-11-09 2024-01-30 Apple Inc. Unconventional virtual assistant interactions
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10354652B2 (en) 2015-12-02 2019-07-16 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10942703B2 (en) 2015-12-23 2021-03-09 Apple Inc. Proactive assistance based on dialog communication between devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
US11069347B2 (en) 2016-06-08 2021-07-20 Apple Inc. Intelligent automated assistant for media exploration
US10354011B2 (en) 2016-06-09 2019-07-16 Apple Inc. Intelligent automated assistant in a home environment
US11657820B2 (en) 2016-06-10 2023-05-23 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US11037565B2 (en) 2016-06-10 2021-06-15 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10733993B2 (en) 2016-06-10 2020-08-04 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US11152002B2 (en) 2016-06-11 2021-10-19 Apple Inc. Application integration with a digital assistant
US10269345B2 (en) 2016-06-11 2019-04-23 Apple Inc. Intelligent task discovery
US11749275B2 (en) 2016-06-11 2023-09-05 Apple Inc. Application integration with a digital assistant
US10942702B2 (en) 2016-06-11 2021-03-09 Apple Inc. Intelligent device arbitration and control
US10521466B2 (en) 2016-06-11 2019-12-31 Apple Inc. Data driven natural language event detection and classification
US11809783B2 (en) 2016-06-11 2023-11-07 Apple Inc. Intelligent device arbitration and control
US10089072B2 (en) 2016-06-11 2018-10-02 Apple Inc. Intelligent device arbitration and control
US10297253B2 (en) 2016-06-11 2019-05-21 Apple Inc. Application integration with a digital assistant
US10580409B2 (en) 2016-06-11 2020-03-03 Apple Inc. Application integration with a digital assistant
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10553215B2 (en) 2016-09-23 2020-02-04 Apple Inc. Intelligent automated assistant
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US11656884B2 (en) 2017-01-09 2023-05-23 Apple Inc. Application integration with a digital assistant
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US10332518B2 (en) 2017-05-09 2019-06-25 Apple Inc. User interface for correcting recognition errors
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
US10741181B2 (en) 2017-05-09 2020-08-11 Apple Inc. User interface for correcting recognition errors
US11599331B2 (en) 2017-05-11 2023-03-07 Apple Inc. Maintaining privacy of personal information
US11467802B2 (en) 2017-05-11 2022-10-11 Apple Inc. Maintaining privacy of personal information
US10847142B2 (en) 2017-05-11 2020-11-24 Apple Inc. Maintaining privacy of personal information
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
US10755703B2 (en) 2017-05-11 2020-08-25 Apple Inc. Offline personal assistant
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
US10789945B2 (en) 2017-05-12 2020-09-29 Apple Inc. Low-latency intelligent automated assistant
US11380310B2 (en) 2017-05-12 2022-07-05 Apple Inc. Low-latency intelligent automated assistant
US11405466B2 (en) 2017-05-12 2022-08-02 Apple Inc. Synchronization and task delegation of a digital assistant
US10410637B2 (en) 2017-05-12 2019-09-10 Apple Inc. User-specific acoustic models
US11580990B2 (en) 2017-05-12 2023-02-14 Apple Inc. User-specific acoustic models
US10791176B2 (en) 2017-05-12 2020-09-29 Apple Inc. Synchronization and task delegation of a digital assistant
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
US11538469B2 (en) 2017-05-12 2022-12-27 Apple Inc. Low-latency intelligent automated assistant
US11862151B2 (en) 2017-05-12 2024-01-02 Apple Inc. Low-latency intelligent automated assistant
US10810274B2 (en) 2017-05-15 2020-10-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
US10482874B2 (en) 2017-05-15 2019-11-19 Apple Inc. Hierarchical belief states for digital assistants
US11675829B2 (en) 2017-05-16 2023-06-13 Apple Inc. Intelligent automated assistant for media exploration
US11217255B2 (en) 2017-05-16 2022-01-04 Apple Inc. Far-field extension for digital assistant services
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
US10748546B2 (en) 2017-05-16 2020-08-18 Apple Inc. Digital assistant services based on device capabilities
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US10909171B2 (en) 2017-05-16 2021-02-02 Apple Inc. Intelligent automated assistant for media exploration
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US11532306B2 (en) 2017-05-16 2022-12-20 Apple Inc. Detecting a trigger of a digital assistant
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US11710482B2 (en) 2018-03-26 2023-07-25 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US11900923B2 (en) 2018-05-07 2024-02-13 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11487364B2 (en) 2018-05-07 2022-11-01 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11169616B2 (en) 2018-05-07 2021-11-09 Apple Inc. Raise to speak
US11854539B2 (en) 2018-05-07 2023-12-26 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11907436B2 (en) 2018-05-07 2024-02-20 Apple Inc. Raise to speak
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
US11009970B2 (en) 2018-06-01 2021-05-18 Apple Inc. Attention aware virtual assistant dismissal
US10984798B2 (en) 2018-06-01 2021-04-20 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11495218B2 (en) 2018-06-01 2022-11-08 Apple Inc. Virtual assistant operation in multi-device environments
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
US11630525B2 (en) 2018-06-01 2023-04-18 Apple Inc. Attention aware virtual assistant dismissal
US10403283B1 (en) 2018-06-01 2019-09-03 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US11360577B2 (en) 2018-06-01 2022-06-14 Apple Inc. Attention aware virtual assistant dismissal
US10720160B2 (en) 2018-06-01 2020-07-21 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10684703B2 (en) 2018-06-01 2020-06-16 Apple Inc. Attention aware virtual assistant dismissal
US11431642B2 (en) 2018-06-01 2022-08-30 Apple Inc. Variable latency device coordination
US10944859B2 (en) 2018-06-03 2021-03-09 Apple Inc. Accelerated task performance
US10504518B1 (en) 2018-06-03 2019-12-10 Apple Inc. Accelerated task performance
US10496705B1 (en) 2018-06-03 2019-12-03 Apple Inc. Accelerated task performance
KR101951196B1 (ko) * 2018-09-17 2019-02-25 (주)투비소프트 사용자의 의도에 기초하여 사용자 인터페이스를 제공하는 전자 장치 및 그의 동작 방법
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11893992B2 (en) 2018-09-28 2024-02-06 Apple Inc. Multi-modal inputs for voice commands
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11783815B2 (en) 2019-03-18 2023-10-10 Apple Inc. Multimodality in digital assistant systems
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11675491B2 (en) 2019-05-06 2023-06-13 Apple Inc. User configurable task triggers
US11217251B2 (en) 2019-05-06 2022-01-04 Apple Inc. Spoken notifications
US11705130B2 (en) 2019-05-06 2023-07-18 Apple Inc. Spoken notifications
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11888791B2 (en) 2019-05-21 2024-01-30 Apple Inc. Providing message response suggestions
US11657813B2 (en) 2019-05-31 2023-05-23 Apple Inc. Voice identification in digital assistant systems
US11360739B2 (en) 2019-05-31 2022-06-14 Apple Inc. User activity shortcut suggestions
US11237797B2 (en) 2019-05-31 2022-02-01 Apple Inc. User activity shortcut suggestions
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11790914B2 (en) 2019-06-01 2023-10-17 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
US11924254B2 (en) 2020-05-11 2024-03-05 Apple Inc. Digital assistant hardware abstraction
US11765209B2 (en) 2020-05-11 2023-09-19 Apple Inc. Digital assistant hardware abstraction
US11914848B2 (en) 2020-05-11 2024-02-27 Apple Inc. Providing relevant data items based on context
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11838734B2 (en) 2020-07-20 2023-12-05 Apple Inc. Multi-device audio adjustment coordination
US11696060B2 (en) 2020-07-21 2023-07-04 Apple Inc. User identification using headphones
US11750962B2 (en) 2020-07-21 2023-09-05 Apple Inc. User identification using headphones
WO2023058894A1 (ko) * 2021-10-08 2023-04-13 삼성전자주식회사 서버 및 이의 제어 방법

Also Published As

Publication number Publication date
US20120075178A1 (en) 2012-03-29

Similar Documents

Publication Publication Date Title
KR20120031722A (ko) 동적 응답 생성 장치 및 방법
CN111752442B (zh) 显示操作引导信息的方法、装置、终端及存储介质
US10586536B2 (en) Display device and operating method therefor
US11330342B2 (en) Method and apparatus for generating caption
US20210243528A1 (en) Spatial Audio Signal Filtering
EP2752764A2 (en) Display apparatus and method for controlling the display apparatus
US20140123185A1 (en) Broadcast receiving apparatus, server and control methods thereof
KR20130016016A (ko) 음성 인식 및 모션 인식을 이용하는 전자 장치의 제어 방법 및 이를 적용한 전자 장치
KR102227599B1 (ko) 음성인식 시스템, 음성인식 서버 및 디스플레이 장치의 제어방법
US8949123B2 (en) Display apparatus and voice conversion method thereof
CN111295708A (zh) 语音识别设备及其操作方法
JP2014109897A (ja) 情報処理装置およびコンテンツ検索方法
KR20200006905A (ko) 방송 환경들에서의 스피치 인식 애플리케이션들에 대한 스피치 강화
CN111949240A (zh) 交互方法、存储介质、服务程序和设备
US20190332345A1 (en) Electronic device and control method thereof
US20220392437A1 (en) Voice-based word recognition systems
CN113411674A (zh) 视频的播放控制方法、装置、电子设备及存储介质
Guedes et al. Extending multimedia languages to support multimodal user interactions
US10354132B2 (en) System and method for generating a virtual assistant
KR20220156786A (ko) 사용자의 발화를 기반으로 컨텐츠를 제공하는 장치 및 시스템
KR102403149B1 (ko) 전자 장치 및 그의 제어 방법
KR102460927B1 (ko) 음성인식 시스템, 음성인식 서버 및 디스플레이장치의 제어방법
KR102356989B1 (ko) 인공지능 대화 서비스 생성 방법 및 장치
JP6433765B2 (ja) 音声対話システムおよび音声対話方法
WO2020003820A1 (ja) 複数の処理を並列実行する情報処理装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application