KR20110113414A - 로봇을 위한 경험적 상황인식 방법 - Google Patents
로봇을 위한 경험적 상황인식 방법 Download PDFInfo
- Publication number
- KR20110113414A KR20110113414A KR1020100032792A KR20100032792A KR20110113414A KR 20110113414 A KR20110113414 A KR 20110113414A KR 1020100032792 A KR1020100032792 A KR 1020100032792A KR 20100032792 A KR20100032792 A KR 20100032792A KR 20110113414 A KR20110113414 A KR 20110113414A
- Authority
- KR
- South Korea
- Prior art keywords
- situation
- empirical
- model
- interaction
- models
- Prior art date
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/42—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Robotics (AREA)
- General Physics & Mathematics (AREA)
- Manipulator (AREA)
- Mechanical Engineering (AREA)
- Theoretical Computer Science (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Automation & Control Theory (AREA)
Abstract
본 발명은 로봇을 위한 경험적 상황인식 방법에 관한 것으로, 로봇의 인간 또는 로봇과 같은 주체와의 상호작용을 발생시키고 변화시키는 요인으로 인한 상황 및 그 상황에서 나타나는 상호작용의 경험적 사실을 고려하여 그것의 경험적 관계와 확률관계를 통해 상황에 대한 상호작용("상황: 상호작용")이라는 경험적 모델을 대상으로 하여 상황을 인지하고 미지의 환경이나 정보에 대해 스스로 경험을 통해서 적응하고 배워가는 학습의 능력을 수행하는 지능체계를 로봇에 구현하기 위한 기술적 방법을 제공함에 그 목적이 있다.
본 발명을 적용하면, 로봇이나 응용프로그램 및 다양한 시스템에 있어서 향상된 인공지능 업무처리 수행과 미지의 환경과 지식정보에 대해서 적응하고 알아가는 능력을 구현하기 위한 기술적 어려움을 최소화하고, 새로운 요구와 환경에 대해서도 활용성이 좋고 확장성이 우수하여 개발의 번거로움을 줄이고 복잡한 상황인식의 기술적 문제를 용이하게 해결할 수 있는 장점이 있다.
본 발명을 적용하면, 로봇이나 응용프로그램 및 다양한 시스템에 있어서 향상된 인공지능 업무처리 수행과 미지의 환경과 지식정보에 대해서 적응하고 알아가는 능력을 구현하기 위한 기술적 어려움을 최소화하고, 새로운 요구와 환경에 대해서도 활용성이 좋고 확장성이 우수하여 개발의 번거로움을 줄이고 복잡한 상황인식의 기술적 문제를 용이하게 해결할 수 있는 장점이 있다.
Description
본 발명은 로봇을 위한 경험적 상황인식 방법에 관한 것으로, 보다 상세하게는 로봇이 주어진 상황을 인식하여 인간이나 로봇과 같은 어떤 주체와의 상호작용을 수행하는데 있어서 그 상황과 상호작용의 경험적 사실을 고려하여 그것의 경험적 관계와 확률관계를 기반으로 상황을 인지하고 미지의 환경이나 정보에 대해 스스로 경험을 통해서 적응하고 배워가는 학습의 능력을 수행할 있도록 하는 인간의 지능적인 상호작용 능력과 같은 지능체계를 로봇에 구현 할 수 있기 위한 방법을 제공하는 것이다.
로봇의 이상적인 지능은 스스로 판단하여 작동하는 능력이 되어야 할 것이다. 똑똑한 로봇이라면 모르는 환경에서도 스스로 적응하고 주어진 상황을 올바르게 인지하여 인간처럼 대화하고 느끼면서 상호작용을 수행 할 것이다.
이러한 로봇의 상호작용 능력이 인간의 수준까지 이르기 위해서는 많은 기술적 어려움과 난제를 극복해야만 한다. 예컨대, 종래의 음성인식, 얼굴인식, 동작인식, 감정인식 등과 같은 HRI 기술과 무선네트워크 기술, 유비쿼터스(Ubiquitous)네트워크 시스템이 서로 융합되면서 로봇의 지능적 한계를 극복하고 있다.
하지만 아직까지는 대부분이 단순한 명령이나 동작패턴 등의 수행에 지나지 않으며 개발과정이 복잡하고 일회적인 경우가 많다.
이러한 종래 기술들은 로봇이 인식한 대상(정보 또는 데이터) 각각에 대하여 미리 저장된 데이터(지각인자)를 기초로 상호작용을 수행하기 때문에 실제 상황과 맞지 않는 상호작용을 수행할 가능성이높다. 즉, 인식한 대상 각각에 대응하여 상호작용을 결정하므로 하나의 상호작용을 결정하는 많은 요인간의 상관관계의 고려가 결여되어 현실과 부적합한 상호작용이 발생할수 있다. 따라서 가능한안 많은 경우를 설정해야 하고 새로운 요구와 환경에 대하여 활용이 제한적이고 프로그램을 추가로 작성해야 한다. 물론 이런 단점을 보완하기 위해 스스로 학습 가능하도록 하는 기술이 나오고 있지만 여전히 같은 방법의 선상에 있다는 점에서 근본적인 문제 해결을 할 수 없다.
본 발명은 이러한 방법의 문제가 상황과 상호작용간의 경험적 사실에 대한 충분한 고려가 되지 않은 것에서 비롯된 것으로 보고 경험적 지식정보 이해를 기반으로 상황에 따른 상호작용을 판단하고 예측할 수 있게 하려 한다. 그러기 위해서 인간의 지능적인 상호작용 원리를 이해하고 그것을 바탕으로 구현 가능한 상황인식의 모델을 제시해야 된다. 예컨대, 인간의 지능적 상호작용은 단순히 동물적인 감각과 지각에 의해 수행되는 것이 아니라 오랜 시간동안의 체험이나 학습을 통한 경험적 지식정보 이해를 기반으로 이루어지기 때문에 가능한 것이다.
즉 인간의 지식정보 활동의 99% 이상이 경험과 학습에 의해 이루어지며 그렇지 않은 것은 극히 일부분이다. 그렇다면 정보를 매개로 하는 인간과 로봇과 같은 주체의 상호작용에 있어서 경험과 학습에 의한 지식정보만을 취급해도 무관하다는 결론이 나온다.
따라서 "인간과 주체의 상호작용에 대한 지능적 범위는 주체가 갖고 있는 경험적 지식정보 체계에만 의존한다"라는 상호작용 지능 합리성의 명제를 제시할 수 있다.(도1a참조) 예를 들어, A와B가 전화통화를 한다고 하자. A가 B에게 뭐하는지 물어보자 B는 회의 중이라고 말한다. A는 B가 회의 중이라고 알려 주자 조용한 목소리로 그럼 나중에 통화하자고 전화를 끊는다. 여기서 A가 B에게 물어보지 않고 B가 뭐 하는지는 알 수 없다. 물어보지 않고 알아야 할 만큼의 지능은 필요하지 않다는 것을 의미한다. A가 뭐하는 지를 물어보고 대답을 통해 그 상황에 맞게 대처한다는 것은 경험을 통해 필요한 지능을 얻었다는 것을 보여 준다. 즉, 물어보고 대답을 듣는 경험을 함으로써 필요한 지능을 얻었다는 것이다. 또한 그 상황에 맞게 대처하는 것 역시 과거의 경험에 의한 것이다. 이와 같은 실제적인 인간의 지능적 상호작용 원리는 도1b와 같은 의사모델(Pseudo Model)로 표현할 수 있다.
본 발명은 위에서 본 바와 같은 실제의 인간의 지능적 상호작용 원리(도1b)를 로봇과 같은 인공지능에 적용하기 위해 경험화와 경험적 상황인식모델을 제시한다. 즉 도1b의 실제적인 인간의 지능적 상호작용 원리를 의사화해서 도1c와 같은 의사모델로하고 이를 해결하기 위한 경험화 모델(도1d)과 경함적 상황인식 모델(도1e)을 제시하는 것이다.
기본적으로 상호작용을 발생시키고 변화시키는 요인들 자체는 독립된 상황이 아니며 상황은 그 요인들의 집합체로서 상호작용에 대해서 일대일의 관계("상황: 상호작용") 갖는다. 이로써 경험적 지식정보체계는 그러한 상황과 상호작용의 쌍으로 이루어진 경험적 모델들을 관리하며 입출력을 제어하는 인터페이스 역할을 제공하는데 이러한 경험적 지식정보 체계는 경험화를 통해서 스스로 계속 변화되고 갱신된다. 이는 경험적 지식정보 이해를 기반으로 경험적 상황인식의 방법을 해결할 수 있음을 시사한다.
이와 같이, 본 발명의 목적은 경험적 상황인식과 경험화의 모델을 구현하는 기술적 방법을 제공함으로써 로봇의 지능적 한계를 극복하기 위한 경험적 지능체계를 구현할 수 있도록 한다.
상기한 바와 같이, 로봇의 지능적인 상호작용을 수행하기 위한 지능적 한계의 문제를 해결하기 위한 것이 본 발명의 목적인데, 이를 위해서는 로봇과 어떤 주체(인간 또는 로봇 등)간의 상호작용을 발생시키고 변화시키는 요인들로부터 상황요인과, 상황 그리고 상황에 대한 상호작용("상황: 상호작용")이라는 경험적 모델을 생성하고 그 모델들 간의 경험적 관계와 확률관계를 알아 낼 수 있는 상황법칙을 제시해야 하며, 이를 통해 주어진 상황에 적합한 상호작용을 결정할 수 있는 경험적 상황인식의 알고리즘을 제시해야 하며, 경험적 모델을 관리하고 그것의 입출력을 제어하는 C와 같은 컴퓨터 프로그램 기술로 구현이 가능한 특정한 인터페이스를 제공하여(후술되는 PAL 인터페이스 ) 경험적 지식정보의 변화에 따라 경험적 지식정보체계를 작성하고 수정할 수 있는 경험화의 구현모델을 제시해야 한다.
본 발명은 크게 4단계로 구성되는데, 입력된 원시데이터로부터 상황의 경험적 모델을 생성하는 경험적 모델 생성단계와 제1알고리즘을 수행하는 단계와 제2알고리즘을 수행하는 단계와 상기 제1,제2알고리즘 수행 단계에서 미지의 상황이나 새로 추가된 상황에 대한 상호작용의 경험적 모델에 대한 경험화를 수행하는 단계로 이루어진다.
상기 경험적 모델 생성단계는, 입력된 원시 데이터들의 경험적 모델을 생성하기 위한 정규화를 수행하는 제 11단계와; 정규화가 완료된 데이터들을 경험적 지식정보체계의 계층화를 거쳐 경험적 모델을 생성하는 제 12단계와; 제 12단계에서 새로 생성된 상황요인들의 경험적 모델들에서 상황법칙 3과 스칼라 변위(Scalar Displacement)의 대소 관계를 통해 마스터 상황요인을 획득하는 제 13단계와; 제 12단계의 상황요인들의 경험적 모델들에 대하여 상황법칙 1,2에 기반해서 상황의 경험적 모델을 생성하기 위한 정규화 과정을 수행하는 제 14단계와; 제 14단계에서 선택된 상황요인들의 경험적 모델들을 스칼라 변위로 구성하는 집합체인 상황의 원시모델을 생성하는 제 15단계와; 제 15단계의 상황요인들의 경험적 모델의 집합체인 상황의 원시모델을 통해 상황의 경험적 모델을 생성하는 제 16단계로 이루어진다.
여기서, 상기 원시 데이터는 원 데이터와 메타 정보로 구분되어 전송된다. 또한 상기 12단계에서 계층화는 데이터의 종류와 수평, 수직적 관계에 의해 분류되는 작업을 기초로 이뤄지고 또한 PAL 인터페이스가 구축이 되고, 원시모델과 분류모델, 파생모델을 생성하는 것을 특징으로 한다.
상기 제1알고리즘은 인식하기 위한 상황의 경험적 모델을 입력 받는 제 17단계와; 제 17단계의 상황의 경험적 모델의 각 상황요인 원소에 대한 PAL 디스크라이버의 아이템 집합들의 교집합에서 제 17단계의 상황의 경험적 모델이 존재하고 그 원소 개수가 1이 되어 상황법칙 1을 만족하는 지의 여부를 판단하여 조건을 만족하는 모델을 제17단계의 상황의 경험적 모델에 대한 경험된 모델로 결정하는 제 18단계와; 제 18단계의 조건에서 상황법칙 1을 만족하지 않고 제 18단계에서 교집합의 원소가 1보다 큰 경우 상황법칙 5에 의해 각 상황의 원소(상황요인) 개수가 가장 적은 원소를 제 17단계의 경험된 모델로 간주하는 판단을 수행하는 제 19단계와; 제 19단계의 조건을 만족하지 않는다면 경험적 지식정보체계의 경험화된 모델들로부터 확률적 추론을 통해서 제 17단계의 경험된 모델을 획득하는 제 20단계와; 제 20단계에서 경험된 모델을 획득하지 못할 경우, 제 17단계의 상황의 경험적 모델을 경험된 모델로 선택하고 이 모델에 대한 경험화를 요청하도록 수행하는 제 21단계와; 알고리즘 전체에 걸쳐 제 17단계의 상황의 경험적 모델에 대한 경험된 모델을 획득하지 못 한 경우나 예외가 발생할 경우 경험화를 요청하는 제 22단계와; 지각회로의 경험화 연산부에 미지의 경험적 모델에 대한 경험화를 요청하는 제 23단계로 이루어진다.
여기서 상기 제 11단계는 데이터들의 유효성을 검증하고, 문자열 기반의 정보 명세서가 부여되며, 고유 ID가 할당되는 고유화 등의 데이터 재정의가 이루어지고, 후행 단계의 계층화를 위한 데이터 분류 작업을 수행하는 것을 포함한다. 또한 상기 제 19단계에서, 경험화된 모델이 다중 선택이 된다면 제 17단계에 해당하는 상황의 경험적 모델의 마스터 상황요인(마스터 상황 요인이 존재할 때)에 대한 PAL 디스크라이버 아이템 집합의 원소에 속한 모델을 선택하거나 상황법칙3을 적용하여 상황요인의 스칼라 변위의 대소 관계를 우선으로 해서 결정하고, 상황의 후보 중에는 원소 개수가 적은 상황이 원소 개수가 많은 상황에 포함 되는 경우가 있으므로 상황법칙 5에 의해 원소 개수가 적은 것을 택하도록 하는 것을 특징으로 하는 로봇을 위한 경험적 상황인식 방법이 제공된다.
상기 제2알고리즘은 인식할 상황의 경험적 모델을 입력 받는 제 24단계와; 경험적 지식정보체계의 PAL 디스크라이버와 경험적 확률 추론으로 제 24단계의 상황에 대한 상호작용의 경험적 모델을 획득하는 제 25단계와; 제 25단계에서 획득한 상호작용의 경험적 모델들 중에서 상황법칙 3과 마스터 상황요인을 고려하여 최우선의 경험적 모델 하나를 선택하는 제 26단계와; 제 25단계에서 상호작용의 경험적 모델을 획득하지 못할 경우 제 24단계에 해당하는 상황의 경험적 모델의 후보 모델들에 대한 상호작용의 경험적 모델을 획득하는 제 27단계와; 상황법칙 3,5와 마스터 상황요인을 고려하여 제 24단계의 해당 상황의 경험적 모델에 대한 상호작용의 경험적 모델을 새로 생성하는 제 28단계와; 최종 선택된 상호작용의 경험적 모델의 실행시간 모델(Run Time Model) ACT를 생성하는 제 29단계와; 새롭게 생성된 제 24단계의 해당 상황에 대한 상호작용의 경험적 모델에 대하여 상황에 대한 상호작용의 경험적 모델("상황: 상호작용")로 경험화를 요청하며, 제 24단계의 해당 상황에 대한 상호작용의 경험적 모델을 얻지 못한 경우 제 24단계의 해당 상황을 미지의 상황으로 간주하고 경험화를 요청하는 제 30단계로 이루어진다.
또한 미지의 상황이나 새로 추가된 상황에 대한 상호작용의 경험적 모델에 대한 경험화를 수행하는 단계는 상기 제1알고리즘과 제2알고리즘을 수행하는 단계에서 미지의 상황의 경험적 모델이나 새롭게 추가된 상황에 대한 상호작용("상황: 상호작용")의 경험적 모델을 입력 받는 제 31단계와; 제 31단계의 경험적 모델들의 경험적 지식정보체계의 계층화를 수행하는 제 32단계와; 경험적 모델간의 스칼라 변위를 조정하는 제 33단계와(바람직하게, 33단계에서는 경험적 모델의 경험치나 주체의 속성과 현시점의 상황 등이 고려 될 수도 있다.); 제 33단계의 경험적 모델들을 경험적 지식정보체계의 소속된 계층의 PAL 요소 그룹에 추가하는 제 34단계와; 제 34단계의 경험적 모델들의 상호관계에 대한 새로운 관계성을 정의할 필요성을 검토하는 제 35단계와; 제 34단계의 PAL요소들을 PAL 디스크라이버에 추가하는 제 36단계와; 제 34단계의 경험적 모델들 중에서 모델간의 새로운 관계를 정의할 모델들에 대한 PAL 디스크라이버를 작성하는 제 37단계로 이루어진다.
바람직하게, 상기 제 28단계는 상황법칙 3에 의해 제 24단계 상황의 상황요인들의 스칼라 변위로 그 작용의 우선순위를 판단하고 상황법칙 5에 의거해 우선순위가 낮은 상황요인을 제거하여 제 24단계 상황의 경험적 모델을 수정하는 과정이 포함되며, 최종적으로 수정된 제 24단계의 해당 상황의 경험적 모델의 계층관계를 고려하여 허용범위 안에 들어오는 상호작용의 경험적 모델을 생성하는 것을 특징으로 한다.
바람직하게, 상기 제 32단계는 경험적 상황인식의 계층화를 통해 원시모델, 분류모델, 파생모델로 계층화가 되어 있는 경험적 모델들에 경험치를 반영하여 다시 계층화를 수행하고 상기 경험치는 경험적 상황인식을 거치면서 얻어진 데이터들로 상황요인들의 작용빈도, 상황의 노출빈도, 상황에 대한 상호작용의 친밀도, 상호작용의 결과 등으로 이루어진 것을 특징으로 하는 로봇을 위한 경험적 상황인식 방법이 제공된다.
바람직하게, 상기 제 35단계에서 모델간의 상호관계는 상황요인에 대한 상황, 상황에 대한 상호작용 등을 의미한다. 예를 들면 새로운 종류의 상황요인이 생성 됐다면 그것에 대한 상황의 새로운 PAL 디스크라이버를 작성해야 하는 것을 특징으로 하는 로봇을 위한 경험적 상황인식 방법이 제공된다.
본 발명에서 정의되고 해석되는 상황법칙 1은 동일 상황 공존 불가의 법칙(Equivalent Context Incompatible Law; ECIL)이며, 같은 상황은 동시에 다른 개체에 대해서 존재 할 수 없다는 법칙이다. 똑같은 상황이 두 개라면 그 상황요인도 두 개이어야 한다. 그러나 하나의 개체가 다른 상황으로 함께 존재 할 수는 없다. 개체는 유일하기 때문이다.
본 발명에서 정의되고 해석되는 상황법칙 2는 상황요인 대립 불가의 법칙 (Condition Confrontation Incompatible Law; CCIL)으로, 하나의 상황에서 대립적으로 공존 할 수는 없는 상황요인이 있음을 법칙화한 것이다. 예를 들면 같은 상호작용에 대하여 서로 다른 장소나 시간이 하나의 상황에 존재 할 수 없고, 조용한 도서관에서 전화를 하는 것은 맞지 않으므로 도서관과 전화하는 것은 대립하여 같은 상황에 공존 할 수 없다.
본 발명에서 정의하는 상황법칙 3은 상황요인 작용 우선의 법칙(Condition Operation Precedence Law; COPL)이며, 최근에 발생한 상황요인이 상호작용에 우선적으로 작용한다는 법칙이다.(최근 상황요인 우선의 법칙) 상호작용의 화제(Attentional Topic)에 관련된 상황요인이 우선적으로 작용한다(상황요인 관계 우선의 법칙). 예를 들면 소란한 교실에 수업 선생이 들어오면 학생들은 조용히 하고 선생님에게 집중하여 소란했던 교실의 상호작용은 변화된다.
본 발명에서 정의되고 해석되는 상황법칙 4는 상호작용 무차별 법칙(Interaction Indiscrimination Law; IIL)으로서, 대기상황(Idle Context)에서 발생할 수 있는 상호작용은 제한이 없다는 것이다. 즉, 대기상황에서 임의의 상호작용이 발생할 수 있다. 따라서 임의의 상호작용이 발생 할 수 있는 확률은 모든 상호작용에 대해서 같다. 예를 들면, 전화기에 어떤 사람의 전화가 걸려 올지 모르듯이 누구와의 대화도 없는 혼자 있는 사람에게 어떤 일이 발생 할 지는 아무도 모른 다. 이것은 대기상황에서 발생할 수 있는 상황요인 또한 무차별하다는 의미와도 상통한다. 이 법칙은 주체로 하여금 지능적인 상호작용을 시작하는 데 있어서 매우 유연한 지능적 범위를 제공해 준다.
본 발명에서 정의되고 해석되는 상황법칙 5는 상호작용 가시범위 축소의 법칙-상황요인 개수 비례법칙(Interaction Visibility Scope Restrict Law: IPNC)으로, 상황요인의 개수가 적을수록 그 상황에 대한 상호작용의 개수 역시 줄어들게 된다는 법칙이다. 즉, 상황요인의 개수가 적을수록 그 상황에 대해 발생할 수 있는 상호작용 개수가 줄어들어 상호작용 선택의 범위를 좁힐 수 있다. (Interaction in Proportion to Number of Condition)
본 발명에 따른 경험적 상황인식 방법은 종래 로봇의 상호작용수행의 지능 능력을 더욱 향상시켜주며 로봇뿐만 아닌 응용프로그램이나 다양한 시스템에 적용하여 향상된 인공지능 업무처리 수행을 할 수 있도록 기술적 어려움을 해결할 수 있게 되는 효과가 있다. 또한, 본 발명의 경험적 상황인식의 경험적 지능체계는 스스로 미지의 환경과 지식정보에 대해서 적응하고 알아가는 능력을 구현하는 것으로 새로운 요구와 환경에 대해 활용성이 좋고 확장성이 우수하여 개발의 번거로움을 줄이고 복잡한 상황인식의 기술적 문제를 효율적으로 해결할 수 있는 효과가 있다.
도 1a는 인간의 경험에 대한 지능합리성을 설명하기 위한 개념도이고, 도 1b는 인간의 실제적인 지능적 상호작용 모델을 설명하기 위한 개념도이고, 도 1c는 본원 발명에서 도입된 ECA 지능적 상호작용 모델을 설명하기위한 개념도이고, 도 1d는 ECA경험화모델을 도 1e는 ECA경험적 상황인식 모델을 각 설명하기 위한 개념도이다.
도 2는 로봇을 위한 경험적 상황인식 방법을 구현한 ECA지각회로가 적용된 시스템 전체의 외부 모습으로 데이터 입출력 흐름에 따른 구성층간의 연계성을 보여주기 위해 예시한 도면이다
도 3은 본 발명에 따른 로봇을 위한 경험적 상황인식 방법에 포함된 경험적 상황인식 과정의 상위흐름을 나타내는 흐름도,
도 4는 본 발명에 따른 로봇을 위한 경험적 상황인식 방법에 포함된 도 3의 경험적 모델의 계층화와 상황의 경험적 모델 생성 과정의 하위 흐름도
도 5는 본 발명에 따른 로봇을 위한 경험적 상황인식 방법에 포함된 도 4의 상황에 대한 경험된 모델을 획득하는 과정의 하위 흐름을 구현하는 알고리즘을 도시한 도면
도 6은 본 발명에 따른 로봇을 위한 경험적 상황인식 방법에 포함된 도2의 경험적 상황에 대한 경험적 상호작용 모델을 획득하는 과정의 하위 흐름을 구현하는 알고리즘을 도시한 도면,
도 7은 본 발명에 따른 로봇을 위한 경험적 상황인식 방법이 구현되는 ECA 지각회로의 경험화 과정의 하위 흐름을 나타내는 도면,
도 8, 9, 10은 본 발명에 따른 로봇을 위한 경험적 상황인식 방법에 포함되는 경험적 지식정보 체계를 구현하는 PAL인터페이스의 디스크라이버의 수행 상태를 예시한 도면이다
도 2는 로봇을 위한 경험적 상황인식 방법을 구현한 ECA지각회로가 적용된 시스템 전체의 외부 모습으로 데이터 입출력 흐름에 따른 구성층간의 연계성을 보여주기 위해 예시한 도면이다
도 3은 본 발명에 따른 로봇을 위한 경험적 상황인식 방법에 포함된 경험적 상황인식 과정의 상위흐름을 나타내는 흐름도,
도 4는 본 발명에 따른 로봇을 위한 경험적 상황인식 방법에 포함된 도 3의 경험적 모델의 계층화와 상황의 경험적 모델 생성 과정의 하위 흐름도
도 5는 본 발명에 따른 로봇을 위한 경험적 상황인식 방법에 포함된 도 4의 상황에 대한 경험된 모델을 획득하는 과정의 하위 흐름을 구현하는 알고리즘을 도시한 도면
도 6은 본 발명에 따른 로봇을 위한 경험적 상황인식 방법에 포함된 도2의 경험적 상황에 대한 경험적 상호작용 모델을 획득하는 과정의 하위 흐름을 구현하는 알고리즘을 도시한 도면,
도 7은 본 발명에 따른 로봇을 위한 경험적 상황인식 방법이 구현되는 ECA 지각회로의 경험화 과정의 하위 흐름을 나타내는 도면,
도 8, 9, 10은 본 발명에 따른 로봇을 위한 경험적 상황인식 방법에 포함되는 경험적 지식정보 체계를 구현하는 PAL인터페이스의 디스크라이버의 수행 상태를 예시한 도면이다
이하, 본 발명에 대해 도면을 참조하여 상세하게 설명한다.
본 발명에 따른 로봇을 위한 경험적 상황인식 방법(Empirical Context Aware Computing Method: ECA)은 인간이 경험에 의해 지식정보 활동을 한다는 생태학적 근거에 착안하여, 인간의 상호작용 원리를 하나의 모델로 만들어 냄으로써 지능적인 상호작용을 효율적으로 구현하고 복잡한 상황인식 구현의 문제를 쉽게 해결 해 줄 수 있다. 또한 그렇게 구축된 모델은 인간의 지식정보 활동의 대사를 모방한 것이기 때문에 상호작용의 목적과 환경의 변화에도 추가적인 개발 과정이 대부분 필요하지 않은 스스로 경험을 통한 지능성장으로 유연하게 대응해 갈 수 있다.
즉, 로봇을 위한 경험적 상황인식 방법(Empirical Context Aware Computing Method: ECA)이 적용된 로봇이나 시스템, 응용프로그램 등은 인간처럼 스스로 경험하고 지능체계를 성장시켜 감으로써 미지의 정보와 환경에 대해서도 적응해 갈 수 있다.
이를 통해, 로봇을 위한 경험적 상황인식 방법(Empirical Context Aware Computing Method: ECA)은 기존의 HRI 기술에서 보여주는 단답형 기반의 명령문, 의문문과 같은 질의에서 주체(로봇 등)의 의견이나 관심 배려 또는 의도와 같은 고등적 의사표현의 대화 수행이 가능 하도록 상호작용의 지능을 향상시켜 준다.
보다 상세하게, 로봇을 위한 경험적 상황인식 방법(Empirical Context Aware Computing Method: ECA)은 지능적인 상호작용 구현에 필요한 복합적 정보 분석 체계를 "상황에 대한 상호작용"이라는 경험적 이미지로 추상화 하고 주어진 상황요인들로부터 상호작용과, 상호작용을 결정하는 상황정보를 모델링 한다.
따라서, 로봇을 위한 경험적 상황인식 방법(Empirical Context Aware Computing Method: ECA)은 로봇의 지능적인 상호작용 구현과 AI 구현에 보다 향상된 솔루션이 될 수 있다.
본 발명에 따른 로봇을 위한 경험적 상황인식 방법(Empirical Context Aware Computing Method: ECA)의 기술적 가치를 살펴본다.
기존 로봇의 HRI 기술이 단순형 질의방식이라면, 본 발명에 따른 로봇을 위한 경험적 상황인식 방법(Empirical Context Aware Computing Method: ECA)은 고등적 대화가 가능하다.
예시 1) 경험을 통해 상대방에 대해 적응된 표현과 취지를 인식한 상태에서의 대화
- 단순형질의: 안녕하세요! (항상 일정한 패턴의 인사)
- 본 발명의 방법이 적용되는 경우: 안녕하세요. 지난번에 부탁한 일은 잘 처리 되었습니다. 또는 안녕하세요. 진행하는 일은 잘 되고 있나요? 또는 안녕하세요. 지난 번 보다 건강이 좋아 진 것 같습니다
예시 2) 경험에 의한 분석과 예측으로 의견이 반영되는 대화
- 단순형질의:
사용자: 이 근처에 가까운 한식집을 찾아줘?
3시 방향으로 200m에 한식집이 있습니다
- 본 발명의 방법이 적용되는 경우:
사용자: 이 근처에 한식집이 있으면 점심 먹고 갈까? (고등적 대화)
3시 방향으로 200m에 한식집이 있는데 맛이 없어 후회 한 적이 있습니다.
3시 방향으로 200m에 한식집이 있지만 조금 더 가면 맛있는 집이 있는 데
그 곳으로 갈까요?
사용자: 환율이 오르는데 A사 주식 팔아버릴까?
- 단순형: 팔면 안됩니다 (좀더 다양한 표현을 위해서는 절차적 방법으로 복잡한 상황 분석 필요)
- 본 발명의 방법이 적용되는 경우: 환율이 오르지만 A사 주가는 다시 오를
것 같으니 기다려 보는 게 좋을 것 같습니다
예시 3) 사용자의 라이프스타일, 성격, 기분에 적응한 고등적 대화
- 단순형질의:
사용자: 새 상품에 대한 고객 반응이 안 좋은데 해결 방법을 알려줘
가격을 내리는 방법이 있습니다. 또는 광고 효과를 높이는 방법이 있습니
다
- 본 발명의 방법이 적용되는 경우:
사용자: 이번에 출시된 상품에 대한 고객들의 반응이 별로 안 좋아 (고등 적 대화)
안타깝군요. 타사 A 제품의 영향이 커서 그런가요?
어쩌죠. 이전 제품보다 가격대 품질이 떨어진 것 같습니다. 구 제품으로 기존 고객층의 유동을 방지 하는 게 좋을 것 같습니다
사용자: 오늘 많이 춥네. (고등적 대화)
감기 조심하세요. 영하 10도인데 내일은 조금 따뜻해진다고 하네요.
사용자: 오늘 5년 만에 만나는 친구와 약속이 있다(고등적 대화)
좋겠어요. 만나서 제일 먼저 뭘 하고 싶으세요?
아 현국씨요. 정말 오랜 만에 보게 되는군요
오늘 저녁 식사에 돈 좀 쓰시겠네요
선물이라도 하나 준비하면 좋지 않을까요?
사용자: 1년 사귄 여자 친구와 헤어졌다(고등적 대화)
슬픈 일이네요. 힘내세요.
왜 헤어졌어요? 좋은 분이였잖아요
며칠 전에도 즐겁게 시간 같이 보냈잖아요?
한편, 본 발명에 따른 로봇을 위한 경험적 상황인식 방법(Empirical Context Aware Computing Method: ECA)은 미지의 환경을 스스로 경험하면서 적응해 가고 미지의 정보에 대해서도 학습을 통해 배워간다.
예컨대, 대화로 업무지시를 알려주는 것만으로 가정용 홈서비스 로봇을 공공 건물 고객 안내용 서비스 로봇으로 쉽게 변경 할 수 있다. 또한 화재 방지 로봇을 수해 방지 로봇으로 전환 시켜 줄 수도 있다. 구체적인 예를 들면,
- 사람들이 대화하고 생활하는 모습을 경험하면서 어떤 상황에서 어떻게 행동한다는 것을 알아 간다. 피곤하면 일찍 자더라, 한 동안 아무 말이 없으면 기분이 안 좋다는 것 등을 경험적으로 알아 간다.
- 처음 보는 사람과 대화를 하면서 그 사람에 대한 프로필을 작성하고, 특성을 알아간다.
- 모르는 문장, 사물 등을 인간처럼 단순히 대화만으로 배운다.
이에 반해 단순지능형 로봇 경우에 미지 환경에 대한 정보를 알려주고 미지의 정보나 지식을 다시 알려 주도록 추가 개발이 필요하다.
이하, 본 발명에 따른 로봇을 위한 경험적 상황인식 방법(Empirical Context Aware Computing Method: ECA)을 기술하기 위한 용어를 정의한다.
1) 상황(Context)
개체(個體)가 존재하는 시점의 모든 현실적 또는 가상적 요소들의 집합체. 개체가 존재하는 시점은 반드시 현재일 필요는 없다. 이것은 과거 혹은 미래가 될 수도 있다. 가상적 요소는 실제로 존재하지 않는 상상 또는 관념 속의 이미지일 수 있다. 현실적 요소는 시간, 공간, 물질의 상태, 인물, 동물, 사물, 사건 등 그 외 모든 시각적, 청각적, 후각적, 의사적, 감성적 등 인간이 느끼고 인식하는 모든 대상들이다.
2) 상황요인(Condition): 상황을 형성하고 있는 요소.
3) 상호작용(相互作用, Interaction)
둘 이상의 개체들이 어떤 정보를 매개로 서로 간에 변화를 일으키는 행위(개체의 상태변화, 행위자의 ACT 등). 하나의 개체로부터 발생된 변화를 일으키는 행위는 상호작용이 아니며 단지 그 상황의 변화이다.
이때, 개체란 반드시 ACT를 수행하는 행위자일 필요는 없다. 주변 환경의 변화에 따라 반응하는 개체가 있다면 이것 역시 환경과 반응 개체간의 상호작용이다.
4) 주체(主體):상호작용을 수행하는 개체(個體).
5) 행위자(Actor): ACT를 수행하는 주체(主體).
6) 대기상황(Idle Context): 상호작용이 발생하지 않은 상황.
7) 제로상황(Nothing Context): 어떠한 상황요인도 존재하지 않는 상황.
8) 마스터 상황요인(Master Condition): 상황요인 중에서 상호작용이 되는 상황요인 또는 상호작용에 가장 밀접하게 영향을 미치는 상황요인.
9) 경험(Experience)
경험의 사전적 의미를 포함해서 주체가 어떠한 사실(事實)을 겪어 가면서 정보나 지식을 알아가는 능력.
10) 학습(Learning)
사전적 의미를 포함해서 정보나 지식을 이해하고 습득해 가는 경험의 한 방법이다. 즉, 학습은 경험의 부분 집합이라 할 수 있다.
11) 경험화(Self Empirical Learned): 주체가 어떠한 정보나 지식을 경험적으로 이해하고 습득해 가는 과정.
12) ACT
주체가 한 번에 수행할 수 있는 행위로써 행위자의 상호작용 기본 단위가 된다. 실제 구현에서는 상호작용의 실행시간 모델(Run Time Model)을 의미한다. 예) 말(Speech),문자(Character),동작(Movement),명령처리(Command Operation)
13) PAL(Perceptual Algebra League: 지각 수리 인터페이스)
ECA에서 경험적 지식정보체계를 구현하기 위해 만든 인터페이스로써, 상황요인, 상황, 상호작용, 주체의 감정, 이성적 특성, 개체들 간의 계층관계 등을 대수학적 모델링을 통해서 수학적 해석과 접근이 용이하도록 정의한 인터페이스. 프로그램 개발 언어(예,C/C++,Java)로 구현한다.
PAL 요소는 대수학적 대소 관계를 판별할 수 있는 수치로 정의한 코드 값을 갖는다.
14) PAL 디스크라이버(Describer)
PAL 내부에 있는 정의역과 치역으로 구분된 두 개의 PAL 요소 그룹의 관계를 표현한 인터페이스. 정의역과 치역의 관계는 대부분 확률 분포로 나타나지만 경우에 따라서는 함수관계로 구현 될 수도 있다.
15) 경험적 지능체계와 경험적 지식정보 체계
경험적 지능체계는 경험적 상황인식과 경험화 연산을 통해서 구현한 하나의 지능체계를 의미하며 경험적 지식정보 체계라 함은 경험적 지능체계에서 다루는 경험적 모델들을 보관하고 관리하며 입출력을 제어하는 하나의 인터페이스이다.
본 발명에 따른 로봇을 위한 경험적 상황인식 방법(Empirical Context Aware Computing Method: ECA)의 주요 특성을 살펴본다.
첫 번째 특징은 상호작용에 영향을 주는 각각의 요인을 상황으로 보지 않고 경험적 모델이 되는 요소 전체를 하나의 상황으로 보고 "상황에 대한 상호작용"이라는 이미지로 추상화하여 ESGI 모델을 구현한다.
두 번째 특징은 상황과 상황요인의 관계 및 상황에 적합한 상호작용을 경험적 확률로 결정하거나 예측하는 특징이다.
세 번째 특징은 PAL 인터페이스를 통해 주체의 경험적 지식정보체계를 매우 유연하게 관리할 수 있는 특징이다.
네 번째 특징은 주체가 모르는 정보나 지식에 대하여 스스로 경험하면서 이해하고 습득하게 하는 특징이다.(경험화)
다섯 번째 특징은 ESGI 모델을 통해서 주체의 상호작용 지능이 자가 성장되게 하는 특징이다.
이러한, 본 발명에 따른 로봇을 위한 경험적 상황인식 방법(Empirical Context Aware Computing Method: ECA)은 전술하였듯이 본 발명에서 정의된 상황 5대 법칙을 근간으로 이루어진다.
이하, 본 발명에 따른 로봇을 위한 경험적 상황인식 방법(Empirical Context Aware Computing Method: ECA)의 기술적 구현을 우선 개략적으로 살펴본다.
1. 지각회로의 경험적 상황인식(ECA)
Step1. 지각회로는 음성인식, 얼굴인식, 감정인식, 동작인식 등의 원시 HRI 결과나 센서데이터 또는 GPS나 웹과 같은 다양한 정보로부터 상황요인, 상황, 상호작용의 경험적 모델을 생성하고 경험적 지식정보체계의 PAL디스크라이버와 경험적 확률 방법으로 상황에 대한 상호작용을 결정하여 상호작용의 실행시간 모델 ACT를 생성한다.
Step2. 외부 대화시스템에 생성된 ACT의 실행을 요청한다.
Step3. 경험하지 않은 미지의 상황을 경험화 연산부에 경험적 학습을 요청한다.
2. 지각회로의 경험화 (SEL)
경험하지 않은 미지의 상황에 대한 경험적 모델을 경험적 지식정보체계에 적용한다.
Step1. 미지의 경험적 모델의 계층화. 여기서는 경험적 모델의 원시모델, 분류모델, 파생모델을 분류하고 생성하는 과정이 포함된다.
상기 원시모델은 모델의 본래의 속성을 잃지 않은 상태의 모델이다.
상기 분류모델은 모델의 수평, 수직적 계층관계에 의해 분류되는 모델이다.
상기 파생모델은 분류모델에서 예측하여 얻어지는 확장 가능한 모델이다.
Step2. 미지의 경험적 모델로부터 PAL 인터페이스를 생성한다.
여기에는 PAL 요소를 생성하고 PAL 디스크라이버를 재 작성하여 PAL Training Samples 을 생성하는 과정이 포함된다. 이 과정에서는 PAL 요소간의 스칼라 변위(Scalar Displacement)가 변경이 되며 PAL 요소간의 새로운 관계성을 정의한 PAL 디스크라이버가 추가로 작성 될 수 있다.
이하, 도면을 참조하여 본 발명에 따른 로봇을 위한 경험적 상황인식 방법을 구체적으로 설명한다.
도 2는 본 발명에 따른 로봇을 위한 경험적 상황인식 방법을 구현한 ECA지각회로가 적용된 시스템 전체의 외부 흐름을 도시한 블록도이다. 이를 참조하면, 동 도면은 본 발명에 따른 로봇을 위한 경험적 상황인식 방법이 구현되는 ECA 지각회로가 적용된 시스템에서 구성층간의 입출력(I/O) 흐름에 따른 연산수행의 연계성을 나타낸다.
참조부호 ①은 상황요인의 원시 데이터를 보내주는 원시데이터 출력층(레이어)이다. 여기에는 기존의 HRI 솔루션(음성, 영상 입력 솔루션)이나 장치, 네트워크 시스템 등으로부터 반환되는 데이터들로 입력센서 데이터, HRI 데이터, GPS, 인터넷 정보 등 다양한 장치나 소프트웨어를 통해서 보내 줄 수 있다. 원시데이터 형식은 그것을 보내주는 구성층(레이어)에 따라 상이하지만 미디어 원래의 데이터와 메타정보로 크게 나누어 보내져야 한다.
예를 들면, 음성인식(SR) HRI 솔루션인 경우 문자열 형식의 단어나 문장이 입력되며 음성이해(SLU) 프로세싱이 가능 할 경우는 체계화된 데이터 형식(예,XML)으로 입력 될 수 있다. 영상인식 처리 경우는 인식된 영상 미디어 데이터와 그것에 대한 메타정보가 된다.
이미지나, 소리 같은 데이터들도 미디어 원래 데이터와 그것을 설명하는 메타정보가 된다. 미디어 원 데이터는 참조 가능하게 처리 된다. 이렇게 입력된 원시 데이터는 ECA 지각회로에서 처리하는 데이터 형식으로 재정의 되면서 문자열 기반의 그것에 대한 정보 명세서가 부가 된다.
참조부호 ②는 참조부호 ①에서 보내준 원시데이터를 종류별로 분류한 상황요인 데이터(음성데이터, 이미지 데이터 등)이고, ②'는 음성이해 연산층(SLU)으로써 ①의 음성인식(SR)층에서 반환된 Words를 이해하여 Known Words를 반환시켜 준다. 이것은 선택적이다. 이렇게 생성된 결과데이터는ECA의 경험적 상황인식 연산회로부(14)로 입력된다.
참조부호 ③은 ECA 상황인식 처리단계에서 사용될 경험화된 경험적 지식정보체계의 모델 데이터들이다. 이 데이터들은 PAL인터페이스에 의해 관리되고, 경험화(SEL) 단계에서 변화되고 갱신이 된다. 데이터는 상황과 상호작용, 상황과 상황요인 등 경험적 지식정보체계에서 다뤄질 대상이 되는 정보들의 경험적 모델들이다. 이것은 PAL 인터페이스를 통해서 입출력이 이루어진다.
참조부호 ④는 ECA의 경험적 상황인식을 연산하는 (경험적 상황인식) 연산회로부이다. 상황요인 데이터들을 정규화 하여 상황에 대한 상호작용이라는 경험적 지식정보 모델을 생성한다. 생성된 경험적 모델은 ECA 상황법칙에 준하여 경험적 관계와 확률관계의 분석을 기반으로 하는 후술하는 도 5의 알고리즘에 의해서 그것이 어떤 경험적 모델인지 알아내고 주체의 상호작용에 대한 ACT(⑥)를 생성한다. 또한, 생성된 경험적 모델을 경험적 지식정보체계(PAL)에 반영을 하고 경험화 연산회로층에 경험화를 요청한다.
참조부호 ⑤는 HRI 기반의 대화 시스템 연산층으로서, ECA에 의해 요청된 ACT(⑥)를 렌더링한다
참조부호 ⑥은 상기 대화 시스템 연산층(16)에서 렌더링 되어지는 ACT이다. 이것은 Speech, Word, Movement, Image, Command 등 다양한 형식으로 수행될 수 있다.
참조부호 ⑦은 ECA 지각회로의 경험화를 연산하는 경험화 연산부이다.
도 3은 본 발명에 따른 로봇을 위한 경험적 상황인식 방법에 포함된 경험적 상황인식 연산과정의 상위흐름을 나타내는 흐름도이다. 이를 참조하면, 즉, 동 도면은 도 2의 경험적 상황인식 연산회로부(④)의 상위 흐름을 나타낸 것으로, 참조부호 22는 입력된 원시 상황요인 정보들로부터 경험적 지식정보체계의 계층화를 거쳐 경험적 확률 추론방법으로 상황요인들의 경험적 모델을 생성하는 과정이다.
참조부호 24는 전 단계 과정(22)에서 새로 생성된 상황요인들의 경험적 모델로부터 상황법칙 1,2에 기반하여 상황의 경험적 모델을 생성하는 과정이다.
참조부호 26은 전 단계 과정(24)에서 새로 생성된 상황의 경험적 모델의 경험된 모델을 후술하는 도 5의 알고리즘을 통해 획득하는 과정이다.
참조부호 28은 경험적 지식정보체계의 "상황: 상호작용"의 경험적 모델을 기반으로 전 단계 과정(24)에서 상황의 경험적 모델에 대한 상호작용의 경험적 모델을 도 6의 알고리즘을 통해서 획득하는 과정이다.
참조부호 12는 앞서 설명한 바와 같이, 경험적 지식정보체계의 경험적 모델의 학습 데이터이며, 전 단계 과정(28)의 입력 데이터이다.
도 4는 본 발명에 따른 로봇을 위한 경험적 상황인식 방법에 포함된 도 3의 경험적 모델의 계층화와 상황의 경험적 모델 생성 과정을 나타내는 흐름도이다
이를 참조하면, 동 도면은 도 3의 경험적 모델 생성 과정(22,24)을 보다 구체화한 흐름도로서, 참조부호 30은 입력된 원시 데이터들의 경험적 모델을 생성하기 위한 정규화를 수행하는 과정인 바, 데이터들의 유효성을 검증하고, 문자열 기반의 정보 명세서가 부여되고, 고유 ID가 할당되는 고유화 등의 데이터 재정의가 이루어지며, 후행 연산과정(예컨대, 32)의 계층화를 위한 데이터 분류 작업을 수행한다.
참조부호 32는 정규화가 완료된 데이터들을 경험적 지식정보체계의 계층화를 거쳐 경험적 모델을 생성하는 과정으로서, 계층화는 데이터의 종류와 수평, 수직적 관계에 의해 분류되는 작업을 기초로 수행된다. (이 단계에서 PAL 인터페이스가 구축이 되며, 원시모델과 분류모델, 파생모델을 만든다)
참조부호 34는 이전 과정(32)에서 새로 생성된 상황요인들의 경험적 모델들에서 상황법칙 3과 스칼라 변위(Scalar Displacement)의 대소 관계를 통해 마스터 상황요인을 탐색하는 과정으로서, 상기 마스터 상황요인은 상호작용 후보 모델이 되기도 하며 존재 하지 않을 수도 있다.
참조부호 36은 이전 과정(32)의 상황요인들의 경험적 모델들을 상황법칙 1,2에 기반해서 상황의 경험적 모델을 생성하기 위한 정규화 과정을 수행하는 과정이다.
참조부호 38은 이전 과정(36)에서 선택된 상황요인들의 경험적 모델들을 스칼라 변위로 구성하는 집합체인 상황의 원시모델을 생성하는 연산과정이다.
참조부호 40은 이전 과정(38)의 상황요인들의 경험적 모델의 집합체인 상황의 원시모델을 통해 상황의 경험적 모델을 생성하는 연산과정이다.
도 5는 본 발명에 따른 로봇을 위한 경험적 상황인식 방법에 포함된 도3의 과정(26)의 하위 흐름으로 상황의 경험적 모델을 획득하는 알고리즘을 도시한 도면이다.
이를 참조하면, 참조부호 42는 인식하기 위한 상황의 경험적 모델을 입력 받는 연산과정이다.
참조부호 44는 이전 과정(42)의 상황의 경험적 모델의 각 상황요인 원소에 대한 PAL 디스크라이버의 아이템 집합들의 교집합에서 이전 과정(42)의 상황의 경험적 모델이 존재하고 그 원소 개수가 1이 되어 상황법칙 1을 만족하는 지의 여부를 판단하여 조건을 만족하는 모델을 이전 과정(42)의 상황의 경험적 모델에 대한 경험된 모델로 결정하는 연산과정이다.
참조부호 46은 이전 과정(44)의 조건에서 상황법칙1을 만족하지 않고 이전 과정(44)의 교집합의 원소가 1보다 큰 경우 상황법칙5에 의해 각 상황의 원소(상황요인) 개수가 가장 적은 원소를 이전 과정(42)의 경험된 모델로 간주하는 판단을 수행하는 연산과정이다. 이때, 경험된 모델이 다중 선택이 된다면 이전 과정(42)에 해당하는 상황의 경험적 모델의 마스터 상황요인(마스터 상황 요인이 존재할 때)에 대한 PAL 디스크라이버 아이템 집합의 원소에 속한 모델을 선택하거나 상황법칙3을 적용하여 상황요인의 스칼라 변위의 대소 관계를 우선으로 해서 결정한다. 상황의 후보 중에는 원소 개수가 적은 상황이 원소 개수가 많은 상황에 포함 되는 경우가 있으므로 상황법칙 5에 의해 원소 개수가 적은 것을 택하는 것은 적절할 것이다.
참조부호 48은 이전 과정(46)의 조건을 만족하지 않는다면 경험적 지식정보체계의 경험화된 모델들로부터 확률적 추론을 통해서 이전 과정(42)의 경험된 모델을 획득하는 연산과정이다. 이때, 상황법칙 2를 만족하는 모델을 획득하는 바, 찾은 모델의 수가 복수 개라면 이전 과정(46)의 과정을 수행한다.
참조부호 50은 이전 과정(48)에서 경험된 모델을 찾지 못할 경우, 이전 과정(42)의 상황의 경험적 모델을 경험된 모델로 선택하고 이 모델에 대한 경험화를 요청하도록 수행하는 연산과정이다.
참조부호 52는 알고리즘 전체에 걸쳐 이전 과정(42)의 상황의 경험적 모델에 대한 경험된 모델을 찾지 못 한 경우나 예외가 발생할 경우 경험화를 요청하는 연산과정이다.
참조부호 54는 지각회로의 경험화 연산부에 미지의 경험적 모델에 대한 경험화를 요청하는 연산 과정이다.
도 6은 본 발명에 따른 로봇을 위한 경험적 상황인식 방법에 포함된 도3의 과정(28)의 하위 흐름으로 상호작용의 경험적 모델을 획득하는 알고리즘을 도시한 도면이다.
이를 참조하면, 참조부호 60은 인식할 상황의 경험적 모델을 입력 받는 과정이며, 참조부호 62는 경험적 지식정보체계의 PAL 디스크라이버와 경험적 확률 추론으로 이전 과정(60)의 상황에 대한 상호작용의 경험적 모델을 획득하는 연산과정이다.
참조부호 64는 이전 과정(62)에서 획득한 상호작용의 경험적 모델들 중에서 상황법칙 3과 마스터 상황요인을 고려하여 최우선의 경험적 모델 하나를 선택하는 연산과정이다.
참조부호 66은 이전 과정(62)에서 상호작용의 경험적 모델을 획득하지 못할 경우 이전 과정(60)에 해당하는 상황의 경험적 모델의 후보 모델들에 대한 상호작용의 경험적 모델을 획득하는 과정인 바, 이 과정은 선택적인 것으로 필요에 따라 생략 될 수 있다.
참조부호 68은 상황법칙 3, 5와 마스터 상황요인을 고려하여 이전 과정(60)에서 해당 상황의 경험적 모델에 대한 상호작용의 경험적 모델을 새로 생성하는 과정으로서, 여기서는 상황법칙 3에 의해 이전 과정(60)상황의 상황요인들의 스칼라 변위로 그 작용의 우선순위를 판단하고 상황법칙 5에 의거해 우선순위가 낮은 상황요인을 제거하여 이전 과정(60)상황의 경험적 모델을 수정하는 과정이 포함된다. 최종적으로 수정된 이전 과정(60)의 경험적 모델의 계층관계를 고려하여 허용 범위 안에 들어오는 상호작용의 경험적 모델을 생성한다.
참조부호 70은 최종 선택된 상호작용의 경험적 모델의 실행시간 모델(Run Time Model) ACT를 생성하는 과정으로서, 이렇게 생성된 ACT는 대화시스템에 요청하게 된다.
참조부호 72는 새롭게 생성된 이전 과정(60)에 대한 상호작용의 경험적 모델에 대하여 상황에 대한 상호작용의 경험적 모델("상황: 상호작용")로 경험화를 요청하며, 이전 과정(60)의 해당 상황에 대한 상호작용의 경험적 모델을 얻지 못한 경우 이전 과정(60)의 해당 상황을 미지의 상황으로 간주하고 경험화 연산부에 경험화를 요청하는 연산 과정이다.
도 7은 본 발명에 따른 로봇을 위한 경험적 상황인식 방법이 구현되는 ECA 지각회로의 경험화 과정의 하위 흐름을 나타내는 도면이다.
이를 참조하면, 동 도면은 도 2의 경험화 과정(⑦)을 구체화한 과정들을 설명하는 바, 참조부호 80은 미지의 상황의 경험적 모델이나 새롭게 추가된 상황에 대한 상호작용("상황: 상호작용")의 경험적 모델을 입력 받는 연산과정이다.
참조부호 82는 이전 과정(80)의 경험적 모델들의 경험적 지식정보체계의 계층화를 수행하는 과정으로서, 해당 과정(82)은 경험적 상황인식의 계층화를 통해 원시모델, 분류모델, 파생모델로 계층화가 되어 있는 경험적 모델들에 경험치를 반영하여 다시 계층화를 수행한다. 경험치는 경험적 상황인식을 거치면서 얻어진 데이터들로 상황요인들의 작용빈도, 상황의 노출빈도, 상황에 대한 상호작용의 친밀도, 상호작용의 결과 등으로 이루어진다.
참조부호 84는 경험적 모델간의 스칼라 변위를 조정하는 과정으로서, 여기서는 경험적 모델의 경험치, 주체의 속성이나 현 시점의 상황 등이 고려 될 수 있다.
참조부호 86은 이전 과정(84)의 경험적 모델들을 경험적 지식정보체계의 소속된 계층의 PAL 요소 그룹에 추가하는 연산 과정이다.
참조부호 88은 이전 과정(86)의 경험적 모델들의 상호관계에 대한 새로운 관계성을 정의할 필요성을 검토하는 연산 과정으로서, 이때, 모델간의 상호관계는 상황요인에 대한 상황, 상황에 대한 상호작용 등을 의미한다. 예를 들면 새로운 종류의 상황요인이 생성 됐다면 그것에 대한 상황의 새로운 PAL 디스크라이버를 작성해야 한다.
참조부호 90은 이전 과정(86)의 PAL요소들을 PAL 디스크라이버에 추가하는 연산 과정이다. 참조부호 92는 이전 과정(86)의 경험적 모델들 중에서 모델간의 새로운 관계를 정의할 모델들에 대한 PAL 디스크라이버를 작성하는 연산 과정이다.
도 8, 9, 10은 본 발명에 따른 로봇을 위한 경험적 상황인식 방법의 경험적 지식정보체계를 구현하는 PAL 인터페이스의 디스크라이버의 수행상태의 예로써 여기서는 시간, 이벤트 상황요인에 대한 상황의 디스크라이버와 상황에 대한 상호작용의 디스크라이버를 예시한 도면이다.
이를 참조하면, 동 도면은 ECA의 경험적 지식정보체계의 PAL 디스크라이버의 단편적인 예를 보여주며 실제 구현에서는 사용자 경험이 충분히 반영된 좀 풍부하고 계층화된 자료를 기반으로 작성을 한다.
PAL 디스크라이버는 두 종류의 경험적 모델 집합(PAL 요소 그룹)의 관계성을 확률적 분포나 함수 관계로 정의한 것인데 이때의 관계성이란 것은 반드시 정의역 X축의 모델에 대해서 치역 Y축 모델의 발생 빈도만을 정의하는 것은 아니며, 경험적 모델들 간의 관계성에 따라 다양한 PAL 디스크라이버를 정의 할 수 있다.
예를 들면, 상호작용에 상관없는 상황에 따른 주체의 라이프스타일을 표현 할 수도 있다.
추가적으로 PAL 디스크라이버 상의 한 점을 PAL 아이템이라고 하는데 이 아이템은 또 다른 PAL 디스크라이버에 대한 핸들(C와 같은 컴퓨터 프로그램 언어로 작성된 프로그램상의 참조나 포인터)을 갖고 있을 수 있다. 그것을 PAL 서브디스크라이버라고 명명하는데, 아이템의 두 모델요소 X, Y성분에 각각 부속된 요소들에 대한 PAL 디스크라이버이다. 주로 아이템의 세부적인 모델들에 대한 PAL디스크라이버를 구현할 때 사용된다.
도 8은 시간이라는 상황요인에 대한 상황의 PAL 디스크라이버를 보여준다.
도 9는 사건(Event)라는 상황요인에 대한 상황의 PAL 디스크라이버를 보여준다.
도 10은 상황에 대한 ACT의 PAL디스크라이버를 보여준다. 이 예에서 아이템 (친구와 함께,*라고 물어보기)은 두 모델 요소의 세부적인 모델에 대한 PAL 서브디스크라이버를 갖고 있다는 것을 보여준다.
한편, 본 발명의 실시예에 따른 로봇을 위한 경험적 상황인식 방법은 단지 상기한 실시예에 한정되는 것이 아니라 그 기술적 요지를 이탈하지 않는 범위 내에서 다양한 변경이 가능하다.
Claims (4)
- 입력된 원시데이터로부터 상황의 경험적 모델을 생성하는 경험적 모델 생성단계; 제1알고리즘을 수행하는 단계; 제2알고리즘을 수행하는 단계; 및 상기 제1, 2알고리즘 수행단계에서 미지의 상황이나 새로 추가된 상황에 대한 상호작용의 경험적 모델에 대한 경험화를 수행하는 단계를 통해서 이루어지는 로봇을 위한 경험적 지식정보이해 기반의 상황 인식 방법에 있어서
상기 경험적 모델 생성단계는,
입력된 원시 데이터들의 경험적 모델을 생성하기 위한 정규화를 수행하는 제 11단계와; 정규화가 완료된 데이터들을 경험적 지식정보체계의 계층화를 거쳐 경험적 모델을 생성하는 제 12단계와; 제 12단계에서 새로 생성된 상황요인들의 경험적 모델들에서 상황법칙 3과 스칼라 변위(Scalar Displacement)의 대소 관계를 통해 마스터 상황요인을 획득하는 제 13단계와; 제 12단계의 상황요인들의 경험적 모델들에 대하여 상황법칙 1,2에 기반해서 상황의 경험적 모델을 생성하기 위한 정규화 과정을 수행하는 제 14단계와; 제 14단계에서 선택된 상황요인들의 경험적 모델들을 스칼라 변위로 구성하는 집합체인 상황의 원시모델을 생성하는 제 15단계와; 제 15단계의 상황요인들의 경험적 모델의 집합체인 상황의 원시모델을 통해 상황의 경험적 모델을 생성하는 제 16단계로 이루어지고,
상기 제1알고리즘은
인식하기 위한 상황의 경험적 모델을 입력 받는 제 17단계와; 제 17단계의 상황의 경험적 모델의 각 상황요인 원소에 대한 PAL 디스크라이버의 아이템 집합들의 교집합에서 제 17단계의 상황의 경험적 모델이 존재하고 그 원소 개수가 1이 되어 상황법칙 1을 만족하는 지의 여부를 판단하여 조건을 만족하는 모델을 제17단계의 상황의 경험적 모델에 대한 경험된 모델로 결정하는 제 18단계와; 제 18단계의 조건에서 상황법칙 1을 만족하지 않고 제 18단계에서 교집합의 원소가 1보다 큰 경우 상황법칙 5에 의해 각 상황의 원소(상황요인) 개수가 가장 적은 원소를 제 17단계의 경험된 모델로 간주하는 판단을 수행하는 제 19단계와; 제 19단계의 조건을 만족하지 않는다면 경험적 지식정보체계의 경험화된 모델들로부터 확률적 추론을 통해서 제 17단계의 경험된 모델을 획득하는 제 20단계와; 제 20단계에서 경험된 모델을 획득하지 못할 경우, 제 17단계의 상황의 경험적 모델을 경험된 모델로 선택하고 이 모델에 대한 경험화를 요청하도록 수행하는 제 21단계와; 알고리즘 전체에 걸쳐 제 17단계의 상황의 경험적 모델에 대한 경험된 모델을 획득하지 못 한 경우나 예외가 발생할 경우 경험화를 요청하는 제 22단계와; 지각회로의 경험화 연산부에 미지의 경험적 모델에 대한 경험화를 요청하는 제 23단계로 이루어진 것이고,
상기 제2알고리즘은,
인식할 상황의 경험적 모델을 입력 받는 제 24단계와; 경험적 지식정보체계의 PAL 디스크라이버와 경험적 확률 추론으로 제 24단계의 상황에 대한 상호작용의 경험적 모델을 획득하는 제 25단계와; 제 25단계에서 획득한 상호작용의 경험적 모델들 중에서 상황법칙 3과 마스터 상황요인을 고려하여 최우선의 경험적 모델 하나를 선택하는 제 26단계와; 제 25단계에서 상호작용의 경험적 모델을 획득하지 못할 경우 제 24단계에 해당하는 상황의 경험적 모델의 후보 모델들에 대한 상호작용의 경험적 모델을 획득하는 제 27단계와; 상황법칙 3,5와 마스터 상황요인을 고려하여 제 24단계의 해당 상황의 경험적 모델에 대한 상호작용의 경험적 모델을 새로 생성하는 제 28단계와; 최종 선택된 상호작용의 경험적 모델의 실행시간 모델(Run Time Model) ACT를 생성하는 제 29단계와; 새롭게 생성된 제 24단계의 해당 상황에 대한 상호작용의 경험적 모델에 대하여 상황에 대한 상호작용의 경험적 모델("상황: 상호작용")로 경험화를 요청하며, 제 24단계의 해당 상황에 대한 상호작용의 경험적 모델을 얻지 못한 경우 제 24단계의 해당 상황을 미지의 상황으로 간주하고 경험화를 요청하는 제 30단계로 이루어지고,
상기 제1알고리즘과 제2알고리즘을 수행하는 단계에서 미지의 상황의 경험적 모델이나 새롭게 추가된 상황에 대한 상호작용("상황: 상호작용")의 경험적 모델을 입력 받는 제 31단계와; 제 31단계의 경험적 모델들의 경험적 지식정보체계의 계층화를 수행하는 제 32단계와; 경험적 모델간의 스칼라 변위를 조정하는 제 33단계와(바람직하게, 33단계에서는 경험적 모델의 경험치나 주체의 속성과 현시점의 상황 등이 고려 될 수도 있다.); 제 33단계의 경험적 모델들을 경험적 지식정보체계의 소속된 계층의 PAL 요소 그룹에 추가하는 제 34단계와; 제 34단계의 경험적 모델들의 상호관계에 대한 새로운 관계성을 정의할 필요성을 검토하는 제 35단계와; 제 34단계의 PAL요소들을 PAL 디스크라이버에 추가하는 제 36단계와; 제 34단계의 경험적 모델들 중에서 모델간의 새로운 관계를 정의할 모델들에 대한 PAL 디스크라이버를 작성하는 제 37단계로 이루어진 것을 특징으로 하는 로봇을 위한 경험적 상황인식 방법. - 제 1항에 있어, 상기 제 11단계는 데이터들의 유효성을 검증하고, 문자열 기반의 정보 명세서가 부여되며, 고유 ID가 할당되는 고유화 등의 데이터 재정의가 이루어지고, 후행 단계의 계층화를 위한 데이터 분류 작업을 수행하는 것을 포함하고,
상기 제 19단계에서, 경험화된 모델이 다중 선택이 된다면 제 17단계에 해당하는 상황의 경험적 모델의 마스터 상황요인(마스터 상황 요인이 존재할 때)에 대한 PAL 디스크라이버 아이템 집합의 원소에 속한 모델을 선택하거나 상황법칙3을 적용하여 상황요인의 스칼라 변위의 대소 관계를 우선으로 해서 결정하고, 상황의 후보 중에는 원소 개수가 적은 상황이 원소 개수가 많은 상황에 포함 되는 경우가 있는 경우 상황법칙 5에 의해 원소 개수가 적은 것을 택하도록 하는 것을 특징으로 하는 로봇을 위한 경험적 상황인식 방법. - 제 1항에 있어서, 상기 제 28단계는 상황법칙 3에 의해 제 24단계 상황의 상황요인들의 스칼라 변위로 그 작용의 우선순위를 판단하고 상황법칙 5에 의거해 우선순위가 낮은 상황요인을 제거하여 제 24단계 상황의 경험적 모델을 수정하는 과정이 포함되며, 최종적으로 수정된 제 24단계의 해당 상황의 경험적 모델의 계층관계를 고려하여 허용범위 안에 들어오는 상호작용의 경험적 모델을 생성하는 것을 특징으로 하는 로봇을 위한 경험적 상황인식 방법.
- 제 1항에 있어서, 상기 제 32단계는 경험적 상황인식의 계층화를 통해 원시모델, 분류모델, 파생모델로 계층화가 되어 있는 경험적 모델들에 경험치를 반영하여 다시 계층화를 수행하고 상기 경험치는 경험적 상황인식을 거치면서 얻어진 데이터들로 상황요인들의 작용빈도, 상황의 노출빈도, 상황에 대한 상호작용의 친밀도, 상호작용의 결과 등으로 이루어진 것을 특징으로 하는 로봇을 위한 경험적 상황인식 방법.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020100032792A KR101369810B1 (ko) | 2010-04-09 | 2010-04-09 | 로봇을 위한 경험적 상황인식 방법을 실행하는 프로그램을 기록한 컴퓨터 판독가능한 기록 매체. |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020100032792A KR101369810B1 (ko) | 2010-04-09 | 2010-04-09 | 로봇을 위한 경험적 상황인식 방법을 실행하는 프로그램을 기록한 컴퓨터 판독가능한 기록 매체. |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20110113414A true KR20110113414A (ko) | 2011-10-17 |
KR101369810B1 KR101369810B1 (ko) | 2014-03-05 |
Family
ID=45028773
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020100032792A KR101369810B1 (ko) | 2010-04-09 | 2010-04-09 | 로봇을 위한 경험적 상황인식 방법을 실행하는 프로그램을 기록한 컴퓨터 판독가능한 기록 매체. |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101369810B1 (ko) |
Cited By (209)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8862252B2 (en) | 2009-01-30 | 2014-10-14 | Apple Inc. | Audio user interface for displayless electronic device |
US8892446B2 (en) | 2010-01-18 | 2014-11-18 | Apple Inc. | Service orchestration for intelligent automated assistant |
US8898568B2 (en) | 2008-09-09 | 2014-11-25 | Apple Inc. | Audio user interface |
US8935167B2 (en) | 2012-09-25 | 2015-01-13 | Apple Inc. | Exemplar-based latent perceptual modeling for automatic speech recognition |
US8943089B2 (en) | 2007-10-26 | 2015-01-27 | Apple Inc. | Search assistant for digital media assets |
US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
US8996376B2 (en) | 2008-04-05 | 2015-03-31 | Apple Inc. | Intelligent text-to-speech conversion |
US9053089B2 (en) | 2007-10-02 | 2015-06-09 | Apple Inc. | Part-of-speech tagging using latent analogy |
US9075783B2 (en) | 2010-09-27 | 2015-07-07 | Apple Inc. | Electronic device with text error correction based on voice recognition data |
US9104670B2 (en) | 2010-07-21 | 2015-08-11 | Apple Inc. | Customized search or acquisition of digital media assets |
US9190062B2 (en) | 2010-02-25 | 2015-11-17 | Apple Inc. | User profiling for voice input processing |
US9262612B2 (en) | 2011-03-21 | 2016-02-16 | Apple Inc. | Device access using voice authentication |
US9280610B2 (en) | 2012-05-14 | 2016-03-08 | Apple Inc. | Crowd sourcing information to fulfill user requests |
US9300784B2 (en) | 2013-06-13 | 2016-03-29 | Apple Inc. | System and method for emergency calls initiated by voice command |
US9311043B2 (en) | 2010-01-13 | 2016-04-12 | Apple Inc. | Adaptive audio feedback system and method |
US9330381B2 (en) | 2008-01-06 | 2016-05-03 | Apple Inc. | Portable multifunction device, method, and graphical user interface for viewing and managing electronic calendars |
US9330720B2 (en) | 2008-01-03 | 2016-05-03 | Apple Inc. | Methods and apparatus for altering audio output signals |
US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
US9361886B2 (en) | 2008-02-22 | 2016-06-07 | Apple Inc. | Providing text input using speech data and non-speech data |
US9368114B2 (en) | 2013-03-14 | 2016-06-14 | Apple Inc. | Context-sensitive handling of interruptions |
US9389729B2 (en) | 2005-09-30 | 2016-07-12 | Apple Inc. | Automated response to and sensing of user activity in portable devices |
US9412392B2 (en) | 2008-10-02 | 2016-08-09 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
US9430463B2 (en) | 2014-05-30 | 2016-08-30 | Apple Inc. | Exemplar-based natural language processing |
USRE46139E1 (en) | 2008-03-04 | 2016-09-06 | Apple Inc. | Language input interface on a device |
US9483461B2 (en) | 2012-03-06 | 2016-11-01 | Apple Inc. | Handling speech synthesis of content for multiple languages |
US9501741B2 (en) | 2005-09-08 | 2016-11-22 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
US9502031B2 (en) | 2014-05-27 | 2016-11-22 | Apple Inc. | Method for supporting dynamic grammars in WFST-based ASR |
US9535906B2 (en) | 2008-07-31 | 2017-01-03 | Apple Inc. | Mobile device having human language translation capability with positional feedback |
US9547647B2 (en) | 2012-09-19 | 2017-01-17 | Apple Inc. | Voice-based media searching |
US9576574B2 (en) | 2012-09-10 | 2017-02-21 | Apple Inc. | Context-sensitive handling of interruptions by intelligent digital assistant |
US9582608B2 (en) | 2013-06-07 | 2017-02-28 | Apple Inc. | Unified ranking with entropy-weighted information for phrase-based semantic auto-completion |
US9620104B2 (en) | 2013-06-07 | 2017-04-11 | Apple Inc. | System and method for user-specified pronunciation of words for speech synthesis and recognition |
US9620105B2 (en) | 2014-05-15 | 2017-04-11 | Apple Inc. | Analyzing audio input for efficient speech and music recognition |
US9633674B2 (en) | 2013-06-07 | 2017-04-25 | Apple Inc. | System and method for detecting errors in interactions with a voice-based digital assistant |
US9633004B2 (en) | 2014-05-30 | 2017-04-25 | Apple Inc. | Better resolution when referencing to concepts |
US9646614B2 (en) | 2000-03-16 | 2017-05-09 | Apple Inc. | Fast, language-independent method for user authentication by voice |
US9646609B2 (en) | 2014-09-30 | 2017-05-09 | Apple Inc. | Caching apparatus for serving phonetic pronunciations |
US9668121B2 (en) | 2014-09-30 | 2017-05-30 | Apple Inc. | Social reminders |
US9691383B2 (en) | 2008-09-05 | 2017-06-27 | Apple Inc. | Multi-tiered voice feedback in an electronic device |
US9697822B1 (en) | 2013-03-15 | 2017-07-04 | Apple Inc. | System and method for updating an adaptive speech recognition model |
US9697820B2 (en) | 2015-09-24 | 2017-07-04 | Apple Inc. | Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks |
US9711141B2 (en) | 2014-12-09 | 2017-07-18 | Apple Inc. | Disambiguating heteronyms in speech synthesis |
US9715875B2 (en) | 2014-05-30 | 2017-07-25 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
US9721563B2 (en) | 2012-06-08 | 2017-08-01 | Apple Inc. | Name recognition system |
US9721566B2 (en) | 2015-03-08 | 2017-08-01 | Apple Inc. | Competing devices responding to voice triggers |
US9733821B2 (en) | 2013-03-14 | 2017-08-15 | Apple Inc. | Voice control to diagnose inadvertent activation of accessibility features |
US9734193B2 (en) | 2014-05-30 | 2017-08-15 | Apple Inc. | Determining domain salience ranking from ambiguous words in natural speech |
US9760559B2 (en) | 2014-05-30 | 2017-09-12 | Apple Inc. | Predictive text input |
US9785630B2 (en) | 2014-05-30 | 2017-10-10 | Apple Inc. | Text prediction using combined word N-gram and unigram language models |
US9798393B2 (en) | 2011-08-29 | 2017-10-24 | Apple Inc. | Text correction processing |
US9818400B2 (en) | 2014-09-11 | 2017-11-14 | Apple Inc. | Method and apparatus for discovering trending terms in speech requests |
US9842105B2 (en) | 2015-04-16 | 2017-12-12 | Apple Inc. | Parsimonious continuous-space phrase representations for natural language processing |
US9842101B2 (en) | 2014-05-30 | 2017-12-12 | Apple Inc. | Predictive conversion of language input |
US9858925B2 (en) | 2009-06-05 | 2018-01-02 | Apple Inc. | Using context information to facilitate processing of commands in a virtual assistant |
US9865280B2 (en) | 2015-03-06 | 2018-01-09 | Apple Inc. | Structured dictation using intelligent automated assistants |
US9886432B2 (en) | 2014-09-30 | 2018-02-06 | Apple Inc. | Parsimonious handling of word inflection via categorical stem + suffix N-gram language models |
US9886953B2 (en) | 2015-03-08 | 2018-02-06 | Apple Inc. | Virtual assistant activation |
US9899019B2 (en) | 2015-03-18 | 2018-02-20 | Apple Inc. | Systems and methods for structured stem and suffix language models |
US9922642B2 (en) | 2013-03-15 | 2018-03-20 | Apple Inc. | Training an at least partial voice command system |
US9934775B2 (en) | 2016-05-26 | 2018-04-03 | Apple Inc. | Unit-selection text-to-speech synthesis based on predicted concatenation parameters |
US9946706B2 (en) | 2008-06-07 | 2018-04-17 | Apple Inc. | Automatic language identification for dynamic text processing |
US9959870B2 (en) | 2008-12-11 | 2018-05-01 | Apple Inc. | Speech recognition involving a mobile device |
US9966068B2 (en) | 2013-06-08 | 2018-05-08 | Apple Inc. | Interpreting and acting upon commands that involve sharing information with remote devices |
US9966065B2 (en) | 2014-05-30 | 2018-05-08 | Apple Inc. | Multi-command single utterance input method |
US9972304B2 (en) | 2016-06-03 | 2018-05-15 | Apple Inc. | Privacy preserving distributed evaluation framework for embedded personalized systems |
US9977779B2 (en) | 2013-03-14 | 2018-05-22 | Apple Inc. | Automatic supplementation of word correction dictionaries |
US10002189B2 (en) | 2007-12-20 | 2018-06-19 | Apple Inc. | Method and apparatus for searching using an active ontology |
US10019994B2 (en) | 2012-06-08 | 2018-07-10 | Apple Inc. | Systems and methods for recognizing textual identifiers within a plurality of words |
US10043516B2 (en) | 2016-09-23 | 2018-08-07 | Apple Inc. | Intelligent automated assistant |
US10049668B2 (en) | 2015-12-02 | 2018-08-14 | Apple Inc. | Applying neural network language models to weighted finite state transducers for automatic speech recognition |
US10049663B2 (en) | 2016-06-08 | 2018-08-14 | Apple, Inc. | Intelligent automated assistant for media exploration |
US10057736B2 (en) | 2011-06-03 | 2018-08-21 | Apple Inc. | Active transport based notifications |
US10067938B2 (en) | 2016-06-10 | 2018-09-04 | Apple Inc. | Multilingual word prediction |
US10074360B2 (en) | 2014-09-30 | 2018-09-11 | Apple Inc. | Providing an indication of the suitability of speech recognition |
US10078631B2 (en) | 2014-05-30 | 2018-09-18 | Apple Inc. | Entropy-guided text prediction using combined word and character n-gram language models |
US10078487B2 (en) | 2013-03-15 | 2018-09-18 | Apple Inc. | Context-sensitive handling of interruptions |
US10083688B2 (en) | 2015-05-27 | 2018-09-25 | Apple Inc. | Device voice control for selecting a displayed affordance |
US10089072B2 (en) | 2016-06-11 | 2018-10-02 | Apple Inc. | Intelligent device arbitration and control |
US10101822B2 (en) | 2015-06-05 | 2018-10-16 | Apple Inc. | Language input correction |
US10127911B2 (en) | 2014-09-30 | 2018-11-13 | Apple Inc. | Speaker identification and unsupervised speaker adaptation techniques |
US10127220B2 (en) | 2015-06-04 | 2018-11-13 | Apple Inc. | Language identification from short strings |
US10134385B2 (en) | 2012-03-02 | 2018-11-20 | Apple Inc. | Systems and methods for name pronunciation |
US10170123B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
US10176167B2 (en) | 2013-06-09 | 2019-01-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
US10185542B2 (en) | 2013-06-09 | 2019-01-22 | Apple Inc. | Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant |
US10186254B2 (en) | 2015-06-07 | 2019-01-22 | Apple Inc. | Context-based endpoint detection |
US10192552B2 (en) | 2016-06-10 | 2019-01-29 | Apple Inc. | Digital assistant providing whispered speech |
US10199051B2 (en) | 2013-02-07 | 2019-02-05 | Apple Inc. | Voice trigger for a digital assistant |
WO2019027227A1 (en) | 2017-08-01 | 2019-02-07 | Lg Electronics Inc. | VACUUM ADIABATIC BODY AND REFRIGERATOR |
US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
US10241752B2 (en) | 2011-09-30 | 2019-03-26 | Apple Inc. | Interface for a virtual digital assistant |
US10241644B2 (en) | 2011-06-03 | 2019-03-26 | Apple Inc. | Actionable reminder entries |
US10249300B2 (en) | 2016-06-06 | 2019-04-02 | Apple Inc. | Intelligent list reading |
US10255907B2 (en) | 2015-06-07 | 2019-04-09 | Apple Inc. | Automatic accent detection using acoustic models |
US10255566B2 (en) | 2011-06-03 | 2019-04-09 | Apple Inc. | Generating and processing task items that represent tasks to perform |
US10269345B2 (en) | 2016-06-11 | 2019-04-23 | Apple Inc. | Intelligent task discovery |
US10276170B2 (en) | 2010-01-18 | 2019-04-30 | Apple Inc. | Intelligent automated assistant |
US10283110B2 (en) | 2009-07-02 | 2019-05-07 | Apple Inc. | Methods and apparatuses for automatic speech recognition |
US10289433B2 (en) | 2014-05-30 | 2019-05-14 | Apple Inc. | Domain specific language for encoding assistant dialog |
US10297253B2 (en) | 2016-06-11 | 2019-05-21 | Apple Inc. | Application integration with a digital assistant |
US10296160B2 (en) | 2013-12-06 | 2019-05-21 | Apple Inc. | Method for extracting salient dialog usage from live data |
US10303715B2 (en) | 2017-05-16 | 2019-05-28 | Apple Inc. | Intelligent automated assistant for media exploration |
US10311144B2 (en) | 2017-05-16 | 2019-06-04 | Apple Inc. | Emoji word sense disambiguation |
US10332518B2 (en) | 2017-05-09 | 2019-06-25 | Apple Inc. | User interface for correcting recognition errors |
US10348654B2 (en) | 2003-05-02 | 2019-07-09 | Apple Inc. | Method and apparatus for displaying information during an instant messaging session |
US10354011B2 (en) | 2016-06-09 | 2019-07-16 | Apple Inc. | Intelligent automated assistant in a home environment |
US10356243B2 (en) | 2015-06-05 | 2019-07-16 | Apple Inc. | Virtual assistant aided communication with 3rd party service in a communication session |
US10366158B2 (en) | 2015-09-29 | 2019-07-30 | Apple Inc. | Efficient word encoding for recurrent neural network language models |
US10395654B2 (en) | 2017-05-11 | 2019-08-27 | Apple Inc. | Text normalization based on a data-driven learning network |
US10403283B1 (en) | 2018-06-01 | 2019-09-03 | Apple Inc. | Voice interaction at a primary device to access call functionality of a companion device |
US10403278B2 (en) | 2017-05-16 | 2019-09-03 | Apple Inc. | Methods and systems for phonetic matching in digital assistant services |
US10410637B2 (en) | 2017-05-12 | 2019-09-10 | Apple Inc. | User-specific acoustic models |
US10417266B2 (en) | 2017-05-09 | 2019-09-17 | Apple Inc. | Context-aware ranking of intelligent response suggestions |
US10417037B2 (en) | 2012-05-15 | 2019-09-17 | Apple Inc. | Systems and methods for integrating third party services with a digital assistant |
US10446143B2 (en) | 2016-03-14 | 2019-10-15 | Apple Inc. | Identification of voice inputs providing credentials |
US10446167B2 (en) | 2010-06-04 | 2019-10-15 | Apple Inc. | User-specific noise suppression for voice quality improvements |
US10446141B2 (en) | 2014-08-28 | 2019-10-15 | Apple Inc. | Automatic speech recognition based on user feedback |
US10445429B2 (en) | 2017-09-21 | 2019-10-15 | Apple Inc. | Natural language understanding using vocabularies with compressed serialized tries |
US10474753B2 (en) | 2016-09-07 | 2019-11-12 | Apple Inc. | Language identification using recurrent neural networks |
US10482874B2 (en) | 2017-05-15 | 2019-11-19 | Apple Inc. | Hierarchical belief states for digital assistants |
US10490187B2 (en) | 2016-06-10 | 2019-11-26 | Apple Inc. | Digital assistant providing automated status report |
US10496753B2 (en) | 2010-01-18 | 2019-12-03 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
US10496705B1 (en) | 2018-06-03 | 2019-12-03 | Apple Inc. | Accelerated task performance |
US10509862B2 (en) | 2016-06-10 | 2019-12-17 | Apple Inc. | Dynamic phrase expansion of language input |
US10515147B2 (en) | 2010-12-22 | 2019-12-24 | Apple Inc. | Using statistical language models for contextual lookup |
US10521466B2 (en) | 2016-06-11 | 2019-12-31 | Apple Inc. | Data driven natural language event detection and classification |
US10540976B2 (en) | 2009-06-05 | 2020-01-21 | Apple Inc. | Contextual voice commands |
US10553209B2 (en) | 2010-01-18 | 2020-02-04 | Apple Inc. | Systems and methods for hands-free notification summaries |
US10552013B2 (en) | 2014-12-02 | 2020-02-04 | Apple Inc. | Data detection |
US10567477B2 (en) | 2015-03-08 | 2020-02-18 | Apple Inc. | Virtual assistant continuity |
US10572476B2 (en) | 2013-03-14 | 2020-02-25 | Apple Inc. | Refining a search based on schedule items |
US10592604B2 (en) | 2018-03-12 | 2020-03-17 | Apple Inc. | Inverse text normalization for automatic speech recognition |
US10593346B2 (en) | 2016-12-22 | 2020-03-17 | Apple Inc. | Rank-reduced token representation for automatic speech recognition |
US10592095B2 (en) | 2014-05-23 | 2020-03-17 | Apple Inc. | Instantaneous speaking of content on touch devices |
US10636424B2 (en) | 2017-11-30 | 2020-04-28 | Apple Inc. | Multi-turn canned dialog |
US10642574B2 (en) | 2013-03-14 | 2020-05-05 | Apple Inc. | Device, method, and graphical user interface for outputting captions |
US10652394B2 (en) | 2013-03-14 | 2020-05-12 | Apple Inc. | System and method for processing voicemail |
US10659851B2 (en) | 2014-06-30 | 2020-05-19 | Apple Inc. | Real-time digital assistant knowledge updates |
US10657328B2 (en) | 2017-06-02 | 2020-05-19 | Apple Inc. | Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling |
US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
US10672399B2 (en) | 2011-06-03 | 2020-06-02 | Apple Inc. | Switching between text data and audio data based on a mapping |
US10679605B2 (en) | 2010-01-18 | 2020-06-09 | Apple Inc. | Hands-free list-reading by intelligent automated assistant |
US10684703B2 (en) | 2018-06-01 | 2020-06-16 | Apple Inc. | Attention aware virtual assistant dismissal |
US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
US10726832B2 (en) | 2017-05-11 | 2020-07-28 | Apple Inc. | Maintaining privacy of personal information |
US10733375B2 (en) | 2018-01-31 | 2020-08-04 | Apple Inc. | Knowledge-based framework for improving natural language understanding |
US10733993B2 (en) | 2016-06-10 | 2020-08-04 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
US10733982B2 (en) | 2018-01-08 | 2020-08-04 | Apple Inc. | Multi-directional dialog |
US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
US10748529B1 (en) | 2013-03-15 | 2020-08-18 | Apple Inc. | Voice activated device for use with a voice-based digital assistant |
US10748546B2 (en) | 2017-05-16 | 2020-08-18 | Apple Inc. | Digital assistant services based on device capabilities |
US10755051B2 (en) | 2017-09-29 | 2020-08-25 | Apple Inc. | Rule-based natural language processing |
US10755703B2 (en) | 2017-05-11 | 2020-08-25 | Apple Inc. | Offline personal assistant |
US10762293B2 (en) | 2010-12-22 | 2020-09-01 | Apple Inc. | Using parts-of-speech tagging and named entity recognition for spelling correction |
US10791176B2 (en) | 2017-05-12 | 2020-09-29 | Apple Inc. | Synchronization and task delegation of a digital assistant |
US10789945B2 (en) | 2017-05-12 | 2020-09-29 | Apple Inc. | Low-latency intelligent automated assistant |
US10789959B2 (en) | 2018-03-02 | 2020-09-29 | Apple Inc. | Training speaker recognition models for digital assistants |
US10791216B2 (en) | 2013-08-06 | 2020-09-29 | Apple Inc. | Auto-activating smart responses based on activities from remote devices |
US10789041B2 (en) | 2014-09-12 | 2020-09-29 | Apple Inc. | Dynamic thresholds for always listening speech trigger |
US10810274B2 (en) | 2017-05-15 | 2020-10-20 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
US10818288B2 (en) | 2018-03-26 | 2020-10-27 | Apple Inc. | Natural assistant interaction |
US10839159B2 (en) | 2018-09-28 | 2020-11-17 | Apple Inc. | Named entity normalization in a spoken dialog system |
US10892996B2 (en) | 2018-06-01 | 2021-01-12 | Apple Inc. | Variable latency device coordination |
US10909331B2 (en) | 2018-03-30 | 2021-02-02 | Apple Inc. | Implicit identification of translation payload with neural machine translation |
US10928918B2 (en) | 2018-05-07 | 2021-02-23 | Apple Inc. | Raise to speak |
US10984780B2 (en) | 2018-05-21 | 2021-04-20 | Apple Inc. | Global semantic word embeddings using bi-directional recurrent neural networks |
US11010127B2 (en) | 2015-06-29 | 2021-05-18 | Apple Inc. | Virtual assistant for media playback |
US11010550B2 (en) | 2015-09-29 | 2021-05-18 | Apple Inc. | Unified language modeling framework for word prediction, auto-completion and auto-correction |
US11010561B2 (en) | 2018-09-27 | 2021-05-18 | Apple Inc. | Sentiment prediction from textual data |
US11025565B2 (en) | 2015-06-07 | 2021-06-01 | Apple Inc. | Personalized prediction of responses for instant messaging |
US11070949B2 (en) | 2015-05-27 | 2021-07-20 | Apple Inc. | Systems and methods for proactively identifying and surfacing relevant content on an electronic device with a touch-sensitive display |
US11140099B2 (en) | 2019-05-21 | 2021-10-05 | Apple Inc. | Providing message response suggestions |
US11145294B2 (en) | 2018-05-07 | 2021-10-12 | Apple Inc. | Intelligent automated assistant for delivering content from user experiences |
US11151899B2 (en) | 2013-03-15 | 2021-10-19 | Apple Inc. | User training by intelligent digital assistant |
US11170166B2 (en) | 2018-09-28 | 2021-11-09 | Apple Inc. | Neural typographical error modeling via generative adversarial networks |
US11204787B2 (en) | 2017-01-09 | 2021-12-21 | Apple Inc. | Application integration with a digital assistant |
US11217251B2 (en) | 2019-05-06 | 2022-01-04 | Apple Inc. | Spoken notifications |
US11227589B2 (en) | 2016-06-06 | 2022-01-18 | Apple Inc. | Intelligent list reading |
US11231904B2 (en) | 2015-03-06 | 2022-01-25 | Apple Inc. | Reducing response latency of intelligent automated assistants |
US11237797B2 (en) | 2019-05-31 | 2022-02-01 | Apple Inc. | User activity shortcut suggestions |
US11260727B2 (en) | 2017-08-01 | 2022-03-01 | Lg Electronics Inc. | Vehicle, refrigerator for vehicle, and controlling method for refrigerator for vehicle |
US11281993B2 (en) | 2016-12-05 | 2022-03-22 | Apple Inc. | Model and ensemble compression for metric learning |
US11289073B2 (en) | 2019-05-31 | 2022-03-29 | Apple Inc. | Device text to speech |
US11301477B2 (en) | 2017-05-12 | 2022-04-12 | Apple Inc. | Feedback analysis of a digital assistant |
US11307752B2 (en) | 2019-05-06 | 2022-04-19 | Apple Inc. | User configurable task triggers |
US11348573B2 (en) | 2019-03-18 | 2022-05-31 | Apple Inc. | Multimodality in digital assistant systems |
US11360641B2 (en) | 2019-06-01 | 2022-06-14 | Apple Inc. | Increasing the relevance of new available information |
US11386266B2 (en) | 2018-06-01 | 2022-07-12 | Apple Inc. | Text correction |
US11423908B2 (en) | 2019-05-06 | 2022-08-23 | Apple Inc. | Interpreting spoken requests |
US11462215B2 (en) | 2018-09-28 | 2022-10-04 | Apple Inc. | Multi-modal inputs for voice commands |
US11466925B2 (en) | 2017-08-16 | 2022-10-11 | Lg Electronics Inc. | Vacuum adiabatic body and refrigerator |
US11468282B2 (en) | 2015-05-15 | 2022-10-11 | Apple Inc. | Virtual assistant in a communication session |
US11475898B2 (en) | 2018-10-26 | 2022-10-18 | Apple Inc. | Low-latency multi-speaker speech recognition |
US11475884B2 (en) | 2019-05-06 | 2022-10-18 | Apple Inc. | Reducing digital assistant latency when a language is incorrectly determined |
US11488406B2 (en) | 2019-09-25 | 2022-11-01 | Apple Inc. | Text detection using global geometry estimators |
US11495218B2 (en) | 2018-06-01 | 2022-11-08 | Apple Inc. | Virtual assistant operation in multi-device environments |
US11496600B2 (en) | 2019-05-31 | 2022-11-08 | Apple Inc. | Remote execution of machine-learned models |
US11532306B2 (en) | 2017-05-16 | 2022-12-20 | Apple Inc. | Detecting a trigger of a digital assistant |
US11536415B2 (en) | 2017-08-01 | 2022-12-27 | Lg Electronics Inc. | Vacuum adiabatic body and refrigerator |
US11587559B2 (en) | 2015-09-30 | 2023-02-21 | Apple Inc. | Intelligent device identification |
US11624550B2 (en) | 2017-08-01 | 2023-04-11 | Lg Electronics Inc. | Vacuum adiabatic body and refrigerator |
US11638059B2 (en) | 2019-01-04 | 2023-04-25 | Apple Inc. | Content playback on multiple devices |
US11657813B2 (en) | 2019-05-31 | 2023-05-23 | Apple Inc. | Voice identification in digital assistant systems |
US11725768B2 (en) | 2017-08-01 | 2023-08-15 | Lg Electronics Inc. | Vacuum adiabatic body, refrigerating or warming apparatus, and method for manufacturing vacuum adiabatic body |
US11755276B2 (en) | 2020-05-12 | 2023-09-12 | Apple Inc. | Reducing description length based on confidence |
US11765209B2 (en) | 2020-05-11 | 2023-09-19 | Apple Inc. | Digital assistant hardware abstraction |
US11809483B2 (en) | 2015-09-08 | 2023-11-07 | Apple Inc. | Intelligent automated assistant for media search and playback |
US11853536B2 (en) | 2015-09-08 | 2023-12-26 | Apple Inc. | Intelligent automated assistant in a media environment |
US11886805B2 (en) | 2015-11-09 | 2024-01-30 | Apple Inc. | Unconventional virtual assistant interactions |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007041295A2 (en) | 2005-09-30 | 2007-04-12 | Irobot Corporation | Companion robot for personal interaction |
-
2010
- 2010-04-09 KR KR1020100032792A patent/KR101369810B1/ko not_active IP Right Cessation
Cited By (344)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9646614B2 (en) | 2000-03-16 | 2017-05-09 | Apple Inc. | Fast, language-independent method for user authentication by voice |
US10348654B2 (en) | 2003-05-02 | 2019-07-09 | Apple Inc. | Method and apparatus for displaying information during an instant messaging session |
US10623347B2 (en) | 2003-05-02 | 2020-04-14 | Apple Inc. | Method and apparatus for displaying information during an instant messaging session |
US11928604B2 (en) | 2005-09-08 | 2024-03-12 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
US10318871B2 (en) | 2005-09-08 | 2019-06-11 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
US9501741B2 (en) | 2005-09-08 | 2016-11-22 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
US9389729B2 (en) | 2005-09-30 | 2016-07-12 | Apple Inc. | Automated response to and sensing of user activity in portable devices |
US9958987B2 (en) | 2005-09-30 | 2018-05-01 | Apple Inc. | Automated response to and sensing of user activity in portable devices |
US9619079B2 (en) | 2005-09-30 | 2017-04-11 | Apple Inc. | Automated response to and sensing of user activity in portable devices |
US8930191B2 (en) | 2006-09-08 | 2015-01-06 | Apple Inc. | Paraphrasing of user requests and results by automated digital assistant |
US8942986B2 (en) | 2006-09-08 | 2015-01-27 | Apple Inc. | Determining user intent based on ontologies of domains |
US9117447B2 (en) | 2006-09-08 | 2015-08-25 | Apple Inc. | Using event alert text as input to an automated assistant |
US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
US11671920B2 (en) | 2007-04-03 | 2023-06-06 | Apple Inc. | Method and system for operating a multifunction portable electronic device using voice-activation |
US10568032B2 (en) | 2007-04-03 | 2020-02-18 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
US9053089B2 (en) | 2007-10-02 | 2015-06-09 | Apple Inc. | Part-of-speech tagging using latent analogy |
US8943089B2 (en) | 2007-10-26 | 2015-01-27 | Apple Inc. | Search assistant for digital media assets |
US9305101B2 (en) | 2007-10-26 | 2016-04-05 | Apple Inc. | Search assistant for digital media assets |
US11023513B2 (en) | 2007-12-20 | 2021-06-01 | Apple Inc. | Method and apparatus for searching using an active ontology |
US10002189B2 (en) | 2007-12-20 | 2018-06-19 | Apple Inc. | Method and apparatus for searching using an active ontology |
US9330720B2 (en) | 2008-01-03 | 2016-05-03 | Apple Inc. | Methods and apparatus for altering audio output signals |
US10381016B2 (en) | 2008-01-03 | 2019-08-13 | Apple Inc. | Methods and apparatus for altering audio output signals |
US10503366B2 (en) | 2008-01-06 | 2019-12-10 | Apple Inc. | Portable multifunction device, method, and graphical user interface for viewing and managing electronic calendars |
US11126326B2 (en) | 2008-01-06 | 2021-09-21 | Apple Inc. | Portable multifunction device, method, and graphical user interface for viewing and managing electronic calendars |
US9330381B2 (en) | 2008-01-06 | 2016-05-03 | Apple Inc. | Portable multifunction device, method, and graphical user interface for viewing and managing electronic calendars |
US9361886B2 (en) | 2008-02-22 | 2016-06-07 | Apple Inc. | Providing text input using speech data and non-speech data |
USRE46139E1 (en) | 2008-03-04 | 2016-09-06 | Apple Inc. | Language input interface on a device |
US8996376B2 (en) | 2008-04-05 | 2015-03-31 | Apple Inc. | Intelligent text-to-speech conversion |
US9865248B2 (en) | 2008-04-05 | 2018-01-09 | Apple Inc. | Intelligent text-to-speech conversion |
US9626955B2 (en) | 2008-04-05 | 2017-04-18 | Apple Inc. | Intelligent text-to-speech conversion |
US9946706B2 (en) | 2008-06-07 | 2018-04-17 | Apple Inc. | Automatic language identification for dynamic text processing |
US9535906B2 (en) | 2008-07-31 | 2017-01-03 | Apple Inc. | Mobile device having human language translation capability with positional feedback |
US10108612B2 (en) | 2008-07-31 | 2018-10-23 | Apple Inc. | Mobile device having human language translation capability with positional feedback |
US9691383B2 (en) | 2008-09-05 | 2017-06-27 | Apple Inc. | Multi-tiered voice feedback in an electronic device |
US8898568B2 (en) | 2008-09-09 | 2014-11-25 | Apple Inc. | Audio user interface |
US9412392B2 (en) | 2008-10-02 | 2016-08-09 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
US10643611B2 (en) | 2008-10-02 | 2020-05-05 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
US11348582B2 (en) | 2008-10-02 | 2022-05-31 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
US9959870B2 (en) | 2008-12-11 | 2018-05-01 | Apple Inc. | Speech recognition involving a mobile device |
US8862252B2 (en) | 2009-01-30 | 2014-10-14 | Apple Inc. | Audio user interface for displayless electronic device |
US10795541B2 (en) | 2009-06-05 | 2020-10-06 | Apple Inc. | Intelligent organization of tasks items |
US10540976B2 (en) | 2009-06-05 | 2020-01-21 | Apple Inc. | Contextual voice commands |
US10475446B2 (en) | 2009-06-05 | 2019-11-12 | Apple Inc. | Using context information to facilitate processing of commands in a virtual assistant |
US9858925B2 (en) | 2009-06-05 | 2018-01-02 | Apple Inc. | Using context information to facilitate processing of commands in a virtual assistant |
US11080012B2 (en) | 2009-06-05 | 2021-08-03 | Apple Inc. | Interface for a virtual digital assistant |
US10283110B2 (en) | 2009-07-02 | 2019-05-07 | Apple Inc. | Methods and apparatuses for automatic speech recognition |
US9311043B2 (en) | 2010-01-13 | 2016-04-12 | Apple Inc. | Adaptive audio feedback system and method |
US12087308B2 (en) | 2010-01-18 | 2024-09-10 | Apple Inc. | Intelligent automated assistant |
US10741185B2 (en) | 2010-01-18 | 2020-08-11 | Apple Inc. | Intelligent automated assistant |
US10553209B2 (en) | 2010-01-18 | 2020-02-04 | Apple Inc. | Systems and methods for hands-free notification summaries |
US10706841B2 (en) | 2010-01-18 | 2020-07-07 | Apple Inc. | Task flow identification based on user intent |
US10679605B2 (en) | 2010-01-18 | 2020-06-09 | Apple Inc. | Hands-free list-reading by intelligent automated assistant |
US9548050B2 (en) | 2010-01-18 | 2017-01-17 | Apple Inc. | Intelligent automated assistant |
US8892446B2 (en) | 2010-01-18 | 2014-11-18 | Apple Inc. | Service orchestration for intelligent automated assistant |
US8903716B2 (en) | 2010-01-18 | 2014-12-02 | Apple Inc. | Personalized vocabulary for digital assistant |
US10276170B2 (en) | 2010-01-18 | 2019-04-30 | Apple Inc. | Intelligent automated assistant |
US10496753B2 (en) | 2010-01-18 | 2019-12-03 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
US11423886B2 (en) | 2010-01-18 | 2022-08-23 | Apple Inc. | Task flow identification based on user intent |
US9318108B2 (en) | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
US10692504B2 (en) | 2010-02-25 | 2020-06-23 | Apple Inc. | User profiling for voice input processing |
US10049675B2 (en) | 2010-02-25 | 2018-08-14 | Apple Inc. | User profiling for voice input processing |
US9190062B2 (en) | 2010-02-25 | 2015-11-17 | Apple Inc. | User profiling for voice input processing |
US9633660B2 (en) | 2010-02-25 | 2017-04-25 | Apple Inc. | User profiling for voice input processing |
US10446167B2 (en) | 2010-06-04 | 2019-10-15 | Apple Inc. | User-specific noise suppression for voice quality improvements |
US9104670B2 (en) | 2010-07-21 | 2015-08-11 | Apple Inc. | Customized search or acquisition of digital media assets |
US9075783B2 (en) | 2010-09-27 | 2015-07-07 | Apple Inc. | Electronic device with text error correction based on voice recognition data |
US10515147B2 (en) | 2010-12-22 | 2019-12-24 | Apple Inc. | Using statistical language models for contextual lookup |
US10762293B2 (en) | 2010-12-22 | 2020-09-01 | Apple Inc. | Using parts-of-speech tagging and named entity recognition for spelling correction |
US10102359B2 (en) | 2011-03-21 | 2018-10-16 | Apple Inc. | Device access using voice authentication |
US10417405B2 (en) | 2011-03-21 | 2019-09-17 | Apple Inc. | Device access using voice authentication |
US9262612B2 (en) | 2011-03-21 | 2016-02-16 | Apple Inc. | Device access using voice authentication |
US10057736B2 (en) | 2011-06-03 | 2018-08-21 | Apple Inc. | Active transport based notifications |
US10255566B2 (en) | 2011-06-03 | 2019-04-09 | Apple Inc. | Generating and processing task items that represent tasks to perform |
US10706373B2 (en) | 2011-06-03 | 2020-07-07 | Apple Inc. | Performing actions associated with task items that represent tasks to perform |
US10241644B2 (en) | 2011-06-03 | 2019-03-26 | Apple Inc. | Actionable reminder entries |
US10672399B2 (en) | 2011-06-03 | 2020-06-02 | Apple Inc. | Switching between text data and audio data based on a mapping |
US11120372B2 (en) | 2011-06-03 | 2021-09-14 | Apple Inc. | Performing actions associated with task items that represent tasks to perform |
US11350253B2 (en) | 2011-06-03 | 2022-05-31 | Apple Inc. | Active transport based notifications |
US9798393B2 (en) | 2011-08-29 | 2017-10-24 | Apple Inc. | Text correction processing |
US10241752B2 (en) | 2011-09-30 | 2019-03-26 | Apple Inc. | Interface for a virtual digital assistant |
US10134385B2 (en) | 2012-03-02 | 2018-11-20 | Apple Inc. | Systems and methods for name pronunciation |
US11069336B2 (en) | 2012-03-02 | 2021-07-20 | Apple Inc. | Systems and methods for name pronunciation |
US9483461B2 (en) | 2012-03-06 | 2016-11-01 | Apple Inc. | Handling speech synthesis of content for multiple languages |
US9280610B2 (en) | 2012-05-14 | 2016-03-08 | Apple Inc. | Crowd sourcing information to fulfill user requests |
US9953088B2 (en) | 2012-05-14 | 2018-04-24 | Apple Inc. | Crowd sourcing information to fulfill user requests |
US10417037B2 (en) | 2012-05-15 | 2019-09-17 | Apple Inc. | Systems and methods for integrating third party services with a digital assistant |
US11269678B2 (en) | 2012-05-15 | 2022-03-08 | Apple Inc. | Systems and methods for integrating third party services with a digital assistant |
US11321116B2 (en) | 2012-05-15 | 2022-05-03 | Apple Inc. | Systems and methods for integrating third party services with a digital assistant |
US9721563B2 (en) | 2012-06-08 | 2017-08-01 | Apple Inc. | Name recognition system |
US10019994B2 (en) | 2012-06-08 | 2018-07-10 | Apple Inc. | Systems and methods for recognizing textual identifiers within a plurality of words |
US10079014B2 (en) | 2012-06-08 | 2018-09-18 | Apple Inc. | Name recognition system |
US9576574B2 (en) | 2012-09-10 | 2017-02-21 | Apple Inc. | Context-sensitive handling of interruptions by intelligent digital assistant |
US9547647B2 (en) | 2012-09-19 | 2017-01-17 | Apple Inc. | Voice-based media searching |
US9971774B2 (en) | 2012-09-19 | 2018-05-15 | Apple Inc. | Voice-based media searching |
US8935167B2 (en) | 2012-09-25 | 2015-01-13 | Apple Inc. | Exemplar-based latent perceptual modeling for automatic speech recognition |
US10199051B2 (en) | 2013-02-07 | 2019-02-05 | Apple Inc. | Voice trigger for a digital assistant |
US10978090B2 (en) | 2013-02-07 | 2021-04-13 | Apple Inc. | Voice trigger for a digital assistant |
US10714117B2 (en) | 2013-02-07 | 2020-07-14 | Apple Inc. | Voice trigger for a digital assistant |
US11636869B2 (en) | 2013-02-07 | 2023-04-25 | Apple Inc. | Voice trigger for a digital assistant |
US9368114B2 (en) | 2013-03-14 | 2016-06-14 | Apple Inc. | Context-sensitive handling of interruptions |
US9733821B2 (en) | 2013-03-14 | 2017-08-15 | Apple Inc. | Voice control to diagnose inadvertent activation of accessibility features |
US10642574B2 (en) | 2013-03-14 | 2020-05-05 | Apple Inc. | Device, method, and graphical user interface for outputting captions |
US10572476B2 (en) | 2013-03-14 | 2020-02-25 | Apple Inc. | Refining a search based on schedule items |
US11388291B2 (en) | 2013-03-14 | 2022-07-12 | Apple Inc. | System and method for processing voicemail |
US9977779B2 (en) | 2013-03-14 | 2018-05-22 | Apple Inc. | Automatic supplementation of word correction dictionaries |
US10652394B2 (en) | 2013-03-14 | 2020-05-12 | Apple Inc. | System and method for processing voicemail |
US10748529B1 (en) | 2013-03-15 | 2020-08-18 | Apple Inc. | Voice activated device for use with a voice-based digital assistant |
US11151899B2 (en) | 2013-03-15 | 2021-10-19 | Apple Inc. | User training by intelligent digital assistant |
US10078487B2 (en) | 2013-03-15 | 2018-09-18 | Apple Inc. | Context-sensitive handling of interruptions |
US9697822B1 (en) | 2013-03-15 | 2017-07-04 | Apple Inc. | System and method for updating an adaptive speech recognition model |
US9922642B2 (en) | 2013-03-15 | 2018-03-20 | Apple Inc. | Training an at least partial voice command system |
US11798547B2 (en) | 2013-03-15 | 2023-10-24 | Apple Inc. | Voice activated device for use with a voice-based digital assistant |
US9620104B2 (en) | 2013-06-07 | 2017-04-11 | Apple Inc. | System and method for user-specified pronunciation of words for speech synthesis and recognition |
US9633674B2 (en) | 2013-06-07 | 2017-04-25 | Apple Inc. | System and method for detecting errors in interactions with a voice-based digital assistant |
US9966060B2 (en) | 2013-06-07 | 2018-05-08 | Apple Inc. | System and method for user-specified pronunciation of words for speech synthesis and recognition |
US9582608B2 (en) | 2013-06-07 | 2017-02-28 | Apple Inc. | Unified ranking with entropy-weighted information for phrase-based semantic auto-completion |
US10657961B2 (en) | 2013-06-08 | 2020-05-19 | Apple Inc. | Interpreting and acting upon commands that involve sharing information with remote devices |
US9966068B2 (en) | 2013-06-08 | 2018-05-08 | Apple Inc. | Interpreting and acting upon commands that involve sharing information with remote devices |
US10176167B2 (en) | 2013-06-09 | 2019-01-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
US10769385B2 (en) | 2013-06-09 | 2020-09-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
US10185542B2 (en) | 2013-06-09 | 2019-01-22 | Apple Inc. | Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant |
US12073147B2 (en) | 2013-06-09 | 2024-08-27 | Apple Inc. | Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant |
US11048473B2 (en) | 2013-06-09 | 2021-06-29 | Apple Inc. | Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant |
US11727219B2 (en) | 2013-06-09 | 2023-08-15 | Apple Inc. | System and method for inferring user intent from speech inputs |
US9300784B2 (en) | 2013-06-13 | 2016-03-29 | Apple Inc. | System and method for emergency calls initiated by voice command |
US12010262B2 (en) | 2013-08-06 | 2024-06-11 | Apple Inc. | Auto-activating smart responses based on activities from remote devices |
US10791216B2 (en) | 2013-08-06 | 2020-09-29 | Apple Inc. | Auto-activating smart responses based on activities from remote devices |
US11314370B2 (en) | 2013-12-06 | 2022-04-26 | Apple Inc. | Method for extracting salient dialog usage from live data |
US10296160B2 (en) | 2013-12-06 | 2019-05-21 | Apple Inc. | Method for extracting salient dialog usage from live data |
US9620105B2 (en) | 2014-05-15 | 2017-04-11 | Apple Inc. | Analyzing audio input for efficient speech and music recognition |
US10592095B2 (en) | 2014-05-23 | 2020-03-17 | Apple Inc. | Instantaneous speaking of content on touch devices |
US9502031B2 (en) | 2014-05-27 | 2016-11-22 | Apple Inc. | Method for supporting dynamic grammars in WFST-based ASR |
US10078631B2 (en) | 2014-05-30 | 2018-09-18 | Apple Inc. | Entropy-guided text prediction using combined word and character n-gram language models |
US9760559B2 (en) | 2014-05-30 | 2017-09-12 | Apple Inc. | Predictive text input |
US11133008B2 (en) | 2014-05-30 | 2021-09-28 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
US11810562B2 (en) | 2014-05-30 | 2023-11-07 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
US11257504B2 (en) | 2014-05-30 | 2022-02-22 | Apple Inc. | Intelligent assistant for home automation |
US9842101B2 (en) | 2014-05-30 | 2017-12-12 | Apple Inc. | Predictive conversion of language input |
US9785630B2 (en) | 2014-05-30 | 2017-10-10 | Apple Inc. | Text prediction using combined word N-gram and unigram language models |
US10657966B2 (en) | 2014-05-30 | 2020-05-19 | Apple Inc. | Better resolution when referencing to concepts |
US11699448B2 (en) | 2014-05-30 | 2023-07-11 | Apple Inc. | Intelligent assistant for home automation |
US11670289B2 (en) | 2014-05-30 | 2023-06-06 | Apple Inc. | Multi-command single utterance input method |
US10417344B2 (en) | 2014-05-30 | 2019-09-17 | Apple Inc. | Exemplar-based natural language processing |
US9966065B2 (en) | 2014-05-30 | 2018-05-08 | Apple Inc. | Multi-command single utterance input method |
US9734193B2 (en) | 2014-05-30 | 2017-08-15 | Apple Inc. | Determining domain salience ranking from ambiguous words in natural speech |
US9715875B2 (en) | 2014-05-30 | 2017-07-25 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
US10878809B2 (en) | 2014-05-30 | 2020-12-29 | Apple Inc. | Multi-command single utterance input method |
US10699717B2 (en) | 2014-05-30 | 2020-06-30 | Apple Inc. | Intelligent assistant for home automation |
US9633004B2 (en) | 2014-05-30 | 2017-04-25 | Apple Inc. | Better resolution when referencing to concepts |
US10289433B2 (en) | 2014-05-30 | 2019-05-14 | Apple Inc. | Domain specific language for encoding assistant dialog |
US10083690B2 (en) | 2014-05-30 | 2018-09-25 | Apple Inc. | Better resolution when referencing to concepts |
US10714095B2 (en) | 2014-05-30 | 2020-07-14 | Apple Inc. | Intelligent assistant for home automation |
US10169329B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Exemplar-based natural language processing |
US9430463B2 (en) | 2014-05-30 | 2016-08-30 | Apple Inc. | Exemplar-based natural language processing |
US10170123B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
US10497365B2 (en) | 2014-05-30 | 2019-12-03 | Apple Inc. | Multi-command single utterance input method |
US11516537B2 (en) | 2014-06-30 | 2022-11-29 | Apple Inc. | Intelligent automated assistant for TV user interactions |
US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
US9668024B2 (en) | 2014-06-30 | 2017-05-30 | Apple Inc. | Intelligent automated assistant for TV user interactions |
US10659851B2 (en) | 2014-06-30 | 2020-05-19 | Apple Inc. | Real-time digital assistant knowledge updates |
US10904611B2 (en) | 2014-06-30 | 2021-01-26 | Apple Inc. | Intelligent automated assistant for TV user interactions |
US10446141B2 (en) | 2014-08-28 | 2019-10-15 | Apple Inc. | Automatic speech recognition based on user feedback |
US9818400B2 (en) | 2014-09-11 | 2017-11-14 | Apple Inc. | Method and apparatus for discovering trending terms in speech requests |
US10431204B2 (en) | 2014-09-11 | 2019-10-01 | Apple Inc. | Method and apparatus for discovering trending terms in speech requests |
US10789041B2 (en) | 2014-09-12 | 2020-09-29 | Apple Inc. | Dynamic thresholds for always listening speech trigger |
US10453443B2 (en) | 2014-09-30 | 2019-10-22 | Apple Inc. | Providing an indication of the suitability of speech recognition |
US9986419B2 (en) | 2014-09-30 | 2018-05-29 | Apple Inc. | Social reminders |
US9646609B2 (en) | 2014-09-30 | 2017-05-09 | Apple Inc. | Caching apparatus for serving phonetic pronunciations |
US10438595B2 (en) | 2014-09-30 | 2019-10-08 | Apple Inc. | Speaker identification and unsupervised speaker adaptation techniques |
US10074360B2 (en) | 2014-09-30 | 2018-09-11 | Apple Inc. | Providing an indication of the suitability of speech recognition |
US9668121B2 (en) | 2014-09-30 | 2017-05-30 | Apple Inc. | Social reminders |
US10127911B2 (en) | 2014-09-30 | 2018-11-13 | Apple Inc. | Speaker identification and unsupervised speaker adaptation techniques |
US9886432B2 (en) | 2014-09-30 | 2018-02-06 | Apple Inc. | Parsimonious handling of word inflection via categorical stem + suffix N-gram language models |
US10390213B2 (en) | 2014-09-30 | 2019-08-20 | Apple Inc. | Social reminders |
US11556230B2 (en) | 2014-12-02 | 2023-01-17 | Apple Inc. | Data detection |
US10552013B2 (en) | 2014-12-02 | 2020-02-04 | Apple Inc. | Data detection |
US9711141B2 (en) | 2014-12-09 | 2017-07-18 | Apple Inc. | Disambiguating heteronyms in speech synthesis |
US9865280B2 (en) | 2015-03-06 | 2018-01-09 | Apple Inc. | Structured dictation using intelligent automated assistants |
US11231904B2 (en) | 2015-03-06 | 2022-01-25 | Apple Inc. | Reducing response latency of intelligent automated assistants |
US11087759B2 (en) | 2015-03-08 | 2021-08-10 | Apple Inc. | Virtual assistant activation |
US10311871B2 (en) | 2015-03-08 | 2019-06-04 | Apple Inc. | Competing devices responding to voice triggers |
US9721566B2 (en) | 2015-03-08 | 2017-08-01 | Apple Inc. | Competing devices responding to voice triggers |
US11842734B2 (en) | 2015-03-08 | 2023-12-12 | Apple Inc. | Virtual assistant activation |
US9886953B2 (en) | 2015-03-08 | 2018-02-06 | Apple Inc. | Virtual assistant activation |
US10567477B2 (en) | 2015-03-08 | 2020-02-18 | Apple Inc. | Virtual assistant continuity |
US10529332B2 (en) | 2015-03-08 | 2020-01-07 | Apple Inc. | Virtual assistant activation |
US10930282B2 (en) | 2015-03-08 | 2021-02-23 | Apple Inc. | Competing devices responding to voice triggers |
US9899019B2 (en) | 2015-03-18 | 2018-02-20 | Apple Inc. | Systems and methods for structured stem and suffix language models |
US9842105B2 (en) | 2015-04-16 | 2017-12-12 | Apple Inc. | Parsimonious continuous-space phrase representations for natural language processing |
US11468282B2 (en) | 2015-05-15 | 2022-10-11 | Apple Inc. | Virtual assistant in a communication session |
US11127397B2 (en) | 2015-05-27 | 2021-09-21 | Apple Inc. | Device voice control |
US11070949B2 (en) | 2015-05-27 | 2021-07-20 | Apple Inc. | Systems and methods for proactively identifying and surfacing relevant content on an electronic device with a touch-sensitive display |
US10083688B2 (en) | 2015-05-27 | 2018-09-25 | Apple Inc. | Device voice control for selecting a displayed affordance |
US10127220B2 (en) | 2015-06-04 | 2018-11-13 | Apple Inc. | Language identification from short strings |
US10101822B2 (en) | 2015-06-05 | 2018-10-16 | Apple Inc. | Language input correction |
US10356243B2 (en) | 2015-06-05 | 2019-07-16 | Apple Inc. | Virtual assistant aided communication with 3rd party service in a communication session |
US10681212B2 (en) | 2015-06-05 | 2020-06-09 | Apple Inc. | Virtual assistant aided communication with 3rd party service in a communication session |
US10255907B2 (en) | 2015-06-07 | 2019-04-09 | Apple Inc. | Automatic accent detection using acoustic models |
US10186254B2 (en) | 2015-06-07 | 2019-01-22 | Apple Inc. | Context-based endpoint detection |
US11025565B2 (en) | 2015-06-07 | 2021-06-01 | Apple Inc. | Personalized prediction of responses for instant messaging |
US11947873B2 (en) | 2015-06-29 | 2024-04-02 | Apple Inc. | Virtual assistant for media playback |
US11010127B2 (en) | 2015-06-29 | 2021-05-18 | Apple Inc. | Virtual assistant for media playback |
US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
US11550542B2 (en) | 2015-09-08 | 2023-01-10 | Apple Inc. | Zero latency digital assistant |
US11809483B2 (en) | 2015-09-08 | 2023-11-07 | Apple Inc. | Intelligent automated assistant for media search and playback |
US11126400B2 (en) | 2015-09-08 | 2021-09-21 | Apple Inc. | Zero latency digital assistant |
US11500672B2 (en) | 2015-09-08 | 2022-11-15 | Apple Inc. | Distributed personal assistant |
US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
US11853536B2 (en) | 2015-09-08 | 2023-12-26 | Apple Inc. | Intelligent automated assistant in a media environment |
US9697820B2 (en) | 2015-09-24 | 2017-07-04 | Apple Inc. | Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks |
US10366158B2 (en) | 2015-09-29 | 2019-07-30 | Apple Inc. | Efficient word encoding for recurrent neural network language models |
US11010550B2 (en) | 2015-09-29 | 2021-05-18 | Apple Inc. | Unified language modeling framework for word prediction, auto-completion and auto-correction |
US11587559B2 (en) | 2015-09-30 | 2023-02-21 | Apple Inc. | Intelligent device identification |
US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
US11526368B2 (en) | 2015-11-06 | 2022-12-13 | Apple Inc. | Intelligent automated assistant in a messaging environment |
US11886805B2 (en) | 2015-11-09 | 2024-01-30 | Apple Inc. | Unconventional virtual assistant interactions |
US10354652B2 (en) | 2015-12-02 | 2019-07-16 | Apple Inc. | Applying neural network language models to weighted finite state transducers for automatic speech recognition |
US10049668B2 (en) | 2015-12-02 | 2018-08-14 | Apple Inc. | Applying neural network language models to weighted finite state transducers for automatic speech recognition |
US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
US10942703B2 (en) | 2015-12-23 | 2021-03-09 | Apple Inc. | Proactive assistance based on dialog communication between devices |
US10446143B2 (en) | 2016-03-14 | 2019-10-15 | Apple Inc. | Identification of voice inputs providing credentials |
US9934775B2 (en) | 2016-05-26 | 2018-04-03 | Apple Inc. | Unit-selection text-to-speech synthesis based on predicted concatenation parameters |
US9972304B2 (en) | 2016-06-03 | 2018-05-15 | Apple Inc. | Privacy preserving distributed evaluation framework for embedded personalized systems |
US11227589B2 (en) | 2016-06-06 | 2022-01-18 | Apple Inc. | Intelligent list reading |
US10249300B2 (en) | 2016-06-06 | 2019-04-02 | Apple Inc. | Intelligent list reading |
US11069347B2 (en) | 2016-06-08 | 2021-07-20 | Apple Inc. | Intelligent automated assistant for media exploration |
US10049663B2 (en) | 2016-06-08 | 2018-08-14 | Apple, Inc. | Intelligent automated assistant for media exploration |
US10354011B2 (en) | 2016-06-09 | 2019-07-16 | Apple Inc. | Intelligent automated assistant in a home environment |
US10490187B2 (en) | 2016-06-10 | 2019-11-26 | Apple Inc. | Digital assistant providing automated status report |
US10733993B2 (en) | 2016-06-10 | 2020-08-04 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
US10509862B2 (en) | 2016-06-10 | 2019-12-17 | Apple Inc. | Dynamic phrase expansion of language input |
US11037565B2 (en) | 2016-06-10 | 2021-06-15 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
US10067938B2 (en) | 2016-06-10 | 2018-09-04 | Apple Inc. | Multilingual word prediction |
US11657820B2 (en) | 2016-06-10 | 2023-05-23 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
US10192552B2 (en) | 2016-06-10 | 2019-01-29 | Apple Inc. | Digital assistant providing whispered speech |
US10580409B2 (en) | 2016-06-11 | 2020-03-03 | Apple Inc. | Application integration with a digital assistant |
US10297253B2 (en) | 2016-06-11 | 2019-05-21 | Apple Inc. | Application integration with a digital assistant |
US11809783B2 (en) | 2016-06-11 | 2023-11-07 | Apple Inc. | Intelligent device arbitration and control |
US10089072B2 (en) | 2016-06-11 | 2018-10-02 | Apple Inc. | Intelligent device arbitration and control |
US11749275B2 (en) | 2016-06-11 | 2023-09-05 | Apple Inc. | Application integration with a digital assistant |
US10521466B2 (en) | 2016-06-11 | 2019-12-31 | Apple Inc. | Data driven natural language event detection and classification |
US10942702B2 (en) | 2016-06-11 | 2021-03-09 | Apple Inc. | Intelligent device arbitration and control |
US11152002B2 (en) | 2016-06-11 | 2021-10-19 | Apple Inc. | Application integration with a digital assistant |
US10269345B2 (en) | 2016-06-11 | 2019-04-23 | Apple Inc. | Intelligent task discovery |
US10474753B2 (en) | 2016-09-07 | 2019-11-12 | Apple Inc. | Language identification using recurrent neural networks |
US10553215B2 (en) | 2016-09-23 | 2020-02-04 | Apple Inc. | Intelligent automated assistant |
US10043516B2 (en) | 2016-09-23 | 2018-08-07 | Apple Inc. | Intelligent automated assistant |
US11281993B2 (en) | 2016-12-05 | 2022-03-22 | Apple Inc. | Model and ensemble compression for metric learning |
US10593346B2 (en) | 2016-12-22 | 2020-03-17 | Apple Inc. | Rank-reduced token representation for automatic speech recognition |
US11656884B2 (en) | 2017-01-09 | 2023-05-23 | Apple Inc. | Application integration with a digital assistant |
US11204787B2 (en) | 2017-01-09 | 2021-12-21 | Apple Inc. | Application integration with a digital assistant |
US10741181B2 (en) | 2017-05-09 | 2020-08-11 | Apple Inc. | User interface for correcting recognition errors |
US10332518B2 (en) | 2017-05-09 | 2019-06-25 | Apple Inc. | User interface for correcting recognition errors |
US10417266B2 (en) | 2017-05-09 | 2019-09-17 | Apple Inc. | Context-aware ranking of intelligent response suggestions |
US10755703B2 (en) | 2017-05-11 | 2020-08-25 | Apple Inc. | Offline personal assistant |
US10726832B2 (en) | 2017-05-11 | 2020-07-28 | Apple Inc. | Maintaining privacy of personal information |
US10847142B2 (en) | 2017-05-11 | 2020-11-24 | Apple Inc. | Maintaining privacy of personal information |
US10395654B2 (en) | 2017-05-11 | 2019-08-27 | Apple Inc. | Text normalization based on a data-driven learning network |
US11599331B2 (en) | 2017-05-11 | 2023-03-07 | Apple Inc. | Maintaining privacy of personal information |
US10410637B2 (en) | 2017-05-12 | 2019-09-10 | Apple Inc. | User-specific acoustic models |
US11380310B2 (en) | 2017-05-12 | 2022-07-05 | Apple Inc. | Low-latency intelligent automated assistant |
US11580990B2 (en) | 2017-05-12 | 2023-02-14 | Apple Inc. | User-specific acoustic models |
US10789945B2 (en) | 2017-05-12 | 2020-09-29 | Apple Inc. | Low-latency intelligent automated assistant |
US10791176B2 (en) | 2017-05-12 | 2020-09-29 | Apple Inc. | Synchronization and task delegation of a digital assistant |
US11405466B2 (en) | 2017-05-12 | 2022-08-02 | Apple Inc. | Synchronization and task delegation of a digital assistant |
US11301477B2 (en) | 2017-05-12 | 2022-04-12 | Apple Inc. | Feedback analysis of a digital assistant |
US10810274B2 (en) | 2017-05-15 | 2020-10-20 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
US10482874B2 (en) | 2017-05-15 | 2019-11-19 | Apple Inc. | Hierarchical belief states for digital assistants |
US10748546B2 (en) | 2017-05-16 | 2020-08-18 | Apple Inc. | Digital assistant services based on device capabilities |
US10303715B2 (en) | 2017-05-16 | 2019-05-28 | Apple Inc. | Intelligent automated assistant for media exploration |
US10403278B2 (en) | 2017-05-16 | 2019-09-03 | Apple Inc. | Methods and systems for phonetic matching in digital assistant services |
US10311144B2 (en) | 2017-05-16 | 2019-06-04 | Apple Inc. | Emoji word sense disambiguation |
US10909171B2 (en) | 2017-05-16 | 2021-02-02 | Apple Inc. | Intelligent automated assistant for media exploration |
US11217255B2 (en) | 2017-05-16 | 2022-01-04 | Apple Inc. | Far-field extension for digital assistant services |
US11532306B2 (en) | 2017-05-16 | 2022-12-20 | Apple Inc. | Detecting a trigger of a digital assistant |
US11675829B2 (en) | 2017-05-16 | 2023-06-13 | Apple Inc. | Intelligent automated assistant for media exploration |
US10657328B2 (en) | 2017-06-02 | 2020-05-19 | Apple Inc. | Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling |
US11725768B2 (en) | 2017-08-01 | 2023-08-15 | Lg Electronics Inc. | Vacuum adiabatic body, refrigerating or warming apparatus, and method for manufacturing vacuum adiabatic body |
US11807075B2 (en) | 2017-08-01 | 2023-11-07 | Lg Electronics Inc. | Vehicle, refrigerator for vehicle, and controlling method for refrigerator for vehicle |
WO2019027227A1 (en) | 2017-08-01 | 2019-02-07 | Lg Electronics Inc. | VACUUM ADIABATIC BODY AND REFRIGERATOR |
KR20190013333A (ko) | 2017-08-01 | 2019-02-11 | 엘지전자 주식회사 | 진공단열체 및 냉장고 |
US11536415B2 (en) | 2017-08-01 | 2022-12-27 | Lg Electronics Inc. | Vacuum adiabatic body and refrigerator |
US11260727B2 (en) | 2017-08-01 | 2022-03-01 | Lg Electronics Inc. | Vehicle, refrigerator for vehicle, and controlling method for refrigerator for vehicle |
US11774167B2 (en) | 2017-08-01 | 2023-10-03 | Lg Electronics Inc. | Vacuum adiabatic body and refrigerator |
US11624550B2 (en) | 2017-08-01 | 2023-04-11 | Lg Electronics Inc. | Vacuum adiabatic body and refrigerator |
KR20220133168A (ko) | 2017-08-01 | 2022-10-04 | 엘지전자 주식회사 | 진공단열체 및 냉장고 |
KR20240045194A (ko) | 2017-08-01 | 2024-04-05 | 엘지전자 주식회사 | 진공단열체 및 냉장고 |
US11781802B2 (en) | 2017-08-16 | 2023-10-10 | Lg Electronics Inc. | Vacuum adiabatic body and refrigerator |
US11466925B2 (en) | 2017-08-16 | 2022-10-11 | Lg Electronics Inc. | Vacuum adiabatic body and refrigerator |
US10445429B2 (en) | 2017-09-21 | 2019-10-15 | Apple Inc. | Natural language understanding using vocabularies with compressed serialized tries |
US10755051B2 (en) | 2017-09-29 | 2020-08-25 | Apple Inc. | Rule-based natural language processing |
US10636424B2 (en) | 2017-11-30 | 2020-04-28 | Apple Inc. | Multi-turn canned dialog |
US10733982B2 (en) | 2018-01-08 | 2020-08-04 | Apple Inc. | Multi-directional dialog |
US10733375B2 (en) | 2018-01-31 | 2020-08-04 | Apple Inc. | Knowledge-based framework for improving natural language understanding |
US10789959B2 (en) | 2018-03-02 | 2020-09-29 | Apple Inc. | Training speaker recognition models for digital assistants |
US10592604B2 (en) | 2018-03-12 | 2020-03-17 | Apple Inc. | Inverse text normalization for automatic speech recognition |
US11710482B2 (en) | 2018-03-26 | 2023-07-25 | Apple Inc. | Natural assistant interaction |
US10818288B2 (en) | 2018-03-26 | 2020-10-27 | Apple Inc. | Natural assistant interaction |
US10909331B2 (en) | 2018-03-30 | 2021-02-02 | Apple Inc. | Implicit identification of translation payload with neural machine translation |
US10928918B2 (en) | 2018-05-07 | 2021-02-23 | Apple Inc. | Raise to speak |
US11900923B2 (en) | 2018-05-07 | 2024-02-13 | Apple Inc. | Intelligent automated assistant for delivering content from user experiences |
US11145294B2 (en) | 2018-05-07 | 2021-10-12 | Apple Inc. | Intelligent automated assistant for delivering content from user experiences |
US11169616B2 (en) | 2018-05-07 | 2021-11-09 | Apple Inc. | Raise to speak |
US11487364B2 (en) | 2018-05-07 | 2022-11-01 | Apple Inc. | Raise to speak |
US11854539B2 (en) | 2018-05-07 | 2023-12-26 | Apple Inc. | Intelligent automated assistant for delivering content from user experiences |
US10984780B2 (en) | 2018-05-21 | 2021-04-20 | Apple Inc. | Global semantic word embeddings using bi-directional recurrent neural networks |
US10984798B2 (en) | 2018-06-01 | 2021-04-20 | Apple Inc. | Voice interaction at a primary device to access call functionality of a companion device |
US11431642B2 (en) | 2018-06-01 | 2022-08-30 | Apple Inc. | Variable latency device coordination |
US10403283B1 (en) | 2018-06-01 | 2019-09-03 | Apple Inc. | Voice interaction at a primary device to access call functionality of a companion device |
US11386266B2 (en) | 2018-06-01 | 2022-07-12 | Apple Inc. | Text correction |
US10684703B2 (en) | 2018-06-01 | 2020-06-16 | Apple Inc. | Attention aware virtual assistant dismissal |
US10720160B2 (en) | 2018-06-01 | 2020-07-21 | Apple Inc. | Voice interaction at a primary device to access call functionality of a companion device |
US11009970B2 (en) | 2018-06-01 | 2021-05-18 | Apple Inc. | Attention aware virtual assistant dismissal |
US11495218B2 (en) | 2018-06-01 | 2022-11-08 | Apple Inc. | Virtual assistant operation in multi-device environments |
US11360577B2 (en) | 2018-06-01 | 2022-06-14 | Apple Inc. | Attention aware virtual assistant dismissal |
US12080287B2 (en) | 2018-06-01 | 2024-09-03 | Apple Inc. | Voice interaction at a primary device to access call functionality of a companion device |
US10892996B2 (en) | 2018-06-01 | 2021-01-12 | Apple Inc. | Variable latency device coordination |
US10496705B1 (en) | 2018-06-03 | 2019-12-03 | Apple Inc. | Accelerated task performance |
US10944859B2 (en) | 2018-06-03 | 2021-03-09 | Apple Inc. | Accelerated task performance |
US10504518B1 (en) | 2018-06-03 | 2019-12-10 | Apple Inc. | Accelerated task performance |
US11010561B2 (en) | 2018-09-27 | 2021-05-18 | Apple Inc. | Sentiment prediction from textual data |
US10839159B2 (en) | 2018-09-28 | 2020-11-17 | Apple Inc. | Named entity normalization in a spoken dialog system |
US11462215B2 (en) | 2018-09-28 | 2022-10-04 | Apple Inc. | Multi-modal inputs for voice commands |
US11170166B2 (en) | 2018-09-28 | 2021-11-09 | Apple Inc. | Neural typographical error modeling via generative adversarial networks |
US11475898B2 (en) | 2018-10-26 | 2022-10-18 | Apple Inc. | Low-latency multi-speaker speech recognition |
US11638059B2 (en) | 2019-01-04 | 2023-04-25 | Apple Inc. | Content playback on multiple devices |
US11348573B2 (en) | 2019-03-18 | 2022-05-31 | Apple Inc. | Multimodality in digital assistant systems |
US11307752B2 (en) | 2019-05-06 | 2022-04-19 | Apple Inc. | User configurable task triggers |
US11475884B2 (en) | 2019-05-06 | 2022-10-18 | Apple Inc. | Reducing digital assistant latency when a language is incorrectly determined |
US11423908B2 (en) | 2019-05-06 | 2022-08-23 | Apple Inc. | Interpreting spoken requests |
US11705130B2 (en) | 2019-05-06 | 2023-07-18 | Apple Inc. | Spoken notifications |
US11217251B2 (en) | 2019-05-06 | 2022-01-04 | Apple Inc. | Spoken notifications |
US11140099B2 (en) | 2019-05-21 | 2021-10-05 | Apple Inc. | Providing message response suggestions |
US11888791B2 (en) | 2019-05-21 | 2024-01-30 | Apple Inc. | Providing message response suggestions |
US11289073B2 (en) | 2019-05-31 | 2022-03-29 | Apple Inc. | Device text to speech |
US11657813B2 (en) | 2019-05-31 | 2023-05-23 | Apple Inc. | Voice identification in digital assistant systems |
US11237797B2 (en) | 2019-05-31 | 2022-02-01 | Apple Inc. | User activity shortcut suggestions |
US11496600B2 (en) | 2019-05-31 | 2022-11-08 | Apple Inc. | Remote execution of machine-learned models |
US11360739B2 (en) | 2019-05-31 | 2022-06-14 | Apple Inc. | User activity shortcut suggestions |
US11360641B2 (en) | 2019-06-01 | 2022-06-14 | Apple Inc. | Increasing the relevance of new available information |
US11488406B2 (en) | 2019-09-25 | 2022-11-01 | Apple Inc. | Text detection using global geometry estimators |
US11924254B2 (en) | 2020-05-11 | 2024-03-05 | Apple Inc. | Digital assistant hardware abstraction |
US11765209B2 (en) | 2020-05-11 | 2023-09-19 | Apple Inc. | Digital assistant hardware abstraction |
US11755276B2 (en) | 2020-05-12 | 2023-09-12 | Apple Inc. | Reducing description length based on confidence |
Also Published As
Publication number | Publication date |
---|---|
KR101369810B1 (ko) | 2014-03-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101369810B1 (ko) | 로봇을 위한 경험적 상황인식 방법을 실행하는 프로그램을 기록한 컴퓨터 판독가능한 기록 매체. | |
CN111033492B (zh) | 为自动化助手提供命令束建议 | |
CN113557566B (zh) | 动态地适配助理响应 | |
WO2021093821A1 (zh) | 智能助理评价、推荐方法、系统、终端及可读存储介质 | |
Dybkjaer et al. | Evaluation and usability of multimodal spoken language dialogue systems | |
CN112868060B (zh) | 用户、自动化助理和其它计算服务之间的多模态交互 | |
Wahlster | Smartkom: Symmetric multimodality in an adaptive and reusable dialogue shell | |
CN112801626A (zh) | 自动化助理实现的方法和相关存储介质 | |
Trung | Multimodal dialogue management-state of the art | |
Janarthanam et al. | Adaptive generation in dialogue systems using dynamic user modeling | |
Pruvost et al. | User interaction adaptation within ambient environments | |
JP2001249949A (ja) | 感情生成方法、感情生成装置、記録媒体 | |
Yan | Paired speech and gesture generation in embodied conversational agents | |
Zouhaier et al. | Generating accessible multimodal user interfaces using MDA-based adaptation approach | |
Pineda et al. | Dialogue model specification and interpretation for intelligent multimodal HCI | |
Wanner et al. | Towards a multimedia knowledge-based agent with social competence and human interaction capabilities | |
Griol et al. | A proposal for the development of adaptive spoken interfaces to access the Web | |
Griol et al. | Combining heterogeneous inputs for the development of adaptive and multimodal interaction systems | |
Karagiannidis et al. | Supporting adaptivity in intelligent user interfaces: The case of media and modalities allocation | |
Li et al. | Personalized messaging based on dynamic context assessment: application in an informing cyber-physical system | |
LU101660B1 (en) | Multi-user complex problems resolution system | |
Lemon et al. | Statistical approaches to adaptive natural language generation | |
van Mulken | Reasoning about the user's decoding of presentations in an intelligent multimedia presentation system | |
McKevitt | MultiModal semantic representation | |
Cuayáhuitl et al. | Hierarchical dialogue policy learning using flexible state transitions and linear function approximation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
AMND | Amendment | ||
J201 | Request for trial against refusal decision | ||
S901 | Examination by remand of revocation | ||
GRNO | Decision to grant (after opposition) | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20170228 Year of fee payment: 4 |
|
LAPS | Lapse due to unpaid annual fee |