KR20110113414A - 로봇을 위한 경험적 상황인식 방법 - Google Patents

로봇을 위한 경험적 상황인식 방법 Download PDF

Info

Publication number
KR20110113414A
KR20110113414A KR1020100032792A KR20100032792A KR20110113414A KR 20110113414 A KR20110113414 A KR 20110113414A KR 1020100032792 A KR1020100032792 A KR 1020100032792A KR 20100032792 A KR20100032792 A KR 20100032792A KR 20110113414 A KR20110113414 A KR 20110113414A
Authority
KR
South Korea
Prior art keywords
situation
empirical
model
interaction
models
Prior art date
Application number
KR1020100032792A
Other languages
English (en)
Other versions
KR101369810B1 (ko
Inventor
이초강
Original Assignee
이초강
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이초강 filed Critical 이초강
Priority to KR1020100032792A priority Critical patent/KR101369810B1/ko
Publication of KR20110113414A publication Critical patent/KR20110113414A/ko
Application granted granted Critical
Publication of KR101369810B1 publication Critical patent/KR101369810B1/ko

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/163Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/42Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/004Artificial life, i.e. computing arrangements simulating life
    • G06N3/008Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Robotics (AREA)
  • General Physics & Mathematics (AREA)
  • Manipulator (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)

Abstract

본 발명은 로봇을 위한 경험적 상황인식 방법에 관한 것으로, 로봇의 인간 또는 로봇과 같은 주체와의 상호작용을 발생시키고 변화시키는 요인으로 인한 상황 및 그 상황에서 나타나는 상호작용의 경험적 사실을 고려하여 그것의 경험적 관계와 확률관계를 통해 상황에 대한 상호작용("상황: 상호작용")이라는 경험적 모델을 대상으로 하여 상황을 인지하고 미지의 환경이나 정보에 대해 스스로 경험을 통해서 적응하고 배워가는 학습의 능력을 수행하는 지능체계를 로봇에 구현하기 위한 기술적 방법을 제공함에 그 목적이 있다.
본 발명을 적용하면, 로봇이나 응용프로그램 및 다양한 시스템에 있어서 향상된 인공지능 업무처리 수행과 미지의 환경과 지식정보에 대해서 적응하고 알아가는 능력을 구현하기 위한 기술적 어려움을 최소화하고, 새로운 요구와 환경에 대해서도 활용성이 좋고 확장성이 우수하여 개발의 번거로움을 줄이고 복잡한 상황인식의 기술적 문제를 용이하게 해결할 수 있는 장점이 있다.

Description

로봇을 위한 경험적 상황인식 방법{Empirical Context Aware Computing Method For Robot}
본 발명은 로봇을 위한 경험적 상황인식 방법에 관한 것으로, 보다 상세하게는 로봇이 주어진 상황을 인식하여 인간이나 로봇과 같은 어떤 주체와의 상호작용을 수행하는데 있어서 그 상황과 상호작용의 경험적 사실을 고려하여 그것의 경험적 관계와 확률관계를 기반으로 상황을 인지하고 미지의 환경이나 정보에 대해 스스로 경험을 통해서 적응하고 배워가는 학습의 능력을 수행할 있도록 하는 인간의 지능적인 상호작용 능력과 같은 지능체계를 로봇에 구현 할 수 있기 위한 방법을 제공하는 것이다.
로봇의 이상적인 지능은 스스로 판단하여 작동하는 능력이 되어야 할 것이다. 똑똑한 로봇이라면 모르는 환경에서도 스스로 적응하고 주어진 상황을 올바르게 인지하여 인간처럼 대화하고 느끼면서 상호작용을 수행 할 것이다.
이러한 로봇의 상호작용 능력이 인간의 수준까지 이르기 위해서는 많은 기술적 어려움과 난제를 극복해야만 한다. 예컨대, 종래의 음성인식, 얼굴인식, 동작인식, 감정인식 등과 같은 HRI 기술과 무선네트워크 기술, 유비쿼터스(Ubiquitous)네트워크 시스템이 서로 융합되면서 로봇의 지능적 한계를 극복하고 있다.
하지만 아직까지는 대부분이 단순한 명령이나 동작패턴 등의 수행에 지나지 않으며 개발과정이 복잡하고 일회적인 경우가 많다.
이러한 종래 기술들은 로봇이 인식한 대상(정보 또는 데이터) 각각에 대하여 미리 저장된 데이터(지각인자)를 기초로 상호작용을 수행하기 때문에 실제 상황과 맞지 않는 상호작용을 수행할 가능성이높다. 즉, 인식한 대상 각각에 대응하여 상호작용을 결정하므로 하나의 상호작용을 결정하는 많은 요인간의 상관관계의 고려가 결여되어 현실과 부적합한 상호작용이 발생할수 있다. 따라서 가능한안 많은 경우를 설정해야 하고 새로운 요구와 환경에 대하여 활용이 제한적이고 프로그램을 추가로 작성해야 한다. 물론 이런 단점을 보완하기 위해 스스로 학습 가능하도록 하는 기술이 나오고 있지만 여전히 같은 방법의 선상에 있다는 점에서 근본적인 문제 해결을 할 수 없다.
본 발명은 이러한 방법의 문제가 상황과 상호작용간의 경험적 사실에 대한 충분한 고려가 되지 않은 것에서 비롯된 것으로 보고 경험적 지식정보 이해를 기반으로 상황에 따른 상호작용을 판단하고 예측할 수 있게 하려 한다. 그러기 위해서 인간의 지능적인 상호작용 원리를 이해하고 그것을 바탕으로 구현 가능한 상황인식의 모델을 제시해야 된다. 예컨대, 인간의 지능적 상호작용은 단순히 동물적인 감각과 지각에 의해 수행되는 것이 아니라 오랜 시간동안의 체험이나 학습을 통한 경험적 지식정보 이해를 기반으로 이루어지기 때문에 가능한 것이다.
즉 인간의 지식정보 활동의 99% 이상이 경험과 학습에 의해 이루어지며 그렇지 않은 것은 극히 일부분이다. 그렇다면 정보를 매개로 하는 인간과 로봇과 같은 주체의 상호작용에 있어서 경험과 학습에 의한 지식정보만을 취급해도 무관하다는 결론이 나온다.
따라서 "인간과 주체의 상호작용에 대한 지능적 범위는 주체가 갖고 있는 경험적 지식정보 체계에만 의존한다"라는 상호작용 지능 합리성의 명제를 제시할 수 있다.(도1a참조) 예를 들어, A와B가 전화통화를 한다고 하자. A가 B에게 뭐하는지 물어보자 B는 회의 중이라고 말한다. A는 B가 회의 중이라고 알려 주자 조용한 목소리로 그럼 나중에 통화하자고 전화를 끊는다. 여기서 A가 B에게 물어보지 않고 B가 뭐 하는지는 알 수 없다. 물어보지 않고 알아야 할 만큼의 지능은 필요하지 않다는 것을 의미한다. A가 뭐하는 지를 물어보고 대답을 통해 그 상황에 맞게 대처한다는 것은 경험을 통해 필요한 지능을 얻었다는 것을 보여 준다. 즉, 물어보고 대답을 듣는 경험을 함으로써 필요한 지능을 얻었다는 것이다. 또한 그 상황에 맞게 대처하는 것 역시 과거의 경험에 의한 것이다. 이와 같은 실제적인 인간의 지능적 상호작용 원리는 도1b와 같은 의사모델(Pseudo Model)로 표현할 수 있다.
본 발명은 위에서 본 바와 같은 실제의 인간의 지능적 상호작용 원리(도1b)를 로봇과 같은 인공지능에 적용하기 위해 경험화와 경험적 상황인식모델을 제시한다. 즉 도1b의 실제적인 인간의 지능적 상호작용 원리를 의사화해서 도1c와 같은 의사모델로하고 이를 해결하기 위한 경험화 모델(도1d)과 경함적 상황인식 모델(도1e)을 제시하는 것이다.
기본적으로 상호작용을 발생시키고 변화시키는 요인들 자체는 독립된 상황이 아니며 상황은 그 요인들의 집합체로서 상호작용에 대해서 일대일의 관계("상황: 상호작용") 갖는다. 이로써 경험적 지식정보체계는 그러한 상황과 상호작용의 쌍으로 이루어진 경험적 모델들을 관리하며 입출력을 제어하는 인터페이스 역할을 제공하는데 이러한 경험적 지식정보 체계는 경험화를 통해서 스스로 계속 변화되고 갱신된다. 이는 경험적 지식정보 이해를 기반으로 경험적 상황인식의 방법을 해결할 수 있음을 시사한다.
이와 같이, 본 발명의 목적은 경험적 상황인식과 경험화의 모델을 구현하는 기술적 방법을 제공함으로써 로봇의 지능적 한계를 극복하기 위한 경험적 지능체계를 구현할 수 있도록 한다.
상기한 바와 같이, 로봇의 지능적인 상호작용을 수행하기 위한 지능적 한계의 문제를 해결하기 위한 것이 본 발명의 목적인데, 이를 위해서는 로봇과 어떤 주체(인간 또는 로봇 등)간의 상호작용을 발생시키고 변화시키는 요인들로부터 상황요인과, 상황 그리고 상황에 대한 상호작용("상황: 상호작용")이라는 경험적 모델을 생성하고 그 모델들 간의 경험적 관계와 확률관계를 알아 낼 수 있는 상황법칙을 제시해야 하며, 이를 통해 주어진 상황에 적합한 상호작용을 결정할 수 있는 경험적 상황인식의 알고리즘을 제시해야 하며, 경험적 모델을 관리하고 그것의 입출력을 제어하는 C와 같은 컴퓨터 프로그램 기술로 구현이 가능한 특정한 인터페이스를 제공하여(후술되는 PAL 인터페이스 ) 경험적 지식정보의 변화에 따라 경험적 지식정보체계를 작성하고 수정할 수 있는 경험화의 구현모델을 제시해야 한다.
본 발명은 크게 4단계로 구성되는데, 입력된 원시데이터로부터 상황의 경험적 모델을 생성하는 경험적 모델 생성단계와 제1알고리즘을 수행하는 단계와 제2알고리즘을 수행하는 단계와 상기 제1,제2알고리즘 수행 단계에서 미지의 상황이나 새로 추가된 상황에 대한 상호작용의 경험적 모델에 대한 경험화를 수행하는 단계로 이루어진다.
상기 경험적 모델 생성단계는, 입력된 원시 데이터들의 경험적 모델을 생성하기 위한 정규화를 수행하는 제 11단계와; 정규화가 완료된 데이터들을 경험적 지식정보체계의 계층화를 거쳐 경험적 모델을 생성하는 제 12단계와; 제 12단계에서 새로 생성된 상황요인들의 경험적 모델들에서 상황법칙 3과 스칼라 변위(Scalar Displacement)의 대소 관계를 통해 마스터 상황요인을 획득하는 제 13단계와; 제 12단계의 상황요인들의 경험적 모델들에 대하여 상황법칙 1,2에 기반해서 상황의 경험적 모델을 생성하기 위한 정규화 과정을 수행하는 제 14단계와; 제 14단계에서 선택된 상황요인들의 경험적 모델들을 스칼라 변위로 구성하는 집합체인 상황의 원시모델을 생성하는 제 15단계와; 제 15단계의 상황요인들의 경험적 모델의 집합체인 상황의 원시모델을 통해 상황의 경험적 모델을 생성하는 제 16단계로 이루어진다.
여기서, 상기 원시 데이터는 원 데이터와 메타 정보로 구분되어 전송된다. 또한 상기 12단계에서 계층화는 데이터의 종류와 수평, 수직적 관계에 의해 분류되는 작업을 기초로 이뤄지고 또한 PAL 인터페이스가 구축이 되고, 원시모델과 분류모델, 파생모델을 생성하는 것을 특징으로 한다.
상기 제1알고리즘은 인식하기 위한 상황의 경험적 모델을 입력 받는 제 17단계와; 제 17단계의 상황의 경험적 모델의 각 상황요인 원소에 대한 PAL 디스크라이버의 아이템 집합들의 교집합에서 제 17단계의 상황의 경험적 모델이 존재하고 그 원소 개수가 1이 되어 상황법칙 1을 만족하는 지의 여부를 판단하여 조건을 만족하는 모델을 제17단계의 상황의 경험적 모델에 대한 경험된 모델로 결정하는 제 18단계와; 제 18단계의 조건에서 상황법칙 1을 만족하지 않고 제 18단계에서 교집합의 원소가 1보다 큰 경우 상황법칙 5에 의해 각 상황의 원소(상황요인) 개수가 가장 적은 원소를 제 17단계의 경험된 모델로 간주하는 판단을 수행하는 제 19단계와; 제 19단계의 조건을 만족하지 않는다면 경험적 지식정보체계의 경험화된 모델들로부터 확률적 추론을 통해서 제 17단계의 경험된 모델을 획득하는 제 20단계와; 제 20단계에서 경험된 모델을 획득하지 못할 경우, 제 17단계의 상황의 경험적 모델을 경험된 모델로 선택하고 이 모델에 대한 경험화를 요청하도록 수행하는 제 21단계와; 알고리즘 전체에 걸쳐 제 17단계의 상황의 경험적 모델에 대한 경험된 모델을 획득하지 못 한 경우나 예외가 발생할 경우 경험화를 요청하는 제 22단계와; 지각회로의 경험화 연산부에 미지의 경험적 모델에 대한 경험화를 요청하는 제 23단계로 이루어진다.
여기서 상기 제 11단계는 데이터들의 유효성을 검증하고, 문자열 기반의 정보 명세서가 부여되며, 고유 ID가 할당되는 고유화 등의 데이터 재정의가 이루어지고, 후행 단계의 계층화를 위한 데이터 분류 작업을 수행하는 것을 포함한다. 또한 상기 제 19단계에서, 경험화된 모델이 다중 선택이 된다면 제 17단계에 해당하는 상황의 경험적 모델의 마스터 상황요인(마스터 상황 요인이 존재할 때)에 대한 PAL 디스크라이버 아이템 집합의 원소에 속한 모델을 선택하거나 상황법칙3을 적용하여 상황요인의 스칼라 변위의 대소 관계를 우선으로 해서 결정하고, 상황의 후보 중에는 원소 개수가 적은 상황이 원소 개수가 많은 상황에 포함 되는 경우가 있으므로 상황법칙 5에 의해 원소 개수가 적은 것을 택하도록 하는 것을 특징으로 하는 로봇을 위한 경험적 상황인식 방법이 제공된다.
상기 제2알고리즘은 인식할 상황의 경험적 모델을 입력 받는 제 24단계와; 경험적 지식정보체계의 PAL 디스크라이버와 경험적 확률 추론으로 제 24단계의 상황에 대한 상호작용의 경험적 모델을 획득하는 제 25단계와; 제 25단계에서 획득한 상호작용의 경험적 모델들 중에서 상황법칙 3과 마스터 상황요인을 고려하여 최우선의 경험적 모델 하나를 선택하는 제 26단계와; 제 25단계에서 상호작용의 경험적 모델을 획득하지 못할 경우 제 24단계에 해당하는 상황의 경험적 모델의 후보 모델들에 대한 상호작용의 경험적 모델을 획득하는 제 27단계와; 상황법칙 3,5와 마스터 상황요인을 고려하여 제 24단계의 해당 상황의 경험적 모델에 대한 상호작용의 경험적 모델을 새로 생성하는 제 28단계와; 최종 선택된 상호작용의 경험적 모델의 실행시간 모델(Run Time Model) ACT를 생성하는 제 29단계와; 새롭게 생성된 제 24단계의 해당 상황에 대한 상호작용의 경험적 모델에 대하여 상황에 대한 상호작용의 경험적 모델("상황: 상호작용")로 경험화를 요청하며, 제 24단계의 해당 상황에 대한 상호작용의 경험적 모델을 얻지 못한 경우 제 24단계의 해당 상황을 미지의 상황으로 간주하고 경험화를 요청하는 제 30단계로 이루어진다.
또한 미지의 상황이나 새로 추가된 상황에 대한 상호작용의 경험적 모델에 대한 경험화를 수행하는 단계는 상기 제1알고리즘과 제2알고리즘을 수행하는 단계에서 미지의 상황의 경험적 모델이나 새롭게 추가된 상황에 대한 상호작용("상황: 상호작용")의 경험적 모델을 입력 받는 제 31단계와; 제 31단계의 경험적 모델들의 경험적 지식정보체계의 계층화를 수행하는 제 32단계와; 경험적 모델간의 스칼라 변위를 조정하는 제 33단계와(바람직하게, 33단계에서는 경험적 모델의 경험치나 주체의 속성과 현시점의 상황 등이 고려 될 수도 있다.); 제 33단계의 경험적 모델들을 경험적 지식정보체계의 소속된 계층의 PAL 요소 그룹에 추가하는 제 34단계와; 제 34단계의 경험적 모델들의 상호관계에 대한 새로운 관계성을 정의할 필요성을 검토하는 제 35단계와; 제 34단계의 PAL요소들을 PAL 디스크라이버에 추가하는 제 36단계와; 제 34단계의 경험적 모델들 중에서 모델간의 새로운 관계를 정의할 모델들에 대한 PAL 디스크라이버를 작성하는 제 37단계로 이루어진다.
바람직하게, 상기 제 28단계는 상황법칙 3에 의해 제 24단계 상황의 상황요인들의 스칼라 변위로 그 작용의 우선순위를 판단하고 상황법칙 5에 의거해 우선순위가 낮은 상황요인을 제거하여 제 24단계 상황의 경험적 모델을 수정하는 과정이 포함되며, 최종적으로 수정된 제 24단계의 해당 상황의 경험적 모델의 계층관계를 고려하여 허용범위 안에 들어오는 상호작용의 경험적 모델을 생성하는 것을 특징으로 한다.
바람직하게, 상기 제 32단계는 경험적 상황인식의 계층화를 통해 원시모델, 분류모델, 파생모델로 계층화가 되어 있는 경험적 모델들에 경험치를 반영하여 다시 계층화를 수행하고 상기 경험치는 경험적 상황인식을 거치면서 얻어진 데이터들로 상황요인들의 작용빈도, 상황의 노출빈도, 상황에 대한 상호작용의 친밀도, 상호작용의 결과 등으로 이루어진 것을 특징으로 하는 로봇을 위한 경험적 상황인식 방법이 제공된다.
바람직하게, 상기 제 35단계에서 모델간의 상호관계는 상황요인에 대한 상황, 상황에 대한 상호작용 등을 의미한다. 예를 들면 새로운 종류의 상황요인이 생성 됐다면 그것에 대한 상황의 새로운 PAL 디스크라이버를 작성해야 하는 것을 특징으로 하는 로봇을 위한 경험적 상황인식 방법이 제공된다.
본 발명에서 정의되고 해석되는 상황법칙 1은 동일 상황 공존 불가의 법칙(Equivalent Context Incompatible Law; ECIL)이며, 같은 상황은 동시에 다른 개체에 대해서 존재 할 수 없다는 법칙이다. 똑같은 상황이 두 개라면 그 상황요인도 두 개이어야 한다. 그러나 하나의 개체가 다른 상황으로 함께 존재 할 수는 없다. 개체는 유일하기 때문이다.
본 발명에서 정의되고 해석되는 상황법칙 2는 상황요인 대립 불가의 법칙 (Condition Confrontation Incompatible Law; CCIL)으로, 하나의 상황에서 대립적으로 공존 할 수는 없는 상황요인이 있음을 법칙화한 것이다. 예를 들면 같은 상호작용에 대하여 서로 다른 장소나 시간이 하나의 상황에 존재 할 수 없고, 조용한 도서관에서 전화를 하는 것은 맞지 않으므로 도서관과 전화하는 것은 대립하여 같은 상황에 공존 할 수 없다.
본 발명에서 정의하는 상황법칙 3은 상황요인 작용 우선의 법칙(Condition Operation Precedence Law; COPL)이며, 최근에 발생한 상황요인이 상호작용에 우선적으로 작용한다는 법칙이다.(최근 상황요인 우선의 법칙) 상호작용의 화제(Attentional Topic)에 관련된 상황요인이 우선적으로 작용한다(상황요인 관계 우선의 법칙). 예를 들면 소란한 교실에 수업 선생이 들어오면 학생들은 조용히 하고 선생님에게 집중하여 소란했던 교실의 상호작용은 변화된다.
본 발명에서 정의되고 해석되는 상황법칙 4는 상호작용 무차별 법칙(Interaction Indiscrimination Law; IIL)으로서, 대기상황(Idle Context)에서 발생할 수 있는 상호작용은 제한이 없다는 것이다. 즉, 대기상황에서 임의의 상호작용이 발생할 수 있다. 따라서 임의의 상호작용이 발생 할 수 있는 확률은 모든 상호작용에 대해서 같다. 예를 들면, 전화기에 어떤 사람의 전화가 걸려 올지 모르듯이 누구와의 대화도 없는 혼자 있는 사람에게 어떤 일이 발생 할 지는 아무도 모른 다. 이것은 대기상황에서 발생할 수 있는 상황요인 또한 무차별하다는 의미와도 상통한다. 이 법칙은 주체로 하여금 지능적인 상호작용을 시작하는 데 있어서 매우 유연한 지능적 범위를 제공해 준다.
본 발명에서 정의되고 해석되는 상황법칙 5는 상호작용 가시범위 축소의 법칙-상황요인 개수 비례법칙(Interaction Visibility Scope Restrict Law: IPNC)으로, 상황요인의 개수가 적을수록 그 상황에 대한 상호작용의 개수 역시 줄어들게 된다는 법칙이다. 즉, 상황요인의 개수가 적을수록 그 상황에 대해 발생할 수 있는 상호작용 개수가 줄어들어 상호작용 선택의 범위를 좁힐 수 있다. (Interaction in Proportion to Number of Condition)
본 발명에 따른 경험적 상황인식 방법은 종래 로봇의 상호작용수행의 지능 능력을 더욱 향상시켜주며 로봇뿐만 아닌 응용프로그램이나 다양한 시스템에 적용하여 향상된 인공지능 업무처리 수행을 할 수 있도록 기술적 어려움을 해결할 수 있게 되는 효과가 있다. 또한, 본 발명의 경험적 상황인식의 경험적 지능체계는 스스로 미지의 환경과 지식정보에 대해서 적응하고 알아가는 능력을 구현하는 것으로 새로운 요구와 환경에 대해 활용성이 좋고 확장성이 우수하여 개발의 번거로움을 줄이고 복잡한 상황인식의 기술적 문제를 효율적으로 해결할 수 있는 효과가 있다.
도 1a는 인간의 경험에 대한 지능합리성을 설명하기 위한 개념도이고, 도 1b는 인간의 실제적인 지능적 상호작용 모델을 설명하기 위한 개념도이고, 도 1c는 본원 발명에서 도입된 ECA 지능적 상호작용 모델을 설명하기위한 개념도이고, 도 1d는 ECA경험화모델을 도 1e는 ECA경험적 상황인식 모델을 각 설명하기 위한 개념도이다.
도 2는 로봇을 위한 경험적 상황인식 방법을 구현한 ECA지각회로가 적용된 시스템 전체의 외부 모습으로 데이터 입출력 흐름에 따른 구성층간의 연계성을 보여주기 위해 예시한 도면이다
도 3은 본 발명에 따른 로봇을 위한 경험적 상황인식 방법에 포함된 경험적 상황인식 과정의 상위흐름을 나타내는 흐름도,
도 4는 본 발명에 따른 로봇을 위한 경험적 상황인식 방법에 포함된 도 3의 경험적 모델의 계층화와 상황의 경험적 모델 생성 과정의 하위 흐름도
도 5는 본 발명에 따른 로봇을 위한 경험적 상황인식 방법에 포함된 도 4의 상황에 대한 경험된 모델을 획득하는 과정의 하위 흐름을 구현하는 알고리즘을 도시한 도면
도 6은 본 발명에 따른 로봇을 위한 경험적 상황인식 방법에 포함된 도2의 경험적 상황에 대한 경험적 상호작용 모델을 획득하는 과정의 하위 흐름을 구현하는 알고리즘을 도시한 도면,
도 7은 본 발명에 따른 로봇을 위한 경험적 상황인식 방법이 구현되는 ECA 지각회로의 경험화 과정의 하위 흐름을 나타내는 도면,
도 8, 9, 10은 본 발명에 따른 로봇을 위한 경험적 상황인식 방법에 포함되는 경험적 지식정보 체계를 구현하는 PAL인터페이스의 디스크라이버의 수행 상태를 예시한 도면이다
이하, 본 발명에 대해 도면을 참조하여 상세하게 설명한다.
본 발명에 따른 로봇을 위한 경험적 상황인식 방법(Empirical Context Aware Computing Method: ECA)은 인간이 경험에 의해 지식정보 활동을 한다는 생태학적 근거에 착안하여, 인간의 상호작용 원리를 하나의 모델로 만들어 냄으로써 지능적인 상호작용을 효율적으로 구현하고 복잡한 상황인식 구현의 문제를 쉽게 해결 해 줄 수 있다. 또한 그렇게 구축된 모델은 인간의 지식정보 활동의 대사를 모방한 것이기 때문에 상호작용의 목적과 환경의 변화에도 추가적인 개발 과정이 대부분 필요하지 않은 스스로 경험을 통한 지능성장으로 유연하게 대응해 갈 수 있다.
즉, 로봇을 위한 경험적 상황인식 방법(Empirical Context Aware Computing Method: ECA)이 적용된 로봇이나 시스템, 응용프로그램 등은 인간처럼 스스로 경험하고 지능체계를 성장시켜 감으로써 미지의 정보와 환경에 대해서도 적응해 갈 수 있다.
이를 통해, 로봇을 위한 경험적 상황인식 방법(Empirical Context Aware Computing Method: ECA)은 기존의 HRI 기술에서 보여주는 단답형 기반의 명령문, 의문문과 같은 질의에서 주체(로봇 등)의 의견이나 관심 배려 또는 의도와 같은 고등적 의사표현의 대화 수행이 가능 하도록 상호작용의 지능을 향상시켜 준다.
보다 상세하게, 로봇을 위한 경험적 상황인식 방법(Empirical Context Aware Computing Method: ECA)은 지능적인 상호작용 구현에 필요한 복합적 정보 분석 체계를 "상황에 대한 상호작용"이라는 경험적 이미지로 추상화 하고 주어진 상황요인들로부터 상호작용과, 상호작용을 결정하는 상황정보를 모델링 한다.
따라서, 로봇을 위한 경험적 상황인식 방법(Empirical Context Aware Computing Method: ECA)은 로봇의 지능적인 상호작용 구현과 AI 구현에 보다 향상된 솔루션이 될 수 있다.
본 발명에 따른 로봇을 위한 경험적 상황인식 방법(Empirical Context Aware Computing Method: ECA)의 기술적 가치를 살펴본다.
기존 로봇의 HRI 기술이 단순형 질의방식이라면, 본 발명에 따른 로봇을 위한 경험적 상황인식 방법(Empirical Context Aware Computing Method: ECA)은 고등적 대화가 가능하다.
예시 1) 경험을 통해 상대방에 대해 적응된 표현과 취지를 인식한 상태에서의 대화
- 단순형질의: 안녕하세요! (항상 일정한 패턴의 인사)
- 본 발명의 방법이 적용되는 경우: 안녕하세요. 지난번에 부탁한 일은 잘 처리 되었습니다. 또는 안녕하세요. 진행하는 일은 잘 되고 있나요? 또는 안녕하세요. 지난 번 보다 건강이 좋아 진 것 같습니다
예시 2) 경험에 의한 분석과 예측으로 의견이 반영되는 대화
- 단순형질의:
사용자: 이 근처에 가까운 한식집을 찾아줘?
3시 방향으로 200m에 한식집이 있습니다
- 본 발명의 방법이 적용되는 경우:
사용자: 이 근처에 한식집이 있으면 점심 먹고 갈까? (고등적 대화)
3시 방향으로 200m에 한식집이 있는데 맛이 없어 후회 한 적이 있습니다.
3시 방향으로 200m에 한식집이 있지만 조금 더 가면 맛있는 집이 있는 데
그 곳으로 갈까요?
사용자: 환율이 오르는데 A사 주식 팔아버릴까?
- 단순형: 팔면 안됩니다 (좀더 다양한 표현을 위해서는 절차적 방법으로 복잡한 상황 분석 필요)
- 본 발명의 방법이 적용되는 경우: 환율이 오르지만 A사 주가는 다시 오를
것 같으니 기다려 보는 게 좋을 것 같습니다
예시 3) 사용자의 라이프스타일, 성격, 기분에 적응한 고등적 대화
- 단순형질의:
사용자: 새 상품에 대한 고객 반응이 안 좋은데 해결 방법을 알려줘
가격을 내리는 방법이 있습니다. 또는 광고 효과를 높이는 방법이 있습니
- 본 발명의 방법이 적용되는 경우:
사용자: 이번에 출시된 상품에 대한 고객들의 반응이 별로 안 좋아 (고등 적 대화)
안타깝군요. 타사 A 제품의 영향이 커서 그런가요?
어쩌죠. 이전 제품보다 가격대 품질이 떨어진 것 같습니다. 구 제품으로 기존 고객층의 유동을 방지 하는 게 좋을 것 같습니다
사용자: 오늘 많이 춥네. (고등적 대화)
감기 조심하세요. 영하 10도인데 내일은 조금 따뜻해진다고 하네요.
사용자: 오늘 5년 만에 만나는 친구와 약속이 있다(고등적 대화)
좋겠어요. 만나서 제일 먼저 뭘 하고 싶으세요?
아 현국씨요. 정말 오랜 만에 보게 되는군요
오늘 저녁 식사에 돈 좀 쓰시겠네요
선물이라도 하나 준비하면 좋지 않을까요?
사용자: 1년 사귄 여자 친구와 헤어졌다(고등적 대화)
슬픈 일이네요. 힘내세요.
왜 헤어졌어요? 좋은 분이였잖아요
며칠 전에도 즐겁게 시간 같이 보냈잖아요?
한편, 본 발명에 따른 로봇을 위한 경험적 상황인식 방법(Empirical Context Aware Computing Method: ECA)은 미지의 환경을 스스로 경험하면서 적응해 가고 미지의 정보에 대해서도 학습을 통해 배워간다.
예컨대, 대화로 업무지시를 알려주는 것만으로 가정용 홈서비스 로봇을 공공 건물 고객 안내용 서비스 로봇으로 쉽게 변경 할 수 있다. 또한 화재 방지 로봇을 수해 방지 로봇으로 전환 시켜 줄 수도 있다. 구체적인 예를 들면,
- 사람들이 대화하고 생활하는 모습을 경험하면서 어떤 상황에서 어떻게 행동한다는 것을 알아 간다. 피곤하면 일찍 자더라, 한 동안 아무 말이 없으면 기분이 안 좋다는 것 등을 경험적으로 알아 간다.
- 처음 보는 사람과 대화를 하면서 그 사람에 대한 프로필을 작성하고, 특성을 알아간다.
- 모르는 문장, 사물 등을 인간처럼 단순히 대화만으로 배운다.
이에 반해 단순지능형 로봇 경우에 미지 환경에 대한 정보를 알려주고 미지의 정보나 지식을 다시 알려 주도록 추가 개발이 필요하다.
이하, 본 발명에 따른 로봇을 위한 경험적 상황인식 방법(Empirical Context Aware Computing Method: ECA)을 기술하기 위한 용어를 정의한다.
1) 상황(Context)
개체(個體)가 존재하는 시점의 모든 현실적 또는 가상적 요소들의 집합체. 개체가 존재하는 시점은 반드시 현재일 필요는 없다. 이것은 과거 혹은 미래가 될 수도 있다. 가상적 요소는 실제로 존재하지 않는 상상 또는 관념 속의 이미지일 수 있다. 현실적 요소는 시간, 공간, 물질의 상태, 인물, 동물, 사물, 사건 등 그 외 모든 시각적, 청각적, 후각적, 의사적, 감성적 등 인간이 느끼고 인식하는 모든 대상들이다.
2) 상황요인(Condition): 상황을 형성하고 있는 요소.
3) 상호작용(相互作用, Interaction)
둘 이상의 개체들이 어떤 정보를 매개로 서로 간에 변화를 일으키는 행위(개체의 상태변화, 행위자의 ACT 등). 하나의 개체로부터 발생된 변화를 일으키는 행위는 상호작용이 아니며 단지 그 상황의 변화이다.
이때, 개체란 반드시 ACT를 수행하는 행위자일 필요는 없다. 주변 환경의 변화에 따라 반응하는 개체가 있다면 이것 역시 환경과 반응 개체간의 상호작용이다.
4) 주체(主體):상호작용을 수행하는 개체(個體).
5) 행위자(Actor): ACT를 수행하는 주체(主體).
6) 대기상황(Idle Context): 상호작용이 발생하지 않은 상황.
7) 제로상황(Nothing Context): 어떠한 상황요인도 존재하지 않는 상황.
8) 마스터 상황요인(Master Condition): 상황요인 중에서 상호작용이 되는 상황요인 또는 상호작용에 가장 밀접하게 영향을 미치는 상황요인.
9) 경험(Experience)
경험의 사전적 의미를 포함해서 주체가 어떠한 사실(事實)을 겪어 가면서 정보나 지식을 알아가는 능력.
10) 학습(Learning)
사전적 의미를 포함해서 정보나 지식을 이해하고 습득해 가는 경험의 한 방법이다. 즉, 학습은 경험의 부분 집합이라 할 수 있다.
11) 경험화(Self Empirical Learned): 주체가 어떠한 정보나 지식을 경험적으로 이해하고 습득해 가는 과정.
12) ACT
주체가 한 번에 수행할 수 있는 행위로써 행위자의 상호작용 기본 단위가 된다. 실제 구현에서는 상호작용의 실행시간 모델(Run Time Model)을 의미한다. 예) 말(Speech),문자(Character),동작(Movement),명령처리(Command Operation)
13) PAL(Perceptual Algebra League: 지각 수리 인터페이스)
ECA에서 경험적 지식정보체계를 구현하기 위해 만든 인터페이스로써, 상황요인, 상황, 상호작용, 주체의 감정, 이성적 특성, 개체들 간의 계층관계 등을 대수학적 모델링을 통해서 수학적 해석과 접근이 용이하도록 정의한 인터페이스. 프로그램 개발 언어(예,C/C++,Java)로 구현한다.
PAL 요소는 대수학적 대소 관계를 판별할 수 있는 수치로 정의한 코드 값을 갖는다.
14) PAL 디스크라이버(Describer)
PAL 내부에 있는 정의역과 치역으로 구분된 두 개의 PAL 요소 그룹의 관계를 표현한 인터페이스. 정의역과 치역의 관계는 대부분 확률 분포로 나타나지만 경우에 따라서는 함수관계로 구현 될 수도 있다.
15) 경험적 지능체계와 경험적 지식정보 체계
경험적 지능체계는 경험적 상황인식과 경험화 연산을 통해서 구현한 하나의 지능체계를 의미하며 경험적 지식정보 체계라 함은 경험적 지능체계에서 다루는 경험적 모델들을 보관하고 관리하며 입출력을 제어하는 하나의 인터페이스이다.
본 발명에 따른 로봇을 위한 경험적 상황인식 방법(Empirical Context Aware Computing Method: ECA)의 주요 특성을 살펴본다.
첫 번째 특징은 상호작용에 영향을 주는 각각의 요인을 상황으로 보지 않고 경험적 모델이 되는 요소 전체를 하나의 상황으로 보고 "상황에 대한 상호작용"이라는 이미지로 추상화하여 ESGI 모델을 구현한다.
두 번째 특징은 상황과 상황요인의 관계 및 상황에 적합한 상호작용을 경험적 확률로 결정하거나 예측하는 특징이다.
세 번째 특징은 PAL 인터페이스를 통해 주체의 경험적 지식정보체계를 매우 유연하게 관리할 수 있는 특징이다.
네 번째 특징은 주체가 모르는 정보나 지식에 대하여 스스로 경험하면서 이해하고 습득하게 하는 특징이다.(경험화)
다섯 번째 특징은 ESGI 모델을 통해서 주체의 상호작용 지능이 자가 성장되게 하는 특징이다.
이러한, 본 발명에 따른 로봇을 위한 경험적 상황인식 방법(Empirical Context Aware Computing Method: ECA)은 전술하였듯이 본 발명에서 정의된 상황 5대 법칙을 근간으로 이루어진다.
이하, 본 발명에 따른 로봇을 위한 경험적 상황인식 방법(Empirical Context Aware Computing Method: ECA)의 기술적 구현을 우선 개략적으로 살펴본다.
1. 지각회로의 경험적 상황인식(ECA)
Step1. 지각회로는 음성인식, 얼굴인식, 감정인식, 동작인식 등의 원시 HRI 결과나 센서데이터 또는 GPS나 웹과 같은 다양한 정보로부터 상황요인, 상황, 상호작용의 경험적 모델을 생성하고 경험적 지식정보체계의 PAL디스크라이버와 경험적 확률 방법으로 상황에 대한 상호작용을 결정하여 상호작용의 실행시간 모델 ACT를 생성한다.
Step2. 외부 대화시스템에 생성된 ACT의 실행을 요청한다.
Step3. 경험하지 않은 미지의 상황을 경험화 연산부에 경험적 학습을 요청한다.
2. 지각회로의 경험화 (SEL)
경험하지 않은 미지의 상황에 대한 경험적 모델을 경험적 지식정보체계에 적용한다.
Step1. 미지의 경험적 모델의 계층화. 여기서는 경험적 모델의 원시모델, 분류모델, 파생모델을 분류하고 생성하는 과정이 포함된다.
상기 원시모델은 모델의 본래의 속성을 잃지 않은 상태의 모델이다.
상기 분류모델은 모델의 수평, 수직적 계층관계에 의해 분류되는 모델이다.
상기 파생모델은 분류모델에서 예측하여 얻어지는 확장 가능한 모델이다.
Step2. 미지의 경험적 모델로부터 PAL 인터페이스를 생성한다.
여기에는 PAL 요소를 생성하고 PAL 디스크라이버를 재 작성하여 PAL Training Samples 을 생성하는 과정이 포함된다. 이 과정에서는 PAL 요소간의 스칼라 변위(Scalar Displacement)가 변경이 되며 PAL 요소간의 새로운 관계성을 정의한 PAL 디스크라이버가 추가로 작성 될 수 있다.
이하, 도면을 참조하여 본 발명에 따른 로봇을 위한 경험적 상황인식 방법을 구체적으로 설명한다.
도 2는 본 발명에 따른 로봇을 위한 경험적 상황인식 방법을 구현한 ECA지각회로가 적용된 시스템 전체의 외부 흐름을 도시한 블록도이다. 이를 참조하면, 동 도면은 본 발명에 따른 로봇을 위한 경험적 상황인식 방법이 구현되는 ECA 지각회로가 적용된 시스템에서 구성층간의 입출력(I/O) 흐름에 따른 연산수행의 연계성을 나타낸다.
참조부호 ①은 상황요인의 원시 데이터를 보내주는 원시데이터 출력층(레이어)이다. 여기에는 기존의 HRI 솔루션(음성, 영상 입력 솔루션)이나 장치, 네트워크 시스템 등으로부터 반환되는 데이터들로 입력센서 데이터, HRI 데이터, GPS, 인터넷 정보 등 다양한 장치나 소프트웨어를 통해서 보내 줄 수 있다. 원시데이터 형식은 그것을 보내주는 구성층(레이어)에 따라 상이하지만 미디어 원래의 데이터와 메타정보로 크게 나누어 보내져야 한다.
예를 들면, 음성인식(SR) HRI 솔루션인 경우 문자열 형식의 단어나 문장이 입력되며 음성이해(SLU) 프로세싱이 가능 할 경우는 체계화된 데이터 형식(예,XML)으로 입력 될 수 있다. 영상인식 처리 경우는 인식된 영상 미디어 데이터와 그것에 대한 메타정보가 된다.
이미지나, 소리 같은 데이터들도 미디어 원래 데이터와 그것을 설명하는 메타정보가 된다. 미디어 원 데이터는 참조 가능하게 처리 된다. 이렇게 입력된 원시 데이터는 ECA 지각회로에서 처리하는 데이터 형식으로 재정의 되면서 문자열 기반의 그것에 대한 정보 명세서가 부가 된다.
참조부호 ②는 참조부호 ①에서 보내준 원시데이터를 종류별로 분류한 상황요인 데이터(음성데이터, 이미지 데이터 등)이고, ②'는 음성이해 연산층(SLU)으로써 ①의 음성인식(SR)층에서 반환된 Words를 이해하여 Known Words를 반환시켜 준다. 이것은 선택적이다. 이렇게 생성된 결과데이터는ECA의 경험적 상황인식 연산회로부(14)로 입력된다.
참조부호 ③은 ECA 상황인식 처리단계에서 사용될 경험화된 경험적 지식정보체계의 모델 데이터들이다. 이 데이터들은 PAL인터페이스에 의해 관리되고, 경험화(SEL) 단계에서 변화되고 갱신이 된다. 데이터는 상황과 상호작용, 상황과 상황요인 등 경험적 지식정보체계에서 다뤄질 대상이 되는 정보들의 경험적 모델들이다. 이것은 PAL 인터페이스를 통해서 입출력이 이루어진다.
참조부호 ④는 ECA의 경험적 상황인식을 연산하는 (경험적 상황인식) 연산회로부이다. 상황요인 데이터들을 정규화 하여 상황에 대한 상호작용이라는 경험적 지식정보 모델을 생성한다. 생성된 경험적 모델은 ECA 상황법칙에 준하여 경험적 관계와 확률관계의 분석을 기반으로 하는 후술하는 도 5의 알고리즘에 의해서 그것이 어떤 경험적 모델인지 알아내고 주체의 상호작용에 대한 ACT(⑥)를 생성한다. 또한, 생성된 경험적 모델을 경험적 지식정보체계(PAL)에 반영을 하고 경험화 연산회로층에 경험화를 요청한다.
참조부호 ⑤는 HRI 기반의 대화 시스템 연산층으로서, ECA에 의해 요청된 ACT(⑥)를 렌더링한다
참조부호 ⑥은 상기 대화 시스템 연산층(16)에서 렌더링 되어지는 ACT이다. 이것은 Speech, Word, Movement, Image, Command 등 다양한 형식으로 수행될 수 있다.
참조부호 ⑦은 ECA 지각회로의 경험화를 연산하는 경험화 연산부이다.
도 3은 본 발명에 따른 로봇을 위한 경험적 상황인식 방법에 포함된 경험적 상황인식 연산과정의 상위흐름을 나타내는 흐름도이다. 이를 참조하면, 즉, 동 도면은 도 2의 경험적 상황인식 연산회로부(④)의 상위 흐름을 나타낸 것으로, 참조부호 22는 입력된 원시 상황요인 정보들로부터 경험적 지식정보체계의 계층화를 거쳐 경험적 확률 추론방법으로 상황요인들의 경험적 모델을 생성하는 과정이다.
참조부호 24는 전 단계 과정(22)에서 새로 생성된 상황요인들의 경험적 모델로부터 상황법칙 1,2에 기반하여 상황의 경험적 모델을 생성하는 과정이다.
참조부호 26은 전 단계 과정(24)에서 새로 생성된 상황의 경험적 모델의 경험된 모델을 후술하는 도 5의 알고리즘을 통해 획득하는 과정이다.
참조부호 28은 경험적 지식정보체계의 "상황: 상호작용"의 경험적 모델을 기반으로 전 단계 과정(24)에서 상황의 경험적 모델에 대한 상호작용의 경험적 모델을 도 6의 알고리즘을 통해서 획득하는 과정이다.
참조부호 12는 앞서 설명한 바와 같이, 경험적 지식정보체계의 경험적 모델의 학습 데이터이며, 전 단계 과정(28)의 입력 데이터이다.
도 4는 본 발명에 따른 로봇을 위한 경험적 상황인식 방법에 포함된 도 3의 경험적 모델의 계층화와 상황의 경험적 모델 생성 과정을 나타내는 흐름도이다
이를 참조하면, 동 도면은 도 3의 경험적 모델 생성 과정(22,24)을 보다 구체화한 흐름도로서, 참조부호 30은 입력된 원시 데이터들의 경험적 모델을 생성하기 위한 정규화를 수행하는 과정인 바, 데이터들의 유효성을 검증하고, 문자열 기반의 정보 명세서가 부여되고, 고유 ID가 할당되는 고유화 등의 데이터 재정의가 이루어지며, 후행 연산과정(예컨대, 32)의 계층화를 위한 데이터 분류 작업을 수행한다.
참조부호 32는 정규화가 완료된 데이터들을 경험적 지식정보체계의 계층화를 거쳐 경험적 모델을 생성하는 과정으로서, 계층화는 데이터의 종류와 수평, 수직적 관계에 의해 분류되는 작업을 기초로 수행된다. (이 단계에서 PAL 인터페이스가 구축이 되며, 원시모델과 분류모델, 파생모델을 만든다)
참조부호 34는 이전 과정(32)에서 새로 생성된 상황요인들의 경험적 모델들에서 상황법칙 3과 스칼라 변위(Scalar Displacement)의 대소 관계를 통해 마스터 상황요인을 탐색하는 과정으로서, 상기 마스터 상황요인은 상호작용 후보 모델이 되기도 하며 존재 하지 않을 수도 있다.
참조부호 36은 이전 과정(32)의 상황요인들의 경험적 모델들을 상황법칙 1,2에 기반해서 상황의 경험적 모델을 생성하기 위한 정규화 과정을 수행하는 과정이다.
참조부호 38은 이전 과정(36)에서 선택된 상황요인들의 경험적 모델들을 스칼라 변위로 구성하는 집합체인 상황의 원시모델을 생성하는 연산과정이다.
참조부호 40은 이전 과정(38)의 상황요인들의 경험적 모델의 집합체인 상황의 원시모델을 통해 상황의 경험적 모델을 생성하는 연산과정이다.
도 5는 본 발명에 따른 로봇을 위한 경험적 상황인식 방법에 포함된 도3의 과정(26)의 하위 흐름으로 상황의 경험적 모델을 획득하는 알고리즘을 도시한 도면이다.
이를 참조하면, 참조부호 42는 인식하기 위한 상황의 경험적 모델을 입력 받는 연산과정이다.
참조부호 44는 이전 과정(42)의 상황의 경험적 모델의 각 상황요인 원소에 대한 PAL 디스크라이버의 아이템 집합들의 교집합에서 이전 과정(42)의 상황의 경험적 모델이 존재하고 그 원소 개수가 1이 되어 상황법칙 1을 만족하는 지의 여부를 판단하여 조건을 만족하는 모델을 이전 과정(42)의 상황의 경험적 모델에 대한 경험된 모델로 결정하는 연산과정이다.
참조부호 46은 이전 과정(44)의 조건에서 상황법칙1을 만족하지 않고 이전 과정(44)의 교집합의 원소가 1보다 큰 경우 상황법칙5에 의해 각 상황의 원소(상황요인) 개수가 가장 적은 원소를 이전 과정(42)의 경험된 모델로 간주하는 판단을 수행하는 연산과정이다. 이때, 경험된 모델이 다중 선택이 된다면 이전 과정(42)에 해당하는 상황의 경험적 모델의 마스터 상황요인(마스터 상황 요인이 존재할 때)에 대한 PAL 디스크라이버 아이템 집합의 원소에 속한 모델을 선택하거나 상황법칙3을 적용하여 상황요인의 스칼라 변위의 대소 관계를 우선으로 해서 결정한다. 상황의 후보 중에는 원소 개수가 적은 상황이 원소 개수가 많은 상황에 포함 되는 경우가 있으므로 상황법칙 5에 의해 원소 개수가 적은 것을 택하는 것은 적절할 것이다.
참조부호 48은 이전 과정(46)의 조건을 만족하지 않는다면 경험적 지식정보체계의 경험화된 모델들로부터 확률적 추론을 통해서 이전 과정(42)의 경험된 모델을 획득하는 연산과정이다. 이때, 상황법칙 2를 만족하는 모델을 획득하는 바, 찾은 모델의 수가 복수 개라면 이전 과정(46)의 과정을 수행한다.
참조부호 50은 이전 과정(48)에서 경험된 모델을 찾지 못할 경우, 이전 과정(42)의 상황의 경험적 모델을 경험된 모델로 선택하고 이 모델에 대한 경험화를 요청하도록 수행하는 연산과정이다.
참조부호 52는 알고리즘 전체에 걸쳐 이전 과정(42)의 상황의 경험적 모델에 대한 경험된 모델을 찾지 못 한 경우나 예외가 발생할 경우 경험화를 요청하는 연산과정이다.
참조부호 54는 지각회로의 경험화 연산부에 미지의 경험적 모델에 대한 경험화를 요청하는 연산 과정이다.
도 6은 본 발명에 따른 로봇을 위한 경험적 상황인식 방법에 포함된 도3의 과정(28)의 하위 흐름으로 상호작용의 경험적 모델을 획득하는 알고리즘을 도시한 도면이다.
이를 참조하면, 참조부호 60은 인식할 상황의 경험적 모델을 입력 받는 과정이며, 참조부호 62는 경험적 지식정보체계의 PAL 디스크라이버와 경험적 확률 추론으로 이전 과정(60)의 상황에 대한 상호작용의 경험적 모델을 획득하는 연산과정이다.
참조부호 64는 이전 과정(62)에서 획득한 상호작용의 경험적 모델들 중에서 상황법칙 3과 마스터 상황요인을 고려하여 최우선의 경험적 모델 하나를 선택하는 연산과정이다.
참조부호 66은 이전 과정(62)에서 상호작용의 경험적 모델을 획득하지 못할 경우 이전 과정(60)에 해당하는 상황의 경험적 모델의 후보 모델들에 대한 상호작용의 경험적 모델을 획득하는 과정인 바, 이 과정은 선택적인 것으로 필요에 따라 생략 될 수 있다.
참조부호 68은 상황법칙 3, 5와 마스터 상황요인을 고려하여 이전 과정(60)에서 해당 상황의 경험적 모델에 대한 상호작용의 경험적 모델을 새로 생성하는 과정으로서, 여기서는 상황법칙 3에 의해 이전 과정(60)상황의 상황요인들의 스칼라 변위로 그 작용의 우선순위를 판단하고 상황법칙 5에 의거해 우선순위가 낮은 상황요인을 제거하여 이전 과정(60)상황의 경험적 모델을 수정하는 과정이 포함된다. 최종적으로 수정된 이전 과정(60)의 경험적 모델의 계층관계를 고려하여 허용 범위 안에 들어오는 상호작용의 경험적 모델을 생성한다.
참조부호 70은 최종 선택된 상호작용의 경험적 모델의 실행시간 모델(Run Time Model) ACT를 생성하는 과정으로서, 이렇게 생성된 ACT는 대화시스템에 요청하게 된다.
참조부호 72는 새롭게 생성된 이전 과정(60)에 대한 상호작용의 경험적 모델에 대하여 상황에 대한 상호작용의 경험적 모델("상황: 상호작용")로 경험화를 요청하며, 이전 과정(60)의 해당 상황에 대한 상호작용의 경험적 모델을 얻지 못한 경우 이전 과정(60)의 해당 상황을 미지의 상황으로 간주하고 경험화 연산부에 경험화를 요청하는 연산 과정이다.
도 7은 본 발명에 따른 로봇을 위한 경험적 상황인식 방법이 구현되는 ECA 지각회로의 경험화 과정의 하위 흐름을 나타내는 도면이다.
이를 참조하면, 동 도면은 도 2의 경험화 과정(⑦)을 구체화한 과정들을 설명하는 바, 참조부호 80은 미지의 상황의 경험적 모델이나 새롭게 추가된 상황에 대한 상호작용("상황: 상호작용")의 경험적 모델을 입력 받는 연산과정이다.
참조부호 82는 이전 과정(80)의 경험적 모델들의 경험적 지식정보체계의 계층화를 수행하는 과정으로서, 해당 과정(82)은 경험적 상황인식의 계층화를 통해 원시모델, 분류모델, 파생모델로 계층화가 되어 있는 경험적 모델들에 경험치를 반영하여 다시 계층화를 수행한다. 경험치는 경험적 상황인식을 거치면서 얻어진 데이터들로 상황요인들의 작용빈도, 상황의 노출빈도, 상황에 대한 상호작용의 친밀도, 상호작용의 결과 등으로 이루어진다.
참조부호 84는 경험적 모델간의 스칼라 변위를 조정하는 과정으로서, 여기서는 경험적 모델의 경험치, 주체의 속성이나 현 시점의 상황 등이 고려 될 수 있다.
참조부호 86은 이전 과정(84)의 경험적 모델들을 경험적 지식정보체계의 소속된 계층의 PAL 요소 그룹에 추가하는 연산 과정이다.
참조부호 88은 이전 과정(86)의 경험적 모델들의 상호관계에 대한 새로운 관계성을 정의할 필요성을 검토하는 연산 과정으로서, 이때, 모델간의 상호관계는 상황요인에 대한 상황, 상황에 대한 상호작용 등을 의미한다. 예를 들면 새로운 종류의 상황요인이 생성 됐다면 그것에 대한 상황의 새로운 PAL 디스크라이버를 작성해야 한다.
참조부호 90은 이전 과정(86)의 PAL요소들을 PAL 디스크라이버에 추가하는 연산 과정이다. 참조부호 92는 이전 과정(86)의 경험적 모델들 중에서 모델간의 새로운 관계를 정의할 모델들에 대한 PAL 디스크라이버를 작성하는 연산 과정이다.
도 8, 9, 10은 본 발명에 따른 로봇을 위한 경험적 상황인식 방법의 경험적 지식정보체계를 구현하는 PAL 인터페이스의 디스크라이버의 수행상태의 예로써 여기서는 시간, 이벤트 상황요인에 대한 상황의 디스크라이버와 상황에 대한 상호작용의 디스크라이버를 예시한 도면이다.
이를 참조하면, 동 도면은 ECA의 경험적 지식정보체계의 PAL 디스크라이버의 단편적인 예를 보여주며 실제 구현에서는 사용자 경험이 충분히 반영된 좀 풍부하고 계층화된 자료를 기반으로 작성을 한다.
PAL 디스크라이버는 두 종류의 경험적 모델 집합(PAL 요소 그룹)의 관계성을 확률적 분포나 함수 관계로 정의한 것인데 이때의 관계성이란 것은 반드시 정의역 X축의 모델에 대해서 치역 Y축 모델의 발생 빈도만을 정의하는 것은 아니며, 경험적 모델들 간의 관계성에 따라 다양한 PAL 디스크라이버를 정의 할 수 있다.
예를 들면, 상호작용에 상관없는 상황에 따른 주체의 라이프스타일을 표현 할 수도 있다.
추가적으로 PAL 디스크라이버 상의 한 점을 PAL 아이템이라고 하는데 이 아이템은 또 다른 PAL 디스크라이버에 대한 핸들(C와 같은 컴퓨터 프로그램 언어로 작성된 프로그램상의 참조나 포인터)을 갖고 있을 수 있다. 그것을 PAL 서브디스크라이버라고 명명하는데, 아이템의 두 모델요소 X, Y성분에 각각 부속된 요소들에 대한 PAL 디스크라이버이다. 주로 아이템의 세부적인 모델들에 대한 PAL디스크라이버를 구현할 때 사용된다.
도 8은 시간이라는 상황요인에 대한 상황의 PAL 디스크라이버를 보여준다.
도 9는 사건(Event)라는 상황요인에 대한 상황의 PAL 디스크라이버를 보여준다.
도 10은 상황에 대한 ACT의 PAL디스크라이버를 보여준다. 이 예에서 아이템 (친구와 함께,*라고 물어보기)은 두 모델 요소의 세부적인 모델에 대한 PAL 서브디스크라이버를 갖고 있다는 것을 보여준다.
한편, 본 발명의 실시예에 따른 로봇을 위한 경험적 상황인식 방법은 단지 상기한 실시예에 한정되는 것이 아니라 그 기술적 요지를 이탈하지 않는 범위 내에서 다양한 변경이 가능하다.

Claims (4)

  1. 입력된 원시데이터로부터 상황의 경험적 모델을 생성하는 경험적 모델 생성단계; 제1알고리즘을 수행하는 단계; 제2알고리즘을 수행하는 단계; 및 상기 제1, 2알고리즘 수행단계에서 미지의 상황이나 새로 추가된 상황에 대한 상호작용의 경험적 모델에 대한 경험화를 수행하는 단계를 통해서 이루어지는 로봇을 위한 경험적 지식정보이해 기반의 상황 인식 방법에 있어서
    상기 경험적 모델 생성단계는,
    입력된 원시 데이터들의 경험적 모델을 생성하기 위한 정규화를 수행하는 제 11단계와; 정규화가 완료된 데이터들을 경험적 지식정보체계의 계층화를 거쳐 경험적 모델을 생성하는 제 12단계와; 제 12단계에서 새로 생성된 상황요인들의 경험적 모델들에서 상황법칙 3과 스칼라 변위(Scalar Displacement)의 대소 관계를 통해 마스터 상황요인을 획득하는 제 13단계와; 제 12단계의 상황요인들의 경험적 모델들에 대하여 상황법칙 1,2에 기반해서 상황의 경험적 모델을 생성하기 위한 정규화 과정을 수행하는 제 14단계와; 제 14단계에서 선택된 상황요인들의 경험적 모델들을 스칼라 변위로 구성하는 집합체인 상황의 원시모델을 생성하는 제 15단계와; 제 15단계의 상황요인들의 경험적 모델의 집합체인 상황의 원시모델을 통해 상황의 경험적 모델을 생성하는 제 16단계로 이루어지고,
    상기 제1알고리즘은
    인식하기 위한 상황의 경험적 모델을 입력 받는 제 17단계와; 제 17단계의 상황의 경험적 모델의 각 상황요인 원소에 대한 PAL 디스크라이버의 아이템 집합들의 교집합에서 제 17단계의 상황의 경험적 모델이 존재하고 그 원소 개수가 1이 되어 상황법칙 1을 만족하는 지의 여부를 판단하여 조건을 만족하는 모델을 제17단계의 상황의 경험적 모델에 대한 경험된 모델로 결정하는 제 18단계와; 제 18단계의 조건에서 상황법칙 1을 만족하지 않고 제 18단계에서 교집합의 원소가 1보다 큰 경우 상황법칙 5에 의해 각 상황의 원소(상황요인) 개수가 가장 적은 원소를 제 17단계의 경험된 모델로 간주하는 판단을 수행하는 제 19단계와; 제 19단계의 조건을 만족하지 않는다면 경험적 지식정보체계의 경험화된 모델들로부터 확률적 추론을 통해서 제 17단계의 경험된 모델을 획득하는 제 20단계와; 제 20단계에서 경험된 모델을 획득하지 못할 경우, 제 17단계의 상황의 경험적 모델을 경험된 모델로 선택하고 이 모델에 대한 경험화를 요청하도록 수행하는 제 21단계와; 알고리즘 전체에 걸쳐 제 17단계의 상황의 경험적 모델에 대한 경험된 모델을 획득하지 못 한 경우나 예외가 발생할 경우 경험화를 요청하는 제 22단계와; 지각회로의 경험화 연산부에 미지의 경험적 모델에 대한 경험화를 요청하는 제 23단계로 이루어진 것이고,
    상기 제2알고리즘은,
    인식할 상황의 경험적 모델을 입력 받는 제 24단계와; 경험적 지식정보체계의 PAL 디스크라이버와 경험적 확률 추론으로 제 24단계의 상황에 대한 상호작용의 경험적 모델을 획득하는 제 25단계와; 제 25단계에서 획득한 상호작용의 경험적 모델들 중에서 상황법칙 3과 마스터 상황요인을 고려하여 최우선의 경험적 모델 하나를 선택하는 제 26단계와; 제 25단계에서 상호작용의 경험적 모델을 획득하지 못할 경우 제 24단계에 해당하는 상황의 경험적 모델의 후보 모델들에 대한 상호작용의 경험적 모델을 획득하는 제 27단계와; 상황법칙 3,5와 마스터 상황요인을 고려하여 제 24단계의 해당 상황의 경험적 모델에 대한 상호작용의 경험적 모델을 새로 생성하는 제 28단계와; 최종 선택된 상호작용의 경험적 모델의 실행시간 모델(Run Time Model) ACT를 생성하는 제 29단계와; 새롭게 생성된 제 24단계의 해당 상황에 대한 상호작용의 경험적 모델에 대하여 상황에 대한 상호작용의 경험적 모델("상황: 상호작용")로 경험화를 요청하며, 제 24단계의 해당 상황에 대한 상호작용의 경험적 모델을 얻지 못한 경우 제 24단계의 해당 상황을 미지의 상황으로 간주하고 경험화를 요청하는 제 30단계로 이루어지고,
    상기 제1알고리즘과 제2알고리즘을 수행하는 단계에서 미지의 상황의 경험적 모델이나 새롭게 추가된 상황에 대한 상호작용("상황: 상호작용")의 경험적 모델을 입력 받는 제 31단계와; 제 31단계의 경험적 모델들의 경험적 지식정보체계의 계층화를 수행하는 제 32단계와; 경험적 모델간의 스칼라 변위를 조정하는 제 33단계와(바람직하게, 33단계에서는 경험적 모델의 경험치나 주체의 속성과 현시점의 상황 등이 고려 될 수도 있다.); 제 33단계의 경험적 모델들을 경험적 지식정보체계의 소속된 계층의 PAL 요소 그룹에 추가하는 제 34단계와; 제 34단계의 경험적 모델들의 상호관계에 대한 새로운 관계성을 정의할 필요성을 검토하는 제 35단계와; 제 34단계의 PAL요소들을 PAL 디스크라이버에 추가하는 제 36단계와; 제 34단계의 경험적 모델들 중에서 모델간의 새로운 관계를 정의할 모델들에 대한 PAL 디스크라이버를 작성하는 제 37단계로 이루어진 것을 특징으로 하는 로봇을 위한 경험적 상황인식 방법.
  2. 제 1항에 있어, 상기 제 11단계는 데이터들의 유효성을 검증하고, 문자열 기반의 정보 명세서가 부여되며, 고유 ID가 할당되는 고유화 등의 데이터 재정의가 이루어지고, 후행 단계의 계층화를 위한 데이터 분류 작업을 수행하는 것을 포함하고,
    상기 제 19단계에서, 경험화된 모델이 다중 선택이 된다면 제 17단계에 해당하는 상황의 경험적 모델의 마스터 상황요인(마스터 상황 요인이 존재할 때)에 대한 PAL 디스크라이버 아이템 집합의 원소에 속한 모델을 선택하거나 상황법칙3을 적용하여 상황요인의 스칼라 변위의 대소 관계를 우선으로 해서 결정하고, 상황의 후보 중에는 원소 개수가 적은 상황이 원소 개수가 많은 상황에 포함 되는 경우가 있는 경우 상황법칙 5에 의해 원소 개수가 적은 것을 택하도록 하는 것을 특징으로 하는 로봇을 위한 경험적 상황인식 방법.
  3. 제 1항에 있어서, 상기 제 28단계는 상황법칙 3에 의해 제 24단계 상황의 상황요인들의 스칼라 변위로 그 작용의 우선순위를 판단하고 상황법칙 5에 의거해 우선순위가 낮은 상황요인을 제거하여 제 24단계 상황의 경험적 모델을 수정하는 과정이 포함되며, 최종적으로 수정된 제 24단계의 해당 상황의 경험적 모델의 계층관계를 고려하여 허용범위 안에 들어오는 상호작용의 경험적 모델을 생성하는 것을 특징으로 하는 로봇을 위한 경험적 상황인식 방법.
  4. 제 1항에 있어서, 상기 제 32단계는 경험적 상황인식의 계층화를 통해 원시모델, 분류모델, 파생모델로 계층화가 되어 있는 경험적 모델들에 경험치를 반영하여 다시 계층화를 수행하고 상기 경험치는 경험적 상황인식을 거치면서 얻어진 데이터들로 상황요인들의 작용빈도, 상황의 노출빈도, 상황에 대한 상호작용의 친밀도, 상호작용의 결과 등으로 이루어진 것을 특징으로 하는 로봇을 위한 경험적 상황인식 방법.












KR1020100032792A 2010-04-09 2010-04-09 로봇을 위한 경험적 상황인식 방법을 실행하는 프로그램을 기록한 컴퓨터 판독가능한 기록 매체. KR101369810B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100032792A KR101369810B1 (ko) 2010-04-09 2010-04-09 로봇을 위한 경험적 상황인식 방법을 실행하는 프로그램을 기록한 컴퓨터 판독가능한 기록 매체.

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100032792A KR101369810B1 (ko) 2010-04-09 2010-04-09 로봇을 위한 경험적 상황인식 방법을 실행하는 프로그램을 기록한 컴퓨터 판독가능한 기록 매체.

Publications (2)

Publication Number Publication Date
KR20110113414A true KR20110113414A (ko) 2011-10-17
KR101369810B1 KR101369810B1 (ko) 2014-03-05

Family

ID=45028773

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100032792A KR101369810B1 (ko) 2010-04-09 2010-04-09 로봇을 위한 경험적 상황인식 방법을 실행하는 프로그램을 기록한 컴퓨터 판독가능한 기록 매체.

Country Status (1)

Country Link
KR (1) KR101369810B1 (ko)

Cited By (209)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8862252B2 (en) 2009-01-30 2014-10-14 Apple Inc. Audio user interface for displayless electronic device
US8892446B2 (en) 2010-01-18 2014-11-18 Apple Inc. Service orchestration for intelligent automated assistant
US8898568B2 (en) 2008-09-09 2014-11-25 Apple Inc. Audio user interface
US8935167B2 (en) 2012-09-25 2015-01-13 Apple Inc. Exemplar-based latent perceptual modeling for automatic speech recognition
US8943089B2 (en) 2007-10-26 2015-01-27 Apple Inc. Search assistant for digital media assets
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US9053089B2 (en) 2007-10-02 2015-06-09 Apple Inc. Part-of-speech tagging using latent analogy
US9075783B2 (en) 2010-09-27 2015-07-07 Apple Inc. Electronic device with text error correction based on voice recognition data
US9104670B2 (en) 2010-07-21 2015-08-11 Apple Inc. Customized search or acquisition of digital media assets
US9190062B2 (en) 2010-02-25 2015-11-17 Apple Inc. User profiling for voice input processing
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US9300784B2 (en) 2013-06-13 2016-03-29 Apple Inc. System and method for emergency calls initiated by voice command
US9311043B2 (en) 2010-01-13 2016-04-12 Apple Inc. Adaptive audio feedback system and method
US9330381B2 (en) 2008-01-06 2016-05-03 Apple Inc. Portable multifunction device, method, and graphical user interface for viewing and managing electronic calendars
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9361886B2 (en) 2008-02-22 2016-06-07 Apple Inc. Providing text input using speech data and non-speech data
US9368114B2 (en) 2013-03-14 2016-06-14 Apple Inc. Context-sensitive handling of interruptions
US9389729B2 (en) 2005-09-30 2016-07-12 Apple Inc. Automated response to and sensing of user activity in portable devices
US9412392B2 (en) 2008-10-02 2016-08-09 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
USRE46139E1 (en) 2008-03-04 2016-09-06 Apple Inc. Language input interface on a device
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
US9501741B2 (en) 2005-09-08 2016-11-22 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9502031B2 (en) 2014-05-27 2016-11-22 Apple Inc. Method for supporting dynamic grammars in WFST-based ASR
US9535906B2 (en) 2008-07-31 2017-01-03 Apple Inc. Mobile device having human language translation capability with positional feedback
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
US9576574B2 (en) 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
US9620104B2 (en) 2013-06-07 2017-04-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US9620105B2 (en) 2014-05-15 2017-04-11 Apple Inc. Analyzing audio input for efficient speech and music recognition
US9633674B2 (en) 2013-06-07 2017-04-25 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9646614B2 (en) 2000-03-16 2017-05-09 Apple Inc. Fast, language-independent method for user authentication by voice
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US9691383B2 (en) 2008-09-05 2017-06-27 Apple Inc. Multi-tiered voice feedback in an electronic device
US9697822B1 (en) 2013-03-15 2017-07-04 Apple Inc. System and method for updating an adaptive speech recognition model
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US9711141B2 (en) 2014-12-09 2017-07-18 Apple Inc. Disambiguating heteronyms in speech synthesis
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9733821B2 (en) 2013-03-14 2017-08-15 Apple Inc. Voice control to diagnose inadvertent activation of accessibility features
US9734193B2 (en) 2014-05-30 2017-08-15 Apple Inc. Determining domain salience ranking from ambiguous words in natural speech
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US9798393B2 (en) 2011-08-29 2017-10-24 Apple Inc. Text correction processing
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9922642B2 (en) 2013-03-15 2018-03-20 Apple Inc. Training an at least partial voice command system
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9946706B2 (en) 2008-06-07 2018-04-17 Apple Inc. Automatic language identification for dynamic text processing
US9959870B2 (en) 2008-12-11 2018-05-01 Apple Inc. Speech recognition involving a mobile device
US9966068B2 (en) 2013-06-08 2018-05-08 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US9966065B2 (en) 2014-05-30 2018-05-08 Apple Inc. Multi-command single utterance input method
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US9977779B2 (en) 2013-03-14 2018-05-22 Apple Inc. Automatic supplementation of word correction dictionaries
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US10019994B2 (en) 2012-06-08 2018-07-10 Apple Inc. Systems and methods for recognizing textual identifiers within a plurality of words
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US10078487B2 (en) 2013-03-15 2018-09-18 Apple Inc. Context-sensitive handling of interruptions
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10089072B2 (en) 2016-06-11 2018-10-02 Apple Inc. Intelligent device arbitration and control
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
US10185542B2 (en) 2013-06-09 2019-01-22 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10199051B2 (en) 2013-02-07 2019-02-05 Apple Inc. Voice trigger for a digital assistant
WO2019027227A1 (en) 2017-08-01 2019-02-07 Lg Electronics Inc. VACUUM ADIABATIC BODY AND REFRIGERATOR
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US10255566B2 (en) 2011-06-03 2019-04-09 Apple Inc. Generating and processing task items that represent tasks to perform
US10269345B2 (en) 2016-06-11 2019-04-23 Apple Inc. Intelligent task discovery
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10283110B2 (en) 2009-07-02 2019-05-07 Apple Inc. Methods and apparatuses for automatic speech recognition
US10289433B2 (en) 2014-05-30 2019-05-14 Apple Inc. Domain specific language for encoding assistant dialog
US10297253B2 (en) 2016-06-11 2019-05-21 Apple Inc. Application integration with a digital assistant
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US10332518B2 (en) 2017-05-09 2019-06-25 Apple Inc. User interface for correcting recognition errors
US10348654B2 (en) 2003-05-02 2019-07-09 Apple Inc. Method and apparatus for displaying information during an instant messaging session
US10354011B2 (en) 2016-06-09 2019-07-16 Apple Inc. Intelligent automated assistant in a home environment
US10356243B2 (en) 2015-06-05 2019-07-16 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
US10403283B1 (en) 2018-06-01 2019-09-03 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US10410637B2 (en) 2017-05-12 2019-09-10 Apple Inc. User-specific acoustic models
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US10446167B2 (en) 2010-06-04 2019-10-15 Apple Inc. User-specific noise suppression for voice quality improvements
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10482874B2 (en) 2017-05-15 2019-11-19 Apple Inc. Hierarchical belief states for digital assistants
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US10496705B1 (en) 2018-06-03 2019-12-03 Apple Inc. Accelerated task performance
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10515147B2 (en) 2010-12-22 2019-12-24 Apple Inc. Using statistical language models for contextual lookup
US10521466B2 (en) 2016-06-11 2019-12-31 Apple Inc. Data driven natural language event detection and classification
US10540976B2 (en) 2009-06-05 2020-01-21 Apple Inc. Contextual voice commands
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US10572476B2 (en) 2013-03-14 2020-02-25 Apple Inc. Refining a search based on schedule items
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US10592095B2 (en) 2014-05-23 2020-03-17 Apple Inc. Instantaneous speaking of content on touch devices
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10642574B2 (en) 2013-03-14 2020-05-05 Apple Inc. Device, method, and graphical user interface for outputting captions
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10672399B2 (en) 2011-06-03 2020-06-02 Apple Inc. Switching between text data and audio data based on a mapping
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US10684703B2 (en) 2018-06-01 2020-06-16 Apple Inc. Attention aware virtual assistant dismissal
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10733993B2 (en) 2016-06-10 2020-08-04 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
US10748546B2 (en) 2017-05-16 2020-08-18 Apple Inc. Digital assistant services based on device capabilities
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10755703B2 (en) 2017-05-11 2020-08-25 Apple Inc. Offline personal assistant
US10762293B2 (en) 2010-12-22 2020-09-01 Apple Inc. Using parts-of-speech tagging and named entity recognition for spelling correction
US10791176B2 (en) 2017-05-12 2020-09-29 Apple Inc. Synchronization and task delegation of a digital assistant
US10789945B2 (en) 2017-05-12 2020-09-29 Apple Inc. Low-latency intelligent automated assistant
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10791216B2 (en) 2013-08-06 2020-09-29 Apple Inc. Auto-activating smart responses based on activities from remote devices
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US10810274B2 (en) 2017-05-15 2020-10-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
US11010127B2 (en) 2015-06-29 2021-05-18 Apple Inc. Virtual assistant for media playback
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US11070949B2 (en) 2015-05-27 2021-07-20 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on an electronic device with a touch-sensitive display
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11151899B2 (en) 2013-03-15 2021-10-19 Apple Inc. User training by intelligent digital assistant
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US11217251B2 (en) 2019-05-06 2022-01-04 Apple Inc. Spoken notifications
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US11231904B2 (en) 2015-03-06 2022-01-25 Apple Inc. Reducing response latency of intelligent automated assistants
US11237797B2 (en) 2019-05-31 2022-02-01 Apple Inc. User activity shortcut suggestions
US11260727B2 (en) 2017-08-01 2022-03-01 Lg Electronics Inc. Vehicle, refrigerator for vehicle, and controlling method for refrigerator for vehicle
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11466925B2 (en) 2017-08-16 2022-10-11 Lg Electronics Inc. Vacuum adiabatic body and refrigerator
US11468282B2 (en) 2015-05-15 2022-10-11 Apple Inc. Virtual assistant in a communication session
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
US11495218B2 (en) 2018-06-01 2022-11-08 Apple Inc. Virtual assistant operation in multi-device environments
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11532306B2 (en) 2017-05-16 2022-12-20 Apple Inc. Detecting a trigger of a digital assistant
US11536415B2 (en) 2017-08-01 2022-12-27 Lg Electronics Inc. Vacuum adiabatic body and refrigerator
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US11624550B2 (en) 2017-08-01 2023-04-11 Lg Electronics Inc. Vacuum adiabatic body and refrigerator
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11657813B2 (en) 2019-05-31 2023-05-23 Apple Inc. Voice identification in digital assistant systems
US11725768B2 (en) 2017-08-01 2023-08-15 Lg Electronics Inc. Vacuum adiabatic body, refrigerating or warming apparatus, and method for manufacturing vacuum adiabatic body
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11765209B2 (en) 2020-05-11 2023-09-19 Apple Inc. Digital assistant hardware abstraction
US11809483B2 (en) 2015-09-08 2023-11-07 Apple Inc. Intelligent automated assistant for media search and playback
US11853536B2 (en) 2015-09-08 2023-12-26 Apple Inc. Intelligent automated assistant in a media environment
US11886805B2 (en) 2015-11-09 2024-01-30 Apple Inc. Unconventional virtual assistant interactions

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007041295A2 (en) 2005-09-30 2007-04-12 Irobot Corporation Companion robot for personal interaction

Cited By (344)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9646614B2 (en) 2000-03-16 2017-05-09 Apple Inc. Fast, language-independent method for user authentication by voice
US10348654B2 (en) 2003-05-02 2019-07-09 Apple Inc. Method and apparatus for displaying information during an instant messaging session
US10623347B2 (en) 2003-05-02 2020-04-14 Apple Inc. Method and apparatus for displaying information during an instant messaging session
US11928604B2 (en) 2005-09-08 2024-03-12 Apple Inc. Method and apparatus for building an intelligent automated assistant
US10318871B2 (en) 2005-09-08 2019-06-11 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9501741B2 (en) 2005-09-08 2016-11-22 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9389729B2 (en) 2005-09-30 2016-07-12 Apple Inc. Automated response to and sensing of user activity in portable devices
US9958987B2 (en) 2005-09-30 2018-05-01 Apple Inc. Automated response to and sensing of user activity in portable devices
US9619079B2 (en) 2005-09-30 2017-04-11 Apple Inc. Automated response to and sensing of user activity in portable devices
US8930191B2 (en) 2006-09-08 2015-01-06 Apple Inc. Paraphrasing of user requests and results by automated digital assistant
US8942986B2 (en) 2006-09-08 2015-01-27 Apple Inc. Determining user intent based on ontologies of domains
US9117447B2 (en) 2006-09-08 2015-08-25 Apple Inc. Using event alert text as input to an automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US11671920B2 (en) 2007-04-03 2023-06-06 Apple Inc. Method and system for operating a multifunction portable electronic device using voice-activation
US10568032B2 (en) 2007-04-03 2020-02-18 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US9053089B2 (en) 2007-10-02 2015-06-09 Apple Inc. Part-of-speech tagging using latent analogy
US8943089B2 (en) 2007-10-26 2015-01-27 Apple Inc. Search assistant for digital media assets
US9305101B2 (en) 2007-10-26 2016-04-05 Apple Inc. Search assistant for digital media assets
US11023513B2 (en) 2007-12-20 2021-06-01 Apple Inc. Method and apparatus for searching using an active ontology
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US10381016B2 (en) 2008-01-03 2019-08-13 Apple Inc. Methods and apparatus for altering audio output signals
US10503366B2 (en) 2008-01-06 2019-12-10 Apple Inc. Portable multifunction device, method, and graphical user interface for viewing and managing electronic calendars
US11126326B2 (en) 2008-01-06 2021-09-21 Apple Inc. Portable multifunction device, method, and graphical user interface for viewing and managing electronic calendars
US9330381B2 (en) 2008-01-06 2016-05-03 Apple Inc. Portable multifunction device, method, and graphical user interface for viewing and managing electronic calendars
US9361886B2 (en) 2008-02-22 2016-06-07 Apple Inc. Providing text input using speech data and non-speech data
USRE46139E1 (en) 2008-03-04 2016-09-06 Apple Inc. Language input interface on a device
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US9865248B2 (en) 2008-04-05 2018-01-09 Apple Inc. Intelligent text-to-speech conversion
US9626955B2 (en) 2008-04-05 2017-04-18 Apple Inc. Intelligent text-to-speech conversion
US9946706B2 (en) 2008-06-07 2018-04-17 Apple Inc. Automatic language identification for dynamic text processing
US9535906B2 (en) 2008-07-31 2017-01-03 Apple Inc. Mobile device having human language translation capability with positional feedback
US10108612B2 (en) 2008-07-31 2018-10-23 Apple Inc. Mobile device having human language translation capability with positional feedback
US9691383B2 (en) 2008-09-05 2017-06-27 Apple Inc. Multi-tiered voice feedback in an electronic device
US8898568B2 (en) 2008-09-09 2014-11-25 Apple Inc. Audio user interface
US9412392B2 (en) 2008-10-02 2016-08-09 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10643611B2 (en) 2008-10-02 2020-05-05 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11348582B2 (en) 2008-10-02 2022-05-31 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US9959870B2 (en) 2008-12-11 2018-05-01 Apple Inc. Speech recognition involving a mobile device
US8862252B2 (en) 2009-01-30 2014-10-14 Apple Inc. Audio user interface for displayless electronic device
US10795541B2 (en) 2009-06-05 2020-10-06 Apple Inc. Intelligent organization of tasks items
US10540976B2 (en) 2009-06-05 2020-01-21 Apple Inc. Contextual voice commands
US10475446B2 (en) 2009-06-05 2019-11-12 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US11080012B2 (en) 2009-06-05 2021-08-03 Apple Inc. Interface for a virtual digital assistant
US10283110B2 (en) 2009-07-02 2019-05-07 Apple Inc. Methods and apparatuses for automatic speech recognition
US9311043B2 (en) 2010-01-13 2016-04-12 Apple Inc. Adaptive audio feedback system and method
US12087308B2 (en) 2010-01-18 2024-09-10 Apple Inc. Intelligent automated assistant
US10741185B2 (en) 2010-01-18 2020-08-11 Apple Inc. Intelligent automated assistant
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US10706841B2 (en) 2010-01-18 2020-07-07 Apple Inc. Task flow identification based on user intent
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US9548050B2 (en) 2010-01-18 2017-01-17 Apple Inc. Intelligent automated assistant
US8892446B2 (en) 2010-01-18 2014-11-18 Apple Inc. Service orchestration for intelligent automated assistant
US8903716B2 (en) 2010-01-18 2014-12-02 Apple Inc. Personalized vocabulary for digital assistant
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US11423886B2 (en) 2010-01-18 2022-08-23 Apple Inc. Task flow identification based on user intent
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US10692504B2 (en) 2010-02-25 2020-06-23 Apple Inc. User profiling for voice input processing
US10049675B2 (en) 2010-02-25 2018-08-14 Apple Inc. User profiling for voice input processing
US9190062B2 (en) 2010-02-25 2015-11-17 Apple Inc. User profiling for voice input processing
US9633660B2 (en) 2010-02-25 2017-04-25 Apple Inc. User profiling for voice input processing
US10446167B2 (en) 2010-06-04 2019-10-15 Apple Inc. User-specific noise suppression for voice quality improvements
US9104670B2 (en) 2010-07-21 2015-08-11 Apple Inc. Customized search or acquisition of digital media assets
US9075783B2 (en) 2010-09-27 2015-07-07 Apple Inc. Electronic device with text error correction based on voice recognition data
US10515147B2 (en) 2010-12-22 2019-12-24 Apple Inc. Using statistical language models for contextual lookup
US10762293B2 (en) 2010-12-22 2020-09-01 Apple Inc. Using parts-of-speech tagging and named entity recognition for spelling correction
US10102359B2 (en) 2011-03-21 2018-10-16 Apple Inc. Device access using voice authentication
US10417405B2 (en) 2011-03-21 2019-09-17 Apple Inc. Device access using voice authentication
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US10255566B2 (en) 2011-06-03 2019-04-09 Apple Inc. Generating and processing task items that represent tasks to perform
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US10672399B2 (en) 2011-06-03 2020-06-02 Apple Inc. Switching between text data and audio data based on a mapping
US11120372B2 (en) 2011-06-03 2021-09-14 Apple Inc. Performing actions associated with task items that represent tasks to perform
US11350253B2 (en) 2011-06-03 2022-05-31 Apple Inc. Active transport based notifications
US9798393B2 (en) 2011-08-29 2017-10-24 Apple Inc. Text correction processing
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US11069336B2 (en) 2012-03-02 2021-07-20 Apple Inc. Systems and methods for name pronunciation
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US9953088B2 (en) 2012-05-14 2018-04-24 Apple Inc. Crowd sourcing information to fulfill user requests
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US11269678B2 (en) 2012-05-15 2022-03-08 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US11321116B2 (en) 2012-05-15 2022-05-03 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US10019994B2 (en) 2012-06-08 2018-07-10 Apple Inc. Systems and methods for recognizing textual identifiers within a plurality of words
US10079014B2 (en) 2012-06-08 2018-09-18 Apple Inc. Name recognition system
US9576574B2 (en) 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
US9971774B2 (en) 2012-09-19 2018-05-15 Apple Inc. Voice-based media searching
US8935167B2 (en) 2012-09-25 2015-01-13 Apple Inc. Exemplar-based latent perceptual modeling for automatic speech recognition
US10199051B2 (en) 2013-02-07 2019-02-05 Apple Inc. Voice trigger for a digital assistant
US10978090B2 (en) 2013-02-07 2021-04-13 Apple Inc. Voice trigger for a digital assistant
US10714117B2 (en) 2013-02-07 2020-07-14 Apple Inc. Voice trigger for a digital assistant
US11636869B2 (en) 2013-02-07 2023-04-25 Apple Inc. Voice trigger for a digital assistant
US9368114B2 (en) 2013-03-14 2016-06-14 Apple Inc. Context-sensitive handling of interruptions
US9733821B2 (en) 2013-03-14 2017-08-15 Apple Inc. Voice control to diagnose inadvertent activation of accessibility features
US10642574B2 (en) 2013-03-14 2020-05-05 Apple Inc. Device, method, and graphical user interface for outputting captions
US10572476B2 (en) 2013-03-14 2020-02-25 Apple Inc. Refining a search based on schedule items
US11388291B2 (en) 2013-03-14 2022-07-12 Apple Inc. System and method for processing voicemail
US9977779B2 (en) 2013-03-14 2018-05-22 Apple Inc. Automatic supplementation of word correction dictionaries
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
US11151899B2 (en) 2013-03-15 2021-10-19 Apple Inc. User training by intelligent digital assistant
US10078487B2 (en) 2013-03-15 2018-09-18 Apple Inc. Context-sensitive handling of interruptions
US9697822B1 (en) 2013-03-15 2017-07-04 Apple Inc. System and method for updating an adaptive speech recognition model
US9922642B2 (en) 2013-03-15 2018-03-20 Apple Inc. Training an at least partial voice command system
US11798547B2 (en) 2013-03-15 2023-10-24 Apple Inc. Voice activated device for use with a voice-based digital assistant
US9620104B2 (en) 2013-06-07 2017-04-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US9633674B2 (en) 2013-06-07 2017-04-25 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
US9966060B2 (en) 2013-06-07 2018-05-08 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
US10657961B2 (en) 2013-06-08 2020-05-19 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US9966068B2 (en) 2013-06-08 2018-05-08 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
US10769385B2 (en) 2013-06-09 2020-09-08 Apple Inc. System and method for inferring user intent from speech inputs
US10185542B2 (en) 2013-06-09 2019-01-22 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
US12073147B2 (en) 2013-06-09 2024-08-27 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
US11048473B2 (en) 2013-06-09 2021-06-29 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
US11727219B2 (en) 2013-06-09 2023-08-15 Apple Inc. System and method for inferring user intent from speech inputs
US9300784B2 (en) 2013-06-13 2016-03-29 Apple Inc. System and method for emergency calls initiated by voice command
US12010262B2 (en) 2013-08-06 2024-06-11 Apple Inc. Auto-activating smart responses based on activities from remote devices
US10791216B2 (en) 2013-08-06 2020-09-29 Apple Inc. Auto-activating smart responses based on activities from remote devices
US11314370B2 (en) 2013-12-06 2022-04-26 Apple Inc. Method for extracting salient dialog usage from live data
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
US9620105B2 (en) 2014-05-15 2017-04-11 Apple Inc. Analyzing audio input for efficient speech and music recognition
US10592095B2 (en) 2014-05-23 2020-03-17 Apple Inc. Instantaneous speaking of content on touch devices
US9502031B2 (en) 2014-05-27 2016-11-22 Apple Inc. Method for supporting dynamic grammars in WFST-based ASR
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US11133008B2 (en) 2014-05-30 2021-09-28 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US11810562B2 (en) 2014-05-30 2023-11-07 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US11257504B2 (en) 2014-05-30 2022-02-22 Apple Inc. Intelligent assistant for home automation
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US10657966B2 (en) 2014-05-30 2020-05-19 Apple Inc. Better resolution when referencing to concepts
US11699448B2 (en) 2014-05-30 2023-07-11 Apple Inc. Intelligent assistant for home automation
US11670289B2 (en) 2014-05-30 2023-06-06 Apple Inc. Multi-command single utterance input method
US10417344B2 (en) 2014-05-30 2019-09-17 Apple Inc. Exemplar-based natural language processing
US9966065B2 (en) 2014-05-30 2018-05-08 Apple Inc. Multi-command single utterance input method
US9734193B2 (en) 2014-05-30 2017-08-15 Apple Inc. Determining domain salience ranking from ambiguous words in natural speech
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10878809B2 (en) 2014-05-30 2020-12-29 Apple Inc. Multi-command single utterance input method
US10699717B2 (en) 2014-05-30 2020-06-30 Apple Inc. Intelligent assistant for home automation
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US10289433B2 (en) 2014-05-30 2019-05-14 Apple Inc. Domain specific language for encoding assistant dialog
US10083690B2 (en) 2014-05-30 2018-09-25 Apple Inc. Better resolution when referencing to concepts
US10714095B2 (en) 2014-05-30 2020-07-14 Apple Inc. Intelligent assistant for home automation
US10169329B2 (en) 2014-05-30 2019-01-01 Apple Inc. Exemplar-based natural language processing
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US10497365B2 (en) 2014-05-30 2019-12-03 Apple Inc. Multi-command single utterance input method
US11516537B2 (en) 2014-06-30 2022-11-29 Apple Inc. Intelligent automated assistant for TV user interactions
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9668024B2 (en) 2014-06-30 2017-05-30 Apple Inc. Intelligent automated assistant for TV user interactions
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US10904611B2 (en) 2014-06-30 2021-01-26 Apple Inc. Intelligent automated assistant for TV user interactions
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10431204B2 (en) 2014-09-11 2019-10-01 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US10453443B2 (en) 2014-09-30 2019-10-22 Apple Inc. Providing an indication of the suitability of speech recognition
US9986419B2 (en) 2014-09-30 2018-05-29 Apple Inc. Social reminders
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US10438595B2 (en) 2014-09-30 2019-10-08 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US10390213B2 (en) 2014-09-30 2019-08-20 Apple Inc. Social reminders
US11556230B2 (en) 2014-12-02 2023-01-17 Apple Inc. Data detection
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US9711141B2 (en) 2014-12-09 2017-07-18 Apple Inc. Disambiguating heteronyms in speech synthesis
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US11231904B2 (en) 2015-03-06 2022-01-25 Apple Inc. Reducing response latency of intelligent automated assistants
US11087759B2 (en) 2015-03-08 2021-08-10 Apple Inc. Virtual assistant activation
US10311871B2 (en) 2015-03-08 2019-06-04 Apple Inc. Competing devices responding to voice triggers
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US11842734B2 (en) 2015-03-08 2023-12-12 Apple Inc. Virtual assistant activation
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US10529332B2 (en) 2015-03-08 2020-01-07 Apple Inc. Virtual assistant activation
US10930282B2 (en) 2015-03-08 2021-02-23 Apple Inc. Competing devices responding to voice triggers
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US11468282B2 (en) 2015-05-15 2022-10-11 Apple Inc. Virtual assistant in a communication session
US11127397B2 (en) 2015-05-27 2021-09-21 Apple Inc. Device voice control
US11070949B2 (en) 2015-05-27 2021-07-20 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on an electronic device with a touch-sensitive display
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US10356243B2 (en) 2015-06-05 2019-07-16 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10681212B2 (en) 2015-06-05 2020-06-09 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US11947873B2 (en) 2015-06-29 2024-04-02 Apple Inc. Virtual assistant for media playback
US11010127B2 (en) 2015-06-29 2021-05-18 Apple Inc. Virtual assistant for media playback
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US11550542B2 (en) 2015-09-08 2023-01-10 Apple Inc. Zero latency digital assistant
US11809483B2 (en) 2015-09-08 2023-11-07 Apple Inc. Intelligent automated assistant for media search and playback
US11126400B2 (en) 2015-09-08 2021-09-21 Apple Inc. Zero latency digital assistant
US11500672B2 (en) 2015-09-08 2022-11-15 Apple Inc. Distributed personal assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US11853536B2 (en) 2015-09-08 2023-12-26 Apple Inc. Intelligent automated assistant in a media environment
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US11526368B2 (en) 2015-11-06 2022-12-13 Apple Inc. Intelligent automated assistant in a messaging environment
US11886805B2 (en) 2015-11-09 2024-01-30 Apple Inc. Unconventional virtual assistant interactions
US10354652B2 (en) 2015-12-02 2019-07-16 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10942703B2 (en) 2015-12-23 2021-03-09 Apple Inc. Proactive assistance based on dialog communication between devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US11069347B2 (en) 2016-06-08 2021-07-20 Apple Inc. Intelligent automated assistant for media exploration
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
US10354011B2 (en) 2016-06-09 2019-07-16 Apple Inc. Intelligent automated assistant in a home environment
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10733993B2 (en) 2016-06-10 2020-08-04 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US11037565B2 (en) 2016-06-10 2021-06-15 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US11657820B2 (en) 2016-06-10 2023-05-23 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10580409B2 (en) 2016-06-11 2020-03-03 Apple Inc. Application integration with a digital assistant
US10297253B2 (en) 2016-06-11 2019-05-21 Apple Inc. Application integration with a digital assistant
US11809783B2 (en) 2016-06-11 2023-11-07 Apple Inc. Intelligent device arbitration and control
US10089072B2 (en) 2016-06-11 2018-10-02 Apple Inc. Intelligent device arbitration and control
US11749275B2 (en) 2016-06-11 2023-09-05 Apple Inc. Application integration with a digital assistant
US10521466B2 (en) 2016-06-11 2019-12-31 Apple Inc. Data driven natural language event detection and classification
US10942702B2 (en) 2016-06-11 2021-03-09 Apple Inc. Intelligent device arbitration and control
US11152002B2 (en) 2016-06-11 2021-10-19 Apple Inc. Application integration with a digital assistant
US10269345B2 (en) 2016-06-11 2019-04-23 Apple Inc. Intelligent task discovery
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10553215B2 (en) 2016-09-23 2020-02-04 Apple Inc. Intelligent automated assistant
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US11656884B2 (en) 2017-01-09 2023-05-23 Apple Inc. Application integration with a digital assistant
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US10741181B2 (en) 2017-05-09 2020-08-11 Apple Inc. User interface for correcting recognition errors
US10332518B2 (en) 2017-05-09 2019-06-25 Apple Inc. User interface for correcting recognition errors
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
US10755703B2 (en) 2017-05-11 2020-08-25 Apple Inc. Offline personal assistant
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
US10847142B2 (en) 2017-05-11 2020-11-24 Apple Inc. Maintaining privacy of personal information
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
US11599331B2 (en) 2017-05-11 2023-03-07 Apple Inc. Maintaining privacy of personal information
US10410637B2 (en) 2017-05-12 2019-09-10 Apple Inc. User-specific acoustic models
US11380310B2 (en) 2017-05-12 2022-07-05 Apple Inc. Low-latency intelligent automated assistant
US11580990B2 (en) 2017-05-12 2023-02-14 Apple Inc. User-specific acoustic models
US10789945B2 (en) 2017-05-12 2020-09-29 Apple Inc. Low-latency intelligent automated assistant
US10791176B2 (en) 2017-05-12 2020-09-29 Apple Inc. Synchronization and task delegation of a digital assistant
US11405466B2 (en) 2017-05-12 2022-08-02 Apple Inc. Synchronization and task delegation of a digital assistant
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
US10810274B2 (en) 2017-05-15 2020-10-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
US10482874B2 (en) 2017-05-15 2019-11-19 Apple Inc. Hierarchical belief states for digital assistants
US10748546B2 (en) 2017-05-16 2020-08-18 Apple Inc. Digital assistant services based on device capabilities
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US10909171B2 (en) 2017-05-16 2021-02-02 Apple Inc. Intelligent automated assistant for media exploration
US11217255B2 (en) 2017-05-16 2022-01-04 Apple Inc. Far-field extension for digital assistant services
US11532306B2 (en) 2017-05-16 2022-12-20 Apple Inc. Detecting a trigger of a digital assistant
US11675829B2 (en) 2017-05-16 2023-06-13 Apple Inc. Intelligent automated assistant for media exploration
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US11725768B2 (en) 2017-08-01 2023-08-15 Lg Electronics Inc. Vacuum adiabatic body, refrigerating or warming apparatus, and method for manufacturing vacuum adiabatic body
US11807075B2 (en) 2017-08-01 2023-11-07 Lg Electronics Inc. Vehicle, refrigerator for vehicle, and controlling method for refrigerator for vehicle
WO2019027227A1 (en) 2017-08-01 2019-02-07 Lg Electronics Inc. VACUUM ADIABATIC BODY AND REFRIGERATOR
KR20190013333A (ko) 2017-08-01 2019-02-11 엘지전자 주식회사 진공단열체 및 냉장고
US11536415B2 (en) 2017-08-01 2022-12-27 Lg Electronics Inc. Vacuum adiabatic body and refrigerator
US11260727B2 (en) 2017-08-01 2022-03-01 Lg Electronics Inc. Vehicle, refrigerator for vehicle, and controlling method for refrigerator for vehicle
US11774167B2 (en) 2017-08-01 2023-10-03 Lg Electronics Inc. Vacuum adiabatic body and refrigerator
US11624550B2 (en) 2017-08-01 2023-04-11 Lg Electronics Inc. Vacuum adiabatic body and refrigerator
KR20220133168A (ko) 2017-08-01 2022-10-04 엘지전자 주식회사 진공단열체 및 냉장고
KR20240045194A (ko) 2017-08-01 2024-04-05 엘지전자 주식회사 진공단열체 및 냉장고
US11781802B2 (en) 2017-08-16 2023-10-10 Lg Electronics Inc. Vacuum adiabatic body and refrigerator
US11466925B2 (en) 2017-08-16 2022-10-11 Lg Electronics Inc. Vacuum adiabatic body and refrigerator
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US11710482B2 (en) 2018-03-26 2023-07-25 Apple Inc. Natural assistant interaction
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11900923B2 (en) 2018-05-07 2024-02-13 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11169616B2 (en) 2018-05-07 2021-11-09 Apple Inc. Raise to speak
US11487364B2 (en) 2018-05-07 2022-11-01 Apple Inc. Raise to speak
US11854539B2 (en) 2018-05-07 2023-12-26 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
US10984798B2 (en) 2018-06-01 2021-04-20 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11431642B2 (en) 2018-06-01 2022-08-30 Apple Inc. Variable latency device coordination
US10403283B1 (en) 2018-06-01 2019-09-03 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
US10684703B2 (en) 2018-06-01 2020-06-16 Apple Inc. Attention aware virtual assistant dismissal
US10720160B2 (en) 2018-06-01 2020-07-21 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11009970B2 (en) 2018-06-01 2021-05-18 Apple Inc. Attention aware virtual assistant dismissal
US11495218B2 (en) 2018-06-01 2022-11-08 Apple Inc. Virtual assistant operation in multi-device environments
US11360577B2 (en) 2018-06-01 2022-06-14 Apple Inc. Attention aware virtual assistant dismissal
US12080287B2 (en) 2018-06-01 2024-09-03 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US10496705B1 (en) 2018-06-03 2019-12-03 Apple Inc. Accelerated task performance
US10944859B2 (en) 2018-06-03 2021-03-09 Apple Inc. Accelerated task performance
US10504518B1 (en) 2018-06-03 2019-12-10 Apple Inc. Accelerated task performance
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11705130B2 (en) 2019-05-06 2023-07-18 Apple Inc. Spoken notifications
US11217251B2 (en) 2019-05-06 2022-01-04 Apple Inc. Spoken notifications
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11888791B2 (en) 2019-05-21 2024-01-30 Apple Inc. Providing message response suggestions
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11657813B2 (en) 2019-05-31 2023-05-23 Apple Inc. Voice identification in digital assistant systems
US11237797B2 (en) 2019-05-31 2022-02-01 Apple Inc. User activity shortcut suggestions
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11360739B2 (en) 2019-05-31 2022-06-14 Apple Inc. User activity shortcut suggestions
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
US11924254B2 (en) 2020-05-11 2024-03-05 Apple Inc. Digital assistant hardware abstraction
US11765209B2 (en) 2020-05-11 2023-09-19 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence

Also Published As

Publication number Publication date
KR101369810B1 (ko) 2014-03-05

Similar Documents

Publication Publication Date Title
KR101369810B1 (ko) 로봇을 위한 경험적 상황인식 방법을 실행하는 프로그램을 기록한 컴퓨터 판독가능한 기록 매체.
CN111033492B (zh) 为自动化助手提供命令束建议
CN113557566B (zh) 动态地适配助理响应
WO2021093821A1 (zh) 智能助理评价、推荐方法、系统、终端及可读存储介质
Dybkjaer et al. Evaluation and usability of multimodal spoken language dialogue systems
CN112868060B (zh) 用户、自动化助理和其它计算服务之间的多模态交互
Wahlster Smartkom: Symmetric multimodality in an adaptive and reusable dialogue shell
CN112801626A (zh) 自动化助理实现的方法和相关存储介质
Trung Multimodal dialogue management-state of the art
Janarthanam et al. Adaptive generation in dialogue systems using dynamic user modeling
Pruvost et al. User interaction adaptation within ambient environments
JP2001249949A (ja) 感情生成方法、感情生成装置、記録媒体
Yan Paired speech and gesture generation in embodied conversational agents
Zouhaier et al. Generating accessible multimodal user interfaces using MDA-based adaptation approach
Pineda et al. Dialogue model specification and interpretation for intelligent multimodal HCI
Wanner et al. Towards a multimedia knowledge-based agent with social competence and human interaction capabilities
Griol et al. A proposal for the development of adaptive spoken interfaces to access the Web
Griol et al. Combining heterogeneous inputs for the development of adaptive and multimodal interaction systems
Karagiannidis et al. Supporting adaptivity in intelligent user interfaces: The case of media and modalities allocation
Li et al. Personalized messaging based on dynamic context assessment: application in an informing cyber-physical system
LU101660B1 (en) Multi-user complex problems resolution system
Lemon et al. Statistical approaches to adaptive natural language generation
van Mulken Reasoning about the user's decoding of presentations in an intelligent multimedia presentation system
McKevitt MultiModal semantic representation
Cuayáhuitl et al. Hierarchical dialogue policy learning using flexible state transitions and linear function approximation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
S901 Examination by remand of revocation
GRNO Decision to grant (after opposition)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170228

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee