KR101821639B1 - 지능형 보조 전자 디바이스 - Google Patents

지능형 보조 전자 디바이스 Download PDF

Info

Publication number
KR101821639B1
KR101821639B1 KR1020167013972A KR20167013972A KR101821639B1 KR 101821639 B1 KR101821639 B1 KR 101821639B1 KR 1020167013972 A KR1020167013972 A KR 1020167013972A KR 20167013972 A KR20167013972 A KR 20167013972A KR 101821639 B1 KR101821639 B1 KR 101821639B1
Authority
KR
South Korea
Prior art keywords
electronic device
audio input
response
remote electronic
personal assistant
Prior art date
Application number
KR1020167013972A
Other languages
English (en)
Other versions
KR20160077154A (ko
Inventor
사우랍 다두
사우린 샤
프란시스 엠 타라펠
라크쉬만 크리쉬나머시
브라이언 케이 보겔
스와넨두 카
Original Assignee
인텔 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코포레이션 filed Critical 인텔 코포레이션
Publication of KR20160077154A publication Critical patent/KR20160077154A/ko
Application granted granted Critical
Publication of KR101821639B1 publication Critical patent/KR101821639B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use

Abstract

일 예에서, 콘트롤러는 적어도 부분적으로 하드웨어 로직을 포함하고, 수신된 오디오 신호 내의 핵심 어구를 검출하고, 핵심 어구에 응답하여, 원격 전자 디바이스 내의 퍼스널 어시스턴트에 신호를 전송하고, 오디오 입력이 수신되었는지 여부를 판정하고, 원격 전자 디바이스 내의 퍼스널 어시스턴트로부터 응답을 수신하기 전에 부가의 오디오 입력이 수신되었다는 판정에 응답하여, 오디오 입력을 메모리 내에 버퍼링하고, 오디오 입력을 원격 전자 디바이스 내의 퍼스널 어시스턴트에 포워딩하도록 구성된 로직을 포함한다. 다른 예가 설명될 수 있다.

Description

지능형 보조 전자 디바이스{INTELLIGENT ANCILLARY ELECTRONIC DEVICE}
본 명세서에 설명된 요지는 일반적으로 전자 디바이스의 분야에 관한 것으로서, 더 구체적으로는 지능형 보조 전자 디바이스(intelligent ancillary electronic devices)에 관한 것이다.
랩탑 컴퓨터, 넷북 스타일 컴퓨터, 태블릿 컴퓨터, 휴대폰, 전자 리더(electronic readers) 등과 같은 다수의 전자 디바이스는 디바이스 내에 내장된 예를 들어, 음성 및 텍스트 메시징과 같은 통신 기능을 갖는다. 몇몇 상황에서, 헤드셋, 컴퓨터 장착 안경 등과 같은 보조 전자 디바이스 상의 인터페이스를 사용하여 이러한 전자 디바이스와 통신하는 것이 유용할 수 있다.
또한, 다수의 네트워킹된 전자 디바이스는 이제 음성 기반 인터페이스를 거쳐 전자 디바이스의 사용자와 상호작용하는 퍼스널 어시스턴트 서비스(personal assistant services)를 제공한다. 이러한 상황에서, 헤드셋, 컴퓨터 장착 안경 등과 같은 보조 전자 디바이스 상의 인터페이스를 거쳐 퍼스널 어시스턴트 서비스와 통신하는 것이 유용할 수 있다.
이에 따라, 지능형 보조 전자 디바이스를 제공하기 위한 시스템 및 기술이 실용성을 찾을 수 있다.
상세한 설명이 첨부 도면을 참조하여 설명된다.
도 1은 몇몇 예에 따른 지능형 레코딩과 함께 동작하도록 적용될 수 있는 예시적인 전자 디바이스의 도면이다.
도 2는 몇몇 예에 따른 지능형 보조 전자 디바이스의 구성요소의 개략도이다.
도 3은 지능형 보조 전자 디바이스가 몇몇 예에 따라 구현될 수 있는 환경의 고레벨 개략도이다.
도 4는 몇몇 예에 따른 지능형 보조 디바이스를 구현하기 위한 방법의 동작을 도시하는 흐름도이다.
도 5는 몇몇 예에 따른 전자 디바이스들 사이의 통신의 타이밍 다이어그램이다.
도 6 내지 도 10은 몇몇 실시예에 따른 지능형 레코딩을 구현하도록 적용될 수 있는 전자 디바이스의 개략도이다.
본 명세서에는 지능형 보조 전자 디바이스를 구현하기 위한 예시적인 시스템 및 방법이 설명된다. 이하의 설명에서, 수많은 특정 상세가 다양한 예의 철저한 이해를 제공하기 위해 설명된다. 그러나, 다양한 예가 특정 상세 없이 실시될 수도 있다는 것이 당 기술 분야의 숙련자에 의해 이해될 수 있을 것이다. 다른 경우에, 공지의 방법, 절차, 구성요소 및 회로는 특정 예를 불명료하게 하지 않기 위해 상세히 도시되거나 설명되지 않는다.
간략하게, 본 명세서에 설명된 요지는 적어도 부분적으로 원격 전자 디바이스와 통신을 관리하기 위한 로직을 갖는 콘트롤러를 포함하는 지능형 보조 전자 디바이스를 제공함으로써 전술된 문제점을 다룬다. 예를 들어, 원격 전자 디바이스는 모바일 통신 또는 컴퓨팅 디바이스, 휴대폰 등으로서 실시될 수도 있고, 보조 전자 디바이스는 이어피스, 헤드셋 등과 같은 웨어러블 디바이스로서 실시될 수도 있다.
보조 전자 디바이스 내의 콘트롤러는 보조 전자 디바이스가 퍼스널 어시스턴트로부터의 신호에 즉시 응답을 위해 대기하지 않는 "원샷(one shot)" 모드에서 원격 전자 디바이스 상에서 실행하는 퍼스널 어시스턴트와 보조 전자 디바이스가 상호작용하는 것을 가능하게 하는 동작을 구현할 수 있다. 원샷 모드에서 동작은 퍼스널 어시스턴트와의 더 자연적인 사용자 상호작용을 가능하게 한다. 또한, 원샷 모드에서의 동작은 퍼스널 어시스턴트와 보조 전자 디바이스 사이의 통신 프로세스에서 고유한 지연을 관리한다.
몇몇 예에서, 보조 전자 디바이스 내의 콘트롤러는 수신된 오디오 신호 내의 핵심 어구(key phrase)를 검출하는 로직을 포함할 수 있다. 예를 들어, 퍼스널 어시스턴트는 퍼스널 어시스턴트를 활성화하는 "헬로 자비스(Hello Jarvis)"와 같은 사전구성된 핵심 어구를 제공할 수 있다. 대안적으로, 사용자는 구성 프로세스 중에 맞춤화된 핵심 어구를 입력할 수 있다. 핵심 어구가 보조 디바이스 내의 오디오 입력(예를 들어, 마이크로폰)에서 검출될 때, 로직은 퍼스널 어시스턴트를 활성화하기 위해 원격 전자 디바이스 내의 퍼스널 어시스턴트에 신호를 전송한다.
보조 전자 디바이스 상의 로직은 이어서 사용자로부터의 추가의 오디오 입력을 위한 오디오 입력 디바이스를 모니터링한다. 부가의 오디오 입력이 원격 전자 디바이스 내의 퍼스널 어시스턴트 관리자로부터의 응답을 수신하기 전에 오디오 입력 디바이스에서 수신되는 경우에, 콘트롤러는 원샷 모드에서 동작하도록 보조 전자 디바이스를 구성한다. 원샷 모드에서 동작하는 동안, 보조 전자 디바이스는 메모리 내의 사용자로부터 오디오 입력을 버퍼링하고, 적절한 시간에 원격 전자 디바이스 내의 퍼스널 어시스턴트에 오디오 입력을 포워딩한다.
따라서, 보조 전자 디바이스의 사용자는 퍼스널 어시스턴트로부터 즉각적인 프롬프트를 대기할 필요 없이 퍼스널 어시스턴트와 상호작용하는 것이 가능하다.
특정 특징 및 상세가 도 1 내지 도 10을 참조하여 이하에 설명될 것이다.
도 1은 원격 전자 디바이스에 결합될 수 있는 원격 전자 디바이스(100)의 예의 개략도이다. 몇몇 양태에서, 원격 전자 디바이스(100)는 휴대폰, 태블릿 컴퓨팅 디바이스, 퍼스널 디지털 어시스턴트(personal digital assistant: PDA), 노트패드 컴퓨터, 비디오 카메라, 스마트 워치, 스마트 손목 밴드, 스마트 헤드폰과 같은 웨어러블 디바이스 등으로서 실시될 수 있다. 원격 전자 디바이스(100)의 특정 실시예는 중요한 것은 아니다.
몇몇 예에서, 원격 전자 디바이스(100)는 RF 신호를 송수신하기 위한 RF 송수신기(120) 및 RF 송수신기(120)에 의해 수신된 신호를 프로세싱하기 위한 신호 프로세싱 모듈(122)을 포함할 수 있다. RF 송수신기(120)는 예를 들어, 블루투스(Bluetooth) 또는 802.11X. IEEE 802.11a, b 또는 g-대응 인터페이스(예를 들어, IEEE Standard for IT-Telecommunications and information exchange between systems LAN/MAN-Part II: Wireless LAN Medium Access Control(MAC) and Physical Layer(PHY) specifications Amendment 4: Further Higher Data Rate Extension in the 2.4 GHz Band, 802.11G-2003 참조)와 같은 프로토콜을 거쳐 로컬 무선 접속을 구현할 수 있다. 무선 인터페이스의 다른 예는 범용 패킷 무선 서비스(general packet radio service: GPRS) 인터페이스(예를 들어, Guidelines on GPRS Handset Requirements, Global System for Mobile Communications/GSM Association, Ver. 3.0.1, December 2002 참조)일 것이다.
원격 전자 디바이스(100)는 하나 이상의 프로세서(124) 및 메모리(140)를 추가로 포함할 수 있다. 본 명세서에 사용될 때, 용어 "프로세서"는 이들에 한정되는 것은 아니지만, 마이크로프로세서, 마이크로콘트롤러, 복합 명령 세트 컴퓨팅(complex instruction set computing: CISC) 마이크로프로세서, 축소 명령 세트(reduced instruction set: RISC) 마이크로프로세서, 긴 명령어 워드(very long instruction word: VLIW) 마이크로프로세서, 또는 임의의 다른 유형의 프로세서 또는 프로세싱 회로와 같은 임의의 유형의 연산 요소를 의미한다. 몇몇 예에서, 프로세서(124)는 미국 캘리포니아주 산타 클라라 소재의 인텔® 코포레이션(Intel® 코포레이션)으로부터 입수가능한 프로세서의 패밀리 중의 하나 이상의 프로세서일 수 있다. 대안적으로, 인텔의 이타늄(Itanium)®, 제온(XEON)™, 아톰(ATOM)™, 및 셀러론(Celeron)® 프로세서와 같은 다른 프로세서가 사용될 수 있다. 또한, 다른 제조업자로부터의 하나 이상의 프로세서가 이용될 수 있다. 더욱이, 프로세서는 싱글 또는 멀티 코어 디자인을 가질 수 있다.
몇몇 예에서, 메모리(140)는 랜덤 액세스 메모리(random access memory: RAM)를 포함하지만, 메모리 모듈(140)은 동적 RAM(DRAM), 동기식 DRAM(SDRAM) 등과 같은 다른 메모리 유형을 사용하여 구현될 수 있다. 메모리(140)는 프로세서(들)(124) 상에서 실행하는 퍼스널 어시스턴트(142)를 포함하는 하나 이상의 용례를 포함할 수 있다.
원격 전자 디바이스(100)는 예를 들어, 키패드, 터치패드, 마이크로폰 등과 같은 하나 이상의 입출력 디바이스(126), 하나 이상의 디스플레이(128), 스피커(134), 및 하나 이상의 레코딩 디바이스(130)를 추가로 포함할 수 있다. 예로서, 레코딩 디바이스(들)(130)는 하나 이상의 카메라 및/또는 마이크로폰을 포함할 수 있다. 이미지 신호 프로세서(132)가 레코딩 디바이스(들)(130)에 의해 수집된 이미지를 프로세싱하도록 제공될 수 있다.
몇몇 예에서, 원격 전자 디바이스(100)는 전술된 프로세서(들)(124)로부터 분리될 수 있는 저전력 콘트롤러(170)를 포함할 수 있다. 도 1에 도시된 예에서, 콘트롤러(170)는 하나 이상의 프로세서(들)(172), 메모리 모듈(174), 및 I/O 모듈(176)을 포함한다. 몇몇 예에서, 메모리 모듈(174)은 영구 플래시 메모리 모듈을 포함할 수 있고, I/O 모듈(176)은 예를 들어, 펌웨어 또는 소프트웨어와 같은, 영구 메모리 모듈 내에 인코딩된 논리 명령으로서 구현될 수 있다. I/O 모듈(176)은 직렬 I/O 모듈 또는 병렬 I/O 모듈을 포함할 수 있다. 재차, 겸용 콘트롤러(adjunct controller)(170)가 메인 프로세서(들)(124)로부터 물리적으로 분리되어 있기 때문에, 콘트롤러(170)는 프로세서(들)(124)가 저전력 소비 상태, 예를 들어 슬립 상태(sleep state)에 남아 있는 동안 독립적으로 동작할 수 있다. 또한, 저전력 콘트롤러(170)는 저전력 콘트롤러(170)가 운영 시스템을 통한 해킹에 액세스불가능한 개념에서 보안성일 수 있다.
몇몇 예에서, 퍼스널 어시스턴트(178)의 인스턴스(instance)가 콘트롤러(170) 상에서 실행할 수 있다. 퍼스널 어시스턴트(178)의 인스턴스는 메모리(140) 내의 퍼스널 어시스턴트(142)의 전체 기능성을 가질 수 있다. 대안적인 예에서, 콘트롤러(170) 상에서 실행되는 퍼스널 어시스턴트(178)의 인스턴스는 메모리(140) 내에 저장된 퍼스널 어시스턴트(142)의 기능성의 단지 일부만을 포함할 수 있다. 예를 들어, 퍼스널 어시스턴트(178)의 인스턴스는 예를 들어, 프로세서(들)(124)가 저전력 또는 슬립 상태에 있을 때 퍼스널 어시스턴트(142)에 대한 요청을 수신하고 응답하기 위한 프론트엔드 액세스 서비스(front-end access service)를 제공할 수 있다. 퍼스널 어시스턴트(178)는 퍼스널 어시스턴트(142)로부터 서비스의 요청을 수신할 수 있고, 요청자가 퍼스널 어시스턴트(142)를 사용하도록 허가되는 것을 보장하기 위해 인증 프로세스를 구현할 수 있다. 예를 들어, 퍼스널 어시스턴트(178)는 패스워드를 수집하고, 성문(voice print)을 정합하거나, 또는 다른 인증 기술을 구현할 수 있다. 퍼스널 어시스턴트(178)는 이어서 저전력 또는 슬립 상태로부터 프로세서(들)(124)를 웨이크하고(wake), 요청을 퍼스널 어시스턴트(142)에 전달할 수 있다.
도 2는 몇몇 예에 따른 지능형 보조 전자 디바이스(200)의 구성요소의 개략도이다. 보조 전자 디바이스(200)의 구성요소의 다수는 도 1에 도시된 원격 전자 디바이스(100)를 위한 대응 구성요소와 동일할 수 있다. 간략화 및 명료화를 위해, 이들 구성요소의 설명은 반복되지 않을 것이다.
도 2에 도시된 보조 전자 디바이스(200)는 저전력 음성 검출기(low-power speech detector: LPSD)(277)를 포함한다. 예를 들어, LPSD(277)는 상시 켜짐(always on) 상태이고 보조 전자 디바이스 상의 마이크로폰으로부터 입력을 주기적으로 모니터링하는 저전력 소비 콘트롤러로서 구현될 수 있다. 몇몇 예에서, LPSD(277)는 LPSD가 단지 하나 이상의 인식된 음성에만 응답하도록 하는 음성 인식 모듈을 포함할 수 있다.
도 2에 도시된 바와 같이, 몇몇 예에서, 보조 전자 디바이스(200)는 이어피스 또는 헤드셋과 같은 웨어러블 전자 디바이스로서 구현될 수 있다.
도 3은 지능형 보조 전자 디바이스가 몇몇 예에 따라 구현될 수 있는 환경의 고레벨 개략도이다. 도 3을 참조하면, 몇몇 환경에서, 전술된 바와 같은 원격 전자 디바이스(100)는 하나 이상의 보조 전자 디바이스(200)와 통신 채널을 설정하기 위한 범위 내에 있을 수 있다. 예를 들어, 원격 전자 디바이스(100)와 보조 전자 디바이스(200) 사이의 통신 채널은 무선 통신 채널, 유선 통신 채널, 광학 통신 채널 등일 수 있다.
원격 전자 디바이스(100)는 또한 통신 채널에 의해 네트워크 액세스 디바이스(310)에 결합될 수 있다. 예를 들어, 네트워크 액세스 디바이스(310)는 통신 네트워크(들)(340)를 거쳐 하나 이상의 네트워크 리소스(330) 또는 다른 원격 전자 디바이스(100)로의 액세스를 원격 전자 디바이스(100)에 제공하는 네트워크 액세스 디바이스(예를 들어, 라우터, 기지국 등)로서 실시될 수 있다. 예를 들어, 네트워크(들)(340)는 무선 네트워크, 예를 들어 무선 근거리 네트워크, 및 인터넷과 같은 하나 이상의 공용 네트워크를 포함할 수 있다.
보조 전자 디바이스를 구현하기 위한 다양한 구조체가 설명되었고, 동작 양태가 도 4 내지 도 5를 참조하여 설명될 것이다. 도 4는 몇몇 예에 따른 지능형 보조 디바이스를 구현하기 위한 방법에서의 동작을 도시하는 흐름도이고, 도 5는 몇몇 예에 따른 전자 디바이스들 사이의 통신의 타이밍 다이어그램이다. 도 4의 흐름도에 도시된 몇몇 동작은 보조 전자 디바이스(200)의 퍼스널 어시스턴트 관리자(242)에 의해 구현될 수 있다.
도 4 및 도 5를 참조하면, 동작 410에서, 보조 전자 디바이스(200)는 핵심 어구를 검출한다. 예를 들어, 몇몇 예에서, LPSD(277)는 지정된 핵심 어구에 대응하는 마이크로폰 내로의 음성 입력의 수신을 검출할 수 있다. 예를 들어, 도 5를 간략히 참조하면, 몇몇 예에서, 사용자는 마이크로폰과 같은 입출력 디바이스(226)에 핵심 어구(예를 들어, "헬로 자비스")를 입력할 수 있다. 핵심 어구는 LPSD(277)로의 트리거로서 기능한다.
LPSD(277)는 핵심 어구를 수신하고, 동작 415에서, LPSD(277)는 보조 전자 디바이스(200) 상의 프로세서(224)를 활성화하는 신호를 발생한다. 동작 420에서, 프로세서(224)는 원격 전자 디바이스(100) 상에서 실행하는 퍼스널 어시스턴트(들)(142/178)에 신호를 전송한다. 도 5에 도시된 바와 같이, 원격 전자 디바이스(100) 상에서 실행하는 퍼스널 어시스턴트(들)(142/178) 셋업 프로세스를 진행하는 동안 셋업 지연시간이 발생할 것이다.
동작 425에서, 보조 전자 디바이스(200)는 보조 전자 디바이스(200) 상의 마이크로폰 내로의 음성 입력을 계속 모니터링한다.
동작 430에서, 오디오 입력이 수신되면, 제어는 동작 435로 진행하고, 보조 전자 디바이스(200)는 메모리, 예를 들어 메모리(240) 내의 수신된 오디오를 버퍼링한다. 몇몇 예에서, 보조 전자 디바이스(200)는 오디오 입력이 완료될 때까지 원격 전자 디바이스(100)로부터 즉시 응답의 제시를 차단할 수도 있다. 대조적으로, 동작 430에서 오디오 입력이 존재하지 않으면, 제어는 동작 440으로 진행하고, 보조 전자 디바이스가 원격 전자 디바이스(100) 상에서 실행하는 퍼스널 어시스턴트(들)(142/178)로부터 응답을 수신하였는지 여부가 판정된다.
동작 440에서, 응답이 수신되지 않았으면, 제어는 동작 445로 진행하고 타임아웃 임계치가 경과하였는지 여부가 판정된다. 동작 445에서, 타임아웃 임계치가 경과되지 않았으면, 제어는 동작 425로 재차 진행하고, 보조 전자 디바이스(200)는 보조 전자 디바이스 상의 마이크로폰 내로의 음성 입력을 계속 모니터링한다. 대조적으로, 동작 445에서, 타임아웃이 경과되었으면, 제어는 동작 450으로 진행한다.
따라서, 동작 425 내지 445는 보조 전자 디바이스(200)가, 전자 디바이스(100) 상에서 실행하는 퍼스널 어시스턴트(들)(142/178)로부터의 응답을 대기하지 않고 사용자가 원격 전자 디바이스(100) 상에서 실행하는 퍼스널 어시스턴트(들)(142/178)에 질의를 계속 제공하는 것을 가능하게 하여 전자 디바이스(100) 상에서 실행하는 퍼스널 어시스턴트(들)(142/178)가 준비되어 있는 것을 지시하는 루프를 규정한다. 오히려, 사용자는 질의를 입력할 수 있고, 보조 전자 디바이스(200)는 메모리(240) 내에 질의를 버퍼링한다.
예를 들어, 도 5를 재차 참조하면, 사용자는 핵심 어구 "헬로 자비스"를 입력하고, 이어서 질의 예를 들어 "오늘 포틀랜드 날씨는 어때요?(What is the weather in Portland today?)"를 입력할 수 있다. 보조 전자 디바이스(200) 상에서 실행하는 퍼스널 어시스턴트 관리자(들)는 질의 "오늘 포틀랜드 날씨는 어때요?"가 메모리(240) 내에서 버퍼링되게 한다.
도 4를 재차 참조하면, 동작 460에서, 원격 전자 디바이스(100)는 동작 420에서 전송된 신호에 응답하여 원격 전자 디바이스 상에서 실행하는 퍼스널 어시스턴트(들)(142/178)를 활성화한다. 퍼스널 어시스턴트(들)(142/178)를 위한 셋업 프로세스는 지연을 도입한다. 도 5를 참조하면, 지연은 PA 지연에 의해 지시되어 있다. 퍼스널 어시스턴트(들)(142/178)가 준비되면, 제어는 동작 465로 진행하고, 퍼스널 어시스턴트(들)(142/178)는 이들이 보조 전자 디바이스(200)에 준비가 되어 있다는 것을 지시하는 신호를 전송한다. 이 신호는 도 5에 PA 준비 신호로서 지시되어 있다.
원격 전자 디바이스(100)로부터 준비 응답 신호의 수신 또는 타임아웃 기간의 경과는 동작 425 내지 445에 의해 규정된 루프가 종료하게 하고 제어가 선택적인 동작인 동작 450으로 진행하게 한다.
동작 450에서, 보조 전자 디바이스(200)는 메모리(240) 내에 버퍼링된 음성 내의 묵음(silent) 기간을 선택적으로 검출하여 제거한다. 예를 들어, 음성 분석기는 메모리(240) 내에 버퍼링된 음성을 분석할 수 있고, 임계 시간량보다 큰 묵음 기간에 대응하는 데이터를 삭제할 수 있다. 대안적인 예에서, 묵음 기간에 대응하는 데이터는 메모리(140)로부터 삭제될 필요가 없다. 오히려, 묵음 기간에 대응하는 데이터는 묵음 데이터로서 식별될 수 있다.
동작 455에서, 보조 전자 디바이스(200)는 원격 전자 디바이스(100) 상에서 실행하는 퍼스널 어시스턴트(들)(142/178)에 버퍼링된 오디오 신호를 포워딩한다. 묵음 기간에 대응하는 버퍼링된 데이터가 삭제되기보다는, 식별되는 예에서, 묵음 기간에 대응하는 버퍼링된 데이터는 전송될 필요가 없다. 몇몇 예에서, 오디오는 원격 전자 디바이스(100) 상에서 실행하는 퍼스널 어시스턴트(들)(142/178)로의 질의의 전달을 촉진하기 위해 가속된 데이터 전송율로 버스트 모드(burst mode)에서 포워딩될 수 있다.
동작 470에서, 원격 전자 디바이스(100)는 통상의 프로세싱 동작에 따라 오디오 입력을 프로세싱한다. 따라서, 도 5를 참조하면, 원격 전자 디바이스 상에서 실행하는 퍼스널 어시스턴트(들)는 질의를 수신하고, 대답을 얻고, 대답을 보조 전자 디바이스(200)에 포워딩할 수 있다.
동작 475에서, 보조 전자 디바이스는 원격 전자 디바이스로부터 종료 신호를 모니터링한다. 예를 들어, 원격 전자 디바이스(100) 상의 퍼스널 어시스턴트(142/178)는 퍼스널 어시스턴트(142/178)가 오디오 입력을 수신하고 입력을 프로세싱하는 것을 지시하는 신호를 전송할 수 있다. 동작 475에서, 종료 신호가 검출되면, 제어는 동작 480으로 진행하고, 보조 전자 디바이스(200)는 오디오 버퍼를 간단히 플러시하고 실시간 오디오 전송을 개시할 수 있다.
전술된 바와 같이, 몇몇 예에서, 전자 디바이스는 컴퓨터 시스템으로서 실시될 수 있다. 도 6은 예에 따른 컴퓨팅 시스템(600)의 블록 다이어그램을 도시한다. 컴퓨팅 시스템(600)은 상호접속 네트워크(또는 버스)(604)를 거쳐 통신하는 하나 이상의 중앙 프로세싱 유닛(들)(602) 또는 프로세서를 포함할 수 있다. 프로세서(602)는 범용 프로세서, 네트워크 프로세서(컴퓨터 네트워크(603)를 통해 통신된 데이터를 프로세싱함), 또는 다른 유형의 프로세서(축소 명령 세트 컴퓨터(RISC) 프로세서 또는 복합 명령 세트 컴퓨터(CISC)를 포함함)를 포함할 수 있다. 더욱이, 프로세서(602)는 싱글 또는 멀티 코어 디자인을 가질 수 있다. 멀티 코어 디자인을 갖는 프로세서(602)는 동일한 집적 회로(IC) 다이 상에 상이한 유형의 프로세서 코어를 집적할 수 있다. 또한, 멀티 코어 디자인을 갖는 프로세서(602)는 대칭 또는 비대칭 멀티프로세서로서 구현될 수 있다. 예에서, 프로세서(602)의 하나 이상은 도 1의 프로세서(102)와 동일하거나 유사할 수 있다. 예를 들어, 프로세서(602)의 하나 이상은 도 1을 참조하여 설명된 제어 유닛(124) 또는 도 2의 프로세서(224)를 포함할 수 있다. 또한, 도 4 내지 도 5를 참조하여 설명된 동작은 시스템(600)의 하나 이상의 구성요소에 의해 수행될 수 있다.
칩셋(606)이 또한 상호접속 네트워크(604)와 통신할 수 있다. 칩셋(606)은 메모리 콘트롤 허브(memory control hub: MCH)(608)를 포함할 수 있다. MCH(608)는 메모리(612)와 통신하는 메모리 콘트롤러(610)를 포함할 수 있다. 메모리(612)는 프로세서(602), 또는 컴퓨팅 시스템(600) 내에 포함된 임의의 다른 디바이스에 의해 실행될 수 있는 명령의 시퀀스를 포함하여, 데이터를 저장할 수 있다. 일 예에서, 메모리(612)는 랜덤 액세스 메모리(RAM), 동적 RAM(DRAM), 동기식 DRAM(SDRAM), 정적 RAM(SRAM), 또는 다른 유형의 저장 디바이스와 같은 하나 이상의 휘발성 저장 장치(또는 메모리)를 포함할 수 있다. 하드 디스크와 같은 비휘발성 메모리가 또한 이용될 수 있다. 멀티 프로세서(들) 및/또는 다중 시스템 메모리와 같은 부가의 디바이스가 상호접속 네트워크(604)를 거쳐 통신할 수 있다.
MCH(608)는 디스플레이 디바이스(616)와 통신하는 그래픽 인터페이스(614)를 또한 포함할 수 있다. 일 예에서, 그래픽 인터페이스(614)는 가속 그래픽 포트(accelerated graphics port: AGP)를 거쳐 디스플레이 디바이스(616)와 통신할 수 있다. 예에서, 디스플레이(616)(평판 패널 디스플레이와 같은)는 예를 들어, 비디오 메모리 또는 시스템 메모리와 같은 저장 디바이스 내에 저장된 이미지의 디지털 표현을 디스플레이(616)에 의해 해석되고 표시되는 디스플레이 신호로 변환하는 신호 컨버터를 통해 그래픽 인터페이스(614)와 통신할 수 있다. 디스플레이 디바이스에 의해 생성된 디스플레이 신호는 디스플레이(616)에 의해 해석되고 이후에 디스플레이 상에 표시되기 전에 다양한 제어 디바이스를 통해 통과할 수 있다.
허브 인터페이스(618)가 MCH(608) 및/또는 입출력 콘트롤 허브(input/output control hub: ICH)(620)가 통신하게 할 수 있다. ICH(620)는 컴퓨팅 시스템(600)과 통신하는 I/O 디바이스(들)로의 인터페이스를 제공할 수 있다. ICH(620)는 주변 장치 상호접속(peripheral component interconnect: PCI) 브리지, 범용 직렬 버스(universal serial bus: USB) 콘트롤러, 또는 다른 유형의 주변 브리지 또는 콘트롤러와 같은, 주변 브리지(또는 콘트롤러)(624)를 통해 버스(622)와 통신할 수 있다. 브리지(624)는 프로세서(602)와 주변 장치 사이에 데이터 경로를 제공할 수 있다. 다른 유형의 토폴로지가 이용될 수 있다. 또한, 다중 버스가 예를 들어, 다중 브리지 또는 콘트롤러를 통해 ICH(620)와 통신할 수 있다. 더욱이, ICH(620)와 통신하는 다른 주변 장치는 다양한 예에서, 통합 드라이브 전자(integrated drive electronics: IDE) 또는 소형 컴퓨터 시스템 인터페이스(small computer system interface: SCSI) 하드 드라이브(들), USB 포트(들), 키보드, 마우스, 병렬 포트(들), 직렬 포트(들), 플로피 디스크 드라이브(들), 디지털 출력 서포트(예를 들어, 디지털 비디오 인터페이스(digital video interface: DVI)), 또는 다른 디바이스를 포함할 수 있다.
버스(622)는 오디오 디바이스(626), 하나 이상의 디스크 드라이브(들)(628), 및 네트워크 인터페이스 디바이스(630)(컴퓨터 네트워크(603)와 통신함)와 통신할 수 있다. 다른 디바이스는 버스(622)를 거쳐 통신할 수 있다. 또한, 다양한 구성요소(네트워크 인터페이스 디바이스(630)와 같은)가 몇몇 예에서 MCH(608)와 통신할 수 있다. 게다가, 프로세서(602) 및 본 명세서에 설명된 하나 이상의 다른 구성요소가 조합되어 단일칩을 형성할 수 있다(예를 들어, 시스템 온 칩(System On Chip: SOC)을 제공함). 더욱이, 그래픽 가속기(616)는 다른 예에서 MCH(608) 내에 포함될 수 있다.
더욱이, 컴퓨팅 시스템(600)은 휘발성 및/또는 비휘발성 메모리(또는 저장 장치)를 포함할 수 있다. 예를 들어, 비휘발성 메모리는 판독 전용 메모리(ROM), 프로그램가능 ROM(PROM), 소거가능 PROM(EPROM), 전기적 EPROM(EEPROM), 디스크 드라이브(예를 들어, 628), 플로피 디스크, 콤팩트 디스크 ROM(CD-ROM), 디지털 다기능 디스크(DVD), 플래시 메모리, 자기 광학 디스크, 또는 전자 데이터(예를 들어, 명령을 포함함)를 저장하는 것이 가능한 다른 유형의 비휘발성 기계 판독가능 매체 중 하나 이상을 포함할 수 있다.
도 7은 예에 따른 컴퓨팅 시스템(700)의 블록 다이어그램을 도시한다. 시스템(700)은 하나 이상의 프로세서(702-1 내지 702-N)(본 명세서에서 "프로세서들(702)" 또는 "프로세서(702)"라 일반적으로 칭함)를 포함할 수 있다. 프로세서(702)는 상호접속 네트워크 또는 버스(704)를 거쳐 통신할 수 있다. 각각의 프로세서는 다양한 구성요소를 포함할 수도 있는데, 이들 중 일부만이 명료화를 위해 프로세서(702-1)를 참조하여 설명된다. 이에 따라, 나머지 프로세서(702-2 내지 702-N)의 각각은 프로세서(702-1)를 참조하여 설명된 동일한 또는 유사한 구성요소를 포함할 수 있다.
예에서, 프로세서(702-1)는 하나 이상의 프로세서 코어(706-1 내지 706-M)(본 명세서에서 "코어들(706)" 또는 더 일반적으로 "코어(706)"라 칭함), 공유 캐시(708), 라우터(710), 및/또는 프로세서 제어 로직 또는 유닛(720)을 포함할 수 있다. 프로세서 코어(706)는 단일 집적 회로(IC) 칩 상에 구현될 수 있다. 더욱이, 칩은 하나 이상의 고유 및/또는 개인 캐시(캐시(708)와 같은), 버스 또는 상호접속부(버스 또는 상호접속 네트워크(712)와 같은), 메모리 콘트롤러 또는 다른 구성요소를 포함할 수 있다.
일 예에서, 라우터(710)는 프로세서(702-1) 및/또는 시스템(700)의 다양한 구성요소들 사이에서 통신하는데 사용될 수 있다. 더욱이, 프로세서(702-1)는 하나 초과의 라우터(710)를 포함할 수 있다. 더욱이, 다수의 라우터(710)가 프로세서(702-1)의 내부 또는 외부의 다양한 구성요소 사이의 데이터 라우팅을 가능하게 하기 위해 통신할 수 있다.
공유 캐시(708)는 코어(706)와 같은, 프로세서(702-1)의 하나 이상의 구성요소에 의해 이용되는 데이터(예를 들어, 명령을 포함함)를 저장할 수 있다. 예를 들어, 공유 캐시(708)는 프로세서(702)의 구성요소에 의한 더 고속의 액세스를 위해 메모리(714) 내에 저장된 데이터를 로컬하게 캐싱할 수 있다. 예에서, 캐시(708)는 중간 계층 캐시(계층 2(L2), 계층 3(L3), 계층 4(L4), 또는 다른 계층의 캐시와 같은), 최하위 계층 캐시(LLC), 및/또는 이들의 조합을 포함할 수 있다. 더욱이, 프로세서(702-1)의 다양한 구성요소는 버스(예를 들어, 버스(712)) 및/또는 메모리 콘트롤러 또는 허브를 통해 직접 공유 캐시(708)와 통신할 수 있다. 도 7에 도시된 바와 같이, 몇몇 예에서, 코어(706)의 하나 이상은 계층 1(L1) 캐시(716-1)(본 명세서에서 "L1 캐시(716)"라 일반적으로 칭함)를 포함할 수 있다.
도 8은 예에 따른, 컴퓨팅 시스템의 프로세서 코어(706) 및 다른 구성요소의 부분의 블록 다이어그램을 도시한다. 일 예에서, 도 8에 도시된 화살표는 코어(706)를 통한 명령의 흐름 방향을 도시한다. 하나 이상의 프로세서 코어(프로세서 코어(706)와 같은)는 도 7을 참조하여 설명된 것과 같은 단일 집적 회로 칩(또는 다이) 상에 구현될 수 있다. 더욱이, 칩은 하나 이상의 공유 및/또는 개인 캐시(예를 들어, 도 7의 캐시(708)), 상호접속부(예를 들어, 도 7의 상호접속부(704 및/또는 112)), 제어 유닛, 메모리 콘트롤러, 또는 다른 구성요소를 포함할 수 있다.
도 8에 도시된 바와 같이, 프로세서 코어(706)는 코어(706)에 의한 실행을 위해 명령(조건 분기를 갖는 명령을 포함함)을 페치(fetch)하기 위한 페치 유닛(802)을 포함할 수 있다. 명령은 메모리(714)와 같은 임의의 저장 디바이스로부터 페치될 수 있다. 코어(706)는 페치된 명령을 디코딩하기 위한 디코드 유닛(804)을 또한 포함할 수 있다. 예를 들어, 디코드 유닛(804)은 페치된 명령을 복수의 uop(마이크로 오퍼레이션)으로 디코딩할 수 있다.
부가적으로, 코어(706)는 스케쥴 유닛(806)을 포함할 수 있다. 스케쥴 유닛(806)은 명령이 디스패치를 위해 준비될 때까지, 예를 들어, 디코딩된 명령의 모든 소스값이 이용 가능해질 때까지, 디코딩된 명령(예를 들어, 디코드 유닛(804)으로부터 수신됨)을 저장하는 것과 연계된 다양한 동작을 수행할 수 있다. 일 예에서, 스케쥴 유닛(806)은 디코딩된 명령을 스케쥴링하고 그리고/또는 실행을 위해 실행 유닛(808)에 발행(또는 디스패치)할 수 있다. 실행 유닛(808)은 디스패치된 명령이 디코딩되고(예를 들어, 디코드 유닛(804)에 의해) 디스패치된(예를 들어, 스케쥴 유닛(806)에 의해) 후에 디스패치된 명령을 실행할 수 있다. 예에서, 실행 유닛(808)은 하나 초과의 실행 유닛을 포함할 수 있다. 실행 유닛(808)은 또한 가산, 감산, 승산 및/또는 제산과 같은 다양한 산술 연산을 수행할 수 있고, 하나 이상의 산술 논리 유닛(arithmetic logic units: ALUs)을 포함할 수 있다. 예에서, 코프로세서(도시 생략)가 실행 유닛(808)과 합께 다양한 산술 연산을 수행할 수 있다.
또한, 실행 유닛(808)은 비순차적으로 명령을 실행할 수 있다. 따라서, 프로세서 코어(706)는 일 예에서 비순차 프로세서일 수 있다. 코어(706)는 철회(retirement) 유닛(810)을 또한 포함할 수 있다. 철회 유닛(810)은 이들이 위탁된 후에 실행된 명령을 철회할 수 있다. 예에서, 실행된 명령의 철회는 프로세서 상태가 명령의 실행으로부터 위탁되게 하고, 명령에 의해 사용된 물리적 레지스터가 할당해제된다.
코어(706)는 하나 이상의 버스(예를 들어, 버스(804 및/또는 812))를 거쳐 프로세서 코어(706)의 구성요소와 다른 구성요소(도 8을 참조하여 설명된 구성요소와 같은) 사이에 통신을 가능하게 하기 위한 버스 유닛(714)을 또한 포함할 수 있다. 코어(706)는 코어(706)의 다양한 구성요소에 의해 액세스된 데이터(전력 소비 상태 설정에 관련된 값들과 같은)를 저장하기 위한 하나 이상의 레지스터(816)를 또한 포함할 수 있다.
더욱이, 도 7은 상호접속부(812)를 거쳐 코어(706)에 결합될 제어 유닛(720)을 도시하고 있지만, 다양한 예에서 제어 유닛(720)은 코어(706) 내부와 같은 다른 위치에 위치되고, 버스(704)를 거쳐 코어에 결합되는 등일 수도 있다.
몇몇 예에서, 본 명세서에 설명된 구성요소의 하나 이상은 시스템 온 칩(SOC) 디바이스로서 실시될 수 있다. 도 9는 예에 따른 SOC 패키지의 블록 다이어그램을 도시한다. 도 9에 도시된 바와 같이, SOC(902)는 하나 이상의 프로세서 코어(920), 하나 이상의 그래픽 프로세서 코어(930), 입출력(I/O) 인터페이스(940), 및 메모리 콘트롤러(942)를 포함한다. SOC 패키지(902)의 다양한 구성요소는 다른 도면을 참조하여 본 명세서에 설명된 것과 같은 상호접속부 또는 버스에 결합될 수 있다. 또한, SOC 패키지(902)는 다른 도면을 참조하여 본 명세서에 설명된 것과 같은 더 많거나 적은 구성요소를 포함할 수 있다. 또한, SOC 패키지(902)의 각각의 구성요소는 예를 들어, 본 명세서에 다른 도면을 참조하여 설명된 바와 같이, 하나 이상의 다른 구성요소를 포함할 수 있다. 일 예에서, SOC 패키지(902)(및 그 구성요소)는 예를 들어 단일 반도체 디바이스 내에 패키징되어 있는 하나 이상의 집적 회로(IC) 다이 상에 제공된다.
도 9에 도시된 바와 같이, SOC 패키지(902)는 메모리 콘트롤러(942)를 거쳐 메모리(960)(다른 도면을 참조하여 본 명세서에 설명된 메모리와 유사하거나 동일할 수 있음)에 결합된다. 예에서, 메모리(960)(또는 그 부분)는 SOC 패키지(902) 상에 일체화될 수 있다.
I/O 인터페이스(940)는 예를 들어, 다른 도면을 참조하여 본 명세서에 설명되는 것과 같은 상호접속부 및/또는 버스를 거쳐 하나 이상의 I/O 디바이스(970)에 결합될 수 있다. I/O 디바이스(들)(970)는 키보드, 마우스, 터치패드, 디스플레이, 이미지/비디오 캡처 디바이스(카메라 또는 캠코더/비디오 레코더와 같은), 터치면, 스피커 등 중 하나 이상을 포함할 수 있다.
도 10은 예에 따른 점대점(point-to-point: PtP) 구성으로 배열된 컴퓨팅 시스템(1000)을 도시한다. 특히, 도 10은 프로세서, 메모리, 및 입출력 디바이스가 다수의 점대점 인터페이스에 의해 상호접속되어 있는 시스템을 도시한다. 도 2를 참조하여 설명된 동작은 시스템(1000)의 하나 이상의 구성요소에 의해 수행될 수 있다.
도 10에 도시된 바와 같이, 시스템(1000)은 다수의 프로세서를 포함할 수 있는데, 이들 중 단지 2개의 프로세서(1002, 1004)만이 명료화를 위해 도시되어 있다. 프로세서(1002, 1004)는 메모리(1010, 1012)와 통신을 가능하게 하기 위한 로컬 메모리 콘트롤러 허브(MCH)(1006, 1008)를 각각 포함할 수 있다. MCH(1006, 1008)는 몇몇 예에서 도 1의 메모리 콘트롤러(120) 및/또는 로직(125)을 포함할 수 있다.
예에서, 프로세서(1002, 1004)는 도 7을 참조하여 설명된 프로세서(702) 중 하나일 수 있다. 프로세서(1002, 1004)는 PtP 인터페이스 회로(1016, 1018)를 각각 사용하여 점대점(PtP) 인터페이스(1014)를 거쳐 데이터를 교환할 수 있다. 또한, 프로세서(1002, 1004)는 점대점 인터페이스 회로(1026, 1028, 1030, 1032)를 사용하여 개별 PtP 인터페이스(1022, 1024)를 거쳐 칩셋(1020)과 데이터를 각각 교환할 수 있다. 칩셋(1020)은 또한 예를 들어, PtP 인터페이스 회로(1037)를 사용하여 고성능 그래픽 인터페이스(1036)를 거쳐 고성능 그래픽 회로(1034)와 데이터를 교환할 수 있다.
도 10에 도시된 바와 같이, 도 1의 코어(106) 및/또는 캐시(108) 중 하나 이상은 프로세서(1004) 내에 위치될 수 있다. 그러나, 다른 예가 도 10의 시스템(1000) 내의 다른 회로, 논리 유닛, 또는 디바이스에 존재할 수 있다. 더욱이, 다른 예가 도 10에 도시된 다수의 회로, 논리 유닛, 또는 디바이스 전체에 걸쳐 분배될 수 있다.
칩셋(1020)은 PtP 인터페이스 회로(1041)를 사용하여 버스(1040)와 통신할 수 있다. 버스(1040)는 버스 브리지(1042) 및 I/O 디바이스(1043)와 같은 그와 통신하는 하나 이상의 디바이스를 가질 수 있다. 버스(1044)를 거쳐, 버스 브리지(1043)는 키보드/마우스(1045), 통신 디바이스(1046)(모뎀, 네트워크 인터페이스 디바이스, 또는 컴퓨터 네트워크(1003)와 통신할 수 있는 다른 통신 디바이스), 오디오 I/O 디바이스, 및/또는 데이터 저장 디바이스(1048)와 같은 다른 디바이스와 통신할 수 있다. 데이터 저장 디바이스(1048)(하드 디스크 드라이브 또는 NAND 플래시 기반 고체 상태 드라이브일 수 있음)는 프로세서(1004)에 의해 실행될 수 있는 코드(1049)를 저장할 수 있다.
이하의 예는 추가의 예에 관한 것이다.
예 1은 적어도 부분적으로 하드웨어 로직을 포함하고, 수신된 오디오 신호 내의 핵심 어구를 검출하고, 핵심 어구에 응답하여, 원격 전자 디바이스 내의 퍼스널 어시스턴트에 신호를 전송하고, 오디오 입력이 수신되었는지 여부를 판정하고, 원격 전자 디바이스 내의 퍼스널 어시스턴트로부터 응답을 수신하기 전에 부가의 오디오 입력이 수신되었다는 판정에 응답하여, 오디오 입력을 메모리 내에 버퍼링하고, 오디오 입력을 원격 전자 디바이스 내의 퍼스널 어시스턴트에 포워딩하도록 구성된 로직을 포함하는 콘트롤러이다.
예 2에서, 예 1의 요지는 로직이 수신된 오디오 신호 내의 핵심 어구를 검출하기 위한 저전력 콘트롤러를 포함하는 구성을 선택적으로 포함할 수 있다.
예 3에서, 예 1 내지 2 중 어느 하나의 요지는 원격 전자 디바이스 내의 퍼스널 어시스턴트 관리자로부터 응답을 수신하기 전에 부가의 오디오 입력이 수신되었다는 판정에 응답하여 프로세서를 활성화하도록 또한 구성된 로직을 선택적으로 포함할 수 있다.
예 4에서, 예 1 내지 3 중 어느 하나의 요지는 원격 전자 디바이스 내의 퍼스널 어시스턴트로부터의 준비 응답을 모니터링하도록 또한 구성된 로직을 선택적으로 포함할 수 있다.
예 5에서, 예 1 내지 4 중 어느 하나의 요지는 원격 전자 디바이스 내의 퍼스널 어시스턴트로부터 응답을 수신하기 전에 부가의 오디오 입력이 수신되었다는 판정에 응답하여 퍼스널 어시스턴트로부터 준비 응답의 제시를 차단하도록 또한 구성된 로직을 선택적으로 포함할 수 있다.
예 6에서, 예 1 내지 5 중 어느 하나의 요지는 메모리로부터 원격 전자 디바이스에 오디오 입력을 전송하도록 또한 구성된 로직을 선택적으로 포함할 수 있다.
예 7에서, 예 1 내지 6 중 어느 하나의 요지는 메모리 내에 버퍼링된 오디오 입력 내의 묵음의 기간을 검출하고, 메모리 내에 버퍼링된 오디오 입력이 원격 전자 디바이스에 전송되기 전에 메모리 내에 버퍼링된 오디오 입력으로부터 묵음의 기간을 제거하도록 또한 구성된 로직을 선택적으로 포함할 수 있다.
예 8에서, 예 1 내지 7 중 어느 하나의 요지는 메모리로부터 원격 전자 디바이스로 오디오 입력을 전송하도록 또한 구성된 로직은 가속된 데이터 전송율로 버스트 모드에서 오디오 입력을 전송하기 위한 로직을 포함하는 것을 선택적으로 포함할 수 있다.
예 9는 오디오 입력 디바이스, 통신 인터페이스, 및 콘트롤러를 포함하고, 콘트롤러는 적어도 부분적으로 하드웨어 로직을 포함하고, 수신된 오디오 신호 내의 핵심 어구를 검출하고, 핵심 어구에 응답하여, 원격 전자 디바이스 내의 퍼스널 어시스턴트에 신호를 전송하고, 오디오 입력이 수신되었는지 여부를 판정하고, 원격 전자 디바이스 내의 퍼스널 어시스턴트로부터 응답을 수신하기 전에 부가의 오디오 입력이 수신되었다는 판정에 응답하여, 오디오 입력을 메모리 내에 버퍼링하고, 오디오 입력을 원격 전자 디바이스 내의 퍼스널 어시스턴트에 포워딩하도록 구성된 로직을 포함하는 전자 디바이스이다.
예 10에서, 예 9의 요지는 로직이 수신된 오디오 신호 내의 핵심 어구를 검출하기 위한 저전력 콘트롤러를 포함하는 구성을 선택적으로 포함할 수 있다.
예 11에서, 예 9 내지 10 중 어느 하나의 요지는 원격 전자 디바이스 내의 퍼스널 어시스턴트 관리자로부터 응답을 수신하기 전에 부가의 오디오 입력이 수신되었다는 판정에 응답하여 프로세서를 활성화하도록 또한 구성된 로직을 선택적으로 포함할 수 있다.
예 12에서, 예 9 내지 11 중 어느 하나의 요지는 원격 전자 디바이스 내의 퍼스널 어시스턴트로부터의 준비 응답을 모니터링하도록 또한 구성된 로직을 선택적으로 포함할 수 있다.
예 13에서, 예 9 내지 12 중 어느 하나의 요지는 원격 전자 디바이스 내의 퍼스널 어시스턴트로부터 응답을 수신하기 전에 부가의 오디오 입력이 수신되었다는 판정에 응답하여 퍼스널 어시스턴트로부터 준비 응답의 제시를 차단하도록 또한 구성된 로직을 선택적으로 포함할 수 있다.
예 14에서, 예 9 내지 13 중 어느 하나의 요지는 메모리로부터 원격 전자 디바이스에 오디오 입력을 전송하도록 또한 구성된 로직을 선택적으로 포함할 수 있다.
예 15에서, 예 9 내지 14 중 어느 하나의 요지는 메모리 내에 버퍼링된 오디오 입력 내의 묵음의 기간을 검출하고, 메모리 내에 버퍼링된 오디오 입력이 원격 전자 디바이스에 전송되기 전에 메모리 내에 버퍼링된 오디오 입력으로부터 묵음의 기간을 제거하도록 또한 구성된 로직을 선택적으로 포함할 수 있다.
예 16에서, 예 9 내지 15 중 어느 하나의 요지는 메모리로부터 원격 전자 디바이스로 오디오 입력을 전송하도록 또한 구성된 로직은 가속된 데이터 전송율로 버스트 모드에서 오디오 입력을 전송하기 위한 로직을 포함하는 것을 선택적으로 포함할 수 있다.
예 17은 오디오 입력 디바이스, 통신 인터페이스, 및 수신된 오디오 신호 내의 핵심 어구를 검출하고, 핵심 어구에 응답하여, 원격 전자 디바이스 내의 퍼스널 어시스턴트에 신호를 전송하고, 오디오 입력이 수신되었는지 여부를 판정하고, 원격 전자 디바이스 내의 퍼스널 어시스턴트로부터 응답을 수신하기 전에 부가의 오디오 입력이 수신되었다는 판정에 응답하여, 오디오 입력을 메모리 내에 버퍼링하고, 오디오 입력을 원격 전자 디바이스 내의 퍼스널 어시스턴트에 포워딩하기 위한 수단을 포함하는 전자 디바이스이다.
예 18에서, 예 17의 요지는 로직이 수신된 오디오 신호 내의 핵심 어구를 검출하기 위한 저전력 콘트롤러를 포함하는 구성을 선택적으로 포함할 수 있다.
예 19에서, 예 17 내지 18 중 어느 하나의 요지는 원격 전자 디바이스 내의 퍼스널 어시스턴트 관리자로부터 응답을 수신하기 전에 부가의 오디오 입력이 수신되었다는 판정에 응답하여 프로세서를 활성화하도록 또한 구성된 로직을 선택적으로 포함할 수 있다.
예 20에서, 예 17 내지 19 중 어느 하나의 요지는 원격 전자 디바이스 내의 퍼스널 어시스턴트로부터의 준비 응답을 모니터링하도록 또한 구성된 로직을 선택적으로 포함할 수 있다.
예 21에서, 예 17 내지 20 중 어느 하나의 요지는 원격 전자 디바이스 내의 퍼스널 어시스턴트로부터 응답을 수신하기 전에 부가의 오디오 입력이 수신되었다는 판정에 응답하여 퍼스널 어시스턴트로부터 준비 응답의 제시를 차단하도록 또한 구성된 로직을 선택적으로 포함할 수 있다.
예 22에서, 예 17 내지 21 중 어느 하나의 요지는 메모리로부터 원격 전자 디바이스에 오디오 입력을 전송하도록 또한 구성된 로직을 선택적으로 포함할 수 있다.
예 23에서, 예 17 내지 22 중 어느 하나의 요지는 메모리 내에 버퍼링된 오디오 입력 내의 묵음의 기간을 검출하고, 메모리 내에 버퍼링된 오디오 입력이 원격 전자 디바이스에 전송되기 전에 메모리 내에 버퍼링된 오디오 입력으로부터 묵음의 기간을 제거하도록 또한 구성된 로직을 선택적으로 포함할 수 있다.
예 24에서, 예 17 내지 23 중 어느 하나의 요지는 메모리로부터 원격 전자 디바이스로 오디오 입력을 전송하도록 또한 구성된 로직은 가속된 데이터 전송율로 버스트 모드에서 오디오 입력을 전송하기 위한 로직을 포함하는 것을 선택적으로 포함할 수 있다.
예 25는 콘트롤러에 의해 실행될 때, 수신된 오디오 신호 내의 핵심 어구를 검출하고, 핵심 어구에 응답하여, 원격 전자 디바이스 내의 퍼스널 어시스턴트에 신호를 전송하고, 오디오 입력이 수신되었는지 여부를 판정하고, 원격 전자 디바이스 내의 퍼스널 어시스턴트로부터 응답을 수신하기 전에 부가의 오디오 입력이 수신되었다는 판정에 응답하여, 오디오 입력을 메모리 내에 버퍼링하고, 오디오 입력을 원격 전자 디바이스 내의 퍼스널 어시스턴트에 포워딩하도록 콘트롤러를 구성하는 탠저블(tangilble) 컴퓨터 판독가능 매체 상에 저장된 논리 명령을 포함하는 컴퓨터 프로그램 제품이다.
예 26에서, 예 25의 요지는 로직이 수신된 오디오 신호 내의 핵심 어구를 검출하기 위한 저전력 콘트롤러를 포함하는 구성을 선택적으로 포함할 수 있다.
예 27에서, 예 25 내지 26 중 어느 하나의 요지는 콘트롤러에 의해 실행될 때, 원격 전자 디바이스 내의 퍼스널 어시스턴트 관리자로부터 응답을 수신하기 전에 부가의 오디오 입력이 수신되었다는 판정에 응답하여 프로세서를 활성화하도록 콘트롤러를 구성하는 탠저블 컴퓨터 판독가능 매체 상에 저장된 논리 명령을 선택적으로 포함할 수 있다.
예 28에서, 예 25 내지 27 중 어느 하나의 요지는 콘트롤러에 의해 실행될 때, 원격 전자 디바이스 내의 퍼스널 어시스턴트로부터의 준비 응답을 모니터링하도록 콘트롤러를 구성하는 탠저블 컴퓨터 판독가능 매체 상에 저장된 논리 명령을 선택적으로 포함할 수 있다.
예 29에서, 예 25 내지 28 중 어느 하나의 요지는 콘트롤러에 의해 실행될 때, 원격 전자 디바이스 내의 퍼스널 어시스턴트로부터 응답을 수신하기 전에 부가의 오디오 입력이 수신되었다는 판정에 응답하여 퍼스널 어시스턴트로부터 준비 응답의 제시를 차단하도록 콘트롤러를 구성하는 탠저블 컴퓨터 판독가능 매체 상에 저장된 논리 명령을 선택적으로 포함할 수 있다.
예 30에서, 예 25 내지 29 중 어느 하나의 요지는 콘트롤러에 의해 실행될 때, 메모리로부터 원격 전자 디바이스에 오디오 입력을 전송하도록 콘트롤러를 구성하는 탠저블 컴퓨터 판독가능 매체 상에 저장된 논리 명령을 선택적으로 포함할 수 있다.
예 31에서, 예 25 내지 30 중 어느 하나의 요지는 콘트롤러에 의해 실행될 때, 메모리 내에 버퍼링된 오디오 입력 내의 묵음의 기간을 검출하고, 메모리 내에 버퍼링된 오디오 입력이 원격 전자 디바이스에 전송되기 전에 메모리 내에 버퍼링된 오디오 입력으로부터 묵음의 기간을 제거하도록 콘트롤러를 구성하는 탠저블 컴퓨터 판독가능 매체 상에 저장된 논리 명령을 선택적으로 포함할 수 있다.
예 32에서, 예 25 내지 31 중 어느 하나의 요지는 콘트롤러에 의해 실행될 때, 메모리로부터 원격 전자 디바이스로 오디오 입력을 전송하는 콘트롤러를 가속된 데이터 전송율로 버스트 모드에서 오디오 입력을 전송하기 위한 로직을 포함하도록 구성하는 탠저블 컴퓨터 판독가능 매체 상에 저장된 논리 명령을 포함하는 것을 선택적으로 포함할 수 있다.
예 33은 수신된 오디오 신호 내의 핵심 어구를 검출하는 단계, 핵심 어구에 응답하여, 원격 전자 디바이스 내의 퍼스널 어시스턴트에 신호를 전송하고, 오디오 입력이 수신되었는지 여부를 판정하는 단계, 원격 전자 디바이스 내의 퍼스널 어시스턴트로부터 응답을 수신하기 전에 부가의 오디오 입력이 수신되었다는 판정에 응답하여, 오디오 입력을 메모리 내에 버퍼링하고, 오디오 입력을 원격 전자 디바이스 내의 퍼스널 어시스턴트에 포워딩하는 단계를 포함하는 방법이다.
예 34에서, 예 33의 요지는 로직이 수신된 오디오 신호 내의 핵심 어구를 검출하기 위한 저전력 콘트롤러를 포함하는 구성을 선택적으로 포함할 수 있다.
예 35에서, 예 33 내지 34 중 어느 하나의 요지는 원격 전자 디바이스 내의 퍼스널 어시스턴트 관리자로부터 응답을 수신하기 전에 부가의 오디오 입력이 수신되었다는 판정에 응답하여 프로세서를 활성화하도록 또한 구성된 로직을 선택적으로 포함할 수 있다.
예 36에서, 예 33 내지 35 중 어느 하나의 요지는 원격 전자 디바이스 내의 퍼스널 어시스턴트로부터의 준비 응답을 모니터링하도록 또한 구성된 로직을 선택적으로 포함할 수 있다.
예 37에서, 예 33 내지 36 중 어느 하나의 요지는 원격 전자 디바이스 내의 퍼스널 어시스턴트로부터 응답을 수신하기 전에 부가의 오디오 입력이 수신되었다는 판정에 응답하여 퍼스널 어시스턴트로부터 준비 응답의 제시를 차단하도록 또한 구성된 로직을 선택적으로 포함할 수 있다.
예 38에서, 예 33 내지 37 중 어느 하나의 요지는 메모리로부터 원격 전자 디바이스에 오디오 입력을 전송하도록 또한 구성된 로직을 선택적으로 포함할 수 있다.
예 39에서, 예 33 내지 38 중 어느 하나의 요지는 메모리 내에 버퍼링된 오디오 입력 내의 묵음의 기간을 검출하고, 메모리 내에 버퍼링된 오디오 입력이 원격 전자 디바이스에 전송되기 전에 메모리 내에 버퍼링된 오디오 입력으로부터 묵음의 기간을 제거하도록 또한 구성된 로직을 선택적으로 포함할 수 있다.
예 40에서, 예 33 내지 39 중 어느 하나의 요지는 메모리로부터 원격 전자 디바이스로 오디오 입력을 전송하도록 또한 구성된 로직은 가속된 데이터 전송율로 버스트 모드에서 오디오 입력을 전송하기 위한 로직을 포함하는 것을 선택적으로 포함할 수 있다.
용어 "논리 명령"은 본 명세서에 언급될 때, 하나 이상의 논리 연산을 수행하기 위한 하나 이상의 기계에 의해 이해될 수도 있는 표현에 관한 것이다. 예를 들어, 논리 명령은 하나 이상의 데이터 객체 상에 하나 이상의 동작을 실행하기 위한 프로세서 컴파일러에 의해 해석가능한 명령을 포함할 수 있다. 그러나, 이는 단지 기계 판독가능 명령의 예일 뿐이고, 예는 이와 관련하여 한정되지 않는다.
용어 "컴퓨터 판독가능 매체"는 본 명세서에 언급될 때, 하나 이상의 기계에 의해 지각가능한 표현을 유지하는 것이 가능한 매체에 관한 것이다. 예를 들어, 컴퓨터 판독가능 매체는 컴퓨터 판독가능 명령 또는 데이터를 저장하기 위한 하나 이상의 저장 디바이스를 포함할 수 있다. 이러한 저장 디바이스는 예를 들어, 광학, 자기 또는 반도체 저장 매체와 같은 저장 매체를 포함할 수 있다. 그러나, 이는 단지 컴퓨터 판독가능 매체의 예일 뿐이고, 예는 이와 관련하여 한정되지 않는다.
용어 "로직"은 본 명세서에 언급될 때, 하나 이상의 논리 연산을 수행하기 위한 구조에 관한 것이다. 예를 들어, 로직은 하나 이상의 입력 신호에 기초하여 하나 이상의 출력 신호를 제공하는 회로를 포함할 수 있다. 이러한 회로는 디지털 입력을 수신하고 디지털 출력을 제공하는 유한 상태 기계, 또는 하나 이상의 아날로그 입력 신호에 응답하여 하나 이상의 아날로그 출력 신호를 제공하는 회로를 포함할 수 있다. 이러한 회로는 응용 주문형 집적 회로(application specific integrated circuit: ASIC) 또는 필드 프로그램가능 게이트 어레이(field programmable gate array: FPGA) 내에 제공될 수 있다. 또한, 로직은 이러한 기계 판독가능 명령을 실행하기 위해 프로세싱 회로와 조합하여 메모리 내에 저장된 기계 판독가능 명령을 포함할 수 있다. 그러나, 이들은 단지 로직을 제공할 수 있는 구조의 예일 뿐이고, 예는 이와 관련하여 한정되지 않는다.
본 명세서에 설명된 방법의 일부는 컴퓨터 판독가능 매체 상에 논리 명령으로서 실시될 수 있다. 프로세서 상에서 실행될 때, 논리 명령은 프로세서가 설명된 방법을 구현하는 특정 용도 기계로서 프로그램되게 한다. 프로세서는, 본 명세서에 설명된 방법을 실행하기 위해 논리 명령에 의해 구성될 때, 설명된 방법을 수행하기 위한 구조를 구성한다. 대안적으로, 본 명세서에 설명된 방법은 예를 들어, 필드 프로그램가능 게이트 어레이(FPGA), 응용 주문형 집적 회로(ASIC) 등 상의 로직으로 축소될 수 있다.
상세한 설명 및 청구범위에서, 용어 '결합된' 및 '접속된'이 이들의 파생어와 함께 사용될 수도 있다. 특정 예에서, '접속된'은 2개 이상의 요소가 서로 직접 물리적 또는 전기적 접촉하는 것을 지시하는데 사용될 수 있다. '결합된'은 2개 이상의 요소가 직접 물리적 또는 전기적 접촉하는 것을 의미할 수 있다. 그러나, '결합된'은 또한 2개 이상의 요소가 서로 직접 접촉하지 않을 수도 있지만, 여전히 서로 협동하거나 상호작용할 수도 있는 것을 의미할 수도 있다.
명세서에서 "일 실시예" 또는 "몇몇 실시예"의 참조는, 예와 관련하여 설명된 특정 특징, 구조, 또는 특성이 적어도 구현예에 포함된다는 것을 의미한다. 명세서의 다양한 위치에서 구문 "일 예에서"의 출현은 모두 동일한 예를 언급하는 것일 수도 있고 또는 아닐 수도 있다.
예가 구조적 특징 및/또는 방법론적 동작에 특정한 언어로 설명되었지만, 청구된 요지는 설명된 특정 특징 또는 동작에 한정되는 것은 아닐 수도 있다는 것이 이해되어야 한다. 오히려, 특정 특징 및 동작은 청구된 요지를 구현하는 샘플 형태로서 개시된다.
100: 원격 전자 디바이스 120: RF 송수신기
122: 신호 프로세싱 모듈 124: 프로세서
126: 입출력 디바이스 128: 디스플레이
130: 레코딩 디바이스 134: 스피커
140: 메모리 170: 저전력 콘트롤러
172: 프로세서 174: 메모리 모듈
176: I/O 모듈 178: 퍼스널 어시스턴트

Claims (24)

  1. 콘트롤러로서,
    적어도 부분적으로 하드웨어 로직(logic)을 포함하는 로직
    을 포함하되, 상기 로직은
    수신된 오디오 신호 내의 핵심 어구(key phrase)를 검출하고,
    상기 핵심 어구에 응답하여,
    원격 전자 디바이스 내의 퍼스널 어시스턴트(personal assistant)에 신호를 전송하고,
    오디오 입력이 수신되었는지 여부를 판정하며,
    상기 원격 전자 디바이스 내의 상기 퍼스널 어시스턴트로부터 응답을 수신하기 전에 부가의 오디오 입력이 수신되었다는 판정에 응답하여,
    상기 오디오 입력을 메모리 내에 버퍼링하고,
    상기 오디오 입력을 상기 원격 전자 디바이스 내의 상기 퍼스널 어시스턴트에 포워딩하며,
    상기 원격 전자 디바이스 내의 상기 퍼스널 어시스턴트로부터의 준비 응답(ready response)을 모니터링하고,
    상기 원격 전자 디바이스 내의 상기 퍼스널 어시스턴트로부터 응답을 수신하기 전에 부가의 오디오 입력이 수신되었다는 판정에 응답하여 상기 퍼스널 어시스턴트로부터의 준비 응답의 제시를 차단하며,
    상기 메모리로부터 상기 원격 전자 디바이스에 상기 오디오 입력을 전송하고,
    상기 메모리 내에 버퍼링된 상기 오디오 입력 내의 묵음(silence)의 기간을 검출하며,
    상기 메모리 내에 버퍼링된 상기 오디오 입력이 상기 원격 전자 디바이스에 전송되기 전에 상기 메모리 내에 버퍼링된 상기 오디오 입력으로부터 묵음의 기간을 제거하도록
    구성되는 콘트롤러.
  2. 제 1 항에 있어서,
    상기 로직은 수신된 오디오 신호 내의 핵심 어구를 검출하는 저전력 콘트롤러를 포함하는
    콘트롤러.
  3. 제 2 항에 있어서,
    상기 원격 전자 디바이스 내의 퍼스널 어시스턴트 관리자로부터 응답을 수신하기 전에 부가의 오디오 입력이 수신되었다는 판정에 응답하여 프로세서를 활성화하는 로직을 포함하는
    콘트롤러.
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 제 1 항에 있어서,
    상기 메모리로부터 상기 원격 전자 디바이스로 상기 오디오 입력을 전송하는 로직은 가속된 데이터 전송율로 버스트 모드(burst mode)에서 상기 오디오 입력을 전송하는 로직을 포함하는
    콘트롤러.
  9. 전자 디바이스로서,
    오디오 입력 디바이스,
    통신 인터페이스, 및
    콘트롤러를 포함하되,
    상기 콘트롤러는
    적어도 부분적으로 하드웨어 로직을 포함하는 로직을 포함하고, 상기 로직은
    수신된 오디오 신호 내의 핵심 어구를 검출하고,
    상기 핵심 어구에 응답하여,
    원격 전자 디바이스 내의 퍼스널 어시스턴트에 신호를 전송하고,
    오디오 입력이 수신되었는지 여부를 판정하며,
    상기 원격 전자 디바이스 내의 상기 퍼스널 어시스턴트로부터 응답을 수신하기 전에 부가의 오디오 입력이 수신되었다는 판정에 응답하여,
    상기 오디오 입력을 메모리 내에 버퍼링하고,
    상기 오디오 입력을 상기 원격 전자 디바이스 내의 상기 퍼스널 어시스턴트에 포워딩하며,
    상기 원격 전자 디바이스 내의 상기 퍼스널 어시스턴트로부터의 준비 응답(ready response)을 모니터링하고,
    상기 원격 전자 디바이스 내의 상기 퍼스널 어시스턴트로부터 응답을 수신하기 전에 부가의 오디오 입력이 수신되었다는 판정에 응답하여 상기 퍼스널 어시스턴트로부터의 준비 응답의 제시를 차단하며,
    상기 메모리로부터 상기 원격 전자 디바이스에 상기 오디오 입력을 전송하고,
    상기 메모리 내에 버퍼링된 상기 오디오 입력 내의 묵음(silence)의 기간을 검출하며,
    상기 메모리 내에 버퍼링된 상기 오디오 입력이 상기 원격 전자 디바이스에 전송되기 전에 상기 메모리 내에 버퍼링된 상기 오디오 입력으로부터 묵음의 기간을 제거하도록
    구성된 로직을 포함하는
    전자 디바이스.
  10. 제 9 항에 있어서,
    상기 로직은 수신된 오디오 신호 내의 핵심 어구를 검출하는 저전력 콘트롤러를 포함하는
    전자 디바이스.
  11. 제 10 항에 있어서,
    상기 원격 전자 디바이스 내의 상기 퍼스널 어시스턴트로부터 응답을 수신하기 전에 부가의 오디오 입력이 수신되었다는 판정에 응답하여 프로세서를 활성화하는 로직을 포함하는
    전자 디바이스.
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 제 9 항에 있어서,
    상기 메모리로부터 상기 원격 전자 디바이스로 상기 오디오 입력을 전송하는 로직은 가속된 데이터 전송율로 버스트 모드에서 상기 오디오 입력을 전송하는 로직을 포함하는
    전자 디바이스.
  17. 컴퓨터 판독가능 매체 상에 저장된 논리 명령어(logic instructions)를 포함하는 컴퓨터 프로그램으로서,
    상기 논리 명령어는 콘트롤러에 의해 실행될 때,
    수신된 오디오 신호 내의 핵심 어구를 검출하고,
    상기 핵심 어구에 응답하여,
    원격 전자 디바이스 내의 퍼스널 어시스턴트에 신호를 전송하고,
    오디오 입력이 수신되었는지 여부를 판정하며,
    상기 원격 전자 디바이스 내의 상기 퍼스널 어시스턴트로부터 응답을 수신하기 전에 부가의 오디오 입력이 수신되었다는 판정에 응답하여,
    상기 오디오 입력을 메모리 내에 버퍼링하고,
    상기 오디오 입력을 상기 원격 전자 디바이스 내의 상기 퍼스널 어시스턴트에 포워딩하며,
    상기 원격 전자 디바이스 내의 상기 퍼스널 어시스턴트로부터의 준비 응답(ready response)을 모니터링하고,
    상기 원격 전자 디바이스 내의 상기 퍼스널 어시스턴트로부터 응답을 수신하기 전에 부가의 오디오 입력이 수신되었다는 판정에 응답하여 상기 퍼스널 어시스턴트로부터의 준비 응답의 제시를 차단하며,
    상기 메모리로부터 상기 원격 전자 디바이스에 상기 오디오 입력을 전송하고,
    상기 메모리 내에 버퍼링된 상기 오디오 입력 내의 묵음(silence)의 기간을 검출하며,
    상기 메모리 내에 버퍼링된 상기 오디오 입력이 상기 원격 전자 디바이스에 전송되기 전에 상기 메모리 내에 버퍼링된 상기 오디오 입력으로부터 묵음의 기간을 제거하도록 상기 콘트롤러를 구성하는
    컴퓨터 프로그램.
  18. 제 17 항에 있어서,
    상기 콘트롤러는 수신된 오디오 신호 내의 핵심 어구를 검출하는 저전력 콘트롤러를 포함하는
    컴퓨터 프로그램.
  19. 제 18 항에 있어서,
    상기 콘트롤러에 의해 실행될 때, 상기 원격 전자 디바이스 내의 퍼스널 어시스턴트로부터 응답을 수신하기 전에 부가의 오디오 입력이 수신되었다는 판정에 응답하여 프로세서를 활성화하도록 상기 콘트롤러를 구성하는 컴퓨터 판독가능 매체 상에 저장된 논리 명령어를 포함하는
    컴퓨터 프로그램.
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 제 17 항에 있어서,
    상기 콘트롤러에 의해 실행될 때, 가속된 데이터 전송율로 버스트 모드에서 상기 오디오 입력을 전송하도록 상기 콘트롤러를 구성하는 컴퓨터 판독가능 매체 상에 저장된 논리 명령어를 포함하는
    컴퓨터 프로그램.
KR1020167013972A 2013-12-28 2014-11-25 지능형 보조 전자 디바이스 KR101821639B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/142,818 US9460735B2 (en) 2013-12-28 2013-12-28 Intelligent ancillary electronic device
US14/142,818 2013-12-28
PCT/US2014/067327 WO2015099939A1 (en) 2013-12-28 2014-11-25 Intelligent ancillary electronic device

Publications (2)

Publication Number Publication Date
KR20160077154A KR20160077154A (ko) 2016-07-01
KR101821639B1 true KR101821639B1 (ko) 2018-01-24

Family

ID=53479508

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167013972A KR101821639B1 (ko) 2013-12-28 2014-11-25 지능형 보조 전자 디바이스

Country Status (6)

Country Link
US (1) US9460735B2 (ko)
EP (1) EP3087468A4 (ko)
JP (1) JP6234573B2 (ko)
KR (1) KR101821639B1 (ko)
CN (1) CN105793813B (ko)
WO (1) WO2015099939A1 (ko)

Families Citing this family (123)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US20120311585A1 (en) 2011-06-03 2012-12-06 Apple Inc. Organizing task items that represent tasks to perform
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US10199051B2 (en) 2013-02-07 2019-02-05 Apple Inc. Voice trigger for a digital assistant
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
CN110442699A (zh) 2013-06-09 2019-11-12 苹果公司 操作数字助理的方法、计算机可读介质、电子设备和系统
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
EP3480811A1 (en) 2014-05-30 2019-05-08 Apple Inc. Multi-command single utterance input method
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
CA2962636A1 (en) * 2014-10-01 2016-04-07 XBrain, Inc. Voice and connection platform
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US20170092278A1 (en) * 2015-09-30 2017-03-30 Apple Inc. Speaker recognition
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
DK201770428A1 (en) 2017-05-12 2019-02-18 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US10558421B2 (en) 2017-05-22 2020-02-11 International Business Machines Corporation Context based identification of non-relevant verbal communications
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
KR102629385B1 (ko) * 2018-01-25 2024-01-25 삼성전자주식회사 바지-인 관련 직접 경로를 지원하는 저전력 보이스 트리거 시스템을 포함하는 애플리케이션 프로세서, 이를 포함하는 전자 장치 및 그 동작 방법
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10332543B1 (en) * 2018-03-12 2019-06-25 Cypress Semiconductor Corporation Systems and methods for capturing noise for pattern recognition processing
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11076039B2 (en) 2018-06-03 2021-07-27 Apple Inc. Accelerated task performance
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
US11043220B1 (en) 2020-05-11 2021-06-22 Apple Inc. Digital assistant hardware abstraction
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3697748B2 (ja) 1995-08-21 2005-09-21 セイコーエプソン株式会社 端末、音声認識装置
JP3674990B2 (ja) 1995-08-21 2005-07-27 セイコーエプソン株式会社 音声認識対話装置および音声認識対話処理方法
US20020077830A1 (en) 2000-12-19 2002-06-20 Nokia Corporation Method for activating context sensitive speech recognition in a terminal
US6915246B2 (en) 2001-12-17 2005-07-05 International Business Machines Corporation Employing speech recognition and capturing customer speech to improve customer service
CN2594861Y (zh) * 2003-01-07 2003-12-24 浩鑫股份有限公司 影音播放装置
JP2004233793A (ja) * 2003-01-31 2004-08-19 Toshiba Corp 電子機器および同機器で用いられる遠隔制御方法
US7216221B2 (en) * 2003-09-30 2007-05-08 Microsoft Corporation Method and system for unified audio control on a personal computer
US8214214B2 (en) 2004-12-03 2012-07-03 Phoenix Solutions, Inc. Emotion detection device and method for use in distributed systems
JP2006301266A (ja) * 2005-04-20 2006-11-02 Canon Inc 音声情報処理装置及び方法
JP4934990B2 (ja) * 2005-04-28 2012-05-23 ティアック株式会社 音声信号記録再生装置
US8635243B2 (en) 2007-03-07 2014-01-21 Research In Motion Limited Sending a communications header with voice recording to send metadata for use in speech recognition, formatting, and search mobile search application
US8498425B2 (en) * 2008-08-13 2013-07-30 Onvocal Inc Wearable headset with self-contained vocal feedback and vocal command
US8296142B2 (en) 2011-01-21 2012-10-23 Google Inc. Speech recognition using dock context
US8768707B2 (en) 2011-09-27 2014-07-01 Sensory Incorporated Background speech recognition assistant using speaker verification
WO2013085507A1 (en) * 2011-12-07 2013-06-13 Hewlett-Packard Development Company, L.P. Low power integrated circuit to analyze a digitized audio stream
US9838810B2 (en) * 2012-02-27 2017-12-05 Qualcomm Technologies International, Ltd. Low power audio detection
US9142215B2 (en) 2012-06-15 2015-09-22 Cypress Semiconductor Corporation Power-efficient voice activation
US8468023B1 (en) * 2012-10-01 2013-06-18 Google Inc. Handsfree device with countinuous keyword recognition
DE102013001219B4 (de) * 2013-01-25 2019-08-29 Inodyn Newmedia Gmbh Verfahren und System zur Sprachaktivierung eines Software-Agenten aus einem Standby-Modus
WO2015094369A1 (en) 2013-12-20 2015-06-25 Intel Corporation Transition from low power always listening mode to high power speech recognition mode

Also Published As

Publication number Publication date
EP3087468A4 (en) 2017-09-27
US20150187369A1 (en) 2015-07-02
EP3087468A1 (en) 2016-11-02
JP2016541051A (ja) 2016-12-28
CN105793813B (zh) 2019-01-22
KR20160077154A (ko) 2016-07-01
US9460735B2 (en) 2016-10-04
CN105793813A (zh) 2016-07-20
WO2015099939A1 (en) 2015-07-02
JP6234573B2 (ja) 2017-11-22

Similar Documents

Publication Publication Date Title
KR101821639B1 (ko) 지능형 보조 전자 디바이스
KR102018152B1 (ko) 항상-온-항상-청취 음성 인식 시스템을 위한 위치 인식 전력 관리 스킴
US9407756B2 (en) Notification acknowledgement in electronic devices
US9761116B2 (en) Low power voice trigger for finding mobile devices
KR102618902B1 (ko) 전자 장치에 대한 잡음 제거
US9996133B2 (en) Detection of undocking for electronic devices
US20160062770A1 (en) Multiple clustered very long instruction word processing core
US10007589B2 (en) System and method for universal serial bus (USB) protocol debugging
US9769307B2 (en) User detection and recognition for electronic devices
US20170102787A1 (en) Virtual sensor fusion hub for electronic devices
KR102225249B1 (ko) 전자 디바이스용 센서 버스 인터페이스
US9247572B2 (en) Intelligent wireless charging device
KR101937003B1 (ko) 전자 장치용 메모리 카드 커넥터
US20150187388A1 (en) Intelligent recording in electronic devices
US9575551B2 (en) GNSS services on low power hub
US20150253984A1 (en) Smart frame toggling
CN113327611B (zh) 语音唤醒方法、装置、存储介质及电子设备
US11031075B2 (en) High bandwidth register file circuit with high port counts for reduced bitline delay
CN110418245B (zh) 一种降低蓝牙音箱反应延迟的方法、装置及终端设备
US20150189072A1 (en) Intelligent ancillary electronic device
US20140281590A1 (en) Battery power management for electronic device
WO2019071721A1 (zh) 操作响应方法、装置和车载系统

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant