KR101770932B1 - 모바일 디바이스용 상시 연결형 오디오 제어 - Google Patents

모바일 디바이스용 상시 연결형 오디오 제어 Download PDF

Info

Publication number
KR101770932B1
KR101770932B1 KR1020167013515A KR20167013515A KR101770932B1 KR 101770932 B1 KR101770932 B1 KR 101770932B1 KR 1020167013515 A KR1020167013515 A KR 1020167013515A KR 20167013515 A KR20167013515 A KR 20167013515A KR 101770932 B1 KR101770932 B1 KR 101770932B1
Authority
KR
South Korea
Prior art keywords
memory controller
memory
audio samples
audio
samples
Prior art date
Application number
KR1020167013515A
Other languages
English (en)
Other versions
KR20160074656A (ko
Inventor
티모시 제이. 밀레
마누 굴라티
마이클 에프. 컬버트
Original Assignee
애플 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 애플 인크. filed Critical 애플 인크.
Publication of KR20160074656A publication Critical patent/KR20160074656A/ko
Application granted granted Critical
Publication of KR101770932B1 publication Critical patent/KR101770932B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3228—Monitoring task completion, e.g. by use of idle timers, stop commands or wait commands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/3287—Power saving characterised by the action undertaken by switching off individual functional units in the computer system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • Y02B60/1282—
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Telephone Function (AREA)
  • Power Sources (AREA)
  • Artificial Intelligence (AREA)
  • Stored Programmes (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

일 실시예에서, 집적회로는 하나 이상의 CPU, 메모리 컨트롤러, 및 SOC의 나머지가 전원이 차단될 때 전원 공급되는 상태를 유지하도록 구성된 회로를 포함할 수 있다. 회로는 마이크로폰으로부터 오디오 샘플을 수신하고, 이러한 오디오 샘플들을 미리결정된 패턴과 매칭하도록 SOC를 포함하는 디바이스의 사용자로부터의 가능한 명령을 검출하도록 구성될 수 있다. 미리결정된 패턴을 검출하는 것에 응답하여, 회로는 메모리 컨트롤러가 결합된 메모리에 오디오 샘플들이 저장될 수 있도록 메모리 컨트롤러가 전원이 공급되게 할 수 있다. 회로는 또한 CPU가 전원이 공급되고 초기화되게 할 수 있고, 운영체제(OS)는 부팅될 수 있다. CPU가 초기화되고 OS가 부팅되고 있는 시간 동안, 회로 및 메모리는 오디오 샘플을 캡처할 수 있다.

Description

모바일 디바이스용 상시 연결형 오디오 제어{ALWAYS-ON AUDIO CONTROL FOR MOBILE DEVICE}
본 발명은 모바일 디바이스의 분야에 관한 것으로, 보다 구체적으로 모바일 디바이스의 음성/오디오 제어에 관한 것이다.
모바일 디바이스는 편재되어 있다. 모바일 디바이스는 휴대용 전원(예컨대, 배터리)으로 작동하고 사용자가 쉽게 들고 다닐 수 있도록 설계된 임의의 전자 디바이스를 포함할 수 있다. 모바일 디바이스는 휴대 전화, "스마트"폰, 아이터치(iTouch)™와 같은 개인 휴대 정보 단말기(PDA), 아이팟(iPod)™ 및 MP3 재생기와 같은 엔터테인먼트 디바이스, 랩톱 컴퓨터, 넷톱(net top) 컴퓨터, 아이패드(iPad)™ 및 윈도® 기반 태플릿과 같은 태블릿 디바이스 등을 포함할 수 있다. 대부분의 이러한 디바이스들은 무선 연결(예컨대, WiFi, 셀 접속 등)을 포함하고, 따라서 디바이스 상에서 직접 실행될 수 있는 다양한 로컬 애플리케이션들을 제공할뿐만 아니라 정보 소스로서 사용될 수 있다.
모바일 디바이스는 터치 스크린, 디바이스의 부품이거나 디바이스에 연결된 키보드, 다양한 포인팅 디바이스(예컨대, 마우스, 터치 패드 등) 등과 같은 사용자 인터페이스를 통해 제어될 수 있다. 보다 최근에는, 음성 제어가 더 일반적이 되기 시작했다. 예를 들어, 애플의 아이-디바이스들(i-devices)(아이폰(iPhone)™, 아이 패드™ 등)의 일부는 시리 애플리케이션(Siri application)을 통한 음성 제어를 채택했다. 사용자는 디바이스를 들고, 버튼을 눌러 유지하며, 시리의 응답을 기다릴 수 있다. 시리가 응답하면, 사용자는 구두로 질문을 하거나 시리가 해석하고 만족시키려고 시도할 명령을 제공할 수 있다. 시리가 응답할 때까지 버튼을 누르고 유지하는 행위는, 디바이스를 웨이크업(wake up)하고(그것이 유휴 상태에 있는 경우), 운영체제를 초기화하고, 입력을 받아들일 준비가 되도록 시리 애플리케이션을 활성화시키는 역할을 한다.
일부 모바일 디바이스는 디바이스가 유휴 상태일 때 제한된 음성 명령 활성화 기능을 구현하기 시작했다. 디바이스는 그것이 사용자에게 "오프(off)"임을 나타내는 경우 유휴 상태일 수 있다(이메일, 전화 호(phone call), 또는 텍스트 메시지와 같은 전자 통신을 수용할 수 있기 때문에 디바이스가 켜져 있음을 사용자가 알고 있더라도). 유휴 디바이스는 일반적으로 디스플레이 스크린을 켜지 않고, 많은 내부 컴포넌트들은 전원이 차단되고 디바이스의 전체 기능을 초기화해야 할 수 있다. 제한된 음성 명령 활성화 기능을 갖는 모바일 디바이스에서, 사용자는 디바이스가 "켜"지고 추가 음성 제어를 허용하도록 핵심 단어나 문구(phrase)를 말할 수 있다. 예를 들어, 이러한 하나의 문구는 안드로이드 스마트 폰에 사용되는 "헤이 구글 나우(hey google now)"이다.
제한된 명령 활성화로 인해, 사용자는 핵심 문구 발언 후 일시정지하고 디바이스가 추가 입력할 준비가 되었음의 시각적 및/또는 오디오 표시를 기다려야 한다. 디바이스가 유휴 상태인 동안, 디바이스는 마이크로폰이 켜지고 별개의 디지털 신호 프로세서(DSP)를 이용하여 핵심 단어/문구를 듣고 있다. 핵심 단어/문구가 인식되면, DSP는 디바이스의 나머지를 초기화(또는 부팅)하도록 신호를 보내고 이어서 준비가 되면 그 사용자에게 응답할 수 있다. 핵심 단어/문구의 발언과 다음의 원하는 질문/명령 사이의 지연은 인터페이스를 다루기 힘들게 한다. 따라서, 제한된 명령 활성화는 상술한 바와 같이 디바이스를 집어 들고 버튼을 누르고/유지하는 것에 비해 단지 작은 개선이다.
일 실시예에서, 집적회로(예컨대, 시스템 온 칩 또는 SOC)는 하나 이상의 중앙 처리 장치(CPU), 메모리 컨트롤러, 및 SOC의 나머지가 전원이 차단된 경우에 전원을 유지하도록 구성되는 회로를 포함할 수 있다. 회로는 마이크로폰에 의해 감지된 소리에 대응하는 오디오 샘플을 수신하도록 구성되고, 이러한 오디오 샘플을 미리결정된 패턴과 매칭하여 SOC를 포함하는 디바이스의 사용자로부터의 가능한 명령을 검출하도록 추가로 구성될 수 있다. 미리결정된 패턴은, 예를 들면 핵심 단어나 문구를 발언하는 사용자의 음성을 표현할 수 있다. 샘플들 내의 미리결정된 패턴을 검출하는 것에 응답하여, 회로는 메모리 컨트롤러가 결합되어 있는 메모리에 오디오 샘플들이 저장되도록 메모리 컨트롤러로 하여금 전원 공급되게 할 수 있다. 회로는 메모리 컨트롤러가 초기화될 때까지 계속해서 샘플들을 버퍼링(buffering)하도록 구성될 수 있고, 샘플들을 메모리에 기록할 수 있다. 회로는 또한 CPU로 하여금 전원이 공급되고 초기화되게 할 수 있고, 운영체제(OS)는 부팅될 수 있다. CPU가 초기화되고 OS가 부팅되고 있는 시간 동안, 회로 및 메모리는 오디오 샘플을 캡처할 수 있다. OS(또는 OS에서 실행되는 애플리케이션)는 메모리로부터 샘플들을 처리하여 명령/요청을 결정할 수 있다.
일 실시예에서, 메모리 내의 샘플들의 캡처링은 그렇지 않으면 기록되지 않았을 샘플들의 캡처를 허용할 수 있다. 따라서, 사용자는 입력을 위해 준비됨을 나타내기 위해 디바이스를 기다리지 않고 원하는 명령/질문을 말할 수 있고, 명령/질문은 CPU에서 실행되는 소프트웨어에 의해 정확하게 처리될 수 있다. 따라서, 디바이스에 대한 인터페이스는 더 간단하고 더 자연스러울 수 있으므로, 사용자는 디바이스의 음성 명령 기능을 더 사용하고 싶어질 수 있다.
하기 상세한 설명은 첨부 도면들을 참조하여, 이제 도면들이 간단히 기술된다.
도 1은 디바이스의 하나의 실시예의 블록도이다.
도 2는 도 1에 도시된 오디오 필터 회로의 하나의 실시예의 동작을 예시하는 흐름도이다.
도 3은 메모리 컨트롤러와 오디오 필터 회로의 초기화의 하나의 실시예를 예시하는 흐름도이다.
도 4는 도 1에 도시된 디바이스의 하나의 실시예의 동작을 예시하는 타이밍도이다.
본 발명이 다양한 수정들 및 대안적인 형태들이 가능하지만, 그의 특정 실시예들은 도면들에서 예시로 도시되고, 본 명세서에서 상세하게 기술될 것이다. 그러나, 그에 대한 도면 및 상세한 설명은 본 발명을 개시된 특정 형태로 제한하도록 의도되는 것이 아니며, 반대로, 첨부된 청구범위에 의해 정의되는 바와 같은 본 발명의 기술적 사상 및 범주 내에 있는 모든 수정들, 등가들 및 대안들을 포괄하려는 의도로 이해하여야 한다. 본 명세서에서 사용되는 표제들은 오직 구성을 위한 것이며 설명의 범주를 제한하기 위해 사용되는 것으로 여겨지지 않는다. 본 출원 전반에 걸쳐 사용되는 바와 같이, "일 수 있다(may)"라는 단어는 의무적인 의미(즉, "이어야만 한다(must)"를 의미)라기보다 오히려 허용의 의미(즉, "~에 대해 가능성을 갖는다"는 의미)로 사용된다. 유사하게, "포함하다(include, includes)" 및 "포함하는(including)"이라는 단어는 포함하지만 이로 제한되지 않음을 의미한다.
다양한 유닛들, 회로들 또는 기타 컴포넌트들이 태스크(task) 또는 태스크들을 수행하도록 "구성"되는 것으로 기술될 수 있다. 그러한 맥락에서, "~하도록 구성되는"은 동작 동안에 태스크 또는 태스크들을 수행하는 "회로를 가진"을 일반적으로 의미하는 구조의 광의의 설명이다. 이와 같이, 유닛/회로/컴포넌트는 유닛/회로/컴포넌트가 현재 온(on) 상태가 아닐 시에도 태스크를 수행하도록 구성될 수 있다. 일반적으로, "~하도록 구성된"에 대응하는 구조를 형성하는 회로는 동작을 구현하기 위하여 실행 가능한 프로그램 명령어들을 저장하는 하드웨어 회로들 및/또는 메모리를 포함할 수 있다. 메모리는 정적 또는 동적 랜덤 액세스 메모리와 같은 휘발성 메모리 및/또는 비휘발성 메모리, 예를 들어 광 또는 자기 디스크 스토리지, 플래시 메모리, 프로그래밍 가능한 판독 전용 메모리(programmable read-only memory) 등을 포함할 수 있다. 유사하게, 다양한 유닛/회로/컴포넌트들은 설명의 편의를 위해 태스크 또는 태스크들을 수행하는 것으로 설명될 수 있다. 그러한 설명은 "~하도록 구성된"이라는 문구를 포함하는 것으로 해석되어야 한다. 하나 이상의 과제들을 수행하도록 구성된 유닛/회로/컴포넌트를 언급하는 것은 35 U.S.C. § 112, 6항의 유닛/회로/컴포넌트에 대한 해석을 적용하지 않고자 명백히 의도하는 것이다.
본 명세서는 "하나의 실시예" 또는 "일 실시예"에 대한 참조를 포함한다. 본 명세서에서 명시적으로 부인하지 않는다면, 임의의 특징들의 조합을 포함하는 실시예들이 일반적으로 고려되더라도, "하나의 실시예에서" 또는 "일 실시예에서" 문구의 표현은 반드시 동일한 실시예를 지칭하지 않는다. 특정 특징들, 구조들 또는 특성들이 본 개시내용과 일관성을 유지하면서 임의의 적합한 방식으로 조합될 수 있다.
이제, 도 1을 참조하면, 디바이스(5)의 하나의 실시예의 블록도가 도시되어 있다. 예시된 실시예에서, 디바이스(5)는 본 예에서 SOC일 수 있는 집적회로(IC)(10)를 포함할 수 있다. SOC(10)는 메모리(12), 외부 오디오 코더/디코더(코덱)(16), 및 전력 관리 유닛(PMU)(20)에 결합될 수 있다. 오디오 코덱(16)은 집합적으로 센서(26)라고 칭하는 하나 이상의 오디오 센서에 결합될 수 있다. 예를 들어, 오디오 코덱(16)은 하나 이상의 마이크로폰(Mic)(26A, 26B) 및 하나 이상의 스피커(Spkr)(26C, 26D)에 결합될 수 있다.
이름에서 암시되는 바와 같이, SOC(10)의 컴포넌트들은 집적회로 "칩"처럼 단일의 반도체 기판 상에 집적될 수 있다. 일부 실시예들에서, 컴포넌트들은 시스템 내의 둘 이상의 별개의 칩 상에서 구현될 수 있다. 또한, 다양한 컴포넌트들은 임의의 집적회로에 집적될 수 있다(즉, 그것이 SOC일 필요는 없다). 그러나, SOC(10)는 본 명세서에서 예시로서 사용될 것이다. 예시된 실시예에서, SOC(10)의 컴포넌트들은 중앙 처리 장치(CPU) 복합체(14), 주변 컴포넌트들(18A, 18B)(더 간단하게, "주변장치"), 메모리 컨트롤러(22), 오디오 필터 회로(24), 전력 관리 회로(PMGR)(28), 및 통신 패브릭(communication fabric)(27)을 포함한다. 컴포넌트들(14, 18A, 18B, 22, 24, 28)은 모두 통신 패브릭(27)에 결합될 수 있다. 메모리 컨트롤러(22)는 사용 중에 메모리(12)에 결합될 수 있다. 마찬가지로, 주변장치(18A)는 사용 중에 오디오 코덱(16)에 결합되는 인터페이스 유닛(IFU)일 수 있고, 이는 사용 중에 오디오 센서(26)에 추가로 결합된다.
디바이스(5)는 휴대 전화, 스마트 폰, PDA, 랩톱 컴퓨터, 넷톱 컴퓨터, 태블릿 디바이스, 엔터테인먼트 디바이스와 같은 임의의 유형의 휴대용 전자 디바이스일 수 있다. 일부 실시예들에서, 디바이스(5)는 데스크톱 컴퓨터와 같은 비휴대용 전자 디바이스일 수도 있다. 이러한 비휴대용 디바이스는 또한 본 명세서에 기재된 오디오 디바이스의 제어 기능을 활용할 수 있다.
디바이스(5)가 유휴 상태인 시간 동안에, SOC(10)의 부분들은 전원이 차단될 수 있다. 특히, CPU 복합체(14), 메모리 컨트롤러(22), 주변장치(18B), 상호접속부(27) 및 PMGR(28)의 일부는 전원이 차단될 수 있다. 한편, 디바이스(5)가 유휴 상태이지만 전원이 완전히 차단되지 않은 경우에는, 오디오 필터 회로(24)는 IFU(18A)와 마찬가지로 전원 공급되는 상태를 유지할 수 있다. SOC(10)의 외부 컴포넌트들은 디바이스(5)가 유휴 상태일 때 원하는 대로 전원이 공급되거나 차단될 수 있다. 특히, 메모리(12)는 전원 공급되는 상태를 유지할 수 있으므로, 그 안에 저장된 데이터를 유지할 수 있다. 메모리(12)가 다양한 유형 중 하나의 DRAM인 일 실시예에서, 메모리(12)는 디바이스(5)가 유휴 상태인 시간 동안 저장된 데이터를 유지하도록 자기-리프레시 모드(self-refresh mode)에 배치될 수 있다.
유휴 시간 동안, 오디오 필터 회로(24)는 IFU(18A)를 통해 오디오 코덱(16)으로부터 오디오 샘플들을 수신하도록 구성될 수 있고 샘플들 내의 미리결정된 패턴(예컨대, 사용자가 발언한 명령 또는 요청을 서비스하도록 디바이스(5)를 웨이크업하기 위한 핵심 단어/문구)을 검출하려고 시도할 수 있다. 미리결정된 패턴은 오디오 필터 회로(24) 내로 프로그래밍될 수 있거나 오디오 필터 회로(24) 내로 하드 코딩(hard code)될 수 있다. 일 실시예에서, 미리결정된 패턴은 핵심 단어/문구를 구두로 발언하는 사용자로부터 캡처될 수 있고, 이는 디바이스(5)를 사용자의 특정 음성에 트레이닝시킬 수 있다. 다른 실시예에서, 미리결정된 패턴은 다양한 억양, 음색 등으로 말해지는 바와 같은 핵심 단어/문구를 표현하는 일반적인 패턴이다.
패턴을 검출하는 것에 응답하여, 오디오 필터(24)는, 메모리 컨트롤러로 하여금 전원이 공급되고 초기화되게 하도록 구성될 수 있고(매칭 샘플들 및 다음 샘플들이 메모리에 저장될 수 있도록), 또한 CPU 복합체(14)로 하여금 운영체제(그리고 구현예에 따라 잠재적으로 SOC(10)의 다른 부분)를 부팅하도록 전원이 공급되도록 구성될 수 있다. 일 실시예에서, 메모리 컨트롤러(22)는 비교적 신속하게 전원이 공급된다. 메모리 컨트롤러(22)에 대한 위상 고정 루프(phase locked loop)가 고정될 수 있고, 메모리 컨트롤러(22)는 운영체제를 부팅하는 것보다 짧은 상당히 예측가능한 지연을 갖고, 초기화될 수 있다. 오디오 필터 회로(24)가 하기 언급되는 파라미터를 송신하고, 메모리(12)에 샘플들을 기록하기 위해 메모리 동작들을 기록할 수 있도록 상호연결부(27)도 전원이 공급될 수 있다. 오디오 필터 회로(24)는 샘플 버퍼(30)를 포함할 수 있고, 오디오 필터 회로(24)는 미리결정된 패턴과의 비교를 위해 샘플 버퍼(30) 내의 샘플들을 일시적으로 버퍼링하고 패턴이 검출되면 메모리 컨트롤러(22)가 메모리(12)에 대한 기록들을 수신할 준비가 될 때까지 샘플들을 추가로 버퍼링하도록 구성될 수 있다. 따라서, 샘플 버퍼(30)의 크기는 메모리 컨트롤러(22)가 준비될 때까지 패턴을 검출하는 것으로부터의 지연에 기초할 수 있다. 일부 실시예들에서, 샘플 버퍼(30)는, 미리결정된 패턴과 매칭하는 샘플들, 메모리 컨트롤러가 준비될 때까지의 지연에 기초한 후속-수신된 샘플들, 및 미리결정된 패턴(즉, 핵심 단어/문구/소리)과 매칭된 샘플들 이전의 하나 이상의 샘플의 버퍼링을 허용하도록 크기설정될 수 있다. 이전 샘플들은, 후속 샘플들의 보다 정확한 처리를 도울 수 있는, 마이크로폰에 의해 캡처되는 배경 노이즈를 결정하도록 처리될 수 있다.
일부 실시예들에서, 메모리 컨트롤러(22)는 그들 사이의 링크들을 적절히 동기화하기 위해 메모리 컨트롤러(22) 및 메모리(12)를 트레이닝하는 것을 포함하는 진보된 DRAM 기술을 지원할 수 있다. 메모리 컨트롤러(22) 구성의 파라미터는 트레이닝을 통해 하드웨어에 의해 또는 소프트웨어에 의해 직접적으로, 메모리 컨트롤러(22) 내로 프로그래밍될 수 있다(도면 부호 34A). 오디오 필터 회로(24)로부터 동작으로 메모리 컨트롤러(22)를 보다 빠르게 복원하기 위하여, 오디오 필터 회로(24)는 파라미터(도면 부호 34B)를 섀도잉(shadow)할 수 있다. 대안적으로, 파라미터(34B)는 디바이스(5) 내의 모든 버전의 DRAM 및 모든 동작 조건에 걸쳐 적절하게 작동하는 것으로 알려진 파라미터들의 보수적 세트(conservative set)일 수 있다. 오디오 필터 회로(24)는 메모리 컨트롤러(22)가 메모리(12)를 기록할 준비가 되어 있음을 보장하기 위하여 메모리 컨트롤러에 파라미터(34B)를 전송할 수 있다.
CPU가 운영체제의 실행을 시작할 수 있고, SOC(10)가 재활성화되는 이유는 오디오 필터(24)가 핵심 단어/문구를 검출했다는 것을 결정할 수 있다. CPU는 메모리(12)로부터 샘플들을 판독할 수 있으며, 핵심 단어/문구가 실제로 검출되는지를 검증할 수 있다. 예를 들어, 일부 실시예들에서, 오디오 필터(24)는 CPU에 의해 실행되는 코드에 의해 지원될 수 있는 것보다 더 간단하고 더 거친(coarser-grained)(덜 정확한) 매칭 프로세스를 이용할 수 있다. CPU는 코드가 검출됨을 검증할 수 있으며, 수신된 오디오 샘플들의 나머지 부분을 처리하여 핵심 단어/문구 후에 말해진 명령/요청을 결정하도록 진행할 수 있다.
다른 실시예에서, CPU 복합체(14)는 메모리 컨트롤러(22)와 병렬로 어웨이크(awake)될 수 없다. 예를 들어, 일부 실시예들에서, 오디오 필터 회로(24)는 후속 샘플들의 처리를 수행하도록 구성될 수 있다(하지만, 샘플들을 저장하기 위한 메모리(12) 내의 공간 자체를 돕도록 메모리 컨트롤러(22)에 전원 공급할 수 있다). 다른 실시예에서, 오디오 필터 회로(24)는 또한 디바이스(5)가 유휴 상태일 때, 다른 동작들을 수행하도록 구성될 수 있으며, 오디오 필터 회로(24)는 동작들 중 일부에 대한 저장을 위해 메모리(12)를 사용할 수 있다. 이러한 실시예들에서, 메모리 컨트롤러(22)는 CPU 복합체(14)에 전원을 공급하지 않으면서 전원이 공급될 수 있다.
SOC(10)의 다양한 컴포넌트들에 전원을 공급하는 것은 PMU(20)와의 통신을 포함할 수 있다. 일 실시예에서, 오디오 필터 회로(24)는 다른 SOC 회로 부분들에 전원이 공급되게 하기 위해 PMU(20)와 통신하도록 구성될 수 있다. 또한, 온 칩 파워 게이팅(on chip power gating)은 SOC(10)의 다양한 컴포넌트들에 전원 공급/전원 차단하도록 구현될 수 있다. 내부 PMGR(28)은 온 칩 파워 게이팅을 구현하도록 구성될 수 있으며, 오디오 필터 회로(24)는 전원이 공급되게 하기 위해 PMGR(28)와 통신하도록 구성될 수 있다. 또 다른 실시예들에서, PMGR(28) 및 PMU(20)의 조합이 사용될 수 있다. 또 다른 실시예에서, PMGR(28)는 PMU(20)와 통신하도록 구성될 수 있고 오디오 필터 회로(24)는 전원 공급 요청들을 PMGR(28)에 전달할 수 있으며, 이는 필요에 따라 PMU(20)와 통신할 수 있다.
샘플 버퍼(30)와 메모리(12) 사이에, 마이크로폰(들)(26A, 26B)으로부터의 오디오 데이터에서의 샘플 손실이 거의 없거나 없을 수 있다. 따라서, 사용자는 핵심 작업/문구를 말하며 요청/명령을 말하기 위한 어떤 필요한 망설임도 없이 계속할 수 있다.
다양한 실시예들에서, 오디오 필터 회로(24)는 고정 하드웨어(fixed hardware) 및/또는 소프트웨어를 실행하는 하나 이상의 프로세서의 임의의 조합을 포함할 수 있다. 소프트웨어는 오디오 필터 회로(24)에 포함된(예를 들어, 오디오 필터 회로(24)의 비휘발성 메모리에 저장된) 펌웨어일 수 있다. 대안으로, 펌웨어는 실행에 액세스할 수 있도록 디바이스(5)의 다른 비휘발성 스토리지에 포함될 수 있다. 고정 하드웨어 구현이 사용되는 경우, 샘플 패턴은 여전히 고정 하드웨어에 대한 입력으로서 프로그래밍가능할 수 있다. 이러한 프로그래밍가능성(programmability)은 지원될 다수의 언어들 등에 사용될 상이한 핵심 단어/문구/소리를 허용할 수 있다. 고정 하드웨어 오디오 필터 회로(24)를 구현하는 것은 오디오 샘플들을 모니터링하기 위해 소프트웨어를 실행하는 프로세서가 제공할 수 있는 것보다 보다 전력 효율적인 솔루션을 제공할 수 있다.
여기에서의 설명은 명령 모드를 활성화하는 데 사용될 수 있는 핵심 단어나 문구를 참조할 수 있지만, 일반적으로 임의의 소리(예컨대, 휘파람, 박수, 비언어적 구두 생성된 소리 등)가 다양한 실시예들에서 사용될 수 있다는 점에 주의해야 한다.
여기에 사용되는 바와 같이, "전원 공급"이라는 용어는 현재 전원이 차단(또는 전력 오프)되어 있는 회로에 전력을 인가하는 것을 의미할 수 있다. 일부 실시예들에서, 주어진 회로는 둘 이상의 전력 상태(예를 들면, 전압 및 주파수의 조합)를 지원할 수 있다. 전원을 공급하는 것은 회로에 의해 지원되는 임의의 전력 상태를 구축하는 것을 의미할 수 있다. 또한, 전원을 공급하는 것은 전원을 켜는 것을 의미할 수 있다. "전원 차단"이라는 용어는 전원 공급 전압 크기를 0 볼트까지 줄이는 것을 의미할 수 있다.
오디오 코덱(16)은 오디오 데이터의 일반적인 코더/디코더일 수 있다. 코덱은 마이크로폰(26A, 26B)으로부터 수신된 신호를 SOC(10)로 전송될 수 있는 디지털 샘플들로 변환하도록 구성된 아날로그-디지털 변환기를 포함할 수 있다. 코덱은 SOC(10)로부터 디지털 오디오 데이터를 수신하고 스피커에서 재생될 수 있도록 디지털 오디오 데이터를 아날로그 신호로 변환하도록 구성되는 디지털-아날로그 변환기를 포함할 수 있다. 일 실시예에서, 오디오 코덱(16)은 디바이스(5)가 유휴 상태인 시간 동안 이용될 수 있는 하나 이상의 저전력 모드를 지원할 수 있다. 예를 들어, 오디오 코덱(16)은 개방(또는 "ON")인 마이크로폰들의 수를 줄일 수 있고, 스피커들을 끌 수 있다. 일부 실시예들에서, 오디오 샘플 레이트는 저전력 모드에서 감소될 수 있다.
CPU 복합체(14)는 SOC(10)의 CPU로서 기능하는 하나 이상의 프로세서를 포함할 수 있다. 시스템의 CPU는 시스템의 메인 제어 소프트웨어, 예컨대 운영체제를 실행하는 프로세서(들)를 포함한다. 일반적으로, 사용 중 CPU에 의해 실행되는 소프트웨어는 디바이스(5)/SOC(10)의 다른 컴포넌트들을 제어하여 원하는 디바이스(5)의 기능성을 실현할 수 있다. CPU 프로세서들은 또한 기타 소프트웨어, 예컨대 애플리케이션 프로그램들을 실행할 수 있다. 애플리케이션 프로그램들은 사용자 기능성을 제공할 수 있고, 하위 레벨 디바이스 제어를 위해 운영체제에 의존할 수 있다. 따라서, CPU 프로세서들은 또한 애플리케이션 프로세서로 지칭될 수 있다. CPU 복합체는 다른 하드웨어, 예컨대 레벨 2(L2) 캐시 및/또는 시스템의 다른 컴포넌트들에 대한 인터페이스(예를 들어, 통신 패브릭(27)에 대한 인터페이스)를 추가로 포함할 수 있다.
주변장치(18A, 18B)는 SOC(10)에 포함된 추가 하드웨어 기능성의 임의의 세트일 수 있다. 보다 상세하게는, 주변장치(18A)는 오디오 코덱(16)에 결합되도록 구성된 인터페이스 유닛일 수 있다. 임의의 인터페이스가 사용될 수 있다(예를 들면, 직렬 주변장치 인터페이스(SPI), 직렬 또는 병렬 포트들, 오디오 코덱(16)을 위한 사유 인터페이스(proprietary interface) 등). 주변장치(18B)는 비디오 인코더/디코더, 스케일러, 회전자(rotator), 블렌더(blender), 그래픽 처리 유닛, 디스플레이 컨트롤러 등과 같은 비디오 주변장치를 포함할 수 있다. 주변장치들은 USB(Universal Serial Bus)와 같은 인터페이스들, PCI 익스프레스(PCIe)를 포함하는 PCI(peripheral component interconnect), 직렬 및 병렬 포트 등을 포함하는 SOC(10)의 외부에 있는 다양한 인터페이스들을 위한 인터페이스 컨트롤러들을 포함할 수 있다. 주변장치들은 매체 접근 제어기(MAC)와 같은 네트워킹 주변장치들을 포함할 수 있다. 하드웨어의 임의의 세트가 포함될 수 있다.
메모리 컨트롤러(22)는 일반적으로 SOC(10)의 다른 컴포넌트들로부터 메모리 요청들을 수신하고, 메모리(12)에 액세스하여 메모리 요청들을 완료하기 위한 회로를 포함할 수 있다. 메모리 컨트롤러(22)는 임의의 유형의 메모리(12)에 액세스하도록 구성될 수 있다. 예를 들어, 메모리(12)는 SRAM(static random access memory), DRAM(dynamic RAM), 예컨대 더블 데이터 레이트(DDR, DDR2, DDR3 등) DRAM을 포함하는 SDRAM(synchronous DRAM)일 수 있다. 저전력/모바일 버전의 DDR DRAM이 지원될 수 있다(예를 들어 LPDDR, mDDR 등). 일부 실시예들에서, 메모리(12)는 SOC(10)와 별개로(예를 들어, 단일 인라인 메모리 모듈(SIMM), 듀얼 인라인 메모리 모듈(DIMM), 또는 SOC(10)가 실장되어 있는 회로 기판에 실장된 하나 이상의 DRAM 칩으로) 패키징될 수 있다. 다른 실시예들에서, 메모리(12)는 SOC(10)와 함께(예를 들어, 패키지-온-패키지 또는 칩-온-칩 구성으로) 패키징될 수 있다.
통신 패브릭(27)은 SOC(10)의 컴포넌트들 간의 통신을 위한 임의의 통신 상호연결부 및 프로토콜일 수 있다. 통신 패브릭(27)은 공유 버스 구성, 크로스 바(cross bar) 구성, 및 브릿지를 이용한 계층적 버스를 포함하는 버스-기반일 수 있다. 또한, 통신 패브릭(27)은 패킷-기반일 수 있고, 브릿지를 이용한 계층, 크로스 바, 포인트-투-포인트(point-to-point), 또는 다른 상호연결부일 수 있다.
상술한 바와 같이, 전력 관리자(28)는 SOC(10) 내에서 내부 전력 시퀀싱을 관리할 수 있다. 전력 관리자(28)는 디바이스(5)의 산출 수요와 소비 전력의 균형을 맞추기 위해 SOC(10) 내의 다양한 컴포넌트들의 다양한 전력/성능 상태를 구축하도록 구성될 수 있다. 전력 관리자(28)는 원하는 전력/성능 상태로 프로그래밍가능할 수 있고, 프로그래밍된 상태에 기초하여 다양한 컴포넌트들의 전원 켜기/끄기 및 클록 주파수 설정을 관리할 수 있다.
PMU(20)는 일반적으로 SOC(10), 오디오 코덱(16), 주변장치들(26A 내지 26D), 및 메모리(12)를 포함하는 디바이스(5)의 컴포넌트들에 전력을 공급하는 것에 책임이 있을 수 있다. PMU(20)는 컴포넌트들 중 적어도 일부(예를 들어, SOC(10))로부터 전압 크기 요청을 수신하도록 결합될 수 있고, 요청된 전압을 공급하도록 구성된 전압 조정기를 포함할 수 있다. SOC(10)는 복수의 전압을 수신할 수 있다(예를 들어, CPU 복합체(14)를 위한 CPU 전압, 캐시와 같은 SOC(10) 내의 메모리 어레이를 위한 메모리 전압, SOC의 다른 컴포넌트들을 위한 SOC 전압 또는 전압들 등).
마이크로폰들(26A, 26B)은 소리를 수신하고 수신된 소리를 표현하는 출력 신호를 제공할 수 있는 임의의 디바이스일 수 있다. 일부 경우들에서, 둘 이상의 마이크로폰이 바람직할 수 있다. 예를 들면, 비디오 기능을 갖는 스마트 폰에서, 음성 통화를 할 때 사용자의 입이 근처에 있게 될 마이크로폰뿐만 아니라 피사체가 촬영되는 것으로부터 음성을 캡처하기 위한 비디오 카메라 근처의 마이크로폰을 포함하는 것이 바람직할 수 있다. 임의의 수의 마이크로폰은 다양한 실시예들에 포함될 수 있고, 포함된 마이크로폰들의 임의의 수가 디바이스(5)가 유휴 상태일 때 제한이 없을 수 있다.
스피커들(26C, 26D)은, 입력 신호를 수신하고 신호에 의해 표현되는 소리를 생성할 수 있는 임의의 디바이스일 수 있다. 일부 경우들에서, 둘 이상의 스피커가 바람직할 수 있다. 예를 들어, 다수의 스피커는 스테레오형 음향 효과를 허용할 수 있으며, 다수의 스피커는 디바이스의 방향에 기초하여 최적화되도록 소리 생성을 허용할 수 있다. 임의의 수의 스피커가 다양한 실시예에 포함될 수 있다.
SOC(10)의 컴포넌트들의 수(및 도 1에 도시된 컴포넌트들, 예컨대 CPU 복합체(14) 내의 서브컴포넌트들의 수)는 실시예마다 다를 수 있다는 것에 주의해야 한다. 도 1에 나타난 수보다 각 컴포넌트/서브컴포넌트가 많거나 적을 수 있다. 유사하게, SOC(10)의 외부의 그러나 디바이스(5) 내의 컴포넌트들의 유형 및 수는 변할 수 있으며, 도 1에 도시되지 않은 다른 컴포넌트들이 포함될 수 있다(예를 들어, 터치 디스플레이일 수 있는 사용자에게 시각적 인터페이스를 제공하기 위한 디스플레이, 네트워킹 컴포넌트, 안테나, WiFi 또는 휴대 전화 컴포넌트와 같은 무선 주파수 컴포넌트 등).
이어서 도 2를 참조하면, SOC(10)(또는 적어도 CPU 복합체(14) 및 메모리 컨트롤러(22))가 전력을 보존하기 위해 전원이 차단되는 시간 동안(예컨대, 디바이스(5)가 유휴 상태일 때) 오디오 필터 회로(24) 및 디바이스(5)의 소정 다른 부분들의 하나의 실시예의 동작을 예시하는 흐름도가 도시된다. 블록들이 이해의 용이함을 위해 특정 순서로 도시되었지만, 다른 순서들도 사용될 수 있다. 블록들은 (도 2에 명확히 병렬로 도시된 블록들, 및 가능한 다른 블록을 포함하는) 오디오 필터 회로(24) 내의 조합 로직 회로에 의해 병렬로 수행될 수 있다. 블록들, 블록들의 조합들, 및/또는 흐름도 전체는 다수의 클록 사이클들에 걸쳐 파이프라인화될 수 있다. 블록들은 일부 실시예들에서 소프트웨어를 실행하는 프로세서에 의해 구현될 수 있거나, 또는 블록들이 고정 하드웨어, 또는 이들의 임의의 조합일 수 있다. 오디오 필터 회로(24)는 도 2에 도시된 동작을 구현하도록 구성될 수 있다.
오디오 필터 회로(24)는 오디오 코덱(16)으로부터 샘플 버퍼(30) 내에 하나 이상의 오디오 샘플을 수신할 수 있으며(블록 40), 디바이스(5) 내의 음성 명령 모드를 활성화하기 위하여 핵심 단어/문구/소리로서 사용되는 미리결정된 패턴과 샘플들을 비교할 수 있다(블록 42). 매칭이 없으면(결정 블록(44), "아니오" 가지), 오디오 필터 회로(24)는 샘플 버퍼(30) 내에 샘플들을 계속해서 수신하고, 샘플들을 비교할 수 있다. 샘플 버퍼(30)가 가득차면 샘플 버퍼(30)는 새로운 샘플로 가장 오래된 샘플들을 덮어 쓸 수 있다. 즉, 샘플들을 위한 N 엔트리를 갖는 샘플 버퍼(30)(여기서, N은 양의 정수)는 임의의 주어진 시점에서 가장 최근의 N 샘플들을 가질 수 있다.
매칭을 검출하는 것에 응답하여(결정 블록(44), "예" 가지), 오디오 필터 회로(24)는 CPU 복합체(14) 및 메모리 컨트롤러(22)가 전원이 공급되는 것을 요청하도록 구성될 수 있다(블록 46). 요청은 PMU(20), PMGR(28), 또는 구현예에 따른 2개의 조합으로 전송될 수 있다. 앞서 언급한 바와 같이, 다른 실시예들에서, 메모리 컨트롤러(22)만이 전원 공급될 수 있다. 대안적으로, 메모리 컨트롤러(22)가 우선 전원이 공급될 수 있고, CPU 복합체(14)는 이후에 전원이 공급될 수 있다. 이러한 스태거링된 전원 공급(staggered power up)은, CPU 복합체(14)와 병렬로 메모리 컨트롤러(22)(및 패브릭(27))를 전원 공급하는 것이 전원을 공급하는 동안 허용 가능한 양의 전류(소위 "돌입 전류")를 초과할 가능성을 가질 수 있는 경우에 사용될 수 있다.
메모리 컨트롤러(22)는 전원이 공급될 수 있고, 오디오 필터 회로(24)로부터의 메모리 컨트롤러 파라미터(34B)는 메모리 컨트롤러(22) 내의 파라미터(34A)로 복원될 수 있다(블록 48). 파라미터는 파라미터(34B)가 (메모리 컨트롤러(22)의 전원을 차단하기 이전에) 메모리 컨트롤러(22)에서 사용된 가장 최신 파라미터(34A)의 섀도우인 경우 "복원"될 수 있다. 전술한 바와 같이, 다른 실시예에서, 파라미터(34B)는 성공적으로 메모리(12)에 대한 액세스를 허용하지만, 최대 성능을 위해 최적화되지 않을 수 있는 "잘 알려진" 파라미터들의 보수적 세트일 수 있다. 이 경우, 파라미터를 "복원하는 것"은 파라미터(34A)로서 보수적 파라미터(34B)를 구축하는 것을 의미할 수 있다. 후속적으로, 메모리 컨트롤러(22)는 메모리(12)에 트레이닝될 수 있으며, 파라미터는 수정될 수 있다. 오디오 필터 회로(24)는 매칭 샘플들 및 후속 샘플들을 메모리 컨트롤러(22)를 통해 샘플 버퍼(30)로부터 메모리(12)에 기록할 수 있고, 일 실시예에서 동작이 CPU 복합체(14)에 의해 종료될 때까지 샘플들을 계속해서 기록할 수 있다(블록 50).
또한, CPU 복합체(14) 내의 프로세서들은 전원이 공급되고 리셋된 후, 운영체제에 부팅할 수 있다(블록 52). CPU(14) 복합체 상에서 실행되는 운영체제는, 핵심 단어/문구/소리가 실제로 검출되었는지 검증하고 사용자의 요청이 무엇인지 결정하기 위해 메모리(12)에 저장된 샘플들을 처리할 수 있다. 디바이스(5)는 명령/요청을 수행하려고 시도할 수 있다(블록 54).
운영체제를 부팅하는 것은, SOC(10)의 다양한 컴포넌트들을 테스트하는 것 및 프로그래밍하는 것을 포함할 수 있고, 메모리 컨트롤러(22)에 전원 공급하는 것 및 그를 복원하는 것에 비해 시간-소모적 태스크일 수 있다. 운영체제는 부팅 이유가 부팅 프로세스의 초기에 핵심 단어/문구/소리의 검출에 기인한 것인지 여부를 확인하도록 설계될 수 있으며, 검출을 검증하기 위해 적어도 핵심 단어/문구/소리를 표현하는 샘플을 처리할 수 있다.
운영체제가 오디오 필터 회로(24)에 의한 검출이 거짓이라고 결정하는 경우, 운영체제는 부팅 프로세스를 중단하고 디바이스(5)를 유휴 상태(CPU 복합체(14) 및 메모리 컨트롤러(22)의 전원을 차단)로 반환할 수 있다.
도 3은 메모리 컨트롤러(22)를 트레이닝하고 음성 필터 회로(24)에 섀도우 메모리 컨트롤러 파라미터를 제공하기 위한 운영체제의 일 실시예의 동작을 예시하는 흐름도이다. 블록들이 이해의 용이함을 위해 특정 순서로 도시되었지만, 다른 순서들도 사용될 수 있다. 전술한 바와 같이, 블록들은 일부 실시예들에서 운영체제 소프트웨어를 실행하는 프로세서에 의해 구현될 수 있다.
운영체제는 메모리 컨트롤러(22)에서 트레이닝을 활성화할 수 있고, 이로 인해 메모리 컨트롤러(22)로 하여금 메모리(12)와 동기화하고 메모리(12)에 대한 고성능 연결을 설정하게 한다(블록 60). 트레이닝 완료에 응답하여, 파라미터(34A)는 구성을 표현할 수 있다. 운영체제는 파라미터(34A)를 섀도우 파라미터(34B)에 복사할 수 있다(블록 62). 대안적으로, 섀도잉은 하드웨어로 구현될 수 있다. 또 다른 실시예에서, 핵심 단어/문구/소리의 검출에 기인하여 복원될 때 메모리 컨트롤러(22)가 적절하게 동작할 수 있음을 보장하기 위하여 파라미터들의 상이한 세트가 섀도우 파라미터(34B)에 제공될 수 있다.
이제 도 4를 참조하면, 디바이스(5)의 하나의 실시예의 동작을 예시하는 타이밍도가 도시된다. 시간은 도 4에서 좌측에서 우측으로 증가한다. 타이밍도의 시작 부분에서, 좌측 상에서, 디바이스(5)는 유휴 상태에 있을 수 있고, 따라서 오디오 필터 회로(24)는 오디오 샘플들을 모니터링할 수 있다. 메모리 컨트롤러(22) 및 CPU 복합체(14)와 같은 SOC(10)의 다른 부분들은 전원이 차단될 수 있다. 타이밍도의 상단에 있는 문장은 사용자가 발언할 수 있으며, 본 예에서 핵심 문구는 "시리야"일 수 있다. 그러나, 임의의 핵심 단어/문구가 다양한 실시예들에서 사용될 수 있다.
마이크로폰에 응답하여 생성된 오디오 샘플들은 오디오 필터(24)에 의해 처리되기 때문에, 오디오 필터(24)는 핵심 문구(도면 부호 70)를 검출할 수 있다. 검출에 응답하여, 오디오 필터(24)는 메모리 컨트롤러(22) 및 CPU 복합체(14)의 전원 공급을 요청할 수 있다(도면 부호 72, 74). 오디오 필터(24)는 파라미터(34B)로부터 메모리 컨트롤러(22)를 복원할 수 있어, 메모리 컨트롤러(22)는 기록 동작들을 허용하는 것이 가능해질 수 있다. 후속적으로, 오디오 필터(24)는 패턴과 매칭된 오디오 샘플들 및 후속 샘플들("가장 가까운 피자 가게가 어디야?"를 표현함)을 메모리(도면 부호 76)에 기록할 수 있다.
한편, CPU는 운영체제에 전원 공급, 그를 리셋 및 부팅할 수 있다(도면부호 74, 78). 도 4에 도시된 바와 같이, 오디오 샘플 처리가 시작할 수 있는 지점(도면 부호 80)에 운영체제의 부팅은 메모리 컨트롤러(22)의 복원보다 더 오래 걸릴 수 있다. 메모리 컨트롤러에 의해 수신되고 캡처되는 샘플들, 예를 들어, 핵심 단어 바로 뒤에 이어지는 단어 또는 단어들은, 운영체제만이 부팅한 후에 단어들을 캡처하는 것인 경우에는 캡처되지 않았을 것이다. 따라서, 사용자에 의해 사용자에 의한 연속적인 말하기가 캡처될 수 있고, (사용자에게) 보다 자연스러운 인터페이스가 이용가능할 수 있다. 앞서 언급한 바와 같이, 일부 실시예들에서, CPU는 메모리 컨트롤러(22)와 병렬로 전원이 공급될 수 없다.
상기 개시내용이 완전하게 인식된다면, 본 발명이 속한 기술 분야의 통상의 기술자에게 있어 수많은 변경들 및 수정들은 명백해질 것이다. 하기 청구범위는 모든 그러한 변경들 및 수정들을 망라하는 것으로 해석되는 것으로 의도된다.

Claims (16)

  1. 집적회로로서,
    하나 이상의 프로세서;
    적어도 하나의 메모리 컨트롤러; 및
    상기 하나 이상의 프로세서 및 상기 메모리 컨트롤러에 결합된 제1 회로
    를 포함하며, 상기 제1 회로는 상기 하나 이상의 프로세서 및 상기 메모리 컨트롤러가 전원 차단되는 시간 동안 전원 공급되는 상태를 유지하도록 구성되고, 상기 제1 회로는 상기 하나 이상의 프로세서 및 상기 메모리 컨트롤러가 전원 차단되는 시간 동안 하나 이상의 오디오 입력 디바이스에 의해 캡처된 오디오 샘플들을 수신하고 상기 오디오 샘플들 내의 미리결정된 패턴을 검출하도록 구성되고, 상기 제1 회로는 상기 미리결정된 패턴을 검출하는 것에 응답하여 상기 메모리 컨트롤러 및 상기 하나 이상의 프로세서로 하여금 전원 공급되게 하도록 구성되며, 상기 제1 회로는 상기 메모리 컨트롤러가 기록 동작들을 수신하는 데 이용가능하지만 상기 하나 이상의 프로세서는 샘플들을 처리할 준비가 되지 않은 시간 동안, 상기 미리결정된 패턴과 매칭하는 상기 오디오 샘플들 및 후속-수신된 샘플들을 상기 메모리 컨트롤러를 통해 메모리에 기록하도록 구성되고, 상기 오디오 샘플들 및 상기 후속-수신된 샘플들은 상기 하나 이상의 프로세서에 의한 처리를 위해 상기 메모리 내에서 이용가능한, 집적회로.
  2. 제1항에 있어서, 상기 미리결정된 패턴은 하나 이상의 단어의 구두 발언을 포함하는 소리를 표현하는, 집적회로.
  3. 제2항에 있어서, 상기 미리결정된 패턴은 사용자의 음성으로부터 캡처된, 집적회로.
  4. 제1항에 있어서, 상기 미리결정된 패턴은 비언어적 소리를 포함하는 소리를 표현하는, 집적회로.
  5. 제1항에 있어서, 상기 제1 회로는 상기 메모리의 동작에 대해 상기 메모리 컨트롤러를 프로그래밍하는 하나 이상의 메모리 컨트롤러 파라미터를 상기 메모리 컨트롤러에 제공하도록 구성되는, 집적회로.
  6. 제1항에 있어서, 상기 제1 회로는 복수의 상기 오디오 샘플을 저장하도록 구성된 버퍼를 포함하고, 상기 복수의 오디오 샘플의 수는 상기 메모리 컨트롤러가 상기 메모리에의 상기 오디오 샘플들의 기록들을 수신하는 데 이용가능할 때까지 상기 패턴과 매칭하는 상기 오디오 샘플들 및 상기 후속-수신된 샘플들을 저장하기에 충분한, 집적회로.
  7. 제1항에 있어서, 상기 제1 회로는 적어도 상기 오디오 샘플들 내의 상기 미리결정된 패턴을 검출하는 것, 및 상기 프로세서들 및 상기 메모리 컨트롤러로 하여금 전원 공급되게 하는 것을 수행하기 위해 복수의 명령어를 실행하도록 구성된 프로세서를 포함하는, 집적회로.
  8. 제1항에 있어서, 상기 제1 회로는 상기 오디오 샘플들 내의 상기 미리결정된 패턴을 검출하도록 구성된 하드웨어 회로를 포함하는, 집적회로.
  9. 시스템으로서,
    오디오 입력 디바이스;
    상기 오디오 입력 디바이스에 결합되고, 상기 오디오 입력 디바이스에 의해 검출된 소리로부터 오디오 샘플들을 생성하도록 구성된 오디오 코더/디코더(코덱);
    메모리; 및
    제1항에 기재된 상기 집적회로
    를 포함하고, 상기 집적회로는 상기 오디오 코덱 및 상기 메모리에 결합되는, 시스템.
  10. 제9항에 있어서, 상기 오디오 입력 디바이스는 상기 시스템에 포함된 복수의 마이크로폰 중 하나이며, 상기 복수의 마이크로폰 중 다른 것들은 상기 메모리 컨트롤러가 전원 차단되는 시간 동안 디스에이블되는, 시스템.
  11. 제9항에 있어서, 상기 제1 회로는 상기 오디오 샘플들 내의 상기 미리결정된 패턴을 검출하는 것에 응답하여 상기 하나 이상의 프로세서로 하여금 상기 메모리 컨트롤러와 병렬로 전원 공급되게 하도록 구성되는, 시스템.
  12. 제11항에 있어서, 상기 하나 이상의 프로세서는 상기 미리결정된 패턴이 검출되었음을 검증하고 상기 후속-수신된 오디오 샘플들을 해석하기 위해 복수의 명령어를 실행하도록 구성되는, 시스템.
  13. 방법으로서,
    집적회로 내의 중앙 처리 장치(CPU) 복합체 및 메모리 컨트롤러를 전원 차단하는 단계;
    상기 CPU 복합체 및 상기 메모리 컨트롤러가 전원 차단되는 시간 동안, 전원 공급되는 상태를 유지하는 상기 집적회로 내의 제1 회로에서 오디오 샘플들을 모니터링하는 단계;
    상기 CPU 복합체 내의 하나 이상의 프로세서 및 상기 메모리 컨트롤러가 전원 차단되는 시간 동안 상기 제1 회로에서 상기 오디오 샘플들 내의 미리결정된 패턴을 검출하는 단계;
    상기 검출하는 단계에 응답하여 적어도 상기 메모리 컨트롤러의 전원 공급을 요청하는 단계; 및
    상기 오디오 샘플들 및 후속-수신된 오디오 샘플들이 상기 메모리 컨트롤러가 이용가능할 때까지 상기 제1 회로에서 상기 오디오 샘플들 및 후속-수신된 오디오 샘플들을 버퍼링하고 상기 버퍼링된 오디오 샘플들을 메모리에 기록하는 것에 의해 손실되지 않음으로써, 오디오 샘플들의 연속적인 스트림이 상기 CPU 복합체 내의 하나 이상의 프로세서에 의해 상기 메모리에서의 처리에 이용가능함을 보장하는 단계
    를 포함하며, 오디오 샘플들은, 상기 메모리 컨트롤러가 기록 동작들을 수신하는 데 이용가능하지만 상기 하나 이상의 프로세서는 샘플들을 처리할 준비가 되지 않은 시간 동안, 상기 메모리에 기록되는, 방법.
  14. 제13항에 있어서, 상기 CPU 복합체의 전원 공급을 요청하는 단계를 추가로 포함하는, 방법.
  15. 제14항에 있어서,
    상기 CPU 복합체 상의 운영체제를 부팅하는 단계; 및
    상기 메모리로부터 상기 버퍼링된 오디오 샘플들을 처리하는 단계를 추가로 포함하는, 방법.
  16. 제15항에 있어서, 상기 처리하는 단계는,
    상기 미리결정된 패턴이 검출됨을 검증하는 단계; 및
    상기 후속-수신된 오디오 샘플들을 해석하는 단계를 포함하는, 방법.
KR1020167013515A 2013-11-12 2014-09-29 모바일 디바이스용 상시 연결형 오디오 제어 KR101770932B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361903002P 2013-11-12 2013-11-12
US61/903,002 2013-11-12
US14/109,101 2013-12-17
US14/109,101 US10079019B2 (en) 2013-11-12 2013-12-17 Always-on audio control for mobile device
PCT/US2014/057958 WO2015073125A1 (en) 2013-11-12 2014-09-29 Always-on audio control for mobile device

Publications (2)

Publication Number Publication Date
KR20160074656A KR20160074656A (ko) 2016-06-28
KR101770932B1 true KR101770932B1 (ko) 2017-08-23

Family

ID=53044518

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167013515A KR101770932B1 (ko) 2013-11-12 2014-09-29 모바일 디바이스용 상시 연결형 오디오 제어

Country Status (8)

Country Link
US (7) US10079019B2 (ko)
EP (1) EP3069226B1 (ko)
JP (1) JP6170625B2 (ko)
KR (1) KR101770932B1 (ko)
CN (1) CN105745615B (ko)
AU (1) AU2014349166B2 (ko)
TW (1) TWI562130B (ko)
WO (1) WO2015073125A1 (ko)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9467785B2 (en) 2013-03-28 2016-10-11 Knowles Electronics, Llc MEMS apparatus with increased back volume
US9503814B2 (en) 2013-04-10 2016-11-22 Knowles Electronics, Llc Differential outputs in multiple motor MEMS devices
US9633655B1 (en) 2013-05-23 2017-04-25 Knowles Electronics, Llc Voice sensing and keyword analysis
US10020008B2 (en) 2013-05-23 2018-07-10 Knowles Electronics, Llc Microphone and corresponding digital interface
US9712923B2 (en) 2013-05-23 2017-07-18 Knowles Electronics, Llc VAD detection microphone and method of operating the same
US20180317019A1 (en) 2013-05-23 2018-11-01 Knowles Electronics, Llc Acoustic activity detecting microphone
US10028054B2 (en) 2013-10-21 2018-07-17 Knowles Electronics, Llc Apparatus and method for frequency detection
US9711166B2 (en) 2013-05-23 2017-07-18 Knowles Electronics, Llc Decimation synchronization in a microphone
US9386370B2 (en) 2013-09-04 2016-07-05 Knowles Electronics, Llc Slew rate control apparatus for digital microphones
US9502028B2 (en) 2013-10-18 2016-11-22 Knowles Electronics, Llc Acoustic activity detection apparatus and method
US9147397B2 (en) 2013-10-29 2015-09-29 Knowles Electronics, Llc VAD detection apparatus and method of operating the same
US10079019B2 (en) 2013-11-12 2018-09-18 Apple Inc. Always-on audio control for mobile device
EP3084760A4 (en) * 2013-12-20 2017-08-16 Intel Corporation Transition from low power always listening mode to high power speech recognition mode
US9712915B2 (en) 2014-11-25 2017-07-18 Knowles Electronics, Llc Reference microphone for non-linear and time variant echo cancellation
WO2016112113A1 (en) 2015-01-07 2016-07-14 Knowles Electronics, Llc Utilizing digital microphones for low power keyword detection and noise suppression
US9830080B2 (en) 2015-01-21 2017-11-28 Knowles Electronics, Llc Low power voice trigger for acoustic apparatus and method
US10121472B2 (en) 2015-02-13 2018-11-06 Knowles Electronics, Llc Audio buffer catch-up apparatus and method with two microphones
US9866938B2 (en) 2015-02-19 2018-01-09 Knowles Electronics, Llc Interface for microphone-to-microphone communications
US10291973B2 (en) 2015-05-14 2019-05-14 Knowles Electronics, Llc Sensor device with ingress protection
DE112016002183T5 (de) 2015-05-14 2018-01-25 Knowles Electronics, Llc Mikrophon mit eingesenktem Bereich
US9478234B1 (en) 2015-07-13 2016-10-25 Knowles Electronics, Llc Microphone apparatus and method with catch-up buffer
US10045104B2 (en) 2015-08-24 2018-08-07 Knowles Electronics, Llc Audio calibration using a microphone
US10018977B2 (en) * 2015-10-05 2018-07-10 Savant Systems, Llc History-based key phrase suggestions for voice control of a home automation system
CN106653010B (zh) 2015-11-03 2020-07-24 络达科技股份有限公司 电子装置及其透过语音辨识唤醒的方法
US10168985B2 (en) * 2015-12-21 2019-01-01 Intel Corporation Dynamic audio codec enumeration
US9894437B2 (en) * 2016-02-09 2018-02-13 Knowles Electronics, Llc Microphone assembly with pulse density modulated signal
US10880833B2 (en) * 2016-04-25 2020-12-29 Sensory, Incorporated Smart listening modes supporting quasi always-on listening
US10499150B2 (en) 2016-07-05 2019-12-03 Knowles Electronics, Llc Microphone assembly with digital feedback loop
US10257616B2 (en) 2016-07-22 2019-04-09 Knowles Electronics, Llc Digital microphone assembly with improved frequency response and noise characteristics
EP3526789B1 (en) * 2016-10-17 2022-12-28 Harman International Industries, Incorporated Voice capabilities for portable audio device
US10979824B2 (en) 2016-10-28 2021-04-13 Knowles Electronics, Llc Transducer assemblies and methods
DE112017006684T5 (de) 2016-12-30 2019-10-17 Knowles Electronics, Llc Mikrofonanordnung mit authentifizierung
US10121494B1 (en) * 2017-03-30 2018-11-06 Amazon Technologies, Inc. User presence detection
WO2019051218A1 (en) 2017-09-08 2019-03-14 Knowles Electronics, Llc CLOCK SYNCHRONIZATION IN A MASTER-ASSERTED COMMUNICATION SYSTEM
WO2019067334A1 (en) 2017-09-29 2019-04-04 Knowles Electronics, Llc MULTICORDER AUDIO PROCESSOR WITH FLEXIBLE MEMORY ALLOCATION
CN107861618A (zh) * 2017-11-10 2018-03-30 联想(北京)有限公司 电子设备控制方法和控制系统
WO2020055923A1 (en) 2018-09-11 2020-03-19 Knowles Electronics, Llc Digital microphone with reduced processing noise
US10908880B2 (en) 2018-10-19 2021-02-02 Knowles Electronics, Llc Audio signal circuit with in-place bit-reversal
GB201821048D0 (en) 2018-12-21 2019-02-06 Sae Hearing As System for monitoring sound
CN109785845B (zh) 2019-01-28 2021-08-03 百度在线网络技术（北京）有限公司 语音处理方法、装置及设备
CN110806990A (zh) * 2019-10-15 2020-02-18 四川豪威尔信息科技有限公司 一种存储器集成电路及其预取方法
CN113126740A (zh) * 2019-12-30 2021-07-16 美光科技公司 管理降低功率的存储器操作

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100312971A1 (en) * 2009-06-05 2010-12-09 Moallem Maziar H Dynamic Operating Point Modification in an Integrated Circuit
US20130080167A1 (en) * 2011-09-27 2013-03-28 Sensory, Incorporated Background Speech Recognition Assistant Using Speaker Verification
US20130223635A1 (en) * 2012-02-27 2013-08-29 Cambridge Silicon Radio Limited Low power audio detection

Family Cites Families (110)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5615296A (en) 1993-11-12 1997-03-25 International Business Machines Corporation Continuous speech recognition and voice response system and method to enable conversational dialogues with microprocessors
US5461588A (en) * 1994-11-15 1995-10-24 Digital Equipment Corporation Memory testing with preservation of in-use data
JP3674990B2 (ja) 1995-08-21 2005-07-27 セイコーエプソン株式会社 音声認識対話装置および音声認識対話処理方法
US5774841A (en) * 1995-09-20 1998-06-30 The United States Of America As Represented By The Adminstrator Of The National Aeronautics And Space Administration Real-time reconfigurable adaptive speech recognition command and control apparatus and method
US6593845B1 (en) 1998-01-09 2003-07-15 Intermac Ip Corp. Active RF tag with wake-up circuit to prolong battery life
EP1248660B1 (en) * 2000-01-21 2012-04-11 Medtronic MiniMed, Inc. Microprocessor controlled ambulatory medical apparatus with hand held communication device
US6748548B2 (en) 2000-12-29 2004-06-08 Intel Corporation Computer peripheral device that remains operable when central processor operations are suspended
JP2003023252A (ja) 2001-07-10 2003-01-24 Ibiden Co Ltd 多層プリント配線板
US6408396B1 (en) * 2001-05-04 2002-06-18 Intel Corporation Method and apparatus for supporting wake-on voice and wake-on MIC technology
US6775750B2 (en) 2001-06-29 2004-08-10 Texas Instruments Incorporated System protection map
JP4640667B2 (ja) 2001-12-03 2011-03-02 横浜特殊船舶株式会社 レンタル自転車の錠システム
JP4436583B2 (ja) 2001-12-19 2010-03-24 富士フイルム株式会社 デジタルカメラ
EP1331539B1 (en) 2002-01-16 2016-09-28 Texas Instruments France Secure mode for processors supporting MMU and interrupts
JP2003278418A (ja) * 2002-03-22 2003-10-02 Denso Corp 車載無線機装置
EP1351146A1 (en) 2002-04-04 2003-10-08 Hewlett-Packard Company Power management system and method with recovery after power failure
US7134028B2 (en) 2003-05-01 2006-11-07 International Business Machines Corporation Processor with low overhead predictive supply voltage gating for leakage power reduction
US7418392B1 (en) 2003-09-25 2008-08-26 Sensory, Inc. System and method for controlling the operation of a device by voice commands
US8864822B2 (en) 2003-12-23 2014-10-21 Mitralign, Inc. Devices and methods for introducing elements into tissue
US8112618B2 (en) 2004-04-08 2012-02-07 Texas Instruments Incorporated Less-secure processors, integrated circuits, wireless communications apparatus, methods and processes of making
JP2006107127A (ja) 2004-10-05 2006-04-20 Nec Electronics Corp 半導体集積回路装置
US7797523B2 (en) 2006-09-25 2010-09-14 Hewlett-Packard Development Company, L.P. Method and system of executing stack-based memory reference code
US8117475B2 (en) 2006-12-15 2012-02-14 Microchip Technology Incorporated Direct memory access controller
US8041968B2 (en) 2007-01-04 2011-10-18 Apple Inc. Power management for driving display with baseband portion when application portion is in low power mode
KR100862316B1 (ko) * 2007-03-08 2008-10-13 주식회사 하이닉스반도체 반도체 메모리장치, 반도체 메모리장치의 ｚｑ캘리브래이션동작 제어회로 및 반도체 메모리장치의 ｚｑ캘리브래이션방법
US7991992B2 (en) 2007-03-13 2011-08-02 Intel Corporation Power reduction for system on chip
US8065544B2 (en) 2007-05-03 2011-11-22 Microchip Technology Incorporated Interrupt/wake-up of an electronic device in a low power sleep mode when detecting a sensor or frequency source activated frequency change
US7941682B2 (en) 2007-05-09 2011-05-10 Gainspan, Inc. Optimum power management of system on chip based on tiered states of operation
EP2058725A3 (en) * 2007-06-11 2015-07-22 Mediatek Inc. Method of and apparatus for reducing power consumption within an integrated circuit
US8902155B2 (en) 2007-07-09 2014-12-02 Sony Corporation Electronic apparatus and control method therefor
JP4949956B2 (ja) 2007-07-20 2012-06-13 株式会社リコー 画像形成装置
US9613215B2 (en) 2008-04-10 2017-04-04 Nvidia Corporation Method and system for implementing a secure chain of trust
US20090259865A1 (en) 2008-04-11 2009-10-15 Qualcomm Incorporated Power Management Using At Least One Of A Special Purpose Processor And Motion Sensing
US20090292934A1 (en) 2008-05-22 2009-11-26 Ati Technologies Ulc Integrated circuit with secondary-memory controller for providing a sleep state for reduced power consumption and method therefor
US8533504B2 (en) * 2008-05-29 2013-09-10 International Business Machines Corporation Reducing power consumption during execution of an application on a plurality of compute nodes
US8065540B2 (en) 2008-10-31 2011-11-22 Dell Products, Lp Power control for information handling system having shared resources
US8103803B2 (en) 2008-11-21 2012-01-24 Nvidia Corporation Communication between a processor and a controller
JP5080510B2 (ja) 2009-02-12 2012-11-21 株式会社日立製作所 宅内ゲートウェイ装置
US8405505B2 (en) 2009-05-26 2013-03-26 Qualcomm Incorporated Power management of sensors within a mobile device
US8515609B2 (en) 2009-07-06 2013-08-20 Honeywell International Inc. Flight technical control management for an unmanned aerial vehicle
GB2472050B (en) 2009-07-22 2013-06-19 Wolfson Microelectronics Plc Power management apparatus and methods
KR101624903B1 (ko) 2009-09-16 2016-05-30 삼성전자주식회사 휴대용 단말기에서 전력 소모를 줄이기 위한 장치 및 방법
US9098274B2 (en) 2009-12-03 2015-08-04 Intel Corporation Methods and apparatuses to improve turbo performance for events handling
JP2011129041A (ja) 2009-12-21 2011-06-30 Fujitsu Ltd 情報処理装置、認証処理制御プログラムおよび認証処理制御方法
US8656198B2 (en) 2010-04-26 2014-02-18 Advanced Micro Devices Method and apparatus for memory power management
US20110291801A1 (en) * 2010-06-01 2011-12-01 Sommer William R Personal warning device
US8751802B2 (en) 2010-06-30 2014-06-10 Sandisk Il Ltd. Storage device and method and for storage device state recovery
US8438416B2 (en) 2010-10-21 2013-05-07 Advanced Micro Devices, Inc. Function based dynamic power control
US9483103B2 (en) * 2010-10-22 2016-11-01 Hewlett-Packard Development Company, L.P. Process state of a computing machine
US8706172B2 (en) 2010-10-26 2014-04-22 Miscrosoft Corporation Energy efficient continuous sensing for communications devices
US9226069B2 (en) * 2010-10-29 2015-12-29 Qualcomm Incorporated Transitioning multiple microphones from a first mode to a second mode
US9135213B2 (en) 2011-01-13 2015-09-15 Xilinx, Inc. Extending a processor system within an integrated circuit and offloading processes to process-specific circuits
US20120254878A1 (en) 2011-04-01 2012-10-04 Lama Nachman Mechanism for outsourcing context-aware application-related functionalities to a sensor hub
US9229489B2 (en) 2011-05-03 2016-01-05 Facebook, Inc. Adjusting mobile device state based on user intentions and/or identity
US20120311009A1 (en) * 2011-06-01 2012-12-06 Jarrett Ben D Hybrid adder using dynamic and static circuits
US20130124891A1 (en) 2011-07-15 2013-05-16 Aliphcom Efficient control of power consumption in portable sensing devices
US8575993B2 (en) 2011-08-17 2013-11-05 Broadcom Corporation Integrated circuit with pre-heating for reduced subthreshold leakage
US8862917B2 (en) 2011-09-19 2014-10-14 Qualcomm Incorporated Dynamic sleep for multicore computing devices
EP2769272A1 (en) 2011-10-18 2014-08-27 Slyde Watch SA A method and circuit for switching a wristwatch from a first power mode to a second power mode
US8812761B2 (en) 2011-10-28 2014-08-19 Apple Inc. System and method for adjusting power usage to reduce interrupt latency
US8972180B1 (en) * 2011-11-08 2015-03-03 Marvell International Ltd. Method and apparatus for managing multiple sensors in a navigation system
US8666751B2 (en) * 2011-11-17 2014-03-04 Microsoft Corporation Audio pattern matching for device activation
US9281827B2 (en) 2011-11-21 2016-03-08 Cirrus Logic International Semiconductor Ltd. Clock generator
KR20160036104A (ko) 2011-12-07 2016-04-01 퀄컴 인코포레이티드 디지털화된 오디오 스트림을 분석하는 저전력 집적 회로
CN104106057B (zh) 2011-12-13 2018-03-30 英特尔公司 用非易失性随机存取存储器提供对休眠状态转变的即时响应的方法和系统
US9377830B2 (en) 2011-12-30 2016-06-28 Samsung Electronics Co., Ltd. Data processing device with power management unit and portable device having the same
CN102622079B (zh) 2012-02-25 2015-02-04 华为终端有限公司 一种休眠方法、唤醒方法和移动终端设备
US9063574B1 (en) 2012-03-14 2015-06-23 Amazon Technologies, Inc. Motion detection systems for electronic devices
US8892269B2 (en) 2012-03-30 2014-11-18 Intel Corporation Power down and quick start of thermal sensor
US9552037B2 (en) * 2012-04-23 2017-01-24 Google Inc. Switching a computing device from a low-power state to a high-power state
US9117449B2 (en) 2012-04-26 2015-08-25 Nuance Communications, Inc. Embedded system for construction of small footprint speech recognition with user-definable constraints
US20130318382A1 (en) 2012-05-23 2013-11-28 Canon Kabushiki Kaisha Power management apparatus, image forming apparatus and power management method
US9182999B2 (en) 2012-05-30 2015-11-10 Advanced Micro Devices, Inc. Reintialization of a processing system from volatile memory upon resuming from a low-power state
KR101896666B1 (ko) 2012-07-05 2018-09-07 삼성전자주식회사 이미지 센서 칩, 이의 동작 방법, 및 이를 포함하는 시스템
KR102045511B1 (ko) 2012-07-18 2019-11-15 삼성전자 주식회사 센서 허브를 포함하는 단말기 및 단말기의 제어 방법
US9063731B2 (en) 2012-08-27 2015-06-23 Samsung Electronics Co., Ltd. Ultra low power apparatus and method to wake up a main processor
US9152205B2 (en) 2012-08-28 2015-10-06 Intel Corporation Mechanism for facilitating faster suspend/resume operations in computing systems
TWI492545B (zh) 2012-09-14 2015-07-11 Univ Nat Chiao Tung 具有增益校正之鎖相迴路、用於鎖相迴路之增益量測方法、校正方法及抖動量測方法
US9208371B2 (en) 2012-09-28 2015-12-08 Synaptics Incorporated Low power navigation devices, systems and methods
KR101927096B1 (ko) 2012-10-19 2018-12-10 삼성전자주식회사 어플리케이션 프로세서, 이를 구비하는 모바일 기기 및 어플리케이션 프로세서를 위한 클럭 신호 선택 방법
EP2912588A4 (en) 2012-10-25 2016-06-29 Intel Corp ANTI-THEFT IN A MICROLOGICIEL
CN103838339B (zh) * 2012-11-21 2016-08-17 华硕电脑股份有限公司 功率整合模块及电子装置
US9760150B2 (en) 2012-11-27 2017-09-12 Nvidia Corporation Low-power states for a computer system with integrated baseband
US9081571B2 (en) 2012-11-29 2015-07-14 Amazon Technologies, Inc. Gesture detection management for an electronic device
KR102179811B1 (ko) * 2012-12-03 2020-11-17 엘지전자 주식회사 포터블 디바이스 및 음성 인식 서비스 제공 방법
US9794736B2 (en) 2012-12-21 2017-10-17 Qualcomm Incorporated Low power always-on determination of indoor versus outdoor state
US9424127B2 (en) 2013-02-01 2016-08-23 Broadcom Corporation Charger detection and optimization prior to host control
US20140218372A1 (en) 2013-02-05 2014-08-07 Apple Inc. Intelligent digital assistant in a desktop environment
KR20150104615A (ko) 2013-02-07 2015-09-15 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
US20140244273A1 (en) 2013-02-27 2014-08-28 Jean Laroche Voice-controlled communication connections
US9542933B2 (en) 2013-03-08 2017-01-10 Analog Devices Global Microphone circuit assembly and system with speech recognition
US9335809B2 (en) 2013-03-15 2016-05-10 Seagate Technology Llc Volatile memory storing system data during low power mode operation and monitoring the voltage supplied to the memory during low power mode
US9189248B2 (en) 2013-04-25 2015-11-17 Insyde Software Corp. Specialized boot path for speeding up resume from sleep state
US9541984B2 (en) 2013-06-05 2017-01-10 Apple Inc. L2 flush and memory fabric teardown
US9338003B2 (en) 2013-06-18 2016-05-10 Maxim Integrated Products, Inc. Secure modules using unique identification elements
CN110096253B (zh) * 2013-07-11 2022-08-30 英特尔公司 利用相同的音频输入的设备唤醒和说话者验证
US9756699B2 (en) 2013-08-30 2017-09-05 Avago Technologies General Ip (Singapore) Pte. Ltd Low-power data acquisition system and sensor interface
US20150089245A1 (en) 2013-09-26 2015-03-26 Asher M. Altman Data storage in persistent memory
US9171133B2 (en) 2013-10-11 2015-10-27 Landis+Gyr Innovations, Inc. Securing a device and data within the device
US20150127300A1 (en) 2013-11-03 2015-05-07 Microsoft Corporation Sensor Selection Based on Context and Policy
US10079019B2 (en) 2013-11-12 2018-09-18 Apple Inc. Always-on audio control for mobile device
US20150149801A1 (en) 2013-11-26 2015-05-28 Synaptics Incorporated Complex wakeup gesture framework
CN103619056B (zh) 2013-12-02 2018-01-12 华为终端（东莞）有限公司 一种上报传感器数据的方法和终端
US9836113B2 (en) 2013-12-23 2017-12-05 Intel Corporation Method and apparatus to manage power usage in a processor
WO2015099802A1 (en) 2013-12-28 2015-07-02 Intel Corporation Techniques for increasing energy efficiency of sensor controllers
US9443111B2 (en) 2014-02-28 2016-09-13 Seagate Technology Llc Device security using an encrypted keystore data structure
US9348358B2 (en) 2014-04-18 2016-05-24 Fujitsu Limited Clock multiplication and distribution
US9778728B2 (en) 2014-05-29 2017-10-03 Apple Inc. System on a chip with fast wake from sleep
US10031000B2 (en) 2014-05-29 2018-07-24 Apple Inc. System on a chip with always-on processor
US9619377B2 (en) 2014-05-29 2017-04-11 Apple Inc. System on a chip with always-on processor which reconfigures SOC and supports memory-only communication mode
US10540043B2 (en) 2016-03-02 2020-01-21 Synaptics Incorporated Hybrid in-cell sensor topology

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100312971A1 (en) * 2009-06-05 2010-12-09 Moallem Maziar H Dynamic Operating Point Modification in an Integrated Circuit
US20130080167A1 (en) * 2011-09-27 2013-03-28 Sensory, Incorporated Background Speech Recognition Assistant Using Speaker Verification
US20130223635A1 (en) * 2012-02-27 2013-08-29 Cambridge Silicon Radio Limited Low power audio detection

Also Published As

Publication number Publication date
JP6170625B2 (ja) 2017-07-26
US11049503B2 (en) 2021-06-29
CN105745615A (zh) 2016-07-06
US11862173B2 (en) 2024-01-02
US20180350369A1 (en) 2018-12-06
US10573319B2 (en) 2020-02-25
US10431224B1 (en) 2019-10-01
US10276165B2 (en) 2019-04-30
US20190287532A1 (en) 2019-09-19
US20150134331A1 (en) 2015-05-14
EP3069226B1 (en) 2019-12-18
EP3069226A1 (en) 2016-09-21
US20210287677A1 (en) 2021-09-16
US10079019B2 (en) 2018-09-18
US20200184976A1 (en) 2020-06-11
AU2014349166B2 (en) 2017-02-16
KR20160074656A (ko) 2016-06-28
WO2015073125A1 (en) 2015-05-21
CN105745615B (zh) 2019-03-22
TW201521010A (zh) 2015-06-01
JP2017506353A (ja) 2017-03-02
US20240144932A1 (en) 2024-05-02
US20190378514A1 (en) 2019-12-12
TWI562130B (en) 2016-12-11
AU2014349166A1 (en) 2016-04-14

Similar Documents

Publication Publication Date Title
KR101770932B1 (ko) 모바일 디바이스용 상시 연결형 오디오 제어
KR101994569B1 (ko) 상시-온 컴포넌트에서의 클록 스위칭
US11662974B2 (en) Mechanism for retrieval of previously captured audio
TW202206975A (zh) 具機器學習之低功率環境計算系統
WO2015005927A1 (en) Device wake and speaker verification using the same audio input

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant