TWI776988B - 包含具插話用直接路徑之低電力語音觸發系統的應用處理器、包含該處理器的電子裝置及其操作方法 - Google Patents

包含具插話用直接路徑之低電力語音觸發系統的應用處理器、包含該處理器的電子裝置及其操作方法 Download PDF

Info

Publication number
TWI776988B
TWI776988B TW107140152A TW107140152A TWI776988B TW I776988 B TWI776988 B TW I776988B TW 107140152 A TW107140152 A TW 107140152A TW 107140152 A TW107140152 A TW 107140152A TW I776988 B TWI776988 B TW I776988B
Authority
TW
Taiwan
Prior art keywords
audio
voice
trigger
data
compensated
Prior art date
Application number
TW107140152A
Other languages
English (en)
Other versions
TW201933086A (zh
Inventor
金善奎
Original Assignee
南韓商三星電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 南韓商三星電子股份有限公司 filed Critical 南韓商三星電子股份有限公司
Publication of TW201933086A publication Critical patent/TW201933086A/zh
Application granted granted Critical
Publication of TWI776988B publication Critical patent/TWI776988B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L15/222—Barge in, i.e. overridable guidance for interrupting prompts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/3287—Power saving characterised by the action undertaken by switching off individual functional units in the computer system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/162—Interface to dedicated audio devices, e.g. audio drivers, interface to CODECs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0232—Processing in the frequency domain
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Telephone Function (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

一種應用處理器可包括主機處理器、語音觸發系統及音 訊子系統，其三者均電性連接至系統匯流排。語音觸發系統可被配置成執行語音觸發操作並發佈觸發事件。音訊子系統可被配置成藉由音訊介面來重播音訊輸出串流。直接匯流排可被配置成在其中語音觸發操作與音訊輸出串流的重播被一起執行的插話狀態期間提供語音觸發系統與音訊子系統之間的通訊路徑。應用處理器可被配置成藉由對自麥克風接收的麥克風資料執行回音消除來產生經補償觸發資料，且語音觸發系統可被配置成在插話狀態期間基於經補償觸發資料來執行語音觸發操作。

Description

包含具插話用直接路徑之低電力語音觸發系統 的應用處理器、包含該處理器的電子裝置及其操作方法 [相關申請案的交叉參考]
本申請案主張於2018年1月25日在韓國智慧財產局(Korean Intellectual Property Office，KIPO)提出申請的韓國專利申請案第10-2018-0009496號的優先權，所述韓國專利申請案的內容全部併入本文中供參考。
各示例性實施例大體而言是有關於半導體積體電路，且更具體而言是有關於包含具插話用直接路徑的低電力語音觸發系統的應用處理器、包含所述應用處理器的電子裝置、以及操作所述應用處理器的方法。
一些電子裝置可包括基於語音(voice-based)的或基於聲音(sound-based)的智慧介面。此類基於語音的或基於聲音的智慧介面的一個優點是，使用者可在無需握持或甚至注視裝置的情況下以免提方式與裝置互動。當人們無法或不應實體上握持裝置時，例如當其正在駕駛時，免提操作可為特別有益的。然而，為起始一些基於語音的或基於聲音的智慧介面，使用者可能需要按壓按鈕或選擇觸控螢幕上的圖符。此種觸覺輸入有損於基於語音的或基於聲音的智慧介面的使用者體驗。
因此，一些電子裝置一直被開發成在不需要觸覺輸入的情況下使用語音、話音、聲音、感測等輸入來啟用基於語音的或基於聲音的智慧介面。此類電子裝置可需要連續地或間歇地監測音訊通道以偵測語音輸入，且可發佈觸發事件來起始基於語音的智慧介面。發佈觸發事件的操作可被稱為語音觸發操作（voice trigger operation）。對音訊通道的此種監測可能會消耗電力，而電力在依賴於電池的手持式或可攜式裝置上可為有限的資源。
在一些實施例中，一種應用處理器可包含語音觸發系統，所述語音觸發系統能夠以低電力來執行語音觸發操作且支援插話狀態（barge-in condition）用的直接路徑。
在一些實施例中，一種電子裝置可包含所述應用處理器。
一些實施例可包括一種操作所述應用處理器的方法。
根據一些實施例，可提供應用處理器。一種應用處理器可包括系統匯流排、直接匯流排、主機處理器、語音觸發系統、及音訊子系統。所述主機處理器、所述語音觸發系統及所述音訊子系統可電性連接至所述系統匯流排。所述語音觸發系統可被配置成執行語音觸發操作並發佈觸發事件。所述音訊子系統可被配置成藉由音訊介面來重播音訊輸出串流。所述直接匯流排可將所述語音觸發系統電性連接至所述音訊子系統，且可被配置成在其中所述語音觸發操作與所述音訊輸出串流的所述重播被一起執行的插話狀態期間提供所述語音觸發系統與所述音訊子系統之間的通訊路徑。於在所述插話狀態期間藉由所述音訊介面執行所述音訊輸出串流的所述重播時，所述應用處理器可被配置成藉由對自麥克風接收的麥克風資料執行回音消除（echo cancellation）來產生經補償觸發資料，且所述語音觸發系統可被配置成基於所述經補償觸發資料來執行所述語音觸發操作。
根據一些實施例，可提供電子裝置。一種電子裝置可包括應用處理器及至少一個音訊輸入-輸出裝置。所述應用處理器可包括系統匯流排、直接匯流排、主機處理器、語音觸發系統、及音訊子系統。所述主機處理器、所述語音觸發系統及所述音訊子系統可電性連接至所述系統匯流排。所述語音觸發系統可被配置成執行語音觸發操作並發佈觸發事件。所述音訊子系統可被配置成藉由所述至少一個音訊輸入-輸出裝置來重播音訊輸出串流。所述直接匯流排可將所述語音觸發系統電性連接至所述音訊子系統，且可被配置成在其中所述語音觸發操作與所述音訊輸出串流的所述重播被一起執行的插話狀態期間提供所述語音觸發系統與所述音訊子系統之間的通訊路徑。於在所述插話狀態期間藉由所述至少一個音訊輸入-輸出裝置執行所述音訊輸出串流的所述重播時，所述應用處理器可被配置成藉由對自麥克風接收的麥克風資料執行回音消除來產生經補償觸發資料，且所述語音觸發系統可被配置成基於所述經補償觸發資料來執行所述語音觸發操作。
根據一些實施例，可提供操作應用處理器的方法。一種方法可包括由語音觸發系統執行語音觸發操作以發佈觸發事件。所述語音觸發系統可與主機處理器及音訊子系統一起整合於單個半導體晶片中。所述應用處理器可包括電性連接所述語音觸發系統與所述音訊子系統的直接匯流排。所述應用處理器可包括電性連接所述主機處理器、所述語音觸發系統及所述音訊子系統的系統匯流排。所述方法可包括由所述音訊子系統藉由音訊介面來重播音訊輸出串流。所述方法可包括在其中所述語音觸發操作與所述音訊輸出串流的所述重播被一起執行的插話狀態期間，藉由對自麥克風接收的麥克風資料執行回音消除來產生經補償觸發資料。所述直接匯流排可被配置成在所述插話狀態期間提供所述語音觸發系統與所述音訊子系統之間的通訊路徑。所述方法可包括由所述語音觸發系統基於所述經補償觸發資料來執行所述語音觸發操作。
根據一些實施例的應用處理器、包含所述應用處理器的電子裝置及操作應用處理器的方法可藉由將語音觸發系統整合於所述應用處理器中，而以低電力及高效率來執行語音觸發操作。晶片上（on-chip）語音觸發系統可代替應用處理器中的主機處理器來執行一些操作，以降低電子裝置的電力消耗並增強電子裝置的效能。
另外，可在插話狀態期間使用直接匯流排來提供語音觸發系統與音訊子系統之間的直接路徑，且可使用直接匯流排來執行回音消除。因此，在執行回音消除時，可使用晶片上語音觸發系統及直接匯流排來執行與系統匯流排獨立的資料通訊，以降低應用處理器及系統匯流排的喚醒頻率（wakeup frequency），進而更降低電力消耗並增強語音觸發操作的辨識率。
將參照其中示出一些實施例的附圖更全面地闡述各種實施例。然而，本發明可被實施為諸多不同形式，且不應被視為僅限於本文中所述的實施例。在本申請案通篇中，相同的參考編號指代相同的元件。
圖1是說明根據一些實施例操作應用處理器的方法的操作的流程圖。
參照圖1，在其中主機處理器、語音觸發系統、音訊子系統、直接匯流排、以及電性連接所述主機處理器、所述語音觸發系統及所述音訊子系統的系統匯流排被整合為單個半導體晶片的應用處理器中，可由語音觸發系統基於藉由觸發介面所提供的觸發輸入訊號來執行語音觸發操作以發佈觸發事件（S100）。
可由音訊子系統處理藉由音訊介面所重播或記錄的音訊串流（S200）。所述音訊子系統可更支援音訊串流在音訊介面與記憶體裝置之間的傳遞。
所述語音觸發操作可監測觸發輸入訊號是否包含特定觸發聲音，並在偵測到觸發聲音時發佈觸發事件（例如中斷訊號）以起始語音辨識模式或基於語音的智慧介面。語音辨識模式的起始可包括將主機處理器及/或系統匯流排啟動成工作模式（active mode）。換言之，為降低電力消耗，可在睡眠模式期間（例如，在系統匯流排及主機處理器被去能（disable）且只有語音觸發系統被賦能（enable）時）執行語音觸發操作，且當觸發事件被發佈以起始語音辨識模式時，系統匯流排及主機處理器可進入或被喚醒成工作模式。
在一些實施例中，觸發聲音可包括人類語音的詞語及/或片語。在一些實施例中，觸發聲音可包括除人類語音之外的聲音，例如口哨聲、拍手的聲音、汽笛聲、碰撞的聲音、具有特定頻率範圍的音波等。
如將參照圖5進行闡述，直接匯流排可將語音觸發系統電性連接至音訊子系統，且可在其中語音觸發操作與音訊重播被一起執行的插話狀態期間，提供語音觸發系統與音訊子系統之間的通訊路徑。直接匯流排的通訊路徑可為直接路徑。換言之，在插話狀態期間，可與系統匯流排獨立地使用所述直接路徑來執行語音觸發系統與音訊子系統之間的資料通訊。本文中所使用的直接匯流排可指代語音觸發系統與音訊子系統之間的通訊路徑，以便可在主機處理器及系統匯流排處於睡眠模式時，在不將主機處理器及系統匯流排喚醒成工作模式的情況下，於語音觸發系統與音訊子系統之間傳遞資料。
於在插話狀態期間藉由音訊介面執行音訊重播時，可使用直接匯流排對自麥克風接收的麥克風資料來執行回音消除以產生經補償資料（S300）。將參照圖4來闡述回音消除。
由語音觸發系統基於經補償資料來執行語音觸發操作（S400）。
根據一些實施例的應用處理器、包含所述應用處理器的電子裝置及操作所述應用處理器的方法，可藉由將語音觸發系統整合於所述應用處理器中而以低電力及高效率來執行語音觸發操作。另外，在插話狀態期間，可與系統匯流排及主機處理器獨立地藉由直接路徑來執行回音消除。因此，可以低電力來執行音訊重播，且可增強語音觸發操作的準確度（例如，辨識率）。
圖2A是說明根據一些實施例的電子裝置的方塊圖。
參照圖2A，電子裝置1000可包括應用處理器AP 2000、記憶體裝置1200、儲存裝置1300、多個功能模組1400、1500、1600及1700、以及電源管理積體電路PMIC 1800。
應用處理器2000可控制電子裝置1000的一些整體操作。舉例而言，應用處理器2000可控制記憶體裝置1200、儲存裝置1300及/或所述多個功能模組1400、1500、1600及1700。應用處理器2000可為系統晶片（system on chip，SoC）。
應用處理器2000可包括系統匯流排2100、主機處理器或中央處理單元（central processing unit，CPU）100、語音觸發系統VTS 200、及/或音訊處理系統AUD 250，後三者電性連接至系統匯流排2100。
語音觸發系統200可電性連接至系統匯流排2100，基於藉由觸發介面所提供的觸發輸入訊號來執行語音觸發操作，並發佈觸發事件。音訊處理系統250可包括音訊子系統且更包括感測器中樞（sensor hub），如將進行闡述。所述音訊子系統可電性連接至系統匯流排2100，以處理藉由音訊介面所重播或記錄的音訊串流。另外，所述音訊子系統可更支援音訊串流在音訊介面與記憶體裝置1200之間的傳遞。將參照圖3至圖18B來闡述語音觸發系統200及音訊處理系統250的一些實施例。
記憶體裝置1200及/或儲存裝置1300可為電子裝置1000的操作儲存資料。記憶體裝置1200可包括揮發性記憶體裝置，例如動態隨機存取記憶體（dynamic random access memory，DRAM）、靜態隨機存取記憶體（static random access memory，SRAM）、行動DRAM等。儲存裝置1300可包括非揮發性記憶體裝置，例如可抹除可程式化唯讀記憶體（erasable programmable read-only memory，EPROM）、電可抹除可程式化唯讀記憶體（electrically erasable programmable read-only memory，EEPROM）、快閃記憶體、相變隨機存取記憶體（phase change random access memory，PRAM）、電阻隨機存取記憶體（resistance random access memory，RRAM）、奈米浮閘記憶體（nano floating gate memory，NFGM）、聚合物隨機存取記憶體（polymer random access memory，PoRAM）、磁性隨機存取記憶體（magnetic random access memory，MRAM）、鐵電式隨機存取記憶體（ferroelectric random access memory，FRAM）等。在一些實施例中，儲存裝置1300可包括嵌入式多媒體卡（embedded multimedia card，eMMC）、通用快閃儲存器（universal flash storage，UFS）、固態磁碟機（solid state drive，SSD）、硬碟機（hard disk drive，HDD）、光碟-唯讀記憶體（compact disc - read only memory，CD-ROM）等。
功能模組1400、1500、1600及1700可執行電子裝置1000的各種功能。舉例而言，電子裝置1000可包括：通訊模組1400，可執行通訊功能（例如，分碼多重存取（code division multiple access，CDMA）模組、長期演進（long term evolution，LTE）模組、射頻（radio frequency，RF）模組、超寬頻（ultra-wideband，UWB）模組、無線區域網路（wireless local area network，WLAN）模組、全球微波存取互通（worldwide interoperability for microwave access，WIMAX）模組等）；攝影機模組1500，可執行攝影機功能；輸入-輸出（input-output，I/O）模組1600，包括顯示模組及/或觸控面板模組，所述顯示模組可執行顯示功能，所述觸控面板模組可執行觸控感測功能；以及音訊模組1700，包括麥克風（microphone，MIC）模組、揚聲器模組等，可執行音訊訊號的輸入及/或輸出。在一些實施例中，電子裝置1000可包括全球定位系統（global positioning system，GPS）模組、陀螺儀模組等。然而，電子裝置1000中的功能模組1400、1500、1600及1700並非僅限於此。
電源管理積體電路1800可將一或多個操作電壓提供至應用處理器2000、記憶體裝置1200、儲存裝置1300、及/或功能模組1400、1500、1600及1700。
圖2B是說明根據一些實施例的圖2A所示電子裝置的實施方案的前視圖。
圖2A所示電子裝置1000可為例如以下等的裝置：桌上型電腦、膝上型電腦、蜂巢式電話（cellular phone）、智慧型電話、MP3播放器、個人數位助理（personal digital assistant，PDA）、可攜式多媒體播放器（portable multimedia player，PMP）、數位電視機、數位攝影機、伺服器電腦、工作站、機上盒、可攜式遊戲機、導航系統、可穿戴裝置、物聯網（internet of things，IoT）裝置、萬物聯網（internet of everything，IoE）裝置、電子書、虛擬實境（virtual reality，VR）裝置、擴增實境（augmented reality，AR）裝置等。電子裝置1000通常可因應於直接使用者輸入而運作，但亦可用於藉由網際網路或其他網路系統與其他裝置進行通訊。作為圖2A所示電子裝置1000的實例，圖2B將電子裝置1000a說明為包括觸控螢幕的蜂巢式電話或智慧型電話。
參照圖2B，電子裝置1000a可包括前置攝影機2、揚聲器3、近接感測器4、亮度感測器5、通用串列匯流排（universal serial bus，USB）介面6、電源按鈕7、音量按鈕8、顯示與觸控螢幕9、圖符10、選單按鈕11、主頁按鈕（home button）12、後退按鈕（back button）13、麥克風14、音訊輸出介面15、及/或天線16。
前置攝影機2可面向顯示與觸控螢幕9的方向，且用於視訊呼叫或者視訊或照片拍攝。當使用者藉由在圖符10中的一者上對顯示與觸控螢幕9進行觸控或利用話音而輸入訊號來播放多媒體資料、藉由公用交換電話網路與另一使用者通話、或者播放電子裝置1000a的操作聲音或通知聲音時，揚聲器3可輸出音訊資料。近接感測器4可控制顯示與觸控螢幕9的接通或關斷，以節省電力並在使用者將電子裝置1000a舉起至耳朵以進行電話交談時防止誤操作。亮度感測器5可根據自電子裝置1000a的周圍環境入射的光的量來控制顯示與觸控螢幕9及前置攝影機2的操作。USB介面6可為用於與外部裝置及電源供應器進行資料通訊的輸入/輸出介面。
電源按鈕7可接通或關斷電子裝置1000a的電源，及/或可接通或關斷顯示與觸控螢幕9。音量按鈕8可控制揚聲器3的音訊輸出。在顯示與觸控螢幕9上可顯示與不同的功能對應的圖符10。舉例而言，使用者可觸控與多媒體資料的回放對應的圖符10。
選單按鈕11可容許使用者瀏覽包含圖符及設定的選單。主頁按鈕12可容許甚至在電子裝置1000a正在顯示與觸控螢幕9上執行某一操作時亦顯現主頁畫面(home screen)以達成多工作模式(multi-working mode)。後退按鈕13可取消當前正由電子裝置1000a執行的操作並使使用者返回至前一畫面。
麥克風14可為用於語音呼叫及/或語音輸入訊號的輸入-輸出（I/O）介面。音訊輸出介面15（例如，耳機插孔）可用於正被播放的多媒體資料的音訊輸出。作為另外一種選擇，可例如藉由支援藍芽（Bluetooth）的裝置來以無線方式介接音訊輸出及/或麥克風輸入。天線16可用於接收數位媒體廣播服務。可以此項技術中具有通常知識者可達成的各種方式來實施電子裝置1000a的元件。圖2B所示元件中的一些元件可被省略或被替換成其他元件。
圖3是說明根據一些實施例的應用處理器的方塊圖。
參照圖3，應用處理器2000可包括系統匯流排SYSBUS 2100、主機處理器CPU 100、語音觸發系統200、音訊子系統300、及感測器中樞400。音訊子系統300及感測器中樞400可包含於圖2A所示音訊處理系統250中。根據一些實施例，應用處理器2000可更包括工作電源管理器APM、信箱模組MBXa、MBXb及MBXc、以及中斷控制器ITRC。
系統匯流排2100可被稱為互連裝置或骨幹（backbone）。在一些實施例中，系統匯流排2100可包括較高層匯流排、較低層匯流排、以及連接所述較高層匯流排與所述較低層匯流排的橋接器。舉例而言，系統匯流排2100可包括例如進階可延伸介面（advanced extensible interface，AXI）、進階高效能匯流排（advanced high-performance bus，AHB）、進階周邊匯流排（advanced peripheral bus，APB）等各種匯流排、以及連接所述各種匯流排的至少一個橋接器。主機處理器100可藉由系統匯流排2100來存取外部裝置，例如記憶體裝置1200及/或儲存裝置1300。另外，主機處理器100可藉由系統匯流排2100與語音觸發系統200、音訊子系統300及感測器中樞400進行通訊。
雖然為方便說明在圖3中僅說明瞭一個中斷控制器ITRC，然而中斷控制器ITRC可包括至少一個通用中斷控制器（general interrupt controller，GIC）、至少一個向量化中斷控制器（vectored interrupt controller，VIC）等。舉例而言，中斷控制器ITRC可被實作為可程式化中斷控制器（programmable interrupt controller，PIC）。可利用具有由向量表示的優先級系統的多個層來實作可程式化中斷控制器。可程式化中斷控制器可自周邊裝置接收中斷訊號、確定所接收中斷訊號的優先級並向處理器或控制器發佈具有指標位址（pointer address）的中斷訊號。
工作電源管理器APM可管理應用處理器2000的電源。工作電源管理器APM可管理對應用處理器2000的相應區或功能區塊供應的電力。信箱模組MBXa、MBXb及MBXc可支援應用處理器2000中的各元件之間的資料通訊或應用處理器2000與外部裝置之間的資料通訊的同步化。將參照圖6B來闡述信箱模組MBXa、MBXb及MBXc。
雖然圖3說明語音觸發系統200與音訊子系統300藉由一個信箱模組MBXc彼此連接，且語音觸發系統200與感測器中樞400藉由一個工作電源管理器APM以及兩個信箱模組MBXa及MBXb彼此連接，然而本發明概念並非僅限於此。舉例而言，在一些實施例中，語音觸發系統200與音訊子系統300可藉由一個工作電源管理器及兩個信箱模組彼此連接，及/或語音觸發系統200與感測器中樞400可藉由一個信箱模組彼此連接。
語音觸發系統200可電性連接至系統匯流排2100。基於藉由觸發介面所提供的觸發輸入訊號，語音觸發系統200可執行語音觸發操作並且可發佈觸發事件。所述觸發輸入訊號可為音訊輸入訊號。在一些實施例中，語音觸發系統200可自數位麥克風DMIC 40及/或音訊編解碼器（編碼器及解碼器）CODEC 50接收觸發輸入訊號。換言之，語音觸發系統200的觸發介面可直接連接至數位麥克風40及音訊編解碼器50。音訊編解碼器50可對自數位麥克風40或類比麥克風AMIC 61接收的音訊訊號以及輸出至揚聲器62的音訊訊號執行編碼及解碼（或者類比至數位轉換（analog-to-digital conversion，ADC）及數位至類比轉換（digital-to-analog conversion，DAC））。數位麥克風40可為與應用處理器2000一起安裝於電子裝置的板上的板上（on-board）麥克風。在一些實施例中，類比麥克風61及揚聲器62中的一者或兩者可為附裝至音訊編解碼器50的端子以及可自所述端子拆卸的裝置。
音訊子系統300可電性連接至系統匯流排2100。音訊子系統300可處理藉由音訊介面所重播或記錄的音訊串流，且可支援音訊串流在記憶體裝置1200與音訊介面之間的傳遞。在一些實施例中，音訊子系統300可與音訊編解碼器50及/或藍芽模組BTM 70交換音訊串流。換言之，音訊子系統300的音訊介面可直接連接至音訊編解碼器50及/或藍芽模組70。藍芽模組70可藉由藍芽音訊模組BTAUD 80連接至藍芽麥克風BMIC 81及藍芽揚聲器82，以自藍芽麥克風81接收音訊訊號以及將音訊訊號輸出至藍芽揚聲器82。藍芽模組70可直接連接至另一藍芽揚聲器85或另一藍芽裝置。在一些實施例中，音訊子系統300可連接至通用串列匯流排（USB）模組，以與所述USB模組交換音訊串流。
感測器中樞400可電性連接至系統匯流排。感測器中樞400可處理自一或多個感測器SEN1 31及SEN2 32提供的訊號。感測器中樞400可量測與電子裝置相關聯的物理量，並且進行處理以偵測電子裝置的操作狀態並處理所偵測的資訊。舉例而言，感測器31及32可包括運動感測器、陀螺儀感測器、大氣壓力感測器、磁感測器、加速度計、緊握感測器（grip sensor）、近接感測器、生物辨識感測器（biometric sensor）、溫度/濕度感測器、照度感測器、以及紫外線（ultra violet，UV）感測器、電子鼻（electrical-nose，E-nose）感測器、肌電圖（electromyography，EMG）感測器、腦電圖（electroencephalogram，EEG）感測器、心電圖（electrocardiogram，ECG）感測器、紅外線（infrared，IR）感測器、虹膜感測器、及/或指紋感測器。
在一些實施例中，如圖3中所說明，所有的系統匯流排2100、語音觸發系統200、音訊子系統300及感測器中樞400可整合於形成應用處理器2000的單個半導體晶片中。在一些實施例中，系統匯流排2100、語音觸發系統200及音訊子系統300可整合於單個晶片中，且感測器中樞400可位於應用處理器2000的外部。此外，參照圖5所述的直接匯流排500亦可整合於應用處理器2000中。
圖4是說明根據一些實施例的應用處理器中所包含的回音消除器的方塊圖。
參照圖4，聲回音消除器或回音消除器95可包括濾波器96及回音抑制器97。
自音訊子系統300提供的音訊輸出訊號x(t)可自揚聲器98輸出且輸出至使用者。麥克風99可接收音訊輸入訊號y(t)。雖然圖中未示出，然而可在自揚聲器98播出之前對音訊輸出訊號x(t)（例如，數位訊號）應用數位至類比轉換（DAC），且可對由麥克風99擷取的訊號應用類比至數位轉換（ADC）以得到音訊輸入訊號y(t)（例如，數位訊號）。
由麥克風99接收的音訊輸入訊號y(t)可包含近端訊號（near-end signal）v(t)及回音訊號s(t)。近端訊號v(t)可被稱為所需訊號（desired signal）或初級訊號（primary signal），使用者預期使麥克風99接收所述所需訊號或初級訊號。回音訊號s(t)可包括由自揚聲器98輸出的音訊訊號產生的回音分量。雖然圖中未示出，然而音訊輸入訊號y(t)可更包含雜訊。回音分量及/或雜訊可成為對近端訊號v(t)的干擾，且因此，減少、消除或去除回音分量及/或雜訊可為有益的。
在一些實施例中，可使用例如雙邊通話偵測（doubletalk detection）、步長控制（step-size control）等各種演算法中的至少一者來執行回音消除。
濾波器96可基於音訊輸出訊號x(t)及音訊輸入訊號y(t)來估計音訊輸入訊號y(t)中所包含的回音訊號s(t)，以產生所估計回音訊號s'(t)。換言之，濾波器96可對音訊輸入訊號y(t)中的回音分量及引起所述回音分量的回音路徑進行建模，並估計所述回音路徑是如何將所需音訊輸出訊號x(t)改變成音訊輸入訊號y(t)中的非所需回音分量。音訊輸出訊號x(t)可用作參考訊號。
回音路徑表示遠端訊號（far-end signal）自揚聲器98至麥克風99所傳播過的聲路徑的效應。遠端訊號可自揚聲器98直接傳播至麥克風99，或者遠端訊號可自近端終端機的環境中的各種表面被反射而來。自揚聲器98輸出的遠端訊號所經過的回音路徑可被視為頻率及相位回應可隨時間變化的系統。
在一些實施例中，可基於例如有限脈衝回應（finite impulse response，FIR）濾波器、無限脈衝回應（infinite impulse response，IIR）濾波器等各種線性濾波器中的至少一者對回音路徑進行建模。舉例而言，回音路徑的估計結果可為具有(N+1)個值的向量，其中N是自然數，且濾波器96可被實作為具有有限長度（在時間上）的N階濾波器。
在一些實施例中，回音路徑的估計結果可不需要被顯式地計算出，而是可藉由依據各種隨機梯度演算法（stochastic gradient algorithm）（例如最小均方（Least Mean Squares，LMS）、正規化最小均方（Normalized Least Mean Squares，NLMS）、快速仿射投影（Fast Affine Projection，FAP）、及遞迴最小平方（Recursive Least Squares，RLS）等）中的至少一者所獲得的濾波係數來表示。
在一些實施例中，可在時間上連續地更新回音路徑的估計結果。
回音抑制器97可基於所估計回音訊號s'(t)及音訊輸入訊號y(t)來產生所估計近端訊號v'(t)。舉例而言，回音抑制器97可基於所估計回音訊號s'(t)對音訊輸入訊號y(t)應用回音抑制以產生所估計近端訊號v'(t)，藉此抑制所接收音訊訊號中的回音。由於回音路徑被較精確地估計，因此所估計近端訊號v'(t)可較接近於近端訊號v(t)。
在一些實施例中，回音抑制器97可被實作為回音減法器。舉例而言，所述回音減法器可自音訊輸入訊號y(t)減去所估計回音訊號s'(t)，以產生所估計近端訊號v'(t)。
根據一些實施例，可以各種配置來實作回音消除器95中的元件，可將回音消除器95中的一些元件省略或替換成其他元件，且可對回音消除器95添加一些元件。根據一些實施例，回音消除器95的至少一部分可被實作為硬體，或者被實作為指令及/或程式常式（例如，軟體程式）。
圖5是說明根據一些實施例的應用處理器中的語音觸發系統與音訊子系統之間的連接的方塊圖。為方便說明可在圖5中省略圖3所示的主機處理器100及其他元件，且可不再對與圖3重複的內容進行贅述。
參照圖5，應用處理器2001可包括系統匯流排SYSBUS 2100、語音觸發系統201、音訊子系統301、直接匯流排500、及信箱模組MBX。音訊子系統301可包含於圖2A所示音訊處理系統250中。
語音觸發系統201可電性連接至系統匯流排2100。語音觸發系統201可基於藉由觸發介面TIF所提供的觸發輸入訊號SDMIC及SAMIC來執行語音觸發操作。語音觸發系統201可自數位麥克風DMIC 40接收觸發輸入訊號SDMIC及/或自音訊編解碼器（編碼器及解碼器）CODEC 50接收觸發輸入訊號SAMIC。可在語音觸發系統201、數位麥克風40及音訊編解碼器50之間傳遞麥克風時脈訊號MICCLK，以使訊號傳遞同步化。可分別藉由接墊PD11、PD12及PD13來傳遞觸發輸入訊號SDMIC及SAMIC以及麥克風時脈訊號MICCLK。接墊PD11、PD12及PD13可被實作成減少或防止接墊PD11、PD12及PD13之間的干擾。
音訊子系統301可電性連接至系統匯流排2100。音訊子系統301可處理藉由音訊介面AIF所重播或記錄的音訊串流，且可支援音訊串流在記憶體裝置1200與音訊介面AIF之間的傳遞。在一些實施例中，音訊子系統301可與音訊編解碼器50交換音訊串流。音訊子系統301可藉由音訊輸入接墊PD21自音訊編解碼器50接收音訊輸入訊號SDI，且可藉由音訊輸出接墊PD22將音訊輸出訊號SDO傳送至音訊編解碼器50。
語音觸發系統201可包括觸發介面電路IFV 211、包裝器（wrapper）WRPP 221、觸發記憶體MEMV 231及觸發處理器PRCV 241。
觸發介面電路211以及接墊PD11、PD12及PD13可形成觸發介面TIF，以對自數位麥克風40或音訊編解碼器50提供的觸發輸入訊號SDMIC及SAMIC進行取樣及轉換。包裝器221可將自觸發介面電路211提供的資料儲存於觸發記憶體231中。當觸發記憶體231中儲存有預定量的資料時，包裝器221可向觸發處理器241發佈中斷訊號，以使得觸發處理器241可基於觸發記憶體231中所儲存的資料來執行語音觸發操作。
在一些實施例中，語音觸發系統201可接收脈波密度調變（pulse density modulation，PDM）訊號作為觸發輸入訊號SDMIC及SAMIC。觸發介面電路211可將PDM訊號轉換成脈波碼調變（pulse code modulation，PCM）資料。包裝器221可將PCM資料儲存於觸發記憶體231中。包裝器221可以直接以記憶體存取控制器來實作。
音訊子系統301可包括音訊介面電路IFA 311、直接記憶體存取控制器DMA 321、音訊記憶體MEMA 331、及音訊處理器PRCA 341。
音訊介面電路311以及接墊PD21及PD22可形成音訊介面AIF，以藉由音訊輸入訊號SDI及音訊輸出訊號SDO傳遞音訊串流。音訊記憶體331可儲存音訊串流的資料，且直接記憶體存取控制器321可控制對音訊記憶體的存取，亦即，自音訊記憶體331讀取資料以及將資料寫入至音訊記憶體331。音訊處理器341可處理音訊記憶體331中所儲存的資料。
在一些實施例中，音訊子系統301中的音訊處理器341可包括回音消除器AEC 701。回音消除器701可為參照圖4所述的回音消除器95。
在一些實施例中，音訊介面電路311可與IC間聲音（Inter-IC Sound，I2S）標準或積體晶片間聲音（Integrated Interchip Sound，IIS）標準相容。在一些實施例中，音訊介面電路311可根據I2S標準而基於時脈訊號運作。在一些實施例中，音訊介面電路311可直接連接至數位麥克風40及/或音訊編解碼器50。
直接匯流排500可電性連接語音觸發系統201與音訊子系統301。直接匯流排500可在其中語音觸發操作與音訊重播被一起執行（例如，聲音輸入與聲音輸出被同時或並行執行）的插話狀態期間，提供語音觸發系統201與音訊子系統301之間的直接路徑。換言之，插話狀態（或簡稱為插話）可指代其中音訊子系統301在語音觸發系統201執行語音觸發操作的同時執行音訊重播的狀態。將參照圖6A來闡述直接匯流排500。
在插話狀態期間執行回音消除可增強語音觸發操作的辨識率。於在插話狀態期間藉由音訊介面AIF執行音訊重播時，根據一些實施例的應用處理器2001可使用直接匯流排500來對自麥克風（例如，數位麥克風40或類比麥克風61）接收的麥克風資料執行回音消除以產生經補償資料，且語音觸發系統201可基於經補償資料來執行語音觸發操作。回音消除可由音訊子系統301中的回音消除器701執行。
另外，應用處理器2001可更包括支援語音觸發系統201與音訊子系統301之間的資料傳送或資料通訊的同步化的信箱模組MBX。
應用處理器2001可與系統匯流排2100獨立地藉由直接匯流排500及信箱模組MBX來執行語音觸發系統201與音訊子系統301之間的資料通訊。因此，在藉由音訊介面AIF執行音訊重播且在執行回音消除時，主機處理器100及系統匯流排2100可維持睡眠模式且可不會為了語音觸發操作而被喚醒成工作模式。
圖6A是說明根據一些實施例的圖5所示應用處理器中所包含的直接匯流排的方塊圖。
參照圖5及圖6A，直接匯流排500a可包括匯流排矩陣510、第一直接路徑①及第二直接路徑②。圖6A所示直接匯流排500a可為根據一些實施例的圖5所示直接匯流排500的實例。
直接匯流排500a可提供語音觸發系統201與音訊子系統301之間的直接路徑，以在插話狀態期間執行回音消除。直接路徑可包括為自語音觸發系統201至音訊子系統301的第一資料傳送提供路徑的第一直接路徑①、以及為自音訊子系統301至語音觸發系統201的第二資料傳送提供路徑的第二直接路徑②。
當音訊子系統301需要語音觸發系統201中所儲存的資料時，音訊子系統301可使用第一直接路徑①。舉例而言，音訊處理器341可發佈資料請求（REQ FROM PRCA）並對觸發記憶體231執行存取（ACC TO MEMV），且因此，觸發記憶體231中所儲存的資料可藉由第一直接路徑①被傳遞至音訊子系統301及音訊處理器341。
當語音觸發系統201需要音訊子系統301中所儲存的資料時，語音觸發系統201可使用第二直接路徑②。舉例而言，觸發處理器241可發佈資料請求（REQ FROM PRCV）並對音訊記憶體331執行存取（ACC TO MEMA），且因此，音訊記憶體331中所儲存的資料可藉由第二直接路徑②被傳遞至語音觸發系統201及觸發處理器241。
資料請求（REQ FROM PRCA）、資料請求（REQ FROM PRCV）、存取（ACC TO MEMV）及存取（ACC TO MEMA）可由匯流排矩陣510控制。
語音觸發系統201及音訊子系統301可在不經過系統匯流排2100的情況下（例如，與系統匯流排2100獨立地），藉由匯流排矩陣510、第一直接路徑①及第二直接路徑②來直接交換資料。因此，在執行回音消除時可使用晶片上語音觸發系統及直接匯流排來執行與系統匯流排2100獨立的資料通訊，以降低應用處理器及系統匯流排2100的喚醒頻率，進而更降低電力消耗且增強語音觸發操作的辨識率。
圖6B是說明根據一些實施例的圖5所示應用處理器中所包含的信箱模組的實施例的方塊圖。
參照圖6B，信箱模組900可包括介面910、訊息方塊920、第一暫存器電路930及第二暫存器電路940，第一暫存器電路930包括多個暫存器INTGR0、INTCR0、INTMR0、INTSR0及INTMSR0，第二暫存器電路940包括多個暫存器INTGR1、INTCR1、INTMR1、INTSR1及INTMSR1。圖6B所示信箱模組900可為根據一些實施例的圖5所示信箱模組MBX的實例。圖6B說明其中信箱模組900藉由APB介面連接至系統匯流排2100的AHB2APB橋接器2110，且訊息方塊920是以具有6*32位元的共用暫存器來實作的非限制性實例，然而各實施例並非僅限於此。可以各種方式確定介面910的類型、訊息方塊920中暫存器的數目及位元數目。第一暫存器電路930可產生向語音觸發系統201中的觸發處理器241提供的中斷訊號（IRQ TO PRCV），且第二暫存器電路940可產生向音訊子系統301中的音訊處理器341提供的中斷訊號（IRQ TO PRCA）。可使用信箱模組900來使語音觸發系統201與音訊子系統301之間的資料傳送同步化。
信箱模組900可藉由在觸發處理器241及音訊處理器341中的一者在訊息方塊920中寫入訊息之後傳送中斷訊號來執行雙向通訊（bilateral communication）。可藉由輪詢方法等來實作語音觸發系統201與音訊子系統301之間的資料傳送的同步化。
圖7是說明根據一些實施例操作應用處理器的方法的操作的流程圖。圖8是說明執行圖7所示的操作應用處理器的方法的操作的語音觸發系統及音訊子系統的方塊圖。
參照圖7及圖8，在音訊子系統ASS藉由音訊介面AIF的輸出接墊而基於與音訊輸出訊號SDO對應的音訊輸出資料執行音訊重播時，語音觸發系統VTS可藉由觸發介面TIF接收觸發輸入訊號SMIC（S510）。
語音觸發系統VTS可將觸發輸入訊號SMIC的樣本資料DSM傳遞至音訊子系統ASS（S520）。舉例而言，樣本資料DSM可在不經過系統匯流排2100的情況下，藉由直接匯流排500中的第一直接路徑（例如，圖6A所示的第一直接路徑①）被傳遞。因此，在插話狀態期間，主機處理器100及系統匯流排2100可維持睡眠模式，且樣本資料DSM的傳遞可不會將主機處理器100及系統匯流排2100喚醒成工作模式。
音訊子系統ASS中的回音消除器AEC可基於與音訊輸出訊號SDO對應的音訊輸出資料來對樣本資料DSM執行回音消除，以產生經補償樣本資料CDSM（S530）。音訊輸出資料可用作參考訊號，且樣本資料DSM可用作欲被進行回音消除的所接收訊號。
音訊子系統ASS可將經補償樣本資料CDSM傳遞至語音觸發系統VTS（S540）。舉例而言，經補償樣本資料CDSM可在不經過系統匯流排2100的情況下，藉由直接匯流排500中的第二直接路徑（例如，圖6A所示的第二直接路徑②）被傳遞。因此，在插話狀態期間，主機處理器100及系統匯流排2100可維持睡眠模式，且經補償樣本資料CDSM的傳遞可不會將主機處理器100及系統匯流排2100喚醒成工作模式。
語音觸發系統VTS可基於經補償樣本資料CDSM來執行語音觸發操作（S550）。所述語音觸發操作可基於被應用了回音消除的經補償樣本資料CDSM而執行，且因此，所述語音觸發操作的辨識率可得以增強。
圖9是說明根據一些實施例操作應用處理器的方法的操作的流程圖。圖10是說明根據一些實施例執行圖9所示的操作應用處理器的方法的操作的語音觸發系統及音訊子系統的方塊圖。
參照圖9及圖10，在音訊子系統ASS藉由音訊介面AIF的輸出接墊而基於與音訊輸出訊號SDO對應的音訊輸出資料執行音訊重播時，音訊子系統ASS可藉由音訊介面AIF的輸入接墊接收音訊輸入訊號SDI（S610）。
音訊子系統ASS中的回音消除器AEC可基於與音訊輸出訊號SDO對應的音訊輸出資料來對音訊輸入訊號SDI的音訊輸入資料執行回音消除，以產生經補償音訊輸入資料CSDI（S620）。音訊輸出資料可用作參考訊號，且音訊輸入資料可用作欲被進行回音消除的所接收訊號。
音訊子系統ASS可將經補償音訊輸入資料CSDI傳遞至語音觸發系統VTS（S630）。舉例而言，經補償音訊輸入資料CSDI可在不經過系統匯流排2100的情況下，藉由直接匯流排500中的第二直接路徑（例如，圖6A所示的第二直接路徑②）被傳遞。因此，在插話狀態期間，主機處理器100及系統匯流排2100可維持睡眠模式，且經補償音訊輸入資料CSDI的傳遞可不會將主機處理器100及系統匯流排2100喚醒成工作模式。
語音觸發系統VTS可基於經補償音訊輸入資料CSDI來執行語音觸發操作（S640）。所述語音觸發操作可基於被應用了回音消除的經補償音訊輸入資料CSDI而執行，且因此，所述語音觸發操作的辨識率可得以增強。
在一些實施例中，在執行音訊重播時，觸發介面TIF可被去能。換言之，觸發介面TIF可不接收觸發輸入訊號SMIC，且語音觸發系統VTS可基於經補償音訊輸入資料CSDI而非觸發輸入訊號SMIC來執行語音觸發操作。在一些實施例中，可在插話狀態之外基於觸發輸入訊號SMIC執行第一語音觸發操作，且可在插話狀態期間基於經補償音訊輸入資料CSDI執行第二語音觸發操作。
圖11是說明根據一些實施例的應用處理器中的語音觸發系統與音訊子系統的連接的方塊圖。為方便說明可在圖11中省略圖3所示的主機處理器100及其他元件，且可不再對與圖3及圖5重複的內容進行贅述。
參照圖11，應用處理器2002可包括系統匯流排SYSBUS 2100、語音觸發系統202、音訊子系統302、直接匯流排500、及信箱模組MBX。音訊子系統302可包含於圖2A所示音訊處理系統250中。
語音觸發系統202可包括觸發介面電路212、包裝器222、觸發記憶體232、及觸發處理器242。
音訊子系統302可包括音訊介面電路312、直接記憶體存取控制器322、音訊記憶體332、及音訊處理器342。
與圖5所示應用處理器2001的音訊子系統301中所包含的回音消除器701相較，回音消除器702可包含於圖11所示應用處理器2002的語音觸發系統202中的觸發處理器242中。回音消除器702可為參照圖4所述的回音消除器95。在一些實施例中，回音消除可由語音觸發系統202中的回音消除器702執行。
圖12是說明根據一些實施例操作應用處理器的方法的操作的流程圖。圖13是說明根據一些實施例執行圖12所示的操作應用處理器的方法的操作的語音觸發系統及音訊子系統的方塊圖。
參照圖12及圖13，在音訊子系統ASS藉由音訊介面AIF的輸出接墊而基於與音訊輸出訊號SDO對應的音訊輸出資料SDO'執行音訊重播時，語音觸發系統VTS可藉由觸發介面TIF接收觸發輸入訊號SMIC（S710）。
音訊子系統ASS可將音訊輸出資料SDO'傳遞至語音觸發系統VTS（S720）。舉例而言，音訊輸出資料SDO'可在不經過系統匯流排2100的情況下，藉由直接匯流排500中的第二直接路徑（例如，圖6A所示的第二直接路徑②）被傳遞。因此，在插話狀態期間，主機處理器100及系統匯流排2100可維持睡眠模式，且音訊輸出資料SDO'的傳遞可不會將主機處理器100及系統匯流排2100喚醒成工作模式。
語音觸發系統VTS中的回音消除器AEC可基於音訊輸出資料SDO'來對觸發輸入訊號SMIC的樣本資料執行回音消除，以產生經補償樣本資料（S730）。音訊輸出資料SDO'可用作參考訊號，且樣本資料可用作欲被進行回音消除的所接收訊號。
語音觸發系統VTS可基於經補償樣本資料來執行語音觸發操作（S740）。所述語音觸發操作可基於被應用了回音消除的經補償樣本資料而執行，且因此，所述語音觸發操作的辨識率可得以增強。
在一些示例性實施例中，儘管在圖8、圖10及圖13所示的實例中可藉由直接匯流排500傳遞資料DSM、CDSM、CSDI及/或SDO'，然而可使用信箱模組MBX來使資料通訊同步化。
圖14是說明根據一些實施例的應用處理器中的語音觸發系統與音訊子系統的連接的方塊圖。為方便說明可在圖14中省略圖3所示的主機處理器100及其他元件，且可不再對與圖3及圖5重複的內容進行贅述。
參照圖14，應用處理器2003可包括系統匯流排SYSBUS 2100、語音觸發系統203、音訊子系統303、直接匯流排500、及信箱模組MBX。音訊子系統303可包含於圖2A所示音訊處理系統250中。
語音觸發系統203可包括觸發介面電路213、包裝器223、觸發記憶體233、及觸發處理器243。
音訊子系統303可包括音訊介面電路313、直接記憶體存取控制器323、音訊記憶體333、及音訊處理器343。
與圖5所示應用處理器2001的音訊子系統301中所包含的回音消除器701以及圖11所示應用處理器2002的語音觸發系統202中所包含的回音消除器702相較，回音消除器703可包含於音訊編解碼器55中，音訊編解碼器55連接至圖14所示應用處理器2003的觸發介面TIF。回音消除器703可為參照圖4所述的回音消除器95。在一些實施例中，回音消除可由音訊編解碼器55中的回音消除器703執行。
圖15是說明根據一些實施例操作應用處理器的方法的操作的流程圖。圖16是說明根據一些實施例執行圖15所示的操作應用處理器的方法的操作的語音觸發系統及音訊子系統的方塊圖。
參照圖15及圖16，在音訊子系統ASS藉由音訊介面AIF的輸出接墊而基於與音訊輸出訊號SDO對應的音訊輸出資料執行音訊重播時，音訊編解碼器CODEC可自類比麥克風接收麥克風資料DMC（S810）。
音訊編解碼器CODEC中的回音消除器AEC可基於音訊輸出資料來對麥克風資料DMC執行回音消除以產生經補償觸發輸入訊號CSAIC（S820）。音訊輸出資料可用作參考訊號，且麥克風資料DMC可用作欲被進行回音消除的所接收訊號。
音訊編解碼器CODEC可藉由觸發介面TIF將經補償觸發輸入訊號CSAIC傳遞至語音觸發系統VTS（S830）。
語音觸發系統VTS可基於經補償觸發輸入訊號CSAIC來執行語音觸發操作（S840）。所述語音觸發操作可基於被應用了回音消除的經補償觸發輸入訊號CSAIC而執行，且因此，所述語音觸發操作的辨識率可得以增強。
在一些實施例中，經補償觸發輸入訊號CSAIC可藉由觸發介面TIF被直接傳遞至語音觸發系統VTS。因此，在插話狀態期間，主機處理器100及系統匯流排2100可維持睡眠模式，且經補償觸發輸入訊號CSAIC的傳遞可不會為了語音觸發操作而將主機處理器100及系統匯流排2100喚醒成工作模式。
在一些實施例中，音訊編解碼器50或音訊編解碼器55可包含於語音觸發系統中，或者可位於語音觸發系統與音訊子系統之間，或者音訊子系統可更連接至與藍芽麥克風BMIC 81及藍芽揚聲器82連接的藍芽模組70或連接至與USB麥克風及USB揚聲器連接的USB模組，或者音訊編解碼器50可被替換成藍芽模組70及/或USB模組。
圖17是說明根據一些實施例的應用處理器中的語音觸發系統與音訊子系統的連接的方塊圖。為方便說明可在圖17中省略圖3所示的主機處理器100及其他元件，且可不再對與圖3及圖5重複的內容進行贅述。
參照圖17，應用處理器2004可包括系統匯流排SYSBUS 2100、語音觸發系統201、音訊子系統301、共用記憶體800、及信箱模組MBX。音訊子系統301可包含於圖2A所示音訊處理系統250中。
與圖5所示的在語音觸發系統201與音訊子系統301之間包括直接匯流排500的應用處理器2001相較，在應用處理器2004中，直接匯流排可被替換成共用記憶體800。共用記憶體800可位於語音觸發系統201與音訊子系統301之間，且可儲存在插話狀態期間於語音觸發系統201與音訊子系統301之間傳遞的資料。於在插話狀態期間藉由音訊介面AIF執行音訊重播時，應用處理器2004可使用共用記憶體800來對自麥克風接收的麥克風資料執行回音消除以產生經補償資料，且語音觸發系統201可基於經補償資料來執行語音觸發操作。
在一些實施例中，圖11及圖14所示應用處理器2002及2003中的直接匯流排500亦可被替換成共用記憶體800。
圖18A及圖18B是說明根據一些實施例的應用處理器的電源域的方塊圖。
應用處理器可包括被獨立地供電的多個電源域。圖18A及圖18B說明第一電源域PWDM1及第二電源域PWDM2作為實例。第一電源域PWDM1可對應於其中在工作模式及待用模式（或睡眠模式）中均供應電力的始終供電域（always-powered domain），且第二電源域PWDM2可對應於其中在待用模式中阻斷電力的省電域（power-save domain）。
參照圖18A，系統計數器SYSCNT、工作電源管理器APM及語音觸發系統VTS可處於始終供電域PWDM1中。多個硬體區塊（例如主機處理器CPU、音訊子系統ABOX、感測器中樞CHUB等）可處於省電域PWDM2中。
系統計數器SYSCNT可產生時間資訊TM，並將時間資訊TM提供至系統的內部電路。工作電源管理器APM可產生多個電源賦能訊號EN，以控制系統中的各種元件的電源供應器、電源區塊等。語音觸發系統VTS可產生表示觸發事件的中斷訊號ITRR。
本文中所使用的工作模式表示至少主機處理器CPU被賦能且作業系統（operating system，OS）運行。睡眠模式或待用模式表示其中主機處理器CPU被去能的電源關閉模式（power-down mode）。
與圖18A所示安排（disposition）相較，語音觸發系統VTS可如圖18B中所說明設置於省電域PWDM2中。
如圖18A及圖18B中所說明，主機處理器CPU、語音觸發系統VTS、音訊子系統ABOX及感測器中樞CHUB可分別包括電源閘控電路PG1、PG2、PG3及PG4。電源閘控電路PG1至PG4可因應於電源賦能訊號EN1、EN2、EN3及EN4而選擇性地供應電力。因此，語音觸發系統VTS、音訊子系統ABOX及感測器中樞CHUB可為電源閘控式（power-gated）且與主機處理器CPU獨立地被賦能。在一些示例性實施例中，語音觸發系統VTS可向工作電源管理器APM進行請求，以使得感測器中樞CHUB可在其被需要時被賦能。
本發明概念可應用於支援語音觸發功能的各種積體電路、電子裝置及電子系統。舉例而言，本發明概念可應用於例如以下等的系統：行動電話、智慧型電話、平板電腦、膝上型電腦、個人數位助理（PDA）、可攜式多媒體播放器（PMP）、數位攝影機、可攜式遊戲機、音樂播放器、攝錄影機、視訊播放器、導航裝置、可穿戴裝置、物聯網（IoT）裝置、萬物聯網（IoE）裝置、電子書閱讀器、虛擬實境（VR）裝置、擴增實境（AR）裝置、機器人裝置等。
以上內容是對一些實施例的說明，而不應被解釋為限制各實施例。雖然已闡述了幾個示例性實施例，然而熟習此項技術者應易於瞭解，在不本質上背離本發明的新穎教示內容及優點的條件下，可對示例性實施例作出諸多潤飾。因此，所有此種潤飾均旨在包含於在申請專利範圍中所界定的本發明範圍內。因此，應理解，以上內容是對各種示例性實施例的說明，而不應被解釋為僅限於所揭露的具體示例性實施例，且對所揭露示例性實施例的潤飾以及其他實施例均旨在包含於申請專利範圍的範疇內。
2‧‧‧前置攝影機 3、62、98‧‧‧揚聲器 4‧‧‧近接感測器 5‧‧‧亮度感測器 6‧‧‧通用串列匯流排（USB）介面 7‧‧‧電源按鈕 8‧‧‧音量按鈕 9‧‧‧顯示與觸控螢幕 10‧‧‧圖符 11‧‧‧選單按鈕 12‧‧‧主頁按鈕 13‧‧‧後退按鈕 14、99‧‧‧麥克風 15‧‧‧音訊輸出介面 16‧‧‧天線 31‧‧‧感測器SEN1 32‧‧‧感測器SEN2 40‧‧‧數位麥克風DMIC 50‧‧‧音訊編解碼器CODEC 55、CODEC‧‧‧音訊編解碼器 61‧‧‧類比麥克風AMIC 70‧‧‧藍芽模組BTM 80‧‧‧藍芽音訊模組BTAUD 81‧‧‧藍芽麥克風BMIC 82、85‧‧‧藍芽揚聲器 95‧‧‧回音消除器 96‧‧‧濾波器 97‧‧‧回音抑制器 100‧‧‧主機處理器或中央處理單元（CPU）/主機處理器CPU 200‧‧‧語音觸發系統VTS 201、202、203、VTS‧‧‧語音觸發系統 211‧‧‧觸發介面電路IFV 212、213、IFV‧‧‧觸發介面電路 221‧‧‧包裝器WRPP 222、223、WRPP‧‧‧包裝器 231‧‧‧觸發記憶體MEMV 232、233、MEMV‧‧‧觸發記憶體 241‧‧‧觸發處理器PRCV 242、243、PRCV‧‧‧觸發處理器 250‧‧‧音訊處理系統AUD 300、301、302、303、ABOX、ASS‧‧‧音訊子系統 311‧‧‧音訊介面電路IFA 312、313、IFA‧‧‧音訊介面電路 321‧‧‧直接記憶體存取控制器DMA 322、323、DMA‧‧‧直接記憶體存取控制器 331‧‧‧音訊記憶體MEMA 332、333、MEMA‧‧‧音訊記憶體 341‧‧‧音訊處理器PRCA 342、343、PRCA‧‧‧音訊處理器 400‧‧‧感測器中樞 500、500a‧‧‧直接匯流排 510‧‧‧匯流排矩陣 701‧‧‧回音消除器AEC 702、703、AEC‧‧‧回音消除器 800‧‧‧共用記憶體 900、MBX、MBXa、MBXb、MBXc‧‧‧信箱模組 910‧‧‧介面 920‧‧‧訊息方塊 930‧‧‧第一暫存器電路 940‧‧‧第二暫存器電路 1000、1000a‧‧‧電子裝置 1200‧‧‧記憶體裝置 1300‧‧‧儲存裝置 1400‧‧‧功能模組/通訊模組 1500‧‧‧功能模組/攝影機模組 1600‧‧‧功能模組/輸入-輸出（I/O）模組 1700‧‧‧功能模組/音訊模組 1800‧‧‧電源管理積體電路PMIC 2000‧‧‧應用處理器AP 2001、2002、2003、2004、AP‧‧‧應用處理器 2100‧‧‧系統匯流排SYSBUS 2110‧‧‧AHB2APB橋接器 ①‧‧‧第一直接路徑 ②‧‧‧第二直接路徑 ACC TO MEMA、ACC TO MEMV‧‧‧存取 AIF‧‧‧音訊介面 AMIC‧‧‧類比麥克風 APM‧‧‧工作電源管理器 AUD‧‧‧音訊處理系統 BMIC‧‧‧藍芽麥克風 BTAUD‧‧‧藍芽音訊模組 BTM‧‧‧藍芽模組 CDSM‧‧‧經補償樣本資料/資料 CHUB‧‧‧感測器中樞 CPU‧‧‧主機處理器 CSAIC‧‧‧經補償觸發輸入訊號 CSDI‧‧‧經補償音訊輸入資料/資料 DMC‧‧‧麥克風資料 DMIC‧‧‧數位麥克風 DSM‧‧‧樣本資料 EN、EN1、EN2、EN3、EN4‧‧‧電源賦能訊號 INTCR0、INTGR0、INTMR0、INTMSR0、INTSR0、INTCR1、INTGR1、INTMR1、INTMSR1、INTSR1‧‧‧暫存器 IRQ TO PRCA、IRQ TO PRCV、ITRR‧‧‧中斷訊號 ITRC‧‧‧中斷控制器 MICCLK‧‧‧麥克風時脈訊號 PD11、PD12、PD13‧‧‧接墊 PD21‧‧‧音訊輸入接墊/接墊 PD22‧‧‧音訊輸出接墊/接墊 PG1、PG2、PG3、PG4‧‧‧電源閘控電路 PMIC‧‧‧電源管理積體電路 PWDM1‧‧‧第一電源域/始終供電域 PWDM2‧‧‧第二電源域/省電域 REQ FROM PRCA、REQ FROM PRCV‧‧‧資料請求 S100、S200、S300、S400、S510、S520、S530、S540、S550、S610、S620、S630、S640、S710、S720、S730、S740、S810、S820、S830、S840‧‧‧步驟 SAMIC、SDMIC、SMIC‧‧‧觸發輸入訊號 SDI、y(t)‧‧‧音訊輸入訊號 SDO、x(t)‧‧‧音訊輸出訊號 SDO'‧‧‧音訊輸出資料 SEN1、SEN2‧‧‧感測器 s(t)‧‧‧回音訊號 s'(t)‧‧‧所估計回音訊號 SYSCNT‧‧‧系統計數器 SYSBUS‧‧‧系統匯流排 TIF‧‧‧觸發介面 TM‧‧‧時間資訊 v(t)‧‧‧近端訊號 v'(t)‧‧‧所估計近端訊號
結合附圖閱讀以下詳細說明，將更清晰地理解說明性非限制性實施例。 圖1是說明根據一些實施例操作應用處理器的方法的操作的流程圖。 圖2A是說明根據一些實施例的電子裝置的方塊圖。 圖2B是說明根據一些實施例的圖2A所示電子裝置的實施方案的前視圖。 圖3是說明根據一些實施例的應用處理器的方塊圖。 圖4是說明根據一些實施例的應用處理器中所包含的回音消除器的方塊圖。 圖5是說明根據一些實施例的應用處理器中的語音觸發系統與音訊子系統之間的連接的方塊圖。 圖6A是說明根據一些實施例的圖5所示應用處理器中所包含的直接匯流排的方塊圖。 圖6B是說明根據一些實施例的圖5所示應用處理器中所包含的信箱模組（mail box module）的實施例的方塊圖。 圖7是說明根據一些實施例操作應用處理器的方法的操作的流程圖。 圖8是說明根據一些實施例執行圖7所示的操作應用處理器的方法的操作的語音觸發系統及音訊子系統的方塊圖。 圖9是說明根據一些實施例操作應用處理器的方法的操作的流程圖。 圖10是說明根據一些實施例執行圖9所示的操作應用處理器的方法的操作的語音觸發系統及音訊子系統的方塊圖。 圖11是說明根據一些實施例的應用處理器中的語音觸發系統與音訊子系統的連接的方塊圖。 圖12是說明根據一些實施例操作應用處理器的方法的操作的流程圖。 圖13是說明根據一些實施例執行圖12所示的操作應用處理器的方法的操作的語音觸發系統及音訊子系統的方塊圖。 圖14是說明根據一些實施例的應用處理器中的語音觸發系統與音訊子系統的連接的方塊圖。 圖15是說明根據一些實施例操作應用處理器的方法的操作的流程圖。 圖16是說明根據一些實施例執行圖15所示的操作應用處理器的方法的操作的語音觸發系統及音訊子系統的方塊圖。 圖17是說明根據一些實施例的應用處理器中的語音觸發系統與音訊子系統的連接的方塊圖。 圖18A及圖18B是說明根據一些實施例的應用處理器的電源域（power domain）的方塊圖。
S100、S200、S300、S400:步驟

Claims (20)

  1. 一種應用處理器，包括：系統匯流排；主機處理器，電性連接至所述系統匯流排；語音觸發系統，電性連接至所述系統匯流排，所述語音觸發系統被配置成執行語音觸發操作並發佈觸發事件；音訊子系統，電性連接至所述系統匯流排，所述音訊子系統被配置成藉由音訊介面來重播音訊輸出串流；以及直接匯流排，將所述語音觸發系統電性連接至所述音訊子系統，所述直接匯流排被配置成在其中所述語音觸發操作與所述音訊輸出串流的所述重播被一起執行的插話狀態期間提供所述語音觸發系統與所述音訊子系統之間的通訊路徑，其中於在所述插話狀態期間藉由所述音訊介面執行所述音訊輸出串流的所述重播時，所述應用處理器被配置成藉由對自麥克風接收的麥克風資料執行回音消除來產生經補償觸發資料，且所述語音觸發系統被配置成基於所述經補償觸發資料來執行所述語音觸發操作，其中所述語音觸發系統被配置成將觸發介面音訊輸入訊號的樣本資料傳送至所述音訊子系統，其中所述音訊子系統更被配置成：基於所述音訊輸出串流來對所述樣本資料執行所述回音消除以產生經補償樣本資料，並且 將所述經補償樣本資料傳送至所述語音觸發系統，其中所述語音觸發系統被配置成基於所述經補償樣本資料來執行所述語音觸發操作，並且其中所述經補償樣本資料為所述經補償觸發資料。
  2. 如申請專利範圍第1項所述的應用處理器，其中所述應用處理器被配置成執行自所述語音觸發系統至所述音訊子系統的第一資料傳送及自所述音訊子系統至所述語音觸發系統的第二資料傳送。
  3. 如申請專利範圍第2項所述的應用處理器，其中所述音訊子系統包括被配置成執行所述回音消除的回音消除器。
  4. 如申請專利範圍第3項所述的應用處理器，其中所述語音觸發系統包括觸發介面，所述觸發介面被配置成在所述音訊輸出串流的所述重播被執行時接收所述觸發介面音訊輸入訊號。
  5. 如申請專利範圍第4項所述的應用處理器，其中所述語音觸發系統被配置成藉由所述第一資料傳送將所述觸發介面音訊輸入訊號的所述樣本資料傳遞至所述音訊子系統，其中所述音訊子系統中的所述回音消除器被配置成基於所述音訊輸出串流來對所述樣本資料執行所述回音消除以產生所述經補償樣本資料，並且其中所述音訊子系統被配置成藉由所述第二資料傳送將所述 經補償樣本資料傳遞至所述語音觸發系統。
  6. 如申請專利範圍第3項所述的應用處理器，其中所述音訊子系統被配置成在所述音訊輸出串流的所述重播被執行時藉由所述音訊介面的輸入接墊接收音訊輸入訊號。
  7. 如申請專利範圍第6項所述的應用處理器，其中所述音訊子系統中的所述回音消除器被配置成基於所述音訊輸出串流來對所述音訊輸入訊號的音訊輸入資料執行所述回音消除以產生經補償音訊輸入資料，其中所述音訊子系統被配置成藉由所述第二資料傳送將所述經補償音訊輸入資料傳遞至所述語音觸發系統，且其中所述語音觸發系統被配置成基於所述經補償音訊輸入資料來執行所述語音觸發操作。
  8. 如申請專利範圍第6項所述的應用處理器，其中所述語音觸發系統包括觸發介面，所述觸發介面被配置成接收觸發介面音訊輸入訊號，且其中所述應用處理器被配置成在所述音訊輸出串流的所述重播被執行時將所述觸發介面去能。
  9. 如申請專利範圍第2項所述的應用處理器，其中所述語音觸發系統包括被配置成執行所述回音消除的回音消除器。
  10. 如申請專利範圍第9項所述的應用處理器，其中所述語音觸發系統包括觸發介面，所述觸發介面被配置成在所述音訊輸出串流的所述重播被執行時接收觸發介面音訊輸入訊號。
  11. 如申請專利範圍第10項所述的應用處理器，其中所述音訊子系統被配置成藉由所述第二資料傳送將與所述音訊輸出串流對應的音訊輸出資料傳遞至所述語音觸發系統，其中所述語音觸發系統中的所述回音消除器被配置成基於所述音訊輸出資料來對所述觸發介面音訊輸入訊號的樣本資料執行所述回音消除以產生經補償樣本資料，且其中所述語音觸發系統被配置成基於所述經補償樣本資料來執行所述語音觸發操作。
  12. 如申請專利範圍第2項所述的應用處理器，所述語音觸發系統包括觸發介面，且其中連接至所述觸發介面的音訊編解碼器包括被配置成執行所述回音消除的回音消除器。
  13. 如申請專利範圍第12項所述的應用處理器，其中所述音訊編解碼器被配置成在所述音訊輸出串流的所述重播被執行時自類比麥克風接收所述麥克風資料。
  14. 如申請專利範圍第13項所述的應用處理器，其中所述音訊編解碼器中的所述回音消除器被配置成基於所述音訊輸出串流來對所述麥克風資料執行所述回音消除以產生經補償觸發輸入訊號，其中所述音訊編解碼器被配置成藉由所述觸發介面將所述經補償觸發輸入訊號傳遞至所述語音觸發系統，且其中所述語音觸發系統被配置成基於所述經補償觸發輸入訊 號來執行所述語音觸發操作。
  15. 如申請專利範圍第1項所述的應用處理器，其中：所述直接匯流排包括所述語音觸發系統與所述音訊子系統之間的共用記憶體，在所述插話狀態期間於所述語音觸發系統與所述音訊子系統之間傳遞的資料儲存於所述共用記憶體中，且於在所述插話狀態期間藉由所述音訊介面執行所述音訊輸出串流的所述重播時，所述應用處理器被配置成使用所述共用記憶體來對自所述麥克風接收的所述麥克風資料執行所述回音消除以產生所述經補償觸發資料，且所述語音觸發系統被配置成基於所述經補償觸發資料來執行所述語音觸發操作。
  16. 如申請專利範圍第1項所述的應用處理器，其中所述系統匯流排、所述主機處理器、所述語音觸發系統、所述音訊子系統、及所述直接匯流排整合於單個半導體晶片中。
  17. 如申請專利範圍第1項所述的應用處理器，其中在藉由所述音訊介面執行所述音訊輸出串流的所述重播時，所述應用處理器被配置成使所述主機處理器及所述系統匯流排維持於睡眠模式中，而不會為了所述語音觸發操作將所述主機處理器及所述系統匯流排喚醒成工作模式。
  18. 如申請專利範圍第17項所述的應用處理器，其中所述語音觸發系統及所述音訊子系統中的每一者為電源閘控式且與所述主機處理器獨立地被賦能。
  19. 一種電子裝置，包括：應用處理器；以及至少一個音訊輸入-輸出裝置，所述應用處理器包括：系統匯流排；主機處理器，電性連接至所述系統匯流排；語音觸發系統，電性連接至所述系統匯流排，所述語音觸發系統被配置成執行語音觸發操作並發佈觸發事件；音訊子系統，電性連接至所述系統匯流排，所述音訊子系統被配置成藉由所述至少一個音訊輸入-輸出裝置來重播音訊輸出串流；以及直接匯流排，將所述語音觸發系統電性連接至所述音訊子系統，所述直接匯流排被配置成在其中所述語音觸發操作與所述音訊輸出串流的所述重播被一起執行的插話狀態期間提供所述語音觸發系統與所述音訊子系統之間的通訊路徑，其中於在所述插話狀態期間藉由所述至少一個音訊輸入-輸出裝置執行所述音訊輸出串流的所述重播時，所述應用處理器被配置成藉由對自麥克風接收的麥克風資料執行回音消除來產生經補償觸發資料，且所述語音觸發系統被配置成基於所述經補償觸發資料來執行所述語音觸發操作，其中所述語音觸發系統被配置成將觸發介面音訊輸入訊號的樣本資料傳送至所述音訊子系統，其中所述音訊子系統更被配置成： 基於所述音訊輸出串流來對所述樣本資料執行所述回音消除以產生經補償樣本資料，並且將所述經補償樣本資料傳送至所述語音觸發系統，其中所述語音觸發系統被配置成基於所述經補償樣本資料來執行所述語音觸發操作，並且其中所述經補償樣本資料為所述經補償觸發資料。
  20. 一種操作應用處理器的方法，所述方法包括：由語音觸發系統執行語音觸發操作以發佈觸發事件，所述語音觸發系統與主機處理器及音訊子系統一起整合於單個半導體晶片中，所述應用處理器包括電性連接所述語音觸發系統與所述音訊子系統的直接匯流排，且所述應用處理器包括電性連接所述主機處理器、所述語音觸發系統及所述音訊子系統的系統匯流排；由所述音訊子系統藉由音訊介面來重播音訊輸出串流；在其中所述語音觸發操作與所述音訊輸出串流的所述重播被一起執行的插話狀態期間，藉由對自麥克風接收的麥克風資料執行回音消除來產生經補償觸發資料，所述直接匯流排被配置成在所述插話狀態期間提供所述語音觸發系統與所述音訊子系統之間的通訊路徑；以及由所述語音觸發系統基於所述經補償觸發資料來執行所述語音觸發操作，其中所述語音觸發系統將觸發介面音訊輸入訊號的樣本資料傳送至所述音訊子系統， 其中所述音訊子系統：基於所述音訊輸出串流來對所述樣本資料執行所述回音消除以產生經補償樣本資料，並且將所述經補償樣本資料傳送至所述語音觸發系統，其中所述語音觸發系統基於所述經補償樣本資料來執行所述語音觸發操作，並且其中所述經補償樣本資料為所述經補償觸發資料。
TW107140152A 2018-01-25 2018-11-13 包含具插話用直接路徑之低電力語音觸發系統的應用處理器、包含該處理器的電子裝置及其操作方法 TWI776988B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
??10-2018-0009496 2018-01-25
KR1020180009496A KR102629385B1 (ko) 2018-01-25 2018-01-25 바지-인 관련 직접 경로를 지원하는 저전력 보이스 트리거 시스템을 포함하는 애플리케이션 프로세서, 이를 포함하는 전자 장치 및 그 동작 방법
KR10-2018-0009496 2018-01-25

Publications (2)

Publication Number Publication Date
TW201933086A TW201933086A (zh) 2019-08-16
TWI776988B true TWI776988B (zh) 2022-09-11

Family

ID=67145229

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107140152A TWI776988B (zh) 2018-01-25 2018-11-13 包含具插話用直接路徑之低電力語音觸發系統的應用處理器、包含該處理器的電子裝置及其操作方法

Country Status (5)

Country Link
US (1) US10971154B2 (zh)
KR (1) KR102629385B1 (zh)
CN (1) CN110083225B (zh)
DE (1) DE102018128225A1 (zh)
TW (1) TWI776988B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6101472A (en) * 1997-04-16 2000-08-08 International Business Machines Corporation Data processing system and method for navigating a network using a voice command
US6353867B1 (en) * 2000-01-14 2002-03-05 Insilicon Corporation Virtual component on-chip interface
US20110238417A1 (en) * 2010-03-26 2011-09-29 Kabushiki Kaisha Toshiba Speech detection apparatus
US20140222436A1 (en) * 2013-02-07 2014-08-07 Apple Inc. Voice trigger for a digital assistant
TW201508375A (zh) * 2013-06-25 2015-03-01 Kopin Corp 具有麥克風陣列的眼鏡
US20150379992A1 (en) * 2014-06-30 2015-12-31 Samsung Electronics Co., Ltd. Operating method for microphones and electronic device supporting the same
TW201735008A (zh) * 2016-03-22 2017-10-01 華碩電腦股份有限公司 應用於電子裝置的有向性關鍵字驗證方法及其電子裝置
CN107577449A (zh) * 2017-09-04 2018-01-12 百度在线网络技术（北京）有限公司 唤醒语音的拾取方法、装置、设备及存储介质

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4266254A (en) * 1977-06-06 1981-05-05 National Semiconductor Corp. Integrated circuit for recording and playback of such recording
US4501012A (en) * 1980-11-17 1985-02-19 Nissan Motor Company, Limited Speech recognition system for an automotive vehicle
US4870704A (en) * 1984-10-31 1989-09-26 Flexible Computer Corporation Multicomputer digital processing system
US4736317A (en) * 1985-07-17 1988-04-05 Syracuse University Microprogram-coupled multiple-microprocessor module with 32-bit byte width formed of 8-bit byte width microprocessors
JPH07113840B2 (ja) * 1989-06-29 1995-12-06 三菱電機株式会社 音声検出器
US5657422A (en) * 1994-01-28 1997-08-12 Lucent Technologies Inc. Voice activity detection driven noise remediator
US5708704A (en) * 1995-04-07 1998-01-13 Texas Instruments Incorporated Speech recognition method and system with improved voice-activated prompt interrupt capability
GB2325112B (en) * 1997-05-06 2002-07-31 Ibm Voice processing system
US6151397A (en) * 1997-05-16 2000-11-21 Motorola, Inc. Method and system for reducing undesired signals in a communication environment
US6411929B1 (en) * 1997-11-27 2002-06-25 Hitachi, Ltd. Speech recognition method and system
US6574597B1 (en) * 1998-05-08 2003-06-03 At&T Corp. Fully expanded context-dependent networks for speech recognition
US6098043A (en) * 1998-06-30 2000-08-01 Nortel Networks Corporation Method and apparatus for providing an improved user interface in speech recognition systems
US6970925B1 (en) * 1999-02-03 2005-11-29 William H. Gates, III Method and system for property notification
US6678661B1 (en) * 2000-02-11 2004-01-13 International Business Machines Corporation Method and system of audio highlighting during audio edit functions
US6725193B1 (en) * 2000-09-13 2004-04-20 Telefonaktiebolaget Lm Ericsson Cancellation of loudspeaker words in speech recognition
EP1391902B1 (en) * 2001-12-26 2006-08-16 Neomax Co., Ltd. Production method for permanent magnet and press device
US7587318B2 (en) * 2002-09-12 2009-09-08 Broadcom Corporation Correlating video images of lip movements with audio signals to improve speech recognition
US20040243405A1 (en) * 2003-05-29 2004-12-02 International Business Machines Corporation Service method for providing autonomic manipulation of noise sources within computers
WO2005027096A1 (en) * 2003-09-15 2005-03-24 Zakrytoe Aktsionernoe Obschestvo Intel Method and apparatus for encoding audio
WO2005034395A2 (en) * 2003-09-17 2005-04-14 Nielsen Media Research, Inc. Methods and apparatus to operate an audience metering device with voice commands
US20050114118A1 (en) * 2003-11-24 2005-05-26 Jeff Peck Method and apparatus to reduce latency in an automated speech recognition system
US20050136848A1 (en) * 2003-12-22 2005-06-23 Matt Murray Multi-mode audio processors and methods of operating the same
US8170875B2 (en) 2005-06-15 2012-05-01 Qnx Software Systems Limited Speech end-pointer
US9101279B2 (en) * 2006-02-15 2015-08-11 Virtual Video Reality By Ritchey, Llc Mobile user borne brain activity data and surrounding environment data correlation system
US20080140412A1 (en) * 2006-12-07 2008-06-12 Jonathan Travis Millman Interactive tutoring
US20100121997A1 (en) * 2007-03-16 2010-05-13 Hui Lin Method for writing digital contents to a plurality of storage cards and the system for the same
JP4869420B2 (ja) * 2010-03-25 2012-02-08 株式会社東芝 音情報判定装置、及び音情報判定方法
JP5581449B2 (ja) * 2010-08-24 2014-08-27 ドルビー・インターナショナル・アーベー Ｆｍステレオ無線受信機の断続的モノラル受信の隠蔽
US8972251B2 (en) * 2011-06-07 2015-03-03 Qualcomm Incorporated Generating a masking signal on an electronic device
WO2014144579A1 (en) * 2013-03-15 2014-09-18 Apple Inc. System and method for updating an adaptive speech recognition model
US10186262B2 (en) * 2013-07-31 2019-01-22 Microsoft Technology Licensing, Llc System with multiple simultaneous speech recognizers
WO2015034504A1 (en) * 2013-09-05 2015-03-12 Intel Corporation Mobile phone with variable energy consuming speech recognition module
WO2015038105A1 (en) * 2013-09-11 2015-03-19 Intel Corporation Low power voice triggers for finding mobile devices
US9385779B2 (en) * 2013-10-21 2016-07-05 Cisco Technology, Inc. Acoustic echo control for automated speaker tracking systems
US20150112690A1 (en) 2013-10-22 2015-04-23 Nvidia Corporation Low power always-on voice trigger architecture
GB2523984B (en) 2013-12-18 2017-07-26 Cirrus Logic Int Semiconductor Ltd Processing received speech data
US20150221307A1 (en) * 2013-12-20 2015-08-06 Saurin Shah Transition from low power always listening mode to high power speech recognition mode
US9460735B2 (en) * 2013-12-28 2016-10-04 Intel Corporation Intelligent ancillary electronic device
JP2015138147A (ja) * 2014-01-22 2015-07-30 シャープ株式会社 サーバ、対話装置、対話システム、対話方法および対話プログラム
CN106062661B (zh) * 2014-03-31 2021-09-07 英特尔公司 用于常开常听的语音识别系统的位置感知功率管理方案
KR102299330B1 (ko) 2014-11-26 2021-09-08 삼성전자주식회사 음성 인식 방법 및 그 전자 장치
WO2016118480A1 (en) 2015-01-21 2016-07-28 Knowles Electronics, Llc Low power voice trigger for acoustic apparatus and method
US9653079B2 (en) * 2015-02-12 2017-05-16 Apple Inc. Clock switching in always-on component
US9672821B2 (en) * 2015-06-05 2017-06-06 Apple Inc. Robust speech recognition in the presence of echo and noise using multiple signals for discrimination
US9691378B1 (en) * 2015-11-05 2017-06-27 Amazon Technologies, Inc. Methods and devices for selectively ignoring captured audio data
US10089989B2 (en) 2015-12-07 2018-10-02 Semiconductor Components Industries, Llc Method and apparatus for a low power voice trigger device
US10089987B2 (en) * 2015-12-21 2018-10-02 Invensense, Inc. Music detection and identification
KR102501083B1 (ko) * 2016-02-05 2023-02-17 삼성전자 주식회사 음성 인식 방법 및 이를 사용하는 전자 장치
KR101850762B1 (ko) 2016-07-19 2018-04-20 최병락 내구성이 우수한 방풍부재용 혼합섬유 모헤어
US10121494B1 (en) * 2017-03-30 2018-11-06 Amazon Technologies, Inc. User presence detection
JP2019053165A (ja) * 2017-09-14 2019-04-04 株式会社東芝 音声認識装置
US10482868B2 (en) * 2017-09-28 2019-11-19 Sonos, Inc. Multi-channel acoustic echo cancellation
JP7044415B2 (ja) * 2017-12-31 2022-03-30 美的集団股▲フン▼有限公司 ホームアシスタント装置を制御するための方法及びシステム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6101472A (en) * 1997-04-16 2000-08-08 International Business Machines Corporation Data processing system and method for navigating a network using a voice command
US6353867B1 (en) * 2000-01-14 2002-03-05 Insilicon Corporation Virtual component on-chip interface
US20110238417A1 (en) * 2010-03-26 2011-09-29 Kabushiki Kaisha Toshiba Speech detection apparatus
US20140222436A1 (en) * 2013-02-07 2014-08-07 Apple Inc. Voice trigger for a digital assistant
TW201508375A (zh) * 2013-06-25 2015-03-01 Kopin Corp 具有麥克風陣列的眼鏡
US20150379992A1 (en) * 2014-06-30 2015-12-31 Samsung Electronics Co., Ltd. Operating method for microphones and electronic device supporting the same
TW201735008A (zh) * 2016-03-22 2017-10-01 華碩電腦股份有限公司 應用於電子裝置的有向性關鍵字驗證方法及其電子裝置
CN107577449A (zh) * 2017-09-04 2018-01-12 百度在线网络技术（北京）有限公司 唤醒语音的拾取方法、装置、设备及存储介质

Also Published As

Publication number Publication date
DE102018128225A1 (de) 2019-07-25
KR20190090596A (ko) 2019-08-02
US10971154B2 (en) 2021-04-06
CN110083225A (zh) 2019-08-02
TW201933086A (zh) 2019-08-16
US20190228772A1 (en) 2019-07-25
CN110083225B (zh) 2024-06-21
KR102629385B1 (ko) 2024-01-25

Similar Documents

Publication Publication Date Title
TWI798291B (zh) 支援音訊回放期間中斷的應用處理器、包含該處理器的電子裝置以及其操作方法
US11216399B2 (en) Application processor for low power operation, electronic device including the same and method of operating the same
US11061465B2 (en) Application processor including low power voice trigger system with security, electronic device including the same and method of operating the same
TWI794342B (zh) 支援低功率回音消除之應用處理器、包含該處理器的電子裝置及其操作方法
TWI776988B (zh) 包含具插話用直接路徑之低電力語音觸發系統的應用處理器、包含該處理器的電子裝置及其操作方法
US10783887B2 (en) Application processor including low power voice trigger system with external interrupt, electronic device including the same and method of operating the same
TW201417094A (zh) 音訊處理裝置

Legal Events

Date Code Title Description
GD4A Issue of patent certificate for granted invention patent