TW201933335A - 支援低功率回音消除之應用處理器、包含該處理器的電子裝置及其操作方法 - Google Patents

支援低功率回音消除之應用處理器、包含該處理器的電子裝置及其操作方法 Download PDF

Info

Publication number
TW201933335A
TW201933335A TW107141935A TW107141935A TW201933335A TW 201933335 A TW201933335 A TW 201933335A TW 107141935 A TW107141935 A TW 107141935A TW 107141935 A TW107141935 A TW 107141935A TW 201933335 A TW201933335 A TW 201933335A
Authority
TW
Taiwan
Prior art keywords
audio
trigger
voice
application processor
interface
Prior art date
Application number
TW107141935A
Other languages
English (en)
Other versions
TWI794342B (zh
Inventor
金善奎
Original Assignee
南韓商三星電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 南韓商三星電子股份有限公司 filed Critical 南韓商三星電子股份有限公司
Publication of TW201933335A publication Critical patent/TW201933335A/zh
Application granted granted Critical
Publication of TWI794342B publication Critical patent/TWI794342B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M9/00—Arrangements for interconnection not involving centralised switching
    • H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/082—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225—Feedback of the input speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Abstract

本發明提供一種應用處理器。所述應用處理器包括系統匯流排、主機處理器、語音觸發系統及音訊子系統，所述主機處理器、所述語音觸發系統及所述音訊子系統電性連接至所述系統匯流排。所述語音觸發系統基於藉由觸發介面所提供的觸發輸入訊號來執行語音觸發操作並發佈觸發事件。所述音訊子系統藉由音訊介面來處理音訊串流。在藉由所述音訊介面執行音訊重播時，所述應用處理器對自麥克風接收的麥克風資料執行回音消除以產生經補償資料，且所述語音觸發系統基於所述經補償資料來執行所述語音觸發操作。

Description

支援低功率回音消除支應用處理器、包含該處理器的電子元件及其操作方法
與本發明一致的設備、方法、裝置及製品大體而言是有關於半導體積體電路，且更具體而言是有關於一種支援低功率回音消除的應用處理器、一種包含所述應用處理器的電子裝置及一種相關聯的方法。
近來，已引入了基於語音（voice-based）的或基於聲音（sound-based）的智慧介面。此類基於語音的智慧介面的一個優點是，使用者可在無需握持或甚至注視裝置的情況下以免提方式與裝置互動。當人們無法或不應實體上握持裝置時，例如當其正在駕駛時或當其具有殘障等時，免提操作可為特別有益的。然而，為起始基於語音的智慧介面，使用者通常必須按壓按鈕或選擇觸控螢幕上的圖標。此種觸覺輸入有損於基於語音的智慧介面的使用者體驗。
因此，電子裝置一直被開發成使用語音、話音、聲音、感測等輸入而非觸覺輸入來啟用基於語音的智慧介面。所述電子裝置對音訊通道執行連續或間歇的監測，以偵測語音輸入並發佈觸發事件來起始基於語音的智慧介面。發佈觸發事件的操作可被稱為語音觸發操作（voice trigger operation）。對音訊通道的此種監測會消耗電力，而電力在依賴於電池的手持式或可攜式裝置上是有限的資源。因此，提供一種與語音觸發操作相關聯的節能型解決方案是有利的。
一個態樣是提供一種應用處理器及一種包含應用處理器的電子裝置，所述應用處理器能夠支援低功率回音消除（echo cancellation）。
另一態樣是提供一種操作能夠支援低功率回音消除的應用處理器的方法。
根據一或多個示例性實施例的態樣，一種應用處理器包括系統匯流排、主機處理器、語音觸發系統及音訊子系統，所述主機處理器、所述語音觸發系統及所述音訊子系統電性連接至所述系統匯流排。所述語音觸發系統基於藉由觸發介面所提供的觸發輸入訊號來執行語音觸發操作並發佈觸發事件。所述音訊子系統藉由音訊介面來處理音訊串流。在藉由所述音訊介面執行音訊重播時，所述應用處理器對自麥克風接收的麥克風資料執行回音消除以產生經補償資料，且所述語音觸發系統基於所述經補償資料來執行所述語音觸發操作。
根據一或多個示例性實施例的另一態樣，一種電子裝置包括至少一個音訊輸入/輸出裝置及應用處理器，所述應用處理器包括：系統匯流排；主機處理器，電性連接至所述系統匯流排；語音觸發系統，電性連接至所述系統匯流排，所述語音觸發系統被配置成基於藉由觸發介面所提供的觸發輸入訊號來執行語音觸發操作並發佈觸發事件；以及音訊子系統，包括音訊介面且電性連接至所述系統匯流排，所述音訊子系統被配置成藉由所述音訊介面來處理音訊串流，其中在藉由所述音訊介面執行音訊重播時，所述應用處理器對自麥克風接收的麥克風資料執行回音消除以產生經補償資料，且所述語音觸發系統基於所述經補償資料來執行所述語音觸發操作。
根據一或多個示例性實施例的另一態樣，一種操作應用處理器的方法包括：由語音觸發系統基於藉由觸發介面所提供的觸發輸入訊號來執行語音觸發操作以發佈觸發事件，所述語音觸發系統與主機處理器、音訊子系統及系統匯流排一起整合於形成所述應用處理器的單個半導體晶片中，所述系統匯流排電性連接所述主機處理器、所述語音觸發系統及所述音訊子系統；由所述音訊子系統藉由所述音訊子系統的音訊介面來處理音訊串流；在藉由所述音訊介面執行音訊重播時，對自麥克風接收的麥克風資料執行回音消除以產生經補償資料；以及由所述語音觸發系統基於所述經補償資料來執行所述語音觸發操作。
在下文中，將參照其中示出一些示例性實施例的附圖更全面地闡述各種示例性實施例。在所有圖式中，相同的編號指代相同的元件。可不對重複的內容進行贅述。
根據示例性實施例的應用處理器、包含所述應用處理器的電子裝置及操作所述應用處理器的方法可藉由將語音觸發系統整合於所述應用處理器中而以低功率及高效率來執行語音觸發操作。晶片上（on-chip）語音觸發系統可代替應用處理器中的主機處理器來執行一些操作，以降低電子裝置的功率消耗並增強電子裝置的效能。另外，藉由使用信箱模組來支援語音觸發系統與音訊子系統之間的資料通訊，可以低功率來執行音訊重播及回音消除，且可增強語音觸發操作的效能。
圖1是說明根據示例性實施例操作應用處理器的方法的流程圖。
參照圖1，在其中主機處理器、語音觸發系統、音訊子系統、以及電性連接所述主機處理器、所述語音觸發系統及所述音訊子系統的系統匯流排被整合為單個半導體晶片的應用處理器中，由語音觸發系統基於藉由觸發介面所提供的觸發輸入訊號來執行語音觸發操作以發佈觸發事件（S100）。
由音訊子系統處理藉由音訊介面所重播或記錄的音訊串流（S200）。所述音訊子系統可更支援音訊串流在音訊介面與記憶體裝置之間的傳遞。
本發明中的語音觸發操作可指示用以監測觸發輸入訊號是否包含特定觸發聲音並在偵測到所述觸發聲音時發佈觸發事件（例如中斷訊號）以起始語音辨識模式或基於語音的智慧介面的操作。語音辨識模式的起始可包括將主機處理器及/或系統匯流排啟動成工作模式（active mode）。換言之，為降低功率消耗，可在睡眠模式期間（例如，在系統匯流排及主機處理器被去能（disable）且只有語音觸發系統被賦能（enable）時）執行語音觸發操作，且當觸發事件被發佈以起始語音辨識模式時，系統匯流排及主機處理器可進入或被喚醒成工作模式。
在一些示例性實施例中，觸發聲音可包括人類語音的詞語及/或片語。在其他示例性實施例中，觸發聲音可包括除人類語音之外的聲音，例如口哨聲、拍手的聲音、汽笛聲、碰撞的聲音、具有特定頻率範圍的音波等。在本發明中，使用者語音資訊可對應於以上所述的觸發聲音。
在藉由音訊介面執行音訊重播時，使用直接匯流排對自麥克風接收的麥克風資料執行回音消除以產生經補償資料（S300）。舉例而言，可在插話狀態（barge-in condition）期間藉由音訊介面執行音訊重播，且可對自麥克風接收的麥克風資料執行回音消除以產生經補償資料。將參照圖4來闡述回音消除。
由語音觸發系統基於經補償資料來執行語音觸發操作（S400）。
根據示例性實施例的應用處理器、包含所述應用處理器的電子裝置及操作所述應用處理器的方法可藉由將語音觸發系統整合於所述應用處理器中而以低功率及高效率來執行語音觸發操作。另外，可以低功率來執行音訊重播，且可增強語音觸發操作的準確度（例如，辨識率）。
圖2A是說明根據示例性實施例的電子裝置的方塊圖。
參照圖2A，電子裝置1000包括應用處理器AP 2000、記憶體裝置1200、儲存裝置1300、多個功能模組（包括通訊模組1400、攝影機模組1500、輸入/輸出（input/output，I/O）模組1600及音訊模組1700）、以及電源管理積體電路PMIC 1800。
應用處理器2000控制電子裝置1000的整體操作。舉例而言，應用處理器2000可控制記憶體裝置1200、儲存裝置1300以及所述多個功能模組1400、1500、1600及1700。應用處理器2000可為系統晶片（system on chip，SoC）。
應用處理器2000可包括系統匯流排2100、主機處理器100（亦被稱為中央處理單元（central processing unit，CPU））、語音觸發系統VTS 200、及音訊處理系統AUD 250，後三者電性連接至系統匯流排2100。
語音觸發系統200可電性連接至系統匯流排2100、基於藉由觸發介面所提供的觸發輸入訊號來執行語音觸發操作並發佈觸發事件。音訊處理系統240可包括音訊子系統且可更包括感測器中樞，如以下將進行闡述。所述音訊子系統可電性連接至系統匯流排2100，以處理藉由音訊介面所重播或記錄的音訊串流。另外，所述音訊子系統可更支援音訊串流在音訊介面與記憶體裝置1200之間的傳遞。以下將參照圖3至圖17B來闡述語音觸發系統200及音訊處理系統250的示例性實施例。
記憶體裝置1200及儲存裝置1300可為電子裝置1000的操作儲存資料。記憶體裝置1200可包括揮發性記憶體裝置，例如動態隨機存取記憶體（dynamic random access memory，DRAM）、靜態隨機存取記憶體（static random access memory，SRAM）、行動DRAM等。儲存裝置1300可包括非揮發性記憶體裝置，例如可抹除可程式化唯讀記憶體（erasable programmable read-only memory，EPROM）、電可抹除可程式化唯讀記憶體（electrically erasable programmable read-only memory，EEPROM）、快閃記憶體、相變隨機存取記憶體（phase change random access memory，PRAM）、電阻隨機存取記憶體（resistance random access memory，RRAM）、奈米浮閘記憶體（nano floating gate memory，NFGM）、聚合物隨機存取記憶體（polymer random access memory，PoRAM）、磁性隨機存取記憶體（magnetic random access memory，MRAM）、鐵電式隨機存取記憶體（ferroelectric random access memory，FRAM）等。在一些示例性實施例中，儲存裝置1300可更包括嵌入式多媒體卡（embedded multimedia card，eMMC）、通用快閃儲存器（universal flash storage，UFS）、固態磁碟機（solid state drive，SSD）、硬碟機（hard disk drive，HDD）、光碟-唯讀記憶體（compact disc - read only memory，CD-ROM）等。
功能模組1400、1500、1600及1700可執行電子裝置1000的各種功能。舉例而言，電子裝置1000可包括：通訊模組1400，執行通訊功能（例如，分碼多重存取（code division multiple access，CDMA）模組、長期演進（long term evolution，LTE）模組、射頻（radio frequency，RF）模組、超寬頻（ultra-wideband，UWB）模組、無線區域網路（wireless local area network，WLAN）模組、全球微波存取互通（worldwide interoperability for microwave access，WIMAX）模組等）；攝影機模組1500，執行攝影機功能；輸入/輸出（I/O）模組1600，包括顯示模組及觸控面板模組，所述顯示模組執行顯示功能，所述觸控面板模組執行觸控感測功能；以及音訊模組1700，包括麥克風（microphone，MIC）模組、揚聲器模組等，執行音訊訊號的輸入-輸出。在一些示例性實施例中，電子裝置1000可更包括全球定位系統（global positioning system，GPS）模組、陀螺儀模組等。然而，電子裝置1000中的功能模組1400、1500、1600及1700並非僅限於此。
電源管理積體電路1800可將操作電壓提供至應用處理器2000、記憶體裝置1200、儲存裝置1300、以及功能模組1400、1500、1600及1700。
圖2B是圖2A所示電子裝置的示例性實施方案。
圖2A所示電子裝置1000可為例如以下等的裝置：桌上型電腦、膝上型電腦、蜂巢式電話（cellular phone）、智慧型電話、MP3播放器、個人數位助理（personal digital assistant，PDA）、可攜式多媒體播放器（portable multimedia player，PMP）、數位電視機、數位攝影機、伺服器電腦、工作站、機上盒、可攜式遊戲機、導航系統、可穿戴裝置、物聯網（internet of things，IoT）裝置、萬物聯網（internet of everything，IoE）裝置、電子書、虛擬實境（virtual reality，VR）裝置、擴增實境（augmented reality，AR）裝置等。電子裝置1000通常可因應於直接使用者輸入而運作，但亦可用於藉由網際網路或其他網路系統與其他裝置進行通訊。圖2B說明包括觸控螢幕的蜂巢式電話或智慧型電話作為圖2A所示電子裝置1000的實例。
參照圖2B，電子裝置1000a包括前置攝影機2、揚聲器3、近接感測器4、亮度感測器5、通用串列匯流排（universal serial bus，USB）介面6、電源按鈕7、音量按鈕8、顯示與觸控螢幕9、圖標10、選單按鈕11、主頁按鈕（home button）12、後退按鈕（back button）13、麥克風14、音訊輸出介面15、及天線16。
前置攝影機2可面向顯示與觸控螢幕9的方向，且用於視訊呼叫或者視訊或照片拍攝。當使用者藉由在圖標10中的一者上對顯示與觸控螢幕9進行觸控或者利用話音而輸入訊號來播放多媒體資料、藉由公用交換電話網路與另一使用者通話、或者播放電子裝置1000a的操作聲音或通知聲音時，揚聲器3可輸出音訊資料。近接感測器4可控制顯示與觸控螢幕9的接通或關斷，以節省電力並在使用者將電子裝置1000a舉起至耳朵以進行電話交談時防止誤操作。亮度感測器5可根據自電子裝置1000a的周圍環境入射的光的量來控制顯示與觸控螢幕9及前置攝影機2的操作。USB介面6可為用於與外部裝置及電源供應器進行資料通訊的輸入/輸出介面。
電源按鈕7可接通或關斷電子裝置1000a的電源，或者可接通或關斷顯示與觸控螢幕9。音量按鈕8可控制揚聲器3的音訊輸出。在顯示與觸控螢幕9上可顯示與不同的功能對應的圖標10。舉例而言，使用者可觸控與多媒體資料的回放對應的圖標10。
選單按鈕11可容許使用者瀏覽包含圖標及設定的選單。主頁按鈕12可容許甚至在電子裝置1正在顯示與觸控螢幕9上執行某一操作時亦顯現主頁畫面（home screen）以達成多工作模式（multi-working mode）。後退按鈕13可取消當前正由電子裝置1000a執行的操作並使使用者返回至前一畫面。
麥克風14可為用於語音呼叫或語音輸入訊號的輸入/輸出（I/O）介面。音訊輸出介面15（例如，耳機插孔）可用於正被播放的多媒體資料的音訊輸出。雖然圖中未示出，然而可藉由支援藍芽（Bluetooth）的裝置來介接音訊輸出及麥克風輸入。天線16可用於接收數位媒體廣播服務。可以此項技術中具有通常知識者可達成的各種方式來實施電子裝置1000a的元件。圖2B所示元件中的一些元件可被省略或被替換成其他元件。
圖3是說明根據示例性實施例的應用處理器的方塊圖。
參照圖3，應用處理器2000可包括系統匯流排SYSBUS 2100、主機處理器100、語音觸發系統200、音訊子系統300、及感測器中樞400。音訊子系統300及感測器中樞400可包含於圖2A所示音訊處理系統250中。根據示例性實施例，應用處理器2000可更包括工作電源管理器APM、信箱模組MBXa、MBXb及MBXc、以及中斷控制器ITRC。
系統匯流排2100可被稱為互連裝置或骨幹（backbone）。系統匯流排2100可包括較高層匯流排、較低層匯流排、以及連接所述較高層匯流排與所述較低層匯流排的橋接器。舉例而言，系統匯流排2100可包括例如進階可延伸介面（advanced extensible interface，AXI）、進階高效能匯流排（advanced high-performance bus，AHB）、進階周邊匯流排（advanced peripheral bus，APB）等各種匯流排、以及連接所述進階可延伸介面（AXI）、進階高效能匯流排（AHB）、進階周邊匯流排（APB）等的至少一個橋接器。主機處理器100可藉由系統匯流排2100來存取外部裝置，例如記憶體裝置1200及/或儲存裝置1300。另外，主機處理器100可藉由系統匯流排2100與語音觸發系統200、音訊子系統300及感測器中樞400進行通訊。
雖然為方便說明在圖3中僅說明瞭一個中斷控制器ITRC，然而中斷控制器ITRC可包括至少一個通用中斷控制器（general interrupt controller，GIC）、至少一個向量化中斷控制器（vectored interrupt controller，VIC）等。舉例而言，中斷控制器ITRC可被實作為可程式化中斷控制器（programmable interrupt controller，PIC）。可利用具有由向量表示的優先級系統的多個層來實作可程式化中斷控制器。可程式化中斷控制器可自周邊裝置接收中斷訊號、確定所接收中斷訊號的優先級並向處理器或控制器發佈具有指標位址（pointer address）的中斷訊號。
工作電源管理器APM可管理應用處理器2000的電源。工作電源管理器APM可管理對應用處理器2000的相應區或功能區塊供應的電力。信箱模組MBXa、MBXb及MBXc可支援應用處理器2000中的各元件之間的資料通訊或應用處理器2000與外部裝置之間的資料通訊的同步化。以下將參照圖6來闡述信箱模組MBXa、MBXb及MBXc。
語音觸發系統200電性連接至系統匯流排2100。語音觸發系統200基於藉由觸發介面所提供的觸發輸入訊號來執行語音觸發操作並發佈觸發事件。在一些示例性實施例中，語音觸發系統200可自數位麥克風DMIC 40及/或音訊編解碼器（編碼器及解碼器）CODEC 50接收觸發輸入訊號。換言之，語音觸發系統200的觸發介面可直接連接至數位麥克風40及音訊編解碼器50。音訊編解碼器50可對自數位麥克風40及/或類比麥克風AMIC 61接收的音訊訊號以及輸出至揚聲器62的音訊訊號執行編碼及解碼（或者類比至數位轉換（analog-to-digital conversion，ADC）及數位至類比轉換（digital-to-analog conversion，DAC））。數位麥克風40可為與應用處理器2000一起安裝於電子裝置的板上的板上（on-board）麥克風。類比麥克風61及揚聲器62可為附裝至音訊編解碼器50的端子以及可自所述端子拆卸的裝置。
音訊子系統300電性連接至系統匯流排2100。音訊子系統300處理藉由音訊介面所重播或記錄的音訊串流並支援音訊串流在記憶體裝置1200與音訊介面之間的傳遞。在一些示例性實施例中，音訊子系統300可與音訊編解碼器50及/或藍芽模組BTM 70交換音訊串流。換言之，音訊子系統300的音訊介面可直接連接至音訊編解碼器50及藍芽模組70。藍芽模組70可藉由藍芽音訊模組BTAUD 80連接至藍芽麥克風BMIC 81及藍芽揚聲器82，以自藍芽麥克風81接收音訊訊號以及將音訊訊號輸出至藍芽揚聲器82。藍芽模組70可直接連接至另一藍芽揚聲器85或另一藍芽裝置。雖然圖3中未說明，然而音訊子系統300可連接至通用串列匯流排（USB）模組，以與所述USB模組交換音訊串流。
感測器中樞400電性連接至系統匯流排。感測器中樞400處理自一或多個感測器SEN1 31及SEN2 32提供的訊號。感測器中樞400可量測與電子裝置相關聯的物理量並且處理所述物理量，以偵測電子裝置的操作狀態並處理所偵測的操作狀態。舉例而言，感測器31及32可包括運動感測器、陀螺儀感測器、大氣壓力感測器、磁感測器、加速度計、緊握感測器（grip sensor）、近接感測器、生物辨識感測器（biometric sensor）、溫度/濕度感測器、照度感測器、以及紫外線（ultra violet，UV）感測器、電鼻子（electrical-nose，E-nose）感測器、肌電圖（electromyography，EMG）感測器、腦電圖（electroencephalogram，EEG）感測器、心電圖（electrocardiogram，ECG）感測器、紅外線（infrared，IR）感測器、虹膜感測器、及/或指紋感測器。
在一些示例性實施例中，如圖3中所說明，所有的系統匯流排2100、語音觸發系統200、音訊子系統300及感測器中樞400可整合於形成應用處理器2000的單個半導體晶片中。在其他示例性實施例中，系統匯流排2100、語音觸發系統200及音訊子系統300可整合於單個晶片中，且感測器中樞400可設置於應用處理器2000的外部。然而，在任一情形中，語音觸發系統200均設置於應用處理器2000上，且因此，根據示例性實施例的應用處理器、包含所述應用處理器的電子裝置及操作所述應用處理器的方法可藉由將語音觸發系統整合於所述應用處理器中而以低電量及高效率來執行語音觸發操作。
圖4是說明根據示例性實施例的應用處理器中所包含的回音消除器的方塊圖。
參照圖4，回音消除器95可包括濾波器96及回音抑制器97。
自音訊子系統300提供的音訊輸出訊號x(t)可自揚聲器98輸出且輸出至使用者。麥克風99可輸出音訊輸入訊號y(t)。雖然圖中未示出，然而可在自揚聲器98播出之前對音訊輸出訊號x(t)（例如，數位訊號）應用數位至類比轉換（DAC），且可對由麥克風99擷取的訊號應用類比至數位轉換（ADC）以得到去往回音抑制器97的音訊輸入訊號y(t)（例如，數位訊號）。
來自麥克風99的音訊輸入訊號y(t)可包含近端訊號（near-end signal）v(t)及回音訊號s(t)。近端訊號v(t)可被稱為所需訊號（desired signal）或初級訊號（primary signal），使用者預期使麥克風99接收所述所需訊號或初級訊號。回音訊號s(t)可包括由自揚聲器98輸出的音訊訊號產生的回音分量。雖然圖中未示出，然而音訊輸入訊號y(t)可更包含雜訊。回音分量及雜訊可成為對近端訊號v(t)的干擾，且因此，消除或去除回音分量及雜訊為有利的。
在一些示例性實施例中，可使用例如雙邊通話偵測（doubletalk detection）、步長控制（step-size control）等各種演算法中的至少一者來執行回音消除。
濾波器96可基於音訊輸出訊號x(t)及音訊輸入訊號y(t)來估計音訊輸入訊號y(t)中所包含的回音訊號s(t)，以產生所估計回音訊號s'(t)。換言之，濾波器96可對音訊輸入訊號y(t)中的回音分量及引起所述回音分量的回音路徑進行建模，並估計所述回音路徑是如何將所需音訊輸出訊號x(t)改變成音訊輸入訊號y(t)中的非所需回音分量。音訊輸出訊號x(t)可用作參考訊號。
回音路徑表示遠端訊號（far-end signal）自揚聲器98至麥克風99所傳播過的聲路徑的效應。遠端訊號可自揚聲器98直接傳播至麥克風99，或者遠端訊號可自近端終端機的環境中的各種表面被反射而來。自揚聲器98輸出的遠端訊號所經過的回音路徑可被視為頻率及相位回應可隨時間變化的系統。
在一些示例性實施例中，可基於例如有限脈衝回應（finite impulse response，FIR）濾波器、無限脈衝回應（infinite impulse response，IIR）濾波器等各種線性濾波器中的至少一者對回音路徑進行建模。舉例而言，回音路徑的估計結果可為具有(N+1)個值的向量，其中N是自然數，且濾波器96可被實作為具有有限長度（在時間上）的N階濾波器。
在一些示例性實施例中，回音路徑的估計結果可不被顯式地計算出，而是可藉由依據各種隨機梯度演算法（stochastic gradient algorithm）（例如最小均方（Least Mean Squares，LMS）、正規化最小均方（Normalized Least Mean Squares，NLMS）、快速仿射投影（Fast Affine Projection，FAP）、及遞迴最小平方（Recursive Least Squares，RLS）等）中的至少一者所獲得的濾波係數來表示。
在一些示例性實施例中，可即時連續地更新回音路徑的估計結果。
回音抑制器97可基於所估計回音訊號s'(t)及音訊輸入訊號y(t)來產生所估計近端訊號v'(t)。舉例而言，回音抑制器97可基於所估計回音訊號s'(t)對音訊輸入訊號y(t)應用回音抑制以產生所估計近端訊號v'(t)，藉此抑制所接收音訊訊號中的回音。對回音路徑的估計愈精確，所估計近端訊號v'(t)可愈接近於近端訊號v(t)。亦即，隨著回音路徑的估計精確度改良，所估計近端訊號v'(t)變為近端訊號v(t)的更接近近似值。
在一些示例性實施例中，回音抑制器97可被實作為回音減法器。舉例而言，所述回音減法器可自音訊輸入訊號y(t)減去所估計回音訊號s'(t)，以產生所估計近端訊號v'(t)。
根據一些示例性實施例，可以各種配置來實作回音消除器95中的元件，可將回音消除器95中的一些元件省略或替換成其他元件，且可對回音消除器95添加一些元件。根據示例性實施例，回音消除器95的至少一部分可被實作為硬體（例如電路），或者被實作為由一或多個處理器執行的指令及/或程式常式（例如，軟體程式）。
圖5是說明根據示例性實施例的應用處理器中的語音觸發系統與音訊子系統的示例性連接的方塊圖。在圖5中存在但為方便說明省略了圖3所示的主機處理器100及其他元件。
參照圖5，應用處理器2001可包括系統匯流排SYSBUS 2100、語音觸發系統201、音訊子系統301、及信箱模組MBX。音訊子系統301可包含於圖2A所示音訊處理系統250中。
語音觸發系統201電性連接至系統匯流排2100。語音觸發系統201基於藉由觸發介面TIF所提供的麥克風觸發輸入訊號SDMIC及/或編解碼器觸發輸入訊號SAMIC來執行語音觸發操作。語音觸發系統201可自數位麥克風DMIC 40接收麥克風觸發輸入訊號SDMIC及/或自音訊編解碼器（編碼器及解碼器）CODEC 50接收編解碼器觸發輸入訊號SAMIC。可在語音觸發系統201、數位麥克風40及音訊編解碼器50之間傳遞麥克風時脈訊號MICCLK，以使訊號傳遞同步化。可藉由接墊PD11、PD12及PD13來傳遞麥克風觸發輸入訊號SDMIC及編解碼器觸發輸入訊號SAMIC以及麥克風時脈訊號MICCLK。接墊PD11、PD12及PD13可被實作成使得可防止已使用的接墊受其他未使用的接墊干擾。
音訊子系統301電性連接至系統匯流排2100。音訊子系統301處理藉由音訊介面AIF所重播或記錄的音訊串流，且支援音訊串流在記憶體裝置1200與音訊介面之間的傳遞。在一些示例性實施例中，音訊子系統301可與音訊編解碼器50交換音訊串流。音訊子系統301可藉由音訊輸入接墊PD21自音訊編解碼器50接收音訊輸入訊號SDI，且藉由音訊輸出接墊PD22將音訊輸出訊號SDO傳送至音訊編解碼器50。
語音觸發系統201可包括觸發介面電路IFV 211、包裝器（wrapper）WRPP 221、觸發記憶體MEMV 231、及觸發處理器PRCV 241。
觸發介面電路211以及接墊PD11、PD12及PD13可形成觸發介面TIF，以對自數位麥克風40提供的麥克風觸發輸入訊號SDMIC及/或自音訊編解碼器50提供的編解碼器觸發輸入訊號SAMIC進行取樣及轉換。包裝器221可將自觸發介面電路211提供的資料儲存於觸發記憶體231中。當觸發記憶體231中儲存有臨限量的資料時，包裝器221可向觸發處理器241發佈中斷訊號，以使得觸發處理器241可基於觸發記憶體231中所儲存的資料來執行語音觸發操作。
在一些示例性實施例中，語音觸發系統201可接收脈波密度調變（pulse density modulation，PDM）訊號作為麥克風觸發輸入訊號SDMIC及編解碼器觸發輸入訊號SAMIC。觸發介面電路211可將所述PDM訊號轉換成脈波碼調變（pulse code modulation，PCM）資料。包裝器221可將PCM資料儲存於觸發記憶體231中。包裝器221可以直接記憶體存取控制器來實作。
音訊子系統301可包括音訊介面電路IFA 311、直接記憶體存取控制器DMA 321、音訊記憶體MEMA 331、及音訊處理器PRCA 341。
音訊介面電路311以及音訊輸入接墊PD21及音訊輸出接墊PD22可形成音訊介面AIF，以藉由音訊輸入訊號SDI及音訊輸出訊號SDO傳遞音訊串流。音訊記憶體331可儲存音訊串流的資料，且直接記憶體存取控制器321可控制對音訊記憶體的存取，亦即，自音訊記憶體331讀取資料以及將資料寫入至音訊記憶體331。音訊處理器341可處理音訊記憶體331中所儲存的資料。
在一些示例性實施例中，音訊子系統301中的音訊處理器341可包括回音消除器AEC 701。回音消除器701可為參照圖4所述的回音消除器95。
在一些示例性實施例中，音訊介面電路IFA 311可與IC間聲音（Inter-IC Sound，I2S）標準或積體晶片間聲音（Integrated Interchip Sound，IIS）標準相容。雖然圖5中未說明，然而音訊介面電路311可根據I2S標準而基於時脈訊號運作。在一些示例性實施例中，音訊介面電路311可直接連接至數位麥克風40及/或音訊編解碼器50。
在一些示例性實施例中，應用處理器2001可更包括信箱模組MBX，信箱模組MBX被配置成支援語音觸發系統201與音訊子系統301之間的資料通訊的同步化。
在音訊重播期間執行回音消除以增強語音觸發操作的辨識率為有利的。在藉由音訊介面AIF執行音訊重播時，根據示例性實施例的應用處理器2001可對自麥克風（例如，數位麥克風40或類比麥克風61）接收的麥克風資料執行回音消除以產生經補償資料，且語音觸發系統201可基於經補償資料來執行語音觸發操作。回音消除可由音訊子系統301中的回音消除器701執行。
應用處理器2001可藉由系統匯流排2100使用信箱模組MBX來執行語音觸發系統201與音訊子系統301之間的資料通訊。因此，在藉由音訊介面AIF執行音訊重播時以及在執行回音消除時，主機處理器100及/或系統匯流排2100可維持睡眠模式且不會為了語音觸發操作而被喚醒成工作模式。亦即，在藉由音訊介面AIR執行音訊重播時以及在執行回音消除時，只有音訊子系統301、與信箱模組MBX相關的組件及語音觸發系統201處於工作模式。
圖6是說明圖5所示應用處理器中所包含的信箱模組的示例性實施例的圖。
參照圖6，信箱模組900可包括介面APB INTERFACE 910、訊息方塊MESSAGE 920、第一暫存器電路930及第二暫存器電路940，第一暫存器電路930包括多個暫存器INTGR0、INTCR0、INTMR0、INTSR0及INTMSR0，第二暫存器電路940包括多個暫存器INTGR1、INTCR1、INTMR1、INTSR1及INTMSR1。圖6說明其中信箱模組900藉由APB介面連接至系統匯流排2100的AHB2APB橋接器且訊息方塊920是以具有6*32位元的共用暫存器來實作的非限制性實例。然而，此僅為實例，且可以各種方式確定介面910的類型、以及訊息方塊920中暫存器的數目及位元數目。第一暫存器電路930可產生向語音觸發系統201中的觸發處理器241提供的中斷訊號（IRQ至PRCV），且第二暫存器電路940可產生向音訊子系統301中的音訊處理器341提供的中斷訊號（IRQ至PRCA）。可使用信箱模組900來使語音觸發系統201與音訊子系統301之間的資料傳送同步化。
信箱模組900可藉由在觸發處理器241及音訊處理器341中的一者在訊息方塊920中寫入訊息之後傳送中斷訊號來執行雙向通訊（bilateral communication）。可藉由輪詢方法等來實作語音觸發系統201與音訊子系統301之間的資料傳送的同步化。
圖7是說明根據示例性實施例操作應用處理器的方法的流程圖。圖8是用於闡述圖7所示的操作應用處理器的方法的方塊圖。
參照圖7及圖8，在音訊子系統ASS藉由音訊介面AIF的輸出接墊而基於音訊輸出訊號SDO的音訊輸出資料執行音訊重播時，語音觸發系統VTS可藉由觸發介面TIF接收觸發輸入訊號SMIC（S510）。
語音觸發系統VTS可使用信箱模組MBX將觸發輸入訊號SMIC的樣本資料DSM傳遞至音訊子系統ASS（S520）。舉例而言，樣本資料DSM可藉由系統匯流排2100自語音觸發系統VTS傳遞至音訊子系統ASS。
音訊子系統ASS中的回音消除器AEC可基於音訊輸出訊號SDO的音訊輸出資料來對樣本資料DSM執行回音消除，以產生經補償樣本資料CDSM（S530）。音訊輸出資料可用作參考訊號，且樣本資料DSM可用作欲被進行回音消除的所接收訊號。
音訊子系統ASS可使用信箱模組MBX將經補償樣本資料CDSM傳遞至語音觸發系統VTS（S540）。舉例而言，經補償樣本資料CDSM可藉由系統匯流排2100自音訊子系統ASS傳遞至語音觸發系統VTS。
語音觸發系統VTS可基於經補償樣本資料CDSM來執行語音觸發操作（S550）。所述語音觸發操作可基於被應用了回音消除的經補償樣本資料CDSM而執行，且因此，所述語音觸發操作的辨識率可得以增強。
圖9是說明根據示例性實施例操作應用處理器的方法的流程圖。圖10是說明用於闡述圖9所示的操作應用處理器的方法的方塊圖。
參照圖9及圖10，在音訊子系統ASS藉由音訊介面AIF的輸出接墊而基於音訊輸出訊號SDO的音訊輸出資料執行音訊重播時，音訊子系統ASS可藉由音訊介面AIF的輸入接墊接收音訊輸入訊號SDI（S610）。
音訊子系統ASS中的回音消除器AEC可基於音訊輸出訊號SDO的音訊輸出資料來對音訊輸入訊號SDI的音訊輸入資料執行回音消除，以產生經補償音訊輸入資料CSDI（S620）。音訊輸出資料可用作參考訊號，且音訊輸入資料可用作欲被進行回音消除的所接收訊號。
音訊子系統ASS可使用信箱模組MBX將經補償音訊輸入資料CSDI傳遞至語音觸發系統VTS（S630）。舉例而言，經補償音訊輸入資料CSDI可藉由系統匯流排2100自音訊子系統ASS傳遞至語音觸發系統VTS。
語音觸發系統VTS可基於經補償音訊輸入資料CSDI來執行語音觸發操作（S640）。所述語音觸發操作可基於被應用了回音消除的經補償音訊輸入資料CSDI而執行，且因此，所述語音觸發操作的辨識率可得以增強。
在一些示例性實施例中，在執行音訊重播時，觸發介面TIF可被去能。換言之，觸發介面TIF可不接收觸發輸入訊號SMIC，且語音觸發系統VTS可基於經補償音訊輸入資料CSDI而非觸發輸入訊號SMIC來執行語音觸發操作。
圖11是說明根據示例性實施例的應用處理器中的語音觸發系統與音訊子系統的示例性連接的方塊圖。在圖11中存在但為方便說明省略了圖3所示的主機處理器100及其他元件，且可不再對與圖3及圖5重複的內容進行贅述。
參照圖11，應用處理器2002可包括系統匯流排SYSBUS 2100、語音觸發系統202、音訊子系統302、及信箱模組MBX。音訊子系統302可包含於圖2A所示音訊處理系統250中。
語音觸發系統202可包括觸發介面電路IFV 212、包裝器WRPP 222、觸發記憶體MEMV 232、及觸發處理器PRCV 242。
音訊子系統302可包括音訊介面電路IFA 312、直接記憶體存取控制器DMA 322、音訊記憶體MEMA 332、及音訊處理器PRCA 342。
與圖5所示應用處理器2001的音訊子系統301中所包含的回音消除器701相較，回音消除器702可包含於應用處理器2002的語音觸發系統202中的觸發處理器242中，如圖11的示例性實施例中所示。回音消除器702可為參照圖4所述的回音消除器95。在圖11所示實例中，回音消除可由語音觸發系統202中的回音消除器702執行。
圖12是說明根據示例性實施例操作應用處理器的方法的流程圖。圖13是用於闡述圖12所示的操作應用處理器的方法的方塊圖。
參照圖12及圖13，在音訊子系統ASS藉由音訊介面AIF的輸出接墊而基於與音訊輸出訊號SDO對應的音訊輸出資料SDO'執行音訊重播時，語音觸發系統VTS可藉由觸發介面TIF接收觸發輸入訊號SMIC（S710）。
音訊子系統ASS可使用信箱模組MBX將音訊輸出資料SDO'傳遞至語音觸發系統VTS（S720）。舉例而言，音訊輸出資料SDO'可藉由系統匯流排2100自音訊子系統ASS傳遞至語音觸發系統VTS。
語音觸發系統VTS中的回音消除器AEC可基於音訊輸出資料SDO'來對觸發輸入訊號SMIC的樣本資料執行回音消除以產生經補償樣本資料（S730）。音訊輸出資料SDO'可用作參考訊號，且樣本資料可用作欲被進行回音消除的所接收訊號。
語音觸發系統VTS可基於經補償樣本資料來執行語音觸發操作（S740）。所述語音觸發操作可基於被應用了回音消除的經補償樣本資料而執行，且因此，所述語音觸發操作的辨識率可得以增強。
圖14是說明根據示例性實施例的應用處理器中的語音觸發系統與音訊子系統的示例性連接的方塊圖。在圖14中存在但為方便說明省略了圖3所示的主機處理器100及其他元件，且可不再對與圖3及圖5重複的內容進行贅述。
參照圖14，應用處理器2003可包括系統匯流排SYSBUS 2100、語音觸發系統203、音訊子系統303、及信箱模組MBX。音訊子系統303可包含於圖2A所示音訊處理系統250中。
語音觸發系統203可包括觸發介面電路IFV 213、包裝器WRPP 223、觸發記憶體MEMV 233、及觸發處理器PRCV 243。
音訊子系統303可包括音訊介面電路IFA 313、直接記憶體存取控制器DMA 323、音訊記憶體MEMA 333、及音訊處理器PRCA 343。
與圖5所示應用處理器2001的音訊子系統301中所包含的回音消除器701以及圖11所示應用處理器2002的語音觸發系統202中所包含的回音消除器702相較，回音消除器703可包含於音訊編解碼器55中，音訊編解碼器55連接至圖14所示應用處理器2003的觸發介面TIF及音訊介面AIF。回音消除器703可為參照圖4所述的回音消除器95。在圖14所示的實例中，回音消除可由音訊編解碼器55中的回音消除器703執行。
圖15是說明根據示例性實施例操作應用處理器的方法的流程圖。圖16是說明用於闡述圖15所示的操作應用處理器的方法的方塊圖。
參照圖15及圖16，在音訊子系統ASS藉由音訊介面AIF的輸出接墊而基於音訊輸出訊號SDO的音訊輸出資料執行音訊重播時，音訊編解碼器CODEC可自類比麥克風接收麥克風資料DMC（S810）。
音訊編解碼器CODEC中的回音消除器AEC可基於音訊輸出資料來對麥克風資料DMC執行回音消除以產生經補償觸發輸入訊號CSAIC（S820）。音訊輸出訊號SDO的音訊輸出資料可用作參考訊號，且麥克風資料DMC可用作欲被進行回音消除的所接收訊號。
音訊編解碼器CODEC可藉由觸發介面TIF將經補償觸發輸入訊號CSAIC傳遞至語音觸發系統VTS（S830）。
語音觸發系統VTS可基於經補償觸發輸入訊號CSAIC來執行語音觸發操作（S840）。所述語音觸發操作可基於被應用了回音消除的經補償觸發輸入訊號CSAIC而執行，且因此，所述語音觸發操作的辨識率可得以增強。
在圖16所示的實例中，經補償觸發輸入訊號CSAIC可藉由觸發介面TIF被直接傳遞至語音觸發系統VTS，並且因此，主機處理器及/或系統匯流排2100亦可維持睡眠模式且不會為了語音觸發操作而被喚醒成工作模式。
雖然圖中未示出，然而根據示例性實施例，圖5及圖11所示的音訊編解碼器50或圖14所示的音訊編解碼器55可包含於語音觸發系統中，或者設置於語音觸發系統與音訊子系統之間，或者音訊子系統可更連接至與藍芽麥克風BMIC 81及藍芽揚聲器82連接的藍芽模組70或連接至與USB麥克風及USB揚聲器連接的USB模組，或者音訊編解碼器50可被替換成藍芽模組70及/或USB模組。
圖17A及圖17B是用於闡述根據示例性實施例的應用處理器的電源域的圖。
應用處理器可包括被獨立地供電的多個電源域。圖17A及圖17B說明第一電源域PWDM1及第二電源域PWDM2作為實例。第一電源域PWDM1對應於其中在工作模式及待用模式（或睡眠模式）中均供應電力的始終供電域（always-powered domain），且第二電源域PWDM2對應於其中在待用模式中阻斷電力的省電域（power-save domain）。
參照圖17A，系統計數器SYSCNT、工作電源管理器APM及語音觸發系統VTS可設置於始終供電域PWDM1中。多個硬體區塊（例如主機處理器CPU、音訊子系統ABOX、感測器中樞CHUB等）可設置於省電域PWDM2中。
系統計數器SYSCNT可產生時間資訊TM並將時間資訊TM提供至系統的內部電路。工作電源管理器APM可產生多個電源賦能訊號EN，以控制系統中的各種元件的電源供應器、電源區塊等。語音觸發系統VTS可產生表示觸發事件的中斷訊號ITRR。
在本發明中，工作模式表示至少主機處理器CPU被賦能且作業系統（operating system，OS）運行。睡眠模式或待用模式表示其中主機處理器CPU被去能的電源關閉模式（power-down mode）。
與圖17A所示安排（disposition）相較，語音觸發系統VTS可如圖17B中所說明設置於省電域PWDM2中。
如圖17A及圖17B中所說明，主機處理器CPU、語音觸發系統VTS、音訊子系統ABOX及感測器中樞CHUB可分別包括電源閘控電路PG1、PG2、PG3及PG4。電源閘控電路PG1至PG4可因應於電源賦能訊號EN1、EN2、EN3及EN4而選擇性地供應電力。因此，語音觸發系統VTS、音訊子系統ABOX及感測器中樞CHUB可為電源閘控式（power-gated）且與主機處理器CPU獨立地被賦能。在一些示例性實施例中，語音觸發系統VTS可請求工作電源管理器APM將感測器中樞CHUB賦能或去能，以使得感測器中樞CHUB可被賦能。
本發明概念可應用於支援語音觸發功能的任何電子裝置及系統。舉例而言，本發明概念可應用於例如以下等的系統：桌上型電腦、膝上型電腦、蜂巢式電話、智慧型電話、MP3播放器、個人數位助理（PDA）、可攜式多媒體播放器（PMP）、數位電視機、數位攝影機、伺服器電腦、工作站、機上盒、可攜式遊戲機、導航系統、可穿戴裝置、物聯網（IoT）裝置、萬物聯網（IoE）裝置、電子書、虛擬實境（VR）裝置、擴增實境（AR）裝置等。
以上內容是對示例性實施例的說明，而不應被解釋為限制各實施例。雖然已闡述了幾個示例性實施例，然而熟習此項技術者應易於瞭解，在不本質上背離本發明的新穎教示內容及優點的條件下，可對示例性實施例作出諸多潤飾。因此，所有此種潤飾均旨在包含於在申請專利範圍中所界定的本發明範圍內。因此，應理解，以上內容是對各種示例性實施例的說明，而不應被解釋為僅限於所揭露的具體示例性實施例，且對所揭露示例性實施例的潤飾以及其他示例性實施例均旨在包含於隨附申請專利範圍的範疇內。
2‧‧‧前置攝影機
3、62、98‧‧‧揚聲器
4‧‧‧近接感測器
5‧‧‧亮度感測器
6‧‧‧通用串列匯流排（USB）介面
7‧‧‧電源按鈕
8‧‧‧音量按鈕
9‧‧‧顯示與觸控螢幕
10‧‧‧圖標
11‧‧‧選單按鈕
12‧‧‧主頁按鈕
13‧‧‧後退按鈕
14、99‧‧‧麥克風
15‧‧‧音訊輸出介面
16‧‧‧天線
31、32、SEN1、SEN2‧‧‧感測器
40、DMIC‧‧‧數位麥克風
50、55、CODEC‧‧‧音訊編解碼器
61、AMIC‧‧‧類比麥克風
70、BTM‧‧‧藍芽模組
80、BTAUD‧‧‧藍芽音訊模組
81、BMIC‧‧‧藍芽麥克風
82、85‧‧‧藍芽揚聲器
95、701、702、703、AEC‧‧‧回音消除器
96‧‧‧濾波器
97‧‧‧回音抑制器
100‧‧‧主機處理器
200、201、202、203、VTS‧‧‧語音觸發系統
211、212、213、IFV‧‧‧觸發介面電路
221、222、223、WRPP‧‧‧包裝器
231、232、233、MEMV‧‧‧觸發記憶體
241、242、243、PRCV‧‧‧觸發處理器
250、AUD‧‧‧音訊處理系統
300、301、302、303、ABOX、ASS‧‧‧音訊子系統
311、312、313、IFA‧‧‧音訊介面電路
321、322、323、DMA‧‧‧直接記憶體存取控制器
331、332、333、MEMA‧‧‧音訊記憶體
341、342、343、PRCA‧‧‧音訊處理器
400、CHUB‧‧‧感測器中樞
900、MBX、MBXa、MBXb、MBXc‧‧‧信箱模組
910‧‧‧介面APB
920‧‧‧訊息方塊
930‧‧‧第一暫存器電路
940‧‧‧第二暫存器電路
1000、1000a‧‧‧電子裝置
1200、MEM‧‧‧記憶體裝置
1300、STRG‧‧‧儲存裝置
1400‧‧‧通訊模組/功能模組
1500‧‧‧攝影機模組/功能模組
1600‧‧‧輸入/輸出（I/O）模組/功能模組
1700‧‧‧音訊模組/功能模組
1800、PMIC‧‧‧電源管理積體電路
2000、2001、2002、2003、AP‧‧‧應用處理器
2100、SYSBUS‧‧‧系統匯流排
2110‧‧‧AHB2APB橋接器
AIF‧‧‧音訊介面
APM‧‧‧工作電源管理器
CDSM‧‧‧經補償樣本資料
CSAIC‧‧‧經補償觸發輸入訊號
CSDI‧‧‧經補償音訊輸入資料
DMC‧‧‧麥克風資料
DSM‧‧‧樣本資料
EN、EN1、EN2、EN3、EN4‧‧‧電源賦能訊號
INTCR0、INTGR0、INTMR0、INTMSR0、INTSR0、INTCR1、INTGR1、INTMR1、INTMSR1、INTSR1‧‧‧暫存器
IRQ、ITRR‧‧‧中斷訊號
ITRC‧‧‧中斷控制器
MICCLK‧‧‧麥克風時脈訊號
PD11、PD12、PD13‧‧‧接墊
PD21‧‧‧音訊輸入接墊
PD22‧‧‧音訊輸出接墊
PG1、PG2、PG3、PG4‧‧‧電源閘控電路
PWDM1‧‧‧第一電源域/始終供電域
PWDM2‧‧‧第二電源域/省電域
S100、S200、S300、S400、S510、S520、S530、S540、S550、S610、S620、S630、S640、S710、S720、S730、S740、S810、S820、S830、S840‧‧‧步驟
SAMIC‧‧‧編解碼器觸發輸入訊號
SDI、y(t)‧‧‧音訊輸入訊號
SDMIC‧‧‧麥克風觸發輸入訊號
SDO‧‧‧音訊輸出訊號
SDO'‧‧‧音訊輸出資料
SMIC‧‧‧觸發輸入訊號
s(t)‧‧‧回音訊號
s'(t)‧‧‧所估計回音訊號
SYSCNT‧‧‧系統計數器
TIF‧‧‧觸發介面
TM‧‧‧時間資訊
v(t)‧‧‧近端訊號
v'(t)‧‧‧所估計近端訊號
x(t)‧‧‧音訊輸出訊號
結合附圖閱讀以下詳細說明，將更清晰地理解各示例性實施例，附圖中：
圖1是說明根據示例性實施例操作應用處理器的方法的流程圖。
圖2A是說明根據示例性實施例的電子裝置的方塊圖。
圖2B是圖2A所示電子裝置的示例性實施方案。
圖3是說明根據示例性實施例的應用處理器的方塊圖。
圖4是說明根據示例性實施例的應用處理器中所包含的回音消除器的方塊圖。
圖5是說明根據示例性實施例的應用處理器中的語音觸發系統與音訊子系統的示例性連接的方塊圖。
圖6是說明圖5所示應用處理器中所包含的信箱模組（mail box module）的示例性實施例的圖。
圖7是說明根據示例性實施例操作應用處理器的方法的流程圖。
圖8是用於闡述圖7所示的操作應用處理器的方法的方塊圖。
圖9是說明根據示例性實施例操作應用處理器的方法的流程圖。
圖10是用於闡述圖9所示的操作應用處理器的方法的方塊圖。
圖11是說明根據示例性實施例的應用處理器中的語音觸發系統與音訊子系統的示例性連接的方塊圖。
圖12是說明根據示例性實施例操作應用處理器的方法的流程圖。
圖13是用於闡述圖12所示的操作應用處理器的方法的方塊圖。
圖14是說明根據示例性實施例的應用處理器中的語音觸發系統與音訊子系統的示例性連接的方塊圖。
圖15是說明根據示例性實施例操作應用處理器的方法的流程圖。
圖16是用於闡述圖15所示的操作應用處理器的方法的方塊圖。
圖17A及圖17B是用於闡述根據示例性實施例的應用處理器的電源域（power domain）的圖。

Claims (20)

  1. 一種應用處理器，包括： 系統匯流排； 主機處理器，電性連接至所述系統匯流排； 語音觸發系統，電性連接至所述系統匯流排，所述語音觸發系統被配置成基於藉由觸發介面所提供的觸發輸入訊號來執行語音觸發操作並發佈觸發事件；以及 音訊子系統，包括音訊介面且電性連接至所述系統匯流排，所述音訊子系統被配置成藉由所述音訊介面來處理音訊串流， 其中在藉由所述音訊介面執行音訊重播時，所述應用處理器對自麥克風接收的麥克風資料執行回音消除以產生經補償資料，且所述語音觸發系統基於所述經補償資料來執行所述語音觸發操作。
  2. 如申請專利範圍第1項所述的應用處理器，其中所有的所述系統匯流排、所述主機處理器、所述語音觸發系統、及所述音訊子系統整合於單個半導體晶片中。
  3. 如申請專利範圍第1項所述的應用處理器，其中在藉由所述音訊介面執行所述音訊重播時，所述主機處理器維持睡眠模式，且所述主機處理器不會為了所述語音觸發操作而被喚醒成工作模式。
  4. 如申請專利範圍第1項所述的應用處理器，更包括： 信箱模組，被配置成支援所述語音觸發系統與所述音訊子系統之間的資料通訊的同步化。
  5. 如申請專利範圍第4項所述的應用處理器，其中所述音訊子系統包括： 回音消除器，被配置成執行所述回音消除。
  6. 如申請專利範圍第5項所述的應用處理器，其中在藉由所述音訊介面的輸出接墊而基於音訊輸出資料執行所述音訊重播時，所述語音觸發系統藉由所述觸發介面接收所述觸發輸入訊號。
  7. 如申請專利範圍第6項所述的應用處理器， 其中所述語音觸發系統使用所述信箱模組將所述觸發輸入訊號的樣本資料傳遞至所述音訊子系統， 其中所述音訊子系統中的所述回音消除器基於所述音訊輸出資料對所述樣本資料執行所述回音消除以產生經補償樣本資料，且所述音訊子系統使用所述信箱模組將所述經補償樣本資料傳遞至所述語音觸發系統，且 其中所述語音觸發系統基於所述經補償樣本資料來執行所述語音觸發操作。
  8. 如申請專利範圍第5項所述的應用處理器，其中在藉由所述音訊介面的輸出接墊而基於音訊輸出資料執行所述音訊重播時，所述音訊子系統藉由所述音訊介面的輸入接墊接收音訊輸入訊號。
  9. 如申請專利範圍第8項所述的應用處理器， 其中所述音訊子系統中的所述回音消除器基於所述音訊輸出資料對所述音訊輸入訊號的音訊輸入資料執行所述回音消除以產生經補償音訊輸入資料，且所述音訊子系統使用所述信箱模組將所述經補償音訊輸入資料傳遞至所述語音觸發系統，且 其中所述語音觸發系統基於所述經補償音訊輸入資料來執行所述語音觸發操作。
  10. 如申請專利範圍第8項所述的應用處理器，其中在執行所述音訊重播時，所述觸發介面被去能。
  11. 如申請專利範圍第4項所述的應用處理器，其中所述語音觸發系統包括： 回音消除器，被配置成執行所述回音消除。
  12. 如申請專利範圍第11項所述的應用處理器，其中在藉由所述音訊介面的輸出接墊而基於音訊輸出資料執行所述音訊重播時，所述語音觸發系統藉由所述觸發介面接收所述觸發輸入訊號。
  13. 如申請專利範圍第12項所述的應用處理器，其中所述音訊子系統使用所述信箱模組將所述音訊輸出資料傳遞至所述語音觸發系統。
  14. 如申請專利範圍第13項所述的應用處理器， 其中所述語音觸發系統中的所述回音消除器基於所述音訊輸出資料對所述觸發輸入訊號的樣本資料執行所述回音消除以產生經補償樣本資料，且所述語音觸發系統基於所述經補償樣本資料來執行所述語音觸發操作。
  15. 如申請專利範圍第4項所述的應用處理器，其中連接至所述觸發介面的音訊編解碼器包括： 回音消除器，被配置成執行所述回音消除。
  16. 如申請專利範圍第15項所述的應用處理器，其中在藉由所述音訊介面的輸出接墊而基於音訊輸出資料執行所述音訊重播時，所述音訊編解碼器自類比麥克風接收所述麥克風資料。
  17. 如申請專利範圍第16項所述的應用處理器， 其中所述音訊編解碼器中的所述回音消除器基於所述音訊輸出資料來對所述麥克風資料執行所述回音消除以產生經補償觸發輸入訊號，且所述音訊編解碼器藉由所述觸發介面將所述經補償觸發輸入訊號傳遞至所述語音觸發系統，且 其中所述語音觸發系統基於所述經補償觸發輸入訊號來執行所述語音觸發操作。
  18. 如申請專利範圍第1項所述的應用處理器，其中所述語音觸發系統及所述音訊子系統中的每一者為電源閘控式且與所述主機處理器獨立地被賦能。
  19. 一種電子裝置，包括： 至少一個音訊輸入/輸出裝置；以及 應用處理器，包括： 系統匯流排； 主機處理器，電性連接至所述系統匯流排； 語音觸發系統，電性連接至所述系統匯流排，所述語音觸發系統被配置成基於藉由觸發介面所提供的觸發輸入訊號來執行語音觸發操作並發佈觸發事件；以及 音訊子系統，包括音訊介面且電性連接至所述系統匯流排，所述音訊子系統被配置成藉由所述音訊介面來處理音訊串流， 其中在藉由所述音訊介面執行音訊重播時，所述應用處理器對自麥克風接收的麥克風資料執行回音消除以產生經補償資料，且所述語音觸發系統基於所述經補償資料來執行所述語音觸發操作。
  20. 一種操作應用處理器的方法，包括： 由語音觸發系統基於藉由觸發介面所提供的觸發輸入訊號來執行語音觸發操作以發佈觸發事件，所述語音觸發系統與主機處理器、音訊子系統及系統匯流排一起整合於形成所述應用處理器的單個半導體晶片中，所述系統匯流排電性連接所述主機處理器、所述語音觸發系統及所述音訊子系統； 由所述音訊子系統藉由所述音訊子系統的音訊介面來處理音訊串流； 在藉由所述音訊介面執行音訊重播時，對自麥克風接收的麥克風資料執行回音消除以產生經補償資料；以及 由所述語音觸發系統基於所述經補償資料來執行所述語音觸發操作。
TW107141935A 2018-01-25 2018-11-23 支援低功率回音消除之應用處理器、包含該處理器的電子裝置及其操作方法 TWI794342B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020180009388A KR102459920B1 (ko) 2018-01-25 2018-01-25 저전력 에코 제거를 지원하는 애플리케이션 프로세서, 이를 포함하는 전자 장치 및 그 동작 방법
KR10-2018-0009388 2018-01-25
??10-2018-0009388 2018-01-25

Publications (2)

Publication Number Publication Date
TW201933335A true TW201933335A (zh) 2019-08-16
TWI794342B TWI794342B (zh) 2023-03-01

Family

ID=67145183

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107141935A TWI794342B (zh) 2018-01-25 2018-11-23 支援低功率回音消除之應用處理器、包含該處理器的電子裝置及其操作方法

Country Status (5)

Country Link
US (1) US11044368B2 (zh)
KR (1) KR102459920B1 (zh)
CN (1) CN110087166B (zh)
DE (1) DE102018129733A1 (zh)
TW (1) TWI794342B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI797850B (zh) * 2021-11-01 2023-04-01 聯發科技股份有限公司 音訊設備以及相關方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10225395B2 (en) * 2015-12-09 2019-03-05 Whatsapp Inc. Techniques to dynamically engage echo cancellation

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU7115400A (en) * 1999-08-31 2001-03-26 Accenture Llp System, method, and article of manufacture for a voice recognition system for identity authentication in order to gain access to data on the internet
US20020055844A1 (en) * 2000-02-25 2002-05-09 L'esperance Lauren Speech user interface for portable personal devices
WO2004046950A1 (en) * 2002-11-15 2004-06-03 Infineon Technologies Ag Mailbox interface between processors
KR100660607B1 (ko) 2005-04-27 2006-12-21 김봉석 에코기능을 구비한 리모컨
CN101106405A (zh) 2006-07-12 2008-01-16 北京大学深圳研究生院 回声消除器、回声消除方法及其双端通话检测系统
JP5032669B2 (ja) 2007-11-29 2012-09-26 テレフオンアクチーボラゲット エル エム エリクソン（パブル） 音声信号のエコーキャンセルのための方法及び装置
FR2945413B1 (fr) 2009-05-15 2011-05-06 Aplix Sa Element d'accrochage pour former la partie male d'un auto-agrippant
US8223986B2 (en) * 2009-11-19 2012-07-17 Apple Inc. Electronic device and external equipment with digital noise cancellation and digital audio path
US9104423B2 (en) * 2012-05-16 2015-08-11 Nvidia Corporation Method and system for advance wakeup from low-power sleep states
CN104969289B (zh) 2013-02-07 2021-05-28 苹果公司 数字助理的语音触发器
US9542933B2 (en) 2013-03-08 2017-01-10 Analog Devices Global Microphone circuit assembly and system with speech recognition
KR102394485B1 (ko) 2013-08-26 2022-05-06 삼성전자주식회사 음성 인식을 위한 전자 장치 및 방법
WO2015034504A1 (en) 2013-09-05 2015-03-12 Intel Corporation Mobile phone with variable energy consuming speech recognition module
US9582983B2 (en) 2013-09-11 2017-02-28 Intel Corporation Low power voice trigger for finding mobile devices
US20150221307A1 (en) * 2013-12-20 2015-08-06 Saurin Shah Transition from low power always listening mode to high power speech recognition mode
CN106062661B (zh) * 2014-03-31 2021-09-07 英特尔公司 用于常开常听的语音识别系统的位置感知功率管理方案
KR102208477B1 (ko) 2014-06-30 2021-01-27 삼성전자주식회사 마이크 운용 방법 및 이를 지원하는 전자 장치
US9530404B2 (en) * 2014-10-06 2016-12-27 Intel Corporation System and method of automatic speech recognition using on-the-fly word lattice generation with word histories
US10101800B2 (en) * 2015-07-29 2018-10-16 Samsung Electronics Co., Ltd. Method of managing power and electronic device
US9667803B2 (en) * 2015-09-11 2017-05-30 Cirrus Logic, Inc. Nonlinear acoustic echo cancellation based on transducer impedance
KR102476600B1 (ko) * 2015-10-21 2022-12-12 삼성전자주식회사 전자 장치, 그의 음성 인식 방법 및 비일시적 컴퓨터 판독가능 기록매체
CN106297815B (zh) * 2016-07-27 2017-09-01 武汉诚迈科技有限公司 一种语音识别场景中回音消除的方法
CN107454508B (zh) * 2017-08-23 2020-07-14 深圳创维－Rgb电子有限公司 麦克风阵列的电视机及电视系统
US10601599B2 (en) * 2017-12-29 2020-03-24 Synaptics Incorporated Voice command processing in low power devices

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI797850B (zh) * 2021-11-01 2023-04-01 聯發科技股份有限公司 音訊設備以及相關方法
US11863710B2 (en) 2021-11-01 2024-01-02 Mediatek Inc. Audio device and method for detecting device status of audio device in audio/video conference

Also Published As

Publication number Publication date
US11044368B2 (en) 2021-06-22
US20190228788A1 (en) 2019-07-25
CN110087166B (zh) 2022-01-14
KR102459920B1 (ko) 2022-10-27
TWI794342B (zh) 2023-03-01
CN110087166A (zh) 2019-08-02
KR20190090553A (ko) 2019-08-02
DE102018129733A1 (de) 2019-07-25

Similar Documents

Publication Publication Date Title
US11256638B2 (en) Application processor supporting interrupt during audio playback, electronic device including the same and method of operating the same
US11216399B2 (en) Application processor for low power operation, electronic device including the same and method of operating the same
US11061465B2 (en) Application processor including low power voice trigger system with security, electronic device including the same and method of operating the same
TWI794342B (zh) 支援低功率回音消除之應用處理器、包含該處理器的電子裝置及其操作方法
TWI776988B (zh) 包含具插話用直接路徑之低電力語音觸發系統的應用處理器、包含該處理器的電子裝置及其操作方法
US10783887B2 (en) Application processor including low power voice trigger system with external interrupt, electronic device including the same and method of operating the same
US11409680B2 (en) Method of operating audio subsystem for USB module, system-on-chip performing the same and method of operating system-on-chip using the same
WO2013179737A1 (en) Information terminal and program