TWI791662B - 包含具安全性之低電力語音觸發系統的應用處理器 - Google Patents

包含具安全性之低電力語音觸發系統的應用處理器 Download PDF

Info

Publication number
TWI791662B
TWI791662B TW107139624A TW107139624A TWI791662B TW I791662 B TWI791662 B TW I791662B TW 107139624 A TW107139624 A TW 107139624A TW 107139624 A TW107139624 A TW 107139624A TW I791662 B TWI791662 B TW I791662B
Authority
TW
Taiwan
Prior art keywords
voice
secure
trigger
audio
application processor
Prior art date
Application number
TW107139624A
Other languages
English (en)
Other versions
TW201933085A (zh
Inventor
金善奎
Original Assignee
南韓商三星電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 南韓商三星電子股份有限公司 filed Critical 南韓商三星電子股份有限公司
Publication of TW201933085A publication Critical patent/TW201933085A/zh
Application granted granted Critical
Publication of TWI791662B publication Critical patent/TWI791662B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/3287—Power saving characterised by the action undertaken by switching off individual functional units in the computer system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G06F1/3253—Power saving in bus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/40—Bus structure
    • G06F13/4063—Device-to-bus coupling
    • G06F13/4068—Electrical coupling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/71—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer to assure secure computing or processing of information
    • G06F21/74—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer to assure secure computing or processing of information operating in dual or compartmented mode, i.e. at least one secure mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/78—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer to assure secure storage of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/78—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer to assure secure storage of data
    • G06F21/79—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer to assure secure storage of data in semiconductor storage media, e.g. directly-addressable memories
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/86—Secure or tamper-resistant housings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/062—Securing storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L25/84—Detection of presence or absence of voice signals for discriminating voice from noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2149—Restricted operating environment
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L7/00—Arrangements for synchronising receiver with transmitter

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Power Sources (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一種應用處理器包括系統匯流排、主機處理器及語音觸 發系統，所述主機處理器及所述語音觸發系統電性連接至所述系統匯流排。所述語音觸發系統基於藉由觸發介面所提供的觸發輸入訊號來執行語音觸發操作並發佈觸發事件。所述語音觸發系統是與所述主機處理器獨立地為安全的。所述語音觸發系統在所述系統匯流排及所述主機處理器被去能的睡眠模式期間基於安全的使用者語音資訊來執行所述語音觸發操作，所述安全的使用者語音資訊儲存於安全的所述語音觸發系統中的安全區中。

Description

包含具安全性之低電力語音觸發系統的應用處 理器 [相關申請案的交叉參考]
本申請案主張於2018年1月25日在韓國智慧財產局(Korean Intellectual Property Office，KIPO)提出申請的韓國專利申請案第10-2018-0009410號的優先權利，所述韓國專利申請案的內容全部併入本文中供參考。
各示例性實施例大體而言是有關於半導體積體電路，且更具體而言是有關於包含具安全性的低電力語音觸發系統的應用處理器、包含所述應用處理器的電子裝置、以及操作所述應用處理器的方法。
近來，基於語音(voice-based)的或基於聲音(sound-based)的智慧介面已被引入至市場中。此類基於語音的智慧介面的一個優點是，使用者可在無需握持或甚至注視裝置的 情況下以免提方式與裝置互動。當人們無法或不應實體上握持裝置時，例如當其正在駕駛時，免提操作可為特別有益的。然而，為起始基於語音的智慧介面，使用者通常必須按壓按鈕或選擇觸控螢幕上的圖標。此種觸覺輸入有損於基於語音的智慧介面的使用者體驗。
因此，電子裝置一直被開發成使用語音、話音、聲音、感測等輸入而非觸覺輸入來啟用基於語音的智慧介面。此種電子裝置需要連續地或間歇地監測音訊通道，以偵測語音輸入並發佈觸發事件來起始基於語音的智慧介面。發佈觸發事件的操作可被稱為語音觸發操作(voice trigger operation)。對音訊通道的此種監測會消耗電力，而電力在依賴於電池的手持式或可攜式裝置上是有限的資源。因此，提供一種與語音觸發操作相關聯的節能型解決方案是有益的。
本發明的至少一個示例性實施例提供一種包含語音觸發系統的應用處理器，所述語音觸發系統能夠以低電力執行語音觸發操作且能夠支援安全特徵。
本發明的至少一個示例性實施例提供一種包含所述應用處理器的電子裝置。
在一些實施例中，本發明是有關於一種應用處理器，包括：系統匯流排；主機處理器，電性連接至所述系統匯流排；以 及語音觸發系統，電性連接至所述系統匯流排，所述語音觸發系統被配置成基於藉由觸發介面所提供的觸發輸入訊號來執行語音觸發操作並發佈觸發事件，其中所述語音觸發系統是與所述主機處理器獨立地為安全的，且其中所述語音觸發系統被配置成在所述系統匯流排及所述主機處理器被去能(disable)的睡眠模式期間基於安全的使用者語音資訊來執行所述語音觸發操作，所述安全的使用者語音資訊儲存於安全的所述語音觸發系統中的安全區中。
在一些實施例中，本發明是有關於一種電子裝置，包括：應用處理器；以及至少一個音訊輸入-輸出裝置，所述應用處理器包括：系統匯流排；主機處理器，電性連接至所述系統匯流排；以及語音觸發系統，電性連接至所述系統匯流排，所述語音觸發系統被配置成基於藉由觸發介面所提供的觸發輸入訊號來執行語音觸發操作並發佈觸發事件，其中所述語音觸發系統是與所述主機處理器獨立地為安全的，且其中所述語音觸發系統被配置成在所述系統匯流排及所述主機處理器被去能的睡眠模式期間基於安全的使用者語音資訊來執行所述語音觸發操作，所述安全的使用者語音資訊儲存於安全的所述語音觸發系統中的安全區中。
在一些實施例中，本發明是有關於一種操作應用處理器的方法，所述方法包括：使與主機處理器獨立地為安全的語音觸發系統運作，所述語音觸發系統與所述主機處理器及系統匯流排一起整合於形成所述應用處理器的單個半導體晶片中，所述系統 匯流排電性連接所述主機處理器與所述語音觸發系統；以及由安全的所述語音觸發系統在所述系統匯流排及所述主機處理器被去能的睡眠模式期間基於觸發輸入訊號及安全的使用者語音資訊來執行語音觸發操作，以發佈觸發事件，所述觸發輸入訊號是藉由觸發介面而提供，所述安全的使用者語音資訊儲存於安全的所述語音觸發系統中的安全區中。
根據示例性實施例的應用處理器、包含所述應用處理器的電子裝置及操作所述應用處理器的方法可藉由將語音觸發系統整合於所述應用處理器中而以低電力及高效率來執行語音觸發操作。晶片上(on-chip)語音觸發系統可代替應用處理器中的主機處理器來執行一些操作，以降低電子裝置的電力消耗並增強電子裝置的效能。
另外，可由與主機處理器獨立地為安全的語音觸發系統執行語音觸發操作及/或訓練操作。因此，與設置於應用處理器外部的傳統語音觸發系統相較，根據示例性實施例包含語音觸發系統的應用處理器可支援增強型安全特徵且可具有改良的安全效能。
2:前置攝影機
3、62:揚聲器
4:近接感測器
5:亮度感測器
6:通用串列匯流排介面
7:電源按鈕
8:音量按鈕
9:顯示與觸控螢幕
10:圖標
11:選單按鈕
12:主頁按鈕
13:後退按鈕
14:麥克風
15:音訊輸出介面
16:天線
31、32、33、SEN1、SEN2、SEN3:感測器
40、DMIC:數位麥克風
50、CODEC:音訊編解碼器
61、AMIC:類比麥克風
70、BTM:藍芽模組
80、BTAUD:藍芽音訊模組
81、BMIC:藍芽麥克風
82、85:藍芽揚聲器
100、101:主機處理器/中央處理單元
101a:主機處理器
111:非安全應用
112、NS_OS:非安全作業系統
113:非安全驅動程式
121:安全應用
122、S_OS:安全作業系統
123:安全驅動程式
200、201、201a、203、VTS:語音觸發系統
211、IFV:觸發介面電路
221、WRPP:包裝器
231、MEMV:觸發記憶體
231a:安全記憶體
241、PRCV:觸發處理器
241a:安全處理器
250、AUD:音訊處理系統
300、301、ABOX:音訊子系統
311、IFA:音訊介面電路
321、DMA:直接記憶體存取控制器
331、MEMA:音訊記憶體
341、PRCA:音訊處理器
400、403、CHUB:感測器中樞
413、LOGS:感測器邏輯
423、MEMS:感測器記憶體
433、PRCS:感測器處理器
500、600:直接匯流排
810、ITRC:中斷控制器
820、PROC:保護控制器
830、ASP:位址空間保護器
840、CFW:內容防火牆
900、MBXa、MBXb、MBXc、SMBX、SMBXa、SMBXb:信箱模組
910:介面
920:訊息方塊
930:第一暫存器電路
940:第二暫存器電路
1000、1000a:電子裝置
1200、1201、MEM:記憶體裝置
1300、1301、STRG:儲存裝置
1400:功能模組/通訊模組
1500:功能模組/攝影機模組
1600:功能模組/輸入-輸出模組
1700:功能模組/音訊模組
1800、PMIC:電源管理積體電路
2000、2001、2002、2003、2004、AP:應用處理器
2100、SYSBUS:系統匯流排
2110:AHB2APB橋接器
AIF:音訊介面
APM:工作電源管理器
EN、EN1、EN2、EN3、EN4:電源賦能訊號
INTCR0、INTGR0、INTMR0、INTMSR0、INTSR0、INTCR1、INTGR1、INTMR1、INTMSR1、INTSR1:暫存器
ITRR、IRQ:中斷訊號
MICCLK:麥克風時脈訊號
NSRM:非安全記憶體區
NSRS:非安全儲存區
NTEE:不受信任執行環境
PD11、PD12、PD13、PD31、PD32、PD33:接墊
PD21:音訊輸入接墊/接墊
PD22:音訊輸出接墊/接墊
PG1、PG2、PG3、PG4:電源閘控電路
PWDM1:第一電源域/始終供電域
PWDM2:第二電源域/省電域
S100、S200、S300、S510、S520、S530、S710、S720、S730:步驟
SAMIC、SDMIC:觸發輸入訊號
SDI:音訊輸入訊號
SDO:音訊輸出訊號
SRM:安全記憶體區
SRS:安全儲存區
SYSCNT:系統計數器
TEE:受信任執行環境
TIF:觸發介面
TM:時間資訊
UVI:使用者語音資訊
結合附圖閱讀以下詳細說明，將更清晰地理解說明性非限制性示例性實施例。
圖1是說明根據示例性實施例操作應用處理器的方法的流程 圖。
圖2A是說明根據示例性實施例的電子裝置的方塊圖。
圖2B是圖2A所示電子裝置的示例性實施方案。
圖3是說明根據示例性實施例的應用處理器的方塊圖。
圖4是說明根據示例性實施例的應用處理器中的語音觸發系統與音訊子系統的示例性連接的方塊圖。
圖5是說明圖4所示應用處理器中的語音觸發系統與主機處理器的示例性連接的方塊圖。
圖6是說明圖4所示應用處理器中所包含的信箱模組(mail box module)的示例性實施例的圖。
圖7是說明根據示例性實施例的應用處理器中的語音觸發系統與音訊子系統的示例性連接的方塊圖。
圖8是說明根據示例性實施例操作應用處理器的方法的流程圖。
圖9及圖10是說明根據示例性實施例的應用處理器中的語音觸發系統與感測器中樞(sensor hub)的示例性連接的方塊圖。
圖11是說明根據示例性實施例操作應用處理器的方法的流程圖。
圖12A及圖12B是用於闡述根據示例性實施例的應用處理器的電源域(power domain)的圖。
將參照其中示出各實施例的附圖更全面地闡述各種示例性實施例。然而，本發明可被實施為諸多不同形式，且不應被視為僅限於本文中所述的實施例。在本申請案通篇中，相同的參考編號指代相同的元件。
圖1是說明根據示例性實施例操作應用處理器的方法的流程圖。
參照圖1，在主機處理器、語音觸發系統及電性連接主機處理器與語音觸發系統的系統匯流排被整合為單個半導體晶片的應用處理器中，使與主機處理器獨立地為安全的語音觸發系統運作或對所述語音觸發系統進行驅動(步驟S100)。舉例而言，語音觸發系統可與主機處理器整合於一起，且系統匯流排可在單個半導體晶片中電性連接主機處理器與語音觸發系統以形成應用處理器。本文中所使用的被闡述為「電性連接(electrically connected)」的元件被配置成使得通訊訊號可自一個元件傳遞至另一元件，藉此容許在各元件之間進行通訊。被闡述為「安全(secure)」或「安全的(secured)」的元件是具有增強型安全協定及/或技術的元件，如以下更全面地論述。
在系統匯流排及主機處理器被去能的睡眠模式期間，由安全的語音觸發系統基於觸發輸入訊號及安全的使用者語音資訊(或安全的觸發聲音)執行語音觸發操作以發佈觸發事件(步驟S200)。所述觸發輸入訊號是藉由觸發介面而提供，且所述安全的使用者語音資訊儲存於安全的語音觸發系統中的安全區中。所述 安全區可為語音觸發系統的使用安全協定來保護其中所儲存的資訊的記憶體區或儲存區。
本發明中的語音觸發操作可指示用以監測觸發輸入訊號是否包含特定觸發聲音並在偵測到所述觸發聲音時發佈觸發事件(例如中斷訊號)以起始語音辨識模式或基於語音的智慧介面的操作。舉例而言，所述觸發輸入訊號可為當藉由語音觸發操作偵測到時使安全的語音觸發系統發佈觸發事件的預定義訊號或行動。語音辨識模式的起始可包括將主機處理器及/或系統匯流排啟動成工作模式(active mode)。舉例而言，為降低電力消耗，可在睡眠模式期間(例如，在系統匯流排及主機處理器被去能且只有語音觸發系統被賦能(enable)時)執行語音觸發操作，且當觸發事件被發佈以起始語音辨識模式時，系統匯流排及主機處理器可進入或被喚醒成工作模式。
在一些示例性實施例中，觸發聲音可包括人類語音的詞語及片語。在其他示例性實施例中，觸發聲音可包括除人類語音之外的聲音，例如口哨聲、拍手的聲音、汽笛聲、碰撞的聲音、具有特定頻率範圍、振幅及/或持續時間的音波等。特定觸發聲音可為預定義的且儲存於安全的語音觸發系統的記憶體中。在本發明中，使用者語音資訊可對應於以上所述的觸發聲音。
在主機處理器於系統匯流排及主機處理器被賦能的工作模式期間執行安全作業系統(operating system，OS)時，可由安全的語音觸發系統執行訓練操作以獲得安全的使用者語音資訊 (步驟S300)。
雖然圖1說明步驟S300是在執行步驟S100及S200之後被執行的實例，然而各實施例並非僅限於此。舉例而言，可首先執行步驟S300以獲得安全的使用者語音資訊，且然後，可在稍後執行步驟S100及S200以發佈觸發事件。
根據示例性實施例的應用處理器、包含所述應用處理器的電子裝置及操作所述應用處理器的方法可藉由將語音觸發系統整合於所述應用處理器中而以低電力及高效率來執行語音觸發操作。另外，可由與主機處理器獨立地為安全的語音觸發系統執行語音觸發操作及/或訓練操作。所述語音觸發系統可包括為資料提供機密性及完整性及/或控制對資料的存取以保護所述資料的安全策略及/或技術。在某些所揭露的實施例中，所述語音觸發系統可與主機處理器獨立地為安全的，以使得所述語音觸發系統具有與所述主機處理器獨立的安全策略及/或技術，藉此為所述語音觸發系統提供提高的安全性等級。因此，與設置於應用處理器外部的傳統語音觸發系統相較，根據示例性實施例包含語音觸發系統的應用處理器可支援增強型安全特徵且可具有改良的安全效能。
圖2A是說明根據示例性實施例的電子裝置的方塊圖。
參照圖2A，電子裝置1000包括應用處理器AP 2000、記憶體裝置1200、儲存裝置1300、多個功能模組1400、1500、1600及1700、以及電源管理積體電路PMIC 1800。
按照所揭露技術的領域中的傳統，依據功能區塊、單元 及/或模組來闡述並在圖式中說明各特徵及實施例。熟習此項技術者應瞭解，該些區塊、單元及/或模組是藉由可使用基於半導體的製作技術或其他製造技術而形成的電子(或光學)電路(例如邏輯電路、離散組件、微處理器、硬佈線電路(hard-wired circuit)、記憶體元件、佈線連接件等)來實體地實作。在由微處理器或類似元件實作所述區塊、單元及/或模組的情形中，所述微處理器或類似元件可使用軟體(例如，微碼)來進行程式化以執行本文所論述的各種功能，且可視需要由韌體及/或軟體來驅動。作為另外一種選擇，每一區塊、單元及/或模組可由專用硬體來實作，或者實作為用於執行一些功能的專用硬體與用於執行其他功能的處理器(例如，一或多個經程式化微處理器及相關聯的電路系統)的組合。此外，所述實施例的每一區塊、單元及/或模組可在不背離本發明概念的範圍的條件下被實體地分離成二或更多個相互作用的且離散的區塊、單元及/或模組。此外，所述實施例的區塊、單元及/或模組可在不背離本發明概念的範圍的條件下被實體地組合成更複雜的區塊、單元及/或模組。
應用處理器2000控制電子裝置1000的整體操作。舉例而言，應用處理器2000可控制記憶體裝置1200、儲存裝置1300以及所述多個功能模組1400、1500、1600及1700。應用處理器2000可為系統晶片(system on chip，SoC)。
應用處理器2000可包括系統匯流排2100、主機處理器或中央處理單元(central processing unit，CPU)100、語音觸發系 統VTS 200、及音訊處理系統AUD 250，後三者電性連接至系統匯流排2100。
語音觸發系統200可電性連接至系統匯流排2100。語音觸發系統200可基於藉由觸發介面所提供的觸發輸入訊號來執行語音觸發操作並發佈觸發事件。音訊處理系統250可包括音訊子系統且更包括感測器中樞，如以下將進行闡述。所述音訊子系統可電性連接至系統匯流排2100，以處理藉由音訊介面所重播或記錄的音訊串流。另外，所述音訊子系統可更支援音訊串流在音訊介面與記憶體裝置1200之間的傳遞。本文中所使用的用語「音訊串流(audio stream)」可指代音訊資料訊號(例如由音訊處理系統250傳送及/或接收的數位資料)的連續傳送或接收，其被設計成獲得或提供不中斷音訊(聲音)，例如自揚聲器輸出或者由麥克風記錄的不中斷音樂或語音(應瞭解，音訊資料訊號的連續傳送可呈不連續地傳送或接收的離散音訊資料包的形式(例如藉由穿插有不相關資料的通訊))。以下將參照圖3至圖12B來闡述語音觸發系統200及音訊處理系統250的示例性實施例。
記憶體裝置1200及儲存裝置1300可為電子裝置1000的操作儲存資料。記憶體裝置1200可包括揮發性記憶體裝置，例如動態隨機存取記憶體(dynamic random access memory，DRAM)、靜態隨機存取記憶體(static random access memory，SRAM)、行動DRAM等。儲存裝置1300可包括非揮發性記憶體裝置，例如可抹除可程式化唯讀記憶體(erasable programmable read-only memory，EPROM)、電可抹除可程式化唯讀記憶體(electrically erasable programmable read-only memory，EEPROM)、快閃記憶體、相變隨機存取記憶體(phase change random access memory，PRAM)、電阻隨機存取記憶體(resistance random access memory，RRAM)、奈米浮閘記憶體(nano floating gate memory，NFGM)、聚合物隨機存取記憶體(polymer random access memory，PoRAM)、磁性隨機存取記憶體(magnetic random access memory，MRAM)、鐵電式隨機存取記憶體(ferroelectric random access memory，FRAM)等。在一些示例性實施例中，儲存裝置1300可更包括嵌入式多媒體卡(embedded multimedia card，eMMC)、通用快閃儲存器(universal flash storage，UFS)、固態磁碟機(solid state drive，SSD)、硬碟機(hard disk drive，HDD)、光碟-唯讀記憶體(compact disc-read only memory，CD-ROM)等。
功能模組1400、1500、1600及1700可為被配置成執行電子裝置1000的各種功能的電子電路。舉例而言，電子裝置1000可包括：通訊模組1400，執行通訊功能(例如，分碼多重存取(code division multiple access，CDMA)模組、長期演進(long term evolution，LTE)模組、射頻(radio frequency，RF)模組、超寬頻(ultra-wideband，UWB)模組、無線區域網路(wireless local area network，WLAN)模組、全球微波存取互通(worldwide interoperability for microwave access，WIMAX)模組等)；攝影機 模組1500，執行攝影機功能(例如，擷取並儲存影像)；輸入-輸出(input-output，I/O)模組1600，包括顯示模組及觸控面板模組，所述顯示模組執行顯示功能，所述觸控面板模組執行觸控感測功能；以及音訊模組1700，包括麥克風(microphone，MIC)模組、揚聲器模組等，執行音訊訊號的輸入-輸出。在一些示例性實施例中，電子裝置1000可更包括一或多個附加模組，例如，全球定位系統(global positioning system，GPS)模組、陀螺儀模組等。然而，電子裝置1000中的功能模組1400、1500、1600及1700並非僅限於此。
電源管理積體電路PMIC 1800可將操作電壓提供至應用處理器2000、記憶體裝置1200、儲存裝置1300、以及功能模組1400、1500、1600及1700。
圖2B是圖2A所示電子裝置的示例性實施方案。
圖2A所示電子裝置1000可為例如以下等的裝置：桌上型電腦、膝上型電腦、蜂巢式電話(cellular phone)、智慧型電話、MP3播放器、個人數位助理(personal digital assistant，PDA)、可攜式多媒體播放器(portable multimedia player，PMP)、數位電視機、數位攝影機、伺服器電腦、工作站、機上盒、可攜式遊戲機、導航系統、可穿戴裝置、物聯網(internet of things，IoT)裝置、萬物聯網(internet of everything，IoE)裝置、電子書、虛擬實境(virtual reality，VR)裝置、擴增實境(augmented reality，AR)裝置等。電子裝置1000通常可因應於直接使用者輸入而運作，但 亦可用於藉由網際網路或其他網路通訊系統與其他裝置進行通訊。圖2B說明包括觸控螢幕的蜂巢式電話或智慧型電話作為圖2A所示電子裝置1000的實例。
參照圖2B，電子裝置1000a包括前置攝影機2、揚聲器3、近接感測器4、亮度感測器5、通用串列匯流排(universal serial bus，USB)介面6、電源按鈕7、音量按鈕8、顯示與觸控螢幕9、圖標10、選單按鈕11、主頁按鈕(home button)12、後退按鈕(back button)13、麥克風14、音訊輸出介面15、及天線16。
前置攝影機2可與顯示與觸控螢幕9面向同一方向，且用於視訊呼叫或者視訊或照片拍攝。當例如使用者藉由在圖標10中的一者上對顯示與觸控螢幕9進行觸控或者利用話音而輸入訊號來播放多媒體資料、藉由公用交換電話網路與另一使用者通話、播放電子裝置1000a的操作聲音、或者以其他方式起始通知聲音時，揚聲器3可輸出音訊聲音。近接感測器4可控制顯示與觸控螢幕9的接通或關斷，以節省電力並在使用者將電子裝置1000a舉起至耳朵以進行電話交談時防止誤操作。亮度感測器5可根據自電子裝置1000a的周圍環境入射的光的量來控制顯示與觸控螢幕9及前置攝影機2的操作。USB介面6可為用於與外部裝置及電源供應器進行資料通訊的輸入/輸出介面。
電源按鈕7可接通或關斷電子裝置1000a的電源，或者可接通或關斷顯示與觸控螢幕9。音量按鈕8可控制揚聲器3的音訊輸出。在顯示與觸控螢幕9上可顯示與不同的功能對應的圖標 10。舉例而言，使用者可藉由例如對圖標10進行觸控來選擇與多媒體資料的回放對應的圖標10。
選單按鈕11可容許使用者瀏覽包含圖標及設定的選單。主頁按鈕12可容許甚至在電子裝置1000a正在顯示與觸控螢幕9上執行某一操作時亦顯現主頁畫面(home screen)以達成多工作模式(multi-working mode)。後退按鈕13可取消當前正由電子裝置1000a執行的操作並使使用者返回至前一畫面。
麥克風14可為用於語音呼叫或語音輸入訊號的輸入-輸出(I/O)介面。音訊輸出介面15(例如，耳機插孔)可用於正被播放的多媒體資料的音訊輸出。雖然圖中未示出，然而可藉由支援藍芽(Bluetooth)的裝置來介接音訊輸出及麥克風輸入。天線16可用於傳送及接收通訊訊號及資料。舉例而言，天線16可用於接收數位媒體廣播服務。可以此項技術中具有通常知識者可達成的各種方式來實施電子裝置1000a的元件。圖2B所示元件中的一些元件可被省略或被替換成其他元件。
圖3是說明根據示例性實施例的應用處理器的方塊圖。
參照圖3，應用處理器2000可包括系統匯流排SYSBUS 2100、主機處理器或CPU 100、語音觸發系統200、音訊子系統300、及感測器中樞400。音訊子系統300及感測器中樞400可包含於圖2A所示音訊處理系統250中。根據示例性實施例，應用處理器2000可更包括工作電源管理器APM、信箱模組MBXa、MBXb及MBXc、以及中斷控制器ITRC。
系統匯流排2100可被稱為互連裝置或骨幹(backbone)。系統匯流排2100可包括較高層匯流排、較低層匯流排、以及連接較高層匯流排與較低層匯流排的橋接器。舉例而言，系統匯流排2100可包括例如進階可延伸介面(advanced extensible interface，AXI)、進階高效能匯流排(advanced high-performance bus，AHB)、進階周邊匯流排(advanced peripheral bus，APB)等各種匯流排、以及連接所述各種匯流排的至少一個橋接器。主機處理器100可藉由系統匯流排2100來存取外部裝置，例如記憶體裝置MEM 1200及/或儲存裝置STRG 1300。另外，主機處理器100可藉由系統匯流排2100與語音觸發系統200、音訊子系統300及感測器中樞400進行通訊。
雖然為方便說明在圖3中僅說明瞭一個中斷控制器ITRC，然而中斷控制器ITRC可包括至少一個通用中斷控制器(general interrupt controller，GIC)、至少一個向量化中斷控制器(vectored interrupt controller，VIC)等。舉例而言，中斷控制器ITRC可被實作為可程式化中斷控制器(programmable interrupt controller，PIC)。可利用具有由向量表示的優先級系統的多個層來實作可程式化中斷控制器。可程式化中斷控制器可自周邊裝置接收中斷訊號、確定所接收中斷訊號的優先級並向處理器或控制器發佈具有指標位址(pointer address)的中斷訊號。
工作電源管理器APM可管理應用處理器2000的電源。舉例而言，工作電源管理器APM可管理對應用處理器2000的相 應區或功能區塊供應的單獨的電力。信箱模組MBXa、MBXb及MBXc可支援應用處理器2000中的各元件之間的資料通訊或應用處理器2000與外部裝置之間的資料通訊的同步化。以下將參照圖6來闡述信箱模組MBXa、MBXb及MBXc。
雖然圖3說明語音觸發系統200與音訊子系統300藉由一個信箱模組MBXc彼此連接且語音觸發系統200與感測器中樞400藉由一個工作電源管理器APM以及兩個信箱模組MBXa及MBXb彼此連接的實例，然而本發明並非僅限於此。舉例而言，語音觸發系統200與音訊子系統300可藉由一個工作電源管理器及兩個信箱模組彼此連接，及/或語音觸發系統200與感測器中樞400可藉由一個信箱模組彼此連接。
語音觸發系統200電性連接至系統匯流排2100。語音觸發系統200基於藉由觸發介面所提供的觸發輸入訊號來執行語音觸發操作並發佈觸發事件。在一些示例性實施例中，語音觸發系統200可自數位麥克風DMIC 40及/或音訊編解碼器(編碼器及解碼器)CODEC 50接收觸發輸入訊號。舉例而言，語音觸發系統200的觸發介面可直接連接至數位麥克風40及音訊編解碼器50，藉此容許在語音觸發系統200與數位麥克風40之間進行通訊且容許在語音觸發系統200與音訊編解碼器50之間進行通訊。音訊編解碼器50可對自數位麥克風40或類比麥克風AMIC 61接收的音訊訊號以及輸出至揚聲器62的音訊訊號執行編碼及解碼(例如，類比至數位轉換(analog-to-digital conversion，ADC)及數位至類 比轉換(digital-to-analog conversion，DAC))。數位麥克風40可為與應用處理器2000一起安裝於電子裝置(例如，電子裝置1000)的電路板上的板上(on-board)麥克風。類比麥克風61及揚聲器62可為可附裝至音訊編解碼器50的端子以及可自所述端子拆卸的裝置。
音訊子系統300電性連接至系統匯流排2100。音訊子系統300處理藉由音訊介面所重播或記錄的音訊串流，且支援音訊串流在記憶體裝置1200與音訊介面之間的傳遞。在一些示例性實施例中，音訊子系統300可與音訊編解碼器50及/或藍芽模組BTM 70交換(例如，傳送及接收)音訊串流。舉例而言，音訊子系統300的音訊介面可藉由有線通訊媒體或無線通訊媒體(例如，匯流排、線路、纜線、RF通訊系統等)直接連接至音訊編解碼器50及藍芽模組70。藍芽模組70可藉由藍芽音訊模組BTAUD 80連接至藍芽麥克風BMIC 81及藍芽揚聲器82，以自藍芽麥克風81接收音訊訊號以及將音訊訊號輸出至藍芽揚聲器82。藍芽模組70可藉由有線通訊媒體或無線通訊媒體(例如，匯流排、線路、纜線、RF通訊系統等)直接連接至另一藍芽揚聲器85或另一藍芽裝置。雖然圖3中未說明，然而音訊子系統300可連接至通用串列匯流排(USB)模組，以與所述USB模組交換音訊串流。
感測器中樞400電性連接至系統匯流排2100。感測器中樞400處理自一或多個感測器SEN1 31及SEN2 32提供的訊號。感測器中樞400可量測與電子裝置1000相關聯的物理量並且處理 所量測的物理量，以確定電子裝置1000的操作狀態並處理所確定的操作狀態。舉例而言，感測器31及32可包括運動感測器、陀螺儀感測器、大氣壓力感測器、磁感測器、加速度計、緊握感測器(grip sensor)、近接感測器、生物辨識感測器(biometric sensor)、溫度/濕度感測器、照度感測器、以及紫外線(ultra violet，UV)感測器、電鼻子(electrical-nose，E-nose)感測器、肌電圖(electromyography，EMG)感測器、腦電圖(electroencephalogram，EEG)感測器、心電圖(electrocardiogram，ECG)感測器、紅外線(infrared，IR)感測器、虹膜感測器、及/或指紋感測器。
在一些示例性實施例中，如圖3中所說明，所有的系統匯流排2100、語音觸發系統200、音訊子系統300及感測器中樞400可整合於形成應用處理器2000的單個半導體晶片中。在其他示例性實施例中，系統匯流排2100、語音觸發系統200及音訊子系統300可整合於單個晶片中，且感測器中樞400可設置於應用處理器2000的外部(例如，被設置為另一半導體晶片或與另一半導體晶片設置於一起)。因此，根據示例性實施例的應用處理器2000、包含應用處理器2000的電子裝置1000、及操作應用處理器2000的方法可藉由將語音觸發系統整合於應用處理器2000中而以低電力及高效率來執行語音觸發操作。
圖4是說明根據示例性實施例的應用處理器中的語音觸發系統與音訊子系統的示例性連接的方塊圖。為方便說明在圖4 中省略了圖3所示的感測器中樞400及其他元件，且可不再對與圖3重複的內容進行贅述。
參照圖4，應用處理器2001可包括系統匯流排SYSBUS 2100、主機處理器或CPU 101、語音觸發系統201、音訊子系統301、及信箱模組SMBX。音訊子系統301可包含於圖2A所示音訊處理系統250中。應用處理器2001可更包括中斷控制器ITRC 810、保護控制器PROC 820、位址空間保護器ASP 830、及內容防火牆CFW 840。中斷控制器810、保護控制器820、位址空間保護器830及內容防火牆840中的每一者可藉由例如邏輯電路、離散組件、微處理器、硬佈線電路、記憶體元件、佈線連接件等的電子(或光學)電路來實作。若藉由微處理器或類似元件實作，則所述微處理器或類似元件可使用軟體(例如，微碼)來進行程式化，以執行本文所述的各種功能。所述軟體可作為一或多個指令或碼儲存於電腦可讀取媒體(例如，RAM、ROM、儲存媒體等)(例如本文所述的電腦可讀取媒體)上。在工作模式期間，系統匯流排2100及主機處理器101被賦能。舉例而言，在工作模式中，系統匯流排2100及主機處理器101可被啟用且可供使用或運作。主機處理器101可在工作模式期間執行安全作業系統(OS)S_OS及非安全作業系統(或正常作業系統)NS_OS中的一者。應用處理器2001可基於安全作業系統S_OS而以安全模式運作或者基於非安全作業系統NS_OS而以非安全模式(正常模式)運作。
在睡眠模式期間，系統匯流排2100及主機處理器101 被去能。舉例而言，在睡眠模式中，系統匯流排2100及主機處理器101可處於低電力模式，且運作被暫停。換言之，系統匯流排2100及主機處理器101在睡眠模式期間可不運作，且因此安全作業系統S_OS及非安全作業系統NS_OS在睡眠模式期間可不被執行。
語音觸發系統201電性連接至系統匯流排2100。語音觸發系統201基於藉由觸發介面TIF被提供至語音觸發系統201的觸發輸入訊號SDMIC及SAMIC來執行語音觸發操作。語音觸發系統201可自數位麥克風DMIC 40接收觸發輸入訊號SDMIC及/或自音訊編解碼器(編碼器及解碼器)CODEC 50接收觸發輸入訊號SAMIC。可在語音觸發系統201、數位麥克風40及音訊編解碼器50之間傳遞麥克風時脈訊號MICCLK，以使訊號傳遞同步化。可藉由接墊PD11、PD12及PD13來傳遞觸發輸入訊號SDMIC及SAMIC以及麥克風時脈訊號MICCLK。接墊PD11、PD12及PD13可被實作成使得可防止已使用的接墊受其他未使用的接墊干擾。舉例而言，接墊PD11、PD12及PD13可彼此電隔離，藉此防止在接墊PD11、PD12及PD13之間發生訊號干擾。
根據示例性實施例的語音觸發系統201是與主機處理器101獨立地為安全的。舉例而言，語音觸發系統201可具有與主機處理器101獨立及/或不同的安全協定或者可與主機處理器101的安全協定獨立及/或不同地運作的安全協定。安全的語音觸發系統201可意指：語音觸發系統201具有抵禦篡改攻擊(例如微探測 (micro-probing)、軟體攻擊、竊聽、故障注入攻擊等)的防篡改功能，且所述防篡改功能可以各種配置及/或演算法來實作。另外，與主機處理器101獨立地為安全的語音觸發系統201可意指：甚至在系統匯流排2100及主機處理器101被去能的睡眠模式期間，語音觸發系統201亦在不受主機處理器101的支援的情況下獨立地或自主地以安全模式運作。
在一些示例性實施例中，語音觸發系統201可包含於整合於應用處理器2001中的安全元件中，以使得語音觸發系統201是與主機處理器101獨立地為安全的。舉例而言，語音觸發系統201可基於硬體配置(例如，使用以硬體來實作的安全元件)而是獨立地安全的。所述安全元件可為安全的系統、模組、裝置、區及/或資料，或者可為以安全模式運作的系統、模組、裝置、區及/或資料。另外，與語音觸發系統201相關聯的軟體(例如框架(framework)、硬體抽象化層(hardware abstraction layer，HAL)、核心驅動程式(kernel driver)等)可儲存於安全記憶體區及/或安全儲存區中並在安全作業系統S_OS上執行，且因此，輸入至語音觸發系統201的所有訊號及資料可為安全的並受到保護。
在圖4所示的示例性方塊圖中，由粗實線所說明的每一元素可表示安全的系統、模組、裝置、區及/或資料，或者可表示處於安全模式的系統、模組、裝置、區及/或資料。舉例而言，在圖4中，安全的元素或以安全模式運作的元素例如包括記憶體裝置1201的使用者語音資訊UVI、儲存裝置1301的使用者語音資 訊UVI、主機處理器101的安全作業系統S_OS、信箱模組SMBX、及安全的語音觸發系統201。
語音觸發系統201可包括觸發介面電路IFV 211、包裝器(wrapper)WRPP 221、觸發記憶體MEMV 231及觸發處理器PRCV 241。由於語音觸發系統201是安全的，因此語音觸發系統201可被稱為安全語音觸發系統或安全的語音觸發系統，且因此觸發介面電路211、包裝器221、觸發記憶體231及觸發處理器241可分別被稱為安全觸發介面電路、安全包裝器、安全觸發記憶體及安全觸發處理器。
觸發介面電路211以及接墊PD11、PD12及PD13可形成觸發介面TIF，以對自數位麥克風40或音訊編解碼器50提供的觸發輸入訊號SDMIC及SAMIC進行取樣及轉換。包裝器221可將自觸發介面電路211提供的資料儲存於觸發記憶體231中。當觸發記憶體231中儲存有預定量的資料時，包裝器221可向觸發處理器241發佈中斷訊號，以使得觸發處理器241可基於觸發記憶體231中所儲存的資料來執行語音觸發操作。
在一些示例性實施例中，語音觸發系統201可接收脈波密度調變(pulse density modulation，PDM)訊號作為觸發輸入訊號SDMIC及SAMIC。觸發介面電路211可將PDM訊號轉換成脈波碼調變(pulse code modulation，PCM)資料。包裝器221可將PCM資料儲存於觸發記憶體231中。包裝器221可以直接記憶體存取控制器來實作。
在一些示例性實施例中，觸發記憶體231可儲存安全的使用者語音資訊UVI。語音觸發系統201可在睡眠模式期間基於儲存於與安全的語音觸發系統201中的安全區對應的觸發記憶體231中的安全的使用者語音資訊UVI來執行語音觸發操作。舉例而言，當確定觸發輸入訊號SDMIC及SAMIC包含安全的使用者語音資訊UVI時，語音觸發系統201可發佈觸發事件以起始語音辨識模式。
在一些示例性實施例中，在主機處理器101於工作模式期間執行安全作業系統S_OS時，可由安全的語音觸發系統201執行訓練操作以獲得安全的使用者語音資訊UVI，如將參照圖5進行闡述。
音訊子系統301電性連接至系統匯流排2100。音訊子系統301處理藉由音訊介面AIF所重播或記錄的音訊串流，且支援音訊串流在記憶體裝置1200與音訊介面之間的傳遞。在一些示例性實施例中，音訊子系統301可與音訊編解碼器50交換(例如，傳送及接收)音訊串流。音訊子系統301可藉由音訊輸入接墊PD21自音訊編解碼器50接收音訊輸入訊號SDI且藉由音訊輸出接墊PD22將音訊輸出訊號SDO傳送至音訊編解碼器50。
不同於語音觸發系統201，音訊子系統301可以非安全狀態或正常狀態運作。
音訊子系統301可包括音訊介面電路IFA 311、直接記憶體存取控制器DMA 321、音訊記憶體MEMA 331、及音訊處理 器PRCA 341。
音訊介面電路311以及接墊PD21及PD22可形成音訊介面AIF，以藉由音訊輸入訊號SDI及音訊輸出訊號SDO傳遞音訊串流。音訊記憶體331可儲存音訊串流的資料，且直接記憶體存取控制器321可控制對音訊記憶體的存取，亦即，自音訊記憶體331讀取資料以及將資料寫入至音訊記憶體331。音訊處理器341可處理音訊記憶體331中所儲存的資料。
在一些示例性實施例中，音訊介面電路311可與IC間聲音(Inter-IC Sound，I2S)標準或積體晶片間聲音(Integrated Interchip Sound，IIS)標準相容。雖然圖4中未說明，然而音訊介面電路311可根據I2S標準而基於時脈訊號來運作。在一些示例性實施例中，音訊介面電路311可直接連接至數位麥克風40及/或音訊編解碼器50。
中斷控制器810可負責設定應用處理器2001中的所有中斷資源的安全性質。舉例而言，中斷控制器810可將中斷劃分成安全中斷及非安全中斷。安全中斷可被稱為受信任中斷或快速中斷請求(fast interrupt request，FIQ)。非安全中斷可被稱為正常中斷、不受信任中斷或中斷請求(interrupt request，IRQ)。在處於安全模式時可處理安全中斷，且在處於非安全模式時可處理非安全中斷。只有在處於安全模式時，中斷資源的此種安全性質才可為可設定的。舉例而言，只有在中斷資源處於安全模式時，才可改變中斷資源的安全性質的設定。
保護控制器820可設定應用處理器2001中的所有硬體資源(例如，所有元件)的安全性質。舉例而言，保護控制器820可將硬體資源(例如，元件)劃分成用於安全模式的第一硬體資源及用於非安全模式的第二硬體資源。第一硬體資源可僅僅以安全模式運作，且第二硬體資源可僅僅以非安全模式運作。在一些示例性實施例中，在第一硬體資源及第二硬體資源中可包含單個硬體資源。舉例而言，單個硬體資源可以安全模式及非安全模式運作。硬體資源的此種安全性質只有在安全模式中才可被設定且在非安全模式中不能被設定。舉例而言，只有當硬體資源處於安全模式時，才可改變硬體資源的安全性質的設定。
位址空間保護器830可將記憶體裝置1201中的記憶體區劃分成安全記憶體區SRM及非安全記憶體區NSRM，且可控制對記憶體裝置1201的存取。另外，位址空間保護器830可將儲存裝置1301中的儲存區劃分成安全儲存區SRS及非安全儲存區NSRS，且可控制對儲存裝置1301的存取。只有在安全模式中才可設定對記憶體區及/或儲存區的此種劃分。舉例而言，位址空間保護器830可在記憶體裝置1201或儲存裝置1301分別處於安全模式時劃分記憶體裝置1201的記憶體區及/或儲存裝置1301的儲存區。在一些示例性實施例中，位址空間保護器830可被實作為記憶體配接器。
內容防火牆840可控制對應用處理器2001中的硬體資源的存取，且可在處於安全模式時防止資訊被洩露。
在一些示例性實施例中，安全的使用者語音資訊UVI可更儲存於記憶體裝置1201的安全記憶體區SRM及/或儲存裝置1301的安全儲存區SRS中，並且因此，甚至當應用處理器2001與電源斷開連接時，安全的使用者語音資訊UVI亦可被可靠且安全地儲存。
圖5是說明圖4所示應用處理器中的語音觸發系統與主機處理器的示例性連接的方塊圖。
參照圖5，主機處理器101a可以安全模式或非安全模式運作。舉例而言，安全模式亦可被稱為受信任執行環境TEE，且正常模式亦可被稱為不受信任執行環境NTEE。舉例而言，可基於由ARM建立的信任區(TrustZone)技術來實作受信任執行環境TEE，且然後，可將圖4所示保護控制器820實作為信任區保護控制器(TrustZone protection controller，TZPC)。不受信任執行環境NTEE可被稱為正常執行環境或富執行環境(rich execution environment)。
在不受信任執行環境NTEE中，可在非安全作業系統(operating system，OS)112(例如安卓(Android)等)上執行非安全應用(application，APP)111，且可執行非安全驅動程式113(例如，裝置驅動程式或核心驅動程式)。在受信任執行環境TEE中，可在安全作業系統122(例如安卓等)上執行安全應用121，且可執行安全驅動程式123(例如，裝置驅動程式或核心驅動程式)。
語音觸發系統201a可被實作為包括安全記憶體231a及安全處理器241a的安全元件。換言之，安全的語音觸發系統201a可包含於所述安全元件中。安全記憶體231a及安全處理器241a可分別對應於圖4所示的觸發記憶體231及觸發處理器241。雖然圖5中未說明，然而語音觸發系統201a可更包括與圖4所示觸發介面電路211及包裝器221對應的元件。
在一些示例性實施例中，語音觸發系統201a可與主機處理器101a在受信任執行環境TEE中進行通訊。舉例而言，在主機處理器101a於工作模式期間執行安全作業系統122時，可由安全的語音觸發系統201a執行訓練操作以獲得安全的使用者語音資訊UVI，且藉由訓練操作獲得的安全的使用者語音資訊UVI可儲存於與安全的語音觸發系統201a中的安全區對應的安全記憶體231a(例如，圖4所示觸發記憶體231)中。
舉例而言，可執行訓練操作以擷取並儲存使用者語音特性。使用者語音的特性可包括使用者語音條件及語音環境。使用者語音條件可包括使用者語音的聲譜能(vocal spectral energy)、以及使用者語音的頻帶寬度或頻率分佈(frequency distribution)。語音環境可包括在發佈語音命令時的混響時間(reverberation time，RT)、以及使用者語音的訊雜比(signal-to-noise ratio，SNR)。換言之，可藉由訓練操作來儲存使用者語音的能量、使用者語音的頻帶寬度、在輸入使用者語音時的混響時間、及使用者語音的訊雜比中的至少一者作為使用者語音的特性。
可在主機處理器101a於工作模式期間執行安全作業系統122時執行訓練操作，可使用安全的語音觸發系統201a作為輸入路徑，並且因此可以可靠且安全地獲得並保護安全的使用者語音資訊UVI及觸發輸入訊號。
另外，語音觸發系統201a可與主機處理器101a獨立地為安全的，並且因此安全的語音觸發系統201a可在主機處理器101a被去能的睡眠模式期間基於安全的使用者語音資訊UVI來可靠且安全地執行語音觸發操作。舉例而言，一旦安全的使用者語音資訊UVI儲存於安全記憶體231a中，語音觸發系統201a便可能夠與主機處理器101a獨立地運作。
圖6是說明圖4所示應用處理器中所包含的信箱模組的示例性實施例的圖。所述信箱模組在圖4中被標識為信箱模組SMBX且在圖6中被標識為信箱模組900。
參照圖4及圖6，應用處理器2001中所包含的信箱模組SMBX可支援語音觸發系統201與音訊子系統301之間的資料傳送或資料通訊的同步化。應用處理器2001可與系統匯流排2100獨立地藉由信箱模組SMBX執行語音觸發系統201與音訊子系統301之間的資料通訊。舉例而言，可在不使用系統匯流排2100的情況下藉由信箱模組SMBX中的至少一者來執行語音觸發系統201與音訊子系統301之間的資料通訊。
在一些示例性實施例中，可將安全性質(例如，應用處理器2001、語音觸發系統201及/或信箱模組SMBX的安全性質) 設定成使得以非安全狀態運作的音訊子系統301可由安全的語音觸發系統201藉由信箱模組SMBX存取。舉例而言，如圖4中所說明，信箱模組SMBX可為安全的，且安全性質可由中斷控制器810及/或保護控制器820設定。
如圖6中所說明，信箱模組900可包括介面910、訊息方塊920、第一暫存器電路930及第二暫存器電路940，第一暫存器電路930包括多個暫存器INTGR0、INTCR0、INTMR0、INTSR0及INTMSR0，第二暫存器電路940包括多個暫存器INTGR1、INTCR1、INTMR1、INTSR1及INTMSR1。圖6說明信箱模組900藉由APB介面連接至系統匯流排2100的AHB2APB橋接器2110且訊息方塊920是以具有6*32位元的共用暫存器來實作的非限制性實例。可以各種方式確定介面910的類型、訊息方塊920中暫存器的數目及暫存器的位元數目。第一暫存器電路930可產生向語音觸發系統201中的觸發處理器241提供的中斷訊號(IRQ至PRCV)，且第二暫存器電路940可產生向音訊子系統301中的音訊處理器341提供的中斷訊號(IRQ至PRCA)。可使用信箱模組900來使語音觸發系統201與音訊子系統301之間的資料傳送同步化。
信箱模組900可藉由在觸發處理器241及音訊處理器341中的一者在訊息方塊920中寫入訊息之後傳送中斷訊號來執行雙向通訊(bilateral communication)。舉例而言，信箱模組900可基於由觸發處理器241或音訊處理器341中的任一者寫入至訊 息方塊920的訊息來傳送中斷訊號。可藉由輪詢方法等來實作語音觸發系統201與音訊子系統301之間的資料傳送的同步化。
圖7是說明根據示例性實施例的應用處理器中的語音觸發系統與音訊子系統的示例性連接的方塊圖。可不再對與圖3及圖4重複的內容進行贅述。
參照圖7，應用處理器2002可包括系統匯流排2100、主機處理器101、語音觸發系統201、音訊子系統301、及信箱模組SMBX。應用處理器2002可更包括中斷控制器810、保護控制器820、位址空間保護器830、內容防火牆840、及直接匯流排500。
圖7所示應用處理器2002可與圖4所示應用處理器2001實質上相同，只不過應用處理器2002更包括直接匯流排500。
直接匯流排500可電性連接語音觸發系統201與音訊子系統301。直接匯流排500可提供語音觸發系統201與音訊子系統301之間的直接路徑(例如，直接資料通訊路徑)，進而使得能夠在語音觸發系統201與音訊子系統301之間傳送通訊訊號。
在一些示例性實施例中，可將安全性質(例如，應用處理器2002、語音觸發系統201、信箱模組SMBX及/或直接匯流排500的安全性質)設定成使得以非安全狀態運作的音訊子系統301可由安全的語音觸發系統201藉由直接匯流排500存取。舉例而言，如圖7中所說明，信箱模組SMBX及直接匯流排500可為安全的，且安全性質可由中斷控制器810及/或保護控制器820設定。應用處理器2002可與系統匯流排2100獨立地藉由信箱模組 SMBX及直接匯流排500執行語音觸發系統201與音訊子系統301之間的資料通訊。舉例而言，可在不使用系統匯流排2100的情況下藉由信箱模組SMBX及直接匯流排500中的至少一者來執行語音觸發系統201與音訊子系統301之間的資料通訊。
雖然圖中未說明，然而根據示例性實施例，音訊子系統301中可包含音訊編解碼器50，或者音訊子系統301可更連接至與藍芽麥克風BMIC 81及藍芽揚聲器82連接的藍芽模組70或者連接至與USB麥克風及USB揚聲器連接的USB模組，或者音訊編解碼器50可被替換成藍芽模組70及/或USB模組。
圖8是說明根據示例性實施例操作應用處理器的方法的流程圖。
參照圖4、圖7及圖8，可提供信箱模組SMBX及直接匯流排500中的至少一者，信箱模組SMBX支援語音觸發系統201與音訊子系統301之間的資料通訊的同步化，直接匯流排500電性連接語音觸發系統201與音訊子系統301(步驟S510)。
可將安全性質設定成使得以非安全狀態運作的音訊子系統301可由安全的語音觸發系統201藉由信箱模組SMBX及直接匯流排500中的至少一者存取(步驟S520)。
可與系統匯流排2100獨立地藉由信箱模組SMBX及直接匯流排500中的至少一者來執行語音觸發系統201與音訊子系統301之間的資料通訊(步驟S530)。舉例而言，可在不使用系統匯流排2100的情況下藉由信箱模組SMBX及直接匯流排500中的 至少一者來執行語音觸發系統201與音訊子系統301之間的資料通訊。
圖9及圖10是說明根據示例性實施例的應用處理器中的語音觸發系統與感測器中樞的示例性連接的方塊圖。可不再對與圖3及圖4重複的內容進行贅述。
參照圖9，應用處理器2003可包括系統匯流排2100、主機處理器101、語音觸發系統203、感測器中樞403、工作電源管理器APM、以及信箱模組SMBXa及SMBXb。感測器中樞403可包含於圖2A所示音訊處理系統250中。應用處理器2003可更包括中斷控制器810、保護控制器820、位址空間保護器830、及內容防火牆840。
語音觸發系統203電性連接至系統匯流排2100。語音觸發系統203基於藉由觸發介面TIF所提供的觸發輸入訊號SDMIC及SAMIC來執行語音觸發操作。語音觸發系統203可自數位麥克風DMIC 40接收觸發輸入訊號SDMIC及/或自音訊編解碼器(編碼器及解碼器)CODEC 50接收觸發輸入訊號SAMIC。可在語音觸發系統203、數位麥克風40及音訊編解碼器50之間傳遞麥克風時脈訊號MICCLK，以使訊號傳遞同步化。可藉由接墊PD11、PD12及PD13來傳遞觸發輸入訊號SDMIC及SAMIC以及麥克風時脈訊號MICCLK。接墊PD11、PD12及PD13可被實作成使得可防止已使用的接墊受其他未使用的接墊干擾。舉例而言，接墊PD11、PD12及PD13可彼此電性隔離，藉此防止在接墊PD11、PD12及 PD13之間發生訊號干擾。
語音觸發系統203是與主機處理器101獨立地為安全的。語音觸發系統203基於觸發輸入訊號SDMIC及SAMIC以及安全的使用者語音資訊UVI來執行語音觸發操作。觸發輸入訊號SDMIC及SAMIC可藉由觸發介面TIF而提供。安全的使用者語音資訊UVI可在睡眠模式期間儲存於與安全的語音觸發系統203中的安全區對應的觸發記憶體231中。在主機處理器101於工作模式期間執行安全作業系統S_OS時，語音觸發系統203可執行訓練操作以獲得安全的使用者語音資訊UVI。
感測器中樞403電性連接至系統匯流排2100，以處理自一或多個感測器SEN1 31、SEN2 32及SEN3 33提供的訊號。可藉由接墊PD31、PD32及PD33自所述一或多個感測器SEN1 31、SEN2 32及SEN3 33傳遞訊號。接墊PD31、PD32及PD33可被實作成使得每一接墊不經受來自其他接墊的干擾。舉例而言，接墊PD31、PD32及PD33可彼此電性隔離，藉此防止在接墊PD31、PD32及PD33之間發生訊號干擾。
不同於語音觸發系統203，感測器中樞403可以非安全狀態或正常狀態運作。
感測器中樞403可包括感測器邏輯LOGS 413、感測器記憶體MEMS 423及感測器處理器PRCS 433，以如參照圖3所述處理自各種感測器提供的訊號。
應用處理器2003中所包含的信箱模組SMBXa及 SMBXb可支援語音觸發系統203與感測器中樞403之間的資料傳送或資料通訊的同步化。應用處理器2003可與系統匯流排2100獨立地藉由信箱模組SMBXa及SMBXb來執行語音觸發系統203與感測器中樞403之間的資料通訊。舉例而言，可藉由信箱模組SMBXa及SMBXb來執行語音觸發系統203與感測器中樞403之間的資料通訊。
在一些示例性實施例中，可將安全性質設定成使得以非安全狀態運作的感測器中樞403可由安全的語音觸發系統202藉由信箱模組SMBXa及SMBXb存取。舉例而言，如圖9中所說明，信箱模組SMBXa及SMBXb可為安全的，且信箱模組SMBXa及SMBXb的安全性質可由中斷控制器810及/或保護控制器820設定。
參照圖10，應用處理器2004可包括系統匯流排2100、主機處理器101、語音觸發系統203、感測器中樞403、工作電源管理器APM、以及信箱模組SMBXa及SMBXb。應用處理器2004可更包括中斷控制器810、保護控制器820、位址空間保護器830、內容防火牆840、及直接匯流排600。
圖10所示應用處理器2004可與圖9所示應用處理器2003實質上相同，只不過應用處理器2004更包括直接匯流排600。
直接匯流排600可電性連接語音觸發系統203與感測器中樞403。直接匯流排600可提供語音觸發系統203與感測器中樞403之間的直接路徑(例如，直接資料通訊路徑)，進而使得能夠 在語音觸發系統203與感測器中樞403之間傳送通訊訊號。
在一些示例性實施例中，可將安全性質設定成使得以非安全狀態運作的感測器中樞403可由安全的語音觸發系統203藉由直接匯流排600存取。舉例而言，如圖10中所說明，信箱模組SMBXa及SMBXb以及直接匯流排600可為安全的，且信箱模組SMBXa及SMBXb以及直接匯流排600的安全性質可由中斷控制器810及/或保護控制器820設定。應用處理器2004可與系統匯流排2100獨立地藉由信箱模組SMBXa及SMBXb以及直接匯流排600來執行語音觸發系統204與感測器中樞403之間的資料通訊。舉例而言，可在不使用系統匯流排2100的情況下藉由信箱模組SMBXa及SMBXb以及直接匯流排600中的至少一者來執行語音觸發系統204與感測器中樞403之間的資料通訊。
在一些示例性實施例中，如圖9中所說明，兩個信箱模組SMBXa及SMBXb可藉由工作電源管理器APM來執行語音觸發系統203與感測器中樞403之間的資料通訊的同步化。信箱模組SMBXa及SMBXb可與參照圖6所述者相同。在其他示例性實施例中，一個信箱模組可在無工作電源管理器APM的情況下執行語音觸發系統203與感測器中樞403之間的同步化。
圖11是說明根據示例性實施例操作應用處理器的方法的流程圖。
參照圖9、圖10及圖11，可提供信箱模組SMBXa及SMBXb以及直接匯流排600中的至少一者，信箱模組SMBXa及 SMBXb支援語音觸發系統203與感測器中樞403之間的資料通訊的同步化，直接匯流排600電性連接語音觸發系統203與感測器中樞403(步驟S710)。舉例而言，可提供至少一個信箱模組SMBXa或SMBXb及/或直接匯流排600。
可將安全性質設定成使得以非安全狀態運作的感測器中樞403可由安全的語音觸發系統203藉由信箱模組SMBXa及SMBXb以及直接匯流排600中的至少一者存取(步驟S720)。舉例而言，可將安全性質設定成容許藉由信箱模組SMBXa及SMBXb以及直接匯流排600中的至少一者在感測器中樞403與安全的語音觸發系統203之間進行通訊。
可與系統匯流排2100獨立地藉由信箱模組SMBXa及SMBXb以及直接匯流排600中的至少一者來執行語音觸發系統203與感測器中樞403之間的資料通訊(步驟S730)。舉例而言，可在不使用系統匯流排2100的情況下藉由信箱模組SMBXa及SMBXb以及直接匯流排600中的至少一者來執行語音觸發系統203與感測器中樞403之間的資料通訊。
雖然參照圖4、圖7、圖9及圖10基於音訊子系統301及感測器中樞403以非安全狀態運作的實例闡述了各示例性實施例，然而本發明並非僅限於此。舉例而言，音訊子系統301及感測器中樞403可例如基於軟體配置而以安全狀態運作，且可與基於硬體配置與主機處理器101獨立地為安全的語音觸發系統201及203交換資料。
圖12A及圖12B是用於闡述根據示例性實施例的應用處理器的電源域的圖。
應用處理器可包括被獨立地供電的多個電源域。圖12A及圖12B各自說明第一電源域PWDM1及第二電源域PWDM2作為實例。第一電源域PWDM1對應於在工作模式及待用模式(或睡眠模式)中均供應電力的始終供電域(always-powered domain)，且第二電源域PWDM2對應於在待用模式中阻斷電力的省電域(power-save domain)。
參照圖12A，系統計數器SYSCNT、工作電源管理器APM及語音觸發系統VTS可設置於始終供電域PWDM1中。多個硬體區塊(例如主機處理器CPU、音訊子系統ABOX、感測器中樞CHUB等)可設置於省電域PWDM2中。
系統計數器SYSCNT可產生時間資訊TM並將時間資訊TM提供至系統的內部電路。工作電源管理器APM可產生多個電源賦能訊號EN，以控制系統中的各種元件的電源供應器、電源區塊等。語音觸發系統VTS可產生表示觸發事件的中斷訊號ITRR。
在本發明中，工作模式表示至少主機處理器CPU被賦能且作業系統(OS)正在運行。睡眠模式或待用模式表示主機處理器CPU被去能的電源關閉模式(power-down mode)。
與圖12A所示安排(disposition)相較，在一些實施例中，語音觸發系統VTS可如圖12B中所說明設置於省電域PWDM2中。
如圖12A及圖12B中所說明，主機處理器CPU、語音觸發系統VTS、音訊子系統ABOX及感測器中樞CHUB可分別包括電源閘控電路PG1、PG2、PG3及PG4。電源閘控電路PG1至PG4可分別因應於電源賦能訊號EN1、EN2、EN3及EN4而選擇性地供應電力。因此，語音觸發系統VTS、音訊子系統ABOX及感測器中樞CHUB可為電源閘控式(power-gated)且與主機處理器CPU獨立地被賦能。在一些示例性實施例中，語音觸發系統VTS可向工作電源管理器APM進行請求，以使得感測器中樞CHUB可在其被需要時被賦能。
如上所述，根據示例性實施例的應用處理器、包含所述應用處理器的電子裝置及操作所述應用處理器的方法可藉由將語音觸發系統整合於所述應用處理器中而以低電力及高效率來執行語音觸發操作。晶片上語音觸發系統可代替應用處理器中的主機處理器而執行一些操作，以降低電子裝置的電力消耗並增強電子裝置的效能。
另外，可由與主機處理器獨立地為安全的語音觸發系統執行語音觸發操作及/或訓練操作。因此，與設置於應用處理器外部的傳統語音觸發系統相較，根據示例性實施例包含語音觸發系統的應用處理器可支援增強型安全特徵且可具有改良的安全效能。
本發明概念可應用於支援語音觸發功能的各種積體電路、電子裝置及電子系統。舉例而言，本發明概念可應用於例如 以下等的系統：行動電話、智慧型電話、平板電腦、膝上型電腦、個人數位助理(PDA)、可攜式多媒體播放器(PMP)、數位攝影機、可攜式遊戲機、音樂播放器、攝錄影機、視訊播放器、導航裝置、可穿戴裝置、物聯網(IoT)裝置、萬物聯網(IoE)裝置、電子書閱讀器、虛擬實境(VR)裝置、擴增實境(AR)裝置、機器人裝置等。
以上內容是對示例性實施例的說明，而不應被解釋為限制各實施例。雖然已闡述了幾個示例性實施例，然而熟習此項技術者應易於瞭解，在不本質上背離本發明的新穎教示內容及優點的條件下，可對示例性實施例作出諸多潤飾。因此，所有此種潤飾均酯在包含於在申請專利範圍中所界定的本發明範圍內。因此，應理解，以上內容是對各種示例性實施例的說明，而不應被解釋為僅限於所揭露的具體示例性實施例，且對所揭露示例性實施例的潤飾以及其他示例性實施例均酯在包含於隨附申請專利範圍的範疇內。
S100、S200、S300:步驟

Claims (10)

  1. 一種應用處理器，包括：系統匯流排；主機處理器，電性連接至所述系統匯流排；以及語音觸發系統，電性連接至所述系統匯流排，所述語音觸發系統被配置成基於藉由觸發介面所提供的觸發輸入訊號來執行語音觸發操作並發佈觸發事件，其中所述語音觸發系統是與所述主機處理器獨立地為安全的，其中所述語音觸發系統被配置成在所述系統匯流排及所述主機處理器被去能的睡眠模式期間基於安全的使用者語音資訊來執行所述語音觸發操作，所述安全的使用者語音資訊儲存於安全的所述語音觸發系統中的安全區中，所述安全的使用者語音資訊包含使用者語音的特性，其中回應於由所述語音觸發系統發佈的所述觸發事件，所述系統匯流排及所述主機處理器被配置成進入所述系統匯流排及所述主機處理器被賦能的工作模式，其中當所述觸發輸入訊號包含所述安全的使用者語音資訊時，所述觸發事件被發佈，其中安全的所述語音觸發系統及所述安全的使用者語音資訊具有抵禦篡改攻擊的防篡改功能，以及其中所述安全的使用者語音資訊包含所述使用者語音的訊雜 比，所述使用者語音的所述訊雜比被儲存作為所述使用者語音的所述特性。
  2. 如申請專利範圍第1項所述的應用處理器，其中所述語音觸發系統包含於安全元件中，所述安全元件整合於所述應用處理器中。
  3. 如申請專利範圍第2項所述的應用處理器，其中所述語音觸發系統包括：安全觸發記憶體；觸發介面電路，形成所述觸發介面，以對自數位麥克風或音訊編解碼器提供的所述觸發輸入訊號進行取樣及轉換；包裝器，被配置成將自所述觸發介面電路提供的資料儲存於所述安全觸發記憶體中；以及安全觸發處理器，被配置成基於儲存於所述安全觸發記憶體中的所述資料來執行所述語音觸發操作，且其中所述安全的使用者語音資訊儲存於與安全的所述語音觸發系統中的所述安全區對應的所述安全觸發記憶體中。
  4. 如申請專利範圍第1項所述的應用處理器，其中所述主機處理器被配置成在所述系統匯流排及所述主機處理器被賦能的所述工作模式期間執行安全作業系統(OS)及非安全作業系統中的一者，且其中安全的所述語音觸發系統被配置成在所述主機處理器執行所述安全作業系統時執行訓練操作以獲得所述安全的使用者語 音資訊。
  5. 如申請專利範圍第4項所述的應用處理器，其中當執行所述訓練操作時，安全的所述語音觸發系統被配置成儲存以下中的至少一者作為所述使用者語音的所述特性：所述使用者語音的聲譜能、所述使用者語音的頻帶寬度、在輸入所述使用者語音時的混響時間、及所述使用者語音的所述訊雜比。
  6. 如申請專利範圍第1項所述的應用處理器，更包括：音訊子系統，電性連接至所述系統匯流排，所述音訊子系統被配置成處理藉由音訊介面所重播或記錄的音訊串流，其中所述音訊子系統以非安全狀態運作。
  7. 如申請專利範圍第6項所述的應用處理器，更包括：信箱模組，被配置成支援所述語音觸發系統與所述音訊子系統之間的資料通訊的同步化，其中將安全性質設定成使得以所述非安全狀態運作的所述音訊子系統能夠由安全的所述語音觸發系統藉由所述信箱模組存取。
  8. 如申請專利範圍第7項所述的應用處理器，更包括：直接匯流排，電性連接所述語音觸發系統與所述音訊子系統，其中將所述安全性質設定成使得以所述非安全狀態運作的所述音訊子系統能夠由安全的所述語音觸發系統藉由所述直接匯流排存取。
  9. 如申請專利範圍第8項所述的應用處理器，其中所述語 音觸發系統與所述音訊子系統之間的所述資料通訊是與所述系統匯流排獨立地藉由所述直接匯流排及所述信箱模組來執行。
  10. 如申請專利範圍第1項所述的應用處理器，其中所述語音觸發系統是電源閘控式且與所述主機處理器獨立地被賦能。
TW107139624A 2018-01-25 2018-11-08 包含具安全性之低電力語音觸發系統的應用處理器 TWI791662B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2018-0009410 2018-01-25
??10-2018-0009410 2018-01-25
KR1020180009410A KR102629424B1 (ko) 2018-01-25 2018-01-25 보안 기능을 지원하는 저전력 보이스 트리거 시스템을 포함하는 애플리케이션 프로세서, 이를 포함하는 전자 장치 및 그 동작 방법

Publications (2)

Publication Number Publication Date
TW201933085A TW201933085A (zh) 2019-08-16
TWI791662B true TWI791662B (zh) 2023-02-11

Family

ID=67299980

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107139624A TWI791662B (zh) 2018-01-25 2018-11-08 包含具安全性之低電力語音觸發系統的應用處理器

Country Status (4)

Country Link
US (1) US11061465B2 (zh)
KR (1) KR102629424B1 (zh)
CN (1) CN110083327B (zh)
TW (1) TWI791662B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019182586A1 (en) * 2018-03-21 2019-09-26 Google Llc Data transfer in secure processing environments
CN110060685B (zh) * 2019-04-15 2021-05-28 百度在线网络技术（北京）有限公司 语音唤醒方法和装置
CN113849792A (zh) * 2020-06-10 2021-12-28 瑞昱半导体股份有限公司 适于具有锁定功能的电子装置的电子组件及解除锁定方法
CN112463109A (zh) * 2021-01-18 2021-03-09 周子涵 一种智能终端语音报时的实现方法、装置及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100030928A1 (en) * 2008-08-04 2010-02-04 Apple Inc. Media processing method and device
US20160240194A1 (en) * 2015-02-16 2016-08-18 Samsung Electronics Co., Ltd. Electronic device and method of operating voice recognition
CN106663446A (zh) * 2014-07-02 2017-05-10 微软技术许可有限责任公司 知晓用户环境的声学降噪

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL8502008A (nl) * 1985-07-12 1987-02-02 Philips Nv Ontvanginrichting voor het onder bescherming van een stoorsignaal/spraaksignaalbewakingsfunctie herkennen van een aantal verschillende en voorafbepaalde frequentiecombinaties van toonfrequente signaleringscomponenten.
WO2004046950A1 (en) * 2002-11-15 2004-06-03 Infineon Technologies Ag Mailbox interface between processors
JP2005184618A (ja) 2003-12-22 2005-07-07 Matsushita Electric Ind Co Ltd 音声認証装置、音声認証システム及び音声認証方法
JP2008005138A (ja) * 2006-06-21 2008-01-10 Nec Electronics Corp 半導体装置及び信号処理システム
US9253560B2 (en) 2008-09-16 2016-02-02 Personics Holdings, Llc Sound library and method
US20110154364A1 (en) 2009-12-22 2011-06-23 International Business Machines Corporation Security system to protect system services based on user defined policies
KR20240132105A (ko) 2013-02-07 2024-09-02 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
US9582983B2 (en) * 2013-09-11 2017-02-28 Intel Corporation Low power voice trigger for finding mobile devices
US9443522B2 (en) 2013-11-18 2016-09-13 Beijing Lenovo Software Ltd. Voice recognition method, voice controlling method, information processing method, and electronic apparatus
WO2015104726A1 (en) 2014-01-10 2015-07-16 Telsy Elettronica E Telecomunicazioni Spa Secure voice and data method and system
KR102299330B1 (ko) * 2014-11-26 2021-09-08 삼성전자주식회사 음성 인식 방법 및 그 전자 장치
KR101650164B1 (ko) * 2015-02-11 2016-08-22 이정훈 Cctv 쉐어링 시스템 및 그를 이용한 영상 제공방법
KR102371697B1 (ko) * 2015-02-11 2022-03-08 삼성전자주식회사 음성 기능 운용 방법 및 이를 지원하는 전자 장치
GB2536215B (en) 2015-03-05 2018-01-31 Samsung Electronics Co Ltd Secure input mode for user device
US9867012B2 (en) 2015-06-03 2018-01-09 Dsp Group Ltd. Whispered speech detection
KR20170010494A (ko) * 2015-07-20 2017-02-01 엘지전자 주식회사 이동 단말기 및 그 제어 방법
CN107172018A (zh) * 2017-04-27 2017-09-15 华南理工大学 公共背景噪声下激活式的声纹密码安全控制方法及系统
US10455339B2 (en) * 2018-01-19 2019-10-22 Cirrus Logic, Inc. Always-on detection systems

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100030928A1 (en) * 2008-08-04 2010-02-04 Apple Inc. Media processing method and device
CN106663446A (zh) * 2014-07-02 2017-05-10 微软技术许可有限责任公司 知晓用户环境的声学降噪
US20160240194A1 (en) * 2015-02-16 2016-08-18 Samsung Electronics Co., Ltd. Electronic device and method of operating voice recognition

Also Published As

Publication number Publication date
CN110083327B (zh) 2024-08-23
KR20190090562A (ko) 2019-08-02
TW201933085A (zh) 2019-08-16
CN110083327A (zh) 2019-08-02
US20190227620A1 (en) 2019-07-25
KR102629424B1 (ko) 2024-01-25
US11061465B2 (en) 2021-07-13

Similar Documents

Publication Publication Date Title
TWI791662B (zh) 包含具安全性之低電力語音觸發系統的應用處理器
KR102074018B1 (ko) 저전력 상태로의 포트 진입을 동기화하기 위한 시스템, 방법 및 장치
CN105745615B (zh) 用于移动设备的始终进行的音频控制
US20170262395A1 (en) Method, apparatus, system for including interrupt functionality in sensor interconnects
TWI791677B (zh) 低電量操作用應用處理器、包含該處理器的電子裝置及其相關聯的方法
US11256638B2 (en) Application processor supporting interrupt during audio playback, electronic device including the same and method of operating the same
EP4109281B1 (en) Peer-to-peer link sharing for upstream communications from xpus to a host processor
TW201937941A (zh) 用於收音設備的防護裝置及互動方法
CN110083218B (zh) 应用处理器、电子装置以及操作应用处理器的方法
TWI794342B (zh) 支援低功率回音消除之應用處理器、包含該處理器的電子裝置及其操作方法
CN116340250A (zh) 分立图形的加速器结构
CN110083225B (zh) 应用处理器、电子装置以及操作应用处理器的方法
US20110296223A1 (en) Electronic Apparatus and Control Method of the Electronic Apparatus