JP6170625B2 - 常時オンのモバイル機器用音声制御 - Google Patents

Description

本発明は、モバイル機器の分野に関するものであり、より詳細には、モバイル機器の音声制御に関する。

モバイル機器が普及してきている。モバイル機器は、携帯型電源（例えば電池）で動作するように、かつユーザによって容易に運ばれるように設計された任意の電子機器を含むことができる。モバイル機器としては、携帯電話、「スマート」フォン、ｉＴｏｕｃｈ（登録商標）などのパーソナルデジタルアシスタント（ＰＤＡ）、ｉＰｏｄ（登録商標）及びＭＰ３プレーヤなどの娯楽機器、ラップトップコンピュータ、ネットトップコンピュータ、ｉＰａｄ（登録商標）及びウィンドウズ（登録商標）ベースのタブレットなどのタブレット機器などを挙げることができる。これらの機器の多くは、無線接続（例えば、ＷｉＦｉ（登録商標）、セル接続等）を含んでおり、したがって、直接機器上で実行することができるさまざまなローカルアプリケーションを提供するのに加えて、情報源として使用することができる。

モバイル機器は、タッチスクリーン、機器の一部であるか、又は機器に接続されたキーボード、種々のポインティング機器（例えば、マウス、タッチパッド、その他）などのユーザインターフェースによって、制御することができる。より最近では、音声制御が、より一般的になり始めている。例えば、アップル社のｉデバイス（ｉＰｈｏｎｅ（登録商標）、ｉＰａｄ（登録商標）など）のいくつかは、Ｓｉｒｉ（登録商標）アプリケーションによる音声制御を採用している。ユーザは、機器を取り上げ、ボタンを押したままにして、Ｓｉｒｉの応答を待つことができる。Ｓｉｒｉが応答すると、ユーザは口頭で質問をするか、又はコマンドを与えることができ、Ｓｉｒｉはそれを解釈して応えようとする。Ｓｉｒｉが応答するまでボタンを押し続ける動作は、機器をアクティブ化し（アイドル状態の場合）、オペレーティングシステムを初期化し、入力の受け入れ準備を整えるようにＳｉｒｉアプリケーションをアクティブ化する役割を果たす。

モバイル機器の中には、機器がアイドル状態のときに、限られた音声コマンドのアクティブ化機能を実施し始めたものがある。機器は、ユーザには「オフ」に見える場合（電子メール、電話、又はテキストメッセージなどの電子通信を受け入れることができるために、機器がオンであることを、ユーザがたとえ知っているとしても）、アイドルである場合がある。アイドル状態の機器は、通常、表示画面をオンにしておらず、多くの内部構成要素は、電源が切断されている可能性があり、機器が完全に機能するためには、初期化される必要がある。限定された音声コマンドのアクティブ化機能を備えたモバイル機器において、ユーザは、キーワード又はフレーズを声に出し、機器を「オン」にし、更なる音声制御を受け入れさせることができる。例えば、１つのかかるフレーズは、アンドロイドスマート電話で使用されている「Ｈｅｙ、Ｇｏｏｇｌｅ（登録商標）ｎｏｗ」である。

限定されたコマンドがアクティブ化されると、ユーザは、キーフレーズを発話した後に停止し、更なる入力に対して機器の準備ができていることの視覚的及び／又は聴覚的な指示を待たなければならない。機器がアイドル状態にある間、機器は、マイクロフォンをオンにして、独立したデジタル信号プロセッサ（ＤＳＰ）を用いて、キーワード／フレーズに聞き耳をたてている。一旦、キーワード／フレーズが認識されると、ＤＳＰは、残りの機器に、初期化（又はブート）するよう合図し、準備ができたときに、ユーザに応答する。このキーワード／フレーズの発話と、続く所望の質問／コマンドとの間の遅延により、インターフェースが扱いにくくなる。したがって、この限定されたコマンドのアクティブ化は、上述したような、機器を持ち上げて、ボタンを押し続けることに比べて、わずかに改良されるだけである。

ある実施形態では、一つの集積回路（例えば、システムオンチップ、即ちＳＯＣ）は、１つ以上の中央処理装置（ＣＰＵ）、メモリコントローラ、及び、ＳＯＣの残りが電源を切断された場合にも、電源をオンされ続けるように構成された回路、を含むことができる。本回路は、マイクロフォンによって感知された音に対応する音声サンプルを受信するように構成され、更に、ＳＯＣを含む機器のユーザからの可能性のあるコマンドを検出するために、それらの音声サンプルを所定のパターンと比較するように、構成することができる。この所定のパターンは、例えば、キーワード又はフレーズを発話するユーザの声を表してもよい。サンプル中に所定のパターンを検出したことに応答して、本回路は、メモリコントローラに電源投入させ、メモリコントローラが接続されたメモリに、音声サンプルを記憶することができる。本回路は、メモリコントローラが初期化されるまでサンプルのバッファリングを継続するように構成することができ、次いで、サンプルをメモリに書き込むことができる。本回路は、更に、ＣＰＵに電源をオンさせて、初期化し、オペレーティングシステム（ＯＳ）をブートすることができる。ＣＰＵが初期化し、ＯＳがブートしている間、本回路及びメモリは、音声サンプルをキャプチャすることができる。ＯＳ（又はＯＳ上で動作するアプリケーション）は、メモリからのサンプルを処理して、コマンド／要求を判断することができる。

ある実施形態では、メモリへのサンプルのキャプチャによって、そうでなければ記録されないで終わるサンプルのキャプチャが可能となり得る。したがって、ユーザは、入力の準備が整ったことの機器の指示を待つことなく、所望のコマンド／質問を発話してもよく、そのコマンド／質問は、ＣＰＵ上で実行されるソフトウェアによって正確に処理することができる。機器とのインターフェースはより簡単かつ自然なものとすることができ、したがってユーザは、機器の音声コマンド機能を使用したいという気持ちがより強くなる可能性がある。

以下の詳細な説明は、添付の図面を参照するが、これら図面について、次に簡単に記載する。

機器の一実施形態のブロック図。 図１に示す音声フィルタ回路の一実施形態の動作を例示するフローチャート。 メモリコントローラ及び音声フィルタ回路の初期化の一実施形態を例示するフローチャート。 図１に示した機器の一実施形態の動作を例示するタイミング図。

本発明はさまざまな変更及び代替的な形態を受け入れる余地があるが、その特定の実施形態が、例として図面に示されており、本明細書で詳細に説明することとする。しかし、図面及びそれらに対する詳細な説明は、本発明を、開示されている特定の形態に限定することを意図するものではなく、逆にその意図は、添付の請求項によって定義される本発明の趣旨及び範囲内に入る全ての変更、均等物及び代替物を範囲に含むことを理解されたい。本明細書で使用される表題は、構成目的のみに過ぎず、説明の範囲を制限するために使用することを意図するものではない。本出願全体を通じて使用されるとき、「〜してもよい（may）」という語は、義務的な意味（即ち、〜なければならない（must）を意味する）ではなく、許容的な意味で使用される（即ち、〜する可能性を有していることを意味する）。同様に、単語「含む（include）」、「含む（including）」、及び「含む（includes）」は、何かを含むことを意味するが、それには限定されない。

さまざまなユニット、回路、又はその他の構成要素は、タスク又はタスク群を実行する「〜するように構成される（configured to）」と説明される場合がある。このような状況において、「〜するように構成される」は、一般的に、動作中に１つ又は複数のタスクを遂行する「回路を有する」ことを意味する構造を広く説明するものである。したがって、ユニット／回路／構成要素は、これらが現在動作していない場合であっても、タスクを実行するよう構成可能である。概して、「〜するように構成される（configured to）」に対応する構造を形成する回路は、ハードウェア回路、及び／又は操作を実施するために実行可能なプログラム命令を記憶するメモリを含んでもよい。メモリとして、スタティックランダムアクセスメモリ若しくはダイナミックランダムアクセスメモリ等の揮発性メモリ、及び／又は、光ディスク記憶装置若しくは磁気ディスク記憶装置、フラッシュメモリ、プログラム可能読み出し専用メモリ、その他、などの不揮発性メモリを挙げることができる。同様に、さまざまなユニット／回路／構成要素は、説明の中で、便宜上、タスク又はタスク群を実行すると記載される場合がある。かかる説明は、「〜するように構成される」というフレーズを含むと解釈するべきである。１つ以上のタスクを実行するように構成されるユニット／回路／構成要素と表現することは、そのユニット／回路／構成要素に関する米国特許法第１１２条第６項の解釈を招来しないことを明示的に意図している。

本明細書は、「一実施形態」又は「ある実施形態」に対する参照を含む。本発明の特徴の任意の組み合わせを含む実施形態が全般的に意図されているが、本明細書で明示的に否定しない限り、「一実施形態で」又は「ある実施形態で」のフレーズの形態は、必ずしも同じ実施形態を指すものではない。特定の機能、構造又は特性は、本開示に整合する任意の好適な方法で組み合わせることができる。

次に図１を参照すると、機器５の一実施形態のブロック図が示されている。図示の実施形態では、機器５は、集積回路（ＩＣ）１０（この例では、ＳＯＣであり得る）を含んでもよい。ＳＯＣ １０は、メモリ１２、外部音声符号器／復号器（コーデック）１６、及び電力管理ユニット（ＰＭＵ）２０に連結することができる。音声コーデック１６は、１つ以上の音声センサ（まとめてセンサ２６と呼ぶ）に連結することができる。例えば、音声コーデック１６は、１つ以上のマイクロフォン（マイク）２６Ａ〜２６Ｂ、及び１つ以上のスピーカ（ｓｐｋｒ）２６Ｃ〜２６Ｄに連結してもよい。

名前により示されるように、ＳＯＣ １０の構成要素は、集積回路の「チップ」としての単一の半導体基板の上に集積化することができる。いくつかの実施形態では、構成要素は、システムの２以上の個別のチップ上に、実装してもよい。更に、さまざまな構成要素を、任意の集積回路（即ち、ＳＯＣである必要はない）上に集積化してもよい。しかし、本明細書では、ＳＯＣ １０を例として用いる。図示の実施形態では、ＳＯＣ １０の構成要素には、中央処理装置（ＣＰＵ）複合体１４、周辺構成要素１８Ａ〜１８Ｂ（より簡単には、「周辺機器」）、メモリコントローラ２２、音声フィルタ回路２４、電力管理回路（ＰＭＧＲ）２８、及び通信ファブリック２７が含まれる。構成要素１４、１８Ａ〜１８Ｂ、２２、２４、及び２８は、全て、通信ファブリック２７に連結することができる。メモリコントローラ２２は、使用中に、メモリ１２に連結することができる。同様に、周辺機器１８Ａは、使用中に、音声コーデック１６に連結されたインターフェースユニット（ＩＦＵ）とすることができ、音声コーデック１６は、更に、使用中に、音声センサ２６に連結される。

機器５は、セル電話、スマートフォン、ＰＤＡ、ラップトップコンピュータ、ネットトップコンピュータ、タブレット機器、エンターテインメント機器、その他、等のいかなる種類の携帯型電子機器であってもよい。いくつかの実施形態では、機器５は、デスクトップコンピュータなどの非携帯型電子機器とすることも、またできる。かかる非携帯型機器もまた、本明細書に記載された音声機器制御機能から恩恵を得ることができる。

機器５がアイドル状態である間、ＳＯＣ １０の一部は、電源を切断することができる。特に、ＣＰＵ複合体１４、メモリコントローラ２２、周辺機器１８Ｂ、相互接続２７、及びＰＭＧＲ ２８の一部は、電源を切断することができる。一方、機器５がアイドル状態であるが、完全には電源が切断されない場合、音声フィルタ回路２４は、ＩＦＵ １８Ａと同様に、電力供給され続けてもよい。機器５がアイドル状態にあるとき、ＳＯＣ １０の外部にある構成要素は、必要に応じて、電源投入するか、又は切断することができる。特に、メモリ１２は、電力を供給され続け、したがって、そこに記憶されたデータを保持可能な状態を維持することができる。メモリ１２が、さまざまな種類のうちの１つの種類のＤＲＡＭである実施形態では、メモリ１２は、機器５がアイドル状態である間に記憶されたデータを保持するために、セルフリフレッシュモードにすることができる。

アイドル時間中に、音声フィルタ回路２４は、音声コーデック１６から、ＩＦＵ １８Ａを介して、音声サンプルを受信するように構成され、サンプル中に所定のパターン（例えば、ユーザの発話したコマンド又は要求に応えるために機器５を起動させるキーワード／フレーズ）を検出しようと試みることができる。所定のパターンは、音声フィルタ回路２４にプログラムされてもよいし、又は音声フィルタ回路２４にハードコード化されてもよい。ある実施形態では、所定のパターンは、キーワード／フレーズを口頭で発話しているユーザからキャプチャすることができ、ユーザ固有の声に機器５をトレーニングする。別の実施形態では、所定のパターンは、さまざまな抑揚、音質などを伴って話されたキーワード／フレーズを表す一般的なパターンである。

パターンの検出に応答して、音声フィルタ２４は、メモリコントローラに電源投入させ、初期化させるように（一致するサンプル及び後続のサンプルをメモリに記憶することができるように）構成してもよいし、更に、ＣＰＵ複合体１４に電源投入させてオペレーティングシステム（及び、実施態様に応じて、場合によっては、ＳＯＣ １０の他の部分も）をブートさせるように構成してもよい。ある実施形態では、メモリコントローラ２２は、相対的に迅速に、電源投入することができる。メモリコントローラ２２の位相ロックループがロックされ、更に、メモリコントローラ２２が初期化されるが、それは、オペレーティングシステムのブートアップよりも短い、かなり予測可能な遅延しか生じない。相互接続２７は、同様に電源投入することができ、これによって、音声フィルタ回路２４は、以下に述べるパラメータ及びサンプルをメモリ１２に書き込むメモリ書き込み動作を送信することができる。音声フィルタ回路２４は、サンプルバッファ３０を含んでいてもよく、所定のパターンと比較するために、音声フィルタ回路２４は、サンプルバッファ３０にサンプルを一時的にバッファし、一旦パターンが検出されると、メモリコントローラ２２がメモリ１２への書き込みを受信する準備ができるまで、更に、サンプルをバッファするように、構成してもよい。したがって、サンプルバッファ３０の大きさは、そのパターンを検出してから、メモリコントローラ２２の準備が整うまでの遅延に基づくこととなる。いくつかの実施形態では、サンプルバッファ３０は、所定のパターンに一致するサンプル、メモリコントローラの準備が整うまでの遅延に基づいて、続いて受信されたサンプル、及び、所定のパターン（即ち、キーワード／フレーズ／音）と一致する前の１つ以上のサンプル、のバッファリングを可能にする大きさにする場合がある。この一致する前のサンプルは、マイクロフォンによりキャプチャされた背景雑音を判断するために、処理することができ、これによって、後続サンプルのより正確な処理に役立てることができる。

いくつかの実施形態では、メモリコントローラ２２は、進歩したＤＲＡＭ技術をサポートすることができ、これは、メモリコントローラ２２及びメモリ１２を両者間のリンク上で適切に同期するようにトレーニングすることを含んでいる。メモリコントローラ２２の構成パラメータは、トレーニングを介して直接ハードウェアによるか、又はソフトウェアによるか、のいずれかにより、メモリコントローラ２２の中に、プログラムすることができる（参照番号３４Ａ）。音声フィルタ回路２４からメモリコントローラ２２に、動作をより迅速に回復させるために、音声フィルタ回路２４は、パラメータ（参照番号３４Ｂ）をシャドウイングしてもよい。あるいは、パラメータ３４Ｂは、ＤＲＡＭの全てのバージョン及び、機器１０の全ての動作条件にわたって適切に動作することが知られている、保守的なのパラメータのセットとすることができる。音声フィルタ回路２４は、パラメータ３４Ｂをメモリコントローラ２２に転送し、メモリコントローラがメモリ１２に書き込む準備を整えることを確実にすることができる。

ＣＰＵは、オペレーティングシステムの実行を開始し、ＳＯＣ １０が再アクティブ化している理由は、音声フィルタ２４が、キーワード／フレーズを検出したことであると判断することができる。ＣＰＵは、メモリ１２からサンプルを読み出し、キーワード／フレーズが実際に検出されたことを検証することができる。例えば、いくつかの実施形態では、音声フィルタ２４は、ＣＰＵにより実行されるコードによってサポートすることができるよりも、より単純であり、より精度の低い（より正確でない）マッチング処理を使用することができる。ＣＰＵは、符号を検出したことを検証することが可能であり、受信された音声サンプルの残りの処理に進んで、キーワード／フレーズの後に話されたコマンド／要求を判断することができる。

別の実施形態では、ＣＰＵ複合体１４は、メモリコントローラ２２と並列に起動されなくてもよい。例えば、いくつかの実施形態では、音声フィルタ回路２４は、後続のサンプルの処理を実行する（が、メモリ１２内でサンプルを記憶するスペースを利用するために、メモリコントローラ２２をパワーアップさせてもよい）ように構成することができる。別の実施形態では、音声フィルタ回路２４は、機器５がアイドル状態であるときに、他の動作を実行するように構成されてもよく、音声フィルタ回路２４は、これら動作のいくつかを記憶するためにメモリ１２を使用することができる。かかる実施形態では、メモリコントローラ２２の電源は、ＣＰＵ複合体１４を電源投入することなく、投入することができる。

ＳＯＣ １０の種々の構成要素を電源投入することは、ＰＭＵ ２０との通信を含む場合がある。ある実施形態では、音声フィルタ回路２４は、他のＳＯＣ回路部を電源投入させるために、ＰＭＵ ２０と通信するように構成することができる。あるいは、ＳＯＣ １０のさまざまな構成要素が電源投入／切断するために、オンチップ電力ゲーティングを実装してもよい。内部のＰＭＧＲ ２８は、オンチップ電力ゲーティングを実装するように構成されてもよく、音声フィルタ回路２４は、ＰＭＧＲ ２８と通信して、電源投入を発生させるように、構成することができる。更に他の実施形態では、ＰＭＧＲ ２８及びＰＭＵ ２０の組み合わせを使用してもよい。更に別の実施形態では、ＰＭＧＲ ２８は、ＰＭＵ ２０と通信するように構成することができ、音声フィルタ回路２４は、電源投入要求をＰＭＧＲ ２８に伝達し、必要に応じて、ＰＭＵ ２０と通信することができる。

サンプルバッファ３０とメモリ１２との間には、マイクロフォン（１つ又は複数）２６Ａ〜２６Ｂからの音声データのサンプルの損失は、ほとんど又は全く、なくすることができる。したがって、ユーザは、キーワード／フレーズを発話し、いかなる必要な躊躇なく、続けて要求／コマンドを発話することができる。

さまざまな実施形態において、音声フィルタ回路２４は、固定されたハードウェアの任意の組み合わせ、及び／又はソフトウェアを実行する１つ以上のプロセッサを含んでもよい。ソフトウェアは、音声フィルタ回路２４に含まれるファームウェアであってもよい（例えば、音声フィルタ回路２４の不揮発性メモリに記憶された）。あるいは、ファームウェアは、実行のためにアクセスできるように機器５内の他の不揮発性記憶機器に含まれていてもよい。固定されたハードウェア実装が用いられる場合、サンプルパターンは、固定されたハードウェアへの入力として、プログラム可能とすることができる。かかるプログラム化の可能性は、異なるキーワード／フレーズ／音等の使用が可能となり、複数の言語をサポートすることなどができる。固定されたハードウェア音声フィルタ回路２４の実装は、ソフトウェアを実行するプロセッサが提供し得るよりも、音声サンプルの監視に対して、より電力効率のよい解決策を提供することができる。

なお、ここでの説明は、コマンドモードをアクティブ化するために使用することができるキーワード又はフレーズに言及しているが、一般的には、任意の音（例えば、笛、拍手など、非言語的経口発生音、その他）を、さまざまな実施形態で使用しよいことに留意されたい。

本明細書で使用される場合、「電源投入（power up）」という用語は、現在は電源切断（又は電源オフ）状態にある回路に電力を印加することを指し得る。いくつかの実施形態では、与えられた回路は、２以上の電力状態（例えば、電圧及び周波数の組み合わせ）をサポートすることができる。電源投入は、回路によってサポートされた電力状態のいずれかを設定することを指す場合がある。電源投入（powering up）は、電源オン（powering on）と呼ぶこともまたできる。「電源切断（power down）」又は「電源オフ（power off）」という用語は、電源供給電圧の大きさを０Ｖに低減することを意味し得る。

音声コーデック１６は、音声データの一般的な符号器／復号器とすることができる。このコーデックは、マイクロフォン２６Ａ〜２６Ｂから受信された信号を、ＳＯＣ １０に送信することができるデジタルサンプルに変換するように、構成されたアナログデジタル変換器を含んでもよい。コーデックは、ＳＯＣ １０からデジタル音声データを受信して、デジタル音声データをアナログ信号に変換してスピーカで再生するように構成された、デジタルアナログ変換器を含むことができる。ある実施形態では、音声コーデック１６は、機器５がアイドル状態である間に使用することができる１つ以上の低電力モードをサポートしてもよい。例えば、音声コーデック１６は、開放された（又は「オン」の）マイクロフォンの数を減少させ、スピーカをオフにすることができる。いくつかの実施形態では、音声サンプルレートは、低電力モードにおいて、減少させることができる。

ＣＰＵ複合体１４は、ＳＯＣ １０のＣＰＵとして機能する１つ以上のプロセッサを含むことができる。システムのＣＰＵには、オペレーティングシステムなどのシステムの主制御ソフトウェアを実行するプロセッサ（１つ又は複数）が含まれる。概して、使用中にＣＰＵによって実行されるソフトウェアは、機器５の所望の機能を実現する、機器５／ＳＯＣ １０の他の構成要素を制御することができる。ＣＰＵプロセッサはまた、アプリケーションプログラムなどの、他のソフトウェアを実行することができる。アプリケーションプログラムは、ユーザ機能を提供することができ、下位レベルの機器制御に関して、オペレーティングシステムに依存することができる。したがって、ＣＰＵプロセッサは、アプリケーションプロセッサと呼ぶこともできる。ＣＰＵ複合体は、レベル２（Ｌ２）キャッシュ、及び／又は、システムの他の構成要素とのインターフェース（例えば、通信ファブリック２７とのインターフェース）などの、他のハードウェアを更に含んでもよい。

周辺機器１８Ａ〜１８Ｂは、ＳＯＣ １０に含まれる追加のハードウェア機能の任意の集合とすることができる。より具体的には、周辺機器１８Ａは、音声コーデック１６と連結するように構成されたインターフェースユニットであってもよい。任意のインターフェースを用いてもよい（例えば、シリアル周辺インターフェース（ＳＰＩ）、シリアル又はパラレルポート、音声コーデック１６用の独自のインターフェース、その他）。周辺機器１８Ｂは、ビデオ符号器／復号器、スケーラ、回転器、ブレンダ、グラフィックス処理ユニット、ディスプレイコントローラ、その他、などのビデオ周辺機器を含むことができる。周辺機器としては、ユニバーサルシリアルバス（ＵＳＢ）、ＰＣＩエクスプレス（ＰＣＩｅ）を含む周辺構成要素相互接続（ＰＣＩ）、シリアルポート及びパラレルポート、その他などのインターフェースを含む、ＳＯＣ １０の外部の種々のインターフェースに関するインターフェースコントローラを挙げることができる。周辺機器は、メディアアクセスコントローラ（ＭＡＣ）などのネットワーク周辺機器を含んでもよい。ハードウェアの任意の集合を含んでも良い。

メモリコントローラ２２は、ＳＯＣ １０の他の構成要素からメモリ要求を受信するため、及び、メモリ要求を完了するためにメモリ１２にアクセスするため、の回路を通常含むことができる。メモリコントローラ２２は、任意の形式のメモリ１２にアクセスするように構成することができる。例えば、メモリ１２は、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダブルデータレート（ＤＤＲ、ＤＤＲ２、ＤＤＲ３、その他）ＤＲＡＭを含む同期ＤＲＡＭ（ＳＤＲＡＭ）などのダイナミックＲＡＭ（ＤＲＡＭ）であってもよい。ＤＤＲ ＤＲＡＭの低電力／モバイルバージョンをサポートすることができる（例えば、ＬＰＤＤＲ、ｍＤＤＲ、その他）。いくつかの実施形態では、メモリ１２は、ＳＯＣ １０とは別個に（例えばシングルインラインメモリモジュール（ＳＩＭＭ）、デュアルインラインメモリモジュール（ＤＩＭＭ）、又は、ＳＯＣ １０が実装された回路基板に搭載された１つ以上のＤＲＡＭチップに）実装されてもよい。他の実施形態では、メモリ１２は、ＳＯＣ １０と共に実装されてもよい（例えば、パッケージオンパッケージ又はチップオンチップ構成で）。

通信ファブリック２７は、ＳＯＣ １０の構成要素間で通信するための任意の通信相互接続及びプロトコルとすることができる。通信ファブリック２７は、共有バス構成、クロスバー構成、及び、ブリッジを有する階層化されたバス、を含むバスベースとすることができる。通信ファブリック２７は、またパケットベースとすることもでき、ブリッジを有する階層構造、クロスバー、ポイントツーポイント、又は他の相互接続とすることもできる。

上述したように、電力管理回路２８は、ＳＯＣ １０内の内部電源逐次開閉制御の順序付けを管理することができる。電力管理回路２８は、機器５の計算上の需要と消費電力をバランスさせるために、ＳＯＣ １０内のさまざまな構成要素のさまざまな電力／性能状態を設定するように、構成することができる。電力管理回路２８は、所望の電力／性能状態にプログラム可能であってもよいし、プログラムされた状態に基づいて、さまざまな構成要素の電源ＯＮ／ＯＦＦ、及びクロック周波数設定を管理してもよい。

ＰＭＵ ２０は、ＳＯＣ １０、音声コーデック１６、周辺機器２６Ａ〜２６Ｄ、及びメモリ１２を含む機器５の構成要素に、電力を供給する役割を果たすことができる。ＰＭＵ ２０は、構成要素（例えば、ＳＯＣ １０）の少なくとも一部から、電圧値の要求を受信するように連結されてもよく、更に、要求された電圧を供給するように構成された電圧レギュレータを含んでもよい。ＳＯＣ １０は、複数の電圧（例えば、ＣＰＵ複合体１４用のＣＰＵ電圧、キャッシュなどのＳＯＣ １０のメモリアレイ用のメモリ電圧、ＳＯＣ電圧又はＳＯＣの他の構成要素用の電圧、その他）を受け取ることができる。

マイクロフォン２６Ａ〜２６Ｂは、音を受信し、受信した音声を表す出力信号を提供することができる任意の機器としてもよい。いくつかの場合には、２つ以上のマイクロフォンが望ましい場合がある。例えば、ビデオ機能を有するスマートフォン内には、音声通話の場合に、ユーザの口がある近くにマイクロフォンを含むことが望ましいだけでなく、撮影の対象から音をキャプチャするためには、ビデオカメラの近くにマイクロフォンを含むことが望ましい。任意の数のマイクロフォンが、さまざまな実施形態に含まれていてもよく、含まれているマイクロフォンのうちの任意の数のものが、機器５がアイドル状態である場合に、開放されていてもよい。

スピーカ２６Ｃ〜２６Ｄは、入力信号を受信し、該信号により表される音声を生成可能な任意の機器であってもよい。いくつかの場合には、２つ以上のスピーカが望ましい場合がある。例えば、複数のスピーカによって、ステレオ形式の音響効果が可能となり、機器の向きに基づいて、最適化される音声の生成が可能になり得る。任意の数のスピーカを、さまざまな実施形態に含むことができる。

ＳＯＣ １０の構成要素の数（及び、ＣＰＵ複合体１４の中などの、図１に示されるもののサブ構成要素の数）は、実施形態ごとに異なる可能性があることに留意されたい。各構成要素／サブ構成要素の数は、図１に示されるよりも多いか、又は、少ない場合がある。同様に、ＳＯＣ １０の外部だが機器５の中にある構成要素の種類及び数は、変動する可能性があり、図１に示されていない他の構成要素（例えば、視覚インターフェースをユーザに提供するタッチディスプレイなどのディスプレイ、ネットワーク構成要素、アンテナ、ＷｉＦｉ又は携帯電話の構成要素などの無線周波構成要素、その他）が含まれていてもよい。

次に図２を参照すると、電力を節約するために、ＳＯＣ １０（又は、少なくとも、ＣＰＵ複合体１４及びメモリコントローラ２２）の電源が切断されている間（例えば、機器５がアイドルであるとき）の、機器５の音声フィルタ回路２４及び特定の他の部分、の一実施形態の動作を例示するフローチャートが、示されている。理解を容易にするために、ブロックは、特定の順序で示されているが、他の順序を用いてもよい。ブロックは、音声フィルタ回路２４内の組み合わせ論理回路によって、並列に実行することができる（図２に明示的に並列に示されているブロックあるいは他のブロック、を含む）。ブロック、ブロックの組み合わせ、及び／又はフローチャート全体は、複数のクロックサイクルにわたって、パイプライン処理されることができる。ブロックは、いくつかの実施形態では、ソフトウェアを実行するプロセッサによって実施されてもよく、又はブロックは、固定されたハードウェア、又はそれらの任意の組み合わせであってもよい。音声フィルタ回路２４は、図２に示す動作を実行するように構成することができる。

音声フィルタ回路２４は、音声コーデック１６から、サンプルバッファ３０の中に、１以上の音声サンプルを受信し（ブロック４０）、機器５の音声コマンドモードをアクティブ化するために、キーワード／フレーズ／音として使用される所定のパターンとサンプルを比較する（ブロック４２）ことができる。一致がない場合には（判断ブロック４４の「いいえ」の脚）、音声フィルタ回路２４は、サンプルバッファ３０にサンプルを受信し、サンプルを比較し続けることができる。サンプルバッファ３０が一杯になると、サンプルバッファ３０は、最も古いサンプルを新しいサンプルで上書きしてもよい。即ち、サンプルのＮ個（Ｎは正の整数）のエントリを有するサンプルバッファ３０は、任意の時刻に、最新のＮ個のサンプルを有することができる。

一致（判断ブロック４４の「はい」の脚）の検出に応答して、音声フィルタ回路２４は、ＣＰＵ複合体１４及びメモリコントローラ２２が電源投入されることを要求する（ブロック４６）ように構成されてもよい。この要求は、実装に応じて、ＰＭＵ ２０、ＰＭＧＲ ２８、又は両者の組み合わせに送信することができる。前述したように、他の実施形態では、メモリコントローラ２２だけが、電源投入することができる。あるいは、メモリコントローラ２２の電源が最初に投入され、続いて、ＣＰＵ複合体１４を電源投入してもよい。ＣＰＵ複合体１４と並行した、メモリコントローラ２２（及びファブリック２７）の電源投入が、投入中に、電流の許容量を超える（いわゆる「突入電流」）可能性を有する場合に、かかる時間をずらした電源投入を使用することができる。

メモリコントローラ２２が電源投入され、そして、音声フィルタ回路２４から、メモリコントローラパラメータ３４Ｂを、メモリコントローラ２２のパラメータ３４Ａに復元する（ブロック４８）ことができる。パラメータ３４Ｂが、メモリコントローラ２２で使用していた（メモリコントローラ２２の電源を切断する前に）最新のパラメータ３４Ａのシャドウである場合、そのパラメータは、「復元」することができる。前述したように、別の実施形態では、パラメータ３４Ｂは、メモリ１２への正常なアクセスを可能にする一方で最大性能のために最適化されていない保守的な「既知の良好な」パラメータのセットとしてもよい。この場合、パラメータを「復元する」というのは、パラメータ３４Ａとして、この保守的なパラメータ３４Ｂを設定することをいう。続いて、メモリコントローラ２２は、メモリ１２向けにトレーニングされる場合があり、パラメータを修正することができる。ある実施形態において、音声フィルタ回路２４は、一致したサンプル及び後続サンプルを、サンプルバッファ３０から、メモリコントローラ２２を介して、メモリ１２に書き込み、そして、動作がＣＰＵ複合体１４によって終了されるまで、サンプルの書き込みを継続することができる（ブロック５０）。

更に、ＣＰＵ複合体１４のプロセッサが電源投入され、リセットされた後に、オペレーティングシステムをブートすることができる（ブロック５２）。ＣＰＵ複合体１４上で実行されるオペレーティングシステムは、メモリ１２に記憶されたサンプルを処理し、キーワード／フレーズ／音が確かに検出されたことを確認し、ユーザの要求が何であるかを判断することができる。機器５は、コマンド／要求（ブロック５４）の実行に取りかかることができる。

オペレーティングシステムのブートは、ＳＯＣ １０のさまざまな構成要素を試験し、プログラムすることを含むので、メモリコントローラ２２の電源投入及び復元と比較して、時間を要するタスクとなる恐れがある。オペレーティングシステムは、ブート処理の早い段階で、ブートの理由が、キーワード／フレーズ／音声の検出によるか否かをチェックするように設計することができ、検出を検証するために、少なくとも、キーワード／フレーズ／音を表すサンプルを処理する場合がある。オペレーティングシステムは、音声フィルタ回路２４による検出が誤りであったと判断した場合には、オペレーティングシステムはブート処理を中断し、機器５をアイドル状態に戻す（ＣＰＵ複合体１４及びメモリコントローラ２２の電源をオフする）ことができる。

図３はメモリコントローラ２２をトレーニングし、音声フィルタ回路２４にシャドウメモリコントローラパラメータを提供するための、オペレーティングシステムの一実施形態の動作を例示するフローチャートである。理解を容易にするために、特定の順序でブロックを示しているが、他の順序を用いてもよい。いくつかの実施形態では、前述のように、ブロックは、オペレーティングシステムソフトウェアを実行するプロセッサによって、実行することができる。

オペレーティングシステムは、メモリコントローラ２２内のトレーニングをアクティブ化し、メモリコントローラ２２をメモリ１２と同期させて、メモリ１２への高性能接続を確立することができる（ブロック６０）。トレーニングの完了に応じて、パラメータ３４Ａは、構成を表し得る。オペレーティングシステムは、パラメータ３４Ａをシャドウパラメータ３４Ｂにコピーする（ブロック６２）場合がある。あるいは、シャドウイングは、ハードウェアで実現されてもよい。更に別の実施形態では、異なるパラメータの組が、シャドウパラメータ３４Ｂに提供されることにより、メモリコントローラ２２が、キーワード／フレーズ／音の検出によって復元された場合、適切に動作することを確実にすることができる。

次に図４に移ると、機器５の一実施形態の動作を例示するタイミング図が示されている。図４において、時間は左から右へ増加する。タイミング図の開始において、左側で、機器５はアイドル状態の可能性があり、したがって、音声フィルタ回路２４は、音声サンプルを監視することができる。メモリコントローラ２２及びＣＰＵ複合体１４などのＳＯＣ１０の他の部分の電源は、切断されている可能性がある。タイミング図の上方を横切る文は、ユーザにより発話されてもよく、この例ではキーフレーズは、「Ｈｅｙ Ｓｉｒｉ」とすることができる。しかし、さまざまな実施形態において、任意のキーワード／フレーズを使用することができる。

音声フィルタ２４によって、マイクロフォンに応答して生成された音声サンプルが処理されるにつれて、音声フィルタ２４は、キーフレーズ（参照数字７０）を検出することができる。この検出に応答して、音声フィルタ２４は、メモリコントローラ２２及びＣＰＵ複合体１４の電源投入を要求することができる（参照数字７２及び７４）。音声フィルタ２４は、パラメータ３４Ｂからメモリコントローラ２２を復元することができ、これによって、メモリコントローラ２２は、書き込み動作を受け入れるように利用可能となり得る。続いて、音声フィルタ２４は、パターンと一致する音声サンプル及び後続のサンプル（「一番近いピザ屋はどこ？」を表す）をメモリに書き込む（参照数字７６）ことができる。

一方、ＣＰＵは、電源投入し、リセットし、そして、オペレーティングシステム（参照数字７４、７８）をブートすることができる。図４に例示されるように、音声サンプルの処理を開始することができる（参照数字８０）ようになる時点までの、オペレーティングシステムのブートは、メモリコントローラ２２の復元よりも時間を要する恐れがある。メモリコントローラによって受信されキャプチャされるサンプル、例えば、キーワードの直後のワード（単数又は複数）は、ブート後のワードだけをオペレーティングシステムがキャプチャしていた場合には、キャプチャされることはない。したがって、ユーザによる連続的な発話をキャプチャすることができ、より自然な（ユーザに対して）インターフェースを利用することができる。前述のように、いくつかの実施形態では、ＣＰＵは、メモリコントローラ２２と並列には、電源投入しなくてもよい。

上述の開示を十分に理解すれば、多くの変形及び改良が、当業者には明らかとなるであろう。以下の特許請求の範囲は、かかる変形及び改良の全てを包含するように解釈されることが意図される。

Claims (16)

1. 集積回路であって、
   １つ以上のプロセッサと、
   少なくとも１つのメモリコントローラと、
   前記１つ以上のプロセッサ及び前記メモリコントローラに連結された第１回路と、
   を備え、前記第１回路は、前記１つ以上のプロセッサ及び前記メモリコントローラが、電源切断されている時間中に、電源投入されたままであるように構成され、前記第１回路は、前記１つ以上のプロセッサ及び前記メモリコントローラの電源が切断されている時間中に、１つ以上の音声入力機器によってキャプチャされた音声サンプルを受信し、前記音声サンプル中の所定のパターンを検出するように構成され、前記第１回路は、前記所定のパターンの検出に応答して、前記メモリコントローラ及び前記１つ以上のプロセッサに電源投入させるように構成され、前記第１回路は、前記メモリコントローラが書き込み動作の受信が可能であるが、前記１つ以上のプロセッサがサンプルを処理する準備が整っていない時間の間、前記所定のパターンと一致する前記音声サンプル及び続いて受信されたサンプルを、前記メモリコントローラを介して、メモリに書き込むように構成された、集積回路。
2. 前記所定のパターンは、１つ以上の単語の発語を含む音声を表す、請求項１に記載の集積回路。
3. 前記所定のパターンは、ユーザの音声からキャプチャされる、請求項２に記載の集積回路。
4. 前記所定のパターンは、非言語音を含む音を表す、請求項１に記載の集積回路。
5. 前記第１回路は、前記メモリとの動作に関する、前記メモリコントローラをプログラムするための１つ以上のメモリコントローラパラメータを前記メモリコントローラに提供するように構成された、請求項１に記載の集積回路。
6. 前記第１回路は、複数の前記音声サンプルを記憶するように構成されたバッファを含み、前記複数の音声サンプルの数が、前記メモリコントローラが、前記音声サンプルの前記メモリへの書き込みを受信するために利用可能となるまで、前記パターンに一致する前記音声サンプル、及び、続いて受信されたサンプル、を格納するのに十分である、請求項１に記載の集積回路。
7. 前記第１回路は、前記音声サンプル内の少なくとも前記所定のパターンの前記検出を行い、かつ、前記プロセッサ及び前記メモリコントローラの前記電源投入をさせるために、複数の命令を実行するように構成されたプロセッサを含む、請求項１に記載の集積回路。
8. 前記第１回路は、前記音声サンプル内の前記所定のパターンを検出するように構成されたハードウェア回路を含む、請求項１に記載の集積回路。
9. システムであって、
   音声入力機器と、
   前記音声入力機器に連結されて、前記音声入力機器によって検出された音声から音声サンプルを生成するように構成された音声符号器／復号器（コーデック）と、
   メモリと、
   請求項１に記載の集積回路と、
   を備え、前記集積回路は、前記音声コーデック及び前記メモリに連結されている、システム。
10. 前記音声入力機器は、前記システムに含まれる複数のマイクロフォンのうちの１つであり、前記複数のマイクロフォンのうちの他のものは、前記メモリコントローラの電源が切断されている時間中は、無効にされている、請求項９に記載のシステム。
11. 前記第１回路は、前記音声サンプル中の前記所定のパターンの検出に応答して、前記１つ以上のプロセッサを前記メモリコントローラと並列に電源投入させるように構成された、請求項９に記載のシステム。
12. 前記１つ以上のプロセッサは、前記所定のパターンが検出されたことを確認して、前記続いて受信された音声サンプルを解釈するために、複数の命令を実行するように構成された、請求項１１に記載のシステム。
13. 集積回路における中央処理装置（ＣＰＵ）複合体及びメモリコントローラの電源を切断することと、
    前記ＣＰＵ複合体及び前記メモリコントローラの電源が切断されている時間中に、前記集積回路内の、電源投入されたままの第１回路において音声サンプルを監視することと、
    前記１つ以上のプロセッサ及び前記メモリコントローラの電源が切断されている時間中に、前記第１回路における前記音声サンプル中の所定のパターンを検出することと、
    前記検出に応答して、少なくとも前記メモリコントローラの電源投入を要求することと、
    前記メモリコントローラが利用可能になるまで、前記第１回路内の前記音声サンプル及び続いて受信された音声サンプルをバッファリングし、前記バッファリングされた音声サンプルをメモリに書き込むことによって、前記音声サンプル及び続いて受信された音声サンプルが失われないことを確実にし、音声サンプルの連続ストリームが、前記メモリ内での処理のために利用可能となることと、
    を含み、前記メモリコントローラは書き込み動作の受信が可能であるが、前記１つ以上のプロセッサはサンプルを処理する準備が整っていない時間の間、音声サンプルが前記メモリに書き込まれる、方法。
14. 前記ＣＰＵ複合体の電源投入を要求することを更に含む、請求項１３に記載の方法。
15. 前記ＣＰＵ複合体上のオペレーティングシステムをブートすることと、
    前記メモリからの前記バッファリングされた音声サンプルを処理することと、
    を更に含む、請求項１４に記載の方法。
16. 前記処理することは、
    前記所定のパターンが検出されたことを検証することと、
    前記続いて受信された音声サンプルを解釈することと、
    を含む、請求項１５に記載の方法。

Images