JP6234573B2 - インテリジェント補助電子デバイス - Google Patents

インテリジェント補助電子デバイス Download PDF

Info

Publication number
JP6234573B2
JP6234573B2 JP2016529970A JP2016529970A JP6234573B2 JP 6234573 B2 JP6234573 B2 JP 6234573B2 JP 2016529970 A JP2016529970 A JP 2016529970A JP 2016529970 A JP2016529970 A JP 2016529970A JP 6234573 B2 JP6234573 B2 JP 6234573B2
Authority
JP
Japan
Prior art keywords
electronic device
audio input
personal assistant
memory
remote electronic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016529970A
Other languages
English (en)
Other versions
JP2016541051A (ja
Inventor
ダドゥ、サウラブ
シャー、サウリン
エム． タラペル、フランシス
エム． タラペル、フランシス
クリシュナマーティ、ラクシュマン
ケイ． ヴォーゲル、ブライアン
ケイ． ヴォーゲル、ブライアン
カー、スワルネンドゥ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of JP2016541051A publication Critical patent/JP2016541051A/ja
Application granted granted Critical
Publication of JP6234573B2 publication Critical patent/JP6234573B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Selective Calling Equipment (AREA)
  • Telephone Function (AREA)

Description

［関連出願］
なし
本明細書において説明される主題は、概して、電子デバイス分野に関し、より詳細には、インテリジェント補助電子デバイスに関する。
ラップトップ、コンピュータ、ネットブックスタイルのコンピュータ、タブレットコンピュータ、携帯電話、電子リーダ等のような多くの電子デバイスは、例えば、音声及びテキストメッセージングなどの、デバイスに組み込まれた複数の通信機能を有する。いくつかの状況では、ヘッドセット、コンピュータ内蔵眼鏡等のような補助電子デバイスへのインタフェースを用いて、このような電子デバイスと通信を行うことが有用なことがある。
さらに、ネットワーク接続された多くの電子デバイスが、今や、電子デバイスのユーザと音声ベースのインタフェースを介してインタラクトするパーソナルアシスタントサービスを提供している。このような状況において、ヘッドセット、コンピュータ内蔵眼鏡等のような補助電子デバイスへのインタフェースを介して、パーソナルアシスタントサービスと通信を行うことが有用なことがある。
従って、インテリジェント補助電子デバイスを提供するシステム及び技術が、有用性を見出すことがある。
詳細な説明が、添付された複数の図を参照しつつ説明される。
いくつかの実施例に係るインテリジェントレコーディングと共に動作するように適合され得る例示的な電子デバイスの図である。 いくつかの実施例に係るインテリジェント補助電子デバイスの複数のコンポーネントの模式図である。 インテリジェント補助電子デバイスがいくつかの実施例に従って実装され得る環境の高レベルの模式図である。 いくつかの実施例に係るインテリジェント補助デバイスを実装する方法における複数のオペレーションを示すフローチャートである。 いくつかの実施例に係る複数の電子デバイス間における通信のタイミング図である。 いくつかの実施例に係るインテリジェントレコーディングを実装するように適合され得る電子デバイスの模式図である。 いくつかの実施例に係るインテリジェントレコーディングを実装するように適合され得る電子デバイスの模式図である。 いくつかの実施例に係るインテリジェントレコーディングを実装するように適合され得る電子デバイスの模式図である。 いくつかの実施例に係るインテリジェントレコーディングを実装するように適合され得る電子デバイスの模式図である。 いくつかの実施例に係るインテリジェントレコーディングを実装するように適合され得る電子デバイスの模式図である。
本明細書において、インテリジェント補助電子デバイスを実装する複数の例示的なシステム及び方法が説明される。以下の説明において、様々な例を十分に理解ならしめるべく、多数の具体的な詳細が記載される。しかしながら、当分野の当業者であれば、これらの様々な例が、具体的な詳細なしで実施され得ることが理解されよう。他の複数の例において、周知の方法、手続き、コンポーネント、及び回路は、具体例を曖昧にしないよう、詳細には示され又は説明されていない。
簡単にいうと、ここで説明される主題は、リモート電子デバイスとの通信を管理するロジックを有するコントローラを含むインテリジェント補助電子デバイスを提供することによって、少なくとも部分的に、上述された関心事項に取り組むものである。例えば、リモート電子デバイスは、モバイル通信又はコンピューティングデバイス、携帯電話等として具現化されてよく、補助電子デバイスは、イヤホン、ヘッドセット等のようなウェアラブルデバイスとして具現化されてよい。
補助電子デバイスのコントローラは、補助電子デバイスが、リモート電子デバイス上で実行するパーソナルアシスタントと「ワンショット」モードでインタラクトすることを可能にする複数のオペレーションを実装してよく、そのモードにおいて、補助電子デバイスは、パーソナルアシスタントからの準備完了応答信号を待たない。ワンショットモードでの動作は、ユーザとパーソナルアシスタントとのより自然なインタラクションを可能とする。さらに、ワンショットモードでの動作は、パーソナルアシスタントと補助電子デバイスとの間における通信処理に固有の遅延を管理する。
いくつかの例において、補助電子デバイスのコントローラは、受信されたオーディオ信号においてキーフレーズを検出するロジックを備えてよい。例えば、パーソナルアシスタントは、パーソナルアシスタントをアクティブ化する「こんにちは、ジャービス（Ｈｅｌｌｏ Ｊａｒｖｉｓ）」のような事前に構成されたキーフレーズを与えてよい。代替的に、ユーザは、構成処理中に、カスタマイズされたキーフレーズを入力してよい。補助デバイスのオーディオ入力（例えばマイクロフォン）においてキーフレーズが検出された場合、ロジックは、パーソナルアシスタントをアクティブ化すべく、リモート電子デバイスのパーソナルアシスタントに信号を送信する。
補助電子デバイスのロジックは、次に、ユーザからのさらなるオーディオ入力について、オーディオ入力デバイスを監視する。リモート電子デバイスのパーソナルアシスタントマネジャから応答を受信する前に、追加のオーディオ入力がオーディオ入力デバイスで受信された場合、コントローラは、ワンショットモードで動作するように補助電子デバイスを構成する。ワンショットモードで動作する間、補助電子デバイスは、ユーザからのオーディオ入力を、メモリにおいてバッファ処理し、適切な時に、オーディオ入力をリモート電子デバイスのパーソナルアシスタントに転送する。
つまり、補助電子デバイスのユーザは、パーソナルアシスタントから準備完了指示を待つ必要なく、パーソナルアシスタントとのインタラクトが可能である。以下、図１−１０を参照して、複数の具体的な特徴及び詳細が説明される。
図１は、リモート電子デバイスに連結され得るリモート電子デバイス１００の例の模式図である。いくつかの態様において、リモート電子デバイス１００は、携帯電話、タブレットコンピューティングデバイス、パーソナルデジタルアシスタント（ＰＤＡ）、ノートパッド、コンピュータ、ビデオカメラ、スマートウォッチ、スマートリストバンド、スマートヘッドフォン等のようなウェアラブルデバイスとして具現化されてよい。リモート電子デバイス１００の具体的な実施形態は、重要ではない。
いくつかの例において、リモート電子デバイス１００は、ＲＦ信号を送受信するＲＦトランシーバ１２０と、ＲＦトランシーバ１２０によって受信された信号を処理する信号処理モジュール１２２とを含んでよい。ＲＦトランシーバ１２０は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）又は８０２．１１Ｘ、ＩＥＥＥ８０２．１１ａ、ｂもしくはｇに準拠するインタフェース（例えば、ＩＥＥＥ Ｓｔａｎｄａｒｄ ｆｏｒ ＩＴ −Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ ａｎｄ ｉｎｆｏｒｍａｔｉｏｎ ｅｘｃｈａｎｇｅ ｂｅｔｗｅｅｎ ｓｙｓｔｅｍｓ ＬＡＮ／ＭＡＮ − Ｐａｒｔ ＩＩ： Ｗｉｒｅｌｅｓｓ ＬＡＮ Ｍｅｄｉｕｍ Ａｃｃｅｓｓ Ｃｏｎｔｒｏｌ （ＭＡＣ） ａｎｄ Ｐｈｙｓｉｃａｌ Ｌａｙｅｒ （ＰＨＹ） ｓｐｅｃｉｆｉｃａｔｉｏｎｓ Ａｍｅｎｄｍｅｎｔ ４： Ｆｕｒｔｈｅｒ Ｈｉｇｈｅｒ Ｄａｔａ Ｒａｔｅ Ｅｘｔｅｎｓｉｏｎ ｉｎ ｔｈｅ ２．４ ＧＨｚ Ｂａｎｄ， ８０２．１１Ｇ−２００３を参照）のようなプロトコルを介してのローカル無線接続を実装してよい。無線インタフェースの他の例は、汎用パケット無線サービス（ＧＰＲＳ）インタフェース（例えば、Ｇｕｉｄｅｌｉｎｅｓ ｏｎ ＧＰＲＳ Ｈａｎｄｓｅｔ Ｒｅｑｕｉｒｅｍｅｎｔｓ， Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ／ＧＳＭ（登録商標）Ａｓｓｏｃｉａｔｉｏｎ， Ｖｅｒ． ３．０．１， Ｄｅｃｅｍｂｅｒ ２００２を参照）であろう。
リモート電子デバイス１００は、１つ又は複数のプロセッサ１２４とメモリ１４０とをさらに含んでよい。本明細書において用いられるように、「プロセッサ」という用語は、限定されるものではないが、マイクロプロセッサ、マイクロコントローラ、複雑命令セットコンピューティング（ＣＩＳＣ）マイクロプロセッサ、縮小命令セット（ＲＩＳＣ）マイクロプロセッサ、超長命令語（ＶＬＩＷ）マイクロプロセッサ、又は任意の他のタイプのプロセッサもしくは処理回路のような、任意のタイプの演算要素を意味する。いくつかの例において、プロセッサ１２４は、カリフォルニア州サンタクララのインテル（登録商標）コーポレーションから入手可能なプロセッサのファミリの１つ又は複数のプロセッサであってよい。代替的に、Ｉｎｔｅｌ（登録商標）のＩｔａｎｉｕｍ（登録商標）、ＸＥＯＮ（商標）、ＡＴＯＭ（商標）、及びＣｅｌｅｒｏｎ（登録商標）プロセッサのような他の複数のプロセッサが利用可能である。また、他の複数の製造業者からの１つ又は複数のプロセッサが利用可能である。さらに、プロセッサは、シングルコア設計を有してよく、又はマルチコア設計を有してよい。
いくつかの例において、メモリ１４０は、ランダムアクセスメモリ（ＲＡＭ）を含む。しかしながら、メモリモジュール１４０は、ダイナミックＲＡＭ（ＤＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）等のような他の複数のメモリタイプを用いて実装されてよい。メモリ１４０は、プロセッサ１２４上で実行するパーソナルアシスタント１４２を含む１つ又は複数のアプリケーションを備えてよい。
リモート電子デバイス１００は、例えば、キーパッド、タッチパッド、マイクロフォン等のような１つ又は複数の入力／出力デバイス１２６、１つ又は複数のディスプレイ１２８、スピーカ１３４、及び１つ又は複数のレコーディングデバイス１３０をさらに含んでよい。例として、レコーディングデバイス１３０は、１つ又は複数のカメラ及び／又はマイクロフォンを備えてよい。画像信号プロセッサ１３２は、レコーディングデバイス１３０によって収集された複数の画像を処理するために設けられてよい。
いくつかの例において、リモート電子デバイス１００は、上述されたプロセッサ１２４と別個たり得る低電力コントローラ１７０を含んでよい。図１に示される例において、コントローラ１７０は、１つ又は複数のプロセッサ１７２、メモリモジュール１７４、及びＩ／Ｏモジュール１７６を備える。いくつかの例において、メモリモジュール１７４は、永続的フラッシュメモリモジュールを備えてよく、Ｉ／Ｏモジュール１７６は、永続的メモリモジュール、例えば、ファームウェア又はソフトウェアにおいてエンコードされる複数のロジック命令として実装されてよい。Ｉ／Ｏモジュール１７６はシリアルＩ／Ｏモジュール又はパラレルＩ／Ｏモジュールを備えてよい。再び、補助的なコントローラ１７０はメインプロセッサ１２４と物理的に別個であるため、プロセッサ１２４が低電力消費状態、例えばスリープ状態のままでいる間に、コントローラ１７０は、単独で動作してよい。さらに、低電力コントローラ１７０は、低電力コントローラ１７０がオペレーティングシステムを介してのハッキングにアクセス不可能であるという意味で、セキュアたり得る。いくつかの例において、パーソナルアシスタント１７８の例は、コントローラ１７０上で実行してよい。
パーソナルアシスタント１７８の例は、メモリ１４０においてパーソナルアシスタント１４２の完全な機能を有してよい。代替的な複数の例において、コントローラ１７０上で実行するパーソナルアシスタント１７８の例は、メモリ１４０に格納されたパーソナルアシスタント１４２の一部の機能のみを含んでよい。例えば、パーソナルアシスタント１７８の例は、例えば、プロセッサ１２４が低電力又はスリープ状態の場合に、パーソナルアシスタント１４２への要求を受信しこれに応答するフロントエンドアクセスサービスを提供してよい。パーソナルアシスタント１７８は、パーソナルアシスタント１４２からのサービス要求を受信してよく、要求元がパーソナルアシスタント１４２を用いるために認証されていることを保証する認証処理を実装してよい。例えば、パーソナルアシスタント１７８は、パスワードを収集してよく、音声プリントをマッチングしてよく、又は他の認証技術を実装してよい。パーソナルアシスタント１７８は、次に、プロセッサ１２４を低電力又はスリープ状態から起こし、パーソナルアシスタント１４２に要求を渡してもよい。
図２は、いくつかの実施例に係るインテリジェント補助電子デバイス２００の複数のコンポーネントの模式図である。補助電子デバイス２００のコンポーネントの多くは、図１に示されるリモート電子デバイス１００の対応するコンポーネントと同じであってよい。簡潔性及び明確性のために、これらのコンポーネントの説明は繰り返さない。
図２に示される補助電子デバイス２００は、低電力スピーチ検出器（ＬＰＳＤ）２７７を含む。例えば、ＬＰＳＤ２７７は、低電力消費コントローラとして実装されてよく、これは、常にオンであり、補助電子デバイスに対するマイクロフォンからの入力を定期的に監視する。いくつかの例において、ＬＰＳＤ２７７は、音声認識モジュールを含んでよく、これにより、ＬＰＳＤは、１つ又は複数の認識された音声のみに応答する。
図２に示されるように、いくつかの例において、補助電子デバイス２００は、イヤホン又はヘッドセットのようなウェアラブル電子デバイスとして実装されてよい。
図３は、インテリジェント補助電子デバイスがいくつかの実施例に従って実装され得る環境の高レベルの模式図である。図３を参照すると、いくつかの環境において、リモート電子デバイス１００は、上述されたように、１つ又は複数の補助電子デバイス２００と通信チャネルを確立するような範囲内にあってよい。例えば、リモート電子デバイス１００及び補助電子デバイス２００間の通信チャネルは、無線通信チャネル、有線通信チャネル、光学通信チャネル等であってよい。
リモート電子デバイス１００は、通信チャネルによってネットワークアクセスデバイス３１０に連結されてもよい。例えば、ネットワークアクセスデバイス３１０は、通信ネットワーク３４０を介してリモート電子デバイス１００に１つ又は複数のネットワークリソース３３０又は他のリモート電子デバイス１００とのアクセスを提供するネットワークアクセスデバイス（例えば、ルータ、基地局等）として具現化されてよい。例えば、ネットワーク３４０は、無線ネットワーク、例えば無線ローカルエリアネットワーク、及びインターネットのような１つ又は複数の公共ネットワークを含んでよい。
補助電子デバイスを実装する様々な構造が説明されたが、動作の態様が、図４−５を参照して説明される。図４は、いくつかの実施例に係るインテリジェント補助デバイスを実装する方法における複数のオペレーションを示すフローチャートであり、図５は、いくつかの実施例に係る複数の電子デバイス間における通信のタイミング図である。図４のフローチャートに示されるいくつかのオペレーションは、補助電子デバイス２００のパーソナルアシスタントマネジャ２４２によって実装されてよい。
図４および５を参照すると、補助電子デバイス２００のオペレーション４１０は、キーフレーズを検出する。例えば、いくつかの例において、ＬＰＳＤ２７７は、指定されたキーフレーズに対応する音声入力がマイクロフォンに受信されたことを検出してよい。例えば、図５を簡単に参照すると、いくつかの例において、ユーザは、キーフレーズ（例えば、「こんにちは、ジャービス（Ｈｅｌｌｏ Ｊａｒｖｉｓ）」）をマイクロフォンのような入力／出力デバイス２２６に入力してよい。キーフレーズは、ＬＰＳＤ２７７のトリガとして機能する。
ＬＰＳＤ２７７は、キーフレーズを受信し、オペレーション４１５において、ＬＰＳＤ２７７は、補助電子デバイス２００のプロセッサ２２４をアクティブ化する信号を生成する。オペレーション４２０において、プロセッサ２２４は、リモート電子デバイス１００上で実行するパーソナルアシスタント１４２／１７８に信号を送信する。図５に示されるように、リモート電子デバイス１００上で実行するパーソナルアシスタント１４２／１７８がセットアップ処理を経る間に、セットアップレイテンシが発生する。
オペレーション４２５において、補助電子デバイス２００は、補助電子デバイス２００におけるマイクロフォンへの音声入力について監視を続ける。
オペレーション４３０において、オーディオ入力が受信された場合、制御はオペレーション４３５に移り、補助電子デバイス２００は、受信されたオーディオを、メモリ、例えばメモリ２４０においてバッファ処理する。いくつかの例において、補助電子デバイス２００は、リモート電子デバイス１００からの準備完了応答のプレゼンテーションを、オーディオ入力が終了するまでブロックする。一方で、オペレーション４３０においてオーディオ入力がない場合、制御はオペレーション４４０に移り、補助電子デバイスがリモート電子デバイス１００上で実行するパーソナルアシスタント１４２／１７８から応答を受信したか否かが決定される。
オペレーション４４０において、応答が受信されなかった場合、制御はオペレーション４４５に移り、タイムアウト閾値が経過したか否かが決定される。オペレーション４４５において、タイムアウト閾値が経過しなかった場合、制御はオペレーション４２５に戻り、補助電子デバイス２００は、補助電子デバイスにおけるマイクロフォンへの音声入力について監視を続ける。一方で、オペレーション４４５においてタイムアウト期間が経過した場合、制御はオペレーション４５０に移る。
つまり、オペレーション４２５−４４５は、ループを定義し、これに従って、補助電子デバイス２００は、ユーザが、電子デバイス１００上で実行するパーソナルアシスタント１４２／１７８から、電子デバイス１００上で実行するパーソナルアシスタント１４２／１７８の準備完了を示す応答を待つことなく、リモート電子デバイス１００上で実行するパーソナルアシスタント１４２／１７８に質問を提供し続けることを可能とする。むしろ、ユーザは、質問を入力可能であり、補助電子デバイス２００は、メモリ２４０において質問をバッファ処理する。
例えば、図５を再び参照すると、ユーザは、キーフレーズ「こんにちは、ジャービス（Ｈｅｌｌｏ Ｊａｒｖｉｓ）」、続いて、例えば「今日のポートランドの天気はどうですか」という質問を入力してよい。補助電子デバイス２００上で実行するパーソナルアシスタントマネジャは、今日のポートランドの天気はどうですか」という質問を、メモリ２４０においてバッファ処理させる。
図４を再び参照すると、オペレーション４６０において、リモート電子デバイス１００は、オペレーション４２０において送信された信号に応答して、リモート電子デバイス上で実行するパーソナルアシスタント１４２／１７８をアクティブ化する。パーソナルアシスタント１４２／１７８のセットアップ処理は、遅延をもたらす。図５を参照すると、遅延は、ＰＡ Ｄｅｌａｙによって示される。パーソナルアシスタント１４２／１７８が準備完了している場合、制御はオペレーション４６５に移り、パーソナルアシスタント１４２／１７８は、これらの準備完了を示す信号を補助電子デバイス２００に送信する。この信号は、図５においてＰＡ Ｒｅａｄｙ Ｓｉｇｎａｌとして示される。
リモート電子デバイス１００から準備完了応答信号を受信したこと又はタイムアウト期間の経過は、オペレーション４２５−４４５によって定義されたループを終了させ、制御を任意のオペレーションであるオペレーション４５０に移す。
オペレーション４５０において、補助電子デバイス２００は、メモリ２４０においてバッファ処理されたスピーチにおける無音期間を、任意に検出及び除去する。例えば、スピーチアナライザは、メモリ２４０においてバッファ処理されたスピーチを分析してよく、時間長閾値より大きい無音期間に対応するデータを削除してよい。代替例において、無音期間に対応するデータは、メモリ１４０から削除される必要はない。むしろ、無音期間に対応するデータは、無音データとして特定されてよい。
オペレーション４５５において、補助電子デバイス２００は、バッファ処理されたオーディオをリモート電子デバイス１００上で実行するパーソナルアシスタント１４２／１７８に転送する。無音期間に対応するバッファ処理されたデータが削除されるのではなく特定される例において、無音期間に対応するバッファ処理されたデータは、転送される必要はない。いくつかの例において、リモート電子デバイス１００上で実行するパーソナルアシスタント１４２／１７８への質問の配信を迅速化すべく、オーディオは、アクセラレーテッドデータレートにおいて、バーストモードで転送されてよい。
オペレーション４７０において、リモート電子デバイス１００は、複数の標準的な処理オペレーションに従って、オーディオ入力を処理する。 つまり、図５を参照すると、リモート電子デバイス上で実行するパーソナルアシスタントは、質問を受信し、回答を取得し、補助電子デバイス２００に回答を転送してよい。
オペレーション４７５において、補助電子デバイスは、リモート電子デバイスからの終了信号を監視する。例えば、リモート電子デバイス１００上のパーソナルアシスタント１４２／１７８は、パーソナルアシスタント１４２／１７８がオーディオ入力を受信し、入力を処理していることを示す信号を送信してよい。オペレーション４７５において、終了信号が検出された場合、制御がオペレーション４８０に移り、補助電子デバイス２００は、単に、オーディオバッファをフラッシュし、リアルタイムにオーディオ転送を開始してよい。
上述されたように、いくつかの例において、電子デバイスは、コンピュータシステムとして具現化されてよい。図６は、実施例に係るコンピューティングシステム６００のブロック図を示す。コンピューティングシステム６００は、相互接続ネットワーク（又はバス）６０４を介して通信を行う１つ又は複数の中央処理装置６０２又はプロセッサを含んでよい。複数のプロセッサ６０２は、汎用プロセッサ、（コンピュータネットワーク６０３を介して送受信されたデータを処理する）ネットワークプロセッサ、又は（縮小命令セットコンピュータ（ＲＩＳＣ）プロセッサもしくは複雑命令セットコンピュータ（ＣＩＳＣ）を含む）他のタイプのプロセッサを含んでよい。さらに、プロセッサ６０２は、単一の又は複数のコア設計を有してよい。複数のコア設計を有する複数のプロセッサ６０２は、異なる複数のタイプのプロセッサコアを同じ集積回路（ＩＣ）ダイ上で一体化してよい。また、複数のコア設計を有するプロセッサ６０２は、対称又は非対称マルチプロセッサとして実装されてよい。例において、複数のプロセッサ６０２のうち１つ又は複数は、図１のプロセッサ１０２と同じ又は同様であってよい。例えば、複数のプロセッサ６０２のうち１つ又は複数は、図１を参照して説明された制御ユニット１２４又は図２のプロセッサ２２４を含んでよい。また、図４−５を参照して説明された複数のオペレーションは、システム６００の１つ又は複数のコンポーネントによって実行されてよい。
チップセット６０６は、相互接続ネットワーク６０４とさらに通信を行ってもよい。チップセット６０６は、メモリ制御ハブ（ＭＣＨ）６０８を含んでよい。ＭＣＨ６０８は、メモリ６１２と通信を行うメモリコントローラ６１０を含んでよい。メモリ６１２は、複数の命令の複数のシーケンスを含むデータを格納してよく、これらは、プロセッサ６０２又はコンピューティングシステム６００に含まれる任意の他のデバイスによって実行されてよい。一例において、メモリ６１２は、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、スタティックＲＡＭ（ＳＲＡＭ）、又は他のタイプのストレージデバイスのような１つ又は複数の揮発性ストレージ（又はメモリ）デバイスを含んでよい。ハードディスクのような不揮発性メモリも、利用可能である。追加の複数のデバイスは、複数のプロセッサ及び／又は複数のシステムメモリのような相互接続ネットワーク６０４を介して、通信を行ってよい。
ＭＣＨ６０８は、ディスプレイデバイス６１６と通信を行うグラフィックインタフェース６１４をさらに含んでもよい。一例において、グラフィックインタフェース６１４は、アクセラレーテッドグラフィクスポート（ＡＧＰ）を介して、ディスプレイデバイス６１６と通信を行ってよい。例において、（フラットパネルディスプレイのような）ディスプレイ６１６は、例えば、ビデオメモリ又はシステムメモリのようなストレージデバイスに格納された画像のデジタル表現を、ディスプレイ６１６によって解読及び表示される複数の表示信号に変換する信号コンバータを通じて、グラフィックインタフェース６１４と通信を行ってよい。ディスプレイデバイスによって生成される複数の表示信号は、ディスプレイ６１６によって解読され、次にディスプレイ６１６上で表示される前に、様々な制御デバイスを通して渡されてもよい。
ハブインタフェース６１８は、ＭＣＨ６０８及び入力／出力制御ハブ（ＩＣＨ）６２０を通信可能にしてよい。ＩＣＨ６２０は、コンピューティングシステム６００と通信を行うＩ／Ｏデバイスへのインタフェースを提供してよい。ＩＣＨ６２０は、周辺機器相互接続（ＰＣＩ）ブリッジ、ユニバーサルシリアルバス（ＵＳＢ）コントローラ又は複数の他のタイプの周辺ブリッジもしくはコントローラのような周辺ブリッジ（又はコントローラ）６２４を通じて、バス６２２と通信を行ってよい。ブリッジ６２４は、プロセッサ６０２と複数の周辺デバイスとの間にデータパスを提供してよい。複数の他のタイプのトポロジが、利用可能である。また、複数のバスは、例えば、複数のブリッジ又はコントローラを介して、ＩＣＨ６２０と通信を行ってよい。さらに、ＩＣＨ６２０と通信を行う他の複数の周辺機器は、様々な例において、統合ドライブエレクトロニクス（ＩＤＥ）もしくはスモールコンピュータシステムインタフェース（ＳＣＳＩ）ハードドライブ、ＵＳＢポート、キーボード、マウス、パラレルポート、シリアルポート、フロッピ（登録商標）ディスクドライブ、デジタル出力サポート（例えば、デジタルビデオインタフェース（ＤＶＩ））、又は複数の他のデバイスを含んでよい。
バス６２２は、オーディオデバイス６２６、１つ又は複数のディスクドライブ６２８及び（コンピュータネットワーク６０３と通信を行う）ネットワークインタフェースデバイス６３０と通信を行ってよい。複数の他のデバイスは、バス６２２を介して通信を行ってよい。また、ネットワークインタフェースデバイス６３０のような）複数の様々なコンポーネントは、いくつかの例において、ＭＣＨ６０８と通信を行ってよい。さらに、本明細書で説明されるプロセッサ６０２及び１つ又は複数の他のコンポーネントは、組み合わせられてよく、これにより、単一のチップを形成（例えば、システムオンチップ（ＳｏＣ））を提供）する。さらに、グラフィックアクセラレータ６１６は、複数の他の例において、ＭＣＨ６０８内に含まれてよい。
さらに、コンピューティングシステム６００は、揮発性及び／又は不揮発性メモリ（又はストレージ）を含んでよい。例えば、不揮発性メモリは、リードオンリメモリ（ＲＯＭ）、プログラマブルＲＯＭ（ＰＲＯＭ）、消去可能ＰＲＯＭ（ＥＰＲＯＭ）、電気的ＥＰＲＯＭ（ＥＥＰＲＯＭ）、ディスクドライブ（例えば、６２８）、フロッピ（登録商標）ディスク、コンパクトディスクＲＯＭ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、フラッシュメモリ、光磁気ディスク、又は電子データ（例えば、複数の命令を含む）を格納可能な複数の他のタイプの不揮発性機械可読メディアのうち１つ又は複数を含んでよい。
図７は、実施例に係るコンピューティングシステム７００のブロック図を示す。システム７００は、１つ又は複数のプロセッサ７０２−１から７０２−Ｎ（概して、本明細書においては「複数のプロセッサ７０２」又は「プロセッサ７０２」と称される）を含んでよい。複数のプロセッサ７０２は、相互接続ネットワーク又はバス７０４を介して通信を行ってよい。各プロセッサは、複数の様々なコンポーネントを含んでよく、それらのいくつかは、明確化のため、プロセッサ７０２−１のみを参照して説明される。従って、残るプロセッサ７０２−２から７０２−Ｎの各々は、プロセッサ７０２−１を参照して説明される同じ又は同様の複数のコンポーネントを含んでよい。
例において、プロセッサ７０２−１は、１つ又は複数のプロセッサコア７０６−１から７０６−Ｍ（本明細書においては「複数のコア７０６」、又はより一般的には「コア７０６」と称される）、共有キャッシュ７０８、ルータ７１０及び／又はプロセッサ制御ロジックもしくはユニット７２０を含んでよい。複数のプロセッサコア７０６は、単一の集積回路（ＩＣ）チップ上に実装されてよい。さらに、チップは、１つ又は複数の共有及び／又は専用の（キャッシュ７０８のような）キャッシュ、複数のバス又は複数の（バス又は相互接続ネットワーク７１２のような）相互接続、複数のメモリコントローラ又は複数の他のコンポーネントを含んでよい。
一例において、ルータ７１０は、プロセッサ７０２−１及び／又はシステム７００の様々なコンポーネントの間で通信を行うために利用可能である。さらに、プロセッサ７０２−１は、１つより多くのルータ７１０を含んでよい。さらに、多数のルータ７１０が通信を行ってよく、これにより、プロセッサ７０２−１内外の様々なコンポーネント間におけるデータルーティングが可能となる。
共有キャッシュ７０８は、コア７０６のようなプロセッサ７０２−１の１つ又は複数のコンポーネントによって用いられるデータ（例えば、複数の命令を含む）を格納してよい。例えば、共有キャッシュ７０８は、プロセッサ７０２の複数のコンポーネントによるアクセスをより高速化するために、メモリ７１４に格納されたデータをローカルにキャッシュしてよい。例において、キャッシュ７０８は、（レベル２（Ｌ２）、レベル３（Ｌ３）、レベル４（Ｌ４）又は他の複数のレベルのキャッシュのような）中レベルキャッシュ、ラストレベルキャッシュ（ＬＬＣ）、及び／又はこれらの複数の組み合わせを含んでよい。さらに、プロセッサ７０２−１の様々なコンポーネントは、直接、バス（例えばバス７１２）、及び／又はメモリコントローラもしくはハブを介して、共有キャッシュ７０８と通信を行ってよい。図７に示されるように、いくつかの例において、複数のコア７０６のうち１つ又は複数は、レベル１（Ｌ１）キャッシュ７１６−１（概して本明細書においては「Ｌ１キャッシュ７１６」と称される）を含んでよい。
図８は、実施例に係るコンピューティングシステムのプロセッサコア７０６及び複数の他のコンポーネントの一部のブロック図を示す。一例において、図８に示される複数の矢印は、コア７０６を介しての複数の命令のフローの方向を示す。１つ又は複数のプロセッサコア（例えばプロセッサコア７０６の）は、図７を参照して説明されたもののような単一の集積回路チップ（又はダイ）上に実装されてよい。さらに、チップは、１つ又は複数の共有及び／又は専用キャッシュ（例えば、図７のキャッシュ７０８）、相互接続（例えば、図７の相互接続７０４及び／又は１１２）、制御ユニット、メモリコントローラ又は複数の他のコンポーネントを含んでよい。
図８に示されるように、プロセッサコア７０６は、フェッチユニット８０２を含んでよく、これにより、複数の命令（複数の条件付き分岐を有する複数の命令を含む）をコア７０６による実行のためにフェッチしてよい。複数の命令は、メモリ７１４のような任意の複数のストレージデバイスからフェッチされてよい。コア７０６は、デコードユニット８０４をさらに含んでもよく、これにより、フェッチされた命令をデコードする。例えば、デコードユニット８０４は、フェッチされた命令を複数のμｏｐ（マイクロオペレーション）にデコードしてよい。
さらに、コア７０６は、スケジューリングユニット８０６を含んでよい。スケジューリングユニット８０６は、複数の命令がディスパッチの準備完了となるまで、例えば、デコードされた命令の全てのソース値が適用可能となるまで、複数のデコードされた命令（例えば、デコードユニット８０４から受信されたもの）の格納に関連付けられた様々なオペレーションを実行してよい。一例において、スケジューリングユニット８０６は、複数のデコードされた命令をスケジューリングし、及び／又はこれらを実行のために実行ユニット８０８に発し（又はディスパッチし）てよい。実行ユニット８０８は、複数のディスパッチされた命令が（例えばデコードユニット８０４によって）デコードされ、（例えばスケジューリングユニット８０６によって）ディスパッチされた後、これらを実行してよい。例において、実行ユニット８０８は、１つより多くの実行ユニットを含んでよい。実行ユニット８０８は、加算、減算、乗算、及び／又は除算のような様々な演算オペレーションをさらに実行してよく、１つ又は複数の演算論理ユニット（ＡＬＵ）を含んでよい。例において、コプロセッサ（不図示）は、実行ユニット８０８と連携して、様々な演算オペレーションを実行してよい。
さらに、実行ユニット８０８は、複数の命令をアウトオブオーダで実行してよい。従って、一例において、プロセッサコア７０６は、アウトオブオーダプロセッサコアであってよい。コア７０６は、リタイアメントユニット８１０をさらに含んでもよい。リタイアメントユニット８１０は、実行された複数の命令を、これらがコミットされた後でリタイアしてよい。例において、実行された複数の命令のリタイアは、プロセッサの状態が複数の命令の実行からコミットされる、複数の命令によって用いられた複数の物理レジスタが解放される等の結果をもたらしてよい。
コア７０６は、プロセッサコア７０６の複数のコンポーネントと（図８を参照して説明されたコンポーネントのような）複数の他のコンポーネントとの間の通信を、１つ又は複数のバス（例えば、バス８０４及び／又は８１２）を介して可能とするバスユニット７１４をさらに含んでもよい。コア７０６は、（電力消費状態設定に関する複数の値のような）コア７０６の様々なコンポーネントによってアクセスされるデータを格納する１つ又は複数のレジスタ８１６をさらに含んでもよい。
さらに、図７は、制御ユニット７２０が相互接続８１２を介してコア７０６に連結されるものとして示すものの、複数の様々な例において、制御ユニット７２０は、バス７０４等を介してコアに連結されるコア７０６の内部のような他の箇所に配置されてよい。
いくつかの例において、本明細書で説明される複数のコンポーネントのうち１つ又は複数は、システムオンチップ（ＳｏＣ）デバイスとして具現化されてよい。図９は、実施例に係るＳｏＣパッケージのブロック図を示す。図９に示されるように、ＳｏＣ９０２は、１つ又は複数のプロセッサコア９２０、１つ又は複数のグラフィックプロセッサコア９３０、入力／出力（Ｉ／Ｏ）インタフェース９４０及びメモリコントローラ９４２を含む。ＳｏＣパッケージ９０２の様々なコンポーネントは、本明細書において複数の他の図を参照して説明されるもののような相互接続又はバスに連結されてよい。また、ＳｏＣパッケージ９０２は、本明細書において複数の他の図を参照して説明されるもののような、より多くの又はより少ないコンポーネントを含んでよい。さらに、ＳｏＣパッケージ９０２の各コンポーネントは、例えば、本明細書の複数の他の図を参照して説明されるような１つ又は複数の他のコンポーネントを含んでよい。一例において、ＳｏＣパッケージ９０２（及びその複数のコンポーネント）は、例えば、単一の半導体デバイスにパッケージ化される１つ又は複数の集積回路（ＩＣ）ダイ上に提供される。
図９に示されるように、ＳｏＣパッケージ９０２は、メモリコントローラ９４２を介して、（本明細書において複数の他の図を参照して説明されるメモリと同様又は同じたり得る）メモリ９６０に連結される。例において、メモリ９６０（又はその一部）は、ＳｏＣパッケージ９０２に一体化されてよい。
Ｉ／Ｏインタフェース９４０は、例えば、本明細書において複数の他の図を参照して説明されるもののような相互接続及び／又はバスを介して、１つ又は複数のＩ／Ｏデバイス９７０に連結されてよい。Ｉ／Ｏデバイス９７０は、キーボード、マウス、タッチパッド、ディスプレイ、（カメラ又はカムコーダ／ビデオレコーダのような）画像／ビデオキャプチャデバイス、タッチ面、スピーカ等のうち１つ又は複数を含んでよい。
図１０は、実施例に係るポイントツーポイント（ＰｔＰ）構成で構成されるコンピューティングシステム１０００を示す。詳細には、図１０は、複数のプロセッサ、メモリ及び複数の入力／出力デバイスが、多数のポイントツーポイントインタフェースによって相互接続されるシステムを示す。図２を参照して説明された複数のオペレーションは、システム１０００の１つ又は複数のコンポーネントによって実行されてよい。
図１０に示されるように、システム１０００は、いくつかのプロセッサを含んでよく、これらは明確化のため、プロセッサ１００２および１００４の２つのみが示される。プロセッサ１００２および１００４は、各々、ローカルメモリコントローラハブ（ＭＣＨ）１００６及び１００８を含んでよく、これにより、メモリ１０１０および１０１２との通信を可能としてよい。いくつかの例において、ＭＣＨ１００６および１００８は、図１のメモリコントローラ１２０及び／又はロジック１２５を含んでよい。
例において、プロセッサ１００２および１００４は、図７を参照して説明された複数のプロセッサ７０２のうちの１つであってよい。プロセッサ１００２および１００４は、ポイントツーポイント（ＰｔＰ）インタフェース１０１４を介して、ＰｔＰインタフェース回路１０１６および１０１８のそれぞれを用いてデータを交換してよい。また、プロセッサ１００２および１００４は、個々のＰｔＰインタフェース１０２２および１０２４を介して、ポイントツーポイントインタフェース回路１０２６、１０２８、１０３０および１０３２を用いて、チップセット１０２０と各々データを交換してよい。チップセット１０２０は、高性能グラフィックインタフェース１０３６を介して、例えば、ＰｔＰインタフェース回路１０３７を用いて、高性能グラフィック回路１０３４とさらにデータを交換してよい。
図１０に示されるように、図１の複数のコア１０６及び／又はキャッシュ１０８のうち１つ又は複数は、プロセッサ１００４内に配置されてよい。複数の他の例は、しかしながら、図１０のシステム１０００内の他の複数の回路、複数の論理ユニット又は複数のデバイスに存在してよい。さらに、本発明の複数の他の例は、図１０に示されるいくつかの回路、論理ユニット又はデバイス全体に分散されてよい。
チップセット１０２０は、ＰｔＰインタフェース回路１０４１を用いてバス１０４０と通信を行ってよい。バス１０４０は、それ自体と通信を行うバスブリッジ１０４２及びＩ／Ｏデバイス１０４３のような１つ又は複数のデバイスを有してよい。バス１０４４を介して、バスブリッジ１０４３は、キーボード／マウス１０４５、（モデム、ネットワークインタフェースデバイス又はコンピュータネットワーク１００３と通信可能な他の通信デバイスのような）通信デバイス１０４６、オーディオＩ／Ｏデバイス、及び／又はデータストレージデバイス１０４８のような複数の他のデバイスと通信を行ってよい。データストレージデバイス１０４８（ハードディスクドライブ又はＮＡＮＤフラッシュベースのソリッドステートドライブであってよい）は、複数のプロセッサ１００４によって実行可能なコード１０４９を格納してよい。以下の複数の例は、さらなる複数の例に関する。
例１は、ハードウェアロジックを少なくとも部分的に含むロジックを備えるコントローラであって、ロジックは、受信されたオーディオ信号においてキーフレーズを検出し、キーフレーズに応答して、リモート電子デバイスのパーソナルアシスタントに信号を送信し、オーディオ入力が受信されたか否かを決定し、リモート電子デバイスのパーソナルアシスタントから応答を受信する前に追加のオーディオ入力が受信されたという決定に応答して、オーディオ入力をメモリにおいてバッファ処理し、オーディオ入力をリモート電子デバイスのパーソナルアシスタントに転送するように構成される。
例２において、例１に記載の主題は、ロジックが、受信されたオーディオ信号においてキーフレーズを検出する低電力コントローラを含む構成を任意に含んでよい。
例３において、例１−２のいずれか１つに記載の主題は、リモート電子デバイスのパーソナルアシスタントマネジャから応答を受信する前に追加のオーディオ入力が受信されたという決定に応答して、プロセッサをアクティブ化するようにさらに構成されるロジックを任意に含んでよい。
例４において、例１−３のいずれか１つに記載の主題は、リモート電子デバイスのパーソナルアシスタントからの準備完了応答について監視するようにさらに構成されるロジックを任意に含んでよい。
例５において、例１−４のいずれか１つに記載の主題は、リモート電子デバイスのパーソナルアシスタントから応答を受信する前に追加のオーディオ入力が受信されたという決定に応答して、パーソナルアシスタントからの準備完了応答のプレゼンテーションをブロックするようにさらに構成されるロジックを任意に含んでよい。
例６において、例１−５のいずれか１つに記載の主題は、メモリからリモート電子デバイスに、オーディオ入力を送信するようにさらに構成されるロジックを任意に含んでよい。
例７において、例１−６のいずれか１つに記載の主題は、メモリにおいてバッファ処理されたオーディオ入力において無音期間を検出し、メモリにおいてバッファ処理されたメモリにおいてオーディオ入力からリモート電子デバイスにオーディオ入力が送信される前に、バッファ処理された無音期間を除去するようにさらに構成されるロジックを任意に含んでよい。
例８において、例１−７のいずれか１つに記載の主題は、メモリからリモート電子デバイスにオーディオ入力を送信するようにさらに構成されるロジックを任意に含んでよく、ロジックは、アクセラレーテッドデータレートにおいて、バーストモードでオーディオ入力を送信するロジックを含む。
例９は、オーディオ入力デバイスと、通信インタフェースと、ハードウェアロジックを少なくとも部分的に含むロジックを含むコントローラと、を備える電子デバイスであって、ロジックは、受信されたオーディオ信号においてキーフレーズを検出し、キーフレーズに応答して、リモート電子デバイスのパーソナルアシスタントに信号を送信し、オーディオ入力が受信されたか否か決定し、リモート電子デバイスのパーソナルアシスタントから応答を受信する前に追加のオーディオ入力が受信されたという決定に応答して、メモリにおいてオーディオ入力をバッファ処理し、オーディオ入力をリモート電子デバイスのパーソナルアシスタントに転送するように構成される。
例１０において、例９に記載の主題は、ロジックが、受信されたオーディオ信号においてキーフレーズを検出する低電力コントローラを含む構成を任意に含んでよい。
例１１において、例９−１０のいずれか１つに記載の主題は、リモート電子デバイスのパーソナルアシスタントマネジャから応答を受信する前に追加のオーディオ入力が受信されたという決定に応答して、プロセッサをアクティブ化するようにさらに構成されるロジックを任意に含んでよい。
例１２において、例９−１１のいずれか１つに記載の主題は、リモート電子デバイスのパーソナルアシスタントからの準備完了応答について監視するようにさらに構成されるロジックを任意に含んでよい。
例１３において、例９−１２のいずれか１つに記載の主題は、リモート電子デバイスのパーソナルアシスタントから応答を受信する前に追加のオーディオ入力が受信されたという決定に応答して、パーソナルアシスタントからの準備完了応答のプレゼンテーションをブロックするようにさらに構成されるロジックを任意に含んでよい。
例１４において、例９−１３のいずれか１つに記載の主題は、メモリからリモート電子デバイスに、オーディオ入力を送信するようにさらに構成されるロジックを任意に含んでよい。
例１５において、例９−１４のいずれか１つに記載の主題は、メモリにおいてバッファ処理されたオーディオ入力において無音期間を検出し、メモリにおいてバッファ処理されたメモリにおいてオーディオ入力からリモート電子デバイスにオーディオ入力が送信される前に、バッファ処理された無音期間を除去するようにさらに構成されるロジックを任意に含んでよい。
例１６において、例９−１５のいずれか１つに記載の主題は、メモリからリモート電子デバイスにオーディオ入力を送信するようにさらに構成されるロジックを任意に含んでよく、ロジックは、アクセラレーテッドデータレートにおいて、バーストモードでオーディオ入力を送信するロジックを含む。
例１７は、オーディオ入力デバイスと、通信インタフェースと、受信されたオーディオ信号においてキーフレーズを検出し、キーフレーズに応答して、リモート電子デバイスのパーソナルアシスタントに信号を送信し、オーディオ入力が受信されたか否かを決定し、リモート電子デバイスのパーソナルアシスタントから応答を受信する前に追加のオーディオ入力が受信されたという決定に応答して、オーディオ入力をメモリにおいてバッファ処理し、リモート電子デバイスのパーソナルアシスタントにオーディオ入力を転送する手段と、を備える電子デバイスである。
例１８において、例１７に記載の主題は、ロジックが、受信されたオーディオ信号においてキーフレーズを検出する低電力コントローラを含む構成を任意に含んでよい。
例１９において、例１７−１８のいずれか１つに記載の主題は、リモート電子デバイスのパーソナルアシスタントマネジャから応答を受信する前に追加のオーディオ入力が受信されたという決定に応答して、プロセッサをアクティブ化するようにさらに構成されるロジックを任意に含んでよい。
例２０において、例１７−１９のいずれか１つに記載の主題は、リモート電子デバイスのパーソナルアシスタントからの準備完了応答について監視するようにさらに構成されるロジックを任意に含んでよい。
例２１において、例１７−２０のいずれか１つに記載の主題は、リモート電子デバイスのパーソナルアシスタントから応答を受信する前に追加のオーディオ入力が受信されたという決定に応答して、パーソナルアシスタントからの準備完了応答のプレゼンテーションをブロックするようにさらに構成されるロジックを任意に含んでよい。
例２２において、例１７−２１のいずれか１つに記載の主題は、メモリからリモート電子デバイスに、オーディオ入力を送信するようにさらに構成されるロジックを任意に含んでよい。
例２３において、例１７−２２のいずれか１つに記載の主題は、メモリにおいてバッファ処理されたオーディオ入力において無音期間を検出し、メモリにおいてバッファ処理されたオーディオ入力からリモート電子デバイスにオーディオ入力が送信される前に、メモリにおいてバッファ処理された無音期間を除去するようにさらに構成されるロジックを任意に含んでよい。
例２４において、例１７−２３のいずれか１つに記載の主題は、メモリからリモート電子デバイスにオーディオ入力を送信するようにさらに構成されるロジックを任意に含んでよく、ロジックは、アクセラレーテッドデータレートにおいて、バーストモードでオーディオ入力を送信するロジックを含む。
例２５は、コントローラによって実行された場合に、受信されたオーディオ信号においてキーフレーズを検出し、キーフレーズに応答して、リモート電子デバイスのパーソナルアシスタントに信号を送信し、オーディオ入力が受信されたか否かを決定し、リモート電子デバイスのパーソナルアシスタントから応答を受信する前に追加のオーディオ入力が受信されたという決定に応答して、オーディオ入力をメモリにおいてバッファ処理し、オーディオ入力をリモート電子デバイスのパーソナルアシスタントに転送するようにコントローラを構成する、有形のコンピュータ可読媒体に格納された複数のロジック命令を備える、コンピュータプログラム製品である。
例２６において、例２５に記載の主題は、ロジックが、受信されたオーディオ信号においてキーフレーズを検出する低電力コントローラを含む構成を任意に含んでよい。
例２７において、例２５−２６のいずれか１つに記載の主題は、コントローラによって実行された場合に、リモート電子デバイスのパーソナルアシスタントマネジャから応答を受信する前に追加のオーディオ入力が受信されたという決定に応答して、プロセッサをアクティブ化するようにコントローラを構成する、有形のコンピュータ可読媒体に格納された複数のロジック命令を任意に含んでよい。
例２８において、例２５−２７のいずれか１つに記載の主題は、コントローラによって実行された場合に、リモート電子デバイスのパーソナルアシスタントからの準備完了応答について監視するようにコントローラを構成する、有形のコンピュータ可読媒体に格納された複数のロジック命令を任意に含んでよい。
例２９において、例２５−２８のいずれか１つに記載の主題は、コントローラによって実行された場合に、リモート電子デバイスのパーソナルアシスタントから応答を受信する前に追加のオーディオ入力が受信されたという決定に応答して、パーソナルアシスタントからの準備完了応答のプレゼンテーションをブロックするようにコントローラを構成する、有形のコンピュータ可読媒体に格納された複数のロジック命令を任意に含んでよい。
例３０において、例２５−２９のいずれか１つに記載の主題は、コントローラによって実行された場合に、メモリからリモート電子デバイスにオーディオ入力を送信するようにコントローラを構成する、有形のコンピュータ可読媒体に格納された複数のロジック命令を任意に含んでよい。
例３１において、例２５−３０のいずれか１つに記載の主題は、コントローラによって実行された場合に、メモリにおいてバッファ処理されたオーディオ入力において無音期間を検出し、メモリにおいてバッファ処理されたオーディオ入力がリモート電子デバイスに送信される前に、メモリにおいてバッファ処理されたオーディオ入力から無音期間を除去するようにコントローラを構成する、有形のコンピュータ可読媒体に格納された複数のロジック命令を任意に含んでよい。
例３２において、例２５−３１のいずれか１つに記載の主題は、コントローラによって実行された場合に、メモリからリモート電子デバイスにオーディオ入力を送信させるようにコントローラを構成する有形のコンピュータ可読媒体に格納された複数のロジック命令を任意に含んでよく、アクセラレーテッドデータレートにおいて、バーストモードでオーディオ入力を送信する複数のロジック命令を含む。
例３３は、受信されたオーディオ信号においてキーフレーズを検出する段階と、キーフレーズに応答して、リモート電子デバイスのパーソナルアシスタントに信号を送信する段階と、オーディオ入力が受信されたか否かを決定する段階と、リモート電子デバイスのパーソナルアシスタントから応答を受信する前に追加のオーディオ入力が受信されたという決定に応答して、メモリにおいてオーディオ入力をバッファ処理する段階と、リモート電子デバイスのパーソナルアシスタントにオーディオ入力を転送する段階と、を備える方法である。
例３４において、例３３に記載の主題は、ロジックが、受信されたオーディオ信号においてキーフレーズを検出する低電力コントローラを含む構成を任意に含んでよい。
例３５において、例３３−３４のいずれか１つに記載の主題は、リモート電子デバイスのパーソナルアシスタントマネジャから応答を受信する前に追加のオーディオ入力が受信されたという決定に応答して、プロセッサをアクティブ化するようにさらに構成されるロジックを任意に含んでよい。
例３６において、例３３−３５のいずれか１つに記載の主題は、リモート電子デバイスのパーソナルアシスタントからの準備完了応答について監視するようにさらに構成されるロジックを任意に含んでよい。
例３７において、例３３−３６のいずれか１つに記載の主題は、リモート電子デバイスのパーソナルアシスタントから応答を受信する前に追加のオーディオ入力が受信されたという決定に応答して、パーソナルアシスタントからの準備完了応答のプレゼンテーションをブロックするようにさらに構成されるロジックを任意に含んでよい。
例３８において、例３３−３７のいずれか１つに記載の主題は、メモリからリモート電子デバイスに、オーディオ入力を送信するようにさらに構成されるロジックを任意に含んでよい。
例３９において、例３３−３８のいずれか１つに記載の主題は、メモリにおいてバッファ処理されたオーディオ入力において無音期間を検出し、メモリにおいてバッファ処理されたオーディオ入力からリモート電子デバイスにオーディオ入力が送信される前に、メモリにおいてバッファ処理された無音期間を除去するようにさらに構成されるロジックを任意に含んでよい。
例４０において、例３３−３９のいずれか１つに記載の主題は、メモリからリモート電子デバイスにオーディオ入力を送信するようにさらに構成されるロジックを任意に含んでよく、ロジックは、アクセラレーテッドデータレートにおいて、バーストモードでオーディオ入力を送信するロジックを含む。
本明細書において「ロジック命令」と称される用語は、１つ又は複数の論理オペレーションを実行する１つ又は複数の機械によって理解され得る複数の表現に関する。 例えば、複数のロジック命令は、１つ又は複数のデータオブジェクトに対し、１つ又は複数のオペレーションを実行するプロセッサコンパイラによって解釈可能な複数の命令を備えてよい。 しかしながら、これは、機械可読命令の例に過ぎず、複数の例は、この点で限定されるものではない。
本明細書において「コンピュータ可読媒体」と称される用語は、１つ又は複数の機械によって理解可能な複数の表現を維持可能なメディアに関する。例えば、コンピュータ可読媒体は複数のコンピュータ可読命令又はデータを格納する、１つ又は複数のストレージデバイスを含んでよい。このような複数のストレージデバイスは、例えば、光学、磁気、又は半導体ストレージメディアのようなストレージメディアを含んでよい。しかしながら、これは、コンピュータ可読媒体の例に過ぎず、複数の例は、この点で限定されるものではない。
本明細書において「ロジック」と称される用語は、１つ又は複数の論理オペレーションを実行する構造に関する。例えば、ロジックは１つ又は複数の入力信号に基づいて、１つ又は複数の出力信号を提供する回路を備えてよい。このような回路は、デジタル入力を受信し、デジタル出力を提供する有限状態機械、又は、１つ又は複数のアナログ入力信号に応答して１つ又は複数のアナログ出力信号を提供する回路を備えてよい。このような回路は、特定用途向け集積回路（ＡＳＩＣ）又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）に設けられてよい。また、ロジックは、このような複数の機械可読命令を実行する処理回路と組み合わせられて、メモリ内に格納された複数の機械可読命令を備えてよい。しかしながら、これらは、ロジックを提供し得る複数の構造の例に過ぎず、これらの例は、この点で限定されるものではない。
本明細書において説明された複数の方法のいくつかは、コンピュータ可読媒体上の複数のロジック命令として具現化されてよい。プロセッサ上で実行された場合、複数のロジック命令は、プロセッサに、本明細書において説明され他複数の方法を実装する、特定用途向けの機械としてプログラミングされるようにさせる。プロセッサが本明細書において説明された複数の方法を実行する複数のロジック命令によって構成される場合、プロセッサは、説明された複数の方法を実行する構造を構成する。代替的に、本明細書において説明された複数の方法は、例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）等におけるロジックに縮小されてよい。
詳細な説明及び特許請求の範囲において、「連結され」及び「接続され」という用語は、これらの派生語と共に用いられてよい。複数の具体例において、「接続される」とは、２つ又はそれより多くの要素が、互いに対して物理的に又は電気的に直接接触することを示すために用いられてよい。「連結される」とは、２つ又はそれより多くの要素が、物理的に又は電気的に直接接触する状態にあることを意味してよい。しかしながら、「連結される」とは、２つ又はそれより多くの要素が互いに直接接触しなくてよいが、なおも互いに連携又はインタラクトし得ることを意味してよい。
本明細書における「一例」又は「いくつかの例」という記載は、その例と関連して説明される特定の特徴、構造、又は特性が、少なくとも実装に含まれることを意味する。本明細書の様々な箇所で登場する「一例において」という語句は、全て同じ例を指してもよく、又は指さなくてもよい。
複数の例が、複数の構造的特徴及び／又は方法論的動作に固有の記載で説明されたが、特許請求の範囲に記載された主題は、説明された複数の具体的な特徴又は動作に限定されなくてよいことを理解されたい。むしろ、複数の具体的な特徴及び複数の動作は、特許請求の範囲に記載された主題を実装するための複数の例示的な形式として開示される。

Claims (19)

  1. ハードウェアロジックを少なくとも部分的に含むロジックを備えるコントローラであって、前記ロジックは、
    受信されたオーディオ信号においてキーフレーズを検出し、
    前記キーフレーズに応答して、
    リモート電子デバイスのパーソナルアシスタントに信号を送信し、
    前記リモート電子デバイスの前記パーソナルアシスタントからの準備完了応答について監視し、
    オーディオ入力が受信されたか否かを決定し、
    前記リモート電子デバイスの前記パーソナルアシスタントから応答を受信する前に追加のオーディオ入力が受信されたという決定に応答して、
    前記パーソナルアシスタントからの前記準備完了応答のプレゼンテーションをブロックし、
    前記オーディオ入力をメモリにおいてバッファ処理し、
    前記メモリから前記オーディオ入力を前記リモート電子デバイスの前記パーソナルアシスタントに転送する、
    コントローラ。
  2. 前記ロジックは、前記受信されたオーディオ信号において前記キーフレーズを検出する低電力コントローラを含む、請求項１に記載のコントローラ。
  3. 前記リモート電子デバイスの前記パーソナルアシスタントから応答を受信する前に追加のオーディオ入力が受信されたという決定に応答して、プロセッサをアクティブ化するロジックを備える、請求項１または２に記載のコントローラ。
  4. 前記メモリから前記リモート電子デバイスの前記パーソナルアシスタントに、前記オーディオ入力を転送するロジックを備える、請求項１から３のいずれか１項に記載のコントローラ。
  5. 前記メモリにおいてバッファ処理された前記オーディオ入力において無音期間を検出し、
    前記メモリにおいてバッファ処理された前記オーディオ入力が前記リモート電子デバイスの前記パーソナルアシスタントに転送される前に、前記メモリにおいてバッファ処理された前記オーディオ入力から前記無音期間を除去する
    ロジックを備える、請求項１から４のいずれか１項に記載のコントローラ。
  6. 前記メモリから前記リモート電子デバイスの前記パーソナルアシスタントに前記オーディオ入力を転送する前記ロジックは、バーストモードで前記オーディオ入力を転送するロジックを備える、請求項１から５のいずれか１項に記載のコントローラ。
  7. オーディオ入力デバイスと、
    通信インタフェースと、
    ハードウェアロジックを少なくとも部分的に含むロジックを含むコントローラと、
    を備える電子デバイスであって、前記ロジックは、
    受信されたオーディオ信号においてキーフレーズを検出し、
    前記キーフレーズに応答して、
    リモート電子デバイスのパーソナルアシスタントに信号を送信し、
    前記リモート電子デバイスの前記パーソナルアシスタントからの準備完了応答について監視し、
    オーディオ入力が受信されたか否か決定し、
    前記リモート電子デバイスの前記パーソナルアシスタントから応答を受信する前に追加のオーディオ入力が受信されたという決定に応答して、
    前記パーソナルアシスタントからの前記準備完了応答のプレゼンテーションをブロックし、
    メモリにおいて前記オーディオ入力をバッファ処理し、
    前記メモリから前記オーディオ入力を前記リモート電子デバイスの前記パーソナルアシスタントに転送する、
    電子デバイス。
  8. 前記ロジックは、前記受信されたオーディオ信号において前記キーフレーズを検出する低電力コントローラを含む、請求項７に記載の電子デバイス。
  9. 前記リモート電子デバイスの前記パーソナルアシスタントから応答を受信する前に追加のオーディオ入力が受信されたという決定に応答して、プロセッサをアクティブ化するロジックを含む、請求項７または８に記載の電子デバイス。
  10. 前記メモリから前記リモート電子デバイスの前記パーソナルアシスタントに前記オーディオ入力を転送するロジックを含む、請求項７から９のいずれか１項に記載の電子デバイス。
  11. 前記メモリにおいてバッファ処理された前記オーディオ入力において無音期間を検出し、
    前記メモリにおいてバッファ処理された前記オーディオ入力が前記リモート電子デバイスの前記パーソナルアシスタントに転送される前に、前記メモリにおいてバッファ処理された前記オーディオ入力から前記無音期間を除去するロジックを含む、請求項７から１０のいずれか１項に記載の電子デバイス。
  12. 前記メモリから前記リモート電子デバイスの前記パーソナルアシスタントに前記オーディオ入力を転送する前記ロジックは、バーストモードで前記オーディオ入力を転送するロジックを含む、請求項７から１１のいずれか１項に記載の電子デバイス。
  13. 受信されたオーディオ信号においてキーフレーズを検出し、
    前記キーフレーズに応答して、
    リモート電子デバイスのパーソナルアシスタントに信号を送信し、
    前記リモート電子デバイスの前記パーソナルアシスタントからの準備完了応答について監視し、
    オーディオ入力が受信されたか否かを決定し、
    前記リモート電子デバイスの前記パーソナルアシスタントから応答を受信する前に追加のオーディオ入力が受信されたという決定に応答して、
    前記パーソナルアシスタントからの前記準備完了応答のプレゼンテーションをブロックし、
    前記オーディオ入力をメモリにおいてバッファ処理し、
    前記メモリから前記オーディオ入力を前記リモート電子デバイスの前記パーソナルアシスタントに転送する
    ことをコントローラに実行させる、コンピュータプログラム。
  14. 前記コントローラは、前記受信されたオーディオ信号において前記キーフレーズを検出する低電力コントローラを含む、請求項１３に記載のコンピュータプログラム。
  15. 前記リモート電子デバイスの前記パーソナルアシスタントから応答を受信する前に追加のオーディオ入力が受信されたという決定に応答して、プロセッサをアクティブ化することを前記コントローラに実行させる、請求項１３または１４に記載のコンピュータプログラム。
  16. 前記メモリから前記リモート電子デバイスの前記パーソナルアシスタントに前記オーディオ入力を転送することを前記コントローラに実行させる、請求項１３から１５のいずれか１項に記載のコンピュータプログラム。
  17. 前記メモリにおいてバッファ処理された前記オーディオ入力において無音期間を検出し、
    前記メモリにおいてバッファ処理された前記オーディオ入力が前記リモート電子デバイスの前記パーソナルアシスタントに転送される前に、前記メモリにおいてバッファ処理された前記オーディオ入力から前記無音期間を除去する
    ことを前記コントローラに実行させる、請求項１３から１６のいずれか１項に記載のコンピュータプログラム。
  18. バーストモードで前記オーディオ入力を転送することを前記コントローラに実行させる、請求項１３から１７のいずれか１項に記載のコンピュータプログラム。
  19. 請求項１３から１８のいずれか１項に記載のコンピュータプログラムを格納するコンピュータ可読記録媒体。
JP2016529970A 2013-12-28 2014-11-25 インテリジェント補助電子デバイス Active JP6234573B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/142,818 2013-12-28
US14/142,818 US9460735B2 (en) 2013-12-28 2013-12-28 Intelligent ancillary electronic device
PCT/US2014/067327 WO2015099939A1 (en) 2013-12-28 2014-11-25 Intelligent ancillary electronic device

Publications (2)

Publication Number Publication Date
JP2016541051A JP2016541051A (ja) 2016-12-28
JP6234573B2 true JP6234573B2 (ja) 2017-11-22

Family

ID=53479508

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016529970A Active JP6234573B2 (ja) 2013-12-28 2014-11-25 インテリジェント補助電子デバイス

Country Status (6)

Country Link
US (1) US9460735B2 (ja)
EP (1) EP3087468A4 (ja)
JP (1) JP6234573B2 (ja)
KR (1) KR101821639B1 (ja)
CN (1) CN105793813B (ja)
WO (1) WO2015099939A1 (ja)

Families Citing this family (123)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US20120309363A1 (en) 2011-06-03 2012-12-06 Apple Inc. Triggering notifications associated with tasks items that represent tasks to perform
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
EP3809407A1 (en) 2013-02-07 2021-04-21 Apple Inc. Voice trigger for a digital assistant
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
KR101922663B1 (ko) 2013-06-09 2018-11-28 애플 인크. 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9966065B2 (en) 2014-05-30 2018-05-08 Apple Inc. Multi-command single utterance input method
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
EP3201913A4 (en) * 2014-10-01 2018-06-06 Xbrain Inc. Voice and connection platform
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US20170092278A1 (en) * 2015-09-30 2017-03-30 Apple Inc. Speaker recognition
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770429A1 (en) 2017-05-12 2018-12-14 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US10558421B2 (en) * 2017-05-22 2020-02-11 International Business Machines Corporation Context based identification of non-relevant verbal communications
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
KR102629385B1 (ko) * 2018-01-25 2024-01-25 삼성전자주식회사 바지-인 관련 직접 경로를 지원하는 저전력 보이스 트리거 시스템을 포함하는 애플리케이션 프로세서, 이를 포함하는 전자 장치 및 그 동작 방법
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10332543B1 (en) * 2018-03-12 2019-06-25 Cypress Semiconductor Corporation Systems and methods for capturing noise for pattern recognition processing
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10496705B1 (en) 2018-06-03 2019-12-03 Apple Inc. Accelerated task performance
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK201970511A1 (en) 2019-05-31 2021-02-15 Apple Inc Voice identification in digital assistant systems
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
US11038934B1 (en) 2020-05-11 2021-06-15 Apple Inc. Digital assistant hardware abstraction
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3697748B2 (ja) 1995-08-21 2005-09-21 セイコーエプソン株式会社 端末、音声認識装置
JP3674990B2 (ja) 1995-08-21 2005-07-27 セイコーエプソン株式会社 音声認識対話装置および音声認識対話処理方法
US20020077830A1 (en) 2000-12-19 2002-06-20 Nokia Corporation Method for activating context sensitive speech recognition in a terminal
US6915246B2 (en) 2001-12-17 2005-07-05 International Business Machines Corporation Employing speech recognition and capturing customer speech to improve customer service
CN2594861Y (zh) * 2003-01-07 2003-12-24 浩鑫股份有限公司 影音播放装置
JP2004233793A (ja) * 2003-01-31 2004-08-19 Toshiba Corp 電子機器および同機器で用いられる遠隔制御方法
US7216221B2 (en) * 2003-09-30 2007-05-08 Microsoft Corporation Method and system for unified audio control on a personal computer
US8214214B2 (en) 2004-12-03 2012-07-03 Phoenix Solutions, Inc. Emotion detection device and method for use in distributed systems
JP2006301266A (ja) * 2005-04-20 2006-11-02 Canon Inc 音声情報処理装置及び方法
JP4934990B2 (ja) * 2005-04-28 2012-05-23 ティアック株式会社 音声信号記録再生装置
US8635243B2 (en) 2007-03-07 2014-01-21 Research In Motion Limited Sending a communications header with voice recording to send metadata for use in speech recognition, formatting, and search mobile search application
US8498425B2 (en) * 2008-08-13 2013-07-30 Onvocal Inc Wearable headset with self-contained vocal feedback and vocal command
US8296142B2 (en) 2011-01-21 2012-10-23 Google Inc. Speech recognition using dock context
US8768707B2 (en) 2011-09-27 2014-07-01 Sensory Incorporated Background speech recognition assistant using speaker verification
EP2788978B1 (en) * 2011-12-07 2020-09-23 QUALCOMM Incorporated Low power integrated circuit to analyze a digitized audio stream
US9838810B2 (en) * 2012-02-27 2017-12-05 Qualcomm Technologies International, Ltd. Low power audio detection
US9142215B2 (en) 2012-06-15 2015-09-22 Cypress Semiconductor Corporation Power-efficient voice activation
US8468023B1 (en) * 2012-10-01 2013-06-18 Google Inc. Handsfree device with countinuous keyword recognition
DE102013001219B4 (de) * 2013-01-25 2019-08-29 Inodyn Newmedia Gmbh Verfahren und System zur Sprachaktivierung eines Software-Agenten aus einem Standby-Modus
CN105723451B (zh) 2013-12-20 2020-02-28 英特尔公司 从低功率始终侦听模式到高功率语音识别模式的转换

Also Published As

Publication number Publication date
KR101821639B1 (ko) 2018-01-24
US20150187369A1 (en) 2015-07-02
KR20160077154A (ko) 2016-07-01
US9460735B2 (en) 2016-10-04
CN105793813A (zh) 2016-07-20
EP3087468A1 (en) 2016-11-02
JP2016541051A (ja) 2016-12-28
CN105793813B (zh) 2019-01-22
WO2015099939A1 (en) 2015-07-02
EP3087468A4 (en) 2017-09-27

Similar Documents

Publication Publication Date Title
JP6234573B2 (ja) インテリジェント補助電子デバイス
US9852731B2 (en) Mechanism and apparatus for seamless voice wake and speaker verification
KR101995623B1 (ko) 고속 구성 메커니즘을 위한 장치, 방법, 및 시스템
JP6816854B2 (ja) 電子デバイスのノイズリダクションを行う、コントローラ、電子デバイス、プログラム、及びコンピュータ可読記録媒体
US20150094031A1 (en) Notification acknowledgement in electronic devices
US11822958B2 (en) Method and a device for data transmission between an internal memory of a system-on-chip and an external memory
US10007589B2 (en) System and method for universal serial bus (USB) protocol debugging
US9354668B2 (en) Hinge assembly
US20170102787A1 (en) Virtual sensor fusion hub for electronic devices
KR102225249B1 (ko) 전자 디바이스용 센서 버스 인터페이스
US9769307B2 (en) User detection and recognition for electronic devices
US20140180457A1 (en) Electronic device to align audio flow
US9247572B2 (en) Intelligent wireless charging device
US20170003717A1 (en) Memory card connector for electronic devices
US9575551B2 (en) GNSS services on low power hub
TWI596508B (zh) 用於電子裝置的遠端可穿戴式輸入來源之技術
KR101954668B1 (ko) 이종 멀티코어 프로세서를 이용하는 전자장치에서 전력효율을 개선하기 위한 방법 및 장치
US20150187388A1 (en) Intelligent recording in electronic devices
JP2018516099A (ja) 電子デバイスを使用する動き追跡
US20150189072A1 (en) Intelligent ancillary electronic device

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170901

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170926

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171024

R150 Certificate of patent or registration of utility model

Ref document number: 6234573

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250