JP7482185B2

JP7482185B2 - デカップルされたセキュリティアクセサリを介した常時聴取アシスタントデバイスへの情報のセキュリティ／プライバシー

Info

Publication number: JP7482185B2
Application number: JP2022163165A
Authority: JP
Inventors: マイ，シャオ
Original assignee: スタフラ，トーマス
Priority date: 2017-11-14
Filing date: 2022-10-11
Publication date: 2024-05-13
Anticipated expiration: 2038-11-09
Also published as: JP7209006B2; JP2021503148A; WO2019099302A1; JP2023021965A; CA3083745A1; CN111819560B; CN111819560A; US10867623B2; US20190147905A1; EP3710971A1; EP3710971A4

Description

この出願は、聞き取れる発話又は目で見えるジェスチャの入力を含むユーザ入力のセキュリティ及びプライバシーのための方法及びシステム、及び常時聴取の媒体を介して該ユーザ入力への支援応答を実行することに関する。

現在、多くのデバイス又はソフトウェアソリューションは、ＡｍａｚｏｎＥｃｈｏ（Ｒマーク、白丸内にアルファベットのＲ）（ａ．ｋ．ａ．Ａｌｅｘａ^ＴＭ）、ＧｏｏｇｌｅＨｏｍｅ^ＴＭＡｐｐｌｅＨｏｍｅＰｏｄ^ＴＭ、Ａｐｐｌｅ（Ｒマーク）デバイス上のＳｉｒｉ（Ｒマーク）を含み、「常時聴取（ＡｌｗａｙｓＬｉｓｔｅｎｉｎｇ）」として消費者に販売されている。しかしながら、これらのデバイスは、それぞれの「ウエイクアップ（起床：ｗａｋｅｕｐ）」語を常に聴取するように構成されており、そのワードを受けると、デバイスは、ある期間（例えば、ウエイクアップ語に引き続く単一の完全なコマンド、ストリング、又はクエリ（問い合わせ）、休止で終わる）追加の発話を記録し続ける。これらのウエイクアップ語は、当座の進行中の音声データが捕捉され処理されるように、これらのデバイスにコマンド又はクエリが向けられたときをデバイスが知るようにし；また、ユーザによって発話された音声データのプライバシーを保護すると共にセキュリティを守るために、クラウドに送られ又は記録される他の発話データがどんな形でも多少なりとも無い、ことを意図している。

現行の「常時聴取」デバイスは、「ウエイクアップ語を常に聞く」と名付けられているであろうが、実際には、受信した発話（音声）及びコマンドに対する応答を「常に」分析しまた特定するというよりは、大部分の発話に応えて、活動していない又は休止状態にある。

さらに、これらのデバイスは、単一のコマンドに従うこと又は単一のクエリに応答することによって、応答するだけである：該デバイスは、現在のシステム及び「聴取（リスニング）」方法の制限のため、一連のコマンド又はクエリに応じることができず、又は一連のコマンド又はクエリに直感的に従うことができない。

データを保護するための現在の市場で入手可能なソリューションは、デバイスの表面にある物理的なボタンを使用して、マイクロフォンにわたる完全な制御を、またこれらの装置がとにかく聞くことができるかどうかを、ユーザに提供する。マイクロフォンの有効化及び無効化を確実にするために手動ボタンを必要とすることは、消費者が音声のみの制御を期待する場合には不便であり、満足のいく解決策ではない。デバイスメーカは、主にユーザの安心のために、手動ボタンを申し出ている。

いくつかのシステムは、ソフトウェア手段によって「常時聴取」状態を制御しており、これは、外部のデジタル侵入者がマイクロフォンから可聴のデータ又は発話のデータをハッキングし又は盗み取るという危険に常にある。

消費者は、これらのデバイス及びセキュリティプロトコルがプライバシーを完全に保護すると信じる可能性は低く、特に「常時聴取」機能上で提供される直接的な音声制御がない場合である。

「ウエイクアップ」語及びセキュリティソフトウェアプロトコルを使用する現在の方法は、絶えず、開発し、維持し、改善するために時間及び労力を集中的に消費しており、一方で、ユーザが望むときにデバイスをミュートするというセキュリティを保証することを、引きつづき、達成しそこなっている。

現在の技術的な焦点のほとんどは、聞き取れる発話を検出する「ハウツーもの」及び機構を改善すること、精度を改善すること、また「より速い応答」を提供することに関して強調されてきており、ここで、後者の重点は、以下の点に置かれている：何百万人ものユーザが有するであろう所望の支援又はクエリ、及びコマンド、その個々がかなりの確率でユニークであって、これらの膨大で潜在的な多様さを仮定すると、極めて限定される過去の行動を事前に分析すること；並びに、クエリに応答するためにルール及びプログラムを事前に定義すること。

デバイスメーカ及び他の広告主は、ユーザの必要及び受容力に基づき、最も主題関連性を持つ状態で、最も望ましい支援を最も相応しいタイミングで提供することを調和させることを競い、また利用者に負担無し及び無停止であるとしてユーザによって認知されている。

常時聴取可能なコンピューティングデバイスが開示され、該デバイスは、発話又はジェスチャを含むユーザからの入力を受けるように構成された第１受信機と、遠隔サーバ、ゲートキーピングモジュール、及び非一時的メモリからデータを受け又は該遠隔サーバ、ゲートキーピングモジュール、及び非一時的メモリにデータを送るように構成された通信モジュールとを備える。ゲートキーピングモジュールは、以下のように、プロセッサによって実施される；ゲートキーピング機能が無効にされている期間に、第１受信機からのデータに基づき通信モジュールによって受け取られた全データが、ゲートキーピングモジュールを通過するように；ゲートキーピング機能が有効にされている期間に、第１受信機からのデータに基づくデータが、通信モジュールを通過しないように；ゲートキーピングモジュールに入力された全データが、第１受信機からの排他的入力リード（ｌｅａｄ）を介して受け取られるように；及び、ゲートキーピングモジュールから出力された全データが、第１受信機以外のコンポーネントへの排他的出力リードを介して送くられるように。非一時的メモリは、命令を格納し、該命令は、プロセッサによって実行されるとき、プロセッサに、以下のことを行わせる：第１受信機によって受け取られた該入力が第１ウエイクアップ句を含むことを特定させる；及び、入力が第１ウエイクアップ句を含むことを特定することに応答して、自動的に以下の少なくとも一つを実行させる：第１ウエイクアップ句に引き続くユーザ入力の表現を送信すること；第１ウエイクアップ句に引き続いて捕獲（キャプチャ）されたユーザ入力のストリームを送信するために常時聴取モードを起動すること；第１ウエイクアップ句に引き続いて受け取られたユーザ入力の送信を防止するために、第２ウエイクアップ句が同様に先行しない場合に常時聴取モードを解除すること；又は、ゲートキーピングモジュールが該常時聴取コンピューティングデバイスの外部へのデータの送信の全てを妨げることを有効にすること。

常時聴取支援の応答を提供するためのコンピュータにより実施される方法が開示される。この方法は、受信機を介して、１又は複数の発話又はジェスチャを含むユーザ入力を受信し；プロセッサによって実施されたゲートキーピングモジュールを介して通信モジュールへ、受信したユーザ入力に基づくデータを通過させ；ユーザ入力が第１ウエイクアップ句を含むことを特定し；及び、少なくとも以下のうちの１つを自動的に実行することを含む：ユーザ入力が第１ウエイクアップ句を含むことを特定し；ユーザ入力が第１ウエイクアップ句を含むことを特定することに応答して、第１ウエイクアップ句に引き続くユーザ入力の表現を自動的に送信し；第１ウエイクアップ句に引き続いて捕獲（キャプチャ）されたユーザ入力のストリームを送信するために、常時聴取モードを起動し；第１ウエイクアップ句に引き続いて受信されたユーザ入力の送信を防止するために、第２ウエイクアップ句が同様に続かない場合に、常時聴取モードを動作停止にし；又は、ゲートキーピングモジュールが、通信モジュールによるデータの全ての送信を防止することを可能にする。ゲートキーピング機能が無効になっている期間に、受信機からのデータに基づき通信モジュールによって受信された全データは、ゲートキーピングモジュールを通過し、ゲートキーピング機能が有効になっている期間に、受信機からのデータに基づくデータは、通信モジュールを通過しない。ゲートキーピングモジュールに入力された全データは、受信機から排他的な入力リードを介して受信され、ゲートキーピングモジュールから出力された全データは、受信機以外のコンポーネントへの排他的な出力リードを介して送信される。

常時聴取可能なコンピューティングデバイスが開示されており、該コンピューティングデバイスは：ビデオデータを記録するように構成された第１電子センサと；遠隔サーバへデータを送り出すと共に遠隔サーバからデータを受け取るように構成された通信モジュールと；ゲートキーピングモジュールと；非一時的メモリと；を備える。ゲートキーピングモジュールは、プロセッサによって実施される。ゲートキーピング機能が無効にされている期間に、第１受信機からのデータに基づき通信モジュールによって受け取られた全てのデータがゲートキーピングモジュールを通過し、ゲートキーピング機能が有効にされている期間に、第１受信機からのデータに基づき通信モジュールによって受け取られたデータは、通信モジュールを通過せず、ゲートキーピングモジュールに入力された全てのデータは、第１受信機からの排他的入力リードを介して受け取られ、ゲートキーピングモジュールから出力された全てのデータは、第１受信機以外のコンポーネントに排他的出力リードを介して送り出される。非一時的メモリは、命令を格納し、該命令は、プロセッサによって実行されるとき、プロセッサに、第１電子センサによって記録されたビデオデータが第１入力コンテンツを含むことを特定させ；及び、ビデオデータが第１入力コンテンツを含むことを特定することに応答して、人間のユーザによる受信のためのメッセージを自動的に生成させ、また該メッセージを送信させる。

常時聴取の支援応答を提供するコンピュータにより実施される方法が開示されており、該方法は：第１電子センサを介して、ビデオデータを記録し；プロセッサによって実施されたゲートキーピングモジュールを介して、記録されたビデオデータに基づくデータを通信モジュールに渡し；第１電子センサによって記録されたビデオデータが第１入力コンテンツを含むことを特定することに応答して、人間のユーザによる受け取りのためのメッセージを自動的に生成すると共に送信する；ことを含む。ゲートキーピング機能が無効になっている期間に、記録された映像データに基づき、通信モジュールによって受け取られた全てのデータは、ゲートキーピングモジュールを通過し、ゲートキーピング機能が有効になっている期間に、記録された映像データに基づくデータは、通信モジュールを通過せず、ゲートキーピングモジュールに入力された全てのデータは、電子センサから排他的入力リードを介して受け取られ、ゲートキーピングモジュールから出力された全データは、電子センサ以外のコンポーネントへ排他的出力リードを介して送り出される。

通信モジュールを有するコンピューティングデバイスのための常時聴取可能なデカップルされたアクセサリであって、該アクセサリは、発話又はジェスチャを含むユーザ入力を記録するように構成された第１電子センサと；コンピューティングデバイスへのデータ接続と；プロセッサによって実装されたゲートキーピングモジュールと；非一時的なメモリと；を備える。ゲートキーピング機能が無効になっている期間に、第１電子センサからのデータに基づき通信モジュールによって受け取られた全てのデータは、ゲートキーピングモジュールを通過し、ゲートキーピング機能が有効になっている期間に、第１電子センサからのデータに基づくデータは通信モジュールを通過せず、ゲートキーピングモジュールに入力された全データは、第１電子センサから排他的入力リードを介して受け取られ、ゲートキーピングモジュールから出力された全データは、第１電子センサ以外のコンポーネントへ排他的出力リードを介して送り出される。非一時的メモリは、命令を格納しており、該命令は、プロセッサによって実行されるとき、プロセッサに：第１電子センサによって記録されたユーザ入力が第１入力コンテンツを含むことを特定させ；ユーザ入力が第１入力コンテンツを含むことを特定することに応答して、メッセージを自動的に生成させると共にコンピューティングデバイスに送り出させる。

通信モジュールを有するコンピューティングデバイスを、常時聴取可能なデカップルされたアクセサリを用いて制御するための方法が開示されており、この方法は、該アクセサリの第１電子センサによって記録されたユーザ入力が第１入力コンテンツを含むことを特定する；及び、ユーザ入力が第１入力コンテンツを含むことを特定することに応答して、メッセージを自動的に生成すると共にコンピューティングデバイスに送る、ことを含む。アクセサリは、プロセッサへのデータ接続と、プロセッサによって実現されたゲートキーピングモジュールとを備え、アクセサリは、ゲートキーピング機能が無効化されている期間に、第１電子センサからのデータに基づき通信モジュールによって受け取られた全てのデータは、ゲートキーピングモジュールを通過し、ゲートキーピング機能が有効化されている期間に、第１電子センサからのデータに基づくデータは、通信モジュールを通過せず、ゲートキーピングモジュールに入力された全データは、第１電子センサからの排他的入力リードを介して受け取られ、ゲートキーピングモジュールから出力された全データは、第１電子センサ以外のコンポーネントへ排他的出力リードを介して送り出される。

通信モジュールを有するコンピューティングデバイスとの物理的な関与のために構成された常時聴取可能なデカップルされたキャップが開示されており、該キャップは、発話又はジェスチャを含むユーザ入力を記録するように構成された第１電子センサ、プロセッサによって実装されたゲートキーピングモジュール、及び非一時的なメモリを含む。ゲートキーピング機能が無効になっている期間に、第１電子センサからのデータに基づき通信モジュールによって受け取られた全てのデータは、ゲートキーピングモジュールを通過し、ゲートキーピング機能が有効になっている期間に、第１電子センサからのデータに基づくデータは、通信モジュールを通過せず、ゲートキーピングモジュールに入力された全データは、第１電子センサから排他的入力リードを介して受け取られ、ゲートキーピングモジュールから出力された全データは、第１電子センサ以外のコンポーネントに排他的出力リードを介して送り出される。キャップは、コンピューティングデバイスの機能を妨害し、非一時的メモリは、命令を格納しており、該命令は、プロセッサによって実行されると、プロセッサに、第１電子センサによって記録されたユーザ入力が第１入力コンテンツを含むことを特定させ、またコンピューティングデバイスの機能との干渉の性質を変更させる。

物理的な関与のために構成された常時聴取可能なデカップルされたキャップを介して、通信モジュールを有するコンピューティングデバイスにおいて情報セキュリティを提供する方法が開示されている。該方法は、発話又はジェスチャを含むと共にキャップの第１電子センサによって記録されたユーザ入力が第１入力コンテンツを含むことを特定するステップと、コンピューティングデバイスの機能を用いてキャップによる干渉の性質を変更するステップと、を含む。該キャップは、プロセッサによって実施されるゲートキーピングモジュールを含み、ゲートキーピング機能が無効にされている期間に、第１電子センサからのデータに基づき通信モジュールによって受け取られた全てのデータは、ゲートキーピングモジュールを通過し、ゲートキーピング機能が有効にされている期間に、第１電子センサからのデータに基づくデータは、通信モジュールを通過せず、ゲートキーピングモジュールに入力された全データは、第１電子センサから排他的入力リードを介して受け取られ、及び、ゲートキーピングモジュールから出力された全データは、第１電子センサ以外のコンポーネントへの排他的出力リードを介して送り出される。

通信モジュールを有するコンピューティングデバイスとの物理的な関与のために構成された常時聴取可能なデカップルされたキャップが開示されており、発話又はジェスチャを含むユーザ入力を記録するように構成された第１電子センサと；非一時的なメモリと；プロセッサによって実施されたゲートキーピングモジュールと；を備える。ゲートキーピング機能が無効になっている期間に、第１電子センサからのデータに基づき通信モジュールによって受け取られた全てのデータは、ゲートキーピングモジュールを通過し、ゲートキーピング機能が有効になっている期間に、第１電子センサからのデータに基づくデータは、通信モジュールを通過せず、ゲートキーピングモジュールに入力された全データは、第１電子センサからの排他的入力リードを介して受け取られ、ゲートキーピングモジュールから出力された全データは、第１電子センサ以外のコンポーネントへ排他的出力リードを介して送り出される。キャップは、コンピューティングデバイスの機能を妨害し、非一時的メモリは、命令を格納しており、該命令は、プロセッサによって実行されると、プロセッサに：第１電子センサによって記録されたユーザ入力が第１入力コンテンツを含むことを特定させ；及び、コンピューティングデバイスの機能に干渉することが無かったらコンピューティングデバイスがデータを検索したであろう第１サーバとは異なる第２サーバからユーザ入力に対する応答を検索させる。

物理的な関与のために構成された常時聴取可能なデカップルされたキャップを介して、通信モジュールを有するコンピューティングデバイスにおいて情報セキュリティを提供する方法が提供され、該方法は、発話又はジェスチャを含むと共にキャップの第１電子センサによって記録されたユーザ入力が第１入力コンテンツを含むことを特定し；コンピューティングデバイスの機能と干渉するが無かったらコンピューティングデバイスがデータを検索したであろう第１サーバと異なる第２サーバから入力されたユーザ入力に対する応答を検索する；ことを含む。キャップは、プロセッサによって実施されるゲートキーピングモジュールを含み、ゲートキーピング機能が無効にされている期間に、第１電子センサからのデータに基づき通信モジュールによって受け取られた全てのデータは、通信モジュールを通過し、ゲートキーピング機能が有効にされている期間に、第１電子センサからのデータに基づくデータは、通信モジュールを通過せず、ゲートキーピングモジュールに入力された全データは、第１電子センサから排他的入力リードを介して受け取られ、ゲートキーピングモジュールから出力された全データは、第１電子センサ以外のコンポーネントへ排他的出力リードを介して送り出される。

常時聴取可能な第１コンピューティングデバイスが開示されており、該第１コンピューティングデバイスは、通信モジュールを有する第２コンピューティングデバイスから、また同じコンピューティングネットワーク内において、デカップルされており、常時聴取可能な第１コンピューティングデバイスは、発話又はジェスチャを含むユーザ入力を記録するように構成された第１電子センサと；プロセッサによって実施されたゲートキーピングモジュールと；命令を記憶する非一時的メモリとを備え。該命令は、プロセッサによって実行されるとき、プロセッサに：第１電子センサによって記録されたユーザ入力が第１入力コンテンツを含むことを決定させ；及び、第２コンピューティングデバイスから第２データ源に電子的な通信が送出されることを第１コンピューティングデバイスが防止することが無ければ第２コンピューティングデバイスがデータを検索したであろう第２サーバと異なる第１サーバからのユーザ入力に対する応答を検索させる。ゲートキーピング機能が無効になっている期間に、第１電子センサからのデータに基づき通信モジュールによって受け取られた全データは、ゲートキーピングモジュールを通過し、ゲートキーピング機能が有効になっている期間に、第１電子センサからのデータに基づくデータは、通信モジュールを通過せず、ゲートキーピングモジュールに入力された全データは、第１電子センサから排他的入力リードを介して受け取られ、ゲートキーピングモジュールから出力された全データは、第１電子センサ以外のコンポーネントへ排他的出力リードを介して送出される。

常時聴取可能な第１コンピューティングデバイスを介して、通信モジュールを有する第２コンピューティングデバイスにおける情報セキュリティを提供するための方法が開示され、該第１コンピューティングデバイスは、同一の計算ネットワークにおいてまた第２コンピューティングデバイスからデカップルされている。該方法は、第１コンピューティングデバイスの第１電子センサによって記録されると共に発話又はジェスチャを含むユーザ入力が、第１入力コンテンツを含むことを特定する；及び、第１コンピューティングデバイスが、第２コンピューティングデバイスから第２データ源に電子通信が送信されることを妨げることが無ければ第２コンピューティングデバイスがデータを検索したであろう第２サーバと異なる第１サーバから入力されたユーザ入力に対する応答を検索する；ことを含む。第１コンピューティングデバイスは、プロセッサによって実施されるゲートキーピングモジュールを備え、ゲートキーピング機能が無効になっている期間に、第１電子センサからのデータに基づき通信モジュールによって受け取られた全てのデータは、ゲートキーピングモジュールを通過し、ゲートキーピング機能が有効になっている期間に、第１電子センサからのデータに基づくデータは、通信モジュールを通過せず、ゲートキーピングモジュールに入力された全データは、第１電子センサから排他的入力リードを介して受け取られ、ゲートキーピングモジュールから出力された全データは、第１電子センサ以外のコンポーネントへ排他的出力リードを介して送り出される。

コンピューティングデバイスは、本明細書に開示され、電子センサと、ゲートキーピングモジュールと、非一時的メモリとを備え、該非一時的メモリは、命令を記憶し、該命令は、プロセッサによって実行されるとき、電子センサによって把握されたユーザ入力を介して、常時聴取モードにわたるユーザ制御を可能にしており、該ユーザ制御は、ゲートキーピングモジュールによって強化される。

図１は、従来技術におけるソフトウェア制御であって、Ａｐｐｌｅ（Ｒマーク）ｉＰｈｏｎｅ（登録商標）上のウエイクアップ語「ＨｅｙＳｉｒｉ」に対する「常時聴取」ための機能をミュートするためのソフトウェア制御を示す；

図２は、従来技術のソフトウェア制御であって、Ａｎｄｒｏｉｄ（登録商標）ＯＳデバイス上のウエイクアップ語「ＯＫＧｏｏｇｌｅ」に対する「常時聴取」のための機能をミュートするためのソフトウェア制御を示す；

図３は、従来技術におけるソフトウェア制御であって。Ｗｉｎｄｏｗｓ（登録商標）１０ＯＳ上のマイクロフォンをミュートする目的のためのソフトウェア制御を示す；

図４は、第三者ソフトウェアの従来技術であって、ディクテーションを開始するためにソフトウェアに命令するウエイクアップ語を設定するための第三者ソフトウェアの機能を示す；

図５は、簡略化された形で、従来技術の携帯情報端末内のコンポーネントの従来の関係を示す；

図６は、「常時聴取」可能な電子デバイスの実施例を簡略化された形で示す；

図７は、「常時聴取」可能な電子デバイスの代替の実施例を簡略化された形で示す；

図８は、「常時聴取」可能な電子デバイスの代替の実施例を簡略化された形で示す；

図９は、明確な第２ウエイクアップ語を処理する例示的な手法のフローチャートを示す；

図１０は、常時聴取デバイスの追加の特徴のためのプログラムロジックの代替のフローチャートを示す；

図１１は、セキュアで常時に聴取する機能を提供するために、既存の聴取デバイスに取り付けられることができるデカップルされたゲートキーピングのアクセサリ（装備品）を示す；

図１２Ａは、セキュアな常時聴取機能を提供するに際して支援するための、デカップルされた防音（サウンドプルーフィング）の又はその他の点では絶縁の障壁を示す；図１２Ｂは、セキュアな常時聴取機能を提供するに際して支援するための、デカップルされた防音又はその他の点では絶縁の障壁を示す；図１２Ｃは、セキュアな常時聴取機能を提供するに際して支援するための、デカップルされた防音又はその他の点では絶縁の障壁を示す；及び

図１３は、ユーザの生成されたネットワークトラフィックの一部を代替の目的地に選択的に迂回しながら、セキュアで常時聴取な機能を提供するためのデカップルされた(分断された、切り離された、減結合された)ネットワークデバイスを含むシステムを示す。

ここに開示されるものは、改良された技術的方法、デバイス、及びシステムであって、改良された技術的方法、デバイス、及びシステムには、ユーザのスピーチ又は動作（これらに限定されないが、単語、トーン、コマンドジェスチャ、手話における対話、顔の表情、動きのパターン、又はこれらの任意の組み合わせを含む）が電子デバイスによって記録されるときにわたってユーザが制御を行う一方で、セキュリティプログラミングの必要性を最小限にし又は排除し、電子デバイス並びに可聴な発話及び／又はビデオデータ（画像データ）への制御されたアクセスのシステムを組織的に生成し、またユーザ及び支援配信サービスプロバイダの両方に、受信し、解析し、解読し、アクセスし、又はユーザにリアルタイムの関連支援を提供するためにデータにアクセスするチャネルを提供する。

本開示は、保護するソフトウェアに対する依存無しに、聴取の媒体及びデバイス（例えば、ＡｍａｚｏｎＥｃｈｏ（Ｒマーク）、モバイルデバイス、コンピューティングデバイス、ウェブカメラ、セキュリティカメラシステムなど）において常時聴取モードを制御する可聴な発話又はジェスチャベースの動作を使用する手段をユーザに提供することに向けて本明細書にさらに記載されるように、受信したデータを保護する方法、又は現在の技術に対する実質的な改良を提供しており、従って、媒体が常に会話を聴取することを許容することを選択するユーザへの受け入れを改善し、解読されるべき及び処理されるべきこれらの直接的な又は間接的な発話、動作／ジェスチャ、及び／又はコマンド／クエリをほぼリアルタイムで供給し、また向き付けの無い及び勝手に送ってくる支援、又はフル常時聴取モードの活動中に「ウエイクアップ」語を必要としない支援を提供する。ジェスチャは、（ただし、限定されるものではないが）カスタムジェスチャー又は言語ベースのジェスチャー（例えば、アメリカ手話）を包含する。

本明細書に開示された可聴データを保護するための改善された方法、装置及びシステムは、デバイスの外部のソース（源）から電気信号を受信する能力を有しない（ただし、電気信号及びデータを送信する能力を残す）マイクロフォン又はカメラ（ここで「受信機」として参照される）を含み、また、（データを受信する能力を有する一方で）外部電気信号を受信する能力を有しない１又は複数の独立したプロセッサであることができ、又は双方向プロセッサに組み込まれたゲートキーピングモジュールであることがよく、ここで、ゲートキーピングモジュールは、ゲートキーピングモジュールが外部電気信号を受信する能力を有することがない（電気信号を送信し、また受信機からデータを受信する能力を残す）場合に存在する。ここでは、ゲートキーピングモジュール又は独立したプロセッサ（外部電気信号を受信する能力を有しない）は、電子デバイスの真の「常時聴取」を有効に又は無効にするに先だって、ユーザの音声コマンドを前処理するローカライズされたプリプロセッサとして動作できる。ボイスコマンドを介して真の常時聴取をスイッチオンにし又はスイッチオフにするためのハッキング不能なローカライズされた制御が提供される。このプリプロセッサ又は前処理（又はゲートキーピング）の機能は、可聴データをワイヤレス通信モジュールに直接に中継する能力を有することができ、又はエンドツーエンド暗号化といった他の処理機能を実行した後に、そのときの暗号化された可聴データをワイヤレス通信モジュールに中継することができ、該モジュールは、その後に、リモートコンピュータ（例えば、クラウドサーバ又はコンピューティングプラットフォーム）に接続することができる。要するに、プリプロセッサ／ゲートキーピングモジュールは、受信機から一次プロセッサ又はワイヤレス通信コンポーネントに受信したデータを供給する一方向通信のハッキングできない「バルブ」として機能する。

本明細書に記載された方法は、外部電気信号を受信する能力を有さないプロセッサ上において前処理機能、又はローカライズされたプリプロセッサを利用して、「常時聴取」機能及びローカルユーザへの制御を区分けし（ｉｓｏｌａｔｅ）、ゲートキーピングモジュールの制御が、文字通り外部データアクセス無しであり、したがってハッキングの影響を受けない。

図１～図４は、デジタル携帯情報端末デバイスの聴取及び応答を制御するための従来技術における様々なソフトウェア制御を示す。例えば、図１のインターフェース１０は、デバイスとの物理的な相互作用無しウエイクアップ語「ＨｅｙＳｉｒｉ」が聴取を始動させることを可能にするためのトグル１１を示している。同様に、図２は、「ＯＫＧｏｏｇｌｅ」という語が聴取を始動することを可能にするＡｎｄｒｏｉｄ（登録商標）インターフェース２０を表示する。図３は、システムへのマイクロフォン入力を無効にするためのボタン３１を有するＷｉｎｄｏｗｓ（登録商標）オペレーティングシステムにおけるインターフェース３０を表示する。最後に、図４は、タブ４１において、特定のウエイクアップ句４２を設定して記録すること及び動作を始動すると共に一般的にディクテーションを制御するための第三者のソフトウェア「Ｄｒａｇｏｎ（Ｒマーク）Ｄｉｃｔａｔｉｏｎ」におけるインターフェース４０を表示する。

図５は、簡略化した形で、従来技術のパーソナル・デジタル・アシスタント内のコンポーネントの従来の関係を示す。ユーザは、ボタン１００を押して、マイクロフォン１０１を物理的に無効にすることができ（ミュートする、又は消音する）「常にウエイクアップの視聴に注意を向ける」ことから離れる。通常の動作条件下（消音されていない）では、マイクロフォン１０１は、検出するために受動的にウエイクアップ語に耳を向け、検出されると、プロセッサ及び／又はワイヤレスＩ／Ｏコンポーネント１０３に送られる先行のウエイクアップ語に引きつづき、発話ストリング、クエリ又はコマンドを記録する。一旦、ストリングがプロセッサ又はワイヤレスＩ／Ｏコンポーネント１０３によって受信されると、特異ストリングは、ほとんどの場合、クラウドサーバ１０４に送信され、又はプロセッサが、例えば、「ｔｕｒｎｏｆｆ＜ｎａｍｅｏｆ＞ｌｉｇｈｔ」といった事前に一組のプログラムされた実行可能な命令を記憶している場合には、ローカルに処理される。その後、プロセッサ／常時聴取デバイスは、先行のウエイクアップ語の受動的な聴取に戻る。ストリングが、ローカルで処理されるのではなく送信される場合、クラウドサーバ１０４は、ストリング、クエリ、又はコマンドを処理し、第１プロセッサへ／ワイヤレスＩ／Ｏコンポーネント１０３を介して応答を返す。次に、該応答は、実際にコマンドに適合するように処理され、又はスピーカ１０５を通して可聴な応答を再生するように処理される。

図６は、単純化された形で、真に「常時聴取」可能な電子デバイスの実施例を示す。それらのセンサがマイクロフォン、カメラ、又は環境に関する情報を捕捉する能力を有する他の電子デバイスであっても、デバイスは、「常に受信するもの」、「常に視聴するもの」、「常に記録するもの」、「常に送信するもの」、及び／又はセンサからの入力を検知し及び記録する他の任意の方法として、代替的に、他の実施例において説明されることができるであろう。

マイクロフォン（又はカメラ、又は他の受信機）２００は、ユーザからの潜在的な指示を常に聞こうとする（又は可聴音の入力以外の感覚フィードを録音又は監視する）ように構成されてもよく、限定されるものではないが、常時聴取モードの動作をさせること、常時聴取モードの動作を停止させること、基礎となるディジタルパーソナルアシスタントシステムを特徴付けるものを動作させ若しくは停止させること、又は言葉によるクエリに応答するといったディジタルパーソナルアシスタントサービスを提供することを含む。記録された可聴な、映像の、又は他のデータは、受信機２００からプリプロセッサ及び／又はゲートキーピングモジュール２０１に送信されてもよい。

いくつかの実施例では、デバイスは、２又はより多くの別個の受信機を含むことができる。第１受信機２００は、該デバイスに電力供給されている限り電源オンであると共に、ユーザ入力を監視してもよく、しかし、デバイスの通信モジュール２０２にデータリードを持たない場合があり、したがって、第１受信機２００が遠隔サーバ又は他の外部デバイスとの通信を行うことが防止されることがある。第１受信機からのデータ出力は、限られた言語処理能力を持つプロセッサ及び／又はゲートキーピングモジュール２０１にのみ送られてもよい。第２受信機２０６は、通常は、ゲートキーピングモジュール２０１によって許可された場合のみ電力が回復される又はデータ送信機能が回復される状態において、電力供給されていなくてもよく、又はデータ送信から切り離されることができる。

ゲートキーピングモジュール２０１は、電子デバイスのクリティカルパス、コンポーネント又は機能において、入ってくる（インバウンド）データ（限定されるものではないが、許可された又は及び許可されていない電気信号を含む）又は出て行く（アウトバウンド）データ（可聴の、映像の、発話の、ジェスチャの、又は他のデータ）の手段を制御し又は制限することができる。或いは、ゲートキーピングモジュール２０１は、電源２０５（例えば、バッテリ又はＡ／Ｃ電源への接続であり得る）からデバイスの特定のコンポーネントへの電力供給を許可し又は拒否することができ、デバイスの特定のコンポーネントは、（限定されるものではないが）は、マイクロフォン、プロセッサ、及び／又は通信モジュール（例えば、Ｗｉ－Ｆｉ、ＺｉｇＢｅｅ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離無線通信（ＮＦＣ）、携帯電話接続など）を包含する。いくつかの実施例では、様々なコンポーネントが、常時、電源２０５へ直接に接続され（図中の実線によって示される）、一方で、他は、直接に接続されてもよく、又はゲートキーピングモジュール２０１を介して接続される（図中の破線によって示される）、のいずれでもよい。

ゲートキーピングモジュール２０１は、集積回路、マザーボード上のチップ、又は他の任意の形態のハードウェアソリューションとして実施されることができる。或いは、ゲートキーピングモジュール２０１は、（限定されるものではないが）ＥＰＲＯＭ（メモリチップ上の設計された／指定されたエリアにＵＶ光を当てることによって局所的に及び物理的に消去されることのみ可能であると共に、ほんのわずかでも再プログラムされることができないメモリ）といった非一時的なメモリに格納されるセキュリティプログラミング又はプロトコルの実施例をとることができる。以下のことを理解すべできある：当業者は、本明細書に記載されるようなゲートキーピング法を、任意の数の代替のハードウエア及び／又はソフトウェアの実施例において適用することができる。

プログラミング／プロトコルは、プリセットされたサイズ又は期間に、又は最新のアクティビティに基づき、受信したインバウンド電気信号を制限する機能を有するようにして（例えば、ウェブページをロードするためにサーバにリクエストを送信すると、ある期間、又はウェブページがロードされるまで、電子デバイスがデータを受信することを許可してもよく、しかし、プリセットされた期間内に最近のデータリクエストがない場合、ＥＰＲＯＭ内のゲートキーピングモジュールは、電子デバイスが無線受信機を介して追加データを受信すべきことを防止してもよい）、電子デバイスがハッキングされることを妨げるようにしてもよい。

或いは、ゲートキーピングモジュールは、継続的に送信するためのユーザからのローカル入力許可をゲートキーピングモジュールのプロセッサが持たない場合、「ワイヤレス送信機上における継続的な音声（ａｕｄｉｏ）送信を遮断（又は制限）する」ように設定されてもよい。

ゲートキーピングモジュールは、時間インターバル（例えば、ピコ秒から秒、秒から分）中にインバウンドデータのマイクロバーストを可能にするように設定して、データの予期される流れが該デバイスによってダウンロードされることを可能にし、プッシュ通知のチェックを可能にし、及びユーザデータを処理するように構成されたサーバによる応答の受信を可能にしており、しかし、ゲートキーピングモジュールは、権限のないアクセスを得る若しくはセキュリティ抜け穴を「ハッキング」する、悪意のあるデータをアップロードする、又はサービス妨害攻撃を実行するために必要な継続的な接続を困難に又は不可能にする、時間インターバル（期間）の長さ、又はインターバル間の不能化された通信の期間の長さは、ランダムに又は固定のインターバル（例えば、２０ミリ秒毎に１ミリ秒間の、又は１秒ごとにランダムに選択されたミリ秒の期間の、通信を無効にするといったもの）で選択されることができ、また、時間インターバルの長さは、比率（例えば、インバウンドデータが長さで５倍に許可され、長さで２０倍に許可され、又はインバウンドデータが不能にされるという時間インターバルに比較されたその他の任意の乗数といったものに許可される）比率として関連づけられることもある。

ゲートキーピングモジュールは、物理的な有線接続の手段、又は（限定されるものではないが）ブルートゥース（登録商標）、ＮＦＣなどといったより制限された範囲のワイヤレス手段；局所的にのみ、機能それ自体への到達する（インカミング）データの接続を可能にするように設計されてもよい。該機能は、以下のものによって安全に（セキュアに）されることができる：修正デバイス上において必要とされるパスワード、デジタル指紋（クッキー又はトークンといったもの）のうちの１又は複数のもの；又は、機能のソフトウェアの修正を可能にする前にユーザ個人の電子デバイス（例えば、スマートフォン又は他のモバイルデバイス上のアプリ）によるユーザの身元の物理的な識別又は検証を必要とするソフトウェア。この方法、つまり、ゲートキーピングモジュールをある程度のプログラミング又は再プログラミングすることを可能にする方法は、有益なセキュリティプロトコル及びアップデートを可能にし、必ずしも「侵入防止」のためではなく、「通過」関連のセキュリティ及びカスタマイズのためにも可能である。例えば、ゲートキーピングモジュールは、最初の製造者によって指定され及びハードコードされたもの以外の別のクラウドコンピューティングプラットフォームに接続するようにプログラムされてもよい（例えば、Ａｌｅｘａ^ＴＭ／Ｅｃｈｏ（Ｒマーク）は、音声が送信されることを許可する新しいＩＰアドレスを識別することによって、Ｍｉｃｒｏｓｏｆｔ（Ｒマーク）プラットフォームに接続されるように再構成されてもよい）。

ゲートキーピングは、（限定されるものではないが）スマートフォン「アプリ」といった所定のソフトウェアによって定期的にプログラムされ及び／又は更新されてもよい。いくつかの実施例では、デバイスは、可聴の発話又はジェスチャのデータをクラウド内のサーバープロセッサに中継するためにＶＰＮ（仮想私設網）を使用して、再プログラムされるようにしてもよい。或いは、デバイスは、負荷バランシング又はトラフィックバランシングの考慮事項に基づき、一組の可能なＩＰアドレス中から選択するようにプログラムされてもよい。セキュリティ機能が、可聴データ又はジェスチャデータがアップロードされるとき通過する悪意のあるコード及び／又は暗号化という２点の検証を持つように追加されることができる。

或いは、ゲートキーピングモジュール又はプロセッサは、受信データをローカルプリプロセッサに転送するようにプログラムされてもよい。例えば、受信した発話又はジェスチャデータは、遠隔サーバへの代わりに、該デバイスと同じ無線ネットワーク上のローカルサーバ２０７に、又はスマートフォンアプリに、転送されることができよう。このようにして、情報のプライバシー及びセキュリティが、確保されて、またより大きなインターネットへのワイヤレスネットワークの接続が失われる場合でも、ある程度の容量での動作を可能にする可能性がある。

別の実施例では、デジタルパーソナルアシスタントは、複数のプロセッサを備えてもよく、該プロセッサでは、無線通信コンポーネントが、外部に発信源を持つインバウンドデータを受信すると共に該インバウンド信号を第１プロセッサのみに送信するために制限されており、また、第１プロセッサは、無線コンポーネントに信号を送信することができず、ディスプレイ又はスピーカに信号を送信することができるだけである。さらに、無線通信コンポーネントは、遠隔コンピューティングデバイスに送信するために、第２プロセッサからのアウトバウンド（受けた入力）データ（１又は複数の受信機から受信された）を受信することのみに制限されてもよく、したがって、デジタル侵入者が受信者をオーバーライドすることができない状態にする。

発話及びジェスチャのデータの純粋に局所的な処理を行うと、セキュリティ及びプライバシーに関連付けられた安全なアプリケーションが可能になる可能性がある。例えば、ホームセキュリティシステムが、発話、ジェスチャ、顔認識、又は処理を必要とする他のビデオ又はオーディオ入力によって制御される場合、ローカル処理が、遠隔処理より好まれる可能性があり、遠隔処理は、遠隔のハッカーがホームセキュリティを不能にすることを許容することがゼロではない。プライベートの安全な「ウォーキートーキー」又はその他の通信機能が、追加されることができて、ローカルネットワークから離れて動作すると共に、ローカルネットワーク上の複数のデバイス間の通信を可能にする。

ある実施例では、プリプロセッサ２０１は、デフォルト設定により受信機によって受信された全てのオーディオ又はビデオのデータの連続的な送信を可能にすると共に、特定のユーザ入力に応答するデータ送信に関する制限を実施するのみのようにプログラムされてもよい。

プリプロセッサ及びその機能の別の実施例では、プリプロセッサ２０１は、局所化された自然言語処理（ＮＬＰ）プログラミングを含むことができ、該プログラミングは、非一時的メモリに組み込まれており、該自然言語処理には、ユーザによって受信された入力の連続ストリングを、個々に最も理解しやすいサブストリングに事前構文解析することが課される。

例えば、ユーザは、休止無しに、一連のコマンドを作ることを好むかもしれず、常時聴取デバイス及び／又はそのクラウドコンピューティングユニットは、「Ｐａｎｄｏｒａ（Ｒマーク）上においてクラシック音楽を再生し、ボリュームを４に設定し、一時間で演奏を停止し、ベッドルームライトを消し、午前７時にアラームをセットする」といった複雑な一連のコマンドを解読することができないかもしれない。しかし、事前解析ＮＬＰから成るプリプロセッサ２０１を利用すると、クラウドコンピューティングユニットへ送信する前に、文字列を解析すること、及び５つの個別のコマンドへ変換することを可能にするかもしれない：
「Ｐａｎｄｏｒａ（Ｒマーク）でクラシック音楽を再生する」
「音量を４に設定する」
「１時間で再生を停止する」
「ベッドルームのライトをオフにする」、及び
「午前７時にアラームを設定する。」

これに応答して、クラウドコンピューティングサーバ２０３は、その元の機能に対する基準として、順に、及び／又は連続的に、それぞれに応答することができる：
「Ｐａｎｄｏｒａ（Ｒマーク）上クラシック音楽を再生する」
（設定における変更を無音で顕在化し、つまり、Ａｍａｚｏｎ（Ｒマーク）Ａｌｅｘａ^ＴＭは、音量変更時の聞き取りできるフィードバックを提供しない。）
「私は、１時間で再生を停止するであろう」
（設定における変更を顕在化する）「Ｏｋａｙ．」
「午前７時にアラーム設定する」

ストリングの事前構文解析は、遠隔クラウドコンピューティングユニット２０３において、同様に達成されることができ、又は実際のＮＬＰ又はＡＳＲ（自動音声認識）に導入される前に事前構文解析が達成される他の任意の構成において、達成されることができる。

別の実施例では、ゲートキーピングモジュール及び／又はその関連付けられたハードウエアは、「常時聴取」電子デバイスとは別個のデバイスにおいて、独立していてもよい。

ゲートキーピングモジュール２０１は、ユーザからの入力をローカルに処理するために自然言語処理（ＮＬＰ）を含むことができる。

図６においては、矢印は、電子デバイス内のデータ送信（無線及び有線の両方）の方向的な流れを描く。図示されるように、プリプロセッサ及び／又はゲートキーピングモジュール２０１は、単一方向、アウトバウンドに制限される。ゲートキーピング機能２０１は、ゲートキーピングモジュールが単一方向のアウトバウンド伝送のみに制限される限り、単一方向プロセッサ（つまり、受信機からの入力のみを有すると共に下流のプロセッサへの出力のみを有するデバイス又はコンポーネント）、又は双方向プロセッサのいずれかに組み込まれてもよい。単一方向機能は、データの入力／出力のポートそれら自体によって強制されない場合、例えば、読み出し専用メモリに格納されると共にゲートキーピングモジュール２０１におけるプロセッサによって実行されるソフトウェアによって実現されてもよい。

図示された実施例では、プリプロセッサ及び／又はゲートキーピングモジュール２０１は、受信機２００によって受信された発話、又は他の映像若しくは音声のデータを中継し及び保護しており、中継及び保護は、一次プロセッサ及び／又は無線の入力／出力の通信コンポーネント２０２に送信する前に行われ、一次プロセッサ及び／又は無線入力／出力の通信コンポーネント２０２は、該発話のデータをクラウド又は他の遠隔サーバ２０３に送信する。

一次プロセッサ２０２は、発話データを暗号化してもよく、又はそうでなければ、送信前にデータ伝送チャネルのセキュリティを確保してもよい。或いは、暗号化は、プリプロセッサレベル２０１で、又はその両方で、マルチレイヤ暗号化特徴のために行われてもよい。

システム／コンポーネント／方法は、以下に限定されるものではないが、携帯電話、タブレット、ラップトップ、コンピュータ、スマートウォッチ、テレビ、照明、メディアプレーヤー（例えば、ＤＶＤプレーヤー、Ｂｌｕｅ－Ｒａｙプレーヤー、ｉＰｏｄ（登録商標）など）、ホームセキュリティシステム、スマートホームデバイス（スマートサーモスタット、スマート冷蔵庫、スマートロック／ドアベルなど）といった種々のタイプの電子デバイスに統合されてもよい。当業者の個人は、この発明を、ユーザ、デバイスメーカ、コンテンツ（及び／又は広告）、配信プロバイダ、又はこれらの組み合わせに付加価値を提供する実施例を統合するいくつかの他のシナリオ、応用、及び方法に適用できるであろう。

いくつかの実施例では、外部データ入力無しの集積化されたゲートキーピングモジュールは、ユーザが機密であることを見出すと共に安全で非公開に保つことを望む可能性がある映像又は他のタイプのデータフィードを保護できる。

いくつかの実施例において、デバイスが、１又は複数の発光ダイオード（ＬＥＤ）を含んでもよく、発光ダイオードの点灯した／点灯してない状態、色、又は点滅のパターンは、常時聴覚モードがオン又はオフであるかどうかをユーザが視覚的に確認することを可能にする。他の視覚的又は聴覚的な効果は、常時聴覚状態を示すために使用されてもよく、例示として、デバイスの画面又はディスプレイ上のシンボル、アイコン、又は点滅アイコン、常時聴覚モードに従事していることをユーザに思い出させる時々のビープ音若しくは予め録音された音、又は録音が生じていることをユーザの感覚入力を介してユーザに警告又は注意を促す他の方法を含む。

ユーザに対するデバイス出力のためのスピーカが好ましい一方で、一部の実施例では、デバイスは、出力のためのスピーカを含んでいなくてもよく、該出力は、その代わりに、照明、振動、ビデオスクリーン、又は他の視覚インジケータのうちの１又は複数によって提供されてもよい。或いは、デバイスは、完全に無音であること、及び視覚的な外観に変化無しであることの両方であってもよく、ユーザへのフィードバック無しで、バックグラウンドでデータの送信及び更新を排他的に実行する。

いくつかの実施では、デバイスは、マイクロフォン又はカメラに加えて、１又は複数のセンサを組み込むことができ、該センサは、（限定されるものではないが）振動センサ（セイスモグラフといったもの）、全地球測位システム（ＧＰＳ）、向きを決定するための加速度計又はジャイロスコープ、温度計、湿度センサなどを含む。追加のセンサは、例えば、落下したユーザの振動、生活エリア内の安全でない温度、又は他の緊急状況を検出するといったこと、発話又はジェスチャがなくても、潜在的なユーザ意図を特定するために使用されてもよい。

「常時聴取」モード、その機能がユーザによって有効にされる時及び場所、デバイス及び／又はそのオフサイト機能（例えば、クラウドコンピューティング、ロジック、自然言語処理、又は人工知能）は、有用なデータを聴取し／受信し／記録し、有用なデータを処理し、有用なデータを記録し、並びに応答し及び／又は支援の詳細を提供するために、適切な時間を確認することができる。例えば、ユーザが「常時聴取する」ことを選択した場合、デバイスは、オーディオ入力に基づくいくつかの有用なサービスを提供することができる：
・ユーザが（別のユーザが物理的に存在する状態で、又は電話を介して）口頭で予約を行うとすると、デバイスは、ユーザに関連付けられたソフトウェアカレンダーに予約を追加できる。
・ユーザが映画を見ながら第２ユーザに「その俳優は誰か？」を問い合わせるとすると、デバイスは、視聴されている映画及びそのシーンを特定することを試みることができ、映画に関する情報のデータリポジトリをチェックすることができ、俳優の識別アイデンティティの最良な推測／推定と一緒に応答することができる。
・ユーザが第２ユーザ又は世帯メンバーに話しかけて、これから起きる出来事又は割り当てられたタスクを彼らに「思い出させる」とすると、デバイスは、該出来事又はタスクに関するリマインダを彼らのデジタル又はクラウドのノートに追加することによって、又はその第２ユーザの携帯電話のための警告を追加することによって、適切に応答することができる。
・あるユーザが、どこに行くか、又はディナーに何を食べるか、について別のユーザ又は家庭メンバーと会話すると、そのデバイスは、広告のためにお金を既に支払った、広告宣伝を行う、などの近くのレストランの提案と一緒に応答することができる。
・ユーザが、提案されたレストランがどのくらい離れているか、を尋ねると、デバイスは、ユーザの位置を（デバイス内のＧＰＳユニット、ユーザのプロフィールからのアドレス、又は携帯電話の基地局の三角形分割といった別の推定手段を介して）特定し、ユーザからレストランまでの近似距離と一緒に応答することができる。
・ユーザが、レストランが遠すぎる（デバイス又は別のユーザに）と言うとすると、デバイスは、ユーザがそこに留まりたい時間又は距離のパラメータがあるかどうかを問い合わせることがある。
・ユーザが、最後の時の会話又は距離の会話が終了した後の一定期間、話し合いを行い及び休止すると、デバイスは、ユーザの話し合いから受信した又は特定された任意の提供されたパラメータ又はパラメータ内において代替提案を行うことができる。
・ユーザが、ユーザが欲する食料の種類の後に、ある期間、話し合いを行い及び休止すると、デバイスは、ユーザの話し合い又は指示のパラメータ内において提案を行うことができる。
・ユーザが、彼／彼女／彼ら彼女らが見たい映画の後に、ある期間、話し合いを行い及び休止すると、デバイスは、ショウタイム、場所、距離、又はそれらの組み合わせに関する情報を提供することができる。
・ユーザが、環境条件を不快であると対話的に説明すると、デバイスは、１又は複数のサーモスタット、冷却システム、ヒーティングシステム、ファン、又はその他の外部環境制御デバイスにつながることができ、設定をより望ましいレベルに変更するために、電子コマンドを装置に送信することができる。同様に、ユーザが「ここは明るすぎる」と言ったとすると、デバイスは、モーター駆動カーテンに信号を送信して、閉じ若しくはわずかに閉じ、又は調光スイッチに信号を送信してライトを低い設定に調光することがあるであろう。
・ユーザが疾患の兆候を説明すると、デバイスは、処置方法を示唆し、将来の医療予約中における診察のためのユーザの医療記録を自動的に更新し、及び／又は対話し、直ちに医療機関を受診することを推奨することができる。
・ユーザは、ユーザのセキュリティを強化するために、特定の「安全」及び「緊急送信ヘルプ」コードの語句又はジェスチャを認識するようにシステム及び／又はデバイスを事前にプログラムすることができる。例えば、「青の象」のようなコードワードは、武装警備システムを備えた住宅に入る時に、「全て安全」ワード／フレーズとして使用されてもよい（そして、ボイスＩＤで検証されてもよい）。或いは、ユーザは、「強制されたユーザの送信ヘルプ！」を示すために、特定のフレーズ又はジェスチャを構成してもよい。侵入者が、引き続き、セキュリティシステムを非アクティブ化するようにユーザを強制した場合、フレーズを発声すると、セキュリティシステムが、当局に警告している期間に、偽の武装解除状態に入る可能性がある。第３フレーズ又はジェスチャは、逃れる又は隠れることをユーザが試みている期間に、直ちにセキュリティシステムを始動させるために「パニック」コマンドとして使用されてもよい。

オーディオ処理機能は、さらに、潜在的な疑似入力又は悪意のある入力をユーザに警告するように構成されてもよい。例えば、ユーザが、Ｗｅｂを介してストリーミング、又はラジオの再生を聴いている場合であって、該再生が、通常の人間の聴覚範囲（約２０Ｈｚ～４０ｋＨｚ）より上又は下の周波数の隠しメッセージを含む場合である。デバイスは、マイクロフォンによって記録された音声信号に作用するというよりは、不可聴なコマンドを発行する試みをデバイスが把握していることを、代わりに、聴覚的に又は他の方法でユーザに警告するように構成され、また、よりセキュアなモードに入るように提案することができ、該モードは、１又は複数のコマンドタイプを無効にする、該デバイスへの音声信号入力を一時的に無効にする、又は音声信号を生成しているどんなデバイスによっても音声信号出力を一時的に無効にする。同様に、システムは、世帯内のメンバーのうちの何人かの声を認識するように訓練されることができ、またシステムは、以下を特定することができ：受信された口頭コマンドが、現在再生中のオーディオエンターテインメントにおいて記録された声から来る；又は、世帯のうちのビジターから来る、のいずれかであることであって、該ビジターは、デバイスにコマンドを発行することを許可されていない。システムは、デバイスの通常ユーザ又は権限のあるユーザから発信されたものとして確認されることができない入力に作用することを拒否することがあり、又は確認を求めることがある。

同様に、カメラを備えるシステムは、専らビデオデータに基づき、又はオーディオ及びビデオデータの組合せに基づき、いくつかの有用な機能を提供することができる。
・ユーザが話すことができないか又は話すことを望まない場合（例えば、ユーザが、聴覚障害者である、無言である、食べている、騒々しい環境にあり騒音に負けないように叫びたくない、など）、ユーザは、デバイスとのカスタム又は言語ベースのジェスチャ通信を介して、そのまま、パーソナルアシスタントデバイスの安全性及び有用性を楽しむことができる。システムは、マクロ表現（手を振る、１又は複数の立てた指の組、アメリカ手話、又は他の手話における従来のコミュニケーションなど）だけでなく、マイクロ表現（笑顔、渋面、あえぎ、結んだ唇、広がった鼻孔、眉の動き、まぶたの動き、舌の動き、頬の動き、など）を認識するように構成されてもよい。マイクロ表現及びマクロ表現は、ユーザのあいそうな気分又は意図を特定するために、発話の量又は内容に関する判明した情報と組み合わされることができる。気分及び意図のこれらの特定から収集された情報は、ユーザプロフィール（例えば、あるチームが勝利するとユーザが歓声を上げる場合に該スポーツチームを好むことを覚え、又はユーザが食べた後に顔をしかめる場合に該ユーザがその食べ物を好まないことを覚える、など）を更新するために使用されることができる。
・このシステムは、オーディオデータが利用できない、又は分かりにくいときでさえも、追加的に、「口を読み取る」、又はビデオデータの処理を通じてマイクロ表現又はマクロ表現によって表された他のユーザの意図を読み取るように、訓練されることができる。話し言葉を、クエリ又はコマンドに変換することができ、またシステムが、話し言葉に、ビデオデータだけの解析を介して、又は利用可能なオーディオデータを話し手の唇を読み取るためにビデオデータで補完することによって、作用することができる。
・ユーザが床に落ち、及び／又は苦痛を叫び若しくは不快感を発することであれば、システムは、ユーザの健康状態に関して問い合わせ、家族又は友人といった第三者に連絡し、ユーザに医療支援を指示するために緊急サービスに連絡することがある。ユーザが、落下又は傷害の後に応答的でない場合、システムは（システムの設定内において事前にユーザによって許可されている場合）、ユーザの状態を確認するために、追加のビデオフィードをオーバーライド（上書き）すると共に該フィードをアクセスすることができ、ビデオフィードを第三者又は緊急サービスに転送することができる。システムは、立った位置から単に落ち、又はベッドから外に落ちることの代わりに、階段を落ちたり脚立から落ちたりするといった落下の特性に基づき、即座に状況を上記レベルの処理事項にすることができる。また、システムは、負傷の可能性又は重大度を特定するために、ビデオデータを使用して、出血、骨折の可能性、又は他の負傷の兆候を検出することができる。
・システムは、カメラの使用を介してロケーションにおけるいくつかの物体の位置のモデルを構築し（又は複数のカメラを介して正確な位置を三角測量し）、その情報を使用してユーザを支援することができる。例えば、ユーザが夜間に歩き回っている場合、システムは、通常、その場所にない物体がユーザの通路（パス）にあることを特定して、「置き間違えられたイスに偶然に出会おうとしている！」を聞こえるように警告して、ユーザが足の指先をぶつけること、又は暗闇においてつまずくこと、を避けるのを手助けする。同様に、システムは、ユーザの位置を自身で追跡するかもしれず、ユーザがいつもとは異なる経路を歩いること、及び壁又は家具と衝突する可能性があることをユーザに警告する。
・システムはまた、装飾品、電子機器、絵画、家具といった１又は複数の物体がモデルにおいて典型的な場所にないと特定することによって、盗難が発生した可能性があるという警告を生成できる可能性がある。潜在的な盗難の特定は、顔認識と、身近でない顔が存在した後に物体が消失したという特定とに基づいてもよく、又は、他の物体がまだ移動していなくても、住んでいる家族が不在のときにおける身近でない顔の存在に基づき積極的に生成されてもよい。
・システムは、物体認識を使用して、危険な又は望ましくない状況が発生していることを特定してもよい。例えば、子供は、ナイフ、銃器、他の鋭利な若しくは爆発的な物体、窒息の危険性、高価で壊れやすい物体、又は子供が利用（アクセス）するべきではない他の物体、を保持していることを特定することができる。応答においては、アラートが生成され、子供の親又は他の介護者に送信される場合がある。その他の望ましくない又は安全でない状況、例えばドラッグ・パラフェナリアを所有する十代の若者、自動車の鍵を保持しながらアルコールの影響の下にありそうであることを示す動きの成人、といった状況の自動検出によれば、状況に対処できる適切な受け手へのアラートが生成される場合がある。
・システムは、進行中のユーザアクションの最終的な意図を特定しており、また該アクションのタイプに関して特異であると判定された時間長が該アクションにおいて経過している場合、ヘルプに連絡するように申し出ることができる。例えば、バスルーム内において又はシンクの下において道具を用いて作業していると特定された人には、１時間が経過した後に、連絡先情報と一緒に現地の配管工に連絡を促すことがある。リビングルーム又はベッドルームにおいて、ハンマー、レンチ、ドライバー、又はその他の手工具を保持している人には、所定の時間が経過した後に、連絡先情報と一緒に現地の便利屋又は大工に入力を促すことができる。自動車に乗り降りすることなく一定期間自動車に近接している人には、連絡先情報をと一緒に、整備士、牽引サービス、又は他の自動車サービス会社に連絡を促すことができる。
・システムは、進行中のプロセスにヘルプを提供することもある。例えば、キッチン内の人の活動は、該活動が、あるレシピで調理するときに追跡されることがあり、その結果、該活動が、一定期間、休止すると、該活動は、レシピを使用しているクックブック又はＷｅｂサイトを調べることなく、レシピの次のステップを用いて聞こえるように自動的に指示される。レシピの現在のステップは、ユーザの行動のビデオ認識を、ユーザが以前に参照したクックブックのページの特定又はユーザの検索履歴と相互参照することによって特定されることができる。別の実施例では、クラスの教師又は複数の子の親は、特定のタスク又は工作プロジェクトに取りかかるように、生徒／子のグループに指示することができる。システムは、各人の現在の行動を追跡することができ、また該人が、混乱、フラストレーションを表明し、又はシステムに入力され又は事前に構成される可能性のある活動の説明に整合しない行動に取りかかっている場合に、ヘルプを差し挟むこと、又は教師／親に通知することに準備ができている。
・システムは、リマインダを生成し、ショッピングリストの更新し、オンラインショッピングカートへのアイテムを追加するために、観察されたユーザアクションを使用することができる。例えば、ユーザがシリアルをボウルに注いて、その後にミルクを見つけることに失敗し、驚き、悲しさ、又は嫌悪感を表現する場合に、ミルクが自動的にショッピングリストに追加されることができ、或いは、ユーザが食料品店にいるときに自動リマインダが生成されてユーザのモバイルデバイスに送信されることができ、或いはメッセージが、現在のところ外出中であると共にその帰りにミルクを買う可能性のある家人の別のメンバーに送信される。以下のような類似の特定がなされる可能性がある；（家人が電球を見つけられなとユーザが言うことを小耳に挟むというビデオ特定に応答して）家人が電球を購入する必要があるかもしれない；おむつ若しくはその他のベビー用品、又は家庭によって定期的に購入されまた消耗される可能性のあるその他の任意の物品を購入する必要があるかもしれない。

ユーザには、デバイス又はシステムによって受信されたビデオデータが第三者に提供される可能性のある方法にわたって細かく制御が与えられることができる。例えば、ゲートキーピングモジュールは、外部伝送を可能にする前に、常に、身体全体若しくは顔、又は顔以外の身体の一部、又は何らかの露出した肌をぼかすように構成してもよい。手、足、及び／又は顔といった身体の特定の部分は、伝送のために保存され又は区分けされてもよく、この結果、他の背景情報が伝送されない。部屋、家具、ビデオ画面、文書、又は他の物体といった背景情報は、デバイスの外部に送信される任意のビデオにおいて、具体的には、除外される、又は含まれることができる。

ビデオコンテンツの継続的な伝送を制御する実施例は、産業／商業シナリオ、例えば盗難が発生する、又は安全／責任が懸念される場合において有用である可能性がある。常時聴取又は視聴システムを実装するウエアハウスでは、データフィード（オーディオ、ビデオ、又はその両方）は、作業者を助け、安全を強化し、又は安全でない行動を検出し、押し込み強盗、万引き、又は盗難への職権又は売店を警告する最良の応答、例えばディスプレイを介して視覚的なフィードバックを又はスピーカを介してオーディオのフィードバックを提供するといったデータに対する最良の応答のために、系統立て、検索し、計算し、アクセスし、評価し、又はこれらの組み合わせ動作を行うように、連続的に処理され、解読され、及び／又は分析されことができる。加えて、システムは、訓練目的のために、情報に関する受信データを保存することができる。

或いは、違反を監視する際に使用される受信データは、違法駐車、又は駐車メータ用の制限時間の超過、等といった移動しない違反を特定するために更に使用されてもよい。

システム及び方法による応答は、受動又は能動である場合がある。例えば、受動的な応答は、立ち聞き会話に応答して、ユーザカレンダーに予定を作成することがあるだろうし；能動的な応答は、どこにディナーのために行く又はデリバリーを注文するという立ち聞き会話に対してレストランの提案を提供することであろう。

いくつかの実施例は、例えば、視覚的なハウツー、広告、プロモーション、クーポン、又はデバイスのユーザに興味を持たせる又は知らせるように予想されたビデオコンテンツといったビデオオンデマンド又は支援配信を提供するための１又は複数のディスプレイを含むことができる。

いくつかの実施例では、会話で現れるユーザに関する他のデータ、例えば、ユーザの好みの色、話題に関する好む又は好まない意見、又は会話、ディベート、又は議論に現れる他のコメントといったものは、クエリではなく又は支援が提供されてもよい要求として、プロセッサによって認識されてもよい。しかしながら、情報は、例えば、オンラインでアイテムの購入の要求、ユーザの好みの色におけるアイテムの購入、又はユーザによる以前のコメントに基づく視聴のためのテレビ番組又は本の提案に応答して、将来のより良い支援を見越すために、データベースにアーカイブされ得る。システムは、いくつかの実施例では、ユーザの年齢、性別、世帯の人員構成、所有された製品、及びユーザの好みに関連する他の情報のうちの１又は複数を学習し、又は格納することができる。家庭内の利用者達に関するデータは、データの侵害、又はその他のデータ格納への不正なアクセスの場合に、利用者の身元確認を妨げると共にプライバシーを遵守するために匿名化されることがある。

常時聴取デバイスを通じてユーザから収集された可聴なデータ、及び支援の対応は、世帯のみに限定されない場合がある。例えば、産業的な又は商業的な用途においては、常時聴取デバイスを介して収集された可聴なデータは、解釈され、また分析されることができる。ある従業員が別の従業員に「ある品目が在庫にあるか？」と尋ねた場合、システムは、会話に差し挟み、「はい、ニュージャージー倉庫に１２３台、ニューヨーク倉庫に２３４台が利用可能である」又は「ありません、７月７日には出荷予定がある」と聞こえるように応答することがある。モデルを構築すると共に、特定のデバイスの場所において保持された会話のコンテキストを学習することによって、通常の質問に対する応答を正確に提供することができる。

図７は、簡略化した形で、「常時聴取」デバイスの別の実施例を示す。

いくつかの実施例では、プリプロセッサ及び／又はゲートキーピングモジュール３０１は、プリプロセッサ及び／又はゲートキーピングモジュール３０１が、単一方向のアウトバウンド伝送の能力のみを有するように制限されている限り、一次プロセッサ３０６及びワイヤレスＩ／Ｏ通信モジュール３０２と一緒に統合されることができる。この実施例では、一次プロセッサ無線送受信機３０２は、発話データをクラウド又は他の遠隔サーバデバイス３０３に送信し、また１又複数のスピーカ３０４を介して可聴のフィードバックの形で中継されることができる応答を順に受信する。電源３０５からの電力は、いくつかの実施例では、そのまま、集積ゲートキーピングモジュール／プロセッサ／通信モジュールを介してマイクロフォン３００に移ることができ、一方、他の実施例では、マイクロフォン３００は、切断できない直接の電力リンクを有することができる。

図８は、簡略化された形で、「常時聴取」可能な電子デバイスの代替の実施例を示す。

ある実施例では、第１プリプロセッサ及び／又はゲートキーピングモジュール４０１、並びに第２プリプロセッサ及び／又はゲートキーピングモジュール４０２、各々は、それの独自のウエイクアップ句を受動的に「常時聴取」していることができる。例えば、プリプロセッサ及び／又はゲートキーピングモジュール４０１は、ウエイクアップ句を「Ａｌｅｘ」という語にしてもらうことができ、一方で、一次プロセッサのウエイクアップ語は「Ａｌｅｘａ^ＴＭ」（ＡｍａｚｏｎＥｃｈｏ（Ｒマーク）の場合は通常）であってもよい。

他の実施例では、ウエイクアップ句は、特定の単語、特定の一連の単語、手のジェスチャ、顔のジェスチャ、身体の動き、口調、ひげ、音のパターン、動きのパターン、タップ（ｔａｐ）のパターン、又は上記の任意の組合せであってもよい。ウエイクアップ句は、デバイスに予め構成されることができ、又はユーザの好みに対して設定されてもよい。

一例では、ユーザが「Ａｌｅｘ」と言い、その後に「常時聴取を許す」といった単一ストリングが続く場合、システムは、発話データの連続的な聴取と送信とを可能にすることによって応答することができる。同様に、「Ａｌｅｘ」とその後に「聴取をやめて」を続けると、発話データの聴取及び送信の続行を止めることができる。

「聴取をやめる」コマンドを満たすと、システムは受動モードに戻ることができる。プリプロセッサ及び／又はゲートキーピングモジュールは、また、統合されることができ、又は第２プロセッサ又は一次プロセッサと独立して保たれることができる。さらに、無線I／O又は送信機／受信機は、プロセッサと統合されることができ、又はプロセッサと独立して保持されてもよい。

いくつかの実施例では、第１ゲートキーピングモジュール４０１は、第２ゲートキーピングモジュール４０２にわたって制御することができ、又は第２ゲートキーピングモジュール４０２と通信することができる。例えば、ゲートキーピングモジュール４０１は、十分に信頼されていない既存のシステムに追加される場合、ユーザは、既存のシステムがそもそも聞くことができるかどうかを制御すると共に、既存のシステムが記録されたデータを中央サーバに報告することを妨げるために、第１ウエイクアップ句を使用することができる。

図９は、区別できる第２ウエイクアップ語を処理する方法の改良の例示的なフローチャートを示す。

例えば、ＡｍａｚｏｎＥｃｈｏ（Ｒマーク）の場合、「Ａｌｅｘ」といった第２ウエイクアップ語が、デフォルトの「Ａｌｅｘａ^ＴＭ」に追加して使用され得る。聴取中（ステップ９００）、デフォルトの第１ウエイクアップ語が使用される場合（ステップ９０１）、標準のデバイス動作が続行される。

受信したウエイクアップ語の後に位置する次の可聴フレーズは、受信され（ステップ９０３）、またユーザによる言語入力又はジェスチャの各々への最良の直接的又は間接的な応答を遠隔サーバにより特定するために、及び自然言語処理（ＮＬＰ）のために（ステップ９０５）、クラウド又は他の遠隔サーバに送信される（ステップ９０４）。適切な応答が、情報、発話、音楽などであれば、それはデバイスのスピーカを介して出力され；適切な応答が動作（例えば、ファイルのダウンロード、他のデバイスのＡＰＩとの通信など）であれば、その動作が実行される（ステップ９０６）。デバイスは、その後に、最初のウエイクアップ語又はジェスチャを再び聴取し続け（ステップ９００）、追加の言葉による入力を処理し、また引き続く支援をユーザに提供する。

代わりに、第２ウエイクアップ語が受信された場合（ステップ９０２）には、「常時聴取」モードが手配される（ステップ９０７）。常時聴取サイクル（ステップ９０８～９１１）は、これまでの一連のステップ（ユーザ入力を受信し、クラウドへ送信し、最良の応答を特定し、応答を発効させ）を反映しており、しかし、ウエイクアップ語、語句、又はジェスチャを、休止状態で、待機することに戻る替わり、一定のサイクルに、さらには一定の一連の複数の同時サイクルにある（すなわち、第２ユーザ入力を受信し、サーバが第１入力に基づき応答する前であっても、第２ユーザ入力を送信する）。複数の非同期一連のステップ（ステップ９０８～９１１）は、同時に処理する状態であってもよく、また応答は、把握されているユーザニーズに基づきリアルタイムで優先順位付けされてもよい。例えば、あるユーザが「最も近いメキシコのレストランがどこにあるかしら。実は・・・私は、代わりに、中国料理を欲しいと思う」と言ったとして、システムは、メキシコのレストランの場所を特定するために要求の処理を開始した可能性があり、しかし該特定を為す前に、第２のステートメントを受け取った。第２ステートメントの受信に応答して、中国料理のレストランのクエリが処理され、メキシコのレストランの代わりに出力されることがある。

応答は、以下の任意の１又は複数に基づき優先順位を付けることができる：緊急性（例えば、重要性又は危険性を示すために用いられる口調、音量、語彙）、緊急又は安全の懸念事項、内容及び主題の関連性、ユーザの現在の意図又は関心の特定、ユーザがもはや支援を必要としないということを特定すること、（デバイスの所有者に、又は子供を超える成人に最初に応答するなど）ある組のユーザにおいてユーザをランク付けすること、又は主題の関連性、又は広告の最大の入札者。したがって、「常時聴取」モードが、第２ウエイクアップ語の受信によって手配された後に、システムは、会話における受動的若しくは能動的な参加者となり、情報を問い合わせ若しくは提供するために差し挟み、又は立ち聞きしたことに応答してカレンダ若しくは他のデータ格納を受動的に更新する。

図１０は、常時聴取デバイスの追加の特徴のためのプログラムロジックの代替フローチャートを示す。

図９にあるように、システムは入力に耳を傾け（ステップ１０００）；第１ウエイクアップ句が使用される場合、通常の単一クエリプロセスに従うことができ（ステップ９０３～９０６）；第２ウエイクアップ句が使用される場合、常時聴取モードを手配するコマンドと併せて、入力に対する継続的な応答を持つ常時聴取モードを起動することができる（ステップ９０８～９１１）。この機能は、ユーザが、以下を単に為すことによって偶発的に常時聴取を起動することを防止することができる：ユーザの意図を確認することなく単に第２ウエイクアップ句を言うこと；並びに。背景においてうっかりデバイスに聴取させ及び／又は行動を実行させること。

加えて、常時聴取モードは、常時聴取モードを終わらせるために、ユーザの命令を常に聴取しており（ステップ１００５）、その場合、システムは、単一クエリのサイクル若しくは複数のクエリ、常時聴取のサイクルのいずれかに入るために、システムの通常の機能に戻ることができる（ステップ１０００）。

いくつかの実施例では、システムは、システム機能の１又は複数の部分を無効にする追加のコマンドに傾聴してもよい（ステップ１００２）。伴われる機能は、デバイスのマイクロフォン又は他の受信機を無効にすること、ゲートキーピングモジュールを無効にすること（ゲートキーピングモジュールを介してデータ又は電力を妨害されずに転送できるようにすること）、複数のプロセッサのうちの１つのプロセッサを無効にすること、又はクラウド又はローカルデバイスと通信するための通信モジュールを無効にすること、を含み得る。システムは、次いで、無効化された機能を再び有効にするためにコマンドを求めて聴くことができ（ステップ１００３）、これを受信した場合（ステップ１００４）、システムを以前の機能に戻す。

無効化機能／有効化機能のサイクル（ステップ１００２～１００４）は、代わりに、単一のクエリサイクル（ステップ９０３から９０４）又は複数クエリ常時聴取モード（ステップ９０８から９０９）のいずれかの流れに含めることができる。

例えば、常時聴取モードにある期間に、コマンドを、マルチ受信機デバイスによって使用された１のマイクロフォン又は他の受信機をターンオフするために発行することができ、一方、例えば、ユーザが、基本的なデジタルパーソナルアシスタントが第１受信機からデータを受信することを信用しないものであって、しかしデジタルパーソナルアシスタントに追加されると共に第２受信機からの入力によって制御されるゲートキーピングモジュールを信用する場合は、別のマイクロフォン又は受信機の機能を残すことができる。

上述の実施例とは対照的に、ユーザに支援応答を提供する同一デバイスに、ゲートキーピングモジュール又はチップを統合し、また、上述の機能（ステップ１００２～１００４）は、同一システムのサブシステム及び他の受信機の入力及び出力を制御するマルチ受信機システム内の１のマイクロフォン又は他の受信機ための手段を提供することに関する機能は、デカップルされたデバイス内に実装されていてもよく、該デカップルされたデバイスは、常時聴取システムのデバイスのソフトウェア又はハードウエアを直接的に修正すること無しに、該デカップルされたデバイスの追加の前にシステムに存在しない追加の機能を提供するために、既存の常時聴取システム内に導入されることができる。

図１１は、セキュアな常時聴取機能を提供するために既存の聴取デバイス１１５０に取り付けられることができるデカップルされたゲートキーピングアクセサリを示す。

既存の聴取デバイス１１５０は、例えば、電話機のオペレーティングシステムに組み込まれたマイクロフォン及び支援音声検索を有する携帯電話であってもよく、又は、ＡｍａｚｏｎのＥｃｈｏ又はＧｏｏｇｌｅのホームデバイスといった、商業的に入手可能で予め設定されたデジタルアシスタントであってもよい。

アクセサリ１１００は、既存のデバイス１１５０の外部ポートに差し込むように構成されており、例えば、既に説明されたマイクロフォン２００及びゲートキーピングモジュール２０１と、外部ポートに適合するように構成された入出力結合リンク１１０５とを含んでもよい。

好ましい実施例では、入出力結合リンク１１０５は、デバイス１１５０の３．５ｍｍジャック（伝統的な「ヘッドフォン」ジャック）に差し込むために適切なケーブルであってもよい。他の実施例では、入出力結合リンク１１０５は、ケーブルであってもよく、該ケーブルは、別の接続プロトコル又はケーブル終端タイプを使用しており、（限定されるものではないが）ＵＳＢ（ユニバーサルシリアルバス、タイプＡ、Ｂ、Ｃ、「ミニ」又は「マイクロ」）、ＨＤＭＩ（登録商標）（高品位マルチメディアインターフェース）、ＶＧＡ、ＤＶＩ（デジタルビジュアルインターフェース）、Ｆｉｒｅｗｉｒｅ（登録商標）、又はデータバス、物理ケーブル接続タイプ、及び／若しくはデータの送受信のための関連するプロトコルの他の形式といったものである。さらに他の実施例では、入出力結合リンク１１０５は、無線送信機を含み、また無線で接続を確立してもよく、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＷｉＦｉ、ＮＦＣ（近距離無線通信）、又は他の接続を介するものである。アクセサリ１１００は、アクセサリが複数の異なるタイプの既存の聴取デバイス１１５０と一緒に機能することを可能にするために、複数の入出力結合リンク１１０５を備えてもよい。同様に、アクセサリは、新しい入出力結合リンク１１０５の取り外し及び挿入が、まだ発明されていない外部ポートタイプ又は通信プロトコルを介して、新しく開発された既存の聴取デバイス１１５０と一緒に動作することを可能にし、しかし、そのためには、接続が、一端に新しい外部リンクタイプ及び他端に慣れ親しんだ外部リンクタイプのアクセサリ１１００を持つケーブル、又は無線送信機へのソフトウェア更新のいずれかによって、確立される。

既存のデバイス１１５０は、１又は複数のシステムＡＰＩｓを有することができ、該システムＡＰＩｓは、電子通信が、デバイス１１５０の聴取機能を直接的に無効にする（例えば、携帯情報端末アプリケーション自体へのコマンドを発行して、実行を休止し、終了し、又は聴取を一時的に若しくは再有効化等のためにコマンドが発行されるまで停止する、等）、又はデバイス１１５０の聴取機能を間接的に無効にする（例えば、オペレーティングシステムレベルで、デバイス１１５０のマイクロフォン又は他の受信機をターンオフにする、又はアプリ許可はマイクロフォンにアクセスすることを無効にする、等）ことを可能にする。同様に、システムＡＰＩｓは、システム又はアプリケーション機能の再有効化を可能にしてもよく、又は、デバイス１１５０の聴取機能の動作のための構成データ又は他のルールが修正されることを可能にしてもよい。

マイクロフォン２００によって把握され聴取を停止するユーザコマンドに応答して、ゲートキーピングモジュール２０１は、デバイス１１５０のオペレーティングシステムによって又はデバイス１１５０のソフトウェアによって受信するために、ＡＰＩコマンドが入出力結合リンク１１０５を介して送信されることを生じさせ、デバイス１１５０は、携帯情報端末機能を提供しており、ＡＰＩに従う処理が、デバイス１１５０による更なる聴取を終了する（又は不可能にする）。結果的に、セキュリティは、アクセサリ１１００によって補強され、聴取を再び有効にするＡＰＩコマンドは、デバイス１１５０自体のリスニングソフトウェアによっては送信されず、アクセサリ１１００によってのみであり、アクセサリ１１００は、リンク１１０５によってリンクされたままであり、またユーザがアクセサリ１１００と相互作用すると共にデバイス１１５０の機能の再有効化を直接的又は暗黙的に要求する場合にのみ、アクセサリ１１００は、再有効化するＡＰＩコマンドを送信する。

ユーザは、デバイス１１５０を疑うことができ、秘密の点でそれ自身を再有効化にすることを拒絶する、又はデバイス１１５０にＡＰＩコールを送信するデバイス又は他のエージェントによってハッキング不可能なＡＰＩを有する。これに従って、デバイス１１５０に信頼を置かないデカップルされたデバイスの使用が、以下に説明されるように、好ましい場合がある。

図１２Ａ、図１２Ｂ、及び図１２Ｃは、確実な常時聴取機能を提供するのを補助するために、デカップルされた防音キャップ又は他の方法の絶縁障壁を描く。

キャップ１２００（これは、アクセサリ１１００と同様に、少なくとも、受信機２００及びゲートキーピングモジュール２０１を含む）は、キャップ１２００がデバイス１１５０の第２受信機１２５０を覆い隠す又は干渉するように、独立して常時聴取デバイス１１５０に付けられてもよい。

一実施例（図１２Ａに示される）では、キャップ１２００は、第２受信機１２５０のみを覆い隠す又は阻止するために必要とされるように、デバイス１１５０の外面の最小部分を覆うようにしてもよく、デバイスの残りの部分に影響を与えることない。例えば、図示のように、携帯電話１１５０のカメラ１２５０は、携帯電話１１５０の他の機能を著しく妨げることなくキャップ１２００によって覆われてもよい。別の実施例（図１２Ｂに描かれる）では、キャップ１２００は、デバイス１１５０の実質的な部分を囲むスリーブ又はカバーであってもよく、一方で、デバイス１１５０の少なくとも一部の面は、露出されたままであってもよい。例えば、図１２Ｂに表示されるように、スリーブ１２００は、携帯電話１１５０の上部全体を覆って収まる。第３実施例（図１２Ｃに描かれる）では、キャップ１２００は、デバイス１１５０を完全に囲むコンテナであってもよい。

好ましい実施例では、キャップ１２００は、デバイス１１５０の受信機１２５０が、少なくとも１形態のユーザ入力を受信することを完全に絶縁する。この絶縁は、マイクロフォンの周りに防音バリアを、或いは、カメラ又は他の光学センサを覆う不透明なバリアを、信号の伝送を防ぐために無線受信機を覆うファラデイケージ、等を生成する形式をとることができる。防音は、無制限の例示として、以下の形式を取ることができる：防音材を用いて直接に阻止する；音響キャンセル（到達する音を破壊的に干渉する波形を生成する）を介して；又は大きなノイズ、ホワイトノイズ、その他のランダム、若しくは疑似ランダムノイズを介して到達する音に干渉させることを不完全に介して。

キャップ１２００の受信機２００は、ブロックされた受信機１２５０と同じタイプであることができ、例えば、マイクロフォンへの音を阻止しながら１又は複数の無方向性マイクロフォンを含む、又はカメラ若しくは光センサによって受信されることから光を阻止する一方でカメラを含む。代替的に、受信機２００は、異なるタイプであってもよく、キャップ１２００は、マイクロフォン２００及びゲートキーピングモジュール２０１を介してユーザの言葉による制御を可能にしながら、カメラを同時に阻止するために使用され、或いは、カメラ２００及びゲートキーピングモジュール２０１を介してユーザのジェスチャ制御を可能にしながら、マイクロフォンを阻止するために使用される。

キャップ１２００は、受信機１２５０によって認識から阻止された入力に対応すると共にキャップ１２００内に置かれる出力システムを有することができる。これ故に、出力システムは、受信機２００によって受信された音、ビデオ、又は他のデータを、キャップ２００内の受信機１２５０に、選択的に再送するために使用されてもよい。

例えば、キャップ１２００は、以下の３つの動作モードを有することができる：受信機１２５０がデータを受信しないことを可能にする（キャップによって達成されるデフォルト状態）；受信機１２５０が全てのデータを受信することを可能にする（例えば、マイクロフォン２００を用いてオーディオデータを受信し、次にキャップ内のスピーカを介して受信データを再生成することによって）；又はデバイス１１５０によって使用されるものとは別のウエイクアップ語／句／ジェスチャ／入力が先行する場合にのみ、受信機１２５０にデータを渡す。第２ウエイクアップ入力が提供される場合、データは、ある期間（例
えば、次のユーザコマンドがデバイス１１５０によって実行されてしまうまで、１分が経過してしまうまで、他の所定の時間が経過してしまうまで、等）或いは、別の基準（例えば、ある特定の話題について論じている言葉による入力のみを通過させ、特定の話者による言葉による入力のみを通過させ、人が話していないときにはオーディオデータのみを通過させ、等）に基づき、ユーザがどのデータデバイス１１５０にアクセスできるかに対してより高度に制御することを可能にする。

キャップ１２００は、また、デバイス１１５０の電源コードが差し込まれる電源ソケットを有してもよく、又は、電力を供給するためにデバイス１１５０に差し込むキャップ独自の内部ケーブル（例えば、ＵＳＢケーブル）を有してもよい。これに従えば、ゲートキーピングモジュール２０１は、デバイスの電源供給を停止し又は再供給するために、これら又は他の手段（限定されるものではないが、電源を切断すること、電源ボタン又はスイッチを作動させること、又はデバイスのＡＰＩに関与すること、を含む）を使用することができる。

キャップ１２００のゲートキーピングモジュール２０１は、独立のＮＬＰプロセッサ又は他のプロセッサを有してもよく、該ＮＬＰプロセッサ又は他のプロセッサは、解析及び情報提供のために（例えば、家中のスマート機器を制御するために、又はリマインダを検索し及び格納するために）遠隔サーバ２０３に送信する必要なしに、ユーザ入力に支援の応答を提供する能力を有する。ゲートキーピングモジュール２０１は、また、分析のために、入力として表されたユーザ意図の充足のために、又は格納されたデータを更新するために、遠隔サーバ２０３とは異なるサーバコンピューティングデバイスに送信するように構成されてもよい。例えば、デバイス１１５０が特定のプライベートベンダーによって操作されたサーバに送信するようにプログラムされている場合、キャップ１２００は、ユーザ入力データの一部又は全てのプライバシーを保護するために、代替ベンダーによって操作されたサーバ又はユーザ自身によって操作されるサーバに入力をリダイレクトする（出力先を変更する）ために使用されてもよい。

キャップ１２００は、リンク１１０５を含むアクセサリ１１００の機能の全て又は一部を備えてもよく、それにより、デバイス１１５０の受信機を阻止する又は提供するだけでなく、データを直接にデバイス１１５０に送信することもできる。これに従って、キャップ１２００は、リンク１１０５を介して受信した情報を次に回すために、又はリンク１１０５を介して広告を再生するために、デバイス１１５０のスピーカ若しくはスクリーン、又はデバイス１１５０に関連付けられたもの（例えば、遠隔スピーカ、又はデバイス１１５０がコンテンツをキャスティングしているスクリーン）を使用することができ、それにより、キャップ１２００は、それ自体のスピーカ又はスクリーンを必要としないようにできる。キャップ１２００は、また、広告又は他のコンテンツを遠隔サーバから検索して表示するために使用されてもよく、（単独で、又はデバイス１１５０を介して）、それらの広告を、デバイス１１５０によって提供された広告に加えて又はその代わりに、再生する。

図１３は、ユーザの発生されたネットワークトラフィックの一部を代替の宛先に選択的に迂回しながら、セキュアで常時聴取な機能を提供するためのデカップルされたネットワークデバイスを含むシステムを示す。

常時聴取デバイス１１５０は、リモートクラウドベースのサーバ２０３にのみネットワークパスを介して接続するように構成されることができ、ネットワークパスは、必然的に／排他的に、特定のアクセスポイント１３００を通過しており、該特定のアクセスポイントは、例示として、無線ルータ、テザリングを持つホットスポットを提供するモバイルコンピューティングデバイス、無線信号リピータ、セットトップボックス、デスクトップコンピュータ又は他のコンピューティングデバイス、ネットワークファイアウォール、ネットワークスイッチャ／マルチプレクサ／デマルチプレクサ、或いはケーブルモデム、電話モデム、又はサテライト若しくは他のモデムといったものである。

アクセスポイント１３００は、デバイス１１５０のユーザによって受信された１又は複数のコマンド、又はユーザによって受信された入力データを解釈するための規程に基づき、以下のいずれかを行うことができる：常時聴取デバイス１１５０によって送信されたデータの一部又は全部の通路が外部ネットワーク及び遠隔デバイス２０３に到達することを妨げる；或いは、デバイス１１５０によって送信されたデータのサブセットを遠隔デバイス２０３へ、の代わりに、別個のサーバ１３５０へリダイレクトする（出力先を変更する）。

例えば、ユーザは、ゲートキーピングモジュール２０１を含む携帯電話１３００によって提供されたホットスポットを介してのみインターネットに接続するようにデバイス１１５０を構成してもよい。次に、ユーザは、モバイルアプリをダウンロードしてインストールすることができ、該モバイルアプリは、ゲートキーピングモジュール２０１を使用して、デバイス１１５０の機能を無効にし又は再び有効にする音声コマンドをユーザが自分の電話に与えることを可能にし、このデバイス１１５０は、データがゲートキーピングモジュール２０１を通過すること無しに、外部ネットワークからデータを送受信できない。

アクセスポイント１３００は、広告サーバ１３５０に連絡を取ることができて、コンテキスト、ユーザターゲット、又は他の広告を検索すると共にそれらをデバイス１１５０のユーザに提供する。代替的に、アクセスポイント１３００は、遠隔サーバ２０３又は別のサーバからデバイス１１５０に配信されたであろうと共にデバイス１１５０によって表示されたであろう広告を傍受すると共に、削除し又は置換してもよい。アクセスポイント１３００は、また、初期設定のベンダーの代わりに、テキスト検索といったサービスのための別のベンダーを選択するために使用されてもよい。

アクセスポイント１３００は、デバイス１１５０によるユーザ入力データの伝送にわたって時間ベースの制御を実施するために使用されてもよい。例えば、アクセスポイント１３００は、毎晩の特定の時刻から毎朝の特定の時刻まで、パーティのようなソーシャルイベントの持続期間に、ユーザが特定の活動に従事している若しくは特定のコンテンツを消費している期間に、又はユーザが聴取を停止するためにコマンドを発行した後の事前定義又はユーザ定義の期間に、ユーザ入力データの伝送を防止するように使用されることができる。

アクセスポイント１３００は、また、特定のユーザ入力データのフィルタ処理を実施するために使用されてもよい。例えば、アクセスポイント１３００は、意図的なユーザコマンドを含まない全てのデータ、意図的なユーザコマンドを含む全てのデータ、特定のユーザからの入力を表す全てのデータ、特定のユーザ以外の人からの入力を表す全てのデータ、特定のトピックに関する全てのデータ、特定のトピックに関係のない全てのデータ、特定のアプリケーション（カレンダーアプリ、ウェブブラウザ、テキストメッセージングアプリ、等）によって処理された全てのデータ、等をフィルタ処理するために使用されてもよい。

アクセスポイント１３００の特徴は、また、キャップ１２００及び／又はアクセサリ１１００（例えば、コンピューティングデバイスのセンサを覆い隠しながら、コンピューティングデバイスからのネットワークトラフィックを選択的又は完全にリダイレクトし／置き換えるキャップ、又はコンピューティングデバイスからのネットワークトラフィックを選択的又は完全にリダイレクト／置き換えるプラグインアクセサリ）に組み込まれることができる。

上述のデカップルされたデバイスの結果として、ユーザは、デバイス１１５０によって把握されたユーザ動作及びデータへアクセスする誰かにわたって、及びデバイス１１５０のメーカー又は該デバイス上で実行されているソフトウェアのプログラマを信頼する必要なしに、追加の制御を提供することができる。

本発明の様々な実施例の説明は、例示の目的のために提示されており、しかし、該説明が開示の実施例を限定すること及び網羅することは、意図されていない。多くの修正及び変形は、記載された実施例の範囲及び意図から離れることなく、当業者に明らかであろう。ここで使用される用語は、実施例の原理、市場に見られる技術よりも実用的な応用、又は技術的改善を最も良く説明するために、又は当業者の他の者が本明細書に開示された実施例を理解できるようにするために選択された。

本発明は、いかなる技術的詳細レベルの統合において、システム、方法、及び／又はコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、プロセッサに本発明の態様を実行させるための、コンピュータにより読み取り可能なプログラム命令を有するコンピュータにより読み取り可能な記憶媒体（つまり、媒体）を含み得る。

コンピュータにより読み出し可能な記憶媒体は、命令実行デバイスによって使用される命令を保持すると共に記憶することができる有形デバイスであってもよい。コンピュータにより読み出し可能な記憶媒体は、限定されるものではないが、例えば、電子記憶デバイス、磁気記憶デバイス、光記憶デバイス、電磁気記憶デバイス、半導体記憶装置、又は前述の任意の適切な組み合わせであってもよい。コンピュータにより読み出し可能な記憶媒体の、より具体的な例の非網羅的なリストは、以下のものである：ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスク読出し専用メモリ（ＣＤ－ＲＯＭ）、ディジタルバーサタイルディスク（ＤＶＤ）、メモリスティック、フロッピー（登録商標）ディスク、記録された命令を有する溝内における盛り上がり構造、又はパンチカード、といった機械的に符号化されたデバイス装置、及び上記の任意の適切な組み合わせを含む。本明細書において使用されるような、コンピュータにより読み取り可能な記憶媒体は、正確な意味では、電波若しくは他の自由に伝搬する電磁波、導波路若しくは他の伝送媒体（例えば、光ファイバケーブルを通過する光パルス）を介して伝搬する電磁波、又はワイヤを介して伝送される電気信号といった一時的な信号であると解釈されるべきではない。

本明細書に説明されたコンピュータにより読み取り可能なプログラム命令は、コンピュータ読み取り可能な記憶媒体から、それぞれのコンピューティング／プロセッシングデバイスに、ネットワーク、例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク及び／又は無線ネットワークを介して、ダウンロードされることができる。ネットワークは、銅線伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ及び／又はエッジサーバを含むことができる。各コンピューティング／プロセッシングデバイス内のネットワークアダプタカード又はネットワークインタフェースは、コンピュータにより読み出し可能なプログラム命令をネットワークから受け取って、それぞれの演算／処理装置内のコンピュータにより読み取り可能な記憶媒体に記憶するために、コンピュータ可読プログラム命令を転送する。

本発明の動作を実行するためのコンピュータ読み取り可能なプログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路のための構成データ、又は１若しくは複数のプログラミング言語の任意の組み合わせで書かれたソースコード若しくはオブジェクトコードのいずれかであることができ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋といったオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語又は類似のプログラミング言語といった手続き型プログラミング言語を含む。コンピュータにより読み出し可能なプログラム命令は、全体的にはユーザのコンピュータ上で、スタンドアロンソフトウェアパッケージとして部分的にはユーザのコンピュータ上で、部分的にはユーザのコンピュータ上及び部分的にはリモートコンピュータ上で、又は全体的にはリモートコンピュータ若しくはサーバ上で、実行されることができる。後者のシナリオでは、遠隔コンピュータは、ローカルエリアネットワーク（ＬＡＮ）又は広域ネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータに接続されてもよく、又はこの接続は、例えば、インターネットサービスプロバイダを用いてインターネットを介して）外部コンピュータに為されてもよい。いくつかの実施例では、本発明の態様を実行するために、例えば、プログラマブル論理回路、フィールドプログラマブルゲートアレイ、又はプログラマブル論理アレイを含む電子回路は、コンピュータにより可読なプログラム命令の状態情報を利用して電子回路をパーソナライズすることによって、コンピュータにより可読なプログラム命令を実行することができる。

本発明の態様は、本発明の実施例に従う、方法、デバイス（システム）、及びコンピュータプログラム製品のフローチャートの例示及び／又はブロック図を参照して本明細書に記載される。以下のことが理解されるであろう：フローチャートの例示及び／又はブロック図の各ブロック、並びにフローチャートの例示及び／又はブロック図におけるブロックの組み合わせは、コンピュータ読み取り可能なプログラム命令によって実施されること。

コンピュータにより可読なこれらのプログラム命令は、汎用コンピュータ、特定目的のコンピュータ、又は他のプログラム可能なデータ処理装置のプロセッサに提供されて、コンピュータ又は他のプログラム可能データ処理装置のプロセッサを介して実行された命令が、フローチャート及び／又はブロック図のブロック又は複数のブロックにおいて指定された機能／動作を実現する手段を作成するように、マシンを生成できる。これらのコンピュータにより可読なプログラム命令は、コンピュータ読み取り可能な記憶媒体に記憶されてもよく、該記憶媒体は、コンピュータ、プログラム可能なデータ処理装置、及び／又は他の装置を指示して特定の方法において機能させることができ、そのようにして、内部に記憶された命令を有するコンピュータ読み取り可能な記憶媒体は、フローチャート及び／又はブロック図の一若しくは複数のブロックに指定された機能／アクトの態様を実施する命令を含む製造物を含む。

コンピュータにより可読プログラム命令は、コンピュータ、他のプログラマブルデータ処理装置、又は他のデバイスにロードされて、コンピュータ、他のプログラマブル装置又は他の装置に一連の動作ステップを実行させて、コンピュータ、他のプログラマブルデバイス、又は他のデバイス上で動作する命令が、フローチャート及び／又はブロック図の一若しくは複数のブロックに指定された機能／アクトを実施するように、コンピュータに実装されたプロセスを生成するようにしてもよい。

図中のフローチャート及びブロック図は、本発明の様々な実施例によるシステム、方法、及びコンピュータプログラム製品の可能な実施例のアーキテクチャ、機能性、及び動作を示す。この点に関して、フローチャート又はブロック図における各ブロックは、モジュール、セグメント、又は命令の一部を表すことができ、モジュール、セグメント、又は命令の一部は、指定された論理機能を実装するための１又は複数の実行可能命令を含む。一部の代替実施では、ブロックに言及された機能は、図面に言及された順序から外れる場合がある。例えば、連続して示される２つのブロックは、実際には、実質的に同時に実行されてもよく、又は、該ブロックは、関与する機能に応じて、時には、逆の順序で実行されてもよい。また、以下の事項に留意する：ブロック図及び／又はフローチャート例示の各ブロック、及びブロック図及び／又はフローチャート例示のブロックの組み合わせは、特定の目的のハードウェアベースのシステムによって実現されることができ、該システムは、特定の機能又はアクトを実行する、又は特定の目的のハードウエア及びコンピュータ命令の組み合わせを実行する。

ＡＳＲ自動音声認識
ＮＬＰ自然言語処理
１０、２０、３０、４０インターフェース
１１トグル
３１、１００ボタン
４１タブ
４２ウエイクアップ句
１０１、２００、３００マイクロフォン
１０３コンポーネント
１０４クラウドサーバ
１０５スピーカ
２００、２０６、１２５０受信機
２００、１２００キャップ
２００、１２５０カメラ
２０１ゲートキーピング機能
２０１プリプロセッサ
２０１、３０１、４０１、４０２ゲートキーピングモジュール
２０２一次プロセッサ
２０２通信コンポーネント
２０２、３０２通信モジュール
２０３サーバ
２０３クラウドコンピューティングサーバ
２０３遠隔クラウドコンピューティングユニット
２０３遠隔サーバ
２０３遠隔デバイス
２０５、３０５電源
２０７ローカルサーバ
３０２一次プロセッサ無線送受信機
３０３遠隔サーバデバイス
３０４スピーカ
３０６一次プロセッサ
１１００アクセサリ
１１０５入出力結合リンク
１１０５リンク
１１５０、１３００携帯電話
１１５０常時聴取デバイス
１２００スリーブ
１３００アクセスポイント
１３５０広告サーバ

Claims

常時聴取可能なコンピューティングデバイスであって、
ビデオデータを記録するように構成された、第1の電子センサと、
遠隔サーバにデーモジュールと、
プロセッサに実装され、以下のように構成されるゲートキーピングモジュールとを備え、前記ゲートキーピングモジュールは、
ゲートキーピング機能を有効にし、ゲートキーピング機能が有効である間、前記第1の電子センサによって記録されたビデオデータは、前記ゲートキーピングモジュールを通して通信モジュールに渡らないようにし、
前記第1の電子センサからの専用入力リードを介して、前記ビデオデータを受信し、
前記第1の電子センサによって記録された前記ビデオデータが第1の入力コンテンツを含むと判定し、
前記ビデオデータが前記第1の入力コンテンツを含むと判定したことに応答して、所定の時間、前記ゲートキーピング機能を無効とし、ゲートキーピング機能が無効である間、前記第1の電子センサによって記録されたビデオデータがゲートキーピングモジュールを通過して前記通信モジュールに到達し、前記通信モジュールがビデオデータを前記遠隔サーバに送信することを可能にし、
前記所定の時間経過後にゲートキーピング機能を再有効化する、
常時聴取可能なコンピューティングデバイス。
前記第1の電子センサは、1つまたはそれ以上の電力入力リードと、前記ゲートキーピングモジュールへの1つまたはそれ以上のデータ出力リードとを含み、
前記第1の電子センサは、前記常時聴取可能なコンピューティングデバイスの、他のコンポーネントからの入力リードまたは他のコンポーネントへの出力リードを含まない、請求項1に記載の常時聴取可能なコンピューティングデバイス。
前記ゲートキーピングモジュールは、1つまたはそれ以上の電源入力リードを備える、請求項1に記載の常時聴取可能なコンピューティングデバイス。
２またはそれ以上ゲートキーピングモジュールを備え、前記２またはそれ以上ゲートキーピングモジュールのうちの第1のゲートキーピングモジュールは、前記２またはそれ以上ゲートキーピングモジュールのうちの第2のゲートキーピングモジュールによって有効または無効にされる、請求項1に記載の常時聴取可能なコンピューティングデバイス。
第2の電子センサを備え、
前記ゲートキーピングモジュールは、前記第1の電子センサが第1のウェイクアップ入力コンテンツを受信することに応答して、前記第2の電子センサを起動し、
プロセッサは、前記第1のウェイクアップ入力コンテンツとは異なる第2のウェイクアップ入力コンテンツを含み、いずれかの電子センサによって受信された入力に応答してデータを送信する、請求項1に記載の常時聴取可能なコンピューティングデバイス。
前記ゲートキーピングモジュールは、電源が前記通信モジュールに電力供給することを防止することにより、前記通信モジュールが前記常時聴取可能なコンピューティングデバイスの外部にデータを送信することを防止するよう構成されている、請求項1に記載の常時聴取可能なコンピューティングデバイス。
前記遠隔サーバは、送信されたデータを分析して、以下の少なくとも1つを含む応答を決定するように構成される、請求項１に記載の常時聴取可能なコンピューティングデバイス。
特定された、可能性のあるユーザの欲求を実現させること、
応答を可能にするために、前記ユーザに追加情報を要請すること、
前記ユーザからの識別できないデータをアーカイブすること、および
応答情報を前記ユーザに提供すること。
前記遠隔サーバは、以下の事項の少なくとも1つを含む応答を決定するために送信されたデータを分析することに基づいて、人間ユーザによって受信するための出力を決定するように構成される、請求項1に記載の常時聴取可能なコンピューティングデバイス。
特定された、可能性のあるユーザの欲求を実現させること、
応答を可能にするために、前記ユーザから追加の情報を求めること、および
応答情報をユーザに提供すること。
前記ゲートキーピングモジュールは、以下のことを実行する、請求項1に記載の常時聴取可能なコンピューティングデバイス。
第一の時間間隔で、通信モジュールがデータを受信できるように設定すること、
第1の時間間隔より短い第2の時間間隔で、通信モジュールがすべての入ってきた無線データを受信できないようにすること、および
入ってきた無線データを受信できるように通信モジュールを再有効化すること。
２つまたはそれ以上の電子センサを含み、２つまたはそれ以上の電子センサは、マイクロフォンおよびカメラの両方を含む、請求項1に記載の常時聴取可能なコンピューティングデバイス。
前記ゲートキーピングモジュールは、以下のことを実行する、請求項1に記載の常時聴取可能なコンピューティングデバイス。
人間の可聴域外の周波数帯域でメッセージが再生されていると判定すること、および
メッセージが再生されていることを人間のユーザに警告すること。
常時聴取支援応答を提供するためにコンピューティングデバイスに実装される方法であって、
ゲートキーピングモジュールによって、ゲートキーピング機能を有効にし、ゲートキーピング機能が有効である間、第1の電子センサから受信したビデオデータがゲートキーピングモジュールを通って通信モジュールに到達しないようにすること、
第1の電子センサを経由して、ビデオデータを記録すること、
前記ゲートキーピングモジュールによって、専用の入力リードを介して、前記第1の電子センサから前記ビデオデータを受信すること、
前記第1の電子センサによって記録されたビデオデータが、第1の入力コンテンツを含むと判定すること、および
前記ビデオデータが前記第1の入力コンテンツを含むと判定したことに応答して、ゲートキーピング機能を所定の時間無効にし、ゲートキーピング機能が無効である間、ビデオデータは前記ゲートキーピングモジュールを通って前記通信モジュールに到達し、通信モジュールが前記ビデオデータを遠隔サーバに送信することを許可し、前記所定の時間経過後に、ゲートキーピング機能を再有効化すること、
を含む、方法。
前記ユーザ入力は、複数のユーザからの表情、ジェスチャーまたは発話を含む、請求項12に記載の方法。
第1のウェイクアップフレーズに続いて取り込まれたユーザ入力を送信した後、ユーザに、ウェブページの一部、事実、計算、マーケティング支援、主題に関連する時間限定可能な広告、音楽、第三者からのリアルタイム通信を含むデータストリーム、またはアクションが実行されたことの通知のいずれかを表示することを含む、請求項12に記載の方法。
前記コンピューティングデバイスは、会話状態を追跡し、ユーザの欲求を満たすより適切な情報を決定するために、1つまたは複数の明確なクエリをユーザに促す、請求項12に記載の方法。
ユーザに関連するリモートデータストアを無言で更新させることを含む、請求項12に記載の方法。
前記ゲートキーピングモジュールは、デジタルパーソナルアシスタント（ＰＤＡ）システムに組み込まれ、
前記デジタルパーソナルアシスタントシステムの電子センサは、ウェイクアップ発話またはジェスチャが前記ゲートキーピングモジュールによって処理されるまで、無効にされ、
前記第1の入力コンテンツは、デジタルパーソナルアシスタントシステムを起動するために用いられるように予め構成された第2の入力コンテンツとは異なるものである、請求項12に記載の方法。
前記デジタルパーソナルアシスタントシステムは、ユーザ入力を受信するように構成された電子センサを電源オフにすることを介して無効化される、請求項17に記載の方法。
前記デジタルパーソナルアシスタントシステムは、前記デジタルパーソナルアシスタントシステムへのデータの伝送を防止する前記ゲートキーピングモジュールを介して無効にされる、請求項17に記載の方法。
前記第1の電子センサが、1つまたはそれ以上の電力入力リードと前記ゲートキーピングモジュールへの1つまたはそれ以上のデータ出力リードとを備え、前記第1の電子センサが、前記コンピューティングデバイスの他のコンポーネントからの入力リードまたは他のコンポーネントへの出力リードを備えない、請求項12に記載の方法。
前記第1の電子センサが第1のウェイクアップ入力を受信することに応答して、ゲートキーピングモジュールを介して第2の電子センサを作動させることと、
前記第2の電子センサによって受信された、前記第1のウェイクアップ入力とは異なる第2のウェイクアップ入力を含む入力に応答して、データを送信することを含む、請求項12に記載の方法。
前記ゲートキーピングモジュールは、電源が前記通信モジュールに電力を供給することを防止することによって、前記通信モジュールが前記コンピューティングデバイスの外部にデータを送信することを防止するように構成されている、請求項12に記載の方法。
遠隔サーバが、送信されたデータを分析し以下の少なくとも1つの事項を含む応答を決定することに基づいて、人間のユーザによって受信されるための出力を決定することをさらに含む、請求項12に記載の方法。
特定された、可能性のあるユーザの欲求を実現させること、
応答を可能にするために、前記ユーザに追加情報を要請すること、または
応答情報を前記ユーザに提供すること。
第1の時間間隔にわたって、通信モジュールがデータを受信できるようにすること、
第1の時間間隔より短い第2の時間間隔にわたって、前記通信モジュールがすべての着信無線データを受信するのを無効にすること、および
前記通信モジュールが無線データを受信するのを再有効化すること、
を含む請求項12に記載の方法。
ビデオデータおよびオーディオデータの両方が記録される、請求項12に記載の方法。
人間の可聴域外の周波数帯域でメッセージが再生されていると判定することと、
前記メッセージが再生されていることを人間のユーザに警告すること、
を含む請求項12に記載の方法。
常時聴取型のコンピューティングデバイスのための、切り離されたアクセサリであって、
発話またはジェスチャーを含むユーザ入力を記録するように構成された第1の電子センサと、
前記常時聴取型のコンピューティングデバイスへのデータ接続と、
プロセッサに実装されたゲートキーピングモジュールであって、以下のことを実行するゲートキーピングモジュールとを備える、アクセサリ。
前記第1の電子センサからの専用入力リードを介して、第1のユーザ入力を受信すること、
前記第1のユーザ入力が第1の命令を含むという判定に基づいて、
ゲートキーピング機能を有効にし、前記ゲートキーピング機能が有効であるとき、前記ゲートキーピングモジュールが、前記第1の電子センサから受信したデータが前記ゲートキーピングモジュールを通過するのをブロックすること、
前記データ接続を通して前記常時聴取型のコンピューティングデバイスに、専用出力リードを介して、前記常時聴取型のコンピューティングデバイスの機能を無効にする命令を含む第1のメッセージを送信すること、および
前記第1の電子センサから前記専用入力リードを介して、第2のユーザ入力を受信すること、ならびに
前記第2のユーザ入力が第2の命令を含むと判定されたことに基づいて、
前記ゲートキーピング機能を無効にし、前記ゲートキーピング機能が無効にされたときに、前記ゲートキーピングモジュールは、前記第1の電子センサから受信したデータが前記ゲートキーピングモジュールを通過することを可能にし、
前記専用出力リードを介して、前記データ接続を通して前記常時聴取型のコンピューティングデバイスに前記常時聴取型のコンピューティングデバイスの機能を再び有効にするための命令を含む第2のメッセージを送信すること。
前記第1の電子センサが、1つまたはそれ以上の電力入力リードと、ゲートキーピングモジュールへの1つまたはそれ以上のデータ出力リードとを備え、前記第1の電子センサが、前記アクセサリの他のコンポーネントまたは前記コンピューティングデバイスの他のコンポーネントからの入力リードまたはそれへの出力リードを備えない、請求項27に記載のアクセサリ。
前記ゲートキーピングモジュールは、1つまたはそれ以上の電源入力リードを含む、請求項27に記載のアクセサリ。
前記コンピューティングデバイスへのメッセージは、前記コンピューティングデバイスの機能を無効化または再有効化する命令を含む、請求項28に記載のアクセサリ。
前記コンピューティングデバイスへのデータ接続はケーブルを含む、請求項27に記載のアクセサリ。
前記ケーブルは、前記コンピューティングデバイスの3.5mmジャックに入るように構成されている、請求項31に記載のアクセサリ。
前記ケーブルは、前記コンピューティングデバイスのUSB（Universal Serial Bus）ポートに入るように構成されている、請求項31に記載のアクセサリ。
前記ケーブルは、前記コンピューティングデバイスのHDMI（登録商標）（High-Definition Multimedia Interface）ポートに入るように構成されている、請求項31に記載のアクセサリ。
前記メッセージは、前記コンピューティングデバイスのオペレーティングシステムによって提供されるAPI（アプリケーションプログラミングインターフェース）に従ってフォーマットされている、請求項27に記載のアクセサリ。
前記メッセージは、前記コンピューティングデバイスによって実行されるアプリケーションによって提供されるAPIに従ってフォーマットされている、請求項27に記載のアクセサリ。
方法であって、
常時聴取型のコンピューティングデバイスのポートに接続されたアクセサリデバイスのゲートキーピングモジュールによって、ゲートキーピング機能を有効にすることであって、ここにおいて、前記ゲートキーピングモジュールへのデータ入力は、前記アクセサリデバイスに関連する第1の電子センサから専用入力リードを介して受信され、前記ゲートキーピングモジュールから出力されたデータは、専用出力リードを介して、前記常時聴取型のコンピューティングデバイスのポートに送信され、
前記ゲートキーピング機能が有効であるという判定に基づいて、前記常時聴取型のコンピューティングデバイスに関連する1つまたは複数の第2の電子センサを無効にすることと、
前記ゲートキーピングモジュールによって、前記専用入力リードを介して第1の電子センサから、第1のユーザ入力を受信することと、
前記第1のユーザ入力が前記ゲートキーピング機能を無効にするとの決定に応答して、前記ゲートキーピングモジュールによって、前記専用出力リードを経由して前記常時聴取型のコンピューティングデバイスの前記ポートに、前記常時聴取型のコンピューティングデバイスと関連する1つまたは複数の第2の電子センサを再度有効にすることと、
を含む方法。
前記第1の電子センサは、1つまたはそれ以上の電力入力リードと前記ゲートキーピングモジュールへの1つまたはそれ以上のデータ出力リードとを備え、前記第1の電子センサは、前記アクセサリの他のコンポーネントまたは前記コンピューティングデバイスからの入力リードまたはそれへの出力リードを備えていない、請求項37に記載の方法。
前記ゲートキーピングモジュールは、1つまたはそれ以上の電力入力リードを含む、請求項37に記載の方法。
前記ゲートキーピング機能を有効化または無効化することは、前記コンピューティングデバイスの機能を無効化または再有効化するための命令を含む、請求項37に記載の方法。
前記命令は、前記コンピューティングデバイスのオペレーティングシステムによって提供されるAPI（アプリケーションプログラミングインターフェース）に従ってフォーマットされている、請求項40に記載の方法。
前記命令は、前記コンピューティングデバイスによって実行されるアプリケーションによって提供されるAPIに従ってフォーマットされている、請求項40に記載の方法。
前記ゲートキーピングモジュールが、前記ゲートキーピングモジュールを前記コンピューティングデバイスに接続するためのケーブルを含む、請求項37に記載の方法。
前記ケーブルは、前記コンピューティングデバイスの3.5mmジャックに入るように構成されている、請求項43に記載の方法。
前記ケーブルは、コンピューティングデバイスのUSB（Universal Serial Bus）ポートに入るように構成されている、請求項43に記載の方法。
前記ケーブルは、前記コンピューティングデバイスのHDMI（登録商標）（High-Definition Multimedia Interface）ポートに入るように構成されている、請求項43に記載の方法。
常時聴取型のコンピューティングデバイスのための、切り離されたセキュリティキャップであって、
発話またはジェスチャーを含むユーザ入力を記録するように構成された第1の電子センサと、
録音されたユーザ入力を前記常時聴取型のコンピューティングデバイスの1つまたはそれ以上のマイクロフォンに出力するように構成されたスピーカと、
前記常時聴取型のコンピューティングデバイスの1つまたはそれ以上のマイクロフォンが環境音声を受信することを防止するように構成された実質的に防音の筐体と、
プロセッサに実装され、以下のことを実行するように構成された、ゲートキーピングモジュールとを備える、切り離されたセキュリティキャップ。
前記第1の電子センサからの専用入力リードを介して、前記ユーザ入力を受信すること、
前記ユーザ入力をメモリに記録すること、
ユーザ入力が命令を含むとの判定に基づいて、
ゲートキーピング機能が無効であるとき前記第1の電子センサから受信したデータが前記ゲートキーピングモジュールを通過することを可能にし、ゲートキーピング機能が有効であるとき前記ゲートキーピングモジュールは第1の電子センサから受信したデータが前記ゲートキーピングモジュールを通過することを阻止すること、および、
前記メモリに記録されたユーザ入力の少なくとも一部を、前記スピーカへの専用出力リードを介して、前記常時聴取型のコンピューティングデバイスの前記1つまたはそれ以上のマイクロフォンに出力すること。
常時聴取型のコンピューティングデバイスのための、切り離されたセキュリティキャップであって、
発話またはジェスチャーを含むユーザ入力を記録するように構成された第1の電子センサと、
常時聴取型のコンピューティングデバイスの1つまたはそれ以上のマイクロフォンが環境音声を受信することを防止するように構成された実質的に防音の筐体と、
プロセッサに実装され、以下のことを実行するゲートキーピングモジュールとを備える、セキュリティキャップ。
前記第1の電子センサからの専用入力リードを介して、前記ユーザ入力を受信すること、
前記ユーザ入力に対する応答を、前記キャップがなければ前記コンピューティングデバイスがデータを取得したであろう第1のサーバとは異なる第2のサーバから取得すること、および前記第2のサーバから取得された応答を出力すること。
前記キャップは、前記コンピューティングデバイスが知覚できる音波を妨害する音響キャンセル音を発生させることにより、前記コンピューティングデバイスが入力を受け取ることを妨害する、請求項47または請求項48に記載のキャップ。
前記キャップは、前記コンピューティングデバイスが第1の音量より小さい第2の音量で第2の音を知覚することを妨げる第1の音量で第1の音を作り出すことによって、前記コンピューティングデバイスが入力を受け取ることを妨害する、請求項47または請求項48に記載のキャップ。
前記キャップは、前記コンピューティングデバイスによって知覚されるホワイトノイズを作り出すことによって、前記コンピューティングデバイスが入力を受け取ることを妨害する、請求項47または請求項48に記載のキャップ。
前記キャップは、前記コンピューティングデバイスによって知覚されるであろう光波に対して不透明であることによって、前記コンピューティングデバイスが入力を受け取ることを妨害する、請求項47または請求項48に記載のキャップ。
前記キャップは、前記コンピューティングデバイスによる知覚のために、受信したユーザ入力データのサブセットを再作成する、請求項47または請求項48に記載のキャップ。
前記キャップは、前記コンピューティングデバイスの実質的な表面を覆うスリーブである、請求項47または請求項48に記載のキャップ。
前記キャップは、コンピューティングデバイスを完全に取り囲む容器である、請求項47または請求項48に記載のキャップ。
前記キャップは、前記コンピューティングデバイスに電力を提供することを可能にするために前記コンピューティングデバイスに結合され、前記キャップは電力を停止することによって前記コンピューティングデバイスに干渉する、請求項47または請求項48に記載のキャップ。
切り離されたセキュリティキャップのゲートキーピングモジュールによって、常時聴取型のコンピューティングデバイスに関連する1つまたはそれ以上の第1の電子センサと干渉する方法であって、
前記ゲートキーピングモジュールによって、第2の電子センサからの専用入力リードを介して、第1のユーザ入力を受信することと、
前記第1のユーザ入力を前記セキュリティキャップのメモリに記録することと、
前記第1のユーザ入力が命令を含むことを判定することと、
前記第1のユーザ入力が命令を含むとの判定に基づき、前記切り離されたセキュリティキャップのメモリに記録された前記第1のユーザ入力を、前記切り離されたセキュリティキャップのスピーカーへの専用出力リードを介して、前記常時聴取型のコンピューティングデバイスの1つまたはそれ以上の第1の電子センサに出力することと、
を含む方法。
切り離されたセキュリティキャップのゲートキーピングモジュールによって、常時聴取型のコンピューティングデバイスに関連する1つまたはそれ以上の第1の電子センサと干渉する方法であって、
前記ゲートキーピングモジュールによって、第2の電子センサからの専用入力リードを介して、かつ、前記切り離されたセキュリティキャップが、前記1つまたは複数の第1の電子センサーが入力を受信するのを妨害することによって、常時リスニングコンピューティングデバイスに関連付けられた1つまたは複数の第1の電子センサーと干渉する間に、第1のユーザ入力を受信するステップと、
前記第1のユーザ入力を前記セキュリティキャップのメモリに記録するステップと、
前記第1のユーザ入力が発話またはジェスチャーを含むと判定するステップと、
前記第1のユーザ入力が発話またはジェスチャーを含むという判定に基づき、前記コンピューティングデバイスが前記コンピューティングデバイスのためにデータを取得したであろう第1のサーバとは異なる第2のサーバから、前記ユーザ入力に対する応答を取得するステップと、前記第2のサーバから取得された応答を出力するステップと、を含む方法。
前記切り離されたセキュリティキャップは、前記常時聴取型のコンピューティングデバイスに関連する前記1つまたはそれ以上の第1の電子センサの周囲に実質的に防音バリアを形成することによって、前記常時聴取型のコンピューティングデバイスに関連する前記1つまたはそれ以上の第1の電子センサを妨害する、請求項57または請求項58に記載の方法。
前記切り離されたセキュリティキャップは、前記常時聴取型のコンピューティングデバイスに関連する前記1つまたはそれ以上の第1の電子センサが知覚可能な音波を妨害する音響キャンセル音を生成することによって、前記常時聴取型のコンピューティングデバイスに関連する前記1つまたはそれ以上の第1の電子センサを妨害する、請求項57または請求項58に記載の方法。
前記切り離されたセキュリティキャップは、前記常時聴取型のコンピューティングデバイスに関連する前記1つまたはそれ以上の第1の電子センサが第1の音量で第1の音を作り出すことによって、前記常時聴取型のコンピューティングデバイスに関連する前記1つまたはそれ以上の第1の電子センサが前記第1の音量より小さい第2の音量で第2の音を知覚することを妨害する、請求項57または請求項58に記載の方法。
前記切り離されたセキュリティキャップは、前記前記常時聴取型のコンピューティングデバイスに関連する前記1つまたはそれ以上の第1の電子センサによって知覚されるホワイトノイズを作り出すことによって、前記常時聴取型のコンピューティングデバイスに関連する前記1つまたはそれ以上の第1の電子センサを妨害する、請求項57または請求項58に記載の方法。
前記切り離されたセキュリティキャップは、前記常時聴取型のコンピューティングデバイスに関連する前記1つまたはそれ以上の第1の電子センサよって知覚されるであろう光波に対して不透明であることによって、前記常時聴取型のコンピューティングデバイスに関連する前記1つまたはそれ以上の第1の電子センサを妨害する、請求項57または請求項58に記載の方法。
前記常時聴取型のコンピューティングデバイスによる知覚のために、前記第1の電子センサによって受信されたユーザ入力データのサブセットを再作成することを含む、請求項57または請求項58に記載の方法。
前記キャップは、前記常時聴取型のコンピューティングデバイスの実質的な表面を覆うスリーブである、請求項57または請求項58に記載の方法。
前記キャップは、前記常時聴取型のコンピューティングデバイスを完全に取り囲む容器である、請求項57または請求項58に記載の方法。
前記切り離されたセキュリティキャップは、前記常時聴取型のコンピューティングデバイスに電力を提供することを可能にするために前記常時聴取型のコンピューティングデバイスに結合され、前記切り離されたセキュリティキャップは、前記常時聴取型のコンピューティングデバイスへの電力を中断することによって妨害する、請求項57または請求項58に記載の方法。
通信モジュールを有し、共通のコンピューティングネットワーク内の常時聴取可能な第2のコンピューティングデバイスから切り離された、第1のコンピューティングデバイスであって、
プロセッサに実装されるゲートキーピングモジュールと、前記プロセッサによって実行されると、常時聴取可能な第1のコンピューティングデバイスに行わせる命令を格納する非一時的なメモリを備え、
前記ゲートキーピングモジュールは、前記第2のコンピューティングデバイスから入力されるすべてのデータを受け取るように構成された専用入力リードを有し、ゲートキーピング機能が無効化されている間、前記通信モジュールによって受信されたすべてのデータは前記ゲートキーピングモジュールを通過し、ゲートキーピング機能が有効な間、データは前記通信モジュールを通過できず、
前記命令は、
前記第2のコンピューティングデバイスから第2のサーバへの電子通信が前記第1のコンピューティングデバイスによって阻止されていなければ、前記第2のコンピューティングデバイスがデータを取得したであろう前記第2のサーバとは異なる第1のサーバから、ユーザ入力に対する応答を取得し、ここにおいて前記第2のコンピューティングデバイスから前記第2のサーバまでの一意のネットワーク経路が第1のコンピューティングデバイスを経由する、前記応答を取得することと、
前記応答を前記第2のコンピューティングデバイスに提供することと、
を含む、第1のコンピューティングデバイス。
前記第1のコンピューティングデバイスは無線ルータである、請求項68に記載の第1のコンピューティングデバイス。
前記第1のコンピューティングデバイスはワイヤレスホットスポットを提供する、請求項68に記載の第1のコンピューティングデバイス。
前記第1のコンピューティングデバイスはネットワークファイアウォールである、請求項68に記載の第1のコンピューティングデバイス。
前記第2のコンピューティングデバイスから前記第2のサーバへの一意のネットワーク経路は、前記第1のコンピューティングデバイスを通過する、請求項68に記載の第1のコンピューティングデバイス。
前記第1のサーバからの応答は、前記第1のコンピューティングデバイスのユーザをターゲットとする1つまたは複数の広告を含む、請求項68に記載の第1のコンピューティングデバイス。
前記第1のコンピューティングデバイスは、前記第2のコンピューティングデバイスから前記第２のサーバへの通信を、現在時刻に基づいて前記第1のサーバーに選択的に迂回させるように構成されている、請求項68に記載のコンピューティングデバイス。
前記第1のコンピューティングデバイスは、前記第2のコンピューティングデバイスから前記第２のサーバへの通信を有限の時間窓だけ、前記第1のサーバーに選択的に迂回させるように構成されている、請求項68に記載のコンピューティングデバイス。
前記第1のコンピューティングデバイスは、前記第1のコンピューティングデバイスによって知覚されるユーザ入力のトピックに基づいて、前記第2のコンピューティングデバイスから前記第２のサーバへの通信を前記第1のサーバーに選択的に迂回させるように構成されている、請求項68に記載の第1のコンピューティングデバイス。
前記第1のコンピューティングデバイスは、ユーザ入力の意図された受信先であった前記第2のサーバ上のアプリケーションに基づいて、前記第2のコンピューティングデバイスから前記第２のサーバへの通信を前記第1のサーバーに選択的に迂回させるように構成されている、請求項68に記載の第1のコンピューティングデバイス。
前記第1のコンピューティングデバイスは、ユーザ入力を提供するユーザの識別に基づいて、前記第2のコンピューティングデバイスから前記第２のサーバへの通信を前記第1のサーバーに選択的に迂回させるように構成されている、請求項68に記載の第1のコンピューティングデバイス。
常時聴取可能な第1のコンピューティングデバイスから切り離され、前記第1のコンピューティングデバイスと共通のコンピューティングネットワーク内にある通信モジュールを有する第2のコンピューティングデバイスを介して、前記常時聴取可能な第1のコンピューティングデバイスに情報セキュリティを提供する方法であって、
ゲートキーピングモジュールにより、専用入力リードを介して、前記第1のコンピューティングデバイスからのユーザ入力を受信することと、
ユーザの入力を記録することと、
前記第1のコンピューティングデバイスから第2のサーバへ送信される電子通信が前記第2のコンピューティングデバイスによって阻止されていなければ前記第1のコンピューティングデバイスがデータを取得したであろう前記第2のサーバとは異なる第1のサーバからユーザ入力に対する応答を取得することであって、ゲートキーピング機能が無効にされている間は前記通信モジュールによって受信されたすべてのデータが前記ゲートキーピングモジュールを通過し、ゲートキーピング機能が有効にされている間、データは前記通信モジュールを通過することができず、前記第1のコンピューティングデバイスから前記第2のサーバまでの一意のネットワークパスが前記第2のコンピューティングデバイスを通過している、前記応答を取得することと、
前記応答を前記第1のコンピューティングデバイスに提供することと、
を含む方法。
前記第2のコンピューティングデバイスは、ワイヤレスホットスポットを提供する、請求項79に記載の方法。
前記時聴取型の第１のコンピューティングデバイスから前記第2のサーバへの一意のネットワーク経路が、前記第２のコンピューティングデバイスを通過している、請求項79に記載の方法。
前記第1のサーバからの応答は、前記第1のコンピューティングデバイスのユーザをターゲットとする1つまたは複数の広告を含む、請求項79に記載の方法。
前記第1のコンピューティングデバイスは、現在時刻に基づいて、前記第2のコンピューティングデバイスから前記第２のサーバへの通信を前記第1のサーバーに選択的に迂回させるように構成されている、請求項79に記載の方法。
前記第1のコンピューティングデバイスは、前記第2のコンピューティングデバイスから前記第２のサーバへの通信を有限の時間窓だけ、前記第1のサーバーに選択的に迂回させるように構成されている、請求項79に記載の方法。
前記第1のコンピューティングデバイスは、前記第1のコンピューティングデバイスによって知覚されるユーザ入力のトピックに基づいて、前記第2のコンピューティングデバイスから前記第２のサーバへの通信を前記第1のサーバーに選択的に迂回させるように構成されている、請求項79に記載の方法。
前記第1のコンピューティングデバイスは、ユーザ入力の意図された受信先であった前記第2のサーバ上のアプリケーションに基づいて、前記第2のコンピューティングデバイスから前記第２のサーバへの通信を前記第1のサーバーに選択的に迂回させるように構成されている、請求項79に記載の方法。
前記第1のコンピューティングデバイスは、ユーザ入力を提供するユーザのアイデンティティに基づいて、第2のコンピューティングデバイスから第２のサーバへの通信を前記第1のサーバーに選択的に迂回させるように構成されている、請求項79に記載の方法。