JP6707641B2 - 定置状態の検出によってユーザおよび／または外部装置とのインタフェースを形成する装置、システムおよび方法 - Google Patents

Description

関連出願の相互参照
本願は、米国特許法第１１９条に基づき、２０１５年１２月１１日付提出の米国特許仮出願第６２／２６６４２３号（U.S. Provisional Application Serial No.62/266,423）の先の出願日の利益を主張するものであり、その全内容が、引用により、あらゆる目的に対して全体として本願に組み込まれるものとする。

技術分野
本発明は、装置の状態の検出、例えば定置状態の検出に基づいてユーザとのインタフェースを形成し、この装置の状態に基づいて応答を供給する装置および方法を含む、装置の状態を検出する装置、システムおよび方法に関する。

背景
従来のマンマシンインタフェース（例えばコンピュータユーザインタフェース）は、ユーザからの特定の命令を検出することにより動作する。当該検出は、典型的には、特定のユーザ入力を受信するように構成された入力装置を介して、ユーザが特定の入力を提示することにより行われる。最近では、ユーザの特定のジェスチャまたは音声命令の検出を、ユーザインタフェースにより、このインタフェースが受信するようプログラミングされた特定の命令に相関させるユーザインタフェースが開発されている。典型的には、ユーザの入力に対し、マシンに命令を受信させるためのいくつかのアクション（例えば命令、特定のジェスチャまたは特定の音声命令の入力）が要求される。例えば、従来の方法のいくつかでは、ユーザが直接に入力装置（例えばキー、ボタン、マウス、タッチパネル、マイクロフォンなど）によって１つもしくは複数のエントリを提供し、マシン（例えば電子機器）を明示的に制御する１つの命令または命令シーケンスを信号化する。別の例では、命令は、特定のジェスチャまたはユーザの動きの形態で受信される。これらのタイプの従来のインタフェースには、命令の入力に対するユーザの注意と意識とが要求される。このため、従来のインタフェースは典型的に、マシンを明示的に制御するタスクへのユーザの特別の注意を必要とし、このことはユーザにとって邪魔なもしくは厄介なこと、または煩瑣なこととなりうる。したがって、より自然かつ暗示的な方式で電子機器とのインタラクションを可能にするユーザインタフェースが所望されうる。

概要
装置の状態の検出、例えば定置状態の検出に基づいて、ユーザとのインタフェースを形成する方法の例をここに説明する。一例としてのユーザとのインタフェースを形成する方法は、装置の近傍にいるユーザを検出することと、近傍にいるユーザの検出に応答して装置の第１のモードを導入することと、装置の運動に応答して、装置の１つもしくは複数のセンサから動きデータを受信することと、動きデータに基づいて装置の定置状態を検出することと、定置状態の検出に応答して第２のモードを導入することとを含む。

いくつかの例では、方法は、予め定められた期間にわたる装置の動きの欠如の検出を含むことができる。

いくつかの例では、方法は、装置の近傍にいるユーザを検出することを含み、これは、このユーザによる装置の接触センサへの接触の検出を含む。

いくつかの例では、方法はさらに、第２のモード中、装置による応答の供給を含むことができる。

いくつかの例では、方法はさらに、装置が第２のモードにある間の、ユーザに関連する情報の処理を含むことができる。

いくつかの例では、方法はさらに、第２のモードで発生する１つもしくは複数の定置状態または非定置状態を含む装置の状態のシーケンスの記録を含むことができる。

装置の状態の検出、例えば定置状態の検出に基づいて、ユーザとのインタフェースを形成する装置の例をここに説明する。一例としての装置は、近接センサとプロセッサと動きセンサとを含む。近接センサは、当該装置の近傍にいるユーザを検出するように構成可能である。プロセッサは、近傍にいるユーザの検出に応答して装置に第１のモードを導入させるように構成可能である。動きセンサは、第１のモードでの装置の運動に応答して、動きデータを供給するように構成可能である。ここで、プロセッサはさらに、動きデータに基づいて装置の定置状態を検出し、この定置状態の検出に応答して装置に第２のモードを導入させるように構成可能である。

いくつかの例では、装置はさらに、第２のモードにある間、ユーザに関連する情報を記録するように構成可能なメモリ装置を含むことができる。

いくつかの例では、装置はさらに、第２のモードにおいて環境音を検出するように構成可能な少なくとも１つのマイクロフォンを含むことができる。メモリ装置は、環境音を記録するように構成可能であり、プロセッサは、環境音からユーザに関連する情報を抽出するように構成可能である。

いくつかの例では、装置はさらに、ユーザの画像シーケンスを取得するように構成されたカメラを含むことができる。メモリ装置は、ユーザの画像シーケンスを記憶するように構成可能であり、プロセッサは、画像シーケンスを再構成して画像シーケンス内のユーザのジェスチャを解釈するように構成可能であり、さらにユーザのジェスチャからユーザに関連する情報を抽出するように構成可能である。

いくつかの例では、動きセンサはさらに、第２のモードでユーザの動きデータのシーケンスを取得するように構成可能である。メモリ装置はユーザの動きデータのシーケンスを記憶するように構成可能であり、プロセッサは、動きデータのシーケンスを再構成してこの動きデータのシーケンス内のユーザのジェスチャを解釈するように構成可能であり、さらにユーザのジェスチャからこのユーザに関連する情報を抽出するように構成可能である。

いくつかの例では、プロセッサは、第２のモード中、応答を供給するように構成可能である。装置はさらに、ユーザに関連する情報に基づいて、外部装置の機能を表す命令をこの外部装置に送信するように構成可能な無線送信器を含むことができる。

本開示の一実施形態にしたがった装置を示す概略的なブロック図である。 本開示の一実施形態にしたがった装置を示す斜視図である。 図２Ａの装置の一部分を示す斜視図である。 図２Ａの装置の一部分を示す斜視図である。 図２Ａの装置の一部分を示す斜視図である。 図２Ａの装置の一部分を示す斜視図である。 本開示の一実施形態にしたがった装置の定置状態の検出を含む、ユーザとのインタフェースを形成する方法を示すフローチャートである。 本開示の一実施形態にしたがった装置による、ユーザに関連する情報の処理を示すフローチャートである。 本開示の一実施形態にしたがった、装置の動き検出に基づく静止レベルの識別を示す表である。 本開示の一実施形態にしたがった、ジャイロスコープによる装置の動き検出を示すフローチャートである。 本開示の一実施形態にしたがった、ユーザのジェスチャに基づく外部装置のための命令の検出を示すフローチャートである。 本開示の一実施形態にしたがった、ユーザの発声の検出および抽出を示すフローチャートである。 本開示の一実施形態にしたがった装置の定置状態における、ユーザに関連する情報の処理を含む、ユーザとのインタフェースを形成する方法を示すフローチャートである。 本開示の一実施形態にしたがった装置の定置状態における、ユーザに関連する情報の処理を含む、ユーザとのインタフェースを形成する方法を示すフローチャートである。 本開示の一実施形態にしたがった装置を示すブロック図である。

詳細な説明
本開示の種々の実施形態を、添付図を参照しながら以下に詳細に説明する。以下の詳細な説明は、本発明を実施可能な、例示としての特定の態様および実施形態を示す各添付図に関連する。これらの実施形態は、当該分野の技術者による本発明の実施が可能となるよう、充分に詳細に説明される。他の実施形態も利用可能であり、本発明の範囲を逸脱することなく、構造的、論理的かつ電気的な変更を行うこともできる。ここに開示している種々の実施形態は、必ずしも相互に排他的でなく、開示しているいくつかの実施形態を、開示している１つもしくは複数の他の実施形態に組み合わせ可能であって、これにより、新たな実施形態を形成することができる。

図１は、本開示の一実施形態にしたがった装置１０の概略的なブロック図である。例えば、装置１０は、プロセッサ１２、近接センサ１１および動きセンサ１３を含む。本願で「１つの」プロセッサ、「１つの」近接センサおよび「１つの」動きセンサというとき、これらの要素（例えばプロセッサ、近接センサおよび／または動きセンサ）のうち任意のものが、並列に動作可能な１つもしくは複数の個別のプロセッサ、および／またはここで説明している装置の機能の実行に必要なデータを供給するために使用可能なセンサデータを供給する、同タイプもしくはそれぞれ異なるタイプの１つもしくは複数のセンサを含むことができると理解される。近接センサ１１は、電子機器１０の近傍にいるユーザ１を検出することができる。例えば、近接センサ１１は、（例えばユーザ１による）電子機器１０への物理接触（例えば電子機器１０への接触、電子機器１０の把持など）を検出可能な接触センサ、例えば容量性センサ、圧力センサまたはこれらの組み合わせを含むことができる。いくつかの例では、近接センサ１１は、ユーザ１と装置１０との間の距離の評価によってまたはユーザ１が装置１０のセンサ到達範囲内にいることの検出によって装置１０の近傍にいるユーザ１の評価に使用可能な、受動赤外センサ、容量性センサ、ジャイロスコープ、加速度計、カメラ、マイクロ波センサ、超音波センサ、レーザーベースセンサ、光電式センサ、複数のマイクロフォン、圧力センサ、磁気センサ、熱センサ、レーダーおよびこれらの組み合わせを含みうる。例えば、装置１０は、例えば自身がユーザ１によって取り上げられた際に、このケースでは近接センサ１１として動作可能なジャイロスコープおよび加速度計の組み合わせを用いて、自身の動きを検出することにより、近傍にいるユーザを検出することができる。いくつかの例では、無線通信装置、例えばＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ、ＬＴＥ、近接域通信（ＮＦＣ）または無線タグ（ＲＦＩＤ）利用機器が近接センサ１１として動作可能であり、これらの近接センサ１１は、ユーザ１によって把持可能または装着可能なポータブル装置とのペアリングもしくはハンドシェイキングによって、ユーザ１の（図示されていない）ポータブル装置（例えばタブレット、スマートフォン、スマートウォッチなど）を検出することができる。近接センサ１１は、プロセッサ１２に結合可能である。いくつかの例では、近接センサは、装置の近接センサおよび／または他のセンサの動作（例えばセンサを起動／不活性化、プロセッサへのセンサデータの転送および／またはストレージ）を制御するコントローラに結合可能であり、よって、近接センサ１１は、コントローラを介して、プロセッサ１２に動作の点で結合可能である。近接センサ１１は、例えばユーザ１が装置１０に接近したとき、装置１０の近傍にいるユーザ１の検出に応答して、プロセッサ１２にセンサデータを供給できる。プロセッサ１２は近傍にいるユーザ１の検出に応答して、装置１０に第１のモードを導入させることができる。第１のモードは、ここでは、交換可能に、静止性検出モードとも称されることがある。

図示されているように、装置１０は、動きセンサ１３および１つもしくは複数の付加的なセンサ１４および出力装置１８を含むことができる。第１のモードの導入に応答してまたは第１のモードの導入前に起動可能な動きセンサ１３は、第１のモードの導入後、装置の運動の監視を開始する。静止性検出モードは２つのフェーズを含むことができる。第１のフェーズでは、装置１０は、動きセンサからのセンサデータを処理し、自身の初期化運動を検出するように構成可能である。初期化運動とは、ユーザによる装置１０の取り上げ（例えば、平面、例えばテーブルまたは机からの装置１０の持ち上げ、ユーザが近傍に到来する前の装置の支持）を表すことができる。

いくつかの例では、初期化運動は、支持面に対する法線方向での装置の加速度および／または変位の検出に応答して検出可能であり、ユーザによる装置の取り上げを表すことができる。いくつかの実施形態では、初期化運動は、装置の支持面（例えば底面）に配置された容量性の接触センサを用いた、ユーザによる接触の検出に応答して検出可能であり、装置が取り上げられてユーザの掌のなかに把持されたことを表すことができる。

初期化運動によって、静止性検出モードの第２のフェーズを誘起できる。第２のフェーズでは（すなわち初期化運動の検出に続いて）、装置は、自身の静止性または定置状態を検出するため、自身の運動を監視するように構成可能である。静止性検出モードの当該フェーズでは、プロセッサは周期的にセンサデータを（例えば１００ｍｓまたは２００ｍｓのフレームレートで）受信し、このデータを分析して、装置１０が定置状態を達成したかを識別する。例えば、定置状態は、交換可能に静止モーメントとも称することができるが、装置１０が予め定められた期間、例えば１秒または連続する数秒にわたって運動していないことを動きデータからプロセッサが検出したことに基づいて、検出可能である。ユーザのなかには生まれつき他よりも安定した手を持つ人があり、この場合には予め定められた期間のうちにユーザごとの平常時の傾向を反映させるよう構成可能である。例えば、比較的安定した手を持つユーザに対しては、当該特定のユーザの把持が平常において堅固であることをフィルタリングすべく、応答をトリガするための予め定められた期間を例えば２秒以上に延長することができる。比較的不安定な手を持つユーザに対しては、応答をトリガするための予め定められた期間を例えば１．５秒未満に低減することができる。予め定められた静止期間の構成は、ユーザによって（例えば装置のセットアップ中に）行うこともできるし、または装置によって（例えばトレーニング期間における機械学習により）行うこともできる。

図１の装置１０の説明に続き、動きセンサ１３は、プロセッサ１２に、および／または、動きセンサ１３をプロセッサ１２に動作の点で接続する（図示されていない）中間コントローラに、結合可能である。いくつかの例では、プロセッサ１２は、第１のモードの導入に応答して、動きセンサ１３を起動することができる。他の例では、動きセンサ１３は、近傍にいるユーザの検出前（例えば第１のモードまたは静止性検出モードの導入前）に、例えば装置１０のパワーオンに応答して、アクティブにすることができる。動きセンサ１３は、装置１０が第１のモードにある間、装置１０の運動に応答した動きデータを供給できる。例えば、動きセンサ１３は、ジャイロスコープ、加速度計、カメラ、受動赤外センサ、マイクロ波センサ、超音波センサ、容量性センサ、マイクロフォン、光電式センサ、熱センサ、圧力センサ、磁気センサ、心拍計またはこれらの組み合わせのいずれかであってよい。プロセッサ１２は、動きデータに基づいて装置１０の定置状態を検出できる。例えば、プロセッサ１２は、初期化運動の検出に続く予め定められた期間にわたって装置１０の動きの欠如を検出した場合に、定置状態を検出可能である。例えば、動きセンサ１３は、装置１０の配向情報を検出および供給するジャイロスコープを含むことができ、この配向情報が装置１０の配向に変化がないことを示す場合、プロセッサ１２は装置１０の定置状態を検出することができる。これに代えてもしくはこれに加えて、いくつかの例では、動きセンサ１３は、加速度情報を検出および供給する加速度計を含むことができる。プロセッサ１２は、加速度計が供給した加速度情報によって装置の加速度の欠如が示された場合に、装置１０の定置状態を検出することができる。動きセンサ１３の感度に基づいて、動き閾値を下回る微小な配向変化、加速度変化または他の検出された運動の変化（例えば０．５°未満の回転変化または１ｍｍ未満の平行移動変化）は、定置状態を検出する目的においては無視できる。例えばユーザの平常時の運動傾向（例えば安定な手または震せんする手）に依存しうる他の閾値を用いることもできる。

プロセッサ１２は、装置１０の定置状態の検出に応答して、この装置１０に第２のモードを導入させることができる。第２のモードの導入後（例えば初期化運動に続く定置状態の検出後）、装置１０は応答を供給可能である。いくつかの例では、応答は、ユーザにフィードバック可能である。これに加えてまたはこれに代えて、いくつかの例では、応答は、装置１０から外部装置１６へまたは外部装置１６から装置１０へ、（例えば命令またはデータの無線送信によって）通信可能である。いくつかの例では、第２のモードにおいて、プロセッサ１２は付加的なセンサ１４および／または出力装置１８を起動可能である。付加的なセンサ１４は、こうしたセンサが利用可能であれば、単独でまたは動きセンサ１３と組み合わせて、ユーザ１の監視、例えばユーザ１に関連する情報の取得のために用いることができる。ユーザ１に関連する情報は、ユーザ１が装置１０を把持している間に記録される、音声、画像および動きのデータを含みうる。１つもしくは複数のフィードバック装置および／または１つもしくは複数の有線もしくは無線通信装置を含みうる出力装置は、応答を供給するよう構成可能である。ここで説明しているように、応答は、フィードバックおよび／または外部の電子機器（例えば、コンピュータ、スマートフォン、ＴＶ、ラジオもしくは他のメディア装置またはサーモスタット、冷蔵庫、調理機器もしくはその他の家庭機器であってよい外部装置１６）との通信であってよい。いくつかの例では、外部装置との通信は、装置１０にデータを送信せよとの外部装置１６への命令を含むことができ、装置１０は、外部装置１６から受信されるデータに基づいてフィードバックを供給可能である。

フィードバック応答は、定置状態の検出に応答して単独でまたは通信応答とともに形成可能な、視覚応答、聴覚応答または触覚応答を含むことができる。フィードバック応答は一般に、例えば受諾されたインタラクションをユーザに報知するために、このユーザに転送することができる。フィードバック視覚応答は、装置の１つもしくは複数の光源による光の点灯または光パターンの形成によって供給可能である。同様に、聴覚応答は、装置の１つもしくは複数の音源による音の形成または音パターンの形成によって供給可能である。触覚応答は、装置が（アクチュエータ、例えばバイブレータを介して）内部で形成した運動、すなわち装置を所定の方式（例えば振動、ホップ、傾動または横方向での揺動、ユーザに対して装置の正面の配向を変化させる運動、またはうなずきに類似していてよい動き、例えば装置をユーザに面した方向へ向けさらにそこから逸らすようにする傾動）で運動させうる運動によって供給可能である。フィードバック応答の供給は装置１０の通常の使用過程中にユーザと装置との間に一種の通信を提供してユーザを楽しませるためだけでなく、特にトレーニング期間中、装置１０が提供するユーザインタフェースの自然学習においてユーザを補助するためにも、有意でありうる。

通信応答は、装置１０により、例えば外部装置１６への無線送信の形態で供給可能である。通信応答は、外部装置１６からの応答を導出するように構成可能である。例えば、通信（例えば無線送信）は、外部装置１６の機能を制御する命令を含むことができる。外部装置１６は、機能（例えばスイッチオンまたはスイッチオフ、ボリューム調節、温度調節または他のパラメータの調節、オーディオ情報もしくはビジュアル情報の再生開始、情報の記憶、情報の回収など）を実行することができる。静止性検出モード中、装置１０に関連するユーザのアクションに基づいて、ここで以下に説明するような種々の通信を形成できる。いくつかの例では、装置１０は、静止性検出モード中、ユーザに関連する情報を受信するように構成可能であり、通信は、少なくとも部分的に、以下に説明するように、受信された情報を含むかまたはこれに基づいていてよい。

図１の例に戻ると、装置１０は、ユーザ１に関連する情報をセンサ１４から受信することができ、この情報は、装置１０、例えば１つもしくは複数の出力装置１８により応答を供給するために、プロセッサ１２によって処理可能である。上で論じたように、いくつかの例では、装置１０が供給する応答は、例えば命令、データ、指示または他のタイプの通信を送信することにより、ユーザ以外の外部装置１６に配向可能である。通信応答は、装置１０の通信回路、例えば通信装置１５により、供給可能である。

上述したように、装置１０は１つもしくは複数の付加的なセンサ１４を含むことができる。例えば、付加的な１つのセンサ１４はカメラであってよい。カメラはユーザ１の画像シーケンスを取得することができる。他の付加的なセンサとして、ユーザからの音を取得可能なマイクロフォンを用いてもよい。いくつかの例では、付加的なセンサは、１つもしくは複数の付加的な動きセンサを含むことができる。いくつかの例では、静止性検出モード中、ユーザ１の動きデータのシーケンスを取得するため、付加的なセンサが取得したセンサデータを動きセンサ１３からのセンサデータによって補完することができる。プロセッサは、静止性検出モード中に取得されたセンサデータを、例えばここで説明しているようなフィードバックおよび／または１つもしくは複数の応答の供給のために処理できる。

装置１０はさらに、装置１０の動作中にデータを記憶するように構成されたメモリ装置１７を含むことができる。例えば、メモリ装置１７は、装置１０が受信した、動きデータ、画像、音声またはユーザ１に関連する他の情報のシーケンスを記憶できる。いくつかの実施形態では、プロセッサ１２は、メモリ装置１７から先行して記憶されたシーケンスを分析のために回収し、例えばユーザ１のジェスチャを解釈することができる。「ジェスチャ」なる語は、ユーザのあらゆるタイプの自然なアクション、例えば装置を把持しているユーザの手が行うアクション、またはユーザの他の部分、例えばユーザの顔が行うアクション（例えば瞬き、笑顔、顰め顔などを含む顔の表情）をいうために用いることができる。プロセッサ１２は、ユーザ１のジェスチャからユーザ１に関連する情報を抽出するように構成可能である。

いくつかの例では、付加的なセンサ１４はマイクロフォンを含むことができる。マイクロフォンは、プロセッサ１２およびメモリ１７に動作の点で関連しており、これにより、ユーザ１での音またはユーザ１周囲の音を検出および記録することができる。いくつかの例では、装置１０は特定のユーザの発声を検出するように構成可能である。例えば、マイクロフォンは、ユーザ１での環境音またはユーザ１周囲の環境音を検出し、この環境音のうち、ユーザの声またはユーザが発した他の音（例えば咳、くしゃみ、周囲雑音）を含むユーザ１に関連する音を識別することができる。装置１０は、例えばセットアップ中またはトレーニング過程中、ユーザ１に関連する音を認識するように構成可能である。プロセッサ１２は、ユーザ１に関連する音からユーザ１に関連する情報を抽出することができる。いくつかの例では、装置１０は、音声を認識して、発声を行っているユーザに関係なく発声を抽出することができる。

上述したように、プロセッサ１２は第２のモードにおいて応答を形成することができ、いくつかのケースでは、応答は、第２のモードの導入に応答して、装置１０によって自動的に形成可能である。ここで使用している「自動的に」なる語は、一般に、装置１０が行うアクションまたは応答が、ユーザによるさらなるアクションもしくは入力を要求することなく、トリガに応答して自動的に発生することを暗示している。いくつかの例では、応答は、ユーザへの応答を含むことができる。いくつかの例では、応答は、外部装置との通信に関連していてよい。例えば、前者については、装置１０は出力装置１８、例えば１つもしくは複数のレーザー発光ダイオード（ＬＥＤ）、スピーカ、１つもしくは複数のバイブレータなどを含むことができる。応答は、視覚応答（１つもしくは複数のレーザー発光ダイオード（ＬＥＤ）による光または光パターンの点灯）、聴覚応答（例えば１つもしくは複数のスピーカによる音もしくは音パターンの形成）、または触覚応答（例えば装置を振動もしくは揺動させること、または１つもしくは複数のバイブレータにより他のタイプの運動を形成すること）であってよい。

装置１０は、命令またはデータを外部装置１６（例えば別の計算装置、電子機器、例えばＴＶ、ラジオ、他のメディア装置または家庭機器）に送信する有線もしくは無線通信装置１５を含むことができる。いくつかの例では、命令は、外部装置１６の機能を実行させるための命令（例えば機器のスイッチオンまたはスイッチオフ、ボリューム調節、オーディオもしくはビデオの再生開始、サーモスタットまたは調理機器の温度調節など）を含むことができる。外部装置１６に送信される命令またはデータは、装置１０のモードに基づいていてよい。いくつかの例では、命令またはデータは、装置１０が特定のモードを導入したこと、例えば第２のモードを導入したことに応答して送信可能となる。例えば、装置１０は、自身が第２のモードを導入したことに応答して、メディア装置をオンにせよとの命令をこのメディア装置に送信するように構成可能である。いくつかの例では、外部装置１０に送信される命令またはデータは、ユーザ１に関連する情報に基づいていてよい。いくつかの例では、データは、外部装置１６内の当該データに関連する情報（例えばタグまたは他のメタデータ）を含むことができる。いくつかの例では、外部装置１６に送信されるデータは、ユーザに関連する記録（例えばオーディオ、静止画像またはビデオおよび／またはこうした記録に関連するコンテクスト）であってよく、これらは、外部装置１６での記憶および／またはさらなる処理のためにこの外部装置１６に送信可能である。いくつかの例では、装置１０は、データおよび命令（例えば記録およびこの記録を再生せよとの命令）の双方を所定のモードの導入後に送信可能である。いくつかの例では、装置１０は、例えば第２の静止性検出モード中、付加的な情報を抽出するためにおよび／または付加的な応答を供給するために、応答の供給に続き、（例えば動きデータによる）装置の状態の監視を続行することができる。

いくつかの例では、装置１０からの命令および／またはデータに応答して、外部装置１６が命令を実行することができ（例えばストレージ装置からのユーザデータの回収）、および／または、ユーザデータに基づいて装置１０への返信を供給することができる。装置１０は、外部装置１６から返信を受信することができる。返信に応答して、いくつかのケースでは、ユーザに関連する情報および／または装置１０の現時点での状態とともに、装置１０がユーザ１へのフィードバックを供給することができる。ユーザ１とのインタフェースを形成するプロセスは、装置１０がその支持面（例えばテーブルもしくは机）に再び置かれるまで続行可能であり、このことは例えば装置１０の下部のセンサへの接触がもはや検出されなくなったことによって識別可能であり、これにより、装置の静止性検出モードまたはスタンバイモード、すなわち装置がもはや近傍にいるユーザを検出しない第１のフェーズへ装置を戻すことができる。

図２Ａは、本開示の実施形態にしたがった装置９００の斜視図である。装置９００は、図１の装置１０の実現に利用可能である。装置９００は、図１の装置１０に対して上述した要素を含みうる。例えば、装置９００は、相対的な球面形状を有するハンドヘルド型装置であってよい。装置９００は、ユーザ１の掌に適合する寸法に設計することができ、これによりユーザ１は装置を把持している間、無理なく種々のジェスチャを行うことができる。装置９００を把持している間、ユーザの静止モーメントひいては装置そのものの静止モーメントを検出し、これに応答することにより、装置９００は、ユーザの生活空間または作業空間において、ユーザと電子機器との間に無理なく無意識的にインタフェースを形成するよう構成可能である。例えば、装置９００は、美観的、エルゴノミクス的または他の快適な形状を有していてよく、これによりユーザの生活環境または作業環境を向上させるだけでなく、ユーザが装置９００を取り上げおよび／またはこれを把持するよう促すことができる。装置９００の把持は、これによりイネーブルされるコンピュータまたはユーザインタフェースを除き、ユーザに楽しさおよび／または鎮静をもたらすものであってよい。したがって、ユーザと装置９００との自然なインタラクションにより、より直感的であってユーザフレンドリなインタフェースが、例えば装置９００そのものおよび／またはユーザの環境内の他の装置からの応答を要請するユーザの労力もしくは注意もしくは意図をほとんどもしくは全く要さずに、可能となる。いくつかの例では、装置の形状および／または概観は、装飾機能または美的機能を提供するものであってよい。

装置９００は、自身のエンクロージャを形成可能な上部９０１と下部９０２とを含むことができる。いくつかの例では、エンクロージャは、プラスチック材料（例えば、コンシューマエレクトロニクス産業において典型的に周知の、射出成形に適したプラスチック材料）から形成可能である。いくつかの例では、ハウジング装置の部分、例えば上部は、半透明であってよい。いくつかの例では、エンクロージャまたはその一部は、アクリルから形成可能である。別の例では、エンクロージャまたはその一部は、天然材料、例えば木材、竹、石英、大理石、合成繊維または天然繊維から形成された織物、皮革またはこれらの組み合わせから形成することができ、これにより、装置９００とのインタフェース形成の際にユーザの意識およびストレスを低減できる、特徴的な色、素材感、触感および自然な快適性を形成することができる。例えば、上部９０１および下部９０２は、実質的に半球状または半楕円体状の形状を有することができる。装置９００は、自身を容易に定置状態にとどめうる比較的平坦な表面に配置されている場合、静止位置を維持することができる。装置９００は、カメラ９０３を含むことができる。上述したように、カメラ９０３は、近接検出、動き検出およびジェスチャ検出に利用されうる。カメラ９０３は、顔のジェスチャまたは手もしくは体の動きから、ユーザ１の自由表現を検出できる。カメラ９０３はプロセッサ１２に画像を供給することができる。

図２Ｂは、本開示の一実施形態にしたがった装置９００の斜視図である。図２Ａによれば、装置９００の上部９０１は示されていない。図示されているように、装置９００は、光調整装置９１０を含むことができる。光調整装置９１０は、下部９０２内に配置された１つもしくは複数の要素が形成した光を調整可能であるので、装置９００が形成した光は、分割、散乱および／または「軟化」可能となり、これにより装置９００の個々の光源の認識を低減することができる。

図２Ｃは、本開示の一実施形態にしたがった装置の斜視図である。図２Ｂによれば、装置９００の光調整装置９１０は示されていない。図示されているように、装置９００は、図１の近接センサ１１の実現に利用可能な複数の近接センサ９０６を含むことができる。各近接センサ９０６は、装置９００へのユーザ１の接近を判別できるものであれば、周知の任意の赤外センサ（例えば、カメラ、マイクロ波センサ、超音波センサ、レーザーベースセンサ、磁気センサ、光センサ、受動赤外センサ、熱センサ、レーダー、マイクロフォン）であってよい。図示されているように、いくつかの例では、近接センサ９０６は、装置９００の外周に配置可能である。他の例では、近接センサ９０６は、装置９００の他の位置に配置することもできる。装置９００は、インタフェースボード９１５を含むことができる。インタフェースボード９１５は、複数の発光装置、例えば発光ダイオード（ＬＥＤ）９２０を含みうる。各ＬＥＤ９２０は、光調整装置９１０および上部９０１を通してユーザ１への視覚応答の光パターンを供給する光を形成することができる。特定のパターン（例えば螺旋状）での配置を示しているが、各ＬＥＤ９２０は、インタフェースボード９１５内に任意の望ましいパターンで、例えばグリッドとして、配置可能である。インタフェースボード９１５についてはここでは後に詳細に説明する（図１０を参照）。

図２Ｄは、本開示の一実施形態にしたがった装置の斜視図である。図２Ｃによれば、インタフェースボード９１５は図示されていない。図示されているように、装置９００は、バッテリ９３０および接触センサ９３２を含むことができる。バッテリ９３０は、例えば再充電可能バッテリを含む、この分野で周知の任意のバッテリであってよく、電力を蓄積して装置９００の種々の要素にこれを供給することができる。当該バッテリは、取り外し可能でありかつ装置９００の外部で充電可能であってもよいし、または装置９００内での有線もしくは無線での充電のために内部充電器が組み込まれていてもよい。接触センサ９３２は、装置９００の外周に配置された帯状接触センサを含むことができ、ユーザ１が接触センサ９３２を配置した装置９００の表面のどの位置に触れた場合にも、ユーザの接触を検出することができる。接触センサ９３２は、容量性、抵抗性、圧電性またはこれらの組み合わせであってよい。

図２Ｅは、本開示の一実施形態にしたがった装置の分解斜視図である。図２Ｅによれば、バッテリ９３０は示されていない。図示されているように、接触センサ９３２はタッチパッド９０８を含むことができる。タッチパッド９０８は、その中心からラジアル方向に延在する複数のラジアル電極線を含み、装置９００が平面、例えばテーブルに支持されているのか、またはユーザ１の掌に支持されているのかを判別することができる。いくつかの例では、近接センサ９０６は、接触センサ９３２の帯状接触センサに沿って周期的に配置可能である。

装置（例えば装置１０）は、定置状態を検出することにより、またいくつかの例ではユーザ１に関連する情報を検出することにより、ユーザ１および／または外部装置（例えばユーザの環境内の他の計算装置または電子機器）とのインタフェースを形成可能である。図３は、本開示の一実施形態にしたがった、装置（例えば装置１０）の定置状態の検出を含む、ユーザとのインタフェースを形成する方法のフローチャートである。

始めに、装置１０は（例えばバッテリによって）パワーオン可能であり、スタンバイモードに移行することができる（Ｓ２００）。装置１０がスタンバイモード１００にある間、装置１０の近傍へのユーザの接近があった場合に（Ｓ２０１）ユーザ１を検出できるよう、近接センサ１１をアクティブとすることができる。近接センサ１１は、検出されるまで、近傍にある対象物（例えばユーザ）の検出を続行する。使用される近接センサに応じて、装置１０へのユーザの接近または装置１０の近傍にいるユーザは、例えば、視覚情報、例えばセンサ（例えば画像取得装置）の視野内の１つもしくは複数の対象物を含む画像、聴覚情報、例えば環境雑音レベルの変化、装置１０の予め定められた範囲内に存在するユーザによって生じる光情報、熱情報または電磁情報、または装置１０へのユーザ１の接触（例えばタッチ）によって生じる触覚情報を検出することができる。いくつかの実施形態では、装置１０の接触センサへの接触の検出に応答して、ユーザが近傍にいると識別可能である。いくつかの例では、ユーザと装置との間の物理的接触を要することなく、例えば光センサ、熱センサまたは電磁センサにより、ユーザがセンサの検出範囲内にいることの検出に応答して、ユーザが近傍にいると識別可能である。装置１０は、近傍にいるユーザ１の検出（Ｓ２０１）に応答して、静止性検出モード１１０を導入することができる。装置は、静止性検出モード中、まず初期化運動を、ついで静止状態または定置状態を検出すべく、自身の運動を監視し、ここで、定置状態の検出に応答して応答を供給可能であるように構成されている。上述したように、装置は、静止性検出モードの第１のフェーズ中、装置１０が取り上げられたことおよび／またはユーザの掌に取られたことを表示可能な初期化運動を検出すべく自身の運動を監視できる。初期化運動の検出後、装置１０は、静止性検出モード１１０中、定置状態の検出のため、その運動の監視を続行できる。

静止性検出モードでは、まだアクティブにされていない場合、プロセッサ１２が動きセンサ１３を起動可能であり、動きセンサ１３は、周期的に（例えば１秒ごと、１ミリ秒ごとなど）動きデータをプロセッサに供給可能である（Ｓ２０２）。プロセッサは、装置１０の定置状態を識別するために動きデータフレームを処理することができる。例えば、動きデータは、装置１０の変位（例えば位置の変化）または傾き（例えば配向の変化）に起因して変化しうる、視覚情報、聴覚情報、速度もしくは加速度の情報、配向情報、位置情報などであってよい。プロセッサ１２は、動きセンサ１３から動きデータを周期的に受信することができる（Ｓ２０３）。プロセッサ１２は、静止性検出モード中、動きデータに基づいて（Ｓ２０４）、装置１０の定置状態Ｉを検出することができる。例えば、プロセッサ１２は、静止性検出モード中、動きフレームを分析することができ、予め定められた期間にわたって装置の動きの欠如を検出することにより、装置１０の定置状態を識別することができる。予め定められた期間は、固定の期間であってもよいし、各ユーザに対してフレキシブルにプログラミング可能であってもよいし、またはユーザ１のコンテクストに基づいて定めてもよい。

装置１０は、自身の定置状態の検出に応答して、第２の静止性検出モード１２０を導入することができる。第２の静止性検出モード１２０では、装置１０はさらなる応答を形成するように構成可能である。いくつかの例では、装置は、ユーザに関連する情報（例えばオーディオ、静止画像もしくはビデオデータ、装置１０がユーザに把持されている間の動きデータなど）を記録することができ、この情報を、第２の静止性検出モード１２０中、応答を供給する際に利用可能である。例えば、プロセッサ１２は、センサ１４から受信した、ユーザ１に関連する情報を、第２の静止性検出モードにおいて処理でき（Ｓ２０５）、これにより１つもしくは複数のさらなる応答が決定され、供給される（例えばＳ２０６，Ｓ２０７）。記録された情報に基づいて、装置１０は、フィードバック出力装置１８を介して（ステップＳ２０６）または出力通信装置１５を介して、フィードバック応答を供給することができる。装置１０は、ユーザと装置１０との間のインタラクションの監視を続行可能であり、１つもしくは複数の外部装置へのユーザ１の通信応答に対応する視覚応答、聴覚応答または触覚応答を形成できる。これらの応答は、第１の静止性検出モード１１０に関連して説明した１つもしくは複数の応答を含むことができる。

第２の静止性検出モード中の装置１０による応答は、少なくとも部分的に、第２の静止性検出モード中の装置１０の検出されたパターン、例えば定置状態のパターン（または静止モーメント）に基づかせることができる。いくつかの例では、応答は、少なくとも部分的に、装置の検出された動きまたは運動パターンに基づいていてもよい。いくつかの例では、応答は、少なくとも部分的に、記録されたユーザに関連する情報（例えばユーザのオーディオビジュアル記録）に基づいていてよい。

図４Ａは、本開示の一実施形態にしたがったプロセスのフローチャートである。図４Ａのプロセス４００は、例えば装置１０の１つもしくは複数の定置状態を検出するための、ユーザに関連する情報の処理に用いることができる。当該プロセスは、装置１０がユーザに関連する情報を受信した際に（ブロックＳ４１０で示されているように）開始可能である。

ユーザに関連する情報、このケースでは動きデータが受信された後、装置１０は、ユーザ１の情報を（ブロックＳ４１２で示されているように）処理し、（ブロックＳ４１４で示されているように）定置状態を検出することができる。プロセッサ１２は、装置１０の定置状態の１つもしくは複数の期間を動きデータに基づいて識別することができる。いくつかの例では、装置は、静止レベル（例えば後に図４Ｂに関連して説明するように）および／または定置状態のパターンを、ブロックＳ４１８に示されているように識別できる。いくつかの例では、種々の静止度は種々の定置状態に対応づけ可能であり、プロセッサは、ブロックＳ４１６に示されているように、１つもしくは複数の定置状態を静止度（例えばcalm状態、still状態など）にしたがってカテゴリ分類可能である。いくつかの例では、定置状態の判別は、バイナリで、例えば或る条件（例えば雑音を除去するための動き閾値によって定められる動きの欠如）が満足された場合に装置が定置状態にあるものとし、そうでなく、当該条件が満足されなかった場合には装置が非定置状態にあるものとするように行うことができる。ブロックＳ４２２に示されているように、１つのシーケンスで多数回非定置状態が検出された後、すなわちいくつかの例においては予め定められた閾値より多くの連続した非定置状態（例えば２つ、３つ、４つまたはそれ以上の連続する非定置状態）が検出されたことに応答して、プロセスが終了されるように構成可能であって、これにより装置を第２の静止性検出モードから離脱させ、第１の静止性検出モードに、すなわちいくつかの例においては第１の静止性検出モードの第２のフェーズに、戻すことができる。ここで、装置１０は、後続の定置状態を識別する（例えば第２の静止性検出モードの導入）か、または（例えばここで説明している別の機能を実行するための）特定の動作状態を識別するために、動きデータを監視することができる。

プロセッサ１２は、第２の静止性検出モードにおいて発生する１つもしくは複数の定置状態または非定置状態を含む装置１０の状態のシーケンスを記録して、第２の静止性検出モード中の定置状態のパターンを検出することができる。装置１０は、１つもしくは複数の定置状態が検出された後、応答を供給するように構成可能であり、いくつかのケースでは、ブロックＳ４２０に示されているように、特定の静止レベルまたは定置状態のパターンの検出に応答して、特定の応答を供給可能である。検出された静止レベルまたは定置状態のパターンに基づいて、装置１０は、ユーザ１に関連する情報をさらに抽出し（例えばオーディオおよび／または静止画像／ビデオの記録を開始し）、外部装置を制御するための命令を送信し、および／または、ユーザ１へのフィードバック（例えば灯明滅、音再生または振動）を供給するように構成可能である。いくつかの例では、装置１０は、複数の状態シーケンスを（例えばメモリ装置１７に）記憶し、現時点で記録されている装置１０の状態シーケンスと記憶されている複数のシーケンスとの比較により、定置状態のパターンを求めることができる。いくつかの例では、記憶されるシーケンスは装置１０内でプログラミング可能であり、例えばユーザが形成した既存のシーケンスデータベースに記憶可能であって、ユーザが形成したシーケンスデータベースのシーケンスに基づいて、パターンを求めることができる。例えば、装置１０は、種々のユーザから取得された既存のシーケンスデータベースを用いて、この既存のシーケンスデータベースのシーケンスに基づいてパターンを求めてもよい。いくつかの例では、記憶されるシーケンスはユーザ１からのみ取得されるシーケンスデータベースに記憶してもよいし、および／または、特定のユーザに対するパターン認識を強化および適応化するため、当該データベースにシーケンスを追加するように、装置１０を構成してもよい。

いくつかの例では、パターン検出は、（例えば図４ＡのブロックＳ４１８に示されているような）静止レベルの検出を含むことができる。図４Ｂは、本開示の一実施形態にしたがった、装置の動き検出に基づく静止レベル検出の表である。例えば、装置１０は、装置１０の状態シーケンスを記録することができる。図示の例では１０個のサイクルが示されているが、別の例にしたがって、異なる数のサイクルをパターン検出のために分析してもよい。状態は、装置１０が動的状態にある"rough"状態、第１の定置状態（例えば"calm"状態）、または第１の定置状態よりも大きな静止度に相当する第２の静止状態（例えば"still"状態）を含むことができる。図示のシーケンスＩおよびシーケンスＩＩは、装置１０が"rough"状態にあるときに開始されている。シーケンスＩでは、装置の"still"状態が第３、第４、第７、第９および第１０のサイクルで記録されており、装置の"calm"状態が第２、第５、第６および第８のサイクルで記録されている。シーケンスＩＩでは、第２のサイクルから第１０のサイクルまで"calm"状態が記録されている。シーケンスＩはシーケンスＩＩよりも"still"状態の発生数が大きいので、プロセッサ１０は、シーケンスＩがシーケンスＩＩの静止レベルに比べて高い静止レベルを有すると判別できる。

装置１０の状態、例えば"rough"状態、"calm"状態または"still"状態は、検出された動きデータ、例えば変位または傾きに基づいて判別可能である。例えば、ジャイロスコープを、動きセンサ１３として使用可能である。図４Ｃは、本開示の一実施形態にしたがった、ジャイロスコープによる装置の動き検出のフローチャートである。プロセッサ１２は、ジャイロスコープからの動きデータに基づいて、１回、傾き情報（Ｔ）を求めることができる（Ｓ４３０）。例えば、ジャイロスコープは、３軸データを含んでよい動きデータを供給する３軸ジャイロスコープであってよく、３軸データは、２つのデータが水平面での２つの直交軸の傾きを表し、もう１つのデータがこの水平面に対して垂直な垂直軸からの傾きを表す。別の例では、（例えば水平軸および垂直軸に対応する３軸に沿って配置された）加速度計を用いて傾き情報を取得することができ、または静止度を傾き量とは異なる加速度量に基づかせることもできる。動きデータに基づいて、プロセッサ１２は、傾き情報（Ｔ）を取得してこの傾き情報を評価することができる（Ｓ４３２）。傾き情報（Ｔ）がほぼゼロに等しい（例えば第１の角度閾値よりも小さい（例えばＴ＜θ１である））場合、プロセッサ１２は、装置１０が"still"状態にあることを判別できる（Ｓ４３６）。傾き情報（Ｔ）が比較的小さい（例えば第１の角度閾値と第２の角度閾値との間にある（例えばθ１≦Ｔ≦θ２である））場合、プロセッサ１２は、装置１０が"calm"状態にあることを判別できる（Ｓ４３８）。傾き情報（Ｔ）が比較的大きい（例えば第２の角度閾値を上回る（例えばＴ＞θ２である））場合、プロセッサ１２は、装置１０が"rough"状態にあることを判別できる（Ｓ４３４）。

上述したように、装置１０は、自身が受信したユーザに関連する情報に基づいて、（例えば図４ＡのブロックＳ４２０に示されているように）応答を供給するよう構成可能である。いくつかの例では、記録された種々のシーケンスの種々の静止レベルにより、装置による種々の応答を導出することができる。例えば、第１の静止レベルは、第１の応答（例えば、外部装置への命令の送信）に関連づけ可能であるが、第２の静止レベルは別の応答に関連づけられてもよい（例えばユーザへのフィードバックを供給する、および／または、ユーザのオーディオビジュアルデータの記録を開始する）。いくつかの例では、定置状態の種々のパターンにより、装置による種々の応答を導出できる。例えば、図４Ｂの表に戻ってみると、装置１０は、静止レベルの識別だけでなく、種々の定置状態の順次の配列も識別するように構成可能である（例えば、１つのシーケンス内の少なくとも２つの順次の"still"状態により、特定の応答、例えばオーディオビジュアルデータの記録開始、または１つのシーケンス内の少なくとも３つの順次の"still"状態により、外部メディア装置に対するオン命令を送信する応答を導出可能である）。いくつかの例では、装置は、定置状態の特定のパターンに応答して、他の動作モード（例えば、動きパターン検出モードとも称されることのある第３のモード）に移行するように構成可能である。いくつかの例では、装置は、（例えばブロックＳ４２２に示されているように）プロセス４００の終了に応答して第３のモードを導入するように構成可能である。

例えば、装置は、第３のモード中にパターン検出を実行するように構成可能であり、このパターン検出はユーザのジェスチャの検出を含むことができる。装置は、検出されたユーザのジェスチャに基づいて応答を供給するように構成可能である。図５は、本開示の一実施形態にしたがった、ユーザのジェスチャに基づいて外部装置のための命令の形成に利用可能な、動き検出プロセスのフローチャートである。ブロックＳ５００に示されているように、動き検出プロセスは、プロセッサ１２がユーザ１の動きデータシーケンスを受信した際に開始可能である。いくつかの例では、後続の、記録される動きデータシーケンスの解釈に後に利用するため、記録された動きデータのシーケンスをメモリ装置１７に記憶可能である。プロセッサ１２は、ユーザ１の、１つもしくは複数の記憶された動きデータのシーケンスを回収してジェスチャを解釈することができる。記憶されたシーケンスは、複数のカテゴリに分類することができる。例えば、当該複数のカテゴリは、下向け、上向け、折曲げ、伸展もしくは回転または接触方式の変化（例えば装置の単純な支持もしくは把持から、例えば装置１０を「握る」ためのより緊密な保持への変化）を含むことができる。接触方式の変化は、例えば、底面との接触に加えて、装置の周面との接触を検出するため、装置の種々の周位置に配置された１つもしくは複数の接触センサまたは圧力センサによって検出可能である。運動の欠如を、第３のモード中、上述したように"calm"状態としてカテゴリ分類可能である。装置１０は、検出された種々のジェスチャに対応する種々の応答を供給するように構成可能である。例えば、装置は、下向けジェスチャの検出および上向けジェスチャの検出（Ｓ５０２ａ）に対応して、それぞれ、「前進」命令（Ｓ５０３ａ）または「後進」命令（Ｓ５０３ｂ）を外部装置１６に供給するように構成可能である。装置１０は、折曲げジェスチャまたは伸展ジェスチャ（Ｓ５０２ｂ）の検出に対応して、それぞれ、「メニュー＋／−」命令（Ｓ５０３ｃ）または「再生／一時停止」命令（Ｓ５０３ｄ）を外部装置１６へ供給するように構成可能である。装置１０は、回転ジェスチャ（Ｓ５０２ｃ）、握りジェスチャ（Ｓ５０２ｄ）および静止ジェスチャ（Ｓ５０２ｅ）に対応して、それぞれ、「ボリューム＋／−」命令（Ｓ５０３ｅ）、「リターン」命令（Ｓ５０３ｆ）および「メニュー／音声入力」命令（Ｓ５０３ｇ）を外部装置１６に供給するように構成可能である。このように、ユーザ１の種々のジェスチャを解釈可能であり、ユーザに関連する情報を、例えば外部装置の制御、例えばメディア装置または家庭機器の制御に利用するために抽出可能である。抽出された情報に基づいて、命令またはユーザ１に関連する他の情報を形成可能であり、これを外部装置１６に送信可能である。ジェスチャカテゴリおよびこのジェスチャカテゴリに関連する命令は単に一例にすぎず、カテゴリ分類および関連づけは上述した説明に限定されない。例えば、ジェスチャならびに静止性パターンは、複数の外部装置から個々の外部装置１６を識別するために用いることができる。例えば、複数のジェスチャは、複数の外部装置に関連づけることができ、または装置１０が外部装置１６への所定の配向を有するように方向づけるジェスチャは、外部装置１６の識別子として解釈することができる。

別の例によれば、装置１０が取得したユーザ１に関連する情報から、ユーザの発声を抽出、タグづけおよび記憶することができる。図６は、本開示の一実施形態にしたがった、ユーザの発声の検出および抽出のフローチャートである。例えば、プロセッサ１２は、先行して抽出されたユーザ１に関連する情報において、発話しようとするユーザ１の意図を識別した後、ユーザ１の発声の検出（Ｓ６００）を開始することができる。ユーザの発話の意図は、定置状態の検出および／または特定の定置状態のシーケンス（例えば連続する２つの"still"状態または３つ、４つ、５つもしくはそれ以上の"calm"状態のシーケンス）の検出に対応して、識別可能である。プロセッサ１２は、先に起動されていない場合、付加的なセンサ１４として１つもしくは複数のマイクロフォンを起動することができる（Ｓ６０１）。マイクロフォンは、ユーザ１からの音を検出し、プロセッサ１２への音に対応するオーディオデータを送信することができる。プロセッサ１２は、予め定められた期間にわたってユーザ１の声を検出できるかを判別可能である（Ｓ６０２）。プロセッサ１２がユーザ１の声に関連する音を識別しなかった場合、またはプロセッサ１２が予め定められた期間にわたって装置１０の周囲の環境雑音が音声認識にとって過度に大きいことを識別した場合には、ユーザの１つもしくは複数の発声を検出するプロセス６２０を（ブロックＳ６０３に示されているように）中止可能である。いくつかの例では、プロセス６２０の終了後、装置１０は異なるモードに移行できる。プロセッサ１２がユーザ１の声を識別した場合、プロセッサ１２は、オーディオ信号のオーディオデータをメモリ装置１７に記録可能である。プロセッサ１２は、記録されたオーディオデータを一時記憶し、オーディオデータからユーザの発声を抽出することができる（Ｓ６０４）。発声が、識別可能であり、かつ制御命令、タグ命令またはフリーテキスト（例えばアイデア、感想、思考など）として解釈可能であった場合（Ｓ６０５）、プロセッサは発声に基づいて応答を形成することができる。例えば、発声が制御命令（例えば「ＴＶをオンにする」）として解釈可能であった場合、装置１０は、有線もしくは無線の通信装置１５を用いて、外部装置１６を制御するための相応の制御命令を外部装置１６に送信可能である（Ｓ６０６）。他の例では、発声を他の命令（例えば「前進」「後進」「メニューアップ／ダウン」「再生／一時停止」「ボリュームアップ／ダウン」「リターン」「メニュー／音声入力」など）に相関させることができ、相応の制御命令を外部装置に送信することができる。制御命令は、外部装置１６に記憶されているユーザに関連するコンテンツを検索する指示を表すことができる。例えば、発声が、外部装置１６においてコンテンツにタグを付すタグ命令として解釈可能であった場合、装置１０は、有線／無線通信装置１５を用いてタグ命令を外部装置１６に送信することができる（Ｓ６０７）。例えば、コンテンツは、現時点で再生されるコンテンツまたは現時点でブロードキャストされるコンテンツであってよく、現時点で再生されないバックグラウンドタスクとして記録することもできる。

発声がフリーテキスト（例えばアイデア、感想、思考など）として解釈可能である場合、装置１０は、例えばストレージのために、有線／無線通信装置１５を用いて、（図示されていない）外部コンピュータにフリーテキストを送信することができる（Ｓ６０８）。装置１０は、１つもしくは複数の有線／無線通信装置１５を含むことができ、そのうち任意のいずれか１つを、任意の数の外部装置（例えば外部コンピュータまたは家庭機器）との通信のために特別に構成することができる。例えば、装置１０は、任意の数の外部装置の通信のため、ユーザのオーディオビジュアルデータを含む情報が外部コンピュータと通信されるよう、ＷｉＦｉ利用可能な通信装置を含むことができる。これに加えてまたはこれに代えて、装置１０は、他の通信プロトコル（例えばＢｌｕｅｔｏｏｔｈ、ＺｉｇＢｅｅ、いくつかのケースでは、制御命令を送信するためのＩＲ通信装置）に準拠して構成された通信装置を含んでもよい。Ｂｌｕｅｔｏｏｔｈの場合、例えば、当該装置１０を複数の外部装置に通信によって結合するために、種々のペアリング符号を用いることができる。

いくつかの例では、外部コンピュータがユーザ１に関連する情報（例えば、コンテクスト、過去のエントリ、ユーザの嗜好、ユーザの属性、ユーザのバックグラウンド情報など）のアーカイブを記憶し、フリーテキストに関連する情報を装置１０に供給することができる。例えば、情報は、外部装置１６に記憶されたコンテンツの１つもしくは複数のコンテンツ項目に関連づけることができる。例えば、情報は、キーワードまたはキーフレーズに関連する識別子であってよく、プロセッサ１２は、この識別子を用いて、オーディオデータ内から抽出されたキーワードまたはキーフレーズの発生回数を記憶することができる。キーワードまたはキーフレーズの発生回数に基づいて、プロセッサ１２は、ユーザ１に関連する抽出情報のための重みを供給する（例えば計算する、割り当てる）ことができ、この重みに少なくとも部分的に基づいて、指示を形成することができる。例えば、当該指示は、外部装置１６のマーク命令であってよく、装置は、コンテンツに、コンテクストを有するフリーテキスト、例えば重みをマーキングするためのマーク命令を送信することができる（Ｓ６０９）。例えば、指示は、装置１０がユーザ１との直接のユーザインタフェースインタラクションを実行することであってよく、装置１０はフィードバック（例えば灯明滅、音再生または振動）を直接にユーザ１に供給可能である（Ｓ６１０）。

装置１０の定置状態の検出およびユーザ１に関連する情報の抽出は、広汎なユーザインタラクションに利用可能である。図７は、本開示の一実施形態にしたがった、装置１０の定置状態におけるユーザ１に関連する情報の処理を含む、ユーザ１とのインタフェースを形成する方法のフローチャートである。装置１０は、スタンバイ状態に移行すべくパワーオン可能である（Ｓ７００）。近接センサ１１は、装置１０がスタンバイモード１００にある間、近傍にいるユーザ１を検出可能である（Ｓ７０１）。装置１０は、近傍にいるユーザ１の検出（Ｓ７０１）後、第１の静止性検出モードを導入可能であり、プロセッサ１２は、動きデータをプロセッサに周期的に供給するため、動きセンサ１３を起動可能である（Ｓ７０２）。ここでは初期化運動とも称しているトリガの動きに続いて（例えばユーザによる装置の把持の検出後）、プロセッサ１２は、第１の静止性検出モードにおける動きデータに基づいて、装置１０の定置状態Ｉを検出することができ、装置１０は、自身の定置状態の検出に応答して、第２の静止性検出モードを導入することができる（Ｓ７０３）。プロセッサ１２は、第２の静止性検出モードにおいて、センサ／出力装置１４から受信したユーザ１に関連する情報を処理できる。例えば、ユーザ１に関連する情報の処理結果は、テレビジョン（ＴＶ）をスイッチオンせよとの外部装置１６を制御するための命令を供給するよう、装置１０に促すことができ、装置１０は、有線／無線通信装置１５を介してＴＶに「スイッチオン」命令を送信することができる（Ｓ７０４）。スタンバイ状態のＴＶ（Ｓ７１０）は、「スイッチオン」命令を装置１０から受信でき、「スイッチオン」命令に応答してスタンバイ状態からアクティブ状態に移行できる（Ｓ７１１）。さらに、ユーザ１に関連する情報の連続処理により、装置１０に対し、ユーザ１に関連する情報から抽出されたＴＶに関連するデータをこのＴＶに供給するよう促すことができる。装置１０は、有線／無線通信装置１５を介して「スイッチオン」データをＴＶに送信することができる（Ｓ７０５）。ＴＶはデータを装置１０から連続して受信でき、受信したデータに対応してスクリーンにこのデータを表示することができる（Ｓ７１２）。

別の例では、装置１０の定置状態の検出およびユーザ１に関連する情報の抽出を、外部コンピュータとの協働において、種々のユーザインタラクションに適用可能である。図８は、本開示の一実施形態にしたがった、装置の定置状態におけるユーザに関連する情報の処理を含む、ユーザとのインタフェースを形成する方法のフローチャートである。装置１０は、定置状態に移行するようパワーオン可能である（Ｓ８００）。近接センサ１１は、装置１０がスタンバイモード１００にある間、近傍にいるユーザ１を検出することができる（Ｓ８０１）。装置１０は、近傍にいるユーザ１の検出（Ｓ８０１）後、第１の静止性検出モードを導入可能であり、プロセッサ１２は、動きデータをプロセッサに周期的に供給すべく、動きセンサ１３を起動可能である（Ｓ８０２）。ここでは初期化運動とも称されるトリガの動きに続いて（例えばユーザによる装置の把持の検出後）、プロセッサ１２は、第１の静止性検出モードにおける動きデータに基づいて装置１０の定置状態Ｉを検出できる。装置１０は、自身の定置状態の検出に対応して、第２の静止性検出モードを導入可能である（Ｓ８０３）。

プロセッサ１２は、第２の静止性検出モードにおいてセンサ／出力装置１４から受信した、ユーザ１に関連する情報を処理することができる（Ｓ８０３）。例えば、ユーザ１に関連する情報の処理結果により、装置１０に対し、テレビジョン（ＴＶ）である外部装置１６を制御して、ユーザ１に関連する情報に含まれている時間および場所をコンテンツにタグづけする「タグ」命令の供給を促すことができる。コンテンツは、ユーザ１に関連する情報によって明示的に特定可能であるか、または現時点で表示を行っているプログラムもしくは現時点で記録を行っているプログラムによって暗示的に識別可能である。装置１０は、有線／無線通信装置１５を介して、「タグ」命令と、時間、場所およびコンテンツ情報を含むタグ情報とをＴＶに送信することができる（Ｓ８０４）。スタンバイ状態にあるＴＶ（Ｓ８１０）は、装置１０から「タグ」命令およびタグ情報を受信可能であり、コンテンツ（例えばプログラム、ビデオクリップ、オーディオクリップなど）またはコンテンツ情報（例えば、コンテンツ項目のための「コンテンツテーブル（ＴＯＣ）」情報）を、内部でまたは外部アーカイブから回収することができる（Ｓ８１１）。外部アーカイブは、ローカル（例えばハードディスクレコーダ）であってもまたはグローバル（クラウドストレージ、インタネットリソース）であってもよい。コンテンツまたはコンテンツ情報が回収されると、ＴＶは、コンテンツまたはコンテンツ情報にタグ情報を関連づけることができる（Ｓ８１２）。さらに、ユーザ１に関連する情報の連続処理により、装置１０に対し、フリーテキストの抽出が含まれうるように促すことができる。フリーテキストは、コンテンツを考慮した、ユーザ１の感想、思考、アイデアなどであってよい。装置１０は、外部コンピュータにフリーテキストを送信することができる（Ｓ８０５）。同時に、装置１０は、ＴＶへの指示を送信して、このＴＶから、コンテンツを考慮したコンテンツ情報を外部コンピュータに送信させることができる（Ｓ８０５）。例えば、フリーテキストの送信および指示の送信は、同じ有線／無線通信装置１５を介して行うことができる。例えば、外部コンピュータへのフリーテキストの送信は、インタネット（例えばＷｉＦｉ、ＬＴＥなど）を介して行うことができ、ＴＶへの命令の送信は、命令の赤外送信によって行うことができる。ＴＶはコンテンツ情報を外部コンピュータに供給可能である（Ｓ８１３）。外部コンピュータは、装置１０からフリーテキストを、ＴＶからコンテンツ情報を受信可能であり、フリーテキストおよびコンテンツ情報を考慮したコンテクスト情報を取得可能である。例えば、プロセッサ１２は、フリーテキストを処理してユーザ１の内部情報、例えばユーザ１の感想、思考、アイデアなどを抽出し、このユーザ１の内部情報をコンテンツ情報に関連づけることができる。外部コンピュータは、ユーザ１の内部情報とコンテンツ情報との関連づけを記憶可能であり、さらに、このユーザ１の内部情報とコンテンツ情報との関連づけの記憶されたセットに基づいて、ユーザ１のコンテンツ情報を形成可能である（Ｓ８２１）。上述していないが、装置１０は、フリーテキストを、別の外部装置との関連づけなしに抽出して、外部コンピュータとの協働においてフリーテキストを処理することもできる。

図９は、本開示の一実施形態にしたがった装置１０００のブロック図である。装置１０００は、図２Ａ〜図２Ｅの装置９００を実現するために用いることができる。装置１０００は、インタフェースボード１０１０、電力領域１０３０および制御ボード１０５０を含むことができる。上述したように、インタフェースボード１０１０、電力領域１０３０および制御ボード１０５０のそれぞれは、装置１０００の下部に配置可能である。インタフェースボード１０１０は、その１つもしくは複数のセンサからユーザデータを受信可能な複数のコントローラ１０１２を含むことができる。例えば、コントローラ１０１２は、コンパス／加速度計１０１８、ジャイロスコープ１０２０、周囲光センサ１０２２、接触センサ１０２４および赤外センサ１０２６に結合可能であり、これらからデータを受信することができる。センサ１０１８，１０２０，１０２２，１０２４，１０２６は、対応するデータをコントローラ１０１２に供給可能である。コントローラ１０１２は、さらに、制御ボード１０５０に含まれているプロセッサ１０５２にデータを供給することができる。プロセッサ１０５２は、図１のプロセッサ１２を実現するために用いることができる。プロセッサ１０５２は、ここで説明しているように、データを用いて、ユーザ１に関連する情報を識別することができる。いくつかの例では、コントローラ１０１２が、プロセッサ１０５２へのデータの供給前にセンサから受信したデータをフィルタリングおよび／または修正できる。

上述したように、接触センサ１０２４は、ユーザ１が装置１０００に物理接触しているかを判別するために用いることができる。これに加えてもしくはこれに代えて、いくつかの例では、コンパス／加速度計１０１８およびジャイロスコープ１０２０により、ユーザ１が装置１０００に接触しているかを判別することができる。ジャイロスコープ１０２０は、例えば、ユーザ１が装置１０００に接触した結果、装置１０００が傾いたことを表す信号を供給することができる。このように、装置１０００は、接触センサ１０２４のタッチパッドが配置された位置でこの接触センサ１０２４がユーザ１との物理接触を全く検出していなくても、ユーザ１が装置１０００に物理接触しているかを判別できる。いくつかの例では、装置１０００が前後に揺動する変位の速度、周波数もしくは振幅を用いて、ユーザ１が装置１０００にどのように物理接触しているかを識別することができる。（大きな揺れに起因して）変位の速度もしくは周波数が低く、変位の振幅が大きい場合、これは例えばより力強い接触を表す。

インタフェースボード１０１０は、さらに、ユーザ１への視覚応答を供給可能なＬＥＤドライバ１０１６および複数のＬＥＤ１０１４を含むことができる。例えば、コントローラ１０１２は、ＬＥＤドライバ１０１６に１つもしくは複数のＬＥＤ１０１４を点灯させ、これにより特定の視覚応答の特別な光パターンを供給することができる。インタフェースボード１０１０はさらに、ユーザ１への聴覚応答を供給可能なスピーカ１０２８を含むことができる。聴覚応答は、以下に詳細に説明するように、オーディオ制御論理回路１０７０から受信された１つもしくは複数のオーディオ信号に基づいていてよい。

電力領域１０３０は、インタフェースボード１０１０と制御ボード１０５０との間に配置可能であり、ボードコネクタ１０３２およびバッテリ１０３４を含むことができる。ボードコネクタ１０３２は、インタフェースボード１０１０の対応する要素と制御ボード１０５０との間でデータを供給することができる。例えば、ボードコネクタ１０３２は、オーディオ制御論理回路１０７０からスピーカ１０２８への信号を供給することができる。簡明性のために、ボードコネクタ１０３２によって形成される特定の接続部は、図１０には示されていない。電力領域１０３０はさらに、図２Ａ〜図２Ｅのバッテリ９３０を実現するために適用可能なバッテリ１０３４を含むことができる。バッテリ１０３４は、電力を蓄積可能であり、および／または、装置１０００の１つもしくは複数の要素に電力を供給可能である。

制御ボード１０５０は、プロセッサ１０５２を含むことができる。一般に、プロセッサ１０５２は、装置１０００の動作を統括でき、装置１０００をここで説明したように動作可能にすべく、不揮発性メモリ１０５６に記憶された１つもしくは複数のコンピュータ可読指示を実行できる。プロセッサ１０５２は、制御ボード１０５０の１つもしくは複数の装置からデータを受信できる。例えば、プロセッサ１０５２は、カメラ１０５８、ネットワーク装置１０６６、無線ネットワーク装置１０６８および／またはオーディオ制御論理回路１０７０からデータを受信可能である。カメラ１０５８は、ユーザ１に関連する視覚情報、例えばユーザ１の顔の表情または自然なジェスチャを供給可能である。ネットワーク装置１０６６は、１つもしくは複数の有線ネットワーク、例えばＵＳＢネットワークもしくはＥｔｈｅｒｎｅｔネットワークと通信可能であり、無線ネットワーク装置１０６８は、１つもしくは複数の無線ネットワークと通信可能である。したがって、ネットワーク装置１０６６および／または無線ネットワーク装置１０６８により、プロセッサ１０５２は、有線ネットワークまたは無線ネットワークを用いて、１つもしくは複数の外部装置１０８０（例えばコンテンツ装置、例えばＴＶ、ストリーミング装置など）および外部コンピュータ１０８１と通信することができる。オーディオ制御論理回路１０７０は、１つもしくは複数のマイクロフォン１０７２に結合可能であり、ユーザ１に関連するオーディオデータ（例えば音声データ）を受信可能である。オーディオ制御論理回路１０７０は、プロセッサ１０５２にオーディオデータを供給し、プロセッサ１０５２からオーディオデータを受信することができる。オーディオデータは、マイクロフォン１０７２からプロセッサ１０５２に供給可能であり、プロセッサ１０５２からスピーカ１０２８に供給可能である。いくつかの例では、オーディオ制御論理回路１０７０は、１つもしくは複数のアナログディジタル変換器およびディジタルアナログ変換器を含むことができ、および／または、さらに１つもしくは複数のオーディオフィルタもしくはコーデックを含むことができる。制御ボード１０５０は、さらに、ユーザ１に対応して振動を形成可能なバイブレータ１０７８を含むことができる。例えば、プロセッサ１０５２は、バイブレータ１０７８を、振動応答中、特定の方式で振動させることができる。

制御ボード１０５０は、誘導性充電モジュール１０６０、充電制御論理回路１０６２および電力管理制御論理回路１０６４を含むことができる。充電シーケンス中、誘導性充電モジュール１０６０は、外部充電装置、例えば（図示されていない）充電マットもしくは充電ポートに結合可能であり、この充電マットから充電制御論理回路１０６２へ、受信した電荷を供給することができる。さらに、充電制御論理回路１０６２は、バッテリ１０３４を充電できる。バッテリ１０３４がフル充電されたかまたは誘導性充電モジュール１０６０がもはや外部装置に結合されていない場合、充電制御論理回路１０６２は充電シーケンスを終了することができる。電力管理制御論理回路１０６４は、装置１０００の要素への電力の割り当てを管理することができる。いくつかの例では、装置１０００は、誘導性充電のための（図示されていない）コイルを含むことができる。例えば、コイルは、タッチパッド、例えば図２Ｅのタッチパッド９０８に（例えばその上方または下方に）積層することができる。

いくつかの例では、装置１０００は、自身のモードにしたがって、１つもしくは複数の要素を選択的にイネーブルすることができる。このように、装置１０００は、電力利用効率を増大することができる。例として、装置１０００は、ユーザ１が近傍にいないことを判別して、スタンバイモードを導入することができる。このことに応答して、プロセッサ１０５２は、低電力動作（例えばスタンバイ状態）を導入可能である。少なくとも１つの実施形態では、電力管理制御論理回路１０６４は、例えば特定の時間量にわたってユーザ１が装置１０００の近傍にいないことに対応して、プロセッサ１０５２に低電力動作を導入させることができる。プロセッサ１０５２が低電力動作している（例えばスタンバイモードにある）間、コントローラ１０１２および装置１０００の１つもしくは複数の近接センサ、例えば赤外センサ１０２６またはマイクロフォン１０７２は、動作を続行できる。１つもしくは複数の近接センサが装置１０００の近傍にいるユーザ１を検出したことに対応して、プロセッサ１０５２は、低電力動作を離脱し、ユーザデータの処理を開始することができる。

いくつかの例では、装置１０００の他のフィーチャおよび／または要素を同様に選択的にイネーブルすることができる。例えば、装置１０００が図２の第２の静止性検出モード１２０においてユーザ１と接触しているかどうかに基づき、発話分析を（例えばプロセッサ１０５２によって）選択的にイネーブル可能である。別の例では、装置１０００が図２の第２の静止性検出モード１２０においてユーザ１と接触しているかどうかに基づき、カメラ１０５８を選択的にイネーブルすることができる。いくつかの例では、装置１０００は、自身が充電されているかどうかに基づき、いずれかのモードを選択可能である。このことに応答して、装置１０００は、自身の１つもしくは複数のフィーチャおよび／または要素を選択的にイネーブルできる。例えば、装置１０００は、充電中に利用可能な１つもしくは複数の無線ネットワークに接続したままとすることができる。これに加えてまたはこれに代えて、装置１０００は、充電中、外部コンピュータ１０８１にデータを転送および／またはバックアップすることができる。

いくつかの例では、インタフェースボード１０１０および制御ボード１０５０は、それぞれ集積回路であってよく、したがって、インタフェースボード１０１０および制御ボード１０５０の各要素は集積可能である。他の例では、１つもしくは複数の対応する要素は、インタフェースボード１０１０および制御ボード１０５０のどちらかに集積されるのでなく、別個にインストールすることもできる。さらに、特定の要素がインタフェースボード１０１０、電力領域１０３０または制御ボード１０５０に配置されると記載した場合、他の実施形態において装置１０００の要素を他の構成で配置できることは明らかである。例えば、コンパス／加速度計１０１８および／またはジャイロスコープ１０２０を制御ボード１０５０に含めることができ、および／または、マイクロフォン１０７２およびオーディオ制御論理回路１０７０をインタフェースボード１０１０に配置することができる。

本発明をいくつかの好ましい実施形態および例のコンテクストにおいて開示したが、開示した特定の実施形態を超えて本発明を他の代替的な実施形態および／または本発明の使用およびその明白な修正物および等価物へと拡張できることは、当該分野の技術者に理解されるであろう。加えて、本発明の範囲における他の修正物も、本開示に基づいて、当該分野の技術者に容易に理解されるであろう。また、各実施形態の特定の特徴および態様の種々の組み合わせもしくは部分的な組み合わせも本発明の範囲を形成でき、さらにその範囲に該当しうることも理解される。開示した発明の種々の様式を形成するために、開示した実施形態の種々の特徴および態様を相互に組み合わせ可能または相互に置換可能であることも理解されるべきである。したがって、ここで説明した少なくともいくつかの本発明の範囲は、上述した特定の開示の実施形態に限定されることを意図していない。

Claims (31)

1. ユーザとのインタフェースを形成する方法であって、
   装置の近傍にいるユーザを検出することと、
   近傍にいるユーザの検出に応答して、前記装置のスタンバイモードから前記装置の第１の静止性検出モードを導入することと、
   前記装置の初期化運動を検出することと、
   前記装置の前記初期化運動に応答して、前記初期化運動に続くある期間の間、前記装置の１つもしくは複数のセンサから動きデータを受信することと、
   前記初期化運動に続く前記装置の動きの欠如を検出するために、前記動きデータを処理することと、
   検出された前記動きの欠如に応答して、第２の静止性検出モードを導入することと、
   前記第２の静止性検出モードの間、前記装置により応答を供給することと、
   を含む、方法。
2. 前記１つもしくは複数のセンサは、動きセンサを含み、
   前記方法はさらに、
   前記第１の静止性検出モードの導入に応答して前記動きセンサを起動することを含む、
   請求項１記載の方法。
3. 前記装置は、接触センサを含み、
   前記装置の近傍にいるユーザを検出することは、該ユーザによる前記装置の前記接触センサへの接触を検出することを含む、
   請求項１または２記載の方法。
4. 前記装置は、赤外センサを含み、
   前記装置の近傍にいるユーザを検出することは、前記赤外センサからのセンサデータに基づいて、前記ユーザが前記装置の予め定められた範囲内にいるかを検出することを含む、
   請求項１または２記載の方法。
5. 前記応答は、前記装置により、視覚応答、聴覚応答または触覚応答を供給することを含む、
   請求項１から４までのいずれか１項記載の方法。
6. 前記応答を供給することは、
   外部装置に命令を送信することと、
   前記命令に応答して、前記外部装置が回収したユーザデータに基づく前記外部装置からの返信を受信することと、
   前記装置により、少なくとも部分的に前記返信に基づいてフィードバックを形成することと、
   を含む、
   請求項１から５までのいずれか１項記載の方法。
7. 前記方法はさらに、前記装置が前記第２の静止性検出モードにある間、前記ユーザに関連する情報を処理することを含む、
   請求項１から６までのいずれか１項記載の方法。
8. 前記装置が前記動きの欠如にある間、前記ユーザの前記情報を処理することは、前記装置の前記動きの欠如の１つもしくは複数の期間を検出することを含む、
   請求項７記載の方法。
9. 前記装置はさらに、マイクロフォンおよびメモリ装置を含み、
   前記情報を処理することは、
   前記マイクロフォンを用いて前記ユーザからの音声を検出することと、
   前記音声に対応するオーディオデータを前記メモリ装置に記録することと、
   を含む、
   請求項７または８記載の方法。
10. 前記装置はさらに、プロセッサを含み、
    前記方法はさらに、
    前記プロセッサにより、前記オーディオデータから情報を抽出することと、
    該抽出された情報に基づいて、前記ユーザに関連しかつ外部装置に記憶されたコンテンツを検索する指示を形成することと、
    前記外部装置に前記指示を送信することと、
    を含む、
    請求項９記載の方法。
11. 前記方法はさらに、
    前記抽出された情報を、前記外部装置に記憶されたコンテンツからの１つもしくは複数のコンテンツの項目に関連づける指示を形成することと、
    該指示を前記外部装置に送信することと、
    を含む、
    請求項１０記載の方法。
12. 前記方法はさらに、
    前記オーディオデータ内の前記抽出された情報の発生回数を計数することと、
    前記回数に基づいて前記抽出された情報の重みを供給することと、
    を含み、前記抽出された情報をコンテンツに関連づける前記指示は、少なくとも部分的に前記重みに基づく、
    請求項１１記載の方法。
13. 前記方法はさらに、前記第２の静止性検出モードで発生する１つもしくは複数の定置状態または非定置状態を含む前記装置の状態のシーケンスを記録することを含む、
    請求項１から１２までのいずれか１項記載の方法。
14. 前記方法はさらに、前記状態のシーケンスと複数の記憶されたシーケンスとを比較することにより、前記状態のシーケンスのパターンを求めることを含む、
    請求項１３記載の方法。
15. 前記状態のシーケンスのパターンを、前記装置の、下向け、上向け、折曲げ、伸展または回転に関連づける、
    請求項１４記載の方法。
16. 前記方法はさらに、前記ユーザが形成したシーケンスデータベースに前記状態のシーケンスを記憶させることを含み、
    前記パターンを求めることは、前記ユーザが形成したシーケンスデータベース内のシーケンスに基づく、
    請求項１４または１５記載の方法。
17. 前記パターンを求めることは、既存のシーケンスデータベース内のシーケンスに基づく、
    請求項１６記載の方法。
18. 前記方法はさらに、前記状態のシーケンスのパターンに基づいて外部装置への命令を形成し、該命令を前記外部装置に送信することを含む、
    請求項１４から１７までのいずれか１項記載の方法。
19. 前記方法はさらに、前記状態のシーケンスのパターンに基づいて複数の外部装置のうち１つを識別し、該識別された外部装置に前記命令を送信することを含む、
    請求項１８記載の方法。
20. 装置であって、
    当該装置の近傍にいるユーザを検出するように構成された近接センサと、
    近傍にいる前記ユーザの検出に応答して、当該装置にスタンバイモードから第１の静止性検出モードを導入させ、前記第１の静止性検出モードで前記装置の初期化運動を検出するように構成されたプロセッサと、
    前記第１の静止性検出モードでの前記装置の前記初期化運動に応答して、前記初期化運動に続くある期間の間、動きデータを供給するように構成された動きセンサと、
    を含み、
    前記プロセッサは、前記初期化運動に続く前記装置の動きの欠如を検出するために、前記動きデータを処理するように構成されており、さらに前記動きの欠如の検出に応答して前記装置に第２の静止性検出モードを導入させるように構成され、さらに前記第２の静止性検出モードの間、前記装置に応答を供給させるように構成されている、装置。
21. 前記近接センサは、受動赤外センサ、容量性センサ、ジャイロスコープ、加速度計、カメラ、マイクロ波センサ、超音波センサ、レーザーベースセンサ、光電式センサ、複数のマイクロフォン、圧力センサ、磁気センサ、熱センサ、レーダー、無線通信機能部またはこれらの組み合わせのうち１つである、
    請求項２０記載の装置。
22. 前記動きセンサは、ジャイロスコープ、加速度計、カメラ、受動赤外センサ、超音波センサ、容量性センサ、マイクロフォン、光電式センサ、熱センサ、圧力センサ、磁気センサ、心拍計またはこれらの組み合わせのうちいずれかである、
    請求項２０または２１記載の装置。
23. 前記装置はさらに、該装置が前記第２の静止性検出モードにある間、前記ユーザに関連する情報を記録するように構成されたメモリ装置を含む、
    請求項２０から２２までのいずれか１項記載の装置。
24. 前記装置はさらに、前記第２の静止性検出モードにおいて環境音を検出するように構成された少なくとも１つのマイクロフォンを含み、
    前記メモリ装置は、前記環境音を記録するように構成されており、
    前記プロセッサは、前記環境音から前記ユーザに関連する情報を抽出するように構成されている、
    請求項２３記載の装置。
25. 前記装置はさらに、前記ユーザの画像シーケンスを取得するように構成されたカメラを含み、
    前記メモリ装置は、前記ユーザの画像シーケンスを記憶するように構成されており、
    前記プロセッサは、前記画像シーケンスを再構成して前記画像シーケンス内の前記ユーザのジェスチャを解釈するように構成されており、さらに前記ユーザのジェスチャから該ユーザに関連する情報を抽出するように構成されている、
    請求項２３または２４記載の装置。
26. 前記動きセンサはさらに、前記第２の静止性検出モードで前記ユーザの動きデータのシーケンスを取得するように構成されており、
    前記メモリ装置は、前記ユーザの動きデータのシーケンスを記憶するように構成されており、
    前記プロセッサは、前記動きデータのシーケンスを再構成して前記動きデータのシーケンス内の前記ユーザのジェスチャを解釈するように構成されており、さらに前記ユーザのジェスチャから該ユーザに関連する情報を抽出するように構成されている、
    請求項２３から２５までのいずれか１項記載の方法。
27. 前記装置はさらに、前記ユーザに関連する情報に基づいて、外部装置の機能を表す命令を該外部装置に送信するように構成された無線送信器を含む、
    請求項２０から２６までのいずれか１項記載の装置。
28. 前記装置はさらに、発光ダイオード（ＬＥＤ）光を含み、
    前記プロセッサは、前記ユーザに関連する情報に基づき、ＬＥＤ光を応答として明滅させるように構成されている、
    請求項２０から２７までのいずれか１項記載の装置。
29. 前記装置はさらに、少なくとも１つのスピーカを含み、
    前記プロセッサは、前記ユーザに関連する情報に基づき、応答として、前記スピーカに音を形成させるように構成されている、
    請求項２０から２８までのいずれか１項記載の装置。
30. 前記装置はさらに、ハウジングおよびバイブレータを含み、
    前記プロセッサは、前記ユーザに関連する情報に基づき、応答として、前記バイブレータにより前記ハウジングを振動させるように構成されている、
    請求項２０から２９までのいずれか１項記載の装置。
31. 前記装置はさらに、少なくとも部分的に木材から形成されたエンクロージャを含む、
    請求項２０から３０までのいずれか１項記載の装置。

Images