WO2017094346A1

WO2017094346A1 - 情報処理装置、情報処理方法及びプログラム

Info

Publication number: WO2017094346A1
Application number: PCT/JP2016/079503
Authority: WO
Inventors: 高橋　慧
Original assignee: ソニー株式会社
Priority date: 2015-12-01
Filing date: 2016-10-04
Publication date: 2017-06-08
Also published as: US20180329505A1; US10754432B2

Abstract

ユーザーの利便性を損なうことなく、ジェスチャを高精度に認識する。本開示に係る情報処理装置は、ユーザーのジェスチャ操作に基づく操作情報を取得する取得部と、前記操作情報に基づいて処理を行う処理部とを備え、前記処理部は、第１のユーザー操作に基づく第１の操作情報を取得した場合に所定の処理を行い、第１のユーザー操作と関連する第２のユーザー操作に基づく第２の操作情報を取得して、第２のユーザー操作後の所定の時間内に行われた第３のユーザー操作に基づく第３の操作情報を取得した場合は、前記所定の処理を行う。

Description

情報処理装置、情報処理方法及びプログラム

　本開示は、情報処理装置、情報処理方法及びプログラムに関する。

　従来、例えば下記の特許文献１には、ジェスチャの予測情報を用いて、適切なジェス
チャフィードバックを行うことを想定した技術が記載されている。

特開２０１２－８７７２号公報

　腕時計型端末やその他のウェアラブル端末での動き認識ジェスチャは、ユーザーが端末のボタンやタッチパネルを直接操作しなくても操作でき、ユーザーに利便性を提供できる。しかし、ユーザーの動きが想定よりも小さかった場合は、操作できない場合が発生する。一方、ジェスチャ認識の条件を緩くすると、ジェスチャを認識させたくない状況でもジェスチャを認識してしまうケースが増加し、ユーザーにとっての利便性、満足度が低下してしまう問題がある。

　また、ユーザーの動きが想定しているジェスチャに類似していたが、ジェスチャと認識されなかった場合、ユーザーはジェスチャ認識を望んだ確率が高いと考えられるが、ジェスチャ認識をさせるためには現状では同じジェスチャを再び試すしか方法がない。

　また、ユーザーの動きを認識するセンサーとしては、加速度センサー、ジャイロセンサー、気圧センサー等があるが、全てのセンサーを同時に動かすと精度は上がる一方、消費電力が上昇してしまう問題がある。

　そこで、ユーザーの利便性を損なうことなく、ジェスチャを高精度に認識することが求められていた。

　本開示によれば、ユーザーのジェスチャ操作に基づく操作情報を取得する取得部と、前記操作情報に基づいて処理を行う処理部とを備え、前記処理部は、第１のユーザー操作に基づく第１の操作情報を取得した場合に所定の処理を行い、第１のユーザー操作と関連する第２のユーザー操作に基づく第２の操作情報を取得して、第２のユーザー操作後の所定の時間内に行われた第３のユーザー操作に基づく第３の操作情報を取得した場合は、前記所定の処理を行う、情報処理装置が提供される。

　また、本開示によれば、ユーザーのジェスチャ操作に基づく操作情報を取得することと、前記操作情報に基づいて処理を行うこととを備え、第１のユーザ操作に基づく第１の操作情報を取得した場合に所定の処理を行い、第１のユーザ操作と関連する第２のユーザ操作に基づく第２の操作情報を取得して、第２のユーザー操作後の所定の時間内に行われた第３のユーザ操作に基づく第３の操作情報を取得した場合に前記所定の処理を行う、情報処理方法が提供される。

　　また、本開示によれば、ユーザーのジェスチャ操作に基づく操作情報を取得する手段、前記操作情報に基づいて処理を行う手段、としてコンピュータを機能させるためのプログラムであって、第１のユーザ操作に基づく第１の操作情報を取得した場合に所定の処理を行う手段、第１のユーザ操作と関連する第２のユーザ操作に基づく第２の操作情報を取得して、第２のユーザー操作後の所定の時間内に行われた第３のユーザ操作に基づく第３の操作情報を取得した場合に前記所定の処理を行う手段、としてコンピュータを機能させるためのプログラムが提供される。

　本開示によれば、ユーザーの利便性を損なうことなく、ジェスチャを高精度に認識することが可能となる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態に係る端末装置の外観を示す模式図である。端末装置の機能構成を示すブロック図である。腕を振り上げたときに表示部１０２の表示画面が点灯する例を示す模式図である。腕を振り上げたときに表示部の表示画面が点灯する例を示す模式図である。腕を振り上げたときに表示部の表示画面が点灯する例を示す模式図である。腕を振り上げたときに表示部の表示画面が点灯する例を示す模式図である。ジャスチャ発火のためマイクロコンピュータによって実現される機能構成を示すブロック図である。図３Ａ～図３Ｄに示す処理を実現するための処理を示すフローチャートである。加速度センサーの検出値と、特徴量ｖとの関係を示す特性図である。ユーザーがジェスチャ発火のために行った動作（腕の振り上げ）が、第１の発火条件は満たさないが、第１の発火条件よりも緩い第２の発火条件を満たす場合は、端末装置にその旨を表示する例を示すフローチャートである。端末装置をタップするジェスチャに適用した例を示す模式図である。端末装置のユーザーの振り上げ動作に応じて発火条件のしきい値を変更する例を示すフローチャートである。本実施形態をヘッドマウントディスプレイ（ＨＭＤ）に適用した例を示す模式図である。テレビ受像機（ＴＶ）を操作する際に、ＴＶに設けられたカメラ、またはユーザーが手にするリモートコントローラの加速度センサーを用いたジェスチャ認識を行う例を示す模式図である。端末装置にメッセージが着信した際の動作を示す模式図である。端末装置にメッセージが着信した際の動作を示す模式図である。端末装置にメッセージが着信した際の動作を示す模式図である。端末装置にメッセージが着信した際の動作を示す模式図である。第２の実施形態における処理を示すフローチャートである。

　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

　なお、説明は以下の順序で行うものとする。
　１．第１の実施形態
　　１．１．端末装置の外観例
　　１．２．端末装置の機能構成
　　１．３．ジェスチャ発火の代表的な例
　　１．４．ジェスチャ発火の処理
　　１．５．ジェスチャ発火の処理の他の例
　　１．６．他のデバイスへの適用例
　２．第２の実施形態
　　２．１．ユーザーの操作履歴によるジェスチャ認識関数の変更について
　　２．２．通知によるジェスチャ認識関数の変更について
　　２．３．ユーザーの行動によるＬＰフィルターの変更について

　＜１．第１の実施形態＞
　［１．１．端末装置の外観例］
　図１は、本開示の一実施形態に係る端末装置１００の外観を示す模式図である。この端末装置１００は、表示部１０２（ディスプレイ）と加速度センサー等のセンサーを備えた腕時計型デバイスとして構成されており、スマートフォンやタブレット端末等と同様に、ウェブサイトの閲覧機能、メール機能、音楽や動画等の視聴機能、ＧＰＳ等による位置検出機能、ナビゲーション機能等を備えている。

　端末装置１００は、加速度センサー等のセンサーの値を常時センシングしていて、センサーの値をジェスチャ判定関数（ジェスチャ判定条件）に適用し、この結果によりジェスチャの発火、非発火を決定する。ジェスチャとして最も一般的な例として、腕を振り上げたときに画面が点灯するものがあげられる。他にも、腕をひねる、人差し指と中指をタップする等のジェスチャが挙げられる。

　［１．２．端末装置の機能構成］
　図２は、端末装置１００の機能構成を示すブロック図である。図２に示すように、端末装置１００は、表示部（出力部）１０２に加え、加速度センサー１０４、ジャイロセンサー１０６、バイブレータ（出力部）１０７、マイクロコンピュータ１１０、ＲＡＭ１２０、ストレージ（記憶部）１２２、無線接続部（無線通信部）１２４、メインＣＰＵ１３０、を有して構成されている。端末装置１００は、無線接続部１２４により親機のスマートフォンに接続したり、直接インターネットに接続することができる。

　加速度センサー１０４、ジャイロセンサー１０６は、一旦センサー処理用のマイクロコンピュータ１１０に接続され、その後メインの処理を行うメインＣＰＵ１３０（アプリケーションプロセッサ）に接続されている。センサー処理用のマイクロコンピュータ１１０で簡単なジェスチャの判別を行ってもよい。

　端末装置１００の起動中は、メインＣＰＵ１３０がアプリケーションプロセッサとして機能し、上述したウェブサイトの閲覧機能、メール機能、音楽や動画等の視聴機能、ＧＰＳ等による位置検出機能、ナビゲーション機能等を実行する。一方、端末装置１００は、一定時間ユーザーの操作が無い場合、電源をタイムアップ等によりオフにして、マイクロコンピュータ１１０により加速度センサー１０４、ジャイロセンサー１０６の検出値を常時センシングする。そして、これらのセンサーの検出値をジェスチャ判定関数に適用し、その結果によりジェスチャの発火、非発火を決定する。マイクロコンピュータ１１０はメインＣＰＵ１３０に比べて大幅に消費電力が小さいため、電源オフ時にメインＣＰＵ１３０を停止させ、マイクロコンピュータ１１０のみ起動しておくことで、消費電力を大幅に削減することができる。

　［１．３．ジェスチャ発火の代表的な例］
　端末装置１００の電源オフ時に、センサーの検出値に基づいてジェスチャが発火すると、端末装置１００の電源がオンとなり、表示部１０２の表示画面が点灯する。図３Ａ～図３Ｄは、ジェスチャの最も一般的な例として、腕を振り上げたときに表示部１０２の表示画面が点灯する例を示す模式図である。

　ここで、基本的な動作として、腕を振り上げたときの加速度センサー１０４の検出値が、画面を点灯させるためのジェスチャの判定値に比べて大きい場合、表示画面を点灯させる。一方、ユーザーが表示画面を点灯させようとしているにも関わらず、センサーの検出値が判定値に達していない場合、もう一度同じ動作をユーザーに行わせると、ユーザーにとって煩雑な動作が必要となり利便性が低下する。このため、本実施形態では、腕を振り上げたときのセンサーの検出値が、画面を点灯させるジェスチャの判定値に比べて少し小さかった時、ユーザーが手首を少し動かして止めると、画面を点灯させる。この様子を図３Ａ～図３Ｄに示す。

　先ず、図３Ａに示すように、ユーザーが端末装置１００を振り上げてジェスチャの発火を試したが、振り上げ量が足りず、図３Ｂに示すように表示部１０２の画面（バックライト）が点灯せず、あるいは画面に表示情報が表示されず、ジェスチャが発火しなかったものとする。この場合、図３Ｃに示すように、ユーザーがさらに端末装置１００をユーザーの側に近づける追加の小さなジェスチャを行うことにより、図３Ｄに示すように表示部１０２の表示画面が点灯し、ユーザーはジェスチャによる表示画面の点灯（表示情報の表示）という所望の動作を実現できる。

　図３Ａ～図３Ｄにおいて、第１、第２、第３の判定条件（ジェスチャ発火条件）について説明する。第１の判定条件は腕の振り上げ、第２の判定条件は第１の判定条件よりも緩い条件の腕の振り上げ、第３の判定条件は腕を振り上げた状態で腕の角度を変えたり、腕を軽く振るシェイクを行ったりしたことで発動（発火）する。また指タップ操作においては、第１の判定条件は人差し指と中指をタップさせる操作、第２の判定条件は第１の判定条件よりも緩い条件のタップ操作の検出、第３の判定条件は第２の判定条件よりは厳しいものの、第１の判定条件よりは緩い条件でタップ検出を行うものとする。なお、タップ操作については後述する。

　図３Ａ～図３Ｄに示す処理によれば、ユーザーがジェスチャにより表示画面を点灯しようとした場合に、腕の振り上げ量が少ないためにジェスチャが発火しなかった場合は、追加的な動作を行うことでジェスチャを発火させることができる。これにより、ユーザーは、ジェスチャが発火しなかった場合に、腕の振り上げを再度行うことなく、小さな動作でジェスチャを発火させることができる。

　一方、画面を点灯させるためのジェスチャの判定値を小さくすると、腕の振り上げ量が少ない場合であってもジェスチャを発火させることができる。しかし、この場合、例えばユーザーが電車内でつり革を握った場合など、ユーザーがジェスチャの発火を意図していない場合であってもジェスチャが発火してしまうことが想定される。

　従って、本実施形態の手法によれば、意図しないジェスチャの発火を確実に抑えるとともに、ジェスチャが発火しなかった場合は追加的な動作で確実にジェスチャを発火させることができる。

　［１．４．ジェスチャ発火の処理］
　図４は、ジャスチャ発火のためマイクロコンピュータ１１０によって実現される機能構成を示すブロック図である。図４に示すように、ジャスチャ発火のための構成として、加速度センサー１０４、センサー監視モジュール２３０、ジェスチャ判定モジュール２４０、表示モジュール（処理部）２２０を有する。

　図４に示す例では、加速度センサー１０４のセンサー値を、センサー監視モジュール２３０で処理する。センサー監視モジュール２３０は比較的簡単な処理のみを行う一方、低消費電力で動作することができる。また、必要に応じてジェスチャ判定モジュール２４０を起動して処理させる。センサー監視モジュール２３０で動きが検知された場合は、ジェスチャ判定モジュール２４０でジェスチャ判定が行われ、ジェスチャと認識された場合は処理部２２０によって表示モジュールや各種アプリケーションに通知が行われる。

　センサー監視モジュール２３０の処理は、運動ノイズ除去部２１４、判定関数取得部２１６、しきい値判定部２１８に分離できる。先ず、加速度センサー１０４からの三次元の入力は、運動ノイズ除去部２１４でノイズ除去が行われ、判定関数取得部２１６でノルム計算など一次元の値に変換される。さらにしきい値判定部２１８でしきい値との比較を行い、しきい値の条件を満たす場合はジェスチャ判定モジュール２４０を起動して詳細な処理を行う。運動ノイズ除去部２１４としては、低域通過フィルター（ローパスフィルタＬＰＦ）が一例として挙げられ、加速度センサー１０４の検出値からノイズなどの高周波成分（運動ノイズ）を除去する。図４に示す構成要素は、回路（ハードウェア）、またはマイクロコンピュータ１１０と、これを機能させるためのプログラム（ソフトウェア）によって構成されることができる。運動ノイズ除去部２１４は、例えばローパスフィルタ（ＬＰＦ）によって構成され、

　図５は、図３Ａ～図３Ｄに示す処理を実現するための処理を示すフローチャートである。図５に示す処理は、主としてマイクロコンピュータ１１０において行われる。先ず、ステップＳ１０では、ユーザーにより第１の操作が行われる。ここで、第１の操作は、腕を振り上げる動作に相当する。次に、ステップＳ１１では、加速度センサー１０４の検出値を取得する。次のステップＳ１２では、第１ジェスチャ判定に用いる特徴量ｖを算出する。次のステップＳ１４では、特徴量ｖがジェスチャの発火条件を満たすか否かを判定し、ジェスチャの発火条件を満たす場合はステップＳ１６へ進み、ジェスチャを発火させる。

　図６は、加速度センサー１０４の検出値と、特徴量ｖとの関係を示す特性図である。図６において、２種類の破線で示すそれぞれの特性は、加速度センサー１０４のセンサー値を示しており、ｘｙ軸方向の加速度ｘｙとｚ軸方向の加速度ｚをそれぞれ示している。センサー値取得部２１２は、図５のステップＳ１１において、図６の破線で示す特性を取得する。図６の２つの実線で示すそれぞれの特性（太線、細線）は、運動ノイズ除去部２１４でノイズを除去した後の加速度センサー１０４のセンサー値を示しており、細線はｘｙ軸方向のセンサー値ＬＰ（ｘｙ）、太線はｚ軸方向のセンサー値ＬＰ（ｚ）をそれぞれ示している。判定関数取得部２１６は、図５のステップＳ１２において、運動ノイズ除去部２１４によってノイズなどの高周波成分が除去され、一次元の値に変換された、図６に実線で示す特性を取得する。図６に実線で示す特性は、特徴量ｖに相当する。

　また、図６において、２種類の一点鎖線で示すそれぞれの特性は、実線で示す特性を判定するためのしきい値を示しており、ｘｙ軸方向の特性を判定するためのしきい値ＴＨ＿ｘｙと、ｚ軸方向の特性を判定するためのしきい値ＴＨ＿ｚを示している。しきい値判定部２１８は、図５のステップＳ１４において、図６に実線で示す特性ＬＰ（ｘｙ），ＬＰ（ｚ）と各しきい値ＴＨ＿ｘｙ，ＴＨ＿ｚを比較し、特性ＬＰ（ｘｙ），ＬＰ（ｚ）の値が各しきい値ＴＨ＿ｘｙ，ＴＨ＿ｚを超えているか否かに基づいて、ジェスチャの発火条件を満たすか否かを判定する。しきい値ＴＨ＿ｘｙ，ＴＨ＿ｚを予め所望の値に設定し、登録しておくことで、第１の操作（端末装置１００を振り上げる操作）がジェスチャの発火条件を満たすか否かを判定することができる。処理部２２０は、しきい値判定部２１８によってジェスチャの発火条件が満たされたことが判定されると、ジェスチャを発火する処理を行う。また、処理部２２０は、ジェスチャの発火条件が満たされると、アプリケーションの状態を変化させたり、発火条件が満たされた旨の情報を出力する処理を行う。

　図５のステップＳ１４で特徴量ｖがジェスチャの発火条件を満たさない場合はステップＳ１８へ進む。ステップＳ１８では、特徴量ｖが第２の発火条件を満たすか否かを判定し、第２の発火条件を満たす場合はステップＳ２０へ進む。第２の発火条件は、第１の発火条件と類似するジェスチャを検出する条件であり、第１の発火条件よりも緩い条件である。つまり、第１の発火条件を満たす場合は常に第２の発火条件を満たす一方、第２の発火条件を満たす場合であっても第１の発火条件を満たさない場合があり、第２の発火条件は第１の発火条件に含まれる関係にある。一方、第２の発火条件は、第１の発火条件と異なるジェスチャを検出する条件であっても良い。一方、ステップＳ１８で第２の発火条件を満たさない場合は、処理を終了する。ステップＳ１８では、しきい値判定部２１８は、しきい値ＴＨ＿ｘｙ，ＴＨ＿ｚよりも判定条件の緩いしきい値を用いて判定を行う。

　次のステップＳ２０において、ユーザーが第２の操作を行うと、次のステップＳ２１では加速度センサー１０４の検出値を取得する。ここで、第２の操作は、図３Ｃに示した端末装置１００をユーザーの側に近づけるジェスチャに相当する。ステップＳ２１の後はステップＳ２２へ進み、第２ジェスチャ判定に用いる特徴量ｕを計算する。特徴量ｕは、特徴量ｖと同様に、図６に実線で示す特性ＬＰ（ｘｙ），ＬＰ（ｚ）に相当する。

　次のステップＳ２４では、特徴量ｕが第３の発火条件を満たすか否かを判定し、第３の発火条件を満たす場合はステップＳ２６へ進み、ジェスチャを発火させる。第３の発火条件を満たすジェスチャは、例えば図３Ｃに示したような、端末装置１００をユーザーの側に近づける追加の小さなジェスチャである。一方、ステップＳ２４で第３の発火条件を満たさない場合は、処理を終了する。

　ステップＳ２４では、しきい値判定部２１８は、しきい値ＴＨ＿ｘｙ，ＴＨ＿ｚとは異なるしきい値を用いて判定を行う。ｘｙ軸方向の特性を判定するためのしきい値ＴＨ＿ｘｙと、ｚ軸方向の特性を判定するためのしきい値ＴＨ＿ｚを予め所望の値に設定し、登録しておくことで、図３Ｃに示した端末装置１００をユーザーの側に近づけるジェスチャを検出することができる。

　図５の処理では、第１の操作についてのジェスチャ判定を特徴量ｖに基づいて用いて行うが、特徴量ｖが１回目の通常の発火条件（ステップＳ１４）を満たさなかった場合、第２の発火条件をチェックする（ステップＳ１８）。第２の発火条件は第１の発火条件よりも緩い発火条件であり、第１の発火条件で発火するケースであれば第２の発火条件は全て発火する。これに加えて、第１の発火条件に似ている動きであるが第１の発火条件を満たさない動きも第２の発火条件を発火するように構成されている。換言すれば、第２の発火条件は、第１の発火条件を包含するより緩い条件である。特徴量ｖが第２の発火条件を満たす場合、それ以降の加速度センサー１０４の値を検知し（ステップＳ２１）、ユーザーが追加のジェスチャを試した場合、第１の発火条件とは異なる第３の発火条件で評価し（ステップＳ２４）、これを満たす場合はジェスチャを発火させる（ステップＳ２６）。

　従って、ユーザーがジェスチャ発火のために行った動作（腕の振り上げ）が、第１の発火条件は満たさないが、第１の発火条件よりも緩い第２の発火条件を満たす場合は、追加的な簡単なジェスチャが第３の発火条件で評価される。そして、追加的なジェスチャが第３の発火条件を満たす場合は、ジェスチャが発火する。これにより、ユーザーがジェスチャを発火させようとした場合に、腕の振り量が少なくてジェスチャが発火しなかった場合は、追加的なジャスチャを行うことでジャスチャを確実に発火させることができる。なお、ユーザーがジェスチャ発火のために行った動作（腕の振り上げ）が第２の発火条件を満たした場合、ユーザーがジェスチャ発火のために行った動作（腕の振り上げ）と同時、又はユーザーがジェスチャ発火のために行った動作から所定の時間内に追加的なジェスチャが行われた場合は、ジェスチャが発火する。この場合に、ユーザーがジェスチャ発火のために行った動作（腕の振り上げ）を実行してからその動作情報が実際に取得されるまでのタイムラグ、又は追加的なジェスチャを実行してからその動作情報が実際に取得されるまでのタイムラグがあることも想定される。このため、腕の振り上げと追加的なジェスチャの双方の操作情報が同時に取得される場合、異なるタイミングで取得される場合の双方が想定できる。

　［１．５．ジェスチャ発火の処理の他の例］
　図７は、ユーザーがジェスチャ発火のために行った動作（腕の振り上げ）が、第１の発火条件は満たさないが、第１の発火条件よりも緩い第２の発火条件を満たす場合は、端末装置１００にその旨を表示する例を示すフローチャートである。また、図７は、ユーザーがジェスチャ発火のために行った動作（腕の振り上げ）が、第１の発火条件は満たさないが、第１の発火条件よりも緩い第２の発火条件を満たす場合は、ジャイロセンサー１０６を起動して発火条件を緩める例を示している。

　先ず、ステップＳ３０では、ユーザーにより第１の操作が行われる。ここで、第１の操作は、腕を振り上げる動作に相当する。次に、ステップＳ３１では、加速度センサー１０４の検出値を取得する。次のステップＳ３２では、第１ジェスチャ判定に用いる特徴量ｖを算出する。次のステップＳ３４では、特徴量ｖがジェスチャの発火条件を満たすか否かを判定し、ジェスチャの発火条件を満たす場合はステップＳ３６へ進み、ジェスチャを発火させる。

　一方、ステップＳ３４で特徴量ｖがジェスチャの発火条件を満たさない場合はステップＳ３８へ進む。ステップＳ３８では、特徴量ｖが第２の発火条件を満たすか否かを判定し、第２の発火条件を満たす場合はステップＳ４０へ進む。一方、ステップＳ３８で第２の発火条件を満たさない場合は、処理を終了する。

　ステップＳ４０では、ユーザーに対し、ジェスチャは認識されたが、ジェスチャ発火のしきい値に足りないことをユーザーに通知する。このユーザーへの通知は、表示部１０２へ表示する、バイブレータ１０７を起動する、等の方法により行うことができる。つまり、表示部１０２、バイブレータ１０７は、次のステップＳ４３における第２の操作を促すための出力部として機能する。また、ユーザーへの通知は、端末装置１００のバックライトを一瞬点灯したり、バイブレータ１０７を短く振動したりして、ユーザーにジェスチャ発火のしきい値が小さくなることを示してもよい。あるいは、振り上げジェスチャではなく、画面表示中の指タップジェスチャやテレビでのジェスチャ操作の場合は、画面上にユーザーに再操作を促す表示を行ってもよい。このようにして、ジェスチャ発火のしきい値に足りないことをユーザーに通知する出力情報が出力される。一例として、出力情報は、表示部１０２に表示するための表示情報、音声情報、またはバイブレータを制御するための情報である。また、出力情報は、味覚、嗅覚などの情報を含む、五感のいずれかで検出される情報であっても良い。

　次のステップＳ４２では、端末装置１００のセンサーのモードを変更し、ジャイロセンサー１０６を起動する。次のステップＳ４３では、ステップＳ４０の通知を受けたユーザーが第２の操作を行う。第２の操作は、図３Ｃに示した端末装置１００をユーザーの側に近づけるジェスチャに相当する。

　次のステップＳ４４では、加速度センサー１０４、ジャイロセンサー１０６の検出値を取得する。

　ステップＳ４４の後はステップＳ４６へ進み、第２ジェスチャ判定に用いる特徴量ｕを計算する。次のステップＳ４７では、特徴量ｕが第３の発火条件を満たすか否かを判定し、第３の発火条件を満たす場合はステップＳ４８へ進み、ジェスチャを発火させる。第３の発火条件を満たすか否かの判定は、加速度センサー１０４の検出値に加え、ジャイロセンサー１０６の検出値を用いて行われる。一方、ステップＳ４７で第３の発火条件を満たさない場合は、処理を終了する。ステップＳ４０の報知を行った場合は、ユーザーが第２の操作を行う可能性が高くなるため、第３の発火条件を満たすか否かの判定条件を通常の条件（図５のステップＳ２４）よりも緩くしても良い。このように、ジェスチャの発火条件は動的に変更することができる。このような判定条件（しきい値）の変更は、しきい値変更条件に基づいてしきい値を変更するしきい値変更部によって行われる。しきい値変更部は、一例としてしきい値判定部２１８、処理部２２０に含まれることができる。

　図７の処理によれば、ユーザーの動作（腕の振り上げ）が、第１の発火条件は満たさないが、第１の発火条件よりも緩い第２の発火条件を満たす場合は、表示部１０２へ表示を行う、バイブレータ１０７を駆動する、などの方法で通知を行うことで、ユーザーに発火条件が緩和されることを通知する。従って、ユーザーに対して第１の操作が僅差で第１の発火条件を満たさなかったこと、発火条件が緩和されることを通知することができる。通知を受けたユーザーは、追加的な動作を行うことでジャスチャが発火することを認識することができ、ステップＳ４３で第２の操作を行う。これにより、第２の操作による特徴量ｕが第３の発火条件を満たすことで、ジェスチャを発火させることができる。

　また、図７の処理によれば、通常時は加速度センサー１０４のみでジェスチャ検知を行っているが、ユーザーの第１の操作が振り上げ動作に類似していた場合、通常は使用していないジャイロセンサー１０６も起動して次の第２の操作の検出に利用することができる。これにより、第２の操作の検出の精度を高めることができ、結果としてジェスチャ検出の要件を緩和できる。なお、図７では、ジャイロセンサー１０６を併用して第２の操作を検出する際の発火条件を緩和しているが、第２の操作を検出する際の判定条件のしきい値ＴＨ＿ｘｙ，ＴＨ＿ｚ自体を緩和しても良い。

　また、上述した例では、ユーザーの第１の操作が振り上げ動作に類似していた場合、ジャイロセンサー１０６も起動して次の第２の操作の検出に利用しているが、加速度センサー１０４のサンプリング周波数を一時的に上げたり、マイクロコンピュータ１１０、メインＣＰＵ１３０のクロックを上げるなどして端末装置１００、またはセンサーのモードを一時的に変更し、第２の操作を検出する際の認識精度を上げるようにしても良い。加速度センサー１０４はサンプリング周波数を上げることでより高精度な検出値を得られるが、消費電力も上がってしまう。このため、新たな起動したセンサーや、一度変更したモードについては、一定のタイムアウト時間が経過した場合、又は２回目のジェスチャ検知で発火した場合、新たに起動したセンサーを停止したり、モードを元に戻すものとする。

　なお、上述した例では、ユーザーが腕を振り上げるジェスチャを行った場合の適用例について説明したが、腕を振り上げるジェスチャの他に、ユーザーが端末装置１００に指をタップしたことを検出するジェスチャにも適用可能である。図８は、端末装置１００をタップするジェスチャに適用した例を示す模式図であり、指タップでアラームを止める機能における例を示している。この例では、ユーザーがアラームを止めるために人差し指と中指をタップさせる指タップ操作を行ったが、タップの強さが足りず、アラームを止める動作が実際には行われなかったものとする。

　例えば、端末装置１００が時刻を知らせるアラームを発生させ、ユーザーがアラームを停止するため指タップ操作を行ったが、タップが弱くて第１の発火条件に反応しなかった場合、システムがこのタップ操作が意図的なものか判断できなかったため、タップが第２の発火条件を満たしていれば、表示部１０２の画面上にタップが試されたことを示すとともに、且つ再タップを促すアニメーション（Ｔａｐ　Ａｇａｉｎ）を表示する。さらに、アニメーションが表示されている間は、タップを検出するためのしきい値を低くする。これにより、ユーザーが次回のタップを容易に行えるようにするとともに、タップが第３の発火条件を満たしている場合は、次回のタップを容易に検出することができる。

　一方、タップが弱くて第１の発火条件に反応しなかった場合であっても、タイムアウトが経過すると、アニメーション（Ｔａｐ　Ａｇａｉｎ）の表示は消えて、一時的に適用されていた第３の判定条件ではなく、第１の判定条件が再び適用されるようになる。

　図８のように文字列を表示する他には、端末装置１００のボタンの色が変わったり、変形したり、あるいはジェスチャの判定関数自体をゲージとして表示して、ユーザーにもう少し追加が必要であることをビジュアルで示すこともできる。また、テレビや大画面ディスプレイで手のひらを左右に動かすことによって画面上のメニューをめくる操作に適用した場合、メニューが腕を動かした方向に変形しているような表示がされることで、ユーザーにもう一度ジェスチャをすることを促すようにしても良い。タイムアウトが経過すると、メニューの変形は元に戻る。

　［１．６．他のデバイスへの適用例］
　上述した例では、端末装置１００として腕時計型のデバイスを例示したが、ヘッドマウントディスプレイやワイヤレスレシーバー等、頭部に装着してユーザーの動きを検知して端末を操作するデバイスに適用することもできる。図１０は、本実施形態をヘッドマウントディスプレイ（ＨＭＤ）２００に適用した例を示す模式図である。ヘッドマウントディスプレイ２００では、内蔵された加速度センサー、カメラ、ＩＲ等のセンサーにより、ユーザーの頷きや首振り等のジェスチャを取得することができる。ワイヤレスレシーバーの場合も同様である。このようなジェスチャに対して、上述した腕時計型デバイスと同様の処理を行うことができる。

　図１１は、テレビ受像機（ＴＶ）３００（またはプロジェクター等）を操作する際に、ＴＶ３００に設けられたカメラ３１０、またはユーザーが手にするリモートコントローラの加速度センサーを用いたジェスチャ認識を行う例を示す模式図である。この例では、ユーザーが腕、頭、その他、体を動かす操作を行うことで、カメラ３１０または加速度センサーがジェスチャを認識し、ＴＶ３００を操作できる。カメラ３１０がジェスチャを認識する場合は、図４の構成において、カメラ３１０が検出したジェスチャがセンサー監視モジュール２３０に送られてジェスチャ判定が行われる。ユーザーへのフィードバックはＴＶ３００の画面や音、照明で行うことができる。例えば手のひらを上げ下げするジェスチャによってボリュームを上下させたり、手のひらを左右に動かしてメニューを選択したり、画面を指差すことで電源をオン、オフすることができる。また、本実施形態はゲーム内でのジェスチャ操作にも適用が可能である。例えば、リモートコントローラを左右に振って視点を変える操作も、ゲーム内の場面に応じてジェスチャ発火条件を変えることで、快適な操作を実現できる。他のプレーヤーと会話しているときには、視点を代えにくくして、移動中は機敏に変えられるようにするなどの適用も可能である。武器で攻撃する操作も、敵を目の前にした時により簡単に行えるようにすると、快適にプレイすることができる。

　＜２．第２の実施形態＞
　［２．１．ユーザーの操作履歴によるジェスチャ認識関数の変更について］
　次に、本開示の第２の実施形態について説明する。第２の実施形態に係る端末装置１００の基本的な構成は、第１の実施形態と同様である。第２の実施形態では、端末装置１００の様々な状況に応じてジェスチャ発火条件を変更する。最初に、ユーザーの操作履歴によるジェスチャ認識関数の変更について説明する。

　上述した腕を振り上げるジェスチャを行う場合に、振り上げの動作の強弱はユーザーによって個人差がある。つまり、ジェスチャ操作は、動きがはっきりしているユーザーと、動きが弱いユーザーなど個人差がある。しかし、端末装置１００を当初から個々のユーザーの違い応じてカスタマイズするのは困難なので、使用中の操作ログをもとにジェスチャの反応関数をユーザーに合うように変えていく。図９は、ジェスチャの反応関数を変更する処理を示すフローチャートである。

　先ず、ステップＳ５０では、ユーザーにより第１の操作が行われる。ここで、第１の操作は、腕を振り上げる動作に相当する。次に、ステップＳ５１では、加速度センサー１０４の検出値を取得する。次のステップＳ５２では、第１ジェスチャ判定に用いる特徴量ｖを算出する。次のステップＳ５４では、特徴量ｖがジェスチャの発火条件を満たすか否かを判定し、ジェスチャの発火条件を満たす場合はステップＳ５６へ進み、ジェスチャを発火させる。ステップＳ５６でジェスチャが発火した場合でも、ステップＳ５４の条件を大きな余裕を持って満たしていた場合と、わずかな差で満たしていた場合がある。前者の場合はユーザーがはっきりしたジェスチャを行う傾向があると考えられ、後者の場合は弱い動きでジェスチャを行う傾向があると考えられる。そこで、ステップＳ５６の後はステップＳ５７へ進み、ステップＳ５４の条件を大きな余裕を持って満たしていたか、若しくはわずかな差で満たしていたかという情報をもとに、ステップＳ５４で用いる判定関数を更新する。この変更は毎回、または一定回数のログが溜まるごとに行われる。

　一方、ステップＳ５４で特徴量ｖがジェスチャの発火条件を満たさない場合はステップＳ５８へ進む。ステップＳ５８では、特徴量ｖが第２の発火条件を満たすか否かを判定し、第２の発火条件を満たす場合はステップＳ６０へ進む。第２の発火条件は、第１の発火条件よりも緩い条件である。一方、ステップＳ５８で第２の発火条件を満たさない場合は、処理を終了する。

　ステップＳ６０では、ジェスチャが発火しないため、ユーザーが画面タップをしたり、手動で電源ボタンを操作して端末装置１００の電源を入れるなどして、ジェスチャで達成しようとしたのと同等な操作を行う。この操作が行われた場合、ステップＳ５０で行われた当初のジェスチャ操作は、ユーザーが意図したもので、それを発火させるべきだったと考えられる。このため、ステップＳ６２では、ステップＳ５４で使用する判定関数を更新し、判定関数を緩くする。次のステップＳ６４では、判定関数が更新されたことを画面表示でユーザーに通知する。

　以上のように図９のフローチャートによれば、第１の操作が発火しなかった場合、ユーザーが電源ボタンを押して端末装置１００を起動するなどして所望の操作を実現したときは、次回からのジェスチャ発火の判定しきい値を変更することができる。従って、ユーザーの動作の強弱に個人差がある場合であっても、ジェスチャ発火のためのしきい値を最適に調整することが可能となる。

　［２．２．通知によるジェスチャ認識関数の変更について］
　次に、通知によるジェスチャ認識関数の変更について説明する。上述したように、端末装置１００はメール機能を備えている。メールによりメッセージが着信すると、ユーザーが振り上げ動作により端末装置１００を起動させようとする可能性が高くなる。このため、第２の実施形態では、振り上げによるジェスチャ発火において、メッセージの着信の情報を利用してジェスチャ発火の判定関数を変更する。

　具体的には、端末装置１００にメッセージの着信があり、この着信をユーザーに振動で通知してから一定時間は、腕の振り上げジェスチャの判定条件を緩くして、普段は反応しない動きでも振り上げとして反応するようにしておく。これにより、この一定時間内にユーザーが腕を振り上げてメッセージを確認しようとした場合、容易に画面を点灯することができ、メッセージの閲覧など所望の操作を実現できる。

　図１２Ａ～図１２Ｄは、端末装置１００にメッセージが着信した際の動作を示す模式図である。図１２Ａは、通常の表示を示しており、この状態では表示部１０２に時刻が表示されている。端末装置１００にメッセージが着信すると、図１２Ｂに示すように、バイブレータ１０７による振動とともに、表示部１０２の画面にメッセージの一部が表示され、ユーザーにメッセージが到着したことが通知される。次に、ユーザーが腕を振り上げたり、画面をタップしたりすることで、図１２Ｃに示す状態に移行し、ユーザーはメッセージの詳細を確認することができる。一方、図１２Ｂに示す状態から、ユーザーが腕の振り上げや画面タップを一定時間行わず放置した場合、画面は図１２Ｄの状態に移行して時計表示に戻り、簡単な通知アイコンが表示される。

　図１３は、第２の実施形態における処理を示すフローチャートである。先ず、ステップＳ７０では、端末装置１００のユーザー宛にメッセージが到着する。次のステップＳ７２において、端末装置１００のシステムは、メッセージが到着したことをユーザーに知らせるために、画面表示、ＬＥＤ点灯、振動などでユーザーに通知を行う。次のステップＳ７４では、ユーザーが端末装置１００を確認するために振り上げジェスチャを行う。次のステップＳ７６では加速度センサー１０４のセンサー値を取得して、次のステップＳ７７ではジェスチャ判定に用いる特徴量ｖを計算する。

　ステップＳ７８では、直前の未確認通知が来てから一定時間が経過しているか否かを確認し、一定時間内に未確認の通知があった場合はステップＳ８０へ進み、通常より判定条件がゆるい第２判定関数でジェスチャ振り上げを判定する。この結果、ジェスチャと判定されると画面を点灯させる（ステップＳ８４）。

　一方、ステップＳ７８で一定時間が経過していた場合は、ステップＳ８２へ進み、通常の第１判定条件による振り上げ判定を行う。この結果、ジェスチャと判定されると画面を点灯させる（ステップＳ８６）。

　これにより、メッセージを通知した後にユーザーがそれを確認しようとした場合、通常より判定条件がゆるい第２判定関数が適用されるため、ユーザーが振り上げに失敗する可能性が下がり、利便性、可用性が向上する。

　ステップＳ７８において、判定関数の選択に用いる条件としては、メッセージ着信の他に、以下のような要素が挙げられる。
（１）メッセージ内容：宛先が特定の人の場合は緊急通知として判定関数を緩くする。宣伝メールの場合は判定関数を緩くしない（厳しくする）。
（２）電話着信、アラーム：電話着信中に腕の振り上げが行われた場合は判定関数を緩くする。アラームが鳴っている時も判定関数を緩くする。
（３）スケジュール、位置、行動：スケジュールやＧＰＳ、加速度センサー１０４から判断した行動解析の結果、例えば映画鑑賞中の場合は判定関数を緩くしない（厳しくする）。移動中や予定と予定の間、予定の終わりごろには判定関数を緩くする。深夜は判定関数を緩くしない。朝は判定関数を緩くする。例えば、列車への乗車時刻、会議の開催時刻などが予め端末装置１００に登録されていれば、その時刻の前にはユーザーが腕を振り上げて表示部１０２上の表示画面を見る可能性が高くなる。従って、ジェスチャの判定関数を緩くすることで、ユーザーが乗車時刻、または会議開催時刻の前に腕を振り上げた際に確実に点灯させることが可能となる。
（４）アプリケーションや場面：同じジェスチャであっても、その操作の重要度によって判定関数を変更する。例えばメッセージの送信ボタンを指タップで操作する場合は、誤送信してしまった場合は問題が大きいので、判定関数を厳しくする。メッセージや予定の削除の操作をする場合も、判定関数を厳しくする。一方、通知を既読にする操作は、頻繁に行い重要度も高くないので判定関数を緩くする。
（５）ユーザーの履歴：位置や時間、曜日等に応じて、ユーザーが画面を見た履歴がある場所、時間、曜日では、判定関数を緩くする。
（６）バッテリの状態：バッテリ残量が少ない場合はジェスチャの判定条件を厳しくすることで、表示画面を点灯し難くすることができ、バッテリ残量の低下を抑えることができる。

　なお、ステップＳ７２の表示において、ユーザーにジェスチャが認識しやすくなっていることを示すような表示（ＵＩ）にしても良い。また、ステップＳ７８の判定からステップＳ８０に進んで第二判定関数が適用されるのは、図１２Ｂの期間に対応していて、ユーザーもこの期間は簡単な振り上げでジェスチャが発動するのを知ることが出来る。

　［２．３．ユーザーの行動によるＬＰフィルターの変更について］
　次に、ユーザーの行動によるＬＰフィルターの変更について説明する。ジェスチャ判定を高精度に行うためには、ユーザーが意図してジェスチャを行った操作と、それ以外の操作を分離する必要がある。この分離のため、運動ノイズ除去部２１４を用いることができる。低域通過フィルターは定常的なノイズを吸収できるので、運動時のジェスチャの誤発火を防止できるが、フィルターの適用によって遅延が生じ、操作後すぐに反応させることは比較的難しくなる。例えば、ユーザーが歩行中やランニング中など運動している場合は、運動ノイズ除去部２１４のフィルターのカットオフ周波数を低くして、座っている時など動きが少ない時にはカットオフ周波数を高くしたり、ローパスフィルターそのものを使用しないようにしたりする。こうすることで、運動時のジェスチャ誤発火を防ぎつつ、停止時は少ないレイテンシでジェスチャを発火させることができる。

　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

　なお、以下のような構成も本開示の技術的範囲に属する。
（１）　ユーザーのジェスチャ操作に基づく操作情報を取得する取得部と、
　前記操作情報に基づいて処理を行う処理部とを備え、
　前記処理部は、第１のユーザー操作に基づく第１の操作情報を取得した場合に所定の処理を行い、
　第１のユーザー操作と関連する第２のユーザー操作に基づく第２の操作情報を取得して、第２のユーザー操作後の所定の時間内に行われた第３のユーザー操作に基づく第３の操作情報を取得した場合は、前記所定の処理を行う、情報処理装置。
（２）　前記第１のユーザー操作と前記第２のユーザー操作は類似する、前記（１）に記載の情報処理装置。
（３）　前記第２のユーザー操作が行われたことを判定するための第２の条件は、前記第１のユーザー操作が行われたことを判定するための第１の条件に含まれる、前記（２）に記載の情報処理装置。
（４）　前記第３のユーザー操作は、前記第１のユーザー操作と類似する操作である、前記（２）又は（３）に記載の情報処理装置。
（５）　前記第３のユーザー操作は、前記第１のユーザー操作と異なる操作である、前記（２）又は（３）に記載の情報処理装置。
（６）　前記第２のユーザー操作が行われた場合、前記第３のユーザー操作をユーザーに促す出力情報を出力する出力部を備える、前記（１）～（５）のいずれかに記載の情報処理装置。
（７）　前記出力情報は、表示部に表示するための表示情報である、前記（６）に記載の情報処理装置。
（８）　前記出力情報は、前記第３のユーザー操作をユーザーに促すための振動を発生させるバイブレータを制御するための情報である、前記（６）に記載の情報処理装置。
（９）　前記出力情報は、音声情報である、前記（６）に記載の情報処理装置。
（１０）　前記ユーザーのジェスチャ操作が行われたことを判定する判定部が前記ユーザーのジェスチャ操作が行われたことを判定するためのしきい値を、しきい値変更条件に基づいて変更するしきい値変更部を備える、前記（１）～（９）のいずれかに記載の情報処理装置。
（１１）　前記しきい値変更条件は、デバイスの状況に関する条件である、前記（１０）に記載の情報処理装置。
（１２）　前記第２のユーザー操作が行われた場合、前記第３のユーザー操作をユーザーに促す出力情報を出力する出力部を備え、
　前記しきい値変更部は、前記出力情報の出力有無に基づいて、前記第３のユーザー操作が行われたことを判定するための第３のしきい値を低下させる、前記（１１）に記載の情報処理装置。
（１３）　前記しきい値変更条件は、ユーザー情報に関する条件である、前記（１１）に記載の情報処理装置。
（１４）　前記しきい値変更条件は、コンテンツ情報に関する条件である、前記（１１）に記載の情報処理装置。
（１５）　前記しきい変更条件は、環境情報に関する条件である、前記（１１）に記載の情報処理装置。
（１６）　表示部を備え、
　前記所定の処理は、前記表示部に表示情報を表示させる処理である、前記（１）～（１５）のいずれかに記載の情報処理装置。
（１７）　表示部を備え、
　前記所定の処理は、バックライトを点灯させる処理である、前記（１）～（１５）のいずれかに記載の情報処理装置。
（１８）　腕時計型デバイスである、前記（１）～（１７）のいずれかに記載の情報処理装置。
（１９）　ユーザーのジェスチャ操作に基づく操作情報を取得することと、
　前記操作情報に基づいて処理を行うこととを備え、
　第１のユーザー操作に基づく第１の操作情報を取得した場合に所定の処理を行い、
　第１のユーザー操作と関連する第２のユーザー操作に基づく第２の操作情報を取得して、第２のユーザー操作後の所定の時間内に行われた第３のユーザー操作に基づく第３の操作情報を取得した場合に前記所定の処理を行う、情報処理方法。
（２０）　ユーザーのジェスチャ操作に基づく操作情報を取得する手段、
　前記操作情報に基づいて処理を行う手段、としてコンピュータを機能させるためのプログラムであって、
　第１のユーザー操作に基づく第１の操作情報を取得した場合に所定の処理を行う手段、
　第１のユーザー操作と関連する第２のユーザー操作に基づく第２の操作情報を取得して、第２のユーザー操作後の所定の時間内に行われた第３のユーザー操作に基づく第３の操作情報を取得した場合に前記所定の処理を行う手段、としてコンピュータを機能させるためのプログラム。

　２１２　　センサー監視モジュール
　２１８　　しきい値判定部
　２２０　　処理部
　２４０　　ジェスチャ判定モジュール

Claims

　ユーザーのジェスチャ操作に基づく操作情報を取得する取得部と、
　前記操作情報に基づいて処理を行う処理部とを備え、
　前記処理部は、第１のユーザー操作に基づく第１の操作情報を取得した場合に所定の処理を行い、
　第１のユーザー操作と関連する第２のユーザー操作に基づく第２の操作情報を取得して、第２のユーザー操作後の所定の時間内に行われた第３のユーザー操作に基づく第３の操作情報を取得した場合は、前記所定の処理を行う、情報処理装置。
　前記第１のユーザー操作と前記第２のユーザー操作は類似する、請求項１に記載の情報処理装置。
　前記第２のユーザー操作が行われたことを判定するための第２の条件は、前記第１のユーザー操作が行われたことを判定するための第１の条件に含まれる、請求項２に記載の情報処理装置。
　前記第３のユーザー操作は、前記第１のユーザー操作と類似する操作である、請求項２に記載の情報処理装置。
　前記第３のユーザー操作は、前記第１のユーザー操作と異なる操作である、請求項２に記載の情報処理装置。
　前記第２のユーザー操作が行われた場合、前記第３のユーザー操作をユーザーに促す出力情報を出力する出力部を備える、請求項１に記載の情報処理装置。
　前記出力情報は、表示部に表示するための表示情報である、請求項６に記載の情報処理装置。
　前記出力情報は、前記第３のユーザー操作をユーザーに促すための振動を発生させるバイブレータを制御するための情報である、請求項６に記載の情報処理装置。
　前記出力情報は、音声情報である、請求項６に記載の情報処理装置。
　前記ユーザーのジェスチャ操作が行われたことを判定する判定部が前記ユーザーのジェスチャ操作が行われたことを判定するためのしきい値を、しきい値変更条件に基づいて変更するしきい値変更部を備える、請求項１に記載の情報処理装置。
　前記しきい値変更条件は、デバイスの状況に関する条件である、請求項１０に記載の情報処理装置。
　前記第２のユーザー操作が行われた場合、前記第３のユーザー操作をユーザーに促す出力情報を出力する出力部を備え、
　前記しきい値変更部は、前記出力情報の出力有無に基づいて、前記第３のユーザー操作が行われたことを判定するための第３のしきい値を低下させる、請求項１１に記載の情報処理装置。
　前記しきい値変更条件は、ユーザー情報に関する条件である、請求項１１に記載の情報処理装置。
　前記しきい値変更条件は、コンテンツ情報に関する条件である、請求項１１に記載の情報処理装置。
　前記しきい変更条件は、環境情報に関する条件である、請求項１１に記載の情報処理装置。
　表示部を備え、
　前記所定の処理は、前記表示部に表示情報を表示させる処理である、請求項１に記載の情報処理装置。
　表示部を備え、
　前記所定の処理は、バックライトを点灯させる処理である、請求項１に記載の情報処理装置。
　腕時計型デバイスである、請求項１に記載の情報処理装置。
　ユーザーのジェスチャ操作に基づく操作情報を取得することと、
　前記操作情報に基づいて処理を行うこととを備え、
　第１のユーザー操作に基づく第１の操作情報を取得した場合に所定の処理を行い、
　第１のユーザー操作と関連する第２のユーザー操作に基づく第２の操作情報を取得して、第２のユーザー操作後の所定の時間内に行われた第３のユーザー操作に基づく第３の操作情報を取得した場合に前記所定の処理を行う、情報処理方法。
　ユーザーのジェスチャ操作に基づく操作情報を取得する手段、
　前記操作情報に基づいて処理を行う手段、としてコンピュータを機能させるためのプログラムであって、
　第１のユーザー操作に基づく第１の操作情報を取得した場合に所定の処理を行う手段、
　第１のユーザー操作と関連する第２のユーザー操作に基づく第２の操作情報を取得して、第２のユーザー操作後の所定の時間内に行われた第３のユーザー操作に基づく第３の操作情報を取得した場合に前記所定の処理を行う手段、としてコンピュータを機能させるためのプログラム。