JP6255954B2 - 動作入力装置、動作入力プログラム及び動作入力方法 - Google Patents

Description

本発明は、動作入力装置、動作入力プログラム及び動作入力方法に関する。

従来、カメラ等の撮像装置、マイク等の音響装置を入力デバイスに備える情報処理装置が知られている。カメラ等の撮像装置、マイク等の音響装置を入力デバイスに備える情報処理装置では、該入力デバイスを介して検出した操作者（ユーザ）の動作形態、音声形態をユーザインターフェース（ＵＩ：User Interface）として、所定の操作指示が実行される。

例えば、カメラ等の撮像装置を入力デバイスに備える情報処理装置では、情報処理装置は、撮像された操作者（ユーザ）の意図された手振り、手形等の予め定められた特定の動作形態を検出し、検出した動作形態による入力操作の有効、無効状態の切り替えを行う。予め定められた動作形態には、例えば、手を突き出す、頭を傾けるといったユーザの身体の一部を用いた行為、赤外線等の発光素子を有する操作機器等の操作等が含まれる。情報処理装置は、検出された特定の動作形態が、カメラ等で撮像された撮像画像による操作入力を有効状態とする動作形態の場合には、例えば、無効状態から有効状態への状態切り替えを行い、継続して検出されるユーザの動作形態に応じて所定の操作指示を実行する。一方、情報処理装置は、検出された特定の動作形態が、カメラ等で撮像された撮像画像による操作入力を無効状態とする動作形態の場合には、例えば、有効状態から無効状態への状態切り替えを行い、撮像画像による操作入力を無効とする。マイク等の音響装置を入力デバイスに備える情報処理装置においても同様に、例えば、キーワードとなる単語が含まれるユーザの発声や、所定の操作音等の予め定められた音声形態を検出し、検出した音声形態による入力操作の有効、無効状態の切り替えが行われる。

なお、本明細書で説明する技術に関連する技術が記載されている先行技術文献としては、以下の特許文献が存在している。

特開２０１１−２２１６７２号公報 特開２０００−１９６９１４号公報 特開２０１０−１７６５１０号公報

上述のように、ユーザの動作形態、音声形態を所定の入力デバイスで検出し、該入力デバイスを備える情報処理装置等への操作指示として反映するＵＩを、以下の説明では非接触ＵＩと称する。非接触ＵＩを介して入力されたユーザの動作形態、音声形態等を動作入力と称する。

非接触ＵＩを備える情報処理装置等では、上述のように、ユーザは、非接触ＵＩの有効、無効の切り替えの度に、予め定められた特定の手振りや手形、発声、操作オブジェクトの操作等を意識しながら行う。このため、特定の動作を用いた非接触ＵＩの有効、無効の切り替えでは、ユーザは、意識しながら特定の動作行為を行うことが煩わしく感じる場合がある。

一方、非接触ＵＩを備える情報処理装置等では、入力デバイスで検出されたユーザの動作形態や音声形態等の動作入力について、ユーザの意図を反映した行為であるかの判定が困難なケースがある。例えば、検出されたユーザの動作が、指示操作と対応付けられた、頭を掻く、顎に手を当てる、手振りを交えて他のユーザと会話する等の所定の動作でありながら、ユーザの操作意図とは無関係に行われた無意識の行為に起因するケースである。情報処理装置等は、ユーザの操作意図とは無関係に行われた無意識の行為に起因する動作を検出し操作指示入力と判定してしまう。このため、情報処理装置等は、ユーザの意にそぐわない動作を引き起こしてしまう虞がある。

１つの側面では、本発明は、動作入力のユーザビリティを向上する技術の提供を目的とする。

上記技術は、次の動作入力装置の構成によって例示される。すなわち、動作入力装置は、ユーザの動作入力に係る動作部位の位置を取得する取得手段と、取得手段で取得された動作部位の位置から、表示部に表示された操作オブジェクトに対する所定の操作条件を満たす操作を検出したときに、ユーザの動作入力による操作を無効とする無効状態から該動作入力による操作を有効とする有効状態に復帰させる制御手段と、を備える。

上記のユーザの動作入力装置によれば、動作入力のユーザビリティを向上する技術を提供できる。

本実施形態の動作入力装置の説明図である。 本実施形態の動作入力装置のハードウェア構成を例示する図である。 本実施形態の動作入力装置の機能構成を例示する図である。 赤外線等を用いたトラッキング例を説明する説明図である。 操作有効領域の説明図である。 クロッシングによる操作法の説明図である。 モード切り替え処理を例示するフローチャートである。 モード切り替え処理を例示するフローチャートである。 モード切り替え処理を例示するフローチャートである。 操作有効領域を用いた無効状態へのモード切り替え判定処理を例示するフローチャートである。 顔方向検出を用いた無効状態へのモード切り替え判定処理を例示するフローチャートである。 カーソルが表示画面上の複数の領域を通過することを条件とした無効状態へのモード切り替え判定処理を例示するフローチャートである。

以下、図面を参照して、一実施形態に係る動作入力装置について説明する。以下の実施形態の構成は例示であり、動作入力装置は実施形態の構成には限定されない。

以下、図１から図６の図面に基づいて、動作入力装置を説明する。
＜実施例１＞
図１に、本実施形態の動作入力装置を説明する説明図を例示する。本実施形態の動作入力装置１０は、例えば、カメラ１４ａといった撮像装置を入力デバイスに備えるＰＣ（Personal Computer）等の情報処理装置である。また、本実施形態の動作入力装置１０は、
例えば、ＬＣＤ（Liquid Crystal Display）１５ａ等の表示デバイスを備える。また、本
実施形態の動作入力装置は、マイク等の音響を入力する装置を入力デバイスに備えてよい。動作入力装置１０は、入力デバイスで検出した操作者（以下、ユーザと称す）の手の動き等の動作形態を該動作入力装置１０への操作指示として反映する非接触ＵＩ（User Interface）機能を備える。

図１に例示の説明図において、ＬＣＤ１５ａの表示画面上には、非接触ＵＩ機能により操作されるアプリケーションソフトウェア（Application software、以下、アプリと称す）の操作画面が表示されている。図例の操作画面において、表示領域Ａ１には、非接触ＵＩ機能により操作可能な操作オブジェクト（以下、ＵＩオブジェクトとも称する）であるスクロールバーが表示されている。表示領域Ａ２には、表示領域Ａ１のスクロールバーの操作部品であり、ＬＣＤ１５ａに表示された画像情報の表示領域を表示対象中で上方へ移動するための操作ボタンが表示されている。表示領域Ａ３には、同様に、ＬＣＤ１５ａに表示された画像情報の表示領域を表示対象中で下方へ移動するための操作ボタンが表示されている。

また、図例の操作画面において、表示位置Ａ４には、入力デバイスで検出したユーザの手の動き等に対応して表示位置を更新するカーソルが表示されている。表示位置Ａ４のカーソルは、例えば、ユーザの手の動き等に追従して表示位置を変更し、ＬＣＤ１５ａの画面上の表示領域を移動する。

図１に例示の説明図において、非接触ＵＩ機能による動作入力による操作を行うユーザは、例えば、アプリ画面が表示されるＬＣＤ１５ａと対向するともに、ユーザの動作入力による操作を撮像するカメラ１４ａと対向する。動作入力装置１０は、カメラ１４ａと対向するユーザの動き等の動作形態をユーザの動作入力による操作として捉え、例えば、アプリ画面が表示されたＬＣＤ１５ａの表示領域を移動するカーソルの表示位置に反映する。

図１に例示の動作入力装置１０において、非接触ＵＩ機能の有効、無効状態は、例えば、入力デバイスで検出されたユーザの手の動きに基づいて切り替えられる。非接触ＵＩ機能の有効、無効状態に係るユーザの手の動きは、例えば、カメラ１４ａで撮像された撮像画像の時系列から特定される。なお、以下の説明では、非接触ＵＩ機能の有効状態を有効モードとも称し、非接触ＵＩ機能の無効状態を無効モードとも称する。また、非接触ＵＩ機能の有効、無効状態の切り替えは、モード切り替えとも称する。

以下、動作入力装置１０がカメラ等の撮像装置を用いたモード切り替えにおいて、例えば、撮像画像の時系列から、予め定められた手振り、手形等の特定のユーザの動作を検出し、所定のモードに移行させることの課題が検討される。例えば、動作入力装置１０がユーザ自身の手を用いて予め決められている姿勢をつくったり（ポスチャ(posture)）、動
きを行ったり（ジェスチャ(gesture)）する動作を検出し、無効モードから有効モードに
切り替えることの課題が検討される。また、動作入力装置１０が一定時間内の所定回数の動作、例えば、特定の手形を突き出す、斜め方向に移動させるといった手振り動作の繰り返しを検出し、無効モードから有効モードに切り替えることの課題が検討される。

動作入力装置１０が特定の手形や手振りといった動作入力による操作等によってモード切り替えを行う場合では、ユーザは、モード切り替えの度に予め定められた特定の動作を意識しながら実行することが多く、煩わしく感じる場合がある。また、モード切り替えを行うためのジェスチャとして、例えば、頭を掻く、顎に手を当てる等の動作が含まれる場合には、検出されたユーザの動作により、ユーザの意図しない機器動作が発生し得るため、操作機器の誤操作、誤動作を招く虞がある。

また、例えば、動作入力装置１０が表示画面等でのユーザの一定時間以上の静止状態を検出した場合に特定の手振りといったユーザの動作を検出し、有効モードに切り替えることが考えられる。しかし、画面状態とユーザの動作を組み合わせることで、ユーザの意図しない機器操作を防ぎ、動作入力の検出精度を上げることができるものの、それぞれの組み合せを意識しながら動作入力を行うことに対する煩わしさが残されている。ユーザは、モード切り替えの度に、画面状態と動作入力の組合せを意識しながら実行することが多いため、非接触ＵＩに対する使いづらさを感じる場合があった。

マイク等の音響装置等を用いた場合においても同様に、ユーザは、モード切り替えの度にキーワードとなる単語が含まれるユーザの発声や、所定の操作音等の予め定められた音声を意識しながら行う。このため、意識しながら特定の行為を行う非接触ＵＩに対して、煩わしさ、使いづらさを感じる場合があった。

本実施形態の動作入力装置１０は、例えば、図１に例示のように、操作対象となるアプリの、表示デバイスであるＬＣＤ１５ａの画面上に表示された、ボタンやスクロールバーといったＵＩオブジェクトに対するユーザの動作入力による操作の検出を行う。本実施形態の動作入力装置１０で検出される、ＵＩオブジェクトに対するユーザの動作入力は、非接触ＵＩ機能が有効状態のときに画面上に表示されたＵＩオブジェクトに対する操作とほぼ同じ動作入力である。

そして、本実施形態の動作入力装置１０は、例えば、検出されたユーザの動作入力による操作が、ＵＩオブジェクトの表示位置に対する所定の条件を満たす場合に、無効モードから有効モードへのモード切り替えを行う。ここで、所定の条件とは、例えば、ＬＣＤ１５ａの画面上に表示された、ボタンやスクロールバー等のＵＩオブジェクトの表示位置に対するユーザの動作入力による操作が行われた検出回数を例示できる。さらに、例えば、ＵＩオブジェクトの表示位置に対して行われたユーザの動作入力による操作回数が一定回数を超えた場合に、動作入力装置１０は、無効モードから有効モードへのモード切り替えを行うようにすることができる。ＵＩオブジェクトの表示位置に対するユーザの動作入力による操作回数が一定回数を超える場合には、ユーザは、モード切り替えの意図を持って動作入力を行っていると判断できるからである。なお、モード切り替えの条件は、ＵＩオブジェクトに対する、一定時間内に行われたユーザの動作入力による操作の検出回数を計数し、該計数値が一定回数を超えた場合を条件としてもよい。検出回数に対して時間的な制限条件を付加することにより、動作入力行為を行うユーザの切り替え意図を判断でき、判定精度を高めることができる。

図１の例において、本実施形態の動作入力装置１０は、例えば、無効モード中の、ＬＣＤ１５ａの画面上に表示された領域ＡのボタンやスクロールバーといったＵＩオブジェクトの表示位置に対するユーザの動作入力による操作を検出する。そして、動作入力装置１０は、例えば、ＵＩオブジェクトの表示位置に対するユーザの動作入力による操作回数を計数し、計数された計数値が一定回数を超える場合に有効モードへのモード切り替えを行う。

本実施形態の動作入力装置１０では、無効モード中の画面上に表示されたＵＩオブジェクトに対する、有効モード時のユーザの動作入力による操作を検出し、検出されたユーザの動作入力による操作が一定回数以上である等の所定の条件を満たす場合に有効モードに移行する。本実施形態の動作入力装置１０では、無効モード中の、非接触ＵＩ機能が有効モードのときの、表示画面上のＵＩオブジェクトの表示位置に対して実行されるユーザの動作入力による操作により、モード切り替えを行うことができる。このため、本実施形態の動作入力装置１０では、ユーザは、非接触ＵＩ機能の無効モードから有効モードへの移行に際し、操作に係る、特定の手振り、手形、音声等の動作入力を意識しながら実行する
ことはない。

本実施形態の動作入力装置１０では、画面上に表示されたＵＩオブジェクトに対して、非接触ＵＩ機能が有効状態の場合とほぼ同様のユーザの動作入力による操作でモード切り替えを実行できる。このため、非接触ＵＩ機能が無効状態から有効状態への復帰に際し、特定の手形や手振り等の動作入力を行う場合に比べ、非接触ＵＩに対する使いやすさが向上できる。また、本実施形態の動作入力装置１０では、例えば、無効モード中の画面上に表示されたＵＩオブジェクトに対するユーザの動作入力による操作の検出回数をモード切り替えの条件とすることができる。このため、本実施形態の動作入力装置１０は、ユーザの意図とは無関係に行われた無意識の行為に起因する操作機器の誤操作、誤作動を防止することができる。この結果、本実施形態の動作入力装置１０は、非接触ＵＩ入力のユーザビリティ、すなわち、使い勝手、あるいは使いやすさを向上できる。
〔装置構成〕
図２に、動作入力装置１０のハードウェア構成を例示する。図２に例示の動作入力装置は、いわゆる一般的なコンピュータの構成を有している。動作入力装置１０は、接続バスＢ１によって相互に接続されたＣＰＵ（Central Processing Unit）１１、主記憶部１２
、補助記憶部１３、入力部１４、出力部１５、通信部１６を有する。主記憶部１２及び補助記憶部１３は、動作入力装置１０が読み取り可能な記録媒体である。

動作入力装置１０は、ＣＰＵ１１が補助記憶部１３に記憶されたプログラムを主記憶部１２の作業領域に実行可能に展開し、プログラムの実行を通じて周辺機器の制御を行う。これにより、動作入力装置１０は、所定の目的に合致した機能を実現することができる。

図２に例示の動作入力装置１０において、ＣＰＵ１１は、動作入力装置１０全体の制御を行う中央処理演算装置である。ＣＰＵ１１は、補助記憶部１３に格納されたプログラムに従って処理を行う。主記憶部１２は、ＣＰＵ１１がプログラムやデータをキャッシュしたり、作業領域を展開したりする記憶媒体である。主記憶部１２は、例えば、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）を含む。

補助記憶部１３は、各種のプログラム及び各種のデータを読み書き自在に記録媒体に格納する。補助記憶部１３は、外部記憶装置とも呼ばれる。補助記憶部１３には、オペレーティングシステム（Operating System :ＯＳ）、各種プログラム、各種テーブル等が格納される。ＯＳは、通信部１６を介して接続される外部装置等とのデータの受け渡しを行う通信インターフェースプログラムを含む。外部装置等には、例えば、図示しないネットワーク上の、他のＰＣ、サーバ等の情報処理装置、外部記憶装置等が含まれる。

補助記憶部１３は、例えば、ＥＰＲＯＭ（Erasable Programmable ROM）、ソリッドス
テートドライブ装置、ハードディスクドライブ（ＨＤＤ、Hard Disk Drive）装置等であ
る。また、補助記憶部１３としては、例えば、ＣＤドライブ装置、ＤＶＤドライブ装置、ＢＤドライブ装置等が提示できる。記録媒体としては、例えば、不揮発性半導体メモリ（フラッシュメモリ）を含むシリコンディスク、ハードディスク、ＣＤ、ＤＶＤ、ＢＤ、ＵＳＢ（Universal Serial Bus）メモリ、メモリカード等がある。

入力部１４は、ユーザ等からの操作指示等を受け付ける。入力部１４は、カメラ１４ａ、入力ボタン、キーボード、トラックボール、ポインティングデバイス、ワイヤレスリモコン、マイクロフォン等の入力デバイスである。入力部１４から入力された情報は、接続バスＢ１を介してＣＰＵ１１に通知される。例えば、カメラ１４ａで撮像された画像情報、マイクロフォンで検出された音声情報は、接続バスＢ１を介してＣＰＵ１１に通知される。

出力部１５は、ＣＰＵ１１で処理されるデータや主記憶部１２に記憶されるデータを出力する。出力部１５は、ＬＣＤ１５ａ、ＣＲＴ（Cathode Ray Tube）ディスプレイ、ＰＤＰ（Plasma Display Panel）、ＥＬ（Electroluminescence）パネル、有機ＥＬパネル等
の表示デバイスを含む。また、出力部１５には、プリンタ、スピーカ等の出力デバイスが含まれる。通信部１６は、例えば、動作入力装置１０が接続するネットワーク等とのインターフェースである。

ここで、動作入力装置１０のＬＣＤ１５ａは、操作オブジェクトを表示する表示部の一例である。また、動作入力装置１０のカメラ１４ａは、ユーザの動作入力による操作を撮像する撮像装置の一例である。

動作入力装置１０は、ＣＰＵ１１が補助記憶部１３に記憶されているＯＳ、各種プログラムや各種データを主記憶部１２に読み出して実行することにより、対象プログラムの実行と共に、図３に例示する各機能手段を実現する。

動作入力装置１０は、対象プログラムの実行と共に、図３に例示のトラッキング入力部１０１、無効条件判定部１０２、無効状態制御部１０３、状態保持部１０４、有効状態制御部１０５を実現する。さらに、動作入力装置１０は、図３に例示のＵＩ操作カウント部１０６、ＵＩ操作判定部１０７、ＵＩ操作処理部１０８、カーソル制御部１０９、画面表示部１１０を実現する。

なお、各機能手段のうち、いずれかが、他の情報処理装置等に含まれてもよい。例えば、動作入力装置１０は、トラッキング入力部１０１、状態保持部１０４、カーソル制御部１０９、画面表示部１１０を含み、無効条件判定部１０２を含む情報処理装置と、無効状態制御部１０３を含む情報処理装置とがネットワークを介して接続する。そして、該ネットワークに有効状態制御部１０５を含む情報処理装置と、ＵＩ操作カウント部１０６を含む情報処理装置と、ＵＩ操作判定部１０７を含む情報処理装置と、ＵＩ操作処理部１０８を含む情報処理装置とが接続する。このように、動作入力装置１０は、複数の情報処理装置に機能手段を分散し、各機能手段が実現されることで機能してもよい。動作入力装置１０は、例えば、ネットワーク上のコンピュータ群であるクラウドとして実現できるため、各機能手段の処理負荷を軽減できる。

但し、動作入力装置１０が、例えば、カメラ１４ａと一体であってもよい。また、例えば、画面表示部１１０を含む情報処理装置が、画面表示部１１０を除く他の各機能部を含むカメラ１４ａと接続し、動作入力装置１０として機能するとしてもよい。
〔機能ブロック構成〕
図３に、本実施形態の動作入力装置１０における、機能ブロックの説明図を例示する。図３に例示の説明図において、動作入力装置１０は、トラッキング入力部１０１、無効条件判定部１０２、無効状態制御部１０３、状態保持部１０４、有効状態制御部１０５の各機能手段を有する。さらに、動作入力装置１０は、ＵＩ操作カウント部１０６、ＵＩ操作判定部１０７、ＵＩ操作処理部１０８、カーソル制御部１０９、画面表示部１１０の各機能手段を有する。なお、図３に例示の説明図において、動作入力装置１０は、以上の各機能手段が参照し、或いは、管理するデータの格納先として、例えば、補助記憶部１３を有する。

図３に例示の、トラッキング入力部１０１は、例えば、カメラ１４ａ等で撮像された撮像画像の時系列から、動作入力を行うユーザの操作部位の位置を捉える。ユーザの操作部位として、例えば、ユーザの手、腕、顔等が例示できる。以下の説明では、トラッキング入力部１０１は、ユーザの手を操作部位として捉え、位置情報を取得するとして説明を行う。また、本実施形態では、操作部位を捉え、ユーザの操作に追従することをトラッキン
グと呼ぶことにする。

なお、取得した手の位置情報は、例えば、（Ｘ，Ｙ）で示される２次元の座標情報であってもよく、奥行き等をＺ座標に反映した（Ｘ，Ｙ，Ｚ）の３次元の座標情報であってもよい。２次元の座標情報で手の位置情報が示される場合には、例えば、上下方向がＹ軸方向であり、左右方向がＸ軸方向となる。３次元の座標情報で手の位置情報が示される場合には、例えば、カメラ１４ａと対向するユーザ方向がＺ軸方向となる。トラッキング入力部１０１により取得された位置情報は、例えば、動作入力装置１０の主記憶部１２の所定の領域に一時的に記憶される。トラッキング入力部１０１で取得された手の位置情報は、例えば、無効条件判定部１０２、カーソル制御部１０９に引き渡される。なお、トラッキング入力部１０１で取得された手の位置情報を含む画像情報は、例えば、１／３０秒などの所定の時間間隔で更新される。

カメラ１４ａ等で撮像された撮像画像の時系列からユーザの手の位置等を検出する方法として、例えば、時系列で取得した各撮像画像に含まれる各部位を対応付けて物体追跡を行う、オプティカルフロー等が例示できる。また、時系列で取得した各画像に含まれる各部位の対応付けとして、例えば、Mean−Shift追跡法、Lucas-Kanade法、パーティクルフ
ィルタを用いる方法等が提示できる。

トラッキング入力部１０１は、上述の方法を用いて、手の位置を追跡する場合には、例えば、撮像画像に含まれる追跡対象となる部位が、肌色であること、一定以上の速度で移動していること、顔ではないこと、手の特徴辞書との照合といった幾つかの条件で画像部分を選別して絞り込むことができる。トラッキング入力部１０１は、カメラ１４ａ等の時系列の撮像画像に対し、上述した条件、或いは複数の条件を組合せて絞り込みを行い、ユーザの手の位置の追跡を行う。なお、撮像画像に顔が含まれているか否かは、例えば、Viola、Johnsによる判定方法が例示できる。また、手の特徴辞書とは、例えば、カメラ１４ａ等を介して取得した撮像画像に含まれる、ユーザの手の様々な撮像画像から抽出された幾つかの特徴ベクトルが登録される特徴テーブルである。例えば、撮像画像を一定領域で格子状に分割し、分割後の各領域内で追跡対象となる部位の輪郭成分の勾配ヒストグラムを取り、多次元ベクトルとして特徴づけるＨＯＧ（Histograms of Oriented Gradients）特徴が特徴ベクトルとして例示できる。

トラッキング入力処理部１０１は、手の特徴辞書を用いる場合には、例えば、カメラ１４ａ等を介して取得した時系列の撮像画像に基づいて、追跡対象となる部位の、ユーザの手に係る輪郭成分の勾配ヒストグラムを取り、特徴ベクトルとして手の特徴辞書に予め登録しておけばよい。

また、動作入力装置１０のユーザの操作部位を捉える撮像装置として、例えば、物体までの奥行きが取得できる深度値付き受像装置を用いることができる。このような深度値付き受像装置として、例えば、赤外線等を用いたＴＯＦ（Time Of Flight）方式、マイクロソフト社のKinect（登録商標）に搭載された赤外線パターンの歪みを解析する方式、ステレオマッチング方式等が例示できる。ステレオマッチング方式では、例えば、少なくとも２以上の撮像装置を設け、各撮像装置で撮像された撮像画像をマッチングさせることにより、各撮像画像に含まれる同一物体の位置ズレから撮像対象の奥行きを推定することができる。

動作入力装置１０は、上述した方式により、対象物体に対する深度値を取得することにより、例えば、ユーザの立体情報を得ることができるため、２次元情報から手の位置を追跡する場合に対し、位置精度を高めることができる。例えば、動作入力装置１０は、時系列に撮像された撮像画像からユーザの腕位置を推定し、推定した腕位置の先端部位を手の
位置として特定する。例えば、深度値付きの画像上では、ユーザの腕部は棒状となる。動作入力装置１０は、例えば、腕部が含まれる撮像画像内の極小点と該極小点周辺との深度差から棒状物体の先端部位を特定すればよい。動作入力装置１０は、例えば、撮像画像に含まれる極小点周囲の一方向以外、或いは、全方向に対して深度差が大きい部分を検出し、先端部位とすることができる。

なお、このような極小点は、撮像画像に複数に含まれ得る。例えば、動作入力装置１０は、操作無効状態時における撮像画像上の複数の極小点を追跡対象候補として特定しておき、最も移動速度の速い点を無効操作状態のカーソルの動きに反映させるとすればよい。撮像された画像の中で、ユーザの手の位置の移動速度は、腕部に対し相対的に高いからである。

また、動作入力装置１０は、例えば、撮像画像に含まれる、一定の速度を超えるといった複数の追跡対象候補にカーソルを割り当て、ＬＣＤ１５ａ等に同時にそれぞれのカーソル表示を行うとしてもよい。ユーザは、ＬＣＤ１５ａ等に同時に表示された複数のカーソルの中から、ユーザの操作意図に従って動くカーソルを素早く見つけることができるからである。そして、動作入力装置１０は、複数の追跡対象候補の中から操作有効状態への移行時に移行のための操作に役立った追跡対象候補をトラッキング対象として特定すればよい。動作入力装置１０は、複数のカーソル表示を行う場合には、例えば、それぞれのカーソル表示ごとの表示態様を変えるとしてもよい。ユーザは、異なる表示対象で表示された画面上の複数のカーソルの中から、操作に係るカーソル表示位置を識別し、操作に係るカーソルとして選別することができる。

なお、以下の説明では、動作入力装置１０のトラッキング対象をユーザの手として説明するが、操作上の問題が生じない限りは手に持っている物体や体に装着した物体、体の他の部位を追跡するとしてもよい。図４Ａに、赤外線等を用いたトラッキング例の説明図を例示する。図４Ａの例において、ＬＥＤ１４ｂは、例えば、ＬＣＤ１５ａに対向するユーザに対して赤外線等を照射する。ＬＥＤ１４ｂから照射された赤外線等は、トラッキング対象のユーザの指等に装着された装着物１４ｄによって反射され、例えば、ＬＣＤ１５ａ等の保持枠に設けられた複数の受光器１４ｃにより検出される。動作入力装置１０は、例えば、複数の受光器１４ｃで検出した赤外光から、装着物１４ｄとの距離値を求め、三角測量等により、装着物の位置を検出することができる。なお、図４Ａの説明図において、装着物１４ｄは、ＬＥＤ１４ｂに替え、ＬＥＤ等の発光器を有するとしてもよい。動作入力装置１０は、例えば、ＬＣＤ１５ａ等の保持枠に設けられた複数の受光器１４ｃにより、装着物１４ｄから照射された赤外光等を検出し、三角測量等により、装着物の位置を検出するとすればよい。図４Ａの例において、赤外線は一例であり、例えば、ＮＦＣ（Near
Field Communication）等で使用される電磁波を用いるとしてもよい。

また、例えば、トラッキング入力部１０１は、ユーザの顔、視線を検出し、検出したユーザの顔、視線をトラッキングするとしてもよい。トラッキングの精度が十分に高いのであれば、ユーザの人差し指を追跡するとしてもよい。また、特定の柄、色等の手袋等を装着し、撮像された画像の色分布等を利用して追跡を行うとしてもよい。さらに、非接触ＵＩ機能の無効状態から有効状態へのモード切り替えは、例えば、無効モード中の動作入力による操作の空間的な位置の検出ではなく、マウスやトラックボールといった接触型のポインティングデバイスによる操作位置を適用するとしてもよい。

無効条件判定部１０２は、例えば、トラッキング入力部１０１で検出された手の位置、動きが、非接触ＵＩ機能の状態を有効モードから無効モードへと移行させるための条件を満たすか否かを判定する。無効条件判定部１０２は、例えば、状態保持部１０４に保持された動作入力装置１０の非接触ＵＩ機能に対する操作状態が有効状態のとき、所定の条件
を満たしたユーザの動作入力を検出する。そして動作入力装置１０は、非接触ＵＩ機能の状態を有効状態から無効状態へモード切り替えを行い、無効モードに移行する。なお、本実施形態の動作入力装置１０において、非接触ＵＩ機能の有効状態から無効状態へのモード切り替え条件に限定はない。

有効モード時の無効モードに移行するためのモード切り替え条件は、例えば、トラッキング入力部１０１で検出された、ユーザの操作部位のトラッキング位置が、所定領域から一定時間にわたり、外れていることが例示できる。ここで、所定領域とは、例えば、カメラ１４ａ等の撮像装置の視野角等で定義付けされる空間上の撮像領域中の部分領域とすることができる。また、この所定領域を以下、操作有効領域と呼ぶことにする。

図４Ｂに、操作有効領域の説明図を例示する。図４Ｂの説明例において、ユーザの動作入力による操作を行うユーザは、例えば、カメラ１４ａ等の撮像装置に対向し、カーソルが表示されるＬＣＤ１５ａ等に対向する。カメラ１４ａ等は、例えば、対向するユーザ側の空間上に、操作に係る動作入力を行うユーザを撮像する、撮像領域を有する。カメラ１４ａ、ＬＣＤ１５ａに対向するユーザは、撮像領域内において、操作部位を可動させ、操作に係る動作入力を行う。ユーザの手を操作に係る動作入力の操作部位とする場合、操作有効領域は、例えば、撮像領域＞トラッキング範囲≧操作有効領域の関係となる。すなわち、撮像領域はトラッキング範囲を包含し、トラッキング範囲は操作有効領域を包含する。ここで、トラッキング範囲は、撮像領域内におけるユーザの手の位置の可動範囲と定義することができる。動作入力装置１０は、撮像領域内のトラッキング範囲を移動するユーザの手の位置に対応付けて、操作に係る動作入力の処理を行う。

図４Ｂの説明例において、動作入力装置１０は、例えば、撮像された撮像画像内のユーザの身体の位置、および、ＬＣＤ１５ａ等の画像表示領域内のカーソル移動範囲と対応付けてトラッキング範囲を定義するとしてもよい。そして、動作入力装置１０は、トラッキング範囲内に操作有効領域を設定するとしてもよい。

図４Ｂにおけるトラッキング範囲は、例えば、奥行きは、カメラ１４ａ、ＬＣＤ１５ａと対向したユーザの前方（カメラ方向）の十数ｃｍほどカメラ寄りの位置からユーザ位置に至るまでの領域とすることができる。そして、図４Ｂに例示の説明例では、例えば、ＬＣＤ１５ａ等の画像表示領域におけるカーソル移動範囲と対応付けられた直方体領域を操作有効領域とすることができる。なお、撮像領域内での操作有効領域は、ＬＣＤ１５ａ等の画像表示領域におけるカーソル移動範囲に対して実際の寸法で１．５倍程度の直方体領域とすることができる。図４Ｂの例では、撮像領域よりも、ＬＣＤ１５ａの領域がやや狭いからである。

無効条件判定部１０２は、例えば、図４Ｂに例示のように、動作入力を行うユーザの操作部位の位置が、一定時間以上に継続して、操作有効領域外にあることを無効状態への切り替え条件とすることができる。また、無効条件判定部１０２は、有効領域内のユーザの手の位置が、ユーザの頭や顎、胸といった体に触れる状態が一定時間に継続することを操作無効状態への切り替え条件とすることができる。さらに、無効条件判定部１０２は、ユーザの顔方向、視線方向等を対象とする場合では、例えば、視線方向又は顔方向がＬＣＤ１５ａの表示画面方向を一定時間にわたり、向いていないことを操作無効状態への切り替え条件とすることができる。なお、非接触ＵＩ機能の有効状態から無効状態への切り替えの条件として、例えば、無効条件判定部１０２は、特定の手形や手の移動軌跡、特定の音声の発生を検出するようにしてもよい。例えば、無効条件判定部１０２は、指の間を閉じた状態で手のひらをカメラ１４ａに向けるといった動作、Ｚ字形に手を移動させるといった動作、特定のキーワードを発生するといった発声行為を無効状態への切り替え条件とすることができる。

また、無効条件判定部１０２は、操作有効領域内のユーザの手の位置に対応付けられて移動するカーソル位置がＬＣＤ１５ａ等の画像表示領域内の複数の特定領域を一定時間内に通過することを、無効状態への切り替え条件とするとしてもよい。例えば、無効条件判定部１０２は、操作有効領域内のユーザの手の位置に対応付けられて移動するカーソルが、画面表示領域の４隅の内、３隅を一定時間内に通過することを無効状態への切り替え条件とすることができる。

図３に例示の説明図に戻り、無効状態制御部１０３は、例えば、無効条件判定部１０２における判定結果に基づいて、非接触ＵＩ機能の有効状態を無効状態に切り替える。無効状態制御部１０３により、切り替えられた非接触ＵＩ機能の状態は、例えば、状態保持部１０４に通知される。

状態保持部１０４は、例えば、無効状態制御部１０３、有効状態制御部１０５で切替えられた非接触ＵＩ機能の有効状態、無効状態を保持する。例えば、状態保持部１０４は、有効状態では“１”の状態値を、無効状態では“０”の状態値を設定することができる。状態保持部１０４は、無効状態制御部１０３、有効状態制御部１０５で切替えられた非接触ＵＩ機能の状態に応じて、例えば、“０”、“１”等で例示される１ビットの２値の状態値を、主記憶部１２の所定の領域に一時的に格納する。

なお、本実施形態の動作入力装置１０は、非接触ＵＩ機能の有効状態、無効状態の如何に関らず、カメラ１４ａで撮像された時系列の撮像画像から、ユーザの手の位置を追跡する。そして、動作入力装置１０は、追跡したユーザの手の位置に応じて、ＬＣＤ１５ａ上のカーソル表示位置を更新する。但し、非接触ＵＩ機能が無効状態の場合では、カメラ１４ａ等を介して動作入力された、ＵＩオブジェクトに対する指示操作は、無効となる。このため、ＬＣＤ１５ａ等に表示されるカーソルの表示形態は、例えば、状態保持部１０４で保持される非接触ＵＩ機能の状態に応じて識別されることが望ましい。例えば、動作入力装置１０は、状態保持部１０４で保持される非接触ＵＩ機能の状態が無効状態のカーソル形状を有効状態時のカーソル形状とは異なる形状とすることができる。また、動作入力装置１０は、無効状態でのカーソル表示形態を例えば、輪郭のみ、半透明、メッシュ状、表示カーソルの彩色をグレーアウトとする等の、いずれか、または組合せとすることができる。いずれの場合でも、動作入力装置１０は、非接触ＵＩ機能の有効状態時に表示されるカーソル表示形態と比較して、無効状態のカーソルを目立たない表示形態にすることが望ましい。

有効状態制御部１０５は、例えば、非接触ＵＩ機能の無効状態のときに検出されたユーザの手の位置等が、所定の条件を満たす場合に、モード切り替えを行い、非接触ＵＩ機能の状態を有効状態に移行する。有効状態制御部１０５は、例えば、モード切り替え後の、非接触ＵＩ機能が有効状態であることを、状態保持部１０４に通知する。

有効状態制御部１０５は、例えば、ＵＩ操作カウント部１０６で計数される、ＵＩオブジェクトに対する操作とみなせる動作入力のカウント値が一定数以上であることを、モード切り替え条件とすることができる。

図５に、非接触ＵＩ機能が有効状態時のＵＩオブジェクトに対する操作法として、クロッシングを用いた操作法の説明図を例示する。図５に例示の説明図において、表示領域Ａ５は、例えば、図１に例示のＬＣＤ１５ａ等における画像情報、ＵＩオブジェクト等の操作部品等が表示される表示領域である。表示領域Ａ５内には、表示領域Ａ１のスクロールバー、表示領域Ａ２、Ａ３の操作ボタン、表示位置Ａ４のカーソル等が表示されている。表示位置Ａ４のカーソルは、ユーザの動作入力に係る動作部位の移動に応じて、表示領域
Ａ５内を移動する。図５に説明例では、動作入力装置１０は、無効状態のときのＵＩオブジェクトへの操作が一定時間内に一定回数に行われることで、有効状態に移行する。

クロッシングは、例えば、ＬＣＤ１５ａの表示画面上に表示されたＵＩオブジェクト等の表示領域の境界線上をカーソルが、所定の方向と順序で通過することにより操作対象の選択・操作を行う方法である。

図５に例示の説明例において、動作入力を行うユーザは、表示位置Ａ４に表示されたカーソルを操作し、例えば、表示領域Ａ２の操作ボタンの境界線上を横切る（クロス）ことにより、表示領域Ａ５に表示された画像情報の上スクロールの選択・操作を行う。図例におけるクロッシングでは、カーソルは、表示領域Ａ２の領域外から領域内に移動した後、領域外に移動し、再び、領域外から領域内、領域内から領域外への移動を繰り返すことにより、モード切り替えが行われる。

例えば、ＵＩ操作カウント部１０６は、ユーザの動作入力に対応付けられて移動するカーソルの、ＵＩオブジェクトに対する操作とみなせる動作回数を計数する。図５の説明例では、表示領域Ａ２に表示された操作ボタンの表示境界線上を跨ぎ、領域外から領域内に移動した後、領域外に移動するカーソル移動操作が、該操作ボタンに対する操作とみなせる動作に該当する。

有効状態制御部１０５は、例えば、ＵＩ操作カウント部１０６で計数された、ＵＩオブジェクトに対する操作とみなせる動作回数のカウント値と閾値との比較を行う。そして、有効状態制御部１０５は、カウント値が閾値以上の場合に、動作入力装置１０の非接触ＵＩ機能の状態を無効状態から操作有効状態に切り替える（復帰させる）。図５の説明例は、表示領域Ａ２に表示された操作ボタンの表示境界線上を跨ぎ、領域外から領域内に移動した後、領域外に移動するカーソル移動操作が、２回以上に繰り返された場合に有効状態に切り替えるケースである。

図５に例示するように、非接触ＵＩ機能の状態が無効状態から有効状態へ移行した場合、モード切り替えが行われたことをユーザに明示できるよう、カーソルの表示形態を変えることが望ましい。例えば、図５の破線円で示されたカーソルは、無効状態におけるカーソルの表示位置を示すものであり、塗り潰し円で示されたカーソルは、モード切り替え後の有効状態のカーソルの表示位置を示すものである。

なお、非接触ＵＩ機能の状態を切り替えるための閾値は、例えば、ＬＣＤ１５ａ等に表示されたＵＩオブジェクトごと、或いは、ＵＩオブジェクトの種類ごとに設定するようにしてもよい。ＬＣＤ１５ａ等の表示領域内に表示されたＵＩオブジェクトごと、或いは、ＵＩオブジェクトの種類ごとに設定することにより、切り替え操作に係る利便性を向上することができる。

また、ＬＣＤ１５ａ等に表示されたＵＩオブジェクトに関し、例えば、意図せずに操作されることが少ないＵＩオブジェクトであれば、動作入力装置１０は、非接触ＵＩ機能の状態を切り替えるための閾値を、“０”或いは“１”としてもよい。意図せずに操作されることが少ないＵＩオブジェクトに対する操作に係る動作入力が検出された場合には、動作入力装置１０は、ユーザが操作意図を持ってＬＣＤ１５ａ等に表示されたＵＩオブジェクトへの操作を行っていると判断できるからである。

非接触ＵＩ機能の状態を切り替えるための閾値を、“０”と設定した場合では、例えば、動作入力装置１０は、対象となるＵＩオブジェクトへの操作に係る動作入力の検出により、非接触ＵＩ機能の状態を有効状態に切り替えることができる。そして、動作入力装置
１０は、対象となるＵＩオブジェクトに対応付けられた所定機能、例えば、表示画面の切り替えや表示領域の画面スクロール等を実行することができる。つまり、非接触ＵＩ機能の状態を切り替えるための閾値を“０”とする場合、動作入力装置１０は、非接触ＵＩ機能が無効状態であっても、有効状態と同じようにＬＣＤ１５ａ等に表示されたＵＩオブジェクトに対する動作入力が可能となる。

有効状態制御部１０５において、例えば、ＬＣＤ１５ａ等に表示された一つのＵＩオブジェクトに対する連続した動作入力による操作の検出をモード切り替え条件とすることができる。このような条件下において、検出された動作入力が、例えば、該ＵＩオブジェクトに対する連続した操作に関しない動きを含むケースが想定される。ここで、連続した操作に関しない動きとは、例えば、複数のＵＩオブジェクトにまたがった動きや、単純な往復運動でない、或いは、冗長性のある動きである。このようなケースに対応するため、有効状態制御部１０５は、例えば、ＵＩオブジェクトに対する連続した操作に関しない動きを検出した場合には、たとえ一定時間内に一定数の操作カウントが検出されていてもモード切り替え条件を満たさないようにしてもよい。

なお、ユーザがＬＣＤ１５ａ等に表示された一つのＵＩオブジェクトに対する連続した複数回の操作を行う場合、１回目も任意のｎ回目も同じような動きになる傾向がある。動作入力装置１０は、例えば、カメラ１４ａ等で撮像された時系列の撮像画像に基づいて、各回の操作に係る動作入力の動きパターンを照合することにより、ＵＩオブジェクトに対する操作間の動きの相違度を検出するようにしてもよい。時系列に取得した撮像画像に基づく、動作入力の動きに関するパターン照合法として、例えば、ＤＰ（Dynamic Programming）マッチング法が例示できる。動作入力装置１０は、例えば、ＤＰマッチング法等を
用いて操作に係る動作入力間の動きの相違度を検出することにより、ＵＩオブジェクトに対する動作入力の往復運動におけるイレギュラーな動きの検出が可能となる。

また、有効状態制御部１０５は、上述の、ＬＣＤ１５ａ等に表示されたＵＩオブジェクトに対する動作入力による操作の検出に加え、例えば、動作入力時のユーザの顔方向、視線方向をモード切り替えの条件とすることができる。例えば、動作入力装置１０は、時系列の撮像画像からユーザの顔を検出する顔検出部、或いは、時系列の撮像画像からユーザの視線を検出する視線検出部を設ける。そして、動作入力装置１０のトラッキング入力部１０１は、検出されたユーザの顔、視線に基づいて、トラッキングされた顔方向、視線方向がＵＩオブジェクトの表示されるＬＣＤ１５ａ等を向いていないことを特定する。そして、有効状態制御部１０５は、ユーザの顔方向、視線方向がＵＩオブジェクトの表示されるＬＣＤ１５ａ等を向いていない場合には、有効状態へのモード切り替えは行わないとすればよい。

また、同様に、有効状態制御部１０５は、ＵＩオブジェクトに対する動作入力による操作を検出した場合、トラッキング入力部１０１は、検出されたユーザの顔方向、視線方向を特定する。そして、有効状態制御部１０５は、例えば、特定されたユーザの顔方向、視線方向がＵＩオブジェクトを表示するＬＣＤ１５ａ等の方向である場合に、動作入力による操作の有効性を判定し、モード切り替えを行うとすればよい。動作入力装置１０は、ＵＩオブジェクトに対する動作入力による操作を行うユーザの顔方向、視線方向を、モード切り替えのための判定条件に含ませることにより、モード切り替えの判定制度を高めることができる。

ＵＩ操作カウント部１０６は、例えば、ＵＩ操作判定部１０７の判定結果に基づいて、検出された動作入力による操作がＬＣＤ１５ａ等に表示されたＵＩオブジェクトに対する操作とみなせるか否かを決定する。そして、ＵＩ操作カウント部１０６は、一定時間内における、ＵＩオブジェクトに対する操作とみなせる動作入力による操作の検出回数を計数
する。ＵＩ操作カウント部１０６で計数された計数値は、例えば、有効状態制御部１０５に通知される。

ＵＩ操作カウント部１０６は、検出された動作入力による操作がＬＣＤ１５ａ等に表示されたＵＩオブジェクトに対する操作とみなせる場合に、例えば、その旨を示す履歴情報を時刻情報と共に主記憶部１２の所定の領域に一時的に記憶する。履歴情報として、例えば、検出された動作入力による操作がＬＣＤ１５ａ等に表示されたＵＩオブジェクトに対する操作であることを示すフラグが例示できる。

ＵＩ操作カウント部１０５は、例えば、ＵＩオブジェクトに対する操作であることを示すフラグに“１”を格納し、時刻情報と共に主記憶部１２の所定の領域に格納する。ＵＩ操作カウント部１０６は、例えば、ＬＣＤ１５ａ等に表示されたＵＩオブジェクトに対する操作とみなせる動作入力による操作を検出する度に、履歴情報であるフラグを主記憶部１２の所定の領域に蓄積する。そして、ＵＩ操作カウント部１０６は、フラグ立てが行われる度に、主記憶部１２に蓄積された履歴情報を一定時間に遡り、フラグ数の計数を行えばよい。主記憶部１２に蓄積された、一定時間以前の履歴情報は、削除するようにすればよい。

また、ＵＩ操作カウント部１０６は、例えば、検出された動作入力による操作がＬＣＤ１５ａ等に表示されたＵＩオブジェクトに対する操作とみなせる場合に、一定時間に設定されたタイマを起動するようにしてもよい。ＵＩ操作カウント部１０６は、起動されたタイマの、タイマ期間中のＵＩオブジェクトに対する操作とみなせる動作入力による操作回数を計数するようにしてもよい。

ＵＩ操作判定部１０７は、例えば、トラッキング入力部１０１で検出された手の動きに対応付けられたカーソルの動き、ＬＣＤ１５ａ等に表示されたＵＩオブジェクトの状態、カーソルとＵＩオブジェクトの位置関係に基づいて、操作判定を行う。ＵＩ操作判定部１０７の操作判定は、ＬＣＤ１５ａ等に表示されたＵＩオブジェクトに対する操作がどのように行われているかを判定する。なお、ＵＩ操作判定部１０７は、トラッキング入力部１０１で検出された手の位置の奥行き方向の動き、手の形状、顔方向、視線方向等を操作判定の条件に含めるようにしてもよい。ＵＩ操作判定部１０７による、ＵＩオブジェクトに対する操作判定結果は、例えば、ＵＩ操作処理部１０８に通知される。

ＬＣＤ１５ａ等に表示されたＵＩオブジェクトに対する操作方法として、図５に例示するように、クロッシングによる方法が例示できる。クロッシングでは、例えば、ユーザの動作入力による操作に対応付けられて移動するカーソルが、画面上に表示されたＵＩオブジェクト等の表示領域の境界線上を所定の方向と順序で通過することを検出し、操作対象の選択・操作を行う。

非接触ＵＩ機能を使用しない場合、例えば、ユーザは、マウス等のポインティングデバイスを操作し、画面上の該ボタン部品の表示位置にカーソルを重畳させ、クリック操作を行うことでボタン部品の押下操作を行う。一般的なコンピュータは、ユーザの押下操作を検出し、押下操作に対応付けられたアプリ機能を実行する。一方、クロッシングでは、動作入力装置１０は、例えば、動作入力による操作に応じて画面上の表示領域を移動するカーソルが、ボタン部品の表示領域の境界を領域外から領域内へ移動したことを検出し、ボタン部品の押下操作に対応付けられたアプリ機能を実行する。

なお、クロッシングによるボタン部品の押下操作は、例えば、図５に例示するように、連続した、ボタン部品が表示された領域の領域外から領域内へのカーソル移動、及び、領域内から領域外へのカーソル移動を組み合わせるようにしてもよい。ＵＩ操作判定部１０
７は、操作に係る動作入力に応じて画面上の表示領域を移動するカーソルの表示位置がボタン部品の表示領域の境界を連続して跨ぐことを、押下操作の判定条件としてもよい。また、ＵＩオブジェクトがスクロールバーの場合では、ＵＩ操作判定部１０７は、例えば、カーソルの表示位置がスクロールバーの表示領域の境界を表示領域外から表示領域内へ移動したことを検出し、表示領域のスクロール量に応じて回転する水車等の操作部品を表示するようにしてもよい。ユーザは、例えば、表示された水車等の操作部品に対してクロッシングを連続して行うことで回転量を調整し、表示領域のスクロール量を加減することができる。

ＵＩ操作判定部１０７での、ＵＩオブジェクトに対する操作判定は、例えば、ＵＩオブジェクトへの操作とみなせる度合いを算出し、一定値以上の度合いを有する操作を計数し、定量的な操作判定を行うようにしてもよい。定量的な操作判定を行うことにより、検出された動作入力による操作に対し、どの程度の確実性で操作が発生したかを推定することができるため、動作入力装置１０は、例えば、ユーザの意図しない偶発的な動作入力による有効状態へのモード切り替えを軽減することができる。

動作入力装置１０は、例えば、ＵＩオブジェクトに対するユーザの動作入力による操作を予め測定し、測定した動作入力による操作のパターン群をクラスタリング、平均化、分散等を求め、標準的なＵＩオブジェクト操作パターンとしてＤＢ化すればよい。ＵＩオブジェクト操作パターンには、例えば、ＵＩオブジェクト操作に係る操作軌跡、操作軌跡分布等が含まれる。そして、動作入力装置１０のＵＩ操作判定部１０７では、ＤＢに登録されたＵＩオブジェクト操作パターンと検出された動作入力による操作とを照合し、ＵＩオブジェクトへの操作とみなせる度合いを求めるとすればよい。

なお、上述の実測・統計に基づく判定以外に、動作入力装置１０は、例えば、経験則に基づくヒューリスティック条件との照合により、ＵＩオブジェクトへの操作とみなせる度合いを求めるようにしてもよい。動作入力装置１０は、例えば、動作入力による操作に対し、「ボタンに対してジグザグな軌道（直線的ではない軌道）を経由してクロッシングされた場合、操作確実性の度合いを下げる」等の経験則に基づく条件を反映できる。

ＵＩ操作処理部１０８は、例えば、非接触ＵＩ機能の状態が有効状態のとき、ＵＩ操作判定処理部１０７から通知された判定結果に基づいて、カーソル等により指示された操作対象のＵＩオブジェクトに関連付けられた機能を実行する。例えば、起動中のアプリが動画ビューワの場合では、画面上に表示された再生ボタンに対する動作入力による操作が該再生ボタンの押下と判定された際には、視聴対象の動画の再生が実行される。また、起動中のアプリがブラウザの場合では、例えば、動作入力による操作が画面上に表示されたスクロールバーに対する操作と判定された際には、該ブラウザを介して表示中のコンテンツの表示領域のスクロールが実行される。

なお、ＵＩ操作処理部１０８は、非接触ＵＩ機能の無効状態から有効状態へのモード切り替えが行われた直後の、１回目のＵＩオブジェクトに対する動作入力による操作を有効な操作として処理する。そして、ＵＩ操作処理部１０８は、モード切り替えの時点から一定時間を経過するまでの期間では、２回目以降の操作に対し、検出された動作入力による操作を無効として処理するようにしてもよい。動作入力装置１０は、モード切り替え直後の動作入力による操作に対して時間的に冗長性を持たせることにより、例えば、モード切り替え直後の、勢い余って発生した余分な動作入力に対する処理を抑制することができる。

カーソル制御部１０９は、例えば、トラッキング入力部１０１で検出された、操作に係るユーザの動作入力の操作部位の位置情報に応じて、ＬＣＤ１５ａ等に表示されたカーソ
ルの表示位置を更新する。カーソル制御部１０９は、例えば、トラッキング入力部１０１で検出された操作有効領域内の操作に係る動作入力の操作部位の位置情報と、ＬＣＤ１５ａ等の表示領域を移動するカーソルの位置情報との対応付けを行う。カーソル制御部１０９は、操作に係る動作入力の操作部位の位置情報と対応付けられたカーソルの位置情報を、画面表示部１１０に通知する。

操作に係る動作入力の操作部位の位置情報とカーソルの位置情報との対応付けは、例えば、カメラ１４ａ等で撮像された操作部位の座標情報とカーソルの表示画面上の座標情報とのアフィン変換により行われる。操作に係る動作入力を行うユーザは、例えば、動作入力を撮像するカメラ１４ａ等の撮像装置と対向する。動作入力装置１０は、例えば、ユーザの動作入力に係る操作部位の可動範囲の中心位置とＬＣＤ１５ａ等の表示座標系の中心位置とを合致させるようキャリブレーションを行う。そして、動作入力装置１０は、例えば、キャリブレーション後に位置合わせが行われた、操作部位の可動範囲の高さ、幅等の座標系とＬＣＤ１５ａ等の表示座標系とを、縦横比を保ちつつ、対応させるよう座標変換を行えばよい。なお、操作部位の座標系とカーソルが表示されるＬＣＤ１５ａ等の表示座標系で高さ、幅等の比が異なる場合では、例えば、高さ、幅等のうち、スケーリングの割合が小さくなる方に基づいて各座標系の変換を行うようにすればよい。

画面表示部１１０は、例えば、非接触ＵＩ機能を用いて操作可能なアプリケーションの画面表示、ＵＩオブジェクトの表示、検出されたユーザの動作入力に応じて表示画面上を移動するカーソルの表示等を行う。画面表示部１１０は、例えば、カーソル制御部１０９より通知された位置情報に基づいて、ＬＣＤ１５ａ等にカーソル表示を行う。なお、ＬＣＤ１５ａ等に表示されるアプリケーション画面、ＵＩオブジェクトの表示内容は、対象となるアプリケーション等に応じて任意であり、限定はない。

例えば、カーソルの表示形状として、矢印型、十字型、指さし形等が例示できる。また、ＬＣＤ１５ａ等に表示されるアプリケーション画面として、例えば、Webブラウザ画面
、動画ビューワ画面、画像ビューワ画面等が例示できる。ＵＩオブジェクトとして、例えば、操作ボタン、スクロールバー等が例示できる。

なお、非接触ＵＩ機能を用いてＵＩオブジェクト操作を行う場合、マウス等の機器接触型のＵＩオブジェクト操作とは異なり、「クリック」、「ドラッグ」等の機器接触型の操作を前提とした明示的なトリガーを使用することができない。このため、ＵＩ操作判定部１０７で説明したクロッシング以外に、例えば、手の奥行き方向の移動や特定の手形への変化、操作対象のＵＩオブジェクトの表示領域におけるカーソルの停留等を、機器接触型の操作における明示的なトリガーとみなすようにしてもよい。

また、画面表示部１１０は、無効状態のとき、有効状態に戻すための専用のＵＩオブジェクトを１つ、または、複数に設け、表示するとしてもよい。有効状態制御部１０５は、例えば、複数に表示された画面上のＵＩオブジェクトの表示領域をカーソルが一定時間内に順番に、一定回数通過することで有効状態に切り替えることができる。
〔処理フロー〕
以下、図６Ａ−６Ｆを参照し、本実施形態の動作入力装置１０のモード切り替え処理を説明する。図６Ａ−６Ｆは、動作入力装置１０におけるユーザの動作入力による操作に対するモード切り替え処理のフローチャートの例示である。動作入力装置１０は、例えば、主記憶部１２に実行可能に展開されたコンピュータプログラムにより、図６Ａ−６Ｆに例示のモード切り替え処理を実行する。なお、以下の説明において、動作入力装置１０のＬＣＤ１５ａ等の表示画面には、ユーザの操作対象となるアプリケーション画面、ＵＩオブジェクト等が表示されているものとする。

図６Ａに例示のフローチャートにおいて、モード切り替え処理の開始は、例えば、カメラ１４ａ等の撮像装置を介して撮像画像が入力されたとき、或いは、例えば、１／３０秒といった時間間隔で処理の呼び出しが起動したときが例示できる。動作入力装置１０は、上述の事象の発生を契機として、本実施形態のモード切り替え処理を実行する。

図６Ａに例示のフローチャートにおいて、動作入力装置１０は、例えば、カメラ１４ａ等で撮像された撮像画像の時系列から、操作に係る動作入力のトラッキング対象となる、ユーザの手といった操作部位を捉え、位置情報を取得する（Ｓ１）。トラッキング対象の位置情報は、例えば、カメラ１４ａに対向するユーザの上下方向をＹ軸方向、左右方向をＸ軸方向とした（Ｘ，Ｙ）で示される２次元の座標Ｐとして表される。なお、位置情報は、図３のトラッキング入力部１０１で説明したように、ステレオマッチング、ＴｏＦ等のように画像の奥行きが得られる場合には、カメラ１４ａに対向するユーザ方向をＺ軸方向とした３次元座標として表される。動作入力装置１０は、トラッキング対象の座標情報を、例えば、主記憶部１２の所定の領域に一時的に記憶する。

動作入力装置１０は、Ｓ１の処理で取得したトラッキング対象の位置を表す座標Ｐを、例えば、ＬＣＤ１５ａ等の表示領域を移動するカーソル位置を表す画面座標Ｐｘに変換する（Ｓ２）。トラッキング対象の位置を表す座標Ｐのカーソル位置を表す画面座標Ｐｘへの座標変換については、図３のカーソル制御部１０９で説明した。なお、Ｓ１の処理で取得した座標Ｐが３次元座標の場合では、動作入力装置１０は、トラッキング対象迄の距離を用いて撮像画像上の位置座標を実空間上の座標に変換することができる。撮像装置とトラッキング対象との距離が離れるほど、撮像画像上のトラッキング対象の位置は、例えば、遠近法により、移動量が同じでも座標の変化は小さくなってしまう傾向にある。動作入力装置１０は、３次元座標として取得された座標Ｐを実空間の座標に変換することにより、例えば、撮像装置との距離に依存することなく、ユーザの動作入力に応じて表示画面上を移動するトラッキング対象の移動量を、カーソルの移動量に反映できる。このため、撮像画像上の位置座標から実空間上の座標への変換により、動作入力装置１０の利便性、ユーザビリティが向上する。

動作入力装置１０は、例えば、ＬＣＤ１５ａ等に表示された、アプリケーション画面、ＵＩオブジェクト等の更新処理を行い（Ｓ３）、現時点での操作モードが有効状態か否かの判定を行う（Ｓ４）。動作入力装置１０は、例えば、状態保持部１０４で保持された非接触ＵＩ機能の状態に基づいて、現時点での操作モードの状態を判定する。動作入力装置１０は、Ｓ４の判定処理の結果、現時点の操作モードが有効状態の場合には（Ｓ４，ＹＥＳ）、Ｓ１１に移行し、有効状態時のモード切り替え処理（Ｓ１１−Ｓ１６）を実行する。一方、動作入力装置１０は、Ｓ４の判定処理の結果、現時点の操作モードが有効状態でない場合には（Ｓ４，ＮＯ）、Ｓ２１に移行し、無効状態時のモード切り替え処理（Ｓ２１−２Ｂ）を実行する。なお、Ｓ３の更新処理は、ＬＣＤ１５ａ等に表示された各表示情報が適宜に更新される場合は、例えば、Ｓ１−Ｓ２の処理間で行われてもよく、Ｓ４の判定処理後に行われてもよい。

ここで、動作入力装置１０で実行されるＳ１の処理は、ユーザの動作入力に係る動作部位の位置を取得するステップの一例である。また、動作入力装置１０のＣＰＵ１１等は、ユーザの動作入力に係る動作部位の位置を取得する取得手段の一例として、Ｓ１の処理を実行する。

図６Ｂに、非接触ＵＩ機能が有効状態時のモード切り替え処理のフローチャートを例示する。図６Ｂに例示のフローチャートにおいて、動作入力装置１０は、例えば、Ｓ１−Ｓ２の処理で変換された操作に係る動作入力の座標情報に基づいて、ＬＣＤ１５ａ等の表示画面上の位置座標Ｐｘに位置するカーソルを表示させる（Ｓ１１）。そして、動作入力装
置１０は、Ｓ１−Ｓ２の処理で検出した操作に係る動作入力が、有効状態から無効状態へのモード切り替え条件を満たすか否かの判定を行う（Ｓ１２）。Ｓ１２の詳細な処理については、図６Ｄ−Ｆを用いて後述する。

動作入力装置１０は、Ｓ１−Ｓ２の処理で検出した操作に係る動作入力が、有効状態から無効状態へのモード切り替え条件を満たす場合には（Ｓ１２−Ｓ１３，ＹＥＳ）、非接触ＵＩ機能の状態を無効状態とし、モード切り替え処理を終了する（Ｓ１７）。動作入力装置１０は、例えば、状態保持部１０４に保持された非接触ＵＩ機能の状態を無効状態に切り替え、次の入力イベント、或いは、時間イベントによる契機発生が行われるまで待機する。

一方、Ｓ１−Ｓ２の処理で検出した操作に係る動作入力が、有効状態から無効状態へのモード切り替え条件を満たさない場合には（Ｓ１２−Ｓ１３，ＮＯ）、動作入力装置１０は、画面上に表示されたＵＩオブジェクトに対する操作判定を行う（Ｓ１４）。画面上に表示されたＵＩオブジェクトに対する操作判定は、図３のＵＩ操作判定部１０７で説明した。動作入力装置１０は、例えば、画面上に表示されたＵＩオブジェクトの表示位置，機能状態と、Ｓ１−Ｓ２の処理で操作に係る動作入力に対応付けられたカーソル座標Ｐｘとの位置関係によってＵＩオブジェクトに対する操作判定を行う。

動作入力装置１０は、Ｓ１４の処理により、検出された操作に係る動作入力がＵＩオブジェクトに対する操作の場合には（Ｓ１５，ＹＥＳ）、操作に応じた、例えば、ボタン部品の押下等のＵＩオブジェクトに関連付けられた機能を実行する（Ｓ１６）。動作入力装置１０は、Ｓ１６の処理実行後、有効状態時のモード切り替え処理を終了する。一方、検出された操作に係る動作入力がＵＩオブジェクトに対する操作でない場合には（Ｓ１５，ＮＯ）、当モード切り替え処理を終了し、次の入力イベント、或いは、時間イベントによる契機発生が行われるまで待機する。

ここで、動作入力装置１０で実行されるＳ１２−Ｓ１３，Ｓ１７の処理は、動作部位の位置が、所定の有効領域から所定時間継続して離れたときに、表示部に表示された操作オブジェクトに対する前記ユーザの動作入力による操作を無効とする無効状態に切り替えるステップの一例である。また、動作入力装置１０のＣＰＵ１１等は、動作部位の位置が、所定の有効領域から所定時間継続して離れたときに、表示部に表示された操作オブジェクトに対する前記ユーザの動作入力による操作を無効とする無効状態に切り替える切替手段の一例として、Ｓ１２−Ｓ１３，Ｓ１７の処理を実行する。

また、動作入力装置１０で実行されるＳ１１の処理は、取得された操作部位の位置情報に連動させて表示部の表示領域にカーソルを表示するステップの一例である。また、動作入力装置１０のＣＰＵ１１等は、取得された操作部位の位置情報に連動させて表示部の表示領域にカーソルを表示する表示手段の一例として、Ｓ１１の処理を実行する。

次に、図６Ｃに例示のフローチャートを参照し、非接触ＵＩ機能が無効状態時におけるモード切り替え処理を説明する。図６Ｃに例示のフローチャートにおいて、動作入力装置１０は、例えば、Ｓ１−Ｓ２の処理で変換された座標情報に基づいて、検出した操作に係る動作入力に対応するカーソルを、ＬＣＤ１５ａ等の表示画面上の位置座標Ｐｘに表示させる（Ｓ２１）。動作入力装置１０は、無効状態時のカーソル表示において、例えば、輪郭のみ、半透明、メッシュ状、表示カーソルの彩色をグレーアウトとする等の、いずれか、または組合せとした表示形態でカーソル表示を行う。動作入力装置１０は、例えば、図５の説明図に例示するように、無効状態であることを明示できる表示形態でカーソル表示を行う。

動作入力装置１０は、Ｓ１−Ｓ２の処理で検出した操作に係る動作入力が、例えば、画面上に表示されたＵＩオブジェクトに対する操作であるかの判定を行う。例えば、動作入力装置１０は、操作に係る動作入力に対応付けられたカーソルの表示位置、ＵＩオブジェクトの状態、ＵＩオブジェクトの表示位置等により、操作判定を行う（Ｓ２２）。なお、Ｓ２２の操作判定は、非接触ＵＩ機能の状態を無効状態から有効状態へ切替えるための判定である。このため、図６Ｃに例示のよう、「仮操作」判定と称する。動作入力装置１０は、Ｓ１−Ｓ２の処理で検出した操作に係る動作入力が、「仮操作」なしと見なせる場合には（Ｓ２３，ＮＯ）、当モード切り替え処理を終了し、次の入力イベント、或いは、時間イベントによる契機発生が行われるまで待機する。

図５の説明例では、「仮操作」とみなせる行為として、カーソルの表示位置が、例えば、表示領域Ａ１−Ａ３に表示されたＵＩオブジェクトに対する領域境界をまたいで領域外から領域内への移動を例示できる。動作入力装置１０は、例えば、Ｓ１−Ｓ２の処理で検出した操作に係る動作入力が、「仮操作」とみなせる場合には（Ｓ２３、ＹＥＳ）、仮操作対象のＵＩオブジェクトが、既に仮操作とみなせる行為を行ったＵＩオブジェクトと同一か否かを判定する（Ｓ２４）。動作入力装置１０は、Ｓ２２の処理で「仮操作」判定となった操作に係る動作入力が、既に仮操作と見なされたＵＩオブジェクトと異なるＵＩオブジェクトに対するものである場合には（Ｓ２４、ＹＥＳ）、既に計数した仮操作回数を“０”にリセットする（Ｓ２６）。そして、動作入力装置１０は、Ｓ２７の処理に移行する。

一方、動作入力装置１０は、Ｓ２２の処理で「仮操作」判定となった操作に係る動作入力が、既に仮操作と見なされたＵＩオブジェクトと同じＵＩオブジェクトに対するものである場合には（Ｓ２４，ＮＯ）、Ｓ２５の処理に移行する。

Ｓ２５の処理では、動作入力装置１０は、Ｓ２２の処理で「仮操作」判定となった操作に係る動作入力に対して時間判定を行う。動作入力装置１０は、例えば、既に仮操作とみなされたＵＩオブジェクトに対する履歴情報等から、Ｓ２２の処理で「仮操作」判定となった操作に係る動作入力に対する経過時間を算出する。そして、動作入力装置１０は、経過時間を計測時間Ｔとし、該計測時間Ｔと閾値との比較を行う（Ｓ２５）。ここで、閾値は、例えば、予め操作に係る動作入力の、意図的に繰り返してＵＩオブジェクトの操作を行う時間を実験的に測定し、閾値とすればよい。例えば、実験的に測定された時間から求められた閾値を超えるようであれば、Ｓ２２の処理で「仮操作」判定となった動作入力は、偶発的に複数回の操作が発生したものとみなすことができる。

動作入力装置１０は、計測時間Ｔと閾値との比較を行い、計測時間Ｔが閾値を超えている場合には（Ｓ２５，ＹＥＳ）、既に計数した仮操作回数を非意図的な操作回数とみなし、“０”にリセットする（Ｓ２６）。一方、動作入力装置１０は、計測時間Ｔが閾値を超えない場合には（Ｓ２５，ＮＯ）、Ｓ２７に移行する。

Ｓ２７の処理では、動作入力装置１０は、例えば、主記憶部１２の所定の領域に記憶された、ＵＩオブジェクトに対する操作（仮操作）回数を参照し、“０”か否かを判定する。例えば、既にＵＩオブジェクトに対する「仮操作」判定が行われている場合には、主記憶部１２の所定の領域には時刻情報を含む履歴情報が記憶されているため、“０”ではないと判定できる。

動作入力装置１０は、Ｓ２７の処理において、ＵＩオブジェクトに対する「仮操作」回数が“０”の場合には（Ｓ２７，ＹＥＳ）、Ｓ２８の処理に移行し、時間計測Ｔのリセットを行う。例えば、動作入力装置１０は、主記憶部１２の所定の領域に格納された、ＵＩオブジェクトに対する「仮操作」に対する履歴情報の削除を行う。そして、Ｓ２２の処理
で「仮操作」判定となった操作に係る動作入力に対する時間計測Ｔを行うため、動作入力装置１０は、新たな履歴情報を主記憶部１２の所定の領域に記憶する。つまり、動作入力装置１０は、Ｓ２２の処理で「仮操作」判定となった操作に係る動作入力を、起点として新たな時間計測Ｔを開始する。

一方、動作入力装置１０は、Ｓ２７の処理において、ＵＩオブジェクトに対する「仮操作」回数が“０”でない場合には（Ｓ２７，ＮＯ）、Ｓ２９の処理に移行する。Ｓ２９の処理では、動作入力装置１０は、例えば、Ｓ２２の処理で「仮操作」判定となった操作に係る動作入力に対する履歴情報を主記憶部１２の所定の領域に記憶する。そして、動作入力装置１０は、例えば、仮操作回数の計数値を“１”インクリメントし、Ｓ２Ａの処理に移行する。

Ｓ２Ａの処理では、動作入力装置１０は、例えば、ＵＩオブジェクトに対する「仮操作」回数の計数値と閾値との比較を行う。Ｓ２Ａの閾値は、例えば、ＵＩオブジェクトに対して行われた操作に係る動作入力の回数に基づいて非接触ＵＩ機能を有効状態に切り替えるための閾値である。ここで、閾値は、画面上に表示されるＵＩオブジェクトごとに設けるとしてもよい。例えば、偶発的な判定が起きやすいオブジェクトの場合では、検出された操作回数により有効状態へ移行しにくくするために閾値を大きくすることが例示できる。また、偶発的な判定が起きにくいＵＩオブジェクトに場合には、例えば、有効状態へ切り替えるための判定閾値を“１”とする、等が例示できる。

動作入力装置１０は、ＵＩオブジェクトに対する「仮操作」回数の計数値が閾値未満の場合には（Ｓ２Ａ，ＮＯ）、当モード切り替え処理を終了し、次の入力イベント、或いは、時間イベントによる契機発生が行われるまで待機する。一方、動作入力装置１０は、ＵＩオブジェクトに対する「仮操作」回数の計数値が閾値以上の場合には（Ｓ２Ａ，ＹＥＳ）、非接触ＵＩ機能を有効状態に切り替える（Ｓ２Ｂ）。そして、動作入力装置１０は、例えば、状態保持部１０４に有効状態であることを通知し、当モード切り替え処理を終了する。

ここで、動作入力装置１０で実行されるＳ２２−Ｓ２Ｂの処理は、取得された動作部位の位置から、表示部に表示された操作オブジェクトに対する所定の操作条件を満たす操作を検出したときに、ユーザの動作入力による操作を無効とする無効状態から該動作入力による操作を有効とする有効状態に復帰させるステップの一例である。また、動作入力装置１０のＣＰＵ１１等は、取得された動作部位の位置から、表示部に表示された操作オブジェクトに対する所定の操作条件を満たす操作を検出したときに、ユーザの動作入力による操作を無効とする無効状態から該動作入力による操作を有効とする有効状態に復帰させる制御手段の一例として、Ｓ２２−Ｓ２Ｂの処理を実行する。

また、動作入力装置１０で実行されるＳ２１の処理は、取得された操作部位の位置情報に連動させて表示部の表示領域にカーソルを表示するステップの一例である。また、動作入力装置１０のＣＰＵ１１等は、取得された操作部位の位置情報に連動させて表示部の表示領域にカーソルを表示する表示手段の一例として、Ｓ２１の処理を実行する。

次に、図６Ｄ−６Ｆに例示のフローチャートを参照し、図６Ｂに例示のＳ１２の詳細な処理を説明する。図６Ｂに例示のＳ１２の処理は、主に、無効条件判定部１０２により行われる。

図６Ｄに例示のフローチャートは、例えば、図４Ｂに例示の操作有効領域を用いた無効状態へのモード切り替え判定処理の一例である。また、図６Ｅに例示のフローチャートは、例えば、顔方向検出を用いたモード切り替え判定処理の一例である。また、図６Ｆに例
示のフローチャートは、例えば、ユーザの操作に係る動作入力に対応付けられたカーソルの表示位置が、表示画面上の複数の領域を通過することを条件としたモード切り替え判定処理の一例である。

図６Ｄに例示のフローチャートにおいて、動作入力装置１０は、例えば、カメラ１４ａ等で撮像された撮像画像の時系列から、操作に係る動作入力を行うユーザの顔領域を抽出する（Ｓ３１）。顔領域の抽出は、例えば、撮像画像に対する、顔の目、鼻、口等の特徴点が登録された顔パターン辞書等とのパターンマッチング等を例示できる。動作入力装置１０は、例えば、補助記憶部１３等に格納された顔の目、鼻、口等の特徴点が登録された顔パターン辞書等を参照し、撮像画像に対するパターンマッチングにより、操作に係る動作入力を行うユーザの顔領域の抽出を行う。

Ｓ３１の処理で抽出した顔領域に対し、動作入力装置１０は、例えば、時系列順の複数の撮像画像から、撮像画像上のユーザの顔の大きさ、位置といった顔領域を推定する（Ｓ３２）。動作入力装置１０は、例えば、撮像画像上のユーザの顔領域が、中央付近であること、該撮像画像上の顔領域の大きさが他の撮像画像上の顔領域よりも大きいこと等を条件として、撮像画像間の比較を行いユーザの顔領域を推定する。そして、動作入力装置１０は、例えば、推定された撮像画像上の顔領域の大きさ、位置から、カメラ１４ａ等の焦点距離、視野角等の性能緒元等に基づいて、撮像対象となる実空間上のユーザの顔位置の割り出しを行う（Ｓ３３）。実空間上のユーザの顔位置の割り出しは、例えば、カメラ１４ａ等の焦点距離、視野角等の性能緒元等に基づき、撮像画像上の消失点を割出し、該消失点に対する一点透視変換の逆変換を行うことが例示できる。

Ｓ３３の処理で割り出された実空間におけるユーザの顔位置に基づいて、動作入力装置１０は、例えば、図４Ｂに例示の、操作有効領域Ｅを特定する（Ｓ３４）。操作有効領域の特定については、図４Ｂで説明した。動作入力装置１０は、例えば、撮像画像の時系列に含まれる、トラッキング対象の、操作に係る動作入力を行う操作部位（例えば、手の位置）の画像上の大きさと位置から、実空間上におけるトラッキング対象の位置Ｖを特定する（Ｓ３５）。

動作入力装置１０は、例えば、Ｓ３５の処理で特定したトラッキング対象の位置Ｖが操作有効領域Ｅ内に含まれているかを判定する（Ｓ３６）。動作入力装置１０は、トラッキング対象の位置Ｖが操作有効領域Ｅ内に含まれている場合には（Ｓ３６，ＹＥＳ）、計測時間Ｔ２のリセットを行い（Ｓ３７）、当該処理を終了する。ここで、Ｓ３７の処理における計測時間Ｔ２は、例えば、トラッキング対象の位置Ｖが、操作有効領域Ｅ内に含まれていない期間を計測するタイマである。一方、動作入力装置１０は、トラッキング対象の位置Ｖが操作有効領域Ｅ内に含まれていない場合には（Ｓ３６，ＮＯ）、Ｓ３８の処理に移行する。

動作入力処理１０は、Ｓ３８の処理では、例えば、トラッキング対象の位置Ｖが、操作有効領域Ｅ内に含まれていない期間を計測するタイマを起動し、計測時間Ｔ２の計測を行う。そして、動作入力装置１０は、計測時間Ｔ２と閾値との比較を行い、計測時間Ｔ２が閾値以下の場合には（Ｓ３８，ＮＯ）、当該処理を終了する。一方、動作入力装置１０は、計測時間Ｔ２が閾値を超えた場合には（Ｓ３８，ＹＥＳ）、非接触ＵＩ機能の状態を無効状態に移行し（Ｓ３９）、当該処理を終了する。なお、計測時間Ｔ２との比較を行う閾値は、例えば、動作入力装置１０の性能等に応じて任意に設定できる。

図６Ｄに例示のように、動作入力装置１０は、操作有効領域Ｅ外に移動したトラッキング対象に対して時間判定を行うことにより、非接触ＵＩ機能の有効状態から無効状態へのモード切り替えを行うことができる。

次に、図６Ｅに例示のフローチャートを参照し、顔方向検出を用いたモード切り替え判定処理を説明する。図６Ｅに例示のフローチャートにおいて、Ｓ４１−Ｓ４２の処理は、図６Ｄに例示のＳ３１−Ｓ３２の処理に相当する。動作入力装置１０は、例えば、カメラ１４ａ等で撮像された撮像画像の時系列から、顔パターン辞書等とのパターンマッチング等により操作に係る動作入力を行うユーザの顔領域を抽出する。そして、動作入力装置１０は、例えば、時系列順の複数の撮像画像から、撮像画像上のユーザの顔領域が、中央付近であること等を条件として、撮像画像上のユーザの顔の大きさ、位置といった顔領域を推定する。

動作入力装置１０は、Ｓ４２の処理でユーザの顔領域を抽出した後、例えば、顔領域内の目、鼻、口等の特徴点に対するパーツ領域の抽出を行う。パーツ領域の抽出は、例えば、目、鼻、口等の特徴点が登録された顔パターン辞書等との照合でもよく、複数の目、鼻、口等のパーツ領域を平均化した濃淡パターン等との照合によるとしてもよい。動作入力装置１０は、撮像画像上の顔領域内の各パーツ領域の位置関係から、ユーザの顔方向を算出する（Ｓ４３）。

ここで、顔方向の算出例として、例えば、推定する顔方向を回転行列Ｍとし、平均化された各パーツ領域の位置関係をパーツ領域毎の座標値で表した行列Ｆとする。そして、抽出された各パーツ領域の座標を行列Ｒとし、撮像による一点透視変換の変換関数をｇ（ｘ）とすると、抽出された各パーツ領域の座標行列Ｒと顔方向を表す回転行列Ｍ、行列Ｆとの関係は次の数式（１）で表すことができる。

ｇ（ＭＦ）＝Ｒ 数式（１）
一点透視変換関数ｇ（ｘ）の逆変換関数ｇ´（ｘ）、行列Ｆの逆行列Ｆ^−１を用いて数式（１）を変形すると、顔方向を表す回転行列Ｍを求める、次の数式（２）を得ることができる。

Ｍ＝ｇ´（Ｒ）Ｆ^−１ 数式（２）
動作入力装置１０は、撮像画像の時系列から取得した各パーツ領域の座標行列Ｒ等を数式（２）に代入することにより、操作に係る動作入力を行うユーザの顔方向を求めることができる。

次に動作入力装置１０は、例えば、Ｓ４２の処理で推定された撮像画像上の顔領域の大きさ、位置から、カメラ１４ａ等の焦点距離、視野角等の性能緒元等に基づいて、撮像対象となる実空間上のユーザの顔位置の割り出しを行う（Ｓ４４）。実空間上のユーザの顔位置の割り出しは、図６ＤのＳ３３の処理で説明した。

動作入力装置１０は、例えば、Ｓ４３−Ｓ４４の処理で求めた、ユーザの顔方向及び実空間上におけるユーザの顔位置から、ＬＣＤ１５ａ等の画面平面上の注視位置Ｗを推定する（Ｓ４５）。なお、操作に係る動作入力を撮像するカメラ１４ａ等の撮像装置とＵＩオブジェクトが表示されるＬＣＤ１５ａ等の表示画面との位置関係は、予め規定されているものとする。動作入力装置１０は、例えば、Ｓ４４の処理で取得した実空間上のユーザの顔位置から、表示画面方向に延伸する直線に対して、Ｓ４３の処理で算出した回転行列Ｍを掛合せて変換した直線を求める。そして、動作入力装置１０は、Ｓ４３の処理で算出した回転行列Ｍを掛合せて変換された直線と、ＬＣＤ１５ａ等の画面平面とが交わる点を注視位置Ｗとして推定する。

動作入力装置１０は、Ｓ４５の処理で推定された注視位置Ｗを、例えば、画面平面上の２次元座標に変換し、該変換された注視位置Ｗが、画面平面上の領域内に位置しているか
を判定する（Ｓ４８）。動作入力装置１０は、画面平面上の２次元座標に変換された注視位置Ｗが、画面領域内に位置している場合には（Ｓ４６，ＹＥＳ）、計測時間Ｔ２のリセットを行い（Ｓ４７）、当該処理を終了する。計測時間Ｔ２は、例えば、変換された注視位置Ｗが画面領域内に位置していない期間を計測するタイマである。一方、動作入力装置１０は、画面平面上の２次元座標に変換された注視位置Ｗが、画面領域内に位置していない場合には（Ｓ４６，ＮＯ）、Ｓ４８の処理に移行する。

Ｓ４８の処理では、動作入力装置１０は、例えば、上述のタイマを起動し、変換された注視位置Ｗが画面領域内に位置していない期間を計測する。そして、動作入力装置１０は、計測時間Ｔ２と閾値との比較を行い、計測時間Ｔ２が閾値以下の場合には（Ｓ４８，ＮＯ）、当該処理を終了する。一方、動作入力装置１０は、計測時間Ｔ２が閾値を超えた場合には（Ｓ４８，ＹＥＳ）、非接触ＵＩ機能の状態を無効状態へ移行し（Ｓ４９）、当該処理を終了する。ここで、計測時間Ｔ２との比較を行う閾値は、動作入力装置１０の性能等に応じて任意に設定できる。

図６Ｅに例示のように、動作入力装置１０は、ＬＣＤ１５ａ等の画面領域外の注視位置Ｗに対して時間判定を行うことにより、非接触ＵＩ機能の有効状態から無効状態へのモード切り替えを行うことができる。なお、図６Ｅに例示の処理において、動作入力装置１０は、例えば、ユーザの顔領域、顔領域内の目、鼻、口等の各パーツ領域を抽出できなかった場合には、ユーザが画面方向を視ていなかったものとして処理するとしてもよい。

次に、図６Ｆに例示のフローチャートを参照し、表示画面上の複数の領域を通過することを条件としたモード切り替え判定処理を説明する。図６Ｆに例示のフローチャートにおいて、動作入力装置１０は、例えば、ＬＣＤ１５ａ等の表示画面上に、Ｎ個の判定領域Ｒｉ（ｉ＝１，２，…，Ｎ）を表示する（Ｓ５１）。そして、動作入力装置１０は、例えば、操作に係る動作入力と対応付けられて表示画面上を移動するカーソルの表示位置が、判定領域Ｒ_１を通過したか否かを判定する（Ｓ５２）。判定領域Ｒｉの通過は、例えば、操作に係る動作入力に対応付けられて画面上の表示領域を移動するカーソルの表示位置が、該判定領域Ｒｉの表示領域外から表示領域内に移動したことを判定すればよい。

動作入力装置１０は、カーソルが判定領域Ｒ_１を通過した場合には（Ｓ５２，ＹＥＳ）、例えば、判定領域Ｒｉの領域番号を示す指示値Ｋ（Ｋ＝１，２，…，Ｎ）を主記憶部１２の所定の領域に一時的に格納する（Ｓ５３）。指示値Ｋの初期値は、例えば、“１”とする。動作入力装置１０は、例えば、通過した判定領域Ｒ_１の領域番号である“１”を主記憶部１２の所定の領域に格納する。そして、動作入力装置１０は、例えば、計測時間Ｔ２のリセットを行い、カーソルが判定領域Ｒｉを通過する通過期間を計測するタイマを起動する（Ｓ５４）。動作入力装置１０は、タイマ起動後に、Ｓ５５の処理に移行する。なお、動作入力装置１０は、カーソルの表示位置が判定領域Ｒ_１を通過せずに移動する場合にも（Ｓ５２，ＮＯ）、Ｓ５５の処理に移行する。

Ｓ５５の処理では、動作入力装置１０は、例えば、操作に係る動作入力と対応付けられて表示画面上を移動するカーソルの表示位置が、表示画面上の判定領域Ｒ_Ｋを通過したか否かの判定を行う。動作入力装置１０は、カーソルが判定領域Ｒ_Ｋを通過した場合には（Ｓ５５，ＹＥＳ）、Ｓ５５の処理で通過したと判定された判定領域Ｒ_Ｋの領域番号を示す指示値Ｋが画面上に表示された判定領域の個数Ｎに等しいか否かの判定を行う（Ｓ５６）。一方、動作入力装置１０は、カーソルの表示位置が判定領域Ｒ_Ｋを通過せずに移動する場合には（Ｓ５５，ＮＯ）、当該処理を終了する。

Ｓ５６の処理において、動作入力装置１０は、判定領域Ｒ_Ｋの領域番号を示す指示値Ｋが画面上に表示された判定領域の個数Ｎと等しくない場合には（Ｓ５６，ＮＯ）、Ｓ５７
の処理に移行する。Ｓ５７の処理では、動作入力装置１０は、例えば、Ｓ５３の処理で主記憶部１２の所定の領域に格納した、判定領域Ｒｉの領域番号を示す指示値Ｋに対して“１”のインクリメントを行う。そして、動作入力装置１０は、インクリメントして得られた“Ｋ＋１”を再び主記憶部１２の所定の領域に格納し、当該処理を終了する。

一方、動作入力装置１０は、判定領域Ｒ_Ｋの領域番号を示す指示値Ｋが画面上に表示された判定領域の個数Ｎと等しい場合には（Ｓ５６，ＹＥＳ）、Ｓ５８の処理に移行する。Ｓ５８の処理では、動作入力装置１０は、例えば、Ｓ５４の処理で起動したタイマによる計測時間Ｔ２と閾値との比較を行い、計測時間Ｔ２が閾値を超える場合には（Ｓ５８，ＹＥＳ）、当該処理を終了する。一方、動作入力装置１０は、Ｓ５４の処理で起動したタイマによる計測時間Ｔ２が閾値以下の場合には（Ｓ５８，ＮＯ）、非接触ＵＩ機能の状態を無効状態へ移行し（Ｓ５９）、当該処理を終了する。なお、計測時間Ｔ２との比較を行う閾値は、動作入力装置１０の性能等に応じて任意に設定できる。

ここで、動作入力装置１０で実行されるＳ５１の処理は、無効状態のときに、表示部の表示領域に操作を有効状態に復帰させるための１つ、または、複数の操作オブジェクトを表示するステップの一例である。また、動作入力装置１０のＣＰＵ１１等は、無効状態のときに、表示部の表示領域に操作を有効状態に復帰させるための１つ、または、複数の操作オブジェクトを表示する手段の一例として、Ｓ５１の処理を実行する。

図６Ｆに例示のように、動作入力装置１０は、カーソルの表示位置が、表示画面上の複数の判定領域Ｒｉを、所定時間内に領域番号順に通過することを条件として、非接触ＵＩ機能の有効状態から無効状態へのモード切り替えを行うことができる。

以上、説明したように、本実施形態の動作入力装置１０では、非接触ＵＩ機能が無効状態の画面上に表示されたＵＩオブジェクトに対する操作に係る動作入力が、一定回数以上であるといった所定の条件を満たす場合に有効状態への切り替えを行うことができる。ここで、無効状態から有効状態へ切り替え際のＵＩオブジェクトに対する動作入力は、非接触ＵＩ機能が有効状態のときと同じ動作入力で行うことができる。このため、本実施形態の動作入力装置１０では、ユーザは、モード切り替えに係る特定の手振り、手形、音声等の操作に係る動作入力を意識的に行わなくともよく、動作入力に係る煩わしさ、使いづらさを軽減することができる。この結果、本実施形態の動作入力装置１０では、特定の手形、手振り等の動作入力を行う場合に比べ、非接触ＵＩに対する使いやすさを高めることができる。

また、本実施形態の動作入力装置１０では、例えば、無効モード中の画面上に表示されたＵＩオブジェクトに対する操作に係る動作入力の、所定時間内の検出回数をモード切り替えの条件とすることができる。このため、本実施形態の動作入力装置１０は、ユーザの意図とは無関係に行われた無意識の行為に起因する誤操作、誤作動を防止することができる。この結果、本実施形態の動作入力装置１０は、動作入力のユーザビリティを向上できる。
《コンピュータが読み取り可能な記録媒体》
コンピュータその他の機械、装置（以下、コンピュータ等）に上記いずれかの機能を実現させるプログラムをコンピュータ等が読み取り可能な記録媒体に記録することができる。そして、コンピュータ等に、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。

ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。このような記録媒体のうちコンピュータ等か
ら取り外し可能なものとしては、例えばフレキシブルディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ／Ｗ、ＤＶＤ、ブルーレイディスク、ＤＡＴ、８ｍｍテープ、フラッシュメモリなどのメモリカード等がある。また、コンピュータ等に固定された記録媒体としてハードディスクやＲＯＭ等がある。
《その他》
以上の実施形態は、さらに以下の付記と呼ぶ態様を含む。以下の各付記に含まれる構成要素は、他の付記に含まれる構成と組み合わせることができる。
（付記１）
ユーザの動作入力に係る動作部位の位置を取得する取得手段と、
前記取得手段で取得された動作部位の位置から、表示部に表示された操作オブジェクトに対する所定の操作条件を満たす操作を検出したときに、前記ユーザの動作入力による操作を無効とする無効状態から該動作入力による操作を有効とする有効状態に復帰させる制御手段と、
を備えるユーザの動作入力装置。
（付記２）
前記動作部位の位置が、所定の有効領域から所定時間継続して離れたときに、表示部に表示された操作オブジェクトに対する前記ユーザの動作入力による操作を無効とする無効状態に切り替える切替手段と、をさらに備える付記１に記載のユーザの動作入力装置。
（付記３）
前記取得手段で取得された動作部位の位置情報に連動させて表示部の表示領域にカーソルを表示する表示手段と、をさらに備え、
前記制御手段は、前記表示部に表示された操作オブジェクトの表示位置と前記カーソルの表示位置との位置関係から、前記操作オブジェクトに対する操作を検出する、付記１または２に記載のユーザの動作入力装置。
（付記４）
前記表示手段は、前記無効状態のときのカーソル表示の態様を、前記有効状態のカーソル表示の態様とは異なる態様で表示する、付記３に記載のユーザの動作入力装置。
（付記５）
前記制御手段は、前記表示部に表示された一の操作オブジェクトに対する、一定時間内の連続した操作の検出を前記所定の操作条件とする、付記１から付記４の何れか一の付記に記載のユーザの動作入力装置。
（付記６）
前記制御手段は、前記無効状態から前記有効状態への切り替えが行なわれた直後に検出された第１の前記ユーザの動作入力を有効とし、前記有効状態への切り替えが行われた時点から一定時間を経過した後に検出した第２の前記ユーザの動作入力を有効とする、付記１から付記５の何れか一の付記に記載のユーザの動作入力装置。
（付記７）
前記制御手段は、動作入力を行うユーザの顔方向、或いは、視線方向を検出し、該検出されたユーザの顔方向、或いは視線方向が前記表示部に表示された操作オブジェクト方向へ向いていることを、前記所定の操作条件に含む、付記１から付記６の何れか一の付記に記載のユーザの動作入力装置。
（付記８）
前記制御手段は、前記表示部に表示された操作オブジェクトに対する操作とみなせる度合いを計数し、該計数値が所定の閾値を超えることを、前記所定の操作条件に含む、付記１から付記７の何れか一の付記に記載のユーザの動作入力装置。
（付記９）
前記表示手段は、前記取得手段で取得された、前記ユーザの動作入力に係る複数の動作部位の中から、移動速度が所定値を超える動作部位ごとにカーソル表示を行い、
前記制御手段は、前記カーソル表示が行われた動作部位の中から所定の動作条件を満たす動作部位を検出すると共に、検出された操作に係る動作部位を前記有効状態時の動作入
力の動作部位とする、付記３から付記８の何れか一の付記に記載のユーザの動作入力装置。
（付記１０）
前記表示手段は、前記動作部位ごとの移動速度に応じてカーソル表示の態様を変更する、付記９に記載のユーザの動作入力装置。
（付記１１）
前記無効状態のときに、前記表示部の表示領域に前記操作を有効状態に復帰させるための１つ、または、複数の操作オブジェクトを表示する手段と、をさらに備え、
前記制御手段は、前記表示部に表示された前記操作を有効状態に復帰させるための１つの操作オブジェクトに対する一定時間内の一定回数の、ユーザの動作入力による操作、または、複数の操作オブジェクトに対する一定時間内の、所定順の一定回数の、ユーザの動作入力による操作の検出を前記所定の操作条件とする、付記１から付記１０の何れか一の付記に記載のユーザの動作入力装置。
（付記１２）
前記切替手段は、動作入力を行うユーザの顔方向、或いは、視線方向を検出し、該検出されたユーザの顔方向、或いは視線方向が前記表示部に表示された操作オブジェクト方向に対し、一定時間に継続して向いていないときに、前記操作を無効とする無効状態に切り替える、付記２から付記１１の何れか一の付記に記載のユーザの動作入力装置。
（付記１３）
前記有効領域は、動作入力を行うユーザの位置と操作オブジェクトが表示される表示部の表示領域との対応関係に基づいて設定される、付記２から付記１２の何れか一の付記に記載のユーザの動作入力装置。
（付記１４）
特定の手形または特定の手の移動軌跡を検出する画像検出手段と、
特定の音声を検出する音声検出手段とをさらに備え、
前記切替手段は、前記特定の手形、前記特定の手の移動軌跡、または前記特定の音声が検出されたときに、前記操作を無効とする無効状態に切り替える、付記２から付記１３の何れか一の付記に記載のユーザの動作入力装置。
（付記１５）
前記切替手段は、前記表示部の特定領域を一定時間内に移動する操作を検出し、前記操作を無効とする無効状態に切り替える、付記２から付記１４の何れか一付記に記載のユーザの動作入力装置。
（付記１６）
操作オブジェクトを表示する表示部を備えるコンピュータに、
ユーザの動作入力に係る動作部位の位置を取得する取得ステップと、
前記取得ステップで取得された動作部位の位置から、前記表示部に表示された操作オブジェクトに対する所定の操作条件を満たす操作を検出したときに、前記ユーザの動作入力による操作を無効とする無効状態から該動作入力による操作を有効とする有効状態に復帰させるステップと、
を実行させるためのユーザの動作入力プログラム。
（付記１７）
操作オブジェクトを表示する表示部を備えるコンピュータが、
ユーザの動作入力に係る動作部位の位置を取得する取得ステップと、
前記取得ステップで取得された動作部位の位置から、前記表示部に表示された操作オブジェクトに対する所定の操作条件を満たす操作を検出したときに、前記ユーザの動作入力による操作を無効とする無効状態から該動作入力による操作を有効とする有効状態に復帰させるステップと、
を実行するユーザの動作入力方法。

１０ 動作入力装置
１１ ＣＰＵ
１２ 主記憶部
１３ 補助記憶部
１４ 入力部
１４ａ カメラ
１４ｂ ＬＥＤ
１４ｃ 受光器
１４ｄ 装着物
１５ 出力部
１５ａ ＬＣＤ
１６ 通信部
１０１ トラッキング入力部
１０２ 無効条件判定部
１０３ 無効状態制御部
１０４ 状態保持部
１０５ 有効状態制御部
１０６ ＵＩ操作カウント部
１０７ ＵＩ操作判定部
１０８ ＵＩ操作処理部
１０９ カーソル制御部
１１０ 画面表示部

Claims (16)

1. ユーザの動作入力に係る動作部位の位置を取得する取得手段と、
   前記取得手段で取得された動作部位の位置から、表示部に表示された操作オブジェクトに対する所定の操作条件を満たす操作を検出したときに、前記ユーザの動作入力による操作を無効とする無効状態から該動作入力による操作を有効とする有効状態に復帰させる制御手段と、を備え、
   前記所定の操作条件を満たす操作は、前記有効状態のときに前記操作オブジェクトに対応した機能を実行する為に前記操作オブジェクトに対する操作が所定回数以上実行される操作又は一定時間内の連続した操作の何れかである、
   ユーザの動作入力装置。
2. 前記動作部位の位置が、所定の有効領域から所定時間継続して離れたときに、表示部に表示された操作オブジェクトに対する前記ユーザの動作入力による操作を無効とする無効状態に切り替える切替手段と、をさらに備える請求項１に記載のユーザの動作入力装置。
3. 前記取得手段で取得された動作部位の位置情報に連動させて表示部の表示領域にカーソルを表示する表示手段と、をさらに備え、
   前記制御手段は、前記表示部に表示された操作オブジェクトの表示位置と前記カーソルの表示位置との位置関係から、前記操作オブジェクトに対する操作を検出する、請求項１または２に記載のユーザの動作入力装置。
4. 前記表示手段は、前記無効状態のときのカーソル表示の態様を、前記有効状態のカーソル表示の態様とは異なる態様で表示する、請求項３に記載のユーザの動作入力装置。
5. 前記制御手段は、前記無効状態から前記有効状態への切り替えが行なわれた直後に検出された第１の前記ユーザの動作入力を有効とし、前記有効状態への切り替えが行われた時点から一定時間を経過するまでの間は前記第１のユーザの動作入力の後に検出した第２の前記ユーザの動作入力を無効とする、請求項１から請求項４の何れか一項に記載のユーザの動作入力装置。
6. 前記制御手段は、動作入力を行うユーザの顔方向、或いは、視線方向を検出し、該検出されたユーザの顔方向、或いは視線方向が前記表示部に表示された操作オブジェクト方向へ向いていることを、前記所定の操作条件に含む、請求項１から請求項５の何れか一項に記載のユーザの動作入力装置。
7. 前記制御手段は、前記表示部に表示された操作オブジェクトに対する操作とみなせる度合いを計数し、該計数値が所定の閾値を超えることを、前記所定の操作条件に含む、請求項１から請求項６の何れか一項に記載のユーザの動作入力装置。
8. 前記表示手段は、前記取得手段で取得された、前記ユーザの動作入力に係る複数の動作部位の中から、移動速度が所定値を超える動作部位ごとにカーソル表示を行い、
   前記制御手段は、前記カーソル表示が行われた動作部位の中から所定の動作条件を満たす動作部位を検出すると共に、検出された操作に係る動作部位を前記有効状態における動作入力の動作部位とする、請求項３または４に記載のユーザの動作入力装置。
9. 前記表示手段は、前記動作部位ごとの移動速度に応じてカーソル表示の態様を変更する、請求項８に記載のユーザの動作入力装置。
10. 前記無効状態のときに、前記表示部の表示領域に前記操作を有効状態に復帰させるための１つ、または、複数の操作オブジェクトを表示する手段と、をさらに備え、
    前記制御手段は、前記表示部に表示された前記操作を有効状態に復帰させるための１つの操作オブジェクトに対する一定時間内の一定回数の、ユーザの動作入力による操作、または、複数の操作オブジェクトに対する一定時間内の、所定順の一定回数の、ユーザの動作入力による操作の検出を前記所定の操作条件とする、請求項１から請求項９の何れか一項に記載のユーザの動作入力装置。
11. 前記切替手段は、動作入力を行うユーザの顔方向、或いは、視線方向を検出し、該検出されたユーザの顔方向、或いは視線方向が前記表示部に表示された操作オブジェクト方向に対し、一定時間に継続して向いていないときに、前記操作を無効とする無効状態に切り替える、請求項２に記載のユーザの動作入力装置。
12. 前記有効領域は、動作入力を行うユーザの位置と操作オブジェクトが表示される表示部の表示領域との対応関係に基づいて設定される、請求項２に記載のユーザの動作入力装置。
13. 特定の手形または特定の手の移動軌跡を検出する画像検出手段と、
    特定の音声を検出する音声検出手段と、をさらに備え、
    前記切替手段は、前記特定の手形、前記特定の手の移動軌跡、または前記特定の音声が検出されたときに、前記操作を無効とする無効状態に切り替える、請求項２または１２に記載のユーザの動作入力装置。
14. 前記切替手段は、前記表示部の特定領域を一定時間内に移動する操作を検出し、前記操作を無効とする無効状態に切り替える、請求項２または１２に記載のユーザの動作入力装置。
15. 操作オブジェクトを表示する表示部を備えるコンピュータに、
    ユーザの動作入力に係る動作部位の位置を取得する取得ステップと、
    前記取得ステップで取得された動作部位の位置から、前記表示部に表示された操作オブジェクトに対する所定の操作条件を満たす操作を検出しとたきに、前記ユーザの動作入力による操作を無効とする無効状態から該動作入力による操作を有効とする有効状態に復帰
    させるステップと、を実行させ、
    前記所定の操作条件を満たす操作は、前記有効状態のときに前記操作オブジェクトに対応した機能を実行する為に前記操作オブジェクトに対する操作が所定回数以上実行される操作又は一定時間内の連続した操作の何れかである、
    ユーザの動作入力プログラム。
16. 操作オブジェクトを表示する表示部を備えるコンピュータが、
    ユーザの動作入力に係る動作部位の位置を取得する取得ステップと、
    前記取得ステップで取得された動作部位の位置から、前記表示部に表示された操作オブジェクトに対する所定の操作条件を満たす操作を検出したときに、前記ユーザの動作入力による操作を無効とする無効状態から該動作入力による操作を有効とする有効状態に復帰させるステップと、を実行し、
    前記所定の操作条件を満たす操作は、前記有効状態のときに前記操作オブジェクトに対応した機能を実行する為に前記操作オブジェクトに対する操作が所定回数以上実行される操作又は一定時間内の連続した操作の何れかである、
    ユーザの動作入力方法。

Images