JP6335696B2

JP6335696B2 - 入力装置

Info

Publication number: JP6335696B2
Application number: JP2014142806A
Authority: JP
Inventors: 喜久山口; 紀夫池田; 賢吾赤穂; 昇吾米山
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2014-07-11
Filing date: 2014-07-11
Publication date: 2018-05-30
Anticipated expiration: 2034-07-11
Also published as: JP2016018514A

Description

本発明は、ユーザが被操作機器に触れることなく、当該ユーザの操作を当該被操作機器に入力するための入力装置に関する。

従来、被操作機器に対するユーザが行う操作（以下、「操作Ｕ」ともいう）は、以下の操作が一般的であった。操作Ｕは、例えば、被操作機器に取り付けられた、物理的なボタン、レバー等をユーザが直接触れる操作である。また、操作Ｕは、例えば、ユーザがリモコンを操作するという遠隔操作である。

近年、タッチ操作という操作が一般的になってきている。具体的には、当該タッチ操作は、例えば、物理的なボタンが存在しないスマートフォン等のモバイル端末の画面に表示されるボタンにユーザが触れる操作である。

一方、ユーザが被操作機器に触れることなく、ユーザの操作を、被操作機器に入力するための操作入力技術の開発も盛んに行われている。当該操作入力技術では、例えば、ユーザの手による操作を３次元空間に拡張した３次元操作を認識し、当該３次元操作を、被操作機器に入力する。

特許文献１では、加速度を用いて、線状の動作パターンを入力するための操作入力技術（以下、「関連技術Ａ」ともいう）が開示されている。具体的には、関連技術Ａでは、ｘ，ｙ，ｚ軸といった各軸の動作（操作）の加速度が検出される。そして、検出された加速度のパターンと複数の標準パターンとが比較される。

また、特許文献２では、ユーザの肢のポインティングベクトルを用いた操作入力技術（以下、「関連技術Ｂ」ともいう）が開示されている。具体的には、関連技術Ｂでは、ユーザの肢のポインティングベクトルを用いて、ある位置に存在する点を指定する方法が示される。

特開２００６−３２３５９９号公報特許第５２６１５５４号公報（段落００３２〜００３７、図３）

ユーザの操作には、線状のパターンを示す操作、ある位置の点を指定する操作以外の操作が必要とされる場合がある。例えば、任意の範囲（領域）を指定するための操作が必要とされる場合がある。ユーザが被操作機器に触れない場合における当該操作は、例えば、ユーザの手で表現される。関連技術Ａ，Ｂでは、ユーザの手で表現される範囲（領域）を特定することができないという問題点がある。

本発明は、このような問題を解決するためになされたものであり、ユーザの手で表現される範囲を特定することが可能な入力装置を提供することを目的とする。

上記目的を達成するために、本発明の一態様に係る入力装置は、特定の領域において選択対象となる範囲である選択範囲を指定するための様態を有する、ユーザの手の撮影を行う撮影部から、当該手の撮影により当該撮影部が取得した撮影画像を取得する。前記入力装置は、取得された前記撮影画像が示す前記手の様態を抽出する手抽出部と、認識用の手の様態である認識用手様態を示すデータベースと、前記手抽出部が抽出した前記手の様態である抽出手様態と、前記データベースが示す前記認識用手様態とを比較することにより、当該抽出手様態を認識するための処理を行う手認識部と、前記手認識部が前記抽出手様態を認識した場合、当該抽出手様態に基づいて、前記ユーザの手で表現される前記選択範囲を特定する選択範囲特定部と、を備え、前記データベースは、前記認識用手様態、当該認識用手様態により指定される前記選択範囲を特定するための範囲特定情報及び前記選択範囲の特定に前記ユーザの手の軌跡を使用するか否かを示す軌跡使用に関する情報を対応づけて示し、前記選択範囲特定部は、予め定められた時間における、前記抽出手様態を示す、前記ユーザの手の軌跡を特定するための軌跡特定処理を行う軌跡特定部を含み、前記軌跡使用に関する情報が前記ユーザの手の軌跡の使用を示す場合には、前記軌跡特定部が、前記軌跡特定処理により特定される前記軌跡の形状に基づいて、前記抽出手様態により指定される前記選択範囲を特定し、前記手認識部が前記抽出手様態を認識し、かつ、前記軌跡使用に関する情報が前記ユーザの手の軌跡の不使用を示す場合には、前記選択範囲特定部が、認識された当該抽出手様態と比較された前記認識用手様態に対応する前記範囲特定情報に基づいて、当該抽出手様態により指定される前記選択範囲を特定する。

本発明によれば、入力装置は、ユーザの手の撮影を行う撮影部から、当該手の撮影により当該撮影部が取得した撮影画像を取得する。手認識部は、前記手抽出部が抽出した抽出手様態と、前記データベースが示す前記認識用手様態とを比較することにより、当該抽出手様態を認識するための処理を行う。選択範囲特定部は、前記手認識部が前記抽出手様態を認識した場合、当該抽出手様態に基づいて、前記ユーザの手で表現される前記選択範囲を特定する。

これにより、ユーザの手で表現される範囲を特定することができる。

本発明の実施の形態１に係る入力システムの構成の一例を示す図である。本発明の実施の形態１に係る入力装置の構成を示すブロック図である。本発明の実施の形態１に係るデータベースの構成を示す図である。範囲特定制御処理Ｎのフローチャートである。手認識処理のフローチャートである。範囲特定対応処理Ｎのフローチャートである。本発明の実施の形態２に係る入力装置の構成を示すブロック図である。本発明の実施の形態２に係るデータベースの構成を示す図である。範囲特定制御処理Ａのフローチャートである。範囲特定対応処理Ａのフローチャートである。本発明の実施の形態３に係る入力装置の構成を示すブロック図である。範囲特定制御処理Ｂのフローチャートである。範囲特定対応処理Ｂのフローチャートである。投影変換対応処理を説明するための図である。投影変換対応処理を説明するための図である。

以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明を省略する場合がある。

＜実施の形態１＞
図１は、本発明の実施の形態１に係る入力システム１０００の構成の一例を示す図である。図１において、Ｘ，Ｙ，Ｚ方向の各々は、互いに直交する。以下の図に示されるＸ，Ｙ，Ｚ方向の各々も、互いに直交する。以下においては、Ｘ方向と、当該Ｘ方向の反対の方向（−Ｘ方向）とを含む方向を「Ｘ軸方向」ともいう。また、以下においては、Ｙ方向と、当該Ｙ方向の反対の方向（−Ｙ方向）とを含む方向を「Ｙ軸方向」ともいう。また、以下においては、Ｚ方向と、当該Ｚ方向の反対の方向（−Ｚ方向）とを含む方向を「Ｚ軸方向」ともいう。

また、以下においては、Ｘ軸方向およびＹ軸方向を含む平面を、「ＸＹ面」ともいう。また、以下においては、Ｘ軸方向およびＺ軸方向を含む平面を、「ＸＺ面」ともいう。また、以下においては、Ｙ軸方向およびＺ軸方向を含む平面を、「ＹＺ面」ともいう。

また、以下においては、３次元空間を、「ｘｙｚ座標空間」ともいう。本明細書では、ｘｙｚ座標空間おける位置は、「座標（ｘｎ，ｙｎ，ｚｎ）」で表現する。ｘｎは、Ｘ軸方向における位置を示す座標である。ｙｎは、Ｙ軸方向における位置を示す座標である。ｚｎは、Ｚ軸方向における位置を示す座標である。以下においては、ｘｙｚ座標空間おける原点を、「座標（ｘ０，ｙ０，ｚ０）」で表現する。当該原点とは、座標を定める際の基準となる点である。

入力システム１０００は、ユーザが、当該ユーザの手によって表現する操作（以下、「操作Ｕ」ともいう）を入力するためのシステムである。操作Ｕは、例えば、ユーザの手の様態で表現される。手の様態とは、手の形状、手の位置、手の動作等により表現される手の状態である。また、操作Ｕは、例えば、ユーザの手によるジェスチャ（動作）により表現される。

入力システム１０００は、入力装置１００と、表示装置２００とを含む。表示装置２００は、ユーザにより操作される装置（被操作機器）である。以下においては、操作Ｕにより、表示装置２００を操作するユーザを、「ユーザＵ１」ともいう。

表示装置２００は、例えば、テレビジョン受像機である。なお、表示装置２００はテレビジョン受像機に限定されず、ユーザが操作可能な装置であれば他の装置であってもよい。表示装置２００は、例えば、ＰＣ（Personal Computer）であってもよい。

表示装置２００は、表示領域Ｒ１を有する。表示領域Ｒ１は、表示装置２００が画像（映像）を表示するための領域（画面）である。以下においては、ユーザＵ１の操作Ｕにより操作の対象となる画像を、「操作対象画像Ｇ１０」ともいう。また、以下においては、特定の領域である操作対象画像Ｇ１０において、ユーザＵ１の選択対象となる範囲（領域）を、「選択範囲ＳＲ１」ともいう。

なお、図１では、一例として、表示領域Ｒ１に操作対象画像Ｇ１０が示される。操作対象画像Ｇ１０は、一例として、オブジェクト画像ＯＢ１，ＯＢ２，ＯＢ３が配置される。オブジェクト画像ＯＢ１，ＯＢ２，ＯＢ３の各々は、ユーザＵ１の選択対象となる画像である。また、操作対象画像Ｇ１０には、選択範囲ＳＲ１が示される。

図１に示される選択範囲ＳＲ１は、一例として、オブジェクト画像ＯＢ１，ＯＢ２を囲んでいる。図１に示される選択範囲ＳＲ１の形状は、一例として、円である。なお、選択範囲ＳＲ１の形状は、円に限定されず、矩形、楕円等であってもよい。

なお、ユーザＵ１は、視聴位置から、表示装置２００が表示する画像を視聴する。視聴位置とは、表示領域Ｒ１と対向する位置である。

次に、入力装置１００について説明する。入力装置１００は、ユーザＵ１（視聴位置）と対向するように設けられる。入力装置１００は、例えば、図１のように、表示装置２００の上部に配置される。

図２は、本発明の実施の形態１に係る入力装置１００の構成を示すブロック図である。図１および図２を参照して、入力装置１００は、撮影部１０と、手抽出部２０と、データベース４０と、手認識部３０と、選択範囲特定部５０とを備える。

撮影部１０は、被写体を撮影する機能を有するカメラである。撮影部１０は、図示しないレンズを有する。撮影部１０は、例えば、ＣＣＤカメラである。撮影部１０は、ユーザＵ１の手が撮影可能な位置に設けられる。具体的には、撮影部１０は、ユーザＵ１（視聴位置）と対向するように設けられる。以下においては、撮影部１０が、被写体を撮影することにより当該撮影部１０が取得した画像を、「撮影画像」ともいう。

なお、ユーザＵ１は、手の様態により、前述の選択範囲ＳＲ１を指定する。前述したように、手の様態とは、手の形状、手の位置、手の動作等により表現される手の状態である。なお、本実施の形態における手の様態は、静止している手の状態であるとする。

以下においては、撮影部１０が、選択範囲ＳＲ１を指定するための様態を有する、ユーザＵ１の手の撮影により当該撮影部１０が取得した画像を、「撮影画像ＨＧ」ともいう。すなわち、撮影画像ＨＧには、選択範囲ＳＲ１を指定するための様態を有する手が示される。

撮影部１０が撮影画像ＨＧを取得することにより、入力装置１００は、撮影部１０から、当該撮影画像ＨＧを取得する。

手抽出部２０は、詳細は後述するが、入力装置１００により取得された撮影画像ＨＧが示す、ユーザＵ１の手の様態を抽出する。

以下においては、選択範囲ＳＲ１を指定するための、認識用の手の様態を、「認識用手様態」ともいう。

データベース４０は、詳細は後述するが、認識用手様態と、範囲特定情報とを対応づけて示す。範囲特定情報とは、当該範囲特定情報に対応する当該認識用手様態により指定される選択範囲ＳＲ１を特定するための規則である。範囲特定情報は、例えば、選択範囲ＳＲ１の形状を示す情報である。なお、範囲特定情報は、選択範囲ＳＲ１を求めるための計算式等であってもよい。

具体的には、データベース４０は、図３に示される構成を有する。データベース４０は、複数の手様態データから構成される。各手様態データは、図３の表の各行に対応するデータである。各手様態データは、ＩＤ、手様態画像、前述の範囲特定情報を示す。

図３を参照して、「ＩＤ」とは、手様態データを特定するための識別子である。手様態画像は、認識用手様態を示す画像である。図３では、一例として、手様態画像ＲＧ１，ＲＧ２が示される。手様態画像ＲＧ１は、円状の選択範囲ＳＲ１を指定するための認識用手様態を示す画像である。手様態画像ＲＧ２は、矩形状の選択範囲ＳＲ１を指定するための認識用手様態を示す画像である。

図３において、手様態画像ＲＧ１に対応する範囲特定情報は、例えば、手様態画像ＲＧ１が示す指の内側に沿った円Ｋ１を特定する情報である。また、手様態画像ＲＧ１に対応する範囲特定情報は、例えば、円Ｋ１の形状を示す情報である。

手様態画像ＲＧ２に対応する範囲特定情報は、例えば、手様態画像ＲＧ１が示す２本手の親指および人差し指で構成される矩形Ｋ２を特定する情報である。また、手様態画像ＲＧ２に対応する範囲特定情報は、例えば、矩形Ｋ２の形状を示す情報である。

再び、図２を参照して、手認識部３０は、詳細は後述するが、撮影画像ＨＧが示す、ユーザＵ１の手の様態を認識するための処理を行う。選択範囲特定部５０は、詳細は後述するが、選択範囲を特定するための処理を行う。

なお、手抽出部２０、手認識部３０および選択範囲特定部５０の全てまたは一部は、ＬＳＩ（Large Scale Integration）等のハードウエアで構成されてもよい。また、手抽出部２０、手認識部３０および選択範囲特定部５０の全てまたは一部は、ＣＰＵ（Central Processing Unit）等のプロセッサにより実行される、プログラムのモジュールであってもよい。

次に、ユーザＵ１が選択範囲ＳＲ１を指定するための動作を行った場合において、入力装置１００が行う処理（以下、「範囲特定制御処理Ｎ」ともいう）について説明する。図４は、範囲特定制御処理Ｎのフローチャートである。範囲特定制御処理Ｎでは、まず、ステップＳ１００の処理が行われる。

ステップＳ１００では、画像取得処理が行われる。画像取得処理では、撮影部１０が、選択範囲ＳＲ１を指定するための様態を有する、ユーザＵ１の手の撮影を行う。これにより、撮影部１０は、前述の撮影画像ＨＧを取得する。そして、撮影部１０は、撮影画像ＨＧを、手抽出部２０へ送信する。

ステップＳ２００では、手様態抽出処理が行われる。手様態抽出処理では、手抽出部２０が、撮影画像ＨＧが示す手の様態を抽出する。以下においては、撮影画像ＨＧが示す手を、「撮影手」ともいう。また、以下においては、撮影手のみを示す矩形状の画像を、「撮影手画像」ともいう。撮影手画像は、例えば、図３の手様態画像ＲＧ１に類似する画像である。

具体的には、手抽出部２０が、撮影画像ＨＧのうち、撮影手のみを抽出し、抽出した撮影手を示す矩形状の画像を、撮影手画像とする。手の抽出の処理は、一般的な、手を抽出するための画像処理により行われる。例えば、手抽出部２０は、複数種類の手形状を予め記憶しているとする。当該手形状とは、手の形状である。この場合、手抽出部２０は、複数種類の手形状のうち、撮影画像ＨＧが示す、手の色の部分の形状に最も類似する手形状（以下、「類似手形状」ともいう）を特定する。当該手の色とは、例えば、肌色に類似する複数の色である。そして、手抽出部２０は、類似手形状の輪郭を利用して、撮影画像ＨＧが示す、手の色の部分を、撮影手として抽出する。そして、手抽出部２０は、抽出した撮影手を示す矩形状の画像を、撮影手画像とする。

以下においては、手様態抽出処理において、手抽出部２０が抽出した撮影手の様態を、「抽出手様態」ともいう。抽出手様態は、撮影手画像が示す手の様態である。

ステップＳ３００では、手認識部３０が手認識処理を行う。手認識処理は、要約すれば、手認識部３０が、抽出手様態と、データベース４０が示す認識用手様態（手様態画像）とを比較することにより、当該抽出手様態を認識するための処理である。以下に、手認識処理について詳細に説明する。

図５は、手認識処理のフローチャートである。手認識処理では、まず、ステップＳ３１０の処理が行われる。

ステップＳ３１０では、手認識部３０が、ｎ（１以上の整数）番目の手様態画像を選択する。なお、ｎの初期値は１である。具体的には、手認識部３０が、図３のデータベース４０のうち、ｎ番目の手様態データが示す手様態画像を選択する。

例えば、ｎ＝１の場合、図３のデータベース４０から、ＩＤ“０”である手様態データが示す手様態画像ＲＧ１が選択される。以下においては、ステップＳ３１０の処理により選択された手様態画像を、「選択手様態画像」ともいう。

ステップＳ３２０では、サイズ調整処理が行われる。サイズ調整処理では、手認識部３０が、撮影手画像のサイズと選択手様態画像のサイズとが同じになるように、選択手様態画像のサイズを調整する。手認識部３０は、例えば、撮影手画像の縦および横のサイズが、それぞれ、選択手様態画像の縦および横のサイズと同じになるように、選択手様態画像を拡大または縮小する。以下においては、サイズ調整処理によりサイズが調整された選択手様態画像を、「比較対象画像」ともいう。

ステップＳ３３０では、類似度算出処理が行われる。類似度算出処理では、手認識部３０が、撮影手画像と比較対象画像との類似度（以下、「類似度ＳＭ」ともいう）を算出する。撮影手画像と比較対象画像との類似度の算出は、一般的な、パターンマッチングにより行われる。

以下においては、撮影手画像を構成する各画素を、「撮影手画素」ともいう。また、以下においては、比較対象画像を構成する各画素を、「比較対象画素」ともいう。

類似度ＳＭの算出は、各撮影手画素の画素値と、各比較対象画素の画素値との比較により行われる。比較される各撮影手画素および各比較対象画素は、同一の座標の画素である。類似度ＳＭは、以下の式１により算出される。

式１において、一致画素数とは、各撮影手画素の画素値と、各比較対象画素の画素値との比較において、画素値が一致した画素の数である。以下においては、撮影手画素の画素値を、「撮影手画素値」ともいう。また、以下においては、比較対象画素の画素値を、「比較対象画素値」ともいう。

類似度算出処理において、手認識部３０は、撮影手画素の画素値（撮影手画素値）と、当該撮影手画素と比較される比較対象画素の画素値（比較対象画素値）との差分値の絶対値が、閾値ＴＨ１以下であるか否かを判定する。手認識部３０は、撮影手画素値と比較対象画素値との差分値の絶対値が閾値ＴＨ１以下である場合、撮影手画素値と比較対象画素値が一致すると判定する。閾値ＴＨ１は、例えば、入力装置の開発者により予め設定された値である。

ここで、仮に、画素値が０〜２５５（８ビット）で表現されるとする。この場合、閾値ＴＨ１は、例えば、８／２５５〜１２／２５５の範囲の値である。また、式１において、総画素数とは、撮影手画像を構成する画素の数である。

ステップＳ３４０では、全ての画像との比較が終了したか否かが判定される。具体的には、手認識部３０が、図３のデータベース４０に示される全ての手様態画像と、撮影手画像との比較が終了したかが判定される。ステップＳ３４０においてＹＥＳならば処理は、ステップＳ３５０へ移行する。一方、ステップＳ３４０においてＮＯならば、ｎの値が１インクリメントされて、再度、ステップＳ３１０の処理が行われる。

以下においては、ステップＳ３４０でＹＥＳと判定された場合において、複数回行われた類似度算出処理により算出された複数の類似度ＳＭのうち、最も値が大きい類似度ＳＭを、「最高類似度」ともいう。

ステップＳ３５０では、撮影手画像と類似する比較対象画像が存在するか否かが判定される。具体的には、手認識部３０が、最高類似度が、閾値ＴＨ２以上であるか否かを判定する。閾値ＴＨ２は、例えば、入力装置の開発者により予め設定された値である。

ここで、類似度ＳＭは、一例として、０〜１００の範囲で表現されるとする。この場合、閾値ＴＨ２は、例えば、５０〜８０の範囲の値である。最高類似度が、閾値ＴＨ２以上である場合、撮影手画像と類似する比較対象画像が存在する。

ステップＳ３５０においてＹＥＳならば、処理はステップＳ３６０へ移行する。なお、ステップＳ３５０においてＹＥＳの場合、手認識部３０が、撮影手画像が示す抽出手様態を認識したことになる。一方、ステップＳ３５０においてＮＯならば、この手認識処理は終了し、図４の範囲特定制御処理Ｎも終了する。

ステップＳ３６０では、最類似画像特定処理が行われる。最類似画像特定処理では、手認識部３０が、最高類似度の算出に使用された比較対象画像（手様態画像）を、最類似画像として特定する。そして、手認識部３０は、特定した最類似画像と、最高類似度とを、選択範囲特定部５０へ送信する。そして、この最類似画像特定処理は終了し、処理は図４のステップＳ４００へ移行する。

ステップＳ４００では、範囲特定対応処理Ｎが行われる。範囲特定対応処理Ｎでは、要約すれば、選択範囲特定部５０が、手認識部３０が認識した抽出手様態に基づいて、ユーザＵ１の手で表現される選択範囲ＳＲ１を特定する。少し具体的には、選択範囲特定部５０が、手認識部３０が認識した抽出手様態と比較された認識用手様態（手様態画像）に対応する範囲特定情報に基づいて、当該抽出手様態により指定される選択範囲ＳＲ１を特定する。以下に、範囲特定対応処理Ｎについて詳細に説明する。

図６は、範囲特定対応処理Ｎのフローチャートである。範囲特定対応処理Ｎでは、まず、ステップＳ４１０の処理が行われる。

ステップＳ４１０では、選択範囲特定部５０が、データベース４０から、受信した最類似画像である比較対象画像（手様態画像）に対応付けられている範囲特定情報を取得する。

ここで、一例として、最類似画像が、ＩＤ“０”の手様態データが示す手様態画像ＲＧ１であるとする。この場合、選択範囲特定部５０は、データベース４０から、手様態画像ＲＧ１に対応付けられている範囲特定情報を取得する。

また、他の例として、最類似画像が、ＩＤ“１”の手様態データが示す手様態画像ＲＧ２であるとする。この場合、選択範囲特定部５０は、データベース４０から、手様態画像ＲＧ２に対応付けられている範囲特定情報を取得する。

ステップＳ４２０では、範囲特定処理Ｎが行われる。範囲特定処理Ｎでは、選択範囲特定部５０が、取得した範囲特定情報に基づいて、選択範囲ＳＲ１を特定する。

ここで、一例として、範囲特定情報が、手様態画像ＲＧ１に対応付けられている情報であるとする。この場合、選択範囲特定部５０は、当該範囲特定情報が特定する円Ｋ１を、選択範囲ＳＲ１として特定する。

また、他の例として、範囲特定情報が、手様態画像ＲＧ２に対応付けられている情報であるとする。この場合、選択範囲特定部５０は、当該範囲特定情報が特定する矩形Ｋ２を、選択範囲ＳＲ１として特定する。

そして、選択範囲特定部５０は、選択範囲情報を、外部装置である表示装置２００へ送信する。選択範囲情報とは、特定した選択範囲ＳＲ１の形状等の情報である。そして、この範囲特定対応処理Ｎは終了し、図４の範囲特定制御処理Ｎも終了する。

表示装置２００は、選択範囲情報の受信に応じて、選択範囲情報で特定される選択範囲ＳＲ１を示す枠線を、例えば、図１のように、表示領域Ｒ１に表示する。

以上説明したように、本実施の形態によれば、入力装置１００は、ユーザＵ１の手の撮影を行う撮影部１０から、当該手の撮影により撮影部１０が取得した撮影画像ＨＧを取得する。手認識部３０は、手抽出部２０が抽出した抽出手様態（撮影手画像）と、データベース４０が示す認識用手様態（比較対象画像）とを比較することにより、当該抽出手様態を認識するための処理を行う。選択範囲特定部５０は、手認識部３０が抽出手様態を認識した場合、当該抽出手様態に基づいて、ユーザＵ１の手で表現される選択範囲ＳＲ１を特定する。

また、本実施の形態では、選択範囲特定部５０が、手認識部３０が認識した抽出手様態と比較された認識用手様態（手様態画像）に対応する範囲特定情報に基づいて、当該抽出手様態により指定される選択範囲ＳＲ１を特定する。これにより、ユーザの手で表現される選択範囲ＳＲ１を特定することができる。

なお、本実施の形態では、閾値ＴＨ１，ＴＨ２は、開発者により設定された値とされたがこれに限定されない。本実施の形態では、ユーザが、閾値ＴＨ１，ＴＨ２を、任意の値に設定できるように構成されてもよい。

なお、入力システム１０００は、ユーザが操作を入力するためのシステムであればどのようなシステムであってもよい。入力システム１０００は、例えば、車内に設けられる構成としてもよい。この構成における表示装置２００は、例えば、カーナビゲーション用のディスプレイである。

＜実施の形態２＞
実施の形態１では、静止している手により、範囲を指定する構成を示した。本実施の形態では、動いている手の様態により、範囲を指定する構成について説明する。

以下においては、本実施の形態に係る入力システムを、「入力システムＡ」ともいう。入力システムＡは、後述の入力装置１００Ａと、図１の表示装置２００とを含む。

図７は、本発明の実施の形態２に係る入力装置１００Ａの構成を示すブロック図である。入力装置１００Ａは、ユーザＵ１が、ジェスチャとしての操作Ｕを入力するためのジェスチャ入力装置である。

図７を参照して、入力装置１００Ａは、図２の入力装置１００と比較して、データベース４０の代わりにデータベース４０Ａを備える点と、選択範囲特定部５０の代わりに選択範囲特定部５０Ａを備える点とが異なる。入力装置１００Ａのそれ以外の構成は、入力装置１００と同様なので詳細な説明は繰り返さない。

データベース４０Ａは、図８に示される構成を有する。データベース４０Ａは、図３のデータベース４０と比較して、各手様態データに、項目「軌跡」が追加されている点が異なる。データベース４０Ａのそれ以外の構成は、データベース４０と同様なので詳細な説明は繰り返さない。

項目「軌跡」とは、手の軌跡を使用して、選択範囲ＳＲ１を特定するか否かを示す項目である。項目「軌跡」に「不使用」と記載されている場合、選択範囲ＳＲ１の特定のために、手の軌跡を使用しないことを意味する。項目「軌跡」に「使用」と記載されている場合、選択範囲ＳＲ１の特定のために、手の軌跡を使用することを意味する。

図８では、手の軌跡を使用する手様態画像の一例として、手様態画像ＲＧ３が示される。手様態画像ＲＧ３は、人差し指を伸ばした手の状態を示す画像である。なお、手様態画像ＲＧ３に対応する範囲特定情報は、例えば、人差し指の先端の軌跡で構成される形状を示す情報である。

再び、図７を参照して、選択範囲特定部５０Ａは、図２の選択範囲特定部５０と比較して、軌跡特定部５１を含む点が異なる。選択範囲特定部５０Ａのそれ以外の構成は、選択範囲特定部５０と同様なので詳細な説明は繰り返さない。

軌跡特定部５１は、詳細は後述するが、予め定められた軌跡特定時間における、前述の抽出手様態を示す、ユーザＵ１の手の軌跡を特定するための軌跡特定処理を行う。当該抽出手様態は、例えば、図８の手様態画像ＲＧ３が示す手の様態である。

次に、ユーザＵ１が選択範囲ＳＲ１を指定するための動作を行った場合において、入力装置１００Ａが行う処理（以下、「範囲特定制御処理Ａ」ともいう）について説明する。

図９は、範囲特定制御処理Ａのフローチャートである。図９において、図４のステップ番号と同じステップ番号の処理は、実施の形態１で説明した処理と同様な処理が行われるので詳細な説明は繰り返さない。以下、実施の形態１と異なる点を中心に説明する。

範囲特定制御処理Ａでは、実施の形態１と同様に、ステップＳ１００，Ｓ２００，Ｓ３００の処理が行われる。なお、本実施の形態における図５のステップＳ３６０の最類似画像特定処理では、手認識部３０は、特定した最類似画像と、最高類似度とを、選択範囲特定部５０Ａへ送信する。

ステップＳ４００Ａでは、範囲特定対応処理Ａが行われる。以下に、範囲特定対応処理Ａについて詳細に説明する。

図１０は、範囲特定対応処理Ａのフローチャートである。範囲特定対応処理Ａでは、まず、実施の形態１の範囲特定対応処理Ｎと同様に、ステップＳ４１０の処理が行われる。

ステップＳ４１１では、軌跡を使用するか否かが判定される。具体的には、選択範囲特定部５０が、受信した最類似画像である比較対象画像（手様態画像）に対応付けられている項目「軌跡」の欄（図８参照）が「使用」であるか否かを判定する。

ステップＳ４１１においてＹＥＳならば処理はステップＳ４１２へ移行する。一方、ステップＳ４１１においてＮＯならば処理はステップＳ４２０へ移行する。

ステップＳ４２０では、実施の形態１と同様な処理が行われるので詳細な説明は繰り返さない。

ここで、一例として、最類似画像は、ＩＤ“２”の手様態データが示す手様態画像ＲＧ３であるとする。この場合、ステップＳ４１１でＹＥＳと判定され、処理はステップＳ４１２へ移行する。

ステップＳ４１２では、軌跡特定部５１が軌跡特定処理を行う。軌跡特定処理は、ユーザＵ１の手の動きにより形成される、当該手の軌跡を特定するための処理である。また、軌跡特定処理は、予め定められた軌跡特定時間における、抽出手様態を示す、ユーザＵ１の手の軌跡を特定するための処理である。当該抽出手様態は、例えば、図８の手様態画像ＲＧ３が示す手の様態である。軌跡特定時間は、例えば、１０〜３０秒の範囲の任意の時間である。

軌跡特定処理は、軌跡特定時間にわたって行われた後、終了する。すなわち、軌跡特定処理は、軌跡特定時間経過後、終了する。軌跡特定時間の終了後、ステップＳ４１３の処理が行われる。

具体的には、軌跡特定処理では、撮影部１０が、所定時間経過毎に、撮影画像送信処理を行う。当該所定時間は、例えば、１〜３秒の範囲の任意の値である。撮影画像送信処理では、撮影部１０が、ユーザＵ１の手の撮影を行うことにより取得した前述の撮影画像ＨＧを、手抽出部２０および手認識部３０を介して、選択範囲特定部５０Ａへ送信する。なお、撮影部１０は、撮影画像ＨＧを、直接、選択範囲特定部５０Ａへ送信してもよい。

また、軌跡特定処理では、軌跡特定部５１が、受信した最類似画像（手様態画像）と、撮影部１０から、順次、受信する撮影画像ＨＧとをパターンマッチングすることにより、ユーザＵ１の手の動きにより形成される、当該手の軌跡を特定する。以下においては、軌跡特定部５１が特定した軌跡を、「特定手軌跡」ともいう。

ここで、一例として、手認識部３０が認識した手態様を示す撮影手画像に最も類似する画像（最類似画像）が、図８の手様態画像ＲＧ３であるとする。また、ユーザＵ１は、軌跡特定時間において、人差し指の先端を、円状に移動させたとする。この場合、軌跡特定処理では、軌跡特定部５１が、特定手軌跡が、円状、すなわち、閉ループ状であると特定する。

ステップＳ４１３では、軌跡特定処理（軌跡特定部５１）により特定された特定手軌跡の形状が閉ループ状であるか否かが判定される。閉ループ状とは、特定手軌跡の一部が、当該特定手軌跡の他の部と交わることにより形成される形状である。なお、特定手軌跡の一部が、当該特定手軌跡の他の部と交わらない場合、閉ループ状は構成されない。

ステップＳ４１３においてＹＥＳならば処理はステップＳ４２０Ａへ移行する。なお、ステップＳ４１３においてＹＥＳならば、特定手軌跡の形状は、閉ループ状である。一方、ステップＳ４１３においてＮＯならば、この範囲特定対応処理Ａは終了し、図９の範囲特定制御処理Ａは終了する。

ステップＳ４２０Ａでは、範囲特定処理Ａが行われる。範囲特定処理Ａでは、軌跡特定部５１が、特定手軌跡に基づいて、選択範囲ＳＲ１を特定する。少し具体的には、軌跡特定部５１が、選択範囲ＳＲ１の形状を、閉ループ状と特定する。

ここで、一例として、ユーザＵ１は、軌跡特定時間において、人差し指の先端を、円状に移動させたとする。この場合、軌跡特定部５１が、特定手軌跡が、円状、すなわち、閉ループ状であると特定する。

そして、軌跡特定部５１は、選択範囲情報を、外部装置である表示装置２００へ送信する。選択範囲情報とは、特定した選択範囲ＳＲ１の形状等の情報である。そして、この範囲特定対応処理Ａは終了し、図９の範囲特定制御処理Ａは終了する。

以上説明したように、本実施の形態によれば、ユーザＵ１の手の動きによって、範囲を入力することが可能となる。そのため、本実施の形態では、実施の形態１のように、静止している手の様態のみで範囲を入力する場合より、ユーザによる選択範囲の入力の自由度を向上させることができる。また、本実施の形態では、ユーザＵ１の手の動きによって、複雑な形状の選択範囲ＳＲ１の入力を、容易に行うことができる。

また、ユーザが、手の動きにより、選択範囲ＳＲ１が入力できる。そのため、例えば、矩形状の選択範囲を指定するために、手様態画像ＲＧ２のような複雑な手の様態を形成することが不要となる。その結果、ユーザは、選択範囲の入力が行いやすいという利点がある。本実施の形態では、特に、ドライビング中に、ユーザがハンドルを操作している場合など、両手を使用できない場合に役立つ。

＜実施の形態３＞
本実施の形態では、ユーザＵ１の目の位置を考慮して、選択範囲を特定する構成について説明する。以下においては、本実施の形態に係る入力システムを、「入力システムＢ」ともいう。入力システムＢは、後述の入力装置１００Ｂと、図１の表示装置２００とを含む。

図１１は、本発明の実施の形態３に係る入力装置１００Ｂの構成を示すブロック図である。図１１を参照して、入力装置１００Ｂは、図７の入力装置１００Ａと比較して、選択範囲特定部５０Ａの代わりに選択範囲特定部５０Ｂを備える点とが異なる。入力装置１００Ｂのそれ以外の構成は、入力装置１００Ａと同様なので詳細な説明は繰り返さない。

選択範囲特定部５０Ｂは、図７の選択範囲特定部５０Ａと比較して、投影処理部５２をさらに含む点が異なる。選択範囲特定部５０Ｂのそれ以外の構成は、選択範囲特定部５０Ａと同様なので詳細な説明は繰り返さない。

投影処理部５２は、詳細は後述するが、選択範囲を投影するための処理を行う。

次に、ユーザＵ１が選択範囲ＳＲ１を指定するための動作を行った場合において、入力装置１００Ｂが行う処理（以下、「範囲特定制御処理Ｂ」ともいう）について説明する。

図１２は、範囲特定制御処理Ｂのフローチャートである。図１２において、図４のステップ番号と同じステップ番号の処理は、実施の形態１で説明した処理と同様な処理が行われるので詳細な説明は繰り返さない。以下、実施の形態１と異なる点を中心に説明する。

範囲特定制御処理Ｂでは、実施の形態１と同様に、ステップＳ１００，Ｓ２００，Ｓ３００の処理が行われる。なお、本実施の形態のステップＳ１００では、撮影部１０が、手に加え、ユーザＵ１の顔（目）も撮影する。これにより、撮影部１０は、ユーザＵ１の手および顔（目）を示す撮影画像ＨＧを取得する。

また、本実施の形態における図５のステップＳ３６０の最類似画像特定処理では、手認識部３０は、特定した最類似画像と、最高類似度とを、選択範囲特定部５０Ｂへ送信する。

ステップＳ４００Ｂでは、範囲特定対応処理Ｂが行われる。以下に、範囲特定対応処理Ｂについて詳細に説明する。

図１３は、範囲特定対応処理Ｂのフローチャートである。図１３において、図１０のステップ番号と同じステップ番号の処理は、実施の形態２で説明した処理と同様な処理が行われるので詳細な説明は繰り返さない。以下、実施の形態２と異なる点を中心に説明する。

範囲特定対応処理Ｂでは、ステップＳ４２０またはステップＳ４２０Ａの処理の後、ステップＳ４３０の処理が行われる。

以下においては、ユーザＵ１の目を、「目Ｅ１」ともいう。また、以下においては、目Ｅ１の位置を、「目位置ＥＬ１」ともいう。また、以下においては、目位置ＥＬ１の位置の座標（ｘｎ，ｙｎ，ｚｎ）を、「座標（ｘｅ，ｙｅ，ｚｅ）」と表現する。なお、本実施の形態の撮影部１０は、オートフォーカスの機能を有するとする。撮影部１０は、オートフォーカスの機能により、当該撮影部１０から被写体までの距離を測定することができる。

ステップＳ４３０では、投影変換対応処理が行われる。図１４および図１５は、投影変換対応処理を説明するための図である。

ここで、以下の前提Ａにおいて、投影変換対応処理が行われる場合の処理について説明する。前提Ａでは、ユーザＵ１は表示領域Ｒ１を見ながら、手の態様を、選択範囲ＳＲ１を指定するための様態にする。

また、前提Ａでは、ステップＳ４２０またはステップＳ４２０Ａで特定された選択範囲ＳＲ１の形状は、一例として、図１４および図１５に示される矩形である。また、前提Ａでは、撮影部１０は、図１５の表示領域Ｒ１のＹ軸方向の位置と、撮影部１０のレンズのＹ軸方向の位置とが一致するように、図１のように、表示装置２００の上部に配置されている。

また、前提Ａでは、一例として、ｘｙｚ座標空間における図１の表示領域Ｒ１の左上端の座標を、ＸＺ面における原点とする。ＸＺ面における原点の座標は、（ｘ０，ｚ０）である。また、前提Ａでは、ｘｙｚ座標空間における、撮影部１０のレンズのＹ軸方向の座標を、Ｙ軸方向の原点（ｙ０）とする。すなわち、ｘｙｚ座標空間における図１の表示領域Ｒ１の左上端の座標は、（ｘ０，ｙ０，ｚ０）である。

以下においては、ステップＳ４２０またはステップＳ４２０Ａにより特定された選択範囲ＳＲ１を、「特定選択範囲」ともいう。また、以下においては、特定選択範囲（選択範囲ＳＲ１）を指定するためにユーザＵ１の手により構成される範囲を、「手構成範囲ＳＲ１ｎ」ともいう。

手構成範囲ＳＲ１ｎは、３次元空間における実際の範囲である。手構成範囲ＳＲ１ｎは、例えば、手様態画像ＲＧ２の矩形Ｋ２を構成する範囲である。また、手構成範囲ＳＲ１ｎは、例えば、実施の形態２で説明した、ユーザＵ１の手の軌跡により構成される範囲である。以下においては、３次元空間における手構成範囲ＳＲ１ｎの実際のサイズを、「実範囲サイズ」ともいう。また、以下においては、３次元空間における手構成範囲ＳＲ１ｎの位置を、「手構成範囲位置」ともいう。

また、前提Ａでは、ユーザＵ１が、手構成範囲ＳＲ１ｎが表示領域Ｒ１内に見えるように、当該ユーザＵ１の手の態様を、選択範囲ＳＲ１を指定するための様態とする。また、前提Ａでは、ユーザＵ１の手により手構成範囲ＳＲ１ｎが構成された後の当該ユーザＵ１の手の位置は、一例として、図１４のように、３次元空間における手構成範囲ＳＲ１ｎを構成する枠の左上端に存在する。

なお、図１５において、距離Ｌ１０は、目位置ＥＬ１から表示領域Ｒ１までのＹ軸方向の距離である。距離Ｌ１は、目位置ＥＬ１から手構成範囲ＳＲ１ｎまでのＹ軸方向の距離である。距離Ｌ２は、手構成範囲ＳＲ１ｎから、表示領域Ｒ１までのＹ軸方向の距離である。なお、距離Ｌ１０は、距離Ｌ１と距離Ｌ２とを加算した距離である。

次に、投影変換対応処理について説明する。投影変換対応処理では、要約すれば、選択範囲特定部５０Ｂ（投影処理部５２）が、ユーザＵ１の目の位置に基づいて、選択範囲ＳＲ１を指定するために、前述の抽出手様態を示す、ユーザＵ１の手により構成される手構成範囲ＳＲ１ｎを、表示領域Ｒ１に投影することにより、選択範囲ＳＲ１を特定する。当該表示領域Ｒ１は、操作対象画像Ｇ１０を表示する領域である。換言すれば、投影変換対応処理では、選択範囲特定部５０Ｂ（投影処理部５２）が、手構成範囲ＳＲ１ｎを表示領域Ｒ１内に投影した領域に選択範囲ＳＲ１を配置するためのサイズおよび位置（当該選択範囲ＳＲ１のサイズおよび位置）を特定する。

具体的には、投影変換対応処理では、目特定処理、距離測定処理、目位置特定処理、範囲サイズ特定処理、範囲位置特定処理、および、投影変換処理が行われる。

まず、目特定処理では、目Ｅ１が特定される。具体的には、まず、撮影部１０が、ユーザＵ１の顔（目Ｅ１）を示す撮影画像ＨＧを、選択範囲特定部５０Ｂへ送信する。選択範囲特定部５０Ｂでは、受信した撮影画像ＨＧに対し、一般的な顔認識技術により、目Ｅ１を特定する処理を行う。撮影画像ＨＧは、被写体がＸＺ面に投影された画像である。これにより、選択範囲特定部５０Ｂは、ＸＺ面における目位置ＥＬ１（座標（ｘｅ，ｚｅ））を特定する。

距離測定処理では、撮影部１０が、オートフォーカスの機能により、ユーザＵ１の顔（（目Ｅ１））に焦点をあわせることにより、距離Ｌ１０を測定する。また、撮影部１０が、オートフォーカスの機能により、ユーザＵ１の手に焦点をあわせることにより、距離Ｌ２を測定する。

なお、距離Ｌ１０，Ｌ２は、オートフォーカスの機能を利用しない方法により測定されてもよい。例えば、距離Ｌ１０は、撮影画像ＨＧが示す顔のサイズ、および、顔のサイズと当該顔のサイズに対応する距離Ｌ１０の値とを対応づけた表を利用して、算出されてもよい。また、例えば、入力装置１００Ｂが距離を測定するためのセンサ等を備え、当該センサにより距離を測定する構成としてもよい。

そして、撮影部１０は、距離Ｌ１０，Ｌ２を、選択範囲特定部５０Ｂへ送信する。

目位置特定処理では、選択範囲特定部５０Ｂが、距離Ｌ１０を座標ｙｅで表現することにより、ｘｙｚ座標空間（３次元空間）における目位置ＥＬ１（座標（ｘｅ，ｙｅ，ｚｅ）を特定する。なお、当該座標ｘｅ，ｚｅは、前述の目特定処理により特定された座標である。

なお、入力システムＡが車内に設けられる構成であり、かつ、ユーザＵ１の頭が車のヘッドレストに固定される場合、ユーザＵ１の目の位置（目位置ＥＬ１）は、固定された位置である。この場合、目位置特定処理を行わず、選択範囲特定部５０Ｂが、予め記憶していた目位置ＥＬ１（座標（ｘｅ，ｙｅ，ｚｅ））を参照して、目位置ＥＬ１を特定するようにしてもよい。

範囲サイズ特定処理では、選択範囲特定部５０Ｂが、受信した距離Ｌ２の値に基づいて、手構成範囲ＳＲ１ｎの実範囲サイズを算出する。ここで、選択範囲特定部５０Ｂは、距離Ｌ２の各値と、当該各値に対応する、手構成範囲ＳＲ１ｎの実範囲サイズとを対応づけたサイズ算出テーブルを予め記憶している。

具体的には、選択範囲特定部５０Ｂは、受信した距離Ｌ２の値に対応する、サイズ算出テーブルが示す実範囲サイズを特定することにより、当該実範囲サイズを算出する。

以下においては、手構成範囲位置の座標（ｘｎ，ｙｎ，ｚｎ）を、「座標（ｘｈ，ｙｈ，ｚｈ）」と表現する。

範囲位置特定処理では、選択範囲特定部５０Ｂが、受信した撮影画像ＨＧが示す手の位置（座標）を、ＸＺ面における手構成範囲位置（座標（ｘｈ，ｚｈ））として特定する。また、選択範囲特定部５０Ｂが、距離Ｌ１０を座標ｙｈで表現することにより、ｘｙｚ座標空間（３次元空間）における手構成範囲位置（座標（ｘｈ，ｙｈ，ｚｈ））を特定する。なお、当該座標ｘｈ，ｚｈは、前述の処理により特定された座標である。

投影変換処理では、投影処理部５２が、投影変換を行う。ここで、投影処理部５２は、予め、３次元空間における表示領域Ｒ１の実際のサイズ（以下、「実領域サイズ」ともいう）を記憶している。

具体的には、まず、投影処理部５２は、（距離Ｌ１０−距離Ｌ２）の式より、距離Ｌ１を算出する。そして、投影処理部５２は、例えば、ソフトウエアによるシミュレーションにより、距離Ｌ１，Ｌ２，Ｌ１０と、特定された目位置ＥＬ１と、手構成範囲ＳＲ１ｎの実範囲サイズと、手構成範囲位置と、実領域サイズとを利用して、図１４および図１５のように、仮想のｘｙｚ座標空間に、目位置ＥＬ１、手構成範囲ＳＲ１ｎ、表示領域Ｒ１を配置する。

そして、投影処理部５２は、図１４および図１５のように、目位置ＥＬ１を拡大投影の開始点（起点）として、手構成範囲ＳＲ１ｎを、ｘｙｚ座標空間の表示領域Ｒ１へ拡大投影する。これにより、投影処理部５２は、表示領域Ｒ１へ投影された手構成範囲ＳＲ１ｎのサイズおよび位置を、それぞれ、表示領域Ｒ１における選択範囲ＳＲ１のサイズおよび位置として特定する。特定されたサイズおよび位置で示される選択範囲ＳＲ１は、図１４および図１５に示される選択範囲ＳＲ１である。

なお、選択範囲ＳＲ１のサイズおよび位置の特定方法は、上記方法に限定されない。例えば、投影処理部５２は、まず、手構成範囲ＳＲ１ｎを構成する矩形を、光を透過させない面で構成する。そして、投影処理部５２は、目位置ＥＬ１から表示領域Ｒ１に向けて光を出射した場合において、表示領域Ｒ１へ投影された手構成範囲ＳＲ１ｎの影のサイズおよび位置を、それぞれ、表示領域Ｒ１における選択範囲ＳＲ１のサイズおよび位置として特定してもよい。

以上により、この投影変換処理は終了する。

そして、軌跡特定部５１は、選択範囲情報を、外部装置である表示装置２００へ送信する。選択範囲情報とは、特定した選択範囲ＳＲ１の形状、サイズおよび位置の情報である。そして、この投影変換対応処理は終了し、範囲特定対応処理Ｂは終了し、図１２の範囲特定制御処理Ｂは終了する。

以上説明したように、本実施の形態によれば、ユーザＵ１の目から見える、表示領域Ｒ１に配置された選択範囲ＳＲ１を推定することができる。すなわち、ユーザＵ１が、実際に見ている選択範囲ＳＲ１を推定することができる。また、ユーザＵ１が見ている表示領域Ｒ１（画面）に、選択範囲ＳＲ１を表示することができる。したがって、ユーザにとって、より直観的な操作の入力を実現することができる。

なお、本実施の形態の処理は、ユーザＵ１の手の位置から表示領域Ｒ１までの距離が長い場合に特に有効である。

なお、本実施の形態の入力装置１００Ｂは、入力装置１００Ａに投影処理部５２を追加した構成としたがこれに限定されない。入力装置１００Ｂは、図２の入力装置１００に投影処理部５２を追加した構成であってもよい。この構成においても、上記の処理と同様な処理を行うことができる。

（その他の変形例）
以上、本発明に係る入力装置について、実施の形態に基づいて説明したが、本発明は、これら実施の形態に限定されるものではない。本発明の主旨を逸脱しない範囲内で、当業者が思いつく変形を本実施の形態に施したものも、本発明に含まれる。つまり、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略することが可能である。

例えば、入力装置１００，１００Ａ，１００Ｂは、図２、図７、図１１等に示される全ての構成要素を含まなくてもよい。すなわち、入力装置１００，１００Ａ，１００Ｂは、本発明の効果を実現できる最小限の構成要素のみを含めばよい。

また、本発明は、入力装置１００，１００Ａ，１００Ｂが備える特徴的な構成部の動作をステップとする入力方法として実現してもよい。また、本発明は、当該入力方法に含まれる各ステップをコンピュータが実行してもよい。また、本発明は、そのような入力方法に含まれる各ステップをコンピュータに実行させるプログラムとして実現してもよい。また、本発明は、そのようなプログラムを格納するコンピュータ読み取り可能な記録媒体として実現されてもよい。また、当該プログラムは、インターネット等の伝送媒体を介して配信されてもよい。

上記実施の形態で用いた全ての数値は、本発明を具体的に説明するための一例の数値である。すなわち、本発明は、上記実施の形態で用いた各数値に制限されない。

また、本発明に係る入力方法は、図４、図９または図１２に相当する。入力方法における各処理の実行される順序は、本発明を具体的に説明するための一例であり、上記以外の順序であってもよい。また、入力方法における処理の一部と、他の処理とは、互いに独立して並列に実行されてもよい。

なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略することが可能である。

例えば、入力装置１００，１００Ａ，１００Ｂの全てまたは一部が、撮影部１０を備えない構成（以下、「変形構成Ａ」ともいう）としてもよい。変形構成Ａでは、入力装置１００，１００Ａ，１００Ｂの全てまたは一部は、撮影部１０と通信可能に接続される。そして、入力装置１００，１００Ａ，１００Ｂの全てまたは一部は、撮影部１０から撮影画像を受信することにより、当該撮影画像を取得する。

１０撮影部、２０手抽出部、３０手認識部、４０，４０Ａデータベース、５０，５０Ａ，５０Ｂ選択範囲特定部、５１軌跡特定部、５２投影処理部、１００，１００Ａ，１００Ｂ入力装置、２００表示装置、１０００入力システム。

Claims

特定の領域において選択対象となる範囲である選択範囲を指定するための様態を有する、ユーザの手の撮影を行う撮影部から、当該手の撮影により当該撮影部が取得した撮影画像を取得する入力装置であって、
取得された前記撮影画像が示す前記手の様態を抽出する手抽出部と、
認識用の手の様態である認識用手様態を示すデータベースと、
前記手抽出部が抽出した前記手の様態である抽出手様態と、前記データベースが示す前記認識用手様態とを比較することにより、当該抽出手様態を認識するための処理を行う手認識部と、
前記手認識部が前記抽出手様態を認識した場合、当該抽出手様態に基づいて、前記ユーザの手で表現される前記選択範囲を特定する選択範囲特定部と、を備え、
前記データベースは、前記認識用手様態、当該認識用手様態により指定される前記選択範囲を特定するための範囲特定情報及び前記選択範囲の特定に前記ユーザの手の軌跡を使用するか否かを示す軌跡使用に関する情報を対応づけて示し、
前記選択範囲特定部は、
予め定められた時間における、前記抽出手様態を示す、前記ユーザの手の軌跡を特定するための軌跡特定処理を行う軌跡特定部を含み、
前記軌跡使用に関する情報が前記ユーザの手の軌跡の使用を示す場合には、前記軌跡特定部が、前記軌跡特定処理により特定される前記軌跡の形状に基づいて、前記抽出手様態により指定される前記選択範囲を特定し、
前記手認識部が前記抽出手様態を認識し、かつ、前記軌跡使用に関する情報が前記ユーザの手の軌跡の不使用を示す場合には、前記選択範囲特定部が、認識された当該抽出手様態と比較された前記認識用手様態に対応する前記範囲特定情報に基づいて、当該抽出手様態により指定される前記選択範囲を特定する
入力装置。
前記軌跡特定部は、前記軌跡の形状が閉ループ状である場合、当該閉ループ状の軌跡に基づいて、前記選択範囲を特定する
請求項１に記載の入力装置。
前記選択範囲特定部は、前記ユーザの目の位置に基づいて、前記選択範囲を指定するために、前記抽出手様態を示す、前記ユーザの手により構成される範囲を、前記特定の領域を表示する表示領域に投影することにより、前記選択範囲を特定する
請求項１に記載の入力装置。