JP5396332B2 - ジェスチャを用いた情報入力装置、方法及びプログラム - Google Patents

Description

この発明は、ユーザの指又は腕の動き等のジェスチャを用いて表現される入力情報を認識する装置、方法及びプログラムに関する。

ディスプレイ装置の画面に表示された情報に対しポインティングするための代表的な技術としては、マウスやタブレットペン等のポインティングデバイスを用いるものが知られている。また、その他のポインティング技術として、リモコン端末を用いて遠隔的にポインティングを行うものや、ユーザのジェスチャ動作を認識してポインティングを行うものも知られている。

リモコン端末を用いた技術は、例えばリモコン端末に設けられた十字キー等のカーソルキーをユーザが指で操作して、その操作データを赤外線又は無線を介してディスプレイ装置へ送信し、ディスプレイ装置が上記操作データを受信することでポインティングを行うものとなっている。

一方、ユーザのジェスチャ動作を認識する技術は、例えばユーザの動作をカメラを用いて撮像し、この撮像された画像データからユーザの特定の身体部位の動作軌跡をパターン認識処理により認識して、この認識結果をもとにポインティングを行うものとなっている（例えば特許文献１を参照。）。

特開２００４−２７２５９８号公報

ところが、これらの従来のポインティング技術には以下のような解決すべき課題があった。
近年普及してきたタッチパネル方式の端末には機械的なカーソルキーが搭載されておらず、タッチパネル上にカーソルキーを表示し、この表示されたカーソルキーをタップする操作をすることで機械的なカーソルキーのポインティング操作を実現している。しかし、機械的なカーソルキーではキーに触れながらキーを押すことで操作できるのに対し、タッチパネルではパネルに指が触れるまで指がどの位置にあるのか視認せずに把握することは難しい。そのため、このようなタッチパネル方式のカーソルキーの押下操作はタッチパネル上に表示されたカーソルキーを見ないと入力することが難しく、例えばテレビジョン受信機のようにリモコンを用いて離れた場所から操作する機器にあっては操作が困難になる。

一方、ユーザのジェスチャ動作を認識する方法では、ユーザのジェスチャ動作を認識して入力コマンドに対応付ける処理が画像処理に強く依存し、またジェスチャ動作の認識精度を高めるためには予め用意したマーカやセンサ等をユーザの手や指に装着する必要がある。このため、システムが大掛かりになると共に、ユーザの操作性が損なわれるという問題があった。

この発明は上記事情に着目してなされたもので、その目的とするところは、タッチパネル方式を用いたリモコン端末を用いる場合にはタッチパネル上にカーソルキーの表示を不要とし、またカメラを使用する場合にはユーザへのマーカ等の装着を不要とし、しかも比較的簡単な画像処理によりジェスチャ動作を高精度に認識することが可能なジェスチャを用いた情報入力装置、方法及びプログラムを提供することにある。

上記目的を達成するためにこの発明の第１の観点は、ジェスチャにより描かれた図形データを取り込んで保存し、この保存された図形データ中から座標が一致する第１及び第２の点を検出して、この検出された第１及び第２の点を上記図形データの終始点として認識する。そして、この終始点が検出された場合に、上記保存された図形データをもとに上記第１の点と第２の点との間の軌跡を検出し、この検出された軌跡と上記終始点ともとに上記図形データの特徴を判定して、この判定された図形データの特徴を表す情報を入力情報に変換する。変換に際しては、上記検出された終始点を中心に異なる方向に複数の方向領域を設定し、上記検出された軌跡の描画位置が上記複数の方向領域のいずれに含まれるかを判定して、この判定結果を表す情報をカーソルの移動方向を表す入力コマンドに変換するようにしたものである。

したがって、ユーザのジェスチャ動作により描かれた図形データの終始点と、その始点と終点との間の軌跡をもとに図形データの特徴が判定され、この特徴をもとに入力情報が認識される。このため、リモコン端末のタッチパネルにおいて指を動かして図形を描く場合でも、またカメラの前で手や腕を動かして図形を描く場合でも、描かれた図形データからその終始点とその間の軌跡を検出するだけで、その検出結果から図形の特徴を判定して入力情報を認識することができる。すなわち、ジェスチャによる入力情報を比較的簡単な画像処理により認識することが可能となる。しかも、タッチパネルを用いた場合、タッチパネル上のキーを視認しなくても容易に操作が行えるためリモコン端末のタッチパネルには操作キーを表示する必要がなく、またカメラを用いた場合、ユーザにはマーカ等を装着する必要もなくなる。以上のことから操作上の制約が低減されて操作性を高めることが可能となる。

また、ユーザが図形をその終始点に対しいずれの方向に描くかによりカーソルの移動方向を指定入力することが可能となる。このため、特別な画像処理を行うことなくカーソルの移動方向を認識することが可能となる。

この発明の第２の観点は、図形データの特徴を表す情報を入力情報に変換する際に、上記検出された軌跡をもとに図形データの形状の種類を判定し、この判定された図形データの形状の種類に応じて入力コマンドの内容を変更するようにしたものである。
このようにすると、ジェスチャにより描いた図形の形状の種類に応じて、例えばカーソルの移動方向を表す入力コマンドを表示画面の切替えを指示するコマンドに変更するか、或いはカーソルの移動指示機能と表示画面の切替指示機能の両方を併せ持つコマンドに変更することが可能となる。

この発明の第３の観点は、図形データの特徴を表す情報を入力情報に変換する際に、上記検出された軌跡をもとに、図形データの描画速度、描画時間又は描画サイズのいずれかを検出し、この検出された図形データの描画速度、描画時間又は描画サイズのいずれかに応じて入力コマンドの内容を変更するようにしたものである。
このようにすると、検出された図形データの描画速度、描画時間または描画サイズのいずれかに応じて、例えばカーソルの移動方向のみを指示する入力コマンドを移動方向とその移動量の両方を指示する機能を有する入力コマンドに変更することが可能となる。この結果、ユーザが例えば図形を通常の速度より遅いゆっくりとした速度で描いたり、通常の描画時間より長い時間をかけて描いたり、或いは通常サイズより大きなサイズで描いた場合には、カーソルの１回の移動ステップ量を大きく設定する等の、機能性の高い情報入力を実現できる。

すなわちこの発明によれば、リモコン端末を用いる場合には操作キー等を不要にし、またカメラを使用する場合にはユーザへのマーカ等の装着を不要とし、しかもいずれの場合も比較的簡単な画像処理によりジェスチャ動作を高精度に認識することが可能なジェスチャを用いた情報入力装置、方法及びプログラムを提供することができる。

この発明の第１の実施形態に係わる情報入力装置のシステム構成を示す概略構成図。 図１に情報入力装置として示したテレビジョン受信機の機能構成を示すブロック図。 図２に示したテレビジョン受信機の全体の処理手順と処理内容を示すフローチャートである。 図３に示した全体の処理手順のうち信号受信処理の手順と処理内容を示すフローチャート。 図３に示した全体の処理手順のうちジェスチャ認識処理の手順と処理内容を示すフローチャート。 図３に示した全体の処理手順のうち表示画像制御処理の手順と処理内容を示すフローチャート。 図５に示したジェスチャ認識処理において、図形の始点と終点の一致を検出するための第１の方法を説明するための図。 図５に示したジェスチャ認識処理において、図形の始点と終点の一致を検出するための第２の方法を説明するための図。 図５に示したジェスチャ認識処理において、方向キー検出処理を説明するための図。 図５に示したジェスチャ認識処理において、方向キー検出処理を説明するための図。 この発明の第２の実施形態に係わる情報入力装置において使用されるジェスチャ描画図形の形状の種類を示す図。 この発明の第３の実施形態に係わる情報入力装置のシステム構成を示す概略構成図。

以下、図面を参照してこの発明に係わる実施形態を説明する。
（第１の実施形態）
この発明の第１の実施形態に係わる情報入力装置のシステム構成を示す概略構成図である。このシステムは、リモートコントロール装置（以後リモコン装置と略称する）１から送信されるリモコン信号をテレビジョン受信機２により受信するものとなっている。通信回線３としては例えば赤外線又は無線が用いられる。無線の場合の通信方式には、Bluetooth（登録商標）等の微弱又は小電力タイプの近距離無線データ通信方式が使用可能である。

リモコン装置１は、入力デバイスとして静電容量型のタッチパネルを使用した端末からなる。そして、このタッチパネルの静電分布のデータをリアルタイムにリモコン信号としてテレビジョン受信機２へ送信する．

ところで、テレビジョン受信機２は以下のように構成される。図２はその機能構成を示すブロック図である。
すなわち、テレビジョン受信機２は、リモコン装置１から送信されたリモコン信号を受信する信号受信ユニット１０と、データベース２０と、ジェスチャ認識ユニット３０と、表示画像制御ユニット４０とを備えている。

信号受信ユニット１０は、リモコン装置１から送信された赤外線又は無線からなるリモコン信号を受信する信号受信部１２と、信号受信判断部１１とを備えている。信号受信判断部１１は、上記信号受信部１２により受信されたリモコン信号をもとにタッチパネルに対する指の接触の有無を判断し、接触していると判断した期間における静電分布データをデータベース２０内の信号蓄積部２１に記憶させる処理を行う。

データベース２０は、信号蓄積部２１と、ジェスチャコマンド変換テーブル部２２と、表示画像データ蓄積部２３と、図形パターン記憶部２４とを備えている。信号蓄積部２１は、上記信号受信ユニット１０により受信されたリモコン信号の静電分布データを記憶するために用いられる。ジェスチャコマンド変換テーブル部２２には、認識対象の複数の入力コマンドに対応付けて、当該入力コマンドが意味する表示処理内容を表す情報が予め記憶されている。表示画像データ蓄積部２３には、上記入力コマンドが意味する表示処理内容に応じた画像を表示するために必要な様々な表示画像データが記憶される。図形パターン記憶部２４には、認識対象となる複数の図形形状の基本パターンが記憶される。

ジェスチャ認識ユニット３０は、終始点一致検出部３１と、図形追跡部３２と、図形判断部３３と、図形位置判断部３４を備えている。これらの機能は、上記受信信号判断部１１と共に、データベース２０内のプログラムメモリ（図示せず）に格納されたアプリケーション・プログラムを、中央処理ユニット（ＣＰＵ）に実行させることにより実現される。

終始点一致検出部３１は、上記信号蓄積部２１に記憶された静電分布データをもとに、ユーザがリモコン装置１のタッチパネル上で指を移動させることにより描画した図形データの終始点、つまり座標値が一致する２つの点を検出する機能を有する。

図形追跡部３２は、上記終始点一致検出部３１により終始点として検出された２点、つまり始点と終点とを結ぶ図形の軌跡を、上記信号蓄積部２１に記憶された静電分布のデータをもとに検出する機能を有する。

図形位置判断部３４は、上記終始点一致検出部３１により検出された終始点を中心にタッチパネルの上下左右各方向に４つの方向領域を設定し、上記図形追跡部３２により検出された図形の軌跡の描画位置が上記４つの方向領域のいずれに含まれるかを判定する。そして、その判定結果に対応する入力コマンドを生成する。なお、４つの方向領域を設定する以外に、タッチパネルの上下左右斜めの各方向に８つの方向領域を設定することも可能である。

図形判断部３３は、上記データベース２０の図形パターン記憶部２４に記憶された認識対象となる複数の図形形状の基本パターンを参照し、上記図形追跡部３２により検出された軌跡がどの図形に対応するかを判定する。この判定処理にはパターンマッチングが用いられる。そして、上記判定された図形の形状の種類に応じて、上記図形位置判断部３４により生成された入力コマンドの更新の要否を判定し、更新する必要がある場合には上記入力コマンドを変更する処理を行う。

表示画像制御ユニット４０は、画像更新部４１と、画像出力部４２と、表示画像決定部４３を備えている。これらの機能もまた、上記ジェスチャ認識ユニット３０の各機能と同様に、アプリケーション・プログラムを中央処理ユニット（ＣＰＵ）に実行させることにより実現される。

画像更新部４１は、上記図形位置判断部３４により生成された入力コマンド、又は上記図形判断部３３により更新された入力コマンドをもとに、ジェスチャコマンド変換テーブル部２２から当該入力コマンドが意味する表示処理内容を表す情報を読み出し、この読み出された情報をもとに表示画像データを更新する処理を行う。

画像出力部４２は、上記画像更新部４１により更新された表示画像データを、図示しないディスプレイに出力して表示させる処理を行う。
表示画像決定部４３は、ディスプレイに表示させる画像データを決定する処理を行う。

次に、以上のように構成されたテレビジョン受信機２による、ジェスチャを用いた入力情報の認識動作を説明する。
図３は、その全体の処理手順と処理内容を示すフローチャートである。なお、ここではテレビジョン受信機２のディスプレイに電子番組案内（Electronic Program Guide：ＥＰＧ）情報を表示させ、このＥＰＧ情報に対しリモコン装置１から番組の選択操作を行う場合を例にとって説明する。

リモコン装置１において、ユーザがタッチパネル上に上記番組の選択操作のための図形を指で描くと、その静電分布を表す情報がリモコン信号としてリモコン装置１から通信回線３を介してテレビジョン受信機２へ送られる。

テレビジョン受信機２は、先ずステップＳ１１において、信号受信ユニット１０の信号受信部１２及び信号受信判断部１１が上記リモコン信号を受信する処理を行い、ステップＳ１２において、上記受信されたリモコン信号により表される静電分布データをデータベース２０内の信号蓄積部２１に記憶させる処理を実行する。

次にステップＳ１３において、ジェスチャ認識ユニット３０が、上記信号蓄積部２１に記憶された静電分布データをもとに、ユーザがリモコン装置１のタッチパネル上に描いた図形のデータから終始点を検出し、これにより当該図形が上記ＥＰＧ情報の番組選択操作に該当するものか否かを判定する。そして、ＥＰＧ情報の番組選択操作に該当する図形だった場合に、この図形が描かれた位置及び図形の形状を判定して、その判定結果に応じて入力コマンドを生成又は更新する。

最後にステップＳ１４において、表示画像制御ユニット４０が、上記ステップＳ１３により生成された入力コマンドが意味する表示処理内容を表す情報を検索し、この情報に応じてＥＰＧ情報に対する番組選択位置、つまりカーソルの位置を変化させるように表示画像データを更新する。

以下、上記各ステップＳ１１〜Ｓ１４における処理内容をより詳しく説明する。
（１）信号受信処理
図４はこの信号受信処理の手順と処理内容を示すフローチャートである。
信号受信ユニット１０では、リモコン装置１から送信されたリモコン信号を信号受信部１２が受信したことをステップＳ２１で検出すると、先ずステップＳ２２において信号受信判断部１１が、上記受信されたリモコン信号をもとにユーザの指がタッチパネルに接触しているか否かを判定する。この判定の結果、接触していなければ、ステップＳ２３により信号蓄積部２１から静電分布データを消去する。一方、指がタッチパネルに触れ続けたとき、この連続する接触動作により描かれた図形を表す静電分布データを、ステップＳ２４によりデータベース２０の信号蓄積部２１へ出力して蓄積させる。したがって、信号蓄積部２１にはリモコン装置１のタッチパネル上に描かれた図形を表すデータが記憶される。

（２）ジェスチャ認識処理
図５はこのジェスチャ認識処理の手順と処理内容を示すフローチャートである。
ジェスチャ認識ユニット３０は、先ずステップＳ３１において終始点一致検出処理を以下のように実行する。すなわち、終始点一致検出部３１が、信号蓄積部２１から静電分布データを読み出し、この読み出した静電分布データをもとに、ユーザがリモコン装置１のタッチパネル上で指を移動させることにより描画した図形データの終始点、つまり座標値が一致する２つの点を検出する。

このとき、終始点の検出手法には例えば次の２つの手法が考えられる。第１の検出手法は、図７に示すようにユーザがタッチパネル上で最初に指を触れた点Ａから図形Ｂを描き始めて上記点Ａに再度触れたとき、この点Ａを終始点として検出するものである。第２の検出手法は、図８に示すようにユーザがタッチパネル上で指を動かして図形を描いた場合に、その軌跡を追跡して当該軌跡が交差する点を終始点Ａとして検出するものである。

ジェスチャ認識ユニット３０は、上記終始点Ａが検出されると、ユーザがタッチパネル上で描画した図形はＥＰＧ情報の番組選択操作を表す図形としての条件を満たすと判断し、ステップＳ３２における図形追跡処理に移行する。これに対し終始点Ａが検出されなかった場合には、何も処理せず，検出されない状態で指を離すとS ２３にて上記描画された図形は選択操作の条件を満たさないと判断し、そのままジェスチャ認識処理を終了する。なお、ジェスチャ認識処理を終了した場合ジェスチャ認識ユニット３０は、信号蓄積部２１に記憶された上記判定対象の静電分布データを消去する。

ジェスチャ認識ユニット３０は、次にステップＳ３２において図形追跡処理を以下のように実行する。すなわち、図形追跡部３２により、上記終始点一致検出処理（ステップＳ３１）により検出された終始点Ａを構成する終点（時刻Ｔe）から始点（時刻Ｔs）までの静電分布データを信号蓄積部２１から読み出す。そして、この読み出した静電分布データをもとに、図形データの軌跡を追跡する処理を行う。

図形データの軌跡を追跡する手段としては、例えば次のようなものが考えられる。すなわち、静電容量を用いたタッチパネルであれば、指が触れている点のその周辺に対する静電分布は凸型分布になる。したがって、この凸型分布の頂点を結ぶことで、描かれた図形データの軌跡を追跡することができる。

上記図形データの軌跡が検出されると、ジェスチャ認識ユニット３０は続いてステップＳ３３において図形判断処理を実行する。すなわち、図形判断部３３により、データベース２０の図形パターン記憶部２４から複数の基本図形パターンを順次読み出し、この読み出された基本図形パターンと上記図形追跡処理（ステップＳ３２）により検出された図形の軌跡のパターンとをパターンマッチング処理により比較し、その類似度を検出する。そして、この検出された類似度がしきい値以上であって、かつ最も大きいものを選択する。そして、この選択された基本図形パターンを、上記タッチパネルに描かれた図形の形状の種類として認識する。

ジェスチャ認識ユニット３０は、次にステップＳ３４に移行して図形位置判断処理を実行する。すなわち、図形位置検出部３４により、先ず上記終始点一致検出処理（ステップＳ３１）により検出された終始点Ａを中心に、図９（ａ）に示すようにタッチパネルの上下左右各方向(a),(b)に４つの方向領域を設定する。そして、上記図形追跡処理（ステップＳ３２）により検出された図形の軌跡の描画位置が上記４つの方向領域のいずれに含まれるかを判定する。この判定処理は、例えば描かれた図形の重心を求め、この重心と終始点Ａが結ぶ直線の方向に図形の描画位置が存在するものと見なして、この直線の方向がいずれの方向領域の角度に含まれるかを判定することにより可能である。

上記図形の描画位置が判定されると、ジェスチャ認識ユニット３０は続いてステップＳ３５において方向キー検出処理を実行し、上記図形位置判断処理（ステップＳ３４）により判定された図形の描画位置を上下左右の４つの方向のいずれかに対応付けする。そして、この対応付けられた方向キーに対応する入力コマンドを生成する。

例えば、図１０（ａ）に示すように図形の描画位置が終始点Ａに対し左方向領域に含まれる場合には左方向キーを示す入力コマンドが生成され、反対に右方向領域に含まれる場合には右方向キーを示す入力コマンドが生成される。同様に、図１０（ｂ）に示すように図形の描画位置が終始点Ａに対し上方向領域に含まれる場合には上方向キーを示す入力コマンドが生成され、反対に下方向領域に含まれる場合には下方向キーを示す入力コマンドが生成される。

なお、先に述べた図形位置判断処理（ステップＳ３４）では、図９（ａ）に示したように図形の描画位置が４方向のいずれに含まれるかを判定する場合について例示した。しかし、それに限らず例えば図９（ｂ）に示すように上下左右斜め方向(A),(B),(C),(D)の８つの方向領域を設定し、検出された図形の描画位置が上記８つの方向領域のいずれに含まれるかを判定するようにしてもよい。この場合、方向キー検出処理（ステップＳ３５）では、図形の描画位置が上下左右斜めの８つの方向のいずれかに対応付けされる。そして、この対応付けられた方向キーに対応する入力コマンドが生成される。

（３）表示画像制御処理
上記ジェスチャ認識処理（ステップＳ１３）が終了すると、続いて表示画像制御ユニット４０が以下のように表示画像の更新処理を実行する。図６はその制御手順と制御内容を示すフローチャートである。

先ずステップＳ４２において画像更新部４１が、上記図形位置判断処理（ステップＳ３４）により生成された入力コマンドをもとに、ジェスチャコマンド変換テーブル部２２から当該入力コマンドが意味する表示処理内容を表す情報を読み出し、この読み出された情報をもとに表示画像データを更新する処理を行う。

例えば、上記図形位置判断処理（ステップＳ３４）により生成された入力コマンドの意味が左方向キーを示すものであれば、ＥＰＧ情報におけるカーソルの位置を左方向へ１列分シフトさせた画像に更新される。反対に入力コマンドの意味が右方向キーを示すものであれば、ＥＰＧ情報におけるカーソルの位置を右向へ１列分シフトさせた画像に更新される。同様に、入力コマンドの意味が上又は下キーを示すものであれば、ＥＰＧ情報におけるカーソルの位置をそれぞれ上方向又は下方向へ１列分シフトさせた画像に更新される。なお、８方向キーの場合も同様にＥＰＧの表示画像が更新される。
そして、以上のように更新されたＥＰＧの表示画像が、ステップＳ４２によりディスプレイに出力され表示される。

したがって、ユーザはリモコン装置１のタッチパネル上において、図９（ａ）に示した４つの円のいずれかを選択的に図７に示すように描画することで、ＥＰＧ情報におけるカーソル位置を所望の番組の位置にステップ移動させることが可能となる。例えば、ＥＰＧ情報のカーソル位置を右方向へ２ステップ移動させる場合には、図９（ａ）の円Ｒを２回描画すればよい。

以上詳述したように第１の実施形態では、リモコン装置１のタッチパネル上で描画された図形データをテレビジョン受信機２で受信して信号蓄積部２１に記憶し、ジェスチャ認識ユニット３０により上記記憶された図形データの終始点Ａを検出すると共に、この終始点Ａを構成する始点と終点との間の軌跡を検出して図形の形状を判定する。そして、終始点Ａを有する所定の図形形状が検出されたとき、上記終始点Ａに対する図形の描画位置の方向を検出してこの検出された方向を方向キーに対応付け、ＥＰＧ情報におけるカーソル位置を移動させるようにしている。
したがって、テレビジョン受信機２は終始点Ａを有する円形の図形を認識すればよいので、比較的簡単な画像処理によりジェスチャを認識することができる。また、リモコン装置１のタッチパネルにはカーソルキーを表示する必要がない。利用者はタッチパネルを視認することなく入力できる．

（第２の実施形態）
この発明の第２の実施形態は、リモコン装置１のタッチパネル上に描画する図形の形状を異ならせることで、カーソルの移動操作に代えてＥＰＧ情報のページ変更操作等を行えるようにしたものである。
なお、この第２の実施形態においても、第１の実施形態で使用した図１及び図２を使用して説明を行う。

ジェスチャ認識ユニット３０の図形判断部３３は、図１１に示すように円形（ａ）以外に、四角形（ｂ）、六角形（ｃ）、三角形（ｄ）又は五角形（ｅ）をそれぞれ認識する処理機能を有している。この図形形状の認識処理は、タッチパネルに描画された図形の軌跡を、図形パターン記憶部２４に予め記憶された複数の図形形状の基本パターンとパターンマッチングすることにより行われる。

表示画像制御ユニット４０の表示画像決定部４３は、上記図形判断部３３により認識された描画図形の形状の種類がＥＰＧ情報に対する操作内容のいずれに該当するかを、データベース２０に記憶された、図形形状と操作内容との対応関係を表すテーブル情報（図示せず）をもとに判定する。そして、この判定された図形形状の種類に応じた表示画面を選択してディスプレイに表示させる処理を行う。

例えば、いま図１１（ｄ）に示す三角形が描画され、かつこの三角形の描画方向がその終始点に対し右方向であれば、ＥＰＧ情報のページ送り操作と判断して、次ページの表示画面を表示させる。反対に、三角形の描画方向がその終始点に対し左方向であれば、ＥＰＧ情報のページ戻り操作と判断して、前ページの表示画面を表示させる。

また、図１１（ｂ）に示す四角形が描画され、かつこの四角形の描画方向がその終始点に対し上方向であれば、放送衛星を用いた放送（ＢＳ放送）のＥＰＧ情報の切替操作と判断して、ＢＳ放送のＥＰＧ情報を表示させる。反対に、四角形の描画方向がその終始点に対し下方向であれば、通信衛星を用いた放送（ＣＳ放送）のＥＰＧ情報の切替操作と判断して、ＣＳ放送のＥＰＧ情報を表示させる。同様に、四角形の描画方向がその終始点に対し右方向であれば、ケーブルテレビジョン放送（ＣＡＴＶ放送）のＥＰＧ情報の切替操作と判断して、ＣＡＴＶ放送のＥＰＧ情報を表示させる。また、四角形の描画方向がその終始点に対し左方向であれば、地上デジタル放送のＥＰＧ情報の切替操作と判断して、地上デジタル放送のＥＰＧ情報を表示させる。

なお、上記ＥＰＧ情報のページ変更後に、ユーザがリモコン装置１のタッチパネル上において円形の図形を描画すれば、第１の実施形態で述べた一連の処理に従い、表示中のＥＰＧ情報の番組を選択するためのカーソル移動が行われる。

以上述べたように第２の実施形態によれば、リモコン装置１のタッチパネル上に描画する図形の形状を異ならせると、カーソルの移動操作に代えてＥＰＧ情報のページ変更操作を行うことができる。

（第３の実施形態）
この発明の第３の実施形態は、ユーザが腕を動かして空間に図形を描画した場合に、この図形を描画する動き、つまりユーザのジェスチャをカメラにより撮像してその撮像画像データをテレビジョン受信機に取り込み、この取り込まれた図形をもとにジェスチャを認識するようにしたものである。

この実施形態を実現するには、例えば図１２に示すようにテレビジョン受信機２に付属してカメラ４を設置し、このカメラ４によりユーザのジェスチャを撮像する。テレビジョン受信機２の信号受信ユニット１０は、カメラ４から出力された撮像画像データを受信し、この撮像画像データから腕の動きを表すデータを抽出して信号蓄積部２１に記憶させる機能を有する。腕の認識はパターンマッチングにより可能である。なお、ジェスチャ認識ユニット３０及び表示画像制御ユニット４０の機能は、第１及び第２の実施形態で述べた機能と同じである。

このように第３の実施形態によれば、ユーザが腕を動かして空間に図形を描画した場合にも、このジェスチャによる図形をカメラ４により撮像してテレビジョン受信機２に取り込むことにより、先に述べた第１及び第２の実施形態と同様に、ユーザのジェスチャによりＥＰＧ情報に対する番組選択操作やページ変更操作を行うことができる。

（その他の実施形態）
第１の実施形態では、図形の終始点Ａに対する描画位置を検出してカーソルの移動方向を制御するようにした。しかしこれに限らず、図形の描画速度、描画時間又は描画サイズを判定し、この図形の描画速度、描画時間又は描画サイズの判定結果に応じて、カーソルの移動量を変化させるようにしてもよい。

例えば、ユーザが図形を通常の速度より遅いゆっくりとした速度で描いたり、通常の描画時間より長い時間をかけて描いたり、或いは通常サイズより大きなサイズで描いた場合には、カーソルの１回の移動ステップ量を大きくする。図形の描画速度又は描画時間は、図形データの受信開始タイミング及び受信終了タイミングをそれぞれ検出するか、又は終始点Ａを構成する始点及び終点の検出タイミングを検出し、この検出した各タイミングをもとに計算により求めることができる。なお、この実施形態においても、カーソルの移動方向については、第１の実施形態で述べたように描画された図形の終始点Ａに対する図形の描画位置の方向により決まる。

前記第１の実施形態では、ジェスチャ認識処理をテレビジョン受信機２において行うようにしたが、同処理をリモコン装置１において行い、その認識結果を表す入力コマンドをテレビジョン受信機へ送信するように構成してもよい。また、前記各実施形態では、テレビジョン受信機２に表示されるＥＰＧ情報をジェスチャにより操作する場合を例にとって説明したが、パーソナル・コンピュータの表示画面やビデオプロジェクタによる表示画面をジェスチャにより操作するようにしてもよい。
その他、情報入力装置の種類や構成、処理手順と処理内容、図形の形状等についても、この発明の用紙を逸脱しない範囲で種々変形して実施できる。

要するにこの発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、各実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

１…リモコン装置、２，５…テレビジョン受信機、３…通信回線、４…カメラ、１０…信号受信ユニット、１１…信号受信判断部、１２…信号受信部、２０…データベース、２１…信号蓄積部、２２…ジェスチャコマンド変換テーブル部、２３…表示画像データ蓄積部、２４…図形パターン記憶部、３０…ジェスチャ認識ユニット、３１…終始点一致検出部、３２…図形追跡部、３３…図形判断部、３４…図形位置判断部、４０…表示画像制御ユニット、４１…画像更新部、４２…画像出力部、４３…表示画像決定部。

Claims (7)

1. ジェスチャにより描かれた図形データを取り込んで保存する手段と、
   前記保存された図形データ中から座標が一致する第１及び第２の点を検出し、この座標が一致する第１及び第２の点を前記図形データの終始点として認識する手段と、
   前記終始点が検出された場合、前記保存された図形データの前記第１の点と第２の点との間の軌跡を検出する手段と、
   前記認識された終始点及び前記検出された軌跡をもとに前記図形データの特徴を判定し、この判定された図形データの特徴を表す情報を入力情報に変換する変換手段と
   を具備し、
   前記変換手段は、
   前記認識された終始点を中心に異なる方向に複数の方向領域を設定し、前記検出された軌跡の描画位置が前記複数の方向領域のいずれに含まれるかを判定する手段と、
   前記判定結果を表す情報を、カーソルの移動方向を表す入力コマンドに変換する手段と
   を備えることを特徴とするジェスチャを用いた情報入力装置。
2. 前記変換手段は、
   前記検出された軌跡をもとに前記図形データの形状の種類を判定する手段と、
   前記判定された図形データの形状の種類に応じて前記入力コマンドの内容を変更する手段と
   を、さらに備えることを特徴とする請求項１記載のジェスチャを用いた情報入力装置。
3. 前記変換手段は、
   前記検出された軌跡をもとに、前記図形データの描画速度、描画時間及び描画サイズのいずれかを検出する手段と、
   前記検出された図形データの描画速度、描画時間及び描画サイズのいずれかに応じて、前記入力コマンドの内容を変更する手段と
   を具備することを特徴とする請求項１記載のジェスチャを用いた情報入力装置。
4. ジェスチャにより描かれた図形データを取り込んで保存する過程と、
   前記保存された図形データから座標が一致する第１及び第２の点を検出し、この座標が一致する第１及び第２の点を前記図形データの終始点として認識する過程と、
   前記終始点が検出された場合、前記保存された図形データの前記第１の点と第２の点との間の軌跡を検出する過程と、
   前記認識された終始点及び前記検出された軌跡をもとに前記図形データの特徴を判定し、この判定された図形データの特徴を表す情報を入力情報に変換する変換過程と
   を具備し、
   前記変換過程は、
   前記認識された終始点を中心に異なる方向に複数の方向領域を設定し、前記検出された軌跡の描画位置が前記複数の方向領域のいずれに含まれるかを判定する過程と、
   前記判定結果を表す情報を、カーソルの移動方向を表す入力コマンドに変換する過程と
   を備えることを特徴とするジェスチャを用いた情報入力方法。
5. 前記変換過程は、
   前記検出された軌跡をもとに前記図形データの形状の種類を判定する過程と、
   前記判定された図形データの形状の種類に応じて前記入力コマンドの内容を変更する過程と
   を、さらに備えることを特徴とする請求項４記載のジェスチャを用いた情報入力方法。
6. 前記変換過程は、
   前記検出された軌跡をもとに、前記図形データの描画速度、描画時間及び描画サイズのいずれかを検出する過程と、
   前記検出された図形データの描画速度、描画時間及び描画サイズのいずれかに応じて、前記入力コマンドの内容を変更する過程と
   を、さらに具備することを特徴とする請求項４記載のジェスチャを用いた情報入力方法。
7. 請求項１乃至３に記載に情報入力装置が備える各手段に対応する処理を、前記情報入力装置が備えるコンピュータに実行させるプログラム。

Images