JP5449074B2 - 情報入力装置 - Google Patents

Description

この発明は、例えばテレビジョン受信機や録画再生装置に対し、チャネル情報や制御情報等をユーザの指又は腕の動き等のジェスチャを用いて入力する情報入力装置に関する。

ディスプレイ装置の画面に表示された情報に対しポインティングするための代表的な技術としては、マウスやタブレットペン等のポインティングデバイスを用いるものが知られている。また、その他のポインティング技術として、リモートコントローラ（リモコン端末）を用いて遠隔的にポインティングを行うものや、ユーザのジェスチャ動作を認識してポインティングを行うものも知られている。

リモコン端末を用いた技術は、例えばリモコン端末に設けられた十字キー等のカーソルキーをユーザが指で操作して、その操作データを赤外線又は無線を介してディスプレイ装置へ送信し、ディスプレイ装置が上記操作データを受信することでポインティングを行うものとなっている。

一方、ユーザのジェスチャ動作を認識する技術は、例えばユーザの動作をカメラを用いて撮像し、この撮像された画像データからユーザの特定の身体部位の動作軌跡をパターン認識処理により認識して、この認識結果をもとにポインティングを行うものとなっている（例えば特許文献１を参照。）。

特開２００４−２７２５９８号公報

ところが、これらの従来のポインティング技術には以下のような解決すべき課題があった。
すなわち、近年普及してきたタッチパネル方式の端末には機械的なキーが搭載されておらず、タッチパネル上にキーを表示し、この表示されたキーをタッチ操作することで機械的なキーのポインティング操作を実現している。しかしながら、機械的なキーではユーザはキーの位置を視認しなくても指で確認しながら所望のキーを操作できるのに対し、タッチパネル方式ではタッチパネルにおけるキーの表示位置を視認せずに所望のキーにタッチすることは難しい。このため、例えばテレビジョン受信機のようにリモコン端末を用いて離れた場所から操作する機器にあっては、ユーザはテレビジョン受信機の画面とリモコン端末のタッチパネルの表示面とを交互に見ながら入力操作を行わなければならず、操作性の低下を招く。

一方、ユーザのジェスチャ動作を認識する方法では、ユーザのジェスチャ動作を認識して入力コマンドに対応付ける処理が画像処理に強く依存し、またジェスチャ動作の認識精度を高めるためには予め用意したマーカやセンサ等をユーザの手や指に装着する必要がある。このため、システムが大掛かりになると共に、ユーザの操作性が損なわれるという問題があった。

この発明は上記事情に着目してなされたもので、その目的とするところは、リモートコントローラへのキーの表示やユーザへのマーカ等の装着を不要にして操作性の向上を図り、しかもジェスチャ動作により描かれる図形を１つの入力としたとき、連続して複数の図形を効率良く描くことができ、これにより各入力図形を高精度に認識できるようにした情報入力装置を提供することにある。

上記目的を達成するためにこの発明の第１の観点は、以下のような構成要素を備えている。すなわち、ジェスチャにより描かれた図形データを取り込んで保存し、この保存された図形データ中から座標が一致する第１及び第２の点を検出してこの座標が一致する第１及び第２の点を前記図形データの終始点として認識する。そして、この認識された終始点の座標位置を予め設定した第１の終始点検出領域内に含まれているか否かを判定し、含まれていると判定された場合に、前記描画された図形データは図形としての条件を満たすと判断し、前記保存された図形データの前記第１の点と第２の点との間の軌跡を検出する。そして、この検出された軌跡をもとに前記図形データの特徴を判定し、この判定された図形データの特徴を表す情報を入力情報に変換する。

したがって、情報入力装置は終始点を有する図形を認識すればよいことになるので、比較的簡単な画像処理によりジェスチャを認識することができる。また、リモコン装置のタッチパネルにはカーソルキー等を表示する必要がなく、ユーザはタッチパネルに表示したキー位置をその都度視認することなく入力することが可能となる。

また、ユーザが描いた図形の終始点が予め設定された第１の終始点検出領域内に含まれているか否かが判定され、含まれていると判定された場合にのみ正当な図形入力操作が行われたものと判断されて、図形データの入力受付処理が行われる。このため、ユーザは第１の終始点検出領域を中心とする制限された範囲内でジェスチャによる図形入力操作を行うことになるので、ユーザが一筆書きにより複数の図形を続けて描画した場合でも、この一筆書きにより入力された複数の図形をそれぞれ確実に検出することが可能となる。

また、この発明の第１の観点は以下のような別の態様を備えることを特徴とする。すなわち、図形データの特徴を表す情報を入力情報に変換する処理の終了後に、前記認識された図形データの終始点の座標と、前記第１の終始点検出領域の基準点の座標とをもとに、基準点を第１の終始点検出領域の基準点から前記図形データの終始点に近い位置に変更した第２の終始点検出領域を生成し、前記第１の終始点検出領域を前記生成された第２の終始点検出領域に変更する。

このようにすると、ユーザが実際に図形を描画したときの終始点の位置を考慮して、終始点検出領域の位置が変更される。このため、ユーザがジェスチャにより図形を描くときの終始点の位置は、初期設定された終始点検出領域により厳格に制限されることなく、ユーザ固有の描画位置を許容するように調整される。したがって、終始点検出領域により入力図形の認識精度を高く保持しつつ、ユーザの使い勝手を考慮して操作性を高めることが可能となる。

すなわちこの発明によれば、リモートコントローラへのキーの表示やユーザへのマーカ等の装着を不要にして操作性の向上を図り、しかもジェスチャ動作により描かれる図形を１つの入力としたとき、連続して複数の図形を効率良く描くことができ、これにより各入力図形を高精度に認識できるようにした情報入力装置を提供することができる。

この発明の第１の実施形態に係わる情報入力装置のシステム構成を示す概略構成図。 図１に情報入力装置として示したテレビジョン受信機の機能構成を示すブロック図。 図２に示したテレビジョン受信機の全体の処理手順と処理内容を示すフローチャートである。 図３に示した全体の処理手順のうち信号送受信処理の手順と処理内容を示すフローチャート。 図３に示した全体の処理手順のうちジェスチャ認識処理の手順と処理内容を示すフローチャート。 図３に示した全体の処理手順のうち表示画像制御処理の手順と処理内容を示すフローチャート。 図５に示したジェスチャ認識処理において、終始点検出領域の初期設定動作を説明するための図。 図５に示したジェスチャ認識処理において、図形の始点と終点の一致を検出するための第１の方法を説明するための図。 図５に示したジェスチャ認識処理において、図形の始点と終点の一致を検出するための第２の方法を説明するための図。 図５に示したジェスチャ認識処理において、方向キー検出処理を説明するための図。 図５に示したジェスチャ認識処理において、方向キー検出処理を説明するための図。 図５に示したジェスチャ認識処理による効果を説明するための図。 図５に示したジェスチャ認識処理による効果を説明するための図。 この発明の第２の実施形態に係わる情報入力装置の機能構成を示すブロック図。 図１４に示した装置によるジェスチャ認識処理の手順と処理内容を示すフローチャート。 図１５に示したジェスチャ認識処理の処理内容を説明するための図。 この発明の第３の実施形態に係わる情報入力装置において使用されるジェスチャ描画図形の形状の種類を示す図。 この発明の第４の実施形態に係わる情報入力装置のシステム構成を示す概略構成図。

以下、図面を参照してこの発明に係わる実施形態を説明する。
（第１の実施形態）
この発明の第１の実施形態に係わる情報入力装置のシステム構成を示す概略構成図である。このシステムは、リモートコントローラ装置（以後リモコン装置と略称する）１から送信されるリモコン信号をテレビジョン受信機２ａにより受信するものとなっている。通信回線３としては例えば赤外線又は無線が用いられる。無線の場合の通信方式には、Bluetooth（登録商標）等の微弱又は小電力タイプの近距離無線データ通信方式が使用可能である。

リモコン装置１は、入力デバイスとして静電容量型のタッチパネルを使用した端末からなる。そして、このタッチパネルの静電分布のデータをリアルタイムにリモコン信号としてテレビジョン受信機２ａへ送信する。
ところで、テレビジョン受信機２ａは以下のように構成される。図２はその機能構成を示すブロック図である。
すなわち、テレビジョン受信機２は、リモコン装置１から送信されたリモコン信号を受信する信号送受信ユニット１０と、データベース２０と、ジェスチャ認識ユニット３０と、表示画像制御ユニット４０とを備えている。

信号送受信ユニット１０は、リモコン装置１との間で赤外線又は無線からなるリモコン信号を送受信する信号送受信部１２と、信号受信判断部１１とを備えている。信号受信判断部１１は、上記信号送受信部１２により受信されたリモコン信号をもとにタッチパネルに対する指の接触の有無を判断し、接触していると判断した期間における静電分布データをデータベース２０内の信号蓄積部２１に記憶させる処理を行う。

データベース２０は、信号蓄積部２１と、ジェスチャコマンド変換テーブル部２２と、表示画像データ蓄積部２３と、図形パターン記憶部２４とを備えている。信号蓄積部２１は、上記信号送受信ユニット１０により受信されたリモコン信号の静電分布データを記憶するために用いられる。ジェスチャコマンド変換テーブル部２２には、認識対象の複数の入力コマンドに対応付けて、当該入力コマンドが意味する表示処理内容を表す情報が予め記憶されている。表示画像データ蓄積部２３には、上記入力コマンドが意味する表示処理内容に応じた画像を表示するために必要な様々な表示画像データが記憶される。図形パターン記憶部２４には、認識対象となる複数の図形形状の基本パターンが記憶される。

ジェスチャ認識ユニット３０は、終始点一致検出部３１と、図形追跡部３２と、図形判断部３３と、図形位置判断部３４と、終始点検出領域初期設定部３５と、終始点検出領域判断部３６とを備えている。これらの機能は、上記受信信号判断部１１と共に、データベース２０内のプログラムメモリ（図示せず）に格納されたアプリケーション・プログラムを、中央処理ユニット（ＣＰＵ）に実行させることにより実現される。

このうち先ず終始点検出領域初期設定部３５は、リモコン装置１のタッチパネルの表面上の空間に、ユーザが一筆書きにより描く図形の終始点を検出するための領域Ｅを設定する機能を有する。またリモコン装置１は、上記終始点検出領域初期設定部３５と関連して動作する終始点検出領域表示機能を備えている。この終始点検出領域表示機能は、上記終始点検出領域初期設定部３５により設定された終始点検出領域Ｅを表す座標情報をテレビジョン受信機２ａから受信し、この受信された座標情報をもとに終始点検出領域Ｅを示すガイド画像を生成してタッチパネル上に表示する。

終始点一致検出部３１は、上記信号蓄積部２１に記憶された静電分布データをもとに、ユーザがリモコン装置１のタッチパネル上で指を移動させることにより描画した図形データの終始点、つまり座標値が一致する２つの点を検出する機能を有する。

終始点検出領域判断部３６は、上記終始点一致検出部３１により検出された終始点の位置が、上記終始点検出領域初期設定部３５により設定された終始点検出領域Ｅの範囲内に含まれているか否かを判断する機能を有する。

図形追跡部３２は、上記終始点一致検出部３１により終始点として検出され、かつ上記終始点検出領域判断部３６により当該終始点が上記終始点検出領域Ｅ内に含まれると判断されたとき、上記終始点検出領域Ｅ内に存在する始点と終点とを結ぶ図形の軌跡を、上記信号蓄積部２１に記憶された静電分布のデータをもとに検出する機能を有する。

図形位置判断部３４は、上記終始点一致検出部３１により検出された終始点を中心にタッチパネルの上下左右各方向に４つの方向領域を設定し、上記図形追跡部３２により検出された図形の軌跡の描画位置が上記４つの方向領域のいずれに含まれるかを判定する。そして、その判定結果に対応する入力コマンドを生成する。なお、４つの方向領域を設定する以外に、タッチパネルの上下左右斜めの各方向に８つの方向領域を設定することも可能である。

図形判断部３３は、上記データベース２０の図形パターン記憶部２４に記憶された認識対象となる複数の図形形状の基本パターンを参照し、上記図形追跡部３２により検出された軌跡がどの図形に対応するかを判定する。この判定処理にはパターンマッチングが用いられる。そして、上記判定された図形の形状の種類に応じて、上記図形位置判断部３４により生成された入力コマンドの更新の要否を判定し、更新する必要がある場合には上記入力コマンドを変更する処理を行う。

表示画像制御ユニット４０は、画像更新部４１と、画像出力部４２と、表示画像決定部４３を備えている。これらの機能もまた、上記ジェスチャ認識ユニット３０の各機能と同様に、アプリケーション・プログラムを中央処理ユニット（ＣＰＵ）に実行させることにより実現される。

画像更新部４１は、上記図形位置判断部３４により生成された入力コマンド、又は上記図形判断部３３により更新された入力コマンドをもとに、ジェスチャコマンド変換テーブル部２２から当該入力コマンドが意味する表示処理内容を表す情報を読み出し、この読み出された情報をもとに表示画像データを更新する処理を行う。

画像出力部４２は、上記画像更新部４１により更新された表示画像データを、図示しないディスプレイに出力して表示させる処理を行う。
表示画像決定部４３は、ディスプレイに表示させる画像データを決定する処理を行う。

次に、以上のように構成されたテレビジョン受信機２ａによる、ジェスチャを用いた入力情報の認識動作を説明する。
図３は、その全体の処理手順と処理内容を示すフローチャートである。なお、ここではテレビジョン受信機２ａのディスプレイに電子番組案内（Electronic Program Guide：ＥＰＧ）情報を表示させ、このＥＰＧ情報に対しリモコン装置１から番組の選択操作を行う場合を例にとって説明する。

リモコン装置１において、ユーザがタッチパネル上に上記番組の選択操作のための図形を指で描くと、その静電分布を表す情報がリモコン信号としてリモコン装置１から通信回線３を介してテレビジョン受信機２ａへ送られる。

テレビジョン受信機２ａは、先ずステップＳ１１において、信号送受信ユニット１０の信号送受信部１２及び信号受信判断部１１が上記リモコン信号を受信する処理を行い、ステップＳ１２において、上記受信されたリモコン信号により表される静電分布データをデータベース２０内の信号蓄積部２１に記憶させる処理を実行する。

次にステップＳ１３において、ジェスチャ認識ユニット３０が、先ず終始点を検出するための領域Ｅを初期設定する。この状態で、上記信号蓄積部２１に記憶された静電分布データをもとに、ユーザがリモコン装置１のタッチパネル上に描いた図形のデータから終始点を検出し、この検出された終始点が上記設定された終始点検出領域Ｅ内に含まれているか否かを判断する。その結果含まれていれば、上記描かれた図形が上記ＥＰＧ情報の番組選択操作に該当するものか否かを判定する。そして、ＥＰＧ情報の番組選択操作に該当する図形だった場合に、この図形が描かれた位置及び図形の形状を判定して、その判定結果に応じて入力コマンドを生成又は更新する。

最後にステップＳ１４において、表示画像制御ユニット４０が、上記ステップＳ１３により生成された入力コマンドが意味する表示処理内容を表す情報を検索し、この情報に応じてＥＰＧ情報に対する番組選択位置、つまりカーソルの位置を変化させるように表示画像データを更新する。

以下、上記各ステップＳ１１〜Ｓ１４における処理内容をより詳しく説明する。
（１）リモコン信号受信処理
図４はこの信号送受信処理の手順と処理内容を示すフローチャートである。
信号送受信ユニット１０では、リモコン装置１から送信されたリモコン信号を信号送受信部１２が受信したことをステップＳ２１で検出すると、先ずステップＳ２２において信号受信判断部１１が、上記受信されたリモコン信号をもとにユーザの指がタッチパネルに接触しているか否かを判定する。この判定の結果、接触していなければ、ステップＳ２３により信号蓄積部２１から静電分布データを消去する。一方、指がタッチパネルに触れ続けたとき、この連続する接触動作により描かれた図形を表す静電分布データを、ステップＳ２４によりデータベース２０の信号蓄積部２１へ出力して蓄積させる。したがって、信号蓄積部２１にはリモコン装置１のタッチパネル上に描かれた図形を表すデータが記憶される。

（２）ジェスチャ認識処理
図５はこのジェスチャ認識処理の手順と処理内容を示すフローチャートである。
ジェスチャ認識ユニット３０は、先ずステップＳ３０において終始点検出領域初期設定処理を以下のように実行する。すなわち、終始点検出領域初期設定部３５が、先ずステップＳ３０１により終始点検出領域Ｅを初期設定済か否かを判定し、未設定であればステップＳ３０２により初期設定処理を実行する。

この終始点検出領域Ｅは、ユーザによって描かれる図形を認識するリモコン装置１のタッチパネル面の空間と、ユーザにより描かれる一筆書きの図形及びこの図形の終始点の位置を考慮して設定される。例えば、図７に示すように終始点Ａの位置を基準とした４つの方向に描かれる直径ｄ以上の円を入力しようとする場合に、４個すべての図形が均一に描きやすい位置に設定される。例えば図７に示すような場合には、タッチパネルの重心Ｇに相当する位置Ｐを中心として半径ｒの円を、終始点検出領域Ｅとする。

上記終始点検出領域Ｅを設定するとジェスチャ認識ユニット３０は、この設定した終始点検出領域Ｅのタッチパネル面における座標情報、つまり中心点Ｐの座標と半径ｒを表す情報を、信号送受信ユニット１０からリモコン装置１へ送信する。リモコン装置１はテレビジョン受信機２ａから上記座標情報を受信すると、この受信した座標情報をもとに終始点検出領域Ｅを示すガイド画像を生成して、ディスプレイに図７の破線に示すように表示させる。なお、ビジョン受信機２ａからリモコン装置１へ座標情報を送信せずに、リモコン装置１がタッチパネルの重心Ｇに相当する位置Ｐを中心とする半径ｒの円からなる終始点検出領域Ｅを示すガイド画像を自主的に生成し、ディスプレイに表示させるようにしてもよい。

ジェスチャ認識ユニット３０は、次にステップＳ３１において終始点一致検出処理を以下のように実行する。すなわち、終始点一致検出部３１が、信号蓄積部２１から静電分布データを読み出し、この読み出した静電分布データをもとに、ユーザがリモコン装置１のタッチパネル上で指を移動させることにより描画した図形データの終始点、つまり座標値が一致する２つの点を検出する。

このとき、終始点の検出手法には例えば次の２つの手法が考えられる。第１の検出手法は、図８に示すようにユーザがタッチパネル上で最初に指を触れた点Ａから図形Ｂを描き始めて上記点Ａに再度触れたとき、この点Ａを終始点として検出するものである。第２の検出手法は、図９に示すようにユーザがタッチパネル上で指を動かして図形を描いた場合に、その軌跡を追跡して当該軌跡が交差する点を終始点Ａとして検出するものである。

ジェスチャ認識ユニット３０は、上記終始点Ａが検出されるとステップＳ３２により終始点検出領域判断部３６を動作させ、この終始点検出領域判断部３６により上記検出された終始点Ａが終始点検出領域Ｅ内に含まれるか否かを判定する。この判定は、例えば座標値の比較処理により行われる。

ジェスチャ認識ユニット３０は、上記終始点検出領域判断部３６により終始点Ａが終始点検出領域Ｅ内に含まれていないと判定されると、何も処理を行わない。そして、ユーザがそのままタッチパネルから指を離すと、この状態をステップＳ２２で検出して、上記描画された図形は選択操作の条件を満たさないと判断し、そのままジェスチャ認識処理を終了する。なお、ジェスチャ認識処理を終了した場合ジェスチャ認識ユニット３０は、信号蓄積部２１に記憶された上記判定対象の静電分布データを消去する。

一方、上記終始点検出領域判断部３６により終始点Ａが終始点検出領域Ｅ内に含まれていると判定されたとする。この場合ジェスチャ認識ユニット３０は、ユーザがタッチパネル上で描画した図形はＥＰＧ情報の番組選択操作を表す図形としての条件を満たすと判断し、ステップＳ３３により以下のように図形追跡処理を実行する。すなわち、図形追跡部３２により、上記終始点一致検出処理（ステップＳ３１）により検出された終始点Ａを構成する終点（時刻Ｔe）から始点（時刻Ｔs）までの静電分布データを信号蓄積部２１から読み出す。そして、この読み出した静電分布データをもとに、図形データの軌跡を追跡する処理を行う。

図形データの軌跡を追跡する手段としては、例えば次のようなものが考えられる。すなわち、静電容量を用いたタッチパネルであれば、指が触れている点のその周辺に対する静電分布は凸型分布になる。したがって、この凸型分布の頂点を結ぶことで、描かれた図形データの軌跡を追跡することができる。

上記図形データの軌跡が検出されると、ジェスチャ認識ユニット３０は続いてステップＳ３４において図形判断処理を実行する。すなわち、図形判断部３４により、データベース２０の図形パターン記憶部２４から複数の基本図形パターンを順次読み出し、この読み出された基本図形パターンと上記図形追跡処理（ステップＳ３３）により検出された図形の軌跡のパターンとをパターンマッチング処理により比較し、その類似度を検出する。そして、この検出された類似度がしきい値以上であって、かつ最も大きいものを選択する。そして、この選択された基本図形パターンを、上記タッチパネルに描かれた図形の形状の種類として認識する。

ジェスチャ認識ユニット３０は、次にステップＳ３５に移行して図形位置判断処理を実行する。すなわち、図形位置検出部３５により、先ず上記終始点一致検出処理（ステップＳ３１）により検出された終始点Ａを中心に、図１０（ａ）に示すようにタッチパネルの上下左右各方向(a)，(b)に４つの方向領域を設定する。そして、上記図形追跡処理（ステップＳ３３）により検出された図形の軌跡の描画位置が上記４つの方向領域のいずれに含まれるかを判定する。この判定処理は、例えば描かれた図形の重心を求め、この重心と終始点Ａが結ぶ直線の方向に図形の描画位置が存在するものと見なして、この直線の方向がいずれの方向領域の角度に含まれるかを判定することにより可能である。

上記図形の描画位置が判定されると、ジェスチャ認識ユニット３０は続いてステップＳ３６において方向キー検出処理を実行し、上記図形位置判断処理（ステップＳ３５）により判定された図形の描画位置を上下左右の４つの方向のいずれかに対応付けする。そして、この対応付けられた方向キーに対応する入力コマンドを生成する。

例えば、図１１（ａ）に示すように図形の描画位置が終始点Ａに対し左方向領域に含まれる場合には左方向キーを示す入力コマンドが生成され、反対に右方向領域に含まれる場合には右方向キーを示す入力コマンドが生成される。同様に、図１１（ｂ）に示すように図形の描画位置が終始点Ａに対し上方向領域に含まれる場合には上方向キーを示す入力コマンドが生成され、反対に下方向領域に含まれる場合には下方向キーを示す入力コマンドが生成される。

なお、先に述べた図形位置判断処理（ステップＳ３５）では、図１０（ａ）に示したように図形の描画位置が４方向のいずれに含まれるかを判定する場合について例示した。しかし、それに限らず例えば図１０（ｂ）に示すように上下左右斜め方向(A)，(B)，(C)，(D)の８つの方向領域を設定し、検出された図形の描画位置が上記８つの方向領域のいずれに含まれるかを判定するようにしてもよい。この場合、方向キー検出処理（ステップＳ３６）では、図形の描画位置が上下左右斜めの８つの方向のいずれかに対応付けされる。そして、この対応付けられた方向キーに対応する入力コマンドが生成される。

（３）表示画像制御処理
上記ジェスチャ認識処理（ステップＳ１３）が終了すると、続いて表示画像制御ユニット４０が以下のように表示画像の更新処理を実行する。図６はその制御手順と制御内容を示すフローチャートである。
先ずステップＳ４２において画像更新部４１が、上記図形位置判断処理（ステップＳ３４）により生成された入力コマンドをもとに、ジェスチャコマンド変換テーブル部２２から当該入力コマンドが意味する表示処理内容を表す情報を読み出し、この読み出された情報をもとに表示画像データを更新する処理を行う。

例えば、上記図形位置判断処理（ステップＳ３５）により生成された入力コマンドの意味が左方向キーを示すものであれば、ＥＰＧ情報におけるカーソルの位置を左方向へ１列分シフトさせた画像に更新される。反対に入力コマンドの意味が右方向キーを示すものであれば、ＥＰＧ情報におけるカーソルの位置を右向へ１列分シフトさせた画像に更新される。同様に、入力コマンドの意味が上又は下キーを示すものであれば、ＥＰＧ情報におけるカーソルの位置をそれぞれ上方向又は下方向へ１列分シフトさせた画像に更新される。なお、８方向キーの場合も同様にＥＰＧの表示画像が更新される。
そして、以上のように更新されたＥＰＧの表示画像が、ステップＳ４２によりディスプレイに出力され表示される。

したがって、ユーザはリモコン装置１のタッチパネル上において、図１０（ａ）に示した４つの円のいずれかを選択的に図８に示すように描画することで、ＥＰＧ情報におけるカーソル位置を所望の番組の位置にステップ移動させることが可能となる。例えば、ＥＰＧ情報のカーソル位置を右方向へ２ステップ移動させる場合には、図１０（ａ）の円Ｒを２回描画すればよい。

以上詳述したように第１の実施形態では、リモコン装置１のタッチパネル上で描画された図形データをテレビジョン受信機２ａで受信して信号蓄積部２１に記憶し、ジェスチャ認識ユニット３０により上記記憶された図形データの終始点Ａを検出して、この終始点Ａが予め設定した終始点検出領域Ｅ内に含まれているか否かを判定する。この判定の結果、終始点Ａが終始点検出領域Ｅ内に含まれていれば、この終始点Ａを構成する始点と終点との間の軌跡を検出して図形の形状を判定する。そして、終始点Ａを有する所定の図形形状が検出されたとき、上記終始点Ａに対する図形の描画位置の方向を検出してこの検出された方向を方向キーに対応付け、ＥＰＧ情報におけるカーソル位置を移動させるようにしている。

したがって、テレビジョン受信機２は終始点Ａを有する円形の図形を認識すればよいので、比較的簡単な画像処理によりジェスチャを認識することができる。また、リモコン装置１のタッチパネルにはカーソルキー等を表示する必要がない。ユーザはタッチパネルに表示したキー位置をその都度視認することなく入力することができる。

また、終始点検出領域Ｅが設定され、タッチパネル上で検出された終始点Ａがこの終始点検出領域Ｅ内に含まれているか否かが判定され、含まれていると判定された場合にのみ正当な図形入力操作が行われたものと判断してジェスチャ認識処理が行われる。このため、ユーザはタッチパネルの終始点検出領域Ｅを中心とする制限された範囲内でジェスチャによる図形入力操作を行うことになるので、ユーザが一筆書きにより複数の図形を続けて描画した場合でも、この一筆書きにより入力された複数の図形を確実に検出することが可能となる。

ちなみに、終始点検出領域Ｅを設定せず、ユーザにタッチパネル上の任意の位置で図形を描画させると、以下のような問題が生じるおそれがある。すなわち、利用者が連続して一筆書きの図形を描こうとしたとき、最初に描かれた図形の終始点と次に描かれた図形の終始点が一致するとは限らない。このため、例えば図１２の曲線Ｓ−Ｒに示すように描かれた図形の終始点間で曲線のずれが生じる。このずれが蓄積されると、例えば図１３に示すようにユーザはテレビジョン受信機２ａが入力図形を認識可能な空間の範囲外に図形(3) を描いてしまう。ここで、描かれた図形を認識可能な空間とは、タッチパネルであればタッチパネル面が相当し、カメラであればカメラの視野が相当する。このため、ユーザによって描かれた図形をテレビジョン受信機２ａは認識できなくなる。

（第２の実施形態）
この発明の第２の実施形態は、初期設定された終始点検出領域の基準点と、認識された図形の終始点とをもとに、終始点検出領域を再設定する機能を備えたものである。

図１４は、この発明の第２の実施形態に係わる情報入力装置の機能構成を示すブロック図である。なお、同図において前記図２と同一部分には同一符号を付して詳しい説明は省略する。
ジェスチャ認識ユニット３０は、終始点一致検出部３１と、図形追跡部３２と、図形判断部３３と、図形位置判断部３４と、終始点検出領域初期設定部３５と、終始点検出領域判断部３６に加え、終始点検出領域再設定部３７をさらに備えている。

終始点検出領域再設定部３７は、検出された図形に基づく図形位置の判定処理と方向キーの検出処理の終了後に、終始点一致検出部３１により検出された図形の終始点と、終始点検出領域初期設定部３５により設定された終始点検出領域の基準点とに基づいて、終始点検出領域を再設定する機能を有する。

このような構成であるから、テレビジョン受信機２ｂのジェスチャ認識ユニット３０は以下のような処理を実行する。図１５はその処理手順と処理内容を示すフローチャートである。なお、同図において前記図５と同一部分には同一符号を付して詳しい説明は省略する。

すなわち、ジェスチャ認識ユニット３０は、ステップＳ３０〜Ｓ３６による一連の図形認識処理を終了すると、最後にステップＳ３７において、終始点一致検出処理Ｓ３１により検出された図形の終始点Ｑと、終始点検出領域初期設定処理Ｓ３０において設定された終始点検出領域Ｅの基準点Ｐをもとに、終始点検出領域の基準点Ｐ′を再設定する処理を行う。

例えば、いま図１６（ａ）に示すように、図形の認識処理前に設定した終始点検出領域Ｅの基準点をＰ、検出された図形の終始点をＱとすると、この検出された図形の終始点Ｑと、終始点検出領域Ｅの基準点Ｐとを線分ＰＱにより結ぶ。そして、図１６（ｂ）に示すように、この線分ＰＱの中点を算出して、この中点を新たな基準点Ｐ′とする。そして、この新たな基準点Ｐ′中心とする半径ｒの円を新たな終始点検出領域Ｅ′として設定する。

またジェスチャ認識ユニット３０は、上記再設定された終始点検出領域Ｅ′を表す情報、つまり基準点Ｐ′と半径ｒを表す情報を、信号送受信ユニット１０からリモコン装置１へ送信する。リモコン装置１は、上記テレビジョン受信機２ｂから受信した基準点Ｐ′と半径ｒを表す情報をもとに、新たな終始点検出領域Ｅ′の位置を示すガイド画像を生成してタッチパネルに表示させる。

以上詳述したように第２の実施形態によれば、ユーザが実際に図形を描画するためにタッチした終始点Ｑの位置を考慮して、終始点検出領域Ｅ′の位置がその初期設定位置Ｅより大きく離れない範囲で調整される。このため、ユーザのタッチ位置は初期設定された終始点検出領域Ｅにより厳格に制限されることなく、ユーザ固有のタッチ位置も許容されるように調整される。したがって、終始点検出領域Ｅにより入力図形の認識精度を高く保持した上で、さらにユーザの使い勝手を考慮して操作性を高めることができる。

なお、上記再設定された終始点検出領域Ｅ′の位置を表す座標情報をユーザの識別情報に対応付けて保存しておく。そして、ジェスチャ入力の開始前にユーザの入力操作に応じてそのユーザ識別情報をリモコン装置１からテレビジョン受信機へ送信し、当該ユーザ識別情報に対応する終始点検出領域Ｅ′の位置を表す座標情報を読み出して設定するようにしてもよい。このようにすると、１台のリモコンを複数のユーザが共用する場合に、ユーザごとに設定された終始点検出領域Ｅ′を設定することが可能となる。

（第３の実施形態）
この発明の第３の実施形態は、リモコン装置１のタッチパネル上に描画する図形の形状を異ならせることで、カーソルの移動操作に代えてＥＰＧ情報のページ変更操作等を行えるようにしたものである。また、この実施形態においても、予め終始点検出領域Ｅを設定し、検出された図形の終始点がこの終始点検出領域Ｅ内に含まれるか否かを判定し、含まれている場合にのみ図形の特徴とその方向を判断する処理を行う点は、先に述べた第１及び第２の実施形態と同じである。
なお、この第３の実施形態においても、第１の実施形態で使用した図１及び図２を使用して説明を行う。

ジェスチャ認識ユニット３０の図形判断部３３は、図１７に示すように円形（ａ）以外に、四角形（ｂ）、六角形（ｃ）、三角形（ｄ）又は五角形（ｅ）をそれぞれ認識する処理機能を有している。この図形形状の認識処理は、タッチパネルに描画された図形の軌跡を、図形パターン記憶部２４に予め記憶された複数の図形形状の基本パターンとパターンマッチングすることにより行われる。

表示画像制御ユニット４０の表示画像決定部４３は、上記図形判断部３３により認識された描画図形の形状の種類がＥＰＧ情報に対する操作内容のいずれに該当するかを、データベース２０に記憶された、図形形状と操作内容との対応関係を表すテーブル情報（図示せず）をもとに判定する。そして、この判定された図形形状の種類に応じた表示画面を選択してディスプレイに表示させる処理を行う。

例えば、いま図１７（ｄ）に示す三角形が描画され、かつこの三角形の描画方向がその終始点に対し右方向であれば、ＥＰＧ情報のページ送り操作と判断して、次ページの表示画面を表示させる。反対に、三角形の描画方向がその終始点に対し左方向であれば、ＥＰＧ情報のページ戻り操作と判断して、前ページの表示画面を表示させる。

また、図１７（ｂ）に示す四角形が描画され、かつこの四角形の描画方向がその終始点に対し上方向であれば、放送衛星を用いた放送（ＢＳ放送）のＥＰＧ情報の切替操作と判断して、ＢＳ放送のＥＰＧ情報を表示させる。反対に、四角形の描画方向がその終始点に対し下方向であれば、通信衛星を用いた放送（ＣＳ放送）のＥＰＧ情報の切替操作と判断して、ＣＳ放送のＥＰＧ情報を表示させる。同様に、四角形の描画方向がその終始点に対し右方向であれば、ケーブルテレビジョン（Cable Television；ＣＡＴＶ）放送のＥＰＧ情報の切替操作と判断して、ＣＡＴＶ放送のＥＰＧ情報を表示させる。また、四角形の描画方向がその終始点に対し左方向であれば、地上デジタル放送のＥＰＧ情報の切替操作と判断して、地上デジタル放送のＥＰＧ情報を表示させる。

なお、上記ＥＰＧ情報のページ変更後に、ユーザがリモコン装置１のタッチパネル上において円形の図形を描画すれば、第１の実施形態で述べた一連の処理に従い、表示中のＥＰＧ情報の番組を選択するためのカーソル移動が行われる。
以上述べたように第３の実施形態によれば、リモコン装置１のタッチパネル上に描画する図形の形状を異ならせると、カーソルの移動操作に代えてＥＰＧ情報のページ変更操作を行うことができる。

（第４の実施形態）
この発明の第４の実施形態は、ユーザが腕を動かして空間に図形を描画した場合に、この図形を描画する動き、つまりユーザのジェスチャをカメラにより撮像してその撮像画像データをテレビジョン受信機に取り込み、この取り込まれた図形をもとにジェスチャを認識するようにしたものである。

この実施形態を実現するには、例えば図１８に示すようにテレビジョン受信機２ｃに付属してカメラ４を設置し、このカメラ４によりユーザのジェスチャを撮像する。テレビジョン受信機２ｃの信号送受信ユニット１０は、カメラ４から出力された撮像画像データを受信し、この撮像画像データから腕の動きを表すデータを抽出して信号蓄積部２１に記憶させる機能を有する。腕の認識処理はパターンマッチングにより実現できる。なお、ジェスチャ認識ユニット３０及び表示画像制御ユニット４０の機能は、第１乃至第３の実施形態で述べた機能と同じである。

すなわち、テレビジョン受信機２ｃのジェスチャ認識ユニット３０は、終始点検出領域初期設定部３５により、カメラ４による撮像可能空間領域内の中央位置に終始点検出領域Ｅを初期設定する。そして、ユーザが腕を動かして空間に図形を描画したとき、この描画図形の終始点が上記終始点検出領域Ｅ内に含まれるか否かを判定し、含まれる場合にのみ上記描画図形の形状の特徴と描画方向を判定する処理を実行する。また、この図形の形状の特徴と描画方向を判定する処理の実行後に、終始点検出領域再設定部３７によりユーザによる図形描画位置に応じて終始点検出領域Ｅの位置を再設定する。

このように第４の実施形態によれば、ユーザが腕を動かして空間に図形を描画した場合にも、このジェスチャによる図形をカメラ４により撮像してテレビジョン受信機２ｃに取り込むことにより、先に述べた第１乃至第３の実施形態と同様に、ユーザのジェスチャによりＥＰＧ情報に対する番組選択操作やページ変更操作を行うことができる。

しかも、カメラ４による撮像可能空間領域内に終始点検出領域Ｅを設定し、ユーザが腕を動かして空間に描画した図形の終始点が上記終始点検出領域Ｅ内に含まれるか否かを判定し、含まれる場合にのみ上記描画図形の形状の特徴と描画方向を判定するようにしている。このため、ユーザが空間に連続して複数の図形を描画する場合に、図形がカメラ４による撮像可能空間領域から外れにくくすることができ、これにより図形の認識精度を高めることができる。

（その他の実施形態）
第１の実施形態では、図形の終始点Ａに対する描画位置を検出してカーソルの移動方向を制御するようにした。しかしこれに限らず、図形の終始点Ａが終始点検出領域Ｅ内に含まれていることを確認した上で、図形の描画速度、描画時間又は描画サイズを判定し、この図形の描画速度、描画時間又は描画サイズの判定結果に応じて、カーソルの移動量を変化させるようにしてもよい。

例えば、ユーザが図形を通常の速度より遅いゆっくりとした速度で描いたり、通常の描画時間より長い時間をかけて描いたり、或いは通常サイズより大きなサイズで描いた場合には、カーソルの１回の移動ステップ量を大きくする。図形の描画速度又は描画時間は、図形データの受信開始タイミング及び受信終了タイミングをそれぞれ検出するか、又は終始点Ａを構成する始点及び終点の検出タイミングを検出し、この検出した各タイミングをもとに計算により求めることができる。なお、この実施形態においても、カーソルの移動方向については、第１の実施形態で述べたように描画された図形の終始点Ａに対する図形の描画位置の方向により決まる。

前記第１の実施形態では、ジェスチャ認識処理をテレビジョン受信機２ａにおいて行うようにしたが、同処理をリモコン装置１において行い、その認識結果を表す入力コマンドをテレビジョン受信機へ送信するように構成してもよい。また、前記各実施形態では、テレビジョン受信機２ａに表示されるＥＰＧ情報をジェスチャにより操作する場合を例にとって説明したが、パーソナル・コンピュータの表示画面やビデオプロジェクタによる表示画面をジェスチャにより操作するようにしてもよい。
その他、情報入力装置の種類や構成、処理手順と処理内容、図形の形状等についても、この発明の用紙を逸脱しない範囲で種々変形して実施できる。

要するにこの発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、各実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

１…リモコン装置、２ａ，２ｂ，２ｃ…テレビジョン受信機、３…通信回線、４…カメラ、１０…信号送受信ユニット、１１…信号受信判断部、１２…信号送受信部、２０…データベース、２１…信号蓄積部、２２…ジェスチャコマンド変換テーブル部、２３…表示画像データ蓄積部、２４…図形パターン記憶部、３０…ジェスチャ認識ユニット、３１…終始点一致検出部、３２…図形追跡部、３３…図形判断部、３４…図形位置判断部、３５…終始点検出領域初期設定部、３６…終始点検出領域判断部、３７…終始点検出領域再設定部、４０…表示画像制御ユニット、４１…画像更新部、４２…画像出力部、４３…表示画像決定部。

Claims (2)

1. ジェスチャにより描かれた図形データを取り込んで保存する手段と、
   前記保存された図形データ中から座標が一致する第１及び第２の点を検出し、この座標が一致する第１及び第２の点を前記図形データの終始点として認識する手段と、
   前記認識された終始点の座標位置を、予め設定した第１の終始点検出領域内に含まれているか否かを判定する手段と、
   前記認識された図形データの終始点の座標位置が前記第１の終始点検出領域内に含まれていると判定された場合に、前記描画された図形データは図形としての条件を満たすと判断し、前記保存された図形データの前記第１の点と第２の点との間の軌跡を検出する手段と、
   前記認識された終始点及び前記検出された軌跡をもとに前記図形データの特徴を判定し、この判定された図形データの特徴を表す情報を入力情報に変換する変換手段と
   を具備することを特徴とするジェスチャを用いた情報入力装置。
2. 前記変換手段による変換処理終了後に、前記認識された図形データの終始点の座標と、前記第１の終始点検出領域の基準点の座標とをもとに、基準点を第１の終始点検出領域の基準点から前記図形データの終始点に近い位置に変更した第２の終始点検出領域を生成し、前記第１の終始点検出領域を前記生成された第２の終始点検出領域に変更する手段
   を、さらに具備することを特徴とする請求項１記載の情報入力装置。

Images