JP5668005B2 - ジェスチャ認識装置及びそのプログラム - Google Patents

Description

この発明は、例えばテレビジョン受信機や録画再生装置に対し離れた場所からチャネル情報や制御情報等を入力するために用いる、指又は腕の動きによるジェスチャを認識するジェスチャ認識装置及びそのプログラムに関する。

テレビジョン受信機に取り付け可能なカメラや赤外線距離センサを備える電子機器が安価に簡単に手に入るようになり、リモートコントローラを使わずに、手もしくは指のジェスチャによってテレビジョン受信機のメニュー項目を選択する方式が提案されている。このジェスチャ入力方式は、例えばユーザの指の動きをカメラを用いて撮像し、この撮像された画像データからユーザの指の動作軌跡を表す図形をパターン認識処理により認識して、この認識結果をもとにメニュー等のポインティングを行うものとなっている（例えば非特許文献１を参照）。

青木 良輔、唐津 豊、井原 雅行、前田 篤彦、渡部 智樹、小林 稔、鏡 慎吾："大型ディスプレイ上のメニュー選択に適したカメラによる一筆書きジェスチャインタフェース"、ヒューマンインタフェース学会研究報告集2010，VOL.12，NO.9，35-42.

ところで、ユーザのジェスチャにより描かれた図形を認識するには、描画された図形の形状と、図形の描画方向をそれぞれ判定する必要がある。そこで、非特許文献１に記載された一筆書きジェスチャインタフェースでは、ジェスチャの開始から終了までに得られた一筆書き図形を描いた指の各座標の重心を計算してその重心とジェスチャ検知領域の角度を計算し、この計算された角度に応じて方向を決定する手法を用いている。しかし、ユーザにより描く図形の大きさや形状、位置が異なるため、上記手法ではユーザが意図する図形の方向を検出できない場合がある。

この発明は上記事情に着目してなされたもので、その目的とするところは、ユーザがジェスチャにより描く図形の大きさや形状、位置に個人差があっても、描画される図形の描画方向をより簡単にかつ正確に判定できるようにしたジェスチャ認識装置を提供することにある。

上記目的を達成するためにこの発明の１つの観点は、ジェスチャにより空間に図形を描く動きを撮像してその画像データを出力する撮像装置と、上記撮像装置から出力された画像データをもとに上記ジェスチャにより描かれた図形を認識するジェスチャ認識装置とを具備するシステムで使用される上記ジェスチャ認識装置にあって、先ず上記撮像装置から画像データが取り込まれるごとに、当該画像データから上記ジェスチャによる描画点の位置情報を検出し、この検出された描画点の位置情報をもとに描画点の初期位置を検出してこの初期位置を含む終始点入力検出領域を設定する。そして、上記検出された描画点の位置情報をもとに、描画点が上記終始点入力検出領域内から領域外に出たのち当該終始点入力検出領域内に戻るまでの描画点の軌跡を検出する。次に、上記終始点入力検出領域の中心を通過する方向判定軸を少なくとも一つ設定し、この方向判定軸により分割される複数の描画領域のうち上記検出された描画点の軌跡を構成する複数の描画点が最も多く含まれる描画領域を選択し、上記終始点入力検出領域の中心に対する上記選択された描画領域の方向を上記描画点の軌跡の描画方向と判定する。そして、上記検出された描画点の軌跡の形状と、上記判定された描画点の軌跡の描画方向とに基づいて、上記ジェスチャにより描かれた図形を認識するようにしたものである。

したがってこの発明の１つの観点によれば、終始点入力検出領域の中心を通過する方向判定軸により分割される複数の描画領域のうち、描画点の軌跡を構成する複数の描画点が最も多く含まれる描画領域の方向が、ジェスチャにより描かれた図形の描画方向と判定される。このため、分割された領域ごとに描画点数を計数してその計数値を比較するだけのきわめて簡単な処理により、図形の描画方向を判定することが可能となる。また、単純に分割領域ごとの描画点の数をもとに描画方向が判定されるので、ユーザが描く図形の大きさや形状、位置に個人差があっても、その影響を受けることなく描画方向の判定をより正確に行うことができる。

また、この発明の１つの観点は以下のような態様を備えることも特徴とする。すなわち、上記描画方向判定手段が描画方向を判定する際に、先ず上記終始点入力検出領域の中心を通過する第１の方向判定軸を設定して、この第１の方向判定軸により分割される２つの描画領域のうち上記描画点の軌跡を構成する複数の描画点が多く含まれる描画領域を選択する。そして、上記描画点の軌跡を構成する描画点の総数に対する上記選択された描画領域に含まれる描画点の数の割合が予め設定したしきい値以上か未満かを判定する。この判定の結果、上記割合がしきい値未満の場合には、上記終始点入力検出領域の中心位置で上記第１の方向判定軸と交叉する第２の方向判定軸を設定して、この第２の方向判定軸により分割される２つの描画領域のうち上記描画点の軌跡を構成する複数の描画点が多く含まれる描画領域を選択し、上記第１及び第２の選択手段により選択された描画領域の中から上記描画点の軌跡を構成する複数の描画点が多く含まれる描画領域を選択して、この選択された描画領域の方向を上記描画点の軌跡の描画方向と判定する。一方、上記割合がしきい値以上と判定された場合には、上記第２の方向判定軸を用いた処理を行わずに、上記第１の方向判定軸を用いた処理により選択された描画領域の方向を上記描画点の軌跡の描画方向と判定するようにしたものである。

したがって、描画方向を判定する際に、先ず第１の方向判定軸により分割される２つの描画領域のうち描画点が多く含まれる描画領域が選択され、この選択された描画領域に含まれる描画点の数の割合がしきい値未満の場合に、さらに第２の方向判定軸により分割される２つの描画領域のうち描画点が多く含まれる描画領域が選択され、その結果を加味して上記描画点の軌跡の描画方向が判定される。これに対し、描画点の割合がしきい値以上あれば、上記第２の方向判定軸を用いた処理は行われず、上記第１の方向判定軸を用いた処理により選択された描画領域の方向が上記描画点の軌跡の描画方向と判定される。このため、第１の方向判定軸を用いた処理の結果によっては、常に第１及び第２の方向判定軸を用いた判定処理を行う場合に比べ、処理量を減らして判定時間を短縮することが可能となる。

すなわち、この発明の１つの観点によれば、ユーザがジェスチャにより描く図形の大きさや形状、位置に個人差があっても、描画される図形の描画方向をより簡単にかつ正確に判定できるようにしたジェスチャ認識装置を提供することができる。

この発明の第１の実施形態に係わるジェスチャ認識装置を含むシステムの概略構成図。 図１にジェスチャ認識装置として示した情報処理装置の機能構成を示すブロック図。 図２に示した情報処理装置による全体の処理手順と処理内容を示すフローチャート。 図３に示したフローチャートにおける一筆書きジェスチャ認識機能のＯＮ／ＯＦＦ切替処理の処理手順と処理内容を示すフローチャート。 図３に示したフローチャートにおける一筆書きジェスチャ認識処理の処理手順と処理内容を示すフローチャート。 ジェスチャ機能ＯＮのためのユーザの操作例を示す図。 ジェスチャ機能ＯＦＦのためのユーザの操作例を示す図。 ジェスチャ検知の流れを示す図。 ジェスチャにより描かれた一筆書き図形の方向識別動作を説明するための図。 認識対象となる一筆書き図形の例を示す図。

以下、図面を参照してこの発明に係わる実施形態を説明する。
［一実施形態］
（構成）
図１は、この発明の一実施形態に係わるジェスチャ認識装置を用いた情報入力システムの概略構成図である。このシステムは、テレビジョン受信機２にカメラ４を装着すると共に、テレビジョン受信機２に情報処理装置３を接続したものとなっている。カメラ４は、ユーザ１の指の動きを用いたジェスチャを撮像し、その撮像画像データをＵＳＢケーブルを介してテレビジョン受信機２へ出力する。なお、ユーザ１の指先には、指先の動きをより認識し易くするために例えばＬＥＤ（Light Emitting Diode）を用いた発光マーカ６が装着される。

情報処理装置３は、ジェスチャ認識装置としての機能を備えたもので、以下のように構成される。図２は、情報処理装置３の機能構成を示すブロック図である。情報処理装置３は、ジェスチャ認識処理を行うために必要な機能として、指の位置検出ユニット１０と、データベース２０と、一筆書きジェスチャ認識処理ユニット３０と、リアルタイム処理発生ユニット４０と、表示画面処理ユニット５０を備えている。

データベース２０は、記憶媒体として例えばハードディスク又はＮＡＮＤ型フラッシュメモリを使用したもので、この発明を実施するために必要な記憶領域として、カメラ画像蓄積部２１と、一筆書き図形蓄積部２２と、操作内容データベース２３と、表示画像・映像蓄積部２４と、指位置蓄積部２５を有している。

カメラ画像蓄積部２１は、指の位置検出ユニット１０によりカメラ４から取得された画像データを記憶するために用いられる。指位置蓄積部２５は、カメラ画像蓄積部２１に蓄積された画像データから検出された指の指示位置と、当該画像データを撮像した時刻とを関連付けて格納するために用いられる。一筆書き図形蓄積部２２には、一筆書き図形の認識に用いる一筆書き図形のモデルが予め格納されている。操作内容データベース２３には、認識されたジェスチャの種類と方向に対応する操作内容を表す情報が予め格納されている。表示画像・映像蓄積部２４には、上記操作内容データベース２３に格納された操作内容を表す情報に対応付けて、表示画面に表示する画像や映像のデータが予め格納されている。

リアルタイム処理発生ユニット４０は、タイマを使用して、例えば１６msecごとにイベント信号を発行する機能を有する。
指の位置検出ユニット１０はカメラ画像取得部１１を備え、上記リアルタイム発生ユニット４０によりイベント信号が発行されるごとに、カメラ４から画像データを取得して、この画像データを上記カメラ画像蓄積部２１に記憶させる機能を有する。

一筆書きジェスチャ認識処理ユニット３０は、一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ切替部３１０と、一筆書きジェスチャ認識処理部３２０を備えている。
このうち、先ず一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ切替部３１０は、指位置検出部３１１と、一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ判断部３１２を有する。指位置検出部３１１は、上記カメラ画像蓄積部２１に格納された画像データからマーカ５の描画点の位置座標、つまりユーザの指の指示位置を検出し、この検出された描画点の位置座標を上記指位置蓄積部２５に格納する。

一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ判断部３１２は、以下の処理機能を有している。
(1) 一筆書きジェスチャ認識処理部３２０の機能がＯＦＦに設定されている状態で、カメラ４による撮像範囲、つまりジェスチャの認識領域内に、ジェスチャの始点判定領域（ジェスチャ開始領域）を設定する。そして、上記指位置検出部３１１により検出された発光マーカ５の描画点が上記ジェスチャ開始領域内に存在するか否かを判定し、存在すると判定された場合に上記一筆書きジェスチャ認識処理部３２０の機能をＯＮに設定すると共に、ジェスチャの終点を検出するための検出ゾーン（Detection zone）を上記ジェスチャの認識領域内に設定する機能。

(2) ジェスチャ認識処理部３２０の機能がＯＮに設定されている状態で、上記指位置検出部３１１により検出された発光マーカ５の描画点が上記ジェスチャ認識領域の外に出たか否かを判定し、ジェスチャ認識領域の外に出たことが検出された場合に、上記一筆書きジェスチャ認識処理部の機能をＯＮからＯＦＦに遷移させる機能。

次に、一筆書きジェスチャ認識処理部３２０は、一筆書きジェスチャ入力判断部３２１と、一筆書き図形の方向識別部３２２と、一筆書き図形識別部３２３を有している。
一筆書きジェスチャ入力判断部３２１は、一筆書きジェスチャ認識処理部３２０の機能がＯＮの状態で、上記画像データから検出される描画点が上記ジェスチャ開始領域内に入ったことが検出されたときの位置座標をジェスチャの開始点として検出する。また、上記描画点がジェスチャ開始領域外に出たのち上記検出ゾーン内に戻ったとき、このときの描画点の位置座標をジェスチャの終了点として検出する。

一筆書き図形の方向識別部３２２は、以下の処理機能を有している。
(1) 上記ジェスチャの終了点が検出された場合に、上記検出ゾーン内の中心点を通過する垂直判定軸をジェスチャ認識領域内に設定する。そして、この垂直判定軸により左右に分割される各領域のうち、上記ジェスチャによる描画点がジェスチャ開始領域外に出たのち上記検出ゾーン内に戻るまでの軌跡を構成する描画点が多く含まれる領域を選択する処理。
(2) 上記描画点の軌跡を構成する描画点の総数に対する、上記選択された側の領域に含まれる描画点の数の割合が、予め設定したしきい値以上か未満かを判定する処理。
(3) 上記割合がしきい値未満と判定された場合に、上記検出ゾーンの中心点を通過する水平判定軸を設定する。そして、この水平判定軸により上下に分割される各領域のうち、上記軌跡を構成する描画点が多く含まれる領域を選択する処理。
(4) 上記(1) の処理により選択された左右いずれかの領域に含まれる描画点の数と、上記(3) の処理により選択された上下いずれかの領域に含まれる描画点の数とを比較し、描画点の数が多い領域を選択する。そして、この選択された左、右、上又は下いずれかの領域の方向を上記ジェスチャによる描画方向と判定する処理。
(5) 一方、上記割合がしきい値以上と判定された場合に、上記(3) 及び(4) による水平軸を用いた処理を行わずに、上記(1) により選択された左領域又は右領域の方向を上記ジェスチャによる描画方向と判定する処理。

一筆書き図形識別部３２３は、上記描画点がジェスチャ開始領域外に出たのち上記検出ゾーン内に戻るまでの軌跡、つまりジェスチャにより描かれた図形の形状を表す情報を、上記一筆書き図形蓄積部２２に記憶された一筆書き図形モデルと照合することで、上記ジェスチャにより描かれた図形の種類を識別する。

表示画面処理ユニット５０は表示画面処理部５１を有する。表示画面処理部５１は、上記一筆書き図形の方向識別部３２２及び一筆書き図形識別部３２３によりそれぞれ識別されたジェスチャ図形の描画方向と図形の種類をもとに、操作内容データベース２３から対応する操作内容を表す情報を読出す。そして、この読み出された操作内容を表す情報をもとに、表示画像・映像蓄積部２４から対応する画像や映像の表示データを読出し、この表示データをもとにテレビジョン受信機２の表示画面を更新する。

なお、上記指の位置検出ユニット１０、一筆書きジェスチャ認識処理ユニット３０、リアルタイム処理発生ユニット４０及び表示画面処理ユニット５０の各処理機能は、図示しないプログラムメモリに格納されたアプリケーション・プログラムを中央処理ユニット（Central Processing Unit：ＣＰＵ）に実行させることにより実現される。

（動作）
次に、以上のように構成された情報処理装置３による、ジェスチャを用いた入力情報の認識動作を説明する。
図３は、その全体の処理手順と処理内容を示すフローチャートである。なお、ここではテレビジョン受信機２のディスプレイに電子番組案内（Electronic Program Guide：ＥＰＧ）情報を表示させ、このＥＰＧ情報に対しユーザ１がジェスチャにより番組の選択操作を行う場合を例にとって説明する。

（１）リアルタイムイベント発生処理
ジェスチャ入力モードが設定されると、ステップＳ１０によりリアルタイム処理発生ユニット４０が起動し、タイマの計時時間Ｔが予め設定された時間、例えば１６msecになるごとにステップＳ１１においてイベント信号が発生される。すなわち、ジェスチァ入力モードでは１６msec周期でイベント信号が発生される。なお、タイマの計時時間Ｔはイベント信号が発生されるごとにステップＳ１２でリセットされる。

（２）指位置の検出処理
上記リアルタイム処理発生ユニット４０からイベント信号が発生されると、先ずステップＳ２０において指の位置検出ユニット１０が起動し、そのカメラ画像取得部１１の制御の下で、カメラ４により撮像されたユーザ１の画像データが取り込まれてカメラ画像蓄積部２１に記憶される。

そして、上記カメラ画像蓄積部２１に新たな画像データが記憶されると、図４に示すステップＳ３１１において、上記画像データ中から発光マーカ５の輝点画像を検出する処理が行われる。そして、この検出された輝点画像の画像データ中の重心位置を示す座標が、ユーザ１の指の位置を表す描画点として指位置蓄積部２５に記憶される。以上の処理は上記１６msec周期で繰り返し行われ、この結果上記指位置蓄積部２５にはユーザ１の指の位置を表す描画点の位置座標の集合が、ユーザ１がジェスチャにより描いた図形を示すデータとして記憶される。なお、このときカメラ４の絞り値（Ｆ値）を大きく設定して受光光量を制限することで、発光マーカ５の光のみを検出しやすくするとよい。

（３）一筆書きジェスチャ認識機能のＯＮ／ＯＦＦ切替処理
上記指位置蓄積部２５に新たな指位置座標が記憶されるごとに、ステップＳ３０のステップＳ３１において一筆書きジェスチャ認識処理ユニット３０の一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ切替部３１０が起動され、この一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ切替部３１０の制御の下で以下のような処理が実行される。図４中のステップＳ３１２はその処理手順と処理内容を示すフローチャートである。

（３−１）一筆書きジェスチャ認識機能をＯＮする場合
先ずステップＳ３１２１により一筆書きジェスチャ認識処理部３２０の機能がＯＮであるか否かが判定される。そして、ここではまだＯＮになっていないのでステップＳ３１２５に移行し、カメラ４による撮像範囲、つまりジェスチャの認識領域内に、ジェスチャの始点判定領域（ジェスチャ開始領域）を設定する。

例えば図６（ａ）に示すように、ジェスチャの認識領域Ｃの中央にジェスチャ開始領域Ｅ１を設定する。そして、上記指位置検出処理（ステップＳ３１１）により検出された発光マーカ５の描画点の位置座標が上記ジェスチャ開始領域Ｅ１内に存在するか否かを判定する。この状態で、ユーザ１が指の位置を動かし、これにより図６（ａ）に示すように描画点の位置座標Ｐ０が上記ジェスチャ開始領域Ｅ１内に入ると、ステップＳ３１２６により上記一筆書きジェスチャ認識部３２０の機能をＯＮに設定する。またそれと共に、ステップＳ３１２７により図６（ｂ）に示すようにジェスチャの終点を検出するために検出ゾーン（Detection zone）Ｅ２を上記ジェスチャの認識領域Ｃ内に設定する。

このとき、検出ゾーンＥ２のサイズはジェスチャ開始領域Ｅ１より大きなサイズに設定される。このようにすると、ユーザ１によるユーザの指の位置が検出ゾーンＥ２内に戻った後に、震えなどにより当該検出ゾーンＥ２の境界付近で位置ずれを起こしたとしても、このときの指の位置座標、つまり終点の位置を、終点判定領域としての検出ゾーンＥ２内に安定的に留めることが可能となる。このため、検出ゾーンＥ２の境界上でいわゆるチャタリングのような現象が発生しても、これにより後述する描画の終了判定（入力判定）において誤認識が発生しないようにすることができる。

（３−２）一筆書きジェスチャ認識機能をＯＦＦする場合
上記一筆書きジェスチャ認識機能がＯＮとなった状態で、ユーザ１がジェスチャによるテレビジョン受信機２の操作を一旦中止するべく、指の位置を例えば図７（ａ）のＬ２に示すようにカメラ４の撮像範囲外、つまりジェスチャの認識領域Ｃの外へ移動させたとする。そうすると、一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ切替部３１０は、ステップＳ３１２１により一筆書きジェスチャ認識処理部３２０の機能がＯＮであるか否かを判定し、ここではＯＮになっているのでステップＳ３１２２に移行する。そして、指位置検出処理（ステップＳ３１１）により検出された発光マーカ５の描画点の位置座標が、上記ジェスチャの認識領域Ｃの外に出たか否かを判定する。

この判定の結果、図７（ａ）のＬ２に示すように、発光マーカ５の描画点の位置座標が上記ジェスチャの認識領域Ｃの外に出ると、ステップＳ３１２３により一筆書きジェスチャ認識処理部３２０の機能をＯＦＦに遷移させる。かくして、ユーザ１は指の位置をカメラ４の撮像範囲外へ移動させるだけで、一筆書きジェスチャ認識機能をＯＦＦに戻すことができる。

なお、一筆書きジェスチャ認識機能がＯＦＦに復帰すると、次の１６msec経過後のイベント信号発生時に、ステップＳ３１２５において図７（ｂ）に示すようにジェスチャの認識領域Ｃ内にジェスチャ開始領域Ｅ１が設定される。すなわち、一筆書きジェスチャ認識機能がＯＦＦになると、消去された検出ゾーンＥ２の代わりにそれよりも小さいジェスチャ開始領域Ｅ１が再設定される。

（４）一筆書きジェスチャ認識処理
上記一筆書きジェスチャ認識機能がＯＮとなった状態で、一筆書きジェスチャ認識処理部３２０は以下のようにジェスチャの認識処理を実行する。図５はその処理手順と処理内容を示すフローチャート、図８（ａ）〜（ｃ）はジェスチャによる描画点の移動軌跡を示す図である。

すなわち、先ずステップＳ３２１において一筆書きジェスチャ入力判断部３２１が起動し、この一筆書きジェスチャ入力判断部３２１の制御の下で、ユーザ１の指に装着された発光マーカ５による描画点が上記検出ゾーンＥ２内に入ったか否かをステップＳ３２１１により判定する。そして、図８（ｂ）に示すように描画点がまだ上記検出ゾーンＥ２内に入っていなければ、ステップＳ３２１４によりジェスチャ入力受付中か否かを示すジェスチャフラグ（Gesture Flag）を“TRUE”に設定し、引き続きイベントが発生するごとに描画点が検出ゾーンＥ２内に入るか否かを監視する処理を繰り返す。

（４−１）一筆書き図形の描画方向の識別
さて、この状態でユーザ１の指に装着された発光マーカ５による描画点が、例えば図８（ｃ）に示すように上記検出ゾーンＥ２内に入ったことが検出されたとする。そうすると、ステップＳ３２１２によりジェスチャフラグが“TRUE”になっていることを確認した後、先ずステップＳ３２２により一筆書き図形の方向識別処理を実行する。

この一筆書き図形の方向識別処理は以下のように行われる。図９（ａ）〜（ｃ）はこの図形の描画方向識別処理を説明するための図である。
すなわち、描画点が図９（ａ）のＰ３に示すように検出ゾーンＥ２内に入ったことが検出されると、先ず図９（ｂ）に示すように上記検出ゾーンＥ２内の中心点Ｐ１を通過する垂直判定軸Ｖをジェスチャ認識領域Ｃ内に設定する。そして、上記ジェスチャによる描画点がジェスチャ開始領域Ｅ１外に出たのち上記検出ゾーンＥ２内に戻るまでの軌跡Ｌを構成する複数の描画点ｒ１，ｒ２，…，ｒｎが、上記垂直判定軸Ｖにより左右に分割された各領域の何れに含まれるかをカウントする。そして、左領域に含まれる描画点の数と右領域に含まれる描画点の数とを比較し、描画点の数が多い方の領域を描画方向の判定候補として選択する。

次に、上記描画点の軌跡Ｌを構成する各描画点ｒ１，ｒ２，…，ｒｎの総数ｎに対する、上記選択された右又は左の領域に含まれる描画点の数の割合を計算する。そして、この計算された描画点の割合を予め設定したしきい値と比較し、しきい値以上か未満かを判定する。

上記比較の結果、割合がしきい値未満の場合には、図９（ｃ）に示すように上記検出ゾーンＥ２の中心点Ｐ１を通過する水平判定軸Ｈをジェスチャ認識領域Ｃ内に設定する。そして、上記軌跡Ｌを構成する各描画点ｒ１，ｒ２，…，ｒｎが、上記水平判定軸Ｈにより上下に分割された各領域の何れに含まれるかをカウントする。そして、上領域に含まれる描画点の数と下領域に含まれる描画点の数とを比較し、描画点の数が多い方の領域を描画方向の判定候補として選択する。

続いて、先に垂直判定軸Ｖを用いて判定候補として選択された左右いずれかの領域に含まれる描画点の数と、上記水平判定軸Ｈを用いて判定候補として選択された上下いずれかの領域に含まれる描画点の数とを比較し、描画点の数が多い領域を選択する。そして、上記検出ゾーンＥ２の中心点Ｐ１に対する、上記選択された領域の方向を上記ジェスチャによる図形の描画方向と判定する。例えば図９の例では、水平判定軸Ｈに対し上側の領域に含まれる描画点の数が最も多いので、上方向を上記ジェスチャによる図形の描画方向と判定する。

一方、上記割合がしきい値以上と判定されたとする。この場合には、上記水平判定軸Ｈを用いた判定候補の選択処理を行わずに、上記垂直判定軸Ｖを用いて判定候補として選択された左右いずれかの領域の方向を、上記ジェスチャによる図形の描画方向と判定する。このようにすると、常に垂直判定軸Ｖと水平判定軸Ｈの両方を用いて図形の描画方向と判定する場合に比べ、処理量を減らして描画方向の判定処理に要する時間を短縮することができる。

（４−２）一筆書き図形の形状の識別
次にステップＳ３２３により一筆書き図形識別処理を実行する。この一筆書き図形識別処理は、指位置蓄積部２５に記憶された指位置座標の集合を読み出し、この指位置座標の集合により表される指の軌跡、つまりジェスチャにより描かれた図形の形状を、一筆書き図形蓄積部２２に記憶された一筆書き図形モデルと照合することで識別する。
そして、上記ジェスチャにより描かれた図形の描画方向及び図形形状の識別処理が終了すると、ステップＳ３２１３によりジェスチャフラグ（Gesture Flag）を“False”にリセットする。

（５）表示画面の更新処理
上記一筆書きジェスチャによる図形の描画方向及び図形形状の認識処理が終了すると、ステップＳ４０において表示画像処理ユニット５０が起動され、この表示画像処理ユニット５０の制御の下で、表示画像の更新処理が以下のように行われる。
すなわち、上記一筆書き図形の方向識別部３２２及び一筆書き図形識別部３２３によりそれぞれ識別されたジェスチャ図形の描画方向及び図形形状の種類をもとに、操作内容データベース２３から対応する操作内容を表す情報が読出される。そして、この読み出された操作内容を表す情報をもとに、表示画像・映像蓄積部２４から対応する画像や映像の表示データが読出され、この表示データをもとにテレビジョン受信機２の表示画面が更新される。

（一実施形態の作用効果）
以上詳述したように本実施形態では、ジェスチャにより描かれた図形の描画方向を識別する際に、以下のような処理を行っている。すなわち、先ず検出ゾーンＥ２内の中心点を通過する垂直判定軸Ｖをジェスチャ認識領域Ｃ内に設定して、この垂直判定軸Ｖにより左右に分割される各領域のうち上記ジェスチャによる描画点の軌跡Ｌを構成する描画点ｒ１，ｒ２，…，ｒｎが多く含まれる領域を選択する。そして、上記描画点の軌跡Ｌを構成する描画点ｒ１，ｒ２，…，ｒｎの総数ｎに対する上記選択された領域に含まれる描画点の数の割合を算出してしきい値と比較し、上記割合がしきい値未満と判定された場合には、上記検出ゾーンＥ２の中心点を通過する水平判定軸Ｈを設定して、この水平判定軸Ｈにより上下に分割される各領域のうち上記軌跡Ｌを構成する描画点ｒ１，ｒ２，…，ｒｎが多く含まれる領域を選択する。そして、上記垂直判定軸Ｖを用いて選択した左右いずれかの領域に含まれる描画点の数と、上記水平判定軸Ｈを用いて選択した上下いずれかの領域に含まれる描画点の数とを比較し、描画点の数が多い領域を選択し、この選択された左、右、上又は下いずれかの領域の方向を上記ジェスチャによる描画方向と判定する。

したがって、検出ゾーンＥ２の中心点を通過する垂直判定軸Ｖ又は水平判定軸Ｈにより分割される領域ごとに、軌跡Ｌの描画点の数を計数してその計数値を比較するだけのきわめて簡単な処理により、ジェスチャにより描かれた図形の描画方向を判定することが可能となる。また、単純に分割領域ごとの描画点の数をもとに描画方向が判定されるので、ユーザが描く図形の大きさや形状、位置に個人差があっても、その影響を受けることなく描画方向の判定をより正確に行うことができる。

また本実施形態では、上記割合がしきい値以上と判定された場合に、水平判定軸Ｈを用いた判定候補の選択処理を行わずに、上記垂直判定軸Ｖを用いて判定候補として選択された左右いずれかの領域の方向を、上記ジェスチャによる図形の描画方向と判定するようにしている。このようにすると、描画方向が左右の何れの方向の場合には、水平判定軸Ｈを用いて図形の描画方向と判定する処理を省略することができ、これにより処理量を減らして描画方向の判定処理に要する時間を短縮することができる。

［他の実施形態］
なお、この発明は上記実施形態に限定されるものではない。例えば、前記一実施形態では先ず垂直判定軸Ｖを用いた描画方向の判定を行い、続いて水平判定軸Ｈを用いた描画方向の判定を行うようにしたが、反対に先ず水平判定軸Ｈを用いた描画方向の判定を行い、続いて垂直判定軸Ｖを用いた描画方向の判定を行うようにしてもよい。

また、前記一実施形態では垂直判定軸Ｖ及び水平判定軸Ｈを用いて描画方向が左右、上下の何れの方向であるかを判定するようにしたが、垂直判定軸Ｖ及び水平判定軸Ｈの代わりに水平及び垂直軸に対し斜め４５度の角度を持つ２つの軸を用いて判定したり、上記垂直判定軸Ｖ及び水平判定軸Ｈと斜め４５度の角度を持つ２つの軸からなる、互いに４５度の角度差を有する４つの軸を用いて描画方向を判定するようにしてもよい。このようにすると、ジェスチャによる描かれる図形の描画方向を４５度間隔でさらに細かく判定することが可能となる。

さらに、認識対象の図形としては、図１０（ａ）に示す上方向に描いた「円」以外に、図１０（ｂ）〜（ｈ）に示すように描画方向及び描画形状の異なる種々の図形を含めることができる。その他、描画方向を判定するために使用する軸の本数や角度、描画方向を判定するための処理手順及び処理内容等についても、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。

要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

１…ユーザ、２…テレビジョン受信機、３…情報処理装置、４…カメラ、５…発光マーカ、１０…指の位置検出ユニット、１１…カメラ画像取得部、２０…データベース、２１…カメラ画像蓄積部、２２…一筆書き図形蓄積部、２３…操作内容データベース、２４…表示画像・映像蓄積部、２５…指位置蓄積部、３０…一筆書きジェスチャ認識処理ユニット、３１０…一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ切替部、３１１…指位置検出部、３１２…一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ判断部、３１３…ジェスチャ機能強制終了部、３２０…一筆書きジェスチャ認識処理部、３２１…一筆書きジェスチャ入力判断部、３２２…一筆書き図形の方向識別部、３２３…一筆書き図形識別部、４０…リアルタイム処理発生ユニット、５０…表示画面処理ユニット、５１…表示画面処理部。

Claims (3)

1. ジェスチャにより空間に図形を描く動きを撮像してその画像データを出力する撮像装置と、前記撮像装置から出力された画像データをもとに前記ジェスチャにより描かれた図形を認識するジェスチャ認識装置とを具備するシステムで使用される前記ジェスチャ認識装置であって、
   前記撮像装置から出力された画像データを取り込む手段と、
   前記画像データが取り込まれるごとに当該画像データから前記ジェスチャによる描画点の位置情報を検出する手段と、
   前記検出された描画点の位置情報をもとに描画点の初期位置を検出し、この検出された描画点の初期位置を含む終始点入力検出領域を設定する手段と、
   前記検出された描画点の位置情報をもとに、描画点が前記終始点入力検出領域内から領域外に出たのち当該終始点入力検出領域内に戻るまでの描画点の軌跡を検出する手段と、
   前記終始点入力検出領域の中心を通過する方向判定軸を少なくとも一つ設定し、この方向判定軸により分割される複数の描画領域のうち前記検出された描画点の軌跡を構成する複数の描画点が最も多く含まれる描画領域を選択し、前記終始点入力検出領域の中心に対する前記選択された描画領域の方向を前記描画点の軌跡の描画方向と判定する描画方向判定手段と、
   前記検出された描画点の軌跡の形状と、前記判定された描画点の軌跡の描画方向とに基づいて、前記ジェスチャにより描かれた図形を認識する手段と
   を具備することを特徴とするジェスチャ認識装置。
2. 前記描画方向判定手段は、
   前記終始点入力検出領域の中心を通過する第１の方向判定軸を設定し、この第１の方向判定軸により分割される２つの描画領域のうち前記描画点の軌跡を構成する複数の描画点が多く含まれる描画領域を選択する第１の選択手段と、
   前記描画点の軌跡を構成する描画点の総数に対する前記選択された描画領域に含まれる描画点の数の割合が、予め設定したしきい値以上か未満かを判定する割合手段と、
   前記割合がしきい値未満と判定された場合には、前記終始点入力検出領域の中心位置で前記第１の方向判定軸と交叉する第２の方向判定軸を設定し、この第２の方向判定軸により分割される２つの描画領域のうち前記描画点の軌跡を構成する複数の描画点が多く含まれる描画領域を選択する第２の選択手段と、
   前記第１及び第２の選択手段により選択された描画領域の中から前記描画点の軌跡を構成する複数の描画点が多く含まれる描画領域を選択し、この選択された描画領域の方向を前記描画点の軌跡の描画方向と判定する第１の判定手段と、
   前記割合がしきい値以上と判定された場合には、前記第２の選択手段及び複合判定手段による処理を行わずに、前記第１の選択手段により選択された描画領域の方向を前記描画点の軌跡の描画方向と判定する第２の判定手段と
   を備えることを特徴とする請求項１記載のジェスチャ認識装置。
3. 請求項１又は請求項２に記載のジェスチャ認識装置が備える各手段の処理をコンピュータに実行させるプログラム。

Images