JP5668005B2 - ジェスチャ認識装置及びそのプログラム - Google Patents
ジェスチャ認識装置及びそのプログラム Download PDFInfo
- Publication number
- JP5668005B2 JP5668005B2 JP2012062398A JP2012062398A JP5668005B2 JP 5668005 B2 JP5668005 B2 JP 5668005B2 JP 2012062398 A JP2012062398 A JP 2012062398A JP 2012062398 A JP2012062398 A JP 2012062398A JP 5668005 B2 JP5668005 B2 JP 5668005B2
- Authority
- JP
- Japan
- Prior art keywords
- gesture
- point
- area
- locus
- gesture recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Description
[一実施形態]
(構成)
図1は、この発明の一実施形態に係わるジェスチャ認識装置を用いた情報入力システムの概略構成図である。このシステムは、テレビジョン受信機2にカメラ4を装着すると共に、テレビジョン受信機2に情報処理装置3を接続したものとなっている。カメラ4は、ユーザ1の指の動きを用いたジェスチャを撮像し、その撮像画像データをUSBケーブルを介してテレビジョン受信機2へ出力する。なお、ユーザ1の指先には、指先の動きをより認識し易くするために例えばLED(Light Emitting Diode)を用いた発光マーカ6が装着される。
指の位置検出ユニット10はカメラ画像取得部11を備え、上記リアルタイム発生ユニット40によりイベント信号が発行されるごとに、カメラ4から画像データを取得して、この画像データを上記カメラ画像蓄積部21に記憶させる機能を有する。
このうち、先ず一筆書きジェスチャ認識機能ON/OFF切替部310は、指位置検出部311と、一筆書きジェスチャ認識機能ON/OFF判断部312を有する。指位置検出部311は、上記カメラ画像蓄積部21に格納された画像データからマーカ5の描画点の位置座標、つまりユーザの指の指示位置を検出し、この検出された描画点の位置座標を上記指位置蓄積部25に格納する。
(1) 一筆書きジェスチャ認識処理部320の機能がOFFに設定されている状態で、カメラ4による撮像範囲、つまりジェスチャの認識領域内に、ジェスチャの始点判定領域(ジェスチャ開始領域)を設定する。そして、上記指位置検出部311により検出された発光マーカ5の描画点が上記ジェスチャ開始領域内に存在するか否かを判定し、存在すると判定された場合に上記一筆書きジェスチャ認識処理部320の機能をONに設定すると共に、ジェスチャの終点を検出するための検出ゾーン(Detection zone)を上記ジェスチャの認識領域内に設定する機能。
一筆書きジェスチャ入力判断部321は、一筆書きジェスチャ認識処理部320の機能がONの状態で、上記画像データから検出される描画点が上記ジェスチャ開始領域内に入ったことが検出されたときの位置座標をジェスチャの開始点として検出する。また、上記描画点がジェスチャ開始領域外に出たのち上記検出ゾーン内に戻ったとき、このときの描画点の位置座標をジェスチャの終了点として検出する。
(1) 上記ジェスチャの終了点が検出された場合に、上記検出ゾーン内の中心点を通過する垂直判定軸をジェスチャ認識領域内に設定する。そして、この垂直判定軸により左右に分割される各領域のうち、上記ジェスチャによる描画点がジェスチャ開始領域外に出たのち上記検出ゾーン内に戻るまでの軌跡を構成する描画点が多く含まれる領域を選択する処理。
(2) 上記描画点の軌跡を構成する描画点の総数に対する、上記選択された側の領域に含まれる描画点の数の割合が、予め設定したしきい値以上か未満かを判定する処理。
(3) 上記割合がしきい値未満と判定された場合に、上記検出ゾーンの中心点を通過する水平判定軸を設定する。そして、この水平判定軸により上下に分割される各領域のうち、上記軌跡を構成する描画点が多く含まれる領域を選択する処理。
(4) 上記(1) の処理により選択された左右いずれかの領域に含まれる描画点の数と、上記(3) の処理により選択された上下いずれかの領域に含まれる描画点の数とを比較し、描画点の数が多い領域を選択する。そして、この選択された左、右、上又は下いずれかの領域の方向を上記ジェスチャによる描画方向と判定する処理。
(5) 一方、上記割合がしきい値以上と判定された場合に、上記(3) 及び(4) による水平軸を用いた処理を行わずに、上記(1) により選択された左領域又は右領域の方向を上記ジェスチャによる描画方向と判定する処理。
次に、以上のように構成された情報処理装置3による、ジェスチャを用いた入力情報の認識動作を説明する。
図3は、その全体の処理手順と処理内容を示すフローチャートである。なお、ここではテレビジョン受信機2のディスプレイに電子番組案内(Electronic Program Guide:EPG)情報を表示させ、このEPG情報に対しユーザ1がジェスチャにより番組の選択操作を行う場合を例にとって説明する。
ジェスチャ入力モードが設定されると、ステップS10によりリアルタイム処理発生ユニット40が起動し、タイマの計時時間Tが予め設定された時間、例えば16msecになるごとにステップS11においてイベント信号が発生される。すなわち、ジェスチァ入力モードでは16msec周期でイベント信号が発生される。なお、タイマの計時時間Tはイベント信号が発生されるごとにステップS12でリセットされる。
上記リアルタイム処理発生ユニット40からイベント信号が発生されると、先ずステップS20において指の位置検出ユニット10が起動し、そのカメラ画像取得部11の制御の下で、カメラ4により撮像されたユーザ1の画像データが取り込まれてカメラ画像蓄積部21に記憶される。
上記指位置蓄積部25に新たな指位置座標が記憶されるごとに、ステップS30のステップS31において一筆書きジェスチャ認識処理ユニット30の一筆書きジェスチャ認識機能ON/OFF切替部310が起動され、この一筆書きジェスチャ認識機能ON/OFF切替部310の制御の下で以下のような処理が実行される。図4中のステップS312はその処理手順と処理内容を示すフローチャートである。
先ずステップS3121により一筆書きジェスチャ認識処理部320の機能がONであるか否かが判定される。そして、ここではまだONになっていないのでステップS3125に移行し、カメラ4による撮像範囲、つまりジェスチャの認識領域内に、ジェスチャの始点判定領域(ジェスチャ開始領域)を設定する。
上記一筆書きジェスチャ認識機能がONとなった状態で、ユーザ1がジェスチャによるテレビジョン受信機2の操作を一旦中止するべく、指の位置を例えば図7(a)のL2に示すようにカメラ4の撮像範囲外、つまりジェスチャの認識領域Cの外へ移動させたとする。そうすると、一筆書きジェスチャ認識機能ON/OFF切替部310は、ステップS3121により一筆書きジェスチャ認識処理部320の機能がONであるか否かを判定し、ここではONになっているのでステップS3122に移行する。そして、指位置検出処理(ステップS311)により検出された発光マーカ5の描画点の位置座標が、上記ジェスチャの認識領域Cの外に出たか否かを判定する。
上記一筆書きジェスチャ認識機能がONとなった状態で、一筆書きジェスチャ認識処理部320は以下のようにジェスチャの認識処理を実行する。図5はその処理手順と処理内容を示すフローチャート、図8(a)〜(c)はジェスチャによる描画点の移動軌跡を示す図である。
さて、この状態でユーザ1の指に装着された発光マーカ5による描画点が、例えば図8(c)に示すように上記検出ゾーンE2内に入ったことが検出されたとする。そうすると、ステップS3212によりジェスチャフラグが“TRUE”になっていることを確認した後、先ずステップS322により一筆書き図形の方向識別処理を実行する。
すなわち、描画点が図9(a)のP3に示すように検出ゾーンE2内に入ったことが検出されると、先ず図9(b)に示すように上記検出ゾーンE2内の中心点P1を通過する垂直判定軸Vをジェスチャ認識領域C内に設定する。そして、上記ジェスチャによる描画点がジェスチャ開始領域E1外に出たのち上記検出ゾーンE2内に戻るまでの軌跡Lを構成する複数の描画点r1,r2,…,rnが、上記垂直判定軸Vにより左右に分割された各領域の何れに含まれるかをカウントする。そして、左領域に含まれる描画点の数と右領域に含まれる描画点の数とを比較し、描画点の数が多い方の領域を描画方向の判定候補として選択する。
次にステップS323により一筆書き図形識別処理を実行する。この一筆書き図形識別処理は、指位置蓄積部25に記憶された指位置座標の集合を読み出し、この指位置座標の集合により表される指の軌跡、つまりジェスチャにより描かれた図形の形状を、一筆書き図形蓄積部22に記憶された一筆書き図形モデルと照合することで識別する。
そして、上記ジェスチャにより描かれた図形の描画方向及び図形形状の識別処理が終了すると、ステップS3213によりジェスチャフラグ(Gesture Flag)を“False”にリセットする。
上記一筆書きジェスチャによる図形の描画方向及び図形形状の認識処理が終了すると、ステップS40において表示画像処理ユニット50が起動され、この表示画像処理ユニット50の制御の下で、表示画像の更新処理が以下のように行われる。
すなわち、上記一筆書き図形の方向識別部322及び一筆書き図形識別部323によりそれぞれ識別されたジェスチャ図形の描画方向及び図形形状の種類をもとに、操作内容データベース23から対応する操作内容を表す情報が読出される。そして、この読み出された操作内容を表す情報をもとに、表示画像・映像蓄積部24から対応する画像や映像の表示データが読出され、この表示データをもとにテレビジョン受信機2の表示画面が更新される。
以上詳述したように本実施形態では、ジェスチャにより描かれた図形の描画方向を識別する際に、以下のような処理を行っている。すなわち、先ず検出ゾーンE2内の中心点を通過する垂直判定軸Vをジェスチャ認識領域C内に設定して、この垂直判定軸Vにより左右に分割される各領域のうち上記ジェスチャによる描画点の軌跡Lを構成する描画点r1,r2,…,rnが多く含まれる領域を選択する。そして、上記描画点の軌跡Lを構成する描画点r1,r2,…,rnの総数nに対する上記選択された領域に含まれる描画点の数の割合を算出してしきい値と比較し、上記割合がしきい値未満と判定された場合には、上記検出ゾーンE2の中心点を通過する水平判定軸Hを設定して、この水平判定軸Hにより上下に分割される各領域のうち上記軌跡Lを構成する描画点r1,r2,…,rnが多く含まれる領域を選択する。そして、上記垂直判定軸Vを用いて選択した左右いずれかの領域に含まれる描画点の数と、上記水平判定軸Hを用いて選択した上下いずれかの領域に含まれる描画点の数とを比較し、描画点の数が多い領域を選択し、この選択された左、右、上又は下いずれかの領域の方向を上記ジェスチャによる描画方向と判定する。
なお、この発明は上記実施形態に限定されるものではない。例えば、前記一実施形態では先ず垂直判定軸Vを用いた描画方向の判定を行い、続いて水平判定軸Hを用いた描画方向の判定を行うようにしたが、反対に先ず水平判定軸Hを用いた描画方向の判定を行い、続いて垂直判定軸Vを用いた描画方向の判定を行うようにしてもよい。
Claims (3)
- ジェスチャにより空間に図形を描く動きを撮像してその画像データを出力する撮像装置と、前記撮像装置から出力された画像データをもとに前記ジェスチャにより描かれた図形を認識するジェスチャ認識装置とを具備するシステムで使用される前記ジェスチャ認識装置であって、
前記撮像装置から出力された画像データを取り込む手段と、
前記画像データが取り込まれるごとに当該画像データから前記ジェスチャによる描画点の位置情報を検出する手段と、
前記検出された描画点の位置情報をもとに描画点の初期位置を検出し、この検出された描画点の初期位置を含む終始点入力検出領域を設定する手段と、
前記検出された描画点の位置情報をもとに、描画点が前記終始点入力検出領域内から領域外に出たのち当該終始点入力検出領域内に戻るまでの描画点の軌跡を検出する手段と、
前記終始点入力検出領域の中心を通過する方向判定軸を少なくとも一つ設定し、この方向判定軸により分割される複数の描画領域のうち前記検出された描画点の軌跡を構成する複数の描画点が最も多く含まれる描画領域を選択し、前記終始点入力検出領域の中心に対する前記選択された描画領域の方向を前記描画点の軌跡の描画方向と判定する描画方向判定手段と、
前記検出された描画点の軌跡の形状と、前記判定された描画点の軌跡の描画方向とに基づいて、前記ジェスチャにより描かれた図形を認識する手段と
を具備することを特徴とするジェスチャ認識装置。 - 前記描画方向判定手段は、
前記終始点入力検出領域の中心を通過する第1の方向判定軸を設定し、この第1の方向判定軸により分割される2つの描画領域のうち前記描画点の軌跡を構成する複数の描画点が多く含まれる描画領域を選択する第1の選択手段と、
前記描画点の軌跡を構成する描画点の総数に対する前記選択された描画領域に含まれる描画点の数の割合が、予め設定したしきい値以上か未満かを判定する割合手段と、
前記割合がしきい値未満と判定された場合には、前記終始点入力検出領域の中心位置で前記第1の方向判定軸と交叉する第2の方向判定軸を設定し、この第2の方向判定軸により分割される2つの描画領域のうち前記描画点の軌跡を構成する複数の描画点が多く含まれる描画領域を選択する第2の選択手段と、
前記第1及び第2の選択手段により選択された描画領域の中から前記描画点の軌跡を構成する複数の描画点が多く含まれる描画領域を選択し、この選択された描画領域の方向を前記描画点の軌跡の描画方向と判定する第1の判定手段と、
前記割合がしきい値以上と判定された場合には、前記第2の選択手段及び複合判定手段による処理を行わずに、前記第1の選択手段により選択された描画領域の方向を前記描画点の軌跡の描画方向と判定する第2の判定手段と
を備えることを特徴とする請求項1記載のジェスチャ認識装置。 - 請求項1又は請求項2に記載のジェスチャ認識装置が備える各手段の処理をコンピュータに実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012062398A JP5668005B2 (ja) | 2012-03-19 | 2012-03-19 | ジェスチャ認識装置及びそのプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012062398A JP5668005B2 (ja) | 2012-03-19 | 2012-03-19 | ジェスチャ認識装置及びそのプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013196339A JP2013196339A (ja) | 2013-09-30 |
JP5668005B2 true JP5668005B2 (ja) | 2015-02-12 |
Family
ID=49395211
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012062398A Active JP5668005B2 (ja) | 2012-03-19 | 2012-03-19 | ジェスチャ認識装置及びそのプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5668005B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5873766B2 (ja) * | 2012-06-19 | 2016-03-01 | 日本電信電話株式会社 | 情報入力装置 |
WO2015072150A1 (ja) * | 2013-11-15 | 2015-05-21 | パナソニックIpマネジメント株式会社 | 情報表示装置及び情報表示方法 |
JP7471999B2 (ja) | 2020-11-09 | 2024-04-22 | 株式会社Nttドコモ | 情報処理装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005174356A (ja) * | 2000-02-01 | 2005-06-30 | Toshiba Corp | 方向検出方法 |
US8146020B2 (en) * | 2008-07-24 | 2012-03-27 | Qualcomm Incorporated | Enhanced detection of circular engagement gesture |
JP5449074B2 (ja) * | 2010-07-27 | 2014-03-19 | 日本電信電話株式会社 | 情報入力装置 |
-
2012
- 2012-03-19 JP JP2012062398A patent/JP5668005B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013196339A (ja) | 2013-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5264844B2 (ja) | ジェスチャ認識装置及び方法 | |
CN108845668B (zh) | 人机交互系统和方法 | |
KR101757080B1 (ko) | 손위의 단일한 관심 포인트를 이용한 인간-컴퓨터 제스처 기반 동시 상호작용을 위한 방법 및 시스템 | |
EP2891950B1 (en) | Human-to-computer natural three-dimensional hand gesture based navigation method | |
US9030498B2 (en) | Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface | |
US8166421B2 (en) | Three-dimensional user interface | |
CN104117201B (zh) | 投影式台球系统手势/球杆控制系统及其实现方法 | |
US20140071042A1 (en) | Computer vision based control of a device using machine learning | |
JP5740822B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
KR20130105725A (ko) | 콘텐츠의 양 손 제어에 기반한 컴퓨터 비전 | |
US20140118244A1 (en) | Control of a device by movement path of a hand | |
TWI431538B (zh) | 基於影像之動作手勢辨識方法及系統 | |
US9525906B2 (en) | Display device and method of controlling the display device | |
JP5668005B2 (ja) | ジェスチャ認識装置及びそのプログラム | |
JP5756762B2 (ja) | ジェスチャ認識装置及びそのプログラム | |
CN105468189A (zh) | 识别多点触摸操作的信息处理装置及其控制方法 | |
US20130229348A1 (en) | Driving method of virtual mouse | |
JP2013080433A (ja) | ジェスチャ認識装置及びそのプログラム | |
JP5756729B2 (ja) | ジェスチャ認識装置及びそのプログラム | |
CN110007748B (zh) | 终端的控制方法、处理装置、存储介质及终端 | |
JP5546029B2 (ja) | ジェスチャ認識装置及びそのプログラム | |
US20090110237A1 (en) | Method for positioning a non-structural object in a series of continuing images | |
JP5396332B2 (ja) | ジェスチャを用いた情報入力装置、方法及びプログラム | |
US20130187893A1 (en) | Entering a command | |
JP5756730B2 (ja) | 情報入力装置及びそのプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140305 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141126 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141209 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141215 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5668005 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |