JP5756762B2 - ジェスチャ認識装置及びそのプログラム - Google Patents
ジェスチャ認識装置及びそのプログラム Download PDFInfo
- Publication number
- JP5756762B2 JP5756762B2 JP2012002418A JP2012002418A JP5756762B2 JP 5756762 B2 JP5756762 B2 JP 5756762B2 JP 2012002418 A JP2012002418 A JP 2012002418A JP 2012002418 A JP2012002418 A JP 2012002418A JP 5756762 B2 JP5756762 B2 JP 5756762B2
- Authority
- JP
- Japan
- Prior art keywords
- gesture
- stroke
- point
- locus
- trajectory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Description
上記撮像装置から出力された画像データを所定の周期で取り込む手段と、上記画像データが取り込まれるごとに当該画像データから上記ジェスチャによる描画点の位置情報を検出し、この検出された描画点の位置情報を記憶手段に格納する手段と、上記記憶手段に格納された描画点の位置情報の集合をもとに上記ジェスチャによる描画軌跡を表す情報を作成する手段と、図形認識手段とを具備する。そして、この図形認識手段により、上記作成された描画軌跡を表す情報をもとに、当該描画軌跡の中心点又は重心点を求めると共に、この求められた中心点又は重心点から上記描画軌跡までの距離を所定の角度間隔で求め、この求められた距離の集合をもとに上記描画軌跡の形状を識別して、この識別された描画軌跡の形状をもとに上記描画軌跡により表される図形を認識する処理を行うようにし、さらにその際に、上記求められた中心点又は重心点を中心に描画軌跡方向に対し複数の角度範囲を設定し、この設定された複数の角度範囲の各々について、上記中心点又は重心点から上記描画軌跡までの距離を所定の角度間隔で求めて、この求められた距離の集合をもとに上記描画軌跡の部分形状を識別し、この識別された描画軌跡の部分形状をもとに上記描画軌跡により表される図形を推測する処理を、上記描画軌跡により表される図形が認識されるまで、上記複数の角度範囲を順に選択して繰り返し実行するようにしたものである。
[構成]
図1は、この発明の一実施形態に係わるジェスチャ認識装置を用いた操作情報入力システムの概略構成図である。このシステムは、テレビジョン受信機2にカメラ4を装着すると共に、テレビジョン受信機2に情報処理装置3を接続したものとなっている。カメラ4は、ユーザ1の指の動きを用いたジェスチャを撮像し、その撮像画像データをUSBケーブルを介してテレビジョン受信機2へ出力する。なお、ユーザ1の指先には、指先の動きをより認識し易くするために例えばLED(Light Emitting Diode)を用いた発光マーカ6が装着される。
撮像画像取得ユニット10はカメラ画像取得部11を備え、上記リアルタイム発生ユニットによりイベント信号が発行されるごとに、カメラ4から画像データを取得して、この画像データを上記カメラ画像蓄積部21に記憶させる機能を有する。
このうち、先ず一筆書きジェスチャ認識機能ON/OFF切替部310は、指位置検出部311と、一筆書きジェスチャ認識機能ON/OFF判断・切替部312を有する。指位置検出部311は、上記カメラ画像蓄積部21に格納された画像データからマーカ5の描画点の位置座標、つまりユーザの指の指示位置を検出し、この検出された描画点の位置座標を上記指位置蓄積部25に格納する。
(1) 一筆書きジェスチャ認識処理部320の機能がOFFに設定されている状態で、カメラ4による撮像範囲、つまりジェスチャの認識領域内に、ジェスチャの始点判定領域(ジェスチャ開始領域)を設定する。そして、上記指位置検出部311により検出された発光マーカ5の描画点が上記ジェスチャ開始領域内に存在するか否かを判定し、存在すると判定された場合に上記一筆書きジェスチャ認識処理部320の機能をONに設定すると共に、ジェスチャの終点を検出するための検出ゾーン(Detection zone)を上記ジェスチャの認識領域内に設定する機能。
一筆書きジェスチャ入力判断部321は、一筆書きジェスチャ認識処理部320の機能がONの状態で、上記画像データから検出される描画点が上記ジェスチャ開始領域内に入ったことが検出されたときの位置座標をジェスチャの開始点として検出する。また、上記描画点がジェスチャ開始領域外に出たのち上記検出ゾーン内に戻ったとき、このときの描画点の位置座標をジェスチャの終了点として検出する。
Lafuente-Arroyo, S.; Gil-Jimenez, P.; Maldonado-Bascon, R.; Lopez-Ferreras, F.; Maldonado-Bascon, S.; “traffic sign shape classification evaluation I: SVM using distance to borders”
(1) 描画軌跡の中心点から上辺、下辺、左辺及び右辺の各方向(それぞれ90度の角度範囲)を順に選択し、この選択された方向ごとに、上記中心点DtB情報抽出機能3234により抽出された、描画軌跡の中心点から描画軌跡までの距離情報(中心点DtB 情報)を、上記SVM学習データ蓄積部26に格納された該当する方向のSVMモデルに入力し、これにより上記描画軌跡の上記選択された方向に含まれる部位の形状を識別する処理。
次に、以上のように構成された情報処理装置3による、ジェスチャを用いた入力情報の認識動作を説明する。
図3は、その全体の処理手順と処理内容を示すフローチャートである。なお、ここではテレビジョン受信機2のディスプレイに電子番組案内(Electronic Program Guide:EPG)情報を表示させ、このEPG情報に対しユーザ1がジェスチャにより番組の選択操作を行う場合を例にとって説明する。
ジェスチャ入力モードが設定されると、ステップS10によりリアルタイム処理発生ユニット40が起動し、タイマの計時時間Tが予め設定された時間、例えば33msecになるごとにステップS11においてイベント信号が発生される。すなわち、ジェスチァ入力モードでは33msec周期でイベント信号が発生される。なお、タイマの計時時間Tはイベント信号が発生されるごとにステップS12でリセットされる。
上記リアルタイム処理発生ユニット40からイベント信号が発生されると、先ずステップS20において撮像画像取得ユニット10が起動し、そのカメラ画像取得部11の制御の下で、カメラ4により撮像されたユーザ1の画像データが取り込まれてカメラ画像蓄積部21に記憶される。
上記指位置蓄積部25に新たな指位置座標が記憶されるごとに、ステップS30のステップS31において一筆書きジェスチャ認識処理ユニット30の一筆書きジェスチャ認識機能ON/OFF切替部310が起動され、この一筆書きジェスチャ認識機能ON/OFF切替部310の制御の下で以下のような処理が実行される。図4中のステップS312はその処理手順と処理内容を示すフローチャートである。
先ずステップS3121により一筆書きジェスチャ認識処理部320の機能がONであるか否かが判定される。そして、ここではまだONになっていないのでステップS3125に移行し、カメラ4による撮像範囲、つまりジェスチャの認識領域内に、ジェスチャの始点判定領域(ジェスチャ開始領域)を設定する。例えば図5(a)に示すように、ジェスチャの認識領域Cの中央にジェスチャ開始領域E1を設定する。そして、上記指位置検出処理(ステップS311)により検出された発光マーカ5の描画点の位置座標が上記ジェスチャ開始領域E1内に存在するか否かを判定する。
上記一筆書きジェスチャ認識機能がONとなった状態で、ユーザ1がジェスチャによるテレビジョン受信機2の操作を一旦中止するべく、指の位置を例えば図6(a)のL2に示すようにカメラ4の撮像範囲外、つまりジェスチャの認識領域Cの外へ移動させたとする。そうすると、一筆書きジェスチャ認識機能ON/OFF切替部310は、ステップS3121により一筆書きジェスチャ認識処理部320の機能がONであるか否かを判定し、ここではONになっているのでステップS3122に移行する。そして、指位置検出処理(ステップS311)により検出された発光マーカ5の描画点の位置座標が、上記ジェスチャの認識領域Cの外に出たか否かを判定する。
上記一筆書きジェスチャ認識機能がONとなった状態で、一筆書きジェスチャ認識処理部320は以下のようにジェスチャの認識処理を実行する。図7はその全体の処理手順と処理内容を示すフローチャートである。
さて、この状態でユーザ1の指に装着された発光マーカ5による描画点が上記検出ゾーンE2内に入ったことが検出されたとする。そうすると、ステップS3212によりジェスチャフラグが“TRUE”になっていることを確認した後、先ずステップS322により一筆書き図形の方向識別処理を実行する。
次にステップS323により一筆書き図形識別処理を以下のように実行する。図8はその処理手順と処理内容を示すフローチャートである。
すなわち、先ずステップS3231により、指位置蓄積部25に格納されているジェスチャの開始から終了までの間の描画点の位置座標の集合を読出し、この読み出された描画点の位置座標の集合をもとに描画軌跡を表す画像を、つまり指に装着された発光マーカ5によって描かれた図形を表す画像を作成する。
上記一筆書きジェスチャの認識処理が終了すると、ステップS40において表示画像処理ユニット50が起動され、この表示画像処理ユニット50の制御の下で、表示画像の更新処理が以下のように行われる。
ここでは、描画軌跡の中心位置から上辺、下辺、右辺及び左辺の各方向の角度範囲のうち、先ず上辺(Top border)方向の角度範囲を選択して描画図形の識別処理を行い、この上辺方向の角度範囲による図形識別が不可能な場合に、次に下辺(Bottom border)方向の角度範囲を選択して描画図形の識別処理を行う場合を例にとって説明する。
先ず12に示すように、上辺、下辺、右辺及び左辺の各方向の角度範囲のうち上辺方向の角度範囲を選択し、この上辺方向の角度範囲において描画軌跡の中心点から当該描画軌跡までの距離情報(中心点DtB 情報)を算出して、対応する上辺方向の角度範囲におけるSVMモデルに入力する。このとき、上辺方向の角度範囲におけるSVMモデルとして図13に示すような複数の上辺図形モデルが設定されているとすれば、これらの上辺図形モデルのうち“heart”と形状が一致する。したがって、上記一筆書き描画図形は“heart”であると認識する。
先ず14に示すように、上辺、下辺、右辺及び左辺の各方向の角度範囲のうち上辺方向の角度範囲を選択し、この上辺方向の角度範囲において描画軌跡の中心点から当該描画軌跡までの距離情報(中心点DtB 情報)を算出して、対応する上辺方向の角度範囲におけるSVMモデルに入力する。このとき、上辺方向の角度範囲におけるSVMモデルとして、図15に示したような複数の上辺図形モデルが設定されているものとすると、これらの上辺図形モデルの中には上記描画図形の上辺形状と一致するものは存在しない。
Claims (2)
- ジェスチャにより空間に図形を描く動きを撮像してその画像データを出力する撮像装置と、前記撮像装置から出力された画像データをもとに前記ジェスチャにより描かれた図形を認識する機能を有するジェスチャ認識装置とを具備するシステムで使用される前記ジェスチャ認識装置であって、
前記撮像装置から出力された画像データを所定の周期で取り込む手段と、
前記画像データが取り込まれるごとに当該画像データから前記ジェスチャによる描画点の位置情報を検出し、この検出された描画点の位置情報を記憶手段に格納する手段と、
前記記憶手段に格納された描画点の位置情報の集合をもとに前記ジェスチャによる描画軌跡を表す情報を作成する手段と、
前記作成された描画軌跡を表す情報をもとに、当該描画軌跡の中心点又は重心点を求めると共に、この求められた中心点又は重心点から前記描画軌跡までの距離を所定の角度間隔で求め、この求められた距離の集合をもとに前記描画軌跡の形状を識別して、この識別された描画軌跡の形状をもとに前記描画軌跡により表される図形を認識する処理を行う図形認識手段と
を具備し、
前記図形認識手段は、
前記求められた中心点又は重心点を中心に描画軌跡方向に対し複数の角度範囲を設定する手段と、
前記設定された複数の角度範囲の各々について、前記中心点又は重心点から前記描画軌跡までの距離を所定の角度間隔で求めて、この求められた距離の集合をもとに前記描画軌跡の部分形状を識別し、この識別された描画軌跡の部分形状をもとに前記描画軌跡により表される図形を推測する処理を、前記描画軌跡により表される図形が認識されるまで、前記複数の角度範囲を順に選択して繰り返し実行する手段と
を備えることを特徴とするジェスチャ認識装置。 - 請求項1に記載のジェスチャ認識装置が備える各手段の処理を、当該ジェスチャ認識装置のコンピュータに実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012002418A JP5756762B2 (ja) | 2012-01-10 | 2012-01-10 | ジェスチャ認識装置及びそのプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012002418A JP5756762B2 (ja) | 2012-01-10 | 2012-01-10 | ジェスチャ認識装置及びそのプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013142980A JP2013142980A (ja) | 2013-07-22 |
JP5756762B2 true JP5756762B2 (ja) | 2015-07-29 |
Family
ID=49039522
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012002418A Active JP5756762B2 (ja) | 2012-01-10 | 2012-01-10 | ジェスチャ認識装置及びそのプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5756762B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5873766B2 (ja) * | 2012-06-19 | 2016-03-01 | 日本電信電話株式会社 | 情報入力装置 |
US10713304B2 (en) | 2016-01-26 | 2020-07-14 | International Business Machines Corporation | Entity arrangement by shape input |
CN105956525A (zh) * | 2016-04-22 | 2016-09-21 | 中国人民解放军总装备部军械技术研究所 | 一种用于增强现实辅助维修的静态手势识别方法及系统 |
CN115210721A (zh) * | 2020-03-03 | 2022-10-18 | 赫尔实验室有限公司 | 在处理点云数据的神经网络系统中证明或识别反例的方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05135175A (ja) * | 1991-03-14 | 1993-06-01 | Fujitsu Ltd | 特徴抽出装置 |
JP4017828B2 (ja) * | 2001-02-14 | 2007-12-05 | 富士フイルム株式会社 | デジタルカメラ |
JP2007172577A (ja) * | 2005-11-25 | 2007-07-05 | Victor Co Of Japan Ltd | 操作情報入力装置 |
JP5569062B2 (ja) * | 2010-03-15 | 2014-08-13 | オムロン株式会社 | ジェスチャ認識装置、ジェスチャ認識装置の制御方法、および、制御プログラム |
-
2012
- 2012-01-10 JP JP2012002418A patent/JP5756762B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013142980A (ja) | 2013-07-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20140071042A1 (en) | Computer vision based control of a device using machine learning | |
CN108845668B (zh) | 人机交互系统和方法 | |
KR101514169B1 (ko) | 정보 처리 장치, 정보 처리 방법 및 기록 매체 | |
US9268412B2 (en) | Input apparatus having an input recognition unit and input recognition method by using the same | |
JP5709227B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
US8938124B2 (en) | Computer vision based tracking of a hand | |
US9557821B2 (en) | Gesture recognition apparatus and control method of gesture recognition apparatus | |
JP2016520946A (ja) | 人間対コンピュータの自然な3次元ハンドジェスチャベースのナビゲーション方法 | |
US9965041B2 (en) | Input device, apparatus, input method, and recording medium | |
KR20130105725A (ko) | 콘텐츠의 양 손 제어에 기반한 컴퓨터 비전 | |
JP2012058854A (ja) | ジェスチャ認識装置及び方法 | |
TWI431538B (zh) | 基於影像之動作手勢辨識方法及系統 | |
JP5756762B2 (ja) | ジェスチャ認識装置及びそのプログラム | |
KR101749070B1 (ko) | 사용자 인터페이스 평가 장치 및 그 평가 방법 | |
CN105468189A (zh) | 识别多点触摸操作的信息处理装置及其控制方法 | |
JP2013080433A (ja) | ジェスチャ認識装置及びそのプログラム | |
JP5668005B2 (ja) | ジェスチャ認識装置及びそのプログラム | |
JP5756729B2 (ja) | ジェスチャ認識装置及びそのプログラム | |
US20150117712A1 (en) | Computer vision based control of a device using machine learning | |
TWI595429B (zh) | 輸入指令 | |
JP5546029B2 (ja) | ジェスチャ認識装置及びそのプログラム | |
JP5756730B2 (ja) | 情報入力装置及びそのプログラム | |
JP5798083B2 (ja) | 一筆書き図形方向検出装置 | |
EP2919096B1 (en) | Gesture recognition apparatus and control method of gesture recognition apparatus | |
JP5873766B2 (ja) | 情報入力装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20130515 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140305 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141128 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141216 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150205 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150526 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150601 |
|
R150 | Certificate of patent (=grant) or registration of utility model |
Ref document number: 5756762 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |