JP5264844B2 - Gesture recognition apparatus and method - Google Patents
Gesture recognition apparatus and method Download PDFInfo
- Publication number
- JP5264844B2 JP5264844B2 JP2010199306A JP2010199306A JP5264844B2 JP 5264844 B2 JP5264844 B2 JP 5264844B2 JP 2010199306 A JP2010199306 A JP 2010199306A JP 2010199306 A JP2010199306 A JP 2010199306A JP 5264844 B2 JP5264844 B2 JP 5264844B2
- Authority
- JP
- Japan
- Prior art keywords
- gesture
- area
- recognition
- detected
- recognition mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
Description
この発明は、例えばテレビジョン受信機や録画再生装置において、離れた場所からチャネル情報や制御情報等を入力するために用いる、指又は腕の動きによるジェスチャを認識するジェスチャ認識装置に関する。 The present invention relates to a gesture recognition device for recognizing a gesture caused by movement of a finger or an arm, which is used for inputting channel information, control information, and the like from a remote place, for example, in a television receiver or a recording / playback apparatus.
ディスプレイ装置の画面に表示された情報に対しポインティングするための代表的な技術としては、マウスやタブレットペン等のポインティングデバイスを用いるものが知られている。また、その他のポインティング技術として、リモートコントローラ(リモコン端末)を用いて遠隔的にポインティングを行うものや、ユーザのジェスチャを認識してポインティングを行うものも知られている。 As a representative technique for pointing to information displayed on the screen of a display device, a technique using a pointing device such as a mouse or a tablet pen is known. In addition, as other pointing techniques, there are known one that performs remote pointing using a remote controller (remote control terminal) and one that recognizes a user's gesture and performs pointing.
リモコン端末を用いた技術は、例えばリモコン端末に設けられた十字キー等のカーソルキーをユーザが指で操作して、その操作データを赤外線又は無線を介してディスプレイ装置へ送信し、ディスプレイ装置が上記操作データを受信することでポインティングを行うものとなっている。 In the technology using the remote control terminal, for example, a user operates a cursor key such as a cross key provided on the remote control terminal with a finger, and the operation data is transmitted to the display device via infrared or wireless. Pointing is performed by receiving operation data.
一方、ユーザのジェスチャを認識する技術は、例えばユーザの動きをカメラを用いて撮像し、この撮像された画像データからユーザの特定の身体部位の動作軌跡をパターン認識処理により認識して、この認識結果をもとにポインティングを行うものとなっている(例えば、特許文献1を参照)。 On the other hand, the technology for recognizing a user's gesture is, for example, capturing a user's movement using a camera, recognizing a motion locus of a specific body part of the user from the captured image data by pattern recognition processing, and performing this recognition. Pointing is performed based on the result (see, for example, Patent Document 1).
ところで、ジェスチャにより空間に図形を描く場合、腕を固定した状態で手首を動かす場合、つまり指の動きを用いる場合と、腕の動きを用いる場合が想定される。しかし、指を用いる場合と腕を用いる場合を併用すると、その両方の動きをカメラにより同じ条件で認識することは難しい。なぜなら、ユーザの手首付近にカメラの焦点を当てて指の動きを拡大して撮像しようとすると、カメラの撮像視野角が狭くなるため腕の動きによるジェスチャが撮像視野を外れてしまい認識できなくなる。一方、腕の動きによるジェスチャを認識するために倍率を下げてカメラの撮像視野を広角に設定すると、指の動きによるジェスチャを認識しにくくなり、ジェスチャにより描かれる図形の軌跡を高精度に認識することが困難となるからである。
この発明は上記事情に着目してなされたもので、その目的とするところは、指を用いる場合でもまた腕を用いる場合でもその動きによるジェスチャを的確に認識できるようにしたジェスチャ認識装置を提供することにある。
By the way, when drawing a figure in a space by a gesture, a case where the wrist is moved with the arm fixed, that is, a case where a finger movement is used and a case where an arm movement is used are assumed. However, if the case of using a finger and the case of using an arm are used together, it is difficult to recognize both movements under the same conditions by the camera. This is because if the focus of the camera is focused near the user's wrist and the movement of the finger is enlarged to capture an image, the imaging viewing angle of the camera becomes narrow, and the gesture caused by the movement of the arm deviates from the imaging viewing field and cannot be recognized. On the other hand, if you set the camera field of view to a wide angle to reduce the magnification to recognize gestures due to arm movements, it will be difficult to recognize gestures due to finger movements, and the traces of figures drawn by gestures will be recognized with high accuracy. This is because it becomes difficult.
The present invention has been made paying attention to the above circumstances, and an object of the present invention is to provide a gesture recognition device capable of accurately recognizing a gesture caused by movement of a finger or an arm. There is.
上記目的を達成するためにこの発明の一観点は、ユーザがジェスチャにより空間に図形を描く動きを撮像してその画像データを出力する撮像装置と、上記撮像装置から出力された画像データをもとに上記ジェスチャにより描かれた図形を認識するジェスチャ認識装置とを具備するシステムで使用される上記ジェスチャ認識装置にあって、
上記撮像装置から取り込んだ画像データから図形の描画点を検出し、この検出された図形の描画点が当該画像データ中の予め設定された第1のエリアに含まれるか或いは当該第1のエリアの周辺に設定した第2のエリアに含まれるかを判定する。そして、描画点が第1のエリアに含まれると判定された場合に、指の動きを用いたジェスチャを認識する第1の認識モードを設定し、第2のエリアに含まれると判定された場合には、腕の動きを用いたジェスチャを認識する第2の認識モードを設定する。上記第1の認識モードが設定された状態では、上記取り込まれた画像データをもとに上記指の動きを用いたジェスチャにより描画される図形を認識する。これに対し上記第2の認識モードが設定された状態では、上記検出された図形の描画点の位置に応じて上記撮像装置のパン・チルト角を制御することにより撮像方向を上記腕の動きに追従させ、このときの撮像方向の追従軌跡を検出してその検出結果をもとに上記腕の動きを用いたジェスチャにより描画される図形を認識するようにしたものである。
In order to achieve the above object, one aspect of the present invention is based on an imaging device that captures a motion of a user drawing a figure in a space and outputs the image data, and image data output from the imaging device. In the gesture recognition device used in a system comprising a gesture recognition device for recognizing a figure drawn by the gesture,
A drawing point of a figure is detected from the image data captured from the imaging device, and the drawing point of the detected figure is included in a preset first area in the image data or in the first area. It is determined whether it is included in the second area set in the periphery. When it is determined that the drawing point is included in the first area, a first recognition mode for recognizing a gesture using finger movement is set, and it is determined that the drawing point is included in the second area. The second recognition mode for recognizing the gesture using the movement of the arm is set. In the state where the first recognition mode is set, the figure drawn by the gesture using the finger movement is recognized based on the captured image data. On the other hand, in the state where the second recognition mode is set, the imaging direction is changed to the movement of the arm by controlling the pan / tilt angle of the imaging device according to the position of the drawing point of the detected figure. A tracking locus in the imaging direction at this time is detected, and a figure drawn by a gesture using the movement of the arm is recognized based on the detection result.
すなわち、ユーザが指の動きを用いてジェスチャを行ったか或いは腕の動きを用いてジェスチャを行ったかが自動的に判定される。そして、指の動きを用いた場合には画像データから描画図形が認識される。一方、腕の動きを用いた場合には、画像データから検出された図形の描画点の位置に応じて撮像装置のパン・チルト角が制御され、これにより撮像方向が上記腕の動きに追従する。そして、このときの撮像方向の追従軌跡から上記腕の動きによる描画図形が認識される。
したがって、ユーザが指の動きを用いた場合でもまた腕の動きを用いた場合でも、これらの動きによるジェスチャを適切に認識することが可能となる。
That is, it is automatically determined whether the user has made a gesture using finger movements or has made a gesture using arm movements. When a finger movement is used, a drawing figure is recognized from the image data. On the other hand, when the arm movement is used, the pan / tilt angle of the imaging apparatus is controlled according to the position of the drawing point of the figure detected from the image data, and the imaging direction follows the movement of the arm. . And the drawing figure by the movement of the said arm is recognized from the tracking locus | trajectory of the imaging direction at this time.
Therefore, regardless of whether the user uses finger movements or arm movements, it is possible to appropriately recognize gestures caused by these movements.
また、この発明の一観点は以下のような各種態様を備えることを特徴とする。
第1の態様は、第1の認識処理を行う際に、取り込まれた画像データから、指に装着された光学的マーカの描画軌跡を検出し、この検出された光学的マーカの描画軌跡のパターンを予め用意された複数の基本図形パターンと比較して、その比較結果をもとに指の動きを用いたジェスチャにより描画される図形を認識するものである。
このようにすると、光学的マーカの位置を画像データ中から輝点として検出することができ、これにより指の動きにより描かれた図形を正確に認識することができる。
One aspect of the present invention is characterized by comprising the following various aspects.
In the first aspect, when the first recognition process is performed, the drawing trajectory of the optical marker attached to the finger is detected from the captured image data, and the pattern of the detected optical marker drawing trajectory is detected. Is compared with a plurality of basic figure patterns prepared in advance, and a figure drawn by a gesture using finger movement is recognized based on the comparison result.
In this way, the position of the optical marker can be detected from the image data as a bright spot, and thereby the figure drawn by the movement of the finger can be accurately recognized.
第2の態様は、第2の認識処理を行う際に、一定の時間間隔で撮像装置のパン・チルト角をもとに撮像方向を表す座標値を検出して、この検出された座標値の集合を撮像方向の追従軌跡として記憶する。そして、この記憶された撮像方向の追従軌跡のパターンを予め用意された複数の基本図形パターンと比較し、その比較結果をもとに腕の動きを用いたジェスチャにより描画される図形を認識するものである。
このようにすると、カメラの撮像方向を表す座標値の集合が撮像方向の追従軌跡を表す情報として記憶される。このため、この記憶された情報を用いることで、追従軌跡を検出するための画像処理等をまったく行うことなく、腕の動きを用いたジェスチャを容易に認識することができる。
In the second mode, when the second recognition process is performed, a coordinate value representing an imaging direction is detected based on a pan / tilt angle of the imaging device at a certain time interval, and the detected coordinate value is The set is stored as a tracking locus in the imaging direction. Then, the stored tracking trace pattern in the imaging direction is compared with a plurality of basic figure patterns prepared in advance, and the figure drawn by the gesture using the movement of the arm is recognized based on the comparison result. It is.
In this way, a set of coordinate values representing the imaging direction of the camera is stored as information representing the tracking locus in the imaging direction. Therefore, by using this stored information, it is possible to easily recognize a gesture using the movement of the arm without performing any image processing or the like for detecting the tracking locus.
第3の態様は、認識モードを判定する際に、第1のエリアと第2のエリアとの間に第3のエリアを設定して、検出された図形の描画点が第1、第2或いは第3の各エリアのうちの何れに含まれるかを判定する。そして、描画点が第1のエリアに含まれると判定された場合には認識モードを第1の認識モードに変更し、描画点が第2のエリアに含まれると判定された場合には認識モードを第2の認識モードに変更し、描画点が第3のエリアに含まれると判定された場合には設定中の認識モードを維持するようにしたものである。
このようにすると、描画点が第1のエリアと第2のエリアの境界付近にある場合に、認識モードが第1の認識モードと第2の認識モードとの間で頻繁に切り替わり、この結果認識処理動作が不安定になる不具合を防止することが可能となる。すなわち、認識モードの切換動作にチャタリング現象が発生しないようにすることができる。
In the third aspect, when the recognition mode is determined, a third area is set between the first area and the second area, and the drawing point of the detected graphic is the first, second or Which of the third areas is included is determined. When it is determined that the drawing point is included in the first area, the recognition mode is changed to the first recognition mode, and when it is determined that the drawing point is included in the second area, the recognition mode is changed. Is changed to the second recognition mode, and when it is determined that the drawing point is included in the third area, the recognition mode being set is maintained.
In this way, when the drawing point is near the boundary between the first area and the second area, the recognition mode is frequently switched between the first recognition mode and the second recognition mode. It is possible to prevent a problem that the processing operation becomes unstable. That is, it is possible to prevent chattering from occurring in the recognition mode switching operation.
すなわちこの発明によれば、指を用いる場合でもまた腕を用いる場合でもその動きによるジェスチャを的確に認識できるようにしたジェスチャ認識装置を提供することができる。 That is, according to the present invention, it is possible to provide a gesture recognition device that can accurately recognize a gesture caused by a movement of a finger or an arm.
以下、図面を参照してこの発明に係わる実施形態を説明する。
[構成]
図1は、この発明の一実施形態に係わるジェスチャ認識を用いた情報入力システムの概略構成図である。このシステムは、テレビジョン受信機2に撮像装置を付設している。撮像装置は、カメラ4と、パン・チルト駆動ユニット5とから構成される。カメラ4は、ユーザ1の指又は腕の動きを用いたジェスチャを撮像し、その撮像画像データをテレビジョン受信機2へ出力する。パン・チルト駆動ユニット5は、テレビジョン受信機2から出力されるパン・チルト制御信号に従い、上記カメラ4のパン・チルト角を可変する。なお、ユーザ1の指先には例えばLED(Light Emitting Diode)を用いた発光マーカ6が装着される。
Embodiments according to the present invention will be described below with reference to the drawings.
[Constitution]
FIG. 1 is a schematic configuration diagram of an information input system using gesture recognition according to an embodiment of the present invention. In this system, an imaging device is attached to the
テレビジョン受信機2は、ジェスチャ認識装置としての機能を備えたもので、以下のように構成される。図2は、このテレビジョン受信機2の構成を上記カメラ4及びパン・チルト駆動ユニット5の構成と共に示すブロック図である。
The
カメラ4は、カメラ撮像処理部41と、画像送信部42を備えている。カメラ撮像処理部41は、後述するリアルタイムイベント発行ユニット50からトリガ信号が発生されるごとにユーザのジェスチャを撮像する処理を行う。画像送信部42は、上記撮像処理により得られた画像データを後述するデータベース20内の画像情報蓄積部21に記憶させる処理を行う。
The camera 4 includes a camera
パン・チルト駆動ユニット5は、パン・チルト駆動部51と、パン・チルト角度検出部52と、パン・チルト角度送信部53を備えている。パン・チルト駆動部51は、2軸の駆動系を有し、後述するジェスチャ認識ユニット30のカメラトラッキング制御部33から出力されるパン・チルト制御信号に従い、上記カメラ4のパン・チルト角を可変する。パン・チルト角度検出部52は、例えば上記パン・チルト駆動部51に取着されたセンサを用いて、上記カメラ4のパン・チルト角を検出する。パン・チルト角度送信部53は、上記パン・チルト角度検出部52により得られたパン・チルト角の検出データをデータベース20内のパン・チルト情報蓄積部25に記憶させる。
The pan /
テレビジョン受信機2は、ジェスチャ認識を行うために必要な機能として、データベース20と、ジェスチャ認識ユニット30と、表示画像制御ユニット40と、リアルタイムイベント発行ユニット50を備えている。
The
データベース20は、画像情報蓄積部21と、ジェスチャコマンド変換テーブル部22と、表示画像データ蓄積部23と、図形パターン記憶部24と、パン・チルト情報蓄積部25を備えている。
The
画像情報蓄積部21は、上記カメラ4の画像送信部42から出力された画像データを記憶するために用いられる。ジェスチャコマンド変換テーブル部22には、認識対象の複数の入力コマンドに対応付けて、当該入力コマンドを意味する図形パターンの種類とその終始点を表す情報が予め記憶されている。表示画像データ蓄積部23には、上記入力コマンドが意味する表示処理内容に応じた画像を表示するために必要な様々な表示画像データが記憶される。図形パターン記憶部24には、認識対象となる複数の図形形状の基本パターンが記憶される。パン・チルト情報蓄積部25は、上記パン・チルト駆動ユニット5のパン・チルト角度送信部53から送信されたパン・チルト角の検出データを記憶するために用いられる。
The image
ジェスチャ認識ユニット30は、モード切換部31と、フィンガジェスチャ認識部32と、カメラトラッキング制御部33と、カメラトラッキングジェスチャ認識部34を備えている。
The
モード切換部31は、以下の処理機能を有する。
(1) 上記画像情報蓄積部21に新たな画像データ(画像フレーム)が蓄積されるごとに、当該画像フレームを読み出して当該画像フレームから図形の描画点を検出する。そして、この検出された図形の描画点が、当該画像フレーム中の中央部を含む範囲に設定された第1のエリアに含まれるか、この第1のエリアの周辺部に設定した第2のエリアに含まれるか、或いは上記第1のエリアと第2のエリアとの間に設定した第3のエリアに含まれるかを判定する処理。
The
(1) Each time new image data (image frame) is stored in the image
(2) 上記図形の描画点が第1のエリアに含まれると判定された場合に、指の動きを用いたジェスチャを認識する第1の認識モードを設定し、上記描画点が第2のエリアに含まれると判定された場合に、腕の動きを用いたジェスチャを認識する第2の認識モードを設定する。また、上記描画点が第3のエリアに含まれると判定された場合には、設定中の認識モードを維持する処理。 (2) When it is determined that the drawing point of the graphic is included in the first area, a first recognition mode for recognizing a gesture using finger movement is set, and the drawing point is set in the second area. A second recognition mode for recognizing a gesture using the movement of the arm when it is determined that the movement is included. Further, when it is determined that the drawing point is included in the third area, a process of maintaining the recognition mode being set.
フィンガジェスチャ認識部32は、以下の処理機能を有する。
(1) 上記モード切換部31により第1の認識モードが設定された場合に、上記画像情報蓄積部21に蓄積された最新の画像フレームをもとに、指の動きを用いたジェスチャにより描画される図形の軌跡とその終始点を検出する処理。
(2) データベース20の図形パターン記憶部24に記憶された認識対象となる複数の図形形状の基本パターンを参照し、上記検出された図形がどの基本パターンに該当するかをパターンマッチングを用いて判定する処理。
(3)上記判定された図形パターンの種類と、その終始点の位置を表す情報をもとに、上記ジェスチャコマンド変換テーブル部22から該当する入力コマンドを読み出す処理。
The finger
(1) When the first recognition mode is set by the
(2) Refer to basic patterns of a plurality of graphic shapes to be recognized stored in the graphic
(3) A process of reading out a corresponding input command from the gesture command
カメラトラッキング制御部33は、上記画像フレーム中の描画点の位置に応じて上記パン・チルト駆動ユニット5を制御することによりカメラ4のパン・チルト角を変化させ、これによりカメラ4の撮像方向をユーザの腕の動きに追従させる処理を行う。
The camera
カメラトラッキングジェスチャ認識部34は、以下の処理機能を有する。
(1) データベース20のパン・チルト情報蓄積部25からカメラ4のパン・チルト角の検出データの集合を読み出し、この読み出されたパン・チルト角の検出データを座標値に変換することによりカメラ4の撮像方向の追従軌跡とその終始点を検出する処理。
(2) 上記検出された撮像方向の追従軌跡を、ユーザの腕の動きによるジェスチャにより描画された図形と見なし、この図形が、データベース20の図形パターン記憶部24に記憶された複数の基本図形パターンのどれに該当するかをパターンマッチングを用いて判定する処理。
(3) 上記判定された図形パターンの種類と、上記検出された終始点の位置を表す情報をもとに、上記ジェスチャコマンド変換テーブル部22から該当する入力コマンドを読み出す処理。
The camera tracking
(1) A set of pan / tilt angle detection data of the camera 4 is read from the pan / tilt
(2) The detected follow-up trajectory in the imaging direction is regarded as a figure drawn by a gesture based on the movement of the user's arm, and the figure is stored in a plurality of basic figure patterns stored in the figure
(3) A process of reading out a corresponding input command from the gesture command
表示画像制御ユニット40は、上記フィンガジェスチャ認識部32及びカメラトラッキングジェスチャ認識部34により生成された入力コマンドをもとに、表示画像データを更新する。そして、この更新された表示画像データを図示しないディスプレイに出力して表示させる処理を行う。
The display
リアルタイムイベント発行ユニット50は、例えばタイマを使用して、上記カメラ4等を予め決められた周期で動作させるためのトリガ信号を生成する。
The real-time
なお、上記ジェスチャ認識ユニット30、表示画像制御ユニット40及びリアルタイムイベント発行ユニット50の各機能は、データベース20内の図示しないプログラムメモリに格納されたアプリケーション・プログラムを中央処理ユニット(CPU)に実行させることにより実現される。
Each function of the
[動作]
次に、以上のように構成されたテレビジョン受信機2による、ジェスチャを用いた入力情報の認識動作を説明する。
図3は、その全体の処理手順と処理内容を示すフローチャートである。なお、ここではテレビジョン受信機2のディスプレイに電子番組案内(Electronic Program Guide:EPG)情報を表示させ、このEPG情報に対しリモコン装置1から番組の選択操作を行う場合を例にとって説明する。
[Operation]
Next, the operation of recognizing input information using a gesture by the
FIG. 3 is a flowchart showing the overall processing procedure and processing contents. Here, a case will be described as an example where electronic program guide (EPG) information is displayed on the display of the
(1)カメラによるジェスチャの撮像
リアルタイムイベント発行ユニット50では、ステップS1により周期的にトリガ信号を発生している。具体的には、ステップS11によりタイマをリセットして計時動作を開始させ、ステップS12によりこのタイマの計時値Timer が1msecに達したか否かを判定する。そして、タイマの計時値Timer が1msecするごとに、ステップS13によりタイマの計時値Timer をリセットして計時動作を開始させると共にトリガ信号を発生する。
(1) Image of Gesture by Camera In the real-time
上記リアルタイムイベント発行ユニット50からトリガ信号が発生されると、ステップS2においてカメラ4が起動し以下のように撮像処理が行われる。図4はその処理手順と処理内容を示すフローチャートである。すなわち、ステップS21によりカメラ撮影処理部41が撮像処理を行い、この撮像処理により得られた画像フレームをステップS22により画像送信部42がテレビジョン受信機2へ出力する。テレビジョン受信機2は、上記カメラ4から出力された画像フレームを図示しないカメラインタフェースで受信すると、この受信された画像フレームをステップS3によりデータベース20内の画像情報蓄積部21に記憶させる。
When a trigger signal is generated from the real-time
また上記トリガ信号が発生されると、ステップS4によりパン・チルト駆動ユニット5が動作し、カメラ4のパン・チルト角を予め設定された初期位置に設定する。このとき初期位置は、ユーザが指の動きによりジェスチャを行う場合の手首の位置にフォーカスが当たるように設定される。また、ズーム倍率は指の動きによるジェスチャを必要十分なサイズで撮像可能な倍率に設定される。したがって、上記画像情報蓄積部21には、ユーザの手首の位置を中心にユーザのジェスチャを撮像した最初の画像フレームが記憶される。
When the trigger signal is generated, the pan /
(2)モード切換処理
さて、上記画像情報蓄積部21に最初の画像フレームが記憶されると、ステップS6においてジェスチャ認識ユニット30のモード切換部31によりジェスチャ認識モードの切換処理が以下のように行われる。図6はその処理手順と処理内容を示すフローチャートである。
(2) Mode switching process When the first image frame is stored in the image
すなわち、モード切換部31は、先ずステップS61により画像情報蓄積部21から最新の画像フレームを読み出し、ステップS62において上記読み出された最新の画像フレームから指の位置座標を検出する。このとき、ユーザは図1に示したように指に発光マーカ6を付けているため、上記指の位置は画像フレーム中において輝点として検出される。次にモード切換部31は、ステップS63において上記輝点位置座標が画像フレーム内のどのエリアに存在するかを判定する。具体的には、図9に示すように画像フレーム内の中央部に第1のエリアEaを設定すると共に、画像フレームの最外周部に第2のエリアEc設定し、これら第1及び第2のエリアEa,Ec間に第3のエリアEbを設定する。そして、上記輝点位置座標が上記第1、第2及び第3のエリアEa,Ec,Ebのうちの何れに存在するかを判定する。
That is, the
上記判定の結果、輝点位置座標が第1のエリアEaに存在していたとする。この場合モード切換部31は、ステップS64に移行して認識モードをフィンガジェスチャモード(第1の認識モード)に設定する。これに対し、上記輝点位置座標が第2のエリアEbに存在していたとすると、モード切換部31はステップS66に移行してここで認識モードをカメラトラッキングモード(第2の認識モード)に設定する。なお、上記輝点位置座標が第3のエリアEcに存在していた場合には、現在設定中の第1又は第2の認識モードをステップS68において維持する。
As a result of the determination, it is assumed that the bright spot position coordinates exist in the first area Ea. In this case, the
以上のモード切換処理は、カメラ4により1msec 周期で新たな画像フレームが得られるごとに実行される。したがって、いま例えばユーザが指の動きによるジェスチャを行っているものとすると、ユーザの指の位置を表す輝点位置座標は第1のエリアEa内に存在し続けるため、認識モードはフィンガジェスチャモードに保持される。 The mode switching process described above is executed every time a new image frame is obtained by the camera 4 at a cycle of 1 msec. Therefore, for example, if the user is performing a gesture based on the movement of the finger, the bright spot position coordinates indicating the position of the user's finger continue to exist in the first area Ea, and therefore the recognition mode is changed to the finger gesture mode. Retained.
(3)フィンガジェスチャモードによるジェスチャ認識処理
フィンガジェスチャモードが設定されている状態では、カメラ4により1msec 周期でユーザの指の動きを用いたジェスチャが撮像されるごとに、その画像フレームが画像情報蓄積部21に順次蓄積される。フィンガジェスチャ認識部32は、上記画像情報蓄積部21に新たな画像フレームが記憶されるごとに、以下のようにジェスチャ認識処理を行う。図7はその処理手順と処理内容を示すフローチャートである。
(3) Gesture recognition processing by finger gesture mode When the finger gesture mode is set, every time a gesture using the movement of the user's finger is imaged by the camera 4 at a cycle of 1 msec, the image frame is stored as image information. The data are sequentially stored in the
すなわち、フィンガジェスチャ認識部32は、先ずステップS71において終始点一致検出処理を実行する。すなわち、終始点一致検出部31が、画像蓄積部21から画像フレームを読み出し、この読み出した画像フレームから、ユーザが指の動きによるジェスチャにより空間上に描画した図形の終始点、つまり座標値が一致する2つの点を検出する。
That is, the finger
このとき、終始点の検出手法には例えば次の2つの手法が考えられる。第1の検出手法は、図12(a)〜(c)に示すように、ユーザが空間上で指の発光マーカ6を点灯させた点Aから指を移動させて図形Bを描き、指の位置が上記点Aに戻ったとき、この点Aを終始点として検出するものである。第2の検出手法は、図13(a)〜(c)に示すようにユーザが空間上で指を動かして図形を描いた場合に、発光マーカ6の輝点の移動軌跡を追跡して当該移動軌跡が交差する点を終始点Aとして検出するものである。 At this time, for example, the following two methods can be considered as the starting point detection method. As shown in FIGS. 12A to 12C, the first detection method draws a figure B by moving a finger from a point A where the user has turned on the light emitting marker 6 of the finger in the space. When the position returns to the point A, the point A is detected as the starting point. As shown in FIGS. 13 (a) to (c), the second detection method tracks the movement locus of the bright spot of the luminescent marker 6 when the user moves a finger in the space and draws a figure. The point where the movement trajectories intersect is detected as the starting point A.
ジェスチャ認識ユニット30は、上記終始点Aが検出されると、ユーザが空間上で描画した図形は番組選択操作を表す図形としての条件を満たすと判断し、ステップS72における図形追跡処理に移行する。これに対し、例えば一定時間が経過しても終始点Aが検出されなかった場合には、上記描画された図形は選択操作の条件を満たさないと判断し、そのままジェスチャ認識処理を終了する。なお、ジェスチャ認識処理を終了した場合ジェスチャ認識ユニット30は、画像蓄積部21に記憶された上記判定対象の画像フレームの集合を消去する。
When the end point A is detected, the
ジェスチャ認識ユニット30は、次にステップS72において図形追跡処理を以下のように実行する。すなわち、上記終始点一致検出処理(ステップS71)により検出された終始点Aを構成する終点から始点までの輝点位置座標を読み出し、この読み出した輝点位置座標をもとに図形の描画軌跡を追跡する処理を行う。
Next, in step S72, the
上記図形データの描画軌跡が検出されると、ジェスチャ認識ユニット30は続いてステップS73において図形判断処理を実行する。すなわち、データベース20の図形パターン記憶部24から複数の基本図形パターンを順次読み出し、この読み出された基本図形パターンと上記図形追跡処理(ステップS72)により検出された図形の描画軌跡のパターンとをパターンマッチング処理により比較し、その類似度を検出する。そして、この検出された類似度がしきい値以上であって、かつ最も大きいものを選択する。そして、この選択された基本図形パターンを、上記指の動きにより空間上に描かれた図形の形状の種類として認識する。
When the drawing trajectory of the graphic data is detected, the
ジェスチャ認識ユニット30は、次にステップS74に移行して以下のように図形位置判断処理を実行する。すなわち、先ず上記終始点一致検出処理(ステップS71)により検出された終始点Aを中心に、描画空間の上下左右各方向に4つの方向領域を設定する。そして、上記図形追跡処理(ステップS72)により検出された図形の描画軌跡の位置座標が上記4つの方向領域のいずれに含まれるかを判定する。この判定処理は、例えば描かれた図形の重心を求め、この重心と終始点Aが結ぶ直線の方向に図形の描画位置が存在するものと見なして、この直線の方向がいずれの方向領域の角度に含まれるかを判定することにより可能である。
Next, the
上記図形の描画位置が判定されると、ジェスチャ認識ユニット30は続いてステップS75において方向キー検出処理を実行し、上記図形位置判断処理(ステップS74)により判定された図形の描画位置を上下左右の4つの方向のいずれかに対応付けする。そして、この対応付けられた方向キーに対応する入力コマンドを生成する。
When the drawing position of the figure is determined, the
例えば、図14(a)に示すように図形の描画位置が終始点Aに対し左方向に位置する場合には左方向キーを示す入力コマンドが生成され、反対に右方向に位置する場合には右方向キーを示す入力コマンドが生成される。同様に、図形の描画位置が終始点Aに対し上方向に位置する場合には上方向キーを示す入力コマンドが生成され、反対に下方向に位置する場合には下方向キーを示す入力コマンドが生成される。なお、上記指の動きによるジェスチャにより空間上に描画された図形の向きは、カメラ4で撮像すると左右が反転する。このため、この画像データから得られる方向キーの判定結果は左右方向を反転させる必要がある。 For example, as shown in FIG. 14A, when the drawing position of the figure is located in the left direction with respect to the start point A, an input command indicating the left direction key is generated, and on the contrary, when the drawing position is located in the right direction. An input command indicating a right arrow key is generated. Similarly, when the drawing position of the figure is positioned upward with respect to the start point A, an input command indicating an upward key is generated, and when the drawing position is positioned downward, an input command indicating the downward key is generated. Generated. Note that the direction of the figure drawn in space by the gesture of the finger movement is reversed when the camera 4 captures the image. Therefore, the direction key determination result obtained from the image data needs to be reversed in the left-right direction.
なお、先に述べた図形位置判断処理(ステップS74)では、図形の描画位置が4方向のいずれに含まれるかを判定する場合について例示した。しかし、それに限らず上下左右斜め方向の8つの方向領域を設定し、検出された図形の描画位置が上記8つの方向領域のいずれに含まれるかを判定するようにしてもよい。 In the graphic position determination process (step S74) described above, the case where it is determined which of the four directions the graphic drawing position is included is exemplified. However, the present invention is not limited to this, and eight directional regions in the up, down, left, and right oblique directions may be set, and it may be determined which of the eight directional regions includes the detected drawing position of the figure.
また、以上述べたフィンガジェスチャモードは、画像フレームから検出されるユーザの指の位置を表す輝点位置座標が、図9に示した第1のエリアEaから第3のエリアEbに移動したとしてもそのまま維持される。したがって、輝点位置座標、つまりユーザの指の位置が第1のエリアEaから第3のエリアEc方向へ一時的に変化しても、認識モードが即時フィンガジェスチャモードから後述するカメラトラッキングモードに変化することはなく、これによりフィンガジェスチャモードによる認識処理は安定に行われる。 Further, in the finger gesture mode described above, even if the bright spot position coordinates indicating the position of the user's finger detected from the image frame are moved from the first area Ea to the third area Eb shown in FIG. It is maintained as it is. Therefore, even if the bright spot position coordinates, that is, the position of the user's finger temporarily change from the first area Ea to the third area Ec, the recognition mode changes from the immediate finger gesture mode to the camera tracking mode described later. Thus, the recognition process in the finger gesture mode is stably performed.
(4)カメラトラッキングモードによるジェスチャ認識処理
一方、ユーザが指の動きによるジェスチャを止めて、腕の動きによるジェスチャを行ったとする。そうすると、例えば図10に示すようにユーザの指の位置を表す輝点位置座標Mcが第2のエリアEcに入ったことが検出された時点で、ステップS66において認識モードがカメラトラッキングモードに設定される。カメラトラッキングモードが設定されると、ステップS67においてカメラトラッキング制御部33が起動し、以後このカメラトラッキング制御部33の制御の下で、ユーザの腕の動きに対しカメラ4の撮像方向を追従させる、いわゆるカメラトラッキング制御が実行される。
(4) Gesture Recognition Processing in Camera Tracking Mode On the other hand, it is assumed that the user stops a gesture due to finger movement and performs a gesture due to arm movement. Then, for example, as shown in FIG. 10, when it is detected that the bright spot position coordinate Mc representing the position of the user's finger has entered the second area Ec, the recognition mode is set to the camera tracking mode in step S66. The When the camera tracking mode is set, the camera
すなわち、カメラトラッキング制御部33は、上記検出された輝点位置座標Mcと第1のエリアEaの中心座標Oとを結ぶ線分上で第3のエリアEbを通過する点Mbをターゲット位置座標として算出する。そして、この算出されたターゲット位置座標Mbにカメラ4の撮像方向の中心(焦点)を設定するために必要なカメラ4のパン・チルト制御量を算出し、この制御量に対応するパン・チルト制御信号を生成してパン・チルト駆動ユニット5に与える。
That is, the camera
この結果、パン・チルト駆動ユニット5では、図5に示すように先ずステップS41においてパン・チルト駆動部51が動作し、上記パン・チルト制御信号に従いカメラ4のパン・チルト角を可変する。これによりカメラ4の撮像方向がユーザの指に付けた発光マーカ6の位置に近づくように制御される。
As a result, in the pan /
図11はこのパン・チルト制御動作を説明するためのもので、パン・チルト駆動ユニット5によりカメラ4を矢印a方向に回動させることによりカメラ4のパン角θを制御し、またパン・チルト駆動ユニット5によりカメラ4を矢印b方向に回動させることによりカメラ4のチルト角φを制御する。
FIG. 11 is a diagram for explaining the pan / tilt control operation. The pan /
以後、カメラトラッキングモードが設定されている状態が維持されている限り、カメラトラッキング制御部33の制御の下で、各画像フレーム中における発光マーカ6の輝点位置座標Maをもとにターゲット位置座標Mbが算出され、このターゲット位置座標Mbに基づいてカメラ4のパン・チルト角θ,φが制御される。かくして、カメラ4の撮像方向はユーザの腕の動きに追従する。
Thereafter, as long as the state in which the camera tracking mode is set is maintained, the target position coordinates based on the bright spot position coordinates Ma of the light emitting marker 6 in each image frame under the control of the camera
上記カメラトラッキングモードが設定されている状態で、カメラトラッキングジェスチャ認識部34はステップS8においてユーザの腕の動きによるジェスチャを認識する処理を以下のように実行する。
すなわち、先ずカメラトラッキングモードが最初に設定された時点で、データベース20内のパン・チルト情報蓄積部25に記憶されているパン・チルト角の検出データを消去する。この結果、以後パン・チルト情報蓄積部25には、図5のステップS42,S43によりパン・チルト駆動ユニット50のパン・チルト角度取得部52により検出され、かつパン・チルト角度送信部53により送信されたパン・チルト角の検出データが順次記憶される。
In the state in which the camera tracking mode is set, the camera tracking
That is, when the camera tracking mode is first set, the pan / tilt angle detection data stored in the pan / tilt
次にカメラトラッキングジェスチャ認識部34は、上記パン・チルト情報蓄積部25からカメラ4のパン・チルト角の検出データを読み出し、この読み出されたパン・チルト角の検出データを座標値に変換して、この変換されたパン・チルト座標をもとに、ユーザの腕の動きを用いたジェスチャにより空間上に描画された図形の種類とその終始点を検出する処理を行う。このときの図形の種類とその終始点の検出処理も、検出処理対象のデータが輝点位置座標から上記パン・チルト座標に代わるだけで、先に述べたフィンガジェスチャ認識処理と同様に図7に示した処理手順に従い行われる。
Next, the camera tracking
なお、以上のカメラトラッキングモードは、画像フレームから検出されるユーザの指の位置を表す輝点位置座標が、図9に示した第2のエリアEcから第3のエリアEbに移動したとしてもそのまま維持される。したがって、輝点位置座標、つまりユーザの指の位置が第2のエリアEcから第1のエリアEa方向へ一時的に変化しても、認識モードが即時フィンガジェスチャモードに変化することはなく、これによりカメラトラッキングモードによる認識処理は安定に行われる。 In the above camera tracking mode, even if the bright spot position coordinates indicating the position of the user's finger detected from the image frame move from the second area Ec to the third area Eb shown in FIG. Maintained. Therefore, even if the bright spot position coordinate, that is, the position of the user's finger temporarily changes from the second area Ec to the first area Ea, the recognition mode does not change to the immediate finger gesture mode. Thus, the recognition process in the camera tracking mode is stably performed.
(5)表示画像制御処理
上記フィンガジェスチャモード或いはカメラトラッキングモードにおけるジェスチャ認識処理が終了すると、続いてステップS9において表示画像制御ユニット40が動作し、この表示画像制御ユニット40の制御の下で以下のように表示画像の更新処理が行われる。図8はその制御手順と制御内容を示すフローチャートである。
(5) Display image control process When the gesture recognition process in the finger gesture mode or the camera tracking mode is completed, the display
すなわち、先ずステップS92において、先に述べた図形位置判断処理(ステップS74)により生成された入力コマンドをもとに、当該入力コマンドが意味する表示処理内容を表す表示画像データを更新する処理がなされる。例えば、上記図形位置判断処理(ステップS74)により生成された入力コマンドの意味が左方向キーを示すものであれば、EPG情報におけるカーソルの位置を左方向へ1列分シフトさせた画像に更新される。反対に入力コマンドの意味が右方向キーを示すものであれば、EPG情報におけるカーソルの位置を右向へ1列分シフトさせた画像に更新される。同様に、入力コマンドの意味が上又は下キーを示すものであれば、EPG情報におけるカーソルの位置をそれぞれ上方向又は下方向へ1列分シフトさせた画像に更新される。なお、8方向キーの場合も同様にEPGの表示画像が更新される。 That is, first, in step S92, based on the input command generated by the graphic position determination process (step S74) described above, a process of updating the display image data representing the display processing content meant by the input command is performed. The For example, if the meaning of the input command generated by the graphic position determination process (step S74) indicates a left direction key, the cursor is updated to an image in which the cursor position in the EPG information is shifted leftward by one column. The On the other hand, if the meaning of the input command indicates a right arrow key, the cursor is updated in the EPG information to an image shifted by one column to the right. Similarly, if the meaning of the input command indicates an up or down key, the cursor position in the EPG information is updated to an image that is shifted up or down by one column, respectively. Note that the display image of the EPG is similarly updated in the case of the 8-direction key.
したがって、ユーザは自身の指又は腕の動きを用いたジェスチャにより、図1に示した4つの円のいずれかを選択的に空間上に描画することで、EPG情報におけるカーソル位置を所望の番組の位置にステップ移動させることが可能となる。 Therefore, the user selectively draws one of the four circles shown in FIG. 1 on the space by a gesture using the movement of his / her finger or arm, so that the cursor position in the EPG information is changed to a desired program. It is possible to step the position.
以上詳述したようにこの実施形態では、カメラ4から取り込んだ画像フレームからジェスチャにより描画された図形の輝点位置座標を検出し、この検出された輝点位置座標が当該画像フレーム中の第1のエリアEaに含まれるか或いは当該第1のエリアEaの周辺に設定した第2のエリアEcに含まれるかを判定する。そして、描画点が第1のエリアEaに含まれると判定された場合にはフィンガジェスチャモードを設定し、第2のエリアEcに含まれると判定された場合にはカメラトラッキングモードを設定する。フィンガジェスチャモードが設定された状態では、画像データからフィンガジェスチャにより描画される図形を認識する。一方、カメラトラッキングモードが設定された状態では、上記輝点位置座標に応じてパン・チルト駆動ユニット5を動作させ、これによりカメラ4のパン・チルト角を制御してカメラ4の撮像方向をユーザの腕の動きに追従させて、この撮像方向の追従軌跡をもとに描画図形を認識するようにしている。
As described above in detail, in this embodiment, the bright spot position coordinates of the figure drawn by the gesture are detected from the image frame captured from the camera 4, and the detected bright spot position coordinates are the first bright spot position coordinates in the image frame. Whether it is included in the second area Ec set around the first area Ea. When it is determined that the drawing point is included in the first area Ea, the finger gesture mode is set, and when it is determined that the drawing point is included in the second area Ec, the camera tracking mode is set. In the state where the finger gesture mode is set, a figure drawn by the finger gesture is recognized from the image data. On the other hand, in the state where the camera tracking mode is set, the pan /
したがって、ユーザが指の動きを用いてジェスチャを行ったか或いは腕の動きを用いてジェスチャを行ったかが自動的に判定される。そして、指の動きを用いた場合には画像データから描画図形が認識され、一方腕の動きを用いた場合にはカメラ4の撮像方向がユーザの腕の動きに追従するように制御されてその過程で検出されるパン・チルト角の変化から上記腕の動きによる描画図形が認識される。このため、ユーザが指の動きを用いた場合でもまた腕の動きを用いた場合でも、これらの動きによるジェスチャを適切に認識することが可能となる。 Therefore, it is automatically determined whether the user has made a gesture using finger movements or has made a gesture using arm movements. When the finger movement is used, the drawing figure is recognized from the image data. On the other hand, when the arm movement is used, the imaging direction of the camera 4 is controlled so as to follow the movement of the user's arm. From the change of the pan / tilt angle detected in the process, the figure drawn by the movement of the arm is recognized. For this reason, regardless of whether the user uses finger movements or arm movements, it is possible to appropriately recognize gestures caused by these movements.
またこの実施形態では、第1のエリアEaと第2のエリアEcとの間に第3のエリアEbを設定し、検出された輝点位置座標が第3のエリアEbに含まれると判定された場合には設定中の認識モードを維持するようにしている。このため、輝点位置座標が第1のエリアEaと第2のエリアEcとの境界付近にある場合に、認識モードがフィンガジェスチャとカメラトラッキングモードとの間で頻繁に切り替わり、この結果認識処理動作が不安定になる不具合を防止することができる。 In this embodiment, the third area Eb is set between the first area Ea and the second area Ec, and it is determined that the detected bright spot position coordinates are included in the third area Eb. In some cases, the recognition mode being set is maintained. For this reason, when the bright spot position coordinates are near the boundary between the first area Ea and the second area Ec, the recognition mode is frequently switched between the finger gesture and the camera tracking mode. Can be prevented from becoming unstable.
なお、この発明は上記実施形態に限定されるものではない。例えば、前記実施形態ではモード判定のためのエリアを図9に示したように矩形形状に設定したが、画像フレームの中心Oを中心として円形又は楕円形のエリアを同心円状に設定するようにしてもよい。ユーザがジェスチャにより描く図形が円形の場合、上記のように判定エリアも円形又は楕円形にした方が描画位置にかかわらず均一な条件でモードを判定することができる。 The present invention is not limited to the above embodiment. For example, in the above embodiment, the area for mode determination is set to a rectangular shape as shown in FIG. 9, but a circular or elliptical area centered on the center O of the image frame is set to be concentric. Also good. When the figure drawn by the user is a circle, the mode can be determined under uniform conditions regardless of the drawing position when the determination area is also circular or elliptical as described above.
前記実施形態では、図形の終始点Aに対する描画位置を検出してカーソルの移動方向を制御するようにした。しかしこれに限らず、図形の描画速度、描画時間又は描画サイズを判定し、この図形の描画速度、描画時間又は描画サイズの判定結果に応じて、カーソルの移動量を変化させるようにしてもよい。 In the embodiment, the drawing position with respect to the starting point A of the figure is detected and the movement direction of the cursor is controlled. However, the present invention is not limited to this, and the drawing speed, drawing time, or drawing size of the figure may be determined, and the amount of movement of the cursor may be changed according to the determination result of the drawing speed, drawing time, or drawing size of the figure. .
例えば、ユーザが図形を通常の速度より遅いゆっくりとした速度で描いたり、通常の描画時間より長い時間をかけて描いたり、或いは通常サイズより大きなサイズで描いた場合には、カーソルの1回の移動ステップ量を大きくする。図形の描画速度又は描画時間は、図形データの受信開始タイミング及び受信終了タイミングをそれぞれ検出するか、又は終始点Aを構成する始点及び終点の検出タイミングを検出し、この検出した各タイミングをもとに計算により求めることができる。なお、この場合も、カーソルの移動方向については、前記実施形態で述べたように描画された図形の終始点Aに対する図形の描画位置の方向により決まる。 For example, if the user draws a figure at a slower speed slower than the normal speed, takes a longer time than the normal drawing time, or draws a figure larger than the normal size, Increase the moving step amount. The drawing speed or drawing time of the figure is detected by detecting the reception start timing and the reception end timing of the graphic data, respectively, or by detecting the detection timing of the start point and the end point constituting the start point A, and based on each detected timing. Can be obtained by calculation. In this case as well, the moving direction of the cursor is determined by the direction of the drawing position of the figure with respect to the starting point A of the drawn figure as described in the above embodiment.
また、前記実施形態では、テレビジョン受信機2に表示されるEPG情報をジェスチャにより操作する場合を例にとって説明したが、パーソナル・コンピュータの表示画面やビデオプロジェクタによる表示画面をジェスチャにより操作するようにしてもよい。
その他、ジェスチャ認識装置の種類や構成、処理手順と処理内容、図形の形状等についても、この発明の要旨を逸脱しない範囲で種々変形して実施できる。
In the above-described embodiment, the case where the EPG information displayed on the
In addition, the type and configuration of the gesture recognition device, the processing procedure and processing content, the shape of the figure, and the like can be variously modified and implemented without departing from the gist of the present invention.
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。 In short, the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. Further, various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, you may combine suitably the component covering different embodiment.
1…ユーザ、2…テレビジョン受信機、3…通信回線、4…カメラ、5…パン・チルト駆動ユニット、6…発光マーカ、20…データベース、21…信号蓄積部、22…ジェスチャコマンド変換テーブル部、23…表示画像データ蓄積部、24…図形パターン記憶部、25…パン・チルト情報蓄積部、30…ジェスチャ認識ユニット、31…モード切換部、32…フィンガジェスチャ認識部、33…カメラトラッキング制御部、34…カメラトラッキングジェスチャ認識部、40…表示画像制御ユニット、41…カメラ撮像処理部、42…画像送信部、50…リアルタイムイベント発行ユニット、51…パン・チルト駆動部、52…パン・チルト角度検出部、53…パン・チルト角度送信部。
DESCRIPTION OF
Claims (9)
前記撮像装置から出力された画像データを取り込む手段と、
前記取り込まれた画像データから図形の描画点を検出し、この検出された図形の描画点が当該画像データ中の予め設定された第1のエリアに含まれるか、或いは当該第1のエリアの周辺に設定した第2のエリアに含まれるかを判定する判定手段と、
前記図形の描画点が前記第1のエリアに含まれると判定された場合に、指の動きを用いたジェスチャにより描画される図形を認識する第1の認識モードを設定し、前記図形の描画点が前記第2のエリアに含まれると判定された場合には、腕の動きを用いたジェスチャにより描画される図形を認識する第2の認識モードを設定する認識モード設定手段と、
前記第1の認識モードが設定された状態では、前記取り込まれた画像データをもとに前記指の動きを用いたジェスチャにより描画される図形を認識する第1の認識処理手段と、
前記第2の認識モードが設定された状態では、前記検出された図形の描画点の位置に応じて前記撮像装置のパン・チルト角を制御することにより撮像方向を前記腕の動きに追従させ、このときの撮像方向の追従軌跡を検出してこの検出された追従軌跡もとに前記腕の動きを用いたジェスチャにより描画される図形を認識する第2の認識処理手段と
を具備することを特徴とするジェスチャ認識装置。 An imaging device that captures a motion of drawing a figure in a space by a gesture and outputs the image data; and a gesture recognition device that recognizes the graphic drawn by the gesture based on the image data output from the imaging device. The gesture recognition device used in a system comprising:
Means for capturing image data output from the imaging device;
A drawing point of a figure is detected from the captured image data, and the drawing point of the detected figure is included in a preset first area in the image data, or around the first area. Determining means for determining whether the second area is included in the second area,
When it is determined that the drawing point of the graphic is included in the first area, a first recognition mode for recognizing a graphic drawn by a gesture using finger movement is set, and the drawing point of the graphic is set. Is determined to be included in the second area, a recognition mode setting means for setting a second recognition mode for recognizing a figure drawn by a gesture using an arm movement;
In a state where the first recognition mode is set, first recognition processing means for recognizing a graphic drawn by a gesture using the finger movement based on the captured image data;
In a state where the second recognition mode is set, the imaging direction is made to follow the movement of the arm by controlling the pan / tilt angle of the imaging device according to the position of the drawing point of the detected figure, And a second recognition processing means for detecting a tracking locus in the imaging direction at this time and recognizing a figure drawn by a gesture using the movement of the arm based on the detected tracking locus. Gesture recognition device.
前記取り込まれた画像データから、指に装着された光学的マーカの描画軌跡を検出する手段と、
前記検出された光学的マーカの描画軌跡のパターンを予め用意された複数の基本図形パターンと比較し、その比較結果をもとに指の動きを用いたジェスチャにより描画される図形を認識する手段と
を備えることを特徴とする請求項1記載のジェスチャ認識装置。 The first recognition processing means includes
Means for detecting a drawing trajectory of an optical marker attached to a finger from the captured image data;
Means for comparing the pattern of the drawing trajectory of the detected optical marker with a plurality of basic figure patterns prepared in advance, and recognizing a figure drawn by a gesture using finger movement based on the comparison result; The gesture recognition apparatus according to claim 1, further comprising:
一定の時間間隔で前記撮像装置のパン・チルト角をもとに撮像方向を表す座標値を検出し、この検出された座標値の集合を前記撮像方向の追従軌跡として記憶する手段と、
前記記憶された前記撮像方向の追従軌跡のパターンを予め用意された複数の基本図形パターンと比較し、その比較結果をもとに腕の動きを用いたジェスチャにより描画される図形を認識する手段と
を備えることを特徴とする請求項1記載のジェスチャ認識装置。 The second recognition processing means includes
Means for detecting a coordinate value representing an imaging direction based on a pan / tilt angle of the imaging apparatus at a constant time interval, and storing a set of the detected coordinate values as a tracking locus of the imaging direction;
Means for comparing the stored trace pattern of the imaging direction with a plurality of basic figure patterns prepared in advance and recognizing a figure drawn by a gesture using arm movement based on the comparison result; The gesture recognition apparatus according to claim 1, further comprising:
前記認識モード設定手段は、前記検出された図形の描画点が前記第1のエリアに含まれると判定された場合には認識モードを前記第1の認識モードに変更し、前記第2のエリアに含まれると判定された場合には認識モードを前記第2の認識モードに変更し、前記第3のエリアに含まれると判定された場合には設定中の認識モードを維持することを特徴とする請求項1記載のジェスチャ認識装置。 The determination means sets a third area between the first area and the second area, and a drawing point of the detected graphic is set to the first, second, or third area. Determine which of them is included,
The recognition mode setting means changes the recognition mode to the first recognition mode when it is determined that the drawing point of the detected figure is included in the first area, and sets the second area to the second area. When it is determined to be included, the recognition mode is changed to the second recognition mode, and when it is determined to be included in the third area, the recognition mode being set is maintained. The gesture recognition device according to claim 1.
前記取り込まれた画像データから図形の描画点を検出し、この検出された図形の描画点が当該画像データ中の予め設定された第1のエリアに含まれるか、或いは当該第1のエリアの周辺に設定した第2のエリアに含まれるかを判定する過程と、
前記図形の描画点が前記第1のエリアに含まれると判定された場合に、指の動きを用いたジェスチャにより描画される図形を認識する第1の認識モードを設定する過程と、
前記第1の認識モードが設定された状態において、前記取り込まれた画像データをもとに前記指の動きを用いたジェスチャにより描画される図形を認識する第1の認識過程と、
前記図形の描画点が前記第2のエリアに含まれると判定された場合には、腕の動きを用いたジェスチャにより描画される図形を認識する第2の認識モードを設定する過程と、
前記第2の認識モードが設定された状態において、前記検出された図形の描画点の位置座標に応じて前記撮像装置のパン・チルト角を制御することにより撮像方向を前記腕の動きに追従させ、このときの撮像方向の追従軌跡を検出してこの検出された追従軌跡をもとに前記腕の動きを用いたジェスチャにより描画される図形を認識する第2の認識過程と
を具備することを特徴とするジェスチャ認識方法。 A process of capturing image data obtained by imaging a motion of drawing a figure in a space by a gesture from an imaging device;
A drawing point of a figure is detected from the captured image data, and the drawing point of the detected figure is included in a preset first area in the image data, or around the first area. Determining whether it is included in the second area set in
A step of setting a first recognition mode for recognizing a figure drawn by a gesture using a finger movement when it is determined that a drawing point of the figure is included in the first area;
A first recognition process for recognizing a figure drawn by a gesture using the movement of the finger based on the captured image data in a state where the first recognition mode is set;
A step of setting a second recognition mode for recognizing a figure drawn by a gesture using an arm movement when it is determined that the drawing point of the figure is included in the second area;
In the state where the second recognition mode is set, the imaging direction is made to follow the movement of the arm by controlling the pan / tilt angle of the imaging apparatus according to the position coordinates of the drawing point of the detected figure. And a second recognition step of detecting a tracking locus in the imaging direction at this time and recognizing a figure drawn by a gesture using the movement of the arm based on the detected tracking locus. Characteristic gesture recognition method.
前記取り込まれた画像データから、指に装着された光学的マーカの描画軌跡を検出する過程と、
前記検出された光学的マーカの描画軌跡のパターンを予め用意された複数の基本図形パターンと比較し、その比較結果をもとに指の動きを用いたジェスチャにより描画される図形を認識する過程と
を備えることを特徴とする請求項5記載のジェスチャ認識方法。 The first recognition process includes:
A process of detecting a drawing locus of an optical marker attached to a finger from the captured image data;
A process of comparing the detected drawing pattern of the optical marker with a plurality of basic figure patterns prepared in advance, and recognizing a figure drawn by a gesture using finger movement based on the comparison result; The gesture recognition method according to claim 5, further comprising:
一定の時間間隔で前記撮像装置のパン・チルト角をもとに撮像方向を表す座標値を検出し、この検出された座標値の集合を前記撮像方向の追従軌跡として記憶する過程と、
前記記憶された前記撮像方向の追従軌跡のパターンを予め用意した複数の基本図形パターンと比較し、その比較結果をもとに腕の動きを用いたジェスチャにより描画される図形を認識する過程と
を備えることを特徴とする請求項5記載のジェスチャ認識方法。 The second recognition process includes:
Detecting a coordinate value representing an imaging direction based on a pan / tilt angle of the imaging device at a fixed time interval, and storing a set of the detected coordinate values as a tracking locus of the imaging direction;
Comparing the stored trace pattern of the imaging direction with a plurality of basic figure patterns prepared in advance, and recognizing a figure drawn by a gesture using arm movement based on the comparison result. The gesture recognition method according to claim 5, further comprising:
前記認識モードを設定する過程は、前記検出された図形の描画点が前記第1のエリアに含まれると判定された場合には認識モードを前記第1の認識モードに変更し、前記第2のエリアに含まれると判定された場合には認識モードを前記第2の認識モードに変更し、前記第3のエリアに含まれると判定された場合には設定中の認識モードを維持することを特徴とする請求項5記載のジェスチャ認識方法。 In the determining process, a third area is set between the first area and the second area, and the drawing point of the detected graphic is the first, second or third area. Of which one of them is included,
In the process of setting the recognition mode, when it is determined that the detected drawing point of the figure is included in the first area, the recognition mode is changed to the first recognition mode, and the second recognition mode is set. When it is determined to be included in the area, the recognition mode is changed to the second recognition mode, and when it is determined to be included in the third area, the recognition mode being set is maintained. The gesture recognition method according to claim 5.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010199306A JP5264844B2 (en) | 2010-09-06 | 2010-09-06 | Gesture recognition apparatus and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010199306A JP5264844B2 (en) | 2010-09-06 | 2010-09-06 | Gesture recognition apparatus and method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012058854A JP2012058854A (en) | 2012-03-22 |
JP5264844B2 true JP5264844B2 (en) | 2013-08-14 |
Family
ID=46055920
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010199306A Active JP5264844B2 (en) | 2010-09-06 | 2010-09-06 | Gesture recognition apparatus and method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5264844B2 (en) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8938396B2 (en) | 2004-02-03 | 2015-01-20 | Rtc Industries, Inc. | System for inventory management |
US9818148B2 (en) | 2013-03-05 | 2017-11-14 | Rtc Industries, Inc. | In-store item alert architecture |
US9898712B2 (en) | 2004-02-03 | 2018-02-20 | Rtc Industries, Inc. | Continuous display shelf edge label device |
JP5174978B1 (en) * | 2012-04-26 | 2013-04-03 | 株式会社三菱東京Ufj銀行 | Information processing apparatus, electronic device, and program |
US20140118270A1 (en) * | 2012-10-26 | 2014-05-01 | Qualcomm Incorporated | System and method for providing infrared gesture interaction on a display |
JP6218372B2 (en) | 2012-11-25 | 2017-10-25 | 東芝メディカルシステムズ株式会社 | Gesture detection support system for X-ray diagnosis, gesture detection support program for X-ray diagnosis, and X-ray diagnosis apparatus |
KR102073893B1 (en) * | 2013-03-15 | 2020-02-05 | 알티씨 인더스트리즈, 인크. | Continuous display shelf edge label device |
EP2908218B1 (en) | 2014-02-14 | 2018-03-14 | Omron Corporation | Gesture recognition apparatus and control method of gesture recognition apparatus |
JP6287382B2 (en) | 2014-03-12 | 2018-03-07 | オムロン株式会社 | Gesture recognition device and method for controlling gesture recognition device |
US11109692B2 (en) | 2014-11-12 | 2021-09-07 | Rtc Industries, Inc. | Systems and methods for merchandizing electronic displays |
US11182738B2 (en) | 2014-11-12 | 2021-11-23 | Rtc Industries, Inc. | System for inventory management |
CN109358913B (en) * | 2018-09-30 | 2020-03-31 | 维沃移动通信(杭州)有限公司 | Application program starting method and terminal equipment |
CN110532863A (en) * | 2019-07-19 | 2019-12-03 | 平安科技(深圳)有限公司 | Gesture operation method, device and computer equipment |
CN113589928B (en) * | 2021-07-27 | 2023-11-24 | 东莞理工学院 | Gesture recognition method for intelligent television |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3644668B2 (en) * | 1999-09-03 | 2005-05-11 | 三菱電機株式会社 | Image monitoring device |
JP3707769B2 (en) * | 2000-07-05 | 2005-10-19 | 株式会社日立国際電気 | Object tracking system |
US8555207B2 (en) * | 2008-02-27 | 2013-10-08 | Qualcomm Incorporated | Enhanced input using recognized gestures |
-
2010
- 2010-09-06 JP JP2010199306A patent/JP5264844B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2012058854A (en) | 2012-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5264844B2 (en) | Gesture recognition apparatus and method | |
US9360965B2 (en) | Combined touch input and offset non-touch gesture | |
EP2040156B1 (en) | Image processing for issuing commands | |
US9569010B2 (en) | Gesture-based human machine interface | |
US20110109581A1 (en) | Digital image processing device and associated methodology of performing touch-based image scaling | |
US20180173393A1 (en) | Apparatus and method for video zooming by selecting and tracking an image area | |
KR20130105725A (en) | Computer vision based two hand control of content | |
US20130293460A1 (en) | Computer vision based control of an icon on a display | |
US20150234469A1 (en) | Input device, input method, and storage medium | |
JP5358548B2 (en) | Gesture recognition device | |
JP2006209563A (en) | Interface device | |
US11693482B2 (en) | Systems and methods for controlling virtual widgets in a gesture-controlled device | |
KR101233793B1 (en) | Virtual mouse driving method using hand motion recognition | |
JP5756762B2 (en) | Gesture recognition device and program thereof | |
JP5668005B2 (en) | Gesture recognition device and program thereof | |
JP5396332B2 (en) | Information input device, method and program using gesture | |
US9761009B2 (en) | Motion tracking device control systems and methods | |
JP5449074B2 (en) | Information input device | |
CN114610155A (en) | Gesture control method and device, display terminal and storage medium | |
JP5546029B2 (en) | Gesture recognition device and program thereof | |
JP2011205468A (en) | Imaging apparatus and program | |
TWI447619B (en) | System for assisting in gesture input using lead track and method thereof | |
KR101253675B1 (en) | Method for Processing Command of Portable Apparatus Using Moving Information of Object |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20120627 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120828 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130418 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130423 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130430 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5264844 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |