JP3440641B2 - Operation start position detection method - Google Patents
Operation start position detection methodInfo
- Publication number
- JP3440641B2 JP3440641B2 JP19015495A JP19015495A JP3440641B2 JP 3440641 B2 JP3440641 B2 JP 3440641B2 JP 19015495 A JP19015495 A JP 19015495A JP 19015495 A JP19015495 A JP 19015495A JP 3440641 B2 JP3440641 B2 JP 3440641B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- palm
- face
- shape
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】[0001]
【産業上の利用分野】本発明は人間の身振りや手振りの
認識をおこない、認識結果に基づいて人間と機械のイン
ターフェースをおこない、指示装置や手話動作認識など
に利用可能な動作の開始位置検出方法に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention recognizes human gestures and hand gestures, interfaces humans with machines based on the recognition results, and detects a start position of motions that can be used for pointing devices and sign language motion recognition. Regarding
【０００２】[0002]
【従来の技術】人間の身振り、手振りを理解する方法の
中で、動作の開始位置を特定する時に、題名：「動き情
報の検出とヒューマンインターフェースへの応用」（Ｈ
Ｃ９１−３３：待井康弘他：電子情報通信学会信学技報
ヒューマンコミュニケーション：１９９１年）のように
任意の絶対空間の座標を使った位置の特定方式が従来使
われ、また開始位置の代表点として、検出された任意の
物体の重心位置を代表点としている。2. Description of the Related Art In the method of understanding human gestures and hand gestures, when specifying the start position of a motion, the title: "Detection of motion information and application to human interface" (H
C91-33: Yasuhiro Machii et al .: The Institute of Electronics, Information and Communication Engineers, IEICE Technical Report, Human Communication: 1991), a position identification method using coordinates in an arbitrary absolute space has been conventionally used, and as a representative point of the start position. , The detected position of the center of gravity of any object is used as the representative point.
【０００３】[0003]
【発明が解決しようとする課題】従来の技術で任意の絶
対空間の座標を使った時には、被験者が違った時に体の
大きさが違うなどで、特定された開始位置の座標値が意
味を持たなくなり、また被験者毎にデータベースを持っ
たのでは、被験者の数に比例してデータベースの数が多
くなってしまうという課題がある。また開始位置の代表
点として重心位置のみを取った時には、被験者が唇に意
味があって指さしても、てのひらの重心位置を取ると、
重心位置では首付近を表していることになり、正しく被
験者が意図する位置が代表点となっていない。When the coordinates of an arbitrary absolute space are used in the prior art, the coordinate value of the specified starting position is significant because the size of the body is different when the subject is different. Moreover, there is a problem that the number of databases will increase in proportion to the number of subjects if there is no database for each subject. Moreover, when only the center of gravity is taken as the representative point of the starting position, even if the subject points at the lips with meaning, if the center of gravity of the palm is taken,
The position of the center of gravity represents the vicinity of the neck, and the position intended by the subject is not the representative point.
【０００４】そこで、本発明では開始位置を検出するた
めの空間を、撮影された被験者の身体特徴によって分割
し、開始動作位置を被験者との相対位置で表現すること
が出来、被験者が代わった時にも開始動作位置を特定す
ることが出来、また被験者が、身体の任意の部分を意識
的に指し示した時、指の先端部をてのひらの代表点とす
ることにより被験者の意図を開始動作位置に反映するこ
とが可能となることを目的とする。Therefore, in the present invention, the space for detecting the start position can be divided by the photographed body characteristics of the subject, and the start motion position can be expressed by the relative position with respect to the subject. Can also specify the starting movement position, and when the subject consciously points to any part of the body, the subject's intention is reflected in the starting movement position by making the tip of the finger the representative point of the palm. The purpose is to be able to.
【０００５】[0005]
【課題を解決するための手段】上記目的を達成するため
に、本出願発明は少なくとも被験者の上半身を複眼式カ
メラにより撮影する手段と撮影された被験者の身体を抜
き出す手段と、被験者自身の部位に沿った空間領域分割
手段と、顔の中の各部位に沿って領域を分割する手段
と、少なくとも右左どちらかのてのひらを抽出する手段
と、動作の開始タイミングを検出する手段と、てのひら
画像の特徴を抜き出す手段と、てのひら形状が指示形状
かを判定する手段と、顔の中をてのひらが指しているか
を判定する手段と、てのひらの代表点を重心位置とする
か指先の先端位置とするかを決定する手段と検出された
開始動作位置を登録する手段を備えた動作開始位置検出
方法である。In order to achieve the above object, the present invention provides at least means for photographing the upper half of the body of a subject with a compound-eye camera, means for extracting the body of the subject who has been photographed, and the body of the subject. Along the spatial area dividing means, a means for dividing the area along each part of the face, a means for extracting at least either the left or the right palm, a means for detecting the start timing of the operation, the characteristics of the palm image Means for extracting the palm shape, means for determining whether the palm shape is the designated shape, means for determining whether the palm shape is pointing in the face, and determining whether the representative point of the palm is the center of gravity position or the tip position of the fingertip. It is an operation start position detection method including a means for determining and a means for registering the detected start operation position.
【０００６】[0006]
【作用】本発明の開始動作位置検出方法では、被験者の
身体特徴に沿って空間領域を分割することにより、被験
者が代わった時も同じ開始動作位置のデータベースを使
用することが出来、被験者が示したてのひらの形状が指
示形状かどうかを判定することにより、被験者が意図す
る開始動作位置を検出することが可能になる。In the starting motion position detecting method of the present invention, the database of the same starting motion position can be used even when the subject is changed by dividing the spatial region according to the body feature of the subject. By determining whether the shape of the vertical palm is the designated shape, it is possible to detect the start motion position intended by the subject.
【０００７】[0007]
【実施例】
（実施例１）この発明の１実施例の動作について図１の
フローチャートに沿って説明する。図２に示すように少
なくとも人物の上半身が撮影されている画像から背景の
みの画像の差分を取り人物を抜き出す。Embodiment 1 The operation of one embodiment of the present invention will be described with reference to the flowchart of FIG. As shown in FIG. 2, a person is extracted from the image in which at least the upper half of the person is photographed by subtracting the image of only the background.
【０００８】（ステップ１）ステップ１で抜き出した身
体画像を識別関数ｆｇを用いて２値化する。(Step 1) The body image extracted in step 1 is binarized by using the discrimination function fg.
【０００９】[0009]
【数１】 [Equation 1]
【００１０】なお、閾値に関しては光源の違いにより値
が変わってくるので可変とする。次に身体の外郭線をエ
ッジ抽出フィルタを用い、身体の外郭線を（図３）に示
すように抜き出す。The threshold value is variable because it varies depending on the light source. Next, the contour line of the body is extracted by using an edge extraction filter as shown in (FIG. 3).
【００１１】画像の上部より探索をおこない、図４に示
すように人物の外形線とＸ軸に平行な線とが接した線を
身体の頭を表す線、ＨＵＬとする。ＨＵＬに接し、人物
の外形線とＹ軸に平行な線が交わる線の中で画像中左側
の線を、顔の右側を表す線ＦＲＬ、右側の線を顔の左側
を表す線ＦＬＬとする。ＦＲＬを垂直に伸ばし、外形線
と交わった点をｆｒｌｐ（Ｘｆ，Ｙｆ）とする。また画
像中の左側から探索をおこない、Ｙ軸に平行で身体の外
形線と交わる点をｔｅｍｐｐ（Ｘｔ，Ｙｔ）を求める。
ｆｒｌｐからｔｅｍｐｐ迄外形線を探索し、曲率が最大
の点を右肩の点ｓｈｐとする。ｓｈｐを通り、Ｘ軸に平
行な線をＳＵＬ、Ｙ軸に平行な線をＳＨＲＬとする。ま
たＦＲＬとＦＬＬの中線をＭＣＬとする。ＭＣＬの軸を
中心としてＳＨＲＬに対称な線をＳＨＬＬ、ＥＲＬに対
象な線をＥＬＬとする。またＳＵＬとＨＵＬの３／４の
位置にあるＸ軸に平行な線をＮＥＬ、ＳＵＬとＸ軸の中
線をＢＭＬとする。A search is performed from the upper part of the image, and the line where the outline of the person and the line parallel to the X-axis are in contact with each other as shown in FIG. Of the lines that are in contact with the HUL and intersect with the outline of the person and the lines parallel to the Y axis, the left side line in the image is the line FRL representing the right side of the face, and the right side line is the line FLL representing the left side of the face. The FRL is extended vertically, and the point intersecting the outline is frlp (Xf, Yf). In addition, a search is performed from the left side of the image, and a point that is parallel to the Y axis and intersects with the outline of the body is found as tempp (Xt, Yt).
The contour line is searched from frlp to tempp, and the point having the maximum curvature is set as the right shoulder point shp. A line passing through shp and parallel to the X-axis is SUL, and a line parallel to the Y-axis is SHRL. The middle line between FRL and FLL is MCL. A line symmetrical to SHRL about the axis of MCL is SHLL, and a line symmetrical to ERL is ELL. The line parallel to the X-axis at the position of 3/4 of SUL and HUL is NEL, and the middle line between SUL and X-axis is BML.
【００１２】前記ＥＲＬ、ＳＨＲＬ，ＦＲＬ，ＭＣＬ，
ＦＬＬ，ＳＨＬＬ，ＥＬＬ，ＨＵＬ，ＮＥＬ，ＳＵＬ，
ＢＭＬを使って右カメラ、左カメラ画像の領域を図５の
ように分割する。次に図５に示すように前記の線分によ
って生じた交点を求める。右カメラ、左カメラ画像での
同じ交点番号を左右の対応点とする。交点番号０の画像
上の座標値を（Ｘｒ０，Ｙｒ０），（Ｘｌ０，Ｙｌ０）
とすれば、（数３）に代入し、空間位置を計算する。The ERL, SHRL, FRL, MCL,
FLL, SHLL, ELL, HUL, NEL, SUL,
Using BML, the regions of the right camera and left camera images are divided as shown in FIG. Next, as shown in FIG. 5, the intersection point generated by the line segment is obtained. The right and left corresponding points have the same intersection number in the right and left camera images. The coordinate value on the image of intersection number 0 is (Xr0, Yr0), (Xl0, Yl0)
If so, it is substituted into (Equation 3) and the spatial position is calculated.
【００１３】[0013]
【数２】 [Equation 2]
【００１４】同様に全ての交点についても空間位置の計
算をおこなう。その結果に基づいて空間領域コード（０
〜２４）を定義する。空間領域コード（０〜２４）から
ＭＣＬとＳＨＲＬの距離だけ人物の前にある領域を空間
領域コード（２５〜４９）、さらに前方にある領域を空
間領域コード（５０〜７４）と定義し、それぞれの定義
された空間領域は空間領域コードテーブルとして空間の
座標値を格納する。このことにより、図６に示すように
被験者自身の部位に沿った領域（顔、首、胸、腹、顔の
横等）の分割が可能となり、空間領域コードが被験者自
身の部位との対応付けを示すことになる。なおこの領域
コードはデータグローブからの計測データ及びキーボー
ドからの指定でも作成できる。Similarly, spatial positions are calculated for all intersections. Based on the result, the spatial domain code (0
~ 24) are defined. The area in front of the person by the distances of MCL and SHRL from the spatial area code (0 to 24) is defined as the spatial area code (25 to 49), and the area further in front is defined as the spatial area code (50 to 74). The space area defined by stores the space coordinate values as a space area code table. This makes it possible to divide the region (face, neck, chest, abdomen, side of face, etc.) along the subject's part as shown in FIG. 6, and associate the spatial region code with the subject's part. Will be shown. This area code can also be created by measuring data from the data glove and specifying from the keyboard.
【００１５】（ステップ２）顔を示す領域のテンプレー
ト画像を図７に示す。ここでは画像の大きさをｘｆａｃ
ｅ，ｙｆａｃｅとして定義する。テンプレート画像内に
目、耳、口、頬、顎、額、鼻の領域を定義する。前記空
間領域コードの顔を示す領域１１を上記のテンプレート
画像を用いて正規化する。例えば口領域については図７
のテンプレート画像では開始位置（ｘｔ＿ｍ，ｙｔ＿
ｍ）大きさｘｔ＿ｍｌｅｎ，ｙｔ＿ｍｌｅｎとする。(Step 2) FIG. 7 shows a template image of an area showing a face. Here, the size of the image is xfac
It is defined as e, yface. Define eye, ear, mouth, cheek, chin, forehead, and nose areas in the template image. The area 11 showing the face of the spatial area code is normalized using the template image. For example, for the mouth area, see FIG.
In the template image of, the start position (xt_m, yt_
m) Let the size be xt_mlen and yt_mlen.
【００１６】顔を示す空間領域コード１１の大きさが始
点（ｘｆ，ｙｆ）、高さｙｌｅｎ，幅ｘｌｅｎとした
時、正規化をおこなう。、顔の口領域の始点を（ｘｆ＿
ｍｏｕｔｈ，ｙｆ＿ｍｏｕｔｈ）、高さをｘｌｅｎ＿ｍ
ｏｕｔｈ、幅をｙｆｌｅｎ＿ｍｏｕｔｈとすると顔の口
領域は（数３）で表される。When the size of the space area code 11 indicating the face is the starting point (xf, yf), the height ylen, and the width xlen, normalization is performed. , The start point of the mouth area of the face is (xf_
mouth, yf_mouth), the height is xlen_m
If outh and the width are yflen_mouth, the mouth area of the face is expressed by (Equation 3).
【００１７】[0017]
【数３】 [Equation 3]
【００１８】上記と同様に目、耳、頬、顎、額、鼻領域
の計算をおこない、顔領域の分割をおこなう。Similar to the above, the eye, ear, cheek, chin, forehead, and nose areas are calculated, and the face area is divided.
【００１９】（ステップ３）次に色情報をもとに肌色情
報を抜き出した状態を図８に示す。この内てのひらの大
きさを示す閾値に入っている物体をてのひらと特定す
る。てのひらの判定は識別関数ｆｇで（数４）あらわさ
れる。(Step 3) Next, FIG. 8 shows a state in which the skin color information is extracted based on the color information. An object that falls within the threshold value indicating the size of the palm is identified as the palm. The determination of the open palm is expressed by the discriminant function fg (Equation 4).
【００２０】[0020]
【数４】 [Equation 4]
【００２１】よって図８に示すＬａｂ＿１，Ｌａｂ＿２
はてのひらと判定され、それぞれ右てのひら、左てのひ
らが特定される。Therefore, Lab_1 and Lab_2 shown in FIG.
The palm on the right is determined, and the palm on the right and the palm on the left are specified.
【００２２】（ステップ４）図９に時系列的にてのひら
が抽出された状態を示す。時刻Ｔ（ｎ）の時のてのひら
の右カメラの重心を（Ｘｃ１＿ｎ＿ｒ，Ｙｃ１＿ｎ＿
ｒ）、左カメラの重心位置を（Ｘｃ１＿ｎ＿ｌ，Ｙｃ１
＿ｎ＿ｌ）とするとてのひらの空間位置は（数５）で計
算される。(Step 4) FIG. 9 shows a state in which palms are extracted in time series. At time T (n), the center of gravity of the right camera on the palm of the palm is (Xc1_n_r, Yc1_n_
r), the center of gravity of the left camera is (Xc1_n_l, Yc1
_N_l), the spatial position of the palm is calculated by (Equation 5).
【００２３】[0023]
【数５】 [Equation 5]
【００２４】時刻Ｔ（ｎ＋１）の時の重心位置から差分
を計算し、移動距離をｄとすると（数６）で表される。When the difference is calculated from the position of the center of gravity at time T (n + 1) and the moving distance is d, it is expressed by (Equation 6).
【００２５】[0025]
【数６】 [Equation 6]
【００２６】少なくとも右、左どちらかのてのひらの移
動距離ｄが閾値を越えた時、時刻Ｔ（ｎ＋１）を開始タ
イミングとして検出する。At least when the moving distance d of the right or left palm exceeds the threshold value, the time T (n + 1) is detected as the start timing.
【００２７】（ステップ５）ステップ４で抜き出された
少なくとも一方のてのひらの特徴を、（図１０）に示す
ように重心位置（Ｘｃ１＿ｒ（ｌ），Ｙｃｌ＿ｒ
（ｌ））、最大長を示す２点の座標（Ｘｍ１２＿ｒ
（ｌ），Ｙｍ１２＿ｒ（ｌ））（Ｘｍ１１＿ｒ（ｌ），
Ｙｍ１１＿ｒ（ｌ））とＸ軸に平行な線と最大長を示す
２点を結ぶ線との角度θを（表１）に格納する。(Step 5) As shown in (FIG. 10), the characteristics of at least one of the palms extracted in Step 4 are set at the center of gravity (Xc1_r (l), Ycl_r).
(L)), the coordinates of two points indicating the maximum length (Xm12_r
(L), Ym12_r (l)) (Xm11_r (l),
The angle θ between Ym11_r (l)) and the line parallel to the X axis and the line connecting the two points indicating the maximum length is stored in (Table 1).
【００２８】（ステップ６）(Step 6)
【００２９】[0029]
【表１】 [Table 1]
【００３０】次に請求項５に示すようにステップ４で抜
き出されたてのひらの外形線の曲率を（数７）で求め曲
率がある閾値ここでは１を越えた点を多角形の１点とし
て、てのひらを多角形近似する。次に図１１に示すよう
に多角形近似されたてのひらの凸閉包図形を作成する。
凸閉包図形から多角形近似されたてのひらの差分を取
る。この時、凹部があれば図１２に示すように残余図形
が残る。残余図形の曲率最大点を図１２に示すようＰｃ
ｕｒとする。残余図形が１つの時、曲率最大点より最大
長辺へ垂線を下ろし、（数８）に示す識別関数で両側の
辺の比を用いて指示形状かどうかの判定をおこなう。Next, as shown in claim 5, the curvature of the contour line of the fresh palm extracted in step 4 is obtained by (Equation 7), and there is a threshold value of curvature. Here, a point exceeding 1 is defined as one point of the polygon. , The palm is approximated to a polygon. Next, as shown in FIG. 11, a convex closed figure of a freshly approximated polygon is created.
The difference of the freshly-approximated polygons is taken from the convex hull figure. At this time, if there is a concave portion, a residual figure remains as shown in FIG. The maximum curvature point of the residual figure is Pc as shown in FIG.
ur. When there is one residual figure, a perpendicular is drawn from the maximum point of curvature to the longest side, and the discriminant function shown in (Equation 8) is used to determine whether or not the shape is a designated shape by using the ratio of the sides.
【００３１】[0031]
【数７】 [Equation 7]
【００３２】[0032]
【数８】 [Equation 8]
【００３３】図１２に示す図形は識別関数（数８）によ
り指示形状と判定される。
（ステップ７）ステップ４で抽出されたてのひら画像の
形状がステップ７で指示形状と判定された時、ステップ
６で求めた最大長を示す２点の座標の内、最大長を示す
２点を結んだ線分に直交する線分を引き、てのひら領域
を示す長さが少ない方を指示形状の先端位置として検出
する。図１０ではＸｍｒ１＿ｐ，Ｙｍｒ１＿ｐが指示形
状の先端位置と検出される。The figure shown in FIG. 12 is determined to be the indicated shape by the discrimination function (Equation 8). (Step 7) When the shape of the fresh palm image extracted in Step 4 is determined to be the designated shape in Step 7, the two points indicating the maximum length are connected among the coordinates of the two points indicating the maximum length obtained in Step 6. A line segment orthogonal to the elliptical line segment is drawn, and one having a smaller length indicating the palm area is detected as the tip position of the pointing shape. In FIG. 10, Xmr1_p and Ymr1_p are detected as the tip positions of the indicated shape.
【００３４】（ステップ８）ステップ８で求められた指
示形状の先端位置の空間位置を右カメラ、左カメラのて
のひら画像の先端位置の座標（Ｘｍｒ１＿ｐ，Ｙｍｒ１
＿ｐ），（Ｘｍｌ１＿ｐ，Ｙｍｌ１＿ｐ）から（数９）
を用いててのひらの先端位置の空間位置（Ｘｗ＿ｐ，Ｙ
ｗ＿ｐ，Ｚｗ＿ｐ）を計算する。(Step 8) Coordinates (Xmr1_p, Ymr1) of the tip positions of the palm images of the right camera and the left camera with the spatial position of the tip position of the pointing shape obtained in step 8
_P), (Xml1_p, Yml1_p) to (Equation 9)
The spatial position (Xw_p, Y
w_p, Zw_p) is calculated.
【００３５】[0035]
【数９】 [Equation 9]
【００３６】求められた空間位置がステップ２で求めら
れた領域（０〜２４）に相当する時、身体接触位置にあ
ると判定される。また空間位置がステップ２で求められ
た領域（２５〜７４）にある時、てのひらは身体接触位
置にはないと判定される。When the obtained spatial position corresponds to the region (0 to 24) obtained in step 2, it is determined that the body contact position is present. When the spatial position is in the area (25 to 74) obtained in step 2, it is determined that the palm is not in the body contact position.
【００３７】（ステップ９）ステップ７で指示形状では
ないと判定されるか、指示形状であってもステップ９で
身体接触位置ではないと判定された時、てのひらの代表
点として重心位置が登録される。(Step 9) When it is determined in step 7 that the shape is not the designated shape, or even if the designated shape is not the physical contact position in step 9, the center of gravity position is registered as a representative point of the palm. It
【００３８】（ステップ１０）ステップ９で身体接触位
置と判定された時、次に先端位置が顔の内部にあるかど
うかの判定をおこなう。ステップ２で求めた空間領域の
うち領域１１の所にあるものは顔の内部にあると判定さ
れる。(Step 10) When it is determined in step 9 that the body contact position is present, it is next determined whether or not the tip position is inside the face. Of the spatial areas obtained in step 2, the area in area 11 is determined to be inside the face.
【００３９】（ステップ１１）ステップ１１で顔の内部
と判定された時、身体部分はステップ２で求めた顔の空
間領域１１と検出され、ステップ９で検出されたてのひ
らの重心位置が身体位置のどの領域にあるかを検出す
る。(Step 11) When it is determined in step 11 that the inside of the face is present, the body part is detected as the spatial area 11 of the face obtained in step 2, and the position of the center of gravity of the fresh palm detected in step 9 is the body position. Detect which area it is in.
【００４０】（ステップ１２）ステップ１１で顔の内部
を指示、接触していると判定された時、てのひらの代表
点が示す位置がステップ３で検出された顔のどの部位に
相当するかを検出する。(Step 12) When it is determined in step 11 that the inside of the face is instructed and contact is made, it is detected which part of the face detected by step 3 the position indicated by the representative point of the palm corresponds to. To do.
【００４１】（ステップ１３）検出されたてのひら形状
が指示形状で身体に接触して顔の内部にある時、開始動
作位置コードとして身体部位を示す空間領域コードと顔
の部位を示すコードの２種類を登録する。(Step 13) When the newly detected palm shape is in the indicated shape and is in contact with the body and is inside the face, there are two kinds of codes, a spatial region code indicating the body part and a code indicating the face part, as the start motion position code. To register.
【００４２】（ステップ１４）ステップ１４以外のての
ひら形状の時には、てのひらの代表点を示す空間領域コ
ードを開始動作位置コードとして１種類登録する。(Step 14) When the palm shape is other than that in step 14, one type of spatial area code indicating the representative point of the palm is registered as the start operation position code.
【００４３】（ステップ１５）本実施例をおこなうこと
で被験者自身の身体特徴による領域の空間分割が可能と
なり、動作開始位置が被験者との相対位置で表現するこ
とが可能となり、また身体の１部を意識的に指している
時その時の指示形状を判定することで正しい開始動作位
置を特定することが出来る。(Step 15) By carrying out this embodiment, it is possible to spatially divide the region according to the body characteristics of the subject, and the movement start position can be expressed by the relative position with respect to the subject. When consciously pointing to, the correct starting motion position can be specified by determining the pointing shape at that time.
【００４４】（実施例２）実施例１に述べているステッ
プ３の代わりに、抽出された身体領域の中の顔領域の色
情報をもとに目、口の領域を検出し、その重心位置を求
める。重心位置よりある閾値をもとに目領域、口領域を
決定する。(Second Embodiment) Instead of step 3 described in the first embodiment, the eye and mouth regions are detected based on the color information of the face region in the extracted body region, and the barycentric position thereof is detected. Ask for. The eye region and the mouth region are determined based on a certain threshold from the position of the center of gravity.
【００４５】一例として検出された図１６にしめすよう
に右目の重心位置を（ｘｒｅ＿ｃｅｎ，ｙｒｅ＿ｃｅ
ｎ）とすると右目領域の開始点、高さ、幅をそれぞれ
ｏ’’（ｘｆ＿ｒｅｙｅ，ｙｆ＿ｒｅｙｅ），ｘｌｅｎ
＿ｒｅｙｅ，ｙｌｅｎ＿ｒｅｙｒとするとそれぞれ（数
１０）で表される。As shown in FIG. 16, which is detected as an example, the center of gravity of the right eye is (xre_cen, yre_ce).
n), the start point, height, and width of the right-eye area are o ″ (xf_reye, yf_reye), xlen, respectively.
If _reye and ylen_reyr, then they are respectively expressed by (Equation 10).
【００４６】[0046]
【数１０】 [Equation 10]
【００４７】同様に左目に関しても計算をおこなう。口
領域の重心位置を（ｘｍ＿ｃｅｎ，ｙｍ＿ｃｅｎ）とす
ると口領域の開始点、高さ、幅をそれぞれｐ’’（ｘｆ
＿ｍ，ｙｆ＿ｍ），ｍ＿ｘｌｅｎ，ｍ＿ｙｌｅｎとする
とそれぞれ（数１１）で表される。Similarly, the left eye is also calculated. If the position of the center of gravity of the mouth area is (xm_cen, ym_cen), the start point, height, and width of the mouth area are p ″ (xf
_M, yf_m), m_xlen, and m_ylen are represented by (Equation 11).
【００４８】[0048]
【数１１】 [Equation 11]
【００４９】上記の目領域、口領域の位置関係より耳、
額、顎、鼻、頬領域を計算する。耳、額、顎、鼻の領域
開始位置をそれぞれｑ’’（ｘｆ＿ｒｅａｒ，ｙｆ＿ｒ
ｅａｒ），ｒ’’（ｘｆ＿ｈｅａｄ，ｙｆ＿ｈｅａ
ｄ），ｔ’’（ｘｆ＿ｃｈｉｎ，ｙｆ＿ｃｈｉｎ），
ｓ’’（ｘｆ＿ｎｏｓｅ，ｙｆ＿ｎｏｓｅ）とし、幅を
それぞれｘｌｅｎ＿ｅａｒ，ｘｌｅｎ＿ｈｅａｄ，ｘｌ
ｅｎ＿ｃｈｉｎ，ｘｌｅｎ＿ｎｏｓｅとし、高さをｙｌ
ｅｎ＿ｅａｒ，ｙｌｅｎ＿ｈｅａｄ，ｙｌｅｎ＿ｃｈｉ
ｎ，ｙｌｅｎ＿ｎｏｓｅとすると、右耳領域は（数１
２）で額領域は（数１３）で、顎領域は（数１４）で、
鼻領域は（数１５）で表される。From the above-mentioned positional relationship between the eye area and the mouth area,
Calculate forehead, chin, nose and cheek areas. The ear, forehead, chin, and nose area start positions are q ″ (xf_rear, yf_r
ear), r '' (xf_head, yf_hea
d), t '' (xf_chin, yf_chin),
s ″ (xf_nose, yf_nose) and the widths are xlen_ear, xlen_head, xl, respectively.
en_chin, xlen_nose, and height is yl
en_ear, ylen_head, ylen_chi
If n, ylen_nose, the right ear region is (Equation 1
In 2), the forehead area is (Equation 13), the jaw area is (Equation 14),
The nose area is represented by (Equation 15).
【００５０】[0050]
【数１２】 [Equation 12]
【００５１】[0051]
【数１３】 [Equation 13]
【００５２】[0052]
【数１４】 [Equation 14]
【００５３】[0053]
【数１５】 [Equation 15]
【００５４】顔領域の中でそれ以外の領域を頬領域とす
る。本実施例により、目、耳、頬、顎、額、鼻領域の少
なくとも１つの顔領域の分割をおこなう。実施例１のス
テップ３以外は実施例１と同じとする。A region other than the face region is defined as a cheek region. According to this embodiment, at least one face area of the eyes, ears, cheeks, chin, forehead, and nose area is divided. The procedure is the same as that of the first embodiment except step 3 of the first embodiment.
【００５５】本実施例をおこなうことで顔の中の目、口
を抽出し、被験者に応じた顔の領域分割が可能となる。By carrying out the present embodiment, it is possible to extract the eyes and mouth in the face and divide the face into areas according to the subject.
【００５６】（実施例３）実施例１に示した上記ステッ
プ５の開始タイミングの代わりに、時系列に抽出された
てのひらの画像の隣合うフレーム間で（数１６）で表さ
れた式で、画像間の相関を取る。相関値がある任意の値
より低い時、ステップ５で重心位置の移動距離が任意の
閾値以内であっても動作の開始タイミングとし、位置が
同じ場所にあっても手形状の変化で動作開始のタイミン
グを取ることができる。ステップ５以外は実施例１と同
じとする。(Embodiment 3) Instead of the start timing of the above step 5 shown in Embodiment 1, the expression expressed by (Equation 16) is used between adjacent frames of the freshly extracted image of the palm, Correlate images. When the correlation value is lower than an arbitrary value, the operation start timing is set in step 5 even if the moving distance of the center of gravity position is within an arbitrary threshold value, and even if the position is the same, the operation is started by the change of the hand shape. You can get the timing. The steps other than step 5 are the same as those in the first embodiment.
【００５７】[0057]
【数１６】 [Equation 16]
【００５８】画像間の輝度値の相関を取ることにより、
てのひらの重心が動いてなくても形状の変化があった時
にも動作の開始タイミングにすることができる。By taking the correlation of the brightness value between the images,
Even when the center of gravity of the palm is not moved, the operation start timing can be set even when the shape changes.
【００５９】（実施例４）実施例のステップ７の変わり
に請求項６に記したアルゴリズムを図１３に示した。
（表１）の最大長を示す座標同士を直線で結ぶ。(Embodiment 4) An algorithm described in claim 6 is shown in FIG. 13 instead of step 7 of the embodiment.
The coordinates indicating the maximum length in (Table 1) are connected by a straight line.
【００６０】（ステップａ）最大長を示す座標の内１点
を中心にθ度アフィン変換をおこなう。アフィン変換が
おこなわれた後の図を図１４に示す。(Step a) θ degree affine transformation is performed centering on one of the coordinates showing the maximum length. FIG. 14 shows a diagram after the affine transformation is performed.
【００６１】（ステップｂ）アフィン変換後の画像にＹ
軸に平行な線を引き、画像のてのひらを示す部分の長さ
を計測する。この時、Ｙ軸に平行な線が反転した回数を
検出する。(Step b) Y is added to the image after affine transformation.
Draw a line parallel to the axis and measure the length of the part showing the palm of the image. At this time, the number of times the line parallel to the Y axis is inverted is detected.
【００６２】（ステップｃ）反転回数が３回以上のライ
ンが存在する時、上記のてのひら形状は非指示形状とし
て判定される。反転回数が２回の時、曲率を求めるモジ
ュールへ進む。(Step c) When there is a line whose number of inversions is 3 or more, the above palm shape is determined as a non-designated shape. When the number of inversions is 2, the process proceeds to the module for obtaining the curvature.
【００６３】（ステップｄ）アフィン変換後の図形のて
のひらの長さを計測した図形の曲率を計算し、閾値を越
えた点を多角形の頂点の１点とし、多角形近似をおこな
う。多角形近似された画像を図１５に示す。(Step d) The curvature of the figure in which the length of the palm of the figure after the affine transformation is measured is calculated, and the point exceeding the threshold value is set as one of the vertices of the polygon, and the polygon is approximated. FIG. 15 shows a polygon-approximated image.
【００６４】（ステップｅ）図１５に示された画像の頂
点の中で順番にＹ座標がある閾値以内に存在する頂点の
グループ化をおこなう。図１５の画像では頂点１，２，
３，４がグループ１に、頂点５がグループ２に頂点６，
７がグループ３に頂点８，９がグループ４に登録され
る。(Step e) Among the vertices of the image shown in FIG. 15, the vertices whose Y coordinates are present within a certain threshold value are grouped in order. In the image of FIG. 15, vertices 1, 2,
3, 4 are in group 1, vertex 5 is in group 2, vertex 6,
7 is registered in group 3, and vertices 8 and 9 are registered in group 4.
【００６５】（ステップｆ）上記で求められたグループ
のＸ軸に平行な長さをそれぞれｘｌｅｎ１，ｘｌｅｎ
２，ｘｌｅｎ３，ｘｌｅｎ４とし、その時のＹ座標の平
均をｈｉｇｈ１，ｈｉｇｈ２，ｈｉｇｈ３，ｈｉｇｈ４
とし、グループの位置関係を（表２）に格納する。(Step f) The lengths of the groups obtained above parallel to the X-axis are xlen1 and xlen, respectively.
2, xlen3, xlen4, and the average of the Y coordinates at that time is high1, high2, high3, high4.
Then, the positional relationship of the groups is stored in (Table 2).
【００６６】（ステップｇ）(Step g)
【００６７】[0067]
【表２】 [Table 2]
【００６８】表２の値を取り出し、識別関数（数１７）
によって指示形状かどうか判定させる。図１５に示され
るアフィン変換後の図形は指示形状と判定される。The values in Table 2 are taken out and the discrimination function (Equation 17) is used.
Check to see if it is the indicated shape. The figure after the affine transformation shown in FIG. 15 is determined to be the designated shape.
【００６９】[0069]
【数１７】 [Equation 17]
【００７０】（ステップｈ）実施例１のステップ７以外
については実施例１と同じ方法を取る。上記の指示形状
の判定を用いることにより、身体の部位を特定している
時に正しい動作開始位置を検出することができる。(Step h) The same method as in Example 1 is adopted except for Step 7 in Example 1. By using the determination of the pointing shape described above, the correct operation start position can be detected when the body part is specified.
【００７１】（実施例５）実施例１のステップ７の代わ
りに指示形状を判定するアルゴリズムを示した図を図１
７に記す。ステップ４で抽出されたてのひら画像を任意
の回数、縮退処理をかけた図を図１８に示す。次に縮退
をかけた回数分、拡輻処理をかける。拡輻処理をかけた
図を図１９に示す。もとのてのひら画像より拡幅画像の
差分を取る。残った画像を図２０に示す。差分画像の特
徴を取り、ラベリングの個数が１個であり、長さが任意
の閾値以上であれば、実施例１に示されたステップ４で
抽出されたてのひら画像を指示形状と判定をおこなう。
実施例１のステップ７以外は実施例１と同じ方法を取
る。(Embodiment 5) FIG. 1 is a diagram showing an algorithm for determining a designated shape instead of step 7 of Embodiment 1.
Note in 7. FIG. 18 shows a diagram in which the fresh palm image extracted in step 4 has been subjected to the degeneration process any number of times. Next, the spread processing is applied for the number of times of degeneration. FIG. 19 shows a diagram subjected to the spread processing. The difference of the widened image is taken from the original horizontal image. The remaining image is shown in FIG. If the feature of the difference image is taken, the number of labelings is one, and the length is not less than an arbitrary threshold value, the fresh palm image extracted in step 4 shown in the first embodiment is determined as the designated shape.
The same method as in Example 1 is used except for Step 7 in Example 1.
【００７２】上記の指示形状の判定方法を用いることに
より、より簡単に指示形状を検出することが可能にな
る。By using the above-described pointing shape determining method, it becomes possible to detect the pointing shape more easily.
【００７３】[0073]
【発明の効果】被験者の身体に沿って空間領域の分割を
おこなっていることで、被験者が違っても同一開始位置
領域で登録することが可能となり、手動作の開始タイミ
ング時に被験者の身体部位を指し示す形状を検出するこ
とにより、被験者自身が意図して始めた開始動作位置を
特定することが可能となる。[Effects of the Invention] Since the spatial region is divided along the body of the subject, it is possible to register at the same start position region even when the subject is different, and the body part of the subject can be registered at the start timing of the manual operation. By detecting the pointing shape, it is possible to specify the starting motion position that the subject himself started.
【００７４】顔領域のテンプレート画像を１つ用意し、
実際に抽出された画像によって正規化をすることが出
来、登録しておく顔の部位の領域を最小限に押えること
が出来る。Prepare one template image of the face area,
It is possible to perform normalization by the actually extracted image, and it is possible to minimize the area of the face part to be registered.
【００７５】被験者自身の抽出された顔領域の色情報に
より、顔の部位を計算で特定することが出来、テンプレ
ート画像を登録する必要がなくなり、被験者に応じた顔
領域の分割が可能となる。With the color information of the extracted face area of the subject himself / herself, the face part can be specified by calculation, it is not necessary to register the template image, and the face area can be divided according to the subject.
【００７６】てのひら領域のフレーム間での画像の相関
をとることにより、てのひらが動いていなくともてのひ
らの形状に変化があったところを動作の開始タイミング
とすることが出来る。By correlating the images between the frames of the palm area, the position where the palm shape changes even when the palm is not moving can be used as the operation start timing.
【００７７】てのひらの代表点を身体の一部を指し示し
ている形状を判定することにより、開始動作位置の正確
な位置の特定が可能となる。By determining the shape in which the representative point of the palm is pointing to a part of the body, it is possible to accurately specify the starting operation position.
【図１】第１の実施例のアルゴリズムを示すフローチャ
ートFIG. 1 is a flowchart showing an algorithm of a first embodiment.
【図２】第１の実施例の人物を抜き出した背景差分画像
を示す図FIG. 2 is a diagram illustrating a background difference image in which a person is extracted according to the first embodiment.
【図３】第１の実施例に示される身体外形線を示す図FIG. 3 is a diagram showing body contour lines shown in the first embodiment.
【図４】第１の実施例に示される身体検出線を示す図FIG. 4 is a diagram showing a body detection line shown in the first embodiment.
【図５】第１の実施例の領域分割図と交点を示す図FIG. 5 is a diagram showing a region division diagram and intersections according to the first embodiment.
【図６】第１の実施例の空間領域分割をおこなったこと
を示す図FIG. 6 is a diagram showing that the spatial region division according to the first embodiment is performed.
【図７】第１の実施例の顔各部位テンプレート画像を示
す図FIG. 7 is a diagram showing a template image of each face part according to the first embodiment.
【図８】第１の実施例の肌色情報を抜き出した状態を示
す図FIG. 8 is a diagram showing a state in which skin color information of the first embodiment is extracted.
【図９】第１の実施例の時系列にてのひらが抜き出され
た状態を示す図FIG. 9 is a diagram showing a state in which a palm is extracted in a time series of the first embodiment.
【図１０】第１の実施例のてのひらの特徴検出されたこ
とを示す図FIG. 10 is a diagram showing that the features of the palm of the first embodiment have been detected.
【図１１】第１の実施例の多角形近似されたてのひら＋
てのひら凸閉包図形を示す図FIG. 11 is a polygon-approximated palm of the first embodiment +
Figure showing the palm convex shape
【図１２】第１の実施例の残余図形を示す図FIG. 12 is a diagram showing a residual graphic according to the first embodiment.
【図１３】第４の実施例の指示形状判定アルゴリズムの
フローチャートFIG. 13 is a flowchart of the pointing shape determination algorithm of the fourth embodiment.
【図１４】第４の実施例のアフィン変換後のてのひら図
形を示す図FIG. 14 is a diagram showing a palm figure after affine transformation according to a fourth embodiment.
【図１５】第４の実施例の多角形近似されたアフィン変
換後の図形を示す図FIG. 15 is a diagram showing a polygon-approximated figure after the affine transformation of the fourth embodiment.
【図１６】第２の実施例の顔部位抽出画像を示す図FIG. 16 is a diagram showing a face part extraction image of the second embodiment.
【図１７】第５の実施例のアルゴリズムのフローチャー
トFIG. 17 is a flowchart of the algorithm of the fifth embodiment.
【図１８】第５の実施例のてのひらを縮退させたのを示
す図FIG. 18 is a diagram showing a retracted palm of the fifth embodiment.
【図１９】第５の実施例の縮退画像を拡輻処理させたこ
とを示す図FIG. 19 is a diagram showing that the degenerated image of the fifth embodiment has been subjected to spread processing.
【図２０】第５の実施例のてのひら画像より拡輻画像の
差分を取った画像を示す図FIG. 20 is a diagram showing an image obtained by subtracting the spread image from the palm image of the fifth embodiment.
Ｘｗ，Ｙｗ，Ｚｗ 画像交点の空間位置座標
（Ｘｒ０，Ｙｒ０） 右カメラの交点番号０の座標
（Ｘｌ０，Ｙｌ０） 左カメラの交点番号０の座標
ＥＲＬ（ＥｌｂｏｗＲｉｇｈｔＬｉｎｅ） 右肘を示す
線
ＳＨＲＬ（ＳｈｏｕｌｄｅｒＲｉｇｈｔＬｉｎｅ） 右
肩を示す線
ＦＲＬ（ＦａｃｅＲｉｇｈｔＬｉｎｅ） 顔の右側を示
す線
ＭＣＬ（ＭｉｄｄｌｅＣｅｎｔｅｒＬｉｎｅ） 体の中
心を示す線
ＦＬＬ（ＦａｃｅＬｅｆｔＬｉｎｅ） 顔の左側を示す
線
ＳＨＬＬ（ＳｈｏｕｌｄｅｒＬｅｆｔＬｉｎｅ） 肩の
左側を示す線
ＥＬＬ（ＥｌｂｏｗＬｅｆｔＬｉｎｅ） 左肘を示す線
ＳＵＬ（ＳｈｏｕｌｄｅｒＵｐｐｅｒＬｉｎｅ） 肩の
上部を示す線
ｓｈｐ（ＳｈｏｕｌｄｅｒＰｏｉｎｔ） 肩の位置を示
すポイント
ｆｒｌｐ（ＦａｃｅＲｉｇｈｔＬｉｎｅＰｏｉｎｔ）
ＦＲＬを垂直に伸ばした外形線と交わった線
ｔｅｍｐｐ（ＴｅｍｐｏｒａｒｙＰｏｉｎｔ） 身体が
Ｙ軸に平行な線と最初に接した線
ｘｆａｃｅ テンプレート画像での顔領域のＸ方向の長
さ
ｙｆａｃｅ テンプレート画像での顔領域のＹ方向の長
さ
（ｘｔ＿ｍ，ｙｔ＿ｍ） テンプレート画像での口領域
の開始位置
ｘｔ＿ｍｌｅｎ テンプレート画像での口領域のＸ方向
の長さ
ｙｔ＿ｍｌｅｎ テンプレート画像での口領域のＹ方向
の長さ
（ｘｆ，ｙｆ） 抽出画像での顔領域の始点
ｘｌｅｎ 抽出画像での顔領域のｘｌｅｎ方向の長さ
ｙｌｅｎ 抽出画像での顔領域のｙｌｅｎ方向の長さ
（ｘｆ＿ｍｏｕｔｈ，ｙｆ＿ｍｏｕｔｈ） 抽出画像の
口領域の始点を示す座標
ｘｌｅｎ＿ｍｏｕｔｈ 抽出画像の口領域のＸ方向の長
さ
ｙｌｅｎ＿ｍｏｕｔｈ 抽出画像の口領域のＹ方向の長
さ
ｏ’ｏ’’ 右目領域の先頭アドレス
ｐ，ｐ’，ｐ’’ 口領域の先頭アドレス
ｑ’，ｑ’’ 右耳領域の先頭アドレス
ｒ，ｒ’，ｒ’’ 額領域の先頭アドレス
ｓ’，ｓ’’ 鼻領域の先頭アドレス
ｔ’，ｔ’’ 顎領域の先頭アドレス
Ｌａｂ＿１，Ｌａｂ＿２ 右，左てのひら領域
Ｌａｂ＿３ 顔を示す領域
（Ｘｃ１＿ｎ＿ｒ，Ｙｃ１＿ｎ＿ｒ） 右カメラのｎフ
レームの右てのひらを示す重心位置
（Ｘｃ１＿ｎ＿ｌ，Ｙｃ１＿ｎ＿ｌ） 左カメラのｎフ
レームの右てのひらを示す重心位置
（Ｘｃ１＿ｎ＋１＿ｒ，Ｙｃ１＿ｎ＋１＿ｒ） 右カメ
ラのｎ＋１フレームの右てのひらを示す重心位置
（Ｘｃ１＿ｎ＋１＿ｌ，Ｙｃ１＿ｎ＋１＿ｌ） 左カメ
ラのｎ＋１フレームの左てのひらを示す重心位置
（Ｘｍ１１＿ｒ（ｌ），Ｙｍ１１＿ｒ（ｌ）） 右
（左）カメラのてのひらの最大長を示す点の座標
（Ｘｍ１２＿ｒ（ｌ），Ｙｍ１２＿ｒ（ｌ）） 右
（左）カメラのてのひらの最大長を示す点の座標
（Ｘｗ＿ｐ，Ｙｗ＿ｐ，Ｚｗ＿ｐ） てのひら先端の空
間座標Xw, Yw, Zw Spatial position coordinates (Xr0, Yr0) of the intersection point of the right camera (Xl0, Yl0) Coordinates of the intersection point number 0 of the left camera ERL (ElbowRightLine) Line showing the right elbow SHRL (ShoulderRightLine) Line showing right shoulder FRL (FaceRightLine) line showing right side of face MCL (MiddleCenterLine) line showing center of body FLL (FaceLeftLine) line showing left side of face SHLL (ShoulderLeftLine) line showing left side of shoulder ELL left (ELL) Line indicating the elbow SUL (ShoulderUpperLine) Line indicating the upper part of the shoulder shp (ShoulderPoint) Point indicating the position of the shoulder frlp (FaceRightLineP) int)
A line that intersects the contour line that extends FRL vertically. Tempp (TemporaryPoint) The line that the body first touches the line parallel to the Y axis. Xface The length of the face area in the template image in the X direction. The face area in the yface template image. In the Y direction (xt_m, yt_m) Start position of the mouth area in the template image xt_mlen Length of the mouth area in the X direction in the template image yt_mlen Length of the mouth area in the Y direction in the template image (xf, yf ) Start point xlen of the face area in the extracted image Length of the face area in the xlen direction in the extracted image ylen Length of the face area in the ylen direction in the extracted image (xf_mouth, yf_mouth) Coordinates indicating the start point of the mouth area of the extracted image xlen_mout Extraction of the length of the mouth area of the extracted image in the X direction ylen_mouth Length of the mouth area of the image in the Y direction o'o '' right eye area start address p, p ', p''mouth area start address q', q '' right ear area start address r, r ', r '' forehead area start address s ', s''nose area start address t', t '' jaw area start address Lab_1, Lab_2 right, left palm area Lab_3 face area (Xc1_n_r, Yc1_n_r) right camera Center position (Xc1_n_l, Yc1_n_l) indicating the right palm of the nth frame of the left camera Center of gravity position (Xc1_n + 1_r, Yc1_n + 1_r) indicating the right palm of the nth frame of the left camera (Xc1_n + 1_l_l_l, left) Center of gravity position (Xm11_r (l), Ym11_r (l)) indicating the left palm of the camera n + 1 frame Right (left Maximum point indicating the length coordinates of the palm of the camera (Xm12_r (l), Ym12_r (l)) Right (Left) camera maximum point indicating the length coordinates of the palm (Xw_p, Yw_p, Zw_p) palm tip spatial coordinates of
フロントページの続き (56)参考文献 特開 平２−144675（ＪＰ，Ａ) 特開 平７−282235（ＪＰ，Ａ) 特開 平８−320920（ＪＰ，Ａ) 松尾英明外３名，非接触による手話動 作の認識アルゴリズム，Ｈｕｍａｎ Ｉ ｎｔｅｒｆａｃｅ Ｎｅｗｓ ａｎｄ Ｒｅｐｏｒｔ，社団法人計測自動制御学 会，1995年 １月23日，Ｖｏｌ．10，Ｎ ｏ．１，ｐｐ．41−46 (58)調査した分野(Int.Cl.7，ＤＢ名) G06T 7/00 - 7/60 G06T 1/00 G09B 21/00 ＪＳＴＰｌｕｓファイル（ＪＯＩＳ)Continuation of the front page (56) References JP-A-2-144675 (JP, A) JP-A-7-282235 (JP, A) JP-A-8-320920 (JP, A) Matsuo Hideaki Outside 3 people, non-contact Sign Language Motion Recognition Algorithm, Human Interface News and Report, The Society of Instrument and Control Engineers, January 23, 1995, Vol. 10, No. 1, pp. 41-46 (58) Fields investigated (Int.Cl. 7 , DB name) G06T 7 /00-7/60 G06T 1/00 G09B 21/00 JST Plus file (JOIS)
Claims (7)
者の画像と前記被験者が写っていない同じ場所を写した
背景との画像を差分することにより、前記被験者の身体
を抜きだすステップと、 前記抜き出された記被験者の身体部位に沿って空間領域
を分割するステップと、 前記空間領域の顔を示す領域を特定領域に分割するステ
ップと、 少なくとも右、左いずれかのてのひらの画像を抽出する
ステップと、 前記てのひらの画像の重心を検出し、時間的に後ろに存
在するフレーム間での前記重心位置がずれた時、動作開
始タイミングとして検出するステップと、 前記てのひら画像の前記重心位置、最大長を示す２点の
座標を先端候補位置として格納するステップと、 前記てのひら画像の形状が身体の一部を特定している指
示形状かを判定するステップと、 前記指示形状でなければ重心位置をてのひらの代表点と
するステップと、 前記てのひら画像の形状が指示形状の時、前記２点の先
端位置候補の内手領域が少ない点を前記てのひらの先端
位置として、前記てのひらの代表点とするステップと、 前記てのひらの代表点が前記被験者の顔を示す領域かを
判定し、前記顔の領域を示さない時、前記先端位置が前
記分割された空間領域のどこにあるかを特定し、動作開
始位置コードを１種類登録するステップと、 前記先端位置の代表点が前記被験者の顔の領域を示す領
域を示す時、前記先端位置が前記顔領域の目、耳、唇、
頬、額、顎、鼻のどこにあるかを特定し、前記分割され
た空間の身体部位は顔として特定し、動作開始位置コー
ドを２種類登録するステップを有する手話動作の動作開
始位置検出方法。1. In the motion start position detection of a sign language motion, by subtracting at least the image of a subject whose upper body is imaged by a compound-eye camera and an image of a background showing the same place where the subject is not photographed, A step of extracting the body of the subject, a step of dividing the spatial region along the extracted body part of the subject, a step of dividing the region showing the face of the spatial region into a specific region, at least the right, A step of extracting an image of one of the left palms, a center of gravity of the image of the palm of the left is detected, and a step of detecting as a motion start timing when the barycentric position is displaced between frames that are temporally behind, and Storing the barycentric position of the palm image and the coordinates of two points indicating the maximum length as the tip candidate position; A step of determining whether the shape is a pointing shape that specifies a part of the body, a step of setting the center of gravity as a representative point of the palm if not the pointing shape, and when the shape of the palm image is the pointing shape, the The step of setting the point having a small inner hand area of two tip position candidates as the tip position of the palm, and setting the representative point of the palm as a representative point of the palm is an area showing the face of the subject, When the face area is not shown, a step of specifying where the tip position is in the divided space area and registering one kind of motion start position code; and a representative point of the tip position is the subject's face. When indicating a region indicating a region, the tip position is the eyes, ears, lips of the face region,
A method for detecting a motion start position of a sign language motion, comprising the steps of specifying where on the cheek, forehead, chin, and nose, specifying the body part in the divided space as a face, and registering two types of motion start position codes.
するステップは、 目、耳、唇、頬、額、顎、鼻の少なくとも１つの領域を
モデル化したテンプレート顔領域の空間を準備し、顔の
空間領域の大きさに合わせて前記テンプレート画像を拡
大、縮小することにより、前記顔の空間領域を分割する
請求項１記載の動作開始位置検出方法。2. A step of dividing a region showing a face in a spatial region into specific regions includes preparing a space of a template face region modeling at least one region of eyes, ears, lips, cheeks, foreheads, chins and noses. The operation start position detecting method according to claim 1, wherein the space area of the face is divided by enlarging and reducing the template image according to the size of the space area of the face.
するステップは、 前記空間領域の顔を示す領域の色情報により、目、唇を
抜きだし、前記目、唇の位置関係より、耳、顎、頬、
鼻、額の少なくとも１つの領域を示し、前記顔の空間領
域を分割する請求項１記載の動作開始位置検出方法。3. The step of dividing the area showing the face of the spatial area into specific areas extracts the eyes and lips based on the color information of the area showing the face of the spatial area, and based on the positional relationship between the eyes and the lips, Ears, chin, cheeks,
The operation start position detecting method according to claim 1, wherein at least one area of a nose and a forehead is shown, and the space area of the face is divided.
は、 てのひら画像の抽出領域の連続したフレーム間で自己相
関を取り、任意の閾値を越えた時に動作開始タイミング
とする請求項１記載の動作開始位置検出方法。4. The operation start position according to claim 1, wherein the step of detecting the operation start timing takes an autocorrelation between consecutive frames of all the palm image extraction areas, and sets the operation start timing when an arbitrary threshold value is exceeded. Detection method.
定するステップをてのひら画像の外郭線の曲率を取り、
ある閾値を越えた点を多角形の一点として前記てのひら
を多角形近似し、前記多角形の角を凸部、凹部に分類
し、凹部の角が１つもしくは２つのみ存在する時、前記
指示形状として判定する請求項１記載の動作開始位置検
出方法。5. The curvature of the outer contour line of the palm image obtained by the step of determining whether the shape is a pointing shape that specifies a part of the body,
The palm is approximated to a polygon with a point exceeding a certain threshold as one point of the polygon, and the corners of the polygon are classified into a convex portion and a concave portion, and when the concave portion has only one or two corners, the instruction The operation start position detecting method according to claim 1, wherein the method is determined as a shape.
定するステップは、 てのひら画像の最大長を示す２点の座標を通る直線とＸ
軸との角度を計算し、前記最大長を示す２点の内１点を
中心として前記てのひら画像を前記角度だけアフィン変
換をおこない、前記アフィン変換後のてのひら画像のＹ
軸に対する射影をおこない、前記Ｙ軸に対する射影画像
の曲率計算をおこない、ある閾値を越えた点を多角形の
頂点として検出し、多角形近似をおこない、Ｙ軸の値が
任意の閾値内のグループになる時、前記グループ間の関
係より、前記てのひら画像の形状を前記指示形状として
判定する請求項１記載の動作開始検出方法。6. The step of determining whether it is a pointing shape that specifies a part of the body is a straight line passing through the coordinates of two points indicating the maximum length of the palm image and X.
The angle with respect to the axis is calculated, and the palm image is affine-transformed by the angle around one of the two points indicating the maximum length, and Y of the palm image after the affine transformation is calculated.
The projection of the axis is performed, the curvature of the projected image is calculated for the Y axis, the points exceeding a certain threshold are detected as the vertices of the polygon, the polygon approximation is performed, and the value of the Y axis is a group within an arbitrary threshold. 2. The operation start detection method according to claim 1, wherein the shape of the palm image is determined as the designated shape based on the relationship between the groups.
定するステップは、 てのひらの画像を任意の回数、縮退処理をかけ、てのひ
ら縮退画像を作成し、前記てのひら縮退画像を前記任意
回数分拡輻処理をかけた復元画像を前記てのひら画像か
ら差分を取り、てのひら差分画像を作成し、前記てのひ
ら差分画像のラベリング処理をおこない、ラベリング数
が１つで、長さが任意の閾値以上の時、前記てのひら画
像の形状を前記指示形状として判定する請求項１記載の
動作開始検出方法。7. The step of determining whether the shape is a pointing shape that specifies a part of the body is subjected to degeneration processing of the palm image for any number of times to create a degenerate image of the palm image, and the degenerated image of the palm image is the arbitrary image. The restored image that has been subjected to the diffusion process for the number of times is subtracted from the palm image to create a palm difference image, and the palm difference image is labeled. The number of labels is one and the length is equal to or greater than an arbitrary threshold value. The operation start detecting method according to claim 1, wherein at the time of, the shape of the palm image is determined as the designated shape.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19015495A JP3440641B2 (en) | 1995-07-26 | 1995-07-26 | Operation start position detection method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19015495A JP3440641B2 (en) | 1995-07-26 | 1995-07-26 | Operation start position detection method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0944668A JPH0944668A (en) | 1997-02-14 |
| JP3440641B2 true JP3440641B2 (en) | 2003-08-25 |
Family
ID=16253326
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP19015495A Expired - Fee Related JP3440641B2 (en) | 1995-07-26 | 1995-07-26 | Operation start position detection method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3440641B2 (en) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE69936620T2 (en) | 1998-09-28 | 2008-05-21 | Matsushita Electric Industrial Co., Ltd., Kadoma | Method and device for segmenting hand gestures |
| CN101055620B (en) * | 2006-04-12 | 2011-04-06 | 富士通株式会社 | Shape comparison device and method |
| JP4929109B2 (en) * | 2007-09-25 | 2012-05-09 | 株式会社東芝 | Gesture recognition apparatus and method |
| JP4719826B2 (en) | 2009-06-08 | 2011-07-06 | パナソニック株式会社 | Work recognition device |
| JP5762251B2 (en) * | 2011-11-07 | 2015-08-12 | 株式会社パスコ | Building contour extracting device, building contour extracting method, and building contour extracting program |
| JP6349800B2 (en) * | 2014-03-12 | 2018-07-04 | オムロン株式会社 | Gesture recognition device and method for controlling gesture recognition device |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2779448B2 (en) * | 1988-11-25 | 1998-07-23 | 株式会社エイ・ティ・アール通信システム研究所 | Sign language converter |
| JPH07282235A (en) * | 1994-04-15 | 1995-10-27 | Matsushita Electric Ind Co Ltd | Operation recognition device |
| JPH08320920A (en) * | 1995-05-24 | 1996-12-03 | Matsushita Electric Ind Co Ltd | Device and method for hand operation recognition |
-
1995
- 1995-07-26 JP JP19015495A patent/JP3440641B2/en not_active Expired - Fee Related
Non-Patent Citations (1)
| Title |
|---|
| 松尾英明外３名，非接触による手話動作の認識アルゴリズム，Ｈｕｍａｎ Ｉｎｔｅｒｆａｃｅ Ｎｅｗｓ ａｎｄ Ｒｅｐｏｒｔ，社団法人計測自動制御学会，１９９５年 １月２３日，Ｖｏｌ．１０，Ｎｏ．１，ｐｐ．４１−４６ |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0944668A (en) | 1997-02-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ahmed et al. | Vision based hand gesture recognition using dynamic time warping for Indian sign language | |
| Zhou et al. | A novel finger and hand pose estimation technique for real-time hand gesture recognition | |
| Oka et al. | Real-time tracking of multiple fingertips and gesture recognition for augmented desk interface systems | |
| US6215890B1 (en) | Hand gesture recognizing device | |
| CN101561710B (en) | Man-machine interaction method based on estimation of human face posture | |
| JP4653606B2 (en) | Image recognition apparatus, method and program | |
| JP7015152B2 (en) | Processing equipment, methods and programs related to key point data | |
| CN109145802B (en) | Kinect-based multi-person gesture man-machine interaction method and device | |
| CN114072839A (en) | Hierarchical motion representation and extraction in monocular still camera video | |
| Pattanaworapan et al. | Signer-independence finger alphabet recognition using discrete wavelet transform and area level run lengths | |
| JP3440641B2 (en) | Operation start position detection method | |
| JPH08287216A (en) | In-face position recognizing method | |
| CN112185515A (en) | Patient auxiliary system based on action recognition | |
| Marzec et al. | Methods of face localization in thermograms | |
| JPH07282235A (en) | Operation recognition device | |
| JP4203279B2 (en) | Attention determination device | |
| JP2001005973A (en) | Method and device for estimating three-dimensional posture of person by color image | |
| JP3144400B2 (en) | Gesture recognition device and method | |
| JPH11174948A (en) | Manual operation confirming device | |
| JP3440644B2 (en) | Hand motion recognition device | |
| JP4063556B2 (en) | Facial image recognition apparatus and method | |
| JPH09305743A (en) | Human face motion detecting system | |
| Vančo et al. | Gesture identification for system navigation in 3D scene | |
| CN115223240A (en) | Motion real-time counting method and system based on dynamic time warping algorithm | |
| Grzejszczak et al. | Tracking of dynamic gesture fingertips position in video sequence |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080620 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090620 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100620 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |