JPH0944668A

JPH0944668A - 動作開始位置検出方法

Info

Publication number: JPH0944668A
Application number: JP7190154A
Authority: JP
Inventors: Hideaki Matsuo; 英明松尾
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1995-07-26
Filing date: 1995-07-26
Publication date: 1997-02-14
Anticipated expiration: 2015-07-26
Also published as: JP3440641B2

Abstract

(57)【要約】【目的】被験者の身体特徴に沿って空間領域を分割
し、被験者が身体の一部を指す指示形状を検出すること
により、被験者の意図する動作の開始位置を検出するこ
とを目的とする。【構成】被験者の上半身を撮影する手段と被験者の身
体を抜き出す手段と、被験者の身体に沿って領域分割を
する手段と顔の分割をする手段と動作の開始タイミング
を検出する手段とてのひらを抜き出す手段とてのひら形
状が指示形状かを判定する手段とてのひら代表点を重心
位置か指先の先端位置とするかを決定する手段を備えた
動作開始位置検出方法。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は人間の身振りや手振りの
認識をおこない、認識結果に基づいて人間と機械のイン
ターフェースをおこない、指示装置や手話動作認識など
に利用可能な動作の開始位置検出方法に関する。

【０００２】

【従来の技術】人間の身振り、手振りを理解する方法の
中で、動作の開始位置を特定する時に、題名：「動き情
報の検出とヒューマンインターフェースへの応用」（Ｈ
Ｃ９１−３３：待井康弘他：電子情報通信学会信学技報
ヒューマンコミュニケーション：１９９１年）のように
任意の絶対空間の座標を使った位置の特定方式が従来使
われ、また開始位置の代表点として、検出された任意の
物体の重心位置を代表点としている。

【０００３】

【発明が解決しようとする課題】従来の技術で任意の絶
対空間の座標を使った時には、被験者が違った時に体の
大きさが違うなどで、特定された開始位置の座標値が意
味を持たなくなり、また被験者毎にデータベースを持っ
たのでは、被験者の数に比例してデータベースの数が多
くなってしまうという課題がある。また開始位置の代表
点として重心位置のみを取った時には、被験者が唇に意
味があって指さしても、てのひらの重心位置を取ると、
重心位置では首付近を表していることになり、正しく被
験者が意図する位置が代表点となっていない。

【０００４】そこで、本発明では開始位置を検出するた
めの空間を、撮影された被験者の身体特徴によって分割
し、開始動作位置を被験者との相対位置で表現すること
が出来、被験者が代わった時にも開始動作位置を特定す
ることが出来、また被験者が、身体の任意の部分を意識
的に指し示した時、指の先端部をてのひらの代表点とす
ることにより被験者の意図を開始動作位置に反映するこ
とが可能となることを目的とする。

【０００５】

【課題を解決するための手段】上記目的を達成するため
に、本出願発明は少なくとも被験者の上半身を複眼式カ
メラにより撮影する手段と撮影された被験者の身体を抜
き出す手段と、被験者自身の部位に沿った空間領域分割
手段と、顔の中の各部位に沿って領域を分割する手段
と、少なくとも右左どちらかのてのひらを抽出する手段
と、動作の開始タイミングを検出する手段と、てのひら
画像の特徴を抜き出す手段と、てのひら形状が指示形状
かを判定する手段と、顔の中をてのひらが指しているか
を判定する手段と、てのひらの代表点を重心位置とする
か指先の先端位置とするかを決定する手段と検出された
開始動作位置を登録する手段を備えた動作開始位置検出
方法である。

【０００６】

【作用】本発明の開始動作位置検出方法では、被験者の
身体特徴に沿って空間領域を分割することにより、被験
者が代わった時も同じ開始動作位置のデータベースを使
用することが出来、被験者が示したてのひらの形状が指
示形状かどうかを判定することにより、被験者が意図す
る開始動作位置を検出することが可能になる。

【０００７】

【実施例】

（実施例１）この発明の１実施例の動作について図１の
フローチャートに沿って説明する。図２に示すように少
なくとも人物の上半身が撮影されている画像から背景の
みの画像の差分を取り人物を抜き出す。

【０００８】（ステップ１）ステップ１で抜き出した身
体画像を識別関数ｆｇを用いて２値化する。

【０００９】

【数１】

【００１０】なお、閾値に関しては光源の違いにより値
が変わってくるので可変とする。次に身体の外郭線をエ
ッジ抽出フィルタを用い、身体の外郭線を（図３）に示
すように抜き出す。

【００１１】画像の上部より探索をおこない、図４に示
すように人物の外形線とＸ軸に平行な線とが接した線を
身体の頭を表す線、ＨＵＬとする。ＨＵＬに接し、人物
の外形線とＹ軸に平行な線が交わる線の中で画像中左側
の線を、顔の右側を表す線ＦＲＬ、右側の線を顔の左側
を表す線ＦＬＬとする。ＦＲＬを垂直に伸ばし、外形線
と交わった点をｆｒｌｐ（Ｘｆ，Ｙｆ）とする。また画
像中の左側から探索をおこない、Ｙ軸に平行で身体の外
形線と交わる点をｔｅｍｐｐ（Ｘｔ，Ｙｔ）を求める。
ｆｒｌｐからｔｅｍｐｐ迄外形線を探索し、曲率が最大
の点を右肩の点ｓｈｐとする。ｓｈｐを通り、Ｘ軸に平
行な線をＳＵＬ、Ｙ軸に平行な線をＳＨＲＬとする。ま
たＦＲＬとＦＬＬの中線をＭＣＬとする。ＭＣＬの軸を
中心としてＳＨＲＬに対称な線をＳＨＬＬ、ＥＲＬに対
象な線をＥＬＬとする。またＳＵＬとＨＵＬの３／４の
位置にあるＸ軸に平行な線をＮＥＬ、ＳＵＬとＸ軸の中
線をＢＭＬとする。

【００１２】前記ＥＲＬ、ＳＨＲＬ，ＦＲＬ，ＭＣＬ，
ＦＬＬ，ＳＨＬＬ，ＥＬＬ，ＨＵＬ，ＮＥＬ，ＳＵＬ，
ＢＭＬを使って右カメラ、左カメラ画像の領域を図５の
ように分割する。次に図５に示すように前記の線分によ
って生じた交点を求める。右カメラ、左カメラ画像での
同じ交点番号を左右の対応点とする。交点番号０の画像
上の座標値を（Ｘｒ０，Ｙｒ０），（Ｘｌ０，Ｙｌ０）
とすれば、（数３）に代入し、空間位置を計算する。

【００１３】

【数２】

【００１４】同様に全ての交点についても空間位置の計
算をおこなう。その結果に基づいて空間領域コード（０
〜２４）を定義する。空間領域コード（０〜２４）から
ＭＣＬとＳＨＲＬの距離だけ人物の前にある領域を空間
領域コード（２５〜４９）、さらに前方にある領域を空
間領域コード（５０〜７４）と定義し、それぞれの定義
された空間領域は空間領域コードテーブルとして空間の
座標値を格納する。このことにより、図６に示すように
被験者自身の部位に沿った領域（顔、首、胸、腹、顔の
横等）の分割が可能となり、空間領域コードが被験者自
身の部位との対応付けを示すことになる。なおこの領域
コードはデータグローブからの計測データ及びキーボー
ドからの指定でも作成できる。

【００１５】（ステップ２）顔を示す領域のテンプレー
ト画像を図７に示す。ここでは画像の大きさをｘｆａｃ
ｅ，ｙｆａｃｅとして定義する。テンプレート画像内に
目、耳、口、頬、顎、額、鼻の領域を定義する。前記空
間領域コードの顔を示す領域１１を上記のテンプレート
画像を用いて正規化する。例えば口領域については図７
のテンプレート画像では開始位置（ｘｔ＿ｍ，ｙｔ＿
ｍ）大きさｘｔ＿ｍｌｅｎ，ｙｔ＿ｍｌｅｎとする。

【００１６】顔を示す空間領域コード１１の大きさが始
点（ｘｆ，ｙｆ）、高さｙｌｅｎ，幅ｘｌｅｎとした
時、正規化をおこなう。、顔の口領域の始点を（ｘｆ＿
ｍｏｕｔｈ，ｙｆ＿ｍｏｕｔｈ）、高さをｘｌｅｎ＿ｍ
ｏｕｔｈ、幅をｙｆｌｅｎ＿ｍｏｕｔｈとすると顔の口
領域は（数３）で表される。

【００１７】

【数３】

【００１８】上記と同様に目、耳、頬、顎、額、鼻領域
の計算をおこない、顔領域の分割をおこなう。

【００１９】（ステップ３）次に色情報をもとに肌色情
報を抜き出した状態を図８に示す。この内てのひらの大
きさを示す閾値に入っている物体をてのひらと特定す
る。てのひらの判定は識別関数ｆｇで（数４）あらわさ
れる。

【００２０】

【数４】

【００２１】よって図８に示すＬａｂ＿１，Ｌａｂ＿２
はてのひらと判定され、それぞれ右てのひら、左てのひ
らが特定される。

【００２２】（ステップ４）図９に時系列的にてのひら
が抽出された状態を示す。時刻Ｔ（ｎ）の時のてのひら
の右カメラの重心を（Ｘｃ１＿ｎ＿ｒ，Ｙｃ１＿ｎ＿
ｒ）、左カメラの重心位置を（Ｘｃ１＿ｎ＿ｌ，Ｙｃ１
＿ｎ＿ｌ）とするとてのひらの空間位置は（数５）で計
算される。

【００２３】

【数５】

【００２４】時刻Ｔ（ｎ＋１）の時の重心位置から差分
を計算し、移動距離をｄとすると（数６）で表される。

【００２５】

【数６】

【００２６】少なくとも右、左どちらかのてのひらの移
動距離ｄが閾値を越えた時、時刻Ｔ（ｎ＋１）を開始タ
イミングとして検出する。

【００２７】（ステップ５）ステップ４で抜き出された
少なくとも一方のてのひらの特徴を、（図１０）に示す
ように重心位置（Ｘｃ１＿ｒ（ｌ），Ｙｃｌ＿ｒ
（ｌ））、最大長を示す２点の座標（Ｘｍ１２＿ｒ
（ｌ），Ｙｍ１２＿ｒ（ｌ））（Ｘｍ１１＿ｒ（ｌ），
Ｙｍ１１＿ｒ（ｌ））とＸ軸に平行な線と最大長を示す
２点を結ぶ線との角度θを（表１）に格納する。

【００２８】（ステップ６）

【００２９】

【表１】

【００３０】次に請求項５に示すようにステップ４で抜
き出されたてのひらの外形線の曲率を（数７）で求め曲
率がある閾値ここでは１を越えた点を多角形の１点とし
て、てのひらを多角形近似する。次に図１１に示すよう
に多角形近似されたてのひらの凸閉包図形を作成する。
凸閉包図形から多角形近似されたてのひらの差分を取
る。この時、凹部があれば図１２に示すように残余図形
が残る。残余図形の曲率最大点を図１２に示すようＰｃ
ｕｒとする。残余図形が１つの時、曲率最大点より最大
長辺へ垂線を下ろし、（数８）に示す識別関数で両側の
辺の比を用いて指示形状かどうかの判定をおこなう。

【００３１】

【数７】

【００３２】

【数８】

【００３３】図１２に示す図形は識別関数（数８）によ
り指示形状と判定される。（ステップ７）ステップ４で抽出されたてのひら画像の
形状がステップ７で指示形状と判定された時、ステップ
６で求めた最大長を示す２点の座標の内、最大長を示す
２点を結んだ線分に直交する線分を引き、てのひら領域
を示す長さが少ない方を指示形状の先端位置として検出
する。図１０ではＸｍｒ１＿ｐ，Ｙｍｒ１＿ｐが指示形
状の先端位置と検出される。

【００３４】（ステップ８）ステップ８で求められた指
示形状の先端位置の空間位置を右カメラ、左カメラのて
のひら画像の先端位置の座標（Ｘｍｒ１＿ｐ，Ｙｍｒ１
＿ｐ），（Ｘｍｌ１＿ｐ，Ｙｍｌ１＿ｐ）から（数９）
を用いててのひらの先端位置の空間位置（Ｘｗ＿ｐ，Ｙ
ｗ＿ｐ，Ｚｗ＿ｐ）を計算する。

【００３５】

【数９】

【００３６】求められた空間位置がステップ２で求めら
れた領域（０〜２４）に相当する時、身体接触位置にあ
ると判定される。また空間位置がステップ２で求められ
た領域（２５〜７４）にある時、てのひらは身体接触位
置にはないと判定される。

【００３７】（ステップ９）ステップ７で指示形状では
ないと判定されるか、指示形状であってもステップ９で
身体接触位置ではないと判定された時、てのひらの代表
点として重心位置が登録される。

【００３８】（ステップ１０）ステップ９で身体接触位
置と判定された時、次に先端位置が顔の内部にあるかど
うかの判定をおこなう。ステップ２で求めた空間領域の
うち領域１１の所にあるものは顔の内部にあると判定さ
れる。

【００３９】（ステップ１１）ステップ１１で顔の内部
と判定された時、身体部分はステップ２で求めた顔の空
間領域１１と検出され、ステップ９で検出されたてのひ
らの重心位置が身体位置のどの領域にあるかを検出す
る。

【００４０】（ステップ１２）ステップ１１で顔の内部
を指示、接触していると判定された時、てのひらの代表
点が示す位置がステップ３で検出された顔のどの部位に
相当するかを検出する。

【００４１】（ステップ１３）検出されたてのひら形状
が指示形状で身体に接触して顔の内部にある時、開始動
作位置コードとして身体部位を示す空間領域コードと顔
の部位を示すコードの２種類を登録する。

【００４２】（ステップ１４）ステップ１４以外のての
ひら形状の時には、てのひらの代表点を示す空間領域コ
ードを開始動作位置コードとして１種類登録する。

【００４３】（ステップ１５）本実施例をおこなうこと
で被験者自身の身体特徴による領域の空間分割が可能と
なり、動作開始位置が被験者との相対位置で表現するこ
とが可能となり、また身体の１部を意識的に指している
時その時の指示形状を判定することで正しい開始動作位
置を特定することが出来る。

【００４４】（実施例２）実施例１に述べているステッ
プ３の代わりに、抽出された身体領域の中の顔領域の色
情報をもとに目、口の領域を検出し、その重心位置を求
める。重心位置よりある閾値をもとに目領域、口領域を
決定する。

【００４５】一例として検出された図１６にしめすよう
に右目の重心位置を（ｘｒｅ＿ｃｅｎ，ｙｒｅ＿ｃｅ
ｎ）とすると右目領域の開始点、高さ、幅をそれぞれ
ｏ’’（ｘｆ＿ｒｅｙｅ，ｙｆ＿ｒｅｙｅ），ｘｌｅｎ
＿ｒｅｙｅ，ｙｌｅｎ＿ｒｅｙｒとするとそれぞれ（数
１０）で表される。

【００４６】

【数１０】

【００４７】同様に左目に関しても計算をおこなう。口
領域の重心位置を（ｘｍ＿ｃｅｎ，ｙｍ＿ｃｅｎ）とす
ると口領域の開始点、高さ、幅をそれぞれｐ’’（ｘｆ
＿ｍ，ｙｆ＿ｍ），ｍ＿ｘｌｅｎ，ｍ＿ｙｌｅｎとする
とそれぞれ（数１１）で表される。

【００４８】

【数１１】

【００４９】上記の目領域、口領域の位置関係より耳、
額、顎、鼻、頬領域を計算する。耳、額、顎、鼻の領域
開始位置をそれぞれｑ’’（ｘｆ＿ｒｅａｒ，ｙｆ＿ｒ
ｅａｒ），ｒ’’（ｘｆ＿ｈｅａｄ，ｙｆ＿ｈｅａ
ｄ），ｔ’’（ｘｆ＿ｃｈｉｎ，ｙｆ＿ｃｈｉｎ），
ｓ’’（ｘｆ＿ｎｏｓｅ，ｙｆ＿ｎｏｓｅ）とし、幅を
それぞれｘｌｅｎ＿ｅａｒ，ｘｌｅｎ＿ｈｅａｄ，ｘｌ
ｅｎ＿ｃｈｉｎ，ｘｌｅｎ＿ｎｏｓｅとし、高さをｙｌ
ｅｎ＿ｅａｒ，ｙｌｅｎ＿ｈｅａｄ，ｙｌｅｎ＿ｃｈｉ
ｎ，ｙｌｅｎ＿ｎｏｓｅとすると、右耳領域は（数１
２）で額領域は（数１３）で、顎領域は（数１４）で、
鼻領域は（数１５）で表される。

【００５０】

【数１２】

【００５１】

【数１３】

【００５２】

【数１４】

【００５３】

【数１５】

【００５４】顔領域の中でそれ以外の領域を頬領域とす
る。本実施例により、目、耳、頬、顎、額、鼻領域の少
なくとも１つの顔領域の分割をおこなう。実施例１のス
テップ３以外は実施例１と同じとする。

【００５５】本実施例をおこなうことで顔の中の目、口
を抽出し、被験者に応じた顔の領域分割が可能となる。

【００５６】（実施例３）実施例１に示した上記ステッ
プ５の開始タイミングの代わりに、時系列に抽出された
てのひらの画像の隣合うフレーム間で（数１６）で表さ
れた式で、画像間の相関を取る。相関値がある任意の値
より低い時、ステップ５で重心位置の移動距離が任意の
閾値以内であっても動作の開始タイミングとし、位置が
同じ場所にあっても手形状の変化で動作開始のタイミン
グを取ることができる。ステップ５以外は実施例１と同
じとする。

【００５７】

【数１６】

【００５８】画像間の輝度値の相関を取ることにより、
てのひらの重心が動いてなくても形状の変化があった時
にも動作の開始タイミングにすることができる。

【００５９】（実施例４）実施例のステップ７の変わり
に請求項６に記したアルゴリズムを図１３に示した。
（表１）の最大長を示す座標同士を直線で結ぶ。

【００６０】（ステップａ）最大長を示す座標の内１点
を中心にθ度アフィン変換をおこなう。アフィン変換が
おこなわれた後の図を図１４に示す。

【００６１】（ステップｂ）アフィン変換後の画像にＹ
軸に平行な線を引き、画像のてのひらを示す部分の長さ
を計測する。この時、Ｙ軸に平行な線が反転した回数を
検出する。

【００６２】（ステップｃ）反転回数が３回以上のライ
ンが存在する時、上記のてのひら形状は非指示形状とし
て判定される。反転回数が２回の時、曲率を求めるモジ
ュールへ進む。

【００６３】（ステップｄ）アフィン変換後の図形のて
のひらの長さを計測した図形の曲率を計算し、閾値を越
えた点を多角形の頂点の１点とし、多角形近似をおこな
う。多角形近似された画像を図１５に示す。

【００６４】（ステップｅ）図１５に示された画像の頂
点の中で順番にＹ座標がある閾値以内に存在する頂点の
グループ化をおこなう。図１５の画像では頂点１，２，
３，４がグループ１に、頂点５がグループ２に頂点６，
７がグループ３に頂点８，９がグループ４に登録され
る。

【００６５】（ステップｆ）上記で求められたグループ
のＸ軸に平行な長さをそれぞれｘｌｅｎ１，ｘｌｅｎ
２，ｘｌｅｎ３，ｘｌｅｎ４とし、その時のＹ座標の平
均をｈｉｇｈ１，ｈｉｇｈ２，ｈｉｇｈ３，ｈｉｇｈ４
とし、グループの位置関係を（表２）に格納する。

【００６６】（ステップｇ）

【００６７】

【表２】

【００６８】表２の値を取り出し、識別関数（数１７）
によって指示形状かどうか判定させる。図１５に示され
るアフィン変換後の図形は指示形状と判定される。

【００６９】

【数１７】

【００７０】（ステップｈ）実施例１のステップ７以外
については実施例１と同じ方法を取る。上記の指示形状
の判定を用いることにより、身体の部位を特定している
時に正しい動作開始位置を検出することができる。

【００７１】（実施例５）実施例１のステップ７の代わ
りに指示形状を判定するアルゴリズムを示した図を図１
７に記す。ステップ４で抽出されたてのひら画像を任意
の回数、縮退処理をかけた図を図１８に示す。次に縮退
をかけた回数分、拡輻処理をかける。拡輻処理をかけた
図を図１９に示す。もとのてのひら画像より拡幅画像の
差分を取る。残った画像を図２０に示す。差分画像の特
徴を取り、ラベリングの個数が１個であり、長さが任意
の閾値以上であれば、実施例１に示されたステップ４で
抽出されたてのひら画像を指示形状と判定をおこなう。
実施例１のステップ７以外は実施例１と同じ方法を取
る。

【００７２】上記の指示形状の判定方法を用いることに
より、より簡単に指示形状を検出することが可能にな
る。

【００７３】

【発明の効果】被験者の身体に沿って空間領域の分割を
おこなっていることで、被験者が違っても同一開始位置
領域で登録することが可能となり、手動作の開始タイミ
ング時に被験者の身体部位を指し示す形状を検出するこ
とにより、被験者自身が意図して始めた開始動作位置を
特定することが可能となる。

【００７４】顔領域のテンプレート画像を１つ用意し、
実際に抽出された画像によって正規化をすることが出
来、登録しておく顔の部位の領域を最小限に押えること
が出来る。

【００７５】被験者自身の抽出された顔領域の色情報に
より、顔の部位を計算で特定することが出来、テンプレ
ート画像を登録する必要がなくなり、被験者に応じた顔
領域の分割が可能となる。

【００７６】てのひら領域のフレーム間での画像の相関
をとることにより、てのひらが動いていなくともてのひ
らの形状に変化があったところを動作の開始タイミング
とすることが出来る。

【００７７】てのひらの代表点を身体の一部を指し示し
ている形状を判定することにより、開始動作位置の正確
な位置の特定が可能となる。

【図面の簡単な説明】

【図１】第１の実施例のアルゴリズムを示すフローチャ
ート

【図２】第１の実施例の人物を抜き出した背景差分画像
を示す図

【図３】第１の実施例に示される身体外形線を示す図

【図４】第１の実施例に示される身体検出線を示す図

【図５】第１の実施例の領域分割図と交点を示す図

【図６】第１の実施例の空間領域分割をおこなったこと
を示す図

【図７】第１の実施例の顔各部位テンプレート画像を示
す図

【図８】第１の実施例の肌色情報を抜き出した状態を示
す図

【図９】第１の実施例の時系列にてのひらが抜き出され
た状態を示す図

【図１０】第１の実施例のてのひらの特徴検出されたこ
とを示す図

【図１１】第１の実施例の多角形近似されたてのひら＋
てのひら凸閉包図形を示す図

【図１２】第１の実施例の残余図形を示す図

【図１３】第４の実施例の指示形状判定アルゴリズムの
フローチャート

【図１４】第４の実施例のアフィン変換後のてのひら図
形を示す図

【図１５】第４の実施例の多角形近似されたアフィン変
換後の図形を示す図

【図１６】第２の実施例の顔部位抽出画像を示す図

【図１７】第５の実施例のアルゴリズムのフローチャー
ト

【図１８】第５の実施例のてのひらを縮退させたのを示
す図

【図１９】第５の実施例の縮退画像を拡輻処理させたこ
とを示す図

【図２０】第５の実施例のてのひら画像より拡輻画像の
差分を取った画像を示す図

【符号の説明】

Ｘｗ，Ｙｗ，Ｚｗ画像交点の空間位置座標（Ｘｒ０，Ｙｒ０）右カメラの交点番号０の座標（Ｘｌ０，Ｙｌ０）左カメラの交点番号０の座標ＥＲＬ（ＥｌｂｏｗＲｉｇｈｔＬｉｎｅ）右肘を示す
線ＳＨＲＬ（ＳｈｏｕｌｄｅｒＲｉｇｈｔＬｉｎｅ）右
肩を示す線ＦＲＬ（ＦａｃｅＲｉｇｈｔＬｉｎｅ）顔の右側を示
す線ＭＣＬ（ＭｉｄｄｌｅＣｅｎｔｅｒＬｉｎｅ）体の中
心を示す線ＦＬＬ（ＦａｃｅＬｅｆｔＬｉｎｅ）顔の左側を示す
線ＳＨＬＬ（ＳｈｏｕｌｄｅｒＬｅｆｔＬｉｎｅ）肩の
左側を示す線ＥＬＬ（ＥｌｂｏｗＬｅｆｔＬｉｎｅ）左肘を示す線ＳＵＬ（ＳｈｏｕｌｄｅｒＵｐｐｅｒＬｉｎｅ）肩の
上部を示す線ｓｈｐ（ＳｈｏｕｌｄｅｒＰｏｉｎｔ）肩の位置を示
すポイントｆｒｌｐ（ＦａｃｅＲｉｇｈｔＬｉｎｅＰｏｉｎｔ）
ＦＲＬを垂直に伸ばした外形線と交わった線ｔｅｍｐｐ（ＴｅｍｐｏｒａｒｙＰｏｉｎｔ）身体が
Ｙ軸に平行な線と最初に接した線ｘｆａｃｅテンプレート画像での顔領域のＸ方向の長
さｙｆａｃｅテンプレート画像での顔領域のＹ方向の長
さ（ｘｔ＿ｍ，ｙｔ＿ｍ）テンプレート画像での口領域
の開始位置ｘｔ＿ｍｌｅｎテンプレート画像での口領域のＸ方向
の長さｙｔ＿ｍｌｅｎテンプレート画像での口領域のＹ方向
の長さ（ｘｆ，ｙｆ）抽出画像での顔領域の始点ｘｌｅｎ抽出画像での顔領域のｘｌｅｎ方向の長さｙｌｅｎ抽出画像での顔領域のｙｌｅｎ方向の長さ（ｘｆ＿ｍｏｕｔｈ，ｙｆ＿ｍｏｕｔｈ）抽出画像の
口領域の始点を示す座標ｘｌｅｎ＿ｍｏｕｔｈ抽出画像の口領域のＸ方向の長
さｙｌｅｎ＿ｍｏｕｔｈ抽出画像の口領域のＹ方向の長
さｏ’ｏ’’ 右目領域の先頭アドレスｐ，ｐ’，ｐ’’ 口領域の先頭アドレスｑ’，ｑ’’ 右耳領域の先頭アドレスｒ，ｒ’，ｒ’’ 額領域の先頭アドレスｓ’，ｓ’’ 鼻領域の先頭アドレスｔ’，ｔ’’ 顎領域の先頭アドレスＬａｂ＿１，Ｌａｂ＿２右，左てのひら領域Ｌａｂ＿３顔を示す領域（Ｘｃ１＿ｎ＿ｒ，Ｙｃ１＿ｎ＿ｒ）右カメラのｎフ
レームの右てのひらを示す重心位置（Ｘｃ１＿ｎ＿ｌ，Ｙｃ１＿ｎ＿ｌ）左カメラのｎフ
レームの右てのひらを示す重心位置（Ｘｃ１＿ｎ＋１＿ｒ，Ｙｃ１＿ｎ＋１＿ｒ）右カメ
ラのｎ＋１フレームの右てのひらを示す重心位置（Ｘｃ１＿ｎ＋１＿ｌ，Ｙｃ１＿ｎ＋１＿ｌ）左カメ
ラのｎ＋１フレームの左てのひらを示す重心位置（Ｘｍ１１＿ｒ（ｌ），Ｙｍ１１＿ｒ（ｌ））右
（左）カメラのてのひらの最大長を示す点の座標（Ｘｍ１２＿ｒ（ｌ），Ｙｍ１２＿ｒ（ｌ））右
（左）カメラのてのひらの最大長を示す点の座標（Ｘｗ＿ｐ，Ｙｗ＿ｐ，Ｚｗ＿ｐ）てのひら先端の空
間座標

Claims

【特許請求の範囲】

【請求項１】手話動作の動作開始位置検出において、少なくとも上半身を複眼式カメラにより撮像された被験
者の画像と前記被験者が写っていない同じ場所を写した
背景との画像を差分することにより、前記被験者の身体
を抜きだすステップと、前記抜き出された記被験者の身体部位に沿って空間領域
を分割するステップと、前記空間領域の顔を示す領域を特定領域に分割するステ
ップと、少なくとも右、左いずれかのてのひらの画像を抽出する
ステップと、前記てのひらの画像の重心を検出し、時間的に後ろに存
在するフレーム間での前記重心位置がずれた時、動作開
始タイミングとして検出するステップと、前記てのひら画像の前記重心位置、最大長を示す２点の
座標を先端候補位置として格納するステップと、前記てのひら画像の形状が身体の一部を特定している指
示形状かを判定するステップと、前記指示形状でなければ重心位置をてのひらの代表点と
するステップと、前記てのひら画像の形状が指示形状の時、前記２点の先
端位置候補の内手領域が少ない点を前記てのひらの先端
位置として、前記てのひらの代表点とするステップと、前記てのひらの代表点が前記被験者の顔を示す領域かを
判定し、前記顔の領域を示さない時、前記先端位置が前
記分割された空間領域のどこにあるかを特定し、動作開
始位置コードを１種類登録するステップと、前記先端位置の代表点が前記被験者の顔の領域を示す領
域を示す時、前記先端位置が前記顔領域の目、耳、唇、
頬、額、顎、鼻のどこにあるかを特定し、前記分割され
た空間の身体部位は顔として特定し、動作開始位置コー
ドを２種類登録するステップを有する手話動作の動作開
始位置検出方法。
【請求項２】空間領域の顔を示す領域を特定領域に分割
するステップは、目、耳、唇、頬、額、顎、鼻の少なくとも１つの領域を
モデル化したテンプレート顔領域の空間を準備し、顔の
空間領域の大きさに合わせて前記テンプレート画像を拡
大、縮小することにより、前記顔の空間領域を分割する
請求項１記載の動作開始位置検出方法。
【請求項３】空間領域の顔を示す領域を特定領域に分割
するステップは、前記空間領域の顔を示す領域の色情報により、目、唇を
抜きだし、前記目、唇の位置関係より、耳、顎、頬、
鼻、額の少なくとも１つの領域を示し、前記顔の空間領
域を分割する請求項１記載の動作開始位置検出方法。
【請求項４】動作開始タイミングを検出するステップ
は、てのひら画像の抽出領域の連続したフレーム間で自己相
関を取り、任意の閾値を越えた時に動作開始タイミング
とする請求項１記載の動作開始位置検出方法。
【請求項５】身体の一部を特定している指示形状かを判
定するステップをてのひら画像の外郭線の曲率を取り、
ある閾値を越えた点を多角形の一点として前記てのひら
を多角形近似し、前記多角形の角を凸部、凹部に分類
し、凹部の角が１つもしくは２つのみ存在する時、前記
指示形状として判定する請求項１記載の動作開始位置検
出方法。
【請求項６】身体の一部を特定している指示形状かを判
定するステップは、てのひら画像の最大長を示す２点の座標を通る直線とＸ
軸との角度を計算し、前記最大長を示す２点の内１点を
中心として前記てのひら画像を前記角度だけアフィン変
換をおこない、前記アフィン変換後のてのひら画像のＹ
軸に対する射影をおこない、前記Ｙ軸に対する射影画像
の曲率計算をおこない、ある閾値を越えた点を多角形の
頂点として検出し、多角形近似をおこない、Ｙ軸の値が
任意の閾値内のグループになる時、前記グループ間の関
係より、前記てのひら画像の形状を前記指示形状として
判定する請求項１記載の動作開始検出方法。
【請求項７】身体の一部を特定している指示形状かを判
定するステップは、てのひらの画像を任意の回数、縮退処理をかけ、てのひ
ら縮退画像を作成し、前記てのひら縮退画像を前記任意
回数分拡輻処理をかけた復元画像を前記てのひら画像か
ら差分を取り、てのひら差分画像を作成し、前記てのひ
ら差分画像のラベリング処理をおこない、ラベリング数
が１つで、長さが任意の閾値以上の時、前記てのひら画
像の形状を前記指示形状として判定する請求項１記載の
動作開始検出方法。