JPH1063864A - 手振り認識装置 - Google Patents
手振り認識装置Info
- Publication number
- JPH1063864A JPH1063864A JP8221168A JP22116896A JPH1063864A JP H1063864 A JPH1063864 A JP H1063864A JP 8221168 A JP8221168 A JP 8221168A JP 22116896 A JP22116896 A JP 22116896A JP H1063864 A JPH1063864 A JP H1063864A
- Authority
- JP
- Japan
- Prior art keywords
- hand
- center
- gravity
- rotation angle
- palm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 手の形状によらず、手の回転角を検出して手
の姿勢を安定して認識できる手振り認識装置を提供す
る。 【解決手段】 手のひらをモデル化した楕円体モデルを
用意し、手の画像上において手の重心から輪郭までの最
短距離を示す重心スケルトン値ｓ1 〜ｓk を距離変換部
５１〜５ｋで算出し、そのような重心スケルトン値ｓ1
〜ｓk が得られる確率が最大になる回転角を楕円体モデ
ルを用いて最尤法により回転角検出部７で推定する。
の姿勢を安定して認識できる手振り認識装置を提供す
る。 【解決手段】 手のひらをモデル化した楕円体モデルを
用意し、手の画像上において手の重心から輪郭までの最
短距離を示す重心スケルトン値ｓ1 〜ｓk を距離変換部
５１〜５ｋで算出し、そのような重心スケルトン値ｓ1
〜ｓk が得られる確率が最大になる回転角を楕円体モデ
ルを用いて最尤法により回転角検出部７で推定する。
Description
【０００１】
【発明の属する技術分野】この発明は手振り認識装置に
関し、さらに詳しくは、手のひらを予めモデル化した手
のひらモデルを用いて手の姿勢を実時間で認識する手振
り認識装置に関する。
関し、さらに詳しくは、手のひらを予めモデル化した手
のひらモデルを用いて手の姿勢を実時間で認識する手振
り認識装置に関する。
【０００２】
【従来の技術】近年、新しいマン−マシンインタフェー
スの構築を目指し、仮想空間提示システムの研究が進め
られている。これまで提案されてきた仮想空間提示シス
テムの多くでは、立体画像表示におけるＨＭＤ（ヘッド
マウントディスプレイ）のように利用者が特殊な装置を
身に付ける必要があった。手振りの認識についても、セ
ンサを付加した特殊な手袋の着用が一般的で、着脱の煩
雑さなど、使用者への負担が大きかった。これに対し、
上記と同等のシステムを非着装で実現することが目指さ
れており、手振り認識に関してはビジョンベースの手振
り認識装置が提案され、その開発が進められている。
スの構築を目指し、仮想空間提示システムの研究が進め
られている。これまで提案されてきた仮想空間提示シス
テムの多くでは、立体画像表示におけるＨＭＤ（ヘッド
マウントディスプレイ）のように利用者が特殊な装置を
身に付ける必要があった。手振りの認識についても、セ
ンサを付加した特殊な手袋の着用が一般的で、着脱の煩
雑さなど、使用者への負担が大きかった。これに対し、
上記と同等のシステムを非着装で実現することが目指さ
れており、手振り認識に関してはビジョンベースの手振
り認識装置が提案され、その開発が進められている。
【０００３】中嶋らは、指先と指の付け根からなるモデ
ルを用い単眼で指の動きを追跡した（中嶋正之，柴広
有，仮想現実世界構築のための指の動き検出法，グラフ
ィックスとＣＡＤ６７−６，ｐｐ．４１−４６，１９９
４）。しかし、必要な特徴点の検出のために特殊なマー
カーの貼付を必要とし、また単眼であるため復元精度が
高くない。
ルを用い単眼で指の動きを追跡した（中嶋正之，柴広
有，仮想現実世界構築のための指の動き検出法，グラフ
ィックスとＣＡＤ６７−６，ｐｐ．４１−４６，１９９
４）。しかし、必要な特徴点の検出のために特殊なマー
カーの貼付を必要とし、また単眼であるため復元精度が
高くない。
【０００４】岩井らは、時系列の２値画像を用いて、単
眼で３次元復元を行なった（岩井儀雄，八木康史，谷内
田正彦，Virtual reality のための拳の運動復元，信学
技報ＰＲＵ９３−５７，ｐｐ．２３−３０，１９９
３）。この方法は多フレーム間の対応付けによる姿勢復
元が可能であるが、累積誤差が大きくなる。
眼で３次元復元を行なった（岩井儀雄，八木康史，谷内
田正彦，Virtual reality のための拳の運動復元，信学
技報ＰＲＵ９３−５７，ｐｐ．２３−３０，１９９
３）。この方法は多フレーム間の対応付けによる姿勢復
元が可能であるが、累積誤差が大きくなる。
【０００５】岡村らは、予めいくつかのジェスチャにつ
いて指の長さ等の特徴量を用意し、それとの照合を行な
うことでジェスチャ認識を行なった（岡村泉，隅元昭，
非接触手形状認識とその応用，信学技報ＨＣ９３−６，
ｐｐ．３１−３８，１９９３）。この方法では必要なジ
ェスチャの認識に主眼が置かれており、手の姿勢を連続
的に検出することは行なっていない。
いて指の長さ等の特徴量を用意し、それとの照合を行な
うことでジェスチャ認識を行なった（岡村泉，隅元昭，
非接触手形状認識とその応用，信学技報ＨＣ９３−６，
ｐｐ．３１−３８，１９９３）。この方法では必要なジ
ェスチャの認識に主眼が置かれており、手の姿勢を連続
的に検出することは行なっていない。
【０００６】これに対し、石淵らは、重心と指先点の平
面内での位置により手形状を表現するという比較的単純
なモデルを用い、複数のカメラで手振りを追跡すること
で、マーカーの貼付を必要とせず実時間で運動復元を含
む処理が可能なシステムを構築した（石淵ほか，画像処
理を用いた実時間手形状認識とマンマシンインタフェー
スへの応用，電子情報通信学会秋季大会予稿集，ｐｐ．
１−１３２−１−１３２，１９９１、石淵ほか，パイプ
ライン型画像処理装置を用いた実時間手形状認識，電子
情報通信学会春季大会予稿集，ｐｐ．１−２９１−１−
２９１，１９９２）。このシステムでは複数のカメラを
用いるため、上述した中嶋ら、岩井ら、および岡村らの
方法では考慮されていなかった手の回転に対しても対応
することが可能である。
面内での位置により手形状を表現するという比較的単純
なモデルを用い、複数のカメラで手振りを追跡すること
で、マーカーの貼付を必要とせず実時間で運動復元を含
む処理が可能なシステムを構築した（石淵ほか，画像処
理を用いた実時間手形状認識とマンマシンインタフェー
スへの応用，電子情報通信学会秋季大会予稿集，ｐｐ．
１−１３２−１−１３２，１９９１、石淵ほか，パイプ
ライン型画像処理装置を用いた実時間手形状認識，電子
情報通信学会春季大会予稿集，ｐｐ．１−２９１−１−
２９１，１９９２）。このシステムでは複数のカメラを
用いるため、上述した中嶋ら、岩井ら、および岡村らの
方法では考慮されていなかった手の回転に対しても対応
することが可能である。
【０００７】本出願人は既に、使用者が半袖の衣服を着
ている場合であっても手の姿勢を実時間で正確に認識で
きる手振り認識装置を提案している（Akira Utsumi, Ts
utomu Miyasato and Fumio Kishino，Multi-camera han
d pose recognition systemusing skeleton image，In
4th IEEE International Workshop on Robot and Human
Communication,ｐｐ．２１９−２２４，１９９５、特
願平７−３３４８６０）。この装置では、まず、画像の
色および輝度情報から肌色領域を手領域として切出し、
２値画像を得る。得られた２値画像を距離変換しその極
大点から重心候補を選び、また水平方向射影の極小点か
ら手首部分の候補を選んだ後、重心候補および手首候補
の組合せについて３次元復元位置等のいくつかの確信度
評価を行なうことで、重心位置を決定する。手の３次元
方向は、上記２値画像で得られるエッジの主方向を対応
付けることで求められる。
ている場合であっても手の姿勢を実時間で正確に認識で
きる手振り認識装置を提案している（Akira Utsumi, Ts
utomu Miyasato and Fumio Kishino，Multi-camera han
d pose recognition systemusing skeleton image，In
4th IEEE International Workshop on Robot and Human
Communication,ｐｐ．２１９−２２４，１９９５、特
願平７−３３４８６０）。この装置では、まず、画像の
色および輝度情報から肌色領域を手領域として切出し、
２値画像を得る。得られた２値画像を距離変換しその極
大点から重心候補を選び、また水平方向射影の極小点か
ら手首部分の候補を選んだ後、重心候補および手首候補
の組合せについて３次元復元位置等のいくつかの確信度
評価を行なうことで、重心位置を決定する。手の３次元
方向は、上記２値画像で得られるエッジの主方向を対応
付けることで求められる。
【０００８】
【発明が解決しようとする課題】しかしながら、上述し
た従来の装置では、姿勢検出のために指先点の対応がと
れることを前提としているため、使用者が指をすべて曲
げた場合などに姿勢を安定して求めることかができない
といった問題点があった。
た従来の装置では、姿勢検出のために指先点の対応がと
れることを前提としているため、使用者が指をすべて曲
げた場合などに姿勢を安定して求めることかができない
といった問題点があった。
【０００９】この発明はこのような問題点を解決するた
めになされたもので、手の形状によらず手の姿勢を安定
して認識することができる手振り認識装置を提供するこ
とである。
めになされたもので、手の形状によらず手の姿勢を安定
して認識することができる手振り認識装置を提供するこ
とである。
【００１０】
【課題を解決するための手段】この発明に係る手振り認
識装置は、手のひらを予めモデル化した手のひらモデル
を用いて手の姿勢を実時間で認識するものであって、手
を互いに異なる角度から撮影する複数の撮影手段と、撮
影手段によって撮影された手の画像上において手の重心
から手の輪郭までの距離を示す重心スケルトン値を算出
する距離変換手段と、距離変換手段によって算出された
重心スケルトン値を手のひらモデルに適用して手の主軸
まわりの回転角を最尤法により推定する最尤推定手段と
を備える。
識装置は、手のひらを予めモデル化した手のひらモデル
を用いて手の姿勢を実時間で認識するものであって、手
を互いに異なる角度から撮影する複数の撮影手段と、撮
影手段によって撮影された手の画像上において手の重心
から手の輪郭までの距離を示す重心スケルトン値を算出
する距離変換手段と、距離変換手段によって算出された
重心スケルトン値を手のひらモデルに適用して手の主軸
まわりの回転角を最尤法により推定する最尤推定手段と
を備える。
【００１１】上記最尤推定手段は、回転角として予想さ
れる回転角候補を手のひらモデルに適用して上記重心ス
ケルトン値が観測され得る確率を算出する確率算出手段
と、回転角候補の中から確率が極大になるものを回転角
として決定する回転角決定手段とを含む。
れる回転角候補を手のひらモデルに適用して上記重心ス
ケルトン値が観測され得る確率を算出する確率算出手段
と、回転角候補の中から確率が極大になるものを回転角
として決定する回転角決定手段とを含む。
【００１２】
【発明の実施の形態】以下、この発明の実施の形態を図
面を参照して詳しく説明する。なお、図中同一符号は同
一または相当部分を示す。
面を参照して詳しく説明する。なお、図中同一符号は同
一または相当部分を示す。
【００１３】まず、この発明の実施の形態による手振り
認識装置で用いられる手の形状モデルについて説明す
る。この装置では、手の位置および姿勢を重心と手のひ
らの方向によって、また各指の曲げを重心と各指先点の
位置関係によって表現する。詳細は「大西ほか，手振り
認識のための手形状記述について，テレビジョン学会技
術報告Ｖｏｌ．１５，Ｎｏ．２５，ｐｐ．２５−２９，
Ｍａｙ１９９１」を援用する。図１において、Ｏｈは手
１の重心を示し、Ｘｈは手１の方向を示す。これらは画
像中の手１のひら領域の重心点、手１のひら部分のエッ
ジの手方向でそれぞれ近似する。複数のカメラからの情
報を組合せれば、手１の位置と方向が算出できる。ま
た、手のひらの特徴点は同一平面内にあると仮定し、指
先点の移動は求めた平面上への投影点の動きとして表現
する。
認識装置で用いられる手の形状モデルについて説明す
る。この装置では、手の位置および姿勢を重心と手のひ
らの方向によって、また各指の曲げを重心と各指先点の
位置関係によって表現する。詳細は「大西ほか，手振り
認識のための手形状記述について，テレビジョン学会技
術報告Ｖｏｌ．１５，Ｎｏ．２５，ｐｐ．２５−２９，
Ｍａｙ１９９１」を援用する。図１において、Ｏｈは手
１の重心を示し、Ｘｈは手１の方向を示す。これらは画
像中の手１のひら領域の重心点、手１のひら部分のエッ
ジの手方向でそれぞれ近似する。複数のカメラからの情
報を組合せれば、手１の位置と方向が算出できる。ま
た、手のひらの特徴点は同一平面内にあると仮定し、指
先点の移動は求めた平面上への投影点の動きとして表現
する。
【００１４】この実施の形態による手振り認識装置は、
図２に示されるように、手を互いに異なる角度から撮影
する複数のカメラ１１〜１ｋと、カメラ１１〜１ｋによ
って得られた入力画像中の肌色領域を色情報および輝度
情報を用いて分割する領域分割部２１〜２ｋと、ソーベ
ル（Sobel ）フィルタの結果から平均エッジ方向を求
め、それを２次元上の手の方向（主軸）とする主軸検出
部３１〜３ｋと、主軸検出部３１〜３ｋで得られた手の
方向に基づいて指先が上方を向くように画像を回転する
回転変換部４１〜４ｋと、手の画像を構成する画素の各
々から手の画像の輪郭までの最短距離を示す距離変換値
（スケルトン値）を算出する距離変換部５１〜５ｋと、
それらのスケルトン値に基づいて手の重心たり得る確信
度を参照し、手１の３次元上の重心Ｏｈを決定するとと
もに、複数のカメラ１１〜１ｋで得られた手の方向をス
テレオマッチングすることにより３次元上の手１の方向
Ｘｈを決定する３次元重心点・方向検出部６と、複数の
カメラ１１〜１ｋで得られた手の重心における距離変換
値（重心スケルトン値）に基づいて手１の主軸（Ｘｈ）
まわりの回転角ｒを決定する回転角検出部７と、得られ
た重心位置、手方向および回転角を持つ面（手平面）に
対し最も垂直に近い光軸を持つカメラを選択するカメラ
選択部８と、選択されたカメラから得られた画像をラベ
リング処理することにより指先候補点を抽出して手平面
に投影する指先点検出部９と、回転角検出部７からの回
転角ｒおよび指先点に基づいて手１のモデルを復元する
手モデル復元部１０とを備える。
図２に示されるように、手を互いに異なる角度から撮影
する複数のカメラ１１〜１ｋと、カメラ１１〜１ｋによ
って得られた入力画像中の肌色領域を色情報および輝度
情報を用いて分割する領域分割部２１〜２ｋと、ソーベ
ル（Sobel ）フィルタの結果から平均エッジ方向を求
め、それを２次元上の手の方向（主軸）とする主軸検出
部３１〜３ｋと、主軸検出部３１〜３ｋで得られた手の
方向に基づいて指先が上方を向くように画像を回転する
回転変換部４１〜４ｋと、手の画像を構成する画素の各
々から手の画像の輪郭までの最短距離を示す距離変換値
（スケルトン値）を算出する距離変換部５１〜５ｋと、
それらのスケルトン値に基づいて手の重心たり得る確信
度を参照し、手１の３次元上の重心Ｏｈを決定するとと
もに、複数のカメラ１１〜１ｋで得られた手の方向をス
テレオマッチングすることにより３次元上の手１の方向
Ｘｈを決定する３次元重心点・方向検出部６と、複数の
カメラ１１〜１ｋで得られた手の重心における距離変換
値（重心スケルトン値）に基づいて手１の主軸（Ｘｈ）
まわりの回転角ｒを決定する回転角検出部７と、得られ
た重心位置、手方向および回転角を持つ面（手平面）に
対し最も垂直に近い光軸を持つカメラを選択するカメラ
選択部８と、選択されたカメラから得られた画像をラベ
リング処理することにより指先候補点を抽出して手平面
に投影する指先点検出部９と、回転角検出部７からの回
転角ｒおよび指先点に基づいて手１のモデルを復元する
手モデル復元部１０とを備える。
【００１５】次に、このように構成された手振り認識装
置の動作を説明する。カメラ１１〜１ｋで得られた画像
は領域分割部２１〜２ｋにそれぞれ与えられる。領域分
割部２１〜２ｋでは、入力画像の肌色領域が色と強度の
情報を用いて他の領域から分離され、図３の（ａ）に示
されるような２値化画像が得られる。主軸検出部３１〜
３ｋでは、エッジ検出されたエッジセグメントの主軸が
手１の方向として検出される。回転変換部４１〜４ｋで
は、画像の軸が垂直軸と一致するように回転させられ
る。距離変換部５１〜５ｋでは、図３の（ｂ）に示され
るような距離変換画像と、図３の（ｃ）に示されるよう
な射影画像とが得られる。
置の動作を説明する。カメラ１１〜１ｋで得られた画像
は領域分割部２１〜２ｋにそれぞれ与えられる。領域分
割部２１〜２ｋでは、入力画像の肌色領域が色と強度の
情報を用いて他の領域から分離され、図３の（ａ）に示
されるような２値化画像が得られる。主軸検出部３１〜
３ｋでは、エッジ検出されたエッジセグメントの主軸が
手１の方向として検出される。回転変換部４１〜４ｋで
は、画像の軸が垂直軸と一致するように回転させられ
る。距離変換部５１〜５ｋでは、図３の（ｂ）に示され
るような距離変換画像と、図３の（ｃ）に示されるよう
な射影画像とが得られる。
【００１６】３次元重心点・方向検出部６では、重心の
候補として距離変換された画像の極大点が抽出され、手
首の候補として射影の極小点が抽出される。図３の
（ｂ）では、スケルトン値が大きい画素ほど黒く表わさ
れ、スケルトン値が小さい画素ほど白く表されている。
したがって、手の輪郭から遠ざかるにつれて画素は徐々
に濃くなっている。得られた重心候補および手首候補
（手首候補については得られた主軸に対する垂直位置で
の手領域の中点を候補とする）のすべての組の画像間で
の対応付けから確信度処理により３次元上の重心が決定
される。３次元の重心が決定されると、各画像上での重
心スケルトン値ｓ1 〜ｓk が得られる。
候補として距離変換された画像の極大点が抽出され、手
首の候補として射影の極小点が抽出される。図３の
（ｂ）では、スケルトン値が大きい画素ほど黒く表わさ
れ、スケルトン値が小さい画素ほど白く表されている。
したがって、手の輪郭から遠ざかるにつれて画素は徐々
に濃くなっている。得られた重心候補および手首候補
（手首候補については得られた主軸に対する垂直位置で
の手領域の中点を候補とする）のすべての組の画像間で
の対応付けから確信度処理により３次元上の重心が決定
される。３次元の重心が決定されると、各画像上での重
心スケルトン値ｓ1 〜ｓk が得られる。
【００１７】回転角検出部７では、手１のひらをモデル
化した所定の手のひらモデルに基づき、手１の主軸まわ
りの回転角ｒが重心スケルトン値ｓ1 〜ｓk から推定さ
れる。ここでは、問題を単純化するため、実装にあたっ
ては指を除いた手１のひら部を表現するために図４に示
す楕円体モデル２が用いられる。ここで、カメラ１１
（〜１ｋ）で撮影された画像上における楕円体の幅ｓと
して重心スケルトン値を用いる。弱透視変換を仮定する
と、カメラの光軸と手のひらの法線とがなす角をθとし
て、観測される重心スケルトン値ｓは次の式（１）に従
う。
化した所定の手のひらモデルに基づき、手１の主軸まわ
りの回転角ｒが重心スケルトン値ｓ1 〜ｓk から推定さ
れる。ここでは、問題を単純化するため、実装にあたっ
ては指を除いた手１のひら部を表現するために図４に示
す楕円体モデル２が用いられる。ここで、カメラ１１
（〜１ｋ）で撮影された画像上における楕円体の幅ｓと
して重心スケルトン値を用いる。弱透視変換を仮定する
と、カメラの光軸と手のひらの法線とがなす角をθとし
て、観測される重心スケルトン値ｓは次の式（１）に従
う。
【００１８】
【数１】
【００１９】ここで、Ｌは手の重心からカメラまでの距
離であり、ａおよびｂは定数である。
離であり、ａおよびｂは定数である。
【００２０】観測がガウス誤差を伴うと仮定すると、重
心スケルトン値ｓが観測される確率ｐ（ｓ｜θ）は次の
式（２）のように表わされる。
心スケルトン値ｓが観測される確率ｐ（ｓ｜θ）は次の
式（２）のように表わされる。
【００２１】
【数２】
【００２２】ここでは、定数ａ，ｂと誤差の分散σs を
学習用データにより推定する。手１の姿勢は図１に示さ
れるようにオイラー角（ａ，ｅ，ｒ）により表現でき
る。ここでａは方位角、ｅは仰角、ｒは回転角を表わす
が、ａ，ｅは手１の主軸方向Ｘｈにより決定されるの
で、主軸まわりの回転角ｒのみが未知数となる。
学習用データにより推定する。手１の姿勢は図１に示さ
れるようにオイラー角（ａ，ｅ，ｒ）により表現でき
る。ここでａは方位角、ｅは仰角、ｒは回転角を表わす
が、ａ，ｅは手１の主軸方向Ｘｈにより決定されるの
で、主軸まわりの回転角ｒのみが未知数となる。
【００２３】手のひらの法線ベクトルＮは次の式（３）
で表わされる。 Ｎ＝Ｒz （ａ）Ｒy （ｅ）Ｒx （ｒ）ｅz …（３） ここで、Ｒz ，Ｒy ，Ｒx はそれぞれｚ，ｙ，ｘ軸に関
する回転行列を示し、ｅz はｚ軸方向の単位ベクトルを
示す。
で表わされる。 Ｎ＝Ｒz （ａ）Ｒy （ｅ）Ｒx （ｒ）ｅz …（３） ここで、Ｒz ，Ｒy ，Ｒx はそれぞれｚ，ｙ，ｘ軸に関
する回転行列を示し、ｅz はｚ軸方向の単位ベクトルを
示す。
【００２４】手１の主軸まわりの回転角をｒとすると、
ｉ番目のカメラの光軸ベクトルＣと手のひらの法線ベク
トルＮとがなす角θci（ｒ）は次の式（４）で表わされ
る。
ｉ番目のカメラの光軸ベクトルＣと手のひらの法線ベク
トルＮとがなす角θci（ｒ）は次の式（４）で表わされ
る。
【００２５】 θci（ｒ）＝ｃｏｓ-1ＮT Ｃ …（４） なお、式（４）中のＮT は法線ベクトルＮの転置ベクト
ルを示す。
ルを示す。
【００２６】ｋ台のカメラ１１〜１ｋによって重心スケ
ルトン値の組Ｗ（ｓ1 ，ｓ2 ，…，ｓk ）が観測される
確率Ｐ（Ｗ｜ｒ）は上記式（２）より次の式（５）で表
わされる。
ルトン値の組Ｗ（ｓ1 ，ｓ2 ，…，ｓk ）が観測される
確率Ｐ（Ｗ｜ｒ）は上記式（２）より次の式（５）で表
わされる。
【００２７】
【数３】
【００２８】ここで、ｓi はｉ番目のカメラによって観
測された重心スケルトン値を示す。Ｐ（Ｗ｜ｒ）を最大
とするｒを回転角の推定値とする。
測された重心スケルトン値を示す。Ｐ（Ｗ｜ｒ）を最大
とするｒを回転角の推定値とする。
【００２９】上記のような方法により回転角ｒを検出す
る回転角検出部７は、図５に示されるように、回転角ｒ
として予想される回転角候補ｒC を楕円体モデル２に適
用して重心スケルトン値ｓ1 〜ｓk が観測され得る確率
Ｐ（ｓi ｜θCi（ｒ））を算出する複数の算出部７１１
〜７１ｋと、ｋ台のカメラ１１〜１ｋによってｓ1 ，ｓ
2 ，…，ｓk という重心スケルトン値の組合せが観測さ
れ得る確率Ｐ（Ｗ｜ｒ）を算出する算出部７２と、算出
された確率Ｐ（Ｗ｜ｒ）が極大になる回転角候補ｒC を
回転角ｒとして決定する回転角決定部７３とを備える。
る回転角検出部７は、図５に示されるように、回転角ｒ
として予想される回転角候補ｒC を楕円体モデル２に適
用して重心スケルトン値ｓ1 〜ｓk が観測され得る確率
Ｐ（ｓi ｜θCi（ｒ））を算出する複数の算出部７１１
〜７１ｋと、ｋ台のカメラ１１〜１ｋによってｓ1 ，ｓ
2 ，…，ｓk という重心スケルトン値の組合せが観測さ
れ得る確率Ｐ（Ｗ｜ｒ）を算出する算出部７２と、算出
された確率Ｐ（Ｗ｜ｒ）が極大になる回転角候補ｒC を
回転角ｒとして決定する回転角決定部７３とを備える。
【００３０】たとえば算出部７１１では、回転角ｒがｒ
C であるとき、カメラ１１から重心スケルトン値ｓ1 が
得られる確率Ｐ（ｓ1 ｜θC1（ｒC ））が楕円体モデル
２に基づいて算出される。
C であるとき、カメラ１１から重心スケルトン値ｓ1 が
得られる確率Ｐ（ｓ1 ｜θC1（ｒC ））が楕円体モデル
２に基づいて算出される。
【００３１】ここで、図６を参照して、重心スケルトン
値と手１の回転角ｒとの間に対応関係があることを説明
する。図６の（ａ）に示されるように、手１の法線がカ
メラ１１（〜１ｋ）の光軸に一致するとき、カメラ１１
（〜１ｋ）によって撮影された手の画像上において手１
の重心から手１の輪郭までの最短距離は最大になるの
で、その重心スケルトン値もまた最大になる。図６の
（ａ）には、このように撮影された手１のひらの楕円体
モデル２が示されている。この場合における楕円体モデ
ル２は真円として観測される。したがって、楕円体モデ
ル２の重心Ｏｅから輪郭までの最短距離が最大になり、
この場合の重心スケルトン値もまた最大になる。
値と手１の回転角ｒとの間に対応関係があることを説明
する。図６の（ａ）に示されるように、手１の法線がカ
メラ１１（〜１ｋ）の光軸に一致するとき、カメラ１１
（〜１ｋ）によって撮影された手の画像上において手１
の重心から手１の輪郭までの最短距離は最大になるの
で、その重心スケルトン値もまた最大になる。図６の
（ａ）には、このように撮影された手１のひらの楕円体
モデル２が示されている。この場合における楕円体モデ
ル２は真円として観測される。したがって、楕円体モデ
ル２の重心Ｏｅから輪郭までの最短距離が最大になり、
この場合の重心スケルトン値もまた最大になる。
【００３２】図６の（ｂ）に示されるように、手１の法
線がカメラ１１（１ｋ）の光軸に対して鋭角をなしてい
ると、カメラ１１（〜１ｋ）によって撮影された手１の
画像上においては手１の重心から手１の輪郭までの最短
距離は（ａ）の場合よりも短くなるので、この場合の重
心スケルトン値は（ａ）の場合よりも小さくなる。この
場合の楕円体モデル２は、（ａ）の場合に比べて図上横
方向に圧縮された形に観測される。したがって、楕円体
モデル２の重心Ｏｅから輪郭までの最短距離は（ａ）の
場合よりも短くなり、この場合の重心スケルトン値は
（ａ）の場合よりも小さくなる。
線がカメラ１１（１ｋ）の光軸に対して鋭角をなしてい
ると、カメラ１１（〜１ｋ）によって撮影された手１の
画像上においては手１の重心から手１の輪郭までの最短
距離は（ａ）の場合よりも短くなるので、この場合の重
心スケルトン値は（ａ）の場合よりも小さくなる。この
場合の楕円体モデル２は、（ａ）の場合に比べて図上横
方向に圧縮された形に観測される。したがって、楕円体
モデル２の重心Ｏｅから輪郭までの最短距離は（ａ）の
場合よりも短くなり、この場合の重心スケルトン値は
（ａ）の場合よりも小さくなる。
【００３３】図６の（ｃ）に示されるように、手１の法
線がカメラ１１（〜１ｋ）の光軸に対して直交する場合
は、カメラ１１（〜１ｋ）によって撮影された手１の画
像上においては手１の重心から輪郭までの最短距離は最
小になるので、この場合の重心スケルトン値もまた最小
になる。この場合の楕円体モデル２は、図６の（ｃ）に
示されるように（ｂ）の場合に比べて図上横方向にさら
に圧縮された形に観察される。したがって、楕円体モデ
ル２の重心Ｏｅから輪郭までの最短距離は最小になり、
この場合の重心スケルトン値もまた最小になる。
線がカメラ１１（〜１ｋ）の光軸に対して直交する場合
は、カメラ１１（〜１ｋ）によって撮影された手１の画
像上においては手１の重心から輪郭までの最短距離は最
小になるので、この場合の重心スケルトン値もまた最小
になる。この場合の楕円体モデル２は、図６の（ｃ）に
示されるように（ｂ）の場合に比べて図上横方向にさら
に圧縮された形に観察される。したがって、楕円体モデ
ル２の重心Ｏｅから輪郭までの最短距離は最小になり、
この場合の重心スケルトン値もまた最小になる。
【００３４】このように手のひらを楕円体モデル２でモ
デル化し、ｋ台のカメラ１１〜１ｋから実際に得られた
重心スケルトン値ｓ1 〜ｓk がどのような回転角ｒのと
きに得られるのかを楕円体モデル２を用いて最尤法によ
り推定する。
デル化し、ｋ台のカメラ１１〜１ｋから実際に得られた
重心スケルトン値ｓ1 〜ｓk がどのような回転角ｒのと
きに得られるのかを楕円体モデル２を用いて最尤法によ
り推定する。
【００３５】以上のように、この手振り認識装置によれ
ば、手のひらをモデル化した楕円体モデル２を用いて重
心スケルトン値ｓ1 〜ｓk から手の回転角ｒを推定する
ため、手１の姿勢を指の形状によらず安定して認識する
ことができる。
ば、手のひらをモデル化した楕円体モデル２を用いて重
心スケルトン値ｓ1 〜ｓk から手の回転角ｒを推定する
ため、手１の姿勢を指の形状によらず安定して認識する
ことができる。
【００３６】
【実施例】この発明の有効性を明らかにするため、次の
ようなシミュレーション実験を行なった。実験環境とし
ては、画像入力に３台のカメラを用い、手の領域の切出
しが輝度のみで可能となるよう背景に暗幕を用いた。学
習用データとしては、手の回転動作を含む約３００フレ
ームの画像を、同時に磁気センサにより検出した回転角
のデータとともに用いた。図７に学習用データの分布を
示す。図中、実線は推定された楕円体モデルを示し、実
線と破線との間の距離は上記式（２）中の分散σs の大
きさを示す。実験に用いた入力画像は、手のひら部のみ
が領域分割されるよう長袖の服を着用して撮影したもの
と、上腕部分までが含まれるよう袖のない服を着用して
撮影したものの２通りを用いた。手の主軸を水平に保っ
たもの、約３０°上方に向けたもの、約６０°上方に向
けたものの３通りに、手を回転させた。
ようなシミュレーション実験を行なった。実験環境とし
ては、画像入力に３台のカメラを用い、手の領域の切出
しが輝度のみで可能となるよう背景に暗幕を用いた。学
習用データとしては、手の回転動作を含む約３００フレ
ームの画像を、同時に磁気センサにより検出した回転角
のデータとともに用いた。図７に学習用データの分布を
示す。図中、実線は推定された楕円体モデルを示し、実
線と破線との間の距離は上記式（２）中の分散σs の大
きさを示す。実験に用いた入力画像は、手のひら部のみ
が領域分割されるよう長袖の服を着用して撮影したもの
と、上腕部分までが含まれるよう袖のない服を着用して
撮影したものの２通りを用いた。手の主軸を水平に保っ
たもの、約３０°上方に向けたもの、約６０°上方に向
けたものの３通りに、手を回転させた。
【００３７】実験結果を図８および図９に示す。図８
は、長袖服着用の画像のうち主軸を水平に保った条件に
ついて処理を行なったものである。図中、実線は比較例
として磁気センサにより得られた回転角を示し、破線は
この実施例により得られた回転角を示す。手の回転は、
図８の下部に示す６通りの形状について行なった。いず
れの手形状についても適切に回転角が検出されているこ
とがわかる。
は、長袖服着用の画像のうち主軸を水平に保った条件に
ついて処理を行なったものである。図中、実線は比較例
として磁気センサにより得られた回転角を示し、破線は
この実施例により得られた回転角を示す。手の回転は、
図８の下部に示す６通りの形状について行なった。いず
れの手形状についても適切に回転角が検出されているこ
とがわかる。
【００３８】図９は、その他の場合についての結果を併
せて示したものである。ここに見られるように、この実
施例により服装の違いや主軸方向の変化によらず、回転
角を安定して検出することができることが明らかになっ
た。
せて示したものである。ここに見られるように、この実
施例により服装の違いや主軸方向の変化によらず、回転
角を安定して検出することができることが明らかになっ
た。
【００３９】
【発明の効果】この発明に係る手振り認識装置によれ
ば、手の画像から得られた重心スケルトン値を手のひら
を予めモデル化した手のひらモデルに適用して手の主軸
まわりの回転角を最尤法により推定するため、手の形状
がいかなるものであってもその回転角を検出でき、その
結果、手の姿勢を安定して認識することができる。
ば、手の画像から得られた重心スケルトン値を手のひら
を予めモデル化した手のひらモデルに適用して手の主軸
まわりの回転角を最尤法により推定するため、手の形状
がいかなるものであってもその回転角を検出でき、その
結果、手の姿勢を安定して認識することができる。
【図１】この発明の実施の形態による手振り認識装置で
用いられる手の形状モデルを示す図である。
用いられる手の形状モデルを示す図である。
【図２】この発明の実施の形態による手振り認識装置の
全体構成を示すブロック図である。
全体構成を示すブロック図である。
【図３】図１の手振り認識装置における距離変換および
射影処理を示す模式図であり、（ａ）は２値化画像であ
り、（ｂ）は距離変換画像であり、（ｃ）は射影画像で
ある。
射影処理を示す模式図であり、（ａ）は２値化画像であ
り、（ｂ）は距離変換画像であり、（ｃ）は射影画像で
ある。
【図４】図２の手振り認識装置で用いられる手のひらの
楕円体モデルを示す図である。
楕円体モデルを示す図である。
【図５】図２の手振り認識装置における回転角検出部の
構成を示すブロック図である。
構成を示すブロック図である。
【図６】図２の手振り認識装置において楕円体モデルに
より手の回転角を検出できる原理を示す説明図である。
より手の回転角を検出できる原理を示す説明図である。
【図７】図２の手振り認識装置の実施例に用いられた学
習用データの分布を示すグラフである。
習用データの分布を示すグラフである。
【図８】図２の手振り認識装置の実施例による回転角の
認識結果を示すグラフである。
認識結果を示すグラフである。
【図９】図２の手振り認識装置の実施例による回転角の
認識結果を示すグラフである。
認識結果を示すグラフである。
１ 手 ２ 楕円体モデル ６ ３次元重心点・方向検出部 ７ 回転角検出部 １１〜１ｋ カメラ ５１〜５ｋ 距離変換部 ７１１〜７１ｋ，７２ 算出部 ７３ 回転角決定部
Claims (2)
- 【請求項１】 手のひらを予めモデル化した手のひらモ
デルを用いて前記手の姿勢を実時間で認識する手振り認
識装置であって、 前記手を互いに異なる角度が撮影する複数の撮影手段
と、 前記撮影手段によって撮影された手の画像上において前
記手の重心から前記手の輪郭までの距離を示す重心スケ
ルトン値を算出する距離変換手段と、 前記距離変換手段によって算出された重心スケルトン値
を前記手のひらモデルに適用して前記手の主軸まわりの
回転角を最尤法により推定する最尤推定手段とを備え
る、手振り認識装置。 - 【請求項２】 前記最尤推定手段は、 前記回転角として予想される回転角候補を前記手のひら
モデルに適用して前記重心スケルトン値が観測され得る
確率を算出する確率算出手段と、 前記回転角候補の中から前記確率が極大になるものを前
記回転角として決定する回転角決定手段とを含む、請求
項１に記載の手振り認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8221168A JP2934190B2 (ja) | 1996-08-22 | 1996-08-22 | 手振り認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8221168A JP2934190B2 (ja) | 1996-08-22 | 1996-08-22 | 手振り認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1063864A true JPH1063864A (ja) | 1998-03-06 |
| JP2934190B2 JP2934190B2 (ja) | 1999-08-16 |
Family
ID=16762546
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP8221168A Expired - Fee Related JP2934190B2 (ja) | 1996-08-22 | 1996-08-22 | 手振り認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2934190B2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7593552B2 (en) | 2003-03-31 | 2009-09-22 | Honda Motor Co., Ltd. | Gesture recognition apparatus, gesture recognition method, and gesture recognition program |
| WO2012147961A1 (ja) | 2011-04-28 | 2012-11-01 | Ｎｅｃシステムテクノロジー株式会社 | 情報処理装置、情報処理方法及び記録媒体 |
| JP2014182442A (ja) * | 2013-03-18 | 2014-09-29 | Stanley Electric Co Ltd | 画像処理装置及び画像処理方法 |
| JP2015001804A (ja) * | 2013-06-14 | 2015-01-05 | 国立大学法人埼玉大学 | ハンドジェスチャトラッキングシステム |
-
1996
- 1996-08-22 JP JP8221168A patent/JP2934190B2/ja not_active Expired - Fee Related
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7593552B2 (en) | 2003-03-31 | 2009-09-22 | Honda Motor Co., Ltd. | Gesture recognition apparatus, gesture recognition method, and gesture recognition program |
| WO2012147961A1 (ja) | 2011-04-28 | 2012-11-01 | Ｎｅｃシステムテクノロジー株式会社 | 情報処理装置、情報処理方法及び記録媒体 |
| US9367732B2 (en) | 2011-04-28 | 2016-06-14 | Nec Solution Innovators, Ltd. | Information processing device, information processing method, and recording medium |
| JP2014182442A (ja) * | 2013-03-18 | 2014-09-29 | Stanley Electric Co Ltd | 画像処理装置及び画像処理方法 |
| JP2015001804A (ja) * | 2013-06-14 | 2015-01-05 | 国立大学法人埼玉大学 | ハンドジェスチャトラッキングシステム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2934190B2 (ja) | 1999-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yao et al. | Contour model-based hand-gesture recognition using the Kinect sensor | |
| Bobick et al. | The recognition of human movement using temporal templates | |
| JP4148281B2 (ja) | モーションキャプチャ装置及びモーションキャプチャ方法、並びにモーションキャプチャプログラム | |
| Lee et al. | Handy AR: Markerless inspection of augmented reality objects using fingertip tracking | |
| CN108509026B (zh) | 基于增强交互方式的远程维修支持系统及方法 | |
| Del Rincón et al. | Tracking human position and lower body parts using Kalman and particle filters constrained by human biomechanics | |
| Jennings | Robust finger tracking with multiple cameras | |
| JP2004157850A (ja) | 運動検出装置 | |
| JP5598751B2 (ja) | 動作認識装置 | |
| WO2010099034A1 (en) | Capturing and recognizing hand postures using inner distance shape contexts | |
| Yao et al. | Real-time hand pose estimation from RGB-D sensor | |
| JP2986455B1 (ja) | 手振り認識装置 | |
| CN109242887A (zh) | 一种基于多摄像机和imu的实时人体上肢动作捕捉方法 | |
| KR20200076267A (ko) | 골격의 길이 정보를 이용한 제스쳐 인식 방법 및 처리 시스템 | |
| Plouffe et al. | Natural human-computer interaction using static and dynamic hand gestures | |
| CN104951753B (zh) | 一种有标识物6自由度视觉跟踪系统及其实现方法 | |
| JP2000331170A (ja) | 手振り認識装置 | |
| JP2868449B2 (ja) | 手振り認識装置 | |
| JP2934190B2 (ja) | 手振り認識装置 | |
| Guðmundsson et al. | Model-based hand gesture tracking in tof image sequences | |
| US11676357B2 (en) | Modification of projected structured light based on identified points within captured image | |
| KR102456872B1 (ko) | 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템 및 방법 | |
| Kopinski et al. | A time-of-flight-based hand posture database for human-machine interaction | |
| JPH08212327A (ja) | 身振り認識装置 | |
| Shah et al. | Gesture recognition technique: a review |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19990511 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080528 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110528 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120528 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120528 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130528 Year of fee payment: 14 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140528 Year of fee payment: 15 |
|
| LAPS | Cancellation because of no payment of annual fees |