JP2517531B2

JP2517531B2 - ステレオ画像を用いた姿勢検出装置

Info

Publication number: JP2517531B2
Application number: JP6030035A
Authority: JP
Inventors: 耕一石淵; 圭介岩崎; 治雄竹村
Original assignee: Ei Tei Aaru Tsushin Shisutemu Kenkyusho Kk
Current assignee: Ei Tei Aaru Tsushin Shisutemu Kenkyusho Kk
Priority date: 1994-02-28
Filing date: 1994-02-28
Publication date: 1996-07-24
Anticipated expiration: 2011-07-24
Also published as: JPH07239213A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、ステレオ画像を用い
た姿勢検出装置に関し、特に、平面形状とみなせる厚さ
の物体の位置および姿勢を検出することができるような
ステレオ画像を用いた姿勢検出装置に関する。

【０００２】

【従来の技術および発明が解決しようとする課題】最
近、仮想環境に対するヒューマンコンピュータインタフ
ェイス関連の研究が多くなされている。仮想環境とは、
人とコンピュータとの対話が、我々の現実の世界との関
わり方に基づく、対話的で、多感覚で、三次元の環境で
ある。フィッシャーはテレロボット工学用のバーチャル
リアリティの原型システムを構築した。スターマンは、
対話的環境でのハンドジェスチャー使用の可能性を研究
した。これらの研究の多くはハンドジェスチャーを認識
するためにデータグローブ（商標名）などの装着型装置
を利用していた。

【０００３】ところで、異なる場所にいる参加者の間で
会議を行なえ、さらに現実的な感覚を伴なう「バーチャ
ルスペース遠隔会議システム」が提案されている。参加
者たちは討議の対象となっている仮想物体を直接的に操
作するために、装着型装置を装着する。装着型装置が用
いられた場合にシステムが使用されると、その度ごとに
キャリブレーションが行なわなければならない。したが
って、装着型装置は、この種のシステムには向いていな
い。

【０００４】一方、非装着型装置では、非剛体対象物の
構造を認識するために実時間の画像処理が必要とされ、
製作は難しい。実時間の処理が必要でないにしても、非
剛体対象物の動きや構造を安定して認識することがオク
ルージョンのために困難であることは、コンピュータビ
ジョンの研究分野で共通認識である。ここで、オクルー
ジョンとは、平面形状とみなせる厚さの物体を同一平面
上にある視点から見た場合に、極端な例として１本の直
線のように見えることなどをいう。

【０００５】一般に、ハンドジェスチャーは時系列の手
の位置、姿勢および形として表される。手の形を認識す
ることは最も難しく、そのため認識の方法は用途によっ
て異なる。ハンドジェスチャーに対する非装着型装置で
は、伸ばした指の数などのいくつかの典型的な手の形を
コマンドとして相互に区別されれば十分である。しかし
ながら、仮想物体を直接的に操作するためには、手の位
置とその姿勢は重要である。また、予測および実時間処
理が不可欠であるため、オクルージョンの問題を避ける
ことはできない。

【０００６】一方、どの種類の手の特徴について実時間
で抽出するかおよびどのようにして抽出するかという問
題は重要である。たとえば、磁気センサを備えるデータ
グローブ（商標名）では、指の関節の角度と手の姿勢が
検出される。しかしながら、指の関節は画像上では曖昧
であり、画像処理で検出することは困難である。他の方
法としては、磁気センサでのハンドジェスチャー認識に
関して１９９１年、「対話型環境のためのハンドジェス
チャー認識の研究」、ヒューマンインタフェイスに関す
る第７回シンポジウム予稿集第６９１頁〜６９６頁で大
西他が提案した方法がある。その方法は、固定した手の
座標により決定される三次元の指先端の位置がハンドジ
ェスチャーを区別する上で役立つことに基づくものであ
る。その場合、画像処理によって指の先端部は比較的容
易に検出されるが、世界座標から固定した手の座標への
変換マトリクスが予測される必要がある。この予測は困
難であり、そのため、従来は画像処理によって手の姿勢
を検出する装置はなかった。

【０００７】ゆえに、この発明は、手のような平面形状
とみなせる厚さの物体の特徴を可能な限り抽出し、その
抽出された特徴に基づいて平面形状とみなせる物体の姿
勢を検出することができるようなステレオ画像を用いた
姿勢検出装置を提供することである。

【０００８】

【課題を解決するための手段】請求項１の発明に係るス
テレオ画像を用いた姿勢検出装置は、少なくとも第１の
視点による左視野内の第１の画像および第２の視点によ
る右視野内の第２の画像に基づいて、三次元空間内に存
在する平面形状とみなせる厚さの物体の位置および姿勢
を検出するステレオ画像を用いた姿勢検出装置であっ
て、それぞれが第１および第２の画像上に設けられかつ
物体の特徴点に対応すべき画像特徴点に対して、第１の
画像上の画像特徴点と第２の画像上の画像特徴点との間
での対応づけの確信度を検出する第１の確信度検出手段
と、それぞれが第１および第２の画像上の画像特徴点に
よって得られる三次元空間内の三次元的特徴点と物体の
特徴点との間での対応づけの確信度を検出する第２の確
信度検出手段と、物体と交わる異なる平面の空間的位置
に基づいて、第１または第２の画像上の画像特徴点間で
の対応度を検出する対応度検出手段と、第１の確信度検
出手段が検出した確信度、第２の確信度検出手段が検出
した確信度および対応度検出手段が検出した対応度に応
じて、物体の姿勢を検出する姿勢検出手段とを備えてい
る。

【０００９】請求項２では、請求項１の確信度検出手段
は、第１の視点と第１の画像上の画像特徴点とを結ぶ直
線および第２の視点と第２の画像上の画像特徴点とを結
ぶ直線間の距離に基づいて、確信度を検出する。

【００１０】請求項３では、請求項２の確信度は、距離
が大きくなることに応じて小さな値になる。

【００１１】請求項４では、請求項１の第２の確信度検
出手段は、物体上の所定の１点と三次元的特徴点との間
の距離に基づいて、確信度を検出する。

【００１２】請求項５では、請求項４の確信度は、距離
が一定の範囲からはずれることに応じて小さな値にな
る。

【００１３】請求項６では、請求項１の対応度検出手段
は、一方の面が第１および第２の視点に対向する第１の
平面と、一方の面が第１の視点に対向し、他方の面が第
２の視点に対向する第２の平面との空間的位置に基づい
て、確信度を検出する。

【００１４】請求項７では、請求項６の対応度検出手段
は、第１または第２の視点と第１または第２の画像の画
像特徴点とを結ぶ直線の方向ベクトルと、物体の方向ベ
クトルとの内積に応じて、確信度を検出する。

【００１５】請求項８では、請求項１の姿勢検出手段
は、第１の画像上の複数の画像特徴点と第２の画像上の
複数の画像特徴点に対して、第１の確信度検出手段が検
出した確信度、第２の確信度検出手段が検出した確信度
および対応度検出手段が検出した対応度を求め、物体が
姿勢を変化させたことに応じて得られるパラメータを用
いて、物体の姿勢を最適に検出する。

【００１６】

【作用】請求項１の発明に係るステレオ画像を用いた姿
勢検出装置は、第１の画像上の画像特徴点と第２の画像
上の画像特徴点との間での対応付けの確信度を検出し、
第１および第２の画像上の画像特徴点によって得られる
三次元的特徴点と物体の特徴点との間での対応付けの確
信度を検出し、物体と交わる異なる平面の空間的位置に
基づいて、第１または第２の画像上の画像特徴点間での
対応度を検出し、得られた２つの確信度および対応度に
よって物体の特徴点の状態を検出して物体の姿勢を検出
できる。

【００１７】請求項２の発明に係るステレオ画像を用い
た姿勢検出装置は、第１の視点と第１の画像上の画像特
徴点とを結ぶ直線および第２の視点と第２の画像上の画
像特徴点とを結ぶ直線間の距離に基づいて、確信度を検
出でき、第１および第２の画像間での誤差を極力抑える
ことができる。

【００１８】請求項３の発明に係るステレオ画像を用い
た姿勢検出装置は、距離が大きくなることに応じて小さ
な値をとる確信度を用いて、第１および第２の画像間で
の対応付けを行なえる。

【００１９】請求項４の発明に係るステレオ画像を用い
た姿勢検出装置は、物体上の所定の１点と三次元的特徴
点との間の距離に基づいて、確信度を検出し、物体の特
徴点と三次元的特徴点との対応付けを行なえる。

【００２０】請求項５の発明に係るステレオ画像を用い
た姿勢検出装置は、距離が一定の範囲からはずれること
に応じて小さな値をとる確信度を用いて、物体の特徴点
と三次元的特徴点との間の対応付けを精度よく行なえ
る。

【００２１】請求項６の発明に係るステレオ画像を用い
た姿勢検出装置は、異なる平面として、一方の面が第１
および第２の視点に対向する第１の平面と、一方の面が
第１の視点に対向し、他方の面が第２の視点に対向する
第２の平面を用いて、その空間的位置に基づいて、第１
および第２の画像上での画像特徴点の対応度を検出し、
その対応度に応じて不要な画像特徴点を除去できる。

【００２２】請求項７の発明に係るステレオ画像を用い
た姿勢検出装置は、第１または第２の視点と第１または
第２の画像上の画像特徴点とを結ぶ直線の方向ベクトル
と、物体の方向ベクトルとの内積の大きさに応じて、対
応度を検出し、不要な画像特徴点を排除できる。

【００２３】請求項８の発明に係るステレオ画像を用い
た姿勢検出装置は、物体の複数の特徴点に対応すべき第
１の画像上の複数の画像特徴点および第２の画像上の複
数の画像特徴点に対して、２つの確信度および対応度を
求めて物体の特徴を可能な限り抽出し、さらに物体が姿
勢を変化させたことを考慮に入れてたとえば前の姿勢の
状態に応じて次の姿勢の状態を検出するので、物体の姿
勢を最適に検出できる。

【００２４】

【実施例】まず、この発明に係るステレオ画像を用いた
姿勢検出装置の実施例を説明する上で、前提となる事柄
について説明する。すなわち、この発明に係るステレオ
画像を用いた姿勢検出装置の実施例では、手のような平
面形状とみなせる厚さの物体の特徴を示す特徴量とし
て、従来例で述べた指の先端の位置のみならず、手の重
心、手の方向を用いて物体の姿勢および位置を検出す
る。そこで、図１に、各画像で得られる二次元の手の重
心、二次元の指の先端の位置、二次元の手の方向を抽出
できる特徴抽出部１の概略ブロック図を示す。

【００２５】図１を参照して、特徴抽出部１は、色空間
変換部３と、色彩を用いた手領域確率分布部５と、ソベ
ルフィルタ７と、フレーム間差分演算部９と、乗算器１
１と、ロウパスフィルタ１３と、レベル弁別部１５と、
統計演算部１７，１９と、アフィン変換部２１と、ラン
レングス符号化部２３と、エッジ検出部２５と、群処理
部２７とを含む。

【００２６】色空間変換部３は、入力されるＲＧＢ画像
をＨＳＶ画像に変換して、Ｈ画像およびＳ画像を色彩を
用いた手領域確率分布部５に入力し、Ｖ画像をソベルフ
ィルタ７およびフレーム間差分演算部９に入力する。フ
レーム間差分演算部９には、背景画像も入力され、入力
された画像のフレーム間に対して差分演算を行ない、乗
算器１１に出力する。乗算器１１には、色彩を用いた手
領域確率分布部５によって得られたＨ，Ｓ画像も入力さ
れており、乗算された結果を表わす画像がロウパスフィ
ルタ１３に与えられる。

【００２７】ロウパスフィルタ１３は与えられた画像を
フィルタリングしてレベル弁別部１５に与える。レベル
弁別部１５は、所定のしきい値で２値化し、２値化した
２値画像を統計演算部１７，１９に出力する。統計演算
部１７は与えられる２値画像を統計演算子で演算処理し
て二次元の手の重心に関するデータを出力する。このデ
ータは、アフィン変換部２１にも与えられている。

【００２８】一方、統計演算部１９は、ソベルフィルタ
７でフィルタリングされたＶ画像とレベル弁別部１５で
２値化された２値画像とを統計演算子で演算処理し、二
次元の手の方向に関するデータを出力する。このデータ
はアフィン変換部２１にも与えられる。アフィン変換部
２１は、二次元の手の重心および二次元の手の方向によ
って設定されるパラメータを有するアフィン演算子でア
フィン変換する。アフィン変換されたアフィン変換画像
は、ランレングス符号化部２３に与えられる。ランレン
グス符号化部２３は、アフィン変換画像をランレングス
符号化画像に符号化してエッジ検出部２５に与える。エ
ッジ検出部２５は、高速にエッジ検出を行なう。高速に
エッジ検出されたエッジは、群処理部２７に与えられ、
画像の上から下までのグループにグループ分けされた
後、指に相当する画像がグループを形成しているので、
そのグループを除去することにより指の先端の点が得ら
れる。

【００２９】ここで、エッジ検出とグループ決め以外の
処理はパイプライン化することができる。また、すべて
のプロセスは並列的に両眼画像について行なえる。すな
わち、並列パイプラインアルゴリズムを用いて、効果的
に両眼画像からの手の特徴が抽出される。以下、このよ
うに抽出された二次元の手の特徴に基づいて、オクルー
ジョンが生じた場合でも三次元の手の姿勢を検出するこ
とができるステレオ画像を用いた姿勢検出装置について
説明する。

【００３０】図２は、この発明の一実施例によるステレ
オ画像を用いた姿勢検出装置の概略ブロック図である。

【００３１】図２を参照して、二次元の手の重心２９、
二次元の指の先端の位置３１および手の方向３３から手
の姿勢を検出できるステレオ画像を用いた姿勢検出装置
は、第１の確信度検出部（図面ではＣ_d（ｉ，ｊ）で表
わす）３９と、三次元的特徴点抽出部４５と、乗算器４
７，４８と、第２の確信度検出部（図面ではＣ_s（ｉ，
ｊ）で表わす）４９と、対応度検出部（図面ではＰ_m,k
（ｉ，ｊ）で表わす）５１と、姿勢検出部５３とを含
む。

【００３２】特に、この装置において重要な構成として
は、第１の確信度検出部３９と、第２の確信度検出部４
９と、対応度検出部５１と、姿勢検出部５３である。姿
勢検出部５３は、誤対応除去表作成部５５と、判定部５
７と、最適誤対応除去表作成部５９と、乗算器６０とを
含んでいる。そして、姿勢検出部５３は、オイラー角Φ
５８を推定する。

【００３３】一方、三次元的特徴点抽出部４５は、三次
元の手の重心検出部３５と、座標変換部３７と、変換部
４３と、オイラー角検出部４１とを含んでいる。

【００３４】以下、図２に示す各構成の動作について説
明するために、それぞれの動作に必要な原理を含めて詳
細に説明する。

【００３５】図３は、第１の確信度検出部の動作に対す
る原理を説明するための図であり、図４は、第１の確信
度検出部の内部構成を示した概略ブロック図である。

【００３６】図３を参照して、特徴点の三次元的位置が
三角測量による両眼画像から決定され得ることがよく知
られている。第１の視点ＸＯ_lに対する画像６１上の画
像特徴点である二次元の指の先端座標は、ｘ_l（ｉ）↑
（↑は、以下ベクトルを表わす。）＝（（ｘ_l（ｉ），
ｙ_l（ｉ））^Tとして規定される。同様に、第２の視点
ＸＯ_rに対する画像６２上の画像特徴点である二次元の
指の先端の座標は、ｘ _r（ｊ）↑＝（ｘ_r（ｊ），ｙ_r
（ｊ））^Tとして規定される。左の画像６１のｉ番目の
指の先端ｘ_l（ｉ）↑が右の画像のｊ番目の指の先端ｘ
_r（ｊ）↑に対応して、カメラのパラメータがわかって
いる場合、三次元指先端位置Ｘ（ｉ，ｊ）↑＝（Ｘ
（ｉ，ｊ），Ｙ（（ｉ，ｊ），Ｚ（ｉ，ｊ））^Tは、直
線Ｌ_l（ｉ）と直線Ｌ_r（ｊ）との交点をみつけること
により決定される。この直線Ｌ_l（ｉ）および直線Ｌ_r
（ｊ）は、それぞれ第１の視点ＸＯ_lと画像特徴点ｘ_l
（ｉ）↑とを結んだ直線および第２の視点ＸＯ_rと画像
特徴点ｘ_r（ｊ）↑とを結んだ直線である。

【００３７】しかしながら、画像特徴点ｘ_l（ｉ）↑と
画像特徴点ｘ_r（ｊ）↑との対応関係がわからなけれ
ば、交点は発生しない。すなわち、図３のように直線Ｌ
_l（ｉ）と直線Ｌ_r（ｊ）とはねじれの関係にある場合
がある。その場合には、距離ｄ（ｉ，ｊ）隔てている。
そこで、雑音の影響を考えて画像特徴点ｘ_l（ｉ）↑と
ｘ_r（ｊ）↑との対応関係の度合いを示す確信度関数Ｃ
_d（ｉ，ｊ）を第（１）式のように定義する。ここで、
ｄ（ｉ，ｊ）は、直線Ｌ_l（ｉ）と直線Ｌ_r（ｊ）との
距離であり、かつｄ₀は定数である。この定数ｄ₀は、
必要とされる確信度に応じて決定されればよい。第
（１）式は、各画像に関する一次元の限定しか示してお
らず、対応関係のすべてが決定されるわけでない。

【００３８】このような原理の基づく第１の確信度検出
部３９は、直線Ｌ_l（ｉ）を算出する第１の直線算出部
６３と、直線Ｌ_r（ｊ）を算出する第２の直線算出部６
４と、距離ｄ（ｉ，ｊ）を算出する距離算出部６５と、
第（１）式に示す確信度の関数で確信度を決定する確信
度決定部６７とを含んでいる。

【００３９】

【数１】

【００４０】ところで、図３に示した原理に基づく第１
の確信度検出部３９は、距離という一次元の限定しか示
すことができず、すべての対応関係を決定していない。
そのため、次に、図３に示す三次元的特徴点である三次
元指先端点Ｘ（ｉ，ｊ）↑を検出する三次元的特徴点抽
出部４５について説明する。

【００４１】図５は、手の重心を原点として手に固定し
たＸ_hＹ_hＺ_h座標系とＸＹＺ世界座標系との関係を示
した図である。

【００４２】図５を参照して、三次元の手の重心Ｏ＝
（Ｘ_o，Ｙ_O，Ｚ_O）^Tと三次元の手の方向ベクトルＶ
↑＝（Ｘ_V，Ｙ_V，Ｚ_V）^Tは、二次元の手の重心と二
次元の手の方向ベクトルすなわちｖ_l↑＝（Ｘ_vl，
Ｙ_vl）^Tおよびｖ_r↑＝（Ｘ_vr，Ｙ _vr）^Tからそれぞれ
容易に決定される。これらの決定は、図２に示す三次元
の手の重心検出部３５と図示しない手の方向検出部が決
定している。ここで、図５に示すように、手に関して固
定したＸ_hＹ_hＺ_h座標系において、オイラーの角Φ，
Θ，Ψで、点Ｘ_h（ｉ，ｊ）↑＝（Ｘ_h（ｉ，ｊ），Ｙ
_h（ｉ，ｊ），Ｚ_h（ｉ，ｊ））^Tは、第（２）式によ
り、点Ｘ（ｉ，ｊ）に変換される。但し、Ｍ_x，Ｍ_yお
よびＭ_zは、Ｘ_h，Ｙ_hおよびＺ_h軸を中心とした回転
マトリクスである。これらの演算を、座標変換部３７が
行なっている。

【００４３】さらに、ΘおよびΨは、三次元の手の方向
ベクトルＶ↑から容易に導き出されるので、そのこと
を、オイラー角検出部４１が行なっている。そして、三
次元の手の重心検出部３５で検出された三次元の手の重
心Ｏ、座標変換部３７で変換された点Ｘ（ｉ，ｊ）↑お
よびオイラーの角Θ，Ψによって、第（３）式が成り立
つ。この演算を、変換部４３が行なっている。

【００４４】ところが、変換部４３で変換された点Ｘ′
（ｉ，ｊ）↑は、ある意味で三次元先端点を示している
が、この三次元先端点には、誤対応点と呼ばれる誤った
対応関係により発生する点も含まれている。そこで、誤
った対応関係による誤対応点が除去されて、Ｘ′（ｉ，
ｊ）↑から残りのオイラーの角Φが最終的に予測される
必要がある。

【００４５】次に、第２の確信度検出部４９について説
明する。伸ばした指の先端の位置が手の重心からある距
離に位置しているとの仮定に基づき、第（４）式に示す
ように、点Ｘ′（ｉ，ｊ）↑の空間的に存在する確信度
関数Ｃ_s（ｉ，ｊ）が定義される。ここで、ａ、ｒ₀お
よびｒ₁は定数である。特に、ａは、第１の確信度検出
部３９によって得られる値であり、ｒ₀およびｒ₁は、
手の大きさ等により決定される定数である。この第
（４）式に示す演算は、乗算器４７が行なっており、そ
のため、この乗算器４７が、第２の確信度検出部４９内
に設けられた場合であってもよいが、演算を明確にする
ために敢えて乗算器４７を図示した。

【００４６】第（４）式により得られることは、手の重
心とその指の先端の位置との距離の限定に留まるので、
まだすべての誤対応点が除去されるわけではない。

【００４７】

【数２】

【００４８】図６は、対応度検出部の動作に対する原理
を説明するための図である。図６を参照して、一次元の
限定によって誤対応点を除去する。指の先端が三次元表
面上に存在する場合、これらを両眼画像に投影するには
２つのタイプがある。すなわち、平面Ｓ１のように、一
方の面に対向して第１の視点ＸＯ_lおよび第２の視点Ｘ
Ｏ_rが対向している場合と、平面Ｓ２のように第１の視
点ＸＯ_lが一方の面に対向し、他方の面に第２の視点Ｘ
Ｏ_rが対向する場合である。平面Ｓ１の場合には、画像
６１および画像６２における指の先端の相互の対応関係
は、ｎ（ｘ_l（ｉ）↑^T）↑・ｎ（ｖ_l↑^T）↑とｎ
（ｘ）_r（ｊ）↑^T）↑・ｎ（ｖ _r↑^T）↑とからなる
規模のオーダにする必要がある。一方、平面Ｓ２の場合
には、ｎ（ｘ_l（ｉ）↑^T）↑・ｎ（ｖ₁↑^T）↑と、
ｎ（ｘ_r（ｊ）↑^T）↑・ｎ（ｖ_r↑^T）↑とからなる
オーダにする必要がある。但し、ｎ（^*）はベクトル^*
が正規化されたベクトルを示す。たとえば、各画像から
５つおよび４つの指先端部が抽出され、ｎ（ｘ_l（ｉ）
↑^T）↑・ｎ（ｖ_l↑^T）↑およびｎ（ｘ_r（ｊ）
↑^T）↑・ｎ（ｖ_r↑^T）↑の大きさに従ってｉ、ｊに
対応する表が作成されると、それは表１に示すように２
つの典型的なタイプの除去表Ｐ_m,1（ｉ，ｊ）とＰ_m,2
（ｉ，ｊ）が規定される。これらの除去表を対応度検出
部５１が作成している。

【００４９】

【表１】

【００５０】そして、姿勢検出部５３は、作成された除
去表Ｐ_m,k（ｉ，ｊ）と確信度Ｃ_d（ｉ，ｊ）と確信度
Ｃ_s（ｉ，ｊ）とを第（５）式のように組合せて、ｋ番
目の誤対応除去表Ｐ_,k（ｉ，ｊ）を規定する。ここで、
乗算器４８は、乗算器４７と同様に敢えて図示した。さ
らに、最適誤対応除去表Ｐ_m,opt（ｉ，ｊ）が第（６）
式のように得られるので、それを最適誤対応除去表作成
部５９が作成している。ここで、ｃは定数であり、かつ
ｗ′はＡＲ／ＭＡモデルによって予測されるベクトル
で、前の手のポーズを反映するようにこのフレーム上の
ｗを指定する。さらに、時間ファクタをｔとすると、第
（７）式が得られる。次のフレーム上のｗは、第（８）
式により予想される。但し、ａ_l（ｌ＝１，…，ｎ）、
ｂ_l（ｌ＝０，…，ｒ）およびＧは定数である。

【００５１】最終姿勢ｗは最大固有値を有する第（９）
式で規定されるＭの固有ベクトルにより得られる。

【００５２】

【数３】

【００５３】なお、図２に示すブロック図は、これらの
方法に関してのデータフロー図にも対応しているため、
前述したように乗算器４７，４８を図示している。

【００５４】次に、２つの対象を、並進なしてアームの
軸を中心に手を回転させた場合の、入力画像から二次元
の手の特徴を抽出し、その特徴に基づいて予想される手
の姿勢を収集する実験結果について説明する。

【００５５】図７および図８は、実験結果を説明するた
めの図である。特に、図７は、入力された左の画像、左
の画像上での特徴、右の画像上での特徴および手の姿勢
を示した図である。さらに、図７において、左から順
に、フレーム毎に左の画像、左の画像上の特徴、右の画
像上の特徴、手の姿勢を並べている。また、図８（ａ）
は、実際のオイラー角Φ，Ψ，Θの回転軌道を示した図
であり、図８（ｂ）は、測定されたオイラー角Φ′，
Ψ′，Θ′の回転軌道を示した図であり、図８（ｃ）
は、手の重心の位置（Ｘ_O，Ｙ_O，Ｚ_O）の軌道を示し
た図である。図８（ａ）および図８（ｂ）の横軸にはフ
レームに対応する番号を、縦軸にはオイラー角としてｄ
ｅｇｒｅｅ単位で表示している。図８（ｃ）の横軸には
フレーム番号を示し、縦軸にはＸＹＺ座標系をｃｍ単位
で表示している。

【００５６】図７および図８を参照して、左側に並んだ
入力された左の画像は、その右側に並ぶ左の特徴量とし
て検出される。この左の特徴量としては、指の先端の位
置、手の方向、手の重心などが表されている。同様に、
図示していないが右の画像から右の特徴量が得られる。
そして、最終的に最も右側に並べた手の姿勢が検出され
る。

【００５７】手の姿勢は、Ｘ′Ｙ′Ｚ軸とＸ_hおよびＹ
_h軸により作り出されるウィングとを重ね合わせること
により、視覚的な知覚が容易にされている。このウィン
グは、０から１８０°までＸ_h軸を中心に回転しかつ逆
回転により復元する手を示す。７番目、１０番目、１８
番目および２１番目のフレームでは、かなりのオクルー
ジョンがあるにも拘らず、手の姿勢の予測は安定してい
る。しかしながら、１８番目のフレームでは、指の先端
の様子が誤って検出されており、オクルージョンの仮定
は検出される手の姿勢に対して悪影響を与えることは明
らかである。

【００５８】次に、図８（ａ）〜図８（ｃ）を参照し
て、実際のオイラー角ΘおよびΨは、平均角度が０に設
定されている。Ｘ_h軸を中心とする回転ジェスチャーの
全体を通して、標準的な偏位は６．２および６．８°で
あり、最大誤差は、それぞれ９．７および１４．９°で
あった。Φはオクルージョンが生じても、緩やかにその
値を変えた。予測された角度も同じような傾向を見せて
いる。さらに、連続性が改善されている。したがって、
このように精度よく予想角度が検出されることにより、
この装置のシステムへの有用性が証明されている。

【００５９】次に、三次元の手の重心の動きに関して
は、この動作を通して、最大誤差は２．２ｃｍであっ
た。最大三次元特徴点検出誤差は最大１．２ｃｍである
ことも確かめられている。したがって、十分に本装置が
誤対応点を除去できると考えられる。

【００６０】このような実験結果に保証されたステレオ
画像を用いた姿勢検出装置は、特にハンドジェスチャー
を認識するのに有用な手の姿勢検出装置である。特徴と
しては、オクルージョンが生じても、三次元予測モデル
を使用する誤対応対応除去表により、手の姿勢が予測さ
れることである。さらに、この装置は、仮想環境の構築
に対して有用である。

【００６１】なお、実施例では、姿勢検出の対象として
手について説明したが、これに限るものでなく、手のよ
うな平面形状の厚さとみなせる物体に対しても同様の効
果が得られる。これは、平面形状とみなせる物体では、
たとえば、見る位置によってその物体が直線のように一
次元に見えるオクルージョンが生じるからである。

【００６２】また、第（１）式で示した確信度Ｃｄ（ｉ
ｒｊ）は、反比例の関係式によって与えられるだけでな
く、距離が小さくなれば大きな値を示し、距離が大きく
なれば小さな値を示す関数によって与えられればよい。

【００６３】さらに、第（４）式で示した確信度Ｃｓ
（ｉｒｊ）は、与えられた範囲から距離が外れるにつれ
て小さな値を示す関数によって与えられればよい。

【００６４】

【発明の効果】以上のように、この発明によれば、平面
形状とみなせる厚さの物体の特徴点に対応すべき画像上
の画像特徴点に基づいて、２つの確信度と対応度を求
め、それらの値に基づいて物体の姿勢を検出できるの
で、たとえば仮想環境に対して有用な姿勢検出装置を提
供できる。

【図面の簡単な説明】

【図１】この発明の一実施例によるステレオ画像を用い
た姿勢検出装置に必要とされる原理について説明するた
めの図である。

【図２】この発明の一実施例によるステレオ画像を用い
た姿勢検出装置の概略ブロック図である。

【図３】第１の確信度検出部の動作に対する原理を説明
するための図である。

【図４】第１の確信度検出部の内部構成を示した概略ブ
ロック図である。

【図５】手の重心に固定したＸ_hＹ_hＺ_h座標系とＸＹ
Ｚ世界座標系との関係を示した図である。

【図６】対応度検出部の動作に対する原理を説明するた
めの図である。

【図７】実験結果を説明するための第１の図である。

【図８】実験結果を説明するための第２の図である。

【符号の説明】

３９第１の確信度検出部４９第２の確信度検出部５１対応度検出部５３姿勢検出部

───────────────────────────────────────────────────── フロントページの続き (72)発明者竹村治雄京都府相楽郡精華町大字乾谷小字三平谷５番地株式会社エイ・ティ・アール通信システム研究所内 (56)参考文献特開平５−256613（ＪＰ，Ａ) 特開平２−47506（ＪＰ，Ａ) 特開平４−303704（ＪＰ，Ａ) 特開平５−28246（ＪＰ，Ａ) 特開平５−141919（ＪＰ，Ａ) 特開平７−239218（ＪＰ，Ａ)

Claims

(57)【特許請求の範囲】

【請求項１】少なくとも第１の視点による左視野内の
第１の画像および第２の視点による右視野内の第２の画
像に基づいて、三次元空間内に存在する平面形状とみな
せる厚さの物体の位置および姿勢を検出するステレオ画
像を用いた姿勢検出装置であって、それぞれが前記第１および第２の画像上に設けられかつ
前記物体の特徴点に対応すべき画像特徴点に対して、前
記第１の画像上の画像特徴点と前記第２の画像上の画像
特徴点との間での対応づけの確信度を検出する第１の確
信度検出手段と、それぞれが前記第１および第２の画像上の画像特徴点に
よって得られる前記三次元空間内の三次元的特徴点と前
記物体の特徴点との間での対応づけの確信度を検出する
第２の確信度検出手段と、前記物体と交わる異なる平面の空間的位置に基づいて、
前記第１または第２の画像上の画像特徴点間での対応度
を検出する対応度検出手段と、前記第１の確信度検出手段が検出した確信度、前記第２
の確信度検出手段が検出した確信度および前記対応度検
出手段が検出した対応度に応じて、前記物体の姿勢を検
出する姿勢検出手段とを備えた、ステレオ画像を用いた
姿勢検出装置。
【請求項２】前記第１の確信度検出手段は、前記第１
の視点と前記第１の画像上の画像特徴点とを結ぶ直線お
よび前記第２の視点と前記第２の画像上の画像特徴点と
を結ぶ直線間の距離に基づいて、前記確信度を検出する
ことを特徴とする、請求項１記載のステレオ画像を用い
た姿勢検出装置。
【請求項３】前記確信度は、前記距離が大きくなるこ
とに応じて小さな値になることを特徴とする、請求項２
記載のステレオ画像を用いた姿勢検出装置。
【請求項４】前記第２の確信度検出手段は、前記物体
上の所定の１点と前記三次元的特徴点との間の距離に基
づいて、前記確信度を検出することを特徴とする、請求
項１記載のステレオ画像を用いた姿勢検出装置。
【請求項５】前記確信度は、前記距離が一定の範囲か
らはずれることに応じて小さな値になることを特徴とす
る、請求項４記載のステレオ画像を用いた姿勢検出装
置。
【請求項６】前記対応度検出手段は、一方の面が前記
第１および第２の視点に対向する第１の平面と、一方の
面が前記第１の視点に対向し、他方の面が前記第２の視
点に対向する第２の平面との空間的位置に基づいて、前
記確信度を検出することを特徴とする、請求項１記載の
ステレオ画像を用いた姿勢検出装置。
【請求項７】前記対応度検出手段は、前記第１または
第２の視点と前記第１または第２の画像上の画像特徴点
とを結ぶ直線の方向ベクトルと、前記物体の方向ベクト
ルとの内積に応じて、前記確信度を検出することを特徴
とする、請求項６記載のステレオ画像を用いた姿勢検出
装置。
【請求項８】前記姿勢検出手段は、前記第１の画像上
の複数の画像特徴点と前記第２の画像上の複数の画像特
徴点に対して、前記第１の確信度検出手段が検出した確
信度、前記第２の確信度検出手段が検出した確信度およ
び前記対応度検出手段が検出した対応度を求め、前記物
体が姿勢を変化させたことに応じて得られるパラメータ
を用いて、前記物体の姿勢を最適に検出することを特徴
とする、請求項１記載のステレオ画像を用いた姿勢検出
装置。