JPH036782A - ３次元的動き情報抽出処理方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、剛体及びおよそ剛体と見なせる物体を対象と
して、物体上の特徴点の３次元位置関係が既知の場合に
、移動する物体を１台の画像入力装置で観測することに
よる物体の３次元的動き情報抽出処理方式に関するもの
である。

（従来の技術］ 物体上の特徴点の３次元位置が既知の状態から３次元的
自由な運動により物体が移動したときの３次元的動き情
報を抽出する従来の動き情報抽出方式としては、ｒテレ
ビジョン学会技術報告Ｖｏ１．１２．　Ｎｏ、２４．１
）９１３−１８Ｊに示された方式がある。

ここで示された方式は、物体の特徴点の３次元位置を磁
気を利用して計測し、移動前の特徴点間の距離を記憶す
る手段を設け、移動する物体を１台の画像入力装置によ
り観測して得られる入力画像上の移動後の特徴点の座標
と記憶しておいた移動前の特徴点間の距離とを用いて１
手多動後の特徴点の３次元位置を、物体の移動前後にお
いて特徴点間の距離が不変であることからできる移動後
の特徴点の３次元位置を未知数とする連立非線形方程式
を解いて抽出することにより、物体の３次元的動き情報
を抽出する方式である。

〔発明が解決しようとする課題〕

この方式においては連立非線形方程式を解く必要があり
、その連立非線形方程式を未知数の初期値として適当な
値を設定し、各未知数が収束するまで反復計算を行うこ
とにより解いている。各未知数が正しい値に収束するよ
うに各未知数の初期値を設定するためには移動後の特徴
点の３次元位置を予測する必要があり、初期値の設定方
法が非常に困難であることや反復計算を行うため動き情
報抽出に時間がかかるという問題点があった。

また、このような問題点を解決する方式として。

「電子情報通信学会画像工学研究会ＩＥ８８−１１２ｐ
ｐ４１−４６　」に示された方式がある。ここで示され
た方式は、物体の回転運動が小さいとして２回転角の近
似を行うことによりできる回転角と並進移動量とを未知
数とする連立線形方程式をといて３次元的動き情報を抽
出する方式である。この方式により動き情報が代数的に
一意に得られるが、抽出する回転運動は１°程度の回転
角の運動を対象としており３次元的自由な移動に対する
動き情報抽出には適用できないという問題点がある。

本発明の目的は、このような従来の問題点を解決するた
めに、未知数の初期値の設定や反復計算を必要としない
で一意に何等制限の無い自由な移動を行う物体の動き情
報を抽出する３次元的動き情報抽出処理方式を提供する
ことにある。

（ｆｆ題を解決するための手段〕 本発明の３次元的動き情報抽出処理方式は１物体上の特
徴点の３次元位置が既知の状態から３次元的自由な運動
により物体が移動したときの３次元的動き情報を抽出す
るために、移動後の物体を画像入力装置で観測して得ら
れる入力画像から抽出した特徴点の入力画像上の座標と
移動前の物体上の特徴点の３次元位置とを用いて物体の
回転運動情報を抽出する手段を有していることに特徴が
ある。

従来の方式は、物体の移動前後において３個の特徴点間
の距離が不変であることからできる連立非線形方程式を
未知数に初期値を代入し、未知数が収束するまで反復計
算を行うことにより解いて動き情報を抽出する方式や物
体の回転運動が小さいとして回転角に近似を行い、３個
の特徴点を用いてできる連立線形方程式を解いて動き情
報を抽出する方式であったが１本発明の３次元的動き情
報抽出処理方式は、５個の特徴点を用いて物体の３次元
的動き情報の中の回転運動情報を最初に抽出し、抽出し
た回転運動情報上移動後の物体上の特徴点の入力画像上
の座標と移動前の物体上の特徴点の３次元位置とを用い
て移動後の物体上の特徴点の３次元位置と物体の３次元
的動き情報とを抽出する方式であって１反復計算や物体
の移動に対する制限が必要で無い点で従来の方式と異な
る。

〔実施例〕

以下１本発明の実施例を図面に基づいて詳細に説明する
。

本発明の一実施例の構成図を第１図に示す。同図におい
て、１０１は画像入力部、１０２は特徴点抽出部、１０
３は３次元位置記憶部、１０４は回転運動情報抽出部、
１０５は３次元位置情報抽出部、１０６は連動情報抽出
部である。

画像入力部１０１は１画像入力装置により移動後の物体
を観測し、観測して得られる入力画像を特徴点抽出部１
０２に出力する。特徴点抽出部１０２は。

画像入力部１０１より出力された入力画像から特徴点を
抽出し、抽出した特徴点の入力画像上の座標を回転運動
情報抽出部１０４と３次元位置情報抽出部１０５とに出
力する。入力画像からの特徴点の抽出は５例えば、物体
の形状や表面の色が局所的に急激な変化をする点を画像
処理により抽出する。

３次元位置記憶部１０３は、移動前の物体上の特徴点の
３次元位置を例えば、公知のコード化パターン光投影法
や磁界の変化による３次元位置計測法や本発明により動
き情報を抽出した後であれば。

本発明の中で抽出した３次元位置を利用したりすること
により計測し、計測した３次元位置を記憶しておき、記
憶しておく移動前の物体上の特徴点の３次元位置を回転
運動情報抽出部１０４と、３次元位置情報抽出部１０５
とに出力する。回転運動情報抽出部１０４は、特徴点抽
出部１０２より出力される入力画像上の特や点の座標と
３次元位置記憶部１０３から出力される移動前の特徴点
の３次元位置とから物体の移動の回転運動成分を表す情
報を抽出し、抽出した回転運動情報を３次元位置情報抽
出部１０５に出力する。３次元位置情報抽出部１０５は
１回転運動情報抽出部１０４から出力される回転運動情
報と、特徴点抽出部１０２から出力される移動後の特徴
点の入力画像上の座標と、３次元位置記憶部１０３から
出力される移動前の特徴点の３次元位置とから移動後の
物体上の特徴点の３次元位置を抽出し、抽出した特徴点
の３次元位置を運動情報抽出部１０６に出力する。運動
情報抽出部１０６は３次元位置情報抽出部１０５から出
力される移動後の物体上の特徴点の３次元位置と３次元
位置記憶部１０３から出力される移動前の特徴点の３次
元位置を用いて運動情報を抽出する。

以下１回転運動情報抽出部１０４と３次元位置情報抽出
部１０５との２通りの実施例及び運動情報抽出部１０６
の一実施例を説明する。

カメラモデルを第２図に示す中心射影で表すと。

カメラレンズの中心を原点、カメラの光軸をＺ軸。

カメラの結像面の垂直方向をＸ軸とする直交座標系にお
いて、″！＃Ｊ体上の特徴点Ｐｋの３次元位置（Ｘｋ、
Ｙｋ、Ｚｋ）は、Ｐｋの入力画像上の位置を（Ｕｋ、Ｖ
ｋ）、　カメラレンズの中心からカメラの結像面までの
距離をｒとして で表せる。

第３図に示すように特徴点Ｐｋの移動後の点をＰ’ｋ　
（ｋ　＝０．１．・・・、Ｎ−１，Ｎ：特徴点の数）。

特徴点抽出部１０２から出力される入力画像上の特徴点
の座標を（Ｕ’に、　　Ｖ’ｋ）とする、また、Ｎ個の
特徴点の中の１つの点を基準点ＰＯとして説明する。

先ず１回転運動情報抽出部１０４の実施例を説明する。

第３図において、移動後の特徴点は１回転マトリクスＲ
と並進運動ベクトルＬを用いて表すことができ、並進運
動ベクトルＬを消去したがたちで表すと次式となる。

Ｐ′ｋＰ°Ｏ＝　　　ＲＰｋＰＯ ＝Ｒｐｋ　　　　（ｋ≠０）−（２） ＝ＰＯＰＯ （３） 式（１）を式（２）に代入し 得る。

Ｚ’ｋを消去して次の関係を 一−−−−・・・・・・−・（４） ところで、物体の移動の前後で特徴点間の距離が不変で
あることから回転マトリクスは次の条件を満足する。

ｒ”、　　＋ｒ−十ｒ”７−１ ”ｔ　＋ｒ！ｓ　＋　ｒ”＠　ｚ　ｌ ｒ”３　　＋ｒ”６　　＋ｒ”９　”＝　　１ｒ＋ｒ！
＋ｒ４ｒｓ＋ｒｒｒａ＝　０ ｒｚｒｓ＋ｒｓｒ、＋ｒｓｒｑ−０ 回転運動情報抽出部１０４は式（４）と式（５）を用い
て次の処理を行うことにより実現できる。

特徴点抽出部１０２より出力される特徴点の入力画像上
の座標と３次元位置記憶部１０３から出力される移動前
の特徴点の３次元位置とを用いて式（４）によりｒ２か
らｒ、をｒｌ　で表し、　　ｒｚからｒ。

を式（５）の中の任意の２つの式に代入してできるｒ、
に関する２つの２次方程式からｒ、を求めることにより
ｒｌからｒ９を求め１回転マトリクスを得ることができ
る。得られた回転マトリクスを回転運動情報として回転
運動情報抽出部１０４から出力する。

次に、３次元位置情報抽出部１０５の実施例を説明する
。

求めた回転マトリクスを式（２）に代入してＰ’ｋＰ’
Ｏを求める。Ｐ゛０の３次元位置は１式（１）より（Ｕ
’Ｏ−Ｚ’０／ｆ、　Ｖ’Ｏ−Ｚ’Ｏ／ｆ、　　Ｚ’０
）　テあるから、移動後の特徴点間の距離ＩＰ″ｋＰ’
ｏｌの距離はＺ゛０をパラメータとして求めることがで
き移動後の特徴点間の距離Ｐ″ｋＰ″Ｏが、既知である
ーン 移動ｌ；Ｉの特徴点間の距離１ＰｋＰＯ１に等しいこと
からＺ′０を求めることによりＰ″０の３次元位置が得
られ、他の特徴点の移動後の３次元位置が求められる。

すなわち、３次元位置情報抽出部１０５は１回転運動情
報抽出部１０４から出力される回転マトリクスと、特徴
点抽出部１０２から出力される移動後の特徴点の入力画
像上の座標と、３次元位置記憶部１０３から出力される
移動前の特徴点の３次元位置を用いて１以上説明したよ
うにして移動後の特徴点の３次元位置を抽出し、抽出し
た特徴点の３次元位置を運動情報抽出部１０６に出力す
る。

運動情報抽出部１０６は、３次元位置情報抽出部１０５
から出力される移動後の特徴点の３次元位置と３次元位
置記憶部１０３から出力される移動前の特徴点の３次元
位置とを用いて１式（２）及び式（３）により、３次元
的動き情報として回転運動成分の回転角と３方向の並進
移動量とを抽出する。

次に１回転運動情報抽出部＋０４と３次元位置情報抽出
部１０５との第２の実施例を説明する。

先ず１回転運動情報抽出部１０４の実施例を説明する。

式（２）におけるに＝１．２．３の場合をまとめると回
転マトリクスＲは 明する。

回転運動情報抽出部１０４より出力される回転マトリク
スを用いるとに＝４の場合における式（２）は次式で表
せる。

（７） で表せる０回転運動情報抽出部１０４は、特徴点抽出部
１０２から出力される移動後の特徴点の入力画像上の座
標を用いて移動後の特徴点の３次元位置のＺ成分Ｚ’ｋ
をパラメータとして求めた　行列−−−（８） また、物体の移動の前後で特徴点間の距離が不変である
ことから 記憶部１０３から出力される移動前の特徴点の３次元位
置から求まるｐｘ、　ｐ２．　ｐ３とを式（７）に代入
することにより回転マトリクスを求め、求めた回転マト
リクスを回転運動情報として３次元位置情報抽出部１０
５に出力する。

次に、３次元位置情報抽出部１０５の実施例を説が成り
立つ、３次元位置情報抽出部１０５は特徴点抽出部１０
２から出力される移動後の特徴点の入力画像上の座標と
、３次元位置記憶部１０３から出力される移動前の特徴
点の３次元位置から求めたｐｌからρ４と１回転運動情
報抽出部１０４から出力される回転マトリクスとを用い
て式（１）５式（８）。

式（９）における各係数を算出し９式（８）及び式（９
）に式（１）を代入することにより、移動後の特徴点の
３次元位置のＺ成分Ｚ゛０からＺ’４を求める。また、
移動後の特徴点のＸ成分、Ｘ成分を式（１）から求め移
動後の特徴点の３次元位置を抽出し、抽出した特徴点の
３次元位置を運動情報抽出部＋０６に出力する。

運動情報抽出部１０６．　３次元位置情報抽出部１０５
から出力される移動後の特徴点の３次元位置と３次元位
置記憶部１０３から出力される移動前の特徴点の３次元
位置とを用いて１式（２）及び式（３）により３次元的
動き情報として回転運動成分の回転角と３方向の並進移
動量を抽出する。

〔発明の効果〕

以上説明したように１本発明によれば、動き情報が正し
く得られるような未知数の初期値の設定や反復計算を必
要とせずに３次元的自由な移動を対象として移動後の物
体上の特徴点の入力画像上の座標と移動前の物体上の特
徴点の３次元位１とを用いて物体の回転運動情報を抽出
し、抽出した回転運動情報と、移動後の物体上の特徴点
の入力画像上の座標と、移動前の物体上の特（衣魚の３
次元位置とから移動後の物体の特徴点の３次元位置及び
３次元的動き情報を抽出することができる。

【図面の簡単な説明】

第１図は本発明の一実施例の構成図、第２図はカメラモ
デルを示す図、第３図は物体の運動による特徴点の３次
元的位置変化と移動後の特徴点の入力画像上の座標を示
す図である。 １０１・・・画像入力部。 １０２・・・特徴点抽出部。 １０３・・・３次元位置記憶部。 １０４・・・回転運動情報抽出部 １０５・・・３次元位置情報抽出部 １０６・・・運動情報抽出部。 番 カメラの結像面 菜２図 ３次元的動き情報 第３図 第　１　図

Claims (1)

1. 【特許請求の範囲】 物体上の特徴点の３次元位置が既知の状態から物体が何
   等制限の無い移動をしたときの３次元的動き情報を抽出
   する動き情報抽出処理方式において、 移動後の物体を画像入力装置で観測して得られる入力画
   像から抽出した特徴点の入力画像上の座標と移動前の物
   体上の特徴点の３次元位置とを用いて物体の回転運動情
   報を抽出する手段を有し、抽出した回転運動情報と入力
   画像上の特徴点の位置と移動前の物体上の特徴点の３次
   元位置とを用いて移動後の物体の特徴点の３次元位置と
   ３次元的動き情報とを抽出するようにした ことを特徴とする３次元的動き情報抽出処理方式。