JP3074214B2 - 移動物体認識装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は，撮像装置により移動物
体を認識する装置に関する。移動物体認識装置は，外界
の移動する対象物をＴＶカメラで撮影し，画像信号をデ
ジタル処理することにより対象物を認識するものであ
る。そして，このような移動物体認識装置はＦＡ検査，
無人監視装置，無人移動車に搭載する視覚装置等に応用
されている。

【０００２】このような移動物体認識装置は，その画像
入力部に対して相対的に移動する対象物の形状と動きを
認識するものである。従って，対象物が実際に動いてい
なくても，移動物体認識装置の画像入力部が動いている
場合には，静止している対象物の形状と対象物の相対的
な動きを認識するものである。例えば，無人移動車が搭
載した視覚装置により走行する外界の状況を認識するよ
うな場合である。

【０００３】このように，移動物体認識装置は多方面で
利用され，小型性と高速性が要求される。無人移動車の
視覚装置として利用する場合には，特に小型である必要
があるとともに人が目で見ながら実際に処理するのと同
程度の高速性が要求される。

【０００４】

【従来の技術】従来の移動物体認識装置は，２台の画像
入力部を用いて対象物を捉え，それぞれから入力される
２枚の画像における対象物の特徴点を対応づけて，異な
る時点毎に三角測量の原理により対象物の形状を求め，
対象物の動きを計算していた。

【０００５】図３４は従来の移動物体認識装置を示す。
図において，２００は対象物，黒丸は特徴点である。特
徴点は対象物の特定部位を示す点であって，頂点や縁の
点，あるいは模様などがある場合には模様の点，色の境
界等である。

【０００６】２０１は画像入力部１，２０２は画像入力
部２であって，それぞれＴＶカメラよりなるものであ
る。２０３は移動物体認識部であって，２つの画像入力
部２０１，２０２から入力される２つの画像において，
同一の特徴点を対応づけ，三角測量の原理により特徴点
の位置を計算し，位置の時間的推移から対象物２００の
動きを計算するものである。２０４は認識結果出力部で
あって，特徴点の位置と動きを出力するものである。

【０００７】図３５は従来の移動物体認識装置における
移動物体認識部の構成を示す。図において，２１０は画
像入力部１，２１１は画像入力部２，２１３は特徴点抽
出部１であって，画像入力部１から入力された画像から
特徴点を抽出するものである。２１４は特徴点抽出部２
であって，画像入力部２から入力された画像から特徴点
を抽出するものである。２１５は特徴点対応づけ部であ
って，特徴点抽出部１と特徴点抽出部２における同一の
特徴点の対応づけを行うものである。２１６は特徴点位
置計算部であって，対応づけられた特徴点の画面上の座
標と画像入力部１と画像入力部２の設置位置とにより特
徴点の位置を計算するものである。２１７は特徴点位置
格納部であって，特徴点位置計算部２１６の求めた特徴
点の位置を格納するものである。２１８は対象物動き計
算部であって，特徴点位置格納部２１７の複数時点にお
ける特徴点位置に基づいて対象物の動きを計算するもの
である。２１９は対象物動き格納部であって，対象物の
動き（回転量等）を格納するものである。２２０は認識
結果出力部であって，対象物の認識結果を出力するもの
である。

【０００８】

【発明が解決しようとする課題】上記のように，従来の
移動物体認識装置は２台のＴＶカメラを必要とした。ま
た特徴点抽出部も２つの入力画像に対してそれぞれに必
要であるため，２つ必要であった。

【０００９】また，見え方の異なる２枚の画像から，抽
出した特徴点を対応づける処理が必要であるため，特徴
点対応づけ処理部を必要とした。この特徴点の対応づけ
は困難な処理で，画像入力部（ＴＶカメラ）同士の位置
を近づけた場合には，特徴点の対応づけは比較的容易で
あるが，認識精度が悪くなる。逆に，認識精度を上げる
ため，画像入力部間の距離を大きくとると特徴点の対応
づけが困難となり，対応点の探索に膨大な処理時間を必
要とした。

【００１０】また，従来の移動物体認識装置では，対象
とする特徴点が一方の撮像装置にのみ捉えられ，他方の
撮像装置には捉えられていない場合があり，このような
時には特徴点の対応づけは不可能となった。

【００１１】本発明は，１つの画像入力部で，移動物体
の認識を行うことのできる移動物体認識装置を提供する
ことを目的とする。

【００１２】

【課題を解決するための手段】本発明等は既に，移動す
る対象物について複数特徴点の複数時点における撮像面
への正射影に基づき，画像入力部１つで対象物の動きと
形状とを認識できることを示し，新しい理論とその実現
例を開示した（参考文献：コンピュータビジョン ７５
−３（１９９１．１１．２２）。

【００１３】特に，対象物が平面上を移動している場
合，その回転軸に対して垂直方向から撮像する場合に
は，３特徴点，３時点でよく（特願平０３−２３６４６
５号），さらに回転速度が一定の場合には２特徴点３時
点（特願平０３−２３６４６３号）もしくは直角な形状
の対象物の場合には３特徴点２時点（特願平０３−２３
６４６６号）で認識できることを示した（以後，上記各
特許出願の技術を先行技術と称する）。

【００１４】本発明は，対象物を回転軸に垂直な方向か
ら撮影する場合に限らず，対象物を斜めから俯瞰する場
合にも，対象物の位置と動きを算出するようにした。図
１に本発明の基本構成を示すが，図１の説明に先立ち図
２，図３により本発明の画像入力の概念と形状／動き認
識の原理を説明する。

【００１５】図２は本発明の画像入力の概念を示す。図
において，１０は認識の対象物（移動物体）である（黒
丸は特徴点を示す）。１１は対象物１０の移動する平
面，１３は特徴点０，１４は特徴点１，１２は撮像装置
である（撮像面はＸＹ平面であり，Ｘ軸は平面に平行に
設定し，Ｚ軸はＸＹ平面に垂直（撮像装置１２の光軸方
向）に設定する）。

【００１６】本発明では，画像入力部（撮像装置１２）
は図のように，対象物を斜め方向から俯瞰して捉える。
そして，対象物１０は平面１１を移動するのでその回転
軸は常に平面に垂直な方向にある。従って，対象物１０
の回転軸とＹ軸のなす角度は一定である。

【００１７】また，本発明では，移動物体からの光は平
行に画像入力部に入力されると近似する。例えば，平面
は道路，移動物体は道路上を走行する自動車，画像入力
部は道路脇に固定したＴＶカメラ，あるいは，特定の自
動車に固定したＴＶカメラ等を想定した場合に相当す
る。

【００１８】図３は本発明の形状／認識の原理説明図で
ある。図 (a)は対象物の軌跡（特徴点０を原点においた
時の他の特徴点１の相対座標により正規化した軌跡を表
す図である。図 (b)は対象物の軌跡のＹＺ平面への射影
である。図 (c)は対象物の軌跡のＸＹ平面への射影であ
り，楕円となる。

【００１９】図 (a)において，ＸＹ平面は観測面（正射
影面）を表す。Ｚ軸はＸＹ平面に垂直であり，撮像装置
の光軸方向に一致する。２０は特徴点０であり，座標原
点Ｏとしたものである。２１は特徴点１（ｘ，ｙ，ｚ）
である。２２は平面αであって，特徴点０を座標軸の原
点とした時の特徴点１の回転面である。２３は回転軸で
ある。

【００２０】図 (b)において，Ｈは特徴点１から回転軸
に下ろした垂線と回転軸が交わる点である。ＡＢは回転
面αのＹＺ面への正射影である。特徴点からＨまでの距
離をｄ，特徴点０（原点）からＨまでの距離をｈ，回転
軸とＹ軸のなす角をΨとする。

【００２１】図 (c)において，点Ａ’Ｂ’，Ｃ’Ｄ’は
回転αのＸＹ面への正射影の楕円の軸である。Ｈ’は楕
円の中心である。Ａ’，Ｂ’，Ｃ’，Ｄ’，Ｈ’の座標
はそれぞれ，Ａ’（０，ｈｃｏｓΨ−ｄｓｉｎΨ），
Ｂ’（０，ｈｃｏｓΨ＋ｄｓｉｎΨ），Ｃ’（−ｄ，ｈ
ｃｏｓΨ），Ｄ’（ｄ，ｈｃｏｓΨ），Ｈ’（０，ｈｃ
ｏｓΨ）となる。

【００２２】上記のΨにおいて，Ψ＝ｎπ（ｎは整数）
の場合は，対象物が移動する平面に平行に対象物を観測
する場合であって，前記先行技術により対象物の動き
と，位置（３次元座標（ｘ，ｙ，ｚ））を求めることが
できる（先行技術については，実施例(1) において説明
する。）。

【００２３】以下，本願発明の原理を，対象物の形状の
認識と動きの認識に分けて説明する。 （１） 対象物の形状の認識 特徴点の正射影の観測により，対象物の動きと位置を認
識するためには，最小限２特徴点２時点の観測値が必要
である。

【００２４】（形状認識１） Ψ≠ｎπ（ｎ整数）の場
合には，ＸＹ面上の観測値に基づき，対象物の動きと位
置を認識することができる。 （形状認識２） Ψ＝π／２＋ｎπの場合には，対象物
の形状の認識はできないが回転は認識できる。

【００２５】（形状認識３） ｃｏｓΨ≠ｎπ、π／２
＋ｎπの時 特徴点１の時点ｉにおける座標値を（ｘ_i ，ｙ_i ）（ｉ
＝１，２）とする。また，特徴点１のＺ座標をｚ _i （ｉ
＝１，２）とする。

【００２６】面αのＸＹ平面上への正射影は楕円とな
り，次式で表される。 ｘ² ＋（ｙ−ｈｃｏｓΨ）² ／ｓｉｎ² Ψ ＝ｄ² ・・・・・・(1) ｙ₁ ≠ｙ₂ の場合， ｈ＝｛（ｘ₂ ² −ｘ₁ ² ）ｓｉｎ² Ψ＋（ｙ₂ ² −ｙ₁ ² ）｝／｛２ｃｏｓ Ψ（ｙ₂ −ｙ₁ ）｝ ・・・・・・・・・・・・・・・・・・・・・・(1) ’ ｚ_i ＝（ｈ−ｙ_i ｃｏｓΨ）／ｓｉｎΨ（ｉ＝１，２） ・・・・・(2) ｄ ＝｛ｘ_i ² ＋（ｙ_i −ｈｃｏｓΨ）² ／ｓｉｎ² Ψ｝^1/2 （ｉ＝１，２） ・・・・・・・・・・・・・・・・・・・・・・・・・・・・(2) ’ となる。

【００２７】式(2) の導出は次の通りである。一般に，
特徴点（ｘ，ｙ，ｚ）をＸ軸の回りに（−Ψ）回転する
（ＹＺ面に平行に回転する）と，回転させた点（ｘ’，
ｙ’，ｚ’）に対して，式

【００２８】

【数２】

【００２９】が成立する。従って，ｙ’＝ｙｃｏｓΨ＋
ｚｓｉｎΨとなる。ｙ’＝ｈであるから， ｓｉｎΨ≠０とすると，ｚ＝（ｈ−ｙｃｏｓΨ）／ｓｉｎΨ・・・・(3) ’ 従って，ｚ_i ＝（ｈ−ｙ_i ｃｏｓΨ）／ｓｉｎΨ（ｉ＝
１，２）となる。

【００３０】以上により，ｙ₁ ≠ｙ₂ であれば，特徴点
のｚ_i が求まり，対象物の形状を認識することができ
る。但し，ｙ ₁ = ｙ ₂ の時は，２つの時点でＸＹ面上の
正射影が縮退するので，原理的に対象物の奥行き（Ｚ座
標値）を求めることはできない。

【００３１】以上の関係を定理としてまとめる。 〔定理１） (a) Ψ＝ｎπ（ｎ整数）のときは，回転軸に垂直な方
向からの観測値により，前記先行技術から形状を求める
ことができる。

【００３２】(b) Ψ＝π／２＋ｎπ（ｎ整数）のとき
は特徴点と観測数にかかわりなく原理的に形状認識でき
ない。 (c) Ψ≠ｎπ，π／２＋ｎπ（ｎ整数）のとき，ｙ₁
≠ｙ₂ の場合には，２特徴点２時点の観測により，式
(1) ，式(2) により形状認識できる。

【００３３】ｙ₁ ＝ｙ₂ の場合は，２特徴点２時点の観
測値だけでは，形状認識できない。 (2) 対象物の動きの認識について，対象物の動き（回
転）は次のように求めることができる。

【００３４】点（ｘ，ｙ，ｚ）をＸ軸の回りに（−Ψ）
回転した点を点（ｘ’，ｙ’，ｚ’）とする。この時，
点（ｘ，ｙ，ｚ）と点（ｘ’，ｙ’，ｚ’）との間には
式(3) の関係がある。

【００３５】第１時点から第２時点までの対象物の回転
角をθとすると。以下，Ψの大きさにより，場合を分け
て説明する。 （回転認識１）Ψ＝π／２＋ｎπの時，特徴点はＺ軸を
中心に回転する。従って， ｃｏｓθ＝（ｘ₁ ｘ₂ ＋ｙ₁ ｙ₂ ）／（ｘ_i ² ＋ｙ_i ² ）（ｉ＝１，２） ・・・・・・・・・・・・・・・・・・・・・・・・・・・・(4) ｓｉｎθ＝（ｘ₁ ｙ₂ −ｘ₂ ｙ₁ ）／（ｘ_i ² ＋ｙ_i ² ）（ｉ＝１，２） ・・・・・・・・・・・・・・・・・・・・・・・・・・・(4) ’ である。式(4)(4)' から回転θを求めることができる。

【００３６】（回転認識２） Ψ≠ｎπ，π／２＋ｎπ
（ｎ整数）のとき，ｙ₁ ＝ｙ₂ のときは，回転をもとめ
ることができない。ｙ₁ ≠ｙ₂ のとき， ｚ_i ’＝−ｙ_i ｓｉｎΨ＋ｚ_i ｃｏｓΨ ｃｏｓθ＝（ｘ₁ ｘ₂ ＋ｚ₁ ’ｚ₂ ’）／（ｘ_i ² ＋ｚ_i ’² ）（ｉ＝１， ２） ・・・・・・・・・・・・・・・・・・・・・・・・・・・・(5) ｓｉｎθ＝（ｘ₁ ｚ₂ ’−ｘ₂ ｚ₁ ’）／（ｘ_i ² ＋ｚ_i ’² ）（ｉ＝１， ２） ・・・・・・・・・・・・・・・・・・・・・・・・・・・・(5) ’ により回転θを求めることができる。

【００３７】以上の関係を定理２としてまとめる。 〔定理２） (a) Ψ＝ｎπ（ｎ整数）のとき，前記先行技術により
対象物の動きを求めることができる。

【００３８】(b) Ψ＝π／２＋ｎπ（ｎ整数）のと
き，下式でθが求まる。 ｃｏｓθ＝（ｘ₁ ｘ₂ ＋ｙ₁ ｙ₂ ）／（ｘ_i ² ＋
ｙ_i ² ）（ｉ＝１，２） ｓｉｎθ＝（ｘ₁ ｙ₂ −ｘ₂ ｙ₁ ）／（ｘ_i ² ＋
ｙ_i ² ）（ｉ＝１，２） (c) Ψ≠ｎπ，π／２＋ｎπ（ｎ整数）のとき，ｙ₁
＝ｙ₂ のとき，回転θは求まらない。

【００３９】ｙ₁ ≠ｙ₂ のとき，下式により回転θが求
まる。 ｚ_i ’＝−ｙ_i ｓｉｎΨ＋ｚ_i ｃｏｓΨ ｃｏｓθ＝（ｘ₁ ｘ₂ ＋ｚ₁ ’ｚ₂ ’）／（ｘ_i ²＋ｚ
_i ’ ²）（ｉ＝１，２） ｓｉｎθ＝（ｘ₁ ｚ₂ ’−ｘ₂ ｚ₁ ’）／（ｘ_i ²＋ｚ
_i ’ ²）（ｉ＝１，２） （回転認識３） ２時点における原点以外の３特徴点の
Ｚ座標が求まっている場合には，３特徴点の座標からな
る行列の行列式が０でない場合には，式

【００４０】

【数３】

【００４１】により，第１時点から第２時点までの特徴
点の回転を表す行列を求めることができる。本発明は以
上の定理により，１個の入力部で，複数特徴点の複数時
点の観測値により，対象物の動きと位置を求めるように
した。

【００４２】図１は，本発明の基本構成を示す。図にお
いて，１は画像入力部であって，撮像面をＸＹ平面と
し，Ｘ軸は対象物の移動する平面に平行に設定されたも
の（特徴点の回転軸の正射影がＹ軸の方向）。２は特徴
点抽出部，３は特徴点格納部，４は既知情報入力部であ
って，対象物の既知情報を入力するものである。５は形
状／動き認識手段であって，特徴点の位置と動きを認識
するものである。５’はΨ判定手段であって，Ψの大き
さを判定するものである（Ψはセンサ等で検出して入力
する他，撮像面上の２次元の観測値から求めることもで
きる）。６は特徴点位置正規化部であって，複数の特徴
点のうちの１つを原点として他の特徴点の相対座標を算
出することにより特徴点位置の正規化処理を行うもので
ある。７は形状／動き算出部であって，２特徴点，２時
点の２次元の観測値（ｘ_i ，ｙ_i ）（ｉ＝１，２）に基
づいて，特徴点の回転および位置を求めるものである。
また，対象物の形状のみが求まった場合には，原点以外
の３特徴点，２時点の観測値により回転のみを求めるも
のである（この点については図示されていない）。

【００４３】８は特徴点位置復元部であって，特徴点位
置正規化部６の処理において原点とした特徴点の実際の
画面上の座標値と，形状／動き算出部７の求めた他の特
徴点の相対的な動きと位置に基づいて，特徴点の３次元
座標における位置と動きを復元するものである。

【００４４】

【作用】図１の基本構成の動作を説明する。画像入力部
１は対象物の画像を入力する。特徴点抽出部２は入力さ
れた画像から特徴点を抽出する。特徴点格納部３は，抽
出された特徴点の画像面上の座標値を格納する。

【００４５】既知情報入力部４は，センサ（図示せず）
等により求めた対象物の回転軸と画像入力部のＹ軸のな
す角Ψを保持する（Ψは撮像面の特徴点の２次元の観測
値により求めることもできる。）Ψ判定手段５’は，既
知情報入力部４から入力されたΨの大きさを判定する。
あるいは特徴点位置正規化部６により正規化された特徴
点のＸＹ平面上の座標値に基づいてΨの大きさを判定す
る。

【００４６】特徴点位置正規化部６は，特徴点０を座標
軸の原点として，他の特徴点の相対座標を求める。形状
／動き算出部７は， (1) Ψ≠ｎπ，π／２＋ｎπ（ｎ整数）の場合には，
２特徴点２時点の観測値（ｘ_i ，ｙ_i ）（ｉは時点を表
し，ｉ＝１，２）に基づいて， ｈ＝｛（ｘ₂ ² −ｘ₁ ² ）ｓｉｎ ²Ψ＋（ｙ₂ ² −ｙ₁ ² ）｝／｛２ｃｏ ｓΨ（ｙ₂ −ｙ₁ ）｝・・・・・・・・・・・・・・・・・・・・ (1) ’ ｚ_i ＝（ｈ−ｙ_i ｃｏｓΨ）／ｓｉｎΨ（ｉ＝１，２）・・・・・・・(2) により，特徴点のＺ座標を求める。

【００４７】(2) ，次に，式 ｚ_i ’＝−ｙ_i ｓｉｎΨ＋ｚ_i ｃｏｓΨ ｃｏｓθ＝（ｘ₁ ｘ₂ ＋ｚ₁ ’ｚ₂ ’）／（ｘ_i ² ＋ｚ_i ’² ）（ｉ＝１， ２）・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・(5) ｓｉｎθ＝（ｘ₁ ｚ₂ ’−ｘ₂ ｚ₁ ’）／（ｘ_i ² ＋ｚ_i ’² ）（ｉ＝１， ２）・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・(5）’ により回転θを求める。

【００４８】さらに，(3) 式 ｄ＝｛（ｘ_i ² ＋（ｙ_i −ｈｃｏｓΨ）² ／ｓｉｎ
²Ψ｝^1/2 （ｉ＝１，２） また，(4) は図示されてはいないが，形状／動き認識手
段５は，Ψ＝π／２＋ｎπ（ｎ整数）の場合には，式
(4) ，式(4) ’により，回転のみを求めるものである。

【００４９】あるいは，(5) は図示されてはいないが，
形状／動き認識手段５は，本発明の方法と異なる他の方
法により，形状があらかじめ求められている場合には，
その観測値よりなる行列の行列式が０でない場合には，
上記式(5) ''' により，回転を求める。特徴点位置復元
部８は，原点とした特徴点０の撮像面上での位置情報と
他の特徴点の相対座標から，各特徴点の実際の３次元的
な動きと位置を復元する。

【００５０】

【実施例】図４は本発明の移動物体認識装置の構成を示
す。図において，３０は対象物（黒丸は特徴点），３１
は画像入力部，３２は特徴点抽出部，３３は特徴点格納
部，３４は形状／動き認識部である。３５は特徴点位置
格納部であって，形状／動き認識部３４の求めた特徴点
の位置を格納するものである。３６は対象物動き格納部
であって，形状／動き認識部３４の求めた特徴点の動き
を格納するものである。

【００５１】〔実施例(1) 〕図５は本発明の実施例(1)
の形状／動き認識部の構成を示す。図において，４０は
形状／動き認識部，４１は既知情報入力部，４２はΨの
既知情報であって，センサ等により予め検出したもので
ある。Ψは正規化された特徴点の撮像面上の２次元の観
測値により求めることもできる。４３は形状，動き既知
情報であって，例えば，対象物が道路の縁石のような直
角な形状を持つ場合，その情報を予め設定するものであ
る。４４は特徴点位置正規化部，４５は特徴点位置格納
部である。

【００５２】４６はΨ判定部であって，Ψ≠０度（ｎ
π），９０度（π／２＋ｎπ），Ψ＝９０度（π／２＋
ｎπ），Ψ＝０度（ｎπ）（ｎ整数）の判定をするもの
である。Ψが既知情報として与えられていない場合に
は，特徴点の正規化座標値に基づいて算出する。

【００５３】４７は形状／動き算出部であって，正規化
された特徴点の動きと形状を算出するものである。４８
はΨ≠０度，９０度の処理部であって，Ψ≠０度（ｎ
π），９０度（π／２＋ｎπ）の場合に形状と動きの算
出処理を行うものである。４９はΨ＝９０度の算出処理
部であって，Ψ＝９０度（ｎπ）の場合の動きの算出処
理を行うものである。５０はΨ＝０度（ｎπ）の場合
の，形状と動きの算出処理を行うものである。５１’は
形状一般算出部であって，対象物の形状が一般でΨ＝０
度の場合の形状および動きの算出処理を行うものであ
る。５２は動き一定算出部であって，対象物の回転が一
定で，Ψ＝０度の場合の形状と動きを算出するものであ
る。５３は形状直角算出部であって，対象物に直角があ
る場合の動きと形状を算出するものである。５１は認識
不可能処理部である。

【００５４】５４は特徴点位置復元部，５５は特徴点位
置格納部，５６は対象物動き格納部である。図６（実施
例(1) のフロー(1) ）〜図１３（実施例(1) のフロー
(8) ）により図５の形状／動き認識部の動作の説明をす
る。

【００５５】図示のステップの番号に従ってフローを説
明する。必要に応じて図５を参照する。 〔Ψ判定部の処理〕 Ｓ１ 既知入力部４１に入力されたΨについて，Ψは９
０度か判定する。９０度でなければＳ３に進み，Ψ＝９
０度であれば，Ｓ２においてΨ＝９０度の処理をする。

【００５６】Ｓ３において，既知情報入力部４１に入力
されΨについて，Ψは０度か判定する。Ψが０度であれ
ばＳ４においてΨ＝０度の処理を行い，０度でなけれ
ば，Ｓ５においてΨ≠９０度，０度の処理を行う。

【００５７】〔Ψ≠９０度，０度の処理〕 Ｓ６ 既知情報入力部４１は，特徴点位置正規化部４４
に，２時点数と２特徴点数を指定する。

【００５８】Ｓ７ 特徴点位置正規化部４４において，
特徴点位置正規化部の処理がなされる。ここで，特徴点
位置正規化部４４の処理（図９）を説明する。

【００５９】Ｓ１７において，特徴点位置正規化部４４
は特徴点格納部４５から指定数の時点における指定数の
特徴点の画面上の位置情報を受け取る。 Ｓ１８ 特徴点位置正規化部４４は，特定の特徴点０の
画面上の位置を記憶するとともに，特定の特徴点０がＸ
Ｙ座標軸の原点になるように，他の特徴点の画面座標か
ら特徴点０の画面座標を引いて正規化された特徴点の画
面座標を格納する。

【００６０】そこで，Ψ≠９０度，０度の処理（図７）
に戻る。 Ｓ８ 特徴点１の２時点のＹ座標が等しいか判定する。
等しくなければ，Ｓ１０に進み，等しければＳ９におい
て認識不可能処理を行う。

【００６１】Ｓ１０ Ｓ８でｙ₁ ≠ｙ₂ であれば，形状
／動き算出部４７のΨ≠０度，Ψ≠９０度の処理部４８
は，距離ｈを式(1) ’により算出する。 Ｓ１１ 形状／動き算出部４７のΨ≠０度，Ψ≠９０度
の処理部４８は，特徴点１のＺ座標ｚ_i （ｉ＝１，２）
を式(2) で算出する。

【００６２】Ｓ１２ 形状／動き算出部４７のΨ≠０
度，Ψ≠９０度の処理部４８は回転各θを式(4) ”，
(5) ，(5) ’により算出する。 Ｓ１３ 形状／動き算出部４７は，特徴点のＺ座標値ｚ
_i を特徴点位置復元部５４に送る。

【００６３】Ｓ１４ 形状／動き算出部４７のΨ≠０
度，９０度の処理部４８は，得られた回転角を特徴点位
置復元部５４に送る。 〔特徴点位置復元部の処理〕 Ｓ１５ 特徴点位置復元部５４は，特徴点位置格納部５
５に特徴点０の観測座標と，他の特徴点の特徴０に対す
る相対位置を格納する。

【００６４】Ｓ１６ 特徴点位置復元部５４は，対象物
動き格納部５６に，移動物体の回転角度を格納する。次
に，Ｓ８において特徴点１の２時点のＹ座標が等しい場
合の認識不可能処理を説明する。 〔認識不可能処理〕（図９） Ｓ１９ 形状／動き算出部４７の認識不可能処理部５１
は，特徴点位置復元部５４に形状と動きが認識不可能と
いう情報を格納する。

【００６５】Ｓ２０ 特徴点位置復元部５４は，特徴点
位置格納部５５に認識不可能という情報を格納する。 Ｓ２１ 特徴点位置復元部５４は，対象物動き格納部５
６に認識不可能という情報を格納する。

【００６６】〔Ψ＝９０度の処理〕（図１０） Ｓ２２ 既知情報入力部４１は，特徴点位置復元部５４
に，形状が認識不可能であるという情報を格納する。

【００６７】Ｓ２３ 特徴点位置復元部５４は，特徴点
位置格納部５５に認識不可能という情報を格納する。 Ｓ２４ 既知情報入力部４１は，特徴点位置正規化部４
４に，時点数が２，特徴点数２を指定する。

【００６８】次いで，特徴点位置正規化部４４の処理
（図９）を行い，Ｓ２５で形状／動き算出部４７のΨ＝
９０度の処理（Ψ＝９０度の処理部４９の処理）を行
う。 〔形状／動き算出部４７の処理（Ψ＝９０度の場合）〕
（図１１） Ｓ２６ 特徴点のＸ座標とＹ座標の２乗の和が０でない
か判定する。そして，その和が０でなければ，Ｓ３０に
進み，その和が０であればＳ２７に進む。

【００６９】Ｓ２７ Ｓ２６において，Ｘ座標とＹ座標
の２乗の和が０であれば，形状／動き算出部４７の認識
不可能処理部５１は，特徴点位置復元部５４に動きが認
識不可能という情報を格納する。

【００７０】Ｓ２８ 特徴点位置復元部５４は対象物動
き格納部５６に動きが認識不可能であるという情報を格
納する。 Ｓ３０ Ｓ２６において，Ｘ座標とＹ座標の２乗の和が
０でなければ，形状／動き算出部４７のΨ＝９０度の処
理部４９は，第１時点から第２時点までの移動物体（特
徴点）の回転角θを，式(4) ，(4) ’により算出する。

【００７１】Ｓ３１ 形状／動き算出部４７のΨ＝９０
度の処理部４９は，特徴点位置復元部５４に移動物体
（特徴点）の回転角θを格納する。 Ｓ３２ 特徴点位置復元部５４は，対象物動き格納部５
６に特徴点０の観測座標と移動物体（特徴点）の回転角
θを格納する。 〔Ψ＝０度の処理〕（図１２，Ｓ４） （Ψ＝０度の処理においては先行技術を用いるが，先行
技術については，図１４〜図２０において形状／動きの
認識方法を説明し，図２２〜図３２においてその認識手
順のフローを示す。） Ｓ３３ 既知情報入力部４１は，既知情報をもとに，先
行技術（図２２〜図３２）に従い，特徴点位置正規化部
４４に，必要な時点数と特徴点数を指定する。

【００７２】次いで，特徴点位置正規化部４４の処理
（図９）を行う。 Ｓ３４ 既知情報入力部４１は，既知情報をもとに，先
行技術（図２２〜図３２のフロー）に従い，形状／動き
算出部４７に認識モードを送る（先行技術は，形状一
般，動き（回転）一定，形状直角の場合について，それ
ぞれ異なる処理を行いそのモードの指定を行う）。

【００７３】Ｓ３５ 形状／動き算出部４７は，先行技
術（図２２〜図３２）の認識手順を適用する。 Ｓ３６ 形状／動き算出部４７のΨ＝０度の処理部５０
における特徴点の動きと形状の認識可能性を判断する
（図２２〜図３２フローの認識手順に従って形状／動き
を算出する過程において，認識不可能という判断がなさ
れる場合がある。）認識不可能という判定がなされれ
ば，認識不可能処理（図９）を行う。認識不可能という
情報が出力されていなければ，Ｓ３７に進む。

【００７４】Ｓ３７ 形状／動き算出部４７のΨ＝０度
の処理部５０は，特徴点のＺ座標値ｚを特徴点位置復元
部５４に格納する。 Ｓ３８ 形状／動き算出部４７のΨ＝０度の処理部５０
は，得られた回転角を特徴点位置復元部５４に送る。

【００７５】Ｓ３９ 特徴点位置復元部５４は，特徴点
位置格納部５５に特徴点０の観測座標と，他の特徴点０
に対する相対位置を格納する。 Ｓ４０ 特徴点位置復元部５４は，対象物動き格納部５
６に移動物体（特徴点）の回転角度を格納する。

【００７６】図１４〜図２０により，本発明に先行する
移動物体認識装置における移動物体認識方法（以後先行
技術と称する）について，説明する。図１４は，本発明
の先行技術の形状／回転の算出方法の説明図である。

【００７７】図において，ＸＹ平面は観測面である。特
徴点０は原点，特徴点１，２はＹ軸を中心に回転する。
Ｚ軸は撮像装置の光軸方向である。（図は，対象物の回
転軸に対して垂直に観測した場合に相当する。） 図１
５は，本発明の実施例(1) で用いる先行技術（形状一
般）を示す。

【００７８】形状一般の場合には，３特徴点３時点の観
測で形状・動きを認識できる。図において，第１時点に
おける特徴点１，２のベクトルをそれぞれｕ₁ ，ｕ_{2 ,}
第２時点における特徴点１，２のベクトルをそれぞれｖ
₁ ，ｖ_{2 ,} 第３時点における特徴点１，２のベクトルを
それぞれｗ₁ ，ｗ₂ とする。

【００７９】時点１から時点２への回転をＲ，時点１か
ら時点３への回転をＳとする。このとき，特徴点１，２
の形状と動きを求めることは， ｖ_i ＝Ｒｕ_{i ,} ｗ_i ＝Ｓｕ_i （ｉ＝１，２） ・・・・・・・・・・(6) から回転Ｒ，Ｓと特徴点のＺ座標ｕ_{i3 ,}ｖ_{i3 ,}ｗ_i3 と
動きを求める問題に定式化できる。

【００８０】Ｒ，Ｓの成分は次の通りである。

【００８１】

【数４】

【００８２】認識解が求まる幾何学的条件は， 「任
意の２時点の間の物体の回転角は０度でも１８０度ても
ない」 ３特徴点は同一直線上にない」である。この
ことは，

【００８３】

【数５】

【００８４】が全て正則であるということである。次の
手順により認識解を求める。 (1) 回転Ｒ，回転Ｓを計算する。

【００８５】まず，次式で表されるａ₁ を計算する。

【００８６】

【数６】

【００８７】Ｒの成分ｒ₁₁，ｒ₁₂は次式で決まる。 ｒ₁₁＝（１＋ａ₁₁−ａ₁₂ ²）／２ａ₁₁ ・・・・・・・・・・・・・・(10) ｒ₁₂＝±（１−ｒ₁₁ ²）^1/2 ・・・・・・・・・・・・・・(11) Ｓの成分ｓ₁₁，ｓ₁₂は，次式により求まる。

【００８８】 ｓ₁₁＝（１−ａ₁₁ｒ₁₁）／ａ₁₂ ・・・・・・・・・・・・・・・・・(12) ｓ₁₂＝ａ₁₁ｒ₁₂／ａ₁₂ ・・・・・・・・・・・・・・・・・(13) (2) 特徴点のＺ座標の計算をする。

【００８９】ａ₂ を

【００９０】

【数７】

【００９１】の第２行として求める。ｕ_i2（ｉ＝１，
２）を式

【００９２】

【数８】

【００９３】で求める。ｖ_i2, ｗ_i2，（ｉ＝１，２）は
式 ｖ_i2＝ｒ₂ ｕ_i ，ｗ_i2＝ｓ₁ ｕ_i ・・・・・・・・・・・・・・・・(15) で求まる。

【００９４】上記において，ｒ₁₂は正の場合と負の場合
があるが，これは図１６に示すように鏡映反転となる解
にそれぞれ対応する（図 (a)の正方向の回転，図 (b)の
負方向の回転のいづれも，ｖ_i ＝Ｒｕ_{i ,} ｗ_i ＝Ｓｕ_i
（ｉ＝１，２）の解となる）。これは，例えば対象物の
表面が凸の場合と凹の場合等に対応し，それぞれがどち
らの解になるかを予め既知情報として設定しておけば，
認識解を確定することができる。

【００９５】なお，上記の形状一般の移動物体を回転軸
に垂直方向から観測する場合の移動物体認識方法は，前
記参考文献，特願平０３−２３４６５号に詳述されてい
る。一般的に，短時間で見た場合には物体の動きは一定
とみなせることが多い。図１７は，本発明の実施例(1)
で用いる先行技術（回転一定）を示す。

【００９６】特徴点の動き一定（回転速度が一定）の場
合には，特徴点数２，時点数３で認識解を求めることが
できる。図において，ｕ ₁ ，ｖ ₁ ，ｗ₁ はそれぞれ特徴
点１の第１時点，第２時点，第３時点のベクトルを表
す。このとき，認識問題は， ｖ₁ ＝Ｒｕ₁ ，ｗ₁ ＝Ｒ ²ｕ₁ と定式化できる。

【００９７】認識解が求まるための幾何学的条件は，
「Ｒの回転角度は０度でも１８０度でもない」，
「ｖ時点において，２特徴点の正射影が重ならない」こ
とである。

【００９８】幾何学的条件は，判定条件 ｕ₁₁＝±
ｖ₁₁＝ｗ₁₁でないことである。，が成立するとき，
下記の手順で，認識解が求まる。(1) 回転Ｒを計算す
る。

【００９９】成分ｒ₁₁，ｒ₁₂を次式で計算する。 ｒ₁₁＝（ｕ₁₁＋ｗ₁₁）／（２ｖ₁₁） ・・・・・・・・・・・・・・(17) ｒ₁₂＝±（１−ｒ₁₁ ²）^1/2 ・・・・・・・・・・・・・・(18) (2) 特徴点のＺ座標の計算をする。

【０１００】ｕ_12, ｖ_12, ｗ₁₂を下式により計算する。

【０１０１】

【数９】

【０１０２】 ｖ₁₂＝ｒ₂ ｕ₁ ，ｗ₁₂＝ｒ₂ ｖ₁ ・・・・・・・・・・・・・ (20) 図１７の場合にも，鏡映反転の解は存在する。なお，上
記の動き一定の対象物を回転軸に垂直な方向から観測し
た場合の移動物体認識方法は，前記参考文献，特願平０
３−２３６４６４号，に詳述されている。

【０１０３】建築物，道路の縁石等，対象物には直角の
縁があるものが多い。対象物に直角となる特徴点がある
場合には，直角をつくる３特徴点を２時点で対応づける
ことにより形状／動きを認識できる。

【０１０４】図１８は本発明の実施例(1) で用いる先行
技術（形状直角の場合）を示す。図において，ｕ₁ ，ｕ
₂ はそれぞれ特徴点１，特徴点２の第１時点のベクトル
である。ｕ₁ とｕ₂ は直角をなす。ｖ₁ ，ｖ₂ はそれぞ
れ特徴点１，特徴点２の第２時点のベクトルである。ｖ
₁ ，ｖ₂ は直角をなす。第１時点から第２時点まての回
転をＲ（回転角θ），特徴点１の原点からの距離をｄ
_{1 ,} 特徴点２の原点からの距離をｄ₂ とする。またＸ軸
とベクトルｕ₁ のなす角度をαとする。

【０１０５】特徴点のベクトルが満たすべき方程式は， ｖ_i ＝Ｒｕ_i （ｉ＝１，２） ・・・・・・・・・・・・・・・・・(21) である。この式から，観測できるＸ座標を用いた方程式 ｄ₁ ｃｏｓα＝ｕ₁₁，−ｄ₂ ｓｉｎα＝ｕ₂₁ ・・・・・・・・・(22) ｄ₁ ｃｏｓ（α＋θ）＝ｖ₁₁，−ｄ₂ ｓｉｎ（α＋θ）＝ｖ₂₁ ・・・(23) が得られる。

【０１０６】この方程式から，ｄ₁ ，ｄ₂ ，α，θを求
めれば良い。認識解が求まる幾何学的条件は，「 対
象物の回転角が０度でも１８０度でもない。 ２時点
における特徴点１，２はどちらも正射影軸に関して対象
の位置にない。」である。

【０１０７】幾何学的条件，は次の判定条件と同値
になる。 ｜ｕ₁₁｜＝｜ｖ₁₁｜，｜ｕ₂₁｜＝｜ｖ₂₁｜でない。 幾何学的条件は，判定条件 ｕ₁₁ｖ₂₁＋ｕ₂₁ｖ₁₁≠
０である。

【０１０８】判定条件が成立するとき，下記の手順で
認識解を求めることができる。 (1) 回転Ｒを下式で求める。 ｒ₁₁＝（ｕ₁₁ｕ₂₁＋ｖ₁₁ｖ₂₁）／（ｕ₁₁ｖ₂₁＋ｕ₂₁ｖ₁₁） ・・・・・(24) ｒ₁₂＝±（１−ｒ₁₁ ²）^1/2 ・・・・・・・・・・・・・・・・・・(25) (2) 特徴点のＺ座標を求める。

【０１０９】α，ｄ₁ ，ｄ₂ が次のように決定され
る。 (a) ｕ₁₁≠０，ｕ₂₁≠０のとき， ｔａｎα＝（ｖ₁₁−ｕ₁₁ｒ₁₁）／ｕ₁₁ｒ₁₂ ・・・・・・・・・・・(26) ｄ₁ ＝ｕ₁₁／ｃｏｓα，ｄ₂ ＝−ｕ₂₁／ｓｉｎα ・・・・・(27) (b) ｕ₁₁＝０のとき α＝９０度（ｕ₂₁＜０のとき），α＝２７０度（ｕ₂₁＞０のとき） ｄ₁ ＝｜ｖ₁₁／ｒ₁₂｜，ｄ₂ ＝｜ｕ₂₁｜ ・・・・・・・・・・・・(28) (c) ｕ₂₁＝０のとき α＝０度（ｕ₁₁＞０のとき），α＝１８０度（ｕ₁₁＜０のとき） ｄ₁ ＝｜ｕ₁₁｜，ｄ₂ ＝｜ｖ₂₁／ｒ₁₂｜ ・・・・・・・・・・・・(29) (25)におけるｒ₁₂の符号（回転Ｒの向き）と特徴点の位
置関係であるαは観測座標の符号や大小関係から一意に
定められる。

【０１１０】図１９は，αとβの値の決定方法を示す。
図１９ (a)に示されるように，Ｘ座標値ｕ₁₁とｕ₂₁の符
号により回転角度αは９０度の範囲で定まる。

【０１１１】図１９ (b)は角度β（＝α＋θ）について
観測座標の符号とβの関係を表したものである。βもα
と同様に，Ｘ座標値ｖ₁₁とｖ₂₁の符号により，９０度の
範囲に定められる。

【０１１２】図２０は回転Ｒの向きを決定する方法を示
す。回転Ｒの符号は次のように決定できる。 まず，（π／２）ｎ≦α＜（π／２）（ｎ＋１） ・・・・・・・・・(30) （π／２）ｍ≦β＜（π／２）（ｍ＋１） ・・・・・・・・・(31) を満たす整数ｎ，ｍ（＝０，１，２，３）を求める。

【０１１３】(a) ｎ−ｍが奇数のとき，図２０ (a)に
よりｒ₁₂の符号を決定できる。 (b) ｎ−ｍが偶数のとき，図２０ (b)によりｒ₁₂の符
号を決定できる。 なお，上記の形状直角の場合の対象物を回転軸に垂直な
方向から観測した場合の物体認識方法は，前記参考文
献，特願平０３−２３６４６６号に詳細に説明されてい
る。

【０１１４】図２１は本発明の実施例(1) の動き一定算
出部，形状直角算出部，形状一般算出部の構成を示す。
図において，１２６は特徴点格納部，１２８は対象物動
き格納部，１２９は特徴点位置格納部，１３０は動き一
定算出部，形状直角算出部，形状一般算出部であって，
特徴点の動き一定，３特徴点のなす角が直角の場合の形
状直角，形状一般の場合の形状と動きを算出する算出部
である。１３０’はΨ判定部であって，Ψ≠０，Ψ＝９
０，Ψ＝０度の判定を行うものである。１３１は既知情
報入力部，１３２は特徴点位置正規化部，１３３は形状
と動きの判定部であって，形状と動きの算出可能性を判
定するものである。１３４は動き算出部であって，特徴
点の回転を求めるものである。１３５は形状算出部であ
って特徴点の３次元の位置を求めるものである。また，
Ｚ座標の算出も行う。１３６は特徴点位置復元部であ
る。

【０１１５】図２２〜図２５は本発明の実施例(1) で用
いる先行技術のフロー(1) 〜(4) である（形状一般算出
部）。図示のステップに従ってフローを説明する。

【０１１６】Ａ１で前記幾何学的条件，，もしくは
それと同値な式(8) の正則性についての判定処理を行う
（図において，Ｉは単位行列である）。Ａ１の幾何学的
条件が満たされていない場合には認識不可能処理（図
９，Ｓ９）を行う。

【０１１７】Ａ１で幾何学的条件が満たされていると判
定された場合には，Ａ２で特徴点位置正規化部１３２の
正規化処理がなされる（３特徴点数３時点数）。Ａ３
正規化座標について判定条件の判定が行われる（Ａ１に
おいてはセンサ等のデータに基づく判定であり，Ａ３は
特徴点の正規化座標に基づく判定である）。

【０１１８】Ａ３において，判定条件が満たされていな
い場合には，認識不可能処理を行う（図９，Ｓ９）。判
定条件が満たされている場合には，動き算出部１３４と
形状算出部１３５の処理がなされる。

【０１１９】〔動き算出部の処理〕Ａ７〜Ａ１１は動き
算出部１３４の処理である。Ａ７は式(9) の算出処理で
ある。Ａ１０は式(10)，(11)の算出処理である。

【０１２０】Ａ９は式(12)，(13)の算出処理である。Ｃ
１５は既知情報と求められたＲ，Ｓの組を比較し，既知
情報を満たす解があるか判定する処理である。Ａ１０に
おいて，既知情報を満たす解がないときは認識不可能処
理を行う（図９，Ｓ９）。既知情報を満たす解があれ
ば，それを形状算出部１３５および特徴点位置復元部１
３６に転送する。

【０１２１】〔形状算出部の処理〕Ａ１２〜Ａ１６は形
状算出部の処理である。Ａ１２は，式(14)の演算であ
る。Ａ１３は式(14)’の演算である。Ａ１４，Ａ１５は
式(15)の演算である。

【０１２２】Ａ１６において，求められたｕ₁ ，ｕ₂ ，
ｖ₁ ，ｖ₂ の第２成分を特徴点位置復元部１３６に送出
する。 〔特徴点位置復元部の処理〕Ａ１８〜Ａ２０は特徴点位
置復元部１３６の処理である。

【０１２３】Ａ１８において，形状と動きの算出結果か
ら，既知情報入力部１３１に入力された物体の既知情報
を満たす解を選ぶ（求められた解には鏡映反転の解が含
まれているので，既知情報（例えば，形状の凹凸等）に
適合する解を選択する。

【０１２４】満たされる解がなければ，認識不可能処理
を行う（図９，Ｓ９）。満たされる解があれば，Ａ１９
で対象物動き格納部１２８へ求めた動きを格納する。Ａ
２０で特徴点位置格納部１２９へ求めた解を格納する。

【０１２５】図２６〜図２８は実施例(1) で用いる先行
技術のフロー(5) 〜(7) を示す（動き一定算出部５
２）。Ｂ１は前記幾何学的条件の判定処理である。

【０１２６】幾何学的条件が満たされない場合（θ＝ｎ
πの場合）には，動き算出部１３４に認識不可能が入力
され，次いで，認識不可能処理がなされる（図９，Ｓ９
の処理）。

【０１２７】幾何学的条件が満たされる場合には，Ｂ
２において，特徴点位置正規化部１３２（図９，Ｓ７）
の処理がなされる。Ｂ３は前記判定条件の判定処理で
ある（Ｂ１はセンサ等の既知情報に基づくチェックであ
り，Ｂ３は正規化処理された特徴点の座標値に基づくチ
ェックである）。

【０１２８】判定条件が満たされない場合には，動き
算出部１３４に認識不可能情報が入力され，認識不可能
処理がなされる（図９，Ｓ９）。Ｂ３で判定条件が満た
されていると判定されると，動き算出部１３４の処理と
形状算出部１３５の処理がなされる。

【０１２９】〔動き算出部の処理〕Ｂ８において，式(1
7)，(18)の演算がなされる（ｒ₁₁＝ｃｏｓθ，ｒ₁₂＝ｓ
ｉｎθ）。

【０１３０】Ｂ９は，既知情報入力部１３１に入力され
た物体の既知情報を満たす解があるか判定する。既知情
報を満たす解がなければ，認識不可能処理（図９，Ｓ
９）を行う。

【０１３１】Ｂ１０ 既知情報を満たす解があれば，動
き算出部１３４は，形状算出部１３５に選んだＲを転送
し，特徴点位置復元部１３６にＲを転送する。 〔形状算出部の処理〕次いで，形状算出処理がなされ
る。

【０１３２】Ｂ１１において，式(19)， (20) の演算が
なされる（ｒ₂ （ｓｉｎθ，ｃｏｓθ），ｕ₁ （ｕ₁₁，
ｕ₁₂），ｖ₁ （ｖ₁₁，ｖ₁₂））。Ｂ１２において，求め
たｕ₁₁，ｖ₁₂，ｗ₁₂が特徴点復元部１３６に送られる。

【０１３３】次いで，特徴点位置復元部の処理（図２
５，Ａ１８〜Ａ２０に同じ）がなされる。図２９〜図３
３は実施例(1) で用いる先行技術のフロー(8) 〜(12)で
ある。（形状直角算出部） Ｃ１は，前記幾何学的条件と，および判定条件の
判定である。

【０１３４】判定条件，幾何学的条件が満たされていな
い場合には，動き算出部１３４に認識不可能情報が入力
され，認識不可能処理がなされる（図９，Ｓ９）。Ｃ２
はＣ１において，条件が満たされていると判定された場
合の特徴点位置正規化処理部１３２の正規化処理である
（３特徴点数，２時点数）。

【０１３５】Ｃ３は，前記判定条件の判定処理である
（Ｃ１はセンサ等の既知情報に基づく判定であり，Ｃ３
は正規化処理された特徴点の座標値に基づく判定処理で
ある）。判定条件が満たされていなければ動き算出部１
３４に認識不可能情報が入力され，認識不可能処理がな
される（図９，Ｓ９）。

【０１３６】条件が満たされていれば，動きの算出と形
状の算出がなされる。 〔動き算出部の処理〕Ｃ８，Ｃ９において，図１９
(a)，図１９ (b)により，αとβの範囲が求められる。

【０１３７】〔ｓｉｎθの符号の決定処理〕次いで，ｓ
ｉｎθの符号の決定処理がなされる。Ｃ１９〜Ｃ２１は
ｓｉｎθの符号の決定処理である。

【０１３８】Ｃ１９でｍ−ｎが奇数であるか，偶数であ
るか判定され，奇数であればＣ２０により図２０ (a)に
従ってｓｉｎθの符号が決定される。偶数であれば，Ｃ
２２において，図２０ (b)に従ってｓｉｎθの符号が決
定される。

【０１３９】次に，Ｃ１０において，回転Ｒが算出され
る（式(24)，(25)の演算，ｒ₁₁＝ｃｏｓθ，ｒ₁₂＝ｓｉ
ｎθ）。そして，Ｃ１１において，既知情報入力部１３
１の既知情報と比較され，既知情報を満たす解がなけれ
ば認識不可能処理がなされる（図９，Ｓ９）。

【０１４０】Ｃ１２ 既知情報を満たす解があれば，特
徴点位置復元部１３６にαとＲの情報が送られる。次に
形状算出部１３５の処理がなされる。

【０１４１】〔形状算出部の処理〕Ｃ１３ ｕ₁₁≠０，
および，ｕ₂₁≠０の判定がなされる。何れも０でなけれ
ばＣ２３（形状算出処理）において，αが算出される
（式(26)の演算）。

【０１４２】さらに，Ｃ２４において，ｄ₁ ，ｄ₂ が求
められる（式(27)の演算）。Ｃ１３でｕ₁₁＝０であれ
ば，Ｃ２５〜Ｃ２７（形状算出処理）において，α＝
π／２（ｕ₂₁＜０）もしくはα＝３π／２（ｕ₂₁＞０）
が求められ，ｄ₁ ，ｄ ₂ が算出される（式(28)の演
算）。

【０１４３】Ｃ１３でｕ₂₁＝０であれば，Ｃ２８〜Ｃ３
０（形状算出処理）において，α＝０（ｕ₁₁＞０），
α＝π（ｕ₁₁＜０）が求められ，Ｂ３６においてｄ₁ ，
ｄ₂が算出される（式(29)の演算）。

【０１４４】次に，Ｃ１５，Ｃ１６に処理が進められ，
形状算出処理，形状算出処理，形状算出処理で求
めたｄ₁ ，ｄ₂ ，αに基づきｕ₁ ，ｕ₂ ，ｖ₁ ，ｖ₂ を
算出する。

【０１４５】Ｃ１７で求めたｕ₁₂，ｕ₂₂，ｖ₁₂，ｖ₂₂を
特徴点位置復元部１３６に送る。次いで，特徴点位置復
元部の処理（図２５，Ａ１８〜Ａ２０に同じ）がなされ
る。

【０１４６】〔実施例(2) 〕実施例(1) は，対象物の動
き形状を求めるものであるが，対象物の形状があらかじ
め，求められている場合には，本発明の方法に従って，
式(1) ’，式(2) により，２時点における原点以外の３
特徴点の（ｘ_i ，ｙ_i ，ｚ_i ）を求め，２時点における
３特徴点の座標からなる行列式の行列が０でないとき，
回転を式

【０１４７】

【数１０】

【０１４８】により，第１時点から第２時点までの移動
物体の回転を表す行列を求めることができる。本発明
は，１個の画像入力部により対象物の動きと形状を算出
することを目的とするが，例えば，対象物の形状のみ
は，両眼立体視により認識し，回転のみを求める場合
は，本実施例(2) の方法が有効である。

【０１４９】〔実施例(3) 〕実施例(1) において，特徴
点の３次元的位置を求めるためには，特にｄは必要ない
が，ｄは特徴点を表すパラメータとして有効であるの
で，ｈを求めた後，式(2) によりｄを求める。即ち， ｄ ＝｛ｘ_i ² ＋（ｙ_i −ｈｃｏｓΨ） ²／ｓｉｎ
² Ψ｝^1/2 によりｄを算出し，特徴点位置格納部１２９に保持す
る。

【０１５０】図３６は，本発明の認識実験結果の例であ
る。図における実験条件は俯角１８．２度，画角６．７
度（６４０画素），観測距離／物体の大きさ＝２６であ
る。

【０１５１】実験は，対象物として直方体の積木を使用
し，３時点の画像を入力してそれぞれの画像に基づいて
対象物の認識を行った。図(a) は入力画像である。３時
点の入力画像の１枚を示す。

【０１５２】図(b) は，認識結果である。図(b) は，図
(a) の辺ｋに着目し，対象物を真上から見たとした場合
の本発明による認識結果を示す。

【０１５３】図(b) において，点線と正しい値であり，
実線は実験結果である。辺ｋに着目し，視点を変えて対
象物を真上から見たとした場合の時点１，時点２，時点
３における対象物の形状を図のように認識した。

【０１５４】

【発明の効果】本発明によれば，対象物を俯瞰して観測
する場合にも，１個の画像入力部で，対象物の動きと形
状を認識することができる。また，画像入力部および特
徴点抽出部の数を，従来の移動物体認識装置に比較して
半減させることができるので，装置全体を小型化するこ
とができる。また，２台の画像入力部で捉えた対象物の
特徴点の対応づけの処理が不要であるため，処理を高速
化することができる。

【図面の簡単な説明】

【図１】本発明の基本構成を示す図である。

【図２】本発明の画像入力の概念図である。

【図３】本発明の形状／動き認識の原理説明図である。

【図４】本発明の移動物体認識装置の構成を示す図であ
る。

【図５】本発明の実施例(1) の形状／動き認識部の構成
を示す図である。

【図６】実施例(1) のフロー(1) を示す図である。

【図７】実施例(1) のフロー(2) を示す図である。

【図８】実施例(1) のフロー(3) を示す図である。

【図９】実施例(1) のフロー(4) を示す図である。

【図１０】実施例(1) のフロー(5) を示す図である。

【図１１】実施例(1) のフロー(6) を示す図である。

【図１２】実施例(1) のフロー(7) を示す図である。

【図１３】実施例(1) のフロー(8) を示す図である。

【図１４】本発明の先行技術の形状，回転の算出方法の
説明図である。

【図１５】本発明の実施例(1) で用いる先行技術（形状
一般の場合）を示す図である。

【図１６】本発明の実施例(1) で用いる先行技術（鏡映
反転となる２つの解の説明図）を示す図である。

【図１７】本発明の実施例(1) で用いる先行技術（回転
一定の場合）を示す図である。

【図１８】実施例(1) で用いる先行技術（形状直角の場
合）を示す図である。

【図１９】αとβの算出方法（形状直角の場合）を示す
図である。

【図２０】回転Ｒの向きの決定方法（形状直角の場合）
を示す図である。

【図２１】Ψ＝０度の処理部を示す図である。

【図２２】実施例(1) で用いる先行技術のフロー(1) を
示す図である（形状一般算出部）を示す図である。

【図２３】実施例(1) で用いる先行技術のフロー(2) を
示す図である（形状一般算出部）を示す図である。

【図２４】実施例(1) で用いる先行技術のフロー(3) を
示す図である（形状一般算出部）を示す図である。

【図２５】実施例(1) で用いる先行技術のフロー(4) を
示す図である（形状一般算出部）を示す図である。

【図２６】実施例(1) で用いる先行技術のフロー(5) を
示す図である（動き一定算出部）を示す図である。

【図２７】実施例(1) で用いる先行技術のフロー(6) を
示す図である（動き一定算出部）を示す図である。

【図２８】実施例(1) で用いる先行技術のフロー(7) を
示す図である（動き一定算出部）を示す図である。

【図２９】実施例(1) で用いる先行技術のフロー(8) を
示す図である（形状直角算出部）を示す図である。

【図３０】実施例(1) で用いる先行技術のフロー(9) を
示す図である（形状直角算出部）を示す図である。

【図３１】実施例(1) で用いる先行技術のフロー(10)を
示す図である（形状直角算出部）を示す図である。

【図３２】実施例(1) で用いる先行技術のフロー(11)を
示す図である（形状直角算出部）を示す図である。

【図３３】実施例(1) で用いる先行技術のフロー(12)を
示す図である（形状直角算出部）を示す図である。

【図３４】従来の移動物体認識装置を示す図である。

【図３５】従来の移動物体認識装置における移動物体認
識部の構成を示す図である。

【図３６】本発明の認識実験結果の例を示す図である。

【符号の説明】

１ ：画像入力部 ２ ：特徴点抽出部 ３ ：特徴点格納部 ４ ：既知情報入力部 ５ ：形状／動き認識手段 ５’：Ψ判定手段 ６ ：特徴点位置正規化部 ７ ：形状／動き算出部 ８ ：特徴点位置復元部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 太田 善之 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 7/00 G01C 3/00 G06T 7/20 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (7)

(57)【特許請求の範囲】
1. 【請求項１】 画像入力部(1) と，画像の特徴点を抽出
   する特徴点抽出部(2) と，複数の特徴点の複数時点にお
   ける画像面上への正射影に基づいて，対象物の形状と動
   きを認識する形状／動き認識手段(5) を備えた移動物体
   認識装置において， 対象物は平面上を移動するものであり，対象物を正射影
   する画像入力部(1) の撮像面をＸＹ平面としてＸ軸を該
   平面に平行に定め，Ｙ軸をＸ軸に垂直に定め，撮像面に
   垂直にＺ軸を定め， 特徴点の既知情報を入力する既知情報入力部(4) と，形
   状／動き認識手段(5)は，特徴点の回転の回転軸とＹ軸
   とのなす角度Ψを判定するΨ判定手段(5’) を備え， 画像入力部(1) は対象物を平面に対して斜め方向から撮
   像する場合において，形状／動き認識手段(5) は，上記
   角度Ψを認識し，他の特徴点の撮像面上の複数時点の２
   次元座標値と他の特徴点と原点に定めた特徴点との距離
   の回転軸方向の成分（ｈ）と角度Ψに基づいて他の特徴
   点のＺ座標の値を求めることを特徴とする移動物体認識
   装置。
2. 【請求項２】 請求項１において，形状／動き認識手段
   は，２特徴点の２時点における撮像面の２次元の観測値
   に基づき特徴点の動きと位置を算出するものであって， 原点となる特徴点を特徴点０とし，他の特徴点を特徴点
   １としたとき， 特徴点１の２時点における座標値を（ｘ_i ，ｙ_i ）（ｉ
   ＝１，２），原点と特徴点１の距離の回転軸方向の成分
   をｈ，特徴点１のＺ座標値をｚ_i （ｉ＝１，２）とした
   時，ｃｏｓΨ≠０，ｓｉｎΨ≠０において，（ｙ ₁ ≠ｙ
   ₂ のとき）， ｈ＝｛（ｘ₂ ² −ｘ₁ ² ）ｓｉｎ² Ψ＋（ｙ₂ ² −ｙ₁
   ² ）｝／｛２ｃｏｓΨ（ｙ₂ −ｙ₁ ）｝， ｚ_i ＝（ｈ−ｙ_i ｃｏｓΨ）／ｓｉｎΨ（ｉ＝１，２） によりｚ_i を算出し，ｙ ₁ ＝ｙ ₂ のときは，認識不能と
   することを特徴とする移動物体認識装置。
3. 【請求項３】 請求項２において，特徴点１の２時点間
   の回転量をθとしたとき， ｚ_i ’＝−ｙ_i ｓｉｎΨ＋ｚ_i ｃｏｓΨ， ｃｏｓθ＝（ｘ₁ ｘ₂ ＋ｚ₁ ’ｚ₂ ’）／（ｘ_i ² ＋ｚ
   _i ’² ）（ｉ＝１もしくは２） ｓｉｎθ＝（ｘ₁ ｚ₂ ’−ｘ₂ ｚ₁ ’）／（ｘ_i ²＋ｚ
   _i ’² ）（ｉ＝１もしくは２） により特徴点１の回転を求めることを特徴とする移動物
   体認識装置。
4. 【請求項４】 請求項２において，特徴点１と回転軸と
   の距離をｄとした時， ｄ＝｛（ｘ_i ² ＋（ｙ_i −ｈｃｏｓΨ）² ／ｓｉｎ
   ²Ψ｝^1/2 （ｉ＝１，２） により求めることを特徴とする移動物体認識装置。
5. 【請求項５】 請求項１において，画像入力部(1) は特
   徴点の回転軸に垂直な方向から撮像する場合であって，
   Ψ＝ｎπ（ｎは整数）の場合には，特徴点のＸ軸への正
   射影のＸ座標値に基づき特徴点の回転およびＺ座標値を
   求めることにより対象物の動きと特徴を求めることを特
   徴とする移動物体認識装置。
6. 【請求項６】 請求項１において，画像入力部(1) が，
   特徴点の回転軸に平行な方向から撮像する場合であっ
   て，Ψ＝π／２＋ｎπ（ｎは整数）の場合には， 特徴点の２時点の撮像面上の２次元の座標値（ｘ_i ，ｙ
   _i ）（ｉ＝１，２）に対して，特徴点のＸ座標とＹ座標
   の２乗の和が０でないとき，式 ｃｏｓθ＝（ｘ₁ ｘ₂ ＋ｙ₁ ｙ₂ ）／（ｘ_i ² ＋
   ｙ_i ² ）（ｉ＝１もしくは２） ｓｉｎθ＝（ｘ₁ ｙ₂ −ｘ₂ ｙ₁ ）／（ｘ_i ²＋
   ｙ_i ² ）（ｉ＝１もしくは２） により特徴点の回転のみを求めることを特徴とする移動
   物体認識装置。
7. 【請求項７】 請求項２において，原点以外の特徴点２
   時点の観測値に基づくＺ座標の算出を３特徴点について
   行うことにより，３特徴点２時点の座標値（ｘ_ij，
   ｙ_ij，ｚ_ij）（第ｉ時点における第ｊ特徴点，ｉ＝１，
   ２，ｊ＝１，２，３）を求め， ３特徴点のなす行列の行列式が０でないとき，式 【数１】 により回転を求めることを特徴とする移動物体認識装
   置。