JPH0573680A

JPH0573680A - 動物体認識装置

Info

Publication number: JPH0573680A
Application number: JP3236465A
Authority: JP
Inventors: Hiroshi Kamata; 洋鎌田; Takashi Kubota; 孝久保田
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1991-09-17
Filing date: 1991-09-17
Publication date: 1993-03-26
Anticipated expiration: 2014-03-24
Also published as: DE69231826D1; US5684886A; US5872858A; EP0952551A2; CA2078503C; US5444791A; EP0952551A3; EP0533477B1; US5625702A; EP0950984A2; EP0952550A2; EP0533477A2; EP0952550A3; JP2873338B2; CA2078503A1; EP0950984A3; DE69231826T2; EP0533477A3

Abstract

(57)【要約】【目的】画像入力部と対象物とが相対的に動いている
状況において、動物体の形状としての特徴点の位置と、
相対的な動きを認識する動物体認識装置に関し、１つの
画像入力部から入力される、複数時点における特徴点を
抽出して動物体を認識することを目的とする。【構成】回転しながら平面上を移動する対象物を、回
転軸に対して垂直な方向から捉えた画像中での、該対象
物の特徴点の複数時点における既知位置情報から、該対
象物の特徴点の実際の位置と動きを算出する形状／動き
認識手段を備えるように構成する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動物体認識装置に関す
る。動物体の認識装置は、外界の対象物の画像が入力さ
れる画像入力部として、ＴＶカメラを採用することが多
い。すなわち、外界の対象物をＴＶカメラで捉えて入力
された画像信号をディジタル処理することにより、動物
体を認識することが多い。ＴＶカメラを画像入力部にす
れば、人間と同等な視覚情報を入力にできるので、応用
範囲が極めて広い。

【０００２】一般に、画像処理装置は人間と同等な視覚
情報を処理できる装置として、ＦＡ検査・無人監視装置
・無人移動車用視覚装置に盛んに応用されている。ま
た、その潜在需要はさらに高く、研究開発が盛んに行わ
れている。画像処理装置は、当初静止画の処理を対象と
していたが、近年は、動画の処理に重点が移ってきた。
特に、動物体の認識は、画像処理装置全体においても、
大きな比重を占めるようになった。

【０００３】動物体認識装置は、一般に、動物体認識装
置の画像入力部と対象物が相対的に動いている状況で、
動物体の形状と相対的な動きを認識するものである。即
ち、対象物が実際に動いていなくとも、動物体認識装置
の画像入力部が動いている場合は、静止している対象物
の形状と画像入力部の動きを認識するものである。例え
ば、無人移動車用視覚装置では、画像入力部が移動車の
上に搭載されており、動物体認識装置は移動車が走行す
る環境を認識する。

【０００４】動物体認識装置においては、小型性と高速
性が要求されている。小型性については、特に無人移動
車用視覚装置に適用する場合に移動車に搭載するために
重要である。また、高速性については、人間が目で見な
がらと同様な実時間処理が要求されている。

【０００５】

【従来の技術】従来の動物体認識装置は、２台の画像入
力部を用いて対象物を捉える。２台の画像入力部で捉え
た２枚の画像における対象物の特徴点を対応づけて、三
角測量の原理により対象物の形状を各時点ごとに求めた
後、対象物の動きを計算する。

【０００６】従来の動物体認識装置の概念を図１６に示
す。第１の画像入力部２と第２の画像入力部３は、対象
物１の画像を入力する。動物体認識部４は、２枚の画像
において、対象物の特徴点を検出し、同一の特徴点を２
枚の画像間で対応づけた後、三角測量の原理により各特
徴点の位置を計算する。ここで特徴点とは、対象物の特
定部位を示す点のことであり、頂点や縁の点、あるいは
模様などがある場合は模様の点、色の境界点などを示
す。動物体認識部４は該特徴点位置の時間的推移から、
さらに特徴点の動きと対象物の動きを計算する。これら
の特徴点の位置と動きと対象物の動きは、認識結果５と
して出力される。

【０００７】従来の動物体認識装置の構成を図１７に示
す。第１の画像入力部２から入力された画像は、第１の
特徴点抽出部６において特徴点を抽出され、特徴点対応
づけ部８に入力される。同様に、第２の画像入力部３か
ら入力された画像は、第２の特徴点抽出部７において特
徴点を抽出され、特徴点対応づけ部８に入力される。
６，７において抽出された特徴点は、特徴点対応づけ部
８において、同一の特徴点が対応づけられる。特徴点位
置計算部９において、第１の画像入力部２と第２の画像
入力部３の設置位置と、対応づけられた特徴点に基づい
て、特徴点の位置が求められ、特徴点位置格納部１０に
格納される。特徴点位置格納部１０に格納された複数時
点における特徴点の位置は、対象物動き計算部１１に送
られ、対象物の動きが計算されて、対象物動き格納部１
２に格納される。

【０００８】

【発明が解決しようとする課題】しかしながら、図１
６，図１７で説明した従来の動物体認識装置には以下の
(a) ，(b) の問題点があった。 (a) ２台の画像入力部で入力した画像から特徴点を個別
に抽出する必要があるため、特徴点を抽出する処理が、
１台のＴＶカメラを用いる場合に比べて２倍となる。図
１７においては、画像入力部ごとに特徴点抽出部が１つ
ずつ必要となっている。 (b) 見え方の異なる２枚の画像から抽出した特徴点を対
応づける処理が必要となる。図１７においては、特徴点
対応づけ部８が必要となっている。２台の画像入力部の
設置位置が異なるため、対象物の見え方が異なり、対象
物の特徴点の対応づけは困難であり、特徴点対応づけ部
８における対応点探索には膨大な処理を要する（画像入
力部の位置を近づけると対象物の特徴点の対応づけは容
易になるが、対象物の形状の認識精度は悪くなる）。

【０００９】(b) において処理が困難である典型的な場
合として、一方の画像入力部で捉えられる対象物の特徴
点が、もう一方の画像入力部では捉えられず、その特徴
点については対応づけが不可能になる場合がある。例え
ば図１８において２つの特徴点があるが、どちらの特徴
点も、１つの画像入力部でのみ捉えることができ、もう
片方の画像入力部では捉えることができない。

【００１０】本発明は、１つの画像入力部から入力され
る複数時点における特徴点を抽出することによって動物
体を認識することを目的とする。

【００１１】

【課題を解決するための手段】図１は本発明の原理ブロ
ック図である。同図は１つの画像入力部だけを用いるも
のであり、画像入力部１５から入力される画像内の特徴
点を抽出する特徴点抽出部１６と、抽出された特徴点を
格納する特徴点格納部１７とを備え、それらの特徴点の
既知位置情報、例えばＸＹ平面上で動く動物体の複数の
特徴点のＸ座標を用いて、その動物体の動きを認識する
動物体認識装置の原理ブロック図である。

【００１２】図１において、形状／動き認識手段１８
は、例えば形状／動き認識部であり、回転しながら平面
上を移動する対象物を、回転軸に対して垂直な方向から
捉えた画像中での、その対象物の特徴点の複数時点にお
ける既知位置情報、例えばＸＹ平面上を移動する対象物
の特徴点のＸ座標から、その対象物の特徴点の実際の３
次元空間上の位置と動きを算出する。

【００１３】

【作用】本発明は、今回出願者が初めて提出し、証明し
た新しい理論に基づいている。この新理論は、画像入力
部が１つだけであっても、いくつかの時点における特徴
点が抽出できれば、ある限定された条件のもとで対象物
の形状（特徴点の位置）と運動が計算可能であることを
示している。まずこの新理論について詳細に説明する。

【００１４】本理論では、対象物は定まった回転軸を中
心に回転しながら移動しており、画像入力部は、その対
象物の回転軸に対する垂直方向から観測している状況を
想定している。この状況で、多くの応用がある。例え
ば、対象物が道路脇の壁などの様々な対象物であり、画
像入力部を自走車に装着した場合である。特に、路傍の
側壁については、特徴点として縁を採用できる。

【００１５】さらに、本理論では、画像入力部による画
像を正射影で近似する。正射影による近似は、画像入力
部と対象物の距離が離れている時など、画像入力部で捉
えた対象物の画角がせまいときは、良い近似を与える。

【００１６】まず、何個の特徴点を何枚の画面で対応づ
ける必要があるかを解明しなければならない。これに対
する解答が定理１である。〔定理１〕解が確定できるためには、動物体の３個の特
徴点を３画面で対応づけられることが必要である。

【００１７】定理１の意味は、系１．１の表現でわかり
やすくなる。〔系１．１〕定理１において、特に(1) ，(2) の命題が成立する。 (1) ２画面だけでは、特徴点かいくつあっても、解は確
定しない。 (2) ２個の特徴点では、画面がいくつあっても、解は確
定しない。〔定理１の証明〕ｍ個の特徴点がｎ画面で対応づけられ
たとする。解が求まるためには、方程式の数が未知数の
数よりも多くなることが必要である。そのためのｍとｎ
の条件が、ｍ≧３，ｎ≧３であることを以下に示す。

【００１８】後述するように、特定の特徴点０を原点に
移動して考える。まず、以下のように記号を定める。ｖ_kj：第ｋ画面におけるｊ番目の特徴点への原点からの
ベクトル（ｋ＝１，…,n；ｊ＝1,…,m-1）Ｒ_i：第１画面から第ｉ画面までの対象物の回転（i ＝
2,…,n) すなわち、第１時点Ｒ_i 第ｉ時点ｖ_1j → ｖ_ij （ｊ＝1,…,m-1, ； i＝2,…，n) 式で関係づけると、ｖ_ij＝Ｒ_iｖ_ij（ｊ＝1,…,m-1, ； i＝2,…，n) ・・・・・(1) 未知数は、Ｒ_iの回転角であるθ_i（ｉ＝２，…，ｎ）
と、ベクトルｖ_kjの第２成分（＝Ｚ成分、 k＝1,…,n； j＝
1,…,m-1) であるから、未知数の総数＝（ｎ−１）＋ｎ（ｍ−１）
＝ｍｎ−１である。

【００１９】(1) の各式ごとに２つの一次方程式が得ら
れるので、方程式の総数＝２（ｍ−１）（ｎ−１）である。解が確定するために、方程式の総数 ≧ 未知数の総数
でなければならない。

【００２０】すなわち、方程式の総数−未知数の総数
≧ ０でなければならない。方程式の総数−未知数の総数＝２（ｍ−１）（ｎ−１）
−（ｍｎ−１）＝（ｍ−２）（ｎ−２）−１≧０（ｍ−２）（ｎ−２）≧１ｍ，ｎは共に整数なので、ｍ−２≧１，ｎ−２≧１従って、ｍ≧３，ｎ≧３でなければならない。

【００２１】〔証明終〕系１．１は、定理１の直接の結
果であるが、直接に証明することもできる。この直接証
明を以下に示す。

【００２２】〔系１．１の証明〕 (1) ｎ点の２観察では確定しないことを示す。剛体上の原点以外のｎ−１点の２次元ベクトルと回転
を、

【００２３】

【数１４】

【００２４】方程式の数・・・・２ｎ−２未知変数の数・・・２ｎ−１だから、解は確定しない。 (2) ２点ｎ観察では確定しないことを示す。

【００２５】剛体上の原点以外の１点の２次元ベクトル
と回転を

【００２６】

【数１５】

【００２７】方程式の数・・・・２ｎ−２未知変数の数・・・２ｎ−１だから、解は確定しない。

【００２８】〔証明終〕次に対象物と画像入力部の観測面の関係を図２に示す。
画像面におけるＺ軸は対象物体の回転軸方向にとってお
り、Ｘ軸はＺ軸に垂直な方向に取っている。すなわち、
Ｘ軸は特徴点の移動に平行な方向である。画像面におけ
る原点はＸ軸とＺ軸が交わる点とする。Ｙ軸は画像面に
垂直で、画像面における原点と交わる軸とする。正射影
条件により、ＸＹＺ軸座標系は、どの方向にも平行移動
して考えることができる。

【００２９】また、正射影条件により、奥行きＹ軸方向
の距離は未知であり、Ｘ軸方向の移動量は画像面上での
観測量と同じである。従って、図３に示すように、１つ
の特徴点０を原点Ｏに固定して考えることができる。

【００３０】この状況を、ＸＹ平面について図示したの
が、図４である。対象物の形状と動き情報を計算するに
は、特徴点０の移動量とその特徴点の回りの回転量を計
算すればよい。特徴点０の移動量は既に述べたように、
簡単に求められるので、特徴点０の回りの回転量を計算
すればよい。

【００３１】本発明の動物体認識装置においては、入力
画像の特徴点からＸ座標とＺ座標が得られるに加えて、
特徴点０を原点に移動した時の特徴点のＹ座標と対象物
の原点を中心とする回転量が計算され出力される。

【００３２】図４における記号を以下、説明する。特徴点０：原点Ｏに移動した対象物上の特徴点特徴点１，２：特徴点０以外の対象物上の特徴点ｕ₁，ｕ₂ ：第１時点における特徴点１，２を表す２
次元ベクトル（順同）ｖ₁，ｖ₂ ：第２時点における特徴点１，２を表す２
次元ベクトル（順同）ｗ₁，ｗ₂ ：第３時点における特徴点１，２を表す２
次元ベクトル（順同）回転Ｒ：第１時点から第２時点までの原点を中心
とする対象物の回転。

【００３３】

【数１６】

【００３４】回転Ｓ：第１時点から第３時点まで
の原点を中心とする対象物の回転。

【００３５】

【数１７】

【００３６】これらを式で関係づけると、ｖ_i＝Ｒ
ｕ_i，ｗ_i＝Ｓｕ_i（ｉ＝１，２）となる。すなわち、第１時点Ｒ第２時点第１時点Ｓ第３時点ｕ₁ → ｖ₁ ｕ₁ → ｗ₁ ｕ₂ → ｖ₂ ｕ₂ → ｗ₂ である。従って、以下のように問題を定式化できる。

【００３７】〔平面上の動物体の認識問題〕ｕ_i，ｖ_i，ｗ_i；２次元ベクトル、第１成分が既知
（ｉ＝１，２）Ｒ，Ｓ；２次元回転行列ｖ_i＝Ｒｕ_i，ｗ_i＝Ｓｕ_i（ｉ＝１，２）この時、ｕ_i，ｖ_i，ｗ_i（ｉ＝１，２）の第２成分と
Ｒ，Ｓを求めよ。

【００３８】次の定理２は、問題が解ける条件を与え
る。〔定理２〕平面上の動物体の認識問題において解が確定
する条件は、，，が全て成立ことである。

【００３９】

【数１８】

【００４０】ここで、正方行列が正則であるとは、正則である ⇔ 逆行列が存在する ⇔ 行列式が零で
ないという意味である。すなわち、〜の行列の行列式を
求めて、全て零でないときに対象物の形状と動きが決定
できる。

【００４１】定理２から定理４までの証明は後にまとめ
て示す。定理３と定理４の証明で用いられる補題１を次
に示す。この補題１は、２つの回転行列の関係を示すも
のである。

【００４２】〔補題１〕Ｒ，Ｓ：２次回転行列であり、

【００４３】

【数１９】

【００４４】ただし、⇔は必要十分条件の記号である。
次の定理３は、条件の意味づけを与える〔定理３〕定理２の条件〜は、下記の条件〜と
同値である。

【００４５】

【数２０】

【００４６】は、対象物の第１時点から第２時点まで
の回転が、０度または180 度の回転ではない、という意
味である。は、対象物の第１時点から第３時点までの回転が、０
度または180 度の回転ではない、という意味である。

【００４７】は、対象物の第２時点から第３時点まで
の回転が、０度または180 度の回転ではない、という意
味である（なぜならば、はＲＳ^-1≠±Ｉと同値で
あり、ＲＳ^-1は対象物の第２時点から第３時点までの回
転であるからである）。

【００４８】は、３つの特徴点０，１，２，が直線上
に並んでいない、という意味である。すなわち、特徴点
０、特徴点１、特徴点２が三角形を構成するという意味
である。

【００４９】次の定理４は、具体的な解の計算式を与え
る。〔定理４〕定理２の条件下で、下記の解が確定する。

【００５０】

【数２１】

【００５１】

【数２２】

【００５２】ｕ_i，ｖ_i，ｗ_i（ｉ＝１，２）の第２成
分は、下記の式で計算できる。

【００５３】

【数２３】

【００５４】

【数２４】

【００５５】これは、補題１と定理２により、順に保証
される。次の系４．１は、定理４の２つの解を関係づけ
るものである。〔系４．１〕一方の解を、Ｒ，Ｓ，ｕ_i，ｖ_i，ｗ
_i（ｉ＝１，２）とすると、これに対応するもう１つの
解は、

【００５６】

【数２５】

【００５７】系４．１は、前述の動物体認識問題の解が
２組あること、すなわち正射影画像内の特徴点０を原点
においたとき、他の特徴点のＹ座標が図５に示したよう
に正となる場合と、負になる場合とがあることを示して
いる。これはまた画像入力部としてのＴＶカメラ側から
見た時に、対象物の表面が凸と凹とのいずれかとなって
いることに対応している。

【００５８】図５はそのような２組の解を示している。
図中(a) は図３の特徴点をＸＹ平面に射影したものであ
り、対象物の表面が凸の場合に対応する。これに対して
(b)は(a) の解をＸ軸に関して鏡映反転して得られ、表
面が凹の場合に対応する。

【００５９】次に系４．２は、剛体の回転が一定である
時、定理４のｒ₁₁がより簡単に計算できることを示す。〔系４．２〕剛体の回転が一定であると仮定できる時、
すなわちＳ＝Ｒ²のとき、ｒ₁₁＝ａ₁₁／２である。

【００６０】続いて、定理２〜４の証明について、次の
命題１、補題１、定理３、定理４の順で示す。〔命題１〕定理３の式〜は、解が確定するために必
要な条件である。

【００６１】〔命題１の証明〕条件式を再記すると、ｖ_i＝Ｒｕ_i，ｗ_i＝Ｓｕ_i（ｉ＝１，２）(1) が必要な条件であることの証明Ｒ＝±Ｉを仮定して、解が確定しないことを示す。

【００６２】条件式ｖ_i＝Ｒｕ_iは、ｖ_i＝±ｕ_iと
なる。従って条件式は、ｗ_i＝Ｓｕ_iのみになる。定理
１(1) で証明したように、解は確定しない。(2) が必要な条件であることの証明 (1) の証明と全く同様である。(3) が必要な条件であることの証明Ｒ＝±Ｓを仮定すると、解が確定しないことを示す。

【００６３】ｖ_i＝Ｒｕ_i＝±Ｓｕ_i＝±ｗ_i 従って、条件式ｖ_i＝Ｒｕ_iは、ｖ_i＝±ｗ_iとなる。
従って条件式は、ｗ_i＝Ｓｕ_iのみになる。

【００６４】系１．１(1) に示したように、解は確定し
ない。(4) が必要な条件であることの証明［ｕ₁，ｕ₂］；正則でないと仮定して、解が確定しな
いことを示す。

【００６５】ｕ₁，ｕ₂；線形従属であるから、 α₁ｕ₁＋α₂ｕ₂＝０，（α₁，α₂）≠０ｕ₁，ｕ₂≠０より、 α₁，α₂≠０ｕ₂＝αｕ₁と書ける。

【００６６】条件式ｖ₂＝Ｒｕ₂は、式ｖ₂＝αｖ
₁に縮退する。条件式ｗ₂＝Ｓｕ₂は、式ｗ₂＝αｗ₁に縮退す
る。従って、条件式全体ｖ_i＝Ｒｕ_i，ｗ_i＝Ｓｕ_i（ｉ
＝１，２）は、ｖ₁＝Ｒｕ₁，ｗ₁＝Ｓｕ₁に縮退す
る。

【００６７】従って、系１．１(2) に証明したように、
解は確定しない。(5) の各条件が同値であることの証明条件式から、

【００６８】

【数２６】

【００６９】〔証明終〕〔補題１の証明１〕

【００７０】

【数２７】

【００７１】〔証明終〕〔補題１の証明２〕対偶命題を証明することにより、も
との命題を証明する。

【００７２】

【数２８】

【００７３】〔証明終〕〔定理３の証明〕条件式を再記すると、ｖ_i＝Ｒｕ_i，
ｗ_i＝Ｓｕ_i（ｉ＝１，２）・・・・（＊）（＊）より、ｕ_i＝Ｓ^-1ｗ_i，ｖ_i＝Ｒｕ_i＝ＲＳ^-1ｗ
_i

【００７４】

【数２９】

【００７５】〔定理４の証明〕

【００７６】

【数３０】

【００７７】これに、定理２の、定理３のの条件を
合わせると、数式(1) の行列は全て正則である。

【００７８】

【数３１】

【００７９】右辺中のパラメータは既知であるから、ａ
₁が計算できる。

【００８０】

【数３２】

【００８１】上の２つの式を２乗して加えると、ａ₁₂ ²＝１＋ａ₁₁ ²−２ａ₁₁ｒ₁₁ ａ₁₁ｒ₁₁＝（１＋ａ₁₁ ²−ａ₁₂ ²）／２・・・・・(8) ａ₁₁≠０である。

【００８２】

【数３３】

【００８３】 (8) から、ｒ₁₁＝（１＋ａ₁₁ ²−ａ₁₂ ²）／（２ａ₁₁）・・・・・(9) ｒ₁₂＝±（１−ｒ₁₁ ²）^1/2 ・・・・・(10) (9) 、(10)によりＲ₁が計算できる。ａ_{1 2}≠０であ
る。

【００８４】

【数３４】

【００８５】 (6) ，(7) からｓ₁₁＝（１−ａ₁₁ｒ₁₁）／ａ₁₂ ・・・・・(11) ｓ₁₂＝−ａ₁₁ｒ₁₂／ａ₁₂ ・・・・・(12) (11)，(12)によりＳ₁が計算できる。

【００８６】

【数３５】

【００８７】Ｒ₁，Ｓ₁からＲ，Ｓ全体が決定できる。

【００８８】

【数３６】

【００８９】ｖ_i2＝Ｒ₂ｕ_i，ｗ_i2＝Ｓ₂ｕ_i（ｉ＝１，２）・・・・・(14) (13),(14) よりｕ_i，ｖ_i，ｗ_i（ｉ＝１，２）の第２
成分も確定した。〔証明終〕〔系４．１の証明１〕条件式ｖ_i＝Ｒｕ_i，ｗ_i＝Ｓｕ_i（ｉ＝１，２）か
ら、

【００９０】

【数３７】

【００９１】ｕ_i，ｖ_i，ｗ_iに等しいから、(1) の各
項は、もう１つの解である。〔証明終〕〔系４．１の証明２〕定理４から下記のように直接証明
することもできる。

【００９２】

【数３８】

【００９３】だからである。〔証明終〕〔系４．１の証明補足〕

【００９４】

【数３９】

【００９５】は、Ｒの逆回転行列である。〔補足終〕〔系４．２の証明〕

【００９６】

【数４０】

【００９７】〔証明終〕以上、本発明において用いられる新理論を詳細に説明し
たが、図１の形状／動き認識手段１８が、回転しながら
平面上を移動する物体に対してこの新理論を適用するこ
とにより、３時点における３つの特徴点の画像内での抽
出結果に基づいて、これらの特徴点の３次元空間内の実
際の位置と動きを算出し、動物体の動きを認識すること
が可能となる。

【００９８】

【実施例】図６は本発明の動物体認識装置の概念の説明
図である。本実施例では、１つの画像入力部だけを用い
て対象物の動きが認識されるが、その対象物はある１つ
の回転軸、例えばＺ軸を中心に回転しながら移動してお
り、画像入力部はその対象物を回転軸に対する垂直方向
から観測している状況を想定している。この状況の例と
しては、対象物が道路脇の側壁などであり、画像入力部
としてＴＶカメラを自走車に装着している場合があげら
れる。

【００９９】図６において、対象物２０の画像は画像入
力部２１に入力され、動物体認識部２２に送られる。動
物体認識部２２は画像から対象物の特徴点を抽出し、複
数の時点での特徴点の位置から対象物の形状（特徴点の
位置）と動きを認識する。その認識結果は、認識結果２
３として動物体認識部２２から出力される。

【０１００】図７は本発明の動物体認識装置の実施例の
全体構成ブロック図である。同図において、画像入力部
２４に入力された入力画像は特徴点抽出部２５に出力さ
れ、特徴点抽出部２５は入力画像中から特徴点を抽出
し、その画像中の特徴点の位置情報は特徴点格納部２６
に出力される。特徴点格納部２６に格納された複数時点
での特徴点の既知の位置情報は形状／動き認識部２７に
出力され、形状／動き認識部２７は複数の特徴点の実際
の３次元座標空間上での位置と対象物の動きを計算し、
その結果の対象物の動きは対象物動き格納部２８に、ま
た特徴点の３次元位置は特徴点位置格納部２９に格納さ
れる。

【０１０１】図７において、形状／動き認識部２７によ
り、前述の新理論を用いて特徴点の実際の位置と対象物
の動きの計算が行われる。図８は形状／動き認識部２７
の詳細構成ブロック図である。同図において、形状／動
き認識部は、例えばセンサからの対象物の動きに関する
既知情報が入力される既知情報入力部３１、図７におい
て特徴点格納部２６に格納された特徴点の画像内での位
置が入力され、複数の特徴点のうちのいずれか１つを３
次元座標空間上の原点においた時に他の特徴点の相対位
置、すなわち正規化された位置を求める特徴点位置正規
化部３２、特徴点位置正規化部３２の出力を用いて対象
物の動きの認識が可能であるか否かを判定する形状と動
きの判定部３３、形状と動きの判定部３３が対象物の動
きが認識可能であると判定した時、特徴点位置正規化部
３２の出力を用いて対象物の回転軸の回りの回転量を算
出する動き算出部３４、動き算出部３４および特徴点位
置正規化部３２の出力を用いて原点におかれた特徴点以
外の他の特徴点の未知位置情報を求める形状算出部３
５、動き算出部３４、形状算出部３５、および特徴点位
置正規化部３２の出力を用いて対象物の動きを対象物動
き格納部２８に、また特徴点の３次元座標空間上での位
置を特徴点位置格納部２９に出力する特徴点位置復元部
３６から構成されている。

【０１０２】図９〜図１１は図７の形状／動き認識部２
７の全体処理実施例のフローチャートである。同図にお
いて処理が開始されると、ステップ（Ｓ）４０におい
て、図８の既知情報入力部３１に′〜′(1) ，(2)
，(3) の式のいずれか１つ以上が入力されているか否
かが判定される。ここで、例えば′式は回転行列Ｒの
計算後に初めてその成立が判定されるのが一般的である
が、本発明の動物体認識装置にはここで説明しない各種
のセンサが取り付けられて、そのセンサからの信号によ
って、例えば対象物の第１時点から第２時点までの回転
が０度、または 180度の回転であるか否かが判定され
る。なお、例えば′〜′式のダッシュ記号は定理３
で示した〜式を符号を用いて書き直したことに対応
する。

【０１０３】Ｓ４０で′〜′(1) ，(2) ，(3) 式の
いずれか１つ以上が入力されていると判定された場合に
は、Ｓ４１で既知情報入力部３１は特徴点位置正規化部
３２に非起動信号を出力すると共に、動き算出部３４に
認識不可能情報を格納し、認識不可能処理に移行す
る。

【０１０４】図１２は認識不可能処理の実施例フロー
チャートである。認識不可能処理が開始されると、ま
ずＳ４２で動き算出部３４から特徴点位置復元部３６に
認識不可能情報が転送され、Ｓ４３で特徴点位置復元部
３６によって対象物動き格納部２８と特徴点位置格納部
２９に認識不可能情報が格納されて、処理を終了する。

【０１０５】図９のＳ４０で既知情報入力部３１に′
〜′(1) ，(2) ，(3) 式のいずれもが入力されていな
いと判定されると、Ｓ４４で特徴点格納部２６に３つの
時点における画面上の３つの特徴点の位置が格納された
か否かが判定され、まだ格納されていない場合にはＳ４
４の判定が続けられる。そして格納されたと判定される
と、Ｓ４５で特徴点格納部２６から特徴点位置正規化部
３２に起動信号が送られ、特徴点位置正規化部３２が起
動される。

【０１０６】続いて図１０のＳ４６で、特徴点位置正規
化部３２によって特徴点格納部２６に格納された３つの
特徴点０，１および２の画面上の位置が記憶され、また
特徴点０が原点となるように他の特徴点１，２の画面座
標から特徴点０の画面座標を引いたＸ座標としての
ｕ_i，ｖ_i，ｗ_i（ｉ＝１，２）の第１成分が求められ
る。Ｓ４７でこれらの第１成分に対して形状と動きの判
定部３３によって〜式が全て成立するか否かが判定
される。１つでも成立しない場合には、Ｓ４８で形状と
動きの判定部３３から動き算出部３４に認識不可能情報
が送られ、図１２の認識不可能処理に移行する。

【０１０７】なお、定理３で説明したように〜式は
〜式と同値であり、Ｓ４７でのチェックとＳ４０で
のチェックとは二重とも言える。しかしながら、Ｓ４０
でのチェックはセンサでも可能であることから、このよ
うな処理を行っている。形状と動きの判定部３３による
判定により、認識不可能のときには、その後の計算は行
われない。

【０１０８】Ｓ４７で〜式が全て成立すると判定さ
れた時には、Ｓ４９で形状と動きの判定部３３により動
き算出部３４が起動され、動き算出部３４の処理と形状
算出部３５の処理に移行する。これらの処理は定理４を
用いることによって行われる。

【０１０９】図１３は動き算出部の処理実施例のフロー
チャートである。同図において処理が開始されると、Ｓ
５０で行列ａの第１行ａ₁が算出され、Ｓ５１で回転行
列Ｒの算出が行われ、Ｓ５２で回転行列Ｓの算出が行わ
れ、Ｓ５３でこれらのＲ，Ｓの算出結果のうちで既知情
報入力部３１に入力されている物体の動きに関する既知
情報を満足するものがあるか否かが判定される。この判
定では、例えば動物体の動きを検出するための各種セン
サから入力される信号に応じてＲ，Ｓの算出結果が選ば
れる。センサが取り付けてなければ、Ｒ，Ｓの全ての算
出結果が既知情報を満足すると判定される。既知情報を
満足するものが存在しない場合には、図１２の認識不可
能処理に移行する。

【０１１０】物体の既知情報は、前述のように本発明の
動物体認識装置には説明されていない他のセンサ等から
入力される、物体の動きに関する既知情報である。例え
ば平面上に物体が静止しており、移動車に搭載されたＴ
Ｖカメラが同じ平面上を動く状況を想定すると、移動車
はスリップなどをすることがあり、ＴＶカメラの動きは
正確には判明しないが、静止物体に対する移動車の相対
的な動きの向きは判明する。このような静止物体の相対
的な動きの向きが物体の既知情報として外部メモリに入
力され、その外部メモリを介して既知情報入力部３１に
与えられる。動き算出部では回転行列Ｒとその逆回転行
列Ｒ′の２つの解が求められるが、この相対的な動きの
向きの制約条件によって、一方の解が正しい解として選
択される。

【０１１１】図１３のＳ５３で物体の運動に関する既知
情報を満たす解が存在する時には、Ｓ５４で動き算出部
３４から形状算出部３５、および特徴点位置復元部３６
に選ばれたＲ，Ｓの算出結果が転送される。

【０１１２】図１４は形状算出部３５の処理実施例のフ
ローチャートである。処理が開始されると、Ｓ５５で行
列ａの第２行ａ₂が算出され、Ｓ５６でその結果を用い
て２次元ベクトルｕ₁，ｕ₂の第２成分が算出され、Ｓ
５７，Ｓ５８でｖ₁，ｖ₂の第２成分、ｗ₁，ｗ₂の第
２成分が算出され、Ｓ５９でこれらの２次元ベクトルの
第２成分が特徴点位置復元部３６に送られる。

【０１１３】図１０において形状算出部の処理が終了す
ると、図１１におけるＳ６０において特徴点位置復元部
３６での処理が行われる。ここでは、対象物体の形状と
動きの算出結果としての回転行列Ｒ，Ｓ、２次元ベクト
ルｕ₁，ｕ₂，ｖ₁，ｖ₂，ｗ₁，ｗ₂の中から、既知
情報入力部３１に入力されている物体の動きに関する既
知情報に適合する値が選ばれる。そのような値が存在し
ない場合には、認識不可能処理に移行する。

【０１１４】ここでの既知情報の例を説明するために、
平面上に物体が静止しており、移動車に搭載されたＴＶ
カメラが同じ平面上を動く状況を考える。ここでＴＶカ
メラ側から見た静止物体の表面形状が凸であるか、凹で
あるかが予め分かっているものとする。例えば電信柱は
その表面形状が凸である。この静止物体の凹凸情報が、
物体の既知情報として、外部メモリなどを介して既知情
報入力部に与えられる。形状算出部では、観測面につい
て鏡映関係にある２つの解が求められるが、物体の凹凸
情報によって、一方の解のみが正しい解として選択され
る。

【０１１５】図１５は認識不可能処理の実施例フロー
チャートである。同図において、Ｓ６１で特徴点位置復
元部３６によって対象物動き格納部２８、および特徴点
位置格納部２９に認識不可能情報が格納されて、処理を
終了する。

【０１１６】図１１のＳ６０で既知情報を満足する算出
結果が選ばれた時には、Ｓ６２で特徴点位置復元部３６
により、選ばれたＲ，Ｓの値と、特徴点位置正規化部３
２に格納されている特徴点０の画面上での座標が対象物
動き格納部２８に格納され、Ｓ６３で選ばれた２次元ベ
クトルの第２成分の値と、特徴点位置正規化部３２に格
納されている３つの特徴点の画面上での座標とが特徴点
位置格納部２９に格納されて、処理を終了する。

【０１１７】以上の説明においては、一般的に第１時点
から第２時点までの回転Ｒと第２時点から第３時点まで
の回転とが異なるものとして実施例を説明したが、対象
物の回転速度が一定で、かつ各時点間の時間間隔が等し
い場合には、これらの回転は等しくなる。

【０１１８】このような場合、既知情報入力部３１に対
象物の回転が一定である（すなわち、Ｓ＝Ｒ²）情報が
入力されたとき、動き算出部３４において上記Ｒの算出
処理（図１３のＳ５１）の代わりに、

【０１１９】

【数４１】

【０１２０】を用いれば、処理量が少なくなる。さら
に、この場合、Ｓ５０における計算、

【０１２１】

【数４２】

【０１２２】において、ａ₁₁のみの算出を行い、Ｓ５２
の代わりにＳ＝Ｒ²により、Ｓを算出する方法もある。
また上述の実施例では、動き算出部３４における上記Ｒ
の算出処理（Ｓ５１）において、２つの解を同時に算出
している。しかし、このＳ５１において１つの解のみを
算出する実施例もある。

【０１２３】この実施例では、特徴点位置復元部３６の
最初の処理として、次式により回転Ｒ，Ｓのもう１つの
値であるＲ，Ｓの逆回転行列Ｒ′，Ｓ′を算出する。

【０１２４】

【数４３】

【０１２５】また、２次元ベクトルｕ_i，ｖ_i，ｗ
_i（ｉ＝１，２）のもう１つの値であるｕ_i，ｖ_i，ｗ
_i（ｉ＝１，２）のＸ軸に関する鏡像反転ｕ_i′，
ｖ_i′，ｗ_i′（ｉ＝１，２）を次式を用いて算出す
る。

【０１２６】

【数４４】

【０１２７】これによって、特徴点位置復元部３６にお
いて、２つの解を求めることができる。以上のように、
本発明においては、回転しながら平面上を移動する対象
物の３時点における３つの特徴点の画面上位置から対象
物の動きを認識することができる。また図１０で説明し
たように、形状と動きの判定部によって、特徴点の画面
上位置から、動物体の認識の可否を直ちに判定すること
もできる。

【０１２８】

【発明の効果】以上詳細に説明したように、本発明によ
れば１台の画像入力部で捉えられた対象物の画像から抽
出された特徴点を基にして、対象物の形状と動きが認識
される。従って、２台の画像入力部を用いる場合に比較
して、画像入力部の台数、および特徴点抽出部を半分と
することができ、装置規模を小さくすることができる。
また、２台の画像入力部を用いる場合のように異なる位
置から捉えた対象物の画像上の特徴点の対応付けが不必
要となり、この処理を省くことができ、処理時間の短縮
にも効果が大きい。

【図面の簡単な説明】

【図１】本発明の原理ブロック図である。

【図２】対象物と画像入力部の観測面との一般的関係を
示す図である。

【図３】特徴点０を原点に固定した場合の対象物と観測
面との関係を示す図である。

【図４】特徴点のＸＹ平面上への正射影点を示す図であ
る。

【図５】相互に鏡映反転となる２つの解の例を示す図で
ある。

【図６】本発明の動物体認識装置の概念を説明する図で
ある。

【図７】本発明の動物体認識装置の全体構成を示すブロ
ック図である。

【図８】形状／動き認識部の実施例の構成を示すブロッ
ク図である。

【図９】形状／動き認識部の全体処理実施例のフローチ
ャート（その１）である。

【図１０】形状／動き認識部の全体処理実施例のフロー
チャート（その２）である。

【図１１】形状／動き認識部の全体処理実施例のフロー
チャート（その３）である。

【図１２】認識不可能処理の実施例のフローチャート
である。

【図１３】動き算出部の処理実施例のフローチャートで
ある。

【図１４】形状算出部の処理実施例のフローチャートで
ある。

【図１５】認識不可能処理の実施例のフローチャート
である。

【図１６】従来の動物体認識装置の概念図である。

【図１７】従来の動物体認識装置の構成を示すブロック
図である。

【図１８】従来の動物体認識装置において対応付けがで
きない特徴点の例を示す図である。

【符号の説明】

１５，２１，２４画像入力部１６，２５特徴点抽出部１７，２６特徴点格納部１８形状／動き認識手段２７形状／動き認識部２８対象物動き格納部２９特徴点位置格納部３１既知情報入力部３２特徴点位置正規化部３３形状と動きの判定部３４動き算出部３５形状算出部３６特徴点位置復元部

Claims

【特許請求の範囲】

【請求項１】画像入力部（１５）から入力される画像
内の特徴点を抽出する特徴点抽出部（１６）と、該抽出
された特徴点を格納する特徴点格納部（１７）とを備
え、該特徴点の既知位置情報を用いて動物体の動きを認
識する動物体認識装置において、回転しながら平面上を移動する対象物を、回転軸に対し
て垂直な方向から捉えた画像中での、該対象物の特徴点
の複数時点における既知位置情報から、該対象物の特徴
点の実際の位置と動きを算出する形状／動き認識手段
（１８）を備えたことを特徴とする動物体認識装置。
【請求項２】前記形状／動き認識手段（１８）が、前
記対象物を回転軸に対して垂直な方向から捉えた画像
を、該対象物の正射影画像として処理することを特徴と
する請求項１記載の動物体認識装置。
【請求項３】前記形状／動き認識手段（１８）が、前
記複数時点の各時点における対象物の複数の特徴点のう
ちの１つを３次元座標空間の原点においた時の他の特徴
点の相対位置を正規化された既知位置情報として求める
特徴点位置正規化部と、該特徴点位置正規化部の出力を用いて前記動物体の特徴
点の位置と動きの認識が可能か否かを判定する形状と動
きの判定部と、該形状と動きの判定部が該動物体の特徴点の形状と動き
の認識が可能と判定した時に起動され、前記特徴点位置
正規化部の出力を用いて、該対象物の前記原点の回りの
回転量を算出する動き算出部と、該動き算出部と特徴点位置正規化部との出力を用いて、
該動物体の前記複数の特徴点の既知位置情報以外の未知
位置情報を求める形状算出部と、該動き算出部が出力する該原点の回りの回転量と該特徴
点位置正規化部から出力される前記原点におかれた特徴
点の前記画像中での位置情報とを合わせて対象物の動き
として、また該形状算出部から出力された前記未知位置
情報と特徴点位置正規化部から出力された複数の各特徴
点の前記画像中での位置情報とを合わせて特徴点位置と
して出力する特徴点位置復元部とを備えたことを特徴と
する請求項１または２記載の動物体認識装置。
【請求項４】前記特徴点位置正規化部に対して、前記
対象物の３個の特徴点の画像内位置が３時点に対してそ
れぞれ入力されることを該特徴点位置正規化部の起動条
件とすることを特徴とする請求項３記載の動物体認識装
置。
【請求項５】前記形状／動き認識手段（１８）が、さ
らに前記動物体の動きに関する、センサを含む外部から
の既知情報が入力される既知情報入力部を備え、前記画像内位置が入力される３個の特徴点のうち、前記
原点におかれる特徴点を特徴点０、他の２個の特徴点を
特徴点１，２、画像面をＸＺ平面、Ｘ軸を特徴点の平行
移動方向、Ｚ軸を前記対象物の回転軸と平行な方向、Ｙ
軸を画像面に垂直な方向、【数１】によって与えられるｕ₁，ｕ₂を第１時点における原点
から特徴点１，２へのＸＹ平面上での２次元ベクトル、
ｖ₁，ｖ₂を第２時点における原点から特徴点１，２へ
のＸＹ平面上での２次元ベクトル、ｗ₁，ｗ₂を第３時
点における原点から特徴点１，２へのＸＹ平面上での２
次元ベクトル、【数２】によって与えられるＲを対象物の第１時点から第２時点
までの原点を中心とするＸＹ平面上での２次元の回転を
表わす回転行列、Ｓを対象物の第１時点から第３時点ま
での原点を中心とするＸＹ平面上での２次元の回転を表
わす回転行列とし、ｖ_iおよびｗ_iがｖ_i＝Ｒｕ_i，Ｗ_i＝Ｓｕ_i（ｉ＝１，２）と表わされるものとする時、該既知情報入力部にＲ＝±Ｉ，（Ｉは単位行列）またはＳ＝±Ｉ，またはＲ＝±Ｓ，またはｕ₁₁ｕ₂₂−ｕ₂₁ｕ₁₂＝０，またはｖ₁₁ｖ₂₂−ｖ₂₁ｖ₁₂＝０，またはｗ₁₁ｗ₂₂−ｗ₂₁ｗ₁₂＝０のいずれか１つ以上が入力された時、該既知情報入力部
が、前記特徴点位置正規化部に非起動信号を出力し、動
き算出部（３４）に認識不可能情報を格納することを特
徴とする請求項３または４記載の動物体認識装置。
【請求項６】前記形状と動きの判定部が、前記特徴点
位置正規化部の出力を用いて、ｕ₁₁ｖ₂₁−ｕ₂₁ｖ₁₁≠０，またはｖ₁₁ｗ₂₁−ｖ₂₁ｗ₁₁≠０，またはｗ₁₁ｕ₂₁−ｗ₂₁ｕ₁₁≠０のいずれか１つ以上を必要条件、該３つの必要条件の全
てを十分条件として、前記特徴点の実際の位置と動きを
判定可能とすることを特徴とする請求項５記載の動物体
認識装置。
【請求項７】前記動き算出部が、前記特徴点位置正規
化部の出力を用いて、【数３】を算出し、該算出結果を用いて、回転行列Ｒ，Ｓを【数４】によって算出することを特徴とする請求項５記載の動物
体認識装置。
【請求項８】前記既知情報入力部に、前記対象物の回
転行列ＲとＳとの関係としてＲ²＝Ｓを示す情報が入力
されたとき、前記動き算出部が前記ａ₁の算出処理にお
いてａ₁₁のみを算出し、回転行列Ｒを【数５】によって算出することを特徴とする請求項７記載の動物
体認識装置。
【請求項９】前記既知情報入力部に前記対象物の回転
行列ＲとＳとの関係としてＲ²＝Ｓを示す情報が入力さ
れたとき、前記動き算出部が回転行列ＳをＳ₁＝［Ｒ²の第１行］によって算出することを特徴とする請求項７記載の動物
体認識装置。
【請求項１０】前記動き算出部が、前記回転行列Ｒの
計算において、【数６】の正・負の値のうちの一方の値のみを算出することを特
徴とする請求項７または８記載の動物体認識装置。
【請求項１１】前記形状算出部が、前記動き算出部の
出力を用いて、【数７】を算出し、該算出結果を用いて、２次元ベクトルｕ₁，
ｕ₂，ｖ₁，ｖ₂，ｗ₁，ｗ₂の第２成分を【数８】によって算出することを特徴とする請求項７，８，９ま
たは１０記載の動物体認識装置。
【請求項１２】前記動き算出部が、前記回転行列Ｒの
計算において、【数９】の正・負の値のうちの一方の値のみを算出して、前記行
列Ｒ，Ｓを算出し、前記形状算出部が、該動き算出部の
出力を用いて【数１０】を算出し、該算出結果を用いて、２次元ベクトルｕ₁，
ｕ₂，ｖ₁，ｖ₂，ｗ₁，ｗ₂の第２成分を【数１１】によって算出し、前記特徴点位置復元部が前記回転行列
Ｒ，Ｓの逆回転行列Ｒ′，Ｓ′を【数１２】によって、また前記２次元ベクトルｕ_i，ｖ_i，ｗ
_i（ｉ＝１，２）のＸ軸に関する鏡映反転ｕ_i′，
ｖ_i′，ｗ_i′（ｉ＝１，２）を【数１３】によって算出することを特徴とする請求項７または８記
載の動物体認識装置。
【請求項１３】前記特徴点位置復元部と動き算出部と
が、前記対象物の特徴点の位置と動きの算出結果のうち
で、前記既知情報入力部に入力された該対象物の動きに
関する既知情報と矛盾しない結果のみを、該特徴点位置
および対象物の動きとして出力することを特徴とする請
求項３記載の動物体認識装置。