JP3163149B2 - 移動物体認識装置 - Google Patents

移動物体認識装置

Info

Publication number
JP3163149B2
JP3163149B2 JP04844992A JP4844992A JP3163149B2 JP 3163149 B2 JP3163149 B2 JP 3163149B2 JP 04844992 A JP04844992 A JP 04844992A JP 4844992 A JP4844992 A JP 4844992A JP 3163149 B2 JP3163149 B2 JP 3163149B2
Authority
JP
Japan
Prior art keywords
feature point
coordinate
rotation axis
hcosψ
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP04844992A
Other languages
English (en)
Other versions
JPH05250460A (ja
Inventor
洋 鎌田
守人 塩原
秀樹 柳下
善之 太田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP04844992A priority Critical patent/JP3163149B2/ja
Priority to US08/026,685 priority patent/US5414474A/en
Publication of JPH05250460A publication Critical patent/JPH05250460A/ja
Application granted granted Critical
Publication of JP3163149B2 publication Critical patent/JP3163149B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は,撮像装置により移動物
体を認識する装置に関する。移動物体認識装置は,外界
の移動する対象物をTVカメラで撮影し,画像信号をデ
ジタル処理することにより対象物を認識するものであ
る。そして,このような移動物体認識装置はFA検査,
無人監視装置,無人移動車に搭載する視覚装置等に応用
されている。
【0002】このような移動物体認識装置は,その画像
入力部に対して相対的に移動する対象物の形状と動きを
認識するものである。従って,対象物が実際に動いてい
なくても,移動物体認識装置の画像入力部が動いている
場合には,静止している対象物の形状と対象物の相対的
な動きを認識するものである。例えば,無人移動車が搭
載した視覚装置により走行する外界の状況を認識するよ
うな場合である。
【0003】このように,移動物体認識装置は多方面で
利用され,小型性と高速性が要求される。無人移動車の
視覚装置として利用する場合には,特に小型である必要
があるとともに人が目で見ながら実際に処理するのと同
程度の高速性が要求される。
【0004】
【従来の技術】従来の移動物体認識装置は,2台の画像
入力部を用いて対象物を捉え,それぞれから入力される
2枚の画像における対象物の特徴点を対応づけて,異な
る時点毎に三角測量の原理により対象物の形状を求め,
対象物の動きを計算していた。
【0005】図13は従来の移動物体認識装置を示す。
図において,200は対象物,黒丸は特徴点である。特
徴点は対象物の特定部位を示す点であって,頂点や縁の
点,あるいは模様などがある場合には模様の点,色の境
界等である。
【0006】201は画像入力部1,202は画像入力
部2であって,それぞれTVカメラよりなるものであ
る。203は移動物体認識部であって,2つの画像入力
部201,202から入力される2つの画像において,
同一の特徴点を対応づけ,三角測量の原理により特徴点
の位置を計算し,位置の時間的推移から対象物200の
動きを計算するものである。204は認識結果出力部で
あって,特徴点の位置と動きを出力するものである。
【0007】図14は従来の移動物体認識装置における
移動物体認識部の構成を示す。図において,210は画
像入力部1,211は画像入力部2,213は特徴点抽
出部1であって,画像入力部1から入力された画像から
特徴点を抽出するものである。214は特徴点抽出部2
であって,画像入力部2から入力された画像から特徴点
を抽出するものである。215は特徴点対応づけ部であ
って,特徴点抽出部1と特徴点抽出部2における同一の
特徴点の対応づけを行うものである。216は特徴点位
置計算部であって,対応づけられた特徴点の画面上の座
標と画像入力部1と画像入力部2の設置位置とにより特
徴点の位置を計算するものである。217は特徴点位置
格納部であって,特徴点位置計算部216の求めた特徴
点の位置を格納するものである。218は対象物動き計
算部であって,特徴点位置格納部217の複数時点にお
ける特徴点位置に基づいて対象物の動きを計算するもの
である。219は対象物動き格納部であって,対象物の
動き(回転量等)を格納するものである。220は対象
物の認識結果を出力するものである。
【0008】
【発明が解決しようとする課題】上記のように,従来の
移動物体認識装置は2台のTVカメラを必要とした。ま
た特徴点抽出部も2つの入力画像に対してそれぞれに必
要であるため,2つ必要であった。
【0009】また,見え方の異なる2枚の画像から,抽
出した特徴点を対応づける処理が必要であるため,特徴
点対応づけ部を必要とした。この特徴点の対応づけは困
難な処理で,画像入力部(TVカメラ)同士の位置を近
づけた場合には,特徴点の対応づけは比較的容易である
が,認識精度が悪くなる。逆に,認識精度を上げるた
め,画像入力部間の距離を大きくとると特徴点の対応づ
けが困難となり,対応点の探索に膨大な処理時間を必要
とした。
【0010】また,従来の移動物体認識装置では,対象
とする特徴点が一方の撮像装置にのみ捉えられ,他方の
撮像装置には捉えられていない場合があり,このような
時には特徴点の対応づけは不可能となった。
【0011】本発明は,1つの画像入力部で,移動物体
の認識を行うことのできる移動物体認識装置を提供する
ことを目的とする。
【0012】
【課題を解決するための手段】対象物を回転軸に垂直な
方向から撮影する場合,あるいは斜め方向から俯瞰する
位置で撮影する場合,いずれの場合でも対象物の複数特
徴点の複数時点の撮像面への正射影から対象物の形状と
動きを認識することが可能である。
【0013】図1に本発明の基本構成を示すが,図1の
説明に先立ち図2,図3により本発明の画像入力の概念
と,本発明が適用される移動物体認識装置の対象物の形
状/動き認識方法について説明する。
【0014】図2は本発明の画像入力の概念を示す。図
において,10’は認識の対象物(移動物体)である
(黒丸は特徴点を示す)。11’は対象物10’の移動
する平面,13は特徴点0,14は特徴点1,12’は
撮像装置である(撮像面はXY平面であり,X軸は平面
に平行に設定し,Z軸はXY平面に垂直(撮像装置1
2’の光軸方向)に設定する)。
【0015】本発明では,画像入力部(撮像装置1
2’)は図のように,対象物を斜め方向から俯瞰して捉
える。そして,対象物10’は平面11’を移動するの
でその回転軸は常に平面に垂直な方向にある。従って,
対象物10’の回転軸とY軸のなす角度は一定である。
【0016】また,本発明では,移動物体からの光は平
行に画像入力部に入力されると近似する。例えば,平面
は道路,移動物体は道路上を走行する自動車,画像入力
部は道路脇に固定したTVカメラ,あるいは,特定の自
動車に固定したTVカメラ等を想定した場合に相当す
る。
【0017】図3は本発明のΨ算出方法の原理説明図
(1) ,図4は本発明のΨ算出方法の原理説明図(2) であ
る。図3において,図 (a)は対象物の軌跡(特徴点0を
原点においた時の他の特徴点1の相対座標により正規化
した軌跡を表す図である。図 (b)は対象物の軌跡のYZ
平面への射影である。図 (c)は対象物の軌跡のXY平面
への射影であり,楕円となる。
【0018】図 (a)において,XY平面は観測面(正射
影面)を表す。Z軸はXY平面に垂直であり,撮像装置
の光軸方向に一致する。20は特徴点0であり,座標原
点Oとしたものである。21は特徴点1(x,y,z)
である。22は平面αであって,特徴点0を座標軸の原
点とした時の特徴点1の回転面である。23は回転軸で
ある。
【0019】図 (b)において,Hは特徴点1から回転軸
に下ろした垂線と回転軸が交わる点である。ABは回転
面αのYZ面への正射影である。特徴点からHまでの距
離をd,特徴点0(原点)からHまでの距離をh,回転
軸とY軸のなす角をΨとする。
【0020】図 (c)において,線分A’B’,C’D’
は平面α上の特徴点1の軌跡である円のXY面への正射
影の楕円の軸である。H’は楕円の中心である。A’,
B’,C’,D’,H’の座標はそれぞれ,A’(0,
hcosΨ−dsinΨ),B’(0,hcosΨ+d
sinΨ),C’(−d,hcosΨ),D’(d,h
cosΨ),H’(0,hcosΨ)となる。
【0021】図4は本発明のΨ算出方法の原理説明図
(2) である。図 (a)は,Ψ=nπ(n整数)の場合の正
射影(XY平面)である。ABは平面α上の特徴点1の
軌跡のXY平面への正射影である。
【0022】図 (b)はh=0の場合の正射影(YZ面)
である。ABはh=0の場合の平面α上の特徴点1の軌
跡のYZ面への射影を表す。24は回転軸である。 本
発明のΨの算出方法の説明に先立ち,本発明のΨの算出
方法が適用される移動物体認識装置の形状/動き認識に
ついて説明する。図3,図4を参照する。
【0023】対象物の形状認識と動き認識について分け
てそれぞれ説明する。 〔1 対象物の形状の認識〕特徴点の正射影の観測によ
り,対象物の動きと位置を認識するためには,最小限2
特徴点2時点の観測値が必要である。
【0024】(形状認識1) Ψ=nπ(n;整数)の
場合(平面に平行な方向から観測する場合)には,対象
物のX軸上の観測値に基づき,対象物の動きと位置を認
識することができる(コンピュータビジョン 75−3
(1991.11.22,特願平03−236463
号,特願平03−236463号,特願平03−236
466号参照)。
【0025】(形状認識2) Ψ=π/2+nπの場合
(平面に垂直な方向から観測する場合)には,対象物の
形状の認識はできないが回転は認識できる。 (形状認識3) Ψ≠nπ、π/2+nπの場合は,次
のように形状を認識できる。
【0026】特徴点1の時点iにおける座標値を
(xi ,yi )(i=1,2)とする。また,特徴点1
のZ座標をzi (i=1,2)とする。面αのXY平面
上への正射影は楕円となり,次式で表される。
【0027】 x2 +(y−hcosΨ)2 /sin2 Ψ =d2 ・・・・・・(1) y1 ≠y2 の場合, h={(x2 2 −x1 2 )sin2 Ψ+(y2 2 −y1 2 )}/{2cos Ψ(y2 −y1 )} ・・・・・・・・・・・・・・・・・・・・・・(1) ’ zi =(h−yi cosΨ)/sinΨ(i=1,2) ・・・・・(2) d ={xi 2 +(yi −hcosΨ)2 /sinΨ}1/2 (i=1または2 )・・・・・・・・・・・・・・・・・・・・・・(2) ’ となる。
【0028】式(2) の導出は次の通りである。一般に,
特徴点(x,y,z)をX軸の回りに(−Ψ)回転する
(YZ面に平行に回転する)と,回転させた点(x’,
y’,z’)に対して,式
【0029】
【数1】
【0030】が成立する。従って,y’=ycosΨ+
zsinΨとなる。y’=hであるから, sinΨ≠0だから,z=(h−ycosΨ)/sinΨ・・・・(3) ’ 従って,zi =(h−yi cosΨ)/sinΨ(l=
1,2)となる。
【0031】以上により,y1 ≠y2 であれば,特徴点
のzi が求まり,対象物の形状を認識することができ
る。但し,y1 =y2 の時は,2時点のXY面上の正射
影が1時点に縮退するので,原理的に対象物の奥行き
(Z座標値)を求めることはできない。
【0032】〔2 対象物の動きの認識について〕対象
物の動き(回転)は次のように求めることができる。点
(x,y,z)をX軸の回りに(−Ψ)回転した点を点
(x’,y’,z’)とする。
【0033】この時,点(x,y,z)と点(x’,
y’,z’)との間には式(3) の関係がある。第1時点
から第2時点までの対象物の回転角をθとする。
【0034】以下,Ψの大きさにより,場合を分けて動
き認識を説明する。 (回転認識1)Ψ=π/2+nπの時,特徴点はZ軸を
中心に回転する。従って, cosθ=(x1 2 +y1 2 )/(xi 2 +yi 2 )(i=1,2) ・・・・・・・・・・・・・・・・・・・・・・・・・・・・(4) sinθ=(x1 2 −x2 1 )/(xi 2 +yi 2 )(i=1,2) ・・・・・・・・・・・・・・・・・・・・・・・・・・・(4) ’ である。
【0035】式(4) ,(4) ’により回転θを求めること
ができる。 (回転認識2) Ψ≠nπ,π/2+nπ(n整数)の
とき,y1 =y2 のときは,回転をもとめることができ
ない。
【0036】y1 ≠y2 のとき, zi ’=−yi sinΨ+zi cosΨ cosθ=(x1 2 +z1 ’z2 ’)/(xi 2 +z’i 2 )(i=1, 2) ・・・・・・・・・・・・・・・・・・・・・・・・・・・・(5) sinθ=(x1 2 ’−x2 1 ’)/(xi 2 +z’i 2 )(i=1, 2) ・・・・・・・・・・・・・・・・・・・・・・・・・・・・(5) ’ である。従って,式(5) ,(5) ’により回転θを求める
ことができる。
【0037】上記のように,俯角Ψを認識することによ
り,複数特徴点の複数時点の観測値から対象物の動きと
位置を求めることができる。 〔3 本発明の原理説明〕次に,本発明の俯角認識の原
理を説明する。図3,図4を参照する。
【0038】特徴点1のi時点(i=1,2,3)にお
ける座標を(xi ,yi ,zi )とする。2つの特徴点
を正射影面で観測する場合を考える。
【0039】(1) 1時点の観測値だけではΨは求まら
ない。 (2) 2時点を観測する場合, Y座標が同じで,X座標の絶対値が異なる場合に
は,次のようにΨが求まる。
【0040】回転面αの正射影は,Ψ=nπ(n整数)
の時y=(−1)n h(−d≦x≦d)の線分となる
(図4, (a)参照)。従って,Y座標が同じで,X座標
の絶対値がことなる場合はΨ=nπの場合である(Ψ≠
nπ(n:整数)の場合には,回転面α上の特徴点1の
軌跡の正射影はY軸に対象な楕円であるから,y座標が
同じであればX座標の絶対値は等しくなる)。
【0041】このことから,Y座標が同じでX座標の絶
対値が異なる場合は,Ψ=nπと決定できる。そして,
Y座標値≧0であれば,Ψ=0であり,Y座標<0であ
ればΨ=πである。
【0042】 Y座標が同じで,X座標の絶対値が等
しい場合には,1時点の場合に縮退し,Ψは求まらな
い。 Y座標が異なる場合は,Ψ≠nπ(n整数)の場合
だから方程式(1) が成立し,2時点では2つの方程式し
か得られないのに対し,未知数は3つ(Ψ,h,d)で
あるからΨは求まらない。
【0043】(3) 3時点を観測する場合, Y座標が同じでX座標の絶対値が異なる2時点があ
る場合には,上記(2) の場合と同様に,Y座標≧0の
とき,Ψ=0,Y座標<0のとき,Ψ=πである(即
ち,3時点とも,Y座標が同じということである。) 2時点以上のY座標が同じであるが,X座標の絶対
値が全て同じ場合には,2時点以下の場合に縮退し,上
記(2) の場合と同じになりΨは求まらない。
【0044】 3時点のY座標が全て異なる場合につ
いて考察する。Y座標が3点異なるから,Ψ≠nπ(n
整数)である。3時点の正射影(xi ,yi ,zi
(i=1,2,3)に対して xi 2 +(yi −hcosΨ)2 /sin2 Ψ=d2 ・・・・・・・(5) c=hcosΨとすると, xi 2 +(yi −c)2 /sin2 Ψ=d2 ・・・・・・・・・・・(6) (5) ,(6) にx1 ,x2 ,x3 ,y1 ,y2 ,y3 を代
入し,dを消去すると,x1 ,xi (i=2,3)とy
1 ,yi (l=2,3)に対して, xi 2 +(yi 2 −c)2 /sin2 Ψ=x1 2 +(y1 2 −c)2 /sin 2 Ψ 従って,c={(xi 2 −x1 2 )sin2 Ψ+(yi 2 −y1 2 )}/{2 (yi −y1 )} ・・・・・・・・・・・・・・・・・・・・・・・・(7) (7) にx2 ,x3 を代入し,cを消去すると, {(x2 2 −x1 2 )sin2 Ψ+(y2 2 −y1 2 )}(y3 −y1 ) ={(x3 2 −x1 2 )sin2 Ψ+(y3 2 −y1 2 )}(y2 −y1 ) 従って, {(x2 2 −x1 2 )(y3 −y1 )−(x3 2 −x1 2 )(y2 −y1 )} ×sin2 Ψ = (y1 −y2 )(y2 −y3 )(y3 −y1 ) 右辺は0でないから,左辺の係数も0でない。従って, sin2 Ψ=(y1 −y2 )(y2 −y3 )(y3 −y1 )/ {(x2 2 −x1 2 )(y3 −y1 )−(x3 2 −x1 2 )(y2 −y1 )} ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・(8) 分母を書きなおして, sin2 Ψ=(y1 −y2 )(y2 −y3 )(y3 −y1 )/ {x1 2 (y2 −y3 )+x2 2 (y3 −y1 )+x3 2 (y1 −y2 )} ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・(9) sinΨの値からは,±Ψと±(Ψ+Π)のいづれであ
るかわからないので,cosΨの符号を決める必要があ
る。
【0045】c=hcosΨにより,cosΨの符号を
考察すると次のようになる。 sin2 Ψ=1のとき,cosΨ=0 c≠0のとき(h≠0かつsinΨ≠1の場合),
h>0であるから,cの符号でcosΨの符号が求ま
る。
【0046】 sin2 Ψ≠1かつc=0の時,h=
0でcosΨの符号は決まらない。この場合には図4
(b)から分かるように,ΨとΨ+πの2通りの解が求ま
る。以上の3時点の観測値において,Y座標が全て異な
る場合を定理としてまとめると次のようになる。
【0047】〔定理1〕3時点のY座標が全て異なる場
合,下記の式でΨが求まる。 sinΨ=±[(y1 −y2 )(y2 −y3 )(y3 −y1 )/{(x2 2 −x1 2 )(y3 −y1 )−(x3 2 −x1 2 )(y2 −y1 )}]1/2 ・・・・・・・・・・・・・・・・・・・・・・・・・・・(9) ’ cをhcosΨとしたとき, c={(xi 2 −x1 2 )sin2 Ψ+(yi 2 −y1 2 )}/{2(yi − y1 )} ・・・・・・・・・・・・・・・・・・・・・・・・・・(9) ” により求め,下記〜により,cosΨの符号を定め
る。
【0048】 sin2 Ψ≠1のとき,cosΨ=
0。 c≠0のとき,cosΨの符号はcに等しい。 sin2 Ψ≠1かつc=0のとき,cosΨの符号
は2通りある。
【0049】Ψの算出方法は,上記の方法に限らず他の
求め方もあるが,例として,上記の算出方法による場合
について,図1により本発明の基本構成を説明する。な
お,他の算出方法による場合は,本発明の実施例(2) に
おいて説明する。
【0050】図1は,本発明の基本構成を示す。図にお
いて,1は画像入力部であって,撮像面をXY平面と
し,X軸は対象物の移動する平面に平行に設定されたも
の(特徴点の回転軸の正射影がY軸の方向)。2は特徴
点抽出部,3は特徴点格納部,4は回転軸認識手段であ
って,Ψを算出するものである。5は既知情報入力部で
あって,対象物の既知情報を入力するものである(例え
ば,Ψの角度範囲,画像入力部1が対象物を見下ろして
撮影しているか,あるいは見上げて撮影しているか等の
情報)。6は特徴点位置正規化部であって,複数の特徴
点のうちの1つを原点として他の特徴点の相対座標を算
出することにより特徴点位置の正規化処理を行うもので
ある。
【0051】7は回転軸算出部であって,Y座標値とx
座標値に基づいて,Ψを算出するものである。8はY座
標判定部であって,Y座標値が等しいか,あるいは等し
くないかを算出するものである。9はΨ算出処理部Aで
あって,Y座標値が同じで,X座標値の絶対値が異なる
場合にΨを求めるものである。10はΨ算出処理部Bで
あって,3時点の値座標値が異なる場合にΨを算出する
ものである。11は認識不可能処理部であって,Ψを認
識できない場合に認識不可能処理を行うものである。
【0052】12は回転軸格納部であって,回転軸算出
部7で求めたΨの値を格納するものである。
【0053】
【作用】図1の基本構成の動作を説明する。画像入力部
1は対象物の画像を入力する。特徴点抽出部2は入力さ
れた画像から特徴点を抽出する。特徴点格納部3は,抽
出された特徴点の画像面上の座標値を格納する。
【0054】既知情報入力部5には,Ψの角度の範囲等
の対象物に関する既知情報が入力される。既知情報入力
部5は回転軸の画面上での方向を特徴点位置正規化部6
に送る。
【0055】特徴点位置正規化部6は特徴点格納部から
特徴点の画面上の位置を受け取る。特徴点位置正規化部
6は特徴点0の画面上の位置を記憶する。そして,特定
の特徴点0をXY座標軸の原点として,回転軸の画面に
おける方向とY軸方向が一致するようにXY直交座標系
を定め,他の特徴点の特徴点0に対する相対座標を求め
る。
【0056】回転軸算出部7はΨを算出する。まず,Y
座標判定部8において,2時点の観測値のY座標が同じ
で,X座標の絶対値が異なる場合には,Ψ算出処理部A
において,Ψ=0(Y座標値≧0の場合),Ψ=π(Y
座標値<0の場合)を求める。
【0057】2時点のみの観測で,その外の場合には,
回転軸算出部7は認識不可能処理部11に認識不可能を
通知する。そして,認識不可能処理部11は認識不可能
処理を行う。
【0058】3時点でのY座標値が異なる場合には,上
記定理1に従い, (1) sinΨ=±[(y1 −y2 )(y2 −y3 )(y3 −y1 )/{( x2 2 −x1 2 )(y3 −y1 )−(x3 2 −x1 2 )(y2 −y1 )}]1/2 を計算する。次に,cをhcosΨとしたとき,式 (2) c={(xi 2 −x1 2 )sin2 Ψ+(yi 2 −y1 2 )}/{2( yi −y1 )} によりcを算出する。
【0059】(3) cosΨの符号を決める。 (4) sinΨの値とcosΨの符号によりΨを求め
る。回転軸格納部12に,求めたΨの値を格納する。
【0060】
【実施例】図5は本発明の移動物体認識装置の構成を示
す。図において,40は対象物(黒丸は特徴点),41
は画像入力部,42は特徴点抽出部,43は特徴点格納
部,44は回転軸認識部(図1における回転軸認識手段
4に対応する。45は回転軸格納部,46は形状/動き
認識部であって,Ψおよび複数特徴点の複数時点の正射
影に基づいて,対象物の形状と動きを算出するものであ
る。47は形状/動き格納部であって,対象物の形状
(3次元座標における位置)と動き(回転量)を格納す
るものである。
【0061】図6は,本発明の回転軸認識部の構成を示
す。図において,特徴点格納部43,回転軸認識部4
4,回転軸格納部45は図5に共通である。
【0062】50は既知情報入力部,51は特徴点位置
正規化部,52は回転軸算出部,53は認識不可能処理
部であって,Ψの認識が不可能な場合,認識不可能処理
を行うものである。54は特徴点位置復元部であって,
回転軸算出部52から送られてくる特徴点0を通る回転
軸の撮像系との相対的な方向(回転軸算出部52の求め
た回転軸と観測方向の成す角度Ψ)と特徴点0の画面上
での座標値を合わせて回転軸格納部45に格納するもの
である。
【0063】図7は,本発明の回転軸算出部の構成を示
す。図において,既知情報入力部50,特徴点位置正規
化部51,回転軸算出部52,認識不可能処理部53,
特徴点位置復元部54は図6と共通である。
【0064】64はY座標判定部であって,特徴点1の
2時点もしくは3時点の観測値について,Y座標とX座
標を判定し,2時点のY座標が同じで,X座標の絶対値
が異なる場合,3時点のY座標が異なる場合,その他の
場合のいづれに該当するかの判定を行うものである。
【0065】65はΨ算出処理部Aであって,Y座標が
同じで特徴点1のX座標が異なる場合の処理を行うもの
である。66はΨ算出処理部Bであって,特徴点1のY
座標(3時点)が全て異なる場合の処理を行うものであ
る。
【0066】〔実施例(1) 〕図8〜図10により回転軸
算出部のフローの実施例を示す。図示のステップの番号
に従って説明する。図6,図7を参照する。
【0067】S1 既知情報入力部50は,回転軸の画
面上での方向を特徴点位置正規化部51に送る(回転軸
の正射影方向がY軸方向になるように撮像面のXY座標
を定める)。
【0068】S2 特徴点位置正規化部51の処理を行
う(図10)。 〔特徴点位置正規化部の処理〕 S17 特徴点位置正規化部51は,特徴点格納部43
から,3画面における2特徴点の画面上の位置情報を受
け取る。
【0069】S18 特徴点位置正規化部51は,特定
の特徴点0の画面上の位置を記憶すると共に,他の特徴
点0がXY軸座標軸の原点になり,回転軸の画面におけ
る方向とY軸が一致するようにXY直交系を設け,他の
特徴点の画面座標から特徴点0の画面座標を引いて正規
化された特徴点の画面座標(相対座標)を格納する。
【0070】次いで,S3の処理に進む。 〔Y座標判定部の処理〕 S3 特徴点1のY座標が同じである画面があるか判定
する。Y座標が同じであればS4に進み,同じでなけれ
ば,S7に進む。 〔Ψ算出処理部Bの処理〕S3で特徴点1の3時点のY
座標が全て異なる場合には,S7において,特徴点1の
Y座標が全て異なる場合の回転軸算出部52の処理(Ψ
算出処理部B(66)の処理)(図9)を行う。
【0071】S10 回転軸算出部52(Ψ算出処理部
B(66))において,sinΨを 式 sinΨ=±[(y1 −y2 )(y2 −y3 )(y3 −y1 )/{(x2 2 −x1 2 )(y3 −y1 )−(x3 2 −x1 2 )(y2 −y1 )}]1/2 により算出する。
【0072】S11 回転軸算出部52(Ψ算出処理部
B(66))において,hcosΨを式 hcosΨ={(xi 2 −x1 2 )sin2 Ψ+(yi 2 −y1 2 )}/{2 (yi −y1 )}(i=2もしくは3) により算出する。
【0073】S12 回転軸算出部52(Ψ算出処理部
B(66))において,cosΨの符号を下記により決
定する。 sin2 Ψ=1のとき、cosΨ=0。
【0074】 hcosΨ≠0のとき,cosΨの符
号をhcosΨの符号として決定する。 sin2 Ψ≠1かつhcosΨ=0のとき,cos
Ψの符号は定まらないとする(h=0とΨとΨ+πを返
す)。
【0075】S13 回転軸算出部52(Ψ算出処理部
B(66))は,sinΨの算出値とcosΨの符号値
により,Ψの値を求める。S12において,の場合に
は,ΨとΨ+πを解とする。 〔Ψ算出処理部Aの処理〕S4において,Y座標が同じ
特徴点1のX座標の絶対値が異なる場合,S6におい
て,Y座標が同じ特徴点1のX座標の絶対値が等しくな
い場合の回転軸算出部52の処理(Ψ算出処理部A(6
6))の処理)(図10)がなされる。 S14 回転
軸算出部52(Ψ算出処理部A(66))は,Y座標が
負でないなら,角度Ψは0度とし,Y座標が負ならば,
角度Ψは180度とする。 〔認識不可能処理〕S4において,Y座標が同じ特徴点
1のX座標の絶対値が等しくなければ,S5において認
識不可能処理を行う(図10)。
【0076】S15 回転軸算出部52は,特徴点位置
復元部54に,回転軸が認識不可能という情報を格納す
る。 S16 特徴点位置復元部54は,回転軸格納部45に
認識不可能という情報を格納する。
【0077】なお,上記S10において,sinΨ=±
[(y1 −y2 )(y2 −y3 )×(y3 −y1 )/
{(x1 2 (y2 −y3 )+x2 2 (y3 −y1 )+x
3 2×(y1 −y2 )}]1/2 においてsinΨを算出
してもよい。
【0078】また,S11において,式 hcosΨ={(x2 2 −x1 2 )(y3 2 −y1 2 )−(x3 2 −x1 2 ) ×(y2 2 −y1 2 )}/2{(x2 2 −x1 2 )(y3 −y1 )−(x3 2 −x1 2 )×(y2 −y1 )}, もしくは式 hcosΨ={x1 2 (y2 2 −y3 2 )+x2 2 (y3 2 −y1 2 ) +x3 2 (y1 2 −y2 2 )}/2{x1 2 (y2 −y3 )+x2 2 (y3 −y1 )+x3 2 (y1 −y2 )} によりhcosΨを算出してもよい。 〔実施例(2) 〕3時点のY座標が全て異なる時のsin
Ψの算出方法は次の方法でもよい。
【0079】Y座標が一定でないから,Ψ≠nπ(n:
整数)である。3時点の正射影(x i ,yi ,zi
(i=1,2,3)に対して xi 2 +(yi −hcosΨ)2 /sin2 Ψ=d2 ・・・・・・・(5) c=hcosΨと置くと, xi 2 +(yi −c)2 /sin2 Ψ=d2 ・・・・・・・・・・・(6) dを消去すると,i=2,3に対して, xi 2 +(yi 2 −c)2 /sinΨ2 =x1 2 +(yi 2 −c)2 /sin2 Ψ, 従って,{−2(yi −y1 )c+(yi 2 −y1 2 )}/sin2 Ψ =−(xi 2 −x1 2 ), 従って,(xi 2 −x1 2 )sin2 Ψ =2(yi −y1 )c−(yi 2 −y1 2 ) ・・・・・・・・・・・(10) Y座標は3時点で全て異なるから,|xk |≠|x1
となるk(=2,3)がある。このkに対して, sinΨ=±[{2(yk −y1 )c−(yk 2 −y1 2 )}/(xk 2 −x1 2 )]1/2 ・・・・・・・・・・・・・・・・・・・・・・・・(11) 式(10)にx2 ,x3 を代入し,sinΨを消去すると, (x2 2 −x1 2 ){−2(y3 −y1 )c+(y3 2 −y1 2 )} =(x3 2 −x1 2 ){−2(y2 −y1 )c+(y2 2 −y1 2 )}, 2{(x2 2 −x1 2 )(y3 −y1 )−(x3 2 −x1 2 )(y2 −y1 )} ×c =(x2 2 −x1 2 )(y3 2 −y1 2 )−(x3 2 −x1 2 )(y2 2 −y1 2 ) ・・・・・・・・・・・・・・・・・・・・・・・・・・(12) 2{(x1 2 (y2 −y3 )+(x2 2 (y3 −y1 )+x3 2 (y1 −y2 )}c = x1 2 (y3 2 −y3 2 )+x2 2 (y3 2 −y1 2 )+x3 2 (y1 2 −y2 2 )} ・・・・・・・・・・・・・・・・・・・・・・・・・(13) cの係数は0でないから(この点については後述す
る), c={(x2 2 −x1 2 )(y3 2 −y1 2 )−(x3 2 −x1 2 )(y2 2 −y1 2 )}/2{(x2 2 −x1 2 )(y3 −y1 )−(x3 2 −x1 2 )( y2 −y1 )}・・・・・・・・・・・・・・・・・・・・・・・・・(14) c=hcosΨだから,定理1の場合と同様の考察によ
り,cosΨの符号を判定することができる。
【0080】c≠0のとき,cosΨの符号が決定でき
る。(11)から正射影面に鏡映なlつの解Ψが求まる。式
(12)でcの係数が0でないことを示す。式(5) を変形し
た xi 2 =d2 −(yi−c)2 /sin2 Ψを用いる
と, xi 2 −x1 2 =−{(yi 2 −c)2 −(y1 −c)2 }/sin2 Ψ =−(yi −y1 )(yi +y1 −2c)/sin2 Ψ だから, (x2 2 −x1 2 )(y3 −y1 )−(x3 2 −x1 2 )(y2 −y1 ) =−(1/sin2 Ψ){(y2 −y1 )(y2 +y1 −2c)(y3 −y1 ) −(y3 −y1 )(y3 +y1 −2c)(y2 −y1 )} =(1/sin2 Ψ)(y1 −y2 )(y2 −y3 )(y3 −y1 ) ≠0 である。
【0081】以上を定理2としてまとめると,3時点の
Y座標が全て異なる場合,下記により傾きΨが求まる。
|xk |≠|x1 |となるk(=2,3)があり,この
kに対して, sinΨ=±[{2(yk −y1 )c−(yk 2 −y1 2 )}/(xk 2 − x1 2 1/2 cの値は次式で定まる。
【0082】 c=hcosΨ ={(x2 2 −x1 2 )(y3 2 −y1 2 )−(x3 2 −x1 2 )(y2 2 −y1 2 )}/2{(x2 2 −x1 2 )(y3 −y1 )−(x3 2 −x1 2 )( y2 −y1 )} cosΨの符号は,次の通りである。
【0083】 sin2 Ψ=1のとき,cosΨ=
0。 c≠0のとき,cosΨの符号はcに等しい。 sin2 Ψ≠1かつc=0のとき,cosΨの符号
は2通りに定まる。
【0084】定理2に基づき,「特徴点1のY座標が全
て異なる場合の回転軸算出部の処理」(Ψ算出処理部
B)の各ステップの演算式を設定することにより,Ψを
求めることができる。
【0085】図11は,本実施例の「特徴点1のY座標
が全て異なる場合の回転軸算出部の処理」(Ψ算出処理
部B)のフローである。 S10’ 回転軸算出部52において,c=hcosΨ
に対して,cを式 c={(x2 2 −x1 2 )(y3 2 −y1 2 )−(x3 2 −x1 2 )(y2 2 −y1 2 )}/2{(x2 2 −x1 2 )(y3 −y1 )−(x3 2 −x1 2 )( y2 −y1 )}・・・・・・・・・・・・・・・・・(14) により算出する。
【0086】S11’ 回転軸算出部52において,|
k |≠|x1 |となるk(=2,3)に対して,式 sinΨ=±[{2(yk −y1 )c−(yk 2 −y1 2 )}/(xk 2 −x1 2 )]1/2 により算出する。
【0087】S12’ cosΨの符号を下記により決
定する。 sin2 Ψ=1のとき,cosΨ=0。 c≠0のとき,cosΨの符号はcに等しい。
【0088】 sin2 Ψ≠1かつc=0のとき,c
osΨの符号は定まらない。S13’ 回転軸算出部5
2は,sinΨの算出値とcosΨの符号値により,Ψ
の値を定める(S12’において,cosΨの符号が
定まらないときは,(ΨとΨ+πの2通りに決定す
る)。
【0089】なお,S10’において,式(14)を書き直
して, c={x1 2 (y2 2 −y3 2 )+x2 2 (y3 2 −y1 2 )+x3 2 ×(y1 2 −y3 2 )/2{x1 2 (y2 −y3 )+x2 2 (y3 −y1 ) +x3 2 (y1 −y2 )}・・・・・・・・・・・・・・・・・・・・(15) としても良い。
【0090】図示のフローには,式(14)の場合のみを示
す。 〔実施例(3) 〕sinΨの2つの値から,Ψを求める場
合,鏡映反転となる2つの解がある(式(9) ’,式(11)
における±の2つの解)。これは,例えば,対象物を斜
め上の方向から,見下ろしている場合と,斜め下から見
上げている場合等にそれぞれ対応する。従って,画像入
力部と対象物の位置関係に応じて,あらかじめ,いづれ
を選択するかを既知情報として入力すれば,解を1通り
に定めることができる。
【0091】この処理は,回転軸算出部52および,特
徴点位置復元部54のいずれか,あるいは双方において
行うことが可能である。図12に,特徴点位置復元部の
処理として行う場合の特徴点位置復元部の処理のフロー
を示す。
【0092】S”1 回転軸算出部52の算出結果から
既知情報入力部50に入力された対象物の既知情報を満
たす解を選ぶ。 S”2 既知情報を満たす解があれば,選んだ解を特徴
点位置正規化部51に格納されている特徴点0の画面上
での座標を合わせて回転軸格納部45に格納する。
【0093】S”1において,既知情報を満たす解がな
ければ,認識不可能処理を行う。
【0094】
【発明の効果】本発明によれば,対象物を斜め方向から
観測する場合にも,回転軸の傾きを自動的に算出できる
ので,1個の画像入力部の撮像面上の2次元の観測値に
より対象物の動きと形状を認識することができる。
【0095】また,画像入力部および特徴点抽出部の数
を,従来の移動物体認識装置に比較して半減させること
ができるので,装置全体を小型化することができる。2
台の画像入力部で捉えた対象物の特徴点の対応づけの処
理が不要であるため,処理を高速化することができる。
【図面の簡単な説明】
【図1】本発明の基本構成を示す図である。
【図2】本発明の画像入力の概念図である。
【図3】本発明のΨ算出方法の原理説明図(1) である。
【図4】本発明のΨ算出方法の原理説明図(2) である。
【図5】本発明の移動物体認識装置の構成を示す図であ
る。
【図6】本発明の回転軸認識部の構成を示す図である。
【図7】本発明の回転軸算出部の構成を示す図である。
【図8】実施例(1) のフロー(1) を示す図である。
【図9】実施例(1) のフロー(2) を示す図である。
【図10】実施例(1) のフロー(3) を示す図である。
【図11】実施例(2) のフローを示す図である。
【図12】特徴点位置復元部のフローを示す図である。
【図13】従来の移動物体認識装置を示す図である。
【図14】従来の移動物体認識装置における移動物体認
識部の構成を示す図である。
【符号の説明】
1 :画像入力部 2 :特徴点抽出部 3 :特徴点格納部 4 :回転軸認識手段 5 :既知情報入力部 6 :特徴点位置正規化部 7 :回転軸算出部 8 :Y座標判定部 9 :Ψ算出処理部A 10:Ψ算出処理部B 11:認識不可能処理部 12:回転軸格納部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 太田 善之 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (56)参考文献 特開 平3−535(JP,A) 特開 平1−133183(JP,A) (58)調査した分野(Int.Cl.7,DB名) G06T 1/00 G06T 7/00 - 7/60 G01C 3/06 - 3/08

Claims (8)

    (57)【特許請求の範囲】
  1. 【請求項1】 対象物を正射影する撮像面上の画像に基
    づいて,移動する対象物の形状と動きを認識する移動物
    体認識装置において,対象物は平面上を移動するもので
    あり,画像入力部(1) と,画像の特徴点を抽出する特徴
    点抽出部(2) と,画像入力部(1) の撮像面をXY平面と
    して対象物の回転軸の正射影方向をY軸,XY平面に垂
    直な方向にZ軸を定めたとき特徴点の回転軸とY軸との
    なす角度Ψを特徴点の正射影の座標値にもとづいて求め
    る回転軸認識手段(4) を備えたことを特徴とする移動物
    体認識装置。
  2. 【請求項2】 請求項1において,2特徴点の2時点の
    画像において,2特徴点のうちの一方を特徴点0,他方
    の特徴点を1として特徴点1の特徴点0に対する相対座
    標を(xi ,yi ,zi )(i=1,2)としたとき,
    回転軸認識手段(4) は,特徴点1の2時点におけるY座
    標が異なるか,あるいは2時点のx座標の絶対値と同じ
    であるとき,角度Ψを認識不能とし,特徴点1の2時点
    のY座標が同じでx座標の絶対値が異なるとき,Y座標
    が負でないなら角度Ψを0度と判定し,Y座標が負なら
    ば角度Ψを180度と判定することを特徴とする移動物
    体認識装置。
  3. 【請求項3】 請求項1において,2特徴点の3時点の
    画像において,2特徴点のうちの一方を特徴点0,他方
    を特徴点1として,特徴点1の特徴点0に対する相対座
    標を(xi ,yi ,zi )(i=1,2,3),2特徴
    点間の距離の回転軸方向の成分をhとしたとき,回転軸
    認識手段(4) は,少なくとも2時点における特徴点1の
    Y座標が同じでx座標の絶対値が同じであるとき,角度
    Ψを認識不能とし,特徴点1のY座標が同じでx座標の
    絶対値が異なる2時点があるとき,Y座標が負でないな
    ら角度Ψを0度とし,Y座標が負ならΨ=180度と判
    定し,3時点における特徴点1のy座標が全て異なると
    き,上記角度Ψに対するsinΨとcosΨを特徴点の
    正射影の座標値に基づいて算出し,sinΨの値とco
    sΨの符号により上記角度Ψを決定することを特徴とす
    る移動物体認識装置。
  4. 【請求項4】 請求項3において,式 sinΨ=±[(y1 −y2 )(y2 −y3 )(y3 −y1 )/{(x2 2 − x1 2 )(y3 −y1 )−(x3 2 −x1 2 )(y2 −y1 )}]1/2 , もしくは,式 sinΨ=±[(y1 −y2 )(y2 −y3 )(y3 −y1 )/{(x1 2 ( y2 −y3 )+x2 2 (y3 −y1 )+x3 2 (y1 −y2 )}]1/2 式 hcosΨ={(xi 2 −x1 2 )sin2 Ψ+(yi 2 −y1 2 )}/{2 (yi −y1 )}(i=2,3) によりsinΨの符号値およびcosΨの値を算出する
    ことを特徴とする移動物体認識装置。
  5. 【請求項5】 請求項3において,式 sinΨ=±[(y1 −y2 )(y2 −y3 )(y3 −y1 )/{(x2 2 − x1 2 )(y3 −y1 )−(x3 2 −x1 2 )(y2 −y1 )}]1/2 , もしくは,式 sinΨ=±[(y1 −y2 )(y2 −y3 )(y3 −y1 )/{(x1 2 ( y2 −y3 )+x2 2 (y3 −y1 )+x3 2 (y1 −y2 )}]1/2 式 hcosΨ={(x2 2 −x1 2 )(y3 2 −y1 2 )−(x3 2 −x1 2 ) (y2 2 −y1 2 )/2{(x2 2 −x1 2 )(y3 −y1 )−(x3 2 −x1 2 ) ×(y2 −y1 )} もしくは,式 hcosΨ={x1 2 (y2 2 −y3 2 )+x2 2 (y3 2 −y1 2 )+x3 2 ×(y1 2 −y2 2 )}/2{x1 2 (y2 −y3 )+x2 2 (y3 −y1 ) +x3 2 (y1 −y2 )} によりsinΨの値およびcosΨの符号を算出するこ
    とを特徴とする移動物体認識装置。
  6. 【請求項6】 請求項3において,|xk |≠|x1
    となるk(=2,3)に対して,式 hcosΨ={(x2 2 −x1 2 )(y3 2 −y1 2 )−(x3 2 −x1 2 ) (y2 2 −y1 2 )}/2{(x2 2 −x1 2 )(y3 −y1 )−(x3 2 −x 1 2 )×(y2 −y1 )}, もしくは式 hcosΨ={x1 2 (y2 2 −y3 2 )+x2 2 (y3 2 −y1 2 )+x3 2 (y1 2 −y2 2 )}/2{x1 2 (y2 −y3 )+x2 2 (y3 −y1 )+ x3 2 ×(y1 −y2 )} および式, sinΨ=±[{2(yk −y1 )hcosΨ−(yk 2 −y1 2 )}/(xk 2 −x1 2 ) }]1/2 によりsinΨの符号,cosΨの符号を算出すること
    を特徴とする移動物体認識装置。
  7. 【請求項7】 請求項4〜請求項6において, sin2 Ψ=1のとき,cosΨ=0とし, hcosΨ≠0のとき,hcosΨの符号をcos
    Ψの符号とし, sin2 Ψ≠1かつhcosΨ=0のとき,cos
    Ψの符号は決まらないとし,のときΨとΨ+πを解と
    することを特徴とする移動物体認識装置。
  8. 【請求項8】 請求項1〜請求項7において,回転軸の
    算出結果と,既知情報入力部に入力された物体の既知情
    報との照合を行い,矛盾しない対象物の算出結果のみを
    出力する移動物体認識装置。
JP04844992A 1992-03-04 1992-03-05 移動物体認識装置 Expired - Fee Related JP3163149B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP04844992A JP3163149B2 (ja) 1992-03-05 1992-03-05 移動物体認識装置
US08/026,685 US5414474A (en) 1992-03-04 1993-03-04 Moving body recognition apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP04844992A JP3163149B2 (ja) 1992-03-05 1992-03-05 移動物体認識装置

Publications (2)

Publication Number Publication Date
JPH05250460A JPH05250460A (ja) 1993-09-28
JP3163149B2 true JP3163149B2 (ja) 2001-05-08

Family

ID=12803660

Family Applications (1)

Application Number Title Priority Date Filing Date
JP04844992A Expired - Fee Related JP3163149B2 (ja) 1992-03-04 1992-03-05 移動物体認識装置

Country Status (1)

Country Link
JP (1) JP3163149B2 (ja)

Also Published As

Publication number Publication date
JPH05250460A (ja) 1993-09-28

Similar Documents

Publication Publication Date Title
CN107577988B (zh) 实现侧方车辆定位的方法、装置及存储介质、程序产品
KR100738522B1 (ko) 비디오 감시 시스템에서 카메라/물체 움직임 구분 및 객체추출 장치 및 그 방법
JP2000293670A (ja) ビデオ画像の道路標識自動認識方法及び道路標識自動認識装置並びに道路標識自動認識のプログラムを記憶した記憶媒体
JP2006071471A (ja) 移動体高さ判別装置
Wang et al. A LINE-MOD-based markerless tracking approachfor AR applications
US20080187182A1 (en) Verification apparatus, verification method and program
KR100562632B1 (ko) 보급형 장치를 위한 수기 인식 시스템 및 수기 인식의동적 수행 방법
Mundy et al. The evolution and testing of a model-based object recognition system
Collins et al. Site model acquisition and extension from aerial images
JP3163149B2 (ja) 移動物体認識装置
Yang Estimation of vehicle's lateral position via the Lucas-Kanade optical flow method
JP2011065434A (ja) 画像認識システム、方法、及び、プログラム
JP3074214B2 (ja) 移動物体認識装置
Nguyen et al. Optical flow-based moving-static separation in driving assistance systems
JP3465531B2 (ja) 物体認識方法およびその装置
JPH1055446A (ja) 物体認識装置
JP3203034B2 (ja) 移動物体認識装置
CN113011212B (zh) 图像识别方法、装置及车辆
JPH1049662A (ja) 車輌判別装置
Jain et al. Autocamera calibration for traffic surveillance cameras with wide angle lenses
TWM630060U (zh) 真實空間虛擬化之擴增實境互動模組
CN113240672A (zh) 镜头污染物的检测方法、装置、设备及存储介质
JP2949787B2 (ja) 指紋画像回転量検出装置
JP2004020398A (ja) 空間情報獲得方法、空間情報獲得装置、空間情報獲得プログラム、及びそれを記録した記録媒体
JP2003208692A (ja) 車両認識方法およびこの方法を用いた交通流計測装置

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20010206

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080223

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090223

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090223

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100223

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees