JP2681941B2

JP2681941B2 - 画像処理装置

Info

Publication number: JP2681941B2
Application number: JP62230579A
Authority: JP
Inventors: 敏郎渡辺; 章男大場
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1987-09-14
Filing date: 1987-09-14
Publication date: 1997-11-26
Anticipated expiration: 2012-11-26
Also published as: JPS6473474A

Description

【発明の詳細な説明】以下の順序で本発明を説明する。Ａ産業上の利用分野Ｂ発明の概要Ｃ従来の技術Ｄ発明が解決しようとする問題点Ｅ問題点を解決するための手段（第１図、第２図、第５
図、第７図）Ｆ作用（第１図、第２図、第５図、第７図）Ｇ実施例（G1）撮像部の構成（第１図〜第５図）（G2）画像データ処理装置の構成（第１図、第５図、第
６図）（G3）特徴量検出回路の構成（第１図、第６図〜第13
図）（G4）対応点検出回路の構成（第１図、第14図〜第19
図）（G5）深度地図作成回路の構成（第１図、第20図〜第30
図）（G6）動画像解析認識装置の構成（第１図及び第31図）（G7）実施例の動作（第１図〜第31図）（G8）実施例の効果（G9）他の実施例Ｈ発明の効果Ａ産業上の利用分野本発明は画像処理装置に関し、例えば被測定対象の外
形形状を認識する形状認識装置等に適用して好適なもの
である。Ｂ発明の概要本発明は、画像処理装置において、立体視した撮像画
像の微小領域について、輝度レベルの変化方向を検出
し、その検出結果に基づいて各微小領域の深度情報を得
ることにより、自然動画像においても確実に深度情報を
得ることができる。Ｃ従来の技術従来、この種の形状認識装置においては、被測定対象
を立体視することにより、撮像装置を介して得られる撮
像画像の微小領域について、それぞれ撮像装置までの深
度情報を得、当該深度情報に基づいて被測定対象の外形
形状を認識するようになされたものが提案されている
（特開昭60−199291号公報、特開昭60−199292号公報、
特開昭60−199293号公報）。すなわち複数の撮像装置を用いて被測定対象を立体視
すれば、各撮像装置間において視差が生じ、当該視差の
大きさが撮像装置から被測定対象までの深度に応じて変
化する。従つて視差の大きさを検出するようにすれば、撮像装
置から被測定対象までの深度情報を得ることができる。さらに被測定対象に代えて撮像装置から得られる撮像
画像の各微小領域について視差の大きさを検出するよう
にすれば、各微小領域について深度情報を得ることがで
きる。従つて撮像装置から得られる画像情報について、当該
深度情報に基づいて被測定対象の画像情報か、背景の画
像情報かを判別し得、これにより被測定対象の画像情報
を抽出して外形形状を認識することができる。従つてこの手法によれば、動画部分を抽出して被測定
対象の外形形状を認識する場合に比して、被測定対象が
静止物体の場合でも適用することができると共に被測定
対象の一部分だけが動いた場合、撮像装置全体が移動し
た場合、照明が変化した場合等においても被測定対象の
外形形状を認識することができる。さらに撮像装置から
被測定対象までの深度が変化するような場合でも、当該
深度情報に基づいて、被測定対象の実際の大きさを認識
することができる。このため、この種の形状認識装置においては、画像処
理装置を用いて深度情報を得るにつき、複数の撮像装置
から得られる画像情報に基づいて、例えば輪郭部分を抽
出して当該撮像装置の撮像画像間で対応する点（すなわ
ち、被測定対象又は背景の同一微小領域を撮像してなる
点でなり、以下対応点と呼ぶ）を得た後、当該対応点相
互のずれ量（すなわち視差の大きさでなる）に基づいて
撮像画像上の微小領域の深度情報を得るようになされて
いる。Ｄ発明が解決しようとする問題点ところが、この種の画像処理装置においては、例えば
通りを通行する人や自動車のような自然物体を被測定対
象として深度情報を得る場合においては、未だ不十分な
問題であつた。すなわちこのような自然物体を撮像して得られる撮像
画像（以下自然動画像と呼ぶ）においては、被測定対象
の輝度レベルが全体として滑らかに変化することから、
輪郭を抽出することが困難な場合が生じ、実用上撮像装
置を介して得られた自然動画像から対応点を抽出するこ
とが困難な問題があつた。従つて、この場合、正しい深度情報を得ることが実用
上困難になり、形状認識装置においては、正確に外形形
状を認識することが困難な問題があつた。本発明は以上の点を考慮してなされたもので、自然動
画像でも確実に深度情報を得ることができる画像処理装
置を提案しようとするものである。Ｅ問題点を解決するための手段かかる問題点を解決するため本発明においては、光軸
L_R、L_C、L_Lが同一平面上で、互いに平行になるように配
置された複数の撮像装置31R、31C、31Lと、撮像装置31
R、31C、31Lから得られる撮像画像M_R1、M_C1、M_L1を細分
割してなる各微小領域Ｓについて、輝度レベルが最も大
きく変化する方向を各微小領域Ｓの特徴を表す特徴量D
_FR、D_FC、D_FLとして検出する特徴量検出手段PRE_R、PR
E_C、PRE_L、43R、43C、43Lと、各撮像画像M_R1、M_C1、M_L1
間において、複数の撮像装置31R、31C、31Lの配置方向
ｘの各微小領域Ｓを位置をずらしながら比較処理するこ
とにより、複数の撮像装置31R、31C、31Lの配置方向ｘ
に同一の特徴量D_FR、D_FC、D_FLを有する微小領域Ｓを検
出して、同一の特徴量D_FR、D_FC、D_FLを有する微小領域
Ｓ間の視差データD_F0〜D_F5を生成し、当該視差データD
_F0〜D_F5に基づいて、撮像画像M_R1、M_C1、M_L1の各微小領
域Ｓについて、撮像装置31R、31C、31Lまでの深度情報D
_F(n)を生成する対応点検出及び深度情報生成手段47、60
とを画像処理装置に設けるようにした。Ｆ作用各撮像画像M_R1、M_C1、M_L1の各微小領域Ｓについて、
輝度レベルが最も大きく変化する方向を特徴量D_FR、
D_FC、D_FLとして検出し、当該検出結果に基づいて各撮像
画像M_R1、M_C1、M_L1間における対応点を検出すると共に
その視差データD_F0〜D_F5を得るようにしたことにより、
被測定対象が自然物体の場合でも確実に深度情報D_F(n)
を得ることができる。Ｇ実施例以下図面について、本発明の一実施例を詳述する。第１図のおいて、１は全体として形状認識装置を示
し、歩行人物でなる自然物体を被測定対象にして、その
外形形状を認識し得るようになされている。すなわち、画像処理装置２において撮像部３で撮像し
た自然動画像の画像データD_AR、D_AC及びD_ALを画像デー
タ処理装置４に受け、当該自然動画像を微小領域に分割
してそれぞれ深度情報を得る。さらに当該深度情報に基づいて画像データ処理装置４
から各微小領域の深度を表してなる自然動画像に対応す
る深度地図を得、動画像解析認識装置５において当該深
度地図に基づいて被測定対象の外形形状を認識し得るよ
うになされている。（G1）撮像部の構成第２図に示すように、撮像部３は、光軸L_R、L_C及びL_L
が同一平面上で互いに平行になり、かつ水平方向ｘに等
間隔に配置された３台の撮像装置31R、31C及び31Lで被
測定対象を立体視するようになされている。すなわち基台３の中央位置には、副基台33Cが固定さ
れ、当該副基台33C上に傾き補正機構34Cを介して撮像装
置31Cが保持されるようになされている。傾き補正機構34Cは、撮像装置31Cの光軸L_Cを回動中心
として回動し得るようになされ、当該傾き補正機構34C
を操作することにより、撮像装置31Cの光軸L_Cを中心と
する水平方向ｘの傾きを補正し得るようになされてい
る。これに対して副基台33Cの両側に等距離だけ離れた位
置には、それぞれ撮像装置31R及び31Lの撮像面の垂直軸
を回動中心として回動し得るようになされた副基台33R
及び33Lが取り付けられ、当該副基台33R及び33L上に
は、それぞれ撮像装置31R及び31Lの撮像面の水平軸を回
動中心として回動し得るようになされた仰角補正機構35
R及び35Lが取り付けられている。さらに仰角補正機構35R及び35L上には、撮像装置31R
及び31Lの光軸L_R及びL_Lを回動中心として回動し得るよ
うになされた傾き補正機構34R及び34Lを介して撮像装置
31R及び31Lが撮像装置31Cの高さ位置と同じ高さ位置に
なるように保持されている。従つてそれぞれ副基台33R及び33Lと仰角補正機構35R
及び35Lとを調整することにより、撮像装置31R及び31L
の光軸L_R及びL_Cが撮像装置31Cの光軸L_Cと同一平面上に
平行に位置するように調整し得、さらに傾き補正機構34
R及び34Lを操作することにより、撮像装置31Cに対して
撮像面の水平軸の傾きを補正することができる。さらに撮像装置31R、31C及び31Lにおいては、ラスタ
走査の位置を調整して当該撮像画像を水平走査方向及び
垂直走査方向に微小範囲だけ可変調整し得るようになさ
れている。第３図に示すように、このように撮像装置31R、31C及
び31Lを配置すると、各撮像装置31R、31C及び31Lの絞り
E_R、E_C及びE_Lから被測定対象Ｐ及び撮像面M_R、M_C及びM_L
までの深度及び距離をそれぞれ値Ｆ及びｆとおき、中央
に設置した撮像装置31Cの光軸L_Cから被測定対象Ｐまで
の水平距離を値Ｄとおくと、撮像装置31Cの撮像面M_Cに
おいて、次式 D/F＝d_C/f ……（１）の関係式で表される値d_cだけ撮像面M_Cの中心O_Cから水平
走査方向ｘに移動した水平位置に被測定対象Ｐの像P_Cを
得ることができる。これに対して撮像装置31R及び31Cと、31C及び31L間の
距離を値W_R及びW_Lとおくと、それぞれ撮像装置31R及び3
1Lの撮像面M_R及びM_Lにおいて、次式（Ｄ−W_R）/F＝d_R/f ……（２）（Ｄ＋W_L）/F＝d_L/f ……（３）の関係式で表される値d_R及びd_Lだけ撮像面M_R及びM_Lの中
心O_R及びO_Lから、水平走査方向ｘに移動した水平位置に
被測定対象Ｐの像P_R及びP_Lを得ることができる。従つて（１）式及び（２）式を変形して次式 d_R−d_C＝-W_R・f/F ……（４）の関係式が得られると共に、（１）式及び（３）式を変
形して、次式 d_L−d_C＝W_L・f/F ……（５）の関係式を得ることができる。従つて被測定対象Ｐの深度Ｆが変化すると、当該深度
Ｆに反比例して中央に設置した撮像装置31Cに対する両
側の撮像装置31R及び31Lの視差の大きさ（すなわち
（４）式及び（５）式においてd_R−d_C及びd_L−d_Cで表さ
れる値）が変化し、当該視差の大きさを検出することに
より、被測定対象Ｐまでの深度Ｆを検出することができ
る。ところが実際上撮像画像を微小領域に分割して各微小
領域の深度情報を得る場合においては、誤りの発生を避
け得ない。この実施例においては、３台の撮像装置31R、31C及び
31Lを用いて被測定対象Ｐを撮像することにより、撮像
装置31R及び31Cと、撮像装置31C及び31Lとの間でそれぞ
れ視差の大きさを検出することができ、その分深度情報
における誤りの発生を未然に防止することができる。従つて第４図及び第５図に示すように、撮像部３で例
えばほぼ無限遠に近い深度F_Gの位置に配置された平板を
背景Ｇとして中央の撮像装置31Cの光軸L_C上で深度F₂の
位置に配置された球状の被測定対象P₂を撮像する場合に
おいては、撮像画像M_R1、M_C1及びM_L1において、背景Ｇ
がほぼ無限遠に近い位置にあることから背景Ｇの中心G₀
と各撮像画像M_R1、M_C1及びM_L1の画像中心O_R1、O_C1及びO
_L1とが一致した視差のない画像を得ることができる。これに対して被測定対象P₂は、深度F₂が浅く、その中
心P₂₀が中央の撮像装置31Cの光軸L_C上にあることから、
当該中央の撮像装置31Cの撮像画像M_C1においては、画像
中心O_C1と被測定対象P₂の中心P₂₀とが一致した画像が得
られ、これに対して左右の撮像装置31L及び31Rからは、
深度F₂に対応して深度d_L2及びd_R2だけ撮像画像M_L1及びM
_R1の画像中心O_L1及びO_R1から被測定対象P₂の中心P₂₀の
位置がずれた（すなわち値d_L2及びd_R2の大きさの視差の
生じた）画像が得られる。さらに、この実施例においては、撮像装置31R、31C及
び31Lを等間隔で配置したことから、距離W_R及びW_Lにつ
いて、次式 W_L＝W_R ……（６）の関係式を得ることができ、（４）式、（５）式及び
（６）式に基づいて、次式 d_L−d_C＝d_C−d_R ……（７）の関係式を得ることができる。従つて撮像装置31R及び31Cと撮像装置31C及び31L間に
おいて値の等しい視差を得ることができ、撮像装置31
R、31C及び31Lから得られる撮像画像M_R1、M_C1及びM_L1を
画像処理するに際し、中央の撮像装置31Cから得られる
撮像画像M_C1に対してその両側に配置した撮像装置31R及
び31Lから得られる撮像画像M_R1及びM_L1を同じように画
像処理することができる。従つてその分画像処理装置２（第１図）全体の構成を
簡略化することができる。すなわち第５図においては、中央の撮像装置31Cから
得られる撮像画像M_C1に対して、左右の撮像装置31L及び
31Rから得られる撮像画像M_L1及びM_R1において生じる視
差の大きさd_L2及びd_R2が等しい値になり、中央の撮像画
像M_C1に対して左右の撮像画像M_L1及びM_R1を同じように
画像処理すれば良いことが分かる。さらに撮像装置31R、31C及び31Lにおいては、光軸
L_R、L_C及びL_Lに対する水平方向の傾きと、撮像装置31C
の光軸L_Cに対する撮像装置31R及び31Lの光軸L_R及びL_Lの
平行ずれを、それぞれ光軸L_R、L_C及びL_Lと撮像面の水平
軸及び垂直軸を基準にして機械的に独立して調整するこ
とができ、その分当該撮像部３の光学系の調整作業を簡
略化することができる。さらに、撮像画像の画像中心の調整作業を別途電気的
に調整するようにしたことにより、上述の撮像装置31
R、31C及び31Lの光軸L_R、L_C及びL_Lの機械的な調整作業
から独立して調整し得、かくして撮像部全体として簡易
な作業で調整することができる。（G2）画像データ処理装置の構成画像データ処理装置４（第１図）は、第６図に示すよ
うに３台の撮像装置31R、31C及び31L（第２図）から出
力された画像データD_AR、D_AC及びD_ALをそれぞれローパ
スフイルタ回路41R、41C及び41Lとサンプリング回路42
R、42C及び42Lで構成された前置回路PRE_R、PRE_C及びPRE
_Lに与える。ローパスフイルタ回路41R、41C及び41Lは、それぞれ
２次元のデイジタルフイルタ回路で構成され、画像デー
タD_AR、D_AC及びD_ALの中から、歩行人物の認識に実用上
十分な範囲で低い周波数成分を抽出する。これに対してサンプリング回路42R、42C及び42Lは、
ローパスフイルタ回路41R、41C及び41Lを介して撮像装
置31R、31C及び31Lの画素単位で得られる画像データを
垂直走査方向及び水平走査方向に所定ピツチでサンプリ
ングして出力する。その結果、サンプリング回路42R、42C及び42Lから出
力される画像データD_LR、D_LC及びD_LLのデータ量を画像
認識に実用上十分な範囲で格段的に低減することがで
き、その分続く画像データD_LR、D_LC及びD_LLのデータ処
理作業を簡略化することができる。従つて当該画像データ処理装置４の先頭段に、当該ロ
ーパスフイルタ回路41R、41C及び41Lとサンプリング回
路42R、42C及び42Lを設けたことにより、画像データ処
理装置４全体の構成を簡略化することができる。さらにサンプリング回路42R、42C及び42Lの直前にロ
ーパスフイルタ回路41R、41C及び41Lを設けるようにし
たことにより、サンプリング回路42R、42C及び42Lを介
してサンプリング周波数が低くなつた画像データD_LR、D
_LC及びD_LLに高い周波数の信号成分が残つたままになる
ことを未然に防止することができ、いわゆる折返しによ
るモワレの発生を有効に回避して続くデータ処理作業に
おける誤りの発生を未然に防止することができる。かくして、撮像画像M_R1、M_C1及びM_L1（第５図）を低
解像度化して、サンプリング回路42R、42C及び42Lのサ
ンプリング周波数のピツチで微小領域に細分割してなる
画像データD_LR、D_LC及びD_LLを得ることができる。（G3）特徴量検出回路の構成特徴量検出回路43R、43C及び43Lは、サンプリング回
路42R、42C及び42Lを介して得られる画像データD_LR、D
_LC及びD_LLに基づいて、撮像画像M_R1、M_C1及びM_L1の各微
小領域について輝度レベルの最も大きく変化する方向を
検出する。すなわち第７図に示すように、画像データD_LR、D_LC及
びD_LLから、それぞれサンプリング回路42R、42C及び42L
で細分割された微小領域について、水平走査方向及び垂
直走査方向に３つの微小領域S_n,m、S_n-1,m、S_n-2,m、S
_n,m-1、S_n-1,m-1、S_n-2,m-1、S_n,m-2、S_n-1,m-2、S
_n-2,m-2の画像データを順次抽出して、中央の微小領域S
_n-1,m-1から斜め４方向A1〜A4のうちどの方向へ最も輝
度レベルが急激に変化しているか（以下特徴量と呼ぶ）
を検出する。すなわち特徴量検出回路43R、43C及び43Lは、それぞ
れ画像データD_LR、D_LC及びD_LLを直列接続された1H遅延
回路44R及び45R44C及び45Cと44L及び45Lに与える。さらに特徴量検出回路43R、43C及び43Lは、それぞれ
ロビンソンフイルタ回路でなる種類の差分フイルタ回路
M_1R、M_2R、M_3R及びM_4R、M_1C、M_2C、M_3C及びM_4CとM_1L、M
_2L、M_3L及びM_4Lを備え、それぞれサンプリング回路42
R、42C及び42Lから出力される画像データD_LR(n)、D
_LC(n)及びD_LL(n)と、1H遅延回路44R及び45R、44C及び45
Cと44L及び45Lから出力される画像データD_LR(n-1)及びD
_LR(n-2)、D_LC(n-1)及びD_LC(n-2)とD_LL(n-1)及びD
_LL(n-2)を与えるようになされている。従つて、差分フイルタ回路M_1R〜M_4R、M_1C〜M_4C及びM
_1L〜M_4Lにおいては、それぞれサンプリング回路42R、42
C及び42Lから出力される画像データD_LR、D_LC及びD_LLの
うち撮像画像M_R1、M_C1及びM_L1の垂直走査方向に３ライ
ン分の画像データD_LR(n)〜D_LR(n-2)、D_LC(n)〜D_LC(n-2)
及びD_LL(n)〜D_LL(n-2)が並列入力され、当該画像データ
D_LR(n)〜D_LL(n-2)を水平走査方向に３つの微小領域分ず
つ取り込むことにより、矢印A1、A2、A3及びA4の各方向
について輝度レベルの変化の大きさを検出する。すなわち、差分フイルタ回路M_1R〜M_4R、M_1C〜M_4C及び
M_1L〜M_4Lは、第８図〜第11図に示すように、垂直走査方
向及び水平走査方向にそれぞれ３つの重み付け量を割り
当ててなる３×３のマトリツクス状の方向差分マスクM
_M1、M_M2、M_M3及びM_M4を有し、当該方向差分マスクM_M1〜
M_M4を用いて画像データD_LR(n)〜D_LL(n-2)を順次重み付
け処理することにより、方向差分マスクM_M1〜M_M4に対応
する４つの方向への輝度レベルの変化量を検出する。すなわち方向差分マスクM_M1においては、矢印A1で示
す方向の輝度レベルの変化量を得るようになされ、この
ため中央位置から矢印A1と直交する方向に値０の重み付
け量が割り当てられると共に矢印A1の方向に値−２から
値２までの重み付け量が割り当てられている。これに対して方向差分マスクM_M2においては、矢印A2
に示す方向の輝度レベルの変化量を得るようになされ、
矢印A2と直交する方向に値０、矢印A2の方向に値−２か
ら値２までの重み付け量が割り当てられている。これに対して方向差分マスクM_M3及びM_M4においては、
それぞれ矢印A3及びA4で示す方向の輝度レベルの変化量
が得られるようになされ、それぞれ方向差分マスクM_M1
及びM_M2と逆方向に値−２から値２までの重み付け量が
割り当てられている。差分フイルタ回路M_1R〜M_4Rは、それぞれ水平走査方向
及び垂直走査方向に３つの画像データを方向差分マスク
M_M1〜M_M4を用いて重み付けした後、さの加算値を方向差
分データとして出力する。従つて微小領域S_n-2,m-2〜S_n,mの輝度レベルが等しい
場合においては、４種類の方向差分データが等しい値に
なるのに対し、例えば、方向A1に徐々に輝度レベルが上
昇して行く場合は、当該方向A1に最も大きな値の重み付
け量を割り当ててなる方向差分マスクM_M1を用いて得ら
れる方向差分データが他の方向差分データに比して最も
大きな値となる。従つて各差分フイルタ回路M_1R〜M_4Lを介して得られる
方向差分データの値を比較するとにより、方向A1〜A4の
うちどの方向に最も輝度レベルが大きく変化しているか
を検出することができる。比較回路46R、46C及び46Lは、それぞれ差分フイルタ
回路M_1R〜M_4R、M_1C〜M_4C及びM_1L〜M_4Lから出力される方
向差分データを受け、その値を比較して最も大きな値が
得られた方向を微小領域S_n-2,m-2〜S_n,mのうちの中心の
微小領域S_n-1,m-1の特徴量を表す特徴量データD_FR、D_FC
及びD_FLとして出力する。さらにこのとき方向差分データにおいて、それぞれ量
も大きな値の方向差分データが得られない場合（例え
ば、微小領域S_n-2,m-2〜S_n,mの間で輝度レベルが等しい
場合や、矢印B1〜B4に示す方向に最も輝度レベルの変化
が大きい場合（第７図）は、当該微小領域S_n-1,m-1の特
徴量は無特徴として出力する。従つて第５図に対応して第12図に示すように背景Ｇは
平面でなることから、ほぼ全面で輝度レベルが等しくな
り、このような場合においては値０で表すような無特徴
の領域として背景Ｇの部分の特徴量が検出される。これ対して第13図に示すように、被測定対象P₂におい
て、撮像部３側から照明して（第４図）、被測定対象P₂
の中心P₂₀で最も輝度レベルが高くなり、周辺に行くに
従つて輝度レベルが低下するようになされている場合に
おいては、被測定対象P₂の中心P₂₀を通る水平軸及び垂
直軸を境にして、中心P₂₀に向かう方向にそれぞれ矢印A
1〜A4で示す方向に輝度レベルの最も大きく変化する領
域が得られる。従つて比較回路46R、46C及び46Lを介して得られる特
徴量を、矢印A1、A2、A3及びA4に対応してそれぞれ値
１、２、３及び４で表すと、無特徴量０の領域上に円形
形状を４分割してそれぞれ値１、２、３及び４の特徴量
が検出されてなる領域を得ることができる。この実施例においては、かかる値０〜４の特徴量値に
基づいて各微小領域の対応点を検出して深度情報を得る
ようになされている。実際上特徴量として、輝度レベルの変化が最も大きい
方向を矢印A1〜A4に加えて矢印B1〜B4の方向（第７図）
にも検出して対応点を得る方法も考えられるが、このよ
うにすると自然動画像においては対応点が誤検出される
おそれがあり、このためこの実施例においては、斜め方
向に４つ、それ以外の方向については無特徴として計５
つの特徴量を検出して微小領域の対応点を検出するよう
になされている。かくして、比較回路46R、46C及び46Lを介して、撮像
画像M_R1、M_C1及びM_L1を微小領域に分割した後、それぞ
れ無特徴を含めて５つの特徴量を割り当ててなる撮像画
像M_R1、M_C1及びM_L1に対応する３つの特徴量分布図M_FR、
M_FC及びM_FLを得ることができる。かくして、輝度レベルが最も大きく変化する方向を特
徴量といて用いて対応点を検出するようにすれば、輪郭
を抽出してこれを特徴点として用いる場合に比して格段
的に低い周波数の信号成分を処理すれば良く、その分画
像処理装置４の全体の構成を簡略化することができる。さらに輪郭抽出の困難な自然物体を被測定対象とする
場合でも確実に特徴量を検出することができるので、当
該特徴量に基づいて対応点を得るようにすれば、自然動
画像の場合でも確実に深度情報を得ることができる。さらに特徴量として輝度レベルを用いる方法も考えら
れるが、このような場合においてはそれぞれ撮像装置か
ら得られる画像データの全体の信号レベルのばらつきを
補正する必要があり、その分この実施例によれば全体と
して簡易な構成で特徴量を検出することができる。（G4）対応点検出回路の構成第14図に示すように、対応点検出回路47は、それぞれ
特徴量検出回路43R、43C及び43Lから出力される特徴量
データD_FR、D_FC及びD_FLを順次受け、これに基づいて対
応点を検出すると共に当該対応点の視差データを検出す
る。すなわち、３つの撮像装置31R、31C及び31Lを介して
得られる撮像画像M_R1、M_C1及びM_L1（第５図）において
は、撮像部３（第４図）からの深度F_Gがほぼ無限大の位
置に配置された背景Ｇの画像が同一位置に得られること
から、当該背景Ｇでなる視差の生じていない領域（以下
視差０の領域を呼ぶ）については３つの撮像装置31R、3
1C及び31Lから同じタイミングで画像データD_AR、D_AC及
びD_AL（第６図）を得ることができる。従つて中央の撮像装置31Cから得られた特徴量データD
_FCに対して、それぞれ同じタイミングで右及び左の撮像
装置31R及び31Lから得られた特徴量データD_FR及びD_FLを
比較するようにすれば、視差０の領域を検出することが
できる。これに対して、深度Ｆが小さな領域においては、その
分視差が大きくなることから、右及び左の撮像装置31R
及び31Lの撮像画像M_1R及びM_1L上においては、中央の撮
像装置31Cから得られる撮像画像M_C1上における当該深度
の小さな領域の表示位置に対して、視差分だけ左及び右
にずれた位置に当該深度の小さな領域が表示される。従つて当該深度の小さな領域においては、当該領域が
左及び右にずれて表示された分だけ中央の撮像装置31C
から得られた画像データD_ACに対してそれぞれ進み及び
遅れたタイミングで右及び左の撮像装置31R及び31Lから
画像データD_AR及びD_ALを得ることができる。従つて、同じタイミングで特徴量データD_FR、D_FC及び
D_FLを比較することにより、視差０の領域を検出するこ
とができるのに対し、それぞれ中央の撮像装置31Cから
得られる特徴量データD_FCに対して遅れ及び進んだタイ
ミングで右及び左の撮像装置31R及び31Lから得られる特
徴量データD_FR及びD_FLを比較するようにすれば、当該遅
れ及び進ませたタイミングに相当する視差の領域を検出
することができる。かかる測定原理に基づいて、対応点検出回路47は、３
つの撮像装置31R、31C及び31Lから得られる特徴量デー
タD_FR、D_FC及びD_FLをそれぞれ同じタイミングで比較す
ると共に中央の撮像装置31Cから得られる特徴量データD
_FCに対して所定量だけずらしたタイミングで右及び左の
撮像装置31R及び31Lから得られる特徴量データD_FR及びD
_FLを比較する。すなわち対応点検出回路47は、中央の撮像装置31Cか
ら得られる特徴量データD_FCを遅延時間が値ｄt₀の遅延
回路48Cを介して比較回路49R0、49R1、49R2、49R3、49R
4、49R5及び49L0、49L1、49L2、49L3、49L4、49L5に与
える。これに対して右側の撮像装置31Rから得られる特徴量
データD_FRをそれぞれ遅延回路48R0、48R1、48R2、48R
3、48R4及び48R5を介して比較回路49R0、49R1、49R2、4
9R3、49R4及び49R5に与えると共に左側の撮像装置31Lか
ら得られる特徴量データD_FLをそれぞれ遅延回路48L0、4
8L1、48L2、48L3、48L4及び48L5を介して比較回路49L
0、49L1、49L2、49L3、49L4及び49L5に与える。遅延回路48R0及び48L0の遅延時間は、遅延回路48Cと
同じ遅延時間ｄt₀に設定され、これに対して遅延回路48
R1は、当該遅延時間ｄt₀に対して、所定時間Δdtだけ遅
延時間ｄt₀＋Δdtが長くなるようになされている。さらに遅延回路48R2は、遅延回路48R0及び48R1の遅延
時間ｄt₀及びｄt₀＋Δdtの差Δdtの２倍の遅延時間２Δ
dtだけ遅延回路48R0よりも遅延時間ｄt₀＋２Δdtが長く
なるようになされ、続いて遅延回路48R3、48R4及び48R5
の順に遅延時間が値３Δdt、４Δdt及び54dtだけ長くな
るようになされている。これに対して左側の撮像装置31Lから得られる特徴量
データD_FLが入力される遅延回路48L1、48L2、48L3、48L
4及び48L5は、右側の撮像装置31Rから得られる特徴量デ
ータD_FRの遅延回路48R1、48R2、48R3、48R4及び48R5と
は逆に遅延回路48R0に対して遅延回路48R1、48R2、48R
3、48R4及び48R5の遅延時間ｄt₀＋Δdt、ｄt₀＋２Δd
t、ｄt₀＋３Δdt、ｄt₀＋４Δdt及びｄt₀＋５Δdtが延
びた分（（Δdt、２Δdt、３Δdt、４Δdt、５Δdt）、
遅延回路48L0の遅延時間ｄt₀に対して遅延時間ｄt₀−Δ
dt、ｄt₀−２Δdt、ｄt₀−３Δdt、ｄt₀−４Δdt及びｄ
t₀−５Δdtが順次短くなるようになされている。これに対して比較回路49R0〜49L5は、それぞれ遅延回
路48C、48R0〜48L5を介して入力される特徴量データ
D_FC、D_FR及びD_FLの特徴量が一致したとき、論理レベル
が論理「１」に立ち上がる視差データD_A0R、D_A1R、
D_A2R、D_A3R、D_A4R及びD_A5Rと、D_A0L、D_A1L、D_A2L、
D_A3L、D_A4L及びD_A5Lを出力する。その結果、遅延時間の等しい遅延回路48R0、48C及び4
8L0を介して、同じタイミングで３つの撮像装置31R、31
C及び31Lから得られた特徴量データD_FR、D_FC及びD_FLが
得られ、それぞれ比較回路49R0及び49L0で特徴量を比較
することにより、視差０の領域を検出することができ
る。すなわち第15図に示すように、特徴量分布図M_FR及びM
_FCと、M_FC及びM_FL（第12図）を重ね合わせてその特徴量
を比較するにつき、それぞれ特徴量が値１〜４の円形形
状の領域以外の領域で一致結果が得られ、かくして背景
Ｇの微小領域で対応点を検出すると共に当該領域につい
て視差０の視差データを得ることができる（第15図
（Ａ）及び（Ｂ））。これに対して遅延回路48R1及び48L1を介して、それぞ
れ遅延時間Δdtだけ遅延回路48Cから得られる特徴量デ
ータD_FCに比して遅れ及び進んだタイミングで特徴量デ
ータD_FR及びD_FLを得ることができる。従つて比較回路49R1及び49L1を介して比較結果を得る
ことにより、遅延時間Δdtに相当する大きさの視差を生
じた領域（以下視差１の領域と呼ぶ）の対応点を検出す
ると共に当該領域の視差データを得ることができる。さらに遅延回路48R2及び48L2を介してそれぞれ遅延時
間２Δdtだけずれたタイミングで特徴量データD_FR及びD
_FLを得ることができ、比較回路49R2及び49L2を介して当
該遅延時間２Δdtに相当する大きさの視差を生じた領域
（以下視差２の領域と呼ぶ）の対応点及び視差データを
検出することができる。かくして、比較回路49R0、49R1、49R2、49R3、49R4及
び49R5を介してそれぞれ視差０、視差１、視差２、視差
３、視差４及び視差５における、中央及び右側に配置し
た撮像装置31C及び31Rから得られる特徴量データD_FC及
びD_FRの対応点及びその視差データD_A0R、D_A1R、D_A2R、D
_A3R、D_A4R及びD_A5Rを得ることができる。同様に比較回路49L0、49L1、49L2、49L3、49L4及び49
L5を介してそれぞれ視差０、視差１、視差２、視差３、
視差４及び視差５における、中央及び左側の撮像装置31
C及び31Lから得られる特徴量データD_FC及びD_FLの対応点
及びその視差データD_A0L、D_A1L、D_A2L、D_A3L、D_A4L及び
D_A5Lを得ることができる。ここで、この実施例においては、遅延時間２Δdtに相
当する視差２の領域が、球状の被測定対象P₂（第４図）
を配置した位置の深度F₂によつて生じる視差にほぼ一致
するようになされている。従つて第12図に対応して第16図に示すように、比較回
路49R2及び49L2に入力される特徴量データD_FR及びD_FLに
おいては、その特徴量分布図M_FR、M_FC及びM_FLを遅延時
間２Δdtだけ視差が減少する方向にずらしたタイミング
で特徴量データが入力され（第16図（Ａ）、（Ｂ）及び
（Ｃ））、視差２の領域でなる被測定対象P₂の画像位置
が中央の撮像装置31Cから得られる特徴量分布図M_FC上の
位置と一致したタイミングの特徴量分布図M_FR及びM_FLを
得ることができる。従つて第17図に示すように、比較回路49R2及び49L2を
介して円形形状でなる被測定対象P₂の部分で対応点を検
出することができる（第17図（Ａ）及び（Ｂ））。ところが実際上、このように撮像画像を微小領域に分
割して５つの特徴量で表すようにすると、全体の微小領
域に等しい割合で５つの特徴量は割り当てられた場合に
おいては、視差が異なる場合でも、次式 Q_M＝1/5 ……（８）で表される確率で、１つの微小領域に対して特徴量が一
致する微小領域が得られる。実際上第16図及び第17図に対応して第18図及び第19図
に示すように、視差１の領域について対応点を検出する
場合においては、被測定対象P₂の視差の大きさの1/2の
大きさでなることから、中央の撮像装置31Cから得られ
る特徴量データD_FC（第18図（Ｂ））に対してそれぞれ
右及び左の撮像装置31R及び31Lを介して得られる特徴量
データD_FR及びD_FL（第18図（Ａ）及び（Ｃ））を比較し
た際に被測定対象P₂の一部に、一致結果が得られ、対応
点が誤検出されることが分かる（第19図（Ａ）及び
（Ｂ））。従つてこの実施例においては、対応する比較回路49R0
及び49L0、49R1及び49L1、49R2及び49L2、49R3及び49L
3、49R4及び49L4と49R5及び49L5から得られる視差デー
タD_A0R及びD_A0L、D_A1R及びD_A1L、D_A2R及びD_A2L、D_A3R及
びD_A3L、D_A4R及びD_A4LとD_A5R及びD_A5Lをそれぞれアンド
回路50、51、52、53、54及び55に入力して、その論理積
を出力することにより、対応点の誤検出を未然に防止す
るようになされている。すなわち、アンド回路50、52、53、54及び55を介して
論理積を得るようにすれば、それぞれ遅延回路48R0〜48
L5から得られる特徴量データD_FR、D_FC及びD_FLの３重積
が得られ、（８）式に対して次式 Q_M2＝1/5² ……（９）で表される値に対応点の誤検出の確率を低減することが
できる。その結果アンド回路50、51、51、52、53、54及び55を
介してそれぞれ第15図（Ｃ）、第17図（Ｃ）及び第19図
（Ｃ）に示すような特徴量分布図で表される対応点及び
その深度情報を備えてなる視差０、視差１、視差２、視
差３、視差４、視差５の視差データD_F0、D_F1、D_F2、
D_F3、D_F4及びD_F5を得ることができる。（G5）深度地図作成回路の構成第20図に示すように、深度地図作成回路60は、対応点
検出回路47から出力される視差データD_F0、D_F1、D_F2、D
_F3、D_F4及びD_F5に基づいて、中央の撮像装置31Cを介し
て得られた撮像画像M_C1の各微小領域について深度情報
を割り当ててなる深度地図を作成する。実際上、対応点検出回路47を介して検出される対応点
においては多くの誤検出された対応点を含んでなり、こ
れから正しい対応点を検出して深度情報を得る必要があ
る。例えば第21図にそれぞれ遅延回路48R0、48C遅延48L0
を介して得られる特徴量データD_FR、D_FC、D_FLを示すよ
うに、視差が３で６つの微小領域S_n、S_n+1、S_n+2、
S_n+3、S_n+4及びS_n+5が値１の特徴量で連続する被測定対
象においては、同じタイミングで特徴量を比較してもア
ンド回路50〜52において３重積を得ることにより、当該
微小領域S_n〜S_n+5において、対応点の誤検出が未然に防
止される。ところが、第22図に示すように、視差１だけタイミン
グをずらした状態で特徴量を比較すると（すなわち遅延
回路48R1、48C及び48L1を介して得られる特徴量データD
_FR、D_FC、及びD_FLに基づいてアンド回路51から得られる
視差データD_F1でなる）、微小領域S_n+2及びS_n+3で一致
結果が得られて対応点が誤検出される（以下偽対応点と
呼ぶ）。続いて視差２のタイミングで比較すると（すなわち遅
延回路48R2、48C及び48L2を介して得られる特徴量デー
タD_FR、D_FC及びD_FLに基づいてアンド回路52から得られ
る視差データD_F2でなる）、それぞれ微小領域S_n+1、S
_n+2、S_n+3及びS_n+4で一致結果が得られて偽対応点が検
出される。これに対して第23図に示すように、視差３のタイミン
グで比較すると（すなわちアンド回路53から出力される
視差データD_F3でなる）、特徴量分布図M_FR、M_FC及びM_FL
が微小領域S_n〜S_n+5の間で完全に重なり合つて、微小領
域S_n〜S_n+5の間で６個の正しい対応点を検出することが
できる。従つて第24図に対応点及び偽対応点を記号「○」を用
いて示すように、視差を順次切り換えたタイミングで特
徴量を比較することにより、それぞれ正しい対応点P_Nの
他に、微小領域S_n+1及びS_n+4とS_n+2及びS_n+3でそれぞれ
２個及び４個の偽対応点P_NNが得られる。実際上３重積をとつた結果を示す第17図（Ｃ）及び第
19図（Ｃ）においても、正しい視差のタイミングで比較
してしないにもかかわらず、一致結果が得られる領域
（すなわち、円形形状の被測定対象を囲む背景Ｇの一部
領域）がある。さらに第25図、第26図及び第27図に示すように、視差
３で特徴量１及び０の２つの微小領域が等間隔で連続す
る微小領域S_n〜S_n+9を備えた被測定対象においては、同
じタイミングで特徴量を比較すると微小領域S_n+4及びS
_n+5で偽対応点が得られるのに対し、視差１のタイミン
グで特徴量を比較すると、対応点が検出されない状態が
生じた後、視差３のタイミングで微小領域S_n〜S_n+9に正
しい対応点が検出される。従つてこのような場合においては、第24図に対応して
第28図に示すように、視差３のタイミングで正しい対応
点P_Nが得られるのに対し、微小領域S_n+4及びS_n+5におい
ては、それとは別にそれぞれ視差０及び６のタイミング
で偽対応点P_NNが検出される。また、これとは逆に撮像装置31R、31C及び31Lを水平
方向にずらして配置したことにより、深度の浅い被測定
対象によつて深度の深い部分が掩蔽され、これにより対
応点を検出できない領域が生じる（すなわち第15図
（Ｃ）における三日月形状に論理レベルが論理「０」に
なる背景Ｇの一部領域）。また被測定対象の表面で生じる鏡面反射によつてもこ
のような現象が生じるおそれがある。この実施例においては、かかる問題点を解決するた
め、複数の対応点が得られた微小領域においては、当該
対応点から得られる複数の視差データを平均化すること
により、１つの視差データを得るようになされている。さらに続いて当該視差データを撮像画像の水平走査方
向に補間処理した後、垂直走査方向及びフレーム間で平
滑化処理することにより、対応点の得られないような微
小領域があつても、全体として連続的に深度が変化する
自然動画像に近い深度の分布を表してなる深度地図を作
成する。このため、深度地図作成回路60は、視差データD_F0〜D
_F5を平均化回路61に与え、これを平均化する。すなわち、第29図に撮像画像の水平走査方向に微小領
域S₁〜S₁₀でなる１ライン分の視差データD_F0〜D_F5をと
つて示すように、複数の視差データD_F0〜D_F5において論
理「１」が得られる微小領域S₃、S₄、S₅及びS₉において
は（第29図（Ａ））、その中間値の視差データD_F3及びD
_F5が抽出され（第29図（Ｂ））、かくして視差データD
_F0〜D_F5を平均化してなる視差データD_FAを得ることがで
きる。補間回路62は、平均化された視差データD_FAを受け、
視差データD_F0〜D_F5が得られなかつた微小領域に、直線
補間の手法を用いて前後の微小領域に対して連続的に視
差が変化するように視差データを生成し（この場合は微
小領域S₁及びS₇に視差データD_FHを生成する（第29図
（Ｃ）））、かくして水平走査方向に連続的に深度が変
化する視差データD_FHを生成して（第29図（Ｃ））直列
連続された1H遅延回路63及び64に出力する。平滑回路65は、補間回路62から出力される補間処理さ
れた視差データD_FHを直接受けると共に、それぞれ1H遅
延回路63及び64を介してそれぞれ１ライン分遅延した視
差データD_DFH1及びD_DFH2を受け、これを平滑化して出力
する。従つて補間回路62を介して水平走査方向に滑らかに変
化するようになされた視差データD_FHに対して、平滑回
路65を介して垂直走査方向に滑らかに変化するようにな
された視差データD_FFを得ることができる。かくしてこの実施例においては、当該視差データD_FF
に基づいて深度地図を作成するにつき、被測定対象でな
る自然物体及び背景に対して撮像部側から弾性板を押し
つけて、撮像部側に当該弾性板を変形突出させたような
３次元の曲面モデル（以下弾性板モデルと呼ぶ）を形成
する。すなわち深度地図変形回路67は、第30図に示すよう
に、例えば視差４に相当する深度でなる平板の弾性板モ
デルH₍₀₎を有し、予め当該弾性板モデルH₍₀₎（第30図
（Ａ））の深度データD_F(0)（すなわち視差データD_FFに
対応してなる）を動画像解析認識装置５（第１図）に出
力すると共に１フレーム遅延回路68を介して比較回路69
に与える。比較回路69は、当該深度データD_F(0)と共に平滑回路6
5を介して得られる視差データD_FF（第30図（Ｂ））を受
け、各微小領域S₁〜S₁₀について順次大小比較結果を深
度地図変形回路67に出力する。この場合、微小領域S₁〜S₁₀のうち微小領域S₁及びS₇
において一致結果が得られるのに対し、微小領域S₂〜S₆
においては、平滑回路65を介して得られる視差データD
_FFの方が深度の大きな比較結果が得られ、微小領域S₈〜
S₁₀においては、これとは逆に深度の小さな比較結果が
得られる。深度地図変形回路67は、当該比較結果に基づいて、各
微小領域について１単位ずつ（この場合は視差0.5に相
当し、微小領域S₂〜S₆においては視差４を視差3.5に、
微小領域S₈〜S₁₀については視差４を視差4.5に）深度デ
ータD_F(0)を変形して（第30図（Ｃ））、その結果得ら
れる深度データD_F(1)（第30図（Ｄ））を送出する。かくして、微小領域S₁〜S₁₀の方向に断面を取つて示
す弾性板モデルH₍₀₎（第30図（Ａ）及び（Ｂ））を深度
データD_FFに基づいて変形処理してなる弾性板モデルH
₍₁₎（第30図（Ｄ））を得ることができる。続いて、当該深度データD_F(0)と、平滑回路65を介し
て得られる続くフレームの視差データD_FF（第30図
（Ｅ））との比較結果が比較回路69を介して得られ（こ
の場合微小領域S₁及びS₇において一致結果が得られるの
に対し、微小領域S₂〜S₆においては平滑回路65を介して
得られる視差データD_FFの方が深度が大きい比較結果が
得られ、微小領域S₈〜S₁₀においては、これとは逆に深
度の小さな比較結果が得られる）、当該比較結果に基づ
いて微小領域S₂〜S₆及びS₈〜S₁₀につき深度データD_F(1)
の深度が１単位ずつ更新される（第30図（Ｆ））。かくして、深度データD_F(2)において、視差データD_FF
で表される深度に変形された弾性板モデルH₍₂₎（第30図
（Ｇ））を得ることができる。かくして１フレームごとに弾性板モデルH_(n)を視差デ
ータD_FFに基づいて微小深度ずつ変形処理することによ
り、フレーム間で視差データD_FFを平滑処理し得、例え
ば雑音等によつてフレーム間において深度データが急激
に変動するような場合でも、自然動画像に近い、緩やか
にかつ連続的に深度が変化する弾性板モデルH_(n)を得る
ことができる。かくして、各微小領域について視差データを平均化処
理した後補間処理することにより、水平走査方向に連続
する視差データD_FHが得られ、続いて平滑処理すること
により、垂直走査方向に連続する視差データD_FFが得ら
れる。さらに当該視差データD_FFについて、フレームごとに
反復して弾性板モデルを変形処理することにより、時系
列的に滑らかに連続する深度データD_F(n)を得ることが
できる。従つて反復して変形処理された当該弾性板モデルを用
いて被測定対象の形状を認識するにつき、静止物体の深
度が得られると共に、各微小領域の深度データの変化で
移動物体であることを検出することができる。このようにフレームごとに徐々に弾性板モデルを変形
させるようにすると、実際上移動物体に対して深度値の
変化が遅れて得られることを避け得ない。ところが、歩
行人物を被測定対象としてその外形形状を認識するよう
な場合においては、フレーム間でこのように反復して弾
性板モデルを変形するようにしても、実用上十分な範囲
で被測定対象の外形形状を認識することができる。かくするにつき、画像データ処理装置４においては、
撮像画像M_R1、M_C1及びM_L1を微小領域に分割して、各微
小領域について順次特徴量を検出した後、続いて遅延回
路48R0〜48L5を介して順次比較処理して深度データD
_F(n)を得るようにしたことにより、画像データを順次時
系列処理することができ、かくして極めて高速度で深度
データを得ることができる。従つて、リアルタイムの手
法を用いて撮像画像の深度地図を得ることができると共
に、その分画像データ等の記憶手段を設ける必要がない
ので、全体として簡易な構成の画像処理装置を得ること
ができる。（G6）動画像解析認識装置の構成動画像解析認識装置５（第１図）は、演算処理装置で
構成され、画像処理装置２から出力された示度データD
_F(n)に基づいて被測定対象の外形形状を認識処理する。すなわち第31図に示すように、ステツプSP1からステ
ツプSP2に移つて撮像部３から画像データが得られた
後、ステツプSP3に移つて画像処理装置２から深度デー
タD_F(n)が得られると、ステツプSP4に移つて深度地図を
所定の深度領域ごとに切断する。その結果弾性板モデルでなる深度地図を切断すること
から、当該深度地図を等間隔で順次切り出してなる複数
の領域（以下抽出領域と呼ぶ）が得られ、当該深度領域
を所定の値に設定することにより、深度地図から被測定
対象の外形形状を切り出すことができる。続いて画像解析認識装置５は、ステツプSP5に移つて
当該抽出領域にそれぞれラベリングを施した後、続いて
ステツプSP6に移つて各抽出領域の解析を行う。すなわちラベリングが施された各抽出領域について、
外形形状の輪郭から例えば横に細長い形状、縦に細長い
形状等を解析する。画像解析認識装置５は、続いてステツプSP6に移つて
ラベリングを施した抽出領域がフレーム間でどのように
変形するかを解析して当該抽出領域でなる被測定対象の
運動を検出する。例えば縦に細長い外形形状を抽出領域が全体として大
きくなるように変形すると、当該外形形状の被測定対象
が深度の大きい遠方から深度の小さい近方へ移動したこ
とが分かる。画像解析認識装置５は、かかる検出結果に基づいて続
いてステツプSP7に移つて例えば縦に細長い外形形状の
被測定対象が遠方から近方へ移動したことを表す抽出領
域の外形形状とその運動方向を表すGKO情報を作成した
後、ステツプSP8に移つて当該外形形状の物体を認識す
る。ここで例えば縦に細長い外形形状の移動物体で深度デ
ータに基づいて算出された高さが1.8〔ｍ〕程度の被測
定対象の場合は、当該被測定対象が大人の人間であるこ
とが分かり、例えば横方向に細長い長さ数10〔cm〕の被
測定対象の場合は小動物であることが分かる。画像解析認識装置は、続いてステツプSP9に移つて、
上述の認識結果に基づいて例えば大人の人物が撮像画像
の右から左へ移動した等のメツセージをプリンタに出力
した後、ステツプSP10に移つて当該処理手順を終了す
る。かくして、自然動画像に基づいて被測定対象の深度情
報を得、これに基づいて当該被測定対象の外形形状を認
識することができる。（G7）実施例の動作以上の構成において、撮像部３を介して得られた撮像
画像M_R1、M_C1及びM_L1は、ローパスフイルタ回路41R、41
C及び41Lとサンプリング回路42R、42C及び42Lを介して
微小領域に分割された後、差分フイルタ回路M_1R〜M_4Lを
介して各方向A1〜A4の輝度レベルの変化の大きさが検出
される。比較回路46R、46C及び46Lを介して方向差分フイルタ
回路M_1R〜M_4Lの検出結果から各微小領域の最も大きく輝
度レベルが変化する方向が特徴量として検出され、特徴
量データD_FR、D_FC及びD_FLとして出力される。当該特徴量データD_FR、D_FC及びD_FLは、遅延回路48R0
〜48L5を介して比較回路49R0〜49L5に入力され、撮像装
置31R、31C及び31Lの配置方向ｘに、遅延回路48R0〜48L
5の遅延時間の分だけずれたタイミングで比較処理され
ることにより、同一の特徴量を有してなる微小領域がそ
れぞれ対応点として検出されると共にその視差データを
得ることができる。当該検出結果は、アンド回路50〜55を介して論理積が
得られ、かくして３つの撮像装置31R、31C及び31Lから
得られた特徴量データD_FR、D_FC及びD_FLについで、タイ
ミングをそれぞれずらして特徴量を比較してなる３重積
の視差データD_F0〜D_F5が得られる。当該視差データD_F0〜D_F5は、平均化回路61を介して平
均化処理された後、補間回路62を介して水平走査方向に
補間処理されて、かくして当該水平走査方向に連続する
視差データD_FHが得られる。当該視差データD_FHは、平滑回路65を介して平滑処理
されることにより垂直走査方向に連続する視差データD
_FFに変換され、当該視差データD_FFが比較回路69及び深
度地図変形回路67に入力されて時系列的に連続する深度
データD_F(n)が生成される。かくして撮像画像に対応し
て深度情報の２次元的な配置を表す深度地図を弾性板モ
デルでなる３次元の曲面データとして得ることができ
る。当該深度データD_F(n)は、動画像解析認識装置５に入
力されて深度領域ごとに抽出された後、ラベリング処理
が施されて外形形状とその運動方向を表すGKO情報が作
成される。さらに当該GKO情報に基づいて演算処理されることに
より、被測定対象及びその移動を記述したメツセージが
出力される。（G8）実施例の効果以上の構成によれば、撮像画像の微小領域について、
輝度レベルの最も大きく変化する方向を各微小領域の特
徴量として検出した後、当該特徴量を比較して深度デー
タを得るようにしたことにより、全体として簡易な構成
で自然動画像でも対応点を確実に抽出し得、かくして当
該自然動画像中の被測定対象の深度情報を確実に検出す
ることができる。（G9）他の実施例（G9−１）撮像部の他の実施例なお上述の実施例においては、光軸が同一平面上で互
いに平行になるように３台の撮像装置を等間隔に配置し
た場合について述べたが、配置の間隔は等間隔に限ら
ず、広く適用することができる。なおこの場合、特徴量
を比較する２台の撮像装置間の間隔に応じてタイミング
をずらして特徴量データを比較すれば良い。さらに上述の実施例においては、３台の撮像装置を用
いた場合について述べたが、撮像装置の数は３台に限ら
ず、要は複数台数設けて立体視するようにすれば良い。また上述の実施例においては、３台の撮像装置を水平
方向に３台並べた場合について述べたが、本発明はこれ
に限らず、要は光軸が同一平面内で互いに平行にさえ配
置すれば、例えば垂直方向に並べるようにしても良い。（G9−２）画像データ処理装置の他の実施例（１）前置回路なお上述の実施例においては、ローパスフイルタ回路
及びサンプリング回路を介して画像データを所定ピツチ
でサンプリングすることにより、当該サンプリングのピ
ツチで撮像画像を微小領域に分割する場合について述べ
たが、本発明はこれに限らず、撮像部から得られる撮像
画像の画素数が実用上十分に少ない場合、又は続く特徴
量検出回路等の処理速度が実用上十分速い場合は、当該
ローパスフイルタ回路及びサンプリング回路を省略し
て、微小領域として画素単位で画像データをデータ処理
するようにしても良い。（２）特徴量検出回路さらに上述の実施例においては、３×３の方向差分マ
スクを用いて、斜め４方向に輝度レベルの変化の大きさ
を検出して特徴量を検出する場合について述べたが、本
発明はこれに限らず、例えば４×４の方向差分マスクを
用いたり、輝度レベルの微分値を用いるようにしても良
い。さらに上述の実施例においては、斜め４方向に輝度レ
ベルの変化の大きさを検出して、これに基づいて輝度レ
ベルが最も大きく変化する方向を特徴量として検出する
場合について述べたが、輝度レベルの変化する方向は４
方向に限らず、例えばこれに横方向を加えて６方向に特
徴量を検出するようにしても良い。さらに、輝度レベルの変化方向だけでなく、例えば輝
度レベルを４値化した値と組み合わせて用いたり、輝度
レベルの傾きの大きさと組み合わせて用いたり、さらに
は画像データに基づいてその周波数成分と組み合わせて
用いるようにしても良い。またその際用いる画像データも輝度レベルだけに限ら
ず、色データ等と組み合わせて用いて特徴量を検出する
ようにしても良い。（３）対応点検出回路さらに上述の実施例においては、中央の撮像装置から
得られる撮像画像を基準にして、右及び左側に配置した
撮像装置から得られる撮像画像の特徴量を比較する場合
について述べたが、本発明はこれに限らず、例えば左側
の撮像装置から得られる撮像画像を基準にしてそれぞれ
中央及び右側に配置した撮像装置から得られる撮像画像
の特徴量を比較するようにしても良い。さらに上述の実施例においては、右側及び左側に配置
した撮像装置から得られる特徴量データをそれぞれ６個
の遅延回路を介して中央の撮像装置から得られる特徴量
データと比較する場合について述べたが、本発明はこれ
に限らず、必要に応じて遅延回路の数及びその遅延時間
を選定すれば良い。さらに上述の実施例においては、比較回路及びアンド
回路を用いて、特徴量データの３重積でなる視差データ
を得るようにした場合について述べたが、本発明はこれ
に限らず、直接３つの撮像装置から得られる特徴量デー
タを比較してその３重積でなる視差データを得るように
しても良い。さらにこの場合撮像装置の数が３台以外の例えば２台
の撮像装置を用いる場合は、単に比較回路の出力を視差
データとして出力すれば良く、その分全体構成を簡略化
し得る。またこれとは逆に、例えば４台の撮像装置を用
いる場合は、その特徴量データの４重積を視差データと
して用いれば良く、この場合さらに一段と確実に高い精
度で対応点を検出すると共に視差データを得ることがで
きる。（４）深度地図作成回路なお上述の実施例においては、視差データを平均化し
て水平走査方向に補間演算処理した後、垂直走査方向に
３ライン分ごとに平滑化処理して１フレーム分の深度デ
ータを得るようにした場合について述べたが、深度デー
タの生成手段はこれに限らず、例えば垂直走査方向にも
補間演算処理したり、逆に水平走査方向に平滑化処理し
たり等種々の方法を広く適用することができる。さらにこれらの処理手順に代えて、深度地図作成回路
を演算処理装置で構成し、例えば神経回路網モデルを用
いて水平走査方向、垂直走査方向及び深度方向でなる３
次元の束縛条件を一度に加えて、３次元の深度地図を直
接作成するようにしても良い。さらに上述の実施例においては、１フレーム単位で出
力される深度データを平滑回路を介して得られる深度デ
ータと比較して深度地図を変形処理することにより、雑
音等による影響の小さな深度データを出力するような場
合について述べたが、本発明はこれに限らず、要は時系
列的な積分効果を深度データに付与して出力すれば良
い。さらにこの場合、雑音成分が実用上十分小さい場合に
おいては、当該比較変形処理を省略して直接平滑回路か
ら得られる深度データを出力するようにしても良い。（G9−３）画像処理装置全体の他の実施例なお上述の実施例においては、被測定対象の外形形状
を認識して当該被測定対象及びその運動方向を記述出力
する形状認識装置に本発明を適用した場合について述べ
たが、本発明はこれに限らず、例えば被測定対象の外形
形状に基づいてその固体数を検出する場合等広く適用す
ることができる。さらに上述の実施例においては、歩行人物を検出する
場合について述べたが、本発明はこれに限らず種々の自
然物体を撮像してなる自然動画像の画像処理装置、さら
には自然動画像に限らず、静止自然物体や静止及び移動
する人工物等の撮像画像の画像処理装置に広く適用する
ことができる。Ｈ発明の効果以上のように本発明によれば、光軸が同一平面上で、
互いに平行になるように配置されたフレームの撮像装置
と、各撮像装置からそれぞれ得られる各撮像画像をそれ
ぞれ細分割してなる各微小領域について、輝度レベルが
最も大きく変化する方向を各微小領域の特徴を表す特徴
量として検出する特徴量検出手段と、各撮像画像間にお
いて、複数の撮像装置の配置方向の各微小領域を位置を
ずらしながら比較処理することにより、複数の撮像装置
の配置方向に同一の特徴量を有する微小領域を検出し
て、同一の特徴量を有する微小領域間の視差データを生
成し、当該視差データに基づいて、撮像画像の各微小領
域について、撮像装置までの深度情報を生成する対応点
検出及び深度情報生成手段とを画像処理装置に設けるよ
うにしたことにより、自然動画像のように輝度レベルが
滑らかに変化するような場合でも確実に深度情報を得る
ことができる画像処理装置を実現できる。

【図面の簡単な説明】第１図は本発明による形状認識装置の一実施例を示すブ
ロツク図、第２図はその撮像部を示す斜視図、第３図は
その測定原理の説明に供する略線的斜視図、第４図は立
体視の説明に供する斜視図、第５図は撮像装置から得ら
れる撮像画像を示す略線図、第６図は画像データ処理装
置の一部を示すブロツク図、第７図は特徴量の説明に供
する略線図、第８図、第９図、第10図及び第11図は方向
差分マスクを示す略線図、第12図は撮像画像上の特徴量
の分布を示す略線図、第13図は被測定対象の輝度レベル
の変化方向を示す略線的正面図、第14図は対応点検出回
路を示すブロツク図、第15図は視差０の場合の特徴量の
比較の説明に供する略線図、第16図、第17図、第18図及
び第19図は視差２及び視差１の場合の特徴量の比較の説
明に供する略線図、第20図は深度地図作成回路を示すブ
ロツク図、第21図、第22図、第23図、第24図、第25図、
第26図、第27図及び第28図は偽対応点の説明に供する略
線図、第29図は深度データの作成手順を示す略線図、第
30図は弾性板モデルの作成手順を示す略線図、第31図は
形状認識装置全体の処理手順を示すフローチヤートであ
る。１……形状認識装置、２……画像処理装置、３……撮像
部、４……画像データ処理装置、５……動画像解析認識
装置、31R、31C、31L……撮像装置、43R、43C、43L……
特徴量検出回路、47……対応点検出回路、60……深度地
図作成回路。

Claims

(57)【特許請求の範囲】１．光軸が同一平面上で、互いに平行になるように配置
された複数の撮像装置と、上記撮像装置から得られる撮像画像を細分割してなる各
微小領域について、輝度レベルが最も大きく変化する方
向を上記各微小領域の特徴を表す特徴量として検出する
特徴量検出手段と、上記各撮像画像間において、上記複数の撮像装置の配置
方向の上記各微小領域を位置をずらしながら比較処理す
ることにより、上記複数の撮像装置の配置方向に同一の
上記特徴量を有する上記微小領域を検出して、上記同一
の特徴量を有する微小領域間の視差データを生成し、当
該視差データに基づいて、上記撮像画像の各微小領域に
ついて、上記撮像装置までの深度情報を生成する対応点
検出及び深度情報生成手段とを具えることを特徴とする画像処理装置。