JP2881193B1

JP2881193B1 - ３次元物体認識装置および方法

Info

Publication number: JP2881193B1
Application number: JP10049520A
Authority: JP
Inventors: 茂木村; 勝之中野; 博義山口; 哲也新保; 英二川村; 正人緒方
Original assignee: Komatsu Ltd; Mitsubishi Precision Co Ltd
Current assignee: Komatsu Ltd; Mitsubishi Precision Co Ltd
Priority date: 1998-03-02
Filing date: 1998-03-02
Publication date: 1999-04-12
Anticipated expiration: 2018-03-02
Also published as: JPH11250252A

Abstract

【要約】【課題】画像センサの配設位置、姿勢によって一義的に
定まる作業視野に限定されることなく、作業状況に応じ
た作業視野を取得できるようにする。【解決手段】所望の位置で、所望の視野をもって物体５
０を撮像したときの仮想画像センサ２１による仮想画像
＃２１が、一の撮像手段１の画像＃１の代わりに、設定
される。そして、設定された仮想画像＃２１中の位置
（ｉ、ｊ）で特定される選択画素Ｐ₂₁に対応する複数の
撮像手段１〜Ｎの画像＃１〜＃Ｎ中の対応候補点Ｐ_kの
位置座標（Ｘ_k、Ｙ_k）（ｋ＝１、…、Ｎ）が、仮想画像
センサ２１から選択画素Ｐ₂₁に対応する物体５０上の点
５０ａまでの仮定距離ｚ_nの大きさ毎に発生される。そ
して、発生された対応候補点Ｐ_kの位置座標（Ｘ_k、
Ｙ_k）（ｋ＝１、…、Ｎ）の画像情報同士の類似度が算
出される。そして、上記算出された類似度が最も大きく
なるときの仮定距離ｚ_nxが、仮想画像センサ２１から選
択画素Ｐ₂₁に対応する物体５０上の点５０ａまでの距離
とされ、この距離ｚ_nxが各選択画素毎に求められる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、物体の認識装置お
よびその方法に関し、異なる位置に配置された複数の撮
像手段による画像情報から三角測量の原理を利用して認
識対象物体までの距離情報など、認識対象物体の３次元
情報を算出して、この３次元情報を用いて物体を認識す
るような場合に適用して好適な装置および方法に関す
る。

【０００２】

【従来の技術】従来より、撮像手段たる画像センサの撮
像結果に基づき認識対象物体までの距離を計測する方法
として、ステレオビジョン（ステレオ視）による計測方
法が広く知られている。

【０００３】この計測方法は２次元画像から、距離、深
度、奥行きといった３次元情報を得るために有用な方法
である。

【０００４】すなわち、２台の画像センサを例えば左右
に配置し、これら２台の画像センサで同一の認識対象物
を撮像したときに生じる視差から、三角測量の原理で対
象物までの距離を測定するという方法である。このとき
の左右の画像センサの対はステレオ対と呼ばれており、
２台で計測を行うことから２眼ステレオ視と呼ばれてい
る。

【０００５】図２０は、こうした２眼ステレオ視の原理
を示したものである。

【０００６】同図に示すように、２眼ステレオ視では、
左右の画像センサ１、２の画像＃１（撮像面１ａ上で得
られる）、画像＃２（撮像面２ａ上で得られる）中の、
対応する点Ｐ₁、Ｐ₂の位置の差である視差（ディスパリ
ティ）ｄを計測する必要がある。一般に視差ｄは、３次
元空間中の点５０ａ（認識対象物体５０上の点）までの
距離ｚとの間に、次式で示す関係が成立する。

【０００７】ｚ＝Ｆ・Ｂ/ ｄ …（１）ここに、Ｂは左右の画像センサ１、２間の距離（基線
長）であり、Ｆは画像センサ１のレンズ３１、画像セン
サ２のレンズ３２の焦点距離である。通常、基線長Ｂと
焦点距離Ｆは既知であるので、視差ｄが分かれば、距離
ｚは一義的に求められることになる。この視差ｄは、両
画像＃１、＃２間で、どの点がどの点に対応するかを逐
一探索することにより算出することができる。このとき
の一方の画像＃１上の点Ｐ₁に対応する他方の画像＃２
上の点Ｐ₂のことを「対応点」と以下呼ぶこととし、対
応点を探索することを、以下「対応点探索」と呼ぶこと
にする。物体５０までの距離を仮定したとき、この仮定
距離をもって探索される一方の画像＃１上の点Ｐ₁に対
応する他方の画像＃２上の点のことを以下「対応候補
点」と呼ぶことにする。２眼ステレオ視による計測を行
う場合、上記対応点探索を行った結果、真の距離ｚに対
応する真の対応点Ｐ₂を検出することができれば、真の
視差ｄを算出することができたことになり、このとき対
象物５０上の点５０ａまでの真の距離ｚが計測できたと
いえる。

【０００８】こうした処理を、一方の画像＃１の全画素
について実行することにより、画像＃１の全選択画素に
距離情報を付与した画像（距離画像）が生成されること
になる。上記対応点を探索して真の距離を求める処理
を、図２１、図２２、図２３を用いて詳述する。

【０００９】図２３は、従来の２眼ステレオ視による距
離計測装置（物体認識装置）の構成を示すブロック図で
ある。

【００１０】基準画像入力部１０１には、視差ｄ（距
離ｚ）を算出する際に基準となる画像センサ１で撮像さ
れた基準画像＃１が取り込まれる。一方、画像入力部１
０２には、基準画像＃１上の点に対応する対応点が存在
する画像である画像センサ２の画像＃２が取り込まれ
る。

【００１１】つぎに、対応候補点座標発生部１０３、局
所情報抽出部１０４、類似度算出部１０５、距離推定部
１０６における処理を図２１を用いて説明すると、ま
ず、対応候補点座標発生部１０３では、基準画像＃１の
各画素に対して、仮定した距離ｚ_n毎に、画像センサ２
の画像＃２の対応候補点の位置座標が記憶、格納されて
おり、これを読み出すことにより対応候補点の位置座標
を発生する。

【００１２】すなわち、基準画像センサ１の基準画像＃
１の中から位置（ｉ，ｊ）で特定される画素Ｐ₁が選択
されるとともに、認識対象物体５０までの距離ｚ_nが仮
定される。そして、この仮定距離ｚ_nに対応する他方の
画像センサ２の画像＃２内の対応候補点Ｐ₂の位置座標
（Ｘ₂，Ｙ₂）が読み出される。

【００１３】つぎに、局所情報抽出部１０４では、この
ようにして対応候補点座標発生部１０３によって発生さ
れた対応候補点の位置座標に基づき局所情報を抽出する
処理が実行される。ここで、局所情報とは、対応候補点
の近傍の画素を考慮して得られる対応候補点の画像情報
のことである。

【００１４】さらに、類似度算出部１０５では、上記局
所情報抽出部１０４で得られた対応候補点Ｐ₂の局所情
報Ｆ₂と基準画像の選択画素Ｐ₁の画像情報との類似度が
算出される。

【００１５】具体的には、基準画像＃１の選択された画
素の周囲の領域と、画像センサ２の画像＃２の対応候補
点の周囲の領域とのパターンマッチングにより、両画像
の領域同士が比較されて、類似度が算出される。つま
り、類似度の安定化処理が行われる。

【００１６】すなわち、図２１に示すように、基準画像
＃１の選択画素Ｐ₁の位置座標を中心とするウインドウ
ＷＤ₁が切り出されるとともに、画像センサ２の画像＃
２の対応候補点Ｐ₂の位置座標を中心とするウインドウ
ＷＤ₂が切り出され、これらウインドウＷＤ₁、ＷＤ₂同
士についてパターンマッチングを行うことにより、これ
らの類似度が算出される。このパターンマッチングは各
仮定距離ｚ_n毎に行われる。そして同様のパターンマッ
チングが、基準画像＃１の各選択画素毎に全画素につい
て行われる。

【００１７】図２２は、仮定距離ｚ_nと類似度逆数Ｑsと
の対応関係を示すグラフである。図２１のウインドウＷ
Ｄ₁と、仮定距離がｚ'_nのときの対応候補点の位置を中
心とするウインドウＷＤ' ₂とのマッチングを行った結
果は、図２２に示すように類似度の逆数Ｑsとして大き
な値が得られている（類似度は小さくなっている）が、
図２１のウインドウＷＤ₁と、仮定距離がｚ_nxのときの
対応候補点の位置を中心とするウインドウＷＤ₂とのマ
ッチングを行った結果は、図２２に示すように類似度の
逆数Ｑsは小さくなっている（類似度は大きくなってい
る）のがわかる。

【００１８】なお、類似度は、一般に比較すべき選択画
素と対応候補点の画像情報の差の絶対値や、差の２乗和
として求められる。このようにして仮定距離ｚ_nと類似
度の逆数Ｑsとの対応関係から、最も類似度が高くなる
点（類似度の逆数Ｑsが最小値となる点）を判別し、こ
の最も類似度が高くなっている点に対応する仮定距離ｚ
_nxを最終的に、認識対象物体５０上の点５０ａまでの真
の距離（最も確からしい距離）と推定する。

【００１９】つまり、図２１における仮定距離ｚ_nxに対
応する対応候補点Ｐ₂が選択画素Ｐ₁に対する対応点であ
るとされる。このように、距離推定部１０６では、基準
画像＃１の選択画素について仮定距離ｚ_nを順次変化さ
せて得られた各類似度の中から、最も類似度の高くなる
ものが判別され、最も類似度が高くなる仮定距離ｚ_nxが
真の距離と推定され、出力される。

【００２０】以上、２眼ステレオ視による場合を説明し
たが、３台以上の画像センサを用いてもよい。３台以上
の画像センサを用いて距離計測（物体認識）を行うこと
を、多眼ステレオ視による距離計測（物体認識）と称す
ることにする。

【００２１】多眼ステレオ視は対応点のあいまいさを低
減できるため格段に信頼性を向上できるので最近良く用
いられている。この多眼ステレオ視による距離計測装置
（物体認識装置）では、複数の画像センサを、２台の画
像センサからなるステレオ対に分割し、それぞれのステ
レオ対に対し、前述した２眼ステレオ視の原理を繰り返
し適用する方式をとっている。

【００２２】すなわち、複数ある画像センサの中から基
準となる画像センサを選択し、この基準画像センサと他
の画像センサとの間で、ステレオ対を構成する。そし
て、各ステレオ対に対して２眼ステレオ視の場合の処理
を適用していく。この結果、基準画像センサから基準画
像センサの視野内に存在する認識対象物までの距離が計
測されることになる。

【００２３】従来の多眼ステレオにおけるステレオ対の
関係を図２４を参照して説明すると、図２１に示す２眼
ステレオでは、基準画像＃１と対をなす対応画像は＃２
の１つであったが、多眼ステレオでは、基準画像＃１と
画像センサ２の画像＃２の対、基準画像＃１と画像セン
サ３の画像＃３の対、…、基準画像＃１と画像センサＮ
の画像＃Ｎの対という具合に複数のステレオ対が存在す
る。

【００２４】こうした対応画像と基準画像の各ステレオ
対に基づく処理を行う前には、画像センサたるカメラの
取付け歪みなどを考慮する必要があり、通常はキャリブ
レーションによる補正処理を前もって行うようにしてい
る。多眼ステレオによって対応点を探索して真の距離を
求める処理を、前述した２眼ステレオの図２１、図２３
に対応する図２４、図２５を用いて詳述する。

【００２５】図２４は、従来の多眼ステレオ視による距
離計測装置（物体認識装置）の構成を説明する図であ
る。なお、各画像センサ１、２、３、…、Ｎは、水平、
垂直あるいは斜め方向に所定の間隔で配置されているも
のとする（説明の便宜上、図２４では一定間隔で左右に
配置されている場合を示している）。

【００２６】図２６の基準画像入力部２０１には、視差
ｄ（距離ｚ）を算出する際に基準となる画像センサ１で
撮像された基準画像＃１が取り込まれる。一方、画像入
力部２０２には、基準画像＃１上の点に対応する対応点
が存在する画像である画像センサ２の画像＃２が取り込
まれる。他の画像入力部２０３、２０４においても、基
準画像＃１に対応する画像センサ３の画像＃３が、基準
画像＃１に対応する画像センサＮの画像＃Ｎがそれぞれ
取り込まれる。

【００２７】対応候補点座標発生部２０５では、基準画
像＃１の各選択画素Ｐ₁に対して、仮定した距離ｚ_n毎
に、画像センサ２の画像＃２の対応候補点Ｐ₂の位置座
標、画像センサ３の画像＃３の対応候補点Ｐ₃の位置座
標、画像センサＮの画像＃Ｎの対応候補点Ｐ_Nの位置座
標がそれぞれ記憶、格納されており、これらを読み出す
ことにより各対応候補点の位置座標を発生する。

【００２８】すなわち、基準画像センサ１の基準画像＃
１の中から位置（ｉ，ｊ）で特定される画素Ｐ₁が選択
されるとともに、認識対象物体５０までの距離ｚ_nが仮
定される。そして、この仮定距離ｚ_nに対応する画像セ
ンサ２の画像＃２内の対応候補点Ｐ₂の位置座標（Ｘ₂，
Ｙ₂）が読み出される。

【００２９】同様にして、基準画像＃１の選択画素
Ｐ₁、仮定距離ｚ_nに対応する画像センサ３の画像＃３の
対応候補点Ｐ₃の位置座標（Ｘ₃，Ｙ₃）が読み出され、
基準画像＃１の選択画素Ｐ₁、仮定距離ｚ_nに対応する画
像センサＮの画像＃Ｎの対応候補点Ｐ_Nの位置座標
（Ｘ_N，Ｙ_N）が読み出される。そして、仮定距離ｚ_nを
順次変化させて同様の読み出しが行われる。また、選択
画素を順次変化させることによって同様の読み出しが行
われる。こうして対応候補点Ｐ₂の位置座標（Ｘ₂，
Ｙ₂）、対応候補点Ｐ₃の位置座標（Ｘ₃，Ｙ₃）、対応候
補点Ｐ_Nの位置座標（Ｘ_N，Ｙ_N）が対応候補点座標発生
部２０５から出力される。

【００３０】つぎに、局所情報抽出部２０６では、この
ようにして対応候補点座標発生部２０５によって発生さ
れた対応候補点Ｐ₂の位置座標（Ｘ₂，Ｙ₂）に基づき局
所情報を抽出する処理が実行される。同様にして、局所
情報抽出部２０７では、対応候補点座標発生部２０５で
発生された画像センサ３の画像＃３の対応候補点Ｐ₃の
位置座標（Ｘ₃，Ｙ₃）に基づいて、対応候補点Ｐ₃の局
所情報が、局所情報抽出部２０８では、対応候補点座標
発生部２０５で発生された画像センサＮの画像＃Ｎの対
応候補点Ｐ_Nの位置座標（Ｘ_N，Ｙ_N）に基づいて、対応
候補点Ｐ_Nの局所情報がそれぞれ求められる。

【００３１】さらに、類似度算出部２０９では、上記局
所情報抽出部２０６で得られた対応候補点Ｐ₂の局所情
報Ｆ₂と基準画像＃１の選択画素Ｐ₁の画像情報との類似
度が算出される。具体的には、基準画像＃１の選択され
た画素の周囲の領域と、画像センサ２の画像＃２の対応
候補点の周囲の領域とのパターンマッチングにより、両
画像の領域同士が比較されて、類似度が算出される。

【００３２】すなわち、図２４に示すように、基準画像
＃１の選択画素Ｐ₁の位置座標を中心とするウインドウ
ＷＤ₁が切り出されるとともに、画像センサ２の画像＃
２の対応候補点Ｐ₂の位置座標を中心とするウインドウ
ＷＤ₂が切り出され、これらウインドウＷＤ₁、ＷＤ₂同
士についてパターンマッチングを行うことにより、これ
らの類似度が算出される。このパターンマッチングは各
仮定距離ｚ_n毎に行われる。

【００３３】図２（１）は、仮定距離ｚ_nとステレオ対
（基準画像センサ１と画像センサ２）の類似度の逆数Ｑ
s₁との対応関係を示すグラフである。

【００３４】図２４のウインドウＷＤ₁と、仮定距離が
ｚ'_nのときの対応候補点の位置座標を中心とするウイン
ドウＷＤ'₂とのマッチングを行った結果は、図２（１）
に示すように類似度の逆数Ｑsとして大きな値が得られ
ている（類似度は小さくなっている）が、図２４のウイ
ンドウＷＤ₁と、仮定距離がｚ_nxのときの対応候補点の
位置座標を中心とするウインドウＷＤ₂とのマッチング
を行った結果は、図２（１）に示すように類似度の逆数
Ｑsは小さくなっている（類似度は大きくなっている）
のがわかる。

【００３５】同様にして類似度算出部２１０では、基準
画像＃１の選択画素Ｐ₁の位置座標を中心とするウイン
ドウＷＤ₁と、画像センサ３の画像＃３の対応候補点Ｐ₃
の位置座標を中心とするウインドウＷＤ₃とのパターン
マッチングが実行され、これらの類似度が算出される。
そして、パターンマッチングが各仮定距離ｚ_n毎に行わ
れることによって、このステレオ対（画像センサ１と画
像センサ３）についても図２（２）に示すような仮定距
離ｚ_nと類似度の逆数Ｑs₂との対応関係が求められる。

【００３６】同様にして類似度算出部２１１では、基準
画像＃１の選択画素Ｐ₁の位置座標を中心とするウイン
ドウＷＤ₁と、画像センサＮの画像＃Ｎの対応候補点Ｐ_N
の位置座標を中心とするウインドウＷＤ_Nとのパターン
マッチングが実行され、これらの類似度が算出される。
そして、パターンマッチングが各仮定距離ｚ_n毎に行わ
れることによって、このステレオ対（画像センサ１と画
像センサＮ）についても図２（Ｎ）に示すような仮定距
離ｚ_nと類似度の逆数Ｑs_Nとの対応関係が求められる。

【００３７】最後に、各ステレオ対毎に得られた仮定距
離ｚ_nと類似度の逆数との対応関係を仮定距離毎に加算
する。さらに図２（融合結果）に示すように仮定距離ｚ
_nと類似度の逆数の加算値との対応関係から、最も類似
度が高くなる点（類似度の逆数の加算値が最小値となる
点）を判別し、この最も類似度が高くなっている点に対
応する仮定距離ｚ_nxを最終的に、認識対象物体５０上の
点５０ａまでの真の距離（最も確からしい距離）と推定
する。かかる処理は、基準画像＃１の各選択画素毎に全
画素について行われる。

【００３８】以上のようにして、距離推定部２１２で
は、仮定距離ｚ_nを順次変化させて得られた類似度の加
算値の中から、最も類似度の加算値が高くなるものが判
別され、最も類似度の加算値が高くなる仮定距離ｚ_nxが
真の距離と推定され、出力される。そして、かかる距
離推定が基準画像＃１の全画素について行われることか
ら、基準画像＃１の全選択画素に距離情報を付与した画
像（距離画像）が生成されることになる。

【００３９】

【発明が解決しようとする課題】本発明は、以下に列挙
する課題を解決しようとするものである。

【００４０】（１）作業視野が固定で、所望の作業視野
に設定することができない。

【００４１】上述したように従来の計測方法では、２眼
ステレオであれ、多眼ステレオであれ、基準となるべき
画像を得るための基準画像センサを用意し、この基準画
像に基づいて距離計測を行うようにしているため、この
基準画像センサの配設位置、取付時の傾きによって定ま
る観測視野（実際の画像センサから得られる視野のこと
をいう）でみた距離画像しか生成することができない。

【００４２】すなわち、ひとたび画像センサが固定され
たならば、観測視野は一義的に定まってしまい、所望の
観測視野からみた距離画像を生成することはできなかっ
た。しかし、実際には、物体を認識する際に、作業状況
に応じて観測視野を変えてやり、所望の作業視野（作業
にとって必要な視野）をもって作業を行いたいとの要請
がある。

【００４３】たとえば、図２６に示すように、車両６０
に画像センサ群１１を搭載して作業を行う場合であれ
ば、車両６０に固定した画像センサからみた車両６０前
方の作業視野だけではなく、状況によっては、車両６０
前方の障害物を俯瞰するような作業視野をもって障害物
を観測しつつ作業を行いたいとの要請がある。

【００４４】本発明の第１発明はこうした実状に鑑みて
なされたものであり、画像センサの配設位置、姿勢によ
って定まる作業視野に限定されることなく、作業状況に
応じた作業視野を取得できるようにすることを第１の解
決課題とするものである。

【００４５】（２）画像センサの光学系の種類に制約が
ある。

【００４６】従来の多眼ステレオ視による計測は、２眼
ステレオの原理を前提にしており、各ステレオ対すべて
について同一の基準で類似度の比較を行うことが必要で
あることから、多眼ステレオを構成する各画像センサ
は、正確に同一な光学的特性を有している必要がある。

【００４７】したがって、異なるレンズ特性を有した画
像センサを同時に使用したり、異なる感度の画像センサ
を同時に使用することはできない。

【００４８】ここに、一般に野外などで距離計測を行う
場合には、測定する距離に応じて、広角レンズと望遠レ
ンズを同時に使用して計測能力の向上を図ったり、外光
の状況に応じて、感度の異なる２種類の画像センサ、つ
まり、通常の感度のモノクロ画像センサと赤外線画像セ
ンサを併用したいとの要請がある。

【００４９】しかし、従来の多眼ステレオシステムで
は、画像センサの光学的特性を正確に同一に揃える必要
があることから、かかる光学的特性の異なる２種類の画
像センサを同時に使用することができなかった。

【００５０】この場合、通常の感度のモノクロ画像セン
サ群と、赤外線画像センサ群の２種類の画像センサ群を
用意して、各画像センサ群ごとに基準画像センサを設定
して、計測を行うことも可能であろうが、それぞれの基
準画像センサの配設位置が異なることから、これら２種
類の画像センサ群の計測結果をそれぞれ突き合わせて総
合的な判断を行うことはできないことになっていた。ま
た、それぞれの基準画像センサの配設位置を物理的に全
く同一にすることは不可能である。

【００５１】本発明の第２発明はこうした実状に鑑みて
なされたものであり、多眼ステレオによる計測におい
て、共通の仮想視野を設定することによって、２種類以
上の撮像条件の異なる画像センサ群それぞれの計測結果
を総合して判断できるようにして、計測の精度を向上さ
せることを第２の解決課題としている。

【００５２】（３）画像センサの組合せに制約がある。

【００５３】従来の多眼ステレオ視による計測は、２眼
ステレオの原理を前提にしており、各ステレオ対すべて
について同一の基準画像センサを基準に類似度の比較を
行うことが必要であることから、ひとたび基準画像セン
サが定まれば、複数のステレオ対は固定されてしまう。
そして、各ステレオ対すべてについて同一の基準で類似
度の比較を行なうことが必要である。したがって、状況
に応じて、それぞれ基準の異なるステレオ対を順次選択
したり、特定のステレオ対からの類似度に関する情報を
修正したり、異なる類似度算出の仕方を採用することは
できない。

【００５４】ここに、刻々と変化する作業視野に応じ
て、特定の画像センサの対（あるいは３以上の組合せ）
を順次選択していき、状況変化に応じたきめの細かい計
測を行いたいとの要請があるが、これに対処することは
できない。

【００５５】本発明の第３発明はこうした実状に鑑みて
なされたものであり、多眼ステレオによる計測におい
て、ステレオ対を固定して計測を行うのではなく、刻々
と変化する作業視野に応じて、特定のステレオ対の画像
センサ（あるいは３以上の画像センサの組合せ）を順次
選択していき、状況変化に対応したきめの細かい計測を
行うようにすることを第３の解決課題とするものであ
る。

【００５６】（４）距離の計測結果を用いて物体を認識
することによる非効率。

【００５７】従来の物体認識の一般的な方法は、まず全
空間について物体までの距離計測を行い、その後で、こ
れらの距離情報を解析して障害物までの距離、形状、大
きさなどの特徴を認識するものである。

【００５８】しかし、図２６に示すように車両６０が道
路６１を走行している場合のように、視野の状況が一様
のものであれば、全空間について距離計測を行うこと
は、非効率的である。

【００５９】すなわち、道路６１の存在する場所が予め
だいたい分かっていて、また車両６０にとっての障害物
が道路６１の直上に存在することが予想できるような場
合に、空中や道路の下の領域についても距離計測を実施
することは、演算処理上無駄が多く、演算処理が膨大な
ものとなってしまう。また、距離計測の処理の後で物体
の認識のための処理が必要となるが、これは単純な平面
上の障害物を認識するような場合でも複雑な処理にな
る。以上のように従来の計測方法では、効率のよい物体
の判別ができないばかりか、認識に誤りが発生する可能
性がある。

【００６０】本発明の第４発明は、こうした実状に鑑み
てなされたものであり、認識対象の物体の形状などが予
め特定されている場合に、より効率よく、誤認識するこ
となく、計測を行えるようにすることを第４の解決課題
とするものである。

【００６１】

【課題を解決するための手段および効果】そこで、第１
発明の主たる発明では、第１の解決課題を達成するため
に、複数の撮像手段を所定間隔をもって配置し、これら
複数の撮像手段のうちの一の撮像手段で対象物体を撮像
したときの当該一の撮像手段の撮像画像中の選択画素に
対応する他の撮像手段の撮像画像中の対応候補点の情報
を、前記一の撮像手段から前記選択画素に対応する前記
物体上の点までの仮定距離の大きさ毎に抽出し、前記選
択画素の画像情報と前記対応候補点の画像情報の類似度
を算出し、この算出された類似度が最も大きくなるとき
の前記仮定距離を、前記一の撮像手段から前記選択画素
に対応する前記物体上の点までの距離とし、この各選択
画素毎に求められた距離に基づき前記物体を認識するよ
うにした物体の認識装置において、所望の位置で、所望
の視野をもって前記物体を撮像したときの仮想の撮像手
段による仮想の撮像画像を、前記一の撮像手段の撮像画
像の代わりに、設定する仮想視野情報設定手段と、前記
仮想視野情報設定手段で設定された仮想画像中の選択画
素に対応する前記複数の撮像手段の撮像画像中の対応候
補点の情報を、前記仮想視野情報設定手段で設定された
視点から前記選択画素に対応する前記物体上の点までの
仮定距離の大きさ毎に抽出する対応候補点情報抽出手段
と、前記対応候補点情報抽出手段で抽出された対応候補
点の画像情報同士の類似度を算出する類似度算出手段
と、前記類似度算出手段で算出された類似度が最も大き
くなるときの前記仮定距離を、前記仮想視野情報設定手
段で設定された視点から前記選択画素に対応する前記物
体上の点までの距離とし、この距離を各選択画素毎に求
める距離推定手段とを具えるようにしている。

【００６２】かかる構成によれば、図１と図４に示すよ
うに、仮想視野情報設定部３０５において、所望の位置
で、所望の視野をもって物体５０を撮像したときの仮想
の撮像手段２１による仮想画像＃２１が、一の撮像手段
１の画像＃１の代わりに、設定される。

【００６３】そして、対応候補点座標発生部３０６にお
いて、設定された仮想画像＃２１中の位置（ｉ，ｊ）で
特定される選択画素Ｐ₂₁に対応する複数の撮像手段１〜
Ｎの画像＃１〜＃Ｎ中の対応候補点Ｐ_kの位置座標
（Ｘ_k，Ｙ_k）（ｋ＝１、…、Ｎ）を、仮定距離ｚ_n毎に
発生する。

【００６４】そして、類似度算出手段３１１〜３１３に
おいて、発生された対応候補点Ｐ_kの位置座標（Ｘ_k，Ｙ
_k）（ｋ＝１、…、Ｎ）の画像情報同士の類似度が算出
される。

【００６５】そして、距離推定手段３１４において、上
記算出された類似度の加算値が最も大きくなるときの仮
定距離ｚ_nxが、仮想撮像手段２１の選択画素Ｐ₂₁に対応
する物体５０上の点５０ａまでの距離として求められ
る。

【００６６】このように、本発明によれば、基準画像セ
ンサたる一の撮像手段１の代わりに、所望の観測視野を
有した仮想の撮像手段２１を任意に設定できるようにな
ったので、画像センサ１〜Ｎの配設位置、姿勢によって
定まる作業視野に限定されることなく、作業状況に応じ
た作業視野を取得することができる。とりわけ、物理的
に画像センサを配置することが困難であったり、画像セ
ンサの使用が困難な環境の良くない場所であっても、そ
の場所に実際の基準画像センサを配置したのと同じ視野
の距離画像を得ることができる。

【００６７】さらに、以下の種々の効果がもたらされ
る。

【００６８】すなわち、本発明によれば、空間認識、物
体認識を行うための基準となる観測視野を自由に変更で
きるため、後段の処理を効率よく行うことができる。

【００６９】この点、従来の計測方法では、実際に得ら
れる作業視野は、実際の画像センサ１〜Ｎの何れかで得
られる観測視野に限定される。このため、取得された観
測視野に応じて対象物の認識や判断を行おうとすると、
その目的に応じた作業視野を取得する必要があり、この
ため座標変換を行ったり、画像センサの向きを物理的に
変更する必要があった。また、認識のためのアルゴリズ
ムも複雑になる場合があった。

【００７０】本発明によれば、認識、判断などの後段の
処理に合わせて、自由に作業視野を変更することができ
るため、画像センサの向きを物理的に変更することなど
の複雑な後段の処理を要することなく、簡易に、効率よ
く、後段の認識、判断などの処理を行うことが可能にな
る。

【００７１】また、本発明によれば、仮想画像＃２１、
つまり仮想視野に基づいて、各画像センサからの局所情
報を抽出するときに、それぞれの画像センサのキャリブ
レーションを同時に行っていることになる。このため、
キャリブレーションのためだけに新たに処理を追加する
必要がなく、かつ効率よくキャリブレーションを実行す
ることが可能である。

【００７２】また、本発明によれば、実際に画像センサ
の配設位置を変化させることなく、仮想画像＃２１、つ
まり仮想視野を演算処理の上で任意に変更することがで
き、いわば「電子的な首振り」が可能であるので、機械
的に画像センサの位置、姿勢を変化させる機構を設けな
いで済む。このため、機械的故障などのない信頼性の高
いシステムを構築することが可能となる。よって、こう
した「電子的な首振り」を応用して、人の目線の動きに
合わせて、仮想視野を変更することも可能である。この
ようなシステムを構築することにより、遠隔地に居なが
らも、あたかも観測地点に居て自在に視線を向けた場合
の画像を生成することができる。

【００７３】また、第２発明の主たる発明では、第２の
解決課題達成のために、複数の撮像手段を所定間隔をも
って配置し、これら複数の撮像手段のうちの一の撮像手
段で対象物体を撮像したときの当該一の撮像手段の撮像
画像中の選択画素に対応する他の撮像手段の撮像画像中
の対応候補点の情報を、前記一の撮像手段から前記選択
画素に対応する前記物体上の点までの仮定距離の大きさ
毎に抽出し、前記選択画素の画像情報と前記対応候補点
の画像情報の類似度を算出し、この算出された類似度が
最も大きくなるときの前記仮定距離を、前記一の撮像手
段から前記選択画素に対応する前記物体上の点までの距
離とし、この各選択画素毎に求められた距離に基づき前
記物体を認識するようにした物体の認識装置において、
前記複数の撮像手段は、前記物体を撮像する条件の異な
る少なくとも２種類の撮像手段群に分類されるものであ
り、所望の位置で、所望の視野をもって前記物体を撮像
したときの仮想の撮像手段による仮想の撮像画像を、前
記一の撮像手段の撮像画像の代わりに、設定する仮想視
野情報設定手段と、前記仮想視野情報設定手段で設定さ
れた仮想画像中の選択画素に対応するそれぞれの前記撮
像手段群の撮像画像中の対応候補点の情報を、前記仮想
視野情報設定手段で設定された視点から前記選択画素に
対応する前記物体上の点までの仮定距離の大きさ毎に抽
出する対応候補点情報抽出手段と、前記対応候補点情報
抽出手段で抽出された対応候補点の画像情報同士の類似
度を、それぞれの前記撮像手段群毎に算出する類似度算
出手段と、前記類似度算出手段で算出されたそれぞれの
前記撮像手段群についての類似度に基づいて融合類似度
を求め、この融合類似度が最も大きくなるときの前記仮
定距離を、前記仮想視野情報設定手段で設定された視点
から前記選択画素に対応する前記物体上の点までの距離
とし、この距離を各選択画素毎に求める距離推定手段と
を具えるようにしている。

【００７４】かかる構成によれば、例えば２つの撮像手
段群で説明した場合、図７（ｂ）に示すように、複数の
撮像手段１１″が、物体５０を撮像する条件の異なる２
種類の第１の撮像手段群１４１、１４２、…と第２の撮
像手段群１５１、１５２、…とに分類される。

【００７５】そして、図１と図９に示すように、仮想視
野情報設定手段５０５において、所望の位置で、所望の
視野をもって物体５０を撮像したときの仮想の撮像手段
２１による仮想画像＃２１が、一の撮像手段１４１、１
５１の画像＃１４１、＃１５１の代わりに、設定され
る。

【００７６】そして、対応候補点座標発生部５０６にお
いて、設定された仮想画像＃２１中の位置（ｉ，ｊ）で
特定される選択画素Ｐ₂₁に対応する第１の撮像手段群１
４１、１４２、…の画像＃１４１、＃１４２、…中の対
応候補点および第２の撮像手段群１５１、１５２…の画
像＃１５１、＃１５２、…中の対応候補点Ｐ_kの位置座
標（Ｘ_k，Ｙ_k）が仮定距離ｚ_nの大きさ毎に発生され
る。

【００７７】そして、類似度算出手段５１１、５１２に
おいて、発生された対応候補点Ｐ_kの位置座標（Ｘ_k，Ｙ
_k）の画像情報同士の類似度が、第１の撮像手段群１４
１、１４２、…、第２の撮像手段群１５１、１５２、
…、それぞれ毎に算出される。そして、距離推定手段５
１５において、図１０（ａ）、（ｂ）、（ｃ）に示すよ
うに、上記算出された第１の撮像手段群１４１、１４
２、…についての類似度（類似度の逆数Ｑs₁）と第２の
撮像手段群１５１、１５２、…についての類似度（類似
度の逆数Ｑs₂）とを融合した融合類似度（類似度の逆数
の加算値Ｑs₁₂）が最も大きくなるときの仮定距離ｚ_nx
が各選択画素毎に求められる。

【００７８】このように、多眼ステレオによる計測にお
いて、仮想撮像手段（仮想画像センサ）２１を設定し
て、これを第１の撮像手段群（第１の画像センサ群）と
第２の撮像手段群（第２の画像センサ群）に共通の基準
画像センサとしたので（撮像手段群毎に別々に基準画像
センサを設定することを要しないので）、明視野用画像
センサ群と暗視野用画像センサ群、あるいは通常の感度
のモノクロ画像センサ群と、赤外線画像センサ群のよう
に、光学的特性の異なる画像センサ群同士であっても、
これら２種類の画像センサ群の計測結果をそれぞれ融合
して総合的な判断を行うことが可能となる。２種類の撮
像条件の異なる画像センサ群それぞれの計測結果を総合
して判断できるようになった結果、計測の精度を飛躍的
に向上させることができる。

【００７９】以上は２種類の撮像手段群の場合で説明し
たが、３種類以上の撮像手段群の場合にも同様に適用さ
れる。

【００８０】また、第３発明の主たる発明では、第３の
解決課題達成のために、複数の撮像手段を所定間隔をも
って配置し、これら複数の撮像手段のうちの一の撮像手
段で対象物体を撮像したときの当該一の撮像手段の撮像
画像中の選択画素に対応する他の撮像手段の撮像画像中
の対応候補点の情報を、前記一の撮像手段から前記選択
画素に対応する前記物体上の点までの仮定距離の大きさ
毎に抽出し、前記選択画素の画像情報と前記対応候補点
の画像情報の類似度を算出し、この算出された類似度が
最も大きくなるときの前記仮定距離を、前記一の撮像手
段から前記選択画素に対応する前記物体上の点までの距
離とし、この各選択画素毎に求められた距離に基づき前
記物体を認識するようにした物体の認識装置において、
前記複数の撮像手段は、前記物体を撮像する条件の異な
る少なくとも２種類の撮像手段群に分類されるものであ
り、前記物体の撮像条件に応じて、前記撮像手段群の中
から少なくとも一つの撮像手段群を、実際に使用すべき
撮像手段群として選択する撮像手段群選択手段と、所望
の位置で、所望の視野をもって前記物体を撮像したとき
の仮想の撮像手段による仮想の撮像画像を、前記一の撮
像手段の撮像画像の代わりに、設定する仮想視野情報設
定手段と、前記仮想視野情報設定手段で設定された仮想
画像中の選択画素に対応する前記選択された撮像手段群
の撮像画像中の対応候補点の情報を、前記仮想視野情報
設定手段で設定された視点から前記選択画素に対応する
前記物体上の点までの仮定距離の大きさ毎に抽出する対
応候補点情報抽出手段と、前記対応候補点情報抽出手段
で抽出された対応候補点の画像情報同士の類似度を、前
記選択された撮像手段群について算出する類似度算出手
段と、前記類似度算出手段で算出された前記選択撮像手
段群についての類似度が最も大きくなるときの前記仮定
距離を、前記仮想視野情報設定手段で設定された視点か
ら前記選択画素に対応する前記物体上の点までの距離と
し、この距離を各選択画素毎に求める距離推定手段とを
具えるようにしている。

【００８１】かかる構成によれば、図８に示すように、
作業視野Ａrの撮像条件（車両６０の速度Ｖ、進行方向
φ）に応じて、複数の撮像手段群である画像センサ群１
１の中から実際に使用すべき少なくとも２つの撮像手段
である画像センサ２、３が選択される。

【００８２】そして、道路６１の撮像条件に応じた所望
の位置で、所望の視野をもって道路６１を撮像したとき
の図１に示す仮想画像センサ２１による仮想画像＃２１
が、一の撮像手段１の画像＃１の代わりに設定される。
そして、設定された仮想画像＃２１中の位置（ｉ，ｊ）
で特定される選択画素Ｐ₂₁に対応する前記選択された少
なくとも２つの撮像手段２、３の画像中の対応候補点Ｐ
_kの位置座標（Ｘ_k，Ｙ_k）を仮定距離ｚ_nの大きさ毎に発
生する。

【００８３】そして、発生された対応候補点Ｐ_kの位置
座標（Ｘ_k，Ｙ_k）の画像情報同士の類似度が算出され
る。

【００８４】そして、上記算出された類似度が最も大き
くなるときの仮定距離ｚ_nxが作業視野Ａr中の物体上の
点までの距離とされ各選択画素毎に求められる。

【００８５】このように、本発明によれば、多眼ステレ
オによる計測において、ステレオ対を固定して計測を行
うのではなく、刻々と変化する作業視野Ａrに応じて、
特定のステレオ対の画像センサ２、３を順次選択してい
くことができるので、状況変化（車両６０の速度Ｖ、進
行方向φの変化など）に対応したきめの細かい計測を行
うことができる。

【００８６】また、第４発明では、第４の解決課題達成
のために、所定間隔をもって配置され、認識対象物体を
撮像する複数の撮像手段と、前記認識対象物体に応じた
モデル群を仮定するとともに、当該モデル群の各モデル
上の各点の位置座標を設定する仮定モデル情報設定手段
と、前記複数の撮像手段のうちの一の撮像手段で前記認
識対象物体を撮像したときの当該一の撮像手段の撮像画
像中の選択画素に対応する他の撮像手段の撮像画像中の
対応候補点の情報を、前記モデル群の中から選択された
仮定モデル毎に、当該仮定モデルの位置座標を用いて抽
出する対応候補点情報抽出手段と、前記選択画素の画像
情報と前記対応候補点情報抽出手段で抽出された対応候
補点の画像情報の類似度を算出する類似度算出手段と、
前記類似度算出手段で算出された類似度が最も大きくな
るときの前記仮定モデルを、前記選択画素に対応する点
のモデルとし、このモデルを各選択画素毎に求めるモデ
ル推定手段とを具えるようにしている。

【００８７】かかる構成によれば、図１３に示すよう
に、車両６０上の画像センサ群１１を用いて道路６１を
認識するような問題の場合に、以下のように効率的に処
理を実施することができる。

【００８８】すなわち、図２７に示すように、基準画像
入力部８０１およびその他の画像入力部８０２〜８０４
から認識対象である道路６１の基準画像および対応画像
を複数取り込み、仮定モデル情報設定部８０５では道路
６１に応じたモデルＭ₁、Ｍ₂、Ｍ₃、Ｍ₄をパラメータθ
の値θ₁、θ₂、θ₃、θ₄毎に生成する。

【００８９】そして、対応候補点座標発生部８０６で
は、図２８に示すように基準画像センサ１の画像＃１中
の位置（ｉ，ｊ）で特定される選択画素Ｐ₁に対応する
他の画像センサｋの画像＃ｋ中の対応候補点Ｐ_kの位置
座標（Ｘ_k，Ｙ_k）を、選択された仮定モデルＭ_i（ｉ＝
１〜４）毎に発生する。

【００９０】さらに、局所情報抽出部８０７〜８１０で
はそれぞれの局所情報を抽出し、類似度算出部８１１〜
８１３では基準画像の局所情報と比較することにより各
類似度が算出される。

【００９１】そして、モデル推定部８１４では、図１４
に例を示すように、上記算出された類似度の逆数の加算
値が最も大きくなるモデル（ここでは、Ｍ₃とＭ₄の間
のモデルＭ_2.6［θ＝３度］のように計測のきざみ幅よ
り細かい値を求めることもできる。）が、選択画素Ｐ₁
に対応するモデルとして推定される。このモデルが各選
択画素毎に求められ、この各選択画素毎に求められたモ
デルの中で最も頻度の高いモデル（Ｍ₃）が、道路６１
を示すモデルと認識される。

【００９２】このように、認識対象の物体の形状などが
予め特定されている場合に、これをモデル化して、認識
対象を判別するようにしたので、従来のように全空間の
各点ごとに距離計測を行ったり、距離計測結果から物体
を特定、抽出したりする複雑な処理を要しないので、よ
り効率よく、誤認識することなく、計測を行えるように
なる。

【００９３】

【発明の実施の形態】以下、図面を参照して本発明の実
施形態について説明する。

【００９４】・第１の実施形態本実施形態は、所望の作業視野を取得することができる
実施形態である。

【００９５】以下、関連する図を参照して説明する。

【００９６】図４は、本実施形態の多眼ステレオ視によ
る物体認識装置の構成を示すブロック図であり、図２３
に示す従来装置に対応している。また、図３は、本実施
形態の仮想画像センサを含む各画像センサの構成図であ
り、図２４に示す従来の画像センサの構成図に対応して
いる。なお、本実施形態では、多眼ステレオに適用され
る場合を想定しているが、２眼ステレオに適用してもよ
い。

【００９７】多眼ステレオを構成する基準画像センサ１
と各画像センサ２、３、…、Ｎは、水平、垂直あるいは
斜め方向に所定の間隔で配置されているものとする。な
お、説明の便宜上、図３では一定間隔で左右に配置され
ている場合を示している。

【００９８】基準画像入力部３０１および各画像入力部
３０２、３０３、…、３０４には、それぞれ基準画像＃
１および各画像＃２、＃３、…、＃Ｎが取り込まれる。

【００９９】仮想視野情報設定部３０５では、図１に示
すように、所望の位置で、所望の視野をもって物体５０
を撮像したときの仮想画像センサ２１による仮想画像＃
２１に関する情報が設定される。つまり、作業視野とな
るべき仮想視野が設定される。この仮想画像センサ２
１には、実際の画像センサと同じように、画像センサの
配設位置、向き（姿勢）、焦点距離、解像度などのパラ
メータが定義される。また、目的に応じて仮想画像セン
サ２１のパラメータを自由に変更してもよい。なお、図
１において４１は仮想画像センサ２１を構成する仮想的
なレンズを示している。

【０１００】対応候補点座標発生部３０６では、仮想画
像＃２１の各選択画素に対して、仮定した距離ｚ_n毎
に、基準画像＃１の対応候補点の位置座標、画像センサ
２の画像＃２の対応候補点の位置座標、画像センサ３の
画像＃３の対応候補点の位置座標、画像センサＮの画像
＃Ｎの対応候補点の位置座標がそれぞれ記憶、格納され
ており、これらを読み出すことにより各対応候補点の位
置座標を発生する。ここでは簡単のために位置座標を記
憶格納した例で説明するが、位置座標を演算によって求
めても良い。

【０１０１】仮想画像＃２１の選択画素Ｐ₂₁と、仮定距
離ｚ_nにおける各画像センサｋ（ｋ＝１、２、…、Ｎ：
以下、ｋは同じ意味として使用する）の対応候補点Ｐ_k
の位置座標（Ｘ_k，Ｙ_k）との関係を図１に示す。

【０１０２】図１の物体５０上の位置座標（ｘ，ｙ，
ｚ）は、全体座標系ｘ−ｙ−ｚで表され、画像上の位置
座標（Ｘ，Ｙ）は各画像毎に設定された局所座標系Ｘ−
Ｙで表されるものとする。同図に示すように、仮想画像
センサ２１の仮想画像＃２１の中の（ｉ，ｊ）で特定さ
れる選択画素Ｐ₂₁が選択されるとともに、認識対象物体
５０上の点５０ａ（ｘ，ｙ，ｚ）までの距離ｚ_nが仮定
される。そして、この仮定距離ｚ_nに対応する実際の各
画像センサｋの画像＃ｋ内の対応候補点Ｐ_kの位置座標
（Ｘ_k，Ｙ_k）が読み出される。

【０１０３】つぎに、局所情報抽出部３０７〜３１０で
は、このようにして対応候補点座標発生部３０６によっ
て発生された対応候補点Ｐ_kの位置座標に基づき局所情
報を抽出する処理がそれぞれ実行される。

【０１０４】そして、画像＃１、＃２、＃３、・・・、＃
Ｎの対応候補点Ｐ₁、Ｐ₂、Ｐ₃、・・・、Ｐ_Nの画像情報
Ｆ₁、Ｆ₂、Ｆ₃、・・・、Ｆ_Nがそれぞれ得られると、基
準画像＃１の対応候補点Ｐ₁の画像情報Ｆ₁を基準とする
類似度が各類似度算出部３１１〜３１３で算出される。

【０１０５】すなわち、類似度算出部３１１では、画像
センサ２の画像＃２の対応候補点Ｐ₂の画像情報Ｆ₂と基
準画像＃１の対応候補点Ｐ₁の画像情報Ｆ₁との比較によ
り、これらの画像情報の類似度が、また、類似度算出部
３１２では、画像センサ３の画像＃３の対応候補点Ｐ₃
の画像情報Ｆ₃と基準画像＃１の対応候補点Ｐ₁の画像情
報Ｆ₁との比較により、これらの画像情報の類似度が、
また、類似度算出部３１３では、画像センサＮの画像＃
Ｎの対応候補点Ｐ_Nの画像情報Ｆ_Nと基準画像＃１の対応
候補点Ｐ₁の画像情報Ｆ₁との比較により、これらの画像
情報の類似度がそれぞれ算出される。

【０１０６】つまり、本実施形態では、基準画像＃１
を、類似度算出の際の基準となる画像としている点で、
図２５の従来の類似度算出部２０９〜２１１と共通して
いる。たとえば、基準画像＃１の画像情報と対応画像
（たとえば＃２）の画像情報との差の２乗が、類似度と
して求められる。具体的には、類似度算出部３１１で
は、基準画像＃１の対応候補点Ｐ₁の周囲の領域と、画
像センサ２の画像＃２の対応候補点の周囲の領域とのパ
ターンマッチングにより、両画像の領域同士が比較され
て、類似度が算出される。

【０１０７】すなわち、図３に示すように、基準画像＃
１の対応候補点Ｐ₁の位置座標を中心とするウインドウ
ＷＤ₁が切り出されるとともに、画像センサ２の画像＃
２の対応候補点Ｐ₂の位置座標を中心とするウインドウ
ＷＤ₂が切り出され、これらウインドウＷＤ₁、ＷＤ₂同
士についてパターンマッチングを行うことにより、これ
らの類似度が算出される。このパターンマッチングは各
仮定距離ｚ_n毎に行われる。

【０１０８】図２（１）は、このステレオ対（基準画像
センサ１と画像センサ２）について得られた、仮定距離
ｚ_nと類似度の逆数Ｑsとの対応関係を示すグラフであ
る。同図に示すように、仮定距離がｚ'_nのときの対応候
補点の位置を中心とする基準画像センサのウインドウＷ
Ｄ'₁と画像センサ２のウインドウＷＤ'₂とのマッチング
を行った結果は、類似度の逆数Ｑsとして大きな値が得
られている（類似度は小さくなっている）が、ウインド
ウＷＤ₁と、仮定距離がｚ_nxのときの対応候補点の位置
座標を中心とするウインドウＷＤ₂とのマッチングを行
った結果は、類似度の逆数Ｑsは小さくなっている（類
似度は大きくなっている）のがわかる。同様にして類似
度算出部３１２では、基準画像＃１の対応候補点Ｐ₁の
位置座標を中心とするウインドウＷＤ₁と、画像センサ
３の画像＃３の対応候補点Ｐ₃の位置座標を中心とする
ウインドウＷＤ₃とのパターンマッチングが実行され、
これらの類似度が算出される。そして、パターンマッチ
ングが各仮定距離ｚ_n毎に行われることによって、この
ステレオ対（画像センサ１と画像センサ３）についても
図２（２）に示すような仮定距離ｚ_nと類似度の逆数Ｑs
との対応関係が求められる。

【０１０９】同様にして類似度算出部３１３では、基準
画像＃１の対応候補点Ｐ₁の位置座標を中心とするウイ
ンドウＷＤ₁と、画像センサＮの画像＃Ｎの対応候補点
Ｐ_Nの位置座標を中心とするウインドウＷＤ_Nとのパター
ンマッチングが実行され、これらの類似度が算出され
る。そして、パターンマッチングが各仮定距離ｚ_n毎に
行われることによって、このステレオ対（画像センサ１
と画像センサＮ）についても図２（Ｎ）に示す仮定距離
ｚ_nと類似度の逆数Ｑsとの対応関係が求められる。

【０１１０】最後に、各ステレオ対毎に得られた仮定距
離ｚ_nと類似度の逆数との対応関係を加算し、仮定距離
ｚ_nと類似度の逆数の加算値との図２（融合した結果）
のような対応関係が求められる。

【０１１１】このようにして仮定距離ｚ_nと類似度の逆
数の加算値との対応関係から、最も類似度が高くなる点
（類似度の逆数の加算値が最小値となる点）を判別し、
この最も類似度が高くなっている点に対応する仮定距離
ｚ_nxを最終的に、認識対象物体５０上の点５０ａまでの
真の距離（最も確からしい距離）と推定する。かかる処
理は、仮想画像＃２１の各選択画素毎に全画素について
行われる。

【０１１２】以上のようにして、距離推定部３１４で
は、仮定距離ｚ_nを順次変化させて得られた類似度の加
算値の中から、最も類似度の加算値が高くなるものが判
別され、最も類似度の加算値が高くなる仮定距離ｚ_nxが
真の距離と推定され、出力される。

【０１１３】なお、仮想画像＃２１の各選択画素ごと
に、各画像＃１〜＃Ｎの対応点の画像情報が求められる
ので、仮想画像＃２１の各画素に、対応点の画像情報を
付与することで、仮想画像センサ２１で物体５０を撮像
したときの撮像画像を生成することができる。この場
合、仮想画像＃２１の各画素に付与される対応点の画像
情報としては、各画像＃１〜＃Ｎの対応点の明度の平均
値、メディアン値等を用いることができる。こうして仮
想画像センサ２１であたかも撮影したような画像を生成
できる。

【０１１４】また、加算した図２（融合した結果）に示
すように、仮想画像＃２１の各選択画素ごとに、類似度
の逆数Ｑsが最小になるときの推定距離ｚ_nxが求められ
るが、この時類似度の逆数の加算値の最小値を、その推
定距離ｚ_nxの信頼度を示すデータ（最小値が小さい値を
示すほど信頼度は高い）として、各推定距離ｚ_nxごとに
対応づけておくような実施も可能である。また、信頼度
としては、この他に類似度の変化率または原画像の変化
率などに基づいて求めたものを利用しても良い。

【０１１５】以上のように、本実施形態によれば、所望
の観測視野を有した仮想画像センサ２１を任意に設定し
て、この仮想画像センサ２１による距離画像、撮像画像
を取得することができるので、画像センサ１〜Ｎの配設
位置、姿勢によって一義的に定まる作業視野に限定され
ることなく、作業状況に応じた作業視野をもって、物体
５０の認識、判断などの処理をすることができるように
なる。とりわけ、物理的に画像センサを配置することが
困難であったり、画像センサの使用が困難な環境の良く
ない場所であっても、その場所に、仮想画像センサ２１
を設定することで、その場所に実際の画像センサを配置
したのと同等の画像を取得することができる。

【０１１６】さらに、仮想画像センサ２１で得られた仮
想画像＃２１は、機械的な首振り機構によらずに、演算
処理の上だけで任意に位置、姿勢の変更が可能であるの
で（「電子的な首振り」）、画像センサ１〜Ｎは固定し
たままで、自由に視点を変えた画像を得ることができ
る。これを利用して、物体をトラッキングするシステム
や、作業目的に応じて自動的に視野を変化させるシステ
ムを、機械的な首振り機構を要せずして構築することが
可能となる。

【０１１７】つぎに、上記実施形態の変形例について説
明する。

【０１１８】図５は上述した図３に対応する画像センサ
の構成図であり、図６は上述した図４に対応するブロッ
ク図である。

【０１１９】図３、図４の実施形態と異なるのは、類似
度を算出する際に、基準画像センサ１の基準画像＃１の
対応候補点Ｐ₁の画像情報Ｆ₁を基準として、各ステレオ
対ごとに類似度を求めているのではなく、画像センサ１
を含む全画像センサ１〜Ｎの対応候補点Ｐ₁〜Ｐ_Nの局
所情報Ｆ₁〜Ｆ_Nのばらつき度合いから、これら多眼ス
テレオ全体の類似度を算出している点である。

【０１２０】図６において、仮想視野情報設定部４０
４、対応候補点座標発生部４０５、局所情報抽出部４０
６、４０７、・・・、４０８は、図４の仮想視野情報設定
部３０５、対応候補点座標発生部３０６、局所情報抽出
部３０７、３０８、・・・、３１０に相当するものであ
る。

【０１２１】類似度算出部４０９では、局所情報抽出部
４０６、４０７、・・・、４０８で抽出された画像＃１、
＃２、・・・、＃Ｎの対応候補点Ｐ₁、Ｐ₂、・・・、Ｐ_Nの
局所情報Ｆ₁、Ｆ₂、・・・、Ｆ_Nに基づき、これら局所情
報Ｆ₁、Ｆ₂、・・・、Ｆ_Nの「まとまり具合」を示す評価
値が類似度として算出される。この「まとまり具合」を
示す評価値は、例えば画像情報の平均値からの差の絶対
値の総和や画像情報の分散値などである。たとえば、画
像情報の分散値が小さいと、「まとまり具合」の評価と
しては高くなり、類似度は大きいとされる。

【０１２２】このように、図４のごとく基準画像＃１の
画像情報を基準として差分をとるなどして各ステレオ対
ごとに類似度を算出し、これら各ステレオ対ごとの類似
度を加算するなどして全体の類似度を求めているのでは
なく、全画像＃１〜＃Ｎの全画像情報に基づく一括した
算出により全体の類似度を求めているので、より柔軟で
安定性が高く類似度を求めることができる。全画像＃１
〜＃Ｎについての類似度は、仮定距離ｚ_nごとに求めら
れる。

【０１２３】距離推定部４１０では、仮定距離ｚ_nを順
次変化させて得られた類似度の中から、最も類似度が高
くなるものが判別され、最も類似度が高くなる仮定距離
ｚ_nxが真の距離と推定され、出力される。なお、仮想画
像＃２１の各選択画素ごとに、各画像＃１〜＃Ｎの対応
点の画像情報が求められるので、仮想画像＃２１の各画
素に、対応点の画像情報を付与することで、仮想画像セ
ンサ２１で物体５０を撮像したときの撮像画像を生成す
ることができる。

【０１２４】・第２の実施形態本実施形態は、配置位置、方向、光学的特性、解像度な
どが異なる複数種類の画像センサ群を同時に使用するこ
とができ、複数種類全ての画像センサ群からの情報を用
いて信頼度の高い距離計測、物体認識を行うことができ
る実施形態である。

【０１２５】図７（ｂ）は、本実施形態で想定している
画像センサ群１１″を示しており、明視野用画像センサ
群１４１〜１４４と、暗視野用画像センサ群１５１〜１
５４とから成っている。画像センサ群１１″の中央位置
には、照度計１６が配設されている。明視野用画像セン
サ１４１〜１４４は、照度が高い環境下で、暗視野用画
像センサ１５１〜１５４よりも感度が高い特性を示し、
暗視野用画像センサ１５１〜１５４は、照度が低い環境
下で、明視野用画像センサ１４１〜１４４よりも感度が
高い特性を示す。

【０１２６】図９は、上記画像センサ群１１″の撮像画
像に基づき距離計測、物体認識を行う装置のブロック図
であり、図６に対応するブロック図であり、図６と同様
に本実施形態では、類似度を算出する際に、基準となる
基準画像センサを設定していない。

【０１２７】図６の実施形態と異なるのは、類似度を、
画像センサの種類ごと、つまり明視野用画像センサ群１
４１〜１４４、暗視野用画像センサ群１５１〜１５４毎
に算出している点である。

【０１２８】画像入力部５０１〜５０２には、明視野用
画像センサ１４１〜１４４の画像＃１４１〜＃１４４が
取り込まれる。同様に、画像入力部５０３〜５０４に
は、暗視野用画像センサ１５１〜１５４の画像＃１５１
〜＃１５４が取り込まれる。

【０１２９】図９において、仮想視野情報設定部５０
５、対応候補点座標発生部５０６は、図４の仮想視野情
報設定部３０５、対応候補点座標発生部３０６、あるい
は図６の仮想視野情報設定部４０４、対応候補点座標発
生部４０５に相当するものである。

【０１３０】仮想視野情報設定部５０５では、図１に示
すように、明視野用画像センサ１４１〜１４４、暗視野
用画像センサ１５１〜１５４に共通の仮想画像＃２１が
設定され、この仮想画像＃２１中の位置（ｉ，ｊ）で特
定される選択画素Ｐ₂₁が選択される。

【０１３１】対応候補点座標発生部５０６では、上記設
定された仮想画像＃２１中の選択画素Ｐ₂₁に対応する明
視野用画像センサ群１４１〜１４４の画像＃１４１〜＃
１４４中の対応候補点および暗視野用画像センサ群１５
１〜１５４の画像＃１５１〜＃１５４中の対応候補点Ｐ
_kの位置座標（Ｘ_k，Ｙ_k）（ｋ＝１４１、１４２、１４
３、１４４、１５１、１５２、１５３、１５４：以下ｋ
は同じ意味で使用する）を仮定距離ｚ_nの大きさ毎に発
生する。

【０１３２】局所情報抽出部５０７〜５０８は、図４の
局所情報抽出部３０７、３０８、３１０あるいは図６の
４０６、４０７、・・・、４０８に相当するものであり、
明視野用画像センサ１４１〜１４４の画像＃１４１〜＃
１４４上の対応候補点Ｐ₁₄₁〜Ｐ₁₄₄の局所情報Ｆ₁₄₁〜
Ｆ₁₄₄が抽出される。局所情報抽出部５０９〜５１０に
おいても同様に、暗視野用画像センサ１５１〜１５４の
画像＃１５１〜＃１５４上の対応候補点Ｐ₁₅₁〜Ｐ₁₅₄の
局所情報Ｆ₁₅₁〜Ｆ₁₅₄が抽出される。

【０１３３】類似度算出部５１１では、局所情報抽出部
５０７〜５０８で抽出された明視野用画像センサの画像
＃１４１、＃１４２、＃１４３、＃１４４の対応候補点
Ｐ₁₄ ₁、Ｐ₁₄₂、Ｐ₁₄₃、Ｐ₁₄₄の画像情報Ｆ₁₄₁、Ｆ₁₄₂、
Ｆ₁₄₃、Ｆ₁₄₄に基づき、これら画像情報Ｆ₁₄₁、Ｆ₁₄₂、
Ｆ₁₄₃、Ｆ₁₄₄の分散値（画像情報の「まとまり具合」を
示す評価値）が類似度として算出される。この類似度
は、仮定距離ｚ_nごとに求められる。

【０１３４】この結果、類似度算出部５１１からは、図
１０（ａ）に示すように、仮定距離ｚ_nに各対応した類
似度の逆数Ｑs₁が距離推定部５１５に出力されることに
なる。一方、類似度算出部５１２では、局所情報抽出
部５０９〜５１０で抽出された暗視野用画像センサの画
像＃１５１、＃１５２、＃１５３、＃１５４の対応候補
点Ｐ₁₅₁、Ｐ₁₅₂、Ｐ₁₅₃、Ｐ₁₅₄の画像情報Ｆ₁₅₁、
Ｆ₁₅₂、Ｆ₁₅₃、Ｆ₁₅₄に基づき、これら画像情報Ｆ₁₅₁、
Ｆ₁₅₂、Ｆ₁₅₃、Ｆ₁₅₄の分散値（画像情報の「まとまり
具合」を示す評価値）が類似度として算出される。

【０１３５】この類似度は、仮定距離ｚ_nごとに求めら
れる。この結果、類似度算出部５１２からは、図１０
（ｂ）に示すように、仮定距離ｚ_nに各対応した類似度
の逆数Ｑs₂が距離推定部５１５に出力されることにな
る。

【０１３６】外部情報入力部５１３には、上記照度計１
６の検出出力である照度を示す信号が入力され、これが
センサ群の重み係数発生部５１４に出力される。

【０１３７】重み係数発生部５１４からは、上記照度計
１６で検出された照度の大きさに基づいて、類似度算出
部５１１、類似度算出部５１２でそれぞれ算出された類
似度の逆数Ｑs₁とＱs₂に乗算すべき重み係数ω1、ω2が
演算され、距離推定部５１５に出力される。

【０１３８】この重み係数ω1、ω2は、照度計１６で検
出された照度が大きな値を示す程、重み係数ω1が大き
く、重み係数ω2が小さくなるように演算される。つま
り、明視野用画像センサ１４１〜１４４の画像に基づき
演算された類似度の寄与率が大きく、暗視野用画像セン
サ１５１〜１５４の画像に基づき演算された類似度の寄
与率が小さくなるように演算される。一方、照度計１６
で検出された照度が小さな値を示す程、重み係数ω1が
小さく、重み係数ω2が大きくなるように演算される。
つまり、明視野用画像センサ１４１〜１４４の画像に基
づき演算された類似度の寄与率が小さく、暗視野用画像
センサ１５１〜１５４の画像に基づき演算された類似度
の寄与率が大きくなるように演算される。

【０１３９】距離推定部５１５では、図１０（ａ）に示
すように、明視野用画像センサ１４１〜１４４の画像に
基づき算出された類似度の逆数Ｑs₁に対して上記重み係
数ω1が乗算されるとともに、図１０（ｂ）に示すよう
に、暗視野用画像センサ１５１〜１５４の画像に基づき
算出された類似度の逆数Ｑs₂に対して上記重み係数ω2
が乗算される。つまり、仮定距離ｚ_nと類似度の逆数Ｑs
₁との対応関係、仮定距離ｚ_nと類似度の逆数Ｑs₂との対
応関係がそれぞれ重み係数ω1、ω2によって補正される
ことになる。そして、これら重み係数ω1、ω2によって
補正された仮定距離ｚ_nと類似度の逆数Ｑs₁との対応関
係、仮定距離ｚ_nと類似度の逆数Ｑs₂との対応関係が加
算され、図１０（ｃ）に示すように、仮定距離ｚ_nと類
似度の逆数の加算値Ｑs₁₂との対応関係が生成される。

【０１４０】このようにして、仮定距離ｚ_nと類似度の
逆数の加算値Ｑs₁₂との対応関係から、最も類似度が高
くなる点（類似度の逆数の加算値Ｑs₁₂が最小値となる
点）が判別され、この最も類似度が高くなっている点に
対応する仮定距離ｚ_nxが最終的に、認識対象物体５０上
の点５０ａまでの真の距離（最も確からしい距離）と推
定される。かかる処理は、仮想画像＃２１の各選択画素
毎に全画素について行われる。

【０１４１】以上のようにして、距離推定部５１５で
は、仮定距離ｚ_nを順次変化させて得られた類似度の加
算値Ｑs₁₂の中から、最も類似度の加算値が高くなるも
のが判別され、最も類似度の加算値が高くなる仮定距離
ｚ_nxが真の距離と推定され、出力される。

【０１４２】本実施形態によれば、さらに、以下のよう
な効果が得られる。

【０１４３】すなわち、多眼ステレオによる計測におい
て、仮想画像センサ２１を設定して、これを明視野用画
像センサ群と暗視野用画像センサ群に共通の仮想視野と
して用いたので、これら光学的特性の異なる画像センサ
群同士であっても、これら２種類の画像センサ群の計測
結果をそれぞれ融合して総合的な判断を行うことが可能
となる。２種類の撮像条件の異なる画像センサ群それぞ
れの計測結果を総合して判断できるようになり、飛躍的
に計測精度を向上させることができる。

【０１４４】なお、本実施形態では、２種類の異なる画
像センサ群を想定しているが、３種類以上の異なる画像
センサ群に適用する実施も可能である。

【０１４５】また、本実施形態では、照度計１６の検出
出力に応じて、明視野用センサ群１４１〜１４４による
類似度と、暗視野用センサ群１５１〜１５４による類似
度の重みを変化させ、これら２種類の画像センサから得
られる類似度を融合することで距離を推定しているが、
照度計１６の検出出力に応じて、使用すべき画像センサ
の種類自体を完全に切り換える実施も可能である。

【０１４６】たとえば、照度計１６で検出される照度の
大きさを２値的に判断するしきい値を設定して、照度計
１６で検出される照度が、このしきい値以上になった場
合には、重み係数ω1を１とし、重み係数ω2を０にし
て、明視野用センサ群１４１〜１４４による類似度のみ
で、距離の推定を行うようにし、逆に、照度計１６で検
出される照度が、上記しきい値よりも小さくなった場合
には、重み係数ω1を０とし、重め係数ω2を１とし、暗
視野用画像センサ１５１〜１５４による類似度のみで、
距離の推定を行うようにしてもよい。

【０１４７】また、使用する画像センサの種類は、任意
である。

【０１４８】図７（ａ）に示すように、通常の感度のモ
ノクロの画像センサ群１２1〜１２4と、赤外線画像セン
サ群１３1〜１３4とから成っている画像センサ群１１'
に上述した本実施形態を適用してもよい。

【０１４９】また、画像センサの種類毎に、画像センサ
の焦点距離、絞り、シャッタースピートなどのパラメー
タを異ならせてもよく、画像センサの向きなどを条件に
応じて調整してもよい。

【０１５０】また、本実施形態では、照度計１６を使用
しているが、画像センサの撮像条件（周囲の環境条件）
の変化を検出することができるセンサであれば、任意に
使用することができる。

【０１５１】また、時刻によって重み係数を変更するよ
うな実施形態も考えられる。

【０１５２】・第３の実施形態本実施形態は、多眼ステレオを構成する複数の画像セン
サが配置されている場合に、これら複数の画像センサの
すべてを計測に使用するのではなくて、これら複数の画
像センサの中から計測に使用すべき少なくとも２つの画
像センサを選択することで、状況に応じたきめの細かい
計測を行うことができる実施形態である。図８は、車
両６０に、各画像センサ１、２、３、…からなる画像セ
ンサ群１１を搭載して、この画像センサ群１１による撮
像結果に基づき、車両６０の進行方向前方、道路６１上
の作業視野Ａrを認識、判断しつつ走行する場合を想定
している。

【０１５３】車両６０には、車両の速度Ｖを検出する速
度センサ６２、車両６０の進行方向φを検出するジャイ
ロなどの姿勢角センサ６３が搭載されている。なお、姿
勢角センサ６３の代わりに、車両６０の操舵角を検出す
るセンサを使用してもよい。ここで、車両６０の速度
Ｖ、進行方向φが定まれば、それに応じて車両６０が認
識すべき車両前方距離、認識すべき方向が定まることか
ら、上記作業視野Ａrが特定されることになり、この作
業視野Ａrを撮像するのに最も適切な少なくとも２つの
画像センサが、画像センサ群１１の中から選択されるこ
とになる。

【０１５４】そこで、速度センサ６２、姿勢角センサ６
３で検出される車速Ｖ、進行方向φに応じて、画像セン
サ群１１の中から、実際に使用すべき少なくとも２つの
画像センサ、たとえば画像センサ２、３が選択される。

【０１５５】この結果、図６と同様に、画像入力部４０
１に、画像センサ２の画像＃２が取り込まれるととも
に、画像入力部４０２に、画像センサ３の画像＃３が取
り込まれる。以下、図６と同様に、対応候補点座標発生
部４０５では、これら２つの画像センサ２、３の画像の
中から仮想画像＃２１の選択画素の対応候補点Ｐ_kの位
置座標（Ｘ_k，Ｙ_k）（ｋ＝１、２：以下ｋを同じ意味で
使用する）が、仮定距離ｚ_nの大きさ毎に発生される。

【０１５６】局所情報抽出部４０６、４０７では、画像
センサ２、３の対応候補点Ｐ_kの画像情報Ｆ_kが抽出さ
れ、類似度算出部４０９では、これら発生された画像セ
ンサ２、３の対応候補点Ｐ_kの位置座標（Ｘ_k，Ｙ_k ）
の画像情報Ｆ_k同士の類似度が算出される。

【０１５７】そして、距離推定部４１０では、上記算出
された類似度が最も大きくなるときの仮定距離ｚ_nxが、
仮想画像センサ２１から選択画素Ｐ₂₁に対応する作業視
野Ａr中の物体上の点までの距離とされ、この距離ｚ_nx
が各選択画素毎に求められる。この結果、仮想画像セ
ンサ２１から見た作業視野Ａrを示す距離画像、撮像画
像が、車両６０の走行状況がいかに変化したとしても、
常に正確なものとして、生成されることになる。

【０１５８】このように、本実施形態によれば、多眼ス
テレオによる計測において、利用する画像センサを固定
して計測を行うのではなく、刻々と変化する作業視野Ａ
rに応じて、これを撮像するのに最も適切な少なくとも
二つの画像センサを順次選択していくようにしたので、
車両６０の走行状況（車両６０の速度Ｖ、進行方向φの
変化）が変化したとしても、これに対応したきめの細か
い計測を行うことができる。

【０１５９】また、本実施形態では、車両に画像センサ
群を搭載する場合を想定しているが、搭載されるべきも
のは、これに限定されることなく、たとえば移動ロボッ
トに搭載してもよい。また、画像センサ群１１の姿勢角
を、矢印Ａ、Ｂに示す方向に調整できる姿勢角調整機構
を備えるようにして、作業視野Ａrを撮像できる方向に
画像センサが向くように、速度センサ６２、姿勢角セン
サ６３の検出出力に応じて車両センサ群１１の姿勢角を
変化させるような実施も可能である。

【０１６０】また、作業視野Ａrまでの距離に応じて画
像センサのズームの度合いを調整してもよい。

【０１６１】・第４の実施形態本実施形態は、各選択画素について全ての仮想距離に対
して探索を行うのではなく、認識対象物体を示すモデル
という概念を導入し、このモデル上の点についてだけ照
合処理を行うことによって、モデル推定の効率を向上さ
せることができる実施形態である。

【０１６２】まず、はじめに、モデルの概念、定義につ
いて説明する。

【０１６３】本明細書にいうモデルとは、空間内に定義
された、３次元構造をもった認識対象物のことである。
モデルは、絶対空間内（全体座標系ｘ−ｙ−ｚ）におけ
る座標位置、形状データなどのモデル情報により、３次
元構造が規定される。各画像センサ１〜Ｎの観測視野あ
るいは仮想画像センサ２１の仮想視野で見たモデルの位
置は、このモデル情報に基づいて算出することができ
る。モデルとしては、単純な平面、曲面ばかりではな
く、複雑な３次元の形状を有したものも使用することも
できる。モデルは、最終的に、物体の３次元構造の認識
に役立てるものなので、モデル情報の表現方法や、モデ
ル情報の内容は、この物体の３次元構造を認識するとい
う目的に合わせたものを使用できる。

【０１６４】また、関連するモデルを効率よく表現する
ために、目的にあわせてモデル情報をパラメタライズす
る方法もある。

【０１６５】例えば、ある間隔で平行に配置された一連
の平面のモデル群を、平行位置というパラメータによっ
て表現する。そして、このパラメータを変化させること
により、認識対象の表面が一連の平面のモデル群のいず
れかのモデルであるかが推定される。

【０１６６】以下、本実施形態について、図１１〜図１
８を参照して説明する。

【０１６７】本実施形態では、図１３に示すように、車
両６０に、画像センサ群１１を搭載して、この画像セン
サ群１１の撮像結果に基づいて、車両進行方向前方の道
路６１の傾斜θを認識、判断しつつ走行する場合を想定
している。

【０１６８】図１２は、本実施形態の多眼ステレオ視に
よる物体認識装置の構成を示すブロック図であり、図６
のブロック図に対応するものである。

【０１６９】なお、本実施形態では、多眼ステレオに適
用される場合を想定しているが、２眼ステレオに適用し
てもよい。

【０１７０】また、本実施形態では、図６と同様に、仮
想画像センサ２１による仮想画像＃２１を設定する場合
を想定しているが、本実施形態においては、かかる仮想
画像＃２１を設定することなく、図２７と同等の構成で
も実現できる。

【０１７１】すなわち、仮想画像＃２１の選択画素に対
応する各画像＃１〜＃Ｎの対応点を探索する構成のもの
に、本実施形態を適用するばかりではなく、基準画像＃
１の選択画素に対応する各画像＃２〜＃Ｎの対応点を探
索する構成のものに、本実施形態を適用するようにして
もよい。

【０１７２】多眼ステレオである画像センサ群１１を構
成する各画像センサ１、２、３、…、Ｎは、水平、垂直
あるいは斜め方向に所定の間隔で配置されているものと
する。図１２に示す画像入力部６０１には、画像セン
サ１で撮像された画像＃１が取り込まれ、画像入力部６
０２には、画像センサ２の画像＃２が取り込まれ、画像
入力部６０３には、画像センサＮの画像＃Ｎがそれぞれ
取り込まれる。

【０１７３】仮想視野情報設定部６０４では、図１１に
示すように、所望の位置で、所望の視野をもって認識対
象物体（この場合は、道路６１）を撮像したときの仮想
画像センサ２１による仮想の視野に関する情報が設定さ
れる。つまり、作業視野となるべき仮想視野が設定され
る。この仮想画像センサ２１では、実際の画像センサ１
〜Ｎと同じように、画像センサの配設位置、向き（姿
勢）、焦点距離、解像度などのパラメータが定義され
る。

【０１７４】また、目的に応じて仮想画像センサ２１の
パラメータを自由にダイナミックに変更してもよい。

【０１７５】なお、図１１のレンズ４１は仮想画像セン
サ２１を構成する仮想的なレンズを示している。

【０１７６】仮定モデル情報設定部６０５には、３次元
空間内における認識すべき物体のモデルの形状に関する
モデル情報が設定される。本実施形態では、図１３に示
すように、道路６１の傾斜θを認識、判断する必要があ
ることから、認識対象物体に応じたモデルＭ₁、Ｍ₂、Ｍ
₃、Ｍ₄を、パラメータθの値θ₁、θ₂、θ₃、θ₄毎にモ
デル情報として設定する。

【０１７７】このモデル情報の具体的な設定方法として
は、多くの方法が考えられる。

【０１７８】例えば、仮定するモデルが上記のような単
純な平面からなる道路のような場合には、その平面を特
定する方法として、その平面が通るどこか一点の空間座
標と平面の法線ベクトルを与えても良いし、その平面が
通るどこか三点の空間座標を与えても良い。また、仮定
するモデルが起伏を持つような複雑な場合には、その起
伏を十分に再現するに足る複数点の座標を多数与えて補
間しても良いし、任意の幾何モデルを組み合わせて設定
しても良い。

【０１７９】対応候補点座標発生部６０６では、図１１
に示すように、仮想画像センサ２１で道路６１を撮像し
たときの当該仮想画像センサ２１の仮想画像＃２１中の
位置（ｉ，ｊ）で特定される選択画素Ｐ₂₁に対応する各
画像センサｋの画像＃ｋ中の対応候補点Ｐ_kの位置座標
（Ｘ_k，Ｙ_k）が、モデルＭ₁、Ｍ₂、Ｍ₃、Ｍ₄の中から選
択された仮定モデルＭ_i（ｉ＝１〜４）毎に発生され
る。この対応候補点Ｐ_kの位置座標（Ｘ_k，Ｙ_k）は、図
１１に示すように各モデル上の点（ｘ，ｙ，ｚ）に対応
して求めても良いし、最初から対応する変換テーブルを
用意しておき実際に計算しなくても良い。

【０１８０】つぎに、局所情報抽出部６０７〜６０９で
は、このようにして対応候補点座標発生部６０６によっ
て発生された対応候補点Ｐ_kの位置座標に基づき局所情
報を抽出する処理がそれぞれ実行される。

【０１８１】すなわち、局所情報抽出部６０７では、対
応候補点座標発生部６０６で発生された画像センサ１の
画像＃１の対応候補点Ｐ₁の位置座標から、周囲の画素
の画像情報に応じて補間することで、対応候補点Ｐ₁の
画像情報Ｆ₁を抽出する。同様に、局所情報抽出部６０
８では、対応候補点座標発生部６０６で発生された画像
センサ２の画像＃２の対応候補点Ｐ₂の位置座標に基づ
いて、対応候補点Ｐ₂の画像情報Ｆ₂が、局所情報抽出部
６０９では、対応候補点座標発生部６０６で発生された
画像センサＮの画像＃Ｎの対応候補点Ｐ_Nの位置座標に
基づいて、対応候補点Ｐ_Nの画像情報Ｆ_Nがそれぞれ求め
られる。なお、ここで画像情報とは明度あるいは明度の
２階微分値などのことである。

【０１８２】こうして画像＃１、＃２、…、＃Ｎの対応
候補点Ｐ₁、Ｐ₂、…、Ｐ_Nの画像情報Ｆ₁、Ｆ₂、…、
Ｆ_Nがそれぞれ得られると、類似度算出部６１０では、
全画像センサ１〜Ｎの対応候補点Ｐ₁〜Ｐ_Nの画像情報
Ｆ₁〜Ｆ_Nの分散値（画像情報の「まとまり具合」を示
す評価値）が類似度として算出される。類似度が大きい
値を示す程（画像情報の分散値が小さい程）、この仮定
モデルＭに近いことを意味する。類似度は、仮定モデル
Ｍ₁、Ｍ₂、Ｍ₃、Ｍ₄ごとに求められる。

【０１８３】このようにして、図１４に示すように、仮
定モデルＭと類似度の逆数Ｑsとの対応関係が取得され
る。

【０１８４】つぎに、モデル推定部６１１では、仮定モ
デルＭと類似度の逆数Ｑsとの対応関係から最も類似度
の高いモデルを決定する。これを各選択画素ごとの対応
関係に関して実行して、各画素毎にモデルを推定する。

【０１８５】また、画面の一部の領域あるいは全領域に
対してモデル推定を実行すれば、最も頻度の高いモデル
を、認識対象物体を示すモデルとして最終的に決定する
こともできる。あるいは、仮定モデルＭと類似度の逆数
Ｑsとの対応関係から探索のきざみより細かい精度でモ
デルを推定し、このモデルを認識対象物体に近いモデル
と決定してもよい。

【０１８６】いま、図１４が、仮定モデルＭと類似度の
逆数Ｑsの加算値の対応関係を示しているものとする
と、この対応関係に基づいて、類似度（類似度の逆数Ｑ
s ）が最も大きくなるときの仮定モデルが、認識対象物
体を示すモデルとされる。この場合、図１４の折れ線状
の対応関係に、曲線近似を適用することによって、正確
に、類似度の逆数Ｑsが最小値をとるＭ_2.6を定めること
ができる。いま、モデルＭ₂に、傾斜角θ₂＝０度が対応
づけられ、モデルＭ₃に、傾斜角θ₃＝５度が対応づけら
れているものとすると、上記Ｍ_2.6は、傾斜角θ＝３度
であると推定することができる。よって、車両６０前方
の道路６１の傾斜角θは３度であると認識、判断するこ
とができる。

【０１８７】モデル群選択部６１２では、補助情報入力
部６１３から出力されるモデル群の各モデルの存在度合
いの情報と、モデル推定部６１１のモデル推定結果に基
づいてモデル群の中から、仮定モデルとすべきモデルを
選択する処理が実行される。すなわち、車両６０には、
車両６０のピッチ角を検出するピッチ角センサが搭載さ
れており、このピッチ角センサにより車両６０の現在の
ピッチ角が検出される。よって、このピッチ角センサの
検出出力に基づいて車両６０前方の路面の傾斜が、どの
程度であるのかを予測できる。

【０１８８】補助情報入力部６１３は、ピッチ角センサ
の検出出力をモデル群選択部６１２に出力する。

【０１８９】モデル群選択部６１２では、ピッチ角セン
サの検出値を所定のしきい値にて２値化して、ピッチ角
センサの検出値が、このしきい値以上である場合には、
モデルＭ₁、Ｍ₂、Ｍ₃、Ｍ₄の中から、傾斜の緩いモデル
Ｍ₁、Ｍ₂が、仮定すべきモデルとして選択される。

【０１９０】一方、ピッチ角センサの検出値が、上記し
きい値よりも小さい場合には、モデルＭ₁、Ｍ₂、Ｍ₃、
Ｍ₄の中から、傾斜の急なピッチＭ₃、Ｍ₄が、仮定すべ
きモデルとして選択される。

【０１９１】このようにしてモデル群選択部６１２で選
択された特定のピッチのみが、仮定モデル情報設定部６
０５で生成され、対応候補点座標発生部６０６で、実際
に使用すべきモデルとして仮定されることになる。

【０１９２】また、道路６１を示すモデル群が、傾斜角
θが正（登り勾配）のモデル群と、傾斜角θが負（下り
勾配）のモデル群で構成されている場合には、モデル群
選択部６１２で、傾斜角θが正（登り勾配）のモデル群
と、傾斜角θが負（下り勾配）のモデル群のいずれかを
選択、出力するような実施も可能である。

【０１９３】以上のように、本実施形態では、モデル群
選択部６１２を備えるようにしているので、用意したモ
デル群のすべてに対して演算処理を行うのではなく、用
意したモデル群の中から特定のモデル群のみに絞り込ん
で、この特定のモデル群のみに対して演算処理を行えば
よいので、きわめて効率よく物体を認識、判断すること
が可能となる。

【０１９４】以上のように、この図１２に示す本実施形
態によれば、道路６１の形状（平面）などが予め特定さ
れている場合に、これをモデル化して、認識対象を判別
するようにしたので、従来のように各選択画素毎に全空
間について距離計測を行ったり、距離計測結果から物体
を特定、抽出したりする複雑な処理を要しないので、よ
り効率よく、誤認識することなく、計測が行えるように
なる。

【０１９５】つぎに、本実施形態に適用される種々の変
形例について説明する。

【０１９６】図１５では、車両６０の前方の道路６１の
傾斜状態θを認識するばかりではなく、車両６０前方の
障害物６２を認識する場合を想定している。

【０１９７】この場合、図１２のモデル推定部６１１で
は、モデルＭ₁、Ｍ₂、Ｍ₃、Ｍ₄の中から、モデルＭ₂が
道路６１を示すものと推定された場合を示している。そ
こで、モデル推定部６１１では、以下の演算が実行され
る。

【０１９８】すなわち、モデルＭ₂を仮定したときに、
仮想画像＃２１の各選択画素Ｐ₂₁毎に、類似度の逆数Ｑ
sが類似度算出部６１０で算出されているので、図１６
に示すように仮想画像＃２１の各選択画素Ｐ₂₁に、対応
する類似度の逆数Ｑsの値が対応づけられる。

【０１９９】そこで、この類似度の逆数の分布に基づい
て、道路６１上に障害物６２が存在するか否か、そして
その場所はいずれの場所であるかが判断される。

【０２００】同図に示すように、仮想画像＃２１上の類
似度の逆数Ｑsの分布は、数値が低い領域２６（この領
域では、類似度の逆数Ｑsは「２」を示している）と、
数値が高い領域２５（この領域では、類似度の逆数Ｑs
は「３」、「４」を示している）とに分類される。これ
らの領域の識別は、類似度の逆数Ｑsの大きさを２値的
に判別するしきい値を設定して、このしきい値以下であ
るか否かによって行うことができる。

【０２０１】そこで、上記類似度の逆数Ｑsの数値が低
い領域２６については道路６１を示すものと判断し、上
記類似度の逆数Ｑsの数値が高い領域２５については道
路６１上に存在する障害物６２であると判断するもので
ある。

【０２０２】ここで、仮想画像＃２１の各選択画素ごと
に、各画像＃１〜＃Ｎの対応点の画像情報が求められる
ので、仮想画像＃２１の各画素に、対応点の画像情報に
応じた明度を付与することで、仮想画像センサ２１で認
識対象物体を撮像したときの画像を、図１５に示すよう
に、生成することができる。この場合、上述した道路６
１と障害物６２とを識別した結果に基づいて、画像中の
特定の領域６４が障害物６２を示すものと判断すること
ができる。

【０２０３】このように走行路上に障害物が存在するか
否かを判断するには、必ずしも走行路を示すモデルを複
数用意する必要はない。

【０２０４】図１７は、道路６１が平坦であることが既
知であり、モデルとしては平坦（傾斜角度θ＝０度）な
モデルＭ₂のみを用意して、道路６１上の障害物６２が
存在するか否かを認識、判断する場合を想定している。

【０２０５】この場合、図１２のモデル推定部６１１で
は、以下の演算が実行される。

【０２０６】すなわち、モデルＭ₂を仮定したときに、
仮想画像＃２１の各選択画素Ｐ₂₁毎に、類似度の逆数Ｑ
sが類似度算出部６１０で算出されているので、図１８
に示すように仮想画像＃２１の各選択画素Ｐ₂₁に、対応
する類似度の逆数Ｑsの値が対応づけられる。

【０２０７】そこで、この類似度の逆数の分布に基づい
て、道路６１上に障害物６２が存在するか否か、そして
その場所はいずれの場所であるかが判断される。

【０２０８】同図に示すように、仮想画像＃２１上の類
似度の逆数Ｑsの分布は、類似度の逆数Ｑsの大きさを２
値的に判別するしきい値によって、数値が低い領域２
６’と、数値が高い領域２５’とに分類される。

【０２０９】そこで、上記類似度の逆数Ｑsの数値が低
い領域２６’については道路６１（モデルＭ₂）を示す
ものと判断し、上記類似度の逆数Ｑsの数値が高い領域
２５’については道路６１上に存在する障害物６２であ
ると判断するものである。

【０２１０】さて、以上説明した実施形態では、モデル
が単一の形状（平面）である場合を想定しているが、も
ちろん、多種多様な形状を有する複数の物体を認識する
場合にも本発明を適用することができる。

【０２１１】たとえば、地面上に設置されている建物を
認識、判別するにあたって、地面を示すモデル、建物の
壁面を示すモデル、建物の屋根を示すモデルなどのモデ
ル群を、図１２の仮定モデル情報設定部６０５で生成し
て、以下、これらモデル群の各仮定モデルに対して同様
な処理を行うようにすればよい。

【０２１２】ここで、処理の繁雑さを避けるため、モデ
ル群の各モデル間で階層構造をもたせ、処理を効率的に
実行することができる。

【０２１３】すなわち、建物と地面全体のモデル群を、
まず、大きく、複数の地面のモデルからなるモデル群
と、複数の壁面のモデルからなるモデル群と、複数の屋
根のモデルからなるモデル群とに分類する。さらに、地
面のモデル群を、平坦な地面のモデル群と、傾いた地面
のモデル群とに分類する。そして、地面の高さ、水平面
に対する傾き角度などのパラメータを導入して、地面の
モデルそれぞれに対して、このパラメータをモデル情報
として付与する。建物の壁面のモデルについても、同様
にして、垂直面に対する傾斜角などのパラメータを導入
して、このパラメータをモデル情報として付与する。

【０２１４】そして、図１２のモデル推定部６１１で
は、仮想画像＃２１を、いくつかの領域に区分して、各
領域毎にモデルを推定することができる。

【０２１５】いま、仮想画像＃２１で、ある建物が捕ら
えられており、仮想画像＃２１の中央の正面に、垂直な
壁面が存在し、その上に、傾斜のある屋根が存在し、正
面壁面の左に、奥行き方向に傾いているた壁面が存在し
ていたとする。

【０２１６】そこで、仮想画像＃２１の中央領域、中央
上部領域、中央より左の領域それぞれ毎に、モデル推定
処理を実行することにより、各領域に存在するであろう
物体を、確実かつ効率よく認識、判断することが可能と
なる。

【０２１７】さらに、一の建物だけではなく、複数の建
物を認識する実施も可能である。この場合、複数の建物
（たとえば、一戸建てとビル）それぞれを示すモデル群
が上位に存在し、建物を構成する壁面、屋根などのモデ
ルがその下位に存在する階層構造をもつモデル群とな
る。ここで、上位の構造としては、個々の建物のモデル
を個別に用意してもよく、複数の建物が存在する全体構
成（建物群）をモデルとすることも可能である。

【０２１８】また、上述した仮想画像＃２１の領域毎に
モデルを推定する場合に、各領域毎に、各モデルの存在
確率を予め情報として与えることによって、より効率よ
くモデル推定処理を行うようにしてもよい。各モデルに
対して、いずれの領域にどの程度の確率で存在している
のかという情報がモデル情報として付与されることにな
る。

【０２１９】そこで、このモデルに付与されたモデル情
報に基づいて、存在確率がきわめて低い領域について
は、このモデルを仮定モデルとしないで、先に処理を進
めることが可能となる。

【０２２０】たとえば、仮想画像＃２１の下側の領域
に、屋根を示すモデルが存在する確率はきわめて低いの
で、この下側の領域については、屋根を示すモデルを仮
定モデルから排除することができる。このため、処理効
率をより向上させることができる。

【０２２１】たとえば、特定の局所情報や、局所情報か
ら算出した特殊なパラメータ（エッジの強度や方向、位
置などの情報や、テクスチャ情報など）、仮想視野に関
連する情報、仮定したモデルに関連する情報、あるいは
他のセンサの検出結果に基づく情報に基づいて、仮想画
像＃２１の特定の領域では、仮定すべきモデルの種類を
変更したり、仮定すべきモデルの種類に制限を加えた
り、使用すべき画像を各画像＃１〜＃Ｎの中から選択す
るなどの特殊な操作を加えることもできる。

【０２２２】また、本実施形態では、前述したように、
仮想画像＃２１を設定することを必ずしも要しないが、
仮想画像＃２１を使用してモデルを推定する場合には、
仮想画像＃２１の視野自在性を利用して、モデルをあら
ゆる方向から観測した結果に基づきモデル推定を行うよ
うにしてもよい。

【０２２３】すなわち、モデル（たとえば球形のモデ
ル）の３次元構造が、通常観測される表側だけではな
く、裏側についても定義されている場合には、仮想画像
＃２１を、モデルの表側だけではなく、モデルの裏側か
ら観測する視野に設定することにより、モデルの推定の
柔軟性を高めることもできる。ただし、これは各画像セ
ンサ１〜Ｎのいずれかで、モデルの裏側が撮像され得る
ことが必要である。

【０２２４】なお、本実施形態では、画像（仮想画像）
中に、予め設定したモデル群の中のうちのいずれかのモ
デル、あるいは予め設定した一のモデルが存在すること
を前提として説明したが、モデルに関して得られた類似
度に基づいて、画像（仮想画像）中に、当該モデルが存
在しているか否かの判断を行うことも可能である。

【０２２５】たとえば、図１６、図１８に示すように、
推定したモデルに関する類似度の逆数Ｑsの分布を取得
し、この類似度の逆数Ｑsが所定のしきい値より高い場
合には、この推定モデルは画像中に存在しないと判断す
るようにしてもよい。

【０２２６】・第５の実施形態本実施形態は、上記第４の実施形態で述べた実在の物体
の認識の考え方を利用することにより、画像上において
実際の背景と背景モデルとが一致している領域について
は擬似的な画像を表示し、不一致の領域についてはそこ
にある実在の物体を表示するという具合に、実際のもの
とは異なる内容に画像表示内容を変更するというもので
ある。

【０２２７】すなわち、クロマキー等の映像放送の技術
分野に関するものであり、以下のような画像処理を行う
場合に好適なものである。モデルとして、例えば模様の
あるカーテンを背景モデルとして用意する。そして、画
像センサによって、通常、模様のあるカーテンが背景と
して撮像されるものとする。この状態で、背景の前に背
景以外のもの、例えば人などの背景以外の物体が出現す
ると、その背景以外の物体が画像中で占める領域の部分
において、背景モデルとの不一致が生じる。そこで、こ
の不一致が生じた領域には、画像センサで撮像した実際
の人などの背景以外の物体の画像を表示するようにし、
一方、背景モデルと一致した領域については、予め用意
しておいた擬似背景画像、たとえば東京タワーを写した
別の画像を表示するようにするものである。

【０２２８】本実施形態によれば、実在の物体の複雑な
輪郭形状に合わせて背景を物体から分離するという複雑
な処理を要せずとも、きわめて簡易かつ迅速に処理を進
めることができるようになる。

【０２２９】また、背景モデルは、背景の特徴を形状の
みを取り出し抽出したものであり、背景の模様、明るさ
が変化したとしても、これに影響されることなく、常に
精度よく処理を進めることが可能である。

【０２３０】以下、図１２に対応する図１９に示すブロ
ック図を参照して、本実施形態の画像処理について説明
する。

【０２３１】まず、画像センサ１〜Ｎの中から、一の基
準画像センサ、たとえば画像センサ１が選択される。こ
の基準画像センサ１の基準画像＃１に基づいて背景分離
処理が実行される。この基準画像センサ１により、背景
（たとえば模様のあるカーテン）と背景の前に出現する
物体（たとえば人）とが撮像される。他の画像センサ２
〜Ｎにおいても、背景とこの背景の前に出現する物体が
撮像される。

【０２３２】基準画像入力部７０１には、基準画像セン
サ１で撮像された基準画像＃１が取り込まれる。他の画
像入力部７０２、７０３には、他の画像センサ２〜Ｎで
撮像された画像＃２〜＃Ｎが取り込まれる。

【０２３３】背景モデル情報設定部７０４では、図１２
の仮定モデル情報設定部６０５と同様にして、背景の３
次元構造を示すモデル情報が設定される。

【０２３４】対応候補点座標発生部７０５では、上記背
景モデルを仮定モデルＭとして、図１２の対応候補点座
標発生部６０６と同様にして、基準画像センサ１の背景
画像＃１中の選択画素Ｐ₁に対応する他の画像センサｋ
の画像＃ｋ中の対応候補点Ｐ_kの位置座標（Ｘ_k，Ｙ_k）
（ｋ＝２、…、Ｎ）を、仮定するモデルＭのモデル情報
から発生する。

【０２３５】局所情報抽出部７０６では、基準画像＃１
の選択画素Ｐ₁の画像情報Ｆ₁が局所情報として抽出され
る。局所情報抽出部７０７、７０８では、対応候補点座
標発生部７０５によって発生された対応候補点Ｐ_kの位
置座標に基づき局所情報Ｆ_k（ｋ＝２、…、Ｎ）を抽出
する処理がそれぞれ実行される。

【０２３６】類似度算出部７０９では、図１２に示す類
似度算出部６１０と同様にして、全画像センサ１〜Ｎの
選択画素Ｐ₁、対応候補点Ｐ₂〜Ｐ_Nの画像情報Ｆ₁、Ｆ
₂〜Ｆ_Nの分散値（画像情報の「まとまり具合」を示す評
価値）が類似度として算出される。類似度が大きい値を
示す程（画像情報の分散値が小さい程）、画像中のその
領域は仮定モデルＭと一致している可能性が高い、すな
わち背景を表している可能性が高いということになる。

【０２３７】背景モデル判定部７１０では、基準画像＃
１の各選択画素毎に、各領域毎に、その選択画素、その
領域に背景が存在するか否かが判断される。具体的に
は、類似度算出部７０９で算出された類似度が所定のし
きい値以上になっている選択画素あるいは領域について
は、背景であると判定され、上記算出された類似度が所
定のしきい値よりも小さくなっている選択画素あるいは
領域については、背景以外の物体であると判定される。

【０２３８】背景が存在しているか否かの判定を行う場
合に、背景モデルに関して予め付与された補助情報を利
用してもよい。補助情報とは、背景モデルの精度、明度
などの情報である。

【０２３９】例えば、背景モデルの精度に応じて、判定
を緩やかにしたり、照明などの影響で、局所情報の精度
が劣化する領域については、この点を考慮するなどし
て、判定の精度を高めることができる。

【０２４０】また、対応候補点の探索の範囲を、補助情
報に基づき領域毎に設定してもよい。擬似背景発生部
７１１では、所望の擬似背景画像、たとえば「東京タワ
ーと青空」が生成される。この擬似背景は、画像センサ
１〜Ｎでは、現在、撮像されていない画像であり、予め
他の画像センサで撮像しておくようにすればよい。ま
た、擬似背景は、基準画像＃１で撮像された実際の背景
の代わりとなるものであるので、基準画像＃１の視野の
動きにに合わせて撮像されていればよりリアルである。
画像選択部７１２は、基準画像＃１の背景として、擬
似背景発生部７１１で発生した擬似背景（「東京タワー
と青空」）か実際の画像（「模様のあるカーテンの前の
人」）のいずれかを表示させるかを画素毎に選択するも
のである。

【０２４１】そして、画像表示部７１３では、背景モデ
ル判定部７１０の判定結果に基づいて、基準画像＃１の
領域のうち、背景であると判定された領域については、
実際の画像の代わりに、画像選択部７１２で選択された
背景（たとえば擬似背景）が表示されるとともに、基準
画像＃１の領域のうち、背景以外の物体（人など）であ
ると判定された領域については、基準画像＃１の画像情
報をそのままとし、画像センサ１で撮像された背景以外
の物体がそのまま表示される。つまり、画像表示部７１
３では、画像センサ１の視野でみたときの物体（人）が
擬似背景とともに表示されることになる。

【０２４２】なお、本実施形態では、画像表示部７１３
で、画像センサ１の視野でみた画像を表示しているが、
他の画像センサ２、…、Ｎの視野でみた画像を表示する
実施も可能である。

【０２４３】また、本実施形態では、図１２と異なり、
仮想画像センサ２１による仮想画像＃２１を設定しない
で処理を行う場合を例にとり説明したが、図１２と同様
に仮想画像センサ２１による仮想画像＃２１を設定し
て、この仮想画像＃２１を、基準画像１の代わりとする
実施も可能である。この場合、画像表示部７１３では、
仮想画像＃２１でみた画像が表示されることになる。

【０２４４】なお、背景モデル情報設定部７０４で設定
される背景モデルは、実際の背景を捕らえた距離画像に
基づき生成してもよいし、また、カメラの動きを検出す
るセンサを用意し、カメラの動きに応じてモデルを修正
してもよい。この場合、仮想画像＃２１からみた距離画
像を生成し、この距離画像そのものを背景モデル、モデ
ル情報として登録することができる。これにより距離画
像の信頼度などの補助情報を利用して、背景か否かの判
定の精度を高めることが可能である。

【図面の簡単な説明】

【図１】図１は第１の実施形態を説明するための仮想画
像センサの概念を示す図である。

【図２】図２は多眼ステレオの類似度の融合の仕方を説
明する図である。

【図３】図３は第１の実施形態を説明する図であり、仮
想視野を用いた多眼ステレオの距離計測の処理内容（基
準画像センサを設定する場合）を説明する図である。

【図４】図４は第１の実施形態を説明する図であり、仮
想視野を用いた多眼ステレオ距離計測システム（基準画
像センサを設定する場合）のブロック図である。

【図５】図５は第１の実施形態を説明する図であり、仮
想視野を用いた多眼ステレオの距離計測の処理内容（基
準画像センサを設定しない場合）を説明する図である。

【図６】図６は第１の実施形態を説明する図であり、仮
想視野を用いた多眼ステレオ距離計測システム（基準画
像センサを設定しない場合）のブロック図である。

【図７】図７（ａ）、（ｂ）は第２の実施形態を説明す
る図であり、異なる種類の画像センサが配置された画像
センサ群を示す斜視図である。

【図８】図８は第３の実施形態で想定している車両搭載
のシステムを概念的に示す図である。

【図９】図９は第２の実施形態を説明する図であり、仮
想視野を用いて異なる種類の画像センサ群を統合する多
眼ステレオ距離計測システムのブロック図である。

【図１０】図１０（ａ）、（ｂ）、（ｃ）は図９に示す
距離推定部で実行される処理の内容を説明する図であ
る。

【図１１】図１１は第４の実施形態を説明する図であ
り、仮想視野を用いる場合のモデル上の点が画像上のど
こに写るかを示す図である。

【図１２】図１２は第４の実施形態を説明する図であ
り、仮想視野を用いてモデルを推定する多眼ステレオ装
置の構成ブロック図である。

【図１３】図１３は第４の実施形態で想定しているモデ
ルの一例を示す図である。

【図１４】図１４は図１２に示す類似度算出部で得られ
る仮定モデルと類似度の逆数との対応関係を示すグラフ
である。

【図１５】図１５は第４の実施形態の変形例を説明する
図であり、走行路の上に存在する障害物を認識する場合
を説明する図である。

【図１６】図１６は図１５に示す実施形態において走行
路と障害物とを識別する処理を説明する図である。

【図１７】図１７は第４の実施形態の変形例を説明する
図であり、走行路が平坦であることが既知であり、この
平面の上に存在する障害物を認識する場合を説明する図
である。

【図１８】図１８は図１７に示す実施形態において走行
路と障害物とを識別する処理を説明する図である。

【図１９】図１９は第５の実施形態を説明する図であ
り、擬似背景を背景とする画像を表示するシステムを示
すブロック図である。

【図２０】図２０は従来の２眼ステレオの原理を示した
図である。

【図２１】図２１は従来の２眼ステレオの距離計測の処
理を説明する図である。

【図２２】図２２は仮定距離と類似度の逆数との対応関
係を示すグラフである。

【図２３】図２３は従来の２眼ステレオ装置の構成を示
したブロック図である。

【図２４】図２４は従来の多眼ステレオの距離計測の処
理内容を説明する図である。

【図２５】図２５は従来の多眼ステレオ装置の構成を示
したブロック図である。

【図２６】図２６は車両上に搭載した画像センサ群の撮
像結果に基づき距離を計測する従来技術を説明する図で
ある。

【図２７】図２７は第４の実施形態を説明する図であ
り、仮想視野を用いないでモデルを推定する多眼ステレ
オ装置のブロック図である。

【図２８】図２８は第４の実施形態を説明する図であ
り、仮想視野を用いない場合のモデル上の点が画像上の
どこに写るかを示す図である。

【符号の説明】

２１仮想画像センサ１〜Ｎ画像センサ１１画像センサ群５０認識対象物体６０車両６１道路６２障害物３０５仮想視野情報設定部３１４距離情報推定部５１３外部情報入力部６０５仮定モデル情報設定部６１１モデル推定部７１１擬似背景発生部

───────────────────────────────────────────────────── フロントページの続き (72)発明者木村茂神奈川県川崎市宮前区菅生ヶ丘９−１− 403 (72)発明者中野勝之東京都目黒区中目黒２−２−30 (72)発明者山口博義神奈川県平塚市四之宮2597 株式会社小松製作所特機事業本部研究部内 (72)発明者新保哲也神奈川県平塚市四之宮2597 株式会社小松製作所特機事業本部研究部内 (72)発明者川村英二神奈川県川崎市宮前区有馬２丁目８番24 号株式会社サイヴァース内 (72)発明者緒方正人神奈川県鎌倉市上町屋345番地三菱プレシジョン株式会社内 (56)参考文献特開平６−318253（ＪＰ，Ａ) 特開平５−143156（ＪＰ，Ａ) 特開平２−195486（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁶，ＤＢ名) G06T 7/00 - 7/60 G01B 11/00 G01B 11/24 G01C 3/06 - 3/08 G01C 11/06 - 11/28

Claims

(57)【特許請求の範囲】

【請求項１】複数の撮像手段を所定間隔をもって
配置し、これら複数の撮像手段のうちの一の撮像手段で
対象物体を撮像したときの当該一の撮像手段の撮像画像
中の選択画素に対応する他の撮像手段の撮像画像中の対
応候補点の情報を、前記一の撮像手段から前記選択画素
に対応する前記物体上の点までの仮定距離の大きさ毎に
抽出し、前記選択画素の画像情報と前記対応候補点の画
像情報の類似度を算出し、この算出された類似度が最も
大きくなるときの前記仮定距離を、前記一の撮像手段か
ら前記選択画素に対応する前記物体上の点までの距離と
し、この各選択画素毎に求められた距離に基づき前記物
体を認識するようにした物体の認識装置において、所望の位置で、所望の視野をもって前記物体を撮像した
ときの仮想の撮像手段による仮想の撮像画像を、前記一
の撮像手段の撮像画像の代わりに、設定する仮想視野情
報設定手段と、前記仮想視野情報設定手段で設定された仮想画像中の選
択画素に対応する前記複数の撮像手段の撮像画像中の対
応候補点の情報を、前記仮想視野情報設定手段で設定さ
れた視点から前記選択画素に対応する前記物体上の点ま
での仮定距離の大きさ毎に抽出する対応候補点情報抽出
手段と、前記対応候補点情報抽出手段で抽出された対応候補点の
画像情報同士の類似度を算出する類似度算出手段と、前記類似度算出手段で算出された類似度が最も大きくな
るときの前記仮定距離を、前記仮想視野情報設定手段で
設定された視点から前記選択画素に対応する前記物体上
の点までの距離とし、この距離を各選択画素毎に求める
距離推定手段とを具えた物体の認識装置。
【請求項２】前記類似度算出手段で算出された仮
定距離ごとの類似度の大きさまたは類似度の変化率また
は原画像の変化率に基づいて、前記仮想画像中の各選択
画素毎に求められる距離の信頼度を演算する距離の信頼
度演算手段をさらに設けるようにした請求項１記載の物
体の認識装置。
【請求項３】前記仮想画像中の各選択画素毎に求
められた距離に基づいて、前記仮想視野情報設定手段で
設定された視点から前記物体の各点までの距離あるいは
信頼度を示す画像を生成する画像生成手段をさらに設け
るようにした請求項１または請求項２記載の物体の認識
装置。
【請求項４】前記仮想画像中の各選択画素毎に求
められた距離と、これら距離に対応する対応点の画像情
報とに基づいて、前記仮想視野情報設定手段で設定され
た視点で前記物体を撮像したときの画像を生成する画像
生成手段をさらに設けるようにした請求項１記載の物体
の認識装置。
【請求項５】複数の撮像手段を所定間隔をもって配
置し、これら複数の撮像手段のうちの一の撮像手段で対
象物体を撮像したときの当該一の撮像手段の撮像画像中
の選択画素に対応する他の撮像手段の撮像画像中の対応
候補点の情報を、前記一の撮像手段から前記選択画素に
対応する前記物体上の点までの仮定距離の大きさ毎に抽
出し、前記選択画素の画像情報と前記対応候補点の画像
情報の類似度を算出し、この算出された類似度が最も大
きくなるときの前記仮定距離を、前記一の撮像手段から
前記選択画素に対応する前記物体上の点までの距離と
し、この各選択画素毎に求められた距離に基づき前記物
体を認識するようにした物体の認識装置において、前記複数の撮像手段は、前記物体を撮像する条件の異な
る少なくとも２種類の撮像手段群に分類されるものであ
り、所望の位置で、所望の視野をもって前記物体を撮像した
ときの仮想の撮像手段による仮想の撮像画像を、前記一
の撮像手段の撮像画像の代わりに、設定する仮想視野情
報設定手段と、前記仮想視野情報設定手段で設定された仮想画像中の選
択画素に対応するそれぞれの前記撮像手段群の撮像画像
中の対応候補点の情報を、前記仮想視野情報設定手段で
設定された視点から前記選択画素に対応する前記物体上
の点までの仮定距離の大きさ毎に抽出する対応候補点情
報抽出手段と、前記対応候補点情報抽出手段で抽出された対応候補点の
画像情報同士の類似度を、それぞれの前記撮像手段群毎
に算出する類似度算出手段と、前記類似度算出手段で算出されたそれぞれの前記撮像手
段群についての類似度に基づいて融合類似度を求め、こ
の融合類似度が最も大きくなるときの前記仮定距離を、
前記仮想視野情報設定手段で設定された視点から前記選
択画素に対応する前記物体上の点までの距離とし、この
距離を各選択画素毎に求める距離推定手段とを具えた物
体の認識装置。
【請求項６】複数の撮像手段を所定間隔をもって配
置し、これら複数の撮像手段のうちの一の撮像手段で対
象物体を撮像したときの当該一の撮像手段の撮像画像中
の選択画素に対応する他の撮像手段の撮像画像中の対応
候補点の情報を、前記一の撮像手段から前記選択画素に
対応する前記物体上の点までの仮定距離の大きさ毎に抽
出し、前記選択画素の画像情報と前記対応候補点の画像
情報の類似度を算出し、この算出された類似度が最も大
きくなるときの前記仮定距離を、前記一の撮像手段から
前記選択画素に対応する前記物体上の点までの距離と
し、この各選択画素毎に求められた距離に基づき前記物
体を認識するようにした物体の認識装置において、前記複数の撮像手段は、前記物体を撮像する条件の異な
る少なくとも２種類の撮像手段群に分類されるものであ
り、前記物体の撮像条件に応じて、前記撮像手段群の中から
少なくとも一つの撮像手段群を、実際に使用すべき撮像
手段群として選択する撮像手段群選択手段と、所望の位置で、所望の視野をもって前記物体を撮像した
ときの仮想の撮像手段による仮想の撮像画像を、前記一
の撮像手段の撮像画像の代わりに、設定する仮想視野情
報設定手段と、前記仮想視野情報設定手段で設定された仮想画像中の選
択画素に対応する前記選択された撮像手段群の撮像画像
中の対応候補点の情報を、前記仮想視野情報設定手段で
設定された視点から前記選択画素に対応する前記物体上
の点までの仮定距離の大きさ毎に抽出する対応候補点情
報抽出手段と、前記対応候補点情報抽出手段で抽出された対応候補点の
画像情報同士の類似度を、前記選択された撮像手段群に
ついて算出する類似度算出手段と、前記類似度算出手段で算出された前記選択撮像手段群に
ついての類似度が最も大きくなるときの前記仮定距離
を、前記仮想視野情報設定手段で設定された視点から前
記選択画素に対応する前記物体上の点までの距離とし、
この距離を各選択画素毎に求める距離推定手段とを具え
た物体の認識装置。
【請求項７】複数の撮像手段を所定間隔をもって
配置し、これら複数の撮像手段のうちの一の撮像手段で
対象物体を撮像したときの当該一の撮像手段の撮像画像
中の選択画素に対応する他の撮像手段の撮像画像中の対
応候補点の情報を、前記一の撮像手段から前記選択画素
に対応する前記物体上の点までの仮定距離の大きさ毎に
抽出し、前記選択画素の画像情報と前記対応候補点の画
像情報の類似度を算出し、この算出された類似度が最も
大きくなるときの前記仮定距離を、前記一の撮像手段か
ら前記選択画素に対応する前記物体上の点までの距離と
し、この各選択画素毎に求められた距離に基づき前記物
体を認識するようにした物体の認識装置において、前記物体の撮像条件に応じて、前記複数の撮像手段の中
から実際に使用すべき少なくとも２つの撮像手段を選択
する撮像手段選択手段と、前記物体の撮像条件に応じた所望の位置、所望の視野を
もって前記物体を撮像したときの仮想の撮像手段による
仮想の撮像画像を、前記一の撮像手段の撮像画像の代わ
りに、設定する仮想視野情報設定手段と、前記仮想視野情報設定手段で設定された仮想画像中の選
択画素に対応する前記選択された少なくとも２つの撮像
手段の撮像画像中の対応候補点の情報を、前記仮想視野
情報設定手段で設定された視点から前記選択画素に対応
する前記物体上の点までの仮定距離の大きさ毎に抽出す
る対応候補点情報抽出手段と、前記対応候補点情報抽出手段で抽出された対応候補点の
画像情報同士の類似度を算出する類似度算出手段と、前記類似度算出手段で算出された類似度が最も大きくな
るときの前記仮定距離を、前記仮想視野情報設定手段で
設定された視点から前記選択画素に対応する前記物体上
の点までの距離とし、この距離を各選択画素毎に求める
距離推定手段とを具えた物体の認識装置。
【請求項８】所定間隔をもって配置され、認識対
象物体を撮像する複数の撮像手段と、前記認識対象物体に応じたモデル群を仮定するととも
に、当該モデル群の各モデル上の各点の位置座標を設定
する仮定モデル情報設定手段と、前記複数の撮像手段のうちの一の撮像手段で前記認識対
象物体を撮像したときの当該一の撮像手段の撮像画像中
の選択画素に対応する他の撮像手段の撮像画像中の対応
候補点の情報を、前記モデル群の中から選択された仮定
モデル毎に、当該仮定モデルの位置座標を用いて抽出す
る対応候補点情報抽出手段と、前記選択画素の画像情報と前記対応候補点情報抽出手段
で抽出された対応候補点の画像情報の類似度を算出する
類似度算出手段と、前記類似度算出手段で算出された類似度が最も大きくな
るときの前記仮定モデルを、前記選択画素に対応する点
のモデルとし、このモデルを各選択画素毎に求めるモデ
ル推定手段とを具えた物体の認識装置。
【請求項９】前記類似度算出手段で算出された仮
定モデルごとの類似度の大きさまたは類似度の変化率ま
たは原画像の変化率に基づいて、前記複数の撮像手段の
うちの一の撮像手段で前記認識対象物体を撮像したとき
の当該一の撮像手段の撮像画像中の各選択画素毎に求め
られるモデルの信頼度を演算するモデルの信頼度演算手
段をさらに設けるようにした請求項８記載の物体の認識
装置。
【請求項１０】前記複数の撮像手段のうちの一の
撮像手段で前記認識対象物体を撮像したときの当該一の
撮像手段の撮像画像中の各選択画素毎に求められたモデ
ルに基づいて、モデルの値あるいは信頼度を示す画像を
生成する画像生成手段をさらに設けるようにした請求項
８または請求項９記載の物体の認識装置。
【請求項１１】所定間隔をもって配置され、空間
内の認識対象物体を撮像する複数の撮像手段と、前記空間内の認識対象物体に対応したモデルを生成する
とともに、当該モデル上の各点の位置座標を設定する仮
定モデル情報設定手段と、前記複数の撮像手段のうちの一の撮像手段で前記認識対
象物体を撮像したときの当該一の撮像手段の撮像画像中
の選択画素に対応する前記モデル上の点に対応する他の
撮像手段の撮像画像中の対応候補点の情報を、前記モデ
ルの位置座標を用いて抽出する対応候補点情報抽出手段
と、前記選択画素の画像情報と前記対応候補点情報抽出手段
で抽出された対応候補点の画像情報の類似度を算出する
類似度算出手段と、前記類似度算出手段で算出された類似度を、各選択画素
毎に求め、各選択画素毎に求められた類似度を用いて、
当該類似度が所定のしきい値以上の選択画素の領域を前
記モデルであると判定するとともに、前記類似度が所定
のしきい値よりも小さくなる選択画素の領域を前記モデ
ル以外の物体であると判定する判定手段とを具えた物体
の認識装置。
【請求項１２】所定間隔をもって配置され、空間
内の認識対象物体と背景を撮像する複数の撮像手段と、前記空間内の背景に対応したモデルを生成するととも
に、当該モデル上の各点の位置座標を設定する仮定モデ
ル情報設定手段と、前記複数の撮像手段のうちの一の撮像手段で前記認識対
象物体および背景を撮像したときの当該一の撮像手段の
撮像画像中の前記背景を示す選択画素に対応する他の撮
像手段の撮像画像中の対応候補点の情報を、前記背景の
モデルの位置座標を用いて抽出する対応候補点情報抽出
手段と、前記選択画素の画像情報と前記対応候補点情報抽出手段
で抽出された対応候補点の画像情報の類似度を算出する
類似度算出手段と、前記類似度算出手段で算出された類似度を、各選択画素
毎に求め、各選択画素毎に求められた類似度を用いて、
当該類似度が所定のしきい値以上の選択画素の領域を前
記背景であると判定するとともに、前記類似度が所定の
しきい値よりも小さくなる選択画素の領域を前記背景以
外の物体であると判定する判定手段と、所望の擬似背景画像を発生する擬似背景画像発生手段
と、前記判定手段で背景であると判定された選択画素の
領域については前記擬似画像背景画像発生手段で発生す
る擬似背景画像を表示するとともに、前記判定手段で背
景以外の物体であると判定された選択画素の領域につい
ては当該選択画素の画像情報に基づき当該背景以外の物
体をそのまま表示する画像表示手段とを具えた表示装
置。
【請求項１３】前記モデル推定手段あるいは前記
モデル信頼度演算手段で得られたモデル推定情報および
他のセンサ情報に基づいて、当該モデル群の中から、仮
定モデルとすべき、適切な一つのモデルあるいはモデル
群を逐次選択するモデル群選択手段をさらに具えた請求
項８または請求項９または請求項10または請求項11記載
の物体の認識装置。
【請求項１４】所望の位置で、所望の視野をもっ
て前記物体を撮像したときの仮想の撮像手段による仮想
の撮像画像を、前記一の撮像手段の撮像画像の代わりに
設定し、前記設定された仮想画像中の選択画素に対応す
る前記複数の撮像手段の撮像画像中の対応候補点の情報
を、前記モデル群の中から選択された仮定モデル毎に、
当該仮定モデルの位置座標を用いて抽出し、前記抽出さ
れた対応候補点の画像情報同士の類似度を算出するよう
にした、請求項８または請求項９または請求項10記載の物体の認
識装置。
【請求項１５】所望の位置で、所望の視野をもっ
て前記物体を撮像したときの仮想の撮像手段による仮想
の撮像画像を、前記一の撮像手段の撮像画像の代わりに
設定し、前記設定された仮想画像中の選択画素に対応す
る前記複数の撮像手段の撮像画像中の対応候補点の情報
を、前記モデルの位置座標を用いて抽出し、前記抽出さ
れた対応候補点の画像情報同士の類似度を算出するよう
にした、請求項11または請求項12記載の物体の認識装置。
【請求項１６】複数の撮像手段を所定間隔をもって
配置し、これら複数の撮像手段のうちの一の撮像手段で
対象物体を撮像したときの当該一の撮像手段の撮像画像
中の選択画素に対応する他の撮像手段の撮像画像中の対
応候補点の情報を、前記一の撮像手段から前記選択画素
に対応する前記物体上の点までの仮定距離の大きさ毎に
抽出し、前記選択画素の画像情報と前記対応候補点の画
像情報の類似度を算出し、この算出された類似度が最も
大きくなるときの前記仮定距離を、前記一の撮像手段か
ら前記選択画素に対応する前記物体上の点までの距離と
し、この各選択画素毎に求められた距離に基づき前記物
体を認識するようにした物体の認識方法において、所望の位置で、所望の視野をもって前記物体を撮像した
ときの仮想の撮像手段による仮想の撮像画像を、前記一
の撮像手段の撮像画像の代わりに、設定する仮想視野情
報設定行程と、前記仮想視野情報設定行程で設定された仮想画像中の選
択画素に対応する前記複数の撮像手段の撮像画像中の対
応候補点の情報を、前記仮想視野情報設定手段で設定さ
れた視点から前記選択画素に対応する前記物体上の点ま
での仮定距離の大きさ毎に抽出する対応候補点情報抽出
行程と、前記対応候補点情報抽出行程で抽出された対応候補点の
画像情報同士の類似度を算出する類似度算出行程と、前記類似度算出行程で算出された類似度が最も大きくな
るときの前記仮定距離を、前記仮想視野情報設定行程で
設定された視点から前記選択画素に対応する前記物体上
の点までの距離とし、この距離を各選択画素毎に求める
距離推定行程とを具えた物体の認識方法。
【請求項１７】前記類似度算出行程で算出された
仮定距離ごとの類似度の大きさまたは類似度の変化率ま
たは原画像の変化率に基づいて、前記仮想画像中の各選
択画素毎に求められる距離の信頼度を演算する距離の信
頼度演算行程をさらに設けるようにした請求項16記載の
物体の認識方法。
【請求項１８】前記仮想画像中の各選択画素毎に
求められた距離に基づいて、前記仮想視野情報設定行程
で設定された視点から前記物体の各点までの距離あるい
は信頼度を示す画像を生成する画像生成行程をさらに設
けるようにした請求項16または請求項17記載の物体の認
識方法。
【請求項１９】前記仮想画像中の各選択画素毎に
求められた距離と、これら距離に対応する対応点の画像
情報とに基づいて、前記仮想視野情報設定行程で設定さ
れた視点で前記物体を撮像したときの画像を生成する画
像生成行程をさらに設けるようにした請求項16記載の物
体の認識方法。
【請求項２０】複数の撮像手段を所定間隔をもっ
て配置し、これら複数の撮像手段のうちの一の撮像手段
で対象物体を撮像したときの当該一の撮像手段の撮像画
像中の選択画素に対応する他の撮像手段の撮像画像中の
対応候補点の情報を、前記一の撮像手段から前記選択画
素に対応する前記物体上の点までの仮定距離の大きさ毎
に抽出し、前記選択画素の画像情報と前記対応候補点の
画像情報の類似度を算出し、この算出された類似度が最
も大きくなるときの前記仮定距離を、前記一の撮像手段
から前記選択画素に対応する前記物体上の点までの距離
とし、この各選択画素毎に求められた距離に基づき前記
物体を認識するようにした物体の認識方法において、前記複数の撮像手段は、前記物体を撮像する条件の異な
る少なくとも２種類の撮像手段群に分類されるものであ
り、所望の位置で、所望の視野をもって前記物体を撮像した
ときの仮想の撮像手段による仮想の撮像画像を、前記一
の撮像手段の撮像画像の代わりに、設定する仮想視野情
報設定行程と、前記仮想視野情報設定行程で設定された仮想画像中の選
択画素に対応するそれぞれの前記撮像手段群の撮像画像
中の対応候補点の情報を、前記仮想視野情報設定行程で
設定された視点から前記選択画素に対応する前記物体上
の点までの仮定距離の大きさ毎に抽出する対応候補点情
報抽出行程と、前記対応候補点情報抽出行程で抽出された対応候補点の
画像情報同士の類似度を、それぞれの前記撮像手段群毎
に算出する類似度算出行程と、前記類似度算出行程で算出されたそれぞれの前記撮像手
段群についての類似度に基づいて融合類似度を求め、こ
の融合類似度が最も大きくなるときの前記仮定距離を、
前記仮想視野情報設定行程で設定された視点から前記選
択画素に対応する前記物体上の点までの距離とし、この
距離を各選択画素毎に求める距離推定行程とを具えた物
体の認識方法。
【請求項２１】複数の撮像手段を所定間隔をもって
配置し、これら複数の撮像手段のうちの一の撮像手段で
対象物体を撮像したときの当該一の撮像手段の撮像画像
中の選択画素に対応する他の撮像手段の撮像画像中の対
応候補点の情報を、前記一の撮像手段から前記選択画素
に対応する前記物体上の点までの仮定距離の大きさ毎に
抽出し、前記選択画素の画像情報と前記対応候補点の画
像情報の類似度を算出し、この算出された類似度が最も
大きくなるときの前記仮定距離を、前記一の撮像手段か
ら前記選択画素に対応する前記物体上の点までの距離と
し、この各選択画素毎に求められた距離に基づき前記物
体を認識するようにした物体の認識方法において、前記複数の撮像手段は、前記物体を撮像する条件の異な
る少なくとも２種類の撮像手段群に分類されるものであ
り、前記物体の撮像条件に応じて、前記撮像手段群の中から
少なくとも一つの撮像手段群を、実際に使用すべき撮像
手段群として選択する撮像手段群選択行程と、所望の位置で、所望の視野をもって前記物体を撮像した
ときの仮想の撮像手段による仮想の撮像画像を、前記一
の撮像手段の撮像画像の代わりに、設定する仮想視野情
報設定行程と、前記仮想視野情報設定行程で設定された仮想画像中の選
択画素に対応する前記選択された撮像手段群の撮像画像
中の対応候補点の情報を、前記仮想視野情報設定行程で
設定された視点から前記選択画素に対応する前記物体上
の点までの仮定距離の大きさ毎に抽出する対応候補点情
報抽出行程と、前記対応候補点情報抽出行程で抽出された対応候補点の
画像情報同士の類似度を、前記選択された撮像手段群に
ついて算出する類似度算出行程と、前記類似度算出行程で算出された前記選択撮像手段群に
ついての類似度が最も大きくなるときの前記仮定距離
を、前記仮想視野情報設定行程で設定された視点から前
記選択画素に対応する前記物体上の点までの距離とし、
この距離を各選択画素毎に求める距離推定行程とを具え
た物体の認識方法。
【請求項２２】複数の撮像手段を所定間隔をもっ
て配置し、これら複数の撮像手段のうちの一の撮像手段
で対象物体を撮像したときの当該一の撮像手段の撮像画
像中の選択画素に対応する他の撮像手段の撮像画像中の
対応候補点の情報を、前記一の撮像手段から前記選択画
素に対応する前記物体上の点までの仮定距離の大きさ毎
に抽出し、前記選択画素の画像情報と前記対応候補点の
画像情報の類似度を算出し、この算出された類似度が最
も大きくなるときの前記仮定距離を、前記一の撮像手段
から前記選択画素に対応する前記物体上の点までの距離
とし、この各選択画素毎に求められた距離に基づき前記
物体を認識するようにした物体の認識方法において、前記物体の撮像条件に応じて、前記複数の撮像手段の中
から実際に使用すべき少なくとも２つの撮像手段を選択
する撮像手段選択行程と、前記物体の撮像条件に応じた所望の位置、所望の視野を
もって前記物体を撮像したときの仮想の撮像手段による
仮想の撮像画像を、前記一の撮像手段の撮像画像の代わ
りに、設定する仮想視野情報設定手段と、前記仮想視野情報設定行程で設定された仮想画像中の選
択画素に対応する前記選択された少なくとも２つの撮像
手段の撮像画像中の対応候補点の情報を、前記仮想視野
情報設定行程で設定された視点から前記選択画素に対応
する前記物体上の点までの仮定距離の大きさ毎に抽出す
る対応候補点情報抽出行程と、前記対応候補点情報抽出行程で抽出された対応候補点の
画像情報同士の類似度を算出する類似度算出行程と、前記類似度算出行程で算出された類似度が最も大きくな
るときの前記仮定距離を、前記仮想視野情報設定行程で
設定された視点から前記選択画素に対応する前記物体上
の点までの距離とし、この距離を各選択画素毎に求める
距離推定行程とを具えた物体の認識方法。
【請求項２３】認識対象物体を、所定間隔をもっ
て配置された複数の撮像手段で撮像する撮像行程と、前記認識対象物体に応じたモデル群を仮定するととも
に、当該モデル群の各モデル上の各点の位置座標を設定
する仮定モデル情報設定行程と、前記複数の撮像手段のうちの一の撮像手段で前記認識対
象物体を撮像したときの当該一の撮像手段の撮像画像中
の選択画素に対応する他の撮像手段の撮像画像中の対応
候補点の情報を、前記モデル群の中から選択された仮定
モデル毎に、当該仮定モデルの位置座標を用いて抽出す
る対応候補点情報抽出行程と、前記選択画素の画像情報と前記対応候補点情報抽出行程
で抽出された対応候補点の画像情報の類似度を算出する
類似度算出行程と、前記類似度算出行程で算出された類似度が最も大きくな
るときの前記仮定モデルを、前記選択画素に対応する点
のモデルとし、このモデルを各選択画素毎に求めるモデ
ル推定行程とを具えた物体の認識方法。
【請求項２４】前記類似度算出行程で算出された
仮定モデルごとの類似度の大きさや類似度の変化率や原
画像の変化率等に基づいて、前記複数の撮像手段のうち
の一の撮像手段で前記認識対象物体を撮像したときの当
該一の撮像手段の撮像画像中の各選択画素毎に求められ
るモデルの信頼度を演算するモデルの信頼度演算行程を
さらに設けるようにした請求項23記載の物体の認識方
法。
【請求項２５】前記複数の撮像手段のうちの一の
撮像手段で前記認識対象物体を撮像したときの当該一の
撮像手段の撮像画像中の各選択画素毎に求められたモデ
ルに基づいて、モデルの値あるいは信頼度を示す画像を
生成する画像生成行程をさらに設けるようにした請求項
24または請求項25記載の物体の認識方法。
【請求項２６】空間内の一の認識対象物体を、所
定間隔をもって配置された複数の撮像手段で撮像する撮
像行程と、前記空間内の一の認識対象物体に対応したモデルを生成
するとともに、当該モデル上の各点の位置座標を設定す
る仮定モデル情報設定行程と、前記複数の撮像手段のうちの一の撮像手段で前記認識対
象物体を撮像したときの当該一の撮像手段の撮像画像中
の前記モデルを示す選択画素に対応する他の撮像手段の
撮像画像中の対応候補点の情報を、前記モデルの位置座
標を用いて抽出する対応候補点情報抽出行程と、前記選択画素の画像情報と前記対応候補点情報抽出行程
で抽出された対応候補点の画像情報の類似度を算出する
類似度算出行程と、前記類似度算出行程で算出された類似度を、各選択画素
毎に求め、各選択画素毎に求められた類似度を用いて、
当該類似度が所定のしきい値以上の選択画素の領域を前
記認識対象物体であると判定するとともに、前記類似度
が前記所定のしきい値よりも小さくなる選択画素の領域
を前記認識対象物体以外の物体であると判定する判定行
程とを具えた物体の認識方法。
【請求項２７】空間内の認識対象物体と背景を、
所定間隔をもって配置された複数の撮像手段で撮像する
撮像行程と、前記空間内の背景に対応したモデルを生成するととも
に、当該モデル上の各点の位置座標を設定する仮定モデ
ル情報設定行程と、前記複数の撮像手段のうちの一の撮像手段で前記認識対
象物体および背景を撮像したときの当該一の撮像手段の
撮像画像中の前記背景を示す選択画素に対応する他の撮
像手段の撮像画像中の対応候補点の情報を、前記背景の
モデルの位置座標を用いて抽出する対応候補点情報抽出
行程と、前記選択画素の画像情報と前記対応候補点情報抽出行程
で抽出された対応候補点の画像情報の類似度を算出する
類似度算出行程と、前記類似度算出行程で算出された類似度を、各選択画素
毎に求め、各選択画素毎に求められた類似度を用いて、
当該類似度が所定のしきい値以上の選択画素の領域を前
記背景であると判定するとともに、前記類似度が前記所
定のしきい値よりも小さくなる選択画素の領域を前記背
景以外の物体であると判定する判定行程と、所望の擬似背景画像を発生する擬似背景画像発生行程
と、前記判定行程で背景であると判定された選択画素の領域
については前記擬似画像背景画像発生行程で発生する擬
似背景画像を表示するとともに、前記判定行程で背景以
外の物体であると判定された選択画素の領域については
当該選択画素の画像情報に基づき当該背景以外の物体を
そのまま表示する画像表示行程とを具えた表示方法。
【請求項２８】前記モデル推定行程あるいは前記
モデル信頼度演算行程で得られたモデル推定情報および
他のセンサ情報に基づいて、当該モデル群の中から、仮
定モデルとすべき、適切な一つのモデルあるいはモデル
群を逐次選択するモデル群選択行程をさらに具えた請求
項23または請求項24または請求項25または請求項26記載
の物体の認識方法。
【請求項２９】所望の位置で、所望の視野をもっ
て前記物体を撮像したときの仮想の撮像手段による仮想
の撮像画像を、前記一の撮像手段の撮像画像の代わりに
設定し、前記設定された仮想画像中の選択画素に対応す
る前記複数の撮像手段の撮像画像中の対応候補点の情報
を、前記モデル群の中から選択された仮定モデル毎に、
当該仮定モデルの位置座標を用いて抽出し、前記抽出さ
れた対応候補点の画像情報同士の類似度を算出するよう
にした、請求項23または請求項24または請求項25記載の物体の認
識方法。
【請求項３０】所望の位置で、所望の視野をもっ
て前記物体を撮像したときの仮想の撮像手段による仮想
の撮像画像を、前記一の撮像手段の撮像画像の代わりに
設定し、前記設定された仮想画像中の選択画素に対応す
る前記複数の撮像手段の撮像画像中の対応候補点の情報
を、前記モデルの位置座標を用いて抽出し、前記抽出さ
れた対応候補点の画像情報同士の類似度を算出するよう
にした、請求項26または請求項27記載の物体の認識方法。