JP4316710B2

JP4316710B2 - 車外監視装置

Info

Publication number: JP4316710B2
Application number: JP00688099A
Authority: JP
Inventors: 圭二塙
Original assignee: Fuji Jukogyo KK
Current assignee: Subaru Corp
Priority date: 1999-01-13
Filing date: 1999-01-13
Publication date: 2009-08-19
Anticipated expiration: 2019-01-13
Also published as: JP2000207695A

Description

【０００１】
【発明の属する技術分野】
本発明は、車外の対象をステレオ撮像した２枚の画像から得られる距離情報に基づいて車外の状況を認識する車外監視装置に関する。
【０００２】
【従来の技術】
近年、自動車等の車両においては、前方の車両や障害物を検知し、それらに衝突する危険度を判定して運転者に警報を発したり、自動的にブレーキを作動させて停止させる、あるいは、先行車との車間距離を安全に保つよう自動的に走行速度を増減する等の技術が積極的に開発されており、その有力な手段の一つとして、車載のカメラで撮像した画像による画像認識技術がある。
【０００３】
この画像認識技術を自動車に適用した例として、本出願人は、先に、特開平５−２６５５４７号公報において、車両に搭載したステレオカメラで撮像した２枚の画像を処理して道路形状、先行車両、障害物等の三次元位置を計測し、先行車や障害物との衝突・接触可能性を判断して警報を発する等の運転支援を行う技術を提案しており、この技術では、２枚の画像間のシティブロック距離を計算して距離情報を出力するハードウエア回路によって高速処理を実現している。
【０００４】
【発明が解決しようとする課題】
周知のように、ステレオ法では、２台のカメラの基線長（カメラ光軸間の距離）をｒ、視差をｘとした場合、レンズから目標物体までの距離Ｄは、以下の(1)式によって算出することができる。
Ｄ＝ｒｆ／ｘ …(1)
【０００５】
上記(1)式における視差ｘは、以下の(2)式に示される２枚の画像間の対応する領域のシティブロック距離Ｈが最小値となる画素ズレ量として求めることができ、上記(1)式から明らかなように、対応点の探索範囲は距離が近くなるほど大きくなり、距離が近くなれば処理時間も増大することになる。
Ｃ＝Σ｜Ａi−Ｂi｜ …(2)
但し、Ａi：一方の画像の領域におけるｉ番目画素の輝度
Ｂi：他方の画像の領域におけるｉ番目画素の輝度
Σ ：ｉ＝０〜ｎ（領域内の画素数）の総和
【０００６】
従って、ハードウエア回路でシティブロック距離を計算して対応点の画素ズレ量を求める場合には、実用的な装置サイズや重量、コスト、回路部品の動作速度等を考慮すると、高速走行で必要とされる比較的遠距離の立体物に対する処理が可能なように対応点の探索範囲を固定せざるを得ず、自車両直前の至近距離は検出可能範囲外となってしまう。
【０００７】
本発明は上記事情に鑑みてなされたもので、ハードウエア回路による距離検出の実用限界を越えた至近距離内にある立体物に対しても、距離を検出することのできる車外監視装置を提供することを目的としている。
【０００８】
【課題を解決するための手段】
請求項１記載の発明は、車外の対象をステレオ撮像した２枚の画像間のシティブロック距離を固定された探索範囲のマッチング領域毎に計算して距離情報を出力する距離検出回路を備え、この距離検出回路からの距離情報に基づいて車外の状況を認識する車外監視装置において、上記距離検出回路からの距離情報に基づく今回の立体物の検出結果と前回の立体物の検出結果とを照合し、前回の処理で立体物が検出され、今回の処理で前回の距離情報から判断される距離に立体物が検出されないとき、上記距離検出回路の探索範囲で検出可能な検出可能限界距離より近くに立体物が存在すると判定する手段と、上記距離検出回路の検出可能限界距離より近くに立体物が存在すると判定されたとき、上記距離検出回路の検出可能限界距離よりも近くの距離を検出可能な探索範囲を設定し、一方の撮像画像に設定したマッチング領域毎に対応する部分を他方の撮像画像から探索して視差を求め、この視差から上記距離検出回路の検出可能限界距離より近くに存在する立体物までの距離を算出する至近距離算出プログラムを実行する手段とを備えたことを特徴とする。
【０００９】
請求項２記載の発明は、請求項１記載の発明において、上記至近距離算出プログラムの実行によって設定されるマッチング領域を、輝度変化の大きい部分を囲む領域とすることを特徴とする。
【００１０】
請求項３記載の発明は、請求項１記載の発明において、上記至近距離算出プログラムの実行によって設定される探索範囲を、自車両のバンパー先端までの距離に相当する視差の得られる範囲とすることを特徴とする。
請求項４記載の発明は、請求項１記載の発明において、上記至近距離算出プログラムの実行によって設定されるマッチング領域を、上記距離検出回路のマッチング領域よりも大きいサイズの領域とすることを特徴とする。
【００１１】
すなわち、本発明では、距離検出回路からの距離情報に基づく前回の処理で立体物が検出され、今回の処理で前回の距離情報から立体物が存在すると判断される距離に立体物が検出されないとき、距離検出回路で検出可能な検出可能限界距離より近くに立体物が存在すると判定して至近距離算出プログラムを実行する。そして、距離検出回路の検出可能限界距離よりも近くの距離を検出可能な探索範囲を設定し、一方の撮像画像に設定したマッチング領域毎に対応する部分を他方の撮像画像から探索して視差を求め、この視差から距離検出回路の検出可能限界距離より近くに存在する立体物までの距離を算出する。
【００１２】
この場合、至近距離算出プログラムを実行して２枚の撮像画像間の対応する部分を探索するために一方の撮像画像に設定するマッチング領域は、輝度変化の大きい部分を囲む領域とすることが望ましく、距離検出回路のマッチング領域よりも大きいサイズの領域とすることが望ましい。また、至近距離算出プログラムを実行して他方の撮像画像を探索する範囲は、自車両のバンパー先端までの距離に相当する視差の得られる範囲とすることが望ましい。
【００１３】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。図１〜図３は本発明の実施の一形態に係わり、図１は至近距離算出に係わる処理のフローチャート、図２は車外監視装置の構成図、図３は自車両直前の先行車の元画像を示す説明図である。
【００１４】
図２において、符号１は、自動車等の車両に搭載される２台のＣＣＤカメラ２，３からなるカメラアセンブリであり、このカメラアセンブリ１に、撮像画像を処理して車外の対象までの距離を求め、求めた距離の情報に基づいて道路形状の認識や立体物の認識等を行なうステレオ画像処理ユニット１０が接続され、３次元画像認識による車外監視装置が構成される。
【００１５】
上記カメラアセンブリ１を構成する各ＣＣＤカメラ２，３は、互いに、同期が取れ、且つ、シャッタースピード可変のカメラであり、一方のＣＣＤカメラ２をステレオ画像処理の際の基準画像を撮像するメインカメラ、他方のＣＣＤカメラ３をステレオ画像処理の際の比較画像を撮像するサブカメラとして、所定の基線長で互いの撮像面垂直軸が平行となるよう配置されてステレオカメラを構成している。
【００１６】
一方、ステレオ画像処理ユニット１０は、各ＣＣＤカメラ２，３からの２系統の画像信号を処理するため、各系統毎に、アナログ撮像信号を増幅して後段の入力レンジに合わせるためのゲインコントロールアンプ等を有するアナログＩ／Ｆ１１，１２に、アナログ画像データをデジタル画像データに変換するＡ／Ｄコンバータ１３，１４が接続されている。
【００１７】
さらに、各Ａ／Ｄコンバータ１３，１４に、ＣＣＤカメラ２，３の特性の相違を補正するためのルックアップテーブル（ＬＵＴ）１５，１６が接続されており、各ＬＵＴ１５，１６の出力は、カメラへの入射角の違いによる感度の違いを補正するためのシェーディング補正や画像の明暗部に対して対数変換を行って低輝度部分のコントラストを改善するためのＬＯＧ補正等を行う補正回路１７，１８を経て、一旦、ビデオＲＡＭ（ＶＲＡＭ）２１，２２にストアされる。
【００１８】
各ＣＣＤカメラ２，３の撮像信号を処理して各ＶＲＡＭ２１，２２にストアされた基準画像データ及び比較画像データからは、シティブロック距離計算回路２３及び最小値・画素ズレ検出回路２４を中心とし、輝度変化有効判定回路２５、距離情報有効判定回路２６等を付加して構成される距離検出回路によって高速に距離が検出される。
【００１９】
すなわち、各ＶＲＡＭ２１，２２のデータが絶対値演算器と加算器とをピラミッド状に接続したパイプライン構造のシティブロック距離計算回路２３に読み込まれ、さらに、最小値・画素ズレ検出回路２４を通って２枚の画像の小領域（例えば４×４画素の小領域）毎に、２つの画像の一致度を評価するステレオマッチングが行われる。
【００２０】
このハードウエア回路によるステレオマッチングでは、シティブロック距離計算回路２３で、基準画像の一つの小領域に対し、対応する比較画像の小領域との間のシティブロック距離を計算する処理を水平方向に１画素ずつすらしながら所定画素分ずれるまで繰り返し、最小値・画素ズレ検出回路２４で、シティブロック距離の最小値及び最大値等を評価してシティブロック距離の最小値が本当に２つの画像の小領域の一致を示しているものかどうかをチェックする。そして、チェック条件を満足する場合、シティブロック距離が最小になる画素ズレ量を基準画像の小領域に対応する距離情報として出力する。
【００２１】
さらに、上記最小値・画素ズレ検出回路２４の後段には、２つの画像の一致度を評価するのに適正な輝度差があるか否かを、ＶＲＡＭ２１の画像データの水平方向の輝度変化量が有効値に達したか否かによって判定する輝度変化有効判定回路２５の判定結果に基づいて、距離情報（画素ズレ量）の有効性を判定する距離情報有効判定回路２６が接続され、この距離情報有効判定回路２６で有効と判断された距離情報が距離画像メモリ２７にストアされる。
【００２２】
上記距離画像メモリ２７にストアされた距離情報は、画像のような形態をしており（距離画像）、基準側の元画像（シティブロック距離を算出する元となる画像）をストアする元画像メモリ２８や比較側の元画像をストアする元画像メモリ２９にストアされた元画像データとともに認識処理用ＣＰＵ３０に読み込まれ、走行環境を認識する処理が行われる。そして、認識結果が図示しない制御装置に出力され、例えば、前方の車両や障害物を検知し、それらに衝突する危険度を判定して運転者に警報を発したり、自動的にブレーキを作動させて停止させる、あるいは、先行車との車間距離を安全に保つよう自動的に走行速度を増減する等の制御が行われる。
【００２３】
以上の３次元画像認識による車外監視装置においては、ハードウエア回路によって立体物までの距離を高速に検出しているが、市街地における渋滞走行時等では、自車両直前に接近した先行車に対する距離を検出できない場合がある。
【００２４】
このため、認識処理用ＣＰＵ３０では、距離画像メモリ２７からの距離データを用いた前回の立体物検出結果と今回の立体物検出結果とからハードウエアの限界距離より近くの距離に立体物が存在するか否かを調べ、限界距離を超えた至近距離に立体物が存在する場合には、ソフトウエア処理によって立体物までの距離を算出するようにしており、ハードウエア回路による距離検出の実用限界を越えた至近距離内にある立体物に対しても距離を検出することができる。
【００２５】
以下、上記認識処理用ＣＰＵ３０による至近距離算出に係わる処理について、図１のフローチャートに従って説明する。
【００２６】
この処理では、ステップS101で、シティブロック距離計算回路２３を初めとするハードウエア回路でステレオマッチングされて出力された今回の距離画像データを距離画像メモリ２７から読み込むと、ステップS102で距離画像を所定の画素間隔で格子状の領域に区分して各区分毎に今回の立体物データを抽出し、立体物を検出する処理を行う。尚、ハードウエア回路によるステレオマッチング、及び、このステレオマッチング結果を用いて立体物を検出する処理については、本出願人による特開平５−２６５５４７号公報に詳述されている。
【００２７】
次に、ステップS103へ進んで前回の立体物の検出結果を読み込むと、ステップS104で今回の立体物の検出結果と前回の立体物の検出結果とを照合して至近距離の立体物を確認し、ステップS105で、その確認結果から至近距離に立体物が存在するか否かを調べる。そして、至近距離に立体物が存在しないときには、ステップS105からステップS106へ進んで今回の立体物の検出結果を出力し、至近距離に立体物が存在するときには、ステップS105からステップS107へ進んでソフトマッチングによる距離算出を行う。
【００２８】
すなわち、ハードウエア回路でステレオマッチングした距離データから前回の処理で先行車等の立体物が検出され、その検出結果から、今回の処理では自車両の近傍に立体物が存在するはずであるにも拘わらず、今回の処理で妥当な距離に立体物が検出されない場合、ハードウエア回路の限界距離より近くに立体物が接近している可能性が高いと判断し、ソフトウエアにより距離を算出する。
【００２９】
このソフトウエアによる距離算出では、基準側の元画像データ、比較側の元画像データを、それぞれ、元画像メモリ２８，２９から読み込み、基準側の元画像の中で輝度変化の大きい部分を検出し、この輝度変化の大きい部分を囲む領域を数カ所設定し、比較側の元画像に設定した視差検出範囲をサーベイして各領域と一致する部分を検出する。
【００３０】
例えば、図３に示すように、立体物が先行車の場合、左右のテールランプのコーナー部やリヤトランクのキー部等を輝度変化の大きい部分として検出した場合、それぞれを囲む領域Ｒ１，Ｒ２，Ｒ３を２０×２０画素程度の大きさで設定し、比較側の元画像における水平走査方向の視差検出範囲を自車両のバンパー先端までの距離に相当する視差値を検出可能な範囲として一致部分を検出する。
【００３１】
この一致部分の検出は、２０×２０画素の領域毎に、互いの画素の輝度の差から先に説明した(2)式で示すシティブロック距離Ｈを計算することで行われ、シティブロック距離Ｈが最小となる比較側の元画像の領域を基準側の元画像の領域に対応する場所として決定し、互いに対応する領域で対象物までの距離に応じて生じる画素のズレを求める。
【００３２】
そして、以上のソフトマッチングによる各領域毎の画素ズレ量から、先に説明した(1)式に基づいて距離を算出すると、この距離を平均した値あるいは推定値に最も近い値を今回の処理における至近距離の算出結果として採用し、上記ステップS107からステップS108へ進んで至近距離の算出結果を出力し、ルーチンを抜ける。
【００３３】
これにより、遠距離から至近距離までをカバーするために距離検出回路の動作速度を不要に速くして装置の大型化や重量増、コストアップを招くことがなく、ハードウエア回路による距離検出の実用限界を越えた至近距離内にある立体物に対しても、距離を検出することができる。
【００３４】
【発明の効果】
以上説明したように本発明によれば、ハードウエア回路による距離検出の実用限界を越えた至近距離内にある立体物に対しても距離を検出することができるため、遠距離から至近距離までをカバーするためにハードウエア回路の動作速度を不要に速くして装置の大型化や重量増、コストアップを招くことがなく、高速走行時に自車両前方に存在する立体物から市街地の渋滞走行時等の自車両直前の立体物まで広範囲に存在する立体物を検出することができ、車外状況の認識信頼性を向上することができる等優れた効果が得られる。
【図面の簡単な説明】
【図１】至近距離算出に係わる処理のフローチャート
【図２】車外監視装置の構成図
【図３】自車両直前の先行車の元画像を示す説明図
【符号の説明】
１ …カメラアセンブリ
１０…ステレオ画像処理ユニット
２３…シティブロック距離計算回路
２４…最小値・画素ズレ検出回路
３０…認識処理用ＣＰＵ

Claims

車外の対象をステレオ撮像した２枚の画像間のシティブロック距離を固定された探索範囲のマッチング領域毎に計算して距離情報を出力する距離検出回路を備え、この距離検出回路からの距離情報に基づいて車外の状況を認識する車外監視装置において、
上記距離検出回路からの距離情報に基づく今回の立体物の検出結果と前回の立体物の検出結果とを照合し、前回の処理で立体物が検出され、今回の処理で前回の距離情報から判断される距離に立体物が検出されないとき、上記距離検出回路の探索範囲で検出可能な検出可能限界距離より近くに立体物が存在すると判定する手段と、
上記距離検出回路の検出可能限界距離より近くに立体物が存在すると判定されたとき、上記距離検出回路の検出可能限界距離よりも近くの距離を検出可能な探索範囲を設定し、一方の撮像画像に設定したマッチング領域毎に対応する部分を他方の撮像画像から探索して視差を求め、この視差から上記距離検出回路の検出可能限界距離より近くに存在する立体物までの距離を算出する至近距離算出プログラムを実行する手段とを備えたことを特徴とする車外監視装置。
上記至近距離算出プログラムの実行によって設定されるマッチング領域を、輝度変化の大きい部分を囲む領域とすることを特徴とする請求項１記載の車外監視装置。
上記至近距離算出プログラムの実行によって設定される探索範囲を、自車両のバンパー先端までの距離に相当する視差の得られる範囲とすることを特徴とする請求項１記載の車外監視装置。
上記至近距離算出プログラムの実行によって設定されるマッチング領域を、上記距離検出回路のマッチング領域よりも大きいサイズの領域とすることを特徴とする請求項１記載の車外監視装置。