JP5996411B2 - 画像処理装置 - Google Patents

Description

本発明は、ステレオ撮像画像に基づき対応点探索法による測距を行う共に、画像内に存在する物体の検出処理と認識処理とを行う画像処理装置に関する。

特開２００８−３９４９１号公報

例えば先行車両やその他の障害物の接近を検知して車両を制動させるなどの衝突回避や、オートクルーズ等といった運転者を支援するための運転支援技術が知られている。このような運転支援技術では、車両前方に存在する物体までの距離を検出したり、その物体の種別（先行車両や歩行者等）を認識した結果に基づき、車両制動やスロットル制御等の車両制御が行われる。

撮像された物体までの距離の情報を得るための手法として、いわゆる対応点探索法を用いた手法が知られている。
従来では、対応点探索法により算出した各対応点についての距離の情報を、各対応点の座標（画像平面としての二次元空間上の座標）と対応づけて距離画像として保持し、この距離画像を用いて、画像内に存在する同一物体とみなされる画素範囲をグループ化する処理（物体検出処理）を実行している。そして、この物体検出処理で得られた個々の物体の画素範囲の情報を用いて、撮像画像に基づき各物体の種別を認識する処理（物体認識処理）を実行している。
対応点探索は、ステレオ撮像により得られた２枚の撮像画像をそれぞれ基準画像と比較画像としたときに、基準画像上の或る画素ブロック（例えば４画素・４画素等の所定サイズ）に対応する画素ブロック（同一被写体が映し出されているとみなされる画素ブロック：対応点）を、比較画像上から探索する処理である。具体的には、基準画像上の画素ブロックに対する相関値が最も大となる画素ブロックを比較画像上より探索する処理である。
このように、対応点探索は、比較画像上で１画素ずつ画素ブロックをシフトさせながら相関値を求めていくので、比較的処理負担が大きい。

ここで、対応点探索法による測距を行う場合には、近距離物体ほど視差が大きくなる。このため、近距離物体の距離を算出するには、遠距離物体の距離を算出する場合と比較して比較画像上のより広い範囲で対応点の探索処理（相関値の計算）を行う必要がある。この点を考慮すると、遠距離から近距離までを測距するためには、対応点の探索幅は近距離物体を検出できる程度に広く設定しておくことが望ましい。

しかしながら、探索幅を広くすると相関値の計算量が増大し、対応点探索に要する処理負担が大きくなる。
そこで、先に本出願人は、近距離物体についての対応点探索を縮小画像に基づき実行する手法を提案している（上記特許文献１を参照）。具体的に、上記特許文献１に記載の手法では、遠距離物体についての対応点探索を通常サイズの撮像画像（以下「通常画像」と表記）に基づき通常の探索幅で行い、近距離物体についての対応点探索を、通常画像の縦・横の画素数をそれぞれ１／２とした１／４縮小画像に基づき、前記通常の探索幅で行っている。
縮小画像では被写体のサイズも縮小されるので、上記のように縮小画像について通常の探索幅による対応点探索を行うと、探索範囲を広げたことと同等の作用が得られ、近距離物体についての対応点を検出できる。そして、対応点探索の最小単位である画素ブロックのサイズも、画像の縮小率に合わせて縮小化するので、その分、縮小画像に基づき行う対応点探索の処理負担は、通常画像に基づき行われる遠距離物体についての処理負担に対し、画像の縮小率の分だけ軽減できる。具体的に、画像の縮小率が上記のように１／２・１／２＝１／４とされた場合には、近距離物体についての対応点探索に係る処理負担は、通常画像に基づく遠距離物体についての対応点探索に係る処理負担を「１」とすると、「１／４」に抑えられる。すなわち、遠距離物体から近距離物体までを検出するための対応点探索に係る処理負担は「１．２５」である。
例えば、通常画像のみに基づき上記特許文献１に記載の手法と同じ距離範囲の物体の検出を可能とするためには、探索幅を上記通常の探索幅の倍に広げることになるが、このように探索幅を倍に広げた場合には対応点探索の処理負担は「２」となる。この点より、特許文献１に記載の手法によれば対応点探索に係る処理負担が大幅に軽減（１．２５／２より凡そ６２％の軽減）されることが分かる。

物体認識処理を行う従来の画像処理装置では、上記特許文献１に記載の手法によって遠距離物体と近距離物体とについての対応点探索を行っており、これにより、対応点探索に係る処理負担の軽減が図られている。
しかしながら、従来の画像処理装置では、縮小画像に基づく処理として、上記のような対応点探索の処理と共に、対応点探索の処理結果に基づく物体検出処理と、該物体検出処理で検出された物体の種別を認識する物体認識処理とを行っている。そして、この縮小画像についての一連の処理の結果を用いて、通常画像に基づく対応点探索処理、物体検出処理、物体認識処理の一連の処理を行って、近距離物体と遠距離物体とについての最終的な距離情報及び物体認識結果の情報を得ている。
このように従来の画像処理装置では、通常画像と縮小画像とについて全く同じ処理が並行して行われており、処理の無駄が生じている。
本発明は上記問題点に鑑み為されたものであり、対応点探索から物体認識処理までに要するトータルの処理負担の軽減を図ることを目的とする。

本発明の画像処理装置は、ステレオ撮像により一対の画像データを得る撮像部と、前記撮像部により得た前記一対の画像データに基づき、画サイズが大サイズの前記一対の画像データと画サイズが小サイズの前記一対の画像データとを得る大小画像取得部と、前記大サイズの前記一対の画像データに基づき、対応点探索法による測距を行って距離画像を生成し、該距離画像に基づき、画像内の同一物体とみなされる画素範囲をグループ化する大画物体検出部と、前記大画物体検出部による物体検出処理結果と、前記大小画像取得部が取得した大サイズの前記画像データとに基づき、前記大画物体検出部が検出した物体の種別を認識する物体認識部と、前記小サイズの前記一対の画像データに基づき、対応点探索法による測距を行って距離画像を生成し、該距離画像に基づき、画像内の同一物体とみなされる画素範囲をグループ化する小画物体検出部と、を備え、前記大画物体検出部が、前記小画物体検出部によって所定距離内の物体が検出された場合に、所定の探索範囲による対応点探索と、該所定の探索範囲から変更した探索範囲による対応点探索とを実行し、これらの対応点探索で求まった各対応点の情報に基づき、前記距離画像の生成及び該距離画像に基づく前記グループ化を行うものである。
本発明によれば、従来の画像処理装置との比較で、小サイズの画像データに基づく処理が物体検出処理までに止められるので、小サイズの画像データに基づく物体認識処理が省略され、その分の処理負担が軽減される。

本発明によれば、対応点探索から物体認識処理までに要するトータルの処理負担を軽減できる。

車両制御を行うためのシステム構成を模式的に示した図である。 図１に示したシステム構成における、物体認識までの画像処理に係る部分の構成を抽出して示した図である。 大サイズ画像と小サイズ画像とについての説明図である。 大サイズ画像、小サイズ画像に基づく対応点探索の様子を模式的に示した図である。 物体検出処理の説明図である。 探索範囲の変更手法についての説明図である。 画像処理の一連の処理手順を示したフローチャートである。

＜１．システム全体構成＞
図１は、本発明に係る実施の形態としての画像処理装置を備え、車両１についての車両制御を行うためのシステム構成を模式的に示している。本システムは、車両１に対して設けられた撮像装置２、車外環境認識装置３、車両制御装置４、舵角センサ５、車速センサ６、アクチュエータ７、ディスプレイ８を備えて構成されている。
本システムでは、撮像装置２で得られた撮像画像に基づき、車外環境認識装置３が車両前方に存在する物体を認識する。そして本システムでは、車両制御装置４が、車外環境認識装置３で認識された物体との衝突を回避したり、先行車両としての物体との離間距離（車間距離）を安全とされる距離に保つ制御等を実行する。

具体的に、車両制御装置４は、操舵の角度を検出する舵角センサ５や車両１の走行速度を検出する車速センサ６を通じて取得した現在の車両１の走行状態の情報と、車外環境認識装置３で検出された車両１の前方に存在する物体に関する情報とに基づき、先行車両との車間距離を安全とされる距離に保ったり、物体との衝突が想定される場合に車両１を自動的に制動させるための制御をアクチュエータ７に対して実行する。アクチュエータ７は、車両１を制動するためのブレーキやスロットルバルブ、舵角等を制御するためのアクチュエータを包括的に表している。
また、車両制御装置４は、物体との衝突が想定される場合には、運転者の前方に配置されたディスプレイ８にその旨の警告表示が行われるように制御を行う。
なお車両制御装置４は、車外環境認識装置３と一体に形成することも可能である。

本実施の形態の画像処理装置は、撮像装置２で得られた撮像画像に基づき、画像内に存在する（車両１の前方に存在する）物体の範囲を検出する物体検出処理や検出物体の種別を認識する物体認識処理を実行し、上記のシステム構成においては、車外環境認識装置３に内在される。

＜２．物体認識までの画像処理に係る構成＞
図２は、図１に示した撮像装置２の内部構成と、車外環境認識装置３の内部構成のうち物体認識までの画像処理に係る要部の構成とを抽出して示している。なお、図中では図１に示した車両制御装置４も併せて示している。
図示するように撮像装置２には、第１カメラ部２０-1、第２カメラ部２０-2、Ａ／Ｄ変換器２１-1、Ａ／Ｄ変換器２１-2、画像補正部２２及びインターフェイス部（Ｉ／Ｆ部）２３が設けられている。
第１カメラ部２０-1、第２カメラ部２０-2は、それぞれカメラ光学系と、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子とを備えて構成され、前記カメラ光学系により前記撮像素子の撮像面に被写体像が結像され、該撮像素子によって受光光量に応じた電気信号が画素単位で得られる。

第１カメラ部２０-1、第２カメラ部２０-2は、いわゆるステレオ法による測距が可能となるように設置される。本例における第１カメラ部２０-1、第２カメラ部２０-2は、車両１のフロントガラスの上部付近において、車幅方向に所定間隔を空けて配置されている。第１カメラ部２０-1、第２カメラ部２０-2の光軸は平行とされている。
また、第１カメラ部２０-1、第２カメラ部２０-2の焦点距離はそれぞれ同値とされ、またフレーム周期は同期している。フレームレートは、例えば６０ｆｐｓである。
第１カメラ部２０-1の撮像素子で得られた電気信号はＡ／Ｄ変換器２１-1に、第２カメラ部２０-2の撮像素子で得られた電気信号はＡ／Ｄ変換器２１-2に供給され、それぞれＡ／Ｄ変換が行われる。これにより、画素単位で所定階調による輝度値を表すデジタル画像信号（画像データ）が得られる。

画像補正部２２には、Ａ／Ｄ変換器２１-1を介して得られる第１カメラ部２０-1による撮像画像に基づく画像データ（以下、「第１撮像画像データ」と表記）と、Ａ／Ｄ変換器２１-2を介して得られる第２カメラ部２０-2による撮像画像に基づく画像データ（以下、「第２撮像画像データ」と表記）とが入力される。
画像補正部２２は、第１撮像画像データ、第２撮像画像データのそれぞれに対し、第１カメラ部２０-1、第２カメラ部２０-2の取り付け位置の誤差に起因するずれの補正を例えばアフィン変換等を用いて行う。また画像補正部２２は、第１撮像画像データ、第２撮像画像データのそれぞれに対しノイズの除去等を含む輝度値の補正も行う。

インターフェイス部２３は、外部装置との間で各種のデータをやり取りするために設けられる。画像補正部２２によって補正の施された第１撮像画像データ、第２撮像画像データは、インターフェイス部２３を介して車外環境認識装置３に転送される。

車外環境認識装置３には、インターフェイス部３１、バス３２、画像処理部３３及びメモリ部３４が設けられている。インターフェイス部３１、画像処理部３３、メモリ部３４はそれぞれバス３２を介して接続され、バス３２を介しての相互のデータ通信が可能とされる。
インターフェイス部３１は、外部装置との間で各種のデータをやり取りするために設けられる。インターフェイス部２３によって撮像装置２側から転送された第１撮像画像データ、第２撮像画像データは、インターフェイス部３１によって受信される。このようにインターフェイス部３１によって受信された第１撮像画像データ、第２撮像画像データは、バス３２を介してメモリ部３４に保持され、画像処理部３３の処理に供される。
また、画像処理部３３が行う後述する物体検出処理や物体認識処理で求まる物体までの距離の情報や物体の種別の情報は、インターフェイス部３１を介して車両制御装置４に転送される。図１の説明からも理解されるように、車両制御装置４は、このように転送された距離や物体種別の情報に基づき前述した車両制御を実行する。

画像処理部３３は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びワークエリアとしてのＲＡＭ（Random Access Memory）を備えた半導体集積回路で構成され、ＲＯＭに格納されたプログラムに従った各種の処理を実行する。
本実施の形態の場合、画像処理部３３は、インターフェイス部３１を介してメモリ部３４に保持された第１撮像画像データ、第２撮像画像データに基づき、以下の処理を実行する。
先ず、メモリ部３４に保持された第１撮像画像データ及び第２撮像画像データをそれぞれ所定の縮小率で縮小化して小サイズの第１撮像画像データ及び第２撮像画像データを得る画像縮小処理を実行する。この画像縮小処理により、メモリ部３４には、通常の（縮小化前の）画サイズによる第１撮像画像データ及び第２撮像画像データと、小サイズの第１撮像画像データ及び第２撮像画像データとが保持される。なお、以下、通常の画サイズによる第１撮像画像データ及び第２撮像画像データについては「大サイズ画像」とも表記し、小サイズの第１撮像画像データ及び第２撮像画像データについては「小サイズ画像」とも表記する。

また、画像処理部３３は、大サイズ画像に基づく以下の処理と、小サイズ画像に基づく以下の処理とを並行して行う。
すなわち、大サイズ画像に基づき対応点探索法による測距を行って距離画像を生成する大画距離画像生成処理と、大画距離画像生成処理で得た距離画像に基づき同一物体とみなされる画素範囲をグループ化する大画物体検出処理と、大画物体検出処理で検出した物体の種別を認識する大画物体認識処理とを実行する。
また、小サイズ画像に基づき対応点探索法による測距を行って距離画像を生成する小画距離画像生成処理と、小画距離画像生成処理で得た距離画像に基づき同一物体とみなされる画素範囲をグループ化する小画物体検出処理とを実行する。

本例の場合、上記の画像縮小処理、大画距離画像生成処理、大画物体検出処理、大画物体認識処理、小画距離画像生成処理、小画物体検出処理は、ＲＯＭに格納されたプログラムに従ったＣＰＵによるソフトウェア処理で実現される。図２中では便宜的に、これらの処理を実行するハードウェアがそれぞれ存在するものと擬制し、それぞれ画像縮小処理部３３Ａ、大画距離画像生成処理部３３Ｂ、大画物体検出処理部３３Ｃ、大画物体認識処理部３３Ｄ、小画距離画像生成処理部３３Ｅ、小画物体検出処理部３３Ｆと表している。

＜３．大サイズ画像と小サイズ画像＞
先ず、図３を参照して、大サイズ画像と小サイズ画像について説明する。図３Ａは、大サイズ画像としての第１撮像画像データと第２撮像画像データの例を示し、図３Ｂは、画像縮小処理で得た小サイズ画像としての第１撮像画像データと第２撮像画像データの例を示している。

先ず、前提として、対応点探索法は、ステレオ撮像により得た一対の撮像画像データのうち一方を基準画像Ｔ、他方を比較画像Ｃとして、基準画像Ｔ上の各画素ブロックについての対応点を比較画像Ｃ上からそれぞれ探索する手法である。本例の場合、第１カメラ部２０-1によって得た第１撮像画像データが基準画像Ｔとされ、第２カメラ部２０-2によって得た第２撮像画像データが比較画像Ｃであるとする。大サイズの基準画像Ｔについては基準画像Ｔ１と表記し、大サイズの比較画像Ｃについては比較画像Ｃ１と表記する。一方、画像縮小化処理で得た基準画像Ｔは基準画像Ｔ２と表記し、画像縮小化処理で得た比較画像Ｃは比較画像Ｃ２と表記する。
本例の場合、第１カメラ部２０-1は、車両１の進行方向を向いた状態で左右を定義したときの右側に配置され、また第２カメラ部２０-2は同定義に従った左側に配置されている。従って、基準画像Ｔは右目画像、比較画像Ｃは左目画像と換言できる。

比較画像Ｃは、基準画像Ｔよりも水平方向の画素数が多くされ、基準画像Ｔの水平方向端部に位置する画素ブロックの対応点を比較画像Ｃ上から適正に検出できるようにされている。後述するように、近距離物体の視差ｄｐの最大値が例えば２５６画素であれば、比較画像Ｃは、水平方向画素数が基準画像Ｔよりも２５６画素多い画像を用いる。
画像縮小処理における画像の縮小率は任意であるが、本例では、基準画像Ｔ１、比較画像Ｃ１のそれぞれの水平画素数及び垂直画素数を１／２に縮小化して基準画像Ｔ２、比較画像Ｃ２を得る。この場合、画サイズは１／４に縮小化される（縮小率＝１／４）。
なお、画像縮小の具体的な手法は特に限定されるべきものではないが、一例としては間引き処理を挙げることができる。
画像縮小処理で得た基準画像Ｔ２と比較画像Ｃ２は、メモリ部３４に格納される。

＜４．大画距離画像生成処理及び小画距離画像生成処理＞
続いて、大画距離画像生成処理部３３Ｂが実行する大画距離画像生成処理と、小画距離画像生成処理部３３Ｅが実行する小画距離画像生成処理とについて説明する。
先ず、大画距離画像生成処理と小画距離画像生成処理とで共通して行われる対応点探索処理と距離画像の生成処理について述べる。

対応点探索法により視差を求めるための手法の概要を以下に述べる。
なお、以下の説明では、基準画像Ｔにおける各画素の位置を座標（ｉ，ｊ）で表す。座標（ｉ，ｊ）は、基準画像Ｔの左下隅を原点とし、水平方向（横方向）をｉ座標軸、垂直方向（縦方向）をｊ座標軸とした場合の画素のｉ座標、ｊ座標を表す。比較画像Ｃについては、基準画像Ｔの原点に予め対応づけられた画素を原点として同様にｉ座標、ｊ座標を取る。
また、以下の説明では、画素ごとの輝度値を輝度値ｐで表し、基準画像Ｔにおける座標（ｉ，ｊ）で特定される画素の輝度値ｐを輝度値ｐTij、比較画像Ｃにおける座標（ｉ，ｊ）で特定される画素の輝度値ｐを輝度値ｐCijと表記する。

対応点探索処理では、基準画像Ｔを、例えば４・４画素などの所定の複数画素で成る画素ブロック単位で分割し、画素ブロック単位で、比較画像Ｃとのパターンマッチング処理を行って、基準画像Ｔと比較画像Ｃとの間で対応している点（同じ被写体が映し出されているとみなされる点：対応点）を検出する。
具体的には、比較画像Ｃを水平方向に延在する４画素幅の水平ラインに分割し、基準画像Ｔの１つの画素ブロックを取り出してそれに対応する比較画像Ｃの水平ライン上（エピポーラ線上）を１画素単位で順次水平方向（ｉ方向）にシフトさせながら、基準画像Ｔの画素ブロックにおける１６個の画素の輝度値ｐTijとそれに対応する比較画像Ｃにおける１６個の画素の輝度値ｐCijとを取得する。そして、基準画像Ｔの輝度値ｐTijと比較画像Ｃの輝度値ｐCijとの差の絶対値をそれぞれ合計した下記［式１］で求められるシティブロック距離ＣＢが最小となる水平ライン上の画素ブロックを、基準画像Ｔの画素ブロックに最も近い輝度値特性を有する比較画像Ｃ上の画素ブロック（対応点）として特定する。
ＣＢ＝Σ｜ｐTij−ｐCij｜ ・・・［式１］
このように特定した比較画像Ｃ上の画素ブロックと、もとの基準画像Ｔ上の画素ブロックとの座標のずれ量を算出し、そのずれ量を視差ｄｐとして求める。視差ｄｐの値は、検出された対応点ごとに求まり、距離画像生成処理では、視差ｄｐの値を、その視差ｄｐが検出された対応点の位置の情報と対応づけて保持する。

上記のように求めた視差ｄｐは、第１カメラ部２０-1と第２カメラ部２０-2との離間距離に由来する基準画像Ｔと比較画像Ｃとにおける同一物体の写像位置に関する水平方向の相対的なずれ量を表す。このような視差ｄｐの値を用いて、第１カメラ部２０-1と第２カメラ部２０-2との中央位置から対応点としての被写体までの距離（実空間上の距離）を三角測量の原理に基づいて算出する。

対応点としての被写体までの実空間上における距離の算出は、例えば以下のようにして行うことができる。
先ず、前提として、第１カメラ部２０-1と第２カメラ部２０-2との中央位置の真下に位置する道路面上の点を原点とし、車両１の車幅方向（水平方向）をＸ軸、車高方向をＹ軸、車長方向（距離方向）をＺ軸とした三次元空間を定義する。
該三次元空間上において、視差ｄｐが求められた対応点としての被写体が存在する位置の座標（Ｘ，Ｙ，Ｚ）は、視差ｄｐが求められた対応点の画像上の座標を（ｉc，ｊc）とすると、算出された視差ｄｐの値を用いて、下記の［式２］〜［式４］により求まる。
Ｘ＝ＣＤ／２＋Ｚ・ＰＷ・（ｉc−ＩＶ） ・・・［式２］
Ｙ＝ＣＨ＋Ｚ・ＰＷ・（ｊc−ＪＶ） ・・・［式３］
Ｚ＝ＣＤ／（ＰＷ・（ｄｐ−ＤＰ）） ・・・［式４］
ただし、ＣＤは第１カメラ部２０-1と第２カメラ部２０-2との配置間隔、ＰＷは１画素当たりの視野角、ＣＨは第１カメラ部２０-1及び第２カメラ部２０-2の取り付け高さ、ＩＶ、ＪＶはそれぞれ車両１の正面における無限遠点の画像上のｉ座標、ｊ座標、ＤＰは消失点視差を表す。
視差ｄｐが算出された対応点としての被写体までの距離（以下、「距離Ｌ」と表記）は、［式４］により、算出された視差ｄｐの値とＣＤ、ＰＷ、ＤＰの値とを用いて算出できる。

このとき、距離画像生成処理では、視差ｄｐの信頼性を向上させる目的から、求めた視差ｄｐについてのフィルタリング処理を施す。例えば、車道の映像のみからなる特徴に乏しい４・４画素の画素ブロックを比較画像Ｃの４画素幅の水平ライン上で走査した場合は、比較画像Ｃの車道が撮像されている部分ではすべて相関が高くなり、対応する画素ブロックが特定されて視差ｄｐが算出されてもその視差ｄｐの信頼性は低い。このため、そのような視差ｄｐを無効とするフィルタリング処理を行う。すなわち、信頼性の低い視差ｄｐの値として０（無効値）を割り当てる。
このようなフィルタリング処理が行われる結果、視差ｄｐは、通常、基準画像Ｔの水平方向に隣り合う画素間で輝度値ｐTijの差が大きないわゆるエッジ部分についてのみ有効な値を持つデータとなる。これに伴い、視差ｄｐの算出結果から得られる距離画像としても、同様にエッジ部分についてのみ有効な値を持つデータとなる。

距離画像生成処理では、対象とする画素ブロックについて、算出した視差ｄｐの値から先の［式４］により距離Ｌを算出し、算出した距離Ｌの値を当該画素ブロックの位置の情報（座標（ｉ，ｊ））と対応づけてメモリ部３４に記憶する。
このように距離Ｌの値を画像上の位置の情報と対応づけた情報をｉ軸とｊ軸による二次元平面上に展開すると、各対応点（各被写体）までの実空間上における距離Ｌを画像上に表すものとなる。この意味で、上記のように距離Ｌの値を画像上の位置の情報と対応づけた情報のことを「距離画像」と呼んでいる。

本実施の形態では、上記により説明した対応点探索処理を、大画／小画に関わらず探索幅を固定して行う。
図４は、大画距離画像生成処理で行う大サイズ画像に基づく対応点探索の様子（図４Ａ）と、小画距離画像生成処理で行う小サイズ画像に基づく対応点探索の様子（図４Ｂ）とを模式的に示している。
図４Ａ，図４Ｂを参照して分かるように、大サイズ画像に基づく対応点探索処理と小サイズ画像に基づく対応点探索処理とで探索幅ＳＷは同じである。なお、探索幅ＳＷとは、比較画像Ｃ上において行う、基準画像Ｔ上の或る１つの画素ブロックについての対応点探索の開始位置から終了位置までの幅を意味する。

大サイズ画像に基づく対応点探索と小サイズ画像に基づく対応点探索とで探索幅ＳＷを同じとすることで、小サイズ画像に基づく対応点探索処理において、大サイズ画像に基づく対応点探索よりも近距離の物体（より視差ｄｐが大きい物体）まで対応点検出ができる。探索幅ＳＷを大きくすれば、その分、より近距離の物体まで対応点の検出ができるが、処理負担が増大するため、探索幅ＳＷは小さい方が望ましい。一例として、本例では、撮像装置２におけるカメラパラメータが、第１カメラ部２０-1と第２カメラ部２０-2との配置間隔＝３５０mm、第１カメラ部２０-1と第２カメラ部２０-2の焦点距離＝８mm、１画素当たりのズレ量＝０．００６mmとされた場合において、探索幅ＳＷを１２８画素に設定している。上記のカメラパラメータの下で、大サイズ画像に基づく対応点探索を探索幅ＳＷ＝１２８画素で行った場合、検出可能な距離Ｌは３５０・・・８mm／１２８画素／０．００６mm＝３６４６・・≒３．６ｍ以上となる。
従って、小サイズ画像について、同じ探索幅ＳＷで対応点探索を行ったときは、３．６ｍ未満の近距離物体についての対応点の検出が可能となり、例えば画像縮小率が前述の１／４であれば３．６ｍ／２＝１．８ｍの近距離物体まで対応点の検出ができる。

このとき、小画距離画像生成処理で行う対応点探索では、小サイズ画像の画像縮小率に合わせて縮小化した画素ブロックの単位により対応点の探索を行う。例えば、画像の縮小率が前述のように１／４であり、大サイズ画像に対応する画素ブロックのサイズが前述の４・４＝１６画素である場合には、２・２＝４画素のサイズによる画素ブロックの単位で対応点探索を行う。
この点で、小サイズ画像に基づき行われる近距離物体についての対応点探索の処理負担は、大サイズ画像に基づき行われる対応点探索との比較で１／４に抑えることができる。

＜５．物体検出処理＞
続いて、大画物体検出処理部３３Ｃが実行する大画物体検出処理と、小画物体検出処理部３３Ｆが実行する小画物体検出処理とについて説明する。
図５を参照して、大画物体検出処理と小画物体検出処理でそれぞれ行われる物体検出処理について説明する。大画物体検出処理では、大画距離画像生成処理で生成した距離画像を処理対象として以下で説明する物体検出処理を実行し、小画物体検出処理では、小画距離画像生成処理で生成した距離画像を処理対象として以下で説明する物体検出処理を実行する。

先ず、物体検出処理では、処理対象とする距離画像を、図５Ａに示されるように画像縦方向に沿った分割線によって複数の領域（以下、「縦領域ＶＲ」と表記）に分割する。そして、縦領域ＶＲごとに、その縦領域ＶＲ内に存在する距離データから奥行き方向の距離分布を表す距離ヒストグラムを作成し、度数が最大となる位置（対応点）の距離をその縦領域ＶＲ内に存在する物体の代表距離とする。図５Ｂは、このような縦領域ＶＲごとの処理で求まった代表距離を黒丸によって模式的に表している。
次に、代表距離が得られた度数最大となる各対応点について、近接する各対応点までの距離や方向などの関係性から、同一物体とみなされる画素範囲をグループ化する。図５Ｃは、図５Ａに示した画像内に存在する３つの先行車両がそれぞれグループＧ１、Ｇ２、Ｇ３としてグループ化されたことを模式的に表している。
このようにして、撮像画像内に存在する各物体が、その物体までの距離の情報も含めて検出される。

＜６．大画物体認識処理＞
次に、大画物体認識処理部３３Ｄが実行する大画物体認識処理について説明する。
大画物体認識処理は、大画物体検出処理による物体検出処理結果と大サイズ画像としての撮像画像データ（撮像元画像）とに基づき、大画物体検出処理で検出した物体の種別を認識する処理である。具体的には、検出物体が先行車両であるか、歩行者等の障害物であるか等、検出物体の種別を認識する処理である。
この物体認識処理は、例えば、認識したい物体の種別ごとにその物体の代表的な画像パターンを用意しておき、それらの画像パターンとのマッチングを行った結果に基づき行うことができる。或いは、例えば車両におけるブレーキランプなど、その物体に特徴的なパターンが存在するか否かを判別した結果から何れの物体種別に該当するかを認識する等の手法を採ることもできる。
物体認識処理の具体的な手法については様々な手法を採り得るものであり、特定の手法に限定されるべきではない。

＜７．近距離物体検出時の対応処理＞
続いて、大画距離画像生成部３３Ｂが実行する近距離物体検出時の対応処理について説明する。
本実施の形態の場合、前述した大画距離画像生成処理では、先の小画物体検出処理で近距離物体が検出されたことに応じて、所定の探索範囲による対応点探索処理と、該所定の探索範囲から変更した探索範囲による対応点探索処理とを実行する。
このために、本実施の形態では、先の小画物体検出処理部３３Ｆが実行する小画物体検出処理において、所定距離内の物体が検出されたか否かを判別する。本例では、前述したカメラパラメータの条件の下で、距離Ｌが３．６ｍ未満の近距離物体が検出されたか否かを判別する。
近距離物体が検出されたと判別した場合には、大画距離画像生成処理において、現在処理対象としているフレームの次のフレームの基準画像Ｔ１及び比較画像Ｃ１に基づく対応点探索処理として、所定の探索範囲による対応点探索処理と、近距離物体が検出可能となるように変更した探索範囲による対応点探索処理とを実行する。

図６は、探索範囲の変更手法についての説明図であり、上段に基準画像Ｔ１、下段に比較画像Ｃ１を示している。
図中の画素ブロックＲｐは、比較画像Ｃ１上からその対応点を探索すべきとされた基準画像Ｔ１上の画素ブロックを意味する。
通常の対応点探索処理、すなわち近距離物体が検出されなかった場合に実行する対応点探索処理では、比較画像Ｃ１上で画素ブロックＲｐの座標と同一座標に位置する画素ブロックを探索開始位置（図中「Ｓｓ」と表記）として、一定の探索幅ＳＷで対応点探索を行う。この通常の対応点探索処理によると、先のカメラパラメータと探索幅ＳＷ＝１２８画素の設定の下では、距離Ｌが３．６ｍ以上の物体についての対応点のみが正しく検出される。
これに対し、近距離物体が検出された場合には、上記による通常の対応点探索処理と共に、図のように通常の探索開始位置Ｓｓからオフセットｏｆ分だけ水平方向にオフセットした位置Ｓｓ'から、一定の探索幅ＳＷで対応点探索を行う。これにより、探索幅ＳＷを拡大せずに、通常の探索範囲では適正に検出できない近距離物体を検出することができる。すなわち、通常の対応点探索との比較で処理負担を増大させることなく近距離物体の検出ができる。
本例の場合、オフセットｏｆは、先のカメラパラメータと探索幅ＳＷ＝１２８画素の設定の下で１２８画素に設定する。これにより、距離Ｌが３．６ｍ未満の物体についての対応点を検出できる。

このように本実施の形態では、大サイズ画像に基づく対応点探索として、所定の探索範囲から変更した探索範囲による対応点探索を実行することで、大サイズ画像に基づき、近距離物体についての対応点を高分解能で検出できる。つまりこの結果、近距離物体についての距離Ｌを、小サイズ画像に基づき求める場合よりも正確に算出できる。
なお、確認のため述べておくと、ここで言う「探索範囲」とは、基準画像Ｔ上の或る１つの画素ブロック（「基準画素ブロック」と表記）の対応点を探索するにあたり、当該基準画素ブロックとのパターンマッチングを行う比較画像Ｃ上の範囲を意味する。

本実施の形態の大画距離画像生成処理では、上記のような近距離物体検出時の対応処理で検出した近距離物体についての対応点も含めて、距離画像の生成を行う。そして、当該大画距離画像生成処理の後に実行される大画物体検出処理では、このように近距離物体についての距離Ｌの情報も含んで生成された距離画像に基づき物体検出処理が行われ、また大画物体認識処理では、この物体検出処理で検出された近距離物体についての物体認識処理が行われる。

＜８．一連の処理手順＞
次に、図７のフローチャートを参照して、上記で説明した実施の形態の画像処理の一連の処理手順を説明する。
図中「対縮小画像処理」と示す処理は、先の画像縮小処理によって得た小サイズ画像としての基準画像Ｔ２と比較画像Ｃ２とに基づき実行する処理を表し、「対大画像処理」と示す処理は大サイズ画像としての基準画像Ｔ１と比較画像Ｃ１とに基づき実行する処理を表している。「対縮小画像処理」「対大画像処理」は並行処理として実行され、これらの処理はフレームごとに繰り返し実行される。

先ず、「対縮小画像処理」について説明する。
「対縮小画像処理」として、先ずＣＰＵ（画像処理部３３のＣＰＵ）は、小サイズ画像としての基準画像Ｔ２と比較画像Ｃ２とに基づき対応点探索法により距離画像を生成する（ステップＳ１０１）。すなわち、基準画像Ｔ２と比較画像Ｃ２とに基づく対応点探索を探索幅ＳＷにより行って対応点の検出及び対応点ごとの視差ｄｐを求め、その結果から対応点ごとの実空間上における距離Ｌを算出し、対応点ごとの距離Ｌを画像上の位置と対応づけた距離画像を生成する。
次に、生成した距離画像に基づき、同一物体とみなされる画素範囲をグループ化する（ステップＳ１０２）。なお、当該グループ化の具体的な処理内容については既に説明済みであるため重複説明は避ける。

次に、近距離物体が検出されたか否かを判別する（ステップＳ１０３）。つまり、本例の場合は距離Ｌが３．６ｍ未満の物体が検出されたか否かを判別する。ステップＳ１０３において、近距離物体が検出されていないと判別した場合は、ステップＳ１０４に進んでflag＝０と設定する。
一方、ステップＳ１０３において、近距離物体が検出されたと判別した場合は、ステップＳ１０５に進んでflag＝１と設定する。
flagは、近距離物体の検出の有無を識別するためにＣＰＵが管理する情報であり、「０」が近距離物体の検出無し、「１」が近距離物体の検出有りを表す。flagの初期値は「０」である。
ステップＳ１０４又はステップＳ１０５でflagの設定を行った後は、先のステップＳ１０１に戻る。

続いて、「対大画像処理」について説明する。
先ず、大サイズ画像としての基準画像Ｔ１と比較画像Ｃ１とに基づき対応点探索を行う（ステップＳ２０１）。すなわち、探索幅ＳＷにより通常の探索範囲で対応点探索を行う。
次に、flag＝１であるか否かを判別する（Ｓ２０２）。ステップＳ２０２において、flag＝１であると判別した場合、すなわち近距離物体が検出されたと判別した場合は、ステップＳ２０３に進んで探索範囲を変更して再度大サイズ画像に基づく対応点探索を行い、ステップＳ２０４に進む。前述のように、本例における探索範囲の変更は、探索幅ＳＷを通常時と同じとした上で、探索開始位置を通常の探索開始位置からオフセットｏｆ分だけ水平方向にオフセットさせることで実現する。

一方、ステップＳ２０２においてflag＝０であると判別した場合、すなわち近距離物体が検出されなかったと判別した場合は、ステップＳ２０３による処理は経ずにステップＳ２０４に進む。
ステップＳ２０４においては、対応点ごとの視差ｄｐを算出した結果に基づき距離画像を生成する。続くステップＳ２０５においては、生成した距離画像に基づき同一物体とみなされる画素範囲をグループ化する。さらに、続くステップＳ２０６においては、グループ化の結果と撮像画像とに基づき物体認識処理を行い、先のステップＳ２０１に戻る。
以上の処理により、小サイズ画像に基づく物体検出処理で近距離物体が検出された場合は、大サイズ画像に基づき近距離物体と遠距離物体の双方の測距と、物体検出処理及び物体認識処理が行われる。

＜９．まとめ＞
上記で説明したように、本実施の形態では、小サイズの画像データに基づく物体検出処理を行い、その結果、所定距離内の近距離物体が検出された場合に、大サイズの画像データに基づく物体検出処理において所定の探索範囲による対応点探索と、所定の探索範囲から変更された探索範囲による対応点探索とを行っている。そして、これら２度の対応点探索によって求まる遠距離物体と近距離物体の双方についての対応点の情報に基づき、物体検出処理と物体認識処理とを行っている。
小サイズの画像データに基づく処理が物体検出処理までに止められているので、従来の画像処理装置が小サイズの画像データに基づき行っていた物体認識処理が省略され、その分の処理負担が軽減される。従って、大サイズの画像データに基づく最終的な物体認識処理結果を得るまでに要するトータルの処理負担（対応点探索から物体認識処理までに要するトータルの処理負担）を軽減できる。

また、本実施の形態では、近距離物体が検出された場合における探索範囲の変更を、通常の探索範囲による対応点探索時との比較で探索の開始位置を水平方向にオフセットさせて行っている。
従って、通常の対応点探索時と同じ探索幅ＳＷを設定しても、より近距離の物体を検出できる。また、本来必要とされる探索幅ＳＷよりも狭い探索幅ＳＷを設定しても、対応点の検出ができるので、対応点探索に係る処理負担を軽減できる。

＜１０．変形例＞
なお、本発明は上記により説明した具体例に限定されるべきものではなく、多様な変形例が考えられる。
例えば、これまでの説明では、近距離物体が検出された場合に大サイズ画像について行う対応点探索の探索範囲の変更を、探索開始位置をオフセットさせて行う場合を例示したが、探索範囲の変更は、探索幅ＳＷを拡大することで行ってもよい。
また、探索開始位置をオフセットさせる手法については、上記で例示したように探索幅ＳＷを通常時と同じ幅に固定する必要性はなく、通常時と異なる探索幅ＳＷを設定しても良い。

また、大サイズ画像に基づく近距離物体についての対応点探索は、その処理負担のさらなる軽減を図るべく、探索の対象とする画素範囲を、小画物体検出処理で検出した物体（図５に示すグループＧ）の画素範囲に応じた画素範囲に限定して行うこともできる。具体的には、近距離物体が検出された画素範囲を「エリアＮ」とすると、大サイズ画像に基づく近距離物体についての対応点探索を、基準画像Ｔ１上のエリアＮに応じた画素範囲のみを対象として行う。
通常、対応点探索は基準画像Ｔ１内の全画素範囲を対象として行うが、このように対応点探索を行う画素範囲を近距離物体が検出された画素範囲に応じた範囲に限定すれば、処理負担を大幅に軽減できる。

１・車両、２・撮像装置、３・車外環境認識装置、３１・インターフェイス（Ｉ／Ｆ）部、３２・バス、３３・画像処理部、３３Ａ・画像縮小処理部、３３Ｂ・大画距離画像生成処理部、３３Ｃ・大画物体検出処理部、３３Ｄ・大画物体認識処理部、３３Ｅ・小画距離画像生成処理部、３３Ｆ・小画物体検出処理部

Claims (3)

1. ステレオ撮像により一対の画像データを得る撮像部と、
   前記撮像部により得た前記一対の画像データに基づき、画サイズが大サイズの前記一対の画像データと画サイズが小サイズの前記一対の画像データとを得る大小画像取得部と、
   前記大サイズの前記一対の画像データに基づき、対応点探索法による測距を行って距離画像を生成し、該距離画像に基づき、画像内の同一物体とみなされる画素範囲をグループ化する大画物体検出部と、
   前記大画物体検出部による物体検出処理結果と、前記大小画像取得部が取得した大サイズの前記画像データとに基づき、前記大画物体検出部が検出した物体の種別を認識する物体認識部と、
   前記小サイズの前記一対の画像データに基づき、対応点探索法による測距を行って距離画像を生成し、該距離画像に基づき、画像内の同一物体とみなされる画素範囲をグループ化する小画物体検出部と、を備え、
   前記大画物体検出部は、前記小画物体検出部によって所定距離内の物体が検出された場合に、所定の探索範囲による対応点探索と、該所定の探索範囲から変更した探索範囲による対応点探索とを実行し、これらの対応点探索で求まった各対応点の情報に基づき、前記距離画像の生成及び該距離画像に基づく前記グループ化を行う
   画像処理装置。
2. 前記大画物体検出部は、
   前記所定の探索範囲から変更した探索範囲による対応点探索として、探索開始位置を前記所定の探索範囲による対応点探索時よりも水平方向にオフセットした探索を行う
   請求項１に記載の画像処理装置。
3. 前記大画物体検出部は、
   前記通常の探索範囲から変更した探索範囲による対応点探索を、前記小画物体検出部でグループ化した前記所定距離内の物体の画素範囲に限定して行う
   請求項１又は請求項２の何れかに記載の画像処理装置。

Images