JPWO2017145605A1 - 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム - Google Patents

Abstract

画像処理装置において、複数の撮像部で各々撮影されたフレームに応じた、前記複数の撮像部から所定距離内に位置する物体の視差に応じた画素値を有する距離画像の画素数を縮小する縮小部と、前記縮小された距離画像に基づいて、前記所定距離内に位置する物体を検出する検出部と、を備え、前記縮小部は、前記距離画像から所定の間隔で画素を抽出し、当該抽出した画素の値が無効である場合、当該抽出した画素の周辺の画素の値に基づいて、当該抽出した画素の値を決定する。

Description

本発明は、画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラムに関する。

自動車の安全性において、従来は歩行者や自動車と衝突したときに、いかに歩行者を守れるか、乗員を保護できるかの観点から自動車のボディー構造などの開発が行われてきた。しかしながら近年、情報処理技術、画像処理技術の発達により、高速に人や自動車等を検出する技術が開発されてきている。これらの技術を応用して、衝突する前に自動的にブレーキをかけ、衝突を未然に防ぐという自動車もすでに発売されている。

自動的にブレーキをかけるには人や他車等の物体までの距離を測定する必要があり、そのために、ミリ波レーダ、レーザレーダ、ステレオカメラを用いた測定が実用化されている。

このステレオカメラを用いた測定において、遠距離と近距離とで重複して検出した立体物のデータを整理して統合する技術が知られている（例えば、特許文献１参照）。

特開平１１−０３９５９６号公報

しかし、従来技術では、物体を検出する処理を高速に行う場合、検出の精度が下がるという問題がある。

そこで、精度の高い検出を高速に行う技術を提供することを目的とする。

画像処理装置において、複数の撮像部で各々撮影されたフレームに応じた、前記複数の撮像部から所定距離内に位置する物体の視差に応じた画素値を有する距離画像の画素数を縮小する縮小部と、前記縮小された距離画像に基づいて、前記所定距離内に位置する物体を検出する検出部と、を備え、前記縮小部は、前記距離画像から所定の間隔で画素を抽出し、当該抽出した画素の値が無効である場合、当該抽出した画素の周辺の画素の値に基づいて、当該抽出した画素の値を決定する。

開示の技術によれば、精度の高い検出を高速に行うことが可能となる。

実施形態に係る車載機器制御システムの構成を示す模式図である。 撮像ユニット及び画像解析ユニットの構成を示す模式図である。 三角測量の原理を利用することで視差値から距離を算出する原理を説明するための図である。 画像処理装置を含む撮像装置の機能ブロック図である。 近距離処理部の機能ブロック図である。 縮小視差画像生成処理の一例を示すフローチャートである。 抽出した画素の値を決定する処理について説明する図である。 抽出した画素の値を決定する処理の一例について説明する図である。 基準画像と視差画像について説明する図である。 基準画像と視差画像について説明する図である。 通常距離処理部の機能ブロック図である。 視差画像データ、及びその視差画像データから生成されるＶマップについて説明するための図である。 視差画像データ、及びその視差画像データから生成されるＶマップについて説明するための図である。 一方の撮像部で撮像された基準画像としての撮影画像の画像例と、その撮影画像に対応するＶマップを示す図である。 一方の撮像部で撮像された基準画像としての撮影画像の画像例と、その撮影画像に対応するＶマップを示す図である。 基準画像の一例を模式的に表した画像例を示す図である。 画像例に対応するＵマップを示す図である。 画像例に対応するＵマップを示す図である。 Ｕマップに対応するリアルＵマップを示す図である。 Ｕマップの横軸の値からリアルＵマップの横軸の値を求める方法を説明するための図である。 孤立領域検出部で行う孤立領域検出処理の流れを示すフローチャートである。 孤立領域検出部で検出された孤立領域が内接する矩形領域を設定したリアル頻度Ｕマップを示す図である。 矩形領域に対応する走査範囲を設定した視差画像を示す図である。 走査範囲を探索してオブジェクト領域を設定した視差画像を示す図である。 視差画像の対応領域検出部及びオブジェクト領域抽出部で行われる処理の流れを示すフローチャートである。 オブジェクトタイプの分類を行うためのテーブルデータの一例を示す図である。 オブジェクトデータリストのデータ項目の一例を示す説明図である。

以下、実施形態に係る画像処理装置を有する移動体機器制御システムについて説明する。

〈車載機器制御システムの構成〉
図１は、本発明の実施形態に係る移動体機器制御システムとしての車載機器制御システムの構成を示す図である。

この車載機器制御システム１は、移動体である自動車などの自車両１００に搭載されており、撮像ユニット１０１、画像解析ユニット１０２、表示モニタ１０３、及び車両走行制御ユニット１０４からなる。そして、撮像ユニット１０１で、移動体の前方を撮像した自車両進行方向前方領域（撮像領域）の複数の撮像画像データ（フレーム）から、自車両前方の物体を検出し、その検出結果を利用して移動体や各種車載機器の制御を行う。移動体の制御には、例えば、警告の報知、自車両１００（自移動体）のハンドルの制御、または自車両１００（自移動体）のブレーキが含まれる。

撮像ユニット１０１は、例えば、自車両１００のフロントガラス１０５のルームミラー（図示せず）付近に設置される。撮像ユニット１０１の撮像によって得られる撮像画像データ等の各種データは、画像処理手段としての画像解析ユニット１０２に入力される。

画像解析ユニット１０２は、撮像ユニット１０１から送信されてくるデータを解析して、自車両１００が走行している路面部分（自車両の真下に位置する路面部分）に対する自車両前方の走行路面上の各地点における相対的な高さ（位置情報）を検出し、自車両前方の走行路面の３次元形状を把握する。また、自車両前方の他車両、歩行者、各種障害物などの認識対象物を認識する。

画像解析ユニット１０２の解析結果は、表示モニタ１０３及び車両走行制御ユニット１０４に送られる。表示モニタ１０３は、撮像ユニット１０１で得られた撮像画像データ及び解析結果を表示する。車両走行制御ユニット１０４は、画像解析ユニット１０２による自車両前方の他車両、歩行者、各種障害物などの認識対象物の認識結果に基づいて、例えば、自車両１００の運転者へ警告を報知したり、自車両のハンドルやブレーキを制御するなどの走行支援制御を行う。

〈撮像ユニット１０１及び画像解析ユニット１０２の構成〉
図２は、撮像ユニット１０１及び画像解析ユニット１０２の構成を示す図である。

撮像ユニット１０１は、撮像手段としての２つの撮像部１１０ａ，１１０ｂを備えたステレオカメラで構成されており、２つの撮像部１１０ａ，１１０ｂは同一のものである。各撮像部１１０ａ，１１０ｂは、それぞれ、撮像レンズ１１１ａ，１１１ｂと、受光素子が２次元配置された画像センサ１１３ａ，１１３ｂを含んだセンサ基板１１４ａ，１１４ｂと、センサ基板１１４ａ，１１４ｂから出力されるアナログ電気信号（画像センサ１１３ａ，１１３ｂ上の各受光素子が受光した受光量に対応する電気信号）をデジタル電気信号に変換した撮像画像データを生成して出力する信号処理部１１５ａ，１１５ｂとから構成されている。撮像ユニット１０１からは、例えば輝度画像データが出力される。

また、撮像ユニット１０１は、ＦＰＧＡ（Field-Programmable Gate Array）等からなる処理ハードウェア部１２０を備えている。この処理ハードウェア部１２０は、各撮像部１１０ａ，１１０ｂから出力される輝度画像データから視差画像（距離画像）を得るために、各撮像部１１０ａ，１１０ｂでそれぞれ撮像した撮像画像間の対応画像部分の視差値を演算する視差画像情報生成手段としての視差演算部１２１を備えている。

ここでいう視差値とは、各撮像部１１０ａ，１１０ｂでそれぞれ撮像した撮像画像の一方を基準画像、他方を比較画像とし、撮像領域内の同一地点に対応した基準画像上の画像部分に対する比較画像上の画像部分の位置ズレ量を、当該画像部分の視差値として算出したものである。三角測量の原理を利用することで、この視差値から当該画像部分に対応した撮像領域内の当該同一地点までの距離を算出することができる。

図３は、三角測量の原理を利用することで視差値から距離を算出する原理を説明するための図である。図において、ｆは撮像レンズ１１１ａ，１１１ｂのそれぞれの焦点距離であり、Ｄは光軸間の距離である。また、Ｚは撮像レンズ１１１ａ，１１１ｂから被写体３０１までの距離（光軸に平行な方向の距離）である。この図において、被写体３０１上にある点Ｏに対する左右画像での結像位置は、結像中心からの距離がそれぞれΔ１とΔ２となる。このときの視差値ｄは、ｄ＝Δ１＋Δ２と規定することができる。

図２の説明に戻る。画像解析ユニット１０２は、画像処理基板等から構成され、撮像ユニット１０１から出力される輝度画像データ及び視差画像データ等を記憶するＲＡＭやＲＯＭ等で構成される記憶手段１２２と、識別対象の認識処理や視差計算制御などを行うためのコンピュータプログラムを実行するＣＰＵ（Central Processing Unit）１２３と、データＩ／Ｆ（インタフェース）１２４と、シリアルＩ／Ｆ１２５を備えている。

処理ハードウェア部１２０を構成するＦＰＧＡは、画像データに対してリアルタイム性が要求される処理、例えばガンマ補正、ゆがみ補正（左右の撮像画像の平行化）、ブロックマッチングによる視差演算を行って視差画像の情報を生成し、画像解析ユニット１０２のＲＡＭに書き出す処理などを行う。画像解析ユニット１０２のＣＰＵは、各撮像部１１０Ａ，１１０Ｂの画像センサコントローラの制御および画像処理基板の全体的な制御を担うとともに、路面の３次元形状の検出処理、ガードレールその他の各種オブジェクト（物体）の検出処理などを実行するプログラムをＲＯＭからロードして、ＲＡＭに蓄えられた輝度画像データや視差画像データ等を入力として各種処理を実行し、その処理結果をデータＩ／Ｆ１２４やシリアルＩ／Ｆ１２５から外部へと出力する。このような処理の実行に際し、データＩ／Ｆ１２４を利用して、自車両１００の車速、加速度（主に自車両前後方向に生じる加速度）、操舵角、ヨーレートなどの車両動作情報を入力し、各種処理のパラメータとして使用することもできる。外部に出力されるデータは、自車両１００の各種機器の制御（ブレーキ制御、車速制御、警告制御など）を行うための入力データとして使用される。

なお、撮像ユニット１０１及び画像解析ユニット１０２は、一体の装置である撮像装置２として構成してもよい。

図４は、図２における処理ハードウェア部１２０及び画像解析ユニット１０２で実現される物体検出処理を行う画像処理装置を含む撮像装置の機能ブロック図である。

この撮像装置は、ステレオカメラ画像取得部１３０、近距離処理部１４０、通常距離処理部１５０、オブジェクトデータリスト１７０を有する。

ステレオカメラ画像取得部１３０は、ステレオカメラで撮影した画像を取得する。近距離処理部１４０は、近距離（自車両から所定距離内）に位置する物体の検出や追跡を行う。通常距離処理部１５０は、近距離よりも遠い距離に位置する物体の検出や追跡を行う。オブジェクトデータリスト１７０は、近距離処理部１４０、及び通常距離処理部１５０が検出した物体（オブジェクト）のデータを記憶するとともに、表示モニタ１０３及び車両走行制御ユニット１０４に出力する。

なお、近距離処理部１４０の近距離物体検出処理と、通常距離処理部１５０の通常距離物体検出処理は、少なくとも一部を並列に処理を実行してもよいし、順番に処理を実行してもよい。例えば、処理ハードウェア部１２０の視差演算部１２１による処理は、視差画像生成処理を行った後に、近距離視差画像生成処理を行い、その他の画像解析ユニット１０２による処理は並列に行うようにしてもよい。

以下、本実施形態における物体検出処理について説明する。

〈ステレオカメラ画像取得〉
ステレオカメラ画像取得部１３０は、ステレオカメラを構成する２つの撮像部１１０ａ，１１０ｂから、輝度画像データを取得する。このとき、撮像部１１０ａ，１１０ｂがカラーの場合には、そのＲＧＢ信号から輝度信号（Ｙ）を得るカラー輝度変換を、例えば下記の式〔１〕を用いて行う。

Ｙ＝０．３Ｒ＋０．５９Ｇ＋０．１１Ｂ …式〔１〕
〈近距離処理〉
次に、図５を参照し、近距離処理部１４０の機能について説明する。図５は、近距離処理部１４０の機能ブロック図である。近距離処理部１４０は、近距離（自車両から所定距離内）の物体の検出や追跡を行う。近距離処理部１４０は、近距離視差画像生成部１４１、縮小視差画像生成部１４２、近距離物体検出部１４３、近距離物体棄却部１４４、近距離物体追跡部１４５を有する。

《近距離視差画像生成処理》
近距離視差画像生成部１４１は、例えば、処理ハードウェア部１２０の視差演算部１２１によって実現してもよい。

近距離視差画像生成部１４１は、自車両（ステレオカメラ）から所定距離内に位置する物体に対する視差画像データ（視差画像情報）を生成する近距離視差画像生成処理を行う。近距離視差画像生成処理では、まず、２つの撮像部１１０ａ，１１０ｂのうちの一方の撮像部１１０ａの輝度画像データを基準画像データとし、他方の撮像部１１０ｂの輝度画像データを比較画像データとし、これらを用いて、自車両から所定距離内に位置する物体に対する視差を演算し、視差画像データを生成して出力する。この視差画像データは、基準画像データ上の各画像部分について算出される視差値ｄに応じた画素値をそれぞれの画像部分の画素値として表した視差画像を示すものである。

具体的には、近距離視差画像生成部１４１は、基準画像データのある行について、一つの注目画素を中心とした複数画素（例えば１６画素×１画素）からなるブロックを定義する。そして、比較画像データにおける同じ行において、定義した基準画像データのブロックと同じサイズのブロックを１画素ずつ横ライン方向（ｘ方向）へずらす。この際、近距離視差画像生成処理では、ブロックをずらす横ライン方向の範囲を、自車両から所定距離内（例えば１ｍ〜６ｍ以内）に対応する範囲とする。それにより、自車両から所定距離内に位置する物体に対する視差が探索される。

そして、近距離視差画像生成部１４１は、基準画像データにおいて定義したブロックの画素値の特徴を示す特徴量と比較画像データにおける各ブロックの画素値の特徴を示す特徴量との相関を示す相関値を、それぞれ算出する。そして、算出した相関値に基づき、比較画像データにおける各ブロックの中で最も基準画像データのブロックと相関が高い比較画像データのブロックを選定するマッチング処理を行う。その後、基準画像データのブロックの注目画素と、マッチング処理で選定された比較画像データのブロックの対応画素との位置ズレ量を視差値ｄとして算出する。このような視差値ｄを算出する処理を基準画像データの全域又は特定の一領域について行うことで、視差画像データを得ることができる。

また、近距離視差画像生成部１４１は、上述のマッチング処理を行う際、比較画像データにおける各ブロックの中で、基準画像データのブロックとの相関値が最も高い値に近い（最も高い値から所定値以内）ブロックが複数あるか否か判断し、複数ある場合は、フェンス等の繰り返しパターンが検知されたと判断し、視差値ｄとして、繰り返しパターンであることを示す値を設定する。

マッチング処理に用いるブロックの特徴量としては、例えば、ブロック内の各画素の値（輝度値）を用いることができ、相関値としては、例えば、基準画像データのブロック内の各画素の値（輝度値）と、これらの画素にそれぞれ対応する比較画像データのブロック内の各画素の値（輝度値）との差分の絶対値の総和を用いることができる。この場合、当該総和が最も小さくなるブロックが最も相関があると言える。

近距離視差画像生成部１４１でのマッチング処理をハードウェア処理によって実現する場合には、例えばＳＳＤ（Sum of Squared Difference）、ＺＳＳＤ（Zero-mean Sum of Squared Difference）、ＳＡＤ（Sum of Absolute Difference）、ＺＳＡＤ（Zero-mean Sum of Absolute Difference）、ＮＣＣ（Normalized cross correlation）などの方法を用いることができる。なお、マッチング処理では画素単位での視差値しか算出できないので、１画素未満のサブピクセルレベルの視差値が必要な場合には推定値を用いる必要がある。その推定方法としては、例えば、等角直線方式、二次曲線方式等を利用することができる。

《縮小視差画像生成処理》
次に、縮小視差画像生成部１４２について説明する。縮小視差画像生成部１４２は、近距離視差画像生成部１４１により生成された、自車両から所定距離内に位置する物体に対する視差画像から、所定の間隔で画素を抽出することにより、縮小された（画素数が少ない）縮小視差画像を作成する。例えば１２８０×６４０画素の視差画像を、縦及び横に例えば１／１０に縮小する場合、縮小視差画像は１２８×６４画素となる。

縮小視差画像生成部１４２は、視差画像を縮小する際、視差画像から一定間隔で画素を抽出し、抽出した画素の視差値が、例えば無限遠であることを示す値の場合、または繰り返しパターンであることを示す値等の無効な値の場合、当該抽出した画素の周辺の画素値に基づいて、当該抽出した画素の値を決定する。

次に、図６を参照し、縮小視差画像生成部１４２による、縮小視差画像生成処理について説明する。図６は、縮小視差画像生成処理の一例を示すフローチャートである。

縮小視差画像生成部１４２は、自車両から所定距離内に位置する物体に対する視差画像において、例えば一番左下の画素を選択する（ステップＳ２０１）。

続いて、縮小視差画像生成部１４２は、選択した画素の位置（座標）から、横方向に、所定間隔離れた画素の座標と、その値（視差値）を抽出する（ステップＳ２０２）。

続いて、縮小視差画像生成部１４２は、抽出した画素の視差値が、無効な値であるか判断する（ステップＳ２０３）。

抽出した画素の視差値が無効な値でなければ（ステップＳ２０３でＮＯ）、後述するステップＳ２０５の処理に進む。

抽出した画素の視差値が無効な値であれば（ステップＳ２０３でＹＥＳ）、当該抽出した画素の周辺の画素の値に基づいて、当該抽出した画素に対する値を更新し（ステップＳ２０４）、当該抽出した画素を縮小視差画像の画素とする（ステップＳ２０５）。

続いて、縮小視差画像生成部１４２は、視差画像において、横方向に、所定間隔の画素があるか判断する（ステップＳ２０６）。

横方向に、所定間隔の画素がある場合（ステップＳ２０６でＹＥＳ）、ステップＳ２０２の処理に進む。

横方向に、所定間隔の画素がない場合（ステップＳ２０６でＮＯ）、縦方向に、所定間隔の画素があるか判断する（ステップＳ２０７）。

縦方向に、所定間隔の画素がある場合（ステップＳ２０７でＹＥＳ）、例えば横方向で左端の画素を選択し（ステップＳ２０８）、ステップＳ２０２の処理に進む。

縦方向に、所定間隔の画素がない場合（ステップＳ２０７でＮＯ）、処理を終了する。

次に、図７を参照し、縮小視差画像生成部１４２による、抽出した画素の値を決定する処理について説明する。図７は、抽出した画素の値を決定する処理について説明する図である。縮小視差画像生成部１４２は、視差画像から、一定間隔で画素６５１−１〜６５１−ｎを抽出し、抽出した画素の各々の周辺６５２−１〜６５２−ｎの画素の値に基づいて、当該抽出した画素６５１−１〜６５１−ｎの値を決定する。

次に、図８を参照し、縮小視差画像生成部１４２による、抽出した画素の値を決定する処理の一例について説明する。図８は、抽出した画素の値を決定する処理の一例について説明する図である。

縮小視差画像生成部１４２は、例えば、当該抽出した画素の周辺において、所定の優先順位順で、有効な値を有する画素を探索し、無効でない（有効な）値を有する画素があれば、当該無効でない値を、当該抽出した画素の値とする。

所定の優先順位としては、例えば、図８のように、抽出した画素６６１から所定距離（画素）づつ離れた所定の画素群のうち、距離が近い順としてもよい。図８の例では、抽出した画素６６１から上下左右に１画素離れた４つの画素６６２、抽出した画素６６１から斜めに１画素離れた４つの画素６６３等の優先順位としている。なお、距離が等しい４つの画素６６２の中で、どの順に探索するかは例えば任意でもよい。

縮小視差画像生成部１４２は、例えば、当該抽出した画素、及びその周辺の画素の平均値を、当該抽出した画素の値としてもよい。

また、縮小視差画像生成部１４２は、近距離視差画像生成部１４１により、例えば、フェンス等の繰り返しパターンが検知された場合等、視差としての信頼性が低い場合に、当該抽出した画素の視差値が無効な値と判断し、周辺の画素値に基づいて、抽出した画素の値を決定する。

上述のような、周辺の画素値に基づいて、抽出した画素の値を決定する処理を行う理由について、以下に説明する。視差画像を縮小する際、単純に一定間隔で画素を抽出すると、物体の視差の値が算出されていない画素ばかりが抽出される可能性がある。

物体が存在する領域において、物体の視差の値が算出されていない画素が抽出される理由について、図９Ａ、図９Ｂを参照して説明する。図９Ａ、図９Ｂは、基準画像と視差画像について説明する図である。図９Ａのような、先行車両が写っている画像に対する視差画像を生成する場合、同色の部分は輝度の差が少ないため、視差値の算出ができず、無効な値（例えば無限遠）となることが多い。そのため、図９Ｂのように、先行車両が写っている領域において、黒色で示す無効な値を有する画素が多くなる。

図９Ｂにおいて、黒色で示される画素ばかりが抽出された場合、物体が存在しないと判断される場合がある。そのため、上述のような、周辺の画素値を基に、抽出された画素値を補完する処理を行う。

《近距離物体検出処理》
近距離物体検出部１４３は、縮小視差画像生成部１４２により生成された、自車両から所定距離内に位置する物体に対する縮小視差画像に基づいて、物体を検出する。

近距離物体検出部１４３は、縮小視差画像の各画素の視差値に基づいて、各画素に写っている物体の自車両からの実距離を算出し、隣り合う画素の自車両からの実距離の差が所定値（例えば２０ｃｍ）以内であれば、同一のラベルを付加する。ここで、「隣り合う」とは、上下左右の４方向でも、右上、左上、右下、左下を含む８方向でも良い。

近距離物体検出部１４３は、ラベリング（同一のラベルを付加）された単位を一つのオブジェクトとして検出する。そして、近距離物体検出部１４３は、隣接するオブジェクト同士が所定の結合条件を満たしている場合は、当該隣接するオブジェクト同士を１つのオブジェクトとして検出する。所定の結合条件は、例えば、「隣接するオブジェクト同士の縦または横のいずれか一辺が半分以上重なっており、隣接するオブジェクト同士の自車両からの実距離の差が１ｍ未満であること」等とする。それにより、壁などの、自車両の進行方向に対して斜めに沿って位置する物体を１つのオブジェクトとして捉えることができる。

近距離物体検出部１４３は、縮小視差画像における、オブジェクトを含む矩形または正方形の領域を、当該オブジェクトの領域として検出する。

《近距離物体棄却処理》
近距離物体棄却部１４４は、近距離物体検出部１４３により検出されたオブジェクトのうち、トラッキングの対象としないオブジェクトのデータを棄却（破棄）する。

近距離物体棄却部１４４は、近距離物体検出部１４３に検出されたオブジェクトの領域の縦及び横の画素数と、当該領域に含まれる画素の視差値に基づき、当該オブジェクトの大きさを算出する。そして、予め設定されている、人や車両の大きさと比較し、大き過ぎる（所定の閾値以上である）オブジェクトや、小さ過ぎる（所定の閾値以下である）オブジェクトは棄却（データを破棄）する。

また、近距離物体棄却部１４４は、オブジェクトの領域の縦及び横の画素の位置（座標）と、当該領域に含まれる画素の視差値に基づき、当該オブジェクトの３次元位置を算出する。なお、３次元位置の算出方法は、後述する３次元位置決定部１６１による算出方法と同様でも良い。そして、前回のフレーム（ステレオカメラの画像）に基づいて、後述する路面高さテーブル算出部１５４によってテーブル化された各路面部分の高さを参照し、路面からの高さが高すぎる（所定の閾値以上である）オブジェクトは棄却する。

また、近距離物体棄却部１４４は、オブジェクトの領域の視差密度を算出し、視差密度が低すぎるオブジェクトは棄却する。なお、この際の視差密度は、例えば、オブジェクトの領域に含まれる画素のうち、当該オブジェクトに応じた視差値を有する画素の数（Ａ）を、オブジェクトを含む領域に含まれる全画素数（Ｓ）で除算（Ａ／Ｓ）することにより算出する。それにより、例えば駐車場の出入り口のバーが斜めに上がっている際に、当該バーを含む矩形領域を、障害物と判断しないようにすることができる。

《近距離物体追跡処理》
近距離物体追跡部１４５は、近距離物体検出部１４３により検出され、近距離物体棄却部１４４に棄却されなかったオブジェクトの追跡を行う。

近距離物体追跡部１４５は、オブジェクトデータリスト１７０を参照し、近距離物体検出部１４３により検出されたオブジェクトが、オブジェクトデータリスト１７０に記憶されていなければ、新規の検出であると判断し、当該オブジェクトをオブジェクトデータリスト１７０に記憶する。検出されたオブジェクトが、オブジェクトデータリスト１７０に記憶されていれば、オブジェクトデータリスト１７０に記憶されている当該オブジェクトに対するデータを、検出されたオブジェクトに基づくデータに更新する。

検出されたオブジェクトが、オブジェクトデータリスト１７０に記憶されているかの判断は、例えば、検出されたオブジェクトの自車両からの実距離と、オブジェクトデータリスト１７０に記憶されているオブジェクトの自車両からの実距離との差が、所定値以下であるかに応じて判断する。

〈通常距離物体検出処理〉
次に、図１０を参照し、図４の通常距離処理部１５０の機能について説明する。図１０は、通常距離処理部１５０の機能ブロック図である。通常距離処理部１５０は、自車両から所定距離（例えば２ｍ）以上である通常距離の物体の検出や追跡を行う。

《視差画像生成処理》
視差画像生成部１５１は、例えば、処理ハードウェア部１２０の視差演算部１２１によって実現してもよい。

視差画像生成部１５１は、上述した近距離視差画像生成部１４１よりも遠い範囲（自車両から例えば２ｍ〜８０ｍ程度）に位置する物体に対する視差画像データ（視差画像情報）を生成する視差画像生成処理を行う。

この視差画像生成処理は、上述した近距離視差画像生成部１４１による近距離視差画像生成処理と同様であるが、この視差画像生成処理においては、近距離視差画像生成処理と例えば以下が異なる。視差画像生成部１５１は、基準画像データにおいて定義したブロックを、比較画像データにおける同じ行において、横ライン方向へずらす際、ブロックをずらす横ライン方向の範囲を、自車両から所定距離内（例えば２ｍ〜８０ｍ）に対応する範囲とする。それにより、自車両から、比較的遠い距離に位置する物体に対する視差が探索される。

《Ｖマップ生成処理》
視差画像補間処理を行ったら、次に、Ｖマップ生成部１５２において、Ｖマップを生成するＶマップ生成処理を実行する。視差画像データに含まれる各視差画素データは、ｘ方向位置とｙ方向位置と視差値ｄとの組（ｘ，ｙ，ｄ）で示される。これを、Ｘ軸にｄ、Ｙ軸にｙ、Ｚ軸に頻度ｆを設定した三次元座標情報（ｄ，ｙ，ｆ）に変換したもの、又はこの三次元座標情報（ｄ，ｙ，ｆ）から所定の頻度閾値を超える情報に限定した三次元座標情報（ｄ，ｙ，ｆ）を、視差ヒストグラム情報として生成する。本実施形態の視差ヒストグラム情報は、三次元座標情報（ｄ，ｙ，ｆ）からなり、この三次元ヒストグラム情報をＸ−Ｙの２次元座標系に分布させたものを、Ｖマップ（視差ヒストグラムマップ、V-disparity map）と呼ぶ。

具体的に説明すると、Ｖマップ生成部１５２は、画像を上下方向に複数分割して得られる視差画像データの各行領域について、視差値頻度分布を計算する。この視差値頻度分布を示す情報が視差ヒストグラム情報である。

図１１Ａ、図１１Ｂは、視差画像データ、及びその視差画像データから生成されるＶマップについて説明するための図である。ここで、図１１Ａは視差画像の視差値分布の一例を示す図であり、図１１Ｂは、図１１Ａの視差画像の行毎の視差値頻度分布を示すＶマップを示す図である。

図１１Ａに示すような視差値分布をもった視差画像データが入力されたとき、Ｖマップ生成部１５２は、行毎の各視差値のデータの個数の分布である視差値頻度分布を計算し、これを視差ヒストグラム情報として出力する。このようにして得られる各行の視差値頻度分布の情報を、Ｙ軸に視差画像上のｙ方向位置（撮像画像の上下方向位置）をとりＸ軸に視差値をとった二次元直交座標系上に表すことで、図１１Ｂに示すようなＶマップを得ることができる。このＶマップは、頻度ｆに応じた画素値をもつ画素が前記二次元直交座標系上に分布した画像として表現することもできる。

図１２Ａ、図１２Ｂは、一方の撮像部で撮像された基準画像としての撮影画像の画像例と、その撮影画像に対応するＶマップを示す図である。ここで、図１２Ａが撮影画像であり、図１２ＢがＶマップである。即ち、図１２Ａに示すような撮影画像から図１２Ｂに示すＶマップが生成される。Ｖマップでは、路面より下の領域には視差は検出されないので、斜線で示した領域Ａで視差がカウントされることはない。

図１２Ａに示す画像例では、自車両が走行している路面４０１と、自車両の前方に存在する先行車両４０２と、路外に存在する電柱４０３が映し出されている。また、図１２Ｂに示すＶマップには、画像例に対応して、路面５０１、先行車両５０２、及び電柱５０３がある。

この画像例は、自車両の前方路面が相対的に平坦な路面、即ち、自車両の前方路面が自車両の真下の路面部分と平行な面を自車両前方へ延長して得られる仮想の基準路面（仮想基準移動面）に一致している場合のものである。この場合、画像の下部に対応するＶマップの下部において、高頻度の点は、画像上方へ向かうほど視差値ｄが小さくなるような傾きをもった略直線状に分布する。このような分布を示す画素は、視差画像上の各行においてほぼ同一距離に存在していてかつ最も占有率が高く、しかも画像上方へ向かうほど距離が連続的に遠くなる識別対象物を映し出した画素であると言える。

撮像部１１０ａでは自車両前方領域を撮像するため、その撮像画像の内容は、図１２Ａに示すように、画像上方へ向かうほど路面の視差値ｄは小さくなる。また、同じ行（横ライン）内において、路面を映し出す画素はほぼ同じ視差値ｄを持つことになる。従って、Ｖマップ上において上述した略直線状に分布する高頻度の点は、路面（移動面）を映し出す画素が持つ特徴に対応したものである。よって、Ｖマップ上における高頻度の点を直線近似して得られる近似直線上又はその近傍に分布する点の画素は、高い精度で、路面を映し出している画素であると推定することができる。また、各画素に映し出されている路面部分までの距離は、当該近似直線上の対応点の視差値ｄから高精度に求めることができる。

《路面形状検出処理》
次に、本実施形態では、Ｖマップ生成部１５２が生成したＶマップの情報（視差ヒストグラム情報）から、路面形状検出部１５３において、自車両１００の前方路面の３次元形状を検出する路面形状検出処理が実行される。

図１２Ａに示す画像例では、自車両１００が走行している路面４０１と、自車両１００の前方に存在する先行車両４０２と、路外に存在する電柱４０３が映し出されている。この画像例は、自車両１００の前方路面が相対的に平坦な路面、すなわち、自車両１００の前方路面が自車両１００の真下の路面部分と平行な面を自車前方へ延長して得られる仮想の基準路面（仮想基準移動面）に一致している場合のものである。この場合、画像の下部に対応するＶマップの下部において、高頻度の点（路面５０１）は、画像上方へ向かうほど視差値ｄが小さくなるような傾きをもった略直線状に分布する。このような分布を示す画素は、視差画像上の各行においてほぼ同一距離に存在していてかつ最も占有率が高く、しかも画像上方へ向かうほど距離が連続的に遠くなる検出対象物を映し出した画素であると言える。

撮像部１１０Ａでは自車前方領域を撮像するため、その撮像画像の内容は、図１２Ｂに示すように、画像上方へ向かうほど路面の視差値ｄは小さくなる。また、同じ行（横ライン）内において、路面を映し出す画素はほぼ同じ視差値ｄを持つことになる。したがって、Ｖマップ上において上述した略直線状に分布する高頻度の点（路面５０１）は、路面（移動面）を映し出す画素が持つ特徴に対応したものである。よって、Ｖマップ上における高頻度の点を直線近似して得られる近似直線上又はその近傍に分布する点の画素は、高い精度で、路面を映し出している画素であると推定することができる。また、各画素に映し出されている路面部分までの距離は、当該近似直線上の対応点の視差値ｄから高精度に求めることができる。

《路面高さテーブル算出処理》
次に、路面高さテーブル算出部１５４において、路面高さ（自車の真下の路面部分に対する相対的な高さ）を算出してテーブル化する路面高さテーブル算出処理を行う。路面形状検出部１５３により生成されたＶマップ上の近似直線の情報から、撮像画像上の各行領域（画像上下方向の各位置）に映し出されている各路面部分までの距離を算出できる。一方、自車の真下に位置する路面部分をその面に平行となるように自車進行方向前方へ延長した仮想平面の自車進行方向における各面部分が、撮像画像中のどの各行領域に映し出されるかは予め決まっており、この仮想平面（基準路面）はＶマップ上で直線（基準直線）により表される。路面形状検出部１５３から出力される近似直線を基準直線と比較することで、自車前方の各路面部分の高さを得ることができる。簡易的には、路面形状検出部１５３から出力される近似直線上のＹ軸位置から、これに対応する視差値から求められる距離だけ自車前方に存在する路面部分の高さを算出できる。路面高さテーブル算出部１５４では、近似直線から得られる各路面部分の高さを、必要な視差範囲についてテーブル化する。

なお、ある視差値ｄにおいてＹ軸位置がｙ'である地点に対応する撮像画像部分に映し出されている物体の路面からの高さは、当該視差値ｄにおける近似直線上のＹ軸位置をｙ０としたとき、（ｙ'−ｙ０）から算出することができる。一般に、Ｖマップ上における座標（ｄ，ｙ'）に対応する物体についての路面からの高さＨは、下記の式（２）より算出することができる。ただし、下記の式（２）において、「ｚ」は、視差値ｄから計算される距離（ｚ＝ＢＦ／（ｄ−ｏｆｆｓｅｔ））であり、「ｆ」はカメラの焦点距離を（ｙ'−ｙ０）の単位と同じ単位に変換した値である。ここで、「ＢＦ」は、ステレオカメラの基線長と焦点距離を乗じた値であり、「ｏｆｆｓｅｔ」は無限遠の物体を撮影したときの視差値である。

Ｈ ＝ ｚ×（ｙ'−ｙ０）／ｆ ・・・（２）
《Ｕマップ生成処理》
次に、Ｕマップ生成部１５５は、Ｕマップ（U-disparity map）を生成するＵマップ生成処理として、頻度Ｕマップ生成処理及び高さＵマップ生成処理を実行する。

頻度Ｕマップ生成処理では、視差画像データに含まれる各視差画素データにおけるｘ方向位置とｙ方向位置と視差値ｄとの組（ｘ，ｙ，ｄ）を、Ｘ軸にｘ、Ｙ軸にｄ、Ｚ軸に頻度を設定し、Ｘ−Ｙの２次元ヒストグラム情報を作成する。これを頻度Ｕマップと呼ぶ。本実施形態のＵマップ生成部１５５では、路面高さテーブル算出部１５４によってテーブル化された各路面部分の高さに基づいて、路面からの高さＨが所定の高さ範囲（たとえば２０ｃｍから３ｍ）にある視差画像の点（ｘ，ｙ，ｄ）についてだけ頻度Ｕマップを作成する。この場合、路面から当該所定の高さ範囲に存在する物体を適切に抽出することができる。

また、高さＵマップ生成処理では、視差画像データに含まれる各視差画素データにおけるｘ方向位置とｙ方向位置と視差値ｄとの組（ｘ，ｙ，ｄ）を、Ｘ軸にｘ、Ｙ軸にｄ、Ｚ軸に路面からの高さを設定して、Ｘ−Ｙの２次元ヒストグラム情報を作成する。これを高さＵマップと呼ぶ。このときの高さの値は路面からの高さが最高のものである。

図１３は、撮像部１１０ａで撮像される基準画像の一例を模式的に表した画像例であり、図１４Ａ、図１４Ｂは、図１３の画像例に対応するＵマップである。ここで、図１４Ａは頻度Ｕマップであり、図１４Ｂは高さＵマップである。

図１３に示す画像例では、路面の左右両側にガードレール４１３，４１４が存在し、他車両としては、先行車両４１１と対向車両４１２がそれぞれ１台ずつ存在する。このとき、頻度Ｕマップにおいては、図１４Ａに示すように、左右のガードレール４１３，４１４に対応する高頻度の点は、左右両端側から中央に向かって上方へ延びるような略直線状６０３，６０４に分布する。一方、先行車両４１１と対向車両４１２に対応する高頻度の点は、左右のガードレールの間で、略Ｘ軸方向に平行に延びる線分の状態６０１，６０２で分布する。なお、先行車両４１１の背面部分又は対向車両４１２の前面部分以外に、これらの車両の側面部分が映し出されているような状況にあっては、同じ他車両を映し出している画像領域内において視差が生じる。このような場合、図１４Ａに示すように、他車両に対応する高頻度の点は、略Ｘ軸方向に平行に延びる線分と略Ｘ軸方向に対して傾斜した線分とが連結した状態の分布を示す。

また、高さＵマップにおいては、左右のガードレール４１３，４１４、先行車両４１１、及び対向車両４１２における路面からの高さが最高の点が頻度Ｕマップと同様に分布する。ここで、先行車両に対応する点の分布７０１及び対向車両に対応する点の分布７０２の高さはガードレールに対応する点の分布７０３，７０４よりも高くなる。これにより、高さＵマップにおける物体の高さ情報を物体検出に利用することができる。

《リアルＵマップ生成処理》
次に、リアルＵマップ生成部１５６について説明する。リアルＵマップ生成部１５６では、リアルＵマップ（Real U-disparity map）（「分布データ」の一例）を生成するＵマップ生成処理として、リアル頻度Ｕマップ生成処理及びリアル高さＵマップ生成処理を実行する。

リアルＵマップは、Ｕマップにおける横軸を画像の画素単位から実際の距離に変換し、縦軸の視差値を距離に応じた間引き率を有する間引き視差に変換したものである。

リアルＵマップ生成部１５６は、リアル頻度Ｕマップ生成処理において、視差画像データに含まれる各視差画素データにおけるｘ方向位置とｙ方向位置と視差値ｄとの組（ｘ，ｙ，ｄ）を、Ｘ軸に水平方向の実際の距離、Ｙ軸に間引き視差、Ｚ軸に頻度を設定して、Ｘ−Ｙの２次元ヒストグラム情報を作成する。なお、本実施形態のリアルＵマップ生成部１５６は、Ｕマップ生成部１５５と同様に、路面高さテーブル算出部１５４によってテーブル化された各路面部分の高さに基づいて、路面からの高さＨが所定の高さ範囲にある視差画像の点（ｘ，ｙ，ｄ）についてだけリアル頻度Ｕマップを作成する。なお、リアルＵマップ生成部１５６は、Ｕマップ生成部１５５が生成したＵマップに基づいて、リアルＵマップを生成する構成としてもよい。

図１５は、図１４Ａに示す頻度Ｕマップに対応するリアルＵマップ（以下、リアル頻度Ｕマップ）を示す図である。図示のように、左右のガードレールは垂直の線状のパターン８０３，８０４で表され、先行車両、対向車両も実際の形に近いパターン８０１、８０２で表される。

縦軸の間引き視差は、遠距離（ここでは５０ｍ以上）については間引きなし、中距離（２０ｍ以上、５０ｍ未満）については１／２に間引き、近距離（１０ｍ以上、２０ｍ未満）については１／３に間引き、近距離（１０ｍ以上、２０ｍ未満）については１／８に間引いたものである。

つまり、遠方ほど、間引く量を少なくしている。その理由は、遠方では物体が小さく写るため、視差データが少なく、距離分解能も小さいので間引きを少なくし、逆に近距離では、物体が大きく写るため、視差データが多く、距離分解能も大きいので間引きを多くする。

横軸を画像の画素単位から実際の距離へ変換する方法、Ｕマップの（ｘ，ｄ）からリアルＵマップの（Ｘ，ｄ）を求める方法の一例について図１６を用いて説明する。

カメラから見て左右１０ｍずつ、即ち２０ｍの幅をオブジェクト検出範囲として設定する。リアルＵマップの横方向１画素の幅を１０ｃｍとすると、リアルＵマップの横方向サイズは２００画素となる。

カメラの焦点距離をｆ、カメラ中心からのセンサの横方向の位置をｐ、カメラから被写体までの距離をＺ、カメラ中心から被写体までの横方向の位置をＸとする。センサの画素サイズをｓとすると、ｘとｐの関係は「ｘ＝ｐ／ｓ」で表される。また、ステレオカメラの特性から、「Ｚ＝Ｂｆ／ｄ」の関係がある。

また、図より、「ｘ＝ｐ＊Ｚ／ｆ」の関係があるから、「Ｘ＝ｓｘＢ／ｄ」で表すことができる。Ｘは実距離であるが、リアルＵマップ上での横方向１画素の幅が１０ｃｍあるので、容易にＸのリアルＵマップ上での位置を計算することができる。

図１４Ｂに示す高さＵマップに対応するリアルＵマップ（以下、リアル高さＵマップ）も同様の手順で作成することができる。

リアルＵマップには、縦横の長さをＵマップより小さくできるので処理が高速になるというメリットがある。また、横方向が距離に非依存になるため、遠方、近傍いずれでも同じ物体は同じ幅で検出することが可能になり、後段の周辺領域除去や、横分離、縦分離への処理分岐の判定（幅の閾値処理）が簡単になるというメリットもある。

Ｕマップにおける縦方向の長さは、測定可能な最短距離を何メートルにするかで決定される。つまり、「ｄ＝Ｂｆ／Ｚ」であるから、測定可能な最短のＺに応じて、ｄの最大値は決定される。また、視差値ｄはステレオ画像を扱うため、通常画素単位で計算されるが、少数を含むため、視差値に所定値を乗じて小数部分を四捨五入して整数化した視差値を使用する。

測定可能な最短のＺが１／２になると、ｄは２倍になるので，それだけＵマップのデータは巨大となる。そこで、リアルＵマップを作成するときには、近距離ほど画素を間引いてデータを圧縮し、Ｕマップよりもデータ量を削減する。そのため、ラベリングによるオブジェクト検出を高速に行うことができる。

《孤立領域検出》
次に、孤立領域検出部１５７について説明する。図１７は、孤立領域検出部１５７で行う孤立領域検出処理の流れを示すフローチャートである。孤立領域検出部１５７では、まずリアルＵマップ生成部１５６で生成されたリアル頻度Ｕマップの情報の平滑化を行う（ステップＳ１１１）。

これは、頻度値を平均化することで、有効な孤立領域を検出しやすくするためである。即ち、視差値には計算誤差等もあって分散があり、かつ、視差値がすべての画素について計算されているわけではないので、リアルＵマップは図１４に示した模式図とは異なり、ノイズを含んでいる。そこで、ノイズを除去するためと、検出したいオブジェクトを分離しやすくするため、リアルＵマップを平滑化する。これは画像の平滑化と同様に、平滑化フィルタ(例えば３×３画素の単純平均)をリアルＵマップの頻度値（リアル頻度Ｕマップ）に対して適用することで、ノイズと考えられるような頻度は減少し、オブジェクトの部分では頻度が周囲より高い、まとまったグループとなり、後段の孤立領域検出処理を容易にする効果がある。

次に、二値化の閾値を設定する（ステップＳ１１２）。最初は小さい値（＝０）を用いて、平滑化されたリアルＵマップの二値化を行う（ステップＳ１１３）。その後、値のある座標のラベリングを行って、孤立領域を検出する（ステップＳ１１４）。

この二つのステップでは、リアル頻度Ｕマップで頻度が周囲より高い孤立領域(島と呼ぶことにする)を検出する。検出には、リアル頻度Ｕマップをまず二値化する（ステップＳ１１３）。最初は閾値０で二値化を行う。これは、オブジェクトの高さや、その形状、路面視差との分離などがあるため、島は孤立しているものもあれば他の島と連結しているものもあることの対策である。即ち、小さい閾値からリアル頻度Ｕマップを二値化することで最初は孤立した適切な大きさの島を検出し、その後、閾値を増加させていくことで連結している島を分離し、孤立した適切な大きさの島として検出することを可能にしたものである。

二値化後の島を検出する方法はラベリングを用いる（ステップＳ１１４）。二値化後の黒である座標(頻度値が二値化閾値より高い座標)をその連結性に基づいてラベリングして、同一ラベルが付いた領域を島とする。

検出された複数の孤立領域についてそれぞれ大きさの判定を行う（ステップＳ１１５）。これは、検出対象が歩行者から大型自動車であるため、孤立領域の幅がそのサイズの範囲であるか否かを判定するのである。もし、その大きさが大きければ（ステップＳ１１５：YES）、二値化閾値を１だけインクリメントして（ステップＳ１１２）、リアル頻度Ｕマップの当該孤立領域内だけ二値化を行う（ステップＳ１１３）。そしてラベリングを行い、より小さな孤立領域を検出して（ステップＳ１１４）、その大きさを判定する（ステップＳ１１５）。

上記の閾値設定からラベリングの処理を繰り返し行い、所望の大きさの孤立領域を検出するのである。所望の大きさの孤立領域が検出できたなら（ステップＳ１１５：NO）、次に周辺領域除去を行う（ステップＳ１１６）。これは、遠方にある物体で、路面検出の精度が悪く、路面の視差がリアルＵマップ内に導入され、物体と路面の視差が一塊になって検出された場合のその左右、近傍の高さが路面に近い部分の領域（孤立領域内の周辺部分）を削除する処理である。除去領域が存在する場合は（ステップＳ１１７：YES）、もう一度ラベリングを行って孤立領域の再設定を行う（ステップＳ１１４）。

除去領域がなくなったら（ステップＳ１１７：NO）、周辺領域除去を行った孤立領域の大きさ(幅と高さ、距離)を判定し（ステップＳ１１８）、その結果に応じて、横方向分離（ステップＳ１１９）又は縦方向分離（ステップＳ１２０）又は何もしないでオブジェクト候補として登録する。横方向分離又は縦方向分離を行った場合は（ステップＳ１２１：YES、ステップＳ１２２：YES）、もう一度ラベリングを行って孤立領域の再設定を行う（ステップＳ１１４）。

物体同士が横に並んで近接している(自動車とバイク、自動車と歩行者、自動車同士など)場合、リアル頻度Ｕマップの平滑化が原因で一つの孤立領域として検出されることがある。或いは視差画像の視差補間の悪影響で異なる物体同士の視差がつながってしまうことがある。横方向分離はこのようなケースを検出して分離する処理である（詳細については後述）。

また、複数の先行車両が隣の車線を走行しているときに、それらが遠方にいる場合、ステレオ画像から得られる視差の分散が大きい場合、リアル頻度Ｕマップ上では物体それぞれの視差値が上下に伸び、連結してしまうことがある。このため、これを一つの孤立領域として検出してしまう場合がある。縦方向分離はこのようなケースを検出して、手前を走る先行車両とその向こうを走る先行車両とに分離する処理である（詳細については後述）。

《視差画像の対応領域検出、及びオブジェクト領域抽出》
次に、視差画像の対応領域検出部１５８及びオブジェクト領域抽出部１５９について説明する。図１８は、孤立領域検出部で検出された孤立領域が内接する矩形領域を設定したリアル頻度Ｕマップを示す図であり、図１９は、図１８における矩形領域に対応する走査範囲を設定した視差画像を示す図であり、図２０は、図１９における走査範囲を探索してオブジェクト領域を設定した視差画像を示す図である。

孤立領域検出部１５７によりオブジェクト候補領域として決定された孤立領域について、図１８に示すように、当該孤立領域としての第１車両８０１、第２車両８０２が内接する矩形領域として第１検出島８１１及び第２検出島８１２を設定したとき、この矩形領域の幅（Ｕマップ上のＸ軸方向長さ）は、当該孤立領域に対応する識別対象物（オブジェクト）の幅に対応する。また、設定した矩形領域の高さは、当該孤立領域に対応する識別対象物（オブジェクト）の奥行き（自車両進行方向長さ）に対応している。一方で、各孤立領域に対応する識別対象物（オブジェクト）の高さについては、この段階では不明である。視差画像の対応領域検出部１５８は、オブジェクト候補領域に係る孤立領域に対応したオブジェクトの高さを得るために、当該孤立領域に対応する視差画像上の対応領域を検出する。

視差画像の対応領域検出部１５８は、孤立領域検出部１５７から出力される孤立領域の情報に基づき、リアルＵマップから検出した第１検出島８１１及び第２検出島８１２島の位置、幅と最小視差から、図１９に示す視差画像で検出すべき範囲である第１検出島対応領域走査範囲４８１及び第２検出島対応領域走査範囲４８２のｘ方向範囲（ｘmin，ｘmax)を決定できる。また、視差画像においてオブジェクトの高さと位置(ｙmin="最大視差ｄmaxの時の路面からの最大高さに相当するｙ座標"からｙmax="最大視差ｄmaxから得られる路面の高さを示すｙ"まで)を決定できる。

次に、オブジェクトの正確な位置を検出するため、設定した走査範囲を走査し、孤立領域検出部１５７で検出した矩形の奥行き(最小視差ｄmin,最大視差ｄmax)の範囲の値を視差にもつ画素を候補画素として抽出する。そして、抽出した候補画素群の中で検出幅に対して横方向に所定の割合以上あるラインを候補ラインとする。

次に、縦方向に走査して、ある注目しているオブジェクト候補ラインの周囲に他のオブジェクト候補ラインが所定の密度以上ある場合には、その注目しているオブジェクト候補ラインをオブジェクトラインとして判定する。

次に、オブジェクト領域抽出部１５９は、視差画像の探索領域でオブジェクトラインを探索して、オブジェクトラインの最下端、最上端を決定し、図２０に示すように、オブジェクトライン群の外接矩形４６１，４６２を視差画像におけるオブジェクト（第１車両、第２車両）の領域４５１，４５２として決定する。

図２１は、視差画像の対応領域検出部１５８及びオブジェクト領域抽出部１５９で行われる処理の流れを示すフローチャートである。まずリアルＵマップにおける島の位置、幅と最小視差から、視差画像に対するｘ軸方向の探索範囲を設定する（ステップＳ１６１）。

次に島の最大視差ｄmaxと路面高さの関係から、視差画像に対するｙ軸方向の最大探索値ｙmaxを設定する（ステップＳ１６２）。次にリアル高さＵマップにおける島の最大高さ、及びステップＳ１７２で設定したymaxとdmaxとから、視差画像に対するｙ軸方向の最小探索値ｙminを求めて設定することで、視差画像に対するｙ軸方向の探索範囲を設定する（ステップＳ１６３）。

次いで設定した探索範囲で視差画像を探索して、島の最小視差ｄmin，最大視差ｄmaxの範囲内にある画素を抽出し、オブジェクト候補画素とする（ステップＳ１６４）。そのオブジェクト候補画素が横方向に一定以上の割合にあるとき、そのラインをオブジェクト候補ラインとして抽出する（ステップＳ１６５）。

オブジェクト候補ラインの密度を計算して、密度が所定の値より大きい場合はそのラインをオブジェクトラインと決定する（ステップＳ１６６）。最後にオブジェクトライン群の外接矩形を視差画像内のオブジェクト領域として検出する（ステップＳ１６７）。

それにより、識別対象物（オブジェクト、物体）を認識することができる。

《オブジェクトタイプ分類》
次に、オブジェクトタイプ分類部１６０について説明する。

前記オブジェクト領域抽出部１５９で抽出されるオブジェクト領域の高さ（ｙomax−ｙomin）から、下記の式〔５〕より、そのオブジェクト領域に対応する画像領域に映し出されている識別対象物（オブジェクト）の実際の高さＨｏを計算できる。ただし、「ｚo」は、当該オブジェクト領域内の最小視差値ｄから計算される当該オブジェクト領域に対応するオブジェクトと自車両との距離であり、「ｆ」はカメラの焦点距離を（ｙomax−ｙomin）の単位と同じ単位に変換した値である。

Ｈo＝ｚo×（ｙomax−ｙomin）／ｆ …式〔５〕
同様に、オブジェクト領域抽出部１５９で抽出されるオブジェクト領域の幅（ｘomax−ｘomin）から、下記の式〔６〕より、そのオブジェクト領域に対応する画像領域に映し出されている識別対象物（オブジェクト）の実際の幅Ｗoを計算できる。

Ｗo＝ｚo×（ｘomax−ｘomin）／ｆ …式〔６〕
また、当該オブジェクト領域に対応する画像領域に映し出されている識別対象物（オブジェクト）の奥行きＤoは、当該オブジェクト領域に対応した孤立領域内の最大視差ｄmaxと最小視差ｄminから、下記の式〔７〕より計算することができる。

Ｄo＝ＢＦ×｛（１／（ｄmin−offset）−１／（ｄmax−offset）｝ …式〔７〕
オブジェクトタイプ分類部１６０は、このようにして計算できるオブジェクト領域に対応するオブジェクトの高さ、幅、奥行きの情報から、そのオブジェクトタイプの分類を行う。図２２に示す表は、オブジェクトタイプの分類を行うためのテーブルデータの一例を示すものである。これによれば、自車両前方に存在する識別対象物（オブジェクト）が、歩行者なのか、自転車なのか、小型車なのか、トラックなどか等を区別して認識することが可能となる。

《３次元位置決定》
次に、３次元位置決定部１６１について説明する。検出されたオブジェクト領域に対応するオブジェクトまでの距離や、視差画像の画像中心と視差画像上のオブジェクト領域の中心との画像上の距離も把握されることから、オブジェクトの３次元位置を決定することができる。

視差画像上のオブジェクト領域の中心座標を（region_centerＸ，region_centerＹ）とし、視差画像の画像中心座標を（image_centerＸ，image_centerＹ）としたとき、識別対象物（オブジェクト）の撮像部１１０ａ，１１０ｂに対する相対的な横方向位置および高さ方向位置は、下記の式〔８〕及び式〔９〕より計算できる。

Ｘo＝Ｚ×（region_centerＸ−image_centerＸ）／ｆ …式〔８〕
Ｙo＝Ｚ×（region_centerＹ−image_centerＹ）／ｆ …式〔９〕
《オブジェクトトラッキング》
次に、オブジェクトトラッキング部１６２について説明する。オブジェクトトラッキング部１６２は、オブジェクトデータリスト１７０を用いて、以前（過去）の視差画像のフレームから検出されたオブジェクト（物体）をトラッキング（追跡）する処理を実行する。

《オブジェクト選択》
次に、オブジェクト選択部１６３について説明する。オブジェクト選択部１６３は、オブジェクトデータリスト１７０に保存されているオブジェクトについて、当該オブジェクトが追跡対象とするのにふさわしい位置にいるか等を判断基準にして、当該オブジェクトを追跡するか否かを選択する。具体的には、オブジェクトデータリスト１７０のオブジェクト予測データに基づいて当該オブジェクトが位置すると予測される視差画像データ中の予測範囲を設定し、その予測範囲内における当該オブジェクトの高さを特定した後、オブジェクトデータリスト１７０のオブジェクト特徴量を参照して、特定した高さから当該オブジェクトの幅を特定し、特定した幅から視差画像データ上におけるオブジェクトの横方向位置を推定する。このようにして推定したオブジェクトの横方向位置が所定の追跡対象条件（当該オブジェクトが画像内に存在する確度が高い位置である場合、当該オブジェクトが追跡対象とするのにふさわしい位置である場合等）を満たせば、当該オブジェクトを追跡対象として選択する。なお、オブジェクト選択部１６３は、追跡対象として選択しなかったオブジェクトのデータを、オブジェクトデータリスト１７０から削除してもよい。

《オブジェクトデータリスト》
次に、オブジェクトデータリスト１７０について説明する。オブジェクトデータリスト１７０は、例えば、一のフレームから検出された各オブジェクトのデータを、それ以降の複数のフレームに渡って追跡するために使用される。

オブジェクトデータリスト１７０は、図２３に示すように、「オブジェクトデータ」、「オブジェクト予測データ」、「オブジェクト特徴量」のデータを含む。

「オブジェクトデータ」は、「位置」、「大きさ」、「距離」、「相対速度」、「実位置」、「実際の大きさ」のデータを含む。「位置」は、視差画像における当該オブジェクトの左上の座標である。「大きさ」は、視差画像における当該オブジェクトの大きさ（幅、及び高さの画素数）である。「距離」は、自車両から当該オブジェクトまでの実距離である。「相対速度」は、前回と今回のフレームに基づいて算出された、自車両と当該オブジェクトとの相対速度である。「相対速度」は、自車両の進行方向Ｚ（奥行き方向）及び水平方向Ｘ（横方向）の１フレーム当たりの移動量（ｍ：メートル）のデータを含む。「実位置」は、今回のフレームに基づいて算出された、自車両に対する当該オブジェクトの相対的な実際の位置である。「実位置」は、例えば、当該オブジェクトの左端と右端の中心の、横方向Ｚの位置（ｍ：メートル）と奥行きＺ方向の位置（ｍ：メートル）のデータを含む。「実際の大きさ」は、今回のフレームに基づいて算出された、自車両に対する当該オブジェクトの実際の大きさである。「実際の大きさ」は、当該オブジェクトの幅（ｍ：メートル）と高さ（ｍ：メートル）のデータを含む。

「オブジェクト予測データ」は、「位置」、「大きさ」、「距離」、「相対速度」等のデータを含む。「オブジェクト予測データ」は、以前のフレーム（例えば直前のフレーム）に基づいて算出された、次回のフレームにおいて当該オブジェクトがどの位置にいるかを予測するデータである。

「オブジェクト特徴量」は、「ヒストグラムピーク位置」、「ピーク間距離」のデータを含む。「ヒストグラムピーク位置」は、リアルＵマップにおける視差頻度の値が比較的大きい位置の座標である。「ピーク間距離」は、リアルＵマップにおける「ヒストグラムピーク位置」間の実距離である。

なお、オブジェクトデータリスト１７０のデータは、画像解析ユニット１０２の解析結果として、表示モニタ１０３及び車両走行制御ユニット１０４に送られる。表示モニタ１０３は、解析結果であるオブジェクトデータリスト１７０のデータのうち、例えば、「オブジェクトデータ」の「位置」、「大きさ」に基づいて、今回のフレームにおけるオブジェクトの領域を、例えば緑の枠で表示する。ここで、「オブジェクトデータ」の「位置」、「大きさ」は、オブジェクトを含む領域を示すデータである。

また、表示モニタ１０３は、解析結果であるオブジェクトデータリスト１７０のデータのうち、例えば、「オブジェクト予測データ」の「位置」、「大きさ」に基づいて、今回のフレームにおけるオブジェクトの予測位置に対応する領域（以下で「トラッキング枠」と称する）を、例えば赤の枠で表示する。

＜まとめ＞
ステレオカメラを用いて生成した視差画像において、自車両（ステレオカメラ）に近い距離に位置する物体に対する視差は大きいため、一方のカメラで撮像した画像における当該物体の画素の位置と、他方のカメラで撮像した画像における当該物体の画素の位置との距離は大きくなる。そのため、一方の画像の一の画素に対応する画素を他方の画像から探索する距離（当該一の画素の位置からの距離）が長くなり、視差画像を作る処理に時間がかかる。

そのため、画素を探索する距離を所定範囲で区切ることにより、自車両から例えば２ｍ〜８０ｍ程度（通常距離）の距離に位置する物体に対する視差画像を高速に生成して、物体の検出や追跡を行うことが考えられる。

しかし、衝突等を防止するためには、自車両から例えば１ｍ〜６ｍ程度（近距離）の距離に位置する物体の検出や追跡を行う必要がある。その場合、近距離の物体に対する視差画像を作る処理には時間がかかるため、それ以降の検出等の処理を、非常に高速で行う必要がある。また、近距離の物体に対する検出等は、例えばアクセルとブレーキの踏み間違え（誤踏み）等の際の、移動体の制御判断にも使用され得るため、高速かつ高精度に検出等を行う必要がある。

上述した実施形態によれば、視差画像から所定の間隔で画素を抽出し、当該抽出した画素の値が無効である場合、当該抽出した画素の周辺の画素の値に基づいて、当該抽出した画素の値を決定し、前記視差画像の画素数を縮小する。それにより、精度の高い検出を高速に行うことができる。

上述した実施形態におけるシステム構成は一例であり、用途や目的に応じて様々なシステム構成例があることは言うまでもない。

例えば、上述した近距離として、例えば、０．５ｍ〜６０ｍ程度の距離に位置する物体の検出や追跡を行うようにしてもよい。

また、ステレオカメラと、ミリ波レーダやレーザレーダ等の検出装置を併用し、上述したステレオカメラによる物体の検出結果と組み合わせることにより、検出の精度をさらに高める構成としてもよい。また、ステレオカメラの撮像画像に基づいて生成した視差画像の代わりに、ミリ波レーダやレーザレーダ等の検出装置を用い、自車両の進行方向の前方を計測して得られるデータを、距離画像として用いてもよい。

例えば、処理ハードウェア部１２０及び画像解析ユニット１０２の各機能部は、ハードウェアによって実現される構成としてもよいし、ＣＰＵが記憶装置に格納されたプログラムを実行することによって実現される構成としてもよい。このプログラムは、インストール可能な形式又は実行可能な形式のファイルによって、コンピュータで読み取り可能な記録メディアに記録されて流通されるようにしても良い。また、上記記録メディアの例として、ＣＤ−Ｒ(Compact Disc Recordable)、ＤＶＤ(Digital Versatile Disk)、ブルーレイディスク等が挙げられる。また、各プログラムが記憶されたＣＤ−ＲＯＭ等の記録メディア、並びに、これらプログラムが記憶されたＨＤ５０４は、プログラム製品(Program Product)として、国内又は国外へ提供されることができる。

以上、本発明を実施例に基づいて説明したが、本発明は上記実施例に限定されるものではなく、特許請求の範囲に記載の範囲内で様々な変形が可能である。

本願は、日本特許庁に２０１６年２月２２日に出願された基礎出願２０１６―０３０９６３号の優先権を主張するものであり、その全内容を参照によりここに援用する。

１ 車載機器制御システム（「移動体機器制御システム」の一例）
１００ 自車両
１０１ 撮像ユニット
１０２ 画像解析ユニット（「画像処理装置」の一例）
１０３ 表示モニタ
１０４ 車両走行制御ユニット（「制御部」の一例）
１１０ａ，１１０ｂ 撮像部
１２０ 処理ハードウェア部
１４０ 近距離処理部
１４１ 近距離視差画像生成部（「生成部」の一例）
１４２ 縮小視差画像生成部（「縮小部」の一例）
１４３ 近距離検出部（「検出部」の一例）
１４４ 近距離物体棄却部
１４５ 近距離物体追跡部
１５１ 視差画像生成部
１５２ Ｖマップ生成部
１５３ 路面形状検出部
１５４ 路面高さテーブル算出部
１５５ Ｕマップ生成部
１５６ リアルＵマップ生成部
１５７ 孤立領域検出部
１５８ 対応領域検出部
１５９ オブジェクト領域抽出部
１６０ オブジェクトタイプ分類部
１６１ ３次元位置決定部
１６２ オブジェクトトラッキング部
１６３ オブジェクト選択部
１７０ オブジェクトデータリスト
２ 撮像装置

Claims (8)

1. 複数の撮像部で各々撮影されたフレームに応じた、前記複数の撮像部から所定距離内に位置する物体の視差に応じた画素値を有する距離画像の画素数を縮小する縮小部と、
   前記縮小された距離画像に基づいて、前記所定距離内に位置する物体を検出する検出部と、を備え、
   前記縮小部は、前記距離画像から所定の間隔で画素を抽出し、当該抽出した画素の値が無効である場合、当該抽出した画素の周辺の画素の値に基づいて、当該抽出した画素の値を決定することを特徴とする画像処理装置。
2. 前記縮小部は、当該抽出した画素の値が無限遠であることを示す値の場合、または繰り返しパターンであることを示す値である場合に、当該抽出した画素の値が無効であると判断することを特徴とする、請求項１記載の画像処理装置。
3. 前記縮小部は、当該抽出した画素の周辺の複数の画素のうち、当該抽出した画素から近い順に周辺の画素の値を取得し、取得した画素の値が無効でない場合に、当該取得した画素の値を、当該抽出した画素の値とすることを特徴とする、請求項１または２記載の画像処理装置。
4. 前記縮小部は、当該抽出した画素の周辺の複数の画素の平均値を、当該抽出した画素の値とすることを特徴とする、請求項１または２記載の画像処理装置。
5. 複数の撮像部と、
   前記複数の撮像部で各々撮影されたフレームに応じた、前記複数の撮像部から所定距離内に位置する物体の視差に応じた画素値を有する距離画像を生成する生成部と、
   前記距離画像から所定の間隔で画素を抽出し、当該抽出した画素の値が無効である場合、当該抽出した画素の周辺の画素の値に基づいて、当該抽出した画素の値を決定し、前記距離画像の画素数を縮小する縮小部と、
   前記縮小された距離画像に基づいて、前記所定距離内に位置する物体を検出する検出部と、を備えることを特徴とする撮像装置。
6. 移動体に搭載され、前記移動体の前方を撮像する複数の撮像部と、
   前記複数の撮像部で各々撮影されたフレームに応じた、前記複数の撮像部から所定距離内に位置する物体の視差に応じた画素値を有する距離画像を生成する生成部と、
   前記距離画像から所定の間隔で画素を抽出し、当該抽出した画素の値が無効である場合、当該抽出した画素の周辺の画素の値に基づいて、当該抽出した画素の値を決定し、前記距離画像の画素数を縮小する縮小部と、
   前記縮小された距離画像に基づいて、前記所定距離内に位置する物体を検出する検出部と、
   前記検出部による検出結果に基づいて、前記移動体の制御を行う制御部と、
   を備える移動体機器制御システム。
7. 画像処理装置が、
   複数の撮像部で各々撮影されたフレームに応じた、前記複数の撮像部から所定距離内に位置する物体の視差に応じた画素値を有する距離画像の画素数を縮小するステップと、
   前記縮小された距離画像に基づいて、前記所定距離内に位置する物体を検出するステップと、を実行し、
   前記縮小するステップは、前記距離画像から所定の間隔で画素を抽出し、当該抽出した画素の値が無効である場合、当該抽出した画素の周辺の画素の値に基づいて、当該抽出した画素の値を決定する、画像処理方法。
8. 画像処理装置に、
   複数の撮像部で各々撮影されたフレームに応じた、前記複数の撮像部から所定距離内に位置する物体の視差に応じた画素値を有する距離画像の画素数を縮小するステップと、
   前記縮小された距離画像に基づいて、前記所定距離内に位置する物体を検出するステップと、を実行させ、
   前記縮小するステップは、前記距離画像から所定の間隔で画素を抽出し、当該抽出した画素の値が無効である場合、当該抽出した画素の周辺の画素の値に基づいて、当該抽出した画素の値を決定するプログラム。