JP6657789B2 - 画像処理装置、撮像装置、機器制御システム、頻度分布画像生成方法、及びプログラム - Google Patents

Description

本発明は、画像処理装置、撮像装置、機器制御システム、頻度分布画像生成方法、及びプログラムに関する。

自動車の安全性において、従来は歩行者や自動車と衝突したときに、いかに歩行者を守れるか、乗員を保護できるかの観点から自動車のボディー構造などの開発が行われてきた。しかしながら近年、情報処理技術、画像処理技術の発達により、高速に人や自動車等を検出する技術が開発されてきている。これらの技術を応用して、衝突する前に自動的にブレーキをかけ、衝突を未然に防ぐという自動車もすでに発売されている。

自動的にブレーキをかけるには人や他車を正確に測定する必要があり、そのために、ステレオカメラの画像を用いた測定が実用化されている。

また、ステレオカメラの画像を用いた測定を、高速に行う技術が知られている（例えば、特許文献１参照）。

しかし、従来技術では、自動車等に設置されたステレオカメラからの画像を用いて、物体を測定する場合、測定の精度を維持しつつ、測定を高速化することができないという問題がある。

そこで、自動車等に設置されたステレオカメラ等からの画像を用いて、物体を測定する場合に、測定の精度を維持しつつ、測定を高速化できる技術を提供することを目的とする。

画像処理装置において、複数の撮影画像における物体の視差に応じた画素値を有する視差画像を取得し、前記視差画像の第１のエリアから、第１の割合で画素値を抽出し、前記視差画像の第２のエリアから、第２の割合で画素値を抽出し、前記視差画像の第３のエリアから、第３の割合で画素値を抽出する抽出部と、前記抽出された画素値に基づいて、前記物体の視差の分布を示すデータを生成する生成部と、を備え、前記第１のエリア及び前記第２のエリアは、水平方向に区切られたエリアであり、前記第１のエリアは、前記第２のエリアよりも前記視差画像の中心に近いエリアであり、前記第２のエリアは、前記第１のエリアよりも鉛直方向で上に位置するエリアであり、前記第３のエリアは、前記第１のエリアよりも鉛直方向で下に位置するエリアであり、前記第１の割合は前記第２の割合よりも高く、前記第３の割合は前記第２の割合よりも低い。

開示の技術によれば、自動車等に設置されたステレオカメラ等からの画像を用いて、物体を測定する場合に、測定の精度を維持しながら、測定を高速化することが可能となる。

本発明の一実施形態に係る車載機器制御システムの構成を示す模式図である。 撮像ユニット及び画像解析ユニットの構成を示す模式図である。 三角測量の原理を利用することで視差値から距離を算出する原理を説明するための図である。 物体検出処理を行う機能ブロック図である。 オブジェクトデータリストのデータ項目の一例を示す説明図である。 視差画像データ、及びその視差画像データから生成されるＶマップについて説明するための図である。 一方の撮像部で撮像された基準画像としての撮影画像の画像例と、その撮影画像に対応するＶマップを示す図である。 路面形状検出部内の機能ブロック図である。 第１路面候補点検出処理及び第２路面候補点検出処理の検出方法を説明するための図である。 路面候補点検出部で行う路面候補点検出処理の流れを示すフローチャートである。 Ｖマップを３つの区間（視差値区画）に区分けした例を示す説明図である。 Ｖマップを３つの区間（視差値区画）に区分けした他の例を示す説明図である。 最終区間が本来の区間幅（視差値範囲）より狭い幅しか設定できない場合の説明図、及び最終区間をひとつ前の区間と結合し、ひとつの区間として設定した例の説明図である。 区分直線近似部で行う区分直線近似処理の流れを示すフローチャートである。 当初の区間を示す説明図、及び当初の第１区間を延長した後の区間を示す説明図である。 当初の区間を示す説明図、及び当初の第２区間を延長した後の区間を示す説明図である。 得られた各区間の近似直線が区間境界で連続にならない状態を示す説明図、及び各区間の近似直線が区間境界において連続になるように修正した例を示す説明図である。 視差画素データ抽出処理のフローチャートである。 水平方向に平行な直線により、視差画像データを複数のエリアに分割する処理の説明する図である。 視差画素データを抽出する処理について説明する図である。 画素を単純に間引いて、視差画素データを抽出する場合について説明する図である。 基準画像の一例を模式的に表した画像例を示す図である。 画像例に対応するＵマップを示す図である。 Ｕマップに対応するリアルＵマップを示す図である。 Ｕマップの横軸の値からリアルＵマップの横軸の値を求める方法を説明するための図である。 孤立領域検出部で行う孤立領域検出処理の流れを示すフローチャートである。 孤立領域検出部で検出された孤立領域が内接する矩形領域を設定したリアル頻度Ｕマップを示す図である。 矩形領域に対応する走査範囲を設定した視差画像を示す図である。 走査範囲を探索してオブジェクト領域を設定した視差画像を示す図である。 視差画像の対応領域検出部及びオブジェクト領域抽出部で行われる処理の流れを示すフローチャートである。 オブジェクトタイプの分類を行うためのテーブルデータの一例を示す図である。 時間の制限付きの視差画素データ抽出処理のフローチャートである。 各エリアの制限時間を経過したため、各エリアにて視差画素データの抽出を中止する処理について説明する図である。 抽出数の制限付きの視差画素データ抽出処理のフローチャートである。

以下、実施形態に係る画像処理装置を有する移動体機器制御システムについて説明する。

〈車載機器制御システムの構成〉
図１は、本発明の実施形態に係る移動体機器制御システムとしての車載機器制御システムの構成を示す図である。

この車載機器制御システム１は、移動体である自動車などの自車両１００に搭載されており、撮像ユニット１０１、画像解析ユニット１０２、表示モニタ１０３、及び車両走行制御ユニット１０４からなる。そして、撮像ユニット１０１で、移動体の前方を撮像した自車両進行方向前方領域（撮像領域）の撮像画像データから、自車両前方の路面（移動面）の相対的な高さ情報（相対的な傾斜状況を示す情報）を検知し、その検知結果から、自車両前方の走行路面の３次元形状を検出し、その検出結果を利用して移動体や各種車載機器の制御を行う。移動体の制御には、例えば、警告の報知、自車両１００（自移動体）のハンドルの制御、または自車両１００（自移動体）のブレーキが含まれる。

撮像ユニット１０１は、例えば、自車両１００のフロントガラス１０５のルームミラー（図示せず）付近に設置される。撮像ユニット１０１の撮像によって得られる撮像画像データ等の各種データは、画像処理手段としての画像解析ユニット１０２に入力される。画像解析ユニット１０２は、撮像ユニット１０１から送信されてくるデータを解析して、自車両１００が走行している路面部分（自車両の真下に位置する路面部分）に対する自車両前方の走行路面上の各地点における相対的な高さ（位置情報）を検出し、自車両前方の走行路面の３次元形状を把握する。

画像解析ユニット１０２の解析結果は、表示モニタ１０３及び車両走行制御ユニット１０４に送られる。表示モニタ１０３は、撮像ユニット１０１で得られた撮像画像データ及び解析結果を表示する。車両走行制御ユニット１０４は、画像解析ユニット１０２による走行路面の相対傾斜状況の認識結果に基づいて自車両前方の他車両、歩行者、各種障害物などの認識対象物を認識し、その認識結果に基づいて、例えば、自車両１００の運転者へ警告を報知したり、自車両のハンドルやブレーキを制御するなどの走行支援制御を行う。

〈撮像ユニット１０１及び画像解析ユニット１０２の構成〉
図２は、撮像ユニット１０１及び画像解析ユニット１０２の構成を示す図である。

撮像ユニット１０１は、撮像手段としての２つの撮像部１１０ａ，１１０ｂを備えたステレオカメラで構成されており、２つの撮像部１１０ａ，１１０ｂは同一のものである。各撮像部１１０ａ，１１０ｂは、それぞれ、撮像レンズ１１１ａ，１１１ｂと、受光素子が２次元配置された画像センサ１１３ａ，１１３ｂを含んだセンサ基板１１４ａ，１１４ｂと、センサ基板１１４ａ，１１４ｂから出力されるアナログ電気信号（画像センサ１１３ａ，１１３ｂ上の各受光素子が受光した受光量に対応する電気信号）をデジタル電気信号に変換した撮像画像データを生成して出力する信号処理部１１５ａ，１１５ｂとから構成されている。撮像ユニット１０１からは、輝度画像データと視差画像データが出力される。

また、撮像ユニット１０１は、ＦＰＧＡ（Field-Programmable Gate Array）等からなる処理ハードウェア部１２０を備えている。この処理ハードウェア部１２０は、各撮像部１１０ａ，１１０ｂから出力される輝度画像データから視差画像を得るために、各撮像部１１０ａ，１１０ｂでそれぞれ撮像した撮像画像間の対応画像部分の視差値を演算する視差画像情報生成手段としての視差演算部１２１を備えている。

ここでいう視差値とは、各撮像部１１０ａ，１１０ｂでそれぞれ撮像した撮像画像の一方を基準画像、他方を比較画像とし、撮像領域内の同一地点に対応した基準画像上の画像部分に対する比較画像上の画像部分の位置ズレ量を、当該画像部分の視差値として算出したものである。三角測量の原理を利用することで、この視差値から当該画像部分に対応した撮像領域内の当該同一地点までの距離を算出することができる。

図３は、三角測量の原理を利用することで視差値から距離を算出する原理を説明するための図である。図において、ｆは撮像レンズ１１１ａ，１１１ｂのそれぞれの焦点距離であり、Ｄは光軸間の距離である。また、Ｚは撮像レンズ１１１ａ，１１１ｂから被写体３０１までの距離（光軸に平行な方向の距離）である。この図において、被写体３０１上にある点Ｏに対する左右画像での結像位置は、結像中心からの距離がそれぞれΔ１とΔ２となる。このときの視差値ｄは、ｄ＝Δ１＋Δ２と規定することができる。

図２の説明に戻る。画像解析ユニット１０２は、画像処理基板等から構成され、撮像ユニット１０１から出力される輝度画像データ及び視差画像データを記憶するＲＡＭやＲＯＭ等で構成される記憶手段１２２と、識別対象の認識処理や視差計算制御などを行うためのコンピュータプログラムを実行するＣＰＵ（Central Processing Unit）１２３と、データＩ／Ｆ（インタフェース）１２４と、シリアルＩ／Ｆ１２５を備えている。

処理ハードウェア部１２０を構成するＦＰＧＡは、画像データに対してリアルタイム性が要求される処理、例えばガンマ補正、ゆがみ補正（左右の撮像画像の平行化）、ブロックマッチングによる視差演算を行って視差画像の情報を生成し、画像解析ユニット１０２のＲＡＭに書き出す処理などを行う。画像解析ユニット１０２のＣＰＵは、各撮像部１１０Ａ，１１０Ｂの画像センサコントローラの制御および画像処理基板の全体的な制御を担うとともに、路面の３次元形状の検出処理、ガードレールその他の各種オブジェクト（識別対象物）の検出処理などを実行するプログラムをＲＯＭからロードして、ＲＡＭに蓄えられた輝度画像データや視差画像データを入力として各種処理を実行し、その処理結果をデータＩ／Ｆ１２４やシリアルＩ／Ｆ１２５から外部へと出力する。このような処理の実行に際し、データＩ／Ｆ１２４を利用して、自車両１００の車速、加速度（主に自車両前後方向に生じる加速度）、操舵角、ヨーレートなどの車両動作情報を入力し、各種処理のパラメータとして使用することもできる。外部に出力されるデータは、自車両１００の各種機器の制御（ブレーキ制御、車速制御、警告制御など）を行うための入力データとして使用される。

なお、撮像ユニット１０１及び画像解析ユニット１０２は、一体の装置である撮像装置２として構成してもよい。

〈物体検出処理〉
図４は、図２における処理ハードウェア部１２０及び画像解析ユニット１０２で実現される物体検出処理を行う機能ブロック図である。以下、本実施形態における物体検出処理について説明する。

ステレオカメラを構成する２つの撮像部１１０ａ，１１０ｂからは輝度画像データが出力される。このとき、撮像部１１０ａ，１１０ｂがカラーの場合には、そのＲＧＢ信号から輝度信号（Ｙ）を得るカラー輝度変換を、例えば下記の式〔１〕を用いて行う。

Ｙ＝０．３Ｒ＋０．５９Ｇ＋０．１１Ｂ …式〔１〕
《平行化画像生成処理》
輝度画像データに対して、まず、平行化画像生成部１３１で平行化画像生成処理が実行される。この平行化画像生成処理は、撮像部１１０ａ，１１０ｂにおける光学系の歪みや左右の撮像部１１０ａ，１１０ｂの相対的な位置関係から、各撮像部１１０ａ，１１０ｂから出力される輝度画像データ（基準画像と比較画像）を、２つのピンホールカメラが平行に取り付けられたときに得られる理想的な平行化ステレオ画像となるように変換する。これは、各画素での歪み量を、Δｘ＝ｆ（ｘ，ｙ）、Δｙ＝ｇ（ｘ，ｙ）という多項式を用いて計算し、その計算結果を用いて、各撮像部１１０ａ，１１０ｂから出力される輝度画像データ（基準画像と比較画像）の各画素を変換する。多項式は、例えば、ｘ（画像の横方向位置）、ｙ（画像の縦方向位置）に関する５次多項式に基づく。

《視差画像生成処理》
このようにして平行化画像処理を行った後、次に、視差演算部１２１（図２）によって構成される視差画像生成部１３２において、視差画像データ（視差画像情報）を生成する視差画像生成処理を行う。視差画像生成処理では、まず、２つの撮像部１１０ａ，１１０ｂのうちの一方の撮像部１１０ａの輝度画像データを基準画像データとし、他方の撮像部１１０ｂの輝度画像データを比較画像データとし、これらを用いて両者の視差を演算して、視差画像データを生成して出力する。この視差画像データは、基準画像データ上の各画像部分について算出される視差値ｄに応じた画素値をそれぞれの画像部分の画素値として表した視差画像を示すものである。

具体的には、視差画像生成部１３２は、基準画像データのある行について、一つの注目画素を中心とした複数画素（例えば１６画素×１画素）からなるブロックを定義する。一方、比較画像データにおける同じ行において、定義した基準画像データのブロックと同じサイズのブロックを１画素ずつ横ライン方向（ｘ方向）へずらし、基準画像データにおいて定義したブロックの画素値の特徴を示す特徴量と比較画像データにおける各ブロックの画素値の特徴を示す特徴量との相関を示す相関値を、それぞれ算出する。そして、算出した相関値に基づき、比較画像データにおける各ブロックの中で最も基準画像データのブロックと相関があった比較画像データのブロックを選定するマッチング処理を行う。その後、基準画像データのブロックの注目画素と、マッチング処理で選定された比較画像データのブロックの対応画素との位置ズレ量を視差値ｄとして算出する。このような視差値ｄを算出する処理を基準画像データの全域又は特定の一領域について行うことで、視差画像データを得ることができる。

マッチング処理に用いるブロックの特徴量としては、例えば、ブロック内の各画素の値（輝度値）を用いることができ、相関値としては、例えば、基準画像データのブロック内の各画素の値（輝度値）と、これらの画素にそれぞれ対応する比較画像データのブロック内の各画素の値（輝度値）との差分の絶対値の総和を用いることができる。この場合、当該総和が最も小さくなるブロックが最も相関があると言える。

視差画像生成部１３２でのマッチング処理をハードウェア処理によって実現する場合には、例えばＳＳＤ（Sum of Squared Difference）、ＺＳＳＤ（Zero-mean Sum of Squared Difference）、ＳＡＤ（Sum of Absolute Difference）、ＺＳＡＤ（Zero-mean Sum of Absolute Difference）などの方法を用いることができる。なお、マッチング処理では画素単位での視差値しか算出できないので、１画素未満のサブピクセルレベルの視差値が必要な場合には推定値を用いる必要がある。その推定方法としては、例えば、等角直線方式、二次曲線方式等を利用することができる。ただし、このサブピクセルレベルの推定視差値には誤差が発生するので、この推定誤差を減少させるＥＥＣ（推定誤差補正）などを用いてもよい。

《オブジェクトトラッキング》
次に、オブジェクトトラッキング部１３３は、過去の撮像フレームの画像検出処理で検出されたオブジェクト（検出対象物）を追跡する処理を実行する。

詳しく説明すると、本実施形態においては、過去の画像検出処理で検出されたオブジェクトの情報を示すオブジェクトデータリスト１３５が保存される。オブジェクトデータリスト１３５は、図５に示すように、検出したオブジェクトデータの最新情報（最新の位置、大きさ、距離、相対速度、視差情報）に加え、オブジェクト予測データ（次の撮像フレームにおいて当該オブジェクトがどの位置にいるかを推測する情報）、オブジェクトトラッキング部１３３や後述のオブジェクトマッチング部１４８で利用するオブジェクト特徴量、当該オブジェクトがどれだけのフレーム数検出されたか又は連続して検出されなかったかを示す検出／未検出フレーム数、当該オブジェクトが追跡すべき対象かどうかを示す要追跡確度（安定フラグ）などを含む。

オブジェクト選択部１３４は、オブジェクトデータリスト１３５に保存されているオブジェクトについて、当該オブジェクトの存在確度が高いとか（Ｓ＝１）、当該オブジェクトが追跡対象とするのにふさわしい位置にいるか等を判断基準にして、当該オブジェクトを追跡するか否かを選択する。具体的には、オブジェクトデータリスト１３５のオブジェクト予測データに基づいて当該オブジェクトが位置すると予測される視差画像データ中の予測範囲を設定し、その予測範囲内における当該オブジェクトの高さを特定した後、オブジェクトデータリスト１３５のオブジェクト特徴量を参照して、特定した高さから当該オブジェクトの幅を特定し、特定した幅から視差画像データ上におけるオブジェクトの横方向位置を推定する。このようにして推定したオブジェクトの横方向位置が所定の追跡対象条件（当該オブジェクトが画像内に存在する確度が高い位置である場合、当該オブジェクトが追跡対象とするのにふさわしい位置である場合等）を満たせば、当該オブジェクトを追跡対象として選択し、その結果をオブジェクトトラッキング部１３３に出力する。なお、オブジェクト選択部１３４の結果に基づき、オブジェクトデータリスト１３５の情報を更新する。

オブジェクトトラッキング部１３３は、オブジェクト選択部１３４により追跡対象として選択されたオブジェクトについて追跡処理を行う。この追跡処理のため、オブジェクトトラッキング部１３３には、視差画像生成部１３２で生成された視差画像データと、オブジェクト選択部１３４で選択されたオブジェクトデータのオブジェクト予測データ及びオブジェクト特徴量が入力される。

《視差画像補間処理》
視差画像生成処理を行ったら、次に画像解析ユニット１０２によって構成される視差補間部１３６において、視差画像補間処理を行い、補間視差画像を生成する。

視差値ｄは水平方向の位置ズレの度合いなので、撮像画像３１０の水平エッジ部分や輝度変化の少ない部分では視差が計算できないため、車両を一つのオブジェクトとして認識できなくなる。そこで、視差補間部１３６では、例えば、視差画像の２点間の実距離が所定の長さより短く、２点間に他の視差値が存在しない場合などの所定の条件を満たした場合に、２点間を補間する。

《Ｖマップ生成処理》
次にＶマップ生成部１３７において、Ｖマップを生成するＶマップ生成処理を実行する。視差画像データに含まれる各視差画素データは、ｘ方向位置とｙ方向位置と視差値ｄとの組（ｘ，ｙ，ｄ）で示される。これを、Ｘ軸にｄ、Ｙ軸にｙ、Ｚ軸に頻度ｆを設定した三次元座標情報（ｄ，ｙ，ｆ）に変換したもの、又はこの三次元座標情報（ｄ，ｙ，ｆ）から所定の頻度閾値を超える情報に限定した二次元座標情報（ｄ，ｙ，ｆ）を、視差ヒストグラム情報として生成する。本実施形態の視差ヒストグラム情報は、三次元座標情報（ｄ，ｙ，ｆ）からなり、この三次元ヒストグラム情報をＸ−Ｙの２次元座標系に分布させたものを、Ｖマップ（視差ヒストグラムマップ、V-disparity map）と呼ぶ。

具体的に説明すると、Ｖマップ生成部１３７は、画像を上下方向に複数分割して得られる視差画像データの各行領域について、視差値頻度分布を計算する。この視差値頻度分布を示す情報が視差ヒストグラム情報である。

図６は視差画像データ、及びその視差画像データから生成されるＶマップについて説明するための図である。ここで、図６Ａは視差画像の視差値分布の一例を示す図であり、図６Ｂは、図６Ａの視差画像の行毎の視差値頻度分布を示すＶマップを示す図である。

図６Ａに示すような視差値分布をもった視差画像データが入力されたとき、Ｖマップ生成部１３７は、行毎の各視差値のデータの個数の分布である視差値頻度分布を計算し、これを視差ヒストグラム情報として出力する。このようにして得られる各行の視差値頻度分布の情報を、Ｙ軸に視差画像上のｙ方向位置（撮像画像の上下方向位置）をとりＸ軸に視差値をとった二次元直交座標系上に表すことで、図６Ｂに示すようなＶマップを得ることができる。このＶマップは、頻度ｆに応じた画素値をもつ画素が前記二次元直交座標系上に分布した画像として表現することもできる。

図７は、一方の撮像部で撮像された基準画像としての撮影画像の画像例と、その撮影画像に対応するＶマップを示す図である。ここで、図７Ａが撮影画像であり、図７ＢがＶマップである。即ち、図７Ａに示すような撮影画像から図７Ｂに示すＶマップが生成される。Ｖマップでは、路面より下の領域には視差は検出されないので、斜線で示した領域Ａで視差がカウントされることはない。

図７Ａに示す画像例では、自車両が走行している路面４０１と、自車両の前方に存在する先行車両４０２と、路外に存在する電柱４０３が映し出されている。また、図７Ｂに示すＶマップには、画像例に対応して、路面５０１、先行車両５０２、及び電柱５０３がある。

この画像例は、自車両の前方路面が相対的に平坦な路面、即ち、自車両の前方路面が自車両の真下の路面部分と平行な面を自車両前方へ延長して得られる仮想の基準路面（仮想基準移動面）に一致している場合のものである。この場合、画像の下部に対応するＶマップの下部において、高頻度の点は、画像上方へ向かうほど視差値ｄが小さくなるような傾きをもった略直線状に分布する。このような分布を示す画素は、視差画像上の各行においてほぼ同一距離に存在していてかつ最も占有率が高く、しかも画像上方へ向かうほど距離が連続的に遠くなる識別対象物を映し出した画素であると言える。

撮像部１１０ａでは自車両前方領域を撮像するため、その撮像画像の内容は、図７Ａに示すように、画像上方へ向かうほど路面の視差値ｄは小さくなる。また、同じ行（横ライン）内において、路面を映し出す画素はほぼ同じ視差値ｄを持つことになる。従って、Ｖマップ上において上述した略直線状に分布する高頻度の点は、路面（移動面）を映し出す画素が持つ特徴に対応したものである。よって、Ｖマップ上における高頻度の点を直線近似して得られる近似直線上又はその近傍に分布する点の画素は、高い精度で、路面を映し出している画素であると推定することができる。また、各画素に映し出されている路面部分までの距離は、当該近似直線上の対応点の視差値ｄから高精度に求めることができる。

《路面形状検出》
次に、路面形状検出部１３８で行う処理について説明する。路面形状検出部１３８では、Ｖマップ生成部１３７においてＶマップ情報が生成されたら、路面に対応する視差値及びｙ方向位置の組（Ｖマップ要素）が示す特徴、すなわち、撮像画像の上方に向かうほど視差値が低くなるという特徴を示すＶマップ上の高頻度の点を直線近似する処理を行う。なお、路面が平坦な場合には一本の直線で十分な精度で近似可能であるが、車両進行方向において路面の傾斜状況が変化するような路面については、一本の直線で十分な精度の近似は難しい。したがって、本実施形態においては、Ｖマップの情報（Ｖマップ情報）を視差値に応じて２以上の視差値区画に区分けし、各視差値区画についてそれぞれ個別に直線近似を行う。

図８は、路面形状検出部１３８内の機能ブロック図である。本実施形態の路面形状検出部１３８は、Ｖマップ生成部１３７から出力されるＶマップ情報（Ｖマップ情報）を受け取ると、まず、路面候補点検出部１３５ａにおいて、路面に対応するＶマップ要素が示す特徴、即ち、撮像画像の上方に向かうほど視差値が低くなるという特徴を示すＶマップ上の高頻度の点を、路面候補点として検出する。

このとき、本実施形態では、路面候補点検出部１３５ａでの路面候補点検出処理は、Ｖマップの情報（Ｖマップ情報）を視差値に応じて２以上の視差値区画に区分けし、各視差値区画にそれぞれ対応した決定アルゴリズムに従って各視差値区画における路面候補点を決定する。具体的には、例えば、所定の基準距離に対応する視差値を境に、ＶマップをＸ軸方向（横軸方向）に２つの領域、すなわち視差値の大きい領域と小さい領域に区分けし、その領域ごとに異なる路面候補点検出アルゴリズムを用いて路面候補点を検出する。なお、視差値の大きい近距離領域については、後述する第１路面候補点検出処理を行い、視差の小さい遠距離領域については、後述する第２路面候補点検出処理を行う。

ここで、前記のように視差の大きい近距離領域と視差の小さい遠距離領域とで、路面候補点検出処理の方法を変える理由について説明する。図７Ａに示したように、自車両１００の前方を撮像した撮像画像で、近距離の路面部分についてはその路面画像領域の占有面積が大きく、路面に対応する画素数が多いので、Ｖマップ上の頻度が大きい。これに対し、遠距離の路面部分については、その路面画像領域の撮像画像内における占有面積が小さく、路面に対応する画素数が少ないので、Ｖマップ上の頻度が小さい。すなわち、Ｖマップにおいて、路面に対応する点の頻度値は、遠距離では小さく、近距離では大きい。そのため、例えば同じ頻度閾値を用いるなど、両領域について同じ基準で路面候補点を検出しようとすると、近距離領域については路面候補点を適切に検出できるが、遠距離領域については路面候補点が適切に検出できないおそれがあり、遠距離領域の路面検出精度が劣化する。逆に、遠距離領域の路面候補点を十分に検出できるような基準で近距離領域の検出を行うと、近距離領域のノイズ成分が多く検出され、近距離領域の路面検出精度が劣化する。そこで、本実施形態では、Ｖマップを近距離領域と遠距離領域とに区分し、各領域についてそれぞれ適した基準や検出方法を用いて路面候補点を検出することにより、両領域の路面検出精度を高く維持している。

図９は、第１路面候補点検出処理及び第２路面候補点検出処理の検出方法を説明するための図である。

第１路面候補点検出処理では、各視差値ｄについて、所定の検索範囲内でｙ方向位置を変えながら、Ｖマップ情報に含まれる各Ｖマップ要素（ｄ，ｙ，ｆ）の頻度値ｆが第１頻度閾値よりも大きく、かつ、最も頻度値ｆが大きいＶマップ要素を探索し、そのＶマップ要素を当該視差値ｄについての路面候補点として決定する。このときの第１頻度閾値は、低めに設定し、路面に対応するＶマップ要素が抜け落ちないようにするのが好ましい。本実施形態においては、上述したとおり、Ｖマップ生成部１３７において路面に対応するＶマップ要素を抽出していることから、第１頻度閾値を低めに設定しても、路面分に対応しないＶマップ要素が路面候補点として決定される事態は軽減されるからである。

ここで、各視差値ｄについてｙ値を変化させる検索範囲は、上述したＶマップ生成部１３７における抽出範囲、すなわち、基準直線の画像上下方向位置ｙｐを中心にとした画像上下方向へ±δの範囲である。具体的には、「ｙｐ−δｎ」から「ｙｐ＋δｎ」の範囲を探索範囲とする。これにより、探索すべきｙ値の範囲が限定され、高速な路面候補点検出処理を実現できる。

一方、第２路面候補点検出処理は、第１頻度閾値の変わりにこれとは別の第２頻度閾値を用いる点を除いて、前記第１路面候補点検出処理と同じである。すなわち、第２路面候補点検出処理では、各視差値ｄについて、所定の検索範囲内でｙ方向位置を変えながら、Ｖマップ情報に含まれる各Ｖマップ要素（ｄ，ｙ，ｆ）の頻度値ｆが第２頻度閾値よりも大きく、かつ、最も頻度値ｆが大きいＶマップ要素を探索し、そのＶマップ要素を当該視差値ｄについての路面候補点として決定する。

図１０は、路面候補点検出部１３５ａで行う路面候補点検出処理の流れを示すフローチャートである。

入力されるＶマップの情報について、例えば視差値ｄの大きい順に路面候補点の検出を行い、各視差値ｄについての路面候補点（ｙ，ｄ）を検出する。視差値ｄが所定の基準距離に対応する基準視差値よりも大きい場合（ステップＳ８１：YES）、上述した第１路面候補点検出処理を行う。すなわち、当該視差値ｄに応じたｙの探索範囲（「ｙｐ−δｎ」〜「ｙｐ＋δｎ」）を設定し（ステップＳ８２）、この探索範囲内における頻度値ｆが第１頻度閾値よりも大きいＶマップ要素（ｄ，ｙ，ｆ）を抽出する（ステップＳ８３）。そして、抽出したＶマップ要素のうち、最大の頻度値ｆを持つＶマップ要素（ｄ，ｙ，ｆ）を、当該視差値ｄの路面候補点として検出する（ステップＳ８４）。

そして、視差値ｄが基準視差値以下になるまで第１路面候補点検出処理を繰り返し行い（ステップＳ８５）、視差値ｄが基準視差値以下になったら（ステップＳ８１：NO）、今度は、上述した第２路面候補点検出処理で路面候補点検出を行う。すなわち、第２路面候補点検出処理でも当該視差値ｄに応じたｙの探索範囲（「ｙｐ−δｎ」〜「ｙｐ＋δｎ」）を設定し（ステップＳ８６）、この探索範囲内における頻度値ｆが第１頻度閾値よりも大きいＶマップ要素（ｄ，ｙ，ｆ）を抽出する（ステップＳ８７）。そして、抽出したＶマップ要素のうち、最大の頻度値ｆを持つＶマップ要素（ｄ，ｙ，ｆ）を、当該視差値ｄの路面候補点として検出する（ステップＳ８８）。この第２路面候補点検出処理を、視差値ｄがなくなるまで繰り返し行う（ステップＳ８９）。

このようにして路面候補点検出部１３５ａにより各視差値ｄについての路面候補点（抽出処理対象）を検出したら、次に、区分直線近似部１３５ｂにより、これらの路面候補点についてＶマップ上の近似直線を求める直線近似処理を行う。このとき、路面が平坦な場合であれば、Ｖマップの視差値範囲全域にわたって一本の直線で十分な精度の近似が可能であるが、車両進行方向において路面の傾斜状況が変化している場合には、一本の直線で十分な精度の近似が難しい。したがって、本実施形態においては、Ｖマップの情報（Ｖマップ情報）を視差値に応じて２以上の視差値区画に区分けし、各視差値区画についてそれぞれ個別に直線近似処理を行う。

直線近似処理は、最小二乗近似を利用することができるが、より正確に行うにはＲＭＡ（Reduced Major Axis）などの他の近似を用いるのがよい。その理由は、最小二乗近似は、Ｘ軸のデータに誤差がなく、Ｙ軸のデータに誤差が存在するという前提があるときに、正確に計算されるものである。しかしながら、Ｖマップ情報から検出される路面候補点の性質を考えると、Ｖマップ情報に含まれる各Ｖマップ要素のデータは、Ｙ軸のデータｙについては画像上の正確な位置を示していると言えるが、Ｘ軸のデータである視差値ｄについては、誤差を含んでいるものである。また、路面候補点検出処理では、Ｙ軸方向に沿って路面候補点の探索を行い、その最大のｙ値をもつＶマップ要素を路面候補点として検出するものであるため、路面候補点はＹ軸方向の誤差も含んでいる。従って、路面候補点となっているＶマップ要素は、Ｘ軸方向にもＹ軸方向にも誤差を含んでいることになり、最小二乗近似の前提が崩れている。したがって、二変数（ｄとｙ）に互換性のある回帰直線（ＲＭＡ）が有効である。

図１１は、Ｖマップを３つの区間（視差値区画）に区分けした例を示す説明図である。本実施形態においては、Ｖマップ情報を視差値に応じて３つの視差値区画に区分けする。具体的には、視差値が大きい順に、第１区間、第２区間、第３区間に区分けする。このとき、距離を基準にして区間を等しく区分けする場合、Ｖマップ上では遠距離の区間ほど区間（視差値範囲）が狭くなり、直線近似の精度が悪化する。また、視差値を基準にして区間を等しく区分けする場合、今度は、Ｖマップ上において近距離の区間の幅が狭くなる。この場合、第１区間が非常に狭いものとなって、その第１区間はほとんど意味を成さなくなる。

そこで、本実施形態においては、第１区間については予め決められた固定距離に対応する幅をもつように設定とし、第２区間及び第３区間については、一つ前の区間の幅に対応する距離の定数倍（たとえば２倍）の距離に対応する幅をもつように設定するという区分けルールを採用している。このような区分けルールにより、どの区間についても、適度な幅（視差値範囲）を持たせることができる。すなわち、このような区分けルールによって各区間にそれぞれ対応する距離範囲が異なることになるが、各区間の直線近似処理に使用する路面候補点の数が各区間で均一化でき、どの区間でも適切な直線近似処理を行うことができるようになる。

なお、図１１に示した例では、第１区間及び第２区間が重複（オーバーラップ）することなく連続し、第２区間及び第３区間も重複することなく連続するように各区間を区分けしているが、各区間が重複するように区分けしてもよい。例えば、図１２に示すように、第２区間の始点Ｓ２Ｌを第１区間の３：１内分点とし（第２区間の終点Ｅ２は図１１の例と同じ。）、第３区間の始点Ｓ３Ｌを第１区間の終点Ｅ１と第２区間の終点Ｅ２との間の３：１内分点としてもよい（第３区間の終点Ｅ３は図１１の例と同じ。）。

区間に応じて距離範囲を変更したり、区間をオーバーラップさせたりすることで、各区間の直線近似処理に使用する候補点数を均一化して、各区間の直線近似処理の精度を高めることができる。また、区間をオーバーラップさせることにより、各区間の直線近似処理の相関を高めることもできる。

また、上述した区分けルールに従って視差値が大きい順に区間を設定していくと、図１３Ａに示すように、例えば、最終の第４区間が本来の区間幅（視差値範囲）より狭い幅しか設定できない場合がある。このような場合には、図１３Ｂに示すように、最終の第４区間をひとつ前の第３区間と結合して、ひとつの区間（第３区間）として設定してもよい。

図１４は、区分直線近似部１３５ｂで行う区分直線近似処理の流れを示すフローチャートであり、図１５は、当初の区間を示す説明図（図１５Ａ）、及び当初の第１区間を延長した後の区間を示す説明図（図１５Ｂ）である。また、図１６は、当初の区間を示す説明図（図１６Ａ）、及び当初の第２区間を延長した後の区間を示す説明図（図１６Ｂ）である。また、図１７は、得られた各区間の近似直線が区間境界で連続にならない状態を示す説明図（図１７Ａ）、及び各区間の近似直線が区間境界において連続になる修正した例を示す説明図（図１７Ｂ）である。

区分直線近似部１３５ｂは、路面候補点検出部１３５ａから出力される各視差値ｄの路面候補点のデータを受け取ったら、まず、最近距離の第１区間（最も視差値が大きい区間）を設定する（ステップＳ９１）。そして、この第１区間内の各視差値ｄに対応した路面候補点を抽出する（ステップＳ９２）。このとき、抽出された路面候補点の数が所定の値以下である場合（ステップＳ９３：NO）、当該第１区間を所定の視差値分だけ延長する（ステップＳ９４）。具体的には、図１５Ａに示す当初の第１区間と第２区間とを結合して、図１５Ｂに示すように、新たにひとつの第１区間（延長された第１区間）とする。このとき、当初の第３区間は新たな第２区間となる。そして、延長された第１区間内の各視差値ｄに対応した路面候補点を再び抽出し（ステップＳ９２）、抽出された路面候補点の数が所定の値よりも多くなった場合には（ステップＳ９３：YES）、抽出した路面候補点について直線近似処理を行う（ステップＳ９５）。

なお、第１区間ではない区間、例えば第２区間を延長する場合には、図１６Ａに示す当初の第２区間と第３区間とを結合して、図１６Ｂに示すように、新たに一つの第２区間（延長された第２区間）とする。

このようにして直線近似処理を行ったら（ステップＳ９６：NO）、次に、その直線近似処理により得られる近似直線の信頼性判定を行う。この信頼性判定では、最初に、得られた近似直線の傾きと切片が所定の範囲内にあるかどうかを判定する（ステップＳ９７）。この判定で所定の範囲内ではない場合には（ステップＳ９7：NO）、当該第１区間を所定の視差値分だけ延長し（ステップＳ９４）、延長された第１区間について再び直線近似処理を行う（ステップＳ９２〜９５）。そして、所定の範囲内ではあると判定されたら（ステップＳ９７：YES）、その直線近似処理を行った区間が第１区間か否かを判断する（ステップＳ９８）。

このとき、第１区間であると判断された場合には（ステップＳ９８：YES）、その近似直線の相関値が所定の値よりも大きいかどうかを判定する（ステップＳ９９）。この判定において、近似直線の相関値が所定の値よりも大きければ、その近似直線を当該第１区間の近似直線として決定する。近似直線の相関値が所定の値以下であれば、当該第１区間を所定の視差値分だけ延長し（ステップＳ９４）、延長された第１区間について再び直線近似処理を行い（ステップＳ９２〜９５）、再び信頼性判定を行う（ステップＳ９７〜Ｓ９９）。なお、第１区間でない区間については（ステップＳ９８：NO）、近似直線の相関値に関する判定処理（ステップＳ９９）は実施しない。

その後、残りの区間があるか否かを確認し（ステップＳ１００）、もし残りの区間が無ければ（ステップＳ１００：NO）、区分直線近似部１３５ｂは区分直線近似処理を終了する。一方、残りの区間がある場合には（ステップＳ１００：YES）、前区間の幅に対応する距離を定数倍した距離に対応する幅をもった次の区間（第２区間）を設定する（ステップＳ１０１）。そして、この設定後に残っている区間が更に次に設定される区間（第３区間）よりも小さいか否かを判断する（ステップＳ１０２）。この判断において小さくないと判断されたなら（ステップＳ１０２：NO）、当該第２区間内の各視差値ｄに対応した路面候補点を抽出して直線近似処理を行うとともに（ステップＳ９２〜Ｓ９５）、信頼性判定処理を行う（ステップＳ９７〜Ｓ９９）。

このようにして順次区間を設定し、その区間の直線近似処理及び信頼性判定処理を行うという処理を繰り返していくと、いずれ、前記ステップＳ１０２において、設定後に残っている区間が更に次に設定される区間よりも小さいと判断される（ステップＳ１０２：YES）。この場合、設定された区間を延長して当該残っている区間を含めるようにし、これを最後の区間として設定する（ステップＳ１０３）。この場合、この最後の区間内の各視差値ｄに対応した路面候補点を抽出し（ステップＳ９２）、抽出した路面候補点について直線近似処理を行ったら（ステップＳ１５）、ステップＳ９６において最後の区間であると判断されるので（ステップＳ９６：YES）、区分直線近似部１３５ｂは区分直線近似処理を終了する。

このようにして区分直線近似部１３５ｂが各区間の直線近似処理を実行して得た各区間の近似直線は、図１７Ａに示すように、通常、区間境界で連続したものにはならない。そのため、本実施形態では、各区間の近似直線が区間境界において連続になるように、区分直線近似部１３５ｂから出力される近似直線を図１７Ｂに示すように修正する。具体的には、例えば、区間の境界上における両区間の近似直線の端点間の中点を通るように両近似直線を修正する。

《路面高さテーブル算出》
以上のようにして、路面形状検出部１３８においてＶマップ上の近似直線の情報が得られたら、次に、路面高さテーブル算出部１３９において、路面高さ（自車両の真下の路面部分に対する相対的な高さ）を算出してテーブル化する路面高さテーブル算出処理を行う。路面形状検出部１３８により生成されたＶマップ上の近似直線の情報から、撮像画像上の各行領域（画像上下方向の各位置）に映し出されている各路面部分までの距離を算出できる。一方、自車両の真下に位置する路面部分をその面に平行となるように自車両進行方向前方へ延長した仮想平面の自車両進行方向における各面部分が、撮像画像中のどの各行領域に映し出されるかは予め決まっており、この仮想平面（基準路面）はＶマップ上で直線（基準直線）により表される。路面形状検出部１３８から出力される近似直線を基準直線と比較することで、自車両前方の各路面部分の高さを得ることができる。簡易的には、路面形状検出部１３８から出力される近似直線上のＹ軸位置から、これに対応する視差値から求められる距離だけ自車両前方に存在する路面部分の高さを算出できる。路面高さテーブル算出部１３９では、近似直線から得られる各路面部分の高さを、必要な視差範囲についてテーブル化する。

なお、ある視差値ｄにおいてＹ軸位置がｙ'である地点に対応する撮像画像部分に映し出されている物体の路面からの高さは、当該視差値ｄにおける近似直線上のＹ軸位置をｙ０としたとき、（ｙ'−ｙ０）から算出することができる。一般に、Ｖマップ上における座標（ｄ，ｙ'）に対応する物体についての路面からの高さＨは、下記の式〔２〕より算出することができる。ただし、下記の式〔２〕において、「ｚ」は、視差値ｄから計算される距離（ｚ＝ＢＦ／（ｄ−ｏｆｆｓｅｔ））であり、「ｆ」はカメラの焦点距離を（ｙ'−ｙ０）の単位と同じ単位に変換した値である。ここで、「ＢＦ」は、ステレオカメラの基線長と焦点距離を乗じた値であり、「ｏｆｆｓｅｔ」は無限遠の物体を撮影したときの視差値である。

Ｈ＝ｚ×（ｙ'−ｙ０）／ｆ …式〔２〕
《視差画素データ抽出》
次に、視差画素データ抽出部１４０について説明する。

視差画素データ抽出部１４０は、視差画像生成部１３２によって生成された視差画像データを取得し、視差画像データに含まれる各視差画素データにおけるｘ方向位置とｙ方向位置と視差値ｄとの組（ｘ，ｙ，ｄ）を、視差画像の各エリアから、各エリアに応じた割合で抽出する。視差画素データ抽出部１４０は、例えば、視差画像を水平方向に区切られた各エリアについて、鉛直方向（垂直方向、上下方向）で一番下のエリア、鉛直方向で一番上のエリア、中心に近いエリアの順に、画素値を抽出する割合を大きくする。

次に、図１８を参照し、視差画素データ抽出部１４０の処理の一例について説明する。図１８は、視差画素データ抽出部１４０の視差画素データ抽出処理のフローチャートである。

視差画素データ抽出部１４０は、視差画像データを、鉛直方向の所定の各位置で、水平方向（視差画像のＸ軸）に並行な直線により複数のエリアに分割する（ステップＳ１０１）。

分割された各エリア毎の抽出割合の重みに応じた割合で、各エリアの視差画素データを抽出する（ステップＳ１０２）。

抽出した視差画素データを、Ｕマップ生成部１４１及びリアルＵマップ生成部１４２に出力する（ステップＳ１０３）。

次に、図１９を参照して、図１８のステップＳ１０１の、視差画像データを複数のエリアに分割する処理について説明する。

図１９は、水平方向に平行な直線により、視差画像データを複数のエリアに分割する処理を説明する図である。なお、図１９では、一例として５つのエリア（以降、適宜、上から順にエリア５１１〜エリア５１５と称する）に等間隔に分割しているが、分割する数はいくつでも良い。また、各エリアの間隔は等間隔でなくとも良い。

次に、図２０を参照して、図１８のステップＳ１０２の、視差画素データを抽出する処理について説明する。

図２０の例では、一番上のエリア５１１（「第２のエリア」の一例）は、抽出割合の重みが例えば「低」（「第２の割合」の一例）と設定されており、エリア５１１に含まれる視差画素データは低い割合で抽出する。それにより、トラックなどの背の高い物体を除いて、あまり利用されないエリアの視差画素データを抽出する処理を少なくすることができる。

エリア５１２は、抽出割合の重みが例えば「中」と設定されており、エリア５１２に含まれる視差画素データは中程度の割合で抽出する。それにより、遠方の車や人、背の高いトラック等の検出に利用可能であるが、距離が遠方の物体であるため、車載カメラの性質上、検出の優先度が低いエリアの視差画素データを抽出する処理を少なくすることができる。

エリア５１３、５１４（「第１のエリア」の一例）は、抽出割合の重みが例えば「高」（「第１の割合」の一例）と設定されており、エリア５１３、５１４に含まれる視差画素データは高い割合で抽出する。それにより、重要な検出対象である車や人等の出現頻度が高いエリアの視差画素データを多く抽出することにより、重要な検出対象の測定の精度を確保することができる。

一番下のエリア５１５（「第３のエリア」の一例）は、抽出割合の重みが例えば「なし」（「第３の割合」の一例）と設定されており、エリア５１５に含まれる視差画素データは抽出しない。それにより、路面の視差画素データを抽出する処理を省くことができる。

視差画素データ抽出部１４０は、視差画像データの画素数が、例えば、１２８０×８００画素の場合は、各エリアの全画素に対し、抽出割合の重みが「低」、「中」、「高」の場合、例えば、それぞれ、１／１００、１／５０、１／３程度の画素から、画素値（視差画素データ）を抽出する。

次に、図２１を参照して、上述した実施形態の効果を説明するために、視差画素データを抽出する画素を単純に間引いた場合について説明する。図２１は、画素を単純に間引いて、視差画素データを抽出する場合について説明する図である。

図２１の例では、等間隔で、視差画素データを抽出する画素を間引いている。この場合、各画素の視差画素データを抽出する処理は少なくなる。しかし、重要な検出対象の視差画素データが抽出される回数も少なくなるため、上述した実施形態と比較すると、測定の精度が低くなる。

実施形態では、予め、検出対象が含まれた大量のステレオ画像群を用いて、検出対象物体（車、人、あるいは、それらに近似する物体）の出現する位置の傾向や、対象物体の検出結果に効く視差画素の傾向を推定しておく。そしてその推定に基づいて、各エリアから視差画素データを抽出する割合を設定しておく。

例えば、車載のステレオカメラが、視差画像の中心が消失点となるように、車内に設置されているとする。その場合、実験結果から、検出対象である車や人等は、視差画像中の中央からやや下方に出現する頻度が、他の領域の頻度に比べて非常に高い傾向がある。

この傾向に応じて、重要な視差画素データを高い割合で抽出することにより、高速に検出対象の物体を認識することができる。

《Ｕマップ生成》
次に、Ｕマップ生成部１４１について説明する。

Ｕマップ生成部１４１では、Ｕマップ（U-disparity map。「物体の視差の分布を示すデータ」の一例）を生成するＵマップ生成処理として、頻度Ｕマップ生成処理及び高さＵマップ生成処理を実行する。

頻度Ｕマップ生成処理では、視差画素データ抽出部１４０により抽出された、視差画像データに含まれる各視差画素データにおけるｘ方向位置とｙ方向位置と視差値ｄとの組（ｘ，ｙ，ｄ）を、Ｘ軸にｘ、Ｙ軸にｄ、Ｚ軸に頻度を設定し、Ｘ−Ｙの２次元ヒストグラム情報を作成する。これを頻度Ｕマップと呼ぶ。本実施形態のＵマップ生成部１４１では、路面高さテーブル算出部１３９によってテーブル化された各路面部分の高さに基づいて、路面からの高さＨが所定の高さ範囲（たとえば２０ｃｍから３ｍ）にある視差画像の点（ｘ，ｙ，ｄ）についてだけ頻度Ｕマップを作成する。この場合、路面から当該所定の高さ範囲に存在する物体を適切に抽出することができる。

また、高さＵマップ生成処理では、視差画素データ抽出部１４０により抽出された、視差画像データに含まれる各視差画素データにおけるｘ方向位置とｙ方向位置と視差値ｄとの組（ｘ，ｙ，ｄ）を、Ｘ軸にｘ、Ｙ軸にｄ、Ｚ軸に路面からの高さを設定して、Ｘ−Ｙの２次元ヒストグラム情報を作成する。これを高さＵマップと呼ぶ。このときの高さの値は路面からの高さが最高のものである。

図２２は、撮像部１１０ａで撮像される基準画像の一例を模式的に表した画像例であり、図２３は、図２２の画像例に対応するＵマップである。ここで、図２３Ａは頻度Ｕマップであり、図２３Ｂは高さＵマップである。

図２２に示す画像例では、路面の左右両側にガードレール４１３，４１４が存在し、他車両としては、先行車両４１１と対向車両４１２がそれぞれ１台ずつ存在する。このとき、頻度Ｕマップにおいては、図２３Ａに示すように、左右のガードレール４１３，４１４に対応する高頻度の点は、左右両端側から中央に向かって上方へ延びるような略直線状６０３，６０４に分布する。一方、先行車両４１１と対向車両４１２に対応する高頻度の点は、左右のガードレールの間で、略Ｘ軸方向に平行に延びる線分の状態６０１，６０２で分布する。なお、先行車両４１１の背面部分又は対向車両４１２の前面部分以外に、これらの車両の側面部分が映し出されているような状況にあっては、同じ他車両を映し出している画像領域内において視差が生じる。このような場合、図２３Ａに示すように、他車両に対応する高頻度の点は、略Ｘ軸方向に平行に延びる線分と略Ｘ軸方向に対して傾斜した線分とが連結した状態の分布を示す。

また、高さＵマップにおいては、左右のガードレール４１３，４１４、先行車両４１１、及び対向車両４１２における路面からの高さが最高の点が頻度Ｕマップと同様に分布する。ここで、先行車両に対応する点の分布７０１及び対向車両に対応する点の分布７０２の高さはガードレールに対応する点の分布７０３，７０４よりも高くなる。これにより、高さＵマップにおける物体の高さ情報を物体検出に利用することができる。

《リアルＵマップ生成》
次に、リアルＵマップ生成部１４２について説明する。リアルＵマップ生成部１４２では、リアルＵマップ（Real U-disparity map。「物体の視差の分布を示すデータ」の一例）を生成するＵマップ生成処理として、リアル頻度Ｕマップ生成処理及びリアル高さＵマップ生成処理を実行する。

リアルＵマップは、Ｕマップにおける横軸を画像の画素単位から実際の距離に変換し、縦軸の視差値を距離に応じた間引き率を有する間引き視差に変換したものである。

リアルＵマップ生成部１４２は、リアル頻度Ｕマップ生成処理において、視差画素データ抽出部１４０により抽出された、視差画像データに含まれる各視差画素データにおけるｘ方向位置とｙ方向位置と視差値ｄとの組（ｘ，ｙ，ｄ）を、Ｘ軸に水平方向の実際の距離、Ｙ軸に間引き視差、Ｚ軸に頻度を設定して、Ｘ−Ｙの２次元ヒストグラム情報を作成する。なお、本実施形態のリアルＵマップ生成部１４２は、Ｕマップ生成部１４１と同様に、路面高さテーブル算出部１３９によってテーブル化された各路面部分の高さに基づいて、路面からの高さＨが所定の高さ範囲にある視差画像の点（ｘ，ｙ，ｄ）についてだけリアル頻度Ｕマップを作成する。なお、リアルＵマップ生成部１４２は、Ｕマップ生成部１４１が生成したＵマップに基づいて、リアルＵマップを生成する構成としてもよい。

図２４は、図２３Ａに示す頻度Ｕマップに対応するリアルＵマップ（以下、リアル頻度Ｕマップ）を示す図である。図示のように、左右のガードレールは垂直の線状のパターン８０３，８０４で表され、先行車両、対向車両も実際の形に近いパターン８０１、８０２で表される。

縦軸の間引き視差は、遠距離（ここでは５０ｍ以上）については間引きなし、中距離（２０ｍ以上、５０ｍ未満）については１／２に間引き、近距離（１０ｍ以上、２０ｍ未満）については１／３に間引き、近距離（１０ｍ以上、２０ｍ未満）については１／８に間引いたものである。

つまり、遠方ほど、間引く量を少なくしている。その理由は、遠方では物体が小さく写るため、視差データが少なく、距離分解能も小さいので間引きを少なくし、逆に近距離では、物体が大きく写るため、視差データが多く、距離分解能も大きいので間引きを多くする。

横軸を画像の画素単位から実際の距離へ変換する方法、Ｕマップの（ｘ，ｄ）からリアルＵマップの（Ｘ，ｄ）を求める方法の一例について図２５を用いて説明する。

カメラから見て左右１０ｍずつ、即ち２０ｍの幅をオブジェクト検出範囲として設定する。リアルＵマップの横方向１画素の幅を１０ｃｍとすると、リアルＵマップの横方向サイズは２００画素となる。

カメラの焦点距離をｆ、カメラ中心からのセンサの横方向の位置をｐ、カメラから被写体までの距離をＺ、カメラ中心から被写体までの横方向の位置をＸとする。センサの画素サイズをｓとすると、ｘとｐの関係は「ｘ＝ｐ／ｓ」で表される。また、ステレオカメラの特性から、「Ｚ＝Ｂｆ／ｄ」の関係がある。

また、図より、「ｘ＝ｐ＊Ｚ／ｆ」の関係があるから、「Ｘ＝ｓｘＢ／ｄ」で表すことができる。Ｘは実距離であるが、リアルＵマップ上での横方向１画素の幅が１０ｃｍあるので、容易にＸのリアルＵマップ上での位置を計算することができる。

図２３Ｂに示す高さＵマップに対応するリアルＵマップ（以下、リアル高さＵマップ）も同様の手順で作成することができる。

リアルＵマップには、縦横の高さをＵマップより小さくできるので処理が高速になるというメリットがある。また、横方向が距離に非依存になるため、遠方、近傍いずれでも同じ物体は同じ幅で検出することが可能になり、後段の周辺領域除去や、横分離、縦分離への処理分岐の判定（幅の閾値処理）が簡単になるというメリットもある。

Ｕマップの高さは、最短距離を何メートルにするかで決定される。つまり、「ｄ＝Ｂｆ／Ｚ」であるから、ｄの最大値は決定される。視差値ｄはステレオ画像を扱うため、通常画素単位で計算されるが、少数を含むため、視差値に例えば３２を乗じて小数部分を四捨五入して整数化した視差値を使用する。

例えば、４ｍを最短距離にして、画素単位の視差値が３０であるステレオカメラの場合、Ｕマップの高さの最大値は３０×３２で９６０となる。また、２ｍを最短距離にして、画素単位の視差値が６０であるステレオカメラの場合、６０×３２で１９２０となる。

Ｚが１／２になると、ｄは２倍になるので，それだけＵマップの高さ方向のデータは巨大となる。そこで、リアルＵマップを作成するときには、近距離ほど間引いてその高さを圧縮する。

上記のカメラの場合、５０ｍでは視差値が２．４画素、２０ｍで視差値が６画素、８ｍで視差値が１５画素、２ｍで６０画素となる。従って、５０ｍ以上では視差値は間引きなし、２０ｍ以上５０ｍ未満では１／２間引き、８ｍ以上２０ｍ未満では１／３間引き、８ｍ未満では１／１５間引きというように近距離になるほど大きな間引きをする。

この場合、無限遠から５０ｍまでは、高さが２．４×３２＝７７、５０ｍから２０ｍまでは高さが（６−２．４）×３２／２＝５８、２０ｍから８ｍまでは高さが（１５−６）×３２／３＝９６、８ｍ未満では高さが（６０−１５）×３２／１５＝９６となる。この結果、リアルＵマップの総高さは７７＋５８＋９６＋９６＝３２７となり，Ｕマップの高さよりかなり小さくなるから、ラベリングによるオブジェクト検出を高速に行うことができる。

《孤立領域検出》
次に、孤立領域検出部１４３について説明する。図２６は、孤立領域検出部１４３で行う孤立領域検出処理の流れを示すフローチャートである。孤立領域検出部１４３では、まずリアルＵマップ生成部１４２で生成された頻度リアルＵマップの情報の平滑化を行う（ステップＳ１１１）。

これは、頻度値を平均化することで、有効な孤立領域を検出しやすくするためである。即ち、視差値には計算誤差等もあって分散があり、かつ、視差値がすべての画素について計算されているわけではないので、リアルＵマップは図２４に示した模式図とは異なり、ノイズを含んでいる。そこで、ノイズを除去するためと、検出したいオブジェクトを分離しやすくするため、リアルＵマップを平滑化する。これは画像の平滑化と同様に、平滑化フィルタ(例えば３×３画素の単純平均)をリアルＵマップの頻度値（頻度リアルＵマップ）に対して適用することで、ノイズと考えられるような頻度は減少し、オブジェクトの部分では頻度が周囲より高い、まとまったグループとなり、後段の孤立領域検出処理を容易にする効果がある。

次に、二値化の閾値を設定する（ステップＳ１１２）。最初は小さい値（＝０）を用いて、平滑化されたリアルＵマップの二値化を行う（ステップＳ１１３）。その後、値のある座標のラベリングを行って、孤立領域を検出する（ステップＳ１１４）。

この二つのステップでは、リアル頻度Ｕマップで頻度が周囲より高い孤立領域(島と呼ぶことにする)を検出する。検出には、リアル頻度Ｕマップをまず二値化する（ステップＳ１１３）。最初は閾値０で二値化を行う。これは、オブジェクトの高さや、その形状、路面視差との分離などがあるため、島は孤立しているものもあれば他の島と連結しているものもあることの対策である。即ち、小さい閾値からリアル頻度Ｕマップを二値化することで最初は孤立した適切な大きさの島を検出し、その後、閾値を増加させていくことで連結している島を分離し、孤立した適切な大きさの島として検出することを可能にしたものである。

二値化後の島を検出する方法はラベリングを用いる（ステップＳ１１４）。二値化後の黒である座標(頻度値が二値化閾値より高い座標)をその連結性に基づいてラベリングして、同一ラベルが付いた領域を島とする。

検出された複数の孤立領域についてそれぞれ大きさの判定を行う（ステップＳ１１５）。これは、検出対象が歩行者から大型自動車であるため、孤立領域の幅がそのサイズの範囲であるか否かを判定するのである。もし、その大きさが大きければ（ステップＳ１１５：YES）、二値化閾値を１だけインクリメントして（ステップＳ１１２）、リアル頻度Ｕマップの当該孤立領域内だけ二値化を行う（ステップＳ１１３）。そしてラベリングを行い、より小さな孤立領域を検出して（ステップＳ１１４）、その大きさを判定する（ステップＳ１１５）。

上記の閾値設定からラベリングの処理を繰り返し行い、所望の大きさの孤立領域を検出するのである。所望の大きさの孤立領域が検出できたなら（ステップＳ１１５：NO）、次に周辺領域除去を行う（ステップＳ１１６）。これは、遠方にある物体で、路面検出の精度が悪く、路面の視差がリアルＵマップ内に導入され、物体と路面の視差が一塊になって検出された場合のその左右、近傍の高さが路面に近い部分の領域（孤立領域内の周辺部分）を削除する処理である。除去領域が存在する場合は（ステップＳ１１７：YES）、もう一度ラベリングを行って孤立領域の再設定を行う（ステップＳ１１４）。

除去領域がなくなったら（ステップＳ１１７：NO）、周辺領域除去を行った孤立領域の大きさ(幅と高さ、距離)を判定し（ステップＳ１１８）、その結果に応じて、横方向分離（ステップＳ１１９）又は縦方向分離（ステップＳ１２０）又は何もしないでオブジェクト候補として登録する。横方向分離又は縦方向分離を行った場合は（ステップＳ１２１：YES、ステップＳ１２２：YES）、もう一度ラベリングを行って孤立領域の再設定を行う（ステップＳ１１４）。

物体同士が横に並んで近接している(自動車とバイク、自動車と歩行者、自動車同士など)場合、リアル頻度Ｕマップの平滑化が原因で一つの孤立領域として検出されることがある。或いは視差画像の視差補間の悪影響で異なる物体同士の視差がつながってしまうことがある。横方向分離はこのようなケースを検出して分離する処理である（詳細については後述）。

また、複数の先行車両が隣の車線を走行しているときに、それらが遠方にいる場合、ステレオ画像から得られる視差の分散が大きい場合、リアル頻度Ｕマップ上では物体それぞれの視差値が上下に伸び、連結してしまうことがある。このため、これを一つの孤立領域として検出してしまう場合がある。縦方向分離はこのようなケースを検出して、手前を走る先行車両とその向こうを走る先行車両とに分離する処理である（詳細については後述）。

《視差画像の対応領域検出、及びオブジェクト領域抽出》
次に、視差画像の対応領域検出部１４４及びオブジェクト領域抽出部１４５について説明する。図２７は、孤立領域検出部で検出された孤立領域が内接する矩形領域を設定したリアル頻度Ｕマップを示す図であり、図２８は、図２７における矩形領域に対応する走査範囲を設定した視差画像を示す図であり、図２９は、図２８における走査範囲を探索してオブジェクト領域を設定した視差画像を示す図である。

孤立領域検出部１４３によりオブジェクト候補領域として決定された孤立領域について、図２７に示すように、当該孤立領域としての第１車両８０１、第２車両８０２が内接する矩形領域として第１検出島８１１及び第２検出島８１２を設定したとき、この矩形領域の幅（Ｕマップ上のＸ軸方向長さ）は、当該孤立領域に対応する識別対象物（オブジェクト）の幅に対応する。また、設定した矩形領域の高さは、当該孤立領域に対応する識別対象物（オブジェクト）の奥行き（自車両進行方向長さ）に対応している。一方で、各孤立領域に対応する識別対象物（オブジェクト）の高さについては、この段階では不明である。視差画像の対応領域検出部１４４は、オブジェクト候補領域に係る孤立領域に対応したオブジェクトの高さを得るために、当該孤立領域に対応する視差画像上の対応領域を検出する。

視差画像の対応領域検出部１４４は、孤立領域検出部１４３から出力される孤立領域の情報に基づき、リアルＵマップから検出した第１検出島８１１及び第２検出島８１２島の位置、幅と最小視差から、図２８に示す視差画像で検出すべき範囲である第１検出島対応領域走査範囲４８１及び第２検出島対応領域走査範囲４８２のｘ方向範囲（ｘmin，ｘmax)を決定できる。また、視差画像においてオブジェクトの高さと位置(ｙmin="最大視差ｄmaxの時の路面からの最大高さに相当するｙ座標"からｙmax="最大視差ｄmaxから得られる路面の高さを示すｙ"まで)を決定できる。

次に、オブジェクトの正確な位置を検出するため、設定した走査範囲を走査し、孤立領域検出部１４３で検出した矩形の奥行き(最小視差ｄmin,最大視差ｄmax)の範囲の値を視差にもつ画素を候補画素として抽出する。そして、抽出した候補画素群の中で検出幅に対して横方向に所定の割合以上あるラインを候補ラインとする。

次に、縦方向に走査して、ある注目しているオブジェクト候補ラインの周囲に他のオブジェクト候補ラインが所定の密度以上ある場合には，その注目しているオブジェクト候補ラインをオブジェクトラインとして判定する。

次に、オブジェクト領域抽出部１４５は、視差画像の探索領域でオブジェクトラインを探索して、オブジェクトラインの最下端、最上端を決定し、図２９に示すように、オブジェクトライン群の外接矩形４６１，４６２を視差画像におけるオブジェクト（第１車両、第２車両）の領域４５１，４５２として決定する。

図３０は、視差画像の対応領域検出部１４４及びオブジェクト領域抽出部１４５で行われる処理の流れを示すフローチャートである。まずリアルＵマップにおける島の位置、幅と最小視差から、視差画像に対するｘ軸方向の探索範囲を設定する（ステップＳ１６１）。

次に島の最大視差ｄmaxと路面高さの関係から、視差画像に対するｙ軸方向の最大探索値ｙmaxを設定する（ステップＳ１６２）。次にリアル高さＵマップにおける島の最大高さ、及びステップＳ１７２で設定したymaxとdmaxとから、視差画像に対するｙ軸方向の最小探索値ｙminを求めて設定することで、視差画像に対するｙ軸方向の探索範囲を設定する（ステップＳ１６３）。

次いで設定した探索範囲で視差画像を探索して、島の最小視差ｄmin，最大視差ｄmaxの範囲内にある画素を抽出し、オブジェクト候補画素とする（ステップＳ１６４）。そのオブジェクト候補画素が横方向に一定以上の割合にあるとき、そのラインをオブジェクト候補ラインとして抽出する（ステップＳ１６５）。

オブジェクト候補ラインの密度を計算して、密度が所定の値より大きい場合はそのラインをオブジェクトラインと決定する（ステップＳ１６６）。最後にオブジェクトライン群の外接矩形を視差画像内のオブジェクト領域として検出する（ステップＳ１６７）。

《オブジェクトタイプ分類》
次に、オブジェクトタイプ分類部１４６について説明する。

前記オブジェクト領域抽出部１４５で抽出されるオブジェクト領域の高さ（ｙomax−ｙomin）から、下記の式〔５〕より、そのオブジェクト領域に対応する画像領域に映し出されている識別対象物（オブジェクト）の実際の高さＨｏを計算できる。ただし、「ｚo」は、当該オブジェクト領域内の最小視差値ｄから計算される当該オブジェクト領域に対応するオブジェクトと自車両との距離であり、「ｆ」はカメラの焦点距離を（ｙomax−ｙomin）の単位と同じ単位に変換した値である。

Ｈo＝ｚo×（ｙomax−ｙomin）／ｆ …式〔５〕
同様に、オブジェクト領域抽出部１４５で抽出されるオブジェクト領域の幅（ｘomax−ｘomin）から、下記の式〔６〕より、そのオブジェクト領域に対応する画像領域に映し出されている識別対象物（オブジェクト）の実際の幅Ｗoを計算できる。

Ｗo＝ｚo×（ｘomax−ｘomin）／ｆ …式〔６〕
また、当該オブジェクト領域に対応する画像領域に映し出されている識別対象物（オブジェクト）の奥行きＤoは、当該オブジェクト領域に対応した孤立領域内の最大視差ｄmaxと最小視差ｄminから、下記の式〔７〕より計算することができる。

Ｄo＝ＢＦ×｛（１／（ｄmin−offset）−１／（ｄmax−offset）｝ …式〔７〕
オブジェクトタイプ分類部１４６は、このようにして計算できるオブジェクト領域に対応するオブジェクトの高さ、幅、奥行きの情報から、そのオブジェクトタイプの分類を行う。図３１に示す表は、オブジェクトタイプの分類を行うためのテーブルデータの一例を示すものである。これによれば、自車両前方に存在する識別対象物（オブジェクト）が、歩行者なのか、自転車なのか、小型車なのか、トラックなどか等を区別して認識することが可能となる。

《３次元位置決定》
次に、３次元位置決定部１４７について説明する。検出されたオブジェクト領域に対応するオブジェクトまでの距離や、視差画像の画像中心と視差画像上のオブジェクト領域の中心との画像上の距離も把握されることから、オブジェクトの３次元位置を決定することができる。

視差画像上のオブジェクト領域の中心座標を（region_centerＸ，region_centerＹ）とし、視差画像の画像中心座標を（image_centerＸ，image_centerＹ）としたとき、識別対象物（オブジェクト）の撮像部１１０ａ，１１０ｂに対する相対的な横方向位置および高さ方向位置は、下記の式〔８〕及び式〔９〕より計算できる。

Ｘo＝Ｚ×（region_centerＸ−image_centerＸ）／ｆ …式〔８〕
Ｙo＝Ｚ×（region_centerＹ−image_centerＹ）／ｆ …式〔９〕
《オブジェクトマッチング》
次に、オブジェクトマッチング部１４８について説明する。オブジェクトマッチング部１４８では、ある１つの撮像フレームで撮像された撮像画像から検出された各オブジェクト領域について、オブジェクトデータリスト１３５内のＳ＝０であるデータリストと比較マッチングを実行する。この比較マッチングによりマッチングしたオブジェクト領域については、オブジェクトデータリスト１３５内のマッチングしたオブジェクト、すなわち、過去（例えば直前の撮像フレーム）に検出されたオブジェクトと同一のものであるとして、"Ｍａｔｃｈｅｄ"に分類される。一方、オブジェクトデータリスト１３５内のオブジェクトとはマッチングされなかったオブジェクト領域については、新規に検出されたオブジェクトとして、"ＮｅｗＯｂｊｅｃｔ"に分類される。"ＮｅｗＯｂｊｅｃｔ"に分類されたオブジェクト領域についての各種情報は、新たに、オブジェクトデータリスト１３５内に追加される。

このようにして比較マッチングを実行した後、マッチングされなかったオブジェクトデータリスト１３５内のオブジェクトについては、"Ｍｉｓｓｉｎｇ"に分類される。"Ｍｉｓｓｉｎｇ"に分類されたオブジェクトは、未検出フレーム数がカウントアップされ、未検出フレーム数が規定値に達したオブジェクトについては、オブジェクトデータリスト１３５内から消去される。

＜変形例＞
視差画素データ抽出部１４０は、エリア毎に、抽出する時間に制限を設けた構成としてもよい。その場合、以下のような処理を行う構成としてもよい。

図３２は、視差画素データ抽出部１４０による、時間の制限付きの視差画素データ抽出処理のフローチャートである。

視差画素データ抽出部１４０は、先頭のエリアを選択する（ステップＳ２０１）。

選択したエリアに応じた抽出割合にて、視差画素データ（画素値）を順次抽出し（ステップＳ２０２）、Ｕマップ生成部１４１やリアルＵマップ生成部１４２に出力する（ステップＳ２０３）。

当該エリアからの視差画素データの抽出を開始してからの経過時間が、当該エリアに応じた制限時間以上となったか否かを判断する（ステップＳ２０４）。

制限時間以上となっていない場合（ステップＳ２０４でＮＯ）、ステップＳ２０２の処理に戻る。

制限時間以上となった場合（ステップＳ２０４でＹＥＳ）、未選択のエリアがあるか判断する（ステップＳ２０５）。

未選択のエリアがなければ（ステップＳ２０５でＮＯ）、処理を終了する。

未選択のエリアがあれば（ステップＳ２０５でＹＥＳ）、未選択のエリアを選択し（ステップＳ２０６）、ステップＳ２０２の処理に戻る。

図３３は、各エリアの制限時間を経過したため、各エリアにて視差画素データの抽出を中止する処理について説明する図である。視差画素データ抽出部１４０は、エリア毎の抽出割合にて視差画素データを抽出し、各エリアの制限時間を超過すると、当該エリアにおける視差画素データの抽出を中止する。それにより、所定の精度を維持しつつ、制限時間内に処理を終えることができる。

視差画素データ抽出部１４０は、エリア毎に、抽出する視差画素データの数に制限を設けた構成としてもよい。その場合、以下のような処理を行う構成としてもよい。

図３４は、視差画素データ抽出部１４０による、抽出数の制限付きの視差画素データ抽出処理のフローチャートである。

視差画素データ抽出部１４０は、先頭のエリアを選択する（ステップＳ３０１）。なお、その際、当該エリアの抽出数のカウンタを例えば０に初期化しておく。

選択したエリアに応じた抽出割合にて、視差画素データ（画素値）を順次抽出する（ステップＳ３０２）。

抽出した視差画素データの値が所定値（例えば０）以上であるか判断する（ステップＳ３０３）。

所定値以上であれば（ステップＳ３０３でＹＥＳ）、ステップＳ３０２の処理に戻る。

所定値以上でなければ（ステップＳでＮＯ）、Ｕマップ生成部やリアルＵマップ生成部に出力し（ステップＳ３０４）、当該エリアの抽出回数のカウンタを１増加させる（ステップＳ３０５）。

当該エリアの抽出数のカウンタが、当該エリアに応じた所定の回数以上であるか判断する（ステップＳ３０６）。

所定の閾値以上でない場合（ステップＳ３０６でＮＯ）、ステップＳ３０２の処理に戻る。

所定の閾値以上である場合（ステップＳ３０６でＹＥＳ）、視差画素データを抽出していない未選択のエリアがあるか判断する（ステップＳ３０７）。

未選択のエリアがなければ（ステップＳ３０７でＮＯ）、処理を終了する。

未選択のエリアがあれば（ステップＳ３０７でＹＥＳ）、未選択のエリアを選択し（ステップＳ３０８）、ステップＳ３０２の処理に戻る。なお、その際、当該エリアの抽出数のカウンタを例えば０に初期化しておく。

視差画素データ抽出部１４０は、エリア毎の抽出割合で視差画素データを抽出する代わりに、画素毎の抽出割合に応じて視差画素データを抽出する構成としてもよい。その場合、例えば、視差画素データ抽出部１４０は、画素毎に、抽出した視差画素データの値が所定値（例えば０）以上でなかった回数と、所定値以上であった回数を記録しておく。抽出した視差画素データの値が所定値以上でなかった回数を全抽出回数で除算した値を、各画素の抽出割合とし、各画素の抽出割合に応じた割合で、各画素の画素値である視差画素データを抽出する。

視差画素データ抽出部１４０は、鉛直方向（垂直方向）及び水平方向の両方、またはいずれか一方で区切られたエリア毎に、画素値を抽出する割合を変える構成としてもよい。その場合、視差画素データ抽出部１４０は、例えば、自車両１００の両サイド付近にある障害物や子供等を重要な検出対象とする場合、右下や左下等の、当該重要な検出対象が撮像され易いエリアについて、画素値を抽出する割合を比較的大きくする構成としてもよい。 なお、視差画素データ抽出部１４０を用いて生成する物体の視差の分布を示すデータは、例えば、視差に応じた軸と、視差画像の水平方向に応じた軸の２次元のヒストグラム情報であってもよい。上述したＵマップ、及びリアルＵマップは、そのようなデータの一例である。

上述した実施形態におけるシステム構成は一例であり、用途や目的に応じて様々なシステム構成例があることは言うまでもない。

例えば、処理ハードウェア部１２０及び画像解析ユニット１０２の各機能部は、ハードウェアによって実現される構成としてもよいし、ＣＰＵが記憶装置に格納されたプログラムを実行することによって実現される構成としてもよい。このプログラムは、インストール可能な形式又は実行可能な形式のファイルによって、コンピュータで読み取り可能な記録メディアに記録されて流通されるようにしても良い。また、上記記録メディアの例として、ＣＤ−Ｒ(Compact Disc Recordable)、ＤＶＤ(Digital Versatile Disk)、ブルーレイディスク等が挙げられる。また、各プログラムが記憶されたＣＤ−ＲＯＭ等の記録メディア、並びに、これらプログラムが記憶されたＨＤ５０４は、プログラム製品(Program Product)として、国内又は国外へ提供されることができる。

１ 車載機器制御システム（「機器制御システム」の一例）
１００ 自車両
１０１ 撮像ユニット
１０２ 画像解析ユニット（「画像処理装置」の一例）
１０３ 表示モニタ
１０６ 車両走行制御ユニット（「制御部」の一例）
１１０ａ，１１０ｂ 撮像部
１２０ 処理ハードウェア部
１３１ 平行化画像生成部
１３２ 視差画像生成部
１３７ Ｖマップ生成部
１４０ 視差画素データ抽出部（「抽出部」の一例）
１４１ Ｕマップ生成部（「生成部」の一例）
１４２ リアルＵマップ生成部（「生成部」の一例）
２ 撮像装置

特許第３７２８１６０号

Claims (6)

1. 複数の撮影画像における物体の視差に応じた画素値を有する視差画像を取得し、前記視差画像の第１のエリアから、第１の割合で画素値を抽出し、前記視差画像の第２のエリアから、第２の割合で画素値を抽出し、前記視差画像の第３のエリアから、第３の割合で画素値を抽出する抽出部と、
   前記抽出された画素値に基づいて、前記物体の視差の分布を示すデータを生成する生成部と、
   を備え、
   前記第１のエリア及び前記第２のエリアは、水平方向に区切られたエリアであり、前記第１のエリアは、前記第２のエリアよりも前記視差画像の中心に近いエリアであり、前記第２のエリアは、前記第１のエリアよりも鉛直方向で上に位置するエリアであり、前記第３のエリアは、前記第１のエリアよりも鉛直方向で下に位置するエリアであり、
   前記第１の割合は前記第２の割合よりも高く、前記第３の割合は前記第２の割合よりも低い、
   画像処理装置。
2. 前記抽出部は、前記第１のエリアからの画素値の抽出を開始してからの経過時間が前記第１のエリアに応じた制限時間以上となった場合、または前記第１のエリアから所定値以上の画素値を抽出した回数が前記第１のエリアに応じた所定の回数以上となった場合、
   前記第２のエリアから画素値を抽出する、
   請求項１に記載の画像処理装置。
3. 複数の撮像部と、
   前記複数の撮像部により得られた複数の撮影画像から、前記複数の撮影画像における物体の視差に応じた画素値を有する視差画像を生成する視差画像生成部と、
   請求項１に記載の画像処理装置と、
   を備える撮像装置。
4. 移動体に搭載され、前記移動体の前方を撮像する複数の撮像部と、
   前記複数の撮像部により得られた複数の撮影画像から、前記複数の撮影画像における物体の視差に応じた画素値を有する視差画像を生成する視差画像生成部と、
   請求項１に記載の画像処理装置と、
   前記視差の分布に基づいて、前記移動体の制御を行う制御部と、
   を備える移動体機器制御システム。
5. 画像処理装置が、
   複数の撮影画像における物体の視差に応じた画素値を有する視差画像を取得し、前記視差画像の第１のエリアから、第１の割合で画素値を抽出し、前記視差画像の第２のエリアから、第２の割合で画素値を抽出し、前記視差画像の第３のエリアから、第３の割合で画素値を抽出するステップと、
   前記抽出された画素値に基づいて、前記物体の視差の分布を示すデータを生成するステップと、
   を実行し、
   前記第１のエリア及び前記第２のエリアは、水平方向に区切られたエリアであり、前記第１のエリアは、前記第２のエリアよりも前記視差画像の中心に近いエリアであり、前記第２のエリアは、前記第１のエリアよりも鉛直方向で上に位置するエリアであり、前記第３のエリアは、前記第１のエリアよりも鉛直方向で下に位置するエリアであり、
   前記第１の割合は前記第２の割合よりも高く、前記第３の割合は前記第２の割合よりも低い、頻度分布画像生成方法。
6. 画像処理装置に、
   複数の撮影画像における物体の視差に応じた画素値を有する視差画像を取得し、前記視差画像の第１のエリアから、第１の割合で画素値を抽出し、前記視差画像の第２のエリアから、第２の割合で画素値を抽出し、前記視差画像の第３のエリアから、第３の割合で画素値を抽出するステップと、
   前記抽出された画素値に基づいて、前記物体の視差の分布を示すデータを生成するステップと、
   を実行させ、
   前記第１のエリア及び前記第２のエリアは、水平方向に区切られたエリアであり、前記第１のエリアは、前記第２のエリアよりも前記視差画像の中心に近いエリアであり、前記第２のエリアは、前記第１のエリアよりも鉛直方向で上に位置するエリアであり、前記第３のエリアは、前記第１のエリアよりも鉛直方向で下に位置するエリアであり、
   前記第１の割合は前記第２の割合よりも高く、前記第３の割合は前記第２の割合よりも低い、プログラム。