JP6150164B2 - 情報検出装置、移動体機器制御システム、移動体及び情報検出用プログラム - Google Patents

Description

本発明は、車両や鉄道などの移動体の周囲を複数の撮像手段により撮像した複数の撮像画像に基づいて当該移動体が移動する移動面やその他の物体などの移動体周囲情報を検出する情報検出装置、移動体機器制御システム、移動体及び情報検出用プログラムに関するものである。

自動車の安全性において、従来は、歩行者や他車両と衝突したときに、いかに歩行者を守れるか、乗員を保護できるかの観点から、自動車のボディー構造などの開発が行われてきた。しかしながら、近年、情報処理技術、画像処理技術の発達により、高速に歩行者や他車両を検出する技術が開発されてきている。これらの技術を応用して、衝突する前に自動的にブレーキをかけ、衝突を未然に防ぐという自動車もすでに発売されている。自動的にブレーキをかけるには、歩行者や他車両までの距離を正確に測定する必要があり、そのために、ミリ波レーダやレーザレーダによる測距、ステレオカメラによる測距などが実用化されている。

ステレオカメラにより物体の三次元的な位置や大きさを検出する装置としては、例えば、特許文献１に記載された道路形状認識装置（情報検出装置）が知られている。この道路形状認識装置は、ステレオカメラを用いて自車両（移動体）の前方領域を撮像し、一方のカメラで撮像した基準画像と他方のカメラで撮像した比較画像の各画像データに対して順次ステレオマッチング処理を施す。そして、基準画像の画素（算出処理単位領域）ごとに視差を順次算出し、この視差と画像上の画素座標とから、三角測量の原理に基づき、距離データＤを算出する。この距離データＤは、撮像画像上の各画素について算出した実空間上の距離Ｚ（自車両から当該画素に映し出された対象物までの距離）と、高さＹ（自車両の真下の道路面に対する当該対象物の高さ）とから構成される情報である。このように算出される距離データＤの中から、先行車両等の検出対象物までの距離（移動体周囲の情報）を認識することができる。また、道路面を映し出している画素についての距離データＤを抽出し、その分布状態を求めることで、自車両前方における道路面の三次元形状（移動体周囲の情報）を認識することができる。

このような移動体周囲の情報を検出する従来の情報検出装置は、道路面等の移動面の情報を検出する場合も、移動面とは異なる検出対象物（例えば、他車両、歩行者、車線境界線やマンホール蓋などの路面構成物、電柱、ガードレール、縁石、中央分離帯などの路側構造物など）の情報を検出する場合も、同じ視差画像情報を用いて情報の検出を行っている。ところが、移動面の情報検出処理と、移動面とは異なる検出対象物の情報検出処理の両方に同じ視差画像情報を用いると、次の理由から、これらの情報検出処理において適切な処理の両立が困難であるという問題が判明した。

情報検出処理に用いられる視差画像情報には、上述したステレオマッチング処理によりマッチング基準を満たした基準画像の画素についての視差値は含まれるが、マッチング基準を満たさない基準画像の画素についての視差値は含まれないことになる。ステレオマッチング処理は、一般に、基準画像上で設定した画像部分（視差算出対象箇所）を基準とした所定領域内の画素分布の特徴と一致し又は所定の近似範囲内に含まれる特徴をもった所定領域についての画像部分（対応箇所）を、他の画像部分とは区別して、比較画像内から特定するという処理を行う。そのため、ステレオマッチング処理で適切な対応箇所を特定するためには、当該画像部分に特徴的な画素値分布が存在することが望まれる。このとき、特徴量の近似範囲（マッチング条件）を広く設定すれば、視差画像情報に含まれる視差値の数は増えて情報量が多くなるものの、不適切な対応箇所が特定される画素数が増える結果、誤差を含む視差値の数が多くなる。逆に、特徴量の近似範囲を狭く設定すれば、視差画像情報に含まれる視差値の数は減って情報量が少なくなるものの、不適切な対応箇所が特定される画素数が減る結果、誤差を含む視差値の数が少なくなる。

移動面の情報検出処理においては、その移動面を映し出す画像領域の撮像画像中に占める割合が比較的大きいことから、その移動面を映し出す画像領域について得られる視差値の数が比較的多い。そのため、移動面の情報検出処理に用いられる視差画像情報の情報量は十分な量であり、より高精度な情報処理検出を実現する上では、その視差画像情報の誤差を小さくすることが望まれる。よって、移動面の情報検出処理に用いる視差画像情報としては、視差値算出の際のマッチング処理におけるマッチング精度を高くして誤差を少なくした視差画像情報が好適である。

これに対し、移動面とは異なる検出対象物の情報検出処理においては、その検出対象物を映し出す画像領域の撮像画像中に占める割合が比較的小さいことから、その検出対象物を映し出す画像領域について得られる視差値の数が比較的少ない。そのため、検出対象物の情報検出処理に用いられる視差画像情報の情報量が不十分になりやすい。一般に、個々の検出対象物についての視差画像情報の情報量が不十分だと、当該検出対象物の検出ミスが増えてしまうので、視差画像情報に多少の誤差が含まれているとしても、視差画像情報の情報量を増やす方が、漏れのない情報検出処理が可能となる。よって、移動面とは異なる検出対象物の情報検出処理については、多少の誤差が含まれるとしても視差画像情報の情報量を増やす方が、より適切な情報検出処理を実現できる。したがって、移動面とは異なる検出対象物の情報検出処理に用いる視差画像情報としては、視差値算出の際のマッチング処理におけるマッチング精度を低くして、より多くの画素について視差値が得られるようにした視差画像情報が好適である。

以上より、移動面の情報検出処理と、移動面とは異なる検出対象物の情報検出処理とでは、マッチング処理に求められるマッチング精度の要求が異なる。そのため、これらの情報検出処理の両方について同じ視差画像情報を用いたのでは、それぞれの情報検出処理において適切な処理を行うことが困難となる。

本発明は、以上の問題に鑑みなされたものであり、その目的とするところは、移動面の情報検出処理と移動面とは異なる検出対象物の情報検出処理との両方について適切な情報検出処理を実現可能な情報検出装置、移動体機器制御システム、移動体及び情報検出用プログラムを提供することである。

前記目的を達成するために、本発明は、移動面上を移動する移動体に搭載された複数の撮像手段により移動体周囲を撮像して得られる複数の撮像画像から生成される視差画像情報に基づいて、該移動体周囲の情報を検出する情報検出装置において、少なくとも１つの撮像画像における各算出処理単位領域の特徴量を算出する特徴量算出手段と、前記視差画像情報のうち、前記特徴量が第１条件を満たす算出処理単位領域に対応する視差画像情報を用いて、前記移動面の情報を検出する移動面情報検出処理を行う移動面情報検出手段と、前記視差画像情報のうち、前記特徴量が前記第１条件とは異なる第２条件を満たす算出処理単位領域に対応する視差画像情報を用いて、前記移動体周囲に存在する前記移動面とは異なる検出対象物の情報を検出する対象物情報検出処理を行う対象物情報検出手段とを有することを特徴とする。

本発明によれば、移動面の情報検出処理と移動面とは異なる検出対象物の情報検出処理との両方について適切な情報検出処理が実現可能となるという優れた効果が得られる。

実施形態における車載機器制御システムの概略構成を示す模式図である。 同車載機器制御システムを構成する撮像ユニット及び画像解析ユニットの概略構成を示す模式図である。 左右のカメラで撮影したときの視差を説明する図である。 図２における処理ハードウェア部および画像解析ユニットで実現される物体検出処理を説明するための処理ブロック図である。 実施形態におけるテクスチャ量の算出処理に関する処理ブロック図である。 テクスチャ量の算出方法の一例を説明するための説明図である。 テクスチャ量の算出方法の他の例を説明するための説明図である。 テクスチャ量を算出する画素に応じて第１閾値及び第２閾値を変更する一例を示した処理ブロック図である。 図８の例において選択される第１閾値及び第２閾値の閾値セットのデータテーブルの一例を示す説明図である。 （ａ）は視差画像の視差値分布の一例を示す説明図である。（ｂ）は、同（ａ）の視差画像の行ごとの視差値頻度分布を示す行視差分布マップ（Ｖマップ）を示す説明図である。 一方の撮像部で撮像される基準画像の一例を模式的に表した画像例である。 図１１の画像例に対応するＶマップを示す説明図である。 実施形態における抽出条件を説明するためのＶマップを示す説明図である。 相対的に上り傾斜である路面のＶマップ情報を示す説明図である。 自車両が加速している時の路面のＶマップ情報を示す説明図である。 Ｖマップ生成部の一例の処理ブロック図である。 Ｖマップ生成部の他の例の処理ブロック図である。 処理例１に係るＶマップ情報生成処理の流れを示すフローチャートである。 視差画像上に設定される路面画像候補領域を説明するための説明図である。 処理例２に係るＶマップ情報生成処理の流れを示すフローチャートである。 路面形状検出部内の処理ブロック図である。 第１路面候補点検出処理の検出方法を説明するための説明図である。 路面候補点検出部で行う路面候補点検出処理の流れを示すフローチャートである。 Ｖマップを３つの区間（視差値区画）に区分けした一例を示す説明図である。 Ｖマップを３つの区間（視差値区画）に区分けした他の例を示す説明図である。 （ａ）は、最終の第四区間が本来の区間幅（視差値範囲）より狭い幅しか設定できない場合の説明図である。（ｂ）は、当該最終の第四区間をひとつ前の第三区間と結合して、ひとつの区間（第三区間）として設定した例の説明図である。 区分直線近似部で行う区分直線近似処理の流れを示すフローチャートである。 （ａ）は、当初の区間を示す説明図であり、（ｂ）は、当初の第一区間を延長した後の区間を示す説明図である。 （ａ）は、当初の区間を示す説明図であり、（ｂ）は、当初の第二区間を延長した後の区間を示す説明図である。 （ａ）は、得られた各区間の近似直線が区間境界で連続にならない状態を示す説明図である。（ｂ）は、各区間の近似直線が区間境界において連続になる修正した例を示す説明図である。 一方の撮像部で撮像される基準画像の一例を模式的に表した画像例である。 図２３の画像例に対応するＵマップを示す説明図である。 孤立領域検出部で行う処理の流れを示すフローチャートである。 孤立領域検出部で行うラベリング処理の説明図である。 同ラベリング処理において周囲に異なるラベルが存在するときの処理を説明するための説明図である。 孤立領域検出部で検出された孤立領域が内接する矩形領域を設定したＵマップを示す説明図である。 図２８に示したＵマップに対応する視差画像を模式的に示した説明図である。 オブジェクトライン群の外接矩形を設定した視差画像を示す説明図である。 視差画像の対応領域検出部及びオブジェクト領域抽出部で行われる処理の流れを示すフローチャートである。 オブジェクトタイプの分類を行うためのテーブルデータの一例を示す表である。 ガードレール検出部で行われるガードレール検出処理の流れを示すフローチャートである。 ガードレール検出処理の対象範囲について直線近似処理して得られる近似直線を示したＵマップを示す説明図である。 得られた近似直線からガードレール候補座標を検出する説明のための説明図である。 図２３に示した画像例に対応する視差画像上に、ガードレール検出部が検出したガードレール領域を示した説明図である。 自車両の前輪の舵角から消失点の画像左右方向位置Ｖｘを検出する原理を示す説明図である。 自車両のヨーレート及び車速から消失点の画像左右方向位置Ｖｘを検出する原理を示す説明図である。 自車両の加速時や減速時に消失点の画像上下方向位置Ｖｙが変化することを示す説明図である。 変形例１における主要な処理の流れを示すフローチャートである。 路面の消失点と視差画像の下端中心とを結ぶ直線を境界にして左右に二分割した視差画像の例を示す説明図である。 消失点と視差画像左下点とを結ぶ直線Ｌ３と、消失点と視差画像右下点とを結ぶ直線Ｌ４とを設定した視差画像の例を示す説明図である。 図５０の視差画像に対して、ひとつの画像走査ラインＬ５を設定したときの説明図である。 ２つの直線Ｌ３，Ｌ４と画像走査ラインとの両交点以外の画像走査ライン上の視差値を線形補間したときの説明図である。 変形例２において、路面の消失点と視差画像の左１／４の下端地点とを結ぶ直線Ｌ６と、路面の消失点と視差画像の右１／４の下端地点とを結ぶ直線Ｌ７とを境界にして左右に三分割した視差画像の例を示す説明図である。 図５３の視差画像に対し、ひとつの画像走査ラインＬ５を設定したときの説明図である。 ３つの直線Ｌ３，Ｌ４，Ｌ８と画像走査ラインとの両交点以外の画像走査ライン上の視差値を線形補間したときの説明図である。

以下、本発明に係る移動面情報検出装置である路面検出装置を、移動体機器制御システムである車載機器制御システムに用いた一実施形態について説明する。
図１は、本実施形態における車載機器制御システムの概略構成を示す模式図である。
本車載機器制御システムは、移動体である自動車などの自車両１００に搭載された撮像ユニットで撮像した自車両進行方向前方領域（撮像領域）の撮像画像データから、自車両前方の路面（移動面）の相対的な高さ情報（相対的な傾斜状況を示す情報）を検知する。そして、その検知結果から、自車両前方の走行路面の３次元形状を検出することができるので、その検出結果を利用して各種車載機器の制御を行う。

本実施形態の車載機器制御システムは、走行する自車両１００の進行方向前方領域を撮像領域として撮像する撮像ユニット１０１が設けられている。この撮像ユニット１０１は、例えば、自車両１００のフロントガラス１０５のルームミラー（図示せず）付近に設置される。撮像ユニット１０１の撮像によって得られる撮像画像データ等の各種データは、画像処理手段としての画像解析ユニット１０２に入力される。画像解析ユニット１０２は、撮像ユニット１０１から送信されてくるデータを解析して、自車両１００が走行している路面部分（自車両の真下に位置する路面部分）に対する自車両前方の走行路面上の各地点における相対的な高さ（位置情報）を検出し、自車両前方の走行路面の３次元形状を把握する。

画像解析ユニット１０２の認識結果は、車両走行制御ユニット１０６に送られる。車両走行制御ユニット１０６は、画像解析ユニット１０２による走行路面の相対傾斜状況の認識結果に基づいて自車両前方の他車両、歩行者、各種障害物などの認識対象物を認識し、その認識結果に基づいて、自車両１００の運転者へ警告を報知したり、自車両のハンドルやブレーキを制御するなどの走行支援制御を行ったりする。

図２は、撮像ユニット１０１及び画像解析ユニット１０２の概略構成を示す模式図である。
撮像ユニット１０１は、撮像手段としての２つの撮像部１１０Ａ，１１０Ｂを備えたステレオカメラで構成されており、２つの撮像部１１０Ａ，１１０Ｂは同一のものである。各撮像部１１０Ａ，１１０Ｂは、それぞれ、撮像レンズ１１１Ａ，１１１Ｂと、受光素子が２次元配置された画像センサ１１３Ａ，１１３Ｂを含んだセンサ基板１１４Ａ，１１４Ｂと、センサ基板１１４Ａ，１１４Ｂから出力されるアナログ電気信号（画像センサ１１３Ａ，１１３Ｂ上の各受光素子が受光した受光量）をデジタル電気信号に変換した撮像画像データを生成して出力する信号処理部１１５Ａ，１１５Ｂとから構成されている。本実施形態の撮像ユニット１０１からは、輝度画像データと視差画像データが出力される。

また、撮像ユニット１０１は、ＦＰＧＡ（Field-Programmable Gate Array）等からなる処理ハードウェア部１２０を備えている。この処理ハードウェア部１２０は、各撮像部１１０Ａ，１１０Ｂから出力される輝度画像データから視差画像を得るために、各撮像部１１０Ａ，１１０Ｂでそれぞれ撮像した撮像画像間の対応画像部分の視差値を演算する視差画像情報生成手段としての視差演算部１２１を備えている。

ここでいう視差値とは、各撮像部１１０Ａ，１１０Ｂでそれぞれ撮像した撮像画像の一方を基準画像、他方を比較画像とし、撮像領域内の同一地点に対応した基準画像上の画像部分に対する比較画像上の画像部分の位置ズレ量を、当該画像部分の視差値として算出したものである。三角測量の原理を利用することで、この視差値から当該画像部分に対応した撮像領域内の当該同一地点までの距離を算出することができる。図３を参照して説明すれば、被写体３０１上にあるＯ点に対する左右画像での結像位置は、結像中心からの距離がそれぞれΔ１とΔ２となる。このときの視差値ｄは、Δ＝Δ１＋Δ２と規定することができる。

一方、画像解析ユニット１０２は、画像処理基板等から構成され、撮像ユニット１０１から出力される輝度画像データ及び視差画像データを記憶するＲＡＭやＲＯＭ等で構成される記憶手段１２２と、識別対象の認識処理や視差計算制御などを行うためのコンピュータプログラムを実行するＣＰＵ（Central Processing Unit）１２３とを備えている。

処理ハードウェア部１２０を構成するＦＰＧＡは、画像データに対してリアルタイム性が要求される処理、例えばガンマ補正、ゆがみ補正（左右の撮像画像の平行化）、ブロックマッチングによる視差演算を行って視差画像の情報を生成し、画像解析ユニット１０２のＲＡＭに書き出す処理などを行う。このとき、後述する各画素のテクスチャ量も計算し、視差画像と同様にＲＡＭに書き出す処理を行う。画像解析ユニット１０２のＣＰＵは、各撮像部１１０Ａ，１１０Ｂの画像センサコントローラの制御および画像処理基板の全体的な制御を担うとともに、路面の３次元形状の検出処理、ガードレールその他の各種オブジェクト（識別対象物）の検出処理などを実行するプログラムをＲＯＭからロードして、ＲＡＭに蓄えられた輝度画像データや視差画像データを入力として各種処理を実行し、その処理結果をデータＩＦやシリアルＩＦから外部へと出力する。このような処理の実行に際し、データＩＦを利用して、自車両１００の車速、加速度（主に自車両前後方向に生じる加速度）、操舵角、ヨーレートなどの車両動作情報を入力し、各種処理のパラメータとして使用することもできる。外部に出力されるデータは、自車両１００の各種機器の制御（ブレーキ制御、車速制御、警告制御など）を行うための入力データとして使用される。

次に、本実施形態における路面の３次元形状を検出する路面形状検出処理を含んだ物体検出処理について説明する。
図４は、図２における処理ハードウェア部１２０および画像解析ユニット１０２で実現される物体検出処理を説明するための処理ブロック図である。
ステレオカメラを構成する２つの撮像部１１０Ａ，１１０Ｂからは輝度画像データが出力される。このとき、撮像部１１０Ａ，１１０Ｂがカラーの場合には、そのＲＧＢ信号から輝度信号（Ｙ）を得るカラー輝度変換を、例えば下記の式（１）を用いて行う。
Ｙ ＝ ０．３Ｒ ＋ ０．５９Ｇ ＋ ０．１１Ｂ ・・・（１）

輝度画像データが入力されると、まず、平行化画像生成部１３１で平行化画像生成処理を実行する。この平行化画像生成処理は、撮像部１１０Ａ，１１０Ｂにおける光学系の歪みや左右の撮像部１１０Ａ，１１０Ｂの相対的な位置関係から、各撮像部１１０Ａ，１１０Ｂから出力される輝度画像データ（基準画像と比較画像）を、２つのピンホールカメラが平行に取り付けられたときに得られる理想的な平行化ステレオ画像となるように変換する。これは、各画素での歪み量を、Δｘ＝ｆ（ｘ，ｙ）、Δｙ＝ｇ（ｘ，ｙ）という多項式を用いて計算し、その計算結果を用いて、各撮像部１１０Ａ，１１０Ｂから出力される輝度画像データ（基準画像と比較画像）の各画素を変換する。多項式は、例えば、ｘ（画像の横方向位置）、ｙ（画像の縦方向位置）に関する５次多項式に基づく。

このようにして平行化画像処理を行った後、次に、視差演算部１２１によって構成される視差画像生成部１３２において、視差画像データ（視差画像情報）を生成する視差画像生成処理を行う。視差画像生成処理では、まず、２つの撮像部１１０Ａ，１１０Ｂのうちの一方の撮像部１１０Ａの輝度画像データを基準画像データとし、他方の撮像部１１０Ｂの輝度画像データを比較画像データとし、これらを用いて両者の視差を演算して、視差画像データを生成して出力する。この視差画像データは、基準画像データ上の各画像部分について算出される視差値ｄに応じた画素値をそれぞれの画像部分の画素値として表した視差画像を示すものである。

具体的には、視差画像生成部１３２は、基準画像データのある行について、一の注目画素を中心とした複数画素（例えば１６画素×１画素）からなるブロックを定義する。一方、比較画像データにおける同じ行において、定義した基準画像データのブロックと同じサイズのブロックを１画素ずつ横ライン方向（Ｘ方向）へずらし、基準画像データにおいて定義したブロックの画素値の特徴を示す特徴量と比較画像データにおける各ブロックの画素値の特徴を示す特徴量との相関を示す相関値を、それぞれ算出する。そして、算出した相関値に基づき、比較画像データにおける各ブロックの中で最も基準画像データのブロックと相関があった比較画像データのブロックを選定するマッチング処理を行う。その後、基準画像データのブロックの注目画素と、マッチング処理で選定された比較画像データのブロックの対応画素との位置ズレ量を視差値ｄとして算出する。このような視差値ｄを算出する処理を基準画像データの全域又は特定の一領域について行うことで、視差画像データを得ることができる。

マッチング処理に用いるブロックの特徴量としては、例えば、ブロック内の各画素の値（輝度値）を用いることができ、相関値としては、例えば、基準画像データのブロック内の各画素の値（輝度値）と、これらの画素にそれぞれ対応する比較画像データのブロック内の各画素の値（輝度値）との差分の絶対値の総和を用いることができる。この場合、当該総和が最も小さくなるブロックが最も相関があると言える。

視差画像生成部１３２でのマッチング処理をハードウェア処理によって実現する場合には、例えばＳＳＤ（Sum of Squared Difference）、ＺＳＳＤ（Zero-mean Sum of Squared Difference）、ＳＡＤ（Sum of Absolute Difference）、ＺＳＡＤ（Zero-mean Sum of Absolute Difference）などの方法を用いることができる。なお、マッチング処理では画素単位での視差値しか算出できないので、１画素未満のサブピクセルレベルの視差値が必要な場合には推定値を用いる必要がある。その推定方法としては、例えば、等角直線方式、二次曲線方式等を利用することができる。ただし、このサブピクセルレベルの推定視差値には誤差が発生するので、この推定誤差を減少させるＥＥＣ（推定誤差補正）などを用いてもよい。

図５は、本実施形態におけるテクスチャ量の算出処理に関する処理ブロック図である。
上述した視差画像生成処理を行ったら、次に、テクスチャ量算出処理部１４３において、基準画像データの各画素（算出処理単位領域）の特徴量としてのテクスチャ量を算出する処理を行う。ここでいう特徴量は、当該画素（注目画素）を基準とした所定領域内の画素値分布に関する特徴を示す指標値である。本実施形態では、この特徴量として、注目画素を中心とした左右方向の濃淡度合いを示すテクスチャ量を用いる。

具体的には、図６に示すように、一の注目画素Ｘを中心とした５つの画素（５画素×１画素）からなるブロックを定義し、当該ブロックを構成する左２つの画素Ａ，Ｂの画素値の和と、当該ブロックを構成する右２つの画素Ｃ，Ｄの画素値の和との差分値の絶対値を、当該注目画素Ｘのテクスチャ量Ｔとして算出する。また、図７に示すように、一の注目画素Ｘを中心とした１５つの画素（５画素×３画素）からなるブロックを定義し、当該ブロックを構成する左２列の画素Ｅ，Ｆ，Ａ，Ｂ，Ｊ，Ｋの画素値の和と、当該ブロックを構成する右２列の画素Ｇ，Ｈ，Ｃ，Ｄ，Ｌ，Ｍの画素値の和との差分値の絶対値に１／３を乗じた値を、当該注目画素Ｘのテクスチャ量Ｔとして算出してもよい。また、縦横のエッジ量（縦方向の輝度差分と横方向の輝度差分）の大小を比較できる傾き角（エッジの角度）を特徴量として用いることも可能である。この場合、その傾きが垂直に近いほど特徴量が大きくなるようにする。

このテクスチャ量Ｔは、当該注目画素についての視差値を算出する際に行われる上述したマッチング処理時のマッチング精度と高い相関関係のある指標値である。よって、テクスチャ量Ｔが大きな画素ほど、マッチング処理の精度が高く、算出される視差値に誤差の含まれる可能性が低いと考えることができる。本実施形態では、自車両１００の前方路面の３次元形状を検出する際に使用されるＶマップ生成用の視差画素データを選別したり、識別対象物（オブジェクト）を識別する際に使用されるＵマップ生成用の視差画素データを選別したりする際に、このテクスチャ量Ｔを用いる。

詳しく説明すると、Ｖマップ生成用の視差画素データ、言い換えると、路面情報（路面形状等）の検出に用いる視差画素データには、前記視差画像生成部１３２で生成される各視差画素データのうち、対応するテクスチャ量が第１閾値以上であるという選定条件（第１条件）を満たす視差画素データを用いる。一方、Ｕマップ生成用の視差画素データ、言い換えると、路面以外の物体の情報（歩行者、他車両等の距離等）の検出に用いる視差画素データには、前記視差画像生成部１３２で生成される各視差画素データのうち、対応するテクスチャ量が第２閾値以上であるという選定条件（第２条件）を満たす視差画素データを用いる。ここで、Ｖマップ生成用の視差画素データの選定条件で用いる第１閾値は、Ｕマップ生成用の視差画素データの選定条件で用いる第２閾値よりも高い値に設定される。

したがって、Ｖマップ用の視差画素データは、Ｕマップ用の視差画素データよりも、誤差は少ないが、その視差画素データの選定率も低いのでＶマップの生成に用いられる視差画素データの情報量の削減率は高いものとなる。逆に、Ｕマップ用の視差画素データは、Ｖマップ用の視差画素データよりも、誤差は多いが、その視差画素データの選定率も高いのでＵマップの生成に用いられる視差画素データの情報量の削減率は低いものとなる。

本実施形態では、後述での処理を考慮し、テクスチャ量算出処理部１４３において、上述のようにして算出されるテクスチャ量Ｔを３値化した３値化テクスチャ量Ｔｑを算出する。具体的には、図５に示すように、テクスチャ量算出処理部１４３のテクスチャ量算出部１４３Ａにおいてテクスチャ量Ｔを算出し、閾値セット部１４３Ｂによりセットされた第１閾値と第２閾値を用いて、３値化部１４３Ｃにおいてテクスチャ量算出部１４３Ａが算出したテクスチャ量Ｔを３値化する。このようにして、例えば、第２閾値未満のテクスチャ量Ｔは「０」、第２閾値以上第１閾値未満のテクスチャ量Ｔは「１」、第１閾値以上のテクスチャ量Ｔは「２」とした３値化テクスチャ量Ｔｑを得る。

また、本実施形態における第１閾値及び第２閾値は、テクスチャ量を算出するいずれの画素に対しても同じ値であってもよいが、テクスチャ量を算出する画素に応じて第１閾値又は第２閾値の少なくとも一方を変更するようにしてもよい。
図８は、テクスチャ量を算出する画素に応じて第１閾値及び第２閾値を変更する一例を示した処理ブロック図である。図８の例では、基準画像における２以上の画素で構成されるブロック（平均値算出領域）を定義し、そのブロック内の平均画素値に応じて、当該ブロックに対応する画素の３値化テクスチャ量Ｔｑを算出する際の第１閾値及び第２閾値を変更する。このときのブロックは、テクスチャ量を算出する際に用いるブロック（５画素×１画素）と同じであってもよいし、異なるものであってもよい。

本実施形態では、テクスチャ量を算出する際に用いるブロック（５画素×１画素）を用い、平均輝度算出部１４３Ｄにおいて、そのブロック内の平均画素値（平均輝度）を算出する。そして、閾値セット選択部１４３Ｅでは、平均輝度算出部１４３Ｄが算出した平均画素値（平均輝度）が大きいほど、当該ブロックに対応する画素の３値化テクスチャ量Ｔｑを算出するための閾値セットとして、第１閾値ｔ１及び第２閾値ｔ２の値が高いものを、図９に示すデータテーブルから選択する。これは、平均輝度が大きいほど、画像のコントラストが高いと考えられるので高めのテクスチャ量が算出されやすく、平均輝度が小さいほど、画像のコントラストが低いと考えられるので、低めのテクスチャ量が算出されやすいことを考慮したものである。３値化部１４３Ｃでは、選択された閾値セットの第１閾値ｔ１と第２閾値ｔ２を用いて、テクスチャ量算出部１４３Ａが算出したテクスチャ量Ｔを３値化する。

このようにしてテクスチャ量の算出処理を行った後、次に、Ｖマップ用視差データ選定部１４４において、前記視差画像生成部１３２で生成される各視差画素データのうち、対応するテクスチャ量が第１閾値以上であるという選定条件（第１条件）を満たす視差画素データを選定する処理を実行する。具体的には、テクスチャ量算出処理部１４３が算出した３値化テクスチャ量Ｔｑが「２」である画素についての視差画素データを選定する。

このようにしてＶマップ生成用の視差画素データを選定したら、次に、Ｖマップ生成部１３３において、Ｖマップ用視差データ選定部１４４が選定した視差画素データを用いてＶマップを生成するＶマップ生成処理を実行する。視差画像データに含まれる各視差画素データは、ｘ方向位置とｙ方向位置と視差値ｄとの組（ｘ，ｙ，ｄ）で示されるところ、これを、Ｘ軸にｄ、Ｙ軸にｙ、Ｚ軸に頻度ｆを設定した三次元座標情報（ｄ，ｙ，ｆ）に変換したもの、又はこの三次元座標情報（ｄ，ｙ，ｆ）から所定の頻度閾値を超える情報に限定した二次元座標情報（ｄ，ｙ，ｆ）を、視差ヒストグラム情報として生成する。本実施形態の視差ヒストグラム情報は、三次元座標情報（ｄ，ｙ，ｆ）からなり、この三次元ヒストグラム情報をＸ−Ｙの２次元座標系に分布させたものを、Ｖマップ（視差ヒストグラムマップ）と呼ぶ。

具体的に説明すると、Ｖマップ生成部１３３は、画像を上下方向に複数分割して得られる視差画像データの各行領域について、視差値頻度分布を計算する。この視差値頻度分布を示す情報が視差ヒストグラム情報である。具体例を挙げて説明すると、図１０（ａ）に示すような視差値分布をもった視差画像データが入力されたとき、Ｖマップ生成部１３３は、行ごとの各視差値のデータの個数の分布である視差値頻度分布を計算し、これを視差ヒストグラム情報として出力する。このようにして得られる各行の視差値頻度分布の情報を、Ｙ軸に視差画像上のｙ方向位置（撮像画像の上下方向位置）をとりＸ軸に視差値をとった二次元直交座標系上に表すことで、図１０（ｂ）に示すようなＶマップを得ることができる。このＶマップは、頻度ｆに応じた画素値をもつ画素が前記二次元直交座標系上に分布した画像として表現することもできる。

次に、本実施形態では、視差画像生成部１３２が生成したＶマップの情報（視差ヒストグラム情報）から、路面形状検出部１３４において、自車両１００の前方路面の３次元形状を検出する路面形状検出処理が実行される。
図１１は、撮像部１１０Ａで撮像される基準画像の一例を模式的に表した画像例である。
図１２は、図１１の画像例に対応するＶマップである。
図１１に示す画像例では、自車両１００が走行している路面と、自車両１００の前方に存在する先行車両と、路外に存在する電柱が映し出されている。この画像例は、自車両１００の前方路面が相対的に平坦な路面、すなわち、自車両１００の前方路面が自車両１００の真下の路面部分と平行な面を自車両前方へ延長して得られる仮想の基準路面（仮想基準移動面）に一致している場合のものである。この場合、画像の下部に対応するＶマップの下部において、高頻度の点は、画像上方へ向かうほど視差値ｄが小さくなるような傾きをもった略直線状に分布する。このような分布を示す画素は、視差画像上の各行においてほぼ同一距離に存在していてかつ最も占有率が高く、しかも画像上方へ向かうほど距離が連続的に遠くなる識別対象物を映し出した画素であると言える。

撮像部１１０Ａでは自車両前方領域を撮像するため、その撮像画像の内容は、図１１に示すように、画像上方へ向かうほど路面の視差値ｄは小さくなる。また、同じ行（横ライン）内において、路面を映し出す画素はほぼ同じ視差値ｄを持つことになる。したがって、Ｖマップ上において上述した略直線状に分布する高頻度の点は、路面（移動面）を映し出す画素が持つ特徴に対応したものである。よって、Ｖマップ上における高頻度の点を直線近似して得られる近似直線上又はその近傍に分布する点の画素は、高い精度で、路面を映し出している画素であると推定することができる。また、各画素に映し出されている路面部分までの距離は、当該近似直線上の対応点の視差値ｄから高精度に求めることができる。

ここで、Ｖマップ上における高頻度の点を直線近似する際、その直線近似処理に含める点をどの範囲まで含めるかは、その処理結果の精度を大きく左右する。すなわち、直線近似処理に含める範囲が広いほど、路面に対応しない点が多く含まれ、処理精度を落とすことになり、また、直線近似処理に含める範囲が狭いほど、路面に対応する点の数が少なく、やはり処理精度を落とす結果となる。そこで、本実施形態では、後述する直線近似処理の対象とする視差ヒストグラム情報部分を、以下のようにして抽出している。

図１３は、本実施形態における抽出条件を説明するためのＶマップを示す説明図である。
本実施形態のＶマップ生成部１３３では、視差画像データを受け取ると、その視差画像データに含まれる各視差画素データ（ｘ，ｙ，ｄ）を、三次元座標情報である視差ヒストグラム情報構成要素としてのＶマップ要素（ｄ，ｙ，ｆ）に変換して、視差ヒストグラム情報としてのＶマップ情報を生成する。このとき、視差画像データの中から、画像上下方向位置ｙと視差値ｄとの関係が所定の抽出条件を満たす視差画素データを抽出し、その抽出した視差画素データを対象にして上述した変換を行い、Ｖマップ情報を生成する。

本実施形態における抽出条件は、自車両１００の前方路面が自車両１００の真下の路面部分と平行な面を自車両前方へ延長して得られる仮想の基準路面（仮想基準移動面）に対応する視差値ｄと画像上下方向位置ｙとの関係を基準として定まる所定の抽出範囲内に属するという条件である。この基準路面に対応する視差値ｄと画像上下方向位置ｙとの関係は、図１３に示すように、Ｖマップ上において直線（以下「基準直線」という。）で示される。本実施形態では、この直線を中心に画像上下方向へ±δの範囲を、抽出範囲として規定している。この抽出範囲は、状況に応じて刻々と変化する実際の路面のＶマップ要素（ｄ，ｙ，ｆ）の変動範囲を含むように設定される。

具体的には、例えば、自車両前方の路面が相対的に上り傾斜である場合、当該路面が相対的に平坦である場合よりも、撮像画像中に映し出される路面画像部分（移動面画像領域）は画像上側へ広がる。しかも、同じ画像上下方向位置ｙに映し出される路面画像部分を比較すると、相対的に上り傾斜である場合には、相対的に平坦である場合よりも、視差値ｄが大きくなる。この場合のＶマップ要素（ｄ，ｙ，ｆ）は、Ｖマップ上において、図１４に示すように、おおよそ、基準直線に対し、上側に位置し、かつ、傾き（絶対値）が大きい直線を示すものとなる。本実施形態では、前方の路面における相対的な上り傾斜が想定され得る範囲内であれば、その路面のＶマップ要素（ｄ，ｙ，ｆ）が抽出範囲内に収まる。

また、例えば、自車両前方の路面が相対的に下り傾斜である場合、そのＶマップ要素（ｄ，ｙ，ｆ）は、Ｖマップ上において、基準直線に対し、下側に位置し、かつ、傾き（絶対値）が小さい直線を示すものとなる。本実施形態では、前方の路面における相対的な下り傾斜が想定され得る範囲内であれば、その路面のＶマップ要素（ｄ，ｙ，ｆ）が抽出範囲内に収まる。

また、例えば、自車両１００が速度を加速している加速時においては、自車両１００の後方に加重がかかり、自車両の姿勢は、自車両前方が鉛直方向上側を向くような姿勢となる。この場合、自車両１００の速度が一定である場合と比べて、撮像画像中に映し出される路面画像部分（移動面画像領域）は画像下側へシフトする。この場合のＶマップ要素（ｄ，ｙ，ｆ）は、Ｖマップ上において、図１５に示すように、おおよそ、基準直線に対し、下側に位置し、かつ、基準直線とほぼ平行な直線を示すものとなる。本実施形態では、自車両１００の加速が想定され得る範囲内であれば、その路面のＶマップ要素（ｄ，ｙ，ｆ）が抽出範囲内に収まる。

また、例えば、自車両１００が速度を減速している減速時においては、自車両１００の前方に加重がかかり、自車両の姿勢は、自車両前方が鉛直方向下側を向くような姿勢となる。この場合、自車両１００の速度が一定である場合と比べて、撮像画像中に映し出される路面画像部分（移動面画像領域）は画像上側へシフトする。この場合のＶマップ要素（ｄ，ｙ，ｆ）は、Ｖマップ上において、おおよそ、基準直線に対し、上側に位置し、かつ、基準直線とほぼ平行な直線を示すものとなる。本実施形態では、自車両１００の減速が想定され得る範囲内であれば、その路面のＶマップ要素（ｄ，ｙ，ｆ）が抽出範囲内に収まる。

図１６は、Ｖマップ生成部１３３内の処理ブロック図である。
本実施形態のＶマップ生成部１３３は、視差画像生成部１３２から出力される視差画像データを受け取ると、まず、車両動作情報入力部１３３Ａにおいて、自車両１００の加速度情報を含む車両動作情報を取得する。車両動作情報入力部１３３Ａに入力される車両動作情報は、自車両１００に搭載されている機器から取得してもよいし、撮像ユニット１０１に加速度センサ等の車両動作情報取得手段を搭載し、その車両動作情報取得手段から取得してもよい。

このようにして車両動作情報を取得したら、次に、視差画像路面領域設定部１３３Ｂにおいて、視差画像生成部１３２から取得した視差画像データに対し、撮像画像の一部である所定の路面画像候補領域（移動面画像候補領域）を設定する。この設定では、想定される状況の範囲内では路面が映し出されることがない領域を除外した画像領域を路面画像候補領域として設定する。具体的な設定方法としては、予め決められた固定の画像領域を路面画像候補領域として設定してもよいが、本実施形態においては、撮像画像内における路面の消失点を示す消失点情報に基づいて路面画像候補領域を設定する。

このようにして路面画像候補領域を設定したら、次に、処理範囲抽出部１３３Ｃにおいて、視差画像路面領域設定部１３３Ｂが設定した路面画像候補領域内の視差画像データの中から、上述した抽出条件を満たす視差画素データ（視差画像情報構成要素）を抽出する処理を行う。すなわち、Ｖマップ上において基準直線を中心にとした画像上下方向へ±δの範囲に属する視差値ｄと画像上下方向位置ｙとをもつ視差画素データを抽出する。このようにして抽出条件を満たす視差画素データを抽出した後、Ｖマップ情報生成部１３３Ｄにおいて、処理範囲抽出部１３３Ｃが抽出した視差画素データ（ｘ，ｙ，ｄ）をＶマップ要素（ｄ，ｙ，ｆ）に変換して、Ｖマップ情報を生成する。

以上の説明では、Ｖマップ情報生成部１３３ＤでＶマップ情報を生成する前段階の処理範囲抽出部１３３Ｃにおいて、路面画像部分に対応しない視差画像データ部分と区別して路面画像部分に対応する視差画像データ部分を抽出する例について説明したが、次のように、Ｖマップ情報を生成した後の段階で、同様の抽出処理を行ってもよい。

図１７は、Ｖマップ情報を生成した後の段階で抽出処理を行う例におけるＶマップ生成部１３３内の処理ブロック図である。
本例のＶマップ生成部１３３では、視差画像路面領域設定部１３３Ｂにおいて路面画像候補領域を設定した後、まず、Ｖマップ情報生成部１３３Ｅにおいて、視差画像路面領域設定部１３３Ｂが設定した路面画像候補領域内の視差画素データ（ｘ，ｙ，ｄ）をＶマップ要素（ｄ，ｙ，ｆ）に変換して、Ｖマップ情報を生成する。このようにしてＶマップ情報を生成した後、処理範囲抽出部１３３Ｆにおいて、Ｖマップ情報生成部１３３Ｅが生成したＶマップ情報の中から、上述した抽出条件を満たすＶマップ要素を抽出する処理を行う。すなわち、Ｖマップ上において基準直線を中心にとした画像上下方向へ±δの範囲に属する視差値ｄと画像上下方向位置ｙとをもつＶマップ要素を抽出する。そして、抽出したＶマップ要素で構成されるＶマップ情報を出力する。

〔処理例１〕
図１８は、本実施形態におけるＶマップ情報生成処理の一例（以下「処理例１」という。）の流れを示すフローチャートである。
本処理例１においては、車両動作情報（自車両前後方向の加速度情報）を用いずにＶマップ情報を作成する例である。本処理例１においては、自車両１００の加速度情報を用いないため、基準路面に対応する基準直線を中心にとした抽出範囲すなわち値δの大きさは、比較的大きなものを用いる。

本処理例１においては、まず、路面の消失点情報に基づいて路面画像候補領域を設定する（Ｓ１Ａ）。路面の消失点情報を求める方法には特に制限はなく、公知の方法を広く利用することができる。本処理例１では、この路面の消失点情報（Ｖｘ，Ｖｙ）が示す消失点の画像上下方向位置Ｖｙから所定のｏｆｆｓｅｔ値を引いた画像上下方向位置（Ｖｙ−ｏｆｆｓｅｔ値）から、当該視差画像データの画像上下方向位置ｙの最大値ｙｓｉｚｅ（視差画像の最下部）までの範囲を、路面画像候補領域に設定する。また、画像上下方向位置が消失点に近い画像部分においては、その画像左右方向両端部分の画像領域に路面が映し出されることはあまり無い。そこで、この画像領域も除外して路面画像候補領域に設定してもよい。この場合、視差画像上に設定される路面画像候補領域は、図１９に示すＷＡＢＣＤの各点で囲まれた領域となる。

このようにして路面画像候補領域を設定した後、本処理例１では、設定された路面画像候補領域内の視差画像データの中から、上述した抽出条件を満たす視差画素データ（視差画像情報構成要素）を抽出する処理を行う（Ｓ２Ａ）。この処理では、予め設定されている固定の基準直線の情報と、その基準直線を基準とした抽出範囲を規定するための±δの情報とを用いて、当該抽出範囲に属する視差画素データを抽出する。その後、抽出した視差画素データ（ｘ，ｙ，ｄ）をＶマップ要素（ｄ，ｙ，ｆ）に変換して、Ｖマップ情報を生成する（Ｓ３Ａ）。

〔処理例２〕
図２０は、本実施形態におけるＶマップ情報生成処理の他の例（以下「処理例２」という。）の流れを示すフローチャートである。
本処理例２においては、車両動作情報（自車両前後方向の加速度情報）を用いてＶマップ情報を作成する例である。まず、車両動作情報を入力したら（Ｓ１Ｂ）、この車両動作情報に含まれる自車両前後方向の加速度情報に基づき、消失点情報と基準直線の情報を補正する（Ｓ２Ｂ）。

消失点情報の補正は、次のようにして行う。例えば自車両１００の加速時には、自車両後方部分が加重され、自車両１００の姿勢は、自車両前方が鉛直方向上側を向くような姿勢となる。この姿勢変化により、路面の消失点は、画像下側へ変位することになるので、これ合わせて、路面の消失点情報の画像上下方向位置Ｖｙを加速度情報に基づいて補正する。例えば自車両１００の減速時にも、同様に、その加速度情報に基づいて路面の消失点情報の画像上下方向位置Ｖｙを補正する。このような補正を行うことで、後述する消失点情報を用いた路面画像候補領域の設定処理において、路面を映し出している画像部分を適切に路面画像候補領域として設定することができる。

また、基準直線情報の補正は、次のようにして行う。基準直線情報は、基準直線の傾きαと、切片（画像左端と基準直線とが交わる点の画像上下方向位置）βとを含む情報である。例えば自車両１００の加速時には、自車両後方部分が加重され、自車両１００の姿勢は、自車両前方が鉛直方向上側を向くような姿勢となる。この姿勢変化により、路面を映し出す路面画像部分は、全体的に画像下側へ変位することになる。そこで、これに合わせて、抽出範囲を画像下側へシフトさせるために、その抽出範囲の基準となる基準直線の切片βを加速度情報に基づいて補正する。例えば自車両１００の減速時にも、同様に、基準直線の切片βを加速度情報に基づいて補正する。このような補正を行うことで、抽出範囲内の視差画素データを抽出する処理において、路面を映し出している画像部分を適切に路面画像候補領域として設定することができる。このように加速度情報を用いて基準直線の情報を補正するので、抽出範囲を規定するδ値は、自車両の加速や減速を考慮しないでもよくなる。そのため、本処理例２の抽出範囲は、固定された基準直線を基準に抽出範囲を設定する上述の処理例１よりも、狭くすることができ、処理時間の短縮や路面検出精度の向上を図ることができる。

以上説明した２つの処理例１，２は、いずれも、Ｖマップ情報を生成する前段階で、路面画像部分に対応する視差画像データ部分を抽出する処理であるが、Ｖマップ情報を生成した後の段階で、路面画像部分に対応するＶマップ要素を抽出する処理でも同様である。

次に、路面形状検出部１３４で行う処理について説明する。
路面形状検出部１３４では、Ｖマップ生成部１３３においてＶマップ情報が生成されたら、路面に対応する視差値及びｙ方向位置の組（Ｖマップ要素）が示す特徴、すなわち、撮像画像の上方に向かうほど視差値が低くなるという特徴を示すＶマップ上の高頻度の点を直線近似する処理を行う。なお、路面が平坦な場合には一本の直線で十分な精度で近似可能であるが、車両進行方向において路面の傾斜状況が変化するような路面については、一本の直線で十分な精度の近似は難しい。したがって、本実施形態においては、Ｖマップの情報（Ｖマップ情報）を視差値に応じて２以上の視差値区画に区分けし、各視差値区画についてそれぞれ個別に直線近似を行う。

図２１は、路面形状検出部１３４内の処理ブロック図である。
本実施形態の路面形状検出部１３４は、Ｖマップ生成部１３３から出力されるＶマップ情報（Ｖマップ情報）を受け取ると、まず、路面候補点検出部１３４Ａにおいて、路面に対応するＶマップ要素が示す特徴、すなわち、撮像画像の上方に向かうほど視差値が低くなるという特徴を示すＶマップ上の高頻度の点を、路面候補点として検出する。

このとき、本実施形態では、路面候補点検出部１３４Ａでの路面候補点検出処理は、Ｖマップの情報（Ｖマップ情報）を視差値に応じて２以上の視差値区画に区分けし、各視差値区画にそれぞれ対応した決定アルゴリズムに従って各視差値区画における路面候補点を決定する。具体的には、例えば、所定の基準距離に対応する視差値を境に、ＶマップをＸ軸方向（横軸方向）に２つの領域、すなわち視差値の大きい領域と小さい領域に区分けし、その領域ごとに異なる路面候補点検出アルゴリズムを用いて路面候補点を検出する。なお、視差値の大きい近距離領域については、後述する第１路面候補点検出処理を行い、視差の小さい遠距離領域については、後述する第２路面候補点検出処理を行う。

ここで、前記のように視差の大きい近距離領域と視差の小さい遠距離領域とで、路面候補点検出処理の方法を変える理由について説明する。
図１１に示したように、自車両１００の前方を撮像した撮像画像で、近距離の路面部分についてはその路面画像領域の占有面積が大きく、路面に対応する画素数が多いので、Ｖマップ上の頻度が大きい。これに対し、遠距離の路面部分については、その路面画像領域の撮像画像内における占有面積が小さく、路面に対応する画素数が少ないので、Ｖマップ上の頻度が小さい。すなわち、Ｖマップにおいて、路面に対応する点の頻度値は、遠距離では小さく、近距離では大きい。そのため、例えば同じ頻度閾値を用いるなど、両領域について同じ基準で路面候補点を検出しようとすると、近距離領域については路面候補点を適切に検出できるが、遠距離領域については路面候補点が適切に検出できないおそれがあり、遠距離領域の路面検出精度が劣化する。逆に、遠距離領域の路面候補点を十分に検出できるような基準で近距離領域の検出を行うと、近距離領域のノイズ成分が多く検出され、近距離領域の路面検出精度が劣化する。そこで、本実施形態では、Ｖマップを近距離領域と遠距離領域とに区分し、各領域についてそれぞれ適した基準や検出方法を用いて路面候補点を検出することにより、両領域の路面検出精度を高く維持している。

図２２は、第１路面候補点検出処理及び第２路面候補点検出処理の検出方法を説明するための説明図である。
第１路面候補点検出処理では、各視差値ｄについて、所定の検索範囲内でｙ方向位置を変えながら、Ｖマップ情報に含まれる各Ｖマップ要素（ｄ，ｙ，ｆ）の頻度値ｆが第１頻度閾値よりも大きく、かつ、最も頻度値ｆが大きいＶマップ要素を探索し、そのＶマップ要素を当該視差値ｄについての路面候補点として決定する。このときの第１頻度閾値は、低めに設定し、路面に対応するＶマップ要素が抜け落ちないようにするのが好ましい。本実施形態においては、上述したとおり、Ｖマップ生成部１３３において路面に対応するＶマップ要素を抽出していることから、第１頻度閾値を低めに設定しても、路面分に対応しないＶマップ要素が路面候補点として決定される事態は軽減されるからである。

ここで、各視差値ｄについてｙ値を変化させる検索範囲は、上述したＶマップ生成部１３３における抽出範囲、すなわち、基準直線の画像上下方向位置ｙｐを中心にとした画像上下方向へ±δの範囲である。具体的には、「ｙｐ−δ」から「ｙｐ＋δ」の範囲を探索範囲とする。これにより、探索すべきｙ値の範囲が限定され、高速な路面候補点検出処理を実現できる。

一方、第２路面候補点検出処理は、第１頻度閾値の変わりにこれとは別の第２頻度閾値を用いる点を除いて、前記第１路面候補点検出処理と同じである。すなわち、第２路面候補点検出処理では、各視差値ｄについて、所定の検索範囲内でｙ方向位置を変えながら、Ｖマップ情報に含まれる各Ｖマップ要素（ｄ，ｙ，ｆ）の頻度値ｆが第２頻度閾値よりも大きく、かつ、最も頻度値ｆが大きいＶマップ要素を探索し、そのＶマップ要素を当該視差値ｄについての路面候補点として決定する。

図２３は、路面候補点検出部１３４Ａで行う路面候補点検出処理の流れを示すフローチャートである。
入力されるＶマップの情報について、例えば視差値ｄの大きい順に路面候補点の検出を行い、各視差値ｄについての路面候補点（ｙ，ｄ）を検出する。視差値ｄが所定の基準距離に対応する基準視差値よりも大きい場合（Ｓ１のＹｅｓ）、上述した第１路面候補点検出処理を行う。すなわち、当該視差値ｄに応じたｙの探索範囲（「ｙｐ−δ」〜「ｙｐ＋δ」）を設定し（Ｓ２）、この探索範囲内における頻度値ｆが第１頻度閾値よりも大きいＶマップ要素（ｄ，ｙ，ｆ）を抽出する（Ｓ３）。そして、抽出したＶマップ要素のうち、最大の頻度値ｆを持つＶマップ要素（ｄ，ｙ，ｆ）を、当該視差値ｄの路面候補点として検出する（Ｓ４）。

そして、視差値ｄが基準視差値以下になるまで第１路面候補点検出処理を繰り返し行い（Ｓ５）、視差値ｄが基準視差値以下になったら（Ｓ１のＮｏ）、今度は、上述した第２路面候補点検出処理で路面候補点検出を行う。すなわち、第２路面候補点検出処理でも当該視差値ｄに応じたｙの探索範囲（「ｙｐ−δ」〜「ｙｐ＋δ」）を設定し（Ｓ６）、この探索範囲内における頻度値ｆが第１頻度閾値よりも大きいＶマップ要素（ｄ，ｙ，ｆ）を抽出する（Ｓ７）。そして、抽出したＶマップ要素のうち、最大の頻度値ｆを持つＶマップ要素（ｄ，ｙ，ｆ）を、当該視差値ｄの路面候補点として検出する（Ｓ８）。この第２路面候補点検出処理を、視差値ｄがなくなるまで繰り返し行う（Ｓ９）。

このようにして路面候補点検出部１３４Ａにより各視差値ｄについての路面候補点（抽出処理対象）を検出したら、次に、区分直線近似部１３４Ｂにより、これらの路面候補点についてＶマップ上の近似直線を求める直線近似処理を行う。このとき、路面が平坦な場合であれば、Ｖマップの視差値範囲全域にわたって一本の直線で十分な精度の近似が可能であるが、車両進行方向において路面の傾斜状況が変化している場合には、一本の直線で十分な精度の近似が難しい。したがって、本実施形態においては、Ｖマップの情報（Ｖマップ情報）を視差値に応じて２以上の視差値区画に区分けし、各視差値区画についてそれぞれ個別に直線近似処理を行う。

直線近似処理は、最小二乗近似を利用することができるが、より正確に行うにはＲＭＡ（Reduced Major Axis）などの他の近似を用いるのがよい。その理由は、最小二乗近似は、Ｘ軸のデータに誤差がなく、Ｙ軸のデータに誤差が存在するという前提があるときに、正確に計算されるものである。しかしながら、Ｖマップ情報から検出される路面候補点の性質を考えると、Ｖマップ情報に含まれる各Ｖマップ要素のデータは、Ｙ軸のデータｙについては画像上の正確な位置を示していると言えるが、Ｘ軸のデータである視差値ｄについては、誤差を含んでいるものである。また、路面候補点検出処理では、Ｙ軸方向に沿って路面候補点の探索を行い、その最大のｙ値をもつＶマップ要素を路面候補点として検出するものであるため、路面候補点はＹ軸方向の誤差も含んでいる。したがって、路面候補点となっているＶマップ要素は、Ｘ軸方向にもＹ軸方向にも誤差を含んでいることになり、最小二乗近似の前提が崩れている。したがって、二変数（ｄとｙ）に互換性のある回帰直線（ＲＭＡ）が有効である。

図２４は、Ｖマップを３つの区間（視差値区画）に区分けした例を示す説明図である。
本実施形態においては、Ｖマップ情報を視差値に応じて３つの視差値区画に区分けする。具体的には、視差値が大きい順に、第一区間、第二区間、第三区間に区分けする。このとき、距離を基準にして区間を等しく区分けする場合、Ｖマップ上では遠距離の区間ほど区間（視差値範囲）が狭くなり、直線近似の精度が悪化する。また、視差値を基準にして区間を等しく区分けする場合、今度は、Ｖマップ上において近距離の区間の幅が狭くなる。この場合、第一区間が非常に狭いものとなって、その第一区間はほとんど意味を成さなくなる。

そこで、本実施形態においては、第一区間については予め決められた固定距離に対応する幅をもつように設定とし、第二区間及び第三区間については、ひとつ前の区間の幅に対応する距離の定数倍（たとえば２倍）の距離に対応する幅をもつように設定するという区分けルールを採用している。このような区分けルールにより、どの区間についても、適度な幅（視差値範囲）を持たせることができる。すなわち、このような区分けルールによって各区間にそれぞれ対応する距離範囲が異なることになるが、各区間の直線近似処理に使用する路面候補点の数が各区間で均一化でき、どの区間でも適切な直線近似処理を行うことができるようになる。

なお、図２４に示した例では、第一区間及び第二区間が重複（オーバーラップ）することなく連続し、第二区間及び第三区間も重複することなく連続するように各区間を区分けしているが、各区間が重複するように区分けしてもよい。例えば、図２５に示すように、第二区間の始点Ｓ２Ｌを第一区間の３：１内分点とし（第二区間の終点Ｅ２は図２４の例と同じ。）、第三区間の始点Ｓ３Ｌを第一区間の終点Ｅ１と第二区間の終点Ｅ２との間の３：１内分点としてもよい（第三区間の終点Ｅ３は図２４の例と同じ。）。

区間に応じて距離範囲を変更したり、区間をオーバーラップさせたりすることで、各区間の直線近似処理に使用する候補点数を均一化して、各区間の直線近似処理の精度を高めることができる。また、区間をオーバーラップさせることにより、各区間の直線近似処理の相関を高めることもできる。

また、上述した区分けルールに従って視差値が大きい順に区間を設定していくと、図２６（ａ）に示すように、例えば、最終の第四区間が本来の区間幅（視差値範囲）より狭い幅しか設定できない場合がある。このような場合には、図２６（ｂ）に示すように、最終の第四区間をひとつ前の第三区間と結合して、ひとつの区間（第三区間）として設定してもよい。

図２７は、区分直線近似部１３４Ｂで行う区分直線近似処理の流れを示すフローチャートである。
区分直線近似部１３４Ｂは、路面候補点検出部１３４Ａから出力される各視差値ｄの路面候補点のデータを受け取ったら、まず、最近距離の第一区間（最も視差値が大きい区間）を設定する（Ｓ１１）。そして、この第一区間内の各視差値ｄに対応した路面候補点を抽出する（Ｓ１２）。このとき、抽出された路面候補点の数が所定の値以下である場合（Ｓ１３のＮｏ）、当該第一区間を所定の視差値分だけ延長する（Ｓ１４）。具体的には、図２８（ａ）に示す当初の第一区間と第二区間とを結合して、図２８（ｂ）に示すように、新たにひとつの第一区間（延長された第一区間）とする。このとき、当初の第三区間は新たな第二区間となる。そして、延長された第一区間内の各視差値ｄに対応した路面候補点を再び抽出し（Ｓ１２）、抽出された路面候補点の数が所定の値よりも多くなった場合には（Ｓ１３のＹｅｓ）、抽出した路面候補点について直線近似処理を行う（Ｓ１５）。

なお、第一区間ではない区間、例えば第二区間を延長する場合には、図２９（ａ）に示す当初の第二区間と第三区間とを結合して、図２９（ｂ）に示すように、新たにひとつの第二区間（延長された第二区間）とする。

このようにして直線近似処理を行ったら、次に、その直線近似処理により得られる近似直線の信頼性判定を行う。この信頼性判定では、最初に、得られた近似直線の傾きと切片が所定の範囲内にあるかどうかを判定する（Ｓ１７）。この判定で所定の範囲内ではない場合には（Ｓ１７のＮｏ）、当該第一区間を所定の視差値分だけ延長し（Ｓ１４）、延長された第一区間について再び直線近似処理を行う（Ｓ１２〜１５）。そして、所定の範囲内ではあると判定されたら（Ｓ１７のＹｅｓ）、その直線近似処理を行った区間が第一区間かどうかを判断する（Ｓ１８）。

このとき、第一区間であると判断された場合には（Ｓ１８のＹｅｓ）、その近似直線の相関値が所定の値よりも大きいかどうかを判定する（Ｓ１９）。この判定において、近似直線の相関値が所定の値よりも大きければ、その近似直線を当該第一区間の近似直線として決定する。近似直線の相関値が所定の値以下であれば、当該第一区間を所定の視差値分だけ延長し（Ｓ１４）、延長された第一区間について再び直線近似処理を行い（Ｓ１２〜１５）、再び信頼性判定を行う（Ｓ１７〜Ｓ１９）。なお、第一区間でない区間については（Ｓ１８のＮｏ）、近似直線の相関値に関する判定処理（Ｓ１９）は実施しない。

その後、残りの区間があるかどうかを確認し（Ｓ２０）、もし残りの区間が無ければ、区分直線近似部１３４Ｂは区分直線近似処理を終了する。一方、残りの区間がある場合には（Ｓ２０のＹｅｓ）、前区間の幅に対応する距離を定数倍した距離に対応する幅をもった次の区間（第二区間）を設定する（Ｓ２１）。そして、この設定後に残っている区間が更に次に設定される区間（第三区間）よりも小さいか否かを判断する（Ｓ２２）。この判断において小さくないと判断されたなら、当該第二区間内の各視差値ｄに対応した路面候補点を抽出して直線近似処理を行うとともに（Ｓ１２〜Ｓ１５）、信頼性判定処理を行う（Ｓ１７〜Ｓ１９）。

このようにして順次区間を設定し、その区間の直線近似処理及び信頼性判定処理を行うという処理を繰り返していくと、いずれ、前記処理ステップＳ２２において、設定後に残っている区間が更に次に設定される区間よりも小さいと判断される（Ｓ２２のＹｅｓ）。この場合、設定された区間を延長して当該残っている区間を含めるようにし、これを最後の区間として設定する（Ｓ２３）。この場合、この最後の区間内の各視差値ｄに対応した路面候補点を抽出し（Ｓ１２）、抽出した路面候補点について直線近似処理を行ったら（Ｓ１５）、処理ステップＳ１６において最後の区間であると判断されるので（Ｓ１６のＹｅｓ）、区分直線近似部１３４Ｂは区分直線近似処理を終了する。

このようにして区分直線近似部１３４Ｂが各区間の直線近似処理を実行して得た各区間の近似直線は、図３０（ａ）に示すように、通常、区間境界で連続したものにはならない。そのため、本実施形態では、各区間の近似直線が区間境界において連続になるように、区分直線近似部１３４Ｂから出力される近似直線を図３０（ｂ）に示すように修正する。具体的には、例えば、区間の境界上における両区間の近似直線の端点間の中点を通るように両近似直線を修正する。

以上のようにして、路面形状検出部１３４においてＶマップ上の近似直線の情報が得られたら、次に、路面高さテーブル算出部１３５において、路面高さ（自車両の真下の路面部分に対する相対的な高さ）を算出してテーブル化する路面高さテーブル算出処理を行う。路面形状検出部１３４により生成されたＶマップ上の近似直線の情報から、撮像画像上の各行領域（画像上下方向の各位置）に映し出されている各路面部分までの距離を算出できる。一方、自車両の真下に位置する路面部分をその面に平行となるように自車両進行方向前方へ延長した仮想平面の自車両進行方向における各面部分が、撮像画像中のどの各行領域に映し出されるかは予め決まっており、この仮想平面（基準路面）はＶマップ上で直線（基準直線）により表される。路面形状検出部１３４から出力される近似直線を基準直線と比較することで、自車両前方の各路面部分の高さを得ることができる。簡易的には、路面形状検出部１３４から出力される近似直線上のＹ軸位置から、これに対応する視差値から求められる距離だけ自車両前方に存在する路面部分の高さを算出できる。路面高さテーブル算出部１３５では、近似直線から得られる各路面部分の高さを、必要な視差範囲についてテーブル化する。

なお、ある視差値ｄにおいてＹ軸位置がｙ’である地点に対応する撮像画像部分に映し出されている物体の路面からの高さは、当該視差値ｄにおける近似直線上のＹ軸位置をｙ０としたとき、（ｙ’−ｙ０）から算出することができる。一般に、Ｖマップ上における座標（ｄ，ｙ’）に対応する物体についての路面からの高さＨは、下記の式（２）より算出することができる。ただし、下記の式（２）において、「ｚ」は、視差値ｄから計算される距離（ｚ＝ＢＦ／（ｄ−ｏｆｆｓｅｔ））であり、「ｆ」はカメラの焦点距離を（ｙ’−ｙ０）の単位と同じ単位に変換した値である。ここで、「ＢＦ」は、ステレオカメラの基線長と焦点距離を乗じた値であり、「ｏｆｆｓｅｔ」は無限遠の物体を撮影したときの視差値である。
Ｈ ＝ ｚ×（ｙ’−ｙ０）／ｆ ・・・（２）

次に、Ｕマップの生成処理について説明する。
本実施形態では、Ｕマップ生成部１３６でＵマップ生成処理を実行する前に、Ｕマップ用視差データ選定部１４５において、前記視差画像生成部１３２で生成される各視差画素データのうち、対応するテクスチャ量が第２閾値以上であるという選定条件（第２条件）を満たす視差画素データを選定する処理を実行する。具体的には、テクスチャ量算出処理部１４３が算出した３値化テクスチャ量Ｔｑが「１」又は「２」である画素についての視差画素データを選定する。

Ｖマップ生成用には、最も大きい３値化テクスチャ量Ｔｑをもつ画素についての視差画素データのみを用いたのに対し、Ｕマップ生成用には、最も大きい３値化テクスチャ量Ｔｑと次に大きな３値化テクスチャ量Ｔｑをもつ画素についての視差画素データを用いる。これは、Ｖマップは路面情報の検出に用いるため、できるだけノイズ（大きな誤差を有する視差画素データ）が少ないことが望まれるのに対し、Ｕマップは後述すりょうにオブジェクト情報の検出に用いるため、できるだけ情報量（視差画素データの数）を増やして、オブジェクトの検出漏れを防止することが望まれるからである。

このようにしてＵマップ生成用の視差画素データを選定したら、次に、Ｕマップ生成部１３６において、Ｕマップ用視差データ選定部１４５が選定した視差画素データを用いてＵマップを生成するＵマップ生成処理を実行する。視差画像データに含まれる各視差画素データにおけるｘ方向位置とｙ方向位置と視差値ｄとの組（ｘ，ｙ，ｄ）を、Ｘ軸にｘ、Ｙ軸にｄ、Ｚ軸に頻度を設定して、Ｘ−Ｙの２次元ヒストグラム情報を作成する。これをＵマップと呼ぶ。本実施形態のＵマップ生成部１３６では、路面高さテーブル算出部１３５によってテーブル化された各路面部分の高さに基づいて、路面からの高さＨが所定の高さ範囲（たとえば２０ｃｍから３ｍ）にある視差画像の点（ｘ，ｙ，ｄ）についてだけＵマップを作成する。この場合、路面から当該所定の高さ範囲に存在する物体を適切に抽出することができる。なお、例えば、撮像画像の下側５／６の画像領域に対応する視差画像の点（ｘ，ｙ，ｄ）についてだけＵマップを作成するようにしてもよい。この場合、撮像画像の上側１／６は、ほとんどの場合、空が映し出されていて認識対象とする必要のある物体が映し出されていないためである。

図３１は、撮像部１１０Ａで撮像される基準画像の一例を模式的に表した画像例である。
図３２は、図３１の画像例に対応するＵマップである。
図３１に示す画像例では、路面の左右両側にガードレールが存在し、他車両としては、先行車両と対向車両がそれぞれ１台ずつ存在する。このとき、Ｕマップにおいては、図３２に示すように、左右のガードレールに対応する高頻度の点は、左右両端側から中央に向かって上方へ延びるような略直線状に分布する。一方、他車両に対応する高頻度の点は、左右のガードレールの間で、略Ｘ軸方向に平行に延びる線分の状態で分布する。なお、先行車両の背面部分又は対向車両の前面部分以外に、これらの車両の側面部分が映し出されているような状況にあっては、同じ他車両を映し出している画像領域内において視差が生じる。このような場合、図３２に示すように、他車両に対応する高頻度の点は、略Ｘ軸方向に平行に延びる線分と略Ｘ軸方向に対して傾斜した線分とが連結した状態の分布を示す。

次に、孤立領域検出部１３７について説明する。
図３３は、孤立領域検出部１３７で行う処理の流れを示すフローチャートである。
孤立領域検出部１３７では、Ｕマップ生成部１３６で生成されたＵマップの情報から、まず、Ｕマップの平滑化処理を行った後（Ｓ３１）、二値化処理を行う（Ｓ３２）。その後、値のある座標のラベリングを行い（Ｓ３３）、孤立領域を検出する。以下、それぞれの処理について説明する。

視差値には計算誤差等もあって分散があり、視差値がすべての画素について計算されているわけではないので、実際のＵマップは、図３２に示した模式図とは異なり、ノイズを含んでいる。そのため、ノイズを除去するためと、識別対象物（オブジェクト）を識別しやすくするため、Ｕマップを平滑化する処理を行う。この平滑化処理では、画像の平滑化と同様に、平滑化フィルタ（たとえば３×３画素の単純平均）を頻度値に対して適用する。これにより、ノイズと考えられるようなＵマップ上の地点の頻度が減少し、識別対象物（オブジェクト）の地点では頻度が周囲よりも高いグループとなる。その結果、後段の処理において孤立領域の検出を容易になる。

次に、このように平滑化されたＵマップの情報から、Ｕマップ上において頻度が周囲より高い孤立領域を検出する。この検出では、Ｕマップをまず二値化する処理を行う。この二値化処理には、例えば、特許第４０１８３１０号公報などに開示されている適応二値化方法を用いることができる。各識別対象物（オブジェクト）は、その高さ、形状、背景とのコントラスト差などに違いがあるので、各識別対象物にそれぞれ対応する孤立領域は、頻度値が大きいものもあれば小さいものもある。そのため、単一の閾値による二値化では適切に検出できない孤立領域が発生するおそれがある。これを防ぐためにも、上述した適応二値化方法を用いるのが好ましい。なお、二値化は、頻度の高い領域を「１」（黒）とし、頻度の低い領域を「０」（白）とする。

このように二値化処理で「１」の値（黒）をもつ地点（頻度値が二値化閾値より高い座標）をその連結性に基づいてラベリングし、同一ラベルが付いた領域を１つの孤立領域として検出する。ラベリングの方法は、図３４に示すように、注目座標Ａについてラベリングする際、この注目座標Ａに対して図中符号ａ_１、ａ_２、ａ_３、ａ_４の位置の座標に既にラベル付けされた座標が存在している場合には、その画素ａ_１，ａ_２，ａ_３，ａ_４のラベルと同一のラベルを割り当てる。もし、図３５に示すように、上述したａ_１、ａ_２、ａ_３、ａ_４の位置の座標に異なるラベルが付されている場合には、注目座標Ａとａ_１、ａ_２、ａ_３、ａ_４のすべての座標について、それらの中の最も小さい値のラベルを割り当る。

このようにして得られる各孤立領域について、その幅（Ｕマップ上のＸ軸方向長さ）と、その孤立領域内の最小視差値ｄから計算される当該孤立領域に映し出されている識別対象物（オブジェクト）と自車両との距離ｚとを用い、下記の式（３）より、当該孤立領域に対応する画像領域に映し出されている物体の幅Ｗを計算することができる。
Ｗ ＝ ｚ×（ｘｍａｘ−ｘｍｉｎ）／ｆ ・・・（３）
この物体の幅Ｗが、予め決められた範囲内にある孤立領域を、オブジェクト候補領域として決定する。

次に、視差画像の対応領域検出部１３８について説明する。
前記孤立領域検出部１３７によりオブジェクト候補領域として決定された孤立領域について、図３６に示すように、当該孤立領域が内接する矩形領域を設定したとき、この矩形領域の幅（Ｕマップ上のＸ軸方向長さ）は、当該孤立領域に対応する識別対象物（オブジェクト）の幅に対応する。また、設定した矩形領域の高さは、当該孤立領域に対応する識別対象物（オブジェクト）の奥行き（自車両進行方向長さ）に対応している。一方で、各孤立領域に対応する識別対象物（オブジェクト）の高さについては、この段階では不明である。視差画像の対応領域検出部１３８は、オブジェクト候補領域に係る孤立領域に対応したオブジェクトの高さを得るために、当該孤立領域に対応する視差画像上の対応領域を検出する。

図３７は、図３６に示したＵマップに対応する視差画像を模式的に示した説明図である。
視差画像の対応領域検出部１３８は、孤立領域検出部１３７から出力される孤立領域の情報に基づき、当該孤立領域の幅すなわちＸ軸方向座標がｘｍｉｎからｘｍａｘまでの範囲（検出幅）について、視差画像を所定のＹ軸方向範囲について走査し、当該孤立領域に設定されたＵマップ上での矩形領域の高さすなわちＵマップＹ軸方向座標（視差値）がｄｍｉｎからｄｍａｘまでの範囲の値を視差値とする画素を候補画素として抽出する。このときの走査範囲（視差画像のＹ軸方向範囲）は、例えば、視差画像上端から視差画像１／６だけ下の位置から、視差画像下方に向けて、最大視差ｄｍａｘから得られる路面までの範囲とすることができる。

このようにして抽出した候補画素群の中で、前記検出幅に対して視差画像Ｘ軸方向に所定の数以上の候補画素が存在する横方向ラインを、オブジェクト候補ラインとして決定する。次に、縦方向走査して、ある注目しているオブジェクト候補ラインの周囲に他のオブジェクト候補ラインが所定の密度以上で存在している場合、その注目しているオブジェクト候補ラインをオブジェクトラインとして判定する。

オブジェクト領域抽出部１３９は、各孤立領域に対応する各検出幅について、このようにして判定されたオブジェクトラインを探索し、これにより検出されたオブジェクトライン群の外接矩形を、図３８に示すように、視差画像上のオブジェクト領域として決定する。

図３９は、視差画像の対応領域検出部１３８及びオブジェクト領域抽出部１３９で行われる処理の流れを示すフローチャートである。
まず、Ｕマップ上の各孤立領域（島）の幅から、視差画像のＸ軸方向における探索範囲を設定する（Ｓ４１）。また、各孤立領域（島）の最大視差ｄｍａｘと路面高さとの関係から、視差画像のＹ軸方向における最大探索値ｙｍａｘを設定する。なお、最小探索値ｙｍｉｎは所定の値（撮像画像の上端から１／６だけ下の位置）が決められている。このようにして設定した探索範囲内で視差画像を探索し、当該孤立領域（島）における最小視差値ｄｍｉｎと最大視差値ｄｍａｘの範囲内にある画素を抽出し、これをオブジェクト候補画素とする（Ｓ４４）。その後、オブジェクト候補画素が視差画像Ｘ軸方向に一定以上の数で存在する横方向ラインをオブジェクト候補ラインとして抽出する（Ｓ４５）。そして、オブジェクト候補ラインの密度を計算し、その密度が所定の値より大きい場合は、その横方向ラインをオブジェクトラインと決定する（Ｓ４６）。最後に、決定されたオブジェクトラインで構成されるオブジェクトライン群の外接矩形を設定し、この外接矩形を視差画像内のオブジェクト領域として検出する（Ｓ４７）。

次に、オブジェクトタイプ分類部１４０について説明する。
前記オブジェクト領域抽出部１３９で抽出されるオブジェクト領域の高さ（ｙｏｍａｘ−ｙｏｍｉｎ）から、下記の式（４）より、そのオブジェクト領域に対応する画像領域に映し出されている識別対象物（オブジェクト）の実際の高さＨｏを計算できる。ただし、「ｚｏ」は、当該オブジェクト領域内の最小視差値ｄから計算される当該オブジェクト領域に対応するオブジェクトと自車両との距離であり、「ｆ」はカメラの焦点距離を（ｙｏｍａｘ−ｙｏｍｉｎ）の単位と同じ単位に変換した値である。
Ｈｏ ＝ ｚｏ×（ｙｏｍａｘ−ｙｏｍｉｎ）／ｆ ・・・（４）

同様に、オブジェクト領域抽出部１３９で抽出されるオブジェクト領域の幅（ｘｏｍａｘ−ｘｏｍｉｎ）から、下記の式（５）より、そのオブジェクト領域に対応する画像領域に映し出されている識別対象物（オブジェクト）の実際の幅Ｗｏを計算できる。
Ｗｏ ＝ ｚｏ×（ｘｏｍａｘ−ｘｏｍｉｎ）／ｆ ・・・（５）

また、当該オブジェクト領域に対応する画像領域に映し出されている識別対象物（オブジェクト）の奥行きＤｏは、当該オブジェクト領域に対応した孤立領域内の最大視差値ｄｍａｘと最小視差値ｄｍｉｎから、下記の式（６）より計算することができる。
Ｄｏ ＝ ＢＦ×（１／（ｄｍｉｎ−ｏｆｆｓｅｔ）−１／（ｄｍａｘ−ｏｆｆｓｅｔ）） ・・・（６）

オブジェクトタイプ分類部１４０は、このようにして計算できるオブジェクト領域に対応するオブジェクトの高さ、幅、奥行きの情報から、そのオブジェクトタイプの分類を行う。図４０に示す表は、オブジェクトタイプの分類を行うためのテーブルデータの一例を示すものである。これによれば、自車両前方に存在する識別対象物（オブジェクト）が、歩行者なのか、自転車なのか、小型車なのか、トラックなどか等を区別して認識することが可能となる。

次に、３次元位置決定部１４１について説明する。
検出されたオブジェクト領域に対応するオブジェクトまでの距離や、視差画像の画像中心と視差画像上のオブジェクト領域の中心との画像上の距離も把握されることから、オブジェクトの３次元位置を決定することができる。視差画像上のオブジェクト領域の中心座標を（ｒｅｇｉｏｎ＿ｃｅｎｔｅｒＸ，ｒｅｇｉｏｎ＿ｃｅｎｔｅｒＹ）とし、視差画像の画像中心座標を（ｉｍａｇｅ＿ｃｅｎｔｅｒＸ，ｉｍｇａｅ＿ｃｅｎｔｅｒＹ）としたとき、識別対象物（オブジェクト）の撮像部１１０Ａ，１１０Ｂに対する相対的な横方向位置および高さ方向位置は、下記の式（７）及び式（８）より計算できる。
Ｘｏ ＝ Ｚ×（ｒｅｇｉｏｎ＿ｃｅｎｔｅｒＸ−ｉｍａｇｅ＿ｃｅｎｔｅｒＸ）／ｆ ・・・（７）
Ｙｏ ＝ Ｚ×（ｒｅｇｉｏｎ＿ｃｅｎｔｅｒＹ−ｉｍａｇｅ＿ｃｅｎｔｅｒＹ）／ｆ ・・・（８）

次に、ガードレール検出部１４２について説明する。
図４１は、ガードレール検出部１４２で行われるガードレール検出処理の流れを示すフローチャートである。
路面の側方などに設置される側壁やガードレールは、一般に、路面から３０〜１００ｃｍの範囲内に存在するので、ガードレール検出処理の対象範囲として、この範囲に対応するＵマップ内の領域を選定する。その後、この対象範囲について、Ｕマップの頻度に重み付けを行い、Ｈｏｕｇｈ変換して（Ｓ５１）、図４２に示すような近似直線Ｌ１，Ｌ２を検出する（Ｓ５２）。この近似直線Ｌ１，Ｌ２の端点は、視差が大きい方の端点は画像の境界とし、視差が小さい方の端点は距離換算で例えば３０ｍの距離に相当する視差値とする。なお、Ｈｏｕｇｈ変換により直線が見つからなかった場合は、ガードレールは検出されない。

このような近似直線が得られたら、次に、図４３に示すように、近似直線上の座標位置を中心とした周囲の領域（たとえば５×５領域）について、頻度値の総和が所定の閾値を超えている座標位置を、ガードレール候補座標として検出する（Ｓ５３）。このようにして検出されるガードレール候補座標の間隔が所定の距離以下である場合には、それらのガードレール候補座標をつないでガードレール線分として決定する（Ｓ５４）。

その後、このようにして得られ得るガードレール線分の最小Ｘ座標ｘｇｍｉｎと最大Ｘ座標ｘｇｍａｘにそれぞれ対応する視差値ｄ１，ｄ２を、検出した近似直線の式から算出する。このとき、上述した路面形状検出部１３４で算出したｙとｄの近似直線より、該当する視差ｄ１，ｄ２における路面座標（ｙ１，ｙ２）が決定する。ガードレールは、路面の高さから３０ｃｍ以上１ｍ以下の範囲としているので、前記式（２）を利用し、視差画像上でのガードレールの高さ（３０ｃｍと１ｍ）として、ｙｇ１＿３０、ｙｇ１＿１００、ｙｇ２＿３０、ｙｇ２＿１００が決定される。

図４４は、図３９に示した画像例に対応する視差画像上に、ガードレール検出部１４２が検出したガードレール領域を示した説明図である。
視差画像上でのガードレール領域は、（ｘｇｍｉｎ，ｙｇ１＿３０）、（ｘｇｍｉｎ、ｙｇ１＿１００）、（ｘｇｍａｘ、ｙｇ２＿１００）、（ｘｇｍａｘ＿ｙｇ２＿３０）の４点で囲まれる領域（図中に網掛けした領域）となる。なお、ここでは左側のガードレールについて説明したが、右側のガードレールについても同様に検出できる。

次に、Ｖマップ生成部１３３の処理に用いる消失点情報について説明する。
消失点情報は、路面の消失点に対応する画像上の位置座標を示す情報である。この消失点情報は、撮像画像上に映し出される路面上の白線や車両動作情報などから特定することが可能である。

例えば、自車両１００の前輪の舵角θが車両動作情報として取得できる場合には、図４５に示すように、その舵角θから消失点の画像左右方向位置Ｖｘを検出することが可能である。すなわち、カメラレンズから距離Ｌだけ離れた位置におけるカメラからの水平方向への位置ズレ量は、Ｌ×ｔａｎθから求めることができる。したがって、画像センサ上の水平方向位置ズレ量をΔｘは、カメラの焦点距離をｆとし、画像センサの画素サイズをｐｉｘｅｌｓｉｚｅとすると、下記の式（３）から求めることができる。この式（３）を用いることにより、画像センサのＸ方向サイズをｘｓｉｚｅとすると、消失点のＸ座標Ｖｘは、下記の式（４）から求めることができる。
Δｘ ＝ ｆ × ｔａｎθ ／ ｐｉｘｅｌｓｉｚｅ ・・・（３）
Ｖｘ ＝ ｘｓｉｚｅ／２ ＋ Δｘ ・・・（４）

また、例えば、自車両１００のヨーレート（回転角速度）ωと、車速ｖが車両動作情報として取得できる場合には、図４６に示すように、そのヨーレートωと車速ｖとを用いて消失点の画像左右方向位置Ｖｘを検出することが可能である。すなわち、自車両１００が距離Ｌだけ進んだときに想定される水平位置のズレ量は、自車両１００の回転半径ｒ（ｒ＝Ｌ／θ）と回転角とから、（１−ｃｏｓθ）となる。したがって、画像センサ上の水平方向位置ズレ量Δｘは、下記の式（５）から求めることができる。この式（５）を用いて得られるΔｘを用いて、消失点のＸ座標Ｖｘは、前記の式（４）から求めることができる。このときの距離Ｌは、例えば１００ｍと設定する。
Δｘ ＝ ±（１−ｃｏｓθ）×ｆ×ｒ／Ｌ／ｐｉｘｅｌｓｉｚｅ ・・・（５）

このようにして求まる消失点のＸ座標Ｖｘが画像外を示すものとなった場合、消失点情報のＸ座標Ｖｘとして、画像端部を設定する。

一方、消失点のＹ座標Ｖｙについては、直前の処理によって求めた路面の近似直線の切片から求めることができる。消失点のＹ座標Ｖｙは、Ｖマップ上において、上述した処理によって求まる路面の近似直線の切片に対応している。したがって、直前の処理によって求めた路面の近似直線の切片をそのまま消失点のＹ座標Ｖｙとして決定してもよい。

ただし、自車両１００が加速している時には、自車両後方部分が加重され、自車両１００の姿勢は、自車両前方が鉛直方向上側を向くような姿勢となる。この姿勢変化により、加速時における路面の近似直線は、図４７に示すように、等速時における路面の近似直線よりもＶマップ上において下側へシフトしたものとなる。逆に、減速時における路面の近似直線は、図４７に示すように、等速時における路面の近似直線よりもＶマップ上において上側へシフトしたものとなる。したがって、直前の処理によって求めた路面の近似直線の切片を、車速前後方向における加速度情報（車両動作情報）によって補正したものを、消失点のＹ座標Ｖｙとして決定するのが好ましい。

〔変形例１〕
次に、前記実施形態についての他の変形例（以下「変形例１」という。）について説明する。
前記実施形態においては、自車両進行方向における路面の高さ変化（自車両進行方向における路面の起伏）を把握することはできるが、路面幅方向における路面高さの違い（路面幅方向における路面の傾斜）を把握することはできない。本変形例１では、路面幅方向における路面の傾斜を把握することができる例について説明する。

図４８は、本変形例１における主要な処理の流れを示すフローチャートである。
まず、前記実施形態と同様、図４９に示すように、路面の消失点（Ｖｘ，Ｖｙ）が示す消失点の画像上下方向位置Ｖｙから所定のｏｆｆｓｅｔ値を引いた画像上下方向位置（Ｖｙ−ｏｆｆｓｅｔ値）の地点Ｗと、図４９中に示したＡＢＣＤの各点で囲まれた領域を設定する。そして、図４９に示すように、視差画像上において、路面の消失点（Ｖｘ，Ｖｙ）と視差画像の下端中心Ｍ（ｘｓｉｚｅ／２，ｙｓｉｚｅ）とを結ぶ直線を境界にして、ＷＡＢＣＤの各点で囲まれた領域を、ＷＡＢＭの各点で囲まれた左領域と、ＷＭＣＤの各点で囲まれた右領域とに左右二分割して、各領域をそれぞれ路面画像候補領域として設定する。その後、各路面画像候補領域に対し、それぞれ個別に上述した実施形態の方法でＶマップを作成する（Ｓ７１）。このようにして視差画像上の路面画像候補領域を複数の領域に分割して各領域について個別に作成した部分的なＶマップを組み合わせたものを、多重Ｖマップという。

その後、それぞれの領域のＶマップから、領域ごとに、上述した実施形態の方法で路面に対応する区分近似直線を得る。また、図５０に示すように、消失点Ｖ（Ｖｘ，Ｖｙ）と同じｙ座標を持つ地点Ｐ（ｘｓｉｚｅ／３，Ｖｙ）と地点Ｂ（０，ｙｓｉｚｅ）とを結ぶ直線Ｌ３を作成する。また、消失点Ｖ（Ｖｘ，Ｖｙ）と同じｙ座標を持つ他の地点Ｑ（ｘｓｉｚｅ×２／３，Ｖｙ）と地点Ｃ（ｘｓｉｚｅ，ｙｓｉｚｅ）とを結ぶ直線Ｌ４を作成する。そして、それぞれの直線上における点（ｘ，ｙ）に対し、左右の領域についてそれぞれ得た区分近似直線上の点（ｙ，ｄ）を関連付け、（ｘ，ｙ，ｄ）の関係を作成する。これにより、図５０に示す左右の直線Ｌ３，Ｌ４上における路面の高さを決定することができる。

なお、地点Ｐ，ＱのＸ座標を消失点ＶのＸ座標と同じ位置にすると、地点Ｐと地点Ｑとの間の路面高さが異なるときに、その地点で路面高さの急激な変化が生じ、不具合が起こす。逆に、地点Ｐ，ＱとのＸ方向距離が離れすぎると、路面の実情（画像内では路面が遠くに行くほど狭くなる）と整合しない。本変形例１においては、これらを考慮して、地点Ｐ，ＱのＸ座標は、それぞれ、ｘｓｉｚｅ／３、ｘｓｉｚｅ×２／３としている。

次に、図５０に示した左右の直線Ｌ３，Ｌ４以外の路面の高さを決定する。まず、図５１に示すように、ひとつの画像走査ライン（視差画像Ｘ軸方向ライン）Ｌ５を設定する。この画像走査ラインＬ５と左の直線Ｌ３との交点を（ｘＬ，ｙ，ｄＬ）とし、この画像走査ラインＬ５と右の直線Ｌ４との交点を（ｘＲ，ｙ，ｄＲ）とする。画像走査ラインＬ５上における両交点の間の視差値は、図５２に示すように線形補間するとともに、画像走査ラインＬ５上における両交点の左右外側の視差値は、それぞれの交点における視差値ｄＲ，ｄＬと同じ視差値を割り当てる。これにより、路面幅方向に路面が傾斜している場合についても、その傾斜を反映させた路面形状を検出することができる（Ｓ７２，Ｓ７３）。なお、画像走査ラインＬ５の開始端は地点Ｂと地点Ｃとを通るラインであり、終端は地点Ｐと地点Ｑとを通るラインである。

〔変形例２〕
次に、前記実施形態についての他の変形例（以下「変形例２」という。）について説明する。
実際の路面の中には、路面の排水を良くするために路面の幅方向中央部分が高くなっているかまぼこ型の形状を示す路面がある。このような路面については、前記変形例１の場合には、路面幅方向における路面傾斜を適切に検出することができない。本変形例２においては、前記変形例１よりもより高精度に路面幅方向における路面傾斜を把握することができるものである。

具体的に説明すると、図５３に示すように、視差画像上において、視差画像の下端を４等分したときの画像左側１／４の地点Ｌ（ｘｓｉｚｅ／４，ｙｓｉｚｅ）と地点Ｗとを結ぶ直線Ｌ６を設定するとともに、画像右側１／４の地点Ｒ（３／４×ｘｓｉｚｅ，ｙｓｉｚｅ）と地点Ｗとを結ぶ直線Ｌ７を設定する。本変形例２では、これらの直線Ｌ６，Ｌ７を境界にして、ＷＡＢＣＤの各点で囲まれた領域を、ＷＡＢＬの各点で囲まれた左領域と、ＷＬＲの各点で囲まれた中央領域と、ＷＲＣＤの各点で囲まれた右領域とに、三分割して、各領域をそれぞれ路面画像候補領域として設定する。その後、各路面画像候補領域に対し、それぞれ個別に上述した実施形態の方法でＶマップを作成する。その後、それぞれの領域のＶマップから、領域ごとに、上述した実施形態の方法で路面に対応する区分近似直線を得る。

また、図５４に示すように、本変形例２においては、前記変形例１の場合と同様に、地点Ｐ（ｘｓｉｚｅ／３，Ｖｙ）と地点Ｂ（０，ｙｓｉｚｅ）とを結ぶ直線Ｌ３を作成するとともに、地点Ｑ（ｘｓｉｚｅ×２／３，Ｖｙ）と地点Ｃ（ｘｓｉｚｅ，ｙｓｉｚｅ）とを結ぶ直線Ｌ４を作成するほか、新たに、路面の消失点Ｖと視差画像の下端中心Ｍ（ｘｓｉｚｅ／２，ｙｓｉｚｅ）とを結ぶ直線Ｌ８を作成する。そして、それぞれの直線上における点（ｘ，ｙ）に対し、先に求めた３つの領域についてそれぞれ得た区分近似直線上の点（ｙ，ｄ）を関連付け、（ｘ，ｙ，ｄ）の関係を作成する。これにより、図５４に示す３つの直線Ｌ３，Ｌ４，Ｌ８上における路面の高さを決定することができる。

次に、図５４に示した３つの直線Ｌ３，Ｌ４，Ｌ８以外の路面の高さを決定する。まず、前記変形例１と同様、図５４に示すように、ひとつの画像走査ライン（視差画像Ｘ軸方向ライン）Ｌ５を設定する。この画像走査ラインＬ５と左の直線Ｌ３との交点を（ｘＬ，ｙ，ｄＬ）とし、この画像走査ラインＬ５と右の直線Ｌ４との交点を（ｘＲ，ｙ，ｄＲ）とし、この画像走査ラインＬ５と中央の直線Ｌ８との交点を（ｘＭ，ｙ，ｄＭ）とする。画像走査ラインＬ５上における各交点の間の視差値は、図５５に示すように線形補間するとともに、画像走査ラインＬ５上における左右の交点の左右外側の視差値は、それぞれの左右交点における視差値ｄＲ，ｄＬと同じ視差値を割り当てる。これにより、路面幅方向に路面がかまぼこ形状に傾斜している場合についても、その傾斜を反映させた路面形状を検出することができる。

なお、変形例１および変形例２は、視差画像をそれぞれ二分割、三分割する例を示しているが、同様の構成で視差画像の分割数を増やすことで、より精確な路面の形状の検出が可能となる。

以上のように、本実施形態においては、路面高さ（自車両進行方向における路面の起伏や路面幅方向における路面傾斜など）を高い精度で検出することができる。路面高さの検出精度が高ければ、路面の高さを利用して検出するオブジェクトの検出精度も向上し、歩行者や他車両などのオブジェクト分類の精度も向上する結果、オブジェクトへの衝突回避の確率を向上させ、道路交通の安全に貢献することが可能である。

以上に説明したものは一例であり、本発明は、次の態様毎に特有の効果を奏する。
（態様Ａ）
路面等の移動面上を移動する自車両１００等の移動体に搭載された撮像部１１０Ａ，１１０Ｂ等の複数の撮像手段により移動体周囲を撮像して得られる複数の撮像画像から生成される視差画像情報に基づいて、該移動体周囲の情報を検出する情報検出装置において、少なくとも１つの撮像画像（基準画像）における各算出処理単位領域（各画素）のテクスチャ量等の特徴量を算出するテクスチャ量算出処理部１４３等の特徴量算出手段と、前記特徴量が第１条件を満たす算出処理単位領域に対応する視差画像情報を用いて、前記移動面の情報を検出する移動面情報検出処理を行うＶマップ用視差データ選定部１４４、Ｖマップ生成部１３３、路面形状検出部１３４等の移動面情報検出手段と、前記特徴量が前記第１条件とは異なる第２条件を満たす算出処理単位領域に対応する視差画像情報を用いて、前記移動体周囲に存在する前記移動面とは異なるオブジェクトやガードレール等の検出対象物の情報を検出するＵマップ用視差データ選定部１４５、Ｕマップ生成部１３６、孤立領域検出部１３７、視差画像の対応領域検出部１３８、オブジェクト領域抽出部１３９、ガードレール検出部１４２等の対象物情報検出処理を行う対象物情報検出手段とを有することを特徴とする。
これによれば、移動面の情報を検出する移動面情報検出処理と、移動面とは異なる検出対象物の情報を検出する対象物情報検出処理との間で、その処理に用いられる視差画像情報が異なっている。具体的には、移動面情報検出処理では、特徴量が第１条件を満たす算出処理単位領域に対応する視差画像情報を用い、対象物情報検出処理では、特徴量が前記第１条件とは異なる第２条件を満たす算出処理単位領域に対応する視差画像情報を用いる。したがって、移動面情報検出処理に適した視差画像情報が得られるように第１条件を設定し、対象物情報検出処理に適した視差画像情報が得られるように第２条件を設定するということが可能となる。ここでいう特徴量は、当該画素についての視差値を算出する際に行われるマッチング処理時のマッチング精度と高い相関関係のあるパラメータが設定される。よって、特徴量が大きな画素ほど、マッチング処理の精度が高く、算出される視差値に誤差の含まれる可能性が低いという関係になる。よって、特徴量の違いを利用することで、視差画像情報の情報量が十分な移動面情報検出処理については誤差の小さな視差画像情報に限定して処理を行うとともに、視差画像情報の情報量が不十分となりやすい対象物情報検出処理については視差画像情報をあまり限定せずに処理を行うことが可能となる。その結果、移動面情報検出処理と対象物情報検出処理との両方において、それぞれ高精度な検出が可能となる視差画像情報を用いた情報検出処理を行うことができる。

（態様Ｂ）
前記態様Ａにおいて、前記特徴量は、前記視差画像情報を生成する際に実行するマッチング処理のマッチング精度と相関関係のあるものであることを特徴とする。
これによれば、移動面情報検出処理と対象物情報検出処理との両方にそれぞれ適切な視差画像情報を選定することができる。

（態様Ｃ）
前記態様Ｂにおいて、前記特徴量は、前記少なくとも１つの撮像画像の画素値の変化が大きい算出処理単位領域ほど大きな値をとるものであることを特徴とする。
これによれば、適切な特徴量を簡易に算出することが可能となる。

（態様Ｄ）
前記態様Ｂ又はＣにおいて、前記第１条件は、前記特徴量が第１閾値ｔ１以上であるという条件であり、前記第２条件は、前記特徴量が前記第１閾値よりも小さい第２閾値ｔ２以上であるという条件であることを特徴とする。
これによれば、移動面情報検出処理と対象物情報検出処理との両方にそれぞれ適切な視差画像情報を簡易に選定することができる。

（態様Ｅ）
前記態様Ｄにおいて、前記第１閾値及び前記第２閾値を用いて前記特徴量を３値化する３値化部１４３Ｃ等の３値化手段を有し、前記対象物情報検出手段は、前記３値化のうちの最も大きな値が割り当てられた算出処理単位領域に対応する視差画像情報を用いて、前記対象物情報検出処理を行い、前記移動面情報検出手段は、前記３値化のうち、最も大きな値と次に大きな値とが割り当てられた算出処理単位領域に対応する視差画像情報を用いて、前記対象物情報検出処理を行うことを特徴とする。
これによれば、テクスチャ量が３値化データとなり、後段の処理データ量を減らすことができる。

（態様Ｆ）
前記態様Ｂ〜Ｅのいずれかの態様において、前記少なくとも１つの撮像画像における２以上の画素で構成される各平均値算出領域の平均画素値を算出する平均輝度算出部１４３Ｄ等の平均画素値算出手段と、各算出処理単位領域に対応する平均値算出領域の平均画素値に応じて、当該算出処理単位領域についての第１条件及び第２条件の少なくとも一方の条件を変更する閾値セット選択部１４３Ｅ等の条件変更手段とを有することを特徴とする。
平均輝度が大きいほど、画像のコントラストが高いと考えられるので高めのテクスチャ量が算出されやすく、平均輝度が小さいほど、画像のコントラストが低いと考えられるので、低めのテクスチャ量が算出されやすい。本態様では、このことを考慮して、移動面情報検出処理と対象物情報検出処理との両方にそれぞれ適切な視差画像情報を選定することができる。

（態様Ｇ）
前記態様Ａ〜Ｆのいずれかの態様において、前記対象物情報検出手段は、前記移動面情報検出手段が検出した移動面の情報も用いて、前記検出対象物の情報を検出する対象物情報検出処理を行うことを特徴とする。
これによれば、検出対象物の情報検出をより高精度に行うことが可能となる。

（態様Ｈ）
移動面上を移動する移動体の周囲の情報を検出する情報検出手段と、前記情報検出手段の検出結果に基づいて、前記移動体に搭載された所定の機器を制御する車両走行制御ユニット１０６等の移動体機器制御手段とを備えた移動体機器制御システムにおいて、前記情報検出手段として、前記態様Ａ〜Ｇのいずれかの態様に係る情報検出装置を用いたことを特徴とする。
これによれば、移動体に搭載された所定の機器をより高精度に制御することが可能となる。

（態様Ｉ）
所定の機器を搭載して移動面上を移動する移動体において、前記所定の機器を制御する手段として、前記態様Ｈに係る移動体機器制御システムを用いたことを特徴とする。
これによれば、搭載された所定の機器がより高精度に制御される移動体を提供することが可能となる。

（態様Ｊ）
移動面上を移動する移動体に搭載された複数の撮像手段により移動体周囲を撮像して得られる複数の撮像画像から生成される視差画像情報に基づいて、該移動体周囲の情報を検出する情報検出装置のコンピュータに実行させるための情報検出用プログラムであって、少なくとも１つの撮像画像における各算出処理単位領域の特徴量を算出する特徴量算出手段、前記特徴量が第１条件を満たす算出処理単位領域に対応する視差画像情報を用いて、前記移動面の情報を検出する移動面情報検出処理を行う移動面情報検出手段、及び、前記特徴量が前記第１条件とは異なる第２条件を満たす算出処理単位領域に対応する視差画像情報を用いて、前記移動体周囲に存在する前記移動面とは異なる検出対象物の情報を検出する対象物情報検出処理を行う対象物情報検出手段として、前記コンピュータを機能させることを特徴とする。
これによれば、移動面情報検出処理と対象物情報検出処理との両方において、それぞれ高精度な検出が可能となる視差画像情報を用いた情報検出処理を行うことが可能となる。
なお、このプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録された状態で配布したり、入手したりすることができる。また、このプログラムを乗せ、所定の送信装置により送信された信号を、公衆電話回線や専用線、その他の通信網等の伝送媒体を介して配信したり、受信したりすることでも、配布、入手が可能である。この配信の際、伝送媒体中には、コンピュータプログラムの少なくとも一部が伝送されていればよい。すなわち、コンピュータプログラムを構成するすべてのデータが、一時に伝送媒体上に存在している必要はない。このプログラムを乗せた信号とは、コンピュータプログラムを含む所定の搬送波に具現化されたコンピュータデータ信号である。また、所定の送信装置からコンピュータプログラムを送信する送信方法には、プログラムを構成するデータを連続的に送信する場合も、断続的に送信する場合も含まれる。

１００ 自車両
１０１ 撮像ユニット
１０２ 画像解析ユニット
１０６ 車両走行制御ユニット
１１０Ａ，１１０Ｂ 撮像部
１２０ 処理ハードウェア部
１２１ 視差演算部
１２２ 記憶手段
１３１ 平行化画像生成部
１３２ 視差画像生成部
１３３ Ｖマップ生成部
１３４ 路面形状検出部
１３５ 路面高さテーブル算出部
１３６ Ｕマップ生成部
１３７ 孤立領域検出部
１３８ 視差画像の対応領域検出部
１３９ オブジェクト領域抽出部
１４０ オブジェクトタイプ分類部
１４１ ３次元位置決定部
１４２ ガードレール検出部
１４３ テクスチャ量算出処理部
１４３Ａ テクスチャ量算出部
１４３Ｂ 閾値セット部
１４３Ｃ ３値化部
１４３Ｄ 平均輝度算出部
１４３Ｅ 閾値セット選択部
１４４ Ｖマップ用視差データ選定部
１４５ Ｕマップ用視差データ選定部

特開２０１０−２７１９６４号公報

Claims (10)

1. 移動面上を移動する移動体に搭載された複数の撮像手段により移動体周囲を撮像して得られる複数の撮像画像から生成される視差画像情報に基づいて、該移動体周囲の情報を検出する情報検出装置において、
   少なくとも１つの撮像画像における各算出処理単位領域の特徴量を算出する特徴量算出手段と、
   前記特徴量が第１条件を満たす算出処理単位領域に対応する視差画像情報を用いて、前記移動面の情報を検出する移動面情報検出処理を行う移動面情報検出手段と、
   前記特徴量が前記第１条件とは異なる第２条件を満たす算出処理単位領域に対応する視差画像情報を用いて、前記移動体周囲に存在する前記移動面とは異なる検出対象物の情報を検出する対象物情報検出処理を行う対象物情報検出手段とを有することを特徴とする情報検出装置。
2. 請求項１の情報検出装置において、
   前記特徴量は、前記視差画像情報を生成する際に実行するマッチング処理のマッチング精度と相関関係のあるものであることを特徴とする情報検出装置。
3. 請求項２の情報検出装置において、
   前記特徴量は、前記少なくとも１つの撮像画像の画素値の変化が大きい算出処理単位領域ほど大きな値をとるものであることを特徴とする情報検出装置。
4. 請求項２又は３の情報検出装置において、
   前記第１条件は、前記特徴量が第１閾値以上であるという条件であり、
   前記第２条件は、前記特徴量が前記第１閾値よりも小さい第２閾値以上であるという条件であることを特徴とする情報検出装置。
5. 請求項４の情報検出装置において、
   前記第１閾値及び前記第２閾値を用いて前記特徴量を３値化する３値化手段を有し、
   前記対象物情報検出手段は、前記３値化のうちの最も大きな値が割り当てられた算出処理単位領域に対応する視差画像情報を用いて、前記対象物情報検出処理を行い、
   前記移動面情報検出手段は、前記３値化のうち、最も大きな値と次に大きな値とが割り当てられた算出処理単位領域に対応する視差画像情報を用いて、前記対象物情報検出処理を行うことを特徴とする情報検出装置。
6. 請求項２乃至５のいずれか１項に記載の情報検出装置において、
   前記少なくとも１つの撮像画像における２以上の画素で構成される各平均値算出領域の平均画素値を算出する平均画素値算出手段と、
   各算出処理単位領域に対応する平均値算出領域の平均画素値に応じて、当該算出処理単位領域についての第１条件及び第２条件の少なくとも一方の条件を変更する条件変更手段とを有することを特徴とする情報検出装置。
7. 請求項１乃至６のいずれか１項に記載の情報検出装置において、
   前記対象物情報検出手段は、前記移動面情報検出手段が検出した移動面の情報も用いて、前記検出対象物の情報を検出する対象物情報検出処理を行うことを特徴とする情報検出装置。
8. 移動面上を移動する移動体の周囲の情報を検出する情報検出手段と、
   前記情報検出手段の検出結果に基づいて、前記移動体に搭載された所定の機器を制御する移動体機器制御手段とを備えた移動体機器制御システムにおいて、
   前記情報検出手段として、請求項１乃至７のいずれか１項に記載の情報検出装置を用いたことを特徴とする移動体機器制御システム。
9. 所定の機器を搭載して移動面上を移動する移動体において、
   前記所定の機器を制御する手段として、請求項８の移動体機器制御システムを用いたことを特徴とする移動体。
10. 移動面上を移動する移動体に搭載された複数の撮像手段により移動体周囲を撮像して得られる複数の撮像画像から生成される視差画像情報に基づいて、該移動体周囲の情報を検出する情報検出装置のコンピュータに実行させるための情報検出用プログラムであって、
    少なくとも１つの撮像画像における各算出処理単位領域の特徴量を算出する特徴量算出手段、
    前記特徴量が第１条件を満たす算出処理単位領域に対応する視差画像情報を用いて、前記移動面の情報を検出する移動面情報検出処理を行う移動面情報検出手段、及び、
    前記特徴量が前記第１条件とは異なる第２条件を満たす算出処理単位領域に対応する視差画像情報を用いて、前記移動体周囲に存在する前記移動面とは異なる検出対象物の情報を検出する対象物情報検出処理を行う対象物情報検出手段として、前記コンピュータを機能させることを特徴とする情報検出用プログラム。

Images