JPWO2017158964A1 - 画像処理装置、移動体機器制御システム、画像処理用プログラム及び画像処理方法 - Google Patents

Abstract

距離画像情報に基づいて移動体移動方向前方における移動面の情報を取得する画像処理を実行する画像処理装置において、撮像画像を上下方向に複数分割して得られる各行領域内における距離値の頻度分布を示す距離ヒストグラム情報を生成する手段と、距離ヒストグラム情報を距離値に応じて区分けして得られる複数の区画ごとに、所定の頻度閾値を超える頻度をもった距離値の中から移動面の距離値が示す特徴に合致した一群の距離値を抽出し、抽出された一群の距離値が所定のエラー条件を満たさない区画については、該一群の距離値を用いて移動面の情報を生成する処理を行い、所定のエラー条件を満たす区画については、該一群の距離値を用いずに直線補間処理等の所定のエラー処理を実行する手段とを有する。

Description

本発明は、画像処理装置、移動体機器制御システム、画像処理用プログラム及び画像処理方法に関するものである。

従来、路面上を移動する自動車の前方領域（撮像領域）をステレオカメラによって撮像して距離画像情報を生成し、その距離画像情報に基づいて路面情報を取得する画像処理装置が知られている。

例えば、特許文献１には、自動車等の移動体前方についての視差画像情報から、撮像画像を上下方向に複数分割して得られる各行領域内における視差値の頻度分布を示す視差ヒストグラム情報（Ｖマップ情報）を生成し、これを用いて路面等の移動面の情報を取得する画像処理装置が開示されている。この画像処理装置では、視差ヒストグラム情報に基づき、視差値ごとの最大頻度をもつ等の移動面の特徴に合致した画素（Ｖマップ上の画素）を移動面候補点として抽出し、抽出した移動面候補点を直線近似する直線近似処理を行う。このとき、視差ヒストグラム情報を視差値に応じて３つの区画に区分けし、視差値の大きな区画（実際の距離が移動体に近い区画）から順に、区画ごとに直線近似処理を行う。

特許文献１に開示の画像処理装置では、ある区画において、抽出された移動面候補点の数が所定値以下である場合には、移動面候補点の数が所定値を超えるまでその区画の視差値範囲を拡大することにより、移動面に対応する適切な近似直線を得る。また、ある区画において、得られた近似直線の傾きと切片が所定の範囲から外れている場合も、近似直線の傾きと切片が所定の範囲内となるまでその区画の視差値範囲を拡大することにより、移動面に対応する適切な近似直線を得る。

また、特許文献１に開示の画像処理装置では、得られた各区画の近似直線がその境界部分で互いに連続するように、当該区画よりも視差値が大きい側に隣接する区画の近似直線の終端に当該区画の近似直線の始端を一致させる修正処理を行う。あるいは、互いに隣接する２つの区画の境界部分における両区画の近似直線の端点間の中点を通るように、両区画の近似直線を修正する修正処理を行う。

一般に、移動体が移動する移動面の各地点までの距離や各地点の高さなどの移動面情報は、これを利用する後段処理（移動体の移動方向に存在する物体を検出する物体検出処理など）において、非常に有益な情報である。ところが、精度の悪い移動面情報がそのまま後段処理で利用されてしまうと、その後段処理において適切な処理を実行できないという問題が生じる。特許文献１に記載の画像処理装置においては、抽出された移動面候補点の数が所定値以下である場合や、得られた近似直線の傾きと切片が所定の範囲から外れている場合などのエラー条件を満たすとき、その区画の視差値範囲を拡大したり、近似直線の修正処理を行ったりする。しかしながら、特許文献１に記載の画像処理装置では、エラー条件を満たす場合であっても、その区画で抽出された移動面候補点を継続して用いるため、抽出された移動面候補点の誤りが多い場合などの特定の条件下では、移動面に対応する適切な近似直線が得られず、精度の悪い移動面情報が後段処理で利用されてしまう場合がある。

なお、この課題は、複数の撮像手段により得られる複数の撮像画像から生成された視差画像情報に基づいて移動面情報を取得する場合に限らず、広く、移動体移動方向前方の距離画像情報に基づいて移動面情報を取得する場合には、同様に生じ得る。

上述した課題を解決するために、本発明は、移動体移動方向前方の距離画像情報に基づいて、移動体移動方向前方における移動面の情報を取得する画像処理を実行する画像処理装置において、前記距離画像情報に基づいて、撮像画像を上下方向に複数分割して得られる各行領域内における距離値の頻度分布を示す距離ヒストグラム情報を生成する距離ヒストグラム情報生成手段と、前記距離ヒストグラム情報を距離値に応じて区分けして得られる複数の区画ごとに、所定の頻度閾値を超える頻度をもった距離値の中から移動面の距離値が示す特徴に合致した一群の距離値を抽出し、抽出された一群の距離値が所定のエラー条件を満たさない区画については、該一群の距離値を用いて移動面の情報を生成する処理を行い、抽出された一群の距離値が所定のエラー条件を満たす区画については、該一群の距離値を用いずに所定のエラー処理を実行する移動面情報処理手段とを有することを特徴とする。

本発明によれば、精度の悪い移動面情報が後段処理で利用されてしまう事態を抑制可能となるという優れた効果が奏される。

図１は、実施形態における車載機器制御システムの概略構成を示す模式図である。 図２は、同車載機器制御システムを構成する撮像ユニットの概略構成を示す模式図である。 図３は、図２における画像処理基板および画像解析ユニットで実現される物体検出処理を説明するための処理ブロック図である。 図４Ａは、視差画像の視差値分布の一例を示す説明図である。 図４Ｂは、図４Ａの視差画像の行ごとの視差値頻度分布を示す視差分布マップ（Ｖマップ）を示す説明図である。 図５は、一方の撮像部で撮像される基準画像の一例を模式的に表した画像例である。 図６は、図５の画像例に対応するＶマップを示す説明図である。 図７は、実施形態における抽出条件を説明するためのＶマップを示す説明図である。 図８は、実施形態における路面候補点検出処理の流れを示すフローチャートである。 図９は、Ｖマップを視差値に応じて７つの区画に区分けした例を示す説明図である。 図１０は、実施形態における区分直線近似処理の流れを示すフローチャートである。 図１１は、エラー条件１を説明するためのＶマップの一部を示す説明図である。 図１２は、エラー条件２を説明するためのＶマップの一部を示す説明図である。 図１３は、エラー条件３を説明するためのＶマップの一部を示す説明図である。 図１４は、エラー条件４を説明するためのＶマップの一部を示す説明図である。 図１５は、エラー条件５を説明するためのＶマップの第二区画を示す説明図である。

以下、本発明に係る画像処理装置を、移動体機器制御システムである車載機器制御システムにおける物体検出装置に適用した一実施形態について説明する。

図１は、本実施形態における車載機器制御システムの概略構成を示す模式図である。本車載機器制御システムは、移動体である自動車などの自車両１００に搭載された撮像ユニット１０１で撮像した自車両進行方向前方領域（撮像領域）の撮像画像データから検出対象物を検出し、その検知結果を利用して各種車載機器の制御を行う。

本実施形態の車載機器制御システムには、走行する自車両１００の進行方向前方領域を撮像領域として撮像する撮像ユニット１０１が設けられている。この撮像ユニット１０１は、例えば、自車両１００のフロントガラス１０５のルームミラー付近に設置される。撮像ユニット１０１の撮像によって得られる撮像画像データ等の各種データは、画像解析ユニット１０２に入力される。画像解析ユニット１０２は、撮像ユニット１０１から送信されてくるデータを解析して、撮像領域内に存在する他車両等の検出対象物を検出する。

画像解析ユニット１０２の検出結果は、車両走行制御ユニット１０６に送られる。車両走行制御ユニット１０６は、画像解析ユニット１０２が検出した検出結果に基づいて、自車両１００の運転者へ表示モニタ１０３を用いて警告を報知したり、自車両１００のハンドルやブレーキを制御するなどの走行支援制御を行ったりする。

図２は、撮像ユニット１０１の概略構成を示す模式図である。撮像ユニット１０１は、撮像手段としての２つの撮像部１１０Ａ，１１０Ｂを備えたステレオカメラを備えており、２つの撮像部１１０Ａ，１１０Ｂは同一のものである。各撮像部１１０Ａ，１１０Ｂは、それぞれ、撮像レンズ１１１Ａ，１１１Ｂと、受光素子が二次元配置された画像センサ１１３Ａ，１１３Ｂと、画像センサコントローラ１１５Ａ，１１５Ｂとから構成されている。画像センサコントローラ１１５Ａ，１１５Ｂは、画像センサ１１３Ａ，１１３Ｂの露光制御、画像読み出し制御、外部回路との通信、画像データの送信等の役割を担う。画像センサコントローラ１１５Ａ，１１５Ｂからは、画像センサ１１３Ａ，１１３Ｂから出力されるアナログ電気信号（画像センサ上の各受光素子が受光した受光量）をデジタル電気信号に変換した撮像画像データ（輝度画像データ）が出力される。

また、撮像ユニット１０１は、２つの撮像部１１０Ａ，１１０Ｂに対してデータバス及びシリアルバスで接続された画像処理基板１２０を備えている。画像処理基板１２０には、ＣＰＵ（Central Processing Unit）、ＲＡＭ、ＲＯＭ、ＦＰＧＡ（Field‐Programmable Gate Array）、シリアルＩＦ（インターフェース）、データＩＦなどが設けられている。画像処理基板１２０のデータバスは、２つの撮像部１１０Ａ，１１０Ｂから出力される輝度画像データを画像処理基板１２０上のＲＡＭに転送する。画像処理基板１２０のシリアルバスは、ＣＰＵやＦＰＧＡからのセンサ露光制御値の変更命令、画像読み出しパラメータの変更命令、各種設定データなどの送受信を行う。画像処理基板１２０のＦＰＧＡは、ＲＡＭに保存された画像データに対してリアルタイム性が要求される処理、例えばガンマ補正、ゆがみ補正（左右画像の平行化）、ブロックマッチングによる視差演算を行って視差画像データを生成し、ＲＡＭに書き戻す。ＣＰＵは、路面形状検出処理、オブジェクト検出処理等を実行するためのプログラムをＲＯＭからロードし、ＲＡＭに蓄えられた輝度画像データや視差画像データを入力して、各種処理を実行する。検出された各種データは、データＩＦやシリアルＩＦから外部へ出力される。各種処理の実行に際しては、データＩＦを利用して、適宜、車両の情報（車速、加速度、舵角、ヨーレートなど）を入力し、各種処理のパラメータとして使用する。

次に、本実施形態における物体検出処理について説明する。図３は、主に画像処理基板１２０上のＣＰＵがプログラムを実行することによってあるいはＦＰＧＡによって実現される物体検出処理を説明するための処理ブロック図である。ステレオカメラを構成する２つの撮像部１１０Ａ，１１０Ｂからは輝度画像データが出力される。このとき、撮像部１１０Ａ，１１０Ｂがカラーの場合には、そのＲＧＢ信号から輝度信号（Ｙ）を得るカラー輝度変換を、例えば下記の式（１）を用いて行う。
Ｙ ＝ ０．３Ｒ ＋ ０．５９Ｇ ＋ ０．１１Ｂ ・・・（１）

輝度画像データが入力されると、まず、平行化画像生成部１３１で平行化画像生成処理を実行する。この平行化画像生成処理は、撮像部１１０Ａ，１１０Ｂにおける光学系の歪みや左右の撮像部１１０Ａ，１１０Ｂの相対的な位置関係から、各撮像部１１０Ａ，１１０Ｂから出力される輝度画像データ（基準画像と比較画像）を、２つのピンホールカメラが平行に取り付けられたときに得られる理想的な平行化ステレオ画像となるように変換する。

このようにして平行化画像処理を行った後、次に、ＦＰＧＡ等で構成される視差画像生成部１３２において、視差画像データ（距離画像情報）を生成する視差画像生成処理を行う。視差画像生成処理では、まず、２つの撮像部１１０Ａ，１１０Ｂのうちの一方の撮像部１１０Ａの輝度画像データを基準画像データとし、他方の撮像部１１０Ｂの輝度画像データを比較画像データとし、これらを用いて両者の視差を演算して、視差画像データを生成して出力する。この視差画像データは、基準画像データ上の各画像部分について算出される視差値（距離値）ｄに応じた画素値をそれぞれの画像部分の画素値として表した視差画像を示すものである。

具体的には、視差画像生成部１３２は、基準画像データのある行について、一の注目画素を中心とした複数画素（例えば１６画素×１画素）からなるブロックを定義する。一方、比較画像データにおける同じ行において、定義した基準画像データのブロックと同じサイズのブロックを１画素ずつ横ライン方向（ｘ方向）へずらし、基準画像データにおいて定義したブロックの画素値の特徴を示す特徴量と比較画像データにおける各ブロックの画素値の特徴を示す特徴量との相関を示す相関値を、それぞれ算出する。そして、算出した相関値に基づき、比較画像データにおける各ブロックの中で最も基準画像データのブロックと相関があった比較画像データのブロックを選定するマッチング処理を行う。その後、基準画像データのブロックの注目画素と、マッチング処理で選定された比較画像データのブロックの対応画素との位置ズレ量を視差値ｄとして算出する。このような視差値ｄを算出する処理を基準画像データの全域又は特定の一領域について行うことで、視差画像データを得ることができる。

マッチング処理に用いるブロックの特徴量としては、例えば、ブロック内の各画素の値（輝度値）を用いることができ、相関値としては、例えば、基準画像データのブロック内の各画素の値（輝度値）と、これらの画素にそれぞれ対応する比較画像データのブロック内の各画素の値（輝度値）との差分の絶対値の総和を用いることができる。この場合、当該総和が最も小さくなるブロックが最も相関があると言える。

視差画像生成部１３２でのマッチング処理をハードウェア処理によって実現する場合には、例えばＳＳＤ（Sum of Squared Difference）、ＺＳＳＤ（Zero‐mean Sum of Squared Difference）、ＳＡＤ（Sum of Absolute Difference）、ＺＳＡＤ（Zero‐mean Sum of Absolute Difference）などの方法を用いることができる。なお、マッチング処理では画素単位での視差値しか算出できないので、１画素未満のサブピクセルレベルの視差値が必要な場合には推定値を用いる必要がある。その推定方法としては、例えば、等角直線方式、二次曲線方式等を利用することができる。ただし、このサブピクセルレベルの推定視差値には誤差が発生するので、この推定誤差を減少させるＥＥＣ（推定誤差補正）などを用いてもよい。

視差補間部１３３は、上述した視差画像生成部１３２における視差画像生成処理で視差値が算出できなかった画像部分の視差値を補間する視差補間処理を実行する。例えば、輝度画像データ上において横方向のエッジ部分や輝度変化が少ない箇所では視差画像生成処理のブロックマッチングが正しく計算できず、視差値が算出されない場合がある。このような場合、視差補間処理において、所定の補間条件を満たした画像部分については、離れた二画素間の間を補間視差で埋める処理を行う。補間条件としては、例えば、同一の横方向座標内の二点間の距離が所定の大きさ（幅）より小さく、その二点間に他の視差値が存在しないという条件を挙げることができる。

以上のようにして視差補間処理を行ったら、次に、Ｖマップ生成部１３４において、Ｖマップを生成するＶマップ生成処理を実行する。視差画像データに含まれる各視差画素データは、ｘ方向位置とｙ方向位置と視差値ｄとの組（ｘ，ｙ，ｄ）で示されるところ、これを、Ｘ軸に視差値ｄ、Ｙ軸にｙ、Ｚ軸に頻度ｆを設定した三次元座標情報（ｄ，ｙ，ｆ）に変換したもの、又はこの三次元座標情報（ｄ，ｙ，ｆ）から所定の頻度閾値を超える情報に限定した三次元座標情報（ｄ，ｙ，ｆ）を生成する。この三次元座標情報（ｄ，ｙ，ｆ）をＸ−Ｙの二次元座標系に分布させたものを、Ｖマップと呼ぶ。

具体的に説明すると、Ｖマップ生成部１３４は、画像を上下方向に複数分割して得られる視差画像データの各行領域について、視差値頻度分布を計算する。具体例を挙げて説明すると、図４Ａに示すような視差値分布をもった視差画像データが入力されたとき、Ｖマップ生成部１３４は、行ごとの各視差値のデータの個数の分布である視差値頻度分布を計算して出力する。このようにして得られる各行の視差値頻度分布の情報を、Ｙ軸に視差画像上のｙ方向位置（撮像画像の上下方向位置）をとりＸ軸に視差値をとった二次元直交座標系上に表すことで、図４Ｂに示すようなＶマップを得ることができる。このＶマップは、頻度ｆに応じた画素値をもつ画素が前記二次元直交座標系上に分布した画像として表現することもできる。

次に、本実施形態では、Ｖマップ生成部１３４が生成したＶマップの情報（視差ヒストグラム情報）から、路面形状検出部１３５において、自車両１００の前方路面の三次元形状を検出する路面形状検出処理が実行される。図５は、撮像部１１０Ａで撮像される基準画像の一例を模式的に表した画像例である。図６は、図５の画像例に対応するＶマップである。図５に示す画像例では、自車両１００が走行している路面と、自車両１００の前方に存在する先行車両と、路外に存在する電柱が映し出されている。この画像例は、自車両１００の前方路面が相対的に平坦な路面、すなわち、自車両１００の前方路面が自車両１００の真下の路面部分と平行な面を自車両前方へ延長して得られる仮想の基準路面（仮想基準移動面）に一致している場合のものである。この場合、図６に示すように、画像の下部に対応するＶマップの下部において、高頻度の点は、画像上方へ向かうほど視差値ｄが小さくなるような傾きをもった略直線状に分布する。このような分布を示す画素は、視差画像上の各行においてほぼ同一距離に存在していてかつ最も占有率が高く、しかも画像上方へ向かうほど距離が連続的に遠くなる検出対象物を映し出した画素であると言える。そして、このような略直線状に分布した点の下部である図６のＡで示される領域には、実際にはノイズによる点の分布が起こり得るものの、本来的には点の分布がない。以上のような特徴を利用すれば、路面を映し出している画素の推定が可能となる。

撮像部１１０Ａでは自車両前方領域を撮像するため、その撮像画像の内容は、図５に示すように、画像上方へ向かうほど路面の視差値ｄは小さくなる。また、同じ行（横ライン）内において、路面を映し出す画素はほぼ同じ視差値ｄを持つことになる。したがって、Ｖマップ上において上述した略直線状に分布する高頻度の点は、路面（移動面）を映し出す画素が持つ特徴に対応したものである。よって、Ｖマップ上における高頻度の点を直線近似して得られる近似直線上又はその近傍に分布する点の画素は、高い精度で、路面を映し出している画素であると推定することができる。また、各画素に映し出されている路面部分までの距離は、当該近似直線上の対応点の視差値ｄから高精度に求めることができる。

ここで、Ｖマップ上における高頻度の点を直線近似する際、その直線近似処理に含める点をどの範囲まで含めるかは、その処理結果の精度を大きく左右する。すなわち、直線近似処理に含める範囲が広いほど、路面に対応しない点が多く含まれ、処理精度を落とすことになり、また、直線近似処理に含める範囲が狭いほど、路面に対応する点の数が少なく、やはり処理精度を落とす結果となる。そこで、本実施形態では、直線近似処理の対象とする視差ヒストグラム情報（距離ヒストグラム情報）を、以下のようにして抽出している。

図７は、本実施形態における抽出条件を説明するためのＶマップを示す説明図である。本実施形態のＶマップ生成部１３４では、視差画像データを受け取ると、その視差画像データに含まれる各視差画素データ（ｘ，ｙ，ｄ）を、三次元座標情報である視差ヒストグラム情報構成要素としてのＶマップ要素（ｄ，ｙ，ｆ）に変換して、距離ヒストグラム情報としてのＶマップ情報を生成する。このとき、視差画像データの中から、画像上下方向位置ｙと視差値ｄとの関係が所定の抽出条件を満たす視差画素データを抽出し、その抽出した視差画素データを対象にして上述した変換を行い、Ｖマップ情報を生成する。

本実施形態における抽出条件は、自車両１００の前方路面が自車両１００の真下の路面部分と平行な面を自車両前方へ延長して得られる仮想の基準路面（仮想基準移動面）に対応する視差値ｄと画像上下方向位置ｙとの関係を基準として定まる所定の抽出範囲内に属するという条件である。この基準路面に対応する視差値ｄと画像上下方向位置ｙとの関係は、図７に示すように、Ｖマップ上において直線（以下「基準直線」という。）で示される。本実施形態では、この直線を中心に画像上下方向へ±δの範囲を、抽出範囲として規定している。この抽出範囲は、状況に応じて刻々と変化する実際の路面のＶマップ要素（ｄ，ｙ，ｆ）の変動範囲を含むように設定される。

具体的には、例えば、自車両前方の路面が相対的に上り傾斜である場合、当該路面が相対的に平坦である場合よりも、撮像画像中に映し出される路面画像部分（移動面画像領域）は画像上側へ広がる。しかも、同じ画像上下方向位置ｙに映し出される路面画像部分を比較すると、相対的に上り傾斜である場合には、相対的に平坦である場合よりも、視差値ｄが大きくなる。この場合のＶマップ要素（ｄ，ｙ，ｆ）は、Ｖマップ上において、おおよそ、基準直線に対し、上側に位置し、かつ、傾き（絶対値）が大きい直線を示すものとなる。本実施形態では、前方の路面における相対的な上り傾斜が想定され得る範囲内であれば、その路面のＶマップ要素（ｄ，ｙ，ｆ）が抽出範囲内に収まる。

また、例えば、自車両前方の路面が相対的に下り傾斜である場合、そのＶマップ要素（ｄ，ｙ，ｆ）は、Ｖマップ上において、基準直線に対し、下側に位置し、かつ、傾き（絶対値）が小さい直線を示すものとなる。本実施形態では、前方の路面における相対的な下り傾斜が想定され得る範囲内であれば、その路面のＶマップ要素（ｄ，ｙ，ｆ）が抽出範囲内に収まる。

また、例えば、自車両１００が速度を加速している加速時においては、自車両１００の後方に加重がかかり、自車両１００の姿勢は、自車両前方が鉛直方向上側を向くような姿勢となる。この場合、自車両１００の速度が一定である場合と比べて、撮像画像中に映し出される路面画像部分（移動面画像領域）は画像下側へシフトする。この場合のＶマップ要素（ｄ，ｙ，ｆ）は、Ｖマップ上において、おおよそ、基準直線に対し、下側に位置し、かつ、基準直線とほぼ平行な直線を示すものとなる。本実施形態では、自車両１００の加速が想定され得る範囲内であれば、その路面のＶマップ要素（ｄ，ｙ，ｆ）が抽出範囲内に収まる。

また、例えば、自車両１００が速度を減速している減速時においては、自車両１００の前方に加重がかかり、自車両１００の姿勢は、自車両前方が鉛直方向下側を向くような姿勢となる。この場合、自車両１００の速度が一定である場合と比べて、撮像画像中に映し出される路面画像部分（移動面画像領域）は画像上側へシフトする。この場合のＶマップ要素（ｄ，ｙ，ｆ）は、Ｖマップ上において、おおよそ、基準直線に対し、上側に位置し、かつ、基準直線とほぼ平行な直線を示すものとなる。本実施形態では、自車両１００の減速が想定され得る範囲内であれば、その路面のＶマップ要素（ｄ，ｙ，ｆ）が抽出範囲内に収まる。

路面形状検出部１３５では、Ｖマップ生成部１３４においてＶマップ情報が生成されたら、路面に対応する視差値及びｙ方向位置の組（Ｖマップ要素）が示す特徴、すなわち、撮像画像の上方に向かうほど視差値が低くなるという特徴を示すＶマップ上の高頻度の点を直線近似する処理を行う。なお、路面が平坦な場合には一本の直線で十分な精度で近似可能であるが、車両進行方向において路面の傾斜状況が変化するような路面については、一本の直線で十分な精度の近似は難しい。したがって、本実施形態においては、Ｖマップの情報（Ｖマップ情報）を視差値に応じて２以上の視差値区画に区分けし、各視差値区画についてそれぞれ個別に直線近似を行う。

本実施形態の路面形状検出部１３５は、Ｖマップ生成部１３４から出力されるＶマップ情報（Ｖマップ情報）を受け取ると、まず、路面に対応するＶマップ要素が示す特徴、すなわち、撮像画像の上方に向かうほど視差値が低くなるという特徴を示すＶマップ上の高頻度の点を、路面候補点として検出する。

このとき、本実施形態における路面候補点検出処理は、Ｖマップの情報（Ｖマップ情報）を視差値に応じて２以上の視差値区画に区分けし、各視差値区画にそれぞれ対応した決定アルゴリズムに従って各視差値区画における路面候補点を決定する。このとき、所定の基準距離に対応する視差値を境に、ＶマップをＸ軸方向（横軸方向）に２つの領域、すなわち視差値の大きい領域と小さい領域とに大別し、その領域ごとに異なる路面候補点検出アルゴリズムを用いて路面候補点を検出してもよい。

図８は、本実施形態における路面候補点検出処理の流れを示すフローチャートである。入力されるＶマップの情報について、例えば視差値ｄの大きい順に路面候補点の検出を行い、各視差値ｄについての路面候補点（ｙ，ｄ）を検出する。具体的には、当該視差値ｄに応じたｙの探索範囲（「ｙｐ−δ」〜「ｙｐ＋δ」）を設定し（Ｓ１）、この探索範囲内における頻度ｆが所定の頻度閾値よりも大きいＶマップ要素（ｄ，ｙ，ｆ）を抽出する（Ｓ２）。そして、抽出したＶマップ要素のうち、最大の頻度ｆを持つＶマップ要素（ｄ，ｙ，ｆ）を、当該視差値ｄの路面候補点として検出する（Ｓ３）。そして、視差値ｄがなくなるまで上述した処理ステップＳ１〜Ｓ３を繰り返し行う（Ｓ４）。なお、例えば路面候補点検出処理の前に又は路面候補点検出処理の処理ステップＳ２の後において、モルフォロジフィルタ等を用いたノイズ除去処理を行ってもよい。

このようにして路面候補点検出処理により各視差値ｄについての路面候補点を検出したら、次に、これらの路面候補点についてＶマップ上の近似直線を求める直線近似処理を行う。このとき、路面が平坦な場合であれば、Ｖマップの視差値範囲全域にわたって一本の直線で十分な精度の近似が可能であるが、車両進行方向において路面の傾斜状況が変化している場合には、一本の直線で十分な精度の近似が難しい。したがって、本実施形態においては、Ｖマップの情報（Ｖマップ情報）を視差値に応じて２以上の視差値区画に区分けし、各区画についてそれぞれ個別に直線近似処理を行う。

本実施形態においては、図５に示すように、路面が表示され得る画像部分（画像の下部）を７つの区画Ｓｇ１〜Ｓｇ７に区分けしている。これに対応するＶマップ上の区画は、図９に示すとおりである。なお、図９には、７つの区画の一部だけ（第一区画Ｓｇ１から第四区画Ｓｇ４まで）が図示されている。本実施形態において、各区画の広さ（視差値幅）は、図５に示す輝度画像データ上において区分された１つの大区画（第一区画Ｓｇ１）と６つの小区画（第二区画Ｓｇ２〜第七区画Ｓｇ７）に対応しているが、各区画の広さは適宜設定される。

例えば、距離を基準にして区画を等しく区分けする場合、Ｖマップ上では遠距離の区画ほど区画の広さ（視差値幅）が狭くなり、直線近似の精度が悪化する。また、視差値を基準にして区画を等しく区分けする場合、今度は、Ｖマップ上において近距離の区画の広さが狭くなる。したがって、例えば、第一区画Ｓｇ１については予め決められた固定距離に対応する幅をもつように設定とし、第二区画以降（第二区画Ｓｇ２〜第七区画Ｓｇ７）については、ひとつ前の区画の広さ（視差値幅）に対応する距離の定数倍（たとえば２倍）の距離に対応する広さをもつように設定するという区分けルールを採用しもよい。このような区分けルールにより、どの区画についても、適度な幅（視差値範囲）を持たせることができる。このような区分けルールによって各区画にそれぞれ対応する距離範囲が異なることになるが、各区画の直線近似処理に使用する路面候補点の数が各区画で均一化でき、どの区画でも適切な直線近似処理を行うことができるようになる。

また、本実施形態では、各区画が互いに重複（オーバーラップ）することなく連続するように区分けしているが、各区画が互いに重複するように設定してもよい。例えば、第二区画Ｓｇ２の始点を第一区画Ｓｇ１の始点と終点との中点とし、第三区画Ｓｇ３の始点を第一区画Ｓｇ１の終点と第二区画Ｓｇ２の終点との中点とするといった区分けルールでもよい。また、例えば、自車両１００の前方路面が上り坂であることを検出した場合には各区画の幅を変更するなど、各区画の幅を動的に変更するようにしてもよい。

直線近似処理は、最小二乗近似を利用することができるが、より正確に行うにはＲＭＡ（Reduced Major Axis）などの他の近似を用いるのがよい。その理由は、最小二乗近似は、Ｘ軸のデータに誤差がなく、Ｙ軸のデータに誤差が存在するという前提があるときに、正確に計算されるものである。しかしながら、Ｖマップ情報から検出される路面候補点の性質を考えると、Ｖマップ情報に含まれる各Ｖマップ要素のデータは、Ｙ軸のデータｙについては画像上の正確な位置を示していると言えるが、Ｘ軸のデータである視差値ｄについては、誤差を含んでいるものである。また、路面候補点検出処理では、Ｙ軸方向に沿って路面候補点の探索を行い、その最大のｙ値をもつＶマップ要素を路面候補点として検出するものであるため、路面候補点はＹ軸方向の誤差も含んでいる。したがって、路面候補点となっているＶマップ要素は、Ｘ軸方向にもＹ軸方向にも誤差を含んでいることになり、最小二乗近似の前提が崩れている。したがって、二変数（ｄとｙ）に互換性のある回帰直線（ＲＭＡ）が有効である。

各区画について行う直線近似処理は、第一区画Ｓｇ１を除き、距離の近い側（視差値が大きい側）に隣接する区画で得られた近似直線の終端が当該区画の始端となるような近似直線を得る。これにより、区画間における近似直線の不連続が回避される。なお、それぞれの区画についての近似直線を得た後に、区画間における近似直線の不連続を修正するようにしてもよい。

図１０は、本実施形態における区分直線近似処理の流れを示すフローチャートである。本実施形態の区分直線近似処理では、まず、最近距離の第一区画（最も視差値が大きい区画）Ｓｇ１を選択し（Ｓ１１）。この第一区画Ｓｇ１内の各視差値ｄに対応した路面候補点を抽出する（Ｓ１２）。ここで、当該第一区画Ｓｇ１において抽出された路面候補点の数が極端に少ない場合や、抽出された路面候補点の誤りが多い場合などの特定の条件下では、当該第一区画Ｓｇ１において抽出された路面候補点を直線近似処理して得られる近似直線が、当該第一区画Ｓｇ１に対応する路面部分の三次元形状を精度良く反映したものにはならない。このような精度の悪い路面部分の三次元形状の検出結果に基づいて物体検出処理が実施されてしまうと、物体の検出精度を落とす結果を招く。

そこで、本実施形態においては、上述した特定の条件下であるかどうかを判断するためのエラー条件を用意し、当該第一区画Ｓｇ１がエラー条件を満たさない場合には（Ｓ１３のＮｏ）、当該第一区画Ｓｇ１において抽出された路面候補点を用い、直線近似処理を行う（Ｓ１４）。この場合、上述した特定の条件下ではないので、当該第一区画Ｓｇ１に対応する路面部分の三次元形状を精度良く反映した近似直線が得られる。

一方、当該第一区画Ｓｇ１がエラー条件を満たす場合（Ｓ１３のＹｅｓ）、本実施形態では、当該第一区画Ｓｇ１において抽出された路面候補点を用いない直線補間処理を実行する（Ｓ１５）。直線補間処理としては、当該第一区画Ｓｇ１において抽出された路面候補点を直線近似処理して得られる近似直線よりも、その路面候補点を用いずに当該第一区画Ｓｇ１に対応する路面部分の三次元形状を適切に示す直線が得られる処理内容であれば、特に制限はない。本実施形態におけるエラー条件や直線補間処理の詳細については後述する。

このようにして第一区画Ｓｇ１について直線近似処理を行い又は直線補間処理を行ったら、残りの区画があるかどうかが確認され（Ｓ１６）、残りの区画が無くなるまで、距離の近い区画から順に、上述した処理ステップＳ１１〜Ｓ１５を実行する。そして、残りの区画が無くなったら、区分直線近似処理を終了する。

このようにして得られた近似直線や補間直線からなる路面対応直線が生成されたら、次に、路面高さテーブル算出部１３６において、路面高さ（自車両１００の真下の路面部分に対する相対的な高さ）を算出してテーブル化する路面高さテーブル算出処理を行う。路面形状検出部１３５により生成された路面対応直線の情報から、撮像画像上の各行領域（画像上下方向の各位置）に映し出されている各路面部分までの距離を算出できる。一方、自車両１００の真下に位置する路面部分をその面に平行となるように自車両進行方向前方へ延長した仮想平面の自車両進行方向における各面部分が、撮像画像中のどの各行領域に映し出されるかは予め決まっており、この仮想平面（基準路面）はＶマップ上で直線（基準直線）により表される。路面形状検出部１３５から出力される路面対応直線を基準直線と比較することで、自車両前方の各路面部分の高さを得ることができる。簡易的には、路面形状検出部１３５から出力される路面対応直線上のＹ軸位置から、これに対応する視差値から求められる距離だけ自車両前方に存在する路面部分の高さを算出できる。路面高さテーブル算出部１３６では、路面対応直線から得られる各路面部分の高さを、必要な視差範囲についてテーブル化する。

以上のようにして、得られた路面高さテーブルは、後段の物体検出処理部１３７における処理に用いられる。詳しくは、ある視差値ｄにおいてＹ軸位置がｙ’である地点に対応する撮像画像部分に映し出されている物体の路面からの高さは、当該視差値ｄにおける路面対応直線上のＹ軸位置をｙ０としたとき、（ｙ’−ｙ０）から算出することができる。一般に、Ｖマップ上における座標（ｄ，ｙ’）に対応する物体についての路面からの高さＨは、下記の式（２）より算出することができる。ただし、下記の式（２）において、「ｚ」は、視差値ｄから計算される距離（ｚ＝ＢＦ／（ｄ−ｏｆｆｓｅｔ））であり、「ｆ」はカメラの焦点距離を（ｙ’−ｙ０）の単位と同じ単位に変換した値である。ここで、「ＢＦ」は、ステレオカメラの基線長と焦点距離を乗じた値であり、「ｏｆｆｓｅｔ」は無限遠の物体を撮影したときの視差値である。
Ｈ ＝ ｚ×（ｙ’−ｙ０）／ｆ ・・・（２）

なお、物体検出処理部１３７における処理内容については、得られた路面高さテーブルを用いて物体を検出するものであれば、特に制限はない。

［エラー条件１］
次に、本実施形態におけるエラー条件の一例（以下、本例を「エラー条件１」という。）について説明する。本エラー条件１は、当該区画で抽出された路面候補点（一群の視差値）の数量が所定数量以下であるという視差値数量条件である。具体的には、例えば、当該区画について得られる路面候補点の最大数Ｎｍａｘに対する当該区画で抽出された路面候補点の数Ｎの路面候補点数比率（Ｎ／Ｎｍａｘ）が３０％以下であるという条件である。

図１１は、本エラー条件１を説明するためのＶマップの一部を示す説明図である。図１１には、第二区画Ｓｇ２で抽出された路面候補点の数Ｎが８個である例が示されている。第二区画Ｓｇ２で得られる路面候補点の最大数Ｎｍａｘは３０個であるため、第二区画Ｓｇ２の路面候補点数比率Ｎ／Ｎｍａｘは２６．６７％である。そのため、第二区画Ｓｇ２は路面候補点数比率Ｎ／Ｎｍａｘが３０％以下であるというエラー条件１を満たしている。

このように、抽出された路面候補点（一群の視差値）の数量が少な過ぎる場合（所定数量以下である場合）には、それらの路面候補点のごく一部に含まれる比較的精度の悪い路面候補点が、近似直線処理により得られる近似直線の精度に悪影響を及ぼす度合いが大きい。そのため、精度の悪い近似直線が生成される可能性が高い。本エラー条件１によれば、このように抽出された路面候補点（一群の視差値）の数量が少な過ぎることによって生成される精度の悪い近似直線が後段の物体検出処理で用いられる事態を回避することができる。

［エラー条件２］
次に、本実施形態におけるエラー条件の他の例（以下、本例を「エラー条件２」という。）について説明する。本エラー条件２は、当該区画で抽出された路面候補点（一群の視差値）の数量が所定数量以下であり（すなわち、前記エラー条件１を満たし）、かつ、当該区画を更に区分けした複数のサブ区画の一部又は全部でも路面候補点（一群の視差値）の数量が所定数量以下であるという条件である。

図１２は、本エラー条件２を説明するためのＶマップの一部を示す説明図である。図１２には、第二区画Ｓｇ２で抽出された路面候補点の数Ｎが８個である例が示されており、これは図１１に示すものと同じものである。そのため、第二区画Ｓｇ２の路面候補点数比率Ｎ／Ｎｍａｘは２６．６７％であり、３０％以下というエラー条件１を満たしている。ただし、エラー条件１を満たす場合であっても、更に狭い区画で直線近似処理を行えば精度の高い近似直線が得られる場合がある。

そこで、本エラー条件２では、エラー条件１を満たす場合、当該第二区画Ｓｇ２を更に３分割した３つのサブ区画Ｓｇ２１，Ｓｇ２２，Ｓｇ２３を設定し、これらのサブ区画に対して路面候補点の数量が所定数量以下であるかどうかを判断する。具体的には、３つのサブ区画Ｓｇ２１，Ｓｇ２２，Ｓｇ２３について得られる路面候補点の最大数Ｎｍａｘ’に対する当該サブ区画で抽出された路面候補点の数Ｎ’のサブ路面候補点数比率（Ｎ’／Ｎｍａｘ’）が３０％以下であるかどうかを判断する。なお、サブ路面候補点数比率（Ｎ’／Ｎｍａｘ’）は、必ずしも路面候補点数比率（Ｎ／Ｎｍａｘ）と同じである必要はない。

第一サブ区画Ｓｇ２１で得られる路面候補点の最大数Ｎｍａｘ’は１０個であり、第一サブ区画Ｓｇ２１で抽出された路面候補点の数Ｎ’は４個であるため、第一サブ区画Ｓｇ２１のサブ路面候補点数比率Ｎ’／Ｎｍａｘ’は４０％である。そのため、第一サブ区画Ｓｇ２１はサブ路面候補点数比率Ｎ’／Ｎｍａｘ’が３０％以下であるという要件を満たさない。

同様に、第三サブ区画Ｓｇ２３で得られる路面候補点の最大数Ｎｍａｘ’も１０個であり、第三サブ区画Ｓｇ２３で抽出された路面候補点の数Ｎ’も４個であるため、第三サブ区画Ｓｇ２３のサブ路面候補点数比率Ｎ’／Ｎｍａｘ’も４０％である。そのため、第三サブ区画Ｓｇ２３もサブ路面候補点数比率Ｎ’／Ｎｍａｘ’が３０％以下であるという要件を満たさない。

一方、第二サブ区画Ｓｇ２２で得られる路面候補点の最大数Ｎｍａｘ’は１０個であり、第二サブ区画Ｓｇ２２で抽出された路面候補点の数Ｎ’は０個である。そのため、第二サブ区画Ｓｇ２２のサブ路面候補点数比率Ｎ’／Ｎｍａｘ’は０％であり、３０％以下であるという要件を満たす。

本実施形態では、サブ区画Ｓｇ２１，Ｓｇ２２，Ｓｇ２３の全部についてサブ路面候補点数比率Ｎ’／Ｎｍａｘ’が３０％以下であるという要件を満たす場合に、エラー条件２を満たす。したがって、図１２に示す例においては、第一サブ区画Ｓｇ２１と第三サブ区画Ｓｇ２３が当該要件を満たしていないため、エラー条件２を満たさない。

抽出された路面候補点（一群の視差値）の数量が少な過ぎる場合（エラー条件１を満たす場合）でも、更に狭いサブ区画に絞って見れば路面候補点の数が十分な数である場合、そのサブ区画については精度の高い近似直線が得られる。本エラー条件２によれば、抽出された路面候補点の数量が少な過ぎる場合（エラー条件１を満たす場合）でも、精度の高い近似直線が得られるケースについては近似直線を生成することができる。したがって、精度の悪い近似直線が生成される可能性がより高いケースについて、その精度の悪い近似直線が後段の物体検出処理で用いられる事態を回避することができる。

［エラー条件３］
次に、本実施形態におけるエラー条件の更に他の例（以下、本例を「エラー条件３」という。）について説明する。本エラー条件３は、当該区画で抽出された路面候補点（一群の視差値）の視差値幅（Ｖマップ上のＸ軸方向幅）が所定幅以下であるという視差値幅条件である。具体的には、例えば、当該区画について得られる路面候補点の最大数Ｎｍａｘ（Ｖマップ上における当該区画のＸ軸方向幅）に対する、当該区画で抽出された路面候補点のうちの最大視差値と最小視差値との間の最大路面候補点数Ｎｗ（Ｖマップ上における当該間のＸ軸方向幅）の視差値幅比率（Ｎｗ／Ｎｍａｘ）が５０％以下であるという条件である。

図１３は、本エラー条件３を説明するためのＶマップの一部を示す説明図である。図１３には、第二区画Ｓｇ２で抽出された路面候補点の数Ｎが１０個である例が示されている。第二区画Ｓｇ２で得られる路面候補点の最大数Ｎｍａｘは３０個であるため、第二区画Ｓｇ２の路面候補点数比率Ｎ／Ｎｍａｘは３３．３３％であり、第二区画Ｓｇ２は路面候補点数比率Ｎ／Ｎｍａｘが３０％以下であるという前記エラー条件１を満たさず、かつ、Ｓｇ２内を区分したセグメントＳｇ２１（Ｎｗ）には視差が十分に含まれるため、区分した全てのセグメントが路面候補点数比率Ｎ’／Ｎｍａｘ’が３０％以下であるという要件を満たさないため、前記エラー条件２も満たしていない。

このように、抽出された路面候補点（一群の視差値）の数量が所定数量を超える場合であっても、その路面候補点が当該区画内の一部にだけ集中している場合、これは、その路面候補点は路面に対応したものではなく、路面以外の物体である可能性が高い。そのため、このような路面候補点から近似直線を生成すると、路面を適切に表す近似直線を得ることはできず、精度の悪い近似直線が生成されることになる。

図１３に示す例において、第二区画Ｓｇ２で抽出された路面候補点のうちの最大視差値と最小視差値との間の最大路面候補点数Ｎｗは、１３個となり、視差値幅比率（Ｎｗ／Ｎｍａｘ）は４３．３３％であり、５０％以下であるというエラー条件３を満たす。したがって、図１３に示す例における第二区画Ｓｇ２で抽出された路面候補点は、路面以外の物体に対応したものである可能性が高い。本エラー条件３によれば、このように路面以外の物体に対応した路面候補点（一群の視差値）が誤って抽出されることによって生成される精度の悪い近似直線が後段の物体検出処理で用いられる事態を回避することができる。

［エラー条件４］
次に、本実施形態におけるエラー条件の更に他の例（以下、本例を「エラー条件４」という。）について説明する。本エラー条件４は、当該区画で抽出された路面候補点（一群の視差値）を直線近似して得られる近似直線の傾斜角度が、本実施形態で用いられるエラー条件を満たさない隣接区画で抽出された路面候補点を直線近似して得られる近似直線の傾斜角度に対して所定の角度範囲から外れているという近似直線角度条件である。具体的には、例えば、当該区画について生成された近似直線の終端におけるＶマップ上のＹ軸方向位置（切片）と、当該区画に対して距離の近い側（視差値の大きい側）に隣接する区画で生成された近似直線の延長線が当該区画の終端に達するＶマップ上のＹ軸方向位置（切片）との差（切片差）が、規定値以上であるという条件である。

図１４は、本エラー条件４を説明するためのＶマップの一部を示す説明図である。図１４には、第二区画Ｓｇ２で抽出された路面候補点から生成された近似直線が描かれており、この近似直線における第二区画Ｓｇ２の終端位置（Ｙ軸方向位置）は切片ｙｓｇ２である。一方、第一区画Ｓｇ１で生成された近似直線の延長線（図１４中破線）が第二区画Ｓｇ２の終端に達するＹ軸方向位置は切片ｙｓｇ１である。本エラー条件４は、両者の切片差ｙ＿ｄｉｆｆ（＝ｙｓｇ２−ｙｓｇ１）が規定値ｄｔｈ以上であるという条件である。本実施形態では、上述したとおり、第二区画Ｓｇ２で生成される近似直線の始端は第一区画Ｓｇ１で生成される近似直線の終端と一致するため、その切片差ｙ＿ｄｉｆｆは、第二区画Ｓｇ２における近似直線の傾斜角度と第一区画Ｓｇ１における近似直線の傾斜角度との違いを表す。

第二区画Ｓｇ２で生成される近似直線と第一区画Ｓｇ１で生成される近似直線との切片差ｙ＿ｄｉｆｆが大きい場合、すなわち、第二区画Ｓｇ２における近似直線の傾斜角度が第一区画Ｓｇ１における近似直線の傾斜角度に対して所定の角度範囲から外れている場合、第一区画Ｓｇ１に対応する路面部分に対して第二区画Ｓｇ２に対応する路面部分の高さが急激に変化したこと又は路面傾斜が急激に変化したことを指す。通常、路面は急激に高さあるいは傾斜が変化するようなことはないので、この場合、第二区画Ｓｇ２で生成される近似直線は路面に適切に対応したものではなく、精度の悪いものである可能性が高い。本エラー条件４によれば、このような精度の悪い近似直線が後段の物体検出処理で用いられる事態を回避することができる。

［エラー条件５］
次に、本実施形態におけるエラー条件の更に他の例（以下、本例を「エラー条件５」という。）について説明する。本エラー条件５は、当該区画で抽出された路面候補点（一群の視差値）を直線近似して得られる近似直線の信頼度が所定の閾値よりも低いという近似直線信頼度条件である。具体的には、例えば、当該区画について生成された近似直線と、当該区画で抽出された各路面候補点との誤差（Ｙ軸方向の誤差）の総和、平均、最大誤差などが既定値以上であるという条件である。

図１５は、本エラー条件５を説明するためのＶマップの第二区画を示す説明図である。図１５には、第二区画Ｓｇ２で抽出された路面候補点から生成された近似直線が描かれており、この第二区画Ｓｇ２について生成された近似直線と当該第二区画Ｓｇ２で抽出された各路面候補点との間にはそれぞれ誤差ε_１〜ε_１０が存在する。本エラー条件５は、これらの誤差ε_１〜ε_１０の総和が規定値以上であるという条件である。

第二区画Ｓｇ２で生成される近似直線と第二区画Ｓｇ２で抽出された路面候補点との誤差が大きい場合、その近似直線の信頼性が低いものと判断できるので、本エラー条件５によれば、このような信頼性の低い（精度の悪い）近似直線が後段の物体検出処理で用いられる事態を回避することができる。

なお、本実施形態では、上述したエラー条件１〜５のいずれか１つを満たす区画については、エラー条件を満たすものと判定して直線補間処理を実行するが、上述したエラー条件１〜５の少なくとも１つを適用してエラー条件の判定を行っても良い。

［直線補間処理例１］
次に、本実施形態における直線補間処理の一例（以下、本例を「直線補間処理例１」という。）について説明する。本直線補間処理例１では、エラー条件を満たすと判断された区画に対し、今回抽出された路面候補点を用いずに、同じ区画について過去に抽出された路面候補点（一群の視差値）から生成される補間直線を、当該区画における近似直線として補間する直線補間処理を行うものである。

具体的には、例えば、今回の撮像画像の直前に撮像した撮像画像における同じ区画で抽出された過去の路面候補点から生成された近似直線を、補間直線とすることができる。また、例えば、今回の撮像画像の前に撮像した直近３回分の撮像画像における同じ区画で抽出された過去の路面候補点を用い、その直近３回分の路面候補点から近似直線を生成して、これを補間直線とすることができる。このとき、より近い時期の路面候補点ほど重要度が高いものとして重み付けすることが好ましい。また、例えば、今回の撮像画像の前に撮像した直近３回分の撮像画像における同じ区画で抽出された過去の路面候補点から生成された３本の近似直線を平均したものを、補間直線とすることができる。このとき、より近い時期の路面候補点ほど重要度が高いものとして重み付けすることが好ましい。いずれにしても、過去の一定期間内において抽出された過去の路面候補点あるいは過去に生成された近似直線は、記憶部に保存しておく必要がある。

通常、今回エラー条件を満たすと判断された区画に対応する路面部分の一部は、過去の撮像時においても同じ区画に映し出されている場合が多い。そのため、今回エラー条件を満たすと判断された区画と同じ区画で過去に抽出された路面候補点を用いることにより、今回の区画に対応する路面部分と一定の相関性のある補間直線を得ることができる。よって、このような補間直線は、エラー条件を満たす今回の区画で抽出された路面候補点から生成される近似直線よりも、当該区画に対応する路面を適切に表す精度の高い路面対応直線となり得る。

［直線補間処理例２］
次に、本実施形態における直線補間処理の他の例（以下、本例を「直線補間処理例２」という。）について説明する。本直線補間処理例２では、エラー条件を満たすと判断された区画に対し、今回抽出された路面候補点を用いずに、当該区画に対応する路面部分について過去に抽出された路面候補点（一群の視差値）から生成される補間直線を、当該区画における近似直線として補間する直線補間処理を行うものである。本直線補間処理例２においても、過去の一定期間内において抽出された過去の路面候補点あるいは過去に生成された近似直線は、記憶部に保存しておく必要がある。

エラー条件を満たすと判断された区画に対応する路面部分が過去の撮像画像のどの位置に映し出されていたかは、自車両１００の車速情報等から特定することができる。したがって、例えば、エラー条件を満たす今回の区画に対応する路面部分が映し出されている画像部分が直前の撮像画像中のどの画像部分かを車速情報等から特定し、その特定した画像部分に対応する過去の路面候補点を記憶部から読み出し、読み出した過去の路面候補点から生成された近似直線を、補間直線とすることができる。あるいは、エラー条件を満たす今回の区画に対応する路面部分を含む区画が直前の撮像画像中のどの区画であるかを車速情報等から特定し、特定した区画に対応する過去の近似直線を記憶部から読み出し、読み出した過去の近似直線を補間直線とすることができる。

また、例えば、エラー条件を満たす今回の区画に対応する路面部分が映し出されている画像部分が直近３回分の撮像画像中のどの画像部分かを車速情報等から特定し、その特定した画像部分に対応する直近３回分の路面候補点を記憶部から読み出して、読み出した直近３回分の路面候補点から生成された近似直線を、補間直線とすることができる。あるいは、エラー条件を満たす今回の区画に対応する路面部分を含む区画が直近３回分の撮像画像中のどの区画であるかを車速情報等から特定し、特定した区画に対応する直近３回分の近似直線を記憶部から読み出し、読み出した３本の近似直線を平均したものを補間直線とすることができる。このとき、より近い時期の路面候補点ほど重要度が高いものとして重み付けすることが好ましい。

自車両１００の車速が高速である場合や、撮像間隔が長い場合などにおいては、今回エラー条件を満たすと判断された区画に対応する路面部分が過去の撮像時においても同じ区画に映し出されているとは限らず、より距離の遠い区画（視差値の小さい側の区画）に映し出されていることがある。本直線補間処理例２によれば、今回エラー条件を満たすと判断された区画に対応する路面部分についての路面候補点を用いて補間直線を生成するため、エラー条件を満たす今回の区画で抽出された路面候補点から生成される近似直線よりも、当該区画に対応する路面を適切に表す精度の高い路面対応直線を得ることができる。

［直線補間処理例３］
次に、本実施形態における直線補間処理の更に他の例（以下、本例を「直線補間処理例３」という。）について説明する。本直線補間処理例３では、エラー条件を満たすと判断された区画に対し、今回抽出された路面候補点を用いずに、予め記憶部に記憶されている当該区画についての基準路面対応直線を補間直線とし、これを当該区画における近似直線として補間する直線補間処理を行うものである。この基準路面対応直線には、例えば、当該区画に対応する路面部分が相対的に平坦な路面、すなわち、当該区画に対応する路面部分が自車両１００の真下の路面部分と平行な面を自車両前方へ延長して得られる仮想の基準路面（仮想基準移動面）に一致しているときに生成される理想の路面対応直線を用いることができる。

あるいは、基準路面対応直線としては、過去に撮像して得た大量のＶマップ情報とその近似直線データとからディープラーニング等の機械学習手法によって推定される直線を用いてもよい。具体的には、例えば、機械学習手法によって決定された各種パラメータを用いて今回のＶマップ情報から路面対応直線を推定し、その推定された路面対応直線のうち今回エラー条件を満たした区画に対応する部分を補間直線として用い、これを当該区画における近似直線として補間する。

本直線補間処理例３においても、エラー条件を満たす区画で抽出された路面候補点から生成される近似直線よりも、当該区画に対応する路面により近い路面対応直線を得ることが可能である。

本実施形態においては、エラー条件を満たすと判断された場合、そのエラー条件を満たす区画を補間直線で補間した路面対応直線を生成して、路面高さテーブル算出部１３６へ送る例であるが、これに限られない。例えば、エラー条件を満たすと判断された場合、路面対応直線を路面高さテーブル算出部１３６へ送る際に、そのエラー条件を満たす区画がエラーである旨を示すエラー情報を付加するようにしてもよい。この場合、路面高さテーブル算出部１３６あるいは更に後段の物体検出処理部１３７は、当該区画についての路面対応直線部分がエラーであることを把握できるため、当該区画に対応する路面部分の高さ情報を利用せずに物体検出処理を行うことが可能となる。なお、エラー情報としては、例えば、エラー条件を満たす区画の路面対応直線として後段の処理でエラーとして処理されるようなダミーの路面対応直線、例えば、上空１０ｍを超える高さに対応する路面対応直線などを用いてもよい。

以上の説明では、ステレオカメラを用いて得られる複数の撮像画像から生成される視差画像情報を距離画像情報として用いる（視差値を距離値として用いる）例で説明したが、距離画像情報は、これに限られない。例えば、測距レーダなどの他の測距手段により得られる測距情報から生成される距離画像情報や、視差情報と測距情報とから得られる距離画像情報などを用いてもよい。

以上に説明したものは一例であり、次の態様毎に特有の効果を奏する。

（態様Ａ）
移動体移動方向前方の視差画像データ等の距離画像情報に基づいて、移動体移動方向前方における移動面の高さ等の情報を取得する画像処理を実行する画像解析ユニット１０２等の画像処理装置において、前記距離画像情報に基づいて、前記撮像画像を上下方向に複数分割して得られる各行領域内における視差値ｄ等の距離値の頻度分布を示すＶマップ情報等の距離ヒストグラム情報を生成するＶマップ生成部１３４等の距離ヒストグラム情報生成手段と、前記距離ヒストグラム情報を距離値に応じて区分けして得られる複数の区画Ｓｇ１〜Ｓｇ７ごとに、所定の頻度閾値を超える頻度ｆをもった距離値の中から移動面の距離値が示す特徴に合致した一群の距離値を抽出し、抽出された一群の距離値が所定のエラー条件を満たさない区画については、該一群の距離値を用いて移動面の情報を生成する処理を行い、抽出された一群の距離値が所定のエラー条件を満たす区画については、該一群の距離値を用いずに直線補間処理等の所定のエラー処理を実行する路面形状検出部１３５等の移動面情報処理手段とを有することを特徴とする。本態様においては、距離ヒストグラム情報を距離値に応じて区分けして得られる各区画Ｓｇ１〜Ｓｇ７において、移動面の距離値が示す特徴に合致するとして抽出された一群の距離値が所定のエラー条件を満たすか否かが判断される。そして、所定のエラー条件を満たさない場合には、当該一群の距離値を用いて移動面情報が生成され、従来と同様の精度の移動面情報を取得することが可能である。一方、所定のエラー条件を満たす場合には、当該一群の距離値を用いずに所定のエラー処理が実行される。そのため、所定のエラー条件を適切に設定することで、精度の低い移動面情報を生み出すような当該一群の距離値によって移動面情報が生成されて後段処理に利用される事態を抑制することが可能となる。

（態様Ｂ）
前記態様Ａにおいて、前記所定のエラー条件は、抽出された一群の距離値の数量が所定数量以下であるという距離値数量条件を含むことを特徴とする。これによれば、上述したエラー条件１で説明したとおり、抽出された一群の距離値の数量が少な過ぎることによって生成される精度の悪い近似直線が後段の物体検出処理で用いられる事態を回避することができる。

（態様Ｃ）
前記態様Ａにおいて、前記所定のエラー条件は、抽出された一群の距離値の数量が所定数量以下であり、かつ、当該区画を更に区分けした複数のサブ区画Ｓｇ２１，Ｓｇ２２，Ｓｇ２３の一部又は全部で、抽出された一群の距離値の数量が所定数量以下であるという条件を含むことを特徴とする。これによれば、上述したエラー条件２で説明したとおり、抽出された一群の距離値の数量が少な過ぎる場合であっても、精度の高い近似直線が得られるケースについては近似直線を生成し、精度の悪い近似直線が生成される可能性がより高いケースについてその精度の悪い近似直線が後段の物体検出処理で用いられる事態を回避することができる。

（態様Ｄ）
前記態様Ａ〜Ｃのいずれかの態様において、前記所定のエラー条件は、抽出された一群の距離値の距離値幅が所定幅以下であるという距離値幅条件を含むことを特徴とする。これによれば、上述したエラー条件３で説明したとおり、移動面以外の物体に対応した一群の距離値が誤って抽出されることによって生成される精度の悪い近似直線が後段の物体検出処理で用いられる事態を回避することができる。

（態様Ｅ）
前記態様Ａ〜Ｄのいずれかの態様において、前記所定のエラー条件は、抽出された一群の距離値を直線近似して得られる近似直線の傾斜角度が、前記所定のエラー条件を満たさない隣接区画で抽出された一群の距離値を直線近似して得られる近似直線の傾斜角度に対して所定の角度範囲から外れているという近似直線角度条件を含むことを特徴とする。これによれば、上述したエラー条件４で説明したとおり、通常は存在し得ないほど急激に高さあるいは傾斜が変化するような移動面に対応するような精度の悪い近似直線が後段の物体検出処理で用いられる事態を回避することができる。

（態様Ｆ）
前記態様Ａ〜Ｅのいずれかの態様において、前記所定のエラー条件は、抽出された一群の距離値を直線近似して得られる近似直線の信頼度が所定の閾値よりも低いという近似直線信頼度条件を含むことを特徴とする。これによれば、上述したエラー条件５で説明したとおり、抽出された一群の距離値の信頼性が低い場合に生成される信頼性の低い精度の悪い近似直線が後段の物体検出処理で用いられる事態を回避することができる。

（態様Ｇ）
前記態様Ａ〜Ｆのいずれかの態様において、前記所定のエラー処理は、当該区画で過去に抽出された一群の距離値から生成された移動面の情報を、当該区画における移動面の情報として補間する処理であることを特徴とする。これによれば、上述した直線補間処理例１で説明したとおり、所定のエラー条件を満たす区画で抽出された一群の距離値から生成される移動面情報よりも、当該区画に対応する路面を適切に表す精度の高い路面対応直線を補間することが可能となる。

（態様Ｈ）
前記態様Ａ〜Ｆのいずれかの態様において、前記所定のエラー処理は、当該区画に対応する移動面部分について過去に抽出された一群の距離値から生成された移動面の情報を、当該区画における移動面の情報として補間する処理であることを特徴とする。これによれば、上述した直線補間処理例２で説明したとおり、所定のエラー条件を満たす区画で抽出された一群の距離値から生成される移動面情報よりも、当該区画に対応する路面を適切に表す精度の高い路面対応直線を補間することが可能となる。

（態様Ｉ）
前記態様Ａ〜Ｆのいずれかの態様において、前記複数の区画ごとに移動面の基準情報を記憶した記憶手段を有し、前記所定のエラー処理は、当該区画に対応する前記記憶手段に記憶された移動面の基準情報を、当該区画における移動面の情報として補間する処理であることを特徴とする。これによれば、上述した直線補間処理例３で説明したとおり、所定のエラー条件を満たす区画で抽出された一群の距離値から生成される移動面情報よりも、当該区画に対応する路面を適切に表す精度の高い路面対応直線を補間することが可能となる。

（態様Ｊ）
移動体移動方向前方の距離画像情報に基づいて、移動体移動方向前方における移動面の情報を取得する画像処理を実行する画像処理手段と、前記画像処理装置により取得した移動面の情報に基づいて、移動体に搭載された所定の機器を制御する移動体機器制御手段とを備えた移動体機器制御システムにおいて、前記画像処理手段として、前記態様Ａ〜Ｉのいずれかの態様に係る画像処理装置を用いることを特徴とする。これによれば、精度の低い移動面情報を生み出すような当該一群の距離値によって移動面情報が生成されて所定の機器を制御する処理に利用される事態を抑制することが可能となり、所定の機器の誤制御が抑制される。

（態様Ｋ）
移動体移動方向前方の距離画像情報に基づいて、移動体移動方向前方における移動面の情報を取得する画像処理を実行する画像処理装置のコンピュータを機能させる画像処理用プログラムであって、前記距離画像情報に基づいて、前記撮像画像を上下方向に複数分割して得られる各行領域内における距離値の頻度分布を示す距離ヒストグラム情報を生成する距離ヒストグラム情報生成手段、及び、前記距離ヒストグラム情報を距離値に応じて区分けして得られる複数の区画ごとに、所定の頻度閾値を超える頻度をもった距離値の中から移動面の距離値が示す特徴に合致した一群の距離値を抽出し、抽出された一群の距離値が所定のエラー条件を満たさない区画については、該一群の距離値を用いて移動面の情報を生成する処理を行い、抽出された一群の距離値が所定のエラー条件を満たす区画については、該一群の距離値を用いずに所定のエラー処理を実行する移動面情報処理手段として、前記コンピュータを機能させることを特徴とする。これによれば、精度の低い移動面情報を生み出すような当該一群の距離値によって移動面情報が生成されて後段処理に利用される事態を抑制することが可能となる。なお、このプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録された状態で配布したり、入手したりすることができる。また、このプログラムを乗せ、所定の送信装置により送信された信号を、公衆電話回線や専用線、その他の通信網等の伝送媒体を介して配信したり、受信したりすることでも、配布、入手が可能である。この配信の際、伝送媒体中には、コンピュータプログラムの少なくとも一部が伝送されていればよい。すなわち、コンピュータプログラムを構成するすべてのデータが、一時に伝送媒体上に存在している必要はない。このプログラムを乗せた信号とは、コンピュータプログラムを含む所定の搬送波に具現化されたコンピュータデータ信号である。また、所定の送信装置からコンピュータプログラムを送信する送信方法には、プログラムを構成するデータを連続的に送信する場合も、断続的に送信する場合も含まれる。

（態様Ｌ）
移動体移動方向前方の距離画像情報に基づいて、移動体移動方向前方における移動面の情報を取得する画像処理方法において、前記距離画像情報に基づいて、前記撮像画像を上下方向に複数分割して得られる各行領域内における距離値の頻度分布を示す距離ヒストグラム情報を生成し、生成した距離ヒストグラム情報を距離値に応じて区分けして得られる複数の区画ごとに、所定の頻度閾値を超える頻度をもった距離値の中から移動面の距離値が示す特徴に合致した一群の距離値を抽出し、抽出された一群の距離値が所定のエラー条件を満たさない区画については、該一群の距離値を用いて移動面の情報を生成する処理を行い、抽出された一群の距離値が所定のエラー条件を満たす区画については、該一群の距離値を用いずに所定のエラー処理を実行することを特徴とする。これによれば、精度の低い移動面情報を生み出すような当該一群の距離値によって移動面情報が生成されて後段処理に利用される事態を抑制することが可能となる。

１００ 自車両
１０１ 撮像ユニット
１０２ 画像解析ユニット
１０３ 表示モニタ
１０６ 車両走行制御ユニット
１１０Ａ，１１０Ｂ 撮像部
１３１ 平行化画像生成部
１３２ 視差画像生成部
１３３ 視差補間部
１３４ Ｖマップ生成部
１３５ 路面形状検出部
１３６ 路面高さテーブル算出部
１３７ 物体検出処理部

特開２０１４−２２５２２０号公報

Claims (12)

1. 移動体移動方向前方の距離画像情報に基づいて、移動体移動方向前方における移動面の情報を取得する画像処理を実行する画像処理装置において、
   前記距離画像情報に基づいて、撮像画像を上下方向に複数分割して得られる各行領域内における距離値の頻度分布を示す距離ヒストグラム情報を生成する距離ヒストグラム情報生成手段と、
   前記距離ヒストグラム情報を距離値に応じて区分けして得られる複数の区画ごとに、所定の頻度閾値を超える頻度をもった距離値の中から移動面の距離値が示す特徴に合致した一群の距離値を抽出し、抽出された一群の距離値が所定のエラー条件を満たさない区画については、該一群の距離値を用いて移動面の情報を生成する処理を行い、抽出された一群の距離値が所定のエラー条件を満たす区画については、該一群の距離値を用いずに所定のエラー処理を実行する移動面情報処理手段とを有することを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記所定のエラー条件は、抽出された一群の距離値の数量が所定数量以下であるという距離値数量条件を含むことを特徴とする画像処理装置。
3. 請求項１に記載の画像処理装置において、
   前記所定のエラー条件は、抽出された一群の距離値の数量が所定数量以下であるという条件を満たす区画を更に区分けした複数のサブ区画の一部又は全部で、抽出された一群の距離値の数量が所定数量以下であるという条件を含むことを特徴とする画像処理装置。
4. 請求項１乃至３のいずれか１項に記載の画像処理装置において、
   前記所定のエラー条件は、抽出された一群の距離値の距離値幅が所定幅以下であるという距離値幅条件を含むことを特徴とする画像処理装置。
5. 請求項１乃至４のいずれか１項に記載の画像処理装置において、
   前記所定のエラー条件は、抽出された一群の距離値を直線近似して得られる近似直線の傾斜角度が、前記所定のエラー条件を満たさない隣接区画で抽出された一群の距離値を直線近似して得られる近似直線の傾斜角度に対して所定の角度範囲から外れているという近似直線角度条件を含むことを特徴とする画像処理装置。
6. 請求項１乃至５のいずれか１項に記載の画像処理装置において、
   前記所定のエラー条件は、抽出された一群の距離値を直線近似して得られる近似直線の信頼度が所定の閾値よりも低いという近似直線信頼度条件を含むことを特徴とする画像処理装置。
7. 請求項１乃至６のいずれか１項に記載の画像処理装置において、
   前記所定のエラー処理は、前記所定のエラー条件を満たす区画で過去に抽出された一群の距離値から生成された移動面の情報を、当該区画における移動面の情報として補間する処理であることを特徴とする画像処理装置。
8. 請求項１乃至６のいずれか１項に記載の画像処理装置において、
   前記所定のエラー処理は、前記所定のエラー条件を満たす区画に対応する移動面部分について過去に抽出された一群の距離値から生成された移動面の情報を、当該区画における移動面の情報として補間する処理であることを特徴とする画像処理装置。
9. 請求項１乃至６のいずれか１項に記載の画像処理装置において、
   前記複数の区画ごとに移動面の基準情報を記憶した記憶手段を有し、
   前記所定のエラー処理は、前記所定のエラー条件を満たす区画に対応する前記記憶手段に記憶された移動面の基準情報を、当該区画における移動面の情報として補間する処理であることを特徴とする画像処理装置。
10. 移動体移動方向前方の距離画像情報に基づいて、移動体移動方向前方における移動面の情報を取得する画像処理を実行する画像処理手段と、
    画像処理装置により取得した移動面の情報に基づいて、移動体に搭載された所定の機器を制御する移動体機器制御手段とを備えた移動体機器制御システムにおいて、
    前記画像処理手段として、請求項１乃至９のいずれか１項に記載の画像処理装置を用いることを特徴とする移動体機器制御システム。
11. 移動体移動方向前方の距離画像情報に基づいて、移動体移動方向前方における移動面の情報を取得する画像処理を実行する画像処理装置のコンピュータを機能させる画像処理用プログラムであって、
    前記距離画像情報に基づいて、撮像画像を上下方向に複数分割して得られる各行領域内における距離値の頻度分布を示す距離ヒストグラム情報を生成する距離ヒストグラム情報生成手段、及び、
    前記距離ヒストグラム情報を距離値に応じて区分けして得られる複数の区画ごとに、所定の頻度閾値を超える頻度をもった距離値の中から移動面の距離値が示す特徴に合致した一群の距離値を抽出し、抽出された一群の距離値が所定のエラー条件を満たさない区画については、該一群の距離値を用いて移動面の情報を生成する処理を行い、抽出された一群の距離値が所定のエラー条件を満たす区画については、該一群の距離値を用いずに所定のエラー処理を実行する移動面情報処理手段として、前記コンピュータを機能させることを特徴とする画像処理用プログラム。
12. 移動体移動方向前方の距離画像情報に基づいて、移動体移動方向前方における移動面の情報を取得する画像処理方法において、
    前記距離画像情報に基づいて、撮像画像を上下方向に複数分割して得られる各行領域内における距離値の頻度分布を示す距離ヒストグラム情報を生成し、
    生成した距離ヒストグラム情報を距離値に応じて区分けして得られる複数の区画ごとに、所定の頻度閾値を超える頻度をもった距離値の中から移動面の距離値が示す特徴に合致した一群の距離値を抽出し、
    抽出された一群の距離値が所定のエラー条件を満たさない区画については、該一群の距離値を用いて移動面の情報を生成する処理を行い、抽出された一群の距離値が所定のエラー条件を満たす区画については、該一群の距離値を用いずに所定のエラー処理を実行することを特徴とする画像処理方法。

Images