JP6542539B2 - 車両用進入可否判定装置 - Google Patents

Description

本発明は車両に取り付けられたカメラで撮影された車両周囲の画像を処理する装置、特に、車両周囲の画像を俯瞰画像に変換して処理することを前提としたものである。

車両周囲の画像を、座標変換して俯瞰画像に変換して表示したときには、立体物は歪んで表示されるため、俯瞰画像を見ただけでは、その立体物にどこまで接近できるかを把握することが困難であった。そのため、例えば、俯瞰変換した画像上で、俯瞰変換により発生する立体物の歪を補正して表示する装置が提案されている（例えば、特許文献１）。

特開２０１２−１４７１４９号公報

しかしながら、特許文献１に記載された車両周辺画像表示装置では、路面上に存在する立体物の外形の歪みは補正できるものの、その立体物の一部が路面に接地していない場合には、立体物のうち空中に浮かんだ部位は、俯瞰画像に変換されたときに、車両から遠ざかる方向に、路面上に倒れ込むように変形されて投影されるため、俯瞰画像を頼りにして、車両をその立体物の近傍まで接近させると、立体物に接触してしまう虞があった。さらに、その立体物が、車庫のように本来車両が進入すべき場所であるときには、俯瞰画像を見ただけで、車両が進入可能か否かを判定することができないという問題があった。

本発明は、上記課題に鑑みてなされたもので、車両周囲の路面上で検出された立体物に対して、車両が進入可能な空間の有無を判断して車両が進入可能であるか否かを判定するものである。

前記課題を解決するために、本発明に係る車両用進入可否判定装置は、車両に取り付けられた、前記車両の周囲の路面を含む範囲を撮像する撮像部と、前記撮像部で撮像された原画像を、所定の視点位置から見た仮想画像に変換する画像変換部と、前記仮想画像の中から、路面から高さを有する立体物を検出する立体物検出部と、前記立体物の内部への前記車両の進入可否を判定する車両進入可否判定部と、を有する。さらに、前記立体物領域抽出部によって抽出された立体物領域に対して、前記立体物領域を構成する、路面に接地していない浮遊領域の有無と前記浮遊領域の路面からの高さを算出するとともに、前記浮遊領域を真上から路面に投影した路面投影位置を算出する路面投影位置算出部と、前記路面投影位置算出部によって算出された路面投影位置と前記浮遊領域の有無とに基づいて、前記立体物の内部に、前記車両が進入可能な空間があるか否かを識別する車両進入空間識別部とを有することを特徴とする。

このように構成された本発明に係る車両用進入可否判定装置によれば、前記した構成とすることによって、車両の周囲に存在する、空中に浮かんだ部位を有する立体物や、オーバーハング部を有する立体物のように、地面に接地していない浮遊領域を有する立体物と車両との接触可否を判定することができる。したがって、立体物に対する車両の進入可否および車両が接近可能な位置を運転者に提示することができるため、車両の立体物への接触を防止することができる。

本発明の１実施形態である実施例１に係る車両用進入可否判定装置の機能構成を示す機能ブロック図である。 実施例１に係る車両用進入可否判定装置における、撮像部の車両への設置状態を示す図である。 実施例１に係る車両用進入可否判定装置における、立体物検出部の詳細機能構成を示す機能ブロック図である。 実施例１に係る車両用進入可否判定装置のハードウェア構成を示すハードウェアブロック図である。 実施例１で行われる一連の処理の流れを示すフローチャートである。 前方カメラで撮像された原画像の一例を示す図である。 図６Ａの画像を真上から見た仮想画像（俯瞰画像）に変換した例を示す図である。 立体物検出処理の作用について説明する図であり、時刻ｔ−Δｔに撮像された原画像を仮想画像（俯瞰画像）に変換した例を示す図である。 立体物検出処理の作用について説明する図であり、時刻ｔに撮像された原画像を仮想画像（俯瞰画像）に変換した例を示す図である。 時刻ｔにおける仮想画像から、時刻ｔ−Δｔにおける仮想画像を差し引くフレーム差分（第１フレーム差分）を行った例を示す図である。 時刻ｔに得られた仮想画像から、時刻ｔ−Δｔにおける仮想画像に基づいて予測された時刻ｔにおける仮想画像を差し引くフレーム差分（第２フレーム差分）を行った例を示す図である。 立体物領域を検出した結果の一例を示す図である。 立体物検出処理の流れを示すフローチャートである。 立体物領域抽出処理の作用について説明する図であり、立体物検出処理で検出した立体物を示す領域を原画像上に重畳した様子を示す図である。 立体物領域を特定するために、原画像上に濃淡分布を評価するためのウインドウを設定した様子を示す図である。 図９Ｂに示した各ウインドウの内部の濃淡ヒストグラムの一例を示す図である。 立体物領域を抽出した別の例について説明する図である。 立体物領域抽出処理の流れを示すフローチャートである。 車両進入可否判定処理の作用について説明する図であり、立体物を真上から路面に投影した路面投影位置を算出する処理について説明する第１の図である。 立体物を真上から路面に投影した路面投影位置を算出する処理について説明する第２の図である。 立体物の路面投影位置を表す路面接地線の検出結果の一例を示す図である。 車両進入可否判定処理の流れを示すフローチャートである。 車両進入可否範囲の表示例を示す第１の図である。 車両進入可否範囲の表示例を示す第２の図である。

以下、本発明に係る車両用進入可否判定装置の実施形態について、図面を参照して説明する。

本実施例は、本発明を、車両の周囲にある立体物を検出するとともに、検出された立体物に対して、車両が進入可能か否かを判定して、その結果を運転者に伝達する車両用進入可否判定装置として適用したものである。
（全体構成の説明）

まず、図１から図３を用いて本実施例の機能構成を説明する。本実施例に係る車両用進入可否判定装置１００は、図１に示すように、車両１０に搭載されて、車両１０の前方の路面を含む画像を撮像する撮像部１２と、撮像部１２から出力された画像信号を、計算機で取り扱えるデジタル画像形式の原画像７０に変換する画像入力部２０と、原画像７０を、所定の視点位置から見た仮想画像７２に変換する画像変換部３０と、仮想画像７２の中から、路面から高さを有する立体物を検出する立体物検出部４０と、検出された立体物の内部または検出された複数の立体物の間隙への車両１０の進入可否を判定する車両進入可否判定部５０と、車両進入可否判定部５０における車両進入可否判定の結果、進入不可または進入可能と判定された範囲を表示する車両進入可否範囲表示部６０と、から構成されている。

撮像部１２は、図２に示すように車両１０の前方に取り付けられており、車両１０の直近の路面を含む前方観測範囲１４の内部を、約１８０°の視野範囲に亘って撮像する。

立体物検出部４０は、詳しくは、図３に示すように、所定の時間間隔を隔てて撮像部１２（図１）で撮像されて画像変換部３０（図１）で画像変換された、異なる時刻に得られた２枚の原画像７０（ｔ），７０（ｔ−Δｔ）から生成された２枚の仮想画像７２（ｔ），７２（ｔ−Δｔ）のフレーム差分を行う第１フレーム差分演算部４０ａと、時刻（ｔ−Δｔ）に得られた原画像７０（ｔ−Δｔ）から生成された仮想画像７２（ｔ−Δｔ）から、時刻ｔにおける予測仮想画像７２’（ｔ）を生成して、時刻ｔにおいて実際に得られた仮想画像７２（ｔ）から予測仮想画像７２’（ｔ）を差し引くフレーム差分を行う第２フレーム差分演算部４０ｂと、仮想画像７２（ｔ）の中から、隣接する画素の間で明るさの変化が大きい画素、すなわち、エッジを構成する画素を検出するエッジ検出部４０ｃと、第１フレーム差分演算部４０ａ，第２フレーム差分演算部４０ｂの演算結果とエッジ検出部４０ｃの検出結果に基づいて立体物を構成すると考えられる領域を検出する立体物領域クラスタリング部４０ｄと、からなる。

車両進入可否判定部５０は、詳しくは、図１に示すように、原画像７０の中から、立体物検出部４０で検出された立体物に対応する領域を抽出する立体物領域抽出部５０ａと、立体物領域抽出部５０ａで抽出された立体物領域に対して、車両がその立体物に接近できる限界位置を示す路面投影位置を算出する路面投影位置算出部５０ｂと、立体物の内部または異なる立体物の間隙に車両１０が進入可能な空間があるか否かを識別する車両進入可能空間識別部５０ｃと、からなる。

次に、図４を用いて本実施例のハードウェア構成を説明する。本実施例に係る車両用進入可否判定装置１００は、車両１０に搭載されて、必要な画像処理や演算処理を行うＥＣＵ（電子制御ユニット）１１０と、ＥＣＵ１１０に接続された、撮像部１２（図１）を構成する前方カメラ１２ａと、車両１０の挙動を検出することによって、車両１０の移動量と移動方向を算出する、操舵角センサや距離センサで構成された車両状態センサ１４０と、車両進入可否範囲表示部６０（図１）の処理結果を表示するモニタ１５０と、から構成されている。

ＥＣＵ１１０は、さらに、必要なデータの送受信やプログラムの実行を行うＣＰＵ１１２と、ＣＰＵ１１２に接続された、前方カメラ１２ａの制御を行うカメラインタフェース１１４と、車両状態センサ１４０の測定結果を取得するセンサインタフェース１１６と、内部に内蔵された所定のプログラムによって画像処理を実行する画像処理モジュール１１８と、画像処理の中間結果や、必要な定数、プログラム等を記憶するメモリ１２０と、モニタ１５０の制御を行う表示制御部１２２と、からなる。

なお、図１で説明した画像入力部２０，画像変換部３０，立体物検出部４０，車両進入可否判定部５０，車両進入可否範囲表示部６０は、それぞれ、後述する作用を実現するソフトウェアによって制御されている。このソフトウェアは、前記したメモリ１２０の内部に記憶されて、必要に応じて適宜実行される。なお、ソフトウェアは、必要に応じて、ＣＰＵ１１２や画像処理モジュール１１８の内部に記憶しておいてもよい。
（車両用進入可否判定装置で行われる処理の流れの説明）

ここで、車両用進入可否判定装置１００で行われる一連の処理の流れについて、図５のフローチャートを用いて説明する。なお、ここでは各処理の概要を説明するに留め、処理内容の詳細な説明は後述する。

（ステップＳ１０）画像変換処理を行う。具体的には、撮像された原画像を仮想画像に変換する。

（ステップＳ２０）立体物検出処理を行う。具体的な処理の内容は後述する。

（ステップＳ３０）立体物領域抽出処理を行う。具体的な処理の内容は後述する。

（ステップＳ４０）車両進入可否判定処理を行う。具体的な処理の内容は後述する。

（ステップＳ５０）車両進入不可範囲表示処理を行う。具体的な処理の内容は後述する。

以下、車両用進入可否判定装置１００で行われる各処理の内容について、順を追って説明する。
（画像変換処理の説明）

まず、図１と、図６Ａ，図６Ｂを用いて、画像変換処理の作用について説明する。画像変換処理は、図１に記載した撮像部１２と画像入力部２０と画像変換部３０において行われる。

具体的には、撮像部１２を構成する前方カメラ１２ａ（図４）の出力を、画像入力部２０においてデジタル画像に変換して、図６Ａに示す原画像７０として画像変換部３０に入力する。なお、時刻ｔに撮像された原画像を７０（ｔ）と表記する。

図６Ａに示す原画像７０（ｔ）は、車両１０（図１）の前方の路面８０を撮像したものである。路面にはレーンマーカ８１が引かれており、そのレーンマーカの奥に、車両１０を駐車するガレージ８２（立体物）が設置されている。このガレージ８２は、左右にそれぞれ脚部８３，８５を有している。なお、原画像７０（ｔ）の下部には、車両１０の影である自車影８７が映っている。

画像変換部３０は、図６Ａに示す原画像７０（ｔ）を、画像変換部３０において、図６Ｂに示すように、車両１０を真上から見下ろした仮想画像７２（ｔ）（俯瞰画像）に変換する。具体的な変換方法の説明は省略するが、前方カメラ１２ａ（図４）の設置レイアウト情報（カメラの高さ，カメラの俯角，レンズパラメータ）を用いて、原画像７０（ｔ）を、車両１０が存在する路面に投影する座標変換を行うことによって、仮想画像７２（ｔ）が得られる。なお、原画像７０（ｔ）が変換された仮想画像を、７２（ｔ）と表記することにする。

仮想画像７２（ｔ）を生成する際、前方カメラ１２ａで撮像された原画像７０（ｔ）に映ったガレージ８２（立体物）のうち、左右の脚部８３，８５の部分が、仮想画像７２（ｔ）上で上方に向かって、すなわち、車両１０から遠ざかる方向に、路面上に倒れ込むように変形されて映り込む。そして、仮想画像７２（ｔ）の上方ほど、脚部８３，８５の横幅が広くなるように変形される。こうした脚部８３，８５の変形、すなわち路面から高さを有する領域の変形は、前方カメラ１２ａ（図４）の設置位置Ｐ１（図６Ｂ）から、仮想画像７２（ｔ）の周辺に向かって放射状に広がるように発生する。

また、仮想画像７２（ｔ）には、前方カメラ１２ａの視野外となる不可視領域８６，８６が発生するため、この不可視領域８６，８６には、所定の濃淡値（例えば０）を格納しておく。
（立体物検出処理の概要説明）

次に、図３と、図７Ａから図７Ｅを用いて、立体物検出処理の作用について説明する。なお、立体物検出処理は、図３の立体物検出部４０において行われる。

立体物検出部４０は、図７Ａ，図７Ｂに示すように、時間間隔Δｔを隔てて撮像された２枚の原画像からそれぞれ生成された仮想画像の中から立体物を検出する。ここでは、時刻ｔで撮像された原画像７０（ｔ）から生成された仮想画像７２（ｔ）と、時刻ｔ−Δｔで撮像された原画像７０（ｔ−Δｔ）から生成された仮想画像７２（ｔ−Δｔ）から、立体物を検出するものとして説明を行う。

まず、図７Ｃに示すように、２枚の仮想画像７２（ｔ），７２（ｔ―Δｔ）のフレーム差分を計算する。この処理は、図３の第１フレーム差分演算部４０ａで行われる。

次に、図７Ｄに示すように、仮想画像７２（ｔ―Δｔ）から時刻ｔにおける仮想画像７２（ｔ）を予測して予測仮想画像７２’（ｔ）を生成し、この予測仮想画像７２’（ｔ）と時刻ｔにおいて実際に得られた仮想画像７２（ｔ）とのフレーム差分を計算する。この処理は、図３の第２フレーム差分演算部４０ｂで行われる。

予測仮想画像７２’（ｔ）は、具体的には次のようにして生成する。すなわち、車両状態センサ１４０（図４）によって、時間間隔Δｔの間における車両１０の移動量と移動方向を随時計測する。そして、計測された時間間隔Δｔの間の車両１０の移動量と移動方向に対応するように、仮想画像７２（ｔ―Δｔ）を平行移動および回転移動させて、時刻ｔにおける予測仮想画像７２’（ｔ）を生成する。なお、このとき、仮想画像７２（ｔ―Δｔ）には全て路面が映っているものと仮定して予測仮想画像７２’（ｔ）を生成する。

なお、第２フレーム差分演算部４０ｂで行うフレーム差分は、時刻ｔにおける仮想画像７２（ｔ）に基づいて、時刻ｔ−Δｔにおける仮想的な予測仮想画像７２’（ｔ―Δｔ）を生成した後で、この予測仮想画像７２’（ｔ―Δｔ）と、時刻（ｔ−Δｔ）において実際に得られた仮想画像７２（ｔ―Δｔ）と、の間で行っても構わない。

このように仮想画像７２（ｔ）と予測仮想画像７２’（ｔ）のフレーム差分を行うことによって、図７Ｂに示したレーンマーカ８１のような路面に描かれたパターンの位置が画像上で一致するため、図７Ｄに示すように、レーンマーカ８１を抑制、すなわち除去することができる。一方、路面上に生じた自車影８７は、フレーム差分を行う短い時間間隔の間で考えると、車両１０が移動してもほぼ同じ位置に発生するため、図７Ｄに示すように、仮想画像と予測仮想画像のフレーム差分によって除去することができない。

これに対して、異なる２つの時刻で得た実際の仮想画像７２（ｔ），７２（ｔ―Δｔ）同士のフレーム差分によると、図７Ｃに示すように、ほぼ同じ位置に発生する自車影８７を除去することができる。ただし、レーンマーカ８１のように路面に描かれたパターンは、車両１０の移動に伴ってその観測位置が移動するため、フレーム差分によって除去することができない。

ここで、第１フレーム差分演算部４０ａで行ったフレーム差分の結果（図７Ｃ）と、第２フレーム差分演算部４０ｂで行ったフレーム差分の結果（図７Ｄ）を比較する。

まず、第２フレーム差分演算部４０ｂで行ったフレーム差分の結果、検出された領域のうち、その領域の近傍に、第１フレーム差分演算部４０ａで行ったフレーム差分によって略同じ特徴（例えば形状）を有する領域が検出されないときには、第２フレーム差分演算部４０ｂで検出された領域は、路面上に生じた自車影８７や、太陽や照明灯によって路面に生じる照り返しであると推測することができる。そして、その領域は立体物を示す領域ではないと判断して除去する。

次に、前記判断で残った領域のうち、車両１０から遠ざかる方向に、路面上に倒れ込んだ領域のみを、路面上にある高さを有する立体物であるとして検出する。すなわち、図７Ｃ，図７Ｄの例では、脚部８３，８５の領域のみが検出される。

なお、フレーム差分を行った結果得られた領域が、車両１０から遠ざかる方向に、路面上に倒れ込んでいることは、仮想画像７２（ｔ）からエッジ検出を行った結果を参照して、フレーム差分の結果得られた領域におけるエッジ方向が、前方カメラ１２ａ（図４）の設置位置Ｐ１（図６Ｂ）を通る放射状の直線に沿って延びていることを確認して判断することができる。
（立体物検出処理の詳細説明）

次に、立体物検出処理の具体的な内容について、図７Ｃから図７Ｅを用いて説明する。

まず、図７Ｃに示す第１フレーム差分結果を所定のしきい値で２値化して、しきい値よりも大きい濃淡値を有する画素を第１立体物候補領域８８（非図示）として検出する。この処理によって、脚部８３，８５やレーンマーカ８１の領域が検出される。

次に、図７Ｄに示す第２フレーム差分結果を所定のしきい値で２値化して、しきい値よりも大きい濃淡値を有する画素を第２立体物候補領域８９（非図示）として検出する。この処理によって、脚部８３，８５や自車影８７の領域が検出される。

そして、検出された第１立体物候補領域８８と第２立体物候補領域８９に対して、互いに近接した位置にあって同じ形状（特徴）を有する領域のみを選出する、いわゆる非立体物の除去を行う。この処理によって、車両の移動とともにその位置が移動する非立体物、すなわち、レーンマーカ８１や自車影８７の領域を除去することができる。この非立体物の除去は、例えば、検出された第１立体物候補領域８８と第２立体物候補領域８９に対して論理積演算を行うことによって実行できる。

なお、ここで利用する特徴は、領域の形状に限るものではない。すなわち、領域の輝度差を利用して、互いに近接した位置にある領域を検出してもよい。また、特徴として、仮想画像に対してエッジ検出を行った結果の類似性（エッジ強度，エッジ方向の類似性）や、仮想画像を複数の小ブロックに分割して、各小ブロックから得た、濃淡ヒストグラムやエッジ検出結果のヒストグラムの類似性等を用いてもよい。

次に、仮想画像７２（ｔ）に対して、エッジ検出部４０ｃ（図３）でエッジ検出を行う。エッジ検出は、一般的に行われているように、隣接する画素間の明るさの差を演算することによって行う。

非立体物の除去を行って残った領域に対して、その領域と同じ位置にある画素のエッジ検出結果を参照して、各領域の延びる方向を評価する。立体物を構成する領域は、前方カメラ１２ａ（図４）の設置位置Ｐ１（図６Ｂ）から仮想画像７２（ｔ）の周辺に向かって放射状に延びる領域に変換されるため、領域の形状や延びる方向が、この条件に合致することを確認して、立体物を構成する領域であると判断する。

このとき、フレーム差分で検出された領域をそのまま立体物領域と判断せず、仮想画像７２（ｔ）のエッジ検出結果を参照するため、フレーム差分の結果に混入する可能性がある、照明，影，カメラの露光特性の時間変動の影響を低減することができる。また、仮想画像７２（ｔ）のエッジ検出結果を参照するため、時刻ｔ−Δｔにおける立体物領域が残像として残らない状態とすることができるとともに、立体物が移動していた場合の誤検出抑制効果もある。したがって、立体物の検出性能をより一層向上させることができる。

この一連の処理によって、例えば図７Ｅに示すように、立体物を構成すると考えられる立体物領域９０，９２が検出される。そして、さらに、検出された立体物領域９０，９２の最下部の辺縁位置を、立体物が路面に接地している位置を示す路面接地位置９０ａ，９２ａとして検出する。
（立体物検出処理の流れの説明）

次に、図８のフローチャートを用いて、立体物検出処理の一連の流れを説明する。

（ステップＳ１００）第１フレーム差分演算部４０ａでフレーム差分を行う。

（ステップＳ１１０）第２フレーム差分演算部４０ｂでフレーム差分を行う。

（ステップＳ１２０）ステップＳ１００の結果と、ステップＳ１１０の結果を比較して、車両１０の移動とともに移動する領域を非立体物として除去する。

（ステップＳ１３０）仮想画像７２（ｔ）のエッジ検出を行う。

（ステップＳ１４０）ステップＳ１２０の結果残った領域の中から、車両１０から遠ざかる方向に、路面上に倒れ込んだ領域のみを検出する。

（ステップＳ１５０）検出された領域の路面接地位置を検出する。
（立体物領域抽出処理の説明）

次に、仮想画像７２（俯瞰画像）の中から検出された立体物に対して、その立体物と対応する領域を原画像７０の中から抽出する。この処理は、立体物領域抽出部５０ａ（図１）で行われる。以下、図９Ａから図９Ｃを用いて、立体物領域抽出処理の作用について説明する。

仮想画像７２の中から検出された立体物領域を、仮想画像７２を作成したときとは逆に、逆俯瞰変換して原画像７０の座標系に変換する。この逆俯瞰変換によって、図９Ａに示すように、原画像７０（ｔ）の内部において立体物の領域を特定することができる。ただし、図９Ａの場合、仮想画像に変換した際に、ガレージ８２（立体物）の高所部分はフレームアウトしてしまうため、地面に近い下方の立体物領域９０，９２のみが抽出されて重畳される。なお、原画像７０に格納された濃淡値はこの後の処理で利用するため、ここでいう重畳とは、原画像７０の上に別のレイヤーとして重ね合わせることを意味している。

次に、図９Ｂに示すように、原画像７０（ｔ）の中に、横方向が立体物領域９０，９２に外接するような矩形領域Ｗ１を設定する。矩形領域Ｗ１の縦方向サイズは、予め設定した所定の値とする。そして、立体物領域抽出部５０ａにおいて、矩形領域Ｗ１に対応する原画像７０（ｔ）の領域内部の濃淡ヒストグラムＨ（Ｗ１）を作成する。このようにして作成された濃淡ヒストグラムＨ（Ｗ１）の例を図９Ｃに示す。

図９Ｃからわかるように、濃淡ヒストグラムＨ（Ｗ１）には、立体物領域９０，９２を形成している暗部領域と、非立体物領域を構成している明部領域の２つの領域が出現している。

そして、矩形領域Ｗ１の縦方向サイズを所定値ずつ増加させて矩形領域Ｗ２，Ｗ３，Ｗ４を設定して、その都度、各矩形領域に対応する原画像７０（ｔ）の濃淡ヒストグラムＨ（Ｗ２），Ｈ（Ｗ３），Ｈ（Ｗ４）を作成する。このようにして生成された濃淡ヒストグラムＨ（Ｗ２），Ｈ（Ｗ３），Ｈ（Ｗ４）の例を図９Ｃに示す。

図９Ｃからわかるように、矩形領域と立体物領域９０，９２とが重複していると、濃淡ヒストグラムは類似の形態をなす。すなわち、図９Ｃの例では、矩形領域Ｗ１，Ｗ２，Ｗ３を設定したときに得られる濃淡ヒストグラムＨ（Ｗ１），Ｈ（Ｗ２），Ｈ（Ｗ３）から、立体物領域９０，９２を形成している暗部領域と、非立体物領域を構成している明部領域の２つの領域が出現することがわかる。そして、矩形領域Ｗ４が立体物領域９０，９２を完全に包含したときに得られる濃淡ヒストグラムＨ（Ｗ４）は、濃淡分布の類似性が崩れることがわかる。

本実施例では、図９Ｃに示すように、異なる縦方向サイズを有する複数の矩形領域Ｗｉ（ｉ＝１，２，…）を設定して、その矩形領域Ｗｉ内の濃淡ヒストグラムＨ（Ｗｉ）を作成し、作成された濃淡ヒストグラムＨ（Ｗｉ）の類似性を評価して、原画像７０（ｔ）の中から立体物に対応する領域を抽出する。

なお、濃淡ヒストグラムＨ（Ｗｉ）間の類似性を評価する尺度としては、例えば、ユークリッド距離による判別法、ヒストグラム交差法等の様々な方法が提案されており、それらのいずれの尺度を用いて評価しても構わない。ただし、設定する矩形領域Ｗｉ（ｉ＝１，２，…）はそれぞれサイズが異なっているため、作成された濃淡ヒストグラムＨ（Ｗｉ）の総面積は全て異なっている。したがって、類似性を算出するためには、濃淡ヒストグラムＨ（Ｗｉ）の総面積が等しくなるように、予め正規化処理を行っておく必要がある。なお、濃淡ヒストグラムＨ（Ｗｉ）間の類似性は、矩形領域Ｗｉ内の立体物領域と非立体物領域の面積変動を考慮して、ヒストグラムの双峰性を仮定したモード法や、判別分析等による２値化閾値の安定性に基づいて評価しても構わない。

さらに、図９Ｂの例では、立体物領域９０，９２（図９Ａ）にともに外接する矩形領域Ｗｉ（ｉ＝１，２，…）を設定したが、これは、立体物領域９０と立体物領域９２の間に、空中に浮遊した浮遊領域が存在するものと仮定したためである。

したがって、立体物領域９０，９２にそれぞれ外接する領域を設定して、２つの立体物領域をそれぞれ求めても構わない。ただし、その場合には、立体物領域をそれぞれ抽出した後で、それらの立体物が１つの塊であるか否かを、例えば、前述した立体物領域抽出と同様に濃淡ヒストグラムの類似性評価等によって判定して、ひとつの塊であったときには、１つの領域として統合する必要がある。

次に、図１０に立体物領域を抽出した別の例について説明する。図１０は、時刻ｔに撮像された、車両１０の前方に他車両１１（立体物）が停止している状態を示す原画像７０（ｔ）を示している。そして、立体物検出によって検出された立体物領域９４が、原画像７０（ｔ）に重畳された状態を示している。そして、他車両１１（立体物）のタイヤの接地位置が、路面接地位置９４ａ，９４ｂとして検出されている。

図１０に示した原画像７０（ｔ）に対して、前述した立体物領域抽出処理を行う。すなわち、立体物領域９４に外接する矩形領域Ｗｉ（ｉ＝１，…，ｎ）を設定して、濃淡ヒストグラムＨ（Ｗｉ）の類似度を評価する。これによって、他車両１１に外接する矩形領域Ｗｎを抽出することができる。
（立体物領域抽出処理の流れの説明）

以下、図１１のフローチャートを用いて、立体物領域抽出処理の一連の流れを説明する。

（ステップＳ２００）仮想画像７２の中から検出された立体物領域を逆変換して原画像７０の対応する位置に重畳する。

（ステップＳ２１０）立体物候補領域として、横方向が、原画像７０に重畳された立体物領域に外接するような複数の矩形領域Ｗｉ（ｉ＝１，２，…）を設定する。

（ステップＳ２２０）原画像７０のうち、矩形領域Ｗｉに対応する領域の濃淡ヒストグラムＨ（Ｗｉ）を生成する。

（ステップＳ２３０）生成された複数の濃淡ヒストグラムＨ（Ｗｉ）同士の類似度を算出して、類似度の高い濃淡ヒストグラムＨ（Ｗｉ）の組を探す。そして、類似度が高いと判定された濃淡ヒストグラムＨ（Ｗｉ）の組のうち、縦方向サイズが最大の矩形領域Ｗｉを立体物領域として設定する。

（ステップＳ２４０）立体物領域が設定されたか否かを判定する。立体物領域が設定されたときは図１１の処理を終了して、それ以外のときはステップＳ２１０に戻り、別の立体物候補領域に対する処理を繰り返す。

なお、図１１は、立体物領域抽出処理の一例を示すものである。実際には、前述したように、領域の濃淡ヒストグラムＨ（Ｗｉ）の類似度のみならず、仮想画像のエッジ検出結果等、別の特徴を用いて立体物領域を抽出してもよい。
（車両進入可否判定処理の説明）

次に、図１２Ａから図１２Ｃを用いて、車両進入可否判定処理の作用について説明する。車両進入可否判定処理は、図１に示した車両進入可否判定部５０において行われる。

路面上の立体物は、その下端部が全て路面に接地しているとは限らない。すなわち、路面に接地していない浮遊領域を有している場合もある。例えば、図６Ａ，図６Ｂに記載したガレージ８２（立体物）は、脚部８３，８５のみが路面に接地しており、脚部８３，８５に挟まれた領域は、路面から浮遊している。また、図１０に記載した他車両１１（立体物）は、タイヤのみが路面に接地しており、それ以外の部分（車両のボディ部分）は路面から浮遊している。

そこで、車両進入可否判定処理を行うにあたり、まず、図１２Ａに示すように、前述した立体物領域抽出処理によって抽出された立体物領域である他車両１１を、真上から路面に投影した路面投影位置を算出する。この処理は、図１の路面投影位置算出部５０ｂにおいて行われる。この処理によって、抽出された立体物領域の中に路面から浮遊した部位があるか否かを検出することができる。

浮遊部位の検出は、具体的には、図１２Ａに示すように、路面接地位置９４ａ，９４ｂを含み、検出された立体物領域である他車両１１の左右端まで延びた線分Ｌを設定して、その線分Ｌの位置から原画像７０（ｔ）上で上方に向かって、立体物領域である他車両１１と突き当たる点の位置を検出する。処理の結果、図１２Ａの例では、例えば、点Ｐｉから探索を行うと空間に浮遊した点Ｑｉが検出される。同様にして、点Ｐｊから探索を行うと空間に浮遊した点Ｑｊが検出される。なお、路面接地位置９４ａ，９４ｂは路面に接地していることがわかっているため、処理の対象から外す。

次に、検出された、空間に浮遊した点Ｑｉ，Ｑｊ，…を、逆に線分Ｌ上に投影して、路面接地点Ｒｉ，Ｒｊ，…を設定する。なお、路面接地位置９４ａ，９４ｂは、そのまま路面接地点とする。

このようにして設定された路面接地点Ｒｉ，Ｒｊ，…は、他車両１１（立体物）を真上から路面に投影した路面投影位置を表している。そして、このようにして求めた路面接地点Ｒｉ，Ｒｊ，…のうち、左右に連続して検出された路面接地点を互いに連結して、一本の線分である路面接地線Ｌ１，Ｌ２，Ｌ３を形成する。この処理によって、車両１０は、少なくとも、この路面接地線Ｌ１，Ｌ２，Ｌ３の位置までは他車両１１（立体物）に接近することができることがわかる。そして、この路面接地線Ｌ１，Ｌ２，Ｌ３を超えて他車両１１に接近すると、車両１０が他車両１１に接触する虞がある。

なお、路面接地線Ｌ１，Ｌ２は路面接地位置９４ａと接続しており、また、路面接地線Ｌ２，Ｌ３は路面接地位置９４ｂと接続しているため、これらの路面接地線Ｌ１，Ｌ２，Ｌ３と路面接地位置９４ａ，９４ｂは、１本の路面接地線Ｎとして統合する。

次に、検出された立体物領域の内部に、車両１０が進入可能な空間があるか否かを判定する。この判定は、図１の車両進入可能空間識別部５０ｃにおいて行われる。

具体的には、例えば、図１２Ｃに示すように、原画像７０（ｔ）の内部で検出された路面接地線Ｌｉ，Ｌｊ，Ｌｋ（路面接地線Ｎに対応する）の上方のどの位置に立体物領域が浮遊しているかを確認する。

すなわち、車両１０が路面接地線Ｌｉ，Ｌｊ，Ｌｋを超えて奥まで進入できるか否かは、路面接地線Ｌｉ，Ｌｊ，Ｌｋの長さが車両１０の幅よりも長く、なおかつ、路面接地線Ｌｉ，Ｌｊ，Ｌｋの上方に、車両１０の高さを超える空間があることを確認することにより判定できる。

ここで、原画像７０（ｔ）は遠方にあるものほど、画像の上方に短く映るような透視変換を受けて生成されている。したがって、原画像７０（ｔ）の内部で検出された路面接地線Ｌｉ，Ｌｊ，Ｌｋの原画像７０（ｔ）上での上下位置と長さによって、路面接地線Ｌｉ，Ｌｊ，Ｌｋの実際の長さを推定することができる。また、路面接地線Ｌｉ，Ｌｊ，Ｌｋの原画像７０（ｔ）上での上下位置によって、その路面接地線の位置において、車両１０が進入可能な空間の高さを推定することができる。

例えば、図１２Ｃに示すように、原画像７０（ｔ）の内部で路面接地線Ｌｉ，Ｌｊ，Ｌｋが検出されたときには、各路面接地線Ｌ１，Ｌ２，Ｌ３を超えて車両１０が進入するために必要な、各路面接地線Ｌｉ，Ｌｊ，Ｌｋの上方の空間の高さＨｉ，Ｈｊ，Ｈｋを、それぞれ、各路面接地線Ｌｉ，Ｌｊ，Ｌｋの上下位置に基づいて推定することができる。

各路面接地線Ｌｉ，Ｌｊ，Ｌｋの実際の長さと、各路面接地線Ｌｉ，Ｌｊ，Ｌｋの上方の空間の高さＨｉ，Ｈｊ，Ｈｋは、それぞれ、前方カメラ１２ａ（図４）の設置レイアウト情報（カメラの高さ，カメラの俯角，レンズパラメータ）に基づいて推定することができる。すなわち、前方カメラ１２ａ（図４）の設置レイアウトは予めわかっているため、各路面接地線Ｌ１，Ｌ２，Ｌ３の実際の長さと、各路面接地線Ｌ１，Ｌ２，Ｌ３の上方の空間の高さＨ１，Ｈ２，Ｈ３は、予め計算によって求めておくことができる。そして、算出された値は、表形式で、車両進入可能空間識別部５０ｃ（図１）に記憶しておく。

そして、各路面接地線Ｌｉ，Ｌｊ，Ｌｋが検出されると、記憶された表の内容を参照して、各路面接地線Ｌｉ，Ｌｊ，Ｌｋが車両１０の幅を超える値であって、なおかつ、路面接地線Ｌｉ，Ｌｊ，Ｌｋの上部に、車両１０の高さを超えるスペースがあるか否かを判定することができる。
（車両進入可否判定処理の流れの説明）

以下、図１３のフローチャートを用いて、車両進入可否判定処理の一連の流れを説明する。

（ステップＳ３００）立体物領域の路面投影位置を、路面接地点Ｒｉ，Ｒｊ，…として算出する。具体的な処理の内容は、前述した通りである。

（ステップＳ３１０）路面接地点Ｒｉ，Ｒｊ，…のうち連続している点を統合して路面接地線Ｎとする。そして、路面接地線Ｎの長さと、路面接地線Ｎの原画像７０上の上下位置を算出する。

（ステップＳ３２０）路面接地線Ｎの上方の空間の高さＨを算出する。

（ステップＳ３３０）車両１０が路面接地線Ｎを超えて進入可能か否かを判定する。
（車両進入不可範囲表示処理の説明）

次に、図１４Ａ，図１４Ｂを用いて、車両進入不可範囲表示処理の作用について説明する。車両進入不可範囲表示処理は、図１に示した車両進入可否範囲表示部６０において行われる。

図１４Ａは、図６Ａ，図６Ｂから生成された表示画像７４（ｔ）の一例である。この表示画像７４（ｔ）は、車両１０のモニタ１５０（図４）に表示される。図１４Ａに示すように、表示画像７４（ｔ）には、仮想画像７２（ｔ）（俯瞰画像）上に路面接地線Ｌ１，Ｌ２が太線で描画されるとともに、抽出されたガレージ８２に対応する立体物領域が重畳して表示される。そして、路面接地線Ｌ１，Ｌ２に挟まれた領域は、車両１０が進入可能であるため、路面接地線の位置には太線の描画が行われない。車両１０の運転者は、この表示画像７４（ｔ）を見て、車両１０をガレージ８２（立体物）の奥まで進入させることができると判断する。なお、路面接地線Ｌ１，Ｌ２を示す太線には赤色等の所定の色付けを行うことによって、視認性を高めてもよい。

なお、表示画像７４（ｔ）において、前方カメラ１２ａの視野外となる不可視領域８６およびガレージ８２（立体物）の陰となる不可視領域８８には、所定の濃淡値（例えば０）が格納される。

図１４Ｂは、図１０に示した原画像７０（ｔ）が観測されたときに生成される表示画像７５（ｔ）の一例である。表示画像７５（ｔ）において、他車両１１の下部には、路面接地線Ｎを示す太線が描画される。そして、車両１０は路面接地線Ｎの位置までしか接近できないこと、すなわち、車両１０は路面接地線Ｎを超えて進入することができないことが示される。

なお、表示画像７４（ｔ）の表示形態は、図１４Ａ，図１４Ｂに示した例に限定されるものではない。すなわち、路面接地線Ｎのうち、車両１０が進入できない範囲ではなく、車両１０が進入可能な範囲に太線を表示しても構わない。

以上説明したように、このように構成された本発明の実施例１に係る車両用進入可否判定装置１００によれば、前方カメラ１２ａ（撮像部１２）で撮像された車両１０の周囲の路面を含む原画像７０を、画像変換部３０が、所定の視点位置から見た仮想画像７２（俯瞰画像）に変換して、立体物検出部４０が、仮想画像７２の中から、路面から高さを有する立体物を検出して、車両進入可否判定部５０が、検出された立体物の内部または異なる立体物の間隙への車両１０の進入可否を判定するため、路面に接地していない浮遊領域を有する立体物であっても、車両１０がその空間に進入可能か否かを判定することができるため、立体物への接触を未然に防止することができる。

また、このように構成された本発明の実施例１に係る車両用進入可否判定装置１００によれば、立体物領域抽出部５０ａが、原画像７０の中から、立体物と対応する領域を抽出して、路面投影位置算出部５０ｂが、立体物領域抽出部５０ａによって抽出された立体物領域に対して、立体物領域を構成する、路面に接地していない浮遊領域の有無と浮遊領域の路面からの高さを算出するとともに、浮遊領域を真上から路面に投影した路面投影位置を算出して、車両進入可能空間識別部５０ｃが、路面投影位置算出部５０ｂによって算出された路面投影位置と浮遊領域の有無とに基づいて、立体物の内部または異なる立体物の間隙に、車両１０が進入可能な空間があるか否かを識別するため、簡便な処理によって、浮遊領域の有無とその路面投影位置を算出することができる。

そして、このように構成された本発明の実施例１に係る車両用進入可否判定装置１００によれば、車両進入可否範囲表示部６０が、車両進入可否判定部５０において、車両１０が進入不可能であると判定された進入不可範囲または車両１０が進入可能であると判定された進入可能範囲を、仮想画像７２の路面位置に重畳して表示するため、路面に接地していない浮遊領域を有する立体物であっても、車両１０がその立体物に対してどこまで接近できるかを可視化することができ、立体物への接触を未然に防止することができる。

さらに、このように構成された本発明の実施例１に係る車両用進入可否判定装置１００によれば、立体物検出部４０は、第１フレーム差分演算部４０ａで演算された、異なる時刻に撮像された２枚の原画像からそれぞれ生成された２枚の仮想画像７２（ｔ−Δｔ），７２（ｔ）（俯瞰画像）のフレーム差分の結果と、第２フレーム差分演算部４０ｂで演算された、２枚の仮想画像（俯瞰画像）のうち一方の仮想画像７２（ｔ−Δｔ）から、車両１０の移動量と移動方向に基づいて予測された、他方の仮想画像７２（ｔ）の変換元である原画像７０（ｔ）が撮像された時刻と同じ時刻に撮像された原画像から生成されると予測される予測仮想画像７２’（ｔ）と他方の仮想画像７２（ｔ）とのフレーム差分の結果と、に基づいて路面上の非立体物を除去するとともに、エッジ検出部４０ｃで検出された仮想画像７２（ｔ）のエッジ情報を参照することによって路面上の立体物を検出した。そのため、簡便な画像処理によって、路面から高さを有する立体物を、路面のペイントや汚れ、あるいは車両１０の自車影８７と識別して確実に検出することができる。

また、このように構成された本発明の実施例１に係る車両用進入可否判定装置１００によれば、第１フレーム差分演算部４０ａによって検出された第１立体物候補領域８８と、第２フレーム差分演算部４０ｂによって検出された第２立体物候補領域８９の中から、互いに近接した位置にあって同じ形状（特徴）を有する領域を検出するとともに、エッジ検出部４０ｃによる仮想画像７２（ｔ）のエッジ検出結果に基づいて、検出された領域が車両１０から遠ざかる方向に、路面上に倒れ込んでいると判定されたとき、その領域を路面上の立体物を表す領域として検出した。したがって、仮想画像７２（ｔ）のエッジ検出結果を参照することにより、フレーム差分の結果に混入する可能性がある、照明，影，カメラの露光特性の時間変動の影響を低減することができるため、立体物の検出性能をより一層向上させることができる。

なお、実施例１にあっては、撮像部１２として前方カメラ１２ａを１台設置した例を用いて説明したが、使用するカメラは１台に限定されるものではない。すなわち、車両１０の前方，左方，右方，後方に向けて複数のカメラを設置して、車両１０の全周囲を監視可能な車両用進入可否判定装置とすることも可能である。この場合、各カメラで撮像された原画像はそれぞれ仮想画像（俯瞰画像）に変換された後、１枚の合成画像に合成されて、この合成画像に対して、実施例で説明した各処理が行われる。

また、実施例１では、一つの立体物であるガレージ８２や他車両１１の内部への車両１０の進入可否を判断する例を示したが、これは、単一の立体物の内部への進入判断を行う例に限定されるものではない。すなわち、駐車枠が表示されていない駐車場に、２台の車両が間隔をおいて駐車しているとき、その間のスペースに車両１０を進入させて駐車することができるか否かを判断するような場面にも適用することができる。その場合には、立体物として２台の車両をそれぞれ検出した後で、検出された２つの立体物領域の間に存在する空間の横幅と空間の高さをそれぞれ算出して、算出された空間のサイズ（横幅と高さ）と車両１０の寸法とを比較して、車両１０の進入可否が判定される。

さらに、実施例１で説明した画像処理の手順は、実施例に記載した通りである必要はない。例えば、仮想画像７２（ｔ）の内部に、ガレージ８２が途切れなく映り込んでいたときには、仮想画像７２（ｔ）の中から、ガレージ８２が１つの立体物領域として検出される。このような場合も想定して、仮想画像７２（ｔ）の中から路面接地線Ｎを検出した後、引き続いて、路面接地線Ｎの上方の空間の高さＨを算出する手順としても構わない。このような手順をとると、仮想画像７２（ｔ）の中に立体物全体が映り込んでいるときには、仮想画像７２（ｔ）のみを使用して立体物領域抽出処理と進入可否判定処理を行うことができるため、一連の処理をより簡便に行うことができる。

また、実施例１で説明した車両用進入可否判定装置１００によれば、検出された立体物の路面接地線Ｎを求めて、路面接地線Ｎのうち、車両１０が進入不可能な範囲のみを表示して運転者に情報伝達を行う構成としたが、この構成に限定されるものではない。すなわち、例えば、算出された路面接地線Ｎのうち、車両１０が進入可能な範囲の情報に基づいて、車両１０を自動駐車させる構成とすることも可能である。

さらに、実施例１にあっては、仮想画像同士のフレーム差分を行って立体物の検出を行ったが、その際に行うフレーム差分は、仮想画像の明るさを表す濃淡値同士のフレーム差分に限定されるものではない。すなわち、例えば仮想画像のエッジ検出を行って、検出されたエッジ強度が格納された仮想画像同士のフレーム差分を行ってもよいし、検出されたエッジ方向が格納された仮想画像同士のフレーム差分を行って、変化が生じた領域を検出してもよい。また、仮想画像を複数の小ブロックに分割して、各小ブロックの濃淡ヒストグラムやエッジ検出結果のヒストグラムの類似性を用いてもよい。

以上、本発明の実施例を図面により詳述したが、実施例は本発明の例示にしか過ぎないものであるため、本発明は実施例の構成にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲の設計の変更等があっても、本発明に含まれることは勿論である。

１０・・・車両
１２・・・撮像部
２０・・・画像入力部
３０・・・画像変換部
４０・・・立体物検出部
５０・・・車両進入可否判定部
５０ａ・・立体物領域抽出部
５０ｂ・・路面投影位置算出部
５０ｃ・・車両進入可能空間識別部
６０・・・車両進入可否範囲表示部
７０・・・原画像
７２・・・仮想画像
１００・・車両用進入可否判定装置

Claims (4)

1. 車両に取り付けられた、前記車両の周囲の路面を含む範囲を撮像する撮像部と、
   前記撮像部で撮像された原画像を、所定の視点位置から見た仮想画像に変換する画像変換部と、
   前記仮想画像の中から、路面から高さを有する立体物を検出する立体物検出部と、
   前記立体物の内部への前記車両の進入可否を判定する車両進入可否判定部と、を有し、
   前記車両進入可否判定部は、前記原画像の中から、前記立体物と対応する領域を抽出する立体物領域抽出部と、
   前記立体物領域抽出部によって抽出された立体物領域に対して、前記立体物領域を構成する、路面に接地していない浮遊領域の有無と前記浮遊領域の路面からの高さを算出するとともに、前記浮遊領域を真上から路面に投影した路面投影位置を算出する路面投影位置算出部と、
   前記路面投影位置算出部によって算出された路面投影位置と前記浮遊領域の有無とに基づいて、前記立体物の内部に、前記車両が進入可能な空間があるか否かを識別する車両進入空間識別部とを有することを特徴とする車両用進入可否判定装置。
2. 前記車両進入可否判定部において、前記車両が進入不可能であると判定された進入不可範囲または前記車両が進入可能であると判定された進入可能範囲を、前記仮想画像の路面位置に重畳して表示する車両進入可否範囲表示部を有することを特徴とする請求項１に記載の車両用進入可否判定装置。
3. 前記立体物検出部は、異なる時刻に撮像された２枚の原画像からそれぞれ生成された２枚の仮想画像同士のフレーム差分を演算する第１フレーム差分演算部と、
   前記異なる時刻の間の前記車両の移動量と移動方向とに基づいて、前記２枚の仮想画像のうち一方の仮想画像を、他方の仮想画像の変換元である原画像が撮像された時刻に撮像された原画像から生成されると予測される予測仮想画像に変換し、前記他方の仮想画像と前記予測仮想画像とのフレーム差分を演算する第２フレーム差分演算部と、
   前記一方の仮想画像のエッジを検出するエッジ検出部と、を有し、前記第１フレーム差分演算部の演算結果と、前記第２フレーム差分演算部の演算結果と、前記エッジ検出部の演算結果と、に基づいて路面上の非立体物を除去することにより、路面上の立体物を検出することを特徴とする請求項１または請求項２に記載の車両用進入可否判定装置。
4. 前記立体物検出部は、前記第１フレーム差分演算部によって検出された第１立体物候補領域と、前記第２フレーム差分演算部によって検出された第２立体物候補領域の中から、互いに近接した位置にあって同じ特徴を有する領域を検出するとともに、前記エッジ検出部の検出結果に基づいて、前記領域が、前記車両から遠ざかる方向に、路面上に倒れ込んでいると判定されたときに、前記領域を路面上の立体物を表す領域として検出することを特徴とする請求項３に記載の車両用進入可否判定装置。