JP4067340B2 - 対象物認識装置および対象物認識方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、例えば、ガードレールのように、車両が走行する道路面から直線状に起立した部位を有する対象物を認識する対象物認識装置および対象物認識方法に関する。
【０００２】
【従来の技術】
近年、単眼カメラ、ステレオカメラ、或いはミリ波レーダといった各種センサを用いた車外監視装置が注目されている。これら車外監視装置は、車両に搭載されたセンサによって所定の監視領域内の景色を撮像またはスキャンし、これにより得られた情報に基づいて、走行状況を認識する。ステレオカメラを用いた監視装置では、一対の撮像画像（ステレオ画像）に写し出された同一対象物に関する位置的なずれ量（すなわち視差）が、ステレオマッチングによって算出される。画像に写し出されたある対象物の実空間上の位置（三次元的な位置）は、その対象物に関して算出された視差と画像平面上の位置とに基づいて、周知の座標変換式より算出可能である。車外監視装置が認識すべき対象物としては、典型的には、車線（道路）や先行車が挙げられる。しかしながら、これら以外に、道路側方のガードレール等を認識することも有効である。道路に沿って設けられたガードレールを検出することにより、道路面に車線がない走行状況であっても、道路形状を特定できるからである。
【０００３】
従来より、車両の側部に超音波センサを取り付けて、自車両と側方のガードレールとの間の距離を計測する技術が知られている。ガードレールまでの距離が一定になるような車両制御を行えば、自車両をガードレールに沿って走行させることができる。
【０００４】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来技術では、隣車線を走っている車両とガードレールとを有効に識別することができないという不都合がある。特に、隣車線を走行するバスなどの大型車両は、ガードレールと誤認識され易い。
【０００６】
本発明は、このような事情に鑑みてなされたものであり、その目的は、例えばガードレールといった対象物を精度よく認識することである。
【０００７】
また、本発明の別の目的は、このような対象物の誤認識を防ぐことにより、車外監視精度の一層の向上を図ることである。
【０００８】
【課題を解決するための手段】
かかる課題を解決するために、第１の発明は、車両が走行する道路面から直線状に起立した部位を有する対象物を認識する対象物認識装置を提供する。この認識装置は、少なくとも一つのカメラと、領域設定部と、判断部とを有する。カメラは、車両前方の監視領域内の景色を異なる時系列的に撮像することにより、前画像と、前画像よりも後の撮像タイミングで撮像された後画像とを出力する。領域設定部は、前画像平面において、車両の走行に起因した経時的な変化方向と異なる方向に延在する直線要素を含むエリアを第１の選択領域として設定する。そして、領域設定部は、少なくとも車速を含む車両の走行状態に基づいて、前画像平面において、後画像の撮像タイミングにおける第１の選択領域の移動先を推定する。判断部は、後画像平面において、第１の選択領域の移動先に対応する第２の選択領域を設定する。それとともに、判断部は、第１の選択領域と第２の選択領域とが相関を有する場合には、第１の選択領域内に写し出された対象物が認識すべき対象物であると判断する。
【０００９】
ここで、第１の発明において、監視領域内における距離の二次元的な分布を距離データとして生成する距離データ生成部をさらに有していてもよい。この場合、領域設定部は、距離データ生成部によって生成された距離データを用いて、後画像の撮像タイミングにおける移動先を推定することが好ましい。
【００１０】
また、第１の発明において、領域設定部は、第１の選択領域に関する画像平面上の位置と、第１の選択領域内に含まれる距離データとに基づいて、第１の選択領域に写し出された対象物の実空間上の第１の位置を特定し、第１の位置と車両の走行状態とに基づいて、後画像の撮像タイミングにおける対象物の実空間上の第２の位置を特定し、第２の位置を画像平面上の位置に座標変換することにより、移動先の画像平面上の位置を特定してもよい。
【００１１】
また、第１の発明において、領域設定部は、前画像平面において、認識すべき対象物が存在する傾向がある任意のエリアを第１の選択領域として設定し、この第１の選択領域内に、車両の走行に起因した経時的な変化方向と異なる方向に延在する直線要素が含まれているか否かを判断し、第１の選択領域内に直線要素が含まれていないと判断した場合には、第１の選択領域とは異なるエリアを新たな第１の選択領域として設定してもよい。
【００１２】
また、距離データ生成部は、カメラを含むステレオカメラと、ステレオカメラから出力されたステレオ画像に基づいて、ステレオマッチングによって、距離データを算出するステレオ画像処理部とを含んでいてもよい。
【００１３】
さらに、第１の発明において、認識すべき対象物は、道路の側部に設けられたガードレールであることが好ましい。
【００１４】
第２の発明は、車両が走行する道路面から直線状に起立した部位を有する対象物を認識する対象物認識方法を提供する。この認識方法において、まず、第１のステップでは、車両前方の監視領域内の景色を撮像することによって得られた前画像平面において、車両の走行に起因した経時的な変化方向と異なる方向に延在する直線要素を含むエリアを第１の選択領域として設定する。第２のステップでは、少なくとも車速を含む車両の走行状態に基づいて、前画像よりも後に撮像された後画像の撮像タイミングにおける第１の選択領域の画像平面上の移動先を推定する。続く第３のステップでは、車両前方の監視領域内の景色を撮像することによって得られた後画像平面において、第１の選択領域の移動先に対応する第２の選択領域を設定する。そして、第４のステップでは、第１の選択領域と第２の選択領域との相関を評価し、第１の選択領域と第２の選択領域とが相関を有する場合、第１の選択領域内に写し出された対象物が認識すべき対象物であると判断する。
【００１５】
ここで、第２の発明において、監視領域内における距離の二次元的な分布を距離データとして生成する第５のステップをさらに有していてもよい。この場合、第２のステップにおいて、後画像の撮像タイミングにおける移動先は、距離データを用いて推定されることが好ましい。
【００１６】
また、第２の発明において、第２のステップは、第１の選択領域の画像平面上の位置と、第１の選択領域内に含まれる距離データとに基づいて、第１の選択領域に写し出された対象物の実空間上の第１の位置を特定するステップと、第１の位置と車両の走行状態とに基づいて、後画像の撮像タイミングにおける対象物の実空間上の第２の位置を特定するステップと、第２の位置を画像平面上の位置に座標変換することにより、移動先の画像平面上の位置を特定するステップとを含んでいてもよい。
【００１７】
また、第２の発明において、第２のステップは、画像平面において、認識すべき対象物が存在する傾向がある任意のエリアを第１の選択領域の候補として設定するステップと、この第１の選択領域内に、車両の走行に起因した経時的な変化方向と異なる方向に延在する直線要素が含まれているか否かを判断するステップと、第１の選択領域内に直線要素が含まれていないと判断した場合には、第１の選択領域とは異なるエリアに第１の選択領域を新たに設定するステップとを含むことが好ましい。
【００１８】
さらに、第２の発明において、認識すべき対象物は、道路の側部に設けられたガードレールであることが好ましい。
【００１９】
【発明の実施の形態】
図１は、本実施形態に係るステレオ式監視装置のブロック構成図である。このステレオ式監視装置１は、自動車等の車両に搭載され、車両前方の走行状況を監視する。車両前方の監視領域内の景色を撮像するステレオカメラは、ルームミラーの近傍に取り付けられている。このステレオカメラは、一対のカメラ２，３で構成されており、それぞれのカメラ２，３には、イメージセンサ（例えば、ＣＣＤまたはＣＭＯＳセンサ等）が内蔵されている。メインカメラ２は、ステレオ画像処理を行う際に必要な基準画像（右画像）を時系列的に撮像し、サブカメラ３は、比較画像（左画像）を時系列的に撮像する。互いの同期が取れている状態において、それぞれのカメラ２，３は、アナログ画像を順次出力する。出力された一対のアナログ画像は、Ａ／Ｄコンバータ４，５により、所定の輝度階調（例えば、256階調のグレースケール）のデジタル画像に変換される。
【００２０】
デジタル化された一対の画像データは、画像補正部６において、輝度の補正や画像の幾何学的な変換等が行われる。通常、一対のカメラ２，３の取付位置は、程度の差はあるものの誤差が存在するため、それに起因したずれが左右の各画像に生じている。このずれを補正するために、アフィン変換等を用いて、画像の回転や平行移動等の幾何学的な変換が行われる。
【００２１】
このような画像処理を経て、メインカメラ２より基準画像データが得られ、サブカメラ３より比較画像データが得られる。これらの画像データ（ステレオ画像データ）は、各画素の輝度値（0〜255）の集合である。ここで、画像データによって規定される画像平面は、ｉ−ｊ座標系で表現され、画像の左下隅を原点として、水平方向をｉ座標軸、垂直方向をｊ座標軸とする。一フレーム（一画像の表示単位）相当のステレオ画像データは、ステレオ画像処理部７と、画像データメモリ８とにそれぞれ出力される。
【００２２】
ステレオ画像処理部７は、基準画像データと比較画像データとに基づいて、一フレーム相当の撮像画像に関する距離データを算出する。ここで、「距離データ」とは、画像データによって規定される画像平面において小領域毎に算出された視差ｄの集合であり、個々の視差ｄは画像平面上の位置（ｉ，ｊ）と対応付けられている。それぞれの視差ｄは、基準画像の一部を構成する所定面積（例えば、4×4画素）の画素ブロック毎に１つ算出される。
【００２３】
図２は、基準画像に設定される画素ブロックの説明図である。例えば、基準画像が200×512画素で構成されている場合、一フレーム相当の撮像画像から、画素ブロックＰＢijの個数相当（50×128個）の視差群が算出され得る。周知のように、視差ｄは、その算出単位である画素ブロックＰＢijに関する水平方向のずれ量であり、画素ブロックＰＢijに写し出された対象物までの距離と大きな相関がある。すなわち、画素ブロックＰＢij内に写し出されている対象物がカメラ２，３に近いほど、この画素ブロックＰＢijの視差ｄは大きくなり、対象物が遠いほど視差ｄは小さくなる（無限に遠い場合、視差ｄは0になる）。
【００２４】
ある画素ブロックＰＢij（相関元）に関する視差ｄを算出する場合、この画素ブロックＰＢijの輝度特性と相関を有する領域（相関先）を比較画像において特定する。上述したように、カメラ２，３から対象物までの距離は、基準画像と比較画像との間における水平方向のずれ量として現れる。したがって、比較画像において相関先を探索する場合、相関元となる画素ブロックＰijのｊ座標と同じ水平線（エピポーラライン）上を探索すればよい。ステレオ画像処理部７は、相関元のｉ座標を基準に設定した所定の探索範囲内において、エピポーラライン上を一画素ずつシフトしながら、相関元と相関先の候補との間の相関性を順次評価する（ステレオマッチング）。そして、原則として、最も相関が高いと判断される相関先（相関先の候補の内のいずれか）の水平方向のずれ量を、その画素ブロックＰＢijの視差ｄとする。
【００２５】
２つの画素ブロックの相関は、例えば、シティブロック距離ＣＢを算出することにより評価することができる。数式１は、シティブロック距離ＣＢの基本形を示す。同数式において、ｐ１ijは一方の画素ブロックのｉｊ番目の画素の輝度値であり、ｐ２ijは他方の画素ブロックのｉｊ番目の輝度値である。シティブロック距離ＣＢは、位置的に対応した輝度値ｐ１ij，ｐ２ijの差（絶対値）の画素ブロック全体における総和であって、その差が小さいほど両画素ブロックの相関が大きいことを意味している。
【数１】
ＣＢ＝Σ｜ｐ１ij−ｐ２ij｜
【００２６】
基本的に、エピポーラライン上に存在する画素ブロック毎に算出されたシティブロック距離ＣＢのうち、その値が最小となる画素ブロックが相関先と判断される。このようにして特定された相関先と相関元との間のずれ量が視差ｄとなる。なお、シティブロック距離ＣＢを算出するステレオ画像処理部７のハードウェア構成については、特開平５−１１４０９９号公報に開示されているので、必要ならば参照されたい。このような処理を経て算出された距離データ、すなわち、画像上の位置（ｉ，ｊ）と対応付けられた視差ｄの集合は、距離データメモリ９に格納される。
【００２７】
マイクロコンピュータ１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インターフェース等で構成されているが、これを機能的に捉えた場合、認識部１１、対象物検証部１２および制御部１５を有する。また、このマイクロコンピュータ１０には、車両の走行状態を検出する各種センサとして、車速を検出する車速センサ１６およびステアリングの操舵角を検出する舵角センサ１７が接続されているほか、ピッチングやヨーを検出するセンサ（図示せず）も接続されている。
【００２８】
認識部１１は、画像データメモリ８に格納された画像データＰと、距離データメモリ９に格納された距離データＤとに基づいて、対象物を認識する。具体的には、車線（白線）を含む道路面の三次元な形状が認識されるとともに、先行車および側壁（ガードレール等）を含む立体物も認識される。認識部１１は、これら認識された道路面および立体物のなかから、道路面上から起立した直線状の部位を有する対象物（本実施形態において、ガードレール）を対象物候補（以下、「ガードレール候補」）として特定し、対象物検証部１２に出力する。
【００２９】
対象物検証部１２は、領域設定部１３と判断部１４とを有し、後述するように、認識部１１において特定されたガードレール候補が真のガードレールであるか否かを判断する。この判断では、異なる撮像タイミングで撮像された２フレームの画像データ（前の画像と後の画像）と、前の画像に関する距離データとが用いられる。以下、フレーム番号ｎの画像データを「前画像データＰn」といい、フレーム番号ｍ（ｍ＞ｎ）の画像データを「後画像データＰm」という。また、前画像データＰnより算出された距離データを「距離データＤn」という。対象物検証部１２の判断結果は認識部１１にフィードバックされる。
【００３０】
制御部１５は、認識部１１における認識結果に基づき、必要に応じて、警報装置の制御または制御装置の制御を行う。例えば、先行車との車間距離が短くなり、ドライバーへの警報が必要な走行状況では、モニタやスピーカ等の警報装置を動作させる。また、このような状況で車両を減速させるべく、ブレーキの動作、自動変速機のシフトダウン、エンジン出力の低下等を行う。
【００３１】
図３は、対象物の検証手順を示したフローチャートである。まず、ステップ１において、認識部１１は、一対の前画像データＰnと、これに対応する距離データＤnとを読み込む。
【００３２】
ステップ２において、認識部１１は、前画像データＰnと、これに対応する距離データＤnとに基づき、ガードレールの候補となるガードレール候補を特定する。したがって、ガードレール候補の特定する前提として、道路面および道路形状を規定する道路モデルを算出する必要がある。この道路モデルは、実空間の座標系において、水平方向および垂直方向における直線式で表現される。具体的には、白線は道路面と比較して高輝度であるという知得に基づき、道路の幅方向の輝度変化を評価して、画像平面における左右の白線の位置を特定する。この白線の実空間上の位置は、画像平面上の位置（ｉ，ｊ）と、この位置に関して算出された視差ｄとに基づいて、座標変換式より算出される。道路モデルは、道路上の自車線を距離方向に複数区間に分割し、各区間における左右の白線を三次元の直線で近似し、これらを折れ線状に連結することによって表現される。なお、道路モデルの詳細については、本出願人によって既に出願されている特開平１１−２１６７１３号公報に開示されているので、必要ならば参照されたい。
【００３３】
立体物を特定するために、認識部１１は、距離データＤnを格子状に所定の間隔で区分し、区分毎に立体物のデータを抽出することによって、ヒストグラムを作成する。つぎに、このヒストグラムから各区分を代表する立体物の存在位置と、その距離とが求められる。そして、区分毎の距離を画像の左から右へ順次比較し、前後方向および横方向の距離が接近しているものがグループとしてまとめられる。認識部１１は、各グループについてデータの並び方向をチェックし、この並び方向が大きく変化する部分でグループを分割するとともに、グループ全体としての距離データの並び方向から個々のグループを立体物あるいは側壁に分類する。そして、認識部１１は、立体物と分類されたグループについて、グループ内の距離データから平均距離および（左右）端部の位置等のパラメータを算出する。一方、認識部１１は、側壁と分類されたグループについては、並び方向および（前後）端部の位置等のパラメータを算出することにより、立体物の後部や側部、ガードレール等の道路に沿った構造物すなわち側壁を検出する。対象物がガードレールと認識される条件として、下記の４つの条件が挙げられる。なお、ガードレール認識に関する詳細は、本出願人によって既に出願されている特開平１１−２１３１３８号公報に開示されているので、必要ならば参照されたい。
【００３４】
（ガードレールの認識条件）
（１）対象物が道路面より上に存在すること
（２）対象物が距離方向（Ｚ方向）に連続的に延在していること
（３）対象物が道路の側部に存在すること
（４）対象物と自車両との間に何も存在しないこと
【００３５】
このように、認識部１１は、ガードレールを認識することができる。しかしながら、認識部１１は、図４に示すように、隣車線（右側車線）を走行しているバスの車体と、左側に位置するガードレールとの識別まで行うことができない。例えば、自車両がバスと同一速度で併走している走行状態において、認識部１１は、バスの車体をガードレールと誤認識してしまう可能性がある。そこで、対象物検証部１２は、認識部１１により抽出されたガードレール候補が真のガードレールであるか否かの検証を行う。
【００３６】
ステップ３において、領域設定部１３は、前画像データＰnによって規定される画像平面において、所定面積の第１の選択領域Ｗ1を設定する。図５は、このステップ３の詳細な手順を示すフローチャートである。まず、ステップ３０において、画像データメモリ８より前画像データＰnが読み込まれるとともに、距離データメモリ９より前画像データＰnに対応する距離データＤnが読み込まれる。
【００３７】
ステップ３１において、領域設定部１３は、前画像データＰnによって規定される画像平面において、所定面積（例えば、20×20画素のブロック）の第１の選択領域Ｗ1を設定する。この第１の選択領域Ｗ1は、ガードレールが存在するであろうエリア内、すなわち、認識部１１によって認識されたガードレール候補が存在するエリア内においてランダムに設定される。したがって、第１の選択領域Ｗ1内には、ガードレールの一部が写し出されているか、或いは、バス等の大型車両の一部が写し出されることになる。
【００３８】
ステップ３２において、領域設定部１３は、第１の選択領域Ｗ1内に存在するすべての直線要素を抽出する。直線要素の抽出には、例えば、画像の微分・二値化処理、Hough（ハフ）変換、テンプレートマッチングなどの手法が用いられる。
【００３９】
ステップ３３において、領域設定部１３は、第１の選択領域Ｗ1に関して、自車両の走行に起因した経時的な変化方向を特定する。この変化方向は、画像のオプティカルフローより特定される。ここで、オプティカルフローとは、（動）画像から各点の動きを求める手法の一つであり、画像上の画素の流れをベクトルで表現したものである。通常の走行状態において、個々のベクトルは、画像中央から全方位に向けて放射状に向かう傾向を有する。領域設定部１３は、ベクトルとして一般に用いられているオプティカルフローを、時系列的に並んだ複数の画像から算出し、対応する画素の移動方向を経時的な変化方向として特定する。
【００４０】
ステップ３４において、領域設定部１３は、設定した第１の選択領域Ｗ1の適切を、この領域Ｗ1内に上記経時的な変化方向とは異なる方向に延在する直線要素が存在するか否かによって判断する。本実施形態では、図６に示すように、この領域Ｗ1にガードレールの支柱が写し出されていることを、真のガードレールであると判断するための必要条件としている（ただし、必要十分条件ではない）。これは、後述するステップ４で第１の選択領域Ｗ1と第２の選択領域Ｗ2との相関を評価する際、支柱が写し出されている部分を対象にする方が相関性を精度よく評価できるからである。自車両が走行している場合、ガードレールを構成するレール自体の延在方向は上記経時的な変化方向とほぼ一致するが、レールを地面に固定する支柱は道路面から起立しているので、この変化方向とは異なる方向（鉛直方向）に延在する。そこで、領域Ｗ1における直線要素の延在方向を検証することで、支柱としての必要条件を評価する。具体的には、まず、周知の幾何学的な手法により、直線要素の延在方向と経時的な変化方向とのなす角を算出する。つぎに、算出された角α（絶対値）と判定値α0とを比較する。そして、α＞α0を具備する直線要素が少なくとも一本存在する場合、設定した第１の選択領域Ｗ1は、以降の評価を行う上で適切な領域であると判断し、ステップ３６に進む。
【００４１】
一方、ステップ３４で否定判定された場合、領域設定部１３は、設定した第１の選択領域Ｗ1に、ガードレールを検証する上で特徴的な部位が写し出されていないものと判断する。この場合、ステップ３５に進み、今回設定した第１の選択領域Ｗ1がクリアされた上で、別の選択領域Ｗ1が新たに設定される（ステップ３１）。そして、上述したステップ３２〜３４において、直線要素の抽出・評価が行われる。なお、ステップ３１〜３５のループが所定の回数繰り返された場合には、今回の前画像データＰnはガードレールを検証するのに適さないと判断して、以後の処理を行うことなく本ルーチンを終了することが好ましい。
【００４２】
ステップ３４に続くステップ３６において、領域設定部１３は、後画像データＰmの撮像タイミング時における第１の選択領域Ｗ1の移動先（図６のハッチング領域）を算出する。前画像の撮像タイミングをｔn、後画像の撮像タイミングをｔmとすると、第１の選択領域Ｗ1に写し出された対象物は、時間差（ｔm−ｔn）に応じて、画像平面上を移動する。第１の選択領域Ｗ1の移動先（ｉw，ｊw）を特定する手法として、以下の２つが考えられる。
【００４３】
第１の方法は、少なくとも車速を含む車両の走行状態に基づいて、二次元平面上の処理のみで移動先を特定する方法である。この場合、先のステップで算出されたオプティカルフローを基準とし、車速センサ１６より特定される車速を考慮して、移動先（ｉw，ｊw）を特定する（車速が速いほど移動量が大きくなる）。その際、舵角センサ１７より特定される舵角を考慮して、移動先に横方向の補正を加えたり、ピッチング等の影響も加味すれば、より正確な移動先を特定できる。この方法は、移動先の特定精度よりも、それに要する演算量の低減を優先する場合に有利である。なお、第１の方法を採用する場合には、距離データを用いる必要がないので、単眼カメラのみで、ガードレール等の対象物を検出することが可能になる。
【００４４】
第２の方法は、少なくとも車速を含む車両の走行状態と距離データＤnとに基づき、実空間上の位置を考慮して、移動先を特定する方法である。この場合、（１）第１の選択領域Ｗ1内の対象物に関する実空間上の位置の算出、（２）実空間上における前記対象物の移動先の特定、（３）移動先の実空間上の位置から画像平面上の位置への変換、という手順が採られる。第２の方法は、演算量よりも、移動先の特定精度を優先する場合に有利である。
【００４５】
（１）第１の選択領域Ｗ 1 内の対象物に関する実空間上の位置の算出
第１の選択領域Ｗ1の画像平面上の位置（ｉ，ｊ）が特定されると、距離データＤより、位置（ｉ，ｊ）に対応する代表視差ｄも一義的に特定できる。第１の選択領域Ｗ1の面積が20×20画素の場合、この領域Ｗ1内には5×5個の視差群が含まれる。そこで、例えば、これらの視差群の内、出現頻度の最も高い視差を代表視差ｄとする。第１の選択領域Ｗ1に関するこれらの情報（ｉ，ｊ，ｄ）が特定されると、下式に示す座標変換式に従い、この領域Ｗ1内に写し出された対象物の実空間上の位置（Ｘ，Ｙ，Ｚ）を算出する。ここで、定数ｒは、カメラ２，３間の取り付け間隔、定数ｆはカメラ２，３の焦点距離である。定数ＣＨはステレオカメラの取り付けた高さ、定数ＰＷは１画素当たりの視野角、そして、定数ＩＶ，ＪＶは車両の真正面における無限遠点の画像上のｉまたはｊ座標の値である。
【数２】
Ｚ ＝ （ｒ・ｆ）／ｄ
Ｘ ＝ ｒ／２＋Ｚ・ＰＷ・（ｉ−ＩＶ）
Ｚ ＝ ＣＨ−Ｚ・ＰＷ・（ｊ−ＪＶ）
【００４６】
（２）実空間上における前記対象物の移動先の特定
第１の選択領域Ｗ1内に写し出された対象物に関して、車両の走行状態を考慮して、実空間上の移動量（ｘ，ｙ，ｚ）を算出する。この移動量（ｘ，ｙ，ｚ）は、車速を主体とし、舵角等を考慮することにより算出される。そして、移動前の位置（Ｘ，Ｙ，Ｚ）に移動量（ｘ，ｙ，ｚ）を加算することによって、移動後の実空間上の位置（Ｘ’，Ｙ’，Ｚ’）を算出する。
【００４７】
（３）移動先の実空間上の位置から画像平面上の位置への変換
移動後の実空間上の位置（Ｘ’，Ｙ’，Ｚ’）が特定されると、下記の座標変換式に従い、画像平面上における移動先の位置（ｉw，ｊw）が算出される。
【数３】
ｉw ＝ （Ｘ’−ｒ／２）／（Ｚ’・ＰＷ）＋ＩＶ
ｊw ＝ （ＣＨ−Ｙ’）／（Ｚ’・ＰＷ） ＋ＪＶ
【００４８】
そして、ステップ３７において、第１の選択領域Ｗ1内に含まれる画素群の輝度情報と、移動先の位置（ｉw，ｊw）とが、例えば、マイクロコンピュータ１０のＲＡＭ領域（作業領域）に一時的に格納され、本ルーチンを抜ける。
【００４９】
図３のステップ３に続くステップ４において、判断部１４は、第１の選択領域Ｗ1内に写し出された対象物がガードレールであるか否かを判断する。図７は、ステップ４におけるガードレール判断の詳細な手順を示すフローチャートである。まず、ステップ４１において、判断部１４は、画像データメモリ８より、ｍ番目のフレームに相当する後画像データＰmを読み込む。
【００５０】
ステップ４２において、判断部１４は、第１の選択領域Ｗ1に関する輝度情報と、この移動先の画像平面上の位置（ｉw，ｊw）とが、マイクロコンピュータ１０のＲＡＭ領域から読み込まれる。
【００５１】
ステップ４３において、判断部１４は、後画像データＰmによって規定される画像平面上において、第１の選択領域Ｗ1の移動先に相当する位置（ｉw，ｊw）に、第１の選択領域Ｗ１と同一面積を有する第２の選択領域Ｗ2を設定する。
【００５２】
ステップ４４において、判断部１４は、第１の選択領域Ｗ1と第２の選択領域Ｗ2との相関性を評価する。この評価は、数式１で示したシティブロック距離ＣＢを用いて行うことができる。シティブロック距離ＣＢは、位置的に対応した輝度値ｐ１ij，ｐ２ij対の差（絶対値）の選択領域全体における総和であって、その差が小さいほど両選択領域Ｗ1，Ｗ2の相関が大きいことを意味している。
【００５３】
ステップ４５において、判断部１４は、ステップ４４で算出されたシティブロック距離ＣＢが所定の判定値ＣＢ0以下であるか否かを判断する。このステップ４５で肯定判定された場合、すなわち、第１の選択領域Ｗ1と第２の選択領域Ｗ2とが相関を有する場合には、これらの選択領域Ｗ1，Ｗ2に写し出されている対象物がガードレールであると判断する。ガードレールは静止しているため、これが写し出される画像平面上の位置も、車両の走行状態に応じた移動量相当で変位するからである。この場合、判断部１４は、ガードレール候補をガードレールとして特定し、その旨を認識部１１に指示した上で（ステップ４６）、本ルーチンを抜ける。
【００５４】
これに対して、ステップ４５で否定判定された場合、すなわち、第１の選択領域Ｗ1と第２の選択領域Ｗ2とが相関を有さない場合には、これらの選択領域Ｗ1，Ｗ2に写し出されている対象物がガードレールでないと判断する。ガードレール以外の対象物、例えば、隣車線を走行する大型車両等は静止しておらず、自車両との速度差相当（相対速度）で移動する。そのため、大型車両等が写し出される画像平面上の位置は、車両の走行状態に応じた移動量とは異なる移動量で変位する。その結果、第２の選択領域Ｗ2に写し出される対象物は、第１の選択領域Ｗ１に写し出されていたものとは異なるので、第２の選択領域Ｗ2は第１の選択領域Ｗ１と相関を有さなくなる。この場合、判断部１４は、ガードレール候補を非ガードレールとして特定し、その旨を認識部１１に指示した上で（ステップ４７）、本ルーチンを抜ける。
【００５５】
このように、本実施形態によれば、認識部１１によって認識されたガードレール（ガードレール候補）の真偽が、対象物検証部１２によってリアルタイムで判断される。これにより、隣車線を走行するバスなどの大型車両をガードレールと誤認識することを防止できる。そして、信頼性の高いガードレールを補助的な情報として活用することにより、認識部１１は、白線が不明瞭な道路、或いは、白線を認識できない雪道等においても、道路形状を正しく認識することが可能になる。
【００５６】
また、ガードレールの検証を行う際に、ガードレールの一部を構成する支柱が写し出されている領域を第１の選択領域Ｗ1として設定する。この支柱部分は、同様の輝度特性が連続するレールと異なり、特徴的な輝度特性を有する。そのため、このような支柱部分が写し出される領域を対象に、輝度特性の相関性を評価すれば、信頼性の高い評価を行うことができる。
【００５７】
また、本実施形態では、認識部１１がガードレールの候補を認識し、対象物検証部１２がその真偽を検証する形態になっている。しかしながら、対象物検証部１２が、自身の機能として、ガードレール候補の抽出を行ってもよい。
【００５８】
また、本実施形態では、領域設定部１３は、前画像データによって規定される画像平面上に第１の選択領域Ｗ1を１つ設定している。しかしながら、１つの画像平面上に第１の選択領域Ｗ1を同時に複数設定し、上述した手法によって、輝度特性の相関を個別に評価してもよい。この場合、複数の選択領域対Ｗ1，Ｗ2が相関を有する場合（好ましくは全ての選択領域対Ｗ1，Ｗ2）、対象物が真のガードレールであると判断することが望ましい。これにより、ガードレールの検証精度を一層向上させることができる。
【００５９】
また、ステレオカメラは、画像データを出力するカメラとしての機能と、ステレオ画像処理部７と協働して、距離データを出力する距離センサとしての機能とを有する。しかしながら、本発明は、ステレオカメラに限定されるものではなく、同等の機能を有する複数センサの組み合わせ、例えば、単眼カメラと距離センサ（例えば、ミリ波レーダ、音波レーダまたはレーザレーダ）とのセットであってもよい。レーザレーダは、監視領域内をスキャンすることによって、距離の二次元的な分布を示す距離データを出力する。また、距離データは、予めカメラ２，３の撮影範囲を距離センサでスキャンして、そのスキャン結果を画像上でのｉ−ｊ座標に対応付けたテーブルとして格納していてもよい。
【００６０】
さらに、本実施形態では、対象物をガードレールとして説明を行ったが、本発明の対象物はこれに限定されるものではない。対象物は、この他にも、道路側面に並列する植物などの植え込み、柵、コーン等であってもよい。
【００６１】
【発明の効果】
このように、本発明によれば、前画像データによって規定される画像平面上に、第１の選択領域を設定し、車速を主体にした車両の走行状態に基づいて、この第１の選択領域の移動先を算出する。そして、後画像データによって規定される画像平面上における移動先に相当する位置に、第２の選択領域を設定する。そして、第１の選択領域と第２の選択領域とに写し出された対象物が同一である場合には、その対象物が検出すべき対象物であると判断する。これにより、例えば、ガードレール等を精度よく認識することができる。その結果、車外監視精度の一層の向上を図ることができる。
【図面の簡単な説明】
【図１】本実施形態に係るステレオ式監視装置のブロック構成図
【図２】基準画像に設定される画素ブロックの説明図
【図３】対象物の検証手順を示すフローチャート
【図４】画像データの一例を示す説明図
【図５】第１の選択領域の詳細な設定手順を示すフローチャート
【図６】第１の選択領域Ｗ1と移動先との関係を示す説明図
【図７】ガードレール判断の詳細な手順を示すフローチャート
【符号の説明】
１ ステレオ式監視装置
２ メインカメラ
３ サブカメラ
４ Ａ／Ｄコンバータ
５ Ａ／Ｄコンバータ
６ 画像補正部
７ ステレオ画像処理部
８ 画像データメモリ
９ 距離データメモリ
１０ マイクロコンピュータ
１１ 認識部
１２ 対象物検証部
１３ 領域設定部
１４ 判断部
１５ 制御部
１６ 車速センサ
１７ 舵角センサ

Claims (11)

1. 車両に搭載され、前記車両が走行する道路面から直線状に起立した部位を有する道路の側部の対象物を認識する対象物認識装置において、
   前記車両前方の監視領域内の景色を異なる時系列的に撮像することにより、前画像と、前記前画像よりも後の撮像タイミングで撮像された後画像とを出力するカメラと、
   前記前画像平面において、前記車両の走行に起因した経時的な変化方向と異なる方向に延在する直線要素を含むエリアを第１の選択領域として設定するとともに、少なくとも車速を含む前記車両の走行状態に基づいて、前記前画像平面において、前記後画像の撮像タイミングにおける前記第１の選択領域の移動先を推定する領域設定部と、
   前記後画像平面において、前記第１の選択領域の前記移動先に対応する第２の選択領域を設定するとともに、前記第１の選択領域と前記第２の選択領域とが相関を有する場合には、前記第１の選択領域内に写し出された対象物が認識すべき対象物であると判断し、前記第１の選択領域と前記第２の選択領域とが相関を有しない場合、前記第１の選択領域内に写し出された対象物が非対象物であると判断する判断部と
   を有することを特徴とする対象物認識装置。
2. 前記監視領域内における距離の二次元的な分布を距離データとして生成する距離データ生成部をさらに有し、
   前記領域設定部は、前記距離データ生成部によって生成された距離データを用いて、前記後画像の撮像タイミングにおける前記移動先を推定することを特徴とする請求項１に記載された対象物認識装置。
3. 前記領域設定部は、
   前記第１の選択領域に関する前記画像平面上の位置と、前記第１の選択領域内に含まれる前記距離データとに基づいて、前記第１の選択領域に写し出された対象物の実空間上の第１の位置を特定し、
   前記第１の位置と前記車両の走行状態とに基づいて、前記後画像の撮像タイミングにおける前記対象物の実空間上の第２の位置を特定し、
   前記第２の位置を画像平面上の位置に座標変換することにより、前記移動先の画像平面上の位置を特定することを特徴とする請求項２に記載された対象物認識装置。
4. 前記領域設定部は、
   前記前画像平面において、前記認識すべき対象物が存在する傾向がある任意のエリアを前記第１の選択領域として設定し、
   当該第１の選択領域内に、前記車両の走行に起因した経時的な変化方向と異なる方向に延在する直線要素が含まれているか否かを判断し、
   前記第１の選択領域内に前記直線要素が含まれていないと判断した場合には、前記第１の選択領域とは異なるエリアに第１の選択領域を新たに設定することを特徴とする請求項１から３のいずれかに記載された対象物認識装置。
5. 前記距離データ生成部は、
   前記カメラを含むステレオカメラと、
   前記ステレオカメラから出力されたステレオ画像に基づいて、ステレオマッチングによって、距離データを算出するステレオ画像処理部と
   を含むことを特徴とする請求項２または３のいずれかに記載された対象物認識装置。
6. 前記認識すべき対象物は、道路の側部に設けられたガードレールであることを特徴とする請求項１から５のいずれかに記載された対象物認識装置。
7. 車両に搭載され、前記車両が走行する道路面から直線状に起立した部位を有する道路の側部の対象物を認識する対象物認識方法において、
   前記車両前方の監視領域内の景色を撮像することによって得られた前画像平面において、前記車両の走行に起因した経時的な変化方向と異なる方向に延在する直線要素を含むエリアを第１の選択領域として設定する第１のステップと、
   少なくとも車速を含む前記車両の走行状態に基づいて、前記前画像よりも後に撮像された後画像の撮像タイミングにおける前記第１の選択領域の画像平面上の移動先を推定する第２のステップと、
   前記車両前方の監視領域内の景色を撮像することによって得られた前記後画像平面において、前記第１の選択領域の前記移動先に対応する第２の選択領域を設定する第３のステップと、
   前記第１の選択領域と前記第２の選択領域との相関を評価し、前記第１の選択領域と前記第２の選択領域とが相関を有する場合、前記第１の選択領域内に写し出された対象物が認識すべき対象物であると判断し、前記第１の選択領域と前記第２の選択領域とが相関を有しない場合、前記第１の選択領域内に写し出された対象物が非対象物であると判断する第４のステップと
   を有することを特徴とする対象物認識方法。
8. 前記監視領域内における距離の二次元的な分布を距離データとして生成する第５のステップをさらに有し、
   前記第２のステップにおいて、前記後画像の撮像タイミングにおける前記移動先は、前記距離データを用いて推定されることを特徴とする請求項７に記載された対象物認識方法。
9. 前記第２のステップは、
   前記第１の選択領域の前記画像平面上の位置と、前記第１の選択領域内に含まれる前記距離データとに基づいて、前記第１の選択領域に写し出された対象物の実空間上の第１の位置を特定するステップと、
   前記第１の位置と前記車両の走行状態とに基づいて、前記後画像の撮像タイミングにおける前記対象物の実空間上の第２の位置を特定するステップと、
   前記第２の位置を画像平面上の位置に座標変換することにより、前記移動先の画像平面上の位置を特定するステップと
   を含むことを特徴とする請求項８に記載された対象物認識方法。
10. 前記第２のステップは、
    前記画像平面において、前記認識すべき対象物が存在する傾向がある任意のエリアを前記第１の選択領域として設定するステップと、
    当該第１の選択領域内に、前記車両の走行に起因した経時的な変化方向と異なる方向に延在する直線要素が含まれているか否かを判断するステップと、
    前記第１の選択領域内に前記直線要素が含まれていないと判断した場合には、前記第１の選択領域とは異なるエリアに前記第１の選択領域を新たに設定するステップと
    を含むことを特徴とする請求項７から９のいずれかに記載された対象物認識方法。
11. 前記認識すべき対象物は、道路の側部に設けられたガードレールであることを特徴とする請求項７から１０のいずれかに記載された対象物認識方法。

Images