WO2019009110A1

WO2019009110A1 - 車両用外界認識装置

Info

Publication number: WO2019009110A1
Application number: PCT/JP2018/023924
Authority: WO
Inventors: 健人緒方; 福田　大輔; 將裕清原
Original assignee: クラリオン株式会社
Priority date: 2017-07-05
Filing date: 2018-06-25
Publication date: 2019-01-10
Also published as: CN110832568B; US10867403B2; US20200219281A1; CN110832568A; JP6808586B2; JP2019016116A; EP3651138A4; EP3651138A1

Abstract

本発明の車両用外界認識装置（１０００）は、自車周囲の環境を含む画像から特徴点を抽出し、特徴点を時系列追跡した画像上の動きに基づいて自車から特徴点までの距離を計測する。そして、画像上に設定された複数の局所領域の中から、特徴点までの距離情報と画像上の位置とに基づき路面と判定される局所領域を第一の路面領域として抽出する。そして、画像上の複数の局所領域ごとに色情報を含む多次元の画像特徴量を算出し、画像上の複数の局所領域のうち第一の路面領域として抽出されていない路面未抽出領域に対して、画像特徴量を用いて第一の路面領域との類似度を算出する。そして、類似度に基づいて路面未抽出領域から第二の路面領域を抽出し、第一の路面領域および第二の路面領域を用いて走行可能領域を認識する。

Description

車両用外界認識装置

　本発明は、カメラ等の画像センサからの情報に基づいて自車周囲の走行可能領域を認識する車両用外界認識装置に関する。

　近年、カメラを用いて自車周囲の外界を認識し、運転者の運転操作をサポートするシステムの開発が進められている。たとえば、自車周囲の駐車スペースを検出し、運転者の駐車操作の一部あるいはすべてを自動で実施する自律駐車システム等が実用化されている。

　カメラを用いて駐車スペースを検出した後、自車周囲の走行可能な領域を認識できれば、走行可能領域に応じて最適な駐車経路を生成することが可能となり、最短時間で駐車を行うことができる。走行可能な領域の検出手段として、例えば特許文献１には、画像から特徴点を検出し、特徴点の時系列の動きから３次元情報を計測する手段と、画像領域を分割する手段を用いて、分割した領域内の特徴点から計測した３次元情報を用いて路面領域を推定する方法が記載されている。また、特許文献２には、画像から強エッジ領域を抽出してエッジ情報を用いて路面か障害物かを推定し、さらに強エッジ領域以外の領域について、弱エッジやグラデーションを抽出してその時間変化を用いて、路面か障害物かを推定する方法が記載されている。

特開２０１３－３０１８３号公報特開２００８－２６２３３３号公報

　しかしながら、３次元情報を計測するための特徴点はエッジが強い領域に表れやすいが、特に自車遠方の路面領域のように、エッジが弱い領域では表れにくく、３次元情報の計測が難しい。また、弱エッジやグラデーションを抽出して時間変化を観測する場合においても、自車遠方の路面領域では同様にエッジの観測が難しい。

　本発明は、上記の点に鑑みてなされたものであり、その目的とするところは、カメラ画像を用いてエッジの観測が難しい自車遠方の路面領域を抽出することができる車両用外界認識装置を提供することである。

　上記課題を解決する本発明の車載用外界認識装置は、自車周囲の走行可能領域を認識する車載用外界認識装置であって、自車周囲の環境を含む画像を取得する画像取得部と、前記画像から特徴点を抽出し、前記特徴点を時系列追跡した前記画像上の動きに基づいて自車から前記特徴点までの距離を計測する特徴点距離計測部と、前記画像上に設定された複数の局所領域の中から、前記特徴点までの距離情報と前記特徴点の画像上の位置とに基づき路面と判定される局所領域を第一の路面領域として抽出する第一の路面領域抽出部と、前記画像上の複数の局所領域ごとに色情報を含む多次元の画像特徴量を算出する画像特徴量算出部と、前記画像上の複数の局所領域のうち前記第一の路面領域抽出部にて前記第一の路面領域として抽出されていない少なくとも１つ以上の路面未抽出領域に対して、前記画像特徴量を用いて前記第一の路面領域との類似度を算出し、該算出した類似度に基づいて前記少なくとも１つ以上の路面未抽出領域から第二の路面領域を抽出する第二の路面領域抽出部と、前記第一の路面領域および前記第二の路面領域を用いて前記走行可能領域を認識する走行可能領域認識部と、を有することを特徴としている。

　本発明によれば、まず特徴点の時系列変化を用いて自車から特徴点までの距離を計測し、その計測した特徴点までの距離の情報を用いて、特徴点の画像位置に基づき画像上の局所領域の中から第一の路面領域を抽出する。また、画像上の局所領域ごとに色情報を含む多次元の画像特徴量を算出し、局所領域のうち第一の路面領域抽出部にて第一の路面領域として抽出されていない路面未抽出領域について画像特徴量を用いて路面領域との類似度を算出し、類似していれば路面領域として抽出する。よって、自車近傍にて特徴点による計測結果を用いて路面領域を抽出できていれば、その領域と色の特徴が類似している領域を路面領域として抽出することができ、エッジの観測が難しい自車遠方の路面領域を路面領域として抽出することができる。

　本発明に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、上記した以外の、課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明の第１実施の形態における車両用外界認識装置のブロック図。本発明の第１実施の形態における画像取得部の説明図。本発明の第１実施の形態における特徴点距離計測部の処理を表すフローチャート。本発明の第１実施の形態における特徴点距離計測部の処理の説明図。本発明の第１実施の形態における領域分割部の処理を表すフローチャート。本発明の第１実施の形態における領域分割部の処理の説明図。本発明の第１実施の形態における第一の路面領域抽出部の処理を表すフローチャート。本発明の第１実施の形態における障害物領域抽出部の処理を表すフローチャート。本発明の第１実施の形態における画像特徴量算出部の処理を表すフローチャート。本発明の第１実施の形態における第二の路面領域抽出部の処理を表すフローチャート。本発明の第１実施の形態における分離度診断部の処理を表すフローチャート。本発明の第１実施の形態における走行可能領域認識部の処理を表すフローチャート。本発明の第１実施の形態における走行可能領域認識部の処理の説明図。本発明の第１実施の形態における走行可能領域認識部の時系列処理を表すフローチャート。本発明の第１実施の形態における走行可能領域認識部の時系列処理の説明図。本発明の第１実施の形態の処理の説明図。本発明の第１実施の形態の処理の説明図。本発明の第２実施の形態における車載用外界認識装置のブロック図。本発明の第２実施の形態における第三の路面領域抽出部の処理を表すフローチャート。本発明の第２実施の形態における第三の路面領域抽出部の処理の説明図。

＜第一実施の形態＞
　以下、本発明の第一実施の形態について図面を用いて詳細に説明する。図１は、第一実施の形態における車載用外界認識装置１０００のブロック図である。

　車載用外界認識装置１０００は、自動車に搭載されるカメラ装置内、もしくは統合コントローラ内等に組み込まれ、カメラ装置のカメラ１００１～１００４で撮影した画像内から外界を認識するためのものであり、本実施の形態では、自車周囲の走行可能領域を認識するように構成されている。

　車載用外界認識装置１０００は、ＣＰＵやメモリ、Ｉ／Ｏ等を有するコンピュータによって構成されており、所定の処理がプログラミングされて、あらかじめ定められた周期Ｔで繰り返し処理を実行する。

　車載用外界認識装置１０００は、図１に示すように、画像取得部１０１１と、特徴点距離計測部１０２１と、領域分割部１０３１と、第一の路面領域抽出部１０４１と、障害物領域抽出部１０５１と、画像特徴量算出部１０６１と、第二の路面領域抽出部１０７１と、分離度診断部１０８１と、走行可能領域認識部１１０１を有する。

　画像取得部１０１１は、自車周囲の環境を含む画像を取得する。画像取得部１０１１は、図２に示すように、自車１０の周囲を撮像可能な位置に取り付けられたカメラ１００１～１００４から、自車周囲を撮影した画像１００５～１００８のうちいずれか１つ以上を取得する。本実施例においては、自車１０の進行方向の情報に基づき、前進時は前方カメラ１００１で撮像した画像１００５を取得し、後進時は後方カメラ１００４で撮像した画像１００８を取得する。取得した画像は２次元配列としてＲＡＭ上に記録される。以下、入力画像はＩＭＧＳＲＣ［ｘ］［ｙ］で表すものとする。ｘ、ｙはそれぞれ画像の座標を示す。図２に示す各画像１００５～１００８は、自車１０が駐車枠に前向き駐車したときの画像であり、駐車スペースの区画線Ｌが撮像されている。

　特徴点距離計測部１０２１は、入力画像ＩＭＧＳＲＣ［ｘ］［ｙ］から特徴点ＦＰ［ｐ］を抽出し、その特徴点ＦＰ［ｐ］を時系列追跡した画像上の動き（特徴点の時系列変化）に基づいて、自車１０から特徴点ＦＰ［ｐ］までの距離を計測する。特徴点距離計測部１０２１は、入力画像ＩＭＧＳＲＣ［ｘ］［ｙ］から特徴点ＦＰ［ｐ］を検出し、時系列に追跡することにより各特徴点の画像座標テーブルＦＰＩ［ｐ］から３次元距離テーブルＦＰＷ［ｐ］を計測する。ここで、ＦＰＩ［ｐ］は画像座標（ｘ、ｙ）、ＦＰＷ［ｐ］は自車後輪車軸を原点とする世界座標（ｘ、ｙ、ｚ）の要素を持つテーブルの１次元配列であり、ｐは複数検出した場合のＩＤを表す。

　領域分割部１０３１は、入力画像ＩＭＧＳＲＣ［ｘ］［ｙ］を複数の局所領域Ｒ［ｒ］に分割する（図６を参照）。ここでＲ［ｒ］は入力画像ＩＭＧＳＲＣ［ｘ］［ｙ］のどの画素がその局所領域に属しているかを表す情報を持つテーブルの１次元配列であり、ｒは各領域のＩＤを表す。

　第一の路面領域抽出部１０４１は、特徴点距離計測部１０２１で計測した特徴点ＦＰ［ｐ］までの距離情報と特徴点ＦＰ［ｐ］の画像上の位置とに基づき路面と判定される局所領域を第一の路面領域として抽出する。第一の路面領域抽出部１０４１は、特徴点距離計測部１０２１および領域分割部１０３１の結果を用いて、特徴点の世界座標ＦＰＷ［ｐ］のうち路面と判定する所定条件を満たす点について、対応する画像座標ＦＰＩ[ｐ]が属する局所領域Ｒ［ｒ］を抽出し、そのＩＤの組を第一の路面領域ＩＤ群ｒｄ１［ｄ１］として記録する。すなわち、路面領域と判定された領域はＲ［ｒｄ１［ｄ１］］で表され、ｄ１は領域を表すＩＤである。

　障害物領域抽出部１０５１は、特徴点ＦＰ［ｐ］の距離情報を用いて、特徴点ＦＰ［ｐ］の画像位置に基づき画像上の障害物領域を抽出する。例えば特徴点ＦＰ［ｐ］が地面から所定高さ以上の位置に存在する場合には障害物の特徴点であると判定し、その領域を障害物領域として抽出する。障害物領域抽出部１０５１は、特徴点距離計測部１０２１および領域分割部１０３１の結果を用いて、特徴点の世界座標ＦＰＷ［ｐ］のうち障害物と判定する所定条件を満たす点について、対応する画像座標ＦＰＩ[ｐ]が属する局所領域Ｒ［ｒ］を抽出し、そのＩＤの組を障害物領域ＩＤ群ｒｂ［ｂ］として記録する。すなわち、障害物領域と判定された領域はＲ［ｒｂ［ｂ］］で表され、ｂは領域を表すＩＤである。

　画像特徴量算出部１０６１は、画像上の局所領域ごとに色情報を含む多次元の画像特徴量を算出する。画像特徴量算出部１０６１は、入力画像ＩＭＧＳＲＣ［ｘ］［ｙ］と領域分割部１０３１の結果を用いて、局所領域Ｒ［ｒ］ごとに画像特徴ベクトルＦＶ［ｒ］を算出する。ここで特徴ベクトルＦＶ［ｒ］はＮ次元のベクトルを持つテーブルの１次元配列である。

　第二の路面領域抽出部１０７１は、画像上の複数の局所領域のうち、第一の路面領域抽出部１０４１にて第一の路面領域として抽出されていない少なくとも１つ以上の路面未抽出領域に対して、画像特徴量算出部１０６１で算出した画像特徴量を用いて、第一の路面領域との類似度を算出し、類似度に基づいて少なくとも一つ以上の路面未抽出領域から路面と判定される局所領域を第二の路面領域として抽出する。

　また、第二の路面領域抽出部１０７１は、障害物領域抽出部１０５１により障害物領域が抽出されている場合は、路面未抽出領域および障害物未抽出領域に対して、画像特徴量を用いて第一の路面領域および障害物領域との類似度を算出し、その算出した類似度に基づいて路面未抽出領域および障害物未抽出領域から第二の路面領域を抽出する。

　第二の路面領域抽出部１０７１は、領域分割部１０３１より得られる局所領域Ｒ［ｒ］と、第一の路面領域抽出部１０４１より得られる第一の路面領域ＩＤ群ｒｄ１［ｄ１］と、障害物領域抽出部１０５１より得られる障害物領域ＩＤ群ｒｂ［ｂ］と、画像特徴量算出部１０６１より得られる画像特徴ベクトルＦＶ［ｒ］を用いて、局所領域Ｒ［ｒ］のうち、第一の路面領域ＩＤ群ｒｄ１［ｄ１］と障害物領域ＩＤ群ｒｂ［ｂ］に含まれない領域から、画像特徴ベクトルＦＶ［ｒ］を用いて第二の路面領域ＩＤ群ｒｄ２［ｄ２］を求める。

　分離度診断部１０８１は、第一の路面領域の画像特徴量及び障害物領域の画像特徴量に基づき、第一の路面領域と障害物領域との分離度を算出する。第二の路面領域抽出部１０７１は、分離度が所定値よりも低い場合には第二の路面領域抽出結果を走行可能領域認識部１１０１に出力しない。分離度診断部１０８１は、第一の路面領域抽出部１０４１より得られる第一の路面領域ＩＤ群ｒｄ１［ｄ１］と、障害物領域抽出部１０５１より得られる障害物領域ＩＤ群ｒｂ［ｂ］と、画像特徴量算出部１０６１より得られる画像特徴ベクトルＦＶ［ｒ］の情報を用いて、画像特徴ベクトルＦＶ［ｒ］のうち、第一の路面領域ＩＤ群ｒｄ１［ｄ１］に属する特徴ベクトルＦＶ［ｒｄ１［ｄ１］］と、障害物領域ＩＤ群ｒｂ［ｂ］に属する特徴ベクトルＦＶ［ｒｂ［ｂ］］の分離度を算出する。算出の結果、分離度が所定値よりも低い、すなわち、特徴量同士が類似している場合は、第二の路面領域抽出部１０７１へ路面領域の抽出が困難であるという分離困難フラグＳＤを通達し、第二の路面領域抽出部１０７１においてその出力を停止する。

　走行可能領域認識部１１０１は、第一の路面領域および第二の路面領域を用いて走行可能領域を認識する。走行可能領域認識部１１０１は、第一の路面領域と第二の路面領域を用いて最終路面領域を確定し、カメラ幾何情報と過去の検出結果を用いた時系列処理の少なくとも一方に基づき最終路面領域の中から走行可能領域を認識する。例えば、走行可能領域認識部１１０１は、領域分割部１０３１より得られる局所領域Ｒ［ｒ］と、第一の路面領域抽出部１０４１より得られる第一の路面領域ＩＤ群ｒｄ１［ｄ１］と、第二の路面領域抽出部１０７１より得られる第二の路面領域ＩＤ群ｒｄ２［ｄ２］を用いて、最終的な画像内の路面領域を確定し、さらにカメラ幾何情報を用いて自車後輪車軸を原点とする世界座標（ｘ、ｙ、ｚ）における走行可能領域ＲＤＲ［ｔ］として後段へ出力する。ここで、ｔは処理のタイミングを表す記号である。

[特徴点距離計測部]
　つぎに、図３、４を用いて、特徴点距離計測部１０２１における処理の内容について説明する。

　図３は、特徴点距離計測部１０２１の処理の流れを示したフローチャートである。また、図４は、特徴点距離計測部１０２１の処理の説明図である。

　特徴点距離計測部１０２１は、入力画像ＩＭＧＳＲＣ［ｘ］［ｙ］に対して実施する。まず、ステップＳ３０１にて、入力画像ＩＭＧＳＲＣ［ｘ］［ｙ］から特徴点ＦＰＩ［ｐ］を抽出する。特徴点ＦＰＩ［ｐ］の抽出は、Ｈａｒｒｉｓコーナー等、公知の方法を用いる。その結果、各特徴点に対して画像座標が得られる。

　つぎに、ステップＳ３０２にて、同じカメラから取得された、所定時刻前の過去画像ＩＭＧＳＲＣ＿Ｐを取得する。

　つぎに、ステップＳ３０３にて、現在画像ＩＭＧＳＲＣ上における各特徴点ＦＰＩ［ｐ］の過去画像ＩＭＧＳＲＣ＿Ｐ上の対応位置を、オプティカルフロー法により算出し、各特徴点の移動ベクトルＦＰ＿ＶＸ［ｐ］、ＦＰ＿ＶＹ［ｐ］を取得する。オプティカルフローは、Ｌｕｃａｓ－Ｋａｎａｄｅ法等、公知の方法を用いる。

　そして、ステップＳ３０４にて、特徴点ＦＰＩ［ｐ］および移動ベクトルＦＰ＿ＶＸ［ｐ］、ＦＰ＿ＶＹ［ｐ］を用いて、各特徴点ＦＰＩ［ｐ］の自車周囲における３次元位置ＦＰＷ［ｐ］を算出する。算出方法は、公知の手段を用いる。本実施例においては、画像上の移動ベクトルと、ＣＡＮにより取得した自車位置ＤＲＣ［ｔ］およびＤＲＣ［ｔ－１］を用いて算出した自車移動量を用いる。ここで、ｔは処理のタイミングを表す記号であり、自車移動量ＤＲＣ［ｔ］は、自車後輪車軸中心を原点とする座標系におけるＸ、Ｙ、ヨー角である。自車位置ＤＲＣ［ｔ］およびＤＲＣ［ｔ－１］より、Ｘ、Ｙ、ヨー角の移動量が得られる。

　最後に、ステップＳ３０５にて、各特徴点の３次元位置ＦＰＷ［ｐ］を車両の後輪車軸中心を原点とする座標系に変換し、距離テーブルＦＰＷ［ｐ］として格納する。

　図４に示すように、過去の自車位置ＤＲＣ［ｔ－１］と現在の自車位置ＤＲＣ［ｔ］が変化することにより視差が生まれ、距離を計測することができる。図４に示す例では、自車１０がｔ－１時点からｔ時点までの間に距離ｄだけ進むことによって生じた視差に基づいて駐車車両２０までの距離Ｙが計測される。画像の特徴点それぞれの距離を計測するため、たとえば駐車車両２０に対して計測した結果は、図４（ｂ）に示すように、複数の点２１が計測される。

[領域分割部]
　つぎに、図５、６を用いて、領域分割部１０３１における処理の内容について説明する。

　図５は、領域分割部１０３１の処理の流れを示したフローチャートである。また、図６は、領域分割部１０３１の分割の例を示した説明図である。本実施例においては、領域分割部１０３１は初回起動時、および、自車の進行方向の変化に伴う使用カメラの切り替え時にのみ実施され、以降は局所領域Ｒ［ｒ］は変化しない。

　まず、ステップＳ５０１にて、処理領域１６１を設定する。ｘ方向の始点をｓｘ、終点をｅｘ、ｙ方向の始点をｓｙ、終点をｅｙとする。処理領域１６１は、カメラに写りこむ自車領域を避けて設定する。

　つぎに、ステップＳ５０２にて、処理領域１６１をＸ方向に分割する。分割は図６（ａ）のように始点ｓｘから終点ｅｘまでを均等に分割しても良いし、図６（ｂ）のようにカメラのレンズひずみに応じて、レンズ中心ほど大きく、周辺部ほど小さく分割しても良い。

　つぎに、ステップＳ５０３にて、処理領域１６１をＹ方向に分割する。分割は図６（ａ）のように始点ｓｙから終点ｅｙまでを均等に分割しても良いし、図６（ｂ）のようにカメラのレンズひずみに応じて、レンズ中心ほど大きく、周辺部ほど小さく分割しても良い。

　最後に、ステップＳ５０４にて、ステップＳ５０２、Ｓ５０３にて分割された各矩形の始点・終点情報を、局所領域Ｒ［ｒ］として登録する。

　なお、領域分割部１０３１の他の分割方法として、カメラの幾何情報から消失線を取得し、消失線に近いほど細かく分割する方法や、領域分割部１０３１に画像ＩＭＧＳＲＣを入力し、画素の輝度や色情報に基づくグルーピング処理を行った結果を用いる方法があるが、いずれも公知の技術により実現可能なため、ここでは説明を省略する。

[第一の路面領域抽出部]
　つぎに、図７を用いて、第一の路面領域抽出部１０４１における処理の内容について説明する。ここでは、特徴点ＦＰＩ［ｐ］に対応する特徴点世界座標ＦＰＷ［ｐ］の、たとえば高さが所定値以下である特徴点を含む局所領域Ｒ［ｒ］を、第一の路面領域ＩＤ群ｒｄ１［ｄ１］に登録する。図７は、第一の路面領域抽出部１０４１の処理の流れを示したフローチャートである。

　まず、ステップＳ７０１にて第一の路面領域ＩＤ群ｒｄ１［ｄ１］を初期化する。登録値を全て初期化し、ｄ１＝０とする。

　つぎに、ステップＳ７０２にて、特徴点ＦＰＩ［ｐ］におけるｐ＝０からＰまで、ステップＳ７０３からステップＳ７０５について繰り返し処理を行う。

　まず、ステップＳ７０３にて、特徴点世界座標ＦＰＷ［ｐ］が路面の条件を満たすか否かを判定する。判定の基準には、特徴点世界座標ＦＰＷ［ｐ］の高さが所定範囲内、すなわち高さがゼロを境とする閾値ＴＨ＿ＲＯＡＤ以内であるか否かを用いる。もしくは、あらかじめステップＳ７０１において、特徴点世界座標ＦＰＷ［ｐ］から高さがゼロを境とする閾値ＴＨ＿ＲＯＡＤ以内の点をすべて抽出し、最小二乗法を用いて平面ＲＰＬを算出しておき、この平面と特徴点世界座標ＦＰＷ［ｐ］との距離が閾値ＴＨ＿ＨＥＩＧＨＴ２以内であるか否かを用いても良い。

　ステップＳ７０３で条件を満たした場合、つぎに、ステップＳ７０４にて、対応する特徴点画像座標ＦＰＩ［ｐ］から画像座標を取得し、その座標が属する局所領域Ｒ［ｒ］を変換テーブルなどを用いて求める。求めた特徴点のＩＤをｒｐとする。

　つぎに、ステップＳ７０５にて、求めたｒｐをｒｄ１［ｄ１］へ登録し、ｄ１をインクリメントする。

　なお、上記では参照元として瞬間値である特徴点画像座標ＦＰＩ［ｐ］と世界座標ＦＰＷ［ｐ］を求めたが、過去の値も含めて蓄積したマップ情報等を用いて設定しても良い。

[障害物領域抽出部]
　つぎに、図８を用いて、障害物領域抽出部１０５１における処理の内容について説明する。ここでは、特徴点ＦＰＩ［ｐ］に対応する特徴点世界座標ＦＰＷ［ｐ］のたとえば高さが所定値よりも高い特徴点を含む局所領域Ｒ［ｒ］を、障害物領域ＩＤ群ｒｂ［ｂ］に登録する。

　図８は、障害物領域抽出部１０５１の処理の流れを示したフローチャートである。

　まず、ステップＳ８０１にて障害物領域ＩＤ群ｒｂ［ｂ］を初期化する。登録値を全て初期化し、ｂ＝０とする。

　つぎに、ステップＳ８０２にて、特徴点ＦＰＩ［ｐ］におけるｐ＝０からＰまで、ステップＳ８０３からステップＳ８０５について繰り返し処理を行う。

　まず、ステップＳ８０３にて、特徴点世界座標ＦＰＷ［ｐ］が障害物の条件を満たすか否かを判定する。判定の基準には、特徴点世界座標ＦＰＷ［ｐ］の高さが所定値よりも高い、すなわち閾値ＴＨ＿ＯＢＪよりも高いか否かを用いる。ここで、ＴＨ＿ＯＢＪ＞ＴＨ＿ＲＯＡＤであるとする。もしくは、第一の路面領域抽出部１０４１において算出した平面ＲＰＬを用いて、この平面と特徴点世界座標ＦＰＷ［ｐ］との距離が閾値ＴＨ＿ＯＢＪ２より高いか否かを用いても良い。

　ステップＳ８０３で条件を満たした場合、つぎに、ステップＳ８０４にて、対応する特徴点画像座標ＦＰＩ［ｐ］から画像座標を取得し、その座標が属する局所領域Ｒ［ｒ］を変換テーブルなどを用いて求める。求めた特徴点のＩＤをｒｐとする。

　つぎに、ステップＳ８０５にて、求めたｒｐをｒｂ［ｂ］へ登録し、ｂをインクリメントする。

　なお、第一の路面領域抽出部１０４１同様に、上記では参照元として瞬間値である特徴点画像座標ＦＰＩ［ｐ］と世界座標ＦＰＷ［ｐ］を求めたが、過去の値や他のセンサ情報も含めて蓄積したマップ情報等を用いて設定しても良い。

[画像特徴量算出部]
　つぎに、図９を用いて、画像特徴量算出部１０６１における処理の内容について説明する。ここでは、局所領域Ｒ［ｒ］に属する画素ｘ、ｙの色や輝度情報から、たとえば色やエッジの情報を用いて特徴ベクトルＦＶ［r］を生成する。

　図９は、画像特徴量算出部１０６１の処理の流れを示したフローチャートである。

　ステップＳ９０１にて局所領域Ｒ［ｒ］におけるｒ＝０からＲまで、ステップＳ９０２からＳ９０６について繰り返し処理を行う。

　まず、ステップＳ９０２にて、特徴ベクトルＦＶ［ｒ］を初期化する。

　つぎに、ステップＳ９０２にて、局所領域Ｒ［ｒ］に属する画素ｘ、ｙについて、ステップＳ９０４、Ｓ９０５について繰り返し処理を行う。

　ステップＳ９０４にて、画素ｘ、ｙにおける色情報を取得し、ＨＳＶ色表現へ変換し、あらかじめ設定した分解能へ変換した上で特徴ベクトルＦＶ［r］へ投票する。ＨＳＶ色表現への変換方法は公知なためここでは省略する。

　ステップＳ９０５にて、画素ｘ、ｙにおける輝度勾配情報を用いてＨＯＧ特徴量を算出し、あらかじめ設定した分解能へ変換した上で特徴ベクトルＦＶ［r］へ投票する。ＨＯＧ特徴量の算出方法は公知なためここでは省略する。

　局所領域Ｒ［ｒ］に属するすべての画素についてステップＳ９０４、Ｓ９０５の処理による投票を行った後、ステップＳ９０６にて特徴ベクトルＦＶ［r］のノルム正規化を行う。ノルムは、Ｈ、Ｓ、Ｖ、ＨＯＧそれぞれで正規化する。

　以上の処理を、すべての局所領域について、つまり、局所領域Ｒ［ｒ］のｒ＝０・・・Ｒに対して行い、特徴ベクトルＦＶ［r］を算出する。

[第二の路面領域抽出部]
　つぎに、図１０を用いて、第二の路面領域抽出部１０７１における処理の内容について説明する。ここでは、局所領域Ｒ［ｒ］のうち第一の路面領域ＩＤ群ｒｄ１［ｄ１］と障害物領域ＩＤ群ｒｂ［ｂ］のいずれにも属していない局所領域について、特徴ベクトルＦＶ［r］の類似度を用いて路面領域の推定を行い、推定された路面領域を第二の路面領域として抽出する。

　第一の路面領域抽出部１０４１により抽出された第一の路面領域と、障害物領域抽出部１０５１により抽出された障害物領域とが重複している場合には、その重複している領域を第一の路面領域および障害物領域から消去し、路面未抽出領域および障害物未抽出領域として第二の路面領域抽出部１０７１による判定を行う。

　また、障害物領域抽出部１０５１にて障害物領域を設定することに用いた特徴点までの距離情報とカメラ幾何情報を用いて特徴点の画像上の接地位置を求め、接地位置が第一の路面領域抽出部により抽出された第一の路面領域と重複している場合には、その領域を第一の路面領域から消去し、路面未抽出領域として第二の路面領域抽出部１０７１による判定を行う。

　図１０は、第二の路面領域抽出部１０７１の処理の流れを示したフローチャートである。

　まず、ステップＳ１０００にて分離困難フラグをチェックし、フラグがＯＮであれば以降の処理は行わない。フラグがＯＦＦであれば以降の処理を行う。

　つぎに、ステップＳ１００１にて第二の路面領域ＩＤ群ｒｄ２［ｄ２］を初期化する。登録値を全て初期化し、ｄ２＝０とする。

　つぎに、ステップＳ１００２にて、第一の路面領域ＩＤ群ｒｄ１［ｄ１］と障害物領域ＩＤ群ｒｂ［ｂ］の矛盾グリッドを消去する。第一の路面領域ＩＤ群ｒｄ１［ｄ１］のｄ１について、障害物領域ＩＤ群ｒｂ［ｂ］に登録が無いかを探索し、登録されている場合には、そのＩＤを第一の路面領域ＩＤ群ｒｄ１［ｄ１］および障害物領域ＩＤ群ｒｂ［ｂ］から消去する。つまり、第一の路面領域と障害物領域が重複している場合には、その重複している領域が第一の路面領域および障害物領域から消去される。この処理により、第一の路面領域ＩＤ群ｒｄ１［ｄ１］と障害物領域ＩＤ群ｒｂ［ｂ］の両方に登録されているグリッドが、以降の類似度判定にて及ぼす悪影響を解消することができる。

　さらなる矛盾グリッドの消去処理として、障害物領域抽出部１０５１にて障害物領域を設定することに用いた特徴点までの距離情報とカメラ幾何情報を用いて特徴点の画像上の接地位置を求め、接地位置が第一の路面領域と重複している場合には、その重複している領域を第一の路面領域から消去する処理を行う。

　まず、障害物領域ＩＤ群ｒｂ［ｂ］の登録に用いた特徴点の世界座標ＦＰＷ［ｐ］を参照し、高さをゼロとした場合の画像上の位置を、カメラ幾何情報を用いて算出する。すなわち特徴点の接地位置ＦＰＩ０[ｐ]を算出する。この特徴点の接地位置ＦＰＩ０[ｐ]が属する局所領域Ｒ［ｒ］を参照し、第一の路面領域ＩＤ群ｒｄ１［ｄ１］に登録が無いかを探索する。登録されている場合には、そのＩＤを第一の路面領域ＩＤ群ｒｄ１［ｄ１］から消去する。

　障害物の特徴点が路面付近に存在する場合、第一の路面領域抽出処理の条件に合致するため、障害物の特徴量が路面領域として登録され、実際の路面領域よりも膨らんでしまったり、第二の路面領域抽出処理時に障害物を路面領域と判定したり、分離度診断部１０８１で分離困難と判定されたり、といった悪影響を及ぼすことがある。この処理により、これらの不具合を回避することができる。

　つぎに、ステップＳ１００３にて、路面領域の特徴ベクトルＦＶ［ｒｄ１［ｄ１］］と、障害物領域の特徴ベクトルＦＶ［ｒｂ［ｂ］］を、類似度算出により以降の処理で使いやすいように加工する。データの次元数が少ない場合はそのまま使用しても良いが、次元数が高い場合には主成分分析等の次元圧縮手法を用いてデータ量を軽量化しても良い。本実施例においては特に圧縮せずに利用する。

　つぎに、ステップＳ１００４にて、局所領域Ｒ［ｒ］のｒ＝０・・・Ｒについて、以下ステップＳ１００５からＳ１００８について繰り返し処理を行う。

　まず、ステップＳ１００５にて、ｒが第一の路面領域ＩＤ群ｒｄ１［ｄ１］と障害物領域ＩＤ群ｒｂ［ｂ］のいずれにも登録されていないことを確認する。登録されていない場合はステップＳ１００６へ移行する。登録されている場合は、ｒをインクリメントし再度ステップＳ１００５を行う。

　つぎに、ステップＳ１００６にて、特徴ベクトルＦＶ［ｒ］に対する、路面領域の特徴ベクトルＦＶ［ｒｄ１［ｄ１］］および障害物領域の特徴ベクトルＦＶ［ｒｂ［ｂ］］の類似度算出を行う。本実施例では、ｋ近傍法を用いる。ｋ近傍法は公知の技術であるため詳細は割愛するが、特徴ベクトルＦＶ［ｒ］と路面領域の特徴ベクトルＦＶ［ｒｄ１［ｄ１］］および障害物領域の特徴ベクトルＦＶ［ｒｂ［ｂ］］のベクトル間の距離をすべて算出し、最も近いｋ個のベクトルが、路面領域の特徴ベクトルと障害物領域の特徴ベクトルのどちらが多いかという多数決に基づいて、どちらに類似しているかを算出する手法である。

　つぎに、ステップＳ１００７にて、特徴ベクトルＦＶ［ｒ］が路面領域の特徴ベクトルに類似していると判断された場合には、ステップＳ１００８へ移行し、ｒを第二の路面領域ＩＤ群ｒｄ２［ｄ２］へ登録し、ｄ２をインクリメントする。
　以上の処理をループ処理にて行う。

[分離度診断部]
　つぎに、図１１を用いて、分離度診断部１０８１における処理の内容について説明する。ここでは、第一の路面領域ＩＤ群ｒｄ１［ｄ１］に属する特徴ベクトルＦＶ［r］と、障害物領域ＩＤ群ｒｂ［ｂ］に属する特徴ベクトルＦＶ［r］が特徴空間内で分離可能な分布となっているかを判断する。

　図１１は、分離度診断部１０８１の処理の流れを示したフローチャートである。

　まず、ステップＳ１１０１にて第二の路面領域抽出部１０７１におけるステップＳ１００２と同じ処理を行い、矛盾している特徴ベクトルを消去する。

　つぎに、ステップＳ１１０２にて、路面領域の特徴ベクトルＦＶ［ｒｄ１［ｄ１］］と障害物領域の特徴ベクトルＦＶ［ｒｂ［ｂ］］を取得する。

　つぎに、ステップＳ１１０３にて、路面領域の特徴ベクトルＦＶ［ｒｄ１［ｄ１］］と障害物領域の特徴ベクトルＦＶ［ｒｂ［ｂ］］の分離度を算出する。本実施例においては、両ベクトルに対し線形判別処理を行い最大固有値に対応する固有ベクトルを算出し、この固有ベクトルへ路面領域の特徴ベクトルＦＶ［ｒｄ１［ｄ１］］と障害物領域の特徴ベクトルＦＶ［ｒｂ［ｂ］］を写像し、得られた１次元のデータ群のクラス間分散ＶＢを分離度ＳＳとして用いる。

　つぎに、ステップＳ１１０４にて、分離度ＳＳと閾値ＴＨ＿ＳＳを比較し、分離度ＳＳが閾値より高い場合にはステップＳ１１０５にて分離困難フラグＳＤをＯＦＦにセットし、閾値より低い場合にはステップＳ１１０６にて分離困難フラグＳＤをＯＮにセットする。なお、分離度診断部１０８１は、第二の路面領域抽出部１０７１よりも先に処理を行い、第二の路面領域抽出部１０７１は、分離困難フラグＳＤの結果に応じて処理を切り替える。

[走行可能領域認識部]
　つぎに、図１２、１３を用いて、走行可能領域認識部１１０１における処理の内容について説明する。ここでは、第一の路面領域と第二の路面領域の結果を統合し、さらに連続性やカメラ幾何情報、時系列情報などを用いて最終的な走行可能領域を決定する。

　図１２は、走行可能領域認識部１１０１の処理の流れを示したフローチャートである。また、図１３は走行可能領域認識部１１０１の処理の説明図である。図１３（ａ）～（ｃ）は、自車１０の前方を撮像した画像であり、駐車スペースを区画する白線Ｌと、その先に壁などの障害物Ｏｂが写っている。図１３（ｄ）は、自車１０とその前方の走行可能領域を示している。

　まず、ステップＳ１２０１にて、最終結果を反映する結果画像ＩＭＧＲＥＳの画素へアクセスする準備を行う。以下、ステップＳ１２０２からＳ１２０４まで繰り返し処理を行う。

　まず、ステップＳ１２０２にて、アクセスしている画素が第一の路面領域ＩＤ群ｒｄ１［ｄ１］もしくは第二の路面領域ＩＤ群ｒｄ２［ｄ２］に属しているかを判定する。属している場合にはステップＳ１２０３へ移行し画素をＰ１にセットする。属していない場合にはステップＳ１２０４へ移行し画素をＰ２にセットする。以上を繰り返す。

　なお、上記のように画素アクセスを行うと処理時間が大きくかかってしまうため、領域Ｒ［ｒ］に対する繰り返し処理を行い、その結果を最終結果を反映する結果画像ＩＭＧＲＥＳに反映しても良い。図１３（ｂ）はその例である。

　つぎに、ステップＳ１２０５にて、画素の連続性を用いてノイズ除去を行う。結果画像ＩＭＧＲＥＳを画像の下部領域から画像上部へ向かって探索し、画素がＰ１、すなわち路面領域である間探索を進め、画素がＰ２となる位置、もしくはＰ２となった回数をカウントし、その数が所定回数となった位置、もしくはカメラ幾何的に路面領域ではなくなる位置で探索を止める。この処理を画像のｘ座標の全て、もしくは所定の間隔でサンプリングされた位置にて行い、その結果、画像の下部領域から探索を終了した位置までを路面領域とする。図１３（ｃ）はその例である。図１３（ｂ）に示す例では、ステップＳ１２０４までの処理により、障害物領域の中の飛び地１３１と上空領域１３２の画素がＰ１にセットされている。しかし、ステップＳ１２０５の連続性判定により、図１３（ｃ）に示すように、かかる部分は画素がＰ２とされ、路面領域ではないと判定されている。

　つぎに、ステップＳ１２０６にて、ステップＳ１２０５より得られた結果のうち上端位置を世界座標変換し、得られた各点、およびカメラ設置位置を結ぶ多角形領域を求め、走行可能領域の瞬間値ＲＤＴ［ｔ］とする。ここで、ｔは処理のタイミングを表す記号である。図１３（ｄ）はその例である。

　つぎに、ステップＳ１２０７にて、時系列処理を行う。本実施例における時系列処理について、図１４、図１５を用いて説明する。

　図１４は、ステップＳ１２０７の時系列処理の流れを示したフローチャートである。また、図１５は時系列処理の説明図である。

　まず、ステップＳ１４０１にて、デッドレコニング情報に基づき、今回の自車位置ＤＲＣ［ｔ］と前回の自車位置ＤＲＣ［ｔ－１］を取得し、今回の自車位置ＤＲＣ［ｔ］を基準とする前回の自車位置ＤＲＣ＿Ｐ［ｔ］を算出する。図１５（ａ）はその例である。図１５（ａ）では、今回の自車位置を実線で示し、前回の自車位置を破線で示している。

　つぎに、ステップＳ１４０２にて、前回の自車位置ＤＲＣ＿Ｐ［ｔ］を基準とし、前回の走行可能領域瞬間値ＲＤＴ［ｔ－１］を取得する。図１５（ｂ）はその例である。図１５（ｂ）には、前回の走行可能領域瞬間値１５１を破線で示している。

　つづいて、ステップＳ１４０３にて、今回の自車位置ＤＲＣ［ｔ］を基準とし、今回の走行可能領域瞬間値ＲＤＴ［ｔ］を展開する。図１５（ｃ）はその例である。図１５（ｃ）には、今回の走行可能領域瞬間値１５２を実線で示している。

　そして、ステップＳ１４０４にて、前回の走行可能領域瞬間値ＲＤＴ［ｔ－１］と今回の走行可能領域瞬間値ＲＤＴ［ｔ］の重複領域を算出する。図１５（ｄ）はその例である。図１５（ｄ）では、前回と今回の走行可能領域瞬間値の重複領域をグレーの領域１５３で示している。

　さらに、ステップＳ１４０５にて、重複領域を今回の走行可能領域ＲＤＲ［ｔ］として出力する。なお、上述の実施例では、走行可能領域認識部１１０１が第一の路面領域抽出部１０４１により抽出された路面領域と、第二の路面領域抽出部１０７１により抽出された路面領域に対して、カメラ幾何情報と過去の検出結果を用いた時系列処理の両方に基づき走行可能領域を認識する場合について説明したが、少なくとも一方でもよい。

　以上説明したように、本実施形態の車載用外界認識装置１０００によれば、画像において複数に分割された局所領域から、特徴点に基づく距離計測結果を用いて、第一の路面領域および障害物領域を抽出し、さらに特徴点が存在せず分類できない局所領域については、画像特徴量を抽出し、その画像特徴量と第一の路面領域および障害物領域との類似度を算出し、類似度に基づいて第二の路面領域を抽出する。そして、第一の路面領域抽出結果および第二の路面領域抽出結果を統合して、走行可能領域を生成する。

　上記の作用効果について図１６、図１７を用いて説明する。図１６、図１７は、上記の一連の流れを説明する説明図である。

　図１６（ａ）は局所領域１６０の分割例を、図１６（ｂ）は特徴点による距離計測例を表す。図１６（ｂ）のうち、明るめのグレーの点１６１は第一の路面領域抽出処理の条件に合致する特徴点、暗めのグレーの点１６２は障害物領域抽出処理の条件に合致する特徴点である。

　図１６（ｃ）は、第一の路面領域抽出処理、および障害物領域抽出処理の例である。第一の路面領域抽出処理で路面領域として抽出された局所領域１６３を明るめのグレーで示し、障害物領域抽出処理で障害物領域として抽出された局所領域１６４を暗めのグレーで示している。図１６（ｃ）では、図１６（ｂ）の特徴点のうち第一の路面領域抽出処理の条件に合致する特徴点１６１を含む図１６（ａ）の局所領域を路面領域１６３としている。また、図１６（ｂ）の特徴点のうち障害物領域抽出処理の条件に合致する特徴点１６２を含む局所領域を障害物領域１６４としている。

　図１６（ｄ）は、第二の路面領域抽出処理結果を統合した例である。図１６（ｃ）でグレーになっていない局所領域１６５について、画像特徴ベクトルの類似度に基づいて路面領域か否かを判定する。図に示すように、図１６（ｃ）の時点では判定できなかった局所領域１６５について、第一の路面領域抽出により路面領域と設定された領域との類似度を用いて路面領域１６３と設定することができる。一方、遠方の障害物領域の一部１６６も、ここでは路面領域と判定されている。ここは、後段の処理である走行可能領域認識部のステップＳ１２０５にて、カメラ幾何情報等を用いて路面領域１６３ではないと判定される。

　また、図１７（ａ）は、領域分割処理において、入力画像を用いて画素の輝度や色情報に基づくグルーピング処理を行った結果得られる局所領域の例である。

　図１７（ｂ）は、図１７（ａ）に示す領域分割結果に対し、図１６（ｂ）の特徴点情報を用いて、第一の路面領域抽出処理、障害物領域抽出処理を行った例である。第一の路面領域抽出処理結果を明るめのグレーの領域１７１で示し、障害物領域抽出結果を暗めのグレーの領域１７２で表している。

　図１７（ｃ）は、第二の路面領域抽出処理によって、図１７（ｂ）より得られる路面領域、および、障害物領域との類似度を用いて、どちらにも分類されていない局所領域を路面領域として抽出した例である。図に示すように、図１７（ｂ）の時点では判定できなかった白線Ｌの外側の路面領域１７３や遠方の路面領域１７４を、白線の内側の路面領域１７１の画像特徴ベクトルとの類似度を用いて路面領域と判定することができる。一方、遠方の上空領域１７５等も、天候や環境によっては路面領域と類似していることが多いため、この例では路面領域と判定されている。ここは、後段の処理である走行可能領域認識部のステップＳ１２０５にて、カメラ幾何情報等を用いて路面領域ではないと判定される。

　さらに、図１６（ｃ）や図１７（ｂ）の時点において、第一の路面領域抽出処理、障害物領域抽出処理により得られる領域内の画像特徴量を、分離度診断部にて診断し、その分離度が所定値よりも低い場合、すなわちクラス間分散が低い場合には、第二の路面領域抽出を行わないようにする。第二の路面領域抽出部１０７１は、分離度が所定値よりも低い場合には第二の路面領域抽出結果を走行可能領域認識部に出力しない。本処理により、あいまいな情報による路面領域抽出が行われなくなり、誤認識を抑制することが可能となる。

　上述の車載用外界認識装置１０００によれば、エッジの観測が難しい自車遠方の路面領域を路面領域として抽出することができる。したがって、例えば運転者の運転操作を補助、あるいは自動化する車両制御を実施する自動車に用いた場合に、精度の高い制御を実施することができる。

＜第二実施の形態＞
　つぎに、本発明の車載用外界認識装置の第二実施の形態について、以下に図面を用いて説明する。

　図１８は、第二実施の形態における車載用外界認識装置２０００の構成を示すブロック図である。なお、以下の説明では、上述の第一実施の形態における車載用外界認識装置１０００と異なる箇所のみ詳述し、同様の箇所には同一の番号を付してその詳細な説明を省略する。

　本実施の形態において特徴的なことは、第一の路面領域抽出部１０４１とは異なる方法により路面領域を抽出する第三の路面領域抽出部２０９１を有し、その抽出結果の情報が第二の路面領域抽出部１０７１と、分離度診断部１０８１と、走行可能領域認識部１１０１にそれぞれ入力されることである。

　車載用外界認識装置２０００は、自動車に搭載されるカメラ装置内、もしくは統合コントローラ内等に組み込まれ、カメラ１００１～１００４で撮影した画像内から外界を認識するためのものであり、本実施の形態では、自車周囲の路面領域を検知するように構成されている。

　車載用外界認識装置２０００は、ＣＰＵやメモリ、Ｉ／Ｏ等を有するコンピュータによって構成されており、所定の処理がプログラミングされて、あらかじめ定められた周期で繰り返し処理を実行する。

　第三の路面領域抽出部２０９１は、領域分割部１０３１の局所領域Ｒ［ｒ］のうち、所定条件を満たす領域を抽出し、そのＩＤの組を第三の路面領域ＩＤ群ｒｄ３［ｄ３］として記録する。すなわち、路面領域と判定された領域はＲ［ｒｄ３［ｄ３］］で表され、ｄ３は領域を表すＩＤである。

　第二の路面領域抽出部１０７１は、領域分割部１０３１より得られる局所領域Ｒ［ｒ］と、第一の路面領域抽出部１０４１より得られる第一の路面領域ＩＤ群ｒｄ１［ｄ１］と、障害物領域抽出部１０５１より得られる障害物領域ＩＤ群ｒｂ［ｂ］と、画像特徴量算出部１０６１より得られる画像特徴ベクトルＦＶ［ｒ］と、さらに第三の路面領域抽出部２０９１より得られる第三の路面領域ＩＤ群ｒｄ３［ｄ３］を用いて、局所領域Ｒ［ｒ］のうち、第一の路面領域ＩＤ群ｒｄ１［ｄ１］と、第三の路面領域ＩＤ群ｒｄ３［ｄ３］と、障害物領域ＩＤ群ｒｂ［ｂ］に含まれない領域から、画像特徴ベクトルＦＶ［ｒ］を用いて第二の路面領域ＩＤ群ｒｄ２［ｄ２］を求める。本実施例では、処理の入力に追加された第三の路面領域ＩＤ群ｒｄ３［ｄ３］を第一の路面領域ＩＤ群ｒｄ１［ｄ１］の後ろに追加して利用することで以降の処理は第一実施の形態のものと同様となるため、処理の詳細の記述は省略する。

　分離度診断部１０８１は、第一の路面領域抽出部１０４１より得られる第一の路面領域ＩＤ群ｒｄ１［ｄ１］と、障害物領域抽出部１０５１より得られる障害物領域ＩＤ群ｒｂ［ｂ］と、画像特徴量算出部１０６１より得られる画像特徴ベクトルＦＶ［ｒ］と、さらに第三の路面領域抽出部２０９１より得られる第三の路面領域ＩＤ群ｒｄ３［ｄ３］を用いて、画像特徴ベクトルＦＶ［ｒ］のうち、第一の路面領域ＩＤ群ｒｄ１［ｄ１］および第三の路面領域ＩＤ群ｒｄ３［ｄ３］に属する特徴ベクトルＦＶと、障害物領域ＩＤ群ｒｂ［ｂ］に属する特徴ベクトルＦＶの分離度を算出する。

　算出の結果、特徴量同士が類似している場合は、第二の路面領域抽出部１０７１へ路面領域の抽出が困難であるという分離困難フラグＳＤを通達し、第二の路面領域抽出部１０７１においてその出力を停止する。本実施例では、処理の入力に追加された第三の路面領域ＩＤ群ｒｄ３［ｄ３］を第一の路面領域ＩＤ群ｒｄ１［ｄ１］の後ろに追加して利用することで以降の処理は第一実施の形態のものと同様となるため、処理の詳細の記述は省略する。

　走行可能領域認識部１１０１は、領域分割部１０３１より得られる局所領域Ｒ［ｒ］と、第一の路面領域抽出部１０４１より得られる第一の路面領域ＩＤ群ｒｄ１［ｄ１］と、第二の路面領域抽出部１０７１より得られる第二の路面領域ＩＤ群ｒｄ２［ｄ２］と、さらに第三の路面領域抽出部２０９１より得られる第三の路面領域ＩＤ群ｒｄ３［ｄ３］を用いて、最終的な画像内の路面領域を確定し、さらにカメラ幾何情報を用いて自車後輪車軸を原点とする世界座標（ｘ、ｙ、ｚ）における走行可能領域ＲＤＲ［ｔ］として後段へ出力する。本実施例では、処理の入力に追加された第三の路面領域ＩＤ群ｒｄ３［ｄ３］を第一の路面領域ＩＤ群ｒｄ１［ｄ１］の後ろに追加して利用することで以降の処理は第一実施例のものと同様となるため、処理の詳細の記述は省略する。

[第三の路面領域抽出部]
　図１９、図２０を用いて、第三の路面領域抽出部２０９１における処理の内容について説明する。

　図１９は、第三の路面領域抽出部２０９１の処理の流れを示したフローチャートである。また、図２０は、第三の路面領域抽出部２０９１による処理の説明図である。

　まず、ステップＳ１９０１にて、自車近傍の所定領域を自車の直近領域（第三の路面領域）Ｎとして設定する。直近領域Ｎは、カメラ幾何情報を用いて設定される本実施例においては、直近領域Ｎは自車の進行方向のボディ前端から１ｍ、左右１ｍの領域とする。

　つぎに、ステップＳ１９０２にて、自車周囲の障害物の距離情報（障害物情報）を取得する（障害物情報取得部）。ここは、過去に検出した特徴点距離計測部１０２１により検出された距離情報でも良いし、自車に取り付けられたソナーから取得しても良い。本実施例においては、ソナーにより検出した障害物情報ＯＢＳを、車内ネットワークを通じて取得している。

　つぎに、ステップＳ１９０３にて、自車の直近領域Ｎより内側に障害物検出結果が存在するか否かを判定する。存在する場合にはステップＳ１９０４へ移動し、自車の直近領域Ｎが障害物情報と重複しないように調整する。ここでは、障害物が存在する領域付近を扱わないようにする。

　つぎに、ステップＳ１９０５にて、カメラ幾何情報を用いて自車の直近領域Ｎをカメラ画像ＩＭＧＳＲＣの座標系へ変換し、局所領域Ｒ［ｒ］と重複する領域を、第三の路面領域ＩＤ群ｒｄ３［ｄ３］へ登録する。

　つぎに、ステップＳ１９０６にて、前回の走行可能領域ＲＤＲ［ｔ－１］が存在するか否かを取得する。存在する場合には、ステップＳ１９０７以降の処理を行い、存在しない場合には処理を終了する。

　ステップＳ１９０７にて、デッドレコニング情報を取得し、今回の自車位置ＤＲＣ［ｔ］を基準とする前回の走行可能領域ＲＤＲ[ｔ－１]を算出する。つぎに、ステップＳ１９０８にて、カメラ幾何情報に基づいて、前回の走行可能領域ＲＤＲ［ｔ－１］と重複する局所領域Ｒ［ｒ］を、第三の路面領域ＩＤ群ｒｄ３［ｄ３］へ登録する。

　図２０（ａ）はステップＳ１９０１における自車の直近領域Ｎの例である。図２０（ｂ）は自車の近傍領域ＮをそのままステップＳ１９０５にて重畳した例である。図２０（ｂ）は、自車１０の前方を撮像した画像であり、近傍領域Ｎがグレーで示され、前方には障害物Ｏｂが写っている。

　図２０（ｃ）はステップＳ１９０４にて直近領域Ｎを調整した例である。本実施例では、ソナーは自車の前方４か所に取り付けられており、各ソナーから取得する障害物情報ＯＢＳをそれぞれＯＢＳ１、ＯＢＳ２、ＯＢＳ３、ＯＢＳ４とする。さらに、自車の近傍領域Ｎをソナーの取り付け位置を基準に横方向に４分割（Ｎ１、Ｎ２、Ｎ３、Ｎ４）する。そして、障害物情報ＯＢＳ１、ＯＢＳ２、ＯＢＳ３、ＯＢＳ４を取得し、各物体情報が対応する自車の近傍領域Ｎ１、Ｎ２、Ｎ３、Ｎ４と重複している場合には、自車の近傍領域Ｎ１、Ｎ２、Ｎ３、Ｎ４が重複しないように奥行き方向を調整する。図２０（ｄ）は、ステップＳ１９０５の処理の例であり、ステップＳ１９０４にて調整した直近領域Ｎと重複する局所領域Ｒ［ｒ］を、カメラ幾何情報を用いて重畳した例である。

　図２０（ｅ）はステップＳ１９０７の処理の例であり、今回の自車位置ＤＲＣ［ｔ］、前回の自車位置ＤＲＣ［ｔ－１］、前回の走行可能領域ＲＤＲ［ｔ－１］を図示している。図２０（ｅ）では、今回の自車位置を実線２０１で示し、前回の自車位置を点線２０２で示し、前回の走行可能領域ＲＤＲ［ｔ－１］を領域２０３で示している。図２０（ｆ）はステップＳ１９０８の処理の例であり、ステップＳ１９０７にて算出した前回の走行可能領域ＲＤＲ［ｔ－１］と重複する局所領域Ｒ［ｒ］を、カメラ幾何情報を用いて重畳した例である。

　なお、本実施例においては、図１９に示すように、第三の路面領域抽出方法として、カメラ幾何情報に基づく所定領域を用いた手法、障害物情報に基づく所定領域の調整手法、過去の路面領域認識結果を用いた手法の３種類をまとめて説明したが、すべてを用いなくても良い。例えば、ステップＳ１９０１、Ｓ１９０５だけであればカメラ幾何情報に基づく所定領域を用いた手法のみとなる。また、ステップＳ１９０１からＳ１９０５だけを用いれば、カメラ幾何情報に基づく所定領域を用いた手法、障害物情報に基づく所定領域の調整手法だけとなる。さらに、ステップＳ１９０６からＳ１９０８だけを用いれば過去の路面領域認識結果を用いた手法のみとなる。

　以上説明したように、第三の路面領域抽出部２０９１を有することにより、第一の路面領域抽出部１０４１において路面領域から特徴点が取得できなかった場合であっても、第二の路面領域抽出部１０７１の処理に必要な路面領域を抽出することができる。

　本発明は、上述の各実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の変更が可能である。

　以上、本発明の実施形態について詳述したが、本発明は、前記の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。例えば、前記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。さらに、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

１０００　車載用外界認識装置
１００１、１００２、１００３、１００４　カメラ
１０１１　画像取得部
１０２１　特徴点距離計測部
１０３１　領域分割部
１０４１　第一の路面領域抽出部
１０５１　障害物領域抽出部
１０６１　画像特徴量算出部
１０７１　第二の路面領域抽出部
１０８１　分離度診断部
１１０１　走行可能領域認識部
２０００　車載用外界認識装置
２０９１　第三の路面領域抽出部

Claims

　自車周囲の走行可能領域を認識する車載用外界認識装置であって、
　自車周囲の環境を含む画像を取得する画像取得部と、
　前記画像から特徴点を抽出し、前記特徴点を時系列追跡した前記画像上の動きに基づいて自車から前記特徴点までの距離を計測する特徴点距離計測部と、
　前記画像上に設定された複数の局所領域の中から、前記特徴点までの距離情報と前記特徴点の画像上の位置とに基づき路面と判定される局所領域を第一の路面領域として抽出する第一の路面領域抽出部と、
　前記画像上の複数の局所領域ごとに色情報を含む多次元の画像特徴量を算出する画像特徴量算出部と、
　前記画像上の複数の局所領域のうち前記第一の路面領域抽出部にて前記第一の路面領域として抽出されていない少なくとも１つ以上の路面未抽出領域に対して、前記画像特徴量を用いて前記第一の路面領域との類似度を算出し、該算出した類似度に基づいて前記少なくとも１つ以上の路面未抽出領域から第二の路面領域を抽出する第二の路面領域抽出部と、
　前記第一の路面領域および前記第二の路面領域を用いて前記走行可能領域を認識する走行可能領域認識部と、
　を有することを特徴とする車載用外界認識装置。
　前記画像上に設定された複数の局所領域の中から、前記特徴点までの距離情報と前記特徴点の画像上の位置とに基づき障害物と判定される局所領域を障害物領域として抽出する障害物領域抽出部を有し、
　前記第二の路面領域抽出部は、前記画像上の複数の局所領域のうち前記第一の路面領域抽出部にて第一の路面領域として抽出されていない少なくとも一つの路面未抽出領域および前記障害物領域抽出部にて障害物領域として抽出されていない少なくとも一つの障害物未抽出領域に対して、前記画像特徴量を用いて前記第一の路面領域および前記障害物領域との類似度を算出し、該算出した類似度に基づいて前記路面未抽出領域および前記障害物未抽出領域から前記第二の路面領域を抽出することを特徴とする請求項１に記載の車載用外界認識装置。
　前記第一の路面領域の画像特徴量および前記障害物領域の画像特徴量に基づき、前記第一の路面領域と前記障害物領域との分離度を算出する分離度診断部を有し、
　前記第二の路面領域抽出部は、前記分離度が所定値よりも低い場合には第二の路面領域抽出結果を前記走行可能領域認識部に出力しないことを特徴とする請求項２に記載の車載用外界認識装置。
　前記走行可能領域認識部は、前記第一の路面領域と前記第二の路面領域を用いて最終路面領域を確定し、カメラ幾何情報と過去の検出結果を用いた時系列処理の少なくとも一方に基づき前記最終路面領域の中から走行可能領域を認識することを特徴とする請求項２に記載の車載用外界認識装置。
　前記第二の路面領域抽出部は、前記第一の路面領域と前記障害物領域が重複している場合には、該重複している領域を前記第一の路面領域および前記障害物領域から消去して前記路面未抽出領域および前記障害物未抽出領域とすることを特徴とする請求項２に記載の車載用外界認識装置。
　前記第二の路面領域抽出部は、前記障害物領域抽出部にて前記障害物領域を設定することに用いた前記特徴点までの距離情報と前記カメラ幾何情報を用いて前記特徴点の画像上の接地位置を求め、前記接地位置が前記第一の路面領域と重複している場合には、該重複している領域を前記第一の路面領域から消去して前記路面未抽出領域とすることを特徴とする請求項５に記載の車載用外界認識装置。
　前記第一の路面領域抽出部とは異なる方法により路面領域を抽出して第三の路面領域とする第三の路面領域抽出部を有し、
　前記第二の路面領域抽出部は、前記複数の局所領域のうち前記第一の路面領域もしくは前記第三の路面領域として抽出されていない領域について、前記第一の路面領域および前記第三の路面領域および前記第一の路面領域と前記障害物領域との類似度に基づいて前記第二の路面領域を抽出することを特徴とする請求項２に記載の車載用外界認識装置。
　前記第三の路面領域抽出部は、カメラ幾何情報を用いて、自車近傍の所定領域を第三の路面領域として設定することを特徴とする請求項７に記載の車載用外界認識装置。
　自車周囲の障害物を検出し、該障害物の距離情報を取得する障害物情報取得部を有し、　前記第三の路面領域抽出部は、前記第三の路面領域を前記障害物の距離情報に基づいて調整することを特徴とする請求項８に記載の車載用外界認識装置。
　前記第三の路面領域抽出部は、過去の路面領域検出結果を参照して前記第三の路面領域を抽出することを特徴とする請求項７に記載の車載用外界認識装置。