JP7252750B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、画像処理装置および画像処理方法に関する。

近年、自動運転技術の発展に伴い、車両の周囲を撮像した画像データから車両を駐車させる駐車枠を検出する画像処理装置が普及しつつある。この種の画像処理装置では、撮像データから駐車枠を区画する区画線を検出し、検出した区画線に基づいて駐車枠を検出する（例えば、特許文献１参照）。

特開２０１７－８７７５８号公報

しかしながら、従来技術では、例えば、画像データに写る区画線の検出が困難となる領域から継続的に区画線の検出を行うおそれがあり、処理負荷の増大や、区画線の誤検出を招くおそれがある。

本発明は、上記に鑑みてなされたものであって、処理負荷を抑えつつ、対象物の誤検出を抑制することができる画像処理装置および画像処理方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、実施形態に係る画像処理装置は、検出部と、判定部とを備える。前記検出部は、画像データから得られるエッジ情報に基づいて対象物を検出する。前記判定部は、前記画像データにおける所定領域の前記エッジ情報が示すエッジパターンと前記対象物の特徴を示す特徴パターンとに基づいて前記所定領域を前記対象物の検出に不適である不適領域か否かを判定する。また、前記検出部は、前記判定部によって前記不適領域と判定された領域を除いて、前記対象物の検出を行う。

本発明によれば、処理負荷を抑えつつ、対象物の誤検出を抑制することができる。

図１Ａは、画像処理装置の搭載例を示す図である。 図１Ｂは、画像処理方法の概要を示す図である。 図２は、画像処理装置のブロック図である。 図３は、不適領域判定部のブロック図である。 図４Ａは、エッジ密度に基づく不適領域の判定例を示す図である。 図４Ｂは、輝度勾配に基づく不適領域の判定例を示す図である。 図５は、統合区画線の具体例を示す図である。 図６は、対象領域の具体例を示す図である。 図７は、第２判定部による判定処理の具体例を示す図である。 図８は、次フレームにおける不適領域の判定処理の具体例を示す図である。 図９は、画像処理装置が実行する処理手順を示すフローチャートである。 図１０は、図９に示す不適領域判定処理および区画線候補の検出処理の処理手順を示すフローチャートである。

以下、添付図面を参照して、実施形態に係る画像処理装置および画像処理方法について詳細に説明する。なお、本実施形態によりこの発明が限定されるものではない。

まず、図１Ａおよび図１Ｂを用いて実施形態に係る画像処理装置の概要について説明する。図１Ａは、画像処理装置の搭載例を示す図である。また、図１Ｂは、画像処理方法の概要を示す図である。なお、かかる画像処理方法は、図１Ａに示す画像処理装置１によって実行される。また、以下では、画像処理装置１の検出対象が区画線である場合を例に挙げて説明するが、検出対象は区画線に限られず、任意に変更することができる。

図１Ａに示すように、実施形態に係る画像処理装置１は、車両Ｃに搭載され、車載カメラ１０によって撮像された撮像データから区画線Ｌｓを検出し、区画線Ｌｓに基づいて駐車枠ＰＳを検出する。

車載カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ(Complementary Metal Oxide Semiconductor)などの撮像素子を備え、車両Ｃの周囲を撮像する。また、車載カメラ１０のレンズには、例えば、魚眼レンズなどの広角レンズが採用され、図１Ａに示すような撮像領域Ｒを有する。

なお、図１Ａに示す例では、車載カメラ１０が、車両Ｃの左側方を撮像する左サイドカメラである場合について示したが、車載カメラ１０には、車両Ｃの前方を撮像する前方カメラ、車両Ｃの後方を撮像するバックカメラ、車両Ｃの右側方を撮像する右サイドカメラが含まれる。

ところで、画像処理装置１は、画像データＩに対してエッジ処理を行うことで得られるエッジ点を繋いだエッジ線に基づいて駐車枠ＰＳを区画する区画線を検出する。）しかしながら、画像データＩに例えば、グレーチング等の区画線に類似する膨大なパターンが含まれる場合、画像データＩから区画線を検出することが困難となる。また、継続して区画線の検出を行う場合、処理負荷の増大や、区画線の誤検知を招くおそれがある。

そこで、実施形態に係る画像処理装置１では、区画線の検出に適さない不適領域を設定し、かかる不適領域においては、区画線の検出を行わないこととした。つまり、実施形態に係る画像処理装置１では、画像データＩにおける所定領域において、区画線の特徴を示す特徴パターンが多数含まれる場合に、かかる所定領域を不適領域と判定する。

具体的には、図１Ｂに示すように、画像データＩにグレーチングＧが含まれる場合、グレーチングと区画線Ｌｓとの識別が困難となる。このため、画像処理装置１は、画像データＩからグレーチングが含まれるグレーチング領域を不適領域Ｒｉとして判定する（ステップＳ１）。

画像処理装置１は、グレーチング領域における各エッジ線が略直交または略平行となる点に着目してグレーチング領域を識別することができる。ここで、実際の区画線Ｌｓに基づく各エッジ線もまた略直交または略平行となる。

すなわち、グレーチング領域における各エッジ線と、実際の区画線Ｌｓに基づく各エッジ線とは類似するパターンを示すこととなる。一方、グレーチング領域においては、実際の区画線Ｌｓよりも多くの上記のパターンが検出されることとなる。

つまり、画像処理装置１は、各エッジ線が略直交または略平行を示すパターンが無数に検出される領域について、グレーチング領域として識別し、不適領域Ｒｉとして判定する。

その後、画像処理装置１は、不適領域Ｒｉを除いて、区画線Ｌｓの検出を行うこととなる（ステップＳ２）。すなわち、画像処理装置１は、不適領域Ｒｉを除いて、区画線Ｌｓの検出を継続して行う。なお、図１Ｂに示す例では、区画線Ｌｓが不適領域Ｒｉに含まれるため、区画線Ｌｓの検出を停止する場合を示す。

このように、実施形態に係る画像処理装置１は、画像データＩにおける所定領域において、区画線Ｌｓの特徴を示す特徴パターンに基づき、該所定領域が不適領域Ｒｉか否かを判定する。

そして、画像処理装置１は、不適領域Ｒｉについて、区画線Ｌｓの検出を行わないので、不適領域Ｒｉを除いた分だけ、処理負荷を抑えることが可能となる。また、不適領域Ｒｉを予め設定することで、不適領域Ｒｉにおける区画線Ｌｓの誤検知を抑制することが可能となる。

なお、図１Ｂにおいては、画像処理装置１が、エッジ線のパターンに基づいて不適領域Ｒｉを判定する場合について説明したが、エッジ点のパターンに基づいて不適領域Ｒｉを判定することも可能である。この点の詳細については、後述する。

次に、図２を用いて実施形態に係る画像処理装置１の構成例について説明する。図２は、画像処理装置１のブロック図である。なお、図２には、画像処理装置１を含む駐車支援システム１００を示す。図２に示すように、駐車支援システム１００は、画像処理装置１と、車載カメラ１０と、センサ群Ｓｃと、上位ＥＣＵ(Electronic Control Unit)５０とを備える。また、図２に示すように、画像処理装置１と、センサ群Ｓｃと、上位ＥＣＵ５０とは、それぞれＣＡＮ（Control Area Network）通信の通信規格の通信バスＢによって相互に通信することができる。

センサ群Ｓｃは、車両Ｃの走行状態を検出する各種センサであり、検出したセンサ値を画像処理装置１へ通知する。センサ群Ｓｃは、車両Ｃの車輪の回転数を検出する車速センサや、車両Ｃの舵角を検出する舵角センサ等を含む。

上位ＥＣＵ５０は、例えば、車両Ｃの自動駐車を支援するＥＣＵであり、例えば、画像処理装置１によって検出された駐車枠ＰＳに基づいて車両Ｃを駐車枠ＰＳへ駐車させる。例えば、上位ＥＣＵ５０は、車両Ｃの操舵角を制御するＥＰＳ（Electric Power Steering）-ＥＣＵであり、画像処理装置１によって検出された駐車枠ＰＳへの操舵角を制御することができる。なお、上位ＥＣＵ５０は、アクセル制御やブレーキ制御を行うＥＣＵを含むようにすることにしてもよい。

図２に示すように、画像処理装置１は、制御部２と、記憶部３とを備える。制御部２は、エッジ抽出部２１と、不適領域判定部２２と、除外判定部２３と、駐車枠検出部２４と、駐車枠管理部２５と、停車位置決定部２６とを備える。

制御部２は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、入出力ポートなどを有するコンピュータや各種の回路を含む。

コンピュータのＣＰＵは、例えば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部２のエッジ抽出部２１、不適領域判定部２２、除外判定部２３、駐車枠検出部２４、駐車枠管理部２５および停車位置決定部２６として機能する。

また、制御部２のエッジ抽出部２１、不適領域判定部２２、除外判定部２３、駐車枠検出部２４、駐車枠管理部２５および停車位置決定部２６の少なくともいずれか一部または全部をＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成することもできる。

また、記憶部３は、例えば、ＲＡＭやＨＤＤに対応する。ＲＡＭやＨＤＤは、各種情報や各種プログラムの情報を記憶することができる。なお、画像処理装置１は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。

制御部２は、例えば、車両Ｃが駐車場を走行していると想定される場合（例えば、車速３０Ｋｍ／ｈ以内）に、後述する駐車枠の検出処理を行うことにしてもよいし、あるいは、車両Ｃが走行している全ての期間でかかる検出処理を行うことにしてもよい。

エッジ抽出部２１は、車載カメラ１０から入力される画像データから各画素の輝度に基づくエッジ情報を抽出する。具体的には、エッジ抽出部２１は、車載カメラ１０から入力される画像データをグレースケール化することでグレースケール画像へ変換する。グレースケール画像とは、画像データにおける各画素を輝度に応じて白から黒までの各階調（例えば２５６階調）で表現するように変換する処理である。

続いて、エッジ抽出部２１は、車両Ｃに対する車載カメラ１０の取付位置および取付角度に基づき、グレースケール画像を路面などの射影面に射影する。これにより、エッジ抽出部２１は、グレースケール画像の平面画像を得る。その後、エッジ抽出部２１は、平面画像対して例えば、ソベルフィルタを適用することで、各画素のエッジ強度および輝度勾配を求めることができる。

続いて、エッジ抽出部２１は、エッジ強度が所定値を超える画素を抽出することで、上記のエッジ点を抽出することができる。また、エッジ抽出部２１は、抽出したエッジ点のうち、互いに隣接するエッジ点を繋ぐことで、エッジ線を抽出することもできる。エッジ抽出部２１は、抽出したエッジ点およびエッジ線に関するエッジ情報を不適領域判定部２２へ通知する。

不適領域判定部２２は、エッジ抽出部２１によって抽出されたエッジ点およびエッジ線に基づき、駐車枠を構築する区画線の検出が困難となる不適領域の有無を判定する。また、不適領域判定部２２は、エッジ線に基づき、区画線の候補となる区画線候補を検出し、区画線候補に関する区画線情報を生成し、除外判定部２３へ通知する。なお、不適領域判定部２２の具体例については、図３を用いて後述する。

除外判定部２３は、不適領域判定部２２によって検出された区画線候補に基づいて車両Ｃの駐車が認められていない駐車不可領域の有無を判定する。例えば、除外判定部２３は、駐車不可領域として、ゼブラゾーン(導流帯)などの駐車不可領域の有無を判定する。

具体的には、ゼブラゾーンが、互いに略平行な区画線候補を区画線(支持区画線と記載する)と仮定した場合に、支持区画線に対して傾斜した区画線候補が所定の間隔をあけて３本以上存在する場合に、支持区画線に挟まれた領域を駐車不可領域と判定する。

また、除外判定部２３は、路面標識等の駐車枠の検出に不要な区画線候補の有無を判定することも可能である。例えば、除外判定部２３は、不適領域判定部２２によって検出された区画線候補と、各路面標識のテンプレートモデルとのマッチング処理を行うことで画像データに含まれる各路面標識を検出することができる。

除外判定部２３は、区画線情報から不要な区画線候補を除去するとともに、区画線情報に駐車不可領域に関する情報を付与して、駐車枠検出部２４へ通知する。

駐車枠検出部２４は、不適領域判定部２２によって検出された区画線候補に基づき、駐車枠を検出する。具体的には、駐車枠検出部２４は、所定間隔をあけて平行配置される区画線候補について駐車枠として検出する。

ここで、所定間隔とは、駐車場に関する法令等で規定される一般公共用の標準的な駐車領域の幅である。また、このとき、駐車枠検出部２４は、除外判定部２３によって駐車不可領域として判定された領域を避けて、駐車枠を検出することができる。

すなわち、ゼブラゾーン等を避けて駐車枠を検出することができる。駐車枠検出部２４は、駐車枠を検出すると、駐車枠に関する駐車枠情報を駐車枠管理部２５へ通知する。なお、以下では、駐車枠検出部２４によって駐車枠として検出された区画線候補について、区画線と記載する。また、駐車枠情報には、車両Ｃを基準とする各区画線の頂点座標が含まれる。

駐車枠管理部２５は、駐車枠検出部２４によって検出された駐車枠を時系列で管理する。駐車枠管理部２５は、センサ群Ｓｃから入力されるセンサ値に基づいて車両Ｃの移動量を推定し、かかる移動量に基づいて過去の駐車枠情報に基づく実際の各区画線の頂点座標を推定することができる。

また、駐車枠管理部２５は、新たに入力される駐車枠情報に基づいて、過去の駐車枠情報における区画線の座標情報を更新することも可能である。すなわち、駐車枠管理部２５は、車両Ｃと駐車枠との相対的な位置関係を車両Ｃの移動に伴って随時更新する。

また、駐車枠管理部２５は、複数の駐車枠がそれぞれ連続して配置されると仮定して、駐車枠の検出範囲を設定することも可能である。例えば、駐車枠管理部２５は、駐車枠検出部２４によって検出された１つの駐車枠を基準とし、かかる駐車枠と連続して複数の駐車枠が存在すると仮定する。

そして、駐車枠管理部２５は、仮定した駐車枠の位置を検出範囲として設定する。これにより、上記のエッジ抽出部２１は、駐車枠管理部２５によって設定された検出範囲においてのみ、エッジ線の検出処理を行えばよいので、制御部２の処理負荷を抑えることが可能となる。

停車位置決定部２６は、エッジ抽出部２１によって検出されたエッジ線に基づき、車両Ｃが駐車枠へ駐車する際の停車位置を決定する。例えば、停車位置決定部２６は、エッジ抽出部２１によって検出されたエッジ線に基づき、輪留めや縁石、壁、車幅方向に延びる白線などを検出することで、車両Ｃの停車位置を決定する。すなわち、停車位置決定部２７は、車両Ｃから見て、駐車枠ＰＳの奥側の車両Ｃの車幅方向に伸びる区画線ＰＳに基づいて停車位置を決定する。

停車位置決定部２６は、輪留めを検出した場合、車両Ｃの後輪が輪留めの手前に来るように停車位置を決定し、輪留めに代えて、白線や壁等を検出した場合、白線の手前に車両Ｃの後端(例えば、リアバンパの先端)がくるように停車位置を決定する。

次に、図３を用いて不適領域判定部２２の具体例について説明する。図３は、不適領域判定部２２のブロック図である。図３に示すように、不適領域判定部２２は、第１判定部２２１と、検出部２２２と、第２判定部２２３とを備える。

また、不適領域判定部２２が、不適領域の判定を行うに際して、記憶部３は、領域情報３１を記憶する。領域情報３１は、不適領域と判定した領域の座標に関する情報である。

第１判定部２２１は、エッジ点の分布パターンや各エッジ点の輝度勾配の分散パターンに基づいて不適領域を判定する。具体的には、第１判定部２２１は、画像データＩを格子状に区切り、各領域のエッジ点Ｐの密度(以下、エッジ密度と記載する)に基づいて不適領域Ｒｉを判定する。なお、エッジ密度は、エッジ点の分散パターンの一例である。

図４Ａは、エッジ密度に基づく不適領域Ｒｉの判定例を示す図である。第１判定部２２１による処理の具体例を示す図である。図４Ａに示すように、第１判定部２２１は、画像データＩを格子状に区切り、各領域のエッジ点Ｐの分布パターンに基づいて密度、すなわち、各領域におけるエッジ点Ｐの個数に基づいて領域毎に不適領域を判定する。

具体的には、第１判定部２２１は、エッジ点Ｐの密度が所定値を超える領域について不適領域と判定する。これは、路面が砂利や舗装が荒れている場合、路面のノイズがエッジ点Ｐとして抽出され、この路面のノイズに基づくエッジ点Ｐは、実際の区画線に基づくエッジ点Ｐに比べて数が多いためである。

ここで、エッジ点Ｐの密度の大小を判定する閾値である所定値は、実際の区画線が示すエッジ点Ｐの密度に応じて予め設定される。

つまり、第１判定部２２１は、実際の区画線が示すエッジ点Ｐの特徴パターン（すなわち、実際の区画線が示すエッジ点Ｐの密度）と、ノイズに基づくエッジ点Ｐのパターン（すなわち、ノイズによるエッジ点Ｐの密度）とが異なる点に基づいて不適領域Ｒｉを判定する。図４Ａに示す例では、領域Ｒ１におけるエッジ点Ｐの密度が所定値を超える場合を示し、領域Ｒ２におけるエッジ点Ｐの密度が所定値以下である場合を示す。

このため、第１判定部２２１は、領域Ｒ１について不適領域Ｒｉと判定し、領域Ｒ２については不適領域Ｒｉと判定しないこととなる。これにより、不適領域Ｒｉにおけるエッジ点Ｐを区画線の検出から除外することができるので、除外したエッジ点Ｐの分だけ、後段の処理負荷を抑制することが可能となる。

次に、第１判定部２２１によるエッジ点の輝度勾配の分散パターンに基づいて不適領域Ｒｉを判定する場合について説明する。

図４Ｂは、輝度勾配に基づく不適領域Ｒｉの判定例を示す図である。図４Ｂに示すように、第１判定部２２１は、領域毎にエッジ点Ｐの輝度勾配Ｐｂの分散パターンに基づいて不適領域Ｒｉを判定する。すなわち、第１判定部２２１は、実際の区画線が示すエッジ点Ｐの特徴パターン（実際の区画線が示すエッジ点Ｐの輝度勾配Ｐｂの分散パターン）と、ノイズに基づくエッジ点Ｐのパターン（ノイズによるエッジ点Ｐの輝度勾配Ｐｂの分散パターン）とが異なる点に基づいて不適領域Ｒｉを判定する。

すなわち、路面ノイズの場合、図４Ｂの領域Ｒ１に示すように、ノイズに対応する各エッジ点Ｐの輝度勾配Ｐｂは不規則となり、実際の区画線の場合、図４Ｂの領域Ｒ２に示すように、区画線に対応するエッジ点の輝度勾配Ｐｂは、一つの方向に並んで配置される。

このため、第１判定部２２１は、例えば、各領域における輝度勾配Ｐｂの標準偏差等を算出することで、各領域における輝度勾配Ｐｂのバラつき度合を求める。そして、第１判定部２２１は、バラつき度合が所定値を超える領域（例えば、図４Ｂに示す領域Ｒ１）について、不適領域Ｒｉと判定する。この場合の所定値も、実際の区画線に対応するエッジ点の輝度勾配Ｐｂのバラつき度合に応じて予め設定される。

これにより、路面のノイズに基づくエッジ点Ｐを区画線の検出から除外することができる。なお、ここでは、第１判定部２２１が、エッジ密度および輝度勾配Ｐｂの双方に基づいて不適領域Ｒｉを判定する場合について説明したが、第１判定部２２１が、エッジ密度および輝度勾配Ｐｂのうち一方に基づいて不適領域Ｒｉを判定することにしてもよい。

図３の説明に戻り、検出部２２２について説明する。検出部２２２は、エッジ情報に基づいて検出対象である区画線の候補となる区画線候補を検出する。ここで、検出部２２２は、第１判定部２２１や第２判定部２２３によって不適領域Ｒｉと判定された領域を除いて、区画線候補を検出する。

これにより、区画線候補の検出負荷を抑えるとともに、区画線候補の誤検出を抑制することができる。例えば、検出部２２２は、例えば、第１判定部２２１によって不適領域Ｒｉと判定された領域および第２判定部２２３によって不適領域Ｒと判定された領域を除いて区画線候補を検出することができる。

なお、第２判定部２２３による判定処理は、検出部２２２による区画線候補の検出処理の後に行われるため、検出部２２２は、前回のフレームまでに第２判定部２２３によって不適領域Ｒｉと判定された領域を除いて、区画線候補を検出することとなる。前回のフレームまでの不適領域Ｒｉに関する情報は、領域情報３１として記憶部３に記憶される。

続いて、検出部２２２による区画線候補の検出処理の具体例について図５を用いて説明する。図５は、区画線候補の具体例を示す図である。なお、ここでは、エッジ線Ｌｅ１およびエッジ線Ｌｅ２がそれぞれ直線である場合について説明するが、エッジ線Ｌｅ１およびエッジ線Ｌｅ２は、湾曲していてもよい。

図５に示すように、検出部２２２は、エッジ線Ｌｅ１およびエッジ線Ｌｅ２が略平行であり、かつ、エッジ線Ｌｅ１およびエッジ線Ｌｅ２の距離ｄが所定範囲に収まる場合に、エッジ線Ｌｅ１およびエッジ線Ｌｅ２から区画線候補Ｌｃを検出する。

ここで、所定範囲とは、実際の区画線のライン幅に応じた範囲であり、例えば、５ｃｍ～１０ｃｍまでの範囲である。また、検出部２２２は、図５に示すように、エッジ線Ｌｅ１およびエッジ線Ｌｅ２が重複する領域を区画線候補Ｌｃとして検出し、距離ｄが区画線候補Ｌｃの幅となる。

言い換えれば、検出部２２２は、エッジ線Ｌｅ１およびエッジ線Ｌｅ２が重複しない領域については、区画線候補Ｌｃとして検出しないことになる。これは、上述のように、区画線であれば、区画線の両端にそれぞれ対応する１対のエッジ線Ｌｅで構成されるためである。

すなわち、エッジ線Ｌｅ１およびエッジ線Ｌｅ２が重複しない領域については、ノイズであることも想定される。このため、検出部２２２は、エッジ線Ｌｅ１およびエッジ線Ｌｅ２が重複しない領域について区画線候補Ｌｃとして検出しないことで、確度の高い区画線候補Ｌｃのみを検出することができる。これにより、駐車枠の誤検出を抑制することが可能となる。

また、検出部２２２は、上記のエッジ線Ｌｅの配置条件に加え、各エッジ線Ｌｅの輝度勾配に基づく検出条件に基づいて区画線候補Ｌｃを検出する。具体的には、区画線が白線である場合、白線に向かって輝度が明るくなることが想定される。したがって、この場合、エッジ線Ｌｅ１およびエッジ線Ｌｅ２の輝度勾配は、互いに逆向き（白線の中央に向けて輝度が明るくなる向き）となる。

このため、検出部２２２は、互いに輝度勾配が逆向きとなるエッジ線Ｌｅのペアを区画線候補Ｌｃとして検出することで、区画線候補Ｌｃの検出精度を向上させることができる。なお、実際の区画線が周囲よりも輝度が暗い場合も想定される。このため、輝度勾配が互いに外側に向けて輝度が明るくなる向きのエッジ線Ｌｅのペアを区画線候補Ｌｃとして検出することにしてもよい。

図３の説明に戻り、第２判定部２２３について説明する。第２判定部２２３は、検出部２２２によって検出された区画線候補Ｌｃに基づいて不適領域Ｒｉを判定する。なお、第１判定部２２１が、路面のノイズを不適領域Ｒｉと判定するのに対して、第２判定部２２３は、画像データＩに写るグレーチングを不適領域Ｒｉと判定する。

具体的には、第２判定部２２３は、対象領域における区画線候補Ｌｃの検出パターンに基づいて当該対象領域が不適領域Ｒｉか否かを判定する。

ここで、図６を用いて対象領域について説明する。図６は、対象領域の具体例を示す図である。図６に示すように、対象領域Ｒｔは、画像データＩにおける略中央部に位置する。このため、対象領域Ｒｔは、画像データＩにおける他の領域よりも路面の解像度が高い領域である。

すなわち、対象領域Ｒｔは、他の領域よりも区画線やグレーチングを精度よく検出可能な領域である。したがって、第２判定部２２３は、対象領域Ｒｔに絞って不適領域Ｒｉを判定することで、その判定精度を向上させることが可能となる。

続いて、図７および図８を用いて第２判定部２２３の判定処理の具体例について説明する。図７は、第２判定部２２３による判定処理の具体例を示す図である。図７に示すように、第２判定部２２３は、対象領域Ｒｔにおける区画線候補Ｌｃ間の角度に基づくヒストグラムの形状パターンに基づいて対象領域Ｒｔを判定する。

具体的には、対象領域Ｒｔにおける区画線候補Ｌｃ同士が略平行する場合、角度０ｄｅｇ（１８０ｄｅｇ）となり、直交する場合、９０ｄｅｇとなる。第２判定部２２３は、各区画線候補Ｌｃに基づき、角度に基づくヒストグラムを生成する。

第２判定部２２３は、ヒストグラムにおいて、個数が閾値Ｔｈを超える２つの山がある形状パターンについて、不適領域Ｒｉと判定する。詳細には、ヒストグラムにおいて、９０ｄｅｇ離れた位置に２つの山ができる場合、不適領域Ｒｉと判定する。すなわち、グレーチングであれば、区画線候補Ｌｃ同士が互いに略直交または略平行となる角度パターンが複数に現れるという特徴を有する。

一方、実際の区画線に基づく区画線候補Ｌｃであれば、区画線候補Ｌｃ同士が互いに略直交または略平行となる角度パターンを有するものの、区画線候補の数は、グレーチングに比べて少ないため、閾値Ｔｈを超える山が現れない。この場合の閾値Ｔｈも、実際の区画線に対応する個数に応じて予め設定される。

このため、第２判定部２２３は、ヒストグラムの形状パターンに基づいてグレーチング領域を識別し、不適領域Ｒｉと判定することで、不適領域Ｒｉを精度よく判定することができる。言い換えれば、実際の区画線に基づく区画線候補Ｌｃとグレーチングとを精度よく識別することができる。

また、第２判定部２２３は、現在のフレーム処理において、不適領域Ｒｉと判定した領域については、次回以降のフレーム処理における不適領域Ｒｉの判定処理から除外することも可能である。

図８は、次フレームにおける不適領域Ｒｉの判定処理の具体例を示す図である。なお、図８に示す対象領域Ｒｔ１が前回のフレーム処理において、不適領域Ｒｉと判定され、今回のフレーム処理における対象領域Ｒｔが対象領域Ｒｔ２であるものとして説明する。

この場合、第２判定部２２３は、対象領域Ｒｔ１と対象領域Ｒｔ２とが重複する領域を除外して領域について不適領域Ｒｉか否かを判定する。すなわち、第２判定部２２３は、対象領域Ｒｔ２のハッチング部分について不適領域Ｒｉか否かを判定する。

つまり、第２判定部２２３は、不適領域Ｒｉの判定を対象領域Ｒｔ１から対象領域Ｒｔ２へ引き継ぐことで、不適領域Ｒｉを判定する領域を限定することができる。これにより、第２判定部２２３による処理負荷を抑制することが可能である。

なお、ここでは、対象領域Ｒｔ１が不適領域Ｒｉである場合に、対象領域Ｒｔ２と重複する領域について不適領域Ｒｉの判定を行わない場合について説明したが、これに限定されるものではない。すなわち、過去の対象領域Ｒｔと重複する領域については、過去の対象領域Ｒｔに対する判定結果にかかわらず、判定結果を引き継ぐことにしてもよい。

また、ここでは、第２判定部２２３が、区画線候補Ｌｃに基づいて不適領域Ｒｉを判定する場合について説明したが、これに限定されるものではない。すなわち、第２判定部２２３は、区画線候補Ｌｃに代えて、エッジ線に基づいて不適領域Ｒｉを判定することにしてもよい。

次に、図９を用いて実施形態に係る画像処理装置１が実行する処理手順について説明する。図９は、画像処理装置１が実行する処理手順を示すフローチャートである。なお、かかる処理手順は、例えば、車両Ｃの車速が所定値以下（例えば、３０Ｋｍ／ｈ）である場合に、制御部２によって繰り返し実行される。

図９に示すように、画像処理装置１は、まず、グレースケール画像からエッジ点およびエッジ線を抽出するエッジ情報抽出処理を行い（ステップＳ１０１）、エッジ情報に基づいて不適領域判定処理および区画線候補の検出処理を行う（ステップＳ１０２）。なお、ステップＳ１０２の処理手順の詳細については、図１０を用いて後述する。

その後、画像処理装置１は、ステップＳ１０２までの処理結果に基づき、駐車不可領域などの有無を判定する除外判定処理を行い（ステップＳ１０３）、駐車枠を検出する駐車枠検出処理を行う（ステップＳ１０４）。

その後、画像処理装置１は、ステップＳ１０４において検出した駐車枠を管理する駐車枠管理を行い（ステップＳ１０５）、車両Ｃの駐車枠内において停車させる停車位置を決定する停車位置決定処理を行い（ステップＳ１０６）、処理を終了する。

続いて、図１０を用いて図９に示すステップＳ１０２の処理手順について説明する。図１０は、図９に示す不適領域判定処理および区画線候補の検出処理の処理手順を示すフローチャートである。

図１０に示すように、不適領域判定部２２は、まず、エッジ密度に基づいて不適領域Ｒｉを判定する第１判定処理を行うと（ステップＳ１１１）、第１判定処理において判定した不適領域Ｒｉのエッジ情報を除外する（ステップＳ１１２）。

続いて、不適領域判定部２２は、区画線候補Ｌｃの検出処理を行う（ステップＳ１１３）。続いて、不適領域判定部２２は、ステップＳ１１３にて検出した区画線候補Ｌｃの角度に基づくヒストグラムに基づき、不適領域Ｒｉを判定する第２判定処理を行う（ステップＳ１１４）。

その後、不適領域判定部２２は、第１判定処理において判定した不適領域Ｒｉの区画線候補Ｌｃを除外して（ステップＳ１１５）、処理を終了する。なお、上述のように、次回のステップＳ１１３の処理においては、第２判定処理において不適領域Ｒｉと判定した領域を除いて、区画線候補Ｌｃの検出処理が行われる。また、ステップＳ１１４の処理においては、前回までに不適領域Ｒｉと判定した領域を除いて、不適領域Ｒｉの判定を行うこととなる。

また、ここでは、第１判定処理および第２判定処理の双方で不適領域Ｒｉを判定する処理手順を示したが、これに限定されるものではない。すなわち、第１判定処理および第２判定処理のうち、一方のみを不適領域Ｒｉの判定処理に適用することにしてもよい。

上述したように、実施形態に係る画像処理装置１は、検出部２２２と、第１判定部２２１および／または第２判定部２２３（共に、判定部の一例に対応する）とを備える。検出部２２２は、画像データＩから得られるエッジ情報に基づいて対象物を検出する。第１判定部２２１および第２判定部２２３は、画像データＩにおける所定領域のエッジ情報が示すエッジパターンと対象物の特徴を示す特徴パターンとに基づいて所定領域を対象物の検出に不適である不適領域か否かを判定する。

また、検出部２２２は、検出部２２２と、第１判定部２２１および／または第２判定部２２３によって判定された不適領域Ｒｉを除いて、対象物を検出する。したがって、実施形態に係る画像処理装置１によれば、処理負荷を抑えつつ、対象物の誤検出を抑制することができる。

ところで、上述した実施形態では、画像処理装置１の検出対象が区画線候補Ｌｃである場合について説明したが、検出対象は、区画線候補Ｌｃに限定されるものではない。すなわち、対象物を適宜変更することにしてもよい。例えば、円形状の対象物である場合、画像処理装置１は、画像データＩにおいて、多数の円形状のエッジパターンが検出される領域について不適領域Ｒｉと判定することができる。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１ 画像処理装置
２１ エッジ抽出部
２２ 不適領域判定部
２３ 区画線検出部
２４ 除外判定部
２５ 駐車枠検出部
２６ 駐車枠管理部
２７ 停車位置決定部
３１ 閾値情報
２２１ 第１判定部（判定部の一例）
２２２ 検出部
２２３ 第２判定部（判定部の一例）

Claims (8)

1. 画像データから駐車枠を検出する画像処理装置であって、
   前記画像データから得られるエッジ情報に基づいて前記駐車枠を区画する区画線の候補となる区画線候補を検出し、
   前記画像データにおける所定領域について、前記検出した区画線候補間の角度に対する度数分布のパターンに基づいて不適領域か否かを判定し、
   前記不適領域と判定された領域を除いた領域における前記区画線候補に基づき前記駐車枠を検出する
   画像処理装置。
2. 前記度数分布のパターンは、
   区画線候補間の角度に対するヒストグラムの形状パターンであり、
   前記不適領域か否かの判定は、
   前記ヒストグラムの形状が前記駐車枠の特徴を示す前記ヒストグラムの形状と異なる場合に前記不適領域と判定する
   請求項１に記載の画像処理装置。
3. 前記不適領域か否かの判定は、
   前記エッジ情報に含まれるエッジ点の分布パターンに基づいて判定する
   請求項１または２に記載の画像処理装置。
4. 前記不適領域か否かの判定は、
   前記エッジ点の分布パターンが前記駐車枠の特徴を示す前記エッジ点の分布パターンと異なる場合に前記不適領域と判定する
   請求項３に記載の画像処理装置。
5. 前記不適領域か否かの判定は、
   前記エッジ情報に含まれるエッジ点の輝度勾配の分散パターンに基づいて判定する
   請求項１～４のいずれか一つに記載の画像処理装置。
6. 前記不適領域か否かの判定は、
   前記エッジ点の輝度勾配の分散パターンが前記駐車枠の特徴を示す前記エッジ点の輝度勾配の分散パターンと異なる場合に前記不適領域と判定する
   請求項５に記載の画像処理装置。
7. 前記不適領域か否かの判定は、
   過去の前記画像データにおいて、前記不適領域と判定した領域を除いて前記不適領域を判定する
   請求項１～６のいずれか一つに記載の画像処理装置。
8. 画像データから駐車枠を検出する画像処理方法であって、
   前記画像データから得られるエッジ情報に基づいて前記駐車枠を区画する区画線の候補となる区画線候補を検出する区画線候補検出工程と、
   前記画像データにおける所定領域について、前記検出した区画線候補間の角度に対する度数分布のパターンに基づいて不適領域か否かを判定する不適領域判定工程と、
   前記不適領域と判定された領域を除いた領域における前記区画線候補に基づき前記駐車枠を検出する駐車枠検出工程と
   を制御部が実行する、画像処理方法。

Images