JP7203586B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、画像処理装置および画像処理方法に関する。

近年、自動運転技術の発展に伴い、車両の周囲を撮像した撮像画像から車両を駐車させる駐車枠を検出する画像処理装置が普及しつつある。この種の画像処理装置では、撮像画像から駐車枠を区画する区画線を検出し、検出した区画線に基づいて駐車枠を検出する(例えば、特許文献１参照)。

また、画像処理装置は、駐車枠における停車位置を決定するために、例えば、縁石や、輪留め等といった立体指標を検知し、かかる立体指標に基づいて停車位置を決定する。

特開２０１７－８７７５８号公報

しかしながら、従来技術では、適切な停車位置を決定する点で改善の余地があった。具体的には、例えば、縁石や輪留めの下端に落ち葉等が堆積していた場合、かかる立体指標の下端を検出できず、立体指標までの測距誤差が生じるおそれがあった。

本発明は、上記に鑑みてなされたものであって、適切な停車位置を決定することができる画像処理装置および画像処理方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、実施形態に係る画像処理装置は、抽出部と、検出部と、決定部とを備える。前記抽出部は、駐車枠を含む撮像画像の中から水平方向へエッジ点が連続した水平エッジ線を抽出する。前記検出部は、前記抽出部によって抽出された複数の前記水平エッジ線のうち、複数の前記水平エッジ線が水平方向に沿って破線状に並んだ直列エッジ線のエッジ長が所定の閾値以上である場合に、該直列エッジ線を前記駐車枠における奥側の境界線として検出する。前記決定部は、前記検出部によって検出された前記境界線に基づいて前記駐車枠における停車位置を決定する。

本発明によれば、適切な停車位置を決定することができる。

図１Ａは、実施形態に係る画像処理方法の概要を示す図である。 図１Ｂは、実施形態に係る画像処理方法の概要を示す図である。 図１Ｃは、実施形態に係る画像処理方法の概要を示す図である。 図１Ｄは、実施形態に係る画像処理方法の概要を示す図である。 図２は、画像処理装置の構成例を示す機能ブロック図である。 図３は、停車位置決定部の構成を示す機能ブロック図である。 図４は、縁石の検出方法を示す図である。 図５は、縁石の検出方法を示す図である。 図６は、縁石の検出方法を示す図である。 図７は、縁石の検出方法を示す図である。 図８は、縁石の検出方法を示す図である。 図９は、時間的連続性を用いた輪留めの検出処理を示す図である。 図１０は、画像処理装置が実行する全体処理の手順を示すフローチャートである。 図１１は、画像処理装置が実行する停車位置決定処理における全体処理の手順を示すフローチャートである。 図１２は、画像処理装置が実行する対象識別処理の手順を示すフローチャートである。 図１３は、画像処理装置が実行する下端位置決定処理の手順を示すフローチャートである。

以下、添付図面を参照して、実施形態に係る画像処理装置および画像処理方法について詳細に説明する。なお、本実施形態によりこの発明が限定されるものではない。

まず、図１Ａ～図１Ｄを用いて実施形態に係る画像処理方法の概要について説明する。図１Ａ～図１Ｄは、実施形態に係る画像処理方法の概要を示す図である。図１Ａ～図１Ｄでは、実施形態に係る画像処理装置１が実施形態に係る画像処理方法を実行することで、駐車枠における停車位置を決定する場合を例に挙げて説明する。

図１Ａに示すように、実施形態に係る画像処理装置１は、車両Ｃに搭載され、実施形態に係る画像処理方法を実行する。具体的には、まず、実施形態に係る画像処理装置１は、車載カメラ１０によって撮像された撮像画像に基づいて駐車枠ＰＳを検出する。駐車枠ＰＳとは、車両Ｃが停車する駐車スペースであり、車両Ｃを１台毎に区画する区画線Ｌｓによって構成される領域である。

なお、図１では、駐車枠ＰＳは、車両Ｃが停車した場合における車幅方向を区画し、車両Ｃの側面に沿う方向に延在する区画線Ｌｓ（停車時における車幅側の区画線）と、車両Ｃの長さ方向の手前側を区画し、車幅方向に延在する区画線Ｌｓ（停車時における長さ側の区画線）と、車両Ｃの長さ方向の奥側を区画し、車幅方向に延在する縁石ＣＢとにより４方が囲まれた駐車枠ＰＳを示す。なお、駐車枠ＰＳは、長さ方向の手前側の区画線Ｌｓが無く、車幅側の区画線および縁石ＣＢで構成されるコ字型の駐車枠ＰＳであってもよい。また、縁石ＣＢは、停車位置の指標となる立体指標の一例であって、縁石ＣＢ以外に、壁、輪留めＬＰ（図１Ｄ参照）等であってもよい。また、停車位置の指標は、白線等の区画線Ｌｓであってもよい。以下では、白線および立体指標をまとめて立体指標と記載する。

車載カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ(Complementary Metal Oxide Semiconductor)などの撮像素子を備え、車両Ｃの周囲を撮像する。また、車載カメラ１０のレンズには、例えば、魚眼レンズなどの広角レンズが採用され、図１Ａに示すような撮像領域Ｒを有する。

なお、図１Ａに示す例では、車載カメラ１０が、車両Ｃの左側方を撮像する左サイドカメラである場合について示したが、車載カメラ１０には、車両Ｃの前方を撮像する前方カメラ、車両Ｃの後方を撮像するバックカメラ、車両Ｃの右側方を撮像する右サイドカメラが含まれる。

実施形態に係る画像処理装置１は、車載カメラ１０の撮像画像から駐車枠ＰＳにおける奥側の境界線ＢＤ、すなわち、縁石ＣＢ等の下端を検出し、立体指標の位置に基づいて停車位置を決定する。縁石ＣＢの検出は、例えば、撮像画像から得られるエッジ点のうち、水平方向（車幅方向）へエッジ点が連続した水平エッジ線に基づいて行う。また、奥側の境界線ＢＤは、縁石ＣＢの下端以外に、例えば、白線の境界や、壁の境界等であってもよい。

例えば、図１Ｂに示すように、画像処理装置１は、立体指標が縁石ＣＢの場合、バック駐車する車両Ｃにおいて、縁石ＣＢの下端に対応する境界線ＢＤに車両Ｃの後端が配置されるように停車位置を決定する。

ところで、従来技術では、適切な停車位置を決定する点で改善の余地があった。具体的には、従来は、縁石の下端に落ち葉等の遮蔽物が堆積していた場合、縁石の下端となる水平エッジ線が分断されて破線状となることで、縁石の下端を検出できず、縁石までの測距誤差が生じるおそれがあった。例えば、縁石の下端が検出できなかった場合、縁石の上端となる水平エッジ線を下端とみなして測距してしまい、本来の縁石の位置よりも奥側の位置を停車位置として決定してしまうおそれがあった。

そこで、実施形態に係る画像処理方法では、落ち葉等の遮蔽物により水平エッジ線が分断されて破線状となった場合に、破線状の水平エッジ線を境界線ＢＤとして検出することとした。ここで、図１Ｃを用いて、実施形態に係る画像処理方法の具体例について説明する。

図１Ｃの上段に示すように、まず、画像処理装置１は、駐車枠ＰＳおよび縁石ＣＢを含む撮像画像Ｉを取得する。なお、撮像画像Ｉにおける縁石ＣＢの下端には、落ち葉等の遮蔽物２００が堆積していることとする。

つづいて、画像処理装置１は、撮像画像Ｉに対してエッジ抽出処理を行い、撮像画像Ｉの中から水平方向へエッジ点が連続した水平エッジ線ＨＬ１～ＨＬ８を抽出する。ここで、図１Ｃの中段に示すように、抽出された複数の水平エッジ線ＨＬ１～ＨＬ８のうち、複数の水平エッジ線ＨＬ２～ＨＬ８は、本来単一の水平エッジ線として抽出されるはずが、遮蔽物２００によって分断された破線状となっている。

そこで、画像処理装置１は、複数の水平エッジ線ＨＬ２～ＨＬ８が水平方向に沿って破線状に並んだ水平エッジ線ＨＬ２～ＨＬ８（以下、直列エッジ線ＥＬと記載する）のエッジ長Ｌが所定の閾値以上である場合に、直列エッジ線ＥＬを駐車枠ＰＳにおける奥側の境界線ＢＤとして検出し、かかる境界線ＢＤに基づいて停車位置を決定する。

つまり、実施形態に係る画像処理方法では、縁石ＣＢの下端である境界線ＢＤが遮蔽物２００により分断されることで、短い水平エッジ線ＨＬ２～ＨＬ８が破線状に生じる特性に着目して境界線ＢＤを検出する。換言すれば、実施形態に係る画像処理方法では、エッジ長Ｌが閾値以上となる破線状の直列エッジ線ＥＬを単一の水平エッジ線とみなし、境界線ＢＤとして検出する。

これにより、縁石ＣＢの下端である境界線ＢＤを高精度に検出できるため、停車位置を誤って縁石ＣＢに乗り上げることを回避できる。従って、実施形態に係る画像処理方法によれば、適切な停車位置を決定することができる。

なお、実施形態に係る画像処理装置１は、縁石ＣＢの上端に対応する単一の水平エッジ線ＨＬ１を検出することで、縁石ＣＢの下端となる直列エッジ線ＥＬの存在する領域を予測して絞り込むことができるが、かかる点については、図４を用いて後述する。

また、実施形態に係る画像処理装置１は、例えば、比較的高さのある壁等のように、立体指標（壁）の上端が撮像画像Ｉに映らない場合であっても、直列エッジ線ＥＬのみを壁の下端として検出することで、壁と駐車枠ＰＳとの境界線ＢＤを容易に検出することができる。

また、実施形態に係る画像処理装置１は、例えば、輪留めＬＰ等のように、水平方向の長さが縁石ＣＢ等に比べて短い立体指標については、水平エッジ線に加えて、水平方向と交差する交差エッジ線ＶＬを用いて輪留めＬＰを検出できる。かかる点について、図１Ｄを用いて説明する。

図１Ｄの上段では、駐車枠ＰＳおよび輪留めＬＰを含む撮像画像Ｉを示している。また、輪留めＬＰの下端には遮蔽物２００が堆積していることとする。

まず、画像処理装置１は、撮像画像Ｉに対してエッジ抽出処理を行い、撮像画像Ｉの中から水平方向へエッジ点が連続した水平エッジ線ＨＬ１～ＨＬ３と、水平方向と交差する交差方向へエッジ点が連続した交差エッジ線ＶＬ１，ＶＬ２とを抽出する。なお、水平エッジ線ＨＬ１は、遮蔽物２００により分断された破線状の水平エッジ線ＨＬ１ａ～ＨＬ１ｄで構成され、輪留めＬＰの下端として検出されていないこととする。

かかる場合、従来は、破線状の水平エッジ線以外の他の単一の水平エッジ線（図１Ｄに示す水平エッジ線ＨＬ２，ＨＬ３）に基づいて輪留めＬＰを検出していた。しかしながら、他の単一の水平エッジ線が短かったり、長すぎたりして水平エッジ線が十分に得られない場合や、路面ノイズ等の輪留めとは無関係な水平エッジ線を輪留めの水平エッジ線として検出した場合等には、輪留めを検出できない、あるいは、輪留めの位置を誤る等といった状況が生じるおそれがあった。

そこで、実施形態に係る画像処理装置１は、交差エッジ線ＶＬ１，ＶＬ２を加味して輪留めＬＰの検出を行うこととした。

具体的には、実施形態に係る画像処理装置１は、水平エッジ線ＨＬ２，ＨＬ３および交差エッジ線ＶＬ１，ＶＬ２が所定の検出条件を満たす場合に、水平エッジ線ＨＬ２，ＨＬ３および交差エッジ線ＶＬ１，ＶＬ２を輪留めＬＰとして検出する。そして、画像処理装置１は、検出した輪留めＬＰに基づいて停車位置を決定する。

なお、上記した所定の検出条件には、水平エッジ線ＨＬ２，ＨＬ３および交差エッジ線ＶＬ１，ＶＬ２の配置や、交差角度等の条件が含まれるが、検出条件の詳細については後述する。

つまり、実施形態に係る画像処理方法では、遮蔽物２００の影響を受けにくい交差エッジ線ＶＬ１，ＶＬ２を検出条件に加えることで、水平エッジ線ＨＬ１～ＨＬ３が十分に得られない場合であっても輪留めＬＰを検出することができる。また、水平エッジ線ＨＬ２，ＨＬ３および交差エッジ線ＶＬ１，ＶＬ２により輪留めＬＰの形状を把握しやすくなるため、輪留めＬＰの上端を下端とみなして誤測距することを低減できる。従って、実施形態に係る画像処理方法によれば、適切な停車位置を決定することができる。

なお、以下では、水平エッジ線ＨＬ１～ＨＬ３および交差エッジ線ＶＬ１，ＶＬ２について、特に区別しない場合、水平エッジ線ＨＬおよび交差エッジ線ＶＬと記載する。

次に、図２を用いて実施形態に係る画像処理装置１の構成例について説明する。図２は、画像処理装置１の構成例を示す機能ブロック図である。なお、図２には、画像処理装置１を含む駐車支援システム１００を示す。図２に示すように、駐車支援システム１００は、画像処理装置１と、車載カメラ１０と、センサ群Ｓｃと、上位ＥＣＵ(Electronic Control Unit)５０とを備える。また、図２に示すように、画像処理装置１と、センサ群Ｓｃと、上位ＥＣＵ５０とは、それぞれＣＡＮ（Control Area Network）通信の通信規格の通信バスＢによって相互に通信することができる。

センサ群Ｓｃは、車両Ｃの走行状態を検出する各種センサであり、検出したセンサ値を画像処理装置１へ通知する。センサ群Ｓｃは、車両Ｃの車輪の回転数を検出する車速センサや、車両Ｃの舵角を検出する舵角センサ等を含む。

上位ＥＣＵ５０は、例えば、車両Ｃの自動駐車を支援するＥＣＵであり、例えば、画像処理装置１によって検出された駐車枠ＰＳに基づいて車両Ｃを駐車枠ＰＳへ駐車させる。例えば、上位ＥＣＵ５０は、車両Ｃの操舵角を制御するＥＰＳ（Electric Power Steering）-ＥＣＵであり、画像処理装置１によって検出された駐車枠ＰＳへの操舵角を制御することができる。なお、上位ＥＣＵ５０は、アクセル制御やブレーキ制御を行うＥＣＵを含むようにすることにしてもよい。

図２に示すように、画像処理装置１は、制御部２と、記憶部３とを備える。制御部２は、線分抽出部２１と、不適領域判定部２２と、区画線検出部２３と、除外判定部２４と、駐車枠検出部２５と、駐車枠管理部２６と、停車位置決定部２７とを備える。

制御部２は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、入出力ポートなどを有するコンピュータや各種の回路を含む。

コンピュータのＣＰＵは、例えば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部２の線分抽出部２１、不適領域判定部２２、区画線検出部２３、除外判定部２４、駐車枠検出部２５、駐車枠管理部２６および停車位置決定部２７として機能する。

また、制御部２の線分抽出部２１、不適領域判定部２２、区画線検出部２３、除外判定部２４、駐車枠検出部２５、駐車枠管理部２６および停車位置決定部２７の少なくともいずれか一部または全部をＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成することもできる。

また、記憶部３は、例えば、ＲＡＭやＨＤＤに対応する。ＲＡＭやＨＤＤは、各種情報や各種プログラムの情報を記憶することができる。なお、画像処理装置１は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。

制御部２は、例えば、車両Ｃが駐車場を走行していると想定される場合（例えば、車速３０Ｋｍ／ｈ以内）に、後述する駐車枠ＰＳの検出処理や、停車位置の決定処理を行うことにしてもよいし、あるいは、車両Ｃが走行している全ての期間でかかる検出処理や決定処理を行うことにしてもよい。

線分抽出部２１は、車載カメラ１０から入力される撮像画像から各画素の輝度に基づくエッジ点を抽出する。具体的には、線分抽出部２１は、車載カメラ１０から入力される画像データをグレースケール化することでグレースケール画像へ変換する。グレースケール画像とは、画像データにおける各画素を輝度に応じて白から黒までの各階調（例えば２５６階調）で表現するように変換する処理である。

続いて、線分抽出部２１は、グレースケール画像に対して例えば、ソベルフィルタを適用することで、各画素のエッジ強度および輝度勾配を求めることができる。続いて、線分抽出部２１は、エッジ強度が所定値を超える画素を抽出することで、上記のエッジ点を抽出する。線分抽出部２１は、抽出したエッジ点に関するエッジ情報を不適領域判定部２２へ通知する。

不適領域判定部２２は、線分抽出部２１によって抽出されたエッジ点に基づき、駐車枠ＰＳを構築する区画線の検出が困難となる不適領域の有無を判定する。例えば、不適領域判定部２２は、舗装された路面に比べて、エッジ点が多く抽出される舗装されていない路面領域(例えば、砂利)や、グレーチング領域を不適領域として判定することができる。

具体的には、不適領域判定部２２は、各エッジ点の密度が所定値以上であり、各エッジ点の輝度勾配が不均一である領域について、不適領域として判定することができる。不適領域判定部２２は、判定した不適領域に基づいて上記のエッジ情報から不適領域に関するエッジ情報を除去して後段の処理へ回す。

区画線検出部２３は、線分抽出部２１によって抽出されたエッジ点に基づいて駐車枠ＰＳを区画する区画線の候補となる区画線候補を検出する。具体的には、区画線検出部２３は、連続する複数のエッジ点を繋いだ２つのエッジ線が互いに略平行であり、間隔が区画線の幅に対応した間隔である場合、かかる２つのエッジ線を区画線候補として検出する。

すなわち、区画線検出部２３は、各区画線の幅方向の左右両端に対応する２つのエッジ線を区画線候補として検出する。区画線検出部２３は、検出した区画線候補に関する区画線情報を生成し、除外判定部２４へ通知する。

なお、区画線検出部２３は、不適領域判定部２２によって検出された不適領域を除いて、区画線候補の検出処理を行うことができる。言い換えれば、区画線検出部２３は、不適領域について区画線候補の検出処理を行わない。これにより、制御部２の処理負荷の抑えることが可能となる。

除外判定部２４は、区画線検出部２３によって検出された区画線候補に基づいて車両Ｃの駐車が認められていない駐車不可領域の有無を判定する。例えば、除外判定部２４は、駐車不可領域として、ゼブラゾーン(導流帯)などの駐車不可領域の有無を判定する。

具体的には、ゼブラゾーンが、互いに略平行な区画線候補を区画線(支持区画線と記載する)と仮定した場合に、支持区画線に対して傾斜した区画線候補が所定の間隔をあけて３本以上存在する場合に、支持区画線に挟まれた領域を駐車不可領域と判定する。

また、除外判定部２４は、路面標識等の駐車枠ＰＳの検出に不要な区画線候補の有無を判定することも可能である。例えば、除外判定部２４は、区画線検出部２３によって検出された区画線候補と、各路面標識のテンプレートモデルとのマッチング処理を行うことで画像データに含まれる各路面標識を検出することができる。

除外判定部２４は、区画線情報から不要な区画線候補を除去するとともに、区画線情報に駐車不可領域に関する情報を付与して、駐車枠検出部２５へ通知する。

駐車枠検出部２５は、区画線検出部２３によって検出された区画線候補に基づき、駐車枠ＰＳを検出する。具体的には、駐車枠検出部２５は、水平方向に向かって所定間隔をあけて平行配置される２つの区画線候補を車幅側の駐車枠ＰＳとして検出する。

ここで、所定間隔とは、駐車場に関する法令等で規定される一般公共用の標準的な駐車領域の幅である。また、このとき、駐車枠検出部２５は、除外判定部２４によって駐車不可領域として判定された領域を避けて、駐車枠ＰＳを検出することができる。

すなわち、ゼブラゾーン等を避けて駐車枠ＰＳを検出することができる。駐車枠検出部２５は、駐車枠ＰＳを検出すると、駐車枠ＰＳに関する駐車枠情報を駐車枠管理部２６へ通知する。なお、以下では、駐車枠検出部２５によって駐車枠ＰＳとして検出された区画線候補について、区画線と記載する。また、駐車枠情報には、車両Ｃを基準とする各区画線の頂点座標が含まれる。

駐車枠管理部２６は、駐車枠検出部２５によって検出された駐車枠ＰＳを時系列で管理する。駐車枠管理部２６は、センサ群Ｓｃから入力されるセンサ値に基づいて車両Ｃの移動量を推定し、かかる移動量に基づいて過去の駐車枠情報に基づく実際の各区画線の頂点座標を推定することができる。

また、駐車枠管理部２６は、新たに入力される駐車枠情報に基づいて、過去の駐車枠情報における区画線の座標情報を更新することも可能である。すなわち、駐車枠管理部２６は、車両Ｃとの駐車枠ＰＳとの相対的な位置関係を車両Ｃの移動に伴って随時更新する。

また、駐車枠管理部２６は、複数の駐車枠ＰＳがそれぞれ連続して配置されると仮定して、駐車枠ＰＳの検出範囲を設定することも可能である。例えば、駐車枠管理部２６は、駐車枠検出部２５によって検出された１つの駐車枠ＰＳを基準とし、かかる駐車枠ＰＳと連続して複数の駐車枠ＰＳが存在すると仮定する。

そして、駐車枠管理部２６は、仮定した駐車枠ＰＳの位置を検出範囲として設定する。これにより、上記の線分抽出部２１は、駐車枠管理部２６によって設定された検出範囲においてのみ、エッジ線の検出処理を行えばよいので、制御部２の処理負荷を抑えることが可能となる。

停車位置決定部２７は、線分抽出部２１によって抽出されたエッジ点に基づき、車両Ｃが駐車枠ＰＳへ駐車する際の停車位置を決定する。例えば、停車位置決定部２７は、線分抽出部２１によって検出されたエッジ点に基づき、輪留めＬＰや縁石ＣＢ等の立体指標を検出することで、車両Ｃの停車位置を決定する。

ここで、図３～図９を用いて、停車位置決定部２７の処理について詳細に説明する。図３は、停車位置決定部２７の構成を示す機能ブロック図である。

図３に示すように、停車位置決定部２７は、抽出部２７１と、検出部２７２と、決定部２７３とを備える。

抽出部２７１は、駐車枠ＰＳを含む撮像画像Ｉの中からエッジ点が連続したエッジ線を抽出する。具体的には、抽出部２７１は、水平方向へのエッジ点が連続した水平エッジ線ＨＬおよび水平方向と交差する交差方向へエッジ点が連続した交差エッジ線ＶＬを抽出する。より具体的には、抽出部２７１は、エッジ点となる画素が隣接する場合に、かかる隣接する画素を繋ぐことでエッジ線として抽出する。なお、かかる場合、エッジ線の長さ（エッジ長）は、画素数で表現することができる。

なお、抽出部２７１は、隣接するエッジ点（画素）を繋いでエッジ線を抽出する場合に限らず、例えば、両側がエッジ点で挟まれた非エッジ点の画素を繋いでエッジ線としてもよい。

具体的には、抽出部２７１は、所定数未満の非エッジ点がエッジ点に挟まれて配置されている場合、かかる非エッジ点およびエッジ点を繋いでエッジ線として抽出する。これにより、例えば、本来エッジ点として抽出されるべき画素がノイズ等により非エッジ点となった場合であっても、エッジ線として抽出できる、すなわち、ノイズの影響を無効化できる。

また、抽出される水平エッジ線ＨＬの形状は、エッジ点が射影後の状態であるか、射影前の状態であるかで異なる。例えば、抽出部２７１は、エッジ点が路面座標に射影された後の状態であった場合、水平方向（車幅方向）へ向かって直線状の水平エッジ線ＨＬを抽出する。また、抽出部２７１は、エッジ点が射影前、つまり、エッジ点が撮像画像Ｉから抽出された状態そのままの場合、車載カメラ１０のレンズ特性に応じた形状の水平エッジ線ＨＬを抽出する。具体的には、抽出部２７１は、車載カメラ１０のレンズに魚眼レンズが採用された場合、撮像画像Ｉにおける垂直方向に向かって凸状または凹状に湾曲した水平エッジ線ＨＬを抽出する。

また、抽出される交差エッジ線ＶＬの形状も同様に、例えば、抽出部２７１は、エッジ点が路面座標に射影された後の状態であった場合、垂直方向（車両の長さ方向）へ向かって直線状の交差エッジ線ＶＬを抽出する。また、抽出部２７１は、エッジ点が射影前、つまり、エッジ点が撮像画像Ｉから抽出された状態そのままの場合、車載カメラ１０のレンズ特性に応じた形状の交差エッジ線ＶＬを抽出する。具体的には、抽出部２７１は、車載カメラ１０のレンズに魚眼レンズが採用された場合、撮像画像Ｉにおける車幅方向に向かって凸状または凹状に湾曲した交差エッジ線ＶＬを抽出する。

なお、抽出部２７１は、撮像画像Ｉを時系列で連続して取得して、時系列の各撮像画像Ｉから水平エッジ線ＨＬおよび交差エッジ線ＶＬを抽出し、順次検出部２７２へ出力する。

検出部２７２は、抽出部２７１によって抽出された水平エッジ線ＨＬおよび交差エッジ線ＶＬに基づき、駐車枠ＰＳにおける停車位置の指標となる立体指標を検出する。例えば、検出部２７２は、水平エッジ線ＨＬおよび交差エッジ線ＶＬの長さや、本数、配置が所定の立体指標パターンと一致する場合に、立体指標を検出する。

具体的には、検出部２７２は、まず、駐車枠検出部２５によって検出された車幅側の駐車枠ＰＳにおける奥側の領域を立体指標の探索領域として設定する。より具体的には、検出部２７２は、車幅側の駐車枠ＰＳにおける奥側の端部周辺の領域を探索領域として設定する。これは、輪留めＬＰや縁石ＣＢ等の立体指標が駐車枠ＰＳの奥側に配置されるためである。これにより、制御部２の処理負荷を抑えることができる。

なお、検出部２７２は、撮像画像Ｉ全体を探索領域として設定してもよい。これにより、立体指標の未検出を防ぐことができる。

そして、検出部２７２は、探索領域を設定後、水平エッジ線ＨＬに基づいて縁石ＣＢを検出、または、水平エッジ線ＨＬおよび交差エッジ線ＶＬに基づいて輪留めＬＰを検出する。以下、図４～図８を用いて、縁石ＣＢの検出方法について説明し、図９を用いて、輪留めＬＰの検出方法について説明する。

図４～図８は、縁石ＣＢの検出方法を示す図である。検出部２７２は、抽出部２７１が抽出した複数の水平エッジ線ＨＬのうち、エッジ長が所定の閾値以上となる単一の水平エッジ線ＨＬを検出し、単一の水平エッジ線ＨＬに基づいて境界線ＢＤを検出する、すなわち、縁石ＣＢの上端に対応する単一の水平エッジ線ＨＬに基づいて縁石ＣＢの下端を検出する。

具体的には、図４に示すように、まず、検出部２７２は、エッジ長が所定の閾値以上となる単一の水平エッジ線ＨＬを検出する。かかる閾値は、例えば、駐車枠ＰＳにおける車幅方向の長さに対応した値となる。

そして、検出部２７２は、検出した単一の水平エッジ線ＨＬを縁石ＣＢの上端と仮定して、縁石ＣＢの下端が存在すると想定される領域を境界領域ＢＲとして設定する。具体的には、検出部２７２は、縁石ＣＢの上端と仮定した水平エッジ線ＨＬの垂直方向下側に境界領域ＢＲを設定する。

なお、仮に、エッジ長が所定の閾値以上となる２つの単一の水平エッジ線ＨＬが平行で垂直方向に並んで配置されることを検出した場合、境界領域ＢＲの設定処理を行わず、かかる２つの単一の水平エッジ線ＨＬを縁石ＣＢとして検出する。具体的には、２つの単一の水平エッジ線ＨＬのうち、垂直方向上側の水平エッジ線ＨＬを縁石ＣＢの上端とし、垂直方向下側の水平エッジ線ＨＬを縁石ＣＢの下端、すなわち、境界線ＢＤとして検出する。

ここで、境界領域ＢＲの設定処理について図５を用いて説明する。図５では、便宜上、水平エッジ線ＨＬおよび境界領域ＢＲのみを抜粋して示している。

図５に示すように、境界領域ＢＲは、水平エッジ線ＨＬに対して垂直方向下側に所定の距離Ｈだけ離すとともに、水平エッジ線ＨＬに合わせた湾曲形状で設定される。なお、距離Ｈは、例えば、実際に測定された縁石ＣＢの高さに基づいた値が設定される。すなわち、距離Ｈは、縁石ＣＢの想定される高さを考慮して、縁石ＣＢの下端が存在するであろう位置に境界領域ＢＲが設定されるような距離であることが好ましい。

つづいて、図５に示すように、検出部２７２は、境界領域ＢＲの高さＷを設定する。高さＷは、任意設定された値であってもよく、あるいは、実際に設置されている縁石ＣＢの高さを複数箇所で測定して得られる分布範囲であってもよい。

なお、図４および図５では、水平エッジ線ＨＬの垂直方向下側に境界領域ＢＲを設定したが、垂直方向上側に境界領域ＢＲを設定してもよい。これにより、縁石ＣＢの上端が遮蔽物２００等により検出できず、縁石ＣＢの下端のみが検出された場合であっても、縁石ＣＢの上端を検出することができるため、縁石ＣＢの検出精度を高めることができる。

検出部２７２は、境界領域ＢＲを設定後、境界領域ＢＲの中に、複数の水平エッジ線ＨＬが水平方向に沿って破線状に並んだ直列エッジ線ＥＬが含まれるか否かを検出する。ここで、図６を用いて、直列エッジ線ＥＬの検出方法について説明する。

図６では、複数の水平エッジ線ＨＬ１１～ＨＬ１７が境界領域ＢＲに含まれていた場合について説明する。なお、図６では、便宜上、複数の水平エッジ線ＨＬ１１～ＨＬ１７を直線状に並べて示している。

まず、検出部２７２は、複数の水平エッジ線ＨＬ１１～ＨＬ１７が直列エッジ線ＥＬである直列条件を満たす否かを判定する。例えば、検出部２７２は、複数の水平エッジ線ＨＬ１１～ＨＬ１７の間の間隔Ｐ１～Ｐ６それぞれが所定の長さ未満である場合、複数の水平エッジ線ＨＬ１１～ＨＬ１７をグルーピングして直列エッジ線ＥＬとする。

そして、検出部２７２は、直列エッジ線ＥＬのエッジ長Ｌが所定の閾値以上である場合に、直列エッジ線ＥＬを縁石ＣＢの下端、すなわち、駐車枠ＰＳにおける奥側の境界線ＢＤとして検出する。

エッジ長Ｌとは、直列エッジ線ＥＬの一端ＥＬａから他端ＥＬｂまでの距離であり、具体的には、複数の水平エッジ線ＨＬ１１～ＨＬ１７のエッジの長さと、複数の水平エッジ線ＨＬ１１～ＨＬ１７の間の間隔Ｐ１～Ｐ６とを合計した値である。なお、エッジ長Ｌとは、複数の水平エッジ線ＨＬ１１～ＨＬ１７のエッジの長さを合計した値としてもよい。直列エッジ線ＥＬの両端ＥＬａ，ＥＬｂは、例えば、車幅側の駐車枠ＰＳとの交点である。

つづいて、検出部２７２は、検出した直列エッジ線ＥＬに基づいて縁石ＣＢの最終的な下端位置を設定する。なお、検出部２７２によって設定された下端位置を用いて、後述する決定部２７３が最終的な停車位置を決定する。

ここで、図７および図８を用いて、検出部２７２による下端位置の設定処理について説明する。図７では、境界領域ＢＲに直列エッジ線ＥＬが無い場合における下端位置の設定処理を示し、図８では、境界領域ＢＲに直列エッジ線ＥＬが有る場合における下端位置の設定処理を示す。

図７に示すように、境界領域ＢＲに直列エッジ線ＥＬが存在しない場合、水平エッジ線ＨＬが縁石ＣＢの下端である可能性と、水平エッジ線ＨＬが比較的高さのある壁の下端である（つまり、撮像画像Ｉに壁の上端が映っていない）可能性と、縁石ＣＢの下端全体が遮蔽物２００に覆われて直列エッジ線ＥＬが未検出である可能性とが考えられる。

かかる場合、検出部２７２は、縁石ＣＢの下端全体が遮蔽物２００に覆われて直列エッジ線ＥＬが未検出である可能性を考慮して、境界領域ＢＲに疑似的に下端位置ＬＥを設定する。具体的には、検出部２７２は、境界領域ＢＲの下端をデフォルトの下端位置ＬＥとして設定する。これにより、縁石ＣＢの下端全体が遮蔽物２００に覆われて直列エッジ線ＥＬが未検出であったとしても、デフォルトの下端位置ＬＥで測距することで、縁石ＣＢに乗り上げたり、壁に接触したりすることなく、後述の決定部２７３が適切な停車位置を決定することができる。

なお、デフォルトの下端位置ＬＥは、境界領域ＢＲの下端に限らず、境界領域ＢＲの任意の位置に設定されてもよく、あるいは、境界領域ＢＲの範囲外に設定されてもよい。

次に、図８に示すように、境界領域ＢＲに直列エッジ線ＥＬが存在する場合、直列エッジ線ＥＬが縁石ＣＢの下端である可能性が比較的高いと考えられる。このため、検出部２７２は、直列エッジ線ＥＬの位置に基づいて下端位置を設定する。

例えば、図８に示すように、検出部２７２は、直列エッジ線ＥＬの位置に基づく補正値によって、上記したデフォルトの下端位置（図７に示す下端位置ＬＥ）を補正して最終的な下端位置（直列エッジ線ＥＬの位置）を設定する。より具体的には、検出部２７２は、最終的な下端位置が直列エッジ線ＥＬの位置となるような補正値によって、デフォルトの下端位置を補正する。

なお、図８では、最終的な下端位置が直列エッジ線ＥＬの位置となるような補正値としたが、補正値は、直列エッジ線ＥＬとデフォルトの下端位置との間に最終的な下端位置が設定される値であれば任意の値を採用可能である。

このように、単一の水平エッジ線ＨＬの下側に境界領域ＢＲを抽出し、境界領域ＢＲに含まれる直列エッジ線ＥＬを縁石ＣＢの下端、すなわち、駐車枠ＰＳとの境界線ＢＤとして検出することで、境界領域ＢＲ以外の領域については処理対象から除外できる。従って、制御部２の処理負荷を軽減でき、かつ、境界領域ＢＲに絞ることで、直列エッジ線ＥＬの検出精度を向上させることができる。

また、検出部２７２は、水平エッジ線ＨＬおよび交差エッジ線ＶＬが所定の検出条件を満たす場合に、駐車枠ＰＳ内に配置された輪留めＬＰを検出することができる。検出条件として、例えば、水平エッジ線ＨＬおよび交差エッジ線ＶＬの本数や、配置、交差角度等の条件が含まれる。

例えば、検出部２７２は、２本の水平エッジ線ＨＬおよび２本の交差エッジ線ＶＬが略矩形状を構成する配置である場合、輪留めＬＰを検出する。具体的には、並列した２本の水平エッジ線ＨＬの両端に対して２本の交差エッジ線ＶＬが直交する場合に、輪留めＬＰを検出する。なお、検出部２７２は、２本の交差エッジ線ＶＬのうち、少なくとも１本の交差エッジが検出されれば、輪留めＬＰとして検出してもよい。つまり、検出部２７２は、複数（例えば、２本）の水平エッジ線ＨＬの端部に対して単一の交差エッジ線ＶＬが直交する場合、複数の水平エッジ線ＨＬおよび単一の交差エッジ線ＶＬを輪留めＬＰとして検出する。

このように、ブロック型等の輪留めＬＰの形状に着目した水平エッジ線ＨＬおよび交差エッジ線ＶＬの配置を検出することで、輪留めＬＰの検出精度を向上させることができる。

さらに、検出部２７２は、輪留めＬＰを検出する際に、時間的連続性を加味して輪留めＬＰの検出処理を行ってもよい。具体的には、検出部２７２は、上記した検出条件を満たす水平エッジ線ＨＬおよび交差エッジ線ＶＬが時系列で連続して検出された場合に、水平エッジ線ＨＬおよび交差エッジ線ＶＬを輪留めＬＰとして検出する。なお、検出部２７２は、検出条件を満たす水平エッジ線ＨＬおよび交差エッジ線ＶＬが時系列で連続して検出されない場合、一連の水平エッジ線ＨＬおよび交差エッジ線ＶＬを路面ノイズとして検出する。

ここで、図９を用いて、検出部２７２による時間的連続性を用いた検出処理について説明する。図９は、時間的連続性を用いた輪留めＬＰの検出処理を示す図である。なお、図９に示す撮像画像Ｉには、輪留めＬＰの近傍に水平方向に延在する路面模様３００が存在していることとする。

例えば、図９の上段に示すように、車両Ｃから駐車枠ＰＳまで比較的離れた状態で撮像された撮像画像Ｉでは、抽出部２７１は、輪留めＬＰに対応する水平エッジ線ＨＬおよび交差エッジ線ＶＬを検出するとともに、路面模様３００についても輪留めＬＰと似たような長さの水平エッジ線ＨＬを抽出する場合がある。

そして、図９の下段に示すように、駐車枠ＰＳに近づいた状態で撮像された撮像画像Ｉでは、路面模様３００から得られた水平エッジ線ＨＬは、エッジの長さや配置、数等が変化する。つまり、路面模様３００等のように、実際には境界が鮮明でない対象物から得られる水平エッジ線ＨＬは、時間的連続性が無い、もしくは、著しく不安定である。

そこで、検出部２７２は、時間的連続性の安定した水平エッジ線ＨＬおよび交差エッジ線ＶＬのみを輪留めＬＰの検出処理の対象として用いる。これにより、路面模様３００等の路面ノイズに起因した水平エッジ線ＨＬおよび交差エッジ線ＶＬを排除できるため、輪留めＬＰを高精度に検出することができる。また、時間的連続性の安定した水平エッジ線ＨＬおよび交差エッジ線ＶＬのみを輪留めＬＰの検出処理の対象として用いることで、不要なエッジ線に対して検出処理を行う必要が無くなるため、制御部２の処理負荷を軽減することもできる。

そして、検出部２７２は、輪留めＬＰを検出した場合、輪留めＬＰにおける任意の水平エッジ線ＨＬを上端とみなして下端位置を予測する。そして、検出部２７２は、検出した縁石ＣＢや輪留めＬＰ等の立体指標および立体指標の下端位置を決定部２７３へ通知する。

決定部２７３は、検出部２７２によって検出された立体指標に基づいて駐車枠ＰＳにおける停車位置を決定する。例えば、決定部２７３は、検出部２７２によって検出された縁石ＣＢの下端位置に基づいて駐車枠ＰＳにおける停車位置を決定する。具体的には、検出部２７２は、縁石ＣＢの下端位置に対して車両Ｃの後端が位置するように停車位置を決定する。

また、決定部２７３は、検出部２７２によって検出された輪留めＬＰの下端位置に基づいて駐車枠ＰＳにおける停車位置を決定する。具体的には、検出部２７２は、輪留めＬＰの下端位置に対して車両Ｃの後輪が位置するように停車位置を決定する。

次に、図１０～図１３を用いて実施形態に係る画像処理装置１が実行する処理手順について説明する。図１０は、画像処理装置１が実行する全体処理の手順を示すフローチャートである。なお、かかる全体処理は、例えば、車両Ｃの車速が所定値以下（例えば、３０Ｋｍ／ｈ）である場合に、制御部２によって繰り返し実行される。

図１０に示すように、画像処理装置１は、まず、グレースケール画像からエッジ点を抽出するエッジ抽出処理を行い（ステップＳ１０１）、エッジ抽出処理の処理結果に基づいて不適領域判定処理を行う（ステップＳ１０２）。

続いて、画像処理装置１は、ステップＳ１０１にて抽出したエッジ点から区画線候補を検出する区画線検出処理を行う（ステップＳ１０３）。

その後、画像処理装置１は、ステップＳ１０３までの処理結果に基づき、駐車不可領域などの有無を判定する除外判定処理を行い（ステップＳ１０４）、駐車枠ＰＳを検出する駐車枠検出処理を行う（ステップＳ１０５）。

その後、画像処理装置１は、ステップＳ１０５において検出した駐車枠ＰＳを管理する駐車枠管理を行い（ステップＳ１０６）、車両Ｃの駐車枠ＰＳ内において停車させる停車位置を決定する停車位置決定処理を行い（ステップＳ１０７）、処理を終了する。

次に、上述した停車位置決定処理の処理手順について詳細に説明する。図１１は、画像処理装置１が実行する停車位置決定処理における全体処理の手順を示すフローチャートである。

図１１に示すように、停車位置決定部２７は、エッジ抽出処理によって抽出されたエッジ点のうち、水平方向へエッジ点が連続した水平エッジ線ＨＬおよび水平方向と交差する交差方向へエッジ点が連続した交差エッジ線ＶＬを抽出する特徴抽出処理を行う（ステップＳ２０１）。

つづいて、停車位置決定部２７は、抽出した水平エッジ線ＨＬおよび交差エッジ線ＶＬについて、所定の条件に基づいてグルーピングするグルーピング処理を行う（ステップＳ２０２）。グルーピング処理では、例えば、直列エッジ線ＥＬに対応する複数の水平エッジ線ＨＬをグルーピングしたり、輪留めＬＰに対応する水平エッジ線ＨＬおよび交差エッジ線ＶＬをグルーピングしたりする処理を行う。

つづいて、停車位置決定部２７は、グルーピング処理にグループ分けされた各グループについて、対象となる立体指標の有無や種別等を識別する対象識別処理を行う（ステップＳ２０３）。なお、対象識別処理の詳細な手順については、図１２で後述する。

つづいて、停車位置決定部２７は、対象識別処理による処理結果に基づいて立体指標の下端位置を決定する下端位置決定処理を行う（ステップＳ２０４）。なお、下端位置決定処理の詳細な手順については、図１３で後述する。

つづいて、停車位置決定部２７は、下端位置決定処理で決定した立体指標の下端位置に基づいて駐車枠ＰＳにおける停車位置を決定する停車位置決定処理を行い（ステップＳ２０５）、処理を終了する。

次に、上述した対象識別処理の処理手順について詳細に説明する。図１２は、画像処理装置１が実行する対象識別処理の手順を示すフローチャートである。

図１２に示すように、停車位置決定部２７は、特徴抽出処理によって抽出された単一の水平エッジ線ＨＬのエッジ長が所定の閾値以上であるか否かを判定する（ステップＳ３０１）。

つづいて、停車位置決定部２７は、単一の水平エッジ線ＨＬのエッジ長が閾値以上であった場合（ステップＳ３０１：Ｙｅｓ）、縁石ＣＢ等といった駐車枠ＰＳの区画物、すなわち、駐車枠ＰＳの奥側の境界線ＢＤとなる立体指標を検出し（ステップＳ３０２）、処理を終了する。

一方、ステップＳ３０１において、停車位置決定部２７は、単一の水平エッジ線ＨＬのエッジ長が閾値未満であった場合（ステップＳ３０１：Ｎｏ）、複数の水平エッジ線ＨＬが破線状に並んだ直列エッジ線のエッジ長が所定の閾値以上であるか否かを判定する（ステップＳ３０３）。

停車位置決定部２７は、直列エッジ線のエッジ長が所定の閾値以上であった場合（ステップＳ３０３：Ｙｅｓ）、ステップＳ３０２を実行する。また、停車位置決定部２７は、直列エッジ線のエッジ長が所定の閾値未満であった場合（ステップＳ３０３：Ｎｏ）、複数の水平エッジ線ＨＬが垂直方向に並列しているか否かを判定する（ステップＳ３０４）。

停車位置決定部２７は、複数の水平エッジ線ＨＬが垂直方向に並列していると判定した場合（ステップＳ３０４：Ｙｅｓ）、所定条件を満たす交差エッジ線ＶＬがあるか否かを判定する（ステップＳ３０５）。

停車位置決定部２７は、所定条件を満たす交差エッジ線ＶＬがあると判定した場合（ステップＳ３０５：Ｙｅｓ）、複数の水平エッジ線ＨＬおよび交差エッジ線ＶＬが時系列で連続して検出されたか否かを判定する（ステップＳ３０６）。

停車位置決定部２７は、複数の水平エッジ線ＨＬおよび交差エッジ線ＶＬが時系列で連続して検出されたと判定した場合（ステップＳ３０６：Ｙｅｓ）、複数の水平エッジ線ＨＬおよび交差エッジ線ＶＬを輪留めＬＰとして検出し（ステップＳ３０７）、処理を終了する。

一方、ステップＳ３０４において、停車位置決定部２７は、複数の水平エッジ線ＨＬが垂直方向に並列していないと判定した場合（ステップＳ３０４：Ｎｏ）、対象の水平エッジ線ＨＬを路面ノイズとして検出し（ステップＳ３０８）、処理を終了する。

また、ステップＳ３０５において、停車位置決定部２７は、所定条件を満たす交差エッジ線ＶＬがないと判定した場合（ステップＳ３０５：Ｎｏ）、ステップＳ３０８を実行する。

また、ステップＳ３０６において、停車位置決定部２７は、複数の水平エッジ線ＨＬおよび交差エッジ線ＶＬが時系列で連続して検出されていないと判定した場合（ステップＳ３０６：Ｎｏ）、ステップＳ３０８を実行する。

次に、上述した下端位置決定処理の処理手順について詳細に説明する。図１３は、画像処理装置１が実行する下端位置決定処理の手順を示すフローチャートである。

図１３に示すように、停車位置決定部２７は、対象識別処理の結果に基づいて、駐車枠ＰＳ内に輪留めＬＰがあるか否かを判定し（ステップＳ４０１）、輪留めＬＰがあった場合（ステップＳ４０１：Ｙｅｓ）、輪留めＬＰの下端位置を予測し（ステップＳ４０２）、処理を終了する。

一方、停車位置決定部２７は、駐車枠ＰＳ内に輪留めＬＰがなかった場合（ステップＳ４０１：Ｎｏ）、駐車枠ＰＳの区画物（例えば、縁石ＣＢ）における水平エッジ線ＨＬの下側に境界領域ＢＲを設定する（ステップＳ４０３）。

つづいて、停車位置決定部２７は、境界領域ＢＲにおける直列エッジ線ＥＬのエッジ長が所定の閾値以上であるか否かを判定し（ステップＳ４０４）、直列エッジ線ＥＬのエッジ長が所定の閾値以上である場合（ステップＳ４０４：Ｙｅｓ）、直列エッジ線ＥＬを縁石ＣＢの下端位置に設定し（ステップＳ４０５）、処理を終了する。

一方、停車位置決定部２７は、直列エッジ線ＥＬのエッジ長が所定の閾値未満である場合（ステップＳ４０４：Ｎｏ）、デフォルトの下端位置を設定し（ステップＳ４０６）、処理を終了する。

上述してきたように、実施形態に係る画像処理装置１は、抽出部２７１と、検出部２７２と、決定部２７３とを備える。抽出部２７１は、駐車枠ＰＳを含む撮像画像Ｉの中から水平方向へエッジ点が連続した水平エッジ線ＨＬを抽出する。検出部２７２は、抽出部２７１によって抽出された複数の水平エッジ線ＨＬのうち、複数の水平エッジ線ＨＬが水平方向に沿って破線状に並んだ直列エッジ線のエッジ長が所定の閾値以上である場合に、直列エッジ線を駐車枠ＰＳにおける奥側の境界線として検出する。決定部２７３は、検出部２７２によって検出された境界線ＢＤに基づいて駐車枠ＰＳにおける停車位置を決定する。これにより、適切な停車位置を決定することができる。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１ 画像処理装置
２ 制御部
３ 記憶部
１０ 車載カメラ
２１ 線分抽出部
２２ 不適領域判定部
２３ 区画線検出部
２４ 除外判定部
２５ 駐車枠検出部
２６ 駐車枠管理部
２７ 停車位置決定部
３１ 指標識別情報
５０ 上位ＥＣＵ
１００ 駐車支援システム
２００ 遮蔽物
２７１ 抽出部
２７２ 検出部
２７３ 決定部
Ｃ 車両
ＨＬ 水平エッジ線
ＶＬ 交差エッジ線
Ｉ 撮像画像

Claims (7)

1. 撮像画像から、水平方向へエッジ点が連続した水平エッジ線を抽出し、
   抽出した前記水平エッジ線のうち、エッジ長が所定の閾値以上である単一の水平エッジ線を検出し、前記検出した単一の水平エッジ線の下側に位置する領域を境界領域とし、
   前記撮像画像の中から、前記境界領域において、複数の前記水平エッジ線が水平方向に沿って破線状に並んだ直列エッジ線を検出し、
   前記直列エッジ線のエッジ長が所定の閾値以上である場合に、該直列エッジ線を駐車枠における奥側の境界線として検出し、
   前記境界線に基づいて前記駐車枠における停車位置を決定する
   制御部を備えた画像処理装置。
2. 前記制御部は、
   前記水平エッジ線のエッジ長が所定の閾値未満、かつ、複数の前記水平エッジ線が水平方向に沿って破線状に並んだ直列エッジ線のエッジ長が所定の閾値未満の場合において、輪留めを検出し、検出した前記輪留めに基づいて前記駐車枠における停車位置を決定する
   請求項１に記載の画像処理装置。
3. 前記制御部は、
   輪留めを検出した場合には、前記駐車枠における前記停車位置を、検出した前記輪留めに基づいて決定する
   請求項１に記載の画像処理装置。
4. 前記制御部は、
   前記撮像画像から、前記水平方向と交差する交差方向へエッジ点が連続した交差エッジ線を抽出し、並列した２本の前記水平エッジ線の両端に対して２本の前記交差エッジ線が直交する場合、該水平エッジ線および該交差エッジ線が構成する矩形を前記輪留めとして検出する
   請求項２または３に記載の画像処理装置。
5. 前記制御部は、
   前記撮像画像から、前記水平方向と交差する交差方向へエッジ点が連続した交差エッジ線を抽出し、複数の前記水平エッジ線の端部に対して単一の前記交差エッジ線が直交する場合、該複数の水平エッジ線および該単一の交差エッジ線を前記輪留めとして検出する
   請求項２または３に記載の画像処理装置。
6. 前記制御部は、
   前記撮像画像から、前記水平方向と交差する交差方向へエッジ点が連続した交差エッジ線を抽出し、
   時系列で入力される前記撮像画像それぞれから前記水平エッジ線および前記交差エッジ線を抽出し、前記水平エッジ線および前記交差エッジ線が時系列で連続して検出された場合に、当該水平エッジ線および当該交差エッジ線を前記輪留めとして検出する
   請求項２から５のいずれか１つに記載の画像処理装置。
7. 撮像画像から、水平方向へエッジ点が連続した水平エッジ線を抽出し、
   抽出した前記水平エッジ線のうち、エッジ長が所定の閾値以上である単一の水平エッジ線を検出し、前記検出した単一の水平エッジ線の下側に位置する領域を境界領域とし、
   前記撮像画像の中から、前記境界領域において、複数の前記水平エッジ線が水平方向に沿って破線状に並んだ直列エッジ線を検出し、
   前記直列エッジ線のエッジ長が所定の閾値以上である場合に、該直列エッジ線を駐車枠における奥側の境界線として検出し、
   前記境界線に基づいて前記駐車枠における停車位置を決定する
   画像処理方法。

Images