JP7195131B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、画像処理装置および画像処理方法に関する。

近年、自動運転技術の発展に伴い、車両の周囲が撮像された画像データから車両を駐車させる駐車枠を検出する画像処理装置が普及しつつある。この種の画像処理装置では、画像データから駐車枠を区画する区画線を検出し、検出した区画線に基づいて駐車枠を検出する(例えば、特許文献１参照)。

特開２０１７－８７７５８号公報

しかしながら、従来技術では、例えば、区画線が離散して検出される場合、駐車枠を検出できないおそれがある。

本発明は、上記に鑑みてなされたものであって、駐車枠の検出精度を向上させることができる画像処理装置および画像処理方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、実施形態に係る画像処理装置は、検出部と、生成部とを備える。前記検出部は、車両の周囲が撮像された画像データから各画素の輝度に基づくエッジ線に基づいて駐車枠を区画する区画線の候補となる区画線候補を検出する。前記生成部は、前記検出部によって検出された前記区画線候補を所定の統合条件に基づいて統合した統合区画線候補を生成する。

本発明によれば、駐車枠の検出精度を向上させることができる。

図１Ａは、画像処理装置の搭載例を示す図である。 図１Ｂは、画像処理方法の概要を示す図である。 図２は、画像処理装置のブロック図である。 図３は、区画線検出部のブロック図である。 図４は、区画線情報の具体例を示す図である。 図５は、更新状態の一例を示す図である。 図６は、区画線候補の具体例を示す図である。 図７は、統合区画線候補の具体例を示す図(その１)である。 図８は、統合区画線候補の具体例を示す図(その２)である。 図９は、優先条件の一例を示す図である。 図１０は、消去条件の具体例を示す図である。 図１１は、画像処理装置が実行する処理手順を示すフローチャートである。 図１２は、図１１に示す区画線検出処理の処理手順を示すフローチャートである。

以下、添付図面を参照して、実施形態に係る画像処理装置および画像処理方法について詳細に説明する。なお、本実施形態によりこの発明が限定されるものではない。

まず、図１Ａおよび図１Ｂを用いて実施形態に係る画像処理装置の概要について説明する。図１Ａは、画像処理装置の搭載例を示す図である。また、図１Ｂは、画像処理方法の概要を示す図である。なお、かかる画像処理方法は、図１Ａに示す画像処理装置１によって実行される。

図１Ａに示すように、実施形態に係る画像処理装置１は、車両Ｃに搭載され、車載カメラ１０によって撮像された画像データから駐車枠ＰＳを検出する。

車載カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ(Complementary Metal Oxide Semiconductor)などの撮像素子を備え、車両Ｃの周囲を撮像する。また、車載カメラ１０のレンズには、例えば、魚眼レンズなどの広角レンズが採用され、図１Ａに示すような撮像領域Ｒを有する。

なお、図１Ａに示す例では、車載カメラ１０が、車両Ｃの左側方を撮像する左サイドカメラである場合について示したが、車載カメラ１０には、車両Ｃの前方を撮像する前方カメラ、車両Ｃの後方を撮像するバックカメラ、車両Ｃの右側方を撮像する右サイドカメラが含まれる。

ところで、画像処理装置１は、駐車枠ＰＳの検出を行うに当たり、各駐車枠ＰＳを区画する区画線Ｌｓの候補となる区画線候補Ｌｃを検出し、検出した区画線候補に基づいて駐車枠ＰＳを検出する。

しかしながら、例えば、区画線候補が離散して検出される場合や、途切れて検出される場合、駐車枠ＰＳを検出できないおそれがある。

そこで、実施形態に係る画像処理装置１は、検出した区画線候補を所定の統合条件に基づいて統合することとした。これにより、実施形態に係る画像処理装置１では、駐車枠の検出精度を向上させることが可能となる。

具体的には、図１Ｂに示すように、画像処理装置１は、まず、画像データＩから区画線候補Ｌｃを検出する（ステップＳ１）。例えば、画像処理装置１は、画像データＩに対してエッジ処理を行うことで得られるエッジ点を繋いだエッジ線に基づいて区画線候補Ｌｃを検出する。

そして、画像処理装置１は、画像データＩにおいて、区画線と路面との境界に対応するエッジ線を区画線候補Ｌｃとして検出する。すなわち、区画線候補Ｌｃは、区画線の幅方向の左右両端に対応するエッジ線のペアである。

続いて、画像処理装置１は、ステップＳ１において、検出した区画線候補Ｌｃを所定の統合条件に基づいて統合することで、統合区画線候補Ｌｉを生成する（ステップＳ２）。これにより、画像処理装置１では、統合区画線候補Ｌｉに基づいて駐車枠ＰＳを検出することが可能となる。

つまり、実施形態に係る画像処理装置１は、離散した区画線候補Ｌｃを適切に統合することで、区画線を適切に検出することが可能となる。したがって、実施形態に係る画像処理装置１によれば、駐車枠ＰＳの検出精度を向上させることが可能となる。なお、統合区画線候補Ｌｉの生成処理の詳細については、後述する。

また、実施形態に係る画像処理装置１では、過去のフレームにおいて検出した区画線候補Ｌｃや過去のフレームにおいて統合した統合区画線候補Ｌｉと今回検出した区画線候補Ｌｃとを統合することも可能である。

また、以下では、区画線候補Ｌｃを統合区画線候補Ｌｉや、過去の区画線候補Ｌｃなどを包括する概念であるものとし、現在のフレームで検出した区画線候補Ｌｃおよび、かかる区画線候補Ｌｃ同士を統合した統合区画線候補Ｌｉについて観測区画線候補と記載し、過去のフレームにおける区画線候補Ｌｃおよび統合区画線候補Ｌｉについて時系列区画線候補と記載する場合がある。

次に、図２を用いて実施形態に係る画像処理装置１の構成例について説明する。図２は、画像処理装置１のブロック図である。なお、図２には、画像処理装置１を含む駐車支援システム１００を示す。図２に示すように、駐車支援システム１００は、画像処理装置１と、車載カメラ１０と、センサ群Ｓｃと、上位ＥＣＵ(Electronic Control Unit)５０とを備える。また、図２に示すように、画像処理装置１と、センサ群Ｓｃと、上位ＥＣＵ５０とは、それぞれＣＡＮ（Control Area Network）通信の通信規格に準じた通信バスＢによって相互に通信することができる。

センサ群Ｓｃは、車両Ｃの走行状態を検出する各種センサであり、検出したセンサ値を画像処理装置１へ通知する。センサ群Ｓｃは、車両Ｃの車輪の回転数を検出する車速センサや、車両Ｃの舵角を検出する舵角センサ等を含む。

上位ＥＣＵ５０は、例えば、車両Ｃの自動駐車を支援するＥＣＵであり、例えば、画像処理装置１によって検出された駐車枠ＰＳに基づいて車両Ｃを駐車枠ＰＳへ駐車させる。例えば、上位ＥＣＵ５０は、車両Ｃの操舵角を制御するＥＰＳ（Electric Power Steering）－ＥＣＵであり、画像処理装置１によって検出された駐車枠ＰＳへの操舵角を制御することができる。なお、上位ＥＣＵ５０は、アクセル制御やブレーキ制御を行うＥＣＵを含むようにすることにしてもよい。なお、以下では、上位ＥＣＵ５０が、車両Ｃをバック駐車にて駐車枠ＰＳへ駐車させるものとして説明する。

図２に示すように、画像処理装置１は、制御部２と、記憶部３とを備える。制御部２は、線分抽出部２１と、不適領域判定部２２と、区画線検出部２３と、除外判定部２４と、駐車枠検出部２５と、駐車枠管理部２６と、停車位置決定部２７とを備える。

制御部２は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、入出力ポートなどを有するコンピュータや各種の回路を含む。

コンピュータのＣＰＵは、例えば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部２の線分抽出部２１、不適領域判定部２２、区画線検出部２３、除外判定部２４、駐車枠検出部２５、駐車枠管理部２６および停車位置決定部２７として機能する。

また、制御部２の線分抽出部２１、不適領域判定部２２、区画線検出部２３、除外判定部２４、駐車枠検出部２５、駐車枠管理部２６および停車位置決定部２７の少なくともいずれか一部または全部をＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成することもできる。

また、記憶部３は、例えば、ＲＡＭやＨＤＤに対応する。ＲＡＭやＨＤＤは、各種情報や各種プログラムの情報を記憶することができる。なお、画像処理装置１は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。

制御部２は、例えば、車両Ｃが駐車場を走行していると想定される場合（例えば、車速３０Ｋｍ／ｈ以内）に、後述する駐車枠の検出処理を行うことにしてもよいし、あるいは、車両Ｃが走行している全ての期間でかかる検出処理を行うことにしてもよい。

線分抽出部２１は、車載カメラ１０から入力される画像データから各画素の輝度に基づくエッジ点を繋いだエッジ線を検出する。具体的には、線分抽出部２１は、車載カメラ１０から入力される画像データをグレースケール化することでグレースケール画像へ変換する。グレースケール画像とは、画像データにおける各画素を輝度に応じて白から黒までの各階調（例えば２５６階調）で表現するように変換する処理である。

続いて、線分抽出部２１は、車両Ｃに対する車載カメラ１０の取付位置および取付角度に基づき、グレースケール画像を路面などの射影面に射影する。これにより、線分抽出部２１は、グレースケール画像の平面画像を得る。その後、線分抽出部２１は、平面画像に対して例えば、ソベルフィルタを適用することで、各画素のエッジ強度および輝度勾配を求めることができる。

続いて、線分抽出部２１は、エッジ強度が所定値を超える画素を抽出することで、上記のエッジ点を抽出し、隣接するエッジ点を繋ぐことで、エッジ線を抽出することができる。線分抽出部２１は、抽出したエッジ点およびエッジ線に関するエッジ情報を不適領域判定部２２へ通知する。

不適領域判定部２２は、線分抽出部２１によって抽出されたエッジ点およびエッジ線に基づき、駐車枠を構築する区画線の検出が困難となる不適領域の有無を判定する。例えば、不適領域判定部２２は、舗装された路面に比べて、エッジ点が多く抽出される舗装されていない路面領域(例えば、砂利)や、グレーチング領域を不適領域として判定することができる。

具体的には、不適領域判定部２２は、各エッジ点の密度が所定値以上であり、各エッジ点の輝度勾配が不均一である領域について、不適領域として判定することができる。不適領域判定部２２は、判定した不適領域に基づいて上記のエッジ情報から不適領域に関するエッジ情報を除去して後段の処理へ回す。

区画線検出部２３は、線分抽出部２１によって抽出されたエッジ線に基づいて駐車枠を区画する区画線の候補となる区画線候補を検出する。具体的には、区画線検出部２３は、互いに略平行であり、その間隔が区画線の幅に応じた所定範囲に収まるエッジ線同士を区画線候補として検出する。

すなわち、区画線検出部２３は、各区画線の幅方向の左右両端に対応するエッジ線を区画線候補として検出する。区画線検出部２３は、検出した区画線候補に関する区画線情報を生成し、除外判定部２４へ通知する。

上述のように、区画線検出部２３は、検出した区画線候補Ｌｃを所定の統合条件に基づいて統合して統合区画線候補Ｌｉを生成したり、区画線候補Ｌｃおよび統合区画線候補Ｌｉを時系列的に管理したりすることも可能である。

また、区画線検出部２３は、不適領域判定部２２によって検出された不適領域を除いて、区画線候補の検出処理を行うことができる。言い換えれば、区画線検出部２３は、不適領域について区画線候補の検出処理を行わない。これにより、制御部２の処理負荷の抑えることが可能となる。なお、区画線検出部２３の具体例については、図３を用いて後述する。

除外判定部２４は、区画線検出部２３によって検出された区画線候補に基づいて車両Ｃの駐車が認められていない駐車不可領域の有無を判定する。例えば、除外判定部２４は、駐車不可領域として、ゼブラゾーン(導流帯)などの駐車不可領域の有無を判定する。

具体的には、ゼブラゾーンが、互いに略平行な区画線候補を区画線(支持区画線と記載する)と仮定した場合に、支持区画線に対して傾斜した区画線候補が所定の間隔をあけて３本以上存在する場合に、支持区画線に挟まれた領域を駐車不可領域と判定する。

また、除外判定部２４は、路面標識等の駐車枠の検出に不要な区画線候補の有無を判定することも可能である。例えば、除外判定部２４は、区画線検出部２３によって検出された区画線候補と、各路面標識のテンプレートモデルとのマッチング処理を行うことで画像データに含まれる各路面標識を検出することができる。

除外判定部２４は、区画線情報から不要な区画線候補を除去するとともに、区画線情報に駐車不可領域に関する情報を付与して、駐車枠検出部２５へ通知する。

駐車枠検出部２５は、区画線検出部２３によって検出された区画線候補に基づき、駐車枠を検出する。具体的には、駐車枠検出部２５は、所定間隔をあけて平行配置される区画線候補について駐車枠として検出する。

ここで、所定間隔とは、駐車場に関する法令等で規定される一般公共用の標準的な駐車領域の幅である。また、このとき、駐車枠検出部２５は、除外判定部２４によって駐車不可領域として判定された領域を避けて、駐車枠を検出することができる。

すなわち、ゼブラゾーン等を避けて駐車枠を検出することができる。駐車枠検出部２５は、駐車枠を検出すると、駐車枠に関する駐車枠情報を駐車枠管理部２６へ通知する。なお、以下では、駐車枠検出部２５によって駐車枠として検出された区画線候補について、区画線と記載する。また、駐車枠情報には、車両Ｃを基準とする各区画線の頂点座標が含まれる。

駐車枠管理部２６は、駐車枠検出部２５によって検出された駐車枠を時系列で管理する。駐車枠管理部２６は、センサ群Ｓｃから入力されるセンサ値に基づいて車両Ｃの移動量を推定し、かかる移動量に基づいて過去の駐車枠情報に基づく実際の各区画線の頂点座標を推定することができる。

また、駐車枠管理部２６は、新たに入力される駐車枠情報に基づいて、過去の駐車枠情報における区画線の座標情報を更新することも可能である。すなわち、駐車枠管理部２６は、車両Ｃと駐車枠との相対的な位置関係を車両Ｃの移動に伴って随時更新する。

また、駐車枠管理部２６は、複数の駐車枠がそれぞれ連続して配置されると仮定して、駐車枠の検出範囲を設定することも可能である。例えば、駐車枠管理部２６は、駐車枠検出部２５によって検出された１つの駐車枠を基準とし、かかる駐車枠と連続して複数の駐車枠が存在すると仮定する。

そして、駐車枠管理部２６は、仮定した駐車枠の位置を検出範囲として設定する。これにより、上記の線分抽出部２１は、駐車枠管理部２６によって設定された検出範囲においてのみ、エッジ線の検出処理を行えばよいので、制御部２の処理負荷を抑えることが可能となる。

停車位置決定部２７は、線分抽出部２１によって検出されたエッジ線に基づき、車両Ｃが駐車枠へ駐車する際の停車位置を決定する。例えば、停車位置決定部２７は、線分抽出部２１によって検出されたエッジ線に基づき、輪留めや縁石、壁、車幅方向に延びる白線などを検出することで、車両Ｃの停車位置を決定する。すなわち、停車位置決定部２７は、車両Ｃから見て、駐車枠ＰＳの奥側の車両Ｃの車幅方向に伸びる区画線ＰＳまたは輪留めに基づいて停車位置を決定する。

停車位置決定部２７は、輪留めを検出した場合、車両Ｃの後輪が輪留めの手前に来るように停車位置を決定し、輪留めに代えて、白線や壁等を検出した場合、白線の手前に車両Ｃの後端(例えば、リアバンパの先端)がくるように停車位置を決定する。

次に、図３を用いて区画線検出部２３の構成例について説明する。図３は、区画線検出部２３のブロック図である。図３に示すように、区画線検出部２３は、検出部２３１と、生成部２３２と、消去部２３３と、更新部２３４とを備える。また、区画線検出部２３が区画線候補Ｌｃの検出を行うに当たり、記憶部３は、区画線情報３１と、統合条件情報３２とを記憶する。

区画線情報３１は、後述する検出部２３１によって検出された区画線候補Ｌｃに関する情報であり、区画線候補毎の座標情報などが含まれる。図４は、区画線情報３１の一例を示す図である。

図４に示すように、区画線情報３１は、「区画線ＩＤ」、「頂点座標」、「長さ」、「更新状態」および「相対輝度」などが互いに関連付けられた情報である。「区画線ＩＤ」は、区画線候補Ｌｃを識別するための識別子である。

「頂点座標」は、区画線候補Ｌｃの各頂点の座標に関する情報である。例えば、頂点座標に用いる座標は、車両Ｃを基準とする座標系であるが、ワールド座標系であってもよい。「長さ」は、区画線候補Ｌｃの全長を示す。また、「更新状態」は、時系列区画線候補の更新状態を示す。なお、「更新状態」の具体例については、図５を用いて後述する。

また、「相対輝度」は、区画線候補Ｌｃとその周囲との相対的な輝度を示す。例えば、区画線候補Ｌｃの輝度が周囲の輝度に比べて相対的に明るい場合、相対輝度が「明」となり、区画線候補Ｌｃの輝度が周囲の輝度に比べて相対的に暗い場合、相対輝度が「暗」となる。

続いて、図５を用いて図４に示す「更新状態」について説明する。図５は、更新状態の一例を示す図である。図５に示すように、更新状態は、新規状態ｓｔ１、観測更新状態ｓｔ２、予測更新状態ｓｔ３および削除候補状態ｓｔ４の４つの状態に大別される。

新規状態ｓｔ１は、観測区画線候補がどの時系列区画線候補とも統合できなかった場合、すなわち、観測区画線候補が時系列区画線候補と独立して存在している状態を示す。言い換えれば、新規状態ｓｔ１にある区画線候補は、他の時系列区画線候補と時系列的に連続性がない状態である。また、新規状態ｓｔ１にある区画線候補Ｌｃは、その後、観測更新状態ｓｔ２または予測更新状態ｓｔ３へ移行する。

観測更新状態ｓｔ２は、時系列区画線候補が観測区画線候補と統合された状態である。すなわち、観測更新状態ｓｔ２は、時系列区画線候補が観測区画線候補によって更新された状態である。例えば、新規状態ｓｔ１や予測更新状態ｓｔ３にある区画線候補が、観測区画線候補と統合された場合に、観測更新状態ｓｔ２となる。

予測更新状態ｓｔ３は、時系列区画線候補が観測区画線候補によって更新されなかった場合に、車両Ｃの移動量に基づいて時系列区画線候補が更新された状態である。すなわち、予測更新状態ｓｔ３は、車両Ｃの移動量に基づく外挿処理によって更新された状態である。

新規状態ｓｔ１にある時系列区画線候補が、次のフレーム処理において、統合されなかった場合や、観測更新状態ｓｔ２の時系列区画線候補が、次のフレーム処理において、観測更新状態ｓｔ２を維持できなかった場合、予測更新状態ｓｔ３となる。

予測更新状態ｓｔ３にある時系列区画線候補は、複数フレーム内の処理において、他の時系列区画線候補または観測区画線候補と統合された場合、観測更新状態ｓｔ２へ移行する。また、予測更新状態ｓｔ３にある時系列区画線候補は、複数フレーム内に観測更新状態ｓｔ２へ移行できなかった場合、削除候補状態ｓｔ４へ移行する。

削除候補状態ｓｔ４にある区画線候補Ｌｃは、その後、複数フレーム後に記憶部３から削除される。すなわち、削除候補状態ｓｔ４は、区画線の検出に用いられないものの、内部的にデータが保持された状態である。

図３の説明に戻り、統合条件情報３２について説明する。統合条件情報３２は、区画線候補の統合条件に関する情報である。統合条件は、下記（１）～（６）に示される条件である。

（１）同一の車載カメラ１０で撮像された画像データＩから検出された区画線候補Ｌｃであること。（２）区画線候補Ｌｃ同士の相対輝度（図４参照）が同じであること。（３）区画線候補Ｌｃ同士の角度差が所定値以下（１０ｄｅｇ以下）であること。（４）区画線候補Ｌｃ同士の距離が閾値以下（例えば１９００ｍｍ以下）であること。

（５）区画線候補Ｌｃ同士の幅方向におけるズレが所定値以下（例えば２００ｍｍ以下）であること。（６）統合する区画線候補Ｌｃのうち、長さが長い方の区画線候補Ｌｃと統合区画線候補Ｌｉとのなす角が所定値以下（１０ｄｅｇ以下）となること。

後述の生成部２３２は、上記（１）～（６）の条件を全て満たす区画線候補Ｌｃ同士を統合して統合区画線候補Ｌｉを生成することとなる。また、統合条件情報３２には、統合区画線候補Ｌｉに用いる区画線候補Ｌｃの優先順位に関する情報が含まれる。なお、この優先順位の具体例については、後述する。

続いて、検出部２３１について説明する。検出部２３１は、図２に示した線分抽出部２１によって抽出されたエッジ線に基づいて駐車枠を区画する区画線の候補となる区画線候補Ｌｃを検出する。検出部２３１は、実際の区画線と路面との境界に対応するエッジ線のペアを区画線候補Ｌｃとして検出する。

例えば、区画線が白線であり、周囲の路面に比べて相対的に（輝度が明るい場合を想定する。この場合、白線と路面との境界において、輝度差が大きくなるため、白線の幅方向の左端と右端に沿って略平行な２本のエッジ線が抽出される。このため、検出部２３１は、互いに略平行であり、かつ、所定間隔を隔てて配置されたエッジ線のペアを区画線候補として検出する。

図６は、区画線候補の具体例を示す図である。なお、ここでは、エッジ線Ｌｅ１およびエッジ線Ｌｅ２がそれぞれ直線である場合について説明するが、エッジ線Ｌｅ１およびエッジ線Ｌｅ２は、湾曲していてもよい。

図６に示すように、検出部２３１は、エッジ線Ｌｅ１およびエッジ線Ｌｅ２が略平行であり、かつ、エッジ線Ｌｅ１およびエッジ線Ｌｅ２の距離ｄが所定範囲に収まる場合に、エッジ線Ｌｅ１およびエッジ線Ｌｅ２から区画線候補Ｌｃを検出する。

ここで、所定範囲とは、実際の区画線のライン幅に応じた範囲であり、例えば、５ｃｍ～１０ｃｍまでの範囲である。また、検出部２３１は、図６に示すように、エッジ線Ｌｅ１およびエッジ線Ｌｅ２が重複する領域を区画線候補Ｌｃとして検出し、距離ｄが区画線候補Ｌｃの幅となる。

言い換えれば、検出部２３１は、エッジ線Ｌｅ１およびエッジ線Ｌｅ２が重複しない領域については、区画線候補Ｌｃとして検出しないことになる。これは、上述のように、区画線であれば、区画線の幅方向の左右両端にそれぞれ対応する１対のエッジ線Ｌｅで構成されるためである。

すなわち、エッジ線Ｌｅ１およびエッジ線Ｌｅ２が重複しない領域については、ノイズであることも想定される。このため、検出部２３１は、エッジ線Ｌｅ１およびエッジ線Ｌｅ２が重複しない領域について区画線候補Ｌｃとして検出しないことで、確度の高い区画線候補Ｌｃのみを検出することができる。これにより、駐車枠の誤検出を抑制することが可能となる。

また、検出部２３１は、上記のエッジ線Ｌｅの配置条件に加え、各エッジ線Ｌｅの輝度勾配に基づく検出条件に基づいて区画線候補Ｌｃを検出する。具体的には、区画線が白線である場合、白線に向かって輝度が明るくなることが想定される。したがって、この場合、エッジ線Ｌｅ１およびエッジ線Ｌｅ２の輝度勾配は、互いに逆向き（白線の中央に向けて輝度が明るくなる向き）となる。

このため、検出部２３１は、互いに輝度勾配が逆向きとなるエッジ線Ｌｅのペアを区画線候補Ｌｃとして検出することで、区画線候補Ｌｃの検出精度を向上させることができる。なお、実際の区画線が周囲よりも輝度が暗い場合も想定される。このため、輝度勾配が互いに外側に向けて輝度が明るくなる向きのエッジ線Ｌｅのペアを区画線候補Ｌｃとして検出することにしてもよい。

図３の説明に戻り、生成部２３２について説明する。生成部２３２は、検出部２３１によって検出された区画線候補Ｌｃを所定の統合条件に基づいて統合し、統合区画線候補Ｌｉを生成する。

図７は、統合区画線候補Ｌｉの具体例を示す図である。なお、ここでは、区画線候補Ｌｃ１と区画線候補Ｌｃ１よりも長さが短い区画線候補Ｌｃ２を統合し、統合区画線候補Ｌｉを生成する場合について説明する。また、ここでは、説明を簡単にするため、区画線候補Ｌｃ１および区画線候補Ｌｃ２をそれぞれ直線として示す。

図７に示すように、２つの区画線候補Ｌｃ１および区画線候補Ｌｃ２間で始点および終点を結んだ線分のうち最も長い線分Ｌの長さが統合区画線候補Ｌｉの長さとなる。言い換えれば、２つの区画線候補Ｌｃ１および区画線候補Ｌｃ２の端点のうち、最も離れた端点間の距離が統合区画線候補Ｌｉの長さとなる。

つまり、生成部２３２は、区画線候補Ｌｃ１よりも統合区画線候補Ｌｉの長さが長くなるように統合区画線候補Ｌｉの長さを設定する。続いて、２つの区画線候補Ｌｃ１および区画線候補Ｌｃ２のうち、長い区画線候補Ｌｃ１と線分Ｌとのなす角θを２つの区画線候補Ｌｃ１、Ｌｃ２の長さに応じて案分した角度を統合区画線候補Ｌｉの向きとする。

例えば、区画線候補Ｌｃ１の長さをｌ１とし、区画線候補Ｌｃ２の長さをｌ２とした場合、区画線候補Ｌｃ１と統合区画線候補Ｌｉとのなす角θ１および線分Ｌと統合区画線候補Ｌｉとのなす角θ２は、式（１）「θ１＝θ×ｌ２／（ｌ１＋ｌ２）」、式（２）「θ２＝θ×ｌ１／（ｌ１＋ｌ２）」で表される。

すなわち、例えば、ｌ１とｌ２との比率が２対１である場合、θ１＝θ×１／３となり、統合区画線候補Ｌｉは、区画線候補Ｌｃ２に比べて区画線候補Ｌｃ１側に傾斜して配置される。

このように、生成部２３２は、統合する区画線候補Ｌｃよりも長く、統合する区画線候補Ｌｃの長さの比に応じた向きで統合区画線候補Ｌｉを生成する。これにより、統合区画線候補Ｌｉを適切な向きに設定することができる。

続いて、生成部２３２が、統合区画線候補Ｌｉを生成する際の優先順位について説明する。まず、生成部２３２は、検出部２３１によって観測区画線候補同士で上記の統合条件を満たすか否かを判定し、統合区画線候補Ｌｉを生成する。すなわち、生成部２３２は、現在のフレームにおける区画線候補Ｌｃを用いて統合区画線候補Ｌｉを生成する。

このとき、生成部２３２は、長い区画線候補Ｌｃから順次、統合条件を満たすか否かを判定していく。これにより、長い区画線候補Ｌｃを短い区画線候補Ｌｃに優先して統合することが可能となる。

言い換えれば、相対的に短い区画線候補Ｌｃを統合区画線候補Ｌｉに反映しにくくすることが可能となる。つまり、長い区画線候補Ｌｃを優先的に統合させることで、信頼性の高い統合区画線候補Ｌｉを生成することが可能となる。

また、生成部２３２は、新たに統合区画線候補Ｌｉを生成した場合、生成した統合区画線候補Ｌｉと他の観測区画線候補とが統合条件を満たすか否かを判定していく。その後、生成部２３２は、観測区画線候補同士の統合処理を終えると、観測区画線候補に時系列区画線候補を加えて統合条件を判定し、統合区画線候補Ｌｉを生成する。

すなわち、生成部２３２は、現在のフレームにおける区画線候補Ｌｃに加えて、過去のフレームにおける区画線候補Ｌｃを用いて統合区画線候補Ｌｉを生成する。まず、生成部２３２は、統合条件を満たさなかった観測区画線候補同士が時系列区画線候補を介在させることで、統合条件を満たすか否かを判定する。

図８は、統合区画線候補の具体例を示す図(その２)である。なお、ここでは、図８に示す区画線候補Ｌｃ１および区画線候補Ｌｃ２がそれぞれ観測区画線候補であり、区画線候補Ｌｃ３が時系列区画線候補であるものとする。

図８に示す、統合条件を満たさない区画線候補Ｌｃ１および区画線候補Ｌｃ２が存在する場合を想定する。生成部２３２は、区画線候補Ｌｃ１および区画線候補Ｌｃ２に対して、時系列区画線候補である区画線候補Ｌｃ３を介在させた場合において、統合条件を満たすか否かを判定する。

図８に示す例では、区画線候補Ｌｃ１と、区画線候補Ｌｃ３が同一直線状に存在する場合を示し、区画線候補Ｌｃ１の長さが疑似的に長くなる場合を示す。生成部２３２は、区画線候補Ｌｃ１および区画線候補Ｌｃ３を１つの区画線候補Ｌｃと見做し、区画線候補Ｌｃ２と統合条件を満たす否かを判定する。

そして、生成部２３２は、統合条件を満たすと判定した場合に、区画線候補Ｌｃ１および区画線候補Ｌｃ２を用いて、統合区画線候補Ｌｉを生成する。すなわち、生成部２３２は、実際の統合区画線候補Ｌｉには反映させずに、時系列区画線候補を統合条件の判定に用いる。

このように、生成部２３２は、観測区画線候補を時系列区画線候補で補間した場合に、観測区画線候補が統合条件を満たす場合、観測区画線候補を用いて統合区画線候補Ｌｉを生成する。言い換えれば、時系列区画線候補を補助的に用いることで、より多くの観測区画線候補同士を統合することが可能となる。

その後、生成部２３２は、時系列区画線候補を用いた観測区画線同士を統合する処理をすべて終えると、時系列区画線候補に対して観測区画線候補が上記の統合条件を満たすか否かを判定し、統合区画線候補Ｌｉを生成する。

すなわち、時系列区画線候補を観測区画線候補に基づいて更新する。これにより、時系列区画線候補を適切に更新することが可能となる。また、生成部２３２は、新たに生成した統合区画線候補Ｌｉに対して他の観測区画線候補が上記の統合条件を満たす場合、双方の区画線候補Ｌｃを用いて統合区画線候補Ｌｉを生成する。

言い換えれば、生成部２３２は、時系列区画線候補に対して統合条件を満たす観測区画線候補がなくなるまで、上記の処理を繰り返し行う。また、生成部２３２は、例えば、１つの時系列区画線候補に対して統合条件を満たす複数の観測区画線候補が存在する場合、優先条件に基づいて観測区画線候補を用いて統合区画線候補Ｌｉを生成する。なお、かかる優先条件の具体例については、図９を用いて後述する。

続いて、生成部２３２は、観測区画線候補に対して、統合条件を満たす時系列区画線候補の有無を判定し、統合区画線候補Ｌｉを生成する。ここで生成される統合区画線候補Ｌｉについてもその更新状態は、観測更新状態ｓｔ２となる。

その後、生成部２３２は、時系列区画線候補同士で統合条件を満たすか否かを判定し、統合区画線候補Ｌｉを生成する。なお、時系列区画線候補同士から統合区画線候補Ｌｉが生成された場合、その更新状態についても観測更新状態ｓｔ２となる。

次に、図９を用いて上記の優先条件について説明する。図９は、優先条件の一例を示す図である。なお、ここでは、図９に示す区画線候補Ｌｃ１に対して、区画線候補Ｌｃ２および区画線候補Ｌｃ３が統合条件を満たす場合について説明する。

この場合、図９に示すように、区画線候補Ｌｃ１の延長線に対して、区画線候補Ｌｃ２および区画線候補Ｌｃ３から垂線ｌｐ２および垂線ｌｐ３を引いた場合に、垂線距離が短い方の区画線候補Ｌｃと統合させる。

図９に示す例では、区画線候補Ｌｃ２の垂線ｌｐ２の方が区画線候補Ｌｃ３の垂線よりも短い。このため、生成部２３２は、区画線候補Ｌｃ１と区画線候補Ｌｃ２とを統合して統合区画線候補Ｌｉを生成する。

その後、生成部２３２は、統合区画線候補Ｌｉと区画線候補Ｌｃ３とが統合条件を満たす場合、統合区画線候補Ｌｉおよび区画線候補Ｌｃ３を用いて、統合区画線候補Ｌｉを生成することとなる。

このように、生成部２３２は、優先順位が高い区画線候補Ｌｃを用いて統合区画線候補Ｌｉを生成することで、適切な統合区画線候補Ｌｉを生成することが可能となる。なお、上記の優先順位は、一例であり、例えば、区画線候補Ｌｃ１と距離が近い方の区画線候補Ｌｃを優先することにしてもよいし、あるいは、区画線候補Ｌｃ１と角度が近い区画線候補Ｌｃを優先するなど、優先条件を適宜変更することにしてもよい。

図３の説明に戻り、消去部２３３について説明する。消去部２３３は、所定の消去条件に基づいて不要な区画線候補を消去する。図１０は、消去条件の具体例を示す図である。図１０に示すように、消去部２３３は、区画線候補Ｌｃ１に対して幅方向に所定間隔ｗを隔てた所定範囲内に始点および終点が収まる区画線候補Ｌｃ２が存在する場合、区画線候補Ｌｃ２を消去する。

つまり、消去部２３３は、任意の区画線候補Ｌｃの近傍にかかる区画線候補Ｌｃよりも短い区画線候補Ｌｃが存在する場合に、かかる区画線候補Ｌｃを消去する。すなわち、消去部２３３は、上記の統合条件を満たさず、相対的に長い区画線候補Ｌｃに近接して短い区画線候補Ｌｃが存在する場合、短い方の区画線候補Ｌｃを消去する。

これにより、区画線候補Ｌｃの近傍に位置する路面のざらつきなどに基づくノイズを除去することができる。したがって、確度の高い区画線候補Ｌｃのみを残すことができるので、区画線の検出精度を向上させることができる。また、不要な区画線候補Ｌｃを除去した分だけ、後段の処理負荷を抑えることが可能となる。

なお、消去部２３３によって消去されなかった観測区画線候補の更新状態は、新規状態ｓｔ１となる。

図３の説明に戻り、更新部２３４について説明する。更新部２３４は、各区画線候補Ｌｃの更新状態（図４参照）を更新する。具体的には、更新部２３４は、上記のように、消去部２３３によって消去されなかった観測区画線候補を新規状態ｓｔ１として、区画線情報３１に登録する。

また、更新部２３４は、観測区画線候補によって更新された時系列区画線候補の更新状態を観測更新状態ｓｔ２へ更新する。また、更新部２３４は、新規状態ｓｔ１および観測更新状態ｓｔ２でない区画線候補Ｌｃについて、更新状態を予測更新状態ｓｔ３へ更新する。

このとき、更新部２３４は、予測更新状態ｓｔ３の区画線候補Ｌｃについて、車両Ｃとの相対位置を車両Ｃの移動量に基づいて更新することもできる。また、更新部２３４は、区画線候補Ｌｃの更新状態が予測更新状態ｓｔ３となった場合に、予測更新状態ｓｔ３が所定回数続いた場合、削除候補状態ｓｔ４へ更新する。

このように、更新部２３４は、各区画線候補Ｌｃの更新状態を更新することで、各区画線候補Ｌｃを適切に管理することが可能となる。また、更新部２３４は、車両Ｃの移動に伴い、車載カメラ１０の撮像領域Ｒから区画線候補Ｌｃが逸脱する場合、区画線候補Ｌｃに対する逸脱前の更新状態へ保持しておく。

そして、更新部２３４は、車両Ｃが移動し、区画線候補Ｌｃが撮像領域Ｒに再び含まれる場合に、かかる区画線候補Ｌｃに対する更新状態の更新を再開する。これにより、区画線候補Ｌｃを継続的に管理することが可能となる。

また、更新部２３４は、車両Ｃの移動に伴い、予測更新状態ｓｔ３となる区画線候補Ｌｃを更新することもできる。これにより、区画線候補Ｌｃの連続性を適切に保つことが可能となる。

次に、図１１を用いて実施形態に係る画像処理装置１が実行する処理手順について説明する。図１１は、画像処理装置１が実行する処理手順を示すフローチャートである。なお、かかる処理手順は、例えば、車両Ｃの車速が所定値以下（例えば、３０Ｋｍ／ｈ）である場合に、制御部２によって繰り返し実行される。

図１１に示すように、画像処理装置１は、まず、グレースケール画像からエッジ点およびエッジ線を抽出するエッジ線抽出処理を行い（ステップＳ１０１）、エッジ線抽出処理の処理結果に基づいて不適領域判定処理を行う（ステップＳ１０２）。

続いて、画像処理装置１は、ステップＳ１０１にて抽出したエッジ線から区画線候補を検出する区画線検出処理を行う（ステップＳ１０３）。なお、この区画線検出処理の処理手順については、図１２を用いて後述する。

その後、画像処理装置１は、ステップＳ１０３までの処理結果に基づき、駐車不可領域などの有無を判定する除外判定処理を行い（ステップＳ１０４）、駐車枠を検出する駐車枠検出処理を行う（ステップＳ１０５）。

その後、画像処理装置１は、ステップＳ１０５において検出した駐車枠を管理する駐車枠管理を行い（ステップＳ１０６）、車両Ｃの駐車枠内において停車させる停車位置を決定する停車位置決定処理を行い（ステップＳ１０７）、処理を終了する。

次に、図１２を用いて図１１に示したステップＳ１０３の区画線検出処理における処理手順について説明する。図１２は、図１１に示す区画線検出処理の処理手順を示すフローチャートである。なお、かかる処理手順は、区画線検出部２３によって実行される。

図１２に示すように、区画線検出部２３は、線分抽出部２１によって抽出されたエッジ線に基づき、区画線候補Ｌｃの検出処理を行う（ステップＳ１１１）。続いて、区画線検出部２３は、ステップＳ１１１にて検出した区画線候補Ｌｃに基づいて観測区画線候補同士を用いて統合処理を行う（ステップＳ１１２）。

続いて、区画線検出部２３は、観測区画線候補に加え、時系列区画線候補を含めて統合処理を行う（ステップＳ１１３）。なお、ステップＳ１１３の統合処理において、区画線検出部２３は、まず、統合区画線候補同士を時系列区画線候補で補間することで、統合区画線同士が統合条件を満たす場合に、統合区画線同士を用いて統合区画線候補を生成する。

その後、区画線検出部２３は、時系列区画線候補と観測区画線候補とが統合条件を満たす場合に、時系列区画線候補と観測区画線候補を用いて統合区画線候補を生成する。続いて、区画線検出部２３は、不要な観測区画線候補および時系列区画線候補を削除する削除処理を行う（ステップＳ１１４）。

続いて、区画線検出部２３は、区画線情報３１を更新して（ステップＳ１１５）、処理を終了する。

上述したように、実施形態に係る画像処理装置１は、検出部２３１と、生成部２３２とを備える。検出部２３１は、車両Ｃの周囲が撮像された画像データＩから各画素の輝度に基づくエッジ線に基づいて駐車枠を区画する区画線の候補となる区画線候補を検出する。

生成部２３２は、検出部２３１によって検出された区画線候補を所定の統合条件に基づいて統合した統合区画線を生成する。したがって、実施形態に係る画像処理装置１によれば、駐車枠の検出精度を向上させることができる。

ところで、上述した実施形態では、画像処理装置１が、センサ群Ｓｃ（図２参照）から車両Ｃの走行状態に関する情報を取得する場合について説明したが、これに限定されるものではない。すなわち、画像処理装置１は、画像データＩからオプティカルフローを抽出し、オプティカルフローに基づいて車両Ｃの走行状態を推定することにしてもよい。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１ 画像処理装置
２１ 線分抽出部
２２ 不適領域判定部
２３ 区画線検出部
２４ 除外判定部
２５ 駐車枠検出部
２６ 駐車枠管理部
２７ 停車位置決定部
３１ 区画線情報
３２ 統合条件情報
２３１ 検出部
２３２ 生成部
２３３ 消去部
２３４ 更新部
Ｌｃ 区画線候補
Ｌｉ 統合区画線候補

Claims (9)

1. 駐車枠を検出する制御部を備える画像処理装置であって、
   前記制御部は、
   車両の周囲が撮影された画像データから各画素の輝度に基づくエッジ線に基づいて駐車枠を区画する区画線の候補となる区画線候補を検出し、
   前記区画線候補を所定の統合条件に基づいて統合した統合区画線候補を生成し、
   統合対象となる２つの前記区画線候補間での始点と終点とをそれぞれ結ぶ線分のうち、最も長い線分の長さを前記統合区画線候補の長さとする、
   画像処理装置。
2. 前記制御部は、
   統合対象となる２つの前記区画線候補のうち長い区画線候補と、前記最も長い線分とのなす角を、前記２つの区画線候補のそれぞれの長さに応じて案分した角度を前記統合区画線候補の角度とする、
   請求項１に記載の画像処理装置。
3. 前記制御部は、
   統合対象となる２つの前記区画線候補のうち長い区画線候補の端点を前記統合区画線候補の線分の始点または終点とする、
   請求項１または２に記載の画像処理装置。
4. 前記制御部は、
   長い前記区画線候補から順に前記統合条件を満たすか否かを判定する、
   請求項１、２または３に記載の画像処理装置。
5. 前記制御部は、
   現在のフレームにおける前記区画線候補または前記統合区画線候補と、過去のフレームにおける前記区画線候補または前記統合区画線候補とを組み合わせて前記統合区画線候補を生成する、
   請求項１～４のいずれか一つに記載の画像処理装置。
6. 前記制御部は、
   前記現在のフレームにおける前記区画線候補または前記統合区画線候補のペアが前記過去のフレームにおける前記区画線候補または前記統合区画線候補で補間することで前記統合条件を満たす場合、前記ペアを統合して前記統合区画線候補を生成する、
   請求項５に記載の画像処理装置。
7. 前記制御部は、
   前記現在のフレームにおける前記区画線候補または前記統合区画線候補に基づき、前記過去のフレームにおける前記区画線候補および前記統合区画線候補を更新する、
   請求項５または６に記載の画像処理装置。
8. 前記制御部は、
   所定の消去条件を満たす前記区画線候補および前記統合区画線候補を消去する、
   請求項１～７のいずれか一つに記載の画像処理装置。
9. 車両の周囲が撮像された画像データから各画素の輝度に基づくエッジ線に基づいて駐車枠を区画する区画線の候補となる区画線候補を検出する検出工程と、
   前記検出工程によって検出された前記区画線候補を所定の統合条件に基づいて統合した統合区画線候補を生成する生成工程と
   を含み、
   前記生成工程は、
   統合対象となる２つの前記区画線候補間での始点と終点とをそれぞれ結ぶ線分のうち、最も長い線分の長さを前記統合区画線候補の長さとする、
   画像処理方法。

Images