JP6649738B2 - 駐車区画認識装置、駐車区画認識方法 - Google Patents

Description

本発明は、車載カメラの撮影画像を用いて駐車区画線を認識し、駐車区画を特定する技術に関する。

従来、駐車時の運転操作を支援する駐車支援システムにおいて、車載カメラの撮影画像を基に駐車区画線の候補となる一対の候補線を検出することにより各駐車区画線を認識し、認識した各駐車区画線から駐車区画を特定する技術が知られている。駐車支援システムでは、この種の技術を用いて特定した駐車区画の枠内に車両が収まるように、案内画像の表示制御や車両の駆動制御等の駐車支援制御を行っている。

こうした駐車区画認識技術においては、前回認識結果と、車両の挙動に関するデッドレコニング結果と、に基づいて、今回認識における撮影画像上の各駐車区画線の位置を予測し、この予測結果を基に、駐車区画線の途切れや一部かすれによって今回撮影画像からは検出できなかった候補線（ひいては、駐車区画線）を認識する技術が提案されている（特許文献１参照）。

特開２０１４−１０６７３１号公報

しかしながら、従来技術では、車両を後進させて駐車区画のスペースに駐車する場合、車両の後進時に得られた撮影画像を基に駐車区画線の認識を開始するため、例えば後進開始時の車両と駐車区画との間に別の車両が駐車しているシーン等、車載カメラから見た死角に駐車区画が存在する場合に例えば以下のような問題があった。すなわち、上記シーンにおいては、車両を駐車区画に相当近づけなければ、一対の候補線を検出することができないため、駐車区画線を認識するまでに時間がかかり、ひいては駐車区画を特定しにくいという問題があった。その結果、例えば駐車支援制御の開始タイミングが遅れることにより、駐車支援の便利さを損なう可能性が考えられた。

また従来技術では、撮影画像において候補線を検出するための画像処理領域が固定されているため、候補線の検出精度を上げることによって駐車区画線の認識精度を上げようとすると、画像処理の負担を容易に増大させてしまうという問題もあった。

本発明は、こうした問題に鑑みてなされたものであり、駐車開始時に車載カメラから見た死角に駐車区画が存在する場合であっても駐車区画を特定しやすくし、なお且つ、駐車区画線の認識精度を向上させることが可能な技術を提供することを目的としている。

本発明の一局面である駐車区画認識装置は、画像取得部と、挙動情報取得部と、広域認識部と、前進時追跡部と、後進時追跡部と、領域設定部と、広域認識部と、を備える。画像取得部は、車両に搭載されて車両の周辺を撮影する車載カメラの撮影画像を取得する。挙動情報取得部は、車両の挙動を示す挙動情報を取得する。

広域認識部は、画像取得部により取得された撮影画像において予め定められた広域画像領域から、駐車区画線の候補となる候補線を検出する検出処理を行い、その検出処理により検出された一対の候補線を含む複数の候補線を基に各駐車区画線を認識し、認識した各駐車区画線を含んで構成される駐車区画を車両の前進時に特定する。

前進時追跡部は、車両の前進時に、広域認識部により特定された駐車区画を構成する各駐車区画線のそれぞれを対象区画線とし、少なくとも広域認識部による認識結果を基に、各対象区画線の位置を追跡する。一方、後進時追跡部は、車両の後進時に、少なくとも前進時追跡部による追跡結果と、挙動情報取得部により取得された挙動情報とを基に各対象区画線の位置を追跡する。

領域設定部は、広域認識部により認識された各対象区画線の位置を基に、画像取得部により取得された撮影画像において少なくとも広域画像領域よりも小さい狭域画像領域を設定する。そして、狭域認識部は、領域設定部により設定された狭域画像領域から、既述の検出処理を行い、その検出処理により検出された少なくとも１つの候補線と、後進時追跡部による追跡結果とを基に各対象区画線を認識し、認識した各駐車区画線を含んで構成される駐車区画を車両の後進時に特定する。

このような構成によれば、駐車区画のスペースに駐車するために車両を後進させる前に、予め車両の前進時に撮像画像から一対の候補線を検出することにより駐車区画線を認識しておき、さらに車両の挙動を基に駐車区画線の位置を追跡しているため、車両の後進時には、一対の候補線を検出できなくても、その追跡結果を基に駐車区画線を認識することができるようになる。

また、車両の後進時には、撮像画像から少なくとも１つの候補線を検出し、検出した少なくとも１つの候補線と、既述の追跡結果とを基に、駐車区画線を認識しているため、一対の候補線を検出するまでもなく駐車区画線を認識できるようになり、なお且つ、撮像画像から検出した少なくとも１つの候補線により、追跡結果と実際の駐車区画線の位置とのずれを補正できるようになる。これにより、駐車区画線の認識精度を保ちつつ、駐車支援制御の開始タイミングをより早めることが可能になる。

また、車両の後進時には、既に一対の候補線によって駐車区画線の位置を検出できていれば、その駐車区画線の位置を基に画像処理領域を小さくするようにしたため、候補線の検出精度を高くしても、その処理負担が画像処理領域の狭域化によって相殺され、ひいては画像処理の負担を緩和できるようにもなる。

したがって、本発明の一局面によれば、駐車開始時に車載カメラから見た死角に駐車区画が存在する場合であっても駐車区画を特定しやすくし、なお且つ、駐車区画線の認識精度を向上させやすくすることができる。

また、本発明の一局面である駐車区画認識方法によれば、上記同様の理由により、本発明の一局面である駐車区画認識装置において既に述べた効果と同様の効果を得ることができる。

駐車区画認識装置１を含む駐車支援システム１００の全体構成を示すブロック図である。 認識制御ユニット１０の機能的構成を示すブロック図である。 駐車区画認識部１６の機能的構成を示すブロック図である。 広域画像領域及び狭域画像領域を説明するための模式図である。 車両を後進させて駐車区画のスペースに駐車する第１のシーンを示す模式図である。 図５に示す第１のシーンにおいて後進開始時の位置まで車両を前進させるときの様子を示す模式図である。 車両を後進させて駐車区画のスペースに駐車する第２のシーンを示す模式図である。 図７に示す第２のシーンにおいて駐車区画の構成例を示す模式図である。 認識制御処理のフローチャートである。 広域認識処理のフローチャートである。 狭域認識処理のフローチャートである。

以下、図面を参照しながら、発明を実施するための形態を説明する。
［１．第１実施形態］
［１−１．全体構成］
図１に示す駐車区画認識装置１は、前方カメラ２と、後方カメラ４と、認識制御ユニット１０と、を備える。また、駐車区画認識装置１は、駐車支援ＥＣＵ５０を介して車内ローカルエリアネットワーク（以下、車内ＬＡＮ８）に接続されている。なお、車内ＬＡＮ８には、駐車支援ＥＣＵ５０、エンジンＥＣＵ６０、ステアリングＥＣＵ７０、ブレーキＥＣＵ８０及びＨＭＩ−ＥＣＵ９０等が接続されている。そして、各ＥＣＵ５０〜９０には、それぞれに対応する不図示の各制御対象及び各センサが接続されている。以下、これらの構成要素を備える駐車支援システム１００が搭載された車両を自車両という。

各ＥＣＵ５０〜９０と、各ＥＣＵ５０〜９０に対応する各制御対象及び各センサとは、駐車支援システム１００以外にも、それぞれ不図示の各車載制御システムを構成するものである。なお、各車載制御システムは、自車両に予め搭載されている周知のネットワークシステムであり、各ＥＣＵ５０〜９０によって、エンジン制御、ステアリング制御、ブレーキ制御及びヒューマンマシンインターフェース（以下、ＨＭＩ）制御等を行うシステムである。

各制御対象は、各ＥＣＵ５０〜９０によって制御される構成物であり、例えば、エンジンを構成する点火機構や燃料系統、吸排気系統、動弁機構、始動機構、ステアリングを構成するポンプやモータ、ブレーキを構成するアクチュエータ、ＨＭＩを構成する表示装置や音響装置等がある。各センサは、各ＥＣＵ５０〜９０の制御に必要な情報を検出するものであり、例えば、アクセルペダル踏込量や、ステアリング操舵量、ブレーキペダル踏込量、各種スイッチ操作状態、自車両の速度・加速度・操舵角・ヨーレート、シフトレバー位置等をそれぞれ検出するものがある。

各ＥＣＵ５０〜９０は、周知のマイクロコンピュータや車載ネットワーク用の通信コントローラを中心に構成され、各センサから取得した検出情報や、車内ＬＡＮ８から受け取った車両情報を基に、予め割り当てられた制御対象の駆動ないしは出力を制御するものである。なお、車両情報は、車載制御システム全体の最適化を図るためにＥＣＵ５０〜９０間で共有される情報であり、例えば、既述した各センサの検出情報や、ＥＣＵ５０〜９０に制御対象の駆動ないしは出力を行わせるための指令情報等がある。

例えば、駐車支援システム１００では、駐車支援ＥＣＵ５０から車内ＬＡＮ８を介して受信した指令情報に応じて、指定された駐車区画の枠内に自車両が収まるように、エンジンＥＣＵ６０がエンジン制御によって自車両を後進させ、ステアリングＥＣＵ７０がステアリング制御によって自車両を操舵させ、ブレーキＥＣＵ８０がブレーキ制御によって自車両を減速させながら停止させることが可能である。なお、ここでのエンジン制御及びブレーキ制御のうち少なくとも１つの制御を運転者の操作に基づいて行うようにしてもよい。

また例えば、駐車支援システム１００では、駐車支援ＥＣＵ５０から車内ＬＡＮ８を介して受信した指令情報に応じて、ＨＭＩ−ＥＣＵ９０がＨＭＩ制御を行うことにより、１ないし複数の駐車区画から１つの駐車区画を運転者に指定させるための開始画像や、指定された駐車区画の枠内に自車両が収まるように、運転者にとってステアリング操作の参考となるガイド線を示す案内画像を表示する。なお、ここでのガイド線は、指定された駐車区画の枠を表示させる区画枠線、指定された駐車区画と自車両との距離の目安を表示させる距離目安線、自車両の車幅を表示させる車幅延長線、自車両の予想進路を表示させる予想進路線、あるいはこれらを適宜組み合わせた線のいずれでもよい。

駐車支援ＥＣＵ５０は、認識制御ユニット１０に接続されており、自車両のシフトレバーがリバース位置に切り替わったことを検出すると、認識制御ユニット１０によって特定された１ないし複数の駐車区画に関する後述の特定区画情報を取得し、取得した特定区画情報に基づいて既述の開始画像を表示させるための指令情報を生成してＨＭＩ−ＥＣＵ９０に送信する。

また、駐車支援ＥＣＵ５０は、開始画像を基に運転者が指定した駐車区画に関する操作情報を受信すると、受信した操作情報に基づいて既述の案内画像を表示させるための指令情報を生成してＨＭＩ−ＥＣＵ９０に送信する。さらに、不図示の超音波ソナー等により車両周囲の駐車車両等の位置を検出しながら、こうした障害物にぶつからないように駐車可能な自車両の進路を計算し、計算した進路に沿って自車両を後進させるための指令情報を生成してＥＣＵ６０〜８０に送信することも可能である。

なお、車内ＬＡＮ８は、自車両の内部に配備されているローカルエリアネットワークであり、例えば、周知のＣＡＮやＦｌｅｘＲａｙ、ＬＩＮ、ＭＯＳＴ、ＡＶＣ−ＬＡＮ等の通信プロトコルを利用して各種の車両情報を伝送するものである。また、不図示の表示装置は、運転者が表示画像を視認しやすい位置に設置されており、液晶ディスプレイやヘッドアップディスプレイ、電子ミラー、あるいはこれらを適宜組み合わせたものである。また、不図示の音響装置は、例えば駐車支援の開始を示すアナウンスを出力したり、自車両が障害物にぶつかりそうな場合に警告音や警告メッセージを出力したりするために用いられる。

前方カメラ２及び後方カメラ４は、自車両に搭載されて自車両の周辺を撮影する車載カメラに相当するものであり、例えば、レンズが風雨等に晒されず、且つ、運転者の視界の妨げとならないように、車室内においてウインドシールドの上端部との接着により固定される。なお、この場合、前方カメラ２はフロントウインド、後方カメラ４はリアウインドに設けられることになる。

また、前方カメラ２及び後方カメラ４は、例えばＣＭＯＳやＣＣＤ等の周知の撮像素子を有し、それぞれ自車両前方及び自車両後方へ向けてやや水平下向きに光軸を有し所定角範囲で広がる領域を撮影する。こうした撮影領域から入射した光は撮像素子により光電変換され、蓄積された電荷の電圧として読み出された信号が増幅され、Ａ／Ｄ変換により所定の輝度階調のデジタル画像に変換される。以下では、前方カメラ２により生成されるデジタル画像を前方画像、後方カメラ４により生成されるデジタル画像を後方画像という。

［１−２．認識制御ユニット１０の構成］
認識制御ユニット１０は、ＣＰＵ５と、ＲＡＭ、ＲＯＭ、フラッシュメモリ等の半導体メモリ（以下、メモリ６）と、を有する周知のマイクロコンピュータ及び車載ネットワーク用の通信コントローラを中心に構成され、メモリ６に格納されているプログラムに基づいてＣＰＵ５により各種処理が実行されるものである。つまり、このプログラムが実行されることで、プログラムに対応する方法が実行される。なお、認識制御ユニット１０において、マイクロコンピュータの数は１つでも複数でもよく、１ないし複数のマイクロコンピュータの各設置場所は車両内部の何れでもよい。

認識制御ユニット１０は、ＣＰＵ５の各種処理の実行により実現される機能の構成として、図２に示すように、画像取得部１２と、挙動情報取得部１４と、駐車区画認識部１６と、駐車区画出力部１８と、を備える。なお、認識制御ユニット１０が提供するこれらの機能の一部または全部を、一つあるいは複数の論理回路やＩＣ等の電子回路によりハードウェア的に構成してもよい。つまり、認識制御ユニット１０においては、ソフトウェアに限らず、ハードウェアあるいはそれらの組合せによっても上記機能を提供することができる。

画像取得部１２は、前方カメラ２及び後方カメラ４によりそれぞれ生成された前方画像及び後方画像を取得する。本実施形態では、自車両のシフトレバーがドライブ位置である等、自車両の前進時には前方画像及び後方画像の双方を取得し、自車両のシフトレバーがリバース位置である場合、すなわち自車両の後進時には後方画像を取得する。そして、こうして取得した撮影画像は、駐車区画認識部１６に出力される。なお、自車両の前進時に前方画像を取得し、自車両の後進時に後方画像を取得するようにしてもよい。

挙動情報取得部１２は、自車両の挙動を示す挙動情報を取得する。本実施形態での挙動情報は、自車両の速度・加速度・操舵角・ヨーレート等並びにシフトレバー位置の検出情報であり、例えば、車内ＬＡＮ８から駐車支援ＥＣＵ５０を介して他のＥＣＵ６０〜８０から受け取ることができる。そして、こうして取得した挙動情報は、駐車区画認識部１６に出力される。なお、ここでの挙動とは、停止、加速、減速、等速等の基本的な動きに、ヨーイング等の付随的な動きを加えたものをいう。

駐車区画出力部１８は、駐車区画認識部１６によって特定された１ないし複数の駐車区画に関する情報を後述の特定区画情報として、車内ＬＡＮ８を介して駐車支援ＥＣＵ５０に送信する。

［１−３．駐車区画認識部１６の構成］
駐車区画認識部１６は、図３に示すように、画像処理部２０と、対象追跡部３０と、領域設定部４０と、を備える。

画像処理部２０は、画像取得部１２により取得された撮影画像を処理することにより、撮影画像の中から駐車区画線の候補となる候補線を検出する。具体的には、画像処理部２０は、例えば画像データの輝度に基づき、所定のしきい値以上の輝度を有する領域をフレームにおける所定の画像処理領域の底部から上方に向けて探索しエッジを検出する。白線は両端に高周波成分たるエッジを有するので、画像データの輝度値を水平方向に微分すると、白線の両端にピークが得られる。水平方向の輝度の勾配または差分が所定値以上の画素がエッジである。

このエッジを撮影画像の上下方向に結ぶと白線部分を推定でき、推定した白線部分について、白線幅のしきい値、線状の形状である等の特徴からマッチング等の手法を適用して白線を決定する。この特徴は白線らしさを示す指標として定量的に評価され、メモリ６に記憶される。なお、画像データの輝度の重みを例えばＲＧＢ等の画素色毎に可変設定することで、黄色線や青色線等、他の色の候補線を白線の場合と同様の方法により決定することができる。

こうして決定された白線等の候補線が有する複数のエッジを抽出し例えばハフ変換や最小メジアン法（以下、ＬＭｅｄＳ）を用いることにより、候補線のモデル式が得られる。このモデル式は、自車両に対する候補線の位置を示すものであり、候補線の長さや幅、曲率等の情報も含まれる。こうして画像処理部２０の検出処理により各候補線のモデル式で示される候補線情報が得られる。

また、画像処理部２０は、候補線を検出する検出処理を行う際の既述の画像処理領域の大きさの違い、及び、駐車区画線の認識方法の違いから、広域認識部２２と、狭域認識部２４と、に大別される。具体的には、画像処理領域の大きさは、図４に示すように、広域認識部２２が例えば撮影画像のフレームのうち路面が映し出される部分を含む領域として予め定められた広域画像領域を画像処理領域とするのに対し、狭域認識部２４が撮影画像のフレームにおいて少なくとも広域画像領域よりも小さい狭域画像領域を画像処理領域とする点で異なる。一方、駐車区画線の認識方法は、広域認識部２２が検出処理により検出された一対の候補線を含む複数の候補線を基に駐車区画線を認識するのに対し、狭域認識部２４が検出処理により検出された少なくとも１つの候補線と、後述するように対象追跡部３０による駐車区画線の追跡結果とを基に、駐車区画線を認識する点で異なる。

領域設定部４０は、広域認識部２２により検出された一対の候補線について駐車区画線であると推測される尤もらしさを表す尤度に応じて、広域認識部２２により認識された駐車区画線の位置を基に狭域画像領域を設定することにより、画像処理部２０における機能を広域認識部２２から狭域認識部２４に切り替える。なお、ここでの狭域画像領域は、例えば、図４に示すように、広域認識部２２により認識された駐車区画線の長さ及び幅に対して上下左右方向に所定のマージンを加えることによって設定される。また、ここでの「広域認識部２２により認識された駐車区画線の位置」には、撮影画像から認識された駐車区画線の位置の他、撮影画像から認識された駐車区画線の位置を基に対象追跡部３０により追跡された駐車区画線の位置も含まれる。また、本実施形態において「駐車区画線の位置」とは、自車両の位置に対する相対位置をいう。また、ここでの「自車両の位置」とは、例えば自車両の後部中央位置等、自車両において予め定められた基準位置をいう。

対象追跡部３０は、広域認識部２２により特定された駐車区画を構成する各駐車区画線をそれぞれ対象区画線とし、各対象区画線の位置を追跡する機能を有しており、自車両の進行方向の違いから、前進時追跡部３２と、後進時追跡部３４と、に大別される。具体的には、例えば図５に示すように、自車両を後進させて駐車区画のスペースに駐車する場合、後進開始時の自車両と駐車スペースとの間に別の車両が駐車しているシーンにおいては、自車両を駐車区画に相当近づけなければ一対の候補線を検出できないことがある。

こうしたシーン等に対処すべく、対象追跡部３０では、例えば図６に示すように、自車両を後進させる前に、広域認識部２２によって予め自車両の前進時に一対の候補線を検出することにより認識された駐車区画線を対象区画線とし、前進時追跡部３２が少なくともこの広域認識部２２による認識結果を基に、各対象区画線の位置を追跡するようにしている。一方で、自車両のシフトレバーがリバース位置に切り替わると、後進時追跡部３４が少なくとも前進時追跡部３２による追跡結果と、挙動情報取得部１２により取得された挙動情報とを基に、各対象区画線の位置を追跡するようにもしている。

本実施形態では、前進時追跡部３２は、自車両のシフトレバーがドライブ位置である場合、すなわち自車両の前進時に、広域認識部２２により前方画像から特定された駐車区画を構成する各対象区画線の位置をメモリ６に記憶し、各対象区画線の位置が前方カメラ２の撮影領域から外れると、挙動情報取得部１２により取得された挙動情報に基づくデッドレコニング結果を用いて、各対象区画線の位置を算出してメモリ６に記憶していく。さらに、各対象区画線の位置が後方カメラ４の撮影領域に入ると、広域認識部２２により後方画像から認識された各対象区画線の位置をメモリ６に記憶し、各対象区画線の位置が後方カメラ４の撮影領域から外れると、再び挙動情報取得部１２により取得された挙動情報に基づくデッドレコニング結果を用いて、各対象区画線の位置を算出してメモリ６に記憶していくようにしてもよい。こうして前進時追跡部３２では、前方カメラ２や後方カメラ４等の車載カメラの撮影領域から外れた各対象区画線の位置も追跡されることになる。なお、ここでの「デッドレコニング」は、自車両の速度・加速度・操舵角・ヨーレート等を組み合せて使用し、各対象区画線に対する自車両の相対位置を推定する自己位置推定方法である。このため、デッドレコニング結果を用いることにより、自車両に対する各対象区画線の相対位置を推定することができる。

一方、後進時追跡部３４は、自車両のシフトレバーがリバース位置に切り替わると、前進時追跡部３２による各対象区画線の位置の追跡結果を引き継いで、広域認識部２２または狭域認識部２４により撮影画像から認識された各対象区画線の位置を追跡する。具体的には、後進時追跡部３４は、自車両のシフトレバーがリバース位置である場合、すなわち自車両の後進時に、各対象区画線の位置が後方カメラ４の撮影領域から外れている場合には、前進時追跡部３２により追跡された各対象区画線の位置を起点とし、挙動情報取得部１２により取得された挙動情報に基づくデッドレコニング結果を用いて、各対象区画線の位置を算出してメモリ６に記憶する。また、各対象区画線の位置が後方カメラ４の撮影領域に入っている場合には、広域認識部２２または狭域認識部２４により後方画像から特定された駐車区画を構成する各対象区画線の位置をメモリ６に記憶する。さらに、各対象区画線の位置が後方カメラ４の撮影領域から外れると、直前に後方画像から認識した対象区画線の位置を起点とし、既述のデッドレコニング結果を用いて各対象区画線の位置を算出してメモリ６に記憶する。こうして後進時追跡部３４では、後方カメラ４の撮影領域から外れた各対象区画線の位置も追跡されることになる。

このようにすることで、例えば後進時の自車両の位置に対して手前側に駐車している別の車両との衝突を避けるために自車両が大回りに後進することで、各対象区画線の位置が後方カメラ４の撮影領域から外れることがあっても、例えば自車両の位置に対して奥側の駐車区画線に相当する１本の候補線が少なくとも検出できれば、駐車区画線を構成する２本の駐車区画線を認識できるようになる。

なお、車載カメラから見た死角に駐車区画が存在するシーンとしては、図５及び図６に示す既述のシーンに限らず、例えば図７に示すように、自車両を後進させて縦列駐車用の駐車区画のスペースに駐車する場合に、後進開始時の自車両が駐車区画に対してかなり近くに位置しているシーンも想定される。こうしたシーンにおいては、自車両を一旦駐車区画から遠ざけないと一対の候補線を検出できないことがある。これに対し、同様に、予め自車両の前進時に前方画像から一対の候補線を検出することにより１つの駐車区画を構成する例えば３本の駐車区画線を認識しておき、さらに自車両の挙動を基に３本の駐車区画線の位置を追跡しておくことにより、自車両の後進時に、例えば自車両の位置に対して奥側の駐車区画線に相当する１本の候補線が少なくとも検出できれば、駐車区画線を構成する残り２本（すなわち、計３本）の駐車区画線を認識することができる。ちなみに、図８に示すように、２本の駐車区画線によって構成される縦列駐車用の駐車区画のスペースについても同様に、奥側の駐車区画線に相当する１本の候補線が少なくとも検出できれば、駐車区画線を構成する計２本の駐車区画線を認識することができる。

［１−４．処理］
［１−４−１．認識制御処理］
次に、認識制御ユニット１０のＣＰＵ５が実行する処理（以下、認識制御処理）について、図９のフローチャートを用いて説明する。なお、本処理は、例えば車速が基準値以下になると起動し、車速が基準値を超えるか、あるいは自車両のシフトレバーがパーキング位置に切り替わると終了する。

本処理が起動すると、まず、Ｓ１１０において、ＣＰＵ５は、挙動情報取得部１４により取得した挙動情報に基づき、自車両のシフトレバーがドライブ位置、すなわち自車両が前進中であるか否かを判断する。自車両が前進中であると判断した場合は、Ｓ１２０に移行し、自車両が前進中でないと判断した場合は、Ｓ１４０に移行する。

次に、Ｓ１２０において、ＣＰＵ５は、領域設定部４０が広域画像領域を設定することにより、画像処理部２０における機能を広域認識部２２として駐車区画線を認識する処理（以下、広域認識処理）を開始する。なお、ここでの広域認識処理では、前方画像において予め定められた広域画像領域から駐車区画線の候補となる候補線を検出する検出処理を行い、この検出処理により検出された一対の候補線を含む複数の候補線を基に駐車区画線を認識し、認識した各駐車区画線を含んで構成される駐車区画を特定する。

また、Ｓ１３０において、ＣＰＵ５は、Ｓ１２０の広域認識処理の開始に伴い、対象追跡部３０における機能を前進時追跡部３２として対象区画線の位置を追跡する処理（以下、前進時追跡処理）を開始する。なお、ここでの前進時追跡処理では、Ｓ１２０の広域認識処理により特定された駐車区画を構成する各駐車区画線をそれぞれ対象区画線とし、既述した方法で各対象区画線の位置を追跡する。

次に、Ｓ１４０において、ＣＰＵ５は、挙動情報取得部１４により取得した挙動情報に基づき、自車両のシフトレバーがリバース位置、すなわち自車両が後進中であるか否かを判断する。自車両が後進中であると判断した場合は、Ｓ１５０に移行し、自車両が後進中でないと判断した場合は、Ｓ１１０に移行する。

そして、Ｓ１５０において、ＣＰＵ５は、Ｓ１４０でシフトレバー位置がリバース位置に切り替わったことに伴い、前進時追跡処理を解除し、対象追跡部３０における機能を後進時追跡部３４として対象区画線の位置を追跡する処理（以下、後進時追跡処理）を開始する。なお、ここでの後進時追跡処理では、Ｓ１３０の前進時追跡処理による各対象区画線の位置の追跡結果が引き継がれる。

続くＳ１６０において、ＣＰＵ５は、Ｓ１２０又は後述のＳ１７０の広域認識処理により検出された一対の候補線について駐車区画線であると推測される尤もらしさを表す尤度が予め定められた閾値よりも高いか否かを判断する。尤度が閾値よりも高いと判断した場合は、Ｓ１８０に移行し、尤度が閾値以下であると判断した場合は、Ｓ１７０に移行して、広域認識処理を継続しながら、Ｓ１６０を続行する。なお、ここでの広域認識処理では、後方画像において予め定められた広域画像領域から駐車区画線の候補となる候補線を検出する検出処理を行い、この検出処理により検出された一対の候補線を含む複数の候補線を基に駐車区画線を認識し、認識した各駐車区画線を含んで構成される駐車区画を特定する。また、ここでの尤度は、後述するようにＳ１２０又Ｓ１７０の広域認識処理によって定量的に算出される。

次に、Ｓ１８０において、ＣＰＵ５は、Ｓ１２０又は後述のＳ１７０の広域認識処理を解除し、領域設定部４０が狭域画像領域を設定することにより、画像処理部２０における機能を狭域認識部２４として駐車区画線を認識する処理（以下、狭域認識処理）を開始する。なお、ここでの狭域認識処理では、領域設定部４０により後方画像において設定された狭域画像領域から駐車区画線の候補となる候補線を検出する検出処理を行い、この検出処理により検出された少なくとも１つの候補線と、後進時追跡処理による追跡結果とを基に各対象区画線を認識し、認識した各対象区画線を含んで構成される駐車区画を特定する。

そして、Ｓ１８０において、ＣＰＵ５は、Ｓ１８０の狭域認識処理により特定された駐車区画を構成する各駐車区画線の位置、長さ及び幅等を示す情報を、特定区画情報として駐車区画出力部１８が出力することにより、車内ＬＡＮ８を介して駐車支援ＥＣＵ５０に送信する。なお、ここでの特定区画情報は、Ｓ１８０の狭域認識処理により駐車区画が特定される毎に、その駐車区画の識別情報と共に送信される。

［１−４−２．広域認識処理］
次に、Ｓ１２０及びＳ１７０においてＣＰＵ５が実行する広域認識処理について、図１０のフローチャートを用いて説明する。

本処理が開始すると、まず、Ｓ２１０において、ＣＰＵ５は、画像取得部１２により取得された撮影画像における広域画像領域から既述の方法でエッジ検出及び白線抽出を行い、抽出した白線のモデル式を計算する。なお、ここでのモデル式の計算には、周知のハフ変換が用いられる。

続くＳ２２０において、ＣＰＵ５は、Ｓ２１０により計算した各白線のモデル式で示される候補線情報に基づいて、白線ペアを抽出する。なお、ここでの白線ペアは一対の候補線に相当する。また、ここでの白線ペアの抽出では、例えば、各白線の幅や曲率等から互いに類似する一対の白線が選択される。

次に、Ｓ２３０において、ＣＰＵ５は、Ｓ２２０により抽出した白線ペアについて、各長さ、間隔及び平行度の少なくとも１つの指標を基に既述の尤度を算出する。なお、ここでの尤度は、各白線の長さが近い値であるほど大きく、また一方の白線と他方の白線との間隔が一般的な車両の車幅に所定マージンを加えた値に近い値であるほど大きく、また一方の白線と他方の白線とのなす角が０°に近い値であるほど大きく設定される。また、ここでの尤度の算出においては、各白線の白線らしさを示す指標値が大きい値であるほど尤度も大きい値となる。

続くＳ２４０において、ＣＰＵ５は、Ｓ２３０により算出した尤度に基づいて、駐車区画線を認識する。本実施形態では、Ｓ１６０の閾値を第１の閾値とし、この第１の閾値よりも小さい値として予め設定された第２の閾値と尤度を比較し、この尤度が第２の閾値よりも高い場合に、Ｓ２２０により抽出した白線ペアをそれぞれ駐車区画線として認識する。また、例えば、これらの一対の駐車区画線の短部を互いに結ぶ白線が存在する場合は、その白線も駐車区画線として認識する。

そして、ＣＰＵ５は、Ｓ２５０において、Ｓ２４０により認識した各駐車区画線によって駐車区画を特定し、Ｓ２６０において、この駐車区画を構成する各駐車区画線をそれぞれ対象区画線として設定し、Ｓ２１０に移行する。

［１−４−３．狭域認識処理］
次に、Ｓ１８０においてＣＰＵ５が実行する狭域認識処理について、図１１のフローチャートを用いて説明する。

本処理が開始すると、まず、Ｓ３１０において、ＣＰＵ５は、画像取得部１２により取得された撮影画像における狭域画像領域から既述の方法でエッジ検出及び白線抽出を行い、抽出した白線のモデル式を計算する。なお、ここでのモデル式の計算には、Ｓ２１０のハフ変換よりも精細な計算方法としてＬＭｅｄＳが用いられる。

続くＳ３２０において、ＣＰＵ５は、Ｓ３１０により計算した各白線のモデル式で示される候補線情報に基づいて、少なくとも１つの候補線を抽出する。そして、Ｓ３３０において、Ｓ２２０のように一対の候補線に相当する白線ペアを抽出できたか否かを判断し、白線ペアを抽出できた場合には、Ｓ３４０に移行して、Ｓ２３０〜Ｓ２５０と同様の方法（以下、通常処理）によって駐車区画を特定し、Ｓ３１０に移行する。一方、白線ペアを抽出できなかった場合には、Ｓ３５０に移行する。

次に、Ｓ３５０において、ＣＰＵ５は、Ｓ１５０の後進時追跡処理によりメモリ６に直前に記憶された各対象区画線の位置と、Ｓ３２０により抽出した１つの候補線の位置とを比較することで、Ｓ３２０により抽出した１つの候補線と共に白線ペアとなる他方の候補線の位置を推定することにより、白線ペアを抽出する。またこの際、後進時追跡処理により追跡された各対象区画線の位置を、Ｓ３２０により抽出した１つの候補線の位置を用いて補正する。そして、こうして抽出した白線ペアを駐車区画線として認識する。

また、ＣＰＵ５は、Ｓ３６０において、Ｓ２５０により認識した駐車区画線によって駐車区画を特定し、Ｓ３７０において、この駐車区画を構成する各駐車区画線をそれぞれ対象区画線として設定し、Ｓ３１０に移行する。

［１−５．効果］
以上詳述した第１実施形態によれば、以下の効果が得られる。
（１ａ）自車両を後進させる前に、予め車両の前進時に撮影画像から一対の候補線を検出することにより駐車区画線を認識しておき、さらに自車両の挙動を基に駐車区画線の位置を追跡しているため、車両の後進時には一対の候補線を検出できなくても、その追跡結果を基に駐車区画線を認識することができる。

（２ａ）車両の後進時には、後方画像から１つの候補線を検出し、検出した１つの候補線と、対象区画線の追跡結果とを基に駐車区画線を認識しているため、一対の候補線を検出するまでもなく駐車区画線を認識でき、なお且つ、後方画像から検出した１つの候補線により、対象区画線の追跡結果と実際の駐車区画線の位置とのずれを補正できる。

（３ａ）また車両の後進時には、既に一対の候補線によって駐車区画線の位置を検出できていれば、その駐車区画線の位置を基に画像処理領域を小さくするため、候補線の検出処理に精細な計算方法を用いても、その処理負担が画像処理領域の狭小化によって相殺され、ひいては画像処理の負担を緩和できる。

（４ａ）したがって、上記（１ａ）〜（３ａ）により、駐車区画のスペースに駐車するために車両を後進させる際に、その後進開始時に車載カメラから見た死角に駐車区画が存在する場合であっても、駐車区画を特定しやすくし、なお且つ、駐車区画線の認識精度を向上させやすくすることができる。

（５ａ）また、後進時追跡処理では、前進時追跡処理による各対象区画線の位置の追跡結果を引き継いで、後方画像を基に認識された各対象区画線の位置を追跡するため、駐車区画線を認識するまでの時間を短縮でき、その結果、駐車支援制御の開始タイミングを早めることが可能となり、運転者にとっての使い勝手を向上させることができる。

（６ａ）また、前進時追跡処理では、前方カメラ２と後方カメラ４の撮影画像を基に認識された各対象区画線の位置を追跡するため、前方画像と後方画像のいずれか一方から駐車区画線が認識されれば、その認識結果が反映されることになり、ひいては追跡精度を向上させることができる。

（７ａ）また、後進時追跡処理では、広域認識処理または狭域認識処理により認識された各対象区画線の位置を追跡するため、仮に自車両の前進時に広域認識処理によって駐車区画線を認識できなかった場合であっても、自車両の後進時に広域認識処理によって駐車区画線が認識されれば、その認識結果を反映させることができる。

（８ａ）また、認識制御処理では、広域認識処理により検出された一対の候補線について駐車区画線であると推測される尤もらしさを表す尤度が第１の閾値よりも高い場合に、狭域画像領域を設定するため、狭域認識処理における駐車区画線の認識精度を向上させることができる。

（９ａ）また、認識制御処理では、一対の候補線の各長さ、間隔及び平行度の少なくとも１つの基に尤度を算出するため、適切に駐車区画線の尤もらしさを求めることができる。

［２．他の実施形態］
以上、本発明を実施するための形態について説明したが、本発明は上述の実施形態に限定されることなく、種々変形して実施することができる。

（２Ａ）上記実施形態では、前進時追跡処理において、前方カメラ２と後方カメラ４の撮影画像を基に認識された各対象区画線の位置を追跡し、後進時追跡処理において、後方カメラ４の撮影画像を基に認識された各対象区画線の位置を追跡しているが、これに限定されるものではない。例えば、前進時追跡処理において、前方カメラ２の撮影画像を基に認識された各対象区画線の位置を追跡し、後進時追跡処理において、後方カメラ４の撮影画像を基に認識された各対象区画線の位置を追跡するようにしてもよい。こうすることで、処理負担を軽減することができる。

（２Ｂ）上記実施形態における１つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を１つの構成要素に統合させたりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。

（２Ｃ）上述した駐車区画認識装置１の他、当該駐車区画認識装置１を構成要素とする駐車支援システム１００、当該駐車区画認識装置１としてコンピュータを機能させるための１ないし複数のプログラム、このプログラムの少なくとも一部を記録した１ないし複数の半導体メモリ等の非遷移的実体的記録媒体、駐車区画認識方法など、種々の形態で本発明を実現することもできる。

１…駐車区画認識装置、２…前方カメラ、４…後方カメラ、５…ＣＰＵ、６…メモリ、８…車内ＬＡＮ、１０…認識制御ユニット、１２…画像取得部、１２…挙動情報取得部、１４…挙動情報取得部、１６…駐車区画認識部、１８…駐車区画出力部、２０…画像処理部、２２…広域認識部、２４…狭域認識部、３０…対象追跡部、３２…前進時追跡部、３４…後進時追跡部、４０…領域設定部、５０…駐車支援ＥＣＵ、６０…エンジンＥＣＵ、７０…ステアリングＥＣＵ、８０…ブレーキＥＣＵ、９０…ＨＭＩ−ＥＣＵ、１００…駐車支援システム。

Claims (6)

1. 車両に搭載されて前記車両の周辺を撮影する車載カメラの撮影画像を取得する画像取得部と、
   前記車両の挙動を示す挙動情報を取得する挙動情報取得部と、
   前記画像取得部により取得された撮影画像において予め定められた広域画像領域から、駐車区画線の候補となる候補線を検出する検出処理を行い、該検出処理により検出された一対の候補線を含む複数の候補線を基に前記各駐車区画線を認識し、認識した前記各駐車区画線を含んで構成される駐車区画を前記車両の前進時に特定する広域認識部と、
   前記車両の前進時に、前記広域認識部により特定された駐車区画を構成する前記各駐車区画線をそれぞれ対象区画線とし、少なくとも前記広域認識部による認識結果を基に、前記各対象区画線の位置を追跡する前進時追跡部と、
   前記車両の後進時に、少なくとも前記前進時追跡部による追跡結果と、前記挙動情報取得部により取得された挙動情報とを基に、前記各対象区画線の位置を追跡する後進時追跡部と、
   前記広域認識部により認識された前記各対象区画線の位置を基に、前記画像取得部により取得された撮影画像において少なくとも前記広域画像領域よりも小さい狭域画像領域を設定する領域設定部と、
   前記領域設定部により設定された狭域画像領域から、前記検出処理を行い、該検出処理により検出された少なくとも１つの前記候補線と、前記後進時追跡部による追跡結果とを基に前記各対象区画線を認識し、認識した前記各対象区画線を含んで構成される前記駐車区画を前記車両の後進時に特定する狭域認識部と、
   を備える駐車区画認識装置。
2. 請求項１に記載の駐車区画認識装置であって、
   前記後進時追跡部は、前記前進時追跡部による前記各対象区画線の位置の追跡結果を引き継いで、前記車載カメラの撮影画像を基に前記広域認識部または前記狭域認識部により認識された前記各対象区画線の位置を追跡する、
   ことを特徴とする駐車区画認識装置。
3. 請求項１又は請求項２に記載の駐車区画認識装置であって、
   前記画像取得部は、前記車載カメラとして、前記車両の前方を撮影する前方カメラと、前記車両の後方を撮影する後方カメラと、の撮影画像をそれぞれ取得可能であり、
   前記前進時追跡部は、前記前方カメラ又は前記後方カメラの撮影画像を基に前記広域認識部により認識された前記各対象区画線の位置を追跡し、
   前記後進時追跡部は、前記後方カメラの撮影画像を基に前記広域認識部又は前記狭域認識部により認識された前記各対象区画線の位置を追跡する、
   ことを特徴とする駐車区画認識装置。
4. 請求項１から請求項３までの何れか１項に記載の駐車区画認識装置であって、
   前記領域設定部は、前記広域認識部により検出された一対の候補線について前記駐車区画線であると推測される尤もらしさを表す尤度が予め定められた閾値よりも高い場合に、前記狭域画像領域を設定する、
   ことを特徴とする駐車区画認識装置。
5. 請求項４に記載の駐車区画認識装置であって、
   前記領域設定部は、前記一対の候補線の各長さ、間隔及び平行度の少なくとも１つを基に前記尤度を算出する、
   ことを特徴とする駐車区画認識装置。
6. 車両に搭載されて前記車両の周辺を撮影する車載カメラの撮影画像を取得する画像取得工程と、
   前記車両の挙動を示す挙動情報を取得する挙動情報取得工程と、
   前記画像取得工程により取得された撮影画像において予め定められた広域画像領域から、駐車区画線の候補となる候補線を検出する検出処理を行い、該検出処理により検出された一対の候補線を含む複数の候補線を基に前記各駐車区画線を認識し、認識した前記各駐車区画線を含んで構成される駐車区画を前記車両の前進時に特定する広域認識工程と、
   前記車両の前進時に、前記広域認識工程により特定された駐車区画を構成する前記各駐車区画線をそれぞれ対象区画線とし、少なくとも前記広域認識工程による認識結果を基に、前記各対象区画線の位置を追跡する前進時追跡工程と、
   前記車両の後進時に、少なくとも前記前進時追跡工程による追跡結果と、前記挙動情報取得工程により取得された挙動情報とを基に、前記各対象区画線の位置を追跡する後進時追跡工程と、
   前記広域認識工程により認識された前記各対象区画線の位置を基に、前記画像取得工程により取得された撮影画像において少なくとも前記広域画像領域よりも小さい狭域画像領域を設定する領域設定工程と、
   前記領域設定工程により設定された狭域画像領域から、前記検出処理を行い、該検出処理により検出された少なくとも１つの前記候補線と、前記後進時追跡工程による追跡結果とを基に前記各対象区画線を認識し、認識した前記各対象区画線を含んで構成される前記駐車区画を前記車両の後進時に特定する狭域認識工程と、
   を備える駐車区画認識方法。