JP6799030B2 - 画像認識装置、画像認識方法、及び駐車支援システム - Google Patents

Description

本発明は、区画線を認識する画像認識技術に関する。

近年、カメラ画像から白線等の区画線を認識し、認識した区画線に基づいて駐車枠を構築する技術が開発されている（例えば特許文献１参照）。

特許文献１で開示されている駐車枠構築技術は、車両の後方を撮影する後方カメラで得られた撮影画像のみで区画線を認識し、その認識した区画線に基づいて駐車枠を構築する。換言すると、特許文献１で開示されている駐車枠構築技術は、車両の後方を撮影する後方カメラで得られた撮影画像のみで区画線を認識し、その認識した区画線に基づいて所定の駐車位置を設定する。

特開２０１０−１９５２２４号公報

通常、後方カメラには広角カメラが採用される。広角カメラで得られた撮影画像の端部は中央部に比べて歪みが大きいため解像度が悪い。

したがって、図８に示すように自車両Ｖ１が区画線ＬＮの前を横切るとき、自車両Ｖ１の側方に位置する区画線ＬＮは後方カメラで得られた撮影画像上の端部になり、区画線ＬＮの認識精度が低くなる。その結果、駐車枠が正しい位置からずれて構築されるおそれがあった。

本発明は、上記の課題に鑑み、区画線の誤認識を低減できる画像認識技術を提供することを目的とする。

本発明に係る画像認識装置は、車両の周辺を撮影する第１カメラで得られた第１撮影画像に基づき駐車区画を示す区画線を探索する探索部と、前記探索部の探索結果に基づき駐車すべき駐車位置を決定する決定部と、前記決定部による決定の後、前記車両の周辺を撮影する第２カメラで得られた第２撮影画像に基づき前記区画線を認識する認識部と、を備え、前記認識部は、前記探索部において得られる前記第１撮影画像の認識結果に基づき前記第２撮影画像の前記区画線の認識を補正する構成（第１の構成）である。

また、上記第１の構成の画像認識装置において、前記認識部は、前記車両の少なくとも一部が前記駐車区画内に入ったことを推定した後、前記第１撮影画像に基づき前記区画線を認識する構成（第２の構成）であってもよい。

また、上記第１又は第２の構成の画像認識装置において、前記第１カメラは前記車両の側方を撮影するカメラであり、前記第２カメラは前記車両の後方または前方を撮影するカメラである構成（第３の構成）であってもよい。

また、上記第１〜第３いずれかの構成の画像認識装置において、前記認識部は、前記第１撮影画像から認識された前記区画線の形状に基づき前記第２撮影画像の前記区画線の認識を補正する構成（第４の構成）であってもよい。

また、上記第第４の構成の画像認識装置において、前記認識部は、前記第１撮影画像から認識された前記区画線の形状と前記第２撮影画像から認識された前記区画線の形状とが所定量以上ずれている場合、前記第１撮影画像から認識された前記区画線の形状を採用し、採用した前記区画線の形状に基づき前記第２撮影画像の前記区画線の認識を補正する構成（第５の構成）であってもよい。

また、上記第１〜第５いずれかの構成の画像認識装置において、前記認識部は、前記第１撮影画像から認識された前記区画線の色に基づき前記第２撮影画像の前記区画線の認識を補正する構成（第６の構成）であってもよい。

また、上記第１〜第６いずれかの構成の画像認識装置において、前記認識部は、前記第１撮影画像から認識された前記区画線の方向に基づき前記第２撮影画像の前記区画線の認識を補正する構成（第７の構成）であってもよい。

また、上記第１〜第７いずれかの構成の画像認識装置において、前記認識部は、前記第１撮影画像から認識された前記区画線の太さに基づき前記第２撮影画像の前記区画線の認識を補正する構成（第８の構成）であってもよい。

また、上記第１〜第８いずれかの構成の画像認識装置において、前記認識部は、前記第１撮影画像から認識された前記駐車区画の幅に基づき前記第２撮影画像の前記区画線の認識を補正する構成（第９の構成）であってもよい。

本発明に係る画像認識方法は、車両の周辺を撮影する第１カメラで得られた第１撮影画像に基づき駐車区画を示す区画線を探索する探索工程と、前記探索工程の探索結果に基づき駐車すべき駐車位置を決定する決定工程と、前記決定工程による決定の後、前記車両の周辺を撮影する第２カメラで得られた第２撮影画像に基づき前記区画線を認識する認識工程と、を備え、前記認識工程は、前記探索工程において得られる前記第１撮影画像の認識結果に基づき前記第２撮影画像の前記区画線の認識を補正する構成（第１０の構成）である。

本発明に係る駐車支援システムは、上記第１〜第９いずれかの構成の画像認識装置と、前記画像認識装置の認識結果に基づき前記車両の制御量を算出する駐車制御装置と、を備える構成（第１１の構成）である。

本発明の画像認識技術によれば、区画線の誤認識を低減できる。

駐車支援システムの一構成例を示す図 駐車場における自車両の位置を示す図 駐車場における自車両の位置を示す図 駐車場における自車両の位置を示す図 駐車場における自車両の位置を示す図 画像処理ＥＣＵ及び駐車制御ＥＣＵの動作例を示すフローチャート 目標駐車位置の算出手順を示すフローチャート 端点座標と目標駐車位置の座標候補との関係を示す上面図 区画線の形状例を示す図 口型形状の区画線を示す図 駐車場における自車両の位置を示す図

以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。以下の説明では、車両の直進進行方向であって、運転席からステアリングに向かう方向を「前方向」と呼ぶ。また、車両の直進進行方向であって、ステアリングから運転席に向かう方向を「後方向」と呼ぶ。また、車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転手の右側から左側に向かう方向を「左方向」と呼ぶ。また、車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転手の左側から右側に向かう方向を「右方向」と呼ぶ。また、駐車支援システムを搭載している車両を「自車両」と呼ぶ。

＜１．駐車支援システムの構成＞
図１は、駐車支援システムの一構成例を示す図である。図１に示す駐車支援システムは、画像処理ＥＣＵ（Electronic Control Unit）１と、撮影部２と、駐車制御ＥＣＵ３と、ＥＰＳ（Electric Power Steering）−ＥＣＵ４と、車載ネットワーク５と、表示装置６と、を備える。

画像処理ＥＣＵ１は、撮影部２及び表示装置６に接続されるとともに、駐車制御ＥＣＵ３及びＥＰＳ−ＥＣＵ４にＣＡＮ（Controller Area Network）などの車載ネットワーク５を介して接続される。

撮影部２は、４つのカメラ２０〜２３を備える。カメラ２０は自車両の前端に設けられる。このため、カメラ２０をフロントカメラ２０とも呼ぶ。カメラ２１は自車両の後端に設けられる。このため、カメラ２１をバックカメラ２１とも呼ぶ。フロントカメラ２０及びバックカメラ２１の光軸は上面視で自車両の前後方向に沿っている。フロントカメラ２０は自車両の前方向を撮影し、バックカメラ２１は自車両の後方向を撮影する。フロントカメラ２０及びバックカメラ２１の取付位置は、自車両の左右中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。

カメラ２２は自車両の左側ドアミラーに設けられる。このため、カメラ２２を左サイドカメラ２２とも呼ぶ。また自車両がいわゆるドアミラーレス車である場合には、左サイドカメラ２２は、左サイドドアの回転軸（ヒンジ部）の周辺にドアミラーを介することなく取り付けられる。左サイドカメラ２２の光軸は上面視で自車両の左右方向に沿っている。左サイドカメラ２２は自車両の左方向を撮影する。カメラ２３は自車両の右側ドアミラーに設けられる。このため、カメラ２３を右サイドカメラ２３とも呼ぶ。また自車両がいわゆるドアミラーレス車である場合には、右サイドカメラ２３は、右サイドドアの回転軸（ヒンジ部）の周辺にドアミラーを介することなく取り付けられる。右サイドカメラ２３の光軸は上面視で自車両の左右方向に沿っている。右サイドカメラ２３は自車両の右方向を撮影する。

画像処理ＥＣＵ１は、映像取得部１０と、探索部１１と、決定部１２と、認識部１３と、表示制御部１４と、を備える。画像処理ＥＣＵ１は、画像を認識する画像認識装置であるとともに、表示装置６の表示を制御する表示制御装置でもある。

画像処理ＥＣＵ１は、例えば制御部と記憶部とによって構成することができる。制御部は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）を備えるコンピュータである。記憶部は、画像処理ＥＣＵ１が映像取得部１０、探索部１１、決定部１２、認識部１３、及び表示制御部１４として動作するために必要なコンピュータプログラム及びデータを不揮発的に記憶する。記憶部としては、例えば、ＥＥＰＲＯＭ、フラッシュメモリ等を用いることができる。

映像取得部１０は、各カメラ２０〜２３からアナログ又はデジタルの撮影画像を所定の周期（例えば、１／３０秒周期）で時間的に連続して取得する。そして、取得した時間的に連続した撮影画像（取得した映像）がアナログの場合には、映像取得部１０は、そのアナログの撮影画像をデジタルの撮影画像に変換（Ａ／Ｄ変換）する。

探索部１１は、映像取得部１０から出力される左サイドカメラ２２の撮影画像及び右サイドカメラ２３の撮影画像に基づき駐車区画を示す区画線を探索する。探索部１１は、例えば自車両の車速が所定速度以下になった場合に駐車区画を示す区画線の探索を開始する。本実施形態では、探索部１１は、左サイドカメラ２２の撮影画像及び右サイドカメラ２３の撮影画像から駐車区画を示す区画線をエッジ抽出などの画像処理を利用して例えば１００ｍｓ周期で認識し、認識した区画線に基づき駐車枠を認識する。なお、区画線は駐車場の舗装面に白線や黄線などで描かれている。決定部１２は、認識した駐車枠に基づき駐車すべき駐車位置を決定する。本実施形態では、決定部１２は、自車両が停車した時点で自車両に最も近い空き駐車区画を駐車すべき駐車位置として決定する。

認識部１３は、決定部１２による決定の後、バックカメラ２１の撮影画像から駐車すべき駐車位置の区画線をエッジ抽出などの画像処理を利用して例えば１００ｍｓ周期で認識し、認識した区画線に基づき駐車枠を認識する。

認識部１３は、決定部１２によって決定された駐車位置に対応する目標駐車位置を算出する。さらに、認識部１３は、目標駐車位置を駐車制御ＥＣＵ３に送信し、その後、駐車制御ＥＣＵ３によって推定された目標駐車位置を受信する。

認識部１３は、探索部１１において得られる左サイドカメラ２２の撮影画像及び右サイドカメラ２３の撮影画像の認識結果に基づきバックカメラ２１の撮影画像の認識を補正する。当該補正の具体例については後述する。

表示制御部１４は、表示装置６の表示を制御する。例えば、表示制御部１４は、映像取得部１０から出力される撮影画像に目標駐車位置を示す指標を重畳した表示画像を生成する。

駐車制御ＥＣＵ３は、画像処理ＥＣＵ１から受信した目標駐車位置と不図示のクリアランスソナーセンサの出力とに基づいて、駐車可能な目標駐車位置を推定する。なお、駐車制御ＥＣＵ３は、車載ネットワーク５から取得した自車両の舵角、車速、シフトなどの情報に基づいて自車両の移動量を推定し、推定した自車両の移動量に対応する目標駐車位置を、推定した自車両の移動量と画像処理ＥＣＵ１から受信した目標駐車位置とに基づいて推定してもよい。駐車制御ＥＣＵ３は、推定した目標駐車位置を画像処理ＥＣＵ１に送信する。さらに、駐車制御ＥＣＵ３は、不図示のクリアランスソナーセンサの出力と目標駐車位置とに基づいてステアリング操舵量を算出し、ステアリング操舵量に関する情報をＥＰＳ−ＥＣＵ４に送信する。なお、ステアリング制御できない目標駐車位置は、目標駐車位置の推定の時に削除する。

ＥＰＳ−ＥＣＵ４は、駐車制御ＥＣＵ３から受け取ったステアリング操舵量に関する情報に基づいて自車両の駐車動作時に自動操舵を行う。なお、アクセル操作及びブレーキ操作はドライバーが担う。

＜２．駐車支援システムの概略動作＞
駐車支援システムの概略動作について駐車シーンを参照して説明する。図２Ａ〜図２Ｄは駐車場における自車両の位置を示す図である。駐車シーンは、図２Ａ、図２Ｂ、図２Ｃ、図２Ｄの順に推移する。

自車両Ｖ１が所定速度以下で図２Ａに示すように直進前進している期間（以下、期間Ａという）では、探索部１１は、左サイドカメラ２２の撮影画像及び右サイドカメラ２３の撮影画像に基づき空き駐車区画の区画線を認識する。認識部１３は、探索部１１による区画線の認識結果から空き駐車区画の目標駐車位置を算出する。図２Ａ中の黒丸が空き駐車区画の目標駐車位置である。

自車両Ｖ１が所定速度以下で図２Ｂに示すように旋回前進している期間（以下、期間Ｂという）では、探索部１１は、旋回外側のサイドカメラ（図２Ｂでは左サイドカメラ２２）の撮影画像及びバックカメラ２１の撮影画像に基づき空き駐車区画の区画線を認識する。認識部１３は、探索部１１による区画線の認識結果から空き駐車区画の目標駐車位置を算出する。図２Ｂ中の黒丸が空き駐車区画の目標駐車位置である。

図２Ｃに示すように自車両Ｖ１が停車又は駐車すべき駐車区画の駐車枠ＦＭ外を後退している期間（以下、期間Ｃという）では、認識部１３は、バックカメラ２１の撮影画像に基づき駐車すべき駐車区画の区画線を認識する。ここでは、認識部１３は、バックカメラ２１の撮影画像全体を用いずに、前回までに認識した区画線の端点周囲領域のみを用いる。認識部１３は、区画線の認識結果から駐車すべき駐車区画の目標駐車位置を算出する。図２Ｃ中の黒丸が駐車すべき駐車区画の目標駐車位置である。

図２Ｄに示すように自車両Ｖ１の少なくとも一部が駐車すべき駐車区画の駐車枠ＦＭ内に入った状態で自車両Ｖ１が後退している期間（以下、期間Ｄという）では、認識部１３は、左サイドカメラ２２の撮影画像及び右サイドカメラ２３の撮影画像に基づき駐車すべき駐車区画の区画線を認識する。ここでは、認識部１３は、左サイドカメラ２２の撮影画像全体及び右サイドカメラ２３の撮影画像全体を用いずに、前回までに認識した区画線の端点周囲領域のみを用いる。認識部１３は、区画線の認識結果から駐車すべき駐車区画の目標駐車位置を算出する。図２Ｄ中の黒丸が駐車すべき駐車区画の目標駐車位置である。期間Ｄではバックカメラ２１の撮影画像を用いずに区画線を認識するので、バックカメラ２１の撮影画像の端部に区画線が位置していても、空き駐車区画に対応する駐車枠及び目標駐車位置が正しい位置からずれることを抑制することができる。

探索部１１は、期間Ａで得られる左サイドカメラ２２の撮影画像及び右サイドカメラ２３の撮影画像の認識結果、及び、期間Ｂで得られる旋回外側サイドカメラの撮影画像の認識結果に基づき、期間Ｂで得られるバックカメラ２１の撮影画像の認識を補正する。これにより、期間Ｂで得られるバックカメラ２１の撮影画像に基づく区画線の認識精度が向上する。したがって、空き駐車区画に対応する駐車枠及び目標駐車位置が正しい位置からずれることを抑制することができる。

認識部１３は、期間Ａで得られる左サイドカメラ２２の撮影画像及び右サイドカメラ２３の撮影画像の認識結果、及び、期間Ｂで得られる旋回外側サイドカメラの撮影画像の認識結果に基づき、期間Ｃで得られるバックカメラ２１の撮影画像の認識を補正する。これにより、期間Ｃで得られるバックカメラ２１の撮影画像に基づく区画線の認識精度が向上する。したがって、駐車すべき駐車区画に対応する駐車枠及び目標駐車位置が正しい位置からずれることを抑制することができる。

＜３．画像処理ＥＣＵ及び駐車制御ＥＣＵの動作＞
次に、画像処理ＥＣＵ１及び駐車制御ＥＣＵ３の動作について説明する。図３は、画像処理ＥＣＵ１及び駐車制御ＥＣＵ３の動作例を示すフローチャートである。なお、区画線認識及び駐車枠認識動作に関する動作主体は画像処理ＥＣＵ１の探索部１１又は認識部１３である。

図３に示すフロー動作では、まず始めに画像処理ＥＣＵ１が区画線の認識を試みる（ステップＳ１）。

区画線が認識されると、画像処理ＥＣＵ１は、カメラ画像の座標系を、車両の特定点を原点とした座標系（ワールド座標系）に変換する（ステップＳ２）。本実施形態では、車両の特定点は、車両の前端から後方向に有効長（車両の全長からリアオーバーハングを引いた長さ）離れており、且つ、車両の左右方向の中央である点としている。そして、ワールド座標系では、車両の前後方向をＺ軸方向（後方向がＺ軸の正方向）とし、車両の左右方向をＸ軸方向（左方向がＸ軸の正方向）としている。

ステップＳ２に続くステップＳ３において、画像処理ＥＣＵ１は、カメラ画像に基づき駐車枠を認識する。

次に、決定部１２は、認識した駐車枠に基づき駐車すべき駐車位置を決定する（ステップＳ４）。次に、認識部１３は、決定部１２によって決定された駐車位置に対応する目標駐車位置を算出し（ステップＳ５）、目標駐車位置に関する情報を駐車制御ＥＣＵ３に送信する（ステップＳ６）。

駐車制御ＥＣＵ３は、画像処理ＥＣＵ１から目標駐車位置に関する情報を受信する（ステップＳ４１）次に、駐車制御ＥＣＵ３は、受信した目標駐車位置に関する情報とクリアランスソナーセンサの出力とに基づき、目標駐車位置を推定する（ステップＳ４２）。なお、駐車制御ＥＣＵ３は、受信した目標駐車位置に関する情報に基づき、自車両の移動量に対応する目標駐車位置を推定してもよい。そして、駐車制御ＥＣＵ３は、推定した目標駐車位置に関する情報を画像処理ＥＣＵ１に送信する（ステップＳ４３）。

決定部１２は、駐車制御ＥＣＵ３によって推定された目標駐車位置に関する情報を受信する（ステップＳ７）。認識部１３は、既に算出した目標駐車位置（ステップＳ５）に代えて、駐車制御ＥＣＵ３によって推定された目標駐車位置を新たな目標駐車位置として認識する。次に、画像処理ＥＣＵ１は、ワールド座標系をカメラ画像の座標系に戻す（ステップＳ８）。そして、表示制御部１４は、認識部１３が新たに認識した目標駐車位置に基づき、映像取得部１０から出力される撮影画像に目標駐車位置を示す指標を重畳した表示画像を生成し、目標駐車位置を表示装置６の表示画面に描画する（ステップＳ９）。

なお、画像処理ＥＣＵ１は、終了イベントが発生しているか否かを図３に示すフローチャートの動作中常時監視し、終了イベントが発生すれば直ちに図３に示すフローチャートの動作を終了する。終了イベントとしては、例えば、ワールド座標系において目標駐車位置の座標と原点との距離が略零である所定値以下になったこと、自車両の車速が所定速度より速くなったこと等を挙げることができる。

＜４．目標駐車位置の算出＞
次に、画像処理ＥＣＵ１によって実行される目標駐車位置の算出について説明する。図４は、目標駐車位置の算出手順を示すフローチャートである。図５は、端点座標と目標駐車位置の座標候補との関係を示す上面図である。

目標駐車位置の算出において、まず、画像処理ＥＣＵ１は、一方の区画線の端点座標ＥＰ１から車両とは逆側に向かって有効長Ｌ０（車両の全長からリアオーバーハングを引いた長さ）離れている第１の座標Ａ１を算出する（ステップＳ１１）。次に、画像処理ＥＣＵ１は、他方の区画線の端点座標ＥＰ２から車両とは逆側に向かって有効長Ｌ０離れている第２の座標Ａ２を算出する（ステップＳ１２）。駐車枠検知結果は、区画線の端点座標ＥＰ１及びＥＰ２に関する情報を含んでいる。

次に、画像処理ＥＣＵ１は、一方の区画線の長手方向と垂直な方向に第１の座標Ａ１から他方の区画線に向かって第１の端点座標ＥＰ１と他方の区画線との距離Ｗの半分離れている第３の座標Ａ３を算出し、一方の区画線の長手方向と垂直な方向に第１の座標Ａ１から他方の区画線とは逆側に向かって距離Ｗの半分離れている第４の座標Ａ４を算出する（ステップＳ１３）。さらに、画像処理ＥＣＵ１は、他方の区画線の長手方向と垂直な方向に第２の座標Ａ２から一方の区画線側に向かって距離Ｗの半分離れている第５の座標Ａ５を算出し、他方の区画線の方向と垂直な方向に第２の座標Ａ２から一方の区画線とは逆側に向かって距離Ｗの半分離れている第６の座標Ａ６を算出する（ステップＳ１４）。

そして、画像処理ＥＣＵ１は、第３の座標Ａ３〜第６の座標Ａ６のうち２点間距離が最小になる２つの座標を選択し（ステップＳ１５）、選択した２つの座標のうち車両に近い方の座標（原点との距離が小さい方の座標）を目標駐車位置の座標とし（ステップＳ１６）、目標駐車位置の座標の算出処理を終了する。

図４に示すフローチャートの処理によって、目標駐車位置の座標を一方の区画線及び他方の区画線の車両側の端部（駐車区画の入り口）から駐車区画の奥行き方向に有効長Ｌ０だけ奥に入り、且つ一方の区画線及び他方の区画線の中央である位置にすることができる。

＜５．補正の具体例＞
次に、認識部１３が実行する補正の具体例について説明する。なお、駐車シーンが図２Ａ、図２Ｂ、図２Ｃ、図２Ｄの順に推移する際、一度認識された区画線や一度認識された駐車枠は座標管理によって追尾され、認識部１３が実行する補正は、各区画線単位や各駐車枠単位で実行される。また、後述する第１〜第５の補正例のうちの複数を組み合わせ実施してもよい。

（第１の補正例）
例えば、認識部１３は、左サイドカメラ２２の撮影画像及び右サイドカメラ２３の撮影画像から認識された区画線の形状に基づきバックカメラ２１の撮影画像の認識を補正する。区画線の形状例として図６（ａ）に示すＩ型形状、図６（ｂ）に示すＵ型形状、図６（ｃ）に示す口型形状等がある。

区画線の形状が図６（ｃ）に示す口型形状であれば、期間Ｃにおいて「前回までに認識した区画線の端点周囲領域」は図７に示す領域Ｒとなる。ここで、認識部１３が区画線の形状として図６（ｃ）に示す口型形状を正しく認識していなければ、認識部１３が領域Ｒ内の区画線端部の出っ張り部分Ｐのエッジによって区間線の方向を誤認識してしまうおそれがある。

そこで、認識部１３は、左サイドカメラ２２の撮影画像及び右サイドカメラ２３の撮影画像から認識された区画線の形状とバックカメラ２１の撮影画像から認識された区画線の形状とが一致しない場合、左サイドカメラ２２の撮影画像及び右サイドカメラ２３の撮影画像から認識された区画線の形状を採用し、その採用した区画線の形状に基づきバックカメラ２１の撮影画像の認識（区画線の形状以外の認識）を実行する。これにより、認識部１３が区間線の方向を認識する精度が向上し、駐車すべき駐車区画に対応する駐車枠及び目標駐車位置が正しい位置からずれることを抑制することができる。すなわち、バックカメラ２１で斜めかつ遠方から区画線の形状を認識する場合、認識した区画線のエッジの位置がずれて検出される場合があるからである。区画線のエッジの位置がずれると、区画線が実際より斜めに検出されることとなる。このため、バックカメラ２１で認識した区画線のエッジの位置が、左サイドカメラ２２又は右サイドカメラ２３が認識した区画線のエッジの位置より所定量以上ずれている場合は、左サイドカメラ２２又は右サイドカメラ２３で検出した位置を使うことが好ましい。

（第２の補正例）
例えば、認識部１３は、左サイドカメラ２２の撮影画像及び右サイドカメラ２３の撮影画像から認識された区画線の色に基づきバックカメラ２１の撮影画像の認識を補正する。

探索部１１及び認識部１３は、映像取得部１０によって取得された撮影画像を基本的にはグレースケールの画像に変換してから画像処理を行っている。ただし、コンクリート舗装上に黄線で描画された区画線はグレースケールの画像上でコンクリートとのコントラストが小さいため、探索部１１及び認識部１３は、撮影画像の黄色領域を検出し、黄色領域のエッジを検出することで黄色の区画線を認識している。しかしながら、撮影画像上で黄色の区画線の解像度が悪ければ、認識部１３において黄色の区画線の誤認識や認識漏れが発生するおそれがある。

そこで、認識部１３は、左サイドカメラ２２の撮影画像及び右サイドカメラ２３の撮影画像から認識された区画線の色とバックカメラ２１の撮影画像から認識された区画線の色とが所定レベル以上ずれている場合、左サイドカメラ２２の撮影画像及び右サイドカメラ２３の撮影画像から認識された区画線の色を採用し、その採用した区画線の色に基づきバックカメラ２１の撮影画像の認識（区画線の色以外の認識）を実行する。これにより、認識部１３が区間線の色を認識する精度が向上し、駐車すべき駐車区画に対応する駐車枠及び目標駐車位置が正しい位置からずれることを抑制することができる。

（第３の補正例）
例えば、認識部１３は、左サイドカメラ２２の撮影画像及び右サイドカメラ２３の撮影画像から認識された区画線の方向に基づきバックカメラ２１の撮影画像の認識を補正する。

上述した第１の補正例において説明したように認識部１３が区間線の方向を誤認識してしまうおそれがある。

そこで、認識部１３は、左サイドカメラ２２の撮影画像及び右サイドカメラ２３の撮影画像から認識された区画線の方向とバックカメラ２１の撮影画像から認識された区画線の方向とが所定レベル以上ずれている場合、左サイドカメラ２２の撮影画像及び右サイドカメラ２３の撮影画像から認識された区画線の方向を採用し、その採用した区画線の方向に基づきバックカメラ２１の撮影画像の認識（区画線の方向以外の認識）を実行する。これにより、認識部１３が区間線の方向を認識する精度が向上し、駐車すべき駐車区画に対応する駐車枠及び目標駐車位置が正しい位置からずれることを抑制することができる。

（第４の補正例）
例えば、認識部１３は、左サイドカメラ２２の撮影画像及び右サイドカメラ２３の撮影画像から認識された区画線の太さに基づきバックカメラ２１の撮影画像の認識を補正する。

区画線の太さは一般的に１０ｃｍ〜１５ｃｍ程度であるのに対して、グレーチングの太さ（幅）は一般的に３０ｃｍ〜５０ｃｍ程度である。したがって、撮影画像から認識された区画線の太さに関して閾値判定を行い、閾値以上であれば撮影画像から認識された区画線として取り扱わないようにすることが望ましい。

しかしながら、撮影画像上で区画線の解像度が悪ければ、認識部１３での閾値判定に誤りが生じるおそれがある。

そこで、認識部１３は、左サイドカメラ２２の撮影画像及び右サイドカメラ２３の撮影画像から認識された区画線の太さとバックカメラ２１の撮影画像から認識された区画線の太さとが所定レベル以上ずれている場合、左サイドカメラ２２の撮影画像及び右サイドカメラ２３の撮影画像から認識された区画線の太さを採用し、その採用した区画線の太さに基づきバックカメラ２１の撮影画像の認識（上述した区画線の太さに関する閾値判定）を実行する。これにより、認識部１３が区間線を認識する精度が向上し、駐車すべき駐車区画に対応する駐車枠及び目標駐車位置が正しい位置からずれることを抑制することができる。

（第５の補正例）
例えば、認識部１３は、左サイドカメラ２２の撮影画像及び右サイドカメラ２３の撮影画像から認識された駐車枠の幅（図５中の距離Ｗ参照）に基づきバックカメラ２１の撮影画像の認識を補正する。

駐車枠の幅は一般的に２ｍ程度である。したがって、撮影画像から認識された駐車枠線の幅に関して閾値判定を行い、閾値以上であれば撮影画像から認識された駐車枠として取り扱わないようにすることが望ましい。

しかしながら、撮影画像上で区画線の解像度が悪ければ、認識部１３での閾値判定に誤りが生じるおそれがある。

そこで、認識部１３は、左サイドカメラ２２の撮影画像及び右サイドカメラ２３の撮影画像から認識された駐車枠の幅とバックカメラ２１の撮影画像から認識された駐車枠の幅とが所定レベル以上ずれている場合、左サイドカメラ２２の撮影画像及び右サイドカメラ２３の撮影画像から認識された駐車枠の幅を採用し、その採用した駐車枠の幅に基づきバックカメラ２１の撮影画像の認識（上述した駐車枠の幅に関する閾値判定）を実行する。これにより、認識部１３が誤った駐車枠を認識することを抑制し、駐車すべき駐車区画に対応する駐車枠及び目標駐車位置が正しい位置からずれることを抑制することができる。

＜６．留意事項＞
本明細書中に開示されている種々の技術的特徴は、上記実施形態のほか、その技術的創作の主旨を逸脱しない範囲で種々の変更を加えることが可能である。すなわち、上記実施形態は、全ての点で例示であって、制限的なものではないと考えられるべきであり、本発明の技術的範囲は、上記実施形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲と均等の意味及び範囲内に属する全ての変更が含まれると理解されるべきである。

例えば上述した実施形態では、１つのＥＣＵ（画像処理ＥＣＵ）が画像認識装置と表示制御装置とを備える構成であったが、画像認識装置と表示制御装置とは互いに異なるＥＣＵであってもよい。

また例えば上述した実施形態では、後退駐車を行う駐車支援システムについて説明したが、駐車場によっては近隣住民への配慮等の理由から前進駐車が推奨されている場合がある。したがって、上述した実施形態での後退を前進に置き換え、上述した実施形態でのバックカメラ２１の撮影画像をフロントカメラ２０の撮影画像に置き換えた形態での駐車支援が可能な駐車支援システムであってもよい。

また例えば上述した実施形態では、撮影部２が４つのカメラ２０〜２３を備える構成であった。しかしながら、カメラの数は４つに限られることなく、複数のカメラであればよい。一例として、各カメラの水平方向の画角が比較的広い場合は、撮影部２が４つよりも少ない３つのカメラを備える構成であってもよい。さらに、別の例として、各カメラの水平方向の画角が比較的狭い場合は、撮影部２が４つよりも多い５つのカメラを備える構成であってもよい。このような変形例においても上述した実施形態と同様に、探索部１１が第１カメラで得られた第１撮影画像に基づき駐車区画を示す区画線を探索し、認識部１３が第２カメラで得られた第２撮影画像に基づき区画線を認識し、探索部１１において得られる上記第１撮影画像の認識結果に基づき上記第２撮影画像の区画線の認識を補正するようにすればよい。

１ 画像処理ＥＣＵ
１０ 映像取得部
１１ 探索部
１２ 決定部
１３ 認識部
１４ 表示制御部
２ 撮影部
２０〜２３ カメラ
３ 駐車制御ＥＣＵ
４ ＥＰＳ−ＥＣＵ
５ 車載ネットワーク
６ 表示装置

Claims (9)

1. 車両の周辺を撮影する第１カメラで得られた第１撮影画像に基づき駐車区画を示す区画線を探索する探索部と、
   前記探索部の探索結果に基づき駐車すべき駐車位置を決定する決定部と、
   前記決定部による決定の後、前記車両の周辺を撮影する第２カメラで得られた第２撮影画像に基づき前記区画線を認識する認識部と、
   を備え、
   前記認識部は、前記探索部において得られる前記第１撮影画像の認識結果に基づき前記第２撮影画像の前記区画線の認識を補正する、画像認識装置。
2. 前記認識部は、前記車両の少なくとも一部が前記駐車区画内に入ったことを推定する前に、前記探索部において得られる前記第１撮影画像の認識結果に基づき前記第２撮影画像の前記区画線の認識を補正し、前記車両の少なくとも一部が前記駐車区画内に入ったことを推定した後、前記第１撮影画像に基づき前記区画線を認識する、請求項１に記載の画像認識装置。
3. 前記第１カメラは前記車両の側方を撮影するカメラであり、前記第２カメラは前記車両の後方または前方を撮影するカメラである、請求項１又は請求項２に記載の画像認識装置。
4. 前記認識部は、前記車両の少なくとも一部が前記駐車区画内に入ったことを推定する前に、前記第１撮影画像から前記探索部によって認識された区画線の形状に基づき前記第２撮影画像に関して前記区画線の形状以外の認識を実行することによって、前記第２撮影画像の前記区画線の認識を補正する、請求項１〜３のいずれか一項に記載の画像認識装置。
5. 前記認識部は、前記車両の少なくとも一部が前記駐車区画内に入ったことを推定する前に、前記第１撮影画像から前記探索部によって認識された区画線のエッジの位置と前記第２撮影画像から前記認識部によって認識された区画線のエッジの位置とが所定量以上ずれている場合、前記第１撮影画像から前記探索部によって認識された区画線の形状を採用し、採用した前記区画線の形状に基づき前記第２撮影画像に関して前記区画線の形状以外の認識を実行することによって、前記第２撮影画像の前記区画線の認識を補正する、請求項４に記載の画像認識装置。
6. 前記認識部は、前記車両の少なくとも一部が前記駐車区画内に入ったことを推定する前に、前記第１撮影画像から前記探索部によって認識された区画線の方向に基づき前記第２撮影画像に関して前記区画線の方向以外の認識を実行することによって、前記第２撮影画像の前記区画線の認識を補正する、請求項１〜３のいずれか一項に記載の画像認識装置。
7. 前記認識部は、前記車両の少なくとも一部が前記駐車区画内に入ったことを推定する前に、前記第１撮影画像から前記探索部によって認識された区画線の太さに基づき前記第２撮影画像に関して前記区画線の太さ以外の認識を実行することによって、前記第２撮影画像の前記区画線の認識を補正する、請求項１〜３のいずれか一項に記載の画像認識装置。
8. 車両の周辺を撮影する第１カメラで得られた第１撮影画像に基づき駐車区画を示す区画線を探索する探索工程と、
   前記探索工程の探索結果に基づき駐車すべき駐車位置を決定する決定工程と、
   前記決定工程による決定の後、前記車両の周辺を撮影する第２カメラで得られた第２撮影画像に基づき前記区画線を認識する認識工程と、
   を備え、
   前記認識工程は、前記探索工程において得られる前記第１撮影画像の認識結果に基づき前記第２撮影画像の前記区画線の認識を補正する、画像認識方法。
9. 請求項１〜７のいずれか一項に記載の画像認識装置と、
   前記画像認識装置の認識結果に基づき前記車両の制御量を算出する駐車制御装置と、
   を備える、駐車支援システム。

Images