JPWO2014084251A1 - 車載画像処理装置 - Google Patents

Abstract

車載画像処理装置は、車両の周囲の路面を撮影して撮影画像を取得する撮影装置と、取得された撮影画像に基づいて、車両の周囲を俯瞰した様子を示す俯瞰画像を生成する画像生成部と、生成された俯瞰画像を用いて、車両の周囲の路面標示を抽出する抽出部と、抽出部が路面標示を抽出する際に観察される、少なくとも路面ノイズ、障害物ノイズおよび付着物ノイズのうち何れか１つ以上のノイズを検出する検出部と、検出されたノイズに応じて、撮影画像の内部の部分撮影領域と俯瞰画像の内部の部分俯瞰領域との何れかに基づいて、駐車枠を認識する駐車枠認識部とを備える。

Description

本発明は、車載画像処理装置に関する。

従来、車両に搭載され、カメラにより撮影して得られた画像から、車線を区分するために路面に描かれた白線（車線区画線）を検出することにより、車両が走行している車線を認識する装置が提案されている。このような装置に関して、撮影画像から白線に相当するエッジ点を抽出し、このエッジ点の計測数の時系列的な分散値が閾値以下であるか否かにより、白線が実線であるか破線であるかを判定する技術が知られている（特許文献１）。

日本国特開２０１０−２４４３８２号公報

しかしながら、カメラに付着した水滴や汚れ、撮影環境等の要因によって、駐車枠を構成する短い線が車道中央線のように長い線であると誤認識し、駐車支援の精度を低下させるという問題がある。さらに、駐車支援の精度低下をもたらす要因を判定するための手段も、同時に他の要因の影響を受けるという問題がある。

本発明の第１の態様によれば、車載画像処理装置は、車両の周囲の路面を撮影して撮影画像を取得する撮影装置と、撮影装置により取得された撮影画像に基づいて、車両の周囲を俯瞰した様子を示す俯瞰画像を生成する画像生成部と、画像生成部によって生成された俯瞰画像を用いて、車両の周囲の路面標示を抽出する抽出部と、抽出部が路面標示を抽出する際に観測される、少なくとも、路面ノイズ、障害物ノイズおよび付着物ノイズのうち何れか１つ以上のノイズを検出する検出部と、検出部により検出されたノイズに応じて、撮影画像の内部の部分撮影領域と俯瞰画像の内部の部分俯瞰領域との何れかに基づいて、駐車枠を認識する駐車枠認識部とを備える。
本発明の第２の態様によれば、第１の態様による車載画像処理装置において、検出されたノイズに応じて、撮影画像の内部の複数の部分撮影領域と俯瞰画像の内部の複数の部分俯瞰領域との中から選択画像領域を選択して、選択画像領域についてノイズの状態に応じたノイズフラグを設定するノイズフラグ設定部をさらに備え、駐車枠認識部は、ノイズフラグ設定部により選択された選択画像領域を用いて抽出された路面標示が駐車枠であるか否かを認識することが好ましい。
本発明の第３の態様によれば、第２の態様による車載画像処理装置において、検出部がノイズを検出しない場合には、ノイズフラグ設定部は、撮影画像の内部の複数の部分撮影領域と俯瞰画像の内部の複数の部分俯瞰領域との中から選択画像領域を選択することが好ましい。
本発明の第４の態様によれば、第２の態様による車載画像処理装置において、検出部が線画像の輝度差に応じて路面ノイズを検出した場合には、ノイズフラグ設定部は、撮影画像の内部の車両の近傍の路面に対応する部分撮影領域と俯瞰画像の内部の車両の近傍の路面に対応する部分俯瞰領域との中から選択画像領域を選択することが好ましい。
本発明の第５の態様によれば、第２の態様による車載画像処理装置において、検出部が車線以外の路面標示に基づいて路面ノイズを検出した場合には、ノイズフラグ設定部は、撮影画像の内部の車両の遠方の路面に対応する部分撮影領域を選択画像領域として選択しないことが好ましい。
本発明の第６の態様によれば、第２の態様による車載画像処理装置において、検出部が車両の周辺の立体物に基づいて障害物ノイズを検出した場合には、ノイズフラグ設定部は、撮影画像の内部の複数の部分撮影領域と俯瞰画像の内部の複数の部分俯瞰領域との中から選択画像領域を選択することが好ましい。
本発明の第７の態様によれば、第２の態様による車載画像処理装置において、検出部が撮影装置に付着した水滴に基づいて付着物ノイズを検出した場合には、ノイズフラグ設定部は、撮影画像の内部の車両の遠方の路面に対応する部分撮影領域を選択画像領域として選択しないことが好ましい。
本発明の第８の態様によれば、第２の態様による車載画像処理装置において、検出部が撮影装置に付着した汚れに基づいて付着物ノイズを検出した場合には、ノイズフラグ設定部は、撮影画像の内部の車両の近傍の路面に対応する部分撮影領域と俯瞰画像の内部の複数の部分俯瞰領域との中から選択画像領域を選択することが好ましい。
本発明の第９の態様によれば、第２の態様による車載画像処理装置において、検出部が少なくとも車両の周辺の立体物と撮影装置に付着した水滴とに基づいて障害物ノイズと付着物ノイズとを検出した場合には、ノイズフラグ設定部は、撮影画像の内部の前記車両の近傍の路面に対応する部分撮影領域と俯瞰画像の内部の車両の近傍の路面に対応する部分俯瞰領域との中から選択画像領域を選択することが好ましい。
本発明の第１０の態様によれば、第２の態様による車載画像処理装置において、検出部が少なくとも撮影装置に付着した水滴と汚れとに基づいて付着物ノイズを検出した場合には、ノイズフラグ設定部は、撮影画像の内部の複数の部分撮影領域と俯瞰画像の内部の複数の部分俯瞰領域との中から選択画像領域を選択しないことが好ましい。
本発明の第１１の態様によれば、第２の態様による車載画像処理装置において、検出部が少なくとも線画像の輝度差と撮影装置に付着した水滴とに基づいて路面ノイズと付着物ノイズとを検出した場合には、ノイズフラグ設定部は、撮影画像の内部の車両の近傍の路面に対応する部分撮影領域と、俯瞰画像の内部の車両の近傍の路面に対応する部分俯瞰領域との中から選択画像領域を選択することが好ましい。
本発明の第１２の態様によれば、第２の態様による車載画像処理装置において、検出部が少なくとも車線以外の路面標示と撮影装置に付着した汚れとに基づいて路面ノイズと付着物ノイズとを検出した場合には、ノイズフラグ設定部は、俯瞰画像の内部の複数の部分俯瞰領域の中から選択画像領域を選択することが好ましい。
本発明の第１３の態様によれば、第２乃至第１２の何れか一つの態様による車載画像処理装置において、ノイズフラグ設定部が設定したノイズフラグを記憶する記憶部をさらに備え、ノイズフラグ設定部は、撮影装置により次フレームの撮影画像が取得された際には、記憶部に記憶されたノイズフラグに基づいて選択画像領域を選択することが好ましい。
本発明の第１４の態様によれば、第１３の態様による車載画像処理装置において、記憶部は、ノイズフラグが記憶されてから所定の時間が経過すると、該ノイズフラグを削除することが好ましい。
本発明の第１５の態様によれば、第２乃至第１４の何れか一つの態様による車載画像処理装置において、ノイズフラグ設定部は、選択画像領域においてノイズフラグを設定するための基準値を緩和することが好ましい。
本発明の第１６の態様によれば、第１乃至第１５の何れか一つの態様による車載画像処理装置において、路面ノイズは、抽出対象である路面標示または駐車枠の近傍に存在する抽出対象の非構成物であり、抽出対象の抽出に悪影響を与える駐車枠ノイズまたは白線ノイズを含んで構成されることが好ましい。
本発明の第１７の態様によれば、第１乃至第１５の何れか一つの態様による車載画像処理装置において、障害物ノイズは、抽出対象である路面標示または駐車枠が描かれている略平面以外の空間に存在する物体の映り込みにより抽出対象の抽出に悪影響を与える立体物ノイズを含んで構成されることが好ましい。
本発明の第１８の態様によれば、第１乃至第１５の何れか一つの態様による車載画像処理装置において、付着物ノイズは、撮影装置への付着物に起因する水滴ノイズまたは汚れノイズを含んで構成されることが好ましい。

本発明によれば、検出されたノイズに応じて画像領域を切換えて駐車枠を認識するので、駐車支援の精度低下を抑制できる。

本発明の一実施形態による車載画像処理装置の構成を示すブロック図である。 俯瞰画像と車両前方の撮影画像を合わせた表示画像の例を示す図である。 演算処理の制御ブロック図である。 駐車枠線を認識するために選択される画像領域を説明する図である。 駐車枠線を認識するために選択される画像領域を説明する図である。 駐車枠線を認識するために選択される画像領域を説明する図である。 駐車枠線を認識するために選択される画像領域を説明する図である。 駐車枠線を認識するために選択される画像領域を説明する図である。 検出されたノイズと選択される画像領域との対応関係を模式的に例示する図である。 実施の形態による車載画像処理装置が実行する処理を説明するフローチャートである。 変形例による車載画像処理装置が実行する処理を説明するフローチャートである。

図１は、本発明の一実施形態による車載画像処理装置１００の構成を示すブロック図である。図１に示す車載画像処理装置１００は、車両に搭載されて使用されるものであり、カメラ１ａ、１ｂ、１ｃおよび１ｄと、画像合成部２と、演算処理部３と、出力部４と、メモリ５とを備える。

カメラ１ａ〜１ｄは、車両の周囲をそれぞれ異なる撮影範囲で撮影する電子式カメラであり、車両のボディ、バンパー、ドアミラー等の各部に設置されている。これらの各カメラの撮影範囲は、合わせて車両の全周囲をカバーできるように定められている。本実施形態では、カメラ１ａは車両前方の撮影範囲を、カメラ１ｂは車両左側方の撮影範囲を、カメラ１ｃは車両右側方の撮影範囲を、カメラ１ｄは車両後方の撮影範囲をそれぞれ撮影するものとして説明する。カメラ１ａ〜１ｄにより所定のフレームレート間隔でそれぞれ取得された撮影画像は、画像合成部２へ出力される。

なお、本実施形態では、４つのカメラ１ａ〜１ｄが上記のような各撮影範囲をそれぞれ撮影するものとして説明するが、車両に搭載されるカメラの個数および撮影範囲はこれに限定されない。また、各カメラを合わせた撮影範囲は、必ずしも車両の全周囲をカバーしていなくてもよい。車両の周囲を適切な範囲で撮影できれば、任意の個数のカメラを用いて、任意の撮影範囲について撮影画像を取得することができる。

画像合成部２は、カメラ１ａ〜１ｄにより取得された各撮影画像に基づいて、車両の全周囲を俯瞰した様子を示す俯瞰画像（トップビュー画像）を合成する。この俯瞰画像は、カメラ１ａ〜１ｄの各撮影画像をその撮影方向に応じて座標変換した上で繋ぎ合わせることによって合成されるものである。画像合成部２により合成された俯瞰画像は、演算処理部３へ出力される。

演算処理部３は、カメラ１ａ〜１ｄにより取得された撮影画像または画像合成部２により合成された俯瞰画像に基づいて所定の演算処理を行うことにより、車両周囲の駐車枠を認識する。この演算処理部３が行う演算処理の内容については、後で詳しく説明する。演算処理部３による駐車枠の認識結果は、出力部４へ出力される。メモリ５は、演算処理部３による演算結果等を一時的に記憶するための揮発性の記憶媒体である。

出力部４は、演算処理部３による駐車枠の認識結果に基づいて、車両周囲の駐車枠に対する駐車枠情報を出力する。たとえば、車両に対する駐車枠の方向や駐車枠までの距離を示す情報を駐車枠情報として出力する。この駐車枠情報は、車載画像処理装置１００と接続されている上位の車両制御装置（不図示）へと出力され、車両の駐車支援や走行制御等に利用される。一例として、周囲に駐車場が存在する状況であることを自動で認識し、例えば駐車場環境である場合には、モニタに自動周囲の俯瞰映像を自動で切り替えて表示することができる。これにより、公道において駐車場であると誤検出する状況を抑制し、適切なタイミングでユーザへの提示映像を切り替えることができるようになる。

また、出力部４は、演算処理部３による駐車枠の認識結果に基づいて、自車からの相対的な位置情報として駐車枠情報を出力する。たとえば、駐車枠の左右枠線の端点座標、駐車枠線の角度および切片といった、実環境中における駐車枠の位置情報を出力する。この駐車枠情報は、車載画像処理装置１００と接続されている上位の車両制御装置（不図示）へと出力され、車両の駐車支援や走行制御に利用される。たとえば、自車から駐車枠までの相対的な位置姿勢に基づいて、駐車枠までの走行経路を計算し、ドライバーによるブレーキやシフトポジション変更のタイミングや、舵角の操作量を検知することによって、駐車支援を行うことが可能となる。これにより、車庫入れ等の運転操作に不慣れなドライバーにとっても、短時間で駐車動作が完了できるようになる。

さらには、自車から駐車枠までの相対的な位置姿勢に基づいて、駐車枠までの走行経路を計算し、自動で車両の前進・後退・旋回の制御量を計算し、その計算結果に従って車両運動を自動制御してもよい。これにより、車庫入れ等の運転操作に不慣れなドライバーにとっても、安全かつ正確に駐車動作を完了できるようになる。

図２は、画像合成部２により合成された俯瞰画像とカメラ１ａにより撮影された車両前方の撮影画像を合わせた表示画像の例を示す図である。図２において、左側の画像２１は俯瞰画像を示し、右側の画像２２は車両前方の撮影画像を示している。

俯瞰画像２１は、車両の前方、左側方、右側方および後方にそれぞれ対応する４つの画像領域２１ａ、２１ｂ、２１ｃおよび２１ｄにより構成されている。これらの画像領域の各画像は、図１のカメラ１ａ〜１ｄによってそれぞれ撮影された画像に基づいて作成されたものである。画像領域２１ａ内には、駐車枠線２３の一部が表示されている。この駐車枠線２３は、撮影画像２２にも表示されている。

以上説明したような画像は、たとえば車両内に設置された不図示の表示モニタにおいて表示される。なお、撮影画像２２として表示される画像は、車両の進行方向に応じて切り替えられることが好ましい。たとえば、車両のシフトレバーを前進方向に切り替えたときには、車両が前進していると判断して、カメラ１ａにより撮影された車両前方の撮影画像を表示する。一方、車両のシフトレバーを後退方向に切り替えたときには、車両が後退していると判断して、カメラ１ｄにより撮影された車両後方の撮影画像を表示する。このようにすれば、車両の進行方向に応じた適切な撮影画像を車両の運転者に提示し、駐車時などの運転操作支援を行うことができる。

次に、演算処理部３が行う演算処理の内容について説明する。図３は、演算処理部３が行う演算処理の制御ブロック図である。図３に示すように、演算処理部３は、線抽出部３０１、ノイズ検出部３０２、駐車枠認識部３０３およびノイズフラグ設定部３０４の各制御ブロックを機能的に有する。演算処理部３では、たとえば、これらの各制御ブロックに対応してメモリに記録されているプログラムをマイクロコンピュータで実行することにより、図３の各制御ブロックを実現している。

画像合成部２により合成された俯瞰画像は、演算処理部３において線抽出部３０１、ノイズ検出部３０２および駐車枠認識部３０３に入力される。線抽出部３０１は、入力された俯瞰画像から車両の走行面に描かれた線を線画像として抽出する。たとえば、俯瞰画像を横方向に探索したときの輝度変化が所定のしきい値以上であるエッジ点を特徴点として抽出し、各特徴点をその位置関係や前回処理時からの移動量および移動方向等に基づいてグループ分けすることで、車両の走行面に描かれた線を抽出することができる。なお、ここで抽出される線には、道路上に描かれた各種の道路標示線（車道中央線、車線境界線、車道外側線、横断歩道等）や、駐車場に描かれた駐車枠線などが含まれる。線抽出部３０１による線抽出結果は、ノイズ検出部３０２および駐車枠認識部３０３へ出力される。

ノイズ検出部３０２は、入力された撮影画像の全領域と俯瞰画像の全領域との少なくとも１つ以上を用いて、ノイズの有無を検出する。本実施の形態においては、ノイズ検出部３０２が、駐車枠ノイズ、白線ノイズ、立体物ノイズ、水滴ノイズおよび汚れノイズを検出する場合を例示するが、ノイズ検出部３０２が検出するノイズは上記の例に限定されるものではない。

ノイズ検出部３０２は、公知の技術を用いて、西日や照明光等の影響により駐車枠を構成する２本の駐車枠線の輝度値もしくは色のいずれか１つ以上が大きく異なる場合、すなわち、線抽出部３０１により抽出された異なる線画像同士の輝度値または色差値の差分が所定値を超える場合に、駐車枠ノイズとして検出する。ノイズ検出部３０２は、公知の技術を用いて、抽出された線画像の近傍に、駐車枠を構成する駐車枠線以外の路面標示が検出された場合には、白線ノイズとして検出する。ノイズ検出部３０２は、公知の技術を用いて、異なる時刻に相当する俯瞰画像間の差分画像に基づいて立体物を検出した場合には、検出した立体物を立体物ノイズとする。

ノイズ検出部３０２は、公知の技術を用いて、複数の撮影画像間において上部の画像領域を利用して水滴検出を行い、検出した水滴を水滴ノイズとする。ノイズ検出部３０２は、公知の技術を用いて、異なるタイミングで撮影された時間的に前後する複数の撮影画像の差分を抽出することにより、カメラ１ａ〜１ｄのレンズに付着した付着物を汚れノイズとして検出する。

画像全体を処理対象とすると、西日や照明光が強い場合や、雨・汚れといった付着物が付着している場合に、上記の各ノイズの算出は影響を受けてしまう。そこで、ノイズ検出部３０２は、まず画面全体でノイズ検出を実行する。ノイズ検出部３０２により特定のノイズが検出された場合には、ノイズフラグ設定部３０４において、撮影画像の内部の複数の部分撮影領域と俯瞰画像の内部の複数の部分俯瞰領域とのいずれか１つ以上の領域を選択的に利用して、再度ノイズ検出を実行する。ノイズフラグ設定部３０４は、再度検出したノイズの状態に応じたノイズフラグを設定して、駐車枠認識部３０３へ出力する。なお、以下の説明では、部分撮影領域と部分俯瞰領域とを総称する場合には、部分画像領域と呼ぶ。

駐車枠認識部３０３は、ノイズフラグ設定部３０４による検出結果に応じて、線抽出部３０１により抽出された線が駐車枠線であるか否かを判断する。駐車枠認識部３０３は、抽出された線画像が駐車枠線であると判断すればそれに対応する駐車枠の認識結果を図１の出力部４へ出力する。

図４〜図８に、部分画像領域を例示する。図４は、斜線を付して示す俯瞰画像の近傍俯瞰領域Ｒ１が部分画像領域である例を示す。近傍俯瞰領域Ｒ１は、自車両を基点として、たとえば０ｍ〜１．５ｍの範囲の近傍の路面に対応した部分俯瞰領域である。図５は、斜線を付して示す俯瞰画像の外周俯瞰領域Ｒ２が部分画像領域である例を示す。外周俯瞰領域Ｒ２は、自車両を基点として、たとえば１．５ｍの範囲より遠方の路面に対応した部分俯瞰領域である。

図６は、斜線を付して示す撮影画像の近傍撮影領域Ｒ３が部分画像領域である例を示す。近傍撮影領域Ｒ３は、たとえば自車両の前方０．５ｍ〜８ｍの範囲の近傍の路面に対応した部分撮影領域である。図７は、斜線を付して示す撮影画像の遠方撮影領域Ｒ４が部分画像領域である例を示す。遠方撮影領域Ｒ４は、たとえば自車両の前方８ｍ以遠の範囲の遠方の路面に対応する部分撮影領域である。図８は、斜線を付して示す撮影画像の外周撮影領域Ｒ５が部分画像領域である例を示す。外周撮影領域Ｒ５は、たとえば自車両の中心部からの幅が３ｍ以遠の範囲の路面に対応する部分撮影領域である。

図９は、ノイズ検出部３０２により検出されたノイズと、ノイズフラグ設定部３０４が選択画像領域として選択する部分画像領域との対応関係を模式的に示す。図９は、上記の駐車枠ノイズ、白線ノイズ、立体物ノイズ、水滴ノイズおよび汚れノイズのうち抽出された線画像に対して検出されたノイズについてはフラグが「１」に設定され、検出されていないノイズについてはフラグが「０」に設定された場合を示している。さらに、図９は、検出されたノイズに応じてノイズフラグ設定部３０４が選択する部分画像領域を「○」、選択しない部分画像領域を「−」で示す。

図９に示す事例Ａでは、ノイズ検出部３０２によりノイズが検出されず、全てのノイズについてフラグが「０」に設定された場合には、ノイズフラグ設定部３０４は、近傍俯瞰領域Ｒ１、外周俯瞰領域Ｒ２、近傍撮影領域Ｒ３、遠方撮影領域Ｒ４および外周撮影領域Ｒ５の何れかを選択画像領域として選択して駐車枠の認識を行うことを示している。この場合、抽出された線画像には他のノイズ算出に影響を与えるようなノイズが検出されていないので、ノイズフラグ設定部３０４が部分画像領域のうちの何れかを用いたとしても、適切にノイズフラグを出力させることが可能であり、駐車枠認識部３０３において駐車枠の誤認識の発生を低減できる。なお、抽出された線画像が車道中央線のように長い線に対応するものであるか、駐車枠線のように短い線に対応するものであるかを判別するためには、自車両から遠方を撮影した画像（たとえば遠方撮影領域Ｒ４）を選択画像領域とすることが好ましい。

事例Ｂは、駐車枠ノイズについてのフラグのみが「１」に設定された場合には、ノイズフラグ設定部３０４は、近傍俯瞰領域Ｒ１、近傍撮影領域Ｒ３および外周撮影領域Ｒ５の何れかを選択画像領域として選択することを表している。換言すると、ノイズフラグ設定部３０４は、遠方撮影領域Ｒ４を選択画像領域として選択しない。上述したように、駐車枠ノイズは抽出した線画像の輝度値が大きく異なる場合に検出される。このため、自車両から遠くに離れるに従って２本の線の輝度差がより拡大し、同一の駐車枠を構成する駐車枠線であるのか否かの判別がつきにくくなる。このため、駐車枠ノイズが検出されている場合には、ノイズフラグ設定部３０４は、自車両の近傍を撮影した部分画像領域を使用してノイズフラグの設定を行うことにより、適切にノイズフラグを出力することが可能であり、駐車枠認識部３０３における誤認識の発生を抑制している。

事例Ｃは、白線ノイズについてのフラグのみが「１」に設定された場合には、ノイズフラグ設定部３０４は、近傍俯瞰領域Ｒ１、外周俯瞰領域Ｒ２、近傍撮影領域Ｒ３および外周撮影領域Ｒ５の何れかを選択画像領域してノイズフラグ算出を行うことを表している。換言すると、ノイズフラグ設定部３０４は、遠方撮影領域Ｒ４を選択画像領域として選択しない。上述したように、白線ノイズは道路標示等が検出された場合に検出される。このため、文字等の複雑なペイントが路上に描かれた駐車場において、自車両から遠方の部分画像領域を用いた場合、ペイントを駐車枠線と誤認識する可能性が考えられる。本実施の形態では、ノイズフラグ設定部３０４は、遠方撮影領域Ｒ４を駐車枠線認識に用いないので、適切にノイズフラグを出力することが可能であり、路面標示等を駐車枠線として認識する不具合の発生を抑制できる。

事例Ｄは、立体物ノイズについてのフラグのみが「１」に設定された場合には、ノイズフラグ設定部３０４は、近傍俯瞰領域Ｒ１、外周俯瞰領域Ｒ２、近傍撮影領域Ｒ３、遠方撮影領域Ｒ４および外周撮影領域Ｒ５の何れかを選択画像領域として選択してノイズフラグ算出を行うことを示している。この場合、自車両の近傍を撮影した画像を使用した場合であっても、自車両の遠方を撮影した画像であっても立体物が原因となって駐車枠が誤認識される可能性は低いと考えられる。このため、ノイズフラグ設定部３０４がいずれの部分画像領域を用いたとしても、駐車枠の誤認識の発生を低減できる。

事例Ｅは、水滴ノイズについてのフラグのみが「１」に設定された場合には、ノイズフラグ設定部３０４は、近傍俯瞰領域Ｒ１、外周俯瞰領域Ｒ２、近傍撮影領域Ｒ３および外周撮影領域Ｒ５の何れかを選択画像領域として選択してノイズフラグ算出を行うことを示している。水滴ノイズは、撮影画像の上部領域の画像情報に基づいて、水滴が付着している場合に検出される。すなわち、撮影画像の上部領域の画像情報の信頼性が低いことを示している。水滴ノイズが検出されている場合、遠方撮影領域Ｒ４は水滴の付着により駐車枠線についての正確な情報が取得しにくいと考えられる。本実施の形態では、ノイズフラグ設定部３０４は、遠方撮影領域Ｒ４を駐車枠認識のために選択しないので、適切にノイズフラグを出力することが可能であり、駐車枠認識の精度を高めることができる。

事例Ｆは、立体物ノイズおよび水滴ノイズについてのフラグが「１」に設定された場合には、ノイズフラグ設定部３０４は、近傍俯瞰領域Ｒ１および近傍撮影領域Ｒ３の何れかを選択画像領域として選択してノイズフラグ算出を行うことを示している。この場合、水滴の付着に伴って情報の精度が低下している遠方撮影領域Ｒ４を選択画像領域として選択しないので、適切にノイズフラグを出力することが可能であり、駐車枠の認識精度の低下を防止できる。

事例Ｇは、汚れノイズについてのフラグのみが「１」に設定された場合には、ノイズフラグ設定部３０４は、近傍俯瞰領域Ｒ１、外周俯瞰領域Ｒ２および近傍撮影領域Ｒ３の何れかを選択画像領域として選択してノイズフラグ算出を行うことを示している。付着した汚れによる影響は、自車両の近傍を撮影した部分画像領域よりも自車両の遠方を撮影した部分画像領域の方が大きい。本実施の形態では、遠方撮影領域Ｒ４や外周撮影領域Ｒ５のように自車両から遠方の路面に対応する部分画像領域を選択画像領域として選択しないので、適切にノイズフラグを出力することが可能であり、付着した汚れに伴う駐車枠の誤認識の発生を抑制できる。

事例Ｈは、水滴ノイズおよび汚れノイズについてのフラグが「１」に設定された場合には、ノイズフラグ設定部３０４は、何れの部分画像領域も選択しないことを示している。換言すると、ノイズフラグ設定部３０４は、選択画像領域の選択を禁止する。撮影装置１ａ〜１ｄに水滴と汚れとが付着している場合、撮影画像に含まれる情報の精度は低くなる。このような場合には、ノイズフラグ設定部３０４は、選択画像領域の選択を行わないので、適切にノイズフラグを出力することが可能であり、情報精度の低い画像に基づいて駐車枠が誤って認識されることを防止できる。

事例Ｉは、駐車枠ノイズおよび水滴ノイズについてのフラグが「１」に設定された場合には、ノイズフラグ設定部３０４は、近傍俯瞰領域Ｒ１および近傍撮影領域Ｒ３の何れかを選択画像領域として選択してノイズフラグ算出を行うことを示している。この場合、水滴の付着に伴って情報の精度が低下している遠方撮影領域Ｒ４を選択画像領域として選択しないので、適切にノイズフラグを出力することが可能であり、駐車枠線の認識精度の低下を防止できる。

事例Ｊは、白線ノイズおよび汚れノイズについてのフラグが「１」に設定された場合には、ノイズフラグ設定部３０４は、近傍俯瞰領域Ｒ１および外周俯瞰領域Ｒ２の何れかを選択画像領域として選択してノイズフラグ算出を行うことを示している。付着した汚れの影響を受けやすく、かつ路面上に描かれた道路標示等を駐車枠として誤認識しやすい自車両から遠方を撮影した遠方撮影領域Ｒ４を選択画像領域として選択しないので、適切にノイズフラグを出力することが可能であり、駐車枠が誤って認識されることを防止できる。

図１０のフローチャートを用いて、車載画像処理装置１００の動作を説明する。図１０のフローチャートに示す各処理は、演算処理部３によりプログラムを実行して行われる。このプログラムは、メモリ（不図示）に格納されており、演算処理部３により起動され、実行される。

ステップＳ１０１では、画像合成部２により合成された俯瞰画像を入力してステップＳ１０２へ進む。ステップＳ１０２では、入力された俯瞰画像を横方向に検索したときの輝度変化や色差変化に基づいて、車両の走行面に描かれた線に対応する線画像を抽出してステップＳ１０３へ進む。ステップＳ１０３では、ステップＳ１０２にて抽出された線画像に対してノイズの有無を検出し、ステップＳ１０４へ進む。ステップＳ１０４では、ステップＳ１０３の結果に応じて部分画像領域を選択画像領域として選択してステップＳ１０７へ進む。ステップＳ１０７では、選択画像領域に対してノイズ検出を実行し、検出したノイズの状態に応じたノイズフラグを設定してステップＳ１０５へ進む。

ステップＳ１０５では、ステップＳ１０７で設定されたノイズフラグに応じて、ステップＳ１０２で抽出された線画像が駐車枠を構成する駐車枠線であるか否かを判断し、駐車枠線であると判断するとステップＳ１０６にて認識結果を出力部４へ出力して処理を終了する。

上述した実施の形態による車載画像処理装置１００によれば、次の作用効果が得られる。
（１）車載画像処理装置１００は、車両の周囲の路面を撮影して撮影画像を取得するカメラ１ａ〜１ｄと、カメラ１ａ〜１ｄにより取得された撮影画像に基づいて、車両の周囲を俯瞰した様子を示す俯瞰画像を生成する画像合成部２と、演算処理部３とを備える。演算処理部３は、画像合成部２によって生成された俯瞰画像を用いて、車両の周囲の路面上の車線に対応する線画像を抽出する線抽出部３０１と、抽出された線画像におけるノイズを検出するノイズ検出部３０２と、ノイズ検出部３０２により検出されたノイズに応じて、撮影画像の内部の部分画像領域と俯瞰画像の内部の部分俯瞰領域との何れかに基づいて、ノイズフラグを設定するノイズフラグ設定部３０４と、ノイズフラグ設定部３０４により設定されたノイズフラグと線抽出部３０１により抽出された線画像から駐車枠を認識する駐車枠認識部３０３とを含む。具体的には、ノイズフラグ設定部３０４は、検出されたノイズに応じて、撮影画像の内部の複数の部分撮影領域と俯瞰画像の内部の複数の部分俯瞰領域との中から選択画像領域を選択し、選択画像領域を用いてノイズフラグを設定する。設定されたノイズフラグに基づいて、駐車枠認識部３０３は抽出された線画像が駐車枠であるか否かを認識する。したがって、検出されたノイズに応じて、適した部分画像領域を選択することができるので、駐車枠の誤認識の発生を抑制して駐車支援の精度を向上させることができる。

（２）ノイズ検出３０２が線画像の輝度差に応じて駐車枠ノイズを検出した場合には、ノイズフラグ設定部３０４は、撮影画像のうち車両の近傍の路面に対応する部分画像領域である近傍撮影領域Ｒ３と、俯瞰画像のうち車両の近傍の路面に対応する部分画像領域である近傍俯瞰領域Ｒ１との中から選択画像領域を選択する。車両近傍の部分画像領域を用いることにより、２本の線画像の輝度差の拡大に伴う同一の駐車枠を構成する駐車枠線であるか否かの判別が困難になる不具合の発生を抑制して、駐車枠の認識精度を向上させることができる。

（３）ノイズ検出部３０２が車線以外の路面標示に基づいて白線ノイズを検出した場合には、ノイズフラグ設定部３０４は、撮影画像の遠方撮影領域Ｒ４を選択画像領域として選択しないようにした。文字等の複雑なペイントが路上に描かれた駐車場において、自車両から遠方の撮影画像を用いた場合、ペイントを駐車枠を構成する駐車枠線と誤認識する可能性が考えられる。本実施の形態では、遠方撮影領域Ｒ４を選択画像領域として選択しないので、路面標示等を駐車枠線として認識する不具合の発生を抑制して、駐車支援の精度を向上できる。

（４）ノイズ検出部３０２が車両周辺の立体物に基づいて立体物ノイズを検出した場合には、ノイズフラグ設定部３０４は、撮影画像の内部の複数の部分撮影領域と俯瞰画像の内部の複数の部分俯瞰領域との中から選択画像領域を選択するようにした。自車両の近傍を撮影した画像を使用した場合であっても、自車両の遠方を撮影した画像であっても、立体物が原因となって駐車枠が誤認識される可能性は低い。したがって、駐車枠認識部３０３がいずれの部分画像領域を用いたとしても、駐車枠線の誤認識の発生を低減できる。

（５）ノイズ検出部３０２が撮影装置１ａ〜１ｄに付着した水滴に基づいて水滴ノイズを検出した場合には、ノイズフラグ設定部３０４は、遠方撮影領域Ｒ４の選択を禁止するようにした。この場合、撮影画像において、水滴ノイズが検出された部分画像領域に対応する画像情報を用いることなく駐車枠の認識を行うので、精度よく駐車支援を実行できる。

（６）ノイズ検出部３０２が撮影装置１ａ〜１ｄに付着した汚れに基づいて汚れノイズを検出した場合には、ノイズフラグ設定部３０４は、近傍撮影領域Ｒ３と近傍俯瞰領域Ｒ１および外周俯瞰領域Ｒ２との中から選択画像領域を選択するようにした。したがって、付着した汚れによる影響が大きい自車両の遠方を撮影した部分画像領域を選択画像領域として選択しないので、付着した汚れに伴う駐車枠の誤認識の発生を抑制できる。

（７）ノイズ検出部３０２が車両周辺の立体物と撮影装置１ａ〜１ｄに付着した水滴とに基づいて立体物ノイズと水滴ノイズとを検出した場合には、ノイズフラグ設定部３０４は、近傍撮影領域Ｒ３と近傍俯瞰領域Ｒ１との中から選択画像領域を選択するようにした。したがって、水滴の付着に伴って情報の精度が低下している遠方撮影領域Ｒ４を選択画像領域として選択しないので、駐車枠の認識精度の低下を防止できる。

（８）ノイズ検出部３０２が撮影装置１ａ〜１ｄに付着した水滴と汚れとに基づいて水滴ノイズと汚れノイズを検出した場合には、ノイズフラグ設定部３０４は、撮影画像の内部の複数の部分撮影領域と俯瞰画像の内部の複数の部分俯瞰領域とから選択画像領域を選択しないようにした。撮影装置１ａ〜１ｄに水滴と汚れとが付着している場合、撮影画像に含まれる情報の精度は低くなる。このような場合には、いずれの部分画像領域をも選択画像領域として選択しないので、情報の精度が低い画像に基づいて、駐車枠が誤って認識されることを防止できる。

（９）ノイズ検出部３０２が線画像の輝度差と撮影装置１ａ〜１ｄに付着した水滴とに基づいて駐車枠ノイズと水滴ノイズとを検出した場合には、ノイズフラグ設定部３０４は、近傍撮影領域Ｒ３と、近傍俯瞰領域Ｒ１との中から選択画像領域を選択するようにした。この場合、上記の（２）および（５）の場合と同様に、駐車枠の認識精度が低い遠方撮影領域Ｒ４は選択画像領域として選択されないので、駐車枠が誤って認識されることを防止できる。

（１０）ノイズ検出部３０２が車線以外の路面標示と撮影装置１ａ〜１ｄに付着した汚れとに基づいて白線ノイズと汚れノイズとを検出した場合には、ノイズフラグ設定部３０４は、近傍俯瞰領域Ｒ１と外周俯瞰領域Ｒ２と中から選択画像領域を選択するようにした。したがって、付着した汚れの影響を受けやすく、かつ路面上に描かれた道路標示等を駐車枠線として誤認識しやすい自車両から遠方を撮影した遠方撮影領域Ｒ４を選択画像領域として選択しないので、駐車枠が誤って認識されることを防止できる。

以上で説明した実施の形態による車載画像処理装置を、以下のように変形できる。
（変形例１）
ノイズフラグ設定部３０４が部分画像領域の選択を行わないものについても、本発明の一態様に含まれる。この場合、駐車枠認識部３０３は、近傍俯瞰領域Ｒ１、外周俯瞰領域Ｒ２、近傍撮影領域Ｒ３、遠方撮影領域Ｒ４および外周撮影領域Ｒ５のそれぞれを用いて駐車枠の認識を行い、ノイズ検出部３０２の検出結果に応じて認識結果を選択するようにしてもよい。たとえば図９に示す事例Ｂの場合には、近傍俯瞰領域Ｒ１を用いた認識結果、近傍撮影領域Ｒ３を用いた認識結果および外周撮影領域Ｒ５を用いた認識結果のいずれかを選択して、出力部４へ出力すればよい。

（変形例２）
実施の形態における車載画像処理装置１００においては、図１０のフローチャートに示すように、ステップＳ１０３でのノイズ検出と、ステップＳ１０７でのノイズフラグ設定とを順次実行することによって、１フレーム中で部分画像領域を選択し、その領域に対してノイズフラグを算出していた。西日や照明光による影響が強い状況や、雨・汚れ等の付着物の存在は、毎フレームごとに完全に異なるわけではなく、一定期間の間、実質的に同一であることが多い。この特徴を利用して、ノイズ検出およびノイズフラグ設定の実行結果をメモリ５に記憶し、次フレームにおける処理の際には、記憶されているノイズ検出およびノイズフラグ設定の結果を読み出して、駐車枠認識部３０３へ出力してもよい。すなわち、図１１のフローチャートに示すように、ステップＳ１０４にて部分画像領域が選択された後、ステップＳ１０８にてメモリ５からノイズ検出結果およびノイズフラグ設定結果を読み出して、ステップＳ１０５へ進めばよい。この結果、処理負荷の軽減を図ることができる。

（変形例３）
さらに、上記の変形例２の場合において、一定時間が経過するごとに、メモリ５に記憶されているノイズ検出およびノイズフラグ設定結果をクリア（削除）して、再度ノイズ検出およびノイズフラグ設定を実行してもよい。この結果、たとえば事例Ｈに示すように、全ての部分画像領域をノイズフラグ設定のために使用しないようにした場合であっても、一定時間が経過すると復帰させることができる。

（変形例４）
上述した実施の形態および変形例１〜３においては、あるノイズが検出された場合に、処理領域を変更することによってノイズの出力を抑制する態様を説明した。領域を使用しないことによってノイズの出力を抑制するものに代えて、ノイズフラグ設定部３０４が対応する選択画像領域でノイズフラグを有効にするための閾値（基準値）を緩和し、ノイズが検出されている場合にはノイズフラグが容易に有効になるようにするものについても本発明の一態様に含まれる。この結果、ノイズ検出の結果によって選択画像領域のノイズフラグが有効になりやすくなるため、駐車枠認識がされにくくなり、駐車枠が誤って認識されることを防止できる。

本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。

次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願２０１２年第２５９０６７号（２０１２年１１月２７日出願）

１ａ、１ｂ、１ｃ、１ｄ…カメラ、２…画像合成部、
３…演算処理部、５…メモリ、１００…車載画像処理装置、
３０１…線抽出部、３０２…ノイズ検出部、
３０３…駐車枠認識部、３０４…ノイズフラグ設定部

Claims (18)

1. 車両の周囲の路面を撮影して撮影画像を取得する撮影装置と、
   前記撮影装置により取得された前記撮影画像に基づいて、前記車両の周囲を俯瞰した様子を示す俯瞰画像を生成する画像生成部と、
   前記画像生成部によって生成された前記俯瞰画像を用いて、前記車両の周囲の路面標示を抽出する抽出部と、
   前記抽出部が前記路面標示を抽出する際に観測される、少なくとも、路面ノイズ、障害物ノイズおよび付着物ノイズのうち何れか１つ以上のノイズを検出する検出部と、
   前記検出部により検出された前記ノイズに応じて、前記撮影画像の内部の部分撮影領域と前記俯瞰画像の内部の部分俯瞰領域との何れかに基づいて、駐車枠を認識する駐車枠認識部とを備える車載画像処理装置。
2. 請求項１に記載の車載画像処理装置において、
   前記検出されたノイズに応じて、前記撮影画像の内部の複数の前記部分撮影領域と前記俯瞰画像の内部の複数の前記部分俯瞰領域との中から選択画像領域を選択して、前記選択画像領域についてノイズの状態に応じたノイズフラグを設定するノイズフラグ設定部をさらに備え、
   前記駐車枠認識部は、前記ノイズフラグ設定部により選択された前記選択画像領域を用いて前記抽出された前記路面標示が前記駐車枠であるか否かを認識する車載画像処理装置。
3. 請求項２に記載の車載画像処理装置において、
   前記検出部が前記ノイズを検出しない場合には、前記ノイズフラグ設定部は、前記撮影画像の内部の前記複数の部分撮影領域と前記俯瞰画像の内部の前記複数の部分俯瞰領域との中から選択画像領域を選択する車載画像処理装置。
4. 請求項２に記載の車載画像処理装置において、
   前記検出部が線画像の輝度差に応じて前記路面ノイズを検出した場合には、前記ノイズフラグ設定部は、前記撮影画像の内部の前記車両の近傍の路面に対応する部分撮影領域と前記俯瞰画像の内部の前記車両の近傍の路面に対応する部分俯瞰領域との中から前記選択画像領域を選択する車載画像処理装置。
5. 請求項２に記載の車載画像処理装置において、
   前記検出部が車線以外の路面標示に基づいて前記路面ノイズを検出した場合には、前記ノイズフラグ設定部は、前記撮影画像の内部の前記車両の遠方の路面に対応する部分撮影領域を前記選択画像領域として選択しない車載画像処理装置。
6. 請求項２に記載の車載画像処理装置において、
   前記検出部が前記車両の周辺の立体物に基づいて前記障害物ノイズを検出した場合には、前記ノイズフラグ設定部は、前記撮影画像の内部の前記複数の部分撮影領域と前記俯瞰画像の内部の前記複数の部分俯瞰領域との中から前記選択画像領域を選択する車載画像処理装置。
7. 請求項２に記載の車載画像処理装置において、
   前記検出部が前記撮影装置に付着した水滴に基づいて前記付着物ノイズを検出した場合には、前記ノイズフラグ設定部は、前記撮影画像の内部の前記車両の遠方の路面に対応する部分撮影領域を前記選択画像領域として選択しない車載画像処理装置。
8. 請求項２に記載の車載画像処理装置において、
   前記検出部が前記撮影装置に付着した汚れに基づいて前記付着物ノイズを検出した場合には、前記ノイズフラグ設定部は、前記撮影画像の内部の前記車両の近傍の路面に対応する部分撮影領域と前記俯瞰画像の内部の前記複数の部分俯瞰領域との中から前記選択画像領域を選択する車載画像処理装置。
9. 請求項２に記載の車載画像処理装置において、
   前記検出部が少なくとも前記車両の周辺の立体物と前記撮影装置に付着した水滴とに基づいて前記障害物ノイズと前記付着物ノイズとを検出した場合には、前記ノイズフラグ設定部は、前記撮影画像の内部の前記車両の近傍の路面に対応する部分撮影領域と前記俯瞰画像の内部の前記車両の近傍の路面に対応する部分俯瞰領域との中から前記選択画像領域を選択する車載画像処理装置。
10. 請求項２に記載の車載画像処理装置において、
    前記検出部が少なくとも前記撮影装置に付着した水滴と汚れとに基づいて前記付着物ノイズを検出した場合には、前記ノイズフラグ設定部は、前記撮影画像の内部の前記複数の部分撮影領域と前記俯瞰画像の内部の前記複数の部分俯瞰領域との中から前記選択画像領域を選択しない車載画像処理装置。
11. 請求項２に記載の車載画像処理装置において、
    前記検出部が少なくとも線画像の輝度差と前記撮影装置に付着した水滴とに基づいて前記路面ノイズと前記付着物ノイズとを検出した場合には、前記ノイズフラグ設定部は、前記撮影画像の内部の前記車両の近傍の路面に対応する部分撮影領域と、前記俯瞰画像の内部の前記車両の近傍の路面に対応する部分俯瞰領域との中から前記選択画像領域を選択する車載画像処理装置。
12. 請求項２に記載の車載画像処理装置において、
    前記検出部が少なくとも車線以外の路面標示と前記撮影装置に付着した汚れとに基づいて前記路面ノイズと前記付着物ノイズとを検出した場合には、前記ノイズフラグ設定部は、前記俯瞰画像の内部の前記複数の部分俯瞰領域の中から前記選択画像領域を選択する車載画像処理装置。
13. 請求項２乃至１２の何れか一項に記載の車載画像処理装置において、
    前記ノイズフラグ設定部が設定した前記ノイズフラグを記憶する記憶部をさらに備え、
    前記ノイズフラグ設定部は、前記撮影装置により次フレームの前記撮影画像が取得された際には、前記記憶部に記憶された前記ノイズフラグに基づいて前記選択画像領域を選択する車載画像処理装置。
14. 請求項１３に記載の車載画像処理装置において、
    前記記憶部は、前記ノイズフラグが記憶されてから所定の時間が経過すると、該ノイズフラグを削除する車載画像処理装置。
15. 請求項２乃至１４の何れか一項に記載の車載画像処理装置において、
    前記ノイズフラグ設定部は、前記選択画像領域において前記ノイズフラグを設定するための基準値を緩和する車載画像処理装置。
16. 請求項１乃至１５の何れか一項に記載の車載画像処理装置において、
    前記路面ノイズは、抽出対象である前記路面標示または前記駐車枠の近傍に存在する前記抽出対象の非構成物であり、前記抽出対象の抽出に悪影響を与える駐車枠ノイズまたは白線ノイズを含んで構成される車載画像処理装置。
17. 請求項１乃至１５の何れか一項に記載の車載画像処理装置において、
    前記障害物ノイズは、抽出対象である前記路面標示または前記駐車枠が描かれている略平面以外の空間に存在する物体の映り込みにより前記抽出対象の抽出に悪影響を与える立体物ノイズを含んで構成される車載画像処理装置。
18. 請求項１乃至１５の何れか一項に記載の車載画像処理装置において、
    前記付着物ノイズは、前記撮影装置への付着物に起因する水滴ノイズまたは汚れノイズを含んで構成される車載画像処理装置。

Images