JP6148848B2

JP6148848B2 - 車載画像処理装置

Info

Publication number: JP6148848B2
Application number: JP2012259068A
Authority: JP
Inventors: 彰二村松; 健人緒方; 將裕清原; 智史鈴木
Original assignee: Clarion Co Ltd
Current assignee: Faurecia Clarion Electronics Co Ltd
Priority date: 2012-11-27
Filing date: 2012-11-27
Publication date: 2017-06-14
Anticipated expiration: 2032-11-27
Also published as: JP2014106738A

Description

本発明は、車載画像処理装置に関する。

車両に取り付けられたカメラにより撮影して得られた画像から、車両の周囲の駐車枠を検出する技術が知られている（特許文献１参照）。

特開２０１１−２０７３８３号公報

上述した特許文献に記載の技術では、車両の後端部に取り付けた車載カメラによって車両後方の路面を逐次撮影し、撮影によって得られた車両後方の画像に基づいて駐車枠を検出している。しかし、上述した特許文献に記載の技術では、後退して駐車する場合には有効であるが、上述した特許文献に記載の技術を前進駐車の場合にも適用すると不具合が生じるおそれがある。すなわち、操舵輪が車両の前部に設けられているため、旋回しながら前進駐車する際の車両前部の左右方向への移動量が、旋回しながら後退駐車する際の車両後部の左右方向への移動量よりも大きい。そのため、前進駐車によって最終的に駐車する位置についての駐車枠が、車両の前部に設けられた車載カメラの撮影範囲から外れてしまい、駐車枠を認識できないおそれがある。

（１）請求項１の発明による車載画像処理装置は、車両の前方、後方、および側方に設けられたカメラで撮影して得られた画像を取得し、取得した画像を合成して、俯瞰画像を生成する画像合成部と、画像合成部で生成した俯瞰画像のうち、車両の前方に設けられたカメラで撮影して得られた画像に基づいて生成した前方俯瞰画像から白線を検出する第１の白線検出部と、第１の白線検出部の検出結果に基づいて、駐車枠を検出する第１の駐車枠検出部と、第１の駐車枠検出部の検出結果を参照して、画像合成部で生成した俯瞰画像のうち、車両の側方に設けられたカメラで撮影して得られた画像に基づいて生成した側方俯瞰画像から白線を検出する第２の白線検出部と、第１の白線検出部の検出結果および第２の白線検出部の検出結果に基づいて、駐車枠を検出する第２の駐車枠検出部とを備えることを特徴とする。

本発明によれば、駐車枠を適切に検出できる。

本発明の一実施の形態による車載画像処理装置の構成を示すブロック図である。車両に搭載されたカメラにより撮影された車両周囲の撮影画像と、画像合成部により合成された俯瞰画像との画像の例を示す図である。演算処理部が行う演算処理の制御ブロック図である。演算処理部の第１白線検出部で行われる処理のフローチャートである。演算処理部の第１駐車枠検出部で行われる処理のフローチャートである。駐車枠を構成する駐車枠線の例を示す模式図である。演算処理部の第２白線検出部で行われる処理のフローチャートである。第２白線検出部における処理に係る俯瞰画像を示す図である。第２白線検出部における処理について説明する図である。演算処理部の第２駐車枠検出部で行われる処理のフローチャートである。第２の実施の形態による外界認識装置の構成を説明するブロック図である。演算処理部が行う演算処理の制御ブロック図である。演算処理部の第１白線検出部で行われる処理のフローチャートである。演算処理部の第１白線検出部で行われる処理の例を示す模式図である。演算処理部の第２白線検出部で行われる処理を説明する模式図である。演算処理部の第２白線検出部で行われる処理のフローチャートである。演算処理部の第２白線検出部で行われる処理の例を示す模式図である。本発明の第３の実施の形態による車載画像処理装置が動作するシーンの例を示す模式図である。第２実施の形態による外界認識装置の構成を説明するブロック図である。演算処理部が行う演算処理の制御ブロック図である。演算処理部の第１の白線抽出部で行われる処理を説明する模式図である。演算処理部の第１レーン検出部で行われる処理のフローチャートである。演算処理部の第２の白線検出部で行われる処理の例を示す模式図である。演算処理部の第２レーン検出部で行われる処理のフローチャートである。

[第１の実施の形態]
図１〜１０を参照して、本発明による車載画像処理装置の第１の実施の形態を説明する。図１は、本発明の一実施の形態による車載画像処理装置１００の構成を示すブロック図である。図１に示す車載画像処理装置１００は、車両１（図２参照）に搭載されて使用されるものであり、画像合成部２と、演算処理部３と、出力部４と、を備える。車載画像処理装置１００は、不図示のコンピュータに所定の制御プログラムを実行させることにより、これらの機能を実現している。図２は、車両１に搭載されたカメラ１ａ〜１ｄにより撮影された車両周囲の撮影画像２１ａ，２１ｂ，２１ｃ，２１ｄと、画像合成部２により合成された俯瞰画像２２との画像の例を示す図である。

車両１に搭載されたカメラ１ａ〜１ｄは、車両１の周囲をそれぞれ異なる撮影範囲で撮影する電子式カメラであり、車両１のボディ、バンパー、ドアミラー等の各部に設置されている。これらの各カメラの撮影範囲は、合わせて車両１の全周囲をカバーできるように定められている。本実施の形態では、図２に示すようにカメラ１ａは車両１前方の撮影範囲を、カメラ１ｂは車両１左側方の撮影範囲を、カメラ１ｃは車両１右側方の撮影範囲を、カメラ１ｄは車両１後方の撮影範囲をそれぞれ撮影するものとして説明する。カメラ１ａ〜１ｄにより所定のフレームレート間隔でそれぞれ取得された撮影画像は、画像合成部２へ出力される。

なお、本実施の形態では、４つのカメラ１ａ〜１ｄが上記のような各撮影範囲をそれぞれ撮影するものとして説明するが、車両１に搭載されるカメラの個数および撮影範囲はこれに限定されない。また、各カメラを合わせた撮影範囲は、必ずしも車両１の全周囲をカバーしていなくてもよい。車両１の周囲を適切な範囲で撮影できれば、任意の個数のカメラを用いて、任意の撮影範囲について撮影画像を取得することができる。

図２において、紙面左側の画像２１ａ，２１ｂ，２１ｃ，２１ｄは、車両１に搭載されたカメラ１ａ〜１ｄで撮影して得られた車両１の周囲の撮影画像を示し、紙面右側の画像２２（２２ａ，２２ｂ，２２ｃ，２２ｄ）は俯瞰画像（オーバーヘッドビュー画像）を示している。

画像合成部２は、カメラ１ａ〜１ｄにより取得された各撮影画像２１ａ，２１ｂ，２１ｃ，２１ｄに基づいて、車両の全周囲を俯瞰した様子を示す俯瞰画像２２を合成する。この俯瞰画像２２は、カメラ１ａ〜１ｄの各撮影画像２１ａ，２１ｂ，２１ｃ，２１ｄをその撮影方向に応じて座標変換した上で繋ぎ合わせることによって合成されるものである。画像合成部２により合成された俯瞰画像は、演算処理部３へ出力される。

俯瞰画像２２は、たとえば、車両１側では車両１内に設置された表示装置１Ｍに表示される。俯瞰画像２２が表示される領域（画像領域２２Ｆ）は、車両１の前方、左側方、右側方および後方にそれぞれ対応する４つの画像領域２２Ｆａ、２２Ｆｂ、２２Ｆｃおよび２２Ｆｄにより構成されている。これらの画像領域２２Ｆに表示される各画像２２ａ，２２ｂ，２２ｃ，２２ｄは、上述したように、図１のカメラ１ａ〜１ｄによってそれぞれ撮影された画像に基づいて作成されたものである。各画像領域２２Ｆａ、２２Ｆｂ、２２Ｆｃおよび２２Ｆｄ内には、駐車枠を構成する駐車枠線２３Ｌの一部が表示されている。

演算処理部３は、画像合成部２により合成された俯瞰画像２２に基づいて所定の演算処理を行うことにより、車両周囲の駐車枠を認識する。この演算処理部３が行う演算処理の内容については、後で詳しく説明する。演算処理部３による駐車枠の認識結果は、出力部４へ出力される。

出力部４は、演算処理部３による駐車枠の認識結果に基づいて、車両周囲の駐車枠に対する駐車枠情報を出力する。たとえば、車両１に対する駐車枠の方向や駐車枠までの距離を示す情報を駐車枠情報として出力する。この駐車枠情報は、車載画像処理装置１００と接続されている上位の車両制御装置（不図示）へと出力され、車両１の駐車支援や走行制御等に利用される。たとえば、周囲に駐車場が存在する状況であることを自動で認識し、たとえば、駐車場環境である場合には、後述する表示装置１Ｍに自車周囲の俯瞰映像を自動で切り替えて表示することができる。これにより、公道において駐車場であると誤検知する状況を抑制し、適切なタイミングでユーザへの提示映像を切り替えることができるようになる。

また，出力部４は、演算処理部３による駐車枠の認識結果に基づいて、自車からの相対的な位置情報として駐車枠情報を出力する。たとえば、駐車枠の左右枠線の端点座標，駐車枠線の角度および切片といった、実環境中における駐車枠の位置情報を出力する。この駐車枠情報は、車載用駐車枠認識装置と接続されている上位の車両制御装置（不図示）へと出力され、車両の駐車支援や走行制御等に利用される。たとえば、自車から駐車枠までの相対的な位置姿勢に基づいて，駐車枠までの走行経路を計算し，ドライバーにブレーキやシフトポジション変更のタイミングや，舵角の操作量を通知することによって，駐車支援を行うことが可能となる。これにより、車庫入れ等の運転操作に不慣れなドライバーにとっても、短時間で駐車動作が完了できるようになる。

さらには、自車から駐車枠までの相対的な位置姿勢に基づいて，駐車枠までの走行経路を計算し、自動で車両の前進・後退・旋回の制御量を計算し、その計算結果に従って車両運動を自動制御してもよい。これにより、車庫入れ等の運転操作に不慣れなドライバーにとっても、安全かつ正確に駐車動作を完了できるようになる。

以上説明したような画像は、上述したように、たとえば車両１内の表示装置１Ｍにおいて表示される。なお、表示装置１Ｍに表示される画像は、俯瞰画像２２に変換する前の撮影画像２１ａ等であってもよい。この場合には、表示装置１Ｍに表示される画像が車両１の進行方向に応じて切り替えられることが好ましい。たとえば、車両１のシフトレバーを前進方向に切り替えたときには、車両１が前進していると判断して、カメラ１ａにより撮影された車両前方の撮影画像２１ａが表示されるようにしてもよい。一方、車両１のシフトレバーを後退方向に切り替えたときには、車両１が後退していると判断して、カメラ１ｄにより撮影された車両１の後方の撮影画像２１ｄが表示されるようにしてもよい。

次に、演算処理部３が行う演算処理の内容について説明する。図３は、演算処理部３が行う演算処理の制御ブロック図である。図３に示すように、演算処理部３は、第１白線検出部３０１と、第１駐車枠検出部３０２と、第２白線検出部３０３と、第２駐車枠検出部３０４の各制御ブロックを機能的に有する。演算処理部３では、たとえば、これらの各制御ブロックに対応してメモリに記録されているプログラムをマイクロコンピュータで実行することにより、図３の各制御ブロックを実現している。演算処理部３は、たとえば車速が所定の速度（たとえば５０ｋｍ／ｈ）以下となった場合に、処理を実施する。車速が所定の速度以下となったか否かの判断は、車両側から出力される車速パルスの周期に基づいて判断してもよく、車両の不図示の制御装置から出力される車速に関する情報に基づいて判断してもよい。

画像合成部２により合成された俯瞰画像は、演算処理部３において第１白線検出部３０１に入力される。第１白線検出部３０１は、入力された俯瞰画像２２ａから路面に描かれた白線を検出する。第１白線検出部３０１が行う処理内容については、後述する。第１白線検出部３０１による白線の検出（認識）結果は、第１駐車枠検出部３０２へ出力される。

第１駐車枠検出部３０２は、第１白線検出部３０１による白線の抽出結果に基づいて、駐車枠を検出する。第１駐車枠検出部３０２が行う処理内容については、後述する。第１駐車枠検出部３０２による駐車枠の検出結果は、第２白線検出部３０３および図１の出力部４へ出力される。

第２白線検出部３０３は、第１駐車枠検出部３０２が行った処理内容に基づいて、車両１の側方の俯瞰画像２２ｂ，２２ｃにおける白線（駐車枠線２３Ｌ）の予想位置を算出し、算出した予想位置における駐車枠線２３Ｌを検出する。第２白線検出部３０３が行う処理内容については、後述する。第２白線検出部３０３による白線の検出（認識）結果は、第２駐車枠検出部３０４へ出力される。

第２駐車枠検出部３０４は、第１白線検出部３０１による白線の検出結果および第２白線検出部３０３の検出結果に基づいて、車両１の前方の俯瞰画像２２ａに現れる駐車枠線２３Ｌと、側方の俯瞰画像２２ｂ，２２ｃに現れる駐車枠線２３Ｌとから、駐車枠を検出する。第２駐車枠検出部３０４による駐車枠の検出結果は、図１の出力部４へ出力される。

図４は、演算処理部３の第１白線検出部３０１で行われる処理のフローチャートである。このフローチャートに示す処理は、演算処理部３が処理を実施する度に、繰り返し実行される。ステップＳ１０１において、カメラ１ａにおける撮影画像２１ａ、すなわち車両１前方の撮影画像２１ａから生成された俯瞰画像（前方俯瞰画像）２２ａに対して、順次走査（プログレッシブスキャン）を行い、すべての走査線（全ライン）で横方向のエッジフィルタを適用してステップＳ１０３へ進む。

ステップＳ１０３において、ステップＳ１０１における処理結果から、輝度の立ち上がりおよび立ち下がりのピークを抽出してステップＳ１０５へ進む。ステップＳ１０５において、ステップＳ１０３における処理の結果から、所定の間隔（駐車枠線の横幅に相当する間隔）で輝度の立ち上がりのピークと輝度の立ち下がりのピークとによってペアとして成り立つエッジのみを残す処理を行ってステップＳ１０７へ進む。

ステップＳ１０７において、ステップＳ１０５における処理によって残されたエッジに関し、立ち上がりのピーク同士、および立ち下がりピーク同士で、直線状に並んでいると推定されるピークをひとまとまりのグループとして関連づけるグルーピング（グループ化）を行ってステップＳ１０９へ進む。ステップＳ１０９において、ステップＳ１０７における処理によるピークの各グループに対して、ノイズの除去を目的として、各グループの長さによるフィルタリングを行う。すなわち、１つのグループを構成する直線状に並ぶピークのうち、直線の両端に相当する２つのピーク同士の間隔が所定の長さよりも長いグループだけを残す処理を行う。ステップＳ１０９における処理を実行するとステップＳ１１１へ進む。

ステップＳ１１１において、ステップＳ１０９における処理によって残された各グループについて、立ち上がりのエッジの任意の１グループ、およびこの立ち上がりのエッジとペアをなす立ち下がりのエッジのグループにおける、直線の両端に相当する２つの端点（上端および下端）の座標をそれぞれ抽出して、第１駐車枠検出部３０２へ出力する。

図５は、演算処理部３の第１駐車枠検出部３０２で行われる処理のフローチャートである。このフローチャートに示す処理は、演算処理部３が処理を実施する度に、繰り返し実行される。ステップＳ１２１において、第１白線検出部３０１から出力された情報に基づいて、任意の２本の白線（駐車枠線）に関する情報を選択してステップＳ１２３へ進む。

ステップＳ１２３において、ステップＳ１２１で選択した２本の白線同士の延在方向の角度差が所定値（Ｔｈθｍａｘ）以下であるか否かを判断する。すなわち、ステップＳ１２３では、２本の白線が略平行であるか否かを判断する。ステップＳ１２３が肯定判断されるとステップＳ１２５へ進み、２本の白線の間隔が所定の範囲内（ＴｈＷｍｉｎ以上かつＴｈＷｍａｘ以下）であるか否かを判断する。すなわち、ステップＳ１２５では、駐車枠を構成する２本の白線として考えられる間隔で２本の白線が並んでいるか否かを判断する。

ステップＳ１２５が肯定判断されるとステップＳ１２７へ進み、２本の白線の下端のずれが所定の範囲内（ＴｈＢｍｉｎ以上かつＴｈＢｍａｘ以下）であるか否かを判断する。ここで、２本の白線の下端のずれについて、図６を参照して説明する。図６の左図（ａ）に示すように、駐車場の敷地における車両１の移動方向（図６の紙面における上下方向および左右方向）に対して車両１を平行または直角に駐車するように駐車枠２３が設けられ、この駐車枠２３に対応するように駐車枠線２３Ｌが描かれている場合、紙面における下端は、ずれない。

しかし、図６の右図（ｂ）に示すように、駐車場によっては、車両１の移動方向（図６の紙面における上下方向および左右方向）に対して車両１を平行または直角ではなく斜めに駐車するように駐車枠２３が設けられ、この駐車枠２３に対応するように駐車枠線２３Ｌが描かれている場合がある。この場合、距離Ｂで示すように、駐車枠２３を構成する駐車枠線２３Ｌの下端位置がずれる。これは、図示右側の駐車枠線２３Ｌが紙面下方の車両１が走行する領域に対してはみ出さないようにするために、駐車枠線２３Ｌの下端位置をずらしてあるからである。

たとえば、高速道路のサービスエリアやパーキングエリアでは、図６の右図（ｂ）の左側の駐車枠線２３Ｌの下端から駐車枠線２３Ｌの延在方向に対して垂直な線分と、駐車枠線２３Ｌの下端同士を結ぶ線分との交差角度θが０度、３０度、４５度のいずれかとすることが定められている。また、駐車枠２３の幅Ｗについても取り得る値の範囲が決まっている。そこで、本実施の形態では、上記交差角度θが、０度、３０度、４５度のいずれかの値であるときに取り得る距離Ｂの値があらかじめ不図示のメモリ等に記憶されている。

本実施の形態のステップＳ１２７では、あらかじめ記憶されている上述した距離Ｂと、前方俯瞰画像２２ａから算出される距離Ｂとを比較して、その差が上述した所定の範囲内（ＴｈＢｍｉｎ以上かつＴｈＢｍａｘ以下）であるか否かを判断することによって、２本の白線が１つの駐車枠２３を構成する白線（駐車枠線２３Ｌ）であるか否かを判断する。

ステップＳ１２７が肯定判断されるとステップＳ１２９へ進み、２本の白線で構成される矩形の駐車枠２３の４隅の座標を１つの駐車枠２３についての位置の情報として登録する。ステップＳ１２９を実行するとステップＳ１３１へ進み、第１白線検出部３０１から出力された情報に基づくすべての白線（駐車枠線）に関して、任意の２本の白線についての上述した処理を行ったか否かを確認する。ステップＳ１３１が肯定判断されると、上述した処理によって得られた結果を第２白線検出部に出力して、リターンする。ステップＳ１３１が否定判断されるとステップＳ１２１へ戻る。

ステップＳ１２３が否定判断されるか、ステップＳ１２５が否定判断されるか、ステップＳ１２７が否定判断されるとステップＳ１３１へ進む。

図７は、演算処理部３の第２白線検出部３０３で行われる処理のフローチャートである。このフローチャートに示す処理は、演算処理部３が処理を実施する度に、繰り返し実行される。なお、第２白線検出部３０３で行われる処理によって、車両１側方の撮影画像２１ｂ，２１ｃから生成された俯瞰画像（側方俯瞰画像）２２ｂ，２２ｃに表示されている駐車枠線２３Ｌ（たとえば、図８の俯瞰画像２２ｃに現れている駐車枠線２３Ｌ）を検出する。

ステップＳ１４１において、側方俯瞰画像２２ｂ，２２ｃに対して、走査されるラインを間引くために飛び越し走査（インターレススキャン）を行う。このような間引かれた走査を行い、すべての走査線、すなわち間引かれなかったライン（飛び越し走査によって得られた、たとえば１フィールド分）に対して横方向のエッジフィルタを適用する。

このように、飛び越し走査によって得られた、たとえば１フィールド分に対してだけ横方向のエッジフィルタを適用することで、側方俯瞰画像２２ｂ，２２ｃに対する白線検出処理の負荷を減らすことができる。また、図９に示すように、側方俯瞰画像２２ｂ，２２ｃのうち、車両１の中央付近より前方の領域についてだけ走査を行うことで、白線検出処理の負荷をさらに減らすことができる。

なお、後述する図９では、上述した飛び越し走査に係る走査線２６を模式的に示している。ステップＳ１４１を実行するとステップＳ１４３へ進む。

ステップＳ１４３において、ステップＳ１４１における処理結果から、輝度の立ち上がりおよび立ち下がりのピークを抽出してステップＳ１４５へ進む。ステップＳ１４５において、ステップＳ１４３における処理の結果から、所定の間隔（駐車枠線の横幅に相当する間隔）で輝度の立ち上がりのピークと輝度の立ち下がりのピークとによってペアとして成り立つエッジのみを残す処理を行ってステップＳ１４７へ進む。

ステップＳ１４７において、第１駐車枠検出部３０２で登録した駐車枠２３についての位置の情報に基づいて、側方俯瞰画像２２ｂ，２２ｃにおいて存在すると予測される駐車枠線２３Ｌの予想位置を算出する。すなわち、図８に示すように、第１駐車枠検出部３０２認識した駐車枠２３を構成する線２３Ｌについての情報から、側方俯瞰画像２２ｂ，２２ｃにおいて存在すると予測される駐車枠線２３Ｌの予想位置を示す仮想線２５を算出する。

ステップＳ１４７が実行されるとステップＳ１４９へ進み、飛び越し走査に係る各ライン（各走査線２６）とステップＳ１４７で算出した仮想線２５との交点を算出する。すなわち、図９における俯瞰画像２２ｃに示すように、各走査線２６と仮想線２５との交点２７を算出する。なお、図８や図９で示している仮想線２５，走査線２６および交点２７は、説明の便宜のために図中に表しているだけであり、表示装置１Ｍに表示される画像には、仮想線２５，走査線２６および交点２７は表示されない。

ステップＳ１４９が実行されるとステップＳ１５１へ進み、各走査線２６上で各交点２７の近傍（駐車枠線２３Ｌの幅方向に相当する所定の範囲内）に、輝度の立ち上がりのピークと輝度の立ち下がりのピークとによってペアとして成り立つエッジが存在するか否かを確認してステップＳ１５３へ進む。

ステップＳ１５３において、一番上のライン、すなわち、図９における図示上方の走査線２６から順に交点２７を辿り、ステップＳ１５１で存在を確認したエッジのペアが存在しなかった交点２７を特定し、特定した交点２７の１つ上の走査線２６上の交点２７を白線の下端、すなわち駐車枠線２３Ｌの下端として、この交点２７の座標を抽出し、第２駐車枠検出部３０４へ出力する。

図１０は、演算処理部３の第２駐車枠検出部３０４で行われる処理のフローチャートである。このフローチャートに示す処理は、演算処理部３が処理を実施する度に、繰り返し実行される。ステップＳ１６１において、上述した第２白線検出部３０３で白線を検出できたか否か、すなわち、駐車枠線２３Ｌを検出できたか否かを判断する。ステップＳ１６１は肯定判断されるとステップＳ１６３へ進む。

ステップＳ１６３において、第２白線検出部３０３で検出した白線と、第１白線検出部３０１で検出された白線のうち、第２白線検出部３０３で検出した白線の近くに存在する白線とによって構成される１つの駐車枠２３について、位置の情報を登録する。そして登録した情報を出力部４へ出力してリターンする。

ステップＳ１６１が否定判断されるとリターンする。

上述した本実施の形態によれば、次の作用効果を奏する。
（１）第１白線検出部３０１の検出結果に基づいて、第１駐車枠検出部３０２で前方俯瞰画像２２ａにおける駐車枠２３を検出し、第１駐車枠検出部３０２の検出結果を参照して、側方俯瞰画像２２ｂ，２２ｃから駐車枠線２３Ｌを第２白線検出部３０３で検出するように構成した。そして、第１白線検出部３０１および第２白線検出部３０３の検出結果に基づいて、前方俯瞰画像２２ａと側方俯瞰画像２２ｂ，２２ｃとにまたがって存在する駐車枠２３を第２駐車枠検出部３０４で検出するように構成した。これにより、旋回しながら前進駐車する際に、前方俯瞰画像２２ａだけでは検出できない駐車枠２３を、前方俯瞰画像２２ａおよび側方俯瞰画像２２ｂ，２２ｃに基づいて検出できる。したがって、旋回しながらであっても、前進駐車によって際に最終的に駐車する駐車枠２３を早い段階で検出できるので、前進駐車をする際、ドライバーに対して適切に駐車枠２３を提示でき、前進駐車を容易化できる。

（２）第１駐車枠検出部３０２で検出された駐車枠２３に係る白線の延在方向の角度および駐車枠の幅に基づいて白線を検出するように第２白線検出部３０３を構成した。これにより、側方俯瞰画像２２ｂ，２２ｃにおける白線の予想位置を算出できるので、飛び越し走査した場合であっても側方俯瞰画像２２ｂ，２２ｃにおける白線を検出できる。したがって、第２白線検出部３０３における白線検出処理の負荷を減らすことができ、第２白線検出部３０３に係る演算装置の性能を必要以上に要求しなくて済むため、車載画像処理装置１００のコストダウンに貢献できる。

（３）より具体的には、第１駐車枠検出部３０２認識した駐車枠２３を構成する線２３Ｌについての情報から、側方俯瞰画像２２ｂ，２２ｃにおける駐車枠線２３Ｌの予想位置を示す仮想線２５を算出するように構成した。そして、仮想線２５と飛び越し走査に係る各ライン（各走査線２６）との交点を算出するように構成した。また、各交点２７の近傍に、輝度の立ち上がりのピークと輝度の立ち下がりのピークとによってペアとして成り立つエッジが存在するか否かを確認するように構成した。これにより、前方俯瞰画像２２ａと側方俯瞰画像２２ｂ，２２ｃとにまたがって存在する白線を容易に検出できるので、第２白線検出部３０３における白線検出処理の負荷を減らすことができ、第２白線検出部３０３に係る演算装置の性能を必要以上に要求しなくて済むため、車載画像処理装置１００のコストダウンに貢献できる。

（４）第１白線検出部３０１による前方俯瞰画像２２ａの走査については順次走査を行い、第２白線検出部３０３による側方俯瞰画像２２ｂ，２２ｃの走査については飛び越し走査を行うように構成した。すなわち、第２白線検出部３０３による側方俯瞰画像２２ｂ，２２ｃの走査密度が、第１白線検出部３０１による前方俯瞰画像２２ａの走査密度よりも粗くなるように構成した。これにより、白線検出に係る処理速度を向上できるので、遅滞なく白線検出ができ、ひいては、遅滞なく駐車枠に関する情報を出力できる。したがって、駐車枠に関する情報を用いた車両１側での処理時間を短縮でき、駐車枠に関する情報を用いた車両１の制御に資する。

[第２の実施の形態]
次に、本発明の第２の実施の形態について図１１から図１７を参照しつつ以下に説明する。

図１１は、第２の実施の形態にかかわる外界認識装置２００の構成を説明するブロック図である。図１１に示す車載画像処理装置２００は、車両１に搭載されて使用されるものであり、演算処理部３１と、出力部４と、を備える。なお、第１の実施の形態と同様の構成要素には同一の符号を付することでその詳細な説明を省略する。

本実施の形態において特徴的なことは、画像合成部２を用いず、演算処理部３１で直接画像処理を実施していることである。

演算処理部３１が行う演算処理の内容について説明する。図１２は、演算処理部３１が行う演算処理の制御ブロック図である。図１２に示すように、演算処理部３１は、第１白線検出部３１１と、第１駐車枠検出部３０２と、第２白線検出部３１３と、第２駐車枠検出部３０４の各制御ブロックを機能的に有する。演算処理部３１は、車両に取り付けたカメラ１ａ〜１ｄから取得される画像２１ａ〜２１ｄのうち、第1白線検出部３１１において前方カメラ画像２１ａ、第２白線検出部にて右側方カメラ画像２１ｂ、左側方カメラ画像２１ｃを用いる。演算処理部３１では、たとえば、これらの各制御ブロックに対応してメモリに記録されているプログラムをマイクロコンピュータで実行することにより、図１２の各制御ブロックを実現している。演算処理部３１は、たとえば車速が所定の速度（たとえば５０ｋｍ／ｈ）以下となった場合に、処理を実施する。車速が所定の速度以下となったか否かの判断は、車両側から出力される車速パルスの周期に基づいて判断してもよく、車両の不図示の制御装置から出力される車速に関する情報に基づいて判断してもよい。演算処理部３１による駐車枠の認識結果は、出力部４へ出力される。

第１白線検出部３１１は、前方カメラ画像２１ａを入力し、路面に描かれた白線を検出する。第１白線検出部３１１が行う処理内容については、後述する。第１白線検出部３１１による白線の検出（認識）結果は、第１駐車枠検出部３０２へ出力される。

第２白線検出部３１３は、第１駐車枠検出部３０２が行った処理内容に基づいて、右側方カメラ画像２１ｂ、左側方カメラ画像２１ｃにおける白線の予想位置を算出し、算出した予想位置における駐車枠線を検出する。第２白線検出部３１３が行う処理内容については、後述する。第２白線検出部３１３による白線の検出（認識）結果は、第２駐車枠検出部３０４へ出力される。

図１３は、演算処理部３１の第１白線検出部３１１で行われる処理のフローチャートである。このフローチャートに示す処理は、演算処理部３１が処理を実施する度に、繰り返し実行される。ステップＳ２０１において、車両１の前方カメラ画像２１ａに対して、処理ラインを設定する。処理ラインの設定の例について、図１４を用いて説明する。図１４（ａ）は、前方カメラ画像２１ａの一例である。この画像に対して、処理ライン４２を設定する。図１４（ｂ）はラインを均等に画面全体に適用した場合の一例である。このほかにも、過去の白線や駐車枠の検出結果に基づいて設定したり、自車の挙動に基づいて設定する方法等が考えられるが、ここでは説明を割愛する。

ステップＳ２０３において、ステップＳ２０１にて設定したすべての処理ラインに対して横方向のエッジフィルタを適用してステップＳ２０５へ進む。ステップＳ２０５において、ステップＳ２０３における処理結果から、輝度の立ち上がりおよび立ち下がりのピークを抽出してステップＳ２０７へ進む。ステップＳ２０７において、ステップＳ２０５における処理の結果から、所定の間隔（駐車枠線の横幅に相当する間隔）で輝度の立ち上がりのピークと輝度の立ち下がりのピークとによってペアとして成り立つエッジのみを残す処理を行ってステップＳ２０９へ進む。

ステップＳ２０９において、ステップＳ２０７における処理によって残されたエッジに関し、立ち上がりのピーク同士、および立ち下がりピーク同士で、直線状に並んでいると推定されるピークをひとまとまりのグループとして関連づけるグルーピング（グループ化）を行う。ここで、本実施例ではカメラ画像をそのまま用いているため、エッジのピークは第１の実施例のように画像上で直線上に並ばない。そこで、本実施例では、カメラ幾何情報を用いてすべてのエッジ点を世界座標へ変換し、世界座標上でグルーピングを実施する。グルーピング後、ステップＳ２１１へ進む。ステップＳ２１１において、ステップＳ２０９における処理によるピークの各グループに対して、ノイズの除去を目的として、各グループの長さによるフィルタリングを行う。すなわち、１つのグループを構成する直線状に並ぶピークのうち、直線の両端に相当する２つのピーク同士の間隔が所定の長さよりも長いグループだけを残す処理を行う。ステップＳ２１１における処理を実行するとステップＳ２１３へ進む。

ステップＳ２１３において、ステップＳ２１１における処理によって残された各グループについて、立ち上がりのエッジの任意の１グループ、およびこの立ち上がりのエッジとペアをなす立ち下がりのエッジのグループにおける、直線の両端に相当する２つの端点（上端および下端）の座標をそれぞれ抽出して、第１駐車枠検出部３０２へ出力する。

図１６は、演算処理部３の第２白線検出部３１３で行われる処理のフローチャートである。このフローチャートに示す処理は、演算処理部３１が処理を実施する度に、繰り返し実行される。なお、第２白線検出部３１３で行われる処理によって、車両１側方の撮影画像２１ｂ，２１ｃに表示されている駐車枠線４１Ｌｃ（たとえば、図１５に現れている駐車枠線４１Ｌｃ）を検出する。

ステップＳ２２１において、第１駐車枠検出部３０２で登録した駐車枠２３についての位置の情報に基づいて、側方カメラ画像２１ｂ，２１ｃにおいて存在すると予測される駐車枠線４１Ｌｃの予想位置を算出する。すなわち、図１５に示すように、第１駐車枠検出部３０２にて認識した駐車枠２３を構成する線４１Ｌａ、４１Ｌｂについての情報から、側方カメラ画像２１ｂ，２１ｃにおいて存在すると予測される駐車枠線４１Ｌｃの予想位置を示す仮想線４３を算出する。

ステップＳ２２３において、仮想線４３を、カメラ幾何情報を用いて側方画像２１ｂもしくは２１ｃ上へ重畳し、その線の周囲に処理ライン４４を設定する。図１７に示すように、仮想線４３は前方カメラ画像２１ａで検出した枠線が右側に傾いている場合は右側方カメラ画像２１ｃへ、左側へ傾いている場合は左側方カメラ画像２１ｂへ引かれるため、以降、いずれかのカメラ画像のみを処理する。

ステップＳ２２５において、ステップＳ２２３において設定した処理ラインに対して横方向のエッジフィルタを適用する。
このように、処理ライン４２よりＹ方向の間隔が疎な横方向のエッジフィルタを適用することで、側方カメラ画像２１ｂ，２１ｃに対する白線検出処理の負荷を減らすことができる。

ステップＳ２２７において、ステップＳ２２５における処理結果から、輝度の立ち上がりおよび立ち下がりのピークを抽出してステップＳ２２９へ進む。ステップＳ２２９において、ステップＳ２２７における処理の結果から、所定の間隔（駐車枠線の横幅に相当する間隔）で輝度の立ち上がりのピークと輝度の立ち下がりのピークとによってペアとして成り立つエッジのみを残す処理を行ってステップＳ２３１へ進む。

ステップＳ２３１において、各処理ライン４４と仮想線４３の各交点４５の近傍に存在している輝度の立ち上がりのピークと輝度の立ち下がりのピークとによってペアとして成り立つエッジペアを抽出する。

ステップＳ２３３において、ステップＳ２３１で抽出したエッジペアのうち、直線状に並んでいるものを抽出する。抽出には様々な方法が考えられるが、例えば各エッジ点を世界座標へ変換し、一般的に知られているハフ変換を用いて抽出することが可能である。直線が抽出された場合には、立ち上がりエッジおよび立下りエッジの上端と下端の座標を求め、第２駐車枠検出部３０４へ出力する。

以上説明したように、本発明は俯瞰画像を必ずしも用いなくても良い。

[第３の実施の形態]
次に、本発明の第３の実施の形態について図１８から図２４を参照しつつ以下に説明する。

図１９は、第３の実施の形態にかかわる外界認識装置３００の構成を説明するブロック図である。図１９に示す車載画像処理装置３００は、車両１に搭載されて使用されるものであり、演算処理部３２と、出力部４と、を備える。なお、第１の実施の形態および第２の実施の形態と同様の構成要素には同一の符号を付することでその詳細な説明を省略する。

本実施の形態において特徴的なことは、駐車枠ではなく、白線抽出結果から走行レーンを検出していることである。図１８（ａ）に示すように、自車１が旋回しながら複数車線の道へ出ていく際にも、同様にフロントカメラでは視野に入らないレーンへ入っていく場合があり、本実施例はこのような場合に側方カメラを用いて自車が入っていくレーンを認識するものである。

演算処理部３２が行う演算処理の内容について説明する。図２０は、演算処理部３２が行う演算処理の制御ブロック図である。図２０に示すように、演算処理部３２は、第１白線検出部３１１と、第１レーン検出部３２２と、第２白線検出部３１３と、第２レーン検出部３２４の各制御ブロックを機能的に有する。演算処理部３２は、車両に取り付けたカメラ１ａ〜１ｄから取得される画像２１ａ〜２１ｄのうち、第１白線検出部３１１において前方カメラ画像２１ａ、第２白線検出部にて右側方カメラ画像２１ｂ、左側方カメラ画像２１ｃを用いる。演算処理部３２では、たとえば、これらの各制御ブロックに対応してメモリに記録されているプログラムをマイクロコンピュータで実行することにより、図２０の各制御ブロックを実現している。演算処理部３２は、たとえば車速が所定の速度（たとえば５０ｋｍ／ｈ）以下となった場合に、処理を実施する。車速が所定の速度以下となったか否かの判断は、車両側から出力される車速パルスの周期に基づいて判断してもよく、車両の不図示の制御装置から出力される車速に関する情報に基づいて判断してもよい。演算処理部３２による駐車枠の認識結果は、出力部４へ出力され、例えばレーン逸脱警報等に用いられる。

第３実施の形態における第１の白線抽出部３１１の処理は第２実施の形態で説明したフローと同一であるため詳細な説明は割愛する。図２１（ａ）に示すように、前方カメラ画像２１ａに写る白線４１Ｌａ、４１Ｌｂに対し、処理エリア４２を設定する。処理エリアは、過去のレーン認識結果の近傍に設けたり、画面全体を処理するように設定される。本実施形態においては、前方カメラ画像２１ａを左右に分割し、それぞれの領域から左側レーン、右側レーンを検出している。第１白線検出部３１１による白線の検出（認識）結果は、第１駐車枠検出部３２２へ出力される。

図２２は、演算処理部３２の第１レーン検出部３２２で行われる処理のフローチャートである。このフローチャートに示す処理は、演算処理部３２が処理を実施する度に、繰り返し実行される。ステップＳ３０１において、第１白線検出部３１１から出力された情報に基づいて、任意の２本の白線に関する情報を選択してステップＳ３０３へ進む。

ステップＳ３０３において、ステップＳ３０１で選択した２本の白線同士の延在方向の角度差が所定値（Ｔｈθｍａｘ）以下であるか否かを判断する。すなわち、ステップＳ３０３では、２本の白線が略平行であるか否かを判断する。ステップＳ３０３が肯定判断されるとステップＳ３０５へ進み、２本の白線の間隔が所定の範囲内（ＴｈＷｍｉｎ以上かつＴｈＷｍａｘ以下）であるか否かを判断する。すなわち、ステップＳ３０５では、レーンを構成する２本の白線として考えられる間隔で２本の白線が並んでいるか否かを判断する。

ステップＳ３０５が肯定判断されるとステップＳ３０７へ進み、２本の白線で構成される４隅の座標をレーンついての位置の情報として登録する。ステップＳ３０５を実行するとステップＳ３０７へ進み、第１白線検出部３１１から出力された情報に基づくすべての白線に関して、任意の２本の白線についての上述した処理を行ったか否かを確認する。ステップＳ３０７が肯定判断されると、上述した処理によって得られた結果を第２白線検出部３１３に出力して、リターンする。ステップＳ３０９が否定判断されるとステップＳ３０１へ戻る。

ステップＳ３０３が否定判断されるか、ステップＳ３０５が否定判断されるとステップＳ３０９へ進む。

第３実施の形態における第２の白線検出部３１３の処理は、第２実施の形態で説明したフローと同一であるため詳細な説明は割愛する。図２３（ａ）に示すように、前方カメラ画像２１ａから検出したレーンを成す白線の情報に基づき、仮想線４３を引き、仮想線を中心として処理エリア４４を設定する。第２の白線検出部の白線検出結果は、第２レーン検出部３２４へ出力される。

図２４は、演算処理部３２の第２レーン検出部３２４で行われる処理のフローチャートである。このフローチャートに示す処理は、演算処理部３２が処理を実施する度に、繰り返し実行される。ステップＳ３２１において、上述した第２白線検出部３１３で白線を検出できたか否かを判断する。ステップＳ３２１は肯定判断されるとステップＳ３２３へ進む。

ステップＳ３２３において、第２白線検出部３１３で検出した白線と、第１白線検出部３１１で検出された白線のうち、第２白線検出部３１３で検出した白線の近くに存在する白線とによって構成されるレーンを、第１レーン検出部３２２で登録したレーンを棄却して新規登録する。そして、登録した情報を出力部４へ出力してリターンする。

ステップＳ３２１は否定判断されるとリターンする。

以上説明したように、本発明は駐車枠の検出に限定されるものではなく、旋回時に前方カメラの視野に一部しか入らない物体を検出する際に、前方カメラの検出結果に基づいて、側方カメラで物体の一部を検出し、前方カメラと側方カメラの検出結果を用いて物体を検出するものである。

−−−変形例−−−
（１）上述の説明では、たとえば車速が所定の速度（たとえば５０ｋｍ／ｈ）以下となった場合に、演算処理部３の各部で上述した処理が行われるように構成したが、本発明はこれに限定されない。上述した所定の速度としての５０ｋｍ／ｈは一例であり、演算処理部３の各部で上述した処理を行う閾値としての車速が、５０ｋｍ／ｈよりも速い速度や遅い速度であってもよい。また、たとえば、車両１に搭載されたナビゲーション装置から、車両１の現在位置が駐車場内であるか否かを表す情報に基づいて、演算処理部３の各部で上述した処理が行われるように構成してもよい。

（２）上述の説明では、前進駐車を行う場合の駐車枠の検出について説明したが、本発明はこれに限定されない。たとえば後退駐車を行う場合の駐車枠の検出についても、上述した処理と同様の処理を行うことで、後方俯瞰画像２２ｄと側方俯瞰画像２２ｂ，２２ｃとにまたがって存在する駐車枠２３を検出するように構成してもよい。
（３）上述した各実施の形態および変形例は、それぞれ組み合わせてもよい。

なお、本発明は、上述した実施の形態のものに何ら限定されず、車両の前方および側方に設けられたカメラで撮影して得られた画像を取得する画像取得部と、車両の前方に設けられたカメラで撮影して得られた画像から物体の特徴を検出する第１の物体特徴検出部と、第１の物体特徴検出部の検出結果に基づいて、物体を検出する第１の物体検出部と、第１の物体検出部の検出結果を参照して、車両の側方に設けられたカメラで撮影して得られた画像から物体の特徴を検出する第２の物体特徴検出部と、第１の物体特徴検出部の検出結果および第２の物体特徴検出部の検出結果に基づいて、物体を検出する第２の物体検出部とを備えることを特徴とする各種構造の車載画像処理装置を含むものである。
また、本発明は、上述した実施の形態のものに何ら限定されず、車両の前方、後方、および側方に設けられたカメラで撮影して得られた画像を取得し、取得した画像を合成して、俯瞰画像を生成する画像合成部と、画像合成部で生成した俯瞰画像のうち、車両の前方に設けられたカメラで撮影して得られた画像に基づいて生成した前方俯瞰画像から白線を検出する第１の白線検出部と、第１の白線検出部の検出結果に基づいて、駐車枠を検出する第１の駐車枠検出部と、第１の駐車枠検出部の検出結果を参照して、画像合成部で生成した俯瞰画像のうち、車両の側方に設けられたカメラで撮影して得られた画像に基づいて生成した側方俯瞰画像から白線を検出する第２の白線検出部と、第１の白線検出部の検出結果および第２の白線検出部の検出結果に基づいて、駐車枠を検出する第２の駐車枠検出部とを備えることを特徴とする各種構造の車載画像処理装置を含むものである。

２画像合成部、３演算処理部、４出力部、２２俯瞰画像、２２ａ前方俯瞰画像、２２ｂ，２２ｃ側方俯瞰画像、１００車載画像処理装置、３０１第１白線検出部、３０２第１駐車枠検出部、３０３第２白線検出部、３０４第２駐車枠検出部

Claims

車両の前方、後方、および側方に設けられたカメラで撮影して得られた画像を取得し、取得した前記画像を合成して、俯瞰画像を生成する画像合成部と、
前記画像合成部で生成した俯瞰画像のうち、前記車両の前方に設けられたカメラで撮影して得られた画像に基づいて生成した前方俯瞰画像から白線を検出する第１の白線検出部と、
前記第１の白線検出部の検出結果に基づいて、駐車枠を検出する第１の駐車枠検出部と、
前記第１の駐車枠検出部の検出結果を参照して、前記画像合成部で生成した俯瞰画像のうち、前記車両の側方に設けられたカメラで撮影して得られた画像に基づいて生成した側方俯瞰画像から白線を検出する第２の白線検出部と、
前記第１の白線検出部の検出結果および前記第２の白線検出部の検出結果に基づいて、駐車枠を検出する第２の駐車枠検出部とを備えることを特徴とする車載画像処理装置。
請求項１に記載の車載画像処理装置において、
前記第２の白線検出部は、前記第１の駐車枠検出部で検出された駐車枠に係る白線の延在方向の角度および駐車枠の幅に基づいて白線を検出することを特徴とする車載画像処理装置。
請求項２に記載の車載画像処理装置において、
前記第２の白線検出部は、前記第１の駐車枠検出部で検出した駐車枠を構成する白線に関する情報に基づいて、前記側方俯瞰画像における駐車枠を構成する白線の位置を予測することを特徴とする車載画像処理装置。
請求項３に記載の車載画像処理装置において、
前記第２の白線検出部は、予測した前記側方俯瞰画像における駐車枠を構成する白線の位置と、前記側方俯瞰画像の走査線との交点を算出し、前記側方俯瞰画像に存在する白線を横切るように走査することで得られる輝度の立ち上がりおよび立ち下がりを検出し、検出した輝度の立ち上がりおよび立ち下がりの存在する位置と前記算出した交点とが一致するか否かを判定することで予想した白線を検出することを特徴とする車載画像処理装置。
請求項１〜４のいずれか一項に記載の車載画像処理装置において、
前記第２の白線検出部による前記側方俯瞰画像の走査密度は、前記第１の白線検出部による前記前方俯瞰画像の走査密度よりも粗いことを特徴とする車載画像処理装置。
請求項５に記載の車載画像処理装置において、
前記第１の白線検出部は、前記前方俯瞰画像を順次走査することで白線を検出し、
前記第２の白線検出部は、前記側方俯瞰画像を飛び越し走査することで白線を検出することを特徴とする車載画像処理装置。