JP6713349B2

JP6713349B2 - 画像処理装置、外界認識装置

Info

Publication number: JP6713349B2
Application number: JP2016108686A
Authority: JP
Inventors: 秋山　靖浩; 靖浩秋山; 浜田　宏一; 宏一浜田; 泰金田
Original assignee: Clarion Co Ltd
Current assignee: Faurecia Clarion Electronics Co Ltd
Priority date: 2016-05-31
Filing date: 2016-05-31
Publication date: 2020-06-24
Anticipated expiration: 2036-05-31
Also published as: WO2017208601A1; JP2017215743A

Description

本発明は、画像処理装置および外界認識装置に関する。

近年、車両同士の衝突や人と車両の衝突などの事故を未然に避けるため、自車両周辺の状況を車載カメラでモニタし、危険を感知した際はドライバーに警報を出力すると共に、自車両の挙動を自動で制御する技術が進展している。このような技術において、自車両に対して遠方に位置する物体を車載カメラで撮影すると、当該物体はカメラへの映り込み範囲が小さいことから、当該物体に対応する画像領域の解像度が低くなる。その結果、車両形状等の特徴情報が得られにくくなり、不検知や誤検知が生じ易くなるため、安定した制御が困難であった。

上記のような遠方車両の検知における問題点を解決する手法として、たとえば特許文献１に記載の技術が提案されている。特許文献１には、所定の時間間隔で撮影された２枚の画像をそれぞれ所定のテンプレート画像と比較することにより、車両の周囲に存在する車両等の物体を認識する方法が開示されている。

特開２００５−３１８５４６号公報

特許文献１に記載された技術では、車両等の物体が自車両から遠方に存在するときに撮影された１枚目の撮影画像についても、テンプレート画像と比較している。しかし、前述のように認識対象とする物体が自車両から遠方に存在するときには、その物体に対応する画像領域の解像度が低くなるため、１枚目の撮影画像は物体の特徴を正確に反映したものとはなりにくい。したがって、特許文献１の手法を用いても、自車両の遠方から近傍に接近してくる他車両等の対象物を撮影画像において正確に検知するのは困難である。

本発明による画像処理装置は、第１の時刻にカメラで撮影して得られた第１の撮影画像から、前記カメラに対して第１の距離だけ離れた地点に存在する対象物の候補を抽出する第１検知部と、前記第１の時刻よりも後の第２の時刻に前記カメラで撮影して得られた第２の撮影画像から、前記カメラに対して前記第１の距離よりも近い第２の距離だけ離れた地点に存在する前記対象物を検知する第２検知部と、を備え、前記第２検知部は、前記第２の撮影画像に基づいて、前記第１検知部により抽出された前記対象物の候補が前記対象物であるか否かを識別することにより、前記対象物を検知する。
本発明による外界認識装置は、画像処理装置を備え、前記第２検知部による前記他車両の検知結果に基づいて、前記自車両の運転者に対する警告を行うための警報信号および前記自車両の動作を制御するための車両制御信号のいずれか少なくとも一つを出力する。

本発明によれば、自車両の遠方から近傍に接近してくる他車両等の対象物を撮影画像において正確に検知できる。

本発明の第１の実施形態に係る画像処理装置の機能構成を示すブロック図である。カメラから出力される撮影画像の例を示す図である。検出器を生成する際に用いられる学習用画像の例を示す図である。撮影画像における遠方領域と近傍領域の設定例を示す図である。動きベクトル検証処理を説明する図である。空間周波数検証処理を説明する図である。合計検証スコアＴＳＣと感度設定値ＣＣとの関係を示す特性曲線の例を示す図である。本発明の第１の実施形態に係る画像処理装置の処理フローを示す図である。本発明の第２の実施形態に係る外界認識装置の一例を示す図である。

−第１の実施形態−
以下、本発明の第１の実施形態に係る画像処理装置について、図面を参照して説明する。図１は、本発明の第１の実施形態に係る画像処理装置１０の機能構成を示すブロック図である。図１に示す画像処理装置１０は、車両に搭載されて用いられる。なお、以下の説明では、画像処理装置１０が搭載されている車両を「自車両」と称し、自車両の周囲に存在する他の車両を「他車両」と称する。

画像処理装置１０は、撮影領域に対応する自車両の所定の位置、たとえば自車両のボディに取り付けられたカメラ２０と接続されている。画像処理装置１０は、第１検知部１０１、検証部１０２、決定部１０３、第２検知部１０４および設定変更部１０５を備える。なお、図１に示す画像処理装置１０の各機能は、マイクロコンピュータ、メモリ等のハードウェアや、マイクロコンピュータ上で実行される各種プログラムなどを適宜組み合わせることにより、実現可能である。

カメラ２０は、自車両周辺に存在する他車両を動画で、または所定時間ごとに静止画で撮影し、取得した動画の各コマまたは各静止画を、所定時間ごとの撮影画像として第１検知部１０１へ出力する。なお、画像処理装置１０において他車両の認識を行いやすくするために、自車両の任意の箇所にカメラ２０を設置することができる。たとえば、自車両のフロントバンパー、リアバンパー、左右のサイドミラー等の部分に、カメラ２０が設置される。または、自車両の車内にカメラ２０を設置してもよい。さらに、自車両の周囲で特定の領域のみに存在する他車両の認識を目的として、カメラ２０を単独で設置してもよいし、あるいは、自車両の周囲の全ての領域について他車両を認識できるように、カメラ２０を複数設置してもよい。

図２は、カメラ２０から第１検知部１０１へ出力される撮影画像の例を示す図である。図２（ａ）は、自車両のリアバンパー部分にカメラ２０が設置されている場合に、自車両の後方を走行している他車両２０３および２０４を撮影して得られた撮影画像の例である。図２（ａ）の撮影画像には、自車両の後方に延びている道路２０２の上に、自車両に対して地平線２０１に近い遠方の領域に存在する他車両２０３と、自車両に対して近傍の領域に存在する他車両２０４とが映り込んでいる。

図２（ｂ）は、遠方の領域に存在する他車両２０３のみが映り込んでいる撮影画像の例である。図２（ｂ）の撮影画像において、他車両２０３の周囲の所定範囲には、切り出し領域２０５が設定される。第１検知部１０１は、この切り出し領域２０５の画像を切り出して、撮影画像から他車両２０３を認識するための機械学習に利用することができる。

図２（ｃ）は、カメラ２０に魚眼レンズを用いた場合に、遠方の領域に存在する他車両２０３を撮影して得られた撮影画像の例である。図２（ｃ）の撮影画像は、自車両の右サイドミラーの部分に設置されたカメラ２０に魚眼レンズを用いて、自車両の右側後方から他車両２０３が接近してくる状況を示している。この撮影画像には、図２（ｂ）と同様に、第１検知部１０１において機械学習に利用する画像を切り出すための切り出し領域２０５が設定されている。すなわち、図２（ｃ）に例示した魚眼レンズによる撮影画像は、一般的なレンズによる撮影画像とは異なり、上下左右方向の広範囲を撮影できるという利点がある。こうした魚眼レンズによる撮影画像からも、機械学習に利用する画像を切り出すことができる。

第１検知部１０１は、カメラ２０より入力された撮影画像から、自車両に対して遠方の領域に存在する他車両の候補を検知し、他車両候補として抽出する。第１検知部１０１は、たとえば機械学習の手法を適用した検出器を利用して、撮影画像から他車両の候補を検知する。

図３は、第１検知部１０１の検出器を生成する際に用いられる学習用画像の例を示す図である。図３（ａ）は、遠方の領域に他車両２０３が存在する場合の学習用画像の例であり、図３（ｂ）は、他車両２０３が存在しない場合の学習用画像の例である。図３（ａ）の学習用画像では、地平線２０１に近い遠方領域において道路２０２の上に他車両２０３が映り込んでいるのに対して、図３（ｂ）の学習用画像では、他車両２０３の映り込みがない。なお、図３（ａ）の学習用画像は、前述のように図２（ｂ）の撮影画像から切り出し領域２０５の部分を切り出した画像である。

第１検知部１０１では、以上説明したような２種類の学習用画像を用いた事前学習により構成される機械学習型検出器を用いることで、自車両から遠方の領域に存在する他車両を撮影画像上で認識し、これを他車両候補として抽出することができる。なお、実際の運用時には、他車両の種類や向き等に応じて撮影画像内に映り込む他車両の形態が様々に変化する。したがって、実用的な検知性能を得るためには、他車両が存在する場合と存在しない場合とで、学習用画像をそれぞれ複数枚、たとえば数千枚から数万枚ずつ用意することが好ましい。

ここで、図２（ｃ）のようにカメラ２０に魚眼レンズを用いた場合には、魚眼レンズは一般的なレンズと比較して、レンズ集光特性を変形させて撮像範囲を広げている。そのため、得られる撮影画像には歪みが生じ、画像の上下左右端に近い領域、すなわち自車両に対して遠方の領域に近づくほど、画像の解像度が低下する傾向がある。しかし、本実施形態の画像処理装置１０では、第１検知部１０１において道路上に他車両が存在することを見分ければよく、他車両の形状までも見分ける必要はない。そのため、解像度が低い場合でも安定した検知結果を得ることが可能である。

ところで、第１検知部１０１において利用される機械学習とは、一般に、検知対象とする対象物の画像を複数枚入力して、そこから対象物を表現する画像特徴を抽出すると共に、未知の入力画像に対しては、学習した画像特徴を検出して識別できるように識別器のパラメータを自動設定する処理手法のことである。このような処理手法の具体例としては、たとえばDeep Learning（深層学習）が知られている。Deep learningでは、入力された複数画像が共通して持つ画像の特徴パラメータを細分して自動的に抽出することができる。また、特徴パラメータの抽出方法の一例としては、ニューラルネットワーク構造を用いた特徴抽出方法が知られている。ニューラルネットワーク構造では、入力画像群に共通な画像特徴に一致したときにのみ反応する、ニューロン・ユニットと呼ばれる入出力関数（活性化関数）が、小画像領域毎に多数組み合わされており、さらにこれが複数の層状に積み重ねられてピラミッド構造になっている。この方法によれば、検知対象とする対象物の位置や画像サイズを変えながら、段階的に対象物を識別できるようにニューロン・ユニットの各層毎に識別器パラメータを抽出して、最終的には、対象物全体を識別可能な識別器パラメータを得ることができる。

図４は、撮影画像における遠方領域と近傍領域の設定例を示す図である。第１検知部１０１は、図４に示すように、たとえば撮影画像上の所定の位置に境界線４０１を設定し、道路２０２上で境界線４０１から地平線２０１までの範囲を遠方領域Ｒ１、境界線４０１から画像下端までの範囲を近傍領域Ｒ２にそれぞれ設定する。そして、遠方領域Ｒ１を対象に上記の処理を行うことで、他車両候補を抽出し、その位置、形状、大きさ等の情報を、他車両候補の抽出結果を示す情報として検証部１０２へ出力する。

なお、撮影画像における遠方領域と近傍領域の範囲は、基本的にはそれぞれ任意に設定してよい。しかし現実的には、第２検知部１０４の最大検知距離、すなわち後述のような方法で第２検知部１０４が撮影画像から他車両を検知可能な自車両と他車両の距離の最大値に合わせて、これらの領域範囲を設定することが望ましい。具体的には、撮影画像上で第２検知部１０４の最大検知距離に対応する位置に境界線４０１を設定し、これより上側にある画像領域、すなわち第２検知部１０４が他車両を検知できない領域を遠方領域Ｒ１、下側の画像領域を近傍領域Ｒ２にそれぞれ設定すればよい。

検証部１０２は、第１検知部１０１で抽出された他車両候補について、これが実際に検知対象物としての他車両である可能性を検証する。検証部１０２は、カメラ２０より所定時間ごとに入力された複数枚の撮影画像を用いて、第１検知部１０１で抽出された他車両候補が実際に他車両であるか否かを検証する。具体的には、検証部１０２は、複数の撮影画像から他車両候補の動きを示す動きベクトルを求め、この動きベクトルの特徴に基づいて他車両候補が他車両である可能性を検証する動きベクトル検証処理を行う。さらに、複数の撮影画像における他車両候補を含む画像領域の空間周波数分布を求め、この空間周波数分布の特徴に基づいて他車両候補が他車両である可能性を検証する空間周波数検証処理を行う。

図５は、検証部１０２における動きベクトル検証処理を説明する図である。動きベクトル検証処理では、第１検知部１０１により他車両候補が抽出され、その抽出結果を示す情報が第１検知部１０１から出力されると、検証部１０２は、それ以降にカメラ２０から入力される複数枚の撮影画像において、第１検知部１０１からの情報に基づいて他車両候補を追跡することにより、他車両候補の動きベクトルを抽出する。たとえば図５（ａ）に示すように、時刻Ｔ１において遠方領域Ｒ１内で他車両候補５０１が検知されたとする。この場合、時刻Ｔ１における他車両候補５０１の位置を起点に、時刻Ｔ２、Ｔ３、Ｔ４でそれぞれ得られた撮影画像から他車両候補５０１を追跡することで、動きベクトル５０３を抽出することができる。

上記のようにして他車両候補の動きベクトルを抽出できたら、次に検証部１０２は、その動きベクトルの軌跡が現実的な車両の動きに相当するか否かを判断する。たとえば、図５（ｂ）に示すように、実空間上ではほぼ等間隔に相当する間隔で直線状の軌跡を有する動きベクトル５０３が抽出された場合や、図５（ｃ）に示すように、実空間上ではほぼ等間隔に相当する間隔で緩やかにカーブした軌跡の動きベクトル５０４が抽出された場合には、これらの動きベクトルが車両らしい動きを示しているとして、検知された他車両候補が実際に他車両である可能性が高いと判断できる。一方、図５（ｄ）に示すように、実空間上ではほぼ等間隔に相当する間隔ではあるが方向が急激に変化する軌跡の動きベクトル５０５が抽出された場合や、図５（ｅ）に示すように、方向はほぼ一定であるが間隔が急激に変化する軌跡の動きベクトル５０６が抽出された場合には、これらの動きベクトルが車両らしくない動きを示しているとして、検知された他車両候補が実際に他車両である可能性が低いと判断できる。検証部１０２が実行する動きベクトル検証処理では、これ以外にも様々な動きベクトルの軌跡について、現実的な車両の動きとの合致度合いから車両らしさを判断する。これにより、第１検知部１０１で抽出された他車両候補が実際に検知対象物の他車両であるか、それとも何か別の物体を誤って検知したものであるかを検証することができる。

なお、図５では、時刻Ｔ１から時刻Ｔ４までの４枚の撮影画像から他車両候補５０１の動きベクトルを抽出する例を説明したが、動きベクトルを抽出する際に参照する撮影画像の枚数はこれに限らず、任意の枚数とすることができる。

図６は、検証部１０２における空間周波数検証処理を説明する図である。空間周波数検証処理では、第１検知部１０１により他車両候補が抽出されると、検証部１０２は、それ以降にカメラ２０から入力される複数枚の撮影画像のそれぞれについて、他車両候補を含む画像領域を特定する。このときには、前述の動きベクトル検証処理において求めた他車両候補の動きベクトルを利用することが好ましいが、動きベクトルを利用しない他の方法を用いてもよい。そして、各撮影画像で特定した画像領域の空間周波数を解析することで、その画像領域内に実際に車両が存在するか否かを判断する。なお、空間周波数とは、２次元画像における空間的な周期をもつ波長構造の性質を示す情報であり、たとえばフーリエ変換を用いて求めることができる。具体的には、図６に示すように、撮影画像内に特定された画像領域の各画素の値を水平方向の周波数成分と垂直方向の周波数成分に変換して数値化することにより、空間周波数を求めて可視化することが可能である。

ここで、図６では、水平方向の画素数が２０、垂直方向の画素数が１４の画像領域について求められた空間周波数画像の例を示している。すなわち、フーリエ変換を行うことで、元の画像領域と同じサイズの画像が空間周波数成分を示す画像として得られる。この空間周波数画像では、画像中心に近いほど水平および垂直の空間周波数が低く、画像中心から遠ざかるほど水平および垂直の空間周波数が高いことを表しており、各周波数成分の含有量が大きいほど白く、各周波数成分の含有量が小さいほど黒く表示される。なお、フーリエ変換の特性上、空間周波数画像では図６に示すように、画像中心に対して４つの象限に点対称の象限画像がそれぞれ得られる。しかし、これらの象限画像はほぼ同じ空間周波数成分結果を表現しているので、いずれか一つの象限画像、たとえば右上の第１象限にある象限画像のみに注目すればよい。

図６（ａ）は、たとえば図３（ａ）に例示した学習用画像のように、道路上にいる他車両が映り込んだ撮影画像について空間周波数成分を可視化した例である。画像内に他車両が存在する場合には、他車両の幾何学的な形状が画像内に一定範囲で存在するため、図６（ａ）に示すように、空間周波数は低い周波数から高い周波数まで広く分布する。したがって、他車両候補を含む画像領域の空間周波数の状況が図６（ａ）と同様の傾向を示す場合には、実際に他車両が存在する可能性が高いと判断できる。

図６（ｂ）は、たとえば図３（ｂ）に例示した学習用画像のように、他車両が映り込んでいない撮影画像について空間周波数成分を可視化した例である。画像内に他車両が存在しない場合には、道路のみの均一的な画像模様となるため、図６（ｂ）に示すように、空間周波数はほとんど高周波数成分が存在せず、画像中心の低周波数成分付近のみに集中する分布となる。したがって、他車両候補を含む画像領域の空間周波数の状況が図６（ｂ）と同様の傾向を示す場合には、実際に他車両が存在する可能性が低いと判断できる。

検証部１０２は、以上説明したような２種類の処理を実行することにより、それぞれ異なる時刻にカメラ２０で撮影して得られた複数の撮影画像に基づいて、第１検知部１０１で抽出された他車両候補が他車両である可能性を検証することができる。そして、動きベクトル検証処理と空間周波数検証処理のそれぞれの検証結果に基づいて、他車両候補が他車両であることの確からしさに関する検証スコアを算出し、決定部１０３および設定変更部１０５に出力する。具体的には、検証部１０２は、動きベクトル検証処理による現実的な他車両の動きとの合致度合いに応じた検証スコアＳＣ１と、空間周波数検証処理による他車両の存在可能性に応じた検証スコアＳＣ２とを算出し、さらにこれらを足し合わせることで合計検証スコアＴＳＣを算出して、決定部１０３および設定変更部１０５に出力する。

決定部１０３は、検証部１０２による検証結果に基づいて、第２検知部１０４が最新の撮影画像から他車両の検知を行うか否かを決定する。具体的には、決定部１０３は、検証部１０２により算出された合計検証スコアＴＳＣの値と、予め設定されたしきい値ＴＨとを比較する。その結果、合計検証スコアＴＳＣがしきい値ＴＨよりも大きく、かつ、最新の撮影画像における他車両候補の位置が第２検知部１０４の検知領域、すなわち前述の近傍領域Ｒ２内にある場合は、第２検知部１０４が実行する車両検知処理によって他車両候補が実際に他車両であるか否かを確定するために、第２検知部１０４に対する動作指示を行う。一方、これらの条件のいずれか少なくとも一方を満たさない場合は、他車両候補が実際に他車両であるか否かを確定する必要がないと判断して、第２検知部１０４に対する動作指示を行わない。

第２検知部１０４は、第１検知部１０１で他車両候補が抽出された後に取得された最新の撮影画像に基づいて、他車両候補が実際に他車両であるか否かを識別することにより、自車両の周囲に存在する他車両を検知する。第２検知部１０４は、最新の撮影画像に対して所定の車両検知処理を実行することにより、他車両候補が他車両であるか否かを識別する。具体的には、第２検知部１０４は、たとえば第１検知部１０１で説明したのと同様の機械学習型検出器を用いて、他車両候補が実際の車両としての特徴を有するか否かを判断することにより、他車両であるか否かを識別することができる。このとき、第１検知部１０１のように単に道路上に他車両が存在することを見分けるのではなく、他車両候補として抽出された画像部分の色や形状等の特徴に基づいて、実際の車両に該当するか否かを識別することが好ましい。最新の撮影画像から他車両を検知したら、第２検知部１０４は、他車両が接近していることを表す車両接近信号を出力する。また、たとえば撮影画像が全体的に暗いなど、他車両を検知するのが困難な状況のときには、検知ＦＡＩＬ信号を出力する。

設定変更部１０５は、検証部１０２により算出された合計検証スコアＴＳＣの値に基づいて、第２検知部１０４が最新の撮影画像から他車両の検知を行う際の感度設定値を動的に変更する。具体的には、合計検証スコアＴＳＣの値が高くなるほど、第２検知部１０４が他車両を検知しやすくなるように、第２検知部１０４が実行する車両検知処理における感度設定値ＣＣを変化させる。

図７は、合計検証スコアＴＳＣと感度設定値ＣＣとの関係を示す特性曲線の例を示す図である。図７において特性曲線７００に示すように、合計検証スコアＴＳＣの値が低い場合には、他車両候補が実際に他車両である確度が低い状態と考えられるため、第２検知部１０４における感度設定値ＣＣを低く設定して、第２検知部１０４の誤検知を防止する。一方、これとは逆に、合計検証スコアＴＳＣの値が高い場合には、他車両候補が実際に他車両である確度が高い状態と考えられるため、第２検知部１０４における感度設定値ＣＣを高く設定して、第２検知部１０４の検知漏れを防止する。なお、図７の特性曲線７００の例では、合計検証スコアＴＳＣが所定の値ＴＳＣｎの場合に、感度設定値ＣＣをＣＣｍに設定することを示している。設定変更部１０５による感度設定値の変更は、画像処理装置１０が他車両の検知を行っている間に、動的に実行することが好ましい。

図８は、本発明の第１の実施形態に係る画像処理装置１０の処理フローを示す図である。ステップ８００では、自車両のイグニッションがＯＮになったか否かを判定し、イグニッションがＯＮでない場合は、ＯＮになるまで待機状態を維持する。イグニッションがＯＮの場合は、処理をステップ８０１に進める。

ステップ８０１では、画像処理装置１０の初期化が既に実行されたか否かを判定する。初期化済みであれば処理をステップ８０４に進め、初期化済みでなければ処理をステップ８０２に進める。ステップ８０２では、所定の初期化処理を実行し、次のステップ８０３では、カメラ２０の撮影画像上に、図４に例示した遠方領域Ｒ１および近傍領域Ｒ２を設定する。

続いてステップ８０４では、カメラ２０により取得された撮影画像を第１検知部１０１に入力し、ステップ８０５では、第１検知部１０１により、ステップ８０４で入力された撮影画像から遠方領域Ｒ１内にいる他車両候補を検知して抽出する。ステップ８０６では、ステップ８０５で他車両候補が抽出されたか否かを判定する。他車両候補が抽出された場合は処理をステップ８０７へ進め、抽出されていない場合は処理をステップ８０４に戻して次の撮影画像を入力する。

ステップ８０７では、検証部１０２により動きベクトル検証処理を行い、処理結果に応じた検証スコアＳＣ１を算出する。ステップ８０８では、ステップ８０７で算出した動きベクトルを用いて、ステップ８０５で抽出した他車両候補の位置を算出および追跡する。ステップ８０９では、検証部１０２により空間周波数検証処理を行い、処理結果に応じた検証スコアＳＣ２を算出する。ステップ８１０では、ステップ８０７で算出した検証スコアＳＣ１の値と、ステップ８０９で算出した検証スコアＳＣ２の値とを合計し、合計検証スコアＴＳＣを算出する。

ステップ８１１では、決定部１０３により、ステップ８０８で求めた他車両候補の位置と、ステップ８１０で求めた合計検証スコアＴＳＣの値とに基づいて、ステップ８０５で抽出した他車両候補が最新の撮影画像では近傍領域Ｒ２内に存在するか否かを判定する。ここでは、合計検証スコアＴＳＣの値を予め設定されたしきい値ＴＨと比較して、合計検証スコアＴＳＣがしきい値ＴＨよりも大きく、かつ、他車両候補の位置が近傍領域Ｒ２内である場合に、他車両候補が近傍領域Ｒ２内に存在すると判断し、処理をステップ８１２に進める。一方、これらの条件の一方または両方を満たさない場合には、他車両候補が近傍領域Ｒ２内には存在しないと判断し、処理をステップ８０４に戻して次の撮影画像を入力する。

ステップ８１２では、第２検知部１０４により、ステップ８０４で入力された撮影画像に基づいて、ステップ８０５で抽出した他車両候補が実際の他車両であるか否かを識別することにより、他車両を検知する。ステップ８１３では、ステップ８１２で他車両が検知されたか否かを判定する。他車両が検知された場合は処理をステップ８１４へ進め、抽出されていない場合は処理をステップ８０４に戻して次の撮影画像を入力する。

ステップ８１３が肯定判定されることで他車両の存在が確定した場合、ステップ８１４では、ユーザに対して警報を行うための所定の警報処理を行う。ここでは、たとえば自車両と他車両との距離を算出し、その距離に基づいて、他車両が自車両に接近している旨を自車両の運転者であるユーザに報知する。ステップ８１５では、所定の動作終了条件に基づいて画像処理装置１０の動作を終了するか否かを判定する。その結果、動作継続と判定した場合は処理をステップ８０４に戻し、動作終了と判定した場合は図８に示す処理フローを終了する。

以上説明した本発明の第１の実施形態によれば、以下の作用効果を奏する。

（１）画像処理装置１０は、第１検知部１０１と、第２検知部１０４とを備える。第１検知部１０１は、第１の時刻にカメラで撮影して得られた第１の撮影画像から、カメラ２０に対して第１の距離だけ離れた地点に相当する遠方領域Ｒ１内に存在する対象物すなわち他車両の候補を抽出する（ステップ８０５）。第２検知部１０４は、第１の時刻よりも後の第２の時刻にカメラ２０で撮影して得られた第２の撮影画像から、カメラ２０に対して第１の距離よりも近い第２の距離だけ離れた地点に相当する近傍領域Ｒ２内に存在する対象物すなわち他車両を検知する（ステップ８１２）。このとき、第２検知部１０４は、第２の撮影画像に基づいて、第１検知部１０１により抽出された他車両の候補が他車両であるか否かを識別することにより、対象物としての他車両を検知する。このようにしたので、自車両の遠方から近傍に接近してくる他車両を撮影画像において正確に検知できる。

（２）画像処理装置１０は、検証部１０２と、決定部１０３とをさらに備える。検証部１０２は、それぞれ異なる時刻にカメラ２０で撮影して得られた複数の撮影画像に基づいて、対象物である他車両の候補が他車両である可能性を検証する（ステップ８０７、８０９、８１０）。決定部１０３は、検証部１０２による検証結果に基づいて、第２検知部１０４が他車両の検知を行うか否かを決定する（ステップ８１１）。このようにしたので、第２検知部１０４による他車両の検知を適切なタイミングで実行できるため、正確な検知結果を得ることができる。

（３）検証部１０２は、ステップ８０７、８０９において、他車両の候補が他車両であることの確からしさに関する検証スコアＳＣ１、ＳＣ２をそれぞれ算出する。決定部１０３は、ステップ８１１において、検証部１０２により算出された検証スコアＳＣ１、ＳＣ２を合計した合計検証スコアＴＳＣに基づいて、第２検知部１０４が他車両の検知を行うか否かを決定する。このようにしたので、決定部１０３において、検証部１０２による検証結果を正確に反映した決定を行うことができる。

（４）検証部１０２は、ステップ８０７、８０９において、複数の撮影画像における他車両の候補の動きを示す動きベクトルと、複数の撮影画像における他車両の候補を含む画像領域の空間周波数とに基づいて、検証スコアＳＣ１、ＳＣ２をそれぞれ算出する。このようにしたので、他車両の候補が他車両であることの確からしさを正確に反映した検証スコアＳＣ１、ＳＣ２を得ることができる。

（５）画像処理装置１０は、合計検証スコアＴＳＣに基づいて第２検知部１０４が他車両を検知する際の感度設定値を動的に変更する設定変更部１０５をさらに備える。このようにしたので、状況に応じて第２検知部１０４の誤検知や検知漏れを適切に防止することができる。

−第２の実施形態−
図９は、本発明の第２の実施形態に係る外界認識装置の一例を示す図である。図９に示すように、本実施形態の外界認識装置９００は、第１の実施形態で説明した画像処理装置１０と、周辺認識部９０１、信号処理部９０２およびドライバー通知部９０３とを備える。外界認識装置９００は、画像処理装置１０と同様に自車両に搭載されたカメラ２０に接続されると共に、自車両に搭載された制御部９１１、メモリ９１２、自車両制御部９１３、ＬＥＤ９１４、スピーカ９１５、ディスプレイ９１６およびカーナビゲーション装置９１７にも接続されている。なお、画像処理装置１０と他の各機器とは、自車両内の信号バスを介して互いに接続されている。

カメラ２０は、自車両周辺の撮影画像を取得し、外界認識装置９００内の画像処理装置１０に出力する。メモリ９１２は、カメラ２０が取得した撮像画像を一時的に保持する。制御部９１１は、カメラ２０と外界認識装置９００の間における撮影画像の入出力や、外界認識装置９００と自車両制御部９１３の間における車両制御信号の入出力を制御する。

画像処理装置１０は、第１の実施形態で説明したように、自車両の周囲に存在する他車両を検知し、その検知結果に基づく車両接近信号を周辺認識部９０１に出力する。また、他車両を検知するのが困難な状況のときには、検知ＦＡＩＬ信号を周辺認識部９０１に出力する。

周辺認識部９０１は、画像処理装置１０から車両接近信号が出力されると、これに基づいて、自車両の周囲環境を認識するための周辺認識処理を実行する。たとえば、カメラ２０の撮影画像を用いて自車両の近傍および遠方の周辺空間を解析し、バイクや自転車を含む他車両および歩行者の有無を認識したり、自車両の走行や駐車の妨げになる障害物体の有無を認識したりする。また、他車両や歩行者が自車両に急接近している場合にはこれを検知して自車両との衝突を予測したり、自車両と障害物との衝突を予測したりする。さらに、自車両が走行中に車線逸脱した場合に警報を出す車線逸脱警報処理や、自車両のドライバーの死角に人や他車両が入り込んでいた場合に警報を出す死角警報処理などを、周辺認識処理に含めてもよい。周辺認識部９０１は、周辺認識処理の実行結果に基づく検知結果や警報情報を信号処理部９０２に出力すると共に、自車両のドライバーに対する通知情報を必要に応じてドライバー通知部９０３に出力する。

信号処理部９０２は、周辺認識部９０１から出力された検知結果および警報情報に基づいて、自車両の動作を制御するための車両制御信号を生成し、自車両制御部９１３に送信する。自車両制御部９１３は、信号処理部９０２から受信した車両制御信号に基づいて自車両の動作を制御することで、他車両や歩行者との衝突を回避するために自車両を停止させたり、障害物との衝突を回避するために自車両の進行方向を変化させたりする。

ドライバー通知部９０３は、周辺認識部９０１から出力された通知情報に基づいて、自車両のドライバーに対する警告を行うための警報信号を生成し、ＬＥＤ９１４、スピーカ９１５、ディスプレイ９１６、カーナビゲーション装置９１７のいずれかに送信する。ＬＥＤ９１４、スピーカ９１５、ディスプレイ９１６、カーナビゲーション装置９１７の各機器は、ドライバー通知部９０３から受信した警報信号を受信すると、これに基づいて所定の表示や音声出力を行うことで、自車両のドライバーに対して、自車両に接近している他車両や歩行者、障害物等の存在を警告する。

なお、画像処理装置１０から検知ＦＡＩＬ信号が出力されているときには、画像処理装置１０において他車両を検知するのが困難であると判断されるため、周辺認識部９０１は画像処理装置１０の動作を一時的または連続して停止させることが好ましい。周辺認識部９０１は、画像処理装置１０に対してＯＮ／ＯＦＦ制御信号を出力することで、画像処理装置１０の動作を開始または停止させることができる。さらにこのとき、周辺認識部９０１からドライバー通知部９０３へ通知情報を出力し、これに基づいてドライバー通知部９０３が警報信号を生成してＬＥＤ９１４、スピーカ９１５、ディスプレイ９１６、カーナビゲーション装置９１７のいずれかに送信することで、画像処理装置１０の動作が停止していることを自車両のドライバーに通知してもよい。

以上説明した本発明の第２の実施形態によれば、外界認識装置９００は、画像処理装置１０を備える。また、周辺認識部９０１、信号処理部９０２およびドライバー通知部９０３により、画像処理装置１０内の第２検知部１０４による他車両の検知結果に基づいて、自車両の運転者に対する警告を行うための警報信号および自車両の動作を制御するための車両制御信号のいずれか少なくとも一つを出力する。このようにしたので、自車両の周囲環境を正確に認識することができる。

なお、以上説明した各実施の形態では、撮影画像から検知する対象物を自車両周囲に存在する他車両としたが、対象物はこれに限定されず、他の物体を対象物としてもよい。また、車両に搭載されたカメラ２０で取得した撮影画像を用いて対象物を検知する例を説明したが、撮影画像を取得するカメラは車両に搭載されたものに限らない。たとえば、街頭監視等に用いられるカメラなど、車載以外の様々な用途のカメラで取得された撮影画像を用いて、対象物を検知することができる。

以上説明した実施形態や各種の変化例はあくまで一例であり、発明の特徴が損なわれない限り、本発明はこれらの内容に限定されない。本発明は、上述した実施形態や変形例に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の変更が可能である。

１０画像処理装置
２０カメラ
１０１第１検知部
１０２検証部
１０３決定部
１０４第２検知部
１０５設定変更部
９００外界認識装置
９０１周辺認識部
９０２信号処理部
９０３ドライバー通知部

Claims

第１の時刻に自車両に取り付けられたカメラで撮影して得られた第１の撮影画像から、前記カメラに対して第１の距離だけ離れた地点に存在する他車両の候補を抽出する第１検知部と、
それぞれ異なる時刻に前記カメラで撮影して得られた複数の撮影画像に基づいて、前記他車両の候補が前記他車両である可能性を検証する検証部と、
前記第１の時刻よりも後の第２の時刻に前記カメラで撮影して得られた第２の撮影画像から、前記カメラに対して前記第１の距離よりも近い第２の距離だけ離れた地点に存在する前記他車両を検知する第２検知部と、
前記検証部による検証結果に基づいて、前記第２検知部が前記他車両の検知を行うか否かを決定する決定部と、
を備え、
前記検証部は、前記複数の撮影画像における前記他車両の候補の動きを示す動きベクトルによる検証スコアと、前記複数の撮影画像における前記他車両の候補を含む画像領域の空間周波数による検証スコアとを合計した合計検証スコアを算出し、
前記決定部は、前記検証部により算出された前記合計検証スコアに基づいて、前記第２検知部が前記他車両の検知を行うか否かを決定し、
前記第２検知部は、前記第２の撮影画像に基づいて、前記第１検知部により抽出された前記他車両の候補が前記他車両であるか否かを識別することにより、前記他車両を検知する画像処理装置。
請求項１に記載の画像処理装置において、
前記検証部は、前記第１検知部により前記他車両の候補が抽出された場合に、該他車両の候補を含む複数の撮影画像にわたって前記他車両の候補を追跡して前記動きベクトルを抽出し、抽出した動きベクトルの軌跡と現実的な車両の動きとの合致度合いから前記動きベクトルによる検証スコアを求める
画像処理装置。
請求項１に記載の画像処理装置において、
前記検証部は、前記他車両の候補を含む画像領域の空間周波数における高周波成分の分布から前記空間周波数による検証スコアを求める
画像処理装置。
請求項１から請求項３までのいずれか一項に記載の画像処理装置において、
前記合計検証スコアに基づいて前記第２検知部が前記他車両を検知する際の感度設定値を動的に変更する設定変更部をさらに備える画像処理装置。
請求項１から請求項３までのいずれか一項に記載の画像処理装置を備え、
前記第２検知部による前記他車両の検知結果に基づいて、前記自車両の運転者に対する警告を行うための警報信号および前記自車両の動作を制御するための車両制御信号のいずれか少なくとも一つを出力する外界認識装置。