JP7466695B2

JP7466695B2 - 画像処理装置

Info

Publication number: JP7466695B2
Application number: JP2022569744A
Authority: JP
Inventors: 亮輔鴇; 達夫最首
Original assignee: Hitachi Astemo Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2020-12-14
Filing date: 2021-10-21
Publication date: 2024-04-12
Anticipated expiration: 2041-10-21
Also published as: DE112021005102T5; WO2022130780A1; JPWO2022130780A1

Description

本発明は、車載カメラにおける識別処理を行う画像処理装置に関する。

運転支援制御技術の進歩により、ACC(Adaptive Cruise Control)やAEBS(Autonomous Emergency Braking System)などが普及してきている。運転支援制御技術の普及に伴い、それらの動作精度の向上やある程度の悪環境においても制御を継続できるロバスト性能の向上が必要となっている。

従来、雨滴や逆光などの撮像環境の悪化による認識性能（識別性能）の低下は運転支援制御の安定動作に影響を与えることから、運転支援制御を中断するという処理が行われていた。

これに対して、特許文献１に所載の従来技術では、撮像環境の悪化の度合いを３段階で判定し、悪化度合いが小さい場合には認識処理を行い、運転支援制御を継続しようと試みている。

特開２００９－２４１６３６号公報

上記従来技術では、画像の悪化度合いを求める際にステレオ処理の結果を使用しているが、認識処理については片方のカメラで固定して処理を行っている。そのため、認識性能が片側のカメラ画像の悪化状況に大きく依存することになり、ロバスト性が低くなるということが課題となる。

本発明は、上記事情に鑑みてなされたもので、その目的とするところは、識別性能を向上させることができ、ロバスト性を高めることのできる画像処理装置を提供することにある。

上記課題を解決する本発明の画像処理装置は、第１カメラおよび第２カメラからの各画像に基づいて、当該画像に含まれる物体を検出する物体検出部と、前記検出された物体の種別を、前記第１カメラからの画像または前記第２カメラからの画像のいずれか一方を用いて特定する物体識別部と、前記第１カメラからの画像および前記第２カメラからの画像のそれぞれの劣化状態を判定する劣化状態判定部と、を有し、前記物体識別部は、前記劣化状態に基づいて、前記第１カメラからの画像または前記第２カメラからの画像のいずれを用いるかを決定することを特徴とする。

本発明によれば、識別処理に適した画像を判定し、画像を切り替えて識別処理を行うことで、識別性能を向上させることができる。

上記した以外の課題、構成及び効果は以下の実施形態の説明により明らかにされる。

本発明の実施形態にかかわる画像処理装置を含む車載ステレオカメラ装置の概略構成を示すブロック図。本発明の実施形態の基礎となるステレオカメラ処理の内容を説明するフロー図。本発明の実施形態にかかわる画像処理装置の演算処理部の機能ブロック構成を示すブロック図。物体検出処理の結果を示す図。左右カメラ劣化状態判定処理を行うための領域分割結果を示す図。左右カメラ劣化状態判定処理のフロー図。識別領域設定処理の内容を説明する図。左右カメラ切替処理の一例のフロー図。左右カメラ切替処理の他例のフロー図。識別処理の各処理段階の図。

本発明の実施形態について図面を用いて以下に説明する。なお、各図において同じ機能を有する部分には同じ符号を付して繰り返し説明は省略する場合がある。

図１は、本実施形態にかかわる画像処理装置を含む車載ステレオカメラ装置の全体構成を概略的に示すブロック図である。本実施形態の車載ステレオカメラ装置１００は、車両に搭載され、例えば車両前方等の車両周辺の撮影対象領域の画像情報に基づいて車外環境を認識する装置である。車載ステレオカメラ装置１００は、例えば、道路の白線、歩行者、車両、その他の立体物、信号機、標識、点灯ランプなどの認識を行い、当該車載ステレオカメラ装置１００を搭載した車両（自車両）のブレーキ、ステアリング調整などの調整を行う。

車載ステレオカメラ装置１００は、画像情報を取得する左右に（横並びに）配置された２つの（一対の）カメラ１０１、１０２（左カメラ１０１、右カメラ１０２）と、カメラ１０１、１０２の撮像素子からの各画像を処理する画像処理装置１１０とを備える。画像処理装置１１０は、CPU(Central Processing Unit)等のプロセッサ、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disk Drive)等のメモリ等を備えるコンピュータとして構成されている。画像処理装置１１０の各機能は、ROMに記憶されたプログラムをプロセッサが実行することによって実現される。RAMは、プロセッサが実行するプログラムによる演算の中間データ等を含むデータを格納する。画像処理装置１１０は、カメラ１０１、１０２の撮像を制御して、撮像した画像を取り込むための画像入力インタフェース１０３を持つ。この画像入力インタフェース１０３を通して取り込まれた画像は、内部バス１０９を通してデータが送られ、画像処理部１０４や、演算処理部１０５で処理され、処理途中の結果や最終結果となる画像データなどが記憶部１０６に記憶される。

画像処理部１０４は、カメラ１０１の撮像素子から得られる第１の画像（左画像や左カメラ画像ともいう）と、カメラ１０２の撮像素子から得られる第２の画像（右画像や右カメラ画像ともいう）とを比較して、それぞれの画像に対して、撮像素子に起因するデバイス固有の偏差の補正や、ノイズ補間などの画像補正を行い、これを記憶部１０６に記憶する。更に、第１および第２の画像の間で、相互に対応する箇所を計算して、視差情報を計算し、先程と同様に、これを記憶部１０６に記憶する。

演算処理部１０５は、記憶部１０６に蓄えられた画像および視差情報（画像上の各点に対する距離情報）を使い、車両周辺の環境を知覚するために必要な、各種物体の認識を行う。各種物体とは、人、車、その他の障害物、信号機、標識、車のテールランプやヘッドライトなどである。これら認識結果や中間的な計算結果の一部が、先程と同様に記憶部１０６に記録される。撮像した画像に対して各種物体認識を行った後に、これら認識結果を用いて車両の制御方針を計算する。

計算の結果として得られた車両の制御方針や、物体認識結果の一部は、ＣＡＮインタフェース１０７を通して、車載ネットワークＣＡＮ１１１に伝えられ、これにより車両の制動が行われる。また、これらの動作について、各処理部が異常動作を起こしていないか、データ転送時にエラーが発生していないかどうかなどを、制御処理部１０８が監視しており、異常動作を防ぐ仕掛けとなっている。

上記の画像処理部１０４は、内部バス１０９を介して制御処理部１０８、記憶部１０６、演算処理部１０５、および撮像素子との間の入出力部である画像入力インタフェース１０３と外部の車載ネットワークＣＡＮ１１１との入出力部であるＣＡＮインタフェース１０７に接続されている。制御処理部１０８、画像処理部１０４、記憶部１０６、演算処理部１０５、および入出力部１０３、１０７は、単一または複数のコンピュータユニットにより構成されている。記憶部１０６は、例えば画像処理部１０４によって得られた画像情報や、演算処理部１０５によって走査された結果作られた画像情報等を記憶するメモリ等により構成されている。外部の車載ネットワークＣＡＮ１１１との入出力部１０７は、車載ステレオカメラ装置１００から出力された情報を、車載ネットワークＣＡＮ１１１を介して自車両の制御システムに出力する。

図２に、車載ステレオカメラ装置１００内の処理フロー（すなわち、本実施形態の基礎となるステレオカメラ処理の内容）を示す。

まず、Ｓ２０１、Ｓ２０２では、左右のカメラ１０１、１０２により画像が撮像され、各々で撮像した画像データ１２１、１２２のそれぞれについて、撮像素子が持つ固有の癖を吸収するための補正などの画像処理Ｓ２０３を行う。その処理結果は画像バッファ１２６に蓄えられる。画像バッファ１２６は、図１の記憶部１０６に設けられる。更に、補正された２つの画像を使って、画像同士の照合を行い、これにより左右カメラで得た画像（左右画像）の視差情報を得る。左右画像の視差により、対象物体上のある着目点が、左右カメラの画像上の何処と何処に対応するかが明らかとなり、三角測量の原理によって、対象物体までの距離が得られることになる。これを行うのが視差処理Ｓ２０４である。画像処理Ｓ２０３および視差処理Ｓ２０４は、図１の画像処理部１０４で行われ、最終的に得られた画像および視差情報は記憶部１０６に蓄えられる。

上記によって得られた視差画像を用いて、３次元空間上の物体（立体物）を検出する物体検出処理Ｓ２０５を行う（詳細は後で説明）。更に、上記の記憶された画像および視差情報を用いて、各種認識処理Ｓ２０６を行う（詳細は後で説明）。認識対象の物体としては、人、車、その他の立体物、標識、信号機、テールランプなどがあり、認識処理の詳細は対象の特性とシステム上かけられる処理時間などの制約によって決定されている。更に、物体認識の結果と、自車両の状態（速度、舵角など）とを勘案して、車両制御処理Ｓ２０７によって、例えば、乗員に警告を発し、自車両のブレーキングや舵角調整などの制動を行う、あるいは、それによって対象物体の回避制御を行う制御方針を決め、その結果を自車制御情報等としてＣＡＮインタフェース１０７を通して出力する（Ｓ２０８）。物体検出処理Ｓ２０５、各種認識処理Ｓ２０６、および車両制御処理Ｓ２０７は、図１の演算処理部１０５で行われ、車載ネットワークＣＡＮ１１１への出力処理は、ＣＡＮインタフェース１０７にて行われる。これらの各処理各手段は、例えば単一または複数のコンピュータユニットにより構成され、相互にデータを交換可能に構成されている。

前記視差処理Ｓ２０４により左右画像の各画素の視差または距離が得られ、物体検出処理Ｓ２０５で３次元空間上の物体（立体物）としてグルーピングされ、その画像上の位置と領域を基に各種認識処理Ｓ２０６が実施される。この時、各種認識処理Ｓ２０６が安定して物体の認識を行うためには、画像上の物体領域と認識したい対象の映りが一致している必要がある。しかし、ステレオカメラにおいては外環境の明るさやカメラ間の撮像性能のばらつき、ガラス面の異物などによって発生するオクルージョンなどによって、認識したい画像上の物体領域を完全に一致させることができない場合がある。これは、ミリ波などのレーダーと、カメラなどの画像センサを組み合わせた場合でも同様である。

図３に、本実施形態にかかわる画像処理装置の演算処理部の機能ブロック構成を示す。以下ではステレオカメラを前提に構成を述べる。画像処理装置１１０の演算処理部１０５は、物体検出部３０１、劣化状態判定部３０２、物体識別部３０３を備える。本実施形態では、前記物体検出処理Ｓ２０５は物体検出部３０１によって実施され、前記各種認識処理Ｓ２０６は劣化状態判定部３０２および物体識別部３０３によって実施される。

（物体検出部）
物体検出部３０１は、前記物体検出処理Ｓ２０５にて行われる物体（立体物）の検出処理を行い、左右カメラで得た画像に含まれる物体の存在する領域（物体領域）を算出する。

図４は、カメラ画像上での物体検出処理Ｓ２０５の結果を示している。物体検出処理Ｓ２０５の結果である物体領域４０１は、３次元空間上に存在する歩行者、車両、樹木や街灯などの路面上高さを持った物体ごとに得られ、画像上の領域として投影される。物体領域４０１は、図４のように矩形であっても、視差や距離から得られる不定形の領域であっても構わない。後段の処理において計算機での扱いを容易にするため、一般的には矩形として扱われる。本例では以下、物体領域４０１は矩形として扱い、物体領域４０１の一例として車両を用いて各処理の詳細を述べる。

（劣化状態判定部）
劣化状態判定部３０２は、左右のカメラ画像について左右カメラの映り具合を比較し、どちらのカメラの画像が認識処理（識別処理）に使用するために適しているか、その劣化状態を算出する。

詳しくは、左右カメラ劣化状態判定処理Ｓ２１０にて、認識処理に用いるカメラ画角内を複数の領域に分割（区分）し、対応する左右カメラ画像の分割した領域ごとに劣化程度を算出・比較し、劣化状態を判定し、その結果を分割した領域ごとに付与する。本実施形態では、図５に示すように画面を等分割ではない２５個の矩形領域に分割した例（５０１）を述べるが、実際に処理を行う際には必要に応じて矩形以外の任意の形および分割数にしてもよく、もしくは分割せずに画面全体を一つの領域として扱ってもよい。分割方法については、例えば自車進行路にあたる画面中心付近では領域を細かく（小さく）分割し、画面端付近では領域を大きく区切るなどすることが考えられる。また、領域の分割状態は固定ではなく、走行状況によって適宜変更することも考えられる。例えば、外環境が晴れているならば、画像劣化は起こりにくいものとして分割数を減らし、雨が降ってきた場合には、劣化部分を細かく特定するために分割数を実機処理時間の許す範囲で増加させることが考えられる。

左右カメラ劣化状態判定処理Ｓ２１０の劣化状態の判定方法として、左右画像でそれぞれのエッジ抽出結果を比較する手法を本例で述べる。ステレオカメラでは右カメラ１０２と左カメラ１０１で共通部分を撮影している。そのため、撮影環境が良好な場合には、エッジ抽出の結果は左右画像において同程度になるはずである。図６に、左右エッジ抽出数を比較する場合の左右カメラ劣化状態判定の処理フローを示す。左右エッジ抽出及び比較処理は、分割した領域数分（領域分割数分）の繰り返し処理を行う。左右画像で分割した領域（画像）のエッジ抽出を行い（Ｓ６０１、Ｓ６０２）、左右カメラ画像のエッジ抽出数から右画像（詳しくは右分割領域画像）または左画像（詳しくは左分割領域画像）が劣化しているかを判定し（Ｓ６０３、Ｓ６０４、Ｓ６０５）、右画像のみが劣化している（エッジ抽出数が少ない）場合、分割した領域に右画像劣化という情報を付与する（Ｓ６０６）。同様に左画像のみが劣化している（エッジ抽出数が少ない）場合、分割した領域に左画像劣化の情報を付与する（Ｓ６０７）。また、右画像および左画像の両画像が劣化している（エッジ抽出数が少ない）場合、または、両画像がどちらも劣化していない（エッジ抽出数が多い）場合、分割した領域に左右画像同等という情報を付与する（Ｓ６０８）。言い換えれば、エッジ抽出具合を左右画像（左右分割領域画像）で比較し（Ｓ６０３、Ｓ６０４、Ｓ６０５）、右カメラ画像のエッジ抽出数が左カメラ画像のエッジ抽出数より少ない、詳しくは、右カメラ画像のエッジ抽出数が左カメラ画像のエッジ抽出数より所定閾値以上少ない場合、右カメラの画像が劣化していると判定し、分割した領域に右画像劣化という情報を付与する（Ｓ６０６）。同様に左カメラの画像が劣化している場合には、分割した領域に左画像劣化の情報を付与する（Ｓ６０７）。左右カメラ画像の劣化具合が同程度、詳しくは、右カメラ画像のエッジ抽出数と左カメラ画像のエッジ抽出数との差が所定閾値未満であれば、分割した領域に左右画像同等という情報を付与する（Ｓ６０８）。左右画像同等については、左右カメラ画像がどちらも劣化していない場合にもこれが付与される。

上記以外にも左右カメラ画像の劣化具合の判定には、輝度分布の変化を見ることで、どちらに雨滴が付いているかという判定も可能である。雨滴が付いている場合、水滴の反射により画像はぼやけるため、輝度値が画像全体で大きくなる、といった具合に他の手法を用いてもよい。

（物体識別部）
物体識別部３０３は、物体検出部３０１の結果と劣化状態判定部３０２の結果を入力として、物体検出部３０１で検出された物体（立体物）に対する識別処理を行い、物体（立体物）の種別を特定する。

詳しくは、識別領域設定処理Ｓ２１１では、物体検出部３０１（の物体検出処理Ｓ２０５）によって算出された物体領域を基に識別処理を実施する領域を設定する。図５の車両の物体領域として検出された結果（５０２）のように、識別する対象の全体を含むように画像上で検出できている場合は、そのまま識別処理にかける領域として使用することができる。しかし、図７の物体検出結果（７０３）のように、雨滴等が対象に重なってしまい、対象全体を画像上で検出できない場合がある。この状態で、識別領域を設定して識別処理を行っても識別性能が上がらないこととなる。そこで、識別領域設定処理Ｓ２１１では、検出領域が識別対象となる車両の全体を含まないことがあることを想定し、識別対象が車両であるという前提を利用して、識別領域（これ自体を物体領域と呼ぶ場合もある）を設定する。すなわち、検出された物体領域のサイズが車両サイズを満たしていない場合は、車両サイズとなるように物体領域を拡張するように識別領域（７０２）を設定する。

左右カメラ切替処理Ｓ２１２では、識別領域設定処理Ｓ２１１で算出された識別領域と劣化状態判定部３０２（の左右カメラ劣化状態判定処理Ｓ２１０）によって算出された劣化状態を比較することで、物体（立体物）毎に右カメラ１０２（からの画像）で識別するか左カメラ１０１（からの画像）で識別するかを判定（換言すれば、物体の種別を特定する識別処理に、右カメラ１０２からの画像または左カメラ１０１からの画像のいずれを用いるかを決定）する。

図８は、具体的な左右カメラ切替判定の処理フローを示している。まず、重複領域判定Ｓ８０１によって、識別領域設定処理Ｓ２１１によって設定された識別領域と劣化状態判定領域（＝左右カメラ画像の複数の分割領域）の重複箇所を求める。そして、識別処理用画像切替判定Ｓ８０２を実行する。重複箇所の領域が保持している左右カメラ画像の劣化状態から、重複箇所の領域において、右カメラ画像が劣化している領域の数（右劣化領域数）と左カメラ画像が劣化している領域の数（左劣化領域数）および左右カメラ画像の劣化状態が同程度の領域の数（左右同等領域数）の和を比較し（Ｓ８０３）、左右の切り替えを判定する。右劣化領域数が左劣化領域数および左右同等領域数の和以上の場合、左画像切替を実行し（Ｓ８０４）、右劣化領域数が左劣化領域数および左右同等領域数の和未満の場合、左右画像切替を実行しない（つまり、後段の物体識別処理にてデフォルトとなっている右画像を使用する）（Ｓ８０５）。

また、図９は、具体的な左右カメラ切替判定の別の処理フローを示している。ここでは、識別領域設定処理Ｓ２１１によって設定された識別領域と各劣化状態判定領域（＝左右カメラ画像の複数の分割領域）との重複する面積（領域）を求め（Ｓ９０１）、重複する面積の識別領域に対する割合（識別領域重複割合）を算出する（Ｓ９０２）。

そして、識別処理用画像切替判定Ｓ９０３を実行する。算出された割合（＝劣化状態に対する重み）と劣化状態判定領域の結果を（分割領域ごとで）掛け合わせ、識別領域全体について右カメラ画像が劣化している領域と左カメラ画像が劣化している領域とで個別に加算するなどすることで、物体毎の識別領域について左右切替優先度（左切替優先度、右切替優先度）を算出する（Ｓ９０４）。左切替優先度（右カメラ画像の劣化度合いに対応）と右切替優先度（左カメラ画像の劣化度合いに対応）を比較し（Ｓ９０５）、左右の切り替えを判定する。左切替優先度が右切替優先度以上の場合、左画像切替を実行し（Ｓ９０６）、左切替優先度が右切替優先度未満の場合、左右画像切替を実行しない（つまり、後段の物体識別処理にてデフォルトとなっている右画像を使用する）（Ｓ９０７）。

重複割合と掛けあわせる値は、劣化状態判定部３０２（の左右カメラ劣化状態判定処理Ｓ２１０）によって算出された値（エッジ抽出数など）を用いることができる。また、右カメラ画像が劣化している場合は正の所定値、左カメラ画像が劣化している場合は負の所定値のようにして、演算を簡素化してもよい。

例えば、右カメラ画像が劣化している場合は正の値、左カメラ画像が劣化している場合は負の値となるような数値を算出するようにし、重複割合を（劣化状態に対する）重みとして掛け合わせ、物体毎の識別領域について左右切替優先度を算出・比較することで、右カメラ画像が劣化していると判定された領域数が左カメラ画像が劣化していると判定された領域数よりも少ない場合でも（図８に示した例参照）、右カメラ画像が劣化していると判定された領域の識別領域に対する重複割合が大きい場合には、左カメラ画像への切り替えの優先度が高くなる（つまり、左カメラ１０１からの画像を用いる）、といった具合である。また、劣化状態判定のために区分した各領域に対して、画像中心になるほど大きく、画像上下端に向かうほど小さくなるような係数を劣化状態に対する重みとして掛け合わせることもできる。これにより、重複領域の割合だけでなく、画像中心に存在する対象、つまり運転支援制御等において識別処理や追跡処理の重要度が高くなる対象について、左右切り替えの優先度を高く算出するようになり、識別処理Ｓ２１４において識別性能をより向上できるような左右カメラ切替を実現することが可能となる。

左カメラ座標系変換処理Ｓ２１３では、前記左右カメラ切替判定で左カメラに切り替える（左カメラ１０１からの画像を用いる）ことが決定した場合に、右カメラ座標系で設定されている識別領域の座標値を左カメラの対応する座標値へと変換を行う。右カメラと左カメラの座標系の関係は、左右カメラの焦点距離、画像原点からなる内部パラメータ、および位置姿勢からなる外部パラメータの関係から算出可能である。また、並行ステレオの場合、視差値を用いた並進移動によっても座標変換は可能である。これにより、右カメラ座標系にあった識別領域の座標を左カメラの座標系に変換（座標変換）し、右カメラ画像で設定された領域と対応する左カメラ画像の領域を設定する。なお、本実施形態は、右カメラを基準にしているので、上述した処理内容となっているが、左カメラを基準にした場合には逆の処理（すなわち、左カメラ座標系を基準とした右カメラ座標系変換処理）を行うことになる。

図１０は、図７の物体検出結果（７０３）において、本実施形態を適用した場合の処理結果となる。右カメラ１０２によって撮像された右カメラ画像（１００１）と左カメラ１０１によって撮像された左カメラ画像（１００２）から検出された物体検出結果（７０３）は、車両の領域を正しく検出できていない。左右カメラ劣化状態判定処理Ｓ２１０により算出した領域（分割領域）ごとの左右劣化状態が１００３であり、斜線領域が右カメラ画像が劣化した領域を示している。図１０に示す例では物体検出結果（７０３）に対して識別領域設定処理Ｓ２１１により領域（７０２）が設定され、設定された領域（７０２）に対して右カメラ画像が劣化した領域（割合）が大きいため、左右カメラ切替処理Ｓ２１２により、左画像切替と判定される。そして、識別領域設定処理Ｓ２１１により設定された領域（７０２）を左カメラ座標系変換処理Ｓ２１３によって座標変換した領域（１００４）の画像が識別処理Ｓ２１４によって識別される。

識別処理Ｓ２１４では、前記識別領域設定処理Ｓ２１１によって設定された領域の画像もしくは、前記左カメラ座標系変換処理Ｓ２１３によって座標変換された左カメラの識別領域の画像（図１０の１００４参照）を入力として、換言すれば、右カメラ１０２からの識別領域の画像または左カメラ１０１からの識別領域の画像のいずれか一方を用いて、検出された物体（立体物）の種別を識別する識別処理を実施する。識別処理には、例えば以下のような技術が挙げられる。あらかじめ用意した認識対象らしさを有するテンプレートと識別領域を比較するテンプレートマッチング。輝度画像やHOGやHaar-Likeといった特徴量と、サポートベクターマシンやAda-Boost、CNNなどのDeepLearningといった機械学習手法を合わせた識別器を利用する手法。また、エッジ形状などを人為的に決めた閾値判定で認識しても良い。また、これらの識別を行う場合には、右カメラの画像で学習した識別モデルと左カメラで学習を行った識別モデルといったように、識別処理の入力元に合わせた識別モデルを用意したり、各カメラに合わせ込んだ閾値を用意してもよい。

以上で説明したように、本実施形態の画像処理装置１１０は、第１カメラおよび第２カメラからの各画像に基づいて、当該画像に含まれる物体を検出する物体検出部３０１と、前記検出された物体の種別を、前記第１カメラからの画像または前記第２カメラからの画像のいずれか一方を用いて特定（識別）する物体識別部３０３と、前記第１カメラからの画像および前記第２カメラからの画像のそれぞれの劣化状態を判定する劣化状態判定部３０２と、を有し、前記物体識別部３０３は、前記劣化状態に基づいて、前記第１カメラからの画像または前記第２カメラからの画像のいずれを用いるかを決定する。

すなわち、左右画像の劣化状態を算出し、識別処理を行う上でより有用な画像を適宜選択する（切り替える）ことで対象への識別処理を継続する。

また、前記劣化状態判定部３０２は、前記第１カメラからの画像または前記第２カメラからの画像を複数の領域に区分し、当該複数の領域のそれぞれにおいて（領域ごとに）前記劣化状態を判定する。

また、前記物体識別部３０３は、前記複数の領域のそれぞれにおける前記劣化状態および前記検出された物体と前記複数の領域（のそれぞれ）との重なり具合に基づいて、前記第１カメラからの画像または前記第２カメラからの画像のいずれを用いるかを決定する。

また、前記物体識別部３０３は、前記第１カメラからの画像と前記第２カメラからの画像の間の座標変換を行い、座標変換後の画像において前記物体の種別を識別する処理を行う。

本実施形態によれば、識別処理に適した画像を判定し、画像を切り替えて識別処理を行うことで、識別性能を向上させることができる。

なお、上記した実施形態では、２つのカメラから構成される車載ステレオカメラ装置１００を例示して説明したが、カメラは３台以上であってもよいことは勿論である。

なお、本発明は上記した実施形態に限定されるものではなく、様々な変形形態が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１００車載ステレオカメラ装置
１０１左カメラ
１０２右カメラ
１０３画像入力インタフェース
１０４画像処理部
１０５演算処理部
１０６記憶部
１０７ＣＡＮインタフェース
１０８制御処理部
１０９内部バス
１１０画像処理装置
１１１車載ネットワークＣＡＮ
３０１物体検出部
３０２劣化状態判定部
３０３物体識別部
４０１物体領域

Claims

第１カメラおよび第２カメラからの各画像に基づいて、当該画像に含まれる物体を検出する物体検出部と、
前記検出された物体の種別を、前記第１カメラからの画像または前記第２カメラからの画像のいずれか一方を用いて特定する物体識別部と、
前記第１カメラからの画像および前記第２カメラからの画像を複数の領域に区分し、当該複数の領域のそれぞれにおいて前記第１カメラからの画像および前記第２カメラからの画像のそれぞれの劣化状態を判定する劣化状態判定部と、を有し、
前記物体識別部は、劣化状態判定のために区分した前記複数の領域のそれぞれに対して、前記検出された物体と前記複数の領域とが重なった領域の、前記検出された物体の領域に対する割合を算出し、当該割合を前記複数の領域のそれぞれにおける前記劣化状態に対する重みとして掛け合わせ、前記検出された物体の領域について前記第１カメラからの画像および前記第２カメラからの画像の劣化度合いを算出して比較し、前記検出された物体毎に、前記第１カメラからの画像または前記第２カメラからの画像のいずれを用いるかを決定することを特徴とする画像処理装置。
請求項１に記載の画像処理装置において、
前記劣化状態判定部は、前記第１カメラおよび前記第２カメラを搭載した自車の進行路または外環境に応じて、前記複数の領域のそれぞれの大きさもしくは前記複数の領域の区分数を変更することを特徴とする画像処理装置。
請求項１に記載の画像処理装置において、
前記劣化状態判定部は、前記第１カメラからの画像および前記第２カメラからの画像のエッジ抽出数または輝度分布の変化に基づいて、前記第１カメラからの画像および前記第２カメラからの画像のそれぞれの劣化状態を判定することを特徴とする画像処理装置。
請求項１に記載の画像処理装置において、
前記物体識別部は、劣化状態判定のために区分した前記複数の領域のそれぞれに対して、画像中心になるほど大きく、画像端に向かうほど小さくなるような係数を前記劣化状態に対する重みとして掛け合わせることを特徴とする画像処理装置。
請求項１に記載の画像処理装置において、
前記物体識別部は、前記第１カメラからの画像と前記第２カメラからの画像の間の座標変換を行い、座標変換後の画像において前記物体の種別を識別する処理を行うことを特徴とする画像処理装置。