JP4807733B2

JP4807733B2 - 車外環境認識装置

Info

Publication number: JP4807733B2
Application number: JP2005282662A
Authority: JP
Inventors: 豊和小笠原
Original assignee: Fuji Jukogyo KK
Current assignee: Subaru Corp
Priority date: 2005-09-28
Filing date: 2005-09-28
Publication date: 2011-11-02
Anticipated expiration: 2025-09-28
Also published as: JP2007096684A

Description

本発明は、ＣＣＤカメラ等で車両の外部環境を撮影し、この撮影画像から車両の外部環境を認識する車外監視装置に関する。

近年、ＣＣＤカメラ等を用いて撮影した画像を基に外部環境を把握する技術が多く提案されている。例えば、特開平１１−２０１７４１号公報では、１個の撮像素子を備えた１台のカメラで異なる露光量で交互に外部環境を撮影し、これら露光量の異なる各画像から物体を認識して、それぞれ画像認識データを生成し、これら生成した画像認識データの論理和から１つの最終的な認識データを生成する技術が開示されている。
特開平１１−２０１７４１号公報

しかしながら、上述の特許文献１の１個の撮像素子を備えた１台のカメラで異なる露光量で交互に外部環境を撮影する技術では、全ての露光量の画像と、これら画像に対する全ての認識データが揃って始めて１つの最終的な認識データを生成するため、１つの最終的な認識データを生成するために全ての画像に対する認識処理が必要で、演算処理が多く複雑で、１つの最終的な認識データを生成する時間が遅くなるという問題がある。また、全ての認識データが揃って始めてこれら認識データの論理和から１つの最終的な認識データを生成するため、初めに生成された認識データと後に生成された認識データとで異なる場合、最終的な認識データには時間的なずれが含まれ、特に動的な車外環境を監視する装置には採用することが困難という問題もある。また、スミアやフレア等が生じた際の誤認識を有効に防止することができないという問題もある。

本発明は上記事情に鑑みてなされたもので、スミアやフレア等による誤認識を確実に防止しつつ、少ない処理で短時間に外部環境の認識処理を行うことができる車外環境認識装置を提供することを目的としている。

本発明は、車外環境を画像データとして撮影する撮影手段と、上記撮影手段の露光量を可変する露光量可変手段と、上記撮影手段が上記露光量可変手段による予め設定した露光量の小さな値で撮影した第１の画像データと、露光量の大きな値で撮影した第２の画像データとのそれぞれで、画像データ中に存在する対象物の認識処理を行うと共に該対象物までの距離を求める画像の認識手段とを備え、上記画像の認識手段は、上記第１の画像データから上記対象物が認識される場合には当該認識した対象物を実際に存在する対象物として確定する一方、上記認識処理により上記第２の画像データから対象物が認識される場合には、当該対象物までの距離が予め設定する閾値以上である場合に当該認識した対象物を実際に存在する対象物として確定する。

本発明による車外環境認識装置によれば、スミアやフレア等による誤認識を確実に防止しつつ、少ない処理で短時間に外部環境の認識処理を行うことが可能となる。

以下、図面に基づいて本発明の実施の形態を説明する。
図１〜図３は本発明の実施の第１形態を示し、図１は車外監視装置の概略構成図、図２は画像認識の判定プログラムのフローチャート、図３はある画像から得られる第１の画像データと第２の画像データの一例を示す説明図である。

図１において、符号１は車両に搭載される車外監視装置を示し、この車外監視装置１は、車外前方を捉える１組のカメラ２Ｌ，２Ｒと、該１組のカメラ２Ｌ，２Ｒの露光量を同じタイミングで予め設定した小さな露光量と予め設定した大きな露光量とに切り替える露光量制御部３と、１組のカメラ２Ｌ，２Ｒの制御、及び、露光量制御部３を制御して、１組のカメラ２Ｌ，２Ｒで得られた画像データの認識処理を行う認識統合部４とを有して主要に構成されている。

１組のカメラ２Ｌ，２Ｒは、ステレオ光学系として例えば電荷結合素子（ＣＣＤ）等の固体撮像素子を用いた１組の（左右の）ＣＣＤカメラで構成される。これら左右のＣＣＤカメラは、それぞれ車室内の天井前方に所定間隔をもって取り付けられ、車外の対象（歩行者、先行車、駐車車両、障害物等の立体物や白線等）を異なる視点からステレオ撮像し、画像データを認識統合部４に出力する。また、このカメラ２Ｌ，２Ｒには、露光量制御部３からの信号が入力され、この露光量制御部３からの信号に基づきシャッタースピードを可変することにより、露光量の異なる画像データが交互に撮影されるように構成されている。本実施の第１形態では、予め設定した小さな露光量で撮影される画像データを第１の画像データ、予め設定した大きな露光量で撮影される画像データを第２の画像データとして区別する。すなわち、この１組のカメラ２Ｌ，２Ｒは撮影手段として設けられている。

露光量制御部３は、露光量可変手段として設けられるものであり、１組のカメラ２Ｌ，２Ｒに対し、認識統合部４からの信号に基づいて、異なる露光量（予め設定した小さな露光量とこの小さな露光量より大きな予め設定した大きな露光量）となるように交互に信号を出力する。

ここで、予め設定した小さな露光量とは、先行車、対向車、街灯等の自ら発光する物体、自車両のヘッドライトの照射光を反射する反射板を持った物体（自転車等）、近距離の歩行者、白線等の自車両のヘッドライトの照射光で照らされる物体を、スミア、フレア等の画像のつぶれ、誤差を極力抑えて撮影することのできる予め実験等により決定した露光量である。従って、前方の光景が、例えば、図３（ａ）のような場合、この予め設定した小さな露光量で撮影された１組のカメラ２Ｌ，２Ｒによる画像データ（第１の画像データ）は、図３（ｂ）に示すように、先行車Ｖｆ、対向車Ｖｏ、街灯Ｓｌ等の自ら発光する物体と、近距離の歩行者Ｐｓ、白線Ｌ等の自車両のヘッドライトの照射光で照らされる物体の画像データは得られるが、遠方に存在する歩行者Ｐｌ、駐車車両Ｖｐ等の自ら発光しない物体は、画像データとして取り込むことが困難である。

また、予め設定した大きな露光量とは、上述の予め設定した小さな露光量より大きな露光量で、暗闇時に、歩行者、自転車、白線等の自ら発光しないものを撮影できる予め実験等により決定した露光量である。従って、前方の光景が、例えば、図３（ａ）のような場合、この予め設定した大きな露光量で撮影された１組のカメラ２Ｌ，２Ｒによる画像データ（第２の画像データ）は、図３（ｃ）に示すように、自ら発光しない物体は遠方のものでも取り込むことができるが、先行車Ｖｆ、対向車Ｖｏ、街灯Ｓｌ等の自ら発光する物体は、スミア、フレア等が発生して精度良く取り込むことが困難になっている。

尚、この露光量制御部３は、１組のカメラ２Ｌ，２Ｒ内若しくは認識統合部４内に設けられていても良い。

認識統合部４は、認識手段として設けられており、１組のカメラ２Ｌ，２Ｒから第１の画像データと第２の画像データが交互に入力され、それぞれ認識処理を行う。

認識統合部４における、１組のカメラ２Ｌ，２Ｒからの画像データの認識処理は、例えば以下のように行われる。まず、１組のカメラ２Ｌ，２Ｒで撮像した自車両１前方のステレオ画像対に対し、対応する位置のずれ量から三角測量の原理によって距離情報を求める処理を行ない、三次元の距離分布を表す距離画像を生成する。そして、このデータを基に、周知のグルーピング処理を行い、予め記憶しておいた３次元的な道路形状データ、側壁データ、立体物データ等の枠（ウインドウ）と比較し、白線データ、道路に沿って存在するガードレール、縁石等の側壁データ、車両、歩行者等の立体物データを抽出する。

こうして抽出された白線データ、側壁データ、立体物データは、それぞれのデータ毎に異なったナンバーが割り当てられる。また、更に立体物データに関しては、自車両１からの距離の相対的な変化量と自車両１の車速の関係から、停止している停止物と、自車両１と略同方向に移動する順方向移動物等に分類される。

そして、後述する画像認識の判定プログラムに従って、認識したデータ（判定の対象とする画像候補）が露光量小による第１の画像データによるもの（第１の認識データ）か、或いは、露光量大による第２の画像データによるもの（第２の認識データ）かを判定する。この判定の結果、対象画像候補が第１の認識データによるものの場合、実際に存在する認識データとして確定する。逆に、対象画像候補が第２の認識データによるものの場合は、対象画像候補が、予め実験、計算等により設定した閾値Ｌc1（例えば、自車両のヘッドライトの照射能力、カメラの感度性能等により設定した値で、１０〜２０ｍ）以上で、且つ、予め設定する安定条件（例えば、５フレーム、又は、０．５sec連続して検出される）を満足する場合に実際に存在する認識データとして確定する。対象画像候補が第２の認識データによるものの場合で、上述の条件を満足しない場合、すなわち、対象画像候補が、予め設定した閾値Ｌc1より近くに存在する場合、或いは、安定条件を満足しない場合は、スミア、フレアの可能性が高いので誤差として判定する。
次に、認識統合部４で実行される画像認識の判定プログラムを、図２のフローチャートで説明する。

まず、ステップ（以下、「Ｓ」と略称）１０１で、判定対象とする対象画像候補が露光量小の画像データから認識されたものか否か、すなわち、第１の画像データを基に認識された第１の認識データか否か判定する。

このＳ１０１の判定の結果、対象画像候補が露光量小の画像データから認識されたもの（第１の認識データ）と判定した場合は、Ｓ１０２に進み、実際に存在する認識データとして確定する。すなわち、露光量小の画像データから認識された認識データは、スミア、フレア等の誤差が少ないため、実際に存在する認識データとして直ちに認識するのである。

その後、Ｓ１０３に進み、当該フレーム内の全対象画像候補に対する判定が完了したか否か判定し、完了している場合はＳ１０４に進んで、次フレームの処理へと進み、プログラムを抜ける。

また、当該フレーム内の全対象画像候補に対する判定が完了していない場合は、このフレームにおける他の対象画像候補の判定を行うべく、Ｓ１０１に戻る。

一方、Ｓ１０１の判定の結果、象画像候補が露光量小の画像データから認識されたもの（第１の認識データ）ではないと判定した場合（すなわち、露光量大の第２の画像データから認識されたもの（第２の認識データ）の場合）は、Ｓ１０５に進み、対象画像候補までの距離Ｌが、予め実験、計算等により設定した閾値Ｌc1（例えば、自車両のヘッドライトの照射能力、カメラの感度性能等により設定した値で、１０〜２０ｍ）以上か否か判定する。

この判定の結果、対象画像候補までの距離Ｌが、予め実験、計算等により設定した閾値Ｌc1以上の場合は、Ｓ１０６に進み、予め設定する安定条件（例えば、５フレーム、又は、０．５sec連続して検出される）を満足しているか否か判定し、この安定条件を満足している場合は、Ｓ１０７に進んで、実際に存在する認識データとして確定する。
すなわち、露光量大の第２の画像データから認識された第２の認識データのうち、遠距離（Ｌ≧Ｌc1）にあり、且つ、安定して（数フレーム連続して）認識しているものを実際に存在する認識データとして確定する。露光量大の第２の画像データから認識された第２の認識データは、スミア、フレア等の誤認識の懸念があるが、スミア、フレア等は安定して発生することはなく、また、遠距離の対象画像候補については、仮に誤認識したとしても、一般的にブレーキ等の衝突回避制御を行うことはないため危険度が低いためである。

また、上述のＳ１０５で、対象画像候補までの距離Ｌが、予め実験、計算等により設定した閾値Ｌc1よりも近い場合、或いは、Ｓ１０６で予め設定する安定条件（数フレーム連続して認識）を満足していない場合は、Ｓ１０８に進み、対象画像候補は誤差であると判定する。すなわち、露光量大の第２の画像データから認識された第２の認識データのうち、近距離（Ｌ＜Ｌc1）の物体は、自車両のヘッドライト照射範囲におり、露光量小の第１の画像データから認識された第１の認識データでも認識でき、また、露光量大では、スミア、フレア等の誤認識が生じやすいため、第１の認識データを優先的に用いることにより、誤差として排除するのである。
その後、Ｓ１０３に進み、当該フレーム内の全対象画像候補に対する判定が完了したか否か判定し、完了している場合はＳ１０４に進んで、次フレームの処理へと進み、プログラムを抜ける。

このように本発明の実施の第１形態によれば、対象画像候補が露光量小による第１の画像データによる第１の認識データか、或いは、露光量大による第２の画像データによる第２の認識データかを判定し、対象画像候補が第１の認識データによるものの場合、実際に存在する認識データとして確定する。また、対象画像候補が第２の認識データによるものの場合は、対象画像候補が、予め実験、計算等により設定した閾値Ｌc1以上で、且つ、予め設定する安定条件を満足する場合に実際に存在する認識データとして確定する一方、対象画像候補が、予め設定した閾値Ｌc1より近くに存在する場合、或いは、安定条件を満足しない場合は、スミア、フレア等の可能性が高いので誤差として判定する。
このため、対象画像候補が露光量小による第１の画像データによる第１の認識データにより、自ら発光する物体（先行車、対向車、街灯等）や近距離に存在する物体、白線等が確実にそして速やかに認識される。その一方で、第２の認識データにより、スミア、フレア等の誤差を排除して、遠方に存在する物体、白線等が確実に認識される。

尚、本実施の第１形態では、１組のカメラ２Ｌ，２Ｒを同じタイミングで露光量を変えて撮影するようにしているが、露光量の小さなカメラと露光量の大きなカメラの１組のカメラにより同じ効果を得ることができる。また、１台のカメラに撮像素子を２個設け、各々の撮像素子に対して、露光量を変えても良い。更に、１台のカメラの露光量を大小と切り替えるものであっても良い。これらの場合、単眼カメラとなるため、対象までの距離の求め方が上述の例とは異なり、例えば、同一のカメラで画像を２フレーム取得し、２枚の画像中の障害物の位置の違いから障害物速度、距離を推定する。

次に、図４及び図５は本発明の実施の第２形態を示し、図４は車外監視装置の概略構成図、図５は画像認識の判定プログラムのフローチャートである。尚、本実施の第２形態は、２台の高感度カメラと近赤外線投光器を用いて前方環境を認識するものである。

すなわち、図４において、符号１０は車両に搭載される車外監視装置を示し、この車外監視装置１０は、前方に向けて近赤外線を投光する赤外線投光手段としての近赤外線投光器１１と、可視光カットフィルタが未装着で車外前方を捉える高感度カメラ１２と、可視光カットフィルタが装着されて車外前方を捉える高感度カメラ１３と、高感度カメラ１２，１３の露光量をそれぞれ変えて設定する露光量制御部１４と、高感度カメラ１２，１３で得られた画像データの認識処理を行う認識統合部１５とを有して主要に構成されている。

可視光カットフィルタ未装着の高感度カメラ１２は、近赤外線投光器１１から照射される近赤外線のみならず、背景の光も受光するため、カメラ全体の受光量が多くなる傾向になっている。このため、露光量制御部１４により露光量が小さく設定される（予め設定した小さな露光量）。

ここで、予め設定した小さな露光量とは、前述の第１形態で説明したように、先行車、対向車、街灯等の自ら発光する物体、自車両のヘッドライトの照射光を反射する反射板を持った物体（自転車等）、近距離の歩行者、白線等の自車両のヘッドライトの照射光で照らされる物体を、スミア、フレア等の画像のつぶれ、誤差を極力抑えて撮影することのできる予め実験等により決定した露光量である。従って、前方の光景が、例えば、図３（ａ）のような場合、この予め設定した小さな露光量で撮影された可視光カットフィルタ未装着の高感度カメラ１２による画像データ（第１の画像データ）は、図３（ｂ）に示すように、先行車Ｖｆ、対向車Ｖｏ、街灯Ｓｌ等の自ら発光する物体と、近距離の歩行者Ｐｓ、白線Ｌ等の自車両のヘッドライトの照射光で照らされる物体の画像データは得られるが、遠方に存在する歩行者Ｐｌ、駐車車両Ｖｐ等の自ら発光しない物体は、画像データとして取り込むことが困難である。すなわち、可視光カットフィルタ未装着の高感度カメラ１２は、第１の撮影手段として設けられている。

また、可視光カットフィルタ装着の高感度カメラ１３は、近赤外線投光器１１からの近赤外線で照射された物体は認識しやすいが、可視光カットフィルタの装着により、カメラ全体の受光量が少なくなるため、露光量制御部１４により露光量が大きく設定される（予め設定した大きな露光量）。

ここで、予め設定した大きな露光量とは、前述の第１形態で説明したように、上述の予め設定した小さな露光量より大きな露光量で、暗闇時に、歩行者、自転車、白線等の自ら発光しないものを撮影できる予め実験等により決定した露光量である。従って、前方の光景が、例えば、図３（ａ）のような場合、この予め設定した大きな露光量で撮影された可視光カットフィルタ装着の高感度カメラ１３による画像データ（第２の画像データ）は、図３（ｃ）に示すように、自ら発光しない物体は遠方のものでも取り込むことができるが、先行車Ｖｆ、対向車Ｖｏ、街灯Ｓｌ等の自ら発光する物体は、スミア、フレア等が発生して精度良く取り込むことが困難になっている。すなわち、可視光カットフィルタ装着の高感度カメラ１３は、第２の撮影手段として設けられている。

尚、露光量制御部１４は、それぞれ高感度カメラ１２，１３内若しくは認識統合部１５内に設けられていても良い。

認識統合部４は、認識手段として設けられており、可視光カットフィルタ未装着の高感度カメラ１２から第１の画像データが、可視光カットフィルタ装着の高感度カメラ１３から第２の画像データが入力され、それぞれ認識処理を行う。

高感度カメラ１２，１３からの画像データは、画像中の輝度変化等を基に、周知のグルーピング処理を行い、予め記憶しておいた３次元的な道路形状データ、側壁データ、立体物データ等の枠（ウインドウ）と比較し、白線データ、道路に沿って存在するガードレール、縁石等の側壁データ、車両、歩行者等の立体物データを抽出する。こうして抽出された白線データ、側壁データ、立体物データは、それぞれのデータ毎に異なったナンバーが割り当てられる。また、近赤外線の位相変化等を基に、それぞれの立体物までの距離データを求める。

そして、後述する画像認識の判定プログラムに従って、認識したデータ（判定の対象とする画像候補）が可視光カットフィルタ未装着の高感度カメラ１２で捉えた露光量小による第１の画像データによるもの（第１の認識データ）か、或いは、可視光カットフィルタ装着の高感度カメラ１３で捉えた露光量大による第２の画像データによるもの（第２の認識データ）かを判定する。この判定の結果、対象画像候補が第１の認識データによるものの場合、実際に存在する認識データとして確定する。逆に、対象画像候補が第２の認識データによるものの場合は、対象画像候補が、予め実験、計算等により設定した閾値Ｌc1（例えば、自車両のヘッドライトの照射能力、カメラの感度性能等により設定した値で、１０〜２０ｍ）以上で、且つ、予め設定する安定条件（例えば、５フレーム、又は、０．５sec連続して検出される）を満足する場合に実際に存在する認識データとして確定する。対象画像候補が第２の認識データによるものの場合で、上述の条件を満足しない場合、すなわち、対象画像候補が、予め設定した閾値Ｌc1より近くに存在する場合、或いは、安定条件を満足しない場合は、スミア、フレアの可能性が高いので誤差として判定する。
次に、認識統合部１５で実行される画像認識の判定プログラムを、図５のフローチャートで説明する。

まず、Ｓ２０１で、判定対象とする対象画像候補が、可視光カットフィルタ未装着の高感度カメラ１２で捉えた露光量小による第１の画像データによるもの（第１の認識データ）か、判定する。

すなわち、このＳ２０１は、前述の画像認識の判定プログラム（図２）のＳ１０１に対応するものであり、このＳ２０１の判定の結果、対象画像候補が露光量小の画像データから認識されたもの（第１の認識データ）と判定した場合は、Ｓ１０２に進み、実際に存在する認識データとして確定する。その後の処理は、前述の第１形態と同様であるため説明は省略する。

また、Ｓ２０１の判定の結果、対象画像候補が、可視光カットフィルタ装着の高感度カメラ１３で捉えた露光量大による第２の画像データによるもの（第２の認識データ）と判定した場合は、Ｓ１０５以降へと進む。尚、Ｓ１０５以降の処理は、前述の第１形態と同様であるため説明は省略する。

このように本発明の実施の第２形態によれば、可視光カットフィルタ未装着の高感度カメラ１２で捉えた対象画像候補が露光量小による第１の画像データによる第１の認識データか、或いは、可視光カットフィルタ装着の高感度カメラ１３で捉えた露光量大による第２の画像データによる第２の認識データかを判定し、対象画像候補が第１の認識データによるものの場合、実際に存在する認識データとして確定する。また、対象画像候補が第２の認識データによるものの場合は、対象画像候補が、予め実験、計算等により設定した閾値Ｌc1以上で、且つ、予め設定する安定条件を満足する場合に実際に存在する認識データとして確定する一方、対象画像候補が、予め設定した閾値Ｌc1より近くに存在する場合、或いは、安定条件を満足しない場合は、スミア、フレア等の可能性が高いので誤差として判定する。
このため、前述の第１形態と同様、対象画像候補が露光量小による第１の画像データによる第１の認識データにより、自ら発光する物体（先行車、対向車、街灯等）や近距離に存在する物体、白線等が確実にそして速やかに認識される。その一方で、第２の認識データにより、スミア、フレア等の誤差を排除して、遠方に存在する物体、白線等が確実に認識される。

本発明の実施の第１形態による、車外監視装置の概略構成図同上、画像認識の判定プログラムのフローチャート同上、ある画像から得られる第１の画像データと第２の画像データの一例を示す説明図本発明の実施の第２形態による、車外監視装置の概略構成図同上、画像認識の判定プログラムのフローチャート

符号の説明

１車外監視装置
２Ｌ，２Ｒカメラ（撮影手段）
３露光量制御部（露光量可変手段）
４認識統合部（認識手段）

Claims

車外環境を画像データとして撮影する撮影手段と、
上記撮影手段の露光量を可変する露光量可変手段と、
上記撮影手段が上記露光量可変手段による予め設定した露光量の小さな値で撮影した第１の画像データと、露光量の大きな値で撮影した第２の画像データとのそれぞれで、画像データ中に存在する対象物の認識処理を行うと共に該対象物までの距離を求める画像の認識手段とを備え、
上記画像の認識手段は、上記第１の画像データから上記対象物が認識される場合には当該認識した対象物を実際に存在する対象物として確定する一方、上記認識処理により上記第２の画像データから対象物が認識される場合には、当該対象物までの距離が予め設定する閾値以上である場合に当該認識した対象物を実際に存在する対象物として確定することを特徴とする車外環境認識装置。
近赤外線を投光する赤外線投光手段と、
可視光をカットすることなく予め設定した露光量の小さな値で車外環境を第１の画像データとして撮影する第１の撮影手段と、
可視光をカットして予め設定した露光量の大きな値で車外環境を第２の画像データとして撮影する第２の撮影手段と、
上記第１の撮影手段による第１の画像データと上記第２の撮影手段による第２の画像データとのそれぞれで、画像データ中に存在する対象物の認識処理を行うと共に該対象物までの距離を求める画像の認識手段とを備え、
上記画像の認識手段は、上記第１の画像データから上記対象物が認識される場合には当該認識した対象物を実際に存在する対象物として確定する一方、上記第２の画像データから対象物が認識される場合には、当該対象物までの距離が予め設定する閾値以上である場合に当該認識した対象物を実際に存在する対象物として確定することを特徴とする車外環境認識装置。
上記画像の認識手段は、上記第２の認識データから対象物が認識される場合は、当該対象物までの距離が上記予め設定する閾値以上で、且つ、予め設定する時間又は回数を超えて連続して当該対象物が認識される場合に上記実際に存在する対象物として確定することを特徴とする請求項１又は請求項２記載の車外環境認識装置。