JP4882428B2 - 環境認識装置 - Google Patents

Description

本発明は環境認識装置に係り、特に、撮像によって得られた画像に基づいて物体を検出する第１検出手段と、光源から射出され物体で反射された光ビームを検出することで物体を検出する第２検出手段を備えた環境認識装置に関する。

公知のプリクラッシュセーフティ制御や先行車両追従制御等を行う車両には、車両周囲の環境（車両の周囲に存在している物体の位置や距離等の状況）を認識・監視する環境認識装置が搭載される。この種の環境認識装置には、カメラ等の撮像手段によって撮像された車両の周囲の状況を表す画像に基づいて、車両の周囲に存在する物体を認識してその位置を検出すると共に、レーダ装置により光ビーム等を用いて車両の周囲に存在する物体との位置や距離等を計測し、これらの検出結果・計測結果を統合して車両周囲の環境を認識することで、環境認識の精度・信頼性を向上させる構成が採用されることが多い。

但し、上記の撮像手段及びレーダ装置は、通常、車両の異なる位置に取り付けられ、撮像手段による撮像方向とレーダ装置による計測方向も一致していないので、上記の環境認識装置によって車両周囲の環境を認識させるにあたっては、撮像手段によって撮像された画像に基づいて位置等を認識した物体と、レーダ装置によって位置や距離等が計測された物体を対応付けるために、画像に基づく物体の検出位置と光ビームに基づく物体の検出位置との対応関係を求めるキャリブレーションを行う必要がある。

このキャリブレーションは例えば出荷前に行われるが、撮像手段やレーダ装置の取付位置、方向は車両走行時の振動等によってずれが生じ、これに伴って上記の対応関係にもずれが生ずるので、精度を維持するためには可能な限り短い周期でキャリブレーションを行うことが望ましい。

上記に関連して特許文献１には、レーダ装置の出射波の出射方向（光軸方向）が固定された構成において、車両の走行中にカメラで撮像した画像から道路上の白線に相当する領域を検出して車両の直進方向を検出し、その後、車両の前面に設置したスクリーンにレーザを投影し、画像中での位置が白線の交点（消失点）と一致するように車両の直進方向に対するレーザレーダの光軸のずれを補正する技術が開示されている。

また特許文献２には、画像センサからの画像情報によって車両前方の障害物の大きさ及び位置を検出すると共に、レーザレーダからのレーザ光にて車両と障害物の距離及び方向を検出する構成において、車両の走行状態に応じて双方の検出の協調関係を組み替え、低速走行時には画像センサで障害物を検出し、その検出方向に応じてレーザ光の照射方向を決定し、距離を検出する方法が記載されている。
特開２００４−２０５３９８号公報 特開平７−４９９９９号公報

しかしながら、環境認識装置のキャリブレーションに特許文献１に記載の技術を適用した場合、一旦車両を走行させて車両の直進方向を検出した後に、スクリーンを設置して補正（キャリブレーション）を行う必要があるので、非常に手間が掛かり、短い周期でキャリブレーションを行うことは困難である。

また特許文献２には、画像センサによる障害物の検出方向に応じてレーザ光の照射方向を決定・制御することは記載されているものの、画像に基づく物体の検出位置と光ビームに基づく物体の検出位置との対応関係を求めるキャリブレーションについては記載されていない。

本発明は上記事実を考慮して成されたもので、画像に基づく物体検出における検出位置と光ビームに基づく物体検出における検出位置の対応関係の精度を容易に維持可能な環境認識装置を得ることが目的である。

上記目的を達成するために請求項１記載の発明に係る環境認識装置は、撮像手段による撮像によって得られた画像に基づいて物体を検出する第１検出手段と、光源からの光ビームの射出方向を制御し、かつ前記光源から射出され物体で反射された光ビームを検出することで、少なくとも前記物体との距離を検出する第２検出手段と、前記光源から光ビームが射出されていない状態で前記撮像手段が撮像を行うことで得られた第１画像と、前記光源から光ビームが射出されている状態で前記撮像手段が撮像を行うことで得られた第２画像と、の差分に相当する差分画像に基づいて画像上での光ビーム照射位置を検出し、検出した前記画像上での光ビーム照射位置に基づいて、前記第１検出手段による検出位置と前記第２検出手段による検出位置との対応関係を取得することを、光ビームの走査範囲内の複数の位置について各々行う第１取得手段と、を含んで構成されている。なお、請求項１記載の発明に係る環境認識装置を例えば車両の走行環境の認識に適用する場合、検出対象の物体は、車両や歩行者等の移動物、標識や電柱等の静止物に限られるものではなく、道路面や道路面上の表示等の平面状の物体も含まれる。

請求項１記載の発明に係る環境認識装置には、撮像手段による撮像によって得られた画像に基づいて物体を検出する第１検出手段と、光源からの光ビームの射出方向を制御し、かつ光源から射出され物体で反射された光ビームを検出することで、少なくとも物体との距離を検出する第２検出手段が設けられている。なお、第１検出手段としては、例えば画像に基づいて物体の位置を検出する構成を採用することができるが、物体の位置に加えて物体のサイズ等も検出するようにしてもよい。また、撮像手段の数は１個であってもよいが、撮像手段を複数設け、複数の撮像手段による撮像によって得られた複数の画像に基づいて物体との距離も検出する構成を採用することも可能である。また、第２検出手段としては、例えば光ビームを検出することで物体との距離を検出する構成を採用することができるが、物体との距離に加えて物体の位置も検出するようにしてもよい。

ここで、請求項１記載の発明では、第２検出手段による検出位置が、撮像手段による撮像によって得られる画像上で光ビームの照射位置（光スポットの位置）として検知可能であることに基づき、第１取得手段により、光源から光ビームが射出されていない状態で撮像手段が撮像を行うことで得られた第１画像と、光源から光ビームが射出されている状態で撮像手段が撮像を行うことで得られた第２画像と、の差分に相当する差分画像に基づいて画像上での光ビーム照射位置を検出し、検出した画像上での光ビーム照射位置に基づいて、第１検出手段による検出位置と第２検出手段による検出位置との対応関係を取得することを、光ビームの走査範囲内の複数の位置について各々行う。第１検出手段による検出位置としては、例えば画像上の位置を用いることができるが、撮像手段を複数設けた態様であれば、複数の画像における画像上の位置から演算によって求めた実空間上での位置を用いることも可能である。また、第２検出手段による検出位置としては、例えば光ビームの射出方向を用いることができるが、これに代えて光ビームの射出方向及び物体との距離の検出結果から演算によって求めた実空間上での位置を用いることも可能である。第１取得手段は、例えば画像上での光ビーム照射位置から求めた第１検出手段による検出位置を、光ビーム射出時の第２検出手段による検出位置と対応付けることで、上記の対応関係を光ビームの走査範囲内の複数の位置について取得することができる。

第１取得手段による検出位置の対応関係の取得（キャリブレーション）は、光源から光ビームが射出されている状態で撮像手段が撮像を行うのみで容易に実施することができ、特許文献１に記載の技術のように、スクリーンを設置する等の煩雑な作業を行う必要はない。従って、請求項１記載の発明では、第１取得手段による検出位置の対応関係の取得を短い周期で頻繁に実施することが可能であり、第１取得手段が検出位置の対応関係の取得を短い周期で頻繁に実施することで、画像に基づく物体検出における検出位置と光ビームに基づく物体検出における検出位置の対応関係の精度を容易に維持することができ、本発明に係る環境認識装置による環境認識の精度・信頼性を常に高レベルに維持することができる。また、上記の対応関係を光ビームの走査範囲内の複数の位置について取得することで、撮像手段のレンズの収差等の影響により、光ビームの走査範囲内の一部の領域で、画像に基づく物体検出における検出位置と光ビームに基づく物体検出における検出位置の対応関係の精度が低下することも抑制することができる。

なお、請求項１記載の発明において、第１取得手段は、例えば請求項２に記載したように、光源から一定の射出方向へ光ビームが射出されている状態で撮像手段が撮像を行うことで得られた画像に基づいて、第１検出手段による検出位置と、第２検出手段による検出位置としての光ビームの射出方向と、の対応関係を取得するように構成することが好ましい。これにより、撮像手段が撮像を行うことで得られた画像上に光ビーム照射位置がより明瞭に現れることになり、画像上での光ビーム照射位置をより正確に検出することができる。

また、請求項２記載の発明において、第１取得手段によって取得された対応関係を記憶する記憶手段を設けてもよく、この場合、第１取得手段による対応関係の取得は、対応関係を毎回新たに取得するようにしてもよいが、例えば請求項３に記載したように、検出した画像上での光ビーム照射位置と、記憶手段に記憶されている対応関係において一定の射出方向と対応付けられている第１検出手段による検出位置に相当する画像上での光ビーム照射位置と、のずれを検知して、記憶手段に記憶されている対応関係を補正することによって行うことも可能である。

また、請求項２又は請求項３記載の発明において、第２検出手段は、例えば請求項４に記載したように、撮像手段が対応関係の取得のための画像を撮像する期間には光源から一定の射出方向へ光ビームが射出され、前記期間以外の期間には光源から射出された光ビームによって検出範囲全体が順次走査されるように、光源からの光ビームの射出方向を制御する構成とすることができる。

請求項５記載の発明に係る環境認識装置は、撮像手段による撮像によって得られた画像に基づいて物体を検出する第１検出手段と、光源からの光ビームの射出方向を制御し、かつ前記光源から射出され物体で反射された光ビームを検出することで、少なくとも前記物体との距離を検出する第２検出手段と、前記第２検出手段が、前記光源から射出される光ビームによって検出範囲内を順次走査させると共に反射された光ビームの受光強度を順次検出することで計測された受光強度の分布を、前記撮像手段による撮像によって得られた画像の輝度分布と照合することで、前記第１検出手段による検出位置と前記第２検出手段による検出位置との対応関係を取得する第２取得手段と、を含んで構成されている。

請求項５記載の発明に係る環境認識装置は、請求項１記載の発明と同様の第１検出手段及び第２検出手段を備えている。ここで、撮像手段による撮像は、撮像範囲からの入射光の光量を２次元に配列された各セル（画素）毎に検出することによって成され、撮像によって得られる画像は撮像範囲内に存在する各物体との距離（や照明状態）に応じて変化する撮像範囲内の輝度の分布を表しているが、第２検出手段が受光する光ビームの受光強度についても光ビームを反射した物体との距離に応じて変化するので、光ビームを走査させると共に光ビームの受光強度を順次検出した場合にも、撮像手段による撮像によって得られる画像と同様に、光ビームの走査範囲内に存在する各物体との距離に応じて変化する受光強度の分布が得られる。

上記に基づき請求項５記載の発明では、第２取得手段により、第２検出手段が、光源から射出される光ビームによって検出範囲内を順次走査させると共に反射された光ビームの受光強度を順次検出することで計測された受光強度の分布を、撮像手段による撮像によって得られた画像の輝度分布と照合することで、第１検出手段による検出位置と第２検出手段による検出位置との対応関係を取得する。

第２取得手段による検出位置の対応関係の取得（キャリブレーション）についても、第２計測手段が受光強度の分布を計測すると共に撮像手段が撮像を行うのみで容易に実施することができ、特許文献１に記載の技術のように、スクリーンを設置する等の煩雑な作業を行う必要はない。従って、請求項５記載の発明についても、第２取得手段による検出位置の対応関係の取得を短い周期で頻繁に実施することが可能であり、第２取得手段が検出位置の対応関係の取得を短い周期で頻繁に実施することで、画像に基づく物体検出における検出位置と光ビームに基づく物体検出における検出位置の対応関係の精度を容易に維持することができ、本発明に係る環境認識装置による環境認識の精度・信頼性を常に高レベルに維持することができる。

以上説明したように本発明は、光源から光ビームが射出されていない状態で撮像を行うことで得られた第１画像と、光源から光ビームが射出されている状態で撮像を行うことで得られた第２画像と、の差分に相当する差分画像に基づいて画像上での光ビーム照射位置を検出し、検出した光ビーム照射位置に基づいて、画像に基づく物体検出を行う第１検出手段による検出位置と光ビームに基づく物体検出を行う第２検出手段による検出位置との対応関係を取得することを、光ビームの走査範囲内の複数の位置について各々行うようにしたので、画像に基づく物体検出における検出位置と光ビームに基づく物体検出における検出位置の対応関係の精度を容易に維持可能となる、という優れた効果を有する。

また本発明は、光源から射出される光ビームによって検出範囲内を順次走査させると共に反射された光ビームの受光強度を順次検出することで計測された受光強度の分布を、撮像によって得られた画像の輝度分布と照合することで、画像に基づく物体検出を行う第１検出手段による検出位置と光ビームに基づく物体検出を行う第２検出手段による検出位置との対応関係を取得するようにしたので、画像に基づく物体検出における検出位置と光ビームに基づく物体検出における検出位置の対応関係の精度を容易に維持可能となる、という優れた効果を有する。

以下、図面を参照して本発明の実施形態の一例を詳細に説明する。

〔第１実施形態〕
図１には本実施形態に係る環境認識装置１０が示されている。本実施形態に係る環境認識装置１０は、車両前方の環境、詳しくは車両の前方に存在している物体の有無、位置、距離等の状況を認識するために車両に搭載されており、レーダ装置１２と撮像装置１４が環境認識部１６に各々接続されて構成されている。

図２に示すように、レーダ装置１２は車両２０の先端部付近に取り付けられており、図示は省略するが、光ビームを射出する光源と、該光源から射出された光ビームを２次元に偏向させ所定の走査範囲（図２には水平方向に沿った走査範囲を示す）内で走査させることが可能な偏向走査部と、光源から射出され物体で反射された光ビームを受光し受光強度に応じた信号を出力する受光器と、マイクロプロセッサ等から成り偏向走査部による光ビームの偏向を制御すると共に、受光器から出力された信号に基づいて光ビームを反射した物体と車両２０との距離を演算する制御演算部を含んで構成されており、制御演算部によって演算された物体との距離及びそのときの光ビーム射出方向は環境認識部１６へ出力される。

なお、光源としてはレーザやＬＥＤ等の光ビームを射出する公知の各種光源の何れかを適用することができる。また、光源から射出される光ビームは可視光域内の波長の光ビームであってもよいし、可視光域外の波長（例えば赤外域の波長）の光ビームであってもよい。また、走査偏向部としてもガルバノメータミラー等の公知の偏向手段を適用することができる。レーダ装置１２は本発明に係る第２検出手段に対応している。

また、撮像装置１４は車両２０の前方を撮像可能な位置（例えば図２に示すようにフロントガラス内側の車両左右方向中央でかつ車両上下方向上端部に相当する位置）に配置されており、ＣＣＤカメラ等から成り図２に示す撮像範囲を撮像する撮像素子、該撮像素子の光入射側に配置されたシャッタ、撮像素子から出力されたアナログの画像信号をデジタルの画像データへ変換する信号処理部を含んで構成されており、撮像素子による撮像結果は信号処理部を介し画像データとして環境認識部１６へ出力される。なお、本実施形態において、撮像装置１４の撮像素子はレーダ装置１２の光源から射出される光ビームの波長に感度を有しかつ可視光域に感度を有しているが、撮像装置１４の撮像によって得られた画像からの物体の検出等の処理を行わない場合、撮像装置１４の撮像素子は少なくとも光ビームの波長に感度を有していればよく、撮像素子の光ビーム入射側に、光ビームの波長が可視光域外であれば可視光カットフィルタを設けたり、光ビームの波長以外の波長域の光をカットする狭帯域フィルタを設けてもよい。

なお、本発明では、レーダ装置１２から射出される光ビームの走査範囲と撮像装置１４による撮像範囲を完全に一致させる必要はないが、図２に示すように、両範囲は概ね一致されていることが望ましい。また、両範囲の大きさの関係については、光ビームの走査範囲が撮像範囲よりも狭くてもよいし、その逆であってもよい。

環境認識部１６はＣＰＵやメモリ、ＨＤＤ等の不揮発性記憶手段を備えたマイクロプロセッサから構成されている。環境認識部１６は、撮像装置１４から入力された画像データが表す画像の中に、車両２０の前方に存在する物体に相当する画像部が存在しているか否かを探索し、該当する画像部が存在していれば車両２０の前方に物体が存在していると認識する物体検出処理を行う。このように、本実施形態において、環境認識部１６は撮像装置１４と共に本発明に係る第１検出手段に対応している。

なお、上記の物体検出処理において、物体に相当する画像部に対してパターンマッチング等の処理を適用することで、検出した物体の種類（車両か歩行者か等）も判断するようにしてもよい。また、本実施形態に係る撮像装置１４は撮像素子を１個のみ備えているが、撮像装置１４は車両２０の左右方向に沿って異なる位置に取り付けられた複数台の撮像素子を備えた構成であってもよく、この場合、上記の物体検出処理において、物体に相当する画像部の各撮像素子による撮像によって得られた各画像上での位置に基づいて、車両２０の前方の三次元空間内での物体の位置（三次元座標）を求めることも可能である。

そして環境認識部１６は、物体検出処理の結果と、レーダ装置１２から入力された物体との距離及び光ビーム射出方向に基づいて、車両２０の前方の環境（車両２０の前方に存在している物体の有無、位置、距離等）を認識し、認識結果を車両２０に搭載された図示しない装置（例えばプリクラッシュセーフティ制御を行う装置）へ出力する環境認識処理を行う。上記の物体検出処理や環境認識処理は環境認識部１６のＣＰＵが所定のプログラムを実行することで実現され、環境認識部１６の不揮発性記憶手段には、環境認識部１６のＣＰＵが上記の物体認識処理や環境認識処理、後述する対応関係更新処理の各処理を行うためのプログラムが予めインストールされている。

次に本第１実施形態の作用を説明する。環境認識部１６が行う環境認識処理は、上記のように撮像装置１４から入力された画像データ（撮像装置１４による撮像によって得られた画像）に基づいて行った物体検出処理の結果と、レーダ装置１２から入力された距離及び光ビーム射出方向に基づいて行われるので、物体検出処理で物体が検出されかつレーダ装置１２によっても物体が検出された場合に、双方で検出された物体が同一の物体か否かを判断するために、物体検出処理による物体検出位置（画像上における物体に相当する画像部の位置）とレーダ装置１２による物体検出位置（光ビーム射出方向、距離）との対応関係が既知である必要がある。

このため、本第１実施形態では、車両２０の出荷時に、以下で説明する対応関係更新処理（図３）と同様の処理が行われることで、物体検出処理による物体検出位置とレーダ装置１２による物体検出位置との対応関係が、車両２０の前方の各位置について各々導出され、導出された対応関係を表す対応関係情報が環境認識部１６の不揮発性記憶手段に予め記憶される。この対応関係情報は、上記の環境認識処理において、撮像装置１４による撮像によって得られた画像に基づいて物体検出処理で検出した物体と、レーダ装置１２によって検出された物体を対応付ける際に参照される。

但し、車両２０の走行時には撮像装置１４やレーダ装置１２に振動等が加わり、この振動等によって撮像装置１４やレーダ装置１２の取付位置、方向にずれが生じ、物体検出処理による物体検出位置とレーダ装置１２による物体検出位置との対応関係にずれが生じるので、車両２０の出荷時に導出（初期設定）した対応関係情報は、その精度が経時的に徐々に低下する。このため、本第１実施形態に係る環境認識部１６は、車両２０が停止している状態で、図３に示す対応関係更新処理を定期的に実行することで、環境認識部１６の不揮発性記憶手段に記憶されている対応関係情報を更新する。なお、本第１実施形態に係る対応関係更新処理は本発明に係る第１取得手段に相当する処理であり、本第１実施形態に係る対応関係更新処理を行う環境認識部１６は本発明に係る第１取得手段として機能する。

この対応関係更新処理は、まずステップ３０において、レーダ装置１２から光ビームが射出されていない状態で、撮像装置１４によって車両２０の前方を撮像させる。これにより、例として図４(Ａ)に示すような画像（便宜的に「画像１」と称する）が撮像され、該画像を表す画像データが撮像装置１４から入力される。入力された画像１の画像データをメモリ等に一時記憶させると次のステップ３２へ移行し、レーダ装置１２に対して所定方向への光ビームの射出を開始するよう指示する。これにより、レーダ装置１２の制御演算部は、所定方向へ光ビームが射出されるように偏向走査部による偏向方向を切り替えた後に、光源からの光ビームの射出を開始させる。また、ステップ３４では撮像装置１４によって車両２０の前方を再度撮像させる。

レーダ装置１２（の制御演算部）は、光ビームを走査範囲内で走査させて物体を検出する場合、10ｎ秒程度の光パルスを発光させることで一方向における計測が終了し、光源が発光を開始してから受光器が光ビームを受光する迄の時間（光ビームの往復時間）を計測し、偏向走査部による光ビームの偏向方向を変化させ（或いは光ビームの偏向方向を連続的に変化させ）、計測した光ビームの往復時間から物体迄の距離を演算する。従って、レーダ装置１２が物体検出（光ビームの走査）を行っている間に撮像装置１４が撮像を行ったとしても、撮像によって得られた画像上には光ビームの照射位置を表す光スポットに相当する画像部は現れない。

しかし、本第１実施形態に係る対応関係更新処理におけるステップ３４の撮像は、レーダ装置１２からの光パルスの射出が繰り返されかつ走査が停止している状態で行われるので、ステップ３４における撮像により、例として図４(Ｂ)に示すように、光ビームの照射位置を表す光スポットに相当する画像部２１が現れた画像（便宜的に「画像２」と称する）が撮像され、該画像を表す画像データが撮像装置１４から入力される。撮像装置１４による撮像が完了し入力された画像２の画像データをメモリ等に一時記憶させると次のステップ３６へ移行し、レーダ装置１２からの光ビームの射出を停止させる。

ステップ３８では、メモリに記憶している画像１の画像データと画像２の画像データを差分を画素単位で演算し、演算した各画素毎の差分を順次メモリに記憶させることで、画像１と画像２の差分に相当する差分画像を表す画像データを生成する。画像１の画像内容と画像２の画像内容は、画像２に光スポットに相当する画像部が加わっている以外は略同一であるので、これにより、例として図４(Ｃ)に示すように、光ビームの照射位置を表す光スポットに相当する画像部２１のみが明示された差分画像が得られる。

ステップ４０では、この差分画像上の高輝度領域を光スポットに相当する画像部２１として抽出し、画像上での光ビーム照射位置として、差分画像上での画像部２１の位置を検出する。そしてステップ４２では、ステップ４０で検出した画像上での光ビーム照射位置（すなわち第１検出手段による検出位置）と、レーダ装置１２から光ビームを射出させた際にレーダ装置１２から入力された光ビーム射出方向及び物体迄の距離（すなわち第２検出手段による検出位置）を対応付ける情報を、不揮発性記憶手段に既に記憶されている対応関係情報のうちの対応する情報（例えば光ビーム射出方向及び物体迄の距離が同一の情報）に上書きして不揮発性記憶手段に記憶させ（キャリブレーション）、対応関係更新処理を終了する。なお、上記の上書きは請求項３に記載の「対応関係の補正」に対応している。

ここで、不揮発性記憶手段に記憶する情報として、光ビームの射出方向及び距離と画像内での座標の組み合わせを全て保存する必要はなく、例えば光ビームの射出方向及び距離と画像中での座標との関係を方程式で表し、当該方程式の係数を不揮発性記憶手段に保存することでデータ量を削減することも可能である。この場合にも、記憶している係数を補正することで上記の「対応関係の補正」を行うことができる。

上記の対応関係更新処理により、不揮発性記憶手段に既に記憶されている対応関係情報が、レーダ装置１２が物体を検出したときの光ビーム射出方向及び物体迄の距離が上記の値であった場合に、レーダ装置１２が検出した物体が撮像装置１４による撮像によって得られる画像上の何れの位置に位置するかを正確に認識できる値へ更新される。そして、上記処理を、光ビームの射出方向を切り替えながら光ビームの走査範囲内の複数の位置について行うことで、車両２０の走行時の振動等によって撮像装置１４やレーダ装置１２の取付位置、方向にずれが生じたとしても、レーダ装置１２によって検出された物体が撮像装置１４による撮像によって得られる画像上の何れの位置に位置するのかを、物体の存在する位置に拘わらず精度良く判断できるように対応関係情報が更新されることになり、環境認識処理の認識精度が向上する。

上述した対応関係更新処理では、レーダ装置１２が光ビームを射出していない状態及び射出している状態で撮像装置１４が各々撮像を行って画像１及び画像２を取得するのみで容易に実施することができ、例えば車両２０の前方にスクリーンを設置する等の煩雑な作業を行う必要はない。従って、上述した対応関係更新処理は短い周期で頻繁に実施可能であり、対応関係更新処理を短い周期で頻繁に実施することで、車両２０の走行時の振動等によって撮像装置１４やレーダ装置１２の取付位置、方向にずれが生じたとしても、上記の対応関係情報が適宜更新されることで、環境認識処理の認識精度・信頼性を常に高レベルに維持することができる。

なお、環境認識部１６による物体検出処理における検出対象の物体の中には、光ビームを用いた場合は容易に検出できるものの、画像に基づく検出が困難な物体も含まれているのに対し、上述した対応関係更新処理を行っている間は、光ビームの走査は行われずレーダ装置１２からの光ビームの射出方向がおよそ一定とされるので、この間に画像に基づく検出が困難な物体が検出範囲内に入ってきた場合、当該物体の検出が遅れる可能性がある。これを考慮すると、レーダ装置１２の制御演算部は図９に示す射出方向制御処理を行うことが望ましい。この射出方向制御処理では、撮像装置１４のシャッタが開いているか否かを判定し（ステップ８０）、判定が肯定された場合は環境認識部１６から指示された射出方向へ光ビームを射出させ（ステップ８２）、判定が否定された場合は所定の走査範囲内で光ビームを走査させて物体の探索・検出を行う（ステップ８４）ことを繰り返す。これにより、対応関係更新処理を行っている間に、画像に基づく検出が困難な別の物体が検出範囲内に入ってきた場合にも、当該物体を早期に検出することができる。なお、上記の射出方向制御処理は請求項４記載の発明に対応している。

〔第２実施形態〕
次に本発明の第２実施形態について説明する。なお、本第２実施形態は第１実施形態と同一の構成であるので、各部分に同一の符号を付して構成の説明を省略し、以下、本第２実施形態の作用を説明する。本第２実施形態に係る環境認識部１６は、車両２０が走行している状態で図５に示す物体認識処理を周期的に行う。なお、物体認識処理は車両２０の走行時に行うことに限られるものではなく、車両２０の停止時に行うことも可能である。なお、本第２実施形態に係る物体認識処理も本発明に係る第１取得手段に相当する処理であり、本第２実施形態に係る物体認識処理を行う環境認識部１６も本発明に係る第１取得手段として機能する。

この物体認識処理では、まずステップ５０において、レーダ装置１２から光ビームが射出されていない状態で、撮像装置１４によって車両２０の前方を撮像させる。この撮像に伴って撮像装置１４から入力された画像データをメモリ等に一時記憶させると、次のステップ５２において、撮像装置１４から入力された画像データが表す画像の中に、車両２０の前方に存在する物体に相当する画像部が存在しているか否かを探索する。ステップ５４では、ステップ５２の探索によって物体に相当する画像部が抽出されたか否か判定する。判定が否定された場合は何ら処理を行うことなく物体認識処理を終了する。

一方、例えば図６に示す物体２２のように、車両２０の前方（撮像装置１４による撮像範囲内）に物体が存在している場合には、撮像装置１４によって撮像された画像の中に、車両２０の前方に存在している物体に相当する画像部が現れ（例として図７(Ａ)に示す画像部２２Ａを参照）、当該画像部がステップ５２の探索によって検出される。この場合はステップ５４の判定が肯定されてステップ５６へ移行し、ステップ５２の探索で検出した画像部の画像上での位置に基づき、不揮発性記憶手段に記憶されている対応関係情報を参照して、上記画像部に相当する物体（認識対象物体）に光ビームを照射するための光ビームの射出方向を決定（推定）する。

ステップ５８では、ステップ５６で決定した光ビームの射出方向をレーダ装置１２へ通知し、通知した射出方向への光ビームの射出を開始するようレーダ装置１２に指示する。これにより、レーダ装置１２の制御演算部は、通知された射出方向へ光ビームが射出されるように偏向走査部による偏向方向を切り替えた後に、光源からの光ビームの射出を開始させる。またステップ６０では撮像装置１４によって車両２０の前方を再度撮像させる。このステップ６０の撮像も、レーダ装置１２からの光ビームの射出が継続しかつ光ビームの走査が停止している状態で行われるので、光ビームの照射位置を表す光スポットに相当する画像部が現れた画像が撮像され、該画像を表す画像データが撮像装置１４から入力される。撮像装置１４による撮像が完了し入力された画像２の画像データをメモリ等に一時記憶させると、ステップ６２でレーダ装置１２からの光ビームの射出を停止させる。

ステップ６４では、ステップ６０の撮像によって得られた画像上の高輝度領域を、光ビームの照射位置を表す光スポットに相当する画像部として抽出し、画像上での光ビーム照射位置として、画像上での高輝度領域の位置を検出する。次のステップ６６では、ステップ６４で検出した光ビーム照射位置が、先のステップ５４の探索で検出された認識対象物体に相当する画像部の画像上での位置に一致しているか否か判定する。

例えば車両２０の走行時の振動等によって撮像装置１４やレーダ装置１２の取付位置、方向にずれが生じた等の場合、不揮発性記憶手段に記憶されている対応関係情報の精度が低下するので、ステップ５６で決定した射出方向へ光ビームを射出したとしても認識対象物体に光ビームが照射されず、例として図７(Ｂ)に示すように、画像上での光ビームの照射位置（光スポットに相当する画像部の画像上での位置）は、認識対象物体に相当する画像部の画像上での位置と不一致となる。ステップ６６の判定が否定された場合はステップ６８へ移行し、認識対象物体に相当する画像部の画像上での位置に対する画像上での光ビーム照射位置のずれ（距離及び方向）に基づいて、先にレーダ装置１２へ指示した光ビーム射出方向を補正した後にステップ５８に戻り、補正後の射出方向をレーダ装置１２へ通知し、通知した射出方向への光ビームの射出を開始するようレーダ装置１２に指示する。これにより、ステップ６６の判定が肯定される迄ステップ５８〜ステップ６８が繰り返され、認識対象物体に光ビームが照射されるように光ビーム射出方向が調整されるフィードバック制御が行われることになる。

認識対象物体に光ビームが照射されると、ステップ６６の判定が肯定されてステップ７０へ移行し、レーダ装置１２から最後に光ビームを射出させた際（認識対象物体に光ビームが照射された際）にレーダ装置１２によって計測された認識対象物体迄の距離を取り込み、レーダ装置１２から最後に光ビームを射出させた際に指示した光ビーム射出方向と共に、レーダ装置１２による認識対象物体の検出結果としてメモリ等に記憶させる。この検出結果は、ステップ５２における探索で検出された認識対象物体に相当する画像部の画像上での位置と共に、環境認識部１６による環境認識処理において、認識対象物体の認識を行う際に使用される。またステップ７０では、上記の距離及び光ビーム射出方向と、先のステップ５２で検出した認識対象物体に相当する画像部の画像上での位置を対応付ける情報を、不揮発性記憶手段に既に記憶されている対応関係情報のうちの対応する情報（例えば光ビーム射出方向及び物体迄の距離が同一の情報）に上書きして不揮発性記憶手段に記憶させ（キャリブレーション）、物体認識処理を終了する。

上述した物体認識処理では、撮像装置１４による撮像によって得られた画像上での光ビーム照射位置（光スポットに相当する画像部の位置）に基づいて、光ビームが認識対象物体に照射されるようにフィードバック制御を行い、光ビームが認識対象物体に照射されている状態（レーダ装置１２による物体検出位置が画像に基づく物体検出における物体検出位置に一致している状態）での認識対象物体の検出結果を取得し、取得した検出結果を環境認識処理で認識対象物体の認識を行う際に使用するので、車両２０の走行時の振動等によって撮像装置１４やレーダ装置１２の取付位置、方向にずれが生じ、これに伴って対応関係情報の精度が低下していたとしても、この影響を受けることなく環境認識処理を精度良く行うことができる。

また、光ビームが認識対象物体に照射されている状態でレーダ装置１２によって計測された距離及び光ビーム射出方向と、認識対象物体に相当する画像部の画像上での位置を対応付ける情報を、対応関係情報のうちの対応する情報に上書きして記憶させるので、レーダ装置１２が物体を検出したときの光ビーム射出方向及び物体迄の距離が上記の値であった場合に、レーダ装置１２が検出した物体が撮像装置１４による撮像によって得られる画像上の何れの位置に位置するかを正確に認識できるように対応関係情報が更新されることになり、対応関係情報の精度が向上する。

そして、上述した物体認識処理は車両走行時にも容易に実施することができ、例えば車両２０の前方にスクリーンを設置する等の煩雑な作業を行う必要はない。従って、上述した物体認識処理は短い周期で頻繁に実施可能であり、物体認識処理を短い周期で頻繁に実施することで、車両２０の走行時の振動等によって撮像装置１４やレーダ装置１２の取付位置、方向にずれが生じたとしても、上記の対応関係情報が適宜更新されることで、環境認識処理の認識精度・信頼性を常に高レベルに維持することができる。

なお、図５に示す物体認識処理では、撮像装置１４による撮像によって得られた画像に基づいて、車両２０の前方に存在する物体を探索・検出しているが、これに代えて図８に示すように、車両２０の前方に存在する物体をレーダ装置１２によって探索させるようにしてもよい。図８に示す物体認識処理では、まずステップ７２でレーダ装置１２に対して車両２０の前方に存在している物体の探索を指示する。これにより、レーダ装置１２の制御演算部は、光源を断続的に発光させると共に、光源から射出された光ビームが所定の走査範囲内を順に走査するように偏向走査部による光ビームの偏向を制御する。また制御演算部は、受光器による光ビームの受光強度を監視し、受光器が所定値以上の受光強度で光ビームを受光する毎に、当該光ビームを反射した物体迄の距離を演算し、演算した距離を光ビームの射出方向及び受光強度と共に環境認識部１６へ通知する。

環境認識部１６は、レーダ装置１２で光ビームの走査が行われている間、レーダ装置１２から適宜通知される情報（距離、光ビームの射出方向及び受光強度）をメモリに記憶する。また、レーダ装置１２における光ビームの走査が一巡するとステップ７４へ移行し、レーダ装置１２から通知されてメモリに記憶させた情報に基づいて、車両２０の前方の空間のうち物体が存在している可能性が高い領域（物体存在候補領域）が存在しているか否かを探索する。そしてステップ７６では、ステップ７４の探索によって物体存在候補領域が抽出されたか否か判定する。例えば、レーダ装置１２から通知された光ビーム射出方向がばらついている、或いは、レーダ装置１２から通知された受光強度が何れも閾値未満である等の場合には、物体存在候補領域が抽出されないことでステップ７６の判定が否定され、物体認識処理を終了する。

一方、レーダ装置１２から通知された情報の中に、光ビーム射出方向及び距離が類似している情報が複数存在しており、かつ対応する受光強度も閾値以上である等の場合は、車両２０の前方の空間のうち上記の光ビーム射出方向及び距離に対応する領域に、或る程度の大きさの物体が存在している確度が高いと判断できるので、上記領域がステップ７４で物体存在候補領域として抽出される。この場合はステップ７６の判定が肯定され、抽出した物体存在候補領域の位置を、不揮発性記憶手段に記憶されている対応関係情報に基づいて画像上での位置へ変換した後にステップ５０へ移行し、先に説明したステップ５０，５２，５６の処理を順次行う。

図８に示す物体認識処理では、撮像装置１４がステップ５０で撮像を行う際には、物体存在候補領域が既に抽出されているので、ステップ５２における物体に相当する画像部の探索は、撮像装置１４による撮像によって得られた画像のうち既に抽出されている物体存在候補領域に相当する画像領域に対してのみ行えばよく、ステップ５２の探索を行うことで環境認識部１６のＣＰＵに加わる負荷を軽減することができる。

また、第２実施形態で説明した物体認識処理（図５，８）は、第１実施形態で説明した対応関係更新処理（図３）に代えて行うようにしてもよいし、各処理を各々行うようにしてもよい（例えば車両２０の走行時には物体認識処理を行い、車両２０の停止時には対応関係更新処理を行う等）。

また、物体認識処理が認識対象とする物体の中には、光ビームを用いた場合は容易に検出できるものの、画像に基づく検出が困難な物体も含まれている。しかし、上述した物体認識処理では、画像上の光ビーム照射位置を認識対象物体に相当する画像部の位置に一致させるフィードバック制御（ステップ５８〜ステップ６８）を行っている期間に、光ビームの走査は行われずレーダ装置１２からの光ビームの射出方向はおよそ一定とされるので、上記期間に画像に基づく検出が困難な物体が検出範囲内に入ってきた場合、当該物体の検出が遅れる可能性がある。これを考慮すると、第２実施形態に係るレーダ装置１２の制御演算部についても先に説明した射出方向制御処理（図９）を行うことが望ましい。これにより、認識対象物体に光ビームが照射されるように光ビーム射出方向を調整するフィードバック制御を行っている間に、画像に基づく検出が困難な別の物体が検出範囲内に入ってきた場合にも、当該物体を早期に検出することができる。なお、上記の射出方向制御処理は、上記のフィードバック制御を行っている期間にのみ行うことに限られるものではなく、他の期間にも行ってもよいことは言うまでもない。なお、上記の射出方向制御処理は請求項４記載の発明に対応している。

〔第３実施形態〕
次に本発明の第３実施形態について説明する。なお、本第３実施形態についても第１実施形態及び第２実施形態と同一の構成であるので、各部分に同一の符号を付して構成の説明を省略し、以下本第３実施形態の作用を説明する。本第３実施形態に係る環境認識部１６は、図１０に示す対応関係更新処理を定期的に行う。なお、本第３実施形態に係る対応関係更新処理は車両２０の走行時及び停止時の何れのタイミングで行っても良い。また、本第３実施形態に係る対応関係更新処理は本発明に係る第２取得手段に相当する処理であり、本第３実施形態に係る対応関係更新処理を行う環境認識部１６は本発明に係る第２取得手段として機能する。

本第３実施形態に係る対応関係更新処理では、まずステップ９０において、撮像装置１４によって車両２０の前方を撮像させる。この撮像に伴って撮像装置１４から入力された画像データをメモリ等に一時記憶させると、次のステップ９２では、レーダ装置１２に対して光ビームの受光強度分布の計測を指示する。これにより、レーダ装置１２の制御演算部は、光源を断続的に発光させると共に、光源から射出された光ビームが所定の走査範囲内を順に走査するように偏向走査部による光ビームの偏向を制御する。また制御演算部は、受光器が光ビームを受光する毎に物体迄の距離を演算し、受光器によって検出された光ビームの受光強度を、光ビームの射出方向及び演算した物体迄の距離と共に環境認識部１６へ通知する。これにより、例として図１１(Ａ)にも示すように、光ビーム走査範囲内の全範囲について受光強度分布が計測され、受光強度分布の計測結果が環境認識部１６に通知されることになる。

次のステップ９４では、レーダ装置１２から通知された受光強度分布の計測結果に基づいて、まず光ビームの走査範囲内のうち、光ビームの受光強度が閾値以上となっている箇所を検出し、検出した箇所及びその周辺を含む領域を照合領域として選択する。例えば図１１(Ａ)に示すように、車両２０の前方に物体２２が存在していた場合、レーダ装置１２から射出された光ビームが物体２２で反射されたときの光ビームの受光強度が閾値以上となることで、例として図１１(Ｂ)に示すように、物体２２及びその周辺を含む領域が照合領域として選択されることになる。

次のステップ９６では、照合領域内における光ビームの受光強度分布を先のステップ９０の撮像によって得られた画像と照合し、照合領域内における光ビームの受光強度分布と合致する輝度変化が生じている領域を探索する。この照合・探索は、例えば照合領域内における光ビームの受光強度分布をテンプレートとして用い、画像に対してテンプレートマッチングによる探索処理を行う（図１１(Ｃ)も参照）ことで実現することができる。ステップ９６の照合・探索により、照合領域内における光ビームの受光強度分布と合致する輝度変化が生じている領域（対応領域）が画像から抽出されるとステップ９８へ移行し、抽出された対応領域（の例えば中心位置）の画像上での位置（第１検出手段による検出位置）を、照合領域内（の例えば中心位置）の受光強度を計測した際の光ビーム射出方向及び物体迄の距離（第２検出手段による検出位置）を対応付ける情報を、不揮発性記憶手段に既に記憶されている対応関係情報のうちの対応する情報（例えば光ビーム射出方向及び物体迄の距離が同一の情報）に上書きして不揮発性記憶手段に記憶させ（キャリブレーション）、対応関係更新処理を終了する。

本第３実施形態に係る対応関係更新処理についても、レーダ装置１２が物体を検出したときの光ビーム射出方向及び物体迄の距離が上記の値であった場合に、レーダ装置１２が検出した物体が撮像装置１４による撮像によって得られる画像上の何れの位置に位置するかを正確に認識できるように対応関係情報が更新されるので、対応関係情報の精度が向上する。そして、上記の対応関係更新処理は、車両走行時にも容易に実施することができ、車両２０の前方にスクリーンを設置する等の煩雑な作業を行う必要はないので、短い周期で頻繁に実施可能であり、上記の対応関係更新処理を短い周期で頻繁に実施することで、車両２０の走行時の振動等によって撮像装置１４やレーダ装置１２の取付位置、方向にずれが生じたとしても、上記の対応関係情報が適宜更新されることで、環境認識処理の認識精度・信頼性を常に高レベルに維持することができる。

なお、第３実施形態に係る対応関係更新処理では光ビームの受光強度分布を１回のみ計測していたが、これに限定されるものではなく、例えば光ビームを比較的高速で走査させて走査範囲の全範囲内における光ビームの受光強度分布を比較的粗く（比較的広い間隔で並ぶ個々の計測点毎に）計測し、得られた受光強度分布に基づいて照合領域を選択した後に、選択した照合領域内で光ビームを比較的低速で走査させて照合領域内の受光強度分布を比較的細かく（比較的狭い間隔で並ぶ個々の計測点毎に）再計測し、再計測した照合領域内の受光強度分布を用いて画像上の合致する領域の探索を行うようにしてもよい。

また、本第３実施形態に係る対応関係更新処理では、光ビーム走査範囲内の全範囲の光ビーム強度分布から単一の照合領域を選択していたが、これに限定されるものではなく、複数の照合領域を選択し、各照合領域について対応領域の照合・探索・対応関係情報の更新を行うようにすれば、対応関係情報の更新（精度向上）をより効率良く行うことができるので好ましい。

また、本第３実施形態に係る対応関係更新処理では、光ビームの走査範囲から、光ビームの受光強度が閾値以上となっている箇所及びその周辺を含む領域を照合領域として選択していたが、これに限定されるものではなく、照合領域の位置（及びサイズ）を予め設定しておき、設定した照合領域内における光ビームの受光強度分布と合致する輝度変化が生じている領域を画像上で探索するようにしてもよい。

更に、上記では本発明に係る環境認識装置を車両２０に搭載した態様を説明したが、これに限定されるものではなく、例えば工場等で利用されるロボットの動作を制御するための周囲環境の自動認識に適用する等、車両以外の分野にも適用可能であることは言うまでもない。

本実施形態に係る環境認識装置の概略構成を示すブロック図である。 レーダ装置から射出される光ビームの走査範囲及び撮像装置による撮像範囲の一例を各々示す平面図である。 第１実施形態に係る対応関係更新処理の内容を示すフローチャートである。 (Ａ)及び(Ｂ)は撮像装置によって撮像された画像の一例、(Ｃ)は差分画像の一例を各々示すイメージ図である。 第２実施形態に係る物体認識処理の内容を示すフローチャートである。 光ビームの走査範囲及び撮像装置による撮像範囲内に物体が存在している場合の一例を示す平面図である。 (Ａ)は撮像装置によって撮像された画像の一例、(Ｂ)は光ビーム射出方向の補正を説明するためのイメージ図である。 物体認識処理の他の例の内容を示すフローチャートである。 レーダ装置による射出方向制御処理の内容を示すフローチャートである。 第３実施形態に係る対応関係更新処理を示すフローチャートである。 (Ａ)は光ビームの走査、(Ｂ)は照合領域内の受光強度分布の一例、(Ｃ)は照合領域内の受光強度分布に合致する領域の探索を説明するためのイメージ図である。

符号の説明

１０ 環境認識装置
１２ レーダ装置
１４ 撮像装置
１６ 環境認識部
２０ 車両
２２ 物体

Claims (5)

1. 撮像手段による撮像によって得られた画像に基づいて物体を検出する第１検出手段と、
   光源からの光ビームの射出方向を制御し、かつ前記光源から射出され物体で反射された光ビームを検出することで、少なくとも前記物体との距離を検出する第２検出手段と、
   前記光源から光ビームが射出されていない状態で前記撮像手段が撮像を行うことで得られた第１画像と、前記光源から光ビームが射出されている状態で前記撮像手段が撮像を行うことで得られた第２画像と、の差分に相当する差分画像に基づいて画像上での光ビーム照射位置を検出し、検出した前記画像上での光ビーム照射位置に基づいて、前記第１検出手段による検出位置と前記第２検出手段による検出位置との対応関係を取得することを、光ビームの走査範囲内の複数の位置について各々行う第１取得手段と、
   を含む環境認識装置。
2. 前記第１取得手段は、前記光源から一定の射出方向へ光ビームが射出されている状態で前記撮像手段が撮像を行うことで得られた画像に基づいて、前記第１検出手段による検出位置と、前記第２検出手段による検出位置としての光ビームの射出方向と、の対応関係を取得することを特徴とする請求項１記載の環境認識装置。
3. 前記第１取得手段によって取得された前記対応関係を記憶する記憶手段を更に備え、
   前記第１取得手段は、検出した前記画像上での光ビーム照射位置と、前記記憶手段に記憶されている対応関係において前記一定の射出方向と対応付けられている第１検出手段による検出位置に相当する画像上での光ビーム照射位置と、のずれを検知して、前記記憶手段に記憶されている前記対応関係を補正することを特徴とする請求項２記載の環境認識装置。
4. 前記第２検出手段は、前記撮像手段が前記対応関係の取得のための画像を撮像する期間には前記光源から前記一定の射出方向へ光ビームが射出され、前記期間以外の期間には前記光源から射出された光ビームによって検出範囲全体が順次走査されるように、前記光源からの光ビームの射出方向を制御することを特徴とする請求項２又は請求項３記載の環境認識装置。
5. 撮像手段による撮像によって得られた画像に基づいて物体を検出する第１検出手段と、
   光源からの光ビームの射出方向を制御し、かつ前記光源から射出され物体で反射された光ビームを検出することで、少なくとも前記物体との距離を検出する第２検出手段と、
   前記第２検出手段が、前記光源から射出される光ビームによって検出範囲内を順次走査させると共に反射された光ビームの受光強度を順次検出することで計測された受光強度の分布を、前記撮像手段による撮像によって得られた画像の輝度分布と照合することで、前記第１検出手段による検出位置と前記第２検出手段による検出位置との対応関係を取得する第２取得手段と、
   を含む環境認識装置。

Images