JP4496383B2 - 車両周辺監視装置、車両周辺監視方法、車両周辺監視プログラム - Google Patents

Description

本発明は、車両に搭載されている赤外線撮像装置を通じて得られた画像を用いて車両の周辺を監視する装置等に関する。

車載の赤外線カメラにより撮像された車両周辺の画像に基づき、当該車両と接触する可能性がある歩行者等、対象物の存在を設定するための技術が提案されている（たとえば、特許文献１参照）。
特開２００１−６０９６号公報

しかし、赤外線画像がＡ／Ｄ変換されることにより得られるグレースケール画像において歩行者の輝度と、歩行者の背景にある建造物の輝度とが近接または重複するため、当該歩行者の存在を認識することが困難となる場合がある。

そこで、本発明は、車載の赤外線撮像装置を通じて得られた画像において、歩行者等の対象物とその背景にある建造物等とを識別し、当該対象物の存在を高精度で検知することができる装置等を提供することを解決課題とする。

前記課題を解決するための第１発明の車両周辺監視装置は、車両に搭載されている赤外線撮像装置を通じて得られた画像を用いて車両の周辺を監視する装置であって、前記赤外線撮像装置により撮像された赤外線画像を、第１輝度範囲を対象としてＡ／Ｄ変換することにより第１グレースケール画像を生成し、前記赤外線撮像装置により撮像された赤外線画像を、該第１輝度範囲の一部である第２輝度範囲を対象としてＡ／Ｄ変換することにより第２グレースケール画像を生成し、かつ、前記車両に搭載されている温度測定装置による測定温度に基づき、該第１および該第２グレースケール画像のうち１つを選択する第１処理部と、該第１処理部により選択されたグレースケール画像を２値化処理することにより２値化画像を生成し、該２値化画像から対象物を抽出する第２処理部とを備えていることを特徴とする。

第１発明の車両周辺監視装置によれば、外気温度または車外温度の高低に応じて人間等の対象物および建造物等のその他の物体のそれぞれの表面温度および輝度が変動するという事情に鑑みて、適当なグレースケール画像が選択されうる。したがって、当該選択グレースケール画像が２値化処理されることにより、外気温度の高低の影響を軽減または排除しながら対象物およびこれ以外の物体を識別する観点から適当な２値化画像が選択される。これにより、当該２値化画像から対象物が高精度で抽出されうる。

また、第２発明の車両周辺監視装置は、第１発明の車両周辺監視装置において、前記第１処理部が、前記輝度範囲の下限値よりも高く設定されている前記第２輝度範囲を対象としてＡ／Ｄ変換することにより前記第２グレースケール画像を生成し、前記温度測定装置による測定温度が所定温度以上であることを要件として該第２グレースケール画像を選択することを特徴とする。

第２発明の車両周辺監視装置によれば、外気温度に鑑みて対象物およびその他の物体のそれぞれの輝度範囲が重なって両者の識別が困難となるような状況において、対象輝度範囲の下限値が高いＡ／Ｄ変換処理結果としての第２グレースケール画像が選択される。したがって、この状況において第２グレースケール画像が２値化処理されることにより、外気温度の高低の影響を軽減または排除しながら対象物およびこれ以外の物体を識別する観点から適当な２値化画像が生成される。これにより、当該２値化画像から対象物が高精度で抽出されうる。

さらに、第３発明の車両周辺監視装置は、第１発明の車両周辺監視装置において、前記第１処理部が、前記温度測定装置による測定温度が高くなるほど、前記第２輝度範囲の下限値を連続的または断続的に高くなるように設定することを特徴とする。

第３発明の車両周辺監視装置によれば、外気温度の高低に鑑みて適当な第２輝度範囲が可変的に設定されうる。これにより、温度の影響を軽減または排除しながら対象物およびこれ以外の物体を識別する観点から適当なＡ／Ｄ変換結果としてのグレースケール画像が得られる。そして、グレースケール画像が２値化されることにより、当該２値化画像における対象物の認識精度の向上を図ることができる。

また、第４発明の車両周辺監視装置は、第１発明の車両周辺監視装置において、前記第１処理部が前記車両に搭載されている画像表示装置に前記第１グレースケール画像を定常的に表示させることを特徴とする。

第４発明の車両周辺監視装置によれば、第１グレースケール画像が車載の画像表示装置に定常的に表示される。すなわち、第１および第２スケール画像が切り替え表示されない。また、第２輝度範囲の変更にともなって変動する第２グレースケール画像は表示されない。このため、画像表示装置が視野にある運転手等の車両の乗員に、当該画像切り替え等によって違和感を覚えさせる事態が回避されうる。

さらに、第５発明の車両周辺監視装置は、第１発明の車両周辺監視装置において、前記車両と前記対象物抽出処理部により抽出された前記対象物との接触可能性の高低を判定する接触可能性判定処理部と、該接触可能性判定処理部により該接触可能性が高いと判定されたことを要件として、該対象物の存在を強調する画像を前記車両に搭載されている画像表示装置に表示させる第２画像表示処理部とを備えていることを特徴とする。

第５発明の車両周辺監視装置によれば、前記のように外気温度が考慮されて対象物が高精度で抽出されるので、車両と対象物との接触可能性の高低が高精度で判定され、当該判定結果に基づいて対象物の存在が適宜強調される。これにより、対象物の存在を乗員に確実に認識させ、車両の減速や進行方向調節等、車両と対象物との接触回避のために必要な処置を運転手にとらせることができる。

前記課題を解決するための第６発明は、車両に搭載されている赤外線撮像装置を通じて得られた画像を用いて車両の周辺を監視する方法であって、第１発明の車両周辺監視装置と同様の処理を実行することを特徴とする。

第６発明の方法によれば、外気温度の高低の影響を軽減または排除しながら対象物およびこれ以外の物体を識別する観点から適当な２値化画像が選択される。これにより、当該２値化画像から対象物が高精度で抽出されうる。

前記課題を解決するための第７発明のプログラムは、車両に搭載されているコンピュータを、該車両に搭載されている赤外線撮像装置を通じて得られた画像を用いて車両の周辺を監視する、第１発明の車両周辺監視装置として機能させることを特徴とする。

第７発明のプログラムによれば、外気温度の高低の影響を軽減または排除しながら対象物およびこれ以外の物体を識別する観点から適当な２値化画像が選択されるように車載コンピュータを機能させることができる。これにより、当該２値化画像から対象物が高精度で抽出されうる。

本発明の車両周辺監視装置等の実施形態について図面を用いて説明する。

図１に示されている車両１には、車両周辺監視装置１０と、車両１の前方部において車幅方向中央部にほぼ対称に配置された一対の赤外線カメラ（撮像装置）１０２と、フロントウィンドウにおいて運転者の視界を妨げないように配置されたＨＵＤ１１０とが搭載されている。また、図２に示されているように車両１には、ヨーレートセンサ１０４、速度センサ１０６、温度センサ１０８等の種々のセンサが搭載されている。

車両周辺監視装置１０は車載の赤外線カメラ１０２により得られた画像に基づいて車両の周辺を監視する装置である。車両周辺監視装置１０は、車両１に搭載されたハードウェアとしてのＥＣＵまたはコンピュータ（ＣＰＵ，ＲＯＭ，ＲＡＭ，Ｉ／Ｏ等により構成されている。）と、メモリに格納され、当該コンピュータに諸機能を付与するソフトウェアとしての本発明の車両周辺監視プログラムとにより構成されている。なお、車両周辺監視プログラムは最初から車載コンピュータのメモリ（ＲＯＭ）に格納されていてもよい。図示しないが、車載コンピュータからのリクエストがあったとき等の任意のタイミングでこのプログラムの一部または全部がサーバからネットワークや衛星を介して当該車載コンピュータに配信または放送され、そのメモリ（ＲＡＭ）等に格納されてもよい。車両周辺監視装置１０は一のＥＣＵにより構成されていてもよいが、分散制御システムを構成する複数のＥＣＵにより構成されていてもよい。

車両周辺監視装置１０は図２に示されているように、第１処理部１１と、第２処理部１２と、第３処理部１３とを備えている。

第１処理部１１は赤外線カメラ１０２により撮像された赤外線画像を、第１輝度範囲を対象としてＡ／Ｄ変換することにより第１グレースケール画像を生成する。また、第１処理部１１は赤外線カメラ１０２により撮像された赤外線画像を、第１輝度範囲の一部である第２輝度範囲を対象としてＡ／Ｄ変換することにより第２グレースケール画像を生成する。さらに、第１処理部１１は温度センサ１０８の出力による測定温度に基づき、当該第１および該第２グレースケール画像のうち１つを選択する。また、第１処理部１１はＨＵＤ１１０に第１グレースケール画像を定常的に表示させる。

第２処理部１２は第１処理部１１により選択されたグレースケール画像を２値化処理することにより２値化画像を生成する。また、第２処理部１２は当該２値化画像から対象物を抽出する。

第３処理部１３は車両１と第２処理部１２により抽出された対象物との接触可能性の高低を判定する。また、第３処理部１３は当該接触可能性が高いと判定されたことを要件として、当該対象物の存在を強調する画像をＨＵＤ１１０に表示させる。

前記構成の車両１および車両周辺監視装置１０の機能について説明する。

一対の赤外線カメラ１０２により撮像された、図５に示されているような部分を含む赤外線画像が第１処理部１１に入力される（図３／Ｓ００２）。図５において破線は歩行者の輪郭を表している。これに応じて、第１処理部１１が赤外線画像を、当該画像を構成する１ライン（横方向の画素ライン）ごとに図４（ａ）に示されているような第１輝度範囲（＝輝度信号の電圧範囲により特定される。）を対象としてＡ／Ｄ変換することにより第１グレースケール画像を生成する（図３／Ｓ００４）。第１グレースケール画像はＨＵＤ１１０に定常的に表示される。また、第１処理部１１が赤外線画像を、当該画像を構成する１ラインごとに図４（ｂ）に示されているように第１輝度範囲よりも下限値（基底レベル）が高い第２輝度範囲を対象としてＡ／Ｄ変換することで第２グレースケール画像を生成する（図３／Ｓ００６）。

さらに、第１処理部１１は温度センサ１０８の出力に基づき、外気温度Ｔを測定する（図３／Ｓ００８）。また、第１処理部１１は測定外気温度Ｔが所定温度Ｔ₀未満か否かを判定する（図３／Ｓ０１０）。

そして、第１処理部１１は測定外気温度Ｔが所定温度Ｔ₀未満であると判定した場合（図３／Ｓ０１０‥ＹＥＳ）、第１および第２グレースケール画像のうち第１グレースケール画像を選択する（図３／Ｓ０１２）。一方、第１処理部１１は測定外気温度Ｔが所定温度Ｔ₀以上であると判定した場合（図３／Ｓ０１０‥ＮＯ）、第１および第２グレースケール画像のうち第２グレースケール画像を選択する（図３／Ｓ０１４）。

続いて、第２処理部１２は第１処理部１１により選択されたグレースケール画像を２値化処理することにより２値化画像を生成する（図３／Ｓ０１６）。また、第２処理部１２は２値化画像から対象物を抽出する（図３／Ｓ０１８）。対象物の抽出方法については前記特許文献１等に説明されているのでここでは説明を省略する。

次に、第３処理部１３が第２処理部１２により抽出された対象物の実空間位置を一対の赤外線カメラ１０２の視差を利用して逐次測定する（図３／Ｓ０２０）。実空間位置とは、図１に示されているように一対の赤外線カメラ１０２の取り付け位置の中点を原点Ｏとし、水平方向、鉛直方向および前後方向をそれぞれＸ、ＹおよびＺ軸とする座標系における位置を意味する。この際、ヨーレートセンサ１０４および速度センサ１０６のそれぞれの出力に基づき、車両１の回頭による画像における位置ずれが補正される。回頭補正された実空間における測定位置はメモリに格納される。実空間位置の測定方法および回頭角補正方法はたとえば前記特許文献１において説明されているので本願明細書では説明を省略する。

また、第３処理部１３は車両１と対象物との接触可能性の高低を判定する（図３／Ｓ０２２）。具体的には、人間であると識別された対象物の時系列的な測定位置がメモリから読み取られ、当該読み取りデータに基づいて車両１を基準とした対象物の相対速度（大きさおよび向きを含む。）ｖ_sが算出される。そして、当該相対速度ｖ_sに鑑みて対象物が車両１の前方に設定された所定領域に侵入してくることが予測される場合、この対象物と車両１とが接触する可能性が高いと判定される。当該所定領域の設定方法については前記特許文献１に一例が詳説されているので説明を省略する。

そして、第３処理部１３は車両１と対象物とが接触する可能性が高いと判定した場合（図３／Ｓ０２２‥ＹＥＳ）、たとえば対象物を囲む橙色のフレーム等、当該対象物の存在を強調するための画像をＨＵＤ１１０に表示させる（図３／Ｓ０２４）。この際、「ピッピッピッ」等の音声がスピーカ（図示略）から出力されてもよい。一方、第３処理部１３は車両１と対象物とが接触する可能性が低いと判定された場合（図３／Ｓ０２２‥ＮＯ）、前記のような処理を省略する。その後、前述した一連の処理が繰り返される。

前記機能を発揮する本発明の車両周辺監視装置１０によれば、外気温度Ｔの高低に応じて人間等の対象物および建造物等のその他の物体のそれぞれの表面温度および輝度が変動するという事情に鑑みて、適当なグレースケール画像が選択されうる。たとえば外気温度Ｔが比較的高いため、第１グレースケール画像が２値化処理されることにより、図６（ａ）に示されているような２値化画像が生成されるような場合を考える。この場合、図７（ａ）に示されているように２値化画像における輝度ヒストグラムにおいて、対象物Ｑに該当する輝度分布（斜線部分）と、背景にある建造物に該当する輝度分布（一点鎖線部分）とが重複している。このため、図６（ａ）に破線で示されている対象物（歩行者）Ｑを表す、斜線で示されている高輝度領域の形状特性（頭部および肩の相対位置関係など）が不明確となり、当該対象物Ｑが抽出されない。

一方、第２グレースケール画像が２値化処理されることにより、図６（ｂ）に示されているような２値化画像が生成される。この場合、図７（ｂ）に示されているように２値化画像における輝度ヒストグラムにおいて、対象物Ｑに該当する輝度分布（斜線部分）と、背景にある建造物に該当する輝度分布（一点鎖線部分）とが部分的に分離されている。これは、図７（ａ）に示されているように、第１Ａ／Ｄ変換処理の対象となる第１輝度範囲でのＡ／Ｄ変換の場合、対象物Ｑに該当する輝度値と背景にある建造物等に該当する輝度値とが近接している場合に、本来は異なる輝度値であっても同一の輝度値であるとみなされてしまうことがあるが、第２Ａ／Ｄ変換処理の対象となる第２輝度範囲の下限値が、第１Ａ／Ｄ変換処理の対象となる第１輝度範囲の下限値よりも高く設定されていることにより、図７（ｂ）に示されているように本来異なる輝度値を異なる輝度値として分離できるため、対象物Ｑとその他の物体との識別が図られるからである（図４（ａ）（ｂ）参照）。このため、図６（ｂ）に破線で示されている対象物（歩行者）Ｑを表す、破線で示されている対象物Ｑの高輝度領域の形状特性が明確になるので、当該対象物Ｑが確実に抽出されうる。

したがって、当該選択グレースケール画像が２値化処理されることにより、外気温度Ｔの高低の影響を軽減または排除しながら対象物およびこれ以外の物体を識別する観点から適当な２値化画像が選択される。これにより、当該２値化画像から対象物が高精度で抽出されうる。

また、第１グレースケール画像が車載のＨＵＤ１１０に定常的に表示される。すなわち、第１および第２スケール画像が切り替え表示されない。また、第２輝度範囲の変更にともなって変動する第２グレースケール画像は表示されない。このため、ＨＵＤ１１０が視野にある運転手等の車両の乗員に、当該画像切り替え等によって違和感を覚えさせる事態が回避されうる。

さらに、前記のように外気温度Ｔが考慮されて対象物が高精度で抽出されるので、車両１と対象物との接触可能性の高低が高精度で判定され、さらには当該判定結果に応じて対象物を強調する画像がＨＵＤ１１０に表示される（図３／Ｓ０２２，Ｓ０２４参照）。これにより、対象物の存在を乗員に確実に認識させ、車両の減速や進行方向調節等、車両と対象物との接触回避のために必要な処置を運転手にとらせることができる。

なお、前記実施形態では車両１に一対の赤外線カメラ１０２が搭載され、当該一対の赤外線カメラ１０２を通じて赤外線画像が撮像され、当該一対の赤外線カメラ１０２の視差を利用して対象物の実空間位置が測定された。他の実施形態として車両１に１つの赤外線カメラ１０２とレーダや超音波式の測距システムとが搭載され、当該１つの赤外線カメラ１０２を通じて赤外線画像が撮像され、当該測距システムにより対象物の実空間位置または車両１からの距離が測定されてもよい。

第１処理部１１が、測定外気温度Ｔが所定温度Ｔ₀を超えて高くなるほど、第２輝度範囲の下限値（基底レベル）を連続的または断続的に高くなるように設定してもよい。これにより、外気温度の高低に鑑みて適当な第２輝度範囲が可変的に設定されうる。また、温度の影響を軽減または排除しながら対象物およびこれ以外の物体を識別する観点から適当なＡ／Ｄ変換結果としてのグレースケール画像が得られる。そして、グレースケール画像が２値化されることにより、当該２値化画像における対象物の認識精度の向上を図ることができる。

前記実施形態では車両１と対象物との接触可能性の評価に基づきこの対象物の存在を示す画像がＨＵＤ１１０に表示されたが、他の実施形態として当該接触可能性の評価に基づき、車両１の挙動またはステアリングシステムやブレーキシステム等の車載機器の動作が制御されてもよい。当該構成の車両周辺監視装置１０によれば、車両１と前記のように高精度で識別された対象物との接触可能性に基づいて車載機器が制御され、これにより車両１と対象物との接触を回避する観点から、車両１の減速や操舵等、その挙動が適当に制御されうる。

前記実施形態では２つのグレースケール画像が生成され、測定外気温度Ｔに応じてそのうち１つのグレースケール画像が選択されたが（図３／Ｓ００４，Ｓ００６，Ｓ０１０参照）、他の実施形態として３つ以上のグレースケール画像が生成され、測定外気温度Ｔに応じてそのうち１つのグレースケール画像が選択されてもよい。

本発明の車両周辺監視装置の構成説明図 本発明の車両周辺監視装置の構成説明図 本発明の車両周辺監視装置の機能説明図 本発明の車両周辺監視装置の機能説明図 本発明の車両周辺監視装置の機能説明図 本発明の車両周辺監視装置の機能説明図 本発明の車両周辺監視装置の機能説明図

符号の説明

１‥車両、１０‥車両周辺監視装置、１１０‥第１処理部、１２‥第２処理部、１３‥第３処理部、１０２‥赤外線カメラ（撮像装置）、１０８‥温度センサ、１１０‥ＨＵＤ（画像表示装置）

Claims (7)

1. 車両に搭載されている赤外線撮像装置を通じて得られた画像を用いて車両の周辺を監視する装置であって、
   前記赤外線撮像装置により撮像された赤外線画像を、第１輝度範囲を対象としてＡ／Ｄ変換することにより第１グレースケール画像を生成し、前記赤外線撮像装置により撮像された赤外線画像を、該第１輝度範囲の一部である第２輝度範囲を対象としてＡ／Ｄ変換することにより第２グレースケール画像を生成し、かつ、前記車両に搭載されている温度測定装置による測定温度に基づき、該第１および該第２グレースケール画像のうち１つを選択する第１処理部と、
   該第１処理部により選択されたグレースケール画像を２値化処理することにより２値化画像を生成し、該２値化画像から対象物を抽出する第２処理部とを備えていることを特徴とする車両周辺監視装置。
2. 請求項１記載の車両周辺監視装置において、
   前記第１処理部が、前記輝度範囲の下限値よりも高く設定されている前記第２輝度範囲を対象としてＡ／Ｄ変換することにより前記第２グレースケール画像を生成し、前記温度測定装置による測定温度が所定温度以上であることを要件として該第２グレースケール画像を選択することを特徴とする車両周辺監視装置。
3. 請求項１記載の車両周辺監視装置において、
   前記第１処理部が、前記温度測定装置による測定温度が高くなるほど、前記第２輝度範囲の下限値を連続的または断続的に高くなるように設定することを特徴とする車両周辺監視装置。
4. 請求項１記載の車両周辺監視装置において、
   前記第１処理部が前記車両に搭載されている画像表示装置に前記第１グレースケール画像を定常的に表示させることを特徴とする車両周辺監視装置。
5. 請求項１記載の車両周辺監視装置において、
   前記車両と前記対象物抽出処理部により抽出された前記対象物との接触可能性の高低を判定し、該接触可能性が高いと判定されたことを要件として、該対象物の存在を強調する画像を前記車両に搭載されている画像表示装置に表示させる第３処理部とを備えていることを特徴とする車両周辺監視装置。
6. 車両に搭載されている赤外線撮像装置を通じて得られた画像を用いて車両の周辺を監視する方法であって、
   前記赤外線撮像装置により撮像された赤外線画像を、第１輝度範囲を対象としてＡ／Ｄ変換することにより第１グレースケール画像を生成し、前記赤外線撮像装置により撮像された赤外線画像を、該第１輝度範囲の一部である第２輝度範囲を対象としてＡ／Ｄ変換することにより第２グレースケール画像を生成し、前記車両に搭載されている温度測定装置による測定温度に基づき、該第１および該第２グレースケール画像のうち１つを選択する第１処理と、
   該画像選択処理において選択されたグレースケール画像を２値化処理することにより２値化画像を生成し、該２値化画像から対象物を抽出する第２処理とを実行することを特徴とする車両周辺監視方法。
7. 車両に搭載されているコンピュータを、該車両に搭載されている赤外線撮像装置を通じて得られた画像を用いて車両の周辺を監視する装置として機能させるプログラムであって、
   前記赤外線撮像装置により撮像された赤外線画像を、第１輝度範囲を対象としてＡ／Ｄ変換することにより第１グレースケール画像を生成し、前記赤外線撮像装置により撮像された赤外線画像を、該第１輝度範囲の一部である第２輝度範囲を対象としてＡ／Ｄ変換することにより第２グレースケール画像を生成し、かつ、前記車両に搭載されている温度測定装置による測定温度に基づき、該第１および該第２グレースケール画像のうち１つを選択する第１処理部と、
   該第１処理部により選択されたグレースケール画像を２値化処理することにより２値化画像を生成し、該２値化画像から対象物を抽出する第２処理部とを備えている前記装置として前記コンピュータを機能させることを特徴とする車両周辺監視プログラム。

Images