JP4937243B2 - 車両の周辺監視装置 - Google Patents

Description

この発明は、赤外線カメラによって得られる撮像画像を用いて車両の周辺を監視するための装置に関する。

従来、赤外線カメラを車両に搭載し、該カメラにより撮像された車両周辺の撮像画像を２値化して、歩行者や動物等の高温の対象物を抽出する装置が提案されている。下記の特許文献１では、赤外線カメラを用いて得られた撮像画像の輝度値ヒストグラムを作成し、該輝度値ヒストグラムに基づいて、背景画像と対象物画像とに二分する閾値を決定する手法が提案されている。このような閾値を用いた２値化処理により、高温対象物を背景と区別して抽出する。
特開２００３−２１６９４９号公報

車両の周辺には、歩行者や動物等の生体の他に、自動車、電光の看板、電柱、および壁等の人工物が様々に存在しうる。歩行者や動物等の生体を、高温の対象物として背景から分離して抽出するためには、２値化処理において、このような人工物は背景に分類されるのが望ましい。しかしながら、人工物の種類やその配置、および周辺の温度等の車両の周辺環境に依存して、人工物は、それ以外の背景部分よりも高温なことがあり、結果として、上記のような従来の手法を採用しても、人工物を高温対象物として分類してしまうおそれがある。このように、従来の手法では、所望の対象物のみを抽出することは困難であった。

したがって、車両の周辺環境に依存することなく、所望の対象物を、より良好な精度で、背景だけでなく、該所望の対象物以外の対象物から分離して抽出することのできる手法が望まれている。

この発明の一つの側面によると、車両に搭載された赤外線カメラを用いて車両の周辺を監視する車両周辺監視装置は、赤外線カメラによる撮像を介して、対象物の温度に応じた輝度値を有する第１のグレースケール画像を取得する手段と、第１のグレースケール画像において、所望の対象物について予め推定された温度に対応する輝度値を持つ領域を、対象物領域として特定する特定手段と、第１のグレースケール画像に基づいて、背景に対する対象物の温度差に応じた輝度値を有する第２のグレースケール画像を生成する手段と、第２のグレースケール画像を所定の閾値によって２値化し、第２の画像を生成する手段と、第２の画像において、特定された対象物領域に対応する位置にある領域から、該所望の対象物を抽出する対象物抽出手段と、を備える。

この発明によると、第１のグレースケール画像は、対象物の温度に応じた輝度値を有するので、所望の対象物について予め推定された温度に対応する輝度値を持つ領域を対象物領域として特定することにより、該所望の対象物が存在する領域を、該推定された温度とは異なる温度を有する他の対象物から分離して抽出することができる。他方、第２のグレースケール画像は、背景に対する対象物の温度差に応じた輝度値を持つので、第２のグレースケール画像を２値化して第２の画像を生成することにより、該所望の対象物を、背景から分離して抽出することができる。したがって、第１のグレースケール画像からの対象物領域と、第２のグレースケール画像からの２値画像（第２の画像）との両方を用いることにより、該所望の対象物のみを、それ以外の対象物および背景から、より良好な精度で抽出することができる。

また、第１および第２のグレースケール画像の両方を用いるけれども、第２のグレースケール画像は第１のグレースケール画像から生成されることができるので、元となるグレースケール画像は１種類（第１のグレースケール画像）のみでよく、よって、対象物を抽出する装置の構成を簡略にすることができる。

この発明の一実施形態によると、上記特定手段は、所望の対象物について推定された温度に対応する輝度値を持つ領域を抽出するよう第１のグレースケール画像を２値化して、第１の画像を生成し、上記対象物抽出手段は、第１の画像と前記第２の画像との論理積を演算することにより、該所望の対象物を抽出する。

この発明によれば、第１の画像は、所望の対象物が存在する領域が、他の対象物から分離して抽出された２値画像である。他方、第２の画像は、前述したように、所望の対象物が、背景から分離して抽出された２値画像である。したがって、第１の画像と第２の画像の論理積を演算することにより、所望の対象物のみが抽出された画像を得ることができる。

この発明の一実施形態によると、さらに、上記対象物抽出手段は、第２の画像において、上記特定された対象物領域に対応する位置にある領域に対して形状判定を行うことにより、該所望の対象物を抽出する。一実施形態では、該形状判定は、テンプレートを用いたパターンマッチングにより行う。

この発明によれば、対象物が存在しうる領域が第２の画像において特定されるので、該領域に対してのみ、パターンマッチングなどの形状判定処理を実行することにより、該領域に撮像されている対象物が、所望の対象物かどうかを認識することができる。所望の対象物を抽出するのに、第２の画像において抽出されているすべての対象物に対して形状判定処理を行う必要はない。

この発明の一実施形態によると、車両の外気温を検出する手段を備え、外気温に基づいて、前記所望の対象物の温度を推定する手段を備える。こうして、外気温から、所望の対象物の温度を推定することができるので、第１のグレースケール画像において、該所望の対象物が存在する位置を、より良好な精度で見極めることができる。

本発明のその他の特徴及び利点については、以下の詳細な説明から明らかである。

次に図面を参照してこの発明の実施の形態を説明する。

図１は、この発明の一実施形態に従う、車両の周辺監視装置の構成を示すブロック図である。該装置は、車両に搭載され、遠赤外線を検出可能な２つの赤外線カメラ１Ｒおよび１Ｌと、車両周辺の外気の温度（外気温）を検出するセンサ５と、カメラ１Ｒおよび１Ｌによって得られる画像データに基づいて車両前方の対象物を検出するための画像処理ユニット２と、該検出結果に基づいて音声で警報を発生するスピーカ３と、カメラ１Ｒまたは１Ｌによって得られる画像を表示すると共に、運転者に車両前方の対象物を認識させるための表示を行うヘッドアップディスプレイ（以下、ＨＵＤと呼ぶ）４とを備えている。

図２に示すように、カメラ１Ｒおよび１Ｌは、車両１０の前部に、車幅の中心を通る中心軸に対して対称な位置に配置されている。２つのカメラ１Ｒおよび１Ｌは、両者の光軸が互いに平行となり、両者の路面からの高さが等しくなるように車両に固定されている。赤外線カメラ１Ｒおよび１Ｌは、撮像される対象物の温度（これは、検出される遠赤外線の量に応じる）が高いほど、その出力信号のレベルが高くなる、すなわち撮像画像における輝度値が大きくなる特性を有している。

画像処理ユニット２は、入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路、デジタル化した画像信号を記憶する画像メモリ、各種演算処理を行う中央演算処理装置（ＣＰＵ）、ＣＰＵが演算に際してデータを記憶するのに使用するＲＡＭ（ランダムアクセスメモリ）、ＣＰＵが実行するプログラムおよび用いるデータ（テーブル、マップを含む）を記憶するＲＯＭ（リードオンリーメモリ）、スピーカ３に対する駆動信号およびＨＵＤ４に対する表示信号などを出力する出力回路を備えている。カメラ１Ｒおよび１Ｌの出力信号およびセンサ５の出力信号は、デジタル信号に変換されてＣＰＵに入力されるよう構成されている。ＨＵＤ４は、図２に示すように、車両１０のフロントウィンドウの、運転者の前方位置に画面４ａが表示されるように設けられている。こうして、運転者は、ＨＵＤ４に表示される画面を視認することができる。

ここで、図３を参照して、本願発明で用いる２種類のグレースケール画像について説明する。図３（ａ）の上段は、撮像された対象物の温度に応じた輝度値を有する第１のグレースケール画像を示す。中断は、符号Ｌ１で示される画素行に沿った輝度値の推移を示している。下段は、温度と輝度値の関係を示し、上段の第１のグレースケール画像は、この関係に基づいて生成されている。

下段に示すように、輝度値は温度に対して比例関係を有しており、温度の値が決まれば、輝度値が一意に決定されるよう、両者の関係は予め設定されている。温度が高くなるほど、輝度値は高くなる。たとえば、この関係に従って、温度Ａに対して輝度値ａが割り当てられており、また、温度Ｂに対して輝度値ｂが割り当てられている場合、或る状況下において背景の温度がＡであれば、背景には輝度値ａが割り当てられ、他の状況下において背景の温度がＢであれば、背景には輝度値ｂが割り当てられる。このことは、背景以外の対象物についても同様である。

この実施例では、赤外線カメラ１Ｒ，１Ｌが、温度に応じた信号を出力するよう構成されており、この出力信号をＡＤ変換することによって得られるグレースケール画像が、第１のグレースケール画像に対応する。なお、この実施例では、温度と輝度値の間は比例関係であるが、温度の値に対して輝度値が一意に決定されるのであれば、必ずしも比例関係でなくてもよい。

図３（ａ）の中段にも示されるように、背景の温度と、人工物や生体のような対象物の温度との間の差が小さい場合、第１のグレースケール画像では、背景および対象物は、ほぼ同様の輝度値を持つ画像となる。このような場合、第１のグレースケール画像では、対象物を、背景と分離して抽出することは困難である。

他方、図３（ｂ）を参照すると、上段は、撮像された背景の温度に対して、対象物の温度の差に応じた輝度値を持つ第２のグレースケール画像を示す。中段は、符号Ｌ１で示される画素行に沿った輝度値の推移を示している。下段は、温度差と輝度値の関係を示しており、第２のグレースケール画像は、この関係に基づいて生成されている。ここで、原点Ｏは、（背景の温度，背景の輝度値）を表している。横軸の「温度差」は、該背景の温度に対する温度差を示す。背景の温度には、その温度の値に関係なく一定の輝度値である背景輝度値が割り当てられる。温度差が高くなるほど、輝度値は高くなる。

下段に示すように、輝度値は温度差に対して比例関係を有しており、温度差の値が決まれば、輝度値が一意に決定されるよう、両者の関係は予め設定されている。たとえば、或る状況下では背景の温度がＡであり、他の状況下では背景の温度がＢである場合、どちらの場合でも、背景の画像領域には一定の背景輝度値ｃが割り当てられる。また、該或る状況下での対象物の温度が（Ａ＋ｘ）であり、該他の状況下での対象物の温度が（Ｂ＋ｘ）である場合、どちらの場合でも、対象物の画像領域には、温度差ｘに応じた同じ輝度値ｄが割り当てられる。

この実施例では、背景温度に対する温度差に対し、輝度値は比例関係を有しているが、該温度差の値に対して輝度値が一意に決定されるのであれば、必ずしも比例関係でなくてもよい。

第２のグレースケール画像は、第１のグレースケール画像に基づいて生成されることができる。ここで、背景に対する温度差を求めるためには、背景の温度が必要とされる。背景の温度は、任意の適切な方法で決定されることができる。たとえば、第１のグレースケール画像の輝度値ヒストグラムにおいて最も度数の高い輝度値に対応する温度を、背景の温度とすることができ、これに、所定の背景輝度値を割り当てる。第１のグレースケール画像の各画素について、背景の温度に対する温度差を求め、図３（ｂ）の下段に示す関係にしたがって、該温度差に応じた輝度値を割り当てることにより、第２のグレースケール画像を生成することができる。

代替的に、周知のフィルタ処理を用いて第２のグレースケール画像を生成してもよい。たとえば、画像をぼかすのに用いられるガウス（ぼかし）フィルタおよびエッジを強調するのに用いられるハイパスフィルタの組み合わせを用いて画像の鮮鋭化処理(sharpening)を第１のグレースケール画像に適用することにより、第２のグレースケール画像を生成することができる。

第２のグレースケール画像では、背景に対する対象物の温度差に応じて輝度値を割り当てるので、図３（ｂ）の中段に示すように、背景の輝度値に対する対象物の輝度値の差を大きくすることができる。したがって、第２のグレースケール画像では、より容易に、背景と分離して、生体や人工物等の対象物を抽出することができる。

従来は、第２のグレースケール画像を所定の閾値で２値化し、背景領域と対象物領域とを分離していた。上で述べたように、第２のグレースケール画像では、背景に対する温度差に応じて輝度値が割り当てられるので、背景以外の対象物部分を、該対象物の形状を維持しつつ、背景から良好に抽出することができる。しかしながら、このように抽出される対象物には、生体の他に、車両や電光看板などの対象物が含まれることがある。特に、熱源を有する人工物は、高温対象物として抽出されやすい。生体と人工物とを区別するために、２値化された画像にパターンマッチング等を適用して対象物の形状を判定することにより、抽出された対象物が歩行者なのか、動物なのか、人工物なのか、等の判定を行っていた。２値化された画像において、抽出された対象物の数が多いほど、すべての対象物に、候補となる対象物の形状のテンプレートを用いてパターンマッチングを行うので、計算上の負荷が増大するおそれがあった。このように、第２のグレースケール画像のみを用いて、計算上の負荷を抑制しつつ、所望の対象物のみを、それ以外の対象物から分離して抽出することは困難であった。

他方、第１のグレースケール画像では、背景に対する温度差とは関係なく、撮像される対象物（背景を含む）の温度そのものに対して一意に決まる輝度値が割り当てられている。抽出すべき所望の対象物の温度を推定することができれば、第１のグレースケール画像において、該所望の対象物が存在している領域（対象物領域と呼ぶ）を、該推定された温度と異なる温度を有する他の対象物から分離して特定することができる。しかしながら、第１のグレースケール画像は、背景に対する温度差を良好に反映したものではないので、該推定された温度周辺の温度領域が背景に存在すれば、該対象物領域には、所望の対象物以外の背景部分が含まれることがあり、よって、第１のグレースケール画像のみを用いて、所望の対象物のみを、その本来の形状を維持しつつ背景から分離して抽出することは困難である。

このように、第１および第２のグレースケール画像のいずれか一方のみを用いても、所望の対象物のみを良好な精度で抽出することは難しい。そこで、本願発明では、第１のグレースケール画像と第２のグレースケール画像の両方を用いる。第１のグレースケール画像から特定される対象物領域では、上記第２のグレースケール画像において困難であった、所望の対象物が存在する領域とそれ以外の対象物との分離を、良好に実現することができる。また、第２のグレースケール画像から生成される２値画像では、上記第１のグレースケール画像において困難であった、所望の対象物と、該対象物の温度周辺の温度を持つ背景部分との分離を、良好に実現することができる。したがって、第１のグレースケール画像からの対象物領域と第２のグレースケール画像からの２値画像とを合わせることにより、所望の対象物のみを、より良好な精度で、背景および他の対象物から分離して抽出することができる。さらに、第２のグレースケール画像は、前述したように第１のグレースケール画像から生成されるので、元となるグレースケール画像は１種類である。したがって、２種類のグレースケール画像を用いてはいるものの、装置の構成を簡略化することができる。

以下、本願発明のこの手法について、より詳細に説明する。図４は、この発明の第１の実施例に従う、画像処理ユニット２によって実行される、所望の対象物を抽出するためのプロセスを示すフローチャートである。該プロセスは、所定の時間間隔で実行されることができる。この実施例では、所望の対象物として、歩行者（人間）を抽出する。また、一対のカメラ１Ｒおよび１Ｌのうち、この実施例では、カメラ１Ｒの撮像画像を用いるが、当然ながら、カメラ１Ｌの撮像画像を用いてもよい。

ステップＳ１１およびＳ１２において、カメラ１Ｒの出力信号（すなわち、撮像画像のデータ）を入力として受け取り、これをＡ／Ｄ変換して、画像メモリに格納する。格納される画像データは、図３（ａ）を参照して説明した第１のグレースケール画像である。ステップＳ１３において、外気温センサ５によって検出された外気温ｉ（℃）を取得する。

ステップＳ２１〜Ｓ２３は、第１のグレースケール画像を用いて、歩行者が存在する画像上の位置（領域）を見極めるための処理である。

まず、ステップＳ２１において、ステップＳ１３で検出された外気温ｉに基づいて、図５に示すようなマップを参照する。ここで、該マップを説明する。歩行者の頭部は、主にその顔面において皮膚が外気にさらされており、熱源を妨げるものが少ない部位である。したがって、外気にさらされている頭部表面は、外気温に対し、比較的安定した温度を呈する。そこで、外気にさらされている頭部表面の温度に着目し、これを、歩行者の温度とみなす。歩行者温度Ｆ（℃）と外気温ｉ（℃）との間の関係を、実験やシミュレーション等で調べた結果、両者の間には、図５のマップに示すような関係があることが判明した。このマップにおいて、横軸は外気温ｉ（℃）を示し、縦軸は、外気温（ｉ）に対する歩行者温度Ｆ（ｉ）（℃）を示す。このマップに示すように、外気温ｉから、歩行者温度Ｆ（ｉ）を推定することができる。

歩行者温度Ｆは、外気温ｉに対して、曲線１０１に示すように推移し、外気温ｉが高くなるほど、歩行者温度Ｆも高くなる。歩行者の頭部以外の部分の温度（胴体や足等の温度）は、歩行者温度Ｆ（ｉ）を中心とした所定範囲内にほぼ収まると考えることができる。したがって、歩行者の頭部以外の部分（胴体や足等）の温度が収まるよう、予めシミュレーションや実験等によって、Ｆ（ｉ）を含む所定の余裕範囲（マージン）Ｔ（℃）を設定する。該余裕範囲の上限が点線１０１Ｕよって示されており、Ｆ（ｉ）ｍａｘで表す。該余裕範囲の下限が点線１０１Ｌによって示されており、Ｆ（ｉ）ｍｉｎで表す。

なお、図５のマップでは、余裕範囲Ｔは、Ｆ（ｉ）を中心とするよう設定されているが、このような設定には制限されず、Ｆ（ｉ）ｍｉｎおよびＦ（ｉ）の差と、Ｆ（ｉ）ｍａｘおよびＦ（ｉ）の差とが異なってもよい。また、図５のマップでは、余裕範囲Ｔは、外気温ｉの変化に応じて一定となるよう設定されているが、このような設定には制限されず、外気温ｉの変化に対して余裕範囲Ｔの大きさが変化するよう、余裕範囲Ｔを設定してもよい。

図５に示されるようなマップは、画像処理ユニット２のメモリに予め記憶される。画像処理ユニット２は、検出された外気温ｉ（℃）に基づいて該マップを参照することにより、外気温ｉに対応する歩行者温度Ｆ（ｉ）の上限値Ｆ（ｉ）ｍａｘおよび下限値Ｆ（ｉ）ｍｉｎを求める。

図４に戻り、ステップＳ２２において、歩行者温度の上限値Ｆ（ｉ）ｍａｘおよび下限値Ｆ（ｉ）ｍｉｎに対応する輝度値を求める。図３（ａ）を参照して前述したように、第１のグレースケール画像の温度と輝度値の関係は、たとえば図３（ａ）の下段に示されるように、予め決められている。したがって、この関係（当該下段のようなマップをメモリに記憶しておいてもよいし、温度から、所定の式によって輝度値を求めてもよい）を用いて、歩行者温度の上限値Ｆ（ｉ）ｍａｘに対応する輝度上限値Ｔｂｍａｘ、および歩行者温度の下限値Ｆ（ｉ）ｍｉｎに対応する輝度下限値Ｔｂｍｉｎを算出する。

ステップＳ２３において、輝度上限値Ｔｂｍａｘおよび輝度下限値Ｔｂｍｉｎを閾値として用い、第１のグレースケール画像を２値化する。

ここで、図６を参照すると、第１のグレースケール画像の輝度値ヒストグラムの一例が示されている。輝度上限値Ｔｂｍａｘおよび輝度下限値Ｔｂｍｉｎにより画定される領域２０１が、歩行者の輝度領域を示す。この実施例では、領域２０１内の輝度値を有する画素を、値１の白領域とし、領域２０１以外の輝度値を有する画素を、値ゼロの黒領域とすることにより、第１のグレースケール画像を２値化して、第１の画像を生成する。第１の画像において、白領域は、歩行者が存在する領域として特定された対象物領域を表している。

図８を参照すると、対象物抽出処理の各段階の画像を模式的に表した図が示されており、図８（ａ）は、ステップＳ１２で取得される第１のグレースケール画像を表している。図では、輝度値の違いをハッチングの種類の違いで表しており、歩行者２１１および自動車２１３が撮像されている。また、背景において、歩行者の周囲の道路構造物のある領域２１５およびその他の領域２１７とでは、輝度値が異なっている。

図８（ｂ）には、ステップＳ２３において得られる、第１のグレースケール画像が２値化された第１の画像が示されている。白領域３０１は、（ａ）の第１のグレースケール画像において輝度領域２０１内の輝度値を有していたためにステップＳ２３の２値化によって抽出された対象物領域であり、上記推定された歩行者温度Ｆ（ｉ）に基づいて規定される歩行者の温度領域（前述したように、Ｆ（ｉ）ｍｉｎからＦ（ｉ）ｍａｘの間の余裕範囲Ｔを持つ）を表している。

このように、第１のグレースケール画像を用いて得た２値画像では、上記推定された歩行者温度に相当する温度領域を、対象物領域３０１として抽出するため、該歩行者温度とは異なる温度を有する他の対象物（たとえば、（ａ）の自動車２１３）から分離して、歩行者２１１の存在する領域を抽出することができる。しかしながら、（ａ）の領域２１５に示すように、歩行者の周囲に、歩行者温度の余裕範囲Ｔに含まれるような温度を有する背景が存在する場合、該歩行者２１１の実際の温度と該背景領域２１５の実際の温度とが異なっていても、（ｂ）に示されるように、対象物領域３０１には、歩行者２１１のみならず、該歩行者周囲の背景領域２１５も含まれてしまう。そこで、歩行者２１１のみを抽出するため、以下に示すように、第２のグレースケール画像を併用する。

なお、図ではわかりやすいように、白領域３０１は四角形として表されているが、当然ながら、第１のグレースケール画像を２値化することによって抽出される対象物領域３０１の形状は、四角形に限定されない。
図４に戻り、ステップＳ３１において、第１のグレースケール画像に基づいて、第２のグレースケール画像を生成する。前述したように、第１のグレースケール画像から背景の温度を求め、該背景の温度に対する温度差に応じた輝度値を割り当てることにより、第２のグレースケール画像を生成することができる。

ステップＳ３２およびＳ３３では、第２のグレースケール画像を用いて、背景から、生体や人工物などの高温対象物を分離する処理を行う。この処理は、従来の任意の適切な処理を用いることができる。簡単に説明すると、ステップＳ３２において、第２のグレースケール画像の輝度値ヒストグラムを用いて、背景と高温対象物を分離する２値化のための閾値Ｔａを決定する。

閾値の決定には、任意の適切な手法を用いることができる。たとえば、特開２００３−２１６９４９号公報に記載の手法を用いることができる。この手法によると、前回の処理で決定された閾値を用い、今回得られたグレースケール画像の２値化処理を行う。次に、２値化画像の２値化面積率Ｐ（％）を、“２値化対象物の全体画素数／２値化対象画面全体の画素数×１００”という式によって算出する。２値化面積率Ｐが規定値α（％）以下で、かつ閾値が最小輝度閾値Ｍｉｎ＿ＴＨでない場合、閾値から規定の割合Ｘを差し引いて、閾値を減少させる。同様に、２値化面率Ｐが規定値β（％）以上で、かつ閾値が最大輝度閾値Ｍａｘ＿ＴＨでない場合、閾値に規定の割合Ｘを足し込み、閾値を増加する。このような閾値設定により、ノイズによる輝度値のばらつきの影響を受けることなく、高温対象物を、背景と分離して抽出することができる。しかしながら、閾値の決定手法は、このような手法に限定されるものではなく、たとえば、閾値を予め決められた値としてもよい。

ステップＳ３３において、こうして設定された閾値Ｔａを用いて、第２のグレースケール画像を２値化する。ここで図７を参照すると、第２のグレースケール画像の輝度値ヒストグラムの一例が示されている。閾値Ｔａ以下の輝度値を有する領域２０３は、背景の輝度値を示す領域であり、閾値Ｔａより高い輝度値を有する領域２０５が、対象物の輝度値を示す領域である。この実施例では、閾値Ｔａより高い輝度値を有する画素を、値１の白領域とし、閾値Ｔａ以下の輝度値を有する画素を、値ゼロの黒領域として、第２のグレースケール画像を２値化し、第２の画像を生成する。

図８を再び参照すると、（ｃ）は第２のグレースケール画像を表し、図では、輝度値の違いをハッチングの種類の違いで表している。（ｃ）の第２のグレースケール画像は、（ａ）の第１のグレースケール画像に比べて輝度値の変化が鮮明になっている。（ｄ）には、ステップＳ３３で得られる、２値化された第２の画像が示されている。白領域３０３には歩行者２１１が抽出されているが、符号３０５で囲まれた白領域に示すように、歩行者以外の対象物（この実施例では、自動車２１３のヘッドライトやタイヤ等の部分）も抽出されている。これは、歩行者以外の対象物でも、背景に対して所定の温度差を有する高温対象物であれば、抽出されてしまうことに起因する。

図８の（ｂ）および（ｄ）から明らかなように、第１の画像では、歩行者が存在する領域すなわち対象物領域３０１が、他の対象物から分離して抽出されており、第２の画像では、個々の高温対象物が、その本来の形状を呈した状態で、背景から分離して抽出されている。したがって、第１の画像と第２の画像の論理積を取ることにより、歩行者以外の高温対象物が除去されると共に、歩行者温度周辺の温度を有する背景部分が除去され、よって、歩行者のみが抽出された画像（ｅ）を取得することができる。

図４のステップＳ４１は、この論理積（ＡＮＤ）演算を行う処理である。第１の画像の各画素と、第２の画像の同じ位置にある各画素との間でＡＮＤ演算を行う。或る画素について、前者が値１（白）で後者が値１（白）であれば、ＡＮＤ演算の結果は値１（白）となる。いずれかが値ゼロ（黒）であれば、ＡＮＤ演算の結果は値ゼロ（黒）となる。歩行者は、第１の画像においても第２の画像においても値１（白）として抽出されているので、ＡＮＤ演算の結果により、歩行者のみを、背景と分離するだけでなく、他の高温対象物から分離して抽出することができる。

なお、ステップＳ４１に続けて、抽出された対象物が、歩行者かどうかをより高い精度で判定するため、周知のパターンマッチングを用いて形状判定を行うようにしてもよい。また、歩行者が抽出されたならば、スピーカ３（図１）を介して運転者に知らせたり、また、抽出された歩行者の画像をヘッドアップディスプレイ４に表示して運転者に知らせることができる。

こうして、第１のグレースケール画像と第２のグレースケール画像を用いることにより、所望の対象物（この実施例では歩行者）を、背景だけでなく、該所望の対象物以外の対象物から分離して抽出することができる。

上記実施例は、所望の対象物が歩行者である場合を例に説明している。しかしながら、本願発明は、図５のマップに示されるように、外気温との関係を予め実験やシミュレーション等によって規定することができる温度を有する対象物について適用可能であり、よって、対象物は、人間に限定されるものではなく、動物のような他の生体や、人工物であってもよい。たとえば、車両の排気管やランプは、外気温に対する温度を予めシミュレーション等によって設定することができる。したがって、これらの対象物についても、上記手法を適用することができる。

次に、第２の実施例について説明する。この実施例では、上記のように論理積演算を行う代わりに、形状判定を行って、対象物を抽出する。ここでは、形状判定として、パターンマッチングを用いる。

ここで、画像処理ユニット２のメモリまたは該画像処理ユニット２がアクセス可能な記憶装置には、図９に示されるように、抽出すべき対象物の種類のそれぞれについて、外気温に対する該対象物の温度を推定して規定したマップと、該対象物の形状の標準パターンを表すテンプレートと、が記憶されている。たとえば、対象物Ａについては、外気温に対する該対象物Ａの推定温度が、マップＡｍとして記憶され、該対象物Ａの形状の標準パターンを表すテンプレートが、テンプレートＡｔとして記憶されている。対象物の種類としては、任意のものを設定することができ、人間や動物のようなものでもよいし、車両等の人工物でもよい。また、車両の排気管、ヘッドライトおよびテールライト等の部品でもよい。

ここで、該マップは、図５に示されるようなマップであり、外気温に対する対象物の温度を、シミュレーションや実験等を介して調べ、マップとして規定することができる。たとえば、排気管やテールライトについては、外気温に応じて、それぞれ、約３００〜４００℃および５０〜２００℃の温度を呈することがシミュレーションや実験等を行った結果判明している。このようなシミュレーションや実験等を、それぞれの外気温に対して行うことにより、マップを生成することができる。

また、記憶されるテンプレートは、複数であってもよい。たとえば、対象物ＡについてのテンプレートＡｔとして、複数のテンプレートを用意してもよい。

図１０は、この発明の第２の実施例に従う、画像処理ユニット２によって実行される、所望の対象物を抽出するためのプロセスを示すフローチャートである。該プロセスは、所定の時間間隔で実行されることができる。一対のカメラ１Ｒおよび１Ｌのうち、この実施例では、カメラ１Ｒの撮像画像を用いるが、当然ながら、カメラ１Ｌの撮像画像を用いてもよい。

ステップＳ１１〜Ｓ１３およびＳ３１〜Ｓ３３の処理は、図４に示すものと同じであるので、説明を省略する。以下、図１０のプロセスを、該対象物抽出処理の各段階の画像を模式的に表した図１１を参照しながら説明する。

図１１において、（ａ）、（ｃ）および（ｄ）は、図８と同様であり、それぞれ、ステップＳ１２で取得される第１のグレースケール画像、ステップＳ３１で生成される第２のグレースケール画像、および、ステップＳ３３で得られる第２のグレースケール画像を２値化した第２の画像を示す。以下では、抽出する所望の対象物が、自動車２１３のヘッドライト２２１である場合を例に説明する。

ステップＳ５１において、抽出する所望の対象物について、図９に示すようなテーブルを参照し、該対象物について記憶されている、外気温に対する対象物温度を規定したマップを読み出す。図４のステップＳ２１を参照して説明したのと同様の手法で、ステップＳ１３で検出された外気温ｉに基づいて該マップを参照し、該対象物の温度の上限値Ｆ（ｉ）ｍａｘおよび下限値Ｆ（ｉ）ｍｉｎを求める。したがって、抽出する所望の対象物がヘッドライトである場合、検出された外気温ｉに基づいて、該ヘッドライトについて記憶されていたマップを参照し、該ヘッドライトの温度の上限値および下限値を求める。

ステップＳ５２は、図４のステップＳ２２と同様の処理であり、上記求めた対象物温度の上限値Ｆ（ｉ）ｍａｘに対応する輝度上限値Ｔｂｍａｘと、対象物温度の下限値Ｆ（ｉ）ｍｉｎに対応する輝度下限値Ｔｂｍｉｎを求める。ステップＳ５３において、輝度上限値Ｔｂｍａｘと輝度下限値Ｔｂｍｉｎの範囲内の輝度値を有する領域が、第１のグレースケール画像において特定される。こうして特定された領域（対象物領域と呼ぶ）は、抽出する所望の対象物が存在しうる位置を表している。なお、図４に示す第１の実施例では、ステップＳ２３において第１のグレースケール画像の２値化が行われたが、この第２の実施例では、２値化する必要は必ずしもない。しかしながら、２値化を行うようにしてもよい。

ここで、図１１を参照すると、（ｂ）は、ステップＳ５３で特定された対象物領域４０１を示す。この実施例では、ヘッドライト２２１が存在する領域として、対象物領域４０１が特定されている。なお、この図では、わかりやすくするため、対象物領域４０１を四角形で描いているが、当然ながら、四角形という形状には限定されない。

図１０に戻り、ステップＳ５４において、図９のようなテーブルを参照し、抽出する所望の対象物についてのテンプレートを読み出す。この実施例では、ヘッドライトについて記憶されているテンプレートを読み出す。

ステップＳ６１において、第２の画像内において、ステップＳ５３で特定された対象物領域４０１に対応する位置にある領域に対し、読み出したテンプレートでパターンマッチングを行う。図１１を再び参照すると、（ｄ）の第２の画像内に、第１のグレースケール画像において特定された対象物領域４０１に対応する領域４０３が示されている（すなわち、領域４０１の第１のグレースケール画像内の位置と、領域４０３の第２の画像内の位置とは同じである）。図１１の（ｅ）に示すように、この領域４０３に対し、読み出したテンプレートを重ねて２つの画像の相関を調べることにより、パターンマッチングを行う。

パターンマッチングには、周知の任意の手法を用いることができる。たとえば、テンプレートの画素数をＰ×Ｑとし、各画素の輝度値をＩｒ（ｐ，ｑ）で表す。該テンプレートを領域４０３上に重ねながら移動し、各位置において、以下の式に示すように、テンプレートの各画素の輝度値Ｉｒ（ｐ，ｑ）と、領域４０３の対応する画素の輝度値Ｉｏ（ｐ，ｑ）との差の絶対値の和Ｅを算出する。和Ｅは、テンプレートと領域４０３の２つの画像の相関の程度を表している。和Ｅが低いほど、相関が高いことを示す。最も低い値の和Ｅが算出された位置が、テンプレートと領域４０３が最も一致した位置である。この位置における和Ｅの値が、所定の閾値以下であれば、領域４０３内の画像は、テンプレートの対象物を示すと判定することができる。

たとえば、この実施例において、ヘッドライトのテンプレートは、すべての画素が白の輝度値を有するよう作成されることができる。領域４０３に対して該テンプレートをマッチングさせることにより、図１１（ｅ）に示すような、領域４０３内の白の領域部分のみが対象物として抽出され、これにより、該抽出された対象物は、ヘッドライトとして認識される。

上記第１の実施例を参照して述べた、第１のグレースケール画像および第２のグレースケール画像の両方を用いることの効果は、第２の実施例においても同様に得られる。すなわち、図１１にも示されるように、第１のグレースケール画像から対象物領域４０１を特定することにより、ヘッドライト２２１が存在する領域を、他の対象物から分離して抽出することができるが、該対象物領域４０１には、ヘッドライト２２１の温度周辺の温度を有する背景部分が含まれるおそれがある。他方、第２のグレースケール画像の２値化により生成される第２の画像では、個々の高温対象物が、その本来の形状を呈した状態で、背景から分離して抽出されている。したがって、対象物領域４１０と第２の画像の両方を用いることにより、ヘッドライト２２１以外の高温対象物が除去されると共に、ヘッドライト２２１周辺の温度を有する背景部分が除去され、よって、ヘッドライト２２１のみを、より良好な精度で抽出することができる。

この実施例では、所望の対象物がヘッドライトである場合を説明したが、複数の種類の所望の対象物について、上記処理をそれぞれ同時に実行することができる。たとえば、ステップＳ５１およびＳ５２において、対象物の種類のそれぞれについて、対象物温度の上限値および下限値を求め、これらに対応する輝度上限値および下限値を求める。ステップＳ５３およびＳ５４において、該対象物の種類のそれぞれについて、対象物領域を特定し、該対象物のテンプレートを読み出す。ステップＳ６１において、対象物の種類毎に、特定された対象物領域とテンプレートのパターンマッチングを行う。ここで、対象物Ａについて対象物領域Ａｒが特定され、対象物Ｂについて対象物領域Ｂｒが特定されたならば、対象物ＡのテンプレートＡｔは、該対象物領域Ａｒにのみ適用され、対象物ＢについてのテンプレートＢｔは、該対象物領域Ｂｒにのみ適用される点に注意されたい。すなわち、この実施例によれば、特定の種類の対象物のテンプレートを、特定の限られた領域にのみ適用すればよいので、処理の効率化を図ることができる。

従来のパターンマッチングは、前述したように、第２の画像において抽出されているすべての対象物に対し、すべてのテンプレートを、総当たりでマッチングさせることにより、抽出されている対象物のそれぞれについて、人間か、動物か、自動車か、等の判定を行っていた。抽出されている対象物の数が多いほど、処理の負荷が増大していた。それに対し、本願のこの実施例によれば、抽出すべき所望の対象物の種類毎に、該対象物が撮像されている位置が第１のグレースケール画像において特定されているので、第２の画像において、該特定された部分のみに対してパターンマッチングを行えばよい。したがって、対象物の抽出および認識を、より良好な効率で実現することができる。

上記第２の実施例では、第２の画像内の領域４０３（図１１（ｄ））に対し、テンプレートを用いたパターンマッチングを行うことにより、領域４０３内の対象物の形状判定を行っている。代替的に、パターンマッチングに代えて、またはパターンマッチングに加えて、他の手法による形状判定を領域４０３に対して行うようにしてもよい。形状判定に関する手法は、様々なものが提案されており、これらのうち任意のものを用いることができる。たとえば、抽出すべき所望の対象物の形状に関する特徴（円形なのか四角形なのか、幅および高さの大きさ、エッジの向き等）が、該領域４０３内に存在するかどうかを調べることにより、該領域４０３内に所望の対象物が存在するかどうかを判断することができる。一例として、特開２００６−１８５４３４号公報には人工構造物に関する形状判定が開示され、特開２００７−３１０７０５号公報には動物に関する形状判定が開示されている。

なお、上記第１の実施例と第２の実施例とを組み合わせて用いてもよい。たとえば、或る所望の対象物については第１の実施例を用いて、他の所望の対象物については第２の実施例を用いるというように、対象物毎に、該対象物を抽出する手法を第１および第２の実施例の間で異ならせてもよい。

以上のように、この発明の特定の実施形態について説明したが、本願発明は、これら実施形態に限定されるものではない。

この発明の一実施例に従う、周辺監視装置の構成を示すブロック図。 この発明の一実施例に従う、カメラの取り付け位置を説明するための図。 この発明の一実施例に従う、第１および第２のグレースケール画像を説明するための図。 この発明の第１の実施例に従う、所望の対象物を抽出する処理のフローチャート。 この発明の一実施例に従う、外気温に基づいて推定される対象物の温度を表すマップ。 この発明の一実施例に従う、第１のグレースケール画像の輝度値ヒストグラム。 この発明の一実施例に従う、第２のグレースケール画像の輝度値ヒストグラム。 この発明の第１の実施例に従う、所望の対象物を抽出する処理の各段階の画像を概略的に示す図。 この発明の一実施例に従う、対象物の種類ごとに記憶装置に記憶されるデータの内容を示す図。 この発明の第２の実施例に従う、所望の対象物を抽出する処理のフローチャート。 この発明の第２の実施例に従う、所望の対象物を抽出する処理の各段階の画像を概略的に示す図。

符号の説明

１Ｒ，１Ｌ 赤外線カメラ（撮像手段）
２ 画像処理ユニット

Claims (5)

1. 車両に搭載された赤外線カメラを用いて車両の周辺を監視する車両周辺監視装置であって、
   前記赤外線カメラによる撮像を介して、対象物の温度に応じた輝度値を有する第１のグレースケール画像を取得する手段と、
   前記第１のグレースケール画像において、所望の対象物について予め推定された温度に対応する輝度値を持つ領域を、対象物領域として特定する特定手段と、
   前記第１のグレースケール画像を構成する各部について、当該各部の輝度値に応じた温度と背景の温度との温度差を算出し、当該各部に当該温度差に応じた輝度値を割り当てて、第２のグレースケール画像を生成する手段と、
   前記第２のグレースケール画像を所定の閾値によって２値化し、第２の画像を生成する手段と、
   前記第２の画像において、前記特定された対象物領域に対応する位置にある領域から、前記所望の対象物を抽出する対象物抽出手段と、
   を備える、車両周辺監視装置。
2. 前記特定手段は、前記所望の対象物について推定された温度に対応する輝度値を持つ領域を抽出するよう前記第１のグレースケール画像を２値化して、第１の画像を生成し、
   前記対象物抽出手段は、前記第１の画像と前記第２の画像との論理積を演算することにより、前記所望の対象物を抽出する、
   請求項１に記載の車両周辺監視装置。
3. 前記対象物抽出手段は、前記第２の画像において、前記特定された対象物領域に対応する位置にある領域に対して形状判定を行うことにより、前記所望の対象物を抽出する、
   請求項１に記載の車両周辺監視装置。
4. 前記対象物抽出手段は、前記第２の画像において、前記特定された対象物領域に対応する位置にある領域に対し、前記所望の対象物の形状を表す所定のテンプレートを用いてパターンマッチングを行うことにより前記形状判定を行う、
   請求項３に記載の車両周辺監視装置。
5. 前記車両の外気温を検出する手段を備え、
   前記外気温に基づいて、前記所望の対象物の温度を推定する手段と、
   を備える、請求項１から４のいずれかに記載の車両周辺監視装置。