JP5809751B2 - 対象物認識装置 - Google Patents

Description

本発明は、赤外線カメラの撮像画像を用いて生体等の監視対象物を認識する装置に関する。

車両に搭載された赤外線カメラにより車両周辺の撮像画像を取得し、その撮像画像を２値化することによって生成される２値画像を基に、監視対象物の画像部分を抽出することで、赤外線カメラの撮像領域に存在する監視対象物を認識する装置が従来より知られている。

例えば特許文献１には、上記２値画像における高輝度領域（高輝度値の画素により構成される領域）から、監視対象物としての人等の生体の画像を抽出することで、赤外線カメラの撮像領域に存在する生体を認識する技術が記載されている。

特開２００３−２８４０５７号公報

ところで、車両に搭載された赤外線カメラの撮像領域に監視対象物たる人等の生体が存在する場合、通常の環境下では、該生体は、一般に、該生体の周囲（背景）の被写体（路面、構造物の壁面等）よりも相対的に高い温度を有する。

この場合、赤外線カメラの撮像画像における該生体の画像は、その背景の画像に比して相対的に高輝度なものとなる。従って、通常の環境下では、赤外線カメラの撮像画像の高輝度領域から生体の画像を抽出することが可能である。

しかるに、外気温が高温である場合等では、生体の温度が、その背景の被写体の温度に比して相対的に低い温度となっている場合もある。そして、このような場合には、赤外線カメラの撮像画像における生体の画像は、その背景の画像に比して相対的に低輝度なものとなる。

そこで、生体の温度がその背景の被写体の温度に比して相対的に低い温度となっている可能性の有る状況下で、赤外線カメラの撮像領域に存在する生体を認識することができるようにするために、該赤外線カメラの撮像画像において、相対的に低輝度の画素により構成される低輝度領域から生体の画像を抽出するようにすることを本願発明者は検討している。

しかるに、この場合、赤外線カメラの撮像画像の低輝度領域から、生体の画像を抽出することが困難となる場合があることが本願発明者の種々様々の実験、検討によって判明した。

すなわち、車両に搭載された赤外線カメラの撮像画像には、通常、空が投影された画像領域も含まれる。その画像領域に投影される空は、外気温等によらずに低温な領域であるため、空の画像領域は低輝度な画像領域となる。

このため、撮像画像を２値化するための輝度閾値が不適切であると、背景に比して相対的に低温となっている生体の画像が、低輝度領域から除外されてしまう場合がある。そして、この場合には、該低輝度領域から、相対的に低温の生体の画像部分を適切に抽出することができなくなるという不都合がある。

本発明は、かかる背景に鑑みてなされたものであり、赤外線カメラの撮像画像を基に、背景の温度よりも相対的に低温となっている生体等の対象物を適切に認識するようにすることができる対象物認識装置を提供することを目的とする。

本発明の対象物認識装置は、かかる目的を達成するために、赤外線カメラの撮像画像を基に、該赤外線カメラの撮像領域に存在して、背景の温度よりも相対的に低温となっている対象物を認識する機能を有する対象物認識装置であって、前記撮像画像のうち、空が投影されている画素を示す所定値以下の輝度の画素を除外してなる各画素を、前記所定値よりも高い輝度値に設定された２値化用閾値以下の輝度値を有する低輝度画素と該２値化用閾値よりも高い輝度値を有する高輝度画素とに分類するように構成された２値化処理手段と、前記撮像画像のうち、前記低輝度画素により構成される画像領域から前記対象物の画像部分を抽出するように構成された対象物画像抽出手段とを備えることを特徴とする（第１発明）。

この第１発明によれば、前記２値化処理手段は、前記撮像画像のうち、空が投影されている画素を示す所定値以下の輝度の画素を除外してなる各画素を、前記２値化用閾値以下の輝度値を有する低輝度画素と該２値化用閾値よりも高い輝度値を有する高輝度画素とに分類する。

この場合、前記２値化用閾値は、前記所定値よりも高い輝度値に設定されているので、前記赤外線カメラの撮像領域に、背景の温度よりも相対的に低温となっている対象物が存在する場合に、前記撮像画像中の該対象物の画像部分（該対象物の全体又は一部の画像）の画素が、前記低輝度画素及び高輝度画素のうちの低輝度画素になるようにすることができる。

このため、前記赤外線カメラの撮像領域に、背景の温度よりも相対的に低温となっている対象物が存在する場合に、前記対象物画像抽出手段は、前記低輝度画素により構成される画像領域（以降、低輝度画像領域ということがある）から前記対象物の画像部分を抽出することができる。ひいては、該対象物が赤外線カメラの撮像領域に存在することを認識することができる。

よって、第１発明によれば、赤外線カメラの撮像画像から、背景の温度よりも相対的に低温となっている生体等の対象物を適切に認識するようにすることができる。

ここで、赤外線カメラの撮像画像に投影される空の画像領域の各画素の輝度は、通常、他の画像領域（なんらかの物体が投影されている画像領域）の輝度よりも低輝度となるものの、雲の有無等の空の状態に応じてある程度のばらつきを生じる。また、撮像画像に投影される空の画像領域の面積が大きい場合には、該面積が小さい場合よりも、空の画像領域の各画素の輝度のばらつきが生じやすい。

そこで、上記第１発明では、前記撮像画像のうち、空が投影されている画像領域の面積又は該画像領域の輝度代表値に応じて前記所定値を変化させるように該所定値を設定するように構成された除外用輝度値設定手段をさらに備えることが好ましい（第２発明）。

なお、上記輝度代表値は、空が投影されている画像領域の輝度の代表値を意味する。その代表値としては、例えば赤外線カメラの撮像画像の上部（空が投影されていると推定される部分）の輝度の平均値、最大値等を用いることができる。

上記第２発明によれば、前記所定値に、空が投影されている画像領域の各画素の輝度のばらつきを反映させて前記所定値を適切に設定できる。

例えば、前記除外用輝度値設定手段は、前記空が投影されている画像領域の面積が大きいほど、又は該画像領域の輝度代表値が大きいほど、前記所定値を大きくするように設定するように構成される（第３発明）。これにより、該所定値以下の輝度の画素を除外してなる各画素に、空が投影されている画素が含まれるのを極力排除することができる。

そのため、前記対象物画像抽出手段の処理、すなわち、前記低輝度画像領域から前記対象物の画像部分を抽出する処理によって、対象物でない画像部分が、対象物の画像部分として抽出されてしまうことを防止することができる。ひいては、前記対象物画像抽出手段の処理の信頼性を高めることができる。

前記第１〜第３発明では、前記２値化処理手段は、前記撮像画像のうち、前記所定値以下の輝度の画素を除く画素により構成される画像領域における輝度値と画素数との関係を示すヒストグラムに基づいて、前記２値化用閾値を設定するように構成された２値化用閾値設定手段を含むことが好ましい（第４発明）。

この第３発明によれば、前記赤外線カメラの撮像領域に、背景の温度よりも相対的に低温となっている対象物が存在する場合に、前記撮像画像中の該対象物の画像部分の画素が、高い確実性で、前記低輝度画素及び高輝度画素のうちの低輝度画素になるように前記２値化用閾値を設定することを適切に行うようにすることができる。

本発明の一実施形態における対象物認識装置を搭載した車両を示す図。 図１に示す対象物認識装置に関する構成を示すブロック図。 図１に示す対象物監視装置の処理を示すフローチャート。 図３のＳＴＥＰ２、６、７の処理で用いるヒストグラムの例を示す図。 図５Ａは撮像画像の例を示す図、図５Ｂは図５Ａの撮像画像を２値化した２値画像の例を示す図。

本発明の対象物認識装置の一実施形態を図１〜図５を参照して説明する。図１を参照して、本実施形態の対象物認識装置１０は、車両１に搭載されている。車両１には、対象物認識装置１０の他、車両１の周辺の所定の監視領域ＡＲ０（図１の直線Ｌ１，Ｌ２の間の画角領域）を撮像するステレオカメラを構成する２つのカメラ１１Ｌ，１１Ｒと、カメラ１１Ｌ，１１Ｒのうちの一方（例えばカメラ１１Ｒ）の撮像画像等の表示情報を車両１の運転者が視認可能に表示する表示器１２と、車両１の運転者に報知する音響情報（音声、警報音等）を出力するスピーカ１３とが搭載されている。

表示器１２は、車両１の運転席前方で車室内に設置される液晶ディスプレイ、あるいは、車両１のフロントガラスに映像を投影して表示するヘッド・アップ・ディスプレイ等により構成される。なお、表示器１２は、カメラ１１Ｒの撮像画像の他、ナビゲーション情報（地図等）、オーディオ情報等を適宜表示し得るものであってもよい。

カメラ１１Ｌ，１１Ｒは、いずれも、赤外域の波長帯に感度を有する赤外線カメラである。そして、カメラ１１Ｌ，１１Ｒは、それぞれの撮像画像を構成する各画素の輝度を示す映像信号を出力する。これらのカメラ１１Ｌ，１１Ｒにより撮像する監視領域ＡＲ０（以降、撮像領域ＡＲ０ということがある）は、本実施形態では、車両１の前方側の領域である。この監視領域ＡＲ０を撮像するために、カメラ１１Ｌ，１１Ｒは、車両１の前部に搭載されている。

この場合、カメラ１１Ｌ，１１Ｒは、車両１の車幅方向（図１のＸ軸方向）の中心軸（図１のＺ軸）に対してほぼ対称な位置関係で車幅方向に並列して配置されている。そして、カメラ１１Ｌ，１１Ｒは、それぞれの光軸が互いに平行となり、路面からの高さが等しくなるように車両１の前部に取付けられている。

各カメラ１１Ｌ，１１Ｒは、その映像信号により規定される撮像画像の輝度が、該撮像画像に写る撮像領域ＡＲ０内の被写体全体の温度の分布状態に対して次のような特性を有する。その特性は、撮像領域ＡＲ０内の任意の対象物の画像の輝度（該対象物の投影領域近辺の画像の輝度）が、該対象物の温度の大きさそのものに応じた大きさの輝度になるのではなく、該対象物とその背景（カメラ１１Ｌ，１１Ｒから見て該対象物の背後に存在する被写体（建物の壁面、路面等））との間の相対的な温度差に応じた大きさの輝度になるという特性（以降、ＡＣ特性という）である。

このＡＣ特性では、撮像領域ＡＲ０内の任意の対象物の温度がその背景の温度よりも高いほど、該対象物の画像の輝度が高くなる。また、対象物の温度がその背景の温度よりも低いほど、該対象物の画像の輝度が低くなる。

かかるＡＣ特性を有する各カメラ１１Ｌ，１１Ｒの撮像画像は、換言すれば、撮像領域ＡＲ０内の被写体全体のうちの比較的顕著な温度変化（空間的な温度変化）が生じている箇所が写る画像部分の輝度変化が強調されたものとなるような撮像画像である。さらには、該撮像画像は、均一な温度を有する箇所（その各部の温度が互いにほぼ同一となる箇所）が写る画像部分の輝度が、その温度の大きさ（絶対温度）によらずにほぼ同一の大きさの輝度になるような撮像画像である。

本実施形態の各カメラ１１Ｌ，１１Ｒは、このようなＡＣ特性を有するカメラである。

補足すると、各カメラ１１Ｌ，１１Ｒは、それ自体がＡＣ特性を有するものでなくてもよい。すなわち、各カメラ１１Ｌ，１１Ｒは、それが出力する映像信号により規定される各画素の輝度が、その画素に投影される被写体の温度の大きさそのものに応じた大きさの輝度となる（温度が高いほど、輝度が高くなる）ような特性を有するカメラであってもよい。その場合には、各カメラ１１Ｌ，１１Ｒの映像信号により規定される撮像画像に映像フィルタ処理を施すことで、上記ＡＣ特性の撮像画像を得ることができる。

なお、以降の説明では、ステレオカメラを構成するカメラ１１Ｌ，１１Ｒのうちの一方、例えば右側のカメラ１１Ｒを基準カメラ１１Ｒということがある。

対象物認識装置１０は、図示しないＣＰＵ、メモリ、インターフェース回路等により構成される電子回路ユニットである。この対象物認識装置１０は、実装されるプログラムをＣＰＵにより実行することで、所定の制御処理を行う。

具体的には、対象物認識装置１０は、カメラ１１Ｌ，１１Ｒの撮像画像に基づいて撮像領域ＡＲ０に存在する監視対象の所定種類の対象物を認識する。該対象物は、歩行者（人）、野生動物等の生体である。

そして、対象物認識装置１０は、車両１と車両１の前方に存在する対象物との間の距離を所定の制御処理周期毎に検出しつつ、対象物の位置（車両１に対する相対位置）を追跡する。さらに、対象物認識装置１０は、対象物が車両１と接触する可能性が有ると判断される生体である場合に、その対象物（生体）に対する車両１の運転者の注意を喚起するために、表示器１２に警報表示を行うと共にスピーカ１３から警報音（又は警報音声）を出力する注意喚起処理を実行する。

上記対象物認識装置１０に関して、図２を参照してさらに説明する。対象物認識装置１０には、カメラ１１Ｌ，１１Ｒの映像信号が入力されると共に、車両１に搭載された各種センサの検出信号が入力される。

本実施形態では、対象物認識装置１０には、車両１のヨーレートを検出するヨーレートセンサ２１、車両１の車速を検出する車速センサ２２、運転者によるブレーキ操作（ブレーキペダルの踏み込み）を検出するブレーキセンサ２３、外気温を検出する外気温センサ２４、及び車両１のフロントガラスのワイパー（図示省略）の動作状態を検出するワイパーセンサ２５の検出信号（又はワイパーの操作指令信号）が入力される。

また、対象物認識装置１０には、前記表示器１２及びスピーカ１３が接続されている。そして、該表示器１２の表示と、スピーカ１３の音響出力とが対象物認識装置１０により制御されるようになっている。

そして、対象物認識装置１０は、実装されるプログラムをＣＰＵにより実行することによって実現される機能（ソフトウェア構成により実現される機能）又はハードウェア構成（入出力回路や演算回路等）により実現される主要な機能として、カメラ１１Ｌ，１１Ｒの撮像画像（前記ＡＣ特性の撮像画像）を取得する撮像画像取得部３１と、該撮像画像を２値化する２値化処理を実行する２値化処理部３２と、その２値化処理により得られる２値画像を利用して生体である可能性がある対象物（生体の候補となる対象物）の画像部分を抽出する対象物画像抽出部３５と、対象物画像抽出部３５により画像部分が抽出された対象物が車両１との接触の可能性が有る生体であるか否かを判定し、該判定結果が肯定的である場合に前記注意喚起処理を実行する接触回避処理部３６とを備える。

この場合、上記２値化処理部３２、対象物画像抽出部３５は、それぞれ本発明における２値化処理手段、対象物画像抽出手段に相当している。そして、２値化処理部３２は、本発明における除外用輝度値設定手段に相当する除外用輝度値設定部３３と、本発明における２値化用閾値設定手段に相当する２値化用閾値設定部３４としての機能を含んでいる。

次に、図３のフローチャートを参照して対象物認識装置１０の処理を説明する。対象物認識装置１０は、所定の制御サイクル毎に図３のフローチャートに示す処理を実行することによって、車両１の前方の監視領域（撮像領域）ＡＲ０に存在する対象物を認識する。

対象物認識装置１０は、まず、ＳＴＥＰ１の処理を撮像画像取得部３１により実行する。この処理では、撮像画像取得部３１は、カメラ１１Ｌ，１１Ｒの撮像画像を取得する。

より詳しくは、撮像画像取得部３１は、各カメラ１１Ｌ，１１Ｒに撮像領域ＡＲ０の撮像を行なわせる。そして、撮像画像取得部３１は、その撮像に応じて各カメラ１１Ｌ，１１Ｒから出力される映像信号をＡ／Ｄ変換することで、各カメラ１１Ｌ，１１Ｒ毎に、各画素の輝度値をデジタル値で表す撮像画像（前記ＡＣ特性の撮像画像）を取得する。そして、撮像画像取得部３１は、取得した各カメラ１１Ｌ，１１Ｒの撮像画像を画像メモリ（図示省略）に記憶保持する。

なお、撮像画像取得部３１は、最新の撮像画像を含めて、所定時間前までの期間分の複数の撮像画像を画像メモリに記憶保持させる。

補足すると、各カメラ１１Ｌ，１１ＲがＡＣ特性を有するものでない場合には、撮像画像取得部３１は、赤外線カメラの映像信号により規定される撮像画像に映像フィルタ処理を施すことで、ＡＣ特性の撮像画像を取得するようにすればよい。

次いで、対象物認識装置１０は、ＳＴＥＰ２〜４の処理を２値化処理部３２及び対象物画像抽出部３５により実行する。

ＳＴＥＰ２，３は、２値化処理部３２の処理である。ＳＴＥＰ２では、２値化処理部３２は、２値化用閾値設定部３４の処理を実行する。この処理では、２値化用閾値設定部３４は、基準カメラ１１Ｒの撮像画像を２値化するための２値化用第１閾値Ｙth1を設定する。この場合、２値化用閾値設定部３４は、基準カメラ１１Ｒの撮像画像の各画素の輝度値と画素数（度数）との関係を表すヒストグラム（以降、第１輝度ヒストグラムという）に基づいて２値化用第１閾値Ｙth1を設定する。

この２値化用第１閾値Ｙth1は、カメラ１１Ｌ，１１Ｒの撮像領域ＡＲ０に存在する監視対象の対象物としての人等の生体の温度が、該生体の背景の被写体の温度よりも高い場合に、カメラ１１Ｌ，１１Ｒの撮像画像中の該生体の画像部分の輝度が、当該２値化用第１閾値Ｙth1よりも高輝度となるように設定される閾値である。

本実施形態では、２値化用第１閾値Ｙth1は、上記第１輝度ヒストグラムに基づいて、所謂、Ｐタイル法により設定される。すなわち、上記第１輝度ヒストグラムにおいて、該２値化用第１閾値Ｙth1以上となるトータルの画素数が、撮像画像の総画素数の所定割合の画素数となるようにＹth1が設定される。

例えば、上記第１輝度ヒストグラムが、図４に例示するようなヒストグラムであった場合、図中のＹth1が２値化用第１閾値として設定される。

次いで、ＳＴＥＰ３では、２値化処理部３２は、上記の如く設定した２値化用第１閾値Ｙth1により、基準カメラ１１Ｒの撮像画像を２値化することで、第１の２値画像を生成する。

具体的には、基準カメラ１１Ｒの撮像画像の画素を、Ｙth1以上の輝度値を有する高輝度値の画素と、Ｙth1よりも小さい輝度値を有する低輝度値の画素との２種類に分類することで、該撮像画像の２値化が行なわれる。そして、高輝度値の画素を白の画素、低輝度値の画素を黒の画素とすることで、第１の２値画像が生成される。

このように第１の２値画像を生成することで、カメラ１１Ｌ，１１Ｒの撮像領域ＡＲ０に監視対象の対象物としての人等の生体が存在し、且つ、その生体の温度が、背景の被写体の温度よりも高い場合（通常の場合）には、生体の画像部分は、第１の２値画像において局所的な白領域となる。

なお、Ｙth1以上の高輝度値の画素を黒の画素、Ｙth1よりも低輝度値の画素を白の画素とすることで、第１の２値画像を生成するようにしてもよい。

次のＳＴＥＰ４は、対象物画像抽出部３５の処理である。このＳＴＥＰ４では、対象物画像抽出部３５は、第１の２値画像における白領域（白の画素（Ｙth1以上の高輝度値の画素）により構成される画像領域）から、生体の候補としての対象物の画像部分を抽出する。

このＳＴＥＰ４において、抽出される対象物の画像部分は、例えば、縦方向及び横方向の幅、これらの幅の比率、路面からの高さ、輝度平均値、輝度分散等が、あらかじめ設定された範囲内（対象物が、人、野生動物等の生体である場合を想定して設定される範囲内）である画像部分である。

これにより、カメラ１１Ｌ，１１Ｒの撮像領域ＡＲ０に存在する監視対象の対象物としての人等の生体が存在し、且つ、その生体の温度が、背景の被写体の温度よりも高い場合（通常の場合）には、その生体の画像部分がＳＴＥＰ４において抽出される。

なお、Ｙth1以上の高輝度値の画素を黒の画素、Ｙth1よりも低輝度値の画素を白の画素とすることで、第１の２値画像を生成するようにした場合には、第１の２値画像における黒領域から、生体の候補としての対象物の画像部分を抽出するようにすればよい。

次いで、対象物認識装置１０は、ＳＴＥＰ５の判断処理を実行する。このＳＴＥＰ５では、対象物認識装置１０は、現在の環境条件を判断する。この判断処理は、具体的には、現在の外気温が所定温度以上の高温であるという条件と、現在の天候が降雨時であるという条件とのうちのいずれか一方が成立しているか否かを判断する処理である。

この場合、対象物認識装置１０は、外気温が所定温度以上の高温であるか否かを外気温センサ２４による外気温の検出値に基づいて判断する。

また、対象物認識装置１０は、ワイパーセンサ２５の出力（又はワイパーの操作指令信号）により示されるワイパーの作動状況に基づいて、降雨時であるか否かを判断する。具体的には、対象物認識装置１０は、ワイパーが動作中である場合に、降雨時と判断し、ワイパーが動作中でない場合に、降雨時でないと判断する。

なお、降雨時であるか否かは、雨滴センサを用いて検知するようにしてもよい。あるいは、通信により天候情報を受信して、降雨時であるか否かを認識するようにしてもよい。

ここで、人（歩行者）等の生体の温度は、通常の環境下（外気温がさほど高温でない環境下等）では、路面等、生体の周辺の物体の温度よりも高い。このため、赤外線カメラであるカメラ１１Ｌ，１１Ｒの撮像画像（ＡＣ特性の撮像画像）に生体が写っている場合、その生体の画像の輝度は、通常、その背景の被写体（路面、建物の壁面等）の画像の輝度に比して高輝度なものとなる。

一方、外気温が高温である場合、あるいは、降雨時等の場合においては、人（歩行者）等の生体の温度は、その周辺の物体の温度よりも低くなる場合がある。そのような場合には、カメラ１１Ｌ，１１Ｒの撮像画像における生体の画像部分の輝度は、その背景の被写体（路面、建物の壁面等）の画像の輝度に比して低輝度なものとなる。

そして、このような場合には、当該生体の画像部分は、前記第１の２値画像において黒の画像（低輝度値の画像）となることから、前記ＳＴＥＰ４において、該生体の画像部分を抽出することができない。

そこで、上記ＳＴＥＰ５の判断結果が肯定的である場合、すなわち、カメラ１１Ｌ，１１Ｒの撮像領域ＡＲ０に存在する生体の温度がその周辺の物体（背景の被写体）の温度よりも相対的に低温となっていることが想定される場合には、対象物認識装置１０は、さらにＳＴＥＰ６〜９の処理を２値化処理部３２及び対象物画像抽出部３５により実行することで、生体の候補としての対象物の画像部分を抽出する。

ＳＴＥＰ６〜８は、２値化処理部３２の処理である。ＳＴＥＰ６では、２値化処理部３２は、除外用輝度値設定部３３の処理を実行する。この処理では、除外用輝度値設定部３３は、基準カメラ１１Ｒの撮像画像から、空が投影されている画素を２値化の対象から除外するために用いる除外用輝度値Ｙexを設定する。なお、該除外用輝度値Ｙexは、本発明における「所定値」に相当する。

ここで、カメラ１１Ｌ，１１Ｒの撮像画像には、通常、空の映像が投影されている。そして、空の温度は、一般に、他の被写体（路面、構造物、生体等）よりも低温である。このため、カメラ１１Ｌ，１１Ｒの撮像画像において空が投影されている画像領域の全体もしくは大部分の各画素の輝度値は、ある輝度値よりも低輝度なものとなる。

上記除外用輝度値Ｙexは、基本的には、カメラ１１Ｌ，１１Ｒの撮像画像において空が投影されている画素の輝度値がＹex以下となるように設定される輝度値である。

ただし、空が投影されている画像領域の各画素の輝度値は、雲の有無、あるいは、空の画像領域の面積等の影響によって、ある程度のばらつきを生じる。例えば、空の画像領域に雲の映像が投影されている場合には、雲の映像が投影されていない場合よりも輝度値が高くなる。

また、空の画像領域の面積が大きい場合には、小さい場合よりも空の画像領域の各画素の輝度値のばらつきが大きくなりやすい。

そこで、本実施形態では、除外用輝度値設定部３３は、除外用輝度値Ｙexを可変的に設定する。具体的には、基準カメラ１１Ｒの撮像画像のうちの上端寄りの箇所（空が投影されていると推定される画像領域）における輝度の平均値あるいは最大値が、当該箇所の輝度代表値として算出される。

また、基準カメラ１１Ｒの撮像画像の上部側の領域において、あらかじめ設定された既定値以下の輝度値を有する画素の個数が、撮像画像における空の面積を概略的に表す空面積画素数として算出される。あるいは、基準カメラ１１Ｒの撮像画像の上部側の領域において、エッジ抽出等の手法によって空の画像領域と他の被写体の画像領域との境界線を検出し、その境界線により囲まれた領域の画素数を空面積画素数として算出するようにしてもよい。

そして、上記輝度代表値と、空面積画素数とから、あらかじめ設定された既定のマップ又は演算式に基づいて、除外用輝度値Ｙexが設定される。この場合、輝度代表値が大きいほど、除外用輝度値Ｙexが大きい値になるように該除外用輝度値Ｙexが設定される。また、空面積画素数が多いほど（撮像画像における空の投影領域の面積がより大きいほど）、除外用輝度値Ｙexが大きい値になるように該除外用輝度値Ｙexが設定される。

次いで、ＳＴＥＰ７では、２値化処理部３２は、２値化用閾値設定部３４の処理を実行する。この処理では、２値化用閾値設定部３４は、基準カメラ１１Ｒの撮像画像から、除外用輝度値Ｙex以下の輝度値の画素（空が投影されていると見なせる画素）を除外してなる画像（以降、空領域除外画像という）を２値化するための２値化用第２閾値Ｙth2を設定する。該空領域除外画像は、換言すれば、基準カメラ１１Ｒの撮像画像のうち、除外用輝度値Ｙexよりも高い輝度値を有する画素により構成される画像である。なお、２値化用第２閾値Ｙth2は、本発明における２値化用閾値に相当するものである。

この場合、２値化用閾値設定部３４は、上記空領域除外画像の各画素の輝度値と画素数（度数）との関係を表すヒストグラム（以降、第２輝度ヒストグラムという）に基づいて２値化用第２閾値Ｙth2を設定する。なお、上記第２輝度ヒストグラムは、図４に例示するように、前記第１輝度ヒストグラムから、輝度値がＹex以下となる部分を除いた部分である。

上記２値化用第２閾値Ｙth2は、カメラ１１Ｌ，１１Ｒの撮像領域ＡＲ０に存在する監視対象の対象物としての人等の生体の温度が、該生体の背景の被写体の温度よりも低い場合に、カメラ１１Ｌ，１１Ｒの撮像画像中の該生体の画像部分の輝度が、当該２値化用第２閾値Ｙth2よりも低輝度となるように設定される閾値である。

本実施形態では、この２値化用第２閾値Ｙth2は、２値化用第１閾値Ｙth1と同様に、Ｐタイル法により設定される。ただし、この場合、２値化用第２閾値Ｙth2は、第１輝度ヒストグラムではなく、第２輝度ヒストグラムに基づいて設定される。すなわち、上記第２輝度ヒストグラムにおいて、該２値化用第２閾値Ｙth2以下となるトータルの画素数が、撮像画像の総画素数の所定割合の画素数となるようにＹth2が設定される。この場合、Ｙth2は、除外用輝度値Ｙexよりも高い輝度値となる。

例えば、上記第２輝度ヒストグラムが、図４に例示するようなヒストグラムであった場合、図中のＹth2（＞Ｙex）が２値化用第２閾値として設定される。

次いで、ＳＴＥＰ８では、２値化処理部３２は、上記の如く設定した２値化用第２閾値Ｙth2により、前記空領域除外画像を２値化することで、第２の２値画像を生成する。

具体的には、空領域除外画像の画素を、Ｙth2以下の輝度値を有する低輝度値の画素と、Ｙth2よりも大きい輝度値を有する高輝度値の画素との２種類に分類することで、該空領域除外画像の２値化が行なわれる。そして、第１の２値画像の場合と逆に、低輝度値の画素を白の画素、高輝度値の画素を黒の画素とすることで、第２の２値画像が生成される。

このように第２の２値画像を生成することで、ＳＴＥＰ５の判断結果が肯定的となる状況下で、カメラ１１Ｌ，１１Ｒの撮像領域ＡＲ０に監視対象の対象物としての人等の生体が存在し、且つ、その生体の温度が、背景の被写体の温度よりも低い場合には、その生体の画像部分は、第２の２値画像において局所的な白領域となる。

例えば、外気温が所定温度よりも高温である状況下で、図５（ａ）に例示するような、基準カメラ１１Ｒ（又はカメラ１１Ｌ）の撮像画像が得られる。この場合、撮像領域ＡＲ０に存在する人（歩行者）の温度が背景の被写体の温度に比して低温となっていることに起因して、その人の画像部分が、図５（ａ）中に示すように暗い輝度の画像となっている。

この撮像画像における第１輝度ヒストグラム及び第２輝度ヒストグラムが、図４に示したヒストグラムである。そして、この場合、ＳＴＥＰ８では、図４に示す２値化用第２閾値Ｙth2によって空領域除外画像を２値化することで、図５（ｂ）に示すように第２の２値画像が生成される。この第２の２値画像において、図５（ａ）に示した人（歩行者）の画像部分が、局所的な白領域として得られることとなる。

なお、図５（ｂ）の第２の２値画像においては、除外用輝度値Ｙex以下の輝度値を有する画素（空が投影されているとみなされる画素）、すなわち、撮像画像のうちの空領域除外画像以外の部分の画素は、強制的に黒の画素に設定されている。

補足すると、ＳＴＥＰ８における空領域除外画像の２値化においては、Ｙth2以下の輝度値を有する低輝度値の画素を黒の画素、Ｙth2よりも大きい輝度値を有する高輝度値の画素を白の画素として、第２の２値画像を生成するようにしてもよい。

あるいは、２値化前の空領域除外画像の各画素の輝度値の高低を反転させてなる反転画像を生成し、この反転画像の各画素を、Ｙth2を反転させた閾値（以降、反転閾値という）以上の輝度値を有する画素と、該反転閾値よりも小さい輝度値を有する画素との２種類に分類することで、第２の２値画像（当該２種類の画素のうちの一方を白、他方を黒とする２値画像）を生成するようにしてもよい。

なお、上記反転画像は、より詳しくは、その各画素の輝度値が、空領域除外画像における輝度値Ｙを、最大輝度値（例えば８ビット階調の場合は、２５５の輝度値）から減算してなる値（＝最大輝度値−Ｙ）に一致する画像である。同様に、上記反転閾値は、最大輝度値から２値化用第２閾値Ｙth2を減算してなる値（＝最大輝度値−Ｙth2）である。

次いで、ＳＴＥＰ９では、対象物認識装置１０は、対象物画像抽出部３５の処理を実行する。このＳＴＥＰ９では、対象物画像抽出部３５は、第２の２値画像における白領域（白の画素（Ｙth2以下の低輝度値の画素）により構成される画像領域）から、生体の候補としての対象物の画像部分を抽出する。

このＳＴＥＰ９の抽出処理は、前記ＳＴＥＰ４の抽出処理を同じ仕方で行なわれる。この場合、生体の画像部分が、第２の２値画像において白領域の画像部分となることから、ＳＴＥＰ４と同じプログラム処理に処理により、対象物の画像部分を抽出できる。

なお、Ｙth2以下の低輝度値の画素を黒の画素、Ｙth2よりも高輝度値の画素を白の画素とすることで、第２の２値画像を生成するようにした場合には、第２の２値画像における黒領域から、生体の候補としての対象物の画像部分を抽出するようにすればよい。

以上説明したＳＴＥＰ２〜４及び６〜９の処理が、２値化処理部３２及び対象物画像抽出部３５の処理の詳細である。

対象物認識装置１０は、次に、ＳＴＥＰ１０の判断処理を実行する。この判断処理では、前記ＳＴＥＰ２〜９の処理によって、生体の候補としての対象物が抽出されたか否かが判断される。

この判断結果が否定的である場合には、対象物認識装置１０の今回の制御処理周期の処理は終了する。

一方、ＳＴＥＰ１０の判断結果が肯定的である場合には、対象物認識装置１０は、次にＳＴＥＰ１１の処理を接触回避処理部３６により実行する。

この処理では、接触回避処理部３６は、対象物画像抽出部３５により抽出された対象物（生体の候補）について、例えば前記特許文献１に記載されているものと同様の処理を実行することによって、該対象物の実空間位置の算出、該対象物が監視対象の生体であるか否かの特定、及び、該対象物が車両１と接触する可能性があるか否かの判定が行なわれる。

以下にその処理の概略を説明する。接触回避処理部３６は、カメラ１１Ｌ，１１Ｒのそれぞれにおける対象物の画像部分の視差に基づくステレオ測距の手法によって、対象物と車両１（自車両）との間の距離を推定する。さらに、接触回避処理部３６は、その距離の推定値と、基準カメラ１１Ｒの撮像画像における該対象物の画像部分の位置とに基づいて、対象物の実空間位置（自車両１に対する相対位置）を推定する。

接触回避処理部３６は、対象物の実空間位置が、撮像領域ＡＲ０のうち、図１に示すように設定される接触判定領域ＡＲ１（図１の点描領域）内の位置である場合に、該対象物（例えば図１にＰ１で示す対象物）と自車両１との将来の接触の可能性があると判断する。

上記接触判定領域ＡＲ１は、撮像領域ＡＲ０のうち、自車両１からの距離が、自車両１の車速（検出値）に応じて決定した距離値Ｚ１（例えば車速に所定の比例定数を乗じた値）以下となり、且つ、自車両１の正面前方で、自車両１の車幅αの両側のそれぞれに所定の余裕幅βを加算してなる幅（＝α＋２β）を有する領域として設定される。

また、接触回避処理部３６は、対象物の実空間位置が、撮像領域ＡＲ０のうち、接触判定領域ＡＲ１の左右の外側で図１に示すように設定される進入判定領域ＡＲ２，ＡＲ３（図１の車線領域）内の位置であり、且つ、該対象物の移動ベクトルの向きが接触判定領域ＡＲ１に進入する向きである場合にも、該対象物（例えば図１にＰ２、Ｐ３で示す対象物）と自車両１との将来の接触の可能性があると判断する。

上記進入判定領域ＡＲ２，ＡＲ３は、撮像領域ＡＲ０のうち、自車両１からの距離が、上記距離値Ｚ１以下となる領域から、接触判定領域ＡＲ１を除いた領域として設定される。

また、対象物の移動ベクトルの向きは、例えば該対象物の所定時間前までの実空間位置の推定値の時系列から特定される。

なお、上記接触判定領域ＡＲ１及び進入判定領域ＡＲ２，ＡＲ３は、自車両１の高さ方向にも範囲を有する領域（自車両１の車高よりも高い所定の高さ以下の領域）である。そして、該所定の高さよりも高い位置に存在する対象物は、自車両１との将来の接触の可能性が無いものと判断される。

また、接触回避処理部３６は、自車両１との将来の接触の可能性が有ると判断した対象物について、その対象物が人等の生体であるか否かを特定（確定）する。

この場合、基準カメラ１１Ｒの撮像画像における対象物（詳しくは、対象物画像抽出部３５により画像部分が抽出され、且つ、接触回避処理部３６により自車両１との将来の接触の可能性が有ると判断された対象物）の画像部分の形状、サイズ、輝度分布等の特徴に基づいて（例えば前記特許文献１に記載されている手法によって）、該対象物が人であるか否かが特定される。

なお、対象物が人でないと判定した場合に、さらに該対象物が四足動物等の野生動物であるか否かの判定を行うようにしてもよい。

また、対象物が人等の生体であるか否かを判定する手法は、特許文献１に記載されている手法以外に、種々様々の手法が公知となっており、そのいずれの手法を用いてもよい。

そして、接触回避処理部３６は、自車両１との接触の可能性があり、且つ、人等の生体であると特定された対象物について、前記注意喚起処理を実行する。

具体的には、接触回避処理部３６は、表示器１２に基準カメラ１１Ｒの撮像画像を表示させつつ、その撮像画像中の対象物（自車両１との接触の可能性がある生体）の画像を強調表示するように表示器１２を制御する。例えば、接触回避処理部３６は、表示器１２に表示させた撮像画像中の当該対象部の画像を所定色の枠で囲んで表示させ、あるいは、その枠を点滅させることにより、当該対象物の画像を強調表示する。

また、接触回避処理部３６は、撮像領域（監視領域）ＡＲ０に、自車両１との接触の可能性がある生体が存在することを示す警報音（又は音声）を出力させるようにスピーカ１３を制御する。

このような表示器１２の表示の制御と、スピーカ１３の制御とによって、自車両１との接触の可能性がある生体に関する視覚的な警報と聴覚的な警報とが運転者に対してなされる。ひいては、当該生体に対する運転者の注意が喚起される。これにより、運転者は、当該生体と、自車両１との接触を適切に回避し得るような運転操作（ブレーキ操作等）を行うこととなり、その接触を回避することができる。

なお、撮像領域ＡＲ０に自車両１との接触の可能性が有ると判断された生体が存在していても、前記ブレーキセンサ２３の出力によって、運転者による車両１のブレーキ操作が既になされていることが検知された場合には、上記の注意喚起処理を省略するようにしてもよい。

あるいは、車両１のブレーキ操作がなされている状況でも、例えばブレーキペダルの踏み込み量、あるいは、車両１の減速度合いに応じて、注意喚起処理を実行するか否かを選択するようにしてもよい。

補足すると、本実施形態では、生体と自車両１との接触を回避するために、表示器１２による視覚的な報知と、スピーカ１３による聴覚的な報知とによって、運転者の注意を喚起するようにしたが、一方の報知だけを行なうようにしてもよい。

あるいは、上記視覚的な報知と聴覚的な報知との両方又は一方の報知の代わりに、運転席を振動させる等の体感的な報知を行なうことで、運転者の注意を喚起するようにしてもよい。

また、車両１のブレーキ装置が、その制動力を、油圧制御等によって、ブレーキペダルの操作に応じた制動力から調整し得る構成のものである場合には、運転者の注意を喚起することに加えて、ブレーキ装置の制動力を自動的に増加させるようにしてもよい。

以上説明した本実施形態によれば、前記ＳＴＥＰ５の判断結果が肯定的となる状況、すなわち、カメラ１１Ｌ，１１Ｒの撮像領域ＡＲ０に人等の生体が存在する場合に、該生体の温度が該生体の周囲の物体（背景の被写体）の温度よりも低温となっている可能性の有る状況においては、ＳＴＥＰ６〜９の処理によって、該生体の候補としての対象物（背景の被写体よりも相対的に低温の対象物）の画像部分が第２の２値画像から抽出される。

この場合、第２の２値画像を生成するための２値化は、基準カメラ１１Ｒの撮像画像から空が投影されているとみなされる画像領域（除外用輝度値Ｙex以下の輝度値を有する画素により構成される画像領域）を除外してなる空領域除外画像に対して、Ｙexよりも高い輝度値の２値化用第２閾値Ｙth2を用いて実行される。

このため、背景の被写体よりも相対的に低温の対象物（生体の可能性が有る対象物）が、カメラ１１Ｌ，１１Ｒの撮像領域ＡＲ０に存在する場合に、基準カメラ１１Ｒの撮像画像における該対象物の画像部分の輝度値が、第２の２値化用第２閾値Ｙth2以下の輝度値になるようにすることができる。

従って、第２の２値画像における白領域（Ｙth2以下の低輝度値の画素により構成される領域）から、背景の被写体よりも相対的に低温の生体の候補としての対象物を適切に抽出するようにすることができる。

また、前記除外用輝度値Ｙexは、空の雲の有無や、撮像画像における空の画像領域の面積等に起因して、当該空の画像領域の輝度値のばらつきが発生することを反映させて可変的に設定される。このため、撮像画像における実際の空の画像領域の画素が、極力、空領域除外画像に含まれない（換言すれば、実際の空の画像領域の全体もしくは大部分の画素の輝度値がＹex以下となる）ように、除外用輝度値Ｙexを設定できる。

従って、空領域除外画像を２値化用第２閾値Ｙth2により２値化して生成される第２の２値画像における白領域（Ｙth2以下の低輝度値の画素により構成される領域）から、背景の被写体よりも相対的に低温の生体の候補としての対象物を、より高い確実性で抽出するようにすることができる。

次に、以上説明した実施形態の変形態様をいくつか説明する。

前記実施形態では、図３のＳＴＥＰ５の判断結果が肯定的となる場合にだけ、ＳＴＥＰ６〜９の処理を実行するようにした。ただし、ＳＴＥＰ５の判断処理を省略して、常時、ＳＴＥＰ６〜９の処理を実行するようにしてもよい。

また、ＳＴＥＰ６〜９の処理は、ＳＴＥＰ２〜４の処理よりも先に実行してもよく、あるいは、複数のＣＰＵにより、もしくは時分割処理により、ＳＴＥＰ２〜４の処理と並行して行なうようにしてもよい。

また、ＳＴＥＰ５の判断処理では、外気温が高温であるか否かだけを判断するようにしてもよい。

また、前記実施形態では、ステレオカメラを構成する２つのカメラ１１Ｌ，１１Ｒを備えるシステムを例示した。ただし、１つのカメラ（赤外線カメラ）だけを備えるシステムであってもよい。その場合、カメラの撮像画像中の生体等の対象物と自車両１との間の距離は、レーダ装置等の他の測距装置により計測してもよい。あるいは、カメラの撮像画像の時系列における対象物の画像部分のサイズの時間的変化率等から、該対象物と自車両１との間の距離を推定するようにしてもよい。

また、前記実施形態では、ＳＴＥＰ２〜４の処理によって、背景の被写体よりも相対的に高温の対象物の画像部分を抽出する処理を行うようにした。ただし、抽出しようとする対象物の温度が、その背景の被写体よりも低温であることが事前に判っているような場合には、ＳＴＥＰ２〜４の処理を省略して、ＳＴＥＰ６〜９の処理により、該対象物（相対的に低温の対象物）の画像部分を抽出するようにしてもよい。その場合、該対象物は、生体以外の物体であってもよい。

また、前記除外用輝度値Ｙexは、空の画像領域の輝度がほぼ一定の輝度に保たれることが判っているような状況では、一定値であってもよい。あるいは、空の画像領域の輝度代表値又は面積以外のパラメータに応じて、適宜、除外用輝度値Ｙexを変化させるようにしてもよい。

また、前記実施形態では、２値画像（第１の２値画像及び第２の２値画像）を生成した上で、対象物の画像部分を抽出するようにした。ただし、２値画像を生成せずに、カメラ１１Ｌ又は１１Ｒの撮像画像中で、２値化用第１閾値Ｙth1以上の輝度値を有する画素により構成される領域、あるいは、２値化用第２閾値Ｙth2以下の輝度値を有する画素により構成される領域から生体等の対象物の画像部分を抽出するようにしてもよい。

また、前記実施形態では、対象物認識装置１０及びカメラ１１Ｌ，１１Ｒが車両１に搭載されているシステムを例にとって説明した。ただし、撮像画像を取得するカメラ（赤外線カメラ）を道路や施設の出入口等、既定の箇所に設置する場合にも、本発明を適用することができる。

Claims (3)

1. 赤外線カメラの撮像画像を基に、該赤外線カメラの撮像領域に存在して、背景の温度よりも相対的に低温となっている対象物を認識する機能を有する対象物認識装置であって、
   前記撮像画像のうち、空が投影されている画素を示す所定値以下の輝度の画素を除外してなる各画素を、前記所定値よりも高い輝度値に設定された２値化用閾値以下の輝度値を有する低輝度画素と該２値化用閾値よりも高い輝度値を有する高輝度画素とに分類するように構成された２値化処理手段と、
   前記撮像画像のうち、前記低輝度画素により構成される画像領域から前記対象物の画像部分を抽出するように構成された対象物画像抽出手段と、
   前記撮像画像のうち、空が投影されている画像領域の面積又は該画像領域の輝度代表値に応じて前記所定値を変化させるように該所定値を設定するように構成された除外用輝度値設定手段とを備えることを特徴とする対象物認識装置。
2. 請求項１記載の対象物認識装置において、
   前記除外用輝度値設定手段は、前記空が投影されている画像領域の面積が大きいほど、又は、該画像領域の輝度代表値が大きいほど、前記所定値を大きくするように設定するように構成されていることを特徴とする対象物認識装置。
3. 請求項１記載の対象物認識装置において、
   前記２値化処理手段は、前記撮像画像のうち、前記所定値以下の輝度の画素を除く画素により構成される画像領域における輝度値と画素数との関係を示すヒストグラムに基づいて、前記２値化用閾値を設定するように構成された２値化用閾値設定手段を含むことを特徴とする対象物認識装置。