JP4534700B2 - 人物検出装置及び方法 - Google Patents

Description

本発明は、例えば車両の前方や後方に存在する人物を検出して、運転者等に提示するための人物検出装置及び方法に関する。

従来より、例えば車両の進行方向に存在する障害物として人物を検出するために、赤外線カメラによって、温度に相当する値を計測した結果を輝度におきかえた赤外線画像を撮像して、当該赤外線画像から人物を特定する技術としては、下記の特許文献１や特許文献２に記載された技術が知られている。

特許文献１に記載された技術では、先ず赤外線画像を、人物の頭部に相当する温度付近の画素と、それ以外の画素とで２値化する。次に、２値化して抽出した対象物の横幅に基づいて人物の頭部であると仮定して、当該対象物の周囲を矩形に切り、当該矩形内での輝度値の分散を調べる。そして、矩形内の輝度値の分散が人物を示す特徴を持つ場合に、矩形内の対象物を人物として検出している。

また、特許文献２に記載された技術では、先ず、温度に基づき人物の頭部に相当する部位を検出すると共に、胴体に相当する部位を検出する。そして、頭部相当の温度を持つ部位の下方に、胴体相当の温度を持つ部位が存在する場合に、当該頭部及び胴体付近の画像内位置を人物として検出している。
特開２００３−２８４０５７号公報 特開平１１−３２８３６４号公報

しかしながら、上述した従来の技術では、赤外画像上において、例えば人体のうち、頭部が最も温度が高く、且つ当該頭部よりも胴体の温度が低い温度分布であるという、予め設定された温度の特徴で人物が検出されることを前提としているので、人物の服装や周囲環境等によって予め設定した温度の特徴で温度分布が検出されなかった場合には、人物を検出することができなかった。

すなわち、従来では、予め設定した温度分布の特徴とは異なるような環境であった場合や、検出対象の人物が服装を着用している場合の温度分布については考慮していなかった。具体的には、背景の壁や路面の方が頭部より高い温度又は同程度の温度となるような夏場の環境では、胴部が検出されないため、予め設定した温度の特徴に該当せずに、人物検出が困難となる。また、気温が低く厚着をする冬期においては、上着の種類によって胴体の温度分布が様々なものとなり、予め設定した温度の特徴には該当しなくなってしまう。

そこで、本発明は、上述した実情に鑑みて提案されたものであり、周囲の気温や背景物体等に拘わらず、確実に人物を検出することができる人物検出装置及び方法を提供することを目的とする。

本発明では、物体の温度に相当する輝度値の画素からなる熱画像を撮像し、熱画像を撮像した時の周囲の環境を判定し、複数の人物検出処理のうち、何れかの人物検出処理を行って、熱画像のうち、人物に相当する領域を検出する。このとき、判定された環境に基づいて、複数の人物検出処理のうち、何れかの人物検出処理を選択し、選択された人物検出処理を行って検出された人物に相当する領域の物体が、人物である否かを判定することにより、上述の課題を解決する。

本発明によれば、周囲の環境に基づいて、複数の人物検出処理のうち、何れかの人物検出処理を選択し、選択された人物検出処理を行って検出された人物に相当する領域の物体が、人物である否かを判定するので、温度や湿度などの周囲の環境や背景物体等に拘わらず、熱画像内の人物を確実に検出することができる。

以下、本発明の実施の形態について図面を参照して説明する。

本発明は、例えば図１に示すように、自車両１の進行方向である前方が撮像範囲とされた遠赤外線カメラ１０（撮像手段）によって撮像された熱画像を用いて、人物を検出する人物検出装置２０に適用される。なお、図１（ａ）は、自車両１を側方から見た場合の遠赤外線カメラ１０の光軸を示し、図１（ｂ）は、自車両１を上方から見た場合の遠赤外線カメラ１０の光軸及び基準座標系を示している。この座標系は、横軸をＸ、縦軸をＹとし、左上画素を原点として画像内の画素位置を示す座標を求めることが可能となっている。

遠赤外線カメラ１０は、例えば車両のインストルメントパネルや、室内ミラー付近に設けられ、車両の前方を撮像範囲としている。この遠赤外線カメラ１０は、物体の温度値が高い部分ほど、高い輝度値となる熱画像データを生成して、人物検出装置２０に出力する。したがって、熱画像データの輝度値は、車両前方に存在する物体の温度に相当する値となる。

人物検出装置２０は、図２に示すようなステップＳ１〜ステップＳ７に示すような処理を行うための構成として、遠赤外線カメラ１０からの熱画像データを入力する入力Ｉ／Ｆ、画像メモリ、及び後述の各種処理の内容を記述したプログラム、当該プログラムを実行するＣＰＵ等からなる。

すなわち、この人物検出装置２０は、ステップＳ１で遠赤外線カメラ１０からの熱画像データを入力する入力Ｉ／Ｆ、ステップＳ２において熱画像データを記憶する画像メモリ、ステップＳ３において自車両１周囲の環境を判定する環境判定部（環境判定手段）、ステップＳ４において周囲の環境に応じた最適な処理を判定する最適処理判定部（最適処理判定手段）、ステップＳ５において周囲の環境に応じた最適な人物検出処理を実行する人物検出部（人物検出手段）、ステップＳ６において人物判定を行う人物判定部（人物判定手段）を有する。

このような人物検出装置２０は、先ず入力Ｉ／Ｆにより、遠赤外線カメラ１０からの熱画像データを入力すると（ステップＳ１）、当該熱画像データを画像メモリに保存する（ステップＳ２）。

ここで、人物の温度である皮膚温度は通常３６℃前後であり、熱画像データにおいて、人物と自車両１との距離が小さい場合には人物の皮膚部分が３６℃に近い輝度値となるが、人物と自車両１との距離が大きくなるほど、温度検出をするための赤外線電位が減衰して、人物周囲の温度や湿度の影響を受けた輝度値となる。また、路上の歩行者は様々は布地の服装をしており、熱画像に現れる輝度値は、服装表面温度に相当する。このため、薄着である場合の衣服部分は、体温に近くなるが、厚着である場合の衣服部分は、外気温度に近くなる。

したがって、熱画像の輝度値は、気温の高い日には、図３（ａ）に示すように、人物及び背景の温度が共に高くなると共に人物と周囲とが近い値で検出され、全体的に輝度値が高い熱画像データとなる。一方、熱画像の輝度値は、気温低い日には、図３（ｂ）に示すように、人物及び背景の温度が低くなると共に人物と周囲とが離れた値で検出されるが、人物全体で見ると、頭部、胴体、脚部で値が大きく異なっている。このように、気温の低い日には、同じ位置、同じ場面で熱画像を撮像しても、人物の服装によって、薄着の歩行者は、頭部及び手足部分が体温に近い温度、胴体部分が体温よりも低いが背景よりも高い輝度値で検出され、厚着の歩行者は薄着の歩行者の胴体部分よりも低い輝度値で検出される。ここで、図３及び以下に示す熱画像データの図では、輝度値が高いほど淡く、輝度値が低いほど濃く表現している。

このように、人物部分の輝度値は、周囲の気温や湿度、服装等に応じて大きく異なり、季節や天候、気候、気温、湿度ごとに特徴がある。したがって、季節や天候、気候、気温、湿度などの周囲の環境に最適な人物検出処理を選択可能とするために、環境判定部は、ステップＳ３において、自車両１の周囲の環境として気温や季節を判定することによって、ステップＳ２で記憶した熱画像を用いた人物検出処理を選択するために必要な環境データを取得する。

このとき、環境判定部は、例えばステップＳ２で記憶した熱画像の輝度値を求めることによって、現時点の温度、又は、温度と湿度などを判定する。ここで、自車両１周囲の湿度を判定するのは、湿度が低い場合と、湿度が高い場合とで赤外線の減衰度合いが異なり、温度に応じた輝度値が異なるためである。

また、環境判定部は、季節や天候によって人物の服装に特徴があるため、自車両１周囲の温度や湿度に加え、日付や天候を判定する。例えば、雨の日において、人物が傘やレインコートなどを身に付けている場合に、熱画像の輝度値や、後述する２値化処理における温度しきい値のみならず、傘を保持している場合には、人物頭部における熱画像上での形状が変化するためである。なお、人物頭部付近において、傘の存在を検出した場合には、後述の人物判定処理において人物と判定する等、天候の判定によって人物判定処理の結果を補正しても良い。

次に人物検出装置２０は、最適処理判定部により、ステップＳ３で判定された気温、湿度等に基づいて、最適な人物検出処理を選択する。このとき、最適処理判定部は、例えば図４に示すように、天候、気温、湿度、季節からなる環境データと、最適な人物検出処理（処理Ａ，Ｂ，Ｃ，・・・）を特定するための処理識別データとを対応付けたテーブルデータを参照する。このテーブルデータにおける複数の人物検出処理としては、後述するが、温度しきい値を変更して熱画像内の人物候補領域を検出する処理、熱画像の輝度値のヒストグラム、すなわち温度のヒストグラムを用いて人物候補領域を検出する処理、熱画像内の特徴を求めて人物候補領域を検出する処理等がある。そして、最適処理判定部は、ステップＳ３で判定された環境データに該当する人物検出処理を最適な処理として選択する。

次に人物検出装置２０は、ステップＳ５において、人物検出部により、ステップＳ４で選択された人物検出処理によって熱画像内の人物候補領域を検出する。なお、以下の説明では、環境データに応じて異なる温度しきい値を使用した２つの人物検出処理を行う場合について説明するが、ステップＳ５においては後述の他の人物検出処理を行っても良い。

このステップＳ５の人物検出処理は、ステップＳ４で気温が高いと判定された場合の人物検出処理と、ステップＳ４で気温が低いと判定された場合の人物検出処理を比較しながら、図５〜図８を参照して説明する。

この人物検出処理は、２値化処理を行う２値化処理部（２値化処理手段）、ラベリング処理を行うラベリング処理部（領域検出手段）、グループ化を行う対象となる領域を検出するグループ化対象領域検出部、グループ化を行うグループ化処理部（グループ化手段）によって行われる。

図５（ａ）に示すような気温が高い日の熱画像が得られような場合であって輝度値が平均的に高くなる熱画像データが取得される場合には、図５（ｂ）に示すように、上限しきい値及び下限しきい値を共に高くすると共に上限しきい値と下限しきい値との範囲を狭く設定した温度しきい値を使用する。これにより、図５（ａ）のように、人物部分と背景部分とが近い輝度値の熱画像データに対し、上限しきい値と下限しきい値との範囲に該当する人物部分の輝度値を「１」とし、該当しない輝度値を「０」とする２値化を行うことにより、図５（ｃ）に示す２値化画像を作成する。

一方、図５（ｄ）に示すような気温が低い場合であって輝度値が平均的に低くなる熱画像データが取得される場合には、図５（ｅ）に示すように、上限しきい値及び下限しきい値を共に低くすると共に上限しきい値と下限しきい値との範囲を広く設定した温度しきい値を使用する。これにより、図５（ｄ）のように、人物部分と背景部分とで輝度値が大きく異なる熱画像データに対し、上限しきい値と下限しきい値との範囲に該当する人物部分の輝度値を「１」とし、該当しない輝度値を「０」とする２値化を行うことにより、図５（ｆ）に示す２値化画像を作成する。

したがって、２値化処理部は、気温に拘わらず人物と背景とを分離することができるように、気温が低い場合と気温が高い場合とで異なる上限しきい値及び下限しきい値、上限しきい値と下限しきい値との範囲（人物検出範囲）を使用して２値化画像を作成することができる。

ここで、気温に適しない上限しきい値及び下限しきい値を使用した場合には、人物部分の温度値と背景部分の温度値とが近いために、背景部分も人物検出範囲となってしまい、全体の輝度値が「１」となる２値化画像となってしまうことや、気温の低い寒い日において、薄着の暖かい日と同様に人物全体の温度を含むような温度しきい値を設定した場合には、背景部分も人物検出範囲となってしまい、背景の壁部分も含み、人物と壁とが分離できていない２値化画像となってしまう。

このような不都合に対し、人物検出装置２０は、最適処理判定部によって異なる温度しきい値を使用する人物検出処理を選択することによって、後述するグルーピング処理により人物の胴体部分が含まれない２値化画像であっても人物の検出を可能とし、頭部や脚部などの人物部分を含む２値化画像とし、背景から大きな面積が抽出されない温度しきい値を使用させるようにしている。

次に人物検出装置２０は、気温が高い場合に選択された人物検出処理によって得られた２値化した画像、気温が低い場合に選択された人物検出処理によって得られた２値化した画像とで同じ処理内容であるラベリング処理、ノイズ除去処理、グループ化処理を行うことによって、人物候補領域を求める。

先ずラベリング処理では、２値化処理により作成された２値化画像を用いて、輝度値が「１」の領域であって、熱画像内で人物に相当する領域（人物候補領域）を検出するラベリング処理を行う。このとき、ラベリング処理部は、例えば２値化画像の左上の画素から順に、輝度値が「１」の画素を検索し、輝度値が「１」の隣接する又は所定距離以内の画素同士を１つの領域（ラベル）とする。

これにより、気温が高く暖かい日に得られる人物の頭部、胴部及び手足が連続する図６（ａ）の２値化画像に対してラベリング処理を行うことにより、図６（ｂ）に示すように、頭部、胴部、手足が連続したラベルａ、ラベルｂを抽出することができる。そして、ラベリング処理部は、図６（ｃ）に示すように、同じラベルを含む領域のフィレ径（Ｘ軸方向（左右方向）における最大及び最小の座標と、Ｙ軸方向（上下方向）における最大及び最小の座標を含む矩形）を設定してラベル領域ａ及びラベル領域ｂを抽出することができる。

一方、気温が低く寒い日に得られる人物の頭部、手、足とが分離する図６（ｄ）の２値化画像に対してラベリング処理を行うことにより、図６（ｅ）に示すように、頭部のラベルａ，ｂ、手のラベルｃ，ｄ，ｆ，ｈ、足のラベルｅ，ｇを抽出することができる。そして、ラベリング処理部は、図６（ｆ）に示すように、各ラベルについて、同じラベルを含む領域のフィレ径を設定してラベル領域ａ〜ｈを抽出することができる。

次にノイズ除去処理では、ラベリング処理によって検出されたラベル領域のうち、所定の画像面積よりも小さいラベル領域を排除し、所定の画像面積以上のラベル領域のみを選択する。ここで、所定の画像面積とは、自車両１からの人物検出対象距離以内に存在する人物を検出するように設定され、あまりに小さいラベル領域（例えば１〜２画素程度）をノイズとして排除すると共に、自車両１から離れていて自車両１の運転手に警報する必要がないようなラベル領域を排除するように設定されている。

すなわち、ノイズ除去処理では、ラベリング処理によって得られたラベルのうち、グループ化の対象とならないラベルを除去して、グループ化の対象となるラベルのみとする。これにより、人物検出装置２０は、図６（ａ），（ｄ）に示すように、上限しきい値と下限しきい値との間の輝度値となっていて、２値化画像に現れた背景部分のノイズを除去することによって、図６（ｂ），（ｅ）のような背景部分を除いて人物部分のみの画像とする。

また、このノイズ除去処理では、人物程度の大きさよりもあまりに小さいラベル領域を削除する場合のみならず、人物程度の大きさよりもあまりに大きいラベル領域を削除しても良い。これにより、壁等が背景に含まれており、人物程度の温度となっていて２値化画像に含まれた場合に、当該壁等の大きなラベル領域を除去することができる。

次にグループ化処理では、ラベル間の距離を検出し、当該距離が、所定の距離しきい値内のラベル同士を同じグループとして設定するグループ化を行う。ここで、所定の距離しきい値は、Ｙ軸方向（縦方向）の距離しきい値ｔｈｙと、Ｘ軸方向（横方向）の距離しきい値ｔｈｘとからなる。

ここで、人物検出装置２０の検出対象が人物であり、当該人物が歩行している状態では、熱画像内の人物が縦長に検出されることや、上述したように、気温の低い寒い日に取得した熱画像には、人物の胴体部分がラベリング処理で抽出されないことが多いことから、頭部と脚部との距離程度にＹ軸方向の距離しきい値ｔｈｙが設定されている。一方、Ｘ軸方向の距離しきい値ｔｈｘは、人物が縦長に検出されることから、Ｙ軸方向の距離しきい値ｔｈｙよりも短い人物の横幅程度であって、例えば、歩行者の脚部の幅程度の距離に設定されている。

これにより、グループ化処理では、図７に示すように、３個のラベルａ，ラベルｂ，ラベルｃが存在する場合に、当該ラベルａ〜ｃが距離しきい値ｔｈｙの範囲内且つ距離しきい値ｔｈｘの範囲内である時には、当該ラベルａ〜ｃを同一物体から検出されたラベル群としてグループし、ラベルａ〜ｃの最大及び最小のＸ座標と最大及び最小のＹ座標を含む矩形領域であって、距離ｘＬｎ，ｙＬｎ（ｎ＝１，２，３・・・）の人物候補領域を設定する。

具体的には、図８（ａ）のように気温が高い日に検出されたラベリング処理後の熱画像であって、ラベルａ、ラベルｂが検出されている場合、先ずグループ化処理では、ラベルａに着目し、ラベルａから距離しきい値ｔｈｘ，ｔｈｙの距離範囲に存在するラベルを検索する。この場合、熱画像データには、ラベルａとラベルｂとが含まれるが、ラベルａの距離しきい値ｔｈｘ内にラベルｂが存在しないので、ラベルａのみを単一の物体としてグループ化し、ラベルｂのみを単一の物体としてグループ化することができる。これにより、グループ化処理では、図８（ｂ）に示すように、ラベルａを含む人物候補領域Ａと、ラベルｂを含む人物候補領域Ｂとを設定することができる。

また、図８（ｃ）のように気温が低く寒い日に検出されたラベリング処理後の熱画像データであって、ラベルａ〜ｈが検出されている場合、先ずグループ化処理では、ラベルａから距離しきい値ｔｈｘ，ｔｈｙの距離範囲に存在するラベルを検索すると、Ｘ座標が略同じ且つ距離しきい値ｔｈｙの範囲内にラベルｃ，ｄ，ｅが検出される。そして、グループ化処理では、ラベルｃ，ｄ，ｅについて、それぞれ互いに縦方向の距離しきい値ｔｈｙ、横方向の距離しきい値ｔｈｘの範囲内に位置していることを検出することによって、ラベルａ，ｃ，ｄ，ｅを同一物体としてグループ化する。同様に、人物検出装置２０は、ラベルｂについても同様に距離しきい値ｔｈｘ，ｔｈｙの距離範囲のラベルを検索することによって、ラベルｂ，ｆ，ｇ，ｈを同一物体としてグループ化する。

これにより、グループ化処理では、人物の胴体部分がラベリング処理によって検出されているか否かに拘わらず、図８（ｄ）に示すように、縦方向距離ｙＬ１，横方向距離ｘＬ１の人物候補領域Ａ、縦方向距離ｙＬ２，横方向距離ｘＬ２の人物候補領域Ｂをグループ化結果として検出することができる。

なお、図８の例では、図示していないが、距離しきい値ｔｈｘ，ｔｈｙの距離範囲に他のラベルが存在していないラベルについては、単一のラベルを人物候補領域として設定して、グループ化結果とする。

このように人物検出処理では、気温や天候によって異なる温度しきい値を使用して２値化処理を行い、ラベリング処理、ノイズ除去処理、グループ化処理を行うことができる。具体的には、気温が高く暑い日には、人物全体を抽出する温度しきい値で２値化して人物候補領域を検出する一方で、気温が低く寒い日には、人物の薄着の部分や皮膚を検出するような温度しきい値で２値化して人物候補領域を検出することができる。このように、様々な環境に対応した異なる人物検出処理を行うことができる。

次に人物検出装置２０は、ステップＳ６において、人物判定部により、グループ化処理部によって検出された人物候補領域の大きさ及び縦横比を求めて、当該人物候補領域内の物体が人物であるか否かを判定する。

このとき、人物判定部は、図８（ｂ）、（ｄ）に示すように検出された人物候補領域の縦横比、すなわちｙＬｎ：ｘＬｎが人物程度となっているか否かを判定する。ここで、人物候補領域の縦横比は、縦：横が２：１〜３：２の範囲内である場合に、人物候補領域内のラベルが人物を構成するものであると判定する。このようにラベルが人物であることを判定するための縦横比は、気温によって人物の頭から足元まで確実にラベルの検出できているとは限らず、また、歩行すると手足が横方向に振れることから、実際の人物の縦横比より少し太めとするために、縦：横＝２：１〜３：２の範囲内としている。また、人物であることを判定するための縦横比は、縦：横を２：１〜３：２とする場合に限らず、子供の歩行者が多い時間帯などでは、例えば１．５：１のように、１：１より多少縦長に設定しても良い。

更に、人物判定部は、人物の歩行速度が通常４〜５ｋｍ／ｈ程度であることから、時間的に連続した検出結果である複数の人物候補領域を用い、人物の動きや連続検出回数などから、複数回連続して検出され、急激な移動がなく、かつ、縦横比が人物程度である物体を人物として判定してもよい。

更にまた、人物判定部は、熱画像内の人物が、自車両１からの距離が遠くなるほど、小さく検出されるために、人物候補領域の熱画像内の位置に基づいて、人物候補領域の物体が人物であるか否かを判定しても良い。

すなわち、遠赤外線カメラ１０は、図１０（ａ）に示すように、人物の温度をカメラレンズ１０ａを介して撮像面１０ｂで検出しており、自車両１から人物までの距離ｚ、焦点距離ｆに応じて、人物の高さＨに対して撮像面１０ｂに現れる人物高さｈｃ（＝画素数）が異なる。具体的には、画像内の人物高さｈｃは、
ｈｃ＝ｆ・Ｈ／ｚ （式１）
なる演算式で表現される。

つまり、上記式１より、自車両１と人物までの距離ｚが大きくなるほど、画像内での人物高さｈｃが小さくなり、図１０（ｂ）に示すように、自車両１の近方に存在する人物の画像内での高さｈｃ２よりも、自車両１の遠方に存在する人物の画像内での高さｈｃ１が小さくなる。

また、人物検出装置２０は、下記の式２の演算を行うことにより、上記式１における自車両１と人物との距離ｚを求める。ここで、図９（ａ）に示すように、路面に対する遠赤外線カメラ１０の設置高さＬは既知であり、当該遠赤外線カメラ１０の設置高さＬ、遠赤外線カメラ１０の焦点距離ｆから、人物の足の位置が撮像される画像内位置ｙｄは、式２に示すように、
ｙｄ＝ｆ・Ｌ／ｚ （式２）
なる演算式で表現される。

つまり、図９（ｂ）に示すように、画像内において検出された人物の足元に相当するＹ座標、すなわち人物温度領域の最下端の座標を足元の座標ｙｄと決めた場合に、距離ｚが求まり、当該距離ｚを式１に代入することによって、座標ｙｄに存在する人物の画像内高さｈｃを求めることができる。

このように距離ｚに応じた、実際の人物高さＨに対する人物の画像内高さｈｃは、距離ｚに存在する人物が遠赤外線カメラ１０で撮像されるべき頭部と脚部との距離に相当するため、熱画像内の画像内高さｈｃから式１におけるおおよその自車両１と人物との距離ｚを求めることができ、人物の足の位置が撮像される画像内位置ｙｄを求めることができる。

そして、実際の人物候補領域の最下端位置と、人物の足の位置が撮像される画像内位置ｙｄとが一致又は近い場合に、当該人物候補領域の物体が人物であることを判定することができる。したがって、この人物判定部では、グループ化処理によって得られた人物候補領域の縦横比、位置に基づいて、人物候補領域の物体が人物であるか否かを判定することができる。

次に人物検出装置２０は、ステップＳ７において、人物判定部によりグループ化領域内の物体が人物であると判定された場合には、例えば車載ディスプレイ等に人物の存在を提示する警報や、車両制御などを行う。このとき、人物検出装置２０は、ステップＳ１〜ステップＳ６の結果により、自車両１の前方に複数回（例えば３回）連続して人物が検出された場合に、警報や車両制御を行っても良い。

以上詳細に説明したように、本発明を適用した人物検出装置２０によれば、自車両１周囲の環境を判定して、当該判定された環境によって異なる人物検出処理を選択することができるので、環境によって熱画像に現れる人物部分の相違がある場合や、人物の形状が異なる場合であっても、確実に自車両１周囲の人物を検出することができる。

具体的には、遠赤外線カメラ１０では、同じ明るさ、同じ色の同じ人物を検出した場合であっても、現在の気温や周囲の物体の温度に応じて全く異なる画像が得られるため、ある人物の温度だけによって設定した温度しきい値を使用した人物検出処理のみでは、天候や気温によっては誤判定が発生することがある。これに対し、人物検出装置２０によれば、天候、気温等の環境に応じて最適な人物検出処理を行うことができ、季節や気温の変動に拘わらず、年間を通して安定した人物の検出が可能となる。

つぎに、上述したような人物検出装置２０に追加して有効な他の実施形態について説明する。なお、以下の説明では、上述した人物検出装置２０と略同じ機能を有する部分については同じ名称を使用するものとする。

「湿度に基づく最適処理判定」
先ず、上述した最適処理判定において、現在の湿度に応じて異なる温度しきい値を使用した人物検出処理を選択することについて説明する。

上述した人物検出処理においては、気温によって図５（ａ）、（ｄ）に示したように、輝度値が異なることによって、異なる温度しきい値を使用した場合について説明したが、自車両１周囲の湿度によって赤外線の減衰が異なるために、熱画像の輝度値に影響を及ぼし、湿度に応じて皮膚温度や背景温度が変化する。

すなわち、熱画像の人物部分においては、湿度が高いほど、輝度値が高くなる。これは、夏期において汗をかくような環境では、湿度が高いほど人物の汗の乾燥度合いが少なくなり、皮膚温度が低下しないことによる。例えば、気温３１℃の環境下において、湿度が３０％である時の皮膚温度よりも、湿度が７６％である時の皮膚温度が３℃高くなり、従って、熱画像の人物部分では、湿度が高いほど、輝度値が高くなる。そして、熱画像の輝度値を０〜２５５で表現するとし、実際の温度の１０℃〜４０℃に割り当てると、皮膚温度が１℃だけ変化することによって８．５に相当する輝度値が変化し、実際に皮膚温度が３℃変化すると、２５．５に相当する輝度値が変化することになる。

したがって、湿度が高い時の上限しきい値は、湿度が低い場合と比較して、約２５程度高く変更する。

一方、同温度の環境下において、湿度が異なる熱画像を比較すると、湿度が高いほど背景部分や空領域等の人物とは異なる画像の輝度値が低くなる。これは、湿度が高いほど、空気の赤外線エネルギの吸収率が高くなり、遠赤外線カメラ１０で検出される赤外線エネルギが小さくなることによる。具体的には、熱画像の輝度値を０〜２５５で表現するとし、実際の温度の１０℃〜４０℃に割り当てると、湿度が３０％である時の輝度値よりも、湿度が７６％である時の輝度値が２５程度低くなる。

したがって、空や背景領域の輝度範囲のうち、湿度３０％の低湿度状態での下限しきい値に対し、湿度７６％の高湿度状態での下限しきい値を輝度値として２０〜３０程度低く設定する。

これによって、最適処理判定部では、環境判定部によって判定された湿度が高いほど、図５（ｂ）、（ｅ）の上限しきい値及び下限しきい値を高く補正することができる。したがって、人物検出装置２０は、環境判定部により自車両１周囲の湿度を検出し、最適処理判定部により、湿度によって上限しきい値及び下限しきい値が異なる人物検出処理を選択することができる。

なお、人物検出装置２０の検出対象が歩行者である場合、自車両１から歩行者までの距離が遠い時には赤外線エネルギの減衰度合いが大きく、湿度が高く皮膚温度が上昇しても輝度値が高くならないことがあるが、人物検出装置２０は、検出対象とする人物と自車両１との距離に応じて、上限しきい値及び下限しきい値の湿度による変更度合いを調整しても良い。

「温度ヒストグラムに基づく最適処理判定」
つぎに、上述した最適処理判定において、熱画像から温度ヒストグラムを作成して人物検出処理を選択することについて説明する。この最適処理判定は、自車両１周囲の温度に基づいて、２値化処理を含む人物検出処理又は２値化処理を含まない人物検出処理を選択することを特徴とする。

上述したように、自車両１周囲の温度が高い場合には、図１１（ａ）に示すように全体的に輝度値が高く人物の輝度値と背景の輝度値との差が小さい熱画像が得られ、自車両１周囲の温度が低い場合には、図１１（ｃ）に示すように全体的に輝度値が低く人物の輝度値と背景の輝度値との差が大きい熱画像が得られる。

したがって、最適処理判定において、熱画像について輝度値のヒストグラム、すなわち温度ヒストグラムを作成すると、自車両１周囲の温度が高い場合には、図１１（ｂ）に示すように、各輝度値（温度値）ごとの度数が大きく分散が小さいヒストグラムが得られ、自車両１周囲の温度が低い場合には、図１１（ｄ）に示すように、各輝度値（温度値）ごとの度数が小さく分散が大きいヒストグラムが得られる。

また、図１１（ｂ）に示すヒストグラムによれば、人物程度の温度（３０℃〜４０℃）に相当する輝度値での度数が高くなっている。したがって、自車両１周囲の温度が高い場合には、熱画像の全体に亘って人物温度に相当する輝度値となることが判る。一方、図１１（ｄ）に示すヒストグラムによれば、人物温度に相当する輝度値での度数と、背景温度に相当する輝度値での度数とが略同程度に得られており、熱画像において人物温度と背景温度とが分離できることが判る。

そして、図１２に示すように、気温の高い日の熱画像（図１２（ａ））と、気温の低い日の熱画像（図１２（ｄ））に対し、人物程度の温度（３０℃〜４０℃）に相当する輝度値の範囲である同一の上限しきい値及び下限しきい値（図１２（ｂ）、（ｅ））を使用して２値化処理を行った場合、自車両１周囲の温度が高い熱画像の２値化後の画像は、図１２（ｃ）に示すように、人物及び背景を含む全体が人物温度として検出されてしまうが、自車両１周囲の温度が低い熱画像の２値化後の画像は、図１２（ｆ）に示すように、人物と背景とが分離されている。

したがって、最適処理判定部は、図１２（ｂ）、（ｅ）に示すような人物温度に相当する上限しきい値及び下限しきい値を使用する場合において、環境判定部によって図１２（ａ）に示すような熱画像となる自車両１周囲の温度が高いと判定された場合には、２値化処理を含まない人物検出処理を選択する。これに対し、最適処理判定部は、環境判定部によって図１２（ｄ）に示すような熱画像となる自車両１周囲の温度が低いと判定された場合には、上述したように２値化処理を行って人物温度領域を求める人物検出処理を選択する。

これによって、人物検出装置２０は、人物温度に相当する輝度となっている画像領域のみを確実に検出する上限しきい値及び下限しきい値を使用する場合であっても、気温に応じて２値化処理を含む人物検出処理又は２値化処理を含まない人物検出処理との何れかを選択することができる。

また、この人物検出装置２０によれば、環境判定部によって、遠赤外線カメラ１０で撮像された熱画像の温度ヒストグラムを求め、当該温度ヒストグラムから熱画像全体での温度分布を判定し、最適処理判定によって、図１１（ｄ）のように温度分布の幅が広い場合には上限しきい値及び下限しきい値を使用した２値化処理を行うことによって、広い温度分布から人物相当の温度のみ区別した２値化を行うことができる。したがって、この人物検出装置２０によれば、例えば人物温度が背景温度と異なる場合には、人物相当の温度領域だけを残す２値化処理を行うことで、人物部分を抽出する有効な処理を行うことができ、当該２値画像から人物温度領域の形状判定に基づいた人物検出が正確に行える。

一方、図１１（ｂ）のように温度ヒストグラムに基づいて温度分布の幅が狭い場合、すなわち、人物相当の温度に近い温度しか観測されていない場合は、２値画像処理以外の処理を行うことができる。すなわち、背景温度と人物温度が近い場合に、人物温度のみを抽出する２値化を行うと人物以外の領域も多く抽出されてしまい、エッジなどの情報がなく人物の検出が困難又は不可能な２値化後の画像となってしまう。これに対し、人物検出装置２０は、２値化処理以外の処理によって人物検出を行うことができ、季節・天候・気温に左右されない年間を通しての安定した人物検出が可能となる。

「過去データに基づく最適処理判定」
つぎに、上述した最適処理判定において、過去の処理によって取得したデータに基づいて人物検出処理を選択することについて説明する。

この人物検出装置２０は、撮像した熱画像に基づいて、人物が存在する人物候補領域の温度ヒストグラム、すなわち人物候補領域の輝度値のヒストグラムを調査する。また、人物検出装置２０は、人物候補領域の物体が人物と判定された時の気候、温度、湿度も記憶しておく。これにより、人物検出装置２０は、環境データと、人物の温度ヒストグラムと、人物以外の温度ヒストグラムとを調査したデータを蓄積する。

これに対し、最適処理判定部は、環境判定部によって現在の環境データが得られた場合に、当該環境データである時の人物の温度分布と人物以外の温度分布とを取得する。そして、最適処理判定部は、図１１（ｄ）に示すように人物の温度ヒストグラムと人物以外の温度ヒストグラムとの重複が少ない場合には、上限しきい値及び下限しきい値を使用した２値化処理を含む人物検出処理を選択する。一方、最適処理判定部は、図１１（ｂ）に示すように人物の温度ヒストグラムと人物以外の温度ヒストグラムとの重複が多い場合には、２値化処理を含まない人物検出処理を選択する。

また、人物検出装置２０は、過去において様々な温度しきい値を使用して２値化処理を行った場合に、人物検出処理で検出された人物候補領域のうち、人物候補領域の物体が人物であると判定された割合である認識率を更新している。これにより、人物検出装置２０は、環境判定部で判定された温度、湿度、季節等ごとに、温度しきい値に対する認識率をデータベースとして蓄積しておく。具体的には、図４に示したように、環境データと、処理識別データと、当該環境データ及び処理識別データに対する認識率を含むテーブルデータを記憶しておく。

なお、環境データ及び処理識別データに対する認識率を対応付けたテーブルデータは、天候、気候、湿度、季節に限らず、例えば温帯地域、熱帯地域などでは、季節とは別に地域特有の天候に対する最適な処理識別データを記憶しておいても良い。また、人物が検出される温度は、当該人物の服装の影響も受けるため、その地域特有の服装に対する温度等の環境データ、処理識別データ及び認識率を記憶したテーブルデータを用意しておいても良い。更に、過去の人物判定処理において判定した人物候補領域の縦横比に基づいて、自車両１が頻繁に走行する道路が、子供の多い道路や大人の多い道路であることが識別可能である場合には、環境データ、処理識別データ及び認識率に加えて、服装別、地域別、道路別にテーブルデータを作成しても良い。

そして、最適処理判定部は、環境判定部によって現在の環境データが得られた場合に、各種パラメータに基づいて、現在の環境データに該当する上限しきい値及び下限しきい値を使用した２値化処理を含む人物検出処理を選択することができる。

このように、人物検出装置２０によれば、過去の人物判定処理によって得られた人物の温度ヒストグラムと、人物以外の温度ヒストグラムとの重複度合いに基づいて、２値化処理を含む人物検出処理又は２値化処理を含まない人物検出処理の何れかを選択することができる。したがって、この人物検出装置２０によれば、単に周囲の気温や天候の環境データ、現時点のみの温度ヒストグラムの分散のみならず、過去の環境データにおける温度ヒストグラムの分散に基づき、背景の温度ヒストグラムと人物の温度ヒストグラムとの重複度合いを判定することができ、２値化処理を行った場合に、更に確実に人物を抽出することができる。

「温度ヒストグラムに基づく他の最適処理判定」
つぎに、上述した最適処理判定において、過去の処理において検出した熱画像から、人物の温度ヒストグラムと、人物以外の温度ヒストグラムとを求めておき、２値化処理を含む人物検出処理を選択した場合に、今回の処理における温度しきい値として最適な値を用いることを特徴とする。

気温が高く暖かい日に撮像された図１３（ａ）に示す熱画像において、当該熱画像の温度ヒストグラムは、図１３（ｂ）に示すように人物の温度ヒストグラムと人物以外の温度ヒストグラムとを含む。そして、図１３（ａ）の熱画像に対して人物判定処理までの処理が行われた状態において、人物が存在すると判定された人物候補領域内の温度ヒストグラム及び人物以外の温度ヒストグラムを取得することによって、図１３（ｃ）に示すような人物のみの温度ヒストグラムと、図１３（ｄ）に示すような人物以外の温度ヒストグラムを得ることができる。

このように人物検出装置２０は、過去の処理結果から、高い温度の環境データ及び人物の温度ヒストグラムを記憶しておき、以降の処理において環境データが取得された場合に、過去の処理から得た人物の温度ヒストグラムを参照して、人物の温度ヒストグラムのみを抽出する上限しきい値及び下限しきい値を使用する２値化処理を選択することができる。これにより、２値化処理において、図１３（ｂ）に示すように、人物の温度相当である範囲Ａの上限しきい値及び下限しきい値を設定することができる。

一方、気温が低く寒い日に撮像された図１３（ｅ）に示す熱画像において、当該熱画像の温度ヒストグラムは、図１３（ｆ）に示すように人物の温度ヒストグラムと人物以外の温度ヒストグラムとを含む。そして、図１３（ｅ）の熱画像に対して人物判定処理までの処理が行われた状態において、人物が存在すると判定された人物候補領域内の温度ヒストグラム及び人物以外の温度ヒストグラムを取得することによって、図１３（ｇ）に示すような人物のみの温度ヒストグラムと、図１３（ｈ）に示すような人物以外の温度ヒストグラムを得ることができる。

ここで、寒い日における人物の温度ヒストグラムは、胴体部分の服装等によって様々な温度が検出されるために、図１３（ｃ）の暖かい日の人物の温度ヒストグラムと比較して、温度ヒストグラムの範囲が広くなっている。これに対し、図１３（ａ）〜（ｄ）で説明した場合と同様に、図１３（ｇ）の温度ヒストグラムに従って、図１４（ｂ）に示す上限しきい値及び下限しきい値を設定し、図１４（ａ）に示すような気温の低い日の熱画像に対して２値化処理を行った場合には、図１４（ｃ）に示すように、人物の胴体部分を抽出することはできるが、背景部分も抽出されてしまう２値化後の画像となってしまう。

そこで、人物検出装置２０は、熱画像の温度ヒストグラムを調べて、当該温度ヒストグラムの分散が狭い場合には、図１３（ａ）の範囲Ａの画素を抽出する上限しきい値及び下限しきい値を使用した２値化処理を選択する。一方、人物の温度ヒストグラムの分散が図１３（ｇ）のように広い場合には、人物の温度変化の大きい部分、つまり、人物の胴体部など背景に同じ温度を多く含む温度ヒストグラムを除くように、人物の温度ヒストグラムから人物以外の温度ヒストグラムを除いた図１３（ｆ）の範囲Ａの画素を抽出する上限しきい値及び下限しきい値を使用した２値化処理を選択する。

このように人物検出装置２０は、過去の処理結果から、高い温度の環境データ及び人物の温度ヒストグラムを記憶しておき、以降の処理において環境データが取得された場合に、過去の処理から得た人物の温度ヒストグラムを参照して、人物の温度ヒストグラムのみを抽出する上限しきい値及び下限しきい値を使用する２値化処理を選択することができる。

例えば、寒い環境では、ダウンジャケットなどのように、表面がビニール製で中に厚着をした状態になると、上着の表面温度が外気とほぼ同じ又は外気より低く検出されることがあるが、薄手の服装や顔など皮膚が直接出ている部分では、周囲より高い温度として検出される。これに対し、人物の胴部を含む全体温度で上限しきい値及び下限しきい値を設定とすると、周囲温度に近い低い温度から、皮膚温度に近い高い温度までの幅広い範囲が２値化対象となるので、２値化後の画像に周囲が含まれてしまう恐れがある。

このような場面に対し、この人物検出装置２０によれば、人物を示す温度ヒストグラムの分散が広い場合には、確実に人物部分であると特定可能な温度範囲のみを対象とした上限しきい値及び下限しきい値を設定して２値化を行い、背景を排除することができ、特に、胴体など温度が低くなるような部分を検出せずに、顔や脚部など温度の高い領域のみを抽出する上限しきい値及び下限しきい値を設定することによって、確実に人物を検出することができる。

「温度しきい値に応じた最適処理判定」
つぎに、上述した最適処理判定において、２値化処理において使用する温度しきい値によって、２値化処理後の処理内容を選択することについて説明する。

上述したように、気温が高い暖かい日と、気温が低い寒い日とで、図５や図１３を参照して説明したように異なる２値化処理の上限しきい値及び下限しきい値を設定する。これに対し、最適処理判定部は、２値化処理を含む人物検出処理を選択した場合において、２値化処理での上限しきい値及び下限しきい値が設定された時に、当該上限しきい値及び下限しきい値を判定する。

そして、最適処理判定部は、人物全体についてのラベルを検出するような上限しきい値及び下限しきい値を使用する２値化処理である場合には、当該２値化後の熱画像にラベリング処理を施し、ラベルの縦横比と、ラベルの最下端位置と路面に相当する位置との位置関係とを取得する人物検出処理を選択する。そして、人物検出処理によって得られたラベルの縦横比及び位置関係から、人物判定部によって当該ラベルの物体が人物か否かを判定する。

一方、最適処理判定部は、人物の頭部及び脚部のラベルを検出するような上限しきい値及び下限しきい値を使用する２値化処理である場合には、２値化後の熱画像にラベリング処理を施し、複数のラベル間の距離と距離しきい値とを比較して人物候補領域を抽出するグループ化処理を行い、当該人物候補領域の縦横比と、人物候補領域の最下端位置と路面に相当する位置との位置関係とを取得する人物検出処理を選択する。ここで、最適処理判定部は、人物全体についてのラベルを検出する上限しきい値及び下限しきい値を使用するときの人物検出処理と比較して、グループ化処理を追加している。そして、人物検出処理によって得られた人物候補領域の縦横比及び位置関係から、人物判定部によって当該ラベルの物体が人物か否かを判定する。

したがって、環境データによって設定した２値化処理の上限しきい値及び下限しきい値に応じて、２値化後の処理を選択することができる。

このように人物検出装置２０によれば、上述したように、人物全体を抽出する温度しきい値を使用する場合には、ラベルの大きさ及び形状に基づいて人物判定処理を行わせ、人物の頭部及び脚部のように安定した温度領域のみを抽出する温度しきい値を使用する場合には、グループ化処理を行った上で人物判定処理を行わせるので、環境データによって検出可能なラベルの形状を用いて確実に人物を検出することができ、背景物体を人物として検出する誤検出を防止することができる。

「２値化処理を含まない人物判定処理」
つぎに、上述した最適処理判定部において、２値化処理を含まない人物判定処理の処理内容について説明する。

上述したように、気温が高く暑い日である場合において、人物温度と背景温度との差が小さく、２値化処理によっては人物のみを抽出できない場合において、２値化処理を含まない人物判定処理が最適処理判定部によって選択される。

このように２値化処理を含まない人物検出部は、熱画像を小領域に区分し、当該小領域ごとにエッジ等の特徴量の有無を検出する。このとき、人物検出部は、図１５（ａ）に示すように、路面に相当する熱画像の下方領域を所定サイズの小領域に区切る。このように路面に相当する領域を小領域に区分する対象とするのは、通常、路面全体では同程度の温度であることが多いため、人物などの路面とは異なる温度帯が存在しない場合は、一様な温度が観測されるためである。

したがって、人物検出部は、路面の温度を小領域ごとに検出し、図１５（ａ）で設定した小領域毎に温度差であるエッジや特徴量の有無を調べる。このとき、人物検出部は、縦方向及び横方向について輝度値の変化を検出し、輝度値に関して微分処理を行うことによってエッジを抽出する処理や、小領域内の輝度分散を調べて路面以外の輝度値を含むような所定範囲以上の分散が得られた場合には、路面以外の特徴が存在すると判定する処理を行う。

次に、人物検出部は、各Ｘ座標毎又は熱画像の縦方向に並ぶ小領域毎に、熱画像の下方から上方の順に、エッジ抽出量や特徴量が所定値以上となる小領域を検索し、熱画像内で最も下方に位置する所定値以上のエッジや特徴量を有する小領域の位置を求める。これにより、人物判定部は、図１５（ｂ）の網掛け部分で示すように、縦方向に並んだ複数の小領域のうち、所定値以上のエッジ又は特徴量を有する最も下方の小領域の位置を求める。このように求められたエッジ又は特徴量を有する小領域は、図１５（ｂ）の画像の左側のように壁や路面のへりに沿って存在し、熱画像の端から中心に向けて叙所に高い位置となって検出され、人物部分についても検出されている。

そして、人物検出部は、所定値以上のエッジ又は特徴量を有する小領域のうち、壁等の背景物体ではなく、人物に相当する小領域の位置を求める。

ここで、図１５（ｂ）に示すように、熱画像の左右端付近に壁があるために検出された小領域は、熱画像内で低い位置で検出されている。このように背景物体によって検出された所定値以上のエッジ又は特徴量を有する小領域を除き、人物部分によって現れた所定値以上のエッジ又は特徴量を有する小領域を判別する。

このとき、人物検出部は、所定値以上のエッジ又は特徴量を有すると検出された小領域のエッジ成分や特徴量の大きさや縦横比等の形状が人物程度の領域を占めているか否かを判定する。また、所定値以上のエッジ又は特徴量を有すると検出された小領域の輝度値が人物程度か否かを判定しても良い。

このような人物検出処理によれば、熱画像の路面領域のうち、エッジ又は特徴量がある所定値以上のエッジまたは特徴量が検出される位置を求める。そして、所定値以上のエッジまたは特徴量が検出される位置の輝度値が人物相当の温度であるか否か、大きさや形状が人物程度であるか否かによって、人物を検出することができる。これにより、人物検出装置２０によれば、２値化処理による人物検出が困難な気候、環境であっても、人物を確実に検出することが可能になる。

なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。

本発明を適用した人物検出装置を搭載した自車両の概略構成を示す図であって、（ａ）は側面図、（ｂ）は上面図である。 本発明を適用した人物検出装置によって、自車両前方の人物を検出する処理手順及び人物検出装置の機能的な構成を説明するためのフローチャートである。 遠赤外線カメラによって撮像される熱画像の相違を説明するための図であって、（ａ）は気温が高く暖かい日に撮像される熱画像、（ｂ）は気温が低く寒い日に撮像される熱画像である。 周囲の環境に対して最適な人物検出処理を選択するに際して参照されるテーブルデータについて説明するための図である。 遠赤外線カメラで撮像した熱画像を２値化した熱画像を作成する処理を説明するための図であって、（ａ）は気温が高い日に撮像される熱画像、（ｂ）は気温が高い日に使用する温度しきい値、（ｃ）は気温が高い日に作成される２値化後の熱画像、（ｄ）は気温が低い日に撮像される熱画像、（ｅ）は気温が低い日に使用する温度しきい値、（ｆ）は気温が低い日に作成される２値化後の熱画像である。 ２値化後の熱画像に対するラベリング処理及びノイズ除去処理を説明するための図であって、（ａ）は気温が高い日に撮像された熱画像を２値化した画像、（ｂ）は（ａ）の画像に対してラベリング処理及びノイズ除去処理をした後の画像、（ｃ）は（ｂ）の画像に対してラベルの領域を設定した画像、（ｄ）は気温が低い日に撮像された熱画像を２値化した画像、（ｅ）は（ｄ）の画像に対してラベリング処理及びノイズ除去処理をした後の画像、（ｆ）は（ｅ）の画像に対してラベルの領域を設定した画像である。 グループ化処理について説明するための図である。 グループ化処理について説明するための図であって、（ａ）はラベリング処理後の画像、（ｂ）は（ａ）の画像に対してグループ化処理をした後の画像、（ｃ）はラベリング処理後の画像、（ｄ）は（ｃ）の画像に対してグループ化処理をした後の画像である。 熱画像内に現れる人物の足元の位置を求める処理を説明するための図であって、（ａ）は原理図、（ｂ）は自車両からの距離によって熱画像内の人物の足元の位置が変わることを説明するための図である。 熱画像内に現れる人物高さを求める処理を説明するための図であって、（ａ）は原理図、（ｂ）は自車両からの距離によって熱画像内の人物高さが変わることを説明するための図である。 温度ヒストグラムに基づいて人物検出処理を選択することを説明するための図であって、（ａ）は気温が高い日に撮像される熱画像、（ｂ）は（ａ）の温度ヒストグラム、（ｃ）は気温が低い日に撮像される熱画像、（ｄ）は（ｃ）の温度ヒストグラムである。 同一の上限しきい値及び下限しきい値を使用した場合の２値化画像の比較について説明するための図であり、（ａ）は気温が高い日に撮像される熱画像、（ｂ）は温度しきい値、（ｃ）は（ａ）の画像を（ｂ）の温度しきい値を用いて２値化した後の熱画像、（ｄ）は気温が低い日に撮像される熱画像、（ｅ）は温度しきい値、（ｆ）は（ｄ）の画像を（ｅ）の温度しきい値を用いて２値化した後の熱画像である。 温度ヒストグラムに基づいて上限しきい値及び下限しきい値を設定する処理を説明するための図であって、（ａ）は暖かい日に撮像される熱画像、（ｂ）は（ａ）の全体の温度ヒストグラム、（ｃ）は（ａ）の人物の温度ヒストグラム、（ｄ）は（ａ）の人物以外の温度ヒストグラム、（ｅ）は寒い日に撮像される熱画像、（ｆ）は（ｅ）の全体の温度ヒストグラム、（ｇ）は（ｅ）の人物の温度ヒストグラム、（ｈ）は（ｅ）の人物以外の温度ヒストグラムである。 不適切な上限しきい値及び下限しきい値を使用した２値化処理を説明するための図であって、（ａ）は気温が低い日に撮像される熱画像、（ｂ）は温度しきい値、（ｃ）は（ａ）の画像を（ｂ）の温度しきい値を用いて２値化した後の熱画像である。 本発明を適用した人物検出装置において、２値化処理を含まない人物検出処理について説明するための図であって、（ａ）は熱画像の路面相当部分を小領域に区切った様子、（ｂ）は小領域のうち所定値以上のエッジ又は特徴が得られた様子を示す図である。

符号の説明

１ 自車両
１０ 遠赤外線カメラ
２０ 人物検出装置

Claims (7)

1. 物体の温度に相当する輝度値の画素からなる熱画像を撮像する撮像手段と、
   前記撮像手段により熱画像を撮像した時の周囲の環境を判定する環境判定手段と、
   複数の人物検出処理のうち、何れかの人物検出処理を行って、前記撮像手段により撮像された熱画像のうち、人物に相当する領域を検出する人物検出手段と、
   前記環境判定手段によって判定された周囲の環境に基づいて、前記人物検出手段が行う複数の人物検出処理のうち、何れかの人物検出処理を選択する最適処理判定手段と、
   前記最適処理判定手段によって選択された人物検出処理を行って前記人物検出手段により検出された人物に相当する領域の物体が、人物である否かを判定する人物判定手段と を備え、
   前記環境判定手段は、前記熱画像の輝度値を検出して、周囲の温度毎の度数である温度ヒストグラムを求め、当該温度ヒストグラムに基づいて周囲の温度分散を判定し、
   前記最適処理判定手段は、
   前記環境判定手段により判定された周囲の温度分散が広い場合には、前記撮像手段で撮像された熱画像のうち、人物の温度に相当する輝度値の上限しきい値と下限しきい値との範囲内の画素と、人物の温度に相当する輝度値の上限しきい値と下限しきい値との範囲外の画素とを区別した２値化画像を作成する人物検出処理を選択し、
   前記環境判定手段により判定された周囲の温度分散が狭い場合には、前記２値化画像を作成する処理を含まない人物検出処理を選択すること
   を特徴とする人物検出装置。
2. 物体の温度に相当する輝度値の画素からなる熱画像を撮像する撮像手段と、
   前記撮像手段により熱画像を撮像した時の周囲の環境を判定する環境判定手段と、
   複数の人物検出処理のうち、何れかの人物検出処理を行って、前記撮像手段により撮像された熱画像のうち、人物に相当する領域を検出する人物検出手段と、
   前記環境判定手段によって判定された周囲の環境に基づいて、前記人物検出手段が行う複数の人物検出処理のうち、何れかの人物検出処理を選択する最適処理判定手段と、
   前記最適処理判定手段によって選択された人物検出処理を行って前記人物検出手段により検出された人物に相当する領域の物体が、人物である否かを判定する人物判定手段と を備え、
   前記環境判定手段は、周囲温度を検出し、
   前記最適処理判定手段は、気温ごとに人物の温度分布及び人物以外の温度分布を記憶しておき、
   前記環境判定手段により検出された周囲温度についての人物の温度分布と人物以外の温度分布との重複度合いが少ない場合には、前記撮像手段で撮像された熱画像のうち、人物の温度に相当する輝度値の上限しきい値と下限しきい値との範囲内の画素と、人物の温度に相当する輝度値の上限しきい値と下限しきい値との範囲外の画素とを区別した２値化画像を作成する人物検出処理を選択し、
   前記環境判定手段により検出された周囲温度についての人物の温度分布と人物以外の温度分布との重複度合いが多い場合には、前記２値化画像を作成する処理を含まない人物検出処理を選択すること
   を特徴とする人物検出装置。
3. 前記最適処理判定手段により２値化画像を作成する人物検出処理を選択した場合において、
   前記環境判定手段は、前記熱画像の輝度値を検出して、周囲の温度毎の度数である温度ヒストグラムを求め、当該温度ヒストグラムに基づいて周囲の温度分散を判定し、
   前記最適処理判定手段は、
   前記環境判定手段により判定された周囲の温度分散が広い場合には、温度変化の大きい人物部分を除いて人物を検出する上限しきい値及び下限しきい値を用いて２値化画像を作成する人物検出処理を選択し、
   前記環境判定手段により判定された周囲の温度分散が狭い場合には、人物全体に相当する温度範囲を検出する上限しきい値及び下限しきい値を用いて２値化画像を作成する人物検出処理を選択すること
   を特徴とする請求項２に記載の人物検出装置。
4. 前記人物検出手段は、
   前記最適処理判定手段により人物全体に相当する温度範囲を検出する上限しきい値及び下限しきい値を用いて２値化画像を作成する人物検出処理が選択された場合に、当該上限しきい値及び下限しきい値を用いて２値化画像を作成し、人物に相当する温度範囲の画素群が所定面積以上となっている領域を検出し、当該領域の大きさ及び形状に基づいて前記人物判定手段により人物か否かの判定をさせ、
   前記最適処理判定手段により温度変化の大きい人物部分を除いて人物を検出する上限しきい値及び下限しきい値を用いて２値化画像を作成する人物検出処理が選択された場合に、当該上限しきい値及び下限しきい値を用いて２値化画像を作成し、人物に相当する温度範囲の画素群が所定面積以上となっている領域を検出し、当該領域のうち、所定の距離しきい値以内に存在する一又は複数の領域を人物候補領域としてグループ化し、当該人物候補領域の大きさ及び形状に基づいて前記人物判定手段により人物か否かの判定をさせること を特徴とする請求項３に記載の人物検出装置。
5. 前記２値化画像を作成する処理を含まない人物検出処理は、予め設定された前記熱画像の路面領域に存在する特徴を検出し、
   前記人物判定手段は、前記人物検出手段により検出された特徴の位置の輝度値が人物相当の温度であり、当該特徴が検出された領域の大きさ及び形状が人物である場合に、人物であることを判定することを特徴とする請求項１又は請求項２の何れかに記載の人物検出装置。
6. 撮像手段が物体の温度に相当する輝度値の画素からなる熱画像を撮像すると共に、ＣＰＵが当該熱画像を撮像した時の周囲の環境を判定するステップと、
   前記ＣＰＵが、前記判定した周囲の環境に基づいて、前記熱画像から人物に相当する領域を検出する複数の人物検出処理のうち、最適な人物検出処理を選択するステップと、
   前記ＣＰＵが、前記選択された最適な人物検出処理を行って、前記撮像手段により撮像された熱画像のうち、人物に相当する領域を検出するステップと、
   前記ＣＰＵが、前記人物に相当する領域の物体が人物であるか否かを判定するステップとを有し、
   前記環境を判定するステップは、前記熱画像の輝度値を検出して、周囲の温度毎の度数である温度ヒストグラムを求め、当該温度ヒストグラムに基づいて周囲の温度分散を判定し、
   前記最適な人物検出処理を選択するステップは、
   前記環境を判定するステップにより判定された周囲の温度分散が広い場合には、前記撮像手段で撮像された熱画像のうち、人物の温度に相当する輝度値の上限しきい値と下限しきい値との範囲内の画素と、人物の温度に相当する輝度値の上限しきい値と下限しきい値との範囲外の画素とを区別した２値化画像を作成する人物検出処理を選択し、
   前記環境を判定するステップにより判定された周囲の温度分散が狭い場合には、前記２値化画像を作成する処理を含まない人物検出処理を選択すること
   を特徴とする人物検出方法。
7. 撮像手段が物体の温度に相当する輝度値の画素からなる熱画像を撮像すると共に、ＣＰＵが当該熱画像を撮像した時の周囲の環境を判定するステップと、
   前記ＣＰＵが、前記判定した周囲の環境に基づいて、前記熱画像から人物に相当する領域を検出する複数の人物検出処理のうち、最適な人物検出処理を選択するステップと、
   前記ＣＰＵが、前記選択された最適な人物検出処理を行って、前記撮像手段により撮像された熱画像のうち、人物に相当する領域を検出するステップと、
   前記ＣＰＵが、前記人物に相当する領域の物体が人物であるか否かを判定するステップとを有し、
   前記環境を判定するステップは、周囲温度を検出し、
   前記最適な人物検出処理を選択するステップは、気温ごとに人物の温度分布及び人物以外の温度分布を記憶しておき、
   前記環境を判定するステップにより検出された周囲温度についての人物の温度分布と人物以外の温度分布との重複度合いが少ない場合には、前記撮像手段で撮像された熱画像のうち、人物の温度に相当する輝度値の上限しきい値と下限しきい値との範囲内の画素と、人物の温度に相当する輝度値の上限しきい値と下限しきい値との範囲外の画素とを区別した２値化画像を作成する人物検出処理を選択し、
   前記環境を判定するステップにより検出された周囲温度についての人物の温度分布と人物以外の温度分布との重複度合いが多い場合には、前記２値化画像を作成する処理を含まない人物検出処理を選択すること
   を特徴とする人物検出方法。