JP5782870B2 - 検出装置及び検出方法 - Google Patents

Description

本発明は、検出装置及び検出方法に関する。

赤外線センサーなどを用いて人体等を検出する装置の開発が行われている。このような装置は、車両周囲に人物等が存在する場合に、その旨を車両の乗員に認識させることなどに用いられる。

特許文献１には、ミリ波の反射波が微弱である人物を車両等と区別して検出するために遠赤外線カメラの撮像画像を補助的に利用することが示されている。特許文献２には、物体の温度に相当する輝度値が閾値の範囲内か否かに基づいて人物を検出することが示されている。

特開２０１０−１２７７１７号公報 特開２００６−１０１３８４号公報

上述の手法は、基本的に、人物の温度に近い温度が見つかった場合に人物であると判定している。人物の表面温度はその人物の周囲の温度（環境温度）によって変化する。しかしながら、上述の手法では、環境温度により人物の表面温度が変化することは考慮されていなかった。例えば、夏の人物は薄着となるため表面温度は体温近辺となるが、冬の人物は厚着となるため表面温度は環境温度に近い温度となる。すなわち、季節によっては、検出が困難となる場合がある。

また、顔など肌が露出している部分の温度は、季節にかかわらずほぼ一定とみることもできるが、顔の向き、髪型、着衣等により常に撮影されるとは限らないため、有効に検出できるか否かは定かではない。すなわち、検出対象物の温度が環境温度によって変わる場合において、精度良く検出対象物を検知することができないという問題がある。
本発明は、このような事情に鑑みてなされたものであり、検出対象物の検出精度を向上させることを目的とする。

上記目的を達成するための主たる発明は、
温度に応じた階調値を含む検出対象画像を生成する画像生成部と、前記検出対象画像から、前記検出対象画像の第１領域の階調値が所定範囲の階調値であるか否かに基づいて検出対象物を検出する検出部とを含み、
前記所定範囲の階調値は、前記検出対象画像における第２領域の階調値が第１の階調値である場合には第１の所定範囲の階調値であり、前記検出対象画像における第２領域の階調値が第２の階調値である場合には第２の所定範囲の階調値であり、
前記画像生成部は、前記検出対象画像を含む全体画像から複数の画像をクロッピングすることにより前記検出対象画像を複数生成し、
前記複数の検出対象画像のそれぞれについて前記検出対象物の検出を行うことにより、前記全体画像における前記検出対象物の位置を特定する、検出装置である。
本発明の他の特徴については、本明細書及び添付図面の記載により明らかにする。

本実施形態における人物検出システム１の概略構成を示すブロック図である。 クロッピング画像の一例の説明図である。 学習用画像の一例の説明図である。 背景領域階調値Ｔｂと人物領域推定階調値Ｔｆ’との関係を求めるためのフローチャートである。 本実施形態における人物検出処理（全体画像）のフローチャートである。 本実施形態における人物検出処理（クロッピング画像）のフローチャートである。 探索窓の移動の様子の説明図である。 本実施形態における人物検出処理の検出精度の説明図である。 比較例の人物検出処理の検出精度の説明図である。

本明細書及び添付図面の記載により、少なくとも、以下の事項が明らかとなる。すなわち、
温度に応じた階調値を含む検出対象画像から、前記検出対象画像の第１領域の階調値が所定範囲の階調値であるか否かに基づいて検出対象物を検出する検出部を含み、
前記所定範囲の階調値は、前記検出対象画像における第２領域の階調値が第１の階調値である場合には第１の所定範囲の階調値であり、前記検出対象画像における第２領域の階調値が第２の階調値である場合には第２の所定範囲の階調値である、検出装置である。
所定範囲の階調値は、第２領域の階調値が第１の階調値である場合には第１の所定範囲の階調値であり、前記検出対象画像における第２領域の階調値が第２の階調値である場合には第２の所定範囲の階調値である。よって、第１領域の階調値が所定範囲の階調値であるか否かに基づいて、温度に応じた階調値を含む検出対象画像から検出対象物を検出することにより、例えば、第１領域の階調値が第２領域の階調値に応じて変化する場合にも、検出対象物の検出精度を向上させることができる。

また、前記所定範囲の階調値は、前記第１領域の階調値と前記第２領域の階調値との関係を示す一次式を含む式で表され、
前記一次式の係数は、前記検出対象物を含む複数の学習用画像における前記第１領域の階調値と前記第２領域の階調値を用いた最小二乗法により求められることが望ましい。
このようにすることによって、第１領域の階調値と第２領域の階調値との関係が所定の式によって表される場合に、式の係数を適切に求めることができるので、検出対象物の検出精度を向上させることができる。

また、前記第１領域は、前記検出対象画像において前記第２領域よりも中央寄りの領域であることが望ましい。
検出対象物は画像の中央に存在する可能性が高いため、検出に使用される第１領域を検出対象画像の中央寄りの領域とすることで、検出対象物が検出される確率が高くなる。従って、より検出精度を向上させることができる。

また、前記第２領域は、前記検出対象画像の中央から最も遠い領域であることが望ましい。
検出対象物が検出対象画像の中央付近に存在する可能性が高い場合、検出対象物周辺の領域は、検出対象画像の中央から遠い領域である可能性が高い。そのため、第２領域を検出対象画像の中央から最も遠い領域とすることで、第２領域に検出対象物が含まれない確率が高くなる。より検出精度を向上させることができる。

また、前記第２領域の階調値は、前記検出対象物の環境温度に応じた階調値であることが望ましい。
このようにすることで、検出対象物の温度が環境温度に応じて変化する場合であっても、適切に検出対象物を検出することができる。

また、かかる検出装置であって、前記検出対象画像を生成する画像生成部をさらに含み、前記画像生成部は、前記検出対象画像を含む全体画像から複数の画像をクロッピングすることにより前記検出対象画像を複数生成し、前記複数の検出対象画像のそれぞれについて前記検出対象物の検出を行うことにより、前記全体画像における前記検出対象物の位置を特定することが望ましい。
このようにすることで、全体画像において複数の検出対象物が存在する場合であっても、それぞれの検出対象物を検出することができ、さらに、全体画像における検出対象物の位置を特定することができる。

また、本明細書及び添付図面の記載により、少なくとも、以下の事項も明らかとなる。すなわち、
温度に応じた階調値を含む検出対象画像から、前記検出対象画像の第１領域の階調値が所定範囲の階調値であるか否かに基づいて検出対象物を検出することを含み、
前記所定範囲の階調値は、前記検出対象画像における第２領域の階調値が第１の階調値である場合には第１の所定範囲の階調値であり、前記検出対象画像における第２領域の階調値が第２の階調値である場合には第２の所定範囲の階調値である、検出方法である。

所定範囲の階調値は、第２領域の階調値が第１の階調値である場合には第１の所定範囲の階調値であり、前記検出対象画像における第２領域の階調値が第２の階調値である場合には第２の所定範囲の階調値である。よって、第１領域の階調値が第２領域の階調値に応じて変化する所定範囲の階調値であるか否かに基づいて、温度に応じた階調値を含む検出対象画像から検出対象物を検出することにより、例えば、第１領域の階調値が第２領域の階調値に応じて変化する場合にも、検出対象物の検出精度を向上させることができる。

＝＝＝実施形態＝＝＝
図１は、本実施形態における人物検出システム１の概略構成を示すブロック図である。以下に示す実施形態では、人物を検出するシステムとして説明を行うが、検出対象物はこれに限られない。図１には、人物検出システム１に含まれる赤外線カメラ１１０と、人物検出装置１２０と、表示装置１３０が示されている。本実施形態では、赤外線カメラ１１０と、人物検出装置１２０と、表示装置１３０とは、それぞれ別体であり、電気的に接続されているが、これらのうち少なくとも２つが一体の装置であってもよい。

赤外線カメラ１１０（センサーに相当）は、中赤外線から遠赤外線の範囲の波長をとらえデジタル値の映像信号を人物検出装置１２０の画像取得部１２２に送信する。赤外線カメラ１１０は、不図示の撮像部とアナログデジタル変換部（Ａ／Ｄ変換部）を含む。撮像部は、赤外線カメラの受光素子に対応するものであり、受光素子が受光した赤外領域の光に対応した信号を人物検出装置１２０に出力する。Ａ／Ｄ変換部は、撮像部で得られたアナログ信号をデジタル信号に変換する機能を有する。

ここで、中赤外線は２．５μｍ〜４．０μｍの波長、遠赤外線は４μｍ〜１０００μｍの波長を有する赤外光である。本実施形態では、赤外線カメラ１１０は８〜１４μｍの波長を検知し、人物の体温を検出対象とするが、この波長に限られず、温度を検出できる波長であればこれに限られない。赤外線カメラ１１０は、車両のフロントグリル部などに搭載される。そして、自車両（赤外線カメラ１１０が搭載された車両）から前方方向の環境を撮影する。

人物検出装置１２０は、画像取得部１２２と画像メモリー１２４と制御部１２６と記憶部１２８を含む。そして、後述するような処理により、表示装置１３０に表示するデータを生成する。これら画像取得部１２２、画像メモリー１２４、制御部１２６、及び、記憶部１２８は、例えば、不図示の中央演算装置（ＣＰＵ）、ランダムアクセスメモリー（ＲＡＭ）及びハードディスク（ＨＤＤ）などにより実現される。

画像取得部１２２は、赤外線カメラ１１０が得た映像（例えば、１５ｆｐｓの映像）を取得し、この映像からフレーム画像（以下、「画像」と呼ぶ）を取得する。そして、得られた各画像は画像メモリー１２４に送られる。

画像メモリー１２４は、画像取得部１２２から送られた画像を一時的に記憶する。制御部１２６は、人物検出処理を行うための演算を行う。具体的な人物検出処理については、後述する。

記憶部１２８は、学習モデルなどのデータを保存する。具体的には、後述する図８に示すような、推定された人物領域階調値Ｔｆ’（以下、「人物領域推定階調値Ｔｆ’」）の式、及び、範囲Ｖを記憶する。このような人物領域推定階調値Ｔｆ’は、本実施形態において、背景領域階調値Ｔｂを変数とする一次式で表される。

表示装置１３０は、例えば、赤外線画像として得られている自車両前方映像を表示するディスプレイである。表示装置１３０には、さらに人物の検出結果として、検出された人物を強調表示することもできる。

図２は、クロッピング画像の一例の説明図である。図２には、後述するクロッピング画像における人物領域階調値Ｔｆと背景領域階調値Ｔｂが示されている。ここで、クロッピング画像（検出対象画像に相当する）は、前述のフレーム画像から切り出される所定サイズの画像である。このクロッピング画像のサイズは任意に決めることができる。

背景領域階調値Ｔｂと人物領域階調値Ｔｆは、ともに、赤外線カメラ１１０の出力、すなわち赤外線カメラ１１０が検知した温度、に応じて変換された階調値である。この画像は画素単位で温度情報を有する画像である。よって、これらの階調値は、それぞれ対応する領域の温度を表すものとみることもできる。本実施形態では、クロッピング画像における人物領域階調値Ｔｆが所定範囲内の階調値であるか否かに基づいて人物検出を行うが、この所定範囲内の階調値は背景領域階調値Ｔｂに応じて変化するものとなっている。これは、人物の温度が、その周辺温度（環境温度）に影響を受けて変化するためである。

図３は、学習用画像の一例の説明図である。また、図４は、背景領域階調値Ｔｂと人物領域推定階調値Ｔｆ’との関係を求めるためのフローチャートである。人物領域推定階調値Ｔｆ’は、背景領域階調値Ｔｂに基づいて推定される階調値である。この人物領域推定階調値Ｔｆ’は、以下に説明する学習により、背景領域階調値Ｔｂを変数とした関係式により表されることになる。以下、図３及び図４を参照しつつ、背景領域階調値Ｔｂと人物領域推定階調値Ｔｆ’との関係式の求め方について説明する。

この関係式を求めるにあたり、検出対象物（ここでは人物）が撮影されている画像が複数用意される。図３の画像は、複数用意された画像（学習用画像）のうちの一つを例として表したものである。本実施形態では、赤外線カメラを用いて温度に応じた画像が取得され、この温度に応じた画像に基づいて検出対象物の検出が行われる。よって、学習用画像も、赤外線カメラによって人物が撮影されて得られた画像が用意される。学習用画像には、検出対象物である人物の画像と、その背景の画像とが含まれる。すなわち、学習用画像には、検出対象物が存在する可能性が高い領域と、環境温度に対応する可能性が高い領域とが含まれる。

学習用画像は、図３に示されるようにセル状の複数の領域に分割される。そして、検出対象物が存在する可能性の高い領域のうち一つの領域の階調値が、人物領域階調値Ｔｆとされる。また、検出対象物の周囲の温度（環境温度）に対応する可能性の高い領域のうち一つの領域の階調値が、背景領域階調値Ｔｂとされる。本実施形態では、図３に示された領域を人物領域階調値Ｔｆとしたが、人物の全体がクロッピング画像に含まれる場合、クロッピング画像の中央付近が人物、周辺が背景である可能性が高いので、より画像の中央寄りの領域を人物領域階調値Ｔｆとしてもよい。また、左上の領域を背景領域階調値Ｔｂとしたが、右上、右下、左下など、他の領域としてもよい。また、本実施形態において領域の階調値は、複数の画素を含む領域における平均の階調値としているが、１つの画素を１つの領域とすることもできる。

関係式を求めるにあたり、ステップＳ１０２からステップＳ１１０の間のループにおいて、複数の学習用画像の人物領域階調値Ｔｆ及び背景領域階調値Ｔｂが取得される。具体的には、ステップＳ１０４において、ｋ番目の学習用画像の背景領域階調値Ｔｂが取得される。また、ステップＳ１０６において、ｋ番目の学習用画像の人物領域階調値Ｔｆが取得される。そして、ステップＳ１０８においてｋの値がインクリメント（加算）される。このような処理が、用意された学習用画像の枚数（ここではＮ枚とする）について行われる。

このようにして、Ｎ枚の学習用画像の人物領域階調値Ｔｆと背景領域階調値Ｔｂが取得されると、それぞれの値Ｔｆ_ｋ及びＴｂ_ｋから、線形回帰式Ｔｆ’＝ａ・Ｔｂ＋ｂの係数ａ及びｂを求める。係数ａ及びｂは、上記Ｔｆ_ｋ及びＴｂ_ｋを代入した一次式をＮ本用意し、これらについて最小二乗法を適用することにより求められる。このようにすることにより、複数の学習画像に応じた人物領域推定階調値Ｔｆ’と背景領域階調値Ｔｂとの関係が一次式によって求められることになる。

このようにして関係式を求めることができると、この関係式を用いて検出対象物の検出を行うことができる。
図５は、本実施形態における人物検出処理（全体画像）のフローチャートである。赤外線カメラ１１０は、撮影対象物から放射される赤外線に応じた映像をデジタルデータとして出力している。このような映像から１枚の画像（全体画像）が取得される（Ｓ２０２）。赤外線カメラ１１０から得られた画像は、温度に応じた階調値が各画素に設定された画像である。つまり、この画像は画素単位で温度情報を有する画像である。

そして、得られた画像について前処理が行われる（Ｓ２０４）。前処理は、例えば、画像のコントラストの調整、及び、リサイズなどの処理である。

次に、ステップＳ２０６〜ステップＳ２１０において、探索窓ｗ（図７参照）を全体画像の範囲内で移動させつつ、人物検出処理が行われる。具体的には、ステップＳ２０６からステップＳ２１０のループにおいて、探索窓ｗが一画素分ずつ（又は複数画素分）動かされながら探索窓ｗのサイズで画像がクロッピングされ、クロッピングされた画像に検出対象物が含まれているか否かの判定が行われる（Ｓ２０８）。

図６は、本実施形態における人物検出処理（クロッピング画像）のフローチャートである。この人物検出処理は、クロッピングされた各画像について適用される。クロッピング画像から、背景領域階調値Ｔｂと人物領域階調値Ｔｆが取得される（Ｓ３０２）。人物検出処理における背景領域階調値Ｔｂと人物領域階調値Ｔｆの取得は、学習用画像における背景領域階調値Ｔｂと人物領域階調値Ｔｆと同様にして行うことができる。

次に、クロッピング画像の背景領域階調値Ｔｂを前述の関係式に代入して人物領域推定階調値Ｔｆ’を得る。そして、クロッピング画像から得られた人物領域階調値Ｔｆから人物領域推定階調値Ｔｆ’を差し引いた値の絶対値である特徴量ｖを求める（Ｓ３０４）。

次に、求められた特徴量ｖが所定範囲Ｖ以内の階調値であるか否かについて判定する（Ｓ３０６）。特徴量ｖが所定範囲Ｖ以内の階調値であれば（Ｓ３０６がＹＥＳ）、クロッピング画像に人物が含まれているものと判定して、処理を人物検出処理（全体画像）に返す。そして、そのクロッピング画像の位置が記憶部１２８に記憶される。一方、特徴量ｖが所定範囲Ｖを超える（所定範囲Ｖよりも大きい、または所定範囲Ｖよりも小さい）階調値であれば、すなわち特徴量ｖが所定範囲Ｖ以内でなければ（Ｓ３０６がＮＯ）、クロッピング画像には人物が含まれていないものと判定して、処理を人物検出処理（全体画像）に返す。

このような処理を、探索窓ｗを移動させながら、各クロッピング画像について行う。
図７は、探索窓ｗの移動の様子の説明図である。図７には、全体画像において探索窓ｗが移動させられている様子が示されている。探索窓ｗの移動のさせ方は、Ｓ２００からＳ２１０の説明で述べたとおりである。このようにして、各クロッピング画像について検出対象物が存在するか否かの判定を行い、人物が検出されたクロッピング画像の位置を記憶することによって、全体画像における人物（検出対象物）の全体画像における位置が特定できる。

このようにして、全体画像における各クロッピング画像についての人物検出処理が完了すると、人物検出装置１２０に接続された表示装置１３０に検出結果が表示される（Ｓ２１２）。結果表示は、赤外線画像として得られている自車両前方映像に、歩行者として判定された箇所を、歩行者を含むようにして強調表示させたり、注意を喚起するために画面をフラッシュさせたりして行うことができる。さらに、場合によっては、運転支援として、ブレーキをかけることをアシストしたり、視覚補助としてフロントライトがダウンライトになっているのをアップライトにしてもよい。

図８は、本実施形態における人物検出処理の検出精度の説明図である。図９は、比較例の人物検出処理の検出精度の説明図である。これらの図において、縦軸は人物領域階調値Ｔｆ、横軸は背景領域階調値Ｔｂである。三角形のプロットは、人物ではない画像（領域）の階調地（Ｔｂ，Ｔｆ）を表す。また、四角形のプロットは、人物の画像（領域）の階調地（Ｔｂ，Ｔｆ）を表す。図８と図９の両方に、本実施形態におけるＴｆ’を表す直線が実線で示されている。また、図８及び図９のそれぞれの手法において人と検出される階調値の範囲が破線で示されている。つまり、それぞれの手法において、クロッピング画像から取得された人物領域階調値Ｔｆが破線で示された範囲に入ったとき、その画像には人物が含まれていると判定される。

図９の比較例の人物検出処理では、検出対象物（人物）の背景の温度を考慮せず、人物の温度に基づいて一律に人物検出処理を行っていた。具体的には、前述の背景領域温度Ｔｂを用いず、前述の人物領域階調値Ｔｆが所定範囲内に入っているか否かに基づいて人物検出処理を行っていた。背景温度が考慮されないので、この「所定範囲」は、背景領域階調値Ｔｂの値に関わらず一定であった。しかしながら、環境温度によって、実際の人物の表面温度（着衣の温度等）は変化する。例えば、環境温度が低い場合、人物の表面温度は下がり、環境温度が高い場合、人物の表面温度も高くなる傾向がある。

そのため、「所定範囲」を一定とすると、様々な環境温度における人物の検出を行うためには、人物と判定する範囲、すなわち、図９に示された破線で示される範囲を広くせざるを得ない。例えば、この範囲を狭くしてしまうと人物の検出漏れが発生してしまう。しかしながら、この範囲を広くしてしまうと人物ではないものも人物として判定してしまうという問題がある。図９には、破線の範囲内に三角形のプロットが多く含まれていることが示されている。これは、範囲を広くした結果、人物を含まない画像についても人物を含むものと誤判定をしてしまうケースが多いことを示している。

これに対して、図８の本実施形態における人物検出処理では、人物領域階調値Ｔｆと背景領域階調値Ｔｂに基づいて回帰式を求めている。回帰式においては、背景領域階調値Ｔｂに応じて人物領域推定階調値Ｔｆ’が変化する。すなわち、背景領域階調値Ｔｂが第１の階調値である場合には、人物領域推定階調値Ｔｆ’は第１の推定階調値であり、背景領域階調値Ｔｂが第２の階調値である場合には、人物領域推定階調値Ｔｆ’は第２の推定階調値である。そして、人物領域推定階調値Ｔｆ’を中心とした所定範囲に測定した人物領域階調値Ｔｆが入っている場合に人物を含む画像として判定しているので、背景領域階調値Ｔｂが第１の階調値である場合には、所定範囲の階調値は第１の所定範囲の階調値であり、背景領域階調値Ｔｂが第２の階調値である場合には、所定範囲の階調値は第２の所定範囲の階調値となる。このように、人物領域階調値Ｔｆと背景領域階調値Ｔｂとの関係を考慮して人物領域推定階調値Ｔｆ’を求めているので、人物であるか否かの基準となる「所定範囲」が、環境温度に応じて変化する。例えば、本実施形態においては、環境温度が低い場合にはそれに合わせて人物であるか否かを判定する「所定範囲」もこれにあわせて低くなることになる。また、環境温度が高い場合にはそれに合わせて人物であるか否かを判定する「所定範囲」もこれにあわせて高くなることになる。つまり、人物領域推定階調値Ｔｆ’（図における直線Ｔｆ’）の全体を含むように所定範囲Ｖを設定しなくても、人物領域推定階調値Ｔｆ’から一定値の範囲を所定範囲Ｖとすることで、人物（検出対象物）の検出精度を向上させることができる。

なお、本実施形態では、検出対象物として人物を検出するものとしているが、検出対象物がこれに限られないことはいうまでもない。例えば、動物などを同様にして検出することも可能である。

１ 人物検出システム、
１１０ 赤外線カメラ、１２０ 人物検出装置、１３０ 表示装置、
１２２ 画像取得部、１２４ 画像メモリー、
１２６ 制御部、１２８ 記憶部、
Ｔｂ 背景領域階調値、Ｔｆ 人物領域階調値、Ｔｆ’ 人物領域推定階調値

Claims (6)

1. 温度に応じた階調値を含む検出対象画像を生成する画像生成部と、前記検出対象画像から、前記検出対象画像の第１領域の階調値が所定範囲の階調値であるか否かに基づいて検出対象物を検出する検出部とを含み、
   前記所定範囲の階調値は、前記検出対象画像における第２領域の階調値が第１の階調値である場合には第１の所定範囲の階調値であり、前記検出対象画像における第２領域の階調値が第２の階調値である場合には第２の所定範囲の階調値であり、
   前記画像生成部は、前記検出対象画像を含む全体画像から複数の画像をクロッピングすることにより前記検出対象画像を複数生成し、
   前記複数の検出対象画像のそれぞれについて前記検出対象物の検出を行うことにより、前記全体画像における前記検出対象物の位置を特定する、検出装置。
2. 前記所定範囲の階調値は、前記第１領域の階調値と前記第２領域の階調値との関係を示す一次式を含む式で表され、
   前記一次式の係数は、前記検出対象物を含む複数の学習用画像における前記第１領域の階調値と前記第２領域の階調値を用いた最小二乗法により求められる、請求項１に記載の検出装置。
3. 前記第１領域は、前記検出対象画像において前記第２領域よりも中央寄りの領域である、請求項１又は２に記載の検出装置。
4. 前記第２領域は、前記検出対象画像の中央から最も遠い領域である、請求項１〜３のいずれかに記載の検出装置。
5. 前記第２領域の階調値は、前記検出対象物の環境温度に応じた階調値である、請求項１〜４のいずれかに記載の検出装置。
6. 温度に応じた階調値を含む検出対象画像を生成することと、前記検出対象画像から、前記検出対象画像の第１領域の階調値が所定範囲の階調値であるか否かに基づいて検出対象物を検出することとを含み、
   前記所定範囲の階調値は、前記検出対象画像における第２領域の階調値が第１の階調値である場合には第１の所定範囲の階調値であり、前記検出対象画像における第２領域の階調値が第２の階調値である場合には第２の所定範囲の階調値であり、
   前記検出対象画像を含む全体画像から複数の画像をクロッピングすることにより前記検出対象画像を複数生成し、
   前記複数の検出対象画像のそれぞれについて前記検出対象物の検出を行うことにより、前記全体画像における前記検出対象物の位置を特定する、検出方法。