JP7063076B2 - 認識装置、認識方法及び認識プログラム - Google Patents

Description

本発明は、認識装置、認識方法及び認識プログラムに関する。

車両に搭載したカメラの画像を用いて車両周辺の状況を認識し、運転者に警告する安全支援装置が普及している。このような安全支援装置は、カメラが撮影した画像に対して認識辞書などを用いて自車両周辺の対象物を認識する。
例えば、特許文献１には、車両周辺監視装置において、撮像画像から対象物の画像領域を抽出し、当該領域に、異なる方向の幅の比率が所定範囲となる第１の対象物領域と、第１の対象物領域の下方に第１の対象物領域よりも面積が小さい複数の第２の対象物領域とが含まれるときに、当該対象物の種別を人間以外の動物であると判定することが記載されている。

特開２００７－３１０７０５号公報

特許文献１記載の発明は、対象物が人間以外の動物であるときに、当該動物が横向きであるときの特徴（胴体及び前後脚の大きさ、縦横の比率、位置関係など）を用いて、対象物が動物であると判定するものである。一般に、動物が横向きで画像に写っているとき、すなわち、動物がその側面を見せて画像に写っているときは、人間及び動物の特徴が全く異なるため、人間と動物との間で誤検出が生じることは少ない。

しかしながら、人間又は動物がその正面又は背面を見せて画像に写っているときは、人間及び動物の特徴に類似している点が多く、人間と動物との間で誤検出が生じることがある。
本発明は、このような問題を解決するためになされたものであり、画像に人間又は動物がその正面又は背面を見せて写っているときでも、当該画像から人間であるか又は動物であるかを正しく判定することができる認識装置、認識方法及び認識プログラムを提供することを目的とする。

そこで、本発明は、遠赤外線カメラが撮像した画像を取得する画像取得部と、当該画像において対象領域を設定し、対象領域における温度ばらつきに基づいて対象領域の被写体が人間であるか又は動物であるかを判定する認識処理部とを備えた認識装置を提供する。
また、本発明は、遠赤外線カメラが撮像した画像を取得するステップと、当該画像において対象領域を設定し、対象領域における温度ばらつきに基づいて対象領域の被写体が人間であるか又は動物であるかを判定するステップとを有する認識方法を提供する。

本発明により、画像に人間又は動物がその正面又は背面を見せて写っているときでも、当該画像から人間であるか又は動物であるかを正しく判定する認識装置、認識方法及び認識プログラムを提供することができる。

実施の形態１に係る認識システム１の概略構成を示すブロック図である。 実施の形態１に係る人間及び動物の全身画像の例である。 実施の形態１に係る認識方法の処理手順を示すフローチャートである。 実施の形態１に係る上部領域及び下部領域の抽出方法を説明するための図である。 実施の形態２に係る認識方法の処理手順を示すフローチャートである。

以下、図面を参照して各実施の形態に係る認識システム及び認識方法について説明する。
なお、本明細書における「画像」には、静止画像及び動画像が含まれる。
また、本明細書における「動物」は、人間以外の動物を指すものとする。

（実施の形態１）
本実施の形態１に係る認識システム及び認識方法は、遠赤外線カメラで自車両の進行方向などを撮影した画像に対して認識辞書を用いて人間又は動物を検出し、被写体が人間であるか動物であるかを明確に判断できないときに、人間又は動物を検出したときの検出範囲内部の温度ばらつきに基づいて、人間であるか又は動物であるかを判定するものである。

まず、本実施の形態１に係る認識システムの構成について説明する。
図１は、本実施の形態１に係る認識システム１の概略構成を示すブロック図である。
認識システム１は、例えば、車両に搭載されて用いられるシステムであり、前方カメラ１０、認識装置２０、辞書データ記憶装置３０、表示装置４０などを備える。

なお、認識システム１は、車両に搭載されて用いられるシステム以外にも、携帯端末、ドローン、ロボット等の遠赤外線カメラを用いて対象物を認識する目的を有する様々なシステムで用いることができる。以下の実施の形態では、車両に搭載されて用いられるシステムを例にして説明する。

前方カメラ１０は、自車両の進行方向の画像を撮像し、当該画像を認識装置２０に入力する。前方カメラ１０は、遠赤外光カメラであるが、他の波長領域を用いるカメラ、例えば、可視光カメラと、遠赤外光カメラとを組み合わせたようなものであっても良い。
認識装置２０は、前方カメラ１０が撮像した画像を用いて、人間及び動物を検出し、必要に応じて、警告信号を表示装置４０などに出力する。認識装置２０は、例えば、前方カメラ１０が撮像した画像のフレーム毎又は数フレーム毎に人間及び動物を検出する。このために、認識装置２０は、画像取得部２１、認識処理部２２、表示制御部２３などを有する。

画像取得部２１は、前方カメラ１０が撮像した画像を入力し、当該画像に各種の画像処理を施して、認識処理部２２に出力する。
認識処理部２２は、入力した画像に対して、辞書データ記憶装置３０に記憶した人間認識辞書、動物認識辞書を用いて、人間又は動物を検出する。また、認識処理部２２は、入力した画像に設定する対象領域において、当該領域内部の温度ばらつきに基づいて被写体が人間であるか又は動物であるかを判定する。また、認識処理部２２は、人間であるか又は動物であるかを判定したときに、必要に応じて運転者に警告するように、表示制御部２３に信号を出力する。

表示制御部２３は、表示装置４０で警告画像を表示したり、警告音声を出力したりするための制御を行う。
辞書データ記憶装置３０は、人間認識辞書、動物認識辞書などの様々な認識辞書を記憶する。
人間認識辞書には、人間全身認識辞書、人間顔認識辞書、人間頭部認識辞書などが含まれる。また、動物認識辞書にも、動物全身認識辞書、動物顔認識辞書、動物頭部認識辞書などが含まれる。

人間全身認識辞書又は動物全身認識辞書は、歩行者又は動物がその正面又は背面を見せて写っている全身画像、及び、歩行者又は動物が側面を見せて写っている全身画像、すなわち、歩行者又は動物が横向きで写っている全身画像を機械学習して作成したものである。
また、人間顔認識辞書、人間頭部認識辞書、動物顔認識辞書、動物頭部認識辞書は、人間、動物の顔、頭部が写っている画像、又は、人間、動物の全身画像から顔、頭の部分を切り出した画像を機械学習して作成したものである。

画像から人間又は動物を検出する場合は、エッジ検出処理などを用いて検出対象を囲う検出範囲、又は、検出対象を含む矩形の検出範囲を特定し、当該検出範囲に対して認識処理を行う。
図２は、本実施の形態１に係る人間及び動物の全身画像の例である。左から順番に、人間、動物がそれぞれその正面を見せて写っている画像である。これらの画像は、遠赤外光カメラを用いて夜間に撮影され、赤外線の放射量（強度）の違いを輝度の違いで表したモノクロの濃淡画像（グレイスケール画像）である。

人間の画像では、肌が露出して環境（背景）よりも熱放射が大きい顔及び手の部分が高輝度で白色になっており、熱放射が環境とさほど変わらない服の部分が中輝度又は低輝度で、灰色又は黒色になっている。つまり、人間の画像では、頭部、腕、足などの露出している部分の輝度が、露出していない部分の輝度と比べて高くなっている。
これに対して、動物の画像では、目、鼻などのように部分的に輝度の高い部分は存在するが、全身のほとんどは体毛で覆われているため、全体的に中輝度又は低輝度になっている。
人間の画像と動物の画像とを比べてみると、熱放射の大きい白色の領域は人間の画像の方が動物の画像より多い、又は、面積が大きいことが分かる。

表示装置４０は、運転者に対して、自車両の進行方向に人間、動物などが存在する旨の警告を画像、音声などで通知する。
なお、認識装置２０の構成の一部分は、図示しない通信手段を介して接続された他の装置で置き換えられても良い。例えば、認識処理部２２、辞書データ記憶装置３０は、通信手段を介して接続された認識サーバなどのような他の装置で置き換えられても良い。

また、認識装置２０が実現する各構成要素は、例えば、コンピュータである認識装置２０が備える演算装置（図示せず）の制御によって、プログラムを実行することによって実現できる。より具体的には、認識装置２０は、記憶部（図示せず）に格納したプログラムを主記憶装置（図示せず）にロードし、演算装置の制御によってプログラムを実行して実現する。

また、各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア及びソフトウェアのうちのいずれかの組み合わせなどにより実現しても良い。
上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、認識装置２０に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。

非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。

また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によって認識装置２０に供給されても良い。一時的なコンピュータ可読媒体の例は、電気信号、光信号及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバなどの有線通信路、又は、無線通信路を介して、プログラムを認識装置２０に供給できる。

次に、本実施の形態１に係る認識システム１の動作、すなわち、認識方法について説明する。
図３は、本実施の形態１に係る認識方法の処理手順を示すフローチャートである。
認識システム１が動作を開始すると、前方カメラ１０が自車両の進行方向の画像を撮影し、画像取得部２１が当該撮影画像を認識対象画像として取得する（ステップＳ１０）。画像取得部２１は、例えば、図２に示したような人間又は動物が写っている画像領域を含む撮影画像を取得する。

次に、認識処理部２２が撮影画像全体又は撮影画像の一部を認識対象領域にして、辞書データ記憶装置３０に記憶した人間全身認識辞書及び動物全身認識辞書を用いて、人間及び動物を検出する（ステップＳ２０）。ステップＳ２０では、撮影画像における人間又は動物の可能性のある対象物の範囲を、例えば、エッジ検出処理などによって特定する。
次に、認識処理部２２がステップＳ２０の検出結果について、検出した対象物が人間又は動物のいずれであるかが明確か否かを判定する（ステップＳ３０）。

このステップＳ３０の処理は、ステップＳ２０の検出結果が、例えば、人間全身認識辞書によって人間である確率が４０％であるとされ、動物全身認識辞書によって動物である確率が６０％であるとされた場合のように、人間であるのか動物であるのかが明確になっていない場合を判定する。

具体的にどの程度の確率を基準として明確であるか否かを判定するかは任意に設定できるが、例えば、人間又は動物のいずれか一方である確率が８０％以上であり、他方である確率との差が５０％以上であるような場合に、確率の高い一方であることが明確であると判定しても良い。

認識処理部２２は、人間又は動物のいずれかを明確に検出したとき（ステップＳ３０のＹｅｓ）は、ステップＳ５０に移行する。そして、表示制御部２３は、ステップＳ２０で明確に検出された人間又は動物の存在を運転者に警告する。
また、認識処理部２２は、人間又は動物のいずれであるか明確ではないとき（ステップＳ３０のＮｏ）は、当該対象物の範囲を対象領域に設定して、当該領域内の温度ばらつきに基づいて、対象物が人間であるか又は動物であるかを改めて判定する（ステップＳ４０）。

例えば、認識処理部２２は、対象領域内の温度ばらつきとして、人間又は動物と認識している範囲を構成している画素が示す明度の分布を求める。
そして、認識処理部２２は、検出した温度ばらつきに基づいて、対象物が人間であるか動物であるかを判断する。認識処理部２２は、温度ばらつきが所定値よりも大きいときに対象物は人間であると判定し、温度ばらつきが所定値よりも小さいときに対象物は動物であると判定する。

これは、図２を参照して上で説明したように、被写体が人間であるときには、肌の部分と、衣服の部分とで温度差が大きいことから、対象領域枠内の温度ばらつき、例えば、温度の標準偏差が大きくなり、また、被写体が動物であるときは、全身が体毛に覆われて全体的に温度差が小さいことから対象領域内の温度ばらつきは小さくなることに基づく。

具体的には、遠赤外光カメラで撮影した画像において、人間又は動物と認識した範囲を構成する画素が示す明度の分布について、中輝度を示す灰色の範囲が大きく、高輝度を示す白色の範囲が小さい場合は温度ばらつきは小さいため、被写体は動物であると判定する。これに対して、中輝度を示す灰色の範囲が大きく、高輝度を示す白色の範囲も大きい場合は温度ばらつきは大きいため、被写体が人間であると判定する。

もちろん、昼夜、季節、屋内外などの環境、撮影条件などにより、被写体が人間であるときに対象領域内の温度ばらつきが小さくなり、被写体が動物であるときに対象領域内の温度ばらつきが大きくなることもあり、対象領域内の温度ばらつきの大小と、人間、動物の判定結果との対応関係は、環境、撮影条件などに応じて定めることができる。
そして、認識処理部２２は、ステップＳ２０で人間を検出した確率が動物を検出した確率より高く、しかしながら、人間であるとまでは明確に判定できないときに、ステップＳ４０で動物を検出した場合は、ステップＳ２０で検出したものを動物であると判定する。

また、認識処理部２２は、ステップＳ２０で人間を検出した確率が動物を検出した確率より高く、しかしながら、人間であるとまでは明確に判定できないときに、ステップＳ４０でやはり人間を検出した場合は、ステップＳ２０で検出したものを人間であると判定する。
また、ステップＳ２０で動物を検出した確率が人間を検出した確率より高く、しかしながら、動物であるとまでは明確に判定できないときも、上と同様に判定すれば良い。

そして、認識処理部２２は、人間又は動物を検出したときに、表示制御部２３が表示装置４０を介して、運転者に歩行者又は動物を検出したことを通知する。
次に、認識装置２０は、認識処理を終了するか否かを判定し（ステップＳ５０）、終了すると判定したとき（ステップＳ５０のＹｅｓ）は処理を終了し、終了しないと判定したとき（ステップＳ５０のＮｏ）は、例えば、ステップＳ１０に戻る。

このように、本実施の形態１に係る認識システム１又は認識方法は、遠赤外線カメラで撮影した画像に対して認識辞書を用いて人間又は動物を検出し、被写体が人間であるか動物であるかを明確に判断できないときに、人間又は動物を検出したときの検出範囲内部の温度ばらつきに基づいて、人間又は動物のいずれかであることを判定するもので、人間及び動物を精度良く検出及び判別することができる

なお、本実施の形態１に係る認識システム１又は認識方法では、いろいろな追加、修正又は変更が可能である。
例えば、認識処理部２２は、対象領域内の温度ばらつきに基づいて、人間又は動物であることを判定するとき（ステップＳ４０）に、上記したように対象領域内全体の温度ばらつきを算出することに加えて、又は、対象領域内全体の温度ばらつきを算出することに代えて、対象領域において上部領域と下部領域とを抽出し、当該上部領域と下部領域との温度ばらつき、例えば、上部領域と下部領域との平均温度の差などを算出しても良い。

図４は、本実施の形態１に係る上部領域及び下部領域の抽出方法を説明するための図である。抽出した上部領域及び下部領域を撮像画像内の２つの破線枠により示している。もちろん、上部領域及び下部領域の抽出方法は図示したものに限られず、上部領域と下部領域とが離れていたり、上部領域又は下部領域が撮像画像端から離れていたりしても良い。
また、図４においては、上部領域及び下部領域を矩形枠としているが、動物又は人間を検出した範囲と背景との境界線で囲まれる範囲を対象領域として、その対象領域の上部及び下部を上部領域及び下部領域としても良い。

人間の画像では、顔が写っている上部領域で白色が多く、衣服が写っている下部領域で灰色又は黒色が多い。また、動物の画像では、上部領域と下部領域とで大きな色の違いは見られない。
そこで、認識処理部２２は、上部領域と下部領域との温度差が所定値よりも大きければ人間を検出し、上部領域と下部領域との温度差が所定値よりも小さければ動物を検出する。

また、認識処理部２２は、対象領域から上部領域及び下部領域を抽出するのに代えて、対象領域から上部領域、中央領域及び下部領域を抽出し、上部領域と中央領域との温度ばらつきを算出しても良い。上部領域、中央領域及び下部領域の抽出方法は、対象領域を３等分する方法を含め、任意に設定することができる。

また、認識処理部２２は、温度ばらつきに基づく他の判定方法として、高輝度を示す白色の画素を中心に構成された部分の面積の大きさに基づいて、人間又は動物であることを判定する方法を用いても良い。例えば、図２に示した画像では、高輝度を示す白色の画素が集中している範囲は、動物の画像では目、鼻などの部分であり、人間の画像では顔、腕、手などの部分である。

このため、白色の画素が集中している範囲の面積は、人間又は動物と認識している対象領域において動物の画像では小さく、人間の画像では大きくなる。そこで、白色の画素が集中している範囲の面積の大小を、人間又は動物と認識している対象領域に対する割合が所定の閾値以上であるか所定の閾値未満であるかで判断して人間又は動物であることを判定することができる。

また、認識処理部２２は、対象領域内の温度ばらつきに基づいて、人間又は動物であることを判定するとき（ステップＳ４０）に、対象領域内の画像に対して、人間顔認識辞書、人間頭部認識辞書、動物顔認識辞書又は動物頭部認識辞書を用いて、人間又は動物の顔、頭部を検出し、顔、頭部領域と、顔、頭部以外の領域との温度ばらつきを算出しても良い。
この場合、ステップＳ４０において、認識処理部２２は、顔、頭部領域と、それ以外の領域との温度差が所定値よりも大きければ人間を検出し、顔、頭部領域と、それ以外の領域との温度差が所定値よりも小さければ動物を検出する。

また、認識処理部２２は、ステップＳ２０で検出した対象物が人間又は動物のいずれであるかが明確か否かを判定して次の手順を決定する処理（ステップＳ３０）を省略して、撮影画像に対して認識辞書を用いて人間及び動物を検出する処理（ステップＳ２０）の後に、対象領域内の温度ばらつきに基づいて人間又は動物を検出する処理（ステップＳ４０）を必ず行うようにしても良い。

そして、ステップＳ４０で対象物が人間であるか動物であるかを判定するときに、ステップＳ２０の検出結果に何らかの重みを付けて判定しても良い。
また、認識処理部２２は、人間又は動物を検出したとき（ステップＳ２０、ステップＳ４０）に、対象領域又は対象領域を囲む検出枠の画像上の位置や大きさに基づいて、自車両から人間又は動物までの距離や、人間又は動物の大きさを算出し、運転者に通知しても良い。

対象領域又は対象領域を囲む検出枠の大きさに基づいて人間又は動物までの距離を算出するときは、例えば、人間の身長が１．７ｍ、動物の体長が１．０ｍであると仮定して計算するので、同じ検出枠で検出されたものが人間であったときと動物であったときとでは、算出される距離が１．７倍も変わってくる。このため、本実施の形態１に係る認識システム１により人間と動物とを正確に判別することで、検出した人間、動物などまでの距離を、より精度良く算出することができる。

また、表示制御部２３は、歩行者などの人間を検出したときと動物を検出したときとで、運転者に対する報知方法を変えても良い。例えば、動物は群れをなしていたり、道路への飛び出しなどの予測不能な行動をしたりすることがあるので、動物を検出したときは、運転者に早めに報知するようにしても良い。

また、認識システム１の構成は、上記に限られるものではなく、複数の装置、例えば、認識装置２０及び辞書データ記憶装置３０を一体化して、辞書データ記憶部を備えた認識装置としても良い。また、認識システム１の全ての構成を一体化して、前方カメラ、辞書データ記憶部、表示部を備えた認識装置としても良い。もちろん、人間認識システム、動物認識システム、人間動物判別システムなどとして構成しても良い。

また、車両における利用も、車両に一部又は全部が搭載されている形態に加えて運搬可能又は後付け可能に車両に搭載されている形態であっても良い。
また、認識システム１は、車両内に設置する以外にも、例えば、建物内に設置して、自動ドア前などにカメラを設け、自動ドアの開閉の判断に用いるようにしても良い。この場合、対象物が人間であると判断したときのみ自動ドアを開く、あるいは、対象物が動物であると判断したときに自動ドアを閉じるといった判断が可能になる。

また、認識処理部２２は、人間、動物などの画像を機械学習して作成した辞書を用いる画像認識に代えて、又は、機械学習して作成した辞書を用いる画像認識に加えて、例えば、人間、動物などのテンプレートを用いたパターンマッチングなどの別の画像認識を行うようにしても良い。

以上、説明したように、本実施の形態１に係る認識装置２０は、遠赤外線カメラ１０が撮像した画像を取得する画像取得部２１と、当該画像において対象領域を設定し、対象領域における温度ばらつきに基づいて対象領域の被写体が人間であるか又は動物であるかを判定する認識処理部２２とを備えるものである。

また、本実施の形態１に係る認識装置２０は、認識処理部２２が、当該画像に対して、人間全身認識辞書及び動物全身認識辞書を用いて人間又は動物を検出し、人間であるか動物であるかを判定できないときに、人間又は動物を検出したときの検出範囲を対象領域として設定し、対象領域における温度ばらつきに基づいて対象領域の被写体が人間であるか又は動物であるかを判定することも可能である。
また、本実施の形態１に係る認識装置２０は、認識処理部２２が、対象領域における温度ばらつきとして、対象領域の上部と中央部との温度差を用いることも可能である。

また、本実施の形態１に係る認識装置２０は、認識処理部２２が、対象領域に対して、顔認識辞書又は頭部認識辞書を用いて顔又は頭部を検出し、対象領域における温度ばらつきとして、対象領域における、顔又は頭部の領域と顔又は頭部以外の領域との温度差を用いることも可能である。

また、本実施の形態１に係る認識装置２０は、認識処理部２２が、対象領域における温度ばらつきとして、対象領域における温度の高い領域の面積の大きさを用いることも可能である。
また、本実施の形態１に係る認識方法は、遠赤外線カメラが撮像した画像を取得するステップＳ１０と、画像において対象領域を設定し、対象領域における温度ばらつきに基づいて対象領域の被写体が人間であるか又は動物であるかを判定するステップＳ４０とを有するものである。

（実施の形態２）
実施の形態１に係る認識システム１又は認識方法は、遠赤外線カメラ１０で撮影した画像に対して認識辞書を用いて人間又は動物を検出し、人間であるか動物であるかを明確に判断できないときに、対象領域内部の温度ばらつきに基づいて、人間であるか又は動物であるかを判定するものであった。

これに対して、本実施の形態２に係る認識システム及び認識方法は、遠赤外線カメラで撮影した画像において対象領域を設定し、当該対象領域内部の温度ばらつきに基づいて、人間であるか又は動物であるかを判定し、その結果に基づいて当該対象領域の画像に対して認識辞書を用いて人間又は動物を改めて検出するものである。

本実施の形態２に係る認識システムの概略構成は、実施の形態１に係る認識システム１の概略構成と同様であって、ここでは、図示及び詳細な説明を省略する。また、以下では、説明を分りやすくするために、本実施の形態２に係る認識システムの各構成に付する符号として、実施の形態１に係る認識システム１の対応する構成の符号をそのまま用いるものとする。

本実施の形態２に係る認識システム１の動作、すなわち、認識方法について説明する。
図５は、本実施の形態２に係る認識方法の処理手順を示すフローチャートである。
認識システム１が動作を開始すると、前方カメラ１０が自車両の進行方向の画像を撮影し、画像取得部２１が当該撮影画像を認識対象画像として取得する（ステップＳ１１０）。

次に、認識処理部２２が撮影画像中の温度が高い部分を含む領域を対象領域として設定して、対象領域における温度ばらつきに基づいて対象領域の被写体が人間であるか又は動物であるかを判定する（ステップＳ１２０）。
認識処理部２２は、例えば、撮影画像中の温度が高い部分を中心とする所定の大きさの領域を対象領域として設定したり、所定の大きさの領域を撮影画像中で走査させて、当該領域内の平均温度が高かった個所を対象領域として設定したりすることができる。このように、対象領域の設定方法はどのようなものであっても良く、また、対象領域は複数設定しても良い。

また、認識処理部２２が対象領域内の温度ばらつきに基づいて人間であるか又は動物であるかを判定するときの判定方法は、実施の形態１に係る判定方法と同様であって良い。
ステップＳ１２０での判定は、認識辞書を用いる検出を行う前のものであるために、人間であるか又は動物であるかを確定できない場合がある。このため、認識処理部２２は、ステップＳ１２０で人間であるか又は動物であるか判定した後に、ステップＳ１３０に移行する。

そして、認識処理部２２は、対象領域に対して、辞書データ記憶装置３０に記憶した人間全身認識辞書及び動物全身認識辞書を用いて、人間及び動物を改めて検出する（ステップＳ１３０）。このときの検出方法も、実施の形態１に係る検出方法と同様であって良い。
このようにして、認識処理部２２は、ステップＳ１２０及びステップＳ１３０の検出結果に基づいて、ステップＳ１２０で検出したのが、人間なのか動物なのかを明確に判定する。

そして、認識処理部２２は、人間又は動物を検出したときに、表示制御部２３が表示装置４０を介して、運転者に歩行者又は動物を検出したことを通知する。
次に、認識装置２０は、認識方法を終了するか判定し（ステップＳ１４０）、終了すると判定したとき（ステップＳ１４０のＹｅｓ）は処理を終了し、終了しないと判定したとき（ステップＳ１４０のＮｏ）は、例えば、ステップＳ１１０に戻る。

このように、本実施の形態２に係る認識システム１又は認識方法は、遠赤外線カメラで撮影した画像において対象領域を設定し、当該対象領域内部の温度ばらつきに基づいて、人間又は動物を検出し、更に、当該対象領域の画像に対して認識辞書を用いて人間又は動物を改めて検出するもので、人間及び動物を精度良く検出及び判別することができる

なお、本実施の形態２に係る認識システム１又は認識方法でも、いろいろな追加、修正又は変更が可能である。
例えば、認識処理部２２は、ステップＳ１２０で人間であると判定したときは、ステップＳ１３０で人間全身認識辞書だけを用いて人間を検出し、ステップＳ１２０で動物であると判定したときは、ステップＳ１３０で動物全身認識辞書だけを用いて動物を検出するようにしても良い。
このように、最適な認識辞書だけを用いるようにすれば、複数の認識辞書を用いるよりも、処理負荷が抑えられることができ、また、人と動物との間の誤検出を減らすこともできる。

また、認識処理部２２は、ステップＳ１２０で人間又は動物のいずれであるかを判定したときに、温度ばらつきによる判定結果が明確か否かを判定する処理を加えても良い。例えば、対象領域内の温度ばらつきに基づいて人間であるか又は動物であるかを判定する処理（ステップＳ１２０）による判定結果が人間であるか動物であるかが明確であるときには、ステップＳ１４０に移行し、明確ではないときには対象領域に対して認識辞書を用いて人間及び動物を検出する処理（ステップＳ１３０）を行うようにしても良い。

以上、説明したように、本実施の形態２に係る認識装置２０は、認識処理部２２が、撮像画像において温度の高い領域を対象領域として設定し、温度ばらつきに基づいて人間であるか又は動物であるかを判定して、人間であるか動物であるかを明確に判定できないときに、対象領域に対して、人間全身認識辞書及び動物全身認識辞書を用いて人間又は動物を検出することも可能である。

１ 認識システム
１０ 前方カメラ
２０ 認識装置
２１ 画像取得部
２２ 認識処理部
２３ 表示制御部
３０ 辞書データ記憶装置
４０ 表示装置

Claims (6)

1. 遠赤外線カメラが撮像した画像を取得する画像取得部と、
   前記画像に対して、人間全身認識辞書及び動物全身認識辞書を用いて人間又は動物を検出し、人間であるか動物であるかを判定できないときに、前記人間又は動物を検出したときの検出範囲を対象領域として設定し、前記対象領域における温度ばらつきに基づいて前記対象領域の被写体が人間であるか又は動物であるかを判定する認識処理部と
   を備えた認識装置。
2. 前記認識処理部は、前記対象領域における温度ばらつきとして、前記対象領域の上部と中央部との温度差を用いる
   請求項１記載の認識装置。
3. 前記認識処理部は、
   前記対象領域に対して、顔認識辞書又は頭部認識辞書を用いて顔又は頭部を検出し、
   前記対象領域における温度ばらつきとして、前記対象領域における、顔又は頭部の領域と顔又は頭部以外の領域との温度差を用いる
   請求項１記載の認識装置。
4. 前記認識処理部は、前記対象領域における温度ばらつきとして、前記対象領域における温度の高い領域の面積の大きさを用いる、
   請求項１記載の認識装置。
5. 遠赤外線カメラが撮像した画像を取得するステップと、
   前記画像に対して、人間全身認識辞書及び動物全身認識辞書を用いて人間又は動物を検出するステップと、
   前記検出するステップにおける検出結果で人間であるか動物であるかを判定できないときに、前記人間又は動物を検出したときの検出範囲を対象領域として設定し、前記対象領域における温度ばらつきに基づいて前記対象領域の被写体が人間であるか又は動物であるかを判定するステップと
   を認識装置が実行する認識方法。
6. コンピュータに、
   遠赤外線カメラが撮像した画像を取得する手順と、
   前記画像に対して、人間全身認識辞書及び動物全身認識辞書を用いて人間又は動物を検出する手順と、
   前記検出結果において人間であるか動物であるかを判定できないときに、前記人間又は動物を検出したときの検出範囲を対象領域として設定し、前記対象領域における温度ばらつきに基づいて前記対象領域の被写体が人間であるか又は動物であるかを判定する手順と
   を実行させるための認識プログラム。

Images