JP5802183B2 - 車両周辺監視装置 - Google Patents

Description

本発明は、赤外線カメラによる撮像画像に基づいて、車両の周辺に存在する生体を監視する車両周辺監視装置に関する。

従来より、車両に搭載された赤外線カメラによる撮像画像から、生体（歩行者、動物等）の画像部分を認識して、車両の周辺に存在する生体を検知するようにした車両周辺監視装置が提案されている（例えば、特許文献１参照）。

特許文献１に記載された車両周辺監視装置においては、歩行者の画像部分を、頭部の画像部分とその下部の胴部の画像部分等の複数の特徴部分を抽出することによって、認識している。

特開２００３−２８４０５７号公報

外気温が高く、生体の体温と外気温との温度が小さい状況下では、赤外線カメラによる撮像画像において、生体の画像部分と背景との輝度差が小さくなる。そのため、生体の画像部分を背景画像から切り分けて、生体を検知することが困難になるという不都合がある。

本発明はかかる背景に鑑みてなされたものであり、高外気温時においても生体を検知することができる車両周辺監視装置を提供することを目的とする。

本発明は上記目的を達成するためになされたものであり、本発明の車両周辺監視装置は、
車両に搭載された赤外線カメラによる撮像画像から、生体の画像部分である可能性がある生体候補画像部分を抽出する生体候補画像部分抽出部と、
外気温を検出する外気温検出部と、
前記外気温検出部の検出温度が所定の平常外気温域にあるときは、前記生体候補画像部分から第１の特徴を有する第１特徴部分を抽出し、前記外気温検出部の検出温度が前記平常外気温域よりも高い高温外気温域にあるときには、前記生体候補画像部分から第２の特徴を有する第２特徴部分を抽出する特徴部分抽出部と、
前記外気温検出部の検出温度が前記平常外気温域にあるときは、前記特徴部分抽出部により第１所定個数の前記第１特徴部分が抽出されたときに、前記生体候補画像部分に対応する実空間上の対象物が生体であると検知し、前記外気温検出部の検出温度が前記高温外気温域にあるときには、前記特徴部分抽出部により前記第１所定個数よりも少ない第２所定個数の前記第２特徴部分が抽出されたときに、前記生体候補画像部分に対応する実空間上の対象物が生体であると検知する生体検知部と
を備えたことを特徴とする（第１発明）。

第１発明によれば、外気温が前記高温外気温域にあって、前記特徴部分抽出部により前記生体候補画像部分の特徴を抽出することが難しい状況であるときに、前記生体検知部は、生体を検知するための条件である特徴部分の抽出個数を、前記第１所定個数から前記第２所定個数に減らす。そして、これにより、外気温が前記高温外気温域であるときに、外気温が平常外気温域にあるときの条件では検知できなかった生体が、検知される可能性を高めることができる。

また、第１発明において、
前記特徴部分抽出部は、前記外気温検出部の検出温度が前記高温外気温域にあるときには、前記生体候補画像部分の上側部分に限定して、前記第２特徴部分を抽出することを特徴とする（第２発明）。

高外気温時には、道路の表面温度が上昇するため、前記赤外線カメラの撮像画像においては、道路に近い生体の下半身の画像部分のコントラストが上半身よりも低下するため、前記生体候補画像の下側部分から前記第２特徴部分を抽出することが困難になる。そこで、前記特徴部分抽出部は、前記外気温検出部の検出温度が前記高温外気温域にあるときには、前記生体画像候補領域の上側部分に限定して前記第２特徴部分抽出する。これにより、高外気温時に、前記第２特徴部分が抽出されないために、前記生体検知部によって生体が検知されない状況となることを防止することができる。

また、第２発明において、
前記特徴部分抽出部は、前記外気温検出部の検出温度が前記高温外気温域にあるときに、人を想定した生体を対象として前記第２特徴部分を抽出するときには、前記第２の特徴として歩行者の頭又は肩の特徴を有する画像部分を、前記第２特徴部分として抽出することを特徴とする（第３発明）。

人の頭及び肩は比較的体温が高いため、高外気温時であっても、前記赤外線カメラの撮像画像において、頭及び肩の画像部分のコントラストは高くなることが期待できる。そこで、高外気温時に人を想定した生体を対象として前記第２特徴部分を抽出するときには、前記第２の特徴として人の頭又は肩の特徴を有する部分を前記第２特徴部分として抽出することによって、前記第２特徴部分の抽出を容易にすることができる。

また、第１発明から第３発明のいずれかにおいて、
自転車を検知する自転車検知部を備え、
前記特徴部分抽出部は、前記自転車検知部の検知結果に基づいて、自転車に乗っている人を想定した生体を対象として特徴部分を抽出するときは、前記生体候補画像部分のうち、人の胴部の画像部分と想定される領域を除いて、前記第１特徴部分又は前記第２特徴部分を抽出することを特徴とする（第４発明）。

第４発明によれば、自転車に乗っている人の胴部は風を受けて体温が低くなるため、前記赤外線カメラの撮像画像において、胴部の画像部分のコントラストが低下し、胴部の画像部分から特徴を抽出することが難しくなる。そこで、前記特徴部分抽出部により、自転車に乗っている人を想定した生体を対象として特徴部分を抽出するときは、前記生体候補画像部分のうち、胴部の画像部分であると想定される領域を除いて、前記第１特徴部分又は前記第２特徴部分を抽出することによって、前記生体検知部による人の検知率を高めることができる。

また、第１発明から第４発明のいずれかにおいて、
動物を想定した生体を対象とする場合の前記第１所定個数と前記第２所定個数との差が、人を想定した生体を対象とする場合の前記第１所定個数と前記第２所定個数との差よりも小さく設定されていることを特徴とする（第５発明）。

一般に、動物（大型の野生動物等）の体温は人よりも高い傾向がある。そのため、外気温が前記高温外気温域にあるときであっても、比較的容易に動物の画像部分を背景画像分から切り分けることができる。そこで、高外気温時に、動物を想定した生体を対象とする場合には、人を想定した生体を対象とする場合よりも、生体検知の条件である特徴部分の抽出個数を減らす個数（前記第１所定個数と前記第２所定個数との差）を少なくすることによって、前記生体検知部による動物検知の確度を高めることができる。

また、第１発明から第５発明のうちのいずれかにおいて、
動物を想定した生体を対象とする場合の前記高温外気温域が、人を想定した生体を対象物とする場合の前記高温外気温域よりも高く設定されていることを特徴とする（第６発明）。

一般に、動物の体温は人よりも高い傾向がある。そこで、動物を対象とした前記高温外気温域を人を対象とした前記高温外気温域よりも高くして、前記平常外気温域で前記第１特徴部分を第１所定個数抽出することを生体検知の条件とする温度域を広くすることにより、前記生体検知部による動物検知の確度を高めることができる。

車両周辺監視装置の車両への取付け態様の説明図。 車両周辺監視装置の構成図。 外気温が平常であるときと高温であるときの人の画像部分の説明図。 車両周辺監視装置の作動フローチャート。 高温時の人の特徴部分の説明図。

本発明の車両周辺監視装置の実施形態の一例について、図１〜図５を参照して説明する。図１を参照して、本実施形態の車両周辺監視装置１０は、車両１に搭載して使用され、車両１には、遠赤外線を検出可能な赤外線カメラ２が備えられている。

赤外線カメラ２は、遠赤外域に感度を有し、撮像される物体の温度が高いほど出力される映像信号のレベルが高くなる（映像信号の輝度が高くなる）特性を有している。赤外線カメラ２は、車両１の前方を撮像するために車両１の前部に取り付けられており、車両１の前部を原点Ｏとして、車両１の左右方向をＸ軸、上下方向をＹ軸、前後方向をＺ軸とした実空間座標系が定義されている。

次に、図２を参照して、車両１には、車両１のヨーレートを検出するヨーレートセンサ３１、車両１の走行速度を検出する車速センサ３２、運転者によるブレーキの操作量を検出するブレーキセンサ３３、車両１の周囲の外気温を検出する外気温センサ３４（本発明の外気温検出部に相当する）、音声による注意喚起等を行うためのスピーカ６、及び赤外線カメラ２により撮像された画像を表示すると共に、車両１に接触する可能性が高い物体を運転者に視認させる表示を行うためのヘッドアップディスプレイ（Head Up Display）７（以下、ＨＵＤ７という）が接続されている。ＨＵＤ７は、図１に示したように、車両１のフロントウインドウの運転者側の前方位置に画面７ａが表示されるように設けられている。

車両周辺監視装置１０は、図示しないＣＰＵ，メモリ等により構成された電子ユニットであり、メモリに保持された車両周辺監視用の制御プログラムをＣＰＵで実行することによって、撮像画像取得部１１、生体候補画像部分抽出部１２、特徴部分抽出部１３、生体検知部１４、自転車検知部１５、及び警報処理部１６として機能する。

車両周辺監視装置１０は、赤外線カメラ２による撮像画像から、所定条件を満たす画像部分を、生体（人（歩行者，自転車搭乗者等）、又は動物（鹿等の大型野生動物等））の画像部分の可能性がある生体候補画像部分を抽出する。そして、車両周辺監視装置１０は、生体候補画像部分に対応する実空間上の物体の位置（実空間位置）を、ヨーレートセンサ３１により検出される車両１のヨーレート及び車速センサ３２により検出される車両１の走行速度等を用いて算出し、時系列の撮像画像間で同一物体の画像部分を追跡して、実空間における物体の移動ベクトルを算出する。

車両周辺監視装置１０は、このようにして算出した移動ベクトルに基づいて、物体を注意喚起の対象とするか否かを判断し、ブレーキセンサ３３の検出信号から認識されるブレーキの操作状況等を考慮して、スピーカ６からの音声出力及びＨＵＤ７への強調表示による注意喚起を行うか否かを決定する。なお、移動ベクトルに基づく注意喚起の処理は、例えば特開２００７−２１３５６１等に記載された従来手法を用いて行われる。

ここで、外気温が生体の体温よりもある程度低い平常外気温域であるときには、赤外線カメラ２による撮像画像を、階調値が所定の２値化閾値以上である画素を「白」（１）とし、階調値が２値化閾値よりも小さい画素を「黒」（０）とする２値化処理を行ったときに、図３（ａ）に示したように、生体（図３（ａ）では歩行者を例示）の上半身及び下半身の画像部分が白領域となる。

そのため、歩行者を想定した生体を検知するときには、生体候補画像部分から、歩行者の特徴（本発明の第１の特徴に相当する）を有する部分として、(1)生体候補画像部分の最上部に設定した頭部探索領域５１ａから抽出された歩行者の頭部の画像部分５１、(2)頭部探索領域５１ａの左下方に設定した左上半身探索領域５２ａから抽出された歩行者の左上半身の画像部分５２、(3)頭部抽出領域５１ｂの右下方に設定した右上半身探索領域５３ａから抽出された歩行者の右上半身の画像部分５３、という３個（本発明の第１所定個数に相当する）の特徴部分（本発明の第１特徴部分に相当する）が抽出されたときに、生体候補画像部分が歩行者の画像部分であると判定することができる。

それに対して、外気温が生体の体温付近まで上昇した高温外気温域になると、生体の画像部分のコントラストが低下する。その結果、２値化処理により生体の画像部分を背景画像から切り出すことが難しくなり、図３（ｂ）に示したように、生体候補画像部分のうち、白領域となる部分が減少する。そのため、上記(1)〜(3)の３個の特徴領域を抽出することを歩行者の判定条件とすると、上記(2)，(3)の特徴部分が抽出されないために、歩行者の画像部分と判定することができなくなる。

そこで、車両周辺監視装置１０は、赤外線カメラ２による撮像画像から生体を検知する際に、外気温に応じて生体判定の条件を変更する。以下、図４に示したフローチャートに従って、車両周辺監視装置１０による生体の検知処理について説明する。車両周辺監視装置１０は、図４に示したフローチャートによる処理を繰り返し実行して、車両１の周辺に存在する生体を検知し、上述した移動ベクトルに基づく注意喚起の処理を行う。

図４のＳＴＥＰ１は撮像画像取得部１１による処理である。撮像画像取得部１１は、赤外線カメラ２から出力される映像信号を入力し、この映像信号をデジタルの階調（輝度）データに変換したグレースケール画像を画像メモリに取り込む。

続くＳＴＥＰ２は、生体候補画像部分抽出部１２による処理である。生体候補画像部分抽出部１２は、グレースケール画像の各画素について、輝度が所定の２値化閾値以上である画素を「１」（白）とし、輝度が２値化閾値よりも低い画素を「０」（黒）とする２値化処理を行って２値画像を生成する。

そして、生体候補画像部分抽出部１２は、２値画像中の白の各領域のランレングスデータを算出し、ラベリング処理等を行って白の画像部分を生体候補画像部分として抽出する。なお、生体候補画像部分抽出部１２は、基本的には白の画素が隣接している領域を一つの生体候補画像部分として抽出するが、接近した白の画素についても、一つの生体候補画像部分にまとめて抽出してもよい。

続くＳＴＥＰ３で、車両周辺監視装置１０は、生体候補画像部分に対応する実空間上の対象物が、構造物（他車両、電柱等）であるか否かを判断する。ここで、対象物が構造物であるか否かの判断は、例えば、特開２００７−３１０７０５号公報に記載された公知の手法を用いて行うことができる。

そして、ＳＴＥＰ３で対象物が構造物であると判断されたときは、ＳＴＥＰ４でＳＴＥＰ９に分岐して処理が終了し、対象物が構造物でないと判断されたときには次のＳＴＥＰ５に進む。ＳＴＥＰ５〜ＳＴＥＰ８及びＳＴＥＰ５から分岐するＳＴＥＰ２０〜ＳＴＥＰ２２は、特徴部分抽出部１３及び生体検知部１４による処理である。

特徴部分抽出部１３は、ＳＴＥＰ５で、外気温センサ３４の検出温度が、所定の高温外気温域（例えば３０℃以上の温度域）にあるか否かを判断する。そして、外気温が高温外気温域にあるときはＳＴＥＰ２０に分岐し、外気温が高温外気温域にないとき（平常外気温域にあるとき）にはＳＴＥＰ６に進む。なお、一般的に動物の体温は人よりも高いので、動物についての高温外気温域を人についての高温外気温域よりも高く設定するようにしてもよい。

ＳＴＥＰ６〜ＳＴＥＰ８は、外気温が高温外気温域よりも低い平常外気温域を想定した生体認識処理である。ＳＴＥＰ６で、特徴部分抽出部１３は、ＳＴＥＰ２で抽出された生体候補画像部分から、人の特徴を有する画像部分を抽出する。具体的には、上述した図３（ａ）の例では、頭部探索領域５１ａから頭部の特徴（本発明の第１の特徴に相当する）を有する画像部分５１（本発明の第１特徴部分に相当する）を抽出し、左上半身探索領域５２ａから左上半身の特徴（本発明の第１の特徴に相当する）を有する画像部分５２（本発明の第１特徴部分に相当する）を抽出し、右上半身探索領域５３ａから右上半身の特徴（本発明の第１の特徴に相当する）を有する画像部分５３（本発明の第１特徴部分に相当する）を抽出する。

そして、各探索領域５１ａ，５２ａ，５３ａから、３個（本発明の第１所定個数に相当する）の画像部分５１，５２，５３が抽出されたときに、生体検知部１４は、生体候補画像部分が人の画像部分であると判定する。一方、３個の画像部分５１，５２，５３の少なくともいずれかが抽出されなかったときには、生体検知部１４は、生体候補画像部分が人の画像部分ではないと判定する。

生体検知部１４は、生体候補画像部分が人の画像部分ではないと判定したときは、次のＳＴＥＰ７からＳＴＥＰ８に進み、平常モード（平常外気温域を対象としたモード）での動物認識を行う。また、生体候補画像部分が人の画像部分であると判定したときには、ＳＴＥＰ７からＳＴＥＰ９に分岐して処理が終了する。

特徴部分抽出部１３は、ＳＴＥＰ８の平常モードでの動物認識において、生体候補画像部分から、動物の頭部、胴部、脚部等の特徴（本発明の第１の特徴に相当する）を有する画像部分（本発明の第１特徴部分に相当する）を探索して抽出する。そして、生体検知部１４は、第１所定個数の第１特徴部分が抽出されたときに、生体候補画像部分が動物の画像部分であると判定してＳＴＥＰ９に進み、処理を終了する。

次に、ＳＴＥＰ２０〜ＳＴＥＰ２２は、外気温が高温外気温域にあるときを想定した生体認識処理である。ＳＴＥＰ２０で、特徴部分抽出部１３は、ＳＴＥＰ２で抽出された生体候補画像部分から、人の特徴を有する画像部分を抽出する。具体的には、上述した図３（ｂ）の例では、頭部探索領域６１ａから頭部の画像部分６１を抽出する。

ここで、外気温が高温外気温域であるときには、図３（ｂ）に示しように、左上半身探索領域６２ａ及び右上半身探索領域６３ａから人の上半身の画像部分を抽出することが困難になる。そこで、特徴部分抽出部１３は、頭部探索領域６１ａからの頭部の特徴（本発明の第２の特徴に相当する）を有する画像部分６１（本発明の第２特徴部分に相当する）のみを１個（本発明の第２所定個数に相当する）抽出し、左上半身探索領域６２ａ及び右上半身探索領域６３ａからの上半身の画像部分の抽出は行わない。

なお、この場合の頭部探索領域６１ａは、本発明の生体候補画像部分の上側部分に相当し、特徴部分抽出部１３は、生体候補画像部分の上側部分に限定して、第２特徴部分を抽出する。

また、特徴部分抽出部１３は、頭部の画像部分６１の抽出条件として、図５に示したように、２値画像７０の画像部分７１（生体候補画像部分）について、１水平ラインの白画素の個数についてのプロファイルを求める。そして、頭部と推定される部分の幅Ｐhと肩部と推定される部分の幅Ｐsについて、
Ｐh×α＜Ｐs ・・・・・（１）
但し、α：はＰhとＰsの判定比率を決定するための定数。
が成立するときに、画像部分７１が人の頭部の画像部分であると判定する。また、上記式（１）の条件が成立しないときには、画像部分７１が人の頭部の画像部分ではないと判定する。

そして、頭部探索領域６１ａから頭部の画像部分６１が抽出されたときに、生体検知部１４は、生体候補画像部分が人の画像部分であると判定する。一方、頭部の画像部分６１が抽出されなかったときには、生体検知部１４は、生体候補画像部分が人の画像部分ではないと判定する。

このように、外気温が高温外気温域にあるときには、生体の判定条件とする特徴部分の抽出個数を減らす（本実施形態では、３個から１個に減らしている）ことによって、外気温が高温外気温域であるときにも、生体候補画像部分が人の画像部分であるか否かを判定できるようにしている。

生体検知部１４は、生体候補画像部分が人の画像部分ではないと判定したときは、次のＳＴＥＰ２１からＳＴＥＰ２２に進み、高温モード（高温外気温域を対象としたモード）での動物認識を行う。また、生体候補画像部分が人の画像部分であると判定したときには、ＳＴＥＰ２１からＳＴＥＰ９に分岐して処理が終了する。

特徴部分抽出部１３は、ＳＴＥＰ２２の高温モードでの動物認識において、人認識の場合と同様に、平常モードでの動物認識よりも抽出する特徴部分の個数を減らすが、動物は人よりも体温が高いため、外気温が高くなることにより特徴部分の抽出が難しくなる程度は、人の場合よりも低くなる。

そのため、特徴部分抽出部１３は、人認識の場合よりも、平常モードでの抽出個数から減少させる特徴部分の個数を少なくする。例えば、平常モードでは、頭部，胴部，脚部の画像部分を抽出（抽出個数３）するのに対して、高温モードでは、頭部と胴部の画像部分を抽出（抽出個数２）する（抽出個数を１減少させる）。そして、生体検知部１４は、頭部と胴部の画像部分が抽出されたときに、生体候補画像部分が動物の画像部分であると判定してＳＴＥＰ９に進み、処理を終了する。

次に、自転車検知部１５は、グレースケール画像から自転車を検知する。具体的には、自転車検知部１５は、自転車のフレーム、タイヤ等の低輝度部分の画像部分を検出することにより、或いは時系列画像から推定した移動速度により、自転車の画像部分を抽出して自転車を検知する。

そして、自転車に搭乗している人は、風を受けて胴部の体温が下がりがちであるので、２値画像から胴部の画像部分を抽出することが難しくなる場合がある。そこで、特徴部分抽出部１３は、平常モードでの人認識において、生体候補画像部分が、自転車に乗っている人の画像部分と推定されるときには、人の胴部の画像部分と想定される領域を除いて、画像部分の抽出を行うようにしてもよい。

この場合、生体検知部１４は、特徴部分抽出部１３により頭部の画像部分が抽出されたときに、生体候補画像部分が人の画像部分であると検知する。

なお、本実施の形態では、１台のカメラ（赤外線カメラ２）の撮像画像を用いる構成を示したが、２台のカメラ（ステレオカメラ）の撮像画像を用いて、ステレオカメラによる同一物体の撮像画像の視差から車両と対象物間の距離を算出する構成を採用してもよい。

また、本実施の形態では、図３（ａ），図３（ｂ），図５に示したように、２値画像から生体の特徴を有する画像部分を抽出したが、グレースケール画像から生体の特徴を有する画像部分を抽出してもよい。

１…車両、１０…車両周辺監視装置、１１…撮像画像取得部、１２…生体候補画像部分抽出部、１３…特徴部分抽出部、１４…生体検知部、１５…自転車検知部、１６…警報処理部、３４…外気温センサ、５１ａ，６１ａ…頭部探索領域、５２ａ，６２ａ…左上半身探索領域、５３ａ，６３ａ…右上半身探索領域、５１，６５…頭部の画像部分、５２…左上半身の画像部分、５３…右上半身の画像部分。

Claims (6)

1. 車両に搭載された赤外線カメラによる撮像画像から、生体の画像部分である可能性がある生体候補画像部分を抽出する生体候補画像部分抽出部と、
   外気温を検出する外気温検出部と、
   前記外気温検出部の検出温度が所定の平常外気温域にあるときは、前記生体候補画像部分から第１の特徴を有する第１特徴部分を抽出し、前記外気温検出部の検出温度が前記平常外気温域よりも高い高温外気温域にあるときには、前記生体候補画像部分から第２の特徴を有する第２特徴部分を抽出する特徴部分抽出部と、
   前記外気温検出部の検出温度が前記平常外気温域にあるときは、前記特徴部分抽出部により第１所定個数の前記第１特徴部分が抽出されたときに、前記生体候補画像部分に対応する実空間上の対象物が生体であると検知し、前記外気温検出部の検出温度が前記高温外気温域にあるときには、前記特徴部分抽出部により前記第１所定個数よりも少ない第２所定個数の前記第２特徴部分が抽出されたときに、前記生体候補画像部分に対応する実空間上の対象物が生体であると検知する生体検知部と
   を備えたことを特徴とする車両周辺監視装置。
2. 請求項１に記載の車両周辺監視装置において、
   前記特徴部分抽出部は、前記外気温検出部の検出温度が前記高温外気温域にあるときには、前記生体候補画像部分の上側部分に限定して、前記第２特徴部分を抽出することを特徴とする車両周辺監視装置。
3. 請求項２に記載の車両周辺監視装置において、
   前記特徴部分抽出部は、前記外気温検出部の検出温度が前記高温外気温域にあるときに、人を想定した生体を対象として前記第２特徴部分を抽出するときには、前記第２の特徴として歩行者の頭又は肩の特徴を有する画像部分を、前記第２特徴部分として抽出することを特徴とする車両周辺監視装置。
4. 請求項１から請求項３のうちいずれか１項に記載の車両周辺監視装置において、
   自転車を検知する自転車検知部を備え、
   前記特徴部分抽出部は、前記自転車検知部の検知結果に基づいて、自転車に乗っている人を想定した生体を対象として特徴部分を抽出するときは、前記生体候補画像部分のうち、人の胴部の画像部分と想定される領域を除いて、前記第１特徴部分又は前記第２特徴部分を抽出することを特徴とする車両周辺監視装置。
5. 請求項１から請求項４のうちいずれか１項に記載の車両周辺監視装置において、
   動物を想定した生体を対象とする場合の前記第１所定個数と前記第２所定個数との差が、人を想定した生体を対象とする場合の前記第１所定個数と前記第２所定個数との差よりも小さく設定されていることを特徴とする車両周辺監視装置。
6. 請求項１から請求項５のうちのいずれか１項に記載の車両周辺監視装置において、
   動物を想定した生体を対象とする場合の前記高温外気温域が、人を想定した生体を対象物とする場合の前記高温外気温域よりも高く設定されていることを特徴とする車両周辺監視装置。