WO2012004938A1

WO2012004938A1 - 車両の周辺監視装置

Info

Publication number: WO2012004938A1
Application number: PCT/JP2011/003417
Authority: WO
Inventors: 幸大松田; 長岡　伸治; 服部　弘
Original assignee: 本田技研工業株式会社
Priority date: 2010-07-09
Filing date: 2011-06-15
Publication date: 2012-01-12
Also published as: US9158738B2; JPWO2012004938A1; US20130103299A1; CN102985957A; EP2579230A4; CN102985957B; JP5576937B2; EP2579230A1

Abstract

　撮像画像から抽出された対象物候補について、予め除外処理（フィルタリング）した後で、種別判定を行う。ここで、該除外処理は、対象物候補が、所望の種別の対象物候補について予め設定された所定の大きさを有すると仮定し、現在画像内の対象物候補の大きさに基づいて、車両から対象物候補までの距離（Ｚ０）を算出し、過去画像が撮像された時刻から現在画像が撮像された時刻までの時間間隔で発生する車両の移動距離（ΔＺ）を算出し、現在画像中の対象物候補の大きさを、該対象物候補までの距離および移動距離に基づく変化率で縮小し、過去画像中の対象物候補の大きさと、変化率で縮小された対象物候補の大きさ（Ｇｈｖ）とを比較する。両者の差が所定値より大きいと判定された対象物候補を除外する。所望の対象物以外のものを粗く除外した上で精細な種別判定を行うので、演算負荷を軽減して誤判定を低下させることができる。

Description

車両の周辺監視装置

　この発明は、車両の周辺を監視するための装置に関し、より具体的には、車両の周辺を監視するに際し、車両の移動距離を用いて、撮像した画像内の対象物候補から所望の対象物以外のものを除外することが可能な装置に関する。

　従来より、車両の周辺に存在する様々な対象物を抽出する装置が提案されている。下記の特許文献１には、車両に１つの赤外線カメラを搭載し、該カメラを用いて撮像した画像から車両周辺の対象物を検出し、該対象物の画像内の大きさの変化率に基づいて、該対象物までの距離を求める手法が記載されている。

特許第４２６７６５７号公報

　従来より、カメラ等で撮像された画像から検出された対象物について、該対象物の種別、すなわち、対象物が歩行者のような人であるのか、それともそれ以外の建物等の人工構造物であるのかを判定することが行われている。この判定は、一般に、対象物の形状特徴を調べる画像処理や、時系列に該対象物を追跡して該対象物の挙動を調べる画像処理等を含むため、比較的演算負荷が高い。検出されたすべての対象物についてこのような種別判定処理を行うと、演算負荷の増大を招くおそれがある。

　また、上記の種別判定処理において所望の種別の対象物を判定する場合、他の種別の対象物を該所望の種別の対象物として誤って判定する可能性をできるだけ低減することが望ましい。特に、該所望の種別の対象物が歩行者である場合には、人工構造物を歩行者として誤って判定する可能性をできるだけ低減することが望まれる。

　他方、上記の特許文献のように、車両に１台のカメラを搭載して、対象物を検出することが行われている。一対のカメラを搭載することに比べ、コストを低減することができる。

　したがって、本願発明の一つの目的は、上記のような種別判定処理に先立って、画像から検出された対象物候補をフィルタリングして、所望の種別の対象物である可能性が低いものを除外する手法を提案し、これにより、後続の画像処理の負荷を低減すると共に、他の種別の対象物を、所望の種別の対象物として誤って判定する可能性を低減することである。特に、所望の種別が歩行者である場合、人工構造物を歩行者として誤って判定する可能性を低減することである。また、本願発明の他の目的は、一つのカメラを用いた場合でも、上記のようなフィルタリング処理を、簡単かつ効率的に行うことができる手法を提案することである。

　この発明の一つの側面によると、車両に搭載され、車両の周辺を監視する装置は、該車両の周辺を撮像する撮像手段と、該撮像された画像に基づいて、車両外に存在する対象物候補を抽出する手段と、前記抽出された対象物候補から、所望の種別の対象物候補である可能性が低いと判断した対象物候補を除外する除外手段と、前記除外の後に残った前記対象物候補のそれぞれについて、該対象物候補が前記所望の種別の対象物かどうかを判定する種別判定手段と、を備える。さらに、前記除外手段は、前記抽出された対象物候補が、前記所望の種別の対象物候補について予め設定された所定の大きさを有すると仮定し、現在の前記画像内の該抽出された対象物候補の大きさ（Ｇｈｄ０）に基づいて、該車両から該対象物候補までの距離（Ｚ０）を算出する手段と、過去の画像が撮像された時刻から、前記現在の画像が撮像された時刻までの時間間隔で発生する前記車両の移動距離（ΔＺ）を算出する手段と、前記現在の画像中の前記対象物候補の大きさを、前記算出された該対象物候補までの距離および前記移動距離に基づく変化率で縮小する手段と、前記過去の画像中の前記対象物候補の大きさ（Ｇｈｄ１）と、前記変化率で縮小された前記対象物候補の大きさ（Ｇｈｖ）とを比較する比較手段と、前記比較手段による比較の結果、前記対象物候補の大きさの差が所定値より大きいと判定された対象物候補を、前記所望の種別の対象物候補である可能性が低いと判断して除外する手段と、を備える。

　また、この発明の他の側面では、上記除外手段は、前記抽出された対象物候補が、前記所望の種別の対象物候補について予め設定された所定の大きさを有すると仮定し、過去の前記画像内の該抽出された対象物候補の大きさ（Ｇｈｄ１）に基づいて、該車両から該対象物候補までの距離（Ｚ１）を算出する手段と、前記過去の画像が撮像された時刻から、現在の画像が撮像された時刻までの時間間隔で発生する前記車両の移動距離（ΔＺ）を算出する手段と、前記過去の画像中の前記対象物候補の大きさを、前記算出された該対象物候補までの距離および前記移動距離に基づく変化率で拡大する手段と、前記現在の画像中の前記対象物候補の大きさ（Ｇｈｄ０）と、前記変化率で拡大された前記対象物候補の大きさ（Ｇｈｖ）とを比較する比較手段と、前記比較手段による比較の結果、前記対象物候補の大きさの差が所定値より大きいと判定された対象物候補を、前記所望の種別の対象物候補である可能性が低いと判断して除外する手段と、を備える。

　これらの発明によれば、画像から抽出された対象物候補が、所望の種別の対象物について予め設定された大きさを有することを前提として、該画像中の対象物候補が該所望の種別の対象物に相当するかを、車両の移動距離に基づいて確かめ、フィルタリングする。該画像中の対象物候補が、実際に該所望の種別の対象物を表していなければ、上記の前提が満たされないこととなり、よって、比較の結果、対象物候補の大きさの差が大きくなり、該対象物候補を除外することができる。該フィルタリング処理は、画像内の対象物の大きさを調べるだけでよく、該対象物の形状特徴や時系列の挙動を調べる等の複雑な処理を必要としないので、簡単な演算で、所望の種別の対象物以外のものを除外することができる。したがって、後続の種別判定処理においてノイズとなりうる対象物候補を除外することができるので、該種別判定の演算負荷を軽減することができると共に、該種別判定の誤判定の低下を見込むことができる。たとえば、所望の種別の対象物が歩行者である場合、人工構造物等の他の種別の対象物を歩行者として誤って判定する可能性を低くすることができる。

　この発明の一実施形態によると、前記撮像手段は、単一の赤外線カメラからなり、前記単一の赤外線カメラから取得された画像を２値化することにより得られた高輝度領域を、前記対象物候補として抽出する。

　この発明によれば、カメラは１台でよいので、コストを低減することができる。また、赤外線カメラからの画像を２値化処理するので、たとえば歩行者のような比較的高温の対象物候補を、簡単に抽出することができる。

　本発明のその他の特徴及び利点については、以下の詳細な説明から明らかである。

この発明の一実施例に従う、車両の周辺監視装置の構成を示すブロック図。この発明の一実施例に従う、カメラの取り付け位置を説明するための図。この発明の一実施例に従う、画像処理ユニットの機能ブロック図。この発明の一実施例に従う、（ａ）過去および現在の時点の車両と対象物の距離方向の関係を示す図、および、（ｂ）過去画像と、現在画像から生成された仮想画像の比較処理を概念的に示す図。この発明の一実施例に従う、現在画像と、過去画像から生成された仮想画像の比較処理を概念的に示す図。この発明の一実施例に従う、対象物の判定処理のフローチャート。

　次に図面を参照してこの発明の実施の形態を説明する。図１は、この発明の一実施形態に従う、車両の周辺を監視するための装置の構成を示すブロック図である。該装置は、車両に搭載され、遠赤外線を検出可能な１つの赤外線カメラ１と、カメラ１によって得られる画像データに基づいて車両周辺の対象物を検出し種別判定するための画像処理ユニット２と、該種別判定の結果に基づいて音声で警報を発生するスピーカ３と、カメラ１による撮像によって得られる画像を表示すると共に、該種別判定の結果に基づいて警報表示を行うヘッドアップディスプレイ（以下、ＨＵＤと呼ぶ）４と、を備えている。さらに、該周辺監視装置は、車両のヨーレートを検出するヨーレートセンサ６と、車両の走行速度（車速）を検出する車速センサ７とを備え、これらのセンサの検出結果は、画像処理ユニット２に送られ、必要に応じて所定の画像処理に用いられる。

　この実施例では、図２に示すように、カメラ１は、車両１０の前方を撮像するよう、車両１０の前部に、車幅の中心を通る中心軸上に配置されている。赤外線カメラ１は、対象物の温度が高いほど、その出力信号のレベルが高くなる（すなわち、撮像画像における輝度が大きくなる）特性を有している。

　画像処理ユニット２は、入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路、デジタル化した画像信号を記憶する画像メモリ、各種演算処理を行う中央演算処理装置（ＣＰＵ）、ＣＰＵが演算に際してデータを記憶するのに使用するＲＡＭ（ランダムアクセスメモリ）、ＣＰＵが実行するプログラムおよび用いるデータ（テーブル、マップを含む）を記憶するＲＯＭ（リードオンリーメモリ）、スピーカ３に対する駆動信号およびＨＵＤ４に対する表示信号などを出力する出力回路を備えている。カメラ１の出力信号は、デジタル信号に変換されてＣＰＵに入力されるよう構成されている。ＨＵＤ４は、図２に示すように、車両１０のフロントウィンドウの、運転者の前方位置に画面４ａが表示されるように設けられている。こうして、運転者は、ＨＵＤ４に表示される画面を視認することができる。

　なお、ＨＵＤ４に代えて、たとえばダッシュボードに取り付けられる表示装置でもよい。たとえば、表示装置として、いわゆるナビゲーション装置（図示せず）の表示装置を利用することができる。ナビゲーション装置は、周知の如く、車両の現在位置を検出すると共に、目的地への最適な経路を算出して、地図情報上に該現在位置および該経路を表示することができる装置である。

　図３は、本願発明の一実施形態に従う、画像処理ユニット２の機能ブロック図を表す。

　対象物候補抽出部２１は、カメラ１により撮像された画像を取得し、該画像から、対象物候補の画像領域を抽出する。前述したように、この実施形態では、カメラ１により撮像された画像は、撮像対象の温度に応じた輝度値を有するグレースケール画像であるので、該抽出は、該グレースケール画像の輝度値に基づいて実現される。具体的には、撮像画像において、所定の輝度閾値ＩＴＨより高い輝度値を持つ画像領域を、対象物候補として抽出する。この抽出処理により、生体のような比較的高い温度を持つ対象物を抽出することができるが、たとえば熱源を持つ場合のように、人工構造物も抽出される場合がある。

　従来であれば、こうして抽出された対象物候補を対象として、機能ブロック２５で表される種別判定処理が行われる。種別判定処理は、対象物候補が、何の種別の対象物かを最終的に判定する処理である。種別として、たとえば、歩行者（人）および人工構造物等があり、この判定処理により、対象物候補が、歩行者であるのか、人工構造物であるのか等を特定することができる。このような種別判定処理は、該種別判定の結果に基づいて警報発行が行われるので、一般に、比較的高い精度が要求される。そのため、対象物候補の画像内での形状や、該対象物候補の時系列の画像内での挙動を調べることがしばしば必要とされ、比較的演算負荷が高い処理である。たとえば、歩行者を判定しようとする場合には、歩行者に特有の形状に関する特徴が対象物候補から抽出されるかどうか等の処理が行われる。たとえば、頭部を表す円形形状が対象物候補から検出できるかどうかを調べる処理や、身体の各部位（頭部、胴体部、脚部等）毎に所定の高輝度領域が検出できるかどうかを調べる処理等が行われうる。また、時系列の画像内での対象物候補の挙動から、歩行者が歩いている挙動が検出されるかどうかを調べる処理等も行われうる。抽出された対象物候補のそれぞれについて、このような精細な種別判定処理を行うと、演算負荷が高くなるおそれがある。

　そこで、本願発明では、対象物候補抽出部２１と種別判定部２５の間に、除外処理部（フィルタリング部）２３を設ける。除外処理部２３は、種別判定処理に先立って、抽出された対象物候補を、大まかに（粗く）フィルタリングする役割を有しており、所望の種別の対象物候補である可能性が低い対象物候補を、後続の種別判定処理から除外するよう動作する。これにより、種別判定処理にノイズとなりうる対象物候補を、予め除くことができる。「所望の種別」は、予め決められており、この実施例では、歩行者（人）である。除外処理部２３によって除外されなかった対象物候補のそれぞれについて、後続の種別判定部２５は、前述したように、該対象物候補が、該所望の種別の対象物、すなわち歩行者かどうかを最終的に判定する。歩行者と最終的に判定されたならば、スピーカ３および（または）ＨＵＤ４を介して、該歩行者の存在を乗員に知らせるための警報を発行する。

　除外処理部２３は、対象物候補の大きさのみを問題にし、該対象物候補の形状に関する特徴や時系列の挙動を問題としないため、簡単な演算で、対象物候補の選別を行うことができる。したがって、除外処理部２３を設けることにより、画像処理全体の演算負荷を低減することができる。また、除外処理部２３によって除外されなかった対象物候補は、所望の種別の対象物である可能性があることを示すので、種別判定部２５による誤判定の低下を見込むことができる。たとえば、上記のように所望の種別の対象物が歩行者である場合には、人工構造物を歩行者として誤って判定する可能性を低くすることができる。

　以下の実施例では、前述したように、所望の種別として歩行者を用い、除外処理部２３では、歩行者である可能性が低いと判断した対象物候補を除外し、種別判定部２５は、該除外された後に残った対象物候補のそれぞれについて、歩行者かどうかを最終的に判定する。歩行者の種別判定処理には、既知の任意の適切な手法を用いることができ、たとえば、特開２００７－２４１７４０号公報、特開２００７－２６４７７８号公報、特開２００７－３３４７５１号公報等に記載されている。また、種別判定処理では、歩行者判定と合わせて、人工構造物判定や動物判定を行ってもよい。これにより、歩行者と判定されなかった対象物候補について、人工構造物なのか動物なのか等の種別を判定することができる。この場合、人工構造物の種別判定処理には、たとえば、特開２００３－０１６４２９号公報、特開２００８－２７６７８７号公報等に記載されている手法を用いることができる。また、動物の種別判定処理には、たとえば、特開２００７－３１０７０５号公報、特開２００７－３１０７０６号公報等に記載されている手法を用いることができる。

　次に、図４を参照して、除外処理部２３による具体的なフィルタリング手法を説明する。（ａ）は、過去の時点ｔ１と現在の時点ｔ０における、自車両と対象物の間の距離方向の関係を示す図である。自車両１００は、三角形で示されている。ここでは、歩行者である対象物１０１が、自車両１００の前方に位置しており、自車両１００に搭載されたカメラ１によって撮像される。

　過去の時点ｔ１において、自車両１００から対象物１０１までの距離はＺ１であり、現在の時点ｔ０において、自車両１００から対象物１０１までの距離はＺ０である。自車両１００は、過去の時点ｔ１と現在の時点ｔ０の間に走行しており、その移動距離がΔＺで表されている。移動距離ΔＺは、時点ｔ１とｔ０の間の時間間隔（ｔ０－ｔ１）に、車両１００の速度Ｖｓ（車速センサ７により検出される）を乗算することにより、算出されることができる。

　（ｂ）には、（ａ）の過去の時点ｔ１においてカメラ１により撮像された画像（過去画像と呼ぶ）と、現在の時点ｔ０においてカメラ１により撮像された画像（原相画像と呼ぶ）が、模式的に表されている。ここで、対象物候補抽出部２１により、過去画像および現在画像から、高輝度領域である対象物候補１０５が抽出されたと仮定する。

　なお、（ａ）では、対象物１０１として歩行者が示されているが、該抽出された時点では、画像処理ユニット２にとっては、対象物候補１０５が歩行者１０１か否かは不明である点に注意されたい。

　過去画像における対象物候補１０５の高さはＧｈｄ１（たとえば、画素数で表されることができ、以下同様である）であり、現在画像における対象物候補１０５の高さはＧｈｄ０である。（ａ）に示すように、過去の時点ｔ１よりも、現在の時点ｔ０の方が、車両１００は対象物１０１に近づいているため、現在画像中の高さＧｈｄ０は、過去画像中の高さＧｈｄ１より大きい。

　ここで、抽出された対象物候補が、所望の種別の対象物について予め設定された所定の大きさＨを有するものと仮定する。この実施形態では、最終的に、所望の種別の対象物として歩行者を画像内で判定するものとする。したがって、歩行者について所定の大きさを設定する（この例では、１７０ｃｍの身長を有すると仮定するが、たとえば、成人の平均身長を用いることができる）。そして、上記のように画像から抽出された対象物候補１０５が、実空間においては、該所定の大きさＨを有するものとの前提を設ける。

　この前提（仮定）に従うと、現在画像中の高さＧｈｄ０を持つ対象物候補１０５に対応する対象物１０１の自車両１００からの距離Ｚ０を、以下のように算出することができる。ここで、ｆは、カメラ１の焦点距離を示し、Ｈは、上記の前提における所定の大きさ（この実施例では、身長）を表す。
Ｚ０＝（Ｈ×ｆ）／Ｇｈｄ０　　　（１）

　対象物候補１０５が実際に歩行者を表しているのであれば、上記のように算出された距離Ｚ０は、正しい値となるはずである。この正しさを検証するため、現在画像から、過去の時点ｔ１において対象物がどのような大きさで撮像されるべきかを推定した仮想画像を生成する。

　すなわち、現在の時点ｔ０から車両１００が移動距離ΔＺだけ戻ったときに、対象物が画像内で撮像されるべき高さＧｈｖを、現在画像から推定する。（ａ）に示すように、過去の時点ｔ１の対象物の距離はＺ１であるので、該高さＧｈｖは、該過去の距離Ｚ１と現在の距離Ｚ０との比に応じた大きさとなるはずである。ここで、過去の距離Ｚ１は、Ｚ１＝Ｚ０＋ΔＺである。したがって、以下のように、該高さＧｈｖを算出することができる。
Ｇｈｖ＝Ｇｈｄ０×（Ｚ０／（Ｚ０＋ΔＺ））　　　（２）

　距離に応じた比率（Ｚ０／（Ｚ０＋ΔＺ））が１より小さいため、仮想画像中における対象物候補１０５の高さＧｈｖは、現在画像中における対象物候補１０５の高さＧｈｄ０に対して、縮小されることとなる。

　対象物候補１０５が実際に歩行者を表していれば、上記の前提は正しいものとなるので（よって、式（１）の距離Ｚ０が正しいものとなるので）、仮想画像中の対象物候補１０５の高さＧｈｖは、実際に過去の時点ｔ１で取得された過去画像中の対象物候補１０５の高さＧｈｄ１と、ほぼ一致するはずである。したがって、（ｂ）の比較ブロックで示されているように、過去画像中の対象物候補１０５の高さＧｈｄ１と、仮想画像中の対象物候補１０５の高さＧｈｖとを比較する。該比較の結果、両者の差の大きさが所定のしきい値より大きければ、前述した前提、すなわち、抽出された対象物候補１０５が実空間において歩行者相当の大きさを有するとの前提が間違っていたことを示し、よって、対象物候補１０５が、歩行者を表している可能性が低いと判断する。したがって、該対象物候補１０５を、後続の種別判定部２５による種別判定処理から除外する。他方、該両者の差の大きさが該しきい値以下であれば、前述した前提が正しいことを示し、よって対象物候補１０５が、歩行者を表している可能性があると判断する。したがって、該対象物候補１０５を、後続の種別判定部２５に渡し、ここで、該対象物候補１０５が歩行者であるのか否かの最終的な判定を行う。

　こうして、除外処理部２３は、比較的演算負荷の高い種別判定処理に先立って、所望の種別の対象物（この実施例では、歩行者）とはいえない対象物候補を除外する（フィルタリングする）ことができる。したがって、後続の種別判定処理における誤判定、すなわち、この実施例では人工構造物を歩行者として誤判定する可能性を低減することができる。該フィルタリング処理は、上で述べたように簡単な演算で実現することができるため、種別判定処理の処理対象を予め選別するのに、非常に有効な処理といえる。

　図４の（ｂ）の形態では、現在画像から仮想画像を生成して、これを、過去画像と比較しているが、代替的に、過去画像から仮想画像を生成して、これを、現在画像と比較してもよい。この代替形態を、図５に示す。

　この代替形態においても、図４の（ａ）の距離関係は同様に適用される。また、この代替形態においても、上記の前提（仮定）は同じである。この前提に従うと、過去画像中の高さＧｈｄ１を持つ対象物候補１０５に対応する対象物１０１の自車両１００からの距離Ｚ１を、以下のように算出することができる。ここで、ｆは、カメラ１の焦点距離を示し、Ｈは、該前提における所定の大きさ（この実施例では、身長）を表す。
Ｚ１＝（Ｈ×ｆ）／Ｇｈｄ１　　　（３）

　対象物候補１０５が実際に歩行者を表しているのであれば、上記のように算出された距離Ｚ１は、正しい値となるはずである。この正しさを検証するため、過去画像から、現在の時点ｔ０において対象物がどのような大きさで撮像されるべきかを推定した仮想画像を生成する。

　すなわち、過去の時点ｔ１から車両が移動距離ΔＺだけ進んだときに、対象物が画像内で撮像されるべき高さＧｈｖを、過去画像から推定する。図４の（ａ）に示すように、現在の時点ｔ０の対象物の距離はＺ０であるので、該高さＧｈｖは、該過去の距離Ｚ１と現在の距離Ｚ０との比に応じた大きさとなるはずである。ここで、現在の距離Ｚ０は、Ｚ０＝Ｚ１－ΔＺである。したがって、以下のように、算出されることができる。
Ｇｈｖ＝Ｇｈｄ１×（Ｚ１／（Ｚ１－ΔＺ））　　　（４）

　距離に応じた比率（Ｚ１／（Ｚ１－ΔＺ））が１より大きいため、仮想画像中における対象物候補１０５の高さＧｈｖは、過去画像中における対象物候補１０５の高さＧｈｄ１に対して、拡大されることとなる。

　前述したように、対象物候補１０１が実際に歩行者を表していれば、上記の前提は正しいものとなるので（よって、式（３）の距離Ｚ１が正しいものとなるので）、仮想画像上の対象物候補１０５の高さＧｈｖは、実際に現在の時点ｔ０で取得された現在画像中の対象物候補１０５の高さＧｈｄ０と、ほぼ一致するはずである。したがって、図５の比較ブロックで示されているように、現在画像中の対象物候補１０１の高さＧｈｄ０と、仮想画像中の対象物候補１０１の高さＧｈｖとを比較する。該比較の結果、両者の差の大きさが所定のしきい値より大きければ、前述した前提、すなわち、抽出された対象物候補１０５が実空間において歩行者相当の大きさを有するとの前提が間違っていたことを示し、よって、対象物候補１０１が、歩行者を表している可能性が低いと判断する。したがって、該対象物候補１０５を、後続の種別判定部２５による種別判定処理から除外する。他方、該両者の差の大きさが該しきい値以下であれば、前述した前提が正しいことを示し、よって対象物候補１０５が、歩行者を表している可能性があると判断する。したがって、該対象物候補１０１を、後続の種別判定部２５に渡し、ここで、該対象物候補１０５が歩行者であるのか否かの最終的な判定を行う。この代替手法についても、図４の（ｂ）を参照して前述したのと同様の効果を得ることができる。

　図６は、この発明の一実施形態に従う、画像処理ユニット２によって実行されるプロセスを示すフローチャートである。該プロセスは、所定の時間間隔で実行される。また、該プロセスは、図４の（ｂ）の形態に基づいており、最終的に判定する所望の種別の対象物を、歩行者（人）とする。

　ステップＳ１１～Ｓ１３において、カメラ１の出力信号（すなわち、撮像画像のデータ）を入力として受け取り、これをＡ／Ｄ変換して、画像メモリに格納する。格納される画像データは、輝度情報を含んだグレースケール画像である。

　ステップＳ１４において、カメラ１で撮像された画像から、対象物候補を表す画像領域を抽出する。前述したように、これは、たとえば該画像の２値化によって実現されることができる。

　具体的には、輝度閾値ＩＴＨより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行う。この２値化処理により、所定の温度より高い対象物が、白領域として抽出される。輝度閾値ＩＴＨは、任意の適切な手法で決定されることができる。２値化した画像データを、ランレングスデータに変換する。すなわち、２値化により白となった領域について、各画素行の該白領域（ラインと呼ぶ）の開始点（各ラインの左端の画素）の座標と、開始点から終了点（各ラインの右端の画素）までの長さ（画素数で表される）とで、ランレングスデータを表す。ここで、画像における垂直方向にｙ軸をとり、水平方向にｘ軸をとる。たとえば、ｙ座標がｙ１である画素行における白領域が、（ｘ１，ｙ１）から（ｘ３，ｙ１）までのラインであるとすると、このラインは３画素からなるので、（ｘ１，ｙ１，３）というランレングスデータで表される。その後、対象物のラベリングを行い、対象物を抽出する処理を行う。すなわち、ランレングスデータ化したラインのうち、ｙ方向に重なる部分のあるラインを合わせて１つの対象物とみなし、これにラベルを付与する。こうして、対象物候補の画像領域が抽出される。

　ステップＳ１５において、今回撮像された画像すなわち現在画像上で、上記のように抽出された対象物候補の高さＧｈｄ０を算出する。これは、上記のように対象物候補として抽出された画像領域の高さ方向（ｙ方向）の長さ（画素数で表されることができる）として算出することができる。算出した高さは、メモリ等に記憶される。

　ステップＳ１６において、抽出された対象物候補が、所望の種別の対象物について予め設定された所定の大きさを有するものと仮定して、現在画像中の該対象物候補までの実空間における距離Ｚ０を推定する。この実施例では、該所望の種別の対象物は歩行者であるので、歩行者について予め設定した身長の値を式（１）のＨに代入して、該距離Ｚ０を推定することができる。

　ステップＳ１７において、過去の或る時点（この実施例では、前回のサイクルの実行時点、すなわち前回の画像取得の時点とする）と現時点までの車両の移動距離ΔＺを算出する。これは、該プロセスが実行される時間間隔、すなわち、カメラ１により撮像された画像を取得する時間間隔Δｔに、車速センサ７によって検出された自車両の速度Ｖｓを乗算することにより、算出されることができる。

　ステップＳ１８において、前回のサイクルにおいて取得された画像（過去画像と呼ぶ）上での、対象物候補として抽出された画像領域の高さＧＨｄ１を取得する。これは、前回のサイクルで当該プロセスを実行した際にステップＳ１５で算出されてメモリ等に記憶されたものを取得すればよい。

　ステップＳ１９において、ステップＳ１６およびＳ１７で算出した距離Ｚ０および移動距離ΔＺに基づいて、現在画像から仮想画像を生成する。具体的には、式（２）に従って、現在画像中の高さＧｈｄ０に、距離に応じた比率（変化率）Ｚ０／（Ｚ０＋ΔＺ）を乗算して、過去画像で得られるべき対象物候補の高さＧｈｖを推定する。

　ステップＳ２０において、過去画像の対象物候補の高さＧｈｄ１と、仮想画像の対象物候補の高さＧＨｖとを比較し、両者の差を算出する。

　ステップＳ２１において、該差の大きさが、所定のしきい値以下かどうかを判断する。しきい値は、許容される誤差を考慮して予め決定しておくことができる（たとえば、身長の誤差として、どの程度許容されるかに基づいて決定することができる）。

　該差の大きさが所定のしきい値より大きければ（Ｓ２１がＮｏ）、前述した、画像中の対象物候補が、所望の種別の対象物に相当する大きさを持つとの仮定（前提）が間違っており、よって、ステップＳ１４で対象物候補として抽出された画像領域が歩行者を表す可能性が低いと判断する。したがって、ステップＳ２２において、以降の種別判定処理から、該対象物候補を除外する。

　他方、該差の大きさが所定のしきい値以下であれば（Ｓ２１がＹｅｓ）、前述した仮定が正しく、よって、ステップＳ１４で対象物候補として抽出された画像領域が歩行者を表す可能性があると判断する。したがって、ステップＳ２３において、該対象物候補に対して種別判定処理を実行し、該対象物候補が歩行者かどうかを最終的に判定する。該種別判定処理では、前述したように、既知の適切な手法に従い、たとえば対象物候補の形状に関する特徴や時系列の挙動等を調べることにより、該対象物候補が歩行者か否かを判定することができる。そして、該対象物候補が歩行者と判定されたならば、スピーカ３やＨＵＤ４を介して、該歩行者の存在を知らせるよう乗員に警報を発行することができる。

　図６に示すプロセスは、図５を参照して説明した形態にも、同様に適用されることができる。この場合、ステップＳ１５において、前回のサイクルで取得された過去画像中の対象物候補の高さＧｈｄ１を取得し、ステップＳ１６で、前述した式（３）に従って、過去画像中の対象物候補までの距離Ｚ１を算出する。ステップＳ１８において、現在画像中の対象物候補の高さＧｈｄ０を算出し、ステップＳ１９において、過去画像から仮想画像を生成する。具体的には、該距離Ｚ１および移動距離ΔＺに基づいて、式（４）に従い、仮想画像中の対象物候補の高さＧｈｖを算出する。ステップＳ２０で、仮想画像中の対象物候補の高さＧｈｖと、現在画像中の対象物候補の高さＧｈｄ０とを比較し、両者の差の大きさが所定値以下かどうかを判断する。

　上記の実施形態では、所望の種別の対象物を歩行者（人）としたが、たとえば、所望の種別を、さらに、大人と子供に分類して、それぞれの種別について、上記の除外処理を行ってもよい。この場合、大人という種別については、所定の大きさＨを、たとえば成人の平均身長値とし、子供という種別については、所定の大きさＨを、たとえば所定の年齢の子供の平均身長値とすればよい。いずれか一方の除外処理で除外されなかった対象物候補について、歩行者か否かの種別判定処理を行うこととなる。また、所望の種別の対象物は、歩行者に限定されるものではなく、たとえば、所定の動物（たとえば、熊や鹿等の四足動物）としてもよい。

　また、上記の実施形態では、所定の大きさＨは、高さ（垂直）方向の大きさを示しており、高さ方向を用いることにより、たとえば歩行者の場合には、該歩行者の車両に対する向きにかかわらず、より正確に、上記の除外処理を実現することができる。しかしながら、必ずしも高さ方向の大きさを用いなくてもよく、代替的に、幅（水平）方向の大きさを用いてもよい。撮像画像内の対象物候補の幅も、距離に応じて変化するからである。たとえば、撮像画像から抽出された対象物候補が、所望の種別の対象物について予め設定された所定の幅Ｗを有するものとの前提（仮定）で、上記の除外処理を実現してもよい。

　さらに、上記の実施形態では、カメラとして赤外線カメラを用いており、これにより、生体のような比較的高温の対象物を容易に抽出することができる。しかしながら、代替的に、可視カメラを用いてもよい。この場合、撮像画像から、任意の適切な手法で、対象物候補の画像領域を抽出し、該抽出した対象物候補について、上記のような除外処理を行えばよい。

　以上のように、この発明の特定の実施形態について説明したが、本願発明は、これら実施形態に限定されるものではない。

１Ｒ，１Ｌ　赤外線カメラ（撮像手段）
２　画像処理ユニット
３　スピーカ
４　ＨＵＤ

Claims

　車両に搭載され、車両の周辺を監視する装置は、
　該車両の周辺を撮像する撮像手段と、
　該撮像された画像に基づいて、車両外に存在する対象物候補を抽出する抽出手段と、
　前記抽出された対象物候補から、所望の種別の対象物候補である可能性が低いと判断した対象物候補を除外する除外手段と、
　前記除外の後に残った前記対象物候補のそれぞれについて、該対象物候補が前記所望の種別の対象物かどうかを判定する種別判定手段と、を備え、
　前記除外手段は、さらに、
　前記抽出された対象物候補が、前記所望の種別の対象物候補について予め設定された所定の大きさを有すると仮定し、現在の前記画像内の該抽出された対象物候補の大きさ（Ｇｈｄ０）に基づいて、該車両から該対象物候補までの距離（Ｚ０）を算出する手段と、
　過去の画像が撮像された時刻から、前記現在の画像が撮像された時刻までの時間間隔で発生する前記車両の移動距離（ΔＺ）を算出する手段と、
　前記現在の画像中の前記対象物候補の大きさを、前記算出された該対象物候補までの距離および前記移動距離に基づく変化率で縮小する手段と、
　前記過去の画像中の前記対象物候補の大きさ（Ｇｈｄ１）と、前記変化率で縮小された前記対象物候補の大きさ（Ｇｈｖ）とを比較する比較手段と、
　前記比較手段による比較の結果、前記対象物候補の大きさの差が所定値より大きいと判定された対象物候補を、前記所望の種別の対象物候補である可能性が低いと判断して除外する手段と、を備える、
　車両の周辺監視装置。
車両に搭載され、車両の周辺を監視する装置は、
　該車両の周辺を撮像する撮像手段と、
　該撮像された画像に基づいて、車両外に存在する対象物候補を抽出する抽出手段と、
　前記抽出された対象物候補から、所望の種別の対象物候補である可能性が低いと判断した対象物候補を除外する除外手段と、
　前記除外の後に残った前記対象物候補のそれぞれについて、該対象物候補が前記所望の種別の対象物かどうかを判定する種別判定手段と、を備え、
　前記除外手段は、さらに、
　前記抽出された対象物候補が、前記所望の種別の対象物候補について予め設定された所定の大きさを有すると仮定し、過去の前記画像内の該抽出された対象物候補の大きさ（Ｇｈｄ１）に基づいて、該車両から該対象物候補までの距離（Ｚ１）を算出する手段と、
　前記過去の画像が撮像された時刻から、現在の画像が撮像された時刻までの時間間隔で発生する前記車両の移動距離（ΔＺ）を算出する手段と、
　前記過去の画像中の前記対象物候補の大きさを、前記算出された該対象物候補までの距離および前記移動距離に基づく変化率で拡大する手段と、
　前記現在の画像中の前記対象物候補の大きさ（Ｇｈｄ０）と、前記変化率で拡大された前記対象物候補の大きさ（Ｇｈｖ）とを比較する比較手段と、
　前記比較手段による比較の結果、前記対象物候補の大きさの差が所定値より大きいと判定された対象物候補を、前記所望の種別の対象物候補である可能性が低いと判断して除外する手段と、を備える、
　車両の周辺監視装置。
　前記撮像手段は、単一の赤外線カメラからなり、
　前記抽出手段は、前記単一の赤外線カメラから取得された画像を２値化することにより得られた高輝度領域を、前記対象物候補として抽出する、
　請求項１または２に記載の車両の周辺監視装置。