WO2011065149A1

WO2011065149A1 - 対象物距離測定装置及び当該装置が搭載された車両

Info

Publication number: WO2011065149A1
Application number: PCT/JP2010/068253
Authority: WO
Inventors: 松田幸大; 長岡伸治; 相村誠
Original assignee: 本田技研工業株式会社
Priority date: 2009-11-25
Filing date: 2010-10-18
Publication date: 2011-06-03
Also published as: CN102640182B; JPWO2011065149A1; JP5258977B2; EP2506211B1; US20120281878A1; EP2506211A4; EP2506211A1; US8983123B2; CN102640182A

Abstract

　画像中の人体候補のサイズに基づいて、撮像装置（１６）から人体候補までの実空間上での距離をより精度良く算出する人体検知装置を利用した対象物距離測定装置（５０）及び当該装置を搭載した車両（１２）を提供する。頭幅は、年齢が３歳以上９９歳まで約１５［ｃｍ］～１６[ｃｍ]と略一定である。この知見を利用して、抽出した画像中の頭幅と、抽出した人体候補領域の中から全高、全幅等の人体特徴のうち、少なくとも１つの人体特徴の大きさ（例えば、身長）との比率に基づいて、画像中の人体候補の実空間上での身長（ＨＴ）を推定し、推定した実空間上での身長（ＨＴ）と、画像中の人体候補の身長に基づいて、撮像装置から実空間上の人体候補までの距離を算出する。

Description

対象物距離測定装置及び当該装置が搭載された車両

　この発明は、撮像装置により取得された画像に基づき人体検知を行う人体検知装置を利用した対象物距離測定装置、及び当該装置が搭載された車両に関する。

　従来技術に係る人体検知装置を利用した車両周辺監視装置では、２台の赤外線カメラにより捉えられた自車両周辺の画像から、自車両との接触の可能性がある歩行者等の対象物の情報を抽出し、その情報を自車両の運転者に提供する。

　この車両周辺監視装置では、左右一組の赤外線カメラ（ステレオカメラ）により撮影した自車両周辺の画像において温度が高い部分を前記対象物にすると共に、左右画像中の対象物の視差を求めることにより該対象物までの距離を算出し、対象物の移動方向や対象物の位置から、自車両の走行に影響を与えそうな対象物を検出して警報を出力する（特許第３９７０８７６号公報参照。）。

　この特許第３９７０８７６号公報には、対象物の頭部候補を検知し、検知した頭部候補が人体の頭部の横幅（頭幅）よりも大きいか否かを判定することで、人体か人工構造物かを判別する技術が記載されている。

　ところで、特許第３９７０８７６号公報のように、視差に基づいて赤外線カメラの搭載位置と対象物との間の距離を検出する場合には、２台のカメラを搭載することによるコストアップを伴い、その上、両カメラの光軸調整を厳密に行わなければならない等の煩雑な据え付け作業が必要になるという不都合がある。

　この不都合を改善する技術が特開２００７－２１３５６１号公報に記載されている。この特開２００７－２１３５６１号公報に係る技術では、車両に搭載された単一の赤外線カメラを用いて、所定時間間隔で車両周辺の対象物を少なくとも２回（２フレーム）撮影する。前回の画像の大きさ（サイズ）に比較して今回の撮影画像における対象物の画像の大きさ（サイズ）の変化は、対象物と車両周辺監視装置搭載車両との相対速度が高いほど大きくなる。そして、車両の前方に存在する対象物は、該対象物と車両との相対速度が高いほど、車両への到達時間が短くなる。

　このように、所定時間間隔間での同一の対象物の画像部分の大きさの変化率から、車両への到達時間を推定することで車両の周辺を監視することができる。

　この特開２００７－２１３５６１号公報に係る技術によれば、単一の赤外線カメラを用いているので２台のカメラを用いる場合に比較して装置のコストダウンを図ることができるし、車両への据え付けコストも低減できる。

　本発明に関連する先行技術文献として、後に説明する文献１｛日本人の体格調査報告書　１９７８年－１９８１年計測、１９８４年発行　経済産業省（通商産業省）工業技術院・財団法人　日本規格協会｝及び文献２｛日本人の人体計測データ　１９９２年－１９９４年計測、社団法人　人間生活工学研究センター（ＨＱＬ）｝を挙げることができる。

　上記した特許第３９７０８７６号公報及び特開２００７－２１３５６１号公報に係る車両周辺監視装置は、夜間走行時に、運転者の目では見えにくい対象物として検出した前方の歩行者を映像により表示することができる。

　ところで、図１５に示すように、対象物である実空間上の人体候補２の実空間上の身長Ｈｃを、例えば、日本人の成人の平均身長である１７０[ｃｍ]程度と仮定することにより、車両前部に固定したカメラ３の焦点距離Ｆと画像中の人体候補４の身長ｈを用いて、カメラ３の位置、すなわち車両の位置から対象物である実空間上の人体候補２までの実空間上の距離（距離算出値Ｚｃ）を次の（１）式により算出することができる。
　Ｚｃ＝Ｈｃ×Ｆ／ｈ＝１７０［ｃｍ］×Ｆ／ｈ　　　　　　…（１）

　ところが、人体候補２の実空間上の真の人体５が、仮定した上記の人体候補２の身長より背の高い人、あるいは背の低い人である場合には、その図１５に示すように、仮定値である身長Ｈｃが、実際の人体５の身長真値Ｈｔｒｕｅに対して高さ誤差ΔＨを有することになり、この場合には、次の（２）式に示す距離誤差ΔＺ（測距誤差）が発生する。
　ΔＺ＝Ｆ×ΔＨ／ｈ　　　　　　　　　　　　　　　　　　…（２）

　また、特開２００７－２１３５６１号公報のように、時間の異なる２フレーム画像から同一対象物の拡大率（時間変化率）を求め、この拡大率に基づいて対象物までの距離を求める方法があるが、この方法だと距離算出までに所定の時間がかかってしまうという課題がある。

　この発明はこのような課題を考慮してなされたものであり、画像中の人体候補のサイズに基づいて、撮像装置から実空間上の人体候補（前記画像中の人体候補２に対応する実空間上の真の人体５）までの距離をより精度良く算出することを可能とする対象物距離測定装置及び当該装置を搭載した車両を提供することを目的とする。

　この発明に係る対象物距離測定装置は、撮像装置により取得された画像に基づき人体検知を行う人体検知装置を利用した対象物距離測定装置において、前記画像から人体候補領域を抽出する人体候補領域抽出部と、抽出した前記人体候補領域の中から全高、全幅、胴、腕、脚、頭部の人体特徴のうち、予め定めた１つの人体特徴を基準特徴として抽出する基準特徴抽出部と、抽出した前記人体候補領域の中から全高、全幅、胴、腕、脚、頭部の人体特徴のうち、前記基準特徴を除く他の１つの人体特徴を比較特徴として抽出する比較特徴抽出部と、前記基準特徴抽出部により抽出した前記基準特徴の大きさと、前記比較特徴抽出部により抽出した前記比較特徴の大きさの比率に基づいて、前記画像の中の人体候補の実空間上でのサイズを推定する実空間上サイズ推定部と、推定した前記実空間上でのサイズと、前記画像の中の人体候補のサイズに基づいて、前記撮像装置から前記実空間上の前記人体候補までの距離を算出する距離算出部と、を備えることを特徴とする。

　この発明によれば、撮像装置で取得された画像から人体候補領域抽出部により人体候補領域を抽出し、抽出した人体候補領域の中から全高、全幅、胴、腕、脚、頭部の人体特徴のうち、予め定めた１つの人体特徴を、基準特徴抽出部により抽出するとともに、抽出した前記基準特徴を除く他の１つの人体特徴を、比較特徴抽出部により比較特徴として抽出する。そして、前記基準特徴の大きさと、前記比較特徴の大きさの比率に基づいて、前記画像の中の人体候補の実空間上でのサイズを実空間上サイズ推定部により推定し、前記実空間上サイズ推定部により推定された前記実空間上での人体候補のサイズと、前記画像の中の人体候補のサイズに基づいて、距離算出部は、前記撮像装置から前記実空間上の前記人体候補までの距離を算出する。

　このようにして、実空間上での人体候補までの距離を、簡単な構成で、精度よく、短時間に算出することができる。

　前記基準特徴の例として、日本人の頭部の大きさ、例えば、頭幅は、文献１｛日本人の体格調査報告書　１９７８年－１９８１年計測、１９８４年発行　経済産業省（通商産業省）工業技術院・財団法人　日本規格協会｝に掲載された図面を転載した図１Ａ、図１Ｂ、図１Ｃ、及び図２に示す日本人の体格データ、並びに文献２｛日本人の人体計測データ　１９９２年－１９９４年計測、社団法人　人間生活工学研究センター（ＨＱＬ）｝に掲載された図面を転載した図３Ａ、図３Ｂ、図３Ｃ、及び図４に示された乳幼児体格データから分かるように、年齢が概ね３歳以上９９歳まで約１５［ｃｍ］～１６[ｃｍ]と略一定である（年齢の変化に対して固定である。）。この知見を利用して、基準特徴抽出部（頭部抽出部として機能する。）により抽出した画像中の頭部の大きさと、比較特徴抽出部により抽出した人体候補領域の中から年齢の変化に対して変化する全高、全幅、胴、腕、脚、の人体特徴のうち、少なくとも１つの人体特徴の大きさの比率に基づいて、実空間上サイズ推定部により、画像の中の人体候補の実空間上でのサイズを精度よく推定することができる。そして、距離算出部により、推定した実空間上でのサイズと、画像の中の人体候補のサイズに基づいて、撮像装置から実空間上の人体候補までの距離を精度よく算出することができる。

　また、前記基準特徴の他の例として、日本人の肩の大きさ、すなわち、肩幅（全幅ともいう。）は、文献１｛日本人の体格調査報告書　１９７８年－１９８１年計測、１９８４年発行　経済産業省（通商産業省）工業技術院・財団法人　日本規格協会｝に掲載された図面を転載した図１Ａ、図１Ｂ、図１Ｃ、及び図２に示す日本人の体格データ、並びに文献２｛日本人の人体計測データ　１９９２年－１９９４年計測、社団法人　人間生活工学研究センター（ＨＱＬ）｝に掲載された図面を転載した図３Ａ、図３Ｂ、図３Ｃ、及び図４に示された乳幼児体格データから分かるように、年齢に応じて概ね単調に増加している。この知見を利用して、基準特徴抽出部｛この場合、全幅（肩幅）抽出部として機能する。｝により抽出した画像中の肩幅と、比較特徴抽出部により抽出した人体候補領域の中から年齢の変化に対して変化する全高、全幅、胴、腕、脚、の人体特徴のうち、少なくとも１つの人体特徴（実施形態では、全高に対応する身長）の大きさの比率｛実施形態では、（肩幅／身長）｝に基づいて、実空間上サイズ推定部により、概ね５歳～９９歳程度まで、画像の中の人体候補の実空間上でのサイズを精度よく推定することができる。そして、距離算出部により、推定した実空間上でのサイズと、画像の中の人体候補のサイズに基づいて、撮像装置から実空間上の人体候補までの距離を精度よく算出することができる。

　この発明によれば、１回の撮影（１フレーム）により、距離を算出することができるので、前後２回の撮影（２フレーム）で距離を算出する特開２００７－２１３５６１号公報に係る技術に比較して、より短い時間で算出することができる。さらに、１台の撮影装置により距離を算出することができるので、コストを特開２００７－２１３５６１号公報同様に低減することができる。

　そして、当該人体検知装置を利用した対象物距離測定装置を搭載した車両であって、当該車両の前記人体検知装置が人体を検知したとき、運転者に通知する通知部を備える車両周辺監視装置を搭載した車両もこの発明に含まれる。

　この発明によれば、実空間上での人体候補までの距離を、簡単な構成で、精度よく、短時間に算出することができる。

図１Ａは、７歳以上の人の人体特徴の説明図、図１Ｂは、７才以上の人の頭長と全頭高の説明図、図１Ｃは、７歳～９９歳の年齢の人に対する身長、肩幅、頭幅、全頭高を示す体格データのグラフである。図１Ｃの体格データのグラフのもととなった日本人体格データを示す表図である。図３Ａは、６歳以下の乳幼児の人体特徴の説明図、図３Ｂは、６歳以下の乳幼児の頭幅と肩幅の説明図、図３Ｃは、０歳～６歳の年齢の乳幼児に対する身長、肩幅、頭幅を示す乳幼児の人体計測値のグラフである。図３Ｃの人体計測値のグラフのもととなった乳幼児データを示す表図である。この発明の一実施形態に係る人体検知装置を利用した対象物距離測定装置が組み込まれた車両周辺監視装置の構成を示すブロック図である。図５に示す人体検知装置を利用した対象物距離測定装置が組み込まれた車両周辺監視装置が搭載された車両の模式図である。０歳から９９歳の各年齢における身長と頭幅の平均値データを示す表図である。４歳から９９歳までの各年齢における身長、頭幅、及び比率（身長／頭幅）を示すグラフである。実施形態の動作説明に供されるフローチャートである。第１実施例の動作説明に供される画像の説明図である。実施形態に係る距離算出の説明図である。０歳から９９歳の各年齢における身長と肩幅の平均値データを示す表図である。４歳から９９歳までの各年齢における身長、肩幅、及び比率（肩幅／身長）を示すグラフである。第２実施例の動作説明に供される画像の説明図である。従来技術に係る距離算出の説明図である。

　以下、この発明の実施形態について図面を参照して説明する。

（全体構成）
　図５は、この発明の一実施形態に係る人体検知装置を利用した対象物距離測定装置５０が組み込まれた車両周辺監視装置１０の構成を示すブロック図である。図６は、図５に示した人体検知装置を利用した対象物距離測定装置５０が組み込まれた車両周辺監視装置１０が搭載された車両１２の模式図である。

　図５及び図６において、車両周辺監視装置１０は、該車両周辺監視装置１０及び対象物距離測定装置５０を制御する画像処理ユニット１４（処理装置）と、この画像処理ユニット１４に接続される赤外線カメラ１６（撮像装置）と、車両１２の車速Ｖｓを検出する車速センサ１８と、運転者によるブレーキペダルの操作量（ブレーキ操作量）Ｂｒを検出するブレーキセンサ２０と、車両１２のヨーレートＹｒを検出するヨーレートセンサ２２と、音声で警報等を発するためのスピーカ２４（通知部）と、赤外線カメラ１６により撮影された画像を表示し、接触の危険性が高い歩行者等の対象物（移動対象物）を車両の運転者に認識させるためのＨＵＤ（Head Up Display）２６ａ等を含む画像表示装置２６（通知部）と、を備える。

　画像表示装置２６としては、ＨＵＤ２６ａに限らず、ナビゲーションシステムのディスプレイを利用することができる。

　画像処理ユニット１４は、車両１２の周辺の赤外線画像と車両の走行状態を示す信号（ここでは、車速Ｖｓ、ブレーキ操作量Ｂｒ及びヨーレートＹｒ）とから、車両前方の歩行者等の動く物体を検出し、接触の可能性が高いと判断したときにスピーカ２４を通じて警報を発する。

　ここで、画像処理ユニット１４は、入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路、デジタル化した画像信号を記憶する画像メモリ（記憶部１４ｍ）、各種演算処理を行うＣＰＵ（中央処理装置）１４ｃ、ＣＰＵ１４ｃが演算途中のデータを記憶するために使用するＲＡＭ（Random Access Memory）やＣＰＵ１４ｃが実行するプログラムやテーブル、マップなどを記憶するＲＯＭ（Read Only Memory）等の記憶部１４ｍ、スピーカ２４の駆動信号と画像表示装置２６の表示信号などを出力する出力回路等を備えており、赤外線カメラ１６、ヨーレートセンサ２２、車速センサ１８、及びブレーキセンサ２０の各出力信号は、デジタル信号に変換されてＣＰＵ１４ｃに入力されるように構成されている。

　画像処理ユニット１４のＣＰＵ１４ｃは、これらデジタル信号を取り込んでプログラムを実行することで、次に述べる各種機能部（機能手段ともいう。）として機能し、スピーカ２４及び画像表示装置２６に警告に係る駆動信号（音声信号や表示信号）を送出する。

　この実施形態において、ＣＰＵ１４ｃは、人体候補領域抽出部３０、人体比較特徴抽出部３１、人体基準特徴抽出部３３、実空間上サイズ推定部３４、及び距離算出部３６等として機能する。なお、人体基準特徴抽出部３３として、頭部抽出部３２と肩部抽出部３７とを有する。後述するように、第１実施例として、頭部抽出部３２が利用され、第２実施例として、肩部抽出部３７が利用される。

　そして、画像処理ユニット１４と赤外線カメラ１６とにより、この実施形態に係る対象物距離測定装置５０が構成される。なお、赤外線カメラ１６に代替して、通常のビデオカメラを利用することもできる。

　遠赤外線を検出する赤外線カメラ１６は、図６に示すように、自車両１２の前部バンパー部上、自車両１２の車幅方向中心部に配置される。赤外線カメラ１６は、対象物の温度が高いほど、その出力信号レベルが高くなる（輝度が高くなる）特性を有している。

　また、ＨＵＤ２６ａは、自車両１２のフロントウインドシールドの運転者の前方視界を妨げない位置に表示画面が表示されるように設けられている。

　この実施形態において、記憶部１４ｍは、人体である歩行者の体格に関連して、人体の成長とともに変化が小さい部位（この第１実施例において、人体基準特徴という。）と変化が大きい部位（この第１実施例において、人体比較特徴という。）の比率Ｒを特性（マップあるいは計算式）として予め記憶している。この実施形態の第１実施例では、上述したように、人体の成長とともに変化が小さい部位として頭幅に着目するとともに、人体の成長とともに変化が大きい部位として身長に着目し、前記の比率Ｒとして、比率Ｒ＝身長／頭幅を計算し、記憶部１４ｍに記憶している。記憶部１４ｍには、比率Ｒの計算式（Ｒ＝身長／頭幅）を記憶しておいてもよい。

　なお、人体基準特徴又は人体比較特徴は、理解を容易化するための便宜上のものであり、頭幅を人体比較特徴、身長を人体基準特徴と定義してもよい。

　記憶部１４ｍには、また、後述する第２実施例に関連して、人体の成長とともに、変化の速度が異なる部位の比率Ｒ´を特性として予め記憶している。この第２実施例では、肩幅を人体基準特徴、身長を人体比較特徴といい、比率Ｒ´＝（肩幅／身長）を、記憶部１４ｍに記憶している。

　図７に示す表は、上述した図１Ａ、図１Ｂ、図１Ｃ及び図２の日本人体格データ、並びに図３Ａ、図３Ｂ、図３Ｃ及び図４の乳幼児体格データから抽出した年齢、身長ＨＴ（平均値）、頭幅（平均値）に対応する第１実施例に係る比率Ｒ（身長／頭幅の平均値）を計算した、比率Ｒ（身長／頭幅）のマップ（テーブル）６０を示している。

　図８に示す特性図は、４歳から９９歳の年齢に対して、身長、頭幅、及び計算した第１実施例に係る比率Ｒ（身長／頭幅）をプロットしたものであり、特に、頭幅が、年齢の変化に対して、略一定であり、比率Ｒ（身長／頭幅）の特性Ｃｒが、概ね身長に比例して変化していることに留意する。

　次に、本実施形態の動作について［第１実施例］及び［第２実施例］の順に、図面を参照して説明する。

［第１実施例］
　図９は、画像処理ユニット１４による歩行者等の対象物の対象物検出、対象物のサイズ推定及び距離算出等の動作説明に供されるフローチャートである。

　図９のステップＳ１において、画像処理ユニット１４は、赤外線カメラ１６によりフレーム毎に撮影された車両前方の所定画角範囲のフレーム毎の出力信号である赤外線画像を取得し、Ａ／Ｄ変換し、グレースケール画像として記憶部１４ｍ中の画像メモリに格納する。

　グレースケール画像が得られたら、次に、ステップＳ２において、その画像信号の２値化処理、すなわち、人体輝度を判別する輝度閾値より明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行い、撮影したフレーム毎にグレースケール画像に対応する２値化画像を得、記憶部１４ｍに記憶する。

　次いで、ステップＳ３において、人体候補領域抽出部３０は、２値化画像の「１」（白）をｘ方向（水平方向）の走査ライン毎にランレングスデータに変換し、ｙ方向に重なる部分のあるラインを１つの対象物とみなし、当該対象物の外接四角形にそれぞれラベルを付け、図１０に外接四角形で囲った人体候補領域５２とするラベリング処理を行う。

　次いで、ステップＳ４において、対象物を抽出するが、まず、ステップＳ４ａにおいて、人体比較特徴抽出部３１は、フレームの画像中、ラベルが付けられた人体候補領域５２より若干大きいマスク領域５３（図１０中、一点鎖線で囲んだ領域）に対してマスク領域５３内の画素の上側から下側にかつ左側から右側に対して画素値を走査しながら探索していき、暗い領域の「０」画素が連続して続いた場合、その走査部分が画像中の人体候補４と路面５１との境界と判定し、対象物の下端ＯＢｂとする。

　なお、人体候補４の路面５１との境界は、脚がスラックスに覆われていたり、足に靴を履いていたり２値化画像から判然としない場合がある場合には、路面５１との境界はグレースケール画像から判別する。

　グレースケール画像から判別する場合には、マスク領域５３の画素の輝度の平均値及び輝度分散を求めておき、例えば、複数の画素からなる矩形画素群の小領域毎に、輝度の平均値あるいは輝度分散を、マスク領域５３内の画像の上側から下側にかつ左側から右側に対して計算していき、輝度分散が低い小領域が連続した場合に、人体候補４と路面５１との境界である対象物の下端ＯＢｂとすればよい。

　次に、ステップＳ４ｂにおいて、人体比較特徴抽出部３１は、さらに、対象物の下端ＯＢｂから逆に上側にマスク領域５３内の画像に対して左側から右側に画素毎に走査しながら探索していき、垂直方向で輝度の水平エッジ５４の変化区間（２値化画像では、「１」と「０」の対が概ね連続する区間）を検出した場合、その変化区間の走査部分が人体候補４と背景との境界のエッジである対象物の上端ＯＢｔとする。

　人体候補４（対象物）の下端ＯＢｂと上端ＯＢｔとから画像上での人体候補４の身長ｈのサイズ（画素数ｎとする。）を求めることができる。

　次いで、ステップＳ５において、頭部抽出部３２は、２値画像における人体候補４である対象物の上端ＯＢｔから下側にかつ右側から左側に水平方向に走査し、輝度の変化点であり画像中の頭幅ｈｗに対応する２つの垂直エッジ５６、５８を抽出する。そして、頭幅ｈｗのサイズ（画素数ｍとする。）を求める。通常、人体の頭部６２は、赤外線画像中、最も輝度が高い部分の一つであるので、「１」値が連続しており、頭部６２の垂直エッジ５６、５８を精度よく検出することが容易である。

　次いで、ステップＳ６において、実空間上サイズ推定部３４は、まず、前記画像中の人体候補４の身長ｈと頭幅ｈｗの比率Ｒｉ（Ｒｉ＝ｈ／ｈｗ＝ｎ／ｍ）を算出する。なお、画素が正方形でない場合には、正方形となるよう、予め、規格化しておく。次に、実空間上サイズ推定部３４は、図８に示した比率Ｒの特性Ｃｒ又は図７に示したマップ６０を参照し、比率Ｒが、算出した比率Ｒｉ（Ｒ＝Ｒｉ）であるときの、実空間上の身長ＨＴ（実空間上での人体の身長であるサイズ）を推定する（求める）。この推定時には、年齢は参照されない。

　次いで、ステップＳ７において、距離算出部３６は、ステップＳ７で推定した実空間の身長ＨＴと画像上の身長ｈ（長さ＝画素数×画素長）と焦点距離Ｆとから、実空間上の人体候補までの距離Ｚｒを、上記（１）式と同様に次の（３）式により算出する。
　Ｚｒ＝ＨＴ×Ｆ／ｈ　　　　　　　　　　　　　　　　　…（３）

　この場合、算出された距離Ｚｒは、従来技術に係る図１５を参照して説明した一律的な身長Ｈｃの仮定値、例えば１７０[ｃｍ]として求めた距離Ｚｃに比較して、図８に示した年齢にかかわらず４歳以上で略固定値である頭幅と、１０代後半程度まで年齢によって変動する変動値である身長（日本人の平均値１０４．８[ｃｍ]；４歳、１７０．５［ｃｍ］；２０－２４歳、１５８．６［ｃｍ］；７０－７９歳等）との比率Ｒに基づいて算出しているので、図１１に示すように、距離誤差ΔＺがきわめて小さくなる。身長の算出誤差ΔＨも身長真値Ｈｔｒｕｅに比較してきわめて小さくなる。

　次に、ステップＳ８において、経時的にフレーム毎に得られるグレースケール画像及び２値化画像から、温度の高い部分の動体（動いているもの）を対象物として検出し、動体の移動ベクトル（速度と方向）を検出する。また、このステップＳ８において、ブレーキセンサ２０、車速センサ１８、及びヨーレートセンサ２２の各出力であるブレーキ操作量Ｂｒ、車速Ｖｓ、ヨーレートＹｒと、ステップＳ７で検出した対象物までの距離Ｚｒとに基づき、当該車両１２の距離算出部３６が距離Ｚｒを算出した対象物に接触の可能性があるかどうかを判定し、接触の可能性があると判定した場合には、ステップＳ９において、運転者に情報を提供する。具体的には、当該歩行者のグレースケール画像をＨＵＤ２６ａに表示するとともに、スピーカ２４（通知部）を通じて警報を発生して運転者に通知し、車両１２の運転者に接触の回避操作を促す。

　以上説明したように、上述した第１実施例に係る人体検知装置を利用した対象物距離測定装置５０は、撮像装置である１台の赤外線カメラ１６（なお、この発明は、可視領域を撮影する通常のビデオカメラでも対応可能であるが、夜間の場合には、赤外線カメラが好ましい。）により取得された画像に基づき人体検知を行う際、人体候補領域抽出部３０は、画像（２値化画像及び（又は）グレースケール画像）から人体候補領域５２を抽出する。人体基準特徴抽出部３３を構成する頭部抽出部３２は、抽出した人体候補領域５２の中から表面温度の特に高い頭部特有の温度パターンに基づき頭部６２を抽出する。人体比較特徴抽出部３１は、抽出した人体候補領域５２の中から全高（図１Ａの身長）、全幅（図１Ａの肩幅）、胴（図１Ａの上肢長）、腕（腕の長さ）、脚（図１Ａの股下高）の人体特徴のうち、少なくとも１つの人体特徴を人体比較特徴として抽出する（この第１実施例では、身長）。実空間上サイズ推定部３４は、人体比較特徴抽出部３１と、頭部抽出部３２により抽出した頭部の大きさ（この第１実施例では頭幅）と、前記少なくとも１つの人体特徴（この第１実施例では身長）の大きさの比率Ｒ（この第１実施例では、Ｒ＝身長／頭部）に基づいて、マップ６０等を参照し、前記画像の中の人体候補４の実空間上でのサイズ（この第１実施例では、図７、図８、図１１の身長ＨＴ）を推定する。なお、比率は、頭部（基準特徴）と身長（比較特徴）の比率Ｒの他、例えば、頭部（人体基準特徴）と上肢長（人体比較特徴）、頭部（人体基準特徴）と股下高（脚：人体比較特徴）等とすることができる。

　距離算出部３６は、推定した実空間上でのサイズである身長ＨＴと、画像の中の人体候補領域５２のサイズである身長ｈに基づいて、上記の（３）式により撮像装置である赤外線カメラ１６の位置から実空間上の人体候補２ｒまでの距離を算出することができる。

［第２実施例］
　図１２に示す表は、上述した図１Ａ、図１Ｂ、図１Ｃ及び図２の日本人体格データ、並びに図３Ａ、図３Ｂ、図３Ｃ及び図４の乳幼児体格データから抽出した年齢、身長（平均値）、肩幅（平均値）に対応する第２実施例に係る比率Ｒ´（肩幅／身長）を計算した、比率Ｒ´（肩幅／身長）のマップ（テーブル）８０を示している。

　図１３に示す特性図は、４歳から９９歳の年齢に対して、身長、肩幅、及び計算した第２実施例に係る比率Ｒ´（肩幅／身長）をプロットしたものであり、比率Ｒ´（肩幅／身長）の特性Ｃｒ´が、５歳程度以上で概ね身長に比例して変化していることに留意する。

　この第２実施例においても、図９に示したフローチャートが概ね共用される。ステップＳ１～Ｓ４までの処理は同一であり、そのステップＳ４において、図１４に示す、人体候補４（対象物）の下端ＯＢｂと上端ＯＢｔとから画像上での人体候補４の身長ｈのサイズ（画素数ｎとする。）を求める。

　次いで、ステップＳ５に代わるステップＳ５´において、肩部抽出部３７は、図１４を参照して説明すると、２値画像における人体候補４である対象物の上端ＯＢｔから下側にかつ右側から左側に水平方向に走査し、輝度の変化点であり画像中の全幅（最大幅）である肩部７２、７３の肩幅ｓｗに対応する２つの垂直エッジ７６、７８を抽出する。そして、肩幅ｓｗのサイズ（画素数ｐとする。）を求める。なお、人体の肩部７２、７３の肩幅ｓｗは、露出しているとき（例えば、ノースリーブの衣服を着用しているとき等）には、赤外線画像中、輝度が高い部分の一つであるので、「１」値が連続しており、肩部７２、７３の垂直エッジ７６、７８を精度よく検出することが容易である。

　また、上着として、Ｔシャツや半袖シャツを着用している場合には、腕関節近傍の腕両外側部を肩部７２、７３の垂直エッジ７６、７８として、同様に、精度よく検出することができる。従って、例えば、夏季等の暑いときで薄着の場合には、この第２実施例が好適に適用される。

　次いで、ステップＳ６において、実空間上サイズ推定部３４は、まず、前記画像中の人体候補４の身長ｈと肩幅ｓｗに対する所定の比率Ｒｉ´｛Ｒｉ´＝（ｈ／ｓｗ）＝（ｎ／ｐ）｝を算出する。なお、画素が正方形でない場合には、正方形となるよう、予め、規格化しておく。

　次に、実空間上サイズ推定部３４は、図１３に示した比率Ｒ´の特性Ｃｒ´又は図１２に示したマップ８０を参照し、比率Ｒ´が、算出した比率Ｒｉ´（Ｒ´＝Ｒｉ´）であるときの、実空間上の身長ＨＴ（実空間上での人体の身長であるサイズ）を推定する（求める）。この推定時には、年齢は参照されない。

　次いで、ステップＳ７において、距離算出部３６は、ステップＳ６で推定した実空間の身長ＨＴと画像上の身長ｈ（長さ＝画素数×画素長）と焦点距離Ｆとから、実空間上の人体候補までの距離Ｚｒを、上述した（３）式により算出する。

　この場合においても、算出された距離Ｚｒは、従来技術に係る図１５を参照して説明した一律的な身長Ｈｃの仮定値、例えば１７０[ｃｍ]として求めた距離Ｚｃに比較して、距離誤差ΔＺが小さくなる。よって、身長の算出誤差ΔＨも身長真値Ｈｔｒｕｅに比較して小さくなる。

　この第２実施例において、年齢５歳から２０歳程度まで、比率Ｒ´の特性Ｃｒ´を直線近似し、この特性Ｃｒ´´を参照し、算出した比率Ｒｉ´に対応する実空間上の身長ＨＴを求めるようにしてもよい。例えば、Ｒ´＝Ｒｉ´＝０．２５２ｔのとき、身長ＨＴは、ＨＴ≒１５２［ｃｍ］と推定（算出）される。

　この場合において、算出した比率Ｒｉ´がＲｉ´＞０．２６２となった場合には、特性Ｃｒ´´の水平線部（２０歳から９９歳まで）に示すように、Ｒ´＝０．２６２として実空間上の身長ＨＴを求めるように変形することができる。すなわち、破線で描いた特性Ｃｒ´´として、図１２の比率Ｒ´の欄を書き換えればよい。

　比率Ｒ´の最大値をＲ´＝０．２６２としたのは、９９歳での比率Ｒ´が、０．２６２を上回る値となっていることによる。

　この第２実施例では、学齢前の乳幼児が、特に、夜間等、しかも車道側を一人で歩くことは稀であること等を考慮すれば、特性Ｃｒ´又は特性Ｃｒ´´を利用して人体候補までの距離Ｚｒを算出しても、実用上十分な効果がある。

　また、この発明は、上述の実施形態に限らず、この明細書の記載内容に基づき、種々の構成を採り得ることはもちろんである。

　例えば、上述した第１実施例では、体格データ上の頭部と身長の比率Ｒに基づいて、頭部を検出したときに、身長ＨＴを推定し、第２実施例では、肩幅と身長の比率Ｒ´に基づいて肩部を検出したとき、身長ＨＴを推定するようにしているが、上述したように、さらに、他の部位、例えば、胴（図１Ａの上肢長）、腕（腕の長さ）、脚（図１Ａの股下高）等を検出したとき（複数、検出したとき）には、人体候補の信頼度が高いと判断するようにしてもよい。そして、人体候補が複数検出された場合には信頼度の高い人体候補に基づき距離を算出するようにしてもよい。

　さらに、上記実施形態では、人体特徴として、全高、全幅、胴、腕、脚、頭部を対象としているが、これ以外の部位、例えば、足のサイズ、膝下長さ、手のサイズ等に基づいて、距離を算出するようにしてもよい。

　また、上記実施形態では、赤外線カメラ（通常のビデオカメラでもよい。）１台のいわゆる単眼の撮影装置を用いて距離を算出するようにしているが、赤外線カメラ（通常のビデオカメラでもよい。）を２台用いた、いわゆる複眼の撮影装置（ステレオカメラ）を用いることもできる。そして、上述したように、単眼の撮影装置を用いても、１フレームの画像から距離の算出ができるので、対象物を迅速に検出することができる。

Claims

　撮像装置（１６）により取得された画像に基づき人体検知を行う人体検知装置を利用した対象物距離測定装置（５０）において、
　前記画像から人体候補領域（５２）を抽出する人体候補領域抽出部（３０）と、
　抽出した前記人体候補領域（５２）の中から全高、全幅、胴、腕、脚、頭部の人体特徴のうち、予め定めた１つの人体特徴を基準特徴として抽出する基準特徴抽出部（３３）と、
　抽出した前記人体候補領域（５２）の中から全高、全幅、胴、腕、脚、頭部の人体特徴のうち、前記基準特徴を除く他の１つの人体特徴を比較特徴として抽出する比較特徴抽出部（３１）と、
　前記基準特徴の大きさと、前記比較特徴の大きさの比率（Ｒ）に基づいて、前記画像の中の人体候補の実空間上でのサイズを推定する実空間上サイズ推定部（３４）と、
　推定した前記実空間上での人体候補のサイズと、前記画像の中の人体候補のサイズに基づいて、前記撮像装置（１６）から前記実空間上の前記人体候補までの距離を算出する距離算出部（３６）と、
　を備えることを特徴とする対象物距離測定装置。
　請求項１記載の対象物距離測定装置において、
　前記基準特徴を前記頭部（６２）とし、前記比較特徴を前記全高とする
　ことを特徴とする対象物距離測定装置。
　請求項１記載の対象物距離測定装置において、
　前記基準特徴を前記全幅とし、前記比較特徴を前記全高とする
　ことを特徴とする対象物距離測定装置。
　請求項１～３のいずれか１項に記載の対象物距離測定装置（５０）を搭載した車両（１２）であって、
　当該車両（１２）は、前記人体検知装置が人体を検知したとき、運転者に通知する通知部（２４，２６）を備える
　ことを特徴とする車両。