JP5401257B2

JP5401257B2 - 遠赤外線歩行者検知装置

Info

Publication number: JP5401257B2
Application number: JP2009244443A
Authority: JP
Inventors: 勝市石井
Original assignee: Clarion Co Ltd
Current assignee: Faurecia Clarion Electronics Co Ltd
Priority date: 2009-10-23
Filing date: 2009-10-23
Publication date: 2014-01-29
Anticipated expiration: 2029-10-23
Also published as: US20120212615A1; EP2492868A4; EP2492868A1; CN102598056A; JP2011090556A; WO2011048938A1

Description

本発明は、遠赤外線歩行者検知装置に関し、詳細には、撮像された画像の中から、歩行者の存在位置を検出する画像処理の効率を向上させる手法に関する。

従来から、交通死傷者の低減に対する技術的な取り組みがなされているが、そのうち、死亡事故の大きな割合を占める運転者の保護については、エアバッグ等の普及により、顕著な低減の効果が現れている。これに対して、次に大きな死亡事故の割合を占める歩行者に対する安全策については、車両前方を撮像した画像から歩行者の有無と存在位置を検出し、これを運転者に報知するシステムの実現が検討されている。

このシステムは、具体的には、車両に、進行方向を撮像する遠赤外線カメラを設置し、撮像された画像から歩行者を検知し、画像の歩行者部分にマーカを重畳して運転者に提示するものである。また、将来的には、このシステムによって歩行者を検知したとき、危険度を自動的に判断して、危険と判断した場合に警告、あるいは、車両の自動操縦装置による制動や操舵によって、衝突を回避することも可能となる。

画像の中から歩行者を検知する手法としては、予め歩行者のテンプレートを用意して、このテンプレートと画像内の歩行者が存在する可能性のある領域の類似度を求める、いわゆるテンプレートマッチングが用いられる。類似度を計算する方法には、大きく分けて「画素値の比較」と「輪郭情報の比較」の手法がある。

このうち、輪郭情報は、画像の明るさに依存しない為、天候や太陽位置によって、画像の明るさの変化が大きい、車両用などの屋外用途に適している。さらに、輪郭情報は、二値、もしくは少ない階調で表現可能な為、扱うデータ量も少なく、歩行者検知処理の中で大きな処理量を占めるテンプレートマッチングにおける類似度の計算量が少なくて済む。

次に、輪郭情報に基づいた遠赤外線歩行者検知装置の処理過程を説明する。

まず、画面全体のコントラストを高める処理を施して、撮像された画像の各画素に格納された値（以降、画素値と呼ぶ）の差を明確化することにより、画像の輪郭を強調する。

次に、この輪郭が強調された画像を、予め用意しておいた、歩行者の輪郭が強調されたテンプレートとマッチング処理して、画像の各部分とテンプレートとの間の相関値（画像におけるテンプレートの位置毎の相関値で表された相関マップ）を求める。

ここで、テンプレートとマッチング処理を行うに際し、輪郭が強調処理された画像の中から、歩行者（の像）が存在する可能性がある画像部分からテンプレートと同じ大きさで画像を切り出す。または、想定する歩行者（の像）と同じ大きさで画像を切り出した後に、切り出した画像をテンプレートと同じ大きさになるように拡大または縮小する。

得られた相関マップにおける相関値は連続性を有する（位置が隣接していれば、相関値が突発的に変化することはない）ため、その相関マップにおいて大きな相関値で表された領域は、ある程度の広さを有する領域となるが、その領域内で最大の相関値を示している位置にテンプレートを当てはめた部分が、歩行者の像が存在する候補の部分となる。

そして、その最大の相関値を、予め設定された閾値（歩行者が存在するか否かを判別するのに適した値）と比較して、最大の相関値が閾値を上回っているときは、その位置に歩行者の像が存在すると判定している（特許文献１）。

特開２００３−００９１４０号公報

先行例では、歩行者を検出するためのテンプレートマッチング処理を、撮像された画像全体に対して行っている。

テンプレートマッチング処理は、撮像された画像とテンプレートとの相関を求める演算を、テンプレートの位置をずらしながら、前記撮像された画像の中の各画素に対して行う必要があるため、情報量が少ない輪郭情報を利用する場合であっても、大きな計算機負荷がかかってしまうという問題がある。

本発明は上記事情に鑑みなされたもので、歩行者検知処理の計算機負荷を低減させることが可能な遠赤外線歩行者検知装置を提供することを目的とする。

本発明に係る遠赤外線歩行者検知装置は、撮像された画像の中から無限遠点の位置を検出し、前記無限遠点の位置に基づいて歩行者の検知領域を設定した後、前記歩行者の検知領域のみに対して歩行者検知を行うことで、計算機処理の負荷を軽減させるものである。

すなわち、本発明に係る遠赤外線歩行者検知装置は、遠赤外線に対する感度を有する遠
赤外線撮像手段によって撮像された画像の中から歩行者の存在位置を検知する遠赤外線歩
行者検知装置において、前記撮像された画像に基づいて、前記画像の中の無限遠点の位置
を求める無限遠点検出手段と、前記無限遠点の位置に応じて、歩行者の存在位置を検知す
るための検知領域を設定する歩行者検知領域設定手段とを備え、前記無限遠点検出手段は、前記画像の中で、隣り合う画素の間の画素値の差が所定値以上である輪郭構成点、および前記輪郭構成点における輪郭の延びる方向を検出する輪郭検出手段と、前記輪郭検出手段によって検出された前記輪郭構成点のうち、前記輪郭の延びる方向が水平、もしくは水平に近い輪郭構成点、および前記輪郭の延びる方向が垂直、もしくは垂直に近い輪郭構成点を除去する特定輪郭成分除去手段と、前記特定輪郭成分除去手段によって除去されない前記輪郭構成点の位置と前記輪郭構成点における輪郭の延びる方向に基づいて、前記輪郭の延びる方向が所定値以上離れた２本の直線を検出する直線検出手段とを備え、前記検出された２本の直線に基づいて前記無限遠点の位置を特定するものであることを特徴とする。

このように構成された本発明に係る遠赤外線歩行者検知装置によれば、特定輪郭成分除
去手段によって、輪郭検出手段で検出された輪郭構成点のうち、画像の中の無限遠点の
位置を特定するための情報として利用できない可能性がある、輪郭の延びる方向が水平
もしくは水平に近い輪郭構成点、および垂直もしくは垂直に近い輪郭構成点が除去され
るため、無限遠点検出手段が、遠赤外線撮像手段によって撮像された画像の中から無限遠
点の位置を精度よく検出し、歩行者検知領域設定手段が、検出された無限遠点の位置に応
じて、撮像された画像の中の歩行者の検知領域を制限するため、歩行者検知のための計算
機処理手段として、例えば、テンプレートマッチング処理を行うものでは、このテンプレ
ートマッチング処理に要する計算機負荷を低減することができる。

また、本発明に係る遠赤外線歩行者検知装置は、前記特定輪郭成分除去手段が、前記輪郭検出手段によって検出された前記輪郭構成点に対してハフ変換を行うことによって生成されるハフ空間から、前記輪郭構成点を通過する水平、もしくは水平に近い直線、および、垂直、もしくは垂直に近い直線に対応する情報を除去するものであり、前記直線検出手段が、前記特定輪郭成分を除去した結果に基づいて、前記直線の検出を行う構成であることが望ましい。

このように構成された本発明に係る遠赤外線歩行者検知装置によれば、前記輪郭検出手段によって検出された前記輪郭構成点に対してハフ変換を適用した後、前記ハフ変換によって生成されたパラメータ空間（ハフ空間）内で、水平もしく水平に近い輪郭成分、または、垂直もしくは垂直に近い輪郭成分を全て除去し、さらに、前記特定輪郭成分を除去した結果に基づいて、前記ハフ空間内で、所定角度以上離れた２つの直線に対応する極大値を検出することによって前記直線検出が実施できるため、無限遠点の位置の決定に必要な２本の直線の検出を簡単な手続きで行うことができる。

さらに、本発明に係る遠赤外線歩行者検知装置は、特定された歩行者の検知領域に対し
て、所定のテンプレートと比較照合を行うことで、前記テンプレートに表された像に対す
る画像部分を検出するテンプレートマッチング手段と、前記テンプレートマッチング手段
によって検出された画像部分に所定のマーカを重畳して出力するマーカ重畳手段と、所定
の情報を表示する画像表示手段と、を備え、前記撮像して得られる画像が、前記車両の
進行方向の所定領域を撮像して得られた画像であり、前記テンプレートマッチング手段は、前記テンプレートの像として歩行者の像が適用されたテンプレートと照合する構成であることが望ましい。

このように構成された本発明に係る遠赤外線歩行者検知装置によれば、撮像された画像に対して、その歩行者検知領域を特定した後、テンプレートマッチング手段によって、歩行者の像が表されたテンプレートと比較照合（テンプレートマッチング）を行うため、撮像された画像全体に対してテンプレートマッチングを行う必要がない。したがって、撮像した遠赤外線画像の歩行者の画像部分に、精度よく所定のマーカを重畳させることができ、運転者等の乗員に対して、歩行者への注意を喚起することができる。

本発明に係る遠赤外線歩行者検知装置によれば、無限遠点の位置が精度よく検出でき
るため、歩行者検知を行う領域を制限することができ、これによって、画像処理の計算
機負荷を低減できるという効果が得られる。

本発明の実施形態に係る遠赤外線歩行者検知装置１００の概略構成を示すブロック図である。図１の遠赤外線歩行者検知装置１００における歩行者検知手段２０の詳細構成を示すブロック図である。図２に示した歩行者検知手段２０のうち、無限遠点検出手段３０による無限遠点検出手順、歩行者検知領域設定手段４０による歩行者検知領域設定手順、およびテンプレートマッチング手段５０による歩行者の像の検出処理手順を示すフローチャートである。遠赤外線撮像手段１０で撮像した遠赤外線画像２００の１例を示す図である。遠赤外線画像２００に対して輪郭強調を行った、輪郭強調画像２０１を示す図である。輪郭強調画像２０１から輪郭を構成する点を抽出した、輪郭構成点画像２０２を示す図である。ハフ変換において算出するθとρを説明する図である。輪郭構成点画像２０２に対してハフ変換を行って得られた、ハフ変換画像２０３を示す図である。ハフ変換画像２０３から、輪郭の延びる方向が水平、または垂直に近い輪郭成分を除去した、特定輪郭成分除去画像２０４を示す図である。特定輪郭成分除去画像２０４から、所定値以上離れた方向を持つ２本の直線を検出した結果を示す図である。歩行者Ｋ３と、遠赤外線撮像手段１０を構成するレンズＫ１と、遠赤外線撮像手段１０を構成する撮像素子Ｋ２との位置関係を示す図である。遠赤外線撮像手段１０が、図１１に示した位置関係にある場合の、歩行者検知領域Ａ１を示す図である。遠赤外線撮像手段１０の光学系の光軸が下向きにφ傾いた場合の、歩行者Ｋ３と、レンズＫ１と、撮像素子Ｋ２との位置関係を示す図である。遠赤外線撮像手段１０の光学系の光軸が下向きに５°傾いた場合の、歩行者検知領域Ａ２を示す図である。遠赤外線撮像手段１０の光学系の光軸が上向きに５°傾いた場合の、歩行者検知領域Ａ３を示す図である。検知された歩行者の位置を表す矩形枠Ｆを、遠赤外線画像２０５に重畳した結果を示す図である。

以下、本発明に係る遠赤外線歩行者検知装置の実施形態について、図面を参照して説明する。

図１は、本発明の実施形態に係る遠赤外線歩行者検知装置１００の概略構成を示すブロック図、図２は、図１の遠赤外線歩行者検知装置１００における歩行者検知手段２０の詳細構成を示すブロック図、図３は図２に示した歩行者検知手段２０のうち、無限遠点検出手段３０、歩行者検知領域設定手段４０、およびテンプレートマッチング手段５０による歩行者の像の検出処理を示すフローチャートである。

本発明に係る遠赤外線歩行者検知装置１００は、図１に示す通り、車両に設置されてその進行方向の所定領域を遠赤外線画像２００（図４参照）として撮像する遠赤外線撮像手段１０と、前記遠赤外線撮像手段１０によって撮像された遠赤外線画像２００に基づいて、前記遠赤外線画像２００の中から歩行者を表す像を検出し、検出された歩行者の像の部分に矩形枠（マーカ）を重畳して出力する歩行者検知手段２０と、歩行者の像の位置に矩形枠Ｆ（図１６参照）が付された、遠赤外線画像２０５を表示する画像表示手段７０とから構成される。

ここで、遠赤外線撮像手段１０は、図１１に示すように、その中に、外界の映像を電気信号に変換するための光学系（レンズＫ１）と撮像素子Ｋ２を有している。

さらに、歩行者検知手段２０は、図１に示すように、無限遠点検出手段３０と歩行者検知領域設定手段４０とテンプレートマッチング手段５０とマーカ重畳手段６０とから構成される。

そして、無限遠点検出手段３０は、遠赤外線画像２００のコントラストを高める画素値調整部３１と、前記画素値調整部３１によってコントラストが高められた画像に対して、前記画像の輪郭を強調し、輪郭強調画像２０１（図５参照）を生成して、さらに、所定値以上の輪郭の強さを有する画素を輪郭構成点として抽出して、輪郭構成点画像２０２（図６参照）を生成する輪郭検出部３２（輪郭検出手段）と、前記輪郭検出部３２において生成された輪郭構成点画像２０２に対してハフ変換を施すハフ変換部３３と、ハフ変換の結果得られたハフ変換画像２０３（図８参照）に対し、そのハフ変換画像２０３の中から特定方向の輪郭成分を除去する特定輪郭成分除去部３４（特定輪郭成分除去手段）と、前記特定輪郭成分除去部３４によって、特定方向の輪郭成分が除去された特定輪郭成分除去画像２０４（図９参照）の中から、所定値以上離れた方向を有する２本の直線を検出する直線検出部３５（直線検出手段）と、前記直線検出部３５で検出された２本の直線の交点を求める直線の交点算出部３６とを備えた構成である。

ここで、ハフ変換部３３で行うハフ変換とは、与えられた画像の中から直線成分を検出する画像処理手法として広く用いられているものである。具体的に説明すると、まず、画像の中の輪郭構成点（ｘ，ｙ）に対して、その点を通過する任意の直線を想定する。このとき、画像の原点からその直線に下ろした垂線長をρとし、ρと画像の水平軸とのなす角度をθとすると、ρとθの間には、（式１）の関係が成り立つ。

ρ＝ｘ・ｃｏｓθ＋ｙ・ｓｉｎθ （式１）
ここで、与えられた画像の中の全ての輪郭構成点に対して、θの値を所定値ずつ変更しながら、その都度（式１）でρを計算し、算出された（θ，ρ）に対応する画素値を１ずつインクリメントしていくという規則に基づいて、ハフ空間と呼ばれる（θ，ρ）空間を作成する。この処理によって、与えられた画像の中に直線成分が含まれていれば、前記直線成分の（θ，ρ）に対応した画素には突出した値が格納されるため、ハフ空間から、その極大値を与える（θ，ρ）を特定して、与えられた画像の中の直線成分を検出するという手法である。

歩行者検知領域設定手段４０は、無限遠点検出手段３０で検出された、遠赤外線画像２００の中の無限遠点の位置に基づいて、歩行者が存在すると想定される領域を設定するものである。

また、テンプレートマッチング手段５０は、歩行者検知領域設定手段４０で設定された領域に対して、輪郭強調画像２０１と、テンプレート記憶部５２に記憶された歩行者のテンプレートとの間でテンプレートマッチング処理を行い、前記輪郭強調画像２０１と前記歩行者のテンプレートとの間で相関値を求める相関値算出部５１と、前記相関値算出部５１によって算出された相関値に基づいて、歩行者の存在位置を検出する歩行者存在位置検出部５３とを備えた構成になっている。

マーカ重畳手段６０は、遠赤外線撮像手段１０によって得られた遠赤外線画像２００のうち、上記テンプレートマッチング手段５０により得られた歩行者の像の位置に、図１６に示す矩形枠Ｆを重畳して出力するものである。

次に、本実施形態に係る遠赤外線歩行者検知装置１００の作用について、図３のフローチャートを参照して説明する。

まず、車両に設置された遠赤外線撮像手段１０が、車両の進行方向の所定領域を撮像し、例えば、図４に示す遠赤外線画像２００や図１６に示す遠赤外線画像２０５のような遠赤外線画像が撮像される。こうして撮像された遠赤外線画像では、例えば図１６に示す遠赤外線画像２０５のように、人体のような熱を放射する物標部分に大きな値が格納され、画像上、明るく観測される。

以降、遠赤外線画像２００を例にあげて、本発明の作用を説明する。

図３のステップ１（Ｓ１）において、遠赤外線撮像手段１０によって撮像された遠赤外線画像２００は、画素値調整部３１に入力される。前記画素値調整部３１は、後で実施する輪郭の強調をより効果的に行うために、入力された遠赤外線画像２００に対して、そのコントラストを高める処理を施す（図３のＳ２）。

コントラストを高める処理としては、例えば、遠赤外線画像２００の中の画素値の最大値と最小値を求め、前記画素値が８ビットに量子化されている場合であれば、最大値を２５５、最小値を０に変換して、中間値を線形に補間する処理や、前記画素値のヒストグラムを求め、その中央値を境に、前記中央値より小さい画素値をもつ画素は０から前記中央値の間で、また前記中央値より大きい画素値をもつ画素は、前記中央値から２５５の間で、それぞれ画素値を非線形に変換する処理が実行される。もちろん、上記特定の方法に限定するものではなく、上記と同等の効果を有する処理を行えばよい。

画素値調整部３１でコントラストが高められた画像は、輪郭検出部３２に入力される。前記輪郭検出部３２は、入力された、前記コントラストが高められた画像に対して微分処理を施す（図３のＳ３）。微分処理によって、画像の中で画素値が急激に変化する、物体の輪郭が強調された輪郭強調画像２０１（図５）が得られる。

画像の微分処理は、例えば、SobelオペレータやPrewittオペレータ等、提案されている様々なオペレータを用いて、空間フィルタリングと呼ばれるフィルタリング処理を行うことによって実行できる。この処理は、ディジタル画像処理では一般的に用いられている手法であるため、詳細説明は割愛する。ここでは、これらいずれのオペレータを用いて処理を行ってもよい。

次に、前記輪郭検出部３２で、前記輪郭強調画像２０１の中から、隣接する画素の間で画素値の差が大きい、強い輪郭強度を有する輪郭構成点を抽出する。ここでは、輪郭強調画像２０１の中で所定値以上の画素値を有する画素に「１」を格納し、それ以外の画素に「０」を格納する２値化処理を施す（図３のＳ４）。前記２値化処理によって、輪郭構成点画像２０２（図６）が得られる。図６で、白い画素には、輪郭構成点を表す「１」が格納され、黒い画素には、輪郭構成点以外を表す「０」が格納される。

前記輪郭構成点画像２０２は、ハフ変換部３３に入力される。前記ハフ変換部３３は、輪郭構成点画像２０２に対してハフ変換を施し（図３のＳ５）、ハフ変換画像２０３（図８）を得る。

ここで行うハフ変換の処理の手順を、図７を参照して説明する。

輪郭構成点画像２０２の中で「１」が格納された全ての画素に対し、その画素を通過する可能性のある直線を想定し、輪郭構成点画像２０２の左上の原点Ｏ（０，０）から、想定した直線に下ろした垂線長ρと、輪郭構成点画像２０２の水平軸と前記垂線のなす角度θを算出する。

図７には、原点Ｏ（０，０）から、輪郭構成点の代表として点Ｃ（ｘ０，ｙ０）を記載し、点Ｃを通る全ての直線の代表として、直線Ｌ１を記載した。

（式１）にてθを所定値（例えば１°）ずつ変化させながら、その都度、θに対応するρを算出して、（θ，ρ）の組み合わせを求めて、（θ，ρ）に対応する座標の画素値を１ずつインクリメントしていくことによって、ハフ空間と呼ばれるハフ変換画像２０３が作成される。

生成されたハフ変換画像２０３は、特定輪郭成分除去部３４に入力され、水平方向および垂直方向に延びる輪郭を除去する処理が行われる（図３のＳ６）。

ここで、車両の進行方向前方を撮像した画像の中から、無限遠点を検出する場合、撮像された画像は透視変換を受けているため、無限遠点は、一般に、そこに向かって収束する複数の直線の交点として求められる。しかし、路上の障害物の輪郭や道路外の建造物の輪郭のように、無限遠点の位置を特定する情報にならない輪郭も多く存在する。特に、透視変換を受けた画像の中の水平方向に延びた輪郭（水平輪郭）と垂直方向に延びた輪郭（垂直輪郭）は、無限遠点の位置特定には不要なことが多い。特定輪郭成分除去部３４では、無限遠点の検出に先立ち、このような水平輪郭と垂直輪郭を除去する処理を行う。

具体的には、前記ハフ変換画像２０３に対し、予め設定した閾値ωを用いて、以下の変換処理を行う。ここで、ハフ変換画像２０３をＭ（θ，ρ）とし、特定輪郭成分を除去する処理の結果、得られる画像をＮ（θ，ρ）（以降、特定輪郭成分除去画像２０４と呼ぶ）とする。
Ｎ（θ，ρ）＝０（−ω≦θ≦ω、９０°−ω≦θ、θ≦−９０°＋ω）（式２）
Ｎ（θ，ρ）＝Ｍ（θ，ρ）（（式２）以外のθ）（式３）
ここで、ωは水平輪郭および垂直輪郭に近いことを示す所定の閾値であり、例えばω＝５°と設定しておけばよい。こうして生成した特定輪郭成分除去画像２０４の例を図９に示す。なお、（式２）、（式３）に示した処理は、具体的には、ハフ変換画像２０３に対して（式２）で示された範囲の画素値を全て０に置き換えるという簡単な処理によって実現することができる。

次に、直線検出部３５にて、前記特定輪郭成分除去画像２０４から２本の直線を検出する（図３のＳ７）。この直線検出処理は、特定輪郭成分除去画像２０４に対して、所定値以上θが離れた、２つの極大点を求めることによって行われる。

まず、特定輪郭成分除去画像２０４の中から最大値が格納された画素を特定する。特定された画素を（θ１，ρ１）とする。次に、予め決めておいた所定値、例えばδ＝９０°に対し、θ＜θ１−δ、およびθ１＋δ＜θなる範囲のθに対して、特定輪郭成分除去画像２０４の最大値が格納された画素を特定する。特定された画素を（θ２，ρ２）とする。

このようにして特定された（θ１，ρ１）、および（θ２，ρ２）が、遠赤外線画像２００の中に存在する、輪郭構成点が多い上位２本の直線を表す。ここで、閾値δを設けるのは、できるだけ方向が異なる２本の直線を用いた方が、無限遠点を精度よく検出できるためである。（θ１，ρ１）と（θ２，ρ２）の検出結果例を、図１０に示す。

次に、直線の交点算出部３６にて、２本の直線（θ１，ρ１）と（θ２，ρ２）の交点を算出する（図３のＳ８）。具体的には、（θ１，ρ１）と（θ２，ρ２）で特定される２本の直線の式を求め、前記２本の直線の式を連立方程式として解くことにより、その交点を特定する。こうして算出された交点が、遠赤外線画像２００の中の無限遠点の位置を表す。

次に、歩行者検知領域設定手段４０において、算出された無限遠点の位置に基づいて、歩行者が存在すると想定できる領域を設定する（図３のＳ９）。

ここで、歩行者検知領域の設定方法について、具体的数値を用いて説明する。
ここでは、遠赤外線撮像手段１０の撮像素子の画素数を横方向３６０画素、縦方向２４０画素、撮像素子の１画素のサイズを４２μｍ（縦横とも同サイズ）、遠赤外線撮像手段１０を構成するレンズＫ１の焦点距離をｆ＝２５ｍｍとする。また、この遠赤外線撮像手段１０は、車両の高さｈ＝１８０ｃｍの位置に、車両の進行方向に向いて、俯角０°で設置されるものとする。

歩行者を検出する範囲は、歩行者検知システムの設計要件に基づいて設定すればよいが、ここでは、歩行者までの距離Ｌ＝３０ｍから９０ｍの範囲、左右各Ｗ＝５ｍの範囲に存在する歩行者を検知するものとする。

撮像素子に投影された歩行者の足元の縦方向位置ｄｖは、図１１に記載したレイアウトにおいて、歩行者までの距離Ｌと、遠赤外線撮像手段１０を構成するレンズの焦点距離ｆと、歩行者の身長Ｄｖとから、（式４）で求められる。

ｄｖ＝Ｄｖ・ｆ／Ｌ（式４）
ここで、図１１において、Ｋ１は遠赤外線撮像手段１０を構成するレンズ、Ｋ２は遠赤外線撮像手段１０を構成する撮像素子、Ｋ３は歩行者を表す。

Ｌ＝３０ｍ前方にいる身長Ｄｖ＝１．８ｍの歩行者の場合、（式４）から、ｄｖ＝１．５ｍｍとなる。ｄｖを撮像素子のサイズ４２μｍで除し、歩行者の足元の画面中央からの縦方向距離は３６画素となる。同様に、Ｌ＝９０ｍ前方にいる歩行者の場合、その歩行者の足元の画面中央からの縦方向距離は１２画素となる。

一方、図示は省略するが、図１１と同様にして、歩行者の足元が、遠赤外線撮像手段１０の撮像素子に投影される横方向位置ｄｈは、歩行者までの距離Ｌと、遠赤外線撮像手段１０を構成するレンズの焦点距離ｆと、遠赤外線撮像手段１０の光学系の光軸から歩行者までの水平方向距離Ｄｈとから、（式５）で求められる。

ｄｈ＝Ｄｈ・ｆ／［(Ｄｈ^２＋Ｌ^２)^1/2・cos｛tan^-1(Ｄｖ／Ｌ)｝］（式５）
ここで、Ｌ＝３０ｍ前方、かつ左方向Ｄｈ＝５ｍの位置にいる歩行者の場合、ｄｈ＝４．１７ｍｍとなる。ｄｈを撮像素子のサイズ４２μｍで除し、歩行者の足元の画面中央からの左方向偏位量は９９画素となる。同様に、Ｌ＝９０ｍ前方、かつ左方向Ｄｈ＝５ｍにいる歩行者の足元の画面中央からの左方向偏位量は３４画素となる。右方向Ｄｈ＝５ｍの位置にいる歩行者は、上記と対称な位置に観測されるため、歩行者の足元が存在すると考えられる歩行者検知領域は、図１２に示すＡ１の範囲となる。

また、先述の条件の場合、遠赤外線画像２００の中の無限遠点の位置はＶｐ１（１８０，１２０）となる。

ここで、実際に車両に遠赤外線撮像手段１０を設置したとき、あるいは、その状態で走行したとき、２つの要因によって、遠赤外線撮像手段１０の設置方向と走行している路面の関係が変化する。１つは、カメラそのものの取り付け誤差によるもの、もうひとつは、走行中の車両の上下動によるものである。

例えば、遠赤外線撮像手段１０の取り付け誤差、もしくは、走行中の車両の上下動により、遠赤外線撮像手段１０の光学系の光軸の俯角が０°でなく、下向き５°になったと仮定する。このとき、歩行者の足元が存在すると考えられる歩行者検知領域は、次のようにして算出される。

図１３に、遠赤外線撮像手段１０の光学系の光軸が、車両進行方向を向き、水平から下向きにφ傾いた撮像モデルを示す。説明の簡素化のため、回転中心はレンズ中心と一致し、光学系の光軸は、上下方向のみに傾いているものとした。前記については回転中心が多少ずれても結果に大きく影響しない。後記については、もう一方の傾き(左右)に対して同様なモデルを適用すればよい。なお、図１３のＫ１は遠赤外線撮像手段１０を構成するレンズ、Ｋ２は遠赤外線撮像手段１０を構成する撮像素子、Ｋ３は歩行者を表す。また、ｄｖは撮像素子に投影された歩行者の足元の縦方向位置である。

図１１のレイアウトの場合、遠赤外線画像２００の中の無限遠点の位置は、Ｖｐ２（１８０，６８）となる。また、ｄｖは、図１３のレイアウトにおいて、歩行者までの距離Ｌと、遠赤外線撮像手段１０を構成するレンズの焦点距離ｆと、歩行者の身長Ｄｖとから、（式６）で求められる。

ｄｖ＝ｆ・tan｛φ−tan^-1 (Ｄｖ／Ｌ)｝（式６）
また、図示は省略するが、撮像素子に投影された歩行者の足元の横方向位置ｄｈは、歩行者までの距離Ｌと、遠赤外線撮像手段１０を構成するレンズの焦点距離ｆと、遠赤外線撮像手段１０の光学系の光軸から歩行者の足元までの水平方向距離Ｄｈとから、（式７）で求められる。

ｄｈ＝Ｄｈ・ｆ／［(Ｄｈ^２＋Ｌ^２)^1/2・cos｛φ−tan^-1(Ｄｖ／Ｌ)｝］（式７）
（式６）、（式７）より、車両進行方向３０ｍ前方から９０ｍ前方、かつ左右各５ｍの範囲に存在する歩行者検知領域Ａ２は、図１４に示す領域になる。

さらに、遠赤外線撮像手段１０の光学系の光軸が、上向き５°になった場合は、無限遠点の位置はＶｐ３（１８０，１７２）となり、車両進行方向３０ｍ前方から９０ｍ前方、かつ左右各５ｍの範囲に存在する歩行者検知領域は、図１５に示すＡ３の領域になる。

以上、説明したように、歩行者の足元が存在すると考えられる歩行者検知領域の位置は、遠赤外線画像２００の中の無限遠点の位置と１対１に対応しており、無限遠点の位置が特定できれば、歩行者検知領域を特定することができる。

遠赤外線撮像手段１０の光学系の光軸は、俯角方向のみならず、水平方向にも変動する。この場合も、先述の手順と同様にして歩行者検知領域を推定することができる。

歩行者検知領域設定手段４０には、撮像された遠赤外線画像２００の中の無限遠点の位置に基づいて推定される、歩行者検知領域の位置情報が予め記憶されており、無限遠点検出手段３０で検出された無限遠点の位置座標に基づいて、前記検出された無限遠点の位置座標に対応した歩行者検知領域の位置情報が読み出される。

次に、テンプレートマッチング手段５０によって、前述の手順で設定した歩行者検知領域の内部の各画素に対し、テンプレートマッチングを行い、歩行者の存在有無と歩行者の存在位置を特定する。

テンプレートマッチング処理には、歩行者を撮像した遠赤外線画像から、その輪郭を検出した画像をテンプレートとして利用する。前記テンプレートは、予めテンプレート記憶部５２に記憶しておく。

テンプレートマッチング処理は、テンプレート記憶部５２に記憶されたテンプレートを、歩行者検知領域内部の画素毎にあてはめ、その都度、相関値算出部５１にて、相関値を算出することによって行う（図３のＳ１０、Ｓ１１）。相関値の求め方には、様々な方法があるが、例えば、テンプレート内部の各画素と、それをあてはめた輪郭強調画像２０１の対応する画素との間で正規化相互相関値を求めたり、テンプレート内部の各画素と、それに対応する遠赤外線画像２００の画素との間で、対応する画素値の差分値の総和を求めたりすればよい。

前者の正規化相互相関値の場合、テンプレートを歩行者が存在する位置に当てはめたとき、相関値の最大値が算出される。後者の画素値の差分値の総和を計算する場合、テンプレートを歩行者が存在する位置に当てはめたとき、相関値の最小値が算出される。

次に、歩行者存在位置検出部５３において、前記相関値算出部５１で計算された結果に基づいて、歩行者の存在有無と、歩行者が存在する場合はその存在位置を検出する（図３のＳ１２）。この処理は、以下のようにして行う。

相関値算出部５１で計算された結果に対し、その結果を、予め決めておいた閾値と比較して、閾値より大きい、もしくは閾値より小さい画素が存在するか否かを判定する。

相関値として正規化相互相関値を使った場合、閾値よりも大きな値があるか否かを判定すればよい。閾値よりも大きな相関値をもつ画素が見つかった場合、その位置に歩行者が存在すると判定し、閾値よりも大きな相関値をもつ画素が見つからなかった場合、歩行者は存在しないと判定する。

一方、相関値として画素値の差分値の総和を使った場合、閾値よりも小さな値があるか否かを判定すればよい。閾値よりも小さい相関値をもつ画素が見つかった場合、その位置に歩行者が存在すると判定し、閾値よりも小さい相関値をもつ画素が見つからなかった場合、歩行者は存在しないと判定する。閾値の値、および判定基準は、利用する相関値に応じて設定すればよい。

相関値算出部５１で検出された歩行者の位置は、マーカ重畳手段６０に送られ、マーカ重畳手段６０は、歩行者の像の位置に基づいて、歩行者の像の領域を最小限に囲む矩形枠Ｆを設定し、この矩形枠Ｆを、遠赤外線撮像手段１０から入力された遠赤外線画像２００における歩行者の位置に重畳して、画像表示手段７０に出力する。

画像表示手段７０は、マーカ重畳手段６０から送られた、遠赤外線画像２００の歩行者の像に、矩形枠Ｆが付された画像を表示する（図３のＳ１３）。図１６に、こうして生成された遠赤外線画像２０５の１例を示す。

なお、直線検出部３５にて、特定輪郭成分除去画像２０４から２本の直線を検出する際、その方向が所定値δ以上離れるという条件をつけ、具体例として、δ＝９０°と記載したが、δの値は９０°に限定される訳ではない。

出来るだけ方向が離れた２本の直線の交点を探した方が無限遠点を精度よく検出できるため、道路の左端を表す直線と、道路の右端を表す直線を検出するのが望ましい。例えば、遠赤外線撮像手段１０が、図１１のレイアウトにある場合、幅１０ｍの道路の左端と右端は、無限遠点Ｖｐ１において、約１４０°の角度で交差する。したがって、このような場合、δは１４０°を超えない値に設定しておけばよい。

このように構成された本発明に係る遠赤外線歩行者検知装置１００によれば、特定輪郭
成分除去手段３４によって、輪郭検出手段３２で検出された輪郭構成点のうち、画像の
中の無限遠点の位置を特定するための情報として利用できない可能性がある、輪郭の延
びる方向が水平もしくは水平に近い輪郭構成点、および垂直もしくは垂直に近い輪郭構
成点が除去されるため、無限遠点検出手段３０が、遠赤外線撮像手段１０によって撮像さ
れた画像の中から無限遠点の位置を精度よく検出し、歩行者検知領域設定手段４０が、検
出された無限遠点の位置に応じて、撮像された画像の中の歩行者の検知領域を制限するた
め、歩行者検知のための計算機処理手段として、例えば、テンプレートマッチング処理を
行うものでは、このテンプレートマッチング処理に要する計算機負荷を低減することがで
きる。

なお、本実施形態に係る遠赤外線歩行者検知装置にあっては、歩行者検知領域を予め設定した所定範囲に限定しているが、本発明に係る遠赤外線歩行者検知装置はこの形態に限定されるものではなく、例えば、車両に備え付けたセンサによって取得した車両の走行速度に応じて、あるいは、車両に備え付けたナビゲーションシステムによって取得した、現在走行している道路の幅に応じて、歩行者検知領域の位置やサイズを変更する構成を採用することもできる。

このように、歩行者検知領域のサイズを動的に変更し、かつ、遠赤外線画像の中の無限遠点の位置に基づいて、前記歩行者検知領域の位置を特定する構成によっても、上述した実施形態と同様の作用、効果を発揮することができる。

１０遠赤外線撮像手段
２０歩行者検知手段
３０無限遠点検出手段
３１画素値調整部
３２輪郭検出部
３３ハフ変換部
３４特定輪郭成分除去部
３５直線検出部
３６直線の交点算出部
４０歩行者検知領域設定手段
５０テンプレートマッチング手段
５１相関値算出部
５２テンプレート記憶部
５３歩行者存在位置検出部
６０マーカ重畳手段
７０画像表示手段

Claims

遠赤外線に対する感度を有する遠赤外線撮像手段によって撮像された画像の中から歩行
者の存在位置を検知する遠赤外線歩行者検知装置において、前記撮像された画像に基づい
て、前記画像の中の無限遠点の位置を求める無限遠点検出手段と、前記無限遠点の位置に
応じて、歩行者の存在位置を検知するための検知領域を設定する歩行者検知領域設定手段
とを備え、前記無限遠点検出手段は、前記画像の中で、隣り合う画素の間の画素値の差が
所定値以上である輪郭構成点、および前記輪郭構成点における輪郭の延びる方向を検出す
る輪郭検出手段と、前記輪郭検出手段によって検出された前記輪郭構成点のうち、前記輪
郭の延びる方向が水平、もしくは水平に近い輪郭構成点、および前記輪郭の延びる方向が
垂直、もしくは垂直に近い輪郭構成点を除去する特定輪郭成分除去手段と、前記特定輪郭
成分除去手段によって除去されない前記輪郭構成点の位置と前記輪郭構成点における輪郭
の延びる方向に基づいて、前記輪郭の延びる方向が所定値以上離れた２本の直線を検出す
る直線検出手段とを備え、前記検出された２本の直線に基づいて前記無限遠点の位置を特
定するものであることを特徴とする遠赤外線歩行者検知装置。
請求項１記載の遠赤外線歩行者検知装置において、前記特定輪郭成分除去手段は、前記
輪郭検出手段によって検出された前記輪郭構成点に対して、ハフ変換を行うことによって
生成されるハフ空間内から、前記輪郭構成点を通過する水平、もしくは水平に近い直線、
および、垂直、もしくは垂直に近い直線に対応する情報を除去するものであり、前記直線
検出手段は、前記特定輪郭成分を除去した結果に基づいて、前記直線の検出を行うもので
あることを特徴とする遠赤外線歩行者検知装置。
請求項１または請求項２記載の遠赤外線歩行者検知装置において、前記歩行者検知領域
設定手段によって設定された歩行者の検知領域に対して、所定のテンプレートと比較照合
を行うことで、前記テンプレートに表された像に対する画像部分を検出するテンプレート
マッチング手段と、前記テンプレートマッチング手段によって検出された画像部分に所定
のマーカを重畳して出力するマーカ重畳手段と、所定の情報を表示する画像表示手段と、を備え、前記撮像して得られる画像が、前記車両の進行方向の所定領域を撮像して得ら
れた画像であり、前記テンプレートマッチング手段は、前記テンプレートの像として歩行
者の像が適用されたテンプレートと照合するものであることを特徴とする遠赤外線歩行者
検知装置。