WO2011043289A1 - 歩行者検出システム - Google Patents
歩行者検出システム Download PDFInfo
- Publication number
- WO2011043289A1 WO2011043289A1 PCT/JP2010/067354 JP2010067354W WO2011043289A1 WO 2011043289 A1 WO2011043289 A1 WO 2011043289A1 JP 2010067354 W JP2010067354 W JP 2010067354W WO 2011043289 A1 WO2011043289 A1 WO 2011043289A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- pedestrian
- height
- value
- candidates
- group
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
赤外線カメラ(10)によって撮像して得られた画像に基づいて、歩行者を検出する歩行者検出装置(20)を備え、歩行者検出装置(20)が、前記画像と、あらかじめ記憶された歩行者の輪郭を模したテンプレートとのマッチングを行い、このテンプレートとの相関値を求める相関値検出部と、前記画像のうち、前記相関値が歩行者である可能性が高い画像領域を歩行者候補として検出する高相関領域検出部と、複数の歩行者候補の前記画像上の高さの平均値を求め、この平均値と各歩行者候補の前記画像上の高さとに基づいて、歩行者候補が適性か否か判定し、不適正な候補を歩行者候補から除外する取捨選択処理を実行する取捨選択部と、を備えている歩行者検出システム。
Description
本発明は、車両周辺の歩行者の存在を検出する歩行者検出システムに関する。
従来、車両進行方向を撮影する赤外線カメラを設置し、この赤外線カメラによって得られる画像から歩行者の存在を検出し、この画像の歩行者部分にマーカーを重畳して運転者に提示したり、あるいは歩行者が車両に接近し過ぎる等の危険度を自動的に認識して危険と判断した場合に運転者に警告したり、あるいは車両の自動操縦装置による制動や操舵によってこの危険を回避することが可能なシステムの実現が検討されている。
歩行者を検出する場合、あらかじめ歩行者の輪郭を模したテンプレートを用意し、このテンプレートと画像内の歩行者が存在する可能性のあるエリアとの類似性(相関値)を求める、いわゆる「パターンマッチング」を用いる歩行者検出システムが、例えば、特開2003-9140号公報に開示されている。
上述したような従来の歩行者検出システムでは、検出精度を向上させる場合、カメラでとった画像を処理する画像処理装置で例えば歩行者の位置の誤差量を特定して補正する、いわゆるキャリブレーション処理が必要になる。この場合、時間的要素を含めた判定の場合は、動画処理となるために処理速度などシステム全体の制約が生じ、実施が難しくなる。
本発明の目的は、大規模な処理を付加することなく、歩行者の位置等の検出精度を向上することができる歩行者検出システムを提供することにある。
上述の目的を達成するため本発明の一実施例に係る歩行者検出システムは、車両に設置されて前記車両の進行方向を撮像する撮像装置と、この撮像装置によって撮像して得られた画像に基づいて、歩行者を検出する歩行者検出装置と、を備えている。
歩行者検出装置は、撮像装置によって得られた画像と、あらかじめ記憶された歩行者の輪郭を模したテンプレートとのマッチングを行い、このテンプレートとの相関値を求めるようにした相関値検出部と、撮像装置によって得られた画像のうち、前記相関値が歩行者とする可能性の高い画像領域を、歩行者候補として検出する高相関領域検出部と、複数の前記歩行者候補の前記画像上の高さの平均値を求め、この平均値と各歩行者候補の前記画像上の高さとに基づいて、前記歩行者候補が適性か否か判定し、不適正な候補を歩行者候補から排除するように取捨選択処理を実行する取捨選択部と、を備えている。
歩行者検出装置は、撮像装置によって得られた画像と、あらかじめ記憶された歩行者の輪郭を模したテンプレートとのマッチングを行い、このテンプレートとの相関値を求めるようにした相関値検出部と、撮像装置によって得られた画像のうち、前記相関値が歩行者とする可能性の高い画像領域を、歩行者候補として検出する高相関領域検出部と、複数の前記歩行者候補の前記画像上の高さの平均値を求め、この平均値と各歩行者候補の前記画像上の高さとに基づいて、前記歩行者候補が適性か否か判定し、不適正な候補を歩行者候補から排除するように取捨選択処理を実行する取捨選択部と、を備えている。
実施例の説明
以下、本発明の好ましい実施例を、添付図面を参照して詳細に説明する。
以下、本発明の好ましい実施例を、添付図面を参照して詳細に説明する。
〈第一実施例〉
図1は、本発明の第一実施例に係る歩行者検出システム100を示す。
この歩行者検出システム100は、撮像装置10と、歩行者検出装置20と、歩行者位置表示部30と、画像表示部40とを備えている。撮像装置10は、図示の実施例では、例えば、赤外線カメラから構成されている。
図1は、本発明の第一実施例に係る歩行者検出システム100を示す。
この歩行者検出システム100は、撮像装置10と、歩行者検出装置20と、歩行者位置表示部30と、画像表示部40とを備えている。撮像装置10は、図示の実施例では、例えば、赤外線カメラから構成されている。
赤外線カメラ10は、図示を省略した車両に設置され、車両の周辺、例えば、車両の進行方向の所定の領域を撮像する。この進行方向は、以下の説明では車両前方を指しているが、車両後方、車両側方、その他任意の方向であってもよい。
歩行者検出装置20は、詳細は後述するが、赤外線カメラ10から得られた赤外線画像において、歩行者M(図4参照)を表す像を検出する。
歩行者位置表示部30は、歩行者検出装置20により検出された歩行者像の位置に、矩形枠などのマーカーを付して表示する処理を実行する。
画像表示部40は、赤外線カメラ10で撮影された画像を表示するとともに、歩行者検出装置20が歩行者Mを検出したときには、その画像が表示されている部分に、歩行者位置表示部30により与えられたマーカーを付して表示する。
以下に、歩行者検出装置20における歩行者を検出する構成について詳細に説明する。
第一実施例では、画像から歩行者Mを検知する方法としては、あらかじめ歩行者MのテンプレートT1~T3(図3参照)を用意して、これらのテンプレートT1~T3と画像内の歩行者Mが存在する可能性のあるエリアの類似性(相関値)を求め、類似性が高い場合に、歩行者Mと判定するいわゆる「パターンマッチング」を用いている。
第一実施例では、画像から歩行者Mを検知する方法としては、あらかじめ歩行者MのテンプレートT1~T3(図3参照)を用意して、これらのテンプレートT1~T3と画像内の歩行者Mが存在する可能性のあるエリアの類似性(相関値)を求め、類似性が高い場合に、歩行者Mと判定するいわゆる「パターンマッチング」を用いている。
また、画像要素の比較として、大きく分けて「輝度の画素値の比較」と「物体のエッジ情報比較」とがある。
「物体のエッジ情報比較」は、画像全体の明るさに依存しないために、天候や太陽位置に左右される車両用など野外における機器の使用に適している。また、エッジ情報は二値あるいは少ない階調で表現可能なために、扱うデータ量も少なく検知処理の多くの割合を占めるテンプレートとの類似度の計算が少なくて済む。そこで、第一実施例では、「物体のエッジ情報比較」を用いている。
「物体のエッジ情報比較」は、画像全体の明るさに依存しないために、天候や太陽位置に左右される車両用など野外における機器の使用に適している。また、エッジ情報は二値あるいは少ない階調で表現可能なために、扱うデータ量も少なく検知処理の多くの割合を占めるテンプレートとの類似度の計算が少なくて済む。そこで、第一実施例では、「物体のエッジ情報比較」を用いている。
図2は、歩行者検出装置20の構成を示すブロック図を示す。この歩行者検出装置20は、輝度調整部21、エッジ検出部22、歩行者テンプレート部23、相関値検出部24、相関領域最大値検出部(高相関領域検出部)25、取捨選択部26を備えている。
輝度調整部21は、像の画面全体の輝度を調整することによって画面内の輝度差(コントラスト)を明確にする。エッジ検出部22は、輝度調整部21によりコントラストが高められた画像におけるエッジを検出する。
輝度調整部21は、像の画面全体の輝度を調整することによって画面内の輝度差(コントラスト)を明確にする。エッジ検出部22は、輝度調整部21によりコントラストが高められた画像におけるエッジを検出する。
歩行者テンプレート部23は、あらかじめ設定された歩行者Mの輪郭を模した複数種類のテンプレートT1~T3を備えている。本第一実施例では、自車両と歩行者との距離の違いに応じ、図3に示すように、3種類のテンプレート、即ち、第1テンプレートT1、第2テンプレートT2、第3テンプレートT3が設けられている。なお、第1テンプレートT1は、赤外線カメラ10で撮影された画像Pにおいて、自車両に最も近い歩行者Mの検出に用いるテンプレートであり、第2テンプレートT2は、それよりも遠くに存在する歩行者Mの検出に用いるテンプレートであり、第3テンプレートT3は、それよりもさらに遠くに存在する歩行者の検出に用いるテンプレートである。このように、各テンプレートT1~T3は、車両からの距離が遠い歩行者Mを検出するためのテンプレートほど、寸法が小さく設定されている。
相関値検出部24は、エッジ検出部22で得られたエッジ画像において歩行者Mが存在する可能性がある画像部分から、各テンプレートT1~T3と同じ大きさで抜き出した部分、または想定する歩行者Mと同じ大きさで抜き出した後に拡大や縮小により同じ大きさとした部分を、歩行者テンプレート部23にあらかじめ記憶されている各テンプレートT1~T3の画素値と比較演算して、各テンプレートT1~T3と、どの位類似しているか(類似性)を示す相関値を求め、各画像位置の相関値を表す相関マップを作成する。
相関領域最大値検出部25は、相関マップ内の相関値は連続性があるために、値のピーク位置を求め、これがあらかじめ設定した差分閾値TH以上の場合に、歩行者候補MK(例えば図7参照)と判断し、取捨選択部26へ渡す。
取捨選択部26は、複数の歩行者候補MKについて、歩行者M以外である可能性が高い歩行者候補を除外する取捨選択処理を実行し、残った歩行者候補MKを歩行者位置表示部30へ渡す。なお、取捨選択処理の詳細は、後述するが、歩行者Mの下端(足)の高さを示すy値およびその平均値Yに基づいて残すか除外するかの判断を行う。
(相関値検出部24における演算の説明)
次に、相関値検出部24の相関値を求める演算について説明を加える。
この相関値を求める演算としては、いくつかの方法が用いられているが、第一実施例では、そのひとつの例としての差分絶対値積(SAD:Sum of Absolute Difference)を式(1)に示す。
SAD=Σ|Ser(i,j)-Temp(i,j)| ・・・(1)
ここで、Tmp(i,j) は、テンプレート画像の位置(i,j)の画素値、Ser(i,j)は、調査画像の相関値を求める画像位置の周囲をテンプレートと同じ大きさに切り出した画像中の位置(i,j)の画素値である。
次に、相関値検出部24の相関値を求める演算について説明を加える。
この相関値を求める演算としては、いくつかの方法が用いられているが、第一実施例では、そのひとつの例としての差分絶対値積(SAD:Sum of Absolute Difference)を式(1)に示す。
SAD=Σ|Ser(i,j)-Temp(i,j)| ・・・(1)
ここで、Tmp(i,j) は、テンプレート画像の位置(i,j)の画素値、Ser(i,j)は、調査画像の相関値を求める画像位置の周囲をテンプレートと同じ大きさに切り出した画像中の位置(i,j)の画素値である。
これら2つの値の差分絶対値を求め、これを各テンプレートT1~T3の大きさ全体(テンプレートの大きさを縦I画素、横J画素とすると、i=1~I、j=1~J)の値を加算して相関値とする。実際には、この計算結果を基に扱いやすいように値を操作することが多い。例えば、上記式(1)では、画像の一致度が高い程相関値は小さくなるが、下記の式(2)のように、画素数(IとJとの積)と最大画素値D(8bit画像なら256、二値画像なら1)の積で割り(いわゆる正規化)、値を1から引くことによりテンプレートの大きさが異なる相関値間の比較にも使うことができる。
SADn=1-(SAD/(I×J×D) ・・・(2)
以上の演算を、赤外線カメラ10の画像の調査領域全体に亘って求め、相関マップを作成する。
SADn=1-(SAD/(I×J×D) ・・・(2)
以上の演算を、赤外線カメラ10の画像の調査領域全体に亘って求め、相関マップを作成する。
ここで、相関値検出部24における各テンプレートT1~T3と、画像上の歩行者Mの大きさおよび歩行者Mとの距離の関係について、説明を加える。
第一実施例では、歩行者と赤外線カメラ10との「距離」と、画面上の「大きさ」と、画面上の「高さ位置」と、に相関関係があることが用いられている。
この相関関係を、図4を用いて説明する。
図4において、Mが歩行者、Rが赤外線カメラ10のレンズ、Sが赤外線カメラ10の撮像素子(スクリーン)である。また、Tが歩行者Mの高さ(身長)、Lが歩行者Mの赤外線カメラ10からの距離、fがレンズRの焦点距離、Hが赤外線カメラ10の取付高さ、yが歩行者Mの下端(足)が撮像素子(スクリーン)Sに結像する位置であって、撮像素子(スクリーン)S中心からの距離、ytが歩行者Mの高さTの撮像素子(スクリーン)S上の寸法である。なお、撮像素子(スクリーン)S上の結像位置は、カメラ映像の位置に対応する。ただし、撮像素子(スクリーン)S上の上下位置関係はカメラ映像では反転する。
この相関関係を、図4を用いて説明する。
図4において、Mが歩行者、Rが赤外線カメラ10のレンズ、Sが赤外線カメラ10の撮像素子(スクリーン)である。また、Tが歩行者Mの高さ(身長)、Lが歩行者Mの赤外線カメラ10からの距離、fがレンズRの焦点距離、Hが赤外線カメラ10の取付高さ、yが歩行者Mの下端(足)が撮像素子(スクリーン)Sに結像する位置であって、撮像素子(スクリーン)S中心からの距離、ytが歩行者Mの高さTの撮像素子(スクリーン)S上の寸法である。なお、撮像素子(スクリーン)S上の結像位置は、カメラ映像の位置に対応する。ただし、撮像素子(スクリーン)S上の上下位置関係はカメラ映像では反転する。
これらの関係から、歩行者Mの下端(足)位置(y値)は、下記の式(3)により求めることができ、歩行者Mの撮像素子S上の寸法ytは、下記の式(4)で求めることができる。これらの式の中で、焦点距離fと取付高さHとは固定値であり、歩行者Mの高さ(身長)Tも便宜上固定値とすると、「距離(L)」と画像上の「大きさ(ytに相当)」と画面上の「高さ位置(y)」に相関(反比例)関係があることが理解できる。
y=f×H/L ・・・(3)
yt=y-{f×(H-T)}/L ・・・(4)
第一実施例では、これを利用して、得られた複数の歩行者検出処理による候補の傾向をみて、これらの関係から大きく外れている歩行者検出処理による候補を除外することにより、誤検出を低減させるようにしている。
y=f×H/L ・・・(3)
yt=y-{f×(H-T)}/L ・・・(4)
第一実施例では、これを利用して、得られた複数の歩行者検出処理による候補の傾向をみて、これらの関係から大きく外れている歩行者検出処理による候補を除外することにより、誤検出を低減させるようにしている。
ここで、第一実施例において、3種類のサイズの第1~第3テンプレートT1~T3を用いる相関値検出部24について説明を加える。
図5に示すように、相関値検出部24は、第1~第3相関マップ作成部24a,24b,24cと、第1~第3最大値・位置抽出部24d~24fとを備えている。
エッジ検出部22から画像が各入力されると、第1~第3相関マップ作成部24a,24b,24cのそれぞれにおいて、各テンプレートT1~T3に対応する相関マップが求められる。
エッジ検出部22から画像が各入力されると、第1~第3相関マップ作成部24a,24b,24cのそれぞれにおいて、各テンプレートT1~T3に対応する相関マップが求められる。
第1~第3最大値・位置抽出部24d~24fでは、これらの相関マップ毎に、最大値の上位から指定された数の相関値と、その画面上の位置(x,y)とを、データとするリスト(以下、これを相関値リストデータと称する)が作成される。
この時、画面上の位置が、隣接した位置となった場合には、各テンプレートT1~T3の大きさを考慮して、同じ対象物(歩行者)に対する重複したリストアップを避ける必要がある。そこで、このリストから、位置と相関値との大きさを考慮し、歩行者候補MKの範囲が絞り込まれる。
この時、画面上の位置が、隣接した位置となった場合には、各テンプレートT1~T3の大きさを考慮して、同じ対象物(歩行者)に対する重複したリストアップを避ける必要がある。そこで、このリストから、位置と相関値との大きさを考慮し、歩行者候補MKの範囲が絞り込まれる。
すなわち、第1~第3最大値・位置抽出部24d~24fでは、第1~第3相関マップ作成部24a,24b,24cで作成された相関値マップから、図6Aに示す候補をリストアップし、さらに、これを、図6Bに示すように、1つのリストにまとめて相関値の大きい順に並べる。このリストにおいて、位置(x,y)が近接している候補(重複候補)や、相関値があらかじめ設定された閾値(第一実施例では、閾値=0.8とする)以下のデータを削除して、図6Cに示す最終的な歩行者候補MKが決定される。
(取捨選択処理の説明)
さらに、歩行者検出装置20では、本発明の目的である誤検出低減を図るために、前述した取捨選択部26において、歩行者候補MKの中から、歩行者Mの可能性が高いものが残され、歩行者M以外である可能性が高いものが除外される取捨選択処理が実行される。
以下、取捨選択処理の詳細を説明する。
さらに、歩行者検出装置20では、本発明の目的である誤検出低減を図るために、前述した取捨選択部26において、歩行者候補MKの中から、歩行者Mの可能性が高いものが残され、歩行者M以外である可能性が高いものが除外される取捨選択処理が実行される。
以下、取捨選択処理の詳細を説明する。
上述した第1~第3テンプレートT1~T3のうち、共通するテンプレートでリストアップされた歩行者候補MKは、同じような距離に存在するはずであるから、同一の画像上では、横直線上に並ぶはずである。
図7は、第1~第3テンプレートT1~T3のいずれか1つ、例えば、第2テンプレートT2の相関マップでリストアップされた歩行者候補MK(a)~(e)の位置を、説明のために画像中に四角で示している。図7に示すように、4つの歩行者候補MK(b)~(e)は、直線Lin上に配置されている。
一方、図において最も左に配置された歩行者候補MK(a)は、直線Linから大きく外れた位置に配置されている。このように、複数の歩行者候補MK(b)~(e)から大きく外れた歩行者候補MK(a)は、実際には、建物の一部であって、第2テンプレートT2に相関する歩行者Mが、存在すべき位置と異なって配置されている。そこで、取捨選択部26では、所定のテンプレートとの相関値は高くても、他の歩行者候補MK(b)~(e)とは異なる位置に配置された歩行者候補MK(a)は、候補から取り除くようにされている。
次に、取捨選択部26における取捨選択処理の流れを、図8のフローチャートに基づいて説明する。なお、図8に示す取捨選択処理は、第1~第3テンプレートT1~T3のそれぞれに相関値の高い歩行者候補MKのグループごとに独立して実施される。また、このフローチャートを説明するのにあたり、第3テンプレートT3を用いて図7に示す歩行者候補MK(a)~(e)が検出された場合の処理に沿って説明する。
まず、ステップS1では、相関領域最大値検出部25で選択された歩行者候補MK(a)~(e)について、全相関リストの画面内高さデータ(y値)を取り込んだ後、ステップS2に進む。
ステップS2では、取り込んだ全高さデータ(y値)の平均値Yを求めた後、ステップS3に進む。この平均値Yが、図7の直線Linの位置に相当する。
ステップS3~S6の処理は、各歩行者候補MK(a)~(e)について個別に順次行う処理であって、まず、ステップS3では、各歩行者候補MK(a)~(e)の各相関リストデータセット(相関値とy値とx値のセット)を読み込み、各相関リストデータセットの高さデータ(y値)と、ステップS2で算出された平均値Yとの乖離度を示す差分絶対値DYを算出した後、ステップS4に進む。
ステップS4では、差分絶対値DYとあらかじめ設定された差分閾値THとの大小関係に基づいて、差分絶対値DYが差分閾値TH未満の場合はステップS6に進み、差分絶対値DYが差分閾値TH以上の場合はステップS5に進む。なお、差分閾値THは、各テンプレートT1~T3に対応するグループごとに設定されており、第3テンプレートT3に対応する差分閾値THは、第1テンプレートT1に対応する差分閾値THよりも小さな値に設定されているものとする。
ステップS5では、歩行者候補MK(図7の例ではMK(a))を除外した後、ステップS6に進む。ステップS6では、全ての歩行者候補MK(a)~(e)についてステップS3からの処理を終えたか否か判定し、終えていない場合はステップS3に戻り、終えた場合は、取捨選択処理を終了する。例えば、歩行者候補MK(a)からMK(e)に向けて順に処理を行う場合、歩行者候補MK(a)について処理を終えた場合は、歩行者候補MK(b)についてステップS3からの処理を行い、歩行者候補MK(b)についてステップS3からの処理を終えたら歩行者候補MK(c)について処理を行い、歩行者候補MK(e)の処理が終わった時点で、終了する。また、ここで全ての歩行者候補MKの「全て」とは、第1~第3テンプレートT1~T3のいずれか1つのテンプレートに対して相関値の高い歩行者候補MKの「全て」のことであり、以上の処理が、各テンプレートT1~T3についてそれぞれ実施される。
(第一実施例の作用)
次に、第一実施例に係る歩行者検出システム100の作用が説明される。
夜間走行時には、赤外線カメラ10で車両前方の撮影を行う。このとき、得られた画像の一例が図7に示す画像である。
次に、第一実施例に係る歩行者検出システム100の作用が説明される。
夜間走行時には、赤外線カメラ10で車両前方の撮影を行う。このとき、得られた画像の一例が図7に示す画像である。
赤外線カメラ10で撮影された画像は、歩行者検出装置20に入力される。歩行者検出装置20では、輝度調整部21における輝度調整、エッジ検出部22におけるエッジ検出を行った画像に対し、相関値検出部24において、第1~第3歩行者テンプレートT1~T3のそれぞれとの相関値を求める。
さらに、相関領域最大値検出部25では、相関値があらかじめ設定された閾値(第一実施例では、0.8)よりも高い相関値を有し、かつ、データセットのx値およびy値が近接しないデータセットを、歩行者候補MK(a)~(e)としてリストアップする。
なお、図7に示す例は、第3テンプレートT3との相関が高かった歩行者候補MK(a)~(e)がリストアップされているものとし、他のテンプレートT1,T2についても、同様に歩行者候補MKがリストアップして、対応するテンプレートごとに歩行者候補MKのグループを形成する。
さらに、相関領域最大値検出部25では、相関値があらかじめ設定された閾値(第一実施例では、0.8)よりも高い相関値を有し、かつ、データセットのx値およびy値が近接しないデータセットを、歩行者候補MK(a)~(e)としてリストアップする。
なお、図7に示す例は、第3テンプレートT3との相関が高かった歩行者候補MK(a)~(e)がリストアップされているものとし、他のテンプレートT1,T2についても、同様に歩行者候補MKがリストアップして、対応するテンプレートごとに歩行者候補MKのグループを形成する。
次に、取捨選択部26において、リストアップされた歩行者候補グループごとに、以下の処理が行われる。
まず、歩行者候補グループの歩行者候補MK(a)~(e)の高さデータ(y値)の平均値Yを求める。この平均値Yと、各歩行者候補MK(a)~(e)の高さデータ(y値)とを比較して差分絶対値DYを求め、この差分絶対値DYが差分閾値TH未満の歩行者候補MK(b)~(e)を残し、差分閾値TH以上の歩行者候補MK(a)は除外される。
まず、歩行者候補グループの歩行者候補MK(a)~(e)の高さデータ(y値)の平均値Yを求める。この平均値Yと、各歩行者候補MK(a)~(e)の高さデータ(y値)とを比較して差分絶対値DYを求め、この差分絶対値DYが差分閾値TH未満の歩行者候補MK(b)~(e)を残し、差分閾値TH以上の歩行者候補MK(a)は除外される。
この取捨選択部26の取捨選択処理により、図7に示す歩行者候補MK(a)~(e)において、直線Linから大きく離れた歩行者候補MK(a)は、除外される。他の歩行者グループについても順次同様の処理が実行される。
そこで、歩行者位置表示部30は、残った歩行者候補MK(b)~(e)に対し、画像表示部40において、各歩行者候補MK(b)~(e)を示す画像に、マーカーを重ねて表示させる処理が実行される。
(第一実施例の効果)
以上説明してきた第一実施例の歩行者検出システム100は、以下に列挙する効果を奏することができる。
a)取捨選択部26により、歩行者候補MK(a)~(e)が複数存在する場合、各テンプレートT1~T3との相関値は高くても、他の歩行者候補(MK(b)~(e))とは異なる位置に配置されたもの(MK(a))は、歩行者M以外のものとして、候補から取り除くようにされている。これにより、非歩行者の画像に基づく歩行者候補MKが除外され、歩行者Mの検出精度を向上させることができる。
以上説明してきた第一実施例の歩行者検出システム100は、以下に列挙する効果を奏することができる。
a)取捨選択部26により、歩行者候補MK(a)~(e)が複数存在する場合、各テンプレートT1~T3との相関値は高くても、他の歩行者候補(MK(b)~(e))とは異なる位置に配置されたもの(MK(a))は、歩行者M以外のものとして、候補から取り除くようにされている。これにより、非歩行者の画像に基づく歩行者候補MKが除外され、歩行者Mの検出精度を向上させることができる。
b)取捨選択処理では、各歩行者候補MK(a)~(e)の高さデータ(y値)と平均値Yとの差である差分絶対値DYと、あらかじめ設定した差分閾値THとの比較により取捨選択を行うようにされている。このため、いわゆるキャリブレーション処理などの誤差量を特定して補正する処理を用いるものと比較して、システム処理量を大きく増やすことなく実施可能であり、かつ、赤外線カメラ10の取付位置の精度を高くすることなく実施可能である。よって、このように、第一実施例では、システムの処理量を大きく増やしたり、工程制約(取付精度向上)を付加したりすることなく、上記a)のように歩行者Mの検出率向上を実現することができる。
〈第二実施例〉
上述の第一実施例では、取捨選択処理を、各テンプレートT1~T3を用いて相関値の高い歩行者候補グループ単位で処理するようにしたが、第二実施例では、各テンプレートT1~T3の相関値データを総合した段階で取捨選択処理を実施するようにした例を説明する。
〈第二実施例〉
上述の第一実施例では、取捨選択処理を、各テンプレートT1~T3を用いて相関値の高い歩行者候補グループ単位で処理するようにしたが、第二実施例では、各テンプレートT1~T3の相関値データを総合した段階で取捨選択処理を実施するようにした例を説明する。
第一実施例の処理で最も懸念されるのは、第1~第3テンプレートT1~T3のいずれかのテンプレートマッチングで、非歩行者による歩行者候補MKのみが検出された場合である。
図9A乃至図9Cは、歩行者候補MKのみが検出された場合の具体例を示しており、図9Aは、第1テンプレートT1との相関値に基づいて得られた歩行者候補MK(a-1)、図9Bは、第2テンプレートT2との相関値に基づいて得られた歩行者候補MK(b-1)(b-2)、図9Cは、第3テンプレートT3との相関値に基づいて得られた歩行者候補MK(c-1)~(c-3)を示している。
これらの例では、図9Aに示す歩行者候補MKは非歩行者(看板)の画像が歩行者候補MKとして検出される。図9Aに示すように、第1テンプレートT1に相関値の高い歩行者候補MKが、非歩行者による歩行者候補MK(a-1)のみである場合、第一実施例のように、テンプレートごとに相関値の高い歩行者候補MKから平均値Yを求めた場合、この歩行者候補MK(a-1)の差分絶対値DYは、差分閾値THに達しない(未満)となり、除外されない。
そこで、第二実施例の歩行者検出システムでは、各テンプレートT1~T3のリストアップデータの平均値から画面内の全体基準ライン(全体基準高さ)LZを求め、この全体基準ラインLZに基づいて、各テンプレートT1~T3と相関値の高いグループごとのグループ基準ラインLA,LB,LCを設定し、取捨選択を行なうようにされている。
以下に、第二実施例の取捨選択処理の流れを図11~図13のフローチャートに基づいて説明する。
図11は取捨選択処理の全体の流れを示しており、まず、ステップS210では、全体基準ライン算出処理を行い、画面全体での全体基準ラインLZを求めた後、ステップS220に進む。
図11は取捨選択処理の全体の流れを示しており、まず、ステップS210では、全体基準ライン算出処理を行い、画面全体での全体基準ラインLZを求めた後、ステップS220に進む。
ステップS220では、全体基準ラインLZに基づいて、第1グループ基準ラインLA、第2グループ基準ラインLB、第3グループ基準ラインLCを求めた後、ステップS230に進む。なお、詳細は後述するが、全体基準ラインLZは、各グループ基準ラインLA~LCのいずれか1つのラインに一致している。また、図10に示すように、各グループ基準ラインLA~LCの間の差分設定値Dca,Dcbがあらかじめ設定されている。したがって、全体基準ライン(平均値Y)LZを元に、差分設定値Dca,Dcbを加算あるいは減算して、各グループ基準ラインLA~LCを求めることができ、これら各グループ基準ラインLA~LCは、それぞれグループ平均値Ya,Yb,Ycを示している。
また、前述の差分設定値Dcaは、第1グループ基準ラインLAと第3グループ基準ラインLCとの差であり、差分設定値Dcbは、第2グループ基準ラインLBと第3グループ基準ラインLCとの差である。
また、前述の差分設定値Dcaは、第1グループ基準ラインLAと第3グループ基準ラインLCとの差であり、差分設定値Dcbは、第2グループ基準ラインLBと第3グループ基準ラインLCとの差である。
ステップS230では、各テンプレートT1~T3に基づいて抽出された各相関リストデータ(歩行者候補MK)について不要なものは除外する除外処理を実行する。なお、この除外処理の詳細については後述する。
次に、ステップS210の全体基準ライン算出処理の詳細を、図12のフローチャートに基づき説明する。
まず、ステップS211において、最も小さいテンプレートである第3テンプレートT3に相関する相関リストデータセットを取り込んだ後、ステップS212に進む。なお、テンプレートの数がこの第二実施例の「3」よりも多い場合、その最も小さなテンプレートに相関する相関リストデータが取り込まれる。
まず、ステップS211において、最も小さいテンプレートである第3テンプレートT3に相関する相関リストデータセットを取り込んだ後、ステップS212に進む。なお、テンプレートの数がこの第二実施例の「3」よりも多い場合、その最も小さなテンプレートに相関する相関リストデータが取り込まれる。
ステップS212では、相関リストデータセットの数が、あらかじめ設定された個数n以上存在するか否か判定し、n個に満たない場合は、ステップS213に進み、n個以上存在する場合、ステップS214に進む。なお、nは2以上の複数であって、第二実施例では、n=2として説明する。
ステップS213では、次に小さいテンプレートの相関リストデータセットの取り込みを行った後、ステップS212に戻る。例えば、ステップS212において、第3テンプレートT3の相関リストデータセットのセット数がn個に満たない場合は、第2テンプレートT2の相関リストデータセットの取り込みを行い、第2テンプレートT2の相関リストデータセットのセット数がn個に満たない場合は、第1テンプレートT1の相関リストデータセットの取り込みを行う。すなわち、相関リストデータセットのセット数が少ない場合には、この相関リストデータセットにより求めた基準ラインが誤差を含む確率が高くなるために、セット数がn個未満の場合は、この相関リストデータセットの使用を避け、次に小さいテンプレートの相関リストデータセットが読み込まれる。
ステップS214では、読み込んだ相関リストデータセットの高さデータ(y値)に基づいて平均値Yを求め、これを全体基準ラインLZとして設定する。
次に、ステップS230の除外処理の詳細を図13のフローチャートに基づいて説明する。なお、この除外処理は、各テンプレートT1~T3に相関する歩行者候補のグループごとに実施される。
まず、ステップS231では、各グループ基準ラインLA,LB,LCを読み込んだ後、ステップS232に進む。
次に、ステップS230の除外処理の詳細を図13のフローチャートに基づいて説明する。なお、この除外処理は、各テンプレートT1~T3に相関する歩行者候補のグループごとに実施される。
まず、ステップS231では、各グループ基準ラインLA,LB,LCを読み込んだ後、ステップS232に進む。
ステップS232では、各テンプレートT1~T3と相関する各相関値リストデータセットを個別に取り込んだ後、ステップS233に進む。
ステップS233では、各テンプレートT1~T3に相関するグループごとに、各相関値リストデータセットの高さデータ(y値)と対応する各グループ基準ラインLA,LB,LCのうち対応するライン(グループ平均値Ya,Yb,Yc)との差分絶対値DYを算出した後、ステップS234に進む。
ステップS234では、各相関値リストデータセットの差分絶対値DYと、第一実施例と同様の差分閾値THとを比較し、差分絶対値DYが差分閾値THを上回っている場合はステップS235に進んで、その相関値リストデータセットを除外した後、ステップS236に進み、差分絶対値DYが差分閾値TH以下の場合は、そのままステップS236に進む。なお、差分閾値THは、第一実施例と同様に、対応するグループごとに異なる値が設定されているものとする。
ステップS236では、全相関値リストデータセットについてステップS232以降の処理が実行されたか否か判定し、未処理のものが存在する場合はステップS232に戻り、処理を完了した場合は、終了する。
(第二実施例の作用)
次に、第二実施例の作用を説明する。
第二実施例にあっても、相関値検出部24において、第1~第3テンプレートT1~T3との相関値を求め、相関領域最大値検出部25において、相関値が相関閾値を越えるとともに、お互いに位置が近接しない相関値リストデータを抽出し、これを歩行者候補MKとして取捨選択部26に入力する点は、第一実施例と同様である。
次に、第二実施例の作用を説明する。
第二実施例にあっても、相関値検出部24において、第1~第3テンプレートT1~T3との相関値を求め、相関領域最大値検出部25において、相関値が相関閾値を越えるとともに、お互いに位置が近接しない相関値リストデータを抽出し、これを歩行者候補MKとして取捨選択部26に入力する点は、第一実施例と同様である。
図9A乃至図9Cは、画像および歩行者候補MKの一例を示しており、図9Aは、第1テンプレートT1と相関性が高い1点の歩行者候補MK(a-1)を示し、図9Bは、第2テンプレートT2と相関性の高い2点の歩行者候補MK(b-1),(b-2)を示し、図9Cは、第3テンプレートT3と相関性の高い3点の歩行者候補MK(c-1)~(c-3)を示している。なお、図9Aに示す第1テンプレートT1による歩行者候補MK(a-1)は、非歩行者の画像から検出されたものであり、他の歩行者候補MKと離れた位置に配置されている。
以下、このように図9A乃至図9Cに示す歩行者候補MKがリストアップされた場合の、取捨選択部26における取捨選択処理が説明される。
このような歩行者候補MKが検出されている場合、最も小さな第3テンプレートT3の相関性リストアップデータの数が、n個以上(n=2)存在するから、これらの歩行者候補MK(c-1)~(c-3)の高さデータ(y値)の平均値Yから全体基準ラインLZを算出する(ステップS212→S213)。そして、この場合、全体基準ラインLZは、第3グループ基準ラインLCと同値となる。
このように全体基準ラインLZが、第3グループ基準ラインLCにより設定されたら、全体基準ラインLZ(=LC)から第2テンプレート用の差分設定値Dcbを差し引いて第2グループ基準ラインLBを設定し、全体基準ラインLZ(LC)から第1テンプレート用の差分設定値Dcaを差し引いて、第1グループ基準ラインLAを設定する(ステップS220)。
各テンプレートT1~T3のそれぞれに相関する歩行者候補MKのグループごとに、歩行者候補MKと各基準ラインLA,LB,LCとを比較し、その乖離が大きいものは、歩行者候補MKから除外される。
したがって、図9A乃至図9Cに示す例では、図9Aに示す第1テンプレートT1と相関性の高い歩行者候補MK(a-1)は、第1グループ基準ラインLAに対する乖離度が大きいことから除外される。また、図9Bに示す歩行者候補MK(b-1)(b-2)は、第2グループ基準ラインLBとの乖離度が小さいことから、除外されることなく残され、図9Cに示す歩行者候補MK(c-1)~(c-3)も、第3グループ基準ラインLCとの乖離度が小さいことから、除外されることなく残される。
これら残った歩行者候補MKについては、画像表示部40において、マーカーを重畳させて表示する点は、第一実施例と同様である。
(第二実施例の効果)
第二実施例にあっても、第一実施例と同様の理由から上述された第一実施例で述べたa)b)の効果が得られる。これら効果に加えて、第二実施例にあっては、以下に列挙する効果が得られる。
第二実施例にあっても、第一実施例と同様の理由から上述された第一実施例で述べたa)b)の効果が得られる。これら効果に加えて、第二実施例にあっては、以下に列挙する効果が得られる。
c)各テンプレートT1~T3との相関に基づいて得られた歩行者候補MKの中で、1つのテンプレートに対し、複数の歩行者候補MKが存在する相関値リストデータセットに基づいて、全体基準ラインLZを設定し、この全体基準ラインLZに基づいて、各グループ基準ラインLA~LCを設定するようにされている。
したがって、歩行者候補MKが1つしか存在しないテンプレートに相関するグループ基準ラインも、その1つしか存在しない歩行者候補MKに基づくことなく設定することができ、この歩行者候補MKが非歩行者により画像であっても、誤検出が生じるのを防止することができる。
具体的には、図9Aに示す第1テンプレートT1に対する相関性が高い歩行者候補MK(a-1)は、非方向者の画像から検出される。しかしながら、この第1テンプレートT1に相関するグループ用の第1グループ基準ラインLAは、この歩行者候補MKの相関値リストデータセットに基づくことなく、図9Cに示す3つの歩行者候補MK(c-1)~(c-3)に基づいて設定された全体基準ラインLZに基づいて設定されている。
したがって、図9Aに示された非歩行者画像による歩行者候補MK(a-1)は、そのy値により第1グループ基準ラインLAが設定された場合には、乖離度が小さく除外されない可能性が高いが、第二実施例のように、全体基準ラインLZに基づき第1グループ基準ラインLAが設定された場合は、乖離度が大きくなって除外される。このように、第二実施例では、非歩行者の画像による誤検出を回避して、歩行者検出精度を、さらに向上することができる。
d)上記c)のように、複数の歩行者候補MKから全体基準ラインLZの設定を行うのにあたり、最大相関値のバラツキの少ない、小さなテンプレートと相関性の高い歩行者候補MKから順に、複数の歩行者候補MKが存在するか否か判定し、複数の歩行者候補MKが存在する最も小さなテンプレートと相関する相関値リストデータセットから全体基準ラインLZを求めるようにされている。したがって、大きなテンプレートと相関する相関値リストデータから全体基準ラインLZを演算するものと比較して、全体基準ラインLZのバラツキが小さく、誤検出防止性能を高めることができる。
〈第三実施例〉
次に、第三実施例に係る歩行者検出システムを説明する。
この第三実施例の歩行者検出システムは、第二実施例の変形例であり、相違点は、基準ラインの設定の仕方に関し、第三実施例では、各基準ラインLA,LB,LCから、全体基準ラインLZbを設定するようにしている。
〈第三実施例〉
次に、第三実施例に係る歩行者検出システムを説明する。
この第三実施例の歩行者検出システムは、第二実施例の変形例であり、相違点は、基準ラインの設定の仕方に関し、第三実施例では、各基準ラインLA,LB,LCから、全体基準ラインLZbを設定するようにしている。
以下、第三実施例における取捨選択部26の取捨選択処理の流れを図14および図15のフローチャートに基づいて説明する。
(取捨選択処理の流れ)
まず、図14のフローチャートにより取捨選択処理の全体の流れを説明する。
ステップS310では、相関領域最大値検出部25から、第1~第3テンプレートT1~T3に、それぞれ相関する各相関リストデータセットの高さデータ(y値)を読み込み、第1テンプレートT1に相関する相関リストデータの高さデータ(y値)の平均値である第1平均高さYa、第2テンプレートT2に相関する相関リストデータの高さデータ(y値)の平均値である第2平均高さYb、第3テンプレートT3に相関する相関リストデータの高さデータ(y値)の平均値である第3平均高さYcを算出した後、ステップS320に進む。
まず、図14のフローチャートにより取捨選択処理の全体の流れを説明する。
ステップS310では、相関領域最大値検出部25から、第1~第3テンプレートT1~T3に、それぞれ相関する各相関リストデータセットの高さデータ(y値)を読み込み、第1テンプレートT1に相関する相関リストデータの高さデータ(y値)の平均値である第1平均高さYa、第2テンプレートT2に相関する相関リストデータの高さデータ(y値)の平均値である第2平均高さYb、第3テンプレートT3に相関する相関リストデータの高さデータ(y値)の平均値である第3平均高さYcを算出した後、ステップS320に進む。
ステップS320では、各平均高さYa,Yb,Ycから全体基準ラインLZbを算出した後、ステップS330に進む。なお、全体基準ラインLZbの算出方法の詳細は後述する。
ステップS330では、全体基準ラインLZbに基づいて第1~第3グループ基準ラインLA,LB,LCを算出した後、ステップS340に進む。
なお、この第三実施例では、各グループ基準ラインLA,LB,LCの算出は、以下のように行われる。第三実施例では、第二実施例と同様に、全体基準ラインLZbに対する各グループ基準ラインLA,LB,LCの差分値Daz,Dbz,Dczが設定されており、全体基準ラインLZbから差分値Daz,Dbz,Dczをそれぞれ減算して各基準ラインLA,LB,LCが算出される。
なお、この第三実施例では、各グループ基準ラインLA,LB,LCの算出は、以下のように行われる。第三実施例では、第二実施例と同様に、全体基準ラインLZbに対する各グループ基準ラインLA,LB,LCの差分値Daz,Dbz,Dczが設定されており、全体基準ラインLZbから差分値Daz,Dbz,Dczをそれぞれ減算して各基準ラインLA,LB,LCが算出される。
次に、ステップS320の全体基準ラインLZbを算出する処理の流れを図15に基づいて説明する。
まず、ステップS321では、ステップS310で算出された第1~第3平均高さYa~Ycを読み込み、ステップS322に進む。
まず、ステップS321では、ステップS310で算出された第1~第3平均高さYa~Ycを読み込み、ステップS322に進む。
ステップS322では、各平均高さYa~Ycに基づいて、各テンプレートT1~T3に相関する第1~第3仮基準ラインLa,Lb,Lcを求めた後、ステップS323に進む。なお、ステップS322は、各仮基準ラインLa,Lb,Lcで並列に処理を行なうため、処理ステップを並列表記している。すなわち、ステップS322aでは、第1平均高さYaに、あらかじめ設定された差分設定値Daを加算して、第1仮基準ラインLaを求める。ステップS322bでは、第2平均高さYbに、あらかじめ設定された差分設定値Dbを加算して、第2仮基準ラインLbを求める。ステップS322cでは、第3平均高さYcに、あらかじめ設定された差分設定値Dcを加算して、第3仮基準ラインLcが求められる。
図16は、第1~第3平均高さYと各仮基準ラインLa,Lb,Lcとの関係を表しており、第三実施例では、各差分設定値Da,Db,Dcは、Da>Db>Dcの大きさの関係に設定されており、各仮基準ラインLa,Lb,Lcが、実施例2で説明した第3グループ基準ラインLCの近傍の高さとなるように設定されている。
ステップS323では、各仮基準ラインLa,Lb,Lcの平均値を全体基準ラインLZbとする演算を行った後、全処理が終了される。
(第三実施例の作用)
次に、第三実施例の作用が説明される。
第三実施例にあっても、相関値検出部24において、第1~第3テンプレートT1~T3との相関値を求め、相関領域最大値検出部25において、相関値が相関閾値を越えるとともに、お互いに位置が近接しない相関値リストデータを抽出し、これを歩行者候補MKとして取捨選択部26に入力する点は、第一実施例と同様である。
次に、第三実施例の作用が説明される。
第三実施例にあっても、相関値検出部24において、第1~第3テンプレートT1~T3との相関値を求め、相関領域最大値検出部25において、相関値が相関閾値を越えるとともに、お互いに位置が近接しない相関値リストデータを抽出し、これを歩行者候補MKとして取捨選択部26に入力する点は、第一実施例と同様である。
ここで、図16に示すような歩行者候補MKが得られた場合の動作が説明される。
この図16に示す例では、相関領域最大値検出部25において、第1テンプレートT1との相関値が大きい、図16Aに示す歩行者候補MK(a-1)(a-2)が得られ、第2テンプレートT2との相関値が大きい、図16Bに示す歩行者候補MK(b-1)~(b-3)が得られ、第3テンプレートT3との相関値が大きい、図16Cに示す歩行者候補MK(c-1)(c-2)が得られている。
この図16に示す例では、相関領域最大値検出部25において、第1テンプレートT1との相関値が大きい、図16Aに示す歩行者候補MK(a-1)(a-2)が得られ、第2テンプレートT2との相関値が大きい、図16Bに示す歩行者候補MK(b-1)~(b-3)が得られ、第3テンプレートT3との相関値が大きい、図16Cに示す歩行者候補MK(c-1)(c-2)が得られている。
そこで、取捨選択部26では、図16Aに示す歩行者候補MK(a-1)(a-2)の高さデータ(y値)に基づいて第1グループ平均値Yaが算出され、図16Bに示す歩行者候補MK(b-1)~(b-3)の高さデータ(y値)に基づいて第2グループ平均値Ybが算出され、図16Cに示す歩行者候補MK(c-1)(c-2)の高さデータ(y値)に基づいて第3グループ平均値Ycが算出される(ステップ310)。
さらに、各グループ平均値Ya~Ycの平均値から、図16A乃至図16Cにそれぞれ示す仮基準ラインLa,Lb、Lcが算出される(ステップS322)。これら仮基準ラインLa,Lb,Lcは、基本的には、略同一の高さに設定されるように、各差分設定値Da,Db,Dcが設定されているが、歩行者Mの位置のバラツキや、非歩行者を誤検出している場合には、高さにバラツキが生じる場合がある。
そこで、各仮基準ラインLa,Lb,Lcの平均値を全体基準ラインLZbとすることで、このようなバラツキ成分を抑えた位置に全体基準ラインLZbを設定することができる。
全体基準ラインLZbに基づいて、再び、あらかじめ設定された差分値を差し引いて、第1グループ基準ラインLA、第2グループ基準ラインLB、第3グループ基準ラインLCが算出される(ステップS330)。
これら各グループ基準ラインLA,LB,LCは、図16A乃至図16Cに示すように、各歩行者候補MKが、歩行者Mに基づいている場合には、図示の各グループ平均値Ya,Yb,Ycの付近に設定される。これに対し、例えば、第1テンプレートT1に相関性の高い歩行者候補として、第二実施例で説明された図9Aのように非歩行者による歩行者候補MK(a-1)が含まれる場合は、第1グループ平均値Yaは、図16Aに示す位置よりも高い位置に設定されるが、このような場合でも、各グループ平均値Ya,Yb,Ycから得られた全体基準ラインLZbから第1グループ基準ラインLAが設定されることから、この第1グループ基準ラインLAは、図16Aの第1グループ平均値Yaに近い位置に設定されることになる。
したがって、図9Aに示す非歩行者による歩行者候補MK(a-1)などは、第1グループ基準ラインLAから乖離するため、除外される。
<第三実施例の効果)
以上説明したように、第三実施例における歩行者検出システムにあっても、第一および第二実施例と同様に、前述のa)b)の効果が得られる。
以上説明したように、第三実施例における歩行者検出システムにあっても、第一および第二実施例と同様に、前述のa)b)の効果が得られる。
また、第三実施例では、全体基準ラインLZbを、各テンプレートT1~T3との相関性の高い各相関リストデータセットに基づいて、第1~第3グループ平均値Ya,Yb,Ycを求め、各グループ平均値Ya,Yb,Ycから仮基準ラインLa,Lb,Lcを求め、これらから全体基準ラインLZbを求め、この全体基準ラインLZbから、各基準ラインLA,LB,LCを求めるようにした。
したがって、各グループのうちで、歩行者候補MKが存在しなかったり1つしか存在しなかったりするグループが存在していても、全体基準ラインLZbを設定した後、各グループ基準ラインLA~LCを設定でき、グループ内に、非歩行者による歩行者候補MKしか存在していなくても、誤検出が生じるのを防止することができる。
〈第四実施例〉
次に、本発明の第四実施例に係る歩行者検出システムが説明される。
この第四実施例では、赤外線カメラ10の取り付け高さを、歩行者Mの身長の1/2程度の高さに設置した例である。
〈第四実施例〉
次に、本発明の第四実施例に係る歩行者検出システムが説明される。
この第四実施例では、赤外線カメラ10の取り付け高さを、歩行者Mの身長の1/2程度の高さに設置した例である。
この場合、図17に示すように、撮像素子(スクリーン)Sで得られる歩行者中心は、撮像素子Sの画面内の略一定の高さに存在することになる。なお、yt1,yt2は、それぞれ歩行者M1,M2の撮像素子(スクリーン)S上の寸法である。
図18は、第四実施例において、赤外線カメラ10で撮影した画像の一例であり、歩行者候補MKの中心が、略一定の高さ(LKの高さ)に配置されている。
第四実施例は、これを利用したもので、各歩行者候補MK(d-1)~(d-4)の平均高さを求め、これより離れた高さの歩行者候補が存在する場合は、誤認識としてこれを除外するようにした例である。
図19は、第四実施例における取捨選択処理の流れを示すフローチャートであり、まず、ステップS410では、各テンプレートT1~T3との相関性の高い相関リストデータセットを読み込んで、ステップS420に進む。
ステップS420では、相関リストデータセットの高さデータ(y値)の平均値Yを算出した後、ステップS430に進む。
ステップS430では、平均値Yに基づいて、全体基準ラインLKを算出した後、ステップS440に進む。
ステップS440では、不要な相関リストデータセット(歩行者候補MK)を除外し、処理を終了する。なお、ステップS440において、歩行者候補MKを残すか、除外するかの判定は、図18に示す全体基準ラインLKとの偏差が、あらかじめ設定された閾値ΔTH未満である場合は残し、閾値ΔTH以上の場合は除外するものとする。
以上説明したように、第四実施例の歩行者検出システムにあっては、赤外線カメラ10を、歩行者Mの中心高さ付近に設置したため、各テンプレートT1~T3との相関性が高い歩行者候補MKの中心高さは、それが歩行者Mによる画像である場合は、各テンプレートT1~T3の大きさにかかわらず、略一定の高さに配置される。
したがって、歩行者Mの画像による歩行者候補MKは、各歩行者候補MKの中心高さの平均値Yから求めた全体基準ラインLKの近傍に配置される可能性が高いのに対し、非歩行者の画像による歩行者候補MKは、全体基準ラインLKから離れて配置される可能性が高い。よって、全体基準ラインLKから閾値ΔTH以上離れた歩行者候補MKを除外することにより、非歩行者の画像による誤検出を抑制することができる。
また、第四実施例にあっては、歩行者候補MKは、各テンプレートT1~T3のうちで、相関性の高いものが異なっていても、歩行者中心が略同じ高さに配置されるため、歩行者候補MKが1つあるいは存在していないテンプレートが存在していても、歩行者候補MKが複数存在していれば、全体基準ラインLKを設定することができる。よって、上記a)b)の効果が得られるのに加え、第二実施例の効果c)と同様に、この歩行者候補MKが、複数のテンプレートT1~T3の1または2である候補が、非歩行者による画像に基づくもののみである場合であっても、誤検出が生じるのを抑制することができる。
〈第五実施例〉
次に、本発明の第五実施例に係る歩行者検出システムを説明する。
この第五実施例は、第四実施例の変形例であり、歩行者Mに加え、子供を判別するようにした例を示す。
〈第五実施例〉
次に、本発明の第五実施例に係る歩行者検出システムを説明する。
この第五実施例は、第四実施例の変形例であり、歩行者Mに加え、子供を判別するようにした例を示す。
すなわち、第五実施例では、図20に示すように、歩行者候補MK(f-1)~(f-3)に基づいて設定した全体基準ラインLKに対して、あらかじめ設定された値ΔLcだけ下方位置近傍に、歩行者候補MKが存在する場合、歩行者候補を子供と判定するようにしている。
この処理は、例えば、第四実施例におけるステップS430とステップS440との間で実行される。
さらに、第五実施例では、子供と判定された歩行者候補MKには、歩行者位置表示部30による処理に基づいて、画像表示部40において、他の歩行者候補(大人)MKよりも目立つ表示を行なう。なお、目立つ表示としては、例えば、「点滅」させたり、あるいは「別の色の表示(例えば、大人は黄色で子供は赤)」を行なったりする。
以上説明した第五実施例においては、第四実施例の効果に加え、子供を検出し、子供に対しては、大人とみなした他の歩行者Mと異なる表示を行い、運転者の注意を、より強く促すことができる。
以上、図面を参照して、本発明の第一乃至第五実施例を詳述してきたが、具体的な構成は、これら第一乃至第五実施例に限らず、本発明の要旨を逸脱しない程度の設計的変更は、本発明に含まれ得る。
例えば、第一乃至第五実施例では、歩行者検出装置20で歩行者を検出した後、歩行者の位置を表示するものを示したが、歩行者を検出した後の処理はこのような表示に限定されるものではなく、他の処理を行なうようにしてもよい。なお、他の処理としては、検出された歩行者との衝突を避けるように、転舵や制動などの運転支援処理が挙げられる。
また、第一乃至第五実施例では、3種類のテンプレートが設定された例を示したが、少なくとも一つのテンプレートが設けられていればよく、あるいは、複数のテンプレートの場合でも少なくとも二つのテンプレートが設けられていればよい。
また、第一乃至第五実施例では、取捨選択処理を、画面上の高さの平均値との乖離度に基づいて行なう例を示したが、分散値が大きい場合に、この乖離度を歩行者候補から除外するようにしてもよい。
(発明の効果)
上述した実施例では以下のような効果を奏することができる。
上述した実施例では以下のような効果を奏することができる。
上記実施例では、歩行者の身長分の画像上の高さ寸法が、赤外線カメラと歩行者との距離に応じて決定される。また、赤外線カメラと歩行者との距離に応じて、画像上の歩行者の足元の高さ方向の位置も決定される。よって、共通するテンプレートに相関する歩行者候補は、画像上における足元の高さ位置および身長分の高さ寸法が略一定となる。
したがって、歩行者候補は、それが歩行者の画像であれば、その高さは平均値に近い可能性が高く、歩行者以外の画像であれば、平均値から離れる可能性が高くなる可能性が高い。そこで、取捨選択部では、複数の歩行者候補の画像上の高さの平均値と、各歩行者候補の画像上の高さとに基づいて、適正であるか否かを判定し、不適正な歩行者候補は除外される。
複数の歩行者候補の高さの平均値と、各歩行者候補の高さとに基づいて、不適正と判定された候補は、歩行者候補から除外されるため、検出精度を向上させることができる。また、歩行者候補の取捨選択を、歩行者候補の高さとその平均値とに基づいて行うため、処理が容易であり、システムの処理量を大きく増やしたり、また、新たな機能(キャリブレーション)や工程制約(取付精度向上)を付加したりすることなく、上記の歩行者の検出精度向上を実現することができる。
複数の歩行者候補の高さの平均値と、各歩行者候補の高さとに基づいて、不適正と判定された候補は、歩行者候補から除外されるため、検出精度を向上させることができる。また、歩行者候補の取捨選択を、歩行者候補の高さとその平均値とに基づいて行うため、処理が容易であり、システムの処理量を大きく増やしたり、また、新たな機能(キャリブレーション)や工程制約(取付精度向上)を付加したりすることなく、上記の歩行者の検出精度向上を実現することができる。
複数の歩行者が存在する場合、これら複数の歩行者の車両との距離が共通していれば、画像上では、複数の歩行者の画像は、同じ高さで横並びする。このような横並びの歩行者の画像は、テンプレートマッチングを行った場合は、共通するテンプレートとの相関値が高くなる。
そこで、複数のテンプレートを有している場合、複数の歩行者候補を相関値が高いテンプレートごとにグループ分けし、グループごとに、平均値と、高さデータとを比較し、その乖離度で適正か否かを判定する。これによって、歩行者候補をテンプレートごとにグループ分けしないものよりも、精度の高い歩行者判定が可能となる。
歩行者候補を、相関するテンプレートごとにグループ分けする構成では、あるグループにおいて、歩行者候補として、歩行者以外の画像によるもの1つのみが検出された場合、その平均値は、本来歩行者の位置を示す値から離れた値となるおそれがある。
そこで、歩行者候補を、相関するテンプレートごとにグループ分けし、各グループのうち、複数の歩行者候補が存在するグループの平均値から全体基準高さを求める。このように、複数の歩行者候補が存在する場合、この歩行者候補のグループには、歩行者の画像が含まれる可能性が高く、この平均値に基づいて設定された全体基準高さは、非歩行者のみの平均値に基づいて設定された全体基準高さよりも、歩行者の画像の高さを示す可能性が高い。
また、前述のように、自車両との距離が略一致する歩行者は、画像上の高さも、略一致する。よって、相関するテンプレートが異なるグループ間では、画面上の高さの差が略一定となり、このグループ間の画面上の高さの差は、あらかじめ、赤外線カメラの設置高さや、テンプレートの大きさに基づいて設定することができる。
また、前述のように、自車両との距離が略一致する歩行者は、画像上の高さも、略一致する。よって、相関するテンプレートが異なるグループ間では、画面上の高さの差が略一定となり、このグループ間の画面上の高さの差は、あらかじめ、赤外線カメラの設置高さや、テンプレートの大きさに基づいて設定することができる。
そこで、前述のように、1つのグループの歩行者候補に基づいて全体基準高さが設定されると、他のグループの基準高さであるグループ基準高さも設定することができる。
このように、複数の歩行者候補が存在するグループの平均値から全体基準高さを求め、全体基準高さに基づいてグループ基準高さを設定し、このグループ基準高さと歩行者候補の高さとを比較して乖離度に基づいて取捨選択を行なうようにしたため、非歩行者による1つの歩行者候補しか存在しないグループであっても、この非歩行者による歩行者候補による高さデータに影響されること無く、グループ基準高さが設定され、いっそう誤検出の抑制を図ることが可能となる。
上記実施例では、複数の歩行者候補が存在するグループのうちで、最も小さなテンプレートに相関するグループに基づいて平均値および全体基準高さを設定するようにされている。すなわち、複数のサイズの異なるテンプレートを使用した場合、一般に、大きなテンプレートほど、最大相関値の出現位置にバラツキが生じる。そこで、最小のテンプレートに相関する歩行者候補の平均値を使用することで、全体基準高さの設定において、このようなバラツキの影響を抑制することができる。
したがって、取捨選択処理において、あらかじめ設定された設定値以上の歩行者候補が存在するグループのうちで最もサイズの小さなテンプレートとの相関性の高いグループから歩行者候補の平均値を求めることによって、相対的に大きなテンプレートに相関するグループの平均値から全体基準高さを設定したものと比較して、出現位置のバラツキの影響を緩和して、検出精度を向上することができる。
また、各グループの平均値から設定された全体基準高さに基づいて、各グループの基準となるグループ基準高さを求め、このグループ基準高さとの乖離度で適正か不適正かを判定するようにしたため、グループ内に非歩行者の画像に基づく1つの歩行者候補しか存在しない場合でも、グループ基準高さを適正に設定することができる。
すなわち、全グループの平均値に基づいて全体基準高さを設定するため、全歩行者候補の多数が歩行者の画像による場合は、非歩行者画像によるバラツキを抑制することができる。このように設定した全体基準高さに基づいて、各グループ基準高さを設定するため、あるグループで、歩行者候補が非歩行者画像によるものが1つしか存在していなくても、グループ基準値を、この歩行者候補に影響されること無く、適正に設定できる。したがって、この非歩行者画像による歩行者候補の高さが、グループ基準高さから乖離していれば、不適正として除外される。
上記実施例では、複数の歩行者候補が存在するグループのうちで、最も小さなテンプレートに相関するグループに基づいて平均値および全体基準高さを設定するようにされている。すなわち、複数のサイズの異なるテンプレートを使用した場合、一般に、大きなテンプレートほど、最大相関値の出現位置にバラツキが生じる。そこで、最小のテンプレートに相関する歩行者候補の平均値を使用することで、全体基準高さの設定において、このようなバラツキの影響を抑制することができる。
したがって、取捨選択処理において、あらかじめ設定された設定値以上の歩行者候補が存在するグループのうちで最もサイズの小さなテンプレートとの相関性の高いグループから歩行者候補の平均値を求めることによって、相対的に大きなテンプレートに相関するグループの平均値から全体基準高さを設定したものと比較して、出現位置のバラツキの影響を緩和して、検出精度を向上することができる。
また、各グループの平均値から設定された全体基準高さに基づいて、各グループの基準となるグループ基準高さを求め、このグループ基準高さとの乖離度で適正か不適正かを判定するようにしたため、グループ内に非歩行者の画像に基づく1つの歩行者候補しか存在しない場合でも、グループ基準高さを適正に設定することができる。
すなわち、全グループの平均値に基づいて全体基準高さを設定するため、全歩行者候補の多数が歩行者の画像による場合は、非歩行者画像によるバラツキを抑制することができる。このように設定した全体基準高さに基づいて、各グループ基準高さを設定するため、あるグループで、歩行者候補が非歩行者画像によるものが1つしか存在していなくても、グループ基準値を、この歩行者候補に影響されること無く、適正に設定できる。したがって、この非歩行者画像による歩行者候補の高さが、グループ基準高さから乖離していれば、不適正として除外される。
このように、グループ基準高さを適正に設定し、歩行者の検出精度を向上させることができる。
赤外線カメラの取り付け高さを、歩行者の高さ方向の中心位置(身長の略1/2)に配置した場合、歩行者の中心は、撮影された画像の高さ方向の中心に配置される。したがって、テンプレートの上下方向寸法にかかわらず、歩行者候補の高さ方向の中心も、画像の高さ方向の中心付近に配置される。よって、テンプレートの上下方向寸法の違いにかかわらず、全歩行者候補の高さの平均値と各歩行者候補の高さとの乖離度に基づいて、歩行者候補が適正な位置に配置されているか否か判定することができる。
このように、全歩行者候補の高さの平均値を基準に判定するため、歩行者候補として非歩行者による画像が含まれていても、平均値に対する影響を小さくし、検出精度を高めることができる。
子供の判別を追加するため、運転者などの乗員に対し、より正確な情報を与えることができる。また、子供の判別を、歩行者候補の上下寸法のみで判別するため、判別を容易に行うことができる。
子供の判別を追加するため、運転者などの乗員に対し、より正確な情報を与えることができる。また、子供の判別を、歩行者候補の上下寸法のみで判別するため、判別を容易に行うことができる。
上述のように、本発明を、車両から歩行者を検出するようにした検出システムに適用した場合の実施例を述べたが、本発明はこれらの実施例に限定されず、例えば、生産ラインにおいて部品を検出するような場合にも本発明を適用することができる。
Claims (7)
- 車両に設置されて前記車両の周辺を撮像する撮像装置と、
この撮像装置によって撮像して得られた画像に基づいて、歩行者を検出する歩行者検出装置と、を備え、
前記歩行者検出装置は、前記撮像装置によって得られた画像と、あらかじめ記憶された歩行者の輪郭を模したテンプレートとのマッチングを行い、このテンプレートとの相関値を求める相関値検出部と、前記撮像装置によって得られた画像のうち、前記相関値が歩行者である可能性が高い画像領域を歩行者候補として検出する高相関領域検出部と、複数の前記歩行者候補の前記画像上の高さの平均値を求め、この平均値と各歩行者候補の前記画像上の高さとに基づいて、前記歩行者候補が適性か否か判定し、不適正な歩行者候補は除外されるように取捨選択処理を実行する取捨選択部と、を備えている歩行者検出システム。 - 前記相関値検出部は、前記画像の高さ方向寸法が異なる複数のテンプレートを備え、前記取捨選択部は、前記取捨選択処理において、前記複数の歩行者候補を、相関性の高い前記テンプレートごとにグループ分けし、このグループごとに、前記平均値を求めるとともに、この平均値と、前記グループに含まれる各歩行者候補の高さとの比較に基づき、両者の乖離度があらかじめ設定された範囲外の不適正候補を前記歩行者候補から除外する処理を行なう請求項1に記載の歩行者検出システム。
- 前記相関値検出部は、前記画像の高さ方向寸法が異なる複数のテンプレートを備え、前記取捨選択部は、前記取捨選択処理において、前記複数の歩行者候補を、相関性の高い前記テンプレートごとにグループ分けし、各グループのうちで複数の前記歩行者候補が存在するあるグループの平均値から全体基準高さを求め、この全体基準高さに基づいて、各グループに対応するグループ基準高さを設定し、前記グループごとに、前記グループ基準高さと前記歩行者候補の高さとの比較に基づき、両者の乖離度があらかじめ設定された範囲外の不適正な候補を歩行者候補から除外する処理を行なうようにした請求項1に記載の歩行者検出システム。
- 前記取捨選択部は、前記取捨選択処理において、あらかじめ設定された設定値以上の歩行者候補が存在するグループのうちで最もサイズの小さなテンプレートとの相関性の高いグループから前記平均値を求めるようにした請求項3に記載の歩行者検出システム。
- 前記相関値検出部は、前記画像の高さ方向寸法が異なる複数のテンプレートを備え、前記取捨選択手段は、前記複数の歩行者候補を、相関性の高い前記テンプレートごとにグループ分けし、前記グループごとに前記歩行者候補の高さの平均値を求め、各平均値に基づいて全体基準高さを設定し、この全体基準高さに基づいて、各グループのグループ基準高さを求め、前記グループごとに、前記グループ基準高さと前記グループに含まれる各歩行者候補の高さとの比較に基づき、両者の乖離度があらかじめ設定された範囲外の不適正な候補を歩行者候補から除外する処理を行なう請求項1に記載の歩行者検出システム。
- 前記赤外線カメラが、歩行者の高さ方向の中心位置とみなすことのできる高さに設置され、前記取捨選択部は、全歩行者候補の高さデータの平均値である判定基準値を求め、この判定基準値と各歩行者候補の高さとの比較に基づき、両者の乖離度があらかじめ設定された範囲外の不適正候補を歩行者候補から除外する処理を行なうにした請求項1に記載の歩行者検出システム。
- 前記平均値から設定範囲内の低い歩行者候補を子供と判別する請求項1に記載の歩行者検出システム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/501,089 US20120194680A1 (en) | 2009-10-09 | 2010-10-04 | Pedestrian detection system |
EP10821959.3A EP2487647A4 (en) | 2009-10-09 | 2010-10-04 | PEDESTRIAN DETECTION SYSTEM |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009235535A JP5422330B2 (ja) | 2009-10-09 | 2009-10-09 | 歩行者検出システム |
JP2009-235535 | 2009-10-09 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2011043289A1 true WO2011043289A1 (ja) | 2011-04-14 |
Family
ID=43856744
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2010/067354 WO2011043289A1 (ja) | 2009-10-09 | 2010-10-04 | 歩行者検出システム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20120194680A1 (ja) |
EP (1) | EP2487647A4 (ja) |
JP (1) | JP5422330B2 (ja) |
WO (1) | WO2011043289A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018041389A (ja) * | 2016-09-09 | 2018-03-15 | 本田技研工業株式会社 | 物体認識装置、物体認識方法、および物体認識プログラム |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5616200B2 (ja) * | 2010-11-18 | 2014-10-29 | 古野電気株式会社 | レーダ装置、注目物標検出方法及び注目物標検出プログラム |
JP2012226689A (ja) * | 2011-04-22 | 2012-11-15 | Fuji Heavy Ind Ltd | 環境認識装置および環境認識方法 |
JP5537491B2 (ja) * | 2011-05-12 | 2014-07-02 | 富士重工業株式会社 | 環境認識装置 |
JP2014078155A (ja) * | 2012-10-11 | 2014-05-01 | Mitsubishi Motors Corp | 車両用警報装置 |
WO2014085953A1 (en) * | 2012-12-03 | 2014-06-12 | Harman International Industries, Incorporated | System and method for detecting pedestrians using a single normal camera |
JP6440115B2 (ja) * | 2014-03-06 | 2018-12-19 | パナソニックIpマネジメント株式会社 | 表示制御装置、表示制御方法、および表示制御プログラム |
JP6473571B2 (ja) * | 2014-03-24 | 2019-02-20 | アルパイン株式会社 | Ttc計測装置およびttc計測プログラム |
JP2015216518A (ja) * | 2014-05-12 | 2015-12-03 | 富士通株式会社 | 情報処理方法、プログラム及び情報処理装置 |
EP2993645B1 (en) * | 2014-09-02 | 2019-05-08 | Nintendo Co., Ltd. | Image processing program, information processing system, information processing apparatus, and image processing method |
KR102310286B1 (ko) * | 2014-11-07 | 2021-10-07 | 현대모비스 주식회사 | 특정물체 감지 장치 및 특정물체 감지 방법 |
CN105741312B (zh) | 2014-12-09 | 2018-04-27 | 株式会社理光 | 目标对象跟踪方法和设备 |
JP6564576B2 (ja) * | 2015-02-16 | 2019-08-21 | 修一 田山 | 自動車における近接体警報知装置 |
JP6564577B2 (ja) * | 2015-02-16 | 2019-08-21 | 修一 田山 | 自動車における近接体警報知装置 |
US11019251B2 (en) | 2017-01-30 | 2021-05-25 | Canon Kabushiki Kaisha | Information processing apparatus, image capturing apparatus, information processing method, and recording medium storing program |
JP6574224B2 (ja) | 2017-08-30 | 2019-09-11 | 本田技研工業株式会社 | 車両制御装置、車両、車両制御方法およびプログラム |
CN108229314B (zh) * | 2017-11-28 | 2021-05-04 | 深圳市商汤科技有限公司 | 目标人物的搜索方法、装置和电子设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003009140A (ja) | 2001-06-26 | 2003-01-10 | Mitsubishi Motors Corp | 歩行者検出装置 |
JP2003284057A (ja) * | 2002-01-18 | 2003-10-03 | Honda Motor Co Ltd | 車両周辺監視装置 |
JP2006314060A (ja) * | 2005-05-09 | 2006-11-16 | Nissan Motor Co Ltd | 画像処理装置及びノイズ検出方法 |
JP2008123113A (ja) * | 2006-11-09 | 2008-05-29 | Toyota Motor Corp | 歩行者検知装置 |
JP2010136207A (ja) * | 2008-12-05 | 2010-06-17 | Clarion Co Ltd | 歩行者検出表示システム |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5555512A (en) * | 1993-08-19 | 1996-09-10 | Matsushita Electric Industrial Co., Ltd. | Picture processing apparatus for processing infrared pictures obtained with an infrared ray sensor and applied apparatus utilizing the picture processing apparatus |
JP2002099997A (ja) * | 2000-09-26 | 2002-04-05 | Mitsubishi Motors Corp | 動体物検出装置 |
DE10301468B4 (de) * | 2002-01-18 | 2010-08-05 | Honda Giken Kogyo K.K. | Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs |
US7139411B2 (en) * | 2002-06-14 | 2006-11-21 | Honda Giken Kogyo Kabushiki Kaisha | Pedestrian detection and tracking with night vision |
JP4612635B2 (ja) * | 2003-10-09 | 2011-01-12 | 本田技研工業株式会社 | 低照度の深度に適応可能なコンピュータ視覚を用いた移動物体検出 |
US7599521B2 (en) * | 2004-11-30 | 2009-10-06 | Honda Motor Co., Ltd. | Vehicle vicinity monitoring apparatus |
JP4708124B2 (ja) * | 2005-08-30 | 2011-06-22 | 富士重工業株式会社 | 画像処理装置 |
JP2007072665A (ja) * | 2005-09-06 | 2007-03-22 | Fujitsu Ten Ltd | 物体判別装置、物体判別方法および物体判別プログラム |
JP4281817B2 (ja) * | 2007-03-28 | 2009-06-17 | トヨタ自動車株式会社 | 撮像システム |
TWI370909B (en) * | 2008-04-02 | 2012-08-21 | Univ Nat Chiao Tung | Inquiry system and method for location-based image, video, and information |
JP4561863B2 (ja) * | 2008-04-07 | 2010-10-13 | トヨタ自動車株式会社 | 移動体進路推定装置 |
-
2009
- 2009-10-09 JP JP2009235535A patent/JP5422330B2/ja active Active
-
2010
- 2010-10-04 US US13/501,089 patent/US20120194680A1/en not_active Abandoned
- 2010-10-04 WO PCT/JP2010/067354 patent/WO2011043289A1/ja active Application Filing
- 2010-10-04 EP EP10821959.3A patent/EP2487647A4/en not_active Withdrawn
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003009140A (ja) | 2001-06-26 | 2003-01-10 | Mitsubishi Motors Corp | 歩行者検出装置 |
JP2003284057A (ja) * | 2002-01-18 | 2003-10-03 | Honda Motor Co Ltd | 車両周辺監視装置 |
JP2006314060A (ja) * | 2005-05-09 | 2006-11-16 | Nissan Motor Co Ltd | 画像処理装置及びノイズ検出方法 |
JP2008123113A (ja) * | 2006-11-09 | 2008-05-29 | Toyota Motor Corp | 歩行者検知装置 |
JP2010136207A (ja) * | 2008-12-05 | 2010-06-17 | Clarion Co Ltd | 歩行者検出表示システム |
Non-Patent Citations (1)
Title |
---|
See also references of EP2487647A4 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018041389A (ja) * | 2016-09-09 | 2018-03-15 | 本田技研工業株式会社 | 物体認識装置、物体認識方法、および物体認識プログラム |
Also Published As
Publication number | Publication date |
---|---|
EP2487647A1 (en) | 2012-08-15 |
JP5422330B2 (ja) | 2014-02-19 |
EP2487647A4 (en) | 2015-01-07 |
JP2011081736A (ja) | 2011-04-21 |
US20120194680A1 (en) | 2012-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2011043289A1 (ja) | 歩行者検出システム | |
US9892328B2 (en) | Hazard detection from a camera in a scene with moving shadows | |
JP4456086B2 (ja) | 車両周辺監視装置 | |
US10520309B2 (en) | Object recognition device, object recognition method, equipment control system, and distance image generation device | |
JP5747549B2 (ja) | 信号機検出装置及びプログラム | |
JP5127182B2 (ja) | 物体検出装置 | |
JP5631581B2 (ja) | 道路認識装置 | |
US20090190827A1 (en) | Environment recognition system | |
JP5718920B2 (ja) | 車両周辺監視装置 | |
US20190370589A1 (en) | Automatic feature point detection for calibration of multi-camera systems | |
WO2012004938A1 (ja) | 車両の周辺監視装置 | |
JP5180126B2 (ja) | 道路認識装置 | |
JP4877801B2 (ja) | 車両追跡方法及び装置 | |
WO2016129301A1 (ja) | 車両用進入可否判定装置 | |
JP2009085651A (ja) | 画像処理システム | |
JP2011185753A (ja) | 車載カメラのカメラキャリブレーション装置 | |
KR101224027B1 (ko) | 영상의 장면 정보를 이용한 전방 차량 검출 방법 | |
JP2008262333A (ja) | 路面判別装置および路面判別方法 | |
JP2008064628A (ja) | 物体検出装置および物体検出方法 | |
WO2011039977A1 (ja) | 横断歩道標示検出方法および横断歩道標示検出装置 | |
US20150379372A1 (en) | Object recognition apparatus | |
JP2003028635A (ja) | 画像測距装置 | |
JP6375911B2 (ja) | カーブミラー検出装置 | |
JP2015185135A (ja) | 停車認識装置、停車認識方法及びプログラム | |
JP3102478B2 (ja) | 線状マーク検出方法および装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 10821959 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 13501089 Country of ref document: US |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2010821959 Country of ref document: EP |