JP5228926B2

JP5228926B2 - 歩行者検出装置

Info

Publication number: JP5228926B2
Application number: JP2009004159A
Authority: JP
Inventors: 映酒井; 宏明公文; 雅成高木
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2009-01-12
Filing date: 2009-01-12
Publication date: 2013-07-03
Anticipated expiration: 2029-01-12
Also published as: JP2010160770A

Description

本発明は、車両の周辺に存在する歩行者を検出する歩行者検出装置に関する。

従来、例えば特許文献１に記載の歩行者検出装置が知られている。この文献に記載の技術では、投光器から周辺（前方）に照射された近赤外光に対する対象物からの反射光を赤外線カメラにより捉え、その赤外線画像を周辺監視コントロールユニットで画像処理し、閾値を超える高輝度領域を抽出する。抽出された高輝度領域の縦横比が所定の範囲に入っているものを歩行者候補領域として抽出し、さらに歩行者候補領域の画像の輝度平均値及び輝度分散値を算出し、それに基づいて構造物と判定した歩行者候補領域を除外し、残りを歩行者領域とする。

特開２００５−１５９３９２号公報

ところで、上記従来技術では、輝度平均値が高く且つ輝度分散値が低い歩行者候補領域は、歩行者が撮像された歩行者候補領域ではないと仮定しているが、この仮定が成立しない場合がある。

詳しくは、道路には、反射板（電柱標識防護板）を備える電柱が設置されており、この電柱の反射板には赤外線を反射しやすい表面処理が施されることが多い。そのため、赤外線カメラにて撮像される赤外線画像では、反射板を備える電柱が撮像された歩行者候補領域の輝度平均値が高くなる。また、電柱の反射板にはストライプ状の模様が施されることが多く、特に電柱との距離が近い場合にあっては、赤外線カメラはこのストライプ状の模様まで捉えることが可能である。ストライプ状の模様を捉えることが可能であるため、赤外線カメラにて撮像される赤外線画像では、反射板を備える電柱が撮像された歩行者候補領域の輝度分散値は高くなる。したがって、反射板を備える電柱が撮像された歩行者候補領域を除外することができなくなってしまう。除外することができないと、反射板を備える電柱を歩行者として誤検出してしまうことも起こり得る。

本発明は、上記実情に鑑みてなされたものであって、その目的は、反射板を備える電柱を歩行者として検出する誤検出の発生抑制を図ることのできる歩行者検出装置を提供することにある。

その目的を達成するため、請求項１に記載の発明では、車両の周辺を撮像する車載撮像装置によって撮像される赤外線画像から、所定輝度以上の輝度を有する高輝度領域を抽出した画像である高輝度領域抽出画像を生成する高輝度領域抽出画像生成手段と、前記高輝度領域に外接する外接矩形の縦横比に基づいて、前記高輝度領域抽出画像から歩行者候補領域を抽出した画像である歩行者候補領域抽出画像を生成する歩行者候補領域抽出画像生成手段と、前記歩行者候補領域に含まれるエッジ方向に基づいて電柱反射板が撮像された歩行者候補領域であると判定された歩行者候補領域を、前記歩行者候補領域抽出画像から除外する電柱反射板除外手段と、前記電柱反射板除外手段によって前記電柱反射板が撮像された歩行者候補領域が除外された後の前記歩行者候補領域抽出画像に基づいて、車両の周辺に存在する歩行者を検出する歩行者検出手段とを備えることを特徴とする。

電柱の反射板にはストライプ状の模様が施されることが多いことは既述した通りであり、このストライプ状の模様は、近距離にて撮像された画像においてエッジとして検出することが可能である。そのため、歩行者候補領域に含まれるエッジ方向に基づいて、歩行者候補領域が電柱の反射板が撮像された歩行者候補領域であるか否かを判定することが可能である。歩行者検出装置としての上記構成では、歩行者候補領域に含まれるエッジ方向に基づいて、歩行者候補領域が電柱反射板が撮像された歩行者候補領域であるか否かが判定され、歩行者候補領域が電柱反射板が撮像された歩行者候補領域であると判定されると、その歩行者候補領域は歩行者候補領域抽出画像から除外される。そして、電柱反射板が撮像された歩行者候補領域が除外された後の歩行者候補領域抽出画像に基づいて、車両の周辺に存在する歩行者が検出される。このように、電柱反射板が撮像された歩行者候補領域が除外された後の歩行者候補領域抽出画像に基づき車両の周辺に存在する歩行者が検出されるため、反射板を備える電柱を歩行者として検出する誤検出の発生抑制を図ることができるようになる。

また、上記の目的を達成するため、請求項２に記載の発明では、車両の周辺を撮像する車載撮像装置によって撮像される赤外線画像から、所定輝度以上の輝度を有する高輝度領域を抽出した画像である高輝度領域抽出画像を生成する高輝度領域抽出画像生成手段と、前記高輝度領域に外接する外接矩形の縦横比に基づいて、前記高輝度領域抽出画像から歩行者候補領域を抽出した画像である歩行者候補領域抽出画像を生成する歩行者候補領域抽出画像生成手段と、前記歩行者候補領域の外接矩形の面積に対する前記歩行者候補領域の面積の割合であるラベリング密度に基づいて、電柱反射板が撮像された歩行者候補領域であると判定された歩行者候補領域を、前記歩行者候補領域抽出画像から除外する電柱反射板除外手段と、前記電柱反射板除外手段によって前記電柱反射板が撮像された歩行者候補領域が除外された後の前記歩行者候補領域抽出画像に基づいて、車両の周辺に存在する歩行者を検出する歩行者検出手段とを備えることを特徴とする。

一般に、歩行者候補領域の外接矩形の面積は、歩行者候補領域の面積と同一あるいは大きくなるため、歩行者候補領域の外接矩形の面積に対する歩行者候補領域の面積の割合であるラベリング密度は「１」以下となる。しかしながら、歩行者が撮像された歩行者候補領域である場合、歩行者は凹凸を多く有するため、そのラベリング密度は「１」よりも小さな値となる。一方、電柱の反射板が撮像された歩行者候補領域である場合、電柱の反射板は凹凸をほとんど有さないため、そのラベリング密度は「１」に近い値となる。歩行者候補領域のラベリング密度にはこうした傾向があるため、歩行者候補領域のラベリング密度に基づいて、電柱の反射板が撮像された歩行者候補領域であるか否かを判定することが可能である。歩行者検出装置としての上記構成では、こうした歩行者候補領域のラベリング密度に基づいて、電柱反射板が撮像された歩行者候補領域であるか否かが判定され、電柱反射板が撮像された歩行者候補領域であると判定されると、その歩行者候補領域が歩行者候補領域抽出画像から除外される。そして、電柱反射板が撮像された歩行者候補領域が除外された後の歩行者候補領域抽出画像に基づいて、車両の周辺に存在する歩行者が検出される。このように、電柱反射板が撮像された歩行者候補領域が除外された後の歩行者候補領域抽出画像に基づいて、車両の周辺に存在する歩行者が検出されるため、反射板を備える電柱を歩行者として検出する誤検出の発生抑制を図ることができるようになる。

また、上記の目的を達成するため、請求項３に記載の発明では、車両の周辺を撮像する車載撮像装置によって撮像される赤外線画像から、所定輝度以上の輝度を有する高輝度領域を抽出した画像である高輝度領域抽出画像を生成する高輝度領域抽出画像生成手段と、前記高輝度領域に外接する外接矩形の縦横比に基づいて、前記高輝度領域抽出画像から歩行者候補領域を抽出した画像である歩行者候補領域抽出画像を生成する歩行者候補領域抽出画像生成手段と、前記歩行者候補領域に含まれるエッジ方向に基づいて電柱反射板が撮像された歩行者候補領域であると判定された歩行者候補領域を、前記歩行者候補領域抽出画像から除外する電柱反射板除外手段と、前記歩行者候補領域の外接矩形の面積に対する前記歩行者候補領域の面積の割合であるラベリング密度に基づいて、電柱反射板が撮像された歩行者候補領域であると判定された歩行者候補領域を、前記歩行者候補領域抽出画像から除外する電柱反射板除外手段と、前記電柱反射板除外手段によって前記電柱反射板が撮像された歩行者候補領域が除外された後の前記歩行者候補領域抽出画像に基づいて、車両の周辺に存在する歩行者を検出する歩行者検出手段とを備えることを特徴とする。

歩行者検出装置としてのこのような構成によれば、上記請求項１に記載の構成及び上記請求項２に記載の構成を併用することになるため、反射板を備える電柱を歩行者として検出する誤検出の発生抑制をよりいっそう図ることができるようになる。

ところで、電柱の反射板が撮像された歩行者候補領域であるか否かについて、その歩行者候補領域に含まれるエッジ方向に基づいて判定する判定方法については、様々な方法が考えられる。

上記請求項１または３に記載の構成において、前記電柱反射板除外手段は、前記歩行者候補領域に含まれるエッジ方向のうち最多頻度のエッジ方向の割合が所定割合以上であるか否かを判断し、所定割合以上であると判断することに基づいて、その歩行者候補領域が電柱反射板を撮像した歩行者候補領域であると判定することとしてもよい。あるいは、上記請求項１または３に記載の構成において、請求項４に記載の発明のように、前記電柱反射板除外手段は、前記歩行者候補領域に含まれるエッジ方向のうち特定のエッジ方向の割合が所定割合以上であるか否かを判断し、所定割合以上であると判断することに基づいて、その歩行者候補領域が電柱反射板を撮像した歩行者候補領域であると判定することとしてもよい。なお、こうした構成においては、請求項５に記載の発明のように、前記特定のエッジ方向は、前記電柱反射板に形成されるストライプに沿った方向であることが望ましい。

また、電柱の反射板が撮像された歩行者候補領域であるか否かについて、歩行者候補領域のラベリング密度に基づいて判定する判定方法についても、様々な方法が考えられる。

上記請求項２または３に記載の構成において、前記電柱反射板除外手段は、前記ラベリング密度が「１」であるか否かを判断し、「１」であると判断することに基づいて、その歩行者候補領域が電柱反射板を撮像した歩行者候補領域であると判定することとしてもよい。あるいは、上記請求項２または３に記載の歩行者検出装置において、請求項６に記載の発明のように、前記電柱反射板除外手段は、前記ラベリング密度が所定密度以上であるか否かを判断し、所定密度以上であると判断することに基づいて、その歩行者候補領域が電柱反射板を撮像した歩行者候補領域であると判定することとしてもよい。なお、こうした構成においては、請求項７に記載の発明のように、前記所定密度は、車両の周辺に位置する歩行者のラベリング密度よりも高い密度に設定されていることが望ましい。いずれの方法であっても、歩行者候補領域のラベリング密度に基づいて、その歩行者候補領域が電柱の反射板を撮像した歩行者候補領域であるか否かを判定することはできる。

また、上記請求項１〜７のいずれかに記載の構成において、請求項８に記載の発明のように、前記歩行者候補領域の外形形状、この外形に内接する内接矩形内の輝度平均値、及び、この外形に内接する内接矩形内の輝度分散値に基づいて、道路に設置される道路標識を撮像した歩行者候補領域であると判定された歩行者候補領域を、前記歩行者候補領域抽出画像から除外する道路標識除外手段をさらに備えることが望ましい。

歩行者検出装置としてのこのような構成では、歩行者候補領域の外形に内接する内接矩形内の輝度平均値、及び、この外形に内接する内接矩形内の輝度分散値だけでなく、歩行者候補領域の外形形状にも基づいて、道路に設置される道路標識を撮像した歩行者候補領域であるか否かを判定するため、歩行者候補領域抽出画像から歩行者を撮像した歩行者候補領域を除外してしまうことは少なくなる。その結果、歩行者の未検出の発生を低減することができるようになる。

本発明に係る歩行者検出装置の一実施の形態を含む車両周辺監視システムについて、その全体構成の一例を示すブロック図である。歩行者検出装置によって実行される歩行者検出処理について、その処理手順を示すフローチャートである。（ａ）は、赤外線カメラによって撮像される赤外線画像の一例を示す図である。（ｂ）は、同図３（ａ）に示す赤外線画像に含まれるエッジが抽出された２値画像の一例を示す図である。（ｃ）は、同図３（ｂ）に示す２値画像に道路標識に類似する図形が含まれていることを示す図である。（ｄ）は、同図３（ａ）に示す赤外線画像に含まれる道路標識に類似する図形に内接する内接矩形を示す図である。歩行者検出処理のうち道路標識除外処理について、その処理手順を示すフローチャートである。（ａ）は、赤外線カメラから近距離に位置する電柱の赤外線画像を示す図である。（ｂ）は、同図５（ａ）に示す赤外線画像に含まれるエッジが抽出された２値画像の一例を示す図である。図５（ｂ）に示す２値画像に含まれるエッジ方向とその度数との関係を示す図である。（ａ）は、赤外線カメラから遠距離に位置する電柱の赤外線画像を示す図である。（ｂ）は、同図７（ａ）に示す赤外線画像に含まれる歩行者候補領域及びその外接矩形を示す図である。歩行者検出処理中の電柱反射板除外処理について、その処理手順を示すフローチャートである。

以下、本発明に係る歩行者検出装置の一実施の形態を図１〜図８を参照して説明する。なお、図１は、歩行者検出装置３０を含む車両周辺監視システム１について、その全体構成の一例を示すブロック図である。はじめに、この図１を参照して、歩行者検出装置３０を含む車両周辺監視システム１の構成及び機能について説明する。

図１に示されるように、車両周辺監視システム１は、赤外線カメラ１０と、投光器２０と、歩行者検出装置３０とを備えて構成されている。

このうち、赤外線カメラ１０は、その光軸が図示しない車両の前方を向くように、車両の前部の車幅方向中心に設置され、歩行者検出装置３０（詳しくは画像処理部５１）に接続されている。そして、赤外線カメラ１０は、車両の前方に位置する対象物が発する赤外線あるいは対象物が反射する赤外線を捉えて撮像し、この撮像した赤外線画像を歩行者検出装置３０（詳しくは画像処理部５１）に出力する。なお、赤外線カメラ１０が特許請求の範囲に記載の車載撮像装置に相当する。

投光器２０は、車両の前部に配置される図示しないバンパーの左端部及び右端部に各々１つずつ設けられており、スイッチリレー２１を介して歩行者検出装置３０（詳しくはＣＰＵ４１）に接続されている。なお、図示の便宜上、図１では、投光器２０を１つのみ図示している。そして、歩行者検出装置３０によってスイッチリレー２１がオンされると、投光器２０もオンとされ、車両の前方を近赤外線にて照射する。

ちなみに、車両の前方に位置する対象物の近赤外線の反射率が高いほど、投光器２０から照射される近赤外線をより多く反射する。そのため、赤外線カメラ１０にて撮像される赤外線画像では、こうした対象物の輝度が高くなる。逆に、車両の前方に位置する対象物の近赤外線の反射率が低いほど、投光器２０から照射される近赤外線をそれほど反射しない。そのため、赤外線カメラ１０にて撮像される赤外線画像では、こうした対象物の輝度は低くなる。

歩行者検出装置３０は、ＣＰＵ４１、ＲＯＭ４２、ＲＡＭ４３を備える。このうち、ＲＯＭ４２は、後述する歩行者検出処理に係る各種処理を実行するためのプログラムやその各種処理を実行する際に必要となる閾値等のデータを不揮発に記憶保持し、ＲＡＭ４３は、演算結果等を一時的に記憶保持する。ＣＰＵ４１は、これらＲＯＭ４２及びＲＡＭ４３に接続されており、ＲＯＭ４２に記憶保持されているプログラムに従って、ＲＡＭ４３を用いつつ、各種処理を実行する。

また、歩行者検出装置３０は、画像処理部５１を備えており、この画像処理部５１は、Ａ／Ｄ変換回路、画像処理プロセッサ、ＶＲＡＭ５２、Ｄ／Ａ変換回路、及び、表示画面を有する（図１ではＶＲＡＭ５２のみを図示）。Ａ／Ｄ変換回路は、赤外線カメラ１０から出力されるアナログ信号を取り込むとともに、この取り込んだアナログ信号をデジタル信号に変換した上で画像処理プロセッサに出力する。画像処理プロセッサは、Ａ／Ｄ変換回路から出力されるデジタル信号（デジタル画像データ）を取り込んでＶＲＡＭ５２に一時的に記憶保持し、記憶保持されたデジタル画像データを画像処理した上でＤ／Ａ変換回路に出力する。Ｄ／Ａ変換回路は、画像処理プロセッサから出力されるデジタル信号を取り込むとともに、この取り込んだデジタル信号をアナログ信号に変換した上で表示画面に出力する。

ちなみに、デジタル画像データは、赤外線カメラ１０の各画素の輝度データが集積されることで構成されている。ここで、各画素の輝度データとは、例えば「８ビット（２５６階調）」にてその画素の輝度を表現したものであり、輝度が最も高い（明るい）場合の輝度データを「２５５」とし、輝度が最も低い（暗い）場合の画素の輝度データを「０」とする。

以上のように構成された車両周辺監視システム１の動作について、図２〜図９を参照しつつ説明する。なお、図２は、歩行者検出装置３０（詳しくはＣＰＵ４１及び画像処理部５１）によって実行される歩行者検出処理の処理手順を示すフローチャートである。

図２に示されるように、歩行者検出処理Ｓ１が開始されると、まず、歩行者検出装置３０は、ステップＳ１０の処理として、赤外線カメラ１０から赤外線画像を取り込む。具体的には、歩行者検出装置３０は、スイッチリレー２１をオンとし、投光器２０をオンとする。オンとされると、投光器２０は近赤外線にて車両の前方を照射する。歩行者検出装置３０は、投光器２０によって車両の前方が近赤外線にて照射されている間に、赤外線カメラ１０によって車両の前方を撮像する。そして、歩行者検出装置３０は、車両の前方を撮像した赤外線画像を赤外線カメラ１０から取り込む。

車両の前方を撮像した赤外線画像を取り込むと、歩行者検出装置３０は、続くステップＳ２０の処理として、この赤外線画像から所定輝度以上の高輝度領域を抽出する。具体的には、画像処理部５１は、赤外線カメラ１０から取り込んだ赤外線画像を構成する画素のうち輝度が所定輝度に達しない画素、すなわち輝度データが例えば「１５０」に達しない画素を抽出し、その輝度データを「０」に置換する。一方、画像処理部５１は、上記赤外線画像を構成する画素のうち輝度が所定輝度以上である画素、すなわち輝度データが例えば「１５０」以上である画素を抽出し、その輝度データを保持する。このようにして、画像処理部５１は、上記赤外線画像を、この赤外線画像から所定輝度以上の輝度を有する領域である高輝度領域のみを抽出した画像である高輝度領域抽出画像に変換する。

なお、本実施の形態では、夜間に撮像する赤外線画像の特性からある程度の反射特性を有する対象物を抽出可能な輝度に対応する輝度データとして「１５０」を採用したがこの値に限らない。また、ステップＳ２０の処理が特許請求の範囲に記載の高輝度領域抽出画像生成手段に相当する。

上記赤外線画像を上記高輝度領域抽出画像に変換すると、画像処理部５１は、続くステップＳ３０の処理として、上記高輝度領域抽出画像に含まれる所定輝度以上の高輝度領域を各物標毎に分割するためのラベルを付する処理であるラベリング処理を実行する。

こうしたラベリング処理を終えると、画像処理部５１は、続くステップＳ４０の処理として、歩行者候補領域抽出処理を実行する。具体的には、画像処理部５１は、まず、上記高輝度領域抽出画像に含まれる所定輝度以上の高輝度領域に外接する外接矩形を設定する。外接矩形を設定すると、次に、画像処理部５１は、この設定した外接矩形の縦横比を算出し、この縦横比が所定範囲内に収まるか否かを判定する。なお、本実施の形態では、この縦横比の所定範囲として、「外接矩形の縦の長さ：外接矩形の横の長さ」＝「４：１」〜「４：３」を採用する。そして、画像処理部５１は、縦横比が所定範囲内に収まらないと判定された高輝度領域内に位置する画素の輝度データを「０」に置換する一方、縦横比が所定範囲内に収まると判定した高輝度領域内に位置する画素の輝度データをそのまま保持する。このようにして、画像処理部５１は、上記高輝度領域抽出画像を、この高輝度領域抽出画像から外接矩形の縦横比が所定範囲内に収まる高輝度領域のみが歩行者候補領域として抽出された画像である第１歩行者候補領域抽出画像に変換する。なお、本実施の形態では、上記所定範囲として、「外接矩形の縦の長さ：外接矩形の横の長さ」＝「４：１」〜「４：３」を採用していたが、これに限らない。また、第１歩行者候補領域抽出画像が特許請求の範囲の歩行者候補領域抽出画像に相当し、このステップＳ４０が特許請求の範囲に記載の歩行者候補領域抽出画像生成手段に相当する。

こうした歩行者候補領域抽出処理を実行すると、画像処理部５１は、続くステップＳ５０の処理として、上記第１歩行者候補領域抽出画像に含まれる歩行者候補領域から、道路標識が撮像された可能性の高い歩行者候補領域を除外する道路標識除外処理を実行する。

以下、図３（ａ）〜（ｄ）を参照して、道路標識除外処理について概要を説明する。図３（ａ）は、上記赤外線カメラ１０によって撮像される赤外線画像の一部であり、円形状の道路標識が２つ重なって撮像されている。道路標識には赤外線を反射しやすい表面処理が施されることが多いため、この図３（ａ）に示されるように、道路標識を赤外線カメラ１０にて撮像して得られる赤外線画像では、道路標識が撮像された歩行者候補領域の輝度平均値は高く、且つ、その輝度分散値は低くなる。すなわち、道路標識が撮像された歩行者候補領域は明るく一様となる。そのため、上記従来技術では、輝度平均値が高く、且つ、輝度分散値が低い歩行者候補領域は、歩行者が撮像された歩行者候補領域ではないと仮定していた。

しかしながら、課題の欄で既述したように、上記仮定が成立しない場合がある。例えば歩行者が赤外線を強く反射する服装をしている場合や、歩行者と赤外線カメラ１０との距離が近距離である場合、歩行者が撮像された歩行者候補領域の輝度平均値が高く、且つ、その輝度分散値が低くなることがある。このような場合にあっては、上記第１歩行者候補領域抽出画像に含まれる歩行者候補領域から、歩行者が撮像された歩行者候補領域を除外してしまうことがあった。

そこで、本実施の形態では、画像処理部５１は、上記第１歩行者候補領域抽出画像に含まれる歩行者候補領域に対し、輝度平均値が高く、且つ、輝度分散値が低いか否かを判断する前に、その歩行者候補領域の外形形状に道路標識と類似する図形が検出されるか否かを判断することとした。歩行者候補領域の外形形状に道路標識と類似する図形が検出される場合、その歩行者候補領域は道路標識を撮像した歩行者候補領域である可能性が高い。そのため、こうした可能性の高い歩行者候補領域に対し、輝度平均値が高く、且つ、輝度分散値が低いか否かを判断することとした。

詳しくは、画像処理部５１は、図３（ａ）に示す赤外線画像に対し、上記ステップＳ１０〜Ｓ４０の処理を実行し、後述のステップＳ５１の処理を実行する。すると、画像処理部５１は、図３（ｂ）に示すように、赤外線画像に含まれるエッジが抽出された２値画像を取得する。

画像処理部５１は、この２値画像に対し、後述のステップＳ５２の判断処理を実行する。すなわち、画像処理部５１は、道路標識に類似する図形をこの２値画像に検出することができるか否かを判断する。図３（ｂ）に示す２値画像例では、道路標識に類似する図形である円形Ｃを検出することができる。そのため、画像処理部５１は、判断処理対象の歩行者候補領域は、道路標識を撮像した歩行者候補領域である可能性が高いと判断することができる。

なお、通常、エッジが抽出された２値画像では、エッジに対応する部分に位置する画素の輝度データは「２５５（明るい）」であり、エッジに対応する部分でない部分に位置する画素の輝度データは「０（暗い）」であるが、図３（ｂ）及び（ｃ）では、図示の便宜上、反転して示している。

判断処理対象の歩行者候補領域が道路標識を撮像した歩行者候補領域である可能性が高いと判断すると、画像処理部５１は、先の図３（ａ）に対し、後述のステップＳ５３〜５５の処理を実行する。すなわち、画像処理部５１は、図３（ｄ）に示すように、円形Ｃに内接する内接矩形Ｒを設定するとともに、この内接矩形Ｒ内の輝度平均値及び輝度分散値に基づいて、判断処理対象の歩行者候補領域が道路標識を撮像した歩行者候補領域であるか否かを判断する。図３（ｄ）に示す画像例では、内接矩形内の輝度平均値は高く、且つ、輝度分散値は低いため、判断処理対象の歩行者候補領域が道路標識を撮像した歩行者候補領域であると判断され、上記第１歩行者候補領域抽出画像に含まれる歩行者候補領域から除外されることになる。

図４に、道路標識除外処理の詳細な処理手順を示す。この図４を参照して、道路標識除外処理の処理手順を具体的に説明する。

上記第１歩行者候補領域抽出画像には複数の歩行者候補領域が含まれている。画像処理部５１は、道路標識除外処理Ｓ５０に移行すると、まず、ステップＳ５１の処理として、これら複数の歩行者候補領域のうち最小番号のラベルが付された歩行者候補領域に含まれるエッジ（外形）を抽出する（図３（ｂ）参照）。

この歩行者候補領域に含まれるエッジ（外形）を抽出すると、画像処理部５１は、続くステップＳ５２の判断処理として、この歩行者候補領域から道路標識に類似する図形を検出できたか否かを判断する（図３（ｃ）参照）。詳しくは、道路に設置される道路標識の外形形状は、例えば円形状や三角形状、矩形状など、数種類の外形形状（図形）に限定されている。画像処理部５１は、こうした数種類に限定された図形の標準パターン（テンプレート）を図示しない適宜の記憶保持部に予め記憶保持しており、例えば公知のテンプレートマッチングやハフ変換等を用いて、上記歩行者候補領域からこの記憶保持している標準パターンを探索する。具体的には、画像処理部５１は、上記標準パターンとの類似度を示す、いわゆる信頼度が所定信頼度Ｔｈｃ以上となる部分が上記歩行者候補領域に検出されるか否かを判断する。なお、所定信頼度Ｔｈｃは、上記標準パターンと歩行者の外形形状との信頼度よりも高い値に設定されている。

この探索により、標準パターンに類似する図形が上記歩行者候補領域から検出することができなかった場合（ステップＳ５２の判断処理で「Ｎｏ」）、上記歩行者候補領域が道路標識を撮像した歩行者候補領域である可能性は低いことを意味する。そして、画像処理部５１は、後述するステップＳ５６の判断処理に移行する。

一方、上記探索により、標準パターンに類似する図形が上記歩行者候補領域から検出することができた場合（ステップＳ５２の判断処理で「Ｙｅｓ」）、上記歩行者候補領域が道路標識を撮像した歩行者候補領域である可能性が高いことを意味する。そこで、画像処理部５１は、標準パターンに類似する図形に内接する内接矩形Ｒを設定するとともに、続くステップＳ５３の処理として、この内接矩形Ｒ内に位置する画素の輝度データの平均値である輝度平均値Ａ及び内接矩形Ｒ内に位置する画素の輝度データの分散値である輝度分散値Ｖをそれぞれ算出する。そして、画像処理部５１は、続くステップＳ５４の判断処理として、「輝度平均値Ａが所定閾値Ｔｈａよりも高く、且つ、輝度分散値Ｖが所定閾値Ｔｈｖよりも低い」か否かを判断する。

ここで、「輝度平均値Ａが所定閾値Ｔｈａよりも高く、且つ、輝度分散値Ｖが所定閾値Ｔｈｖよりも低い」と判断される場合（ステップＳ５４の判断処理で「Ｙｅｓ」）、内接矩形内が明るく一様であることを意味する。そのため、画像処理部５１は、この歩行者候補領域は道路標識を撮像した歩行者候補領域である可能性が高いと判断し、続くステップＳ５５の処理として、この歩行者候補領域を上記第１歩行者候補領域抽出画像から除外した上で、続くステップＳ５６の判断処理に移行する。

また、先のステップＳ５４の判断処理において、「輝度平均値Ａが所定閾値Ｔｈａよりも高く、且つ、輝度分散値Ｖが所定閾値Ｔｈｖよりも低い」と判断されない場合（ステップＳ５４の判断処理で「Ｎｏ」）、「内接矩形内が暗い」あるいは「内接領域の輝度が一様でない」ことを意味する。そのため、画像処理部５１は、この歩行者候補領域は道路標識を撮像した歩行者候補領域である可能性は低いと判断し、この歩行者候補領域を第１歩行者候補領域抽出画像から除外することなく、続くステップＳ５６の判断処理に移行する。

上記ステップＳ５２の判断処理で「Ｎｏ」と判断される場合、上記ステップＳ５４の判断処理で「Ｎｏ」と判断される場合、あるいは、上記ステップＳ５５の処理を実行すると、画像処理部５１は、続くステップＳ５６の判断処理として、第１歩行者候補領域抽出画像に含まれる全ての歩行者候補領域に対し上記ステップＳ５１〜５５の処理を実行したか否かを判断する。

第１歩行者候補領域抽出画像に含まれる全ての歩行者候補領域に対し上記ステップＳ５１〜５５の処理を実行していないと判断される場合（ステップＳ５６の判断処理で「Ｎｏ」）、画像処理部５１は、次のラベルが付された歩行者候補領域に対し上記ステップＳ５１〜５５の処理を実行する一方、第１歩行者候補領域抽出画像に含まれる全ての歩行者候補領域に対し上記ステップＳ５１〜５５の処理を実行したと判断される場合（ステップＳ５６の判断処理で「Ｙｅｓ」）、画像処理部５１は、続くステップＳ６０の処理に移行する（図２参照）。このようにして、画像処理部５１は、上記第１歩行者候補領域抽出画像を、道路標識が撮像された可能性の高い歩行者候補領域が除外された画像である第２歩行者候補領域抽出画像に変換される。

以上説明した道路標識除外処理Ｓ５０では、道路標識と類似する図形が歩行者候補領域の外形形状に検出される場合に、内接矩形内の輝度平均値が高く、且つ、内接矩形内の輝度分散値が低いか否かを判断することとした。これにより、上記第１歩行者候補領域抽出画像に含まれる歩行者候補領域から、歩行者が撮像された歩行者候補領域を除外してしまうことが低減されるため、歩行者を検出しない未検出の発生抑制を図ることができるようになる。なお、この道路標識除外処理Ｓ５０が特許請求の範囲に記載の道路標識除外手段に相当する。

こうした道路標識除外処理を実行すると、画像処理部５１は、続くステップＳ６０の処理として、上記第２歩行者候補領域抽出画像に含まれる歩行者候補領域から、電柱反射板が撮像された可能性の高い歩行者候補領域を除外する電柱反射板除外処理を実行する。

以下、図５及び図６を参照して、電柱反射板除外処理のうち特に近距離に位置する電柱を除外するに有効な電柱反射板除外処理について概要を説明する。図５（ａ）は、上記赤外線カメラ１０によって撮像される赤外線画像の一部であり、赤外線カメラ１０から近距離に位置する反射板を備える電柱が撮像されている。電柱に備えられる反射板には赤外線を反射しやすい表面処理が施されることが多いため、赤外線カメラ１０にて撮像して得られる赤外線画像では、反射板を備える電柱が撮像された歩行者候補領域の輝度平均値は高く、且つ、その輝度分散値は低くなる。すなわち、反射板を備える電柱が撮像された歩行者候補領域は明るく一様となる。そのため、上記従来技術では、既述したように、輝度平均値が高く、且つ、輝度分散値が低い歩行者候補領域は、歩行者が撮像された歩行者候補領域ではないと仮定していた。

しかしながら、課題の欄で既述したように、上記仮定が成立しない場合がある。例えば反射板に施されるストライプ状の模様まで捉えることができるほど赤外線カメラ１０と電柱との距離が近い場合、電柱が撮像された歩行者候補領域の輝度平均値が高く、且つ、その輝度分散値が高くなることがある。このような場合にあっては、上記第２歩行者候補領域抽出画像に含まれる歩行者候補領域から、反射板を備える電柱が撮像された歩行者候補領域を除外することができなくなってしまうことがあった。

そこで、本実施の形態では、画像処理部５１は、上記第２歩行者候補領域抽出画像に含まれる歩行者候補領域に対し、その歩行者候補領域に含まれるエッジ方向のうち特定の方向の割合が所定割合を上回るか否かを判断することとした。

詳しくは、画像処理部５１は、図５（ａ）に示す赤外線画像に含まれるエッジを抽出して、図５（ｂ）に示す２値画像を取得する。なお、この２値画像は、赤外線画像（図５（ａ）参照）に含まれるエッジが抽出された２値画像である。次に、画像処理部５１は、図５（ｂ）に示す２値画像に基づいて、各歩行者候補領域について図６に示すヒストグラムを作成する。このヒストグラムは、各歩行者候補領域に含まれるエッジ方向とその度数との関係を示すヒストグラムである。ここで、画像処理部５１は、このヒストグラムに基づいて、各歩行者候補領域に含まれるエッジ方向のうち、電柱反射板に形成されるストライプに沿ったエッジ方向（以下、特定エッジ方向とも記載。図５（ｂ）中の矢印Ａ参照）の割合が所定割合（例えば「１５％」）を上回るか否かを判断する。所定割合を上回ると判断される場合、歩行者候補領域が近距離に位置する電柱を撮像した歩行者候補領域である可能性が高いと判断することができる。一方、所定割合以下であると判断される場合、歩行者候補領域は近距離に位置する電柱を撮像した歩行者候補領域である可能性は低いと判断することができる。そして、画像処理部５１は、歩行者候補領域が近距離に位置する電柱を撮像した歩行者候補領域である可能性が高いと判断されると、その歩行者候補領域を第２歩行者候補領域抽出画像から除外する。なお、図５（ｂ）に示す２値画像例では、特定方向のエッジの割合が所定割合以上であるため、この歩行者候補領域が近距離に位置する電柱を撮像した歩行者候補領域である可能性が高いと判断され、上記第２歩行者候補領域抽出画像に含まれる歩行者候補領域から除外されることになる。

以下、図７（ａ）及び（ｂ）を参照して、電柱反射板除外処理のうち特に遠距離に位置する電柱を除外するに有効な電柱反射板除外処理について概要を説明する。図７（ａ）は、上記赤外線カメラ１０によって撮像される赤外線画像の一部であり、赤外線カメラ１０から遠距離に位置する反射板を備える電柱が撮像されている。この図７（ａ）及び先の図５（ａ）との対比から分かるように、反射板を備える電柱が赤外線カメラ１０から遠距離に位置する場合、反射板に施されるストライプ状の模様は潰れてしまうため、ストライプ状の模様をエッジとして抽出することは難しい。

そこで、本実施の形態では、画像処理部５１は、上記第２歩行者候補領域抽出画像に含まれる歩行者候補領域に対し、その歩行者候補領域の外接矩形の面積に対する歩行者候補領域の面積の割合であるラベリング密度が所定密度以上であるか否かを判断することとした。

詳しくは、画像処理部５１は、図７（ａ）に示す赤外線画像に対し、歩行者候補領域のラベリング密度を算出する。ここで、ラベリング密度とは、歩行者候補領域の外接矩形の面積Ｓａに対するその歩行者候補領域の面積Ｓｂの割合である（図７（ｂ）参照）。電柱が撮像された歩行者候補領域である場合、その外形形状が長方形に近いため、赤外線カメラ１０からの距離にかかわらず、歩行者候補領域の外接矩形の面積Ｓａはその歩行者候補領域の面積Ｓｂに近くなり、ラベリング密度は「１」に近い。一方、歩行者が撮像された歩行者候補領域である場合、その外形形状は長方形ではないため、赤外線カメラ１０からの距離にかかわらず、歩行者候補領域の外接矩形の面積Ｓａはその歩行者候補領域の面積Ｓｂよりも大きくなり、ラベリング密度は「１」よりも小さくなる。そのため、画像処理部５１は、各歩行者候補のラベリング密度が所定密度（例えば「０．７５」）を上回るか否かを判断する。所定密度を上回ると判断される場合、その歩行者候補領域は電柱が撮像された歩行者候補領域である可能性が高いと判断することが可能である一方、所定密度以下であると判断される場合、その歩行者候補領域は電柱が撮像された歩行者候補領域である可能性は低いと判断することが可能である。そして、電柱が撮像された歩行者候補領域である可能性が高いと判断されると、画像処理部５１は、その歩行者候補領域を第２歩行者候補領域抽出画像から除外する。なお、図７（ｂ）に示す２値画像例では、ラベリング密度が所定密度を上回ると判断されるため、この歩行者候補領域が遠距離に位置する電柱を撮像した歩行者候補領域である可能性が高いと判断され、上記第２歩行者候補領域抽出画像に含まれる歩行者候補領域から除外されることとなる。

次に、図８を参照して、電柱反射板除外処理の処理手順を具体的に説明する。なお、図８は、電柱反射板除外処理の処理手順を示すフローチャートである。

上記第２歩行者候補領域抽出画像には複数の歩行者候補領域が含まれており、道路標識が撮像された可能性が高い歩行者候補領域は、これら複数の歩行者候補領域から既に除外されている。

画像処理部５１は、電柱反射板除外処理Ｓ６０に移行すると、まず、ステップＳ６１の処理として、これら複数の歩行者候補領域のうち最小番号のラベルが付された歩行者候補領域に含まれるエッジを抽出する（図５（ｂ）参照）。この歩行者候補領域に含まれるエッジを抽出すると、画像処理部５１は、続くステップＳ６２の処理として、この歩行者候補領域に含まれるエッジ方向とその度数とのヒストグラムを作成し（図６参照）、続くステップＳ６３の判断処理として、この歩行者候補領域に含まれるエッジ方向のうち電柱反射板に形成されるストライプに沿ったエッジ方向（特定エッジ方向）の割合が所定割合を上回るか否かを判断する。

ここで、特定エッジ方向の割合が所定割合を上回ると判断される場合（ステップＳ６３の判断処理で「Ｙｅｓ」）、近距離に位置する電柱が撮像された歩行者候補領域である可能性が高いと判断することが可能である。そのため、画像処理部５１は、続くステップＳ６４の処理として、第２歩行者候補領域抽出画像からこの歩行者領域を除外する。そして、画像処理部５１は、続くステップＳ６５の判断処理に移行する。

一方、先のステップＳ６３の判断処理において、特定エッジ方向の割合が所定割合に満たないと判断される場合（ステップＳ６３の判断処理で「Ｎｏ」）、近距離に位置する電柱が撮像された歩行者候補領域である可能性は低いと判断することが可能である。そして、画像処理部５１は、続くステップＳ６６の処理として、歩行者候補領域の外接矩形の面積Ｓａに対するその歩行者候補領域の面積Ｓｂの割合であるラベリング密度を算出し、続くステップＳ６７の判断処理として、歩行者候補領域のラベリング密度が所定密度を上回るか否かを判断する。

ここで、上記ラベリング密度が所定密度を上回ると判断される場合（ステップＳ６７の判断処理で「Ｙｅｓ」）、その歩行者候補領域は遠距離に位置する電柱が撮像された歩行者候補領域である可能性が高いと判断することが可能である。そのため、画像処理部５１は、先のステップＳ６４の処理として、第２歩行者候補領域抽出画像からこの歩行者領域を除外し、続くステップＳ６５の判断処理に移行する。

一方、上記ラベリング密度が所定密度以下と判断される場合（ステップＳ６７の判断処理で「Ｎｏ」）、その歩行者候補領域は遠距離に位置する電柱が撮像された歩行者候補領域である可能性は低いと判断することが可能である。そのため、画像処理部５１は、第２歩行者候補領域抽出画像からこの歩行者領域を除外することなく、続くステップＳ６５の判断処理に移行する。

上記ステップＳ６４の処理を実行すると、あるいは、上記ステップＳ６７の判断処理で「Ｎｏ」と判断される場合、画像処理部５１は、続くステップＳ６５の判断処理として、第２歩行者候補領域抽出画像に含まれる全ての歩行者候補領域に対し上記ステップＳ６１〜６７の処理を実行したか否かを判断する。

第２歩行者候補領域抽出画像に含まれる全ての歩行者候補領域に対し上記ステップＳ６１〜６７の処理を実行していないと判断される場合（ステップＳ６５の判断処理で「Ｎｏ」）、画像処理部５１は、次のラベルが付された歩行者候補領域に対し上記ステップＳ６１〜６７の処理を実行する一方、第２歩行者候補領域抽出画像に含まれる全ての歩行者候補領域に対し上記ステップＳ６１〜６７の処理を実行したと判断される場合（ステップＳ６５の判断処理で「Ｙｅｓ」）、画像処理部５１は、続くステップＳ７０の処理に移行する（図２参照）。このようにして、上記第２歩行者候補抽出画像は、画像処理部５１によって、電柱が撮像された可能性の高い歩行者候補領域が除外された画像である第３歩行者候補領域抽出画像に変換される。

そして、ＣＰＵ４１は、第３歩行者候補領域抽出画像に基づいて、車両の周辺に存在する歩行者を検出する。なお、このＣＰＵ４１が特許請求の範囲に記載の歩行者検出手段に相当する。

以上説明した電柱反射板除外処理Ｓ６０では、画像処理部５１は、上記第２歩行者候補領域抽出画像に含まれる歩行者候補領域に対し、判断処理対象の歩行者候補領域に含まれるエッジ方向のうち特定の方向の割合が所定割合を上回るか否かを判断する。ここで、画像処理部５１は、所定割合を上回ると判断する場合、歩行者候補領域が近距離に位置する電柱を撮像した歩行者候補領域である可能性が高いと判断する一方、所定割合以下であると判断する場合、歩行者候補領域は近距離に位置する電柱を撮像した歩行者候補領域である可能性は低いと判断する。そして、画像処理部５１は、歩行者候補領域が近距離に位置する電柱を撮像した歩行者候補領域である可能性が高いと判断されると、その歩行者候補領域を第２歩行者候補領域抽出画像から除外することとした。これにより、上記第２歩行者候補領域抽出画像に含まれる歩行者候補領域から、反射板を備える電柱が撮像された歩行者候補領域を除外することができるようになるため、反射板を備える電柱を歩行者として検出する誤検出の発生抑制を図ることができるようになる。

また、以上説明した電柱反射板除外処理Ｓ６０では、画像処理部５１は、上記第２歩行者候補領域抽出画像に含まれる歩行者候補領域に対し、判断処理対象の歩行者候補領域のラベリング密度が所定密度以上であるか否かを判断する。ここで、画像処理部５１は、所定密度を上回ると判断する場合、歩行者候補領域は電柱が撮像された歩行者候補領域である可能性が高いと判断する一方、所定密度以下であると判断する場合、歩行者候補領域は電柱が撮像された歩行者候補領域である可能性は低いと判断する。そして、画像処理部５１は、電柱が撮像された歩行者候補領域である可能性が高いと判断すると、その歩行者候補領域を第２歩行者候補領域抽出画像から除外することとした。これにより、上記第２歩行者候補領域抽出画像に含まれる歩行者候補領域から、反射板を備える電柱が撮像された歩行者候補領域を除外することができるようになるため、反射板を備える電柱を歩行者として検出する誤検出の発生抑制を図ることができるようになる。なお、この道路標識除外処理Ｓ６０が特許請求の範囲に記載の電柱反射板除外手段に相当する。

１…車両周辺監視システム、１０…赤外線カメラ、２０…投光器、２１…スイッチリレー、３０…歩行者検出装置、４１…ＣＰＵ、４２…ＲＯＭ、４３…ＲＡＭ、５１…画像処理手段、５２…ＶＲＡＭ

Claims

車両の周辺を撮像する車載撮像装置によって撮像される赤外線画像から、所定輝度以上の輝度を有する高輝度領域を抽出した画像である高輝度領域抽出画像を生成する高輝度領域抽出画像生成手段と、
前記高輝度領域に外接する外接矩形の縦横比に基づいて、前記高輝度領域抽出画像から歩行者候補領域を抽出した画像である歩行者候補領域抽出画像を生成する歩行者候補領域抽出画像生成手段と、
前記歩行者候補領域に含まれるエッジ方向に基づいて電柱反射板が撮像された歩行者候補領域であると判定された歩行者候補領域を、前記歩行者候補領域抽出画像から除外する電柱反射板除外手段と、
前記電柱反射板除外手段によって前記電柱反射板が撮像された歩行者候補領域が除外された後の前記歩行者候補領域抽出画像に基づいて、車両の周辺に存在する歩行者を検出する歩行者検出手段とを備えることを特徴とする歩行者検出装置。
車両の周辺を撮像する車載撮像装置によって撮像される赤外線画像から、所定輝度以上の輝度を有する高輝度領域を抽出した画像である高輝度領域抽出画像を生成する高輝度領域抽出画像生成手段と、
前記高輝度領域に外接する外接矩形の縦横比に基づいて、前記高輝度領域抽出画像から歩行者候補領域を抽出した画像である歩行者候補領域抽出画像を生成する歩行者候補領域抽出画像生成手段と、
前記歩行者候補領域の外接矩形の面積に対する前記歩行者候補領域の面積の割合であるラベリング密度に基づいて、電柱反射板が撮像された歩行者候補領域であると判定された歩行者候補領域を、前記歩行者候補領域抽出画像から除外する電柱反射板除外手段と、
前記電柱反射板除外手段によって前記電柱反射板が撮像された歩行者候補領域が除外された後の前記歩行者候補領域抽出画像に基づいて、車両の周辺に存在する歩行者を検出する歩行者検出手段とを備えることを特徴とする歩行者検出装置。
車両の周辺を撮像する車載撮像装置によって撮像される赤外線画像から、所定輝度以上の輝度を有する高輝度領域を抽出した画像である高輝度領域抽出画像を生成する高輝度領域抽出画像生成手段と、
前記高輝度領域に外接する外接矩形の縦横比に基づいて、前記高輝度領域抽出画像から歩行者候補領域を抽出した画像である歩行者候補領域抽出画像を生成する歩行者候補領域抽出画像生成手段と、
前記歩行者候補領域に含まれるエッジ方向に基づいて電柱反射板が撮像された歩行者候補領域であると判定された歩行者候補領域を、前記歩行者候補領域抽出画像から除外し、且つ、
前記歩行者候補領域の外接矩形の面積に対する前記歩行者候補領域の面積の割合であるラベリング密度に基づいて、電柱反射板が撮像された歩行者候補領域であると判定された歩行者候補領域を、前記歩行者候補領域抽出画像から除外する電柱反射板除外手段と、
前記電柱反射板除外手段によって前記電柱反射板が撮像された歩行者候補領域が除外された後の前記歩行者候補領域抽出画像に基づいて、車両の周辺に存在する歩行者を検出する歩行者検出手段とを備えることを特徴とする歩行者検出装置。
請求項１または３に記載の歩行者検出装置において、
前記電柱反射板除外手段は、前記歩行者候補領域に含まれるエッジ方向のうち特定のエッジ方向の割合が所定割合以上であるか否かを判断し、所定割合以上であると判断することに基づいて、その歩行者候補領域が電柱反射板を撮像した歩行者候補領域であると判定することを特徴とする歩行者検出装置。
請求項４に記載の歩行者検出装置において、
前記特定のエッジ方向は、前記電柱反射板に形成されるストライプに沿った方向であることを特徴とする歩行者検出装置。
請求項２または３に記載の歩行者検出装置において、
前記電柱反射板除外手段は、前記ラベリング密度が所定密度以上であるか否かを判断し、所定密度以上であると判断することに基づいて、その歩行者候補領域が電柱反射板を撮像した歩行者候補領域であると判定することを特徴とする歩行者検出装置。
請求項６に記載の歩行者検出装置において、
前記所定密度は、車両の周辺に位置する歩行者のラベリング密度よりも高い密度に設定されていることを特徴とする歩行者検出装置。
請求項１〜７のいずれか一項に記載の歩行者検出装置において、
前記歩行者候補領域の外形形状、この外形に内接する内接矩形内の輝度平均値、及び、この外形に内接する内接矩形内の輝度分散値に基づいて、道路に設置される道路標識を撮像した歩行者候補領域であると判定された歩行者候補領域を、前記歩行者候補領域抽出画像から除外する道路標識除外手段をさらに備えることを特徴とする歩行者検出装置。