JP5790627B2 - 物標検出装置 - Google Patents

Description

本発明は、例えば歩行者等の物標を検出可能な物標検出装置に関する。

従来、画像センサを用いて自車両の周囲を撮像し、得られた画像に対し、所定の物標（例えば歩行者、車両等）のパターンを用いた画像認識処理を行い、物標を検出する技術が知られている。物標の検出結果は、その物標と自車両との衝突を回避するための処理（例えば自車両にブレーキをかける処理）に使用される（特許文献１参照）。

特許第４３１３７１２号公報

自車両の周囲に停止車両が存在し、その停止車両の向こう側から歩行者が飛び出すことがある。そのような歩行者との衝突を回避するためには、歩行者が停止車両の向こう側にいる時点で歩行者を検出することが必要である。

停止車両の向こう側に位置する歩行者の下半身は停止車両により隠され、上半身のみが画像センサの撮像画像に表れる。この場合、歩行者の全身のパターンを用いて画像認識を行っても、歩行者を検出できないことがある。

本発明は以上の点に鑑みなされたものであり、停止車両が存在する場合でも歩行者を検出できる可能性が高い物標検出装置を提供することを目的とする。

本発明の第１の局面に係る物標検出装置は、自車両の周囲を撮像する撮像手段と、撮像手段により取得した画像から、所定の物標のパターンを用いた画像認識により物標を検出する物標検出手段とを備える。

また、本発明の第１の局面に係る物標検出装置は、自車両の周囲に存在する停止車両を検出する停止車両検出手段を備え、物標検出手段は、停止車両検出手段により停止車両を検出した場合、停止車両を検出しない場合よりも、画像のうち、少なくとも自車両から見て停止車両と重なる領域において、物標のパターンに含まれる歩行者の上半身のパターンの数を増す。

本発明の第１の局面に係る物標検出手段は、画像のうち、自車両から見て停止車両と重なる領域において歩行者を優先的に検出するので、停止車両が存在する場合でも歩行者を検出できる可能性が高い。

本発明の第２の局面に係る物標検出装置は、自車両の周囲を撮像する撮像手段と、撮像手段により取得した画像から、所定の物標のパターンを用いた画像認識により物標を検出する物標検出手段とを備える。

物標検出手段は、画像認識を複数回数実行し、その複数回の画像認識のうち、所定回数以上、同一の物標が認識された場合、その物標を検出する。
また、第２の局面に係る物標検出装置は、自車両の周囲に存在する停止車両を検出する停止車両検出手段を備え、物標検出手段は、停止車両検出手段により停止車両を検出した場合、停止車両を検出しない場合よりも、画像のうち、少なくとも自車両から見て停止車両と重なる領域において、歩行者（１０９）を検出する際の前記所定回数の値を小さくする。

本発明の第２の局面に係る物標検出手段は、画像のうち、自車両から見て停止車両と重なる領域において歩行者を検出する基準を緩くするので、停止車両が存在する場合でも歩行者を検出できる可能性が高い。

物標検出装置１の構成を表すブロック図である。 物標検出装置１が実行する処理を表すフローチャートである。 物標検出装置１が実行する処理を表す説明図である。 物標検出装置１が奏する効果を表す説明図である。 物標検出装置１が実行する処理を表すフローチャートである。 物標検出装置１が実行する処理を表すフローチャートである。

本発明の実施形態を図面に基づき説明する。
＜第１の実施形態＞
１．物標検出装置１の構成
物標検出装置１の構成を図１に基づき説明する。物標検出装置１は、車両に搭載される車載装置であって、後述する処理により物標を検出し、その物標の情報（物標の種類、自車両から見た方位、自車両からの距離等）を出力する。なお、以下では、物標検出装置１が搭載される車両を自車両とする。

物標検出装置１は、ミリ波センサ３、画像センサ５、及びＥＣＵ７を備える。ミリ波センサ３は、ＦＭＣＷ方式のいわゆる「ミリ波レーダ」として構成されたものであり、周波数変調されたミリ波帯のレーダ波を送受信して、そのミリ波を反射した物標の存在、方位、及び距離を検出することができる。ミリ波センサ３がミリ波を送信する範囲は、自車両が走行する道路の前方又は側方における他の車両（停止車両を含む）、歩行者等の物標を含むことができる範囲である。

画像センサ５は周知の構成を有するカメラであり、自車両の周囲（前方及び側方）の風景を撮像し、その撮像画像（以下、単に画像とする）を取得することができる。
ＥＣＵ７は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭ等の周知の構成を有しており、後述する処理を実行する。前記ＲＯＭには、後述する処理を実行するプログラムが記憶されている。

ＥＣＵ７は、画像センサ５により取得した画像から、所定の物標のパターンを用いた画像認識により物標を検出することができる。すなわち、ＥＣＵ７は、車両、歩行者の全身、歩行者の上半身等、多数の物標に対応する画像認識用のパターンを予め保持しており、その中から選択された１００のパターンについて、それぞれ、画像センサ５により取得した画像と対比して画像認識を行う。１００のパターンのうち、歩行者の上半身のパターンの数Ｐは、通常の場合は１０であるが、後述するように、停止車両が検出される等、所定の条件下では３０となる。

画像認識の結果、画像中に所定の物標のパターンと一致度が高い部分がある場合、その部分に、対応する物標を認識する。画像認識は、１つのパターンにつき、それぞれ、複数回行う。複数回の画像認識のうち、Ｎ回以上、同一の物標が認識された場合、その物標を検出したと判断する。ここで、上記Ｎの値は、通常の場合は３であるが、後述するように、停止車両が検出される等、所定の条件下では１となる。

なお、画像センサ５は撮像手段の一実施形態である。画像センサ５及びＥＣＵ７は物標検出手段の一実施形態である。ミリ波センサ３、画像センサ５及びＥＣＵ７は停止車両検出手段、及び歩行者位置推定手段の一実施形態である
自車両は、物標検出装置１が出力する情報に応じて、自車両にブレーキをかける自動ブレーキ装置１０１を備えている。自動ブレーキ装置１０１は、物標検出装置１が検出した物標と自車両との距離に応じて、その物標との衝突を避けるための処理を実行する。

すなわち、検出された物標との距離が遠い場合は、自車両のドライバに音声や画像による警告を行い、物標との距離が中間距離となった場合は、自車両にブレーキをかける処理（但しドライバの操作により解除可能）を実行し、物標との距離が近くなった場合は、自車両に強制的にブレーキをかける処理（ドライバは解除不能）を実行する。

２．物標検出装置１が実行する処理
図２〜図４に基づき、物標検出装置１が所定時間ごとに繰り返し実行する処理を説明する。図２のステップ１では、ミリ波センサ３による物標検出、及び画像センサ５及びＥＣＵ７による上記の画像認識を実行し、その結果から、自車両の前方又は側方において停止車両の後端を検出できるか否かを判断する。

具体的には、図３に示すように、停止した状態にある（継続的に同じ位置に存在する）停止車両１０５の後端１０５ａを画像認識により検出し、且つ、ミリ波センサ３が、停止した状態にある（継続的に同じ位置に存在する）後端１０５ａに対応する反射波を得た場合は、停止車両１０５の後端１０５ａを検出できると判断し、それ以外の場合は後端１０５ａを検出できないと判断する。後端１０５ａを検出できる場合はステップ２に進み、後端１０５ａを検出できない場合はステップ１２に進む。

ステップ２では、ミリ波センサ３による物標検出を実行し、その結果から、停止車両の側面を検出できるか否かを判断する。具体的には、図３に示すように、自車両１０３の中心を通り、自車両の進行方向に向う仮想直線１０４からの距離ｒ₁、ｒ₂、ｒ₃、・・・が一定の面をミリ波センサ３により検出し、且つその面が前記ステップ１で検出した後端１０５ａと一定の位置関係（一台の車両の後端と側面に該当する位置関係）にある場合は、その面を、停止車両１０５の側面１０５ｂとして検出する。側面１０５ｂを検出できる場合はステップ３に進み、側面１０５ｂを検出できない場合はステップ１２に進む。

ステップ３では、前記ステップ１、ステップ２の検出結果に基づき、自車両の周囲に１台以上の停止車両１０５が存在することを認識する。
ステップ４では、上述した、画像センサ５及びＥＣＵ７による画像認識において使用するパターンを、停止車両が存在する条件下におけるパターンに変更する。

すなわち、画像センサ５で取得した画像を、自車両１０３から見て、停止車両１０５と重なる領域Ａ₁と、それ以外の領域Ａ₂とに区分し、領域Ａ₁の画像認識においては、１００のパターンの中に含まれる、歩行者の上半身のパターンの数Ｐを３０とする（歩行者を優先的に検出できるようにする）とともに、領域Ａ₂については、通常のとおり、１００のパターンの中に含まれる、歩行者の上半身のパターンの数Ｐを１０とする。

ステップ５では、上述した、画像センサ５及びＥＣＵ７による画像認識における上記Ｎの値を、停止車両が存在する条件下における値とする。具体的には、画像センサ５で取得した画像のうち、領域Ａ₁の画像認識においては、歩行者の上半身のパターンを用いる場合の上記Ｎの値を１とする（歩行者を検出する基準を緩くする）。

すなわち、領域Ａ₁においては、歩行者の上半身のパターンを用いた複数回の画像認識のうち、１回でも、歩行者の上半身が認識された場合、歩行者を検出したと判断する。一方、領域Ａ₂の画像認識においては、全てのパターン（歩行者の上半身のパターンを含む）について、上記Ｎの値は通常の通り３とする。また、領域Ａ₁において、歩行者以外のパターンを用いる場合も、上記Ｎの値は通常の通り３とする。

ステップ６では、上述した、画像センサ５及びＥＣＵ７による画像認識に基づく物標の検出を実行する。ここで、領域Ａ₁の画像認識において使用する歩行者の上半身のパターンの数Ｐ、及びＮの値は、前記ステップ４、及びステップ５で設定したものとする。

ステップ７では、前記ステップ６において、画像の領域Ａ₁内の歩行者を検出したか否かを判断する。画像の領域Ａ₁内の歩行者を検出した場合はステップ８に進み、そのような歩行者を検出しなかった場合はステップ１０に進む。

ステップ８では、自車両１０３から画像の領域Ａ₁内の歩行者までの距離を、ミリ波センサ３により取得できるか否か（すなわち、その歩行者からの反射波の強度が充分に高いか否か）を判断する。歩行者までの距離を取得できる場合はステップ９に進み、取得できない場合はステップ１１に進む。

ステップ９では、ミリ波センサ３を用いて、自車両１０３から画像の領域Ａ₁内の歩行者までの距離を測定する。
一方、前記ステップ８において、歩行者までの距離をミリ波センサ３により取得できないと判断した場合はステップ１１に進み、停止車両を利用してその歩行者までの距離を推定する。

すなわち、歩行者が画像の領域Ａ₁（停止車両１０５と同一の方位）内に存在し、その歩行者からの反射波の強度が弱いことから、歩行者は、図３において、自車両１０３から見て、停止車両１０５の向こう側の領域１０７に存在すると推定できるので、停止車両１０５の位置、及びその側面１０５ｂの長さから、領域１０７の位置（すなわち歩行者の位置）を推定し、自車両１０３からその領域１０７までの距離を、自車両１０３から歩行者までの距離として取得する。

ステップ１０では、前記ステップ６又は後述するステップ１２において検出した物標の情報（物標の種類、自車両１０３から見た方位、自車両１０３からの距離等）を自動ブレーキ装置１０１に出力する。

ここで、前記ステップ７において、領域Ａ₁内の歩行者を検出したと判断し、その歩行者までの距離を前記ステップ９又はステップ１１にて取得した場合は、その歩行者までの距離として、前記ステップ９又はステップ１１にて取得した値を出力する。

また、前記ステップ１又はステップ２において否定判断をした場合はステップ１２に進み、画像センサ５及びＥＣＵ７による画像認識に基づく物標の検出を実行する。ここで、画像認識において使用する歩行者の上半身のパターンの数Ｐは通常の通り、１０であり、Ｎの値も通常の通り、３である。また、検出した各物標までの距離を、ミリ波センサ３を用いて測定する。

３．物標検出装置１が奏する効果
（１）物標検出装置１は、画像センサ５により取得した画像のうち、停止車両１０５と重なる領域Ａ₁の画像認識においては、歩行者の上半身のパターンの数Ｐを増加させ、歩行者の上半身（すなわち歩行者）を優先的に検出する。

そのため、図４に示すように、自車両１０３から見て、停止車両１０５の向こう側に歩行者１０９が存在し、画像センサ５により取得した画像中に、歩行者１０９の上半身のみが表れている場合でも、歩行者１０９を検出することができる。
（２）物標検出装置１は、画像センサ５により取得した画像のうち、停止車両１０５と重なる領域Ａ₁の画像認識においては、Ｎの値を通常よりも小さい値として、歩行者を検出する基準を緩くする。

そのため、図４に示すように、自車両１０３から見て、停止車両１０５の向こう側に歩行者１０９が存在し、画像センサ５により取得した画像中に、歩行者１０９の上半身のみ表れている場合でも、歩行者１０９を検出することが容易になる。
（３）物標検出装置１は、自車両１０３から見て停止車両１０５の向こう側に歩行者１０９が存在し、ミリ波センサ３により歩行者１０９までの距離を測定することが困難な場合でも、停止車両１０５の位置及び長さに基づき、歩行者１０９の位置を推定することができる。
（４）物標検出装置１は、停止車両１０５の後端１０５ａと側面１０５ｂとを検出することにより、停止車両１０５を検出する。そのことにより、停止車両を正確に検出することができる。

４．変形例
（１）前記ステップ４において、領域Ａ₁での画像認識に用いる歩行者の上半身のパターンの数Ｐは３０には限定されず、通常時の数より大きい任意の数とすることができる。
（２）前記ステップ５において、領域Ａ₁の画像認識でのＮの値は１には限定されず、通常時の値より小さい任意の数とすることができる。
（３）前記ステップ１において、後端１０５ａを検出したと判断する条件は、「画像センサ５及びＥＣＵ７による画像認識によって、停止車両１０５の後端１０５ａを検出すること」と、「ミリ波センサ３が停止車両１０５ａの後端に対応する反射波を得ること」とのうちの一方であってもよい。
（４）領域Ａ₁は、停止車両１０５と重なる領域を含むとともに、その周辺も含む領域であってもよい。また、画像センサ５で取得した画像の全体を領域Ａ₁としてもよい。
＜第２の実施形態＞
本実施形態における物標検出装置１の構成、及び実行する処理は基本的には前記第１の実施形態と同様であるが、一部において相違する。以下では、相違点を中心に説明する。本実施形態の物標検出装置１は、図５のフローチャートに示す処理を実行する。この処理は、前記第１の実施形態における処理と対比して、前記ステップ５の処理が存在しないという点で相違し、ステップ１０１〜１１１の処理は、それぞれ、前記第１の実施形態におけるステップ１〜４、６〜１２に対応する。

すなわち、本実施形態では、画像センサ５により取得した画像のうち、停止車両１０５と重なる領域Ａ₁の画像認識においても、Ｎの値を通常の値（３）のままとする。
本実施形態の物標検出装置１は、Ｎの値の変更に起因する効果を除き、前記第１の実施形態の場合と略同様の効果を奏することができる。
＜第３の実施形態＞
本実施形態における物標検出装置１の構成、及び実行する処理は基本的には前記第１の実施形態と同様であるが、一部において相違する。以下では、相違点を中心に説明する。本実施形態の物標検出装置１は、図６のフローチャートに示す処理を実行する。この処理は、前記第１の実施形態における処理と対比して、前記ステップ４の処理が存在しないという点で相違し、ステップ２０１〜２１１の処理は、それぞれ、前記第１の実施形態におけるステップ１〜３、５〜１２に対応する。

すなわち、本実施形態では、画像センサ５により取得した画像のうち、停止車両１０５と重なる領域Ａ₁の画像認識においても、Ｐの値を通常の値（１０）のままとする。
本実施形態の物標検出装置１は、Ｐの値の変更に起因する効果を除き、前記第１の実施形態の場合と略同様の効果を奏することができる。

尚、本発明は前記実施の形態になんら限定されるものではなく、本発明を逸脱しない範囲において種々の態様で実施しうることはいうまでもない。
例えば、ミリ波センサ３の代わりに、他の波長のレーダ波を送受信して物標を検出する物標検出手段を用いてもよい。

また、停止車両の存在を検出する方法は、他の方法（例えばインフラ情報により停止車両を検出する方法等）であってもよい。

１・・・物標検出装置、３・・・ミリ波センサ、５・・・画像センサ、
７・・・ＥＣＵ、１０１・・・自動ブレーキ装置、１０３・・・自車両、
１０４・・・仮想直線、１０５・・・停止車両、１０５ａ・・・後端、
１０５ｂ・・・側面、１０７・・・領域、１０９・・・歩行者

Claims (5)

1. 自車両（１０３）の周囲を撮像する撮像手段（５）と、
   前記撮像手段により取得した画像から、所定の物標のパターンを用いた画像認識により前記物標を検出する物標検出手段（５、７）と、
   自車両の周囲に存在する停止車両（１０５）を検出する停止車両検出手段（３、５、７）と、
   を備え、
   前記物標検出手段は、前記停止車両検出手段により前記停止車両を検出した場合、前記停止車両を検出しない場合よりも、前記画像のうち、少なくとも自車両から見て前記停止車両と重なる領域において、前記物標のパターンに含まれる歩行者の上半身のパターンの数を増すことを特徴とする物標検出装置（１）。
2. 自車両（１０３）の周囲を撮像する撮像手段（５）と、
   前記撮像手段により取得した画像から、所定の物標のパターンを用いた画像認識により前記物標を検出する物標検出手段（５、７）と、
   自車両の周囲に存在する停止車両（１０５）を検出する停止車両検出手段（３、５、７）と、
   を備え、
   前記物標検出手段は、前記画像認識を複数回数実行し、その複数回の画像認識のうち、所定回数以上、同一の物標が認識された場合、その物標を検出するものであって、
   前記停止車両検出手段により前記停止車両を検出した場合、前記停止車両を検出しない場合よりも、前記画像のうち、少なくとも自車両から見て前記停止車両と重なる領域において、歩行者（１０９）を検出する際の前記所定回数の値を小さくすることを特徴とする物標検出装置（１）。
3. 前記停止車両検出手段は、前記物標検出手段、及び／又は、レーダ波を送受信して前記レーダ波を反射した物標を検出する手段（３）を用いて前記停止車両を検出することを特徴とする請求項１又は２に記載の物標検出装置。
4. 前記停止車両検出手段は、前記停止車両の後端（１０５ａ）と、前記後端から一定の位置関係にある前記停止車両の側面（１０５ｂ）とを検出することにより、前記停止車両を検出することを特徴とする請求項１〜３のいずれか１項に記載の物標検出装置。
5. 前記物標検出手段により検出した歩行者が、自車両から見て、前記停止車両検出手段により検出した停止車両と同一の方位にある場合、前記停止車両の位置及び長さに基づき、前記歩行者の位置を推定する歩行者位置推定手段（３、５、７）を備えることを特徴とする請求項１〜４のいずれか１項に記載の物標検出装置。

Images