JP3666332B2

JP3666332B2 - 歩行者検知装置

Info

Publication number: JP3666332B2
Application number: JP2000001583A
Authority: JP
Inventors: 倫子下村
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2000-01-07
Filing date: 2000-01-07
Publication date: 2005-06-29
Anticipated expiration: 2020-01-07
Also published as: JP2001195698A

Description

【０００１】
【発明の属する技術分野】
この発明は、路上の歩行者を検知する装置に関し、特に、地上側に設置した撮像装置の検知状態を利用することで、車載センサによる前方の歩行者検知を確実かつ高速に行う技術に関する。なお、本発明における歩行者とは、人間に限らず、路上に存在する動物（犬猫等）も含む概念である。
【０００２】
【従来の技術】
従来における車載の歩行者検知装置としては、例えば、特開平８−１６１６９８号に記載されたものがある。この装置は、車の右左折に応じて、右折時には検知用の車載カメラを右方向に、左折時には車載カメラを左方向に振る機構をつけることで、死角になりやすい交差点の右折時の右側、左折時の左側に存在する歩行者などの前方の障害物を検知するものである。
【０００３】
【発明が解決しようとする課題】
上記のような従来の歩行者検知装置では、車載カメラで撮像した画像内での検知物体が歩行者であるか静止物体であるかの判断が必要となる。車載カメラで物体の動きを観測するためには、物体を検知した時点から数回連続してその物体の動きを観測する必要があるため、検知のレスポンスが遅くなるという問題が生じる。また、前述の従来例においては、車載カメラの検知方向を駆動する制御機構を付けることでレスポンスの向上を図っているため、駆動部の故障の懸念やカメラの揺れによる画像処理認識の低下も問題となる。
【０００４】
本発明は上記のごとき従来技術の問題を解決するために成されたものであり、歩行者検知を確実かつ高速に行うことのできる歩行者検知装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
請求項１に記載の発明においては、地上側の撮像手段（例えば監視カメラ）で路上の歩行者を検知し、そのデータを車両側に伝送し、車両側では車両前方の物体の有無・位置を計測する車載センサと地上側の撮像手段の位置関係を求め、車載センサの検知角内に歩行者が現われる前から、地上側の撮像手段で検知した歩行者が車載センサで計測される位置や測定距離を予測し、その歩行者が車載センサで計測された瞬間に、その計測値が予測した値であるか否かを判断する。これにより、歩行者の動きを観測するための処理を不要とし、車載センサによる歩行者検知のレスポンスを向上させることが出来る。また、この構成では、検知対象を地上側の撮像手段で検知した歩行者だけに絞ることで、他の物体との誤検知を避け、歩行者検知の確実性を上げることが出来る。
【０００６】
また、請求項２に記載の発明においては、地上側では、既知の路上の静止物標からの相対位置として路上の歩行者の位置と移動方向を検出するように構成し、車両側では、その静止物標を検知し、地上側で検知した歩行者の位置を静止物標との相対位置を用いて検知する構成とした。これにより、車両側では、路上に設置されている静止物標との位置関係として歩行者の動きを受け取ることができるため、地上側の撮像手段と車載カメラとの位置関係を伝える必要がなくなり、その位置関係による位置の誤差もなくなる。したがって検知対象とする歩行者の位置精度が向上する。また、車両側では、検知角内の静止物標との相対位置として歩行者の検知が可能となるため、レスポンスの向上に加え、検知の確実性も上がり、検知の処理も単純になる。
【０００７】
また、請求項３に記載の発明においては、請求項２の車載センサをステレオカメラとし、静止物標を横断歩道としたものであり、地上側の撮像手段では、歩行者の位置と移動方向を横断歩道からの相対位置として求め、車載のステレオカメラでは、ステレオカメラの画像を用いて路面の横断歩道を検出し、その後、地上側の撮像手段で検知した歩行者をステレオカメラ画像処理により、横断歩道からの相対位置を用いて検出するものとした。この方法によれば、ステレオ画像処理で求められる距離画像からの立体物検知において、あらかじめ距離や画像上において現われる位置の分かっている歩行者を検知対象とするため、請求項１、２と同様に、画角の端で、その距離の物体が現れることを観測するだけで歩行者の検知を判断することが可能となる。さらに、横断歩道という画像処理で検出しやすい対象物を利用して、そこからの相対位置として検出対象物を探す構成としたため、検出が確実になる。
さらに、歩行者の存在する確率が高い横断歩道上の歩行者検知が可能となる。また、この構成では、相対位置を求める際に利用する静止物標を、予め路面に存在する横断歩道としているため、新たに検知用の物標を備えることなく検知が可能となる。
【０００８】
また、請求項４に記載の発明においては、車両側で認識した歩行者の位置と移動方向が、地上側で認識した歩行者の位置と移動方向に継続して一致する、すなわち、地上側の歩行者の行動の続きを行っているか否かを確認することで、対象物体が自車の進行方向に向かってくる歩行者であるか否かを判断するものとした。これにより、レスポンス早く歩行者を検知し、さらに、その歩行者が自車に向かって路上に進入するか否かを確実に検知することが可能となる。
【０００９】
【発明の効果】
請求項１においては、車載センサの検知範囲に入った時点で歩行者を認識することが可能となるので、検知のレスポンスが向上し、特に、歩行者などの飛び出し検知のレスポンスが向上する、という効果が得られる。
【００１０】
請求項２においては、地上側撮像装置と車載カメラの位置関係の計測を不必要とし、歩行者の検知位置を高精度に伝えることが可能となる。また、車載センサ上での歩行者検知処理を、車載センサで検知した物標との相対位置関係で検知可能としたことにより、検知範囲の限定ができるので検知が容易かつ確実になる、という効果が得られる。
【００１１】
また、請求項３においては、物標として横断歩道を利用することにより、地上側撮像装置と車載カメラで検知した歩行者の照合がより簡単かつ確実となり、さらに、横断歩道の相対位置から歩行者の検知位置を限定できるので、処理速度の向上および他の物体との誤検知の低減も可能になる、という効果が得られる。
【００１２】
また、請求項４においては、歩行者検知が確実になり、かつ、その歩行者が地上側撮像装置の視野から外れたあとも、さらに自車の妨げになる位置に来るか否かの判断も可能となる、という効果が得られる。
【００１３】
【発明の実施の形態】
図１は、本発明の全体の概略構成を示すブロック図である。図１において、地上側に設置される部分は、地上側監視カメラ１、地上側演算装置２および地上側通信装置３であり、車両に搭載される部分は、車載センサ４、車載通信装置５および車載演算装置６である。地上側監視カメラ１は例えばＣＣＤ素子等を用いた電子式のカメラであり、例えば横断歩道付近を視野に納めるような位置に設置されている。地上側演算装置２は例えばＣＰＵ等から成るコンピュータで構成され、地上側監視カメラ１で撮像した画像を処理して、横断歩道等の物標の位置および歩行者の位置と移動方向のデータを検出する。地上側通信装置３は専用の通信装置でもよいし、またはＶＩＣＳ（Vehicle Information and Communication System：道路交通情報通信システム）を利用することもできる。車載センサ４はレーザレーダや電子式カメラ等であり、車両の前方を監視するように設置されている。車載通信装置５は前記の地上側通信装置３と同様の装置であり、両者間で交信を行って必要なデータを送受信する。なお、車両が交差点エリアに進入すると自動的に交信を開始するような機能を有する。車載演算装置６は車載センサ４からの情報と車載通信装置５で受信した地上側からのデータに基づいて歩行者認識の演算を行い、かつ、歩行者検出信号を出力する。この歩行者検出信号は運転者への警報発生に利用したり、自動的に制動装置を作動させる等の制御に利用することが出来る。
【００１４】
以下、歩行車検知の原理について説明する。
まず、本発明の第１の構成（請求項１に相当）について説明する。図２および図３は交差点における歩行者の検知状況を示す図であり、図２は交差点付近の上面図、図３は横断歩道を横断中の歩行者を車両から見た図（車載センサの画像）である。図２において、７は自車両、８は車載センサ、９は交差点付近に設置された地上側の監視カメラ、１０は横断歩道、１１は電柱である。なお、車載センサ８の検知角は二重線で、地上側の監視カメラ９の検知角は破線で示している。また、丸印は歩行者の動きを示すものであり、１〜６の番号は歩行者の位置に対応する。
【００１５】
地上側では、監視カメラ９の画像に対して歩行者がいない状況での画像との差分処理などによる背景除去（後記図９で説明）を行うことにより、歩行者の有無の判別、および検知した歩行者の動きを常に監視する。すなわち、背景差分の連続処理やオプティカルフローなどにより、破線で示した検知角内を動く歩行者の位置およびその移動方向を示すベクトルＡ（太い矢印で示す）を求める。監視カメラ９の検知範囲には横断歩道の周囲も含まれているので、歩行者が横断歩道に入る前から、丸印の１、２、３、４、５、６の順に移動する様子を検知することが出来る。
【００１６】
一方、車載センサ８では、歩行者が丸印の４の位置に来て始めて検知角内に歩行者が観測されるため、車両側では４、５、６の位置の歩行者しか検知できない。車載センサ８で検知される物体の動きを監視する場合、４の位置をベクトルの始点とし、そのあと、数回時間的に連続して前方を検知し、４、５、６の順に動く物体の動きを観測することで、はじめて歩行者の移動を示すベクトルＢを求めることができる。つまり、４の位置では歩行者であることの確認はできず、歩行者と判断されるのは、歩行者が６の位置付近に来たときとなる。しかし、これではレスポンスが遅いため、車両用の歩行者検知装置の機能として不十分である。そのため本発明では、車載カメラ８の検知角内に歩行者が入る前から、実座標系における歩行者の移動のベクトルＡを地上側の監視カメラ９で求めておき、車載センサ８の検知角の端（図２の４の位置）に、ベクトルＡ上に存在する物体が検知されるか否かを判断することにより、車載センサ検知角内の歩行者の有無を判断する。つまり、車載センサ８の検知角の端において、車載センサ８の検知角に入る前の歩行者のベクトルＡに乗る位置に物体が検知されるか否かを判断するだけで、検知角端で検知された物体が静止物（図２の電柱１１）であるか歩行者（図２の歩行者）であるかを判別するものである。これにより車両側における検知応答性を大幅に向上させることが出来る。
【００１７】
次に、本発明の第２の構成（請求項２に相当）について説明する。図４および図５は、監視カメラ９と路上に物標１２（例えばバス停留場の表示装置）が設置されている道路を、車載センサ８を搭載した車両７が走行する様子を示した図であり、図４は上面図、図５（ａ）は監視カメラ９の画像、図５（ｂ）は車載センサ８から見た画像である。監視カメラ９は路上に設置されているため、監視カメラ９と物標１２との位置関係は既知である。監視カメラ９に撮像される歩行者１３は、前述の方法で検知可能であるため、監視カメラ９で検知された画像上の位置と、監視カメラ９と物標１２との位置関係から、検知された歩行者１３と物標１２との位置関係も求められる。また、車載センサ８として、スキャニングレーザレーダのように横方向を走査することで検知角内の距離を計測するセンサを用いた場合には、車載センサの検知結果は図４の表に一例を示すようになる。物標１２を反射物とすれば、レーザレーダでその物標１２までの距離を計測できる。
【００１８】
一方、監視カメラ９では、計測中の歩行者１３は物標１２よりも左側、すなわち、車両側から見て物標１２よりも２ｍ手前の位置に検知されている。したがって、車両側では、車載センサ８において物標１２よりも２ｍ手前の位置の物体を検知対象とするように設定すれば、監視カメラ９で計測中の歩行者１３の検知が可能となる。
【００１９】
なお、車載センサ８がカメラの場合には、物標１２として反射部を含む円形の物体などに定義することで、車載センサ８のカメラの画像を処理して円検出を行うことにより、物標１２を検知することが出来る。また、車載センサ８がレーザレーダの場合は、反射体を検知するなどのように、車載センサ８で検知が可能な処理に合せることにより、複数種類のセンサでも対応可能となる。
【００２０】
次に、本発明の第３の構成（請求項３に相当）について説明する。図６は車載センサをステレオカメラとした場合の状況を示す図であり、図６（ａ）は交差点付近の上面図、図６（ｂ）はステレオ画像間の視差計算により、画像内に撮像される各物体までの距離を求めた結果を画像中に示した図である。なお、図６（ａ）では前記図２の状況において歩行者が４の位置に達したときの様子を示している。なお、図６において、１６は歩行者、１７は電柱、１８は樹木、１９は横断歩道である。
【００２１】
ここで、ステレオカメラで撮像したステレオ画像内の物体までの距離ｚの計測について説明する。距離ｚは、ステレオ画像間において、同じ物体が撮像される位置の二つの画像上の位置の差（ｘａとｘｂ）をテンプレートマッチングなどで求め、その位置の差（視差）とカメラの焦点距離ｆより、三角測量の原理で下記（数１）式により求めることができる。
【００２２】
ｚ＝ｆ・Ｄ／（ｘａ−ｘｂ） …（数１）
ただし、ｆ：レンズの焦点距離Ｄ：両レンズ間の距離（眼間距離）
ｘａ−ｘｂ＝Ｓ：視差
ｆ、ｘａ、ｘｂ、Ｓの単位は画素、Ｄ、ｚの単位はｍ、
図７は、上記のステレオ画像における距離の関係を示す図である。図７において、２０は検知物体、２１は右レンズ、２２は左レンズ、２３は右画像、２４は左画像である。図６（ｂ）は、このようにしてステレオ画像内に撮像される各物体までの距離を求めた画像（画像の各画素または領域毎）であり、これを距離画像と呼ぶ。
なお、ステレオ画像を用いた距離の測定については、本出願人が以前に出願した特願平１０−１５４６２５号に詳細に記載されている。
【００２３】
この第３の構成では、画像上での歩行者検知の際、画像処理上検知しやすい横断歩道の横エッジを利用し、歩行者が現れる画像上の位置およびカメラからの距離を、横断歩道のエッジからの相対位置として求める。
【００２４】
図８は、画像上で検知した横断歩道の横エッジの位置（ｙ３やｙ５）を用いた、カメラから横断歩道までの距離の求め方を説明する図である。
画像の中心を原点とし、光軸が路面と平行なカメラで撮像した画像上において、検出した横断歩道の手前のラインが撮像される位置をｙ３とすると、カメラから横断歩道の手前のラインまでの距離ｚは下記（数２）式により求められる。
【００２５】
ｚ＝ｆ・ｈ／ｙ３＝３（ｍ） …（数２）
ただし、ｆ：焦点距離、ｈ：路面からカメラのレンズ中心までの高さ
画像上からの横断歩道のエッジの検出は、Ｈｏｕｇｈ変換などの一般的な直線検出方法を用いれば十分である。このような方法でカメラ上に撮像される横断歩道の手前と奥の横エッジを求め、（数２）式により、カメラからそのエッジ（図８のｙ３とｙ５）までの距離を計算する。
【００２６】
図６における横断歩道１９と監視カメラ９の位置関係は既知であるので、歩行者１６と横断歩道１９との実座標系における位置関係は監視カメラ９で求められる。図９は、監視カメラ９で撮像した様子を示す図である。図９（ａ）に示すように、歩行者は横断歩道の左側の線（車両から見て手前の線）と右側の線（車両から見て奥の線）をａ：ｂに分割する位置を渡ろうとしている。車載のステレオカメラでは、横断歩道の手前のエッジがステレオカメラから３ｍ、奥のエッジがステレオカメラから５ｍの位置にあると計測されているので、仮に、ａ：ｂを１：３とすると、歩行者はステレオカメラから３.５ｍの位置に計測されることがわかる。このように地上側の監視カメラ９からの情報に基づいて、車載センサ（ステレオカメラ）における歩行者の画像上における検知位置や検知距離を、横断歩道からの相対位置として求める。これは、予め路面に存在し、かつ、カメラで検知しやすい横断歩道を物標として利用するときの応用方法でもある。このように横断歩道からの相対位置で車載センサの検出範囲を限定することにより、処理速度をさらに向上させることが可能となる。
【００２７】
次に、本発明の第４の構成（請求項４に相当）について説明する。第４の構成では、請求項１〜３で求めた歩行者の移動を、車載のステレオ画像処理で求められる距離と画像内での移動からも求め、地上側の監視カメラで検知した移動の続きの移動をすることを確認することにより、さらに確実に歩行者の検知を行い、また、その移動の続きを車載演算装置における画像処理上で検出することにより、検出された歩行者が横断歩道に入った後に、自車にさらに近づくか否かの判断も可能とする。
【００２８】
以下、これまで説明した原理に基づいた実施の形態について説明する。
まず、横断歩道を撮像する形で設置された監視カメラを用いて、前方の横断歩道を渡ろうとする歩行者の検知を行う例を説明する。
地上側の監視カメラでは、前記図９のような画像を撮像し、横断歩道手前の歩行者の有無を監視する。図９（ａ）は歩行者が存在する場合、図９（ｂ）は歩行者が存在しない場合の画像を示す。図９（ｂ）は路上に存在する横断歩道の線のみの画像なので、予めこの画像を撮像して記憶しておき、図９（ａ）のような観測時の画像との差分を求めれば、歩行者の有無を判断することが出来る。
【００２９】
地上側では、上記のようにして監視カメラで歩行者の存在を見つけた場合には、歩行者の移動のベクトルを算出する。歩行者の移動のベクトルは、差分処理によって発見した歩行者の位置の画像に対するオプティカルフロー算出などの一般的な手法で求められる。
【００３０】
監視カメラでの歩行者の移動のベクトルは、前記図２のベクトルＡのような実座標系のベクトルに変換する。このベクトルの変換は、カメラの設置位置やカメラ焦点距離などに基づいて幾何学的に計算する。例えば、図１０は画像座標から実空間座標に変換する方法を説明するための図であり、（ａ）は垂直方向、（ｂ）は水平方向を示す。
図１０においては、使用するカメラの特性として、画素数はｘ方向がＩＸ、ｙ方向がＩＹとする。画面サイズはｘ方向がＣＣＤＨ（ｍ）、ｙ方向がＣＣＤＷ（ｍ）とする。
まず、（ａ）に示す垂直方向における中心からｄｙ画素の実空間での位置は次のようになる。
光軸と成す角ｄθ＝ａｔａｎ｛（ＣＣＤＨ／ＩＹ)(ｄｙ／ｆ）｝
画素位置ｄｙに相当する前方距離ｌ＝Ｈ／ｔａｎ（θ−ｄθ）
次に、（ｂ）に示す水平方向における中心からｄｘ，ｄｙ画素の実空間での位置は次のようになる。
角ｄφ＝ａｔａｎ｛（ＣＣＤＷ／ＩＸ)(ｄｘ／Ｆ）｝
Ｆ＝√｛［（ＣＣＤＨ／ＩＹ)(ｄｙ）］^２＋ｆ^２｝
画素位置ｄｘに相当する前方幅ｈ＝√（Ｈ^２＋ｌ^２）×ｔａｎ（ｄφ）
上記のようにして移動する歩行者の各時点の位置を変換すれば、実座標系に変換されたベクトルＡを求めることが出来る。
【００３１】
次に、車両側の処理について説明する。ここでは車載センサとしてスキャニングレーザレーダのように、或る角度内に存在する物体までの距離を或る検知角度毎に検出するセンサを搭載した場合を考える。
図１１は、スキャニングレーザレーダによる物体検知例を示す上面図である。図１１から判るように、検知角度内には、３.５ｍ先の歩行者１６と８ｍ先の電柱１７があり、その物体がある方向では、それらの物体までの距離が測定される。図１１の表は角度ごとの測定距離を示したものであり、右端の角度では歩行者までの距離である３.５ｍ、右から３番目の角度では電柱までの距離である８ｍが表示されている。その他の部分には物体がないため測定対象物がないことを示すフラグ（∞）が入っている。
【００３２】
通常、車載のスキャニングレーザレーダだけで、検知した物体が自車に向かう歩行者であることを判断する場合には、検知した物体が時間的に連続して観測され、かつ、その物体が自車に向かって移動する様子を観測する必要がある。例えば、車載センサだけで３.５ｍの距離に観測されたものが歩行者であると判断するためには、検知した物体がスキャニングレーザレーダの検知角の中央に移動して、はじめて歩行者が横断中であると判断されることになる。しかし、これでは、歩行者検知としての応答性が遅く、衝突警報や自動ブレーキなどに使うためのセンサとしては利用できない。
【００３３】
これに対して、本発明では、地上側の監視カメラで実座標系における歩行者の動きを予め求めておき、監視カメラの設置された交差点に車載センサを搭載した車両が進入した際に、監視カメラの位置と、その監視カメラでの歩行者の動作の計測結果を車載センサに伝え、車載センサの検知角に歩行者が入る前から検出した歩行者の動きをもとに、検知角の端で、監視カメラで計測中のベクトル上にのる位置に物体を計測し、それによって監視カメラで観測中の歩行者の有無を判断する。これにより、車載センサでは動きを見る必要がなく、歩行者の存在の判断だけで車載センサによる歩行者認識が可能となる。また、歩行者の後にある電柱などは監視カメラで計測された歩行者のベクトルとは異なる位置にあることから、仮に検知角の端に歩行者以外の静止物体を検知した場合でも、それらの区別は可能である。
【００３４】
次に、路上に設置された物標との位置関係を用いて歩行者を検知する例について、前記図４および図５を用いて説明する。
監視カメラ９と物標１２との位置関係は、双方とも位置が固定であるため既知である。監視カメラ９の画像からの歩行者検知は、前記と同様に背景差分を求めればよい。歩行者の位置は、画像上に歩行者が検知された位置から幾何学計算により求められる。また、歩行者１３と物標１２との相対位置も、予め既知である監視カメラ９と物標１２との位置関係から求められる。例えば、図４のように、監視カメラ９を、そのカメラの光軸が車道と直角で路面と平行になるように設置し、物標１２から監視カメラ９の光軸までの距離が２ｍの場合を考える。
【００３５】
図５（ａ）は監視カメラ９で撮像した画像の様子を示す図、図５（ｂ）は車載カメラで撮像した画像の様子を示す図である。歩行者１３は、図５（ａ）の画像のほぼ中央に検知されている。このことから、図４の下側を手前（車両から見た手前）とすると、監視カメラ９で検知された歩行者１３の位置は物標１２から２ｍ手前と求められる。また、監視カメラ９から歩行者１３までの距離は、歩行者１３が撮像されるＹ座標の位置に反比例する。この関係は、（数２）式と同様の考え方で求められる。例えば、画像上における歩行者１３の足元の座標をｙ１、カメラの焦点距離をｆ、路面からカメラまでの高さをＨとすると、監視カメラ９から歩行者１３までの距離ｚは、
ｚ＝ｆ・Ｈ／ｙ１
となる。歩行者１３が監視カメラ９から遠ざかる場合は、図５（ａ）で画像上方に歩行者１３が移動し、歩行者１３が監視カメラ９に近づく場合は、画像の下方に向けて移動する。つまり、図４における歩行者１３の左右の位置は、図５（ａ）で画像上の歩行者１３の移動および歩行者１３が撮像されるＹ座標から求めることができる。たとえば、図５において、検知された歩行者１３の足元は歩道と車道の境界ラインの位置であり、物標１２も車両と歩道の境界ラインの上に設置されている。このことから、物標１２に対する歩行者１３の位置は、物標１２から手前２ｍの位置の歩道と車道の境界ラインの位置にいると計測される。
【００３６】
また、歩行者の移動方向は、図５（ａ）の画像上において、Ｘ軸方向に右側に移動した場合は物標１２に近づく方向に、左側に移動した場合は物標１２から遠ざかる方向に、Ｙ軸方向に上に移動した場合は車道を渡る方向に、下側に移動した場合は歩道を監視カメラ９に近づく方向に移動すると求めることができる。このように、監視カメラ９では、画像内で検知される歩行者１３の位置と移動方向から路上の歩行者の位置と移動方向を物標１２からの相対位置として求める。
【００３７】
一方、車両側では、地上側からのデータとして、物標１２からの相対位置として歩行者１３の位置と移動方向を受信する。また、上記のデータを受信すると共に車載センサで物標の検知も行う。図４の表は、車載センサとしてスキャニングレーザレーダを利用した場合の計測結果であり、図５（ｂ）は、画像として前方を撮像した様子を示している。スキャニングレーザレーダでは、物標１２は６ｍ先に検知されている。地上側の監視カメラ９からの情報により、歩行者１３は物標１２より２ｍ手前にいると分かっているので、歩行者１３は車載センサからは４ｍ先と計測されると判る。つまり、４ｍ先に物体が検知された場合は、歩行者１３であると判断できる。この方法では、図４のように、電柱１４など、歩行者以外の物体の距離を計測している場合でも、物標１２からの相対位置により、他の物体と区別して歩行者を検出することができる。
【００３８】
また、基準とする物標自体の判断は、反射強度を他との区別が可能な強さになる物体を選定するか、もしくは、物標側から、車載センサに検知可能な信号を送るなど、他物体との区別がつく方法をとればよい。また、車載センサがカメラの場合は、物標の形状から検知が可能である。図４、図５の場合では、歩行者１３の位置は、監視カメラ９の検出結果により、車道と歩道の境界線上で物標１２より２ｍ手前とわかっているので、白線検出などによって車道と歩道の境界線を検知し、白線に沿って、物標よりも下側に位置する物体として検知することができる。さらに精度を高める場合は、車載センサをステレオカメラとすれば、形状による物標の検知による物標までの距離の測定、車道と歩道の境界線の位置検出および歩行者までの距離の測定が可能であるため、地上側の監視カメラの情報に基づいて、境界線上に乗り、かつ物標から２ｍ手前の物体を検知することで歩行者をより確実に検知することも可能となる。さらに、この検知は、監視カメラで予め動きを見ているため、車載カメラ側では動きを見る必要はない。そのため、確実かつレスポンスの早い検知が可能となる。
【００３９】
次に、車載センサをステレオカメラとした場合の例を説明する。通常、路上や車載カメラを用いた画像処理では、横断歩道やレーンマーカなどの路上の白線は、検知計測が比較的安定して検出される。このことから、地上側の監視カメラと車載ステレオカメラにおける歩行者検知を横断歩道の横線（図９の「手前の線」と「奥の線」）からの相対位置として観測することで、より確実な歩行者の位置検知を行うことが出来る。地上側の監視カメラにおける歩行者の検知の有無は前述の図９の方法でよい。ただし、この歩行者の位置は、横断歩道からの位置関係として求める。例えば、図９（ａ）であれば、「横断歩道の手前の線と奥の線をａ：ｂに内分する点を始点とし、横断歩道の両脇の２本の線に平行なベクトル」のように横断歩道の相対位置として歩行者の移動のベクトルを求める。
【００４０】
車載ステレオカメラでは、まず、路面の横断歩道の２本の横エッジを検出する。車載ステレオカメラから横断歩道までの距離は、図７の原理により算出できる。ここで、車載ステレオカメラ画像上における横断歩道の横エッジ検出は、Ｈｏｕｇｈ変換などによる水平エッジで検出できる。また、路上の横断歩道の有無はナビゲーションシステム（ＧＰＳを利用した周知の装置）から知ることができる。この情報を利用して、ナビゲーションシステムから横断歩道付近を通過すると伝えられたときだけ、この横エッジを検出する構成とすることで、路面の他の表示や汚れとの誤検出を防ぐことができる。
【００４１】
車載ステレオカメラにおいて、横断歩道を検出した後は、監視カメラで検知した歩行者の移動を横断歩道の横エッジからの相対位置ベクトルとして変換し、車載ステレオカメラにおいて、何ｍ先のどの位置に歩行者が観測されるかを幾何学的に計算しておく。移動のベクトルは、横断歩道の両脇の２本の線をａ：ｂに内分する位置からその線に平行に移動すると求められているので、この位置と移動方向に基づいて、車載ステレオ画像処理で検出される歩行者までの距離と歩行者が現れる画像上の位置を求める。例えば、図１２に示すように、横断歩道手前のエッジが３ｍ、奥のエッジが５ｍ先に計測され、監視カメラ９上での歩行者１３の検出位置が、ａ：ｂ＝１：３である場合、車載ステレオカメラ２５から歩行者１３までの距離は３.５ｍとなる。このことから、図１２のように、画像の端の領域において、距離が３.５ｍと観測される物体の有無を監視するだけで、横断しようとする歩行者の検知が可能となる。
【００４２】
図１２の場合において、歩行者１３が横断をやめた場合、車載ステレオカメラ２５の画角の右端には、８ｍ先の電柱が検出される。しかし、これは、横断歩道までの距離とは異なる位置にあることは容易に判断できるため、監視カメラ９で観測中の歩行者１３とは異なる物体であると判断できる。つまり、このような判断により、車両側では歩行者の動きを判断することなく、車載ステレオカメラ２５の画角に入った瞬間に歩行者検知が可能となるため、車両側においてレスポンスの良い歩行者検知が可能となる。
【００４３】
次に、車載ステレオカメラにおいて歩行者の動きを再確認する例を説明する。車載ステレオカメラにおいて、画角の端の部分だけで歩行者の検知が可能となることは前に説明した。これは車載ステレオカメラにおける歩行者検知のレスポンス向上に非常に役に立つ。しかし、画角端で検知した歩行者が横断歩道の横断を止めた場合は、ブレーキや警報の信号を出力する必要がない場合もある。このように、自車の妨げになる動きをする歩行者の検知をより確実に行うことが必要となる場合がある。このような場合には車載ステレオカメラ上でも歩行者の移動の検知を行うことで、より確実な検出が可能となる。すなわち、車載ステレオカメラの画角端において歩行者として検知された物体が、地上側の監視カメラで検知した物体と同じ移動ベクトル上を時間的に連続して移動するか否かを、車載ステレオカメラ上で検知することにより、さらに確実に歩行者の動きを判断することができる。
【００４４】
また、通常、車載ステレオカメラ上で動きを検知する場合、画角の端がベクトルの始点となるため、１回の測定誤差がベクトルの算出に大きく影響する。しかし、ここでは、地上側の監視カメラにおいて、車載ステレオカメラの画角に入る前から求めたベクトルがあるため、補間や最小二乗誤差などによる補正も可能であり、さらに、予め求めたベクトルにより動く方向が予測できるため検出範囲の限定も可能である。ここで、車載ステレオカメラで検出した物体の移動の認識は、歩行者と同じ距離に検出される物体の追従処理でよい。このことから、画像のノイズや、距離画像算出時のミスマッチングなどの影響を排除し、より確実な歩行者検知が可能となる。
【００４５】
以上説明してきたように、本発明の第１の構成においては、地上側の監視カメラで検知した歩行者の位置と移動方向に相当する物体を車載センサで検知する構成とした。
従来は、車載センサ上で検知した物体の動きを車載センサを用いて観測するので、車載センサの検知角に入った時点をベクトルの始点とし、そこから数回時間的に連続して検知した結果からベクトルの方向を検出する必要があった。そのため、検知のレスポンスが遅いことが問題となる。しかし、この発明では、歩行者のベクトルは予め地上側の監視カメラで求めておき、車載センサの検知角の端の部分では、監視カメラで検知した歩行者のベクトルの上に乗る位置に物体が検知されるか否かを判断するだけとする。これにより、検知角に入った時点で歩行者を判断することが可能となり、特に、車載センサの検知角の端から中心にかけて動く歩行者などの飛び出し検知のレスポンスが向上する。
【００４６】
また、本発明の第２の構成においては、地上側の監視カメラで検知した歩行者の位置を路上の静止物標との相対位置として車載センサに伝える構成とした。これにより、監視カメラと車載カメラの位置関係の計測を不必要とし、歩行者の検知位置を高精度に伝えることを可能とした。また、車載センサ上での歩行者検知処理を、車載センサで検知した物標との相対位置関係で検知可能としたことにより、検知範囲の限定ができるので検知が容易かつ確実になる。
【００４７】
また、本発明の第３の構成においては、車載センサをステレオカメラとした構成において、地上側の監視カメラで検知した歩行者を車両側で検知する際に、画像処理で検知が比較的簡単かつ確実である横断歩道の２本の横線からの相対位置を利用する構成とした。これにより、監視カメラと車載カメラで検知した歩行者の照合がより簡単かつ確実となり、さらに、横断歩道の相対位置から歩行者の検知位置を限定できるので、処理速度の向上および他の物体との誤検知の低減も可能となる。
【００４８】
また、本発明の第４の構成においては、上記第２の構成で検知した歩行者の動きを車載ステレオカメラ上においても再度求める構成とした。これにより、車載カメラの検知角に入った瞬間から、監視カメラで検知した歩行者と同一であることをより確実に照合し、さらに、その歩行者が、車載カメラの検知角内に入った後も、進行をしつづけることを確認することも可能とした。これにより、歩行者検知が確実になり、かつ、その歩行者が監視カメラから外れたあとも、さらに自車の妨げになる位置に来るか否かの判断も可能となる。
【図面の簡単な説明】
【図１】本発明の全体の概略構成を示すブロック図。
【図２】交差点における歩行者の検知状況を示す交差点付近の上面図。
【図３】横断歩道を横断中の歩行者を車両から見た図。
【図４】監視カメラ９と路上に物標１２が設置されている道路を、車載センサ８を搭載した車両７が走行する様子を示した上面図。
【図５】（ａ）は監視カメラ９で撮像した画像の様子を示す図、（ｂ）は車載センサで撮像した画像の様子を示す図。
【図６】車載センサをステレオカメラとした場合の状況を示す図であり、（ａ）は交差点付近の上面図、（ｂ）はステレオ画像間の視差計算により、画像内に撮像される各物体までの距離を求めた結果を画像中に示した図。
【図７】ステレオ画像における距離の関係を示す図。
【図８】画像上で検知した横断歩道の横エッジの位置を用いた、カメラから横断歩道までの距離の求め方を説明する図。
【図９】監視カメラ９で撮像した様子を示す図であり、（ａ）は歩行者が存在する場合、（ｂ）は歩行者が存在しない場合の画像。
【図１０】画像座標から実空間座標に変換する方法を説明するための図であり、（ａ）は垂直方向、（ｂ）は水平方向。
【図１１】スキャニングレーザレーダによる物体検知例を示す上面図。
【図１２】車載ステレオカメラで検出する場合の上面図と距離画像。
【符号の説明】
１…地上側監視カメラ２…地上側演算装置
３…地上側通信装置４…車載センサ
５…車載通信装置６…車載演算装置
７…自車両８…車載センサ
９…地上側の監視カメラ１０…横断歩道
１１…電柱１２…物標
１３…歩行者１４、１５…電柱
１６…歩行者１７…電柱
１８…樹木１９…横断歩道
２０…検知物体２１…右レンズ
２２…左レンズ２３…右画像
２４…左画像２５…車載ステレオカメラ

Claims

地上側に設置され、道路上を撮像する地上側撮像手段と、
前記地上側撮像手段で撮像した画像から路上の歩行者の位置と移動方向を検出する地上側歩行者認識手段と、
前記地上側撮像手段の設置位置のデータと前記地上側歩行者認識手段のデータとを車両へ送信する地上側通信手段と、
車両に搭載され、車両前方の物体の有無と物体までの距離とを検知する車載センサと、
前記地上側送信手段からのデータを受信する車両側通信手段と、
受信したデータに基づいて、前記地上側撮像手段と前記車載センサとの位置関係を求め、前記地上側歩行者認識手段で検知した歩行者の位置と移動方向および前記地上側撮像手段と前記車載センサとの位置関係に基づいて、前記車載センサの検知結果において地上側で検知した歩行者に相当する物体を車両側で歩行者として認識する車両側歩行者認識手段と、
を備えたことを特徴とする歩行者検知装置。
地上側に設置され、道路上を撮像する地上側撮像手段と、
前記地上側撮像手段で撮像した画像から、既知の路上の静止物標からの相対位置として路上の歩行者の位置と移動方向を検出する地上側歩行者認識手段と、
前記地上側歩行者認識手段のデータを車両へ送信する地上側通信手段と、
車両に搭載され、車両前方の物体の有無と物体までの距離とを検知する車載センサと、
前記地上側送信手段からのデータを受信する車両側通信手段と、
前記車載センサの検知結果から前記既知の静止物標を検出し、かつ、前記地上側歩行者認識手段で既知の路上の静止物標からの相対位置として検知した歩行者の位置と移動方向に基づいて、前記車載センサの検知結果において地上側で検知した歩行者に相当する物体を車両側で歩行者として認識する車両側歩行者認識手段と、
を備えたことを特徴とする歩行者検知装置。
前記車載センサはステレオカメラであり、前記既知の路上の静止物標は横断歩道であり、前記地上側歩行者認識手段は横断歩道に対する相対位置として歩行者の位置と移動方向を検出し、
前記車両側歩行者認識手段は、前記横断歩道の位置を検出し、地上側から送られたデータに基づいて、前記横断歩道からの相対位置が前記地上側で検出した歩行者と同じ位置に存在する物体を歩行者として認識するように構成したことを特徴とする請求項２に記載の歩行者検知装置。
車両側で検出した歩行者の位置と移動方向が、地上側で認識した歩行者の位置と移動方向に継続して一致することを確認する手段を備えたことを特徴とする請求項１乃至請求項３の何れかに記載の歩行者検知装置。