JP3729025B2 - 歩行者検知装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理技術を用いて歩行者を検知する装置に関する。
【０００２】
【従来の技術】
従来の歩行者検出装置としては、例えば特開平７−２００９８６号公報に記載されたものがある。この従来例においては、カメラで撮影された最新のフレームと以前に撮影されたフレームとのフレーム間差分を求めることによって撮像エリア内に移動物体を検出し、この移動物体が横方向に移動する場合に歩行者と判定するものである。
【０００３】
【発明が解決しようとする課題】
しかし、上記のごとき歩行者検出装置では、フレーム間差分によって検出された物体が必ず歩行者であるとは限らないので、歩行者以外の物体が含まれる可能性が大きいという問題があった。また、移動する車両から撮影すると、静止物体であってもフレーム間では画像上の物体位置は横に移動するので、路上の静止物体を移動物体と誤判断するおそれがある、という問題があった。
【０００４】
本発明は上記のごとき従来技術の問題を解決するためになされたものであり、精度の良い歩行者検知を行うことのできる歩行者検知装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記の目的を達成するため本発明においては、特許請求の範囲に記載するように構成している。すなわち、請求項１に記載の発明においては、物体までの距離を２次元の距離情報として検出し、その距離情報から歩行者検出用の複数の特徴量として少なくとも物体領域の物体幅と縦分散を演算し、前記の物体幅と縦分散に予め定めた重み付けを行い、重み付けを行った物体幅と縦分散に基づいて歩行者か否かを判断するように構成している。
【０００６】
なお、縦分散とは距離情報に対応する各点における高さデータの分散を意味する。
また、請求項２においては、特徴量として、少なくとも物体領域の物体幅と縦分散と縦重心を演算するものである。なお、縦重心とは距離情報に対応する各点における高さデータの重心を意味する。
また、請求項３においては、一応歩行者と判断された物体（歩行者候補）の２次元距離画像上の領域および画像上で当該領域よりも高い位置の領域について、輝度情報の垂直方向の積算ヒストグラムを算出し、垂直方向の積算値の分布に基づいて歩行者か否かを再度判断するものである。
【０００７】
【発明の効果】
請求項１においては、歩行者の形状の特徴量を求め、各特徴量に予め実験により歩行者か否かの判別用の重み付けを行うことにより、歩行者候補と他の物体との区別が可能となるので、精度の良い歩行者検知を行うことができる、という効果が得られる。
【０００８】
特に、特徴量として、物体幅と縦分散を用い、それに予め実験で求めた歩行者か否かの判別用の重み付けを行うことにより、歩行者候補と他の物体とのより正確な区別が可能になる。
【０００９】
また、請求項２においては、特徴量として、物体幅と縦分散と縦重心とを用いたことにより、歩行者の横への移動により特徴量が大きく変動しても、特徴量に縦重心を加えることによって精度良く歩行者の検出が可能となる。
【００１０】
また、請求項３においては、一応歩行者として検出された歩行者候補の領域について、検出された領域を画像上端に拡張し、その領域内で輝度値の積算ヒストグラムを求め、垂直方向の積算値の分布に基づいて歩行者か否かを再度判断する。例えばヒストグラムの形状特徴を示す統計量である尖度を計算することにより、路上の静止物である電柱と歩行者を判別することが可能になり、さらに正確な歩行者検知が可能となる。
【００１２】
【発明の実施の形態】
図１は本発明の実施形態の構成を示すブロック図である。
図１において、１および２は電子式のカメラであり、自車両の前部に前方を向いて設置されており、両カメラの光軸は相互に平行で、かつ撮像面の水平軸が同じライン上に揃うように設置されている。なお、車両の後部に後方を向けて設置し、車両後方の物体を検出するように構成することもできる。また、１個のカメラに２つのレンズを有するステレオカメラを用いても同様である。３、４はそれぞれカメラ１、２から入力した画像信号を記憶するメモリである。５は演算部であり、例えばＣＰＵ、ＲＡＭ、ＲＯＭ等からなるマイクロコンピュータで構成される。６は自車両前方に存在する検出対象物であり、図１では車両を示しているが、本発明では主に歩行者を検出する。
【００１３】
図２はステレオ画像を用いて三角測量の原理でカメラから物体までの距離を求める原理を説明する図である。図２において、Ｘ軸は地表面に水平、Ｙ軸は地表面に垂直、Ｚ軸は左カメラの光軸（車両前方正面方向）に一致しているものとする。また左カメラ（図１のカメラ１に相当）と右カメラ（図１のカメラ２に相当）の光軸は相互に平行で、かつ撮像面の水平軸が同じライン上に揃うように設置している。なお、両カメラのレンズは図示を省略しているが、Ｘ軸から焦点距離ｆだけ前方のローカル座標系を示した場所に存在する。実際の画像はＸ軸の位置に結像されるが、図２では、レンズの位置に示している。上記の構成において、空間上の点Ｐ(ｘ、ｙ、ｚ）を撮影して得た左画像において、点Ｐを投影したＰ_ＬのＸ_ＬＹ_Ｌローカル座標系における座標をＰ_Ｌ(Ｘ_Ｌ、Ｙ_Ｌ）とし、同様に右画像における点Ｐを投影したときのローカル座標をＰ_Ｒ(Ｘ_Ｒ、Ｙ_Ｒ）とする。このとき、２つのカメラの間隔をｈ、焦点距離をｆとすると点Ｐ(ｘ、ｙ、ｚ）のｘ座標、ｙ座標、ｚ座標は下記（数１）式で求めることができる。
【００１４】
ｘ＝(ｘ_Ｌ・ｈ)／(ｘ_Ｌ−ｘ_Ｒ)
ｙ＝(ｙ_Ｌ・ｈ)／(ｘ_Ｌ−ｘ_Ｒ)＝(ｙ_Ｒ・ｈ)／(ｘ_Ｌ−ｘ_Ｒ) …（数１）
ｚ＝(ｆ・ｈ)／(ｘ_Ｌ−ｘ_Ｒ)
これらの式から空間中の点を、左右画像に投影したときの点を求めること、言い換えれば左画像と右画像で対応する点を決定することによって、画像中の各点の３次元座標を求めることができる。特に上記の光学系では左右のカメラをつなぐ線分が水平でＸ軸に平行であり、ｙ_Ｌ＝ｙ_Ｒであるので、左右画像の存在する水平線上の画素間の対応関係を決定すればよい。すなわち、２つの画像間のマッチング位置ｘ_Ｌ、ｘ_Ｒ（左画像と同じ画像が存在する右画像の位置）を求め、それによって視差（ｘ_Ｌ−ｘ_Ｒ）を求めれば、（数１）式のｚによってカメラから物体までの距離を計測することができる。
【００１５】
図３は入力した左右画像のうち何れか一方（例えば左画像）の画像を小領域に分割し、領域内に存在する特徴的なエッジを利用して２つの画像間でのマッチング位置を求めた結果を示す図である。図３（Ａ）は左画像を複数の小領域に分割した状態を示す図であり、道路前方に先行車が存在する画像を例示している。図３（Ｂ）は右画像を示す図であり、左画像のある領域と一致する部分（マッチング）を求め、両者の視差を求める状態を示している。図３（Ｃ）は視差の値が同じ領域のかたまりを抜き出した図である。
【００１６】
図３に示すように、各領域毎に視差（ｘ_Ｌ−ｘ_Ｒ）を求めれば、前記（数１）式によりその領域内に撮像されている物体までの距離を求めることができる。この図３のように各領域毎にその内部の物体の距離を求めた画像を“距離画像”と呼ぶ。本実施例では上記の距離画像が２次元の距離情報となる。なお、上記２つのカメラで撮像した画像は、それぞれ各画素毎に輝度に対応した画像であり、これを“輝度画像”と呼ぶ。上記距離画像において、各領域毎に求められる距離は領域内の物体の特徴的なエッジまでの距離であるため、隣接する領域で同じような距離がある場合には同一物体であると判断できる。例えば、図３（Ｃ）で四角な枠で領域が示されている部分が視差の値が同じ個所であり、この部分が先行車に相当する。
【００１７】
図２に示したように２つのカメラを光軸が平行になるように設置した場合には、図３に示したように画像のマッチング位置は同一線上にのる。このことから、左画像に一致する右画像の対象領域の探索は、同一線上において視差方向に１画素ずつずらしながら左右の領域間で下記（数２）式に示すような一致度Ｈ（差分値）を求めることによって行うことができる。
Ｈ＝Σｉ｜Ｌｉ−Ｒｉ｜ …（数２）
なお、一致度Ｈは差分値で表しているので、この値が小さいほど両者が一致していることになる。
【００１８】
上記（数２）式において、ＬとＲはそれぞれ左画像と右画像の輝度であり、一つの領域（ウィンドウ）内に含まれる画素のうち、左画像と右画像とで対応する位置の画素毎に両者の差の絶対値｜Ｌｉ−Ｒｉ｜を求め、その総和をＨとする。このＨの値は左画像と右画像とで対応する位置の画素の輝度が近い値であるほど小さな値になる。上記のように求めた距離画像から隣接領域で同じような距離があるものをひとかたまりとして物体領域を検出する。また、２次元のスキャニングレーザレーダ（レーザレンジファインダ）を用いても、前方の物体までの距離情報を示す距離画像を作成できる。
【００１９】
次に、検出した物体領域内の距離画像から前記（数１）式によって実空間上のｘ、ｙ、ｚ座標を計算し、物体の３次元的な形状を示す特徴量を計算する。すなわち、一般的な画像における座標から特徴量を計算すると、撮像される距離によって特徴量が大きく変動するため、本発明では上記のように実空間上のｘ、ｙ、ｚ座標を計算することによって距離による特徴量変化を防止するように構成している。
【００２０】
また、歩行者を示す特徴量としては物体幅と縦分散を取り上る。図４は物体幅と縦分散を特徴とした場合における処理を説明するための図であり、（Ａ）と（Ｂ）はｔ秒間隔で撮像した自車前方の画像、（Ｃ）は物体幅と縦分散をとったグラフを示す。なお、縦分散とは距離情報に対応する各点における高さデータの分散を意味する。
横方向に移動する歩行者の各フレームにおける上記２つの特徴量を算出し、Ｙ軸に縦分散を、Ｘ軸に物体幅をとり、図４（Ｃ）に示すようにプロットする。しかし、歩行者が横方向に移動する場合には、足を開いたときには幅が広がり閉じると狭くなるので、足の動きに応じて物体幅が変動する。そのため、図４（Ｃ）において歩行者とその他の物体の分布を比較すると、歩行者の物体幅の変動が大きいため、両者の分布で重なり合う部分（図４Ｃで塗りつぶした部分）が存在し、２群を完全に分離することができなくなる。そのため、下記（数３）式に示すように、ａとｂを適当に定めた重み付け合計得点Ｓの分布を求めると、図４（Ｃ）において破線の上下に分けることができるので、重なり合う部分が解消され、２群を完全に分離することができる。
Ｓ＝Ｙ−ａＸ＋ｂ …（数３）
上記（数３）式に示した合計得点Ｓは、判別関数と呼ばれる。
【００２１】
上記の判別関数は、予め求められた複数の特徴量から多変量解析の判別分析法により有意な特徴量を選択することによって作成できる。代表的な特徴量としては、距離、物体幅、横重心、横分散、縦重心、縦分散、分散比などが挙げられる。このような複数の特徴量に重み付けを行い、下記（数４）式、（数５）式、（数６）式のような判別関数を作成し、合計得点Ｓの値が０以上であれば、一応歩行者と判断できるので、歩行者候補とする。

【００２２】
次に、合計得点Ｓが０以上になった歩行者候補領域の輝度画像に着目する。合計得点Ｓが０以上の物体には、歩行者以外にも電柱などの細長い物体も含まれる。そこで輝度画像における歩行者候補領域の上端を画像上端まで広げ、その領域内で垂直方向の輝度値の積算ヒストグラムを作成する。このときのヒストグラムの形状は、図５に示すような特徴を持つ。なお、図５において（Ａ）は自車前方の画像、（Ｂ）は電柱の分布、（Ｃ）は歩行者の分布を示す。図５（Ｂ）に示すように、電柱は横方向の特定の位置に画像上部まで、同じような輝度値が存在するため、ヒストグラム形状は横方向の特定位置で鋭角になる。これに対して、図５（Ｃ）に示すように、歩行者は画像上端部分まで積算すると、背景の影響でヒストグラム形状が平坦になる。したがって、歩行者を精度良く判別するために、下記（数７）式のようなヒストグラム形状の特徴を示す統計量である尖度ｋを計算する。そして尖度がしきい値以下であるときには歩行者であると判断する。

上記（数７）式において、ｇ_ｉは輝度画像の横位置ｉにおける縦方向の輝度値の積算値、ｇはヒストグラムの対象となっている部分全体の輝度の平均値、ｓは標準偏差である。
上記のように一応歩行者と判断した歩行車候補について、尖度ｋを計算して再度判定することにより、より正確に歩行者を判別することができる。
【００２３】
次に、これらの原理を用いて歩行者を検出する実施例を説明する。
ここでは、図２に示したようにカメラの光軸が平行になるように設置したステレオカメラを用いる。
図６は実施例の処理を示すフローチャートである。
図６において、まずステップＳ１００では、図２のステレオ画像（右画像と左画像）を入力する。次に、ステップＳ１０１では、ステレオ画像のどちらか一方を同じ大きさの複数の領域（ウィンドウ）に分割する。この分割した領域の１つ１つに対して視差を計算し距離を求める。視差の検出は、前記（数２）式に示したような画像間の差分値を一致度として計算することによって行う。次に、ステップＳ１０２では、マッチング処理を行って視差を求める。ここでは、探索範囲内の全ての一致度を求め、一致度が最小となる位置を探し、その位置をこの領域の視差とする。ステップＳ１０３では、このような操作を全ての領域に対して行うことで、各領域内の物体までの距離を前記（数１）式によって算出し、距離画像とする。次にステップＳ１０４では、上記で求めた距離が同じ値となる連続する領域のかたまりを見つけることにより物体領域を検出する。
【００２４】
次にステップＳ１０５では、特徴量の計算を行う。歩行者検知で有効となる特徴量としては、下記（数８）式、（数９）式、（数１０）式に示すような縦重心（Ｘ_１）、縦分散（Ｘ_２）、物体幅（Ｘ_３）の３つを用いる。ただし特徴量を計算する際、縦方向のデータは道路面からの高さになるようにデータの正規化を行う。なお、縦重心とは距離情報に対応する各点における高さデータの重心を意味する。
【００２５】
Ｘ_１＝Σ_ｉｊ(ｙ_ｉｊ−ｙob)／ｎ …数８
Ｘ_２＝(１／ｎ)Σ_ｉｊ〔（ｙ_ｉｊ−ｙob)−ｙ〕^２ …数９
Ｘ_３＝ｘ_ｒ−ｘ_ｌ …数１０
上記（数８）式、（数９）式、（数１０）式においてｙ_ｉｊ、ｘ_ｉｊは距離画像（ｉ、ｊ）おける（数１）式から計算されるｘ、ｙ座標であり、ｙobは実空間上の路面の高さ、ｙは（ｙ_ｉｊ−ｙob）の全ての値の平均値である。
【００２６】
路面の高さｙobは距離画像で白線が検出されていれば、白線を路面の高さとし、検出されない場合は０とする。道路上に引かれた白線は、路面のアスファルトとの境界に強いエッジ（白線の場合は暗→明→暗のエッジ）が存在し、道路面より輝度値が高く、数十ｃｍ以上の幅を持っていることが特徴としてあげられる。ｘ_ｒ、ｘ_ｌは物体領域の距離画像における左端点と右端点の値から前記（数１）によって計算される値である。
【００２７】
次にステップＳ１０６では、歩行者候補領域の抽出を行う。ここでは、下記（数１１）式のような一次式となるａ、ｂ、ｃ、ｄの値を判別分析法により予め実験等で求めておく。そして検出された物体領域の特徴量を下記（数１１）式に代入して、物体領域ｍにおけるＳの値Ｓ_ｍを求める。その結果、（数１１）式のような３つの特徴量の重み付き合計得点Ｓの値が０以上である時に、その物体領域ｍを歩行者候補とする。
Ｓ＝ａＸ_１＋ｂＸ_２＋ｃＸ_３＋ｄ …（数１１）
Ｓの値が０以上の場合には、次のステップＳ１０７の処理に移り、Ｓの値が０未満の時にはステップＳ１０５へ戻って、次の物体領域Ｓ_ｍ＋１で特徴量を計算する。このような処理を全ての物体領域ｍに対して行う。
【００２８】
次にステップＳ１０７では、歩行者の最終判断を行う。歩行者候補領域ｍに対応する輝度画像に対して、領域ｍの縦方向を画像上端まで拡張し、領域内のヒストグラム形状を示す尖度ｋ_ｍを前記（数７）式により計算する。その結果、ｋ_ｍがしきい値ｔ_１以下であるときは歩行者と判断し、ステップＳ１０８で距離と横位置の算出を行う。また、しきい値ｔ_１より大きいときは電柱等であると判断し、次の領域の処理に移る。このような処理を全ての歩行者候補領域に対して行う。
【００２９】
なお、これまでの説明は、車両用の歩行者検知装置に本発明を適用した場合を例示したが、本発明はそれに限られるものではなく、例えば、自動ドアなどにおいて、歩行者の接近を検知して自動的にドアを開くような装置にも適用できる。
【図面の簡単な説明】
【図１】本発明の実施形態の構成を示すブロック図。
【図２】ステレオ画像を用いて三角測量の原理でカメラから物体までの距離を求める原理を説明する図。
【図３】入力した左右画像におけるマッチング位置を求めた結果を示す図であり、（Ａ）は左画像を複数の小領域に分割した状態を示す図、（Ｂ）は右画像を示す図、（Ｃ）は視差の値が同じ領域のかたまりを抜き出した図。
【図４】物体幅と縦分散を特徴とした場合における処理を説明するための図であり、（Ａ）と（Ｂ）はｔ秒間隔で撮像した自車前方の画像、（Ｃ）は物体幅と縦分散をとったグラフ。
【図５】ヒストグラムの形状の特徴を示す図であり、（Ａ）は自車前方の画像、（Ｂ）は電柱の分布、（Ｃ）は歩行者の分布。
【図６】実施例における処理を示すフローチャート。
【符号の説明】
１、２…電子式のカメラ
３、４…メモリ
５…演算部
６…自車両前方に存在する検出対象物

Claims (3)

1. 前方に存在する物体までの距離を２次元の距離情報として検出する距離情報検出手段と、
   前記距離情報から予め定めた歩行者検出用の複数の特徴量を演算する演算手段と、
   前記の各特徴量に予め定めた重み付けを行い、重み付けを行った各特徴量に基づいて歩行者か否かを判断する判断手段と、
   前記距離情報から物体の存在する物体領域を検出する検出手段と、を備え、
   前記演算手段は、前記特徴量として、少なくとも前記物体領域の物体幅と縦分散を演算し、
   前記判断手段は、前記物体幅と前記縦分散に予め定めた重み付けを行い、重み付けを行った物体幅と縦分散に基づいて歩行者か否かを判断することを特徴とする歩行者検知装置。
2. 前記演算手段は、特徴量として、少なくとも前記物体領域の物体幅と縦分散と縦重心を演算し、
   前記判断手段は、物体幅と縦分散と縦重心に予め定めた重み付けを行い、重み付けを行った物体幅、縦分散、縦重心に基づいて歩行者か否かを判断することを特徴とする請求項１に記載の歩行者検知装置。
3. 一応歩行者と判断された物体の２次元距離画像上の領域および画像上で当該領域よりも高い位置の領域について、輝度情報の垂直方向の積算ヒストグラムを算出する積算ヒストグラム算出手段と、
   前記垂直方向の積算値の分布に基づいて歩行者か否かを再度判断する再判断手段と、
   を備えたことを特徴とする請求項１または請求項２に記載の歩行者検知装置。

Images