JP4272539B2 - 移動物体検出装置、移動物体検出方法、および移動物体検出プログラム - Google Patents

Description

本発明は、移動物体検出装置、移動物体検出方法、および移動物体検出プログラムに関し、詳しくは、複数のデジタルビデオカメラで撮像した画像から、適切に人物やロボットなどの移動物体を検出する移動物体検出装置、移動物体検出方法、および移動物体検出プログラムに関する。

従来、ＣＣＤなどを用いたデジタルビデオカメラ（以下、単に「カメラ」という）で撮像した画像から、物体を検出する技術として、例えば、画像内での物体の初期の曖昧な輪郭を輪郭モデルとして設定し、その輪郭モデルを所定の規則に従って収縮変形させることで物体の輪郭を抽出して物体を検出する技術（動的輪郭モデル：ＳＮＡＫＥＳ）が知られている。この輪郭抽出に基づいた物体検出技術においては、時間的に連続した画像により、動きのある物体（移動物体）のエッジ（画素の輝度変化の大きい部分）を検出し、輪郭モデルをそのエッジに連結させることで移動物体の輪郭を抽出して移動物体を検出している（例えば、特許文献１参照）。

前記した特許文献１に記載の技術では、撮像した画像上で、複数の物体が隣接して存在する場合、その複数の物体を一つの物体として認識してしまうという問題がある。
そこで、本発明者は、複数の移動物体が隣接して並んでいる場合にも、各移動物体を個別に検出できる手法について、未公開の特許出願である特願２００２−３３４９４０において開示している。この発明では、エッジ画像において、画面の縦方向にエッジ画素の総数を数え、これをグラフにしたヒストグラムから、移動物体の中心を設定し、その中心から所定幅を１つの移動物体であると認識することで、複数の移動物体から個別の移動物体を検出することを可能にしている。
特開平８−３２９２５４号公報（第７頁、第９−１０図）

しかしながら、前述した改良された移動物体検出方法においても、例えば、移動物体である人物が手を挙げている場合などには、その手の部分で局所的にエッジ画素の総数が多くなり、その人物の中央位置であると誤認してしまうことがあった。
そこで、本発明では、エッジ画素数のヒストグラムにおける局所的なノイズに影響されず、適切に各移動物体を検出することができる移動物体検出装置、移動物体検出方法、および移動物体検出プログラムを提供することを目的とする。

前記課題を解決するため、本発明の移動物体抽出装置は、同期した複数のカメラで撮像対象を撮像した複数の撮像画像から、移動物体を検出する移動物体検出装置であって、前記複数の撮像画像の視差に基づいて、前記撮像対象までの距離を距離情報として生成する距離情報生成手段と、前記複数のカメラの中の少なくとも一つのカメラから、時系列に入力される撮像画像の差分に基づいて、前記移動物体の動きを動き情報として生成する動き情報生成手段と、前記距離情報に含まれる距離毎に、前記動き情報に含まれる動きのあった画素値を累計し、前記累計値が最大となる距離を、前記移動物体が存在する対象距離として設定する対象距離設定手段と、前記距離情報に基づいて、前記対象距離設定手段で設定された対象距離に対応する画素からなる対象距離画像を生成する対象距離画像生成手段と、前記対象距離画像内に、少なくとも前記対象距離に対応して、前記移動物体を検出する対象となる対象領域を設定する対象領域設定手段と、この対象領域設定手段で設定された対象領域から輪郭を抽出することで、前記移動物体を検出する輪郭抽出手段とを備える。そして、前記対象領域設定手段は、前記対象距離画像において、水平方向の座標ごとに垂直方向に画素数をカウントしてヒストグラムを生成した後、このヒストグラムを平滑化し、平滑化後のヒストグラムのうち、最も画素数が大きい座標を前記移動物体の中心として、前記対象領域を設定することを特徴とする（請求項１）。

このような移動物体検出装置によれば、ヒストグラムにおいて発生した局部的なピークが、平滑化の処理により除去されるので、このようなノイズの影響を受けずに、移動物体の水平方向の位置を正確に設定でき、移動物体の抽出が正確に行われる。
なお、ここでいう対象距離とは、一点の距離でもよいし、幅のある（範囲がある）距離、例えば、１．０ｍ〜１．２ｍのような距離でもよい。

また、前記した移動物体抽出装置においては、前記撮像画像の各画素の色情報又は濃淡情報に基づいて、その撮像画像のエッジを抽出したエッジ画像を生成するエッジ画像生成手段をさらに備え、前記対象距離画像生成手段は、前記エッジ画像において、前記対象距離設定手段で設定された対象距離に対応する画素を抽出して前記対象距離画像を生成するのが望ましい（請求項２）。

このように、エッジ画像から生成した対象エッジ画像からヒストグラムを生成することで、より的確に移動物体を抽出することができる。
また、前記対象距離画像生成手段は、前記撮像画像または距離画像において、前記対象距離設定手段で設定された対象距離に対応する画素を抽出して前記対象距離画像を生成することもできる（請求項３、請求項４）。

さらに、前記対象領域設定手段における平滑化は、次式（１）により行うのが望ましい（請求項５）。

但し、Ｓ_xは、前記ヒストグラムにおける座標ｘの画素数、Ｓ_x′は、平滑化後の座標ｘにおける画素数、ｘ₀は、正の定数、ｆ（ｎ）は、ｎの関数または定数とする。

このように、ヒストグラムの座標ｘにおける画素数Ｓ_xに、その座標ｘの両側の画素数の値を足すことで、ヒストグラムを平滑化することができる。また、ｆ（ｎ）をｎの関数とすることで、座標ｘからの距離に応じた重み付けをして、エッジ画像の特徴を維持しつつ、平滑化をすることができる。たとえば、前記した平滑化の式（１）においてｆ（ｎ）＝｜ｘ−ｎ｜とすることができる（請求項６）。

また、前記対象領域設定手段における平滑化は、さらに次式（２）の条件を有するのが望ましい（請求項７）。

前記した式（１）のみによる平滑化では、ヒストグラムの画素数が０になる近傍の水平位置において、ヒストグラムの裾が広がってしまい、複数の移動物体が同じ距離にあり、かつ撮像画像中で隣接している場合には、移動物体の分離抽出に影響を与えるおそれがある。しかし、前記式（２）の条件を加えることにより、裾の発生が抑えられるので、隣接した移動物体がある場合でも、移動物体を適切に分離して抽出することが可能となる。

前記したような移動物体検出装置において、前記対象領域設定手段は、前記平滑化後のヒストグラムにおいて、画素数が最大となる水平位置から所定範囲を前記移動物体の水平方向の範囲として設定することができる（請求項８）。また、前記対象領域設定手段は、少なくとも前記撮像手段のチルト角及び設置面からの高さに基づいて、前記対象領域の垂直方向の範囲を設定することができる（請求項９）。

前記した課題を解決するための移動物体検出方法は、同期した複数のカメラで撮像対象を撮像した複数の撮像画像から、移動物体を検出する移動物体検出方法であって、前記複数の撮像画像の視差に基づいて、前記撮像対象までの距離を距離情報として生成する距離情報生成ステップと、前記複数のカメラの中の少なくとも一つのカメラから、時系列に入力される撮像画像の差分に基づいて、前記移動物体の動きを動き情報として生成する動き情報生成ステップと、前記距離情報に含まれる距離毎に、前記動き情報に含まれる動きのあった画素値を累計し、前記累計値が最大となる距離を、前記移動物体が存在する対象距離として設定する対象距離設定ステップと、前記距離情報に基づいて、前記対象距離設定手段で設定された対象距離に対応する画素からなる対象距離画像を生成する対象距離画像生成ステップと、前記対象距離画像内に、少なくとも前記対象距離に対応して、前記移動物体を検出する対象となる対象領域を設定する対象領域設定ステップと、この対象領域設定手段で設定された対象領域から輪郭を抽出することで、前記移動物体を検出する輪郭抽出ステップとを有する。そして、前記対象領域設定ステップは、前記対象距離画像において、水平方向の座標ごとに垂直方向に画素数をカウントしてヒストグラムを生成した後、このヒストグラムを平滑化し、平滑化後のヒストグラムのうち、最も画素数が大きい座標を前記移動物体の中心として、前記対象領域を設定することを特徴とする（請求項１０）。

また、前記した課題を解決するための移動物体検出プログラムは、同期した複数のカメラで撮像対象を撮像した複数の撮像画像から、移動物体を検出するために、コンピュータを、前記複数の撮像画像の視差に基づいて、前記撮像対象までの距離を距離情報として生成する距離情報生成手段、前記複数のカメラの中の少なくとも一つのカメラから、時系列に入力される撮像画像の差分に基づいて、前記移動物体の動きを動き情報として生成する動き情報生成手段、前記距離情報に含まれる距離毎に、前記動き情報に含まれる動きのあった画素値を累計し、前記累計値が最大となる距離を、前記移動物体が存在する対象距離として設定する対象距離設定手段、前記距離情報に基づいて、前記対象距離設定手段で設定された対象距離に対応する画素からなる対象距離画像を生成する対象距離画像生成手段、前記対象距離画像内に、少なくとも前記対象距離に対応して、前記移動物体を検出する対象となる対象領域を設定する対象領域設定手段、この対象領域設定手段で設定された対象領域から輪郭を抽出することで、前記移動物体を検出する輪郭抽出手段、として機能させる。そして、前記対象領域設定手段は、前記対象距離画像において、水平方向の座標ごとに垂直方向に画素数をカウントしてヒストグラムを生成した後、このヒストグラムを平滑化し、平滑化後のヒストグラムのうち、最も画素数が大きい座標を前記移動物体の中心として、前記対象領域を設定することを特徴とする（請求項１１）。

本発明の移動物体検出装置、移動物体検出方法、および移動物体検出プログラムによれば、移動物体の対象エッジ画像や対象距離画像において生成したヒストグラムの局所的なピークが除去されるので、撮像画像から適切に移動物体を抽出することができる。

以下、本発明の実施の形態について図面を参照して説明する。
（移動物体検出装置の構成）
図１は、本発明における移動物体検出装置１の構成を示したブロック図である。図１に示すように移動物体検出装置１は、２台のカメラ２で撮像された撮像画像から、動きを伴う物体（移動物体）を検出するものである。ここでは、移動物体検出装置１を、入力された撮像画像を解析する入力画像解析手段１０と、解析された撮像画像から物体を検出する物体検出手段２０とで構成した。なお、２台のカメラ２は、左右に距離Ｂだけ離れて配置されており、それぞれを右カメラ２ａ及び左カメラ２ｂとする。

入力画像解析手段１０は、撮像対象を撮像した２台のカメラ２（撮像手段：２ａ、２ｂ）から同期して入力される撮像画像を解析して、距離情報を含んだ距離画像、動き情報を含んだ差分画像、エッジを抽出したエッジ画像及び肌色領域を抽出した肌色領域画像を生成するものである。ここでは、入力画像解析手段１０を、距離情報生成部１１と、動き情報生成部１２と、エッジ画像生成部１３と、肌色領域画像生成部１４とで構成した。

距離情報生成部（距離情報生成手段）１１は、同時刻に右カメラ２ａと左カメラ２ｂとで撮影された２枚の撮像画像の視差を、カメラ２からカメラ２で撮像した撮像対象までの距離情報（より正確には、カメラ２の焦点位置からの距離）として埋め込み、距離画像として生成するものである。なお、この距離情報生成部１１は、例えば１００ｍｓ間隔に１フレームの割合でカメラ２から画像を入力する。

この距離情報生成部１１では、右カメラ２ａを基準カメラとして、この基準カメラ（右カメラ２ａ）で撮像された基準撮像画像と、左カメラ２ｂで撮像された同時刻撮像画像とで、特定の大きさのブロック（例えば８×３画素）でブロックマッチングを行うことで、基準撮像画像からの視差を計測する。そして、その視差の大きさ（視差量）を基準撮像画像の各画素に対応付けた距離画像を生成する。

なお、視差をＺとしたとき、この視差Ｚに対応するカメラ２から物体までの距離Ｌ（図示せず）は、カメラ２の焦点距離をｆ（図示せず）、右カメラ２ａと左カメラ２ｂとの距離をＢとすると、次式（３）で求めることができる。

Ｌ＝Ｂ×ｆ／Ｚ …（３）

動き情報生成部（動き情報生成手段）１２は、基準カメラ（右カメラ２ａ）で時系列に撮像された２枚の撮像画像の差分に基づいて、撮像画像内の移動物体の動きを動き情報として埋め込んだ、差分画像を生成するものである。

この動き情報生成部１２では、右カメラ２ａを基準カメラとして、この基準カメラ（右カメラ２ａ）で撮像された時刻の異なる２枚の撮像画像の差分をとる。例えば、１００ｍｓ間隔で撮像画像を入力したときに、その入力時刻からΔｔ（例えば３３ｍｓ）分遅れた撮像画像を入力し、その２枚の撮像画像の差分をとることとする。
そして、差のあった画素には動きのあった画素として画素値“１”を与え、差のなかった画素には動きのなかった画素として画素値“０”を与えた差分画像を生成する。なお、動き情報生成部１２では、さらに差分画像に対して、メディアンフィルタ等のフィルタリング処理を行うことで、ノイズを除去しておく。なお、画素値を、単に１または０とするのではなく、動いた画素数を画素値とすることもできる。

なお、カメラ２がロボットや自動車に搭載されたカメラなど、移動するカメラであって、撮像画像内の背景が変化する場合は、カメラ２から撮像画像毎のパン、チルト等のカメラ移動量を入力し、例えば、時刻ｔ＋Δｔの撮像画像をそのカメラ移動量分補正することで、時刻ｔ及び時刻ｔ＋Δｔにおいて、動きのあった画素のみを検出する。

エッジ画像生成部（エッジ画像生成手段）１３は、カメラ２（２ａ）から撮像画像（基準撮像画像）を入力し、その撮像画像からエッジを抽出したエッジ画像を生成するものである。このエッジ画像生成部１３では、カメラ２（２ａ）から入力された撮像画像の明るさ（輝度：濃淡情報）に基づいて、その明るさが大きく変化する部分をエッジとして検出し、そのエッジのみからなるエッジ画像を生成する。例えば、ある画素の近傍領域の画素に対して重み係数を持つオペレータ（係数行例：Ｓｏｖｅｌオペレータ、Ｋｉｒｓｃｈオペレータ等）を画素毎に乗算することで、エッジの検出を行う。

肌色領域画像生成部１４は、カメラ２（２ａ）から撮像画像（基準撮像画像）を入力し、その撮像画像から肌色の領域を抽出するものである。この肌色領域画像生成部１４では、入力された撮像画像における全画素のＲＧＢ値を、色相、明度及び彩度からなるＨＬＳ空間に変換し、色相、明度及び彩度が肌色の範囲として予め設定された閾値の範囲内にある画素を肌色領域として抽出する。

ここで、図５を参照（適宜図１参照）して、距離情報生成部１１で生成される距離画像、動き情報生成部１２で生成される差分画像、エッジ画像生成部１３で生成されるエッジ画像及び肌色領域画像生成部１４で生成される肌色領域画像について説明する。図５は、時系列に入力される撮像画像に基づいて、各画像が生成される状態を示したものである。

図５に示すように、距離画像Ｄは、同時刻の右カメラ画像と左カメラ画像との視差を画素値で表現することで生成される。この視差は、その値が大きいほど人物の位置がカメラ２に近いことを表し、値が小さいほど人物の位置がカメラ２から遠いことを表している。また、エッジ画像ＥＤは、右カメラ画像から生成された画像で、検出されたエッジのみからなる画像である。さらに、肌色領域画像ＳＡは、エッジ画像ＥＤと同様に、右カメラ画像から生成された画像で、肌色となる領域（肌色領域Ｒ）を抽出した画像である。また、差分画像ＤＩは、Δｔ分だけ入力された時刻が異なる２枚の右カメラ画像（例えば、時刻ｔと時刻ｔ＋Δｔの右カメラ画像）の差分をとり、差のあった画素を画素値“１”、差のなかった画素を画素値“０”として表現することで生成される。この差のあった画素が、実際に人物が動いた領域を表している。

ここで、図６を参照して、距離画像Ｄ及び差分画像ＤＩの内容について、さらに詳細に説明を行う。図６（ａ）は、距離画像Ｄの画像内容と、その画素値（距離画像画素値ＤＢ）の一例を示したものである。図６（ｂ）は、差分画像ＤＩの画像内容と、その画素値（差分画像画素値ＤＩＢ）の一例を示したものである。ここでは、カメラ２から約１ｍ、２ｍ及び３ｍ離れた位置に人物が存在しているものとする。

距離画像Ｄは、図６（ａ）に示すように、同時刻の右カメラ画像と左カメラ画像との視差を画素値で表現したものであって、例えば、距離画像画素値ＤＢに示したように、距離画像Ｄの画素位置（０，０）は視差が０であり、カメラ２からの距離が無限大（∞）であることを意味している。また、距離画像Ｄの画素位置（３０，５０）は視差が２０であり、カメラ２からの距離が視差２０に対応する距離、例えば２．２ｍであることを意味している。このように、距離画像Ｄは、視差を画素値として表現するため、例えば、カメラ２に近いほど明るく、遠いほど暗い画像となる。

差分画像ＤＩは、図６（ｂ）に示すように、時系列に入力される右カメラ画像の差の有無を表現したものであって、例えば、差分画像画素値ＤＩＢに示したように、差分画像ＤＩの画素位置（０，０）は“０”「停止」で、動きがなかったことを意味している。また、差分画像ＤＩの画素位置（３０，５０）は“１”「動き」で、動きがあったことを意味している。
図１に戻って、説明を続ける。

物体検出手段２０は、入力画像解析手段１０で解析された画像（距離画像、差分画像、エッジ画像及び肌色領域画像）に基づいて、動きのある移動物体の領域を検出し、移動物体の輪郭を抽出するものである。ここでは、物体検出手段２０を、対象距離設定部２１と、対象距離画像生成部２２と、対象領域設定部２３と、輪郭抽出部２４とで構成した。

対象距離設定部（対象距離設定手段）２１は、入力画像解析手段１０の距離情報生成部１１で生成された距離画像と、動き情報生成部１２で生成された差分画像とに基づいて、最も動き量の多い移動物体を特定し、対象となる移動物体が存在する対象距離を設定するものである。この対象距離は、対象距離画像生成部２２へ通知される。

この対象距離設定部２１では、距離画像で表された視差（距離）毎に、その視差に対応する画素と同じ位置にある差分画像の画素値を累計し（動きがある画素は画素値が“１”なので、視差ごとに画素数を累計することになる）、その累計が最も多くなる視差（これを以下、「最多視差」という。）に、最も動き量の多い移動物体が存在していると判定する。例えば、１．０〜１．１ｍの視差（距離）では、画素値の累計が１１０、１．１〜１．２ｍの視差（距離）では、画素値の累計が９２、というように視差ごとに累計を出し、この累計が最大の視差（距離）を最多視差とする。

また、ここでは、最多視差に対応する対象距離±α分の奥行きを、最も動き量の多い移動物体が存在する距離の範囲とする。このαの値は、対象距離を基準とした奥行き方向の範囲を示すものである。ここでは、αの値を、距離情報生成部１１から時系列に入力される距離画像の差分、例えば、時刻ｔ−１で生成した距離画像と、時刻ｔで生成した距離画像との差分とする。なお、このαの値は、人物を検出することと仮定して、数十ｃｍと固定した値を用いてもよい。

この対象距離設定部２１では、距離情報生成部１１で生成された距離画像と、動き情報生成部１２で生成された差分画像とを、図示していないメモリ等の記憶手段に記憶することとする。

対象距離画像生成部（対象距離画像生成手段）２２は、距離情報生成部１１で生成された視差量を埋め込んだ距離画像に基づいて、対象距離設定部２１で設定された対象距離に対応する画素を、エッジ画像生成部１３で生成されたエッジ画像から抽出した対象距離画像を生成するものである。

例えば、最多視差におけるカメラ２から移動物体までの距離Ｌを前記式（３）で算出したとすると、その視差の範囲Ｚｒは式（３）を変形することで、次式（４）として表すことができる。ただし、カメラ２の焦点距離をｆ、右カメラ２ａと左カメラ２ｂとの距離をＢ、対象物体の奥行き方向の範囲をαとする。

Ｂ×ｆ／（Ｌ＋α）＜Ｚｒ＜Ｂ×ｆ／（Ｌ−α） ・・・（４）

この対象距離画像生成部２２では、前記式（４）の範囲の視差に対応する画素をエッジ画像から抽出した対象距離画像を生成する。
なお、この対象距離画像の生成は、基準カメラ（右カメラ２ａ）で撮像された撮像画像（原画像）又は距離情報生成部１１で生成された距離画像から、対象距離（視差の範囲）に対応する画素位置のみの画素を抽出することとしてもよい。

ここで、図７を参照（適宜図１参照）して、対象距離設定部２１及び対象距離画像生成部２２で、検出対象となる移動物体が存在する距離に対応する画像（対象距離画像）を生成する手順について説明する。図７（ａ）は、距離画像Ｄ及び差分画像ＤＩ（図６）に基づいて、視差（距離）と動きのある画素を累計した動き量（画素数）との関係を示したグラフである。図７（ｂ）は、エッジ画像ＥＤ（図５）から対象距離の画素のみを抽出した対象距離画像ＴＤを示している。

図７（ａ）に示したように、距離画像Ｄ（図６）の視差（距離）と動き量（画素数）との関係をグラフ化すると、視差（距離）が１ｍ、２．２ｍ、３ｍの位置で動き量がピークとなる。そこで、対象距離設定部２１は、動き量が最大となる視差（２．２ｍ）に移動物体が存在するものとし、その視差（２．２ｍ）の前後（±α）の奥行き範囲に移動物体が存在すると判定する。このαは、距離情報生成部１１から時系列に入力される距離画像の差分である。なお、このαの値は、移動物体を人物と仮定して、カメラ２から２．２±αｍ（例えば、α＝０．５）の範囲に人物が存在すると判定することとしてもよい。

また、対象距離画像生成部２２は、図７（ｂ）に示したように、エッジ画像生成部１３で生成されたエッジ画像から、距離情報生成部１１で生成された距離画像に基づいて、対象となる画素位置を判定して、対象距離±αｍに存在する画素を抽出した対象距離画像ＴＤを生成する。これによって、カメラ２から１ｍ、３ｍ離れた位置に存在している人物の画像を削除し、２．２±αｍ離れた位置に存在している人物のみをエッジ画像として抽出した対象距離画像ＴＤを生成することができる。
図１に戻って、説明を続ける。

対象領域設定部（対象領域設定手段）２３は、対象距離画像生成部２２で生成された対象距離画像（対象距離に対応したエッジ画像）の垂直方向の画素数を累計し、その垂直方向の画素数の累計が最も多くなる位置を移動物体の中心の水平位置であると特定して、その移動物体を含んだ領域（対象領域）を設定するものである。

具体的には、対象領域設定部２３は、ヒストグラム生成部２３ａ、ヒストグラム平滑化部２３ｂ、水平範囲設定部２３ｃ、および垂直範囲設定部２３ｄを有する。

なお、この対象領域設定部２３は、例えば、移動物体を人物と仮定して、対象領域の水平方向の範囲を人物の幅に適した大きさに設定する。また、それ以外、例えば、斜め方向に接近してくる場合は、対象領域の水平方向の範囲を狭めて設定する。これは、人物が斜め方向を向いている場合は、水平方向の範囲を人物の肩幅以下で検出すればよいからである。

また、対象領域設定部２３は、縦方向は特定の大きさ（例えば２ｍ）を対象領域の高さとする。このとき、対象領域設定部２３は、カメラ２から入力されるチルト角、床（設置面）からの高さ等のカメラパラメータに基づいて、対象領域の垂直方向の存在領域（範囲）を設定する。

ここで、図８および図９を参照（適宜図１参照）して、対象領域設定部２３が、対象距離画像ＴＤの中から一つ（一人）の移動物体の領域（対象領域）を設定する手順について説明する。図８は、対象距離画像ＴＤにおける水平方向の座標ごとに垂直方向へ画素数をカウントした累計をヒストグラムＨＩで表したものである。この図８では、ヒストグラムＨＩを対象距離画像ＴＤに重畳させているが、これは、説明の都合上重畳させているだけである。図９（ａ）は、平滑化前のヒストグラムＨＩであり、図９（ｂ）は、平滑化後のヒストグラムＨＩ′である。

ヒストグラム生成部２３ａは、図８に示したように、対象距離画像ＴＤの垂直方向の画素数を累計したヒストグラムＨＩを生成する。

ヒストグラム平滑化部２３ｂは、ヒストグラム生成部２３ａが生成したヒストグラムＨＩに対し、平滑化の処理を行う。
具体的には、Ｓ_xを、ヒストグラムＨＩにおける注目している座標ｘの画素数、Ｓ_x′を、平滑化後のヒストグラムＨＩ′の座標ｘの画素数、ｘ₀を、正の定数として次式（５）により平滑化を行うことができる。

ここで、ｆ（ｎ）はｎの関数であるが、ｎの係数を０にして定数としてもよい。そして、次式（６）のように、ｆ（ｎ）＝｜ｘ−ｎ｜とすれば、座標ｘから距離（座標）が近い座標ｎの画素数Ｓ_nほど重く扱うことになるので、もとのヒストグラムＨＩの特徴を残したまま平滑化後のヒストグラムＨＩ′を生成することができる。

この処理により、図９（ａ）に示すようなヒストグラムＨＩは、図９（ｂ）に示すような、平滑化されたヒストグラムＨＩ′とすることができる。このとき、ヒストグラムＨＩにおいて、局所的に現れていたピークＰ１は、ピークＰ１′のように低くなる。
また、前記した式（５）または式（６）による平滑化処理において、次式（７）を条件とするのが望ましい。

式（７）の条件によれば、注目している座標ｘの右側（ｘが大きい側）または左側（ｘが小さい側）のヒストグラムＨＩの画素数Ｓ_xが全て０の場合に、平滑化後の画素数Ｓｘ′を０にするので、ヒストグラムＨＩの左右端の裾が広がらないようにすることができる。例えば、図９（ｂ）の破線のようにはヒストグラムＨＩの裾が広がらず、実線のようになる。
これにより、隣り合う人物のヒストグラムＨＩが、平滑化の処理によりつながってしまうことを防ぐことができる。

水平範囲設定部２３ｃは、ヒストグラム平滑化部２３ｂにより平滑化されたヒストグラムＨＩ′から、一つの移動物体を抽出するため、輪郭抽出部２４で輪郭抽出処理を行う水平方向の範囲を設定する。
具体的には、平滑化後のヒストグラムＨＩ′において、最も画素数Ｓ_x′が大きい座標ｘ（例えば、図９（ｂ）におけるｘ₁）を、１つの移動物体の中心位置とし、その左右両側の一定範囲（例えば、図９（ｂ）におけるβ）を対象領域の水平方向の範囲として設定する。このβは、人物が手を挙げた場合も含まれるように、人物の幅に相当する画素数か、それよりやや広めとすることができる。さらに、この範囲内で、ヒストグラムが最小となる水平位置（座標ｘ）を検出する。この最小となる水平位置を、一人の人物の左右端とする。

例えば、対象領域の距離、カメラ２の画角および解像度から、人物の一般的な幅よりやや広めの幅として、４０ｃｍに相当する画素数を計算してβを定める。
なお、ヒストグラムＨＩ′から移動物体を抽出する水平方向の範囲を設定する方法は、この例に限られず、抽出対象物の形状的な特徴に応じて適切な方法をとることができる。例えば、ヒストグラムＨＩ′の対称性から設定したり、ピークの数、位置などから設定したりしても良い。

垂直範囲設定部２３ｄは、特定の大きさ（例えば２ｍ）を対象領域の垂直方向の範囲とする。この対象領域の大きさについては、図１０を参照（適宜図１参照）してさらに説明を行う。

図１０は、カメラ２が移動ロボット（図示せず）に組み込まれ、移動物体Ｍと同じ床からある高さ（カメラ高）Ｈに位置しているときに、移動物体Ｍが対象距離画像（ａ′、ｂ′）上のどの高さに位置するかを説明するための説明図である。なお、図１０（ａ）は、カメラ２のチルト角が０（°）の場合、図１０（ｂ）はカメラ２のチルト角がθ_T（≠０）の場合におけるカメラ２と移動物体Ｍとの対応関係を示している。

まず、図１０（ａ）を参照して、チルト角が０（°）の場合において、移動物体Ｍが対象距離画像（ａ′）上で縦方向のどの位置に存在するかを特定する方法について説明する。

ここで、カメラ２の垂直画角をθ_v、カメラ２から移動物体Ｍまでの距離をＬ、対象距離画像（ａ′）の縦方向の解像度をＹ、カメラ２の床からの高さ（カメラ高）をＨ、移動物体Ｍの床からの仮想の高さを２（ｍ）とする。このとき、カメラ２の光軸と、カメラ２から移動物体Ｍの仮想の上端（床から２ｍ）までを結んだ直線との角度θ_Hは次式（８）で表すことができる。

θ_H＝ｔａｎ^-1（（２−Ｈ）／Ｌ） …（８）

これにより、移動物体Ｍの対象距離画像（ａ′）上での上端ｙ_Tは次式（９）で求めることができる。

ｙ_T＝Ｙ／２−θ_HＹ／θ_v
＝Ｙ／２−（Ｙ／θ_v）ｔａｎ^-1（（２−Ｈ）／Ｌ） …（９）

また、カメラ２の光軸と、カメラ２から移動物体Ｍの下端（床）までを結んだ直線との角度θ_Lは次式（１０）で表すことができる。

θ_L＝ｔａｎ^-1（Ｈ／Ｌ） …（１０）

これにより、移動物体Ｍの対象距離画像（ａ′）上での下端ｙ_Bは次式（１１）で求めることができる。

ｙ_B＝Ｙ／２＋θ_LＹ／θ_v
＝Ｙ／２＋（Ｙ／θ_v）ｔａｎ^-1（Ｈ／Ｌ） …（１１）

次に、図１０（ｂ）を参照して、チルト角がθ_T（≠０）の場合において、移動物体Ｍが対象距離画像（ｂ′）上で縦方向のどの位置に存在するかを特定する方法について説明する。

ここで、カメラ２の垂直画角をθ_v、チルト角をθ_T、移動物体Ｍまでの距離をＬ、対象距離画像の縦方向の解像度をＹ、カメラ２の床からの高さ（カメラ高）をＨ、移動物体Ｍの床からの仮想の高さを２（ｍ）とする。このとき、カメラ２の光軸とカメラ２から移動物体Ｍの仮想の上端（床から２ｍ）までを結んだ直線との角度θ_Hと、チルト角θ_Tとの差分角度（θ_H−θ_T）は次式（１２）で表すことができる。

θ_H−θ_T＝ｔａｎ^-1（（２−Ｈ）／Ｌ） …（１２）

これにより、移動物体Ｍの対象距離画像（ｂ′）上での上端ｙ_Tは次式（１３）で求めることができる。

ｙ_T＝Ｙ／２−θ_TＹ／θ_v−（θ_H−θ_T）Ｙ／θ_v
＝Ｙ／２−θ_TＹ／θ_v−（Ｙ／θ_v）ｔａｎ^-1（（２−Ｈ）／Ｌ）
…（１３）

また、カメラ２の光軸とカメラ２から移動物体Ｍの下端（床）までを結んだ直線との角度θ_Lと、チルト角θ_Tとの加算角度（θ_L＋θ_T）は次式（１４）で表すことができる。

θ_L＋θ_T＝ｔａｎ^-1（Ｈ／Ｌ） …（１４）

これにより、移動物体Ｍの対象距離画像（ｂ′）上での下端ｙ_Bは次式（１５）で求めることができる。

ｙ_B＝Ｙ／２−θ_TＹ／θ_v＋（θ_L＋θ_T）Ｙ／θ_v
＝Ｙ／２−θ_TＹ／θ_v＋（Ｙ／θ_v）ｔａｎ^-1（Ｈ／Ｌ） …（１５）

このように求めた対象距離画像（ａ′又はｂ′）の上端ｙ_T及び下端ｙ_Bによって、対象領域の垂直方向の範囲が設定される。
なお、移動ロボット（図示せず）が階段等を昇降し、移動物体Ｍと同一の床に存在しない場合は、移動ロボット本体のエンコーダ等によって昇降量を検出し、その昇降量を移動物体Ｍの床からの高さに対して加算又は減算することで、移動物体Ｍの対象距離画像（ａ′又はｂ′）における縦方向の位置を特定することができる。あるいは、移動ロボットに地図情報を保持しておき、移動物体Ｍの方向及び距離で特定される床の高さを、その地図情報から取得することとしてもよい。

また、対象領域の水平方向の範囲は、例えば、図示していないが、カメラ２の水平画角をθ_h、カメラ２から対象とする移動物体Ｍまでの距離をＬ、対象距離画像の横方向の解像度をＸとすると、対象領域の幅の半分（移動物体の中心からの距離）を０．５（ｍ）としたときの、対象距離画像上での水平画素数α_Hは、次式（１６）で求めることができる。

α_H＝（Ｘ／θ_h）ｔａｎ^-1（０．５／Ｌ） …（１６）
図１に戻って、説明を続ける。

輪郭抽出部（輪郭抽出手段）２４は、対象距離画像生成部２２で生成された対象距離画像において、対象領域設定部２３で設定した移動物体の領域（対象領域）内で、既知の輪郭抽出技術を用いて移動物体の輪郭の抽出を行うものである。

ここで、既知の輪郭抽出としては、例えば、ＳＮＡＫＥＳと呼ばれる動的輪郭モデルを用いることができる。ここで、ＳＮＡＫＥＳとは、閉曲線を予め定義したエネルギーを最小化するように収縮変形させることにより、物体の輪郭を抽出する手法である。ここでは、移動物体の領域（対象領域）内で、エネルギーを算出するための初期値を設定できるため、輪郭抽出のための計算量を軽減させることができる。
さらに、輪郭抽出部２４は、輪郭を抽出した移動物体が人物であるかどうかを判定する肌色領域判定部２４ａを備えることができる。

肌色領域判定部２４ａは、輪郭抽出部２４内で抽出した移動物体の輪郭が、人物の輪郭であるかどうかを判定するものである。この肌色領域判定部２４ａでは、接近してくる移動物体の輪郭を抽出した際に、その輪郭内に肌色領域画像生成部１４で生成された肌色領域画像の肌色領域Ｒ（図５参照）が含まれるかどうかを判定することで、その輪郭が人物の輪郭であるかどうかを判定する。

輪郭抽出部（輪郭抽出手段）２４は、輪郭内の移動物体の検出情報（移動物体の重心や移動物体の移動方向（角度）等）を外部に出力する。なお、ここでは、人物のみを検出することとして、肌色領域判定部２４ａで輪郭が人物のものでないと判定された場合は、外部に移動物体の検出情報を出力しないこととする。このように、この輪郭抽出部２４で輪郭が抽出されることで、移動物体が検出されたことになる。これによって、例えば、図１１に示したように、対象距離画像ＴＤの中で移動物体が一つ（一人）に限定された対象領域Ｔ内で輪郭Ｏを抽出することができる。

以上説明した移動物体検出装置１を、移動ロボット、自動車等の移動体に組み込むことで、人物等の移動物体を検出することが可能になる。例えば、移動ロボットに本発明を適用することで、移動ロボットが、人込みにおいても人物を認識することが可能になる。さらに、人物を個別に検出することができるので、例えば、顔認識等を行うことで、その人物を追跡したり、人物毎に異なる動作を行わせる等の輪郭抽出後の処理が容易になる。

なお、対象距離に複数の移動物体（人物）が存在する場合は、距離情報生成部１１で生成した距離画像において、すでに検出を終了した移動物体の領域を削除（画素値を“０”にする）し、その削除した距離画像で順次移動物体を検出することとしてもよい

以上、一実施の形態として移動物体検出装置１の構成について説明したが、移動物体検出装置１は、一般的なコンピュータにプログラムを実行させ、コンピュータ内の演算装置や記憶装置を動作させることにより実現される。

また、ここでは、移動物体検出装置１の距離情報生成部１１が、２台のカメラ２で撮像した撮像画像に基づいて距離画像を生成したが、３台以上のカメラを用いて距離画像を生成することとしてもよい。例えば、３行３列に配置した９台のカメラで、中央に配置したカメラを基準カメラとして、他のカメラとの視差に基づいて距離画像を生成することで、移動物体までの距離をより正確に測定することもできる。

また、ここでは、移動物体検出装置１を、人物を検出ための装置として構成した。しかし、人物と限定せずに移動物体を検出する場合は、移動物体検出装置１から、肌色領域画像生成部１４及び肌色領域判定部２４ａを削除して構成してもよい。

（移動物体検出装置の動作）
次に、図２乃至図４を参照（適宜図１参照）して、移動物体検出装置１の動作について説明する。図２乃至図４は、移動物体検出装置１の動作を示すフローチャートである。

＜撮像画像入力ステップ＞
まず、移動物体検出装置１は、同期した２台のカメラ２から時系列に撮像画像を入力する（ステップＳ１）。ここでは、ある時刻ｔに右カメラ２ａ（基準カメラ）と左カメラ２ｂとから入力された撮像画像と、次の時刻ｔ＋Δｔに右カメラ２ａ（基準カメラ）と左カメラ２ｂとから入力された撮像画像とに基づいて、移動物体を抽出する。なお、以下のステップで用いられている距離画像Ｄ_t-1及びＤ_t-2、対象距離画像ＴＤ_t-2及びＴＤ_t-1は、時刻ｔ−２及び時刻ｔ−１の段階で生成されたものである。

＜距離画像生成ステップ＞
そして、移動物体検出装置１は、距離情報生成部１１によって、時刻ｔに右カメラ２ａ（基準カメラ）と左カメラ２ｂとから入力された２枚の撮像画像から、撮像対象までの視差（距離）を埋め込んだ距離画像Ｄ_tを生成する（ステップＳ２）。

＜差分画像生成ステップ＞
さらに、移動物体検出装置１は、動き情報生成部１２によって、右カメラ２ａ（基準カメラ）で時刻ｔと時刻ｔ＋Δｔに撮像された２枚の撮像画像（基準撮像画像）の差分をとり、差のあった画素を画素値“１”、差のなかった画素を画素値“０”とした差分画像ＤＩ_tを生成する（ステップＳ３）。

＜エッジ画像生成ステップ＞
また、移動物体検出装置１は、エッジ画像生成部１３によって、右カメラ２ａ（基準カメラ）で時刻ｔに撮像された撮像画像（基準撮像画像）からエッジ画像ＥＤ_tを生成する（ステップＳ４）。

＜肌色領域画像生成ステップ＞
さらに、移動物体検出装置１は、肌色領域画像生成部１４によって、右カメラ２ａ（基準カメラ）で時刻ｔに撮像された撮像画像（基準撮像画像）から肌色領域を抽出した肌色領域画像ＳＡ_tを生成する（ステップＳ５）。

＜対象距離設定ステップ＞
また、移動物体検出装置１は、対象距離設定部２１によって、ステップＳ２及びステップＳ３で生成した距離画像Ｄ_t及び差分画像ＤＩ_t（時刻ｔと時刻ｔ＋Δｔの差分画像）から、距離画像Ｄ_tで表された視差（距離）毎に、動きのあった画素数を累計し、その累計が最大となる距離を、距離画像Ｄ_tにおける検出対象となる移動物体の対象距離ｄ_t（幅のある距離）として設定する（ステップＳ６）。

＜対象距離画像生成ステップ＞
そして、移動物体検出装置１は、対象距離画像生成部２２によって、ステップＳ４で生成したエッジ画像ＥＤ_tから、対象距離ｄ_tの画素を抽出した対象距離画像ＴＤ_tを生成する（ステップＳ７）。
このステップＳ７によって、移動物体検出装置１は、時刻ｔにおける距離画像Ｄ_tにおいて、移動物体が存在する奥行き方向の範囲を設定することができる。

＜対象領域設定ステップ＞
そして、移動物体検出装置１は、対象領域設定部２３のヒストグラム生成部２３ａによって、ステップＳ７で生成した対象距離画像ＴＤ_tの垂直方向（縦方向）の画素数をカウントしてヒストグラム化する（ステップＳ８）。
このように対象距離画像ＴＤをヒストグラム化することで、多くの場合、そのヒストグラムＨＩが最大となる位置に移動物体の中心の水平位置が存在すると判定することが可能になる。

次に、移動物体検出装置１は、ヒストグラム平滑化部２３ｂにおいて、前記した式（６）および式（７）により、ヒストグラムＨＩを平滑化する（ステップＳ９）。
図８のヒストグラムＨＩのように、移動物体である人物が手を上げた場合、その手が位置する水平方向の座標（ｘ座標）でヒストグラムＨＩに局所的なピークＰ１が発生することがある。
そのため、本実施形態では、ヒストグラム平滑化部２３ｂにより、ヒストグラムＨＩの平滑化を行い、図９（ａ）のヒストグラムＨＩを、図９（ｂ）のヒストグラムＨＩ′のようにする。この処理により、手を上げた部分の局所的なピークＰ１が、ピークＰ１′のように小さくなり、移動物体（人物）の中央部分の画素数が相対的に大きくなる。

さらに、ヒストグラムが最大となる位置ｘ₁（図９（ｂ）参照）を中心に、所定の左右の範囲を対象領域の水平方向範囲として設定する（ステップＳ１０）。ここでは、人物を検出することとして、移動ベクトルとカメラ２の視線方向とのなす角度が４５°未満の場合は、中心の位置ｘ₁±（０．５〜０．６）ｍを、人物を検出するための水平方向範囲とする。また、移動ベクトルとカメラ２の視線方向とのなす角度が４５°以上の場合は、中心の位置ｘ₁±（０．２〜０．３）ｍを、人物を検出するための水平方向範囲とする。

さらに、対象領域設定部２３では、カメラ２から入力されるチルト角、床（設置面）からの高さ等のカメラパラメータに基づいて、対象距離画像ＴＤ_tで対象領域の垂直（上下）方向の範囲を設定する（ステップＳ１１）。

例えば、カメラ２のチルト角、床からの高さに基づいて、対象距離画像における画像中の床の位置（対象領域の下端）を求める。そして、カメラ２の画角と移動物体までの距離とに基づいて、床から２ｍまでの範囲を、画素数に換算することにより対象領域の対象距離画像における床からの画素数を求める。これによって、対象距離画像における対象領域の上端を求めることができる。この対象領域の上端は、カメラ２のチルト角、床からの高さに基づいて、対象距離画像における画像中の２ｍの位置（高さ）を直接求めることとしてもよい。なお、この２ｍは、一例であって、他の長さ（高さ）であっても構わない。

＜輪郭抽出ステップ＞
また、移動物体検出装置１は、輪郭抽出部２４によって、ステップＳ７で生成した対象距離画像ＴＤ_tにおいて、ステップＳ１０及びステップＳ１１で設定した対象領域内で輪郭の抽出を行う（ステップＳ１２）。例えば、対象領域内で動的輪郭モデル（ＳＮＡＫＥＳ）を適用することによって輪郭の抽出を行う。

そして、輪郭の抽出に成功したかどうかを判定する（ステップＳ１３）。なお、ここで輪郭抽出の成功及び失敗の判定は、ステップＳ１２において輪郭が抽出できたかどうかの判定だけではなく、例えば、対象距離が予め定めた距離よりも遠い場合や、対象領域が予め定めた大きさよりも小さい場合等の理由によって、物体の輪郭抽出を行わないとする判定をも含むものとする。

このステップＳ１３で輪郭の抽出に成功した場合（Ｙｅｓ）は、ステップＳ１４へ進む。一方、輪郭の抽出に失敗した（あるいは抽出を行わない）場合（Ｎｏ）は、本動作を終了する。

＜人物抽出ステップ＞
移動物体の輪郭抽出に成功した場合、移動物体検出装置１は、輪郭抽出部２４の肌色領域判定部２４ａによって、ステップＳ５で生成した肌色領域画像ＳＡ_tの肌色領域が、輪郭抽出部２４内で抽出した移動物体の輪郭に含まれるかどうかを判定することで、その輪郭が人物の輪郭であるかどうかを判定する（ステップＳ１４）。

ここで、肌色領域判定部２４ａが、移動物体の輪郭を人物の輪郭であると判定した場合（Ｙｅｓ）は、輪郭抽出部２４が移動物体の検出情報を生成し、外部へ出力し（ステップＳ１５）、ステップＳ１６へ進む。この移動物体の検出情報には、移動物体の重心座標、カメラ２のチルト角や移動物体の移動方向を示す各種角度等の情報が含まれる。一方、肌色領域判定部２４ａが、移動物体の輪郭を人物の輪郭でないと判定した場合（ステップＳ１４：Ｎｏ）は、ステップＳ１６へ進む。

＜移動物体動作判定ステップ＞
そして、移動物体検出装置１がステップＳ１５で移動物体の検出情報を出力することで、例えば、移動ロボットの制御装置（図示せず）が、その移動物体の動作を判定する（ステップＳ１６）。

以上の各ステップによって、本実施の形態の移動物体検出装置１は、カメラ２から入力された撮像画像により、その撮像画像に存在する移動物体を検出することができる。なお、ここでは、ある時刻ｔにおいて移動物体を検出したが、時々刻々と入力される撮像画像に基づいて、前記ステップ（ステップＳ１〜ステップＳ１６）を動作させることで、例えば、移動ロボット等の移動体が、人物を検出し続けることができる。

本発明の移動物体検出装置の全体構成を示すブロック図である。 本発明の移動物体検出装置の動作を示すフローチャート（１／３）である。 本発明の移動物体検出装置の動作を示すフローチャート（２／３）である。 本発明の移動物体検出装置の動作を示すフローチャート（３／３）である。 距離画像、エッジ画像、肌色領域画像及び差分画像の内容の一例を示す図である。 距離画像及び差分画像の内容の一例を示す図である。 視差（距離）毎の動き量（画素数）に基づいて、対象距離画像を生成するための手順を説明するための説明図である。 対象距離画像から垂直方向の画素数の累計が最大となる位置をヒストグラムによって示した図である。 ヒストグラムの平滑化処理の例を示す図であり、（ａ）が平滑化前、（ｂ）が平滑化後を示す。 カメラパラメータに基づいて、移動物体が対象距離画像上のどの高さに位置するかを算出する手順を説明するための説明図である。 対象距離画像の対象領域で輪郭を抽出した例を示す図である。

符号の説明

１ 移動物体検出装置
２ カメラ（撮像手段）
１０ 入力画像解析手段
１１ 距離情報生成部（距離情報生成手段）
１２ 動き情報生成部（動き情報生成手段）
１３ エッジ画像生成部（エッジ画像生成手段）
１４ 肌色領域画像生成部
２０ 物体検出手段
２１ 対象距離設定部（対象距離設定手段）
２２ 対象距離画像生成部（対象距離画像生成手段）
２３ 対象領域設定部（対象領域設定手段）
２３ａ ヒストグラム生成部
２３ｂ ヒストグラム平滑化部
２３ｃ 水平範囲設定部
２３ｄ 垂直範囲設定部
２４ 輪郭抽出部（輪郭抽出手段）
２４ａ 肌色領域判定部

Claims (11)

1. 同期した複数のカメラで撮像対象を撮像した複数の撮像画像から、移動物体を検出する移動物体検出装置であって、
   前記複数の撮像画像の視差に基づいて、前記撮像対象までの距離を距離情報として生成する距離情報生成手段と、
   前記複数のカメラの中の少なくとも一つのカメラから、時系列に入力される撮像画像の差分に基づいて、前記移動物体の動きを動き情報として生成する動き情報生成手段と、
   前記距離情報に含まれる距離毎に、前記動き情報に含まれる動きのあった画素値を累計し、前記累計値が最大となる距離を、前記移動物体が存在する対象距離として設定する対象距離設定手段と、
   前記距離情報に基づいて、前記対象距離設定手段で設定された対象距離に対応する画素からなる対象距離画像を生成する対象距離画像生成手段と、
   前記対象距離画像内に、少なくとも前記対象距離に対応して、前記移動物体を検出する対象となる対象領域を設定する対象領域設定手段と、
   この対象領域設定手段で設定された対象領域から輪郭を抽出することで、前記移動物体を検出する輪郭抽出手段と、
   を備え、
   前記対象領域設定手段は、前記対象距離画像において、水平方向の座標ごとに垂直方向に画素数をカウントしてヒストグラムを生成した後、このヒストグラムを平滑化し、平滑化後のヒストグラムのうち、最も画素数が大きい座標を前記移動物体の中心として、前記対象領域を設定することを特徴とする移動物体検出装置。
2. 前記撮像画像の各画素の色情報又は濃淡情報に基づいて、その撮像画像のエッジを抽出したエッジ画像を生成するエッジ画像生成手段をさらに備え、
   前記対象距離画像生成手段は、前記エッジ画像において、前記対象距離設定手段で設定された対象距離に対応する画素を抽出して前記対象距離画像を生成することを特徴とする請求項１に記載の移動物体検出装置。
3. 前記対象距離画像生成手段は、前記撮像画像において、前記対象距離設定手段で設定された対象距離に対応する画素を抽出して前記対象距離画像を生成することを特徴とする請求項１に記載の移動物体検出装置。
4. 前記対象距離画像生成手段は、前記距離画像において、前記対象距離設定手段で設定された対象距離に対応する画素を抽出して前記対象距離画像を生成することを特徴とする請求項１に記載の移動物体検出装置。
5. 前記対象領域設定手段における平滑化は、次式により行うことを特徴とする請求項１または請求項１から請求項４のいずれか１項に記載の移動物体検出装置。
   

   

   但し、Ｓ_xは、前記ヒストグラムにおける水平方向の座標ｘの画素数、Ｓ_x′は、平滑化後の座標ｘにおける画素数、ｘ₀は、正の定数、ｆ（ｎ）は、ｎの関数または定数とする。
6. 前記対象領域設定手段における平滑化の式においてｆ（ｎ）＝｜ｘ−ｎ｜としたことを特徴とする請求項５に記載の移動物体検出装置。
7. 前記対象領域設定手段における平滑化は、さらに次式の条件を有することを特徴とする請求項５または請求項６に記載の移動物体検出装置。
   

   
8. 前記対象領域設定手段は、前記平滑化後のヒストグラムにおいて、画素数が最大となる座標ｘから所定範囲を前記移動物体の水平方向の範囲として設定することを特徴とする請求項１から請求項７のいずれか１項に記載の移動物体検出装置。
9. 前記対象領域設定手段は、少なくとも前記撮像手段のチルト角及び設置面からの高さに基づいて、前記対象領域の垂直方向の範囲を設定することを特徴とする請求項１から請求項８のいずれか１項に記載の移動物体検出装置。
10. 同期した複数のカメラで撮像対象を撮像した複数の撮像画像から、移動物体を検出する移動物体検出方法であって、
    前記複数の撮像画像の視差に基づいて、前記撮像対象までの距離を距離情報として生成する距離情報生成ステップと、
    前記複数のカメラの中の少なくとも一つのカメラから、時系列に入力される撮像画像の差分に基づいて、前記移動物体の動きを動き情報として生成する動き情報生成ステップと、
    前記距離情報に含まれる距離毎に、前記動き情報に含まれる動きのあった画素値を累計し、前記累計値が最大となる距離を、前記移動物体が存在する対象距離として設定する対象距離設定ステップと、
    前記距離情報に基づいて、前記対象距離設定手段で設定された対象距離に対応する画素からなる対象距離画像を生成する対象距離画像生成ステップと、
    前記対象距離画像内に、少なくとも前記対象距離に対応して、前記移動物体を検出する対象となる対象領域を設定する対象領域設定ステップと、
    この対象領域設定手段で設定された対象領域から輪郭を抽出することで、前記移動物体を検出する輪郭抽出ステップと、
    を有し、
    前記対象領域設定ステップは、前記対象距離画像において、水平方向の座標ごとに垂直方向に画素数をカウントしてヒストグラムを生成した後、このヒストグラムを平滑化し、平滑化後のヒストグラムのうち、最も画素数が大きい座標を前記移動物体の中心として、前記対象領域を設定することを特徴とする移動物体検出方法。
11. 同期した複数のカメラで撮像対象を撮像した複数の撮像画像から、移動物体を検出するために、コンピュータを、
    前記複数の撮像画像の視差に基づいて、前記撮像対象までの距離を距離情報として生成する距離情報生成手段、
    前記複数のカメラの中の少なくとも一つのカメラから、時系列に入力される撮像画像の差分に基づいて、前記移動物体の動きを動き情報として生成する動き情報生成手段、
    前記距離情報に含まれる距離毎に、前記動き情報に含まれる動きのあった画素値を累計し、前記累計値が最大となる距離を、前記移動物体が存在する対象距離として設定する対象距離設定手段、
    前記距離情報に基づいて、前記対象距離設定手段で設定された対象距離に対応する画素からなる対象距離画像を生成する対象距離画像生成手段、
    前記対象距離画像内に、少なくとも前記対象距離に対応して、前記移動物体を検出する対象となる対象領域を設定する対象領域設定手段、
    この対象領域設定手段で設定された対象領域から輪郭を抽出することで、前記移動物体を検出する輪郭抽出手段、
    として機能させ、
    前記対象領域設定手段は、前記対象距離画像において、水平方向の座標ごとに垂直方向に画素数をカウントしてヒストグラムを生成した後、このヒストグラムを平滑化し、平滑化後のヒストグラムのうち、最も画素数が大きい座標を前記移動物体の中心として、前記対象領域を設定することを特徴とする移動物体検出プログラム。

Images