JP4272538B2 - 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム - Google Patents

移動物体検出装置、移動物体検出方法及び移動物体検出プログラム Download PDF

Info

Publication number
JP4272538B2
JP4272538B2 JP2004000569A JP2004000569A JP4272538B2 JP 4272538 B2 JP4272538 B2 JP 4272538B2 JP 2004000569 A JP2004000569 A JP 2004000569A JP 2004000569 A JP2004000569 A JP 2004000569A JP 4272538 B2 JP4272538 B2 JP 4272538B2
Authority
JP
Japan
Prior art keywords
target
distance
moving object
image
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004000569A
Other languages
English (en)
Other versions
JP2005196359A (ja
Inventor
貴通 嶋田
信男 檜垣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2004000569A priority Critical patent/JP4272538B2/ja
Priority to US11/015,796 priority patent/US7376250B2/en
Priority to DE102005000646A priority patent/DE102005000646B4/de
Publication of JP2005196359A publication Critical patent/JP2005196359A/ja
Application granted granted Critical
Publication of JP4272538B2 publication Critical patent/JP4272538B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Description

本発明は、移動物体検出装置、移動物体検出方法及び移動物体検出プログラムに関し、より詳しくは、撮像した画像の中から移動する人間の輪郭を抽出する装置、方法及びプログラムに関する。
従来、ＣＣＤ等を使用したビデオカメラ（以下、単に「カメラ」という。）によって撮像された画像から、その画像上に存在する物体を検出する技術として、例えば、画像内で物体の初期の曖昧な輪郭を輪郭モデルとして設定し、その輪郭モデルを所定の規則にしたがって収縮変形することで物体の輪郭を抽出して物体を検出する技術（動的輪郭モデル：ＳＮＡＫＥＳ）が知られている。なお、この輪郭抽出に基づいた物体検出技術においては、時間的に連続した画像により、動きのある物体（移動物体）のエッジを検出し、輪郭モデルをそのエッジに連結させることで、移動物体の輪郭を抽出して移動物体を検出している（例えば、特許文献１参照）。
また、移動カメラで撮像した画像から移動物体を検出する技術としては、時間的に連続する画像の輝度情報から移動カメラの動きを解析し、その動きを背景の動きであると仮定し、連続する画像の差分と背景の動きとに基づいて、移動物体の領域を検出し、輪郭として抽出する技術が存在する（例えば、非特許文献１参照）。
しかし、前記した第１の例（特許文献１）では、撮像した画像上で、複数の物体が隣接して存在する場合、その複数の物体を一つの物体として認識してしまうという問題があった。また、前記した第２の例（非特許文献１）では、移動カメラで撮像された画像全体を輪郭抽出の対象領域として処理を行うため、計算量が多くなり、リアルタイムに移動物体の輪郭を抽出するためには高速の演算装置が必要になるという問題がある。さらに、第２の例においても、第１の例と同様に、複数の物体が隣接して存在する場合、その複数の物体を一つの物体として認識してしまうという問題があった。
そこで、本件出願人は、特願２００２−３３４９７０において、上記従来技術の問題点を解消するための技術を出願している。具体的には、２つのＣＣＤカメラで撮像対象を撮像してカメラの視差から撮像対象までの距離情報を生成するとともに、ある時間間隔で撮像対象を撮像して時系列に取得される撮像画像の差分から動き情報を生成する。そして、これらの情報から動きがあった画素の累計値を距離ごとに求めて、この動きがあった画素の累計値がもっとも大きい距離を移動物体までの距離（対象距離）とし、この対象距離から奥行き方向の所定範囲内に存在する画素から対象距離画像を生成する。さらに、この対象距離画像を構成する画素の垂直方向の画素数をヒストグラムにして，そのピークから所定範囲に対象領域を設定し、この対象領域から輪郭を抽出して移動物体を検出している。すなわち、かかる技術は、図１３（ａ）に示すように、対象画像を構成する画素の縦方向の合計数（画素数）が最大となる位置を移動物体探索領域の中心として、複数の物体から個別の物体を抽出するものである。
しかしながら、例えば、図１３（ｂ）に示すように、移動物体である人間が手を上げている場合には、当該手の位置の縦方向の画素数がもっとも大きくなる場合がある。そのため、従来の移動物体検出技術のように、対象画像を構成する画素の縦方向の累計値が最大となる位置を移動物体の探索領域の中心に定めると、当該手の位置が探索領域の中心となってしまい、探索領域が移動物体の左右どちらかにぶれて、輪郭が正しく抽出されないことがあった。
また、移動物体の探索領域は、探索領域の中心線から、実空間で人を十分に包含できる範囲（例えば、図１３では左右５０ｃｍずつ）に固定されている。そのため、人が並んで立っている場合には、隣にいる人まで当該探索領域に含まれてしまい、個別の輪郭を正確に抽出できないことがあった。
本発明は、このような問題を解決するためになされたものであり、移動物体の中心と画素の累計値のピークとが異なる場合にも、移動体の中心を高い精度で検出して、接近した複数の移動物体の中から個別の移動物体の輪郭を抽出することができる移動物体抽出装置を提供することを目的とする。
請求項１に係る移動物体検出装置は、同期した複数のカメラで、撮像対象を撮像した複数の撮像画像から、前記撮像対象内に存在する移動物体を検出する移動物体検出装置であって、前記複数の撮像画像の視差に基づいて、前記撮像対象までの距離を距離情報として生成する距離情報生成手段と、前記複数のカメラの中の少なくとも一つのカメラから、時系列に入力される撮像画像の差分に基づいて、前記移動物体の動きを動き情報として生成する動き情報生成手段と、前記距離情報に含まれる距離毎に、前記動き情報に含まれる動きのあった画素値を累計し、前記累計値が最大となる距離を、前記移動物体が存在する対象距離として設定する対象距離設定手段と、前記距離情報に基づいて、前記対象距離設定手段で設定された対象距離に対応する画素からなる対象距離画像を生成する対象距離画像生成手段と、前記対象距離画像内に、少なくとも前記対象距離に対応して、前記移動物体を検出する対象となる対象領域を設定する対象領域設定手段と、この対象領域設定手段で設定された対象領域から輪郭を抽出することで、前記移動物体を検出する輪郭抽出手段と、を備え、前記対象領域設定手段は、前記対象距離画像において、水平方向の座標毎に垂直方向の画素数をカウントしてヒストグラムを生成した後、前記ヒストグラムの極大点及び極小点を抽出し、当該極大点及び極小点のうちの連続する３点ごとに、両端の点の垂直方向の画素数の差と、中央の点と両端の点とをそれぞれ結んだ２つの直線の傾きの差とを計算し、前記画素数の差と前記傾きの差とが最も小さい前記３点のうちの中央の点を、最も対称性の高い点と判定し、この最も対称性が高い点に基づいて前記対象領域を設定することを特徴とする。
かかる構成によれば、移動物体検出装置は、前記対象領域設定手段によって、前記対象距離画像において、水平方向の座標毎に垂直方向の画素数をカウントしてヒストグラムを生成した後、当該ヒストグラムの対称性を判定し、最も対称性が高い点に基づいて前記対象領域を設定することから、ヒストグラムのピークが移動物体の中心と一致していなくても、ヒストグラムの対称性に基づいて移動物体の中心を検出し、対象領域を設定することができる。
とくに、移動物体が人間である場合、人間の体は正面から見て略左右対称であることから、体の中心付近のヒストグラムは左右対称となる傾向がある。したがって、移動物体である人間が手を上げたりして、ヒストグラムのピークが中心位置とずれていても、ヒストグラムの対称性が最も高い位置に基づいて対象領域を設定することにより、移動物体（人間）の中心に高い精度で対象領域を設定することができる。
なお、対象距離画像の垂直方向の画素数をカウントしてヒストグラムを生成した後に、以下に示す（１）式によって、当該ヒストグラムを平滑化するのが望ましい。
Figure 0004272538
 但し、Ｓxは、前記ヒストグラムにおける座標ｘの画素数、Ｓx′は、平滑化後の座標ｘにおける画素数、ｘ0は、正の定数、ｆ（ｎ）は、ｎの関数または定数とする。
ヒストグラムを平滑化することにより、ヒストグラムの対称性を判定し易くなり、中心位置の検出精度が向上する。また、平滑化することによって極大点及び極小点の数が少なくなり、対称性の抽出にかかる計算量を削減することができる。
また、かかる構成によれば、移動物体検出装置は、対象距離設定手段によって、距離情報に含まれる視差（距離）毎に、動き情報に含まれる動きのあった画素値を累計（ヒストグラム化）し、その累計値が最も多くなる視差（距離）に、最も動き量の多い移動物体が存在していると判定し、その視差（距離）を対象距離として設定する。このように、画素を累計するという簡単な動作で対象と距離を設定することができ、処理を高速化することができる。
また、かかる構成によれば、対象領域設定手段は、前記ヒストグラムの極大点及び極小点を抽出し、当該極大点及び極小点のうちの連続する３点ごとに、両端の点の垂直方向の画素数の差と、中央の点と両端の点とをそれぞれ結んだ２つの直線の傾きの差とを計算し、前記画素数の差と前記傾きの差とが最も小さい前記３点のうちの中央の点を、最も対称性の高い点と判定することから、前記画素数の差と前記傾きの差とをヒストグラムの対称性のパラメータとして最も対称性の高い点を判定することができる。
請求項２に係る移動物体検出装置は、請求項１に記載の移動物体検出装置であって、前記対象距離画像生成手段は、少なくとも前記対象距離を基準として奥行き方向の所定範囲内に存在する画素からなる対象距離画像を生成することを特徴とする。
かかる構成によれば、移動物体検出装置は、対象距離画像生成手段によって、例えば、対象距離を基準とした奥行き方向（前後方向）で、予め定めた範囲（所定範囲）内に存在する画素のみを抽出することで対象距離画像を生成する。これによって、同一方向に複数移動物体が存在していても、その中から対象距離に存在する移動物体を特定した対象距離画像を生成することができる。
請求項３に係る移動物体検出装置は、請求項１又は請求項２に記載の移動物体検出装置であって、前記対象領域設定手段は、前記ヒストグラムにおいて、最も対称性が高いと判定された極大点又は極小点の水平方向の座標から所定範囲を、前記対象領域の水平方向の範囲として設定することを特徴とする。
かかる構成によれば、移動物体検出装置は、前記対象領域設定手段によって、前記ヒストグラムにおいて、最も対称性が高いと判定された極大点又は極小点の水平方向の座標から所定範囲を、前記対象領域の水平方向の範囲として設定する。これにより、対象距離画像内に設定される対象領域の水平範囲を設定することができる。
請求項４に係る移動物体検出装置は、請求項１から請求項３のいずれか１項に記載の移動物体検出装置であって、前記対象領域設定手段は、少なくとも前記カメラのチルト角及び設置面からの高さに基づいて、その対象領域の垂直方向の範囲を設定することを特徴とする。
かかる構成によれば、移動物体検出装置は、移動物体が存在する対象領域を設定する際に、対象領域設定手段によって、カメラのチルト角や、そのカメラの基準となる設置面からの高さ等のカメラパラメータに基づいて、移動物体の垂直方向の存在領域の範囲を設定する。例えば、移動物体の高さを特定の大きさ（人間であれば２ｍ等）に定めることで、その大きさとカメラパラメータとに基づいて、移動物体が対象距離画像内のどの範囲に位置するかを特定することができる。
請求項５に係る移動物体検出装置は、請求項１から請求項４のいずれか１項に記載の移動物体検出装置であって、前記撮像画像の各画素の色情報又は濃淡情報に基づいて、その撮像画像のエッジを抽出したエッジ画像を生成するエッジ画像生成手段を備え、前記対象距離画像生成手段が、前記距離情報に基づいて、前記対象距離に対応する前記エッジ画像の画素を抽出して、前記対象距離画像を生成することを特徴とする。
かかる構成によれば、移動物体検出装置は、エッジ画像生成手段によって、撮像画像の色情報又は濃淡情報から、撮像画像のエッジを抽出したエッジ画像を生成する。例えば、撮像画像の明るさ（輝度）に基づいて、その明るさが大きく変化する部分をエッジとして検出することで、エッジのみからなるエッジ画像を生成する。なお、撮像画像がカラー画像で、移動物体を人物として特定する場合は、例えば、人物の顔の色（肌色）等を色情報として検出することで、エッジを検出することも可能である。
そして、移動物体検出装置は、対象距離画像生成手段によって、エッジ画像から対象距離の範囲内に存在する対象距離画像を生成する。これによって、輪郭抽出手段が対象距離画像から輪郭を抽出する際に、エッジを検出する動作を省くことができる。
請求項６に係る移動物体検出装置は、請求項１から請求項５のいずれか１項に記載の移動物体検出装置であって、前記輪郭抽出手段で抽出された輪郭の内部領域を、前記移動物体の抽出済領域として、前記距離情報を更新する距離情報更新手段を備えたことを特徴とする。
かかる構成によれば、移動物体検出装置は、距離情報更新手段によって、輪郭抽出手段で抽出された輪郭の内部領域を、すでに移動物体の輪郭を抽出した抽出済領域とすることで、距離情報を更新する。これにより、すでに抽出された移動物体の情報が距離情報から削除されることになるので、別の移動物体を順次検出することが可能になる。
請求項７に係る移動物体検出方法は、同期した複数のカメラで、撮像対象を撮像した複数の撮像画像から、前記撮像対象内に存在する移動物体を検出する移動物体検出方法であって、前記複数の撮像画像の視差に基づいて、前記撮像対象までの距離を距離情報として生成する距離情報生成ステップと、前記複数のカメラの中の少なくとも一つのカメラから、時系列に入力される撮像画像の差分に基づいて、前記移動物体の動きを動き情報として生成する動き情報生成ステップと、前記距離情報に含まれる距離毎に、前記動き情報に含まれる動きのあった画素値を累計し、前記累計値が最大となる距離を、前記移動物体が存在する対象距離として設定する対象距離設定ステップと、前記距離情報に基づいて、前記対象距離設定ステップで設定された対象距離に対応する画素からなる対象距離画像を生成する対象距離画像生成ステップと、前記対象距離画像内に、少なくとも前記対象距離に対応して、前記移動物体を検出する対象となる対象領域を設定する対象領域設定ステップと、この対象領域設定ステップで設定された対象領域から輪郭を抽出することで、前記移動物体を検出する輪郭抽出ステップと、を備え、前記対象領域設定ステップは、前記対象距離画像において、水平方向の座標毎に垂直方向の画素数をカウントしてヒストグラムを生成した後、前記ヒストグラムの極大点及び極小点を抽出し、当該極大点及び極小点のうちの連続する３点ごとに、両端の点の垂直方向の画素数の差と、中央の点と両端の点とをそれぞれ結んだ２つの直線の傾きの差とを計算し、前記画素数の差と前記傾きの差とが最も小さい前記３点のうちの中央の点を、最も対称性の高い点と判定し、この最も対称性が高い点に基づいて前記対象領域を設定することを特徴とする。
請求項８に係る移動物体検出プログラムは、同期した複数のカメラで、撮像対象を撮像した複数の撮像画像から、前記撮像対象内に存在する移動物体を検出するために、コンピュータを、前記複数の撮像画像の視差に基づいて、前記撮像対象までの距離を距離情報として生成する距離情報生成手段、前記複数のカメラの中の少なくとも一つのカメラから、時系列に入力される撮像画像の差分に基づいて、前記移動物体の動きを動き情報として生成する動き情報生成手段、前記距離情報に含まれる距離毎に、前記動き情報に含まれる動きのあった画素値を累計し、前記累計値が最大となる距離を、前記移動物体が存在する対象距離として設定する対象距離設定手段、前記距離情報に基づいて、前記対象距離設定手段で設定された対象距離に対応する画素からなる対象距離画像を生成する対象距離画像生成手段、前記対象距離画像内に、少なくとも前記対象距離に対応して、前記移動物体を検出する対象となる対象領域を設定する対象領域設定手段、この対象領域設定手段で設定された対象領域から輪郭を抽出することで、前記移動物体を検出する輪郭抽出手段、として機能させる。そして、前記対象領域設定手段は、前記対象距離画像において、水平方向の座標毎に垂直方向の画素数をカウントしてヒストグラムを生成した後、前記ヒストグラムの極大点及び極小点を抽出し、当該極大点及び極小点のうちの連続する３点ごとに、両端の点の垂直方向の画素数の差と、中央の点と両端の点とをそれぞれ結んだ２つの直線の傾きの差とを計算し、前記画素数の差と前記傾きの差とが最も小さい前記３点のうちの中央の点を、最も対称性の高い点と判定し、この最も対称性が高い点に基づいて前記対象領域を設定することを特徴とする。
本発明によれば、移動物体の中心と画素の累計値のピークとが異なる場合にも、移動体の中心を高い精度で検出して、接近した複数の移動物体の中から個別の移動物体の輪郭を抽出することができる。
さらに、本発明によれば、カメラのチルト角や、床からの高さに基づいて、対象距離画像における移動物体の垂直方向の範囲を絞り込むことができるため、輪郭抽出にかかる計算量を抑え、移動物体の検出にかかる処理速度を早めることができる。
また、本発明によれば、予め撮像画像からエッジを抽出したエッジ画像を生成しておくため、個々の移動物体の領域（対象領域）に対する輪郭抽出時にエッジを検出する必要がない。このため、移動物体が撮像画像上に複数繋がって存在する場合であっても、重複した領域でエッジの抽出を行わないため、高速に移動物体を検出することが可能になる。
以下、本発明の実施形態について図面を参照して説明する。
（移動物体検出装置の構成）
図１は、本実施形態に係る移動物体検出装置の構成を示したブロック図である。図１に示すように、移動物体検出装置１は、２台のカメラ２で撮像された撮像画像から、動きを伴う物体（移動物体）を検出するものである。ここでは、移動物体検出装置１を、入力された撮像画像を解析する入力画像解析手段１０と、解析された撮像画像から物体を検出する物体検出手段２０とで構成した。なお、２台のカメラ２は、左右に距離Ｂだけ離れて配置されており、それぞれを右カメラ２ａ及び左カメラ２ｂとする。
入力画像解析手段１０は、撮像対象を撮像した２台のカメラ２から同期して入力される撮像画像を解析して、距離情報を含んだ距離画像と動き情報を含んだ差分画像とエッジ情報を含んだエッジ画像とを生成するものである。ここでは、入力画像解析手段１０を、距離情報生成部１１と、動き情報生成部１２と、エッジ画像生成部１３とで構成した。
距離情報生成部（距離情報生成手段）１１は、同時刻に右カメラ２ａと左カメラ２ｂとで撮影された２枚の撮像画像の視差を、カメラ２からカメラ２で撮像した撮像対象までの距離情報（より正確には、カメラ２の焦点位置からの距離）として埋め込み、距離画像として生成するものである。
この距離情報生成部１１では、右カメラ２ａを基準カメラ（基準カメラ）として、この基準カメラ（右カメラ２ａ）で撮像された撮像画像（基準撮像画像）と、左カメラ２ｂで撮像された撮像画像（同時刻撮像画像）とで、特定の大きさのブロック（例えば１６×１６画素）でブロックマッチングを行うことで、基準撮像画像からの視差を計測する。そして、その視差の大きさ（視差量）を基準撮像画像の各画素に対応付けた距離画像を生成する。
なお、視差をＺとしたとき、この視差Ｚに対応するカメラ２から物体までの距離Ｄ（図示せず）は、カメラ２の焦点距離をｆ（図示せず）、右カメラ２ａと左カメラ２ｂとの距離をＢとすると、（２）式で求めることができる。
Ｄ＝Ｂ×ｆ／Ｚ …（２）
動き情報生成部（動き情報生成手段）１２は、基準カメラ（右カメラ２ａ）で時系列に撮像された２枚の撮像画像の差分に基づいて、撮像画像内の移動物体の動きを動き情報として埋め込んだ、差分画像を生成するものである。
この動き情報生成部１２では、右カメラ２ａを基準カメラとして、この基準カメラ（右カメラ２ａ）で時系列（時刻ｔ及び時刻ｔ＋１）に撮像された２枚の撮像画像の差分をとる。そして、差のあった画素には動きのあった画素として画素値“１”を与え、差のなかった画素には動きのなかった画素として画素値“０”を与えた差分画像を生成する。なお、動き情報生成部１２では、さらに差分画像に対して、メディアンフィルタ等のフィルタリング処理を行うことで、ノイズを除去しておく。
なお、カメラ２を移動カメラとし、撮像された撮像画像内の背景が変化する場合は、カメラ２から撮像画像毎のパン、チルト等のカメラ移動量を入力し、例えば、時刻ｔ＋１の撮像画像をそのカメラ移動量分補正することで、時刻ｔ及び時刻ｔ＋１において、動きのあった画素のみを検出する。
エッジ画像生成部（エッジ画像生成手段）１３は、カメラ２（２ａ）から撮像画像（基準撮像画像）を入力し、その撮像画像からエッジを抽出したエッジ画像を生成するものである。このエッジ画像生成部１３では、カメラ２（２ａ）から入力された撮像画像の明るさ（輝度：濃淡情報）に基づいて、その明るさが大きく変化する部分をエッジとして検出し、そのエッジのみからなるエッジ画像を生成する。例えば、ある画素の近傍領域の画素に対して重み係数を持つオペレータ（係数行例：Ｓｏｖｅｌオペレータ、Ｋｉｒｓｃｈオペレータ等）を画素毎に乗算することで、エッジの検出を行う。
ここで、図４を参照（適宜図１参照）して、距離情報生成部１１で生成される距離画像、動き情報生成部１２で生成される差分画像、及び、エッジ画像生成部１３で生成されるエッジ画像の内容について説明する。図４は、距離画像Ｄと差分画像ＤＩとエッジ画像ＥＤの画像内容の一例を示したものである。ここでは、カメラ２から約１ｍ、２ｍ及び３ｍ離れた位置に人物が存在しているものとする。
図４に示したように、距離画像Ｄは、時刻ｔの右撮像画像と左撮像画像との視差を画素値で表現することで生成される。この視差は、その値が大きいほど人物の位置がカメラ２に近いことを表し、値が小さいほど人物の位置がカメラ２から遠いことを表している。また、差分画像ＤＩは、時刻ｔの右撮像画像と時刻ｔ＋１の右撮像画像との差分をとり、差のあった画素を画素値“１”、差のなかった画素を画素値“０”として表現することで生成される。この差のあった画素が、実際に人物が動いた領域を表している。また、エッジ画像ＥＤは、時刻ｔの右撮像画像からエッジのみを抽出することによって生成される。
ここで、図５を参照して、距離画像Ｄ及び差分画像ＤＩについてさらに詳しく説明する。図５（ａ）は、距離画像Ｄの画像内容と、その画素値（距離画像画素値ＤＢ）の一例を示したものである。図５（ｂ）は、差分画像ＤＩの画像内容と、その画素値（差分画像画素値ＤＩＢ）の一例を示したものである。ここでは、カメラ２から約１ｍ、２ｍ及び３ｍ離れた位置に人物が存在しているものとする。
距離画像Ｄは、図５（ａ）に示すように、同時刻の右カメラ画像と左カメラ画像との視差を画素値で表現したものであって、例えば、距離画像画素値ＤＢに示したように、距離画像Ｄの画素位置（０，０）は視差が０であり、カメラ２からの距離が無限大（∞）であることを意味している。また、距離画像Ｄの画素位置（３０，５０）は視差が２０であり、カメラ２からの距離が視差２０に対応する距離、例えば２．２ｍであることを意味している。このように、距離画像Ｄは、視差を画素値として表現するため、例えば、カメラ２に近いほど明るく、遠いほど暗い画像となる。
また、差分画像ＤＩは、図５（ｂ）に示すように、時系列に入力される右カメラ画像の差の有無を表現したものであって、例えば、差分画像画素値ＤＩＢに示したように、差分画像ＤＩの画素位置（０，０）は“０”「停止」で、動きがなかったことを意味している。また、差分画像ＤＩの画素位置（３０，５０）は“１”「動き」で、動きがあったことを意味している。
図１に戻って、説明を続ける。
物体検出手段２０は、入力画像解析手段１０で解析された画像（距離画像、差分画像及びエッジ画像）に基づいて、動きのある移動物体の領域を検出し、移動物体の輪郭を抽出するものである。ここでは、物体検出手段２０を、対象距離設定部２１と、対象距離画像生成部２２と、対象領域設定部２３と、輪郭抽出部２４と、距離情報更新部２５とで構成した。
対象距離設定部（対象距離設定手段）２１は、入力画像解析手段１０の距離情報生成部１１で生成された距離画像と、動き情報生成部１２で生成された差分画像とに基づいて、最も動き量の多い移動物体を特定し、対象となる移動物体が存在する視差（対象距離）を設定するものである。この対象距離は、対象距離画像生成部２２へ通知される。
この対象距離設定部２１では、距離画像で表された視差（距離）毎に、その視差に対応する画素と同じ位置にある差分画像の画素値を累計し、その累計が最も多くなる視差（最多視差）に、最も動き量の多い移動物体が存在していると判定する。なお、対象距離設定部２１は、距離情報生成部１１で生成された距離画像と、動き情報生成部１２で生成された差分画像とを、図示していないメモリ等の記憶手段に記憶することとする。
対象距離画像生成部（対象距離画像生成手段）２２は、距離情報生成部１１で生成された視差量を埋め込んだ距離画像に基づいて、対象距離設定部２１で設定された対象距離に対応する画素を、エッジ画像生成部１３で生成されたエッジ画像から抽出することにより、対象距離画像を生成するものである。
なお、ここでは人物を検出することと仮定して、対象距離（最多視差）±α（数十ｃｍ）分の視差の幅（奥行き）を、最も動き量の多い移動物体が存在する視差の範囲とする。このαの値は、対象距離を基準とした奥行き方向の範囲（所定範囲）であって、検出する対象となる物体の奥行き方向の大きさによって予め定めた値である。
例えば、最多視差におけるカメラ２から移動物体までの距離Ｄを前記（２）式で算出したとすると、その視差の範囲Ｚｒは（２）式を変形することで、（３）式を得る。ただし、カメラ２の焦点距離をｆ、右カメラ２ａと左カメラ２ｂとの距離をＢとする。
Ｂ×ｆ／（Ｄ＋α）＜Ｚｒ＜Ｂ×ｆ／（Ｄ−α） …（３）
この対象距離画像生成部２２では、前記（３）式の範囲の視差に対応する画素を抽出した対象距離画像を生成するものとする。
なお、この対象距離画像の生成は、基準カメラ（右カメラ２ａ）で撮像された撮像画像（基準撮像画像）から、対象距離（視差の範囲）に対応する画素位置のみの画素を抽出することとしてもよい。
ここで、図６を参照（適宜図１参照）して、対象距離設定部２１及び対象距離画像生成部２２で、検出対象となる移動物体が存在する距離に対応する画像（対象距離画像）を生成する手順について説明する。図６（ａ）は、距離画像Ｄ及び差分画像ＤＩ（図４）に基づいて、視差（距離）と動きのある画素を累計した動き量（画素数）との関係を示したグラフである。図６（ｂ）は、エッジ画像ＥＤ（図４）から対象距離の画像のみを抽出した対象距離画像ＴＤＥを示している。
図６（ａ）に示したように、距離画像Ｄ（図４）の視差（距離）と動き量（画素数）との関係をグラフ化すると、視差（距離）が１ｍ、２．２ｍ、３ｍの位置で動き量がピークとなる。そこで、対象距離設定部２１は、動き量が最大となる視差（２．２ｍ）に移動物体が存在するものとして、２．２ｍを対象距離に設定する。なお、移動物体を人物と仮定すると、カメラ２から２．２±αｍ（α＝０．５）の範囲に人物が存在すると判定することができる。
そこで、対象距離画像生成部２２は、図６（ｂ）に示したように、エッジ画像生成部１３で生成されたエッジ画像ＥＤから、対象距離設定部２１で設定された対象距離±αｍ（２．２±０．５ｍ）に存在する画素を抽出した対象距離画像ＴＤＥを生成する。これによって、カメラ２から１ｍ、３ｍ離れた位置に存在している人物の画像を削除し、２．２±０．５ｍ離れた位置に存在している人物のみを抽出した対象距離画像ＴＤＥを生成することができる。
図１に戻って、説明を続ける。
対象領域設定部（対象領域設定手段）２３は、対象距離画像生成部２２で生成された対象距離画像（対象距離に対応したエッジ画像）の垂直方向の画素数を累計してヒストグラムを生成した後、そのヒストグラムの対称性を判定し、最も対称性が高い点を移動物体の中心の水平位置であると特定して、その移動物体を含んだ領域（対象領域）を設定するものである。具体的には、対象領域設定部２３は、ヒストグラム生成部２３ａ、変化点抽出部２３ｂ、対称性抽出部２３ｃ、対称性判定部２３ｄ、水平範囲設定部２３ｅ、および垂直範囲設定部２３ｆを備えて構成されている。
なお、この対象領域設定部２３は、例えば、移動物体を人物と仮定して、対象領域の水平方向の範囲を人物の幅に適した大きさに設定する。また、それ以外、例えば、斜め方向に接近してくる場合は、対象領域の水平方向の範囲を狭めて設定する。これは、人物が斜め方向を向いている場合は、水平方向の範囲を人物の肩幅以下で検出すればよいからである。
また、対象領域設定部２３は、縦方向の特定の大きさ（例えば２ｍ）を対象領域の高さとする。このとき、対象領域設定部２３は、カメラ２から入力されるチルト角、床（設置面）からの高さ等のカメラパラメータに基づいて、対象領域の垂直方向の存在領域（範囲）を設定する。
ここで、対象領域設定部２３に備えられたヒストグラム生成部２３ａ、変化点抽出部２３ｂ、対称性抽出部２３ｃ、対称性判定部２３ｄ、水平範囲設定部２３ｅ、および垂直範囲設定部２３ｆについて、図７〜図１０を参照して説明する。図７は、対象距離画像生成部で生成された対象距離画像における垂直方向の画素数の累計をヒストグラムで表した図であり、（ａ）は平滑化前、（ｂ）は平滑化後のヒストグラムを示している。図８は、ヒストグラム上の極大点及び極小点を示した図である。図９は、対象距離画像の中で移動物体を人物として対象領域を設定した状態を示した図である。図１０は、カメラパラメータに基づいて、移動物体が対象距離画像上のどの高さに位置するかを算出する手順を説明するための説明図である。
ヒストグラム生成部２３ａは、図７に示すように、対象距離画像生成部２２で生成された対象距離画像ＴＤＥの垂直方向の画素数をカウントすることで、ヒストグラムＨＩを生成するものである。
なお、かかるヒストグラムＨＩは、平滑化するのが望ましい。具体的には、Ｓxを、ヒストグラムＨＩにおける注目している座標ｘの画素数とし、Ｓx′を、平滑化後のヒストグラムＨＩ′の座標ｘの画素数とし、ｘ0を、正の定数として、前記（１）式により平滑化を行うことができる。
Figure 0004272538
ここで、ｆ（ｎ）はｎの関数であるが、ｎの係数を０にして定数としてもよい。そして、（４）式のように、ｆ（ｎ）＝｜ｘ−ｎ｜とすれば、座標ｘから距離（座標）が近い座標ｎの画素数Ｓnほど重く扱うことになるので、もとのヒストグラムＨＩの特徴を残したまま平滑化後のヒストグラムＨＩ′を生成することができる。
Figure 0004272538
この処理により、図７（ａ）に示すようなヒストグラムＨＩは、図７（ｂ）に示すような、平滑化されたヒストグラムＨＩ′とすることができる。このとき、ヒストグラムＨＩにおいて、局所的に現れていたピークＰＫは、ピークＰＫ′のように低くなる。
また、前記した（１）式または（４）式による平滑化処理において、次の（５）式を条件とするのが望ましい。
Figure 0004272538
（５）式の条件によれば、注目している座標ｘの右側（ｘが大きい側）または左側（ｘが小さい側）のヒストグラムＨＩの画素数Ｓxが全て０の場合に、平滑化後の画素数Ｓｘ′を０にするので、ヒストグラムＨＩの左右端の裾が広がらないようにすることができる。これにより、隣り合う人物のヒストグラムＨＩが、平滑化の処理によりつながってしまうことを防ぐことができる。
変化点抽出部２３ｂは、前記ヒストグラムＨＩ′から極大点及び極小点（以下、「変化点」という場合がある。）を抽出するものである。具体的には、変化点抽出部２３ｂは、前記ヒストグラムＨＩ′のＸ軸方向に、連続的に画素数Ｓx′を検出していき、連続的に検出される画素数Ｓx′をその前後の画素数と比較する。そして、画素数が増加傾向から減少傾向に、あるいは、減少傾向から増加傾向にそれぞれ変化する点を変化点Ｐ1、Ｐ2、・・・として順次抽出し、この変化点Ｐ1、Ｐ2、・・・の水平方向位置Ｘnと、垂直方向の画素数ＳXn′とをメモリ（図示省略）に記録する。なお、変化点（極大点及び極小点）を抽出する方法は、このような方法に限定されるものではなく、例えば、ヒストグラムＨＩ′の接線を計算して当該接線の傾きが“０”となる点を抽出する方法等を用いてもよい。
対称性抽出部２３ｃは、前記変化点抽出部２３ｂで抽出された変化点ＰnのヒストグラムＨＩ′上の座標（Ｘn，ＳXn′）に基づいて、連続する３つの変化点（以下、単に「連続する３点」と適宜省略する）毎に、ヒストグラムＨＩ′の対称性を抽出するものである。本実施形態では、連続する３つの変化点のうちの両端の点の画素数の差ＤＳ（以下、単に「画素数の差ＤＳ」と適宜略称する。）と、この連続する３つの変化点の中央の点と両端の点とをそれぞれ結んだ直線の傾きの差ＤＫ（以下、単に「傾きの差ＤＫ」と適宜略称する。）とを、この連続する３点の対称性のパラメータ（以下、「対称性パラメータ」と適宜略称する。）として抽出する。
この画素数の差ＤＳnは、（６）式により求めることができる。
ＤＳn＝｜ＳXn+2′−ＳXn′｜ ・・・ （６）
また、傾きの差ＤＫnは、（７）式により求めることができる。
ＤＫn＝｜Ｋn+1−Ｋn｜ ・・・ （７）
但し、Ｋn＝｜（ＳXn+1′−ＳXn′）／（Ｘn+1−Ｘn）｜ ・・・ （７−１）
ここで、図８を参照して具体的に説明すると、対称性抽出部２３ｃは、まず、変化点抽出部２３ｂで抽出した変化点Ｐ1、Ｐ2、・・・の中から連続する３点としてＰ1、Ｐ2、Ｐ3について、画素数の差ＤＳ1と傾きの差ＤＫ1とを下式のように計算する。
ＤＳ1＝｜ＳX3′−ＳX1′｜
Ｋ1 ＝｜（ＳX2′−ＳX1′）／（Ｘ2−Ｘ1）｜
Ｋ2 ＝｜（ＳX3′−ＳX2′）／（Ｘ3−Ｘ2）｜
ＤＫ1＝｜Ｋ2−Ｋ1｜
つぎに、対称性抽出部２３ｃは、連続する３点としてＰ2、Ｐ3、Ｐ4について、画素数の差ＤＳ2と傾きの差ＤＫ2とを下式のように計算する。
ＤＳ2＝｜ＳX4′−ＳX2′｜
Ｋ2 ＝｜（ＳX3′−ＳX2′）／（Ｘ3−Ｘ2）｜
Ｋ3 ＝｜（ＳX4′−ＳX3′）／（Ｘ4−Ｘ3）｜
ＤＫ2＝｜Ｋ3−Ｋ2｜
このようにして、対称性抽出部２３ｃは、対称性パラメータとして、連続する３つの変化点Ｐn、Ｐn+1、Ｐn+2ごとに、画素数の差ＤＳnと、傾きの差ＤＫnとを順次抽出し、これらをメモリに記録する。
対称性判定部（対称性判定手段）２３ｄは、前記対称性抽出部２３ｃで求めた対称性パラメータに基づいて、最も対称性の高い点を判定するものである。例えば、対称性パラメータとして、画素数の差ＤＳnと、傾きの差ＤＫnとを用いる場合には，これらが最も小さくなる３点のうちの中央の変化点を、最も対称性の高い点と判定する。
なお、画素数の差ＤＳnが最小となる３点と、傾きの差ＤＫnが最小となる３点とが異なる場合には、以下に示す（８）式の計算結果Ｌnが最小となる３点のうちの中央の変化点を、最も対称性の高い変化点と判定するようにしてもよい。
Ｌn＝（ＤＳn 2＋ＤＫn 2）0.5 ・・・（８）
また、対称性パラメータとしてのＤＳn、ＤＫnが所定値よりも大きい場合には、対称性の高い点は存在しないと判定するようにしてもよい。
水平範囲設定部２３ｅは、図９に示すように、対称性判定部２３ｄで最も対称性が高いと判定された変化点Ｐnの水平座標Ｘnを、移動物体の中心の水平位置であると特定して、対象距離画像ＴＤＥ内に、その移動物体を含んだ領域（対象領域）を設定するものである。ここでは人物を検出することと仮定して、最も対称性が高い点を中心に、左右に特定の大きさ（例えば０．５〜０．６（ｍ））の範囲を対象領域の水平方向の存在領域（範囲）として設定する。
また、垂直範囲設定部２３ｆは、カメラ２から入力されるチルト角、床（設置面）からの高さ等のカメラパラメータに基づいて、対象領域の垂直方向の存在領域（範囲）を設定する。ここでは人物を検出することと仮定して、縦方向の特定の大きさ（例えば２（ｍ））を対象領域の高さとする。
この対象領域Ｔの大きさについては、図１０を参照（適宜図１参照）してさらに説明を行う。図１０は、カメラ２が移動ロボット（図示せず）に組み込まれ、移動物体Ｍと同じ床からある高さ（カメラ高）Ｈに位置しているときに、移動物体Ｍが対象距離画像（ａ’、ｂ’）上のどの高さに位置するかを説明するための説明図である。なお、図１０（ａ）は、カメラ２のチルト角が０（°）の場合、図１０（ｂ）はカメラ２のチルト角がθT（≠０）の場合におけるカメラ２と移動物体Ｍとの対応関係を示している。
まず、図１０（ａ）を参照して、チルト角が０（°）の場合において、移動物体Ｍが対象距離画像（ａ’）上で縦方向のどの位置に存在するかを特定する方法について説明する。
ここで、カメラ２の垂直画角をθv、カメラ２から移動物体Ｍまでの距離をＤ、対象距離画像（ａ’）の縦方向の解像度をＹ、カメラ２の床からの高さ（カメラ高）をＨ、移動物体Ｍの床からの仮想の高さを２（ｍ）とする。このとき、カメラ２の光軸と、カメラ２から移動物体Ｍの仮想の上端（床から２ｍ）までを結んだ直線との角度θHは（９）式で表すことができる。
θH＝ｔａｎ-1（（２−Ｈ）／Ｄ） …（９）
これにより、移動物体Ｍの対象距離画像（ａ’）上での上端ｙTは（１０）式で求めることができる。
ｙT＝Ｙ／２−θHＹ／θv
＝Ｙ／２−（Ｙ／θv）ｔａｎ-1（（２−Ｈ）／Ｄ） …（１０）
また、カメラ２の光軸と、カメラ２から移動物体Ｍの下端（床）までを結んだ直線との角度θLは（１１）式で表すことができる。
θL＝ｔａｎ-1（Ｈ／Ｄ） …（１１）
これにより、移動物体Ｍの対象距離画像（ａ’）上での下端ｙBは（１２）式で求めることができる。
ｙB＝Ｙ／２＋θLＹ／θv
＝Ｙ／２＋（Ｙ／θv）ｔａｎ-1（Ｈ／Ｄ） …（１２）
次に、図１０（ｂ）を参照して、チルト角がθT（≠０）の場合において、移動物体Ｍが対象距離画像（ｂ’）上で縦方向のどの位置に存在するかを特定する方法について説明する。
ここで、カメラ２の垂直画角をθv、チルト角をθT、移動物体Ｍまでの距離をＤ、対象距離画像の縦方向の解像度をＹ、カメラ２の床からの高さ（カメラ高）をＨ、移動物体Ｍの床からの仮想の高さを２（ｍ）とする。このとき、カメラ２の光軸とカメラ２から移動物体Ｍの仮想の上端（床から２ｍ）までを結んだ直線との角度θHと、チルト角θTとの差分角度（θH−θT）は（１３）式で表すことができる。
θH−θT＝ｔａｎ-1（（２−Ｈ）／Ｄ） …（１３）
これにより、移動物体Ｍの対象距離画像（ｂ’）上での上端ｙTは（１４）式で求めることができる。
ｙT＝Ｙ／２−θTＹ／θv−（θH−θT）Ｙ／θv
＝Ｙ／２−θTＹ／θv−（Ｙ／θv）ｔａｎ-1（（２−Ｈ）／Ｄ） …（１４）
また、カメラ２の光軸とカメラ２から移動物体Ｍの下端（床）までを結んだ直線との角度θLと、チルト角θTとの加算角度（θL＋θT）は（１５）式で表すことができる。
θL＋θT＝ｔａｎ-1（Ｈ／Ｄ） …（１５）
これにより、移動物体Ｍの対象距離画像（ｂ’）上での下端ｙBは（１６）式で求めることができる。
ｙB＝Ｙ／２−θTＹ／θv＋（θL＋θT）Ｙ／θv
＝Ｙ／２−θTＹ／θv＋（Ｙ／θv）ｔａｎ-1（Ｈ／Ｄ） …（１６）
このように求めた対象距離画像（ａ’又はｂ’）の上端ｙT及び下端ｙBによって、対象領域Ｔ（図９）の垂直方向の範囲が決定される。
なお、移動ロボット（図示せず）が階段等を昇降し、移動物体Ｍと同一の床に存在しない場合は、移動ロボット本体のエンコーダ等によって昇降量を検出し、その昇降量を移動物体Ｍの床からの高さに対して加算又は減算することで、移動物体Ｍの対象距離画像（ａ’又はｂ’）における縦方向の位置を特定することができる。あるいは、移動ロボットに地図情報を保持しておき、移動物体Ｍの方向及び距離で特定される床の高さを、その地図情報から取得することとしてもよい。
また、対象領域Ｔ（図９）の水平方向の範囲は、例えば、図示していないが、カメラ２の水平画角をθh、カメラ２から対象とする移動物体Ｍまでの距離をＤ、対象距離画像の横方向の解像度をＸとすると、対象領域の幅の半分（移動物体の中心からの距離）を０．５（ｍ）としたときの、対象距離画像上での水平画素数αHは、（１７）式で求めることができる。
αH＝（Ｘ／θh）ｔａｎ-1（０．５／Ｄ） …（１７）
図１に戻って、説明を続ける。
輪郭抽出部（輪郭抽出手段）２４は、対象距離画像生成部２２で生成された対象距離画像ＴＤＥにおいて、対象領域設定部２３で設定した移動物体の領域（対象領域）内で、既知の輪郭抽出技術を用いて輪郭の抽出を行うものである。ここで抽出された輪郭（輪郭情報）は、移動物体検出装置１の出力として、外部に出力されるとともに、距離情報更新部２５へ通知される。なお、この輪郭抽出部２４で輪郭が抽出されることで、移動物体が検出されたことになる。
ここで、既知の技術である輪郭抽出の手順の概要を説明する。
まず、対象領域内の画素値の変化に基づいてエッジを検出する。例えば、ある画素の近傍領域の画素に対して重み係数を持つオペレータ（係数行例：Ｓｏｖｅｌオペレータ、Ｋｉｒｓｃｈオペレータ等）を画素毎に乗算することで、エッジの検出を行う。そして、この検出されたエッジに対して、適当な閾値によって２値化を行い、メディアンフィルタ等によって孤立点の除去を行う。このように２値化されたエッジを連結することで、対象領域内から移動物体の輪郭を抽出することができる。なお、エッジから輪郭を抽出する手法として、動的輪郭モデル（ＳＮＡＫＥＳ）を適用することとしてもよい。これによって、例えば、図１１に示したように、対象距離画像ＴＤＥの中で移動物体が一つ（一人）に限定された対象領域Ｔ内で輪郭Ｏを抽出することができる。
距離情報更新部（距離情報更新手段）２５は、輪郭抽出部２４で抽出された輪郭（輪郭情報）に基づいて、対象距離設定部２１で記憶手段（図示せず）に記憶した距離画像を更新するものである。例えば、輪郭を含んだ内部領域に対応する距離画像の画素値を“０”にする。これによって、輪郭抽出を完了した移動物体の領域が距離画像から削除されたことになる。なお、距離情報更新部２５は、この距離画像の更新が完了したことを、更新情報として、対象距離設定部２１へ通知する。
例えば、図１２に示したように、図１１で抽出した輪郭Ｏ内（輪郭Ｏを含んだ内部領域）に対応する距離画像Ｄの内容（距離画像画素値ＤＢ）を更新する。すなわち、輪郭Ｏの領域内における全ての画素値、例えば輪郭Ｏ内の画素位置（３０，５０）等、の視差を０に変更する。このように輪郭Ｏの領域内の視差を０に変更することで、輪郭Ｏとして抽出された移動物体は、カメラ２からの距離が無限大になり、距離画像Ｄ上には存在しなくなる。
以上、本実施形態に係る移動物体検出装置１の構成について説明したが、移動物体検出装置１は、コンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合して移動物体検出プログラムとして動作させることも可能である。
また、ここでは、移動物体検出装置１の距離情報生成部１１が、２台のカメラ２で撮像した撮像画像に基づいて距離画像を生成したが、３台以上のカメラを用いて距離画像を生成することとしてもよい。例えば、３行３列に配置した９台のカメラで、中央に配置したカメラを基準カメラとして、他のカメラとの視差に基づいて距離画像を生成することで、移動物体までの距離をより正確に測定することもできる。
また、この移動物体検出装置１を、移動ロボット、自動車等の移動体に組み込んで、人物等の物体を検出するために用いることも可能である。例えば、移動ロボットに本発明を適用することで、移動ロボットが、人込みにおいても人物を認識することが可能になる。さらに、人物を個別に検出することができるので、例えば、顔認識等を行うことで、その人物を追跡したり、人物毎に異なる動作を行わせる等の輪郭抽出後の処理が容易になる。
また、本実施形態においては、手を上げている人物の輪郭を検出する場合を例として示したが、手を上げていない人物の輪郭の検出に用いることもできる。かかる場合においても、ヒストグラムの対称性に基づいて、対象距離画像から人物の輪郭を適切かつ迅速に抽出することができる。
（移動物体検出装置１の動作）
次に、図１乃至図３を参照して、移動物体検出装置１の動作について説明する。図２及び図３は、移動物体検出装置１の動作を示すフローチャートである。
＜撮像画像入力ステップ＞
まず、移動物体検出装置１は、同期した２台のカメラ２から時系列に撮像画像を入力する（ステップＳ１）。なお、ここでは、ある時刻ｔに右カメラ２ａ（基準カメラ）と左カメラ２ｂとから入力された撮像画像と、次の時刻ｔ＋１（例えば、１フレーム後）に右カメラ２ａ（基準カメラ）から入力された撮像画像とに基づいて、移動物体の輪郭を抽出するものとする。
＜距離情報生成ステップ＞
そして、移動物体検出装置１は、距離情報生成部１１によって、時刻ｔに、右カメラ２ａ（基準カメラ）と左カメラ２ｂとから入力された２枚の撮像画像から、撮像対象までの視差（距離）を埋め込んだ距離画像を生成する（ステップＳ２）。
＜動き情報生成ステップ＞
さらに、移動物体検出装置１は、動き情報生成部１２によって、右カメラ２ａ（基準カメラ）で時刻ｔと時刻ｔ＋１に撮像された２枚の撮像画像（基準撮像画像）の差分をとり、差（動き）のあった画素を画素値“１”、差のなかった画素を画素値“０”とした差分画像を生成する（ステップＳ３）。
＜エッジ画像生成ステップ＞
そして、移動物体検出装置１は、エッジ画像生成部１３によって、右カメラ２ａ（基準カメラ）で時刻ｔに撮像された撮像画像（基準撮像画像）からエッジを抽出したエッジ画像を生成する（ステップＳ４）。
＜対象距離設定ステップ＞
また、移動物体検出装置１は、対象距離設定部２１によって、ステップＳ２及びステップＳ３で生成した距離画像及び差分画像から、距離画像で表された視差（距離）毎に、動きのあった画素数を累計する（ステップＳ５）。例えば、距離画像から、ある視差（距離）の画素のみを抽出し、この抽出された画素と対応する差分画像の画素の画素値を累計する。そして、この動き（差分）のある画素数の累計が最大となる距離を、検出する移動物体の対象距離として設定する（ステップＳ６）。
＜対象距離画像生成ステップ＞
そして、移動物体検出装置１は、対象距離画像生成部２２によって、距離画像から対象距離±αに対応する画素を抽出した対象距離画像を生成する（ステップＳ７）。なお、ここでは人物を検出することと仮定して、αを数十ｃｍとする。
＜ヒストグラム生成ステップ＞
そして、移動物体検出装置１は、ヒストグラム生成部２３ａによって、ステップＳ７で生成した対象距離画像の垂直方向（縦方向）の画素数をカウントしてヒストグラムを生成する（ステップＳ８）。このとき、生成したヒストグラムを平滑化するのが望ましい。
＜変化点抽出ステップ＞
また、移動物体検出装置１は、変化点抽出部２３ｂによって、ステップ８で生成したヒストグラム上の変化点（極大点及び極小点）を、抽出する（ステップＳ９）。例えば、ある水平方向位置（Ｘn）における画素数（ＳXn′）を、その前後の水平方向位置における画素数と比較することにより、当該位置において画素数が増加から減少に転じている場合には、当該位置を極大点として抽出し、その水平方向位置Ｘnと画素数ＳXn′とをメモリに記憶する。また、極小点についても同様の方法で抽出する。
＜対称性抽出ステップ＞
そして、移動物体検出装置１は、対称性抽出部２３ｃによって、ステップ９で抽出した変化点（極大点及び極小点）Ｐnの座標（Ｘn，ＳXn′）に基づいて、連続する３つの変化点Ｐn、Ｐn+1、Ｐn+2ごとに、画素数の差ＤＳnと、傾きの差ＤＫnとを、対称性パラメータとして抽出する（ステップＳ１０）。
＜対称性判定ステップ＞
また、移動物体検出装置１は、対称性判定部２３ｄによって、ステップ１０において抽出した対称性パラメータに基づいて、ヒストグラムＨＩ′の中から、対称性が最も高い３点を判定する（ステップＳ１１）。
＜水平・垂直領域設定ステップ＞
そして、移動物体検出装置１は、水平範囲設定部２３ｅによって、ステップＳ７で生成した対象距離画像内に、最も対称性が高い３点の中央の変化点を中心に、特定量（例えば０．５〜０．６（ｍ））の左右範囲を対象領域の水平方向の範囲として設定する（ステップＳ１２）。
さらに、垂直範囲設定部２３ｆでは、カメラ２から入力されるチルト角、床（設置面）からの高さ等のカメラパラメータに基づいて、対象領域の垂直（上下）方向の範囲を設定する（ステップＳ１３）。なお、前記ヒストグラム生成ステップから前記水平・垂直領域設定ステップまでが、請求項９にいう「対象領域設定ステップ」に相当する。
例えば、カメラ２のチルト角、床からの高さに基づいて、対象距離画像における画像中の床の位置（対象領域の下端）を求める。そして、カメラ２の画角と移動物体までの距離とに基づいて、床から２ｍまでの範囲を、画素数に換算することにより対象領域の対象距離画像における床からの画素数を求める。これによって、対象距離画像における対象領域の上端を求めることができる。この対象領域の上端は、カメラ２のチルト角、床からの高さに基づいて、対象距離画像における画像中の２ｍの位置（高さ）を直接求めることとしてもよい。なお、この２ｍは、一例であって、他の長さ（高さ）であっても構わない。
＜輪郭抽出ステップ＞
また、移動物体検出装置１は、輪郭抽出部２４によって、ステップＳ７で生成した対象距離画像において、ステップＳ１２及びステップＳ１３で設定した対象領域内で輪郭の抽出を行う（ステップＳ１４）。例えば、対象領域内でエッジを検出し、そのエッジに対して動的輪郭モデル（ＳＮＡＫＥＳ）を適用することによって輪郭の抽出を行う。
そして、輪郭の抽出に成功したかどうかを判定する（ステップＳ１５）。なお、ここで輪郭抽出の成功及び失敗の判定は、ステップＳ１４において輪郭が抽出できたかどうかの判定だけではなく、例えば、対象距離が予め定めた距離よりも遠い場合や、対象領域が予め定めた大きさよりも小さい場合、さらには、すべての物体の輪郭抽出を完了した等の理由によって、物体の輪郭抽出を行わないとする判定をも含むものとする。
このステップＳ１４で輪郭の抽出に成功した場合（Ｙｅｓ）は、ステップＳ１６へ進む。一方、輪郭の抽出に失敗した（あるいは抽出を行わない）場合（Ｎｏ）は、本動作を終了する。
＜距離情報更新ステップ＞
そして、移動物体検出装置１は、距離情報更新部２５によって、ステップＳ１４で抽出した輪郭内（輪郭を含んだ内部領域）に対応する距離画像を更新する（ステップＳ１６）。例えば、輪郭を含んだ内部領域に対応する距離画像の画素値を“０”にする。これによって、すでに抽出を終わった移動物体の領域が距離画像から削除されることになる。そして、ステップＳ５へ戻って、処理を継続する。
以上の各ステップによって、本実施の形態の移動物体検出装置１によれば、カメラ２から入力された撮像画像から、その撮像画像に存在する移動物体を検出することができる。なお、ここでは、ある時刻ｔ（ｔ＋１）において移動物体の輪郭を抽出したが、時々刻々と入力される撮像画像に基づいて、前記ステップ（ステップＳ１〜ステップＳ１５）を動作させることで、例えば、移動ロボット等の移動体が、人物を検出し続けることができる。
本実施形態に係る移動物体検出装置の構成を示したブロック図である。 本実施形態に係る移動物体検出装置の動作を示すフローチャートの前半部を示す図である。 本実施形態に係る移動物体検出装置の動作を示すフローチャートの後半部を示す図である。 距離画像、エッジ画像及び差分画像の画像内容の一例を示した図である。 （ａ）は、距離画像の画像内容と、その画素値（距離画像画素値）の一例を示したものである。（ｂ）は、差分画像の画像内容と、その画素値（差分画像画素値）の一例を示したものである。 （ａ）は、距離画像及び差分画像に基づいて、視差と動きのある画素を累計した動き量との関係を示したグラフである。（ｂ）は、エッジ画像から対象距離の画像のみを抽出した対象距離画像を示した図である。 対象距離画像における垂直方向の画素数の累計をヒストグラムで表した図であり、（ａ）は平滑化前、（ｂ）は平滑化後のヒストグラムを示した図である。 ヒストグラム上の極大点及び極小点を示した図である。 対象距離画像の中で移動物体を人物として対象領域を設定した状態を示した図である。 カメラパラメータに基づいて、移動物体が対象距離画像上のどの高さに位置するかを算出する手順を説明するための説明図である。 対象距離画像の対象領域で輪郭を抽出した例を示した図である。 輪郭を抽出した移動物体の領域に基づいて、距離画像の内容を更新した例を示す図である。 従来の移動物体検出装置における対象距離画像と対象領域の一例を示した図である。
符号の説明
１ 移動物体検出装置
２ カメラ
１０ 入力画像解析手段
１１ 距離情報生成部
１２ 動き情報生成部
１３ エッジ画像生成部
２０ 物体検出手段
２１ 対象距離設定部
２２ 対象距離画像生成部
２３ 対象領域設定部
２３ａ ヒストグラム生成部
２３ｂ 変化点抽出部
２３ｃ 対称性抽出部
２３ｄ 対称性判定部
２３ｅ 水平範囲設定部
２３ｆ 垂直範囲設定部
２４ 輪郭抽出部
２５ 距離情報更新部
ＨＩ、ＨＩ′ ヒストグラム
Ｔ 対象領域
ＴＤＥ 対象距離画像

Claims (8)

  1. 同期した複数のカメラで、撮像対象を撮像した複数の撮像画像から、前記撮像対象内に存在する移動物体を検出する移動物体検出装置であって、
    前記複数の撮像画像の視差に基づいて、前記撮像対象までの距離を距離情報として生成する距離情報生成手段と、
    前記複数のカメラの中の少なくとも一つのカメラから、時系列に入力される撮像画像の差分に基づいて、前記移動物体の動きを動き情報として生成する動き情報生成手段と、
    前記距離情報に含まれる距離毎に、前記動き情報に含まれる動きのあった画素値を累計し、前記累計値が最大となる距離を、前記移動物体が存在する対象距離として設定する対象距離設定手段と、
    前記距離情報に基づいて、前記対象距離設定手段で設定された対象距離に対応する画素からなる対象距離画像を生成する対象距離画像生成手段と、
    前記対象距離画像内に、少なくとも前記対象距離に対応して、前記移動物体を検出する対象となる対象領域を設定する対象領域設定手段と、
    この対象領域設定手段で設定された対象領域から輪郭を抽出することで、前記移動物体を検出する輪郭抽出手段と、
    を備え、
    前記対象領域設定手段は、前記対象距離画像において、水平方向の座標毎に垂直方向の画素数をカウントしてヒストグラムを生成した後、前記ヒストグラムの極大点及び極小点を抽出し、当該極大点及び極小点のうちの連続する３点ごとに、両端の点の垂直方向の画素数の差と、中央の点と両端の点とをそれぞれ結んだ２つの直線の傾きの差とを計算し、前記画素数の差と前記傾きの差とが最も小さい前記３点のうちの中央の点を、最も対称性の高い点と判定し、この最も対称性が高い点に基づいて前記対象領域を設定することを特徴とする移動物体検出装置。
  2. 前記対象距離画像生成手段は、少なくとも前記対象距離を基準として奥行き方向の所定範囲内に存在する画素からなる対象距離画像を生成することを特徴とする請求項１に記載の移動物体検出装置。
  3. 前記対象領域設定手段は、前記ヒストグラムにおいて、最も対称性が高いと判定された極大点又は極小点の水平方向の座標から所定範囲を、前記対象領域の水平方向の範囲として設定することを特徴とする請求項１又は請求項２に記載の移動物体検出装置。
  4. 前記対象領域設定手段は、少なくとも前記カメラのチルト角及び設置面からの高さに基づいて、前記対象領域の垂直方向の範囲を設定することを特徴とする請求項１から請求項３のいずれか１項に記載の移動物体検出装置。
  5. 前記撮像画像の各画素の色情報又は濃淡情報に基づいて、その撮像画像のエッジを抽出したエッジ画像を生成するエッジ画像生成手段を備え、
    前記対象距離画像生成手段が、前記距離情報に基づいて、前記対象距離に対応する前記エッジ画像の画素を抽出して、前記対象距離画像を生成することを特徴とする請求項１から請求項４のいずれか１項に記載の移動物体検出装置。
  6. 前記輪郭抽出手段で抽出された輪郭の内部領域を、前記移動物体の抽出済領域として、前記距離情報を更新する距離情報更新手段を備えたことを特徴とする請求項１から請求項５のいずれか１項に記載の移動物体検出装置。
  7. 同期した複数のカメラで、撮像対象を撮像した複数の撮像画像から、前記撮像対象内に存在する移動物体を検出する移動物体検出方法であって、
    前記複数の撮像画像の視差に基づいて、前記撮像対象までの距離を距離情報として生成する距離情報生成ステップと、
    前記複数のカメラの中の少なくとも一つのカメラから、時系列に入力される撮像画像の差分に基づいて、前記移動物体の動きを動き情報として生成する動き情報生成ステップと、
    前記距離情報に含まれる距離毎に、前記動き情報に含まれる動きのあった画素値を累計し、前記累計値が最大となる距離を、前記移動物体が存在する対象距離として設定する対象距離設定ステップと、
    前記距離情報に基づいて、前記対象距離設定ステップで設定された対象距離に対応する画素からなる対象距離画像を生成する対象距離画像生成ステップと、
    前記対象距離画像内に、少なくとも前記対象距離に対応して、前記移動物体を検出する対象となる対象領域を設定する対象領域設定ステップと、
    この対象領域設定ステップで設定された対象領域から輪郭を抽出することで、前記移動物体を検出する輪郭抽出ステップと、
    を備え、
    前記対象領域設定ステップは、前記対象距離画像において、水平方向の座標毎に垂直方向の画素数をカウントしてヒストグラムを生成した後、前記ヒストグラムの極大点及び極小点を抽出し、当該極大点及び極小点のうちの連続する３点ごとに、両端の点の垂直方向の画素数の差と、中央の点と両端の点とをそれぞれ結んだ２つの直線の傾きの差とを計算し、前記画素数の差と前記傾きの差とが最も小さい前記３点のうちの中央の点を、最も対称性の高い点と判定し、この最も対称性が高い点に基づいて前記対象領域を設定することを特徴とする移動物体検出方法。
  8. 同期した複数のカメラで、撮像対象を撮像した複数の撮像画像から、前記撮像対象内に存在する移動物体を検出するために、コンピュータを、
    前記複数の撮像画像の視差に基づいて、前記撮像対象までの距離を距離情報として生成する距離情報生成手段、
    前記複数のカメラの中の少なくとも一つのカメラから、時系列に入力される撮像画像の差分に基づいて、前記移動物体の動きを動き情報として生成する動き情報生成手段、
    前記距離情報に含まれる距離毎に、前記動き情報に含まれる動きのあった画素値を累計し、前記累計値が最大となる距離を、前記移動物体が存在する対象距離として設定する対象距離設定手段、
    前記距離情報に基づいて、前記対象距離設定手段で設定された対象距離に対応する画素からなる対象距離画像を生成する対象距離画像生成手段、
    前記対象距離画像内に、少なくとも前記対象距離に対応して、前記移動物体を検出する対象となる対象領域を設定する対象領域設定手段、
    この対象領域設定手段で設定された対象領域から輪郭を抽出することで、前記移動物体を検出する輪郭抽出手段、
    として機能させ、
    前記対象領域設定手段は、前記対象距離画像において、水平方向の座標毎に垂直方向の画素数をカウントしてヒストグラムを生成した後、前記ヒストグラムの極大点及び極小点を抽出し、当該極大点及び極小点のうちの連続する３点ごとに、両端の点の垂直方向の画素数の差と、中央の点と両端の点とをそれぞれ結んだ２つの直線の傾きの差とを計算し、前記画素数の差と前記傾きの差とが最も小さい前記３点のうちの中央の点を、最も対称性の高い点と判定し、この最も対称性が高い点に基づいて前記対象領域を設定することを特徴とする移動物体検出プログラム。
JP2004000569A 2004-01-05 2004-01-05 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム Expired - Fee Related JP4272538B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2004000569A JP4272538B2 (ja) 2004-01-05 2004-01-05 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム
US11/015,796 US7376250B2 (en) 2004-01-05 2004-12-20 Apparatus, method and program for moving object detection
DE102005000646A DE102005000646B4 (de) 2004-01-05 2005-01-03 Vorrichtung und Verfahren zum Erfassen von sich bewegenden Objekten

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004000569A JP4272538B2 (ja) 2004-01-05 2004-01-05 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム

Publications (2)

Publication Number Publication Date
JP2005196359A JP2005196359A (ja) 2005-07-21
JP4272538B2 true JP4272538B2 (ja) 2009-06-03

Family

ID=34816338

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004000569A Expired - Fee Related JP4272538B2 (ja) 2004-01-05 2004-01-05 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム

Country Status (1)

Country Link
JP (1) JP4272538B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4887540B2 (ja) * 2008-02-15 2012-02-29 本田技研工業株式会社 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法
JP4963297B2 (ja) * 2008-03-17 2012-06-27 グローリー株式会社 人物計数装置および人物計数方法
KR101032660B1 (ko) 2009-11-30 2011-05-06 재단법인대구경북과학기술원 장애물체 검출 방법
JP2012042720A (ja) * 2010-08-19 2012-03-01 Sony Corp 画像処理装置および方法、並びにプログラム
KR101212127B1 (ko) 2010-10-28 2012-12-13 재단법인대구경북과학기술원 장애 물체 검출 장치 및 방법
JP5546419B2 (ja) * 2010-10-28 2014-07-09 成典 田中 対象領域抽出装置
KR101274741B1 (ko) 2011-10-04 2013-06-17 성균관대학교산학협력단 객체 영역의 유효성 판단 방법 및 장치, 객체 추출 방법
KR101437228B1 (ko) 2012-11-13 2014-09-02 재단법인대구경북과학기술원 입체영상에서의 외곽선 가중치 기반 장애물 영역 검출 장치 및 방법
CN105136064A (zh) * 2015-09-13 2015-12-09 维希艾信息科技（无锡）有限公司 一种运动目标三维尺寸检测系统及其方法
US11080544B1 (en) * 2020-04-24 2021-08-03 StradVision, Inc. Method and device for calibrating pitch of camera on vehicle and method and device for continual learning of vanishing point estimation model to be used for calibrating the pitch

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0737099A (ja) * 1993-07-22 1995-02-07 Nippondenso Co Ltd 移動物体検出装置
JP3078203B2 (ja) * 1995-05-17 2000-08-21 沖電気工業株式会社 侵入物体認識装置
JPH09185720A (ja) * 1995-12-28 1997-07-15 Canon Inc 画像抽出装置
JP2002092797A (ja) * 2000-09-18 2002-03-29 Nippon Signal Co Ltd:The 交通情報提供システム
JP4597391B2 (ja) * 2001-01-22 2010-12-15 本田技研工業株式会社 顔領域検出装置およびその方法並びにコンピュータ読み取り可能な記録媒体
JP3952460B2 (ja) * 2002-11-19 2007-08-01 本田技研工業株式会社 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム

Also Published As

Publication number Publication date
JP2005196359A (ja) 2005-07-21

Similar Documents

Publication Publication Date Title
US11360571B2 (en) Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data
JP4516516B2 (ja) 人物検出装置、人物検出方法及び人物検出プログラム
JP4328286B2 (ja) 顔領域推定装置、顔領域推定方法及び顔領域推定プログラム
US9767568B2 (en) Image processor, image processing method, and computer program
JP4756660B2 (ja) 画像処理装置および画像処理方法
JP6125188B2 (ja) 映像処理方法及び装置
KR101870902B1 (ko) 영상 처리 장치 및 영상 처리 방법
CN108369737B (zh) 使用启发式图搜索以快速且自动地分割分层图像
JP4373840B2 (ja) 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置
JP4235018B2 (ja) 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム
JP4272538B2 (ja) 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム
JP3952460B2 (ja) 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム
JP2008288684A (ja) 人物検出装置及びプログラム
JP2010039617A (ja) 対象物追跡装置及びプログラム
JP6810442B2 (ja) カメラアセンブリ、そのカメラアセンブリを用いる手指形状検出システム、そのカメラアセンブリを用いる手指形状検出方法、その検出方法を実施するプログラム、及び、そのプログラムの記憶媒体
JP2001116513A (ja) 距離画像算出装置
JP4272539B2 (ja) 移動物体検出装置、移動物体検出方法、および移動物体検出プログラム
JP5614100B2 (ja) 画像処理装置及び移動体位置推定方法
JP2008090735A (ja) 画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081111

RD13 Notification of appointment of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7433

Effective date: 20081222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090224

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090227

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120306

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4272538

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130306

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130306

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140306

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees