JP4235018B2 - 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム - Google Patents
移動物体検出装置、移動物体検出方法及び移動物体検出プログラム Download PDFInfo
- Publication number
- JP4235018B2 JP4235018B2 JP2003093927A JP2003093927A JP4235018B2 JP 4235018 B2 JP4235018 B2 JP 4235018B2 JP 2003093927 A JP2003093927 A JP 2003093927A JP 2003093927 A JP2003093927 A JP 2003093927A JP 4235018 B2 JP4235018 B2 JP 4235018B2
- Authority
- JP
- Japan
- Prior art keywords
- target
- moving object
- distance
- image
- target distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、カメラによって撮像された画像から、その画像上に存在する移動物体を検出する移動物体検出装置、移動物体検出方法及び移動物体検出プログラムに関する。
【０００２】
【従来の技術】
従来、ＣＣＤ等のカメラによって撮像された画像から、その画像上に存在する物体を検出する技術として、例えば、画像内で物体の初期の曖昧な輪郭を輪郭モデルとして設定し、その輪郭モデルを所定の規則に従って収縮変形することで物体の輪郭を抽出して物体を検出する技術（動的輪郭モデル：ＳＮＡＫＥＳ）が存在する。なお、この輪郭抽出に基づいた物体検出技術においては、時間的に連続した画像により、動きのある物体（移動物体）のエッジを検出し、輪郭モデルをそのエッジに連結させることで移動物体の輪郭を抽出して移動物体を検出している（例えば、特許文献１参照。）。
【０００３】
また、ステレオ画像等によって得られる位置（距離）情報から、個々の物体を分離して抽出する技術として、例えば、３次元空間上の物体として認識される領域において、物体の大きさによって、その物体が位置する限定した物体位置算出領域を初期領域として設定し、その物体位置算出領域と物体の３次元座標上の重心位置との相対位置を算出し、その相対位置が重心位置に対して所定範囲内であるときに、重心の位置を物体の位置と特定して物体を抽出する技術が存在する（例えば、特許文献２参照。）。
【０００４】
【特許文献１】
特開平８−３２９２５４号公報（第７頁、第９−１０図）
【特許文献２】
特開平７−４９９５０号公報（第４−５頁、第１図）
【０００５】
【発明が解決しようとする課題】
しかし、前記従来の技術において、第１の例である、輪郭モデルを連続する画像から検出されるエッジに連結することで移動物体の輪郭を抽出して物体を検出する技術では、撮像した画像上で、複数の物体が隣接して存在する場合、その複数の物体を一つの物体として認識してしまうという問題がある。
【０００６】
また、前記従来の技術において、第２の例である、物体の重心位置に基づいて、物体を抽出する技術では、物体位置算出領域と物体の重心位置との相対位置が、所定範囲内になるまで繰り返し演算を行う必要があり、物体抽出にかかる時間が長くなってしまう。このため、移動ロボットのようなリアルタイムで、人物等の物体の認識（抽出）を行う装置には、適用できないという問題があった。
【０００７】
本発明は、以上のような問題点に鑑みてなされたものであり、移動カメラで撮像した画像であっても、移動物体の輪郭抽出を行う演算処理を軽減し、また、撮像した画像上に複数の物体が隣接した場合でも、高速に物体を検出することを可能にした移動物体検出装置、移動物体検出方法及び移動物体検出プログラムを提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の移動物体検出装置は、同期した複数の撮像手段で、撮像対象を撮像した複数の撮像画像から、前記撮像対象内に存在する移動物体を検出する移動物体検出装置であって、前記複数の撮像画像の視差に基づいて、前記撮像対象までの距離を距離情報として生成する距離情報生成手段と、前記複数の撮像手段の中の少なくとも一つの撮像手段から、時系列に入力される撮像画像の差分に基づいて、前記移動物体の動きを動き情報として生成する動き情報生成手段と、所定の時間間隔で生成された前記距離情報の差分に基づいて、前記移動物体が前記撮像手段に接近しているかどうかを判定する物体接近判定手段と、この物体接近判定手段の判定結果で、前記移動物体が前記撮像手段に接近している場合に、前記動き情報において動きがあった画素の累積値が最大となる距離に、所定の時間間隔で生成された前記距離情報の差分により奥行き方向の幅を付加して、対象距離として設定する対象距離設定手段と、前記距離情報に基づいて、前記対象距離設定手段で設定された対象距離に対応する画素からなる対象距離画像を生成する対象距離画像生成手段と、前記対象距離画像内に、少なくとも前記対象距離に対応して、前記移動物体を検出する対象となる対象領域を設定する対象領域設定手段と、この対象領域設定手段で設定された対象領域から輪郭を抽出することで、前記移動物体を検出する輪郭抽出手段と、を備える構成とした。
【０００９】
かかる構成によれば、移動物体検出装置は、距離情報生成手段によって、複数の撮像画像の視差に基づいて、撮像対象までの距離を距離情報として生成する。例えば、複数の撮像画像から視差が検出された画素において、その視差の大きさ（視差量）を、撮像対象までの視差（距離）として各画素毎に埋め込んだ距離画像（距離情報）を生成する。
【００１０】
また、移動物体検出装置は、動き情報生成手段によって、複数の撮像手段の中の少なくとも一つの撮像手段から、時系列に入力される撮像画像の差分に基づいて、移動物体の動きを動き情報として生成する。例えば、時系列に入力される２枚の撮像画像の差分をとって、値が“０”でない画素値をすべて“１”にした差分画像を移動物体の動き情報として生成する。
【００１１】
そして、移動物体検出装置は、物体接近判定手段によって、所定の時間間隔で生成された距離情報の差をとることで、後の時間において移動物体が撮像手段に接近しているかどうかを判定する。
さらに、移動物体検出装置は、対象距離設定手段によって、移動物体が接近している場合に、距離情報と動き情報とにより、最も動き量の多い視差（距離）を特定し、その視差（距離）を移動物体が存在する対象距離として設定する。このとき、移動物体検出装置は、対象距離設定手段によって、距離情報に含まれる視差（距離）毎に、動き情報に含まれる動きのあった画素値を累計（ヒストグラム化）し、その累計値が最も多くなる視差（距離）に、最も動き量の多い移動物体が存在していると判定し、その視差（距離）を対象距離として設定する。さらに、移動物体検出装置は、対象距離に対して、所定の時間間隔で生成された距離情報の差分だけ、前後に奥行き方向の幅を持たせる。これによって、素早く接近してくる移動物体であっても、対象となる領域の奥行きを特定することができる。
【００１２】
また、移動物体検出装置は、対象距離画像生成手段によって、距離画像（距離情報）から対象距離に対応する画素を抽出して対象距離画像を生成する。例えば、対象距離にある程度の幅（例えば、数十ｃｍ等）を持たせ、その距離に対応する画素を距離画像から抽出する。さらに、対象領域設定手段によって、対象距離画像内に、少なくとも前記対象距離に対応して、移動物体を検出する対象となる対象領域を設定する。例えば、対象距離に対応する画素で生成された対象距離画像で、画素が存在する領域を対象領域とする。これによって、対象距離画像の中で移動物体が存在すると想定される領域を絞り込むことができる。そして、輪郭抽出手段によって、対象距離画像内の対象領域から移動物体の輪郭を抽出することで移動物体を検出する。
【００１５】
また、請求項２に記載の移動物体検出装置は、請求項１に記載の移動物体検出装置において、前記対象領域設定手段は、前記対象距離画像生成手段で生成された複数の対象距離画像毎に、垂直方向の画素量を計測し、前記各対象距離画像で前記画素量がピークとなる位置に基づいて、前記移動物体の移動方向を特定し、その移動方向に対応させて予め定めた水平方向の幅を、前記移動物体の水平方向の範囲として設定することを特徴とする。
【００１６】
かかる構成によれば、移動物体検出装置は、移動物体が存在する対象領域を設定する際に、対象領域設定手段によって、時系列に連続した２枚の対象距離画像において、それぞれ対象距離画像内における移動物体の垂直方向の画素量が最も多い箇所（ピーク）を、水平方向における移動物体の中心とし、その中心位置を結ぶベクトルを移動物体の移動方向として特定する。
【００１７】
そして、移動物体検出装置は、このベクトル（移動ベクトル）の方向に基づいて、移動物体の水平方向の範囲を設定する。例えば、移動物体を人物としたとき、人物が急速に接近してくる場合は、水平方向の領域を人物の肩幅分とし、人物が移動物体検出装置の前面を横切る場合は、水平方向の領域を人物の肩幅より狭く設定する。これによって、移動物体を検出する際の領域を限定することができ、移動物体検出における計算量を軽減することができる。
【００１８】
さらに、請求項３に記載の移動物体検出装置は、請求項１又は請求項２に記載の移動物体検出装置において、前記対象領域設定手段が、少なくとも前記撮像手段のチルト角及び設置面からの高さに基づいて、前記対象領域の垂直方向の範囲を設定することを特徴とする。
【００１９】
かかる構成によれば、移動物体検出装置は、移動物体が存在する対象領域を設定する際に、対象領域設定手段によって、撮像手段であるカメラのチルト角や、そのカメラの基準となる設置面からの高さ等のカメラパラメータに基づいて、移動物体の垂直方向の存在領域の範囲を設定する。例えば、移動物体の高さを特定の大きさ（人間であれば２ｍ等）に定めることで、その大きさとカメラパラメータとに基づいて、移動物体が対象距離画像内のどの範囲に位置するかを特定することができる。
【００２０】
また、請求項４に記載の移動物体検出装置は、請求項１乃至請求項３のいずれか１項に記載の移動物体検出装置において、前記撮像画像の各画素の色情報又は濃淡情報に基づいて、その撮像画像のエッジを抽出したエッジ画像を生成するエッジ画像生成手段を備え、前記対象距離画像生成手段が、前記距離情報に基づいて、前記対象距離に対応する前記エッジ画像の画素を抽出して、前記対象距離画像を生成することを特徴とする。
【００２１】
かかる構成によれば、移動物体検出装置は、エッジ画像生成手段によって、撮像画像の色情報又は濃淡情報から、撮像画像のエッジを抽出したエッジ画像を生成する。例えば、撮像画像の明るさ（輝度）に基づいて、その明るさが大きく変化する部分をエッジとして検出することで、エッジのみからなるエッジ画像を生成する。
【００２２】
そして、移動物体検出装置は、対象距離画像生成手段によって、エッジ画像から対象距離の範囲内に存在する対象距離画像を生成する。これによって、輪郭抽出手段が対象距離画像から輪郭を抽出する際に、エッジを検出する動作を省くことができる。
【００２３】
さらに、請求項５に記載の移動物体検出方法は、同期した複数の撮像手段で撮像された撮像画像に基づいて生成された撮像対象までの距離情報と、前記複数の撮像手段の中の少なくとも一つの撮像手段から時系列に入力される撮像画像に基づいて生成された動き情報とにより、前記撮像対象内で動きのある移動物体を検出する移動物体検出方法であって、所定の時間間隔で生成された前記距離情報の差分に基づいて、前記移動物体が前記撮像手段に接近しているかどうかを、物体接近判定手段により判定する物体接近判定ステップと、この物体接近判定ステップの判定結果で、前記移動物体が前記撮像手段に接近している場合に、対象距離設定手段により、前記動き情報において動きがあった画素の累積値が最大となる距離に、所定の時間間隔で生成された前記距離情報の差分により奥行き方向の幅を付加して、対象距離として設定する対象距離設定ステップと、前記距離情報に基づいて、前記対象距離設定ステップで設定された対象距離に対応する画素からなる対象距離画像を、対象距離画像生成手段により生成する対象距離画像生成ステップと、前記対象距離画像内に、少なくとも前記対象距離に対応して、前記移動物体を検出する対象となる対象領域を、対象領域設定手段により設定する対象領域設定ステップと、この対象領域設定ステップで設定された対象領域から輪郭抽出手段により輪郭を抽出することで、前記移動物体を検出する輪郭抽出ステップと、を含んでいることを特徴とする。
【００２４】
この移動物体検出方法によれば、物体接近判定ステップにおいて、所定の時間間隔で生成された距離情報の差をとることで、後の時間において移動物体が撮像手段に接近しているかどうかを判定する。そして、対象距離設定ステップにおいて、移動物体が撮像手段に接近している場合に、同期した複数の撮像手段で撮像された撮像画像に基づいて生成された撮像対象までの距離情報と、複数の撮像手段の中の少なくとも一つの撮像手段で時系列に入力される撮像画像に基づいて生成された動き情報とにより、最も動き量の多い視差（距離）を特定し、その視差（距離）を対象距離として設定する。
【００２５】
そして、対象距離画像生成ステップにおいて、距離画像（距離情報）から対象距離に対応する画素を抽出して対象距離画像を生成する。例えば、対象距離にある程度の幅（例えば、数十ｃｍ等）を持たせ、その距離に対応する画素を距離画像から抽出する。さらに、対象領域設定ステップにおいて、対象距離画像内に、少なくとも前記対象距離に対応して、移動物体を検出する対象となる対象領域を設定する。これによって、対象距離画像の中で移動物体が存在すると想定される領域を絞り込むことができる。そして、輪郭抽出ステップにおいて、対象距離画像内の対象領域から移動物体の輪郭を抽出することで移動物体を検出する。
【００２６】
また、請求項６に記載の移動物体検出プログラムは、同期した複数の撮像手段で撮像された撮像画像に基づいて生成された撮像対象までの距離情報と、前記複数の撮像手段の中の少なくとも一つの撮像手段から時系列に入力される撮像画像に基づいて生成された動き情報とにより、前記撮像対象内で動きのある移動物体を検出するために、コンピュータを、以下の手段によって機能させる構成とした。
【００２７】
すなわち、所定の時間間隔で生成された前記距離情報の差分に基づいて、前記移動物体が前記撮像手段に接近しているかどうかを判定する物体接近判定手段、この物体接近判定手段の判定結果で、前記移動物体が前記撮像手段に接近している場合に、前記動き情報において動きがあった画素の累積値が最大となる距離に、所定の時間間隔で生成された前記距離情報の差分により奥行き方向の幅を付加して、対象距離として設定する対象距離設定手段、前記距離情報に基づいて、前記対象距離設定手段で設定された対象距離に対応する画素からなる対象距離画像を生成する対象距離画像生成手段、前記対象距離画像内に、少なくとも前記対象距離に対応して、前記移動物体を検出する対象となる対象領域を設定する対象領域設定手段、この対象領域設定手段で設定された対象領域から輪郭を抽出することで、前記移動物体を検出する輪郭抽出手段、とした。
【００２８】
かかる構成によれば、移動物体検出プログラムは、物体接近判定手段によって、所定の時間間隔で生成された距離情報の差をとることで、後の時間において移動物体が撮像手段に接近しているかどうかを判定する。そして、対象距離設定手段によって、移動物体が撮像手段に接近している場合に、距離情報と動き情報とにより、最も動き量の多い視差（距離）を特定し、その視差（距離）を対象距離として設定する。
【００２９】
そして、対象距離画像生成手段によって、距離画像（距離情報）から対象距離に対応する画素を抽出して対象距離画像を生成し、対象領域設定手段によって、対象距離画像の中で移動物体が存在すると想定される領域を絞り込んだ対象領域を設定する。
そして、輪郭抽出手段によって、対象距離画像内の対象領域から移動物体の輪郭を抽出することで移動物体を検出する。
【００３０】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
（移動物体検出装置の構成）
図１は、本発明における移動物体検出装置１の構成を示したブロック図である。図１に示すように移動物体検出装置１は、２台のカメラ（撮像手段）２で撮像されたカメラ画像（撮像画像）から、動きを伴う物体（移動物体）を検出するものである。ここでは、移動物体検出装置１を、入力されたカメラ画像を解析する入力画像解析手段１０と、解析されたカメラ画像から物体を検出する物体検出手段２０とで構成した。なお、２台のカメラ２は、左右に距離Ｂだけ離れて配置されており、それぞれを右カメラ２ａ及び左カメラ２ｂとする。
【００３１】
入力画像解析手段１０は、撮像対象を撮像した２台のカメラ２（撮像手段：２ａ、２ｂ）から同期して入力されるカメラ画像（撮像画像）を解析して、距離情報を含んだ距離画像、動き情報を含んだ差分画像、エッジを抽出したエッジ画像及び肌色領域を抽出した肌色領域画像を生成するものである。ここでは、入力画像解析手段１０を、距離情報生成部１１と、動き情報生成部１２と、エッジ画像生成部１３と、肌色領域画像生成部１４とで構成した。
【００３２】
距離情報生成部（距離情報生成手段）１１は、同時刻に右カメラ２ａと左カメラ２ｂとで撮影された２枚のカメラ画像の視差を、カメラ２からカメラ２で撮像した撮像対象までの距離情報（より正確には、カメラ２の焦点位置からの距離）として埋め込み、距離画像として生成するものである。なお、この距離情報生成部１１は、例えば１００ｍｓ間隔に１フレームの割合でカメラ画像を入力する。
【００３３】
この距離情報生成部１１では、右カメラ２ａを基準カメラ（基準撮像手段）として、この基準カメラ（右カメラ２ａ）で撮像されたカメラ画像（基準撮像画像）と、左カメラ２ｂで撮像されたカメラ画像（同時刻撮像画像）とで、特定の大きさのブロック（例えば８×３画素）でブロックマッチングを行うことで、基準撮像画像からの視差を計測する。そして、その視差の大きさ（視差量）を基準撮像画像の各画素に対応付けた距離画像を生成する。
【００３４】
なお、視差をＺとしたとき、この視差Ｚに対応するカメラ２から物体までの距離Ｌ（図示せず）は、カメラ２の焦点距離をｆ（図示せず）、右カメラ２ａと左カメラ２ｂとの距離をＢとすると、（１）式で求めることができる。
【００３５】
Ｌ＝Ｂ×ｆ／Ｚ …（１）
【００３６】
動き情報生成部（動き情報生成手段）１２は、基準カメラ（右カメラ２ａ）で時系列に撮像された２枚のカメラ画像の差分に基づいて、カメラ画像内の移動物体の動きを動き情報として埋め込んだ、差分画像を生成するものである。
【００３７】
この動き情報生成部１２では、右カメラ２ａを基準カメラ（基準撮像手段）として、この基準カメラ（右カメラ２ａ）で撮像された時刻の異なる２枚のカメラ画像の差分をとる。例えば、１００ｍｓ間隔でカメラ画像を入力したときに、その入力時刻からΔｔ（例えば３３ｍｓ）分遅れたカメラ画像を入力し、その２枚のカメラ画像の差分をとることとする。
そして、差のあった画素には動きのあった画素として画素値“１”を与え、差のなかった画素には動きのなかった画素として画素値“０”を与えた差分画像を生成する。なお、動き情報生成部１２では、さらに差分画像に対して、メディアンフィルタ等のフィルタリング処理を行うことで、ノイズを除去しておく。
【００３８】
なお、カメラ２を移動カメラとし、撮像されたカメラ画像内の背景が変化する場合は、カメラ２からカメラ画像毎のパン、チルト等のカメラ移動量を入力し、例えば、時刻ｔ＋Δｔのカメラ画像をそのカメラ移動量分補正することで、時刻ｔ及び時刻ｔ＋Δｔにおいて、動きのあった画素のみを検出する。
【００３９】
エッジ画像生成部（エッジ画像生成手段）１３は、カメラ２（２ａ）からカメラ画像（基準撮像画像）を入力し、そのカメラ画像からエッジを抽出したエッジ画像を生成するものである。このエッジ画像生成部１３では、カメラ２（２ａ）から入力されたカメラ画像の明るさ（輝度：濃淡情報）に基づいて、その明るさが大きく変化する部分をエッジとして検出し、そのエッジのみからなるエッジ画像を生成する。例えば、ある画素の近傍領域の画素に対して重み係数を持つオペレータ（係数行例：Ｓｏｖｅｌオペレータ、Ｋｉｒｓｃｈオペレータ等）を画素毎に乗算することで、エッジの検出を行う。
【００４０】
肌色領域画像生成部１４は、カメラ２（２ａ）からカメラ画像（基準撮像画像）を入力し、そのカメラ画像から肌色の領域を抽出するものである。この肌色領域画像生成部１４では、入力されたカメラ画像における全画素のＲＧＢ値を、色相、明度及び彩度からなるＨＬＳ空間に変換し、色相、明度及び彩度が肌色の範囲として予め設定された閾値の範囲内にある画素を肌色領域として抽出する。
【００４１】
ここで、図５を参照（適宜図１参照）して、距離情報生成部１１で生成される距離画像、動き情報生成部１２で生成される差分画像、エッジ画像生成部１３で生成されるエッジ画像及び肌色領域画像生成部１４で生成される肌色領域画像について説明する。図５は、時系列に入力されるカメラ画像に基づいて、各画像が生成される状態を示したものである。
【００４２】
図５に示すように、距離画像Ｄは、同時刻の右カメラ画像と左カメラ画像との視差を画素値で表現することで生成される。この視差は、その値が大きいほど人物の位置がカメラ２に近いことを表し、値が小さいほど人物の位置がカメラ２から遠いことを表している。また、エッジ画像ＥＤは、右カメラ画像から生成された画像で、検出されたエッジのみからなる画像である。さらに、肌色領域画像ＳＡは、エッジ画像ＥＤと同様に、右カメラ画像から生成された画像で、肌色となる領域（肌色領域Ｒ）を抽出した画像である。また、差分画像ＤＩは、Δｔ分だけ入力された時刻が異なる２枚の右カメラ画像（例えば、時刻ｔと時刻ｔ＋Δｔの右カメラ画像）の差分をとり、差のあった画素を画素値“１”、差のなかった画素を画素値“０”として表現することで生成される。この差のあった画素が、実際に人物が動いた領域を表している。
【００４３】
ここで、図６を参照して、距離画像Ｄ及び差分画像ＤＩの内容について、さらに詳細に説明を行う。図６（ａ）は、距離画像Ｄの画像内容と、その画素値（距離画像画素値ＤＢ）の一例を示したものである。図６（ｂ）は、差分画像ＤＩの画像内容と、その画素値（差分画像画素値ＤＩＢ）の一例を示したものである。ここでは、カメラ２から約１ｍ、２ｍ及び３ｍ離れた位置に人物が存在しているものとする。
【００４４】
距離画像Ｄは、図６（ａ）に示すように、同時刻の右カメラ画像と左カメラ画像との視差を画素値で表現したものであって、例えば、距離画像画素値ＤＢに示したように、距離画像Ｄの画素位置（０，０）は視差が０であり、カメラ２からの距離が無限大（∞）であることを意味している。また、距離画像Ｄの画素位置（３０，５０）は視差が２０であり、カメラ２からの距離が視差２０に対応する距離、例えば２．２ｍであることを意味している。このように、距離画像Ｄは、視差を画素値として表現するため、例えば、カメラ２に近いほど明るく、遠いほど暗い画像となる。
【００４５】
差分画像ＤＩは、図６（ｂ）に示すように、時系列に入力される右カメラ画像の差の有無を表現したものであって、例えば、差分画像画素値ＤＩＢに示したように、差分画像ＤＩの画素位置（０，０）は“０”「停止」で、動きがなかったことを意味している。また、差分画像ＤＩの画素位置（３０，５０）は“１”「動き」で、動きがあったことを意味している。
図１に戻って、説明を続ける。
【００４６】
物体検出手段２０は、入力画像解析手段１０で解析された画像（距離画像、差分画像、エッジ画像及び肌色領域画像）に基づいて、動きのある移動物体の領域を検出し、移動物体の輪郭を抽出するものである。ここでは、物体検出手段２０を、対象距離設定部２１と、対象距離画像生成部２２と、対象領域設定部２３と、輪郭抽出部２４とで構成した。
【００４７】
対象距離設定部（対象距離設定手段）２１は、入力画像解析手段１０の距離情報生成部１１で生成された距離画像と、動き情報生成部１２で生成された差分画像とに基づいて、最も動き量の多い移動物体を特定し、対象となる移動物体が存在する対象距離を設定するものである。この対象距離は、対象距離画像生成部２２へ通知される。なお、ここでは、対象距離設定部２１に物体接近判定部２１ａを備え、カメラ２に対して、移動物体が接近してくる場合にのみ検出を行うものとする。
【００４８】
物体接近判定部２１ａは、距離情報生成部１１から時系列に入力される距離画像に基づいて、移動物体が接近してくるかどうかを判定するものである。例えば、図６に示した距離画像Ｄの距離画像画素値ＤＢにおいて、視差が大きくなった場合、移動物体が接近してくるものと判定する。
【００４９】
この対象距離設定部２１では、接近してくる移動物体を認識した場合、距離画像で表された視差（距離）毎に、その視差に対応する画素と同じ位置にある差分画像の画素値を累計し、その累計が最も多くなる視差（最多視差）に、最も動き量の多い移動物体が存在していると判定する。
【００５０】
また、ここでは、最多視差に対応する対象距離±α分の奥行きを、最も動き量の多い移動物体が存在する距離の範囲とする。このαの値は、対象距離を基準とした奥行き方向の範囲を示すものである。ここでは、αの値を、距離情報生成部１１から時系列に入力される距離画像の差分、例えば、時刻ｔ−１で生成した距離画像と、時刻ｔで生成した距離画像との差分とする。なお、このαの値は、人物を検出することと仮定して、数十ｃｍと固定した値を用いてもよい。
【００５１】
この対象距離設定部２１では、距離情報生成部１１で生成された距離画像と、動き情報生成部１２で生成された差分画像とを、図示していないメモリ等の記憶手段に記憶することとする。
【００５２】
対象距離画像生成部（対象距離画像生成手段）２２は、距離情報生成部１１で生成された視差量を埋め込んだ距離画像に基づいて、対象距離設定部２１で設定された対象距離に対応する画素を、エッジ画像生成部１３で生成されたエッジ画像から抽出した対象距離画像を生成するものである。
【００５３】
例えば、最多視差におけるカメラ２から移動物体までの距離Ｌを前記（１）式で算出したとすると、その視差の範囲Ｚｒは（１）式を変形することで、（２）式を得る。ただし、カメラ２の焦点距離をｆ、右カメラ２ａと左カメラ２ｂとの距離をＢ、対象物体の奥行き方向の範囲をαとする。
【００５４】
Ｂ×ｆ／（Ｌ＋α）＜Ｚｒ＜Ｂ×ｆ／（Ｌ−α） …（２）
【００５５】
この対象距離画像生成部２２では、前記（２）式の範囲の視差に対応する画素をエッジ画像から抽出した対象距離画像を生成する。
なお、この対象距離画像の生成は、基準カメラ（右カメラ２ａ）で撮像されたカメラ画像（原画像）又は距離情報生成部１１で生成された距離画像から、対象距離（視差の範囲）に対応する画素位置のみの画素を抽出することとしてもよい。
【００５６】
ここで、図７を参照（適宜図１参照）して、対象距離設定部２１及び対象距離画像生成部２２で、検出対象となる移動物体が存在する距離に対応する画像（対象距離画像）を生成する手順について説明する。図７（ａ）は、距離画像Ｄ及び差分画像ＤＩ（図６）に基づいて、視差（距離）と動きのある画素を累計した動き量（画素数）との関係を示したグラフである。図７（ｂ）は、エッジ画像ＥＤ（図５）から対象距離の画像のみを抽出した対象距離画像ＴＤを示している。
【００５７】
図７（ａ）に示したように、距離画像Ｄ（図６）の視差（距離）と動き量（画素数）との関係をグラフ化すると、視差（距離）が１ｍ、２．２ｍ、３ｍの位置で動き量がピークとなる。そこで、対象距離設定部２１は、動き量が最大となる視差（２．２ｍ）に移動物体が存在するものとし、その視差（２．２ｍ）の前後（±α）の奥行き範囲に移動物体が存在すると判定する。このαは、距離情報生成部１１から時系列に入力される距離画像の差分である。なお、このαの値は、移動物体を人物と仮定して、カメラ２から２．２±αｍ（α＝０．５ｍ）の範囲に人物が存在すると判定することとしてもよい。
【００５８】
また、対象距離画像生成部２２は、図７（ｂ）に示したように、エッジ画像生成部１３で生成されたエッジ画像から、距離情報生成部１１で生成された距離画像に基づいて、対象となる画素位置を判定して、対象距離±αｍに存在する画素を抽出した対象距離画像ＴＤを生成する。これによって、カメラ２から１ｍ、３ｍ離れた位置に存在している人物の画像を削除し、２．２±αｍ離れた位置に存在している人物のみをエッジ画像として抽出した対象距離画像ＴＤを生成することができる。
図１に戻って、説明を続ける。
【００５９】
対象領域設定部（対象領域設定手段）２３は、対象距離画像生成部２２で生成された対象距離画像（対象距離に対応したエッジ画像）の垂直方向の画素数を累計し、その垂直方向の画素数の累計が最も多くなる位置（ピーク）を移動物体の中心の水平位置であると特定して、その移動物体を含んだ領域（対象領域）を設定するものである。
【００６０】
なお、この対象領域設定部２３は、例えば、移動物体を人物と仮定して、その人物の移動方向が、よりカメラ２の方向に向かっている場合は、対象領域の水平方向の範囲を人物の幅に適した大きさに設定する。また、それ以外、例えば、斜め方向に接近してくる場合は、対象領域の水平方向の範囲を狭めて設定する。これは、人物が斜め方向を向いている場合は、水平方向の範囲を人物の肩幅以下で検出すればよいからである。
【００６１】
また、対象領域設定部２３は、縦方向は特定の大きさ（例えば２ｍ）を対象領域の高さとする。このとき、対象領域設定部２３は、カメラ２から入力されるチルト角、床（設置面）からの高さ等のカメラパラメータに基づいて、対象領域の垂直方向の存在領域（範囲）を設定する。
【００６２】
ここで、図８及び図９を参照（適宜図１参照）して、対象領域設定部２３が、対象距離画像ＴＤの中から一つ（一人）の移動物体の領域（対象領域）を設定する手順について説明する。図８は、対象距離画像生成部２２で時刻ｔ−２に生成された対象距離画像ＴＤ（ＴＤt-2）、時刻ｔ−１に生成された対象距離画像ＴＤ（ＴＤt-1）、及び、時刻ｔに生成された対象距離画像ＴＤ（ＴＤt）における垂直方向の画素数の累計をヒストグラムＨＩで表したものである。この図８では、ヒストグラムＨＩを対象距離画像ＴＤ（ＴＤt-2、ＴＤt-1及びＴＤt）に重畳させているが、これは、説明の都合上重畳させているだけである。図９は、時刻ｔ−２から時刻ｔへのヒストグラムのピーク位置の変化、すなわち移動物体の位置の変化を示したものである。なお、図９は、対象距離画像を仮想的に上から見たものである。
【００６３】
対象領域設定部２３は、図８に示したように、対象距離画像ＴＤの垂直方向の画素数を累計したヒストグラムＨＩを生成する。このように対象距離画像ＴＤをヒストグラム化することで、そのヒストグラムＨＩが最大となる位置に移動物体の中心の水平位置が存在すると判定することが可能になる。例えば、ヒストグラムＨＩを使用せずに対象距離画像ＴＤの中で最も高位置に存在する０でない画素位置を、移動物体の中心の水平位置と判定すると、人物が手を上げた場合、その手の先を人物（移動物体）の中心であると判定してしまうことになる。そこで、ここでは、ヒストグラムＨＩを使用することとする。
【００６４】
ここでは、時刻ｔ−２の対象距離画像ＴＤ（ＴＤt-2）において、ヒストグラムＨＩが最大となる水平位置Ｈt-2に移動物体（右側人物）の中心が存在し、時刻ｔ−１の対象距離画像ＴＤ（ＴＤt-1）において、ヒストグラムＨＩが最大となる水平位置Ｈt-1に移動物体（右側人物）の中心が存在し、時刻ｔの対象距離画像ＴＤ（ＴＤt）において、ヒストグラムＨＩが最大となる水平位置Ｈtに移動物体（右側人物）の中心が存在している。このようにヒストグラムが最大となる位置を移動物体の中心と判定することで、同一距離に複数の移動物体（人物等）が存在していても、その中の一つ（一人）を検出することができる。
【００６５】
そして、対象領域設定部２３は、図９に示したように、時刻ｔ−２における移動物体の中心位置Ｈt-2から、時刻ｔ−１において移動物体が移動した中心位置Ｈt-1へのベクトル（移動ベクトルｖ）に基づいて、移動物体の移動方向を特定する。この移動方向に基づいて、対象領域設定部２３は、時刻ｔにおける対象領域の水平方向の範囲ｗを設定する。なお、奥行き方向の範囲αは図７においてすでに算出している。
【００６６】
この水平方向の範囲ｗの設定では、例えば、移動ベクトルｖとカメラの視線ｅとのなす角度θが４５°未満の場合、対象領域設定部２３は、移動物体（人物）が急速に接近してくると判定し、水平方向の範囲を人物の中心位置Ｈt±（０．５〜０．６）ｍとする。また、角度θが４５°以上の場合、対象領域設定部２３は、移動物体（人物）がカメラ前を横切ると判定し、水平方向の範囲を人物の中心位置Ｈt±（０．２〜０．３）ｍとする。なお、この水平方向の範囲ｗは、移動ベクトルｖとカメラの視線ｅとのなす角度θをさらに細分化して、その各々の角度毎に予め設定しておいてもよい。
【００６７】
さらに、対象領域設定部２３は、特定の大きさ（例えば２ｍ）を対象領域の垂直方向の範囲とする。この対象領域の大きさについては、図１０を参照（適宜図１参照）してさらに説明を行う。
【００６８】
図１０は、カメラ２が移動ロボット（図示せず）に組み込まれ、移動物体Ｍと同じ床からある高さ（カメラ高）Ｈに位置しているときに、移動物体Ｍが対象距離画像（ａ´、ｂ´）上のどの高さに位置するかを説明するための説明図である。なお、図１０（ａ）は、カメラ２のチルト角が０（°）の場合、図１０（ｂ）はカメラ２のチルト角がθT（≠０）の場合におけるカメラ２と移動物体Ｍとの対応関係を示している。
【００６９】
まず、図１０（ａ）を参照して、チルト角が０（°）の場合において、移動物体Ｍが対象距離画像（ａ´）上で縦方向のどの位置に存在するかを特定する方法について説明する。
【００７０】
ここで、カメラ２の垂直画角をθv、カメラ２から移動物体Ｍまでの距離をＬ、対象距離画像（ａ´）の縦方向の解像度をＹ、カメラ２の床からの高さ（カメラ高）をＨ、移動物体Ｍの床からの仮想の高さを２（ｍ）とする。このとき、カメラ２の光軸と、カメラ２から移動物体Ｍの仮想の上端（床から２ｍ）までを結んだ直線との角度θHは（３）式で表すことができる。
【００７１】
θH＝ｔａｎ-1（（２−Ｈ）／Ｌ） …（３）
【００７２】
これにより、移動物体Ｍの対象距離画像（ａ´）上での上端ｙTは（４）式で求めることができる。
【００７３】
ｙT＝Ｙ／２−θHＹ／θv
＝Ｙ／２−（Ｙ／θv）ｔａｎ-1（（２−Ｈ）／Ｌ） …（４）
【００７４】
また、カメラ２の光軸と、カメラ２から移動物体Ｍの下端（床）までを結んだ直線との角度θLは（５）式で表すことができる。
【００７５】
θL＝ｔａｎ-1（Ｈ／Ｌ） …（５）
【００７６】
これにより、移動物体Ｍの対象距離画像（ａ´）上での下端ｙBは（６）式で求めることができる。
【００７７】
ｙB＝Ｙ／２＋θLＹ／θv
＝Ｙ／２＋（Ｙ／θv）ｔａｎ-1（Ｈ／Ｌ） …（６）
【００７８】
次に、図１０（ｂ）を参照して、チルト角がθT（≠０）の場合において、移動物体Ｍが対象距離画像（ｂ´）上で縦方向のどの位置に存在するかを特定する方法について説明する。
【００７９】
ここで、カメラ２の垂直画角をθv、チルト角をθT、移動物体Ｍまでの距離をＬ、対象距離画像の縦方向の解像度をＹ、カメラ２の床からの高さ（カメラ高）をＨ、移動物体Ｍの床からの仮想の高さを２（ｍ）とする。このとき、カメラ２の光軸とカメラ２から移動物体Ｍの仮想の上端（床から２ｍ）までを結んだ直線との角度θHと、チルト角θTとの差分角度（θH−θT）は（７）式で表すことができる。
【００８０】
θH−θT＝ｔａｎ-1（（２−Ｈ）／Ｌ） …（７）
【００８１】
これにより、移動物体Ｍの対象距離画像（ｂ´）上での上端ｙTは（８）式で求めることができる。
【００８２】
ｙT＝Ｙ／２−θTＹ／θv−（θH−θT）Ｙ／θv
＝Ｙ／２−θTＹ／θv−（Ｙ／θv）ｔａｎ-1（（２−Ｈ）／Ｌ）
…（８）
【００８３】
また、カメラ２の光軸とカメラ２から移動物体Ｍの下端（床）までを結んだ直線との角度θLと、チルト角θTとの加算角度（θL＋θT）は（９）式で表すことができる。
【００８４】
θL＋θT＝ｔａｎ-1（Ｈ／Ｌ） …（９）
【００８５】
これにより、移動物体Ｍの対象距離画像（ｂ´）上での下端ｙBは（１０）式で求めることができる。
【００８６】
ｙB＝Ｙ／２−θTＹ／θv＋（θL＋θT）Ｙ／θv
＝Ｙ／２−θTＹ／θv＋（Ｙ／θv）ｔａｎ-1（Ｈ／Ｌ） …（１０）
【００８７】
このように求めた対象距離画像（ａ´又はｂ´）の上端ｙT及び下端ｙBによって、対象領域の垂直方向の範囲が決定される。
なお、移動ロボット（図示せず）が階段等を昇降し、移動物体Ｍと同一の床に存在しない場合は、移動ロボット本体のエンコーダ等によって昇降量を検出し、その昇降量を移動物体Ｍの床からの高さに対して加算又は減算することで、移動物体Ｍの対象距離画像（ａ´又はｂ´）における縦方向の位置を特定することができる。あるいは、移動ロボットに地図情報を保持しておき、移動物体Ｍの方向及び距離で特定される床の高さを、その地図情報から取得することとしてもよい。
【００８８】
また、対象領域の水平方向の範囲は、例えば、図示していないが、カメラ２の水平画角をθh、カメラ２から対象とする移動物体Ｍまでの距離をＬ、対象距離画像の横方向の解像度をＸとすると、対象領域の幅の半分（移動物体の中心からの距離）を０．５（ｍ）としたときの、対象距離画像上での水平画素数αHは、（１１）式で求めることができる。
【００８９】
αH＝（Ｘ／θh）ｔａｎ-1（０．５／Ｌ） …（１１）
図１に戻って、説明を続ける。
【００９０】
輪郭抽出部（輪郭抽出手段）２４は、対象距離画像生成部２２で生成された対象距離画像において、対象領域設定部２３で設定した移動物体の領域（対象領域）内で、既知の輪郭抽出技術を用いて移動物体の輪郭の抽出を行うものである。
【００９１】
ここで、既知の輪郭抽出としては、例えば、ＳＮＡＫＥＳと呼ばれる動的輪郭モデルを用いることができる。ここで、ＳＮＡＫＥＳとは、閉曲線を予め定義したエネルギーを最小化するように収縮変形させることにより、物体の輪郭を抽出する手法である。ここでは、移動物体の領域（対象領域）内で、エネルギーを算出するための初期値を設定できるため、輪郭抽出のための計算量を軽減させることができる。
さらに、輪郭抽出部２４は、輪郭を抽出した移動物体が人物であるかどうかを判定する肌色領域判定部２４ａを備えることができる。
【００９２】
肌色領域判定部２４ａは、輪郭抽出部２４内で抽出した移動物体の輪郭が、人物の輪郭であるかどうかを判定するものである。この肌色領域判定部２４ａでは、接近してくる移動物体の輪郭を抽出した際に、その輪郭内に肌色領域画像生成部１４で生成された肌色領域画像の肌色領域Ｒ（図５参照）が含まれるかどうかを判定することで、その輪郭が人物の輪郭であるかどうかを判定する。
【００９３】
輪郭抽出部（輪郭抽出手段）２４は、輪郭内の移動物体の検出情報（移動物体の重心や移動物体の移動方向（角度）等）を外部に出力する。なお、ここでは、人物のみを検出することとして、肌色領域判定部２４ａで輪郭が人物のものでないと判定された場合は、外部に移動物体の検出情報を出力しないこととする。このように、この輪郭抽出部２４で輪郭が抽出されることで、移動物体が検出されたことになる。これによって、例えば、図１１に示したように、対象距離画像ＴＤの中で移動物体が一つ（一人）に限定された対象領域Ｔ内で輪郭Ｏを抽出することができる。
【００９４】
以上説明した移動物体検出装置１を、移動ロボット、自動車等の移動体に組み込んむことで、人物等の物体を検出することが可能になる。例えば、移動ロボットに本発明を適用することで、移動ロボットが、人込みにおいても人物を認識することが可能になる。さらに、人物を個別に検出することができるので、例えば、顔認識等を行うことで、その人物を追跡したり、人物毎に異なる動作を行わせる等の輪郭抽出後の処理が容易になる。
【００９５】
なお、対象距離に複数の移動物体（人物）が存在する場合は、距離情報生成部１１で生成した距離画像において、すでに検出を終了した移動物体の領域を削除（画素値を“０”にする）し、その削除した距離画像で順次移動物体を検出することとしてもよい
【００９６】
以上、一実施の形態として移動物体検出装置１の構成について説明したが、移動物体検出装置１は、一般的なコンピュータにプログラムを実行させ、コンピュータ内の演算装置や記憶装置を動作させることにより実現される。
【００９７】
また、ここでは、移動物体検出装置１の距離情報生成部１１が、２台のカメラ２で撮像したカメラ画像に基づいて距離画像を生成したが、３台以上のカメラを用いて距離画像を生成することとしてもよい。例えば、３行３列に配置した９台のカメラで、中央に配置したカメラを基準カメラとして、他のカメラとの視差に基づいて距離画像を生成することで、移動物体までの距離をより正確に測定することもできる。
【００９８】
また、ここでは、移動物体検出装置１を、接近してくる人物を検出ための装置として構成した。しかし、人物と限定せずに移動物体を検出する場合は、移動物体検出装置１から、肌色領域画像生成部１４及び肌色領域判定部２４ａを削除して構成してもよい。
【００９９】
（移動物体検出装置の動作）
次に、図２乃至図４を参照（適宜図１参照）して、移動物体検出装置１の動作について説明する。図２乃至図４は、移動物体検出装置１の動作を示すフローチャートである。
【０１００】
＜カメラ画像入力ステップ＞
まず、移動物体検出装置１は、同期した２台のカメラ２から時系列にカメラ画像を入力する（ステップＳ１）。ここでは、ある時刻ｔに右カメラ２ａ（基準カメラ）と左カメラ２ｂとから入力されたカメラ画像と、次の時刻ｔ＋Δｔに右カメラ２ａ（基準カメラ）と左カメラ２ｂとから入力されたカメラ画像とに基づいて、移動物体を抽出する。なお、以下のステップで用いられている距離画像Ｄt-1及びＤt-2、対象距離画像ＴＤt-2及びＴＤt-1は、時刻ｔ−２及び時刻ｔ−１の段階で生成されたものである。
【０１０１】
＜距離画像生成ステップ＞
そして、移動物体検出装置１は、距離情報生成部１１によって、時刻ｔに右カメラ２ａ（基準カメラ）と左カメラ２ｂとから入力された２枚のカメラ画像から、撮像対象までの視差（距離）を埋め込んだ距離画像Ｄtを生成する（ステップＳ２）。
【０１０２】
＜差分画像生成ステップ＞
さらに、移動物体検出装置１は、動き情報生成部１２によって、右カメラ２ａ（基準カメラ）で時刻ｔと時刻ｔ＋Δｔに撮像された２枚のカメラ画像（基準カメラ画像）の差分をとり、差のあった画素を画素値“１”、差のなかった画素を画素値“０”とした差分画像ＤＩtを生成する（ステップＳ３）。
【０１０３】
＜エッジ画像生成ステップ＞
また、移動物体検出装置１は、エッジ画像生成部１３によって、右カメラ２ａ（基準カメラ）で時刻ｔに撮像されたカメラ画像（基準カメラ画像）からエッジ画像ＥＤtを生成する（ステップＳ４）。
【０１０４】
＜肌色領域画像生成ステップ＞
さらに、移動物体検出装置１は、肌色領域画像生成部１４によって、右カメラ２ａ（基準カメラ）で時刻ｔに撮像されたカメラ画像（基準カメラ画像）から肌色領域を抽出した肌色領域画像ＳＡtを生成する（ステップＳ５）。
【０１０５】
＜物体接近判定ステップ＞
そして、移動物体検出装置１は、対象距離設定部２１の物体接近判定部２１ａによって、時刻ｔ−１におけるステップＳ２で生成した距離画像Ｄt-1と、時刻ｔ−２におけるステップＳ２で生成した距離画像Ｄt-2との画素の値を比較することで、移動物体が接近してくるかどうかを判定する（ステップＳ６）。
【０１０６】
ここで、接近してくる移動物体を認識した場合（ステップＳ６：接近）は、図３のステップＳ７へ進む。一方、接近してくる移動物体を認識できなかった場合（ステップＳ６：非接近）は、移動物体の検出動作を終了する。
【０１０７】
＜対象距離設定ステップ＞
また、移動物体検出装置１は、対象距離設定部２１によって、ステップＳ２及びステップＳ３で生成した距離画像Ｄt及び差分画像ＤＩt（時刻ｔと時刻ｔ＋Δｔの差分画像）から、距離画像Ｄtで表された視差（距離）毎に、動きのあった画素数を累計し、その累計が最大となる距離を、距離画像Ｄtにおける検出対象となる移動物体の対象距離ｄtとして設定する（ステップＳ７）。
【０１０８】
＜対象距離画像生成ステップ＞
そして、移動物体検出装置１は、対象距離画像生成部２２によって、ステップＳ４で生成したエッジ画像ＥＤｔから、対象距離ｄｔ（Ｄｔ−１及びＤｔ−２の差分）の画素を抽出した対象距離画像ＴＤｔを生成する（ステップＳ８）。
このステップＳ８によって、移動物体検出装置１は、時刻ｔにおける距離画像Ｄ ｔにおいて、移動物体が存在する奥行き方向の範囲を設定することができる。
【０１０９】
＜対象領域設定ステップ＞
そして、移動物体検出装置１は、対象領域設定部２３によって、ステップＳ８で生成した対象距離画像ＴＤtの垂直方向（縦方向）の画素数を、ヒストグラム化することで計測する（ステップＳ９）。
【０１１０】
さらに、移動物体検出装置１は、時刻ｔ−２におけるステップ９で計測した対象距離画像ＴＤt-2のヒストグラムが最大となる位置と、時刻ｔ−１におけるステップ９で計測した対象距離画像ＴＤt-1のヒストグラムが最大となる位置とを結んで移動ベクトルを設定する（ステップＳ１０）。
【０１１１】
そして、移動物体検出装置１は、この移動ベクトルに基づいて、時刻ｔの対象距離画像ＴＤtにおいて、ヒストグラムが最大となる位置Ｈt（図９参照）を中心に、所定左右領域を対象領域の水平方向範囲として設定する（ステップＳ１１）。ここでは、人物を検出することとして、移動ベクトルとカメラ２の視線方向とのなす角度が４５°未満の場合は、中心位置Ｈt±（０．５〜０．６）ｍを、人物を検出するための水平方向範囲とする。また、移動ベクトルとカメラ２の視線方向とのなす角度が４５°以上の場合は、中心位置Ｈt±（０．２〜０．３）ｍを、人物を検出するための水平方向範囲とする。
【０１１２】
さらに、対象領域設定部２３では、カメラ２から入力されるチルト角、床（設置面）からの高さ等のカメラパラメータに基づいて、対象距離画像ＴＤtで対象領域の垂直（上下）方向の範囲を設定する（ステップＳ１２）。
【０１１３】
例えば、カメラ２のチルト角、床からの高さに基づいて、対象距離画像における画像中の床の位置（対象領域の下端）を求める。そして、カメラ２の画角と移動物体までの距離とに基づいて、床から２ｍまでの範囲を、画素数に換算することにより対象領域の対象距離画像における床からの画素数を求める。これによって、対象距離画像における対象領域の上端を求めることができる。この対象領域の上端は、カメラ２のチルト角、床からの高さに基づいて、対象距離画像における画像中の２ｍの位置（高さ）を直接求めることとしてもよい。なお、この２ｍは、一例であって、他の長さ（高さ）であっても構わない。
【０１１４】
＜輪郭抽出ステップ＞
また、移動物体検出装置１は、輪郭抽出部２４によって、ステップＳ８で生成した対象距離画像ＴＤtにおいて、ステップＳ１１及びステップＳ１２で設定した対象領域内で輪郭の抽出を行う（ステップＳ１３）。例えば、対象領域内で動的輪郭モデル（ＳＮＡＫＥＳ）を適用することによって輪郭の抽出を行う。
【０１１５】
そして、輪郭の抽出に成功したかどうかを判定する（ステップＳ１４）。なお、ここで輪郭抽出の成功及び失敗の判定は、ステップＳ１３において輪郭が抽出できたかどうかの判定だけではなく、例えば、対象距離が予め定めた距離よりも遠い場合や、対象領域が予め定めた大きさよりも小さい場合等の理由によって、物体の輪郭抽出を行わないとする判定をも含むものとする。
【０１１６】
このステップＳ１４で輪郭の抽出に成功した場合（Ｙｅｓ）は、ステップＳ１５へ進む。一方、輪郭の抽出に失敗した（あるいは抽出を行わない）場合（Ｎｏ）は、本動作を終了する。
【０１１７】
＜人物抽出ステップ＞
移動物体の輪郭抽出に成功した場合、移動物体検出装置１は、輪郭抽出部２４の肌色領域判定部２４ａによって、ステップＳ５で生成した肌色領域画像ＳＡtの肌色領域が、輪郭抽出部２４内で抽出した移動物体の輪郭に含まれるかどうかを判定することで、その輪郭が人物の輪郭であるかどうかを判定する（ステップＳ１５）。
【０１１８】
ここで、肌色領域判定部２４ａが、移動物体の輪郭を人物の輪郭であると判定した場合（Ｙｅｓ）は、輪郭抽出部２４が移動物体の検出情報を生成し、外部へ出力し（ステップＳ１６）、ステップＳ１７へ進む。この移動物体の検出情報には、移動物体の重心座標、カメラ２のチルト角や移動物体の移動方向を示す各種角度等の情報が含まれる。一方、肌色領域判定部２４ａが、移動物体の輪郭を人物の輪郭でないと判定した場合（ステップＳ１５：Ｎｏ）は、ステップＳ１７へ進む。
【０１１９】
＜移動物体動作判定ステップ＞
そして、移動物体検出装置１がステップ１６で移動物体の検出情報を出力することで、例えば、移動ロボットの制御装置（図示せず）が、その移動物体の動作を判定する（ステップ１７）。
【０１２０】
以上の各ステップによって、本実施の形態の移動物体検出装置１は、カメラ２から入力されたカメラ画像により、そのカメラ画像に存在する移動物体を検出することができる。なお、ここでは、ある時刻ｔにおいて移動物体を検出したが、時々刻々と入力されるカメラ画像に基づいて、前記ステップ（ステップＳ１〜ステップＳ１７）を動作させることで、例えば、移動ロボット等の移動体が、人物を検出し続けることができる。
【０１２１】
なお、ステップ１１において、対象領域設定部２３が、移動物体（人物）との距離が２ｍ前後で、移動ベクトルとカメラ２の視線方向とのなす角度が４５°未満の場合は、垂直方向の範囲を２ｍとし、それ以外の場合は、垂直方向の範囲の下側を３０％削除することとする。これによって、人物が特定の距離（ここでは２ｍ）に存在し、接近してくる場合に、最も精度よく人物を検出し、それ以外の場合は、人物検出の計算負荷を軽減させることができる。
【０１２２】
【発明の効果】
以上説明したとおり、本発明に係る移動物体検出装置、移動物体検出方法及び移動物体検出プログラムでは、以下に示す優れた効果を奏する。
【０１２３】
本発明によれば、移動物体が接近してくるかどうかを判定することができるので、接近してくる移動物体の検出のみを行うことで、輪郭抽出にかかる計算量を抑え、移動物体の検出にかかる処理速度を早めることができる。
【０１２４】
また、移動物体を検出する対象距離及び対象領域を自動的に設定することができ、その対象距離及び対象領域を限定させることができる。これによって、移動物体の検出にかかる処理速度を早めるとともに、検出精度を高めることができる。
【０１２５】
さらに、本発明によれば、カメラのチルト角や、床からの高さに基づいて、対象距離画像における移動物体の垂直方向の範囲を絞り込むことができるため、輪郭抽出にかかる計算量を抑え、移動物体の検出にかかる処理速度を早めることができる。
【０１２６】
また、本発明によれば、予めカメラ画像からエッジを抽出したエッジ画像を生成しておくため、個々の移動物体の領域（対象領域）に対する輪郭抽出時にエッジを検出する必要がない。このため、移動物体がカメラ画像上に複数繋がって存在する場合であっても、重複した領域でエッジの抽出を行わないため、高速に移動物体を検出することが可能になる。
【図面の簡単な説明】
【図１】本発明の移動物体検出装置の全体構成を示すブロック図である。
【図２】本発明の移動物体検出装置の動作を示すフローチャート（１／３）である。
【図３】本発明の移動物体検出装置の動作を示すフローチャート（２／３）である。
【図４】本発明の移動物体検出装置の動作を示すフローチャート（３／３）である。
【図５】距離画像、エッジ画像、肌色領域画像及び差分画像の内容の一例を示す図である。
【図６】距離画像及び差分画像の内容の一例を示す図である。
【図７】視差（距離）毎の動き量（画素値）に基づいて、対象距離画像を生成するための手順を説明するための説明図である。
【図８】対象距離画像から垂直方向の画素数の累計が最大となる位置をヒストグラムによって示した図である。
【図９】ヒストグラムのピーク位置の変化によって、対象領域を設定する手順を説明するための説明図である。
【図１０】カメラパラメータに基づいて、移動物体が対象距離画像上のどの高さに位置するかを算出する手順を説明するための説明図である。
【図１１】対象距離画像の対象領域で輪郭を抽出した例を示す図である。
【符号の説明】
１ 移動物体検出装置
２ カメラ（撮像手段）
１０ 入力画像解析手段
１１ 距離情報生成部（距離情報生成手段）
１２ 動き情報生成部（動き情報生成手段）
１３ エッジ画像生成部（エッジ画像生成手段）
１４ 肌色領域画像生成部
２０ 物体検出手段
２１ 対象距離設定部（対象距離設定手段）
２１ａ 物体接近判定部（物体接近判定手段）
２２ 対象距離画像生成部（対象距離画像生成手段）
２３ 対象領域設定部（対象領域設定手段）
２４ 輪郭抽出部（輪郭抽出手段）
２４ａ 肌色領域判定部
【発明の属する技術分野】
本発明は、カメラによって撮像された画像から、その画像上に存在する移動物体を検出する移動物体検出装置、移動物体検出方法及び移動物体検出プログラムに関する。
【０００２】
【従来の技術】
従来、ＣＣＤ等のカメラによって撮像された画像から、その画像上に存在する物体を検出する技術として、例えば、画像内で物体の初期の曖昧な輪郭を輪郭モデルとして設定し、その輪郭モデルを所定の規則に従って収縮変形することで物体の輪郭を抽出して物体を検出する技術（動的輪郭モデル：ＳＮＡＫＥＳ）が存在する。なお、この輪郭抽出に基づいた物体検出技術においては、時間的に連続した画像により、動きのある物体（移動物体）のエッジを検出し、輪郭モデルをそのエッジに連結させることで移動物体の輪郭を抽出して移動物体を検出している（例えば、特許文献１参照。）。
【０００３】
また、ステレオ画像等によって得られる位置（距離）情報から、個々の物体を分離して抽出する技術として、例えば、３次元空間上の物体として認識される領域において、物体の大きさによって、その物体が位置する限定した物体位置算出領域を初期領域として設定し、その物体位置算出領域と物体の３次元座標上の重心位置との相対位置を算出し、その相対位置が重心位置に対して所定範囲内であるときに、重心の位置を物体の位置と特定して物体を抽出する技術が存在する（例えば、特許文献２参照。）。
【０００４】
【特許文献１】
特開平８−３２９２５４号公報（第７頁、第９−１０図）
【特許文献２】
特開平７−４９９５０号公報（第４−５頁、第１図）
【０００５】
【発明が解決しようとする課題】
しかし、前記従来の技術において、第１の例である、輪郭モデルを連続する画像から検出されるエッジに連結することで移動物体の輪郭を抽出して物体を検出する技術では、撮像した画像上で、複数の物体が隣接して存在する場合、その複数の物体を一つの物体として認識してしまうという問題がある。
【０００６】
また、前記従来の技術において、第２の例である、物体の重心位置に基づいて、物体を抽出する技術では、物体位置算出領域と物体の重心位置との相対位置が、所定範囲内になるまで繰り返し演算を行う必要があり、物体抽出にかかる時間が長くなってしまう。このため、移動ロボットのようなリアルタイムで、人物等の物体の認識（抽出）を行う装置には、適用できないという問題があった。
【０００７】
本発明は、以上のような問題点に鑑みてなされたものであり、移動カメラで撮像した画像であっても、移動物体の輪郭抽出を行う演算処理を軽減し、また、撮像した画像上に複数の物体が隣接した場合でも、高速に物体を検出することを可能にした移動物体検出装置、移動物体検出方法及び移動物体検出プログラムを提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の移動物体検出装置は、同期した複数の撮像手段で、撮像対象を撮像した複数の撮像画像から、前記撮像対象内に存在する移動物体を検出する移動物体検出装置であって、前記複数の撮像画像の視差に基づいて、前記撮像対象までの距離を距離情報として生成する距離情報生成手段と、前記複数の撮像手段の中の少なくとも一つの撮像手段から、時系列に入力される撮像画像の差分に基づいて、前記移動物体の動きを動き情報として生成する動き情報生成手段と、所定の時間間隔で生成された前記距離情報の差分に基づいて、前記移動物体が前記撮像手段に接近しているかどうかを判定する物体接近判定手段と、この物体接近判定手段の判定結果で、前記移動物体が前記撮像手段に接近している場合に、前記動き情報において動きがあった画素の累積値が最大となる距離に、所定の時間間隔で生成された前記距離情報の差分により奥行き方向の幅を付加して、対象距離として設定する対象距離設定手段と、前記距離情報に基づいて、前記対象距離設定手段で設定された対象距離に対応する画素からなる対象距離画像を生成する対象距離画像生成手段と、前記対象距離画像内に、少なくとも前記対象距離に対応して、前記移動物体を検出する対象となる対象領域を設定する対象領域設定手段と、この対象領域設定手段で設定された対象領域から輪郭を抽出することで、前記移動物体を検出する輪郭抽出手段と、を備える構成とした。
【０００９】
かかる構成によれば、移動物体検出装置は、距離情報生成手段によって、複数の撮像画像の視差に基づいて、撮像対象までの距離を距離情報として生成する。例えば、複数の撮像画像から視差が検出された画素において、その視差の大きさ（視差量）を、撮像対象までの視差（距離）として各画素毎に埋め込んだ距離画像（距離情報）を生成する。
【００１０】
また、移動物体検出装置は、動き情報生成手段によって、複数の撮像手段の中の少なくとも一つの撮像手段から、時系列に入力される撮像画像の差分に基づいて、移動物体の動きを動き情報として生成する。例えば、時系列に入力される２枚の撮像画像の差分をとって、値が“０”でない画素値をすべて“１”にした差分画像を移動物体の動き情報として生成する。
【００１１】
そして、移動物体検出装置は、物体接近判定手段によって、所定の時間間隔で生成された距離情報の差をとることで、後の時間において移動物体が撮像手段に接近しているかどうかを判定する。
さらに、移動物体検出装置は、対象距離設定手段によって、移動物体が接近している場合に、距離情報と動き情報とにより、最も動き量の多い視差（距離）を特定し、その視差（距離）を移動物体が存在する対象距離として設定する。このとき、移動物体検出装置は、対象距離設定手段によって、距離情報に含まれる視差（距離）毎に、動き情報に含まれる動きのあった画素値を累計（ヒストグラム化）し、その累計値が最も多くなる視差（距離）に、最も動き量の多い移動物体が存在していると判定し、その視差（距離）を対象距離として設定する。さらに、移動物体検出装置は、対象距離に対して、所定の時間間隔で生成された距離情報の差分だけ、前後に奥行き方向の幅を持たせる。これによって、素早く接近してくる移動物体であっても、対象となる領域の奥行きを特定することができる。
【００１２】
また、移動物体検出装置は、対象距離画像生成手段によって、距離画像（距離情報）から対象距離に対応する画素を抽出して対象距離画像を生成する。例えば、対象距離にある程度の幅（例えば、数十ｃｍ等）を持たせ、その距離に対応する画素を距離画像から抽出する。さらに、対象領域設定手段によって、対象距離画像内に、少なくとも前記対象距離に対応して、移動物体を検出する対象となる対象領域を設定する。例えば、対象距離に対応する画素で生成された対象距離画像で、画素が存在する領域を対象領域とする。これによって、対象距離画像の中で移動物体が存在すると想定される領域を絞り込むことができる。そして、輪郭抽出手段によって、対象距離画像内の対象領域から移動物体の輪郭を抽出することで移動物体を検出する。
【００１５】
また、請求項２に記載の移動物体検出装置は、請求項１に記載の移動物体検出装置において、前記対象領域設定手段は、前記対象距離画像生成手段で生成された複数の対象距離画像毎に、垂直方向の画素量を計測し、前記各対象距離画像で前記画素量がピークとなる位置に基づいて、前記移動物体の移動方向を特定し、その移動方向に対応させて予め定めた水平方向の幅を、前記移動物体の水平方向の範囲として設定することを特徴とする。
【００１６】
かかる構成によれば、移動物体検出装置は、移動物体が存在する対象領域を設定する際に、対象領域設定手段によって、時系列に連続した２枚の対象距離画像において、それぞれ対象距離画像内における移動物体の垂直方向の画素量が最も多い箇所（ピーク）を、水平方向における移動物体の中心とし、その中心位置を結ぶベクトルを移動物体の移動方向として特定する。
【００１７】
そして、移動物体検出装置は、このベクトル（移動ベクトル）の方向に基づいて、移動物体の水平方向の範囲を設定する。例えば、移動物体を人物としたとき、人物が急速に接近してくる場合は、水平方向の領域を人物の肩幅分とし、人物が移動物体検出装置の前面を横切る場合は、水平方向の領域を人物の肩幅より狭く設定する。これによって、移動物体を検出する際の領域を限定することができ、移動物体検出における計算量を軽減することができる。
【００１８】
さらに、請求項３に記載の移動物体検出装置は、請求項１又は請求項２に記載の移動物体検出装置において、前記対象領域設定手段が、少なくとも前記撮像手段のチルト角及び設置面からの高さに基づいて、前記対象領域の垂直方向の範囲を設定することを特徴とする。
【００１９】
かかる構成によれば、移動物体検出装置は、移動物体が存在する対象領域を設定する際に、対象領域設定手段によって、撮像手段であるカメラのチルト角や、そのカメラの基準となる設置面からの高さ等のカメラパラメータに基づいて、移動物体の垂直方向の存在領域の範囲を設定する。例えば、移動物体の高さを特定の大きさ（人間であれば２ｍ等）に定めることで、その大きさとカメラパラメータとに基づいて、移動物体が対象距離画像内のどの範囲に位置するかを特定することができる。
【００２０】
また、請求項４に記載の移動物体検出装置は、請求項１乃至請求項３のいずれか１項に記載の移動物体検出装置において、前記撮像画像の各画素の色情報又は濃淡情報に基づいて、その撮像画像のエッジを抽出したエッジ画像を生成するエッジ画像生成手段を備え、前記対象距離画像生成手段が、前記距離情報に基づいて、前記対象距離に対応する前記エッジ画像の画素を抽出して、前記対象距離画像を生成することを特徴とする。
【００２１】
かかる構成によれば、移動物体検出装置は、エッジ画像生成手段によって、撮像画像の色情報又は濃淡情報から、撮像画像のエッジを抽出したエッジ画像を生成する。例えば、撮像画像の明るさ（輝度）に基づいて、その明るさが大きく変化する部分をエッジとして検出することで、エッジのみからなるエッジ画像を生成する。
【００２２】
そして、移動物体検出装置は、対象距離画像生成手段によって、エッジ画像から対象距離の範囲内に存在する対象距離画像を生成する。これによって、輪郭抽出手段が対象距離画像から輪郭を抽出する際に、エッジを検出する動作を省くことができる。
【００２３】
さらに、請求項５に記載の移動物体検出方法は、同期した複数の撮像手段で撮像された撮像画像に基づいて生成された撮像対象までの距離情報と、前記複数の撮像手段の中の少なくとも一つの撮像手段から時系列に入力される撮像画像に基づいて生成された動き情報とにより、前記撮像対象内で動きのある移動物体を検出する移動物体検出方法であって、所定の時間間隔で生成された前記距離情報の差分に基づいて、前記移動物体が前記撮像手段に接近しているかどうかを、物体接近判定手段により判定する物体接近判定ステップと、この物体接近判定ステップの判定結果で、前記移動物体が前記撮像手段に接近している場合に、対象距離設定手段により、前記動き情報において動きがあった画素の累積値が最大となる距離に、所定の時間間隔で生成された前記距離情報の差分により奥行き方向の幅を付加して、対象距離として設定する対象距離設定ステップと、前記距離情報に基づいて、前記対象距離設定ステップで設定された対象距離に対応する画素からなる対象距離画像を、対象距離画像生成手段により生成する対象距離画像生成ステップと、前記対象距離画像内に、少なくとも前記対象距離に対応して、前記移動物体を検出する対象となる対象領域を、対象領域設定手段により設定する対象領域設定ステップと、この対象領域設定ステップで設定された対象領域から輪郭抽出手段により輪郭を抽出することで、前記移動物体を検出する輪郭抽出ステップと、を含んでいることを特徴とする。
【００２４】
この移動物体検出方法によれば、物体接近判定ステップにおいて、所定の時間間隔で生成された距離情報の差をとることで、後の時間において移動物体が撮像手段に接近しているかどうかを判定する。そして、対象距離設定ステップにおいて、移動物体が撮像手段に接近している場合に、同期した複数の撮像手段で撮像された撮像画像に基づいて生成された撮像対象までの距離情報と、複数の撮像手段の中の少なくとも一つの撮像手段で時系列に入力される撮像画像に基づいて生成された動き情報とにより、最も動き量の多い視差（距離）を特定し、その視差（距離）を対象距離として設定する。
【００２５】
そして、対象距離画像生成ステップにおいて、距離画像（距離情報）から対象距離に対応する画素を抽出して対象距離画像を生成する。例えば、対象距離にある程度の幅（例えば、数十ｃｍ等）を持たせ、その距離に対応する画素を距離画像から抽出する。さらに、対象領域設定ステップにおいて、対象距離画像内に、少なくとも前記対象距離に対応して、移動物体を検出する対象となる対象領域を設定する。これによって、対象距離画像の中で移動物体が存在すると想定される領域を絞り込むことができる。そして、輪郭抽出ステップにおいて、対象距離画像内の対象領域から移動物体の輪郭を抽出することで移動物体を検出する。
【００２６】
また、請求項６に記載の移動物体検出プログラムは、同期した複数の撮像手段で撮像された撮像画像に基づいて生成された撮像対象までの距離情報と、前記複数の撮像手段の中の少なくとも一つの撮像手段から時系列に入力される撮像画像に基づいて生成された動き情報とにより、前記撮像対象内で動きのある移動物体を検出するために、コンピュータを、以下の手段によって機能させる構成とした。
【００２７】
すなわち、所定の時間間隔で生成された前記距離情報の差分に基づいて、前記移動物体が前記撮像手段に接近しているかどうかを判定する物体接近判定手段、この物体接近判定手段の判定結果で、前記移動物体が前記撮像手段に接近している場合に、前記動き情報において動きがあった画素の累積値が最大となる距離に、所定の時間間隔で生成された前記距離情報の差分により奥行き方向の幅を付加して、対象距離として設定する対象距離設定手段、前記距離情報に基づいて、前記対象距離設定手段で設定された対象距離に対応する画素からなる対象距離画像を生成する対象距離画像生成手段、前記対象距離画像内に、少なくとも前記対象距離に対応して、前記移動物体を検出する対象となる対象領域を設定する対象領域設定手段、この対象領域設定手段で設定された対象領域から輪郭を抽出することで、前記移動物体を検出する輪郭抽出手段、とした。
【００２８】
かかる構成によれば、移動物体検出プログラムは、物体接近判定手段によって、所定の時間間隔で生成された距離情報の差をとることで、後の時間において移動物体が撮像手段に接近しているかどうかを判定する。そして、対象距離設定手段によって、移動物体が撮像手段に接近している場合に、距離情報と動き情報とにより、最も動き量の多い視差（距離）を特定し、その視差（距離）を対象距離として設定する。
【００２９】
そして、対象距離画像生成手段によって、距離画像（距離情報）から対象距離に対応する画素を抽出して対象距離画像を生成し、対象領域設定手段によって、対象距離画像の中で移動物体が存在すると想定される領域を絞り込んだ対象領域を設定する。
そして、輪郭抽出手段によって、対象距離画像内の対象領域から移動物体の輪郭を抽出することで移動物体を検出する。
【００３０】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
（移動物体検出装置の構成）
図１は、本発明における移動物体検出装置１の構成を示したブロック図である。図１に示すように移動物体検出装置１は、２台のカメラ（撮像手段）２で撮像されたカメラ画像（撮像画像）から、動きを伴う物体（移動物体）を検出するものである。ここでは、移動物体検出装置１を、入力されたカメラ画像を解析する入力画像解析手段１０と、解析されたカメラ画像から物体を検出する物体検出手段２０とで構成した。なお、２台のカメラ２は、左右に距離Ｂだけ離れて配置されており、それぞれを右カメラ２ａ及び左カメラ２ｂとする。
【００３１】
入力画像解析手段１０は、撮像対象を撮像した２台のカメラ２（撮像手段：２ａ、２ｂ）から同期して入力されるカメラ画像（撮像画像）を解析して、距離情報を含んだ距離画像、動き情報を含んだ差分画像、エッジを抽出したエッジ画像及び肌色領域を抽出した肌色領域画像を生成するものである。ここでは、入力画像解析手段１０を、距離情報生成部１１と、動き情報生成部１２と、エッジ画像生成部１３と、肌色領域画像生成部１４とで構成した。
【００３２】
距離情報生成部（距離情報生成手段）１１は、同時刻に右カメラ２ａと左カメラ２ｂとで撮影された２枚のカメラ画像の視差を、カメラ２からカメラ２で撮像した撮像対象までの距離情報（より正確には、カメラ２の焦点位置からの距離）として埋め込み、距離画像として生成するものである。なお、この距離情報生成部１１は、例えば１００ｍｓ間隔に１フレームの割合でカメラ画像を入力する。
【００３３】
この距離情報生成部１１では、右カメラ２ａを基準カメラ（基準撮像手段）として、この基準カメラ（右カメラ２ａ）で撮像されたカメラ画像（基準撮像画像）と、左カメラ２ｂで撮像されたカメラ画像（同時刻撮像画像）とで、特定の大きさのブロック（例えば８×３画素）でブロックマッチングを行うことで、基準撮像画像からの視差を計測する。そして、その視差の大きさ（視差量）を基準撮像画像の各画素に対応付けた距離画像を生成する。
【００３４】
なお、視差をＺとしたとき、この視差Ｚに対応するカメラ２から物体までの距離Ｌ（図示せず）は、カメラ２の焦点距離をｆ（図示せず）、右カメラ２ａと左カメラ２ｂとの距離をＢとすると、（１）式で求めることができる。
【００３５】
Ｌ＝Ｂ×ｆ／Ｚ …（１）
【００３６】
動き情報生成部（動き情報生成手段）１２は、基準カメラ（右カメラ２ａ）で時系列に撮像された２枚のカメラ画像の差分に基づいて、カメラ画像内の移動物体の動きを動き情報として埋め込んだ、差分画像を生成するものである。
【００３７】
この動き情報生成部１２では、右カメラ２ａを基準カメラ（基準撮像手段）として、この基準カメラ（右カメラ２ａ）で撮像された時刻の異なる２枚のカメラ画像の差分をとる。例えば、１００ｍｓ間隔でカメラ画像を入力したときに、その入力時刻からΔｔ（例えば３３ｍｓ）分遅れたカメラ画像を入力し、その２枚のカメラ画像の差分をとることとする。
そして、差のあった画素には動きのあった画素として画素値“１”を与え、差のなかった画素には動きのなかった画素として画素値“０”を与えた差分画像を生成する。なお、動き情報生成部１２では、さらに差分画像に対して、メディアンフィルタ等のフィルタリング処理を行うことで、ノイズを除去しておく。
【００３８】
なお、カメラ２を移動カメラとし、撮像されたカメラ画像内の背景が変化する場合は、カメラ２からカメラ画像毎のパン、チルト等のカメラ移動量を入力し、例えば、時刻ｔ＋Δｔのカメラ画像をそのカメラ移動量分補正することで、時刻ｔ及び時刻ｔ＋Δｔにおいて、動きのあった画素のみを検出する。
【００３９】
エッジ画像生成部（エッジ画像生成手段）１３は、カメラ２（２ａ）からカメラ画像（基準撮像画像）を入力し、そのカメラ画像からエッジを抽出したエッジ画像を生成するものである。このエッジ画像生成部１３では、カメラ２（２ａ）から入力されたカメラ画像の明るさ（輝度：濃淡情報）に基づいて、その明るさが大きく変化する部分をエッジとして検出し、そのエッジのみからなるエッジ画像を生成する。例えば、ある画素の近傍領域の画素に対して重み係数を持つオペレータ（係数行例：Ｓｏｖｅｌオペレータ、Ｋｉｒｓｃｈオペレータ等）を画素毎に乗算することで、エッジの検出を行う。
【００４０】
肌色領域画像生成部１４は、カメラ２（２ａ）からカメラ画像（基準撮像画像）を入力し、そのカメラ画像から肌色の領域を抽出するものである。この肌色領域画像生成部１４では、入力されたカメラ画像における全画素のＲＧＢ値を、色相、明度及び彩度からなるＨＬＳ空間に変換し、色相、明度及び彩度が肌色の範囲として予め設定された閾値の範囲内にある画素を肌色領域として抽出する。
【００４１】
ここで、図５を参照（適宜図１参照）して、距離情報生成部１１で生成される距離画像、動き情報生成部１２で生成される差分画像、エッジ画像生成部１３で生成されるエッジ画像及び肌色領域画像生成部１４で生成される肌色領域画像について説明する。図５は、時系列に入力されるカメラ画像に基づいて、各画像が生成される状態を示したものである。
【００４２】
図５に示すように、距離画像Ｄは、同時刻の右カメラ画像と左カメラ画像との視差を画素値で表現することで生成される。この視差は、その値が大きいほど人物の位置がカメラ２に近いことを表し、値が小さいほど人物の位置がカメラ２から遠いことを表している。また、エッジ画像ＥＤは、右カメラ画像から生成された画像で、検出されたエッジのみからなる画像である。さらに、肌色領域画像ＳＡは、エッジ画像ＥＤと同様に、右カメラ画像から生成された画像で、肌色となる領域（肌色領域Ｒ）を抽出した画像である。また、差分画像ＤＩは、Δｔ分だけ入力された時刻が異なる２枚の右カメラ画像（例えば、時刻ｔと時刻ｔ＋Δｔの右カメラ画像）の差分をとり、差のあった画素を画素値“１”、差のなかった画素を画素値“０”として表現することで生成される。この差のあった画素が、実際に人物が動いた領域を表している。
【００４３】
ここで、図６を参照して、距離画像Ｄ及び差分画像ＤＩの内容について、さらに詳細に説明を行う。図６（ａ）は、距離画像Ｄの画像内容と、その画素値（距離画像画素値ＤＢ）の一例を示したものである。図６（ｂ）は、差分画像ＤＩの画像内容と、その画素値（差分画像画素値ＤＩＢ）の一例を示したものである。ここでは、カメラ２から約１ｍ、２ｍ及び３ｍ離れた位置に人物が存在しているものとする。
【００４４】
距離画像Ｄは、図６（ａ）に示すように、同時刻の右カメラ画像と左カメラ画像との視差を画素値で表現したものであって、例えば、距離画像画素値ＤＢに示したように、距離画像Ｄの画素位置（０，０）は視差が０であり、カメラ２からの距離が無限大（∞）であることを意味している。また、距離画像Ｄの画素位置（３０，５０）は視差が２０であり、カメラ２からの距離が視差２０に対応する距離、例えば２．２ｍであることを意味している。このように、距離画像Ｄは、視差を画素値として表現するため、例えば、カメラ２に近いほど明るく、遠いほど暗い画像となる。
【００４５】
差分画像ＤＩは、図６（ｂ）に示すように、時系列に入力される右カメラ画像の差の有無を表現したものであって、例えば、差分画像画素値ＤＩＢに示したように、差分画像ＤＩの画素位置（０，０）は“０”「停止」で、動きがなかったことを意味している。また、差分画像ＤＩの画素位置（３０，５０）は“１”「動き」で、動きがあったことを意味している。
図１に戻って、説明を続ける。
【００４６】
物体検出手段２０は、入力画像解析手段１０で解析された画像（距離画像、差分画像、エッジ画像及び肌色領域画像）に基づいて、動きのある移動物体の領域を検出し、移動物体の輪郭を抽出するものである。ここでは、物体検出手段２０を、対象距離設定部２１と、対象距離画像生成部２２と、対象領域設定部２３と、輪郭抽出部２４とで構成した。
【００４７】
対象距離設定部（対象距離設定手段）２１は、入力画像解析手段１０の距離情報生成部１１で生成された距離画像と、動き情報生成部１２で生成された差分画像とに基づいて、最も動き量の多い移動物体を特定し、対象となる移動物体が存在する対象距離を設定するものである。この対象距離は、対象距離画像生成部２２へ通知される。なお、ここでは、対象距離設定部２１に物体接近判定部２１ａを備え、カメラ２に対して、移動物体が接近してくる場合にのみ検出を行うものとする。
【００４８】
物体接近判定部２１ａは、距離情報生成部１１から時系列に入力される距離画像に基づいて、移動物体が接近してくるかどうかを判定するものである。例えば、図６に示した距離画像Ｄの距離画像画素値ＤＢにおいて、視差が大きくなった場合、移動物体が接近してくるものと判定する。
【００４９】
この対象距離設定部２１では、接近してくる移動物体を認識した場合、距離画像で表された視差（距離）毎に、その視差に対応する画素と同じ位置にある差分画像の画素値を累計し、その累計が最も多くなる視差（最多視差）に、最も動き量の多い移動物体が存在していると判定する。
【００５０】
また、ここでは、最多視差に対応する対象距離±α分の奥行きを、最も動き量の多い移動物体が存在する距離の範囲とする。このαの値は、対象距離を基準とした奥行き方向の範囲を示すものである。ここでは、αの値を、距離情報生成部１１から時系列に入力される距離画像の差分、例えば、時刻ｔ−１で生成した距離画像と、時刻ｔで生成した距離画像との差分とする。なお、このαの値は、人物を検出することと仮定して、数十ｃｍと固定した値を用いてもよい。
【００５１】
この対象距離設定部２１では、距離情報生成部１１で生成された距離画像と、動き情報生成部１２で生成された差分画像とを、図示していないメモリ等の記憶手段に記憶することとする。
【００５２】
対象距離画像生成部（対象距離画像生成手段）２２は、距離情報生成部１１で生成された視差量を埋め込んだ距離画像に基づいて、対象距離設定部２１で設定された対象距離に対応する画素を、エッジ画像生成部１３で生成されたエッジ画像から抽出した対象距離画像を生成するものである。
【００５３】
例えば、最多視差におけるカメラ２から移動物体までの距離Ｌを前記（１）式で算出したとすると、その視差の範囲Ｚｒは（１）式を変形することで、（２）式を得る。ただし、カメラ２の焦点距離をｆ、右カメラ２ａと左カメラ２ｂとの距離をＢ、対象物体の奥行き方向の範囲をαとする。
【００５４】
Ｂ×ｆ／（Ｌ＋α）＜Ｚｒ＜Ｂ×ｆ／（Ｌ−α） …（２）
【００５５】
この対象距離画像生成部２２では、前記（２）式の範囲の視差に対応する画素をエッジ画像から抽出した対象距離画像を生成する。
なお、この対象距離画像の生成は、基準カメラ（右カメラ２ａ）で撮像されたカメラ画像（原画像）又は距離情報生成部１１で生成された距離画像から、対象距離（視差の範囲）に対応する画素位置のみの画素を抽出することとしてもよい。
【００５６】
ここで、図７を参照（適宜図１参照）して、対象距離設定部２１及び対象距離画像生成部２２で、検出対象となる移動物体が存在する距離に対応する画像（対象距離画像）を生成する手順について説明する。図７（ａ）は、距離画像Ｄ及び差分画像ＤＩ（図６）に基づいて、視差（距離）と動きのある画素を累計した動き量（画素数）との関係を示したグラフである。図７（ｂ）は、エッジ画像ＥＤ（図５）から対象距離の画像のみを抽出した対象距離画像ＴＤを示している。
【００５７】
図７（ａ）に示したように、距離画像Ｄ（図６）の視差（距離）と動き量（画素数）との関係をグラフ化すると、視差（距離）が１ｍ、２．２ｍ、３ｍの位置で動き量がピークとなる。そこで、対象距離設定部２１は、動き量が最大となる視差（２．２ｍ）に移動物体が存在するものとし、その視差（２．２ｍ）の前後（±α）の奥行き範囲に移動物体が存在すると判定する。このαは、距離情報生成部１１から時系列に入力される距離画像の差分である。なお、このαの値は、移動物体を人物と仮定して、カメラ２から２．２±αｍ（α＝０．５ｍ）の範囲に人物が存在すると判定することとしてもよい。
【００５８】
また、対象距離画像生成部２２は、図７（ｂ）に示したように、エッジ画像生成部１３で生成されたエッジ画像から、距離情報生成部１１で生成された距離画像に基づいて、対象となる画素位置を判定して、対象距離±αｍに存在する画素を抽出した対象距離画像ＴＤを生成する。これによって、カメラ２から１ｍ、３ｍ離れた位置に存在している人物の画像を削除し、２．２±αｍ離れた位置に存在している人物のみをエッジ画像として抽出した対象距離画像ＴＤを生成することができる。
図１に戻って、説明を続ける。
【００５９】
対象領域設定部（対象領域設定手段）２３は、対象距離画像生成部２２で生成された対象距離画像（対象距離に対応したエッジ画像）の垂直方向の画素数を累計し、その垂直方向の画素数の累計が最も多くなる位置（ピーク）を移動物体の中心の水平位置であると特定して、その移動物体を含んだ領域（対象領域）を設定するものである。
【００６０】
なお、この対象領域設定部２３は、例えば、移動物体を人物と仮定して、その人物の移動方向が、よりカメラ２の方向に向かっている場合は、対象領域の水平方向の範囲を人物の幅に適した大きさに設定する。また、それ以外、例えば、斜め方向に接近してくる場合は、対象領域の水平方向の範囲を狭めて設定する。これは、人物が斜め方向を向いている場合は、水平方向の範囲を人物の肩幅以下で検出すればよいからである。
【００６１】
また、対象領域設定部２３は、縦方向は特定の大きさ（例えば２ｍ）を対象領域の高さとする。このとき、対象領域設定部２３は、カメラ２から入力されるチルト角、床（設置面）からの高さ等のカメラパラメータに基づいて、対象領域の垂直方向の存在領域（範囲）を設定する。
【００６２】
ここで、図８及び図９を参照（適宜図１参照）して、対象領域設定部２３が、対象距離画像ＴＤの中から一つ（一人）の移動物体の領域（対象領域）を設定する手順について説明する。図８は、対象距離画像生成部２２で時刻ｔ−２に生成された対象距離画像ＴＤ（ＴＤt-2）、時刻ｔ−１に生成された対象距離画像ＴＤ（ＴＤt-1）、及び、時刻ｔに生成された対象距離画像ＴＤ（ＴＤt）における垂直方向の画素数の累計をヒストグラムＨＩで表したものである。この図８では、ヒストグラムＨＩを対象距離画像ＴＤ（ＴＤt-2、ＴＤt-1及びＴＤt）に重畳させているが、これは、説明の都合上重畳させているだけである。図９は、時刻ｔ−２から時刻ｔへのヒストグラムのピーク位置の変化、すなわち移動物体の位置の変化を示したものである。なお、図９は、対象距離画像を仮想的に上から見たものである。
【００６３】
対象領域設定部２３は、図８に示したように、対象距離画像ＴＤの垂直方向の画素数を累計したヒストグラムＨＩを生成する。このように対象距離画像ＴＤをヒストグラム化することで、そのヒストグラムＨＩが最大となる位置に移動物体の中心の水平位置が存在すると判定することが可能になる。例えば、ヒストグラムＨＩを使用せずに対象距離画像ＴＤの中で最も高位置に存在する０でない画素位置を、移動物体の中心の水平位置と判定すると、人物が手を上げた場合、その手の先を人物（移動物体）の中心であると判定してしまうことになる。そこで、ここでは、ヒストグラムＨＩを使用することとする。
【００６４】
ここでは、時刻ｔ−２の対象距離画像ＴＤ（ＴＤt-2）において、ヒストグラムＨＩが最大となる水平位置Ｈt-2に移動物体（右側人物）の中心が存在し、時刻ｔ−１の対象距離画像ＴＤ（ＴＤt-1）において、ヒストグラムＨＩが最大となる水平位置Ｈt-1に移動物体（右側人物）の中心が存在し、時刻ｔの対象距離画像ＴＤ（ＴＤt）において、ヒストグラムＨＩが最大となる水平位置Ｈtに移動物体（右側人物）の中心が存在している。このようにヒストグラムが最大となる位置を移動物体の中心と判定することで、同一距離に複数の移動物体（人物等）が存在していても、その中の一つ（一人）を検出することができる。
【００６５】
そして、対象領域設定部２３は、図９に示したように、時刻ｔ−２における移動物体の中心位置Ｈt-2から、時刻ｔ−１において移動物体が移動した中心位置Ｈt-1へのベクトル（移動ベクトルｖ）に基づいて、移動物体の移動方向を特定する。この移動方向に基づいて、対象領域設定部２３は、時刻ｔにおける対象領域の水平方向の範囲ｗを設定する。なお、奥行き方向の範囲αは図７においてすでに算出している。
【００６６】
この水平方向の範囲ｗの設定では、例えば、移動ベクトルｖとカメラの視線ｅとのなす角度θが４５°未満の場合、対象領域設定部２３は、移動物体（人物）が急速に接近してくると判定し、水平方向の範囲を人物の中心位置Ｈt±（０．５〜０．６）ｍとする。また、角度θが４５°以上の場合、対象領域設定部２３は、移動物体（人物）がカメラ前を横切ると判定し、水平方向の範囲を人物の中心位置Ｈt±（０．２〜０．３）ｍとする。なお、この水平方向の範囲ｗは、移動ベクトルｖとカメラの視線ｅとのなす角度θをさらに細分化して、その各々の角度毎に予め設定しておいてもよい。
【００６７】
さらに、対象領域設定部２３は、特定の大きさ（例えば２ｍ）を対象領域の垂直方向の範囲とする。この対象領域の大きさについては、図１０を参照（適宜図１参照）してさらに説明を行う。
【００６８】
図１０は、カメラ２が移動ロボット（図示せず）に組み込まれ、移動物体Ｍと同じ床からある高さ（カメラ高）Ｈに位置しているときに、移動物体Ｍが対象距離画像（ａ´、ｂ´）上のどの高さに位置するかを説明するための説明図である。なお、図１０（ａ）は、カメラ２のチルト角が０（°）の場合、図１０（ｂ）はカメラ２のチルト角がθT（≠０）の場合におけるカメラ２と移動物体Ｍとの対応関係を示している。
【００６９】
まず、図１０（ａ）を参照して、チルト角が０（°）の場合において、移動物体Ｍが対象距離画像（ａ´）上で縦方向のどの位置に存在するかを特定する方法について説明する。
【００７０】
ここで、カメラ２の垂直画角をθv、カメラ２から移動物体Ｍまでの距離をＬ、対象距離画像（ａ´）の縦方向の解像度をＹ、カメラ２の床からの高さ（カメラ高）をＨ、移動物体Ｍの床からの仮想の高さを２（ｍ）とする。このとき、カメラ２の光軸と、カメラ２から移動物体Ｍの仮想の上端（床から２ｍ）までを結んだ直線との角度θHは（３）式で表すことができる。
【００７１】
θH＝ｔａｎ-1（（２−Ｈ）／Ｌ） …（３）
【００７２】
これにより、移動物体Ｍの対象距離画像（ａ´）上での上端ｙTは（４）式で求めることができる。
【００７３】
ｙT＝Ｙ／２−θHＹ／θv
＝Ｙ／２−（Ｙ／θv）ｔａｎ-1（（２−Ｈ）／Ｌ） …（４）
【００７４】
また、カメラ２の光軸と、カメラ２から移動物体Ｍの下端（床）までを結んだ直線との角度θLは（５）式で表すことができる。
【００７５】
θL＝ｔａｎ-1（Ｈ／Ｌ） …（５）
【００７６】
これにより、移動物体Ｍの対象距離画像（ａ´）上での下端ｙBは（６）式で求めることができる。
【００７７】
ｙB＝Ｙ／２＋θLＹ／θv
＝Ｙ／２＋（Ｙ／θv）ｔａｎ-1（Ｈ／Ｌ） …（６）
【００７８】
次に、図１０（ｂ）を参照して、チルト角がθT（≠０）の場合において、移動物体Ｍが対象距離画像（ｂ´）上で縦方向のどの位置に存在するかを特定する方法について説明する。
【００７９】
ここで、カメラ２の垂直画角をθv、チルト角をθT、移動物体Ｍまでの距離をＬ、対象距離画像の縦方向の解像度をＹ、カメラ２の床からの高さ（カメラ高）をＨ、移動物体Ｍの床からの仮想の高さを２（ｍ）とする。このとき、カメラ２の光軸とカメラ２から移動物体Ｍの仮想の上端（床から２ｍ）までを結んだ直線との角度θHと、チルト角θTとの差分角度（θH−θT）は（７）式で表すことができる。
【００８０】
θH−θT＝ｔａｎ-1（（２−Ｈ）／Ｌ） …（７）
【００８１】
これにより、移動物体Ｍの対象距離画像（ｂ´）上での上端ｙTは（８）式で求めることができる。
【００８２】
ｙT＝Ｙ／２−θTＹ／θv−（θH−θT）Ｙ／θv
＝Ｙ／２−θTＹ／θv−（Ｙ／θv）ｔａｎ-1（（２−Ｈ）／Ｌ）
…（８）
【００８３】
また、カメラ２の光軸とカメラ２から移動物体Ｍの下端（床）までを結んだ直線との角度θLと、チルト角θTとの加算角度（θL＋θT）は（９）式で表すことができる。
【００８４】
θL＋θT＝ｔａｎ-1（Ｈ／Ｌ） …（９）
【００８５】
これにより、移動物体Ｍの対象距離画像（ｂ´）上での下端ｙBは（１０）式で求めることができる。
【００８６】
ｙB＝Ｙ／２−θTＹ／θv＋（θL＋θT）Ｙ／θv
＝Ｙ／２−θTＹ／θv＋（Ｙ／θv）ｔａｎ-1（Ｈ／Ｌ） …（１０）
【００８７】
このように求めた対象距離画像（ａ´又はｂ´）の上端ｙT及び下端ｙBによって、対象領域の垂直方向の範囲が決定される。
なお、移動ロボット（図示せず）が階段等を昇降し、移動物体Ｍと同一の床に存在しない場合は、移動ロボット本体のエンコーダ等によって昇降量を検出し、その昇降量を移動物体Ｍの床からの高さに対して加算又は減算することで、移動物体Ｍの対象距離画像（ａ´又はｂ´）における縦方向の位置を特定することができる。あるいは、移動ロボットに地図情報を保持しておき、移動物体Ｍの方向及び距離で特定される床の高さを、その地図情報から取得することとしてもよい。
【００８８】
また、対象領域の水平方向の範囲は、例えば、図示していないが、カメラ２の水平画角をθh、カメラ２から対象とする移動物体Ｍまでの距離をＬ、対象距離画像の横方向の解像度をＸとすると、対象領域の幅の半分（移動物体の中心からの距離）を０．５（ｍ）としたときの、対象距離画像上での水平画素数αHは、（１１）式で求めることができる。
【００８９】
αH＝（Ｘ／θh）ｔａｎ-1（０．５／Ｌ） …（１１）
図１に戻って、説明を続ける。
【００９０】
輪郭抽出部（輪郭抽出手段）２４は、対象距離画像生成部２２で生成された対象距離画像において、対象領域設定部２３で設定した移動物体の領域（対象領域）内で、既知の輪郭抽出技術を用いて移動物体の輪郭の抽出を行うものである。
【００９１】
ここで、既知の輪郭抽出としては、例えば、ＳＮＡＫＥＳと呼ばれる動的輪郭モデルを用いることができる。ここで、ＳＮＡＫＥＳとは、閉曲線を予め定義したエネルギーを最小化するように収縮変形させることにより、物体の輪郭を抽出する手法である。ここでは、移動物体の領域（対象領域）内で、エネルギーを算出するための初期値を設定できるため、輪郭抽出のための計算量を軽減させることができる。
さらに、輪郭抽出部２４は、輪郭を抽出した移動物体が人物であるかどうかを判定する肌色領域判定部２４ａを備えることができる。
【００９２】
肌色領域判定部２４ａは、輪郭抽出部２４内で抽出した移動物体の輪郭が、人物の輪郭であるかどうかを判定するものである。この肌色領域判定部２４ａでは、接近してくる移動物体の輪郭を抽出した際に、その輪郭内に肌色領域画像生成部１４で生成された肌色領域画像の肌色領域Ｒ（図５参照）が含まれるかどうかを判定することで、その輪郭が人物の輪郭であるかどうかを判定する。
【００９３】
輪郭抽出部（輪郭抽出手段）２４は、輪郭内の移動物体の検出情報（移動物体の重心や移動物体の移動方向（角度）等）を外部に出力する。なお、ここでは、人物のみを検出することとして、肌色領域判定部２４ａで輪郭が人物のものでないと判定された場合は、外部に移動物体の検出情報を出力しないこととする。このように、この輪郭抽出部２４で輪郭が抽出されることで、移動物体が検出されたことになる。これによって、例えば、図１１に示したように、対象距離画像ＴＤの中で移動物体が一つ（一人）に限定された対象領域Ｔ内で輪郭Ｏを抽出することができる。
【００９４】
以上説明した移動物体検出装置１を、移動ロボット、自動車等の移動体に組み込んむことで、人物等の物体を検出することが可能になる。例えば、移動ロボットに本発明を適用することで、移動ロボットが、人込みにおいても人物を認識することが可能になる。さらに、人物を個別に検出することができるので、例えば、顔認識等を行うことで、その人物を追跡したり、人物毎に異なる動作を行わせる等の輪郭抽出後の処理が容易になる。
【００９５】
なお、対象距離に複数の移動物体（人物）が存在する場合は、距離情報生成部１１で生成した距離画像において、すでに検出を終了した移動物体の領域を削除（画素値を“０”にする）し、その削除した距離画像で順次移動物体を検出することとしてもよい
【００９６】
以上、一実施の形態として移動物体検出装置１の構成について説明したが、移動物体検出装置１は、一般的なコンピュータにプログラムを実行させ、コンピュータ内の演算装置や記憶装置を動作させることにより実現される。
【００９７】
また、ここでは、移動物体検出装置１の距離情報生成部１１が、２台のカメラ２で撮像したカメラ画像に基づいて距離画像を生成したが、３台以上のカメラを用いて距離画像を生成することとしてもよい。例えば、３行３列に配置した９台のカメラで、中央に配置したカメラを基準カメラとして、他のカメラとの視差に基づいて距離画像を生成することで、移動物体までの距離をより正確に測定することもできる。
【００９８】
また、ここでは、移動物体検出装置１を、接近してくる人物を検出ための装置として構成した。しかし、人物と限定せずに移動物体を検出する場合は、移動物体検出装置１から、肌色領域画像生成部１４及び肌色領域判定部２４ａを削除して構成してもよい。
【００９９】
（移動物体検出装置の動作）
次に、図２乃至図４を参照（適宜図１参照）して、移動物体検出装置１の動作について説明する。図２乃至図４は、移動物体検出装置１の動作を示すフローチャートである。
【０１００】
＜カメラ画像入力ステップ＞
まず、移動物体検出装置１は、同期した２台のカメラ２から時系列にカメラ画像を入力する（ステップＳ１）。ここでは、ある時刻ｔに右カメラ２ａ（基準カメラ）と左カメラ２ｂとから入力されたカメラ画像と、次の時刻ｔ＋Δｔに右カメラ２ａ（基準カメラ）と左カメラ２ｂとから入力されたカメラ画像とに基づいて、移動物体を抽出する。なお、以下のステップで用いられている距離画像Ｄt-1及びＤt-2、対象距離画像ＴＤt-2及びＴＤt-1は、時刻ｔ−２及び時刻ｔ−１の段階で生成されたものである。
【０１０１】
＜距離画像生成ステップ＞
そして、移動物体検出装置１は、距離情報生成部１１によって、時刻ｔに右カメラ２ａ（基準カメラ）と左カメラ２ｂとから入力された２枚のカメラ画像から、撮像対象までの視差（距離）を埋め込んだ距離画像Ｄtを生成する（ステップＳ２）。
【０１０２】
＜差分画像生成ステップ＞
さらに、移動物体検出装置１は、動き情報生成部１２によって、右カメラ２ａ（基準カメラ）で時刻ｔと時刻ｔ＋Δｔに撮像された２枚のカメラ画像（基準カメラ画像）の差分をとり、差のあった画素を画素値“１”、差のなかった画素を画素値“０”とした差分画像ＤＩtを生成する（ステップＳ３）。
【０１０３】
＜エッジ画像生成ステップ＞
また、移動物体検出装置１は、エッジ画像生成部１３によって、右カメラ２ａ（基準カメラ）で時刻ｔに撮像されたカメラ画像（基準カメラ画像）からエッジ画像ＥＤtを生成する（ステップＳ４）。
【０１０４】
＜肌色領域画像生成ステップ＞
さらに、移動物体検出装置１は、肌色領域画像生成部１４によって、右カメラ２ａ（基準カメラ）で時刻ｔに撮像されたカメラ画像（基準カメラ画像）から肌色領域を抽出した肌色領域画像ＳＡtを生成する（ステップＳ５）。
【０１０５】
＜物体接近判定ステップ＞
そして、移動物体検出装置１は、対象距離設定部２１の物体接近判定部２１ａによって、時刻ｔ−１におけるステップＳ２で生成した距離画像Ｄt-1と、時刻ｔ−２におけるステップＳ２で生成した距離画像Ｄt-2との画素の値を比較することで、移動物体が接近してくるかどうかを判定する（ステップＳ６）。
【０１０６】
ここで、接近してくる移動物体を認識した場合（ステップＳ６：接近）は、図３のステップＳ７へ進む。一方、接近してくる移動物体を認識できなかった場合（ステップＳ６：非接近）は、移動物体の検出動作を終了する。
【０１０７】
＜対象距離設定ステップ＞
また、移動物体検出装置１は、対象距離設定部２１によって、ステップＳ２及びステップＳ３で生成した距離画像Ｄt及び差分画像ＤＩt（時刻ｔと時刻ｔ＋Δｔの差分画像）から、距離画像Ｄtで表された視差（距離）毎に、動きのあった画素数を累計し、その累計が最大となる距離を、距離画像Ｄtにおける検出対象となる移動物体の対象距離ｄtとして設定する（ステップＳ７）。
【０１０８】
＜対象距離画像生成ステップ＞
そして、移動物体検出装置１は、対象距離画像生成部２２によって、ステップＳ４で生成したエッジ画像ＥＤｔから、対象距離ｄｔ（Ｄｔ−１及びＤｔ−２の差分）の画素を抽出した対象距離画像ＴＤｔを生成する（ステップＳ８）。
このステップＳ８によって、移動物体検出装置１は、時刻ｔにおける距離画像Ｄ ｔにおいて、移動物体が存在する奥行き方向の範囲を設定することができる。
【０１０９】
＜対象領域設定ステップ＞
そして、移動物体検出装置１は、対象領域設定部２３によって、ステップＳ８で生成した対象距離画像ＴＤtの垂直方向（縦方向）の画素数を、ヒストグラム化することで計測する（ステップＳ９）。
【０１１０】
さらに、移動物体検出装置１は、時刻ｔ−２におけるステップ９で計測した対象距離画像ＴＤt-2のヒストグラムが最大となる位置と、時刻ｔ−１におけるステップ９で計測した対象距離画像ＴＤt-1のヒストグラムが最大となる位置とを結んで移動ベクトルを設定する（ステップＳ１０）。
【０１１１】
そして、移動物体検出装置１は、この移動ベクトルに基づいて、時刻ｔの対象距離画像ＴＤtにおいて、ヒストグラムが最大となる位置Ｈt（図９参照）を中心に、所定左右領域を対象領域の水平方向範囲として設定する（ステップＳ１１）。ここでは、人物を検出することとして、移動ベクトルとカメラ２の視線方向とのなす角度が４５°未満の場合は、中心位置Ｈt±（０．５〜０．６）ｍを、人物を検出するための水平方向範囲とする。また、移動ベクトルとカメラ２の視線方向とのなす角度が４５°以上の場合は、中心位置Ｈt±（０．２〜０．３）ｍを、人物を検出するための水平方向範囲とする。
【０１１２】
さらに、対象領域設定部２３では、カメラ２から入力されるチルト角、床（設置面）からの高さ等のカメラパラメータに基づいて、対象距離画像ＴＤtで対象領域の垂直（上下）方向の範囲を設定する（ステップＳ１２）。
【０１１３】
例えば、カメラ２のチルト角、床からの高さに基づいて、対象距離画像における画像中の床の位置（対象領域の下端）を求める。そして、カメラ２の画角と移動物体までの距離とに基づいて、床から２ｍまでの範囲を、画素数に換算することにより対象領域の対象距離画像における床からの画素数を求める。これによって、対象距離画像における対象領域の上端を求めることができる。この対象領域の上端は、カメラ２のチルト角、床からの高さに基づいて、対象距離画像における画像中の２ｍの位置（高さ）を直接求めることとしてもよい。なお、この２ｍは、一例であって、他の長さ（高さ）であっても構わない。
【０１１４】
＜輪郭抽出ステップ＞
また、移動物体検出装置１は、輪郭抽出部２４によって、ステップＳ８で生成した対象距離画像ＴＤtにおいて、ステップＳ１１及びステップＳ１２で設定した対象領域内で輪郭の抽出を行う（ステップＳ１３）。例えば、対象領域内で動的輪郭モデル（ＳＮＡＫＥＳ）を適用することによって輪郭の抽出を行う。
【０１１５】
そして、輪郭の抽出に成功したかどうかを判定する（ステップＳ１４）。なお、ここで輪郭抽出の成功及び失敗の判定は、ステップＳ１３において輪郭が抽出できたかどうかの判定だけではなく、例えば、対象距離が予め定めた距離よりも遠い場合や、対象領域が予め定めた大きさよりも小さい場合等の理由によって、物体の輪郭抽出を行わないとする判定をも含むものとする。
【０１１６】
このステップＳ１４で輪郭の抽出に成功した場合（Ｙｅｓ）は、ステップＳ１５へ進む。一方、輪郭の抽出に失敗した（あるいは抽出を行わない）場合（Ｎｏ）は、本動作を終了する。
【０１１７】
＜人物抽出ステップ＞
移動物体の輪郭抽出に成功した場合、移動物体検出装置１は、輪郭抽出部２４の肌色領域判定部２４ａによって、ステップＳ５で生成した肌色領域画像ＳＡtの肌色領域が、輪郭抽出部２４内で抽出した移動物体の輪郭に含まれるかどうかを判定することで、その輪郭が人物の輪郭であるかどうかを判定する（ステップＳ１５）。
【０１１８】
ここで、肌色領域判定部２４ａが、移動物体の輪郭を人物の輪郭であると判定した場合（Ｙｅｓ）は、輪郭抽出部２４が移動物体の検出情報を生成し、外部へ出力し（ステップＳ１６）、ステップＳ１７へ進む。この移動物体の検出情報には、移動物体の重心座標、カメラ２のチルト角や移動物体の移動方向を示す各種角度等の情報が含まれる。一方、肌色領域判定部２４ａが、移動物体の輪郭を人物の輪郭でないと判定した場合（ステップＳ１５：Ｎｏ）は、ステップＳ１７へ進む。
【０１１９】
＜移動物体動作判定ステップ＞
そして、移動物体検出装置１がステップ１６で移動物体の検出情報を出力することで、例えば、移動ロボットの制御装置（図示せず）が、その移動物体の動作を判定する（ステップ１７）。
【０１２０】
以上の各ステップによって、本実施の形態の移動物体検出装置１は、カメラ２から入力されたカメラ画像により、そのカメラ画像に存在する移動物体を検出することができる。なお、ここでは、ある時刻ｔにおいて移動物体を検出したが、時々刻々と入力されるカメラ画像に基づいて、前記ステップ（ステップＳ１〜ステップＳ１７）を動作させることで、例えば、移動ロボット等の移動体が、人物を検出し続けることができる。
【０１２１】
なお、ステップ１１において、対象領域設定部２３が、移動物体（人物）との距離が２ｍ前後で、移動ベクトルとカメラ２の視線方向とのなす角度が４５°未満の場合は、垂直方向の範囲を２ｍとし、それ以外の場合は、垂直方向の範囲の下側を３０％削除することとする。これによって、人物が特定の距離（ここでは２ｍ）に存在し、接近してくる場合に、最も精度よく人物を検出し、それ以外の場合は、人物検出の計算負荷を軽減させることができる。
【０１２２】
【発明の効果】
以上説明したとおり、本発明に係る移動物体検出装置、移動物体検出方法及び移動物体検出プログラムでは、以下に示す優れた効果を奏する。
【０１２３】
本発明によれば、移動物体が接近してくるかどうかを判定することができるので、接近してくる移動物体の検出のみを行うことで、輪郭抽出にかかる計算量を抑え、移動物体の検出にかかる処理速度を早めることができる。
【０１２４】
また、移動物体を検出する対象距離及び対象領域を自動的に設定することができ、その対象距離及び対象領域を限定させることができる。これによって、移動物体の検出にかかる処理速度を早めるとともに、検出精度を高めることができる。
【０１２５】
さらに、本発明によれば、カメラのチルト角や、床からの高さに基づいて、対象距離画像における移動物体の垂直方向の範囲を絞り込むことができるため、輪郭抽出にかかる計算量を抑え、移動物体の検出にかかる処理速度を早めることができる。
【０１２６】
また、本発明によれば、予めカメラ画像からエッジを抽出したエッジ画像を生成しておくため、個々の移動物体の領域（対象領域）に対する輪郭抽出時にエッジを検出する必要がない。このため、移動物体がカメラ画像上に複数繋がって存在する場合であっても、重複した領域でエッジの抽出を行わないため、高速に移動物体を検出することが可能になる。
【図面の簡単な説明】
【図１】本発明の移動物体検出装置の全体構成を示すブロック図である。
【図２】本発明の移動物体検出装置の動作を示すフローチャート（１／３）である。
【図３】本発明の移動物体検出装置の動作を示すフローチャート（２／３）である。
【図４】本発明の移動物体検出装置の動作を示すフローチャート（３／３）である。
【図５】距離画像、エッジ画像、肌色領域画像及び差分画像の内容の一例を示す図である。
【図６】距離画像及び差分画像の内容の一例を示す図である。
【図７】視差（距離）毎の動き量（画素値）に基づいて、対象距離画像を生成するための手順を説明するための説明図である。
【図８】対象距離画像から垂直方向の画素数の累計が最大となる位置をヒストグラムによって示した図である。
【図９】ヒストグラムのピーク位置の変化によって、対象領域を設定する手順を説明するための説明図である。
【図１０】カメラパラメータに基づいて、移動物体が対象距離画像上のどの高さに位置するかを算出する手順を説明するための説明図である。
【図１１】対象距離画像の対象領域で輪郭を抽出した例を示す図である。
【符号の説明】
１ 移動物体検出装置
２ カメラ（撮像手段）
１０ 入力画像解析手段
１１ 距離情報生成部（距離情報生成手段）
１２ 動き情報生成部（動き情報生成手段）
１３ エッジ画像生成部（エッジ画像生成手段）
１４ 肌色領域画像生成部
２０ 物体検出手段
２１ 対象距離設定部（対象距離設定手段）
２１ａ 物体接近判定部（物体接近判定手段）
２２ 対象距離画像生成部（対象距離画像生成手段）
２３ 対象領域設定部（対象領域設定手段）
２４ 輪郭抽出部（輪郭抽出手段）
２４ａ 肌色領域判定部
Claims (6)
- 同期した複数の撮像手段で、撮像対象を撮像した複数の撮像画像から、前記撮像対象内に存在する移動物体を検出する移動物体検出装置であって、
前記複数の撮像画像の視差に基づいて、前記撮像対象までの距離を距離情報として生成する距離情報生成手段と、
前記複数の撮像手段の中の少なくとも一つの撮像手段から、時系列に入力される撮像画像の差分に基づいて、前記移動物体の動きを動き情報として生成する動き情報生成手段と、
所定の時間間隔で生成された前記距離情報の差分に基づいて、前記移動物体が前記撮像手段に接近しているかどうかを判定する物体接近判定手段と、
この物体接近判定手段の判定結果で、前記移動物体が前記撮像手段に接近している場合に、前記動き情報において動きがあった画素の累積値が最大となる距離に、所定の時間間隔で生成された前記距離情報の差分により奥行き方向の幅を付加して、対象距離として設定する対象距離設定手段と、
前記距離情報に基づいて、前記対象距離設定手段で設定された対象距離に対応する画素からなる対象距離画像を生成する対象距離画像生成手段と、
前記対象距離画像内に、少なくとも前記対象距離に対応して、前記移動物体を検出する対象となる対象領域を設定する対象領域設定手段と、
この対象領域設定手段で設定された対象領域から輪郭を抽出することで、前記移動物体を検出する輪郭抽出手段と、
を備えていることを特徴とする移動物体検出装置。 - 前記対象領域設定手段は、前記対象距離画像生成手段で生成された複数の対象距離画像毎に、垂直方向の画素量を計測し、前記各対象距離画像で前記画素量がピークとなる位置に基づいて、前記移動物体の移動方向を特定し、その移動方向に対応させて予め定めた水平方向の幅を、前記移動物体の水平方向の範囲として設定することを特徴とする請求項１に記載の移動物体検出装置。
- 前記対象領域設定手段は、少なくとも前記撮像手段のチルト角及び設置面からの高さに基づいて、前記対象領域の垂直方向の範囲を設定することを特徴とする請求項１又は請求項２に記載の移動物体検出装置。
- 前記撮像画像の各画素の色情報又は濃淡情報に基づいて、その撮像画像のエッジを抽出したエッジ画像を生成するエッジ画像生成手段を備え、
前記対象距離画像生成手段が、前記距離情報に基づいて、前記対象距離に対応する前記エッジ画像の画素を抽出して、前記対象距離画像を生成することを特徴とする請求項１乃至請求項３のいずれか１項に記載の移動物体検出装置。 - 同期した複数の撮像手段で撮像された撮像画像に基づいて生成された撮像対象までの距離情報と、前記複数の撮像手段の中の少なくとも一つの撮像手段から時系列に入力される撮像画像に基づいて生成された動き情報とにより、前記撮像対象内で動きのある移動物体を検出する移動物体検出方法であって、
所定の時間間隔で生成された前記距離情報の差分に基づいて、前記移動物体が前記撮像手段に接近しているかどうかを、物体接近判定手段により判定する物体接近判定ステップと、
この物体接近判定ステップの判定結果で、前記移動物体が前記撮像手段に接近している場合に、対象距離設定手段により、前記動き情報において動きがあった画素の累積値が最大となる距離に、所定の時間間隔で生成された前記距離情報の差分により奥行き方向の幅を付加して、対象距離として設定する対象距離設定ステップと、
前記距離情報に基づいて、前記対象距離設定ステップで設定された対象距離に対応する画素からなる対象距離画像を、対象距離画像生成手段により生成する対象距離画像生成ステップと、
前記対象距離画像内に、少なくとも前記対象距離に対応して、前記移動物体を検出する対象となる対象領域を、対象領域設定手段により設定する対象領域設定ステップと、
この対象領域設定ステップで設定された対象領域から輪郭抽出手段により輪郭を抽出することで、前記移動物体を検出する輪郭抽出ステップと、
を含んでいることを特徴とする移動物体検出方法。 - 同期した複数の撮像手段で撮像された撮像画像に基づいて生成された撮像対象までの距離情報と、前記複数の撮像手段の中の少なくとも一つの撮像手段から時系列に入力される撮像画像に基づいて生成された動き情報とにより、前記撮像対象内で動きのある移動物体を検出するために、コンピュータを、
所定の時間間隔で生成された前記距離情報の差分に基づいて、前記移動物体が前記撮像手段に接近しているかどうかを判定する物体接近判定手段、
この物体接近判定手段の判定結果で、前記移動物体が前記撮像手段に接近している場合に、前記動き情報において動きがあった画素の累積値が最大となる距離に、所定の時間間隔で生成された前記距離情報の差分により奥行き方向の幅を付加して、対象距離として設定する対象距離設定手段、
前記距離情報に基づいて、前記対象距離設定手段で設定された対象距離に対応する画素からなる対象距離画像を生成する対象距離画像生成手段、
前記対象距離画像内に、少なくとも前記対象距離に対応して、前記移動物体を検出する対象となる対象領域を設定する対象領域設定手段、
この対象領域設定手段で設定された対象領域から輪郭を抽出することで、前記移動物体を検出する輪郭抽出手段、
として機能させることを特徴とする移動物体検出プログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003093927A JP4235018B2 (ja) | 2003-03-31 | 2003-03-31 | 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム |
| US10/713,431 US7251346B2 (en) | 2002-11-19 | 2003-11-17 | Moving object detection device, moving object detection method, and moving object detection program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003093927A JP4235018B2 (ja) | 2003-03-31 | 2003-03-31 | 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004301607A JP2004301607A (ja) | 2004-10-28 |
| JP4235018B2 true JP4235018B2 (ja) | 2009-03-04 |
Family
ID=33406606
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003093927A Expired - Fee Related JP4235018B2 (ja) | 2002-11-19 | 2003-03-31 | 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4235018B2 (ja) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4231320B2 (ja) * | 2003-03-31 | 2009-02-25 | 本田技研工業株式会社 | 移動体の検出装置 |
| JP4543904B2 (ja) * | 2004-11-30 | 2010-09-15 | パナソニック電工株式会社 | 距離画像センサ |
| JP4177826B2 (ja) | 2005-03-23 | 2008-11-05 | 株式会社東芝 | 画像処理装置および画像処理方法 |
| JP2007017364A (ja) * | 2005-07-11 | 2007-01-25 | Kyoto Univ | シルエット抽出装置及び該方法並びに３次元形状データ生成装置及び該方法 |
| JP2007241500A (ja) * | 2006-03-07 | 2007-09-20 | Toshiba Corp | 顔認証装置および顔認証方法 |
| ATE422185T1 (de) * | 2006-08-24 | 2009-02-15 | Harman Becker Automotive Sys | Verfahren zum abbilden der umgebung eines fahrzeugs und system dafür |
| JP5525165B2 (ja) * | 2009-02-03 | 2014-06-18 | パナソニック株式会社 | 操作表示装置 |
| EP2560369A1 (en) | 2010-04-15 | 2013-02-20 | Konica Minolta Holdings, Inc. | Image processing system, image processing method, and program |
| JP2012002951A (ja) * | 2010-06-15 | 2012-01-05 | Ricoh Co Ltd | 撮像装置、合焦位置検出方法および合焦位置検出プログラム |
| JP6396138B2 (ja) * | 2014-09-18 | 2018-09-26 | 株式会社メガチップス | 人体検出装置 |
| JP2016197795A (ja) * | 2015-04-03 | 2016-11-24 | 日立オートモティブシステムズ株式会社 | 撮像装置 |
| CN109196850B (zh) * | 2016-06-03 | 2021-03-09 | 麦克赛尔株式会社 | 摄像装置和摄像系统 |
| WO2020090897A1 (ja) * | 2018-11-01 | 2020-05-07 | 日本電気株式会社 | 位置検出装置、位置検出システム、遠隔制御装置、遠隔制御システム、位置検出方法、及びプログラム |
| JP6643517B2 (ja) * | 2019-05-23 | 2020-02-12 | 日立オートモティブシステムズ株式会社 | 撮像装置 |
| CN110427887B (zh) * | 2019-08-02 | 2023-03-10 | 腾讯科技（深圳）有限公司 | 一种基于智能的会员身份识别方法及装置 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2994532B2 (ja) * | 1993-08-06 | 1999-12-27 | シャープ株式会社 | 画像内の目標物体抽出方法及びその装置 |
| JPH08329254A (ja) * | 1995-03-24 | 1996-12-13 | Matsushita Electric Ind Co Ltd | 輪郭抽出装置 |
| JP3497929B2 (ja) * | 1995-09-29 | 2004-02-16 | 富士重工業株式会社 | 侵入物監視装置 |
| JP3727400B2 (ja) * | 1996-02-22 | 2005-12-14 | 株式会社日本自動車部品総合研究所 | 横断者の検出装置 |
| JPH10334207A (ja) * | 1997-05-29 | 1998-12-18 | Matsushita Electric Ind Co Ltd | 人流計測装置 |
| JP2001084383A (ja) * | 1999-09-09 | 2001-03-30 | Univ Tokyo | 移動検出方法 |
| JP2003058884A (ja) * | 2001-08-13 | 2003-02-28 | Nippon Signal Co Ltd:The | 物体存在密度測定装置 |
-
2003
- 2003-03-31 JP JP2003093927A patent/JP4235018B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004301607A (ja) | 2004-10-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210191524A1 (en) | Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data | |
| JP4328286B2 (ja) | 顔領域推定装置、顔領域推定方法及び顔領域推定プログラム | |
| JP4516516B2 (ja) | 人物検出装置、人物検出方法及び人物検出プログラム | |
| JP4235018B2 (ja) | 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム | |
| US7251346B2 (en) | Moving object detection device, moving object detection method, and moving object detection program | |
| KR100519782B1 (ko) | 스테레오 카메라를 이용한 사람 검출 방법 및 장치 | |
| JP4692371B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、および画像処理プログラムを記録した記録媒体、ならびに移動物体検出システム | |
| US9767568B2 (en) | Image processor, image processing method, and computer program | |
| KR100799990B1 (ko) | 2차원 영상의 3차원 영상 변환 장치 및 방법 | |
| JP4597391B2 (ja) | 顔領域検出装置およびその方法並びにコンピュータ読み取り可能な記録媒体 | |
| KR100651034B1 (ko) | 대상 물체 검출 시스템 및 그 방법 | |
| US11727637B2 (en) | Method for generating 3D skeleton using joint-based calibration acquired from multi-view camera | |
| JP3952460B2 (ja) | 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム | |
| JP2010057105A (ja) | オブジェクトの３次元追跡方法およびシステム | |
| JP6090847B2 (ja) | 情報処理装置及び判定方法 | |
| JP4203279B2 (ja) | 注目判定装置 | |
| JP4272538B2 (ja) | 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム | |
| JP3988574B2 (ja) | 画像処理装置 | |
| JP2006041939A (ja) | 監視装置及び監視プログラム | |
| JP4272539B2 (ja) | 移動物体検出装置、移動物体検出方法、および移動物体検出プログラム | |
| JP5217917B2 (ja) | 物体検知追跡装置，物体検知追跡方法および物体検知追跡プログラム | |
| JP5946125B2 (ja) | 画像処理装置、画像処理方法、プログラムおよび記録媒体 | |
| JP4584405B2 (ja) | ３次元物体検出装置と３次元物体検出方法及び記録媒体 | |
| JP4664805B2 (ja) | 顔端検出装置、顔端検出方法、及び、プログラム | |
| JP2016081252A (ja) | 画像処理装置および画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051130 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070410 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080909 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081028 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081209 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081212 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111219 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4235018 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111219 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121219 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131219 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |