JP4316936B2 - アクティブセンサの動物体検出装置及び動物体検出方法、並びに動物体検出プログラム - Google Patents

アクティブセンサの動物体検出装置及び動物体検出方法、並びに動物体検出プログラム Download PDF

Info

Publication number
JP4316936B2
JP4316936B2 JP2003162834A JP2003162834A JP4316936B2 JP 4316936 B2 JP4316936 B2 JP 4316936B2 JP 2003162834 A JP2003162834 A JP 2003162834A JP 2003162834 A JP2003162834 A JP 2003162834A JP 4316936 B2 JP4316936 B2 JP 4316936B2
Authority
JP
Japan
Prior art keywords
movement
distance image
pixel
estimated
occlusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003162834A
Other languages
English (en)
Other versions
JP2004362469A (ja
Inventor
早苗 清水
Original Assignee
財団法人ソフトピアジャパン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財団法人ソフトピアジャパン filed Critical 財団法人ソフトピアジャパン
Priority to JP2003162834A priority Critical patent/JP4316936B2/ja
Publication of JP2004362469A publication Critical patent/JP2004362469A/ja
Application granted granted Critical
Publication of JP4316936B2 publication Critical patent/JP4316936B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、アクティブセンサの動物体検出装置及び動物体検出方法、並びに動物体検出プログラムに関するものである。
【0002】
【従来の技術】
近年、人間と共存する移動ロボットの開発が盛んに行われている。ロボットが自律移動するためには、外界情報を獲得し環境を把握する必要がある。環境を認識する上で有用なセンサとして視覚センサが挙げられる。これまで多くの移動体ビジョンの研究は、静止環境下で移動するためのものである。しかし、人間と共存するロボットを実現するためには、人物等の動物体が存在する動的環境下でも衝突を回避し、安全に移動することや、人物を追跡するため、移動体自身が移動しつつ動物体を検出することが求められている(非特許文献1〜3)。
【0003】
観測系が移動する場合、取得される画像には、観測系の移動(視点移動)による「見かけの変化」と、人物等の「動物体による環境自身の変化」が含まれる。動物体を検出するとは、「環境自身の変化」のみを抽出することであり、この2つの変化を区別する必要がある。観測系の移動による「見かけの変化」には、静止環境の相対運動による変化と、オクルージョンによる変化がある。視点移動に伴う静止環境の相対運動による変化は、画像においては静止環境の位置や大きさの変化として表れる。オクルージョンによる変化とは、移動前には見えていない領域が視点が移動することにより見えたり、見えていた領域が見えなくなったりする等の見かけの変化である。
【0004】
このオクルージョンは、特にカメラに対して物体が近い場合、領域として大きく現れ、人物等の動物体による環境変化と区別することが困難になる。ロボットが自律移動を行うためには、ロボットの近くの情報、変化の検出が重要となる。
【0005】
従来、観測系の運動を考慮し、動物体を検出する方法としてオプティカルフローを用いて推定する方法が提案されている(非特許文献4〜7)。これらは、静止物体の領域のオプティカルフローが、消失点を中心として放射状に分布する性質を利用して、その性質を満足しない領域を動物体として検出している。
【0006】
【非特許文献1】
石川繁樹,浅香俊一,“移動障害物を含むような動的変化を伴う走行環境における自律移動ロボットの走行誘導方式”,日本ロボット学会誌学術論文,Vol.11,No.6,pp.856-867,1993.
【非特許文献2】
井上晃,井上健司,大川善邦,“複数移動障害物の行動予測に基づく自律移動ロボットのオンライン回避行動”,日本ロボット学会誌学術論文,Vol.15,No.2,pp.249-260,1997.
【非特許文献3】
松村幸輝,村井保之,“遺伝的プログラミングに基づくファジーロボットの障害物回避”,電子情報通信学会誌学術論文誌 A,Vol.J83-A,No.12,pp.1539-1551,2000.
【非特許文献4】
太田直哉,“信頼性情報をもったオプティカルフローからの形状復元とその移動物体検出への応用”,電子情報通信学会誌学術論文誌(D-II), Vol.J76-D-II,No.8,pp.1562-1571,1993.
【非特許文献5】
武田信之,渡辺睦,小野口一則,“消失点推定残差法を用いた移動障害物検出”,第1回ロボティクスシンポジア予稿集,pp.29-34,1996.
【非特許文献6】
海老根巧,浜田望,“観測系の運動を考慮したオプティカルフロー推定に基づく運動体検出”,電子情報通信学会誌学術論文誌(D-II), Vol.J83-D-II,No.6,pp.1498-1506,2000.
【非特許文献7】
岡田隆三,白井良明,三浦純,久野義徳“オプティカルフローと距離情報に基づく動物体追跡”,電子情報通信学会誌学術論文誌(D-II), Vol.J80-D-II,No.6,pp.1530-1538,1997.
【0007】
【発明が解決しようとする課題】
しかし、これらのオプティカルフローを用いた方法では、原理的に光軸に平行な運動の時がフローベクトルが小さいため、背景と動物体とを区別することが難しいという問題がある。又、急激な見かけの変化が生じることのないよう、時間移動量が小さいと仮定しているが、例えば、カメラと動物体までの距離が近い場合では、少しの移動でも見かけの変化が大きくなり、動物体を正確に抽出することが困難である。
【0008】
本発明は、観測系の移動による動物体以外の環境の見かけの変化と、動物体の移動による環境変化とを容易に区別して動物体の検出が容易にできるアクティブセンサの動物体検出方法及び動物体検出装置を提供することを目的としている。又、オクルージョン領域を推定することにより、より正確に動物体を検出することができるアクティブセンサの動物体検出方法及び動物体検出装置を提供することを目的としている。
【0009】
又、上記アクティブセンサの動物体検出方法及び動物体検出装置を容易に実現できる動物体検出プログラムを提供することを目的としている。
【0010】
【課題を解決するための手段】
上記問題点を解決するため、請求項1記載の発明は、全方位距離画像を取得可能であり、環境内を移動可能なアクティブセンサの動物体検出装置において、前記アクティブセンサの移動前と移動後の、移動方向、移動距離、回転量を含む相対移動量を推定する相対移動量推定手段と、移動前に取得した全方位距離画像と、前記相対移動量推定手段にて推定した相対移動量に基づいて、移動後の全方位距離画像(以下、予測距離画像という)を推定して生成する予測距離画像生成手段と、前記アクティブセンサが移動することにより、前記予測距離画像に生ずるオクルージョン領域を推定するオクルージョン領域推定手段と、前記予測距離画像と、移動後にアクティブセンサが取得した全方位距離画像との差分画像を生成する際に、前記オクルージョン領域を取り除き、動物体領域を抽出する動物体領域抽出手段とを備えたことを特徴とするアクティブセンサの動物体検出装置を要旨とするものである。
【0011】
請求項2の発明は、請求項1において、前記オクルージョン領域推定手段は、移動前に取得した全方位距離画像のジャンプエッジの画素(以下、ジャンプエッジ画素という)と、同画素の所定範囲内に位置する画素の中で、アクティブセンサから所定値以上の距離値を有する画素(以下、対比対象画素という)について、前記相対移動量に基づき、それぞれ移動後の推定方位角、及び推定仰角を求め、前記ジャンプエッジ画素と対比対象画素のそれぞれの推定方位角の区間、及び推定仰角の範囲を、前記予測距離画像における前記オクルージョン領域のオクルージョン区間であると推定することを特徴とする。
【0012】
請求項3の発明は、請求項2において、前記オクルージョン領域推定手段は、前記予測距離画像における判定対象画素を、前記オクルージョン領域にあるか否かを判定する際に、前記判定対象画素の仰角が、前記ジャンプエッジ画素の推定仰角に一致し、かつ、前記判定対象画素の方位角が前記推定方位角で定めたオクルージョン区間内にあるときは、前記判定対象画素は、オクルージョン領域内にあると判定することを特徴とする。
【0013】
請求項4の発明は、請求項2において、前記オクルージョン領域推定手段は、前記予測距離画像における判定対象画素を、前記オクルージョン領域にあるか否かを判定する際に、前記判定対象画素の方位角が、前記ジャンプエッジ画素の推定方位角に一致し、かつ、前記判定対象画素の仰角が前記推定仰角で定めたオクルージョン区間内にあるときは、前記判定対象画素は、オクルージョン領域内にあると判定することを特徴とする。
【0014】
請求項5の発明は、請求項1乃至請求項4のうちいずれか1項において、前記動物体領域抽出手段は、前記差分画像を生成する際に、各画素の距離値の差に基づいて、正、負のうち、少なくともいずれか一方の符号判定を行い、この符号判定に基づいて、動物体領域抽出を行うことを特徴とする。
【0015】
請求項6の発明は、全方位距離画像を取得可能であり、環境内を移動可能なアクティブセンサの動物体検出方法において、前記アクティブセンサの移動前と移動後の、移動方向、移動距離、回転量を含む相対移動量を推定する第1ステップと、移動前に取得した全方位距離画像と、前記第1ステップにて推定した相対移動量に基づいて、移動後の全方位距離画像(以下、予測距離画像という)を推定して生成する第2ステップと、前記アクティブセンサが移動することにより、前記予測距離画像に生ずるオクルージョン領域を推定する第3ステップと、前記予測距離画像と、移動後にアクティブセンサが取得した全方位距離画像との差分画像を生成する際に、前記オクルージョン領域を取り除き、動物体領域を抽出する第4ステップを含むことを特徴とするアクティブセンサの動物体検出方法を要旨とするものである。
【0016】
請求項7の発明は、請求項6において、前記第3ステップは、移動前に取得した全方位距離画像のジャンプエッジの画素(以下、ジャンプエッジ画素という)と、同画素の所定範囲内に位置する画素の中で、アクティブセンサから所定値以上の距離値を有する画素(以下、対比対象画素という)について、前記相対移動量に基づき、それぞれ移動後の推定方位角、及び推定仰角を求め、前記ジャンプエッジ画素と対比対象画素のそれぞれの推定方位角の区間、及び推定仰角の範囲を、前記予測距離画像における前記オクルージョン領域のオクルージョン区間であると推定することを含むことを特徴とする。
【0017】
請求項8の発明は、請求項7において、前記第3ステップは、前記予測距離画像における判定対象画素を、前記オクルージョン領域にあるか否かを判定する際に、前記判定対象画素の仰角が、前記ジャンプエッジ画素の推定仰角に一致し、かつ、前記判定対象画素の方位角が前記推定方位角で定めたオクルージョン区間内にあるときは、前記判定対象画素は、オクルージョン領域内にあると判定することを特徴とする。
【0018】
請求項9の発明は、請求項7において、前記第3ステップは、前記予測距離画像における判定対象画素を、前記オクルージョン領域にあるか否かを判定する際に、前記判定対象画素の方位角が、前記ジャンプエッジ画素の推定方位角に一致し、かつ、前記判定対象画素の仰角が前記推定仰角で定めたオクルージョン区間内にあるときは、前記判定対象画素は、オクルージョン領域内にあると判定することを特徴とする。
【0019】
請求項10の発明は、請求項6乃至請求項9のうちいずれか1項において、前記第4ステップは、前記差分画像を生成する際に、各画素の距離値の差に基づいて、正、負のうち、少なくともいずれか一方の符号判定を行い、この符号判定に基づいて、動物体領域抽出を行うことを特徴とする。
【0020】
請求項11の発明は、コンピュータを、アクティブセンサの移動前と移動後の、移動方向、移動距離、回転量を含む相対移動量を推定する相対移動量推定手段と、移動前に取得した全方位距離画像と、前記相対移動量推定手段にて推定した相対移動量に基づいて、移動後の全方位距離画像(以下、予測距離画像という)を推定して生成する予測距離画像生成手段と、前記アクティブセンサが移動することにより、前記予測距離画像に生ずるオクルージョン領域を推定するオクルージョン領域推定手段と、前記予測距離画像と、移動後にアクティブセンサが取得した全方位距離画像との差分画像を生成する際に、前記オクルージョン領域を取り除き、動物体領域を抽出する動物体領域抽出手段として、機能させることを特徴とするアクティブセンサの動物体検出プログラムを要旨とするものである。
【0021】
請求項12の発明は、請求項11において、さらに、コンピュータを、前記オクルージョン領域推定手段として、移動前に取得した全方位距離画像のジャンプエッジの画素(以下、ジャンプエッジ画素という)と、同画素の所定範囲内に位置する画素の中で、アクティブセンサから所定値以上の距離値を有する画素(以下、対比対象画素という)について、前記相対移動量に基づき、それぞれ移動後の推定方位角、及び推定仰角を求め、前記ジャンプエッジ画素と対比対象画素のそれぞれの推定方位角の区間、及び推定仰角の範囲を、前記予測距離画像における前記オクルージョン領域のオクルージョン区間であると推定するように機能させることを特徴とする。
【0022】
請求項13の発明は、請求項12において、さらに、コンピュータを、前記オクルージョン領域推定手段として、前記予測距離画像における判定対象画素を、前記オクルージョン領域にあるか否かを判定する際に、前記判定対象画素の仰角が、前記ジャンプエッジ画素の推定仰角に一致し、かつ、前記判定対象画素の方位角が前記推定方位角で定めたオクルージョン区間内にあるときは、前記判定対象画素は、オクルージョン領域内にあると判定するように機能させることを特徴とする。
【0023】
請求項14の発明は、請求項12において、さらに、コンピュータを、前記オクルージョン領域推定手段として、前記予測距離画像における判定対象画素を、前記オクルージョン領域にあるか否かを判定する際に、前記判定対象画素の方位角が、前記ジャンプエッジ画素の推定方位角に一致し、かつ、前記判定対象画素の仰角が前記推定仰角で定めたオクルージョン区間内にあるときは、前記判定対象画素は、オクルージョン領域内にあると判定するように機能させることを特徴とする。
【0024】
請求項15の発明は、請求項11乃至請求項14のうちいずれか1項において、
さらに、コンピュータを前記動物体領域抽出手段として、前記差分画像を生成する際に、各画素の距離値の差に基づいて、正、負のうち、少なくともいずれか一方の符号判定を行い、この符号判定に基づいて、動物体領域抽出を行うことを特徴とする。
【0025】
【発明の実施の形態】
以下、本発明のアクティブセンサの動物体検出装置を具体化した一実施形態を図1〜図23を参照して説明する。
【0026】
本実施形態のアクティブセンサの動物体検出装置は、アクティブセンサ11とコンピュータ16にて構成されている。
図1はアクティブセンサの電気的構成を示すブロック図である。図2はアクティブセンサ11の機械的構成の概略図である。
【0027】
アクティブセンサ11は、複数の車輪を有する車体βを備えており、車体β内に設けられた図示しない電動モータにより前記車輪が駆動されて環境K内の任意の位置に向けて自動走行(直線及び曲線に沿った走行を含む)及びが可能である。なお、図2においては、説明の便宜上、環境Kは、車体βに比較して、小さく図示している。
【0028】
アクティブセンサ11は、複数の3眼ステレオユニット(以下、単にステレオユニット12という)、メモリユニット15、同期信号発生器17等を備えている。メモリユニット15、コンピュータ16、同期信号発生器17等は車体β内に格納されている。
【0029】
前記複数のステレオユニット12は、撮像手段に相当する。又、前記コンピュータ16は、相対移動量推定手段、予測距離画像生成手段、オクルージョン領域推定手段、及び動物体領域抽出手段に相当する。
【0030】
アクティブセンサ11は、3次元空間内の、全ての方向(以下、全方位という)におけるカラー画像と3次元情報(距離画像)を、同時刻にリアルタイムで取得することが可能な装置である。ステレオユニット12は、3個のビデオカメラからなり、各ステレオユニット12は正20面体の各面上にそれぞれ配置されている。そして、各ステレオユニット12は同特性を備え、各面に配置したステレオユニット12により、全方位のカラー画像と全方位の白黒画像(以下、距離データという)を同一時刻にリアルタイムで取得可能なシステムである。これによって、3次元空間上の全ての方向におけるカラー画像と3次元情報を同一時刻に得ることができる。
【0031】
又、同じ特性を持つステレオユニット12を正20面体の各面上に配置したことにより、3次元空間を均等に分割し、高解像度の情報の取得が可能である。なお、このアクティブセンサ11は、「”実環境センシングのための全方位ステレオシステム(SOS)”、電気学会論文誌C.Vol.121-C,No.5,pp.876-881,2001」に記載されている。
【0032】
ステレオユニット12では、図1に示すように、1つの基準ビデオカメラVCsと、一対の参照用ビデオカメラVCとからなる。そして、参照用ビデオカメラVCは基準ビデオカメラVCsの光軸を交線として、互いに直交する一対の平面に含ませるように配置されている。そして、これらのカメラにより、2つのステレオペアを構成するように配置されている。
【0033】
各ステレオユニット12からは、1枚のカラー画像と2枚の白黒画像とからなるステレオ画像が取得され、全方位の20枚のカラー画像と40枚の白黒画像を1セットとして15セット/秒でメモリユニット15に転送する。メモリユニット15は、転送されてきた全方位の画像データを記憶する。
【0034】
各ステレオユニット12の各ビデオカメラには、同期信号発生器17から共通の外部同期信号が供給されている。このことにより、ディジタル化されたフレームにおいて、完全に同期した画像データが得られる。
【0035】
コンピュータ16は、所定の周期毎に、同コンピュータ16内に備えているROM16aに予め格納したアクティブセンサの動物体検出プログラムを実行する。前記ROM16aを備えたコンピュータ16は記憶手段に相当する。
【0036】
又、コンピュータ16は、メモリユニット15にアクセスし、全方位のカラー画像と距離データをその時々に取得する。
(作用)
さて、以上のように構成されたアクティブセンサの動物体検出装置の作用を図3〜図23を参照して説明する。
【0037】
図3(a)は、コンピュータ16が実行するアクティブセンサの動物体検出プログラムのフローチャートであり、コンピュータ16は、所定周期毎に実行し、アクティブセンサ11の動物体検出を行う。
【0038】
以下、各ステップ毎に説明する。
1.S10(自己位置・姿勢推定)
S10では、アクティブセンサ11の自己位置・姿勢推定を行う。具体的には図3(b)のS110〜S160の処理を行う。
【0039】
1.1. S110(エッジの検出)
S110では、エッジ検出を行う。
すなわち、基準ビデオカメラVCs(センタカメラ)が取得したカラー画像を濃淡化してLoG(Laplasian of Gaussian)フィルタを通し、ゼロクロス点をエッジとして検出する。
【0040】
1.2. S120(最大エッジ勾配の算出)
次に、最大エッジ勾配の算出を行う。
すなわち、Sobelフィルタにて各エッジ画素におけるエッジの勾配(強度)を計算し、画像中の最大エッジ勾配(すなわち、最大エッジ強度)を求める。
【0041】
これは、LoGフィルタはノイズに影響されやすいため、ノイズや照明の影響で偽のエッジ多く存在するためであり、これを除くための処理である。
この処理によって、強度が最大エッジ勾配値の5%未満のエッジ画素をノイズとしてエッジから削除する。
【0042】
1.3. S130(現在位置のエッジヒストグラムの生成)
次に、S130において、各ステレオユニット12のセンタカメラである基準ビデオカメラVCsで得られたエッジ点から、360°のパノラマエッジ画像座標系に写像し、縦方向投影のエッジヒストグラムを生成する。エッジヒストグラムは統計量に相当する。
【0043】
前記360°のパノラマエッジ画像は360°の円筒画像ともいう。すなわち、この円筒画像におけるエッジを縦方向(円筒の軸心に沿った方向)に投影して、全方位エッジヒストグラムを生成するのである。
【0044】
図5は、生成された全方位エッジヒストグラムの例を示している。図5において、横軸は0〜360°の範囲を示し、縦軸はそのヒストグラムである。図4は、図5に対応するパノラマエッジ画像を示している。
【0045】
(位置・姿勢と全方位エッジヒストグラムとの関係)
ここで、アクティブセンサ11の位置・姿勢とヒストグラムとの関係を説明する。
【0046】
アクティブセンサ11の移動や回転は、アクティブセンサ11で得られた全方位の画像のエッジヒストグラムのシフトを引き起こす。
アクティブセンサ11の回転によって生じたエッジヒストグラムの回転量はすべての方位角において一定である。しかし、アクティブセンサ11の平行移動で生じたエッジヒストグラムの移動量は移動方向とエッジの方位角に関係する。
【0047】
図6に示すように、アクティブセンサ11が移動前地点αからある移動方向ωに向いて動いたとき、ω±nπ,n=0,1の方位角においてはエッジヒストグラムの移動量が小さい。n=0は移動方向ωであり、n=1は移動方向ωとは反対方向の意味である。
【0048】
なお、総合シフト量とは、前記回転量と移動量の合計の量である。又、移動方向ωは、図6に示すように移動前地点αを中心として所定の方向の向きを0°としたとき、その0°からω°離れた方向をいう。
【0049】
ω±(2n+1)π/2の方位角においてはそのエッジヒストグラムの移動量が大きくなる。
アクティブセンサ11が移動方向ωに沿う移動距離をLとし、移動しながら回転角度φにて回転したとする。
【0050】
この場合、ある方位角θに位置するエッジピクセルの円筒座標系(360°のパノラマエッジ画像座標系)における総合シフト量δθは次の式(1)で決まる。
【0051】
【数1】
Figure 0004316936
ここで、dθは方位角θに位置するエッジの3次元での奥行き(アクティブセンサ11中心までの距離)である。実際には、多くの場合同じ方位にあるエッジは異なる奥行きをもっているため、式(1)は理想的な場合(同じ方位のエッジは同一の奥行きを持つ場合)だけを表している。
【0052】
式(1)は、エッジの奥行きに影響されるが、図7(c)に示すように、sinで近似することができ、sin曲線と同様に2πの周期を持つ。その総合シフト量δθの符号はπ周期毎に反転する。
【0053】
なお、図7(c)は全方位エッジヒストグラムの総合シフト量δθを式(1)で計算した場合の曲線とsin曲線を表した説明図である。
同図において、Aはsin曲線(正弦波曲線)であり、Bは、円筒形の部屋でアクティブセンサ11が動いた場合の、全方位エッジヒストグラムの総合シフト量δθを式(1)に基づいて演算した曲線である(図7(a)参照)。
【0054】
又、Cは正方形の部屋でアクティブセンサ11が動いた場合の、全方位エッジヒストグラムの総合シフト量δθを式(1)に基づいて演算した曲線である(図7(b)参照)。
【0055】
本実施形態では、式(1)の符号がπ周期毎に反転する特徴を利用して、全方位エッジヒストグラムの総合シフト量δθからアクティブセンサ11の移動方向ωと回転角度φを簡単かつロバストに推定するのである。
【0056】
1.4. S140(動的計画法によるマッチング:DPマッチング)
S140では、アクティブセンサ11の現在位置(移動後地点)の全方位エッジヒストグラムと移動前地点の全方位エッジヒストグラムをDPマッチングし、それぞれの方位角(各移動前地点の方位角)におけるヒストグラムの総合シフト量δθを求める。
【0057】
移動後地点の全方位エッジヒストグラムは現在位置ヒストグラムに相当し、移動前地点の全方位エッジヒストグラムは移動前地点ヒストグラムに相当する。
この総合シフト量δθを求めることにより、移動前地点に対するアクティブセンサ11の移動後地点の移動方向ωと回転角度φを算出する。
【0058】
以下、移動前地点に対する、アクティブセンサ11の移動後地点の全方位エッジヒストグラムの総合シフト量δθの算出の仕方を詳細に説明する。
(動的計画法マッチング(DPマッチング)について)
ここでは、移動後地点の全方位エッジヒストグラムと、ある移動前地点の全方位エッジヒストグラムのDPマッチングについて、すなわち、2つの全方位エッジヒストグラムをDPマッチングする方法を説明する。
【0059】
移動前地点と移動後地点の全方位エッジヒストグラムのそれぞれを
移動前地点:Hp=[hp(i),i=0,…,…,N-1]

移動後地点:Hc=[hc(j),j=0,…,…,N-1}
とする。
【0060】
Nは360の倍数であり、エッジヒストグラムを生成するときの方位角θで決まる。本実施形態では、N=720である。すなわち、エッジヒストグラムの角度分解能は0.5°である。移動前地点の全方位エッジヒストグラムHpの1つのピンhp(i)は、移動と回転によってアクティブセンサ11の移動後地点の全方位エッジヒストグラムHcにおいてシフト量siが生じたとき、hp(i)とhc(i+si)と似ていると仮定することができる。
【0061】
hp(i)とhc(i+si)との差の二乗をhp(i)とhc(i+si)との間のマッチングコストとすると、次のマッチングコストマトリクスC(s,i)が得られる。
【0062】
【数2】
Figure 0004316936
ここで全方位エッジヒストグラムが2πの周期を持つため、i+si≧Nの場合、
hc(i+si)≡hc(i+si−N)とする。
【0063】
[(hp(i),hc(i+si)),i=0,…,N-1]が正しいマッチングである場合、それらのマッチングペアはマッチングコストマトリクスC(s,i)の中でコストが低く、かつ式(1)の形をした曲線をなす。ここでは、(hp(i),hc(i+si))はhp(i)とhc(i+si)とのマッチングペアを表している。
【0064】
図8は、アクティブセンサ11の2つの地点における全方位エッジヒストグラムのマッチングコストマトリクスC(s,i)を示す。なお、説明の便宜上、マトリクス中のマッチングコストの低いパスをセンタリングし、上下をカットしている。又、図中、「.-+*&%#$@ABCD」の各記号は、コストのレベルをそれぞれ示し、「.-+*&%#$@ABCD」の順番は、左から右に向かってコストの低い順から高い順に並べている。すなわち、マッチングコストは「.」<「-」<「+」<「*」<「&」<「%」<「#」<「$」<「@」<「A」<「B」<「C」<「D」の大小関係となっている。
【0065】
図中、縦軸はエッジのシフト量si、横軸はiであり、方位角θに相当する。又、図中、C(s,i)の中のsin曲線に似たコストの低い曲線は各方位角θにおけるエッジヒストグラムの総合シフト量δθに対応する。C(s,i)の中のsin曲線に似たコストの低い曲線を探索することで、HpとHcの間の全方位ヒストグラムの総合シフト量δθが求められる。
【0066】
本実施形態では、計算コストの低い動的計画法(DP)を用いて、C(s,i)から周期2πを持ち、かつ連続した最小コストのパスを求め、そのパスからロバストに回転角度φと移動方向ωを推定する。
【0067】
C(s,i)から周期2πを持ちかつ連続した最小コストのパスは次の条件付き最小化問題に定義することができる。
【0068】
【数3】
Figure 0004316936
ここで、siは求めたいエッジヒストグラムの総合シフト量である。
【0069】
hp(i)とhc(j)の周期がNであるため、C(s,i)のインデックスのsとiに関しては、s±N→sとi±N→iで計算される。
パスが特定の行kから始まる(すなわち、s0=k)と仮定した場合には、式(2)の最小化は次のように動的計画法で求めることができる。
【0070】
【数4】
Figure 0004316936
【0071】
【数5】
Figure 0004316936
【0072】
【数6】
Figure 0004316936
S(s,i)を計算するときは、min[S(s-1,i-1),S(s,i-1),S(s+1,i-1)]の中のいずれが最小になっていたかを記憶しておき、Cmin(k)まで来たパスを逆に辿れば、最小コストのパス(以下、最小コストパスという)が得られる。
【0073】
k=0,…,N−1に対して、上記のようにCmin(k)を計算し、そのうち、
最小値C^min(k)=Cmin(k^)
を求める。
【0074】
Cmin(k^)が対応しているパスがHpとHcの間の最適マッチングとする。
以下、上記パスを最適マッチングパスという。
上記計算により、2πの周期を持ち、かつ連続性のあるエッジヒストグラムのマッチングパスを探索できる。
【0075】
そして、以下、移動後地点の全方位エッジヒストグラムと他の移動前地点の全方位エッジヒストグラムのマッチングについても同様に処理する。
1.5. S150(姿勢と移動方向の推定)
S150では、S140で得られたアクティブセンサ11の移動後地点と移動前地点の全方位エッジヒストグラムの総合シフト量から移動前地点に対するアクティブセンサ11の移動方向ωと回転角度φを推定する。
【0076】
(回転角度φの推定)
まず、アクティブセンサ11の回転角度φの推定について説明する。
DPマッチングで得られた最小コストパスであるsi,(i=0,…,N-1)は、アクティブセンサ11の移動後地点と移動前地点のそれぞれの全方位エッジヒストグラムHcとHpの間の総合シフト量を表している。図9中のsin曲線の近傍に示された波形はDPマッチングで得られた最小コストパスを示す。
【0077】
式(1)で示したように、これらの総合シフト量はアクティブセンサ11の回転角度φで生じたヒストグラム全体の回転量と、移動方向ωにおける平行移動で生じた各方位角での移動量からなる。
【0078】
式(1)から分かるように、ヒストグラムの総合シフト量は回転角度φに相当する回転量sφを引けば、引いた後のシフト量はπ周期毎に反転する。すなわち、回転角度φを中心にπ周期で、上下反転する(図9参照)。
【0079】
従って、本実施形態のS150では、回転量sφは次の式で演算することにより推定する。すなわち、回転角度φを推定する。
【0080】
【数7】
Figure 0004316936
【0081】
【数8】
Figure 0004316936
すなわち、回転量sφがエッジヒストグラムのシフト量si,(i=0,…,N-1)を上下2等分に分けることになる(図9参照)。
【0082】
(アクティブセンサ11の移動方向ωの推定)
次に、式(1)がsin曲線の周期性を保たれていることを利用して、アクティブセンサ11の移動方向ωをロバストに推定する。
【0083】
この推定の根拠は下記の通りである。
上述したように回転量sφを引いた後のエッジヒストグラムのシフト量si’をsin曲線に近似する。しかし、図7に示しているように、これらのシフト量は、エッジの奥行きや空間の形に影響される。
【0084】
エッジヒストグラムのシフト量si’は、エッジの奥行きや空間の形の影響でsin曲線からずれるが、図7に示すように(0,π)の区間では、正の値を、(π,2π)の区間では、負の値をもっていると仮定することができる。
【0085】
従って、シフト量si’の符号を用いて、sin曲線をロバストに当てはめることができる。
ここで、回転角度φにより、シフト量si’の−1,0,1の3つの値に変換し、−1と1の値に対応するシフト量si’の中心がそれぞれなるべくsin曲線の負と正のピークに対応するように移動方向ωを決定する。
【0086】
これは次の最大化問題になる。
【0087】
【数9】
Figure 0004316936
【0088】
【数10】
Figure 0004316936
ここで、回転角度φに相当するsφとsφ±1を0にすることにより、エッジヒストグラムのシフト量si’は符号へのノイズの影響を軽減することができる。
【0089】
式(9)の左辺の微分を0とすると、次の方程式が得られる。
【0090】
【数11】
Figure 0004316936
上の式(11)から次のように、移動方向ωを直接求める。
【0091】
【数12】
Figure 0004316936
なお、式(11)は、式(9)の最大化のみならず、最小化も含んでいる。tan(θ)の周期がπであるから、移動方向ω又はω+πのどちらかが式(9)を最大化することが分かる。
【0092】
上記のようにして、本実施形態のS150では、式(12)に基づいて、移動方向ωを算出する。S150では、上記のようにして、移動前地点に対するアクティブセンサ11の回転角度φや移動方向ωを推定することができる。
【0093】
1.6. S160(アクティブセンサ11の移動距離の推定)
S160では、アクティブセンサ11の移動距離の推定を行う。具体的には、図3(c)のフローチャートに従って移動距離の推定を行う。
【0094】
S162において、移動前にアクティブセンサ11で得られた環境Kの全方位の距離データに基づくエッジの3次元点群を床平面(x−y平面)に写像し、図10のようにエッジヒストグラム(床平面投影ヒストグラム)を生成する。この写像により、環境Kの壁などの垂直平面(床平面に対する垂直平面)にある多くの3次元点は同じ場所に投影され、垂直平面が存在する場所では、ヒストグラムの値は高くなる。なお、図10において、ヒストグラムの値が大きな部分については、白く表している。
【0095】
S164では、前記床平面投影ヒストグラムに対してハフ(Hough)変換を用いて、主な垂直平面(壁など)の方向を検出する。
(ハフ変換)
ハフ変換について説明する。図14はハフ変換の説明図である。同図において、X−Y平面上に、点D1から点D6が直線R上に分布しているものとする。原点Oから直線Rに下ろした垂線の足をH,OH=ρ,OHとX軸のなす角度をθ,Hの座標を(x,y)とすると、直線Rは下記の極座標の式で表現できる。
【0096】
ρ=xcosθ+ysinθ
ここで、ρ,θを変数とした場合、ある点(x,y)を通るすべての直線群は、前記極座標の式で表現できる。
【0097】
図15はρ−θ平面上で、ある点を通る直線群を示した図である。ρ−θ平面上では、ある点を通る直線群は、唯一1本の曲線として表現でき、ρ,θが一意に決まれば、1本の直線が特定できることになる。
【0098】
図16はρ−θ平面上で複数の候補点の各々に対する直線群を示した図である。図14に示した各候補点について、前記極座標の式に従って、図15に示すように曲線を求めた一例を図16に示している。そして、図16に示すように、複数の曲線が描かれているが、すべての候補点に対し、最も適切な直線は、曲線同士が最も多く交差している点Q(ρ0 ,θ0 )から特定される直線ρ=xcosθ0 +ysinθ0 である。
【0099】
本実施形態においては、例えば図10の床平面投影ヒストグラムに対してハフ変換を用いると、図11に示すようにρ−θ平面上に、多数の曲線群が描かれる。なお、図11では、曲線は白線で表されている。図11において、曲線同士の公差が多い交点を、主な垂直平面(壁など)に関する直線として検出され、すなわち、垂直平面の方向が検出される。
【0100】
本実施形態では、図11のハフ変換のρ−θ平面が、ハフ投票空間とされている。このハフ投票空間から、θが所定角度(例えば60度)以上離れた交点を検出することによって、図10に示すように、(A1,A2)と(B1,B2)のような主な垂直平面の方向を検出する。
【0101】
そして、これらの主な垂直平面の方向のうち、移動方向ωに最も近い1つの垂直平面の方向をドミナント射影方向vとして選択し、図10の床平面投影ヒストグラムを選択した垂直平面の方向(ドミナント射影方向v)に沿って投影し、1次元ヒストグラムを生成する。
【0102】
なお、図12は、A1及びA2が互いに平行であって、その平行な方向である垂直平面の方向に沿って投影した方向をドミナント射影方向として、投影したときのヒストグラムを示し、A1,A2で示す部分は、ヒストグラムの値が大きいことを示している。図13は、B1及びB2が互いに平行であって、その平行な方向である垂直平面の方向に沿って投影した方向をドミナント射影方向として、投影したときのヒストグラムを示し、B1,B2で示す部分は、ヒストグラムの値が大きいことを示している。
【0103】
S166では、移動後にアクティブセンサ11にて得られた環境Kにおける全方位の距離データに基づくエッジの3次元点群をZ軸(アクティブセンサ11が走行した床平面に垂直な軸)を中心に、S150で推定した回転角度φに基づき、「−φ」で回転する。すなわち、
P’=Rz(−φ)P
ここで、Rz(−φ)は回転マトリクスである。PとP’は回転前と回転後の3次元点を表している。
【0104】
S168では、S164で得られた主な垂直平面のヒストグラム投影方向をv1,v2としたとき(図10参照)、このヒストグラム投影方向v1,v2のうち、移動方向ωと最も近い方向(例えば、v1)を選び、P’をその投影方向に投影し、ヒストグラムH’(v1)を生成する。
【0105】
又、アクティブセンサ11が走行移動前に、アクティブセンサ11が得た環境Kの全方位の距離データに基づくエッジの3次元点をPoとする。そして、S164で得られた主な垂直平面のヒストグラム投影方向をv1,v2としたとき(図10参照)、このヒストグラム投影方向v1,v2のうち、移動方向ωと最も近い方向(例えば、v1)を選び、Poをその投影方向に投影し、ヒストグラムH(v1)を生成する。
【0106】
S170では、移動前と移動後で得られたv1方向(すなわち、移動方向ωと最も近い方向)のヒストグラムH(v1)とH’(v1)をマッチングし、2つのヒストグラムのシフト量λを求める。このシフト量λはアクティブセンサ11が走行してヒストグラム投影方向v1に沿った移動距離と関係する。
【0107】
S180では、前記シフト量λに基づいてアクティブセンサ11が移動方向ωに沿って移動した移動距離Lを下記式(13)を使用して演算する。
【0108】
【数13】
Figure 0004316936
2. S20(予測距離画像の算出)
ここではアクティブセンサ11が移動前に取得した全方位の距離データと、S160で取得した相対移動量(回転角度φ,移動方向ωと移動距離Lを含む)とに基づいて、移動後にアクティブセンサ11の視点で得られる全方位距離画像を推定する。以下では、移動後の予測された全方位距離画像を単に予測距離画像という。
【0109】
本実施形態では、アクティブセンサ11の各ステレオユニット12により得られた距離画像を各ステレオユニット12の配置パラメータを用いて、円筒座標系で表現し、統合することにより、全方位距離画像を生成する。
【0110】
図26は、生成した全方位距離画像の例を示しており、横軸は方位角θ、縦軸は仰角γである。図17は、仰角γの説明図であり、アクティブセンサ11の視点中心から上を+とし、下を−としている。なお、図26は0<θ<2π、−π/3<γ<π/3の範囲を対象としている。
【0111】
ここで、移動前の全方位距離画像の方位角θ、仰角γ方向における距離値ds(θ,γ)は、移動後の相対移動量(回転角度φ,移動方向ωと移動距離Lを含む)により、方位角θ’、仰角γ’方向の位置に、距離値dp(θ’,γ’)に移動する。ここで、距離値ds(θ,γ)は、図18に示すように、アクティブセンサ11がポイントSに位置したときの、ポイントSから距離画像における任意の点Wまでの値である。距離値dp(θ’,γ’)は、アクティブセンサ11がポイントSからポイントPに移動した後のポイントPから距離画像における点Wまでの距離値である。
【0112】
方位角θ’、仰角γ’及び距離値dp(θ’,γ’)は、アクティブセンサ11の回転角度φ、移動方向ωと、その移動距離Lを用いて、下記の式(14)で求める。
【0113】
【数14】
Figure 0004316936
上記式(14)により、アクティブセンサ11が移動後の視点で得られる全方位距離画像、すなわち、予測距離画像が推定される。
【0114】
3. S30(オクルージョン領域の推定)
S30では、アクティブセンサ11、すなわち、観測系が移動することによって、生じるオクルージョン領域を推定する。オクルージョンは、環境Kにおける動物体と、アクティブセンサ11のカメラの移動量とに深く関係する。すなわち、奥行き(距離値)が急激に変化する部分にオクルージョンが生じる。
【0115】
このため、アクティブセンサ11から得られる距離画像におけるジャンプエッジに注目し、距離画像と移動量に基づいて予測距離画像に生じるオクルージョン領域を推定する。
【0116】
ここで、移動前において取得した全方位距離画像におけるジャンプエッジの画素(ピクセル)を、(θ1,γ1,ds(θ1,γ1))とする。そして、画素(θ1,γ1,ds(θ1,γ1))の所定範囲内としての4−近傍にある距離値ds(θ1,γ1)より最も遠い距離値を有する画素を(θ2,γ2,ds(θ2,γ2))とする。
【0117】
前記ジャンプエッジの画素は本発明のジャンプエッジ画素に相当し、所定範囲内としての4−近傍にあるds(θ1,γ1)より最も遠い画素は、対比対象画素に相当する。なお、本実施形態の「最も遠い距離値」は、本発明における「所定値」に相当する。 図19は、オクルージョン領域の説明図である。同図において、ジャンプエッジの画素に対応する部分を(θ1,γ1,ds(θ1,γ1))で示しており、その画素から最も遠い画素に相当する部位を(θ2,γ2,ds(θ2,γ2))で示している。これらは、前記式(14)より、アクティブセンサ11の移動によって、それぞれ下記のように変換する。
【0118】
1,γ1,ds(θ1,γ1)) → (θ1’,γ1’,dp(θ1’,γ1’))
2,γ2,ds(θ2,γ2)) → (θ2’,γ2’,dp(θ2’,γ2’))
θ1’はジャンプエッジ画素の推定方位角,及びθ2’は対比対象画素の推定方位角に相当し、γ1’ジャンプエッジ画素の推定仰角,及びγ2’は対比対象画素の推定仰角に相当する。
【0119】
この変換により生じた各画素(ピクセル)の位置の差から方位角θと仰角γの方向のオクルージョン区間Iθ,Iγを推定する。又、オクルージョン区間Iθ,Iγから、次のようなオクルージョン領域Oc(θ,γ)を推定する。
【0120】
【数15】
Figure 0004316936
上記式(15)中、Iθ=(θ2’,θ1’)は、θ1>θ2,θ1’>θ2’のとき、移動後においては、方位角θ2’〜θ1’の間がオクルージョン区間を意味している。なお、θ1>θ2,θ1’>θ2’の場合は、動物体が、例えば、図19においては、アクティブセンサ11が右側に移動する場合に相当する。
【0121】
又、Iθ=(θ1’,θ2’)は、θ2>θ1,θ2’>θ1’のとき、移動後においては、方位角θ1’〜θ2’間がオクルージョン区間を意味している。なお、θ2>θ1,θ2’>θ1’の場合は、例えば、図19においては、アクティブセンサ11が左側に移動する場合に相当する。
【0122】
そして、上記以外の場合は、方位角においてオクルージョン区間がないこと、すなわち空集合であることを意味する。
上記式中、Iγ=(γ2’,γ1’)は、γ1>γ2,γ1’>γ2’のとき、予測距離画像においては、仰角γ2’〜γ1’間がオクルージョン区間を意味する。
【0123】
又、Iγ=(γ1’,γ2’)は、γ2>γ1,γ2’>γ1’のとき、予測距離画像においては、仰角γ1’〜γ2’の間がオクルージョン区間を意味している。そして、上記以外の場合は、仰角においてオクルージョン区間がないこと、すなわち空集合であることを意味する。
【0124】
さらに、上記式(15)では、予測距離画像における判定対象画素の仰角γが、推定仰角γ1’に一致し、予測距離画像における判定対象画素の方位角θがオクルージョン区間Iθ内にあるときは、O(θ,γ)=1とする。すなわち、判定対象画素はオクルージョン領域内にあると判定する。
【0125】
又、予測距離画像における判定対象画素の方位角θが推定方位角θ1’に一致し、判定対象画素の仰角γがオクルージョン区間Iγ内にあるときは、O(θ,γ)=1とする。すなわち、判定対象画素はオクルージョン領域内にあると判定する。
【0126】
そうでない場合には、O(θ,γ)=0とする。
O(θ,γ)=1の場合、予測距離画像における、方位角θ,仰角γの画素(ピクセル)はオクルージョン領域の一部であることを意味する。又、O(θ,γ)=0の場合、方位角θ,仰角γの画素(ピクセル)はオクルージョン領域ではないことを意味している。
【0127】
4. S40(差分による動物体領域の抽出)
S40では、S20で得られた予測距離画像と、アクティブセンサ11が移動後に実際に得られる全方位距離画像との差分をとり、差分画像を生成し、S30にて推定したオクルージョン領域を取り除くことにより、動物体領域を抽出する。具体的には、下記の通り行う。
【0128】
ここで、移動後取得する全方位距離画像、前記予測距離画像、及び生成する差分画像におけるθ,γに対する距離値をそれぞれdg(θ,γ),dp(θ,γ),dδ(θ,γ)とする。又、差分画像の3値画像を得るための判定値をdd(θ,γ)とする。なお、S20では、予測距離画像の距離値は、dp(θ’,γ’)で示したが、この欄では、予測距離画像の方位角θ’と、仰角γ’は、移動後に取得した全方位距離画像の方位角θと、仰角γとそれぞれ等しいものとして、説明の便宜上、この欄では、dp(θ,γ)で示す。
【0129】
生成する差分画像の距離値dδ(θ,γ)は、差分画像の距離値=(予測距離画像の距離値)−(移動後の全方位距離画像の距離値)、で得られる。すなわち、生成する差分画像の距離値dδ(θ,γ)は、
【0130】
【数16】
Figure 0004316936
で表される。又、この差分画像の距離値dδ(θ,γ)に対して閾値Th、及び閾値−Thを用いて、差分画像の3値画像を得るための判定値を得る。なお、閾値Th、及び閾値−Thは、差分画像の距離値dδ(θ,γ)に大きな変化があったかどうかを判定するための閾値である。
【0131】
【数17】
Figure 0004316936
式(17)において、差分画像の距離値dδ(θ,γ)が閾値Thを超える場合であって、O(θ,γ)=0、すなわち、画素(ピクセル)がオクルージョン領域にない場合は、その画素について判定値dd(θ,γ)を「1」とし、正の値とする。この画素(ピクセル)は、前記閾値Thを超えてアクティブセンサ11に近い位置へ変化したことを示している。
【0132】
又、式(17)において、差分画像の距離値dδ(θ,γ)が閾値−Th未満の場合であって、O(θ,γ)=0、すなわち、画素がオクルージョン領域にない場合は、判定値dd(θ,γ)を「−1」とし、負の値とする。この場合、画素(ピクセル)は、前記閾値−Thを超えてアクティブセンサ11から離れた位置へ変化したことを示している。
【0133】
さらに、上記の条件を満足しない場合は、判定値dd(θ,γ)を「0」とする。すなわち、この場合、差分画像の距離値dδ(θ,γ)は、閾値−Th〜閾値Thの変化であるため、画素(ピクセル)は、大きな変化がないことを示している。
【0134】
上記のようにした得られた判定値dd(θ,γ)に基づいて、前記差分画像を3値化する。
(具体例での説明)
1.具体例1
図20で示す具体例1を参照して、式(17)の判定値の設定について説明する。具体例1は、アクティブセンサ11と、動物体20とが、同一線上ではない、異なる方向にそれぞれ移動するときの例である。
【0135】
図20は、アクティブセンサ11の移動前後の位置と、動物体20の移動前後の位置をそれぞれ示している。なお、説明の便宜上、以下は、アクティブセンサ11において、仰角γ=0における画素を前提として説明する。又、閾値Thを0とする。
【0136】
同図中、動物体20及び、アクティブセンサ11が移動後に実際に取得した全方位距離画像は、a6とa7間の動物体20(移動後)の円弧部分,a8〜a9〜a3〜a4〜a5の環境Kの壁を含んでいる。なお、各aは、方位角θと関連し、以下では、説明の便宜上、例えば、a8を指す場合、方位角a8、又は、a8の方位角という。
【0137】
又、S20で算出した予測距離画像は、a1〜a2の動物体20(移動前)の円弧部分、a3〜a4〜a5〜a8〜a9の環境Kの壁を含んでいる。又、S30で推定されたオクルージョン領域は、a3〜a4の環境Kの壁部分である。
【0138】
(a1〜a2の方位角)
さて、a1〜a2の方位角の範囲では、予測距離画像の距離値dp(θ,γ)は動物体20(移動前)の円弧部分のものであり、一方、移動後の全方位距離画像の距離値dg(θ,γ)は環境Kの壁部分のものであって、移動後の全方位距離画像の距離値dg(θ,γ)の方が、大きくなる。このため、式(16)を算出すると、生成する差分画像の距離値dδ(θ,γ)<0(=−Th)となる。又、この方位角a1〜a2は、O(θ,γ)=0、すなわち、オクルージョン領域でない。この結果、方位角a1〜a2の範囲では、式(17)の算出結果は、「−1」、すなわち負となる。なお、図20では、式(17)の算出結果を括弧書で示している。
【0139】
(a3〜a4の方位角)
a3〜a4の方位角の範囲は、オクルージョン領域であるため、O(θ,γ)=1であり、この結果、方位角a3〜a4の範囲では、式(17)の算出結果は、「0」となる。
【0140】
(a4〜a5の方位角)
a4〜a5の方位角の範囲では、予測距離画像の距離値dp(θ,γ)は環境Kの壁部分のものである。又、一方、移動後の全方位距離画像の距離値dg(θ,γ)も同じ環境Kの壁部分のものである。このため、式(16)を算出すると、生成する差分画像の距離値dδ(θ,γ)=0となる。この結果、方位角a4〜a5の範囲では、式(17)の算出結果は、「0」となる。
【0141】
(a6〜a7の方位角)
a6〜a7の方位角の範囲では、予測距離画像の距離値dp(θ,γ)は環境Kの壁部分のものであり、一方、移動後の全方位距離画像の距離値dg(θ,γ)は動物体20(移動後)の円弧部分のものである。このため、式(16)を算出すると、生成する差分画像の距離値dδ(θ,γ)>0(=Th)となる。又、この方位角a6〜a7は、O(θ,γ)=0、すなわち、オクルージョン領域でない。この結果、方位角a6〜a7の範囲は、式(17)の算出結果は、「1」、すなわち正となる。
【0142】
(a8〜a9の方位角)
a8〜a9の方位角の範囲では、予測距離画像の距離値dp(θ,γ)は環境Kの壁部分のものである。又、一方、移動後の全方位距離画像の距離値dg(θ,γ)も同じ環境Kの壁部分のものである。このため、式(16)を算出すると、生成する差分画像の距離値dδ(θ,γ)=0となる。この結果、方位角a8〜a9の範囲では、式(17)の算出結果は、「0」となる。
【0143】
上記のように、差分画像において、アクティブセンサ11に近い位置へ変化した領域は、「正」の領域となり、一方、遠い位置へ変化した領域は「負」の領域で現れる。どちらの領域においても、移動後に得られる距離画像から、動物体20を抽出したことになる。すなわち、「正」の領域は、動物体20の移動後を抽出したことになり、「負」の領域は、動物体20の移動前を抽出したことになる。
【0144】
なお、オクルージョン領域を考慮しない場合、動物体20が移動後に現れるオクルージョン領域(先の例では、a3〜a4の方位角の領域)も動物体と検出してしまうことになる。しかし、S30において、オクルージョン領域を推定し、推定したオクルージョン領域を式(17)にて除外して区別しているため、動物体領域のみを検出できる。
【0145】
2. 具体例2
次に図21及び図22で示す具体例2を参照して、式(17)の判定値の設定について説明する。具体例2は、アクティブセンサ11と、動物体20とが、同一線上において、互いに接近移動するときの例である。
【0146】
なお、この例では、S30ではオクルージョン領域は、下記のように推定されている。図22では、ジャンプエッジの画素に対応する部分を(θ1,γ1,ds(θ1,γ1))で示しており、その画素から最も遠い画素に相当する部位を(θ2,γ2,ds(θ2,γ2))で示す。
【0147】
この場合、式(14)により、アクティブセンサ11の移動により、
1,γ1,ds(θ1,γ1)) → (θ1’,γ1’,dp(θ1’,γ1’))
2,γ2,ds(θ2,γ2)) → (θ2’,γ2’,dp(θ2’,γ2’))
のように変換されている。なお、説明の便宜上、仰角γは0としている。
【0148】
そして、この場合、図22に示すように、θ1>θ2であり、かつ、θ2’>θ1’であるため、式(15)により、オクルージョン区間Iθは空集合となり、オクルージョン領域Oc(θ,γ)=0、すなわち、オクルージョン領域はないとされている。なお、図22では、ジャンプエッジは、動物体20の右側の部分としたが、左側にもジャンプエッジが存在する。しかし、前述した同じ理由により、こちらの側もオクルージョン領域はないとされる。
【0149】
次に、S40における処理を説明する。
図21は、アクティブセンサ11の移動前後の位置と、動物体20の移動前後の位置をそれぞれ示している。なお、説明の便宜上、以下は、アクティブセンサ11において、仰角γ=0における画素を前提として説明する。又、閾値Thを0とする。同図中、動物体20、及びアクティブセンサ11が移動後に実際に取得した全方位距離画像は、a1〜a2〜a3〜a4間の動物体20(移動後)の円弧部分,a4〜a1間の環境Kの壁を含んでいる。
【0150】
又、S20で算出した予測距離画像は、a1〜a2間の環境Kの壁、a2〜a3間の動物体20(移動前)の円弧部分、a3〜a4〜a1の環境Kの壁を含んでいる。
【0151】
(a1〜a2の方位角)
さて、a1〜a2の方位角の範囲では、予測距離画像の距離値dp(θ,γ)は環境Kの壁部分のものであり、一方、移動後の全方位距離画像の距離値dg(θ,γ)は動物体20(移動後)の円弧部分のものである。従って、予測距離画像の距離値dp(θ,γ)の方が、移動後の全方位距離画像の距離値dg(θ,γ)のよりも大きくなる。このため、式(16)を算出すると、生成する差分画像の距離値dδ(θ,γ)>0(=Th)となる。又、この方位角a1〜a2は、O(θ,γ)=0、すなわち、オクルージョン領域でない。この結果、方位角a1〜a2の範囲では、式(17)の算出結果は、「1」、すなわち正となる。なお、図21では、式(17)の算出結果を括弧書で示している。
【0152】
(a2〜a3の方位角)
a2〜a3の方位角の範囲では、予測距離画像の距離値dp(θ,γ)は移動前の動物体20の円弧部分のものである。一方、移動後の全方位距離画像の距離値dg(θ,γ)はアクティブセンサ11に接近移動後の動物体20の円弧部分のものである。このため、距離値dp(θ,γ)>距離値dg(θ,γ)となり、式(16)を算出すると、生成する差分画像の距離値dδ(θ,γ)>0(=Th)となる。又、この方位角a2〜a3は、O(θ,γ)=0、すなわち、オクルージョン領域でない。この結果、方位角a2〜a3の範囲では、式(17)の算出結果は、「1」、すなわち正となる。
【0153】
(a3〜a4の方位角)
a3〜a4の方位角の範囲では、a1〜a2と同じ理由により、式(17)の算出結果は、「1」、すなわち正となる。
【0154】
(a4〜a1の方位角)
a4〜a1の方位角の範囲では、予測距離画像の距離値dp(θ,γ)及び移動後の全方位距離画像の距離値dg(θ,γ)は同じ環境Kの壁部分のものである。このため、式(16)を算出すると、生成する差分画像の距離値dδ(θ,γ)=0となる。この結果、方位角a4〜a1の範囲では、式(17)の算出結果は、「0」となる。
【0155】
このように、差分画像において、アクティブセンサ11に近い位置へ変化した領域は、「正」の領域となり、移動後に得られる距離画像から、動物体20を抽出したことになる。すなわち、「正」の領域は、動物体20の移動後を抽出したことになる。
【0156】
3. 具体例3
次に図23で示す具体例3を参照して、式(17)の判定値の設定について説明する。具体例3は、アクティブセンサ11と、動物体20とが、同一線上において、同方向に移動するときの例である。この場合、具体例2と同じ理由で、S30では、オクルージョン領域はないとされる。
【0157】
S40における処理を説明する。
図23は、アクティブセンサ11の移動前後の位置と、動物体20の移動前後の位置をそれぞれ示している。なお、説明の便宜上、以下は、アクティブセンサ11において、仰角γ=0における画素を前提として説明する。又、閾値Thを0とする。同図中、動物体20、及びアクティブセンサ11が移動後に実際に取得した全方位距離画像は、a1〜a2間の環境Kの壁、a2〜a3間の動物体20(移動後)の円弧部分,a3〜a4〜a1の環境Kの壁を含んでいる。
【0158】
又、S20で算出した予測距離画像は、a1〜a2間の動物体20(移動前)の円弧部分、a2〜a3間の動物体20(移動前)の円弧部分、a3〜a4間の動物体20(移動前)の円弧部分、a4〜a1の環境Kの壁を含んでいる。
【0159】
(a1〜a2の方位角)
a1〜a2の方位角の範囲では、予測距離画像の距離値dp(θ,γ)は動物体20(移動前)の円弧部分のものであり、一方、移動後の全方位距離画像の距離値dg(θ,γ)は環境Kの壁のものである。従って、予測距離画像の距離値dp(θ,γ)の方が、移動後の全方位距離画像の距離値dg(θ,γ)のよりも小さくなる。このため、式(16)を算出すると、生成する差分画像の距離値dδ(θ,γ)<0(=−Th)となる。又、この方位角a1〜a2は、O(θ,γ)=0、すなわち、オクルージョン領域でない。この結果、方位角a1〜a2の範囲では、式(17)の算出結果は、「−1」、すなわち負となる。なお、図23では、式(17)の算出結果を括弧書で示している。
【0160】
(a2〜a3の方位角)
a2〜a3の方位角の範囲では、予測距離画像の距離値dp(θ,γ)は移動前の動物体20の円弧部分のものである。一方、移動後の全方位距離画像の距離値dg(θ,γ)はアクティブセンサ11から離間移動後の動物体20の円弧部分のものである。このため、距離値dp(θ,γ)<距離値dg(θ,γ)となり、式(16)を算出すると、生成する差分画像の距離値dδ(θ,γ)<0(=−Th)となる。又、この方位角a2〜a3は、O(θ,γ)=0、すなわち、オクルージョン領域でない。
【0161】
この結果、方位角a2〜a3の範囲では、式(17)の算出結果は、「−1」、すなわち負となる。
(a3〜a4の方位角)
a3〜a4の方位角の範囲では、a1〜a2と同じ理由により、式(17)の算出結果は、「−1」、すなわち負となる。
【0162】
(a4〜a1の方位角)
a4〜a1の方位角の範囲では、予測距離画像の距離値dp(θ,γ)及び移動後の全方位距離画像の距離値dg(θ,γ)は同じ環境Kの壁部分のものである。このため、式(16)を算出すると、生成する差分画像の距離値dδ(θ,γ)=0となる。この結果、方位角a4〜a1の範囲では、式(17)の算出結果は、「0」となる。
【0163】
このように、差分画像において、アクティブセンサ11から遠い位置へ変化した領域は、「負」の領域となり、移動後に得られる距離画像から、動物体20を抽出したことになる。すなわち、「負」の領域は、動物体20の移動前を抽出したことになる。
【0164】
アクティブセンサ11と動物体20とが同一直線上において、移動する場合、具体例2及び具体例3以外に、互いに離間する方向に移動する場合や、具体例3とは180度反対向きに、アクティブセンサ11と動物体20が移動する場合もある。これらの場合も、同様に、動物体20の領域が「正」又は「負」となり、抽出される。
【0165】
さて具体例の説明を終了して、フローチャートの説明に戻る。
S40では、前述のように処理した後、3値画像に対して、ノイズ除去処理を行い、S40の処理を終了する。なお、ノイズ除去処理は、例えば、画素数(ピクセル数)が所定閾値以下のものを、ノイズとして除去する処理である。
【0166】
本実施形態によれば、下記に示す効果を有する。
(1) 本実施形態のアクティブセンサ11の動物体検出装置では、コンピュータ16(相対移動量推定手段)は、アクティブセンサ11の移動前と移動後の、移動方向、移動距離、回転量を含む相対移動量を推定するようにした。又。コンピュータ16(予測距離画像生成手段)は、移動前に取得した全方位距離画像と、前記推定した相対移動量に基づいて、移動後の予測距離画像を推定して生成するようにした。さらに、コンピュータ16(オクルージョン領域推定手段)は、アクティブセンサ11が移動することにより、前記予測距離画像に生ずるオクルージョン領域を推定するようにした。そして、コンピュータ16(動物体領域抽出手段)は、前記予測距離画像と、移動後にアクティブセンサ11が取得した全方位距離画像との差分画像を生成する際に、前記オクルージョン領域を取り除き、動物体領域を抽出するようにした。
【0167】
又、本実施形態のアクティブセンサの動物体検出プログラムは、コンピュータ16を上記各手段として機能させるようにした。
又、アクティブセンサ11の動物体検出方法は、第1ステップとして、アクティブセンサ11の移動前後の、移動方向、移動距離、回転量を含む相対移動量を推定するようにした。又、第2ステップとして、移動前に取得した全方位距離画像と、前記第1ステップにて推定した相対移動量に基づいて、移動後の予測距離画像を推定して生成するようにした。さらに、第3ステップとして、アクティブセンサ11が移動することにより、前記予測距離画像に生ずるオクルージョン領域を推定するようにした。又、第4ステップとして、前記予測距離画像と、移動後にアクティブセンサ11が取得した全方位距離画像との差分画像を生成する際に、前記オクルージョン領域を取り除き、動物体領域を抽出するようにした。
【0168】
この結果、観測系が移動することにより生ずる動物体以外の環境の「見かけの変化」と、人物等の動物体による環境変化を容易に区別して動物体の検出を容易にでき、オクルージョン領域を推定して除去することにより、より正確に動物体による環境変化のみを検出することができる効果を奏する。
【0169】
(2) 本実施形態では、コンピュータ16は、移動前の全方位距離画像のジャンプエッジ画素と、同画素の4−近傍(所定範囲内)に位置する画素の中で、アクティブセンサ11から最も遠い距離値を有する対比対象画素について、相対移動量に基づき、それぞれ移動後の推定方位角、及び推定仰角を求めた。そして、コンピュータ16は、ジャンプエッジ画素と対比対象画素のそれぞれの推定方位角の区間、及び推定仰角の範囲を、前記予測距離画像における前記オクルージョン領域のオクルージョン区間であると推定するようにした。
【0170】
又、本実施形態のアクティブセンサの動物体検出プログラムは、コンピュータ16を上記手段として機能させるようにした。
又、本実施形態では、第3ステップとして、移動前の全方位距離画像のジャンプエッジ画素と、同画素の4−近傍(所定範囲内)に位置する画素の中で、アクティブセンサ11から最も遠い距離値を有する対比対象画素について、相対移動量に基づき、それぞれ移動後の推定方位角、及び推定仰角を求めた。そして、第3ステップでは、ジャンプエッジ画素と対比対象画素のそれぞれの推定方位角の区間、及び推定仰角の範囲を、前記予測距離画像における前記オクルージョン領域のオクルージョン区間であると推定するようにした。
【0171】
この結果、オクルージョン領域を推定するためのオクルージョン区間を、容易に決定できる。
(3) 本実施形態では、コンピュータ16は、オクルージョン領域推定手段として、判定対象画素の仰角が、ジャンプエッジ画素の推定仰角に一致し、かつ、判定対象画素の方位角が推定方位角で定めたオクルージョン区間内にあるときは、判定対象画素を、オクルージョン領域内にあると判定するようにした。
【0172】
又、本実施形態のアクティブセンサの動物体検出プログラムは、コンピュータ16を上記手段として機能させるようにした。
又、本実施形態では、第3ステップとして、判定対象画素の仰角が、ジャンプエッジ画素の推定仰角に一致し、かつ、判定対象画素の方位角が推定方位角で定めたオクルージョン区間内にあるとき(条件1)は、判定対象画素は、オクルージョン領域内にあると判定するようにした。
【0173】
この結果、条件1が成立したときに、オクルージョン領域の推定を容易にできる。
(4) 又、コンピュータ16は、オクルージョン領域推定手段として、判定対象画素の方位角が、ジャンプエッジ画素の推定方位角に一致し、かつ、判定対象画素の仰角が推定仰角で定めたオクルージョン区間内にあるとき(条件2)は、判定対象画素をオクルージョン領域内にあると判定するようにした。
【0174】
又、本実施形態のアクティブセンサの動物体検出プログラムは、コンピュータ16を上記手段として機能させるようにした。
又、第3ステップとして、判定対象画素の方位角が、ジャンプエッジ画素の推定方位角に一致し、かつ、判定対象画素の仰角が推定仰角で定めたオクルージョン区間内にあるとき(条件2)は、判定対象画素をオクルージョン領域内にあると判定するようにした。
【0175】
この結果、条件2が成立したときに、オクルージョン領域の推定を容易にできる。
(5) 本実施形態では、コンピュータ16は、動物体領域抽出手段として、差分画像を生成する際に、各画素の距離値の差に基づいて、正及び負の符号判定を行い、この正又は負の符号判定に基づいて、動物体領域抽出を行う。
【0176】
又、本実施形態のアクティブセンサの動物体検出プログラムは、コンピュータ16を上記手段として機能させるようにした。
又、第4ステップとして、差分画像を生成する際に、各画素の距離値の差に基づいて、正及び負の符号判定を行い、この正及び負の符号判定に基づいて、動物体領域抽出を行う。
【0177】
この結果、正及び負の符号判定を行うことにより、移動前と移動後の両方の動物体領域抽出を容易に行うことができる。
(実験例)
図24〜図31は、実験室において、アクティブセンサ11は、人物が位置する方向に向かって移動するとともに、動物体としての人物が実験室の壁側に向かって移動する前後の画像を取得し画像処理した結果を示している。なお、各図において、横軸は、方位角θ(0<θ<360度)であり、縦軸は、仰角γ(−3/3<γ<π/3)の範囲を対象として図示している。
【0178】
図24は「移動前」、図25は「移動後」のもので、両図は、距離画像ではなく、全方位のカラー画像で取得したものを説明の便宜上、白黒の濃淡画像で示している。図26は図24に対応した全方位距離画像、図27は、図25に対応した距離画像である。
【0179】
そして、得られた相対移動量を用いて、図26から生成した予測距離画像を図28に、推定したオクルージョン領域を、図29に示している。図30は、図28の予測距離画像と移動後取得した全方位距離画像(図27)の差分をとり、距離値が「正」であった領域を白、「負」であった領域をグレーで示している。ここでは、グレーで示された領域は、アクティブセンサ11が移動前存在していたものが、移動後なくなっていることを示している。又、白で示す領域は、アクティブセンサ11が移動前なかったものが、移動後現れた領域を示している。図28において、人物像の右側輪郭に沿って現れている黒い領域は、オクルージョン領域推定に相当する。この領域は、図29で示す、推定したオクルージョン領域にて取り除き、移動後現れた領域のみを図31に示す。
【0180】
このように、オクルージョン領域を考慮することにより、動物体を精度良く検出できている。
なお、本発明の実施形態は上記実施形態に限定されるものではなく、発明の趣旨を逸脱しない範囲で、適宜に変更して次のように実施することもできる。
【0181】
(1) 前記実施形態では、アクティブセンサ11として、「”実環境センシングのための全方位ステレオシステム(SOS)”、電気学会論文誌C.Vol.121-C,No.5,pp.876-881.2001」に記載されているものを使用した。これに限らず、他の全方位カメラから得られた全方位距離画像を入力するようにしてもよい。
【0182】
(2) 前記実施形態では、コンピュータ16は、動物体領域抽出手段として、差分画像を生成する際に、各画素の距離値の差に基づいて、正及び負の符号判定を行い、この正及び負の符号判定に基づいて、動物体領域抽出を行った。
【0183】
これに代えて、コンピュータ16は、動物体領域抽出手段として、差分画像を生成する際に、各画素の距離値の差に基づいて、正又は負のいずれかの符号判定を行い、この正又は負のいずれかの符号判定に基づいて、動物体領域抽出を行うようにしてもよい。
【0184】
この場合、移動前、或いは、移動後の動物体領域抽出を行うことができる。
(3) 前記実施形態では、S30において、移動前において取得した全方位距離画像におけるジャンプエッジの画素(ピクセル)を、(θ1,γ1,ds(θ1,γ1))とする。そして、画素(θ1,γ1,ds(θ1,γ1))の所定範囲内としての4−近傍にある距離値ds(θ1,γ1)より最も遠い距離値を有する画素を(θ2,γ2,ds(θ2,γ2))とした。そして、「所定値」とは、最も遠い距離値を意味するようにしたが、これに限定するものではない。
【0185】
例えば、動物体の移動速度と、アクティブセンサの移動速度が予め分かっており、両者の移動範囲が分かっている場合には、ジャンプエッジと4−近傍にある画素との距離値がとりうる範囲を予め予測できる。この場合には、予測できる距離値の範囲の中で、所定値として予め定数を決定しておき、距離値がこの定数以上の複数の画素を対比対象画素としてもよい。
【0186】
(4) 前記実施形態では、ジャンプエッジ画素に対する所定範囲内として4−近傍としたが、8−近傍や16−近傍等であってもよい。 (5) 前記実施形態では、式(15)において、予測距離画像における判定対象画素の仰角γが、推定仰角γ1’に一致し、予測距離画像における判定対象画素の方位角θがオクルージョン区間Iθ内にあるときは、O(θ,γ)=1とする。すなわち、判定対象画素はオクルージョン領域内にあると判定した。又、予測距離画像における判定対象画素の方位角θが推定方位角θ1’に一致し、判定対象画素の仰角γがオクルージョン区間Iγ内にあるときは、O(θ,γ)=1とする。すなわち、判定対象画素はオクルージョン領域内にあると判定した。そうでない場合には、O(θ,γ)=0とした。
【0187】
これに代えて、上記(3)の場合のように、対比対象画素が複数になった場合、前記複数の対比対象画素で囲まれる範囲をオクルージョン領域として判定してもよい。
【0188】
【発明の効果】
以上詳述したように請求項1乃至請求項10に記載の発明によれば、観測系が移動することにより生ずる動物体以外の環境の「見かけの変化」と、人物等の動物体による環境変化を容易に区別して動物体の検出を容易にできる。そして、オクルージョン領域を推定して除去することにより、より正確に動物体による環境変化のみを検出することができる効果を奏する。
【0189】
請求項11乃至請求項15の発明によれば、アクティブセンサの動物体検出方法及び動物体検出装置を容易に実現できる動物体検出プログラムを提供できる。
【図面の簡単な説明】
【図1】 アクティブセンサ11の電気的構成のブロック図。
【図2】 アクティブセンサ11の機械的構成の概略図。
【図3】 (a)〜(c)はコンピュータ16が実行する位置・姿勢推定プログラムのフローチャート。
【図4】 図5に対応するパノラマエッジ画像の説明図。
【図5】 エッジヒストグラムの例を示す説明図。
【図6】 アクティブセンサ11の平行移動におけるエッジヒストグラムのシフトを説明するための説明図。
【図7】 (a)はアクティブセンサ11を中心にした円筒座標系の説明図、(b)は、アクティブセンサ11を中心にした四角筒座標系の説明図、(c)は、異なる空間系にエッジを写像したときの、ヒストグラムのシフトとsin曲線を表した説明図。
【図8】 アクティブセンサ11の2つの地点における全方位エッジヒストグラムのマッチングコストマトリクスC(s,i)の説明図。
【図9】 総合シフト量から回転量sφと移動方向ωを求める方法の説明図。
【図10】 床平面投影ヒストグラムの説明図。
【図11】 本実施形態において、ρ−θ表面上で複数の候補点の各々に退位する直線群を示した図。
【図12】 ドミナント射影方向のヒストグラム。
【図13】 図12とは異なるドミナント射影方向のヒストグラム。
【図14】ハフ変換の説明図。
【図15】ρ−θ表面上で、ある点を通る直線群を示した図。
【図16】ρ−θ表面上で複数の候補点の各々に退位する直線群を示した図。
【図17】仰角γの説明図。
【図18】距離値の説明図。
【図19】オクルージョン領域の説明図。
【図20】具体例1の式(17)の判定値の設定の説明図。
【図21】具体例2の式(17)の判定値の設定の説明図。
【図22】同じく具体例2のジャンプエッジの画素に関する説明図。
【図23】具体例3の式(17)の判定値の設定の説明図。
【図24】 アクティブセンサ11の「移動前」における白黒の濃淡画像。
【図25】 アクティブセンサ11の「移動後」における白黒の濃淡画像。
【図26】図24に対応した全方位距離画像。
【図27】図25に対応した距離画像。
【図28】予測距離画像。
【図29】推定して生成されたオクルージョン領域を示す画像。
【図30】差分画像。
【図31】動物体移動後の動体検出された画像。
【符号の説明】
11…アクティブセンサ
12…ステレオユニット
16…コンピュータ(相対移動量推定手段、予測距離画像生成手段、オクルージョン領域推定手段、及び動物体領域抽出手段)

Claims (15)

  1. 全方位距離画像を取得可能であり、環境内を移動可能なアクティブセンサの動物体検出装置において、
    前記アクティブセンサの移動前と移動後の、移動方向、移動距離、回転量を含む相対移動量を推定する相対移動量推定手段と、
    移動前に取得した全方位距離画像と、前記相対移動量推定手段にて推定した相対移動量に基づいて、移動後の全方位距離画像(以下、予測距離画像という)を推定して生成する予測距離画像生成手段と、
    前記アクティブセンサが移動することにより、前記予測距離画像に生ずるオクルージョン領域を推定するオクルージョン領域推定手段と、
    前記予測距離画像と、移動後にアクティブセンサが取得した全方位距離画像との差分画像を生成する際に、前記オクルージョン領域を取り除き、動物体領域を抽出する動物体領域抽出手段とを備えたことを特徴とするアクティブセンサの動物体検出装置。
  2. 前記オクルージョン領域推定手段は、
    移動前に取得した全方位距離画像のジャンプエッジの画素(以下、ジャンプエッジ画素という)と、同画素の所定範囲内に位置する画素の中で、アクティブセンサから所定値以上の距離値を有する画素(以下、対比対象画素という)について、前記相対移動量に基づき、それぞれ移動後の推定方位角、及び推定仰角を求め、
    前記ジャンプエッジ画素と対比対象画素のそれぞれの推定方位角の区間、及び推定仰角の範囲を、前記予測距離画像における前記オクルージョン領域のオクルージョン区間であると推定することを特徴とする請求項1に記載のアクティブセンサの動物体検出装置。
  3. 前記オクルージョン領域推定手段は、
    前記予測距離画像における判定対象画素を、前記オクルージョン領域にあるか否かを判定する際に、前記判定対象画素の仰角が、前記ジャンプエッジ画素の推定仰角に一致し、かつ、前記判定対象画素の方位角が前記推定方位角で定めたオクルージョン区間内にあるときは、前記判定対象画素は、オクルージョン領域内にあると判定することを特徴とする請求項2に記載のアクティブセンサの動物体検出装置。
  4. 前記オクルージョン領域推定手段は、
    前記予測距離画像における判定対象画素を、前記オクルージョン領域にあるか否かを判定する際に、前記判定対象画素の方位角が、前記ジャンプエッジ画素の推定方位角に一致し、かつ、前記判定対象画素の仰角が前記推定仰角で定めたオクルージョン区間内にあるときは、前記判定対象画素は、オクルージョン領域内にあると判定することを特徴とする請求項2に記載のアクティブセンサの動物体検出装置。
  5. 前記動物体領域抽出手段は、
    前記差分画像を生成する際に、各画素の距離値の差に基づいて、動物体領抽出を行うことを特徴とする請求項1乃至請求項4のうちいずれか1項に記載のアクティブセンサの動物体検出装置。
  6. 全方位距離画像を取得可能であり、環境内を移動可能なアクティブセンサの動物体検出方法において、
    前記アクティブセンサの移動前と移動後の、移動方向、移動距離、回転量を含む相対移動量を推定する第1ステップと、
    移動前に取得した全方位距離画像と、前記第1ステップにて推定した相対移動量に基づいて、移動後の全方位距離画像(以下、予測距離画像という)を推定して生成する第2ステップと、
    前記アクティブセンサが移動することにより、前記予測距離画像に生ずるオクルージョン領域を推定する第3ステップと、
    前記予測距離画像と、移動後にアクティブセンサが取得した全方位距離画像との差分画像を生成する際に、前記オクルージョン領域を取り除き、動物体領域を抽出する第4ステップを含むことを特徴とするアクティブセンサの動物体検出方法。
  7. 前記第3ステップは、
    移動前に取得した全方位距離画像のジャンプエッジの画素(以下、ジャンプエッジ画素という)と、同画素の所定範囲内に位置する画素の中で、アクティブセンサから所定値以上の距離値を有する画素(以下、対比対象画素という)について、前記相対移動量に基づき、それぞれ移動後の推定方位角、及び推定仰角を求め、
    前記ジャンプエッジ画素と対比対象画素のそれぞれの推定方位角の区間、及び推定仰角の範囲を、前記予測距離画像における前記オクルージョン領域のオクルージョン区間であると推定することを含むことを特徴とする請求項6に記載のアクティブセンサの動物体検出方法。
  8. 前記第3ステップは、
    前記予測距離画像における判定対象画素を、前記オクルージョン領域にあるか否かを判定する際に、前記判定対象画素の仰角が、前記ジャンプエッジ画素の推定仰角に一致し、かつ、前記判定対象画素の方位角が前記推定方位角で定めたオクルージョン区間内にあるときは、前記判定対象画素は、オクルージョン領域内にあると判定することを特徴とする請求項7に記載のアクティブセンサの動物体検出方法。
  9. 前記第3ステップは、
    前記予測距離画像における判定対象画素を、前記オクルージョン領域にあるか否かを判定する際に、前記判定対象画素の方位角が、前記ジャンプエッジ画素の推定方位角に一致し、かつ、前記判定対象画素の仰角が前記推定仰角で定めたオクルージョン区間内にあるときは、前記判定対象画素は、オクルージョン領域内にあると判定することを特徴とする請求項7に記載のアクティブセンサの動物体検出方法。
  10. 前記第4ステップは、
    前記差分画像を生成する際に、各画素の距離値の差に基づいて、動物体領域抽出を行うことを特徴とする請求項6乃至請求項9のうちいずれか1項に記載のアクティブセンサの動物体検出方法。
  11. コンピュータを、
    アクティブセンサの移動前と移動後の、移動方向、移動距離、回転量を含む相対移動量を推定する相対移動量推定手段と、
    移動前に取得した全方位距離画像と、前記相対移動量推定手段にて推定した相対移動量に基づいて、移動後の全方位距離画像(以下、予測距離画像という)を推定して生成する予測距離画像生成手段と、
    前記アクティブセンサが移動することにより、前記予測距離画像に生ずるオクルージョン領域を推定するオクルージョン領域推定手段と、
    前記予測距離画像と、移動後にアクティブセンサが取得した全方位距離画像との差分画像を生成する際に、前記オクルージョン領域を取り除き、動物体領域を抽出する動物体領域抽出手段として、機能させることを特徴とするアクティブセンサの動物体検出プログラム。
  12. 請求項11において、
    さらに、コンピュータを、
    前記オクルージョン領域推定手段として、
    移動前に取得した全方位距離画像のジャンプエッジの画素(以下、ジャンプエッジ画素という)と、同画素の所定範囲内に位置する画素の中で、アクティブセンサから所定値以上の距離値を有する画素(以下、対比対象画素という)について、前記相対移動量に基づき、それぞれ移動後の推定方位角、及び推定仰角を求め、
    前記ジャンプエッジ画素と対比対象画素のそれぞれの推定方位角の区間、及び推定仰角の範囲を、前記予測距離画像における前記オクルージョン領域のオクルージョン区間であると推定するように機能させることを特徴とするアクティブセンサの動物体検出プログラム。
  13. 請求項12において、
    さらに、コンピュータを、
    前記オクルージョン領域推定手段として、
    前記予測距離画像における判定対象画素を、前記オクルージョン領域にあるか否かを判定する際に、前記判定対象画素の仰角が、前記ジャンプエッジ画素の推定仰角に一致し、かつ、前記判定対象画素の方位角が前記推定方位角で定めたオクルージョン区間内にあるときは、前記判定対象画素は、オクルージョン領域内にあると判定するように機能させることを特徴とするアクティブセンサの動物体検出プログラム。
  14. 請求項12において、
    さらに、コンピュータを、
    前記オクルージョン領域推定手段として、
    前記予測距離画像における判定対象画素を、前記オクルージョン領域にあるか否かを判定する際に、前記判定対象画素の方位角が、前記ジャンプエッジ画素の推定方位角に一致し、かつ、前記判定対象画素の仰角が前記推定仰角で定めたオクルージョン区間内にあるときは、前記判定対象画素は、オクルージョン領域内にあると判定するように機能させることを特徴とするアクティブセンサの動物体検出プログラム。
  15. 請求項11乃至請求項14のうちいずれか1項において、
    さらに、コンピュータを
    前記動物体領域抽出手段として、
    前記差分画像を生成する際に、各画素の距離値の差に基づいて、動物体領域抽出を行うことを特徴とするアクティブセンサの動物体検出プログラム。
JP2003162834A 2003-06-06 2003-06-06 アクティブセンサの動物体検出装置及び動物体検出方法、並びに動物体検出プログラム Expired - Fee Related JP4316936B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003162834A JP4316936B2 (ja) 2003-06-06 2003-06-06 アクティブセンサの動物体検出装置及び動物体検出方法、並びに動物体検出プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003162834A JP4316936B2 (ja) 2003-06-06 2003-06-06 アクティブセンサの動物体検出装置及び動物体検出方法、並びに動物体検出プログラム

Publications (2)

Publication Number Publication Date
JP2004362469A JP2004362469A (ja) 2004-12-24
JP4316936B2 true JP4316936B2 (ja) 2009-08-19

Family

ID=34054864

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003162834A Expired - Fee Related JP4316936B2 (ja) 2003-06-06 2003-06-06 アクティブセンサの動物体検出装置及び動物体検出方法、並びに動物体検出プログラム

Country Status (1)

Country Link
JP (1) JP4316936B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5302730B2 (ja) * 2009-03-25 2013-10-02 トヨタ自動車株式会社 運転者監視装置
JP5051670B2 (ja) * 2010-02-15 2012-10-17 Necシステムテクノロジー株式会社 画像処理装置、画像処理方法および画像処理プログラム
US11300663B2 (en) 2016-03-31 2022-04-12 Nec Corporation Method for predicting a motion of an object
US20190188631A1 (en) * 2017-12-20 2019-06-20 Tyco Fire & Security Gmbh Systems and methods for multi-sensor tag sale optimization
JP7217741B2 (ja) * 2018-04-05 2023-02-03 株式会社小糸製作所 演算処理装置、オブジェクト識別システム、オブジェクト識別方法、自動車、車両用灯具
CN115096241B (zh) * 2022-07-27 2023-11-10 无锡苏广汽车部件科技有限公司 一种汽车部件快速智能检测方法及其检测系统

Also Published As

Publication number Publication date
JP2004362469A (ja) 2004-12-24

Similar Documents

Publication Publication Date Title
US10133279B2 (en) Apparatus of updating key frame of mobile robot and method thereof
JP5328979B2 (ja) 物体認識方法、物体認識装置、自律移動ロボット
EP3084719B1 (en) Slam on a mobile device
KR101784183B1 (ko) ADoG 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
Schoenberg et al. Segmentation of dense range information in complex urban scenes
US8824775B2 (en) Robot and control method thereof
CN108481327B (zh) 一种增强视觉的定位装置、定位方法及机器人
KR20150144731A (ko) 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
WO2014114923A1 (en) A method of detecting structural parts of a scene
WO2008079541A9 (en) Human pose estimation and tracking using label
US20140226895A1 (en) Feature Point Based Robust Three-Dimensional Rigid Body Registration
EP2610783B1 (en) Object recognition method using an object descriptor
Maier et al. Vision-based humanoid navigation using self-supervised obstacle detection
KR101478709B1 (ko) Rgb-d 영상 특징점 추출 및 특징 기술자 생성 방법 및 장치
US11729367B2 (en) Wide viewing angle stereo camera apparatus and depth image processing method using the same
EP3639192A1 (en) Computer vision-based thin object detection
JP6130325B2 (ja) 道路環境認識装置
CN113267761A (zh) 激光雷达目标检测识别方法、系统及计算机可读存储介质
JP6410231B2 (ja) 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム
Zhou et al. Online multiple targets detection and tracking from mobile robot in cluttered indoor environments with depth camera
JP4316936B2 (ja) アクティブセンサの動物体検出装置及び動物体検出方法、並びに動物体検出プログラム
Zhang et al. Real-time obstacle detection based on stereo vision for automotive applications
JP6886136B2 (ja) 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム
US20200003574A1 (en) Method and device for fast detection of repetitive structures in the image of a road scene
Onoguchi et al. Planar projection stereopsis method for road extraction

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060605

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090408

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090421

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090521

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120529

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees