JP4660569B2 - 物体検出装置及び物体検出方法 - Google Patents

Description

本発明は、物体を検出する物体検出装置及び物体検出方法に関する。

ロボット等の移動体にとって、安全な走行を行うために周囲の物体（障害物）を検出して、検出した物体が動物体であるか、静止物体であるかに応じた回避動作を行うことは重要である。そこで従来から移動体の移動情報と距離測定センサを用いて、過去の画像から現在の画像を推定し、推定された画像と現在の画像との差分を取ることで物体を検出する手法が開発されている。しかしながら、画像全体の推定画像を作成するため、画像中の物体までの距離を測定するセンサが必要となる。

距離を測定するセンサを用いない手法としては、特許文献１のように、カメラ画像から地面に対してだけ距離を正確に測ることができる鳥瞰図を作成し、過去の鳥瞰図の路面際線が、現在の鳥瞰図の路面際線と一致するよう画像変換するものがある。そして、路面際線の不一致点を物体として検出する。

しかしながら、特許文献１では、路面際線が実際に路面上の線であるか否かを判断する手法は検討されていない。又、現在と過去の画像で路面際線が対応することを前提としており、路面上に動物体が多く存在する場合は使用できない。又、動物体が少ない場合でも、画像全体で差分をとるため、動物体が過去に存在した位置にも虚像ができ、誤作動につながる上、動物体と静止物体とを識別できない。
特開２００６−２６８０７６号公報

本発明の目的は、距離を測定するセンサを用いることなく、精度良く物体を検出可能な物体検出装置及び物体検出方法を提供することである。

本願発明の一態様によれば、（イ）撮像装置が撮像した画像に含まれる画素から地面と該地面上に配置された物体界面との接点の候補点を検出する候補点検出部と、（ロ）候補点を検出するために用いる探索閾値を記憶する探索閾値記憶部と、（ハ）候補点の位置をトラッキングし、撮像装置が撮像した第１及び第２の時刻における候補点の位置をそれぞれ算出するトラッキング部と、（ニ）第１の時刻における候補点の位置に、第１の時刻から第２の時刻までの撮像装置の移動量を合算することにより第２の時刻における推定位置を算出し、該推定位置と、トラッキングによる第２の時刻における候補点の位置との差分を算出する差分算出部と、（ホ）候補点の状態を記憶する候補点状態記憶部と、（ヘ）状態を判定するための状態判定閾値を記憶する状態判定閾値記憶部と、（ト）差分と状態判定閾値とを比較して、第２の時刻における候補点の新たな状態を判定し、該新たな状態に応じて、探索閾値記憶部に記憶されている探索閾値又は候補点状態記憶部に記憶されている状態を変更する状態判定部とを備える物体検出装置が提供される。

本願発明の他の態様によれば、（イ）探索閾値記憶部から探索閾値を読み出し、撮像装置が撮像した画像に含まれる画素から地面と該地面上に配置された物体界面との接点の候補点を検出するステップと、（ロ）候補点の位置をトラッキングし、撮像装置が撮像した第１及び第２の時刻における候補点の位置をそれぞれ算出するステップと、（ハ）第１の時刻における候補点の位置に、第１の時刻から第２の時刻までの撮像装置の移動量を合算することにより第２の時刻における推定位置を算出し、該推定位置と、トラッキングによる第２の時刻における候補点の位置との差分を算出するステップと、（ニ）差分と状態を判定するための状態判定閾値とを比較して、第２の時刻における候補点の新たな状態を判定するステップとを含む物体検出方法が提供される。

本発明によれば、距離を測定するセンサを用いることなく、精度良く物体を検出可能な物体検出装置及び物体検出方法を提供することができる。

次に、図面を参照して、本発明の実施の形態を説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。ただし、図面は模式的なものであり、厚みと平面寸法との関係、各層の厚みの比率等は現実のものとは異なることに留意すべきである。したがって、具体的な厚みや寸法は以下の説明を参酌して判断すべきものである。又、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることはもちろんである。

又、以下に示す実施の形態は、この発明の技術的思想を具体化するための装置や方法を例示するものであって、この発明の技術的思想は、構成部品の材質、形状、構造、配置等を下記のものに特定するものでない。この発明の技術的思想は、特許請求の範囲において、種々の変更を加えることができる。

（物体検出装置）
本発明の実施の形態に係る物体検出装置は、図１に示すように、中央演算処理装置（ＣＰＵ）１と、このＣＰＵ１の動作に必要なプログラムやＣＰＵ１の演算に必要なデータ等を記録する記憶装置２と、ロボット等の移動体に搭載され画像を撮像する撮像装置３と、移動体を移動させるモータ等の駆動装置４を備える。

本発明の実施の形態に係る物体検出装置においては、撮像装置３として曲面ミラーを装着した広角カメラを使用する場合を説明するが、一方向のみを撮像する一般的なカメラを利用しても実現可能である。以下において一般的なカメラと実現方法が異なる処理については適宜説明を加える。

なお、後述する画像上の位置とは、撮像装置３にて撮像された画像における位置、すなわち画素の座標を指し、カメラ座標上の位置とは、画像から現実空間における水平方向の位置を推定するために物体検出装置が用いる仮想空間上の座標を指し、例えば画像上の位置を座標変換した後の座標を指す。

図２に、撮像装置３が撮像した画像の一例を示す。人１０２，１０３が動物体であり、机１０４及び柱１０５がそれぞれ静止物体である。画像の中心Ｃの周辺の領域１００は、鏡を用いて撮像した広角画像に存在する地面上の点を示さない画素からなる領域である。鳥瞰図作成可能領域１０１は、撮像装置３の本体やレンズの特性に基づき予め設定された中心Ｃから地平線までの領域である。

図１に示したＣＰＵ１は、撮像装置３が撮像した画像に含まれる画素から、地面（床）と地面上に配置された物体との接点（床際点）の候補点を検出する候補点検出部１１と、検出した候補点の画像上の位置を時系列にトラッキングし、第１及び第２の時刻における候補点の画像上の位置を算出するトラッキング部１２と、第１及び第２の時刻における候補点の画像上の位置を、候補点が地面の高さにあると仮定した２次元座標にそれぞれ座標変換する座標変換部１３と、座標変換した第１の時刻における候補点のカメラ座標上の位置から推定した第２の時刻における推定位置と、第２の時刻における候補点のカメラ座標上の位置との差分を算出する差分算出部１４と、差分から第２の時刻における候補点の新たな状態を判定し、新たな候補点の状態に応じて、記憶装置２の探索閾値記憶部２１に記憶されている候補点を検出するために用いる探索閾値又は記憶装置２の候補点状態記憶部２５に記憶されている状態を変更する状態判定部１５とをハードウェア資源であるモジュール（論理回路）として論理的に備えている。更に、駆動装置４を駆動し移動体の移動を制御する信号を出力する移動制御部１６をハードウェア資源であるモジュール（論理回路）として論理的に備えている。又、ＣＰＵ１には必要に応じて入力装置や出力装置等が接続されていても良い。

候補点検出部１１は、記憶装置２の探索閾値記憶部２１から探索閾値δ_θを読み出し、撮像装置３が撮像した画像において、状態判定部１５から指定された画像上の方向θの地面と物体界面との接点の候補点Ｐθの位置を検出する。方向θは一定間隔で定義される。ここではθ＝１度，２度，…，３６０度とし、１度に１個ずつ合計３６０個の候補点を検出する場合を説明するが、この値は使用するアプリケーションによって変更すれば良い。

候補点検出部１１は、図３に示すように、画像上の中心Ｃから領域１００を探索範囲から除いて遠方に向かって他の画素との輝度差を求めながら、式（１）を満たさなくなるまで、距離ｒを一定画素数ずつ伸ばしていく。

|Ｉ（ｒ＋１，θ）−Ｉ（ｒ，θ）|＜δ_θ …（１）

ここで、Ｉ（ｒ，θ）は、画像上の撮像装置３が配置された位置を原点とした画像座標系における座標（ｒｃｏｓθ，ｒｓｉｎθ）の画素値（輝度）を示す。そして、初めて式（１）を満たさなくなるときの距離ｒにある画素を候補点Ｐθとし、その距離ｒを用いて式（２）のように候補点Ｐθの位置（ｘ，ｙ）が計算される。

ｘ＝ｒｃｏｓθ，ｙ＝ｒｓｉｎθ …（２）

なお、通常のカメラを用いる場合、予めキャリブレーションしておいたパラメータを用いて方向θを算出したのち同様の処理をすれば良い。

又、上記では画素値（輝度）の差で候補点の検出を行っているが、候補点の検出方法は特に限定されず、閾値を用いて候補点を検出する手法であればよい。

又、システム起動時に初期画像が得られたときは、状態判定部１５からの方向θの指定がないので、候補点検出部１１は、撮像装置３が進む可能性があるすべての方向について、一定の探索閾値δ_θで候補点を検出する。検出した各候補点の位置を記憶装置２の候補点位置記憶部２２に登録するとともに、各候補点の状態を「まだ判定不能な点（以後、この状態を「ＮＥＷ」と呼ぶ。）」として、候補点位置記憶部２２に登録した候補点の位置と対応付けるためのＩＤとともに記憶装置２の候補点状態記憶部２５に登録する。

トラッキング部１２は、候補点検出部１１により検出された候補点の位置を、例えばＬｕｃａｓＫａｎａｄｅアルゴリズムにより時系列でトラッキングし、撮像装置３により取得された第１の時刻（過去）及び第２の時刻（現在）における画像上の候補点の画像上の位置を算出し、候補点の画像上の位置を候補点位置記憶部２２に登録する。なお、第１及び第２の時刻は任意の時刻であり特に限定されない。

座標変換部１３は、記憶装置２の座標変換テーブル記憶部２３に記憶されている座標変換テーブルを用いて、候補点位置記憶部２２に記憶されている第１の時刻における各候補点の画像上の位置と、第２の時刻における各候補点の画像上の位置を、候補点が地面の高さにあると仮定して２次元座標（撮像装置３が設置された位置を原点としたカメラ座標系）に座標変換する。

座標変換テーブルは、画像上の座標とカメラ座標系の座標との対応関係を示す表であり、撮像装置３を予めキャリブレーションし、式（３）及び（４）を用いて作成可能である。

ここで、図４に示すように、Ｘは撮影する対象の実世界（３次元）におけるＸ座標（カメラ座標）、Ｙは撮影する対象の実世界（３次元）におけるＹ座標（カメラ座標）、Ｚは撮影する対象の実世界（３次元）におけるＺ座標（カメラ座標）を示す。ｆはレンズの焦点距離、ｂ及びｃはそれぞれ使用する全方位ミラー５の形状によって決定されるパラメータ、ｘは得られた画像上における撮影対象のｘ座標（画像座標）、ｙは得られた画像上における撮影対象のｙ座標（画像座標）を示す。Ｚはカメラが設置してある高さなので、既知としてある。

なお、一般的なカメラを用いる場合には例えば透視投影の式を用いて同様に変換テーブルを作成すれば良い。

又、座標変換部１３は、鳥瞰図作成可能領域１０１の外側に存在する候補点については座標変換できないということで、座標変換した結果として「ＦＡＬＳＥ」を出力する。

図５は、撮像装置（広角カメラ）３により撮像された画像の一例を示す。図５においては、説明の便宜上、一部の候補点のみを×印で示す。上下に伸びる通路１０６のエッジに対応して検出された候補点（×印）が歪んだ並びで表現されている。図５に示した画像座標上の候補点（×印）が変換テーブルを用いてカメラ座標上に射影された鳥瞰図画像を図６に示す。図６の鳥瞰図画像上では、通路１０６のエッジに対応する候補点（×印）の並びの歪みが少なくなっている。

移動制御部１６は、駆動装置４に制御指令値を与えて移動体を移動させる。又、移動制御部１６は、エンコーダ等から得られる第１の時刻における画像取得地点から第２の時刻における画像取得地点までの移動量を差分算出部１４に出力する。

差分算出部１４は、座標変換部１３により座標変換された第１の時刻における候補点の位置に、移動制御部１６から得られる移動体の移動量を合算して、第２の時刻における候補点の推定位置（候補点が静止物体とした場合の推定位置）として算出する。更に、第２の時刻におけるカメラ座標上の候補点の推定位置と、トラッキングにより得られた第２の時刻におけるカメラ座標上の候補点のカメラ座標上の位置との距離の差分を算出する。又、差分算出部１４は、座標変換部１３により「ＦＡＬＳＥ」が出力されている場合には「ＦＡＬＳＥ」を出力する。

状態判定部１５は、差分算出部１４により算出された各候補点毎の差分、候補点状態記憶部２５に記憶されている各候補点の状態、候補点位置記憶部２２に記憶されている各候補点の位置を用いて、各候補点の状態をそれぞれ判定する。更に、状態判定部１５は、各候補点の状態の判定結果に基づき、候補点状態記憶部２５に記憶されている各候補点の状態や、探索閾値記憶部２１に記憶されている各方向の探索閾値δ_θを動的に変更する。

記憶装置２は、探索閾値記憶部２１、候補点位置記憶部２２、座標変換テーブル記憶部２３、状態判定閾値記憶部２４及び候補点状態記憶部２５を備える。

探索閾値記憶部２１は、移動体が移動する可能性がある各方向θ毎に固有の探索閾値δ_θを記憶している。探索閾値記憶部２１に記憶されている各方向の探索閾値δ_θは状態判定部１５により変更される。変更により探索閾値δ_θの値が上限Ｔ_maxを超えたらＴ_maxに、下限Ｔ_minを下回ったらＴ_minになるように調整される。

候補点位置記憶部２２は、候補点検出部１１により検出された各候補点の位置、トラッキング部１２によりトラッキングされた時系列の各候補点の位置、状態判定部１５により変更された各候補点の位置を、各候補点のＩＤとともに画像座標系で記憶している。

座標変換テーブル記憶部２３は、座標変換テーブルを記憶する。

状態判定閾値記憶部２４は、各候補点の状態を判定するために用いる状態判定下限閾値及び状態判定上限閾値等を記憶している。状態判定下限閾値及び状態判定上限閾値は、候補点と移動体の距離が離れるほど、候補点の位置の座標変換の誤差が大きくなる上、細かく調べる必要も無いため、撮像装置３から候補点までの距離が大きくなるにつれて単調増加する。例えば、状態判定下限閾値及び状態判定上限閾値は、取得した画像が鏡を用いた広角画像であった場合、撮像装置３から候補点までの距離が大きくなるにつれて上に凸な単調増加関数で示される増加を行う。

候補点状態記憶部２５は、候補点検出部１１により検出された候補点に設定された状態（ＮＥＷ）や、状態判定部１５で判定された候補点の状態を記憶する。ここで記憶されている状態は、「ＮＥＷ」の他に、「静止物体界面と地面との接点」と判定された状態（以後「ＳＴＡＢＬＥ」と呼ぶ）、「動物体界面と地面との接点」と判定された状態（以後「ＤＹＮＡＭＩＣ」と呼ぶ）、「移動体と近接している物体上の点」と判定された状態（以後「ＮＥＡＲ」と呼ぶ）の合計４種類である。

記憶装置２としては、例えば半導体メモリ、磁気ディスク、光ディスク、光磁気ディスクや磁気テープ等が採用可能である。半導体メモリとしては、例えば、ＲＯＭ及びＲＡＭが採用可能である。ＲＯＭは、ＣＰＵ１において実行されるプログラムを格納することが可能である（プログラムの詳細は後述する。）。ＲＡＭは、ＣＰＵ１におけるプログラム実行処理中に利用されるデータ等を一時的に格納したり、作業領域として利用される一時的なデータメモリ等として機能させることが可能である。

（物体検出方法）
次に、本発明の実施の形態に係る物体検出方法の一例を、図７のフローチャートを参照しながら説明する。

ステップＳ１０１において、撮像装置３が、図２に示すような画像を逐次撮像する。

ステップＳ１０２において、候補点検出部１１が、探索閾値記憶部２１に記憶されている探索閾値δ_θを用いて、図３に示すように、撮像装置３が撮像した画像に含まれる画素から、地面と物体界面との接点の候補点Ｐθを検出する。候補点は、各方向θ毎に固有の探索閾値δ_θをそれぞれ用いて、移動体が進む可能性があるすべての方向に対して、一定の角度θ毎に検出される。

ステップＳ１０３において、トラッキング部１２が、候補点検出部１１により検出した各候補点Ｐθの位置を時系列にそれぞれトラッキングし、第１の時刻（過去）における画像上の各候補点の画像上の位置及び第２の時刻（現在）における画像上の各候補点の画像上の位置をそれぞれ算出する。

ステップＳ１０４において、座標変換部１３が、座標変換テーブル記憶部２３に記憶されている座標変換テーブルを用いて、トラッキング部１２により得られた第１及び第２の時刻における画像上の各候補点の画像上の位置を、候補点が地面の高さにあると仮定した２次元座標にそれぞれ座標変換する。

ステップＳ１０５において、差分算出部１４が、座標変換部１３により座標変換した第１の時刻における候補点のカメラ座標上の位置に、移動制御部１６から得られた第１の時刻から第２の時刻までの撮像装置３の移動量を合算したものを第２の時刻における候補点の推定位置とし、第２の時刻における候補点の推定位置と、座標変換部１３により座標変換した第２の時刻における候補点のカメラ座標上の位置との差分を算出する。

ステップＳ１０６において、状態判定部１５が、候補点状態記憶部２５に記憶されている候補点の状態、及び差分算出部１４により算出された差分から、第２の時刻における各候補点の状態をそれぞれ判定する。更に、状態判定部１５が、第２の時刻における各候補点の状態に応じて、探索閾値記憶部２１に記憶されている各方向の探索閾値δ_θや候補点状態記憶部２５に記憶されている各候補点の状態をそれぞれ変更する。

（状態判定処理）
次に、図７のステップＳ１０６の状態判定処理の詳細を、図８のフローチャートを参照しながら説明する。

（イ）ステップＳ２０１において、候補点を探索する方向θを０度（移動体が進む可能性がある範囲の一端の方向）に設定し、ステップＳ２０２において方向θを１度増加させる。ステップＳ２０３において、方向θが移動体が進む可能性がある範囲内かを判定する。方向θが、移動体が進む可能性がある範囲の他端の方向を越えたら処理を完了する。一方、方向θが移動体が進む可能性がある範囲内の場合にはステップＳ２０４に進む。

（ロ）ステップＳ２０４において、状態判定部１５が、同じ方向θにおける複数の候補点の重なりの有無を判定する。トラッキングにより他の方向にあった候補点が方向θに移動してくることにより候補点同士が重なる可能性があるからである。同じ方向θに複数の候補点の重なりが無い場合にはステップＳ２０６に進む。一方、同じ方向θに複数の候補点の重なりが有る場合には、ステップＳ２０５において撮像装置３から距離が遠い候補点を消去し、撮像装置３に最も近い一つの候補点を残すことにより重なりを除去する。更に、消去された候補点に対応する探索閾値記憶部２１に記憶されている探索閾値δ_θ、候補点状態記憶部２５に記憶されている状態、候補点位置記憶部２２に記憶されている位置をそれぞれ削除する。

（ハ）ステップＳ２０６において、状態判定部１５が、方向θの候補点の有無を判定する。トラッキングにより方向θの候補点が他の方向に移動したり消滅したりして候補点が無い可能性があるからである。方向θに候補点が有る場合にはステップＳ２０８に進む。一方、方向θに候補点が無い場合には、ステップＳ２０７において、状態判定部１５が、方向θを指定して候補点検出部１１に新たな候補点を検出させる。そして、状態判定部１５が、新たな候補点の状態として「ＮＥＷ」を候補点状態記憶部２５に登録後、新たな候補点の位置を候補点位置記憶部２２に登録する。その後、ステップＳ２０２の手順に戻る。

（ニ）ステップＳ２０８において、状態判定部１５が、方向θの候補点に対して状態・探索閾値更新処理を行う。状態・探索閾値更新処理の詳細については後述する。状態・探索閾値更新処理の後、ステップＳ２０２の手順に戻る。この結果、すべての方向について状態・探索閾値更新処理が行われる。

なお、ステップＳ２０４及びＳ２０５において方向θ毎に候補点の重なりの判定及び重なりの除去をし、ステップＳ２０６及びＳ２０７において方向θ毎に候補点の有無の判定及び新たな候補点の検出をする手順を説明したが、ステップＳ２０１の手順よりも前に、ステップＳ２０４及びＳ２０５の手順と同様にすべての方向において候補点の重なりの判定及び重なりの除去をし、ステップＳ２０６及びＳ２０７の手順と同様にすべての方向において候補点の有無の判定及び新たな候補点の検出をすることにより、すべての方向に一つずつ候補点を設定してから、ステップＳ２０１〜Ｓ２０３、Ｓ２０７と同様の手順で各方向θについて状態・探索閾値更新処理を行っても良い。

（ＮＥＷ用状態・探索閾値更新処理）
次に、図８のステップＳ２０８の状態・探索閾値更新処理において、候補点状態記憶部２５に記憶されている候補点の状態が「ＮＥＷ」のときの状態・探索閾値更新処理の詳細を、図９のフローチャートを参照しながら説明する。ここで判定する候補点の状態は「ＮＥＷ」、「ＳＴＡＢＬＥ」、「ＤＹＮＡＭＩＣ」、「ＮＥＡＲ」の４種類である。以下、画像座標上における方向θの候補点の位置を（ｒ，θ）、状態をＳ（θ）、差分算出部１４により算出された差分をｄ（θ）とする。

（イ）ステップＳ３０１において、状態判定部１５が、差分算出部１４により差分ｄ（θ）が得られたか判定する。差分算出部１４から「ＦＡＬＳＥ」が出力されており、差分ｄ（θ）が得られていない場合にはステップＳ３０２に進む。

（ロ）ステップＳ３０２において、差分ｄ（θ）が得られていないのは、物体が撮像装置３に近接しているため地面を全く検出できなかった場合（Ｓ（θ）が「ＮＥＡＲ」の場合）か、探索閾値を更新した方が好ましく、図１０に示すように遠方の物体上に候補点Ｐが検出された場合かのいずれかである可能性がある。そこで、状態判定部１５が、方向θの探索閾値δ_θをδ_ｓ減少させて探索閾値記憶部２１に登録する。更に、状態判定部１５が、候補点検出部１１に方向θを指定して、探索閾値δ_θ−δ_ｓを用いて、画像上の中心Ｃから領域１００を探索範囲から除いて遠方に向かって、式（１）を満たさなくなるときの距離ｒの画素（以下、「候補点候補」という。）Ｐ_ｎの位置（ｒ_ｎ，θ）を候補点Ｐの位置（ｒ，θ）よりも手前に検出させる。

（ハ）ステップＳ３０３において、状態判定部１５が、画像の中心Ｃから領域１００を除いて候補点候補Ｐｎの位置（ｒｎ，θ）までに含まれる画素のＲＧＢ輝度値の平均を算出する。更に、既に地面であると判断された他の候補点からＲＧＢ輝度値の平均を算出するか、地面の色（床色）のＲＧＢ輝度値の平均を予め得ておく。そして、画像の中心Ｃから領域１００を除いて候補点候補Ｐｎの位置（ｒｎ，θ）までに含まれる画素のＲＧＢ輝度値の平均をＲ_ｎ（θ）、Ｇ_ｎ（θ）、Ｂ_ｎ（θ）とし、予め得ておいた地面の色のＲＧＢ輝度値の平均又は既に地面であると判断された候補点から得られたＲＧＢ輝度値の平均をＲ_ｒ（θ）、Ｇ_ｒ（θ）、Ｂ_ｒ（θ）として、式（５）を用いてＳ（θ）の最終的な判定を行う。

（Ｒ_ｒ（θ）−Ｒ_ｎ（θ））²＋（Ｇ_ｒ（θ）−Ｇ_ｎ（θ））²＋（B_ｒ（θ）−B_ｎ（θ））²＜δ_ＲＧB …（５）

閾値δ_ＲＧBは、例えば状態判定閾値記憶部２４に記憶されている。式（５）を満たす場合には、探索閾値を更新した方が好ましく、遠方の物体上に候補点が検出された場合であると推定されるので、候補点候補Ｐｎの位置（ｒｎ，θ）を新たな候補点として選択し、候補点位置記憶部２２に登録する。ステップＳ３０４において状態判定部１５が、Ｓ（θ）として「ＮＥＷ」を候補点状態記憶部２５に登録する。一方、ステップＳ３０３において式（５）を満たさない場合には元の候補点Ｐを選択する。ステップＳ３０５において、状態判定部１５が探索閾値記憶部２１に記憶されている方向θの探索閾値δ_θ−δ_ｓを元の探索閾値δ_θに戻す。ステップＳ３０６において、状態判定部１５がＳ（θ）として「ＮＥＡＲ」を候補点状態記憶部２５に登録する。

（ニ）ステップＳ３０１において差分ｄ（θ）が得られている場合にはステップＳ３０７に進む。ステップＳ３０７において、状態判定部１５が式（６）を用いて差分ｄ（θ）が状態判定下限閾値δ_ｌ（ｒ）より小さいか判定する。

ｄ（θ）＜δ_ｌ（ｒ） …（６）

式（６）を満たす場合にはステップＳ３０８に進む。

（ホ）ステップＳ３０８において、差分ｄ（θ）が小さいのでＳ（θ）が「ＳＴＡＢＬＥ」になる可能性が高いが、図１１に示すように、照明光の反射や地面の模様のために物体と地面との接点よりも手前に候補点Ｐが検出された可能性がある。そこで、状態判定部１５が方向θを指定して候補点検出部１１に探索閾値δ_θを用いて候補点Ｐの位置（ｒ，θ）よりも遠方に候補点候補Ｐｎを検出させる。このとき、より遠方まで探索を行うため探索閾値δ_θをδ_ｓ増加させ、探索閾値記憶部２１に登録し、登録した探索閾値δ_θ＋δ_ｓを用いても良い。

（ヘ）ステップＳ３０９において、図１２のフローチャートの手順により候補点候補Ｐｎを選択するか否か判定する。即ち、図１２のステップＳ４０１において、トラッキング部１２が、第２の時刻における候補点候補Ｐｎの位置（ｒｎ，θ）を時系列とは逆（過去）にトラッキングし、第１の時刻における候補点候補Ｐｎの画像上の位置を算出する。座標変換部１３が、第１の時刻における候補点候補Ｐｎの画像上の位置及び第２の時刻における候補点候補Ｐｎの画像上の位置をそれぞれ座標変換する。差分算出部１４が、第１の時刻における座標変換した候補点候補Ｐｎのカメラ座標上の位置に移動制御部１６から得られる移動体の移動量を合算して、第２の時刻における候補点候補Ｐｎの推定位置を算出する。更に、第２の時刻における候補点候補Ｐｎの推定位置と、第２の時刻における候補点候補Ｐｎのカメラ座標上の位置との距離の差分ｄ_ｎ（θ）を算出する。状態判定部１５が、式（６）を用いて、差分ｄ_ｎ（θ）が状態判定下限閾値δ_ｌ（ｒ）よりも小さいか判定する。候補点候補Ｐｎが式（６）を満たす場合には候補点候補Ｐｎの位置（ｒｎ，θ）が地面であり、元の候補点Ｐより遠方には床が広がり、候補点候補Ｐｎも元の候補点Ｐも地面上の点であると推定される。したがって、ステップＳ４０２において、状態判定部１５が、遠方の床際により近いであろう候補点候補Ｐｎを新たな候補点として選択し、候補点候補Ｐｎの位置（ｒｎ，θ）を候補点位置記憶部２２に登録する。一方、式（６）を満たさない場合にはステップＳ４０３に進む。

（ト）ステップＳ４０３において、状態判定部１５が式（７）を用いて差分ｄ_ｎ（θ）が状態判定上限閾値δ_ｕ（ｒ）よりも大きいか判定する。

ｄ_ｎ（θ）＞δ_ｕ（ｒ） …（７）

式（７）を満たす場合、候補点候補Ｐｎは地面上の点ではなく、物体上の点である可能性が高く、元の候補点Ｐより先には物体があると推定される。したがって、ステップＳ４０４において、状態判定部１５が元の候補点Ｐを選択し、元の候補点Ｐの位置（ｒ，θ）を候補点位置記憶部２２に再登録する。一方、式（７）を満たさない場合にはステップＳ４０５に進む。

（チ）ステップＳ４０５において、画像の中心Ｃから領域１００を除いて候補点候補Ｐｎの位置（ｒｎ，θ）までに含まれる画素のＲＧＢ輝度値の平均をＲ_ｎ（θ）、Ｇ_ｎ（θ）、Ｂ_ｎ（θ）とし、候補点候補Ｐｎの位置（ｒｎ，θ）から候補点Ｐの位置（ｒ，θ）までに含まれる画素のＲＧＢ輝度値の平均をＲ_ｒ（θ）、Ｇ_ｒ（θ）、Ｂ_ｒ（θ）として、式（５）を満たすか判定する。式（５）を満たす場合には候補点候補Ｐｎが地面上の点であると推定されるので、状態判定部１５が候補点候補Ｐｎを選択し、図９のステップＳ３０４において「ＮＥＷ」を候補点状態記憶部２５に登録する。一方、式（５）を満たさない場合には地面上の点でないと推定されるので、状態判定部１５が元の候補点Ｐを選択し、図９のステップＳ３１０において、状態判定部１５が探索閾値記憶部２１に記憶されている方向θの探索閾値δ_θ＋δ_ｓを元の探索閾値δ_θに戻す。更に、ステップＳ３１１において、Ｓ（θ）として「ＳＴＡＢＬＥ」を候補点状態記憶部２５に登録する。

（リ）ステップＳ３０７において式（６）を満たさない場合にはステップＳ３１２に進む。ステップＳ３１２において、状態判定部１５が、式（７）を用いて差分ｄ_ｎ（θ）が状態判定上限閾値δ_ｕ（ｒ）よりも大きいか判定する。式（７）を満たす場合、差分ｄ_ｎ（θ）が大きいので、物体が移動体及び撮像装置３に近接しているため地面を検出できなかった場合（Ｓ（θ）が「ＮＥＡＲ」の場合）か、物体が動物体であったため推定位置と異なった場合（Ｓ（θ）が「ＤＹＮＡＭＩＣ」の場合）か、探索閾値を更新した方が好ましく、遠方の物体上に候補点が検出された場合である可能性がある。ステップＳ３１４において、方向θの探索閾値δ_θをδ_ｓ減少させて探索閾値記憶部２１に登録する。登録した探索閾値δ_θ−δ_ｓを用いて候補点検出部１１が候補点Ｐの位置（ｒ，θ）よりも手前に候補点候補Ｐｎの位置（ｒｎ，θ）を検出する。

（ヌ）ステップＳ３１５において、状態判定部１５が画像の中心Ｃから領域１００を除いて候補点候補Ｐｎの位置（ｒｎ，θ）までに含まれる画素のＲＧＢ輝度値の平均をＲ_ｎ（θ）、Ｇ_ｎ（θ）、Ｂ_ｎ（θ）とし、候補点候補Ｐｎの位置（ｒｎ，θ）から候補点Ｐの位置（ｒ，θ）までに含まれる画素のＲＧＢ輝度値の平均をＲ_ｒ（θ）、Ｇ_ｒ（θ）、Ｂ_ｒ（θ）として、式（５）を用いてＳ（θ）の最終的な判定を行う。式（５）を満たさない場合、探索閾値を更新した方が好ましい場合と推定される。そこで、ステップＳ３０４において、状態判定部１５が候補点候補Ｐｎを新たな候補点として選択し、Ｓ（θ）を「ＮＥＷ」として候補点状態記憶部２５に登録し、候補点候補Ｐｎの位置（ｒｎ，θ）を候補点位置記憶部２２に登録する。一方、ステップＳ３１５において式（５）を満たす場合にはＳ（θ）が「ＮＥＡＲ」又は「ＤＹＮＡＭＩＣ」と推定される。元の候補点Ｐを選択し、ステップＳ３１６において探索閾値記憶部２１に記憶されている方向θの探索閾値δ_θ−δ_ｓを元の探索閾値δ_θに戻す。

（ル）ステップＳ３１７において、状態判定部１５が画像の中心Ｃから領域１００を除いて候補点Ｐの位置（ｒ，θ）までに含まれる画素のＲＧＢ輝度値の平均をＲ_ｒ（θ）、Ｇ_ｒ（θ）、Ｂ_ｒ（θ）とし、予め得ておいた地面の色のＲＧＢ輝度値の平均又は既に地面であると判断された点を計算したときに得られたＲＧＢ輝度値の平均をＲ_ｎ（θ）、Ｇ_ｎ（θ）、Ｂ_ｎ（θ）として、式（５）を用いてＳ（θ）の最終的な判定を行う。式（５）を満たす場合、候補点Ｐの位置（ｒ，θ）までが地面であり、物体が動物体であると推定されるので、ステップＳ３１８において、Ｓ（θ）を「ＤＹＮＡＭＩＣ」として候補点状態記憶部２５に登録する。一方、式（５）を満たさない場合には、物体が移動体及び撮像装置３に近接しているため地面を検出できなかった場合と推定されるので、ステップＳ３０６において、状態判定部１５がＳ（θ）として「ＮＥＡＲ」を候補点状態記憶部２５に登録する。

（ヲ）ステップＳ３１２において式（７）を満たさない場合にはステップＳ３１３に進む。ステップＳ３１３において、画像の中心Ｃから領域１００を除いて候補点Ｐの位置（ｒ，θ）までに含まれる画素のＲＧＢ輝度値の平均をＲ_ｒ（θ）、Ｇ_ｒ（θ）、Ｂ_ｒ（θ）とし、予め得ておいた地面の色のＲＧＢ輝度値の平均又は既に地面であると判断された候補点から得られたＲＧＢ輝度値の平均をＲ_ｎ（θ）、Ｇ_ｎ（θ）、Ｂ_ｎ（θ）として、状態判定部１５が、式（５）を用いてＳ（θ）の最終的な判定を行う。式（５）を満たす場合にはステップＳ３１１に進み、状態判定部１５が、Ｓ（θ）を「ＳＴＡＢＬＥ」として候補点状態記憶部２５に登録する。一方、式（５）を満たさない場合にはステップＳ３０６に進み、状態判定部１５がＳ（θ）を「ＮＥＡＲ」として候補点状態記憶部２５に登録する。

（状態・探索閾値更新処理）
次に、図８のステップＳ２０８の状態・探索閾値更新処理において、候補点状態記憶部２５に記憶されているＳ（θ）が「ＮＥＷ」、「ＳＴＡＢＬＥ」、「ＤＹＮＡＭＩＣ」、「ＮＥＡＲ」のいずれかの場合の詳細を図１３のフローチャートを参照しながら説明する。

（イ）ステップＳ５０１において、状態判定部１５が、候補点状態記憶部２５に記憶されているＳ（θ）が「ＳＴＡＢＬＥ」か否か判定する。Ｓ（θ）が「ＳＴＡＢＬＥ」の場合にはステップＳ５０２に進む。

（ロ）ステップＳ５０２において、Ｓ（θ）が「ＳＴＡＢＬＥ」の可能性はあるが、動物体がたまたま動いていなかった可能性もある。そこで、状態判定部１５が、式（７）を用いてｄ（θ）が状態判定上限閾値δ_ｕ（ｒ）よりも大きいか判定する。式（７）を満たす場合には動物体がたまたま動いていなかった場合と推定される。ステップＳ５０３において、Ｓ（θ）として「ＤＹＮＡＭＩＣ」を候補点状態記憶部２５に登録する。一方、ステップＳ５０２において式（７）を満たなさい場合にはステップＳ５０４に進む。

（ハ）ステップＳ５０４において、Ｓ（θ）が「ＳＴＡＢＬＥ」の可能性があるが、移動体又は撮像装置３の移動により「ＮＥＡＲ」になっている可能性もある。そこで、状態判定部１５が、状態判定閾値記憶部２４に記憶されている閾値と、移動体から候補点Ｐまでの距離とを比較して、候補点Ｐと移動体との距離が閾値よりも小さいか判定する。候補点と移動体との距離が閾値よりも小さい場合、ステップＳ５０５において、Ｓ（θ）を「ＮＥＡＲ」として候補点状態記憶部２５に登録する。一方、候補点と移動体との距離が閾値以上の場合、候補点状態記憶部２５に登録された「ＳＴＡＢＬＥ」を維持する。

（ニ）ステップＳ５０１において候補点状態記憶部２５に記憶されているＳ（θ）が「ＳＴＡＢＬＥ」以外の場合にはステップＳ５０６に進む。ステップＳ５０６において、状態判定部１５が、Ｓ（θ）が「ＮＥＷ」か否か判定する。Ｓ（θ）が「ＮＥＷ」の場合、ステップＳ５０７においてＳ（θ）が「ＮＥＷ」のときの状態・探索閾値更新処理を行う。この「ＮＥＷ」のときの状態・探索閾値更新処理は、図９のフローチャートの手順と実質的に同様であるので、重複した説明を省略する。

（ホ）ステップＳ５０６において、候補点状態記憶部２５に記憶されているＳ（θ）が「ＮＥＷ」ではない場合にはステップＳ５０８に進む。ステップＳ５０８において、状態判定部１５が、Ｓ（θ）が「ＤＹＮＡＭＩＣ」か否か判定する。Ｓ（θ）が「ＤＹＮＡＭＩＣ」の場合にはステップＳ５０９に進む。

（ヘ）ステップＳ５０９において、図１４に示すように、Ｓ（θ）が「ＤＹＮＡＭＩＣ」である可能性があるが、ノイズである可能性もある。そこで、状態判定部１５が、方向θの両隣の方向θ−１，θ＋１の候補点Ｐ（ｒ，θ−1），Ｐ（ｒ，θ＋1）のそれぞれの状態Ｓ（θ＋Ｄ），Ｓ（θ−Ｄ）のいずれかが「ＤＹＮＡＭＩＣ」か判定する。Ｓ（θ＋Ｄ），Ｓ（θ−Ｄ）のいずれも「ＤＹＮＡＭＩＣ」ではない場合、ノイズであると推定されるので、ステップＳ５１０において、状態判定部１５が方向θを指定して候補点検出部１１に新たな候補点を検出させ、新たな候補点の位置を候補点位置記憶部２２に登録する。ステップＳ５１１において、Ｓ（θ）として「ＮＥＷ」を候補点状態記憶部２５に登録する。一方、ステップＳ５０９において、Ｓ（θ＋Ｄ），Ｓ（θ−Ｄ）のいずれかが「ＤＹＮＡＭＩＣ」の場合、候補点状態記憶部２５に記憶されているＳ（θ）は「ＤＹＮＡＭＩＣ」のまま変更しない。

（ト）ステップＳ５０８において候補点状態記憶部２５に記憶されているＳ（θ）が「ＤＹＮＡＭＩＣ」ではない場合、ステップＳ５１２に進む。ステップＳ５１２において、Ｓ（θ）が「ＮＥＡＲ」である可能性が高いが、移動体や動物体の移動により「ＮＥＡＲ」ではなくなっている可能性もある。そこで、ステップＳ５１２において、状態判定部１５が方向θを指定して候補点検出部１１に候補点候補Ｐｎを検出させる。ここでは、Ｓ（θ）が「ＮＥＡＲ」のままであるか否かを調べるために、探索閾値δ_θは増減せずにそのまま用いて候補点候補Ｐｎを探索する。この結果、元の候補点Ｐの位置（ｒ，θ）とほぼ同じような位置に候補点候補Ｐｎが検出される。

（チ）ステップＳ５１３において、状態判定部１５が、画像の中心Ｃから領域１００を除いて候補点候補Ｐｎの位置（ｒｎ，θ）までに含まれる画素のＲＧＢ輝度値の平均をＲ_ｎ（θ）、Ｇ_ｎ（θ）、Ｂ_ｎ（θ）とし、候補点候補Ｐｎの位置（ｒｎ，θ）から候補点Ｐの位置（ｒ，θ）までに含まれる画素のＲＧＢ輝度値の平均をＲ_ｒ（θ）、Ｇ_ｒ（θ）、Ｂ_ｒ（θ）として、式（５）を満たすか判定する。式（５）を満たす場合、画像の中心Ｃから候補点候補Ｐｎまでの色と、元の候補点Ｐから候補点候補Ｐｎまでの色は類似しているので、Ｓ（θ）を「ＮＥＡＲ」と最終的に判定し、候補点状態記憶部２５に記憶されている「ＮＥＡＲ」を維持する。一方、式（５）を満たさず色が異なっている場合は、２つの場合に分けられる。一つは、今まで「ＮＥＡＲ」であった物体が移動することで、物体と中心Ｃとの間に地面が見えるようになり、中心Ｃから候補点候補Ｐｎまでの色が床色であり、候補点候補Ｐｎから元の候補点Ｐまでの色が今まで「ＮＥＡＲ」としていた物体の色となる場合がある。もう一つは、今まで「ＮＥＡＲ」であった物体が更に近づくことで、色が変わって見えたという場合がある。いずれにせよ、色の変化が激しい点（つまり閾値以上に色が変わっている場所にある候補点候補Ｐｎ）の方がトラッキングしやすいので、式（５）を満たさない場合にはＳ（θ）を候補点候補Ｐｎを選択し、「ＮＥＡＲ」のままであるかどうかは後段の処理に任せる形にする。状態判定部１５が、Ｓ（θ）を「ＮＥＷ」として候補点状態記憶部２５に登録し、候補点候補Ｐｎの位置（ｒｎ，θ）を候補点位置記憶部２２に登録する。

以上説明したように、本発明の実施の形態によれば、床面際線が取れる仮定している手法ではなく、候補点が実際に地面と物体界面との接点であるかを判定するので、動物体が存在している場合であっても一つの撮像装置３以外に距離を測定するセンサを用いず、撮像装置３単体で物体を検出することができる。

又、トラッキングした候補点のカメラ座標上の位置と、移動体の移動量を用いた候補点の推定位置とを比較することで、候補点が静止物体界面と地面との接点であるか、動物体界面と地面との接点であるかを識別できる。したがって、動物体が存在していても、物体の虚像をなくし、物体が動物体か、静止物体かを識別して、識別結果に応じた行動回避を行うことができる。

（物体検出プログラム）
又、図７〜図９、図１２及び図１３に示した一連の手順は、図７〜図９、図１２及び図１３と等価なアルゴリズムのプログラムにより、図１に示した物体検出装置を制御して実行できる。このプログラムは、例えば記憶装置２に記憶させれば良い。又、このプログラムは、コンピュータ読取り可能な記録媒体に記憶し、この記録媒体を記憶装置２に読み込ませることにより、本発明の実施の形態の一連の手順を実行することができる。

ここで、「コンピュータ読取り可能な記録媒体」とは、例えばコンピュータの外部メモリ装置、半導体メモリ、磁気ディスク、光ディスク、光磁気ディスク、磁気テープ等のプログラムを記録することができるような媒体等を意味する。具体的には、フレキシブルディスク、ＣＤ−ＲＯＭ，ＭＯディスク等が「コンピュータ読取り可能な記録媒体」に含まれる。例えば、物体検出装置の本体は、フレキシブルディスク装置（フレキシブルディスクドライブ）および光ディスク装置（光ディスクドライブ）を内蔵若しくは外部接続するように構成できる。

フレキシブルディスクドライブに対してはフレキシブルディスクを、又光ディスクドライブに対してはＣＤ−ＲＯＭをその挿入口から挿入し、所定の読み出し操作を行うことにより、これらの記録媒体に格納されたプログラムを記憶装置２にインストールすることができる。又、所定のドライブ装置を接続することにより、例えばＲＯＭや、磁気テープ装置を用いることもできる。更に、インターネット等の情報処理ネットワークを介して、このプログラムを記憶装置２に格納することが可能である。

（その他の実施の形態）
上記のように、本発明は実施の形態によって記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。

又、式（６）及び式（７）では状態判定下限閾値δ_ｌ（ｒ）及び状態判定上限閾値δ_ｕ（ｒ）をそれぞれ用いたが、状態判定下限閾値δ_ｌ（ｒ）及び状態判定上限閾値δ_ｕ（ｒ）は同じ値であっても良い。

又、図９のステップＳ３０３，Ｓ３０９，Ｓ３１３，Ｓ３１５，Ｓ３１７及び図１３のステップＳ５１３の手順において、式（５）を用いてＲＧＢの色情報を用いて最終的な判定を行ったが、ＲＧＢの色情報を用いる代わりに逆トラッキングを用いて最終的に判定しても良いし、ＲＧＢ以外の色情報を利用して最終的に判定しても良い。又、式（５）のような単純比較だけでなく、混合ガウス分布（ＧＭＭ）等の確率分布を利用した手法を用いることもできる。

又、第１及び第２の時刻における候補点の状態を判定する場合を説明したが、時系列に沿って動的に候補点の状態判定処理を行っても良いのは勿論である。

このように、本発明はここでは記載していない様々な実施の形態等を含むことは勿論である。したがって、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。

本発明の実施の形態に係る物体検出装置の一例を示すブロック図である。 本発明の実施の形態に係る撮像装置が撮像した画像の一例を示す概略図である。 本発明の実施の形態に係る撮像装置が撮像した画像における候補点の検出方法を説明するための概略図である。 本発明の実施の形態に係る候補点の座標変換の方法を説明するための概略図である。 本発明の実施の形態に係る候補点の座標変換前の画像上の位置を示す画像の概略図である。 本発明の実施の形態に係る候補点の座標変換後のカメラ座標上の位置を示す鳥瞰図画像の概略図である。 本発明の実施の形態に係る物体検出方法を説明するためのフローチャートである。 本発明の実施の形態に係る状態判定処理の手順を説明するためのフローチャートである。 本発明の実施の形態に係る候補点の状態が「ＮＥＷ」のときの状態・探索閾値変更処理の手順を説明するためのフローチャートである。 本発明の実施の形態に係る候補点候補の検出方法の一例を説明するための概略図である。 本発明の実施の形態に係る候補点候補の検出方法の他の一例を説明するための概略図である。 本発明の実施の形態に係る候補点候補の判定処理の手順を説明するためのフローチャートである。 本発明の実施の形態に係る状態・探索閾値変更処理の手順を説明するためのフローチャートである。 本発明の実施の形態に係る状態判定処理の一例を説明するための概略図である。

符号の説明

１…中央演算処理装置（ＣＰＵ）
２…記憶装置
３…撮像装置
４…駆動装置
５…全方位ミラー
１１…候補点検出部
１２…トラッキング部
１３…座標変換部
１４…差分算出部
１５…状態判定部
１６…移動制御部
２１…探索閾値記憶部
２２…候補点位置記憶部
２３…座標変換テーブル記憶部
２４…状態判定閾値記憶部
２５…候補点状態記憶部

Claims (6)

1. 撮像装置が撮像した画像に含まれる画素から地面と該地面上に配置された物体界面との接点の候補点を検出する候補点検出部と、
   前記候補点を検出するために用いる探索閾値を記憶する探索閾値記憶部と、
   前記候補点の位置をトラッキングし、前記撮像装置が撮像した第１及び第２の時刻における前記候補点の位置をそれぞれ算出するトラッキング部と、
   前記第１の時刻における前記候補点の位置に、前記第１の時刻から前記第２の時刻までの前記撮像装置の移動量を合算することにより前記第２の時刻における推定位置を算出し、該推定位置と、前記トラッキングによる前記第２の時刻における前記候補点の位置との差分を算出する差分算出部と、
   前記候補点の状態を記憶する候補点状態記憶部と、
   前記状態を判定するための状態判定閾値を記憶する状態判定閾値記憶部と、
   前記差分と前記状態判定閾値とを比較して、前記第２の時刻における前記候補点の新たな状態を判定する状態判定部
   とを備えることを特徴とする物体検出装置。
2. 前記候補点検出部が、前記画素と前記画素から遠方方向にある他の画素との輝度差を求めると共に、前記画像上の前記撮像装置に近い位置から遠方へ向かって、前記輝度差が前記探索閾値より大きい前記画素を探索することを特徴とする請求項１に記載の物体検出装置。
3. 前記第１及び第２の時刻における前記候補点の位置を、前記地面上の座標に相当する２次元座標にそれぞれ座標変換する座標変換部と、
   前記画像上の座標と、前記２次元座標との対応関係を示す座標変換テーブルを記憶する座標変換テーブル記憶部とを更に備えることを特徴とする請求項１又は２に記載の物体検出装置。
4. 前記差分算出部が、座標変換後の前記第１の時刻における前記候補点の位置に、前記第１の時刻から前記第２の時刻までの前記撮像装置の移動量を合算して前記推定位置として算出することを特徴とする請求項３に記載の物体検出装置。
5. 前記状態判定部が、
   前記第２の時刻において前記画像上の前記撮像装置に近い位置から遠方へ向かう方向に前記候補点が複数個有るか判定し、
   前記候補点が複数個ある場合、前記撮像装置からより遠方にある前記候補点を消去し、
   前記消去されなかった前記候補点の新たな状態を判定する
   ことを特徴とする請求項１〜４のいずれか１項に記載の物体検出装置。
6. 探索閾値記憶部から探索閾値を読み出し、撮像装置が撮像した画像に含まれる画素から地面と該地面上に配置された物体界面との接点の候補点を検出するステップと、
   前記候補点の位置をトラッキングし、前記撮像装置が撮像した第１及び第２の時刻における前記候補点の位置をそれぞれ算出するステップと、
   前記第１の時刻における前記候補点の位置に、前記第１の時刻から前記第２の時刻までの前記撮像装置の移動量を合算することにより前記第２の時刻における推定位置を算出し、該推定位置と、前記トラッキングによる前記第２の時刻における前記候補点の位置との差分を算出するステップと、
   前記差分と前記状態を判定するための状態判定閾値とを比較して、前記第２の時刻における前記候補点の新たな状態を判定するステップ
   とを含むことを特徴とする物体検出方法。

Images