JPH05346308A - 運動立体視による奥行き値推定方式 - Google Patents

Abstract

(57)【要約】 【目的】 本発明は、奥行き値推定方式に関し、環境に
対するカメラの相対運動から環境中の物体までの奥行き
値を推定する際に、速度場を用いて次の時刻における奥
行き値を予測して情報量を増やし、雑音の影響の受け難
く正確な奥行き値を算出することを目的とする。 【構成】 ２次元画像上の全観測点（ｘ_i、ｙ_i）の現時
刻における速度場（ｕ_i、ｖ_i）をもとに運動パラメータ
（Ｔ、Ｗ）を算出する運動パラメータ推定部１と、運動
パラメータ（Ｔ、Ｗ）をもとに観測点の奥行き値Ｚを算
出する奥行き値推定部４と、観測点の奥行き値Ｚをもと
に、次時刻の奥行き値Ｚを予測する３次元予測部２と、
奥行き値Ｚをもとに、次の時刻の奥行き値Ｚを算出する
ための重みを求める予測値算出部３とを備え、この求め
た重みをもとに、次の時刻における速度場（ｕ_i、ｖ_i）
から観測点の奥行き値Ｚを算出するように構成する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、カメラで撮影した２次
元画像から物体の奥行き値を推定する奥行き値推定方式
であって、ロボットの視覚システムなどに用いて、環境
に対するカメラの相対運動よりカメラから環境中の物体
までの奥行き値を推定する奥行き値推定方式に関するも
のである。この際、カメラで撮影した２次元画像上の動
き情報として、特徴点の変位情報でなく、速度場を用
い、雑音による影響を受けないより精度の高い奥行き値
を推定することが望まれている。

【０００２】

【従来の技術】運動立体視による奥行き値の推定問題
は、同時に３次元運動パラメータも推定する必要があ
り、非線形問題である。一般的に、まず運動パラメータ
を算出し、これを用いて奥行き値を得ることとなり、さ
まざまな方法が提案されている。これらの方法を大別す
ると、対象物体のモデルを例えば平面や２次曲面と仮定
し、そのモデル・パラメータを計算するものと、モデル
を一切使わず、離散的に観測される各点の奥行き座標値
として計算するものが存在する。理論上はモデルなどの
拘束を使わずに計算できることが重要であるが、実際問
題としては画像処理による雑音が存在するため、より正
確性のある推定を重視しなければならない。モデルを用
いると、処理全般が比較的に簡素化され、特に奥行き値
については、そのモデルの持つ拘束に従う状態で安定し
た推定が可能である。しかし、適用できる対象物体が限
定されたり、また実際の形状とモデルとの相違によるず
れが問題となる。これに対してモデルを用いない場合に
は、理論上は全く近似のない結果が得られるが、計算が
複雑（明示的に解が得られず、数値計算を要する）であ
り、雑音の影響を受けやすい点が問題であった。特に奥
行き値については、各観測点のそれを独立に計算しなけ
ればならず、情報量不足を何らかの形で補う必要があっ
た。

【０００３】

【発明が解決しようとする課題】これを解決する方法と
して、得られた各時刻の奥行き値に対して局所的な平滑
化などを施すことにより、滑らかな形状として推定する
ことが可能である。しかし、平滑化によりエッジ情報が
失われるなどの危険性があるため、奥行き値について時
間連続性による情報量を補足し、より安定して推定を行
うことが望まれている。この際、時刻１と次の時刻２と
の間で物体をカメラで撮影した像の特徴点の対応づけに
より、動き情報を収集して奥行き値を推定することが考
えられるが、その対応づけが困難であるという問題もあ
る。

【０００４】本発明は、これらの問題を解決するため、
環境に対するカメラの相対運動から環境中の物体までの
奥行き値を推定する際に、速度場を用いて次の時刻にお
ける奥行き値を予測して情報量を増やし、雑音の影響の
受け難く正確な奥行き値を算出することを目的としてい
る。

【０００５】

【課題を解決するための手段】図１を参照して課題を解
決するための手段を説明する。図１において、運動パラ
メータ推定部１は、物体を投影した２次元画像上の全観
測点（ｘ_i、ｙ_i）の現時刻における速度場（ｕ_i、ｖ_i）
をもとに運動パラメータ（Ｔ、Ｗ）を算出（推定）する
ものである。

【０００６】３次元予測部２は、算出した観測点の奥行
き値Ｚをもとに、次時刻の奥行き値Ｚを予測するもので
ある。予測値算出部３は、予測した次時刻の奥行き値Ｚ
をもとに、次の時刻の奥行き値Ｚを算出するための重み
を求めるものである。

【０００７】奥行き値推定部４は、算出した運動パラメ
ータ（Ｔ、Ｗ）をもとに観測点の奥行き値Ｚをそれぞれ
算出（推定）するものである。

【０００８】

【作用】本発明は、図１に示すように、運動パラメータ
推定部１が物体を投影した２次元画像上の全観測点（ｘ
_i、ｙ_i）の現時刻における速度場（ｕ_i、ｖ_i）をもとに
運動パラメータ（Ｔ、Ｗ）を算出（推定）し、奥行き値
推定部４が算出した運動パラメータ（Ｔ、Ｗ）をもとに
観測点の奥行き値Ｚをそれぞれ算出（推定）し、３次元
予測部２が算出した観測点の奥行き値Ｚをもとに、次時
刻の奥行き値Ｚを予測し、予測値算出部３が算出した次
時刻の奥行き値Ｚをもとに、次の時刻の奥行き値Ｚを算
出するための重みを求め、この求めた重みをもとに、次
の時刻における速度場（ｕ_i、ｖ_i）から観測点の奥行き
値Ｚをそれぞれ算出するようにしている。

【０００９】従って、環境に対するカメラの相対運動か
ら環境中の物体までの奥行き値Ｚを推定する際に、速度
場（ｕ_i、ｖ_i）を用いて次の時刻における奥行き値Ｚを
予測して情報量を増やすことにより、雑音の影響を受け
ることを少なくして正確性の高い奥行き値Ｚを算出する
ことが可能となる。

【００１０】

【実施例】次に、図１から図５を用いて本発明の実施例
の構成および動作を順次詳細に説明する。

【００１１】図１は、本発明の１実施例構成図を示す。
図１の（ａ）は、ブロック図を示す。図１の（ａ）にお
いて、運動パラメータ推定部１は、物体を投影した２次
元画像上の全観測点（ｘ_i、ｙ_i）（ｉは図１の（ｂ）の
イメージ面上のｉ番目の観測点を表す）の現時刻におけ
る速度場（ｕ_i、ｖ_i）をもとに運動パラメータ（Ｔ、
Ｗ）を算出（推定）するものである（図３を用いて後述
する）。ここで、速度場（ｕ_i、ｖ_i）は、図１の（ｄ）
に示すように、イメージ面上のｉ番目の観測点（ｘ_i、
ｙ_i）における、Ｘ方向の速度ｕ_i、Ｙ方向の速度ｖ_iを
表す。運動パラメータ（Ｔ、Ｗ）は、図１の（ｂ）に示
すように、物体の並進運動パラメータＴ、回転運動パラ
メータＷであって、（Ｔ_x 、Ｔ_y、Ｔ_z）、（Ｗ_x、Ｗ_y、
Ｗ_z）である。

【００１２】３次元予測部２は、算出した観測点
（ｘ_i、ｙ_i）の奥行き値Ｚ_iをもとに、次時刻の奥行き
値Ｚ_iを予測するものである（図４を用いて後述す
る）。 予測値算出部３は、算出した次時刻の奥行き値Ｚ
_iをもとに、次の時刻の奥行き値Ｚ_iを算出するための重
みＷ_ijを求めるものである（図４を用いて後述する）。

【００１３】奥行き値推定部４は、算出した運動パラメ
ータ（Ｔ、Ｗ）をもとに、重みＷ_ijを付加して観測点の
奥行き値Ｚ_iをそれぞれ算出（推定）するものである
（図４を用いて後述する）。

【００１４】図１の（ｂ）は、中心投影座標系を示す。
ここで、座標系ＸＹＺは、奥行き値Ｚを算出しようとす
る物体を配置する座標系である。この物体を配置した座
標系ＸＹＺをカメラで撮影したときの、投影した２次元
の座標系ＸＹが図示Ｉｍａｇｅ ｐｌａｎｅ（イメージ
面）であって、図示のように中心をＺ軸に一致させて投
影する。

【００１５】物体の運動パラメータは、並進運動パラメ
ータＴと、回転運動パラメータＷとがある。並進運動パ
ラメータＴは、座標系ＸＹＺの各軸に並行に移動する量
であって、（Ｔ_x、Ｔ_y、Ｔ_z）と表す。回転運動パラメ
ータＷは、座標系ＸＹＺの各軸の回りに回転する量であ
って、（Ｗ_x、Ｗ_y、Ｗ_z）と表す。

【００１６】図１の（ｃ）は、速度場としての動き情報
を示す。これは、時刻１から時刻２になったときに、図
示のようにイメージ面（投影面）上で物体のイメージが
移動したとき、図示点線の矢印の方向に移動する動き情
報を表すものである。この動き情報は、図１の（ｄ）に
示すように表す。

【００１７】図１の（ｄ）は、各グリッド上のフローを
示す。これは、イメージ面をグリッド（ボクセル）で分
割し、各グリード毎に図１の（ｄ）の点線の矢印で表し
た動き情報の観測点（ｘ_i、ｙ_i）の（ｘ成分、ｙ成分）
について、（ｕ_i、ｖ_i）として表したものである。この
（ｕ_i、ｖ_i）を速度場（オプティカル・フロー）とい
う。

【００１８】次に、図２のフローチャートに示す順序に
従い、図１の構成の概略を説明する。図２において、Ｓ
１は、全観測点のオプティカルフローを算出する。これ
は、図１の（ｄ）に記載したように、物体を投影したイ
メージ面上の各観測点（ｘ_i、ｙ_i）のオプティカルフロ
ー（速度場）（ｕ_i、ｖ_i）を算出する。これは、図１の
（ｃ）に示すように、時刻１から時刻２に変化したとき
に、グリッド上でのイメージの変化を（ｕ_i、ｖ_i）と
し、全ての観測点について算出する。

【００１９】Ｓ２は、３次元運動速度の算出を行う。こ
れは、後述する式（７）によって、時刻ｔにおける３次
元運動速度Ｘ’、Ｙ’、Ｚ’を求める。Ｓ３は、前時点
からの予測値を用いた奥行き値の推定を行う。これは、
Ｓ２で求めた３次元運動速度Ｘ’、Ｙ’、Ｚ’をもと
に、式（６）によって次の時刻における奥行き値Ｚを求
める。

【００２０】Ｓ４は、終了時点か判別する。これは、一
連の奥行き値を求める終了時点になったか判別する。Ｙ
ＥＳの場合には、終了する。ＮＯの場合には、Ｓ５に進
む。Ｓ５は、次時点の奥行き値を予測する。これは、後
述する式（１０）によって次の奥行き値を予測するため
の重みＷ_ijを求めておく（後述する）。そして、Ｓ１以
降を繰り返し行う。

【００２１】以上によって、物体を２次元に投影したイ
メージ面上で全観測点のオプティカルフロー（速度場）
（ｕ_i、ｖ_i）を算出し、これをもとに奥行き値を予測す
ると共に次の時刻の奥行き値を予測するための重みＷ_ij
を算出することにより、２次元イメージ上の速度場（ｕ
_i、ｖ_i）をもとに奥行き値Ｚを雑音の影響を受けること
がなく予測することが可能となる。以下順次詳細に説明
する。

【００２２】図３は、本発明の各時刻の処理による運動
パラメータおよび奥行き値の算出フローチャートを示
す。図３において、Ｓ１１は、全観測点のフロー方程式
（１）、（２）よりＺ_iを消去し、式（３）を生成す
る。これは、後述する２次元投影面上の速度場（ｕ_i、
ｖ_i）を算出する式（１）、（２）からＺ_iを消去し、式
（３）を生成する。

【００２３】Ｓ１２は、全観測点で得られる式（３）に
最小二乗規準／変分法を適用する。これは、式（３）に
ついて最小二乗法を使い、変分法によって解く。Ｓ１３
は、ＭＴ＝０とする。ここで、Ｍは３×３の観測行列で
あり、Ｔは並進速度ベクトルである。

【００２４】Ｓ１４は、Ｍの最小固有値に対する固有ベ
クトルを算出し、Ｔだけの式にする。これは、Ｓ１３の
ＭＴ＝０によって図３の（ｂ−１）に示すようなＴベク
トルをＭで変換して（ｂ−２）に示すように０ベクトル
にしたベクトルを求め、Ｔのみの式に変換する。

【００２５】Ｓ１５は、Ｔを用いてＷを算出する。Ｓ１
６は、式（１）、（２）より全観測点についてＺ_iを算
出する。これは、Ｓ１４、Ｓ１５で算出したＴ、Ｗを式
（１）、（２）に代入して全観測点の奥行き値Ｚ_iを算
出する。

【００２６】以上によって、全観測点の速度場（ｕ_i、
ｖ_i）を表す式（１）、（２）をもとに、Ｚ_iを消去して
Ｔ、Ｗを求め、これら求めたＴ、Ｗと、（ｕ_i、ｖ_i）を
式（１）、（２）に代入して奥行き値Ｚ_iを算出するこ
とが可能となる。

【００２７】図４は、本発明の時間連続性による奥行き
値推定処理のフローチャートを示す。ここで、ｘ、ｙは
２次元画像上のグリッド位置、Ｘ、Ｙ、Ｚは３次元上の
位置を表す。

【００２８】図４において、Ｓ２１は、Ｔ、Ｗを算出す
る。これは、既述した図３のＳ１１からＳ１５によっ
て、全観測点の速度場（ｕ_i、ｖ_i）をもとに式（１）、
（２）からＴ、Ｗを算出する。

【００２９】Ｓ２２は、１回目か判別する。ＹＥＳの場
合には、１回目であるので、Ｓ３１で式（１）、（２）
より全観測点のＺ_iを算出し、Ｓ２３に進む。一方、２
回目以降は、前時刻の処理で重みＷ_ijを算出して次時刻
の奥行き値を予測する式（１９）が算出されているの
で、この式（１９）より、全観測点のｄ_i （＝１／
Ｚ_i）を算出し、Ｓ２３に進む。

【００３０】Ｓ２３は、奥行き値マップを出力する。こ
れは、イメージ面を分割した各ボクセル毎に奥行き値Ｚ
_iが算出されて格納されているので、これらの奥行き値
マップを結果として出力する。

【００３１】Ｓ２４は、終了か判別する。ＹＥＳの場合
には、終了する。ＮＯの場合には、Ｓ２５に進む。Ｓ２
５は、アレイバッファ２個を初期化する。これは、後述
するＳ２９で重みＷ_ij、Ｗ_ijｄ_piを足し込むためのアレ
イバッファ２個を０クリアする。

【００３２】Ｓ２６は、２次元画像上の各グリッド点の
３次元位置を計算する。これは、後述する式（８）、
（９）を変形して Ｘ_i＝ｘ_iＺ_i Ｙ_i＝ｙ_iＺ_i に２次元画像上の各グリッド点の座標ｘ_i、ｙ_iを代入
し、３次元位置Ｘ_i、Ｙ_iを算出する。即ち、（ｘ、
ｙ）、Ｚから（Ｘ、Ｙ）を算出する。

【００３３】Ｓ２７は、式（７）、式（４）、（５）、
（６）より、次時点での３次元速度（Ｘ’_i、Ｙ’_i、
Ｚ’_i）、更に３次元位置（Ｘ、Ｙ、Ｚ）を予測する。
即ち、（Ｘ、Ｙ、Ｚ）から次時点の（Ｘ’、Ｙ’、Ｚ）
を求め、更に（Ｘ、Ｙ、Ｚ）を予測する。

【００３４】Ｓ２８は、式（８）、（９）より次時点で
の２次元位置（ｘ_i、ｙ_i）を予測する。即ち次時点の
（Ｘ、Ｙ、Ｚ）から次時点の（ｘ、ｙ）を予測する。Ｓ
２９は、式（１０）、（１１）、（１２）より周囲グリ
ッドに対する重みＷ _ijを計算する。計算した結果の
Ｗ_ij、Ｗ_ijｄ_piをアレイバッファに足し込み、次の時点
の奥行き値の逆数ｄ_iを予測する準備をしておく。

【００３５】Ｓ３０は、時刻ｔをｔ＋１に進める。そし
て、Ｓ２１以降を繰り返し行う。以上によって、２次元
画像上の全観測点について、速度場（ｕ_i、ｖ_i）をもと
に並進運動パラメータＴ、回転運動パラメータＷ、奥行
き値Ｚ（あるいは逆数のｄ_i）を求めると共に、（ｘ、
ｙ）、Ｚをもとに次時刻の奥行き値を求める重みＷ_ijを
更新することを繰り返すことにより、速度場（ｕ_i、
ｖ_i）をもとに雑音の影響を受けることが少なく、物体
の奥行き値Ｚを正確に予測することが可能となる。以下
順次式（１）から（１９）の意味および奥行き値の予測
について詳細に説明する。

【００３６】（１） 概要 まず、本発明で採用する２次元情報（運動パラメータお
よび奥行き値）の推定の基本的な流れについて説明す
る。用いる投影系システムを図１の（ｂ）に示す。環境
がカメラに対して相対的に移動するとき、２次元投影面
（ｉｍａｇｅ ｐｌａｎｅ）上で得られる速度場（オプ
ティカルフロー）（ｕ_i、ｖ_i）は次式（１）、（２）の
ように表せる。ここで、ｘ_i、ｙ_iはｉｍａｇｅ ｐｌａ
ｎｅ上のｉ番目の観測点の座標値である。

【００３７】 ｕ_i＝−Ｗ_xｘ_iｙ_i＋Ｗ_y（１＋ｘ_i ²)-Ｗ_zｙ_i＋（Ｔ_x−Ｔ_zｘ_i）／Ｚ_i （１） ｖ_i＝−Ｗ_x（１＋ｙ_i ²）＋Ｗ_yｘ_iｙ_i＋Ｗ_zｘ_i＋（Ｔ_y−Ｔ_zｙ_i）／Ｚ_i （２） 式から明らかのように、ＴとＺはその比のみ推定可能で
あり、未知数の次元は６である。カメラの相対運動を考
えると、運動パラメータは全ての観測点で同じであるか
ら、式（１）、（２）よりＺ_iを消去して式を１つに減
らし、式（３）を得る。

【００３８】 Ｕ_i ^tＶ＝０ （３） Ｕ_i＝［１、−ｘ_i、−ｙ_i、−ｘ_iｙ_i、ｘ_i ²、ｙ_i ²、
ｖ_i、−ｕ_i、ｕ_iｙ_i−ｖ_iｘ_i］^t Ｖ＝［Ａ₀、Ａ₁、Ａ₂、Ａ₃、Ａ₄、Ａ₅、Ｔ_x、Ｔ_y、
Ｔ_z］^t Ａ₀＝Ｗ_xＴ_x＋Ｗ_yＴ_y Ａ₁＝Ｗ_xＴ_z＋Ｗ_zＴ_x Ａ₂＝Ｗ_yＴ_z＋Ｗ_zＴ_y Ａ₃＝Ｗ_xＴ_y＋Ｗ_yＴ_x Ａ₄＝Ｗ_yＴ_y＋Ｗ_zＴ_z Ａ₅＝Ｗ_xＴ_x＋Ｗ_zＴ_z この式（３）が全ての観測点で成り立つように解く。こ
れは各時刻での処理となる。ここで、時間連続性を奥行
き値の推定に関して取り入れることにより、真の形状情
報をできるだけ失うことなく、安定した推定を可能にす
る方法を考える。各時刻において、運動パラメータは比
較的に安定に推定できる。そこでこれを用いて、３次元
空間中の点の次時点での位置を推定することができる。
次時点では新たに観測点の奥行き値が得られるので、こ
れを前時点からの推定値をマージすることにより、より
多くの情報から推定することにする。マージ方法として
は、予測値と現時点での計算値との兼ね合いを考慮でき
るように、標準正規化の手法を用いる。これは最小にす
べきエネルギー関数を、主となる評価関数とペナルティ
関数の和として表現するものである。以下で詳細につい
て説明する。

【００３９】（２） 詳細 （２−１） ３次元座標点の変位予測とペナルティ関数 ３次元座標中の時刻ｔにおける位置を（Ｘ（ｔ）、Ｙ
（ｔ）、Ｚ（ｔ））とすると、時刻（ｔ＋１）における
位置の予測値は次式で得られる。

【００４０】 Ｘ_p（ｔ＋１）＝Ｘ（ｔ）＋Ｘ’（ｔ）ｄｔ （４） Ｙ_p（ｔ＋１）＝Ｙ（ｔ）＋Ｙ’（ｔ）ｄｔ （５） Ｚ_p（ｔ＋１）＝Ｚ（ｔ）＋Ｚ’（ｔ）ｄｔ （６） ここで、ｄｔは画像間の時間間隔である。（Ｘ’
（ｔ）、Ｙ’（ｔ）、Ｚ’（ｔ））は時刻ｔにおける３
次元運動速度であり、次式で計算する。

【００４１】

【数１】

【００４２】従って、各時刻で得られた運動パラメータ
Ｔ（ｔ）、Ｗ（ｔ）および奥行き値Ｚ（ｔ）を用いて、
次時刻の奥行き値Ｚ_p（ｔ＋１）を予測できる。しか
し、移動先の点のｉｍａｇｅ ｐｌａｎｅ上での位置は
連続値であり、次時刻での観測点の１つのｉｍａｇｅ
ｐｌａｎｅ上の位置と完全に一致することはない。ここ
では、観測点のｉｍａｇｅ ｐｌａｎｅ上で等間隔のグ
リッド格子点で得られるものと考えているので、図５の
（ａ）に示すように、予測値は格子間の点に対応する。
この問題を解決するためには、奥行き値をより分解能の
高いボクセル情報として蓄え、補間処理によって扱うこ
とが望ましいが、そのためには多量の記憶容量と計算手
続きが必要となる。そこで、本発明では近似的な手法を
用いる。以下でこれを説明する。尚、（Ｘ_p（ｔ＋
１）、Ｙ_p（ｔ＋１）、Ｚ_p（ｔ＋１））に対応するｉｍ
ａｇｅ ｐｌａｎｅ上での位置の推定値（ｘ_p（ｔ＋
１）、ｙ_p（ｔ＋１）、ｚ_p（ｔ＋１））は、次式で計算
する。

【００４３】 ｘ_p（ｔ＋１）＝Ｘ_p（ｔ＋１）／Ｚ_p（ｔ＋１） （８） ｙ_p（ｔ＋１）＝Ｙ_p（ｔ＋１）／Ｚ_p（ｔ＋１） （９） 予測法の使用法に関するアルゴリズムについて説明す
る。いま、ある予測値のｉｍａｇｅ ｐｌａｎｅ上での
位置ｐ_j＝（ｘ_j、ｙ_j）が図５の（ｂ）のようにグリッ
ドｐ_i＝（ｘ_i、ｙ_i）（ｉ＝１、２、３、４）の間に存
在するものとする。このとき、点ｐ_jは周りの各グリッ
ド点に属するものとし、各点の結合の強さとして次の重
み関数を定める。

【００４４】 ｗ_ij＝α_ijｅｘｐ（−β_ij） （１０） α_ij＝１／｛１＋（ｘ_i／ｘ_max）²＋（ｙ_i／ｙ_max）²｝ （１１） β_ij＝｛（ｘ_i−ｘ_j）／ｄｘ｝²＋｛（ｙ_i−ｙ_j）／ｄｙ｝²（１２） ここで、ｘ_max、ｙ_maxはｉｍａｇｅ ｐｌａｎｅの原点
から片側のサイズであり、ｄｘ、ｄｙはグリッドの刻み
幅である。α_ijの使用は、ｉｍａｇｅ ｐｌａｎｅの原
点から遠いほど、グリッド格子点に対応する３次元空間
中の点の間隔は一般的に広くなるため、同じ距離だけ離
れている予測値を用いる場合でも、原点の近くでの方が
有効に働くことを意図している。β_ijは、単純に各グリ
ッド格子に対して近くに存在する予測値の方が、奥行き
値の近似として有効であることを意味している。

【００４５】この重み関数と予測値を用いてペナルティ
関数を構成することになるが、次項に示す評価関数との
兼ね合いから、奥行き値Ｚ_iの代わりにその逆数ｄ_iを推
定することにする。今、図５の（ｃ）に示すように、推
定したい点をｐ_iとし、その周りに予測値を持つ点とし
てｐ_j（ｊ＝１、・・・、４）が存在したとする。ｐ_jが
持つ予測値の逆数をｄ_pj、推定したいｐ_iでのそれをｄ_i
として、次式でペナルティ関数Ｐ（ｄ_i）を計算する。

【００４６】 これを小さくするようなｄ_iを推定することにより、近
傍の予測値を重み付きで平滑化したようなｄ_iを推定で
きる。

【００４７】（２−２） エネルギー関数の構成と奥行
き値の推定 前項では前時点からの予測値に関係するペナルティ関数
を定義したので、ここではまず、現時点で得られる奥行
き値に関係する評価関数を定義する。そこで式（１）、
（２）を次のように書き直す。

【００４８】 ｕ_i＝ｕ_wi＋ｕ_Tiｄ_i （１４） ｖ_i＝ｖ_wi＋ｖ_Tiｄ_i （１５） 評価関数Ｆ（ｄ_i）は、この式（１４）、（１５）を用
いて最小二乗規準として次式で定義する。

【００４９】 Ｆ（ｄ_i）＝（ｕ_i−ｕ_wi−ｕ_Tiｄ_i）²＋（ｖ_i−ｖ_wi−ｖ_Tiｄ_i）² （１６） この評価関数と先に定義したペナルティ関数より、エネ
ルギー関数Ｅ（ｄ_i）を正規化手法に基づき、次のよう
に定義する。

【００５０】 ここで、λはＦ（ｄ_i）とＰ（ｄ_i）の割合を決める定数
であり、これが大きい程、予測値をより重視した推定を
行うことになる。また、ｌはＰ_iに関係する予測値の点
数であり、各Ｐ_iによって異なる。尚、最適なλの値は
本発明の範囲では理論的に決定することはできず、場当
たり的に、雑音の状態や形状に依存して定める必要があ
る。

【００５１】式（１７）のエネルギー関数は、ｄ_iに関
して２次関数となっており、変分原理により容易に解く
ことが可能である。即ち式（１７）をｄ_iで微分して０
とおくことにより、次の代数方程式が得られる。

【００５２】 ｄＥ／ｄｄ_i＝（ｕ_i−ｕ_wi）ｕ_Ti−ｕ_Ti ²ｄ_i＋（ｖ_i−ｖ_wi）ｖ_Ti−ｖ_Ti ²ｄ_i ＋λΣｗ_ijｄ_pi−λｄ_iΣｗ_ij ＝０ （１８） これより、ｄ_iは、次式で得られる。

【００５３】 ｄ_i＝｛（ｕ_i−ｕ_wi）ｕ_Ti＋（ｖ_i−ｖ_wi）ｖ_Ti＋λΣｗ_ijｄ_pi｝ ／｛ｕ_Ti ²＋ｖ_Ti ²＋λΣｗ_ij｝ （１９） この計算を各グリッド点について行い、その逆数をとる
ことにより、全てのＺ _iが得られる。ただし、このＺ_iは
Ｔに対する相対的な値である。そのため、本方法は｜Ｔ
｜が時間的に一定である必要がある。

【００５４】

【発明の効果】以上説明したように、本発明によれば、
環境に対するカメラの相対運動から環境中の物体までの
奥行き値Ｚを推定する際に、速度場（ｕ_i、ｖ_i）を用い
て次の時刻における奥行き値Ｚを予測して情報量を増や
す構成を採用しているため、雑音の影響を受けることを
少なくして正確性の高い奥行き値Ｚを算出（推定）する
ことができる。これにより、カメラを運動させて周囲環
境の奥行き情報を得るための視覚システムにおいて、運
動パラメータ（並進運動パラメータ、回転運動パラメー
タ）が時間的に滑らかに変化し、特に並進運動パラメー
タのベクトルとしての大きさが変化しない場合に、画像
に含まれる雑音に対して正確性の高い奥行き値の推定が
可能となる。

【図面の簡単な説明】

【図１】本発明の１実施例構成図である。

【図２】本発明の概要フローチャートである。

【図３】本発明の各時刻の処理による運動パラメータお
よび奥行き値算出フローチャートである。

【図４】本発明の時間連続性による奥行き値推定処理フ
ローチャートである。

【図５】本発明の動作説明図である。

【符号の説明】

１：運動パラメータ推定部 ２：３次元予測部 ３：予測値算出部 ４：奥行き値推定部 Ｘ、Ｙ、Ｚ：物体の３次元座標 ｘ、ｙ、ｘ_i、ｙ_i：画像上の２次元座標 Ｔ、Ｔ_x、Ｔ_y、Ｔ_z：並進運動パラメータ Ｗ、Ｗ_x、Ｗ_y、Ｗ_z：回転運動パラメータ Ｚ、Ｚ_i：物体の奥行き値 ｕ_i、ｖ_i：画像上の速度場 ｄ_i：奥行き値Ｚ_iの逆数 ｗ_ij：重み ｉ：画像上のｉ番目の観測点 ｔ、ｔ＋１：時刻

Claims (1)

【特許請求の範囲】
1. 【請求項１】カメラで撮影した２次元画像から物体の奥
   行き値を推定する奥行き値推定方式において、 ２次元画像上の全観測点（ｘ_i、ｙ_i）の現時刻における
   速度場（ｕ_i、ｖ_i）をもとに運動パラメータ（Ｔ、Ｗ）
   を算出する運動パラメータ推定部（１）と、 この算出した運動パラメータ（Ｔ、Ｗ）をもとに観測点
   の奥行き値Ｚをそれぞれ算出する奥行き値推定部（４）
   と、 この算出した観測点の奥行き値Ｚをもとに、次時刻の奥
   行き値Ｚを予測する３次元予測部（２）と、 この予測した次時刻の奥行き値Ｚをもとに、次の時刻の
   奥行き値Ｚを算出するための重みを求める予測値算出部
   （３）とを備え、 この求めた重みをもとに、次の時刻における速度場（ｕ
   _i、ｖ_i）から観測点の奥行き値Ｚをそれぞれ算出するよ
   うに構成したことを特徴とする運動立体視による奥行き
   値推定方式。