JPH05233813A - 動画像解析方法 - Google Patents

Abstract

(57)【要約】 【目的】 移動するカメラから得られる動画像から得ら
れる移動ベクトル（オプティカルテロー）と、その移動
ベクトルの信頼性を示す情報を使用して、カメラの運
動を検出する、移動物体を検出することを目的とす
る。 【構成】 カメラの運動は運動パラメータによって決定
される。ある運動パラメータから理論的に計算される移
動ベクトルと、実際に検出された移動ベクトルと、その
信頼性を考慮しながら差をとり、その差を最小にする運
動パラメータを解とする。図はそのアルゴリズムを示
す。の目的に対しては、検出された運動パラメータか
らは生じない移動をしている部分を目的の領域として検
出する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、たとえば自動車のよう
な、静止環境中を移動する物体に設置されたカメラから
得られる動画像を用いて、そのカメラの運動に関する情
報（運動パラメータ）を検出する技術、さらにこの情報
を用いて、たとえば先行車のように、自己以外の静止環
境中を運動する物体を検出する技術に関するものであ
る。

【０００２】

【従来の技術】動画像の持つ移動情報を用いて、それが
写されたカメラの運動情報を得る処理は、一般に図２に
示される構成をとる。最初に、移動ベクトル検出処理２
１によって、動画像からその画像上での移動ベクトル
（オプティカルフロー）を検出し、次に運動パラメータ
計算処理２２によって、その移動ベクトルを解析するこ
とにより自己運動を表す運動パラメータを計算する。移
動ベクトル検出処理については、たとえば、吹抜敬彦，
「画像信号による動対象の移動量、速度の測定」，電子
通信学会技術研究報告，ＩＥ−６７，１９７８−１０、
あるいは、和田正裕、山口博久，「反復勾配法による動
画像信号の動き量検出」，電子通信学会論文誌Ｄ，１９
８５−４，ｐｐ．６６３−６７０、によって報告されて
いる方法がある。また、運動パラメータ計算処理につい
ては、たとえば、Ａｎｎａ Ｒ．Ｂｒｕｓｓ，Ｂｅｒｔ
ｈｏｌｄ Ｋ．Ｐ．Ｈｏｒｎ，「Ｐａｓｓｉｖｅ Ｎａ
ｖｉｇａｔｉｏｎ」，ＣＯＭＰＵＴＥＲ ＶＩＳＩＯ
Ｎ，ＧＲＡＰＨＩＣＳ，ＡＮＤＩＭＡＧＥ ＰＲＯＣＥ
ＳＳＩＮＧ，２１，３−２０，１９８３、によって報告
されている方法がある。

【０００３】

【発明が解決しようとする課題】以上で述べた方法によ
って、動画像から運動パラメータが検出できるが、次に
述べる問題点がある。移動ベクトル検出処理によって検
出される移動ベクトルは、画像の各部分でその検出精度
が異なる。従って、その移動ベクトルには大きな誤差を
含むものが含まれており、上述の運動パラメータ計算処
理は、そのような誤った移動ベクトルをも使用して運動
パラメータを計算するため、正確な運動パラメータを計
算できない。従って、正確な運動パラメータを計算する
ためには、検出された移動ベクトルの精度を考慮するこ
とが必要である。移動ベクトルの精度は、たとえば、太
田直哉，「信頼性指標を持つ移動ベクトルの検出」，コ
ンピュータビジョン’９０，シンポジウム論文集，１９
９０−８，ｐｐ．２１−３０、で報告されている信頼性
指標を導入することにより知ることができる。しかし従
来は、このような移動ベクトルの精度に関する情報を有
効に利用して運動パラメータを計算する手法がなかっ
た。本発明の目的は、これを可能にする手法を提供し、
高精度な運動パラメータの検出を可能にすること、さら
に運動パラメータと移動ベクトルおよびその精度に関す
る情報を使用して、自己が環境中を運動している場合で
も、他の移動物体を検出することを可能にすることであ
る。

【０００４】

【課題を解決するための手段】第１の発明の動画像解析
方法は、環境に対して相対運動をするカメラによって撮
影された動画像上の各点での移動ベクトル（オプティカ
ルフロー）を用いて、該カメラの運動に関する情報（運
動パラメータ）を検出する動画像解析方法に於いて、前
記動画像から検出された移動ベクトルｖ_{d i} と、ある運
動パラメータから理論的に計算された移動ベクトルｖ_i
との差異ε_i ² を、前記動画像から検出された移動ベク
トルの信頼性を表すベクトルｒ_{1 i} ，ｒ_{2 i} を用いて、 ε_i ² ＝（（ｖ_{d i} −ｖ_i ）・ｒ_{1 i} ）² ＋（（ｖ_{d i} −ｖ_i ）・ｒ_{2 i} ）² とし、該差異の各移動ベクトルに関する合計

【０００５】

【数２】

【０００６】を最小にする運動パラメータを実際のカメ
ラの運動パラメータとして検出することを特徴とする。

【０００７】第２の発明の動画像解析方法は、第１の発
明の動画像解析方法において、運動パラメータから理論
的に計算される移動ベクトルｖ_i ＝（ｕ_i ，ｖ_i ）を、
回転運動を表すパラメータ（Ω₁ ，Ω₂ ，ω₃ ）および
並進運動を表すパラメータ（ｘ_e ，ｙ_e ）から、式 ｕ_i ＝（ｘ_i −ｘ_e ）ｔ_i ＋Ω₁ ｘ_i ｙ_i −Ω₂ （ｘ_i ² ＋ｆ² ）＋ω₃ ｘ_i ｖ_i ＝（ｙ_i −ｙ_e ）ｔ_i ＋Ω₁ （ｙ_i ² ＋ｆ² ）−Ω₂ ｘ_i ｙ_i −ω₃ ｘ_i によって計算することを特徴とする。

【０００８】第３の発明の動画像解析方法は、第１の発
明の動画像解析方法において、運動パラメータから理論
的に計算される移動ベクトルｖ_i ＝（ｕ_i ，ｖ_i ）を、
回転運動を表すパラメータ（ｕ_r ，ｖ_r ）および並進運
動を表すパラメータ（ｘ_e ，ｙ_e ）から、式 ｕ_i ＝（ｘ_i −ｘ_e ）ｔ_i ＋ｕ_r ｖ_i ＝（ｙ_i −ｙ_e ）ｔ_i ＋ｖ_r によって計算することを特徴とする。

【０００９】第４の発明の動画像解析方法は、第２の発
明の動画像解析方法において、動画像から検出された移
動ベクトルと運動パラメータから理論的に計算される移
動ベクトルとの全体の差異Ｐを最小にする運動パラメー
タを、回転運動を表すパラメータ（Ω₁ ，Ω₂ ，
ω₃ ）、ｔ_i および並進運動を表すパラメータ（ｘ_e ，
ｙ_e）の各々に関する最適化を順次、繰り返して行うこ
とにより求めることを特徴とする。

【００１０】第５の発明の動画像解析方法は、第３の発
明の動画像解析方法において、動画像から検出された移
動ベクトルと運動パラメータから理論的に計算される移
動ベクトルとの全体の差異Ｐを最小にする運動パラメー
タを、回転運動を表すパラメータ（ｕ_r ，ｖ_r ）、ｔ_i
および並進運動を表すパラメータ（ｘ_e ，ｙ_e ）の各々
に関する最適化を順次、繰り返して行うことにより求め
ることを特徴とする。

【００１１】第６の発明の動画像解析方法は、環境に対
して相対運動をするカメラによって撮影された動画像上
の各点での移動ベクトル（オプティカルフロー）と、該
カメラの運動に関する情報（運動パラメータ）を用い
て、環境に対して移動している物体を検出する動画像解
析方法に於いて、前記動画像から検出された移動ベクト
ルｖ_{d i} と、前記運動パラメータから理論的に計算され
た移動ベクトルｖ_i との差異ε_i ² を、前記動画像から
検出された移動ベクトルの信頼性を表すベクトル
ｒ_{1 i} ，ｒ_{2 i} を用いて、式 ε_i ² ＝（（ｖ_{d i} −ｖ_i ）・ｒ_{1 i} ）² ＋（（ｖ_{d i} −ｖ_i ）・ｒ_{2 i} ）² によって計算し、該差異の値を用いて前記移動している
物体を検出することを特徴とする。

【００１２】第７の発明の動画像解析方法は、第６の発
明の動画像解析方法において、カメラの運動パラメータ
を、第４の発明の動画像解析方法によって求めることを
特徴とする。

【００１３】第８の発明の動画像解析方法は、第６の発
明の動画像解析方法において、カメラの運動パラメータ
を、第５の発明の動画像解析方法によって求めることを
特徴とする。

【００１４】

【作用】初めに、静止環境中のカメラの運動により生じ
る画像上の移動ベクトル場（オプティカルフローと呼
ぶ）について述べる。カメラの座標系（Ｘ，Ｙ，Ｚ）を
図３に示すように設定する。すなわち、レンズ中心を原
点０とし、Ｚ軸がカメラの光軸と一致するように選ぶ。
Ｚ＝ｆで表される面を撮像面とし、撮像面の座標系
（ｘ，ｙ）を、ｘおよびｙ軸がカメラの座標系のＸおよ
びＹ軸と同じ方向を向くように設定する。ここでｆは焦
点距離である。物体上の点Ｐ＝（Ｘ，Ｙ，Ｚ）が投影さ
れる撮像面上の点をｐ＝（ｘ，ｙ）とすると、これらの
間には式１で示す関係がある。

【００１５】

【数３】

【００１６】カメラの任意の瞬間的運動（速度）は、並
進成分と回転成分の合成によって表すことができる。い
ま、カメラの座標系は静止環境に対し並進速度Ｔと、カ
メラの座標系の原点０を中心とした回転速度ωを持って
いるとする。この２つのベクトルＴとωが運動パラメー
タである。このとき、静止環境上の点Ｐはカメラの座標
系に対し並進速度−Ｔ、原点０に対する回転速度−ωの
運動を行っていることに等しい。従ってＴおよびωの各
成分をカメラの座標系によって表せば、点Ｐのカメラの
座標系に対する速度Ｖは、点Ｐの位置ベクトルをｒとし
て次のようになる。

【００１７】 Ｖ＝−ω×ｒ−Ｔ （２） ここで、式２の各ベクトルの成分を Ｖ＝（Ｘ’，Ｙ’，Ｚ，）^T （３） ｒ＝（Ｘ ，Ｙ ，Ｚ ）^T Ｔ＝（τ₁ ，τ₂ ，τ₃ ）^T ω＝（ω₁ ，ω₂ ，ω₃ ）^T として、Ｖの各成分を書き下せば式４を得る。

【００１８】 Ｘ’＝−τ₁ −ω₂ Ｚ＋ω₃ Ｙ （４） Ｙ’＝−τ₂ −ω₃ Ｘ＋ω₁ Ｚ Ｚ’＝−τ₃ −ω₁ Ｙ＋ω₂ Ｘ この点Ｐの運動により生じる画像上の点ｐの速度ｖ＝
（ｕ，ｖ）は、式１で示される点ｐの座標（ｘ，ｙ）を
時間微分することにより得られる。

【００１９】

【数４】

【００２０】式４を上式に代入し、式１の関係を用いて
整理することにより、次式が得られる。

【００２１】 ｕ ＝ｕ_t ＋ｕ_r （６） ｖ ＝ｖ_t ＋ｖ_r ｕ_t ＝（τ₃ ｘ−Ｔ₁ ）／Ｚ （７） ｖ_t ＝（τ₃ ｙ−Ｔ₂ ）／Ｚ ｕ_r ＝Ω₁ ｘｙ−Ω₂ （ｘ² ＋ｆ² ）＋ω₃ ｙ （８） ｖ_r ＝Ω₁ （ｙ² ＋ｆ² ）Ω₂ ｘｙ−ω₃ ｘ ただし Ｔ₁ ＝ｆτ₁ ，Ｔ₂ ＝ｆτ₂ （９） Ω₁ ＝ω₁ ／ｆ，Ω₂ ＝ω₂ ／ｆ 静止環境中の各点は、それぞれの撮像面上の位置（ｘ，
ｙ）により、式６で示される速度（ｕ，ｖ）を撮像面上
で持つことになる。したがって、この（ｕ，ｖ）がカメ
ラの運動により生じるオプティカルフローである。式６
は、オプティカルフロー（ｕ，ｖ）がカメラの並進運動
によって生じる並進成分（ｕ_t ，ｖ_t ）と回転運動によ
って生じる回転成分（ｕ_r ，ｖ_r ）の和によって表され
ることを示している。回転成分（ｕ_r ，ｖ_r ）は、カメ
ラの回転速度ωと撮像面上の位置（ｘ，ｙ）によって一
意に定まるが、並進成分（ｕ_t ，ｖ_t ）はカメラの並進
速度Ｔと撮像面上の位置（ｘ，ｙ）の他に点Ｐの３次元
空間中でのＺ座標の値にも依存することが分かる。ここ
で、並進成分（ｕ_t ，ｖ_t ）を次のように書き換える。

【００２２】 ｕ_t ＝（ｘ−ｘ_e ）ｔ （１０） ｖ_t ＝（ｙ−ｙ_e ）ｔ ただし ｘ_e ＝ｆ（τ₁ ／τ₃ ），ｙ_e ＝ｆ（τ₂ ／τ₃ ），ｔ＝τ₃ ／Ｚ （１１） ｔがＺに依存するので、（ｕ_t ，ｖ_t ）の大きさはＺに
依存するが、その方向はＺに依存しない撮像面上の点
（ｘ_e ，ｙ_e ）を向くことが分かる。この点はＦＯＥ
（Ｆｏｃｕｓ ｏｆ Ｅｘｐａｎｓｉｏｎ）と呼ばれ
る。

【００２３】さて、オプティカルフローからカメラの移
動パラメータを検出することは、撮像面上の移動ベクト
ルｖの分布が与えられたときに、Ｔおよびωを決定する
ことであるが、並進速度Ｔの大きさはオプティカルフロ
ーからのみでは決定できない。これは次の事情による。
式１１に示される各値は、Ｔの各成分およびＺにある定
数を乗じても変化しない。これはＴの各成分とＺの比が
同じならば、同じオプティカルフローが生じることを示
している。従って、可能なことはＴの各成分の比、言い
替えればＴの方向を求めることのみである。この任意性
は式１１の関係のみに含まれているので、（ｘ_e ，
ｙ_e ），ｔ，ωはオプティカルフローから決定すること
ができる。以降、（ｘ_e ，ｙ_e ），ωを運動パラメータ
と呼ぶ。ｔは点Ｐのｚ座標値Ｚを反映する量で撮像面上
の各位置について独立に存在する。

【００２４】以上の議論より、解くべき問題は移動ベク
トルｖの分布が与えられたときに、運動パラメータ（ｘ
_e ，ｙ_e ），ωを決定することであるが、原理的には画
像上の８点で移動ベクトルが与えられればこの問題を解
くことができる（Ｈ．Ｃ．Ｌｏｎｇｕｓｔ−Ｈｉｇｇｉ
ｎｓ，「Ａ ｃｏｍｐｕｔｅｒ ａｌｇｏｒｉｔｈｍｆ
ｏｒ ｒｅｃｏｎｓｔｒｕｃｔｉｎｇ ａ ｓｃｅｎｅ
ｆｒｏｍ ｔｗｏｖｉｅｗｓ」，Ｎａｔｕｒｅ，２９
３−１０，１９８１，ｐｐ．１３３−１３５）。しか
し、この手法が現実性を持つような正確な移動ベクトル
を検出することが不可能なので、多数の点で計測した移
動ベクトルを用いて、それらに最も良く当てはまる
（ｕ，ｖ）を生成する運動パラメータを求め、それを解
とする。いま、移動ベクトルが計測された点がＮ点ある
とし、第ｉ番目の計測された移動ベクトルをｖ_{d i} ＝
（ｕ_{d i} ，ｖ_{d i} ）、運動パラメータから計算されるそ
の点での移動ベクトルをｖ_i ＝（ｕ_i ，ｖ_i ）とする。
これらのベクトルの差異を表す量ε_i ² を、移動ベクト
ルの信頼性を考慮して定義すると次式となる。

【００２５】 ε_i ² ＝（δｖ_i ・ｒ_{1 i} ）² ＋（δ_ｖi ・ｒ_{2 i} ）² （１２） δｖ_i ＝ｖ_{d i} −ｖ_i ただし、（ａ・ｂ）はベクトルａとｂの内積を表す。こ
こで、ベクトルｒ_{1 i} ，ｒ_{2 i} は移動ベクトルの信頼性
を表すベクトルで、たとえばθ方向の信頼性Ｒ_θ は次式
で表される（太田直哉，「信頼性指標を持つ移動ベクト
ルの検出」，コンピュータビジョン’９０，シンポジウ
ム論文集，１９９０−８，ｐｐ．２１−３０）。

【００２６】

【数５】

【００２７】δｖ_i の方向をθとすると、 δｖ_i ＝｜δｖ_i ｜ｅ となるので、式１２のε_i ² は次式で表される。

【００２８】ε_i ² ＝（Ｒ_θ ｜δｖ_i ｜）² このことより、ベクトルの差異は、実際のベクトルの差
δｖ_i をその方向の信頼性で重み付けし、自乗したもの
で測られることになる。さて、移動ベクトル場全体の差
異は、個々のベクトルの差異を合計した値Ｐで測られ
る。

【００２９】

【数６】

【００３０】この値Ｐはエネルギーと呼ばれる。解くべ
き問題は「ｖ_{d i} ，ｒ_{1 i} ，ｒ_{2 i} が与えられたとき、
エネルギーＰを最小にする（ｘ_e ，ｙ_e ），ｔ_i ，ωを
求めること」となる。ここで、各変数に付加された添え
字ｉはｉ番目の点に関するものであることを示し、全体
でＮ個ある。この問題は制約なしの非線形最適化問題で
あるので、この問題は最急降下法、共役勾配法などを用
いて解かれる（「最適化」，岩波講座情報科学−１９，
岩波書店，１９８２）。以上述べた手法により、動画像
から検出された移動ベクトルの信頼性を考慮した運動パ
ラメータの検出が可能となる。

【００３１】次に、検出された運動パラメータを用いた
移動物体検出処理について述べる。基本的な考え方は次
のとおりである。運動パラメータが決定されれば、その
運動によって生じうるオプティカルフローが分かる。こ
のオプティカルフローは、カメラは静止環境を運動して
いるという仮定の下に計算された結果であるので、もし
そのオプティカルフローで表せない移動をしている部分
があれば、その部分は静止環境に対し移動している物体
であると考えられる。式１２に示されているε_i ² は、
移動ベクトルの信頼性を考慮して理論的に計算される移
動ベクトルｖ_i＝（ｕ_i ，ｖ_i ）と実際に検出された移
動ベクトルｖ_{d i} ＝（ｕ_{d i} ，ｖ_{d i} ）との差を計算し
た結果であるので、移動ベクトルが信頼性高く検出でき
ているにも関わらず、理論的に計算される移動ベクトル
と合わない時に大きな値をとる。従って、上述の移動物
体の領域は、ε_i ² が大きな値を示している部分を検出
することによって求めることができる。

【００３２】

【実施例】前述のごとく、移動ベクトルの信頼性を考慮
して運動パラメータを求めるために解くべき問題は制約
なしの非線形最適化問題であり、様々な非線形最適化手
法を用いて解くことができる。しかしこの問題では、変
数を（Ω₁ ，Ω₂ ，ω₃ ），ｔ_i および（ｘ_e ，ｙ_e ）
の３つのグループに分けると、それぞれのグループで
は、Ｐを最小にする値を解析的に求めることができると
いう特徴があるので、この特徴を生かした効率的なアル
ゴリズムを構成することができる。すなわち最初に（Ω
₁ ，Ω₂ ，ω₃ ）以外の変数を固定して、Ｐを最小にす
る（Ω₁ ，Ω₂，ω₃ ）を求める。次に（ｘ_e ，ｙ_e ）
について同じことを行い、さらにｔ_i について行う。こ
れらの処理を１サイクルとして、解が収束するまでこの
処理を繰り返す。まず、（ｘ_e ，ｙ_e ）について、Ｐを
最小にする値（ｘ_{e 0} ，ｙ_{e 0} ）の計算法について述べ
る。求めるべき値は、Ｐのｘ_e ，ｙ_e に対する偏微分を
計算し、それぞれを０と置くことにより得られる。

【００３３】

【数７】

【００３４】ここでｒ_{1 x i} ，ｒ_{1 y i} および
ｒ_{2 x i} ，ｒ_{2 y i} は、それぞれ信頼性を表すベクトル
ｒ_{1 i} ，ｒ_{2 i} のｘおよびｙ成分である。また、
ｕ_{r i} ，ｖ_{r i} は式８により計算される。次に、Ｐを最
小にするｔ_i についても同様にして、Ｐをｔ_iで偏微分
し、０と置くことにより得られる。求めるべき値をｔ
_{i 0} と表記する。

【００３５】

【数８】

【００３６】ここに、ａ_i ，ｂ_i ，ｈ_i は式２０、ｕ
_{r i} ，ｖ_{r i} は式８で計算される。同様にして、Ｐを最
小にするΩ₁ ，Ω₂ ，ω₃ をΩ_{1 0} ，Ω_{2 0} ，ω_{3 0} と
すれば、これらの値は次式で与えられる。

【００３７】

【数９】

【００３８】

【数１０】

【００３９】

【数１１】

【００４０】上式において、ａ_i ，ｂ_i ，ｈ_i は式２
０、ｕ_{t i} ，ｖ_{t i} は式１０を用いて計算される。これ
らの結果より、運動パラメータを求めるためのアルゴリ
ズムは図１に示すものになる。まず、ステップ１で各パ
ラメータに初期値を与える。初期値は実際の値に近い方
が望ましいので、たとえば、進行方向を向いたカメラか
ら得られた画像に対しては、Ω₁ ＝Ω₂ ＝ω₃ ＝０，ｔ
_i ＝０とし、ｘ_e ，ｙ_e は画像の中心とする。次にステ
ップ２で現在のエネルギーＰを計算し、変数Ｐ_b に設定
するとともに、繰り返し回数を保持する変数ｋに１をセ
ットする。ステップ３では（Ω₁ ，Ω₂ ，ω₃ ）に関す
る最適化を行う。すなわち、式２２を用いて（Ω_{1 0} ，
Ω_{2 0} ，ω_{3 0} ）を計算し、これを新たな（Ω₁ ，
Ω₂ ，ω₃ ）とする。ステップ４に於いて、式２１を用
いてｔ_{i 0} を計算して新たなｔ_i とし、ステップ５に於
いて、式１７を用いて（ｘ_{e 0} ，ｙ_{e 0} ）を計算しこれ
を新たな（ｘ_e ，ｙ_e ）とする。次に、ステップ６に於
いて収束の判定を行う。すなわち、この段階でのエネル
ギーＰを計算し、１サイクル前のエネルギーＰ_b と比較
する。エネルギーの減少量がＰ_e に等しいかより小さい
場合反復を終了する。また、反復回転ｋがｋ_e に等しい
場合にも反復を終了する。ここに、Ｐ_e は収束判定用の
定数であり、ｋ_e は最大の反復回数である。反復の終了
条件が満たされない場合はステップ７に進み、ステップ
６で計算したエネルギーＰをＰ_b に代入し、反復回数ｋ
に１を加えてステップ３に戻る。このように、ステップ
３，４，５，６，７によって反復演算の１サイクルが構
成される。ここでは、収束の判定をエネルギーＰの減少
量で行ったが、簡単には反復回数ｋのみで行うこともで
きる。以上のアルゴリズムで運動パラメータ（ｘ_e ，ｙ
_e ），ωとｔ_i をが求まる。

【００４１】以上の議論では完全な回転運動を扱った
が、一般に移動ロボットや自動車などの地上を移動する
物体は地平面に束縛されているので、カメラの光軸を地
平面と平行に設置すれば、Ｚ軸回りの回転運動は小さい
と仮定できる。また、カメラに画角が小さいもの（望遠
レンズに近いもの）を使えば、物体の撮像面上の位置
（ｘ，ｙ）は焦点距離ｆに較べて十分小さいと仮定でき
る。これらの仮定を行うと、運動パラメータの計算をあ
る程度単純化できる。これらの仮定を数式で表すと次の
ようになる。

【００４２】

【数１２】

【００４３】この条件を用いて式８を形成すると次式と
なる。

【００４４】 ｕ_r ≒Ω₁ ｘｙ−Ω₂ ｆ² （２４） ｖ_r ≒Ω₁ ｆ² −Ω₂ ｘｙ また、ｕ_r の式Ω₁ ｘｙはｖ_r の式Ω₁ ｆ² に対し無視
でき、ｖ_r の式のΩ₂ ｘｙはｕ_r の式Ω₂ ｆ² に対して
無視できるので、式２４はさらに次式のように変形でき
る。

【００４５】 ｕ_r ≒−Ω₂ ｆ² （２５） ｖ_r ≒ Ω₁ ｆ² すなわち、（ｕ_r ，ｖ_r ）は画像上の位置によらず一定
値になる。運動パラメータを計算するには図１に示した
アルゴリズムに次の変更を加えれば良い。ステップ４お
よび５で使用する計算式、式２１，１７に含まれるｕ
_{r i} ，ｖ_{r i} を定数ｕ_r ，ｖ_r に置き換える。ステップ
３の（Ω₁ ，Ω₂ ，ω₃ ）に関する最適化は（ｕ_r ，ｖ
_r ）に関する最適化になり、次の式で計算される。次式
に於いて（ｕ_{r 0} ，ｖ_{r 0} ）がＰを最小にする（ｕ_r ，
ｖ_r ）であり、ステップ３に於いて、この値を新たな
（ｕ_r ，ｖ_r ）として設定する。

【００４６】

【数１３】

【００４７】このアルゴリズムからはＰを最小にするｘ
_e ，ｙ_e ，ｔ_i およびｕ_r ，ｖ_r が計算されるが、必要
な場合には、式２５によってΩ₁ ，Ω₂ へ変換される。

【００４８】さて次に、上述の方法で検出された運動パ
ラメータを用いて移動物体を検出する処理について述べ
る。運動パラメータ（Ω₁ ，Ω₂ ，ω₃ ）及び（ｘ_e ，
ｙ_e）とｔ_i が与えられているので、式６，８，１０、
または式６，１０，２５を用いて任意の画像上の点（ｘ
_i ，ｙ_i ）で、オプティカルフローを構成する移動ベク
トルｖ_i ＝（ｕ_i ，ｖ_i ）を計算する。次に実際に検出
された移動ベクトルｖ_{d i} ＝（ｕ_{d i} ，ｖ_{d i} ）とその
信頼性を表すベクトルｒ_{1 i} ＝（ｒ_{1 i} ，ｒ_1i ）およ
びｒ_{2 i} ＝（ｒ_{2 i} ，ｒ_{2 i} ）を用いて、式１２により
ε_i ² を計算する。このε_i ² があるしきい値よりも大
きい部分を移動物体領域として検出する。また、移動物
体の写っている領域がある程度大きいと期待できる場合
には、しきい値処理を行う前に画像上で平滑化処理を行
うことが有効である。以上では、運動パラメータ検出処
理に本特許で述べた方法を用いるとしたが、その他の方
法によって検出された運動パラメータを使用することも
可能である。この場合には、一般にｔ_i が与えられない
ので、式２１を用いてｔ_i を求めてからε_i ² を計算す
る。

【００４９】

【発明の効果】本発明により、動画像から検出された移
動ベクトルの信頼性を有効に使用して、カメラの運動パ
ラメータを精度良く計算すること、また、環境中を移動
する物体を精度良く検出することが可能になる。

【図面の簡単な説明】

【図１】運動パラメータの計算方法を示す図

【図２】一般的な運動パラメータ検出処理の構成を示す
図

【図３】カメラの撮像系と撮影される物体との関係を示
す図

【符号の説明】

２１ 移動ベクトル検出処理 ２２ 運動パラメータ計算処理

Claims (8)

【特許請求の範囲】
1. 【請求項１】 環境に対して相対運動をするカメラによ
   って撮影された動画像上の各点での移動ベクトルを用い
   て、該カメラの運動パラメータを検出する動画像解析方
   法に於いて、前記動画像から検出された移動ベクトルｖ
   _{d i} と、ある運動パラメータから理論的に計算された移
   動ベクトルｖ_i との差異ε_i ² を、前記動画像から検出
   された移動ベクトルの信頼性を表すベクトルｒ_{1 i} ，ｒ
   _{2 i} を ε_i ² ＝（（ｖ_{d i} −ｖ_i ）・ｒ_{1 i} ）² ＋（（ｖ_{d i} −ｖ_i ）・ｒ_{2 i} ）² とし、該差異の各移動ベクトルに関する合計 【数１】 を最小にする運動パラメータを実際のカメラの運動パラ
   メータとして検出する動画像解析方法。
2. 【請求項２】 運動パラメータから理論的に計算される
   移動ベクトルｖ_i ＝（ｕ_i ，ｖ_i ）を、回転運動を表す
   パラメータ（Ω₁ ，Ω₂ ，ω₃ ）および並進運動を表す
   パラメータ（ｘ_e ，ｙ_e ）から、式 ｕ_i ＝（ｘ_i −ｘ_e ）ｔ_i ＋Ω₁ ｘ_i ｙ_i −Ω₂ （ｘ_i ² ＋ｆ² ）＋ω₃ ｙ_i ｖ_i ＝（ｙ_i −ｙ_e ）ｔ_i ＋Ω₁ （ｙ_i ² −ｆ² ）−Ω₂ ｘ_i ｙ_i −ω₃ ｘ_i によって計算することを特徴とする請求項１記載の動画
   像解析方法。
3. 【請求項３】 運動パラメータから理論的に計算される
   移動ベクトルｖ_i ＝（ｕ_i ，ｖ_i ）を、回転運動を表す
   パラメータ（ｕ_r ，ｖ_r ）および並進運動を表すパラメ
   ータ（ｘ_e ，ｙ_e ）から、式 ｕ_i ＝（ｘ_i −ｘ_e ）ｔ_i ＋ｕ_r ｖ_i ＝（ｙ_i −ｙ_e ）ｔ_i ＋ｖ_r によって計算することを特徴とする請求項１記載の動画
   像解析方法。
4. 【請求項４】 動画像から検出された移動ベクトルと運
   動パラメータから理論的に計算される移動ベクトルとの
   全体の差異Ｐを最小にする運動パラメータを、回転運動
   を表すパラメータ（Ω₁ ，Ω₂ ，ω₃ ）、ｔ_i および並
   進運動を表すパラメータ（ｘ_e ，ｙ_e ）の各々に関する
   最適化を順次、繰り返して行うことにより求めることを
   特徴とする請求項２記載の動画像解析方法。
5. 【請求項５】 動画像から検出された移動ベクトルと運
   動パラメータから理論的に計算される移動ベクトルとの
   全体の差異Ｐを最小にする運動パラメータを、回転運動
   を表すパラメータ（ｕ_r ，ｖ_r ），ｔ_i および並進運動
   を表すパラメータ（ｘ_e ，ｙ_e ）の各々に関する最適化
   を順次、繰り返して行うことにより求めることを特徴と
   する請求項３記載の動画像解析方法。
6. 【請求項６】 環境に対して相対運動をするカメラによ
   って撮影された動画像上の各点での移動ベクトルと、該
   カメラの運動パラメータを用いて、環境に対して移動し
   ている物体を検出する動画像解析方法に於いて、前記動
   画像から検出された移動ベクトルｖ_{d i} と、前記運動パ
   ラメータから理論的に計算された移動ベクトルｖi との
   差異ε_i ² を、前記動画像から検出された移動ベクトル
   の信頼性を表すベクトルｒ_{1 i} ，ｒ_{2 i} を用いて、式 ε_i ² ＝（（ｖ_{d i} −ｖ_i ）・ｒ_{1 i} ）² ＋（（ｖ_{d i} −ｖ_i ）・ｒ_{2 i} ）² によって計算し、該差異の値を用いて前記移動している
   物体を検出することを特徴とする動画像解析方法。
7. 【請求項７】 カメラの運動パラメータを、請求項４記
   載の動画像解析方法によって求めることを特徴とする請
   求項６記載の動画像解析方法。
8. 【請求項８】 カメラの運動パラメータを、請求項５記
   載の動画像解析方法によって求めることを特徴とする請
   求項６記載の動画像解析方法。