JPH08249470A

JPH08249470A - オプティカルフロー推定方法

Info

Publication number: JPH08249470A
Application number: JP7056238A
Authority: JP
Inventors: Koji Miyajima; 耕治宮島; Naoki Takegawa; 直樹武川
Original assignee: N T T DATA TSUSHIN KK; NTT Data Communications Systems Corp
Current assignee: N T T DATA TSUSHIN KK; NTT Data Group Corp
Priority date: 1995-03-15
Filing date: 1995-03-15
Publication date: 1996-09-27

Abstract

(57)【要約】【目的】オプティカルフローの推定において、各画素
におけるオプティカルフロー毎に、推定結果の妥当性を
示す信頼度を求める。【構成】初期設定及び処理画像の初期化等を行って
(Ｓ１、Ｓ２)各画素毎に輝度勾配を算出し(Ｓ３)、所定
の拘束条件と前記輝度勾配とによって画像中の移動物体
のオプティカルフローを各画素毎に推定する(Ｓ４)。さ
らに、画素の輝度値と、注目画素の周辺の画素の輝度値
とを変量とする輝度分布を各画素毎に生成し、各画素毎
における輝度分布の分散を求め、前記画素毎に求められ
た輝度分布の分散から、当該画素におけるオプティカル
フローの信頼度を推定する(Ｓ５)。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は画像処理、画像認識シス
テム、移動物体検出等に用いられる動画像解析技術に関
し、特に、移動ベクトルの分布、すなわちオプティカル
フローの推定処理技術に関する。

【０００２】

【従来の技術】従来、連続画像からオプティカルフロー
推定によって時系列画像（動画）から移動物体の解析を
行う場合には画像間差分が用いられている。これは、入
力画像上の点（ｘ，ｙ）と、その移動ベクトル（ｕ，
ｖ）との間には、画像の空間的な明るさの差分を
（Ｉ_x，Ｉ_y）、画像間の明るさの差分をＩ_tとして近似
的に以下の式が成立することを用いた解析手法である。

【０００３】

【数１】Ｉ_x・ｕ＋Ｉ_y・ｖ＋Ｉ_t＝０・・・(1) しかし、この式からは未知数であるｕ，ｖを確定するこ
とはできず、他の拘束条件が必要となる。これについて
は、例えば、「Determining Optical Flow」（Artifici
al Intelligence 17 185〜203頁（1981））に記載され
た技術を参考にすることができる。この技術において
は、「画像中の移動物体が剛体である」、「画像中の近
傍のオプティカルフローは滑らかである」、という二つ
の仮定をそれぞれ所定の評価関数で表し、いわゆる弛緩
法を用いてこれらの二つの評価関数の和を最小化させる
ことによってオプティカルフロー推定を行っている。具
体的には、αを重み係数として、繰り返し演算によっ
て、次式を最小にするｕ，ｖを求めている。

【０００４】

【数２】Ｉ＝Σ［(Ｉ_x・ｕ＋Ｉ_y・ｖ＋Ｉ_t)² ＋α²(ｕ_x＋ｕ_y＋ｖ_x＋ｖ_y)］ …(2) 但し、ｕ_ｘはｄｕ／ｄｘ，ｕ_yはｄｕ／ｄｙ，ｖ_ｘはｄ
ｖ／ｄｘ，ｖ_yはｄｖ／ｄｙである。以下、この実施例
において同様とする。弛緩法によってこの評価関数最小
化する際には、求めるオプティカルフローが収束したと
きに反復処理を終了させるのが一般的である。

【０００５】

【発明が解決しようとする課題】しかしながら、オプテ
ィカルフロー推定過程においては、カメラのレンズの歪
みなどから生じる画像のノイズや、オプティカルフロー
推定の処理過程における数値演算の結果により、同一画
像平面上であっても、得られたオプティカルフロー推定
結果の信頼度は大きく異なる場合が生じ得る。特に、数
値演算時に０に近い値で除算した場合には、推定結果の
信頼度は低くなる。このため、反復処理でオプティカル
フローが十分収束しても、得られたオプティカルフロー
における信頼度は場所によって異なり、更に、どの部分
が信頼できる推定結果なのかを判断することも非常に困
難となる。

【０００６】本発明の課題は、上記問題点に鑑み、オプ
ティカルフローの推定において、各画素におけるオプテ
ィカルフロー毎に、推定結果の妥当性を示す信頼度を求
める技術を提供することにある。

【０００７】

【課題を解決するための手段】上記課題を解決するた
め、本発明は、複数の画素から成る時系列画像を解析し
てオプティカルフローを推定する、新たな方法を提供す
る。この方法は、各画素毎に導出した輝度勾配に基づい
て前記画像中に存する移動物体のオプティカルフローを
各画素毎に推定する推定演算ステップと、所定の終了条
件が満たされるまで前記推定演算ステップを反復するス
テップとを有し、反復される各推定演算ステップは、各
画素及びその周辺画素の輝度値を変量とする輝度分布と
その分散を画素毎に導出し、この輝度分布の分散から当
該画素におけるオプティカルフローの信頼度を推定する
ことを特徴とする。

【０００８】上記構成において、個々の画素について導
出される前記輝度分布の平均値を当該画素の輝度値とす
ることが好ましく、また、前記反復される各推定演算ス
テップは、推定演算を行う画素毎に、演算前の輝度分布
の分散と当該画素における輝度勾配の分散とに基づいて
演算後の輝度分布の分散を導出することが好ましい。そ
の具体的手法としては、例えば、生成した分布の分散と
輝度勾配とを適当な値で正規化することで、分散による
影響度と輝度勾配による影響度とをそれぞれ適切な大き
さとすることが挙げられる。また、各推定演算ステップ
は、個々の画素におけるオプティカルフローの信頼度を
推定する度に該推定結果が所定の信頼度基準を満たすか
否かを判定し、満たさなくなった時点で該推定演算処理
を終了するものとする。

【０００９】

【作用】本発明では、各画素及びその周辺画素の輝度値
を変量とする輝度分布とその分散を画素毎に導出する。
時系列画像にカメラのレンズの歪みなどから生じるノイ
ズ等が存在する場合、ノイズに対応する画素における輝
度データは、真の輝度値とは異なる値となる。この場
合、上述のように、生成した輝度の分散の値は大きくな
るので、この値によって、画素毎に生成されるオプティ
カルフローの信頼度が推定される。このように、上記輝
度分布の分散は入力画像の信頼度を表すので、生成され
るオプティカルフローの信頼度を入力画像の信頼度から
推定することが可能となる。特に、ノイズがない場合に
は、測定された輝度がそのまま真の輝度値であると考え
られるので、上記生成した輝度分布における平均値が当
該画素の輝度値となるように輝度分布を生成する。ま
た、各画素における輝度勾配は、ノイズ等と密接な関係
があるので、オプティカルフローを推定する際に、この
輝度勾配を考慮する。なお、信頼度が低くなった状態で
は、オプティカルフローの推定演算を行う意義がなくな
る。この状態でオプティカルフローの推定演算を行うこ
とは無意味である一方、処理時間は長くなってしまう。
そこで、個々の画素におけるオプティカルフローの信頼
度を推定する度に該推定結果が所定の信頼度基準を満た
すか否かを判定し、満たさなくなった時点で該推定演算
処理を終了することで、このような無駄な処理時間がな
くなり、一定以上の信頼度を有するオプティカルフロー
が短時間で得られる。

【００１０】

【実施例】次に、図面を参照して本発明の好適な実施例
を詳細に説明する。本実施例においては、従来技術と同
様に、入力画像上の点（ｘ，ｙ）、その移動ベクトル
（ｕ，ｖ）、画像の空間的な明るさの差分（Ｉ_x，
Ｉ_y）、画像間の明るさの差分Ｉ_t（時間ｔに関する明る
さの差分）の間に近似的に成立する(1)式を用いて解析
を行い、(2)式の評価関数を最小とするｕ，ｖを弛緩法
を用いた反復演算によって求める。これら(1)，(2)式を
以下に再褐する。

【００１１】

【数３】Ｉ_x・ｕ＋Ｉ_y・ｖ＋Ｉ_t＝０ …(1) Ｉ＝Σ［(Ｉ_x・ｕ＋Ｉ_y・ｖ＋Ｉ_t)² ＋α²(ｕ_x＋ｕ_y＋ｖ_x＋ｖ_y)］…(2)

【００１２】各演算を行う毎にオプティカルフロー画像
が生成されるが、本実施例では、このオプティカルフロ
ー画像に加えて各ｕ，ｖの信頼度を示す画像をも生成す
る。信頼度の指標としては、該画像の空間的な明るさ及
び画像間の明るさの差分における分散、具体的にはｘ，
ｙ，ｔ方向の輝度勾配画像の各画素における分散を用い
る。

【００１３】一般に、分散はデータの散らばり具合を示
し、この値が小さいほど一定値に近いデータが得られて
いることを示す。従って、明るさの差分の分散が小さい
と真値からのずれは小さく抑えられ、分散が大きいと真
値からのずれが大きくなる可能性がでてくる。従って、
求めるオプティカルフローに対応する分散の値が小さい
ほど、求めたオプティカルフローの信頼度は高くなる。
このように、分散を用いることで、得られたオプティカ
ルフローの信頼度評価が可能となる。

【００１４】本実施例では、弛緩法によって所定回数反
復演算を行った後に、最終的なオプティカルフロー画像
及び信頼度を示す画像を出力する。出力された信頼度を
示す画像は、オプティカルフロー推定により得られた画
像に対応して、画像各部における信頼度を表すので、推
定結果の評価を容易に行うことが可能となる。

【００１５】次に、上記オプティカルフロー推定処理の
実現手段について説明する。図１は本実施例による機能
ブロック構成図である。図１において、符号１は時系列
画像入力部、２は初期設定部、３は輝度勾配画像算出
部、４はオプティカルフロー推定部、５はフロー画像格
納部、６は信頼度算出部、７は分散画像格納部、８は終
了判定部、９は出力部である。時系列画像入力部１、初
期設定部２、輝度勾配画像算出部３、オプティカルフロ
ー推定部４、信頼度算出部６、及び終了判定部８は、例
えばプログラムされたＣＰＵで実現されるモジュールで
あり、フロー画像格納部５及び分散画像格納部７は磁気
ディスク、あるいは上記ＣＰＵの内部メモリに格納され
る。出力部９は例えば表示装置である。

【００１６】以下、上記各部の処理手順を図２を参照し
て説明する。なお、図２中、Ｓは処理ステップである。
時系列画像は時系列画像入力部１より入力される。初期
設定部２では、弛緩法における反復終了回数Ｎ、評価関
数の重みαを設定し（Ｓ１）、さらに、反復回数ｎを設
定し、水平方向のフローと垂直方向のフローｕ₀，ｖ₀の
初期画像を０で初期化し、フローｕ，ｖの信頼度を示す
画像を、例えばｕ_r，ｖ_rで初期化する（Ｓ２）。輝度勾
配画像算出部３では、入力画像Ｉ(x,y,t)に対して、(3)
式で示されるｘ，ｙ，ｔ方向の輝度勾配画像を生成する
（Ｓ３）。

【００１７】

【数４】Ｉ_x(x,y,t)＝［Ｉ(x+1,y,t)−Ｉ(x-1,y,t)］／２Ｉ_y(x,y,t)＝［Ｉ(x,y+1,t)−Ｉ(x,y-1,t)］／２ …(3) Ｉt(x,y,t)＝Ｉ(x,y,t+1)−Ｉ(x，y，t) オプティカルフロー推定部４では、ｘ，ｙ，ｔ方向の輝
度勾配画像から、(4)式で示される水平方向のフローｕ
と垂直方向のフローｖとを弛緩法で求め、フロー画像格
納部５に格納する（Ｓ４）。

【００１８】

【数５】

【００１９】なお、画像の任意の座標（ｉ，ｊ）におけ
る水平方向のフロー及び垂直方向のフローは、それぞれ
ｕ_ij、ｖ_ijと表されるが、(4)式では簡単のためにｕ，
ｖと略記している。また、(4)式でバーをつけて表した
ｕ，ｖは、それぞれ(5)式のように示され、座標（ｉ，
ｊ）の周囲の座標におけるフローの影響を加味して決定
される値である。(5)式の右辺の第１項は座標（ｉ，
ｊ）の左、右、下、上の各座標におけるフローの影響を
示し、第２項は座標（ｉ，ｊ）の左下、右下、左上、右
上の各座標におけるフローの影響を示している。この式
では、第１項の影響を第２項の影響の２倍に設定してい
る。

【００２０】

【数６】

【００２１】信頼度算出部６では、ｘ，ｙ，ｔの各輝度
勾配画像の各画素における分散と、ｎ回目に求められた
フローｕⁿ ，ｖⁿ の各画素における分散とから、(6)式で
示される、ｎ＋１回目に求められたフローｕⁿ⁺¹ ，ｖⁿ⁺¹
の分散を計算し、分散画像格納部７に格納する（Ｓ
５）。

【００２２】

【数７】

【００２３】なお、(6)式中のｄｕⁿ⁺¹ ／ｄＩ_x、ｄｕⁿ⁺¹
／ｄＩ_y等は、(4)式をＩ_x，Ｉ_y…で偏微分することによ
り得られる。終了判定部８では、反復回数ｎが反復終了
回数Ｎに達しているかを判定し（Ｓ６）、Ｎに達してい
ない場合にはＳ４に戻り（Ｓ７）、達していれば、最終
的に得られたオプティカルフロー画像及び分散画像を出
力部９に出力する（Ｓ８）。

【００２４】このようにして、オプティカルフロー画像
の各部における信頼度を表す分散画像を生成することが
できる。終了判定部８では、また、各画素毎の信頼度を
監視し、その信頼度が所定の基準よりも低くなった時点
でオプティカルフローの推定を終了する。このように信
頼度を監視して終了判定を行うことで、無駄な処理時間
が生じなくなり、効率的な処理が可能になる。

【００２５】

【発明の効果】以上の説明から明らかなように、本発明
によれば、オプティカルフローの推定を行う際に、従来
は不可能であった推定結果の評価が可能となる。また、
信頼度を監視してオプティカルフロー推定の終了判定を
行うので、推定精度が極度に低下することがなくなる。
さらに、無駄な処理時間を行うこともなくなるので、全
体的な処理時間も短縮される。

【図面の簡単な説明】

【図１】本発明の一実施例の機能ブロック構成図。

【図２】本実施例の処理手順を示すフローチャート。

【符号の説明】

１時系列画像入力部２初期設定部３輝度勾配画像生成部４オプティカルフロー推定部５フロー画像格納部６信頼度算出部７分散画像格納部８終了判定部９出力部

Claims

【特許請求の範囲】

【請求項１】複数の画素から成る時系列画像を解析し
てオプティカルフローを推定する方法であって、各画素
毎に導出した輝度勾配に基づいて前記画像中に存する移
動物体のオプティカルフローを各画素毎に推定する推定
演算ステップと、所定の終了条件が満たされるまで前記
推定演算ステップを反復するステップと、を有するオプ
ティカルフロー推定方法において、反復される各推定演算ステップは、各画素及びその周辺
画素の輝度値を変量とする輝度分布とその分散を画素毎
に導出し、この輝度分布の分散から当該画素におけるオ
プティカルフローの信頼度を推定することを特徴とする
オプティカルフロー推定方法。
【請求項２】個々の画素について導出される前記輝度
分布の平均値を当該画素の輝度値とすることを特徴とす
る請求項１記載のオプティカルフロー推定方法。
【請求項３】前記反復される各推定演算ステップは、
推定演算を行う画素毎に、演算前の輝度分布の分散と当
該画素における輝度勾配の分散とに基づいて演算後の輝
度分布の分散を導出することを特徴とする請求項１又は
２記載のオプティカルフロー推定方法。
【請求項４】各推定演算ステップは、個々の画素にお
けるオプティカルフローの信頼度を推定する度に該推定
結果が所定の信頼度基準を満たすか否かを判定し、満た
さなくなった時点で該推定演算処理を終了することを特
徴とする請求項１ないし３のいずれかの項記載のオプテ
ィカルフロー推定方法。