JP3073715B2 - オプティカルフローを予測する局所緩和方法 - Google Patents
オプティカルフローを予測する局所緩和方法Info
- Publication number
- JP3073715B2 JP3073715B2 JP09334574A JP33457497A JP3073715B2 JP 3073715 B2 JP3073715 B2 JP 3073715B2 JP 09334574 A JP09334574 A JP 09334574A JP 33457497 A JP33457497 A JP 33457497A JP 3073715 B2 JP3073715 B2 JP 3073715B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- optical flow
- equation
- velocity
- symbol
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、オプティカルフロ
ー予測のための局所緩和方法（以下、LRという）に係
り、特に、ポアソン方程式を用いた速度結合項の分離を
通じてオプティカルフローを予測する局所緩和方法に関
する。
ー予測のための局所緩和方法（以下、LRという）に係
り、特に、ポアソン方程式を用いた速度結合項の分離を
通じてオプティカルフローを予測する局所緩和方法に関
する。
【０００２】
【従来の技術】最近、オプティカルフローの予測時、局
所緩和方法の適用は、Gauss −Seidel法よりも優れた性
能を示す。しかしながら、LRを直接的に適用すること
は、オプティカルフローの予測問題を表現するポアソン
方程式が速度項に関して結合されているため、相対的に
遅い収束しか得られない。
所緩和方法の適用は、Gauss −Seidel法よりも優れた性
能を示す。しかしながら、LRを直接的に適用すること
は、オプティカルフローの予測問題を表現するポアソン
方程式が速度項に関して結合されているため、相対的に
遅い収束しか得られない。
【０００３】局所緩和アルゴリズム(LR)は、連続的な画
像フレームにおいて、輝度パターンの明らかな速度場の
オプティカルフロー予測に対して優れた性能を有してい
る。LRは調整パラメータに鈍感なマルチスケール(multi
scale)方法を用いて新たな調整方法と共に適用され得
る。LRは、空間的に変化する緩和パラメータを有する連
続的な過剰緩和(SOR）法の一種であり、オプティカルフ
ロー予測に適用する場合に、Gauss −Seidel(GS)緩和よ
りも優れている。しかし、LRをオプティカルフロー予測
に直接的に適用するとその性能が劣化する。何故なら
ば、オプティカルフロー場の２個の速度成分は、本質的
に結合されたポアソン方程式の組を与えるように結合さ
れているからである。ポアソン方程式を分離すること
は、結合されたそれぞれの速度成分が局所緩和係数を選
択するためヤコビ弛緩法に関してどのように表現できる
かを明らかにさせる。
像フレームにおいて、輝度パターンの明らかな速度場の
オプティカルフロー予測に対して優れた性能を有してい
る。LRは調整パラメータに鈍感なマルチスケール(multi
scale)方法を用いて新たな調整方法と共に適用され得
る。LRは、空間的に変化する緩和パラメータを有する連
続的な過剰緩和(SOR）法の一種であり、オプティカルフ
ロー予測に適用する場合に、Gauss −Seidel(GS)緩和よ
りも優れている。しかし、LRをオプティカルフロー予測
に直接的に適用するとその性能が劣化する。何故なら
ば、オプティカルフロー場の２個の速度成分は、本質的
に結合されたポアソン方程式の組を与えるように結合さ
れているからである。ポアソン方程式を分離すること
は、結合されたそれぞれの速度成分が局所緩和係数を選
択するためヤコビ弛緩法に関してどのように表現できる
かを明らかにさせる。
【０００４】この問題が境界値問題として定式化される
と、LRアルゴリズムはオプティカルフローに適用され得
る。この定式化は、次の数式１で表される用に、局所輝
度パターンが連続的な画像フレームの時間間隔の間に変
化しないことを仮定することに由来する輝度拘束式から
始まる。 ［数式１］ Ｉ（ｘ＋δx ，ｙ＋δy ，ｔ＋δt ) = Ｉ（ｘ，ｙ，
ｔ） 数式１はイメージポイント（ｘ，ｙ）周辺の強度パター
ンが、時間間隔δｔの間にパターンを変化させることな
く、（δx ，δy ）の量だけ移動することを意味する。
数式１の右辺を展開して高次項を無視すると、次のよう
な数式２に表現される。
と、LRアルゴリズムはオプティカルフローに適用され得
る。この定式化は、次の数式１で表される用に、局所輝
度パターンが連続的な画像フレームの時間間隔の間に変
化しないことを仮定することに由来する輝度拘束式から
始まる。 ［数式１］ Ｉ（ｘ＋δx ，ｙ＋δy ，ｔ＋δt ) = Ｉ（ｘ，ｙ，
ｔ） 数式１はイメージポイント（ｘ，ｙ）周辺の強度パター
ンが、時間間隔δｔの間にパターンを変化させることな
く、（δx ，δy ）の量だけ移動することを意味する。
数式１の右辺を展開して高次項を無視すると、次のよう
な数式２に表現される。
【０００５】［数式２］ Ｉ（ｘ＋δx ，ｙ＋δy ，ｔ＋δt ) = Ｉ（ｘ，ｙ，
ｔ）＋δx Ｉx ＋δy Ｉy ＋δt ここで、Ｉx ，Ｉy 及びＩt は、時刻ｔにおける位置
(x,y）の強度パターンの水平方向勾配、垂直方向勾配及
び時間的な勾配をそれぞれ示す。
ｔ）＋δx Ｉx ＋δy Ｉy ＋δt ここで、Ｉx ，Ｉy 及びＩt は、時刻ｔにおける位置
(x,y）の強度パターンの水平方向勾配、垂直方向勾配及
び時間的な勾配をそれぞれ示す。
【０００６】数式１と数式２を結合し、結合された数式
をδt で除算すると、強度パターンの勾配、すなわち、
変化率と速度との間の線形関係は次の数式３のように表
わされる。 ［数式３］ Ｉx ｕ＋Ｉy υ＋Ｉt ＝０ ここで、ｕ，υは水平方向速度のδx ／δt と垂直方向
速度δy ／δt をそれぞれ示す。
をδt で除算すると、強度パターンの勾配、すなわち、
変化率と速度との間の線形関係は次の数式３のように表
わされる。 ［数式３］ Ｉx ｕ＋Ｉy υ＋Ｉt ＝０ ここで、ｕ，υは水平方向速度のδx ／δt と垂直方向
速度δy ／δt をそれぞれ示す。
【０００７】数式３は局所速度ベクトルを推定するため
に用いられる。ところが、輝度拘束方程式は、よく知ら
れたアパーチャ問題のために、一般的な連続イメージを
表わすには望ましくない形態である。望ましくない形態
を定式化するために、HornとSchunk の方法は、滑らか
さ拘束条件を導入して次の最適化方程式（数式４）を導
いた。
に用いられる。ところが、輝度拘束方程式は、よく知ら
れたアパーチャ問題のために、一般的な連続イメージを
表わすには望ましくない形態である。望ましくない形態
を定式化するために、HornとSchunk の方法は、滑らか
さ拘束条件を導入して次の最適化方程式（数式４）を導
いた。
【０００８】
【数１】
【０００９】数式４の第２項は速度場の滑らかさからの
偏差の程度を表し、定数α2 は両方の拘束条件を調整す
るものである。数式４の最適化方程式から直接的に次の
結合ポアソン方程式が生成される。 ［数式５］ ▽ 2ｕ＝１／α2 Ｉx （Ｉx ｕ＋Ｉy υ＋Ｉt ） ▽ 2υ＝１／α2 Ｉy （Ｉx ｕ＋Ｉy υ＋Ｉt ） ここで、αは定数であり、このような数式５はオプティ
カルフローを見つけるためのポアソン方程式である。結
合されたそれぞれのポアソン方程式は、Jacobi緩和法(J
R)、Gayss Seidel緩和法(GS)、連続的な過剰弛緩法(SO
R）のような大規模線形システムの逆問題のための反復
的な方法を用いて解法することができる。数式５は右辺
に空間変化度に起因して空間的に変化する係数を有する
ので、SORで最適の緩和パラメータを決定することは難
しい。このような場合、方程式（数式５）を解法するた
め、繰り返してLRを適用する。
偏差の程度を表し、定数α2 は両方の拘束条件を調整す
るものである。数式４の最適化方程式から直接的に次の
結合ポアソン方程式が生成される。 ［数式５］ ▽ 2ｕ＝１／α2 Ｉx （Ｉx ｕ＋Ｉy υ＋Ｉt ） ▽ 2υ＝１／α2 Ｉy （Ｉx ｕ＋Ｉy υ＋Ｉt ） ここで、αは定数であり、このような数式５はオプティ
カルフローを見つけるためのポアソン方程式である。結
合されたそれぞれのポアソン方程式は、Jacobi緩和法(J
R)、Gayss Seidel緩和法(GS)、連続的な過剰弛緩法(SO
R）のような大規模線形システムの逆問題のための反復
的な方法を用いて解法することができる。数式５は右辺
に空間変化度に起因して空間的に変化する係数を有する
ので、SORで最適の緩和パラメータを決定することは難
しい。このような場合、方程式（数式５）を解法するた
め、繰り返してLRを適用する。
【００１０】数式５は、結果として得られた方程式のう
ち何れか一つが一定の緩和係数を有するならば、より良
好な性能を得るため、LRを適用する前にユニタリ変換を
用いて分離することができる。この方法は分離を用いな
い方法と同様の性能を有する。何故ならば、数式５の結
合項は、最適の滑らかさ定数αが非常に大きい時に非常
に小さいからである。本来の動き場の動き拘束条件から
の偏差が滑らかさ拘束条件からの偏差よりも大きいの
で、一般的に定数αは大きい。しかし、動き拘束エラー
を縮小するため置換フレーム差が使用されるならば、望
ましい最適な滑らかさ拘束は非常に小さくなるので分離
の影響は無視できない。
ち何れか一つが一定の緩和係数を有するならば、より良
好な性能を得るため、LRを適用する前にユニタリ変換を
用いて分離することができる。この方法は分離を用いな
い方法と同様の性能を有する。何故ならば、数式５の結
合項は、最適の滑らかさ定数αが非常に大きい時に非常
に小さいからである。本来の動き場の動き拘束条件から
の偏差が滑らかさ拘束条件からの偏差よりも大きいの
で、一般的に定数αは大きい。しかし、動き拘束エラー
を縮小するため置換フレーム差が使用されるならば、望
ましい最適な滑らかさ拘束は非常に小さくなるので分離
の影響は無視できない。
【００１１】次いで、局所緩和方法について説明する。
水平方向並びに垂直方向の前進方向シフト演算子及び後
退方向シフト演算子、Ｅx 及びＥx -1 並びにＥy 及びＥ
y -1 は、次の数式６のように定義される。 ［数式６］ Ｅx ｕ（ｘ，ｙ）＝ｕ（ｘ＋ｈ，ｙ），Ｅx -1ｕ（ｘ，
ｙ）＝ｕ（ｘ−ｈ，ｙ） Ｅy ｕ（ｘ，ｙ）＝ｕ（ｘ，ｙ＋ｈ），Ｅy -1ｕ（ｘ，
ｙ）＝ｕ（ｘ，ｙ−ｈ） ここで、ｈは識別距離を示す。
水平方向並びに垂直方向の前進方向シフト演算子及び後
退方向シフト演算子、Ｅx 及びＥx -1 並びにＥy 及びＥ
y -1 は、次の数式６のように定義される。 ［数式６］ Ｅx ｕ（ｘ，ｙ）＝ｕ（ｘ＋ｈ，ｙ），Ｅx -1ｕ（ｘ，
ｙ）＝ｕ（ｘ−ｈ，ｙ） Ｅy ｕ（ｘ，ｙ）＝ｕ（ｘ，ｙ＋ｈ），Ｅy -1ｕ（ｘ，
ｙ）＝ｕ（ｘ，ｙ−ｈ） ここで、ｈは識別距離を示す。
【００１２】かつ、複合シフト演算子Ｅを定義すると次
の数式７のようになる。
の数式７のようになる。
【００１３】
【数２】
【００１４】数式を単純化するため滑らかさ定数により
正規化された変化度（勾配又はグラジィエント）は次の
数式８のように定義される。
正規化された変化度（勾配又はグラジィエント）は次の
数式８のように定義される。
【００１５】
【数３】
【００１６】複合シフト演算子Ｅと正規化された勾配を
使用すると、数式５は次の数式９のように示される。
使用すると、数式５は次の数式９のように示される。
【００１７】
【数４】
【００１８】数式９の結合項、例えば、ｕ場に対し、式
中の
中の
【００１９】
【外１】
【００２０】を無視すると、数式９を解法するためのJa
cobi緩和法(JR)は次の数式１０のように示される。
cobi緩和法(JR)は次の数式１０のように示される。
【００２１】
【数５】
【００２２】この場合、各要素のJacobi演算子、例え
ば、
ば、
【００２３】
【外２】
【００２４】は次の数式１１のように示される。
【００２５】
【数６】
【００２６】かつ、局所スペクトル半径は次の数式１２
の通りである。
の通りである。
【００２７】
【数７】
【００２８】ここで、イメージのサイズがＭ×Ｍである
と、Ｐ E は次の数式１３のように示される。
と、Ｐ E は次の数式１３のように示される。
【００２９】
【数８】
【００３０】数式１３により、水平動き場ｕは水平勾配
が垂直勾配よりも大きいとき、垂直動き場よりも速く収
束し、逆に、垂直勾配が水平勾配より大きいとき、垂直
動作速度の方が速く収束する。Jacobi演算子のスペクト
ル半径範囲が空間的勾配に応じて変化するので、LRは次
の数式１４のような結果を得ることができる。
が垂直勾配よりも大きいとき、垂直動き場よりも速く収
束し、逆に、垂直勾配が水平勾配より大きいとき、垂直
動作速度の方が速く収束する。Jacobi演算子のスペクト
ル半径範囲が空間的勾配に応じて変化するので、LRは次
の数式１４のような結果を得ることができる。
【００３１】
【数９】
【００３２】ここで、局所緩和パラメータは次の数式１
５のように示される。
５のように示される。
【００３３】
【数１０】
【００３４】前述したように、式９において速度変数
ｕ、ｖ及びｔが相互結合されているために、数式９に局
所緩和方法(LR)を直接的に適用することは所定値に対す
る収束速度を低下させる短所がある。
ｕ、ｖ及びｔが相互結合されているために、数式９に局
所緩和方法(LR)を直接的に適用することは所定値に対す
る収束速度を低下させる短所がある。
【００３５】
【発明が解決しようとする課題】本発明は前述した問題
点を解決するために案出されたものであり、ポアソン方
程式の速度結合項を分離した後、分離された速度結合項
をLRに適用して速い収束速度を実現し、かつ、オプティ
カルフローを予測する局所緩和方法を提供することにそ
の目的がある。
点を解決するために案出されたものであり、ポアソン方
程式の速度結合項を分離した後、分離された速度結合項
をLRに適用して速い収束速度を実現し、かつ、オプティ
カルフローを予測する局所緩和方法を提供することにそ
の目的がある。
【００３６】
【課題を解決するための手段】上記の目的を達成するた
めに本発明によるポアソン方程式を用いてオプティカル
フローを予測する局所緩和方法は、ａ）Ｇ及びＥがマトリックスを表し、ｂがベクトルを表
し、ｘが速度結合項を表わすとき、速度結合項を含む ポ
アソン方程式を、 Ｇｘ＝Ｅｘ＋ｂ のような線形マトリックス形式を用いて定める過程と、ｂ）上 記定められたポアソン方程式の速度結合項を分離
する過程と、ｃ）上 記速度結合項が分離されたポアソン方程式に時間
的な変化による変位フレーム差分を適用する過程とを含
む。変位フレーム差分とは、以前のフレームに おけるエ
ッジの輝度勾配と、分離された速度結合項から算出され
た速度で変位した現在のフレームにおけるエッジの輝度
勾配との差を表わす。
めに本発明によるポアソン方程式を用いてオプティカル
フローを予測する局所緩和方法は、ａ）Ｇ及びＥがマトリックスを表し、ｂがベクトルを表
し、ｘが速度結合項を表わすとき、速度結合項を含む ポ
アソン方程式を、 Ｇｘ＝Ｅｘ＋ｂ のような線形マトリックス形式を用いて定める過程と、ｂ）上 記定められたポアソン方程式の速度結合項を分離
する過程と、ｃ）上 記速度結合項が分離されたポアソン方程式に時間
的な変化による変位フレーム差分を適用する過程とを含
む。変位フレーム差分とは、以前のフレームに おけるエ
ッジの輝度勾配と、分離された速度結合項から算出され
た速度で変位した現在のフレームにおけるエッジの輝度
勾配との差を表わす。
【００３７】好ましくは、過程ｂ）でユニタリ変換が使
用される。 上記目的を達成するための本発明によるビデ
オデータを符号化する装置は、画像シーケンスを表わす
ビデオデータの２枚以上のフレームを受ける入力手段
と、上記入力手段に接続され、ポアソン方程式を使用し
て上記ビデオデータのフレーム内のオプティカルフロー
を予測するよう動作的であるオプティカルフロー予測回
路とを含み、 上記オプティカルフロー予測回路は、 Ｇ及
びＥがマトリックスを表し、ｂがベクトルを表し、ｘが
速度結合項を表わすとき、速度結合項を含むポアソン方
程式を、 Ｇｘ＝Ｅｘ＋ｂ のような線形マトリックス形式を用いて定める手段と、
上記定められたポアソン方程式の速度結合項を分離する
手段と、 上記速度結合項が分離されたポアソン方程式に
時間的な変化による変位フレーム差分を適用する手段と
を有する。
用される。 上記目的を達成するための本発明によるビデ
オデータを符号化する装置は、画像シーケンスを表わす
ビデオデータの２枚以上のフレームを受ける入力手段
と、上記入力手段に接続され、ポアソン方程式を使用し
て上記ビデオデータのフレーム内のオプティカルフロー
を予測するよう動作的であるオプティカルフロー予測回
路とを含み、 上記オプティカルフロー予測回路は、 Ｇ及
びＥがマトリックスを表し、ｂがベクトルを表し、ｘが
速度結合項を表わすとき、速度結合項を含むポアソン方
程式を、 Ｇｘ＝Ｅｘ＋ｂ のような線形マトリックス形式を用いて定める手段と、
上記定められたポアソン方程式の速度結合項を分離する
手段と、 上記速度結合項が分離されたポアソン方程式に
時間的な変化による変位フレーム差分を適用する手段と
を有する。
【００３８】上記目的を達成するための本発明による衝
突警報システムは、画像シーケンスを表わすビデオデー
タの２枚以上のフレームを受ける入力手段と、上記入力
手段に接続され、Ｇ及びＥがマトリックスを表し、ｂが
ベクトルを表し、ｘが速度結合項を表わすとき、速度結
合項を含むポアソン方程式を、 Ｇｘ＝Ｅｘ＋ｂ のような線形マトリックス形式を用いて定める手段、上
記定められたポアソン方程式の速度結合項を分離する手
段、及び、上記速度結合項が分離されたポアソン方程式
に時間的な変化による変位フレーム差分を適用する手段
を有し、ポアソン方程式を使用して上記ビデオデータの
フレーム内のオプティカルフローを予測す るよう動作的
であるオプティカルフロー予測回路と、 上 記オプティカ
ルフロー予測回路の出力と接続され、上記画像シーケン
ス内で１つ以上の運動中物体の構造を抽出する構造分析
回路と、上記オプティカルフロー予測回路の出力と接続
され、上記画像シーケンス内で上記物体の相対運動を判
定する動き分析回路と、上記構造分析回路及び上記動き
分析回路の出力と接続され、少なくとも２つの物体の間
で衝突が起きるかどうかを予測し、これにより衝突警報
信号を出力する推定回路とを含む。
突警報システムは、画像シーケンスを表わすビデオデー
タの２枚以上のフレームを受ける入力手段と、上記入力
手段に接続され、Ｇ及びＥがマトリックスを表し、ｂが
ベクトルを表し、ｘが速度結合項を表わすとき、速度結
合項を含むポアソン方程式を、 Ｇｘ＝Ｅｘ＋ｂ のような線形マトリックス形式を用いて定める手段、上
記定められたポアソン方程式の速度結合項を分離する手
段、及び、上記速度結合項が分離されたポアソン方程式
に時間的な変化による変位フレーム差分を適用する手段
を有し、ポアソン方程式を使用して上記ビデオデータの
フレーム内のオプティカルフローを予測す るよう動作的
であるオプティカルフロー予測回路と、 上 記オプティカ
ルフロー予測回路の出力と接続され、上記画像シーケン
ス内で１つ以上の運動中物体の構造を抽出する構造分析
回路と、上記オプティカルフロー予測回路の出力と接続
され、上記画像シーケンス内で上記物体の相対運動を判
定する動き分析回路と、上記構造分析回路及び上記動き
分析回路の出力と接続され、少なくとも２つの物体の間
で衝突が起きるかどうかを予測し、これにより衝突警報
信号を出力する推定回路とを含む。
【００３９】
【発明の実施の形態】以下、本発明を添付した図面に基
づき更に詳細に説明する。オプティカルフロー予測のた
めの局所緩和方法に関する本発明は、DPCMコーダや衝突
警報システムのようなビデオ処理に関する応用分野に使
用されるビデオデータコーディングに適用しうる。オプ
ティカルフローの予測は、多数の反復段階が必要とされ
るときに、多量のデータを効率的に処理し、高い計算力
を提供することが重要である。ここに開示された高速ア
ルゴリズムは、このようなアプリケーションに適する。
づき更に詳細に説明する。オプティカルフロー予測のた
めの局所緩和方法に関する本発明は、DPCMコーダや衝突
警報システムのようなビデオ処理に関する応用分野に使
用されるビデオデータコーディングに適用しうる。オプ
ティカルフローの予測は、多数の反復段階が必要とされ
るときに、多量のデータを効率的に処理し、高い計算力
を提供することが重要である。ここに開示された高速ア
ルゴリズムは、このようなアプリケーションに適する。
【００４０】例えば、図１３はビデオデコーディングで
オプティカルフロー予測に用いられる基本的なDPCMコー
ダを示す。このコーダはコーディングされる画像シーケ
ンス、又は、画像系列の現在のフレームのような入力を
受取る。この入力は減算器１０に印加され、減算器の出
力は空間コーダ２０の入力に結合されている。空間コー
ダ２０の出力はビデオデコーダ（図示せず）と空間デコ
ーダ３０の入力に印加される。入力はまた以下に詳しく
説明されるように本発明により作動するように構成され
ているオプティカルフロー予測回路９０に入力される。
オプティカルフロー予測に用いられる基本的なDPCMコー
ダを示す。このコーダはコーディングされる画像シーケ
ンス、又は、画像系列の現在のフレームのような入力を
受取る。この入力は減算器１０に印加され、減算器の出
力は空間コーダ２０の入力に結合されている。空間コー
ダ２０の出力はビデオデコーダ（図示せず）と空間デコ
ーダ３０の入力に印加される。入力はまた以下に詳しく
説明されるように本発明により作動するように構成され
ているオプティカルフロー予測回路９０に入力される。
【００４１】オプティカルフロー予測回路９０の出力は
オプティカルフローコーダ８０に印加され、オプティカ
ルフローコーダ８０の出力はビデオデコーダ（図示せ
ず）とオプティカルフローデコーダ７０に印加される。
オプティカルフローデコーダ７０の出力は動作補償回路
（又は、動き補償回路とも呼ばれる）６０に結合されて
いる。動作補償回路６０の出力は減算器１０によって入
力から減算され、累積器４０により空間デコーダ３０の
出力に合算される。累積器４０の出力はフレームメモリ
５０に印加され、フレームメモリ５０の出力は動き補償
回路６０とオプティカルフロー予測回路９０の入力に結
合される。
オプティカルフローコーダ８０に印加され、オプティカ
ルフローコーダ８０の出力はビデオデコーダ（図示せ
ず）とオプティカルフローデコーダ７０に印加される。
オプティカルフローデコーダ７０の出力は動作補償回路
（又は、動き補償回路とも呼ばれる）６０に結合されて
いる。動作補償回路６０の出力は減算器１０によって入
力から減算され、累積器４０により空間デコーダ３０の
出力に合算される。累積器４０の出力はフレームメモリ
５０に印加され、フレームメモリ５０の出力は動き補償
回路６０とオプティカルフロー予測回路９０の入力に結
合される。
【００４２】図１３を参照するに、現在のフレームは、
ブロック動作アルゴリズムBMA やオプティカルフローの
ような動作（動き）情報により変形されうる再構成され
た前フレームにより予測できる。動き補償回路６０は現
在のフレームを予測するために再構成された前フレーム
をフレームメモリ５０で変形される。予想されたフレー
ムは、減算器１０で入力された現在フレームから減算さ
れ、減算器は元の入力フレームよりもエントロピーの小
さい予測エラー信号を発生する。予測エラー信号は、従
来技術で公知の何れかのアルゴリズムを実現する空間コ
ーダ２０によって更に圧縮される。例えば、空間コーダ
２０は、離散コサイン変換（discrete cosine transfor
m:DCT)やウェーブレット変換(wavelet trans form:WT)
のような変換コードに基づく圧縮アルゴリズムを実現す
る。コーディングされたエラー信号は現在のフレームを
再構成するため、デコーディングされてから累積器４０
で変形された前フレームに合算される。
ブロック動作アルゴリズムBMA やオプティカルフローの
ような動作（動き）情報により変形されうる再構成され
た前フレームにより予測できる。動き補償回路６０は現
在のフレームを予測するために再構成された前フレーム
をフレームメモリ５０で変形される。予想されたフレー
ムは、減算器１０で入力された現在フレームから減算さ
れ、減算器は元の入力フレームよりもエントロピーの小
さい予測エラー信号を発生する。予測エラー信号は、従
来技術で公知の何れかのアルゴリズムを実現する空間コ
ーダ２０によって更に圧縮される。例えば、空間コーダ
２０は、離散コサイン変換（discrete cosine transfor
m:DCT)やウェーブレット変換(wavelet trans form:WT)
のような変換コードに基づく圧縮アルゴリズムを実現す
る。コーディングされたエラー信号は現在のフレームを
再構成するため、デコーディングされてから累積器４０
で変形された前フレームに合算される。
【００４３】図１４は本発明に係るさらに他の実用的な
応用例を示す。具体的に、図１４は自動車において使わ
れる衝突感知システムでオプティカルフローが予測され
る衝突警報システムを示す。ビデオデータのシーケンス
がオプティカルフロー予測回路１１に入力される。予測
されたオプティカルフローは構造分析回路２１に印加さ
れて運動物体（例えば、車両）の構造を抽出するため用
いられる。各物体の動きはオプティカルフロー予測回路
１１及び構造分析回路２１の出力と結合されている動き
分析回路３１で分析される。与えられた場面と動作から
物体の構造を分析する間、構造分析回路２１と動き分析
回路３１は相互通信する。分析された情報は、衝突警報
信号を出力する推定回路４１に出力される。
応用例を示す。具体的に、図１４は自動車において使わ
れる衝突感知システムでオプティカルフローが予測され
る衝突警報システムを示す。ビデオデータのシーケンス
がオプティカルフロー予測回路１１に入力される。予測
されたオプティカルフローは構造分析回路２１に印加さ
れて運動物体（例えば、車両）の構造を抽出するため用
いられる。各物体の動きはオプティカルフロー予測回路
１１及び構造分析回路２１の出力と結合されている動き
分析回路３１で分析される。与えられた場面と動作から
物体の構造を分析する間、構造分析回路２１と動き分析
回路３１は相互通信する。分析された情報は、衝突警報
信号を出力する推定回路４１に出力される。
【００４４】図１と共に本発明によるポアソン方程式を
用いてオプティカルフローを予測する局所緩和方法を説
明する。まず、数式９で表現されたポアソン方程式の速
度結合項をマトリックス形式に分離する（図１のステッ
プ１０）。ここで、速度成分をｘ＝（ｕ，ｖ）t のよう
に表現することによって、数式９は次の数式１６のよう
なマトリックス形式に示される。
用いてオプティカルフローを予測する局所緩和方法を説
明する。まず、数式９で表現されたポアソン方程式の速
度結合項をマトリックス形式に分離する（図１のステッ
プ１０）。ここで、速度成分をｘ＝（ｕ，ｖ）t のよう
に表現することによって、数式９は次の数式１６のよう
なマトリックス形式に示される。
【００４５】［数式１６］ Ｇｘ＝Ｅｘ＋ｂ ここで、２行２列のマトリックスＥ及びＧと、入力ベク
トルｂは次の数式１７の通りである。
トルｂは次の数式１７の通りである。
【００４６】
【数１１】
【００４７】ここで、もし空間変化率が全部ゼロである
とするならば、即ち、実質的にα2より非常に小さい場
合、各要素の関数は正確にサイン曲線になり最終的なヤ
コビ（Jacobi）緩和演算子は無視できる程度のＥにな
る。次に、ポアソン方程式の速度結合項をユニタリ変換
を用いて分離する（ステップ１２）。両方の空間変化率
がゼロでないと仮定すると、マトリックスＧを対角化で
きるユニタリ変換マトリックスＵは次の数式１８のよう
に示される。
とするならば、即ち、実質的にα2より非常に小さい場
合、各要素の関数は正確にサイン曲線になり最終的なヤ
コビ（Jacobi）緩和演算子は無視できる程度のＥにな
る。次に、ポアソン方程式の速度結合項をユニタリ変換
を用いて分離する（ステップ１２）。両方の空間変化率
がゼロでないと仮定すると、マトリックスＧを対角化で
きるユニタリ変換マトリックスＵは次の数式１８のよう
に示される。
【００４８】
【数１２】
【００４９】ここで、
【００５０】
【数１３】
【００５１】である。かつ、ベクトルｘとｂは次の数式
１９のように変換される。
１９のように変換される。
【００５２】
【数１４】
【００５３】数式１９で変換された動きベクトルの各要
素は、エッジ方向に平行な要素ｘ p 及び法線方向の要素
ｘ N として物理的な意味を有する。ユニタリ変換Ｕを適
用することにより、分離されたJacobi緩和方程式は次の
数式２０のように定式化される。
素は、エッジ方向に平行な要素ｘ p 及び法線方向の要素
ｘ N として物理的な意味を有する。ユニタリ変換Ｕを適
用することにより、分離されたJacobi緩和方程式は次の
数式２０のように定式化される。
【００５４】
【数１５】
【００５５】もし、速度場が十分に滑らかであり、少な
くとも局所領域で線形近似できる場合に、複雑なシフト
演算子マトリックスＵＥＵt は、対角マトリックスであ
ると近似され、その要素は複合演算子Ｅである。何故な
らば、実質的に周辺ピクセルに関する平均化処理を行う
複合シフト演算子による結合の影響は、直接的な速度成
分に起因した結合の影響より小さいからである。結局、
各要素は次の数式２１を充足させる。
くとも局所領域で線形近似できる場合に、複雑なシフト
演算子マトリックスＵＥＵt は、対角マトリックスであ
ると近似され、その要素は複合演算子Ｅである。何故な
らば、実質的に周辺ピクセルに関する平均化処理を行う
複合シフト演算子による結合の影響は、直接的な速度成
分に起因した結合の影響より小さいからである。結局、
各要素は次の数式２１を充足させる。
【００５６】
【数１６】
【００５７】数式２１で速度の接線成分はヤコビ緩和演
算子がＥである同次微分方程式を充足するが、法線成分
に対するヤコビ演算子は
算子がＥである同次微分方程式を充足するが、法線成分
に対するヤコビ演算子は
【００５８】
【数１７】
【００５９】になる。それ故に、一定の最適緩和係数を
有するSOR は接線成分に適用でき、空間的に変化する係
数を有するＬＲは法線成分に適用できる。
有するSOR は接線成分に適用でき、空間的に変化する係
数を有するＬＲは法線成分に適用できる。
【００６０】
【数１８】
【００６１】ここで、各局所緩和パラメータは次の数式
２３の通りである。
２３の通りである。
【００６２】
【数１９】
【００６３】各ベクトルは相互にユニタリ変換できるの
で、ベクトル（ｕ，ｖ）t のエラーのノルムはベクトル
Ｕｘのエラーのノルムと同一であるため、分離されたベ
クトルＵｘのエラーを最小化を行うと、ベクトル（ｕ，
ｖ) t のエラーが最小化される。従って、数式２２を用
いた反復法はオプティカルフローの予測に直接的に適用
され得る。すべてのピクセルに対する結果的なベクトル
は、水平成分ｕ及び垂直成分ｖが要求される度にユニタ
リマトリックスにより変換できる。
で、ベクトル（ｕ，ｖ）t のエラーのノルムはベクトル
Ｕｘのエラーのノルムと同一であるため、分離されたベ
クトルＵｘのエラーを最小化を行うと、ベクトル（ｕ，
ｖ) t のエラーが最小化される。従って、数式２２を用
いた反復法はオプティカルフローの予測に直接的に適用
され得る。すべてのピクセルに対する結果的なベクトル
は、水平成分ｕ及び垂直成分ｖが要求される度にユニタ
リマトリックスにより変換できる。
【００６４】しかし、（ｕ，ｖ) t に対する表現は、通
常、一般的なアプリケーションにおいて反復時点毎に要
求されるので、数式２２は更に展開され得る。ベクトル
表記によると、数式２２は次の数式２４のように示され
る。
常、一般的なアプリケーションにおいて反復時点毎に要
求されるので、数式２２は更に展開され得る。ベクトル
表記によると、数式２２は次の数式２４のように示され
る。
【００６５】
【数２０】
【００６６】（ｕ，ｖ) t に対するベクトルＵｘを再変
換するために数式２４の両辺にＵ t が乗算され、ベクト
ル場Ｘ＝（ｕ，ｖ) t に対する新たなLR方程式は次の数
式２５のように示される。 ［数式２５］ ｘn+1 ＝（Ｉ−ＵＷＵt ）ｘn ＋ＵＷＵt Ｇ-1Ｅ（ｘn
＋ｂ） ここで、局所緩和パラメータＵＷＵt は次の数式２６の
ような対角マトリックスにより近似される。
換するために数式２４の両辺にＵ t が乗算され、ベクト
ル場Ｘ＝（ｕ，ｖ) t に対する新たなLR方程式は次の数
式２５のように示される。 ［数式２５］ ｘn+1 ＝（Ｉ−ＵＷＵt ）ｘn ＋ＵＷＵt Ｇ-1Ｅ（ｘn
＋ｂ） ここで、局所緩和パラメータＵＷＵt は次の数式２６の
ような対角マトリックスにより近似される。
【００６７】
【数２１】
【００６８】局所弛緩マトリックスの非対角項は対角項
に比べて相対的に非常に小さいので、実質的に非対角項
は反復法の収束に影響を及ぼさない。従って、数式２５
は各速度要素に対して次の数式２７のように示され得
る。
に比べて相対的に非常に小さいので、実質的に非対角項
は反復法の収束に影響を及ぼさない。従って、数式２５
は各速度要素に対して次の数式２７のように示され得
る。
【００６９】
【数２２】
【００７０】ここで、
【００７１】
【外３】
【００７２】はＥｕとＥｖに対する短縮型の表記であ
る。提案された反復型の数式２７において、最後に括弧
により囲まれた項がHornとSchunck による項とぴったり
一致することは非常に興味深いことである。また、本発
明による数式２７の形式は、ブロック形式の連続的なオ
ーバー（過剰）緩和によっても導出し得る。画像全体の
速度ベクトルの合成されたベクトルを（ｕ1 ，ｖ 1 ，ｕ
2 ，ｖ 2 …ｕN ，ｖ N ）t のように構成すると、数式５
のポアソン方程式は、システムマトリックスがブロック
対角要素を有する大規模線形システムを形成する。２×
２対角ブロックの場合に、ブロック形式でSOR を適用す
ることができる。従って、最適緩和パラメータという点
を除いて、数式２７と同じ数式が得られる。最適緩和パ
ラメータは合成されたベクトルのすべての要素に対して
固定されている。
る。提案された反復型の数式２７において、最後に括弧
により囲まれた項がHornとSchunck による項とぴったり
一致することは非常に興味深いことである。また、本発
明による数式２７の形式は、ブロック形式の連続的なオ
ーバー（過剰）緩和によっても導出し得る。画像全体の
速度ベクトルの合成されたベクトルを（ｕ1 ，ｖ 1 ，ｕ
2 ，ｖ 2 …ｕN ，ｖ N ）t のように構成すると、数式５
のポアソン方程式は、システムマトリックスがブロック
対角要素を有する大規模線形システムを形成する。２×
２対角ブロックの場合に、ブロック形式でSOR を適用す
ることができる。従って、最適緩和パラメータという点
を除いて、数式２７と同じ数式が得られる。最適緩和パ
ラメータは合成されたベクトルのすべての要素に対して
固定されている。
【００７３】続いて、分離されたポアソン方程式に変位
フレーム差分を適用する（ステップ１４) 。即ち、本発
明による数式２７が数式１４より優れた収束性を有する
ということを理論的に証明するのは非常に難しい。とこ
ろが、両方の数式１４及び２７は、滑らかさの定数が非
常に大きい時、定常状態エラーと収束性に対して同一性
能を有する傾向がある。何故ならば、結合項ｒx ｒy の
値は
フレーム差分を適用する（ステップ１４) 。即ち、本発
明による数式２７が数式１４より優れた収束性を有する
ということを理論的に証明するのは非常に難しい。とこ
ろが、両方の数式１４及び２７は、滑らかさの定数が非
常に大きい時、定常状態エラーと収束性に対して同一性
能を有する傾向がある。何故ならば、結合項ｒx ｒy の
値は
【００７４】
【外４】
【００７５】よりも非常に小さく、あまり影響を及ぼさ
ないためである。ところが、勾配が位置合わせされた画
像領域で測定されたとき、例えば、変位フレーム差分が
時間的変化率として使用されたとき、最適な滑らかさ定
数が小さくなる傾向がある。滑らかさ定数は、動き拘束
エラーと含まれている動き場の空間変動との間の比率に
密接な関係があるため、動き場の勾配の高次の微係数又
は急激な変化は、所望する定数値を更に小さくすること
ができる。
ないためである。ところが、勾配が位置合わせされた画
像領域で測定されたとき、例えば、変位フレーム差分が
時間的変化率として使用されたとき、最適な滑らかさ定
数が小さくなる傾向がある。滑らかさ定数は、動き拘束
エラーと含まれている動き場の空間変動との間の比率に
密接な関係があるため、動き場の勾配の高次の微係数又
は急激な変化は、所望する定数値を更に小さくすること
ができる。
【００７６】以下の説明では、変位フレーム差分は、更
に２種類以上の反復法を実行するため既存若しくは現在
のＬＲに導入される。速度場に関する先見的な知識は種
々の場合に応じて獲得される。反復法の場合には、予め
計算された知識が先見的な知識であり、階層的な手法の
場合には、上位レベル若しくは下位レベルの速度が先見
的な知識である。運動中エッジの動き、或いは、他の特
徴ベースの方法のような他の方法を用いて予測された速
度は、速度の先見的な知識として利用され得る。
に２種類以上の反復法を実行するため既存若しくは現在
のＬＲに導入される。速度場に関する先見的な知識は種
々の場合に応じて獲得される。反復法の場合には、予め
計算された知識が先見的な知識であり、階層的な手法の
場合には、上位レベル若しくは下位レベルの速度が先見
的な知識である。運動中エッジの動き、或いは、他の特
徴ベースの方法のような他の方法を用いて予測された速
度は、速度の先見的な知識として利用され得る。
【００７７】いずれの場合でも、LRを適用する前に獲得
された予測速度を用いる場合、輝度の保存は次の数式の
ように示される。
された予測速度を用いる場合、輝度の保存は次の数式の
ように示される。
【００７８】
【数２３】
【００７９】ここで、（ｘP ，ｙP ）は予め推定された
変位である。移動された位置（ｘ＋ｘP ，ｙ＋ｙP ）の
付近でTayler級数展開により数式２８を推定すると、次
の数式２９が充足される。
変位である。移動された位置（ｘ＋ｘP ，ｙ＋ｙP ）の
付近でTayler級数展開により数式２８を推定すると、次
の数式２９が充足される。
【００８０】
【数２４】
【００８１】数式２９を再び整理すると、次のような数
式３０になる。
式３０になる。
【００８２】
【数２５】
【００８３】数式３０は、変化率が位置合わせされた輝
度拘束方程式であると見なされる。数式３０の括弧内の
最初の２項は変位フレーム差分を形成し、その括弧内の
項は未知変数値を外挿法にて推定したフレーム差分の一
種として見なされる。空間的な勾配は移動位置で測定さ
れ、次のフレームの動き補償された平均を用いて得られ
る。
度拘束方程式であると見なされる。数式３０の括弧内の
最初の２項は変位フレーム差分を形成し、その括弧内の
項は未知変数値を外挿法にて推定したフレーム差分の一
種として見なされる。空間的な勾配は移動位置で測定さ
れ、次のフレームの動き補償された平均を用いて得られ
る。
【００８４】滑らかさ定数による正規化を用いて、変化
率が位置合わせされた輝度拘束を得ることができる。
率が位置合わせされた輝度拘束を得ることができる。
【００８５】
【数２６】
【００８６】ここで、
【００８７】
【数２７】
【００８８】である。これらの勾配を用いると、各勾配
を新たな勾配に置換することによって、既に 説明した処
理と同じ処理を行うことができる。従って、従来のＬＲ
方程式（１４）はオプティカルフローを予測するための
新たな勾配と共に用いられる。本発明による数式２２に
新たな勾配を適用することにより、更に他の反復的な数
式が展開できる。ところが、この場合、予め計算された
値の周辺平均が従来の速度として使用される場合に、即
ち
を新たな勾配に置換することによって、既に 説明した処
理と同じ処理を行うことができる。従って、従来のＬＲ
方程式（１４）はオプティカルフローを予測するための
新たな勾配と共に用いられる。本発明による数式２２に
新たな勾配を適用することにより、更に他の反復的な数
式が展開できる。ところが、この場合、予め計算された
値の周辺平均が従来の速度として使用される場合に、即
ち
【００８９】
【数２８】
【００９０】である場合に、より簡潔な式を導出するこ
とができる。
とができる。
【００９１】
【数２９】
【００９２】数式３２の後の括弧に囲まれた項は、有向
性の滑らかさ拘束条件を考慮する点を除いて、Nagel と
Enkelmann により提案された項と同一である。次に、本
発明による実施例を説明する。最適の滑らかさ定数は普
通の勾配と位置合わせされた勾配のいずれの勾配が利用
されるかに応じて調整される。また、最適の滑らかさ定
数は、画像及び関連した速度場に応じて変化する。即
ち、実際のベクトル場と推定されたベクトル場との間の
エラーは、滑らかさ拘束条件に基づいた定常状態と収束
性とに関して異なる特性を示す。
性の滑らかさ拘束条件を考慮する点を除いて、Nagel と
Enkelmann により提案された項と同一である。次に、本
発明による実施例を説明する。最適の滑らかさ定数は普
通の勾配と位置合わせされた勾配のいずれの勾配が利用
されるかに応じて調整される。また、最適の滑らかさ定
数は、画像及び関連した速度場に応じて変化する。即
ち、実際のベクトル場と推定されたベクトル場との間の
エラーは、滑らかさ拘束条件に基づいた定常状態と収束
性とに関して異なる特性を示す。
【００９３】図２を参照するに、滑らかさ定数に起因し
た不明瞭さに関して種々の反復法を比較するため、種々
の滑らかさ定数によって生成された定常状態エラーが解
析され、最小の定常状態エラーを与える定数が選択され
ている。二種類の人工的な画像シーケンスに関して、輝
度勾配の位置合わせの有無に基づく２通りの場合と、ポ
アソン方程式の分離の有無に基づく２通りの場合とを組
み合わせて得られる４種類の方法が比較される。第１の
人工的な画像シーケンスは、人工的な動き場が考慮され
た画像シーケンスであり、第２の人工的な画像シーケン
スは、人工的な動き場を備えた別のフレームを作成する
ため使用される実際のテキスチャ画像である。
た不明瞭さに関して種々の反復法を比較するため、種々
の滑らかさ定数によって生成された定常状態エラーが解
析され、最小の定常状態エラーを与える定数が選択され
ている。二種類の人工的な画像シーケンスに関して、輝
度勾配の位置合わせの有無に基づく２通りの場合と、ポ
アソン方程式の分離の有無に基づく２通りの場合とを組
み合わせて得られる４種類の方法が比較される。第１の
人工的な画像シーケンスは、人工的な動き場が考慮され
た画像シーケンスであり、第２の人工的な画像シーケン
スは、人工的な動き場を備えた別のフレームを作成する
ため使用される実際のテキスチャ画像である。
【００９４】図３（Ａ）は一番目の人工的な画像シーケ
ンス、即ちサイン波を示した図であり、イメージは64×
64のサイズを有し、その輝度は次の数式３３により計算
される。
ンス、即ちサイン波を示した図であり、イメージは64×
64のサイズを有し、その輝度は次の数式３３により計算
される。
【００９５】
【数３０】
【００９６】サイン波の次のフレームは（１、０）ピク
セルだけ平行移動され、６°単位で回転され、1.1 倍単
位でズーム処理される。図３（Ｂ）は対応した人工的な
動き場を示している。図４（Ａ）は、実際の「小石」の
テキスチャ画像を示し、図４（Ｂ）は、図３（Ｂ）に示
された動き場を有する実際のテクスチャ画像に補間され
た第２のフレームを示す図である。図４（Ａ）に示され
た実際のテクスチャ画像と、図３（Ｂ）に示された動き
場を有する実際のテクスチャ画像は、より現実的な状況
を見つけるため検査される。この画像シーケンスは「小
石」である。図４（Ｂ）に示された２番目のフレーム
は、補間によって実際のテキスチャ画像から生成されて
いるので、多少の滲みがある。
セルだけ平行移動され、６°単位で回転され、1.1 倍単
位でズーム処理される。図３（Ｂ）は対応した人工的な
動き場を示している。図４（Ａ）は、実際の「小石」の
テキスチャ画像を示し、図４（Ｂ）は、図３（Ｂ）に示
された動き場を有する実際のテクスチャ画像に補間され
た第２のフレームを示す図である。図４（Ａ）に示され
た実際のテクスチャ画像と、図３（Ｂ）に示された動き
場を有する実際のテクスチャ画像は、より現実的な状況
を見つけるため検査される。この画像シーケンスは「小
石」である。図４（Ｂ）に示された２番目のフレーム
は、補間によって実際のテキスチャ画像から生成されて
いるので、多少の滲みがある。
【００９７】平均絶対定常状態エラーと滑らかさ定数と
の間の関係を得るため、十分な滑らかさ定数を有する動
き場の定常状態エラーが検査される。次に、最小位置を
探すため、Ｂ−スプラインによって補間される。図５
（Ａ）及び（Ｂ）は滑らかさ定数による絶対エラーを示
した図であり、両図において上側の曲線は通常の勾配を
用いた結果を示し、下側の曲線は位置合わせされた勾配
を用いた結果を示す。曲線上の点はＢ−スプラインによ
り補間された各曲線の最小位置を示す。図５（Ａ）はサ
イン波の画像シーケンスに対する結果を示し、図５
（Ｂ）は「小石」の画像シーケンスに対する結果を示
す。
の間の関係を得るため、十分な滑らかさ定数を有する動
き場の定常状態エラーが検査される。次に、最小位置を
探すため、Ｂ−スプラインによって補間される。図５
（Ａ）及び（Ｂ）は滑らかさ定数による絶対エラーを示
した図であり、両図において上側の曲線は通常の勾配を
用いた結果を示し、下側の曲線は位置合わせされた勾配
を用いた結果を示す。曲線上の点はＢ−スプラインによ
り補間された各曲線の最小位置を示す。図５（Ａ）はサ
イン波の画像シーケンスに対する結果を示し、図５
（Ｂ）は「小石」の画像シーケンスに対する結果を示
す。
【００９８】本発明により提案された定常状態エラー、
即ち、分離後方法は、分離方法を用いない従来のアルゴ
リズムの定常状態エラーと同一である。結局、両アルゴ
リズムに対する定常状態エラーは同一で、収束特性のみ
が異なる。そのため、各画像シーケンスに対し、４通り
の方法が比較されているにも拘わらず、２本の曲線しか
表示されていない。
即ち、分離後方法は、分離方法を用いない従来のアルゴ
リズムの定常状態エラーと同一である。結局、両アルゴ
リズムに対する定常状態エラーは同一で、収束特性のみ
が異なる。そのため、各画像シーケンスに対し、４通り
の方法が比較されているにも拘わらず、２本の曲線しか
表示されていない。
【００９９】図６（Ａ）及び（Ｂ）は各方法の人工的な
画面に対する収束速度を示しており、図６（Ａ）はサイ
ン波画像に対する結果を、図６（Ｂ）は「小石」画像に
対する結果をそれぞれ示す。両図において、上側の曲線
は通常の勾配を用いた結果を示し、下側の曲線は位置合
わせされた勾配を用いた結果を示す。かつ、点線曲線
は、分離しない非分離方法を用いた結果を示し、実線曲
線は分離後方法を用いた結果を示す。図６を参照する
に、本発明による分離後方法の収束速度が非分離方法に
比べてやや早い反面、位置合わせされた勾配を有する非
分離方法よりは非常に早いことが分かる。位置合わせさ
れた勾配を用いた定常状態のエラーは通常の勾配を用い
たエラーより相当少ないことが分かる。
画面に対する収束速度を示しており、図６（Ａ）はサイ
ン波画像に対する結果を、図６（Ｂ）は「小石」画像に
対する結果をそれぞれ示す。両図において、上側の曲線
は通常の勾配を用いた結果を示し、下側の曲線は位置合
わせされた勾配を用いた結果を示す。かつ、点線曲線
は、分離しない非分離方法を用いた結果を示し、実線曲
線は分離後方法を用いた結果を示す。図６を参照する
に、本発明による分離後方法の収束速度が非分離方法に
比べてやや早い反面、位置合わせされた勾配を有する非
分離方法よりは非常に早いことが分かる。位置合わせさ
れた勾配を用いた定常状態のエラーは通常の勾配を用い
たエラーより相当少ないことが分かる。
【０１００】実際の動き場を確定することが困難である
ため、最適な滑らかさ定数を選択する基準が必要であ
る。最小の定常状態エラーを有する定数を選択するので
はなく、動き拘束条件と、滑らかさ拘束条件との間であ
る程度の妥協を許す定数が選択 されるべきである。本発
明によれば、最適な滑らかさ定数を選択するためＬ曲線
が使用される。
ため、最適な滑らかさ定数を選択する基準が必要であ
る。最小の定常状態エラーを有する定数を選択するので
はなく、動き拘束条件と、滑らかさ拘束条件との間であ
る程度の妥協を許す定数が選択 されるべきである。本発
明によれば、最適な滑らかさ定数を選択するためＬ曲線
が使用される。
【０１０１】最初に、変位フレーム差分の平均絶対エラ
ーと、滑らかな動き場の表面からの偏差との間の関係、
すなわち、速度場の勾配の大きさが測定される。このと
き、種々の滑らかさ定数を用いて速度場の勾配の大きさ
が計算され、各滑らかさ定数は、滑らかな曲線を得るた
め補間される。曲線が最大曲率を有する場所が選択さ
れ、対応した滑らかさ定数が最適な定数として使用され
る。
ーと、滑らかな動き場の表面からの偏差との間の関係、
すなわち、速度場の勾配の大きさが測定される。このと
き、種々の滑らかさ定数を用いて速度場の勾配の大きさ
が計算され、各滑らかさ定数は、滑らかな曲線を得るた
め補間される。曲線が最大曲率を有する場所が選択さ
れ、対応した滑らかさ定数が最適な定数として使用され
る。
【０１０２】図７（Ａ）及び（Ｂ）は、実際の画像シー
ケンスとして「車」の画像シーケンスから選択された31
1 番目のフレームと312 番目のフレームで顔の周りの64
×64を分離した画面を示しており、これらの２枚のフレ
ームは両フレーム間に含まれる動きが相対的に大きいた
めに選択されたものである。図７（Ａ）は311 番目のフ
レームの結果を、図７（Ｂ）は312 番目のフレームの結
果をそれぞれ示す。図７（Ａ）及び（Ｂ）に示された選
択されたフレームの顔部分は、非分離方法と、位置合わ
せされた勾配を有する分離後方法とを比較するために検
査される。この両フレームの間で、人の顔部分が前方に
曲がっている。
ケンスとして「車」の画像シーケンスから選択された31
1 番目のフレームと312 番目のフレームで顔の周りの64
×64を分離した画面を示しており、これらの２枚のフレ
ームは両フレーム間に含まれる動きが相対的に大きいた
めに選択されたものである。図７（Ａ）は311 番目のフ
レームの結果を、図７（Ｂ）は312 番目のフレームの結
果をそれぞれ示す。図７（Ａ）及び（Ｂ）に示された選
択されたフレームの顔部分は、非分離方法と、位置合わ
せされた勾配を有する分離後方法とを比較するために検
査される。この両フレームの間で、人の顔部分が前方に
曲がっている。
【０１０３】図８（Ａ）及び（Ｂ）は、変位フレーム差
分の平均絶対エラー（ＭＡＥ）と、動きベクトルの勾配
の大きさとの間の関係を示す図である。同図の実線は、
滑らかさ定数を大きくすると、動きベクトル場がより滑
らかになり、変位フレーム差分を大きくし、滑らかさ定
数を小さくすると、その逆になることを表わす。すなわ
ち、Ｌ曲線が示したことと全く同じことを示す。しか
し、滑らかさ定数が非常に小さいとき、滑らかさ定数を
僅かに大きくするだけで動き場の滑らかさに関して大き
い利得が得られ、変位フレーム差分は殆ど変化しない。
同時に、滑らかさ定数が非常に大きいとき、滑らかさ定
数の僅かな変化は、変位フレーム差分に大きな変化を生
じさせ、動き場の滑らかさはそのまま保たれる。したが
って、動き場の滑らかさと変位フレーム差分との間に妥
協点が得られる。
分の平均絶対エラー（ＭＡＥ）と、動きベクトルの勾配
の大きさとの間の関係を示す図である。同図の実線は、
滑らかさ定数を大きくすると、動きベクトル場がより滑
らかになり、変位フレーム差分を大きくし、滑らかさ定
数を小さくすると、その逆になることを表わす。すなわ
ち、Ｌ曲線が示したことと全く同じことを示す。しか
し、滑らかさ定数が非常に小さいとき、滑らかさ定数を
僅かに大きくするだけで動き場の滑らかさに関して大き
い利得が得られ、変位フレーム差分は殆ど変化しない。
同時に、滑らかさ定数が非常に大きいとき、滑らかさ定
数の僅かな変化は、変位フレーム差分に大きな変化を生
じさせ、動き場の滑らかさはそのまま保たれる。したが
って、動き場の滑らかさと変位フレーム差分との間に妥
協点が得られる。
【０１０４】図８（Ａ）に示された実線上の円は前述し
た折衷点を示す。この点は曲線の曲率を計算することに
より得られる。図８に示された点線は前記曲率の相対的
な大きさを示す。前記円は曲率のピーク点に位置する。
収束速度は各ステップで計算された動き場が定常状態動
き場とどれほど異なるかを計算することにより得られ
る。両方法は定常状態で略同一な動き場を生ずるので、
この収束速度を計算する戦略を用いて両方法を比較する
ことができる。実際に、それらのユークリッド距離は0.
05ピクセル／フレーム未満である。図８（Ｂ）は両方法
が定常状態動き場に収束する速さを示す。点線曲線は非
分離方法によるものであり、実線曲線は分離後方法によ
るものである。図を参照するに、分離後方法の収束速度
が非分離方法の収束速度より速いことが分かる。即ち、
定常状態からの差が0.2 ピクセル／フレーム未満である
状態で、２倍以上速い。
た折衷点を示す。この点は曲線の曲率を計算することに
より得られる。図８に示された点線は前記曲率の相対的
な大きさを示す。前記円は曲率のピーク点に位置する。
収束速度は各ステップで計算された動き場が定常状態動
き場とどれほど異なるかを計算することにより得られ
る。両方法は定常状態で略同一な動き場を生ずるので、
この収束速度を計算する戦略を用いて両方法を比較する
ことができる。実際に、それらのユークリッド距離は0.
05ピクセル／フレーム未満である。図８（Ｂ）は両方法
が定常状態動き場に収束する速さを示す。点線曲線は非
分離方法によるものであり、実線曲線は分離後方法によ
るものである。図を参照するに、分離後方法の収束速度
が非分離方法の収束速度より速いことが分かる。即ち、
定常状態からの差が0.2 ピクセル／フレーム未満である
状態で、２倍以上速い。
【０１０５】図９（Ａ）に説明された方法により選択さ
れた滑らかさ定数を有する定常状態動き場は図８に示さ
れた結果と一致する。図９（Ｃ）は、図９（Ｂ）の定常
状態動き場を用いて図９（Ａ）の３１１番目のフレーム
から補間されたフレームを示し、動きベクトルは図９
（Ｄ）に示された３１２番目のフレームに重ね合わされ
ている。311 番目のフレームと312 番目のフレームとの
間の輝度変化のために、挿入されたフレームが312 番目
のフレームよりやや明るいことを除くと、挿入されたフ
レームと312 番目のフレームとは非常に類似している。
図９（Ｅ）は311番目のフレームと312 番目のフレーム
の間の差を説明している。図９（Ｆ）は312 番目のフレ
ームと挿入されたフレームとの間の差を説明している。
これらの二つの差分画像は表示の目的のため倍率３によ
りガンマ補正された。
れた滑らかさ定数を有する定常状態動き場は図８に示さ
れた結果と一致する。図９（Ｃ）は、図９（Ｂ）の定常
状態動き場を用いて図９（Ａ）の３１１番目のフレーム
から補間されたフレームを示し、動きベクトルは図９
（Ｄ）に示された３１２番目のフレームに重ね合わされ
ている。311 番目のフレームと312 番目のフレームとの
間の輝度変化のために、挿入されたフレームが312 番目
のフレームよりやや明るいことを除くと、挿入されたフ
レームと312 番目のフレームとは非常に類似している。
図９（Ｅ）は311番目のフレームと312 番目のフレーム
の間の差を説明している。図９（Ｆ）は312 番目のフレ
ームと挿入されたフレームとの間の差を説明している。
これらの二つの差分画像は表示の目的のため倍率３によ
りガンマ補正された。
【０１０６】動き境界を有する実際の画像シーケンスに
対し、上記方法を検査するために、311 番目のフレーム
と312 番目のフレームの窓部分が図１０に示されたよう
に検査される。この窓部分において、車のフレームの動
きは比較的遅いが、車の外の光景は早く通り過ぎる。顔
部分に行われた処理と同じ処理が窓部分にも適用され
る。変位フレーム差分と滑らかさとの間の関係は、図１
１（Ａ）の実線に示され、その曲率は点線で示される。
結局、滑らかさ定数は、曲率のピーク値になるよ うに決
められる。ここで、円は曲率のピークを示す。収束速度
は、動きの境界のために顔部分の画像シーケンスの場合
のように高速ではないが、図１１（Ｂ）に示されたよう
に、定常状態動き場からの差が0.5 ピクセル／フレーム
未満になるよう定常状態付近では依然として７０％以上
速い。
対し、上記方法を検査するために、311 番目のフレーム
と312 番目のフレームの窓部分が図１０に示されたよう
に検査される。この窓部分において、車のフレームの動
きは比較的遅いが、車の外の光景は早く通り過ぎる。顔
部分に行われた処理と同じ処理が窓部分にも適用され
る。変位フレーム差分と滑らかさとの間の関係は、図１
１（Ａ）の実線に示され、その曲率は点線で示される。
結局、滑らかさ定数は、曲率のピーク値になるよ うに決
められる。ここで、円は曲率のピークを示す。収束速度
は、動きの境界のために顔部分の画像シーケンスの場合
のように高速ではないが、図１１（Ｂ）に示されたよう
に、定常状態動き場からの差が0.5 ピクセル／フレーム
未満になるよう定常状態付近では依然として７０％以上
速い。
【０１０７】選択された滑らかさ定数が巧く動作するこ
とを確認するために、定常状態動き場、この動き場を使
用して３１１番目のフレームから補間された画像と、差
分画像とが図１２に示される。挿入されたフレームは、
新しい画像が図１２（Ｃ）の右側から到来する場所での
画像の右側端を除いて、312 番目のフレームをよく表わ
す。図１２（Ｂ）に示された動き場は動き境界を明瞭に
示す。図１２（Ｅ）と図１２（Ｆ）は、311 番目のフレ
ームと補間されたそのフレームの差分画像を示す。差分
画像は２倍でガンマ補正された。
とを確認するために、定常状態動き場、この動き場を使
用して３１１番目のフレームから補間された画像と、差
分画像とが図１２に示される。挿入されたフレームは、
新しい画像が図１２（Ｃ）の右側から到来する場所での
画像の右側端を除いて、312 番目のフレームをよく表わ
す。図１２（Ｂ）に示された動き場は動き境界を明瞭に
示す。図１２（Ｅ）と図１２（Ｆ）は、311 番目のフレ
ームと補間されたそのフレームの差分画像を示す。差分
画像は２倍でガンマ補正された。
【０１０８】前述したように、本発明によれば、ポアソ
ン方程式の分離後にＬＲを適用することにより新しい方
法が得られた。位置合わせされた勾配は、非分離方法と
分離後方法の両方に導入された。分離後方法は、二つの
人工的な画像シーケンスに対して非分離方法より優れた
性能を示し、位置合わせされた勾配を用いた場合に、収
束速度は２倍になる。
ン方程式の分離後にＬＲを適用することにより新しい方
法が得られた。位置合わせされた勾配は、非分離方法と
分離後方法の両方に導入された。分離後方法は、二つの
人工的な画像シーケンスに対して非分離方法より優れた
性能を示し、位置合わせされた勾配を用いた場合に、収
束速度は２倍になる。
【０１０９】位置合わせされた勾配を有する二つの方法
は、Ｌ−曲線法を用いて滑らかさ定数を選択することに
より、実際の画像シーケンスと比較された。その結果、
収束性に関して分離後方法が非分離方法より優れている
ことが分かる。本発明は、いかなる反復的なオプティカ
ルフロー予測方法にも適用できる。例えば、所定の反復
がある階層的な動き予測で要求される場合、オプティカ
ルフロー予測問題に対する一般的な定式化であるポアソ
ン方程式を分離した後、ＬＲを適用することができる。
また、本発明は、画像のサイズが４×４のようにそれほ
ど小さくないときに、SOR とLRはGSよりもかなり高速で
あるので、小さい画像区画内でオプティカルフローを予
測するため用いることもできる。
は、Ｌ−曲線法を用いて滑らかさ定数を選択することに
より、実際の画像シーケンスと比較された。その結果、
収束性に関して分離後方法が非分離方法より優れている
ことが分かる。本発明は、いかなる反復的なオプティカ
ルフロー予測方法にも適用できる。例えば、所定の反復
がある階層的な動き予測で要求される場合、オプティカ
ルフロー予測問題に対する一般的な定式化であるポアソ
ン方程式を分離した後、ＬＲを適用することができる。
また、本発明は、画像のサイズが４×４のようにそれほ
ど小さくないときに、SOR とLRはGSよりもかなり高速で
あるので、小さい画像区画内でオプティカルフローを予
測するため用いることもできる。
【０１１０】
【発明の効果】上記の通り、本発明によるオプティカル
フローを予測する局所緩和方法は、従来のオプティカル
フローの予測方法よりも収束速度が高速であり、変位フ
レーム差分が適用される場合に、収束値が正確であり、
ピクセル毎に動き予測ができるので、正確に動き予測を
行うと同時に画質を向上させることができ、ビデオ符号
化に適用する場合には、従来の方法とは異なり動きベク
トルの一部、すなわち、低帯域信号の動きベクトルだけ
を用いることにより圧縮利得を得ることができる効果を
奏する。
フローを予測する局所緩和方法は、従来のオプティカル
フローの予測方法よりも収束速度が高速であり、変位フ
レーム差分が適用される場合に、収束値が正確であり、
ピクセル毎に動き予測ができるので、正確に動き予測を
行うと同時に画質を向上させることができ、ビデオ符号
化に適用する場合には、従来の方法とは異なり動きベク
トルの一部、すなわち、低帯域信号の動きベクトルだけ
を用いることにより圧縮利得を得ることができる効果を
奏する。
【図１】本発明によるポアソン方程式を用いてオプティ
カルフローを予測する局所緩和方法を説明する図であ
る。
カルフローを予測する局所緩和方法を説明する図であ
る。
【図２】滑らかさ拘束条件に応じた反復的な特性を示し
た波形図である。
た波形図である。
【図３】（Ａ）は人工的な画像シーケンスのサイン波の
第１のフレームを示し、（Ｂ）はサイン波の人工的な動
き場を示す図である。
第１のフレームを示し、（Ｂ）はサイン波の人工的な動
き場を示す図である。
【図４】（Ａ）は図３（Ｂ）に示された人工的な動き場
を有する実際の「小石」の画像シーケンスを示し、
（Ｂ）は図３（Ｂ）に示された動き場を有する「小石」
の画像に補間された第２のフレームをそれぞれ示す図で
ある。
を有する実際の「小石」の画像シーケンスを示し、
（Ｂ）は図３（Ｂ）に示された動き場を有する「小石」
の画像に補間された第２のフレームをそれぞれ示す図で
ある。
【図５】（Ａ）は葉滑らかさ定数による平均絶対エラー
を用いたサイン波画像シーケンスの結果を示し、（Ｂ）
は「小石」画像シーケンスの結果を示す図である。
を用いたサイン波画像シーケンスの結果を示し、（Ｂ）
は「小石」画像シーケンスの結果を示す図である。
【図６】（Ａ）は人工的なサイン波画像シーケンスに対
する収束速度の結果を示し、（Ｂ）は人工的な「小石」
画像シーケンスに対する収束速度の結果を示す図であ
る。
する収束速度の結果を示し、（Ｂ）は人工的な「小石」
画像シーケンスに対する収束速度の結果を示す図であ
る。
【図７】（Ａ）は「車」の画像シーケンスの311 番目の
フレームで顔部の周りの64×64の部分を示し、（Ｂ）は
「車」の画像シーケンスの312 番目のフレームで顔部の
周りの64×64の部分を示す図である。
フレームで顔部の周りの64×64の部分を示し、（Ｂ）は
「車」の画像シーケンスの312 番目のフレームで顔部の
周りの64×64の部分を示す図である。
【図８】（Ａ）は車の画像シーケンスの顔部に対し、変
位フレーム差分のMAE と動きベクトル勾配の大きさとの
間の関係の曲線とその曲率の相対的な大きさを示し、
（Ｂ）は推定された動き場定常状態への収束性を示す図
である。
位フレーム差分のMAE と動きベクトル勾配の大きさとの
間の関係の曲線とその曲率の相対的な大きさを示し、
（Ｂ）は推定された動き場定常状態への収束性を示す図
である。
【図９】顔部に対する定常状態動さ場を確認するため、
（Ａ）は311 番目のフレームを、（Ｂ）は312 番目のフ
レームに重畳された動き場を、（Ｃ）は定常状態動き場
を有する311 番目のフレームから挿入されたフレーム
を、（Ｄ）は312 番目のフレームを、（Ｅ）は311 番目
フレームと312 番目のフレームとの間のフレーム差を、
（Ｆ）は312 番目のフレームと挿入されたフレームとの
間の差をそれぞれ示す図である。
（Ａ）は311 番目のフレームを、（Ｂ）は312 番目のフ
レームに重畳された動き場を、（Ｃ）は定常状態動き場
を有する311 番目のフレームから挿入されたフレーム
を、（Ｄ）は312 番目のフレームを、（Ｅ）は311 番目
フレームと312 番目のフレームとの間のフレーム差を、
（Ｆ）は312 番目のフレームと挿入されたフレームとの
間の差をそれぞれ示す図である。
【図１０】（Ａ）は車の画像シーケンスの311 番目のフ
レームの窓部分の64×64部分を切り取った図であり、
（Ｂ）は車の画像シーケンスの312 番目のフレームの窓
部分の64×64部分を切り取った図である。
レームの窓部分の64×64部分を切り取った図であり、
（Ｂ）は車の画像シーケンスの312 番目のフレームの窓
部分の64×64部分を切り取った図である。
【図１１】車の画像シーケンスの窓部分に対する結果を
示し、（Ａ）は変位フレーム差分のMAE と動きベクトル
勾配の大きさ（実線曲線）との間の関係曲線とその曲率
（点線曲線）の相対的な大きさを、（Ｂ）は推定された
動き場定常状態への収束性をそれぞれ示す図である。
示し、（Ａ）は変位フレーム差分のMAE と動きベクトル
勾配の大きさ（実線曲線）との間の関係曲線とその曲率
（点線曲線）の相対的な大きさを、（Ｂ）は推定された
動き場定常状態への収束性をそれぞれ示す図である。
【図１２】窓部分に対する定常状態動き場を確認するた
め、（Ａ）は311 番目のフレームを、（Ｂ）は312 番目
のフレームに重畳された動き場を、（Ｃ）は定常状態動
き場を有する311 番目のフレームから挿入されたフレー
ムを、（Ｄ）は312 番目のフレームを、（Ｅ）は311 番
目のフレームと312 番目のフレームとの間のフレーム差
を、（Ｆ）は312 番目のフレームと挿入されたフレーム
との差をそれぞれ示す図である。
め、（Ａ）は311 番目のフレームを、（Ｂ）は312 番目
のフレームに重畳された動き場を、（Ｃ）は定常状態動
き場を有する311 番目のフレームから挿入されたフレー
ムを、（Ｄ）は312 番目のフレームを、（Ｅ）は311 番
目のフレームと312 番目のフレームとの間のフレーム差
を、（Ｆ）は312 番目のフレームと挿入されたフレーム
との差をそれぞれ示す図である。
【図１３】本発明によるオプティカルフロー予測のため
のオプティカルフロー予測回路を含むDPCMコーダを示す
図である。
のオプティカルフロー予測回路を含むDPCMコーダを示す
図である。
【図１４】本発明によるオプティカルフロー予測のため
のオプティカルフロー予測回路を含む衝突警報システム
を示す図である。
のオプティカルフロー予測回路を含む衝突警報システム
を示す図である。
１１ オプティカルフロー予測回路 ２０ 空間コーダ ２１ 構造分析回路 ３０ 空間デコーダ ３１ 動き分析回路 ４１ 推定回路 ５０ フレームメモリ ６０ 動き補償回路 ７０ オプティカルフローデコーダ ８０ オプティカルフローコーダ ９０ オプティカルフロー予測回路
───────────────────────────────────────────────────── フロントページの続き (72)発明者 金 鐘 大 大韓民国京畿道果川市別陽洞６番地 住 公アパート501棟502號 (72)発明者 サンジット ケー ミトラ アメリカ合衆国， カリフォルニア州 93106−9560， サンタバーバラ， ユ ニヴァーシティー・オブ・カリフォルニ ア エレクトリカル・アンド・コンピュ ーター・エンジニアリング内（番地な し) (72)発明者 朴 季 鎬 大韓民国京畿道水原市八達區梅灘４洞 810番地 三星２次アパート３棟811號 (72)発明者 朴 東 植 大韓民国大邱直轄市北區山格４洞1424− 30番地 (56)参考文献 特開 平５−233814（ＪＰ，Ａ) 特開 平３−9488（ＪＰ，Ａ) 特開 平４−40576（ＪＰ，Ａ) 特開 平４−271485（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) G06T 7/20 H04N 7/32
Claims (7)
- 【請求項１】 ビデオデータを符号化する装置において
ポアソン方程式を用いてオプティカルフローを予測する
局所緩和方法であって、 ビデオデータの２個以上のフレームを受け取り、 ポアソン方程式を用いて上記ビデオデータのフレーム内
のオプティカルフローを予測し、 Ｇ及びＥがマトリックスを表し、ｂがベクトルを表し、
ｘが速度結合項を表わすとき、線形マトリックス Ｇｘ＝Ｅｘ＋ｂ の形で速度結合項を含む上記ポアソン方程式を決定し、 上記決定されたポアソン方程式の速度結合項を分離し、 時間的な変化に応じて変位したフレームのエッジの輝度
勾配の差を表わす変位フレーム差分を上記速度結合項が
分離された上記ポアソン方程式に適用する過程を含むこ
とを特徴とするオプティカルフローを予測する局所緩和
方法。 - 【請求項２】 上記ポアソン方程式の速度結合項はユニ
タリ変換を用いて分離される請求項１記載のオプティカ
ルフローを予測する局所弛緩方法。 - 【請求項３】 ビデオデータを符号化する装置におい
て、画像シーケンスを表わす ビデオデータの２枚以上のフレ
ームを受ける入力手段と、上記入力手段に接続され、ポアソン方程式を使用して上
記ビデオデータのフレーム内のオプティカルフローを予
測するよう動作的であるオプティカルフロー予測回路と
を含み、 上記オプティカルフロー予測回路は、 Ｇ及びＥがマトリックスを表し、ｂがベクトルを表し、
ｘが速度結合項を表わすとき、速度結合項を含むポアソ
ン方程式を、 Ｇｘ＝Ｅｘ＋ｂ のような線形マトリックス形式を用いて定める手段と、 上記定められたポアソン方程式の速度結合項を分離する
手段と、 上記速度結合項が分離されたポアソン方程式に時間的な
変化に応じて変位したフレームのエッジの輝度勾配の差
を表わす変位フレーム差分を適用する手段とを有する、
装置。 - 【請求項４】 上記入力手段と、上記オプティカルフロ
ー予測回路の出力とに接続され、上記ビテオデータのフ
レーム内で動きを補償する動き予測手段をさらに含むこ
とを特徴とする請求項３記載の装置。 - 【請求項５】 上記動き予測手段は、 ビデオデータの現在のフレームからビデオデータの前の
フレームを減算し、得られた差を出力する減算器と、上 記減算器の出力に接続され、符号化されたエラー信号
を生成するため、変換符号化アルゴリズムに従って上記
差を符号化する空間コーダと、上 記符号化されたエラー信号を復号化する空間デコーダ
と、上 記現在のフレームを再構成するため、上記空間デコー
ダの出力と上記ビデオデータの二つ前のフレームを加算
する加算器と、上 記再構成されたフレームを蓄積するためのフレームメ
モリと、上 記フレームメモリの出力と接続され、上記前のフレー
ムを算出して上記減算器に出力する手段とを含むことを
特徴とする請求項４記載の装置。 - 【請求項６】 上記変換符号化アルゴリズムは、離散コ
サイン変換とウェーブレット変換の中の一方であること
を特徴とする請求項５記載の装置。 - 【請求項７】 画像シーケンスを表わすビデオデータの
２枚以上のフレームを受ける入力手段と、上記入力手段に接続され、Ｇ及びＥがマトリックスを表
し、ｂがベクトルを表し、ｘが速度結合項を表わすと
き、速度結合項を含むポアソン方程式を、 Ｇｘ＝Ｅｘ＋ｂ のような線形マトリックス形式を用いて定める手段、上
記定められたポアソン方程式の速度結合項を分離する手
段、及び、上記速度結合項が分離されたポアソン方程式
に時間的な変化により変位したフレームのエッジの輝度
勾配の差を表わす変位フレーム差分を適用する手段を有
し、ポアソン方程式を使用して上記ビデオ データのフレ
ーム内のオプティカルフローを予測するよう動作的であ
るオプティカルフロー予測回路と、 上 記オプティカルフロー予測回路の出力と接続され、上
記画像シーケンス内で１つ以上の運動中物体の構造を抽
出する構造分析回路と、上 記オプティカルフロー予測回路の出力と接続され、上
記画像シーケンス内で上記物体の相対運動を判定する動
き分析回路と、上 記構造分析回路及び上記動き分析回路の出力と接続さ
れ、少なくとも２つの物体の間で衝突が起きるかどうか
を予測し、これにより衝突警報信号を出力する推定回路
とを含むことを特徴とする衝突警報システム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US08/818,982 US5912815A (en) | 1997-03-14 | 1997-03-14 | Local relaxation method for estimating optical flow |
| US818982 | 1997-03-14 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10261092A JPH10261092A (ja) | 1998-09-29 |
| JP3073715B2 true JP3073715B2 (ja) | 2000-08-07 |
Family
ID=25226929
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP09334574A Expired - Fee Related JP3073715B2 (ja) | 1997-03-14 | 1997-12-04 | オプティカルフローを予測する局所緩和方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US5912815A (ja) |
| JP (1) | JP3073715B2 (ja) |
| KR (1) | KR100243137B1 (ja) |
| CN (1) | CN1084471C (ja) |
| DE (1) | DE19753444C2 (ja) |
| GB (1) | GB2325581B (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2772136B1 (fr) * | 1997-12-08 | 2000-01-07 | Elf Exploration Prod | Methode de detection d'une discontinuite geologique presente dans un milieu par utilisation du flux optique |
| FI108900B (fi) * | 1999-12-28 | 2002-04-15 | Martti Kesaeniemi | Optinen vuo ja kuvan muodostaminen |
| US6862372B2 (en) * | 2001-12-27 | 2005-03-01 | Koninklijke Philips Electronics N.V. | System for and method of sharpness enhancement using coding information and local spatial features |
| US7130745B2 (en) | 2005-02-10 | 2006-10-31 | Toyota Technical Center Usa, Inc. | Vehicle collision warning system |
| US9063882B1 (en) * | 2010-09-09 | 2015-06-23 | Sas Ip, Inc. | Matrix preconditioners for simulations of physical fields |
| US8559763B2 (en) * | 2010-12-14 | 2013-10-15 | The United States Of America As Represented By The Secretary Of The Navy | Method and apparatus for motion-compensated interpolation (MCI) with conservative motion model |
| EP3016383B1 (en) * | 2014-11-03 | 2017-06-21 | Axis AB | Method, device, and system for pre-processing a video stream for subsequent motion detection processing |
| CN114399539B (zh) * | 2022-01-14 | 2024-09-03 | 合肥英睿系统技术有限公司 | 运动目标的检测方法、设备以及存储介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5119323A (en) * | 1990-01-16 | 1992-06-02 | United Technologies Corporation | Numerical processing of optical wavefront data |
| US5257209A (en) * | 1990-06-26 | 1993-10-26 | Texas Instruments Incorporated | Optical flow computation for moving sensors |
| US5991459A (en) * | 1992-01-22 | 1999-11-23 | Eastman Kodak Company | Method of modifying a time-varying image sequence by estimation of velocity vector fields |
| DE19514654B4 (de) * | 1994-04-20 | 2009-07-09 | Denso Corporation, Kariya | Kollisionsalarmsystem für ein Kraftfahrzeug |
-
1997
- 1997-03-14 US US08/818,982 patent/US5912815A/en not_active Expired - Fee Related
- 1997-09-19 KR KR1019970047795A patent/KR100243137B1/ko not_active IP Right Cessation
- 1997-12-02 DE DE19753444A patent/DE19753444C2/de not_active Expired - Fee Related
- 1997-12-04 CN CN97125415A patent/CN1084471C/zh not_active Expired - Fee Related
- 1997-12-04 JP JP09334574A patent/JP3073715B2/ja not_active Expired - Fee Related
- 1997-12-04 GB GB9725701A patent/GB2325581B/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| GB9725701D0 (en) | 1998-02-04 |
| CN1084471C (zh) | 2002-05-08 |
| GB2325581A (en) | 1998-11-25 |
| JPH10261092A (ja) | 1998-09-29 |
| GB2325581B (en) | 1999-04-14 |
| KR19980079373A (ko) | 1998-11-25 |
| DE19753444A1 (de) | 1998-09-17 |
| DE19753444C2 (de) | 2000-06-29 |
| US5912815A (en) | 1999-06-15 |
| CN1201144A (zh) | 1998-12-09 |
| KR100243137B1 (ko) | 2000-02-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5760846A (en) | Apparatus for estimating motion vectors for feature points of a video signal | |
| US4661849A (en) | Method and apparatus for providing motion estimation signals for communicating image sequences | |
| US4727422A (en) | Method and apparatus for efficiently communicating image sequence having improved motion compensation | |
| JP3847827B2 (ja) | 動きベクトル検出方法 | |
| US5614959A (en) | Method and apparatus for motion estimation | |
| KR100519871B1 (ko) | 고해상도 정지 화상의 생성 방법 및 장치 | |
| EP0849950A2 (en) | Dynamic sprites for encoding video data | |
| US20040120401A1 (en) | Motion estimation engine with parallel interpolation and search hardware | |
| JPH03253190A (ja) | 動画像のハイブリッド符号化方法及びその装置 | |
| JPS62213392A (ja) | フイ−ルド補間方法 | |
| US20090168889A1 (en) | Inter-frame predicted image synthesizing method | |
| JP3655651B2 (ja) | データ処理装置 | |
| JPH08265781A (ja) | 動きベクトル特定方法及び装置 | |
| JPH08307874A (ja) | 映像信号符号化装置 | |
| US6222882B1 (en) | Adaptive motion estimation method of a luminance signal | |
| US6944227B1 (en) | Method and apparatus for motion vector field encoding | |
| Kuo et al. | Motion estimation for video compression using Kalman filtering | |
| JP3073715B2 (ja) | オプティカルフローを予測する局所緩和方法 | |
| US5802211A (en) | Method and apparatus for transmitting and utilizing analog encoded information | |
| JP4735063B2 (ja) | 動画像変換装置、動画像変換方法、及びコンピュータ・プログラム | |
| US6343151B1 (en) | Method and apparatus for transmitting and utilizing analog encoded information | |
| US5689312A (en) | Block matching motion estimation method | |
| KR19990036105A (ko) | 화상 정보 변환 장치와 방법 및 적화 연산 회로와 방법 | |
| US5907360A (en) | Coder/decoder for television image sub-band compatible coding, and its application to hierarchical motion coding by tree structures | |
| JP2001186531A (ja) | 内挿を使用する動画像の動き補償予測のための方法及び装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090602 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100602 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |