JPH07200832A - 画像間の大域変位の検出方法 - Google Patents
画像間の大域変位の検出方法Info
- Publication number
- JPH07200832A JPH07200832A JP6314518A JP31451894A JPH07200832A JP H07200832 A JPH07200832 A JP H07200832A JP 6314518 A JP6314518 A JP 6314518A JP 31451894 A JP31451894 A JP 31451894A JP H07200832 A JPH07200832 A JP H07200832A
- Authority
- JP
- Japan
- Prior art keywords
- vector
- correlation
- sub
- global
- reference frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/527—Global motion vector estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/547—Motion estimation performed in a transform domain
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【目的】 ０．５画素を越える精度を持つ変位ベクトル
の発生。 【構成】 画像フレーム記憶装置１０、位相相関装置１
２、基準フレーム記憶装置１４、そして空間補間装置１
６からなる。基準フレーム記憶装置１４は、それぞれ、
フーリエ係数と基準フレームから得たサブブロック値を
記憶する。位相相関法と空間領域一致法を組み合わせる
ようにしたので、信頼性が高くかつサブピクセルレベル
の精度のベクトルを生成することができる。
の発生。 【構成】 画像フレーム記憶装置１０、位相相関装置１
２、基準フレーム記憶装置１４、そして空間補間装置１
６からなる。基準フレーム記憶装置１４は、それぞれ、
フーリエ係数と基準フレームから得たサブブロック値を
記憶する。位相相関法と空間領域一致法を組み合わせる
ようにしたので、信頼性が高くかつサブピクセルレベル
の精度のベクトルを生成することができる。
Description
【０００１】
【産業上の利用分野】本発明は、画像間の大域変位（ｇ
ｌｏｂａｌ ｔｒａｎｓｌａｔｉｏｎ）の検出に関し、
とくに、時間的あるいは空間的に関連している画像間の
大域変位の検出をサブピクセル（ｓｕｂｐｉｘｅｌ）レ
ベルの精度でディジタル処理する方法に関する。
ｌｏｂａｌ ｔｒａｎｓｌａｔｉｏｎ）の検出に関し、
とくに、時間的あるいは空間的に関連している画像間の
大域変位の検出をサブピクセル（ｓｕｂｐｉｘｅｌ）レ
ベルの精度でディジタル処理する方法に関する。
【０００２】
【従来の技術】画像は、たとえば、時間と共に変化する
シーケンスの一部又は全部を含むか、あるいは１つの画
像の色分解を含む。本発明による方法の代表的な応用
は、動画フィルムから生成した画像の、時間と共に変化
するシーケンスの空間的な動揺を、高精度で自動検出及
び補正することと、異なる時間に撮った同一の被写体の
一対の画像の自動アラインメントと、そして１つの画像
の色分解の自動レジストレーション（ｒｅｇｉｓｔｒａ
ｔｉｏｎ）とを含む。
シーケンスの一部又は全部を含むか、あるいは１つの画
像の色分解を含む。本発明による方法の代表的な応用
は、動画フィルムから生成した画像の、時間と共に変化
するシーケンスの空間的な動揺を、高精度で自動検出及
び補正することと、異なる時間に撮った同一の被写体の
一対の画像の自動アラインメントと、そして１つの画像
の色分解の自動レジストレーション（ｒｅｇｉｓｔｒａ
ｔｉｏｎ）とを含む。
【０００３】空間的変換を測定するアルゴリズムには、
二つクラスがある。第一のクラスは、非画像情報、たと
えば、スプロケット穴又はフレームの縁の位置の使用あ
るいは起点マークの使用に関し、第二のクラスは、画像
の情報の内容の使用によって決まる。第二のクラスは、
動き予測アルゴリズムと呼ぶことができる。本発明は、
この第二のクラスに関するものである。
二つクラスがある。第一のクラスは、非画像情報、たと
えば、スプロケット穴又はフレームの縁の位置の使用あ
るいは起点マークの使用に関し、第二のクラスは、画像
の情報の内容の使用によって決まる。第二のクラスは、
動き予測アルゴリズムと呼ぶことができる。本発明は、
この第二のクラスに関するものである。
【０００４】動き予測アルゴリズムは、この特定の応用
において、融通性が高いという利点を持つ。動き予測ア
ルゴリズムは、ソース又はヒストリー（ｈｉｓｔｏｒ
ｙ）から独立して設定した画像に対して、実現すること
ができる。
において、融通性が高いという利点を持つ。動き予測ア
ルゴリズムは、ソース又はヒストリー（ｈｉｓｔｏｒ
ｙ）から独立して設定した画像に対して、実現すること
ができる。
【０００５】動き予測アルゴリズムは、一般的に次の３
種類に分けることができる： （１）ブロック照合アルゴリズム ブロック照合アルゴリズムは、次の文献に説明がある：
ＩＥＥＥ専門家会議による“Ｍｏｔｉｏｎ Ｃｏｍｐｅ
ｎｓａｔｅｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ”の
ダイジェスト、１９８７／８６に含まれる“Ａ Ｈａｒ
ｄｗａｒｅ Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｏｒ
ｆｏｒ ａ Ｖｉｄｅｏｃｏｎｆｅｒｅｎｃｉｎｇ Ｃ
ｏｄｅｃ”、Ｉ Ｐａｒｋｅ ａｎｄ Ｄ Ｇ Ｍｏｒ
ｒｉｓｏｎ及び“Ｍｏｔｉｏｎ−ｃｏｍｐｅｎｓａｔｅ
ｄ Ｆｉｅｌｄ Ｒａｔｅ Ｃｏｎｖｅｒｓｉｏｎ ｆ
ｏｒ ＨＤＴＶ Ｄｉｓｐｌａｙ”、Ｇ Ｍ Ｘ Ｆｅ
ｒｎａｎｄｏ、そして“Ｔｈｅ Ｄｅｖｅｌｏｐｍｅｎ
ｔ ｏｆ ａｎ ＨＤＴＶｔｏ ＰＡＬ Ｓｔａｎｄａ
ｒｄｓ Ｃｏｎｖｅｒｔｅｒ”、Ｔ Ｏｈｍｕｒａ、Ｉ
ＢＣ８６議事録、ページ２２１〜２２４。
種類に分けることができる： （１）ブロック照合アルゴリズム ブロック照合アルゴリズムは、次の文献に説明がある：
ＩＥＥＥ専門家会議による“Ｍｏｔｉｏｎ Ｃｏｍｐｅ
ｎｓａｔｅｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ”の
ダイジェスト、１９８７／８６に含まれる“Ａ Ｈａｒ
ｄｗａｒｅ Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｏｒ
ｆｏｒ ａ Ｖｉｄｅｏｃｏｎｆｅｒｅｎｃｉｎｇ Ｃ
ｏｄｅｃ”、Ｉ Ｐａｒｋｅ ａｎｄ Ｄ Ｇ Ｍｏｒ
ｒｉｓｏｎ及び“Ｍｏｔｉｏｎ−ｃｏｍｐｅｎｓａｔｅ
ｄ Ｆｉｅｌｄ Ｒａｔｅ Ｃｏｎｖｅｒｓｉｏｎ ｆ
ｏｒ ＨＤＴＶ Ｄｉｓｐｌａｙ”、Ｇ Ｍ Ｘ Ｆｅ
ｒｎａｎｄｏ、そして“Ｔｈｅ Ｄｅｖｅｌｏｐｍｅｎ
ｔ ｏｆ ａｎ ＨＤＴＶｔｏ ＰＡＬ Ｓｔａｎｄａ
ｒｄｓ Ｃｏｎｖｅｒｔｅｒ”、Ｔ Ｏｈｍｕｒａ、Ｉ
ＢＣ８６議事録、ページ２２１〜２２４。
【０００６】ブロック照合アルゴリズムでは、照合は、
最大相互相関又は最小平均２乗誤差に基づき、空間領域
で実現する。この方法は、階層的探索技法の応用するこ
とによりいかに効率的にハードウェアで実現したかで、
その有用性が決まる。
最大相互相関又は最小平均２乗誤差に基づき、空間領域
で実現する。この方法は、階層的探索技法の応用するこ
とによりいかに効率的にハードウェアで実現したかで、
その有用性が決まる。
【０００７】（２）空間時間的制約又は勾配照合アルゴ
リズム このアルゴリズムは、“Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔ
ｉｏｎ ｆｏｒ Ｆｒａｍｅ−ｒａｔｅ Ｃｏｎｖｅｒ
ｓｉｏｎ”、Ｅ Ａ Ｋｒａｕｓｅ、ＭＩＴｐｈＤ論
文、ＡＴＲＰＴ−７０（１９８７）に記述がある。
リズム このアルゴリズムは、“Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔ
ｉｏｎ ｆｏｒ Ｆｒａｍｅ−ｒａｔｅ Ｃｏｎｖｅｒ
ｓｉｏｎ”、Ｅ Ａ Ｋｒａｕｓｅ、ＭＩＴｐｈＤ論
文、ＡＴＲＰＴ−７０（１９８７）に記述がある。
【０００８】上記論文で使用している方法は、動きは一
定の輝度のパスに沿って発生するという仮定に基づいて
いる。したがって、輝度Ｌを空間位置（ｘ，ｙ）と時間
ｔの関数とすると、次式が成立する：
定の輝度のパスに沿って発生するという仮定に基づいて
いる。したがって、輝度Ｌを空間位置（ｘ，ｙ）と時間
ｔの関数とすると、次式が成立する：
【数２】 上式を展開し、高次の項を無視すると、次式が与えられ
る：
る：
【数３】 ｄｘ／ｄｔ及びｄｙ／ｄｔに対する推定値は、制約条件
を画像の流れの円滑性に対して空間的及び時間的に課す
ことにより、得ることができる。一般的に、輝度信号の
空間的勾配及び時間的勾配は、それぞれ、局所空間高域
フィルタリングからの出力と、対応画素値のフレーム間
の差とに基づいて、近似される。この方法については、
“Ｍｅｔｈｏｄｓ ｆｏｒ Ｍｅａｓｕｒｉｎｇ Ｓｍ
ａｌｌＤｉｓｐｌａｃｅｍｅｎｔｓ ｏｆ Ｔｅｌｅｖ
ｉｓｉｏｎ Ｉｍａｇｅｓ”、Ｃ Ｃａｆｆｏｒｉｏ
等、ＩＥＥＥ情報理論会報、ＩＴ−２２、５、５７３−
５７９（１９７６）に説明がある。
を画像の流れの円滑性に対して空間的及び時間的に課す
ことにより、得ることができる。一般的に、輝度信号の
空間的勾配及び時間的勾配は、それぞれ、局所空間高域
フィルタリングからの出力と、対応画素値のフレーム間
の差とに基づいて、近似される。この方法については、
“Ｍｅｔｈｏｄｓ ｆｏｒ Ｍｅａｓｕｒｉｎｇ Ｓｍ
ａｌｌＤｉｓｐｌａｃｅｍｅｎｔｓ ｏｆ Ｔｅｌｅｖ
ｉｓｉｏｎ Ｉｍａｇｅｓ”、Ｃ Ｃａｆｆｏｒｉｏ
等、ＩＥＥＥ情報理論会報、ＩＴ−２２、５、５７３−
５７９（１９７６）に説明がある。
【０００９】（３）位相相関アルゴリズム このアルゴリズムについては、“ＴＶ Ｐｉｃｔｕｒｅ
Ｍｏｔｉｏｎ Ｍｅａｓｕｒｅｍｅｎｔ”、Ｇ Ａ
Ｔｈｏｍａｓ、ＷＯ−Ａ−８７／０５７６９及び“Ｃｉ
ｎｅ Ｕｎｓｔｅａｄｉｎｅｓｓ ｉｎ Ｖｉｄｅｏ
ＳｉｇｎａｌＣｏｒｒｅｃｔｉｏｎ”、Ｋ Ｌ Ｍｉｎ
ａｋｏｖｉｃ、ＧＢ−Ａ−２ １８７９１３に説明があ
る。
Ｍｏｔｉｏｎ Ｍｅａｓｕｒｅｍｅｎｔ”、Ｇ Ａ
Ｔｈｏｍａｓ、ＷＯ−Ａ−８７／０５７６９及び“Ｃｉ
ｎｅ Ｕｎｓｔｅａｄｉｎｅｓｓ ｉｎ Ｖｉｄｅｏ
ＳｉｇｎａｌＣｏｒｒｅｃｔｉｏｎ”、Ｋ Ｌ Ｍｉｎ
ａｋｏｖｉｃ、ＧＢ−Ａ−２ １８７９１３に説明があ
る。
【００１０】位相相関法は、空間領域のｘ−ｙ変換はフ
ーリエ領域の移相に対応するという原理に基づいてい
る。各々の周波数における移相は、次式で求めることが
できる：
ーリエ領域の移相に対応するという原理に基づいてい
る。各々の周波数における移相は、次式で求めることが
できる：
【数４】 ここで、ＦとＧは、入力シーケンスにおける近傍フレー
ムからの位置あるいは同一画像の色分解からの位置に対
応する、ブロックｆ，ｇの二次元フーリエ変換である。
ΔΦ（ｕ，ｖ）を逆変換すると、ｘ−ｙ変位に対応する
位置にスパイク（より厳密には、フーリエ領域の有効窓
に由来するｓｉｎｃ関数）を持つ相関面が発生する。こ
の場合、スパイクの高さは、上記変位だけ移動したブロ
ック内の画素数に対応する。
ムからの位置あるいは同一画像の色分解からの位置に対
応する、ブロックｆ，ｇの二次元フーリエ変換である。
ΔΦ（ｕ，ｖ）を逆変換すると、ｘ−ｙ変位に対応する
位置にスパイク（より厳密には、フーリエ領域の有効窓
に由来するｓｉｎｃ関数）を持つ相関面が発生する。こ
の場合、スパイクの高さは、上記変位だけ移動したブロ
ック内の画素数に対応する。
【００１１】
【発明が解決しようとする課題】上記のようなブロック
照合アルゴリズムを使用する方法は、変位の信頼性の高
い測定、あるいはサブピクセルレベルの精度の変換には
不適切である。
照合アルゴリズムを使用する方法は、変位の信頼性の高
い測定、あるいはサブピクセルレベルの精度の変換には
不適切である。
【００１２】空間時間的制約又は勾配アルゴリズムで使
用する方法は、たとえば１画素分しか変位しないときの
ような、変位が小さい場合にだけ、サブピクセルレベル
の精度のベクトルを発生するのに適している。この方法
は、その原理ゆえに、運動ベクトルを、大域的（ブロッ
ク単位）にではなく、局所的（画素単位）に発生させる
のに適している。したがって、オプティカルフローによ
る動き予測は、大域変位の検出には不適切である。
用する方法は、たとえば１画素分しか変位しないときの
ような、変位が小さい場合にだけ、サブピクセルレベル
の精度のベクトルを発生するのに適している。この方法
は、その原理ゆえに、運動ベクトルを、大域的（ブロッ
ク単位）にではなく、局所的（画素単位）に発生させる
のに適している。したがって、オプティカルフローによ
る動き予測は、大域変位の検出には不適切である。
【００１３】位相相関法は、フレームから独立した雑音
（この雑音は、相関面全体に拡散する）と、情景内の独
立した動き（この動きは、大域変位に対応するスパイク
に対して悪影響を与えることなく分離できる相関面にお
ける低振幅独立スパイクとして、一般的に現われる）が
存在する場合に、極めて効果を発揮する。
（この雑音は、相関面全体に拡散する）と、情景内の独
立した動き（この動きは、大域変位に対応するスパイク
に対して悪影響を与えることなく分離できる相関面にお
ける低振幅独立スパイクとして、一般的に現われる）が
存在する場合に、極めて効果を発揮する。
【００１４】したがって、原理的には、位相相関法は、
各々のフレームにつき１個の大域ベクトルが必要な変位
を予測する方法としては、最適であるように見える。
各々のフレームにつき１個の大域ベクトルが必要な変位
を予測する方法としては、最適であるように見える。
【００１５】しかし、位相相関法では、入力データの標
本化周波数で標本化する相関面が発生するので、その最
も簡単な形においては、画素レベルの精度のベクトルが
発生する。相関面に対して二次元補間を行って、連続相
関面を再構成してからピークの位置を予測すること、あ
るいは、１つの工程で、同等の連続面におけるピークの
対応位置を予測することが可能である。
本化周波数で標本化する相関面が発生するので、その最
も簡単な形においては、画素レベルの精度のベクトルが
発生する。相関面に対して二次元補間を行って、連続相
関面を再構成してからピークの位置を予測すること、あ
るいは、１つの工程で、同等の連続面におけるピークの
対応位置を予測することが可能である。
【００１６】しかし、この方法では、エッジ効果とスペ
クトル漏れのために、再構成した面にエラーが混入する
可能性がある。
クトル漏れのために、再構成した面にエラーが混入する
可能性がある。
【００１７】前者の場合、一対の画像から、対応する画
素位置にあるブロックを選択する。一対の画像間の大域
変位の結果として、対応するブロックには、画像の、わ
ずかに異なる複数の部分からの情報が含まれる。
素位置にあるブロックを選択する。一対の画像間の大域
変位の結果として、対応するブロックには、画像の、わ
ずかに異なる複数の部分からの情報が含まれる。
【００１８】後者の場合、位相相関に対して入力した信
号を標本化するので、フーリエ領域の位相差信号を、標
本化周波数の倍数を中心として、繰り返す。この繰返し
スペクトルを、カットオフ周波数を持つ窓を使用して、
入力ナイキスト周波数においてろ過してから、この窓の
逆変換を標本化した相関面で効果的に畳み込む。あるい
は、繰返しスペクトルと、したがって、ナイキスト周波
数において発生する不連続性とを持つ位相差信号を逆変
換すると、この不連続性により、再構成した相関面にエ
ラーがもたらされる。このエラーにより、１画素の０．
５程度の精度しか持たない変位ベクトルが発生する。
号を標本化するので、フーリエ領域の位相差信号を、標
本化周波数の倍数を中心として、繰り返す。この繰返し
スペクトルを、カットオフ周波数を持つ窓を使用して、
入力ナイキスト周波数においてろ過してから、この窓の
逆変換を標本化した相関面で効果的に畳み込む。あるい
は、繰返しスペクトルと、したがって、ナイキスト周波
数において発生する不連続性とを持つ位相差信号を逆変
換すると、この不連続性により、再構成した相関面にエ
ラーがもたらされる。このエラーにより、１画素の０．
５程度の精度しか持たない変位ベクトルが発生する。
【００１９】この精度を向上させるために、いくつかの
方法が提案されている。たとえば、上記の位相相関アル
ゴリズムを使用して、フーリエ領域に０を詰めてから逆
変換を行い、空間領域におけるｓｉｎｃ関数による補間
を実行する方法がある。しかし、この方法では、好まし
くないリンギング雑音が発生する。このリンギング雑音
は、ウインドウ技法（ｗｉｎｄｏｗｉｎｇ ｔｅｃｈｎ
ｉｑｕｅｓ）によって減少させることができるが、この
方法では、計算が全体的に複雑なものになってしまう。
方法が提案されている。たとえば、上記の位相相関アル
ゴリズムを使用して、フーリエ領域に０を詰めてから逆
変換を行い、空間領域におけるｓｉｎｃ関数による補間
を実行する方法がある。しかし、この方法では、好まし
くないリンギング雑音が発生する。このリンギング雑音
は、ウインドウ技法（ｗｉｎｄｏｗｉｎｇ ｔｅｃｈｎ
ｉｑｕｅｓ）によって減少させることができるが、この
方法では、計算が全体的に複雑なものになってしまう。
【００２０】
【課題を解決するための手段】したがって、位相相関法
を拡張し、１画素の０．５より著しく良好な精度を持つ
変位ベクトルを発生できる比較的簡単な方法を提供する
のが本発明の目的である。この方法によれば、たとえ
ば、ＵＳ−Ａ−５ ２４３ ４３３に開示されている方
法を使用することにより、画像を、大域変位ベクトルに
従って、空間補間により、サブピクセルレベルの精度で
アラインメントし直すことができる。
を拡張し、１画素の０．５より著しく良好な精度を持つ
変位ベクトルを発生できる比較的簡単な方法を提供する
のが本発明の目的である。この方法によれば、たとえ
ば、ＵＳ−Ａ−５ ２４３ ４３３に開示されている方
法を使用することにより、画像を、大域変位ベクトルに
従って、空間補間により、サブピクセルレベルの精度で
アラインメントし直すことができる。
【００２１】本発明によれば、２つの画像間での大域変
位を検出する方法が提供され、この方法は次の工程から
なる： （ａ）前記２つの画像間の変換を画素レベルの精度で示
す位相相関法を使用し、部分的に正規化された次式を用
いて少なくとも１個の変位ベクトルを生成する工程、
位を検出する方法が提供され、この方法は次の工程から
なる： （ａ）前記２つの画像間の変換を画素レベルの精度で示
す位相相関法を使用し、部分的に正規化された次式を用
いて少なくとも１個の変位ベクトルを生成する工程、
【数５】 ここで、０＜ｎ＜１ （ｂ）前記（ａ）にて求められた相関面を記憶する工
程、（ｃ）前記２つの画像間の大域変位を最も高精度に
表わす１個のベクトルを選択する工程、（ｄ）前記記憶
された相関面を補間して、サブピクセルレベルの精度で
検出を行なう工程。
程、（ｃ）前記２つの画像間の大域変位を最も高精度に
表わす１個のベクトルを選択する工程、（ｄ）前記記憶
された相関面を補間して、サブピクセルレベルの精度で
検出を行なう工程。
【００２２】ステップ（ｃ）で、好ましいベクトルを得
るために少なくとも１つの変位ベクトルにしきい値を適
用することが好ましい。
るために少なくとも１つの変位ベクトルにしきい値を適
用することが好ましい。
【００２３】上述の位相相関の表現は次のように記述す
ることもできる。
ることもできる。
【００２４】
【数６】 ここで、ｎは正規化係数である。
【００２５】ｎ＝１のとき、数値は十分に正規化され、
ΔΦ（ｕ，ｖ）は単一の数値およびそれぞれの周波数で
位相差を有している。これは、従来の位相相関の計算で
最も重要なステップである。
ΔΦ（ｕ，ｖ）は単一の数値およびそれぞれの周波数で
位相差を有している。これは、従来の位相相関の計算で
最も重要なステップである。
【００２６】ｎ＝０のとき、数値の積は全く正規化され
ず、したがってこの表現はフーリエ領域で実行される相
互相関の計算で最も重要なステップである。
ず、したがってこの表現はフーリエ領域で実行される相
互相関の計算で最も重要なステップである。
【００２７】
【作用】本発明では、０と１の間の値である正規化係数
ｎが用いられる。したがってこの方法は、ｎの関数とし
て位相相関とフーリエ領域相互相関との間の重みつき混
成関数を用いる点にある。
ｎが用いられる。したがってこの方法は、ｎの関数とし
て位相相関とフーリエ領域相互相関との間の重みつき混
成関数を用いる点にある。
【００２８】本発明では、まず、一対の画像内の適当な
大きさの多数の対応サブブロックに対して、位相相関法
を実行する。生成した相関面から、ベクトルの集合を求
める。このベクトルの集合は、あらかじめ指定した値よ
り高いピークに対応するすべてのベクトル、あるいは他
の適当な方法に従って選択したベクトルからなる。この
ベクトルの集合から、一対のフレーム間の大域変位を画
素レベルの精度で最も高精度に表わす１個のベクトルを
選択する。
大きさの多数の対応サブブロックに対して、位相相関法
を実行する。生成した相関面から、ベクトルの集合を求
める。このベクトルの集合は、あらかじめ指定した値よ
り高いピークに対応するすべてのベクトル、あるいは他
の適当な方法に従って選択したベクトルからなる。この
ベクトルの集合から、一対のフレーム間の大域変位を画
素レベルの精度で最も高精度に表わす１個のベクトルを
選択する。
【００２９】そしてサブピクセルの精度でベクトルを得
るために、２次元の２次補間がその大域変位ベクトルを
生成する相関面上で実行される。
るために、２次元の２次補間がその大域変位ベクトルを
生成する相関面上で実行される。
【００３０】
【実施例】上述したように、本発明は、画像細部の動き
にではなく、フレーム間の動きに起因する、一対の画像
フレーム間の変位あるいは変換を判定するのに使用する
ことができる。
にではなく、フレーム間の動きに起因する、一対の画像
フレーム間の変位あるいは変換を判定するのに使用する
ことができる。
【００３１】さらに、測定する変換は、１つの画像の色
分解から取り出すことができ、そうして得た変換を使用
して、フレームを再構成してフルカラーの最終画像を生
成するときに、色画像の正確なアラインメントを行なう
ことができる。
分解から取り出すことができ、そうして得た変換を使用
して、フレームを再構成してフルカラーの最終画像を生
成するときに、色画像の正確なアラインメントを行なう
ことができる。
【００３２】順序通りに連続する一対のフレームの各々
対する、あるいは色変化に起因する一対の分離に対す
る、本発明の好適な一実施例の詳細を以下に示す。
対する、あるいは色変化に起因する一対の分離に対す
る、本発明の好適な一実施例の詳細を以下に示す。
【００３３】（１）ブロックを一対のフレームの対応位
置に格納する。このブロックは、各々のが６４×６４画
素のからなる５個（４隅プラス中心）又は９個（４隅、
中心の縁及び中心）のブロックである。
置に格納する。このブロックは、各々のが６４×６４画
素のからなる５個（４隅プラス中心）又は９個（４隅、
中心の縁及び中心）のブロックである。
【００３４】（２）２次元部分正規化位相相関を次に示
す次式で与えられるように各ブロッ対に対して行う。
す次式で与えられるように各ブロッ対に対して行う。
【００３５】
【数７】 最も正確に変位ベクトルを生成する場合、ｎの最適値は
０．５〜０．６の範囲にあることがわかった。つづい
て、各ブロックの対に対して相関面を得るために、逆変
換が行われる。
０．５〜０．６の範囲にあることがわかった。つづい
て、各ブロックの対に対して相関面を得るために、逆変
換が行われる。
【００３６】（３）各々の相関面を、有意ピークとして
予測される最大値（一般的に、約０．１〜０．２）に対
応する値において、しきい値処理を行なう。すると、一
般的に、有意のベクトルが、１つの変位位置においてだ
け得られる。最後に、探索技法を使用して、最大値を持
つ残りのピーク（それが存在する場合）の位置を見つけ
る。入力信号がほとんど無いか、あるいはブロックの大
部分が独立した動きのブロックにおいては、残りのピー
クは存在しない可能性がある。
予測される最大値（一般的に、約０．１〜０．２）に対
応する値において、しきい値処理を行なう。すると、一
般的に、有意のベクトルが、１つの変位位置においてだ
け得られる。最後に、探索技法を使用して、最大値を持
つ残りのピーク（それが存在する場合）の位置を見つけ
る。入力信号がほとんど無いか、あるいはブロックの大
部分が独立した動きのブロックにおいては、残りのピー
クは存在しない可能性がある。
【００３７】（４）上記の操作の結果として得られたベ
クトル集合から、最頻値（ｍｏｄａｌ ｖａｌｕｅ）
（つまり最も頻繁に発生する変位ベクトル）を取り出
す。これが、画素レベルの精度を持つ大域運動ベクトル
である。
クトル集合から、最頻値（ｍｏｄａｌ ｖａｌｕｅ）
（つまり最も頻繁に発生する変位ベクトル）を取り出
す。これが、画素レベルの精度を持つ大域運動ベクトル
である。
【００３８】（５） サブピクセルの精度を得るため
に、最大振幅を持つ最頻ベクトルを持つ（すなわち、信
頼性は最小となるで）相関面上で、２次の補間を行う。
に、最大振幅を持つ最頻ベクトルを持つ（すなわち、信
頼性は最小となるで）相関面上で、２次の補間を行う。
【００３９】
【数８】
【数９】 ここで、Ｃ0 ，0 は、大域移動ベクトルの位置における
相関面の値 Ｃ1 ，0 は、１画素右における値 Ｃ-1，0 は、１画素左における値 Ｃ0 ，1 は、１画素上における値 Ｃ0 ，-1は、１画素下における値 上記計算の結果として、連続するフレーム間のサブピク
セルレベルの変位に対応する、これらのフレームの一対
の各々に対して、１個のベクトル（ｘ＋δｘ，ｙ＋δ
ｙ）が得られる。
相関面の値 Ｃ1 ，0 は、１画素右における値 Ｃ-1，0 は、１画素左における値 Ｃ0 ，1 は、１画素上における値 Ｃ0 ，-1は、１画素下における値 上記計算の結果として、連続するフレーム間のサブピク
セルレベルの変位に対応する、これらのフレームの一対
の各々に対して、１個のベクトル（ｘ＋δｘ，ｙ＋δ
ｙ）が得られる。
【００４０】一連の画像に対して変位ベクトルを計算す
るとき、位相相関に対する計算は、各々の一対の二番目
のフレームから、この二番目のフレームが後続の一対の
フレームの一番目のフレームになるとき使用する、フー
リエ係数を記憶することにより、減らすことができる。
あるいは、フーリエ係数を、一連のフレーム内の基準と
なるフレームに対して記憶することにより、計算を減ら
すことができる。
るとき、位相相関に対する計算は、各々の一対の二番目
のフレームから、この二番目のフレームが後続の一対の
フレームの一番目のフレームになるとき使用する、フー
リエ係数を記憶することにより、減らすことができる。
あるいは、フーリエ係数を、一連のフレーム内の基準と
なるフレームに対して記憶することにより、計算を減ら
すことができる。
【００４１】図１は、大域変位の修正を行なうために使
用する装置全体のブロック図である。この装置は、画像
フレーム記憶装置１０、位相相関装置１２、基準フレー
ム記憶装置１４、そして空間補間装置１６からなる。
用する装置全体のブロック図である。この装置は、画像
フレーム記憶装置１０、位相相関装置１２、基準フレー
ム記憶装置１４、そして空間補間装置１６からなる。
【００４２】基準フレーム記憶装置１４は、それぞれ、
フーリエ係数と、基準フレームから得たサブブロック値
を記憶する。この基準フレームは、一連のフレームの最
初のフレームでもよい。基準フレームに後続するフレー
ムが修正されて、最初のフレームとのアラインメントが
とられる。
フーリエ係数と、基準フレームから得たサブブロック値
を記憶する。この基準フレームは、一連のフレームの最
初のフレームでもよい。基準フレームに後続するフレー
ムが修正されて、最初のフレームとのアラインメントが
とられる。
【００４３】空間補間装置１６は、前述のＵＳ−Ａ−５
２４３ ４３３に開示されている原理で動作し、必要
な修正を行なう。
２４３ ４３３に開示されている原理で動作し、必要
な修正を行なう。
【００４４】フーリエ係数とサブブロック値が基準フレ
ーム記憶装置１４に記憶されると、大域変位修正の対象
となる入力画像が、画像フレーム記憶装置１０に入力さ
れる。記憶された入力画像は、次に位相相関装置１２へ
供給される。フーリエ係数とサブブロック値が基準フレ
ーム記憶装置１４から位相相関装置１２へ入力され、基
準フレームと入力フレームとの間の相関が行なわれる。
位相相関装置１２で相関が行なわれると、出力大域変位
ベクトルが得られる。このベクトルにより、空間補間装
置１６内の入力画像フレームに対する修正が行われ、入
力画像フレームと基準フレームとの間の変換が補償され
る。
ーム記憶装置１４に記憶されると、大域変位修正の対象
となる入力画像が、画像フレーム記憶装置１０に入力さ
れる。記憶された入力画像は、次に位相相関装置１２へ
供給される。フーリエ係数とサブブロック値が基準フレ
ーム記憶装置１４から位相相関装置１２へ入力され、基
準フレームと入力フレームとの間の相関が行なわれる。
位相相関装置１２で相関が行なわれると、出力大域変位
ベクトルが得られる。このベクトルにより、空間補間装
置１６内の入力画像フレームに対する修正が行われ、入
力画像フレームと基準フレームとの間の変換が補償され
る。
【００４５】位相相関装置１２は、ＶＭＥバスカード
と、所望の相関機能を実行するようにプログラミングし
たＦＦＴ／ＤＳＰチップを含むことができる。
と、所望の相関機能を実行するようにプログラミングし
たＦＦＴ／ＤＳＰチップを含むことができる。
【００４６】図２は、上記方法の工程を、より詳細に示
したブロックである。図１と同一の装置には同一の参照
番号が付けてある。
したブロックである。図１と同一の装置には同一の参照
番号が付けてある。
【００４７】大域変位修正動作が開始されると、後続の
全フレームのアラインメントをとるための基準フレーム
が選択される。最初のフレーム、つまり基準フレーム
は、画像フレーム記憶装置１０へ入力され、次に、図２
の破線で囲んだ位相相関装置１２へ供給される。基準フ
レームに対して行なわれる最初の工程は、図２の（Ａ）
で示す、サブブロック値の選択である。選択されたサブ
ブロック値は、基準フレーム記憶装置１４に記憶され、
同時に（Ｂ）で示す、フーリエ係数を決定する工程に送
られる。決定されたフーリエ係数は、基準フレーム記憶
装置１４（線１００で示す）に記憶される。これで、大
域変位を検出して大域変位ベクトルを空間補間装置１６
へ送る準備が整ったことになる。
全フレームのアラインメントをとるための基準フレーム
が選択される。最初のフレーム、つまり基準フレーム
は、画像フレーム記憶装置１０へ入力され、次に、図２
の破線で囲んだ位相相関装置１２へ供給される。基準フ
レームに対して行なわれる最初の工程は、図２の（Ａ）
で示す、サブブロック値の選択である。選択されたサブ
ブロック値は、基準フレーム記憶装置１４に記憶され、
同時に（Ｂ）で示す、フーリエ係数を決定する工程に送
られる。決定されたフーリエ係数は、基準フレーム記憶
装置１４（線１００で示す）に記憶される。これで、大
域変位を検出して大域変位ベクトルを空間補間装置１６
へ送る準備が整ったことになる。
【００４８】修正すべき入力画像フレームを、画像フレ
ーム記憶装置１０へ入力する。次に、基準フレームと同
じく、入力画像フレームは、位相相関装置１２へ入力さ
れる。この装置では、（Ａ）で示す工程において、サブ
ブロックが選択され、（Ｂ）で示す工程において、選択
されたサブブロックがフーリエ変換され、そして（Ｃ）
で示す工程において、基準フレーム記憶装置１４から送
られてきたフーリエ係数を使用して、サブブロックの対
に対して位相相関が行なわれる。この位相相関により、
ピークが入力画像フレーム及び基準フレーム間の相関に
対応した、相関面が得られる。次に、工程（Ｄ）におい
て、この相関面に対してしきい値が適用され、前述した
ように、ピークが決定される。工程（Ｄ）で決定された
ピークに基づいて、工程（Ｅ）において、最頻ベクトル
（ｍｏｄａｌ ｖｅｃｔｏｒ）が決定され、そして最頻
ベクトルを生成したブロックのアドレスが生成される。
決定された最頻ベクトルｘ，ｙは、工程（Ｆ）へ送られ
る。
ーム記憶装置１０へ入力する。次に、基準フレームと同
じく、入力画像フレームは、位相相関装置１２へ入力さ
れる。この装置では、（Ａ）で示す工程において、サブ
ブロックが選択され、（Ｂ）で示す工程において、選択
されたサブブロックがフーリエ変換され、そして（Ｃ）
で示す工程において、基準フレーム記憶装置１４から送
られてきたフーリエ係数を使用して、サブブロックの対
に対して位相相関が行なわれる。この位相相関により、
ピークが入力画像フレーム及び基準フレーム間の相関に
対応した、相関面が得られる。次に、工程（Ｄ）におい
て、この相関面に対してしきい値が適用され、前述した
ように、ピークが決定される。工程（Ｄ）で決定された
ピークに基づいて、工程（Ｅ）において、最頻ベクトル
（ｍｏｄａｌ ｖｅｃｔｏｒ）が決定され、そして最頻
ベクトルを生成したブロックのアドレスが生成される。
決定された最頻ベクトルｘ，ｙは、工程（Ｆ）へ送られ
る。
【００４９】工程（Ｃ）において得られた相関面は工程
（Ｇ）において記憶される。
（Ｇ）において記憶される。
【００５０】最頻ベクトルを生成したブロックのアドレ
ス情報は工程（Ｅ）から工程（Ｈ）で決定され、工程
（Ｇ）へ送られる。
ス情報は工程（Ｅ）から工程（Ｈ）で決定され、工程
（Ｇ）へ送られる。
【００５１】次に、工程（Ｊ）において、最良の相互相
関面の補間が行われ、前述したように工程（Ｉ）におい
てわずかな修正δｘ，δｙが行なわれる。
関面の補間が行われ、前述したように工程（Ｉ）におい
てわずかな修正δｘ，δｙが行なわれる。
【００５２】最後に工程（Ｊ）の結果が工程（Ｆ）へ与
えられ、変位ベクトルが生成される。生成された変位ベ
クトルは、画像フレーム記憶装置１０の入力画像ととも
に空間補間装置１６へ送られ、そこで入力画像の修正が
行なわれる。
えられ、変位ベクトルが生成される。生成された変位ベ
クトルは、画像フレーム記憶装置１０の入力画像ととも
に空間補間装置１６へ送られ、そこで入力画像の修正が
行なわれる。
【００５３】
【発明の効果】位相相関法と空間領域一致法を組み合わ
せるようにしたので、信頼性が高くかつサブピクセルレ
ベルの精度のベクトルを生成することができる。
せるようにしたので、信頼性が高くかつサブピクセルレ
ベルの精度のベクトルを生成することができる。
【図１】 本発明による方法を実施するための装置のブ
ロックである。
ロックである。
【図２】 本発明による方法の様々な工程を示すブロッ
ク図である。
ク図である。
１０ 画像フレーム記憶装置、１２ 位相相関装置、１
４ 基準フレーム記憶装置、１６ 空間補間装置。
４ 基準フレーム記憶装置、１６ 空間補間装置。
Claims (4)
- 【請求項１】 ２つの画像間の大域変位を検出する方法
であって、 （ａ）前記２つの画像間の変換を画素レベルの精度で示
す位相相関法を使用し、部分的に正規化された次式を用
いて少なくとも１個の変位ベクトルを生成する工程、 【数１】 ここで、０＜ｎ＜１ （ｂ）前記（ａ）にて求められた相関面を記憶する工
程、 （ｃ）前記２つの画像間の大域変位を最も高精度に表わ
す１個のベクトルを選択する工程、 （ｄ）前記記憶された相関面を補間して、サブピクセル
レベルの精度で検出を行なう工程、 を含むことを特徴とする方法。 - 【請求項２】 前記工程（ｃ）が、少なくとも１個の変
位ベクトルに対してしきい値を適用して１個又は１個以
上の適切なベクトルを指示する工程を含むことを特徴と
する請求項１に記載の方法。 - 【請求項３】 前記工程（ｃ）が、生成された少なとも
１個の変位ベクトルから最頻値を選択する工程を含むこ
とを特徴とする請求項１又は２のいずれかに記載の方
法。 - 【請求項４】 前記工程（ａ）においてｎの値を、 ０．５＜ｎ＜０．６ としたことを特徴とする請求項１〜３のいずれかに記載
の方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| GB9325922.4 | 1993-12-18 | ||
| GB939325922A GB9325922D0 (en) | 1993-12-18 | 1993-12-18 | Detection of global translations between images |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH07200832A true JPH07200832A (ja) | 1995-08-04 |
Family
ID=10746848
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP6314518A Pending JPH07200832A (ja) | 1993-12-18 | 1994-12-19 | 画像間の大域変位の検出方法 |
Country Status (4)
| Country | Link |
|---|---|
| EP (1) | EP0659021B1 (ja) |
| JP (1) | JPH07200832A (ja) |
| DE (1) | DE69423708T2 (ja) |
| GB (1) | GB9325922D0 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012509535A (ja) * | 2008-11-20 | 2012-04-19 | エーティーアイ・テクノロジーズ・ユーエルシー | 位相面相関のための適応周波数領域フィルタリング |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5623313A (en) * | 1995-09-22 | 1997-04-22 | Tektronix, Inc. | Fractional pixel motion estimation of video signals |
| US6947486B2 (en) * | 2001-03-23 | 2005-09-20 | Visioprime | Method and system for a highly efficient low bit rate video codec |
| US6873354B2 (en) | 2001-09-07 | 2005-03-29 | Nline Corporation | System and method for registering complex images |
| US6763142B2 (en) * | 2001-09-07 | 2004-07-13 | Nline Corporation | System and method for correlated noise removal in complex imaging systems |
| EP1442608B1 (en) * | 2001-10-29 | 2015-05-06 | Ceva D.S.P. Ltd. | Method and apparatus for motion estimation in a sequence of digital images |
| GB2394543A (en) * | 2002-10-25 | 2004-04-28 | Univ Bristol | Positional measurement of a feature within an image |
| US7283677B2 (en) * | 2004-08-31 | 2007-10-16 | Hewlett-Packard Development Company, L.P. | Measuring sub-wavelength displacements |
| GB2439984A (en) * | 2006-07-11 | 2008-01-16 | Tandberg Television Asa | Motion estimation using 2D correlation in the transform domain |
| US20090175539A1 (en) * | 2008-01-09 | 2009-07-09 | Authorizer Technologies, Inc. | Method and system for swipe sensor image alignment using fourier phase analysis |
| US8792559B2 (en) | 2010-10-26 | 2014-07-29 | Sony Corporation | Method to improve accuracy and reliability of motion estimated with phase correlation |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE3877105D1 (ja) * | 1987-09-30 | 1993-02-11 | Siemens Ag, 8000 Muenchen, De | |
| DE4007851A1 (de) * | 1989-08-24 | 1991-02-28 | Thomson Brandt Gmbh | Verfahren zur bewegungskompensation in einem bewegtbildcoder oder -decoder |
| FR2667712B1 (fr) * | 1990-10-09 | 1994-08-26 | Thomson Csf | Procede et dispositif de recalage d'images utilisant une correlation de phase avec ponderation pour determiner un decalage. |
-
1993
- 1993-12-18 GB GB939325922A patent/GB9325922D0/en active Pending
-
1994
- 1994-12-14 DE DE69423708T patent/DE69423708T2/de not_active Expired - Lifetime
- 1994-12-14 EP EP94203625A patent/EP0659021B1/en not_active Expired - Lifetime
- 1994-12-19 JP JP6314518A patent/JPH07200832A/ja active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012509535A (ja) * | 2008-11-20 | 2012-04-19 | エーティーアイ・テクノロジーズ・ユーエルシー | 位相面相関のための適応周波数領域フィルタリング |
Also Published As
| Publication number | Publication date |
|---|---|
| DE69423708T2 (de) | 2000-10-26 |
| EP0659021A3 (en) | 1995-10-11 |
| GB9325922D0 (en) | 1994-02-23 |
| EP0659021B1 (en) | 2000-03-29 |
| DE69423708D1 (de) | 2000-05-04 |
| EP0659021A2 (en) | 1995-06-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6483538B2 (en) | High precision sub-pixel spatial alignment of digital images | |
| US7349583B2 (en) | Global motion estimation image coding and processing | |
| US7751591B2 (en) | Dominant motion analysis | |
| US9210445B2 (en) | Method and apparatus for periodic structure handling for motion compensation | |
| JP3301763B2 (ja) | ディジタルビデオ信号の画像シーケンスにおける不所望の全体的画像不安定性の推定方法 | |
| US6128047A (en) | Motion estimation process and system using sparse search block-matching and integral projection | |
| KR101135454B1 (ko) | 특정 이미지의 특정 픽셀 값 결정 방법, 픽셀 값 결정 유닛, 이미지 처리 장치 및 컴퓨터 판독 가능한 저장 매체 | |
| US7899122B2 (en) | Method, apparatus and computer program product for generating interpolation frame | |
| US5822007A (en) | Method and apparatus for motion estimation using block matching | |
| KR20060083978A (ko) | 움직임 벡터 필드 리－타이밍 | |
| JPH07200832A (ja) | 画像間の大域変位の検出方法 | |
| EP1438839A1 (en) | Device and method for motion estimation | |
| KR20050012766A (ko) | 현재 모션 벡터 추정을 위한 유닛 및 모션 벡터 추정 방법 | |
| US6925124B2 (en) | Unit for and method of motion estimation and image processing apparatus provided with such motion estimation unit | |
| EP0632915B1 (en) | A machine method for compensating for non-linear picture transformations, e.g. zoom and pan, in a video image motion compensation system | |
| Hagiwara et al. | Estimation method of frame displacement for old films using phase-only correlation | |
| GB2165417A (en) | Measurement and correction of film unsteadiness in a video signal | |
| KR20030011311A (ko) | 움직임 추정을 용이하게 하는 방법 및 장치 | |
| Vlachos | Simple method for estimation of global motion parameters using sparse translational motion vector fields | |
| JPH07222143A (ja) | 画像間の大域変位の検出方法 | |
| JP2001229371A (ja) | 画像アライメント方法 | |
| JP3334317B2 (ja) | 画像照合方法および装置 | |
| JP3334316B2 (ja) | 画像照合方法および装置 | |
| JPH04365185A (ja) | 動きベクトル信頼性の判定装置 | |
| WO2004073313A1 (en) | Spatio-temporal up-conversion |