JP3354636B2 - 画像処理システム - Google Patents
画像処理システムInfo
- Publication number
- JP3354636B2 JP3354636B2 JP16628993A JP16628993A JP3354636B2 JP 3354636 B2 JP3354636 B2 JP 3354636B2 JP 16628993 A JP16628993 A JP 16628993A JP 16628993 A JP16628993 A JP 16628993A JP 3354636 B2 JP3354636 B2 JP 3354636B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel density
- pixel
- motion vector
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Memory System Of A Hierarchy Structure (AREA)
Description
【０００１】
【産業上の利用分野】この発明は、階層的動き解析（Hi
erarchical Motion Analysis-HMA）を実時間（リアルタ
イム）で実用的に行うためのハードウェアアーキテクチ
ャに関するものである。
erarchical Motion Analysis-HMA）を実時間（リアルタ
イム）で実用的に行うためのハードウェアアーキテクチ
ャに関するものである。
【０００２】
【発明の背景】従来、一連の連続して生起するビデオフ
レーム中で生じる画像の動きの解析には、実時間で実行
するための実用的なハードウェア手段がなく、計算コス
トの高いアルゴリズムを用いていた。階層的動き解析
（ＨＭＡ）アルゴリズムを使用する最近のコンピュータ
ソフトウェア技術によって、この計算は相当効率性が高
くなった。しかし、これらのコンピュータソフトウェア
技術を用いても、進行している（停止することなく継続
して生起する）一連の連続したビデオ画像に、比較的高
いフレーム周波数（例えば、３０フレーム／秒）で実時
間で費用効果性の高いＨＭＡを行うことはまだ実用的な
ものではない。
レーム中で生じる画像の動きの解析には、実時間で実行
するための実用的なハードウェア手段がなく、計算コス
トの高いアルゴリズムを用いていた。階層的動き解析
（ＨＭＡ）アルゴリズムを使用する最近のコンピュータ
ソフトウェア技術によって、この計算は相当効率性が高
くなった。しかし、これらのコンピュータソフトウェア
技術を用いても、進行している（停止することなく継続
して生起する）一連の連続したビデオ画像に、比較的高
いフレーム周波数（例えば、３０フレーム／秒）で実時
間で費用効果性の高いＨＭＡを行うことはまだ実用的な
ものではない。
【０００３】全２次元画像ピクセル解像度にのみ行われ
る従来の動き解析はＣ＊（Ｎ2 ＊Ｍ2 ＊Ｋ）の演算を必
要とする。ここで、Ｃは定数、Ｎ2 は全２次元画像ピク
セル解像度のピクセル数で示した画像の大きさ、Ｍ2 は
全２次元画像ピクセル解像度のピクセル数で示した予測
される動きの距離の最大値、ＫはＭ＝１ピクセルとし
て、動き予測に必要なコンピュータ演算の数をそれぞれ
示す。現在実用化されているＨＭＡは、最低解像度から
始めて、粗−微細方向に画像の複数解像度表示（画像を
複数の解像度をもって表すもの）の各レベルごとに適用
されるコンピュータソフトウェアアルゴリズムによって
行われる。各レベルの動き解析の結果を、次に高い解像
度レベルにおける初期予測として使用する。最高解像度
レベルに対する動き解析によって生成された動きベクト
ルが、最後の動きベクトルの予測値となる。各レベルの
解析に対する予測された動きの最大値は１（±１ピクセ
ル）であるが、動きの最大値全体では２n にもなること
がある。ここで、ｎ＋１は複数解像度表示の解像度レベ
ルの数である。また、全ての解像度レベルにおける全体
の所要計算演算の数は、解像度レベルの数に関係なく、
４／３＊Ｃ＊（Ｎ2 ＊Ｋ）に低減されている。
る従来の動き解析はＣ＊（Ｎ2 ＊Ｍ2 ＊Ｋ）の演算を必
要とする。ここで、Ｃは定数、Ｎ2 は全２次元画像ピク
セル解像度のピクセル数で示した画像の大きさ、Ｍ2 は
全２次元画像ピクセル解像度のピクセル数で示した予測
される動きの距離の最大値、ＫはＭ＝１ピクセルとし
て、動き予測に必要なコンピュータ演算の数をそれぞれ
示す。現在実用化されているＨＭＡは、最低解像度から
始めて、粗−微細方向に画像の複数解像度表示（画像を
複数の解像度をもって表すもの）の各レベルごとに適用
されるコンピュータソフトウェアアルゴリズムによって
行われる。各レベルの動き解析の結果を、次に高い解像
度レベルにおける初期予測として使用する。最高解像度
レベルに対する動き解析によって生成された動きベクト
ルが、最後の動きベクトルの予測値となる。各レベルの
解析に対する予測された動きの最大値は１（±１ピクセ
ル）であるが、動きの最大値全体では２n にもなること
がある。ここで、ｎ＋１は複数解像度表示の解像度レベ
ルの数である。また、全ての解像度レベルにおける全体
の所要計算演算の数は、解像度レベルの数に関係なく、
４／３＊Ｃ＊（Ｎ2 ＊Ｋ）に低減されている。
【０００４】ＨＭＡは、局部的なコヒーレントな動きが
より強く行われ、動き予測の正確さに高い信頼性を置く
ことができるという付加的な利点を有する。
より強く行われ、動き予測の正確さに高い信頼性を置く
ことができるという付加的な利点を有する。
【０００５】
【発明の概要】この発明は、実時間で実用的にＨＭＡを
実行するためのハードウェアのアーキテクチャによっ
て、デジタルテレビジョン装置を用いるスタジオ形式応
用分野においてＨＭＡの費用効果性を高くすることがで
きるようにするものである。このようなデジタルテレビ
ジョン装置へのＨＭＡの適用例としては、フレーム周波
数変換、走査変換、ノイズ除去、及び画像圧縮等が含ま
れる。
実行するためのハードウェアのアーキテクチャによっ
て、デジタルテレビジョン装置を用いるスタジオ形式応
用分野においてＨＭＡの費用効果性を高くすることがで
きるようにするものである。このようなデジタルテレビ
ジョン装置へのＨＭＡの適用例としては、フレーム周波
数変換、走査変換、ノイズ除去、及び画像圧縮等が含ま
れる。
【０００６】より具体的には、この発明による画像処理
システムは第１及び第２のハードウェア手段を含んでい
る。このシステムは、比較的高解像度の画像デ−タに応
答して、ある与えられたフレーム周波数で生起する、連
続したあるピクセル密度を有する一連の進行している入
力画像データフレームから、ある処理システム遅延の
後、同じフレーム周波数で生起する、連続したあるピク
セル密度を有する一連の進行している出力ベクトルデー
タフレームを取り出す。各ベクトルフレームは、連続し
た画像フレームの各対の間に生じる画像の動きを表す。
システムは第１及び第２のハードウェア手段を含んでい
る。このシステムは、比較的高解像度の画像デ−タに応
答して、ある与えられたフレーム周波数で生起する、連
続したあるピクセル密度を有する一連の進行している入
力画像データフレームから、ある処理システム遅延の
後、同じフレーム周波数で生起する、連続したあるピク
セル密度を有する一連の進行している出力ベクトルデー
タフレームを取り出す。各ベクトルフレームは、連続し
た画像フレームの各対の間に生じる画像の動きを表す。
【０００７】第１のハードウェア手段は、上記ある処理
システム遅延の何分の１かの長さに等しい第１の期間内
に、ｎ＋１の順次低く配列したピクセル密度レベル０〜
ｎ（ｎは値が少なくとも１のある与えられた整数）の画
像フレームの中の単一の画像フレームの画像データを表
すために使用される。レベル０のピクセル密度は、上記
与えられたピクセル密度に対応し、レベルｎのピクセル
密度は最低ピクセル密度に対応する。更に、２つの連続
したフレーム間に生じる予測される画像動きの最大値
は、通常、最低ピクセル密度においては、１ピクセル距
離よりも大きくならない。第２のハードウェア手段に
は、少なくとも１つの画像バッファ手段と、少なくとも
１つのワープ（ｗａｒｐ）手段と、少なくとも１つの動
き解析手段と、少なくとも１つのピクセル密度伸張手段
と、少なくとも１つの加算器手段とが組み込まれてい
る。第２のハードウェア手段は、ピクセル密度のレベル
ｎ〜０の画像データを順次使用して、上記ある処理シス
テム遅延の上記何分の１かを除いた残りの長さに等しい
第２の期間内に、連続した画像フレームの上記対に対し
て最低ピクセル密度ｎから始めて各ピクセル密度レベル
の各ピクセルについて個別の動きベクトルを取り出す。
システム遅延の何分の１かの長さに等しい第１の期間内
に、ｎ＋１の順次低く配列したピクセル密度レベル０〜
ｎ（ｎは値が少なくとも１のある与えられた整数）の画
像フレームの中の単一の画像フレームの画像データを表
すために使用される。レベル０のピクセル密度は、上記
与えられたピクセル密度に対応し、レベルｎのピクセル
密度は最低ピクセル密度に対応する。更に、２つの連続
したフレーム間に生じる予測される画像動きの最大値
は、通常、最低ピクセル密度においては、１ピクセル距
離よりも大きくならない。第２のハードウェア手段に
は、少なくとも１つの画像バッファ手段と、少なくとも
１つのワープ（ｗａｒｐ）手段と、少なくとも１つの動
き解析手段と、少なくとも１つのピクセル密度伸張手段
と、少なくとも１つの加算器手段とが組み込まれてい
る。第２のハードウェア手段は、ピクセル密度のレベル
ｎ〜０の画像データを順次使用して、上記ある処理シス
テム遅延の上記何分の１かを除いた残りの長さに等しい
第２の期間内に、連続した画像フレームの上記対に対し
て最低ピクセル密度ｎから始めて各ピクセル密度レベル
の各ピクセルについて個別の動きベクトルを取り出す。
【０００８】この結果、進行している一連の入力の連続
したあるピクセル密度の画像フレームの各対に応答し
て、上記与えられたピクセル密度の高解像度動きベクト
ルマップが実時間で取り出される。
したあるピクセル密度の画像フレームの各対に応答し
て、上記与えられたピクセル密度の高解像度動きベクト
ルマップが実時間で取り出される。
【０００９】
【詳細な説明】この発明は、進行している一連の連続し
た画像データフレームを進行している一連の連続したベ
クトルデータフレーム出力として取り出すための画像処
理システムに入力として供給される上記進行している一
連の連続画像データフレームの「実時間」処理に関する
ものである。画像データの処理は本質的に時間のかかる
ものであるから、システムから供給される処理されたデ
ータとシステムへ入力されるデータとの間には常に遅延
が存在する。ここで用いる「実時間」という語は、図１
に示すように、互いに対応する出力フレームと入力フレ
ームの生起の間に処理システム遅延が存在してはいる
が、連続した出力フレームが、連続した入力フレームが
供給される速度と同じ速度で画像処理システムから出力
されることを意味する。従って、図１に一例として示す
ように、ある速度で画像処理システムに供給される進行
している一連の入力画像データフレーム周期の４つの連
続するフレーム周期１、２、３、４からなるある組に対
して、それに対応した、所定のシステム処理遅延後、上
記ある速度と同じ速度で生起する進行している一連の出
力ベクトルデータフレーム周期の４つの連続するフレー
ム周期１、２、３、４からなる組が生成される。そのた
め、システム処理遅延がフレーム周期よりも長い場合
（図１参照）も短い場合もあるが、進行している一連の
出力ベクトルデータフレーム周期の各フレーム周期の長
さは、進行している一連の入力画像データフレーム周期
の各フレーム周期の長さに等しい。
た画像データフレームを進行している一連の連続したベ
クトルデータフレーム出力として取り出すための画像処
理システムに入力として供給される上記進行している一
連の連続画像データフレームの「実時間」処理に関する
ものである。画像データの処理は本質的に時間のかかる
ものであるから、システムから供給される処理されたデ
ータとシステムへ入力されるデータとの間には常に遅延
が存在する。ここで用いる「実時間」という語は、図１
に示すように、互いに対応する出力フレームと入力フレ
ームの生起の間に処理システム遅延が存在してはいる
が、連続した出力フレームが、連続した入力フレームが
供給される速度と同じ速度で画像処理システムから出力
されることを意味する。従って、図１に一例として示す
ように、ある速度で画像処理システムに供給される進行
している一連の入力画像データフレーム周期の４つの連
続するフレーム周期１、２、３、４からなるある組に対
して、それに対応した、所定のシステム処理遅延後、上
記ある速度と同じ速度で生起する進行している一連の出
力ベクトルデータフレーム周期の４つの連続するフレー
ム周期１、２、３、４からなる組が生成される。そのた
め、システム処理遅延がフレーム周期よりも長い場合
（図１参照）も短い場合もあるが、進行している一連の
出力ベクトルデータフレーム周期の各フレーム周期の長
さは、進行している一連の入力画像データフレーム周期
の各フレーム周期の長さに等しい。
【００１０】この発明の実施例として、図２（ラプラシ
アンピラミッド段を使用）及び図３（ガウスピラミッド
段を使用）を参照する。この実施例は、実施に際して比
較的大量のハードウェアを必要とするが、システム処理
遅延が最小となる。図２及び図３に示すように、画像デ
ータ手段２００の出力は、デジタル形式の、連続する２
次元ビデオフレームの各々の画像データピクセルからな
る進行しているストリームからなる。手段２００からの
画像データ出力の連続する各ビデオフレームの比較的高
ピクセル密度のガウス出力Ｇ0 が周波数ｆc を有するク
ロックＣＬ0 で生じる。
アンピラミッド段を使用）及び図３（ガウスピラミッド
段を使用）を参照する。この実施例は、実施に際して比
較的大量のハードウェアを必要とするが、システム処理
遅延が最小となる。図２及び図３に示すように、画像デ
ータ手段２００の出力は、デジタル形式の、連続する２
次元ビデオフレームの各々の画像データピクセルからな
る進行しているストリームからなる。手段２００からの
画像データ出力の連続する各ビデオフレームの比較的高
ピクセル密度のガウス出力Ｇ0 が周波数ｆc を有するク
ロックＣＬ0 で生じる。
【００１１】図２を参照すると、出力Ｇ0 は（１）遅延
手段２０２ａを介して画像手段２０４に直接供給され、
また（２）ラプラシアン画像ピラミッド段２０６ａ-1〜
２０６a-5 の各々を介してカスケード的に供給されてい
る。ラプラシアン画像ピラミッドについては、１９８７
年６月１６日付でカールソン（Ｃａｒｌｓｏｎ）氏他に
付与された米国特許第４６７４１２５号（特開昭６０−
３７８１１対応）に詳細に記述されている。
手段２０２ａを介して画像手段２０４に直接供給され、
また（２）ラプラシアン画像ピラミッド段２０６ａ-1〜
２０６a-5 の各々を介してカスケード的に供給されてい
る。ラプラシアン画像ピラミッドについては、１９８７
年６月１６日付でカールソン（Ｃａｒｌｓｏｎ）氏他に
付与された米国特許第４６７４１２５号（特開昭６０−
３７８１１対応）に詳細に記述されている。
【００１２】即ち、図４に示すように、１／４k-1 ｆc
に等しい周波数を有するクロックＣＬk で動作するラプ
ラシアン画像ピラミッド段２０６-kの構成には、２次元
畳込みフィルタ／デシメータ（間引き装置）２０８、伸
張器／補間フィルタ２１０、減算器２１２、及び遅延手
段２１４が含まれている。等間隔出力ピクセルを取り出
すための速度（レート）バッファを含むものを用いるこ
との出来る畳込みフィルタ／デシメータ２０８により水
平画像ピクセル密度と垂直画像ピクセル密度の両方が２
分の１だけ低減されるため、段２０６-kのガウス画像出
力Ｇk の画像ピクセル密度は段２０６-kへのガウス入力
Ｇk-1 の画像ピクセル密度の４分の１となる。段２０６
-kの（Ｇk-1 の画像ピクセル密度を有する）ラプラシア
ン画像出力Ｌk-1 が、遅延手段２１４で遅延された後、
伸張器／補間フィルタ２１０の各画像ピクセル出力を、
対応する画像ピクセル入力Ｇk-1 から減じることによっ
て取り出される。
に等しい周波数を有するクロックＣＬk で動作するラプ
ラシアン画像ピラミッド段２０６-kの構成には、２次元
畳込みフィルタ／デシメータ（間引き装置）２０８、伸
張器／補間フィルタ２１０、減算器２１２、及び遅延手
段２１４が含まれている。等間隔出力ピクセルを取り出
すための速度（レート）バッファを含むものを用いるこ
との出来る畳込みフィルタ／デシメータ２０８により水
平画像ピクセル密度と垂直画像ピクセル密度の両方が２
分の１だけ低減されるため、段２０６-kのガウス画像出
力Ｇk の画像ピクセル密度は段２０６-kへのガウス入力
Ｇk-1 の画像ピクセル密度の４分の１となる。段２０６
-kの（Ｇk-1 の画像ピクセル密度を有する）ラプラシア
ン画像出力Ｌk-1 が、遅延手段２１４で遅延された後、
伸張器／補間フィルタ２１０の各画像ピクセル出力を、
対応する画像ピクセル入力Ｇk-1 から減じることによっ
て取り出される。
【００１３】図２に戻ると、Ｇ4 及びＬ4 の画像ピクセ
ル密度は元の画像データの高い画像ピクセル密度Ｇ0 の
１／２５６にしかすぎないことは明らかである。（即
ち、最低密度のＧ4 或いはＬ4 の各ピクセルがカバーす
る水平及び垂直画像距離は、それぞれ最高密度Ｇ0 の各
ピクセルがカバーする水平及び垂直画像距離の８倍であ
る。）説明のため、２つの連続した画像フレーム間に生
じる画像動きの最大値が、水平方向或いは垂直方向の最
低密度の画像ピクセル間距離よりも大きくないと仮定す
る。
ル密度は元の画像データの高い画像ピクセル密度Ｇ0 の
１／２５６にしかすぎないことは明らかである。（即
ち、最低密度のＧ4 或いはＬ4 の各ピクセルがカバーす
る水平及び垂直画像距離は、それぞれ最高密度Ｇ0 の各
ピクセルがカバーする水平及び垂直画像距離の８倍であ
る。）説明のため、２つの連続した画像フレーム間に生
じる画像動きの最大値が、水平方向或いは垂直方向の最
低密度の画像ピクセル間距離よりも大きくないと仮定す
る。
【００１４】図２に示すように、段２０６a-1 〜２０６
a-4 のそれぞれのラプラシアン画像出力Ｌ0 〜Ｌ3 は、
遅延手段２０２a-1 〜２０２a-4 で適切に遅延された
後、それぞれ動きベクトル段２１６-1〜２１６-4 に供
給される。一方、段２０６a-5のラプラシアン画像出力
Ｌ4 は遅延されずに動きベクトル段２１６-5に供給され
る。動きベクトル段２１６-5の一実施例を図５に示し、
動きベクトル段２１６-1〜２１６-4の実施例を図６或い
は図７に示す。動きベクトル段２１６-5〜２１６-2のそ
れぞれの出力が動きベクトル段２１６-1の方向に上方へ
カスケード接続され、動きベクトル段２１６-1の動きベ
クトル出力がＶX,Y 手段２１８に供給される。
a-4 のそれぞれのラプラシアン画像出力Ｌ0 〜Ｌ3 は、
遅延手段２０２a-1 〜２０２a-4 で適切に遅延された
後、それぞれ動きベクトル段２１６-1〜２１６-4 に供
給される。一方、段２０６a-5のラプラシアン画像出力
Ｌ4 は遅延されずに動きベクトル段２１６-5に供給され
る。動きベクトル段２１６-5の一実施例を図５に示し、
動きベクトル段２１６-1〜２１６-4の実施例を図６或い
は図７に示す。動きベクトル段２１６-5〜２１６-2のそ
れぞれの出力が動きベクトル段２１６-1の方向に上方へ
カスケード接続され、動きベクトル段２１６-1の動きベ
クトル出力がＶX,Y 手段２１８に供給される。
【００１５】詳しく説明すると、図５に示すように、最
低画像ピクセル密度（即ち、図２の場合では段２０６a-
5 からのラプラシアン画像出力Ｌ4 ）が、動き解析手段
２２０の第１の入力として、また、画像バッファ２２２
の入力として供給され、画像バッファ２２２の出力が動
き解析手段２２０の第２の入力として供給される。画像
バッファ２２２は、先行する画像フレームの全てのＬ4
ピクセルの値を１フレーム期間記憶し、次いで、これら
のピクセルを、その時の画像フレームにおける対応する
ピクセルの動き解析手段への供給と同時に動き解析手段
２２０に送る。動き解析手段２２０は、個々の各ピクセ
ルについて、水平方向（Ｘ）及び垂直方向（Ｙ）の、通
常はＸ方向及びＹ方向の±１ピクセル距離間の範囲内に
あるピクセル動きＶX 及びＶY の独立した最良の予測を
行う。動き解析手段２２０は、公知の相関技術、最小２
乗適合（ｌｅａｓｔ ｓｑｕａｒｅ ｂｅｓｔ−ｆｉ
ｔ）技術、その他の技術を利用する。説明のため、最小
２乗適合技術を使用する動き解析手段２２０の実行に必
要なコンピュータ処理の公知の一例を図８に示す。
低画像ピクセル密度（即ち、図２の場合では段２０６a-
5 からのラプラシアン画像出力Ｌ4 ）が、動き解析手段
２２０の第１の入力として、また、画像バッファ２２２
の入力として供給され、画像バッファ２２２の出力が動
き解析手段２２０の第２の入力として供給される。画像
バッファ２２２は、先行する画像フレームの全てのＬ4
ピクセルの値を１フレーム期間記憶し、次いで、これら
のピクセルを、その時の画像フレームにおける対応する
ピクセルの動き解析手段への供給と同時に動き解析手段
２２０に送る。動き解析手段２２０は、個々の各ピクセ
ルについて、水平方向（Ｘ）及び垂直方向（Ｙ）の、通
常はＸ方向及びＹ方向の±１ピクセル距離間の範囲内に
あるピクセル動きＶX 及びＶY の独立した最良の予測を
行う。動き解析手段２２０は、公知の相関技術、最小２
乗適合（ｌｅａｓｔ ｓｑｕａｒｅ ｂｅｓｔ−ｆｉ
ｔ）技術、その他の技術を利用する。説明のため、最小
２乗適合技術を使用する動き解析手段２２０の実行に必
要なコンピュータ処理の公知の一例を図８に示す。
【００１６】図５に示す最低ピクセル密度動きベクトル
段２１６-5の動き解析手段２２０の出力は、それより高
いピクセル密度の動きベクトル段２１６-4への入力とし
て供給される。動きベクトル段２１６-3、２１６-2、２
１６-1の各々と同様、動きベクトル段２１６-4は、図６
或いは図７に示すように構成することができる。図６の
構成には、図５の構成と同様に、動き解析手段２２０及
び画像バッファ２２２が含まれており、それに加えて、
ワープ手段２２４ｅ、伸張ピラミッド手段２２６、遅延
手段２２８、及び加算器２３０が含まれている。図７の
構成は、図６のワープ手段２２４ｅをワープ手段２２４
ｆで置き換えることを除けば、図６の構成と同じであ
る。
段２１６-5の動き解析手段２２０の出力は、それより高
いピクセル密度の動きベクトル段２１６-4への入力とし
て供給される。動きベクトル段２１６-3、２１６-2、２
１６-1の各々と同様、動きベクトル段２１６-4は、図６
或いは図７に示すように構成することができる。図６の
構成には、図５の構成と同様に、動き解析手段２２０及
び画像バッファ２２２が含まれており、それに加えて、
ワープ手段２２４ｅ、伸張ピラミッド手段２２６、遅延
手段２２８、及び加算器２３０が含まれている。図７の
構成は、図６のワープ手段２２４ｅをワープ手段２２４
ｆで置き換えることを除けば、図６の構成と同じであ
る。
【００１７】図６においては、非最低（最低でない）画
像ピクセル密度（即ち、図２の場合では、段２０６a-4
、２０６a-3 、２０６a-2 、或いは２０６a-1 のそれ
ぞれからのラプラシアン画像出力Ｌ3 、Ｌ2 、Ｌ1 、Ｌ
0 ）が ワープ手段２２４ｅ及び画像バッファ２２２の
両方の信号入力として供給され、ワープ手段２２４ｅ及
び画像バッファ２２２のそれぞれの出力が、動き解析手
段２２０への第１及び第２の入力として供給される。動
き解析手段２２０の出力は第１の入力として加算器２３
０に供給される。次に低いピクセル密度の動きベクトル
段２１６-5、２１６-4、２１６-3、或いは２１６-2によ
り取り出された動きベクトル出力ＶX 及びＶY が、動き
ベクトル段２１６-4、２１６-3、２１６-2、２１６-1の
伸張ピラミッド手段２２６への入力としてそれぞれ供給
される。伸張ピラミッド手段２２６は、各ＶX 動きベク
トル及び各ＶY 動きベクトルのピクセル密度を２倍に
し、それと同時にこれらの動きベクトルの各々の値を２
倍にする（これは、各ＶX 動きベクトル及び各ＶY 動き
ベクトルの次に低いピクセル密度での１つのピクセル距
離が、各ＶX 動きベクトル及び各ＶY 動きベクトルの伸
張されたピクセル密度での２つのピクセル距離に等しい
ためである）。伸張ピラミッド手段２２６の出力におけ
る伸張されたＶX 動きベクトル及びＶY 動きベクトル
は、ワープ手段２２４ｅへの制御入力として供給され、
また、遅延手段２２８を介して加算器２３０の第２の入
力として供給される。
像ピクセル密度（即ち、図２の場合では、段２０６a-4
、２０６a-3 、２０６a-2 、或いは２０６a-1 のそれ
ぞれからのラプラシアン画像出力Ｌ3 、Ｌ2 、Ｌ1 、Ｌ
0 ）が ワープ手段２２４ｅ及び画像バッファ２２２の
両方の信号入力として供給され、ワープ手段２２４ｅ及
び画像バッファ２２２のそれぞれの出力が、動き解析手
段２２０への第１及び第２の入力として供給される。動
き解析手段２２０の出力は第１の入力として加算器２３
０に供給される。次に低いピクセル密度の動きベクトル
段２１６-5、２１６-4、２１６-3、或いは２１６-2によ
り取り出された動きベクトル出力ＶX 及びＶY が、動き
ベクトル段２１６-4、２１６-3、２１６-2、２１６-1の
伸張ピラミッド手段２２６への入力としてそれぞれ供給
される。伸張ピラミッド手段２２６は、各ＶX 動きベク
トル及び各ＶY 動きベクトルのピクセル密度を２倍に
し、それと同時にこれらの動きベクトルの各々の値を２
倍にする（これは、各ＶX 動きベクトル及び各ＶY 動き
ベクトルの次に低いピクセル密度での１つのピクセル距
離が、各ＶX 動きベクトル及び各ＶY 動きベクトルの伸
張されたピクセル密度での２つのピクセル距離に等しい
ためである）。伸張ピラミッド手段２２６の出力におけ
る伸張されたＶX 動きベクトル及びＶY 動きベクトル
は、ワープ手段２２４ｅへの制御入力として供給され、
また、遅延手段２２８を介して加算器２３０の第２の入
力として供給される。
【００１８】ワープ手段２２４ｅは、それに供給される
その時の画像フレームの個別の各画像ピクセルを、その
時画像バッファ２２２の出力に現れている、記憶されて
いた前の画像フレームの対応する画像ピクセルに向けて
水平方向にはそれに対応するＶX 画像ピクセル距離分だ
け、垂直方向にはそれに対応するＶY 画像ピクセル距離
分だけ後方に移動させる。従って、図６の動き解析手段
２２０に必要なのは、その時の画像フレームと前の画像
フレームの間で対応する各画像ピクセルに生じた残留す
る動きの最良予測を行うことだけである。遅延手段２２
８で与えられる遅延は、加算器２３０の第１の入力に供
給された各ピクセルの残留ＶX 動きベクトル及びＶY 動
きベクトルが、次に低いピクセル密度の動きベクトル段
２１６-5、２１６-4、２１６-3、或いは２１６-2から取
り出された各対応ピクセルの伸張されたＶX 及びＶY 動
きベクトルと同時に生じるようにする。この様にして、
動きベクトル段２１６-4、２１６-3、２１６-2及び２１
６-1の順次高いピクセル密度を有する段の、加算器２３
０の出力における各ピクセルに対するＶX 動きベクトル
及びＶY 動きベクトルにより、順次高い精度で各ピクセ
ルのＶX 動きベクトル及びＶY 動きベクトルが定まる。
その結果、ＶX,Y 手段２１８に供給される、最高ピクセ
ル密度の動きベクトル段２１６-1の加算器２３０の出力
における各ピクセルの動きベクトルの２次元予測の精度
は、最低ピクセル密度の動きベクトル段２１６-5の加算
器２３０の出力における各ピクセルの動きベクトルの２
次元予測の２５６倍になる。
その時の画像フレームの個別の各画像ピクセルを、その
時画像バッファ２２２の出力に現れている、記憶されて
いた前の画像フレームの対応する画像ピクセルに向けて
水平方向にはそれに対応するＶX 画像ピクセル距離分だ
け、垂直方向にはそれに対応するＶY 画像ピクセル距離
分だけ後方に移動させる。従って、図６の動き解析手段
２２０に必要なのは、その時の画像フレームと前の画像
フレームの間で対応する各画像ピクセルに生じた残留す
る動きの最良予測を行うことだけである。遅延手段２２
８で与えられる遅延は、加算器２３０の第１の入力に供
給された各ピクセルの残留ＶX 動きベクトル及びＶY 動
きベクトルが、次に低いピクセル密度の動きベクトル段
２１６-5、２１６-4、２１６-3、或いは２１６-2から取
り出された各対応ピクセルの伸張されたＶX 及びＶY 動
きベクトルと同時に生じるようにする。この様にして、
動きベクトル段２１６-4、２１６-3、２１６-2及び２１
６-1の順次高いピクセル密度を有する段の、加算器２３
０の出力における各ピクセルに対するＶX 動きベクトル
及びＶY 動きベクトルにより、順次高い精度で各ピクセ
ルのＶX 動きベクトル及びＶY 動きベクトルが定まる。
その結果、ＶX,Y 手段２１８に供給される、最高ピクセ
ル密度の動きベクトル段２１６-1の加算器２３０の出力
における各ピクセルの動きベクトルの２次元予測の精度
は、最低ピクセル密度の動きベクトル段２１６-5の加算
器２３０の出力における各ピクセルの動きベクトルの２
次元予測の２５６倍になる。
【００１９】図７では、非最低画像ピクセル密度（即
ち、図２の場合では、段２０６a-4 、２０６a-3 、２０
６a-2 、或いは２０６a-1 のそれぞれからのラプラシア
ン画像出力Ｌ3 、Ｌ2 、Ｌ1 又はＬ0 ）が、動き解析手
段２２０への第１の入力及び画像バッファ２２２への入
力として直接供給される。画像バッファ２２２の出力
は、ワープ手段２２４ｆの信号入力として供給されて、
このワープ手段２２４ｆの出力が動き解析手段２２０へ
の第２の入力として供給される。ワープ手段２２４ｆ
は、これに供給される、画像バッファ２２２の出力にお
ける記憶されていた前の画像フレームの個別の各画像ピ
クセルを、その時の画像フレームの対応する画像ピクセ
ルに向けて、水平方向にそれに対応するＶX 画像ピクセ
ル距離分だけ、垂直方向にそれに対応するＶY 画像ピク
セル距離分だけ前方に移動させる。他の全ての点では、
図７は構成及び機能において前述の図６と同じである。
ち、図２の場合では、段２０６a-4 、２０６a-3 、２０
６a-2 、或いは２０６a-1 のそれぞれからのラプラシア
ン画像出力Ｌ3 、Ｌ2 、Ｌ1 又はＬ0 ）が、動き解析手
段２２０への第１の入力及び画像バッファ２２２への入
力として直接供給される。画像バッファ２２２の出力
は、ワープ手段２２４ｆの信号入力として供給されて、
このワープ手段２２４ｆの出力が動き解析手段２２０へ
の第２の入力として供給される。ワープ手段２２４ｆ
は、これに供給される、画像バッファ２２２の出力にお
ける記憶されていた前の画像フレームの個別の各画像ピ
クセルを、その時の画像フレームの対応する画像ピクセ
ルに向けて、水平方向にそれに対応するＶX 画像ピクセ
ル距離分だけ、垂直方向にそれに対応するＶY 画像ピク
セル距離分だけ前方に移動させる。他の全ての点では、
図７は構成及び機能において前述の図６と同じである。
【００２０】図３を参照すると、出力Ｇ0 が（１）直列
接続された遅延手段２０２b-1 及び２０２ｂを介して画
像手段２０４に供給され、（２）遅延手段２０２b-1 だ
けを介し、動きベクトル段２１６-1の画像信号入力とし
て供給され、（３）ガウス画像ピラミッド段２０６b-1
〜２０６b-4 の各々を介してカスケード的に供給され
る。ガウス画像ピラミッド段２０６b-2 〜２０６b-5 の
各々の構成には、２次元畳込みフィルタ／デシメータ２
０８ｃだけが含まれている。図３のガウス画像ピラミッ
ド段２０６b-1 〜２０６b-4 のそれぞれの出力Ｇ1 〜Ｇ
4 が、図２のラプラシアン画像ピラミッド段２０６a-1
〜２０６a-4 のそれぞれの出力Ｌ1 〜Ｌ4の代わりに現
れる。
接続された遅延手段２０２b-1 及び２０２ｂを介して画
像手段２０４に供給され、（２）遅延手段２０２b-1 だ
けを介し、動きベクトル段２１６-1の画像信号入力とし
て供給され、（３）ガウス画像ピラミッド段２０６b-1
〜２０６b-4 の各々を介してカスケード的に供給され
る。ガウス画像ピラミッド段２０６b-2 〜２０６b-5 の
各々の構成には、２次元畳込みフィルタ／デシメータ２
０８ｃだけが含まれている。図３のガウス画像ピラミッ
ド段２０６b-1 〜２０６b-4 のそれぞれの出力Ｇ1 〜Ｇ
4 が、図２のラプラシアン画像ピラミッド段２０６a-1
〜２０６a-4 のそれぞれの出力Ｌ1 〜Ｌ4の代わりに現
れる。
【００２１】実時間で２次元動きベクトルを取り出すと
いう点からいえば、図３のガウス画像ピラミッド及び図
２のラプラシアン画像ピラミッドは、殆ど同じものであ
る。しかし、画像データ手段２００からの２つの連続す
るＧ0 ビデオ画像フレームの間に画像輝度（明るさ）レ
ベルの変化がある場合は、動きベクトルをラプラシアン
画像ピラミッドにより取り出す場合よりもガウス画像ピ
ラミッドによって取り出す場合の悪影響の方がいくらか
大きい傾向があるため、図２のラプラシアン画像ピラミ
ッドを使用するほうが好ましい。
いう点からいえば、図３のガウス画像ピラミッド及び図
２のラプラシアン画像ピラミッドは、殆ど同じものであ
る。しかし、画像データ手段２００からの２つの連続す
るＧ0 ビデオ画像フレームの間に画像輝度（明るさ）レ
ベルの変化がある場合は、動きベクトルをラプラシアン
画像ピラミッドにより取り出す場合よりもガウス画像ピ
ラミッドによって取り出す場合の悪影響の方がいくらか
大きい傾向があるため、図２のラプラシアン画像ピラミ
ッドを使用するほうが好ましい。
【００２２】ガウス画像ピラミッドであれラプラシアン
画像ピラミッドであれ、そのカスケード接続された段を
画像データが下方向に通過する時には第１の必然的なシ
ステム処理遅延が生じ、更に、このカスケード接続され
た動きベクトル段を上方向に画像データが移動すれば、
必然的に第２のシステム処理遅延が生じるということは
明らかである。図２或いは図３のそれぞれの遅延手段２
０２の各々によって与えられる遅延の値は、これらの必
然的なシステム処理遅延を補償するように設定され、そ
れによって、全ての場合において、異なる径路を通って
各動きベクトル段に到達する、互いに対応する画像ピク
セルと動きベクトルピクセルとの間のタイミングの一致
が得られる。
画像ピラミッドであれ、そのカスケード接続された段を
画像データが下方向に通過する時には第１の必然的なシ
ステム処理遅延が生じ、更に、このカスケード接続され
た動きベクトル段を上方向に画像データが移動すれば、
必然的に第２のシステム処理遅延が生じるということは
明らかである。図２或いは図３のそれぞれの遅延手段２
０２の各々によって与えられる遅延の値は、これらの必
然的なシステム処理遅延を補償するように設定され、そ
れによって、全ての場合において、異なる径路を通って
各動きベクトル段に到達する、互いに対応する画像ピク
セルと動きベクトルピクセルとの間のタイミングの一致
が得られる。
【００２３】この発明のガウスピラミッド形式の実施例
（図３）のシステム処理遅延全体の最小値は、この発明
のラプラシアンピラミッド形式の実施例（図２）のシス
テム処理遅延全体の最小値よりも僅かに小さい。即ち、
６３．５μｓのＮＴＳＣ走査線周期（ブランキング時間
を含む）の場合には、（Ｇ4 を最低ピクセル密度とし
て）図３のガウスピラミッド形式の実施例の実行可能な
システム処理の遅延全体の最小値は、１４４．３走査線
周期であり、一方、図２のラプラシアンピラミッド形式
の実施例の実行可能なシステム処理の遅延全体の最小値
は、それよりも３５走査線周期増加した１７９．３走査
線周期である。遅延手段２０２b-1 〜２０２b-4 の各々
で与えられる走査線周期の遅延は、その両端の２点間に
おける差分のシステム処理遅延をそのピラミッドレベル
のクロック周波数ｆc を減少させる分数で乗算したもの
によって求められる。例えば、遅延手段２０２b-2 で与
えられる遅延は、１３２．２３／４走査線周期である。
（図３）のシステム処理遅延全体の最小値は、この発明
のラプラシアンピラミッド形式の実施例（図２）のシス
テム処理遅延全体の最小値よりも僅かに小さい。即ち、
６３．５μｓのＮＴＳＣ走査線周期（ブランキング時間
を含む）の場合には、（Ｇ4 を最低ピクセル密度とし
て）図３のガウスピラミッド形式の実施例の実行可能な
システム処理の遅延全体の最小値は、１４４．３走査線
周期であり、一方、図２のラプラシアンピラミッド形式
の実施例の実行可能なシステム処理の遅延全体の最小値
は、それよりも３５走査線周期増加した１７９．３走査
線周期である。遅延手段２０２b-1 〜２０２b-4 の各々
で与えられる走査線周期の遅延は、その両端の２点間に
おける差分のシステム処理遅延をそのピラミッドレベル
のクロック周波数ｆc を減少させる分数で乗算したもの
によって求められる。例えば、遅延手段２０２b-2 で与
えられる遅延は、１３２．２３／４走査線周期である。
【００２４】この発明の図２及び図３の両方の実施例に
関する問題は、実施に際して大量のハードウェアを必要
とすることである。特に、図２及び図３の各実施例で
は、５つの個別の動きベクトル段が必要であり、この動
きベクトル段の各々は、ピラミッドレベルが５つしかな
いものに対しても、実行可能なシステム処理の遅延全体
の最小値を比較的小さくするためには、それ自身がかな
り複雑でコスト高の動き解析手段を含んでいる。これに
対し、図９に、ピラミッドレベルの数には関係なく、個
別の動きベクトル段を２つしか必要としないこの発明の
実施例を示す。
関する問題は、実施に際して大量のハードウェアを必要
とすることである。特に、図２及び図３の各実施例で
は、５つの個別の動きベクトル段が必要であり、この動
きベクトル段の各々は、ピラミッドレベルが５つしかな
いものに対しても、実行可能なシステム処理の遅延全体
の最小値を比較的小さくするためには、それ自身がかな
り複雑でコスト高の動き解析手段を含んでいる。これに
対し、図９に、ピラミッドレベルの数には関係なく、個
別の動きベクトル段を２つしか必要としないこの発明の
実施例を示す。
【００２５】説明のため、図９の実施例ではラプラシア
ン画像ピラミッドを使用しているが、必要な場合は、代
わりにガウス画像ピラミッドを使用することもできる。
即ち、図９の画像データ手段４００、遅延手段４０２、
画像データ手段４０４、ラプラシアン画像ピラミッド段
４０６-1、遅延手段４０２-1、動きベクトル段４１６-
1、及びＶX,Y 手段４１８は、構成及び機能において、
図２の画像データ手段２００、遅延手段２０２ａ、画像
データ手段２０４、ラプラシアン画像ピラミッド段２０
６a-1 、遅延手段２０２a-1 、動きベクトル段２１６-
1、及びＶX,Y 手段２１８と同じである。しかし、図９
においては、ラプラシアン画像ピラミッド段４０６-1の
Ｇ1 出力が、機能的に３ポートのフレームバッファ４３
２の第１の入力として供給される。フレームバッファ４
３２の出力は、ラプラシアン画像ピラミッド段４０６-n
（図４に示す構成を有するもの）の入力として供給され
て、このラプラシアン画像ピラミッド段４０６-nからの
ラプラシアン出力はフレームバッファ４３４へ入力さ
れ、また、同段４０６-nのガウス出力はフレームバッフ
ァ４３２への第２の入力として帰還される。フレームバ
ッファ４３４の出力は、後述する図１０に示すように構
成することができる帰還動きベクトル段４１６-nへの入
力として供給される。動きベクトル段４１６-nでは、出
力としてＧ1 ピクセル密度レベルのＶX 動きベクトル及
びＶY 動きベクトルが取り出され、これらのＶX 動きベ
クトル及びＶY 動きベクトルは、ワープ制御入力として
動きベクトル段４１６-1に供給される。
ン画像ピラミッドを使用しているが、必要な場合は、代
わりにガウス画像ピラミッドを使用することもできる。
即ち、図９の画像データ手段４００、遅延手段４０２、
画像データ手段４０４、ラプラシアン画像ピラミッド段
４０６-1、遅延手段４０２-1、動きベクトル段４１６-
1、及びＶX,Y 手段４１８は、構成及び機能において、
図２の画像データ手段２００、遅延手段２０２ａ、画像
データ手段２０４、ラプラシアン画像ピラミッド段２０
６a-1 、遅延手段２０２a-1 、動きベクトル段２１６-
1、及びＶX,Y 手段２１８と同じである。しかし、図９
においては、ラプラシアン画像ピラミッド段４０６-1の
Ｇ1 出力が、機能的に３ポートのフレームバッファ４３
２の第１の入力として供給される。フレームバッファ４
３２の出力は、ラプラシアン画像ピラミッド段４０６-n
（図４に示す構成を有するもの）の入力として供給され
て、このラプラシアン画像ピラミッド段４０６-nからの
ラプラシアン出力はフレームバッファ４３４へ入力さ
れ、また、同段４０６-nのガウス出力はフレームバッフ
ァ４３２への第２の入力として帰還される。フレームバ
ッファ４３４の出力は、後述する図１０に示すように構
成することができる帰還動きベクトル段４１６-nへの入
力として供給される。動きベクトル段４１６-nでは、出
力としてＧ1 ピクセル密度レベルのＶX 動きベクトル及
びＶY 動きベクトルが取り出され、これらのＶX 動きベ
クトル及びＶY 動きベクトルは、ワープ制御入力として
動きベクトル段４１６-1に供給される。
【００２６】構造を説明すると、フレームバッファ４３
２は、２つの独立した入力ポート及び１つの出力ポート
を有する３ポートのフレームメモリ１つで構成すること
もできるし、或いは、図１１に示すような、スイッチで
２つの出力のうちの１つを選択できる２ポートフレーム
メモリ２つで、または、図１２に示すような、１組のス
イッチで各々の１つのポートを入力或いは出力として選
択したり選択しなかったりする１ポートのフレームメモ
リ４つで構成してもよい。いずれにしても、図９に示す
ように、フレームバッファ４３２から各ビデオフレーム
の記憶されたＧ1 ピクセルが読み出されると、段４０６
-nでラプラシアン出力Ｌ1 及びガウス出力Ｇ2 が取り出
される。フレームバッファ４３２への入力として帰還さ
れ、そこに記憶された後にそこから段４０６-nへの入力
として読み出されるガウス出力Ｇ2 によって、段４０６
-nでラプラシアン出力Ｌ2 及びガウス出力Ｇ3 が取り出
される。この様な循環プロセスは、段４０６-nでラプラ
シアン出力Ｌn 及びガウス出力Ｇn+1 （ｎは必要として
いる大きさの整数値）が取り出されるまで続く。但し、
この時、ガウス出力Ｇn+1 はフレームバッファ４３２を
介して循環しない。Ｇ1 のピクセル密度は、Ｇ0 のピク
セル密度の１／４に過ぎず、また、各帰還サイクル期間
中のピクセル密度がデシメーション（ｄｅｃｉｍａｔｉ
ｏｎ）によって４分の１に減少させられるので、各ビデ
オフレームのＧ1 〜Ｇn ピクセルの総数はそのビデオフ
レームのＧ0 ピクセルの数の１／３よりも大きくなるこ
とがない。従って、フレームバッファ４３２及び４３４
の各々の所要記憶容量は大きくないが、これらが存在す
るために図９の実施例では余分なシステム処理遅延が付
加される。ラプラシアン画像ピラミッドの実施に必要な
ハードウェアを低減するための帰還循環の利用について
は、１９８７年１０月２７日付で付与された米国特許第
４７０３５１４号（特開昭６２−７６３１２対応）に詳
細に記述されている。
２は、２つの独立した入力ポート及び１つの出力ポート
を有する３ポートのフレームメモリ１つで構成すること
もできるし、或いは、図１１に示すような、スイッチで
２つの出力のうちの１つを選択できる２ポートフレーム
メモリ２つで、または、図１２に示すような、１組のス
イッチで各々の１つのポートを入力或いは出力として選
択したり選択しなかったりする１ポートのフレームメモ
リ４つで構成してもよい。いずれにしても、図９に示す
ように、フレームバッファ４３２から各ビデオフレーム
の記憶されたＧ1 ピクセルが読み出されると、段４０６
-nでラプラシアン出力Ｌ1 及びガウス出力Ｇ2 が取り出
される。フレームバッファ４３２への入力として帰還さ
れ、そこに記憶された後にそこから段４０６-nへの入力
として読み出されるガウス出力Ｇ2 によって、段４０６
-nでラプラシアン出力Ｌ2 及びガウス出力Ｇ3 が取り出
される。この様な循環プロセスは、段４０６-nでラプラ
シアン出力Ｌn 及びガウス出力Ｇn+1 （ｎは必要として
いる大きさの整数値）が取り出されるまで続く。但し、
この時、ガウス出力Ｇn+1 はフレームバッファ４３２を
介して循環しない。Ｇ1 のピクセル密度は、Ｇ0 のピク
セル密度の１／４に過ぎず、また、各帰還サイクル期間
中のピクセル密度がデシメーション（ｄｅｃｉｍａｔｉ
ｏｎ）によって４分の１に減少させられるので、各ビデ
オフレームのＧ1 〜Ｇn ピクセルの総数はそのビデオフ
レームのＧ0 ピクセルの数の１／３よりも大きくなるこ
とがない。従って、フレームバッファ４３２及び４３４
の各々の所要記憶容量は大きくないが、これらが存在す
るために図９の実施例では余分なシステム処理遅延が付
加される。ラプラシアン画像ピラミッドの実施に必要な
ハードウェアを低減するための帰還循環の利用について
は、１９８７年１０月２７日付で付与された米国特許第
４７０３５１４号（特開昭６２−７６３１２対応）に詳
細に記述されている。
【００２７】図９に示すように、画像ピラミッド段４０
６-nのラプラシアン出力は、連続した順序Ｌ1 〜Ｌn で
フレームバッファ４３４の入力に供給され、一方、フレ
ームバッファ４３４の出力は、連続した順序Ｌn 〜Ｌ1
で動きベクトル段４１６-nの入力に供給される。図１０
に示すように、帰還動きベクトル段４１６-nは、動き解
析手段４２０、画像バッファ４２２、及びワープ手段４
２４ｅを含んでいる。これらは、図６に示す動きベクト
ル段と同様に相互接続され、帰還動きベクトル段４１６
-nへの入力として連続した順序で供給されるフレームバ
ッファ４３４からのＬn 〜Ｌ2 出力の各々に応答する。
帰還動きベクトル段４１６-nは、更に、例えば、伸張ピ
ラミッド段４２６、遅延手段４２８、加算器４３０、及
び２ポートフレームバッファ４３６を含んでいる。動き
解析手段４２０の出力は加算器４３０の第１の入力とし
て供給され、加算器４３０の出力はフレームバッファ４
３６の入力として供給される。フレームバッファ４３６
の出力は伸張ピラミッド段４２６を介して帰還され、帰
還動きベクトル段４０６-nへの入力として順に供給され
るフレームバッファ４３４からのＬn 〜Ｌ2 出力の各々
に応答して、ワープ手段４２４ｅへのワープ制御入力と
して、また、遅延手段４２８を介した加算器４３０への
第２の入力として供給される。しかし、フレームバッフ
ァ４３６の出力は、帰還動きベクトル段４０６-nへの入
力として連続した順で供給されるフレームバッファ４３
４のＬ1 出力に応答して、最高ピクセル密度動きベクト
ル段４１６-1への入力として供給される。図７のワープ
手段２２４ｆと同様に接続したワープ手段を、図１０で
ワープ手段２２４ｅの代わりに用いることができること
は明らかである。
６-nのラプラシアン出力は、連続した順序Ｌ1 〜Ｌn で
フレームバッファ４３４の入力に供給され、一方、フレ
ームバッファ４３４の出力は、連続した順序Ｌn 〜Ｌ1
で動きベクトル段４１６-nの入力に供給される。図１０
に示すように、帰還動きベクトル段４１６-nは、動き解
析手段４２０、画像バッファ４２２、及びワープ手段４
２４ｅを含んでいる。これらは、図６に示す動きベクト
ル段と同様に相互接続され、帰還動きベクトル段４１６
-nへの入力として連続した順序で供給されるフレームバ
ッファ４３４からのＬn 〜Ｌ2 出力の各々に応答する。
帰還動きベクトル段４１６-nは、更に、例えば、伸張ピ
ラミッド段４２６、遅延手段４２８、加算器４３０、及
び２ポートフレームバッファ４３６を含んでいる。動き
解析手段４２０の出力は加算器４３０の第１の入力とし
て供給され、加算器４３０の出力はフレームバッファ４
３６の入力として供給される。フレームバッファ４３６
の出力は伸張ピラミッド段４２６を介して帰還され、帰
還動きベクトル段４０６-nへの入力として順に供給され
るフレームバッファ４３４からのＬn 〜Ｌ2 出力の各々
に応答して、ワープ手段４２４ｅへのワープ制御入力と
して、また、遅延手段４２８を介した加算器４３０への
第２の入力として供給される。しかし、フレームバッフ
ァ４３６の出力は、帰還動きベクトル段４０６-nへの入
力として連続した順で供給されるフレームバッファ４３
４のＬ1 出力に応答して、最高ピクセル密度動きベクト
ル段４１６-1への入力として供給される。図７のワープ
手段２２４ｆと同様に接続したワープ手段を、図１０で
ワープ手段２２４ｅの代わりに用いることができること
は明らかである。
【００２８】図１３に、ピラミッドレベルの数には関係
なく、動きベクトル段を１つしか必要としないこの発明
の実施例を示す。更に、図１３の実施例は、図９の実施
例の場合のような余分なシステム処理遅延を付加する必
要がない。このことは、図１４に示す後述の構成を有す
る単一の画像ピラミッド段５０６-nを使用し、クロック
周波数を大きくし、かつ、新しい走査線の順序で、フレ
ームバッファ５３４への入力として供給されるラプラシ
アン出力Ｌ0 〜Ｌn の各々を取り出すことによって実現
できる。その後、フレームバッファ５３４は、この大き
くしたクロック周波数でそのラプラシアン出力Ｌ0 〜Ｌ
n の各々を、予め定められた別の順序で（図１７に示す
構成を有する）帰還動きベクトル段５１６-nへの入力と
して供給する。帰還動きベクトル段５１６-nの出力は、
ＶX,Y 手段５１８に直接供給される。
なく、動きベクトル段を１つしか必要としないこの発明
の実施例を示す。更に、図１３の実施例は、図９の実施
例の場合のような余分なシステム処理遅延を付加する必
要がない。このことは、図１４に示す後述の構成を有す
る単一の画像ピラミッド段５０６-nを使用し、クロック
周波数を大きくし、かつ、新しい走査線の順序で、フレ
ームバッファ５３４への入力として供給されるラプラシ
アン出力Ｌ0 〜Ｌn の各々を取り出すことによって実現
できる。その後、フレームバッファ５３４は、この大き
くしたクロック周波数でそのラプラシアン出力Ｌ0 〜Ｌ
n の各々を、予め定められた別の順序で（図１７に示す
構成を有する）帰還動きベクトル段５１６-nへの入力と
して供給する。帰還動きベクトル段５１６-nの出力は、
ＶX,Y 手段５１８に直接供給される。
【００２９】図１４に示す画像ピラミッド段５０６-nの
構成は、畳込みフィルタ／デシメータ５０８、伸張器／
補間フィルタ５１０及び減算器５１２（それぞれ、図４
の畳込みフィルタ／デシメータ２０８、伸張器／補間フ
ィルタ２１０及び減算器２１２に対応）を含み、また、
区分された線バッファ手段５４０を含んでいる。ＣＬ 0
の入力クロック周波数で生じるＧ0 のガウス画像データ
ピクセルのストリームが区分された線バッファ手段５４
０への入力として供給されるが、区分された線バッファ
手段５４０の出力の動作周波数と、畳込みフィルタ／デ
シメータ５０８、伸張器／補間フィルタ５１０及び減算
器５１２の動作周波数とは、ＣＬ0 の１．５倍の増加し
たクロック周波数である。
構成は、畳込みフィルタ／デシメータ５０８、伸張器／
補間フィルタ５１０及び減算器５１２（それぞれ、図４
の畳込みフィルタ／デシメータ２０８、伸張器／補間フ
ィルタ２１０及び減算器２１２に対応）を含み、また、
区分された線バッファ手段５４０を含んでいる。ＣＬ 0
の入力クロック周波数で生じるＧ0 のガウス画像データ
ピクセルのストリームが区分された線バッファ手段５４
０への入力として供給されるが、区分された線バッファ
手段５４０の出力の動作周波数と、畳込みフィルタ／デ
シメータ５０８、伸張器／補間フィルタ５１０及び減算
器５１２の動作周波数とは、ＣＬ0 の１．５倍の増加し
たクロック周波数である。
【００３０】図１５に示すように、区分された線バッフ
ァ手段５４０は、Ｇ0 〜Ｇn ピクセル（例えばＧ0 、Ｇ
1 、Ｇ2 、Ｇ3 ）の各々を個別に記憶するためのｎ＋１
の記憶ビンを含んでいる。これらの記憶されたＧ0 〜Ｇ
n ピクセル（即ち、Ｇ0:n ）の各々は、読み出されて、
Ｇ1:(n+1) ピクセルの各々を取り出す畳込みフィルタ／
デシメータ５０８への入力として供給される。Ｇ(n+1)
ピクセルの各々は、伸張器／補間フィルタ５１０への入
力として供給され、（それぞれＧ0:n と同じピクセル密
度を有する）伸張器／補間フィルタ５１０の出力ＥＸＰ
Ｇ1:(n+1) は区分された線バッファ手段５４０のｎ＋１
個の付加的なビンに記憶される（図１５参照）。減算器
５１２は、（図１６に示す順に）区分された線バッファ
手段５４０から読み出されたＥＸＰＧ1:n ピクセルの値
を、同じく（図１６に示す順に）区分された線バッファ
手段５４０から読み出された対応するＧ0:n ピクセルの
値から減算して、それによって、画像ピラミッド段５０
６-nから（図１６に示す順に）フレームバッファ５３４
への入力として供給されるＬ0:n のラプラシアン出力を
取り出す。特に、Ｌ0:n のラプラシアン出力が生起する
１．５倍のＣＬ0 の増加クロック周波数のために、例え
ばＬn ＝Ｌ4 である図１６に示すような形で、６３．５
μｓの同じ１つのビデオ走査線周期内で、１本の走査線
の全てのＬ0ピクセルを、任意の１つのより高次のＬ画
像ピラミッドレベルの走査線の全ピクセルと共に実時間
で取り出すことが出来る。
ァ手段５４０は、Ｇ0 〜Ｇn ピクセル（例えばＧ0 、Ｇ
1 、Ｇ2 、Ｇ3 ）の各々を個別に記憶するためのｎ＋１
の記憶ビンを含んでいる。これらの記憶されたＧ0 〜Ｇ
n ピクセル（即ち、Ｇ0:n ）の各々は、読み出されて、
Ｇ1:(n+1) ピクセルの各々を取り出す畳込みフィルタ／
デシメータ５０８への入力として供給される。Ｇ(n+1)
ピクセルの各々は、伸張器／補間フィルタ５１０への入
力として供給され、（それぞれＧ0:n と同じピクセル密
度を有する）伸張器／補間フィルタ５１０の出力ＥＸＰ
Ｇ1:(n+1) は区分された線バッファ手段５４０のｎ＋１
個の付加的なビンに記憶される（図１５参照）。減算器
５１２は、（図１６に示す順に）区分された線バッファ
手段５４０から読み出されたＥＸＰＧ1:n ピクセルの値
を、同じく（図１６に示す順に）区分された線バッファ
手段５４０から読み出された対応するＧ0:n ピクセルの
値から減算して、それによって、画像ピラミッド段５０
６-nから（図１６に示す順に）フレームバッファ５３４
への入力として供給されるＬ0:n のラプラシアン出力を
取り出す。特に、Ｌ0:n のラプラシアン出力が生起する
１．５倍のＣＬ0 の増加クロック周波数のために、例え
ばＬn ＝Ｌ4 である図１６に示すような形で、６３．５
μｓの同じ１つのビデオ走査線周期内で、１本の走査線
の全てのＬ0ピクセルを、任意の１つのより高次のＬ画
像ピラミッドレベルの走査線の全ピクセルと共に実時間
で取り出すことが出来る。
【００３１】図１７に示すように、帰還動きベクトル段
５１６-nの構成は、図１０に示す帰還動きベクトル段４
１６-nの構成と同じである。しかし、図１７の帰還動き
ベクトル段への入力として供給されるフレームバッファ
５３４のラプラシアン出力の順序を、図１０の帰還動き
ベクトル段への入力の順序と異ならせることもできる。
より詳細には、帰還動きベクトル段５０６-nからのラプ
ラシアン記憶データは、１．５倍のＣＬ0 の増加クロッ
ク周波数で、時間順次形式或いは時間マルチプレクス形
式でフレームバッファ５３４に供給される。
５１６-nの構成は、図１０に示す帰還動きベクトル段４
１６-nの構成と同じである。しかし、図１７の帰還動き
ベクトル段への入力として供給されるフレームバッファ
５３４のラプラシアン出力の順序を、図１０の帰還動き
ベクトル段への入力の順序と異ならせることもできる。
より詳細には、帰還動きベクトル段５０６-nからのラプ
ラシアン記憶データは、１．５倍のＣＬ0 の増加クロッ
ク周波数で、時間順次形式或いは時間マルチプレクス形
式でフレームバッファ５３４に供給される。
【００３２】時間順次形式の場合は、図１４のピラミッ
ド段からのＬ0:n のラプラシアン出力全てが、先ず完全
に計算され、フレームバッファ５３４に記憶された後、
フレームバッファ５３４によりこの記憶データが帰還動
きベクトル段５１６-nに供給されなければならない。こ
れには、（垂直ブランキング期間を含めて）約１ビデオ
フレーム周期の時間がかかり、その結果、システム処理
遅延に基本的に１フレーム周期の遅延が付加される。Ｌ
0 の最高ピクセル密度におけるＶX,Y 動きベクトルを得
るための図１７に示す構成の帰還動きベクトル段５１６
-nによる動き解析は、図１０の場合と同様に行われて、
その結果、（１）Ｌ0 の最高ピクセル密度におけるＶ
X,Y 動きベクトルの計算前の１ビデオフレーム周期の１
／３の１／１．５のシステム処理遅延（ここで、１．５
はクロック周波数の増加率に対応する）と、（２）Ｌ0
の最高ピクセル密度に対するビデオフレーム周期の１／
１．５のシステム処理遅延が付加される。
ド段からのＬ0:n のラプラシアン出力全てが、先ず完全
に計算され、フレームバッファ５３４に記憶された後、
フレームバッファ５３４によりこの記憶データが帰還動
きベクトル段５１６-nに供給されなければならない。こ
れには、（垂直ブランキング期間を含めて）約１ビデオ
フレーム周期の時間がかかり、その結果、システム処理
遅延に基本的に１フレーム周期の遅延が付加される。Ｌ
0 の最高ピクセル密度におけるＶX,Y 動きベクトルを得
るための図１７に示す構成の帰還動きベクトル段５１６
-nによる動き解析は、図１０の場合と同様に行われて、
その結果、（１）Ｌ0 の最高ピクセル密度におけるＶ
X,Y 動きベクトルの計算前の１ビデオフレーム周期の１
／３の１／１．５のシステム処理遅延（ここで、１．５
はクロック周波数の増加率に対応する）と、（２）Ｌ0
の最高ピクセル密度に対するビデオフレーム周期の１／
１．５のシステム処理遅延が付加される。
【００３３】時間（即ち走査線）マルチプレクス形式で
は、図１７の構成が、遅延手段５２８ではなく、図１４
に示すのと同様な区分された線バッファ手段を含むよう
に変更される。ここでは、データフローとワープ手段の
制御がより複雑になるが、全システム処理遅延を図２の
実施例と同様にすることができる。即ち、ｎのピクセル
密度レベルを全て合わせた和の累積処理時間はビデオフ
レーム周期を越える場合があるが、ＣＬ0 の１．５倍の
クロック周波数を使用した、各個別のピクセル密度レベ
ル（最長のＬ0 ピクセル密度レベルを含む）の処理時間
は、実質的に１ビデオフレーム周期よりも小さい。その
ため、連続するピクセル密度レベルの処理は、処理時間
において重複させることができる。従って、一番目に生
じるビデオフレームのＬn がまだ処理されている時に、
２番目に生じるビデオフレームのＬ0 の処理を開始させ
ることができ、また、１番目に生じるビデオフレームの
最高ピクセル密度の動きベクトル値がまだ計算されてい
る時に、２番目に生じるビデオフレームの最低ピクセル
密度の動きベクトル値の全体が既に計算されていること
もある。
は、図１７の構成が、遅延手段５２８ではなく、図１４
に示すのと同様な区分された線バッファ手段を含むよう
に変更される。ここでは、データフローとワープ手段の
制御がより複雑になるが、全システム処理遅延を図２の
実施例と同様にすることができる。即ち、ｎのピクセル
密度レベルを全て合わせた和の累積処理時間はビデオフ
レーム周期を越える場合があるが、ＣＬ0 の１．５倍の
クロック周波数を使用した、各個別のピクセル密度レベ
ル（最長のＬ0 ピクセル密度レベルを含む）の処理時間
は、実質的に１ビデオフレーム周期よりも小さい。その
ため、連続するピクセル密度レベルの処理は、処理時間
において重複させることができる。従って、一番目に生
じるビデオフレームのＬn がまだ処理されている時に、
２番目に生じるビデオフレームのＬ0 の処理を開始させ
ることができ、また、１番目に生じるビデオフレームの
最高ピクセル密度の動きベクトル値がまだ計算されてい
る時に、２番目に生じるビデオフレームの最低ピクセル
密度の動きベクトル値の全体が既に計算されていること
もある。
【００３４】部品効率の高い実施例を実現するために、
フィルタ／デシメート−伸張フィルタ型のピラミッド段
５０６-nの代わりにフィルタ−減算−デシメート型のピ
ラミッド段を用いることができる。フィルタ−減算−デ
シメートモジュールの例は、米国特許第４６７４１２５
号（特開昭６０−３７８１１対応）に開示がある。
フィルタ／デシメート−伸張フィルタ型のピラミッド段
５０６-nの代わりにフィルタ−減算−デシメート型のピ
ラミッド段を用いることができる。フィルタ−減算−デ
シメートモジュールの例は、米国特許第４６７４１２５
号（特開昭６０−３７８１１対応）に開示がある。
【００３５】前述のＨＭＡ構成によって（通常）画像中
のすべてのピクセルについてのそれぞれの動きベクトル
が生成される。これらは、先ず画像を低解像度（レベル
ｎ）で表すものに対して動きベクトルを計算することに
よって得られる。ここで、各ベクトルＶn は、（その画
像解像度に対して）サブピクセル解像度を有し、最高
（レベル０の）全画像解像度におけるＶn ＊２ｎの動き
を表す。その後、これらの動きベクトルＶn は、次に高
い解像度レベルｎ−１でより細かく解析され、解像度レ
ベルｎ−１の各ピクセルに対して（サブピクセル）動き
ベクトルＶn-1 が得られる。このプロセスは、通常、最
高の解像度（レベル０）で動きベクトルＶ0 が計算され
るまで繰り返される。
のすべてのピクセルについてのそれぞれの動きベクトル
が生成される。これらは、先ず画像を低解像度（レベル
ｎ）で表すものに対して動きベクトルを計算することに
よって得られる。ここで、各ベクトルＶn は、（その画
像解像度に対して）サブピクセル解像度を有し、最高
（レベル０の）全画像解像度におけるＶn ＊２ｎの動き
を表す。その後、これらの動きベクトルＶn は、次に高
い解像度レベルｎ−１でより細かく解析され、解像度レ
ベルｎ−１の各ピクセルに対して（サブピクセル）動き
ベクトルＶn-1 が得られる。このプロセスは、通常、最
高の解像度（レベル０）で動きベクトルＶ0 が計算され
るまで繰り返される。
【００３６】しかし、最終的な動きベクトルの表示が完
全な解像度である必要はなく、それよりも低い解像度で
あってもよい。例えば、画像データの各１６×１６ブロ
ック（即ち、解像度レベル４）に対して１つの動きベク
トルをとることは、多くの圧縮されたビデオ信号フォー
マット、例えば、ＭＰＥＧに対しては普通である。
全な解像度である必要はなく、それよりも低い解像度で
あってもよい。例えば、画像データの各１６×１６ブロ
ック（即ち、解像度レベル４）に対して１つの動きベク
トルをとることは、多くの圧縮されたビデオ信号フォー
マット、例えば、ＭＰＥＧに対しては普通である。
【００３７】この動きベクトルは、ＨＭＡ法（構成）に
よって、次のいずれかにより得ることができる。 （ａ） レベルｎ（ｎ＞４）からレベル４までの動きベ
クトルのみを計算して、これを最終的な動きベクトルの
結果として使用する。（これは、精度は落ちるが、実施
コストをかなり節約できる。） （ｂ） 動きベクトルをより高い解像度（例えば、４×
４のピクセルブロック毎に対して１動きベクトルを有す
るレベル２）まで計算した後、この高解像度動きベクト
ルを（何らかの方法で）組み合わせることによって１６
×１６ピクセルブロックごとにより正確な動きベクトル
を計算する。 （ｃ） 動きベクトルをレベル０まで計算し、例えば１
６×１６ブロックの動きベクトルを平均してそれぞれの
ブロックに対して高解像度動きベクトルを求める。この
装置が図１７に示されている。図１７において、ボック
ス５７５は、レベル０の動きベクトルを記憶するメモリ
バッファである。演算ユニット５７７は、レベル０の動
きベクトルからなる１６×１６マトリクスにアクセス
し、各マトリクスに対して１動きベクトルを、そのよう
な各マトリクスに含まれるベクトルの相加平均（ａｖｅ
ｒａｇｅ）、平均（ｍｅａｎ）、メジアン（ｍｅｄｉａ
ｎ）等をとることによって生成する。
よって、次のいずれかにより得ることができる。 （ａ） レベルｎ（ｎ＞４）からレベル４までの動きベ
クトルのみを計算して、これを最終的な動きベクトルの
結果として使用する。（これは、精度は落ちるが、実施
コストをかなり節約できる。） （ｂ） 動きベクトルをより高い解像度（例えば、４×
４のピクセルブロック毎に対して１動きベクトルを有す
るレベル２）まで計算した後、この高解像度動きベクト
ルを（何らかの方法で）組み合わせることによって１６
×１６ピクセルブロックごとにより正確な動きベクトル
を計算する。 （ｃ） 動きベクトルをレベル０まで計算し、例えば１
６×１６ブロックの動きベクトルを平均してそれぞれの
ブロックに対して高解像度動きベクトルを求める。この
装置が図１７に示されている。図１７において、ボック
ス５７５は、レベル０の動きベクトルを記憶するメモリ
バッファである。演算ユニット５７７は、レベル０の動
きベクトルからなる１６×１６マトリクスにアクセス
し、各マトリクスに対して１動きベクトルを、そのよう
な各マトリクスに含まれるベクトルの相加平均（ａｖｅ
ｒａｇｅ）、平均（ｍｅａｎ）、メジアン（ｍｅｄｉａ
ｎ）等をとることによって生成する。
【図１】一連の進行中出力ベクトルデータフレーム周期
及び一連の進行中入力画像データフレーム周期の関係を
システム処理遅延の関数として示すタイミング図であ
る。
及び一連の進行中入力画像データフレーム周期の関係を
システム処理遅延の関数として示すタイミング図であ
る。
【図２】この発明の、システム処理遅延の小さいラプラ
シアンピラミッドの実施例を示す図である。
シアンピラミッドの実施例を示す図である。
【図３】この発明の、システム処理遅延の小さいガウス
ピラミッドの実施例を示す図である。
ピラミッドの実施例を示す図である。
【図４】図２の実施例を用いた従来のラプラシアン画像
ピラミッド段の構成を示す図である。
ピラミッド段の構成を示す図である。
【図５】図２及び図３の両方の実施例に用いられる最低
ピクセル密度動きベクトル段の構成を示す図である。
ピクセル密度動きベクトル段の構成を示す図である。
【図６】図２及び図３の両方の実施例に用いられる高い
ピクセル密度動きベクトル段の構成を示す図である。
ピクセル密度動きベクトル段の構成を示す図である。
【図７】図２及び図３の両方の実施例に用いられる高い
ピクセル密度動きベクトル段の別の構成を示す図であ
る。
ピクセル密度動きベクトル段の別の構成を示す図であ
る。
【図８】従来の動き解析手段の一例により実行されるコ
ンピュータ処理の概略図である。
ンピュータ処理の概略図である。
【図９】この発明による、システム処理遅延を増加させ
るかわりにシステムハードウェアを低減することができ
る帰還ラプラシアンピラミッド実施例を示す図である。
るかわりにシステムハードウェアを低減することができ
る帰還ラプラシアンピラミッド実施例を示す図である。
【図１０】図９の実施例に使用される帰還動きベクトル
段の構成を示す図である。
段の構成を示す図である。
【図１１】図９の実施例に使用される３ポートフレーム
バッファのための構成を示す図である。
バッファのための構成を示す図である。
【図１２】図９の実施例に使用される３ポートフレーム
バッファのための別の構成を示す図である。
バッファのための別の構成を示す図である。
【図１３】この発明による、単一のピラミッド段を使用
していて、高い出力クロック周波数によってシステム処
理遅延を小さくし、システムハードウェアを少なくする
帰還ラプラシアンピラミッドの実施例を示す図である。
していて、高い出力クロック周波数によってシステム処
理遅延を小さくし、システムハードウェアを少なくする
帰還ラプラシアンピラミッドの実施例を示す図である。
【図１４】図１３の実施例に使用される単一ピラミッド
段の構成を示す図である。
段の構成を示す図である。
【図１５】図１４のピラミッド段の区分された線バッフ
ァ手段により記憶された画像情報のフォーマットを示す
図である。
ァ手段により記憶された画像情報のフォーマットを示す
図である。
【図１６】図１４のピラミッド段のラプラシアン画像出
力を示すタイミング図である。
力を示すタイミング図である。
【図１７】図１３の実施例に使用される帰還動きベクト
ル段の構成を示す図である。
ル段の構成を示す図である。
５０６-n 第１のハードウェア手段 ５２２ 画像バッファ手段 ５２４ 画像ワープ手段 ５２０ 動き解析手段 ５２６ ピクセル密度伸張手段 ５３０ 加算器手段
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ジヨーゼフ オーエン シニガー アメリカ合衆国 08534 ニユージヤー ジ州 ペニントン エグランタイン・ア ベニユ 21 (72)発明者 チヤールズ ハモンド アンダーソン アメリカ合衆国 63124 ミズーリ州 ラデユー ツイン・オークス・レーン ４ (56)参考文献 特開 昭60−37811（ＪＰ，Ａ) 特開 昭62−76312（ＪＰ，Ａ) 特開 平３−66278（ＪＰ，Ａ) 特表 平１−503509（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) G06T 7/20 G06F 12/00 G06F 12/08 H04N 7/32 ＪＩＣＳＴファイル（ＪＯＩＳ)
Claims (1)
- 【請求項１】 或る所与のフレーム周波数で生じる一連
の連続した進行している或る所与のピクセル密度の画像
フレーム入力からの比較的高解像度の画像データに応答
し、或る処理システム遅延の後、同じ所与のフレーム周
波数で生じる一連の連続した進行している或る所与のピ
クセル密度のベクトルデータ・フレーム出力を取り出す
ための画像処理システムにおいて、 各ベクトルデータ・フレームは連続した画像フレームの
各対の間に生じる画像動きを表すものであり、 上記システムは、上記入力を処理して、上記或る処理シ
ステム遅延の或る所与の一部分に等しい長さの第１の期
間内に、ｎ＋１個（ｎは少なくとも１の値を有する或る
所与の整数）の順に整列した順次低くなるピクセル密度
レベル０〜ｎ（但し、ピクセル密度レベル０は、上記所
与のピクセル密度に対応し、ピクセル密度レベルｎは、
或る最低ピクセル密度に対応する）の上記画像フレーム
の各１つの画像データを生成する第１のハードウェア手
段を含み、更に、 上記システムは、少なくとも１つの画像バッファ手段、
少なくとも１つの画像ワープ手段、少なくとも１つの動
き解析手段、少なくとも１つのピクセル密度伸張手段、
及び少なくとも１つの加算器手段を組み込んだ第２のハ
ードウェア手段を含んでおり、 上記第２のハードウェア手段は、上記ピクセル密度レベ
ルｎ〜ｎ−ｋ（ｋはｎまたはそれ以下の整数）の各々に
おける連続した画像フレームからなる各対の上記画像デ
ータを順に使用して、上記或る処理システム遅延の残り
の部分に等しい長さの第２の期間内に、上記連続した画
像フレームの上記対について、上記最低ピクセル密度ｎ
から始めて、上記ピクセル密度レベルｎ〜ｎ−ｋの各々
における各ピクセルに対して１つの個別の動きベクトル
を、上記最低ピクセル密度ｎより上の上記ピクセル密度
レベルの各々において取り出された上記各ピクセルに対
する残留動きベクトルをその次に低いピクセル密度レベ
ルで既に取り出されている対応する個別の動きベクトル
に加えることによって取り出すものであり、 これによって、ｎ−ｋのピクセル密度の動きベクトルの
マップを、上記一連の進行している入力の連続した所与
のピクセル密度画像フレームの各対に応答して、リアル
タイムで取り出すことができるようにされた、画像処理
システム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US896771 | 1986-08-15 | ||
| US07/896,771 US5276513A (en) | 1992-06-10 | 1992-06-10 | Implementation architecture for performing hierarchical motion analysis of video images in real time |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0660187A JPH0660187A (ja) | 1994-03-04 |
| JP3354636B2 true JP3354636B2 (ja) | 2002-12-09 |
Family
ID=25406802
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP16628993A Expired - Fee Related JP3354636B2 (ja) | 1992-06-10 | 1993-06-10 | 画像処理システム |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US5276513A (ja) |
| EP (1) | EP0574192B1 (ja) |
| JP (1) | JP3354636B2 (ja) |
| KR (1) | KR100303097B1 (ja) |
| DE (1) | DE69332348T2 (ja) |
| MX (1) | MX9303450A (ja) |
| SG (1) | SG75760A1 (ja) |
Families Citing this family (51)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0576749B1 (en) | 1992-06-30 | 1999-06-02 | Discovision Associates | Data pipeline system |
| GB9405914D0 (en) | 1994-03-24 | 1994-05-11 | Discovision Ass | Video decompression |
| US6112017A (en) | 1992-06-30 | 2000-08-29 | Discovision Associates | Pipeline processing machine having a plurality of reconfigurable processing stages interconnected by a two-wire interface bus |
| US6047112A (en) | 1992-06-30 | 2000-04-04 | Discovision Associates | Technique for initiating processing of a data stream of encoded video information |
| US6330665B1 (en) | 1992-06-30 | 2001-12-11 | Discovision Associates | Video parser |
| US5809270A (en) | 1992-06-30 | 1998-09-15 | Discovision Associates | Inverse quantizer |
| US5835740A (en) | 1992-06-30 | 1998-11-10 | Discovision Associates | Data pipeline system and data encoding method |
| US5821885A (en) | 1994-07-29 | 1998-10-13 | Discovision Associates | Video decompression |
| US5842033A (en) | 1992-06-30 | 1998-11-24 | Discovision Associates | Padding apparatus for passing an arbitrary number of bits through a buffer in a pipeline system |
| US6067417A (en) | 1992-06-30 | 2000-05-23 | Discovision Associates | Picture start token |
| US5768561A (en) | 1992-06-30 | 1998-06-16 | Discovision Associates | Tokens-based adaptive video processing arrangement |
| US6079009A (en) | 1992-06-30 | 2000-06-20 | Discovision Associates | Coding standard token in a system compromising a plurality of pipeline stages |
| DE4322343C2 (de) * | 1992-07-06 | 1996-10-02 | Mitsubishi Electric Corp | Mittel zum Erfassen eines Bewegungsvektors und Verfahren zum Bestimmen eines Bewegungsvektors |
| KR0166724B1 (ko) * | 1993-05-08 | 1999-03-20 | 김광호 | 반화소정확도를 갖는 동벡터추정방법 및 그 장치 |
| US5699544A (en) * | 1993-06-24 | 1997-12-16 | Discovision Associates | Method and apparatus for using a fixed width word for addressing variable width data |
| US5805914A (en) | 1993-06-24 | 1998-09-08 | Discovision Associates | Data pipeline system and data encoding method |
| US5861894A (en) | 1993-06-24 | 1999-01-19 | Discovision Associates | Buffer manager |
| US5477272A (en) * | 1993-07-22 | 1995-12-19 | Gte Laboratories Incorporated | Variable-block size multi-resolution motion estimation scheme for pyramid coding |
| US6005983A (en) * | 1993-09-08 | 1999-12-21 | California Institutue Of Technology | Image enhancement by non-linear extrapolation in frequency space |
| DE4342305A1 (de) * | 1993-12-11 | 1995-06-29 | Thomson Brandt Gmbh | Verfahren zur hierarchischen Bewegungsschätzung in einem Fernsehsignal |
| TW321748B (ja) * | 1994-02-23 | 1997-12-01 | Rca Thomson Licensing Corp | |
| CA2145361C (en) * | 1994-03-24 | 1999-09-07 | Martin William Sotheran | Buffer manager |
| CA2145365C (en) | 1994-03-24 | 1999-04-27 | Anthony M. Jones | Method for accessing banks of dram |
| CA2145379C (en) | 1994-03-24 | 1999-06-08 | William P. Robbins | Method and apparatus for addressing memory |
| GB9417138D0 (en) * | 1994-08-23 | 1994-10-12 | Discovision Ass | Data rate conversion |
| US5598352A (en) * | 1994-09-30 | 1997-01-28 | Cirrus Logic, Inc. | Method and apparatus for audio and video synchronizing in MPEG playback systems |
| US5815634A (en) * | 1994-09-30 | 1998-09-29 | Cirrus Logic, Inc. | Stream synchronization method and apparatus for MPEG playback system |
| KR0178231B1 (ko) * | 1995-08-10 | 1999-05-01 | 배순훈 | 계층적인 움직임 추정 기법을 이용하는 움직임 벡터 검출 방법 및 장치 |
| GB9422018D0 (en) * | 1994-10-31 | 1994-12-21 | Vistek Electronics | An improved method of estimating motion in a video signal |
| KR0182058B1 (ko) * | 1995-05-10 | 1999-05-01 | 김광호 | 움직임 추정을 위한 다중 해상도 순환 탐색 장치 및 그 방법 |
| JP2798120B2 (ja) * | 1995-08-04 | 1998-09-17 | 日本電気株式会社 | 動き補償フレーム間予測方法及び動き補償フレーム間予測装置 |
| US6037976A (en) * | 1995-10-31 | 2000-03-14 | Sarnoff Corporation | Method and apparatus for determining ambient conditions from an image sequence, such as fog, haze or shadows |
| EP0778698B1 (en) * | 1995-12-06 | 2001-09-12 | THOMSON multimedia | Method and apparatus for fine motion estimation in digital video pictures |
| US5764283A (en) * | 1995-12-29 | 1998-06-09 | Lucent Technologies Inc. | Method and apparatus for tracking moving objects in real time using contours of the objects and feature paths |
| JPH09212650A (ja) * | 1996-02-05 | 1997-08-15 | Sony Corp | 動きベクトル検出装置および検出方法 |
| US5838377A (en) * | 1996-12-20 | 1998-11-17 | Analog Devices, Inc. | Video compressed circuit using recursive wavelet filtering |
| US5984514A (en) * | 1996-12-20 | 1999-11-16 | Analog Devices, Inc. | Method and apparatus for using minimal and optimal amount of SRAM delay line storage in the calculation of an X Y separable mallat wavelet transform |
| AU8434298A (en) * | 1997-07-28 | 1999-02-22 | Idt International Digital Technologies Deutschland Gmbh | Method and apparatus for multiresolution object-oriented motion estimation |
| IL122299A (en) * | 1997-11-25 | 2003-11-23 | Broadcom Corp | Video encoding device |
| JP4016227B2 (ja) * | 1998-01-07 | 2007-12-05 | ソニー株式会社 | 画像処理装置および方法、並びに記録媒体 |
| US6137837A (en) * | 1998-01-23 | 2000-10-24 | Motorola, Inc. | Motion estimation for digital video with reduced number of search window pixels |
| US6259737B1 (en) * | 1998-06-05 | 2001-07-10 | Innomedia Pte Ltd | Method and apparatus for fast motion estimation in video coding |
| US6459822B1 (en) * | 1998-08-26 | 2002-10-01 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Video image stabilization and registration |
| PL362631A1 (en) * | 2003-10-06 | 2005-04-18 | Advanced Digital Broadcast Polska Sp.z o.o. | Method for controlling video display signal frames |
| US7317841B2 (en) * | 2003-12-22 | 2008-01-08 | Ge Medical Systems Global Technology Company, Llc | System and method for image noise reduction using a minimal error spatiotemporal recursive filter |
| JP2006059252A (ja) * | 2004-08-23 | 2006-03-02 | Denso Corp | 動き検出方法及び装置，プログラム，車両用監視システム |
| US7440628B2 (en) * | 2004-08-31 | 2008-10-21 | Siemens Medical Solutions Usa, Inc. | Method and system for motion correction in a sequence of images |
| JP2008529151A (ja) * | 2005-01-31 | 2008-07-31 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 複数解像度の画像フィルタリングに関するピラミッド分解 |
| WO2008073416A1 (en) * | 2006-12-11 | 2008-06-19 | Cinnafilm, Inc. | Real-time film effects processing for digital video |
| US20100026897A1 (en) * | 2008-07-30 | 2010-02-04 | Cinnafilm, Inc. | Method, Apparatus, and Computer Software for Modifying Moving Images Via Motion Compensation Vectors, Degrain/Denoise, and Superresolution |
| WO2011053054A2 (ko) * | 2009-10-30 | 2011-05-05 | 에스케이텔레콤 주식회사 | 움직임 벡터 해상도 제한을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4674125A (en) * | 1983-06-27 | 1987-06-16 | Rca Corporation | Real-time hierarchal pyramid signal processing apparatus |
| US4703514A (en) * | 1985-09-16 | 1987-10-27 | Rca Corporation | Programmed implementation of real-time multiresolution signal processing apparatus |
| EP0285902A3 (de) * | 1987-04-07 | 1990-10-10 | Siemens Aktiengesellschaft | Verfahren zur Datenreduktion digitaler Bildsequenzen |
| EP0294961B1 (en) * | 1987-06-09 | 1994-10-12 | Sony Corporation | Motion vector selection in television images |
| FR2623955B1 (fr) * | 1987-11-27 | 1990-04-27 | Labo Electronique Physique | Procede et dispositif d'estimation et de compensation de mouvement dans une sequence d'images et leur application dans un systeme de transmission d'images de television a haute definition |
| FR2633468B1 (fr) * | 1988-06-24 | 1990-11-09 | France Etat | Procede de codage de donnees d'assistance a la reconstruction d'images electroniques animees sous-echantillonnees |
| GB9001468D0 (en) * | 1990-01-23 | 1990-03-21 | Sarnoff David Res Center | Computing multiple motions within an image region |
| FR2663178B1 (fr) * | 1990-06-06 | 1995-07-21 | Thomson Csf | Procede d'estimation hierarchique du mouvement dans une sequence d'images. |
-
1992
- 1992-06-10 US US07/896,771 patent/US5276513A/en not_active Expired - Lifetime
-
1993
- 1993-06-04 EP EP93304347A patent/EP0574192B1/en not_active Expired - Lifetime
- 1993-06-04 SG SG1996002352A patent/SG75760A1/en unknown
- 1993-06-04 DE DE69332348T patent/DE69332348T2/de not_active Expired - Fee Related
- 1993-06-09 MX MX9303450A patent/MX9303450A/es active IP Right Grant
- 1993-06-10 KR KR1019930010502A patent/KR100303097B1/ko not_active IP Right Cessation
- 1993-06-10 JP JP16628993A patent/JP3354636B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| DE69332348D1 (de) | 2002-11-07 |
| EP0574192A2 (en) | 1993-12-15 |
| JPH0660187A (ja) | 1994-03-04 |
| KR940001746A (ko) | 1994-01-11 |
| EP0574192B1 (en) | 2002-10-02 |
| US5276513A (en) | 1994-01-04 |
| MX9303450A (es) | 1994-01-31 |
| EP0574192A3 (en) | 1995-05-24 |
| KR100303097B1 (ko) | 2001-11-22 |
| DE69332348T2 (de) | 2003-01-30 |
| SG75760A1 (en) | 2000-10-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3354636B2 (ja) | 画像処理システム | |
| US5461423A (en) | Apparatus for generating a motion vector with half-pixel precision for use in compressing a digital motion picture signal | |
| US5134480A (en) | Time-recursive deinterlace processing for television-type signals | |
| JP2839950B2 (ja) | モーション・ディテクター | |
| US5689305A (en) | System for deinterlacing digitally compressed video and method | |
| JP3101691B2 (ja) | 二次元動画像の連続するピクセルを表わすデータ信号を処理するための方法および回路 | |
| US5408269A (en) | Moving picture encoding apparatus and method | |
| JP3031152B2 (ja) | 動き予測プロセッサ及び動き予測装置 | |
| JP3522801B2 (ja) | 動き補償を用いた動映像信号処理器のためのメモリ装置 | |
| US5313296A (en) | Image information processor in which residual information is stored in a blank area of a field memory | |
| EP0785682A1 (en) | Letter box converter | |
| KR20020050395A (ko) | 계층탐색을 이용한 움직임 추정장치 및 방법 | |
| KR100695030B1 (ko) | 정지 화상 생성 방법 및 장치 | |
| JP2782766B2 (ja) | 動画静止画変換方法 | |
| US6546156B1 (en) | Image processing device | |
| JP3132055B2 (ja) | 画像処理装置および画像処理方法 | |
| JP4140091B2 (ja) | 画像情報変換装置および画像情報変換方法 | |
| JPH1084499A (ja) | 適応フィルタ装置 | |
| JP2811425B2 (ja) | 運動ベクトル抽出装置 | |
| JP3490142B2 (ja) | 動画像符号化方法及び装置 | |
| EP0652676A1 (en) | Apparatus and method for compressing a digital motion picture signal | |
| JPH0540828A (ja) | ブロツクマツチング探索方式 | |
| JP2868457B2 (ja) | 動きベクトル探索装置 | |
| JP3698501B2 (ja) | 動きベクトル検出装置 | |
| JP2006197387A (ja) | 動きベクトル探索装置及び動きベクトル探索プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20020820 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070927 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080927 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080927 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090927 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |