JP3130585B2 - 動き評価ハードウェアとビデオシステムのデータ伝送容量要求を低減する方法と装置 - Google Patents
動き評価ハードウェアとビデオシステムのデータ伝送容量要求を低減する方法と装置Info
- Publication number
- JP3130585B2 JP3130585B2 JP03221145A JP22114591A JP3130585B2 JP 3130585 B2 JP3130585 B2 JP 3130585B2 JP 03221145 A JP03221145 A JP 03221145A JP 22114591 A JP22114591 A JP 22114591A JP 3130585 B2 JP3130585 B2 JP 3130585B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- motion vector
- video
- blocks
- sampled
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
- G06T7/238—Analysis of motion using block-matching using non-full search, e.g. three-step search
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【技術分野】本発明は、各フィールドの追加ラインもし
くは追加フィールドのいずれかの引き続く補間を許容す
るよう動きベクトルが計算される蓄積システムあるいは
伝送システムのビデオ映像信号処理に関するものであ
る。
くは追加フィールドのいずれかの引き続く補間を許容す
るよう動きベクトルが計算される蓄積システムあるいは
伝送システムのビデオ映像信号処理に関するものであ
る。
【０００２】
【背景技術】動き評価については多数のアルゴリズムが
開発されている。これらアルゴリズムの内の1つがヘラ
ルド・デ・ハーン（Gerard de Haan）とヘンドリク・ヒ
ュエイヘン（Hendrik Huijgen）の論文、「動き評価の
新しいアルゴリズム（New algorithm for motion estim
ation）、HDTVの第3国際作業部会議事録（Proceedingso
f the Third International Workshop on HDTV）、トリ
ノ、1989年に開示されている。
開発されている。これらアルゴリズムの内の1つがヘラ
ルド・デ・ハーン（Gerard de Haan）とヘンドリク・ヒ
ュエイヘン（Hendrik Huijgen）の論文、「動き評価の
新しいアルゴリズム（New algorithm for motion estim
ation）、HDTVの第3国際作業部会議事録（Proceedingso
f the Third International Workshop on HDTV）、トリ
ノ、1989年に開示されている。
【０００３】
【発明の開示】本発明の目的は特に例えば１テレビジョ
ンフィールドを複数のブロックに分割し、かつこれらブ
ロックの各々に対し動きベクトルを計算する必要がある
システムにおいて、動き評価器のハードウェアを簡単化
し、および／またはデータ伝送／蓄積容量の要求を低減
化せしめんとするにある。
ンフィールドを複数のブロックに分割し、かつこれらブ
ロックの各々に対し動きベクトルを計算する必要がある
システムにおいて、動き評価器のハードウェアを簡単化
し、および／またはデータ伝送／蓄積容量の要求を低減
化せしめんとするにある。
【０００４】本発明の1つの態様は、動きベクトルがブ
ロックの選択されたものに対して計算され、残りのブロ
ックのベクトルが、計算された動きベクトルからの補間
により導かれる方法およびシステムを提供する。本発明
は請求項1，6，8，9にさらに正確に述べられている。
ロックの選択されたものに対して計算され、残りのブロ
ックのベクトルが、計算された動きベクトルからの補間
により導かれる方法およびシステムを提供する。本発明
は請求項1，6，8，9にさらに正確に述べられている。
【０００５】本発明のこれ以上の特徴、利点、および動
作態様の詳細は図面とともに述べられた以下の説明を参
照して明らかとなろう。
作態様の詳細は図面とともに述べられた以下の説明を参
照して明らかとなろう。
【０００６】
【実施例】「テレビジョン」および「ビデオ」なる述語
はこの出願を通して交換できるものとして使用されてい
る。本発明は厳密に規定された「テレビジョン」分野以
外（例えば会議システム［conferencing system］）に
も適用可能なことが評価されよう。同様に、たとえ「奇
数フィールド」と「偶数フィールド」について述べられ
ていても、本発明はまた技術的に順次「フィールド」が
フレームである順次走査システムにも適用可能である。
はこの出願を通して交換できるものとして使用されてい
る。本発明は厳密に規定された「テレビジョン」分野以
外（例えば会議システム［conferencing system］）に
も適用可能なことが評価されよう。同様に、たとえ「奇
数フィールド」と「偶数フィールド」について述べられ
ていても、本発明はまた技術的に順次「フィールド」が
フレームである順次走査システムにも適用可能である。
【０００７】上述のように、本発明それ自身は、映像が
多数のブロックに細分されるビデオシステムに関連して
いる。図1において、既知のシステムで、この細分は
「X」とマークされているものと、「O」とマークされて
いるもののすべてのブロックを含む。これらブロックの
各々に対して、動きベクトルを計算する。かかる計算は
本発明の一部ではない。動きベクトルを各ブロックに対
して割り当てるものとすると、かかる動きベクトルの計
算が相対的に複雑になり、かつかかるベクトルの蓄積お
よび／または伝送に対応する蓄積および／または伝送容
量を必要とすることになる。
多数のブロックに細分されるビデオシステムに関連して
いる。図1において、既知のシステムで、この細分は
「X」とマークされているものと、「O」とマークされて
いるもののすべてのブロックを含む。これらブロックの
各々に対して、動きベクトルを計算する。かかる計算は
本発明の一部ではない。動きベクトルを各ブロックに対
して割り当てるものとすると、かかる動きベクトルの計
算が相対的に複雑になり、かつかかるベクトルの蓄積お
よび／または伝送に対応する蓄積および／または伝送容
量を必要とすることになる。
【０００８】本発明は、伝送端、即ち、記録端で半分の
数のベクトルを計算し、次いで受信端、即ち、表示端で
蓄積および／または伝送し、あるいはまた、計算するこ
とを要求するだけで、ハードウェア、計算時間、および
蓄積／伝送容量を低減させることができる。本発明によ
ると、残りの半分のベクトルは別のブロックに関連する
ベクトルからの簡単なアルゴリズムによって計算する。
数のベクトルを計算し、次いで受信端、即ち、表示端で
蓄積および／または伝送し、あるいはまた、計算するこ
とを要求するだけで、ハードウェア、計算時間、および
蓄積／伝送容量を低減させることができる。本発明によ
ると、残りの半分のベクトルは別のブロックに関連する
ベクトルからの簡単なアルゴリズムによって計算する。
【０００９】本発明は図1のインターリーブ形態あるい
はパターンに関して詳細に議論され、ここで「X」はベ
クトルが奇数フィールドで計算されるブロックを示し、
−方、「0」はベクトルが偶数フィールドで計算される
ブロックを示している。明らかに、これらは逆にするこ
とができ、あるいは例えば図2に示されるような完全に
別の形態が使用できる。この時点で図1の形態を議論す
る理由は、シミュレーションによると、システムの全体
の映像表示品質がこの特定のパターンに対して実効的に
不変であるからである。さらに、図2の形態の欠損動き
ベクトル（missing motion vector）の補間は飛越しさ
れたテレビジョン信号の順次走査変換（progressive sc
an conversion）の問題に非常に類似している。順次走
査変換の既知の多くの技術はこのようにここでも容易に
適用でき、従って図2のシステムの一層の議論は必要と
されない。
はパターンに関して詳細に議論され、ここで「X」はベ
クトルが奇数フィールドで計算されるブロックを示し、
−方、「0」はベクトルが偶数フィールドで計算される
ブロックを示している。明らかに、これらは逆にするこ
とができ、あるいは例えば図2に示されるような完全に
別の形態が使用できる。この時点で図1の形態を議論す
る理由は、シミュレーションによると、システムの全体
の映像表示品質がこの特定のパターンに対して実効的に
不変であるからである。さらに、図2の形態の欠損動き
ベクトル（missing motion vector）の補間は飛越しさ
れたテレビジョン信号の順次走査変換（progressive sc
an conversion）の問題に非常に類似している。順次走
査変換の既知の多くの技術はこのようにここでも容易に
適用でき、従って図2のシステムの一層の議論は必要と
されない。
【００１０】図1に戻ると、好ましい実施例において、
ベクトルはどんなベクトルも以下の基準に基づいて、計
算されなかったブロックに割り当てられている。x成分
およびy成分は少なくとも2つの隣接ブロックの対応成分
と、前のフィールドの同じブロックの対応成分との中央
値（median value）を選択することにより別々に決定で
きる。以下の議論に対して、図3を参照すべきであり、
ここで動きベクトルのx成分とy成分とが見いだされるブ
ロックHの近傍で文字が各ブロックに割り当てられてい
る。図4、図6および図7の遅延はブロック遅延に対して
t、1ブロックフィールド遅延に対してT、そして1ブロッ
ク遅延ラインに対してTLとマークされている。水平方向
に直接隣接している2つのブロックEおよびKを用いる中
央値補間により欠損ベクトルを導出するために、図4に
例示された遅延ハードウェアが使用できる。補間が動き
ベクトルのx成分に対して行われるならば、端子10に供
給された信号は計算されたブロックEおよびKのx成分で
ある。
ベクトルはどんなベクトルも以下の基準に基づいて、計
算されなかったブロックに割り当てられている。x成分
およびy成分は少なくとも2つの隣接ブロックの対応成分
と、前のフィールドの同じブロックの対応成分との中央
値（median value）を選択することにより別々に決定で
きる。以下の議論に対して、図3を参照すべきであり、
ここで動きベクトルのx成分とy成分とが見いだされるブ
ロックHの近傍で文字が各ブロックに割り当てられてい
る。図4、図6および図7の遅延はブロック遅延に対して
t、1ブロックフィールド遅延に対してT、そして1ブロッ
ク遅延ラインに対してTLとマークされている。水平方向
に直接隣接している2つのブロックEおよびKを用いる中
央値補間により欠損ベクトルを導出するために、図4に
例示された遅延ハードウェアが使用できる。補間が動き
ベクトルのx成分に対して行われるならば、端子10に供
給された信号は計算されたブロックEおよびKのx成分で
ある。
【００１１】到来成分をK動きベクトルのx成分と仮定す
ると、Kは出力端子11で得られる利用できる。１ブロッ
ク遅延段14と1ブロックフィールド遅延段16とに接続さ
れている1ブロック遅延段12には、入力端子10が接続さ
れている。遅延段14の出力側に接続された第2出力端子1
3には、ブロックEに関連する動きベクトルのｘ成分が存
在し、一方、ブロックフィールド遅延16の出力端子15に
は、前のフィールドのHベクトルのｘ成分が得られる。
前のフィールドのHベクトルはH（−1）により示されて
いる。これらの値は図5に示されたように比較器20，2
2，24に印加できる。各比較器の符号出力（sign outpu
t）はその出力がマルチプレクサ（MUX）28を制御するル
ックアップテーブル（LUT）26に印加されている。ルッ
クアップテーブル26の出力側に得られる制御信号に従っ
て、マルチプレクサ28はE、K、およびH（−1）の間で中
央値を選択する。これはマルチプレクサ28の出力でRと
して示されている。この値のみが図3のブロックHに関連
する動きベクトルのx成分として使用できる。図4に示さ
れた所と同様の回路はy成分の導出に使用できる。
ると、Kは出力端子11で得られる利用できる。１ブロッ
ク遅延段14と1ブロックフィールド遅延段16とに接続さ
れている1ブロック遅延段12には、入力端子10が接続さ
れている。遅延段14の出力側に接続された第2出力端子1
3には、ブロックEに関連する動きベクトルのｘ成分が存
在し、一方、ブロックフィールド遅延16の出力端子15に
は、前のフィールドのHベクトルのｘ成分が得られる。
前のフィールドのHベクトルはH（−1）により示されて
いる。これらの値は図5に示されたように比較器20，2
2，24に印加できる。各比較器の符号出力（sign outpu
t）はその出力がマルチプレクサ（MUX）28を制御するル
ックアップテーブル（LUT）26に印加されている。ルッ
クアップテーブル26の出力側に得られる制御信号に従っ
て、マルチプレクサ28はE、K、およびH（−1）の間で中
央値を選択する。これはマルチプレクサ28の出力でRと
して示されている。この値のみが図3のブロックHに関連
する動きベクトルのx成分として使用できる。図4に示さ
れた所と同様の回路はy成分の導出に使用できる。
【００１２】或は又、ブロックHに割り当てるべき動き
ベクトルのx成分およびy成分は垂直隣接ブロックIおよ
びGの対応成分ならびに前のフィールドのブロックHに割
り当てられたベクトル成分の値から導出することができ
る。関連する遅延構造は図6に例示されている。動きベ
クトルのｘ成分（あるいはy成分）を端子60に受信す
る。特定の時間瞬時にブロックIに対応する動きベクト
ル成分が受信されるものとすると、1ブロックライン遅
延62プラス1ブロックフィールド遅延64の後で、先行フ
ィールドのブロックHに割り当てられたベクトル値が得
られる。最後に、ブロックGに関連した動きベクトル成
分は1ブロックライン遅延66の出力側に得られる。ブロ
ックIおよびGに関連した動きベクトルの値が図5のブロ
ックEおよびKにより示された値に代入される場合には、
マルチプレクサ（MUX）28の出力RはブロックHに関連し
た動きベクトルのx成分（あるいはy成分）の別の評価と
なる。図4に例示された補間形態あるいは図6に例示され
た補間形態のいずれかが使用できる。
ベクトルのx成分およびy成分は垂直隣接ブロックIおよ
びGの対応成分ならびに前のフィールドのブロックHに割
り当てられたベクトル成分の値から導出することができ
る。関連する遅延構造は図6に例示されている。動きベ
クトルのｘ成分（あるいはy成分）を端子60に受信す
る。特定の時間瞬時にブロックIに対応する動きベクト
ル成分が受信されるものとすると、1ブロックライン遅
延62プラス1ブロックフィールド遅延64の後で、先行フ
ィールドのブロックHに割り当てられたベクトル値が得
られる。最後に、ブロックGに関連した動きベクトル成
分は1ブロックライン遅延66の出力側に得られる。ブロ
ックIおよびGに関連した動きベクトルの値が図5のブロ
ックEおよびKにより示された値に代入される場合には、
マルチプレクサ（MUX）28の出力RはブロックHに関連し
た動きベクトルのx成分（あるいはy成分）の別の評価と
なる。図4に例示された補間形態あるいは図6に例示され
た補間形態のいずれかが使用できる。
【００１３】図4および図6にそれぞれ示されるように水
平補間形態あるいは垂直補間形態のいずれかを任意に選
択する代わりに、垂直補間あるいは水平補間の間でベク
トルフィールドの変化に基づいて判定が行われる場合に
は、更に映像を改善することができる。例えば、2つの
隣接ブロックに対して計算されたベクトル間の差が最小
となる方向に中央値を取ることができる。その差が垂直
方向に大きい場合には、水平補間を行うとともにその逆
も行われる。
平補間形態あるいは垂直補間形態のいずれかを任意に選
択する代わりに、垂直補間あるいは水平補間の間でベク
トルフィールドの変化に基づいて判定が行われる場合に
は、更に映像を改善することができる。例えば、2つの
隣接ブロックに対して計算されたベクトル間の差が最小
となる方向に中央値を取ることができる。その差が垂直
方向に大きい場合には、水平補間を行うとともにその逆
も行われる。
【００１４】しかし、図5の完全な回路を使用すること
により最良の結果が得られた。この目的で、図4および
図6に例示された遅延は図7に示すように組合せることが
できる。ここで、x成分あるいはy成分のいずれかの動き
ベクトル成分は端子40で受信される。このxおよびy成分
は遅延段42で1ブロックライン・マイナス・1ブロックの
遅延を受ける。遅延段42の出力はブロックKに関連した
ベクトルである。遅延段44で更に１ブロック遅延した
後、動きベクトル成分の信号はブロックライン遅延段46
に印加され、従ってその出力側にブロックGに関連した
動きベクトルを発生する。遅延段44の出力は追加のブロ
ック遅延段48にさらに印加され、従ってその出力はブロ
ックEに関連した動きベクトルを生じる。最後に、遅延
ブロック44の出力はブロックフィールド遅延段50に印加
され、その出力は前のフィールドのHブロックに関連し
た動きベクトルとなる。
により最良の結果が得られた。この目的で、図4および
図6に例示された遅延は図7に示すように組合せることが
できる。ここで、x成分あるいはy成分のいずれかの動き
ベクトル成分は端子40で受信される。このxおよびy成分
は遅延段42で1ブロックライン・マイナス・1ブロックの
遅延を受ける。遅延段42の出力はブロックKに関連した
ベクトルである。遅延段44で更に１ブロック遅延した
後、動きベクトル成分の信号はブロックライン遅延段46
に印加され、従ってその出力側にブロックGに関連した
動きベクトルを発生する。遅延段44の出力は追加のブロ
ック遅延段48にさらに印加され、従ってその出力はブロ
ックEに関連した動きベクトルを生じる。最後に、遅延
ブロック44の出力はブロックフィールド遅延段50に印加
され、その出力は前のフィールドのHブロックに関連し
た動きベクトルとなる。
【００１５】上述のすべての信号、すなわち動きベクト
ル成分は図5に対応して設計された端子に印加される。
ブロックE、KおよびH（−1）に関連した動きベクトルは
前に述べたように比較器20，22，24に印加される。ブロ
ックGおよびIに関連した動きベクトルは再び図5に示す
ように比較器30，32，34に印加される。比較器32および
34の第2入力はマルチプレクサ28の出力信号R、すなわち
x方向の補間により見いだされた中央値である。比較器3
0，32，34の出力側のこれらの符号信号は、第2ルックア
ップテーブル36に印加し、これによりマルチプレクサ38
を制御してブロックG，I，Rの中央値を出力する。この
最後の実施例において、現在のフィールドのブロックH
のベクトル値は4つの近傍ブロックE，K，G，Iのベクト
ル値と、ブロックHに位置する前のフィールドのベクト
ルとからこのように計算された。本発明のこの最後の実
施例の図7および図5の回路は2回、即ち、一回はベクト
ルのx成分に対して、そしてもう一回はベクトルのy成分
に対して必要である。その上、動きベクトルの計算され
た値および補間された値はマルチプレクサにより直接
に、あるいはメモリからの読み取りによりインターリー
ブする必要がある。
ル成分は図5に対応して設計された端子に印加される。
ブロックE、KおよびH（−1）に関連した動きベクトルは
前に述べたように比較器20，22，24に印加される。ブロ
ックGおよびIに関連した動きベクトルは再び図5に示す
ように比較器30，32，34に印加される。比較器32および
34の第2入力はマルチプレクサ28の出力信号R、すなわち
x方向の補間により見いだされた中央値である。比較器3
0，32，34の出力側のこれらの符号信号は、第2ルックア
ップテーブル36に印加し、これによりマルチプレクサ38
を制御してブロックG，I，Rの中央値を出力する。この
最後の実施例において、現在のフィールドのブロックH
のベクトル値は4つの近傍ブロックE，K，G，Iのベクト
ル値と、ブロックHに位置する前のフィールドのベクト
ルとからこのように計算された。本発明のこの最後の実
施例の図7および図5の回路は2回、即ち、一回はベクト
ルのx成分に対して、そしてもう一回はベクトルのy成分
に対して必要である。その上、動きベクトルの計算され
た値および補間された値はマルチプレクサにより直接
に、あるいはメモリからの読み取りによりインターリー
ブする必要がある。
【００１６】上述した所から、本発明の上記の態様は動
きベクトルが導出できる特定のアルゴリズムとは全く無
関係であり、かつ選択されたブロックだけの動きベクト
ルを計算すること、および計算された動きベクトルを有
するブロックから導出された値から残りのブロックの動
きベクトルを補間することは多くの異なる手法で実現で
きることは明らかであり、それは当業者にとって明白で
あろう。好適な動き評価方法を以下に議論する。
きベクトルが導出できる特定のアルゴリズムとは全く無
関係であり、かつ選択されたブロックだけの動きベクト
ルを計算すること、および計算された動きベクトルを有
するブロックから導出された値から残りのブロックの動
きベクトルを補間することは多くの異なる手法で実現で
きることは明らかであり、それは当業者にとって明白で
あろう。好適な動き評価方法を以下に議論する。
【００１７】ブロック整合動き評価アルゴリズムに必要
な処理能力はブロック中の画素の数とともにほば直線的
に増大する。前文で述べられた論文の再帰的動き評価ア
ルゴリズムにおいては、ベクトルはブロック中の画素に
よって決まるのみならず、近傍のブロックによっても決
まるため、サブサンプリングの感度は著しく高くはない
ように見える。これは主観テスト（subjective test）
により検証され、かつ多数のテストシーケンスの補間フ
ィールドと原始フィールド（original field）との間の
平均二乗画素差の計算により検証された。平均二乗誤差
（MSE：Mean Square Error）に及ぼすサブサンプリング
の影響は表1から分かるようにサブサンプリングファク
タ4まで小さい。
な処理能力はブロック中の画素の数とともにほば直線的
に増大する。前文で述べられた論文の再帰的動き評価ア
ルゴリズムにおいては、ベクトルはブロック中の画素に
よって決まるのみならず、近傍のブロックによっても決
まるため、サブサンプリングの感度は著しく高くはない
ように見える。これは主観テスト（subjective test）
により検証され、かつ多数のテストシーケンスの補間フ
ィールドと原始フィールド（original field）との間の
平均二乗画素差の計算により検証された。平均二乗誤差
（MSE：Mean Square Error）に及ぼすサブサンプリング
の影響は表1から分かるようにサブサンプリングファク
タ4まで小さい。
【００１８】 表1：整合誤差（MSE）に及ぼすサブサンプリングファクタ（S）の効果 S 2 4 6 8 MSE O％ 1％ 4％ 6％
【００１９】これらの実験から2つの結論が導かれた。 （1）サブサンプルパターンはブロックの最大可能な区
域をカバーさせる必要がある。 （2）画素の均一分布が最良であるようにみえる（中央
部で稠密にサンプリングされたサブサンプルパターンが
テストされたが、しかし均一分布より悪い結果が生じた
ように見えた）。
域をカバーさせる必要がある。 （2）画素の均一分布が最良であるようにみえる（中央
部で稠密にサンプリングされたサブサンプルパターンが
テストされたが、しかし均一分布より悪い結果が生じた
ように見えた）。
【００２０】カバーされた区域はブロック中の画素の数
よりも一層に重要であるように見えるから、画素の密度
はさらに低減され、一方、同時にブロック区域は拡大さ
れた（ブロックの画素の量は同じままである）。テスト
された1つのサブサンプルパターンは16画素×4ラインの
大きさを有するブロックをカバーするが、各ラインは5
点形（quincunx）サブサンプルパターンの4サンプルの
みを含んでいる。16画素×4ラインのこのブロックに対
して計算されたベクトルは8画素×4ラインのブロックに
割り当てられた。整合が計算されるブロックはベクトル
が割り当てられるブロックより広く、それは情報がファ
クタ4でサブサンプルでき、従って先行フィールドのサ
ンプルを供給するフィールド遅延の大きさは同じファク
タ4で低減できることを意味している。
よりも一層に重要であるように見えるから、画素の密度
はさらに低減され、一方、同時にブロック区域は拡大さ
れた（ブロックの画素の量は同じままである）。テスト
された1つのサブサンプルパターンは16画素×4ラインの
大きさを有するブロックをカバーするが、各ラインは5
点形（quincunx）サブサンプルパターンの4サンプルの
みを含んでいる。16画素×4ラインのこのブロックに対
して計算されたベクトルは8画素×4ラインのブロックに
割り当てられた。整合が計算されるブロックはベクトル
が割り当てられるブロックより広く、それは情報がファ
クタ4でサブサンプルでき、従って先行フィールドのサ
ンプルを供給するフィールド遅延の大きさは同じファク
タ4で低減できることを意味している。
【００２１】ハードウェアの利点の外に、この画素サブ
サンプリングとブロック拡大技術は品質を増大したよう
に見える。即ち、低い密度を持つ拡大ブロック（16画
素）のMSEはサブサンプリング（32画素）を行わない正
規の（8×4）ブロックのものより低い。
サンプリングとブロック拡大技術は品質を増大したよう
に見える。即ち、低い密度を持つ拡大ブロック（16画
素）のMSEはサブサンプリング（32画素）を行わない正
規の（8×4）ブロックのものより低い。
【００２２】前述のこの画素サブサンプリングおよびブ
ロックサブサンプリングを組合せる場合には、画素への
アクセスは一度以上必要とすることなく、この多重アク
セスはさらに複雑なハードウェアを必要とするから魅力
的ではない。
ロックサブサンプリングを組合せる場合には、画素への
アクセスは一度以上必要とすることなく、この多重アク
セスはさらに複雑なハードウェアを必要とするから魅力
的ではない。
【００２３】さらに、画素サブサンプリングおよびブロ
ックサブサンプリングの組合せにより得られた結果がサ
ブサンプルされた拡大ブロック（16×4，16画素）によ
り得られ、かつブロックサブサンプリングがない結果よ
り良いことも検証された。
ックサブサンプリングの組合せにより得られた結果がサ
ブサンプルされた拡大ブロック（16×4，16画素）によ
り得られ、かつブロックサブサンプリングがない結果よ
り良いことも検証された。
【図１】 図1は動きベクトルが表示端で補間されるよ
うに動きベクトルが計算されるインターリーブブロック
の第1パターンを例示している。
うに動きベクトルが計算されるインターリーブブロック
の第1パターンを例示している。
【図２】 図2は図1の別のパターンを例示している。
【図３】 図3は図1の1区分の拡大図である。
【図４】 図4は水平方向の成分補間の遅延構造のブロ
ック線図である。
ック線図である。
【図５】 図5は中央値動きベクトル成分計算回路のブ
ロック線図である。
ロック線図である。
【図６】 図6は垂直方向の成分補間の遅延構造のブロ
ック線図である。
ック線図である。
【図７】 図7は縦続接続された水平・垂直成分補間の
遅延構造のブロック線図である。
遅延構造のブロック線図である。
10 入力端子 11（第1）出力端子 12 1ブロック遅延 13 （第2）出力端子 14 1ブロック遅延あるいは遅延段 15 （第3）端子 16 1ブロックフィールド遅延 20 比較器 22 比較器 24 比較器 26 （第1）ルックアップテーブル（LUT） 28 マルチプレクサ（MUX） 30 比較器 32 比較器 34 比較器 36 （第2）ルックアップテーブル（LUT） 38 マルチプレクサ（MUX） 40 端子 42 遅延段 44 遅延段あるいは遅延ブロック 46 ブロックライン遅延段 48 ブロック遅延段 50 ブロックフィールド遅延段 60 端子 62 1ブロックライン遅延段 64 1ブロックフィールド遅延段 66 1ブロックライン遅延段
───────────────────────────────────────────────────── フロントページの続き (73)特許権者 590000248 Ｇｒｏｅｎｅｗｏｕｄｓｅｗｅｇ １, 5621 ＢＡ Ｅｉｎｄｈｏｖｅｎ， Ｔ ｈｅ Ｎｅｔｈｅｒｌａｎｄｓ (72)発明者 ヘンドリク ヒュエイヘン オランダ国 5621 ベーアー アインド ーフェン フルーネバウツウェッハ１ (56)参考文献 特開 平１−265684（ＪＰ，Ａ) 特開 平３−217185（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) H04N 7/24 - 7/68
Claims (8)
- 【請求項１】 テレビジョン映像をともに構成する複数
の映像ブロックの各々の動きベクトルを決定する装置に
おいて、 映像ブロック（X,O）の選択された映像ブロックの（X）
に対してのみ第１動きベクトルを計算する第1手段（4
0）を備え、これにより選択された映像ブロック（X）を
残りのブロック（O）によりインターリーブし、ここで
前記第１動きベクトルは前記選択された映像ブロック
（X）をカバーするサブサンプルされたブロックに基づ
いて計算されるとともにサブサンプルされたブロックの
サンプリング密度は前記映像ブロックと比較して減少さ
せ、前記サンプリングされたブロックの大きさが映像ブ
ロックの大きさを越えるようにし、 かつ、前記選択ブロック（X）の第１動きベクトルに基
づいて残りのブロック（O）の第２動きベクトルを補間
する第2手段（42-50,20-38）を備えること、 を特徴とする動きベクトル決定装置。 - 【請求項２】 映像ブロック（X,O）のうちの選択され
た映像ブロック（X）を各フィールドの各ラインに沿っ
た一つおきのブロックとすることを特徴とする請求項1
に記載の動きベクトル決定装置。 - 【請求項３】 各フィールドの一つおきのラインが相互
に対して1ブロックラインオフセットを有することを特
徴とする請求項2に記載の動きベクトル決定装置。 - 【請求項４】 第2手段（42-50,20-38）が残りのブロッ
ク（O）の第２動きベクトルのXおよびY成分を個別に計
算する手段を備えることを特徴とする請求項1に記載の
動きベクトル決定装置。 - 【請求項５】 残りのブロック（O）の各々に対して、
前記第2手段（42-50,20-38）によって、2つの隣接ブロ
ック(X)の関連する第１動きベクトル成分（I,G;K,E）
と、前のフィールドの同じ位置を占める選択された映像
ブロック（O）の第１動きベクトル成分（H(-1)）の各々
の中央値動きベクトル成分を計算することを特徴とする
請求項1に記載の動きベクトル決定装置。 - 【請求項６】 テレビジョン映像をともに構成する複数
の映像ブロック（X,O）の各々の動きベクトルを決定す
る方法において、 映像ブロック（X,O）の選択された映像ブロック(X)に対
してのみ第１動きベクトルを計算するステップを備え、
これにより選択された映像ブロック（X）を残りの映像
ブロック（O）によりインターリーブし、ここで前記第
１動きベクトルは前記選択された映像ブロック（X）を
カバーするサンプリングされたブロックに基づいて計算
するとともにサブサンプリングされたブロックのサンプ
リング密度を前記映像ブロックと比較して減少させ、且
つ前記サブサンプリングされたブロックの大きさが映像
ブロックの大きさを越えるようにし、 更に、残りの映像ブロック（O）に対する第２動きベク
トルが選択されたブロック（X）の計算された動きベク
トルから補間するステップを備えることを特徴とする動
きベクトル決定方法。 - 【請求項７】 第２動きベクトルの補間は、同じフィー
ルドの隣接ブロック（X）の計算された第１動きベクト
ル成分（I,G;K,E）と、前のフィールドからの計算され
た第１動きベクトル成分（H(-1)）との中央値を見出す
ステップを具えることを特徴とする請求項6に記載の動
きベクトル決定方法。 - 【請求項８】 前記選択された映像ブロック（X）の数
をこの映像の映像ブロック（X,O）の総数よりも実質的
に少なくすることを特徴とする請求項6に記載の動きベ
クトル決定方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP90202298 | 1990-08-28 | ||
| NL90202298.7 | 1990-08-28 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH04234283A JPH04234283A (ja) | 1992-08-21 |
| JP3130585B2 true JP3130585B2 (ja) | 2001-01-31 |
Family
ID=8205103
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP03221145A Expired - Lifetime JP3130585B2 (ja) | 1990-08-28 | 1991-08-07 | 動き評価ハードウェアとビデオシステムのデータ伝送容量要求を低減する方法と装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US5386248A (ja) |
| JP (1) | JP3130585B2 (ja) |
| DE (1) | DE69116036T2 (ja) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0799658A (ja) * | 1993-08-03 | 1995-04-11 | Sony Corp | 動きベクトル検出装置 |
| US5689305A (en) * | 1994-05-24 | 1997-11-18 | Kabushiki Kaisha Toshiba | System for deinterlacing digitally compressed video and method |
| FR2725577B1 (fr) * | 1994-10-10 | 1996-11-29 | Thomson Consumer Electronics | Procede de codage ou de decodage de vecteurs mouvement et dispositif de codage ou de decodage mettant en oeuvre ledit procede |
| KR0151922B1 (ko) * | 1995-12-12 | 1998-10-15 | 양승택 | 필드 및 프레임 움직임 추정 장치 |
| US6614845B1 (en) * | 1996-12-24 | 2003-09-02 | Verizon Laboratories Inc. | Method and apparatus for differential macroblock coding for intra-frame data in video conferencing systems |
| US6285711B1 (en) * | 1998-05-20 | 2001-09-04 | Sharp Laboratories Of America, Inc. | Block matching-based method for estimating motion fields and global affine motion parameters in digital video sequences |
| US6750900B1 (en) | 1998-07-23 | 2004-06-15 | Eastman Kodak Company | Method and apparatus for computing motion tracking parameters |
| US20020187351A1 (en) * | 2001-03-14 | 2002-12-12 | Borschel Volker Karl Ottmar | Powder coated rotor |
| DE10236207A1 (de) * | 2002-08-07 | 2004-02-26 | Micronas Gmbh | Verfahren zur bewegungsvektorgestützten Interpolation eines Bildpunktes eines Zwischenbildes einer Bildfolge |
| CN1323376C (zh) * | 2002-08-28 | 2007-06-27 | 联发科技股份有限公司 | 以编码信息为基础的运动自适应循序扫描装置及方法 |
| ATE349860T1 (de) * | 2003-05-02 | 2007-01-15 | Koninkl Philips Electronics Nv | Vorausgerichtete bewegungsvektorinterpolation zur reduzierung von videoartefakten |
| US7620254B2 (en) * | 2003-08-07 | 2009-11-17 | Trident Microsystems (Far East) Ltd. | Apparatus and method for motion-vector-aided interpolation of a pixel of an intermediate image of an image sequence |
| US9225994B2 (en) * | 2005-03-14 | 2015-12-29 | British Telecommunications Public Limited Company | Global motion estimation using reduced frame lines |
| US8519928B2 (en) * | 2006-06-22 | 2013-08-27 | Entropic Communications, Inc. | Method and system for frame insertion in a digital display system |
| WO2011122659A1 (ja) * | 2010-03-30 | 2011-10-06 | シャープ株式会社 | 符号化装置および復号装置 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS4929718A (ja) * | 1972-07-19 | 1974-03-16 | ||
| FI76902C (fi) * | 1982-07-23 | 1988-12-12 | British Telecomm | Oeverfoeringssystem foer bilddata. |
| US4727422A (en) * | 1985-06-03 | 1988-02-23 | Picturetel Corporation | Method and apparatus for efficiently communicating image sequence having improved motion compensation |
| EP0263112B1 (en) * | 1986-03-19 | 1992-06-03 | British Broadcasting Corporation | Video signal processing for bandwidth reduction |
| US4838685A (en) * | 1987-04-03 | 1989-06-13 | Massachusetts Institute Of Technology | Methods and apparatus for motion estimation in motion picture processing |
| GB8724789D0 (en) * | 1987-10-19 | 1987-11-25 | British Telecomm | Signal coding |
| FR2630842B1 (fr) * | 1988-04-29 | 1994-04-08 | Labo Electronique Physique Appli | Dispositif pour interpoler des images par estimation et compensation de mouvement et systeme convertisseur de standards de television constitue a partir d'un tel dispositif |
-
1991
- 1991-07-31 DE DE69116036T patent/DE69116036T2/de not_active Expired - Lifetime
- 1991-08-07 JP JP03221145A patent/JP3130585B2/ja not_active Expired - Lifetime
-
1993
- 1993-11-01 US US08/146,468 patent/US5386248A/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH04234283A (ja) | 1992-08-21 |
| DE69116036T2 (de) | 1996-08-01 |
| DE69116036D1 (de) | 1996-02-15 |
| US5386248A (en) | 1995-01-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3130585B2 (ja) | 動き評価ハードウェアとビデオシステムのデータ伝送容量要求を低減する方法と装置 | |
| US6331874B1 (en) | Motion compensated de-interlacing | |
| EP0613304B1 (en) | Half-pixel interpolation for a motion compensated digital video system | |
| EP0549681B1 (en) | Video image processing | |
| JP3352099B2 (ja) | 画像信号処理方法及び装置 | |
| US5526053A (en) | Motion compensated video signal processing | |
| JPS63313979A (ja) | ディジタルテレビジョン画像の動きを補償した補間方法 | |
| KR19990028653A (ko) | 멀티포맷스캔전환장치 | |
| US4862260A (en) | Motion vector processing in television images | |
| JP3245417B2 (ja) | ビデオ信号の画素に対する運動ベクトルの割当て方法および装置 | |
| US5485224A (en) | Motion compensated video signal processing by interpolation of correlation surfaces and apparatus for doing the same | |
| EP1430725B1 (en) | Image processor and image display apparatus provided with such image processor | |
| JPH1070679A (ja) | フィルムモード互換性のためのフレーム補間方法 | |
| US5442409A (en) | Motion vector generation using interleaved subsets of correlation surface values | |
| JP3469626B2 (ja) | 動き補償ビデオ信号処理装置及びビデオ信号処理方法 | |
| JP2782766B2 (ja) | 動画静止画変換方法 | |
| JP4140091B2 (ja) | 画像情報変換装置および画像情報変換方法 | |
| JPH06326980A (ja) | 動き補償映像信号処理方式 | |
| EP0474272B1 (en) | Method and apparatus for reducing motion estimator hardware and data transmission capacity requirements in video systems | |
| JP3192698B2 (ja) | 動きベクトル評価装置 | |
| US20030160895A1 (en) | Adaptive median filters for de-interlacing | |
| JP3480015B2 (ja) | 画像データの生成装置および生成方法 | |
| JPH08317347A (ja) | 画像情報変換装置 | |
| JP2950140B2 (ja) | Ｍｕｓｅデコーダ動き補正回路 | |
| JP2770300B2 (ja) | 画像信号処理処置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071117 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081117 Year of fee payment: 8 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081117 Year of fee payment: 8 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091117 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091117 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101117 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101117 Year of fee payment: 10 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101117 Year of fee payment: 10 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111117 Year of fee payment: 11 |
|
| EXPY | Cancellation because of completion of term | ||
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111117 Year of fee payment: 11 |