JPH05219499A - 動きベクトル推定、動画符号化および蓄積方法 - Google Patents

動きベクトル推定、動画符号化および蓄積方法

Info

Publication number
JPH05219499A
JPH05219499A JP4261932A JP26193292A JPH05219499A JP H05219499 A JPH05219499 A JP H05219499A JP 4261932 A JP4261932 A JP 4261932A JP 26193292 A JP26193292 A JP 26193292A JP H05219499 A JPH05219499 A JP H05219499A
Authority
JP
Japan
Prior art keywords
block
vector
frame
given
motion vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP4261932A
Other languages
English (en)
Inventor
Derek Andrew
アンドリュー デレク
Octavius J Morris
ジョン モリス オクタビウス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Philips Gloeilampenfabrieken NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from GB919120739A external-priority patent/GB9120739D0/en
Priority claimed from GB929217742A external-priority patent/GB9217742D0/en
Application filed by Philips Gloeilampenfabrieken NV filed Critical Philips Gloeilampenfabrieken NV
Publication of JPH05219499A publication Critical patent/JPH05219499A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G06T7/238—Analysis of motion using block-matching using non-full search, e.g. three-step search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/567—Motion estimation based on rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)

Abstract

(57)【要約】 【目的】 並列処理を用いて、プログラマブルなハード
ウエアで改善された動きベクトルを高速に推定すること
を目的とする。 【構成】 ディジタル化された動画シーケンスのフレー
ム（P3）の符号化において、フレームは画素のブロック
（Ａ）に分割され、かつ動きベクトル（VA）は先行フレ
ーム（IO）のブロック（Ａ′）から各ブロック（Ａ）の
内容を予測する。最良動きベクトル（VA）見いだす数千
の候補ベクトルを推定するよりも、同じフレームの近傍
ブロック（LB (Ａ) ）の推定された動きベクトルである
開始ベクトルに基づいて、相対的に僅かな候補ベクトル
が推定される。いくつかの画素ブロックの並列処理を許
容するために、現行フレームの１つの行のすべてのブロ
ックが１つのプロセッサ（DSP ）に割り当てられ、かつ
開始ベクトルが同じプロセッサにより先行して処理され
たブロック（LB (Ａ) ）から得られる。

Description

【発明の詳細な説明】
【０００１】
【技術分野】本発明は、ディジタル化された動画シーケ
ンスのフレーム中の画素ブロックの動きベクトルを推定
する方法であって、該方法が、各所与の画素のブロック
に対して、所与の画素ブロックの空間および／または時
間の近傍にある画素ブロックの以前に推定されたベクト
ルから導かれた少なくとも１つの開始ベクトル（starti
ng vector)の周りでベクトル検索の実行を具える方法に
関連している。
【０００２】
【背景技術】動きベクトル推定技術は画像情報の時間冗
長度を低減することにより動画データ圧縮の改善に使用
でき、それは既知の差分符号化と変換符号化技術が静止
画像データ圧縮の空間冗長度を除去するのと類似の態様
で行われる。
【０００３】国際標準化機構（ＩＳＯ）は委員会草案標
準（Committee Draft Standard）ISO 11172 を発行し、
それはMPEG規格として良く知られた技術であり、MPEGは
動きベクトルを含む、圧縮動画データの符号化の形式を
規定している。MPEG符号化標準の概観は、「MPEG」のデ
ィー・ル・ガル（D. Le Gall）の「MPEG：多重媒体適用
に対するビデオ圧縮標準（MPEG：A Video Compression
Standard for Multimedia Applications）、ACM 委員会
（Comm. of the ACM）、第34巻、第４号、1991年４月に
よって与えられている。MPEG符号化は毎秒1.2 メガビッ
トのデータストリームから完全な動画ビデオの再生を許
容し、それはコンパクトディスク（CD-R0M）に蓄積され
たMPEGデータからのビデオの再生に十分低い速度であ
り、あるいは同様な帯域幅の他のいくつかのデータチャ
ネルを介して受信された。
【０００４】MPEG規格はフレームを16×16画素のブロッ
クに分割し、かつｘ（水平）およびｙ（垂直）次元の±
64画素領域の各動きベクトルを半画素精度で割り当てる
ことにより動き圧縮を与えている。これは図１の図面を
参照して詳細に説明されよう。MPEG規格はいかにして動
きベクトルが得られるか規定せず、しかにしてそれらが
表されるかのみを規定する。許容された領域の最も正確
な動きベクトルの完全な検索は、現行の画素ブロックと
16000 個にわたる候補画素ブロック（candidate pixel
blocks）を完全画素精度（integger pixel precision）
で比較することを含むであろう。専用ハードウエアをこ
の課題に備えることができるが、しかしそのようなハー
ドウエアの一般能力に先行して使用できるソフトウエア
による実現もまた必要とされ、そしてそれはベクトル検
索と符号化戦略の他の態様の改善を調査する柔軟性もま
た提供する。
【０００５】冒頭のパラグラフで述べられた方法は、ジ
ー・デ・ハーン（G. de Haan）とエッチ・フイゲン（H.
Huijgen）の論文、「TV画像品質を増大する動き評価器
（Motion estimator for TV-pickture enhancemen
t）」、HDTVに関する第４回国際ワークショップ（Fourt
h International Workshop on HDTV)に提出、チューリ
ン（Turin)、1991年９月に述べられている。その方法は
専用ハードウエアでの実現と実時間操作で展開され、か
つ相対的に僅かな候補ブロックの評価を含んでいる。こ
の方法は、動画シーケンスで移動する対象形態が（一般
的にそうであるように）僅かな画素ブロックよりも大き
い場合に、近傍ブロックの動きベクトルの間に高い程度
の相関が存在するという事実を利用している。このよう
に、近傍ブロックで推定されたベクトルの間から開始ベ
クトルの注意深い選択により、かつ開始ベクトルから予
測された候補ベクトルの選択により、良好な品質の運動
の推定が相対的に少ない候補ブロック比較により達成で
きる。一方、既知の技術は、完全な検索よりも迅速な結
果を生成するためにソフトウエアで実現でき、高速プロ
グラマブルディジタル信号プロセッサチップ（DSP:digi
tal signal processor）を使用しても、符号化プロセス
がなお不便なほどゆっくりしていることさえある。
【０００６】速度を増大する可能性は並列に動作する数
個のDSP （各々は各フレームのブロックのサブセットを
処理する）を具える利用可能なハードウエアシステムの
使用が理論的に存在する。不幸にして、この速度増大は
デ・ハーンとフイゲンの方法で実現可能ではない。とい
うのは、所与のブロックを処理する所与のDSP は、所与
のブロックの開始ベクトルが利用可能になる前に他のDS
P が近傍ブロツクを処理する間に待機しなければならな
いからである。
【０００７】
【発明の開示】本発明の目的は例えばより高速な結果を
を達成するために並列処理の使用を許容するよう、プロ
グラマブルハードウエアを使用して改善された動きベク
トル推定を実行できることである。
【０００８】本発明は、第１の態様で冒頭のパラグラフ
で述べられた方法を備え、それは各フレームの動きベク
トルの推定がフレームの画素ブロックの少なくとも２つ
の順序付けられたサブセット（ordered subset）に対し
て並列に実行され、サブセットへの画素ブロックの分割
と順序付けおよび近傍画素ブロック（neighbouring pix
el block）の選択が、その推定されたベクトルが所与の
ブロックの予測に使用されている近傍ブロックが所与の
ブロックと同じフレームから選択される場合に、上記の
近傍ブロックが所与のブロックと同じ１つのサブセット
であり、かつ所与のブロックに先行するようサブセット
で順序付けられて実行されることを特徴としている。こ
のようにして、他のサブセットのブロツクの処理からの
結果を待機すること無く、各サブセットは全速力で処理
できる。
【０００９】各サブセットが一行の画素ブロックを具
え、プロセッサが所定のシーケンスの行の画素ブロック
の動きベクトルを推定し、各行の第１ブロックを無視し
て、所与の各ブロックの動きベクトルが、上記のシーケ
ンスの所与のブロックに先行するブロックを推定する動
きベクトルからプロセッサにより予測される。行は水平
もしくは垂直であってもよいが、しかし検索に対する水
平バイアスは、水平運動が典型的な動画シーケンスで優
勢であるから有利であろう。一組のＮ個のプロセッサは
影像フレームのブロックの各ｎ番目の行をそれぞれ取る
ことができる。代案として、各プロセッサは、画素ブロ
ックの行を完了すると何時でも次の処理されない行を取
ることができる。もちろん他の多くの配列も可能であ
る。
【００１０】この方法の好ましい実施例において、所与
の各画素ブロックに対して、動きベクトルの少なくとも
１つの別の予測は動画シーケンスの近傍フレームの画素
ブロックを推定する動きベクトルに基づいている。この
手段により、開始ベクトルは所与のブロックを効率的に
取り巻く近傍ブロックから選ぶことができ、それは対象
が広い範囲の方向から所与のブロックにわたって移動す
る場合に、推定された動きベクトルの精度を改善する。
【００１１】フレーム、ブロックあるいは画素に関連し
てここで使用された「近傍（neighbouring）」と「先行
（preceding)」なる述語は厳密に近接したフレーム、ブ
ロックあるいは画素のみを参照して解釈できないことを
当業者は評価しよう。例えば、MPEG符号化実施例におい
て、「近傍」フレームはバッチサイズＭと同じ程度の大
きさの多数のフレーム間隔により少なくとも分離されよ
う。
【００１２】特定の実施例において、各サブセットの第
１ブロックを無視して、所与の各画素ブロックの予測
は、− 所与のブロックと同じサブセットの上記の先行
ブロック、および− 所与のブロックと同じサブセット
の上記の先行ブロックにより、所与のブロックを一般に
取り巻く３角分布を規定するよう、所与のブロックに対
して空間位置を占有する近傍フレームの２つのブロッ
ク、に対して先行して推定された動きベクトルに基づい
ている。
【００１３】少なくとも１つの開始ベクトルに基づく動
きベクトルの予測において、例えば、所与のブロックと
先行フレームのブロックとの間の整合が、開始ベクトル
の周りに分布された５から10個の候補ベクトルのアレイ
に対して測定されよう。特に候補ベクトルは多分水平バ
イアスにより、開始ベクトルの僅かな画素内に分布さ
れ、かつ開始ベクトルそれ自身を含むであろう。
【００１４】既知の方法ならびに上述の本発明を実現す
る方法において、開始ベクトルの良好な組は利用可能で
はなく、かつ多分単一の省略開始ベクトル（single def
aultstarting vector）のみが所与のブロックで利用可
能である。そのような場合は画素データのフレームの縁
部で生起し、かつまた、シーケンスの第１予測フレーム
が例えば情景変化（scene change）を後続する場合に生
起する。たとえそのような場合が少数であっても、全ベ
クトル検索はなお禁止的に時間を消費するであろう。
【００１５】従って、第２の態様において、開始ベクト
ルの周りの複数の候補ベクトルの評価を実行することに
より、ディジタル化動画シーケンスのフレームの画素の
所与のブロックの動きベクトルを推定する方法におい
て、候補ベクトルが開始ベクトルを取り巻き、かつ開始
ベクトルから一般に増大する距離の順序付けられたシリ
ーズで評価されることを本発明は与えている。候補ベク
トルの順序付けられたシリーズは例えば開始ベクトルの
周りに螺旋を形成しよう。候補ベクトルによりカバーさ
れた領域は例えば全検索に要求されるよりも小さい程度
の大きさであろうが、しかし、もし近傍ブロックで推定
されたベクトルが開始ベクトルとして使用されるなら、
常に移動対象が僅かなブロックよりも大きいことを仮定
して、このプロセスは僅かなブロック内で正確な動きベ
クトルに収束しよう。
【００１６】さらに、候補ベクトルの順序付けは、最良
候補ベクトルがシーケンスの後よりもむしろ早く生起し
ようとするであろうし、かつ一度最良候補、あるいは少
なくとも「十分良好な（good enough ）」候補が見いだ
されると、候補ベクトルの評価を終了するように候補ベ
クトルを評価する場合に、種々のチェックは実現でき
る。
【００１７】本発明の別の目的は、動き補償された影像
データストリームによって符号化された動画品質を一般
に改善することである。
【００１８】第３の態様において、本発明はディジタル
化された動画シーケンスのフレームの所与の画素ブロッ
クの動きベクトルを推定する方法を与え、推定されたそ
のベクトルは動画シーケンスを符号化するデータストリ
ームで符号化され、該方法は、− 評価のための一組の
候補ベクトルを発生し、− 各候補ベクトルにより与え
られた予測の品質を評価し、かつ− 候補ベクトルの１
つを選択する上記の評価結果と動画シーケンスを符号化
するデータストリームで符号化する推定ベクトルとを比
較すること、を具え、ここで、推定された動きベクトル
の符号化を要求されたデータの量が、推定された動きベ
クトルの値に依存し、かつ候補ベクトルの間からの推定
されたベクトルの選択が各候補により与えられた予測の
品質に依存するのみならず、もし候補ベクトルの別の１
つが少ないデータで符号化でき、一方、最高予測品質の
所定のしきい値内にある予測品質を与えることが決定さ
れるなら、選択された候補ベクトルが予測の最高品質を
与えるものでないように、データストリームの各候補を
符号化するよう要求されたデータの量にも依存する。
【００１９】本発明のこの第３の態様は、限定されたデ
ータ速度でビットストリーム内で符号化された動画の品
質全体の改善を可能にする。もし品質しきい値が適当に
設定されるなら、選択された動きベクトルのさらに経済
的な符号化によりフリーにされたビットストリーム容量
は画像シーケンスの他の部分の符号化品質を改善するよ
う使用でき、それはたとえいくつかのフリーにされた容
量が所与のブロックの最良予測を全く与えない動きベク
トルの選択から生じる増大されたエラー情報を必要とし
てもそうである。もちろん、その第３態様での本発明の
使用は本発明の他の態様との任意の組合せに限定されな
い。
【００２０】特別の実例として、MPEG符号化標準はその
動きベクトルとして零ベクトルを有する符号化ブロック
に特別な形式を与える。ある状況において、零ベクトル
は全く符号化される必要はない。ある種の画像シーケン
スにおいて、例えば漫画アニメーション（cartoon anim
ation ）シーケンスを含んで６ｌ、通常の符号器が例え
ば一様な青空を表す多数のブロックの「最良」動きベク
トルを符号化しようと試みる場合に著しい量のビットス
トリーム容量が「浪費（wasted）」されることが見いだ
された。そのようなブロックに対して、フレームからフ
レームにわたる変化のみが単純に色づけされた領域に重
畳されたランダムノイズのみを事実具えている。これら
のシーケンスに対して、符号器がランダムノイズ動き情
報を無視するのに十分高く品質しきい値が設定されてい
る場合に、本発明はその第３の態様で、ビットストリー
ム容量の大きい節約となり得、従って全画像品質の大き
な改善となり得ることが見いだされている。
【００２１】本発明はさらに、動きベクトル推定の実
行、および動画シーケンスの符号化と蓄積の方法と装置
を与える。これらのかつ別の有利な技術と特徴は本発明
の特定の実施例の以下の記述で当業者に明らかであろ
う。
【００２２】添付図面を参照し、実例により、本発明の
実施例を説明する。
【００２３】
【実施例】これから説明する実施例は、上に引用された
MPEG符号器規格に従って蓄積および再生するディジタル
化されたビデオ影像を符号化する。この規格内で、圧縮
符号化の多くの層と、より大きい影像品質および／また
は圧縮を与える改良された符号化戦略の柔軟性が存在
し、かつこの説明は標準では規定されていない動きベク
トル推定の方法の改善に主として関連している。MPEG符
号化システムの詳細に関して、MPEG規格あるいはル・ガ
ルの論文（その双方は上に引用されている）を参照でき
る。
【００２４】図１は符号化すべき動画シーケンスの一部
分を形成する画素データの５個のフレームIO, B1, B2,
P3, B4, P5のシーケンスの動きベクトル推定のある種の
ステップを例示している。MPEGは程度の異なる動き補償
圧縮を持つ３つのタイプのフレームを規定している。シ
ーケンスはそれ自身のみを参照して符号化され、かつ近
傍フレームからのどんな情報にもよらないＩタイプフレ
ーム（画像内：intrapickture)IOで始まる。シーケンス
はＢタイプ（双方向予測された：bidirectional predic
ted)フレームとＰタイプフレーム（予測された：predic
ted)を含めて、予測されたフレームの「バッチ（batch
）」を構成している。
【００２５】バッチサイズＭは典型的には１フレームか
ら４フレームにわたって変化でき、かつ各バッチはＰフ
レームを後続する（Ｍ−１）個のＢフレーム具えてい
る。このように図１のシーケンス例では、フレームB1,
B2, P3はＭ＝３フレームのバッチを形成し、一方、フレ
ームB4とP5はＭ＝２の第２バッチを形成している。Ｍ＝
１のバッチが単一Ｐタイプフレームを具えていることは
明らかであろう。図１の底部の矢印は、各Ｐフレームが
先行ＩフレームあるいはＰフレームから「順方向予測さ
れた：forward predicted ）」ものであるべきであり、
一方、各Ｂフレームはいずれかの側でのＩフレームおよ
び／またはＰフレームから順方向予測あるいは逆方向予
測（backward predicted）されたものの双方であること
を示している。
【００２６】動き補償予測の原理をフレームP3の順方向
予測を参照して簡単に説明しよう。予測すべき各フレー
ムはフレームP3のブロックＡにより（拡大してスケール
で）表された16×16画素のブロックのアレイに分割され
る。シーケンスの開始フレームもしくは基準フレームIO
を符号化すると、ブロックＡは直接符号化されず、むし
ろ動きベクトルVAが符号化され、それはブロックＡが基
準フレームIOの16×16画素ブロックＡ′と同じであるこ
とを予測する。データ圧縮はそれにより時間冗長度低減
で達成される。２つのブロックＡとＡ′とが一般に正確
には同じでないから、差分（予測エラー）は８×８画素
の小さいブロックに作用する離散余弦変換技術（DCT ）
による空間冗長度低減でもまた符号化される。
【００２７】このように、MPEG符号器に対面する第１の
問題は、現行フレームP3の各ブロックの動きベクトル推
定について、現行ブロックＡに最良に整合する基準フレ
ーム（IO）のブロックＡ′をいかにして識別するか、す
なわち、いかにして最良動きベクトルVAを識別するかと
いうことである。MPEGは動きベクトルがそれぞれｘ（水
平画素次元）とｙ（垂直画素次元）の限定された領域を
取ることを許容し、そこでは、最近の規格でこれらの領
域RxとRyは双方とも±64画素である。このことは図１に
示された限定された順方向検索領域FSA を創成し、ここ
では最良整合ブロックＡ′を位置するが、しかしこの領
域の全検索さえ数千の候補ブロックの評価を必要とす
る。各候補ブロックに対して、16×16＝256 画素比較が
行われるべきであり、かつ（例えば）累積された二乗画
素差（squared pixel difference）は候補ブロックの整
合の測定により平均二乗差値に到達している。全検索が
多分専用ハードウエアで可能であるが、既に利用可能な
処理ハードウエアを使用して、ソフトウエアで動き補償
影像符号化を実現することが上述の概説で述べられたよ
うに現在望まれている。
【００２８】MPEG符号化フィールド外で、上に引用され
たデ・ハーンとフイゲンは動きベクトル推定法を拡張
し、それは（ｉ）近傍ブロックの動きベクトルの間に一
般に相関が存在し、かつ（ii）もしも動きベクトルフィ
ールドが正確であるよりむしろ平滑なら本質的な影像品
質が最良に維持できるという観察に基づいて、相対的に
僅かな候補ブロックの整合を測定する。換言すれば、も
しも推定された動きベクトルがフレーム内でブロックか
らブロックにわたって非常に僅かしか変化しないよう制
限されるのみなら、本質的な画像品質に大きな損失は存
在しない。このように、大きな検索領域FSA 内では、わ
ずかな候補ベクトルだけが整合に使用され、かつこれら
の候補ベクトルは空間的および／または時間的に、現行
ブロックの近傍のブロックを以前に推定した開始ベクト
ルに基づいている。
【００２９】デ・ハーンとフイゲンの技術が、全検索に
よる検索よりも数倍早く動作するソフトウエアによる実
現に適用できても、これは高性能プロセッサによっても
なお数千倍の実時間を要する。本発明はマサチューセッ
ツ州、ボストンのアンドロックス（ANDROX) から得られ
るアンドロツクスICS-400 影像プロセッサボードのよう
な、並列ディジタル信号プロセッサチップ（DSP ）シス
テムを期待しており、そして図２にブロック形で例示さ
れている。
【００３０】図２のシステムはDSP0からDSP3と規定され
た４個のプロセッサを収容する回路ボードを具え、それ
はVME バスインターフェースユニット200 を介してホス
トコンピュータシステムにより制御できる。このボード
は便宜的かつ周知の開発環境を備える例えばサンマイク
ロシステム（Sun Microsystems）あるいは類似のワーク
ステーションタイプのコンピュータ内に収容できる。VM
E インターフェースは高速バス202 に接続され、それを
通してDSP システムにより処理されたすべての情報が流
れる。バスコントローラ204 はそのような動作を管理す
るよう備えられている。メモリ206 は符号化されている
ビデオデータフレームの蓄積のためにバスに接続されて
いる。
【００３１】各プロセッサDSP0−3 は一対のキャッシュ
メモリCM0 とCM1 によりバス202 に接続されている。各
キャッシュメモリCM0 あるいはCM1 は検索領域FSA の画
素値およびブロックの動きベクトルの推定に必要な他の
データと共に、16×16画素値の現行ブロックを実際に保
持でき、たとえこの目的で候補ベクトルの領域（Rx,R
y）が現在の実施例で（±48, ±48）に限定されていて
もそうである。動作上、ペアーの１つのキャッシュが一
時DSP に接続され、一方、他のキャッシュはバス202 を
介して処理するデータをアンロードかつリロードでき
る。このようなやり方で、フレッシュデータの一定の供
給は各DSP を全時間動作するよう保持するのに利用可能
である。さらに各DSP は一対のプログラムメモリPM0 と
PM1 を有している。メモリPM0 はDSP のプログラムを蓄
積するために使用され、一方、メモリPM1 は一時的な値
といくつかのブロックに共通なデータとを蓄積するため
に使用される。
【００３２】図３はいかにしてMPEG符号化の課題が本実
施例で分割されたかを簡単にブロック形式で示してい
る。Ｍ個のフレーム（プラス基準フレーム）のバッチの
原始画素データはIMINで受信され、かつ第１モジュール
INTVは専ら原始画素データを使用して全バッチ（例えば
フレームB1, B2, P3）の完全精度で動きベクトルの検索
を実行する。この第１モジュールのみが本発明の理解の
ために詳細に説明する必要があるが、しかし残りのモジ
ュールは次のように簡単に説明されよう。４個のモジュ
ール、HLFV/MDEC/FDCT, Q/RLC, RLC, RLD/DEQ およびID
CT/RECは符号化プロセスの主ループを形成している。モ
ジュールHLFV/MDEC/FDCTは完全動きベクトルを受信し、
かつ予測されたブロックと結果の予測エラーとを計算
し、モード決定を行いかつMPEG公開勧告に従う順方向DC
T 圧縮を実行する。このプロセスにおいて、動きベクト
ルは半画素精度に「微細調整（fine tuned）」される。
【００３３】モジュールQ/RLC はDCT 情報を量子化しか
つランレングス符号化し、かつ最終MPEGビットストリー
ムを発生するモジュールBITS/REGにこれらを渡す。モジ
ュールBITS/REGは所望の値（典型的には1.2 メガビット
／秒）に出力ビット速度を維持するよう量子器モジュー
ルに規則的フィードバックを与える。主ループに戻る
と、モジュールRLD ／DEQ およびIDCT/RECは実際に符号
化された画素データを再構成し、それはモジュールHLFV
/MDEC/FDCTがモジュール精度を補正し、最良半画素ベク
トルを位置する等々を許容するためにフィードバックさ
れる。最後に、モジュールDIS は原始画像あるいは再構
成画像の表示を許容する。
【００３４】これらのモジュールの実現において、４個
のDSP の並列システムは、もしすべての４個のDSP が常
にビジーなら単一DSP にわたって処理能力を４倍増大す
ることができる。この目的で、アンドロックス（ANDRO
X）システムは各DSP を独立に動作するよう駆動を中断
されるが、しかしこのことはモジュールINTVのベクトル
推定の既知の方法の実現に問題を創成する。というの
は、近傍ブロックのベクトルから開始ベクトルを予測す
る必要があるからである。もし近傍ブロックが異なるDS
P に割り当てられ、かつ特に推定がいくつかのブロック
に対して別のものより短い時間を取るなら、何時DSP3に
よりなお計算すべき開始ベクトルをDSP2が必要とする時
間があろう。このために、並列処理の大部分の能力は未
利用のままであろう。
【００３５】図４はいかにしてフレームのブロックが上
記の問題の解決の一部分として順序付けられたサブセッ
トに分割できるかを示している。こま実施例において、
ブロックはその水平行に分割され、かつすべての行のブ
ロックは単一DSP により左から右の順序で処理される。
例示された特定の実施例では、４番目の各行は図面に顕
著に示されたDSP0に関連する行で、同じDSP により処理
される。CM0 キャッシュとCM1 キャッシュの交互使用と
共に、別々のブロックはどのブロックがどのキャッシュ
で処理されるかを例示するため別々に陰影を施されてい
る。水平行のブロックを処理することは、水平運動が優
勢な最も自然な影像シーケンスに対して好ましい。どう
してブロックが垂直行（列）で、対角行で、あるいは他
のシーケンスで処理すべきでないかの理由は原理的には
存在しない。
【００３６】いかにしてモジュールINTVが完全動きベク
トル（integer motion vector ）を推定するか、すなわ
ち最初に図１のブロックＡにより表されたフレームB1,
B2,P3の第１バッチのブロックに対して、次にフレームP
SのブロックＢにより表された引き続くバッチのブロッ
クに対して推定するかが説明されよう。２つの交互ベク
トル検索戦略は、現行フレームに使用されている基準フ
レーム（ＩタイプあるいはＰタイプ）ががそれ自身予測
された動きを有しているかどうかに依存して、これから
説明する実現法で具体化される。ここで注意すべきこと
であるが、Ｉフレームはシーケンスに「エントリー点」
を与えるためにシーケンスでしばしば符号化され、たと
えこれらのフレームが動き予測できてもそうであり、そ
のようなフレームに対して、たとえベクトルがMPEGビッ
トストリームで符号化されなくても、第２の検索戦略の
使用を可能にするため動きベクトルを見いだすことは事
実有利である。双方の戦略は、一組の候補ベクトルを発
生し、基準フレーム内で候補画素ブロックの対応する組
を指摘する検索に良好な開始ベクトルの選択のみによっ
ている。
【００３７】図４の枠組に従って、ブロックＡのベクト
ル検索を参照すると、ブロックＡを含むブロックの行は
DSP3によりすべて左から右の順序で処理される。このよ
うに、現行フレームP3の現行ブロックＡのすぐ左のブロ
ックLB (Ａ) はDSP3により既に処理され、かつこのよう
にして、推定された動きベクトルは基準フレームIOのい
くつかのブロックからブロックLB (Ａ) を予測するよう
利用可能であろう。このベクトルは、フレームIOのブロ
ックＡ′からブロックＡを予測する動きベクトルの検索
の基礎となる１つの開始ベクトルとして使用できる。ど
んな動きベクトルも基準フレームIO、あるいはフレーム
B1およびB2に対して見いだされないという仮定により、
限定された領域検索戦略は図５により例示されたように
フレームP3のブロックに使用される。
【００３８】図５は螺旋検索パターンを示し、それは完
全画素格子上で、水平方向（Δｘ）に±15画素、垂直方
向（Δｙ）に±８画素に延在している。この水平バイア
スは、上にも述べたように水平運動が典型的な動画シー
ケンスで優勢であるという事実の認識で与えられてい
る。関連DSP のプログラムメモリPM1 は、オフセット
（０，０）で「＋」により示された開始ベクトルに対し
て一組の候補ベクトル「ｏ」を規定するオフセットペア
ー（Δｘ，Δｙ）の順序付けられたリストを含んでい
る。候補ベクトル「ｏ」のシーケンスは、（Δｘ，Δ
ｙ）＝（±15，±８）まで検索領域を充たすため、
「＋」の開始ベクトルから一般に外向きに螺旋を描いて
いる。このようなやり方で、たとえ単一開始ベクトルで
あっても、527 個の候補ベクトル「ｏ」が規定される。
各候補ベクトルは予測を希望されている現行ブロックＡ
と比較すへき基準フレームIOの候補ブロックを順次識別
する。
【００３９】従って、予測すべきフレームP3のブロック
の４番目の行の各ブロックに対して、DSP は開始ベクト
ルを識別しなければならない。行の第１ブロックに対し
て、零ベクトル（０，０）は省略開始ベクトル（defaul
t starting vector ）として使用されるが、しかしその
後で現行ブロックの左でブロックLB (Ａ) に対して丁度
推定されたベクトルは開始ベクトルとして使用される。
このことは、たいていの場合にベクトルフィールドの近
傍ベクトルの間に高い程度のコヒーレンスが存在するた
めに重要な利益をもたらす。開始ベクトル「＋」を識別
すると、オフセットの蓄積シーケンスは螺旋シーケンス
で527 個の候補ベクトル「ｏ」を発生するために使用で
きる。
【００４０】各候補ベクトル「ｏ」に対して、フレーム
P3の現行ブロックＡは、その空間位置（ｘ，ｙ）が現行
ブロックの原点の空間位置（ｘ，ｙ）に対して候補ベク
トルにより与えられている基準フレームIOと比較され
る。この比較は最良の整合候補ブロックが識別されるま
で、平均二乗差（あるいはブロック間の類似性の程度を
測定する他の値）を累積して、原理的に256 個のすべて
の画素に対して画素毎に実行される。しかし、候補ブロ
ックは累積差がこれまで試みられた最良候補ブロックに
対して見いだされた差を越えるや否や棄却でき、時間の
かなりの節約となることが注意されよう、最良に対する
累積二乗差のチェックがDSP 時間の少なくとも１サイク
ルを一般に占有するから、各画素の後でそのようなチェ
ックを行うことは全整合処理をスローダウンしよう。良
好な妥協は、累積二乗差がブロックの16画素の各行の終
わりでのみ最良のものに対してチェックされる実施例で
見いだされる。
【００４１】可能な動きベクトル領域FSA （図１）の数
パーチントのみがこの螺旋検索パターンにより探査され
るが、推定されたベクトルは画像の縁部の数ブロック内
の真の動きベクトルまで収束することが見いだされる。
動きベクトルの不正確さは符号化されかつ表示される場
合に影像の対応ブロックの品質を直接に低減しないこと
が注意されよう。むしろ、不正確な動き補償はMPEG符号
化プロセスの次の段階、すなわちDCT による空間冗長度
低減により達成できる圧縮の程度を単に低減するだけで
ある。
【００４２】たとえ領域FSA （図１）の全検索に含まれ
た候補ブロックの数よりずっと少なくても、現行フレー
ムのブロック当たりの527 個の候補ブロックはなお重い
計算上の課題を持っている。しかし螺旋状に候補を順序
付けることは、動きベクトルが１つのブロックから次の
ブロックにわたって一般にコヒーレントであるという仮
定に基づいて、潜在的節約をもたらしている。このコヒ
ーレンス性のために、開始ベクトルはしばしば現行ブロ
ックの所望の動きベクトルに近く選ばれよう。開始ベク
トルからの距離に従って候補を順序付けることは、最良
整合候補ブロックが527 個の候補のシーケンスの後より
もむしろ早く見いだされよう。
【００４３】それが現れるや否や最良候補を検出するよ
う設計された一組の試験条件をプログラムするDSP と組
み合わせて、検索は相対的に僅かな候補ブロックが現行
ブロックと比較された後で平均として終了できる。１つ
のそのような条件は累積された平均二乗差のしきい値の
設定である。このしきい値（それはとりわけ画素データ
のノイズを許容する）以下では、ブロックは「完全」整
合と判断され、かつ螺旋検索は終了される。このよう
に、例えば、候補ベクトル「ｏ」の発生と評価は図５に
例示されたように開始ベクトル プラス オフセット
（Δｘ，Δｙ）＝（３，−２）に対応する「完全な」整
合候補ブロックの発見で終了しよう。この点まで、48個
の候補ブロックのみが比較された。
【００４４】図５で（Δｘ，Δｙ）＝（３，−２）で表
された最良完全候補ベクトル「０」の位置の周りで、９
個のクロス「ｘ」は図３を参照して上に述べられたモジ
ュールHLFV/MDEC/FDCTにより半画素精度で探査される９
個の候補ベクトルを示している。
【００４５】明らかに、候補の順序はDSP プログラムメ
モリPM1 に蓄積されたオフセット（Δｘ，Δｙ）のリス
トを補正することにより簡単に補正できる。オフセット
Δｘ，Δｙの範囲は所望により拡張あるいは縮小でき、
かつ円形あるいは楕円螺旋形あるいは他のシーケンスは
実現でき、図５の四角な螺旋あるいは打ち切られた螺旋
（truncated spiral）にわたっていくつかの改善を提供
する。
【００４６】図６と図７はブロックＢにより表されたフ
レームPSのブロックの例により、印加すべき第２ベクト
ル検索戦略を例示している。フレームP5に使用すべき戦
略は図５を参照して上に述べられた制限された領域検索
戦略よりもずっと僅かな候補ブロックを比較する。この
第２戦略はその少なくとも１つが現行ブロックの動きベ
クトルの良好な予測であるべき僅かな開始ベクトルの選
択に主として依存している。ベクトルフィールドが正確
であるよりもより良く平滑であるという規則と結合し
て、これらの僅かな候補さえ「良好」で極めて迅速な動
きベクトル推定を許容することを見いだされている。
【００４７】図１に戻ると、単一DSP への画素ブロック
の全行の順序付けられた割り付けのために、現行ブロッ
クＢのすぐ左のブロックLB (Ｂ) は既に処理されたと再
び知られる。従ってブロックLB (Ｂ) の丁度推定された
ベクトルは１つの開始ベクトルとして使用できる。不幸
にして、現行フレームP5の別のどの近傍ブロックもこの
時点で処理されたと知られていない。従って実現された
戦略は、処理されたと知られている近傍ブロック、すな
わち現行基準フレーム（先行ＰフレームP3）のような近
傍フレームの近傍ブロックを期待することである。
【００４８】代表的なブロックＢに対して、２個のブロ
ックUR (Ｂ) とDR (Ｂ) がフレームP3で陰影を施され、
これらはブロックＢのそれぞれ上から右、下から右の近
傍で空間的に対角的であり、ならびに現行ブロックＢ
（フレームP5）の時間的近傍である。２個の近傍ブロッ
クはブロックＢの動きベクトルの推定に使用するさらに
２個の開始ベクトルを与える。
【００４９】そのような開始ベクトルは近傍ブロックに
対して推定されたベクトルのスケールされた変形である
必要があろう。例えば、フレームIOのブロックＡ′から
フレームP3のブロックＡを予測するベクトルVAは３つの
フレーム間隔（Ｍ＝３）の期間にわたるいくつかの影像
形態の動きを表し、一方、フレームP3のブロックＢ′
（示されていない）からフレームP5のブロックＢを予測
するベクトルは２つのフレーム間隔のみをわたる動きを
表している。このように、ブロックUR (Ｂ) に対して以
前に推定されたベクトルは、ブロックＢのベクトル推定
の良好な開始ベクトルを得るために係数２／３だけスケ
ールされなければならない等々である。もしＢフレーム
のブロックで見いだされた逆方向予測ベクトルは開始ベ
クトルとして推定あるいは使用され、負のスケーリング
もまた必要とされよう。
【００５０】図６Ａは現行ブロックの周りの選ばれた近
傍ブロックにより形成されたパターンを示し、それは同
じフレームの空間的近傍にあるブロック（ｔ＝Ｔ）と、
双方とも空間的および時間的近傍にあるブロック（ｔ≠
Ｔ）とを区別するために別々にハッチされている。選ば
れた近傍ブロックは分布に対する僅かな水平バイアスに
より、現行ブロックの周りに三角形を一般に形成してい
る。水平バイアスはたいていの自然動画シーケンスで水
平運動が優勢であるという事実を認識している。現行ブ
ロックの左と右に近傍ブロックを選ぶことは、現行ブロ
ックの中に移動する対象が左あるいは右から来る場合
に、少なくとも１つの開始ベクトルが適当であることの
保証を助ける。
【００５１】図６Ｂは３個の開始ベクトルを生じるため
の近傍ブロックの別のパターンを示し、そして図６Ｂは
水平バイアス無しに４個の開始ベクトルを生じるパター
ンを示している。常に図６では、現行ブロックの左のブ
ロックLBは現行フレーム（ｔ＝Ｔ）にある。もちろん他
のパターンも当業者によって既に認識でき、その各々は
動画内容に依存してそれ自身の利点と欠点を有し、かつ
そのパターンは各DSPのプログラムメモリPM0, PM1の内
容の変更によって変化できる。図６Ａのパターンは画像
シーケンスの領域に対して本実施例で最も満足されてい
るものと見いだされている。もちろん、なお異なるパタ
ーンはDSP へのブロックの割り付けが図４とは異なる所
で要求されよう。ブロックの行は画像にわたって垂直あ
るいは対角的にさえ走行し、あるいはサブセットは理由
があれば繰り込み（convoluted）および／またはインタ
ーリーブできるであろう（ここで開示された原理はなお
適用てきる）。
【００５２】現行ブロックＡに対して３個の開始ベクト
ルを得ると、本実施例のDSP はこれら３個の開始ベクト
ルに基づく21個までの候補ベクトルの群を整合するブロ
ックを評価する。
【００５３】図７はいかにして円「ｏ」によりマークさ
れた７個の候補ベクトルが「＋」とマークされた開始ベ
クトルに対してオフセット（Δｘ，ΔＹ）の所定のパタ
ーンにより規定されているかを示している。７個の候補
のパターン「ｏ」は開始ベクトル「＋」それ自身を含
み、かつ人間環境で水平な動きの優勢を認識する水平バ
イアスを再び有している。３個の開始ベクトルの各々に
７個のオフセットのこのパターンを適用することによ
り、一組の21個の候補ベクトルが得られる。しかし、時
間の掛かるブロック整合計算が実行される前に、候補の
組が合法的な領域外の二重化と候補を除去するためにチ
ェックされる。
【００５４】一度最良の整合候補ベクトル「ｏ」が見い
だされると、図７の最も右の候補ベクトル「ｏ」の周り
で「ｘ」とマークされた９個の半画素候補ベクトルによ
り、再び最後の比較がモジュールHLFV/NDEC/FDCT（図
３）で実行される。これは半画素精度で評価され、かつ
再構成された画素データを用いて導かれた現行ブロック
の最終符号化動きベクトルとなる。
【００５５】領域FSA （図１）の全検索に必要な数千と
いう数の代わりにせいぜい21個の候補ベクトルの評価は
著しい時間節約を達成するが、しかし現行ブロックで推
定されたベクトルが事実最も正確なものでないという欠
点を持っていることは読者にとって明白であろう。しか
しこの方法による符号化の後で復号された影像の本質的
品質は良好なものである。というのは、デ・ハーンとフ
イゲンによる上述の観察により、ファイルされた動きベ
クトルは厳密に正確であるよりはむしろ特に平滑に変化
すべきである。さらに、影像内で動く対象が寸法的に多
画素ブロックである場合に、ゆっくり変化するベクトル
フィールドは対象になった後で数ブロック内でもっとも
正確なベクトルに収束しよう。
【００５６】図１もまた補間されたフレームB4ならびに
基準フレームP3に対して動きベクトルが既に推定された
という仮定に基づいて、いかにして別の４個の可能な開
始ベクトルが図１の点線により陰影が施されたフレーム
B4のブロックの近傍のURとDRに対して推定された順方向
および逆方向ベクトルをスケーリングすることにより得
られるかを示している。このように、全体で６個までの
開始ベクトルが先行ブロックLB (Ｂ) を推定するベクト
ルに加えて利用可能である。別の４個あるいは８個の開
始ベクトルが３個あるいは４個のフレームのバッチの最
終フレームに利用可能である。これらの開始ベクトルの
各々のに対する一組の７個の候補ベクトルを評価するよ
りも、本実施例は最良整合候補ブロックを与える開始ベ
クトルの周りの候補セットを形成する前に、事実開始ベ
クトルそれ自身のみをまず評価する。このように、例え
ば、図７のパターンによる候補セットは、ブロックLB
(Ｂ) 、フレームP3からのブロックUR (Ｂ) に対して推
定されたベクトル、およびフレームB4のDRブロックに対
する逆方向予測ベクトル（またがる異なる時間間隔を考
慮して必要に応じてすべてスケールされて）に基づいて
形成できる。
【００５７】実際には、Ｍ個のフレームの各バッチのベ
クトル検索は図１の下部の湾曲した矢印により丸で囲ま
れた数により示された順序で実行される。この順序を採
用することにより、かつ適当なスケーリングにより、補
間されたフレームB1とB2の近傍ブロックの純方向および
逆方向予測ベクトルは、フレームP3の動きベクトルを推
定する場合に候補開始ベクトルとしてすべて利用可能で
ある。同様に、フレームB1の順方向ベクトルはスケール
でき、かつフレームB2の順方向ベクトル検索の開始ベク
トルとして使用できる。
【００５８】MPEG符号化プロセスの残りは、MPEG規格と
ル・ガルの論文に記載されたように、画像品質とデータ
圧縮との間の所望の妥協を達成するために、バッチサイ
ズＭと量子化スケーリングのような多くのパラメータの
変動を含んでいる。これらの態様は本記述の範囲と目的
の外であるが、しかし上述の動き推定方法を含む動画シ
ーケンスの完全なMPEG符号化がサン・ワークステーショ
ンに搭載されたアンドロックスの４個のDSP を使用して
90回の実時間動作のみで達成できることが見いだされて
いる。このように、既に利用可能な小型システムを使用
して、数分の完運動ビデオはCD-ROM上のメモリあるいは
類似のオーバーナイトに基づいて符号化できる。
【００５９】符号化機構が他のものより符号化にさらに
経済的であるいくつかのベクトル値となる場合に、上記
の戦略の一層の補正が作成できる。MPEG符号化形式の特
殊な例において、動きベクトルは、短いベクトルが僅か
なビットしか必要としないように、可変長符号によりMP
EGビットストリームで符号化される。このように、２個
の候補ベクトルが殆ど等しい整合品質を有する場合、補
正された戦略は符号化に僅かなビットしか必要としない
ベクトルを好むであろう。このことは所与のブロックを
符号化するより少ないエラー情報しか必要としないが、
しかし影像が品質を全く改善して符号化されることを許
容する符号化データの総合的節約がしばしば存在しよ
う。
【００６０】動きベクトルに対するMPEG可変長符号の特
殊な形態は、零偏位ΔｘとΔｙがただ１つのビットでお
のおの符号化できることである。さらに、少なくともＰ
タイプフレームにおいて、零動き（Δｘ＝Δｙ＝０）を
有するブロックは全く動き情報無しで符号化できる。こ
れはMPEGビットストリームの「マクロブロックタイプ
（macroblock type ）」の適当な可変長符号により信号
送出される。このように、１つのフレームから次のフレ
ームへの零動きを有する符号化ブロックのデータの大き
な経済性が存在する。このように、候補ベクトルの評価
が零ベクトルに好ましく補正される場合、また得られた
整合品質が最良候補の整合品質の僅かに下にあるだけで
ある場合に全改善は得ることができる。
【００６１】もちろん、いくつかのシーケンスにおい
て、零ベクトルは希に最良候補の間にあろう。しかし、
例えばアニメートされた漫画のようなあるタイプの動画
シーケンスは実質的に零動きの多数のブロックを含んで
いることが注意されよう、さらに、これらのブロックの
大部分は例えば青空のような色の一様な領域を具えてい
る。通常の動き補償技術はそれにもかかわらず、フレー
ムからフレームに「移動する」ある種の雑音情報を含む
という理由でのみ、これらのブロックの動きベクトルを
推定しかつ符号化する。これらのシーケンスを符号化す
るため、著しい品質改善は本発明の第３態様の使用で得
られることが見いだされ、もし雑音レベルが低いなら、
零ベクトルは整合品質が相対的に狭いしきい値内で同じ
である大多数の候補ベクトルの丁度１つであろう。
【００６２】この開示から、さらに別の修正も当業者に
とって明らかであろう。そのような修正はそれ自身既知
であり、かつここに既に記載された特徴の代わりに、あ
るいはそれに付加して使用できる別の修正を含んでいて
もよい。たとえ特許請求の範囲（クレーム）がこの出願
では特徴の特定の組合せについて形式化されていても、
本出願の開示の範囲が明示的にせよ、暗示的にせよ、あ
るいは当業者に明らかなその任意の一般化ないし修正の
いずれかでここに開示された新奇な特徴あるいはその新
しい組合せを含み、それが任意のクレームで現在請求さ
れた同じ発明に関連しているかどうか、あるいはそれが
本発明と同じ技術的問題のいくつかないしそのすべてを
軽減するかどうかにかかわらずそうであることを理解す
べきである。出願人は本出願あるいはそれから導かれる
別の出願の実施の間にそのような特徴および／またはそ
のような特徴の組合せに新しいクレームを形式化する権
利を保有していることを注意する。
【図面の簡単な説明】
【図１】図１はMPEG符号化システムの動きベクトル推定
の問題を例示している。
【図２】図２は本発明を具体化する実現方法に適した並
列DSP システムをブロック形で示している。
【図３】図３は本発明による図２のシステムの動作を例
示している。
【図４】図４は本発明を具体化する方法で、４個のDSP
間に画素ブロックの順序付けられたサブセットを割り付
けることを例示している。
【図５】図５は第１の検索戦略による一組の候補ベクト
ルの発生を例示している。
【図６】図６は開始ベクトルの選択の３つの代案パター
ンを示している。
【図７】図７は第２の検索戦略による開始ベクトルから
の一組の候補ベクトルの発生を例示している。
【符号の説明】
200 VME インターフェースユニット 202 高速バス 204 バスコントローラ 206 メモリ
フロントページの続き (72)発明者 オクタビウス ジョン モリス イギリス国 サリー レッドヒル マラー ド クローズ ７

Claims (17)

    【特許請求の範囲】
  1. 【請求項１】 ディジタル化された動画シーケンスのフ
    レーム中の画素ブロックの動きベクトルを推定する方法
    であって、該方法が、各所与の画素のブロックに対し
    て、所与の画素ブロックの空間および／または時間の近
    傍にある画素ブロックの以前に推定されたベクトルから
    導かれた少なくとも１つの開始ベクトルの周りでベクト
    ル検索の実行を具える方法において、 各フレームの動きベクトルの推定がフレームの画素ブロ
    ックの少なくとも２つの順序付けられたサブセットに対
    して並列に実行され、サブセットへの画素ブロックの分
    割と順序付けおよび近傍画素ブロックの選択が、その推
    定されたベクトルが所与のブロックの予測に使用されて
    いる近傍ブロックが所与のブロックと同じフレームから
    選択される場合に、上記の近傍ブロックが所与のブロッ
    クと同じ１つのサブセットであり、かつ所与のブロック
    に先行するようサブセットで順序付けられて実行される
    ことを特徴とする方法。
  2. 【請求項２】 各サブセットが一行の画素ブロックを具
    え、プロセッサが所定のシーケンスの行の画素ブロック
    の動きベクトルを推定し、各行の第１ブロックを無視し
    て、所与の各ブロックの動きベクトルが、上記のシーケ
    ンスの所与のブロックに先行するブロックを推定する動
    きベクトルからプロセッサにより予測されることを特徴
    とする請求項１に記載の方法。
  3. 【請求項３】 所与の各画素ブロックに対して、動きベ
    クトルの少なくとも１つの別の予測が動画シーケンスの
    近傍フレームの画素ブロックを推定する動きベクトルに
    基づくことを特徴とする請求項１あるいは２に記載の方
    法。
  4. 【請求項４】 各行の第１ブロックを無視して、行の所
    与の各画素ブロックに対して、予測が、同じ行の上記の
    先行ブロックおよび上記の近傍フレームの複数のブロッ
    クの以前に推定された動きベクトルに基づいている請求
    項３に記載の方法。
  5. 【請求項５】 各サブセットの第１ブロックを無視し
    て、所与の各画素ブロックの予測が、 − 所与のブロックと同じサブセットの上記の先行ブロ
    ック、および − 所与のブロックと同じサブセットの上記の先行ブロ
    ックにより、所与のブロックを一般に取り巻く３角分布
    を規定するよう所与のブロックに対して空間位置を占有
    する近傍フレームの２つのブロック、 に対して先行して推定された動きベクトルに基づいてい
    る請求項１から４のいずれか１つに記載の方法。
  6. 【請求項６】 少なくとも１つの開始ベクトルに基づい
    て、所与のブロックと先行フレームのブロックとの間の
    整合が、開始ベクトルの周りに分布された５から10個の
    候補ベクトルのアレイに対して測定される請求項１から
    ５のいずれか１つに記載の方法。
  7. 【請求項７】 少なくとも１つの開始ベクトルに基づい
    て、所与のブロックと先行フレームのブロックとの間の
    整合が、開始ベクトルを取り巻きかつ開始ベクトルから
    一般に増大する距離を持つ候補ベクトルの順序付けられ
    たシリースに対してシーケンシャルに測定される請求項
    １から５のいずれか１つに記載の方法。
  8. 【請求項８】 もし所定のしきい値より良好な整合を与
    えるベクトルが見いだされるなら、候補ベクトルの評価
    が終了する請求項７に記載の方法。
  9. 【請求項９】 開始ベクトルの周りの複数の候補ベクト
    ルの評価を実行することにより、ディジタル化された動
    画シーケンスのフレームの所与の画素ブロックの動きベ
    クトルを推定する方法において、 候補ベクトルが開始
    ベクトルを取り巻き、かつ開始ベクトルから一般に増大
    する距離の順序付けられたシリーズで評価されることを
    特徴とする方法。
  10. 【請求項１０】 もし所定のしきい値より良好な整合を
    与えるベクトルが見いだされるなら、候補ベクトルの評
    価が終了する請求項９に記載の方法。
  11. 【請求項１１】 推定された各ベクトルの選択が各候補
    ベクトルの測定された予測品質に依存するのみならず、
    候補ベクトルが動画シーケンスを符号化する合成データ
    ストリームで符号化できる相対的経済性にも依存する請
    求項１から１０のいずれか１つに記載の方法。
  12. 【請求項１２】 零ベクトルが最も経済的に符号化さ
    れ、かつ零である候補ベクトルが各推定動きベクトルの
    選択で好まれる請求項１０に記載の方法。
  13. 【請求項１３】 ディジタル化された動画シーケンスの
    フレームの所与の画素ブロックの動きベクトルを推定す
    る方法であって、推定されたそのベクトルが動画シーケ
    ンスを符号化するデータストリームで符号化され、該方
    法が、 − 評価のための一組の候補ベクトルを発生し、 − 各候補ベクトルにより与えられた予測の品質を評価
    し、かつ − 候補ベクトルの１つを選択する上記の評価結果と動
    画シーケンスを符号化するデータストリームで符号化す
    る推定ベクトルとを比較すること、 を具え、 ここで、推定された動きベクトルの符号化を要求された
    データの量が、推定された動きベクトルの値に依存し、
    かつ候補ベクトルの間からの推定されたベクトルの選択
    が各候補により与えられた予測の品質に依存するのみな
    らず、もし候補ベクトルの別の１つが少ないデータで符
    号化でき、一方、最高予測品質の所定のしきい値内にあ
    る予測品質を与えることが決定されるなら、選択された
    候補ベクトルが予測の最高品質を与えるものでないよう
    に、データストリームの各候補を符号化するよう要求さ
    れたデータの量にも依存する方法。
  14. 【請求項１４】 動きベクトルと予測エラー情報が国際
    標準化機構により規定されたMPEGに従って符号化される
    請求項１から１３のいずれか１つに記載の方法。
  15. 【請求項１５】 ディジタル化された動画シーケンスを
    符号化する装置であって、 − シーケンスの少なくとも１つの所与のフレームを複
    数の画素ブロックに分割する手段、 − 近傍フレームのブロックから所与のフレームの各ブ
    ロック画素を予測し、かつ上記の動きベクトルを符号化
    する動きベクトルを任意の先行クレームに記載の方法に
    より推定する手段、および − 符号化された影像を再構成する動きベクトルと共に
    使用するために予測エラー情報を発生しかつ符号化する
    手段、 を具える装置。
  16. 【請求項１６】 記録担体上のディジタル化された動画
    シーケンスを蓄積する方法であって、 − 動画シーケンスを符号化する請求項１５に記載の装
    置を使用し、かつ − 記録担体上の合成符号化動きベクトル情報と予測エ
    ラー情報とを蓄積すること、 を具える方法。
  17. 【請求項１７】 請求項１６に記載の方法に従って動画
    シーケンスが蓄積される記録担体。
JP4261932A 1991-09-30 1992-09-30 動きベクトル推定、動画符号化および蓄積方法 Pending JPH05219499A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
GB919120739A GB9120739D0 (en) 1991-09-30 1991-09-30 Motion vector estimation,motion picture encoding and storage
GB9217742:7 1992-08-19
GB9120739:9 1992-08-19
GB929217742A GB9217742D0 (en) 1992-08-19 1992-08-19 Motion vector estimation,motion picture encoding and storage

Publications (1)

Publication Number Publication Date
JPH05219499A true JPH05219499A (ja) 1993-08-27

Family

ID=26299609

Family Applications (1)

Application Number Title Priority Date Filing Date
JP4261932A Pending JPH05219499A (ja) 1991-09-30 1992-09-30 動きベクトル推定、動画符号化および蓄積方法

Country Status (6)

Country Link
US (1) US5428403A (ja)
EP (1) EP0535746B1 (ja)
JP (1) JPH05219499A (ja)
AT (1) ATE148607T1 (ja)
CA (1) CA2079434A1 (ja)
DE (1) DE69217150T2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002532026A (ja) * 1998-11-30 2002-09-24 マイクロソフト コーポレイション 動き推定とブロックマッチング・パターンの改良
JP2005515728A (ja) * 2002-01-17 2005-05-26 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 現在の動きベクトルを推定するユニット及び方法
US8155195B2 (en) 2006-04-07 2012-04-10 Microsoft Corporation Switching distortion metrics during motion estimation
US8494052B2 (en) 2006-04-07 2013-07-23 Microsoft Corporation Dynamic selection of motion estimation search ranges and extended motion vector ranges

Families Citing this family (158)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI92896C (fi) * 1992-12-31 1995-01-10 Salon Televisiotehdas Oy Menetelmä liikkeen estimoimiseksi videosignaalista sekä liike-estimaattori
AU5632394A (en) * 1993-03-05 1994-09-08 Sony Corporation Apparatus and method for reproducing a prediction-encoded video signal
US5448310A (en) * 1993-04-27 1995-09-05 Array Microsystems, Inc. Motion estimation coprocessor
BE1007252A3 (nl) * 1993-06-29 1995-05-02 Philips Electronics Nv Bewegingscompensator.
AU674984B2 (en) * 1993-07-30 1997-01-16 British Telecommunications Public Limited Company Processing image data
WO1995004433A1 (en) * 1993-07-30 1995-02-09 British Telecommunications Public Limited Company Processing image data
JPH07135663A (ja) * 1993-09-17 1995-05-23 Oki Electric Ind Co Ltd 動きベクトル検出方法および動きベクトル検出装置
GB9325073D0 (en) * 1993-12-07 1994-02-02 Eidos Plc Improvements in or relating to video processing systems
JP3031152B2 (ja) * 1993-12-24 2000-04-10 日本電気株式会社 動き予測プロセッサ及び動き予測装置
US5557538A (en) * 1994-05-18 1996-09-17 Zoran Microelectronics Ltd. MPEG decoder
US5594504A (en) * 1994-07-06 1997-01-14 Lucent Technologies Inc. Predictive video coding using a motion vector updating routine
JP3468856B2 (ja) * 1994-07-28 2003-11-17 株式会社東芝 動きベクトル検出方法及び装置
KR100287211B1 (ko) * 1994-08-30 2001-04-16 윤종용 양방향 움직임 추정방법 및 장치
US5706059A (en) * 1994-11-30 1998-01-06 National Semiconductor Corp. Motion estimation using a hierarchical search
FR2728091B1 (fr) * 1994-12-13 1997-01-31 Thomson Consumer Electronics Procede de selection de vecteurs mouvement et dispositif de traitement d'images mettant en oeuvre ledit procede
KR0154920B1 (ko) * 1994-12-30 1998-11-16 배순훈 동영상 부호화 장치에 있어서 움직임 추정기
WO1996033575A1 (en) * 1995-04-18 1996-10-24 Advanced Micro Devices, Inc. Video decoder using block oriented data structures
US5818969A (en) * 1995-05-12 1998-10-06 Intel Corporation Intelligent start for motion estimation search
GB9517436D0 (en) * 1995-08-25 1995-10-25 Eidos Plc Video processing for storage or transmission
US5745183A (en) * 1995-08-25 1998-04-28 Thomson Consumer Electronics, Inc. Image motion estimation system which derives candidate block from interpolated motion vectors
GB9519923D0 (en) * 1995-09-29 1995-11-29 Philips Electronics Nv Motion estimation for predictive image coding
KR0181069B1 (ko) * 1995-11-08 1999-05-01 배순훈 움직임 추정장치
US6049362A (en) * 1996-02-14 2000-04-11 International Business Machines Corporation Dual prime motion estimation system and method
US5768537A (en) * 1996-02-22 1998-06-16 International Business Machines Corporation Scalable MPEG2 compliant video encoder
GB2311184A (en) * 1996-03-13 1997-09-17 Innovision Plc Motion vector field error estimation
JP3876392B2 (ja) * 1996-04-26 2007-01-31 富士通株式会社 動きベクトル探索方法
GB9620162D0 (en) * 1996-09-27 1996-11-13 Digi Media Vision Ltd Method and apparatus for generating signals including predicted code
JP3631868B2 (ja) * 1996-12-20 2005-03-23 株式会社東芝 動きベクトル検出装置および方法
US6016163A (en) * 1997-03-12 2000-01-18 Scientific-Atlanta, Inc. Methods and apparatus for comparing blocks of pixels
US6178203B1 (en) * 1997-04-03 2001-01-23 Lsi Logic Corporation Method and apparatus for two-row decoding of MPEG video
US6253161B1 (en) 1997-07-10 2001-06-26 Universite Laval Integrated motion vision sensor
US6295094B1 (en) * 1997-09-11 2001-09-25 U.S. Philips Corporation Instant replay of digital video optimized using non MPEG frame tags
CN100353326C (zh) * 1997-10-23 2007-12-05 索尼电子有限公司 在有损耗传输环境中恢复数据的装置及方法
US6581170B1 (en) 1997-10-23 2003-06-17 Sony Corporation Source coding to provide for robust error recovery during transmission losses
US6282684B1 (en) 1997-10-23 2001-08-28 Sony Corporation Apparatus and method for recovery of data in a lossy transmission environment
US6163868A (en) 1997-10-23 2000-12-19 Sony Corporation Apparatus and method for providing robust error recovery for errors that occur in a lossy transmission environment
EP0944245B1 (en) * 1998-03-20 2001-07-25 SGS-THOMSON MICROELECTRONICS S.r.l. Hierarchical recursive motion estimator for video images encoder
US6195389B1 (en) * 1998-04-16 2001-02-27 Scientific-Atlanta, Inc. Motion estimation system and methods
US6285711B1 (en) * 1998-05-20 2001-09-04 Sharp Laboratories Of America, Inc. Block matching-based method for estimating motion fields and global affine motion parameters in digital video sequences
US6750900B1 (en) 1998-07-23 2004-06-15 Eastman Kodak Company Method and apparatus for computing motion tracking parameters
US6983018B1 (en) 1998-11-30 2006-01-03 Microsoft Corporation Efficient motion vector coding for video compression
US7006569B1 (en) * 1999-02-05 2006-02-28 Samsung Electronics Co., Ltd. Digital video processing method and apparatus thereof
US6178266B1 (en) 1999-02-12 2001-01-23 Sony Corporation Method and apparatus for the recovery of compression constants in the encoded domain
US6621936B1 (en) 1999-02-12 2003-09-16 Sony Corporation Method and apparatus for spatial class reduction
US6363118B1 (en) 1999-02-12 2002-03-26 Sony Corporation Apparatus and method for the recovery of compression constants in the encoded domain
US6591398B1 (en) 1999-02-12 2003-07-08 Sony Corporation Multiple processing system
US6192161B1 (en) 1999-02-12 2001-02-20 Sony Corporation Method and apparatus for adaptive filter tap selection according to a class
US6151416A (en) * 1999-02-12 2000-11-21 Sony Corporation Method and apparatus for adaptive class tap selection according to multiple classification
US6154761A (en) * 1999-02-12 2000-11-28 Sony Corporation Classified adaptive multiple processing system
US7010737B2 (en) * 1999-02-12 2006-03-07 Sony Corporation Method and apparatus for error data recovery
US6535148B1 (en) 1999-02-12 2003-03-18 Sony Corporation Method and apparatus for truncated decoding
US6170074B1 (en) 1999-02-12 2001-01-02 Sony Corporation Source coding to provide for robust error recovery
US6519369B1 (en) 1999-02-12 2003-02-11 Sony Corporation Method and apparatus for filter tap expansion
US6307979B1 (en) 1999-02-12 2001-10-23 Sony Corporation Classified adaptive error recovery method and apparatus
US6307560B1 (en) 1999-02-12 2001-10-23 Sony Corporation Classified adaptive spatio-temporal format conversion method and apparatus
JP3538055B2 (ja) * 1999-02-15 2004-06-14 日本電気株式会社 動きベクトル検出装置
DE19909622A1 (de) 1999-03-05 2000-09-07 Bosch Gmbh Robert Verfahren und Vorrichtung zur Bestimmung einer Verschiebung von Bildern einer Bildsequenz
US6697489B1 (en) 1999-03-30 2004-02-24 Sony Corporation Method and apparatus for securing control words
US7730300B2 (en) 1999-03-30 2010-06-01 Sony Corporation Method and apparatus for protecting the transfer of data
US7565546B2 (en) 1999-03-30 2009-07-21 Sony Corporation System, method and apparatus for secure digital content transmission
US6493842B1 (en) 1999-06-29 2002-12-10 Sony Corporation Time-varying randomization for data synchronization and implicit information transmission
US6389562B1 (en) 1999-06-29 2002-05-14 Sony Corporation Source code shuffling to provide for robust error recovery
US6549672B1 (en) * 1999-06-29 2003-04-15 Sony Corporation Method and apparatus for recovery of encoded data using central value
US6473876B1 (en) 1999-06-29 2002-10-29 Sony Corporation Method and apparatus for encoding of bitstreams using rotation
EP1120976A4 (en) * 1999-07-29 2006-03-29 Mitsubishi Electric Corp METHOD FOR DETECTING MOTION VECTOR
US6735249B1 (en) 1999-08-11 2004-05-11 Nokia Corporation Apparatus, and associated method, for forming a compressed motion vector field utilizing predictive motion coding
US6351494B1 (en) 1999-09-24 2002-02-26 Sony Corporation Classified adaptive error recovery method and apparatus
US6522785B1 (en) 1999-09-24 2003-02-18 Sony Corporation Classified adaptive error recovery method and apparatus
US7039614B1 (en) 1999-11-09 2006-05-02 Sony Corporation Method for simulcrypting scrambled data to a plurality of conditional access devices
US6539517B1 (en) 1999-11-09 2003-03-25 Sony Corporation Data transformation for explicit transmission of control information
US6754371B1 (en) 1999-12-07 2004-06-22 Sony Corporation Method and apparatus for past and future motion classification
WO2001045420A1 (de) * 1999-12-17 2001-06-21 Koninklijke Philips Electronics N.V. Bewegungsschätzung in videobildern
US7227589B1 (en) * 1999-12-22 2007-06-05 Intel Corporation Method and apparatus for video decoding on a multiprocessor system
US7225164B1 (en) 2000-02-15 2007-05-29 Sony Corporation Method and apparatus for implementing revocation in broadcast networks
US6567469B1 (en) * 2000-03-23 2003-05-20 Koninklijke Philips Electronics N.V. Motion estimation algorithm suitable for H.261 videoconferencing applications
FR2809917B1 (fr) * 2000-05-30 2002-08-30 Cit Alcatel Codage d'image par segments avec prediction du mouvement
US8005145B2 (en) 2000-08-11 2011-08-23 Nokia Corporation Method and apparatus for transferring video frame in telecommunication system
US6842483B1 (en) 2000-09-11 2005-01-11 The Hong Kong University Of Science And Technology Device, method and digital video encoder for block-matching motion estimation
US7050497B2 (en) * 2001-03-28 2006-05-23 Thomson Licensing Process and device for the video coding of high definition images
US7895616B2 (en) 2001-06-06 2011-02-22 Sony Corporation Reconstitution of program streams split across multiple packet identifiers
US7747853B2 (en) 2001-06-06 2010-06-29 Sony Corporation IP delivery of secure digital content
US7350082B2 (en) 2001-06-06 2008-03-25 Sony Corporation Upgrading of encryption
US7139398B2 (en) 2001-06-06 2006-11-21 Sony Corporation Time division partial encryption
US7072395B2 (en) * 2001-07-20 2006-07-04 Ess Technology, Inc. Memory control apparatus and efficient search pattern for block-matching motion estimation
US7302059B2 (en) 2002-01-02 2007-11-27 Sony Corporation Star pattern partial encryption
US7218738B2 (en) 2002-01-02 2007-05-15 Sony Corporation Encryption and content control in a digital broadcast system
US7765567B2 (en) 2002-01-02 2010-07-27 Sony Corporation Content replacement by PID mapping
US7039938B2 (en) 2002-01-02 2006-05-02 Sony Corporation Selective encryption for video on demand
US7292691B2 (en) 2002-01-02 2007-11-06 Sony Corporation Progressive video refresh slice detection
US7215770B2 (en) 2002-01-02 2007-05-08 Sony Corporation System and method for partially encrypted multimedia stream
US7242773B2 (en) 2002-09-09 2007-07-10 Sony Corporation Multiple partial encryption using retuning
US7823174B2 (en) 2002-01-02 2010-10-26 Sony Corporation Macro-block based content replacement by PID mapping
US7155012B2 (en) 2002-01-02 2006-12-26 Sony Corporation Slice mask and moat pattern partial encryption
US7376233B2 (en) 2002-01-02 2008-05-20 Sony Corporation Video slice and active region based multiple partial encryption
US7233669B2 (en) 2002-01-02 2007-06-19 Sony Corporation Selective encryption to enable multiple decryption keys
JP4114859B2 (ja) 2002-01-09 2008-07-09 松下電器産業株式会社 動きベクトル符号化方法および動きベクトル復号化方法
US7003035B2 (en) 2002-01-25 2006-02-21 Microsoft Corporation Video coding methods and apparatuses
KR100492127B1 (ko) * 2002-02-23 2005-06-01 삼성전자주식회사 적응형 움직임 추정장치 및 추정 방법
US7738551B2 (en) * 2002-03-18 2010-06-15 International Business Machines Corporation System and method for processing a high definition television (HDTV) image
US8401084B2 (en) * 2002-04-01 2013-03-19 Broadcom Corporation System and method for multi-row decoding of video with dependent rows
US7305034B2 (en) 2002-04-10 2007-12-04 Microsoft Corporation Rounding control for multi-stage interpolation
US7620109B2 (en) 2002-04-10 2009-11-17 Microsoft Corporation Sub-pixel interpolation in motion estimation and compensation
US7530084B2 (en) 2002-05-28 2009-05-05 Sony Corporation Method and apparatus for synchronizing dynamic graphics
US20040001546A1 (en) 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
US7224731B2 (en) 2002-06-28 2007-05-29 Microsoft Corporation Motion estimation/compensation for screen capture video
KR100906473B1 (ko) * 2002-07-18 2009-07-08 삼성전자주식회사 개선된 움직임 벡터 부호화 및 복호화 방법과 그 장치
US7154952B2 (en) 2002-07-19 2006-12-26 Microsoft Corporation Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures
US7023921B2 (en) * 2002-08-06 2006-04-04 Motorola, Inc. Method and apparatus for determining block match quality
US8818896B2 (en) 2002-09-09 2014-08-26 Sony Corporation Selective encryption with coverage encryption
US7724907B2 (en) 2002-11-05 2010-05-25 Sony Corporation Mechanism for protecting the transfer of digital content
US8572408B2 (en) 2002-11-05 2013-10-29 Sony Corporation Digital rights management of a digital device
US8645988B2 (en) 2002-12-13 2014-02-04 Sony Corporation Content personalization for digital content
US8667525B2 (en) 2002-12-13 2014-03-04 Sony Corporation Targeted advertisement selection from a digital stream
US20040165586A1 (en) * 2003-02-24 2004-08-26 Read Christopher Jensen PID filters based network routing
US7409702B2 (en) 2003-03-20 2008-08-05 Sony Corporation Auxiliary program association table
JP4053490B2 (ja) * 2003-03-25 2008-02-27 株式会社東芝 フレーム補間のための補間画像作成方法及びこれを用いた画像表示システム、補間画像作成装置
US7292692B2 (en) 2003-03-25 2007-11-06 Sony Corporation Content scrambling with minimal impact on legacy devices
JP4373702B2 (ja) 2003-05-07 2009-11-25 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム
US10554985B2 (en) 2003-07-18 2020-02-04 Microsoft Technology Licensing, Llc DC coefficient signaling at small quantization step sizes
US7738554B2 (en) 2003-07-18 2010-06-15 Microsoft Corporation DC coefficient signaling at small quantization step sizes
US20050013498A1 (en) 2003-07-18 2005-01-20 Microsoft Corporation Coding of motion vector information
KR100987764B1 (ko) * 2003-09-04 2010-10-13 경희대학교 산학협력단 영상 데이터의 예측 부호화를 위한 참조 데이터 유닛 결정방법 및 그 장치
US7567617B2 (en) 2003-09-07 2009-07-28 Microsoft Corporation Predicting motion vectors for fields of forward-predicted interlaced video frames
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US8064520B2 (en) 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
US7286667B1 (en) 2003-09-15 2007-10-23 Sony Corporation Decryption system
US7853980B2 (en) 2003-10-31 2010-12-14 Sony Corporation Bi-directional indices for trick mode video-on-demand
US7343013B2 (en) 2003-12-16 2008-03-11 Sony Corporation Composite session-based encryption of video on demand content
US7346163B2 (en) 2003-10-31 2008-03-18 Sony Corporation Dynamic composition of pre-encrypted video on demand content
US7263187B2 (en) 2003-10-31 2007-08-28 Sony Corporation Batch mode session-based encryption of video on demand content
US7620180B2 (en) 2003-11-03 2009-11-17 Sony Corporation Preparation of content for multiple conditional access methods in video on demand
GB2409031A (en) * 2003-12-11 2005-06-15 Sony Uk Ltd Face detection
JP4511842B2 (ja) * 2004-01-26 2010-07-28 パナソニック株式会社 動きベクトル検出装置及び動画撮影装置
US8041190B2 (en) 2004-12-15 2011-10-18 Sony Corporation System and method for the creation, synchronization and delivery of alternate content
US7895617B2 (en) 2004-12-15 2011-02-22 Sony Corporation Content substitution editor
US20060233258A1 (en) * 2005-04-15 2006-10-19 Microsoft Corporation Scalable motion estimation
US9077960B2 (en) 2005-08-12 2015-07-07 Microsoft Corporation Non-zero coefficient block pattern coding
US8185921B2 (en) 2006-02-28 2012-05-22 Sony Corporation Parental control of displayed content using closed captioning
US7555464B2 (en) 2006-03-01 2009-06-30 Sony Corporation Multiple DRM management
US20070268964A1 (en) * 2006-05-22 2007-11-22 Microsoft Corporation Unit co-location-based motion estimation
KR100763917B1 (ko) 2006-06-21 2007-10-05 삼성전자주식회사 고속으로 움직임을 추정하는 방법 및 장치
KR101107254B1 (ko) * 2007-01-25 2012-01-20 삼성전자주식회사 인접 블록의 움직임 벡터를 이용한 움직임 벡터 추정 방법및 그 장치
US20080240242A1 (en) * 2007-03-27 2008-10-02 Nokia Corporation Method and system for motion vector predictions
KR101427115B1 (ko) 2007-11-28 2014-08-08 삼성전자 주식회사 영상처리장치 및 영상처리방법
US8098733B2 (en) * 2008-03-10 2012-01-17 Neomagic Corp. Multi-directional motion estimation using parallel processors and pre-computed search-strategy offset tables
US8189666B2 (en) 2009-02-02 2012-05-29 Microsoft Corporation Local picture identifier and computation of co-located information
TWI521950B (zh) * 2010-07-21 2016-02-11 財團法人工業技術研究院 用於視訊處理之移動估計之方法及裝置
CN102377998B (zh) * 2010-08-10 2014-08-20 财团法人工业技术研究院 用于视频处理的移动估计的方法及装置
CN104079939B (zh) * 2010-08-10 2017-12-15 财团法人工业技术研究院 用于视频处理的移动估计的方法及装置
US9282338B2 (en) 2011-06-20 2016-03-08 Qualcomm Incorporated Unified merge mode and adaptive motion vector prediction mode candidates selection
US9451283B2 (en) * 2011-07-05 2016-09-20 Texas Instruments Incorporated Method, system and computer program product for selecting a motion vector in scalable video coding
US9571833B2 (en) 2011-11-04 2017-02-14 Nokia Technologies Oy Method for coding and an apparatus
CN102547296B (zh) * 2012-02-27 2015-04-01 开曼群岛威睿电通股份有限公司 移动估计加速电路、移动估计方法及环路滤波加速电路
US9774881B2 (en) 2014-01-08 2017-09-26 Microsoft Technology Licensing, Llc Representing motion vectors in an encoded bitstream
US9749642B2 (en) 2014-01-08 2017-08-29 Microsoft Technology Licensing, Llc Selection of motion vector precision
US9942560B2 (en) 2014-01-08 2018-04-10 Microsoft Technology Licensing, Llc Encoding screen capture data
US10523961B2 (en) * 2017-08-03 2019-12-31 Samsung Electronics Co., Ltd. Motion estimation method and apparatus for plurality of frames
RU2656785C1 (ru) * 2017-08-03 2018-06-06 Самсунг Электроникс Ко., Лтд. Оценка движения путем трехмерного рекурсивного поиска (3drs) в реальном времени для преобразования частоты кадров (frc)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3733038C2 (de) * 1987-09-30 1994-01-05 Siemens Ag Verfahren und Schaltungsanordnung zur Bilddatenreduktion für digitale Fernsehsignale
US4785349A (en) * 1987-10-05 1988-11-15 Technology Inc. 64 Digital video decompression system

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002532026A (ja) * 1998-11-30 2002-09-24 マイクロソフト コーポレイション 動き推定とブロックマッチング・パターンの改良
JP4662636B2 (ja) * 1998-11-30 2011-03-30 マイクロソフト コーポレーション 動き推定とブロックマッチング・パターンの改良
JP2005515728A (ja) * 2002-01-17 2005-05-26 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 現在の動きベクトルを推定するユニット及び方法
US8073054B2 (en) 2002-01-17 2011-12-06 Trident Microsystems (Far East) Ltd. Unit for and method of estimating a current motion vector
US8155195B2 (en) 2006-04-07 2012-04-10 Microsoft Corporation Switching distortion metrics during motion estimation
US8494052B2 (en) 2006-04-07 2013-07-23 Microsoft Corporation Dynamic selection of motion estimation search ranges and extended motion vector ranges

Also Published As

Publication number Publication date
EP0535746A3 (en) 1993-06-23
CA2079434A1 (en) 1993-03-31
DE69217150D1 (de) 1997-03-13
EP0535746B1 (en) 1997-01-29
DE69217150T2 (de) 1997-07-17
ATE148607T1 (de) 1997-02-15
EP0535746A2 (en) 1993-04-07
US5428403A (en) 1995-06-27

Similar Documents

Publication Publication Date Title
JPH05219499A (ja) 動きベクトル推定、動画符号化および蓄積方法
US6269174B1 (en) Apparatus and method for fast motion estimation
Nie et al. Adaptive rood pattern search for fast block-matching motion estimation
Chen et al. Fast block matching algorithm based on the winner-update strategy
US5801778A (en) Video encoding with multi-stage projection motion estimation
US5786860A (en) High speed block matching for bi-directional motion vector estimation
EP1147668B1 (en) Improved motion estimation and block matching pattern
US5583580A (en) Method and apparatus for detecting motion vectors based on hierarchical motion estimation
JP4528441B2 (ja) ブロック整合法及び統合投射法を用いた階層的動き評価処理及び装置
US6859494B2 (en) Methods and apparatus for sub-pixel motion estimation
US6434196B1 (en) Method and apparatus for encoding video information
US6108039A (en) Low bandwidth, two-candidate motion estimation for interlaced video
US20030072374A1 (en) Method for motion vector estimation
WO2001072045A2 (en) Motion estimation algorithm
Paul et al. Video coding using the most common frame in scene
US5815602A (en) DCT image compression and motion compensation using the hadamard transform
US7953153B2 (en) Motion estimation method utilizing modified rhombus pattern search for a succession of frames in digital coding system
US5682209A (en) Motion estimation using limited-time early exit with prequalification matrices and a predicted search center
JPH09179987A (ja) 動きベクトル検出方法及び動きベクトル検出装置
US6317460B1 (en) Motion vector generation by temporal interpolation
US20020131500A1 (en) Method for determining a motion vector for a video signal
US20060056511A1 (en) Flexible polygon motion estimating method and system
JP2000069469A (ja) 動画像符号化方法とシステム及び動画像復号方法とシステム
JP3615963B2 (ja) リアルタイム動映像符号化のための高速動き推定方法及びその装置
US20020136302A1 (en) Cascade window searching method and apparatus