JP4514081B2 - ビデオ・シーケンスを符号化変換（ｔｒａｎｓｃｏｄｉｎｇ）するための動きベクトルの外挿（ｅｘｔｒａｐｏｌａｔｉｏｎ） - Google Patents
ビデオ・シーケンスを符号化変換（ｔｒａｎｓｃｏｄｉｎｇ）するための動きベクトルの外挿（ｅｘｔｒａｐｏｌａｔｉｏｎ） Download PDFInfo
- Publication number
- JP4514081B2 JP4514081B2 JP2000532980A JP2000532980A JP4514081B2 JP 4514081 B2 JP4514081 B2 JP 4514081B2 JP 2000532980 A JP2000532980 A JP 2000532980A JP 2000532980 A JP2000532980 A JP 2000532980A JP 4514081 B2 JP4514081 B2 JP 4514081B2
- Authority
- JP
- Japan
- Prior art keywords
- bitstream
- picture
- represented
- encoding
- pictures
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
（政府使用許諾権）
米国政府は、本発明における支払い済み許可証、ならびに国立標準技術研究所（Ｎａｔｉｏｎａｌ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｓｔａｎｄａｒｄｓ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ）によって認められた契約番号７０ＮＡＮＢ５Ｈ１１７１の条項によって提供されるような妥当な条項で特許権所有者に対して他者に使用を許可するように要求するための限定状況内での権利を有する。
【０００２】
（発明の分野）
本発明は、一般にビデオ・シーケンスの符号化変換における動き推定（ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ）に関し、より具体的に言えば、受け取ったビデオ・シーケンスから外挿された動き情報を使用することにより、受け取ったビデオ・シーケンスを符号化変換する、それに関して符号化変換プロセスからの動き推定を最小限にするか、または、なくすための技法に関する。
【０００３】
（発明の背景）
データ圧縮技法は、大量のデータを比較的小さな帯域幅を介して伝送できるようにするものである。圧縮システムで使用されるアルゴリズムは、使用可能な帯域幅または記憶域容量、アプリケーションが必要とする機能、ならびに圧縮アルゴリズム（符号器および復号器）を実施するために必要なハードウェアの入手可能性に依存している。本明細書で引用文献に基づいて組み込まれるＭｏｖｉｎｇ Ｐｉｃｔｕｒｅｓ Ｅｘｐｅｒｔ Ｇｒｏｕｐ−ｔｙｐｅ ２（「ＭＰＥＧ−２」）の圧縮標準は、ビデオ・データの圧縮に関するよく知られた技法である。ビデオ符号器が動きベクトルの算出に使用するプロセスである動き推定は、一般に、符号化プロセスの中で最もコストのかかる部分であるとみなされる。同様に動き推定は、ビデオ・シーケンスが復号化され、次いで新しいパラメータで再符号化される符号化変換（ｔｒａｎｓｃｏｄｉｎｇ）プロセスの中で最もコストのかかる部分である可能性が高い。高精細度テレビ（「ＨＤＴＶ」）の出現により、テレビジョン・スタジオはピクチャ・データのＭＰＥＧ−２ビットストリームをある形式から別の形式へと符号化変換する必要が生じるため、これは重要な関心事である。たとえば、ＨＤＴＶ標準に対応しているテレビジョン・スタジオは、ＭＰＥＧ−２ビットストリームを１つのピクチャ・グループ（「ＧＯＰ」）構造から他の構造へ、１つのピクチャ・サイズから他のサイズへ、および／またはあるビット・レートから他のビット・レートへ、符号化変換できなければならない。これらのスタジオは、ＭＰＥＧ−２ピクチャをフィールド・ピクチャからフレーム・ピクチャへ、またはフレーム・ピクチャからフィールド・ピクチャへ符号化変換する必要が生じる場合がある。さらにまたスタジオは、ＭＰＥＧ−２ピクチャをインターレース・シーケンス（ｉｎｔｅｒｌａｃｅｄ ｓｅｑｕｅｎｃｅ）から順次シーケンス（ｐｒｏｇｒｅｓｓｉｖｅ ｓｅｑｕｅｎｃｅ）へ、または順次シーケンスからインターレース・シーケンスへ符号化変換する必要が生じる場合もある。符号化変換は、入力が主イメージを表し符号化変換された出力が主イメージ内の副イメージを表す、「クロッピング（ｃｒｏｐｐｉｎｇ）」機能を実行するためにも使用することができる。
【０００４】
（発明の概要）
したがって、本発明の一目的は、動き推定を最小限にするか、または、なくすようなビデオ・シーケンスの符号化変換技法を提供することである。
【０００５】
他の目的は、入力ビットストリームからの動き情報を利用して、符号化変換された出力ビットストリーム用の動きベクトルを生成する、ビデオ・シーケンスの符号化変換技法を提供することである。
【０００６】
他の目的は、すべてのＭＰＥＧ−２予測モードをサポートする符号化変換プロセス用の、動き推定技法を提供することである。
【０００７】
これらおよび他の目的は、識別可能な符号化パラメータを有する圧縮されたイメージ・データの第１のビットストリームを受け取ることによって実行される、符号化変換方式を備えた本発明の原理に従って達成できるものである。これらのパラメータは、第１のビットストリーム内に表されたピクチャのＧＯＰ構造、第１のビットストリーム内に表されたピクチャのサイズ、第１のビットストリーム内に表されたピクチャがフィールド・ピクチャであるかフレーム・ピクチャであるか、および／または第１のビットストリーム内に表されたピクチャが順次シーケンスを定義するかまたはインターレース・シーケンスを定義するかに関係させることができる。第１の動き情報が第１のビットストリームから取得され、圧縮されたイメージ・データの第２のビットストリームに関する第２の動き情報を外挿するために使用される。第２のビットストリームは、第１のビットストリームのパラメータとは異なる１つまたは複数のパラメータを有し、符号化変換済み出力として提供される。
【０００８】
（発明の詳細な説明）
ここで図１を参照すると、動きベクトル外挿（ｅｘｔｒａｐｏｌａｔｉｏｎ）の基本原理が示されている。一般に、動きベクトル外挿とは、動きがシーケンス内のどこでも既知である場合に、ビデオ・シーケンス内の１つのイメージに関する動きを推定するための技法である。図１では、ピクチャＢ内の太線で表された四角形が、ビデオ・ピクチャ内にあるピクセル（別名ペル）の個々のブロックを表す。ピクチャ内の各ブロックは、固定位置を有するものと仮定されている。ＭＰＥＧ−２では、これらのブロックは「マクロブロック」と呼ばれ、それぞれが１６×１６ピクセルのブロックで構成される。図１の実線矢印は、ピクチャＡからピクチャＢに移動したブロックとして太線ブロックの既知の動きを表す。実際に、それは、動いたブロック内のイメージであって、固定位置にあるブロックそのものではない。動きベクトルによって定義されるこの既知の動きは、そのブロックがピクチャＢからピクチャＣへ動くとして、ブロックの動きを外挿するために使用される。図１の点線矢印は、外挿される動きベクトルを表す。図１は（添付の他の図面と同様に）ブロックに関連付けられたベクトルが基準ピクチャ内のブロックの「ソース（ｓｏｕｒｃｅ）」を示すという、一般的な符号化規則を使用しているので、図１内の矢印は実際には動きと反対の方向を示す。所与の動きベクトルは、実際にはそれぞれが２つのピクチャ間でのブロックの水平動きおよび垂直動きを示す１組のｘおよびｙ座標として表される。通常、外挿は、動きが時間的に均一であり空間的に「平滑（ｓｍｏｏｔｈ）」であると仮定する。したがって、ピクチャＢ内のそのブロックはピクチャＣに示された位置まで動くと期待され、それがオーバラップするすべてのブロックは、ほぼ同じ動きをすると期待される。
【０００９】
次に図２を参照すると、本発明の原理に従って構築された符号化変換システムが示されている。図２では、符号化変換システム２００が圧縮されたイメージ・データのＭＰＥＧ−２の入力ビットストリーム２０１を受け取る。特定のビット・レートを提示するこの入力ビットストリーム２０１は、所与のサイズおよびＧＯＰ構造のピクチャを表す。入力ビットストリーム２０１のピクチャ・データはフィールド・ピクチャまたはフレーム・ピクチャで構成され、順次シーケンスまたはインターレース・シーケンスを表すことが可能である。当分野で知られているＭＰＥＧ−２デコーダ（復号器）２０２は、入力ビットストリーム２０１を受け取り、それを復号して圧縮解除されたデジタル・イメージ・データ２０３の出力を生成する。デコーダ２０２は、別の出力２０４として、入力ビットストリーム２０１からの動き情報（すなわち動きベクトル）も提供する。デジタル・イメージ・データ２０３は中間処理ユニット２０５に入力され、中間処理ユニット２０５はピクセル・ドメイン内で動作し、既知の様式でデジタル・イメージ・データ２０３によって表されたピクチャのサイズを変更することができる。この中間処理ユニット２０５は、ピクチャのサイズ変更に加えて、デジタル・イメージ・データ２０３で表された主イメージ内にある副イメージを分離することによって既知のクロッピング機能を実行することができ、副イメージとして表されるデータの出力を提供する。中間処理ユニット２０５は、ピクチャの順次シーケンスをピクチャのインターレース・シーケンスに符号化変換するとき、およびピクチャのインターレース・シーケンスをピクチャの順次シーケンスに符号化変換するときに必要な、既知のインターレース化操作および非インターレース化操作を実行することもできる。中間処理ユニット２０５は、どの処理操作（あれば）が実行されるかを示し、さらにそのような処理で使用されるパラメータを示す外部入力２０６に応動して、それ自体の操作（ｏｐｅｒａｔｉｏｎ）を実行する。中間処理ユニット２０５の操作は任意選択である（ｏｐｔｉｏｎａｌ）ため、所与の符号化変換アプリケーションに対してピクチャのサイズ変更、クロッピング、インターレース化、および非インターレース化が実行されない場合、中間処理ユニット２０５は単なるパス・スルー・ユニットとして動作し、どのようなピクセル・ドメイン処理もなしに、デジタル・イメージ・データ２０７の出力を提供する。この場合、デジタル・イメージ・データ２０７およびデジタル・イメージ・データ２０３は、明らかに同じである。これに代わって、所与の符号化変換アプリケーションに対してこれら１つまたは複数の操作が実行される場合、中間処理ユニット２０５はピクセル・ドメイン処理操作を実行し、その結果処理されたデジタル・イメージ・データ２０７の出力を提供する。このデジタル・イメージ・データ２０７は、中間処理ユニット２０５によって処理されたか否かにかかわらず、ＭＰＥＧ−２符号器２０８に入力され、この符号器が、受け取ったイメージ・データ２０７を外部入力２０９が示す新しいパラメータを使用して再符号化する。たとえば、符号器２０８は、入力ビットストリーム２０１によって表されるピクチャのＧＯＰ構造とは異なるＧＯＰ構造のピクチャを表すように、デジタル・イメージ・データ２０７を符号化し、および／またはそのビット・レートを調節することができる。符号器２０８は、デジタル・イメージ・データ２０７を、フィールド・ピクチャまたはフレーム・ピクチャとして符号化することもできる。符号化プロセスを実行する場合、符号器２０８は、復号器２０２からの出力２０４内にある動き情報を使用して、再符号化されるピクチャ用に動きベクトルを外挿する。その後、再符号化されたピクチャは、ＭＰＥＧ−２圧縮されたデジタル・イメージ・データの出力ビットストリーム２１０として、符号化変換システム２００から提供される。
【００１０】
前述のように、この出力ビットストリーム２１０は、入力ビットストリーム２０１のサイズおよびＧＯＰ構造とは異なるピクチャ・サイズおよびＧＯＰ構造を表すことが可能であり、出力ビットストリーム２１０のビット・レートは、入力ビットストリーム２０１のビット・レートと異なるように制御することが可能である。さらに、入力ビットストリーム２０１がフレーム・ピクチャを表すのに反して、出力ビットストリーム２１０がフィールド・ピクチャを表すことができ、または、入力ビットストリーム２０１がフィールド・ピクチャを表すのに反して、出力ビットストリーム２１０がフレーム・ピクチャを表すことができる。同様に、入力ビットストリーム２０１が順次シーケンスを表すのに反して、出力ビットストリーム２１０がインターレース・シーケンスを表すことができ、または、入力ビットストリーム２０１がインターレース・シーケンスを表すのに反して出力ビットストリーム２１０が順次シーケンスを表すことができる。さらに、出力ビットストリーム２１０は入力ビットストリーム２０１の「クロップ」されたバージョンを表すこともできる。本質的には、符号化変換システム２００は一定のパラメータを有する入力ビットストリーム２０１を受け取り、その入力ビットストリーム２０１を符号化変換して、その入力ビットストリーム２０１のパラメータとは異なる１つまたは複数のパラメータを有する出力ビットストリーム２１０を生成する。この符号化変換システム２００は、入力ビットストリーム２０１からの動き情報を使用して、出力ビットストリーム２１０用の動き情報を外挿するという点において類の無いものである。
【００１１】
次に図３を参照すると、本発明の原理に従って、１つのＧＯＰ構造から他のＧＯＰ構造へピクチャを符号化変換するプロセスが示されている。図３では、入力ビットストリームは、内部符号化ピクチャ（ｉｎｔｒａ−ｃｏｄｅｄ ｐｉｃｔｕｒｅ）（「Ｉピクチャ」）、双方向予測符号化ピクチャ（「Ｂピクチャ」）、Ｂピクチャ、および予測符号化ピクチャ（「Ｐピクチャ」）のＧＯＰ構造を有するピクチャを表している。すなわち、入力ビットストリームは、「ＩＢＢＰ」ＧＯＰ構造を表している。図３に示すように、入力ビットストリームの２つの連続するＢピクチャは、明確化のためにＢ１およびＢ２とラベル付けされる。この入力ビットストリームは、図２中の入力ビットストリーム２０１に類似している。符号化変換プロセス中で、「ＩＢＢＰ」のＧＯＰ構造を有する入力ビットストリームは、「ＩＰＰＰ」のＧＯＰ構造を有する出力ビットストリームに変換される。図３に示すように、出力ビットストリームの３つの連続するＰピクチャは、明確化のためにＰ１、Ｐ２、およびＰ３としてラベル付けされる。この出力ビットストリームは、図２中の出力ビットストリーム２１０に類似している。混乱を最小限にするために、個々のピクチャを構成するマクロブロックは図３において表示されない。符号化変換プロセスを実行するために、入力ビットストリームからのＩ−ＰおよびＰ−Ｂ２動きベクトルを利用して、出力ビットストリーム用の動きベクトルを外挿する。たとえば、図３に示すように、入力ビットストリームからのＩ−Ｐ動きベクトルを使用して、出力ビットストリーム用のＰ１−Ｐ２動きベクトルを推定することができる。同様に、入力ビットストリームからのＰ−Ｂ２動きベクトルを使用して、出力ビットストリーム用のＰ２−Ｐ３動きベクトルを推定することができる。
【００１２】
次に、ビデオ・シーケンスの４つのピクチャを示す図４を参照しながら、本発明の動きベクトルの外挿プロセスについてさらに詳細に説明する。これら４つのピクチャは、概念上、出力ビットストリーム内にも入力ビットストリーム内にも存在し、これは通常、実際のケースである。いずれの場合でも、図４のピクチャＴは、ピクチャＲに相対してその動きが決定される「ターゲット」ピクチャである。これらのピクチャは、どちらも出力ビットストリーム内に存在する。ピクチャＫＲおよびピクチャＫＴは、その相対的動きが入力ビットストリームから得られるピクチャである。本発明の原理に従い、ピクチャＫＲとピクチャＫＴとの間の既知の動きは、出力ビットストリーム用の動きベクトルを外挿するために使用することができる。ピクチャＫＲおよびピクチャＫＴは「基本ペア」と呼ばれ、ピクチャＲおよびピクチャＴは「カーレント・ペア」として参照される。いくつかの基本ペアを、１つの現在ペアの動きを推定するのに役立たせることができる。一般に、カーレント・ペアに一時的に近接するどんな基本ペアも、この目的に潜在的に役立つ。
【００１３】
符号化変換プロセス中には、ピクチャＴ内のいくつかのブロックが動き外挿情報を受け取らない場合がある。すなわち、ピクチャＴ内のいくつかのブロックが、近くの基本ペア内にあるどんなブロックの動きともオーバラップしない場合がある。ピクチャＴ内のこのようなブロックは、単に内部符号化するか、またはその動きを従来の様式で計算することができる。あるいは、このようなブロックの動きを近くのブロックから推測するかまたは内挿することができる。ただし大抵の場合、基本ペア内のいくつかのブロックが、ピクチャＴ内のほとんどのブロックとオーバラップしているため、その後のタスクは、いくつかの動きベクトル候補間から最良の動きベクトルを選択することになる。基本ペアからのオーバラップ・ブロックは、単一の動きベクトル候補を提供する。これは、複数の動きベクトル候補間から選択する場合、各動きベクトルに重みを付け、最大の重みを有する動きベクトルを選択するのに役立つ。図４のピクチャを一例として使用し、各動きベクトル候補の重み（ＭＶ）を以下のように計算される。
【００１４】
重み合計（ＭＶ）＝（オーバラップ重み）*（ピクチャ重み）*（丸め重み）
・・・・・・・・・・・・・（１）
上式では、
オーバラップ重み＝（ピクチャＴの対応するブロック内にあるピクセルとオーバラップするピクチャＫＴのブロック内にあるピクセル数）・・・・・・（２）
ピクチャ重み＝１／［１＋ａｂｓ（時間重み）］・・・・・・・・・・（３）
であって、さらに上式では
時間重み＝（ｔＫＴ−ｔＫＲ）*［（ｔＫＲ＋ｔＫＴ）−（ｔＴ＋ｔＲ）］
・・・・・・・・・・・・・（４）
および
丸め重み＝［１−（水平丸め誤差）］*［１−（垂直丸め誤差）］ ・・（５）
である。
【００１５】
前述の式（１）から（５）では、ｔＫＲ、ｔＫＴ、ｔＲ、およびｔＴがそれぞれピクチャＫＲ、ＫＴ、Ｒ、およびＴの表示時間を表す。記号”*”および”ａｂｓ”は、それぞれ乗法演算子および絶対値指示を表す。外挿されたベクトルが最も近い半分のピクセルに丸められたとき、したがって、それぞれがゼロ（０）から２分の１（１／２）の値をとるときに、水平および垂直の丸め誤差が生じる。式（１）から（５）は図４のピクチャに適用されたときを示すものであるが、これらの一般式は、他のピクチャ構成に適用可能であることが直観できるはずである。
【００１６】
本発明では、最大の重みを有する動きベクトル候補を単純に選択する技法に加えて、所与のブロックについて最適の動きベクトルを得る他の方法を意図する。代替の実施形態によれば、前述の式（１）から（５）を使用して重みが計算される場合の、重み付けされた平均を計算することができる。次いでこれらの重みを使用し、重み付けされた構成要素を生成するために重み値に対応する動きベクトルのｘまたはｙ構成要素を掛けること、重み付けされた構成要素を合計すること、ならびに重み付けされた構成要素の合計を重みの合計で割ることによって、最適の動きベクトルを構成要素ベースで計算することができる。
【００１７】
前述の重み付けの平均技法は、「クラスタ」ベースで実行することもできる。すなわち、動きベクトル候補のｘ−ｙプロッティングが動きベクトルの一つのクラスタ（すなわち近接するグループ分け（ｃｌｏｓｅ ｇｒｏｕｐｉｎｇ））以上のクラスタを示す場合、各クラスタについて最適の動きベクトルを計算することができる。これが、クラスタの重心、すなわち「質量中心」である。その後、個々のクラスタの最適の動きベクトルから、最終的な最適の動きベクトルを選択することができる。
【００１８】
最適の動きベクトルは、重みをまったく使用せずに、複数の動きベクトル候補からも選択できることに留意されたい。たとえば、最適の動きベクトルを識別するために、ブロック間のピクセル差を表す、平均平方誤差（ＭＳＥ）または平均絶対差（ＭＡＤ）の計算を実行することができる。もちろん、ＭＳＥおよびＭＡＤ計算を使用することは、当分野の技術者にはよく知られている。
【００１９】
表１にリスト表示された以下のアルゴリズムは、ターゲット・ピクチャ（たとえば図４のピクチャＴ）のそれぞれ可能な予測モードについて、最適の動きベクトルを見つけるためのステップを示している。擬似コードで表されたこれらのステップは、当分野の技術者に知られたどのようなプログラミング言語ででもプログラミング可能である。
【００２０】
＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊
表１：最適の動きベクトルを見つけるための擬似コード
＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊
−ｆｏｒ ターゲット・ピクチャ用とみなされる各予測モードについて
（現在ペア）
−ｆｏｒ 適用可能モードの各フィールドまたはフレームについて
（トップフィールド、ボトム・フィールド、フレーム）
−ターゲット・ピクチャ内のブロックごとに索引付けされたテーブルを
初期設定する
−ｆｏｒ カーレント・ペアに役立つとみなされる各基本ペアについて
（たとえば、基本ペアが事前設定範囲内で一時的に近接する場合
この基本ペアは一般に「役立つ」とみなされる）
−基本ペアのターゲット内にある各内部符号化ブロックの
各動きベクトについて
−ターゲット・ピクチャ内でベクトルがブロックをどこへ
移動させるかを決定する
−ベクトルの重みを計算するか、またはその合致を評価する
（たとえばＭＳＥ、ＭＡＤ）
−関連するターゲット・ピクチャ・ブロックの
テーブル・エントリ内に情報を格納する
−ｆｏｒ ターゲット・ピクチャ内の各ブロックについて
−フィールドまたはフレームについて最適の動きベクトルを決定する
−ｆｏｒ ターゲット・ピクチャ内の各ブロックについて
−最適の予測モードおよび対応する動きベクトルを決定する
＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊
【００２１】
複数の動きベクトルが、フレーム・ピクチャのフィールド予測およびＰピクチャのデュアル・プライム（ｄｕａｌ ｐｒｉｍｅ）など、いくつかの予測モードで所与の１つのブロックに関連付けられていることに留意されたい。また、Ｂピクチャの場合、符号器は、前方予測、後方予測、またはその両方のいずれを使用するかを各ブロックについて決定しなければならない。場合によっては、許容可能な結果を生成する予測モードがないことがある。これは、動きベクトル候補がない場合、または前述の技法のうちの１つに従って決定された最適の動きベクトルが特定の用途には不十分である場合に生じる。さらに、符号器が、入力シーケンスから出力シーケンスへの（変更されていない）動きベクトルを使用できるのみである場合もある。
【００２２】
図４では、サイズの変更なしに、フレーム・ピクチャに対してフレーム予測を使用している状況を想定されたい。ピクチャＫＴ内のブロックが関連ベクトルｖＫを有することを考えると、ピクチャＴ内の１つまたは複数のブロックは以下に定義された関連ベクトルｖを有することになる。
【００２３】
ｖ＝Ｔｖ*ｖＫ ・・・・・・・・・・・・・・・・・・・・・・・・（６）
上式で、
Ｔｖ＝（ｔＴ−ｔＲ）／（ｔＫＴ−ｔＫＲ）・・・・・・・・・・・（７）
である。
【００２４】
ここで、Ｔｖはベクトルの時間換算係数であり、ｔＫＲ、ｔＫＴ、ｔＲ、およびｔＴは、それぞれピクチャＫＲ、ＫＴ、Ｒ、およびＴの表示時間を表す。フレーム・ピクチャのフィールドが異なる時間に表示されるフレーム・ピクチャの場合、その表示時間にはあいまいな点がある。このような場合、その時間はそれぞれのフィールドの平均であるものとする。ピクチャＫＴからピクチャＴまでのブロックの動きを追跡するには、特定ブロックの左上隅のポイントについて考察する。図４のコンテキストでは、このポイントはピクチャＫＴ内のポイントｑＫおよびピクチャＴ内のポイントｑとして表されている。ポイントｑの動きは、次のように与えられる。
【００２５】
ｑ＝ｑＫ−（Ｔｂ*ｖＫ） ・・・・・・・・・・・・・・・・・・・（８）
上式で、
Ｔｂ＝（ｔＴ−ｔＫＴ）／（ｔＫＴ−ｔＫＲ）・・・・・・・・・・（９）
である。
【００２６】
サイズ変更されたピクチャを含む符号化変換プロセスでは、ピクチャＫＲおよびＫＴは、ピクチャＲおよびＴと同じサイズを含むことはない。サイズ変更は、以下のように対処される。ＲｘおよびＲｙが、それぞれピクチャの水平拡大および垂直拡大を表すとする。すなわち、
【００２７】
Ｒｘ＝（ピクチャＴの幅）／（ピクチャＫＴの幅）・・・・・・・（１０）
および
Ｒｙ＝（ピクチャＴの高さ）／（ピクチャＫＴの高さ）・・・・・（１１）
となる。ピクチャをサイズ変更する場合、式（６）および（８）を以下のように修正する必要がある。
ｖ＝Ｒ（Ｔｖ*ｖＫ） ・・・・・・・・・・・・・・・・・・・・（１２）
および
ｑ＝Ｒ（ｑＫ−（Ｔｂ*ｖＫ）） ・・・・・・・・・・・・・・・（１３）
前述の式は、以下の表記法を導く。
Ｒ（Ｖ）＝（Ｖｘ*Ｒｘ，Ｖｙ*Ｒｙ）・・・・・・・・・・・・・（１４）
【００２８】
上式で、Ｖは２構成要素ポイント（ピクセル）またはベクトルである。Ｒは、異なるブロックサイズではなく異なるピクチャ・サイズを表すことに留意されたい。
【００２９】
サイズ変更は、サイズ変更されたイメージだけではなく、関連するフィールドおよびフレーム・ピクチャ、ならびに関連するフィールドおよびフレーム予測にも適用される。（フィールド・ピクチャとフレーム・ピクチャ双方の）フィールド予測に対応するためには、ボトム・フィールドが、その座標が示すよりも０．５ピクセル低いことに留意されたい。フィールド・ピクチャまたはフレーム・ピクチャの変位（ｄｉｓｐｌａｃｅｍｅｎｔ）ベクトルｄＸは、以下のように定義される。
【００３０】
Ｘがトップフィールドまたはフレームの場合、ｄＸ＝（０，０）・（１５）
および
Ｘがボトム・フィールドの場合、ｄＸ＝（０，０．５）・・・・・（１６）
これを式（１２）および（１３）に当てはめると、ｖおよびｑの新しい式は次のようになる。
ｖ＝Ｒ（Ｔｖ*（ｖＫ＋ｄＫＲ−ｄＫＴ））＋ｄＴ−ｄＲ ・・・・（１７）
および
ｑ＝Ｒ（ｑＫ＋ｄＫＴ−［Ｔｂ*（ｖＫ＋ｄＫＲ−ｄＫＴ）］）−ｄＴ
・・・・・・・・・・（１８）
【００３１】
したがって、本発明の実施に使用される最終的な式は、（７）、（９）、および（１４）から（１８）の式である。
【００３２】
最終的に、図２の中間処理ユニット２０５がイメージをクロッピングするものと仮定する。上記の式を、以下のように適用することができる。ピクチャＲおよびＴは、元のピクチャと同じサイズであり、それらの適切な位置に出力イメージが埋め込まれたとみなす。この位置が、着目する領域を画定する。着目する領域にオーバラップするブロックだけが、外挿に使用される。次いで、図１から図４ならびにこれらから導出された式が、このケースに当てはめられる。
【００３３】
前述の開示は、均質性を示唆する場合がある。すなわち、ピクチャＴがフィールド・ベースの予測を使用するフレーム・ピクチャである場合は、ピクチャＫＴもフィールド・ベースの予測を使用するフレーム・ピクチャである。ただし以前に考察した式は、以下の例が示すように、より一般的なものである。
【００３４】
ピクチャＴがフレーム・ベースの予測を使用し、ピクチャＫＴがフィールド・ベースの予測を使用すると仮定する。本発明では、ピクチャＫＴがフィールド・ピクチャであるかフレーム・ピクチャであるかは問題ではない。どちらの場合も、ピクチャＫＴの動きベクトルはフィールド・ベースであるため、Ｒｙ＝２およびＲｘ＝１である。ピクチャＫＴがフレーム・ピクチャである場合、そのブロックは１６×８であるが、これは前述の式に対してトランスペアレント（ｔｒａｎｓｐａｒｅｎｔ）である。ブロックが１６×８の予測を使用する場合、その２つの半分（ｈａｌｖｅｓ）は、２つの別々のブロックとして扱われなければならない。
【００３５】
次に、ピクチャＴおよびピクチャＫＴがフィールド・ベースの予測を使用すると仮定する。この場合、どちらのピクチャのベクトルも同じサイズのイメージを表すため、サイズ変更は不要であり、Ｒｘ＝Ｒｙ＝１である。すなわち、本発明を実施するにあたって、フィールド・ピクチャとフレーム・ピクチャが混在しているかどうか、またはフィールド予測とフレーム予測が混在しているかどうかは、式には無関係である。
【００３６】
前述の開示で示したように、ピクチャＫＴ内のブロックがデュアル・プライム（ｄｕａｌ ｐｒｉｍｅ）を使用している場合、その２つのベクトルは、おそらく異なる重みで別々に適用される。また、デュアル・プライム（ｄｕａｌ ｐｒｉｍｅ）の結果としてピクチャＴを見積もることは、双方向補間の結果としてそれを見積もることとほとんど同じである。すなわち、各ベクトルは別々に見積もられ、次いで組み合わせが見積もられる。したがって、本発明は、すべてのＭＰＥＧ−２予測モード：フレーム・ピクチャに関するフレーム予測、フィールド予測、およびデュアル・プライム（ｄｕａｌ ｐｒｉｍｅ）予測、ならびにフィールド・ピクチャに関するフィールド予測、デュアル・プライム（ｄｕａｌ ｐｒｉｍｅ）予測、および１６×８予測、をサポートする。
【００３７】
本明細書で開示された式は、一般に非線形動きではなく線形動きの状況に向けられたものである。たとえば非線形動きは、ピクチャ内でのカメラ・ジッタまたはオブジェクトの均一な加速から発生する場合がある。このような非線形動きのインスタンス（場合）は、以下のように処理することができる。カメラ・ジッタに関連付けられた非線形動きの場合、ブロック動きと比較する前に、全体的な動きを計算から除外することが望ましいことがある。そのために、既知のＭＳＥおよびＭＡＤ計算を使用することができる。オブジェクトの均一な加速に関連付けられた非線形動きの場合は、この動きを２つではなく３つのピクチャを使用して外挿することが望ましいことがある。
【００３８】
以上、何が本発明の好ましい実施形態であると考えられるかについて図示および説明してきたが、当分野の技術者であれば、様々な変更および修正が実行可能であり、本発明の真の範囲から逸脱することなく、本発明の要素について均等物と置き換え可能であることを理解されよう。さらに、本発明の中心範囲から逸脱することなく、数多くの修正を実行することができる。したがって、本発明は、本発明を実施するために意図された最適のモードとして開示された特定の実施形態に限定されるものではないが、本発明が添付の特許請求の範囲内にあるすべての実施形態を含むことを意図している。
【図面の簡単な説明】
本発明のより正しい評価、およびそれに付随する多くの利点は、添付の図面と共に考察される以下の詳細な説明を参照することによって容易に明らかになると同時に、より良く理解されることになるであろう。
【図１】 動きベクトル外挿の基本原理を示す図である。
【図２】 本発明の原理に従って構築された符号化変換システムを示す図である。
【図３】 本発明の原理に従って１つのＧＯＰ構造から他のＧＯＰ構造へピクチャを符号化変換するプロセスを示す図である。
【図４】 符号化変換に適用する場合の動きベクトル外挿についてさらによく理解するために使用できる、動きベクトル外挿の一般的なケースを示す図である。
（政府使用許諾権）
米国政府は、本発明における支払い済み許可証、ならびに国立標準技術研究所（Ｎａｔｉｏｎａｌ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｓｔａｎｄａｒｄｓ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ）によって認められた契約番号７０ＮＡＮＢ５Ｈ１１７１の条項によって提供されるような妥当な条項で特許権所有者に対して他者に使用を許可するように要求するための限定状況内での権利を有する。
【０００２】
（発明の分野）
本発明は、一般にビデオ・シーケンスの符号化変換における動き推定（ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ）に関し、より具体的に言えば、受け取ったビデオ・シーケンスから外挿された動き情報を使用することにより、受け取ったビデオ・シーケンスを符号化変換する、それに関して符号化変換プロセスからの動き推定を最小限にするか、または、なくすための技法に関する。
【０００３】
（発明の背景）
データ圧縮技法は、大量のデータを比較的小さな帯域幅を介して伝送できるようにするものである。圧縮システムで使用されるアルゴリズムは、使用可能な帯域幅または記憶域容量、アプリケーションが必要とする機能、ならびに圧縮アルゴリズム（符号器および復号器）を実施するために必要なハードウェアの入手可能性に依存している。本明細書で引用文献に基づいて組み込まれるＭｏｖｉｎｇ Ｐｉｃｔｕｒｅｓ Ｅｘｐｅｒｔ Ｇｒｏｕｐ−ｔｙｐｅ ２（「ＭＰＥＧ−２」）の圧縮標準は、ビデオ・データの圧縮に関するよく知られた技法である。ビデオ符号器が動きベクトルの算出に使用するプロセスである動き推定は、一般に、符号化プロセスの中で最もコストのかかる部分であるとみなされる。同様に動き推定は、ビデオ・シーケンスが復号化され、次いで新しいパラメータで再符号化される符号化変換（ｔｒａｎｓｃｏｄｉｎｇ）プロセスの中で最もコストのかかる部分である可能性が高い。高精細度テレビ（「ＨＤＴＶ」）の出現により、テレビジョン・スタジオはピクチャ・データのＭＰＥＧ−２ビットストリームをある形式から別の形式へと符号化変換する必要が生じるため、これは重要な関心事である。たとえば、ＨＤＴＶ標準に対応しているテレビジョン・スタジオは、ＭＰＥＧ−２ビットストリームを１つのピクチャ・グループ（「ＧＯＰ」）構造から他の構造へ、１つのピクチャ・サイズから他のサイズへ、および／またはあるビット・レートから他のビット・レートへ、符号化変換できなければならない。これらのスタジオは、ＭＰＥＧ−２ピクチャをフィールド・ピクチャからフレーム・ピクチャへ、またはフレーム・ピクチャからフィールド・ピクチャへ符号化変換する必要が生じる場合がある。さらにまたスタジオは、ＭＰＥＧ−２ピクチャをインターレース・シーケンス（ｉｎｔｅｒｌａｃｅｄ ｓｅｑｕｅｎｃｅ）から順次シーケンス（ｐｒｏｇｒｅｓｓｉｖｅ ｓｅｑｕｅｎｃｅ）へ、または順次シーケンスからインターレース・シーケンスへ符号化変換する必要が生じる場合もある。符号化変換は、入力が主イメージを表し符号化変換された出力が主イメージ内の副イメージを表す、「クロッピング（ｃｒｏｐｐｉｎｇ）」機能を実行するためにも使用することができる。
【０００４】
（発明の概要）
したがって、本発明の一目的は、動き推定を最小限にするか、または、なくすようなビデオ・シーケンスの符号化変換技法を提供することである。
【０００５】
他の目的は、入力ビットストリームからの動き情報を利用して、符号化変換された出力ビットストリーム用の動きベクトルを生成する、ビデオ・シーケンスの符号化変換技法を提供することである。
【０００６】
他の目的は、すべてのＭＰＥＧ−２予測モードをサポートする符号化変換プロセス用の、動き推定技法を提供することである。
【０００７】
これらおよび他の目的は、識別可能な符号化パラメータを有する圧縮されたイメージ・データの第１のビットストリームを受け取ることによって実行される、符号化変換方式を備えた本発明の原理に従って達成できるものである。これらのパラメータは、第１のビットストリーム内に表されたピクチャのＧＯＰ構造、第１のビットストリーム内に表されたピクチャのサイズ、第１のビットストリーム内に表されたピクチャがフィールド・ピクチャであるかフレーム・ピクチャであるか、および／または第１のビットストリーム内に表されたピクチャが順次シーケンスを定義するかまたはインターレース・シーケンスを定義するかに関係させることができる。第１の動き情報が第１のビットストリームから取得され、圧縮されたイメージ・データの第２のビットストリームに関する第２の動き情報を外挿するために使用される。第２のビットストリームは、第１のビットストリームのパラメータとは異なる１つまたは複数のパラメータを有し、符号化変換済み出力として提供される。
【０００８】
（発明の詳細な説明）
ここで図１を参照すると、動きベクトル外挿（ｅｘｔｒａｐｏｌａｔｉｏｎ）の基本原理が示されている。一般に、動きベクトル外挿とは、動きがシーケンス内のどこでも既知である場合に、ビデオ・シーケンス内の１つのイメージに関する動きを推定するための技法である。図１では、ピクチャＢ内の太線で表された四角形が、ビデオ・ピクチャ内にあるピクセル（別名ペル）の個々のブロックを表す。ピクチャ内の各ブロックは、固定位置を有するものと仮定されている。ＭＰＥＧ−２では、これらのブロックは「マクロブロック」と呼ばれ、それぞれが１６×１６ピクセルのブロックで構成される。図１の実線矢印は、ピクチャＡからピクチャＢに移動したブロックとして太線ブロックの既知の動きを表す。実際に、それは、動いたブロック内のイメージであって、固定位置にあるブロックそのものではない。動きベクトルによって定義されるこの既知の動きは、そのブロックがピクチャＢからピクチャＣへ動くとして、ブロックの動きを外挿するために使用される。図１の点線矢印は、外挿される動きベクトルを表す。図１は（添付の他の図面と同様に）ブロックに関連付けられたベクトルが基準ピクチャ内のブロックの「ソース（ｓｏｕｒｃｅ）」を示すという、一般的な符号化規則を使用しているので、図１内の矢印は実際には動きと反対の方向を示す。所与の動きベクトルは、実際にはそれぞれが２つのピクチャ間でのブロックの水平動きおよび垂直動きを示す１組のｘおよびｙ座標として表される。通常、外挿は、動きが時間的に均一であり空間的に「平滑（ｓｍｏｏｔｈ）」であると仮定する。したがって、ピクチャＢ内のそのブロックはピクチャＣに示された位置まで動くと期待され、それがオーバラップするすべてのブロックは、ほぼ同じ動きをすると期待される。
【０００９】
次に図２を参照すると、本発明の原理に従って構築された符号化変換システムが示されている。図２では、符号化変換システム２００が圧縮されたイメージ・データのＭＰＥＧ−２の入力ビットストリーム２０１を受け取る。特定のビット・レートを提示するこの入力ビットストリーム２０１は、所与のサイズおよびＧＯＰ構造のピクチャを表す。入力ビットストリーム２０１のピクチャ・データはフィールド・ピクチャまたはフレーム・ピクチャで構成され、順次シーケンスまたはインターレース・シーケンスを表すことが可能である。当分野で知られているＭＰＥＧ−２デコーダ（復号器）２０２は、入力ビットストリーム２０１を受け取り、それを復号して圧縮解除されたデジタル・イメージ・データ２０３の出力を生成する。デコーダ２０２は、別の出力２０４として、入力ビットストリーム２０１からの動き情報（すなわち動きベクトル）も提供する。デジタル・イメージ・データ２０３は中間処理ユニット２０５に入力され、中間処理ユニット２０５はピクセル・ドメイン内で動作し、既知の様式でデジタル・イメージ・データ２０３によって表されたピクチャのサイズを変更することができる。この中間処理ユニット２０５は、ピクチャのサイズ変更に加えて、デジタル・イメージ・データ２０３で表された主イメージ内にある副イメージを分離することによって既知のクロッピング機能を実行することができ、副イメージとして表されるデータの出力を提供する。中間処理ユニット２０５は、ピクチャの順次シーケンスをピクチャのインターレース・シーケンスに符号化変換するとき、およびピクチャのインターレース・シーケンスをピクチャの順次シーケンスに符号化変換するときに必要な、既知のインターレース化操作および非インターレース化操作を実行することもできる。中間処理ユニット２０５は、どの処理操作（あれば）が実行されるかを示し、さらにそのような処理で使用されるパラメータを示す外部入力２０６に応動して、それ自体の操作（ｏｐｅｒａｔｉｏｎ）を実行する。中間処理ユニット２０５の操作は任意選択である（ｏｐｔｉｏｎａｌ）ため、所与の符号化変換アプリケーションに対してピクチャのサイズ変更、クロッピング、インターレース化、および非インターレース化が実行されない場合、中間処理ユニット２０５は単なるパス・スルー・ユニットとして動作し、どのようなピクセル・ドメイン処理もなしに、デジタル・イメージ・データ２０７の出力を提供する。この場合、デジタル・イメージ・データ２０７およびデジタル・イメージ・データ２０３は、明らかに同じである。これに代わって、所与の符号化変換アプリケーションに対してこれら１つまたは複数の操作が実行される場合、中間処理ユニット２０５はピクセル・ドメイン処理操作を実行し、その結果処理されたデジタル・イメージ・データ２０７の出力を提供する。このデジタル・イメージ・データ２０７は、中間処理ユニット２０５によって処理されたか否かにかかわらず、ＭＰＥＧ−２符号器２０８に入力され、この符号器が、受け取ったイメージ・データ２０７を外部入力２０９が示す新しいパラメータを使用して再符号化する。たとえば、符号器２０８は、入力ビットストリーム２０１によって表されるピクチャのＧＯＰ構造とは異なるＧＯＰ構造のピクチャを表すように、デジタル・イメージ・データ２０７を符号化し、および／またはそのビット・レートを調節することができる。符号器２０８は、デジタル・イメージ・データ２０７を、フィールド・ピクチャまたはフレーム・ピクチャとして符号化することもできる。符号化プロセスを実行する場合、符号器２０８は、復号器２０２からの出力２０４内にある動き情報を使用して、再符号化されるピクチャ用に動きベクトルを外挿する。その後、再符号化されたピクチャは、ＭＰＥＧ−２圧縮されたデジタル・イメージ・データの出力ビットストリーム２１０として、符号化変換システム２００から提供される。
【００１０】
前述のように、この出力ビットストリーム２１０は、入力ビットストリーム２０１のサイズおよびＧＯＰ構造とは異なるピクチャ・サイズおよびＧＯＰ構造を表すことが可能であり、出力ビットストリーム２１０のビット・レートは、入力ビットストリーム２０１のビット・レートと異なるように制御することが可能である。さらに、入力ビットストリーム２０１がフレーム・ピクチャを表すのに反して、出力ビットストリーム２１０がフィールド・ピクチャを表すことができ、または、入力ビットストリーム２０１がフィールド・ピクチャを表すのに反して、出力ビットストリーム２１０がフレーム・ピクチャを表すことができる。同様に、入力ビットストリーム２０１が順次シーケンスを表すのに反して、出力ビットストリーム２１０がインターレース・シーケンスを表すことができ、または、入力ビットストリーム２０１がインターレース・シーケンスを表すのに反して出力ビットストリーム２１０が順次シーケンスを表すことができる。さらに、出力ビットストリーム２１０は入力ビットストリーム２０１の「クロップ」されたバージョンを表すこともできる。本質的には、符号化変換システム２００は一定のパラメータを有する入力ビットストリーム２０１を受け取り、その入力ビットストリーム２０１を符号化変換して、その入力ビットストリーム２０１のパラメータとは異なる１つまたは複数のパラメータを有する出力ビットストリーム２１０を生成する。この符号化変換システム２００は、入力ビットストリーム２０１からの動き情報を使用して、出力ビットストリーム２１０用の動き情報を外挿するという点において類の無いものである。
【００１１】
次に図３を参照すると、本発明の原理に従って、１つのＧＯＰ構造から他のＧＯＰ構造へピクチャを符号化変換するプロセスが示されている。図３では、入力ビットストリームは、内部符号化ピクチャ（ｉｎｔｒａ−ｃｏｄｅｄ ｐｉｃｔｕｒｅ）（「Ｉピクチャ」）、双方向予測符号化ピクチャ（「Ｂピクチャ」）、Ｂピクチャ、および予測符号化ピクチャ（「Ｐピクチャ」）のＧＯＰ構造を有するピクチャを表している。すなわち、入力ビットストリームは、「ＩＢＢＰ」ＧＯＰ構造を表している。図３に示すように、入力ビットストリームの２つの連続するＢピクチャは、明確化のためにＢ１およびＢ２とラベル付けされる。この入力ビットストリームは、図２中の入力ビットストリーム２０１に類似している。符号化変換プロセス中で、「ＩＢＢＰ」のＧＯＰ構造を有する入力ビットストリームは、「ＩＰＰＰ」のＧＯＰ構造を有する出力ビットストリームに変換される。図３に示すように、出力ビットストリームの３つの連続するＰピクチャは、明確化のためにＰ１、Ｐ２、およびＰ３としてラベル付けされる。この出力ビットストリームは、図２中の出力ビットストリーム２１０に類似している。混乱を最小限にするために、個々のピクチャを構成するマクロブロックは図３において表示されない。符号化変換プロセスを実行するために、入力ビットストリームからのＩ−ＰおよびＰ−Ｂ２動きベクトルを利用して、出力ビットストリーム用の動きベクトルを外挿する。たとえば、図３に示すように、入力ビットストリームからのＩ−Ｐ動きベクトルを使用して、出力ビットストリーム用のＰ１−Ｐ２動きベクトルを推定することができる。同様に、入力ビットストリームからのＰ−Ｂ２動きベクトルを使用して、出力ビットストリーム用のＰ２−Ｐ３動きベクトルを推定することができる。
【００１２】
次に、ビデオ・シーケンスの４つのピクチャを示す図４を参照しながら、本発明の動きベクトルの外挿プロセスについてさらに詳細に説明する。これら４つのピクチャは、概念上、出力ビットストリーム内にも入力ビットストリーム内にも存在し、これは通常、実際のケースである。いずれの場合でも、図４のピクチャＴは、ピクチャＲに相対してその動きが決定される「ターゲット」ピクチャである。これらのピクチャは、どちらも出力ビットストリーム内に存在する。ピクチャＫＲおよびピクチャＫＴは、その相対的動きが入力ビットストリームから得られるピクチャである。本発明の原理に従い、ピクチャＫＲとピクチャＫＴとの間の既知の動きは、出力ビットストリーム用の動きベクトルを外挿するために使用することができる。ピクチャＫＲおよびピクチャＫＴは「基本ペア」と呼ばれ、ピクチャＲおよびピクチャＴは「カーレント・ペア」として参照される。いくつかの基本ペアを、１つの現在ペアの動きを推定するのに役立たせることができる。一般に、カーレント・ペアに一時的に近接するどんな基本ペアも、この目的に潜在的に役立つ。
【００１３】
符号化変換プロセス中には、ピクチャＴ内のいくつかのブロックが動き外挿情報を受け取らない場合がある。すなわち、ピクチャＴ内のいくつかのブロックが、近くの基本ペア内にあるどんなブロックの動きともオーバラップしない場合がある。ピクチャＴ内のこのようなブロックは、単に内部符号化するか、またはその動きを従来の様式で計算することができる。あるいは、このようなブロックの動きを近くのブロックから推測するかまたは内挿することができる。ただし大抵の場合、基本ペア内のいくつかのブロックが、ピクチャＴ内のほとんどのブロックとオーバラップしているため、その後のタスクは、いくつかの動きベクトル候補間から最良の動きベクトルを選択することになる。基本ペアからのオーバラップ・ブロックは、単一の動きベクトル候補を提供する。これは、複数の動きベクトル候補間から選択する場合、各動きベクトルに重みを付け、最大の重みを有する動きベクトルを選択するのに役立つ。図４のピクチャを一例として使用し、各動きベクトル候補の重み（ＭＶ）を以下のように計算される。
【００１４】
重み合計（ＭＶ）＝（オーバラップ重み）*（ピクチャ重み）*（丸め重み）
・・・・・・・・・・・・・（１）
上式では、
オーバラップ重み＝（ピクチャＴの対応するブロック内にあるピクセルとオーバラップするピクチャＫＴのブロック内にあるピクセル数）・・・・・・（２）
ピクチャ重み＝１／［１＋ａｂｓ（時間重み）］・・・・・・・・・・（３）
であって、さらに上式では
時間重み＝（ｔＫＴ−ｔＫＲ）*［（ｔＫＲ＋ｔＫＴ）−（ｔＴ＋ｔＲ）］
・・・・・・・・・・・・・（４）
および
丸め重み＝［１−（水平丸め誤差）］*［１−（垂直丸め誤差）］ ・・（５）
である。
【００１５】
前述の式（１）から（５）では、ｔＫＲ、ｔＫＴ、ｔＲ、およびｔＴがそれぞれピクチャＫＲ、ＫＴ、Ｒ、およびＴの表示時間を表す。記号”*”および”ａｂｓ”は、それぞれ乗法演算子および絶対値指示を表す。外挿されたベクトルが最も近い半分のピクセルに丸められたとき、したがって、それぞれがゼロ（０）から２分の１（１／２）の値をとるときに、水平および垂直の丸め誤差が生じる。式（１）から（５）は図４のピクチャに適用されたときを示すものであるが、これらの一般式は、他のピクチャ構成に適用可能であることが直観できるはずである。
【００１６】
本発明では、最大の重みを有する動きベクトル候補を単純に選択する技法に加えて、所与のブロックについて最適の動きベクトルを得る他の方法を意図する。代替の実施形態によれば、前述の式（１）から（５）を使用して重みが計算される場合の、重み付けされた平均を計算することができる。次いでこれらの重みを使用し、重み付けされた構成要素を生成するために重み値に対応する動きベクトルのｘまたはｙ構成要素を掛けること、重み付けされた構成要素を合計すること、ならびに重み付けされた構成要素の合計を重みの合計で割ることによって、最適の動きベクトルを構成要素ベースで計算することができる。
【００１７】
前述の重み付けの平均技法は、「クラスタ」ベースで実行することもできる。すなわち、動きベクトル候補のｘ−ｙプロッティングが動きベクトルの一つのクラスタ（すなわち近接するグループ分け（ｃｌｏｓｅ ｇｒｏｕｐｉｎｇ））以上のクラスタを示す場合、各クラスタについて最適の動きベクトルを計算することができる。これが、クラスタの重心、すなわち「質量中心」である。その後、個々のクラスタの最適の動きベクトルから、最終的な最適の動きベクトルを選択することができる。
【００１８】
最適の動きベクトルは、重みをまったく使用せずに、複数の動きベクトル候補からも選択できることに留意されたい。たとえば、最適の動きベクトルを識別するために、ブロック間のピクセル差を表す、平均平方誤差（ＭＳＥ）または平均絶対差（ＭＡＤ）の計算を実行することができる。もちろん、ＭＳＥおよびＭＡＤ計算を使用することは、当分野の技術者にはよく知られている。
【００１９】
表１にリスト表示された以下のアルゴリズムは、ターゲット・ピクチャ（たとえば図４のピクチャＴ）のそれぞれ可能な予測モードについて、最適の動きベクトルを見つけるためのステップを示している。擬似コードで表されたこれらのステップは、当分野の技術者に知られたどのようなプログラミング言語ででもプログラミング可能である。
【００２０】
＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊
表１：最適の動きベクトルを見つけるための擬似コード
＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊
−ｆｏｒ ターゲット・ピクチャ用とみなされる各予測モードについて
（現在ペア）
−ｆｏｒ 適用可能モードの各フィールドまたはフレームについて
（トップフィールド、ボトム・フィールド、フレーム）
−ターゲット・ピクチャ内のブロックごとに索引付けされたテーブルを
初期設定する
−ｆｏｒ カーレント・ペアに役立つとみなされる各基本ペアについて
（たとえば、基本ペアが事前設定範囲内で一時的に近接する場合
この基本ペアは一般に「役立つ」とみなされる）
−基本ペアのターゲット内にある各内部符号化ブロックの
各動きベクトについて
−ターゲット・ピクチャ内でベクトルがブロックをどこへ
移動させるかを決定する
−ベクトルの重みを計算するか、またはその合致を評価する
（たとえばＭＳＥ、ＭＡＤ）
−関連するターゲット・ピクチャ・ブロックの
テーブル・エントリ内に情報を格納する
−ｆｏｒ ターゲット・ピクチャ内の各ブロックについて
−フィールドまたはフレームについて最適の動きベクトルを決定する
−ｆｏｒ ターゲット・ピクチャ内の各ブロックについて
−最適の予測モードおよび対応する動きベクトルを決定する
＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊
【００２１】
複数の動きベクトルが、フレーム・ピクチャのフィールド予測およびＰピクチャのデュアル・プライム（ｄｕａｌ ｐｒｉｍｅ）など、いくつかの予測モードで所与の１つのブロックに関連付けられていることに留意されたい。また、Ｂピクチャの場合、符号器は、前方予測、後方予測、またはその両方のいずれを使用するかを各ブロックについて決定しなければならない。場合によっては、許容可能な結果を生成する予測モードがないことがある。これは、動きベクトル候補がない場合、または前述の技法のうちの１つに従って決定された最適の動きベクトルが特定の用途には不十分である場合に生じる。さらに、符号器が、入力シーケンスから出力シーケンスへの（変更されていない）動きベクトルを使用できるのみである場合もある。
【００２２】
図４では、サイズの変更なしに、フレーム・ピクチャに対してフレーム予測を使用している状況を想定されたい。ピクチャＫＴ内のブロックが関連ベクトルｖＫを有することを考えると、ピクチャＴ内の１つまたは複数のブロックは以下に定義された関連ベクトルｖを有することになる。
【００２３】
ｖ＝Ｔｖ*ｖＫ ・・・・・・・・・・・・・・・・・・・・・・・・（６）
上式で、
Ｔｖ＝（ｔＴ−ｔＲ）／（ｔＫＴ−ｔＫＲ）・・・・・・・・・・・（７）
である。
【００２４】
ここで、Ｔｖはベクトルの時間換算係数であり、ｔＫＲ、ｔＫＴ、ｔＲ、およびｔＴは、それぞれピクチャＫＲ、ＫＴ、Ｒ、およびＴの表示時間を表す。フレーム・ピクチャのフィールドが異なる時間に表示されるフレーム・ピクチャの場合、その表示時間にはあいまいな点がある。このような場合、その時間はそれぞれのフィールドの平均であるものとする。ピクチャＫＴからピクチャＴまでのブロックの動きを追跡するには、特定ブロックの左上隅のポイントについて考察する。図４のコンテキストでは、このポイントはピクチャＫＴ内のポイントｑＫおよびピクチャＴ内のポイントｑとして表されている。ポイントｑの動きは、次のように与えられる。
【００２５】
ｑ＝ｑＫ−（Ｔｂ*ｖＫ） ・・・・・・・・・・・・・・・・・・・（８）
上式で、
Ｔｂ＝（ｔＴ−ｔＫＴ）／（ｔＫＴ−ｔＫＲ）・・・・・・・・・・（９）
である。
【００２６】
サイズ変更されたピクチャを含む符号化変換プロセスでは、ピクチャＫＲおよびＫＴは、ピクチャＲおよびＴと同じサイズを含むことはない。サイズ変更は、以下のように対処される。ＲｘおよびＲｙが、それぞれピクチャの水平拡大および垂直拡大を表すとする。すなわち、
【００２７】
Ｒｘ＝（ピクチャＴの幅）／（ピクチャＫＴの幅）・・・・・・・（１０）
および
Ｒｙ＝（ピクチャＴの高さ）／（ピクチャＫＴの高さ）・・・・・（１１）
となる。ピクチャをサイズ変更する場合、式（６）および（８）を以下のように修正する必要がある。
ｖ＝Ｒ（Ｔｖ*ｖＫ） ・・・・・・・・・・・・・・・・・・・・（１２）
および
ｑ＝Ｒ（ｑＫ−（Ｔｂ*ｖＫ）） ・・・・・・・・・・・・・・・（１３）
前述の式は、以下の表記法を導く。
Ｒ（Ｖ）＝（Ｖｘ*Ｒｘ，Ｖｙ*Ｒｙ）・・・・・・・・・・・・・（１４）
【００２８】
上式で、Ｖは２構成要素ポイント（ピクセル）またはベクトルである。Ｒは、異なるブロックサイズではなく異なるピクチャ・サイズを表すことに留意されたい。
【００２９】
サイズ変更は、サイズ変更されたイメージだけではなく、関連するフィールドおよびフレーム・ピクチャ、ならびに関連するフィールドおよびフレーム予測にも適用される。（フィールド・ピクチャとフレーム・ピクチャ双方の）フィールド予測に対応するためには、ボトム・フィールドが、その座標が示すよりも０．５ピクセル低いことに留意されたい。フィールド・ピクチャまたはフレーム・ピクチャの変位（ｄｉｓｐｌａｃｅｍｅｎｔ）ベクトルｄＸは、以下のように定義される。
【００３０】
Ｘがトップフィールドまたはフレームの場合、ｄＸ＝（０，０）・（１５）
および
Ｘがボトム・フィールドの場合、ｄＸ＝（０，０．５）・・・・・（１６）
これを式（１２）および（１３）に当てはめると、ｖおよびｑの新しい式は次のようになる。
ｖ＝Ｒ（Ｔｖ*（ｖＫ＋ｄＫＲ−ｄＫＴ））＋ｄＴ−ｄＲ ・・・・（１７）
および
ｑ＝Ｒ（ｑＫ＋ｄＫＴ−［Ｔｂ*（ｖＫ＋ｄＫＲ−ｄＫＴ）］）−ｄＴ
・・・・・・・・・・（１８）
【００３１】
したがって、本発明の実施に使用される最終的な式は、（７）、（９）、および（１４）から（１８）の式である。
【００３２】
最終的に、図２の中間処理ユニット２０５がイメージをクロッピングするものと仮定する。上記の式を、以下のように適用することができる。ピクチャＲおよびＴは、元のピクチャと同じサイズであり、それらの適切な位置に出力イメージが埋め込まれたとみなす。この位置が、着目する領域を画定する。着目する領域にオーバラップするブロックだけが、外挿に使用される。次いで、図１から図４ならびにこれらから導出された式が、このケースに当てはめられる。
【００３３】
前述の開示は、均質性を示唆する場合がある。すなわち、ピクチャＴがフィールド・ベースの予測を使用するフレーム・ピクチャである場合は、ピクチャＫＴもフィールド・ベースの予測を使用するフレーム・ピクチャである。ただし以前に考察した式は、以下の例が示すように、より一般的なものである。
【００３４】
ピクチャＴがフレーム・ベースの予測を使用し、ピクチャＫＴがフィールド・ベースの予測を使用すると仮定する。本発明では、ピクチャＫＴがフィールド・ピクチャであるかフレーム・ピクチャであるかは問題ではない。どちらの場合も、ピクチャＫＴの動きベクトルはフィールド・ベースであるため、Ｒｙ＝２およびＲｘ＝１である。ピクチャＫＴがフレーム・ピクチャである場合、そのブロックは１６×８であるが、これは前述の式に対してトランスペアレント（ｔｒａｎｓｐａｒｅｎｔ）である。ブロックが１６×８の予測を使用する場合、その２つの半分（ｈａｌｖｅｓ）は、２つの別々のブロックとして扱われなければならない。
【００３５】
次に、ピクチャＴおよびピクチャＫＴがフィールド・ベースの予測を使用すると仮定する。この場合、どちらのピクチャのベクトルも同じサイズのイメージを表すため、サイズ変更は不要であり、Ｒｘ＝Ｒｙ＝１である。すなわち、本発明を実施するにあたって、フィールド・ピクチャとフレーム・ピクチャが混在しているかどうか、またはフィールド予測とフレーム予測が混在しているかどうかは、式には無関係である。
【００３６】
前述の開示で示したように、ピクチャＫＴ内のブロックがデュアル・プライム（ｄｕａｌ ｐｒｉｍｅ）を使用している場合、その２つのベクトルは、おそらく異なる重みで別々に適用される。また、デュアル・プライム（ｄｕａｌ ｐｒｉｍｅ）の結果としてピクチャＴを見積もることは、双方向補間の結果としてそれを見積もることとほとんど同じである。すなわち、各ベクトルは別々に見積もられ、次いで組み合わせが見積もられる。したがって、本発明は、すべてのＭＰＥＧ−２予測モード：フレーム・ピクチャに関するフレーム予測、フィールド予測、およびデュアル・プライム（ｄｕａｌ ｐｒｉｍｅ）予測、ならびにフィールド・ピクチャに関するフィールド予測、デュアル・プライム（ｄｕａｌ ｐｒｉｍｅ）予測、および１６×８予測、をサポートする。
【００３７】
本明細書で開示された式は、一般に非線形動きではなく線形動きの状況に向けられたものである。たとえば非線形動きは、ピクチャ内でのカメラ・ジッタまたはオブジェクトの均一な加速から発生する場合がある。このような非線形動きのインスタンス（場合）は、以下のように処理することができる。カメラ・ジッタに関連付けられた非線形動きの場合、ブロック動きと比較する前に、全体的な動きを計算から除外することが望ましいことがある。そのために、既知のＭＳＥおよびＭＡＤ計算を使用することができる。オブジェクトの均一な加速に関連付けられた非線形動きの場合は、この動きを２つではなく３つのピクチャを使用して外挿することが望ましいことがある。
【００３８】
以上、何が本発明の好ましい実施形態であると考えられるかについて図示および説明してきたが、当分野の技術者であれば、様々な変更および修正が実行可能であり、本発明の真の範囲から逸脱することなく、本発明の要素について均等物と置き換え可能であることを理解されよう。さらに、本発明の中心範囲から逸脱することなく、数多くの修正を実行することができる。したがって、本発明は、本発明を実施するために意図された最適のモードとして開示された特定の実施形態に限定されるものではないが、本発明が添付の特許請求の範囲内にあるすべての実施形態を含むことを意図している。
【図面の簡単な説明】
本発明のより正しい評価、およびそれに付随する多くの利点は、添付の図面と共に考察される以下の詳細な説明を参照することによって容易に明らかになると同時に、より良く理解されることになるであろう。
【図１】 動きベクトル外挿の基本原理を示す図である。
【図２】 本発明の原理に従って構築された符号化変換システムを示す図である。
【図３】 本発明の原理に従って１つのＧＯＰ構造から他のＧＯＰ構造へピクチャを符号化変換するプロセスを示す図である。
【図４】 符号化変換に適用する場合の動きベクトル外挿についてさらによく理解するために使用できる、動きベクトル外挿の一般的なケースを示す図である。
Claims (16)
- 第１のピクチャ・グループ（ＧＯＰ）構造を有する圧縮されたデータの第１のビットストリームから、符号化変換されたピクチャを表す出力ビットストリームを生成し、前記符号化変換されたピクチャは、前記第１のＧＯＰ構造とは異なる少なくとも１つの第２のＧＯＰ構造を有する符号化変換方法であって、
前記第１のビットストリームを受け取る第１のステップと、
前記第１のビットストリームにおける１つ以上のピクチャの少なくも２つのマクロブロックから第１および第２の動き情報を取得する第２のステップであって、前記第１および第２の動き情報は、前記出力ビットストリームに含まれる予測符号化ピクチャにおけるマクロブロックを生成するために利用できる、第２のステップと、
前記第１および第２の動き情報から生成される前記マクロブロックのための動き情報を得るために、前記生成されるマクロブロックと、前記第１および第２の動き情報を有する前記マクロブロックとの相互関係に基づいて前記第１および第２の動き情報の各重みを計算する第３のステップと、
前記計算された第１の動き情報の重みが前記計算された第２の動き情報の重みより重い場合に、前記生成されたマクロブロックの前記符号化変換プロセスで用いられる第３の動き情報を生成するために、前記第１の動き情報を利用する第４のステップと、
前記第３の動き情報を用いることにより、生成される前記マクロブロックを符号化変換する第５のステップと、
前記第２から第５までのステップを順番に繰り返すことにより前記第１のビットストリームを符号化変換することにより前記第２のビットストリームを出力するステップとを備えることを特徴とする符号化変換方法。 - 前記第５のステップは、前記第１のビットストリームのビット・レートが前記第２のビットストリームのビット・レートとは異なるように、前記第２のビットストリームの前記ビット・レートを制御するステップを含むことを特徴とする請求項１に記載の方法。
- 前記第５のステップは、前記第２のビットストリームによって表されるピクチャが、前記第１のビットストリームによって表されるピクチャのサイズとは異なるサイズを提示するように、前記第１のビットストリームによって表されるピクチャの前記サイズを調整するステップを含むことを特徴とする請求項１に記載の方法。
- 前記第５のステップは、前記第２のビットストリームによって表されるピクチャが、前記第１のビットストリームによって表されるピクチャのサイズとは異なるサイズを提示するように、前記第１のビットストリームによって表される前記ピクチャの前記サイズを調整するステップを含むことを特徴とする請求項２に記載の方法。
- 前記第５のステップは、前記第１のビットストリームによって表される前記ピクチャがフレーム・ピクチャとして既に符号化されている前記第２のビットストリームによって表される前記ピクチャを符号化するステップを含むことを特徴とする請求項４に記載の方法。
- 前記第５のステップは、前記第１のビットストリームによって表される前記ピクチャがフィールド・ピクチャとして既に符号化されているときに、前記第２のビットストリームによって表される前記ピクチャをフレーム・ピクチャとして符号化するステップをさらに含むことを特徴とする請求項４に記載の方法。
- 前記第５のステップは、前記第２のビットストリームによって表される前記ピクチャがインターレース・シーケンスとして出力されるように、前記第１のビットストリームによって表される前記ピクチャが順次シーケンスとして受け取られるときに、前記第１のビットストリームによって表される前記ピクチャをインターレース・シーケンス化するステップを含むことを特徴とする請求項４に記載の方法。
- 前記第５のステップは、前記第２のビットストリームによって表される前記ピクチャが順次シーケンスとして出力されるように、前記第１のビットストリームによって表される前記ピクチャがインターレース・シーケンスとして受け取られるときに、前記第１のビットストリームによって表される前記ピクチャを非インターレース・シーケンス化するステップを含むことを特徴とする請求項４に記載の方法。
- 前記第５のステップは、前記第１のビットストリームによって表されるピクチャがフレーム・ピクチャとして既に符号化されているときに、前記第２のビットストリームによって表されるピクチャをフィールド・ピクチャとして符号化するステップを含むことを特徴とする請求項１に記載の方法。
- 前記第５のステップは、前記第１のビットストリームによって表されるピクチャがフィールド・ピクチャとして既に符号化されているときに、前記第２のビットストリームによって表されるピクチャをフレーム・ピクチャとして符号化するステップを含むことを特徴とする請求項１に記載の方法。
- 前記第２のビットストリームによって表されるピクチャがインターレース・シーケンスとして出力されるように、前記第１のビットストリームによって表されるピクチャが順次シーケンスとして受け取られるときに、前記第１のビットストリームによって表されるピクチャをインターレース・シーケンス化するステップをさらに含むことを特徴とする請求項１に記載の方法。
- 前記第２のビットストリームによって表されるピクチャが順次シーケンスとして出力されるように、前記第１のビットストリームによって表されるピクチャがインターレース・シーケンスとして受け取られるときに、前記第１のビットストリームによって表される前記ピクチャを非インターレース・シーケンス化するステップをさらに含むことを特徴とする請求項１に記載の方法。
- 符号化変換することにより、主イメージを表す圧縮されたイメージ・データの第１のビットストリームから、前記主イメージの一部分を表す第２のビットストリームを生成するための符号化変換方法であって、
前記第１のビットストリームを受け取る第１のステップと、
前記第１のビットストリームにおける１つ以上のピクチャの少なくとも２つのマクロブロックから第１および第２の動き情報を取得する第２のステップであって、前記第１および第２の動き情報は、前記第２のビットストリームに含まれる予測符号化ピクチャにおけるマクロブロックを生成するために利用できる、第２のステップと、
前記生成されるマクロブロックと、前記第１および第２の動き情報から生成される前記マクロブロックとの相互関係に基づいて前記第１および第２の動き情報の各重みを計算する第３のステップと、
前記計算された第１の動き情報の重みが前記計算された第２の動き情報の重みより重い場合に、前記生成されたマクロブロックの前記符号化変換プロセスで用いられる第３の動き情報を生成するために、前記第１の動き情報を利用する第４のステップと、
前記第３の動き情報を用いることにより、生成される前記マクロブロックを符号化変換する第５のステップと、
前記第２から第５までのステップを順番に繰り返すことにより前記第１のビットストリームを符号化変換することにより前記第２のビットストリームを出力するステップとを備えることを特徴とする符号化変換方法。 - 符号化変換することにより、入力符号化パラメータを有する圧縮されたデータの入力ビットストリームから、前記入力ビットストリームの前記入力符号化パラメータとは異なる出力符号化パラメータを有する出力ビットストリームを生成する符号化変換方法であって、
前記入力ビットストリームを受け取る第１のステップと、
前記入力ビットストリームにおける１つ以上のピクチャの少なくとも２つのマクロブロックから第１および第２の動きベクトルを取得する第２のステップであって、前記第１および第２の動きベクトルは、前記出力ビットストリームに含まれる予測符号化ピクチャにおけるマクロブロックを生成するために利用できる、第２のステップと、
前記第１および第２の動きベクトルから生成される前記マクロブロックのための動きベクトルを得るために、前記生成されるマクロブロックと、前記第１および第２の動きベクトルを有するマクロブロックとの相互関係に基づいて前記第１および第２の動きベクトルの各重みを計算する第３のステップと、
前記計算された第１の動きベクトルの重みが前記計算された第２の動きベクトルの重みより重い場合に、前記第１の動きベクトルを利用して、前記生成されたマクロブロックの前記符号化変換プロセスで用いられる第３の動きベクトルを生成する第４のステップと、
前記第３の動きベクトルを用いることにより、生成される前記マクロブロックを符号化変換する第５のステップと、
前記第２から第５までのステップを順番に繰り返すことにより前記入力ビットストリームを符号化変換することにより圧縮されたデータの前記出力ビットストリームを出力するステップとを備えることを特徴とする符号化変換方法。 - 前記入力符号化パラメータが、ピクチャ・グループ（ＧＯＰ）構造、ピクチャ・サイズ、ビット・レート、フレーム・ピクチャ形式、フィールド・ピクチャ形式、順次シーケンス、およびインターレース・シーケンスのうちの少なくとも１つを表すことを特徴とする請求項１４に記載の符号化変換方法。
- 前記出力符号化パラメータが、ピクチャ・グループ（ＧＯＰ）構造、ピクチャ・サイズ、ビット・レート、フレーム・ピクチャ形式、フィールド・ピクチャ形式、順次シーケンス、およびインターレース・シーケンスのうちの少なくとも１つを表すことを特徴とする請求項１４に記載の符号化変換方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US09/027,140 | 1998-02-20 | ||
| US09/027,140 US6058143A (en) | 1998-02-20 | 1998-02-20 | Motion vector extrapolation for transcoding video sequences |
| PCT/US1999/002318 WO1999043162A1 (en) | 1998-02-20 | 1999-02-02 | Motion vector extrapolation for transcoding video sequences |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002504789A JP2002504789A (ja) | 2002-02-12 |
| JP4514081B2 true JP4514081B2 (ja) | 2010-07-28 |
Family
ID=21835928
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000532980A Expired - Fee Related JP4514081B2 (ja) | 1998-02-20 | 1999-02-02 | ビデオ・シーケンスを符号化変換（ｔｒａｎｓｃｏｄｉｎｇ）するための動きベクトルの外挿（ｅｘｔｒａｐｏｌａｔｉｏｎ） |
Country Status (10)
| Country | Link |
|---|---|
| US (1) | US6058143A (ja) |
| EP (1) | EP1057341B1 (ja) |
| JP (1) | JP4514081B2 (ja) |
| KR (1) | KR100515199B1 (ja) |
| CN (1) | CN1245029C (ja) |
| AU (1) | AU2578799A (ja) |
| BR (1) | BR9908063A (ja) |
| DE (1) | DE69908562T2 (ja) |
| RU (1) | RU2251820C2 (ja) |
| WO (1) | WO1999043162A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200404288A1 (en) * | 2011-07-14 | 2020-12-24 | Comcast Cable Communications, Llc | Preserving image quality in temporally compressed video streams |
Families Citing this family (62)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6339656B1 (en) * | 1997-12-25 | 2002-01-15 | Matsushita Electric Industrial Co., Ltd. | Moving picture encoding decoding processing apparatus |
| JPH11275592A (ja) * | 1998-01-22 | 1999-10-08 | Victor Co Of Japan Ltd | 動画像符号列変換装置及びその方法 |
| US6466623B1 (en) * | 1998-03-27 | 2002-10-15 | Industrial Technology Research Institute | Method and apparatus for motion estimation for high performance transcoding |
| US6477706B1 (en) | 1998-05-01 | 2002-11-05 | Cogent Technology, Inc. | Cable television system using transcoding method |
| US6128047A (en) * | 1998-05-20 | 2000-10-03 | Sony Corporation | Motion estimation process and system using sparse search block-matching and integral projection |
| GB2339101B (en) * | 1998-06-25 | 2002-09-18 | Sony Uk Ltd | Processing of compressed video signals using picture motion vectors |
| WO2000019723A1 (en) * | 1998-09-29 | 2000-04-06 | Koninklijke Philips Electronics N.V. | Conversion of coded video data |
| US6310915B1 (en) * | 1998-11-20 | 2001-10-30 | Harmonic Inc. | Video transcoder with bitstream look ahead for rate control and statistical multiplexing |
| US6434197B1 (en) * | 1999-01-07 | 2002-08-13 | General Instrument Corporation | Multi-functional transcoder for compressed bit streams |
| JP3855522B2 (ja) * | 1999-02-23 | 2006-12-13 | 松下電器産業株式会社 | 動画変換装置 |
| US6567557B1 (en) * | 1999-12-10 | 2003-05-20 | Stmicroelectronics, Inc. | Method for preventing dual-step half-pixel motion compensation accumulation errors in prediction-rich MPEG-2 sequences |
| DE69942157D1 (de) * | 1999-05-13 | 2010-04-29 | St Microelectronics Asia | Adaptiver bewegungsschätzer |
| EP1067798A3 (en) * | 1999-06-30 | 2005-11-30 | Media Glue Corporation | Apparatus, method and computer program product for transcoding a coded moving picture sequence |
| US6300973B1 (en) * | 2000-01-13 | 2001-10-09 | Meir Feder | Method and system for multimedia communication control |
| US7738550B2 (en) * | 2000-03-13 | 2010-06-15 | Sony Corporation | Method and apparatus for generating compact transcoding hints metadata |
| JP2003531533A (ja) * | 2000-04-18 | 2003-10-21 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ジョイントビットレートトランスコーディングにおけるビットレートアロケーション |
| US7168069B1 (en) * | 2000-07-12 | 2007-01-23 | Stmicroelectronics, Inc. | Dynamic generation of multimedia code for image processing |
| US6754270B1 (en) | 2000-09-29 | 2004-06-22 | Lucent Technologies, Inc. | Encoding high-definition video using overlapping panels |
| US6407680B1 (en) * | 2000-12-22 | 2002-06-18 | Generic Media, Inc. | Distributed on-demand media transcoding system and method |
| US7266148B2 (en) * | 2001-01-05 | 2007-09-04 | Lg Electronics Inc. | Video transcoding apparatus |
| EP1231794A1 (en) * | 2001-02-09 | 2002-08-14 | STMicroelectronics S.r.l. | A process for changing the resolution of MPEG bitstreams, a system and a computer program product therefor |
| DE10119214A1 (de) * | 2001-04-19 | 2002-10-24 | Highlight Comm Ag Pfaeffikon | Verfahren zum Komprimieren von Videodaten |
| US7266150B2 (en) * | 2001-07-11 | 2007-09-04 | Dolby Laboratories, Inc. | Interpolation of video compression frames |
| KR100440953B1 (ko) * | 2001-08-18 | 2004-07-21 | 삼성전자주식회사 | 영상 압축 비트 스트림의 트랜스코딩 방법 |
| US7236529B2 (en) * | 2001-10-30 | 2007-06-26 | Industrial Technology Research Institute | Methods and systems for video transcoding in DCT domain with low complexity |
| KR100460950B1 (ko) * | 2001-12-18 | 2004-12-09 | 삼성전자주식회사 | 트랜스코더 및 트랜스코딩 방법 |
| US7216295B2 (en) * | 2001-12-20 | 2007-05-08 | Canon Kabushiki Kaisha | Method of automatic production of image presentations |
| US7236521B2 (en) * | 2002-03-27 | 2007-06-26 | Scientific-Atlanta, Inc. | Digital stream transcoder |
| US7190723B2 (en) * | 2002-03-27 | 2007-03-13 | Scientific-Atlanta, Inc. | Digital stream transcoder with a hybrid-rate controller |
| US7295610B2 (en) * | 2002-03-27 | 2007-11-13 | Scientific-Atlanta, Inc. | Hybrid rate control in a digital stream transcoder |
| JP4193406B2 (ja) * | 2002-04-16 | 2008-12-10 | 三菱電機株式会社 | 映像データ変換装置および映像データ変換方法 |
| US7362374B2 (en) * | 2002-08-30 | 2008-04-22 | Altera Corporation | Video interlacing using object motion estimation |
| US7636481B2 (en) * | 2002-10-09 | 2009-12-22 | Sony Corporation | Image processing apparatus, method, storage medium, and program for compressing an input image using a motion vector that is detected based on stored position information of pixels |
| JP4003128B2 (ja) * | 2002-12-24 | 2007-11-07 | ソニー株式会社 | 画像データ処理装置および方法、記録媒体、並びにプログラム |
| EP1455534A1 (en) * | 2003-03-03 | 2004-09-08 | Thomson Licensing S.A. | Scalable encoding and decoding of interlaced digital video data |
| US6993073B2 (en) * | 2003-03-26 | 2006-01-31 | James Foong | Optimization software module and method for video compression under MPEG |
| US7457438B2 (en) * | 2003-12-23 | 2008-11-25 | Genesis Microchip Inc. | Robust camera pan vector estimation using iterative center of mass |
| KR101196429B1 (ko) * | 2004-03-12 | 2012-11-01 | 삼성전자주식회사 | 동영상 트랜스코딩 방법 및 그 장치, 이에 사용되는움직임 벡터 보간방법 |
| US7965774B2 (en) * | 2006-01-06 | 2011-06-21 | International Business Machines Corporation | Method for visual signal extrapolation or interpolation |
| US7916791B2 (en) * | 2006-06-16 | 2011-03-29 | International Business Machines Corporation | Method and system for non-linear motion estimation |
| US8250618B2 (en) | 2006-09-18 | 2012-08-21 | Elemental Technologies, Inc. | Real-time network adaptive digital video encoding/decoding |
| FR2908585B1 (fr) * | 2006-11-15 | 2008-12-26 | Canon Kk | Procede et dispositif de transmission de donnees video. |
| US8494053B2 (en) * | 2007-01-03 | 2013-07-23 | International Business Machines Corporation | Method and apparatus of temporal filtering for side information interpolation and extrapolation in Wyner-Ziv video compression systems |
| US8233527B2 (en) * | 2007-05-11 | 2012-07-31 | Advanced Micro Devices, Inc. | Software video transcoder with GPU acceleration |
| US8861591B2 (en) * | 2007-05-11 | 2014-10-14 | Advanced Micro Devices, Inc. | Software video encoder with GPU acceleration |
| US8184715B1 (en) | 2007-08-09 | 2012-05-22 | Elemental Technologies, Inc. | Method for efficiently executing video encoding operations on stream processor architectures |
| EP2061248A1 (en) * | 2007-11-13 | 2009-05-20 | IBBT vzw | Motion estimation and compensation process and device |
| US8121197B2 (en) | 2007-11-13 | 2012-02-21 | Elemental Technologies, Inc. | Video encoding and decoding using parallel processors |
| JP4296218B1 (ja) * | 2008-02-21 | 2009-07-15 | シャープ株式会社 | 映像表示装置 |
| WO2011099428A1 (ja) * | 2010-02-09 | 2011-08-18 | 日本電信電話株式会社 | 動きベクトル予測符号化方法、動きベクトル予測復号方法、動画像符号化装置、動画像復号装置およびそれらのプログラム |
| EP2536150B1 (en) | 2010-02-09 | 2017-09-13 | Nippon Telegraph And Telephone Corporation | Predictive coding method for motion vector, predictive decoding method for motion vector, video coding device, video decoding device, and programs therefor |
| KR20140089596A (ko) | 2010-02-09 | 2014-07-15 | 니폰덴신뎅와 가부시키가이샤 | 움직임 벡터 예측 부호화 방법, 움직임 벡터 예측 복호 방법, 동화상 부호화 장치, 동화상 복호 장치 및 그들의 프로그램 |
| WO2013006386A1 (en) * | 2011-07-01 | 2013-01-10 | General Instrument Corporation | Motion vector prediction design simplification |
| EA016695B1 (ru) * | 2011-09-01 | 2012-06-29 | Закрытое Акционерное Общество "Импульс" | Способ уменьшения шумов в видеоизображении |
| RU2487489C2 (ru) * | 2011-10-18 | 2013-07-10 | Федеральное государственное автономное образовательное учреждение высшего профессионального образования "Национальный исследовательский университет "МИЭТ" | Способ поиска векторов перемещений в динамических изображениях |
| WO2013067440A1 (en) | 2011-11-04 | 2013-05-10 | General Instrument Corporation | Motion vector scaling for non-uniform motion vector grid |
| US8908767B1 (en) * | 2012-02-09 | 2014-12-09 | Google Inc. | Temporal motion vector prediction |
| US9172970B1 (en) | 2012-05-29 | 2015-10-27 | Google Inc. | Inter frame candidate selection for a video encoder |
| US11317101B2 (en) | 2012-06-12 | 2022-04-26 | Google Inc. | Inter frame candidate selection for a video encoder |
| US9503746B2 (en) | 2012-10-08 | 2016-11-22 | Google Inc. | Determine reference motion vectors |
| US9485515B2 (en) | 2013-08-23 | 2016-11-01 | Google Inc. | Video coding using reference motion vectors |
| US9521176B2 (en) | 2014-05-21 | 2016-12-13 | Sony Corporation | System, method, and computer program product for media publishing request processing |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE3930964A1 (de) * | 1989-09-15 | 1991-03-28 | Thomson Brandt Gmbh | Fernsehuebertragungssystem |
| DE59209063D1 (de) * | 1991-04-25 | 1998-01-22 | Thomson Brandt Gmbh | Verfahren zur kompatiblen übertragung, decodierung oder aufzeichnung von progressiv abgetasteten bildsignalen im zwischenzeilenformat |
| NL9301358A (nl) * | 1993-08-04 | 1995-03-01 | Nederland Ptt | Transcodeerinrichting. |
| US5537440A (en) * | 1994-01-07 | 1996-07-16 | Motorola, Inc. | Efficient transcoding device and method |
| US5541852A (en) * | 1994-04-14 | 1996-07-30 | Motorola, Inc. | Device, method and system for variable bit-rate packet video communications |
| US5512953A (en) * | 1994-08-09 | 1996-04-30 | At&T Corp. | Method and apparatus for conversion of compressed bit stream representation of video signal |
| US5708473A (en) * | 1994-08-30 | 1998-01-13 | Hughes Aircraft Company | Two stage video film compression method and system |
| JP3293369B2 (ja) * | 1994-10-12 | 2002-06-17 | ケイディーディーアイ株式会社 | 画像情報の再符号化方法及び装置 |
| US5600646A (en) * | 1995-01-27 | 1997-02-04 | Videoserver, Inc. | Video teleconferencing system with digital transcoding |
| WO1996025823A2 (en) * | 1995-02-15 | 1996-08-22 | Philips Electronics N.V. | Method and device for transcoding video signals |
| US5530484A (en) * | 1995-05-19 | 1996-06-25 | Thomson Multimedia S.A | Image scanning format converter suitable for a high definition television system |
| SE515535C2 (sv) * | 1996-10-25 | 2001-08-27 | Ericsson Telefon Ab L M | En transkoder |
-
1998
- 1998-02-20 US US09/027,140 patent/US6058143A/en not_active Expired - Lifetime
-
1999
- 1999-02-02 WO PCT/US1999/002318 patent/WO1999043162A1/en active IP Right Grant
- 1999-02-02 KR KR10-2000-7009136A patent/KR100515199B1/ko not_active IP Right Cessation
- 1999-02-02 BR BR9908063-0A patent/BR9908063A/pt not_active IP Right Cessation
- 1999-02-02 RU RU2000124089/09A patent/RU2251820C2/ru not_active IP Right Cessation
- 1999-02-02 EP EP99905681A patent/EP1057341B1/en not_active Expired - Lifetime
- 1999-02-02 DE DE69908562T patent/DE69908562T2/de not_active Expired - Lifetime
- 1999-02-02 JP JP2000532980A patent/JP4514081B2/ja not_active Expired - Fee Related
- 1999-02-02 AU AU25787/99A patent/AU2578799A/en not_active Abandoned
- 1999-02-02 CN CNB998041769A patent/CN1245029C/zh not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200404288A1 (en) * | 2011-07-14 | 2020-12-24 | Comcast Cable Communications, Llc | Preserving image quality in temporally compressed video streams |
| US11539963B2 (en) | 2011-07-14 | 2022-12-27 | Comcast Cable Communications, Llc | Preserving image quality in temporally compressed video streams |
| US11611760B2 (en) * | 2011-07-14 | 2023-03-21 | Comcast Cable Communications, Llc | Preserving image quality in temporally compressed video streams |
Also Published As
| Publication number | Publication date |
|---|---|
| BR9908063A (pt) | 2000-10-31 |
| JP2002504789A (ja) | 2002-02-12 |
| DE69908562D1 (de) | 2003-07-10 |
| DE69908562T2 (de) | 2004-04-29 |
| CN1245029C (zh) | 2006-03-08 |
| KR20010041095A (ko) | 2001-05-15 |
| CN1293872A (zh) | 2001-05-02 |
| AU2578799A (en) | 1999-09-06 |
| US6058143A (en) | 2000-05-02 |
| EP1057341B1 (en) | 2003-06-04 |
| EP1057341A1 (en) | 2000-12-06 |
| WO1999043162A1 (en) | 1999-08-26 |
| RU2251820C2 (ru) | 2005-05-10 |
| KR100515199B1 (ko) | 2005-09-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4514081B2 (ja) | ビデオ・シーケンスを符号化変換（ｔｒａｎｓｃｏｄｉｎｇ）するための動きベクトルの外挿（ｅｘｔｒａｐｏｌａｔｉｏｎ） | |
| JP4528662B2 (ja) | 適応空間最新ベクトルを用いた動き検出 | |
| JP2911055B2 (ja) | 動き推定方法及びその装置 | |
| JP3190529B2 (ja) | 映像データ・ブロック変換システム | |
| JPH07162869A (ja) | 動画像符号化装置 | |
| JP2005318620A (ja) | 適応時間予測を用いた動きベクトル検出 | |
| JP2008502196A (ja) | グローバル動きベクトルの探索方法 | |
| JP2004120732A (ja) | 動画像符号化装置及び動画像復号装置 | |
| JP2006279917A (ja) | 動画像符号化装置、動画像復号装置及び動画像伝送システム | |
| JPH11112940A (ja) | 動きベクトルの生成方法および装置 | |
| JPH11298861A (ja) | 画像信号のフレーム数変換方法および装置 | |
| JP3201079B2 (ja) | インターレース動画像信号の動き補償予測方法、符号化方法及び装置 | |
| JPH0851599A (ja) | 画像情報変換装置 | |
| JP4158442B2 (ja) | 動画像符号化方法及び動画像復号方法 | |
| JP2001086508A (ja) | 動画像復号方法及び動画像復号装置 | |
| JPH0332185A (ja) | 動画像符号化装置及び動画像復号化装置 | |
| JP2002010267A (ja) | 動きベクトル変換装置及び方法 | |
| JP3480015B2 (ja) | 画像データの生成装置および生成方法 | |
| JP2004186839A (ja) | 動画像符号化方法及び動画像複号化方法 | |
| JP2925046B2 (ja) | 動画像の動き補償予測方法 | |
| JP3587188B2 (ja) | ディジタル画像信号処理装置および処理方法 | |
| JP2929044B2 (ja) | 動き補償予測方法 | |
| JPH0865679A (ja) | 動画像符号化装置及び動画像復号装置 | |
| JP3201344B2 (ja) | インターレース動画像信号の動き補償予測方法及び符号化装置 | |
| JPH10257496A (ja) | インターレース動画像の動き補償予測装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060116 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060116 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090403 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20090702 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20090709 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091005 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100430 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100507 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130521 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140521 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |