JPH08336146A - ビデオ圧縮方法及び装置 - Google Patents
ビデオ圧縮方法及び装置Info
- Publication number
- JPH08336146A JPH08336146A JP8135094A JP13509496A JPH08336146A JP H08336146 A JPH08336146 A JP H08336146A JP 8135094 A JP8135094 A JP 8135094A JP 13509496 A JP13509496 A JP 13509496A JP H08336146 A JPH08336146 A JP H08336146A
- Authority
- JP
- Japan
- Prior art keywords
- window
- macroblock
- vector
- motion vector
- soft
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/008—Vector quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Color Television Systems (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
(57)【要約】
【課題】 動きベクトル補償技術に適したビデオ圧縮方
法及び装置を提供すること。 【解決手段】 ソフトウィンドウ化技術であり、ベクト
ルにより援助されたフレーム区別のための、ビデオ画像
上で定義された構造のマクロブロックよりも大きなウィ
ンドウの使用を含む。各ウィンドウのエッジは、オーバ
ーラップする複数のウィンドウがそれらのエッジのとこ
ろで、正しいピクセル重み付けを提供するようにテーパ
ーがつけられている。１６＊１６輝度マクロブロック及
び８＊８色マクロブロックを有する計画に対しては、そ
の輝度ウィンドウは２４＊２４及び色ウィンドウは１２
＊１２である。
法及び装置を提供すること。 【解決手段】 ソフトウィンドウ化技術であり、ベクト
ルにより援助されたフレーム区別のための、ビデオ画像
上で定義された構造のマクロブロックよりも大きなウィ
ンドウの使用を含む。各ウィンドウのエッジは、オーバ
ーラップする複数のウィンドウがそれらのエッジのとこ
ろで、正しいピクセル重み付けを提供するようにテーパ
ーがつけられている。１６＊１６輝度マクロブロック及
び８＊８色マクロブロックを有する計画に対しては、そ
の輝度ウィンドウは２４＊２４及び色ウィンドウは１２
＊１２である。
Description
【０００１】
【発明の属する技術分野】本発明は、ビデオ圧縮方法及
び装置に関し、特に、動きベクトル圧縮技術と関連する
ビデオ圧縮方法及び装置に関する。
び装置に関し、特に、動きベクトル圧縮技術と関連する
ビデオ圧縮方法及び装置に関する。
【０００２】
【発明が解決しようとする課題】ＭＰＥＧとして知られ
ている１つのディジタル圧縮標準は、国際標準機関（Ｉ
ＳＯ）のＭｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐａｒｔ
Ｇｒｏｕｐ（動画エクスパート グループ）によって
提唱され、それにちなんで命名されたものである。
ている１つのディジタル圧縮標準は、国際標準機関（Ｉ
ＳＯ）のＭｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐａｒｔ
Ｇｒｏｕｐ（動画エクスパート グループ）によって
提唱され、それにちなんで命名されたものである。
【０００３】ＭＰＥＧ１として知られている一つの形に
おいて、ドラフトされた初期の版では、１つのビデオ信
号の過去と現在のフレームの間の順方向予測を用いてい
た。ＭＰＥＧ１の後の形であり、ＭＰＥＧ２として知ら
れたものにおいては、この標準は付加的に、双方向予測
を使っている。即ち、順方向及び逆方向予測フレームの
平均として作られた予測と順方向及び逆方向予測の結合
を用いている。
おいて、ドラフトされた初期の版では、１つのビデオ信
号の過去と現在のフレームの間の順方向予測を用いてい
た。ＭＰＥＧ１の後の形であり、ＭＰＥＧ２として知ら
れたものにおいては、この標準は付加的に、双方向予測
を使っている。即ち、順方向及び逆方向予測フレームの
平均として作られた予測と順方向及び逆方向予測の結合
を用いている。
【０００４】動き補償を使うことは、ＭＰＥＧ符号化の
重要な観点である。動き補償は、フレーム間の動きに対
する補償を行うことによって異なったフレームのエラー
信号を最小化することをもくろんでいる。
重要な観点である。動き補償は、フレーム間の動きに対
する補償を行うことによって異なったフレームのエラー
信号を最小化することをもくろんでいる。
【０００５】この動き補償のプロセスは下記の２つの別
々のプロセスを含んでいる。 （ｉ）フレーム対の間の動きオフセットが計算される動
きベクトル推定（ＭＶＥ）を行う。 （ii）ＭＶＥ計算の結果を用いて最小の人為作業で異な
った信号を作る。
々のプロセスを含んでいる。 （ｉ）フレーム対の間の動きオフセットが計算される動
きベクトル推定（ＭＶＥ）を行う。 （ii）ＭＶＥ計算の結果を用いて最小の人為作業で異な
った信号を作る。
【０００６】下記のような考慮すべき、ＭＶＥ及びＭＶ
Ｃの幾つかの観点がある。 （ｉ）許されている動きの種類。ＭＰＥＧ及び他の同様
のシステムにおいては、動きの種類は従来のＸ及びＹ軸
におけるベクトルに限られている。他の分野の研究者
は、回転、スキュー及びサイズ等の他の種類の動きを使
ってきた。
Ｃの幾つかの観点がある。 （ｉ）許されている動きの種類。ＭＰＥＧ及び他の同様
のシステムにおいては、動きの種類は従来のＸ及びＹ軸
におけるベクトルに限られている。他の分野の研究者
は、回転、スキュー及びサイズ等の他の種類の動きを使
ってきた。
【０００７】この作業の利点は、明らかでない。なぜな
らば、もっと複雑な形の比較によれば異なったピクチャ
ーにおける信号を減らすことができるが、形パラメータ
を送信するためにもっとデータを要求する。
らば、もっと複雑な形の比較によれば異なったピクチャ
ーにおける信号を減らすことができるが、形パラメータ
を送信するためにもっとデータを要求する。
【０００８】（ii）マクロブロックのサイズは、より良
い符号化効率であるが高いマクロブロック・データレー
トを有する小さなブロックと、符号化効率は悪いが低い
マクロブロック・データレートを有するより大きなブロ
ックの間の妥協点である（ここで、マクロブロックは、
動き推定及び補償のために使われるブロックサイズであ
る）。
い符号化効率であるが高いマクロブロック・データレー
トを有する小さなブロックと、符号化効率は悪いが低い
マクロブロック・データレートを有するより大きなブロ
ックの間の妥協点である（ここで、マクロブロックは、
動き推定及び補償のために使われるブロックサイズであ
る）。
【０００９】（iii ）輝度（Ｙ）及び色（Ｃ）ブロック
整合の結果を如何にして結合するか。Ｙ及びＣ動きベク
トルに完全に別々のベクトルが使われていれば、マクロ
ブロックデータレートは２倍となり、Ｙ及びＣベクトル
の整合の悪さによって、画像が乱れる可能性がある。Ｙ
及びＣベクトルを結合すれば、低いマクロブロック・デ
ータレートが得られるが、符号化効率が若干落ちるかも
しれない。
整合の結果を如何にして結合するか。Ｙ及びＣ動きベク
トルに完全に別々のベクトルが使われていれば、マクロ
ブロックデータレートは２倍となり、Ｙ及びＣベクトル
の整合の悪さによって、画像が乱れる可能性がある。Ｙ
及びＣベクトルを結合すれば、低いマクロブロック・デ
ータレートが得られるが、符号化効率が若干落ちるかも
しれない。
【００１０】（iv）サブシステム推定及び補償の使用。
しばしば、フレーム間の動きは、整数ピクセル距離には
現れないので、ある種の型のサブピクセルＭＶＥ及びＭ
ＶＣは有益であろう。送信又は受信されるために、もっ
と多くのベクトルデータが発生され、そのデータの増加
は非常に小さいが、簡単なハーフピクセル推定がピクセ
ル基準の推定器の計算パワーを少なくとも４倍要求し、
これが考慮されなければならない。
しばしば、フレーム間の動きは、整数ピクセル距離には
現れないので、ある種の型のサブピクセルＭＶＥ及びＭ
ＶＣは有益であろう。送信又は受信されるために、もっ
と多くのベクトルデータが発生され、そのデータの増加
は非常に小さいが、簡単なハーフピクセル推定がピクセ
ル基準の推定器の計算パワーを少なくとも４倍要求し、
これが考慮されなければならない。
【００１１】６４５Ｋｂｐｓから２Ｍｂｐｓの領域にお
ける低いビットレートのシステムを強調した、動き補償
符号化における更なる発展が必要である。
ける低いビットレートのシステムを強調した、動き補償
符号化における更なる発展が必要である。
【００１２】
【課題を解決するための手段】本発明によれば、動きベ
クトル補償を含むベクトル補償方法が提供される。この
方法は、下記のステップを含む。
クトル補償を含むベクトル補償方法が提供される。この
方法は、下記のステップを含む。
【００１３】動きベクトル解析が適用できるビデオ画像
上にマクロブロック構造を定義するステップ、及びマク
ロブロック構造にソフトウィンドウを適用し、エッジか
ら内側へ漸次増加するピクセル重み付けを形成する各ウ
ィンドウのエッジで、隣接ウィンドウが、その構造の各
マクロブロックよりも大きいソフトウィンドウとオーバ
ーラップするようにするステップ。
上にマクロブロック構造を定義するステップ、及びマク
ロブロック構造にソフトウィンドウを適用し、エッジか
ら内側へ漸次増加するピクセル重み付けを形成する各ウ
ィンドウのエッジで、隣接ウィンドウが、その構造の各
マクロブロックよりも大きいソフトウィンドウとオーバ
ーラップするようにするステップ。
【００１４】このピクセル重み付けは、オーバーラップ
ウィンドウから発生する各オーバーラップされたピクセ
ルが或定数に等しい合計重み付けを有するように選ばれ
るのが好ましい。
ウィンドウから発生する各オーバーラップされたピクセ
ルが或定数に等しい合計重み付けを有するように選ばれ
るのが好ましい。
【００１５】このソフトウィンドウは、各ディメンジョ
ンにおいて、その構造のマクロブロックよりも５０％大
きくするのが好ましく、各ウィンドウエッジのテーパー
部分が全長の１／３を含むのが好ましい。マクロブロッ
クのサイズが色及び輝度に対して異なっている所では、
そのウィンドウサイズは比例して異なってもよい。
ンにおいて、その構造のマクロブロックよりも５０％大
きくするのが好ましく、各ウィンドウエッジのテーパー
部分が全長の１／３を含むのが好ましい。マクロブロッ
クのサイズが色及び輝度に対して異なっている所では、
そのウィンドウサイズは比例して異なってもよい。
【００１６】本発明の好ましい実施形態においては、ソ
フトエッジを備えたウィンドウは、多くのタイプのテス
ト資料に対してずっと良好な結果をもつ動き補償を提供
する。もっと高いビデオデータレートのエラーがそれほ
ど目立たないかもしれないが、それでもウィンドウを適
用することによって画像歪みの一般的減少につながる。
このウィンドウは、適用が簡単で、そのウィンドウ係数
（即ち、重み付け）が使い易い。
フトエッジを備えたウィンドウは、多くのタイプのテス
ト資料に対してずっと良好な結果をもつ動き補償を提供
する。もっと高いビデオデータレートのエラーがそれほ
ど目立たないかもしれないが、それでもウィンドウを適
用することによって画像歪みの一般的減少につながる。
このウィンドウは、適用が簡単で、そのウィンドウ係数
（即ち、重み付け）が使い易い。
【００１７】
【発明の実施の形態】次に、添付図面を参照して、本発
明を例示的に説明する。各図面を通じて同様な部分は同
様な参照記号で表してある。動き補償とともに３つのサ
イズのピクチャー（画像）が使われてきた。 （ｉ）ＶＩＤファイル：７２０＊５７６ピクセル（及び
７０４＊５７６）、約４Ｍｂｐｓのターゲットビットレ
ート （ii）ＳＩＦファイル：約１Ｍｂｐｓ（ビデオのみ）の
ターゲットビットレートを有する３５２＊２８８ピクセ
ル （iii ）ＱＩＦファイル：約２２０Ｋｂｐｓ（ビデオの
み）のターゲットビットレートを有する１７６＊１４４
ピクセル
明を例示的に説明する。各図面を通じて同様な部分は同
様な参照記号で表してある。動き補償とともに３つのサ
イズのピクチャー（画像）が使われてきた。 （ｉ）ＶＩＤファイル：７２０＊５７６ピクセル（及び
７０４＊５７６）、約４Ｍｂｐｓのターゲットビットレ
ート （ii）ＳＩＦファイル：約１Ｍｂｐｓ（ビデオのみ）の
ターゲットビットレートを有する３５２＊２８８ピクセ
ル （iii ）ＱＩＦファイル：約２２０Ｋｂｐｓ（ビデオの
み）のターゲットビットレートを有する１７６＊１４４
ピクセル
【００１８】各場合において、色ピクセルサイズは各成
分に対して各軸の半分である。上記システムの各々に対
する最適マクロブロックサイズを見つけるために実験が
なされた。各場合に、その位置は明らかであり、輝度に
対する１６＊１６ピクセル、各色に対する８＊８のマク
ロブロックサイズが最良結果を作った。
分に対して各軸の半分である。上記システムの各々に対
する最適マクロブロックサイズを見つけるために実験が
なされた。各場合に、その位置は明らかであり、輝度に
対する１６＊１６ピクセル、各色に対する８＊８のマク
ロブロックサイズが最良結果を作った。
【００１９】上記３つの場合の全てにおいて、Ｙに対す
る８＊８、Ｃに対する４＊４等の小さなマクロブロック
は、ベクトルデータが多すぎる結果となり、Ｙに対する
２４＊２４及びＣに対する１２＊１２等の大きなマクロ
ブロックは、マクロブロックデータがローレベルになる
が、異なったピクチャーにエラー信号が多くなる。この
点で、ＭＰＥＧは、最適動きベクトルブロックサイズを
正しくセットする。
る８＊８、Ｃに対する４＊４等の小さなマクロブロック
は、ベクトルデータが多すぎる結果となり、Ｙに対する
２４＊２４及びＣに対する１２＊１２等の大きなマクロ
ブロックは、マクロブロックデータがローレベルになる
が、異なったピクチャーにエラー信号が多くなる。この
点で、ＭＰＥＧは、最適動きベクトルブロックサイズを
正しくセットする。
【００２０】伝送されるべきベクトルデータは、ピクチ
ャーサイズに依存するが、次の計算はベクトル伝送に要
求されるデータレートに対するガイドとして使われた。
ャーサイズに依存するが、次の計算はベクトル伝送に要
求されるデータレートに対するガイドとして使われた。
【００２１】ケース１：ＶＩＤファイル、７２０＊５７
６ピクセル マクロブロックの数＝４５＊３６＝１６２０／フレーム 対数時間削減構造および、Ｙデータに対し＋／−３１ピ
クセル／フレームのベクトルレンジ制限、８フレームＧ
ＯＰ（絵素のグループ）に対して： フレーム番号 ベクトルレンジ ビット ＋＆− Ｈ＆Ｖ Ｙ＆Ｃ 全ビット ４ ＋／−３１ ６ ＊２ ＊２ ＊２ １９２ ２ ＋／−６３ ７ ＊２ ＊２ ＊２ １１２ １ ＋／−１２７ ８ ＊２ ＊２ ＊２ ６４ 全ビット／ＧＯＰ マクロブロック ３６８ 全ベクトルビットレート ３６８＊２５／８＊１６２０＝１．８６３Ｍｂｐｓ
６ピクセル マクロブロックの数＝４５＊３６＝１６２０／フレーム 対数時間削減構造および、Ｙデータに対し＋／−３１ピ
クセル／フレームのベクトルレンジ制限、８フレームＧ
ＯＰ（絵素のグループ）に対して： フレーム番号 ベクトルレンジ ビット ＋＆− Ｈ＆Ｖ Ｙ＆Ｃ 全ビット ４ ＋／−３１ ６ ＊２ ＊２ ＊２ １９２ ２ ＋／−６３ ７ ＊２ ＊２ ＊２ １１２ １ ＋／−１２７ ８ ＊２ ＊２ ＊２ ６４ 全ビット／ＧＯＰ マクロブロック ３６８ 全ベクトルビットレート ３６８＊２５／８＊１６２０＝１．８６３Ｍｂｐｓ
【００２２】エントロピー符号化によってこれを約５０
％低下できるとすると、全体のベクトルビットレート
は、約９００Ｋｂｐｓに減らすことができる。イントロ
ダクションで述べたとおり、もしＹとＣベクトルが結合
すると、このデータレートは更に減少して約５００Ｋｂ
ｐｓになることができる。結合の方法についての詳細は
次のセクションで述べる。
％低下できるとすると、全体のベクトルビットレート
は、約９００Ｋｂｐｓに減らすことができる。イントロ
ダクションで述べたとおり、もしＹとＣベクトルが結合
すると、このデータレートは更に減少して約５００Ｋｂ
ｐｓになることができる。結合の方法についての詳細は
次のセクションで述べる。
【００２３】ケース２：ＳＩＦファイル、３５２＊２８
８ピクセル マクロブロックの数＝２２＊１８＝３９６／フレーム ベクトルレンジ制限は＋／−１５ピクセル／フレームに
減らすことができることを心に留めて、ＶＩＤ画素符号
化と類似の計算が続く： フレーム番号 ベクトルレンジ ビット ＋＆− Ｈ＆Ｖ Ｙ＆Ｃ 全ビット ４ ＋／−１５ ５ ＊２ ＊２ ＊２ １６０ ２ ＋／−３１ ６ ＊２ ＊２ ＊２ ９６ １ ＋／−６３ ７ ＊２ ＊２ ＊２ ５６ 全ビット／ＧＯＰ マクロブロック ３１２ 全ベクトルビットレート ３１２＊２５／８＊３９６＝３８６．１Ｋｂｐｓ エントロピー符号化及びＹ／Ｃベクトル結合を使えば、
これは約１００Ｋｂｐｓまで減らすことができる。
８ピクセル マクロブロックの数＝２２＊１８＝３９６／フレーム ベクトルレンジ制限は＋／−１５ピクセル／フレームに
減らすことができることを心に留めて、ＶＩＤ画素符号
化と類似の計算が続く： フレーム番号 ベクトルレンジ ビット ＋＆− Ｈ＆Ｖ Ｙ＆Ｃ 全ビット ４ ＋／−１５ ５ ＊２ ＊２ ＊２ １６０ ２ ＋／−３１ ６ ＊２ ＊２ ＊２ ９６ １ ＋／−６３ ７ ＊２ ＊２ ＊２ ５６ 全ビット／ＧＯＰ マクロブロック ３１２ 全ベクトルビットレート ３１２＊２５／８＊３９６＝３８６．１Ｋｂｐｓ エントロピー符号化及びＹ／Ｃベクトル結合を使えば、
これは約１００Ｋｂｐｓまで減らすことができる。
【００２４】ケース３：ＳＩＦファイル、１７６＊１４
４ピクセル マクロブロックの数＝１１＊９＝９９／フレーム ＱＩＦ符号化に対して、そのように低い解像度のソース
を使うと動きエラーがもっとずっとクリティカルになる
のでＳＩＦ画像に対してベクトルレンジ制限を用いれ
ば、総合ビットレートは： ３１２＊２５／８＊９９＝９６．５Ｋｂｐｓ になる。これは、エントロピー削減及びＹ／Ｃベクトル
結合を用いると、約２５Ｋｂｐｓまで減る。
４ピクセル マクロブロックの数＝１１＊９＝９９／フレーム ＱＩＦ符号化に対して、そのように低い解像度のソース
を使うと動きエラーがもっとずっとクリティカルになる
のでＳＩＦ画像に対してベクトルレンジ制限を用いれ
ば、総合ビットレートは： ３１２＊２５／８＊９９＝９６．５Ｋｂｐｓ になる。これは、エントロピー削減及びＹ／Ｃベクトル
結合を用いると、約２５Ｋｂｐｓまで減る。
【００２５】上記の各場合において、ベクトルデータレ
ートは、総合要求ビットレートの約１０％であり、これ
は合理的な許容値であり、その動きベクトルが第１符号
化方法を厳しく制限するレベルではない。上記で使われ
たサイズの１／４のマクロブロックを使えば、ベクトル
データレートを総合データレートの約４０％に増加し、
符号化効率に対する厳しいオーバーヘッドとなる。
ートは、総合要求ビットレートの約１０％であり、これ
は合理的な許容値であり、その動きベクトルが第１符号
化方法を厳しく制限するレベルではない。上記で使われ
たサイズの１／４のマクロブロックを使えば、ベクトル
データレートを総合データレートの約４０％に増加し、
符号化効率に対する厳しいオーバーヘッドとなる。
【００２６】１／４の大きさのマクロブロックを使うこ
とにより得られる利益は、主符号化領域に及ぼす品質の
ロスよりも少ない。同様にして、もっと大きなマクロブ
ロックを使えば、ベクトルデータレートを減らすことが
できるが、他の符号化領域に対して小さな利益を得るの
みである。
とにより得られる利益は、主符号化領域に及ぼす品質の
ロスよりも少ない。同様にして、もっと大きなマクロブ
ロックを使えば、ベクトルデータレートを減らすことが
できるが、他の符号化領域に対して小さな利益を得るの
みである。
【００２７】そのような、大きなマクロブロックは、残
余の符号要素においてそれほど容易に補償できないもっ
と大きな相違の画像エラーとなる。サブピクセル・ベク
トルを使えば、マクロブロックＧＯＰ当たり余分の１４
ビットに等しい少量の余分のデータを要求する。
余の符号要素においてそれほど容易に補償できないもっ
と大きな相違の画像エラーとなる。サブピクセル・ベク
トルを使えば、マクロブロックＧＯＰ当たり余分の１４
ビットに等しい少量の余分のデータを要求する。
【００２８】Ｙ及びＣに対して別々のベクトルを送ると
データ帯域幅の無駄となり、輝度及び色情報の配列誤り
につながる可能性があるといわれてきた。色成分の動き
ベクトルはほとんどいつも輝度成分に従うという事実が
一般に観察される。例外もあるが、これらは非常にまれ
である。
データ帯域幅の無駄となり、輝度及び色情報の配列誤り
につながる可能性があるといわれてきた。色成分の動き
ベクトルはほとんどいつも輝度成分に従うという事実が
一般に観察される。例外もあるが、これらは非常にまれ
である。
【００２９】更に、Ｂ−ＹおよびＲ−Ｙ成分は、同じ動
きベクトルを持つ傾向にある。従って、１セットの３つ
のベクトルは、この簡単な仮定のもとに容易に１つに帰
することができる。この仮定についての問題点は、色サ
ブサンプリングの性質の結果である。各色成分は、輝度
成分の半分のサンプリングレートを有し、そのことが図
１に示されたサンプリンググリッドに通じる。
きベクトルを持つ傾向にある。従って、１セットの３つ
のベクトルは、この簡単な仮定のもとに容易に１つに帰
することができる。この仮定についての問題点は、色サ
ブサンプリングの性質の結果である。各色成分は、輝度
成分の半分のサンプリングレートを有し、そのことが図
１に示されたサンプリンググリッドに通じる。
【００３０】そこで、もし或ベクトル値が奇数輝度ピク
セル値を持てば、色ベクトル値における丸めの問題があ
る。何故ならば、そのベクトルは色ピクセル・サイト
（現場）を直接指定しないからである。最初、簡単な丸
めが適用できるように見えるかもしれず、最初の実験で
はこれを使った。
セル値を持てば、色ベクトル値における丸めの問題があ
る。何故ならば、そのベクトルは色ピクセル・サイト
（現場）を直接指定しないからである。最初、簡単な丸
めが適用できるように見えるかもしれず、最初の実験で
はこれを使った。
【００３１】しかし、後のテストにおいて、切り上げ又
は切り捨てを選べば、色符号化において著しい性能の変
化がもたらされることが解った。丸めはマクロブロック
・ベースで選択されなければならない。ベクトルに対し
て２つの軸があるので、図２に示すような幾つかの丸め
の組み合わせがある。
は切り捨てを選べば、色符号化において著しい性能の変
化がもたらされることが解った。丸めはマクロブロック
・ベースで選択されなければならない。ベクトルに対し
て２つの軸があるので、図２に示すような幾つかの丸め
の組み合わせがある。
【００３２】第１の場合においては、図２に示されてい
るように、水平ベクトルは偶数値、垂直ベクトルは奇数
値になる。そこで、水平色ベクトルは単純に輝度ベクト
ルの半分である。しかしながら、奇数値の垂直ベクトル
は同図に示されているように、切り上げ又は切り捨てが
できる。
るように、水平ベクトルは偶数値、垂直ベクトルは奇数
値になる。そこで、水平色ベクトルは単純に輝度ベクト
ルの半分である。しかしながら、奇数値の垂直ベクトル
は同図に示されているように、切り上げ又は切り捨てが
できる。
【００３３】垂直ベクトルが偶数値で水平ベクトルが奇
数値である第２の場合にも同様なことがいえる。この場
合、水平の丸めは、図示されているとおり、切り上げ又
は切り捨てである。最後の場合は、水平及び垂直ベクト
ルは奇数とし、図示のとおり４つの可能な丸めオプショ
ンになる。
数値である第２の場合にも同様なことがいえる。この場
合、水平の丸めは、図示されているとおり、切り上げ又
は切り捨てである。最後の場合は、水平及び垂直ベクト
ルは奇数とし、図示のとおり４つの可能な丸めオプショ
ンになる。
【００３４】もし、色データが輝度データと同じサイズ
に補間されたとすると、マクロブロック・ベースで動的
に丸めを行う方法は、避けることができる。しかし、こ
れは高価であり余分のお金を使う。
に補間されたとすると、マクロブロック・ベースで動的
に丸めを行う方法は、避けることができる。しかし、こ
れは高価であり余分のお金を使う。
【００３５】この代わりの方法は、良く働き、各輝度ベ
クトルに付加的に１ビット追加することによって、簡単
に実施することができる。もし、そのビットがゼロであ
れば、色ベクトルの丸めは「切り捨て」であり、もし、
そのビットが１ならば、その丸めは「切り上げ」であ
る。
クトルに付加的に１ビット追加することによって、簡単
に実施することができる。もし、そのビットがゼロであ
れば、色ベクトルの丸めは「切り捨て」であり、もし、
そのビットが１ならば、その丸めは「切り上げ」であ
る。
【００３６】この小さなオーバーヘッドは、図２に示さ
れた全てのオプションをカバーし、独立の色ベクトルデ
ータを送るために要求されるよりもずっと低いオーバー
ヘッドである。この技術は、ＭＶＥとＭＶＣプロセスの
両方に適用されることに注目すべきである。
れた全てのオプションをカバーし、独立の色ベクトルデ
ータを送るために要求されるよりもずっと低いオーバー
ヘッドである。この技術は、ＭＶＥとＭＶＣプロセスの
両方に適用されることに注目すべきである。
【００３７】更に他の問題は、ＭＶＥに対し、ＭＳＥ
（又はＭＡＤ）値を発生するためのＹ及びＣ値のスケー
リングの間の関係に関する。Ｙ及びＣの両方が使われ、
これはベクトルが両方の成分を表し、例えば、輝度成分
のブロック整合があまり相違がないことを示す場所で
は、色相違値はベクトル選択のバランスを保持すること
ができる。
（又はＭＡＤ）値を発生するためのＹ及びＣ値のスケー
リングの間の関係に関する。Ｙ及びＣの両方が使われ、
これはベクトルが両方の成分を表し、例えば、輝度成分
のブロック整合があまり相違がないことを示す場所で
は、色相違値はベクトル選択のバランスを保持すること
ができる。
【００３８】色々な実験において、この率はあまり厳格
であるとは思われない。プロジェクトタイムスケールに
おける種々の点でベクトル選択のために、下記の表現の
両方が使われた。 ＭＳＥ（ａ）＝（Ｙｅ）2 ＋（Ｃｅ）2 ＭＳＥ（ｂ）＝（Ｙｅ）2 ＋２＊（Ｃｅ）2
であるとは思われない。プロジェクトタイムスケールに
おける種々の点でベクトル選択のために、下記の表現の
両方が使われた。 ＭＳＥ（ａ）＝（Ｙｅ）2 ＋（Ｃｅ）2 ＭＳＥ（ｂ）＝（Ｙｅ）2 ＋２＊（Ｃｅ）2
【００３９】どちらに対してもあまり有益であるとは思
われないので、第１のケースが、その簡単さのために推
奨されるべきである。サブピクセルＭＶＥ及びＭＶＣの
利益を評価するために行われた実験においては、１／２
ピクセルのみが考慮された。
われないので、第１のケースが、その簡単さのために推
奨されるべきである。サブピクセルＭＶＥ及びＭＶＣの
利益を評価するために行われた実験においては、１／２
ピクセルのみが考慮された。
【００４０】ＶＩＤファイルを使うと、ビデオがインタ
ーレースされるという問題があり、垂直補間の最善方法
について、問題が生じる。
ーレースされるという問題があり、垂直補間の最善方法
について、問題が生じる。
【００４１】ＳＩＦ及びＱＩＦ画像ソースを使うと、簡
単な線形補間処理を与える。何故ならば、両方とも１秒
当たり２５フレームで効率よくフレーム基準プログレッ
シブ（漸進）スキャンされるからである。しかしなが
ら、フィルタ・リンギング・アーティファクトが益々目
に見えてくるのでピクセルサイズが減ってしまうから、
フィルタの次数が重要な問題になる。
単な線形補間処理を与える。何故ならば、両方とも１秒
当たり２５フレームで効率よくフレーム基準プログレッ
シブ（漸進）スキャンされるからである。しかしなが
ら、フィルタ・リンギング・アーティファクトが益々目
に見えてくるのでピクセルサイズが減ってしまうから、
フィルタの次数が重要な問題になる。
【００４２】全ての補間フィルタは、ハーフバンド・フ
ィルタに基づいてきた。下記に示すように、タップ長の
増加と急峻な遷移バンドを与えるために４タイプが使わ
れた。 (1) １ ２ １ (2) −１ ０ ９ 16 ９ ０ −１ (3) ３ ０ −16 ０ 77 128 77 ０ −16 ０ ３ (4) −６ ０ 26 ０ −79 ０ 315 512 315 ０ −79 ０ 26 ０ −６
ィルタに基づいてきた。下記に示すように、タップ長の
増加と急峻な遷移バンドを与えるために４タイプが使わ
れた。 (1) １ ２ １ (2) −１ ０ ９ 16 ９ ０ −１ (3) ３ ０ −16 ０ 77 128 77 ０ −16 ０ ３ (4) −６ ０ 26 ０ −79 ０ 315 512 315 ０ −79 ０ 26 ０ −６
【００４３】これらのフィルタは夫々１，２，３及び４
として参照される。第１のテスト結果は、交番Ｔ及びＢ
フレームを用いた２フレームＳＸシステムを用いて圧縮
されたＶＩＤ画像を使った。
として参照される。第１のテスト結果は、交番Ｔ及びＢ
フレームを用いた２フレームＳＸシステムを用いて圧縮
されたＶＩＤ画像を使った。
【００４４】これらの結果は、第１水平補間のみの適用
の効果を示し、それから、或フレーム（フィールドでは
なく）に垂直補間が適用された場所での水平及び垂直補
間を示している。
の効果を示し、それから、或フレーム（フィールドでは
なく）に垂直補間が適用された場所での水平及び垂直補
間を示している。
【００４５】
【表１】
【００４６】この水平フィルタは、タイプ３にセットさ
れ、垂直フィルタはタイプ１にセットされた。結果は、
次のパラメータを有するシステムに対して表１に示すと
おりである。 ソース画像：モービル及びカレンダー 圧縮のタイプ：Ｉ−Ｂ，３段ウェーブレット空間削減を
使った２フレーム 量子化 ：Ｑ＝１０７０，量子化器ビュー高さ＝３Ｈ
れ、垂直フィルタはタイプ１にセットされた。結果は、
次のパラメータを有するシステムに対して表１に示すと
おりである。 ソース画像：モービル及びカレンダー 圧縮のタイプ：Ｉ−Ｂ，３段ウェーブレット空間削減を
使った２フレーム 量子化 ：Ｑ＝１０７０，量子化器ビュー高さ＝３Ｈ
【００４７】この表から、水平サブピクセル動き補償の
追加は、（Ｓ／Ｎは同様な値に留まるが）全ビットレー
トにおける著しい低下につながる価値があることが明ら
かである。しかしながら、垂直サブピクセル動き補償を
付け加えることは、何も付加せず、パーフォマンス（性
能）を悪くする。垂直サブピクセル動きの補償の利益
は、従って、インターレースされた走査画像ソースに対
して正当化することは難しい。
追加は、（Ｓ／Ｎは同様な値に留まるが）全ビットレー
トにおける著しい低下につながる価値があることが明ら
かである。しかしながら、垂直サブピクセル動き補償を
付け加えることは、何も付加せず、パーフォマンス（性
能）を悪くする。垂直サブピクセル動きの補償の利益
は、従って、インターレースされた走査画像ソースに対
して正当化することは難しい。
【００４８】しかしながら、ＳＩＦ及びＱＩＦ画像は、
フレーム基準であり、インターレースに関して何等問題
ない。両タイプの画像ソースについての実験では、サブ
ピクセル動き補償を適用すると、水平及び垂直方向の両
方において等しく有効であり、それなりに、同じフィル
タが両軸の補間に使われる。
フレーム基準であり、インターレースに関して何等問題
ない。両タイプの画像ソースについての実験では、サブ
ピクセル動き補償を適用すると、水平及び垂直方向の両
方において等しく有効であり、それなりに、同じフィル
タが両軸の補間に使われる。
【００４９】第２セットの結果は、ウェーブレット空間
次元で８フレームＧＯＰを基準にして０．４ｂｐｐ（〜
１Ｍｂｐｓ）でコード化されたＳＩＦ画像の使用に基づ
くピクセル及びサブピクセル動き補償のもっと包括的な
比較であった。結果は、下記の表２に与えられている。
次元で８フレームＧＯＰを基準にして０．４ｂｐｐ（〜
１Ｍｂｐｓ）でコード化されたＳＩＦ画像の使用に基づ
くピクセル及びサブピクセル動き補償のもっと包括的な
比較であった。結果は、下記の表２に与えられている。
【００５０】
【表２】
【００５１】注１：色は輝度に比べて半分の数のピクセ
ルしか持たないので、和のビットレートの計算はＹ＋Ｃ
／２である。 注２：補間フィルタは水平及び垂直軸の両方に対してタ
イプ４（最も複雑のもの）であった。
ルしか持たないので、和のビットレートの計算はＹ＋Ｃ
／２である。 注２：補間フィルタは水平及び垂直軸の両方に対してタ
イプ４（最も複雑のもの）であった。
【００５２】結果は、サブピクセル・ベクトルを使った
効果を明確に示している。以前の例よりむしろ明らかで
あり、サブピクセル動きベクトルを使うと視覚テストに
おける画質の目に見えた改善を作る。
効果を明確に示している。以前の例よりむしろ明らかで
あり、サブピクセル動きベクトルを使うと視覚テストに
おける画質の目に見えた改善を作る。
【００５３】この応用の為にターゲットとされた低いビ
ット・パー・ピクセルで使えるどんな有用な結果をも作
るために、適用できる全ての方法が要求されるので、Ｑ
ＩＦ符号化のテストは、サブピクセル動きベクトル補償
にいつも使われる。従って、ＱＩＦ符号化に比較測定は
用いることはできない。
ット・パー・ピクセルで使えるどんな有用な結果をも作
るために、適用できる全ての方法が要求されるので、Ｑ
ＩＦ符号化のテストは、サブピクセル動きベクトル補償
にいつも使われる。従って、ＱＩＦ符号化に比較測定は
用いることはできない。
【００５４】前のセクションの調査によれば、現在遂行
されている動きベクトル推定の見解に異常を示した。こ
れが符号化遂行に悪影響を示すか否かは明らかでなかっ
た。この異常は、Ｂフレームに影響するだけで、Ｐフレ
ームに影響しない。
されている動きベクトル推定の見解に異常を示した。こ
れが符号化遂行に悪影響を示すか否かは明らかでなかっ
た。この異常は、Ｂフレームに影響するだけで、Ｐフレ
ームに影響しない。
【００５５】各Ｂフレームは一対の動きベクトルに関連
をもっており、一つは、時間的に背後のフレームを指し
ており、もう一つは、先行フレームを指している。ベク
トルの選定は、現在のフレームのマクロブロックを他の
フレームのマクロブロックと比較することにより行われ
るが、Ｘ−Ｙ座標オフセットによってオフセットされ
る。
をもっており、一つは、時間的に背後のフレームを指し
ており、もう一つは、先行フレームを指している。ベク
トルの選定は、現在のフレームのマクロブロックを他の
フレームのマクロブロックと比較することにより行われ
るが、Ｘ−Ｙ座標オフセットによってオフセットされ
る。
【００５６】これは、通常は独立計算によって、順方向
及び逆方向に計算される。しかしながら、Ｂフレーム
は、Ｂフレームの順方向及び逆方向のフレームにおける
マクロブロックから作られた平均マクロブロックを取る
ことにより作られる。即ち、 Ｂ1 ＝Ｉ1 −Ｉ0 ／２−Ｉ2 ／２ これは、ハイパスフィルタ：−１，２，−１と等価であ
る。
及び逆方向に計算される。しかしながら、Ｂフレーム
は、Ｂフレームの順方向及び逆方向のフレームにおける
マクロブロックから作られた平均マクロブロックを取る
ことにより作られる。即ち、 Ｂ1 ＝Ｉ1 −Ｉ0 ／２−Ｉ2 ／２ これは、ハイパスフィルタ：−１，２，−１と等価であ
る。
【００５７】フレームＩ0 及びＩ2 は常時は独立に計算
される。これは１，−１タイプのフィルタを使うのと等
価である。ＭＶＥに対して使われるフィルタはＭＶＣに
対して使われるものではない。ＭＶＥの現在の方法と関
係する重大な問題を起こしかねない特別なパターンを心
に描くことが可能である。
される。これは１，−１タイプのフィルタを使うのと等
価である。ＭＶＥに対して使われるフィルタはＭＶＣに
対して使われるものではない。ＭＶＥの現在の方法と関
係する重大な問題を起こしかねない特別なパターンを心
に描くことが可能である。
【００５８】Ｉ1 フレームを各側のベクトルオフセット
の全結合と比較することによって、この問題を克服する
ＭＶＥの方法を心に描くこともまた容易である。しかし
ながら、＋／−Ｖのベクトルレンジに対して、独立ベク
トル計算は ２＊（Ｖ2 ） に比例するが、両方向サーチを使えば、この計算は （Ｖ2 ）2 ＝Ｖ4 に比例するようになり、数倍大きい。
の全結合と比較することによって、この問題を克服する
ＭＶＥの方法を心に描くこともまた容易である。しかし
ながら、＋／−Ｖのベクトルレンジに対して、独立ベク
トル計算は ２＊（Ｖ2 ） に比例するが、両方向サーチを使えば、この計算は （Ｖ2 ）2 ＝Ｖ4 に比例するようになり、数倍大きい。
【００５９】正規ベクトル推定が厳しい計算上の問題で
ある場所では、Ｂフレーム計算に対する双方向ベクトル
推定の予想は禁じられている。このエリアでは如何なる
正式な作業もなされない。ＭＳＥ値によって与えられた
指示はＭＶＥ発生の正規方法が双方向値に近い結果を作
ることを示し、殆どの場合、ゲインが得られないことが
想像される。
ある場所では、Ｂフレーム計算に対する双方向ベクトル
推定の予想は禁じられている。このエリアでは如何なる
正式な作業もなされない。ＭＳＥ値によって与えられた
指示はＭＶＥ発生の正規方法が双方向値に近い結果を作
ることを示し、殆どの場合、ゲインが得られないことが
想像される。
【００６０】しかし、或動きシーケンスに関して、その
ことが目立つようにする、この問題に設計者は気づくべ
きである。このエリアをもっと詳しくのぞき込むことが
必要になれば、処理インパクトを最小にする、即ち、最
初の推定の独立の結果を用い、しかる後、双方向サーチ
を基準として、最小を探すための各ベクトルセットに対
する小さなサーチサブエリアを採用することに注目すべ
きである。
ことが目立つようにする、この問題に設計者は気づくべ
きである。このエリアをもっと詳しくのぞき込むことが
必要になれば、処理インパクトを最小にする、即ち、最
初の推定の独立の結果を用い、しかる後、双方向サーチ
を基準として、最小を探すための各ベクトルセットに対
する小さなサーチサブエリアを採用することに注目すべ
きである。
【００６１】この双方向サーチは、符号化のための関数
にすぎず、複合器（デコーダ）には影響を与えず、エン
コーダに対して改装できる特色である。整数動きベクト
ル推定のほぼ全ての結果は、最小ベクトル近傍の比較的
ゆっくりとした変化を示す。
にすぎず、複合器（デコーダ）には影響を与えず、エン
コーダに対して改装できる特色である。整数動きベクト
ル推定のほぼ全ての結果は、最小ベクトル近傍の比較的
ゆっくりとした変化を示す。
【００６２】このことは、その信号よりはむしろベクト
ル相関プロファイルに対して補間フィルタを適用するこ
とによって、サブピクセルベクトルを決定するためのフ
ィルタを使うという期待を起こさせる。そのコンセプト
について図３に簡単に図示されている。
ル相関プロファイルに対して補間フィルタを適用するこ
とによって、サブピクセルベクトルを決定するためのフ
ィルタを使うという期待を起こさせる。そのコンセプト
について図３に簡単に図示されている。
【００６３】この補間フィルタは、フィルタ１−４とし
て始めのほうで定義した半バンド型のものとすべきであ
る。補間フィルタは、補間されたベクトル値が最小にな
らないであろう負の値の係数を有することが必要であ
る。
て始めのほうで定義した半バンド型のものとすべきであ
る。補間フィルタは、補間されたベクトル値が最小にな
らないであろう負の値の係数を有することが必要であ
る。
【００６４】このエリアの初めの作業は、この技術の潜
在能力を証明したが、作業の他のエリアは、この技術が
サブピクセル動きベクトルを発生するピクチャーを補間
する標準的な方法全般に亘って確立されてはいなかった
ことを意味する。
在能力を証明したが、作業の他のエリアは、この技術が
サブピクセル動きベクトルを発生するピクチャーを補間
する標準的な方法全般に亘って確立されてはいなかった
ことを意味する。
【００６５】この技術は、それが従来の方法と同じくら
い信頼性のあるベクトルを作るかどうかを確かめるため
の作業をさらに必要とする。この利益は、サブピクセル
ベクトル結果を作るためにとられる計算時間がかなり削
減されることである。
い信頼性のあるベクトルを作るかどうかを確かめるため
の作業をさらに必要とする。この利益は、サブピクセル
ベクトル結果を作るためにとられる計算時間がかなり削
減されることである。
【００６６】動きベクトル補償の著しい観点は、マイク
ロブロック構造にソフトウィンドウを適用するという観
点である。１ＭｂｐｓのＳＩＦ符号化されたピクチャー
についてテストしている間は、急速な動きのエリアにお
いてはマクロブロック構造は目に見えるようになること
が注目された。
ロブロック構造にソフトウィンドウを適用するという観
点である。１ＭｂｐｓのＳＩＦ符号化されたピクチャー
についてテストしている間は、急速な動きのエリアにお
いてはマクロブロック構造は目に見えるようになること
が注目された。
【００６７】これは、フレーム毎のシーケンスを通って
歩進する時にはっきりと証明される。このマクロブロッ
クはＱＩＦピクチャーを使う２５６Ｋｂｐｓのローレー
トでもっとずっと可視的になった。そこでは、マクロブ
ロックは、１１＊９のアレイサイズを占め、ＶＩＤ符号
化ピクチャーのエリアの１６倍である。
歩進する時にはっきりと証明される。このマクロブロッ
クはＱＩＦピクチャーを使う２５６Ｋｂｐｓのローレー
トでもっとずっと可視的になった。そこでは、マクロブ
ロックは、１１＊９のアレイサイズを占め、ＶＩＤ符号
化ピクチャーのエリアの１６倍である。
【００６８】そのように低いビットレートでは、マクロ
ブロック・エラー可視性を改善する方法を考えることが
必要になってきた。前に述べたとおり、もっと小さな寸
法のマクロブロックを使うことは不可能である。何故な
らば、もっと大きな数のベクトルによってとられる過剰
ビットレートのためである。
ブロック・エラー可視性を改善する方法を考えることが
必要になってきた。前に述べたとおり、もっと小さな寸
法のマクロブロックを使うことは不可能である。何故な
らば、もっと大きな数のベクトルによってとられる過剰
ビットレートのためである。
【００６９】しかしながら、ウィンドウ化技術を用いる
ことによりマクロブロック・エラーの可視性を著しく減
らすことは可能である。マクロブロックの基本的な大き
さは、輝度に対して１６＊１６（色に対して８＊８）に
留まるが、ベクトルに援助されたフレーム差計算のため
に２４＊２４（色に対し１２＊１２）のウィンドウが使
われている。
ことによりマクロブロック・エラーの可視性を著しく減
らすことは可能である。マクロブロックの基本的な大き
さは、輝度に対して１６＊１６（色に対して８＊８）に
留まるが、ベクトルに援助されたフレーム差計算のため
に２４＊２４（色に対し１２＊１２）のウィンドウが使
われている。
【００７０】全ての推定ピクチャーが等しいゲインを持
つためには、ウィンドウのエッジは図４に示されるよう
にテーパーが付けられており、同図はＹ及びＣマクロブ
ロックに対するウィンドウ機能を示す。
つためには、ウィンドウのエッジは図４に示されるよう
にテーパーが付けられており、同図はＹ及びＣマクロブ
ロックに対するウィンドウ機能を示す。
【００７１】図４に示されたウィンドウは、図５に図示
されたような全フラット面を形成するために互いに重ね
合わされることができるタイルを形成する。図４に与え
られた１−Ｄテンプレートを使い、下記の表現によりウ
ィンドウを表す。 for(x=0; x<24; x++) window[x]=template[x]; そこで、２−Ｄウィンドウは次の表現で与えられる for(x=0; x<24; x++) for(y=0; y<24; y++) window[x][y]=template[x]*template[y];
されたような全フラット面を形成するために互いに重ね
合わされることができるタイルを形成する。図４に与え
られた１−Ｄテンプレートを使い、下記の表現によりウ
ィンドウを表す。 for(x=0; x<24; x++) window[x]=template[x]; そこで、２−Ｄウィンドウは次の表現で与えられる for(x=0; x<24; x++) for(y=0; y<24; y++) window[x][y]=template[x]*template[y];
【００７２】１−Ｄウィンドウは値１６だけ尺度付けさ
れ、２−Ｄウィンドウはファクタ２５６だけ尺度付けさ
れている。動き推定及び動き補償プロセスの両方に於い
て使われたウィンドウ化された動きベクトルの有効性を
評価するために、テストが行われる。これらの結果は表
３及び４に要約されており、これらの図は異なったタイ
プのシーケンスに対してそれぞれ示している。
れ、２−Ｄウィンドウはファクタ２５６だけ尺度付けさ
れている。動き推定及び動き補償プロセスの両方に於い
て使われたウィンドウ化された動きベクトルの有効性を
評価するために、テストが行われる。これらの結果は表
３及び４に要約されており、これらの図は異なったタイ
プのシーケンスに対してそれぞれ示している。
【００７３】（ｉ）ブロックに基づくＭＶＥの使用及び
ブロックに基づくＭＶＣとウィンドウに基づくＭＶＣの
比較 （ii）ウィンドウに基づくＭＶＣの使用及びブロックに
基づくＭＶＥとウィンドウに基づくＭＶＥの比較
ブロックに基づくＭＶＣとウィンドウに基づくＭＶＣの
比較 （ii）ウィンドウに基づくＭＶＣの使用及びブロックに
基づくＭＶＥとウィンドウに基づくＭＶＥの比較
【００７４】
【表３】
【００７５】
【表４】
【００７６】ウィンドウ化されたＭＶＣを実施するコス
トは比較的小さく、実用的なオプションである。特にブ
ロック基準ＭＶＣについて得られたかなりの質の改善を
みるとそうである。この改善は、表３のスージーについ
ての結果の最後の２行において、数値的に最も注目され
る。他の行は殆ど変化がないかやや悪い結果となってい
る。ウィンドウ化されたＭＶＣの視覚的効果はいつもブ
ロックに基づくＭＶＣよりも良い。
トは比較的小さく、実用的なオプションである。特にブ
ロック基準ＭＶＣについて得られたかなりの質の改善を
みるとそうである。この改善は、表３のスージーについ
ての結果の最後の２行において、数値的に最も注目され
る。他の行は殆ど変化がないかやや悪い結果となってい
る。ウィンドウ化されたＭＶＣの視覚的効果はいつもブ
ロックに基づくＭＶＣよりも良い。
【００７７】表４の結果に戻ると、その比較の結果は、
ある種のシーケンスにおいて小さな相違を示すが、ウィ
ンドウ化されたＭＶＥの実施はもっとずっと幅広いエリ
アに亘る計算を含むので非常に高価である。
ある種のシーケンスにおいて小さな相違を示すが、ウィ
ンドウ化されたＭＶＥの実施はもっとずっと幅広いエリ
アに亘る計算を含むので非常に高価である。
【００７８】これはソフトウェア・ランタイムに跳ね返
りブロック基準のＭＶＥよりもかなり遅くなる。このフ
ァクタは、表５の結果と共に、ウィンドウに基づくＭＶ
Ｅとウィンドウに基づくＭＶＣの両方を使う努力がやり
がいのあることではないことを、はっきりと示してい
る。
りブロック基準のＭＶＥよりもかなり遅くなる。このフ
ァクタは、表５の結果と共に、ウィンドウに基づくＭＶ
Ｅとウィンドウに基づくＭＶＣの両方を使う努力がやり
がいのあることではないことを、はっきりと示してい
る。
【００７９】視覚的な改善もほとんどない。しかしなが
ら、ブロックに基づくＭＶＥとウィンドウに基づくＭＶ
Ｃを使えば、非常に利益があり、前に受け入れ難かった
ピクチャー品質（特にスージー シーケンス）をもっと
ずっと受け入れ得る品質レベルに変える。
ら、ブロックに基づくＭＶＥとウィンドウに基づくＭＶ
Ｃを使えば、非常に利益があり、前に受け入れ難かった
ピクチャー品質（特にスージー シーケンス）をもっと
ずっと受け入れ得る品質レベルに変える。
【００８０】ブロックに基づくＭＶＥとウィンドウに基
づくＭＶＣの結合が、類似の品質改善を持った１Ｍｂｐ
ｓでＳＩＦ符号化されたピクチャーにも同様に適用され
た。高いデータレートで（例えば、ＶＩＤピクチャーに
対しては４Ｍｂｐｓ）その改善する価値があることはい
まだ確立したものではなく、その利益はまだ存在するが
低いレベルであることもあり得る。
づくＭＶＣの結合が、類似の品質改善を持った１Ｍｂｐ
ｓでＳＩＦ符号化されたピクチャーにも同様に適用され
た。高いデータレートで（例えば、ＶＩＤピクチャーに
対しては４Ｍｂｐｓ）その改善する価値があることはい
まだ確立したものではなく、その利益はまだ存在するが
低いレベルであることもあり得る。
【図１】輝度及び色のサンプルグリッドの模式図であ
る。
る。
【図２】色ベクトル推定のために使われる丸め（ROUNDI
NG) 処理を説明するためのグリッド模式図である。
NG) 処理を説明するためのグリッド模式図である。
【図３】サブピクセルベクトルを作る補間フィルタの使
用を説明するための波形図である。
用を説明するための波形図である。
【図４】輝度及び色マクロブロックのためのウィンドウ
機能を示すブロック図である。
機能を示すブロック図である。
【図５】１及び２次元における動きベクトルウィンドウ
のオーバーレイを示す説明図である。
のオーバーレイを示す説明図である。
Ｙ 輝度、Ｃ 色
Claims (8)
- 【請求項１】 動きベクトル解析が適用できるビデオ画
像上にマクロブロック構造を定義するステップと、 隣接ウィンドウが、エッジから内側に漸次増加するピク
セル重み付けを形成する各ウィンドウのエッジを備え、
ソフトウィンドウがその構造内の各マクロブロックより
も大きいソフトウィンドウとオーバーラップするよう
に、ソフトウィンドウをマクロブロック構造に適用する
ステップと、 を含む、動きベクトル補償を含むビデオ圧縮方法。 - 【請求項２】 請求項１に記載の方法において、ピクセ
ル重み付けが、オーバーラップするソフトウィンドウか
ら起きるオーバーラップされた各ピクセルが、或定数に
等しい合計重み付けを有するように選ばれた動きベクト
ル補償を含むビデオ圧縮方法。 - 【請求項３】 請求項１又は２に記載の方法において、
ソフトウィンドウが、各次元において、その構造のマク
ロブロックよりも５０％長い、動きベクトル補償を含む
ビデオ圧縮方法。 - 【請求項４】 請求項３に記載の方法において、各ウィ
ンドウエッジのテーパーの付いた部分が全長の１／３を
含む、動きベクトル補償を含むビデオ圧縮方法。 - 【請求項５】 前記請求項の何れか１つに記載の方法に
おいて、輝度及び色動きベクトル解析のために異なった
マクロブロックサイズ及びウィンドウサイズがある、動
きベクトル補償を含むビデオ圧縮方法。 - 【請求項６】 請求項５に記載の方法に於いて、輝度マ
クロブロック及びウィンドウサイズが夫々１６＊１６及
び２４＊２４であり、色マクロブロック及びウィンドウ
サイズが夫々８＊８及び１２＊１２である、動きベクト
ル補償を含むビデオ圧縮方法。 - 【請求項７】 添付図面の図４又は図５を参照してここ
に実質的に説明されたビデオ圧縮方法。 - 【請求項８】 前記何れか１つの請求項に記載の方法に
より動作するビデオ圧縮装置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| GB9511427A GB2301971B (en) | 1995-06-06 | 1995-06-06 | Video compression |
| GB9511427:8 | 1995-06-06 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH08336146A true JPH08336146A (ja) | 1996-12-17 |
Family
ID=10775601
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP8135094A Pending JPH08336146A (ja) | 1995-06-06 | 1996-05-29 | ビデオ圧縮方法及び装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6430316B1 (ja) |
| JP (1) | JPH08336146A (ja) |
| GB (1) | GB2301971B (ja) |
Families Citing this family (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6594313B1 (en) * | 1998-12-23 | 2003-07-15 | Intel Corporation | Increased video playback framerate in low bit-rate video applications |
| EP1090502B1 (en) * | 1999-04-26 | 2005-11-30 | Koninklijke Philips Electronics N.V. | Sub-pixel accurate motion vector estimation and motion-compensated interpolation |
| US6819333B1 (en) * | 2000-05-12 | 2004-11-16 | Silicon Graphics, Inc. | System and method for displaying an image using display distortion correction |
| US7266150B2 (en) | 2001-07-11 | 2007-09-04 | Dolby Laboratories, Inc. | Interpolation of video compression frames |
| AU2003201069C1 (en) * | 2002-01-14 | 2008-11-06 | Nokia Technologies Oy | Coding dynamic filters |
| US7620109B2 (en) * | 2002-04-10 | 2009-11-17 | Microsoft Corporation | Sub-pixel interpolation in motion estimation and compensation |
| US7305034B2 (en) * | 2002-04-10 | 2007-12-04 | Microsoft Corporation | Rounding control for multi-stage interpolation |
| US7224731B2 (en) * | 2002-06-28 | 2007-05-29 | Microsoft Corporation | Motion estimation/compensation for screen capture video |
| DE10245491A1 (de) * | 2002-09-30 | 2003-11-27 | Siemens Ag | Verfahren zur Bearbeitung eines decodierten digitalisierten Bildes |
| KR100605746B1 (ko) * | 2003-06-16 | 2006-07-31 | 삼성전자주식회사 | 블럭 기반의 움직임 보상 장치 및 방법 |
| US20050013498A1 (en) | 2003-07-18 | 2005-01-20 | Microsoft Corporation | Coding of motion vector information |
| US7738554B2 (en) | 2003-07-18 | 2010-06-15 | Microsoft Corporation | DC coefficient signaling at small quantization step sizes |
| US7426308B2 (en) * | 2003-07-18 | 2008-09-16 | Microsoft Corporation | Intraframe and interframe interlace coding and decoding |
| US10554985B2 (en) | 2003-07-18 | 2020-02-04 | Microsoft Technology Licensing, Llc | DC coefficient signaling at small quantization step sizes |
| US7724827B2 (en) | 2003-09-07 | 2010-05-25 | Microsoft Corporation | Multi-layer run level encoding and decoding |
| US7567617B2 (en) | 2003-09-07 | 2009-07-28 | Microsoft Corporation | Predicting motion vectors for fields of forward-predicted interlaced video frames |
| US8064520B2 (en) | 2003-09-07 | 2011-11-22 | Microsoft Corporation | Advanced bi-directional predictive coding of interlaced video |
| US7317839B2 (en) * | 2003-09-07 | 2008-01-08 | Microsoft Corporation | Chroma motion vector derivation for interlaced forward-predicted fields |
| FR2871018A1 (fr) | 2004-05-25 | 2005-12-02 | St Microelectronics Sa | Procede et dispositif pour les systemes d'interpolation d'images par estimation et compensation de mouvement |
| KR100909390B1 (ko) * | 2007-09-18 | 2009-07-24 | 한국과학기술원 | 고속 움직임 보상 장치 및 방법 |
| CN102113326A (zh) | 2008-08-04 | 2011-06-29 | 杜比实验室特许公司 | 重叠块差异估计和补偿体系结构 |
| JP5029543B2 (ja) * | 2008-09-09 | 2012-09-19 | 富士通株式会社 | 符号化装置および符号化プログラム |
| US9942560B2 (en) | 2014-01-08 | 2018-04-10 | Microsoft Technology Licensing, Llc | Encoding screen capture data |
| US9749642B2 (en) | 2014-01-08 | 2017-08-29 | Microsoft Technology Licensing, Llc | Selection of motion vector precision |
| US9774881B2 (en) | 2014-01-08 | 2017-09-26 | Microsoft Technology Licensing, Llc | Representing motion vectors in an encoded bitstream |
| CN112887726B (zh) * | 2021-03-16 | 2022-11-25 | 西安万像电子科技有限公司 | 图像处理方法和装置、存储介质及电子设备 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2532909B2 (ja) * | 1987-02-25 | 1996-09-11 | 富士写真フイルム株式会社 | ベクトル量子化による画像デ―タの圧縮装置 |
| GB8909498D0 (en) * | 1989-04-26 | 1989-06-14 | British Telecomm | Motion estimator |
| US6005627A (en) * | 1991-05-31 | 1999-12-21 | Kabushiki Kaisha Toshiba | Video coding apparatus |
| WO1993023816A1 (en) * | 1992-05-18 | 1993-11-25 | Silicon Engines Inc. | System and method for cross correlation with application to video motion vector estimation |
| DE4322343C2 (de) * | 1992-07-06 | 1996-10-02 | Mitsubishi Electric Corp | Mittel zum Erfassen eines Bewegungsvektors und Verfahren zum Bestimmen eines Bewegungsvektors |
| JPH06205439A (ja) * | 1992-12-29 | 1994-07-22 | Sony Corp | 映像信号記録装置 |
| JP2636674B2 (ja) * | 1993-05-25 | 1997-07-30 | 日本電気株式会社 | 動画像の動きベクトル検出装置 |
| KR0128860B1 (ko) * | 1993-07-16 | 1998-04-10 | 배순훈 | 저비트율의 영상전화 시스템의 부호화장치 |
| GB2283385B (en) * | 1993-10-26 | 1998-04-01 | Sony Uk Ltd | Motion compensated video signal processing |
| JP2853553B2 (ja) * | 1994-02-22 | 1999-02-03 | 日本電気株式会社 | 動画像符号化方式 |
| US5579050A (en) * | 1995-03-09 | 1996-11-26 | Daewoo Electronics Co., Ltd. | Apparatus for encoding a video signal using a search grid |
-
1995
- 1995-06-06 GB GB9511427A patent/GB2301971B/en not_active Expired - Fee Related
-
1996
- 1996-05-29 JP JP8135094A patent/JPH08336146A/ja active Pending
- 1996-06-05 US US08/658,590 patent/US6430316B1/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US6430316B1 (en) | 2002-08-06 |
| GB2301971B (en) | 1999-10-06 |
| GB2301971A (en) | 1996-12-18 |
| GB9511427D0 (en) | 1995-08-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3799099B2 (ja) | ビデオ圧縮方法及び装置 | |
| JPH08336146A (ja) | ビデオ圧縮方法及び装置 | |
| US9247250B2 (en) | Method and system for motion compensated picture rate up-conversion of digital video using picture boundary processing | |
| Castagno et al. | A method for motion adaptive frame rate up-conversion | |
| KR100525785B1 (ko) | 이미지 화소 필터링 방법 | |
| JP4187264B2 (ja) | 特徴点ベース動き推定技法を用いる映像信号符号化方法及びその装置 | |
| JP2778412B2 (ja) | 動き補償フレーム間コンポジットｔｖ信号直接符号化装置 | |
| US6618439B1 (en) | Fast motion-compensated video frame interpolator | |
| EP1393572B1 (en) | Method and apparatus for motion vector estimation | |
| US20040184666A1 (en) | Image encoder, image decoder, image encoding method, and image decoding method | |
| US20040076233A1 (en) | Motion vector coding method | |
| US8411751B2 (en) | Reducing and correcting motion estimation artifacts during video frame rate conversion | |
| US6317460B1 (en) | Motion vector generation by temporal interpolation | |
| EP0995317A1 (de) | Interpolationsfilterungsverfahren für sub-pelgenauigkeit-bewegungsschätzung | |
| JP2009010492A (ja) | 画像復号化装置及び画像変換回路 | |
| KR20020067192A (ko) | 프레임 레이트 변환 기능을 갖는 비디오 디코더 및 그 방법 | |
| US7068721B2 (en) | Method and configuration for coding a digitized picture, and method and configuration for decoding a digitized picture | |
| Martins et al. | A unified approach to restoration, deinterlacing and resolution enhancement in decoding MPEG-2 video | |
| KR100213021B1 (ko) | 중첩 움직임 추정 및 보상방법 | |
| KR0185841B1 (ko) | 영상 부호기에서의 움직임 추정 장치 | |
| JP4222274B2 (ja) | 符号化モード選択装置及び符号化モード選択プログラム | |
| Shi et al. | Color correction and compression for multi-view video using H. 264 features | |
| WO2023221993A1 (en) | Method and apparatus of decoder-side motion vector refinement and bi-directional optical flow for video coding | |
| JP4118526B2 (ja) | 画像符号化装置 | |
| JP2004349756A (ja) | 動画像符号化装置，方法および動画像符号化プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050517 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050719 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060328 |