JP4410245B2 - ビデオをトランスコーディングする方法 - Google Patents

ビデオをトランスコーディングする方法 Download PDF

Info

Publication number
JP4410245B2
JP4410245B2 JP2006502674A JP2006502674A JP4410245B2 JP 4410245 B2 JP4410245 B2 JP 4410245B2 JP 2006502674 A JP2006502674 A JP 2006502674A JP 2006502674 A JP2006502674 A JP 2006502674A JP 4410245 B2 JP4410245 B2 JP 4410245B2
Authority
JP
Japan
Prior art keywords
enhancement layer
bits
block
video
bit rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006502674A
Other languages
English (en)
Other versions
JP2006518572A (ja
Inventor
ツォウ、ジアン
シャオ、フアイ−ロング
シェン、チィア
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Research Laboratories Inc
Original Assignee
Mitsubishi Electric Research Laboratories Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Research Laboratories Inc filed Critical Mitsubishi Electric Research Laboratories Inc
Publication of JP2006518572A publication Critical patent/JP2006518572A/ja
Application granted granted Critical
Publication of JP4410245B2 publication Critical patent/JP4410245B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本発明は、包括的にはストリーミングの圧縮ビデオに関し、特に、ストリーミングビデオの細粒度スケーラビリティ（ＦＧＳ）拡張階層のビットプレーンをトランスコーディングすることに関する。
インターネット等のネットワークを通じて圧縮ビデオをストリーミングする用途に関して、１つの重要な関心事は、異なる資源、アクセス経路、およびプロセッサを使用する受信者にビデオストリームを配信することである。したがって、ビデオのコンテントは、そのようなネットワークに見られる異機種環境に動的に適合される。
細粒度スケーラビリティ（ＦＧＳ）は、ＭＰＥＧ−４規格用に、そうした動的に変化するネットワーク環境にビデオを適合させるために開発された（ISO/IEC 14496-2:1999/FDAM4, "Information technology - coding of audio/visual objects, Part 2: Visual"を参照願いたい）。ＭＰＥＧ−４規格のこの改正の概要はLi, "Overview of Fine Granularity Scalability in MPEG-4 Video Standard," IEEE Trans. on Circuits and Systems for Video Technology, Vol.11, No.3, pp.301-317, March 2001）を参照願いたい。
ＭＰＥＧ−４のＦＧＳエンコーダは、２つのビットストリームを生成する。そのうちの一方は、基本階層（base layer）であり、他方は、１つまたは複数の拡張階層を含む。これら２つのビットストリームの目的および重要性は異なる。基本階層は、基本となる復号化ビデオを提供する。基本階層は、拡張階層を用いる前に正確に復号化されなければならない。したがって、基本階層は、強固に保護されなければならない。拡張階層は、基本となるビデオの品質を高めるために用いることができる。
ＦＧＳ符号化は、従来のスケーラブル符号化からの根本的な脱却である。従来のスケーラブル符号化では、コンテントは、基本階層のビットストリームとおそらくはいくつかの拡張階層に符号化され、その粒度の細かさは、形成される拡張階層の数と同程度でしかない。結果として得られるレート歪曲線は、階段状の関数に似たものとなる。
それに対して、ＦＧＳ符号化は、連続的にスケーラブルな拡張階層ビットストリームを提供する。拡張階層は、まず基本階層ビットストリームのフレームを入力ビデオの対応するフレームから減算することによって作成される。これにより、空間領域におけるＦＧＳ残差信号が得られる。次に、この残差信号に離散コサイン変換（ＤＣＴ）符号化を適用し、ＤＣＴ係数をビットプレーン符号化法により符号化する。ビットプレーン符号化により、拡張階層ビットストリームの複数の副階層を生成することができる。以下では、これらの副階層も拡張階層と呼ぶ。
ＦＧＳの努力は、以下の領域に焦点を当ててきた。符号化効率の向上（Kalluri, "Single-Loop Motion-Compensated based Fine-Granular Scalability (MC-FGS)," MPEG2001/M6831, July 2001およびWu et al., "A Framework for Efficient Fine Granularity Scalable Video Coding," IEEE Trans. on Circuits and System for Video Technology, Vol. 11, No. 3, pp.332-334, March 2001を参照願いたい）、隣接フレーム間の品質の変化を最小にするための拡張階層の切り捨て（Zhang et al., "Constant Quality Constrained Rate Allocation for FGS Video Coded Bitstreams," Visual Communications and Image Processing 2002, Proceedings of SPIE, Vol. 4671, pp. 817-827, 2000、Cheong et al., "FGS coding scheme with arbitrary water ring scan order," ISO/IEC JTC1/SC29/WG11, MPEG 2001/M7442, July 2001、およびLim et al., "Macroblock reordering for FGS," ISO/IEC JTC1/SC29/WG11, MPEG 2000/M5759, March 2000を参照願いたい）、および時間スケーラビリティを付加するためのＦＧＳ符号化構造の変更（Van der Schaar et al., "A Hybrid Temporal-SNR Fine Granular Scalability for Internet Video," IEEE Trans. on Circuits and System for Video Technology, Vol. 11, No. 3, pp. 318-331, March 2001、およびYan et al., "Macroblock-based Progressive Fine Granularity Spatial Scalability (mb-PFGSS)," ISO/IEC JTC1/SC29/WG11, MPEG2001/M7112, March 2001を参照願いたい）。
従来のスケーラブル符号化法と比べたＦＧＳの利点は、誤り耐性にある。復号化された拡張階層の１つまたは複数のフレームにおける破損または損失が後続のフレームに伝播しない。後続のフレームは、常に、拡張階層を適用する前にまず基本階層から復号化される。
さらに、再構築ビデオの品質は、復号化されるビット数に比例する。したがってＦＧＳは、拡張階層を任意の点で切り捨ててネットワーク帯域幅の目標ビットレートまたは他の制約を達成することができるため、ストリーミングビデオの連続的なレート制御を行う。
しかしながらＭＰＥＧ−４規格は、レート割り当てを行う方法や、拡張階層のビット切り捨てを行う方法を明記していない。この規格は、切り捨てたビットストリームを復号化する方法しか明記していない。
復号化ビデオを視聴する際、人間は、一定で比較的中程度の品質の復号化ビデオのほうが、隣接フレーム間で品質が変化し、一部のフレームが高品質で他のフレームが低品質である復号化ビデオよりも「よい」と知覚する。したがって、切り捨ては、隣接フレーム間の品質の時間的変化も最小にすべきである。
単純な切り捨て法の１つは、切り捨てにより、利用可能な帯域幅を各フレームの拡張階層に均等に割り当てる（Van der Schaar et al., "A Hybrid Temporal-SNR Fine Granular Scalability for Internet Video," IEEE Trans. on Circuits and System for Video Technology, Vol. 11, No. 3, pp. 318-331, March 2001を参照願いたい）。この方法を用いた場合、拡張階層の各フレームについて同数のビットがネットワークを介して送信される。しかしながら、隣接フレーム間でビデオの複雑性が変動する場合、復号化ビデオの品質も時間が経つにつれてかなり変動する。
この問題を解決するために、「最近隣フェザーライン（nearest feather line）」法を用いることができる（Zhao et al., "A Content-based Selective Enhancement Layer Erasing Algorithm for FGS Streaming Using Nearest Feather Line Method," Visual Communications and Image Processing, Proceedings of SPIE, Vol. 4671, pp. 242-249, 2002を参照願いたい）。この方法は、各フレームの「重要性」を評価し、この重要性に基づいて拡張階層にビットを割り当てる。
別の方法は、最適レート割り当てを用いて拡張階層ビットストリームを切り捨てる（Zhang et al., "Constant Quality Constrained Rate Allocation for FGS Video Coded Bitstreams," Visual Communications and Image Processing, Proceedings of SPIE, Vol. 4671, pp. 817-827, 2000およびZhao et al., "MPEG-4 FGS Video Streaming with Constant-Quality Rate Control and Differentiated Forwarding", Visual Communications and Image Processing, Proceedings of SPIE, Vol. 4671, 2003を参照願いたい）。これらの方法は、拡張階層の符号化中にレート歪（Ｒ−Ｄ）点のセットを生成する。次に、補間を用いて拡張階層の各フレームのＲ−Ｄ曲線を推定する。このＲ−Ｄ曲線を用いて、切り捨てるべきビット数を求める。これらの方法は、隣接フレーム間の品質の変化を最小にすることができる。
しかしながら、従来技術の方法は、全て、フレーム内の品質の空間的変化を無視している。
図１に示すように、従来技術の方法がフレーム内の品質の変化を最小にできない理由は、ＭＰＥＧ−４のＦＧＳ規格が拡張階層ビットストリームの符号化に通常のスキャン順を使用しているためである。通常のスキャン順は、フレーム１００のマクロブロック（例えば１〜Ｎ）の符号化を順次、フレームの左上の角のマクロブロック１から始めて右下の角のマクロブロックＮで終える。結果として、図２に示すように、送信される最後のビットプレーン階層を切り捨てると、復号化フレームの部分２００のみが拡張され、符号化フレームの部分２０１は拡張されない。したがって、フレーム全体の品質は均一でなくなる。
波動スキャン順を選択的な拡張とともに用いて、フレーム内の関心領域を処理することができる（Cheong et al., "FGS coding scheme with arbitrary water ring scan order," ISO/IEC JTC1/SC29/WG11, MPEG 2001/m7442, July 2001を参照願いたい）。関心領域のビットプレーンは、選択的に拡張され、他に先駆けて送信することができる。しかしながら、この方法には３つの問題がある。第１に、デコーダは、波動スキャンされた拡張階層を復号化するように変更される必要がある。第２に、大抵の自然の情景のビデオでは、関心領域を定義することが困難である。第３に、シーンが複数の関心領域を含む場合がある。
別の方法は、異なるマクロブロックのスキャン順を用いる（Lim et al., "Macroblock reordering for FGS," ISO/IEC JTC1/SC29/WG11, MPEG 2000/m5759, March 2000を参照願いたい）。この方法は、基本階層における量子化スケールの値が大きなマクロブロックは、それに対応して拡張階層における残留係数が高いという仮定に基づく。したがって、拡張階層のマクロブロックの並べ替えシーケンスは、基本階層からの２つのパラメータ、すなわち量子化スケールの値、およびＤＣＴ係数の数を用いる。
対応する基本階層のマクロブロックの量子化の値およびＤＣＴ係数の数がより大きい拡張階層のマクロブロックをまず符号化する。しかしながら、この方法は、デコーダの変更も必要であり、ビットプレーンを切り捨てる際にフレーム内の空間品質の変化を解決しない。
したがって、デコーダを変更せずに、ＦＧＳストリーミングビデオの拡張階層を切り捨てる際にフレーム内で一定の空間品質を実質的に維持するシステムおよび方法が必要である。
ビデオのトランスコーディング方法を提供する。ビットプレーン符号化を用いて、ビデオをまず、基本階層と、１つまたは複数の拡張階層とに階層的に符号化する。次に、利用可能なビットレートで送信された結果として、切り捨てられる拡張階層に相当する最後の拡張階層が存在する場合、ピットプレーン符号化された当該最後の拡張階層をＤＣＴ係数まで復号化する。復号化された前記ＤＣＴ係数をピットプレーン符号化する際のビット数を利用可能なビットレートに合わせて低減し、次にこの低減したビット数を用いて前記ＤＣＴ係数を再びビットプレーン符号化して、低減されたビットレートで送信する。
本発明は、細粒度スケーラビリティ（ＦＧＳ）ビデオビットストリームをトランスコードして、ネットワーク帯域幅が低減される場合に、デコーダが、符号化した基本階層と、１つまたは複数の拡張階層とから均一な空間品質でフレームを再構築することを可能にする。均一な空間品質とは、ビデオの各フレーム内の品質が一定であることを意味する。
明らかに、拡張階層の最後の復号化されたビットプレーンでフレーム全体を再構築すれば、フレーム全体の品質は均一に拡張される。しかしながら、時として、ビットストリームが送信されるチャネルのビットレートは、必要であるよりも低い。したがって、１つまたは複数の拡張階層（ビットプレーン）全体が消去され、チャネルが拡張階層全体を送信できない場合には拡張階層が切り捨てられることもある。切り捨てられる拡張階層を送信される最後の階層と呼ぶ。最後の階層が切り捨てられる場所に応じて、フレーム毎の空間品質の変化は異なる可能性がある。
したがって、送信される最後の拡張階層をトランスコードし、送信される最後の拡張階層のトランスコードされる各ブロックの、トランスコーディング後のビット数は低減されるが、この低減したビット数でもフレーム全体が符号化される。トランスコーディングとは、拡張階層全体を部分的にＤＣＴ係数まで復号化することを意味する。逆ＤＣＴは行わない。
部分的に復号化された階層のビット数は、後述のように、帯域幅要件に合わせて低減する。次に、この低減されたビットレートの拡張階層を再び符号化する。結果として、デコーダは、チャネルのビットレートを低減してもフレーム全体を均一な空間品質で再構築することができる。
図３に示すように、本発明のエンコーダおよび方法３００は、以下のように動作する。まず、入力ビデオ３０１の各フレームのブロックを、ＭＰＥＧ−４のＦＧＳ規格に記載されているように符号化（３１０）して、基本階層３１１と、ビットプレーン３１２を含む１つまたは複数の拡張階層とを生成する。
各出力ビットプレーン３１２の各ブロックの生成されたビット数Ｒｉ３２１をメモリに記憶（３２０）する（ここで、ｉ＝０、１、・・・、Ｎ−１であり、Ｎは、ビットプレーンのブロック数である）。フレーム内の全ブロックのビットプレーンの総ビット数をＲＢＰとして記憶する。
次に、ＦＧＳ符号化ビデオストリームを送信するために必要な要求されるビットレートが与えられているかどうかを判定（３３０）し、真であれば、現在のビットプレーンを送信（３４０）する。
偽であれば、他の方法では切り捨てられる最後の拡張階層を部分的に復号化し、各ブロックのビット数を次式に従って低減する。
Figure 0004410245
ここで、Ｒｉは、ブロックｉを符号化（３１０）するために用いられるビット数であり、Ｒ’ｉは、ブロックを低ビットレートＲｂｕｄｇｅｔで再び符号化（３６０）するために必要なビット数である。上式は、フレーム全体の元のビットの貢献により再符号化された各ブロックにオーバーシュートしたビットバジェット（ＲＢＰ−Ｒｂｕｄｇｅｔ）が割り当てられることを示す。
次に、送信される最後のビデオビットプレーン３１２の各ブロックを、低減したビット数Ｒ’ｉの要件に合わせて再び符号化（３６０）し、サイズを低減したビットプレーン３６１を送信（３４０）する。
ビットプレーンのサイズを低減するにはいくつかの方法がある。１つの単純な方法は、以下のようなものである。各拡張階層のブロックは、最も高いＡＣ周波数のＤＣ係数の残差に対応する「０」または「１」のビットを６４個有する。新しいビットバジェットを用いた符号化手順は、高周波数のＤＣＴ係数を拡張するために適用される「１」のいくつかを削除または消去する必要があることを意味する。削除ステップ３６０は、低いビットバジェットを満たすまで、高周波数のＤＣＴ係数を拡張させる「１」の値を消去する。
レート歪の最適化
上記のビットレートの低減により、ＤＣＴ領域における最も高いＡＣ周波数に対応する「１」のビットを消去する。しかしながら、このやり方は、レート歪（Ｒ−Ｄ）の観点で見ると最適ではない。例えば、拡張階層ブロックにおいて符号化される２つの係数「８」および「１５」はバイナリ形式では「１０００」および「１１１１」で表される。１番目の拡張階層の最上位ビットプレーン（ＭＳＢ）は２つの「１」を含む。
「１５」に対応するＭＳＢの「１」のビットのみを送信した場合、全体的な歪は、差の二乗和（ＳＳＤ）に換算して１１３となる。「８」に対応するＭＳＢの「１」のビットのみを送信した場合、全体的な歪は、ＳＳＤに換算して２２５となる。一方で、「１５」に関連する「１」のビットを消去した場合は、「８」に関連する「１」のビットを消去した場合と比較してＭＳＢを符号化するための生成されるビット数が少なくなる。したがって、どのビットを消去するかを判定するための最適な方法が必要である。
ビットレートの低減の問題は、元のブロックからいくつかの「１」のビットを選択して、再符号化されたビットストリームが、制限されたビットバジェットと、最適な品質または最小の歪との両方を満たすようにすることに一般化することができる。
この問題は、複合レート歪最適化を用いて解決することができる。１つのブロックについて、コスト関数Ｊ（λ）＝Ｄ（Ｒｉ）＋λＲｉ（ここで、Ｒｉは、現在のブロックを符号化するために用いられるビット数であり、Ｄ（Ｒｉ）は、レートＲｉに対応する歪であり、λは、基本階層ブロックの量子化パラメータに従って指定される実験的パラメータである）を最小にすることができる。
上記したように、現在のビットプレーンの「１」のビットを消去した結果生じる歪を求める際には、より高い拡張階層のＤＣＴ係数に関連するビットを考慮すべきである。
１つの拡張階層ブロックでは、１つのビットプレーンに６４個のビットがある。各ビットは、送信または消去することができる。しかも、利用可能な消去パターンの組み合わせは、現在のブロックにおける「１」の個数に対して指数関数的である。
ブロックは、図４のトレリス探索で探索を行うことによって処理することができる。図４において、Ａ４０１は、ビットプレーン４００の開始を示す。探索がビットプレーン４００の１番目の「１」のビット４１１に達したとき、これを処理する方法には二通りあり、「１」のままとするか、あるいは「０」に変更する。したがって、２つの状態、すなわち、「Ｂ」４０２および「Ｃ」４０３が生成される。「Ａ−Ｂ」の経路の場合、コスト関数は、Ｊ＝λＲｉ（ここで、Ｒｉは、そこまでのビット列を記述するために必要なコードワードの長さである）として計算することができる。「Ａ−Ｃ」の経路の場合、コスト関数は未だ得られない。
探索がビットプレーンの２番目の「１」のビット４１２に達するとき、４つの経路、すなわち「ＢＤ」、「ＣＤ」、「ＢＥ」、「ＣＥ」がある。状態「Ｅ」４０５はこの「１」が「０」に変更されることを示し、状態「Ｄ」４０４は「１」が保持されることを示す。状態「Ｄ」に入る２つの経路の場合に、一方の経路は、コスト関数λ（Ｒ１＋Ｒ２）の値に従って廃棄され（経路ＡＢＤに対応する）、λＲ３＋Ｄは、経路ＡＣＤに対応する（ここで、Ｒ３は「ＡＣＤ」の列を記述するためのコードワードの長さであり、Ｄは「Ｂ」の位置の「１」を「０」に変更することによって生じる歪である）。上記の手順をブロックの最後まで、あるいは当該ブロックのビットバジェットを満たして最適な局所経路が生成されるまで続ける。
発明の効果
本発明の有効性を検証するために、共通中間フォーマット（ＣＩＦ）を用いて標準的な「Ａｋｉｙｏ」ビデオシーケンスを符号化した。基本階層は、ＩフレームとＰフレームの両方を量子化パラメータＱ＝３１で符号化する。このシーケンス中にはＢフレームはない。拡張階層に関しては、拡張階層に利用可能な全帯域幅は５７６ｋｂ／ｓである。
図５は、本発明の方法のＰＳＮＲ利得５００を、従来技術の「均等切り捨て」法と比較して示す。ビデオシーケンス全体に関して、本発明は、０．１７ｄＢの平均ＰＳＮＲ利得を生じる。各マクロブロックの輝度成分の平均二乗誤差（ＭＳＥ）の分散を用いて、フレーム内の品質の変化を測定する。本発明は、また、フレーム内の品質の変化を２６パーセント低減する。
本発明を好適な実施の形態の例として記載してきたが、本発明の精神および範囲内で様々な他の適応および変更を行うことができることが理解される。したがって、添付の特許請求の範囲の目的は、本発明の真の精神および範囲に入る変形および変更をすべて網羅することである。
従来技術の、ビデオの拡張階層を符号化するための順次スキャン順のブロック図である。 拡張階層の切り捨てにより部分的に拡張された復号化フレームのブロック図である。 本発明によるＦＧＳビデオエンコーダのブロック図である。 図４は、本発明による、ビットを低減する探索トレリスの図である。 図５は、本発明により達成されるＰＳＮＲ利得のグラフである。

Claims (6)

  1. ビットプレーン符号化を用いて、ビデオを基本階層と、少なくとも１つの拡張階層とに階層的に符号化することと、
    利用可能なビットレートで送信された結果として、切り捨てられる拡張階層に相当する最後の拡張階層が存在する場合には、前記ピットプレーン符号化された前記最後の拡張階層をＤＣＴ係数まで復号化することと、
    復号化された前記ＤＣＴ係数をピットプレーン符号化する際のビット数を前記利用可能なビットレートに合わせて低減することと、
    前記低減したビット数を用いて前記ＤＣＴ係数を再びビットプレーン符号化することで前記最後の拡張階層を再符号化することと
    を含むビデオをトランスコーディングする方法。
  2. 前記低減は、次式に従って行われ、
    Figure 0004410245
    ここで、Ｒｉは、前記最後の拡張階層のフレームの各ブロックｉを符号化するために用いられるビット数であり、Ｒ’ｉは、前記利用可能なビットレートＲｂｕｄｇｅｔで前記ブロックを再び符号化するために必要なビット数であり、ＲＢＰは、前記フレームを符号化するために用いられる総ビット数である請求項１に記載の方法。
  3. 前記低減は、前記利用可能なビットレートを満たすまで各ブロックの高周波数のＤＣＴ係数を拡張させる「１」の値を消去する請求項１に記載の方法。
  4. どの「１」のビットを消去するかを判定するためにコスト関数を評価することをさらに含む請求項１に記載の方法。
  5. 前記コスト関数は、Ｊ（λ）＝Ｄ（Ｒｉ）＋λＲｉであり、ここで、Ｒｉは、現在のブロックを符号化するために用いられるビット数であり、Ｄ（Ｒｉ）は、ビットレートＲｉに対応する歪であり、λは、前記基本階層のブロックの量子化パラメータに従って特定される実験的パラメータである請求項４に記載の方法。
  6. 前記コスト関数を評価することは、トレリス探索を用いて処理されることをさらに含む請求項４に記載の方法。
JP2006502674A 2003-02-21 2004-02-19 ビデオをトランスコーディングする方法 Expired - Fee Related JP4410245B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/371,087 US20040179606A1 (en) 2003-02-21 2003-02-21 Method for transcoding fine-granular-scalability enhancement layer of video to minimized spatial variations
PCT/JP2004/001929 WO2004075560A1 (en) 2003-02-21 2004-02-19 Method for transcoding a fine granular scalable encoded video

Publications (2)

Publication Number Publication Date
JP2006518572A JP2006518572A (ja) 2006-08-10
JP4410245B2 true JP4410245B2 (ja) 2010-02-03

Family

ID=32907677

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006502674A Expired - Fee Related JP4410245B2 (ja) 2003-02-21 2004-02-19 ビデオをトランスコーディングする方法

Country Status (4)

Country Link
US (1) US20040179606A1 (ja)
JP (1) JP4410245B2 (ja)
CN (1) CN100352283C (ja)
WO (1) WO2004075560A1 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2004302413B2 (en) * 2003-08-26 2008-09-04 Samsung Electronics Co., Ltd Scalable video coding method and apparatus using pre-decoder
CN1871858A (zh) * 2003-10-20 2006-11-29 三星电子株式会社 规格化视觉品质的比特率控制方法与装置
US20050088986A1 (en) * 2003-10-27 2005-04-28 Feng-Wen Sun Systems and methods for distributing data
US7570827B2 (en) 2004-07-14 2009-08-04 Slipstream Data Inc. Method, system and computer program product for optimization of data compression with cost function
ATE532270T1 (de) 2004-07-14 2011-11-15 Slipstream Data Inc Verfahren, system und computerprogramm für die optimierung von datenkomprimierung
CN100417226C (zh) * 2004-10-06 2008-09-03 日本电信电话株式会社 可扩缩编码方法和装置
US20060193379A1 (en) * 2005-02-25 2006-08-31 Nokia Corporation System and method for achieving inter-layer video quality scalability
WO2006129184A1 (en) * 2005-06-03 2006-12-07 Nokia Corporation Residual prediction mode in scalable video coding
US9025673B2 (en) * 2006-04-05 2015-05-05 Qualcomm Incorporated Temporal quality metric for video coding
FR2903556B1 (fr) * 2006-07-04 2008-10-03 Canon Kk Procedes et des dispositifs de codage et de decodage d'images, un systeme de telecommunications comportant de tels dispositifs et des programmes d'ordinateur mettant en oeuvre de tels procedes
CN101507281B (zh) * 2006-07-12 2013-06-05 诺基亚公司 媒体文件中的兴趣区域可缩放性信息的信号发送
ES2348686T3 (es) * 2006-07-13 2010-12-10 Qualcomm Incorporated Codificaciã“n de video con escalabilidad granular fina mediante fragmentos alineados con ciclos.
US8325819B2 (en) * 2006-10-12 2012-12-04 Qualcomm Incorporated Variable length coding table selection based on video block type for refinement coefficient coding
US8565314B2 (en) * 2006-10-12 2013-10-22 Qualcomm Incorporated Variable length coding table selection based on block type statistics for refinement coefficient coding
CN101523919B (zh) * 2006-10-12 2011-09-14 高通股份有限公司 基于用于精细化系数译码的视频区块类型的可变长度译码表选择
US9319700B2 (en) * 2006-10-12 2016-04-19 Qualcomm Incorporated Refinement coefficient coding based on history of corresponding transform coefficient values
US8599926B2 (en) * 2006-10-12 2013-12-03 Qualcomm Incorporated Combined run-length coding of refinement and significant coefficients in scalable video coding enhancement layers
US8243789B2 (en) * 2007-01-25 2012-08-14 Sharp Laboratories Of America, Inc. Methods and systems for rate-adaptive transmission of video
AU2007201403A1 (en) * 2007-03-30 2008-10-16 Canon Kabushiki Kaisha Improvement for Spatial Wyner Ziv coding
JP5359302B2 (ja) * 2008-03-18 2013-12-04 ソニー株式会社 情報処理装置および方法、並びにプログラム
EP2304689A4 (en) * 2008-06-23 2017-03-15 Cinova Media, Inc. Compressed domain system and method for compression gains in encoded data
GB2496862B (en) * 2011-11-22 2016-06-01 Canon Kk Communication of data blocks over a communication system
KR102495915B1 (ko) * 2018-04-30 2023-02-03 삼성전자 주식회사 스토리지 장치 및 상기 스토리지 장치를 포함하는 서버
CN116962712B (zh) * 2023-09-20 2023-12-12 成都索贝数码科技股份有限公司 一种视频图像分层编码的增强层改进编码方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6292512B1 (en) * 1998-07-06 2001-09-18 U.S. Philips Corporation Scalable video coding system
US6639943B1 (en) * 1999-11-23 2003-10-28 Koninklijke Philips Electronics N.V. Hybrid temporal-SNR fine granular scalability video coding
WO2001089167A2 (en) * 2000-05-15 2001-11-22 Virginia Tech Intellectual Properties, Inc. Method and system for overloaded array processing
US6771703B1 (en) * 2000-06-30 2004-08-03 Emc Corporation Efficient scaling of nonscalable MPEG-2 Video
US7042944B2 (en) * 2000-09-22 2006-05-09 Koninklijke Philips Electronics N.V. Single-loop motion-compensation fine granular scalability
US7391807B2 (en) * 2002-04-24 2008-06-24 Mitsubishi Electric Research Laboratories, Inc. Video transcoding of scalable multi-layer videos to single layer video
US7167560B2 (en) * 2002-08-08 2007-01-23 Matsushita Electric Industrial Co., Ltd. Partial encryption of stream-formatted media

Also Published As

Publication number Publication date
WO2004075560A1 (en) 2004-09-02
US20040179606A1 (en) 2004-09-16
CN100352283C (zh) 2007-11-28
CN1698383A (zh) 2005-11-16
JP2006518572A (ja) 2006-08-10

Similar Documents

Publication Publication Date Title
JP4410245B2 (ja) ビデオをトランスコーディングする方法
KR100714696B1 (ko) 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치
JP4922391B2 (ja) 多階層基盤のビデオエンコーディング方法および装置
KR100678911B1 (ko) 방향적 인트라 예측의 적용을 확장하여 비디오 신호를인코딩하고 디코딩하는 방법 및 장치
JP4833296B2 (ja) 多階層を基盤としたスケーラブルビデオコーディング方法および装置
JP4891234B2 (ja) グリッド動き推定／補償を用いたスケーラブルビデオ符号化
US8406294B2 (en) Method of assigning priority for controlling bit rate of bitstream, method of controlling bit rate of bitstream, video decoding method, and apparatus using the same
JP4763548B2 (ja) スケーラブルビデオコーディング及びデコーディング方法と装置
US8817872B2 (en) Method and apparatus for encoding/decoding multi-layer video using weighted prediction
US20060104354A1 (en) Multi-layered intra-prediction method and video coding method and apparatus using the same
US20060120450A1 (en) Method and apparatus for multi-layered video encoding and decoding
US20120250759A1 (en) Apparatus and Method for Generating a Coded Video Sequence and for Decoding a Coded Video Sequence by Using an Intermediate Layer Residual Value Prediction
US20060153294A1 (en) Inter-layer coefficient coding for scalable video coding
JP2006304307A (ja) エントロピーコーディングのコンテキストモデルを適応的に選択する方法及びビデオデコーダ
US20060280372A1 (en) Multilayer-based video encoding method, decoding method, video encoder, and video decoder using smoothing prediction
KR20060135992A (ko) 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치
JP2003511919A (ja) 基本層量子化データを使用して改善層データを符号化及び復号するシステム及び方法
EP1114558A1 (en) Intra-frame quantizer selection for video compression
JP2006304307A5 (ja)
US6996172B2 (en) Method and structure for scalability type selection in digital video
JP2007507927A (ja) アドバンスドデータパーティショニングと効率的な空間−時間−ｓｎｒスケーラビリティビデオコーディング及びストリーミングのためのファイン・グラニュラリティ・スケーラビリティとを結合したシステム及び方法
Bichon et al. Optimal adaptive quantization based on temporal distortion propagation model for HEVC
JP2006500849A (ja) スケーラブルなビデオエンコード
JP5063678B2 (ja) ビットストリームのビット率の調節のための優先権の割当て方法、ビットストリームのビット率の調節方法、ビデオデコーディング方法およびその方法を用いた装置
KR100718468B1 (ko) 영상 축소 트랜스 코딩 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061215

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20070530

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070629

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090724

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090804

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091022

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091110

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091112

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121120

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131120

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees