JP4729220B2 - ハイブリッドな時間的／ｓｎｒ的微細粒状スケーラビリティビデオ符号化 - Google Patents
ハイブリッドな時間的／ｓｎｒ的微細粒状スケーラビリティビデオ符号化 Download PDFInfo
- Publication number
- JP4729220B2 JP4729220B2 JP2001540526A JP2001540526A JP4729220B2 JP 4729220 B2 JP4729220 B2 JP 4729220B2 JP 2001540526 A JP2001540526 A JP 2001540526A JP 2001540526 A JP2001540526 A JP 2001540526A JP 4729220 B2 JP4729220 B2 JP 4729220B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- video
- encoding
- base layer
- generate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 230000002123 temporal effect Effects 0.000 title claims description 95
- 238000000034 method Methods 0.000 claims description 64
- 239000013598 vector Substances 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 description 23
- 238000013139 quantization Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/654—Transmission by server directed to the client
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/115—Selection of the code volume for a coding unit prior to coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/164—Feedback from the receiver or from the transmission channel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/633—Control signals issued by server directed to the network components or client
- H04N21/6332—Control signals issued by server directed to the network components or client directed to client
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【技術分野】
本発明は、広くはビデオ符号化に係り、更に詳細には品質的な及び時間的な両スケーラビリティを含むような微細粒状符号化（fine granular coding）技術に関する。
【０００２】
【背景技術】
微細粒状スケーラビリティ（ＦＧＳ）は、インターネットのような変化する帯域幅を持つようなネットワーク上で伝送するビデオを圧縮するために使用されている。そのようなＦＧＳ構造の例が図１Ａ、１Ｂ及び図２Ａ、２Ｂに示されている。見られるように、これらの構造はビットレートＲＢＬで符号化されたベースレイヤと、ＲＥＬで符号化された単一の微細粒状エンハンスメントレイヤとからなっている。しかしながら、図１Ａ及び１Ｂにおいて、上記ベースレイヤはＩ及びＰフレームのみを含むように符号化されている一方、図２Ａ及び２Ｂでは上記ベースレイヤはＩ、Ｐ及びＢフレームを含むように符号化されている。
【０００３】
エンハンスメントレイヤの微細粒状性のために、ＦＧＳビデオストリームは、Ｂmin＝ＲＢＬからＢmax＝ＲＢＬ＋ＲＥＬまでの範囲の利用可能な帯域幅を持つ如何なるネットワークセッションを介しても伝送することができる。例えば、送信機と受信機との間で利用可能な帯域幅がＢ＝Ｒである場合、上記送信機はベースレイヤをレートＲＢＬで送り、エンハンスメントレイヤの一部のみをレートＲｅ＝Ｒ−ＲＢＬで送る。図１Ａ及び１Ｂから分かるように、エンハンスメントレイヤの上記部分は送信のために微細粒状の態様で選択することができる。従って、総送信ビットレートはＲ＝ＲＢＬ＋Ｒｅである。
【０００４】
単一のエンハンスメントレイヤで広い範囲の伝送帯域幅をサポートする柔軟性のため、ＦＧＳフレームワークはＩＳＯのＭＰＥＧ−４規格により採用されている。ＦＧＳに基づくエンコーダを使用したシステムの一例が図３に示されている。該システムは、（Ｂmin＝Ｒmin、Ｂmax＝Ｒmax）の範囲内の変化する利用可能な帯域幅を持つネットワーク６を含んでいる。現在の利用可能な帯域幅（Ｒ）を推定又は測定するために、計算ブロック４も含まれている。ベースレイヤ（ＢＬ）ビデオエンコーダ８はビデオソース２からの信号を範囲（Ｒmin、Ｒ）内のビットレート（ＲＢＬ）を用いて圧縮する。典型的には、ベースレイヤエンコーダ８は、上記信号を最小ビットレート（Ｒmin）を用いて圧縮する。これは、ＢＬ符号化が当該ビデオ信号を送信する時点の前にオフラインで行われる場合に特に当てはまる。理解されるように、残差画像１２を計算するために、ユニット１０も含まれている。更に、エンハンスメントレイヤ（ＥＬ）エンコーダ１４は、上記残差画像をビットレートＲＥＬで圧縮するが、該ビットレートはＲＢＬからＲmax−ＲＢＬの範囲内であり得る。上記ビデオ信号（エンハンスメントレイヤ及びベースレイヤの両方）の符号化はリアルタイムで（図が意味するように）又は送信時点の前にオフラインでの何れでも生じ得るということに注意することが重要である。後者の場合、ビデオは記憶し、後の時点で図示されるようにリアルタイムレートコントローラ１６を用いて送信する（又はストリームする）ことができる。リアルタイムコントローラ１６は、現在の（リアルタイムな）利用可能な帯域幅Ｒを考慮に入れて、最良の品質のエンハンスメントレイヤ信号を選択する。従って、該レートコントローラからのＥＬ信号の出力ビットレートはＲ−ＲＢＬに等しい。
【０００５】
【発明の開示】
本発明は、品質的及び時間的な両方のスケーラビリティを含む微細粒状スケーラビリティ符号化技術を志向したものである。本発明によるビデオデータを符号化する方法の一例においては、ビデオデータの一部がベースレイヤフレームを生成するよう符号化される。動き補償された残差画像が、上記ビデオデータ及びベースレイヤフレームから生成される。該動き補償された残差画像は微細粒状符号化技術を用いて符号化されて、時間的エンハンスメントフレームを生成する。更に、上記ビデオデータ及びベースレイヤフレームから残差画像が発生される。次いで、これら残差画像も微細粒状符号化技術を用いて符号化されて、品質的エンハンスメントフレームを生成する。上記時間的エンハンスメントフレームと品質的エンハンスメントフレームとは、エンハンスメントレイヤへと合成することもできる。
【０００６】
本発明によるビデオデータを符号化する方法の他の実施例においては、ビデオデータの一部がベースレイヤフレームを生成するよう符号化される。動き補償された残差画像が、上記ビデオデータとベースレイヤフレームとから発生される。これら動き補償された残差画像は時間的エンハンスメントフレームを生成するよう符号化される。上記ビデオデータ、ベースレイヤフレーム及び時間的エンハンスメントフレームから残差画像が発生される。これら残差画像は、次いで、微細粒状符号化技術を用いて符号化され、品質的エンハンスメントフレームを生成する。更に、上記時間的エンハンスメントフレームは時間的エンハンスメントレイヤを形成し、上記品質的エンハンスメントフレームは品質的エンハンスメントレイヤを形成する。
【０００７】
本発明によるベースレイヤ及びエンハンスメントレイヤを含むビデオ信号を復号する方法の一例においては、上記ベースレイヤが復号されてビデオフレームを生成する。上記エンハンスメントレイヤも復号されて、動きベクトルを生成する。次いで、上記動きベクトルに従って上記ビデオフレームに対し動き補償が実行され、追加のビデオフレームを生成する。次いで、上記ビデオフレーム及び追加のビデオフレームはビデオシーケンスへと合成される。更に、向上されたビデオフレームを生成するために上記エンハンスメントレイヤが復号される。これら向上されたビデオフレームの各々は、上記ビデオフレーム及び追加のビデオフレームの一方に加算される。
【０００８】
尚、添付図面において、同様の符号は全図を通して対応する構成要素を示している。
【０００９】
【発明を実施するための最良の形態】
微細粒状スケーラビリティ（ＦＧＳ）符号化は、ベースレイヤにおいて送信される各フレーム又は画像のビデオ品質、即ち信号対雑音比（ＳＮＲ）を改善するために実施される。これは、復号されたベースレイヤ画像と元の画像との間の差である残差画像（ＲＩ）を計算することにより達成される。次いで、該残差画像は埋め込まれた、即ち微細粒状ビデオ符号化方法を用いて符号化される。この説明の目的のため、この符号化処理から生じる画像を、ＦＧＳ残差画像（ＦＲ）と称するであろう。
【００１０】
全てのベースレイヤビデオフレームのビデオ品質（即ち、ＳＮＲの尺度）を増加する代わりとして、幾つかの場合には、送信されるビデオシーケンスのフレームレートを増加することが望ましい。これは、追加のフレームを送信することにより達成される。例えば、ビデオ信号が毎秒１０フレーム（fps）のシーケンスからなっていると仮定する。ベースレイヤにおいては、このビデオシーケンスの５fps（例えば、フレーム１、３、５、…等を用いて）のみが符号化され、送信される。次いで、エンハンスメントレイヤが、残りの５fpsサブシーケンス（即ち、符号化フレーム２、４、６、…等）を追加する。この型式のスケーラビリティは時間的スケーラビリティとして知られ、そこでは、スケーラビリティレイヤが、ベースレイヤでは符号化されない余分なフレームを挿入することにより当該ビデオシーケンスの時間的表現を改善する。通常、これはスケーラブルビデオシーケンスの動きの滑らかさを改善する。
【００１１】
しかしながら、現在のＦＧＳ解決策は時間的スケーラビリティをサポートしていない。既存のＦＧＳ枠組み（元はＭＰＥＧ−４規格に対して提案され、現在は規準規格草案としての役割である）に基づけば、ベースレイヤはビットレートＲＢＬのフレームレートｆＢＬを用いて圧縮される。そして、ＦＧＳ型のコーデックによりカバーされる帯域幅範囲（即ち、Ｂmin＝ＲＢＬ〜Ｂmax＝ＲＢＬ＋ＲＥＬ）に無関係に、該スケーラブルビデオシーケンスは全帯域範囲（Ｂmin、Ｂmax）にわたりベースレイヤのフレームレート（即ち、ｆＢＬ）を維持しなければならない。言い換えると、達成され得る唯一の改善は、上述したように、同一の毎秒当たりのフレームのシーケンス（ｆＢＬ）のビデオ品質を増加させることによるものである。
【００１２】
上記に鑑み、本発明はＦＧＳ符号化に基づく品質的な及び時間的な両方のスケーラビリティを提供することを目指すものである。本発明によれば、これを達成する１つの方法は、以下に詳述するような、ＦＧＳビデオ符号化に基づくハイブリッドな時間的／品質的（即ち、時間的的／ＳＮＲ的）スケーラビリティ構造を使用するものである。
【００１３】
本発明によるハイブリッド時間的／ＳＮＲ的ＦＧＳスケーラビリティ構造の一例が図４Ａに示されている。見られるように、この構造はＩ及びＰフレームを含むようなベースレイヤを含んでいる。しかしながら、エンハンスメントレイヤはＦＧＳ残差（ＦＲ）フレームと共に双方向ＦＧＳ（ＢＤＦ）フレームを含んでいる。ＦＲ及びＢＤＦの両フレームの使用は、本発明が品質的及び時間的な微細粒状スケーラビリティを各々サポートするのを可能にする。
【００１４】
本発明によれば、ＢＤＦフレームは２つの時間的に隣接するベースレイヤフレームから予測される。次いで、この予測の結果得られる残差が微細粒状符号化方法を用いて符号化される。更に、ベースレイヤフレームも微細粒状方法を用いて符号化され、ＦＲフレームを生成する。ＢＤＦフレームを符号化するのに使用されるＦＧＳ型方法はＦＲ画像を符号化するのに使用されるＦＧＳ型方法とは異なっていても又は同一であってもよいことに注意するのが肝要である。
【００１５】
上記スケーラビリティ構造は、同一のフレームレートを維持しながらの微細粒状品質の（即ち、ＳＮＲの）スケーラビリティ、時間的（即ち、フレームレートのみを増加させることによる）スケーラビリティ、又は微細粒状品質的及び時間的な両方のスケーラビリティをサポートする柔軟性を提供する。本発明の下でサポートされる、これらの異なるモードのスケーラビリティの例が、図４Ｃないし４Ｅに示されている。
【００１６】
図４Ｃにおいては、エンハンスメントレイヤにおいてＢＤＦファイルのみが送信されているので、時間的スケーラビリティが達成される。図４Ｄにおいては、ＦＲフレームのみが送信されているので、品質的（即ち、ＳＮＲの）スケーラビリティが達成される。図４Ｅにおいては、ＢＤＦ及びＦＲの両方のフレームが送信されているので、品質的な及び時間的な両方のスケーラビリティが達成される。
【００１７】
本発明に基づけば、ＦＧＳエンハンスメントレイヤのフレームレート（ｆＥＬ）はベースレイヤフレームレート（ｆＢＬ）と同一でも異なることもできる。合成されたベース及びエンハンスメントレイヤシーケンスの総フレームレート（ｆＴ）は、以下のように、当該レイヤ内の画像の総数（ＮＥＬ）に対するＦＧＳエンハンスメントレイヤに使用されるＦＲ画像の数（ＮＦＲ）に依存する。
ｆＴ＝ｆＢＬ＋（（ＮＥＬ−ＮＦＲ）／ＮＥＬ）・ｆＥＬ （１）
【００１８】
図４Ａに示した例に関しては、総フレームレート（ｆＴ）はベースレイヤフレームレートの２倍である、ｆＴ＝２ｆＢＬ＝ｆＥＬ。通常、提案されたスケーラビリティ構造は、ベースレイヤ及び／又はエンハンスメントレイヤフレームレートが時間と共に変化する可変フレームレート状況をサポートする。更に、発生された圧縮されたストリームが総フレームレートｆＴを有する際に、送信されるストリームが異なるフレームレートｆｔを有することができることに注意するのが重要である。例えば、図４Ｃ及び４Ｅの例においては、送信されるストリームはｆｔ＝ｆＴなるフレームレートを有するが、図４Ｄの例においては、フレームレートはｆｔ＝０.５ｆＴ＝ｆＢＬである。
【００１９】
本発明によるハイブリッドな時間的／ＳＮＲ的ＦＧＳスケーラビリティ構造の他の例が、図４Ｂに示されている。理解されるように、この構造は図４Ａに示した例と同様のエンハンスメントレイヤを含んでいる。しかしながら、この構造は、ベースレイヤがＩ、Ｐ及びＢフレームを含むように符号化されている点で相違する。
【００２０】
本発明によるスケーラビリティ構造は、ベースレイヤとは異なる予測モードの変形をサポートすることもできる。図４Ａ〜４Ｂに示した例は１つの類の予測モードを表わす一方、図５Ａ〜５Ｂには他のモードが示されている。
【００２１】
図５Ａにおいては、順方向予測モードのみがサポートされており、これはビデオコーデックの簡単な低い複雑さの実施化につながる。このモードは、図示のように、エンハンスメントレイヤにおいて順方向ＦＧＳ（ＦＷＦ）フレーム形式を発生する。図５Ｂには、ＦＧＳレイヤにおいて逆方向ＦＧＳ（ＢＷＦ）フレームを発生するために逆方向予測モードが含まれている。図５Ｃにおいては、逆方向及び順方向予測モードの組合せが示されている。本発明によれば、これらの異なるＦＧＳ型画像形式と異なるベースレイヤ画像形式との組合せも意図されていることに注意すべきである。
【００２２】
本発明によるハイブリッドスケーラビリティ構造を採用したシステムの一例が図６に示されている。理解されるように、該システムは基本的に、ビデオソース２と、可変帯域幅ネットワーク６と、ベースレイヤ（ＢＬ）エンコーダ８と、ハイブリッド型の時間的／ＳＮＲ的ＦＧＳビデオエンコーダ２０とを含んでいる。本発明によれば、上記ハイブリッド型時間的／ＳＮＲ的ＦＧＳビデオエンコーダ２０は図４Ａ〜４Ｅ及び図５Ａ〜５Ｃに示したエンハンスメントレイヤの何れかを発生するように構成することができる。更に、ビデオソース２はデジタルビデオカメラのような如何なる型式のビデオキャプチャ装置により具現化することもできる。
【００２３】
図６に見られるように、ビデオソース２からの符号化されていないビデオデータはＢＬエンコーダ８とハイブリッド型時間的／ＳＮＲ的ＦＧＳビデオエンコーダ２０との両方に入力される。ＢＬエンコーダ８は、元のビデオデータの一部を標準のフレーム予測符号化技術を用いて符号化する。本発明の好ましい実施例においては、ＢＬエンコーダ８はＭＰＥＧ−１、ＭＰＥＧ−２又はＭＰＥＧ−４エンコーダにより実施化することができる。
【００２４】
ＢＬエンコーダ８は、上記ビデオデータを所定のビットレートＲＢＬで圧縮する。本発明の好ましい実施例においては、ＲＢＬは、ネットワーク６の現在の帯域幅に基づいて計算ブロック４により決定される。即ち、計算ブロック４は、最小ビットレート（ＲＭＩＮ）、最大ビットレート（ＲＭＡＸ）及びネットワーク６の現在の利用可能な帯域幅（Ｒ）を測定する。次いで、計算ブロック４はＲＢＬをＲＭＩＮとＲとの間の値に設定する。
【００２５】
殆どの場合、計算ブロック４はＲＢＬをＲＭＩＮに設定して、最低の帯域幅においてさえもネットワーク６が本発明により符号化されたビデオデータを収容することができるのを保証するようにする。これは、ベースレイヤ符号化処理がオフラインでなされる場合に特にそうである。
【００２６】
ソース２からの元のビデオデータ及びＢＬエンコーダ８により供給される符号化されたビデオデータ（即ち、ベースレイヤ）は、ハイブリッドエンコーダ２０内の残差画像（ＲＩ）計算ブロック１０と動き補償された残差画像（ＭＣＲＩ）計算ブロック２４との両方に供給される。ＲＩ計算ブロック１０及びＭＣＲＩ計算ブロック２４は、上記元のビデオデータ及び符号化されたビデオデータを用いて、以下に述べるように、残差画像１２及び動き補償された（ＭＣ）残差画像２２を各々発生する。
【００２７】
動作中において、上記ＲＩ計算ブロックはＢＬエンコーダ８から符号化されたビデオデータを入力し、該符号化されたビデオデータを復号する。その後、この復号されたビデオデータにおけるピクセルと前記元のビデオデータにおけるピクセルとの間の差に基づいて残差画像１２が発生される。一般的に言って、残差画像は、ベースレイヤ（ビデオ信号を復号するデコーダにより必要とされる最小数のフレーム及び／又は最小量のデータを有する）におけるフレームと、元のビデオデータにおけるフレームとの間の差に対応する。
【００２８】
ＲＩ計算ブロック１０は、残差画像１２を発生するために、種々の異なる方法のうちの１以上を使用することができる。例えば、ベースレイヤにおけるフレームと元のビデオデータのフレームとの間で単純なピクセル対ピクセルの減算を実行することができる。これら２組のフレームの間の結果としての差（即ち、残差画像）は、フレーム解像度の差を含む。ベースレイヤが元のビデオデータの全フレームを含まない場合は、残差画像は、これらの欠けているフレームを含むことになる。
【００２９】
残差画像１２は、上記の符号化されたビデオデータを先ずフィルタ処理し、次いで、このフィルタ処理されたビデオデータと元のビデオデータとの間の差を決定することによっても発生することができる。この技術は、符号化されたビデオデータから、例えば符号化及び復号処理により生じる望ましくないノイズ等を除去するという利点を有している。本発明の好ましい実施例においては、上記の復号されたビデオデータをフィルタ処理するのに非ブロック化フィルタが使用されるが、本発明は斯かる型式のフィルタの使用に限定されるものではない。
【００３０】
残差画像１２を発生する他の技術は、上記の復号されたビデオと元のビデオデータとの両方をフィルタ処理し、次いで、これらの両型式のフィルタ処理されたデータの間の差を決定する技術を含む。この技術においては、同一の型式のフィルタ（例えば、非ブロック化フィルタ）を、元のビデオデータと復号されたビデオデータとの両方に対して適用することができる。他の例として、異なる型式のフィルタを元のビデオデータと復号されたビデオデータとに適用することもできる。
【００３１】
上述したように、残差画像１２はピクセルドメインにおいて計算される。例えば、ベースレイヤエンコーダがＤＣＴ変換型の符号化法を使用し、エンハンスメントレイヤエンコーダがウェーブレット変換型の符号化法を使用する場合、ベースレイヤ画像は、元の（即ち、変換されていない）ピクセルドメインにおいて元の画像から（ピクセル対ピクセルで）減算されなければならない。これは、残差信号を計算する前に、ベースレイヤ画像の圧縮されたビットストリームが、そのピクセルドメインでの表現を発生するために復号されることを要する。このような復号処理は、通常、ベースレイヤデコーダ内で行われるので（ベースレイヤの動き推定及び補償のために）、エンハンスメントレイヤデコーダは、それを利用することができる。次いで、結果としてのピクセルドメインの残差は、この残差のＦＧＳ符号化を実行する前に、所望の変換ドメイン（例えば、ウェーブレット）に変換されねばならない。
【００３２】
しかしながら、ベースレイヤ及びエンハンスメントレイヤの両エンコーダが同一の変換を使用する場合は、残差画像１２は変換ドメイン（例えば、ＤＣＴ又はウェーブレットドメイン）において計算することができる。この場合、ＦＧＳエンコーダは結果としての変換を直接（即ち、すでに所望の変換ドメインにあるので、残差信号に対して如何なる変換演算も実行する必要性なしに）符号化する。
【００３３】
また、動作中において、ＭＣＲＩ計算ブロック２４はＢＬエンコーダ８から符号化されたビデオデータを入力し、該符号化されたビデオデータを復号する。その後、該復号されたビデオデータから動き補償方法に基づいてＭＣ残差画像２２が発生される。これは、例えば、動き補償画像を計算するための動き補償型の方法を使用して達成することができる。この動き補償画像は、次いで、ピクセルドメインにおいて対応する元の画像からピクセル毎に減算される。次いで、結果としてのピクセルドメインの残差は、微細粒状エンコーダによる符号化に先立ち、変換される。
【００３４】
残差画像１２は変換ドメインにおいて直接計算することができるが（例えば、ベースレイヤ及びエンハンスメントレイヤの両方が同一の変換を使用する場合）、ＭＣ残差画像２２はピクセルドメインにおいて計算されることに注意することが重要である。従って、ＭＣ残差画像２２（ピクセルドメイン）は、微細粒状型符号化に先立ち、変換（例えば、ＤＣＴ）されねばならない。
【００３５】
ハイブリッドエンコーダ２０は、ＦＧＳ ＭＣＲＩエンハンスメントレイヤ（ＥＬ）エンコーダ２６及びＦＧＳ残差画像ＥＬエンコーダ１４も含んでいる。動作の間において、ＦＧＳ ＭＣＲＩ ＥＬエンコーダ２６及びＦＧＳ残差画像ＥＬエンコーダ１４は、埋め込まれた微細粒状符号化技術を用いてＭＣ残差画像２２及び残差画像１２を各々符号化する。
【００３６】
本発明によれば、ＭＣ残差画像２２又は残差画像１２を符号化するために、如何なる微細粒状符号化技術も当該提案されたスケーラビリティ構造と共に使用することができることに注意すべきである。これら残差画像の何れの型式のものを符号化するための主な候補は、埋め込まれたＤＣＴ型のメカニズム（例えば、ビット面埋め込みＤＣＴ型メカニズム）及び埋め込まれた零ツリーウェーブレット方法の類である。変換関数の過完全集合（over-complete set）に基づくスケーラブル整合追跡等の他の微細粒状符号化方法も適用することができる。更に、ＭＣ残差画像２２及び残差画像１２を符号化するために、同一の又は異なる技術を使用することもできることに注意すべきである。
【００３７】
上記符号化の結果として、時間的エンハンスメントストリーム３２及びＦＧＳエンハンスメントストリーム３１を含む、エンハンスメントレイヤフレームの２つのストリームが生成される。時間的エンハンスメントストリーム３２はＭＣＲＩ ＥＬエンコーダ２６からの圧縮されたＦＧＳ時間的フレーム（即ち、ＭＣＲＩ）を含み、ＦＧＳエンハンスメントストリーム３１は残差画像ＥＬエンコーダ１４からのＳＮＲ（即ち、標準のＦＧＳ残差）フレームを含む。これらの２つのストリーム３１、３２は、合成して単一のＦＧＳエンハンスメントレイヤストリームを生成するか、又は２つの別個のストリームとして維持することができる。何れの場合にも、結果としてのＦＧＳストリーム（又は複数のストリーム）は記憶するか又はリアルタイムに送信することができる。
【００３８】
言い換えると、そして標準のＦＧＳの場合と同様に、本発明によるハイブリッド構造の下では、ビデオ信号（エンハンスメントレイヤ及びベースレイヤの両方）の符号化は、リアルタイムに行うか（図により意図されるように）又は送信の時点より前にオフラインで行うことができる。２番目の場合は、ビデオは記憶することができ、後に送信する（又はストリーム化する）ことができる。
【００３９】
しかしながら、何れの筋書（即ち、リアルタイム符号化又はオフラインの非リアルタイム符号化）の下でも、エンハンスメントレイヤフレームを送信するために割り当てられるべきビットレートをリアルタイムで決定するために、リアルタイムスケーラブルビデオレートコントローラ１８が含まれている。この割当は、計算ブロック４、ＦＧＳレートコントローラ２８及びユーザ入力３０からの入力に基づいて実行される。この割当の実行において、ビデオレートコントローラ１８は計算ボックス４からの入力Ｒ、ＲＢＬ及びＲＭＡＸを使用して、エンハンスメントレイヤフレームを送信するために残された利用可能な帯域幅（Ｒ−ＲＢＬ）を決定する。更に、ＦＧＳレートコントローラ２８は、２つのエンハンスメントレイヤストリーム３１、３２の間のビットレートの割当も、入力Ｒ、ＲＢＬ及びＲＭＡＸに基づいて決定する。更に、ユーザ入力３０はユーザが品質的及び／又は時間的スケーラビリティに対する好みを選択するのを可能にする。
【００４０】
エンハンスメントレイヤフレームを送信するためのビットレートが選択された後、リアルタイムスケーラブルビデオレートコントローラ１８は、エンハンスメントレイヤフレームの送信されるべき部分を選択する。エンハンスメントレイヤフレームの選択された部分は、上記２つのエンハンスメントレイヤストリーム３１、３２の一方又は両方からの何れのフレームとすることもできる。上述したように、この選択はユーザ入力３０により制御することもできる。例えば、ユーザが品質のスケーラビリティのみを好む場合は、リアルタイムスケーラブルビデオレートコントローラ１８はＦＧＳエンハンスメントストリーム３１のみからフレームを選択するであろう。この選択の後、リアルタイムスケーラブルビデオレートコントローラ１８は画像を可変帯域幅ネットワーク６に対してＢＬストリーム及びＥＬストリームとして出力する。
【００４１】
図７は、図６のベースレイヤエンコーダ８及びハイブリッド型時間的／ＳＮＲ的ＦＧＳビデオエンコーダ２０用の機能的アーキテクチャの一例を示している。図７はＤＣＴ変換に基づく符号化動作を示しているが、他の変換（例えば、ウェーブレット）を使用することもできる。このアーキテクチャは、標準のＦＧＳ画像符号化と較べると時間的エンハンスメントフレームの符号化に対して追加の計算が必要とされるにも拘わらず、これらの追加の計算は余分な複雑さのオーバーヘッド無しで実現することができる。
【００４２】
図７に見られるように、ベースレイヤエンコーダ８は、ＤＣＴブロック８８と、量子化ブロック９０と、元のビデオからＢＬストリームの一部を発生するエントロピエンコーダ９２とを含んでいる。更に、ベースレイヤエンコーダ８は、元のビデオから２組の動きベクトルを生成する動き推定ブロック９４も含んでいる。この場合、一方の組の動きベクトルはベースレイヤ画像に対応し、他方の組は時間的エンハンスメントフレームに対応する。上記ベースレイヤ動きベクトルをＢＬストリームと多重化するためにマルチプレクサ１０４が含まれている。また、時間的エンハンスメントストリームに対応する動きベクトルを多重化するために他のマルチプレクサ１０６も含まれている。更に、上記２つのエンハンスメントレイヤストリームは、任意選択的な第３マルチプレクサ１０８により多重化して単一のストリーム（ＳＮＲ的及び時間的な両方のＦＧＳ画像からなる）を発生させるか、又は２つの別個のストリームとして記憶し／送信することもできる。
【００４３】
更に見られるように、ベースレイヤエンコーダ８は、逆量子化ブロック１００と、逆ＤＣＴブロック１０２と、動き補償ブロック９８と、フレームメモリ９６とを含んでいる。ベースレイヤエンコーダ８のこれらの機能ブロックは、全て、エンハンスメントレイヤＭＣ残差画像を計算する場合に使用される。理解されるように、これは、全コーデックアーキテクチャ内のデータの新規な（それでいて簡素な）データフロー制御を介して達成される。この資源の共用を可能にするものは、該エンコーダがベースレイヤフレームと時間的エンハンスメントフレームとを決して同時に圧縮することがないという事実である。
【００４４】
このデータフロー制御は、機能ブロック１２２、１２４、１２６及び１２８を介して達成される。例えば、或る機能ブロック１２２は、ＤＣＴブロック８８の出力を、ベースレイヤフレームが符号化されている場合は量子化ブロック９０へ、ＦＧＳエンハンスメントレイヤＭＣ残差画像が符号化されている場合は他の機能ブロック１２４への何れかに送出することにより制御する。
【００４５】
理解されるように、ハイブリッド型の時間的／ＳＮＲ的ＦＧＳエンコーダ２０は残差画像及びＭＣ残差画像を記憶するＤＣＴ残差画像ブロック１１０を含んでいる。残差画像は、量子化ブロック９０の入力から出力を減算する減算器１３０により発生される。更に、ＭＣ残差画像は機能ブロック１２２の上側出力端において直接発生される。
【００４６】
ハイブリッドエンコーダ２０は適応型量子化（ＡＱ）符号化ツール１１２も含み、該ツールは残差画像及びＭＣ残差画像の両方に適用することができる。ＡＱツール１１２用の好適な候補は、選択的エンハンスメント及び／又は周波数重み付けによるビット面シフト処理を含むＦＧＳ ＭＰＥＧ−４規格により定義されるようなものである。
【００４７】
上記残差画像及びＭＣ残差画像を符号化して時間的なエンハンスメントストリーム及びＦＧＳエンハンスメントストリームを生成するために、ＦＧＳエントロピ符号化ブロック１１４も含まれている。この符号化は、図６に関連して説明したのと同様の技術により実行することができる。理解されるように、符号化ブロック１１４はＦＧＳ及び時間的エンハンスメントフレームの両方に使用することができる。何故なら、これら画像形式は共に、決して同時に圧縮されることはないからである。
【００４８】
本発明によるハイブリッド型の時間的／ＳＮＲ的ＦＧＳスケーラビリティ構造の他の例が図８Ａに示されている。理解されるように、この例ではハイブリッド型の時間的／ＳＮＲ的スケーラビリティを達成するために２つのエンハンスメントレイヤが使用されている。この場合、時間的レイヤはベースレイヤに関する時間的エンハンスメント（即ち、一層良好な動き）を達成するために使用される一方、ＦＧＳレイヤはベースレイヤ及び／又は時間的スケーラビリティエンハンスメントレイヤの品質ＳＮＲを改善するために使用される。
【００４９】
図８Ａのスケーラビリティ構造は、図８Ｂないし８Ｄに示すように、時間的エンハンスメントのみ、ＳＮＲ的エンハンスメントのみ、又は時間的／ＳＮＲ的な両方のエンハンスメントを実行する能力も提供する。図８Ｂにおいては、時間的レイヤのみが送信されるので、時間的スケーラビリティが達成される。図８Ｃにおいては、ベースレイヤフレームに対応するＦＧＳフレームのみが送信されるので、品質的（即ち、ＳＮＲ的）スケーラビリティが達成される。図８Ｄにおいては、時間的及びＦＧＳレイヤフレームの両方が送信されているので、品質的及び時間的スケーラビリティの両方が達成される。
【００５０】
図８Ａのハイブリッド型の時間的／ＳＮＲ的ＦＧＳスケーラビリティ構造に関しては、他の変更例も考えられることに注意すべきである。例えば、時間的レイヤのフレームは双方向予測フレームに限定されるものではない。本発明によれば、時間的レイヤフレームは、順方向に予測されたもの若しくは逆方向に予測されたもののみ、又はこれらの何れかの組合せの何れかとすることができる。
【００５１】
本発明によるハイブリッド型スケーラビリティ構造を使用するシステムの他の例が図９に示されている。この例は、ハイブリッド型の時間的／ＳＮＲ的ＦＧＳビデオエンコーダ３４を除き、図６の例と同様である。この例においては、ハイブリッドビデオエンコーダ３４は図８に示したスケーラビリティ構造を生成するように構成されている。理解されるように、該ハイブリッドエンコーダ３４は時間的ＥＬビデオエンコーダ３６と、ＦＧＳ ＥＬビデオエンコーダ３８とを含んでいる。
【００５２】
この例によれば、時間的ＥＬビデオエンコーダ３６は図８Ａに示すような時間的レイヤのフレームを発生する。図９から分かるように、該時間的ＥＬビデオエンコーダ３６は、動き補償残差画像計算ブロック２４と、時間的動き補償残差画像（ＭＣＲＩ）ＥＬエンコーダ４０とを含んでいる。動作の間に、動き補償残差画像計算ブロック２４は、ビデオソース２から符号化されていないビデオデータを入力すると共にＢＬエンコーダ８から符号化されたビデオデータを入力し、ＭＣ残差画像２２を生成する。この例では、該ＭＣ残差画像２２は図６の例に関して説明したのと同様の技術により生成することができる。
【００５３】
図９を更に参照すると、時間的ＭＣＲＩ ＥＬエンコーダ４０は、ＭＣ残差画像２２を符号化して時間的レイヤフレーム４２をＲＴＬなるビットレートで生成する。ＲＴＬなるビットレートは、計算ブロック４からの入力に基づいて決定される。更に、ＭＣ残差画像２２は、動き補償された残差を符号化するために使用される如何なる符号化方法により符号化することもできる。これは、ＭＰＥＧ−２、ＭＰＥＧ−４及び同様の規格により使用される方法、並びに符号化アルゴリズムを含む。特に、従来の時間的スケーラビリティに使用される符号化方法（ＭＰＥＧ−２及びＭＰＥＧ−４の時間的スケーラブルビデオ符号化ツールにおいてサポートされているようなもの等の）は良い候補である。
【００５４】
この例によれば、ＦＧＳ ＥＬビデオエンコーダ３８は図８に示すようなＦＧＳレイヤフレームを発生する。図９から分かるように、ＦＧＳ ＥＬビデオエンコーダ３８は残差画像計算ブロック２４と、ＦＧＳ残差画像ＥＬエンコーダ１４とを含んでいる。動作中において、残差画像計算ブロック２４は、ソース２からの符号化されていないビデオデータ、ＢＬエンコーダ８からの符号化されたデータ及び時間的レイヤフレーム４２を入力して、残差画像１２を生成する。該残差画像は、図６の例に関して説明した技術により生成される。
【００５５】
ＦＧＳ残差画像ＥＬエンコーダ１４は、上記残差画像１２を符号化してＦＧＳエンハンスメントレイヤフレーム４４を生成する。これは、埋め込みビット面ＤＣＴ型メカニズム（可変の／埋め込まれた量子化及び送信を伴う）、埋め込み零ツリーウェーブレット方法の類又は過完全組の変換関数に基づくスケーラブル整合追跡等の、微細粒状符号化技術により達成することができる。
【００５６】
図９から更に分かるように、リアルタイムスケーラブルビデオレートコントローラ１８も含まれている。動作中において、ビデオレートコントローラ１８はＢＬストリーム、時間的ＥＬストリーム４２及びＦＧＳ ＥＬストリーム４４をリアルタイムに入力する。先の例におけるのと同様に、ビデオレートコントローラ１８はエンハンスメントレイヤフレームを送信するために割り当てられるべきビットレートを決定する。例えば、ＢＬ及び時間的ＥＬ４２ストリームの両方からのフレームが送信された場合は、上記割当はＦＧＳ ＥＬストリーム４４からフレームを送信するために残された利用可能な帯域幅（Ｒ−ＲＢＬ−ＲＴＬ）に基づいて実行され、これは計算ブロック４からの入力に基づいて決定される。
【００５７】
更に、ビデオレートコントローラ１８は、ＥＬストリーム４２、４４の一方が送信されるべきか、又は両方が送信されるべきかも決定する。この決定も利用可能な帯域幅及び／又はユーザ入力３０に基づくものとすることができる。この決定の後、ビデオレートコントローラ１８は可変帯域幅ネットワーク６に対して画像をＢＬストリーム、時間的ＥＬストリーム及びＦＧＳ ＥＬストリームとして出力する。しかしながら、時間的なスケーラビリティが望ましくない場合は、ＢＬストリーム及びＦＧＳ ＥＬストリームからの対応するフレームのみが出力される。
【００５８】
本発明によるハイブリッドスケーラビリティ構造を採用したデコーダの一例が図１０に示されている。この例のデコーダは図６のエンコーダに対応するものである。本例において、該デコーダは、入力ＢＬストリームを復号するベースレイヤデコーダ４６と、ＥＬストリームを復号するエンハンスメントレイヤデコーダ６４とを有している。
【００５９】
見られるように、ベースレイヤデコーダ４６は２つの並列な経路を有している。下側の経路は、可変長デコーダ（ＶＬＤ）４８と、逆量子化ブロック５０と、逆ＤＣＴブロック５２とを含んでいる。動作中において、これらの要素４８、５０及び５２はＢＬストリームに対し可変長復号、逆量子化及び逆離散コサイン変換を実行して、加算器５８の一方の入力端子にビデオフレームを発生する。
【００６０】
ベースレイヤデコーダ４６の上側の経路は可変長デコーダ４８と、ベースレイヤ動き合成ブロック５４とを含んでいる。動作中において、ベースレイヤ動き合成ブロック５４は、ＶＬＤ４８により復号された動きベクトルを入力する。該動きベクトルは、ベースレイヤフレームメモリ５６に記憶されたフレームに対して動き補償を実行するために使用され、加算器５８の他方の入力端子に追加のフレームを生成する。
【００６１】
更に、動作中において、加算器５８は下側経路及び上側経路からのビデオフレームを合成して、該加算器５８の出力端子に図示のようにＢＬビデオを生成する。更に、該加算器５８の一方の出力端子はベースレイヤメモリ５６に結合されて、合成されたＢＬビデオフレームの各々を一時的に記憶する。これは、ベースレイヤ動き合成ブロック５４により生成されたフレームが、ベースレイヤメモリ５６に記憶された先のフレームに基づくようにするのを可能にする。
【００６２】
理解されるように、エンハンスメントレイヤデコーダ６４も２つの並列な経路を含んでいる。下側の経路は、ＦＧＳエンハンスメントレイヤＶＬＤ６６と、ＦＧＳ時間的エンハンスメントレイヤ動き補償ブロック７２とを含んでいる。動作中において、ＶＬＤ６６は入力ＥＬストリームに可変長復号処理を実行して、動き補償ブロック７２に動きベクトルを供給する。これら動きベクトルは、ベースレイヤデコーダ４６からのＢＬビデオフレームに対し動き補償を実行するために使用され、加算器７４の入力端子に動き補償されたエンハンスメントレイヤフレームを発生する。
【００６３】
エンハンスメントレイヤデコーダ６４の上側経路も、ＶＬＤ６６及び逆ＤＣＴブロック７０を含んでいる。これらの要素６６及び７０はＥＬストリームに対し可変長復号処理及び逆離散コサイン変換を各々実行して、残差ＦＧＳエンハンスメントフレームを加算器７４の他方の入力端子に発生する。該残差ＦＧＳエンハンスメントフレームは、ＢＬビデオフレームと動き補償されたエンハンスメントレイヤフレームとの両方を向上させるフレームを含んでいる。ビット面シフト処理がエンコーダ側でなされていた場合は、上記上側経路にビット面シフト処理ブロック６８も含めることができる。
【００６４】
動作中において、加算器７４は下側経路からの動き補償されたエンハンスメントレイヤフレームと、上側経路からの対応する残差ＦＧＳエンハンスメントレイヤフレームとを合成して、時間的なエンハンスメントレイヤフレームを生成するようになっている。更に、加算器７４は、上記上側経路からのＢＬビデオフレームに対応する残差ＦＧＳエンハンスメントレイヤフレームを変化されないまま他の加算器６２に通過させるようにもなっている。
【００６５】
動作中において、加算器６２はエンハンスメントレイヤデコーダ６４とベースレイヤデコーダ４６との両方からのフレームを合成して、図示のように向上されたビデオシーケンスを生成する。しかしながら、品質的スケーラビリティを達成するために、残差ＦＧＳエンハンスメントレイヤフレームがベースレイヤデコーダ４６からの対応するＢＬビデオフレームに加算されるであろう。従って、ＢＬビデオフレームに対応する残差ＦＧＳエンハンスメントレイヤフレームが加算器６２の入力端子にある場合に、スイッチ６０が閉成されて、これら２つのフレームが合成されるのを可能にする。
【００６６】
更に、時間的エンハンスメントレイヤフレームは対応するＢＬビデオフレームを有していないので、該時間的エンハンスメントレイヤフレームは上記の向上されたビデオシーケンスに、そのまま配置される。このように、時間的エンハンスメントレイヤフレームが加算器６２の入力端子にある場合は、上記スイッチは開成し、該時間的エンハンスメントレイヤフレームは加算器６２をそのまま通過するであろう。向上されたビデオシーケンスは、このようにして生成される。
【００６７】
本発明によるハイブリッドスケーラビリティ構造を採用したデコーダの他の例が、図１１に示されている。この例は、ハイブリッド型時間的／ＳＮＲ的ＦＧＳデコーダ用の対応する機能的アーキテクチャを示している。図７のエンコーダアーキテクチャと同様に、該時間的エンハンスメントフレームの復号は、最小の複雑さのオーバーヘッドで実現されている。これは、ベースレイヤデコーダ４６とエンハンスメントレイヤデコーダ６４との間における動き補償機能ブロック１１６の共用により達成される。更に、標準のＳＮＲ ＦＧＳ復号経路も共用されている。時間的エンハンスメントフレームのＤＣＴ変換はベースレイヤエンコーダ（図７）のＤＣＴ機能ブロックにより計算することができるが、受信機側においては、逆ＤＣＴはエンハンスメントレイヤデコーダ６４の逆ＤＣＴブロック７０を用いて計算される。
【００６８】
理解されるように、ＥＬ圧縮ストリームはデマルチプレクス（１１８）されて、動きベクトルデータを符号化された残差情報から分離する。時間的エンハンスメントフレームに対応する動きベクトルは、時間的な予測されたフレームを計算するために動き補償ブロック１１６により使用される一方、圧縮された残差情報はエンハンスメントレイヤデコーダ６４により復号されると共に逆変換される。これら２つの信号は一緒に加算されて、表示装置に直接送ることができる時間的エンハンスメントフレームを発生する。ＳＮＲ／ＦＧＳ圧縮フレームに関しては、復号された信号は、表示動作の前に、対応するベースレイヤフレームに加算されねばならない。
【００６９】
ＢＬ圧縮ストリームもデマルチプレクス（１２０）されて、符号化された残差情報から動きベクトルデータを分離する。ＢＬフレームに対応する該動きベクトルは、ベースレイヤメモリ５４に記憶された復号されたベースレイヤフレームに基づいて動き補償を実行するために、動き補償ブロック１１６により使用される。
【００７０】
本発明を実施することができるシステムの一例が図１２に示されている。例示として、該システムは、テレビジョン；セットトップボックス；卓上、ラップトップ又はパームトップコンピュータ；パーソナルデジタルアシスタント（ＰＤＡ）；ビデオカセットレコーダ（ＶＣＲ）、デジタルビデオレコーダ（ＤＶＲ）及びＴｉＶＯ装置等のビデオ／画像記憶装置；並びにこれら及び他の装置の一部又は組合せを表すことができる。該システムは、１以上のビデオソース７６、１以上の入力／出力装置７８、プロセッサ８２及びメモリ８４を含んでいる。
【００７１】
上記ビデオ／画像ソース（又は複数のソース）７６は、例えば、テレビジョン受信機、ＶＣＲ又は他のビデオ／画像記憶装置を表すことができる。他の例として、ソース（又は複数のソース）７６は、例えばインターネット、広域ネットワーク、都市区域ネットワーク、ローカルエリアネットワーク、地上放送システム、ケーブルネットワーク、衛星ネットワーク、無線ネットワーク又は電話回路網、並びにこれら及び他の型式のネットワークの一部又は組合せのようなグローバルなコンピュータ通信ネットワークを介してサーバ又は複数のサーバからビデオを受信する１以上のネットワーク接続を表すこともできる。
【００７２】
入力／出力装置７８、プロセッサ８２及びメモリ８４は通信媒体８０を介して通信する。通信媒体８０は、例えば、バス、通信ネットワーク、回路の１以上の内部接続部、回路カード又は他の装置、並びにこれら及び他の通信媒体の一部及び組合せを表すことができる。ソース（又は複数のソース）７６からの入力ビデオデータは、メモリ８４に記憶されると共にプロセッサ８２により実行される１以上のソフトウェアプログラムに従い処理されて、表示装置８６に供給される出力ビデオ／画像を発生する。
【００７３】
好ましい実施例においては、本発明によるハイブリッドスケーラビリティ構造を採用する符号化処理及び復号処理は、当該システムにより実行されるコンピュータが読取可能なコードにより実施される。該コードはメモリ８４に記憶することもでき、又はＣＤ−ＲＯＭ若しくはフロッピーディスクのようなメモリ媒体から読み取り／ダウンロードすることもできる。他の実施例においては、本発明を実施するために、ソフトウェア命令に代えて又はソフトウェア命令との組合せでハードウェア回路を使用することもできる。例えば、図６ないし７及び図９ないし１１に示される各構成要素は個別のハードウェア素子として実施化することができる。
【００７４】
以上、本発明を特定の例に関して説明したが、本発明は本明細書に開示された例に限定又は制限することを意図するものではないと理解されたい。例えば、本発明は如何なる特定の符号化法フレーム形式又は確率分布に制限されるものではない。逆に、本発明は添付請求項の趣旨及び範囲内に含まれる種々の構成及びその変形例をカバーしようとするものである。
【図面の簡単な説明】
【図１Ａ】 図１Ａは、従来の或るスケーラビリティ構造を示す。
【図１Ｂ】 図１Ｂも、従来の或るスケーラビリティ構造を示す。
【図２Ａ】 図２Ａは、従来の他のスケーラビリティ構造を示す。
【図２Ｂ】 図２Ｂも、従来の他のスケーラビリティ構造を示す。
【図３】 図３は、従来のスケーラビリティ構造を使用したシステムを示す。
【図４Ａ】 図４Ａは、本発明によるハイブリッドスケーラビリティ構造の一例を示す。
【図４Ｂ】 図４Ｂは、本発明によるハイブリッドスケーラビリティ構造の他の例を示す。
【図４Ｃ】 図４Ｃは、本発明によるハイブリッドスケーラビリティ構造の他の例を示す。
【図４Ｄ】 図４Ｄは、本発明によるハイブリッドスケーラビリティ構造の他の例を示す。
【図４Ｅ】 図４Ｅは、本発明によるハイブリッドスケーラビリティ構造の他の例を示す。
【図５Ａ】 図５Ａは、本発明によるハイブリッドスケーラビリティ構造の他の例を示す。
【図５Ｂ】 図５Ｂは、本発明によるハイブリッドスケーラビリティ構造の他の例を示す。
【図５Ｃ】 図５Ｃは、本発明によるハイブリッドスケーラビリティ構造の他の例を示す。
【図６】 図６は、本発明によるハイブリッドスケーラビリティ構造を使用した或るシステムを示す。
【図７】 図７は、図６のビデオエンコーダ用の機能アーキテクチャの一例を示す。
【図８Ａ】 図８Ａは、本発明によるハイブリッドスケーラビリティ構造の他の例を示す。
【図８Ｂ】 図８Ｂは、本発明によるハイブリッドスケーラビリティ構造の他の例を示す。
【図８Ｃ】 図８Ｃは、本発明によるハイブリッドスケーラビリティ構造の他の例を示す。
【図８Ｄ】 図８Ｄは、本発明によるハイブリッドスケーラビリティ構造の他の例を示す。
【図９】 図９は、本発明によるハイブリッドスケーラビリティ構造を使用した他のシステムを示す。
【図１０】 図１０は、本発明によるハイブリッドスケーラビリティ構造用のデコーダの一例を示す。
【図１１】 図１１は、本発明によるハイブリッドスケーラビリティ構造用のデコーダの他の例を示す。
【図１２】 図１２は、本発明を実施するためのシステムの一例を示す。
【符号の説明】
２…ビデオソース
４…計算ブロック
６…可変帯域幅ネットワーク
８…ベースレイヤエンコーダ
１０…残差画像計算ブロック
１２…残差画像
１４…ＦＧＳ残差画像ＥＬエンコーダ
１８…リアルタイムスケーラブルビデオレートコントローラ
２０…ハイブリッド型時間的／ＳＮＲ的ＦＧＳビデオエンコーダ
２２…動き補償された残差画像
２４…動き補償された残差画像計算ブロック
２６…ＦＧＳ ＭＣＲＩエンハンスメントレイヤエンコーダ
２８…ＦＧＳレートコントローラ
３０…ユーザ入力
３１…ＦＧＳエンハンスメントストリーム
３２…時間的エンハンスメントストリーム
【技術分野】
本発明は、広くはビデオ符号化に係り、更に詳細には品質的な及び時間的な両スケーラビリティを含むような微細粒状符号化（fine granular coding）技術に関する。
【０００２】
【背景技術】
微細粒状スケーラビリティ（ＦＧＳ）は、インターネットのような変化する帯域幅を持つようなネットワーク上で伝送するビデオを圧縮するために使用されている。そのようなＦＧＳ構造の例が図１Ａ、１Ｂ及び図２Ａ、２Ｂに示されている。見られるように、これらの構造はビットレートＲＢＬで符号化されたベースレイヤと、ＲＥＬで符号化された単一の微細粒状エンハンスメントレイヤとからなっている。しかしながら、図１Ａ及び１Ｂにおいて、上記ベースレイヤはＩ及びＰフレームのみを含むように符号化されている一方、図２Ａ及び２Ｂでは上記ベースレイヤはＩ、Ｐ及びＢフレームを含むように符号化されている。
【０００３】
エンハンスメントレイヤの微細粒状性のために、ＦＧＳビデオストリームは、Ｂmin＝ＲＢＬからＢmax＝ＲＢＬ＋ＲＥＬまでの範囲の利用可能な帯域幅を持つ如何なるネットワークセッションを介しても伝送することができる。例えば、送信機と受信機との間で利用可能な帯域幅がＢ＝Ｒである場合、上記送信機はベースレイヤをレートＲＢＬで送り、エンハンスメントレイヤの一部のみをレートＲｅ＝Ｒ−ＲＢＬで送る。図１Ａ及び１Ｂから分かるように、エンハンスメントレイヤの上記部分は送信のために微細粒状の態様で選択することができる。従って、総送信ビットレートはＲ＝ＲＢＬ＋Ｒｅである。
【０００４】
単一のエンハンスメントレイヤで広い範囲の伝送帯域幅をサポートする柔軟性のため、ＦＧＳフレームワークはＩＳＯのＭＰＥＧ−４規格により採用されている。ＦＧＳに基づくエンコーダを使用したシステムの一例が図３に示されている。該システムは、（Ｂmin＝Ｒmin、Ｂmax＝Ｒmax）の範囲内の変化する利用可能な帯域幅を持つネットワーク６を含んでいる。現在の利用可能な帯域幅（Ｒ）を推定又は測定するために、計算ブロック４も含まれている。ベースレイヤ（ＢＬ）ビデオエンコーダ８はビデオソース２からの信号を範囲（Ｒmin、Ｒ）内のビットレート（ＲＢＬ）を用いて圧縮する。典型的には、ベースレイヤエンコーダ８は、上記信号を最小ビットレート（Ｒmin）を用いて圧縮する。これは、ＢＬ符号化が当該ビデオ信号を送信する時点の前にオフラインで行われる場合に特に当てはまる。理解されるように、残差画像１２を計算するために、ユニット１０も含まれている。更に、エンハンスメントレイヤ（ＥＬ）エンコーダ１４は、上記残差画像をビットレートＲＥＬで圧縮するが、該ビットレートはＲＢＬからＲmax−ＲＢＬの範囲内であり得る。上記ビデオ信号（エンハンスメントレイヤ及びベースレイヤの両方）の符号化はリアルタイムで（図が意味するように）又は送信時点の前にオフラインでの何れでも生じ得るということに注意することが重要である。後者の場合、ビデオは記憶し、後の時点で図示されるようにリアルタイムレートコントローラ１６を用いて送信する（又はストリームする）ことができる。リアルタイムコントローラ１６は、現在の（リアルタイムな）利用可能な帯域幅Ｒを考慮に入れて、最良の品質のエンハンスメントレイヤ信号を選択する。従って、該レートコントローラからのＥＬ信号の出力ビットレートはＲ−ＲＢＬに等しい。
【０００５】
【発明の開示】
本発明は、品質的及び時間的な両方のスケーラビリティを含む微細粒状スケーラビリティ符号化技術を志向したものである。本発明によるビデオデータを符号化する方法の一例においては、ビデオデータの一部がベースレイヤフレームを生成するよう符号化される。動き補償された残差画像が、上記ビデオデータ及びベースレイヤフレームから生成される。該動き補償された残差画像は微細粒状符号化技術を用いて符号化されて、時間的エンハンスメントフレームを生成する。更に、上記ビデオデータ及びベースレイヤフレームから残差画像が発生される。次いで、これら残差画像も微細粒状符号化技術を用いて符号化されて、品質的エンハンスメントフレームを生成する。上記時間的エンハンスメントフレームと品質的エンハンスメントフレームとは、エンハンスメントレイヤへと合成することもできる。
【０００６】
本発明によるビデオデータを符号化する方法の他の実施例においては、ビデオデータの一部がベースレイヤフレームを生成するよう符号化される。動き補償された残差画像が、上記ビデオデータとベースレイヤフレームとから発生される。これら動き補償された残差画像は時間的エンハンスメントフレームを生成するよう符号化される。上記ビデオデータ、ベースレイヤフレーム及び時間的エンハンスメントフレームから残差画像が発生される。これら残差画像は、次いで、微細粒状符号化技術を用いて符号化され、品質的エンハンスメントフレームを生成する。更に、上記時間的エンハンスメントフレームは時間的エンハンスメントレイヤを形成し、上記品質的エンハンスメントフレームは品質的エンハンスメントレイヤを形成する。
【０００７】
本発明によるベースレイヤ及びエンハンスメントレイヤを含むビデオ信号を復号する方法の一例においては、上記ベースレイヤが復号されてビデオフレームを生成する。上記エンハンスメントレイヤも復号されて、動きベクトルを生成する。次いで、上記動きベクトルに従って上記ビデオフレームに対し動き補償が実行され、追加のビデオフレームを生成する。次いで、上記ビデオフレーム及び追加のビデオフレームはビデオシーケンスへと合成される。更に、向上されたビデオフレームを生成するために上記エンハンスメントレイヤが復号される。これら向上されたビデオフレームの各々は、上記ビデオフレーム及び追加のビデオフレームの一方に加算される。
【０００８】
尚、添付図面において、同様の符号は全図を通して対応する構成要素を示している。
【０００９】
【発明を実施するための最良の形態】
微細粒状スケーラビリティ（ＦＧＳ）符号化は、ベースレイヤにおいて送信される各フレーム又は画像のビデオ品質、即ち信号対雑音比（ＳＮＲ）を改善するために実施される。これは、復号されたベースレイヤ画像と元の画像との間の差である残差画像（ＲＩ）を計算することにより達成される。次いで、該残差画像は埋め込まれた、即ち微細粒状ビデオ符号化方法を用いて符号化される。この説明の目的のため、この符号化処理から生じる画像を、ＦＧＳ残差画像（ＦＲ）と称するであろう。
【００１０】
全てのベースレイヤビデオフレームのビデオ品質（即ち、ＳＮＲの尺度）を増加する代わりとして、幾つかの場合には、送信されるビデオシーケンスのフレームレートを増加することが望ましい。これは、追加のフレームを送信することにより達成される。例えば、ビデオ信号が毎秒１０フレーム（fps）のシーケンスからなっていると仮定する。ベースレイヤにおいては、このビデオシーケンスの５fps（例えば、フレーム１、３、５、…等を用いて）のみが符号化され、送信される。次いで、エンハンスメントレイヤが、残りの５fpsサブシーケンス（即ち、符号化フレーム２、４、６、…等）を追加する。この型式のスケーラビリティは時間的スケーラビリティとして知られ、そこでは、スケーラビリティレイヤが、ベースレイヤでは符号化されない余分なフレームを挿入することにより当該ビデオシーケンスの時間的表現を改善する。通常、これはスケーラブルビデオシーケンスの動きの滑らかさを改善する。
【００１１】
しかしながら、現在のＦＧＳ解決策は時間的スケーラビリティをサポートしていない。既存のＦＧＳ枠組み（元はＭＰＥＧ−４規格に対して提案され、現在は規準規格草案としての役割である）に基づけば、ベースレイヤはビットレートＲＢＬのフレームレートｆＢＬを用いて圧縮される。そして、ＦＧＳ型のコーデックによりカバーされる帯域幅範囲（即ち、Ｂmin＝ＲＢＬ〜Ｂmax＝ＲＢＬ＋ＲＥＬ）に無関係に、該スケーラブルビデオシーケンスは全帯域範囲（Ｂmin、Ｂmax）にわたりベースレイヤのフレームレート（即ち、ｆＢＬ）を維持しなければならない。言い換えると、達成され得る唯一の改善は、上述したように、同一の毎秒当たりのフレームのシーケンス（ｆＢＬ）のビデオ品質を増加させることによるものである。
【００１２】
上記に鑑み、本発明はＦＧＳ符号化に基づく品質的な及び時間的な両方のスケーラビリティを提供することを目指すものである。本発明によれば、これを達成する１つの方法は、以下に詳述するような、ＦＧＳビデオ符号化に基づくハイブリッドな時間的／品質的（即ち、時間的的／ＳＮＲ的）スケーラビリティ構造を使用するものである。
【００１３】
本発明によるハイブリッド時間的／ＳＮＲ的ＦＧＳスケーラビリティ構造の一例が図４Ａに示されている。見られるように、この構造はＩ及びＰフレームを含むようなベースレイヤを含んでいる。しかしながら、エンハンスメントレイヤはＦＧＳ残差（ＦＲ）フレームと共に双方向ＦＧＳ（ＢＤＦ）フレームを含んでいる。ＦＲ及びＢＤＦの両フレームの使用は、本発明が品質的及び時間的な微細粒状スケーラビリティを各々サポートするのを可能にする。
【００１４】
本発明によれば、ＢＤＦフレームは２つの時間的に隣接するベースレイヤフレームから予測される。次いで、この予測の結果得られる残差が微細粒状符号化方法を用いて符号化される。更に、ベースレイヤフレームも微細粒状方法を用いて符号化され、ＦＲフレームを生成する。ＢＤＦフレームを符号化するのに使用されるＦＧＳ型方法はＦＲ画像を符号化するのに使用されるＦＧＳ型方法とは異なっていても又は同一であってもよいことに注意するのが肝要である。
【００１５】
上記スケーラビリティ構造は、同一のフレームレートを維持しながらの微細粒状品質の（即ち、ＳＮＲの）スケーラビリティ、時間的（即ち、フレームレートのみを増加させることによる）スケーラビリティ、又は微細粒状品質的及び時間的な両方のスケーラビリティをサポートする柔軟性を提供する。本発明の下でサポートされる、これらの異なるモードのスケーラビリティの例が、図４Ｃないし４Ｅに示されている。
【００１６】
図４Ｃにおいては、エンハンスメントレイヤにおいてＢＤＦファイルのみが送信されているので、時間的スケーラビリティが達成される。図４Ｄにおいては、ＦＲフレームのみが送信されているので、品質的（即ち、ＳＮＲの）スケーラビリティが達成される。図４Ｅにおいては、ＢＤＦ及びＦＲの両方のフレームが送信されているので、品質的な及び時間的な両方のスケーラビリティが達成される。
【００１７】
本発明に基づけば、ＦＧＳエンハンスメントレイヤのフレームレート（ｆＥＬ）はベースレイヤフレームレート（ｆＢＬ）と同一でも異なることもできる。合成されたベース及びエンハンスメントレイヤシーケンスの総フレームレート（ｆＴ）は、以下のように、当該レイヤ内の画像の総数（ＮＥＬ）に対するＦＧＳエンハンスメントレイヤに使用されるＦＲ画像の数（ＮＦＲ）に依存する。
ｆＴ＝ｆＢＬ＋（（ＮＥＬ−ＮＦＲ）／ＮＥＬ）・ｆＥＬ （１）
【００１８】
図４Ａに示した例に関しては、総フレームレート（ｆＴ）はベースレイヤフレームレートの２倍である、ｆＴ＝２ｆＢＬ＝ｆＥＬ。通常、提案されたスケーラビリティ構造は、ベースレイヤ及び／又はエンハンスメントレイヤフレームレートが時間と共に変化する可変フレームレート状況をサポートする。更に、発生された圧縮されたストリームが総フレームレートｆＴを有する際に、送信されるストリームが異なるフレームレートｆｔを有することができることに注意するのが重要である。例えば、図４Ｃ及び４Ｅの例においては、送信されるストリームはｆｔ＝ｆＴなるフレームレートを有するが、図４Ｄの例においては、フレームレートはｆｔ＝０.５ｆＴ＝ｆＢＬである。
【００１９】
本発明によるハイブリッドな時間的／ＳＮＲ的ＦＧＳスケーラビリティ構造の他の例が、図４Ｂに示されている。理解されるように、この構造は図４Ａに示した例と同様のエンハンスメントレイヤを含んでいる。しかしながら、この構造は、ベースレイヤがＩ、Ｐ及びＢフレームを含むように符号化されている点で相違する。
【００２０】
本発明によるスケーラビリティ構造は、ベースレイヤとは異なる予測モードの変形をサポートすることもできる。図４Ａ〜４Ｂに示した例は１つの類の予測モードを表わす一方、図５Ａ〜５Ｂには他のモードが示されている。
【００２１】
図５Ａにおいては、順方向予測モードのみがサポートされており、これはビデオコーデックの簡単な低い複雑さの実施化につながる。このモードは、図示のように、エンハンスメントレイヤにおいて順方向ＦＧＳ（ＦＷＦ）フレーム形式を発生する。図５Ｂには、ＦＧＳレイヤにおいて逆方向ＦＧＳ（ＢＷＦ）フレームを発生するために逆方向予測モードが含まれている。図５Ｃにおいては、逆方向及び順方向予測モードの組合せが示されている。本発明によれば、これらの異なるＦＧＳ型画像形式と異なるベースレイヤ画像形式との組合せも意図されていることに注意すべきである。
【００２２】
本発明によるハイブリッドスケーラビリティ構造を採用したシステムの一例が図６に示されている。理解されるように、該システムは基本的に、ビデオソース２と、可変帯域幅ネットワーク６と、ベースレイヤ（ＢＬ）エンコーダ８と、ハイブリッド型の時間的／ＳＮＲ的ＦＧＳビデオエンコーダ２０とを含んでいる。本発明によれば、上記ハイブリッド型時間的／ＳＮＲ的ＦＧＳビデオエンコーダ２０は図４Ａ〜４Ｅ及び図５Ａ〜５Ｃに示したエンハンスメントレイヤの何れかを発生するように構成することができる。更に、ビデオソース２はデジタルビデオカメラのような如何なる型式のビデオキャプチャ装置により具現化することもできる。
【００２３】
図６に見られるように、ビデオソース２からの符号化されていないビデオデータはＢＬエンコーダ８とハイブリッド型時間的／ＳＮＲ的ＦＧＳビデオエンコーダ２０との両方に入力される。ＢＬエンコーダ８は、元のビデオデータの一部を標準のフレーム予測符号化技術を用いて符号化する。本発明の好ましい実施例においては、ＢＬエンコーダ８はＭＰＥＧ−１、ＭＰＥＧ−２又はＭＰＥＧ−４エンコーダにより実施化することができる。
【００２４】
ＢＬエンコーダ８は、上記ビデオデータを所定のビットレートＲＢＬで圧縮する。本発明の好ましい実施例においては、ＲＢＬは、ネットワーク６の現在の帯域幅に基づいて計算ブロック４により決定される。即ち、計算ブロック４は、最小ビットレート（ＲＭＩＮ）、最大ビットレート（ＲＭＡＸ）及びネットワーク６の現在の利用可能な帯域幅（Ｒ）を測定する。次いで、計算ブロック４はＲＢＬをＲＭＩＮとＲとの間の値に設定する。
【００２５】
殆どの場合、計算ブロック４はＲＢＬをＲＭＩＮに設定して、最低の帯域幅においてさえもネットワーク６が本発明により符号化されたビデオデータを収容することができるのを保証するようにする。これは、ベースレイヤ符号化処理がオフラインでなされる場合に特にそうである。
【００２６】
ソース２からの元のビデオデータ及びＢＬエンコーダ８により供給される符号化されたビデオデータ（即ち、ベースレイヤ）は、ハイブリッドエンコーダ２０内の残差画像（ＲＩ）計算ブロック１０と動き補償された残差画像（ＭＣＲＩ）計算ブロック２４との両方に供給される。ＲＩ計算ブロック１０及びＭＣＲＩ計算ブロック２４は、上記元のビデオデータ及び符号化されたビデオデータを用いて、以下に述べるように、残差画像１２及び動き補償された（ＭＣ）残差画像２２を各々発生する。
【００２７】
動作中において、上記ＲＩ計算ブロックはＢＬエンコーダ８から符号化されたビデオデータを入力し、該符号化されたビデオデータを復号する。その後、この復号されたビデオデータにおけるピクセルと前記元のビデオデータにおけるピクセルとの間の差に基づいて残差画像１２が発生される。一般的に言って、残差画像は、ベースレイヤ（ビデオ信号を復号するデコーダにより必要とされる最小数のフレーム及び／又は最小量のデータを有する）におけるフレームと、元のビデオデータにおけるフレームとの間の差に対応する。
【００２８】
ＲＩ計算ブロック１０は、残差画像１２を発生するために、種々の異なる方法のうちの１以上を使用することができる。例えば、ベースレイヤにおけるフレームと元のビデオデータのフレームとの間で単純なピクセル対ピクセルの減算を実行することができる。これら２組のフレームの間の結果としての差（即ち、残差画像）は、フレーム解像度の差を含む。ベースレイヤが元のビデオデータの全フレームを含まない場合は、残差画像は、これらの欠けているフレームを含むことになる。
【００２９】
残差画像１２は、上記の符号化されたビデオデータを先ずフィルタ処理し、次いで、このフィルタ処理されたビデオデータと元のビデオデータとの間の差を決定することによっても発生することができる。この技術は、符号化されたビデオデータから、例えば符号化及び復号処理により生じる望ましくないノイズ等を除去するという利点を有している。本発明の好ましい実施例においては、上記の復号されたビデオデータをフィルタ処理するのに非ブロック化フィルタが使用されるが、本発明は斯かる型式のフィルタの使用に限定されるものではない。
【００３０】
残差画像１２を発生する他の技術は、上記の復号されたビデオと元のビデオデータとの両方をフィルタ処理し、次いで、これらの両型式のフィルタ処理されたデータの間の差を決定する技術を含む。この技術においては、同一の型式のフィルタ（例えば、非ブロック化フィルタ）を、元のビデオデータと復号されたビデオデータとの両方に対して適用することができる。他の例として、異なる型式のフィルタを元のビデオデータと復号されたビデオデータとに適用することもできる。
【００３１】
上述したように、残差画像１２はピクセルドメインにおいて計算される。例えば、ベースレイヤエンコーダがＤＣＴ変換型の符号化法を使用し、エンハンスメントレイヤエンコーダがウェーブレット変換型の符号化法を使用する場合、ベースレイヤ画像は、元の（即ち、変換されていない）ピクセルドメインにおいて元の画像から（ピクセル対ピクセルで）減算されなければならない。これは、残差信号を計算する前に、ベースレイヤ画像の圧縮されたビットストリームが、そのピクセルドメインでの表現を発生するために復号されることを要する。このような復号処理は、通常、ベースレイヤデコーダ内で行われるので（ベースレイヤの動き推定及び補償のために）、エンハンスメントレイヤデコーダは、それを利用することができる。次いで、結果としてのピクセルドメインの残差は、この残差のＦＧＳ符号化を実行する前に、所望の変換ドメイン（例えば、ウェーブレット）に変換されねばならない。
【００３２】
しかしながら、ベースレイヤ及びエンハンスメントレイヤの両エンコーダが同一の変換を使用する場合は、残差画像１２は変換ドメイン（例えば、ＤＣＴ又はウェーブレットドメイン）において計算することができる。この場合、ＦＧＳエンコーダは結果としての変換を直接（即ち、すでに所望の変換ドメインにあるので、残差信号に対して如何なる変換演算も実行する必要性なしに）符号化する。
【００３３】
また、動作中において、ＭＣＲＩ計算ブロック２４はＢＬエンコーダ８から符号化されたビデオデータを入力し、該符号化されたビデオデータを復号する。その後、該復号されたビデオデータから動き補償方法に基づいてＭＣ残差画像２２が発生される。これは、例えば、動き補償画像を計算するための動き補償型の方法を使用して達成することができる。この動き補償画像は、次いで、ピクセルドメインにおいて対応する元の画像からピクセル毎に減算される。次いで、結果としてのピクセルドメインの残差は、微細粒状エンコーダによる符号化に先立ち、変換される。
【００３４】
残差画像１２は変換ドメインにおいて直接計算することができるが（例えば、ベースレイヤ及びエンハンスメントレイヤの両方が同一の変換を使用する場合）、ＭＣ残差画像２２はピクセルドメインにおいて計算されることに注意することが重要である。従って、ＭＣ残差画像２２（ピクセルドメイン）は、微細粒状型符号化に先立ち、変換（例えば、ＤＣＴ）されねばならない。
【００３５】
ハイブリッドエンコーダ２０は、ＦＧＳ ＭＣＲＩエンハンスメントレイヤ（ＥＬ）エンコーダ２６及びＦＧＳ残差画像ＥＬエンコーダ１４も含んでいる。動作の間において、ＦＧＳ ＭＣＲＩ ＥＬエンコーダ２６及びＦＧＳ残差画像ＥＬエンコーダ１４は、埋め込まれた微細粒状符号化技術を用いてＭＣ残差画像２２及び残差画像１２を各々符号化する。
【００３６】
本発明によれば、ＭＣ残差画像２２又は残差画像１２を符号化するために、如何なる微細粒状符号化技術も当該提案されたスケーラビリティ構造と共に使用することができることに注意すべきである。これら残差画像の何れの型式のものを符号化するための主な候補は、埋め込まれたＤＣＴ型のメカニズム（例えば、ビット面埋め込みＤＣＴ型メカニズム）及び埋め込まれた零ツリーウェーブレット方法の類である。変換関数の過完全集合（over-complete set）に基づくスケーラブル整合追跡等の他の微細粒状符号化方法も適用することができる。更に、ＭＣ残差画像２２及び残差画像１２を符号化するために、同一の又は異なる技術を使用することもできることに注意すべきである。
【００３７】
上記符号化の結果として、時間的エンハンスメントストリーム３２及びＦＧＳエンハンスメントストリーム３１を含む、エンハンスメントレイヤフレームの２つのストリームが生成される。時間的エンハンスメントストリーム３２はＭＣＲＩ ＥＬエンコーダ２６からの圧縮されたＦＧＳ時間的フレーム（即ち、ＭＣＲＩ）を含み、ＦＧＳエンハンスメントストリーム３１は残差画像ＥＬエンコーダ１４からのＳＮＲ（即ち、標準のＦＧＳ残差）フレームを含む。これらの２つのストリーム３１、３２は、合成して単一のＦＧＳエンハンスメントレイヤストリームを生成するか、又は２つの別個のストリームとして維持することができる。何れの場合にも、結果としてのＦＧＳストリーム（又は複数のストリーム）は記憶するか又はリアルタイムに送信することができる。
【００３８】
言い換えると、そして標準のＦＧＳの場合と同様に、本発明によるハイブリッド構造の下では、ビデオ信号（エンハンスメントレイヤ及びベースレイヤの両方）の符号化は、リアルタイムに行うか（図により意図されるように）又は送信の時点より前にオフラインで行うことができる。２番目の場合は、ビデオは記憶することができ、後に送信する（又はストリーム化する）ことができる。
【００３９】
しかしながら、何れの筋書（即ち、リアルタイム符号化又はオフラインの非リアルタイム符号化）の下でも、エンハンスメントレイヤフレームを送信するために割り当てられるべきビットレートをリアルタイムで決定するために、リアルタイムスケーラブルビデオレートコントローラ１８が含まれている。この割当は、計算ブロック４、ＦＧＳレートコントローラ２８及びユーザ入力３０からの入力に基づいて実行される。この割当の実行において、ビデオレートコントローラ１８は計算ボックス４からの入力Ｒ、ＲＢＬ及びＲＭＡＸを使用して、エンハンスメントレイヤフレームを送信するために残された利用可能な帯域幅（Ｒ−ＲＢＬ）を決定する。更に、ＦＧＳレートコントローラ２８は、２つのエンハンスメントレイヤストリーム３１、３２の間のビットレートの割当も、入力Ｒ、ＲＢＬ及びＲＭＡＸに基づいて決定する。更に、ユーザ入力３０はユーザが品質的及び／又は時間的スケーラビリティに対する好みを選択するのを可能にする。
【００４０】
エンハンスメントレイヤフレームを送信するためのビットレートが選択された後、リアルタイムスケーラブルビデオレートコントローラ１８は、エンハンスメントレイヤフレームの送信されるべき部分を選択する。エンハンスメントレイヤフレームの選択された部分は、上記２つのエンハンスメントレイヤストリーム３１、３２の一方又は両方からの何れのフレームとすることもできる。上述したように、この選択はユーザ入力３０により制御することもできる。例えば、ユーザが品質のスケーラビリティのみを好む場合は、リアルタイムスケーラブルビデオレートコントローラ１８はＦＧＳエンハンスメントストリーム３１のみからフレームを選択するであろう。この選択の後、リアルタイムスケーラブルビデオレートコントローラ１８は画像を可変帯域幅ネットワーク６に対してＢＬストリーム及びＥＬストリームとして出力する。
【００４１】
図７は、図６のベースレイヤエンコーダ８及びハイブリッド型時間的／ＳＮＲ的ＦＧＳビデオエンコーダ２０用の機能的アーキテクチャの一例を示している。図７はＤＣＴ変換に基づく符号化動作を示しているが、他の変換（例えば、ウェーブレット）を使用することもできる。このアーキテクチャは、標準のＦＧＳ画像符号化と較べると時間的エンハンスメントフレームの符号化に対して追加の計算が必要とされるにも拘わらず、これらの追加の計算は余分な複雑さのオーバーヘッド無しで実現することができる。
【００４２】
図７に見られるように、ベースレイヤエンコーダ８は、ＤＣＴブロック８８と、量子化ブロック９０と、元のビデオからＢＬストリームの一部を発生するエントロピエンコーダ９２とを含んでいる。更に、ベースレイヤエンコーダ８は、元のビデオから２組の動きベクトルを生成する動き推定ブロック９４も含んでいる。この場合、一方の組の動きベクトルはベースレイヤ画像に対応し、他方の組は時間的エンハンスメントフレームに対応する。上記ベースレイヤ動きベクトルをＢＬストリームと多重化するためにマルチプレクサ１０４が含まれている。また、時間的エンハンスメントストリームに対応する動きベクトルを多重化するために他のマルチプレクサ１０６も含まれている。更に、上記２つのエンハンスメントレイヤストリームは、任意選択的な第３マルチプレクサ１０８により多重化して単一のストリーム（ＳＮＲ的及び時間的な両方のＦＧＳ画像からなる）を発生させるか、又は２つの別個のストリームとして記憶し／送信することもできる。
【００４３】
更に見られるように、ベースレイヤエンコーダ８は、逆量子化ブロック１００と、逆ＤＣＴブロック１０２と、動き補償ブロック９８と、フレームメモリ９６とを含んでいる。ベースレイヤエンコーダ８のこれらの機能ブロックは、全て、エンハンスメントレイヤＭＣ残差画像を計算する場合に使用される。理解されるように、これは、全コーデックアーキテクチャ内のデータの新規な（それでいて簡素な）データフロー制御を介して達成される。この資源の共用を可能にするものは、該エンコーダがベースレイヤフレームと時間的エンハンスメントフレームとを決して同時に圧縮することがないという事実である。
【００４４】
このデータフロー制御は、機能ブロック１２２、１２４、１２６及び１２８を介して達成される。例えば、或る機能ブロック１２２は、ＤＣＴブロック８８の出力を、ベースレイヤフレームが符号化されている場合は量子化ブロック９０へ、ＦＧＳエンハンスメントレイヤＭＣ残差画像が符号化されている場合は他の機能ブロック１２４への何れかに送出することにより制御する。
【００４５】
理解されるように、ハイブリッド型の時間的／ＳＮＲ的ＦＧＳエンコーダ２０は残差画像及びＭＣ残差画像を記憶するＤＣＴ残差画像ブロック１１０を含んでいる。残差画像は、量子化ブロック９０の入力から出力を減算する減算器１３０により発生される。更に、ＭＣ残差画像は機能ブロック１２２の上側出力端において直接発生される。
【００４６】
ハイブリッドエンコーダ２０は適応型量子化（ＡＱ）符号化ツール１１２も含み、該ツールは残差画像及びＭＣ残差画像の両方に適用することができる。ＡＱツール１１２用の好適な候補は、選択的エンハンスメント及び／又は周波数重み付けによるビット面シフト処理を含むＦＧＳ ＭＰＥＧ−４規格により定義されるようなものである。
【００４７】
上記残差画像及びＭＣ残差画像を符号化して時間的なエンハンスメントストリーム及びＦＧＳエンハンスメントストリームを生成するために、ＦＧＳエントロピ符号化ブロック１１４も含まれている。この符号化は、図６に関連して説明したのと同様の技術により実行することができる。理解されるように、符号化ブロック１１４はＦＧＳ及び時間的エンハンスメントフレームの両方に使用することができる。何故なら、これら画像形式は共に、決して同時に圧縮されることはないからである。
【００４８】
本発明によるハイブリッド型の時間的／ＳＮＲ的ＦＧＳスケーラビリティ構造の他の例が図８Ａに示されている。理解されるように、この例ではハイブリッド型の時間的／ＳＮＲ的スケーラビリティを達成するために２つのエンハンスメントレイヤが使用されている。この場合、時間的レイヤはベースレイヤに関する時間的エンハンスメント（即ち、一層良好な動き）を達成するために使用される一方、ＦＧＳレイヤはベースレイヤ及び／又は時間的スケーラビリティエンハンスメントレイヤの品質ＳＮＲを改善するために使用される。
【００４９】
図８Ａのスケーラビリティ構造は、図８Ｂないし８Ｄに示すように、時間的エンハンスメントのみ、ＳＮＲ的エンハンスメントのみ、又は時間的／ＳＮＲ的な両方のエンハンスメントを実行する能力も提供する。図８Ｂにおいては、時間的レイヤのみが送信されるので、時間的スケーラビリティが達成される。図８Ｃにおいては、ベースレイヤフレームに対応するＦＧＳフレームのみが送信されるので、品質的（即ち、ＳＮＲ的）スケーラビリティが達成される。図８Ｄにおいては、時間的及びＦＧＳレイヤフレームの両方が送信されているので、品質的及び時間的スケーラビリティの両方が達成される。
【００５０】
図８Ａのハイブリッド型の時間的／ＳＮＲ的ＦＧＳスケーラビリティ構造に関しては、他の変更例も考えられることに注意すべきである。例えば、時間的レイヤのフレームは双方向予測フレームに限定されるものではない。本発明によれば、時間的レイヤフレームは、順方向に予測されたもの若しくは逆方向に予測されたもののみ、又はこれらの何れかの組合せの何れかとすることができる。
【００５１】
本発明によるハイブリッド型スケーラビリティ構造を使用するシステムの他の例が図９に示されている。この例は、ハイブリッド型の時間的／ＳＮＲ的ＦＧＳビデオエンコーダ３４を除き、図６の例と同様である。この例においては、ハイブリッドビデオエンコーダ３４は図８に示したスケーラビリティ構造を生成するように構成されている。理解されるように、該ハイブリッドエンコーダ３４は時間的ＥＬビデオエンコーダ３６と、ＦＧＳ ＥＬビデオエンコーダ３８とを含んでいる。
【００５２】
この例によれば、時間的ＥＬビデオエンコーダ３６は図８Ａに示すような時間的レイヤのフレームを発生する。図９から分かるように、該時間的ＥＬビデオエンコーダ３６は、動き補償残差画像計算ブロック２４と、時間的動き補償残差画像（ＭＣＲＩ）ＥＬエンコーダ４０とを含んでいる。動作の間に、動き補償残差画像計算ブロック２４は、ビデオソース２から符号化されていないビデオデータを入力すると共にＢＬエンコーダ８から符号化されたビデオデータを入力し、ＭＣ残差画像２２を生成する。この例では、該ＭＣ残差画像２２は図６の例に関して説明したのと同様の技術により生成することができる。
【００５３】
図９を更に参照すると、時間的ＭＣＲＩ ＥＬエンコーダ４０は、ＭＣ残差画像２２を符号化して時間的レイヤフレーム４２をＲＴＬなるビットレートで生成する。ＲＴＬなるビットレートは、計算ブロック４からの入力に基づいて決定される。更に、ＭＣ残差画像２２は、動き補償された残差を符号化するために使用される如何なる符号化方法により符号化することもできる。これは、ＭＰＥＧ−２、ＭＰＥＧ−４及び同様の規格により使用される方法、並びに符号化アルゴリズムを含む。特に、従来の時間的スケーラビリティに使用される符号化方法（ＭＰＥＧ−２及びＭＰＥＧ−４の時間的スケーラブルビデオ符号化ツールにおいてサポートされているようなもの等の）は良い候補である。
【００５４】
この例によれば、ＦＧＳ ＥＬビデオエンコーダ３８は図８に示すようなＦＧＳレイヤフレームを発生する。図９から分かるように、ＦＧＳ ＥＬビデオエンコーダ３８は残差画像計算ブロック２４と、ＦＧＳ残差画像ＥＬエンコーダ１４とを含んでいる。動作中において、残差画像計算ブロック２４は、ソース２からの符号化されていないビデオデータ、ＢＬエンコーダ８からの符号化されたデータ及び時間的レイヤフレーム４２を入力して、残差画像１２を生成する。該残差画像は、図６の例に関して説明した技術により生成される。
【００５５】
ＦＧＳ残差画像ＥＬエンコーダ１４は、上記残差画像１２を符号化してＦＧＳエンハンスメントレイヤフレーム４４を生成する。これは、埋め込みビット面ＤＣＴ型メカニズム（可変の／埋め込まれた量子化及び送信を伴う）、埋め込み零ツリーウェーブレット方法の類又は過完全組の変換関数に基づくスケーラブル整合追跡等の、微細粒状符号化技術により達成することができる。
【００５６】
図９から更に分かるように、リアルタイムスケーラブルビデオレートコントローラ１８も含まれている。動作中において、ビデオレートコントローラ１８はＢＬストリーム、時間的ＥＬストリーム４２及びＦＧＳ ＥＬストリーム４４をリアルタイムに入力する。先の例におけるのと同様に、ビデオレートコントローラ１８はエンハンスメントレイヤフレームを送信するために割り当てられるべきビットレートを決定する。例えば、ＢＬ及び時間的ＥＬ４２ストリームの両方からのフレームが送信された場合は、上記割当はＦＧＳ ＥＬストリーム４４からフレームを送信するために残された利用可能な帯域幅（Ｒ−ＲＢＬ−ＲＴＬ）に基づいて実行され、これは計算ブロック４からの入力に基づいて決定される。
【００５７】
更に、ビデオレートコントローラ１８は、ＥＬストリーム４２、４４の一方が送信されるべきか、又は両方が送信されるべきかも決定する。この決定も利用可能な帯域幅及び／又はユーザ入力３０に基づくものとすることができる。この決定の後、ビデオレートコントローラ１８は可変帯域幅ネットワーク６に対して画像をＢＬストリーム、時間的ＥＬストリーム及びＦＧＳ ＥＬストリームとして出力する。しかしながら、時間的なスケーラビリティが望ましくない場合は、ＢＬストリーム及びＦＧＳ ＥＬストリームからの対応するフレームのみが出力される。
【００５８】
本発明によるハイブリッドスケーラビリティ構造を採用したデコーダの一例が図１０に示されている。この例のデコーダは図６のエンコーダに対応するものである。本例において、該デコーダは、入力ＢＬストリームを復号するベースレイヤデコーダ４６と、ＥＬストリームを復号するエンハンスメントレイヤデコーダ６４とを有している。
【００５９】
見られるように、ベースレイヤデコーダ４６は２つの並列な経路を有している。下側の経路は、可変長デコーダ（ＶＬＤ）４８と、逆量子化ブロック５０と、逆ＤＣＴブロック５２とを含んでいる。動作中において、これらの要素４８、５０及び５２はＢＬストリームに対し可変長復号、逆量子化及び逆離散コサイン変換を実行して、加算器５８の一方の入力端子にビデオフレームを発生する。
【００６０】
ベースレイヤデコーダ４６の上側の経路は可変長デコーダ４８と、ベースレイヤ動き合成ブロック５４とを含んでいる。動作中において、ベースレイヤ動き合成ブロック５４は、ＶＬＤ４８により復号された動きベクトルを入力する。該動きベクトルは、ベースレイヤフレームメモリ５６に記憶されたフレームに対して動き補償を実行するために使用され、加算器５８の他方の入力端子に追加のフレームを生成する。
【００６１】
更に、動作中において、加算器５８は下側経路及び上側経路からのビデオフレームを合成して、該加算器５８の出力端子に図示のようにＢＬビデオを生成する。更に、該加算器５８の一方の出力端子はベースレイヤメモリ５６に結合されて、合成されたＢＬビデオフレームの各々を一時的に記憶する。これは、ベースレイヤ動き合成ブロック５４により生成されたフレームが、ベースレイヤメモリ５６に記憶された先のフレームに基づくようにするのを可能にする。
【００６２】
理解されるように、エンハンスメントレイヤデコーダ６４も２つの並列な経路を含んでいる。下側の経路は、ＦＧＳエンハンスメントレイヤＶＬＤ６６と、ＦＧＳ時間的エンハンスメントレイヤ動き補償ブロック７２とを含んでいる。動作中において、ＶＬＤ６６は入力ＥＬストリームに可変長復号処理を実行して、動き補償ブロック７２に動きベクトルを供給する。これら動きベクトルは、ベースレイヤデコーダ４６からのＢＬビデオフレームに対し動き補償を実行するために使用され、加算器７４の入力端子に動き補償されたエンハンスメントレイヤフレームを発生する。
【００６３】
エンハンスメントレイヤデコーダ６４の上側経路も、ＶＬＤ６６及び逆ＤＣＴブロック７０を含んでいる。これらの要素６６及び７０はＥＬストリームに対し可変長復号処理及び逆離散コサイン変換を各々実行して、残差ＦＧＳエンハンスメントフレームを加算器７４の他方の入力端子に発生する。該残差ＦＧＳエンハンスメントフレームは、ＢＬビデオフレームと動き補償されたエンハンスメントレイヤフレームとの両方を向上させるフレームを含んでいる。ビット面シフト処理がエンコーダ側でなされていた場合は、上記上側経路にビット面シフト処理ブロック６８も含めることができる。
【００６４】
動作中において、加算器７４は下側経路からの動き補償されたエンハンスメントレイヤフレームと、上側経路からの対応する残差ＦＧＳエンハンスメントレイヤフレームとを合成して、時間的なエンハンスメントレイヤフレームを生成するようになっている。更に、加算器７４は、上記上側経路からのＢＬビデオフレームに対応する残差ＦＧＳエンハンスメントレイヤフレームを変化されないまま他の加算器６２に通過させるようにもなっている。
【００６５】
動作中において、加算器６２はエンハンスメントレイヤデコーダ６４とベースレイヤデコーダ４６との両方からのフレームを合成して、図示のように向上されたビデオシーケンスを生成する。しかしながら、品質的スケーラビリティを達成するために、残差ＦＧＳエンハンスメントレイヤフレームがベースレイヤデコーダ４６からの対応するＢＬビデオフレームに加算されるであろう。従って、ＢＬビデオフレームに対応する残差ＦＧＳエンハンスメントレイヤフレームが加算器６２の入力端子にある場合に、スイッチ６０が閉成されて、これら２つのフレームが合成されるのを可能にする。
【００６６】
更に、時間的エンハンスメントレイヤフレームは対応するＢＬビデオフレームを有していないので、該時間的エンハンスメントレイヤフレームは上記の向上されたビデオシーケンスに、そのまま配置される。このように、時間的エンハンスメントレイヤフレームが加算器６２の入力端子にある場合は、上記スイッチは開成し、該時間的エンハンスメントレイヤフレームは加算器６２をそのまま通過するであろう。向上されたビデオシーケンスは、このようにして生成される。
【００６７】
本発明によるハイブリッドスケーラビリティ構造を採用したデコーダの他の例が、図１１に示されている。この例は、ハイブリッド型時間的／ＳＮＲ的ＦＧＳデコーダ用の対応する機能的アーキテクチャを示している。図７のエンコーダアーキテクチャと同様に、該時間的エンハンスメントフレームの復号は、最小の複雑さのオーバーヘッドで実現されている。これは、ベースレイヤデコーダ４６とエンハンスメントレイヤデコーダ６４との間における動き補償機能ブロック１１６の共用により達成される。更に、標準のＳＮＲ ＦＧＳ復号経路も共用されている。時間的エンハンスメントフレームのＤＣＴ変換はベースレイヤエンコーダ（図７）のＤＣＴ機能ブロックにより計算することができるが、受信機側においては、逆ＤＣＴはエンハンスメントレイヤデコーダ６４の逆ＤＣＴブロック７０を用いて計算される。
【００６８】
理解されるように、ＥＬ圧縮ストリームはデマルチプレクス（１１８）されて、動きベクトルデータを符号化された残差情報から分離する。時間的エンハンスメントフレームに対応する動きベクトルは、時間的な予測されたフレームを計算するために動き補償ブロック１１６により使用される一方、圧縮された残差情報はエンハンスメントレイヤデコーダ６４により復号されると共に逆変換される。これら２つの信号は一緒に加算されて、表示装置に直接送ることができる時間的エンハンスメントフレームを発生する。ＳＮＲ／ＦＧＳ圧縮フレームに関しては、復号された信号は、表示動作の前に、対応するベースレイヤフレームに加算されねばならない。
【００６９】
ＢＬ圧縮ストリームもデマルチプレクス（１２０）されて、符号化された残差情報から動きベクトルデータを分離する。ＢＬフレームに対応する該動きベクトルは、ベースレイヤメモリ５４に記憶された復号されたベースレイヤフレームに基づいて動き補償を実行するために、動き補償ブロック１１６により使用される。
【００７０】
本発明を実施することができるシステムの一例が図１２に示されている。例示として、該システムは、テレビジョン；セットトップボックス；卓上、ラップトップ又はパームトップコンピュータ；パーソナルデジタルアシスタント（ＰＤＡ）；ビデオカセットレコーダ（ＶＣＲ）、デジタルビデオレコーダ（ＤＶＲ）及びＴｉＶＯ装置等のビデオ／画像記憶装置；並びにこれら及び他の装置の一部又は組合せを表すことができる。該システムは、１以上のビデオソース７６、１以上の入力／出力装置７８、プロセッサ８２及びメモリ８４を含んでいる。
【００７１】
上記ビデオ／画像ソース（又は複数のソース）７６は、例えば、テレビジョン受信機、ＶＣＲ又は他のビデオ／画像記憶装置を表すことができる。他の例として、ソース（又は複数のソース）７６は、例えばインターネット、広域ネットワーク、都市区域ネットワーク、ローカルエリアネットワーク、地上放送システム、ケーブルネットワーク、衛星ネットワーク、無線ネットワーク又は電話回路網、並びにこれら及び他の型式のネットワークの一部又は組合せのようなグローバルなコンピュータ通信ネットワークを介してサーバ又は複数のサーバからビデオを受信する１以上のネットワーク接続を表すこともできる。
【００７２】
入力／出力装置７８、プロセッサ８２及びメモリ８４は通信媒体８０を介して通信する。通信媒体８０は、例えば、バス、通信ネットワーク、回路の１以上の内部接続部、回路カード又は他の装置、並びにこれら及び他の通信媒体の一部及び組合せを表すことができる。ソース（又は複数のソース）７６からの入力ビデオデータは、メモリ８４に記憶されると共にプロセッサ８２により実行される１以上のソフトウェアプログラムに従い処理されて、表示装置８６に供給される出力ビデオ／画像を発生する。
【００７３】
好ましい実施例においては、本発明によるハイブリッドスケーラビリティ構造を採用する符号化処理及び復号処理は、当該システムにより実行されるコンピュータが読取可能なコードにより実施される。該コードはメモリ８４に記憶することもでき、又はＣＤ−ＲＯＭ若しくはフロッピーディスクのようなメモリ媒体から読み取り／ダウンロードすることもできる。他の実施例においては、本発明を実施するために、ソフトウェア命令に代えて又はソフトウェア命令との組合せでハードウェア回路を使用することもできる。例えば、図６ないし７及び図９ないし１１に示される各構成要素は個別のハードウェア素子として実施化することができる。
【００７４】
以上、本発明を特定の例に関して説明したが、本発明は本明細書に開示された例に限定又は制限することを意図するものではないと理解されたい。例えば、本発明は如何なる特定の符号化法フレーム形式又は確率分布に制限されるものではない。逆に、本発明は添付請求項の趣旨及び範囲内に含まれる種々の構成及びその変形例をカバーしようとするものである。
【図面の簡単な説明】
【図１Ａ】 図１Ａは、従来の或るスケーラビリティ構造を示す。
【図１Ｂ】 図１Ｂも、従来の或るスケーラビリティ構造を示す。
【図２Ａ】 図２Ａは、従来の他のスケーラビリティ構造を示す。
【図２Ｂ】 図２Ｂも、従来の他のスケーラビリティ構造を示す。
【図３】 図３は、従来のスケーラビリティ構造を使用したシステムを示す。
【図４Ａ】 図４Ａは、本発明によるハイブリッドスケーラビリティ構造の一例を示す。
【図４Ｂ】 図４Ｂは、本発明によるハイブリッドスケーラビリティ構造の他の例を示す。
【図４Ｃ】 図４Ｃは、本発明によるハイブリッドスケーラビリティ構造の他の例を示す。
【図４Ｄ】 図４Ｄは、本発明によるハイブリッドスケーラビリティ構造の他の例を示す。
【図４Ｅ】 図４Ｅは、本発明によるハイブリッドスケーラビリティ構造の他の例を示す。
【図５Ａ】 図５Ａは、本発明によるハイブリッドスケーラビリティ構造の他の例を示す。
【図５Ｂ】 図５Ｂは、本発明によるハイブリッドスケーラビリティ構造の他の例を示す。
【図５Ｃ】 図５Ｃは、本発明によるハイブリッドスケーラビリティ構造の他の例を示す。
【図６】 図６は、本発明によるハイブリッドスケーラビリティ構造を使用した或るシステムを示す。
【図７】 図７は、図６のビデオエンコーダ用の機能アーキテクチャの一例を示す。
【図８Ａ】 図８Ａは、本発明によるハイブリッドスケーラビリティ構造の他の例を示す。
【図８Ｂ】 図８Ｂは、本発明によるハイブリッドスケーラビリティ構造の他の例を示す。
【図８Ｃ】 図８Ｃは、本発明によるハイブリッドスケーラビリティ構造の他の例を示す。
【図８Ｄ】 図８Ｄは、本発明によるハイブリッドスケーラビリティ構造の他の例を示す。
【図９】 図９は、本発明によるハイブリッドスケーラビリティ構造を使用した他のシステムを示す。
【図１０】 図１０は、本発明によるハイブリッドスケーラビリティ構造用のデコーダの一例を示す。
【図１１】 図１１は、本発明によるハイブリッドスケーラビリティ構造用のデコーダの他の例を示す。
【図１２】 図１２は、本発明を実施するためのシステムの一例を示す。
【符号の説明】
２…ビデオソース
４…計算ブロック
６…可変帯域幅ネットワーク
８…ベースレイヤエンコーダ
１０…残差画像計算ブロック
１２…残差画像
１４…ＦＧＳ残差画像ＥＬエンコーダ
１８…リアルタイムスケーラブルビデオレートコントローラ
２０…ハイブリッド型時間的／ＳＮＲ的ＦＧＳビデオエンコーダ
２２…動き補償された残差画像
２４…動き補償された残差画像計算ブロック
２６…ＦＧＳ ＭＣＲＩエンハンスメントレイヤエンコーダ
２８…ＦＧＳレートコントローラ
３０…ユーザ入力
３１…ＦＧＳエンハンスメントストリーム
３２…時間的エンハンスメントストリーム
Claims (16)
- ビデオデータを符号化する方法において、
前記ビデオデータの一部を符号化してベースレイヤフレームを生成するステップと、
前記ビデオデータと前記ベースレイヤフレームとから動き補償された残差画像を発生するステップと、
前記動き補償された残差画像を微細粒状符号化技術を用いて符号化し、時間的エンハンスメントフレームを生成するステップと、
前記ビデオデータと前記ベースレイヤフレームとから残差画像を発生するステップと、
前記残差画像を微細粒状符号化技術を用いて符号化し、品質的エンハンスメントフレームを生成するステップと、
を有していることを特徴とするビデオデータを符号化する方法。 - 請求項１に記載の方法において、前記ベースレイヤフレーム及び前記時間的エンハンスメントフレームの一部を可変帯域幅ネットワークを介して伝送するステップを更に含んでいることを特徴とする方法。
- 請求項２に記載の方法において、前記ネットワークの利用可能な帯域幅を決定するステップと、前記時間的エンハンスメントフレームのうちの伝送されるべき部分を、前記利用可能な帯域幅に基づいて選択するステップと、を更に含んでいることを特徴とする方法。
- 請求項１に記載の方法において、前記時間的エンハンスメントフレームと前記品質的エンハンスメントフレームとをエンハンスメントレイヤに合成するステップを更に含んでいることを特徴とする方法。
- 請求項１に記載の方法において、前記ベースレイヤフレームと、前記時間的エンハンスメントフレーム及び品質的エンハンスメントフレームの一部とを可変帯域幅ネットワークを介して伝送するステップを更に含んでいることを特徴とする方法。
- 請求項５に記載の方法において、前記ネットワークの利用可能な帯域幅を決定するステップと、前記時間的エンハンスメントフレーム及び品質的エンハンスメントフレームのうちの伝送されるべき部分を、前記利用可能な帯域幅に基づいて選択するステップと、を更に含んでいることを特徴とする方法。
- ビデオデータを符号化する方法において、
前記ビデオデータの一部を符号化してベースレイヤフレームを生成するステップと、
前記ビデオデータと前記ベースレイヤフレームとから動き補償された残差画像を発生するステップと、
前記動き補償された残差画像を符号化して時間的エンハンスメントフレームを生成するステップと、
前記ビデオデータと前記ベースレイヤフレームと前記時間的エンハンスメントフレームとから残差画像を発生するステップと、
前記残差画像を微細粒状符号化技術を用いて符号化し、品質的エンハンスメントフレームを生成するステップと、
を有していることを特徴とするビデオデータを符号化する方法。 - 請求項７に記載の方法において、前記時間的エンハンスメントフレームが時間的エンハンスメントレイヤを形成し、前記品質的エンハンスメントフレームが品質的エンハンスメントレイヤを形成することを特徴とする方法。
- ベースレイヤとエンハンスメントレイヤとを含むビデオ信号を復号する方法において、
前記ベースレイヤを復号してビデオフレームを生成するステップと、
前記エンハンスメントレイヤを復号して動きベクトルを生成するステップと、
前記ビデオフレームに前記動きベクトルに基づいて動き補償を実行し、追加のビデオフレームを生成するステップと、
前記ビデオフレームと前記追加のビデオフレームとを合成してビデオシーケンスを形成するステップと、
を有していることを特徴とするビデオ信号を復号する方法。 - 請求項９に記載の方法において、前記エンハンスメントレイヤを復号して向上されたビデオフレームを生成するステップと、前記向上されたビデオフレームの各々を前記ビデオフレーム及び前記追加のビデオフレームの一方に加算するステップと、を更に含んでいることを特徴とする方法。
- ビデオデータを符号化するプログラムを記録したコンピュータ読み取り可能な記録媒体であって、コンピュータに、
前記ビデオデータの一部を符号化してベースレイヤフレームを生成するステップと、
前記ビデオデータと前記ベースレイヤフレームとから動き補償された残差画像を発生するステップと、
前記動き補償された残差画像を微細粒状符号化技術を用いて符号化し、時間的エンハンスメントフレームを生成するステップと、
前記ビデオデータと前記ベースレイヤフレームとから残差画像を発生するステップと、
前記残差画像を微細粒状符号化技術を用いて符号化し、品質的エンハンスメントフレームを生成するステップと、
を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。 - ビデオデータを符号化するプログラムを記録したコンピュータ読み取り可能な記録媒体であって、コンピュータに、
前記ビデオデータの一部を符号化してベースレイヤフレームを生成するステップと、
前記ビデオデータと前記ベースレイヤフレームとから動き補償された残差画像を発生するステップと、
前記動き補償された残差画像を符号化して時間的エンハンスメントフレームを生成するステップと、
前記ビデオデータと前記ベースレイヤフレームと前記時間的エンハンスメントフレームとから残差画像を発生するステップと、
前記残差画像を微細粒状符号化技術を用いて符号化し、品質的エンハンスメントフレームを生成するステップと、
を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。 - ベースレイヤとエンハンスメントレイヤとを含むビデオ信号を復号するプログラムを記録したコンピュータ読み取り可能な記録媒体であって、コンピュータに、
前記ベースレイヤを復号してビデオフレームを生成するステップと、
前記エンハンスメントレイヤを復号して動きベクトルを生成するステップと、
前記ビデオフレームに前記動きベクトルに基づいて動き補償を実行し、追加のビデオフレームを生成するステップと、
前記ビデオフレームと前記追加のビデオフレームとを合成してビデオシーケンスを形成するステップと、
を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。 - ビデオデータを符号化する装置において、
前記ビデオデータの一部を符号化してベースレイヤフレームを生成する手段と、
前記ビデオデータと前記ベースレイヤフレームとから動き補償された残差画像を発生する手段と、
前記動き補償された残差画像を微細粒状符号化技術を用いて符号化し、時間的エンハンスメントフレームを生成する手段と、
前記ビデオデータと前記ベースレイヤフレームとから残差画像を発生する手段と、
前記残差画像を微細粒状符号化技術を用いて符号化し、品質的エンハンスメントフレームを生成する手段と、
を有していることを特徴とするビデオデータを符号化する装置。 - ビデオデータを符号化する装置において、
前記ビデオデータの一部を符号化してベースレイヤフレームを生成する手段と、
前記ビデオデータと前記ベースレイヤフレームとから動き補償された残差画像を発生する手段と、
前記動き補償された残差画像を符号化して時間的エンハンスメントフレームを生成する手段と、
前記ビデオデータと前記ベースレイヤフレームと前記時間的エンハンスメントフレームとから残差画像を発生する手段と、前記残差画像を微細粒状符号化技術を用いて符号化し、品質的エンハンスメントフレームを生成する手段と、
を有していることを特徴とするビデオデータを符号化する装置。 - ベースレイヤとエンハンスメントレイヤとを含むビデオ信号を復号する装置において、
前記ベースレイヤを復号してビデオフレームを生成する手段と、
前記エンハンスメントレイヤを復号して動きベクトルを生成する手段と、
前記ビデオフレームに前記動きベクトルに基づいて動き補償を実行し、追加のビデオフレームを生成する手段と、
前記ビデオフレームと前記追加のビデオフレームとを合成してビデオシーケンスを形成する手段と、
を有していることを特徴とするビデオ信号を復号する装置。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16706799P | 1999-11-23 | 1999-11-23 | |
| US60/167,067 | 1999-11-23 | ||
| US09/590,825 US6639943B1 (en) | 1999-11-23 | 2000-06-09 | Hybrid temporal-SNR fine granular scalability video coding |
| US09/590,825 | 2000-06-09 | ||
| PCT/EP2000/010962 WO2001039503A1 (en) | 1999-11-23 | 2000-11-02 | Hybrid temporal-snr fine granular scalability video coding |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003515987A JP2003515987A (ja) | 2003-05-07 |
| JP4729220B2 true JP4729220B2 (ja) | 2011-07-20 |
Family
ID=26862843
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001540526A Expired - Lifetime JP4729220B2 (ja) | 1999-11-23 | 2000-11-02 | ハイブリッドな時間的／ｓｎｒ的微細粒状スケーラビリティビデオ符号化 |
Country Status (11)
| Country | Link |
|---|---|
| US (1) | US6639943B1 (ja) |
| EP (1) | EP1151613B1 (ja) |
| JP (1) | JP4729220B2 (ja) |
| KR (1) | KR100758139B1 (ja) |
| CN (1) | CN1166200C (ja) |
| BR (1) | BR0007657A (ja) |
| MY (1) | MY125988A (ja) |
| PL (1) | PL348970A1 (ja) |
| RU (1) | RU2294058C2 (ja) |
| TR (1) | TR200102123T1 (ja) |
| WO (1) | WO2001039503A1 (ja) |
Families Citing this family (118)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6931060B1 (en) * | 1999-12-07 | 2005-08-16 | Intel Corporation | Video processing of a quantized base layer and one or more enhancement layers |
| JP2001169293A (ja) * | 1999-12-08 | 2001-06-22 | Nec Corp | 画像伝送装置 |
| US7269785B1 (en) * | 1999-12-30 | 2007-09-11 | Genesis Microchip Inc. | Digital manipulation of video in digital video player |
| US6891893B2 (en) * | 2000-04-21 | 2005-05-10 | Microsoft Corp. | Extensible multimedia application program interface and related methods |
| US7634011B2 (en) * | 2000-04-21 | 2009-12-15 | Microsoft Corporation | Application program interface (API) facilitating decoder control of accelerator resources |
| US6940912B2 (en) * | 2000-04-21 | 2005-09-06 | Microsoft Corporation | Dynamically adaptive multimedia application program interface and related methods |
| US7649943B2 (en) * | 2000-04-21 | 2010-01-19 | Microsoft Corporation | Interface and related methods facilitating motion compensation in media processing |
| GB2364842A (en) * | 2000-07-11 | 2002-02-06 | Motorola Inc | Method and system for improving video quality |
| JP3561485B2 (ja) * | 2000-08-18 | 2004-09-02 | 株式会社メディアグルー | 符号化信号分離・合成装置、差分符号化信号生成装置、符号化信号分離・合成方法、差分符号化信号生成方法、符号化信号分離・合成プログラムを記録した媒体および差分符号化信号生成プログラムを記録した媒体 |
| US7133449B2 (en) * | 2000-09-18 | 2006-11-07 | Broadcom Corporation | Apparatus and method for conserving memory in a fine granularity scalability coding system |
| US20020037046A1 (en) * | 2000-09-22 | 2002-03-28 | Philips Electronics North America Corporation | Totally embedded FGS video coding with motion compensation |
| KR20020064904A (ko) * | 2000-09-22 | 2002-08-10 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 파인-입상 스케일러빌리티의 바람직한 전송/스트리밍 오더 |
| CN1636394A (zh) * | 2000-10-11 | 2005-07-06 | 皇家菲利浦电子有限公司 | 细粒视频编码的空间可缩放性 |
| US7463683B2 (en) * | 2000-10-11 | 2008-12-09 | Koninklijke Philips Electronics N.V. | Method and apparatus for decoding spatially scaled fine granular encoded video signals |
| US20020126759A1 (en) | 2001-01-10 | 2002-09-12 | Wen-Hsiao Peng | Method and apparatus for providing prediction mode fine granularity scalability |
| US20020118742A1 (en) * | 2001-02-26 | 2002-08-29 | Philips Electronics North America Corporation. | Prediction structures for enhancement layer in fine granular scalability video coding |
| US20070053428A1 (en) * | 2001-03-30 | 2007-03-08 | Vixs Systems, Inc. | Managed degradation of a video stream |
| US8107524B2 (en) * | 2001-03-30 | 2012-01-31 | Vixs Systems, Inc. | Adaptive bandwidth footprint matching for multiple compressed video streams in a fixed bandwidth network |
| US6785334B2 (en) * | 2001-08-15 | 2004-08-31 | Koninklijke Philips Electronics N.V. | Method for transmission control in hybrid temporal-SNR fine granular video coding |
| US6909753B2 (en) * | 2001-12-05 | 2005-06-21 | Koninklijke Philips Electronics, N.V. | Combined MPEG-4 FGS and modulation algorithm for wireless video transmission |
| US6996172B2 (en) * | 2001-12-21 | 2006-02-07 | Motorola, Inc. | Method and structure for scalability type selection in digital video |
| FI114527B (fi) * | 2002-01-23 | 2004-10-29 | Nokia Corp | Kuvakehysten ryhmittely videokoodauksessa |
| MXPA04007020A (es) * | 2002-01-23 | 2004-10-11 | Nokia Corp | Agrupamiento de cuadros de imagen para codificacion de video. |
| US6944222B2 (en) * | 2002-03-04 | 2005-09-13 | Koninklijke Philips Electronics N.V. | Efficiency FGST framework employing higher quality reference frames |
| KR100556838B1 (ko) * | 2002-09-17 | 2006-03-10 | 엘지전자 주식회사 | 미세단위 신축형 부호화 및 복호화 장치와 방법 |
| KR100925627B1 (ko) * | 2002-09-28 | 2009-11-06 | 주식회사 케이티 | 영상 분할에 기반한 신축적인 동영상 부호화/복호화 장치 |
| US7480252B2 (en) | 2002-10-04 | 2009-01-20 | Koniklijke Philips Electronics N.V. | Method and system for improving transmission efficiency using multiple-description layered encoding |
| US7912125B2 (en) * | 2002-12-03 | 2011-03-22 | Thomson Licensing | Hybrid scalable encoder, method and media for standard definition and high-definition video formats on a single-disc |
| US20040179606A1 (en) * | 2003-02-21 | 2004-09-16 | Jian Zhou | Method for transcoding fine-granular-scalability enhancement layer of video to minimized spatial variations |
| FR2852773A1 (fr) * | 2003-03-20 | 2004-09-24 | France Telecom | Procedes et dispositifs de codage et de decodage d'une sequence d'images par decomposition mouvement/texture et codage par ondelettes |
| US7406176B2 (en) * | 2003-04-01 | 2008-07-29 | Microsoft Corporation | Fully scalable encryption for scalable multimedia |
| EP1634461A2 (en) | 2003-06-19 | 2006-03-15 | THOMSON Licensing | Method and apparatus for low-complexity spatial scalable decoding |
| US20050010396A1 (en) * | 2003-07-08 | 2005-01-13 | Industrial Technology Research Institute | Scale factor based bit shifting in fine granularity scalability audio coding |
| US7620545B2 (en) * | 2003-07-08 | 2009-11-17 | Industrial Technology Research Institute | Scale factor based bit shifting in fine granularity scalability audio coding |
| US7342968B2 (en) * | 2003-08-13 | 2008-03-11 | Skystream Networks Inc. | Method and system for modeling the relationship of the bit rate of a transport stream and the bit rate of an elementary stream carried therein |
| US7693222B2 (en) | 2003-08-13 | 2010-04-06 | Ericsson Television Inc. | Method and system for re-multiplexing of content-modified MPEG-2 transport streams using PCR interpolation |
| US7274742B2 (en) * | 2003-08-13 | 2007-09-25 | Skystream Networks Inc. | Model and model update technique in a system for modeling the relationship of the bit rate of a transport stream and the bit rate of an elementary stream carried therein |
| EP1692872A1 (en) * | 2003-12-03 | 2006-08-23 | Koninklijke Philips Electronics N.V. | System and method for improved scalability support in mpeg-2 systems |
| KR100537517B1 (ko) * | 2004-01-13 | 2005-12-19 | 삼성전자주식회사 | 오디오 데이타 변환 방법 및 장치 |
| US7830965B2 (en) * | 2004-01-14 | 2010-11-09 | Sony Ericsson Mobile Communications Ab | Multimedia distributing and/or playing systems and methods using separate resolution-enhancing supplemental data |
| KR20050090302A (ko) * | 2004-03-08 | 2005-09-13 | 경희대학교 산학협력단 | 비디오 인코더/디코더, 비디오 인코딩/디코딩 방법, 그방법을 수행하는 프로그램이 기록된 컴퓨터 판독가능한기록매체 |
| US8315307B2 (en) * | 2004-04-07 | 2012-11-20 | Qualcomm Incorporated | Method and apparatus for frame prediction in hybrid video compression to enable temporal scalability |
| WO2005109899A1 (en) | 2004-05-04 | 2005-11-17 | Qualcomm Incorporated | Method and apparatus for motion compensated frame rate up conversion |
| WO2006007527A2 (en) * | 2004-07-01 | 2006-01-19 | Qualcomm Incorporated | Method and apparatus for using frame rate up conversion techniques in scalable video coding |
| RU2377737C2 (ru) | 2004-07-20 | 2009-12-27 | Квэлкомм Инкорпорейтед | Способ и устройство для преобразования с повышением частоты кадров с помощью кодера (ea-fruc) для сжатия видеоизображения |
| US8553776B2 (en) | 2004-07-21 | 2013-10-08 | QUALCOMM Inorporated | Method and apparatus for motion vector assignment |
| KR100679018B1 (ko) * | 2004-09-07 | 2007-02-05 | 삼성전자주식회사 | 다계층 비디오 코딩 및 디코딩 방법, 비디오 인코더 및디코더 |
| US7778474B2 (en) * | 2004-10-06 | 2010-08-17 | Nippon Telegraph And Telephone Corporation | Scalable encoding method and apparatus, scalable decoding method and apparatus, programs therefor, and storage media for storing the programs |
| DE102004059993B4 (de) * | 2004-10-15 | 2006-08-31 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Bewegungsdaten-Prädiktion sowie Computerprogramm und computerlesbares Medium |
| JP4543873B2 (ja) * | 2004-10-18 | 2010-09-15 | ソニー株式会社 | 画像処理装置および処理方法 |
| JP2008515328A (ja) * | 2004-10-18 | 2008-05-08 | サムスン エレクトロニクス カンパニー リミテッド | 階層間フィルタリングを利用したビデオコーディングおよびデコーディング方法と、ビデオエンコーダおよびデコーダ |
| KR100679022B1 (ko) * | 2004-10-18 | 2007-02-05 | 삼성전자주식회사 | 계층간 필터링을 이용한 비디오 코딩 및 디코딩방법과,비디오 인코더 및 디코더 |
| WO2006043753A1 (en) * | 2004-10-18 | 2006-04-27 | Samsung Electronics Co., Ltd. | Method and apparatus for predecoding hybrid bitstream |
| KR20060059764A (ko) * | 2004-11-29 | 2006-06-02 | 엘지전자 주식회사 | 앞서 변환된 에이취-픽처를 기준픽처로 이용하는 영상신호의 엔코딩 방법 및 장치와 그 영상신호를 디코딩하는 방법및 장치 |
| KR20060059769A (ko) * | 2004-11-29 | 2006-06-02 | 엘지전자 주식회사 | 영상신호의 엔코딩시에 베이스 레이어 픽처의 벡터를이용하기 위한 미세정보를 코딩하는 방법과 그 미세정보를이용하는 디코딩 방법 |
| US20060120454A1 (en) * | 2004-11-29 | 2006-06-08 | Park Seung W | Method and apparatus for encoding/decoding video signal using motion vectors of pictures in base layer |
| US20060114995A1 (en) * | 2004-12-01 | 2006-06-01 | Joshua Robey | Method and system for high speed video encoding using parallel encoders |
| KR20060069227A (ko) * | 2004-12-16 | 2006-06-21 | 엘지전자 주식회사 | 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치 |
| FR2880743A1 (fr) * | 2005-01-12 | 2006-07-14 | France Telecom | Dispositif et procedes de codage et de decodage echelonnables de flux de donnees d'images, signal, programme d'ordinateur et module d'adaptation de qualite d'image correspondants |
| KR100703744B1 (ko) | 2005-01-19 | 2007-04-05 | 삼성전자주식회사 | 디블록을 제어하는 ｆｇｓ 기반의 비디오 인코딩 및디코딩 방법 및 장치 |
| JP5213456B2 (ja) | 2005-02-18 | 2013-06-19 | トムソン ライセンシング | 高分解能ピクチャの符号化情報を低分解能ピクチャから導き出す方法、並びにその方法を実現する符号化及び復号化装置 |
| JP5065051B2 (ja) * | 2005-02-18 | 2012-10-31 | トムソン ライセンシング | 低解像度画像から高解像度画像の符号化情報を導出する方法、並びに、係る方法を実現する符号化及び復号化装置 |
| CN101171843B (zh) | 2005-03-10 | 2010-10-13 | 高通股份有限公司 | 用于多媒体处理的内容分类 |
| KR100732961B1 (ko) * | 2005-04-01 | 2007-06-27 | 경희대학교 산학협력단 | 다시점 영상의 스케일러블 부호화, 복호화 방법 및 장치 |
| KR100703774B1 (ko) * | 2005-04-13 | 2007-04-06 | 삼성전자주식회사 | 인트라 코딩을 선택적으로 적용하여 인트라 ｂｌ 예측모드의 비디오 신호를 인코딩 및 디코딩하는 방법 및 장치 |
| CN101120593A (zh) | 2005-04-13 | 2008-02-06 | 诺基亚公司 | 可扩展性信息的编码、存储和信号发送 |
| KR100896279B1 (ko) | 2005-04-15 | 2009-05-07 | 엘지전자 주식회사 | 영상 신호의 스케일러블 인코딩 및 디코딩 방법 |
| KR100746007B1 (ko) | 2005-04-19 | 2007-08-06 | 삼성전자주식회사 | 엔트로피 코딩의 컨텍스트 모델을 적응적으로 선택하는방법 및 비디오 디코더 |
| KR100678907B1 (ko) * | 2005-07-12 | 2007-02-06 | 삼성전자주식회사 | 하위 계층의 복원 데이터를 사용하여 ｆｇｓ 계층을 인코딩및 디코딩하는 방법 및 장치 |
| US20070014346A1 (en) * | 2005-07-13 | 2007-01-18 | Nokia Corporation | Coding dependency indication in scalable video coding |
| UA92368C2 (ru) * | 2005-09-27 | 2010-10-25 | Квелкомм Инкорпорейтед | Методика на основе информации содержимого |
| US8879635B2 (en) | 2005-09-27 | 2014-11-04 | Qualcomm Incorporated | Methods and device for data alignment with time domain boundary |
| US8477840B2 (en) | 2005-09-29 | 2013-07-02 | Thomson Research Funding Corporation | Method and apparatus for constrained variable bit rate (VBR) video encoding |
| KR20070096751A (ko) * | 2006-03-24 | 2007-10-02 | 엘지전자 주식회사 | 영상 데이터를 코딩/디코딩하는 방법 및 장치 |
| EP1932363B1 (en) * | 2005-10-05 | 2016-05-18 | LG Electronics Inc. | Method and apparatus for reconstructing image blocks |
| KR100891662B1 (ko) * | 2005-10-05 | 2009-04-02 | 엘지전자 주식회사 | 비디오 신호 디코딩 및 인코딩 방법 |
| KR20070038396A (ko) | 2005-10-05 | 2007-04-10 | 엘지전자 주식회사 | 영상 신호의 인코딩 및 디코딩 방법 |
| FR2895172A1 (fr) * | 2005-12-20 | 2007-06-22 | Canon Kk | Procede et dispositif de codage d'un flux video code suivant un codage hierarchique, flux de donnees, procede et dispositif de decodage associes |
| CN101356820B (zh) * | 2006-01-05 | 2011-01-26 | 汤姆森许可贸易公司 | 层间运动预测方法 |
| EP1977608B1 (en) * | 2006-01-09 | 2020-01-01 | LG Electronics, Inc. | Inter-layer prediction method for video signal |
| US8750387B2 (en) | 2006-04-04 | 2014-06-10 | Qualcomm Incorporated | Adaptive encoder-assisted frame rate up conversion |
| US9131164B2 (en) | 2006-04-04 | 2015-09-08 | Qualcomm Incorporated | Preprocessor method and apparatus |
| US8634463B2 (en) | 2006-04-04 | 2014-01-21 | Qualcomm Incorporated | Apparatus and method of enhanced frame interpolation in video compression |
| FR2903556B1 (fr) * | 2006-07-04 | 2008-10-03 | Canon Kk | Procedes et des dispositifs de codage et de decodage d'images, un systeme de telecommunications comportant de tels dispositifs et des programmes d'ordinateur mettant en oeuvre de tels procedes |
| EP1879399A1 (en) * | 2006-07-12 | 2008-01-16 | THOMSON Licensing | Method for deriving motion data for high resolution pictures from motion data of low resolution pictures and coding and decoding devices implementing said method |
| US8233544B2 (en) | 2006-07-13 | 2012-07-31 | Qualcomm Incorporated | Video coding with fine granularity scalability using cycle-aligned fragments |
| KR100809301B1 (ko) * | 2006-07-20 | 2008-03-04 | 삼성전자주식회사 | 엔트로피 부호화/복호화 방법 및 장치 |
| US20080043832A1 (en) * | 2006-08-16 | 2008-02-21 | Microsoft Corporation | Techniques for variable resolution encoding and decoding of digital video |
| US8773494B2 (en) | 2006-08-29 | 2014-07-08 | Microsoft Corporation | Techniques for managing visual compositions for a multimedia conference call |
| US7991236B2 (en) | 2006-10-16 | 2011-08-02 | Nokia Corporation | Discardable lower layer adaptations in scalable video coding |
| US8990305B2 (en) * | 2006-10-18 | 2015-03-24 | Microsoft Corporation | Techniques for virtual conferencing servers |
| EP2082576A4 (en) * | 2006-10-23 | 2011-05-04 | Vidyo Inc | SYSTEM AND METHOD FOR VARIABLE-SCALE VIDEO ENCODING USING TELESCOPIC MODE INDICATORS |
| US20080100694A1 (en) * | 2006-10-27 | 2008-05-01 | Microsoft Corporation | Distributed caching for multimedia conference calls |
| EP1933565A1 (en) * | 2006-12-14 | 2008-06-18 | THOMSON Licensing | Method and apparatus for encoding and/or decoding bit depth scalable video data using adaptive enhancement layer prediction |
| US8199812B2 (en) | 2007-01-09 | 2012-06-12 | Qualcomm Incorporated | Adaptive upsampling for scalable video coding |
| CN100551044C (zh) | 2007-04-06 | 2009-10-14 | 华为技术有限公司 | 实现视频直播的方法、设备及系统 |
| FR2917262A1 (fr) * | 2007-06-05 | 2008-12-12 | Thomson Licensing Sas | Dispositif et procede de codage d'un contenu video sous la forme d'un flux scalable. |
| JP4877090B2 (ja) * | 2007-06-18 | 2012-02-15 | ソニー株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| JP4826546B2 (ja) * | 2007-06-18 | 2011-11-30 | ソニー株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| US8644632B2 (en) * | 2007-06-27 | 2014-02-04 | Thomson Licensing | Enhancing image quality |
| EP2061248A1 (en) * | 2007-11-13 | 2009-05-20 | IBBT vzw | Motion estimation and compensation process and device |
| US8126054B2 (en) * | 2008-01-09 | 2012-02-28 | Motorola Mobility, Inc. | Method and apparatus for highly scalable intraframe video coding |
| US8249142B2 (en) * | 2008-04-24 | 2012-08-21 | Motorola Mobility Llc | Method and apparatus for encoding and decoding video using redundant encoding and decoding techniques |
| US8401075B2 (en) * | 2008-12-31 | 2013-03-19 | General Instrument Corporation | Hybrid video encoder including real-time and off-line video encoders |
| KR101557504B1 (ko) * | 2009-04-13 | 2015-10-07 | 삼성전자주식회사 | 채널 적응형 비디오 전송 방법, 이를 이용한 장치 및 이를 제공하는 시스템 |
| KR101216329B1 (ko) * | 2009-12-16 | 2012-12-27 | 한국전자통신연구원 | 복수 계층 영상의 품질 측정 방법 및 시스템 |
| EP2779655B1 (en) * | 2010-01-06 | 2019-05-22 | Dolby Laboratories Licensing Corporation | Complexity-adaptive scalable decoding and streaming for multi-layered video systems |
| WO2011087963A1 (en) | 2010-01-15 | 2011-07-21 | Dolby Laboratories Licensing Corporation | Edge enhancement for temporal scaling with metadata |
| US8731152B2 (en) | 2010-06-18 | 2014-05-20 | Microsoft Corporation | Reducing use of periodic key frames in video conferencing |
| GB201020424D0 (en) | 2010-12-02 | 2011-01-19 | Qinetiq Ltd | Quantum key distribution |
| US9648322B2 (en) * | 2012-07-10 | 2017-05-09 | Qualcomm Incorporated | Coding random access pictures for video coding |
| JP2015536119A (ja) * | 2012-10-09 | 2015-12-17 | インテレクチュアル ディスカバリー カンパニー リミテッド | マルチレイヤ動画のレイヤ間予測方法およびレイヤ間予測装置 |
| EP2731337B1 (en) | 2012-10-17 | 2017-07-12 | Dolby Laboratories Licensing Corporation | Systems and methods for transmitting video frames |
| KR20140087971A (ko) | 2012-12-26 | 2014-07-09 | 한국전자통신연구원 | 계층적 비디오 부호화에서 다중참조계층을 적용한 화면간 부／복호화 방법 및 그 장치 |
| JP6605789B2 (ja) * | 2013-06-18 | 2019-11-13 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 送信方法、受信方法、送信装置、および、受信装置 |
| WO2015095166A2 (en) * | 2013-12-16 | 2015-06-25 | Arris Enterprises, Inc. | Producing an output need parameter for an encoder |
| JP6497874B2 (ja) * | 2014-08-28 | 2019-04-10 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| US11265553B2 (en) | 2017-09-22 | 2022-03-01 | V-Nova International Limited | Obtaining a target representation of a time sample of a signal |
Family Cites Families (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2551641B2 (ja) * | 1988-10-24 | 1996-11-06 | 日本電信電話株式会社 | 可変レート画像符号化装置および可変レート画像復号化装置 |
| US5001561A (en) * | 1990-05-02 | 1991-03-19 | At&T Bell Laboratories | Embedded coding system for video signals |
| US5528299A (en) * | 1990-10-09 | 1996-06-18 | U.S. Philips Corporation | Coding system for digital signals corresponding to television pictures and corresponding decoding system |
| US5218435A (en) * | 1991-02-20 | 1993-06-08 | Massachusetts Institute Of Technology | Digital advanced television systems |
| US5253056A (en) | 1992-07-02 | 1993-10-12 | At&T Bell Laboratories | Spatial/frequency hybrid video coding facilitating the derivatives of variable-resolution images |
| CA2127151A1 (en) | 1993-09-21 | 1995-03-22 | Atul Puri | Spatially scalable video encoding and decoding |
| US5742892A (en) * | 1995-04-18 | 1998-04-21 | Sun Microsystems, Inc. | Decoder for a software-implemented end-to-end scalable video delivery system |
| US6023301A (en) * | 1995-07-14 | 2000-02-08 | Sharp Kabushiki Kaisha | Video coding device and video decoding device |
| JP3788823B2 (ja) | 1995-10-27 | 2006-06-21 | 株式会社東芝 | 動画像符号化装置および動画像復号化装置 |
| US5852565A (en) * | 1996-01-30 | 1998-12-22 | Demografx | Temporal and resolution layering in advanced television |
| US6173013B1 (en) * | 1996-11-08 | 2001-01-09 | Sony Corporation | Method and apparatus for encoding enhancement and base layer image signals using a predicted image signal |
| CN100579230C (zh) * | 1997-04-01 | 2010-01-06 | 索尼公司 | 图像编码器及其方法、图像译码器及其方法 |
| KR100261253B1 (ko) | 1997-04-02 | 2000-07-01 | 윤종용 | 비트율 조절이 가능한 오디오 부호화/복호화 방법및 장치 |
| IL122714A (en) | 1997-04-02 | 2011-06-30 | Samsung Electronics Co Ltd | Digital data coding/decoding method and apparatus |
| US5973755A (en) * | 1997-04-04 | 1999-10-26 | Microsoft Corporation | Video encoder and decoder using bilinear motion compensation and lapped orthogonal transforms |
| US6057884A (en) * | 1997-06-05 | 2000-05-02 | General Instrument Corporation | Temporal and spatial scaleable coding for video object planes |
| US6229850B1 (en) * | 1997-07-22 | 2001-05-08 | C-Cube Semiconductor Ii, Inc. | Multiple resolution video compression |
| AU1928999A (en) | 1997-12-19 | 1999-07-12 | Kenneth Rose | Scalable predictive coding method and apparatus |
| US6501860B1 (en) * | 1998-01-19 | 2002-12-31 | Canon Kabushiki Kaisha | Digital signal coding and decoding based on subbands |
| US8050329B2 (en) * | 1998-06-26 | 2011-11-01 | Mediatek Inc. | Method and apparatus for generic scalable shape coding |
| US6292512B1 (en) * | 1998-07-06 | 2001-09-18 | U.S. Philips Corporation | Scalable video coding system |
| US6275531B1 (en) | 1998-07-23 | 2001-08-14 | Optivision, Inc. | Scalable video coding method and apparatus |
| US6263022B1 (en) * | 1999-07-06 | 2001-07-17 | Philips Electronics North America Corp. | System and method for fine granular scalable video with selective quality enhancement |
| US6501797B1 (en) * | 1999-07-06 | 2002-12-31 | Koninklijke Phillips Electronics N.V. | System and method for improved fine granular scalable video using base layer coding information |
| US6480547B1 (en) * | 1999-10-15 | 2002-11-12 | Koninklijke Philips Electronics N.V. | System and method for encoding and decoding the residual signal for fine granular scalable video |
-
2000
- 2000-06-09 US US09/590,825 patent/US6639943B1/en not_active Expired - Lifetime
- 2000-11-02 CN CNB008053111A patent/CN1166200C/zh not_active Expired - Fee Related
- 2000-11-02 KR KR1020017009255A patent/KR100758139B1/ko active IP Right Grant
- 2000-11-02 WO PCT/EP2000/010962 patent/WO2001039503A1/en active Application Filing
- 2000-11-02 PL PL00348970A patent/PL348970A1/xx not_active Application Discontinuation
- 2000-11-02 BR BR0007657-0A patent/BR0007657A/pt not_active IP Right Cessation
- 2000-11-02 EP EP00977498A patent/EP1151613B1/en not_active Expired - Lifetime
- 2000-11-02 JP JP2001540526A patent/JP4729220B2/ja not_active Expired - Lifetime
- 2000-11-02 RU RU2001123542/09A patent/RU2294058C2/ru active
- 2000-11-02 TR TR2001/02123T patent/TR200102123T1/xx unknown
- 2000-11-21 MY MYPI20005446A patent/MY125988A/en unknown
Also Published As
| Publication number | Publication date |
|---|---|
| US6639943B1 (en) | 2003-10-28 |
| CN1166200C (zh) | 2004-09-08 |
| EP1151613B1 (en) | 2012-12-26 |
| WO2001039503A1 (en) | 2001-05-31 |
| PL348970A1 (en) | 2002-06-17 |
| KR20010092797A (ko) | 2001-10-26 |
| MY125988A (en) | 2006-09-29 |
| RU2294058C2 (ru) | 2007-02-20 |
| EP1151613A1 (en) | 2001-11-07 |
| BR0007657A (pt) | 2001-11-06 |
| JP2003515987A (ja) | 2003-05-07 |
| KR100758139B1 (ko) | 2007-09-13 |
| CN1355995A (zh) | 2002-06-26 |
| TR200102123T1 (tr) | 2002-01-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4729220B2 (ja) | ハイブリッドな時間的／ｓｎｒ的微細粒状スケーラビリティビデオ符号化 | |
| KR100714696B1 (ko) | 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치 | |
| KR100954816B1 (ko) | 비디오 및 비디오 신호를 코딩하는 방법, 비디오를 코딩하기 위한 장치 및 컴퓨터 판독 가능한 기록 매체, 및 베이스 층 데이터-스트림과 강화층 데이터-스트림을 디코딩하기 위한 방법, 장치 및 컴퓨터 판독 가능한 기록 매체 | |
| US7042944B2 (en) | Single-loop motion-compensation fine granular scalability | |
| US20020037046A1 (en) | Totally embedded FGS video coding with motion compensation | |
| KR20060135992A (ko) | 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치 | |
| US20020037047A1 (en) | Double-loop motion-compensation fine granular scalability | |
| KR20060101131A (ko) | 시간적 레벨간 모션 벡터 예측을 이용한 비디오인코딩/디코딩 방법 및 장치 | |
| KR20020090239A (ko) | 미세한 그레뉼라 스케일러빌리티 비디오 코딩에서확장층에 대한 개선된 예측 구조들 | |
| US20060165303A1 (en) | Video coding method and apparatus for efficiently predicting unsynchronized frame | |
| US20060165301A1 (en) | Video coding method and apparatus for efficiently predicting unsynchronized frame | |
| US20060250520A1 (en) | Video coding method and apparatus for reducing mismatch between encoder and decoder | |
| JP2007507927A (ja) | アドバンスドデータパーティショニングと効率的な空間−時間−ｓｎｒスケーラビリティビデオコーディング及びストリーミングのためのファイン・グラニュラリティ・スケーラビリティとを結合したシステム及び方法 | |
| EP1878252A1 (en) | Method and apparatus for encoding/decoding multi-layer video using weighted prediction | |
| US6944346B2 (en) | Efficiency FGST framework employing higher quality reference frames | |
| EP1479241A1 (en) | Drift minimization in motion-compensated fine granular scalable structures | |
| JP2004509581A (ja) | ダブル・ループ動き補償ファイン・グラニューラ・スケーラビリティ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071101 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20090203 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20090409 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090424 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100713 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101013 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20101109 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110309 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20110318 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110405 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110418 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4729220 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140422 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140422 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140422 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |