JP4885964B2 - チャネル交換フレーム - Google Patents

チャネル交換フレーム Download PDF

Info

Publication number
JP4885964B2
JP4885964B2 JP2008533617A JP2008533617A JP4885964B2 JP 4885964 B2 JP4885964 B2 JP 4885964B2 JP 2008533617 A JP2008533617 A JP 2008533617A JP 2008533617 A JP2008533617 A JP 2008533617A JP 4885964 B2 JP4885964 B2 JP 4885964B2
Authority
JP
Japan
Prior art keywords
version
frame
intra
data
multimedia data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008533617A
Other languages
English (en)
Other versions
JP2009521824A (ja
Inventor
ウォーカー、ゴードン・ケント
ラビーンドラン、ビジャヤラクシュミ・アール.
チェン、ペイソン
ティアン、タオ
シ、ファン
スワジー、スコット・ティー.
オグズ、セイフラー・ハリト
ロハトギ、アミット
ガナパシー、サブラマニア・シタラマン
バーミディパティ、パニクマー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2009521824A publication Critical patent/JP2009521824A/ja
Application granted granted Critical
Publication of JP4885964B2 publication Critical patent/JP4885964B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164Feedback from the receiver or from the transmission channel
    • H04N19/166Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/37Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2383Channel coding or modulation of digital bit-stream, e.g. QPSK modulation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4383Accessing a communication channel
    • H04N21/4384Accessing a communication channel involving operations to reduce the access time, e.g. fast-tuning for reducing channel switching latency
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/631Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Error Detection And Correction (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)

Description

本開示はマルチメディア信号処理に関し、より詳細には、ビデオの符号化および復号に関する。
ビデオ符号器など、マルチメディア処理システムは、Moving Picture Experts Group (MPEG)−1規格、−2規格、および−4規格などの国際規格、国際電気通信連合(ITU)−T H.263規格、およびITU−T H.264規格とその対応規格であるISO/IEC MPEG−4、パート10、すなわち、アドバンスドビデオコーディング(Advanced Video Coding)(AVC)に基づく符号化方法を使用してマルチメディアデータを符号化することができる。かかる符号化方法は、一般に、伝送および/または記憶のためにマルチメディアデータを圧縮することに関する。圧縮は、広くは、データから冗長性を除去するプロセスである。
ビデオ信号は、フレーム(画像全体)、またはフィールド(例えば、インタレースされたビデオ流れ(video stream)は、画像の交互に並ぶ奇数ラインまたは偶数ラインのフィールドを含む)を含む画像の系列の点から説明され得る。本明細書で使用される用語「フレーム」は、画像、フレーム、またはフィールドを指す。ビデオ符号化方法は、各フレームを圧縮するために可逆または不可逆の圧縮アルゴリズムを使用してビデオ信号を圧縮する。(本明細書でイントラ符号化と呼ばれる)フレーム内符号化は、そのフレームだけを使用してフレームを符号化することを指す。(本明細書でインター符号化と呼ばれる)フレーム間符号化は、その他の「参照」フレームに基づいてフレームを符号化することを指す。例えば、ビデオ信号は、多くの場合、その中でフレームの時間的な系列内の互いに近接するフレームが互いに一致するまたはた少なくとも部分的に一致する部分を少なくとも有する時間的な冗長性を示す。
ビデオ符号器などのマルチメディアプロセッサは、フレームをブロック、または、例えば16x16画素の「マクロブロック」に区分化することによってフレームを符号化することができる。符号器は、各マクロブロックをサブブロックにさらに区分化することが可能である。各サブブロックは、追加のサブブロックをさらに含んでもよい。例えば、マクロブロックのサブブロックは、16x8および8x16のサブブロックを含んでもよい。8x16サブブロックのサブブロックは、8x8のサブブロックを含んでよく、以下同様である。本明細書で使用される用語「ブロック」はマクロブロックまたはサブブロックを指す。
符号器は、インター符号化の動き補償ベースのアルゴリズムを使用するこの時間的な冗長性を利用する。動き補償アルゴリズムは、少なくとも部分的にブロックに一致する参照フレームの部分を識別する。ブロックは、参照フレームの一致部分に関連してフレーム内でシフトされることが可能である。このシフトは動きベクトルを特徴とする。ブロックと参照フレームの部分的に一致する部分の間の何らかの違いは、見逃し(residual)の点から特徴づけられることが可能である。符号器は、1つまたは複数の動きベクトルと、フレームの特定の区分化のための見逃しとを備えるデータとしてフレームを符号化することができる。フレームを符号化するためのブロックの特定の区分は、例えば、符号化の結果として生じるフレームのコンテンツに対するひずみにより符号化サイズのバランスを保つ費用関数をほぼ最小限に抑えることによって選択されることが可能である。
インター符号化は、イントラ符号化より多くの圧縮効率を可能にする。しかし、インター符号化は、チャネル誤りなどにより参照データ(例えば、参照フレームまたは参照フィールド)が失われた場合、問題を生み出す可能性がある。誤りによる参照データの損失に加えて、参照データは、インター符号化されたフレームでのビデオ信号の初期の獲得または再獲得により利用不可能になる可能性もある。これらの場合、インター符号化されたデータの復号は可能でない場合があり、または結果として、所望されない誤りおよび誤り伝搬をもたらす可能性がある。これらのシナリオは、結果として、ビデオ流れの同期の損失をもたらす可能性がある。独立して復号可能なイントラ符号化されたフレームは、ビデオ信号の再同期を可能にする最も一般的なフレームの形態である。MPEG−x規格およびH.26x規格は、(I−フレームとも呼ばれる)イントラ符号化フレームと、時間的に予測されたP−フレームまたは画像のグループ(GOP)内のI−フレームおよび/またはPおよび/またはBフレームを参照する双方向予測されたBフレームとを備える画像のグループ(group of pictures)(GOP)として知られているものを使用する。より長いGOPは増加した圧縮用のために所望されるが、より短いGOPはより迅速な獲得と再同期とを可能にする。I−フレームの数を増加することは、より迅速な獲得と再同期とを可能にすることになるが、より低い圧縮を犠牲にする。必要とされることは、圧縮効率を保ちながらビデオ流れの高速獲得と再同期とを可能にする方法である。
(35U.S.C.§119条に基づく優先権主張)
本特許出願は、以下の通し番号を有する4つの米国仮出願の利益を主張するものである。すなわち、2005年9月27日に出願した「A METHOD OF VIDEO COMPRESSION」と題された第60/721,345号、2006年1月20日に出願した「A METHOD OF FAST CHANNEL SWITCHING」と題された第60/760,484号、2006年4月4日に出願した「CHANNEL SWITCH FRAME」と題された第60/789,442号、および2006年9月20日に出願した「CHANNEL SWITCH FRAME」と題された(整理番号050843P3)である。各仮特許出願は、本文書の譲渡人に譲渡され、本文書によって参照により本明細書に明示的に組み込まれている。
発明の概要
本発明のシステム、方法、および装置は各々、いくつかの態様を有し、そのうちその所望される属性に単独で寄与する態様は1つもない。添付の特許請求の範囲によって表明される本発明の範囲を限定せずに、そのより重要な特徴が次に短く議論される。この議論を考慮した後、特に「詳細な説明」と題された項を読んだ後、本発明の例示的特徴が、より高速のチャネル獲得、改善された誤り回復、および改善された効率性を含む利点をどのように提供するかが理解されるであろう。
マルチメディアデータを処理する方法が提供される。この方法は、第1のバージョンを生成するためにインター符号化を使用してマルチメディアデータの第1の部分を符号化することと、第2のバージョンを生成するためにイントラ符号化を使用してマルチメディアデータの第1の部分を符号化することとを含む。
マルチメディアデータプロセッサが提供される。プロセッサは、第1のバージョンを生成するためにインター符号化を使用してマルチメディアデータの第1の部分を符号化するための構成、および第2のバージョンを生成するためにイントラ符号化を使用してマルチメディアデータの第1の部分を符号化するための構成を含む。
マルチメディアデータを処理するための装置が提供される。装置は、第1のバージョンを生成するためにインター符号化を使用してマルチメディアデータの第1の部分を符号化するための第1の符号器と、第2のバージョンを生成するためにイントラ符号化を使用してマルチメディアデータの第1の部分を符号化するための第2の符号器とを含む。
機械読取可能媒体が提供される。機械読取可能媒体は、実行時に、機械に第1のバージョンを生成するためにインター符号化を使用してマルチメディアデータの第1の部分を符号化させ、第2のバージョンを生成するためにイントラ符号化を使用してマルチメディアデータの第1の部分を符号化させる命令を含む。
マルチメディアデータを処理する方法が提供される。この方法は、インター符号化された、マルチメディアデータの第1の部分の第1のバージョンを受信することと、イントラ符号化された、マルチメディアデータの第1の部分の第2のバージョンを受信することと、第1および第2の受信されたバージョンを選択的に復号することとを含む。
マルチメディアデータプロセッサが提供される。プロセッサは、インター符号化された、マルチメディアデータの第1の部分の第1のバージョンを受信し、かつ、イントラ符号化された、マルチメディアデータの第1の部分の第2のバージョンを受信し、第1および第2の受信されたバージョンを選択的に復号するための構成を含む。
マルチメディアデータを処理するための装置が提供される。装置は、インター符号化された、マルチメディアデータの第1の部分の第1のバージョンを受信し、かつ、イントラ符号化された、マルチメディアデータの第1の部分の第2のバージョンを受信する受信機と、第1および第2の受信されたバージョンを選択的に復号するための復号器とを含む。
機械読取可能媒体が提供される。機械読取可能媒体は、実行時に、機械に、インター符号化された、マルチメディアデータの第1の部分の第1のバージョンを受信させ、イントラ符号化された、マルチメディアデータの第1の部分の第2のバージョンを受信させ、第1および第2の受信されたバージョンを選択的に復号させる命令を含む。
デジタルビデオデータを送信するための方法が提供される。この方法は、複数のデジタルビデオチャネルの各々に関してインター符号化されたデジタルビデオフレームを送信することと、チャネルの各々に関してチャネル交換フレームを送信することとを含み、チャネル交換フレームのうちの少なくとも1つが、それぞれのチャネルに関してインター符号化されたフレームのうちの1つに対応するイントラ符号化されたデジタルビデオデータを備える。
デジタルビデオデータを受信するための方法が提供される。この方法は、第1のチャネルに関連するインター符号化されたデジタルビデオデータを備えるインター符号化されたフレームを取得することと、第2のチャネルへの交換要求を受信することと、当該要求に応答して、第2のチャネルのためのインター符号化されたフレームのうちの1つに対応するイントラ符号化されたデジタルビデオデータを備えるチャネル交換フレームを取得することとを含む。
詳細な説明
以下の詳細な説明は、本発明のいくつかの例示的実施形態に関する。しかし、本発明は、特許請求の範囲によって定義および網羅される多数の異なる方法で実施されることが可能である。この説明では、図面の全体にわたって同様の部分が同様の数字により指定される図面が参照される。
ビデオ信号は、一連の画像、フレーム、またはフィールドの点から特徴づけられる。本明細書で使用される用語「フレーム」は、プログレッシブビデオ信号(progressive video signal)またはインタレースされたビデオ信号のフィールドを包括することができる幅広い用語である。
実施形態は、マルチメディア伝送システムにおいて符号器内または復号器内の処理を改善するシステムおよび方法を含む。マルチメディアデータは、動画ビデオ、音声、静止画像、または任意のその他の適切な種類の視聴覚データのうちの1つまたは複数を含んでよい。実施形態は、ビデオデータを符号化する装置および方法を含む。例えば、一態様は、ビデオデータのフレームの第1および第2のバージョンを符号化する方法を含み、バージョンのうちの1つは、ビデオ流れの獲得および/または再同期を可能にする。特に、一態様によれば、ビデオデータの第1のバージョンをインター符号化することと、ビデオデータの第2のバージョンをイントラ符号化することとは、復号装置が第2のバージョンを選択的に復号することを可能にして、適切な場合、獲得を可能にすることが判明している。その他の実施形態は、上の実施形態に従って符号化されたビデオデータを復号する装置および方法を含む。例えば、一態様によれば、インター符号化されたバージョンが依存する参照データが利用可能でない場合、イントラ符号化されたバージョンを選択的に復号することは、復号装置がビデオ流れを獲得および/または再同期することを可能にすることが判明している。特に、ユーザによって理解される品質に著しく影響を与えずに、一態様によれば、ビットレート効率的な方法で、獲得フレームの数の増加を実現することによってユーザ経験が改善され得ることが判明している。
(マルチメディア分布システム)
図1は、一態様によるマルチメディア通信システム100を例示するブロック図である。システム100は、ネットワーク140を経由して復号器装置150と通信する符号器装置110を含む。一例では、符号器装置は外部ソース102からマルチメディア信号を受信して、ネットワーク140上の伝送のためにその信号を符号化する。
この例では、符号器装置110は、メモリ114とトランシーバ116とに結合されたプロセッサ112を備える。プロセッサ112は、マルチメディアデータソースからのデータを符号化して、ネットワーク140上の通信のためにそのデータをトランシーバ116に提供する。
この例では、復号器装置150は、メモリ154とトランシーバ156とに結合されたプロセッサ152を備える。プロセッサ152は、1つまたは複数の汎用プロセッサおよび/またはデジタル信号プロセッサを含んでよい。メモリ154は、固体記憶装置またはディスクベースの記憶装置のうちの1つまたは複数を含んでよい。トランシーバ156は、ネットワーク140上でマルチメディアデータを受信して、それを復号のためにプロセッサ152に提供するように構成される。一例では、トランシーバ156は、無線トランシーバを含む。ネットワーク140は、イーサネット(登録商標)、電話(例えば、POTS)、ケーブル、電線、および光ファイバのシステムのうちの1つまたは複数を備える、1つまたは複数の有線通信システムまたは無線通信システム、および/または符号分割多元接続(CDMAもしくはCDMA2000)通信システム、周波数分割多元接続(FDMA)システム、直交周波数分割多元接続(OFDM)システム、GSM/GPRS(汎用パケット無線サービス(General Packet Radio Service)/EDGE(拡張データGSM環境(enhanced data GSM environment)などの時分割多元接続(TDMA)システム、TETRA(地上基盤無線(Terrestrial Trunked Radio)移動電話システム、広帯域符号分割多元接続(WCDMA)システム、ハイデータレート(high data rate)(1xEV−DOまたは1xEV−DOゴールドマルチキャスト(Gold Multicast))システム、IEEE 802.11システム、メディアフロー(MediaFLO)システム、DMBシステム、またはDVB−Hシステムのうちの1つまたは複数を備える無線システムを含んでよい。
図2Aは、例えば図1で例示されたシステム100のようなシステムで使用され得る符号器装置110の実施形態を例示するブロック図である。この実施形態では、符号器110は、インター符号化符号器エレメント118と、イントラ符号化符号器エレメント120と、参照データジェネレータ(generator)エレメント122と、送信機エレメント124とを含む。インター符号化符号器118は、その他の時間的なフレーム内に配置されたビデオデータのその他の部分を参照して(例えば、動き補償予測を使用して)時間的に予測されたビデオのインター符号化された部分を符号化する。イントラ符号化符号器120は、その他の時間的に配置されたビデオデータを参照せずに、独立して復号され得るビデオのイントラ符号化された部分を符号化する。いくつかの実施形態では、イントラ符号化符号器120は、同じ時間的なフレーム内に配置されたその他のビデオデータ内の冗長性を利用するために空間的な予測を使用することができる。
一態様では、参照データジェネレータ122は、それぞれ、符号器120および118によって生成されたイントラ符号化されたデータとインター符号化されたデータとがどこに配置されるかを示すデータを生成する。例えば、参照データは、フレーム内の位置を突き止めるために復号器によって使用されるサブブロックおよび/またはマクロブロックの識別子を含んでよい。参照データはまた、ビデオフレーム系列内のフレームの位置を突き止めるために使用されるフレーム系列番号を含んでもよい。
送信機124は、インター符号化されたデータと、イントラ符号化されたデータと、いくつかの実施形態では、参照データとを、図1のネットワーク140などのネットワーク上で送信する。データは1つまたは複数の通信リンク上で送信されることが可能である。用語「通信リンク」は一般的な意味で使用され、有線ネットワークまたは無線ネットワーク、仮想チャネルなどを含むがこれらに限定されない任意のチャネルを含んでよい。いくつかの実施形態では、イントラ符号化されたデータは基層通信リンク上で送信され、インター符号化されたデータは拡張層通信リンク上で通信される。いくつかの実施形態では、イントラ符号化されたデータとインター符号化されたデータとは、同じ通信リンク上で送信される。いくつかの実施形態では、インター符号化されたデータ、イントラ符号化されたデータ、および参照データのうちの1つまたは複数は、側波帯(sideband)通信リンク上で通信され得る。例えば、H.264の付加拡張情報(Supplemental Enhancement Information)(SEI)メッセージまたはMPEG−2のuser_dataメッセージなどの側波帯通信リンクが使用され得る。いくつかの実施形態では、イントラ符号化されたデータ、インター符号化されたデータ、および参照データのうちの1つまたは複数は、仮想チャネル上で送信される。仮想チャネルは、仮想チャネルに属するものとしてデータパケットを識別する識別可能なパケットヘッダを含むデータパケットを備えてよい。周波数分割、時分割、コード拡散(code spreading)など、仮想チャネルを識別するその他の形態が当技術分野で知られている。
いくつかの実施形態では、図2Aの符号器110の1つまたは複数のエレメントは、再配置および/または組み合わされることが可能である。エレメントは、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコードまたはそれらの任意の組合せによって実施されてよい。符号器110のエレメントによって実行される動作の詳細は、下の図3で例示される方法を参照して議論される。
図2Bは、図1で例示されたシステム100などのシステムで使用され得る復号器装置150の実施形態を例示するブロック図である。この実施形態では、復号器150は、受信機エレメント158と、選択的な符号器エレメント160と、参照データ決定機構(determiner)エレメント162と、チャネル交換検出器エレメント164および誤り検出器エレメント166など、1つまたは複数の参照データ利用可能性検出器とを備える。
受信機158は、符号化されたビデオデータ(例えば、図1および図2Aの符号器110によって符号化されたデータ)を受信する。受信機158は、図1のネットワーク140など、有線ネットワークまたは無線ネットワーク上で符号化されたデータを受信することができる。データは、1つまたは複数の通信リンク上で受信され得る。いくつかの実施形態では、イントラ符号化されたデータは基層通信リンク上で受信され、インター符号化されたデータは拡張層通信リンク上で受信される。いくつかの実施形態では、イントラ符号化されたデータとインター符号化されたデータとは、同じ通信リンク上で受信される。いくつかの実施形態では、インター符号化されたデータ、イントラ符号化されたデータ、および参照データのうちの1つまたは複数は、側波帯通信リンク上で受信されることが可能である。例えば、H.264の付加拡張情報(SEI)メッセージまたはMPEG−2のuser_dataメッセージなどの側波帯通信リンクが使用され得る。いくつかの実施形態では、イントラ符号化されたデータ、インター符号化されたデータ、および参照データのうちの1つまたは複数は、仮想チャネル上で受信される。仮想チャネルは、仮想チャネルに属するものとしてデータパケットを識別する識別可能なパケットヘッダを含むデータパケットを備えてよい。仮想チャネルを識別するその他の形態が当技術分野で知られている。
選択的な復号器160は、受信されたインター符号化およびイントラ符号化されたビデオデータを復号する。いくつかの実施形態では、受信されたデータは、ビデオデータの部分のインター符号化されたバージョンと、ビデオデータの部分のイントラ符号化されたバージョンとを含む。インター符号化されたデータは、それに基づいてインター符号化されたデータが予測された参照データが復号された後で復号されることが可能である。例えば、動き補償予測を使用して符号化されたデータは、動きベクトルと、参照データの位置を識別するフレーム識別子とを含む。動きベクトルとインター符号化されたバージョンのフレーム識別子とによって識別されたフレームの部分が利用可能である(例えば、すでに復号されている)場合、選択的な復号器160は、インター符号化されたバージョンを復号することができる。しかし、参照データが利用可能でない場合、選択的な復号器160はイントラ符号化されたバージョンを復号することができる。
一態様では、参照データ決定機構162は、受信された符号化されたビデオされたデータ内のどこにイントラ符号化されたデータとインター符号化されたデータとが配置されているかを示す受信参照データを識別する。例えば、参照データは、フレーム内の位置を突き止めるために選択的な復号器160によって使用されるサブブロックおよび/またはマクロブロックの識別子を含んでよい。参照データはまた、ビデオフレーム系列内のフレームの位置を突き止めるために使用されるフレーム系列番号を含んでもよい。この受信参照データを使用することは、復号器が、インター符号化されたデータが依存する参照データが利用可能であるかどうかを決定することを可能にする。
参照データの利用可能性は、多重チャネル通信システムのチャネルを交換するユーザによって影響を受ける可能性がある。例えば、多重ビデオブロードキャストが受信機158に利用可能であってよい。ユーザが異なるブロードキャストチャネルに変更するよう受信機158に命令する場合、新しいチャネルに関するインター符号化されたデータのための参照データは速やかに利用可能でない可能性がある。チャネル交換検出器164は、チャネル交換コマンドが発行されたことを検出して、選択的な復号器160に信号を送る。選択的な復号器160は、次いで、インター符号化されたバージョンの参照データが利用不可能であるかどうかを識別するために参照データ決定機構から取得した情報を使用し、次いで、最も近いイントラ符号化されたバージョンの位置を識別して、識別されたイントラ符号化されたバージョンを選択的に復号する。
参照データの利用可能性は、受信されたビデオデータ内の誤りによって影響を受ける可能性もある。誤り検出器166は、ビットストリーム内の訂正不可能な誤りを識別するために、誤り検出技術を使用する(例えば、誤り訂正を転送する)ことが可能である。インター符号化されたバージョンが依存する参照データ内に訂正不可能な誤りが存在する場合、誤り検出器166は、どのビデオデータが誤りの影響を受けるかを識別して、選択的な復号器160に信号を送ることができる。選択的復号器160は、次いで、(例えば、参照データが利用可能である場合)インター符号化されたバージョンを復号するかまたは(参照データが利用可能でない場合)イントラ符号化されたバージョンを復号するかを決定することが可能である。
いくつかの実施形態では、図2Bの復号器150の1つまたは複数のエレメントは、再配置および/または組み合わされることが可能である。エレメントは、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、またはそれらの任意の組合せによって実施されてよい。復号器110のエレメントによって実施される動作の詳細は、下に図7で例示される方法を参照して議論される。
(交換フレーム符号化方法)
図3Aは、図1で例示されたようなシステムでビデオ流れの部分を符号化する方法の例を示す流れ図である。この例では、方法は、マルチメディアデータの部分の複数のバージョンを生成し、バージョンのうちの1つは、マルチメディアデータの部分の少なくとも部分的な獲得および/または再同期を可能にする。部分的な獲得を可能にするバージョンは、上で議論されたイントラ符号化されたデータなど、独立して復号することが可能である。予測的なインター符号化は、インター符号化の圧縮効率性の増加を利用するために、バージョンのうちの1つに関して使用されることが可能である。一態様では、図3Aの方法は、ビデオビットストリーム内にランダムアクセスポイントを提供する効率的な方法を実現する。より多いランダムアクセスポイントは、ユーザが受信装置にチャネルを交換するよう命令する場合など、チャネルが開始される場合、チャネルのより高速な獲得を可能にする。より多いランダムアクセスポイントはまた、誤りまたは信頼性のないチャネル条件によりビデオビットストリームの同期が失敗である場合、より高速な再同期も可能にする。
図3Aを参照すると、方法200は、符号化装置がマルチメディアデータの部分の第1および第2のバージョンを生成し、バージョンのうちの1つが少なくとも部分的な獲得を可能にするブロック202で始まる。例示のためだけに、第2のバージョンは、部分的な獲得を可能にすると想定されることになる。この例では、部分的な獲得は、イントラ符号化されたフレームまたはフレーム内のイントラ符号化されたブロックによって、その他のマルチメディアデータを参照せずに、フレームの部分の第2のバージョンを独立して復号することが可能であることを指す。第2のバージョンが表すフレームの部分がフレーム全体である場合、フレームの完全な獲得が可能になる。部分的な獲得は、その他のあらかじめ復号されたまたは復号されることになるマルチメディアを参照せずに、フレームのデータ部分を復号することが可能であることを指す。例えば、上で議論されたイントラ符号化は、独立して復号可能であり、したがって、獲得を可能にする。マルチメディアデータの部分は、フレーム全体であってよく、またはフレームのフィールドであってもよい。一例では、図1および/または図2Aの符号化装置110は、ブロック202で第1および第2のバージョンを生成する。
方法200は、符号化装置が第1および第2のバージョンに関して情報を生成するオプションのブロック204に進む。一態様では、生成された情報は、冗長的なマルチメディアデータの第2のバージョンが利用可能であることを示すデータと、第1および第2のバージョンによって表されるマルチメディアデータの部分がどこに配置されるかを示すデータとを含む。例えば、参照データは、フレーム内の位置を突き止めるために復号器によって使用されるサブブロックおよび/またはマクロブロックの識別子を含んでよい。参照データはまた、ビデオフレーム系列内のフレームの位置を突き止めるために使用されるフレーム数を含んでもよい。一例では、図2Aの参照データジェネレータ122は、ブロック204で情報を生成する。いくつかの実施形態では、この例で、オプションのブロック204の動作は省略されてもよい。例えば、所定のフレーム番号およびまたはマクロブロックもしくはサブブロックの所定の系列は、ビットストリームの一定期間に一定のフレーム部分に関して第1および第2のバージョンが受信されることになることを復号器装置が事前に知るように周期的に生成されてよい。
オプションのブロック206に移ると、符号化装置は、第1および第2のバージョンと、オプションで、ブロック204で生成された参照データ情報とを送信する。データは、1つまたは複数の通信リンク上で送信されてよい。いくつかの実施形態では、符号化されたデータの第2のバージョン(この例では、獲得を可能にするバージョン)は基層通信リンク上で送信され、符号化されたデータの第2のバージョンは拡張層通信リンク上で送信される。いくつかの実施形態では、第1および第2のバージョンは同じ通信リンク上で送信される。いくつかの実施形態では、第1のバージョン、第2のバージョン、および参照データのうちの1つまたは複数は、側波帯通信リンク上で通信され得る。いくつかの実施形態では、第1のバージョン、第2のバージョン、および参照データのうちの1つまたは複数は、仮想チャネル上で送信される。仮想チャネルは、仮想チャネルに属するものとしてデータパケットを識別する識別可能なパケットヘッダを含むデータパケットを含んでよい。仮想チャネルを識別するその他の形態が当技術分野で知られている。図2Aの送信機124は、オプションのブロック206で送信動作を実行することが可能である。
実施形態に応じて、本明細書で説明される方法のいずれかの一定の動作または事象は、異なる順序で実行されてよく、加えられ、合併され、または全部省略されてもよい(例えば、説明されるすべての動作または事象が方法の実施にふさわしいとは限らない)点を理解されたい。さらに、いくつかの実施形態では、動作または事象は、順次にではなくて、例えば、マルチスレッド処理、割込み処理、または複数のプロセッサを介して同時に実行されてよい。
図3Bは、図3Aで例示された方法のブロック202の例をより詳細に示す流れ図である。特に、図3Aのブロック202は、2つのブロック210および212を含んで示される。ブロック210で、マルチメディアの第1のバージョンは、インター符号化を使用して符号器装置によって生成される。インター符号化は、動き補償予測であってよい。図2Aのインター符号化符号器118は、ブロック210でインター符号化を実行することができる。ブロック212で、マルチメディアの第2のバージョンは、イントラ符号化を使用して符合器装置によって生成される。これにより、第2のバージョンは独立して復号されることが可能であり、それにより、獲得および/または再同期を可能にする。図2Aのイントラ符号化符号器120は、ブロック212でイントラ符号化を実行することができる。
図4は、図3Aおよび特に図3Bで例示された方法を使用して符号化されたビデオ流れの部分をグラフィックで例示する。例は、S1からS7とラベルづけされたソースフレームを含むソースビデオ系列400の部分を例示する。ソース系列400は、図3Bの方法200を実行する符号器装置が圧縮しているマルチメディアデータを表す。例は、E1からE7とラベルづけされた符号化されたフレームを含む符号化された系列410も含む。符号化されたフレームは、様々なインター符号化および/またはイントラ符号化技術によって符号化されたそれぞれのソースフレームの圧縮バージョンを表す。例えば、符号化されたフレームE1は、ビデオ系列の開始時にまたは場面(scene)の変更時に生じる可能性があるような、ソースフレームS1のイントラ符号化されたバージョンであってよい。符号化された系列410内のその他の符号化されたフレームは、矢印412、414、および416によって例示されたように、系列410内のその他のフレームから予測されるインター符号化された部分を含む。例えば、ソースフレームS5を表すフレームE5は、矢印416によって例示されるように、符号化されたフレームE3の部分を指す動きベクトルを含むP−フレームとして示される。ソースフレームS4を表すフレームE4は、それぞれ、矢印414および412によって例示されたように、符号化フレームE3およびE5の部分を指す動きベクトルを含むB−フレームとして例示される。フレームは2つ以上の種類のインター符号化および/またはイントラ符号化された部分を含んでもよい点に留意されたい。例えば、矢印416によって示されたように、P−フレームとして示される符号化されたフレームE5は、イントラ符号化された部分と、もう1つのフレームから予測された部分と、複数のフレームから予測された部分(例えば、双方向予測された部分)とを含んでもよい。
符号化されたフレーム系列410は、インター符号化された部分が依存するすべての参照フレームが受信された場合、正常に復号されることが可能である。ネットワークを通した伝送の間に導入された誤りは、インター符号化された部分の復号を妨げる場合があり、またはそれを不可能にする場合がある。加えて、符号化されたフレームE1(この例では、イントラ符号化されたフレーム)以外のいずれの時点での(例えば、チャネル交換による)系列410の初期の獲得は、結果として、復号された誤ったマルチメディアデータをもたらす可能性がある。例えば、誤った参照データおよび/または初期の獲得により、符号化された系列410の再同期を可能にするために、ソースフレームS3の第2のバージョン、すなわち、フレーム420が符号化される。この例では、フレーム420は、図3Bの方法においてブロック212で符号化されたマルチメディアデータの第2のバージョンであり、符号化されたフレームE3はブロック210で符号化されたマルチメディアデータの第1のバージョンである。この例では、フレーム420は完全にイントラ符号化されており、したがって、完全に独立して復号され得る。復号器装置は、符号化されたフレームE3を復号するために参照データが利用可能であるかどうかを決定することが可能であり、利用可能である場合、フレーム420は破棄されてよい。しかし、フレームE3が依存する参照データが欠けている場合、符号化されたフレームE3の代わりにフレーム420が復号され得る。これは、誤って受信された参照データによって中断された既存のビデオ系列の再同期のために、または新しいチャネルの獲得のために実行されることが可能である。一般性を失わずに、交換フレームはチャネル交換以外の(例えば、誤り伝搬を停止する、再同期を可能にする、または高速の早送りもしくは巻戻しを可能にする)目的で使用されることが可能であるという理解の下で、この例ではブロック212で符号化された、第2のバージョンを表すフレーム420などのフレームは、本明細書で交換フレームと呼ばれることになる。
交換フレーム420がフレームE3の代わりに復号される場合、フレームE3に依存する、符号化された系列410内の後続のフレームは、フレーム420を参照して復号され得る。例えば、符号化されたフレームE5は、矢印416によって示されたように、フレームE3に依存するP−フレームである。フレームE5は、破線矢印422によって例示されたように、復号された交換フレーム420を参照することによって復号され得る。同様に、B−フレームE4は、破線矢印424によって示されたように、交換フレーム420を参照することによって、かつ矢印412によって示されたように、符号化されたフレームE5を参照することによって、復号され得る。フレームE3に依存する、符号化された系列410内のフレームを復号した後(この例では、それらのフレームが交換フレーム420を参照して復号された場合)、系列410内の残りのフレームは、通常の方法で復号されることが可能である。交換フレームは、後続のフレームが交換フレームに先立つ任意のフレームに対する参照を含まないように符号化される。
符号化されたフレームE3は、図4で示された例の説明のために任意に選択された。ビデオ系列内の交換フレームの位置を選択する様々な方法が使用されてよい。これらの方法の詳細は下で議論される。
図4で例示された例は、フレーム全体を含むとして図3Bのブロック212で符号化されたマルチメディアデータの第2のバージョンを示した。しかし、方法200は、フレームの一部だけが第1のバージョンおよび第2のバージョンとして符号化されるその他の例で利用されることが可能である点を理解されたい。これらの例では、第2のバージョンは、第2のバージョンを含むフレームの部分の獲得を可能にする。図3C、図3D、図5、および図6を参照して下で議論される例は、この点を例示する。
図3Cは、図3Aで例示された方法のブロック202のもう1つの例をより詳細に示す流れ図である。特に、図3Aのブロック202は、2つのブロック214および216を含んで示される。ブロック214で、マルチメディアの第1のバージョンは、フレームの第1の部分に関してインター符号化を使用して、かつフレームの第2の部分に関してイントラ符号化を使用して生成される。インター符号化は、動き補償予測であってよい。図2Aのインター符号化符号器118はブロック214でインター符号化を実行することができ、一方、イントラ符号化符号器120はブロック214でイントラ符号化を実行することができる。
ブロック216で、マルチメディアデータの第2のバージョンは、第1の部分に関してイントラ符号化を使用して符合器装置によって生成される。これにより、フレームの第1の部分の第2のバージョンは、独立して復号されることが可能であり、それにより、交換フレームの少なくとも第1の部分の獲得および/または再同期を可能にする。図2Aのイントラ符号化符号器120は、ブロック216でイントラ符号化を実行することができる。イントラ符号化されたバージョンは、ブロック214で符号化された第1のバージョン内で復号器にすでに利用可能であるため、符号器装置は、フレームの1つまたは複数の第2の部分を符号化しないことを選択することができる。しかし、符号器は、例えば、フレームの各領域が符号化される必要がある場合、規格の準拠を維持するために、1つまたは複数の第2の部分を符号化することを選択することができる。いくつかの実施形態では、符号器は、可能な最も少ないビット量を使用してフレームの第2の部分を符号化することを選択することが可能である。これは、利用可能な限り粗い量子化方法を用いた符号化によって、したがって、イントラ符号化された係数を表すために最も少ないビット量を使用して実現され得る。当業者に知られている第2の部分を符号化するその他の方法が使用されてもよい。図3Cの方法を使用する詳細な例が次に議論される。
図5は、図3Aおよび特に図3Cで例示された方法を使用して符号化されたビデオ流れの部分をグラフィックで例示する。例は、S1からS7とラベルづけされたソースフレームを含むソースビデオ系列500の部分を例示する。ソース系列500は、図3Cの方法200を実行する符号器装置が圧縮しているマルチメディアを表す。例は、E1からE7とラベルづけされた符号化されたフレームを含む符号化された系列510も含む。図4を参照して上で議論されたように、符号化された系列510は、I−フレームと、P−フレームと、B−フレームとを含む。P−フレームおよびB−フレームは、矢印512、514、および516によって示されるように、系列510内のその他のフレームの部分から予測される。この例では、フレームE3は、ブロック214で符号化されたマルチメディアデータの第1のバージョンを表す。フレームE3は、526とラベルづけされた区分によって示されるフレームのインター符号化された第1の部分を含む。フレームE3はまた、528とラベルづけされた2つのイントラ符号化された部分も含む。
符号化されたフレーム系列510は、インター符号化された部分が依存するすべての参照フレームが受信された場合、正常に復号されることが可能である。ネットワークを通した伝送の間に導入された誤りまたは新しいビデオチャネルへの交換は、インター符号化された部分の復号を妨げる場合があり、またはそれを不可能にする場合がある。交換フレーム520は、符号化された系列510の再同期を可能にするために使用される。交換フレーム520は、図3Cの方法においてブロック216で符号化されたマルチメディアデータの第2のバージョンである。この例では、交換フレーム520は、独立して復号され得る、1つまたは複数のイントラ符号化された部分530を含む。復号器装置は、符号化されたフレームE3を復号するために参照データが利用可能であるかどうかを判断することができ、参照データが利用可能である場合、フレーム520は破棄されてよい。しかし、フレームE3が依存する参照データが欠けている場合、符号化されたフレームE3の対応するインター符号化された区分526の代わりに、交換フレーム520のイントラ符号化された区分530が復号され得る。符号化されたフレームE3のイントラ符号化された区分528は、独立して復号されて、復号された完全なフレームを形成するために交換フレーム520の復号された部分530と結合されることが可能である。
フレームE3に依存した、符号化された系列510内のイントラ符号化された部分528および530を結合することによって形成されたフレームの後続のフレームは、結合された部分528および530を参照して復号され得る。例えば、符号化されたフレームE5は、矢印516によって示されたように、フレームE3に依存したP−フレームである。フレームE5は、矢印522によって示されたように、復号された交換部分530を参照することによって、かつ矢印516によって示されたように、フレームE3からの復号された部分528を参照することによって復号され得る。同様に、B−フレームE4は、矢印524によって示されたように、復号された交換部分530と、矢印514によって示されたように、フレームE3からの復号された部分528とを参照することによって、かつ矢印512によって示されたように、すでに復号されたフレームE5も参照することによって復号され得る。フレームE3に依存した符号化された系列510内のフレームを復号した後(この例では、それらのフレームが交換部分530および/またはイントラ符号化された部分528を参照して復号された場合)、系列510内の残りのフレームは通常の方法で復号され得る。交換フレームは、後続のフレームが交換フレームに先立つ任意のフレームに対する参照を含まないように符号化される。
交換フレーム520は、符号化されたフレームE3内の区分528に対応する区分532も含む。区分532は、マルチメディアデータの第2のバージョンが生成されるブロック216で符号化されずに残されることが可能である。しかし、これは、H.26xおよびMPEGxなどの規格に準拠しないことになる。一例では、フレームE3のイントラ符号化された部分528は粗く符号化されることが可能であり、一方、交換フレーム520のコロケートされた(collocated)部分532は、密に符号化され得る。このように、符号化されたフレームE3は、依然として、より少ないビット数を用いて符号化されることが可能である。この例では、フレームE3内の粗く符号化された部分528は、密に符号化された部分532に置き換えられることが可能である。もう1つの例では、イントラ符号化された部分528は密に符号化されることが可能であり、一方、交換フレーム520のコロケートされた部分532は粗く符号化されることが可能である。このように、交換フレーム520は、より少ないビット数を用いて符号化され得る。この例では、交換フレーム520内の粗く符号化された部分532は、符号化されたフレームE3の密に符号化された部分528に置き換えられることが可能である。一態様では、これらの例の両方で、粗く符号化された区分は、画像領域のすべてを表して、すべての係数値をゼロに設定するために最も少ないビット数を使用するように、イントラ符号化またはインター符号化されることが可能である。これは、必要となるビット数を削減し、依然として交換フレーム520と符号化されたフレームE3の両方が規格に準拠することを可能にする。
この例のイントラ符号化された部分528が真に独立して復号され得るために、当該部分は、フレームE3内のインター符号化された部分526に依存しないようにイントラ符号化されなければならない。例えば、いくつかのイントラ符号化は、画素の隣り合うブロックに依存する空間的予測を利用する。インター符号化された部分526が、誤りによりまたはチャネル交換条件により利用可能でない可能性があるもう1つのフレームに依存する場合、部分526は復号可能でない可能性があり、したがって、部分526に依存するいずれのイントラ符号化された部分528も適切に復号可能でないことになる。
図3Dは、図3Aで例示された方法のブロック202のもう1つの例をより詳細に示す流れ図である。特に、図3Aのブロック202は2つのブロック218および220を含んで示される。ブロック218で、マルチメディアデータの第1のバージョンは、第1のフレームの第1の部分に関してインター符号化を使用して符号器装置によって生成される。インター符号化は、動き補償予測であってよい。図2Aのインター符号化符号器118は、ブロック218でインター符号化を実行することができる。第1のフレームの1つまたは複数の部分は、インター符号化および/またはイントラ符号化によって符号化されることが可能であるが、この例では、第1のフレームの第2の部分の符号化の種類は重要ではない。またブロック218で、1つまたは複数の第2の部分は、ビデオフレーム系列内の1つまたは複数の後続のフレーム内でイントラ符号化される。イントラ符号化符号器120は、ブロック218でイントラ符号化を実行することができる。
ブロック220で、マルチメディアデータの第2のバージョンは、交換フレームの第1の部分に関してイントラ符号化を使用して符号器装置によって生成される。これにより、交換フレームの第1の部分の第2のバージョンは、独立して復号されることが可能であり、それにより、少なくとも第1の部分の獲得および/または再同期を可能にする。図2Aのイントラ符号化符号器120は、ブロック220でイントラ符号化を実行することができる。イントラ符号化されたバージョンは、ブロック214で符号化された第1のバージョンの後続のフレーム内で復号器に利用可能であるため、符号器装置は、交換フレームの1つまたは複数の第2の部分を符号化しないことを選択することができる。しかし、符号器は、例えば、フレームの各領域が符号化される必要がある場合、規格の準拠を維持するために、1つまたは複数の第2の部分を符号化することを選択することができる。いくつかの実施形態では、符号器は、可能な最も少ないビット量を使用して交換フレームの1つまたは複数の第2の部分を符号化することを選択することが可能である。これは、利用可能な限り粗い量子化方法を用いた符号化によって、したがって、イントラ符号化された係数を表すために最も少ないビット量を使用して実現され得る。当業者に知られている第2の部分を符号化するその他の方法が使用されてもよい。図3Dの方法を使用する詳細な例が次に議論される。
図6は、図3Aおよび特に図3Dで例示された方法を使用して符号化されたビデオ流れの部分をグラフィックで例示する。例は、S1からS7とラベルづけされたソースフレームを含むソースビデオ系列600の部分を例示する。ソース系列600は、図3Dの方法200を実行する符号器装置が圧縮しているマルチメディアデータを表す。例はまた、E1からE7とラベルづけされた符号化されたフレームを含む符号化された系列610も含む。図4を参照して上で議論されたように、符号化された系列610は、I−フレームと、P−フレームと、B−フレームとを含む。P−フレームおよびB−フレームは、矢印612、614、および616によって示されたように、系列610内のその他のフレームの部分から予測される。この例では、フレームE3は、ブロック218で符号化されたマルチメディアデータの第1のバージョンを表す。フレームE3は、626とラベルづけされた区分によって示された、ブロック218で符号化された第1のバージョンのインター符号化された第1の部分を含む。フレームE3は、628Aおよび629Aとラベルづけされた2つの第2の部分も含む。この例の場合、第2の部分628Aおよび692Aはインター符号化される。
符号化されたフレーム系列610は、この例では、それぞれ、イントラ符号化された部分628Bおよび629Bを含むフレームE5およびE6も含む。イントラ符号化された部分628Bおよび629Bは、ブロック218でイントラ符号化された第2の部分を表す。部分628Bおよび629Bは、フレームE3内の部分628Aおよび629Aを有するそれらのそれぞれのフレームの対応する領域内でコロケートされる。
符号化されたフレーム系列610は、インター符号化された部分が依存するすべての参照フレームが受信された場合、正常に復号されることが可能である。ネットワークを通した伝送の間に導入された誤りまたは新しいビデオチャネルへの交換は、インター符号化部分の復号を妨げる場合があり、またはそれを不可能にする場合がある。交換フレーム620は、符号化された系列610の再同期を可能にするために使用され得る。交換フレーム620は、図3Dの方法においてブロック220で符号化されたマルチメディアデータの第2のバージョンを含む。この例では、交換フレーム620の第1のバージョンは、独立して復号され得る、1つまたは複数のイントラ符号化された部分630を含む。部分630は、フレームE3内のインター符号化された部分626を有するフレームの領域内でコロケートされる。復号器装置は、符号化されたフレームE3の復号のために参照データが利用可能であるかどうかを決定することができ、参照データが利用可能である場合、フレーム620は破棄されてよい。しかし、フレームE3が依存する参照データが欠けている場合、符号化されたフレームE3の対応するインター符号化された区分626の代わりに交換フレーム620のイントラ符号化された区分630が復号され得る。符号化されたフレームE3のインター符号化された部分628Aおよび629Aは、それらが依存する参照データも復号器装置にとって利用可能でない場合、復号可能でない可能性がある。この状況では、部分628Aおよび629Aに対応するフレームの領域の復号は、遅延され、または独立して復号され得るフレームE5およびE6の後に受信されたイントラ符号化された領域628Bおよび629Bにより封じ込め(例えば、置き換え)られ、この場合、復号された完全なフレームを形成するために、交換フレーム620の復号された区分630と結合することが可能である。もう1つの例では、交換フレーム620の符号化された部分632は、復号されて、交換フレーム620のイントラ符号化された部分630により表示されることが可能である。
フレームE3の後続のフレームおよび交換フレーム620のインター符号化された部分は、区分630および632を参照して復号され得る。区分632は、区分632が置き換えた区分628Aおよび629Aと同じ画像品質を有さない可能性があるため、区分632を参照するインター符号化された部分は、何らかの誤りを示す可能性がある。しかし、区分628Bおよび629Bは、フレームE5およびE6のコロケートされた区分内にあるため、劣化した画像は、短期間の間、表示されることになり、3個のフレームが表示される時間だけ存続する。フレームレートが毎秒30個のフレームである場合、3個のフレームを表示するには10分の1秒だけかかる。フレームE3に依存する符号化された系列610内のフレームを復号した後(この例では、それらのフレームが交換フレーム620を参照して復号された場合)、系列610内の残りのフレームは、通常の方法で復号され得る。チャネル交換条件が発生し、かつ交換フレーム620が、表示されることになる第1のフレームであるもう1つの例では、フレームの表示は、すべてのイントラ符号化された区分630、628Bおよび629Bが利用可能になるまで表示されることが可能である。この状況では、フレームE4およびE5のインター符号化された区分は、交換フレーム620を参照して復号され、次いで、符号化された系列610内のその他のフレームに関して参照データとして使用されることが可能であるが、必ずしも表示されるとは限らない。第1の獲得されたフレームの表示は、フレームE6が復号されるまで遅延されることが可能である。
図5の区分532を参照して上で議論されたように、マルチメディアデータの第2のバージョンが生成された場合、区分632はブロック220で符号化されずに残されることが可能である。しかし、これは、H.26xおよびMPEGxなどの規格に準拠しないことになる。一例では、部分628Aおよび629Aは粗く符号化されることが可能であり、一方、交換フレーム620のコロケートされた部分632は密に符号化されることが可能である。このように、符号化されたフレームE3は、依然として、より少ないビット数を用いて符号化されることが可能である。この例では、フレームE3内の粗く符号化された部分628Aおよび629Aは、密に符号化された部分632に置き換えられることが可能である。もう1つの例では、イントラ符号化された部分628Bおよび629Bは密に符号化されることが可能であり、一方、交換フレーム620のコロケートされた部分632は粗く符号化されることが可能である。このように、交換フレーム620は、より少ないビット数により符号化されることが可能である。この例では、交換フレーム620内の粗く符号化された部分632は、それぞれ符号化されたフレームE5およびE6の密に符号化された部分628Bおよび629Bに置き換えられることができる。一態様では、これらの例の両方で、粗く符号化された区分は、画像領域のすべてを表して、すべての係数値をゼロに設定するために最も少ないビット数を使用するように、イントラ符号化またはインター符号化されることが可能である。これは、必要となるビット数を削減し、依然として交換フレーム620および符号化されたフレームE3の両方が規格に準拠することを可能にする。交換フレーム620内のインター符号化された部分632を使用する場合、インター符号化された部分が参照データなしに復号可能でない場合、かかるインター符号化された部分を覆い隠すために、いくつかの形態の空間的な誤り封じ込めが復号器装置によって使用され得る。交換フレーム620のより低い品質領域を参照するフレームE5でインター符号化された部分により導入された誤りの伝播を防ぐために、例えば、この例のイントラ符号化された部分628Bおよび629Bは、それらのそれぞれのフレームE5およびE6のインター符号化された部分に依存しないようにイントラ符号化されることが可能である。
図3A、図3B、図3C、および図3Dの符号化方法は、誤りの伝播を止めるため、かつ効率的なチャネル交換を可能にするために使用され得る、チャネル交換フレームを符号化するための方法の例である。チャネル交換フレームの頻繁な発生は、誤りの伝播を止めるため、および高速のチャネル交換または獲得を可能にするための両方に所望される。2秒以下のチャネル交換遅延はユーザ経験全体を改善することが知られている。
一例では、チャネル交換フレームは、少なくとも毎秒1回符号化されて、スーパーフレームと呼ばれるフレームのグループに関連づけられ、スーパーフレームは1秒続く。フレームレートが毎秒30個のフレームである場合、スーパーフレームは30個のフレームを含むことになる。しかし、スーパーフレームは、任意の数のフレームおよび/または任意の長さの時間を含んでもよい。例えば、スーパーフレームは、N個のフレームを含んでよく、Nは約1から約100、またはそれ以上に及ぶ整数である。一態様では、交換フレームは、スーパーフレームの最初に配置される。もう1つの態様では、符号器が、スーパーフレーム内のフレームはイントラ符号化されるべきであると決定した場合(例えば、場面の変更の場合)、このフレームは交換フレームと指定され得る。符号器は、スーパーフレームが1つだけの交換フレームを有するように限定することができ、そうでなければ、複数の交換フレームは1つのスーパーフレーム内で符号化され得る。交換フレームが誤り伝播を止めるために、当該フレームは、系列内の後続のフレームが、系列内の交換フレームに先立つフレームを参照しない、IDR(復号動作の瞬時リフレッシュ(instantaneous decoding refresh))画像として符号化されることが可能である。これにより、交換フレームの後のフレームは、交換フレームの前のフレームから独立して復号され得る。
符号器が、スーパーフレーム内に(例えば、場面の変更の理由で)I−フレームは不要であることを決定するもう1つの例では、追加のフレームまたは冗長的なフレームが交換フレームとして符号化される。この冗長的な交換フレームは、スーパーフレーム内の第1のフレームであってよい。いくつかの例では、変更フレームは(例えば、図3Cおよび図3Dで示された方法を使用して)P−フレームまたはB−フレームがイントラ符号化された部分のより大きな割合を含む、フレームの系列内の位置に配置されることができる。
もう1つの例では、交換フレームはスーパーフレームの第1のP−フレームによりコロケートされる。一態様では、スーパーフレームの第1のインター符号化されたP−フレームおよび/またはB−フレームは、もう1つのスーパーフレーム内のフレームを参照して符号化されることが可能であり、一方、スーパーフレーム内のすべてのその他のインター符号化されたフレームは、その他のスーパーフレーム内のデータを参照しないように符号化される。この方法は、チャネル交換が実施されていようとなかろうとかつ/または先のスーパーフレーム内に誤りが存在していようとなかろうと、ビデオ系列の復号において高い動作可能な効率性を可能にする。チャネル交換事象または誤りが検出されない場合、インター符号化された第1のバージョンだけを復号および表示して、交換フレームを破棄することは有利であることが多い。イントラ符号化されたフレームを毎秒表示することは、表示されたビデオの脈動(pulsating)効果をもたらす可能性がある。この符号化方法および関連する復号方法は、基層および拡張層による拡張性のある符号化の例に関連するため、これらの方法の詳細は、図8を参照して下で議論される。上で議論された符号化された交換フレームに関連する復号方法が次に議論される。
(交換フレーム復号方法)
図7Aは、図1で例示されたようなシステムでビデオ流れの部分を復号する方法300の一例を示す流れ図である。図1および図2Bの復号器装置150などの復号器装置は、方法300のすべてまたは一部を実行することができる。ブロック302で、復号器装置は、マルチメディアデータの第1の部分の第1のバージョンを受信する。この例では、第1のバージョンは、図2Aで符号器装置110のインター符号化符号器エレメント118によって生成されたような、インター符号化されたバージョンである。インター符号化された第1のバージョンは、マルチメディアデータの全フレームまたは複数のマクロブロック、および/またはサブブロックなどの部分的なフレームを含んでもよい。
ブロック304に進むと、復号器装置は、マルチメディアデータの第1の部分の第2のバージョンを受信する。この例では、第2のバージョンは、図2Aで例示されたイントラ符号化符号器エレメント120によって生成されたような、マルチメディアデータの第1の部分のイントラ符号化されたバージョンである。第2のバージョンは、マルチメディアデータの全フレームまたは複数のマクロブロックおよび/またはサブブロックなどの部分的なフレームを含んでもよい。第2のバージョンは、図3A、図3B、図3C、および図3Dで示された例示的な方法などの方法によって符号化されたような交換フレームである。図2Bで例示される復号器装置150の受信機エレメント158は、ブロック302および304の受信動作を実行することができる。
マルチメディアデータの第1の部分の第1のインター符号化されたバージョンと第2のイントラ符号化されたバージョンとを受信した後、復号器装置は、ブロック306で第1および/または第2のバージョンを選択的に復号する。通常の復号モードで、復号器装置は、ブロック302で受信された第1のインター符号化されたバージョンを首尾よく復号することができる。この場合、ブロック304で受信された第2のバージョンは破棄されてよい。しかし、状況によっては、復号器は(例えば、ユーザのチャネル交換要求の後)インター符号化されたデータの第1のバージョンの一部またはすべてを復号することができない可能性があり、復号器装置はイントラ符号化されたマルチメディアデータの第2のバージョンの一部またはすべてを選択的に復号することが可能である。図2Bの選択的な復号器エレメント160は、ブロック306の選択的な復号動作を実行するために使用され得る。
図7Bは、図7Aで例示された方法の部分の例をより詳細に示す流れ図である。詳細には、ブロック306の選択的な復号動作を実行する方法の例が示される。復号器装置は、決定ブロック308で、第1のインター符号化されたバージョンが依存する参照データが利用可能であるかどうかを決定する。参照データが利用可能である場合、方法はブロック310に進み、復号器装置はマルチメディアデータの第1のインター符号化されたバージョンを復号する。インター符号化された第1のバージョンが首尾よく復号された場合、復号器装置はイントラ符号化されたデータの第2のバージョンを破棄することができる。ユーザがチャネル交換を要求した場合など、参照データが利用可能でない場合、方法はブロック312に進み、復号器装置は第2のイントラ符号化されたバージョンを復号する。
一態様では、復号器装置は、受信されているビデオ流れの初期の獲得を実行して、チャネル交換モードで動作することが可能である。このモードでは、復号器装置は、ブロック312でマルチメディアデータの第1の部分の第2のバージョンを選択的に復号することができる。第2のバージョンはイントラ符号化されたデータであるため、復号器装置は、その他のフレームからの何らの参照データなしに当該データを復号することができる。インター符号化されたデータの第1のバージョンは、復号のために利用不可能な参照マルチメディアデータに依存する可能性があるため、インター符号化されたデータの第1のバージョンはこのチャネル交換条件で復号可能でない可能性がある。図2Bの復号器装置150のチャネル交換検出器164は、チャネル交換コマンドを検出し、それにより、復号器装置に次の交換フレームを探させる。
もう1つの態様では、復号器装置は、図2Bで示される誤り検出器166を使用して参照データ内の誤りを検出することができる。誤り検出器166は、様々な誤り検出および/または訂正方式のうちの1つまたは複数を実行するように構成される。符号化されたデータは、誤り耐性を提供するために様々な方式を含んでよい。無線および/または有線ネットワークなど、誤りを起こしやすいチャネルは、復号器によって受信されたビットストリーム内に誤りを導入する可能性がある。かかる誤り耐性方式は、誤り制御符号化方式、インタリービング方式、および当業者に知られているその他の方式のうちの1つまたは複数を含んでよい。誤り検出器166は、誤りの検出と訂正とを可能にする対応する誤り復号構成エレメントを含む。ネットワーク上で導入されるいくつかの誤りは、誤り検出器166によって訂正可能でない場合がある。訂正可能でないそれらの誤りの場合、復号器装置は、インター符号化されたどのマルチメディアデータが誤ったデータに依存するかを決定して、決定ブロック308で、参照データが利用可能でないことを決定する。復号器装置は、次いで、誤ったデータによって引き起こされた誤りの伝播を止めるために、マルチメディアデータの次のイントラ符号化されたバージョンを探す。
復号器装置は、決定ブロック308で、フレームレベル、スライスレベル、マクロブロックレベルおよび/またはサブブロックレベルで参照データが利用可能であるかどうかを決定することができる。例えば、復号器装置は、すべての参照データが全フレームに関して利用可能であるかどうかを決定して、参照データのすべてが利用可能でない場合、第2のバージョンを復号することを決定ができる。個々のスライス(1つまたは複数のマクロブロックのグループ)に関して、個々のマクロブロックおよび/または個々のサブブロックに関して、類似の復号決定が行われ得る。図2Bの復号器装置150の参照データ決定機構エレメント162は、決定ブロック308で、動作を実行することができる。
図7Cは、図7Aで例示された方法300の部分のもう1つの例をより詳細に示す流れ図である。図7Cで示される例示的な方法300は、図3Dで示され、かつ図6においてグラフィックで示された方法のように符号化されたビデオデータの部分を復号するために使用され得る。図6および図7Cを参照すると、方法300は、復号器装置が、符号化されたフレームE3の区分626など、マルチメディアデータの第1のフレームの第1の部分の第1のインター符号化されたバージョンを受信するブロック302で開始する。この例では、区分626はマルチメディアデータのスーパーフレームの第1のフレーム内に配置される。しかし、これはオプションの特徴であり、フレームはスーパーフレームの任意の部分内に、または一般にビデオ系列の任意の位置内にあってよい。ブロック304に進むと、復号器装置は、図6で示される交換フレーム620の区分630など、第1のフレームの第1の部分の第2のイントラ符号化されたバージョンを受信する。一態様では、第1のフレームの第1の部分は、符号化されたフレームE3内の区分628A、628Bおよび交換フレーム620内の区分632など、第1のフレームの1つまたは複数の第2の部分を除外する。図6を参照して上で議論されたように、これらの第2の部分は、符号化されたフレームE3内でイントラ符号化またはインター符号化され、交換フレーム620内でイントラ符号化されることが可能である。
ブロック314に続くと、復号器装置は、それぞれ、フレームE5内およびE6内の部分628Bおよび629Bなど、スーパーフレームの1つまたは複数のその他のフレーム内の1つまたは複数の第2の部分のイントラ符号化されたバージョンを受信する。これらのイントラ符号化された部分は、上で議論されたように、それらが配置されたフレームのインター符号化された部分のいずれかに依存しないように符号化される。独立して復号可能な第2のイントラ符号化された部分は、誤り伝播を制限しかつ/または、図6で示されるように、符号化されたビデオ系列610を最初に獲得および/または再獲得するのに役立つ。図2Bで示される受信機エレメント158は、ブロック302、304、および314の受信動作を実行することができる。
第1の部分の第1および第2のバージョンと、第2の部分のイントラ符号化されたバージョンとを受信した後、プロセス300は選択的な復号ブロック306に続く。図7Cで示されたこの例示的な方法300では、選択的な復号ブロック306は、決定ブロック308と、復号ブロック310および316とを含む。決定ブロック308は、図7Bで行ったのと同じ方法で機能する。第1の部分のインター符号化された第1のバージョンが依存する参照データが利用可能である場合、インター符号化された第1の部分626はブロック310で復号される。誤りおよび/または符号化されたフレーム系列610の初期の獲得により、参照データの一部またはすべてが利用可能でない場合、復号器装置は、第1の部分(図6の区分630)の第2のイントラ符号化されたバージョンを復号して、それぞれ、フレームE5内およびE6内のイントラ符号化された第2の部分628Bおよび629Bを復号する。一態様では、復号器はまた、交換フレーム620の部分632を受信して、これらの部分も復号する。交換フレーム620のイントラ符号化された部分630と、フレームE5およびE6のイントラ符号化された部分628Bおよび629Bとは、全フレームのイントラ符号化された完全な画像を形成するために結合する。符号化されたフレームE3に依存する符号化された系列610内のその他のフレームのその他の部分は、次いで、上で議論されたように、交換フレーム620の復号された部分を参照して復号される(図6のフレームE4およびE5ならびに予測矢印622および624を参照)。このように、全フレームは、この例では、交換フレーム620ならびに/またはフレームE5およびE6内で少なくとも1回イントラ符号化される。これは、符号化された系列610の獲得を可能にするのに役立ち、誤り伝播を制限する。図2Bの参照データ決定機構エレメント162は、参照データが決定ブロック308で利用可能であるかどうかを決定することができる。選択的な復号器エレメント160は、ブロック310および316で復号動作を実行することができる。
図7Dは、図7Aで例示された方法300の部分のもう1つの例をより詳細に示す流れ図である。図7Dで示された例示的な方法300は、図3Cで示され、かつ図5においてグラフィックで示された方法のように符号化されたビデオデータの部分を復号するために使用され得る。図5および図7Dを参照すると、方法300は、復号器装置がスーパーフレームの第1のフレームE3の第1のバージョンを受信するブロック302で開始する。第1のフレームE3の第1のバージョンは、インター符号化された第1の部分526と、1つまたは複数のイントラ符号化された第2の部分528とを含む。この例では、区分526と区分528とは、マルチメディアデータのスーパーフレームの第1のフレーム内にある。しかし、これはオプションの特徴であり、フレームはスーパーフレームの任意の部分内に、または一般にビデオ系列の任意の位置内にあってよい。ブロック304に進むと、復号器装置は、図5で示された交換フレーム520の区分530など、第1のフレームの第1の部分の第2のイントラ符号化されたバージョンを受信する。一態様では、第1のフレームの第1の部分の第2のバージョンは、符号化されたフレームE5内およびE6内の区分628B、629Bならびに交換フレーム620内の区分632など、その他のフレーム内でイントラ符号化された1つまたは複数の第2の部分を除去する。図6を参照して上で議論されたように、これらの第2の部分は、交換フレーム620内でイントラ符号化されることも可能である。
第1の部分の第1および第2のバージョンと第2の部分のイントラ符号化されたバージョンとを受信した後、プロセス300は、選択的な復号ブロック306に進む。図7Dで示された例示的な方法300で、選択的な復号ブロック306は、決定ブロック308と、復号ブロック310および318とを含む。決定ブロック308は、図7Bおよび図7Cで行ったのと実質的に同じ方法で機能する。第1の部分のインター符号化された第1のバージョンが依存する参照データが利用可能である場合、インター符号化された第1の部分526はブロック310で復号される。誤りおよび/または符号化されたフレーム系列510の初期の獲得により、参照データの一部またはすべてが利用可能でない場合、復号器装置は第1の部分の第2のイントラ符号化されたバージョンを復号して(図5の区分530を参照)、フレームE3内のイントラ符号化された第2の部分528を復号する。一態様では、復号器はやはり、交換フレーム520の部分532も受信して、これらの部分を復号するか、またはこれらを破棄する。一例では、交換フレーム520の区分532は、上で議論されたように規格の準拠を維持するために、最低限のビット数を用いて符号化される。交換フレーム520のイントラ符号化された部分530と、フレームE3のイントラ符号化された部分528とは、全フレームのイントラ符号化された完全な画像を形成するために結合する。符号化されたフレームE3に依存する符号化された系列510内のその他のフレームのその他の部分は、次いで、上で議論されたように、交換フレーム520の復号された部分530(および、当該部分が復号された場合、場合によっては、部分532)と、フレームE3の復号された部分528とを参照して復号される(図6のフレームE4およびE5ならびに予測矢印622、624、614、および616を参照)。このように、全フレームは、この例では、交換フレーム620および/またはフレームE3内で少なくとも1回イントラ符号化される。これは、符号化された系列510の獲得を可能にするのに役立ち、誤り伝播を制限する。図2B内の参照データ決定機構エレメント162は、参照データが決定ブロック308で利用可能であるかどうかを決定することができる。選択的な復号器エレメント160は、ブロック310および318で復号動作を実行することができる。
いくつかの例では、復号器装置は、第1の通信リンク上で第1のインター符号化されたバージョン(および、オプションで、図5および図6で例示されたように、任意のイントラ符号化された部分)を受信して、第2の通信リンク上で第2のイントラ符号化された交換フレームバージョンを受信する。これらの通信リンクのいずれかまたは両方は、パケットヘッダ情報などによって定義されるような仮想チャネルを含んでよい。いくつかの例では、第1のインター符号化されたバージョンと第2のイントラ符号化されたバージョンとは、同じ通信リンク上で受信される。第1のインター符号化されたバージョンと第2のイントラ符号化されたバージョンを送信および/または受信するために使用され得る1対の仮想チャネルの例は、拡張性のある通信システムの基層および拡張層である。
基層と拡張層とを利用した交換フレーム方法。
いくつかの例では、例えば、ビデオビットストリームなど、単一のアプリケーションを目的としたマルチメディアビットストリームは、基層および拡張層など、(例えば、拡張性のある符号化を使用して)2つ以上の個別の層に復号されることが可能である。これらの層は、次いで、拡張性、例えば、時間的および/またはSNR(SN比)拡張性を提供するために使用されることが可能である。拡張性のある符号化の一例は、(Iフレームなど)イントラ符号化された画像と(例えば、動き補償予測を使用して得られたPフレームまたはBフレームなど)異なるインター符号化された画像をビットストリーム内の異なる層に分割する。Iフレームは、基層内で符号化されることが可能であり、Pおよび/またはBフレームは拡張層内で符号化されることが可能である。拡張性のある符号化は、拡張性のあるビットストリームがネットワーク帯域幅内の変動と一致するように適合され得る動的チャネルで有用である。誤りを起こしやすいチャネルでは、拡張性のある符号化は、基層および拡張層の不均衡な誤り保護によって頑強性を加えることができる。よりよい誤り保護がより重要な層に加えられることが可能である。拡張性のある符号化は、誤り伝播を制限して、効率的なチャネル獲得を可能にする目的で交換フレームを提供するために使用されることも可能である。
図8Aは、図7で例示された方法の部分の例をグラフィックで示す。マルチメディアビットストリーム800は、基層802と拡張層804とを含む。示されたマルチメディアビットストリーム800の部分は、(例えば、単向および/または双方向の動き補償予測を使用して予測された)PフレームとBフレームとを含む。この例の一態様では、基層データは、Pフレーム、Bフレーム、およびIフレーム(図示せず)用の一定の品質レベルのビデオを含み、一方、拡張層データは、基層データに対する改良(refinement)を含む。PフレームおよびBフレームは、ビデオ系列内のその他のフレームから予測される(例えば、先行フレームおよび後続フレームから予測されたBフレームと、先行フレームから予測されたPフレーム)。ビデオビットストリーム800の部分は、第1のスーパーフレームSFi(808を参照)と第2のスーパーフレームSFi+1(810を参照)とを分離する境界806上にある。この例では、第2のスーパーフレーム810の第1のフレームはBフレームB1であり、第2のフレームはPフレームP1である。BフレームB1は、第1のスーパーフレーム808の最後のフレームと、第2のスーパーフレーム内のPフレームP1とから予測されると想定され得る。
マルチメディアビットストリーム800は、Iフレームとしてイントラ符号化された交換フレーム812も含む。しかし、交換フレーム812は、図3、図4、図5、および図6を参照して上で議論されたように、交換フレームのいずれかであってよい。いくつかの例では、交換フレーム812は、基層データおよび拡張層データとは異なる(実および仮想)チャネル上で送受信される。交換フレーム812は、側波帯メッセージ内で送受信されることが可能である。例えば、交換フレーム812は、H.264の付加拡張情報(SEI)メッセージまたはMPEG−2のuser_dataメッセージのうちの1つまたは複数の中で送受信されることが可能である。
マルチメディアビットストリーム800を受信する復号器が、第1のスーパーフレーム808を首尾よく復号した場合、基層802および拡張層804のBフレームとPフレームとは、符号化されたプロセスにおいてそこからBフレームとPフレームとが予測されたフレームを参照して正常に復号されることが可能である。PフレームおよびBフレームに関して参照データが利用可能である場合、交換フレーム812は破棄されてよい。しかし、復号器が第1のスーパーフレーム808内に誤ったデータまたは第1のスーパーフレーム808の間にチャネル交換要求を受信した場合、復号器は交換フレーム812を使用すべきであることを決定することができる。この場合、図5、図6、および図7を参照して上で議論されたように、基層内および拡張層内のBフレームB1とPフレームP1とは破棄または部分的に破棄される。次いで、交換フレームは復号され、後続のPフレームP2は破線矢印814によって示されたように、交換フレーム812を参照して復号される。BフレームB2は、同様に、例えば、交換フレーム812とPフレームP2とを参照して復号され得る。
一態様では、上で議論されたように、スーパーフレームのインター符号化された部分用の参照フレームは制限されることが可能である。例えば、第2のスーパーフレーム810の第1のBフレームB1と第1のPフレームP1とは、第1のスーパーフレーム808など、もう1つのスーパーフレーム内のフレームから予測され得る。交換フレーム812はP1を置き換えるために利用可能であるため、かつ(Bフレーム用の共通規則である、B1の後続のものはB1から予測されなかったと想定して)フレームB1は外される(dropped)ことが可能であるため、第1のスーパーフレーム808から予測することによってフレームB1とP1とを符号化することは、誤り伝播を引き起こさないことになる。しかし、第2のスーパーフレームのその他のインター符号化された部分は、この態様では、もう1つのスーパーフレームから、または、×印で消された矢印816および818によって示されたように、交換フレーム812に先行する任意のその他のフレームから予測されていることを禁じられる。参照フレームを禁止することは、フレームB2、P2、およびスーパーフレーム810内のその他の後続のフレームの符号化効率性に影響を与える可能性がある。例えば、フレームB2とP2とは、順方向参照としてP1だけを使用することができるものの、P3とB3とは順方向参照としてP1およびP2の両方を使用することができ、これにより、マルチメディアデータのより一致するブロックを発見するより高い可能性を提供する。スーパーフレームの境界806から離れるほど、影響は低くなる。したがって、この例では、P2とB2とは最も符号化効率性を失うことになる。
一態様では、交換フレームのレート消費を削減するために、交換フレーム812は拡張層フレーム804より低い品質レベルで復号されることができる。例えば、拡張層の平均QP(量子化パラメータ)がQPenhである場合、交換フレームに関するQPは、より低い品質QPであるQPenh+6となり得る。より低い品質の交換フレームは、その期間が短いために、ユーザにとって感知可能でない場合がある。図8Aで示された実施形態は、示されたような拡張性のある方法に限定されず、単一層方式にも応用され得る。
図8Bは、図7で例示された方法の部分のもう1つの例をグラフィックで示す。マルチメディアビットストリーム850は、基層852と拡張層854とを含む。この例では、第2のスーパーフレーム856内の拡張層の第1のフレームは、イントラ符号化された交換フレーム858である。この例では、基層のPフレームは、拡張層のPフレームよりも低い品質で符号化される。例示的なビデオ系列850では、基層品質のIフレームとPフレームとが復号され得るか、または拡張層品質のPフレームは復号され得る。例えば、復号器装置は、電池電力を節約するためにより低い品質の基層852を復号することが可能であり、ユーザがより高い品質を所望する場合、より高い品質の拡張層854を復号することが可能である。一般に、拡張層のPフレームは、基層のPフレームおよびIフレームより高い品質のものである。
この例では、交換フレーム858は、チャネル交換条件が実施されており、復号器が第1のスーパーフレーム866内でデータを受信している場合、または第1のスーパーフレーム866が、第2のスーパーフレーム856の第1のPフレームが依存する誤った参照データを伴って受信された場合に使用される。これらの状況のどちらかが発生した場合、Iフレーム858は復号されて、拡張層のPフレーム860は破棄される。一態様では、上で議論されたように、第2のスーパーフレーム850内の第2のPフレームと後続のPフレームとは、この例では、×印で消された矢印862と864とによって示されたように、第1のスーパーフレーム866など、もう1つのスーパーフレーム内のフレームを参照せずに符号化されることが可能である。
交換フレーム858が必要でない(例えば、チャネル交換が要求されない場合など、すべての参照データが利用可能である)場合、交換フレーム858は破棄されてよく、拡張層品質のPフレームは、通常の方法で復号されることが可能である。あるいは、基層品質だけが復号されることになる場合、拡張層のPフレームは破棄されてよく、基層の交換フレーム858と後続のPフレームとは復号されることが可能である。
交換フレームの位置は、一般に、図8Aおよび図8Bの例で例示されるように最初ではなく、スーパーフレーム内またはビデオフレーム系列内のその他の地点であってもよい点に留意されたい。いくつかの実施形態では、交換フレームは固定間隔で符号化されることが可能である。固定間隔は、約0.5秒から約2.0秒に及んでよい。その他の実施形態では、交換フレームはビデオ系列内の不規則な間隔であってもよい。例えば、上で議論されたように、符号化プロセスは、イントラ符号化ブロックのより高い割合を有するインター符号化されたフレームと一致するように交換フレームの位置を選択することができる。
図8Aおよび図8Bで示された例は、スーパーフレーム内の第1のPおよび/またはBフレームの後のフレームのために使用される許容可能な予測フレームを禁止した。その他の例では、フレームのインター符号化された部分の動きベクトルは、交換フレームまたは現在のスーパーフレーム内のその他のフレームに対応するために、もう1つのスーパーフレーム内のそれらの元の参照フレームからスケーリングされることが可能である。動きベクトルのスケーリングの例が次に議論される。
図8Bを参照すると、第2のスーパーフレーム856内の第2のPフレーム868は、第1のスーパーフレーム866の最後のフレーム870から予測されると想定する。誤った参照データまたはチャネル交換モードによりチャネル交換フレーム858が復号された場合、Pフレーム868の動きベクトルは、交換フレーム858の時間的な位置に対応するようにスケーリングされることが可能である。様々な画像オブジェクトの非線形の動きにより何らかの誤りが存在することになる点に留意されたい。動きベクトルのスケーリングは、以下のように特徴づけられることができる。
Figure 0004885964
MV_f_xとMV_f_yとは、交換フレーム858を指す新しい動きベクトルのx構成要素およびy構成要素であり、MV_xとMV_yとは、フレーム870を指す元の動きベクトルのx構成要素およびy構成要素であり、Nはフレーム868から交換フレーム858までの距離であり、Mはフレーム868から元の参照フレーム870までの距離である。この例では、N=1、およびM=2であり、MV_f_xおよびMV_f_yのベクトル構成要素は元の動きベクトルの構成要素MV_xおよびMV_yの半分であるという結果をもたらす。これにより、フレーム868は交換フレーム858から推定されることが可能である。様々な距離NおよびMを使用した動きベクトルのスケーリングのその他の形態が当業者に明らかになるであろう。
図9は、図1で例示されたようなシステムで使用され得る符号器装置のもう1つの実施形態を例示するブロック図である。図9の例示的な符号器装置110は、第1のバージョンを生成するためにインター符号化を使用してマルチメディアデータの第1の部分を符号化するための第1の符号器手段と、第2のバージョンを生成するためにイントラ符号化を使用してマルチメディアデータの第1の部分を符号化するための第2の符号化手段とを含む。第1の符号器手段は、図9のインター符号化符号器905を含んでよい。第2の符号器手段は、図9のイントラ符号化符号器910を含んでよい。
図10は、図1で例示されたようなシステムで使用され得る復号器装置のもう1つの実施形態を例示するブロック図である。図10の例示的な復号器装置150は、インター符号化された、マルチメディアデータの第1の部分の第1のバージョンを受信するための手段と、イントラ符号化された、マルチメディアデータの第1の部分の第2のバージョンを受信するための手段とを含む。復号器装置150は、第1および第2の受信されたバージョンを選択的に復号するための手段をさらに含む。受信するための手段は図10の受信機1005を含んでもよい。選択的に復号するための手段は、図10の選択的な復号器1010を含んでもよい。
図11は、図1で例示されたようなシステムで使用され得る符号器装置のもう1つの実施形態を例示するブロック図である。図11の例示的な符号器装置110は、第1のバージョンを生成するためにインター符号化を使用してマルチメディアデータの第1の部分を符号化するための第1の符号器手段と、第2のバージョンを生成するためにイントラ符号化を使用してマルチメディアデータの第1の部分を符号化するための第2の符号器手段とを含む。第1の符号器手段は、図11のインター符号化を使用して符号化するためのモジュール1105を含んでよい。第2の符号器手段は、図11のイントラ符号器を使用して符号化するためのモジュール1110を含んでよい。
図12は、図1で例示されたようなシステムで使用され得る復号器装置のもう1つの実施形態を例示するブロック図である。図12の例示的な復号器装置150は、インター符号化された、マルチメディアデータの第1の部分の第1のバージョンを受信するための手段と、イントラ符号化された、マルチメディアデータの第1の部分の第2のバージョンを受信するための手段とを含む。復号器装置150は、第1および第2の受信されたバージョンを選択的に復号するための手段をさらに含む。受信するための手段は、図12の受信するためのモジュール1205を含んでよい。選択的に復号するための手段は、図12の選択的に復号するためのモジュール1210を含んでよい。
図13は、図1で例示されたようなシステムで使用され得るデジタルビデオデータを送信するための装置の実施形態を例示するブロック図である。図13の例示的な装置1300は、複数のデジタルビデオチャネルの各々に関してインター符号化されたデジタルビデオフレームを送信するための手段と、チャネルの各々に関してチャネル交換フレームを送信するための手段とを含み、チャネル交換フレームのうちの少なくとも1つが、それぞれのチャネルに関してインター符号化されたフレームのうちの1つに対応するイントラ符号化されたデジタルビデオデータを含む。インター符号化されたデジタルビデオフレームを送信するための手段は、インター符号化されたデジタルビデオフレームを送信するためのモジュール1305を含んでよい。チャネル交換フレームを送信するための手段は、チャネル交換フレームを送信するためのモジュール1310を含んでよい。
図14は、図1で例示されたようなシステムで使用され得るデジタルビデオデータを受信するための装置の実施形態を例示するブロック図である。図14の例示的な装置1400は、第1のチャネルに関連するインター符号化されたデジタルビデオを含むインター符号化されたフレームを取得するための手段と、第2のチャネルへの交換要求を受信するための手段とを含む。装置1400は、要求に応答して、第2のチャネルに関してインター符号化されたフレームのうちの1つに対応するイントラ符号化されたデジタルビデオデータを含むチャネル交換フレームを取得するための手段をさらに含む。インター符号化されたフレームを取得するための手段は、インター符号化されたフレームを取得するためのモジュール1405を含んでよい。要求を受信するための手段は、要求を受信するためのモジュール1410を含んでよい。チャネル交換フレームを取得するための手段は、チャネル交換フレームを取得するためのモジュール1415を含んでよい。
当業者は、情報および信号は、様々な異なる技術および技法のいずれかを使用して表されてよい点を理解されよう。例えば、上の説明の全体にわたって参照される可能性があるデータ、命令、コマンド、情報、信号、ビット、記号、およびチップは、電圧、電流、電磁波、磁界または磁性粒子、光場(optical field)もしくは光粒子、またはそれらの任意の組合せによって表されてよい。
当業者は、本明細書で開示された例に関連して説明された様々な例示的な論理ブロック、モジュール、およびアルゴリズムステップは、電子ハードウェア、ファームウェア、コンピュータソフトウェア、ミドルウェア、マイクロコード、またはそれらの組合せとして実施されてよい点をさらに理解されよう。ハードウェアとソフトウェアのこの移植可能性を明瞭に例示するために、様々な例示的な構成要素、ブロック、モジュール、回路およびステップが、一般に、それらの機能性の点から上で説明された。かかる機能性がハードウェアとして実施されるかまたはソフトウェアとして実施されるかは、特定の用途とシステム全体に課された設計制約とによって決まる。当業者は、各特定の用途に関して様々な方法で説明された機能性を実施することが可能であるが、かかる実施決定は開示された方法の範囲からの逸脱を引き起こすものとして解釈されるべきではない。
本明細書で開示された例に関連して説明された様々な例示的な論理ブロック、構成要素、モジュール、および回路は、汎用プロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラム可能ゲートアレイ(FPGA)、またはその他のプログラム可能な論理装置、離散ゲート(discrete gate)もしくはトランジスタ論理、離散的ハードウェア構成要素、あるいは本明細書で説明された機能を実行するために設計されたそれらの任意の組合せにより実施または実行されてよい。汎用プロセッサはマイクロプロセッサであってよいが、代替の方法では、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、または状態機械であってよい。プロセッサは、コンピューティング装置の組合せ、例えば、DSPとマイクロプロセッサの組合せ、複数のマイクロプロセッサ、DSPコアと共に1つまたは複数のマイクロプロセッサ、または任意のその他のかかる構成として実施されてもよい。
本明細書で開示された例に関連して説明された方法またはアルゴリズムのステップは、ハードウェアで直接的に、プロセッサによって実行されたソフトウェアモジュールで、またはそれら2つの組合せで実施されてよい。ソフトウェアモジュールは、RAMメモリ、フラッシュメモリ、ROMメモリ、EPROMメモリ、EEPROMメモリ、レジスタ、ハードディスク、リムーバブルディスク、CD−ROM、または当技術分野で知られている任意のその他の形態の記憶装置内に存在してよい。例示的な記憶媒体は、プロセッサが記憶媒体から情報を読み取り、そこに情報を書き込むことができるようにプロセッサに結合される。代替方法では、記憶媒体はプロセッサと一体であってよい。プロセッサと記憶媒体とは、特定用途向け集積回路(ASIC)内に存在してよい。ASICは無線モデム内に存在してよい。代替の方法では、プロセッサと記憶媒体とは、無線モデム内の離散的構成要素として存在してもよい。
開示された例のこれまでの説明は、当業者が開示された方法および装置を作成および使用することを可能にするために提供される。これらの例に対する様々な変更形態は、当業者に容易に明らかになるであろう。本明細書で定義された原理は、その他の例に応用されてもよく、追加のエレメントが加えられてもよい。
これにより、誤った双方向予測されたマルチメディアデータの時間的な誤り封じ込めを実行するための方法および装置が説明された。
一態様による、マルチメディア通信システムを例示するブロック図。 図1で例示されたようなシステムで使用され得る符号器装置の実施形態を例示するブロック図。 図1で例示されたようなシステムで使用され得る復号器装置の実施形態を例示するブロック図。 図1で例示されたようなシステムでビデオ流れの部分を符号化する方法の例を示す流れ図。 図3Aで例示された方法のブロック202の例をより詳細に示す流れ図。 図3Aで例示された方法のブロック202のもう1つの例をより詳細に示す流れ図。 図3Aで例示された方法のブロック202のもう1つの例をより詳細に示す流れ図。 図3Aおよび図3Bで例示された方法を使用して符号化されたビデオ流れの部分を例示するグラフィック図。 図3Aおよび図3Cで例示された方法を使用して符号化されたビデオ流れの部分を例示するグラフィック図。 図3Aおよび図3Dで例示された方法を使用して符号化されたビデオ流れの部分を例示するグラフィック図。 図1で例示されたようなシステムでビデオ流れの部分を復号する方法の一例を示す流れ図。 図7Aで例示された方法の部分の例をより詳細に示す流れ図。 図7Aで例示された方法の部分のもう1つの例をより詳細に示す流れ図。 図7Aで例示された方法の部分のもう1つの例をより詳細に示す流れ図。 図7で例示された方法を使用して復号された拡張性のあるビデオ流れの部分を例示するグラフィック図。 図7で例示された方法を使用して復号された拡張性のあるビデオ流れの部分を例示するグラフィック図。 図1で例示されたようなシステムで使用され得る符号器装置のもう1つの実施形態を例示するブロック図。 図1で例示されたようなシステムで使用され得る復号器装置のもう1つの実施形態を例示するブロック図。 図1で例示されたようなシステムで使用され得る符号器装置のもう1つの実施形態を例示するブロック図。 図1で例示されたようなシステムで使用され得る復号器装置のもう1つの実施形態を例示するブロック図。 図1で例示されたようなシステムで使用され得るデジタルビデオデータを送信するための装置の実施形態を例示するブロック図。 図1で例示されたようなシステムで使用され得るデジタルビデオデータを受信するための装置の実施形態を例示するブロック図。

Claims (132)

  1. マルチメディアデータを処理するための方法であって、
    インター符号化を使用してマルチメディアデータの第1の部分を符号化して、第1のバージョンを生成することと、
    イントラ符号化を使用して前記マルチメディアデータの前記第1の部分を符号化して、第2のバージョンを生成することと
    前記第2のバージョンが利用可能かつ冗長的であることを示し、前記第1のバージョンおよび前記第2のバージョンによって表される前記マルチメディアデータの位置を示す参照情報を生成することとを備え、
    前記参照情報は、前記符号化によって生成されたインター符号化されたデータおよびイントラ符号化されたデータがどこに存在するかを示すデータを備えており、もって、前記位置を示し、
    前記第2のバージョンは、チャネル交換フレームを備える方法。
  2. 前記第1の部分が、前記マルチメディアデータの、複数のフレームからなるスーパーフレームの第1のフレームを備える、請求項1に記載の方法。
  3. 前記第1のフレームの後続に配置された第2のフレームを符号化することをさらに備え、前記第2のフレームが任意の先行する、複数のフレームからなるスーパーフレーム内のデータを参照せずに符号化される、請求項に記載の方法。
  4. 1つまたは複数の第2の部分を除外する前記第1の部分が、フレーム全体の部分を備え、かつ前記マルチメディアデータの、複数のフレームからなるスーパーフレームの第1のフレーム内に配置され、前記方法が、
    イントラ符号化によって1つまたは複数の前記第2の部分を符号化することをさらに備え、前記1つまたは複数の第2の部分が前記スーパーフレームの1つまたは複数の第2のフレーム内に配置される
    請求項1に記載の方法。
  5. 前記第1の部分が、1つまたは複数の第2の部分を除外するフレーム全体の部分を備え、かつ前記マルチメディアデータの、複数のフレームからなるスーパーフレームの第1のフレーム内に配置され、前記方法が、
    前記第1のバージョンとの包括のためにイントラ符号化によって前記第1のフレームの1つまたは複数の前記第2の部分を符号化することをさらに備える、
    請求項1に記載の方法。
  6. 前記第1のバージョンを送信することと、
    前記第2のバージョンを送信することと、
    前記情報を送信することと
    をさらに備える、請求項に記載の方法。
  7. 前記第1のバージョンを送信することが、第1の通信リンク上で送信することを備え、前記第2のバージョンを送信することが、第2の通信リンク上で送信することを備える、請求項に記載の方法。
  8. 前記第1および第2のバージョンの前記送信が1つの通信リンク上で発生する、請求項に記載の方法。
  9. 前記第1の通信リンク上で送信すること、または前記第2の通信リンク上で送信することが、仮想チャネル上で送信することを備える、請求項に記載の方法。
  10. 前記第2のバージョンが冗長的な情報であることを示す前記情報を生成することが、前記第1の部分を含むフレームのフレーム系列番号を識別する情報を生成することを備える、請求項に記載の方法。
  11. 前記第1のバージョンが第1の品質レベルに関連し、前記第2のバージョンが前記第1の品質レベル以下である第2の品質レベルに関連する、請求項1に記載の方法。
  12. インター符号化を使用してマルチメディアデータの前記第1の部分を符号化して、第1のバージョンを生成し、
    イントラ符号化を使用してマルチメディアデータの第1の部分を符号化して、第2のバージョンを生成し、
    前記第2のバージョンが利用可能かつ冗長的であることを示し、前記第1のバージョンおよび前記第2のバージョンによって表される前記マルチメディアデータの位置を示す参照情報を生成する
    ための構成を備え、
    前記参照情報は、前記符号化によって生成されたインター符号化されたデータおよびイントラ符号化されたデータがどこに存在するかを示すデータを備えており、もって、前記位置を示し、
    前記第2のバージョンは、チャネル交換フレームを備える、マルチメディアデータプロセッサ。
  13. 前記第1の部分が、前記マルチメディアデータの、複数のフレームからなるスーパーフレームの第1のフレームを備える、請求項12に記載のプロセッサ。
  14. 前記プロセッサが、前記第1のフレームの後続に配置された第2のフレームを符号化するようさらに構成され、前記第2のフレームが任意の先行する、複数のフレームからなるスーパーフレーム内のデータを参照せずに符号化される、請求項13に記載のプロセッサ。
  15. 1つまたは複数の第2の部分を除外する前記第1の部分が、フレーム全体の部分を備え、かつ前記マルチメディアデータの、複数のフレームからなるスーパーフレームの第1のフレーム内に配置され、前記プロセッサが、イントラ符号化によって1つまたは複数の前記第2の部分を符号化するようにさらに構成され、さらに、前記1つまたは複数の第2の部分が前記スーパーフレームの1つまたは複数の第2のフレーム内に配置される、請求項12に記載のプロセッサ。
  16. 前記第1の部分が、1つまたは複数の第2の部分を除外するフレーム全体の部分を備え、かつ前記マルチメディアデータの、複数のフレームからなるスーパーフレームの第1のフレーム内に配置され、前記プロセッサが、前記第1のバージョンとの包括のためにイントラ符号化を使用して前記第1のフレームの1つまたは複数の前記第2の部分を符号化するようにさらに構成された、請求項12に記載のプロセッサ。
  17. 前記プロセッサが
    前記第1のバージョンを送信し、
    前記第2のバージョンを送信し、
    前記情報を送信する
    ようにさらに構成された、請求項12に記載のプロセッサ。
  18. 前記プロセッサが、第1の通信リンク上で前記第1のバージョンを送信し、第2の通信リンク上で前記第2のバージョンを送信するようにさらに構成された、請求項17に記載のプロセッサ。
  19. 前記第1および第2のバージョンが1つの通信リンク上で送信される、請求項17に記載のプロセッサ。
  20. 前記第1の通信リンクまたは前記第2の通信リンクが仮想チャネルを備える、請求項18に記載のプロセッサ。
  21. 前記第2のバージョンが冗長的な情報であることを示す前記情報が、前記第1の部分を含むフレームのフレーム系列番号を識別する情報を備える、請求項13に記載のプロセッサ。
  22. 前記第1のバージョンが第1の品質レベルに関連し、前記第2のバージョンが前記第1の品質レベル以下である第2の品質レベルに関連する、請求項12に記載のプロセッサ。
  23. マルチメディアデータを処理するための装置であって、
    インター符号化を使用してマルチメディアデータの第1の部分を符号化して、第1のバージョンを生成するための第1の符号器と、
    イントラ符号化を使用してマルチメディアデータの前記第1の部分を符号化して、第2のバージョンを生成するための第2の符号器と、
    前記第2のバージョンが利用可能かつ冗長的であることを示し、前記第1のバージョンおよび前記第2のバージョンによって表される前記マルチメディアデータの位置を示す参照情報を生成する生成器とを備え、
    前記参照情報は、前記符号化によって生成されたインター符号化されたデータおよびイントラ符号化されたデータがどこに存在するかを示すデータを備えており、もって、前記位置を示し、
    前記第2のバージョンは、チャネル交換フレームを備える装置。
  24. マルチメディアデータの前記第1の部分が、前記マルチメディアデータの、複数のフレームからなるスーパーフレームの第1のフレームを備える、請求項23に記載の装置。
  25. 前記第1の符号器が、前記第1のフレームの後続に配置された第2のフレームのマルチメディアデータを符号化し、前記第2のフレームマルチメディアデータが任意の先行する、複数のフレームからなるスーパーフレーム内のデータを参照せずに符号化される、請求項24に記載の装置。
  26. 1つまたは複数の第2の部分を除外する前記第1の部分が、フレーム全体の部分を備え、かつ前記マルチメディアデータの、複数のフレームからなるスーパーフレームの第1のフレーム内に配置され、前記第2の符号器が、イントラ符号化を使用して1つまたは複数の前記第2の部分を符号化し、さらに、前記1つまたは複数の第2の部分が前記スーパーフレームの1つまたは複数の第2のフレーム内に配置された、請求項23に記載の装置。
  27. 前記第1の部分が、1つまたは複数の第2の部分を除外するフレーム全体の部分を備え、かつ前記マルチメディアデータの、複数のフレームからなるスーパーフレームの第1のフレーム内に配置され、前記第2の符号器が、前記第1のバージョンとの包括のためにイントラ符号化を使用して前記第1のフレームの1つまたは複数の前記第2の部分を符号化する、請求項23に記載の装置。
  28. 前記第1のバージョンと、前記第2のバージョンと、前記生成された情報とを送信するための送信機をさらに備える、請求項27に記載の装置。
  29. 前記送信機が、第1の通信リンク上で前記第1のバージョンを送信し、第2の通信リンク上で前記第2のバージョンを送信する、請求項28に記載の装置。
  30. 前記第1および第2のバージョンが1つの通信リンク上で送信される、請求項28に記載の装置。
  31. 前記第1の通信リンクまたは前記第2の通信リンクが仮想チャネルを備える、請求項29に記載の装置。
  32. 前記第2のバージョンが冗長的な情報であることを示す前記情報が、前記第1の部分を含むフレームのフレーム系列番号を識別する情報を備える、請求項24に記載の装置。
  33. 前記第1のバージョンが第1の品質レベルに関連し、前記第2のバージョンが前記第1の品質レベル以下である第2の品質レベルに関連する、請求項23に記載の装置。
  34. マルチメディアデータを処理するための装置であって、
    インター符号化を使用してマルチメディアデータの第1の部分を符号化して、第1のバージョンを生成するための第1の符号器手段と、
    イントラ符号化を使用してマルチメディアデータの前記第1の部分を符号化して、第2のバージョンを生成するための第2の符号器手段と、
    前記第2のバージョンが利用可能かつ冗長的であることを示し、前記第1のバージョンおよび前記第2のバージョンによって表される前記マルチメディアデータの位置を示す参照情報を生成する生成器とを備え、
    前記参照情報は、前記符号化によって生成されたインター符号化されたデータおよびイントラ符号化されたデータがどこに存在するかを示すデータを備えており、もって、前記位置を示し、
    前記第2のバージョンは、チャネル交換フレームを備える装置。
  35. 前記符号化された第1および第2のバージョンに関する情報を生成するための手段をさらに備える、請求項34に記載の装置。
  36. 前記情報が、前記第2のイントラ符号化されたバージョンが冗長的であることを示す参照情報を備える、請求項35に記載の装置。
  37. 前記第1の部分が、前記マルチメディアデータの、複数のフレームからなるスーパーフレームの第1のフレームを備える、請求項34に記載の装置。
  38. 前記第1の符号器手段が、前記第1のフレームの後続に配置された第2のフレームを符号化し、前記第2のフレームが任意の先行する、複数のフレームからなるスーパーフレーム内のデータを参照せずに符号化される、請求項37に記載の装置。
  39. 1つまたは複数の第2の部分を除外する前記第1の部分が、フレーム全体の部分を備え、かつ前記マルチメディアデータの、複数のフレームからなるスーパーフレームの第1のフレーム内に配置され、前記第2の符号器手段が、イントラ符号化を使用して1つまたは複数の前記第2の部分を符号化し、前記1つまたは複数の第2の部分が前記スーパーフレームの1つまたは複数の第2のフレーム内に配置される、請求項34に記載の装置。
  40. 1つまたは複数の第2の部分を除外する前記第1の部分が、フレーム全体の部分を備え、かつ前記マルチメディアデータの、複数のフレームからなるスーパーフレームの第1のフレーム内に配置され、前記第2の符号器手段が、前記第1のバージョンとの包括のためにイントラ符号化によって前記第1のフレームの1つまたは複数の前記第2の部分を符号化する、請求項34に記載の装置。
  41. 前記第1のバージョンと、前記第2のバージョンと、前記関連する情報とを送信するための手段をさらに備える、請求項35に記載の装置。
  42. 前記送信するための手段が、第1の通信リンク上で前記第1のバージョンを送信し、第2の通信リンク上で前記第2のバージョンを送信する、請求項41に記載の装置。
  43. 前記送信するための手段が1つの通信リンク上で前記第1および第2のバージョンを送信する、請求項41に記載の装置。
  44. 前記第1の通信リンクまたは前記第2の通信リンクが仮想チャネルを備える、請求項42に記載の装置。
  45. 前記生成する手段が、前記第1の部分を含むフレームのフレーム系列番号を識別する情報を生成する、請求項35に記載の装置。
  46. 前記第1のバージョンが第1の品質レベルに関連し、前記第2のバージョンが前記第1の品質レベル以下である第2の品質レベルに関連する、請求項34に記載の装置。
  47. 実行時に、機械に
    第1のバージョンを生成するためにインター符号化を使用してマルチメディアデータの第1の部分を符号化させ、
    第2のバージョンを生成するためにイントラ符号化を使用してマルチメディアデータの前記第1の部分を符号化させ、
    前記第2のバージョンが利用可能かつ冗長的であることを示し、前記第1のバージョンおよび前記第2のバージョンによって表される前記マルチメディアデータの位置を示す参照情報を生成させる
    命令を備え、
    前記参照情報は、前記符号化によって生成されたインター符号化されたデータおよびイントラ符号化されたデータがどこに存在するかを示すデータを備えており、もって、前記位置を示し、
    前記第2のバージョンは、チャネル交換フレームを備える機械読取可能媒体。
  48. 前記第1の部分が前記マルチメディアデータの、複数のフレームからなるスーパーフレームの第1のフレームを備える、請求項47に記載の機械読取可能媒体。
  49. 実行時に、機械に前記第1のフレームの後続に配置された第2のフレームを符号化させる命令をさらに備え、前記第2のフレームが任意の先行する、複数のフレームからなるスーパーフレーム内のデータを参照せずに符号化される、請求項48に記載の機械読取可能媒体。
  50. 1つまたは複数の第2の部分を除外する前記第1の部分が、フレーム全体の部分を備え、かつ前記マルチメディアデータの、複数のフレームからなるスーパーフレームの第1のフレーム内に配置され、前記機械読取可能媒体が、実行時に、機械に
    イントラ符号化によって1つまたは複数の前記第2の部分を符号化させる命令をさらに備え、前記1つまたは複数の第2の部分が、前記スーパーフレームの1つまたは複数の第2のフレーム内に配置された
    請求項47に記載の機械読取可能媒体。
  51. 1つまたは複数の第2の部分を除外する前記第1の部分が、フレーム全体の部分を備え、かつ前記マルチメディアデータの、複数のフレームからなるスーパーフレームの第1のフレーム内に配置され、前記機械読取可能媒体が、実行時に、機械に
    前記第1のバージョンとの包括のためにイントラ符号化によって前記第1のフレームの1つまたは複数の前記第2の部分を符号化させる命令をさらに備える
    請求項47に記載の機械読取可能媒体。
  52. 実行時に、機械に
    前記第1のバージョンを送信させ、
    前記第2のバージョンを送信させ、
    前記情報を送信させる
    命令をさらに備える、請求項47に記載の機械読取可能媒体。
  53. 実行時に、機械に
    第1の通信リンク上で前記第1のバージョンを送信させ、
    第2の通信リンク上で前記第2のバージョンを送信させる命令をさらに備える、請求項52に記載の機械読取可能媒体。
  54. 前記第1および第2のバージョンの前記送信が1つの通信リンク上で発生する、請求項52に記載の機械読取可能媒体。
  55. 前記第1の通信リンク上の前記送信または前記第2の通信リンク上の前記送信が、仮想チャネル上で送信することを備える、請求項53に記載の機械読取可能媒体。
  56. 前記第2のバージョンが冗長的な情報であることを示す前記情報が、前記第1の部分を含むフレームのフレーム系列番号を識別する情報を備える、請求項48に記載の機械読取可能媒体。
  57. 前記第1のバージョンが第1の品質レベルに関連し、前記第2のバージョンが前記第1の品質レベル以下である第2の品質レベルに関連する、請求項47に記載の機械読取可能媒体。
  58. マルチメディアデータを処理するための方法であって、
    マルチメディアデータの第1の部分の第1のバージョンを受信することであって、前記第1のバージョンがインター符号化されることと、
    マルチメディアデータの前記第1の部分の第2のバージョンを受信することであって、前記第2のバージョンがイントラ符号化されることと、
    前記第1および第2の受信されたバージョンを選択的に復号することと、
    前記第2のバージョンが利用可能かつ冗長的であることを示し、前記第1のバージョンおよび前記第2のバージョンによって表される前記マルチメディアデータの位置を示す参照情報を生成させることとを備え、
    前記参照情報は、前記符号化によって生成されたインター符号化されたデータおよびイントラ符号化されたデータがどこに存在するかを示すデータを備えており、もって、前記位置を示し、
    前記第2のバージョンは、チャネル交換フレームを備える方法。
  59. 選択的に復号することが、
    前記第1のインター符号化されたバージョンに関連している参照データが利用可能であるかどうかを決定することと、
    前記決定に基づいて前記第2のイントラ符号化されたバージョンを復号することと
    をさらに備える請求項58に記載の方法。
  60. 選択的に復号することが、
    前記第1のインター符号化されたバージョンに関連している参照データが利用可能であるかどうかを決定することと、
    前記参照データが利用不可能であると決定することに応答して、前記第2のイントラ符号化されたバージョンを復号することと
    をさらに備える、請求項58に記載の方法。
  61. 参照データが利用不可能であることを決定することが、チャネル交換コマンドを検出することと、前記チャネル交換コマンドを検出することに応答して、前記参照データが利用不可能であることを決定することとを備える、請求項60に記載の方法。
  62. 参照データが利用不可能であることを決定することが、前記第1のインター符号化されたバージョンが依存する前記参照データ内の誤りを検出することと、前記誤りを検出することに応答して、前記参照データが利用不可能であることを決定することとを備える、請求項60に記載の方法。
  63. 前記第1の部分が、前記マルチメディアデータの、複数のフレームからなるスーパーフレームの第1のフレームを備える、請求項58に記載の方法。
  64. 前記スーパーフレームの第2のフレームを受信することをさらに備え、前記第2のフレームが前記第1のフレームの後続であり、かつ任意の先行する、複数のフレームからなるスーパーフレーム内のデータを参照せずに符号化される、請求項63に記載の方法。
  65. 1つまたは複数の第2の部分を除外する前記第1の部分が、フレーム全体の部分であり、かつ前記マルチメディアデータの、複数のフレームからなるスーパーフレームの第1のフレーム内に配置され、前記第1のバージョンを受信することが、イントラ符号化された1つまたは複数の前記第2の部分を受信することをさらに備え、前記1つまたは複数のイントラ符号化された第2の部分が前記スーパーフレームの1つまたは複数の第2のフレーム内に配置された、請求項58に記載の方法。
  66. 選択的に復号することが、
    前記マルチメディアデータの前記第2のバージョンの前記イントラ符号化された第1の部分を復号することと、
    前記マルチメディアデータの前記第1のバージョンの前記1つまたは複数のイントラ符号化された第2の部分を復号することと、
    前記復号された第1の部分を、単一のフレーム内で表示されることになる前記1つまたは複数の復号された第2の部分と結合することと
    をさらに備える、請求項65に記載の方法。
  67. 1つまたは複数の第2の部分を除外する前記第1の部分が、フレーム全体の部分であり、かつ前記マルチメディアデータの、複数のフレームからなるスーパーフレームの第1のフレーム内に配置され、前記第1のバージョンを受信することが、イントラ符号化された前記第1のフレームの1つまたは複数の前記第2の部分を受信することをさらに備える、請求項58に記載の方法。
  68. 選択的に復号することが、
    前記マルチメディアデータの前記第2のバージョンの前記イントラ符号化された第1の部分を復号することと、
    前記マルチメディアデータの前記第1のバージョンの前記1つまたは複数のイントラ符号化された第2の部分を復号することと、
    前記復号された第1の部分を、単一のフレーム内で表示されることになる前記1つまたは複数の復号された第2の部分と結合することと
    をさらに備える、請求項67に記載の方法。
  69. 前記マルチメディアデータの前記受信された第1および第2のバージョンに関する情報を受信することをさらに備える、請求項58に記載の方法。
  70. 前記第1のバージョンを受信することが第1の通信リンク上で受信することを備え、前記第2のバージョンを受信することが第2の通信リンク上で受信することを備える、請求項58に記載の方法。
  71. 前記第1の通信リンク上で受信することまたは前記第2の通信リンク上で受信することが、仮想チャネルを受信することを備える、請求項70に記載の方法。
  72. 前記第1および第2のバージョンが単一の通信リンク上で受信される、請求項58に記載の方法。
  73. インター符号化された、マルチメディアデータの第1の部分の第1のバージョンを受信し、
    イントラ符号化された、マルチメディアデータの前記第1の部分の第2のバージョンを受信し、
    前記第1および第2の受信されたバージョンを選択的に復号し、
    前記第2のバージョンが利用可能かつ冗長的であることを示し、前記第1のバージョンおよび前記第2のバージョンによって表される前記マルチメディアデータの位置を示す参照情報を生成するため
    の構成を備え、
    前記参照情報は、前記符号化によって生成されたインター符号化されたデータおよびイントラ符号化されたデータがどこに存在するかを示すデータを備えており、もって、前記位置を示し、
    前記第2のバージョンは、チャネル交換フレームを備えるマルチメディアデータプロセッサ。
  74. 前記プロサッサが、
    前記第1のインター符号化されたバージョンに関連する参照データが利用可能であるかどうかを決定し、
    前記決定に基づいて前記第2のイントラ符号化されたバージョンを選択的に復号する
    ようにさらに構成された、請求項73に記載のプロセッサ。
  75. 前記プロセッサが、
    前記第1のインター符号化されたバージョンに関連する参照データが利用可能であるかどうかを決定し、
    前記参照データが利用不可能であると決定することに応答して、前記第2のイントラ符号化されたバージョンを選択的に復号する
    ようにさらに構成された、請求項73に記載のプロセッサ。
  76. 前記プロセッサが、
    チャネル交換コマンドを検出し、
    前記チャネル交換コマンドを検出することに応答して、前記参照データが利用不可能であることを決定する
    ようにさらに構成された、請求項73に記載のプロセッサ。
  77. 前記プロセッサが、
    前記第1のインター符号化されたバージョンが依存する前記参照データ内に誤りを検出し、
    前記誤りを検出することに応答して、前記参照データが利用不可能であることを決定する
    ようにさらに構成された、請求項73に記載のプロセッサ。
  78. 前記第1の部分が、前記マルチメディアデータの、複数のフレームからなるスーパーフレームの第1のフレームを備える、請求項73に記載のプロセッサ。
  79. 前記プロセッサが、前記スーパーフレームの第2のフレームを受信するようにさらに構成され、前記第2のフレームが、前記第1のフレームの後続であり、かつ任意の先行する、複数のフレームからなるスーパーフレーム内のデータを参照せずに符号化される、請求項78に記載のプロセッサ。
  80. 1つまたは複数の第2の部分を除外する前記第1の部分が、フレーム全体の部分であり、かつ前記マルチメディアデータの、複数のフレームからなるスーパーフレームの第1のフレーム内に配置され、前記プロセッサが、イントラ符号化された1つまたは複数の前記第2の部分を受信するようにさらに構成され、さらに、前記1つまたは複数のイントラ符号化された第2の部分が、前記スーパーフレームの1つまたは複数の第2のフレーム内に配置された、請求項73に記載のプロセッサ。
  81. 前記プロセッサが、
    前記マルチメディアデータの前記第2のバージョンの前記イントラ符号化された第1の部分を選択的に復号し、
    前記マルチメディアデータの前記第1のバージョンの前記1つまたは複数のイントラ符号化された第2の部分を選択的に復号し、
    前記復号された第1の部分を、単一のフレーム内で表示されることになる前記1つまたは複数の復号された第2の部分と結合する
    ようにさらに構成された、請求項80に記載のプロセッサ。
  82. 1つまたは複数の第2の部分を除外する前記第1の部分が、フレーム全体の部分であり、かつ前記マルチメディアデータの、複数のフレームからなるスーパーフレームの第1のフレーム内に配置され、前記プロセッサが、イントラ符号化された前記第1のフレームの1つまたは複数の前記第2の部分を受信するようにさらに構成された、請求項73に記載のプロセッサ。
  83. 前記プロセッサが、
    前記マルチメディアデータの前記第2のバージョンの前記イントラ符号化された第1の部分を選択的に復号し、
    前記マルチメディアデータの前記第1のバージョンの前記1つまたは複数のイントラ符号化された第2の部分を選択的に復号し、
    前記復号された第1の部分を、単一のフレーム内で表示されることになる前記1つまたは複数の復号された第2の部分と結合する
    ようにさらに構成された、請求項82に記載のプロセッサ。
  84. 前記プロセッサが、前記マルチメディアデータの前記受信された第1および第2のバージョンに関係する情報を受信するようにさらに構成された、請求項73に記載のプロセッサ。
  85. 前記プロセッサが、
    第1の通信リンク上で前記第1のバージョンを受信するようにさらに構成され、
    前記第2のバージョンを受信することが第2の通信リンク上で受信することを備える
    請求項73に記載のプロセッサ。
  86. 前記第1の通信リンクまたは前記第2の通信リンクが仮想チャネルを備える、請求項85に記載のプロセッサ。
  87. 前記プロセッサが、単一の通信リンク上で前記第1および第2のバージョンを受信するように構成された、請求項73に記載のプロセッサ。
  88. マルチメディアデータを処理するための装置であって、
    インター符号化された、マルチメディアデータの第1の部分の第1のバージョンを受信し、かつ、イントラ符号化された、マルチメディアデータの前記第1の部分の第2のバージョンを受信するための受信機と、
    前記第1および第2の受信されたバージョンを選択的に復号するための復号器と、
    前記第2のバージョンが利用可能かつ冗長的であることを示し、前記第1のバージョンおよび前記第2のバージョンによって表される前記マルチメディアデータの位置を示す参照情報を生成させる生成器とを備え、
    前記参照情報は、前記符号化によって生成されたインター符号化されたデータおよびイントラ符号化されたデータがどこに存在するかを示すデータを備えており、もって、前記位置を示し、
    前記第2のバージョンは、チャネル交換フレームを備える装置。
  89. 前記第1のインター符号化されたバージョンに関連している参照データが利用可能かどうかを決定するための決定機構をさらに備え、
    前記復号器が、前記決定に基づいて前記第2のイントラ符号化されたバージョンを選択的に復号する
    請求項88に記載の装置。
  90. 前記第1のインター符号化されたバージョンに関連している参照データが利用可能であるかどうかを決定するための決定機構をさらに備え、
    前記復号器が、前記参照データが利用不可能であると決定することに応答して、前記第2のイントラ符号化されたバージョンを選択的に復号する
    請求項88に記載の装置。
  91. チャネル交換コマンドを検出するための検出器をさらに備え、
    前記決定機構が、前記チャネル交換コマンドを検出することに応答して、前記参照データが利用不可能であることを決定する
    請求項90に記載の装置。
  92. 前記第1のインター符号化されたバージョンが依存する前記参照データ内の誤りを検出するための検出器をさらに備え、
    前記決定機構が、前記誤りを検出することに応答して、前記参照データが利用不可能であることを決定する
    請求項90に記載の装置。
  93. 前記第1の部分が、前記マルチメディアデータの、複数のフレームからなるスーパーフレームの第1のフレームを備える、請求項88に記載の装置。
  94. 前記受信機が、前記スーパーフレームの第2のフレームを受信し、前記第2のフレームが、前記第1のフレームの後続であり、かつ任意の先行する、複数のフレームからなるスーパーフレーム内のデータを参照せずに符号化される、請求項93に記載の装置。
  95. 1つまたは複数の第2の部分を除外する前記第1の部分が、フレーム全体の部分であり、かつ前記マルチメディアデータの、複数のフレームからなるスーパーフレームの第1のフレーム内に配置され、前記受信機が、イントラ符号化された1つまたは複数の前記第2の部分を受信し、さらに、前記1つまたは複数のイントラ符号化された第2の部分が、前記スーパーフレームの1つまたは複数の第2のフレーム内に配置された、請求項93に記載の装置。
  96. 前記復号器が、
    前記マルチメディアデータの前記第2のバージョンの前記イントラ符号化された第1の部分を選択的に復号し、
    前記マルチメディアデータの前記第1のバージョンの前記1つまたは複数のイントラ符号化された第2の部分を選択的に復号し、
    前記復号された第1の部分を、単一のフレーム内に表示されることになる前記1つまたは複数の復号された第2の部分と結合する
    ように構成された、請求項95に記載の装置。
  97. 1つまたは複数の第2の部分を除外する前記第1の部分が、フレーム全体の部分であり、かつ前記マルチメディアデータの、複数のフレームからなるスーパーフレームの第1のフレーム内に配置され、前記受信機が、イントラ符号化された前記第1のフレームの1つまたは複数の前記第2の部分を受信する、請求項88に記載の装置。
  98. 前記復号器が、
    前記マルチメディアデータの前記第2のバージョンの前記イントラ符号化された第1の部分を選択的に復号し、
    前記マルチメディアデータの前記第1のバージョンの前記1つまたは複数のイントラ符号化された第2の部分を選択的に復号し、
    前記復号された第1の部分を、単一のフレーム内で表示されることになる前記1つまたは複数の復号された第2の部分と結合する
    ように構成された、請求項97に記載の装置。
  99. 前記受信機が、前記マルチメディアデータの前記受信された第1および第2のバージョンに関連する情報を受信する、請求項88に記載の装置。
  100. 前記受信機が、
    第1の通信リンク上で前記第1のバージョンを受信するように構成され、
    前記第2のバージョンを受信することが第2の通信リンク上で受信することを備える
    請求項88に記載の装置。
  101. 前記第1の通信リンクまたは前記第2の通信リンクが仮想チャネルを備える、請求項100に記載の装置。
  102. 前記受信機が単一の通信リンク上で前記第1および第2のバージョンを受信する、請求項88に記載の装置。
  103. マルチメディアデータを処理するための装置であって、
    インター符号化された、マルチメディアデータの第1の部分の第1のバージョンを受信し、かつ、イントラ符号化された、マルチメディアデータの前記第1の部分の第2のバージョンを受信するための手段と、
    前記第1および第2の受信されたバージョンを選択的に復号するための手段と、
    前記第2のバージョンが利用可能かつ冗長的であることを示し、前記第1のバージョンおよび前記第2のバージョンによって表される前記マルチメディアデータの位置を示す参照情報を生成するための手段とを備え、
    前記第2のバージョンは、チャネル交換フレームを備える装置。
  104. 前記第1のインター符号化されたバージョンに関連している参照データが利用可能であるかどうかを決定するための手段をさらに備え、
    前記選択的に復号するための手段が、前記決定に基づいて前記第2のイントラ符号化されたバージョンを復号する
    請求項103に記載の装置。
  105. 前記第1のインター符号化されたバージョンに関連している参照データが利用可能であるかどうかを決定するための手段をさらに備え、
    前記選択的に復号するための手段が、前記参照データが利用不可能であると決定することに応答して、前記第2のイントラ符号化されたバージョンを復号する
    請求項103に記載の装置。
  106. チャネル交換コマンドを検出するための手段をさらに備え、
    前記決定するための手段が、前記チャネル交換コマンドを検出することに応答して、前記参照データが利用不可能であることを決定する
    請求項105に記載の装置。
  107. 前記第1のインター符号化されたバージョンが依存する前記参照データ内の誤りを検出するための手段をさらに備え、
    前記決定するための手段が、前記誤りを検出することに応答して、前記参照データが利用不可能であることを決定する
    請求項105に記載の装置。
  108. 第1の部分が前記マルチメディアデータの、複数のフレームからなるスーパーフレームの前記第1のフレームを備える、請求項103に記載の装置。
  109. 前記受信するための手段が、前記スーパーフレームの第2のフレームを受信し、前記第2のフレームが、前記第1のフレームの後続であり、かつ任意の先行する、複数のフレームからなるスーパーフレーム内のデータを参照せずに符号化される、請求項108に記載の装置。
  110. 1つまたは複数の第2の部分を除外する前記第1の部分が、フレーム全体の部分であり、かつ前記マルチメディアデータの、複数のフレームからなるスーパーフレームの第1のフレーム内に配置され、前記受信するための手段が、イントラ符号化された1つまたは複数の前記第2の部分を受信し、前記1つまたは複数のイントラ符号化された第2の部分が、前記スーパーフレームの1つまたは複数の第2のフレーム内に配置された、請求項103に記載の装置。
  111. 前記選択的に復号するための手段が、前記マルチメディアデータの前記第2のバージョンの前記イントラ符号化された第1の部分を復号し、前記マルチメディアデータの前記第1のバージョンの前記1つまたは複数のイントラ符号化された第2の部分を復号して、前記復号された第1の部分を、単一のフレーム内で表示されることになる前記1つまたは複数の復号された第2の部分と結合する、請求項110に記載の装置。
  112. 1つまたは複数の第2の部分を除外する前記第1の部分が、フレーム全体の部分であり、かつ前記マルチメディアデータの、複数のフレームからなるスーパーフレームの第1のフレーム内に配置され、前記受信するための手段が、イントラ符号化された前記第1のフレームの1つまたは複数の前記第2の部分を受信する、請求項103に記載の装置。
  113. 前記選択的に復号するための手段が、前記マルチメディアデータの前記第2のバージョンの前記イントラ符号化された第1の部分を復号し、前記マルチメディアデータの前記第1のバージョンの前記1つまたは複数のイントラ符号化された第2の部分を復号して、前記復号された第1の部分を、単一フレーム内で表示されることになる前記1つまたは複数の復号された第2の部分と結合する、請求項112に記載の装置。
  114. 前記受信するための手段が、前記マルチメディアデータの前記第1および第2のバージョンに関係する情報を受信する、請求項103に記載の装置。
  115. 前記受信するための手段が、第1の通信リンク上で前記第1のバージョンを受信し、第2の通信リンク上で前記第2のバージョンを受信する、請求項103に記載の装置。
  116. 前記第1の通信リンクまたは前記第2の通信リンクが仮想チャネルを備える、請求項115に記載の装置。
  117. 前記受信するための手段が、単一の通信リンク上で前記第1および第2のバージョンを受信する、請求項103に記載の装置。
  118. 実行時に、機械に
    インター符号化された、マルチメディアデータの第1の部分の第1のバージョンを受信させ、
    イントラ符号化された、マルチメディアデータの前記第1の部分の第2のバージョンを受信させ、
    前記第1および第2の受信されたバージョンを選択的に復号させ、
    前記第2のバージョンが利用可能かつ冗長的であることを示し、前記第1のバージョンおよび前記第2のバージョンによって表される前記マルチメディアデータの位置を示す参照情報を生成させ
    命令を備え、
    前記参照情報は、前記符号化によって生成されたインター符号化されたデータおよびイントラ符号化されたデータがどこに存在するかを示すデータを備えており、もって、前記位置を示し、
    前記第2のバージョンは、チャネル交換フレームを備える機械読取可能媒体。
  119. 実行時に、機械に
    前記第1のインター符号化されたバージョンに関連している参照データが利用可能であるかどうかを決定させ、
    前記決定に基づいて前記第2のイントラ符号化されたバージョンを選択的に復号させる
    命令をさらに備える、請求項118に記載の機械読取可能媒体。
  120. 実行時に、機械に
    前記第1のインター符号化されたバージョンに関連している参照データが利用可能であるかどうかを決定させ、
    前記参照データが利用不可能であると決定することに応答して、前記第2のイントラ符号化されたバージョンを選択的に復号させる
    命令をさらに備える、請求項118に記載の機械読取可能媒体。
  121. 実行時に、機械に
    チャネル交換コマンドを検出させ、
    前記チャネル交換コマンドを検出することに応答して、前記参照データが利用不可能であることを決定させる
    命令をさらに備える、請求項120に記載の機械読取可能媒体。
  122. 実行時に、機械に
    前記第1のインター符号化されたバージョンが依存する前記参照データ内の誤りを検出させ、
    前記誤りを検出することに応答して、前記参照データが利用不可能であることを決定させる
    命令をさらに備える、請求項120に記載の機械読取可能媒体。
  123. 前記第1の部分が、前記マルチメディアデータの、複数のフレームからなるスーパーフレームの第1のフレームを備える、請求項118に記載の機械読取可能媒体。
  124. 実行時に、機械に前記スーパーフレームの第2のフレームを受信させる命令をさらに備え、前記第2のフレームが、前記第1のフレームの後続であり、かつ任意の先行する、複数のフレームからなるスーパーフレーム内のデータを参照せずに符号化される、請求項123に記載の機械読取可能媒体。
  125. 1つまたは複数の第2の部分を除外する前記第1の部分が、フレーム全体の部分であり、かつ前記マルチメディアデータの、複数のフレームからなるスーパーフレームの第1のフレーム内に配置され、前記機械読取可能媒体が、実行時に、機械にイントラ符号化された1つまたは複数の前記第2の部分を受信させる命令をさらに備え、さらに、前記1つまたは複数のイントラ符号化された第2の部分が前記スーパーフレームの1つまたは複数の第2のフレーム内に配置された、請求項118に記載の機械読取可能媒体。
  126. 実行時に、機械に
    前記マルチメディアデータの前記第2のバージョンの前記イントラ符号化された第1の部分を選択的に復号させ、
    前記マルチメディアデータの前記第1のバージョンの前記1つまたは複数のイントラ符号化された第2の部分を選択的に復号させ、
    前記復号された第1の部分を、単一のフレーム内で表示されることになる前記1つまたは複数の復号された第2の部分と結合させる
    命令をさらに備える、請求項125に記載の機械読取可能媒体。
  127. 1つまたは複数の第2の部分を除外する前記第1の部分が、フレーム全体の部分であり、かつ前記マルチメディアの、複数のフレームからなるスーパーフレームの第1のフレーム内に配置され、前記機械読取可能媒体が、実行時に、機械にイントラ符号化された前記第1のフレームの1つまたは複数の前記第2の部分を受信させる命令をさらに備える、請求項118に記載の機械読取可能媒体。
  128. 実行時に、機械に
    前記マルチメディアデータの前記第2のバージョンの前記イントラ符号化された第1の部分を選択的に復号させ、
    前記マルチメディアデータの前記第1のバージョンの前記1つまたは複数のイントラ符号化された第2の部分を選択的に復号させ、
    前記復号された第1の部分を、単一のフレーム内で表示されることになる前記1つまたは複数の復号された第2の部分と結合させる
    命令をさらに備える、請求項127に記載の機械読取可能媒体。
  129. 実行時に、機械に前記マルチメディアデータの前記受信された第1および第2のバージョンに関係する情報を受信させる命令をさらに備える、請求項118に記載の機械読取可能媒体。
  130. 実行時に、機械に
    第1の通信リンク上で前記第1のバージョンを受信させ、
    第2の通信リンク上で前記第2のバージョンを受信させる
    命令をさらに備える、請求項118に記載の機械読取可能媒体。
  131. 前記第1の通信リンクまたは前記第2の通信リンクが仮想チャネルを備える、請求項130に記載の機械読取可能媒体。
  132. 実行時に、機械に単一の通信リンク上で前記第1および第2のバージョンを受信させる命令をさらに備える、請求項118に記載の機械読取可能媒体。
JP2008533617A 2005-09-27 2006-09-27 チャネル交換フレーム Expired - Fee Related JP4885964B2 (ja)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US72134505P 2005-09-27 2005-09-27
US60/721,345 2005-09-27
US76048406P 2006-01-20 2006-01-20
US60/760,484 2006-01-20
US78944206P 2006-04-04 2006-04-04
US60/789,442 2006-04-04
US84629506P 2006-09-20 2006-09-20
US60/846,295 2006-09-20
PCT/US2006/037942 WO2007038695A2 (en) 2005-09-27 2006-09-27 Channel switch frame

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2011101494A Division JP5502798B2 (ja) 2005-09-27 2011-04-28 チャネル交換フレーム

Publications (2)

Publication Number Publication Date
JP2009521824A JP2009521824A (ja) 2009-06-04
JP4885964B2 true JP4885964B2 (ja) 2012-02-29

Family

ID=37807949

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2008533617A Expired - Fee Related JP4885964B2 (ja) 2005-09-27 2006-09-27 チャネル交換フレーム
JP2011101494A Expired - Fee Related JP5502798B2 (ja) 2005-09-27 2011-04-28 チャネル交換フレーム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2011101494A Expired - Fee Related JP5502798B2 (ja) 2005-09-27 2011-04-28 チャネル交換フレーム

Country Status (8)

Country Link
EP (3) EP2293572A1 (ja)
JP (2) JP4885964B2 (ja)
KR (1) KR100967731B1 (ja)
CN (1) CN101313584B (ja)
AR (1) AR061395A1 (ja)
AT (1) ATE515886T1 (ja)
TW (1) TWI343752B (ja)
WO (1) WO2007038695A2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8340183B2 (en) 2007-05-04 2012-12-25 Qualcomm Incorporated Digital multimedia channel switching
KR101885258B1 (ko) 2010-05-14 2018-08-06 삼성전자주식회사 비디오 신호의 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
JP5331773B2 (ja) 2010-10-14 2013-10-30 株式会社ソニー・コンピュータエンタテインメント 動画再生装置、情報処理装置および動画再生方法
US9706227B2 (en) 2011-03-10 2017-07-11 Qualcomm Incorporated Video coding techniques for coding dependent pictures after random access
US9351016B2 (en) * 2012-04-13 2016-05-24 Sharp Kabushiki Kaisha Devices for identifying a leading picture
CN102740063A (zh) * 2012-06-06 2012-10-17 北京工业大学 视频图像传输方法、系统及终端
CN107113425A (zh) 2014-11-06 2017-08-29 三星电子株式会社 视频编码方法和设备以及视频解码方法和设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004507178A (ja) * 2000-08-14 2004-03-04 ノキア コーポレイション ビデオ信号符号化方法
JP2004350263A (ja) * 2003-04-28 2004-12-09 Canon Inc 画像処理装置及び画像処理方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6480541B1 (en) * 1996-11-27 2002-11-12 Realnetworks, Inc. Method and apparatus for providing scalable pre-compressed digital video with reduced quantization based artifacts
JP4544879B2 (ja) * 2003-03-03 2010-09-15 パナソニック株式会社 画像符号化方法、画像符号化装置及びプログラム
EP1634458B1 (en) * 2003-06-16 2011-08-17 Thomson Licensing Decoding method and apparatus enabling fast channel change of compressed video

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004507178A (ja) * 2000-08-14 2004-03-04 ノキア コーポレイション ビデオ信号符号化方法
JP2004350263A (ja) * 2003-04-28 2004-12-09 Canon Inc 画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
CN101313584B (zh) 2014-10-08
TWI343752B (en) 2011-06-11
WO2007038695A3 (en) 2007-05-31
EP2293571A1 (en) 2011-03-09
EP2293572A1 (en) 2011-03-09
AR061395A1 (es) 2008-08-27
CN101313584A (zh) 2008-11-26
EP1929785B1 (en) 2011-07-06
KR100967731B1 (ko) 2010-07-05
WO2007038695A2 (en) 2007-04-05
JP5502798B2 (ja) 2014-05-28
KR20080066706A (ko) 2008-07-16
EP1929785A2 (en) 2008-06-11
ATE515886T1 (de) 2011-07-15
TW200742441A (en) 2007-11-01
JP2009521824A (ja) 2009-06-04
JP2011182452A (ja) 2011-09-15

Similar Documents

Publication Publication Date Title
US8229983B2 (en) Channel switch frame
JP5502798B2 (ja) チャネル交換フレーム
US8428125B2 (en) Techniques for content adaptive video frame slicing and non-uniform access unit coding
JP4927875B2 (ja) 無線映像通信における誤り耐性アルゴリズムの方法および装置
KR100929558B1 (ko) 비디오 부호화 방법, 복호화 방법, 부호화기, 복호기, 무선 통신 장치 및 멀티미디어 터미널 장치
JP5069099B2 (ja) 時間スケーラビリティを可能にするハイブリッド映像圧縮におけるフレーム予測のための方法および装置
JP3923898B2 (ja) 画像符号化方法及び装置
US20080127258A1 (en) Systems and methods for applications using channel switch frames
US7839930B2 (en) Signaling valid entry points in a video stream
EP1867176A1 (en) Method for decoding video signal encoded using inter-layer prediction
KR20110033240A (ko) 스케일러블 비디오 코딩(svc)디코딩에서 향상 계층의 패킷 분실에 기인한 오류 은폐를 위한 방법
JP2009504001A (ja) リファレンスビデオフレーム及びノンリファレンスビデオフレームの検出及び隠蔽の方法及び装置
US20080212599A1 (en) Methods and systems for encoding data in a communication network
Carreira et al. Selective motion vector redundancies for improved error resilience in HEVC
Psannis Efficient redundant frames encoding algorithm for streaming video over error prone wireless channels
JP4485409B2 (ja) 動画像復号装置
Tian et al. Error resilient video coding techniques using spare pictures
Apostolopoulos Error-resilient video compression
Yang et al. Error resilient GOP structures on video streaming
KR20050089457A (ko) 동영상 복호화 시 에러 은닉 방법
Shoaib et al. Redundant-key-picture error resilient coding with motion-copy error concealment in scalable video coding
Carreira et al. Error resilience analysis of motion vector prediction in HEVC
JP2007151163A (ja) 画像復号化方法及び装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110428

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111108

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111208

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141216

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4885964

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees