JP5705941B2 - フレーム情報表を用いたフレームレベルのマルチメディア復号 - Google Patents
フレーム情報表を用いたフレームレベルのマルチメディア復号 Download PDFInfo
- Publication number
- JP5705941B2 JP5705941B2 JP2013205858A JP2013205858A JP5705941B2 JP 5705941 B2 JP5705941 B2 JP 5705941B2 JP 2013205858 A JP2013205858 A JP 2013205858A JP 2013205858 A JP2013205858 A JP 2013205858A JP 5705941 B2 JP5705941 B2 JP 5705941B2
- Authority
- JP
- Japan
- Prior art keywords
- multimedia data
- layer
- information
- error
- descriptive information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
- H04N19/68—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving the insertion of resynchronisation markers into the bitstream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/164—Feedback from the receiver or from the transmission channel
- H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
- H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
Description
（米国特許法第１１９条に基づく優先権主張）
本特許出願は、２００６年４月４日に出願され、ここでの譲渡人に譲渡され、参照によりここに明示的に組み込まれている、「フレーム情報表（ＦＩＴ）を用いたフレームレベルのビデオ復号(FRAME LEVEL VIDEO DECODING WITH FRAME INFORMATION TABLE（FIT))」と題された仮出願番号第６０／７８９，４４３号の優先権を主張する。
本特許出願は、２００６年４月４日に出願され、ここでの譲渡人に譲渡され、参照によりここに明示的に組み込まれている、「フレーム情報表（ＦＩＴ）を用いたフレームレベルのビデオ復号(FRAME LEVEL VIDEO DECODING WITH FRAME INFORMATION TABLE（FIT))」と題された仮出願番号第６０／７８９，４４３号の優先権を主張する。
本開示は、マルチメディアのシグナリングプロセスを対象とし、より詳細には、ビデオの符号化および復号に関する。
ビデオ符号器などのマルチメディア信号処理システムは、ＭＰＥＧ−ｘ標準およびＨ．２６ｘ標準などの国際標準に基づいて、符号化方法を使用してマルチメディアデータを符号化することが可能である。そのような符号化方法は、一般に、伝送および／または記憶のためにマルチメディアデータを圧縮することに関する。圧縮は、広義には、データから冗長度を除去するプロセスである。
ビデオ信号は、フレーム（画像全体）、またはフィールド（例えば、インタレースされたビデオ信号は画像の奇数ラインまたは偶数ラインを交互に並べるフィールドを備える）を含む画像の系列の点から説明され得る。ここで使用される場合、用語「フレーム(frame)」は、画像、フレームまたはフィールドを指す。フレームは、個々の画素、一般にブロックと呼ばれる画素のグループ、および一般にスライスと呼ばれるブロックのグループとを含めて、ビデオデータの様々なサイズの部分で構成され得る。ビデオ符号化方法は、各フレームを圧縮するために、可逆圧縮アルゴリズムまたは不可逆圧縮アルゴリズムを使用することによってビデオ信号を圧縮する。フレーム内コーディング(intra-frame coding)（ここではイントラコーディング(intra-coding)と呼ばれる）は、そのフレームを使用してフレームを符号化することを指す。フレーム間コーディング(inter-frame coding)（ここではインターコーディング(inter-coding)と呼ばれる）は、他の「基準(reference)」フレームに基づいてフレームを符号化することを指す。例えば、ビデオ信号は、多くの場合、同じフレーム内の互いに近いビデオフレームサンプルの一部が少なくとも互いに一致するまたはおよそ一致する部分を有する、空間的冗長度を示す。加えて、フレームは、多くの場合、動き補償予測(motion compensated prediction)などの技術を使用して除外され得る時間的冗長度を示す。
例えば、ビデオビットストリームなど、単一のアプリケーションを対象とするマルチメディアビットストリームは、基層および１つまたは複数の拡張層など、（例えば、拡張性のあるコーディングを使用して）２つ以上の別々の層に符号化されることが可能である。これらの層は、次いで、拡張性（例えば、時間的および／またはＳＮＲ（ＳＮ比）拡張性）を提供するために使用され得る。拡張性のあるコーディングは、拡張性のあるビットストリームがネットワーク帯域幅内の変動と整合するように適合され得る動的なチャネル内で有用である。誤りがちなチャネルでは、拡張性のあるコーディングは、基層および拡張層の不等な誤り保護を通じて頑強さを加えることが可能である。
無線チャネルは、ビット誤りおよびパケット損失を含めて、誤りがちである。ビデオ圧縮は冗長度を本質的に除去するため、圧縮されたデータは重要になる。伝送の間のこのデータのうちのいずれかの部分の損失は、復号器で再構築されたビデオ品質に影響を及ぼす。失われたデータが動き補償予測および／または空間的予測に関する基準部分の一部であり、結果として、時間的および／または空間的な誤り伝搬を引き起こす場合、影響は悪化する。加えて、拡張性のあるコーディングも誤り伝搬を悪化させる可能性がある。例えば、拡張層データが基層に依存する場合、基層の損失は、正しく受信された拡張層のデータを無駄にする可能性がある。また、コンテキストに依存するコーディングおよび予測的なコーディングにより、同期化は復号器で失われる可能性があり、結果として、再同期化が可能であった場合に表示され得るビデオのより大きな部分さえ失う可能性がある。ビデオの大部分が誤りのために失われる場合、誤りの制御、検出および回復は、復号器アプリケーションにとって困難または不可能な可能性がある。必要とされるのは、少なくとも一部、誤り検出、最同期化および／または受信された情報を最大に利用する誤り回復を含めて、信頼性のある誤り制御システムである。
本開示のシステム、方法、および装置は、各々、いくつかの態様を有し、そのうちのどの単一のものも望まれる属性(desirable attributes)の責任を単独で負うことはない。添付の特許請求の範囲によって表現されるような本開示の範囲を限定することなく、そのより顕著な特徴がいま、簡潔に述べられる。この記述を考慮した後に、特に「ある種の態様に関する詳細な説明(DETAILED DESCRIPTION OF CERTAIN ASPECTS)」と題されたセクションを読んだ後に、読者は、本開示のサンプルの特徴(sample features)が、例えば、改善された誤り隠蔽（error concealment）および／または改善された効率性を含むマルチメディアの符号化および復号に、どのように利点を提供するのかを理解するであろう。
マルチメディアデータを処理する方法が提供される。方法は、マルチメディアデータを受信すること(receiving)と、マルチメディアデータについての、第２の層内でマルチメディアデータを処理することに関係する記述的情報(descriptive information)、を第１の層内で編成すること(organizing)と、記述的情報に少なくとも一部基づいて、第２の層内でマルチメディアデータを処理することに関係する命令を提供すること(providing)と、を含む。
マルチメディアデータを処理するための装置(apparatus)が提供される。装置は、マルチメディアデータを受信するように構成された受信機(receiver)と、マルチメディアデータについての、第２の層内でマルチメディアデータを処理することに関係する記述的情報、を第１の層内で編成するように構成された情報オーガナイザ（information organizer）と、記述的情報に少なくとも一部基づいて、第２の層内でマルチメディアデータを処理することに関係する命令を提供するように構成された誤り制御決定サブシステム(error control decision subsystem)と、を含む。
プログラムコード(program code)を備える機械可読媒体が提供される。プログラムコードは、１つまたは複数の機械上で実行されるときに、１つまたは複数の機械にプログラム演算(program operation)を実行させる。プログラムコードは、マルチメディアデータを受信するためのコードと、マルチメディアデータについての、第２の層内でマルチメディアデータを処理することに関係する記述的情報、を第１の層内で編成するためのコードと、記述的情報に少なくとも一部基づいて、第２の層内でマルチメディアデータを処理することに関係する命令を提供するためのコードと、を含む。
マルチメディアデータを処理する方法が提供される。方法は、マルチメディアデータを受信することと、上位層内(in an upper layer)でマルチメディアデータを処理することと、上位層内でマルチメディアデータを処理することに関連する情報に少なくとも一部基づいて、下位層(lower layer)に命令することと、上位層内でマルチメディアデータを処理することに関連する情報に少なくとも一部基づいて、下位層内でマルチメディアデータを処理することと、を含む。
マルチメディアデータを処理するための装置が提供される。装置は、マルチメディアデータを受信するように構成された受信機と、上位層内でマルチメディアデータを処理するように、そして上位層内でマルチメディアデータを処理することに関連する情報に少なくとも一部基づいて、下位層に命令するように構成された上位層復号器サブシステム(upper layer decoder subsystem)と、上位層内でマルチメディアデータを処理することに関連する情報に一部基づいて、下位層内でマルチメディアデータを処理するように構成された下位層復号器サブシステム(lower layer decoder subsystem)と、を含む。
プログラムコードを備える機械可読媒体が提供される。プログラムコードは、１つまたは複数の機械上で実行されるときに、１つまたは複数の機械にプログラム演算を実行させる。プログラムコードは、マルチメディアデータを受信するためのコードと、上位層内でマルチメディアデータを処理するためのコードと、上位層内でマルチメディアデータを処理することに関連する情報に少なくとも一部基づいて、下位層に命令をするためのコードと、上位層内でマルチメディアデータを処理することに関連する情報に少なくとも一部基づいて、下位層内でマルチメディアデータを処理するためのコードと、を含む。
マルチメディアデータを処理する方法が提供される。方法は、マルチメディアデータを受信することと、第１の層からマルチメディアデータについての、第２の層内でマルチメディアデータを処理することに関係する記述的情報、を受信することと、受信された記述的情報に少なくとも一部基づいて、第２の層内でマルチメディアデータを処理することと、を含む。
マルチメディアデータを処理するための装置が提供される。装置は、マルチメディアデータを受信するように構成された受信機と、第１の層からマルチメディアデータについての、第２の層内でマルチメディアデータを処理することに関係する記述的情報、を受信するように、そして、受信された記述的情報に少なくとも一部基づいて第２の層内でマルチメディアデータを処理するように、構成された復号器と、を含む。
プログラムコードを備える機械可読媒体が提供される。プログラムコードは、１つまたは複数の機械上で実行されるとき、１つまたは複数の機械にプログラム演算を実行させる。プログラムコードは、第１の層からマルチメディアデータについての、第２の層内でマルチメディアデータを処理することに関係する記述的情報、を受信するためのコードと、受信された記述的情報に少なくとも一部基づいて、第２の層内でマルチメディアデータを処理するためのコードと、を含む。
以下の詳細な説明は、開示のいくつかの特定のサンプル態様(certain specific sample aspects)を対象とする。「一態様(one aspect)」、「別の態様(another aspect)」、「さらなる態様(further aspect)」、「態様(an aspect)」、「いくつかの態様(some aspects)」、「ある種の態様(certain aspects)」などの句の使用は、様々な態様内のエレメントの様々な態様の相互排他性(mutual exclusivity)を暗示するようには意図されない。したがって、様々な態様および様々な態様のエレメントは、削除されかつ／または組み合わされることが可能であり、依然として、本願の範囲内にあり得る。しかしながら、本開示の様々な態様は、特許請求の範囲によって定義され包含される多数の様々な方法で実施されることができる。この説明においては、図面が参照され、全体をとおして、同様の部分は同様な符号を用いて示される。
態様は、マルチメディア伝送システムの符号器内および復号器内の処理を改善するシステムおよび方法を含む。マルチメディアデータは、ビデオ、音声、静止画像、または任意の他の適切なタイプの視聴覚データのうちの１つまたは複数を含み得る。態様は、誤り検出、再同期化および誤り回復を含めて、統合誤り制御システムを使用して目標ビデオ品質を維持するためにビデオデータを復号する装置および方法を含む。頑強な誤り制御(robust error control)は、複数の誤り耐性設計(multiple error resilience designs)を含めて、結合符号器−復号器機能（joint encoder-decoder functionality）によって提供され得る。例えば、一態様によれば、誤り回復は、信頼性のある誤り検出および誤り位置測定を達成するために設計された、終端間の統合多層誤り検出、再同期化および回復機構(end-to-end integrated multi-layer error detection, resynchronization and recovery mechanism)であり得ることが判明した。処理性能における利点は、データ処理の間、一定のクロスレイヤ相互作用(cross-layer interaction)を実施することによって達成され得ることも判明している。別の態様では、拡張性のある(scalable)符号化されたビットストリームの誤り処理が、拡張性のある圧縮されたビデオの基層および拡張層(base-layer and enhancement layer)の全域で調整される(coordinated)。
図１は、一態様による、マルチメディア通信システム１００を例示する機能的なブロック図である。システム１００は、ネットワーク１４０を経由して復号器装置(decoder device)１５０と通信中の符号器装置(encoder device)１１０を含む。一例では、符号器装置は、外部のソース１０２からマルチメディア信号を受信して、ネットワーク１４０上の伝送のためにその信号を符号化する。
この例では、符号化装置１１０は、メモリ１１４およびトランシーバ１１６に結合されたプロセッサ１１２を備える。プロセッサ１１２は、マルチメディアデータソースからのデータを符号化して、ネットワーク１４０上の通信のためにそれをトランシーバ１１６に提供する。
この例では、復号器装置１５０は、メモリ１５４およびトランシーバ１５６に結合されたプロセッサ１５２を備える。プロセッサ１５２は、汎用プロセッサおよび／もしくはデジタル信号プロセッサならびに／または特定用途向けハードウェアプロセッサのうちの１つまたは複数を含み得る。メモリ１５４は、固体もしくはディスクベースの記憶装置または任意の読取り可能および書込み可能なランダムアクセスメモリ装置のうちの１つまたは複数を含み得る。トランシーバ１５６は、ネットワーク１４０上でマルチメディアデータを受信して、復号のためにそれをプロセッサ１５２に利用可能にするように構成される。一例では、トランシーバ１５６は無線トランシーバを含む。ネットワーク１４０は、有線通信システムまたは、イーサネット（登録商標）、電話（例えば、ＰＯＴＳ）、ケーブル、電力線、および光ファイバシステムのうちの１つまたは複数を含む無線通信システム、ならびに／または、符号分割多元接続（ＣＤＭＡまたはＣＤＭＡ２０００）通信システム、周波数分割多元接続（ＦＤＭＡ）システム、ＧＳＭ（登録商標）／ＧＰＲＳ（ジェネラルパケットラジオサービス）／ＥＤＧＥ（拡張データＧＳＭ環境）などの時分割多元接続（ＴＤＭＡ）システム、ＴＥＴＲＡ（地上基盤無線（Terrestrial Trunked Radio））移動体電話システム、広帯域符号分割多重接続（ＷＣＤＭＡ（登録商標））システム、ハイデータレート（high data rate）（１ｘＥＶ−ＤＯまたは１ｘＥＶ−ＤＯゴールドマルチキャスト）システム、ＩＥＥＥ８０２．１１システム、メディアＦＬＯシステム、ＤＭＢシステム、直交周波数分割多元接続（ＯＦＤＭ）システム、またはＤＶＢ−Ｈシステムのうちの１つまたは複数を備える無線システム、のうちの１つまたは複数を備え得る。
無線チャネルは、ランダムビット誤り(random bit errors)とバースト誤り(burst errors)の両方を経験するため、誤り回復は、これらの誤りタイプの両方を効果的に処理するように設計される。統合多層誤り制御システムを使用することによって、両方のタイプの誤りタイプが効果的に処理され得ることが判明している。例えば、１つもしくはいくつかの画素を含めて、または１つもしくは複数の物理層パケット（ＰＬＰ）の損失すら含めて、隔離されたビデオ部分に影響を及ぼすランダムビット誤りは、アプリケーション層で空間的または時間的な誤り隠蔽を使用することによって効果的に処理され得ることが判明している。しかし、結果として複数の連続ＰＬＰの損失をまねくバースト誤りは、下で議論されるように、トランスポート層内および同期層内に埋め込まれた誤り制御モジュールの助けを用いてより効果的に処理されることが可能である。
図２は、図１に例示されたようなシステム内の符号器装置１１０内および復号器装置１５０内のクロスレイヤ誤り制御システムを含めて、タスクを分割するために使用される多層プロトコルスタックの例のブロック図である。図１および２を参照すると、符号器装置１１０および復号器装置１５０などの通信装置は、処理タスクを分布するために使用される多層プロトコルスタックを使用することが可能である。符号器装置１１０内および復号器装置１５０内の上位層構成要素は、例えば、ビデオもしくは音声の符号器および／または復号器など、複数のアプリケーションを含み得る。いくつかの実施形態は、同時に復号されなければならない情報の複数のストリームを含み得る。これらの場合、複数のストリームの同期化タスクも、上位層構成要素内で実行されることが可能である。符号器装置１１０内で、上位層構成要素は、符号化されたタイミング情報を、無線および／または有線ネットワーク１４０上で送信されるビットストリームの中に提供することが可能である。復号器装置１５０内で、上位層構成要素は、関連するアプリケーションがおよそ同時に情報の複数のストリームを復号するように、情報の複数のストリームを解析することが可能である。
符号器装置１１０の上位層構成要素は、アプリケーション層２０５および同期層２１０のうちの１つまたは複数の中で分布される。符号器装置１１０の下位層構成要素は、トランスポート層２１５、ストリームおよび／または媒体アクセス制御（ＭＡＣ）層２２０、および物理層２２５のうちの１つまたは複数の中に分布される。同様に、復号器装置１５０の上位層構成要素は、アプリケーション層２３０および同期層２３５のうちの１つまたは複数の中で分布される。復号器装置１５０の下位層構成要素は、トランスポート層２４０、ストリームおよび／または媒体アクセス制御（ＭＡＣ）層２４５、ならびに物理層３５０のうちの１つまたは複数の中に分布される。当業者は、これらの層を認識して、それらの間の様々なタスクの割当てに精通するであろう。ここで使用される場合、用語「上位層(upper layer)」および「下位層(lower layer)」は相対語(relative terms)である点に留意されたい。例えば、同期層２３５は、アプリケーション層２３０に関して下位層と呼ばれる場合があるが、トランスポート層２４０に関して上位層と呼ばれる場合もある。
符号器装置１１０内の誤り耐性システム(error resilience system)２５５は、この例では、各層の全域で提供される。符号器装置１１０内の下位層構成要素は、誤り耐性を提供するために様々な方式を含み得る。下位層構成要素内で提供されるそのような誤り耐性方式は、誤り制御コーディング方式、インタリーブ方式、および当業者に知られている他の方式のうちの１つまたは複数を含み得る。復号器装置１５０内の下位層構成要素は、誤りの検出および訂正を可能にする、対応する誤り復号構成要素を含み得る。有線および／または無線ネットワーク１５０上でもたらされるいくつかの誤りは、復号器装置１１０の下位層構成要素によって訂正可能でない可能性がある。訂正可能でないそれらの誤りの場合、符号化装置１０５の下位層構成要素による破壊構成要素の再送信を要求することなどの解決法は、場合によっては実行可能でない可能性がある。
符号器装置１５０の上位層構成要素は、マルチメディアデータのパケット化に関して、通信の様々な層に関係するヘッダ内に記述的情報を添付することが可能である。いくつかの例では、パッケット化は、データの複数のストリームが符号化プロセス内で分割（解析）されて、復号の間に、符号器の様々な層によって加えられたヘッダ情報を少なくとも一部使用して、再組立されることを可能にするために、様々なレベルで実行される。例えば、同期層２１０は、複数のタイプのパケットを同時に復号することが可能な複数の復号器構成要素とリンクされている複数のタイプのパケットを識別するヘッダ情報を加えることが可能である。同期層のヘッダ情報は、データ系列時間、データ系列期間、宛先復号器構成要素（例えば、音声、ビデオおよびクローズドキャプション）、フレーム番号、パケット番号ならびに他の情報を識別するフィールドを含み得る。同期層パケットは、いくつかの例では、可変長であり得る。これは、例えば、可変長コーディング方式を含むデジタル圧縮方式など、様々なコーディング方式に起因する可能性がある。
トランスポート層２１５も、トランスポートヘッダ内のトランスポート層パケットに記述的情報を添付することが可能である。トランスポート層パケットは、様々な誤りコーディング方式、変調方式および固定長のパケットを使用する他の方式をサポートするために、固定長であり得る。トランスポートヘッダは、単一の同期層パケットから解析されたトランスポート層パケットの数を識別する情報を含み得る。同期層パケットが可変長である場合、データを含むために必要とされるトランスポート層パケットの数も同様に可変であり得る。
一態様では、トランスポートヘッダおよび／または同期ヘッダ内に含まれる情報の少なくともいくつかは、ディレクトリ内に含まれることが可能である。ディレクトリは、アプリケーション層２０５、同期層２１０、トランスポート層２１５など、様々な層に関係するヘッダ情報を含み得る。ディレクトリは、復号器に通信されることが可能である。情報は、誤って受信された誤ったパケットのサイズを識別すること、再同期化するために次の利用可能なパケットを識別することなどを含めて、様々な誤りからの回復の際に復号器装置によって使用されることが可能である。ヘッダディレクトリからのヘッダ情報は、データストリーム内の失われたまたは誤った原ヘッダ情報を置き換えるために使用され得る。ヘッダディレクトリに関するさらなる詳細は、２００６年９月２５日に出願され、ここでの譲渡人に譲渡され、参照によりここに明示的に組み込まれている、「Ｈ．２６４および他の変換符号情報の高効率部分復号を可能とするビデオ符号化方法(VIDEO ENCODING METHOD ENABLING HIGHLY EFFICIENT PARTIAL DECODING OF H.264 AND OTHER TRANSFORM CODED INFORMATION)」と題された出願第１１／５２７，０２２号において、見られることができる。
符号器装置１５０内の誤り回復システム(error recovery system)２６０は、この例では、各層の全域で提供される。復号器装置１５０は、誤り回復を提供するために様々な方式を含み得る。そのような誤り回復方式は、（リードソロモンコーディング(Reed-Solomon coding)および／またはターボコーディング(Turbo-coding)など）より低いレベルの誤り検出構成要素および誤り訂正構成要素ならびに下位層方法によって訂正可能でないデータを置き換えるおよび／もしくは隠蔽するために使用される上位層誤り回復方式ならびに／または誤り隠蔽方式を含み得る。アプリケーション層２３０内の様々な誤り回復構成要素は、同期層２３５およびトランスポート層２４０などの下位層に利用可能な情報から利益を得ることが可能である。情報は、トランスポート層ヘッダ、同期層ヘッダ、ヘッダディレクトリが利用可能である場合はヘッダディレクトリの中に含まれることが可能であり、または受信データの評価に基づいて復号器で生成されることも可能である。
上記に述べられたように、符号器装置１１０内の誤り耐性システム２５５、および復号器装置１５０内の誤り回復システム２６０は、ここで誤り制御システムと呼ばれる、終端間の統合多層誤り検出、再同期化および回復機構を形成する。誤り制御システムの詳細が次に議論される。
図１および２に示される符号器装置１１０または復号器装置１５０の１つまたは複数のエレメントは、省略、再構成、分割および／または組合せされることが可能である点に留意されたい。
図３Ａは、図１に例示されるようなシステム１００などのシステム内で使用され得る復号器装置１５０の態様を例示する機能的なブロック図である。この態様では、復号器１５０は、受信機エレメント３０２と、情報オーガナイザエレメント３０４と、誤り制御決定エレメント３０６と、マルチメディア復号器エレメント３０８とを備える。
受信機３０２は、符号化されたビデオデータ（例えば、図１の符号器１１０によって符号化されたデータ）を受信する。受信機３０２は、図１のネットワーク１４０など、有線ネットワーク上または無線ネットワーク上で符号化されたデータを受信することが可能である。一態様では、受信データは、ソースマルチメディアデータを表す変換係数を含む。変換係数は、近接サンプルの相関がかなり削減される領域内に変換される。例えば、画像は、通常、空間領域内に高度の空間的相関を示す。他方で、変換された係数は、通常、互いに直交であり、ゼロの相関を示す。マルチメディアデータのために使用され得る変換のいくつかの例は、ＤＣＴ（離散コサイン変換）、ＤＦＴ（離散フーリエ変換）、アダマール（またはウォルシュアダマール）変換、離散ウェーブレット変換、ＤＳＴ（離散的サイン変換）、ハール変換、スラント変換、ＫＬ（カルヒューネン−ルーヴェ(Karhunen-Loeve)）変換、およびＨ．２６４で使用されるものなどの整数変換(integer transforms)を含むが、これらに限定されない。変換は、マルチメディアサンプルの行列またはアレーを変換するために使用される。２次元行列が通常使用されるが、１次元アレーも使用され得る。
受信データは、符号化されたブロックがどのように符号化されたかを示す情報も含む。そのような情報は、動きベクトルおよびフレーム系列番号などのインターコーディング参照情報と、ブロックサイズ、および空間予測指向性インジケータ(spatial prediction directivity indicators)などを含むイントラコーディング参照情報とを含み得る。いくつかの受信データは、ある数のビットによって各変換係数がどのように概算されたかを示す量子化パラメータと、変換された行列内のいくつの変換係数が非ゼロであるかを示す非ゼロインジケータなどを含む。
情報オーガナイザエレメント３０４は、ビットストリームからマルチメディアデータに関する記述的情報を収集する。一態様では、情報オーガナイザ３０４は、さらなる処理のためにトランスポートヘッダおよび同期層ヘッダのデータを解釈する。トランスポートヘッダは、フレーム境界およびスーパーフレーム境界を決定するために処理されることが可能であり、スーパーフレームは、通常、独立して復号可能であるフレームのグループである。スーパーフレームは、約０．２秒から約２．０秒にわたる固定期間を網羅するフレームを含み得る。スーパーフレームサイズは、合理的な獲得時間を可能にするために選択されることが可能である。トランスポートヘッダは、フレーム長と、ビットストリーム内へのフレームのバイトオフセットとを決定し、ストリーム／ＭＡＣ層から受信された誤ったＰＬＰを処理するために処理されることも可能である。同期層ヘッダは、フレーム番号を抽出して、基フレームおよび拡張フレームを解釈するため、誤りの場合、プレゼンテーションタイムスタンプを補間するために要求されるフレームレートを抽出するため、および／またはフレームを補間して、フレームレートアップコンバージョン(Frame Rate Up Conversion)（ＦＲＵＣ）のプロセスを通じて補間されたフレームに関してＰＴＳを引き出すために処理されることが可能である。同期ヘッダは、関連する音声フレームと同期化する目的でビデオフレームに関してプレゼンテーションタイムスタンプを抽出するため、および結果として、復号器内の同期化の損失をもたらす誤りの場合、次の再同期化ポイントを印す目的でランダムアクセスポイント位置を抽出するために処理されることも可能である。情報オーガナイザ３０４は、ヘッダディレクトリが利用可能である場合、上で議論されたように、ヘッダディレクトリから情報を収集することも可能である。
ヘッダおよびヘッダディレクトリから情報を収集することに加えて、情報オーガナイザ３０４は、ビデオデータに関する記述的情報を生成することも可能である。データのどの部分が誤っているかを識別するために、様々なヘッダチェックサム、ペイロードチェックサム、および誤り制御方式がすべて使用され得る。生成された情報は、データのこれらの誤った部分を識別するデータを含み得る。誤りデータは、誤り分布尺度または誤り率尺度であり得る。誤りデータは、フレームレベルから、スライスレベル（スライスは画素の符号化されたブロックのグループである）、画素ブロックレベル、またはしかも画素レベルまで、任意のレベルで編成されることが可能である。誤ったデータに関するこれらのタイプの記述的情報は、誤りを位置測定して、誤りの範囲を確立するために使用されことが可能である。情報オーガナイザ３０４によって識別、編集、収集、維持、フラッグまたは生成され得る情報タイプの詳細は下で説明される。
一態様では、誤り制御決定エレメント３０６は、マルチメディアデータを処理することに関係する命令を提供するために、情報オーガナイザ３０４によって収集および／または生成された（例えば、表の形で記録された）記述的情報を使用する。誤り制御決定エレメント３０６は、誤りを位置測定して、ビデオのどの部分が影響されるか、およびどの程度これらの部分が誤っているかを確立するために、記述的情報を分析する。この情報を使用して、誤り制御決定エレメント３０６は、誤り状態を処理するための誤り制御方法を決定することが可能である。別の態様では、誤り制御決定エレメント３０６は、上位層からフィードバック情報を受信する。フィードバック情報は、上位層内でマルチメディアを処理することに関連する情報を含み得る。フィードバック情報は、上位層に渡された記述的情報内で不正確だった情報を含み得る。この情報は、下位層内に記憶された表を訂正するために使用されることが可能である。加えて、フィードバック情報は、処理時間、処理動作、処理状態および他の情報を含み得る。このタイプの情報は、上位層にどのように命令するかを決定する際に、誤り制御決定エレメント３０６によって分析されることが可能である。
誤り制御決定エレメント３０６は、マルチメディアが上位層に転送された場合、上位層がマルチメディアデータをどのように処理すべきかについて決定するために、収集した情報を分析する。この決定は、いくつかの誤り制御方法のうちの１つまたは複数を選択することを含み得る。誤り制御方法は、ビデオデータの誤った部分の空間的および／または時間的な誤り隠蔽を含み得る。誤り制御方法は、上位層アプリケーションに利用可能なコンテキストまたは他の情報に基づいて、何らかの方法で救われるように誤ったデータが分析される、誤り回復技術も含み得る。使用され得る時間的な誤り隠蔽の極端な形態はフレームレートアップコンバーション、すなわちＦＲＵＣとして知られる。ＦＲＵＣは、他のフレーム（通常、構築されるようにそのフレームをストラドルする(straddle)２個のフレーム）に基づいて、新しいフレームを構築する。データの誤った部分が管理可能なレベル（例えば、フレームの部分、単一のフレーム、または状態に応じて隠蔽可能であると決定されるいくつかのフレーム）である場合、誤り制御決定エレメント３０６は、空間的および／時間的な誤り隠蔽、誤り回復またはＦＲＵＣ、ならびに他の誤り制御方式を使用するように上位層に命令することができる。しかし、誤ったデータの範囲が広すぎる場合、誤り制御エレメントは、誤った部分の復号を飛び越すよう上位層に命令することができる。上位層にどのように命令するかを決定する際に、誤り制御決定エレメント３０６によって使用される詳細は下で議論される。
マルチメディア復号器エレメント３０８は、音声、ビデオ、クローズドキャプションなどを含み得る、マルチメディアビットストリームの復号に関係する機能を実行する。マルチメディア復号器は、データを符号化するために使用される符号化演算に対応する逆演算を実行する。符号化されたデータは、インターコーディングされたデータ（例えば、一時的に予測されるデータ）および／またはイントラコーディングされたデータであり得る。図２を参照すると、マルチメディア復号器３０８によって実行される機能は、トランスポート層２４０、同期層２３５、およびアプリケーション層２５０などの多層で実行されることが可能である。トランスポート層機能は、誤りを訂正して、訂正不可能な誤りを識別するために使用される誤り検出方式および誤り訂正方式を含み得る。識別された訂正不可能な誤りは、上で議論されたように、記述的情報内の包括のために、情報オーガナイザ３０４に通信されることが可能である。同期層機能は、すべての同期データが復号される状態になるまで、複数のビットストリームの受信データをバッファリングすることを含み得る。その時点で、受信データは近同時復号(near simultaneous decoding)のためにアプリケーション層の復号器に転送される。アプリケーション層機能は、音声、ビデオおよびクローズドキャプションのビットストリームの復元を含み得る。様々な復元機能は、ビデオデータの再構築のために使用される逆量子化、および逆変換を含み得る。一態様では、ビデオ復号器エレメント３０８のアプリケーション層は、情報オーガナイザ３０４および誤り制御決定エレメント３０６が上で議論された機能を実行した後で、復号順に、ビデオフレーム（一度に１個のフレーム）を受信する。
いくつかの態様では、図３Ａの復号器１５０の１つまたは複数のエレメントは、省略、再構成および／または組合せされることが可能である。エレメントは、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコードまたはそれらの任意の組合せによって実施されることが可能である。復号器１５０のエレメントによって実行される動作の詳細は、下で図５Ａ〜５Ｃに例示される方法を参照して議論される。
図３Ｂは、図１に例示されるようなシステム内で使用され得る復号器装置のコンピュータプロセッサシステムの例を示すブロック図である。この例の復号器装置１５０は、プリプロセッサエレメント３２０と、ランダムアクセスメモリ（ＲＡＭ）エレメント３２２と、デジタル信号プロセッサ（ＤＳＰ）エレメント３２４と、ビデオコアエレメント３２６とを含む。
一態様では、プリプロセッサ３２０は、図３Ａの様々なエレメントによって実行される１つまたは複数の動作を実行するために使用される。プリプロセッサは、ビデオビットストリームを解析して、データをＲＡＭ３２２に書き込む。加えて、一態様では、プリプロセッサ３２０は、情報オーガナイザ２３４、誤り制御決定エレメント３０６およびマルチメディア復号器３０８の前処理部分（例えば、誤り隠蔽、誤り回復など）の動作を実施する。これらをより効率的に実行することによって、非常に効率的なビデオコア３２６内で、プリプロセッサ３２０内で演算的により集中的でない動作、演算的により集中的なビデオ復号が適宜順序で行われ得る。
ＤＳＰ３２４は、ＲＡＭ３２２内に記憶された解析ビデオデータを取り出して、その解析ビデオデータをビデオコア３２６によって処理されるものと認識する。ビデオコア３２６は、（再基準化または基準化としても知られている）逆量子化、逆変換機能およびブロック分解機能ならびに他のビデオ復元機能を実行する。ビデオコアは、通常、極めて最適化されたパイプライン型の形で実施される。このため、ビデオデータが適宜順序で復号される場合、ビデオデータは最大速度で復号されることが可能である。プリプロセッサ内で適切でない解析、誤り検出、情報編成および誤り制御を実行することによって、ビデオコア内の復号に関して適宜順序が維持され、改善された全体的な復号性能を可能にする。
上で議論されたように、情報オーガナイザエレメント３０４は、記述的情報を収集して、それを表に編成し、誤り制御の目的で、その表を上位層に転送することが可能である。記述的情報の１つのソースは、様々なパケット化層のパケットに添付された様々なヘッダである。図４は、多層パケット化方式の例を示す。この例示的なパケット化方式は、誤り制御システムのいくつかの態様を説明するために使用されるが、他のパケット化方式も使用され得る。トランスポート層および同期層は、フレーミングプロトコルおよびチェックサムプロトコルである。これらは、例えば、スーパーフレーム（選択された数の処理フレーム）レベル、ビデオアクセスユニット（ＶＡＵ）レベル、またはＰＬＰレベルを含めて、様々な層で誤りを検出するために階層的機構を提供する。したがって、これらのレベルのいずれかまたはすべてで効果的な誤り位置測定が実行され得る。単一のビデオフレームを備えるＶＡＵは、同期層パケットより上のアプリケーション層で追加レベルのインテグリティチェックを提供する。
この例では、アプリケーション層パケット４０５Ａおよび４０５Ｂは、固定長および／または可変長のパケットであり得る。アプリケーション層パケット４０５Ａおよび４０５Ｂは各々、完全なビデオフレームまたはＶＡＵであり得る。同期層は、同期層ヘッダ（ＳＨ）４１０を各アプリケーション層パケット４０５Ａおよび４０５Ｂに添付し、結果として、同期層パケット４０６Ａおよび４０６Ｂをもたらす（図４の同期層パケット４０６Ａおよび４０６Ｂは、同期層ヘッダ４１０とアプリケーション層パケット４０５Ａおよび４０５Ｂとをそれぞれ含む）。同期層パケット４０６Ａおよび４０６Ｂは、次いで、トランスポート層内に入力される。この例では、トランスポート層パケットは固定長である。トランスポート層は、同期層パケットをトランスポート層パケットサイズに対応する部分に分解して、トランスポート層ヘッダ（ＴＨ）４１５を結果として生じるトランスポート層パケットに添付する。トランスポート層は、各同期層パケット（図示せず）にフレームチェックサム（ＦＣＳ）を添付することも可能である。ＦＣＳは、同期層パケット内の誤りを検出するために使用され得る。この例では、アプリケーション層パケット４０５Ａを備える同期層パケット４０６Ａは、２個のトランスポート層パケット４２０Ａおよび４２０Ｂに分割され、パケット４２０Ｂは、同期層パケット４０６Ａの残りの部分４２５Ｂと、同期層パケット４０６Ｂの第１の部分４２５Ｃとを含む。この例では、追加のトランスポート層ヘッダ４１５は、次の同期層パケット４０６Ｂの開始に先行するトランスポート層パケット４２０Ｂの部分４２５Ｃに添付される。第３のトランスポート層パケット４２０Ｄは、同期層パケット４０６Ｂの次の部分４２５Ｄを含む。
同期層ヘッダ４１０およびトランスポート層ヘッダ４１５は、復号器が同期層パケットおよびアプリケーション層パケットを再組立することを可能にすることに関する類似の情報を含み得る。ヘッダは、パケットサイズ、パケット番号、パケット内のヘッダの位置、データ系列時間、データ系列期間、フレーム時間、フレーム番号、ランダムアクセスポイントフラッグ、グループ内のフレームレートおよび／または関連するパケット数などの情報を含み得る。加えて、ヘッダ情報は、ビデオビットストリーム、音声ビットストリーム、および／またはクローズドキャプションビットストリームに属するとして関連するパケットを識別するストリーム識別情報を含み得る。トランスポート層ヘッダおよび同期層ヘッダの特定の例が次に議論される。
トランスポート層の１つの機能は、ストリーム／ＭＡＣ層のオクテットベースのサービス上でパケットサービスを提供することである。トランスポート層は、物理層の誤りが存在する場合、そのペイロードパケット（図４に示される例ではＶＡＵ）の境界を決定するための機構も提供する。トランスポート層に関連して、複数のフレーミングプロトコルが使用され得る。トランスポート層に関連するフレーミングプロトコルは、アプリケーション層内で復号器に引き渡されることになるパケットを作成するために、そのペイロードパケットを組み合わせるための規則を特定する。フレーミングプロトコルは、ＰＬＰ誤りと、結果として生じる、復号器によって期待され得る動作を処理するための規則も特定する。
トランスポート層ヘッダ４１５内のいくつかのフィールドの例示的な形態が表１に提示される。この例では、フレーミングプロトコル規則は１２２バイトの固定長ＰＬＰを規定する。ペイロード（この例では、ＶＡＵ）の開始および終了を示すことに加えて、トランスポートヘッダは誤ったＰＬＰを上位層に伝えるためにも使用される。
表１のトランスポートヘッダは１バイトの長さである。７ビットの「長さ」フィールドは、ペイロードの長さをバイトで示し、０バイトから１２１バイトの範囲を有する（ＰＬＰは１２２バイトの長さで、ヘッダは１バイトであるため、最大値は１２１である）。１に設定されている「最終」フィールドは、このトランスポート層パケットがＶＡＵの最終断片を含むことを示す。この例では、（チェックサムおよび／または誤り訂正方式のうちの１つまたは複数によって決定されるように）ＰＬＰが誤っていると決定された場合、トランスポート層は、「長さ」フィールドの値を１２２に設定し、ＰＬＰ全体が転送された上位層にとって使用不可能としてＰＬＰ全体を印す。
同期層ヘッダ４１０内のいくつかのフィールドの例示的な形態が表２に提示される。同期層パケットは、ビデオに関するトランスポート層向けのペイロードを形成する。一例では、ビデオのフレームは同期層パケットを形成する。表２に示される例では、同期層パケットヘッダ４１０は、４バイトの固定ヘッダであり、対応する同期層パケットは、１つのビデオフレームに対応する可変長のペイロードである。表２の同期ヘッダフィールド内に含まれる情報は、ビデオフレームタイプ、フレームレート、プレゼンテーションタイムスタンプ、ランダムアクセスフラッグ、スーパーフレーム内のフレーム番号、およびデータが基層ビットストリームに関連するかまたは拡張層ビットストリームに関連するかなどの情報を含み得る。
Ｓｔｒｅａｍ＿ＩＤフィールドは、ペイロードデータと関連づけられる複数のマルチメディアストリーム（例えば、音声データ、ビデオデータ、クローズドキャプションデータなど）のうちの１つを示すために使用される。ＰＴＳフィールドは、音声、ビデオなどを同期化するために使用され得る提示時間を示すために使用される。Ｆｒａｍｅ＿ＩＤフィールドは、巡回フレーム番号（例えば、フレーム０〜１２７を表す７ビット）部分と、データが基層データであるかまたは拡張層データであるかを示す拡張ビットとを含む。拡張性のあるコーディングが使用されない場合、拡張ビットは省略され得る。ＲＡＰ＿ＦＬＡＧフィールドは、フレームがランダムアクセスポイントとして復号装置によって使用され得るかどうかを示すために使用される。ランダムアクセスポイントは、任意の他のこれまでのもしくは将来のフレームまたはビデオの他の部分を参照せずに復号されることが可能である。ＦＲＡＭＥ＿ＲＡＴＥフィールドは、複数の可能なフレームレートのうちの１つを示す。フレームレートは、毎秒約１５フレーム以下から毎秒約６０フレーム以上にわたる範囲であり得る。「予約」フィールドは、当業者が有利と見出す可能性がある、他の種類の情報を通信するために使用されることが可能である。
トランスポートヘッダ情報および同期ヘッダ情報に加えて、情報オーガナイザエレメント向けの記述的情報の別のソースは、上で議論されたように、ヘッダディレクトリであり得る。ヘッダディレクトリは、一例では、ビデオおよび／または音声のビットストリームから分離された、追加情報として送信される複写されたヘッダ情報の表である。表３に列挙されたようなヘッダディレクトリ情報。
ヘッダディレクトリは、可変長のペイロードとして送信されることが可能である。情報の多くは、パケット化方式の様々なヘッダ内の情報（例えば、フレームレート、プレゼンテーションタイムスタンプ、ランダムアクセスポイント）の複写である。しかし、追加の情報が含まれることが可能である。そのような追加の情報は、スーパーフレーム内のＢフレームの位置を示すＢ＿ＦＲＡＭＥ＿ＦＬＡＧ＿ＢＩＴＳフィールドを含み得る。スーパーフレームは、通常、イントラコーディングされたフレームなど、独立して復号可能なフレームで始まる。スーパーフレーム内の他のフレームは、通常、（ここで、Ｐフレーム部分または単にＰフレームと呼ばれる）単方向予測部分と、（ここで、Ｂフレーム部分または単にＢフレームと呼ばれる）双方向予測部分とを備える。表３の例では、スーパーフレーム内のランダムアクセスポイントは、ＲＡＰ＿ＦＬＡＧ＿ＢＩＴＳフィールドにマップされる。
ヘッダディレクトリは、ヘッダ情報と、スーパーフレーム内のいくつかのフレーム（例えば、Ｂフレーム）の部分に関する追加の情報とを提供する。この情報は、失われた（誤りによって失われた）ヘッダ情報を置き換えるため、ならびに、情報オーガナイザエレメント３０４が、そうでなければ識別されることが不可能なデータの誤った部分のありそうな識別性を決定することを可能にするために使用され得る。
図５Ａは、図１に例示されるようなシステム内でマルチメディアデータを処理する方法の例を示すストリーム図である。プロセス５００は、復号器装置が符号化されたマルチメディアデータを受信するブロック５０５で始まる。符号化されたマルチメディアデータは、マルチメディアデータのビットストリームに関連する圧縮されたデータの形であり得る。復号器装置は、図１に示されるネットワーク１４０など、有線および／または無線ネットワーク上でマルチメディアデータを受信することが可能である。マルチメディアデータは、音声、ビデオ、クローズドキャプションなどを含むが、それらに限定されない、複数の同期ビットストリームおよび／または非同期ビットストリームを備え得る。マルチメディアデータは、アプリケーション層パケット、同期層パケットおよびトランスポート層パケットを含めて、複数のパケット化層を備え得る。多層は各々、上で議論されたようなヘッダ情報を含み得る。ヘッダ情報は、上の表１および２に列挙されたような情報を含み得る。ビデオデータは、画素のフレーム、スライス、ブロックなど、部分単位で構成されることが可能である。フレームは、複数のフレームのスーパーフレーム内にグループ化されることが可能である。受信されたマルチメディアデータは、上で議論されたようにヘッダディレクトリも含み得る。受信されたマルチメディアデータは、基層および拡張層など、拡張性のある層内で符号化されることが可能である。ヘッダディレクトリは表３に列挙されたような情報を含み得る。図３Ａの復号器装置１５０の受信機エレメント３０２は、ブロック５０５で機能を実行することができる。
ブロック５０５でマルチメディアデータを受信した後、プロセス５００は、復号器装置が受信されたマルチメディアデータに関する記述的情報を編成するブロック５１０に進む。図３Ａを参照して上で議論されたように、情報オーガナイザエレメント３０４は、ブロック５０５で、ビットストリームからマルチメディアデータに関する記述的情報を収集する。トランスポートヘッダは、フレーム境界およびスーパーフレーム境界を決定するために処理されることが可能である。トランスポートヘッダは、フレーム長と、ビットストリーム内へのフレームのバイトオフセットとを決定するために処理されることも可能である。同期層ヘッダは、フレーム番号を抽出して、（例えば、拡張可能な符号化されたビットストリームに関して）基フレームおよび拡張フレームを解釈するため、フレームレートを抽出するため、および／またはフレームに関してＰＴＳを補間および引き出すために処理されることが可能である。同期ヘッダは、プレゼンテーションタイムスタンプを抽出するために、またはランダムアクセスポイントを抽出するために処理されることも可能である。ブロック５１０で識別、編集、収集、維持、フラッグまたは生成された情報は、ヘッダディレクトリがブロック５０５で受信される場合、上で議論されたように、ヘッダディレクトリから取得されることも可能である。
ブロック５１０で編成された記述的情報は、誤ったデータに関係する情報も含み得る。誤りデータは、誤り分布尺度または誤り率尺度を含み得る。誤りデータは、フレームレベルから、スライスレベル（スライスは、画素の符号化されたブロックのグループである）、画素ブロックレベルまたはしかも画素レベルまで、任意のレベルで編成されることが可能である。誤ったデータに関するこれらの種類の記述的情報は、誤りを位置決定して、誤りの範囲を確立するために使用され得る。ブロック５１０で編成され得る記述的情報の表の例が次に議論される。
表４は、ブロック５１０で生成され得るフレーム情報表の例を列挙する。類似の表は、画素のスライス、ブロックなど、他のレベルで編成されることも可能である。
フレーム番号フィールド、（例えば、基または拡張）層フィールド、フレーム長フィールド、ＰＴＳフィールド、フレームタイプフィールド、ＲＡＰ＿ＦＬＡＧフィールドは、誤りがないと知られている同期層ヘッダから取得されることが可能である。これらのフィールドは、ブロック５０５でヘッダディレクトリが受信された場合、ヘッダディレクトリからも取得され得る。（例えば、同期ヘッダの破壊により）いくつかの誤ったフレームが連結される場合、フレーム長フィールドは、連結されたフレームの総バイト数に等しい値に設定されることが可能である。フレームタイプフィールドは、例えば、Ｉフレーム、Ｐフレーム、またはＢフレームを示すために使用され得る。これらのフィールドのうちのいくつかは、データの破壊により充填され得ない可能性がある。
ＰＬＰ誤り分布フィールドは、検出されたフレーム内の誤ったデータの位置に関係する記述的情報を提供するために使用される。各フレームは、図４を参照して上で議論されたように、いくつかのＰＬＰで構成され得る。「Ｅｒｒｏｒ＿ｄｉｓｔ＿ｎ」変数は、ＰＬＰのどの部分が誤ったデータを含むかの指示を含む。誤り分布を示すいくつかの方法が使用され得る。例えば、誤り分布は、最高でフレームの１６分の１の部分まで切り上げられて、２バイトの「Ｅｒｒｏｒ＿ｄｉｓｔ＿ｎ」変数によって表されることが可能である。２バイトの変数の各ビンまたは各ビットは、フレームの１６分の１の部分に関する誤ったＰＬＰの存在を示す。１の値は、その範囲に関して誤ったＰＬＰが存在することを示し、０は誤りのないＰＬＰ部分を示す。いくつかのフレームが一緒に連結される場合、ＰＬＰ誤り分布は、連結されたフレーム内のすべてのＰＬＰの総誤り分布を捕捉する。プロセス５００内のこの時点で、表４内に列挙されたフレーム情報表の最終フィールド、すなわち「動作(Action)」は完了しておらず、フレーム情報表内に含まれる他の情報に基づいてブロック５１５で決定されることが可能である。フレーム情報表は、図１の復号器装置１５０のメモリエレメント１５４内に記憶され得る。図３Ａの復号器装置１５０の情報オーガナイザ３０４は、ブロック５１０で機能を実行することができる。
ブロック５１０で記述的情報を編成した後で、プロセス５００は、復号器装置が、第２の層内でマルチメディアデータを処理することに関係する命令を提供するブロック５１５に進む。第２の層は、上位層または下位層であり得る。上で議論された例は、上位層（例えば、アプリケーション層）に命令を提供する下位層（例えばトランスポート層および／または同期層）に関係した。しかし、下で議論される方法は、上位層は上位層で取得された記述的情報に基づいて下位層に命令を提供することも可能であることを示す。
一態様では、復号器装置は、誤り制御の方法が別の層（例えば、アプリケーション層）内で実行されるように命令を提供する。誤り制御の方法は、様々な誤り回復技術を含み得る。誤り回復技術では、誤ったデータ内に含まれた変数の値を救うことが試みられる。これらの方法は、系列層パケットのフレームペイロードのサイズを識別するために、上で議論されたヘッダディレクトリがブロック５０５で受信される場合、当該ヘッダディレクトリを使用することを含み得る。ヘッダディレクトリは、符号化の種類、トランスポート層パケットの数およびサイズ、タイミング情報などを識別する情報を含み得る。
実行され得る誤り制御の別の形は、誤り隠蔽である。誤り隠蔽技術は、通常、すでに受信および／または復号された他の画素値から画素値を推定することを伴う。誤り隠蔽技術は、時間的および／または空間的な隠蔽を使用することが可能である。例えば、Ｐフレームの一部が誤っている場合、誤り隠蔽は、すでに復号されたこれまでのフレームに基づいて、時間的隠蔽となるよう選択され得る。Ｂフレームの一部が誤っている場合、２つの受信および／または復号された他のフレームからの時間的予測が使用され得る。
実行され得る誤り制御の別の形はＦＲＵＣである。ＦＲＵＣ技術では、フレーム全体が１つまたは複数の他のフレームに基づいて構築される。ＦＲＵＣ技術は、フレームの一部に関して使用されるそれらの技術に類似した時間的隠蔽技術を使用することが可能であるが、単にフレーム全体に対して実行される。
一態様では、図３Ａの復号器装置１５０の誤り制御決定エレメント３０６は、ブロック５１５で動作を実行する。誤り制御決定エレメント３０６は、様々な誤り制御技術のうちのどれが実行されることが推奨されるかを決定するために、ブロック３１０で編成された誤り分布特性を使用する。どの誤り制御技術を推奨するかを決定するための方法の詳細は下で議論される。場合によっては、誤り制御決定エレメント３０６は、いかなる誤り制御技術も実行可能でないことを決定する場合があり、１つまたは複数のフレームに関して誤り制御を飛び越すことを推奨する可能性がある。この場合、首尾よく復号された最終フレームが代わりに表示され得る。一態様では、ブロック５１５で決定される誤り制御の方法は、表３内に示されたようにフレーム情報表の「動作」フィールド内に記憶される。フレーム情報表は、誤り制御方法が実行される層に渡される。ビデオ復号器は、フレーム情報表から対応するフレームの「動作」項目を取り出して、復号プロセスを導くための起点としてそれを使用する。プロセス５００のブロックのうちのいくつかは、組合せ、省略、再構成されることが可能であり、またはそれらの任意の組合せであり得る点に留意されたい。
図５Ｂは、図１に例示されるようなシステム内でマルチメディアデータを処理する方法５２０の別の例を示すストリーム図である。方法５２０は、下位層内で図５Ａの方法５００を実行する下位層を有する復号器装置のアプリケーション層内で実行されることが可能である。
方法５２０は、マルチメディアデータが方法５２０を実行する層で受信されるブロック５２５で始まる。マルチメディアデータは、画素のフレーム、スライスまたはブロックなど、マルチメディアデータの部分であり得る。一態様では、ブロック５２５で受信されたマルチメディアデータの部分は、トランスポート層および／または同期層などの下位層で編集されて、完全な同期層パケットを形成するために、トランスポート層パケットを組み合わせる。完全な同期層パケットは、復号され得る、ビデオの完全なフレームまたはいくつかの他の部分であり得る。いくつかの態様では、ブロック５２５で受信されたマルチメディアデータの部分は、マルチメディア系列内で表示され得る順序で受信される。図１に示される復号器装置１５０のマルチメディア復号器サブシステム３０８は、ブロック５２５で動作を実行することができる。
ブロック５２５でマルチメディアデータを受信した後、プロセス５２０を実行する復号器層は、ブロック５３０で第１の層からマルチメディアデータに関する記述的情報を受信する。第１の層は、下位層（例えば、トランスポート層または同期層）であり得る。ブロック５３０で受信された記述的情報は、上で議論されたプロセス５００のブロック５１０で識別、編集、収集、維持、フラッグまたは生成され得る。ブロック５３０で受信された記述的情報は、上の表３または４内に示されたそれらの記述項などの記述項を含むフレーム情報表の形であり得る。フレーム情報表は、マルチメディアデータの処理に関係する推奨される「動作」を含み得る。図１に示される復号器装置１５０のマルチメディア復号器サブシステム３０８は、ブロック５３０で動作を行うことが可能である。
ブロック５２５でマルチメディアデータを、ブロック５３０でマルチメディアデータに関する記述的情報を受信した後で、プロセス５２０は、第２の層が受信された記述的情報に少なくとも一部基づいて、受信されたマルチメディアデータを処理するブロック５３５に進む。記述的情報が推奨される「動作」を含む場合、プロセス５２０を実行する復号器サブシステムは、推奨される動作を使用してもよく、または使用しなくてもよい。上で議論されたように、推奨される動作は、誤り回復技術、誤り隠蔽技術または復号を飛び越すことを含むが、これらに限定されない、１つまたは複数の誤り制御技術を備え得る。復号器装置は、誤り回復の間に何のデータが回復され得るかに応じて、推奨される動作に従ってよく、または従わなくてもよい。例えば、ブロック５３０で受信された記述的情報を編成した下位層プロセスは、いくつのフレームが誤ったデータのセクション内にあったかを識別することが可能でない場合がある。上位層の誤り回復技術は、誤ったデータのセクション内のフレーム数を識別することが可能であり得、フレーム情報表の「動作」フィールド内で推奨されなかったいくつかの誤り回復技術または誤り隠蔽技術を実行することを選択することが可能である。図１に示される復号器装置１５０のマルチメディア復号器サブシステム３０８は、ブロック５３５で動作を実行することができる。プロセス５２０のブロックのうちのいくつかは、組合せ、省略、再構成されることが可能であり、またはそれらの任意の組合せであり得る点に留意されたい。
図５Ｃは、図１に例示されるようなシステム内でマルチメディアデータを処理する方法５４０の別の例を示すストリーム図である。方法５４０は、復号器装置が符号化されたマルチメディアデータを受信するブロック５４５で始まる。ブロック５４５で実行される動作は、図５Ａに例示されたプロセス５００のブロック５０５で実行されるそれらのプロセスに類似し得る。図３Ａの復号器装置１５０の受信機エレメント３０２は、ブロック５４５で機能を実行することができる。
プロセス５４０の残りの動作は、下位層で実行される動作５５０と、上位層で実行される動作５７０とを含む。下位層動作５５０は、図５Ａに例示されたプロセス５００内で実行される動作のうちのいくつかに類似し得るいくつかの動作を含む。同様に、上位層動作５７０は、図５Ｂに例示されたプロセス５２０内で実行されるいくつかの動作に類似し得るいくつかの動作を含む。
図５Ｃに例示された方法５４０は、図６に示されるような多層マルチメディア復号器サブシステムなどの多層マルチメディア復号器サブシステムによって実行されることが可能である。一態様では、マルチメディア復号器６００は、トランスポート層内および同期層内に下位層メディアモジュールサブシステム６０５を備える。マルチメディア復号器６００は、アプリケーション層内に配置された上位層サブシステムも含む。メディアモジュールサブシステム６０５は、図３Ａに例示された情報オーガナイザ３０４と、誤り制御決定サブシステム３０６とを含み得る。アプリケーション層は、ビデオ復号層（ＶＤＬ）６１０と誤り制御サブシステム６１５とを含むマルチメディア復号器を含む。下位層メディアモジュールは、上向きの矢印６２０によって示されるように、上位層に記述的情報および／または命令を提供する。上位層サブシステム６１０および６１５は、矢印６２５によって示されるように、下位層にフィードバックを提供することができる。
図５Ｃを参照すると、ブロック５４５で符号化されたマルチメディアデータを受信した後、プロセス５４０は、下位層が受信されたマルチメディアデータに関する記述的情報を編成するブロック５５５に進む。ブロック５５５で実行される動作は、図５Ａに例示されたプロセス５００のブロック５１０で実行される動作に類似し得る。記述的情報は、表３および４に例示された情報など、上で議論された情報のうちのいずれかまたはすべてを含み得る。
ブロック５５５で記述的情報を編成した後で、プロセス５４０は、マルチメディアデータのプロセスに関係する命令が決定されるブロック５６０に進む。命令は、誤り分布と、ブロック５５５で編成された他の記述的情報に基づいて決定されることが可能である。加えて、下位層は、プロセス５４０内で上位層からフィードバックを受信する。フィードバックは、上位層内でマルチメディアデータを処理することに関係する情報を含み得る。フィードバックは、マルチメディアデータの特定部分の処理時間、上位層内で実行される処理動作（例えば、誤り制御動作）、および処理状態（どのフレームが復号および示されているか）などの情報を含み得る。フィードバックは、ブロック５５５で記述的情報を認識するために使用され得る。ブロック５６０でマルチメディアデータを処理することに関係する命令を決定するために使用される方法の詳細は下で議論される。図５Ａの復号器装置１５０の誤り制御決定サブシステム３０６は、ブロック５６０で動作を実行することができる。
ブロック５６５で、下位層サブシステムは、マルチメディアデータを処理することに関係する記述的情報および／または命令を上位層サブシステムに提供する。上位層サブシステムは、ブロック５７５で記述的情報および／または命令を受信する。マルチメディア復号器サブシステム３０８は、ブロック５６５および５７５で動作を実行することができる。
ブロック５７５で記述的情報および／または命令を受信した後で、プロセス５４０は、上位層サブシステムが、命令および／または記述的情報に基づいてマルチメディアデータを処理するブロック５８０に進む。ブロック５８０で実行される動作は、図５Ｂに例示された方法５２０のブロック５３５で実行されるそれらの動作に類似し得る。記述的情報が推奨される「動作」を含む場合、プロセス５４０を実行する復号器サブシステムは、推奨する動作を使用してもよく、または使用しなくてもよい。上で議論されたように、推奨される動作は、誤り回復技術、誤り隠蔽技術または復号を飛び越すことを含むが、これらに限定されない、１つまたは複数の誤り制御技術を備え得る。復号器装置は、誤り回復の間に何のデータが回復され得るかに応じて、推奨される動作に従ってよく、または従わなくてもよい。例えば、ブロック５５５で記述的情報を編成した下位層プロセスは、いくつのフレームが誤ったデータのセクション内にあったかを識別することが可能でない場合がある。上位層の誤り回復技術は、誤ったデータのセクション内のフレーム数を識別することが可能であり得、フレーム情報表の「動作」フィールド内で推奨されなかったいくつかの誤り回復技術または誤り隠蔽技術を実行することを選択することが可能である。図１に示される復号器装置１５０のマルチメディア復号器サブシステム３０８は、ブロック５８０で動作を実行することができる。
プロセス５４０は、上位層マルチメディア復号器が、上位層動作５７０内で実行された処理に基づいてフィードバック情報を用いて下位層に命令するブロック５８５に進む。フィードバックは、マルチメディアデータのいくつかの部分を復号するために必要とされる処理時間、またはデータの部分が完全に復号された処理時間を含み得る。完了した処理時間をブロック５４５で受信された新しいマルチメディアデータのプレゼンテーションタイムスタンプと比較することによって、下位層プロセスは、上位層の処理時間が過去の処理性能に基づいて遅れの指示を示す場合、一定のフレーム（例えば、Ｂフレーム）を跳び越すように上位層に命令することが可能である。下位層で受信されたフィードバック情報は、ブロック５５５で編成された記述的情報内に編成され得る。
フィードバックは、上位層で実行される処理動作に関する詳細も含み得る。例えば、フィードバックは、特定の誤り制御技術および／またはマルチメディアデータの特定のフレームまたは他の部分に関して発生した通常の復号動作を示すことが可能である。フィードバックは、処理状態（例えば成功裏のフレームの復号またはそうでないフレームの複号）も含み得る。ブロック５５５で編成されたデータ内に処理動作および処理状態のフィードバック情報を含めることによって、下位層は更新された記述的情報に基づいて、ブロック５６０で決定された命令を調整することが可能である。処理が溜まっている場合、下位層は、Ｂフレームなどの一定のフレームまたは拡張層データの復号を飛び越すように上位層に命令することが可能である。図１内に示される復号器装置１５０のマルチメディア復号器サブシステム３０８は、ブロック５８５で動作を実行することができる。プロセス５４０のブロックのうちのいくつかは、組合せ、省略、再構成されることが可能であり、またはそれらの任意の組合せであり得る点に留意されたい。
図７は、図５Ａおよび５Ｃに例示される方法でいくつかの動作を実行するために使用され得る記述的情報を編成する方法の例を示すストリーム図である。プロセス７００は、図５Ａに例示されたプロセス５００のブロック５１０でまたは図５Ｃに例示されたプロセス５４０のブロック５５５で記述的情報を編成するために実行されることが可能である。プロセス７００は、プロセス５００内のブロック５０５で受信されたマルチメディアデータのスーパーフレームが、例えば、メモリバッファ内に記憶されるブロック７０５で始まる。スーパーフレームは、通常、独立して復号可能なフレームのグループである。スーパーフレームは、約０．２秒から約２．０秒にわたる範囲の固定期間を網羅するフレームを含み得る。スーパーフレームは、構成フレームの個定数に従ったサイズであり得、それにより可変期間を有する。スーパーフレームサイズは、合理的な獲得時間を可能にするために選択されることが可能である。ブロック７０５でマルチメディアデータのスーパーフレームを記憶した後で、プロセス７００は、データが多層（例えば、基層および１つまたは複数の拡張層）を含むかどうかについて決定されるブロック７１０に進む。データの単一の層だけがスーパーフレーム内で符号化される場合、プロセス７００はブロック７１５Ａに進む。データの２つ以上の層がスーパーフレーム内で符号化される場合、プロセス７００はブロック７１５Ｂに進む。スーパーフレームヘッダは、スーパーフレーム内に多層が存在するか否かを示すフラッグを含み得る。ブロック７１５Ａまたは７１５Ｂで、フレーム情報表（ＦＩＴ）が初期化される。ＦＩＴを初期化することは、フィールドを一定の省略値に設定するために実行され得る。ＦＩＴを初期化した後で、スーパーフレームが多層を含むか否かに応じて、プロセス７００はブロック７２０Ａまたはブロック７２０Ｂに進む。いずれの場合も、オプションのヘッダディレクトリ内に含まれた情報はブロック７２０Ａまたはブロック７２０Ｂで取り込まれる。ヘッダディレクトリは、上で議論された情報のうちのいずれかを含み得る。
ＦＩＴがブロック７１５Ａまたはブロック７１５Ｂで初期化され、オプションのヘッダディレクトリがそれぞれブロック７２０Ａまたはブロック７２０Ｂで取り込まれた後で、プロセス７００は、それぞれ、ブロック７２５〜７４０またはブロック７４５〜７６０でスーパーフレームを通じたループに進む。ブロック７３０および７５０で、復号器装置は、その復号器装置が利用可能なヘッダ情報を通じて識別することができる完全なビデオアクセスユニット（ＶＡＵ）を識別する。ヘッダ情報は、例えば、表１および２内で示されるトランスポートヘッダ内もしくは同期ヘッダ（または任意の他のヘッダ）内のフィールドのうちのいずれかを含み得る。オプションのヘッダディレクトリ内の情報も使用され得る。プロセス７００内のＶＡＵはフレームであると仮定されるが、スライスまたはブロックなど、他の部分がブロック７３０またはブロック７５０で識別されることも可能である。完全なＶＡＵを識別した後で、識別されたＶＡＵ内のビデオデータの誤った部分は、それぞれ、ブロック７３５またはブロック７５５で識別される。誤った部分は、ヘッダチェックサム故障、またはトランスポート層チェックサム故障などによって識別され得る。誤ったデータを検出するための様々な技術が当業者によって知られている。誤った部分は、ＦＩＴに関する誤り分布情報を編集するために使用され得る（表４内のＰＬＰ誤り分布およびＰＬＰ誤り率フィールドを参照）。ＶＡＵの誤った部分がブロック７３５またはブロック７５５で識別された後で、ＦＩＴ情報は、それぞれ、ブロック７４０またはブロック７６０で編成される。ＦＩＴ内の情報は、上の表４内で議論された情報のうちのいずれかを含み得る。プロセス７００は、スーパーフレームの終端がブロック７２５またはブロック７４５で識別されるまで、引き続きスーパーフレームを通じてループする（ブロック７２５〜７４０またはブロック７４５〜７６０）。スーパーフレームの終端が識別された場合、プロセス７００は、誤り制御動作が決定されるブロック８００に進む。図３Ａの復号器装置１５０の情報オーガナイザ構成要素３０４は、プロセス７００の動作を実行することができる。プロセス７００のブロックのうちのいくつかは、組合せ、省略、再構成されることが可能であり、それらの任意の組合せであり得る点に留意されたい。
図８Ａおよび８Ｂは、図７に例示された方法で誤り制御動作を決定する方法の例を示すストリーム図である。プロセス８００は、誤り制御動作を決定して、図５Ａに例示されたプロセス５００のブロック５１５で、または図５Ｃに例示されたプロセス５４０のブロック５６０および５６５で、対応する命令を提供するために実行されることも可能である。一態様では、プロセス８００は、上位層に提供されることになる誤り制御動作を決定するために使用される。誤り制御動作は、例えば、マルチメディアフレームの誤り分布および／または誤り率に基づいて決定される。別の態様では、プロセス８００は、推奨される誤り制御動作を実行する際に上位層によって使用され得るマルチメディアデータの他の部分を識別する。
上で議論されたように、いくつかのマルチメディアデータは、基層（例えば、最上位のビット）および１つまたは複数の拡張層（例えば、最下位のビット）などの多層内で符号化されることが可能である。拡張層は、Ｂフレームに関するすべてのデータも含み得る。これらの場合、ＦＩＴは、基層および拡張層の両方に関する部分を含み、層のいずれかまたはすべては誤っている可能性がある。図９は、図１に例示されるようなシステム内の使用のための、拡張性のある符号化された基層および拡張層を含む物理層パケットの例の構造を示す。基層９００は、トランスポート層ヘッダ９１５と、同期層ヘッダ９２０と、トランスポート層チェックサム末端(checksum tails)９２５とを含む複数のＰＬＰ９１０を含む。基層９０５は、（Ｆ１とラベルづけされた）フレーム９３０などのＩフレーム、および（Ｆ３とラベルづけされた）フレーム９３５などのＰフレームの最上位のビットを含み得る。拡張層９５０は、ＰＬＰ９１０と、トランスポートヘッダ９１５と、同期ヘッダ９２０と、トランスポート層チェックサム９２５とを含み得る。この例における拡張層は、（Ｆ１’とラベルづけされた）Ｉフレーム９３０および（Ｆ３’とラベルづけされた）Ｐフレーム９３５の最下位のビットを含む。加えて、拡張層９５０は、Ｉフレーム９３０およびＰフレーム９３５から双方向に予測される（Ｆ２とラベルづけされた）Ｂフレーム９４０全体に関する同期層パケットを含み、ＢフレームＦ２を構築するのに先立って基層および拡張層の対Ｆ１、Ｆ１’およびＦ３およびＦ３’が組み合わされて、復号される。プロセス８００は、拡張性のあるコーディングのこの形態を考慮して設計される。
プロセス８００は、復号器装置が、図７に例示されたプロセス７００のブロック７３５および７５５で識別されたそれらの誤ったＶＡＵなど、誤ったＶＡＵを含むヘッダ情報をＦＩＴの部分に統合するブロック８０５で始まる。ヘッダ情報は、正しく受信されたトランスポート層および／または同期層のヘッダから、またはヘッダディレクトリが受信された場合、ヘッダディレクトリから取得されることが可能である。（例えば、同期化の損失による）誤ったデータが特定のＰＬＰに隔離され得ない場合、ヘッダディレクトリ情報は、ＰＬＰ境界を識別して、場合によっては、ＦＩＴの「ＰＬＰ誤り分布(PLP error Distribution)」フィールドおよび／または「ＰＬＰ誤り率(PLP error ratio)」フィールドを生成するために使用され得る。ヘッダディレクトリが利用可能でない場合、「ＰＬＰ誤り率」は１００％に設定されることが可能である。例示的な方法８００は、どの誤り制御「動作」を推奨するかを決定する際に「ＰＬＰ誤り率」を使用する。しかし、当業者は、「動作」を決定する際に、「ＰＬＰ誤り分布」情報ならびに他の形態の誤りデータを利用する方法を認識するであろう。
誤ったフレームに関係するＦＩＴのフィールドがブロック８０５で生成された後で、プロセス８００は、ブロック８１０で始まるスーパーフレーム内のフレームを通じたループに進む。決定ブロック８１０で、復号器装置は、ＦＩＴ ＰＬＰ誤り率データを調査して、失われた（すなわち、誤った）連続フレームの数がしきい値「ｌｏｓｔ＿ｔｈ」を超えるかどうかを決定する。失われた連続フレームの数がしきい値を超える場合、プロセス８００は、失われたフレームに関するＦＩＴの「動作」フィールドが、失われたフレームの復号を飛び越すことを推奨する値に設定されるブロック８１５に進む。「ｌｏｓｔ＿ｔｈ」しきい値は、他の誤り制御技術が、効果的でないかまたは十分に低下し、その結果、保証されないと決定されるフレームの数に設定されることが可能である。しきい値「ｌｏｓｔ＿ｔｈ」は、約３フレームから約６フレームにわたる範囲であり得る。時間的な隠蔽技術の性能は、毎秒３０フレームのフレームレートに対して３フレームを超える時間的距離で実行されている場合、通常、低下する。より高速のフレームレートは、毎秒６０フレームのフレームレートで約６フレームから約１２フレームなど、より高いしきい値を可能にし得る。ブロック８１５で、失われたフレームを飛び越すための「動作」に設定した後で、プロセス８００は、決定ブロック８２０に進む。スーパーフレームの終端に達した場合、プロセスは、図８Ｂに例示されたプロセスの残りの部分に進む。より多くのフレームが依然として処理されることになる場合、プロセス８００は続いて決定ブロック８１０に戻る。
決定ブロック８１０で、（完全に誤りのないフレームの場合を含めて）失われた連続フレームの数がしきい値を超えない場合、プロセス８００は、現在のフレームがＢフレームであるかどうかを決定するためにＦＩＴの「フレームタイプ」フィールドが使用される決定ブロック８２５に進む。この例では、Ｂフレームに関して実行される誤り制御動作は、ＰフレームおよびＩフレームに関して実行される誤り制御動作とは異なる。現在のフレームがＢフレームでない場合、プロセス８００は、ＰＬＰ誤り率（ＰＬＰ＿ＥＲＲ）がしきい値Ｐ＿ＴＨと比較される決定ブロック８３０に進む。しきい値Ｐ＿ＴＨは、通常の誤り隠蔽技術（例えば、空間的および時間的な誤り隠避）が効果的であるＰＬＰ誤り率に関して制約を設ける。Ｐ＿ＴＨしきい値は、約２０％から約４０％の範囲内であり得る。ＰＬＰ誤り率がＰ＿ＴＨしきい値を超える場合、現在のフレームに関する「動作」は、ブロック８３５で飛越しに等しく設定される。ＰＬＰ誤り率がしきい値を超えない場合、現在のフレームに関する「動作」はブロック８４０で、通常の誤り隠蔽（ＥＣ）が実行されることを示す値に設定される。ブロック８３５またはブロック８４０で現在のフレームに関する「動作」を設定した後で、プロセス８００は、決定ブロック８２０に進み、上で議論されたように、より多くのフレームがスーパーフレーム内に依然として残存する場合、ブロック８１０にループバックする(loops back)。
決定ブロック８２５に戻ると、現在のフレームがＢフレームであることが決定される場合、プロセス８００は決定ブロック８４５に進む。示された例では、ＢフレームはＩフレームとＰフレームの間、または２個のＰフレームの間に位置されると仮定される。これまでのフレームの「動作」が飛越し「動作」になると決定された場合、プロセス８００は、ブロック８５０で、現在のＢフレームの「動作」も飛越しになるように設定する。そこから現在のＢフレームが予測されたデータは利用可能でないため、Ｂフレームの通常の構築は実行可能でなく、他の誤り隠蔽オプションも低下する可能性がある。
決定ブロック８４５に戻ると、これまでのフレームの「動作」が飛越しになると決定されなかった場合、プロセス８００は、ＰＬＰ誤り率が別のしきい値Ｂ＿ＴＨと比較されるブロック８５５に進む。ＰＬＰ誤り率がＢ＿ＴＨを超える場合、現在のフレームに関する「動作」は、ブロック８６０でＦＲＵＣに設定され、そうでない場合、現在のフレームに関する「動作」は、ブロック８６５で通常の誤り隠蔽に設定される。この例では、Ｂフレームに関する通常の誤り隠蔽は、２個の復号されたフレームからの時間的予測である。フレームは、通常、Ｂフレームに先立つフレームと、Ｂフレームの後続のフレームとを備える。しかし、２個の先立つＢフレームまたは２個の後続のＢフレームも使用され得る。現在のＢフレームの誤っていない部分を使用する空間的な隠蔽も、ブロック８６０で決定される通常の誤り隠蔽と共に使用され得る。そこから選択するための２個の基準フレームが存在し、それらの両方を予測に使用することは要求されないため、しきい値Ｂ＿ＴＨは、Ｐフレームに関して使用されるしきい値Ｐ＿ＴＨより高い可能性がある。しかし、場合によっては、ＦＲＵＣはより頑強であり得、通常の誤り隠蔽よりよく隠蔽することが可能であり、したがって、Ｂ＿ＴＨの値はＰ＿ＴＨより低い値に設定され得る。Ｂ＿ＴＨおよびＰ＿ＴＨの値は、チャネル状態のタイプおよび誤りがどのようにもたらされるかなどの条件に依存する可能性がある。ＦＲＵＣ内で使用される隠蔽は、通常のＢフレーム誤り隠蔽と類似し得るが、これはフレーム全体に関して実行される。
スーパーフレーム内のすべてのフレームに関して「動作」決定が行われた後で、決定ブロック８２０で、プロセス８００は、図８Ｂのブロック８７０に進む。ブロック８７５から８９５までのループは、決定された「動作」を実行するために上位層内で使用され得る情報を用いてＦＩＴ表を生成する。ブロック８７０で、プロセス８００は、ＦＩＴを介して別のパス(pass)を初めから開始して、基層および拡張層のフレームのすべてを通じてループする。
決定ブロック８７５で、現在のフレームがＢフレームまたはＦＲＵＣを使用して隠蔽されることになるフレームでない場合、プロセスは、時間的な誤り隠蔽に関して使用される変数ｓｋｉｐ＿ｎｕｍを用いてＦＩＴ表が生成されるブロック８８０に進む。ｓｋｉｐ＿ｎｕｍ変数は、現在のフレームが時間的な誤り隠蔽を使用することから予測されるように、現在のフレームから適時に離れたフレームの数を示す。
図１０Ａは、現在のＰフレーム１００５のおよび現在のフレームより３個前に配置された予め復号されたＰフレーム１０１０の位置をグラフィックで例示する。この例では、ｓｋｉｐ＿ｎｕｍ変数は３に等しく設定されることになる。したがって、復号器によって飛び越されたＰフレーム１０１５および１０２０は使用されないことになる。代わりに、現在のＰフレーム１００５の動きベクトル１０２５が予め復号されたＰフレーム１０１０を指すように基準化され得る（基準化された動きベクトル１０３０を参照）。図１０Ａは、一次元としてフレームを例示し、フレームは実際に二次元であり、動きベクトル１０２５は前のフレーム内の二次元の位置を指す。図１０Ａの例では、フレーム１０１０内のオブジェクト１０３５は、フレーム１００５内に移動する。オブジェクトの動きが比較的一定である場合、動きベクトル１０２５の線形外挿により、フレーム１０１０内の正しい位置が正確に指されることが可能であり、それにより、オブジェクト１０３５がフレーム１００５内で上向きに再配置される。オブジェクト１０３５の表示位置は、跳び越されたフレーム１０１５および１０２０の中で一定に維持され得る。
図８Ｂに戻ると、現在のフレームに関してｓｋｉｐ＿ｎｕｍ変数を決定した後で、プロセス８００は、ｓｋｉｐ＿ｎｕｍ変数によって示されたフレームのフラッグＭＶ＿ＦＬＡＧが、フレームの復号値が将来の誤り隠蔽のために保存されるべきであることを上位層復号器に示す値に設定されるブロック８８５に進む。図１０Ｂは、他の誤ったフレームに関する誤り隠蔽のために使用される復号フレームのグラッギングをグラフィックで例示する。図１０Ｂの例では、復号フレーム１０４０は、通常の誤り隠蔽を使用して誤ったフレーム１０４５を隠蔽するために使用されるようにフラッグされる。復号フレーム１０５０および１０５５は両方ともフレーム１０６０に関してＦＲＵＣを実行するために使用されるようにフラッグされる。これらは単なる例であり、順方向および／または逆方向に配置されたフレームの他の組合せが通常の誤り隠蔽およびＦＲＵＣに関して使用され得る。
図８Ｂに戻ると、現在のフレームを隠蔽するために使用されることになる（１つまたは複数の）フレームのＭＶ＿ＦＬＡＧを設定した後で、プロセス８００はブロック８９５に進む。ブロック８９５で、復号器は、スーパーフレームの終端に達したかどうかを確認する。スーパーフレームの終端が検出された場合、プロセス８００は、現在のスーパーフレームに関して終了する。スーパーフレーム内により多くのフレームが残存する場合、プロセス８００は、残りのフレームを通じてループするために決定ブロック８７５に戻る。
ブロック８７５で、現在のフレームがＢフレームまたはＦＲＵＣを使用して隠蔽されることになるフレームである場合、プロセス８００は、双方向予測を実行するために２個のフレームの位置を突き止める変数Ｂ＿ＮＵＭおよびｂ＿ｎｕｍが決定されるブロック８９０に進む。図１０Ｃは、ＦＲＵＣを使用して誤ったフレームを隠蔽するために使用される２個の復号フレームの位置を示すために使用される変数をグラフィックで例示する（誤ったＢフレームに関して同じ変数が使用され得る）。現在の誤ったフレーム１０６５は、ＦＲＵＣを使用して隠蔽されることが決定されている。変数ｂ＿ｎｕｍは、２個のフレームだけ離れたこれまでのフレーム１０７０位置が第１の基準フレームであることを示すために２に設定される。示された例では、フレーム１０７５は、受信された動きベクトル１０８５を使用してフレーム１０７０から予測される。変数Ｂ＿ＮＵＭは、フレーム１０７０より３個前に配置されたフレーム１０７５が第２の基準フレームであることを示すために３に等しく設定される。例示された例では、復号フレーム１０７５は、受信された動きベクトル１０８５を使用してフレーム１０７０から予測される。受信された動きベクトル１０８５は、誤ったフレーム１０６５を指すように基準化されることが可能であり、結果として、基準化された動きベクトル１０９０をもたらす。フレーム１０７５および１０７０内の受信された動きベクトル１０８５によって配置された復号部分は、次いで、基準化された動きベクトル１０９０によって位置が突き止められたフレーム１０６５の位置を隠蔽するために使用され得る。この例では、Ｂフレーム１０８０は、フレーム１０６５を隠蔽するために使用されなかった（Ｂフレームは、通常、予測のために使用されない）。一般に、最も精密に正しく復号されたフレームが誤り隠蔽を実行するために使用されることになる。２個の復号フレームは、隠蔽されている誤ったフレームの順方向または逆方向の両方であり得る。
ブロック８９０で、Ｂ＿ＮＵＭ変数およびｂ＿ｎｕｍ変数を用いてＦＩＴを生成した後で、プロセスは、その時点でプロセス８００が終了する、スーパーフレーム全体に対してＦＩＴが生成されるまで、引き続きブロック８７５〜８９５を通してループする。一態様では、ＦＩＴは、個々のフレームおよびＦＩＴが復号されるために上位層に転送される前に、スーパーフレーム内のすべてのフレームに関して、プロセス７００およびプロセス８００を使用して生成される。このようにして、フレームは、それらのフレームが復号されることになる順序で転送されることが可能である。加えて、飛び越されるフレームは、転送されてよく、または転送されなくてもよい。別の態様では、フレームおよびＦＩＴの対応する記述項は、プロセス７００および８００の両方がフレームに関して完了するとすぐに上位層に転送されることが可能である。図３Ａの復号装置１５０の誤り制御決定サブシステム３０６は、プロセス８００の動作を実行することが可能である。
例示的なプロセス７００および８００は、ＶＡＵとしてフレームを使用した。しかし、ＶＡＵは画素のスライスまたはブロックであってもよく、ＦＩＴはフレームの代わりにこれらの部分に関して生成されてもよい。プロセス７００および８００のブロックのうちのいくつかは、組合せ、省略、再構成されることが可能であり、またはそれらの任意の組合せであり得る点に留意されたい。
図１１は、図１に例示されたようなシステム内でマルチメディアデータを処理するために使用され得る復号器装置１５０の別の例を示す機能的なブロック図である。この態様は、マルチメディアデータを受信するための手段と、第２の層内でマルチメディアデータを処理することに関係する、マルチメディアデータに関する記述的情報を第１の層内で編成するための手段と、記述的情報に少なくとも一部基づいて、第２の層内でマルチメディアデータを処理することに関係する命令を提供するための手段とを含む。この態様のいくつかの例は、受信手段が受信機１１０２を備えることと、編成手段が情報オーガナイザサブシステム１１０４を備えることと、提供手段が誤り制御決定サブシステム１１０６を備えることとを含む。
図１２は、図１に例示されるようなシステム内でマルチメディアデータを処理するために使用され得る復号器装置１５０の別の例を示す機能的なブロック図である。この態様は、マルチメディアデータを受信するための手段と、第２の層内でマルチメディアデータを処理することに関係する、マルチメディアデータに関する記述的情報を第１の層内で編成するための手段と、記述的情報に少なくとも一部基づいて、第２の層内でマルチメディアデータを処理することに関係する命令を提供するための手段とを含む。この態様のいくつかの例は、受信手段が受信のためのモジュール１２０２を備えることと、編成手段が情報を編成するためのモジュール１２０４を備えることと、提供手段が命令を提供するためのモジュール１２０６を備えることとを含む。
図１３は、図１に例示されるようなシステム内でマルチメディアデータを処理するために使用され得る復号器装置１５０の別の例を示す機能的なブロック図である。この態様は、マルチメディアデータを受信するための手段と、上位層内でマルチメディアデータを処理するための手段と、上位層内でマルチメディアデータを処理することに関連する情報に少なくとも一部基づいて、下位層に命令するための手段と、上位層内でマルチメディアデータを処理することに関連する情報に少なくとも一部基づいて、下位層内でマルチメディアデータを処理するための手段とを含む。この態様のいくつかの例は、受信機手段が受信機１３０２を備えることと、上位層処理手段がアプリケーション層マルチメディア復号器サブシステム１３０８を備えることと、命令するための手段がアプリケーション層マルチメディア復号器サブシステム１３０８を備えることと、下位層処理手段がトランスポート／同期層マルチメディア復号器サブシステム１３０６を備えることとを含む。
図１４は、図１に例示されるようなシステム内でマルチメディアデータを処理するために使用され得る復号器装置１５０の別の例を示す機能的なブロック図である。この態様は、マルチメディアデータを受信するための手段と、上位層内でマルチメディアデータを処理するための手段と、上位層内でマルチメディアデータを処理することに関連する情報に少なくとも一部基づいて、下位層に命令するための手段と、上位層内でマルチメディアデータを処理することに関連する情報に少なくとも一部基づいて、下位層内でマルチメディアデータを処理するための手段とを含む。この態様のいくつかの例は、受信手段が受信するためのモジュール１４０２を備えることと、上位層処理手段が上位層内でマルチメディアを処理するためのモジュール１４０８を備えることと、命令するための手段が下位層内でマルチメディアを処理するためのモジュール１４０８を備えることと、下位層処理手段が下位層内でマルチメディアデータを処理するためのモジュール１４０６を備えることとを含む。
図１５は、図１に例示されるようなシステム内でマルチメディアデータを処理するために使用され得る復号器装置１５０の別の例を示す機能的なブロック図である。この態様は、マルチメディアデータを受信するための手段と、第２の層内でマルチメディアデータを処理することに関係する、マルチメディアデータに関する記述的情報を第１の層から受信するための手段と、受信された記述的情報に少なくとも一部基づいて、第２の層内でマルチメディアデータを処理するための手段とを含む。この態様のいくつかの例は、マルチメディアデータを受信するための手段が受信機１５０２を備えることと、記述的情報を受信するための手段がマルチメディア復号器１５０８を備えることと、処理手段がマルチメディア復号器１５０８を備えることとを含む。
図１６は、図１に例示されるようなシステム内でマルチメディアデータを処理するために使用され得る復号器装置１５０の別の例を示す機能的なブロック図である。この態様は、マルチメディアデータを受信するための手段と、第２の層内でマルチメディアデータを処理することに関係する、マルチメディアデータに関する記述的情報を第１の層から受信するための手段と、受信された記述的情報に少なくとも一部基づいて、第２の層内でマルチメディアデータを処理するための手段とを含む。この態様のいくつかの例は、マルチメディアデータを受信するための手段が受信するためのモジュール１６０２を備えることと、記述的情報を受信するための手段がマルチメディアを復号するためのモジュール１６０８を備えることと、処理手段がマルチメディアを復号するためのモジュール１６０８を備えることとを含む。
当業者は、情報および信号は様々な異なる技術および技法のうちのいずれかを使用して表されることが可能である点を理解するであろう。例えば、上の説明の全体にわたって参照され得るデータ、命令、コマンド、情報、信号、ビット、記号、およびチップは、電圧、電流、電磁波、磁場または磁粉、光場もしくは光粒子、またはそれらの任意の組合せで表され得る。
当業者は、ここで開示される例に関して説明される様々な例示的な論理ブロック、モジュール、およびアルゴリズムステップは、電子ハードウェア、ファームウェア、コンピュータソフトウェア、ミドルウェア、マイクロコード、またはそれらの組合せとして実施され得る点をさらに理解するであろう。ハードウェアおよびソフトウェアのこの互換性を明瞭に例示するために、様々な例示的な構成要素、ブロック、モジュール、回路、およびステップが、一般に、それらの機能の点から上で説明されている。そのような機能がハードウェアで実施されるか、またはソフトウェアで実施されるかは、特定のアプリケーションおよびシステム全体に課せられた設計制約に依存する。当業者は、各特定のアプリケーションに関して、説明された機能を様々な方法で実施することが可能であるが、そのような実施決定は、開示された方法の範囲からの逸脱を引き起こすものと解釈されるべきでない。
ここで開示された例に関して説明された様々な例示的な論理ブロック、構成要素、モジュール、および回路は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラム可能なゲートウェイ（ＦＰＧＡ）もしくは他のプログラム可能な論理装置、離散ゲートもしくはトランジスタ論理、離散的なハードウェア構成要素、またはここで説明された機能を実行するために設計されたそれらの任意の組合せを用いて実施または実行されることが可能である。汎用プロセッサは、マイクロプロセッサであり得るが、代わりに、プロセッサは任意の通常のプロセッサ、コントローラ、マイクロコントローラ、または状態機械であってもよい。プロセッサはまた、コンピューティング装置の組合せ、例えば、ＤＳＰおよびマイクロプロセッサの組合せ、複数のマイクロプロセッサ、ＤＳＰコアもしくはＡＳＩＣコアと組み合わせた１つまたは複数のマイクロプロセッサ、または任意の他のそのような構成として実施されることも可能である。
ここで開示された例に関して説明された方法またはアルゴリズムのステップは、ハードウェアで直接的に、プロセッサによって実行されるソフトウェアモジュールで、またはそれら２つの組合せで実施されることが可能である。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、着脱可能ディスク、ＣＤ−ＲＯＭ、光記憶媒体、または当技術分野で知られている記憶媒体の任意の他の形態の中に常駐し得る。例示的な記憶媒体は、プロセッサが記憶媒体から情報を読み取り、記憶媒体に情報を書き込むことができるようにプロセッサに結合される。あるいは、記憶媒体はプロセッサにとって不可欠であり得る。プロセッサおよび記憶媒体は、特定用途向け集積回路（ＡＳＩＣ）内に常駐し得る。ＡＳＩＣは無線モデム内に常駐し得る。代わりに、プロセッサおよび記憶媒体は、無線モデム内に離散的な構成要素として常駐することも可能である。
開示された例のこれまでの説明は、当業者が開示された方法および装置を作りまたは使用することを可能にするために提供される。これらの例に対する様々な修正は当業者に容易に明らかであり、また、ここに定義された原理は他の例に応用されることが可能であり、更なるエレメントが加えられてもよい。
以上のように、マルチメディアデータの高効率で頑強な誤り制御を実行するための方法および装置が説明された。
以下に、本願の出願当初請求項に記載された発明を付記する。
［Ｃ１］
マルチメディアデータを処理する方法であって、
前記マルチメディアデータを受信することと；
前記マルチメディアデータに関する記述的情報を第１の層内で編成することと、なお前記記述的情報は、第２の層内で前記マルチメディアデータを前記処理することに関係する；
前記記述的情報に少なくとも一部基づいて、前記第２の層内で前記マルチメディアデータを前記処理することに関係する命令を提供することと；
を備える方法。
［Ｃ２］
前記記述的情報を前記第２の層に渡すこと、をさらに備える上記［Ｃ１］に記載の方法。
［Ｃ３］
前記記述的情報は、フレーム特性情報、情報を識別する基本データまたは拡張データ、タイミング情報、符号化タイプ、フレームタイプ、同期情報、および予測的な符号化関連情報のうちの１つまたは複数を備える、上記［Ｃ１］に記載の方法。
［Ｃ４］
前記マルチメディアデータはいくつかの誤ったデータを備え、前記方法は、前記マルチメディアデータ内に前記誤ったデータの誤り分布を表す情報を含むために前記記述的情報を編成することをさらに備える、上記［Ｃ１］に記載の方法。
［Ｃ５］
前記誤り分布情報に少なくとも一部基づいて前記命令を決定すること、をさらに備える上記［Ｃ４］に記載の方法。
［Ｃ６］
前記命令に少なくとも一部基づいて、前記第２の層内で前記マルチメディアデータを前記処理することを変更すること、をさらに備える上記［Ｃ１］に記載の方法。
［Ｃ７］
前記記述的情報はメタデータを備える、上記［Ｃ１］に記載の方法。
［Ｃ８］
誤り分布情報に少なくとも一部基づいて誤り制御の方法を決定すること、をさらに備え、前記第２の層に提供される前記命令は、誤り制御の前記決定された方法に関係する、上記［Ｃ１］に記載の方法。
［Ｃ９］
誤り制御の前記決定された方法は、誤り回復、誤り隠蔽、およびフレームの補間のうちの１つまたは複数を備える、上記［Ｃ８］に記載の方法。
［Ｃ１０］
マルチメディアデータを処理するための装置であって、
前記マルチメディアデータを受信するように構成された受信機と；
前記マルチメディアデータに関する記述的情報を第１の層内で編成するように構成された情報オーガナイザと、なお前記記述的情報は、第２の層内で前記マルチメディアデータを前記処理することに関係する；
前記記述的情報に少なくとも一部基づいて、前記第２の層内で前記マルチメディアデータを前記処理することに関係する命令を提供するように構成された誤り制御決定サブシステムと；
を備える装置。
［Ｃ１１］
前記情報オーガナイザは、前記記述的情報を前記第２の層に渡すようにさらに構成されている、上記［Ｃ１０］に記載の装置。
［Ｃ１２］
前記記述的情報は、フレーム特性情報、情報を識別する基礎データまたは拡張データ、タイミング情報、符号化タイプ、フレームタイプ、同期情報、および予測的な符号化関連情報のうちの１つまたは複数を備える、上記［Ｃ１０］に記載の装置。
［Ｃ１３］
前記マルチメディアデータは、いくつかの誤ったデータを備え、前記マルチメディアデータプロセッサは、前記マルチメディアデータ内に前記誤ったデータの誤り分布を表す情報を含めるために、前記記述的情報を編成するようにさらに構成されている、上記［Ｃ１０］に記載の装置。
［Ｃ１４］
前記誤り制御決定サブシステムは、前記誤り分布情報に少なくとも一部基づいて、前記命令を決定するようにさらに構成されている、上記［Ｃ１３］に記載の装置。
［Ｃ１５］
前記命令に少なくとも一部基づいて、前記第２の層内で前記マルチメディアデータを前記処理することを変更するように構成されたマルチメディア復号器、をさらに備える上記［Ｃ１０］に記載の装置。
［Ｃ１６］
前記記述的情報はメタデータを備える、上記［Ｃ１０］に記載の装置。
［Ｃ１７］
前記誤り制御決定サブシステムは、誤り分布情報に少なくとも一部基づいて、誤り制御の方法を決定するようにさらに構成されており、前記第２の層に提供される前記命令は、誤り制御の前記決定された方法に関係する、上記［Ｃ１０］に記載の装置。
［Ｃ１８］
誤り制御の前記決定された方法は、誤り回復、誤り隠蔽、およびフレームの補間のうちの１つまたは複数を備える、上記［Ｃ１７］に記載の装置。
［Ｃ１９］
マルチメディアデータを処理するための装置であって、
前記マルチメディアデータを受信するための手段と；
前記マルチメディアデータに関する記述的情報を第１の層内で編成するための手段と、なお前記記述的情報は、第２の層内で前記マルチメディアデータを前記処理することに関係する；
前記記述的情報に少なくとも一部基づいて、前記第２の層内で前記マルチメディアデータを前記処理することに関係する命令を提供するための手段と；
を備える装置。
［Ｃ２０］
前記記述的情報を前記第２の層に渡すための手段、をさらに備える上記［Ｃ１９］に記載の装置。
［Ｃ２１］
前記記述的情報は、フレーム特性情報、情報を識別する基礎データまたは拡張データ、タイミング情報、符号化タイプ、フレームタイプ、同期情報、および予測的な符号化関連情報のうちの１つまたは複数を備える、上記［Ｃ１９］に記載の装置。
［Ｃ２２］
前記マルチメディアデータは、いくつかの誤ったデータを備え、前記編成するための手段は、前記マルチメディアデータ内の前記誤ったデータの誤り分布を表す情報を含めるために前記記述的情報を編成する、上記［Ｃ１９］に記載の装置。
［Ｃ２３］
前記誤り分布情報に少なくとも一部基づいて前記命令を決定するための手段、をさらに備える上記［Ｃ２２］に記載の装置。
［Ｃ２４］
前記命令に少なくとも一部基づいて、前記第２の層内で前記マルチメディアデータを前記処理することを変更するための手段、をさらに備える上記［Ｃ１９］に記載の装置。
［Ｃ２５］
前記記述的情報はメタデータを備える、上記［Ｃ１９］に記載の装置。
［Ｃ２６］
誤り分布情報に少なくとも一部基づいて誤り制御の方法を決定するための手段、をさらに備え、前記第２の層に提供される前記命令は、誤り制御の前記決定された方法に関係する、上記［Ｃ１９］に記載の装置。
［Ｃ２７］
誤り制御の前記決定された方法は、誤り回復、誤り隠蔽、およびフレームの補間のうちの１つまたは複数を備える、上記［Ｃ２６］に記載の装置。
［Ｃ２８］
１つまたは複数の機械上で実行されるときに１つまたは複数の機械にプログラム演算を実行させるプログラムコード、を備える機械可読媒体であって、
前記プログラムコードは、
マルチメディアデータを受信するためのコードと；
前記マルチメディアデータに関する記述的情報を第１の層内で編成するためのコードと、なお前記記述的情報は、第２の層内で前記マルチメディアデータを前記処理することに関係する；
前記記述的情報に少なくとも一部基づいて、前記第２の層内で前記マルチメディアデータを前記処理することに関係する命令を提供するためのコードと；
を備える、
機械可読媒体。
［Ｃ２９］
前記記述的情報を前記第２の層に渡すためのコード、をさらに備える上記［Ｃ２８］に記載の機械可読媒体。
［Ｃ３０］
前記記述的情報は、フレーム特性情報、情報を識別する基礎データまたは拡張データ、タイミング情報、符号化タイプ、フレームタイプ、同期情報、および予測的な符号化関連情報のうちの１つまたは複数を備える、上記［Ｃ２８］に記載の機械可読媒体。
［Ｃ３１］
前記マルチメディアデータは、いくつかの誤ったデータを備え、前記マルチメディアデータ内に誤ったデータの誤り分布を表す情報を含めるために前記記述的情報を編成するためのコード、をさらに備える、上記［Ｃ２８］に記載の機械可読媒体。
［Ｃ３２］
前記誤り分布情報に少なくとも一部基づいて前記命令を決定するためのコード、をさらに備える上記［Ｃ３１］に記載の機械可読媒体。
［Ｃ３３］
前記命令に少なくとも一部基づいて、前記第２の層内で前記マルチメディアデータを前記処理することを変更するためのコード、をさらに備える上記［Ｃ２８］に記載の機械可読媒体。
［Ｃ３４］
前記記述的情報はメタデータを備える、上記［Ｃ２８］に記載の機械可読媒体。
［Ｃ３５］
誤り分布情報に少なくとも一部基づいて誤り制御の方法を決定するためのコード、をさらに備え、前記第２の層に提供される前記命令は、誤り制御の前記決定された方法に関係する、上記［Ｃ２８］に記載の機械可読媒体。
［Ｃ３６］
誤り制御の前記決定された情報が、誤り回復、誤り隠蔽、およびフレームの補間のうちの１つまたは複数を備える、上記［Ｃ３５］に記載の機械可読媒体。
［Ｃ３７］
マルチメディアデータを処理する方法であって、
前記マルチメディアデータを受信することと、
上位層内で前記マルチメディアデータを処理することと、
前記上位層内で前記マルチメディアデータを前記処理することに関連する情報に少なくとも一部基づいて、下位層に命令することと、
前記上位層内で前記マルチメディアデータを前記処理することに関連する前記情報に少なくとも一部基づいて、前記下位層内で前記マルチメディアデータを処理することと、
を備える方法。
［Ｃ３８］
前記上位層内で前記マルチメディアデータを前記処理することに関連する前記情報に少なくとも一部基づいて、前記マルチメディアデータに関する記述的情報を前記下位層内で編成すること、をさらに備える上記［Ｃ３７］に記載の方法。
［Ｃ３９］
前記記述的情報に少なくとも一部基づいて前記上位層内で前記マルチメディアデータを前記処理することに関係する命令を提供すること、をさらに備える上記［Ｃ３８］に記載の方法。
［Ｃ４０］
前記記述的情報はメタデータを備える、上記［Ｃ３８］に記載の方法。
［Ｃ４１］
前記記述的情報は、フレーム特性情報、情報を識別する基礎データまたは拡張データ、タイミング情報、符号化タイプ、フレームタイプ、同期情報、および予測的な符号化関連情報のうちの１つまたは複数を備える、上記［Ｃ３８］に記載の方法。
［Ｃ４２］
前記下位層に命令することは、処理時間、処理動作および処理状態のうちの１つまたは複数を備える情報を渡すことを備える、上記［Ｃ３７］に記載の方法。
［Ｃ４３］
マルチメディアデータを処理するための装置であって、
前記マルチメディアデータを受信するように構成された受信機と、
上位層内で前記マルチメディアデータを処理するように、そして、前記上位層内で前記マルチメディアデータを前記処理することに関連する情報に少なくとも一部基づいて、下位層に命令するように、構成された上位層復号器サブシステムと、
前記上位層内で前記マルチメディアデータを前記処理することに関連する前記情報に少なくとも一部基づいて、前記下位層内で前記マルチメディアデータを処理するように構成された下位層復号器サブシステムと、
を備える装置。
［Ｃ４４］
前記上位層内で前記マルチメディアデータを前記処理することに関連する前記情報に少なくとも一部基づいて、前記マルチメディアデータに関する記述的情報を前記下位層内で編成するように構成された情報オーガナイザ、をさらに備える上記［Ｃ４３］に記載の装置。
［Ｃ４５］
前記記述的情報に少なくとも一部基づいて、前記上位層内で前記マルチメディアデータを前記処理することに関係する命令を提供するように構成された誤り制御決定サブシステム、をさらに備える上記［Ｃ４４］に記載の装置。
［Ｃ４６］
前記記述的情報はメタデータを備える、上記［Ｃ４４］に記載の装置。
［Ｃ４７］
前記記述的情報は、フレーム特性情報、情報を識別する基礎データまたは拡張データ、タイミング情報、符号化タイプ、フレームタイプ、同期情報、および予測的な符号化関連情報のうちの１つまたは複数を備える、上記［Ｃ４４］に記載の装置。
［Ｃ４８］
前記上位層復号器サブシステムは、処理時間、処理動作および処理状態のうちの１つまたは複数を備える情報を渡すことによって、前記下位層に命令するようにさらに構成されている、上記［Ｃ４３］に記載の装置。
［Ｃ４９］
マルチメディアデータを処理するための装置であって、
前記マルチメディアデータを受信するための手段と、
上位層内で前記マルチメディアデータを処理するための手段と、
前記上位層内で前記マルチメディアデータを前記処理することに関連する情報に少なくとも一部基づいて、下位層に命令するための手段と、
前記上位層内で前記マルチメディアデータを前記処理することに関連する情報に少なくとも一部基づいて、前記下位層内で前記マルチメディアデータを処理するための手段と；
を備える装置。
［Ｃ５０］
前記上位層内で前記マルチメディアデータを前記処理することに関連する情報に少なくとも一部基づいて、前記マルチメディアデータに関する記述的情報を前記下位層内で編成するための手段、をさらに備える上記［Ｃ４９］に記載の装置。
［Ｃ５１］
前記記述的情報に少なくとも一部基づいて前記上位層内で前記マルチメディアデータを前記処理することに関係する命令を提供するための手段、をさらに備える上記［Ｃ５０］に記載の装置。
［Ｃ５２］
前記記述的情報はメタデータを備える、上記［Ｃ５０］に記載の装置。
［Ｃ５３］
前記記述的情報は、フレーム特性情報、情報を識別する基礎データまたは拡張データ、タイミング情報、符号化タイプ、フレームタイプ、同期情報、および予測的な符号化関連情報のうちの１つまたは複数を備える、上記［Ｃ５０］に記載の装置。
［Ｃ５４］
前記下位層に命令するための前記手段は、処理時間、処理動作および処理状態のうちの１つまたは複数を備える情報を渡すための手段を備える、上記［Ｃ４９］に記載の装置。
［Ｃ５５］
１つまたは複数の機械上で実行されるときに前記１つまたは複数の機械にプログラム演算を実行させるプログラムコード、を備える機械可読媒体であって、
前記プログラムコードは、
マルチメディアデータを受信するためのコードと、
上位層内で前記マルチメディアデータを処理するためのコードと、
前記上位層内で前記マルチメディアデータを前記処理することに関連する情報に少なくとも一部基づいて、下位層に命令するためのコードと、
前記上位層内で前記マルチメディアデータを前記処理することに関連する前記情報に少なくとも一部基づいて、前記下位層内で前記マルチメディアデータを前記処理するためのコードと、
を備える、
機械可読媒体。
［Ｃ５６］
前記上位層内で前記マルチメディアデータを前記処理することに関連する前記情報に少なくとも一部基づいて、前記マルチメディアデータに関する記述的情報を前記下位層内で編成するためのコード、をさらに備える上記［Ｃ５５］に記載の機械可読媒体。
［Ｃ５７］
前記記述的情報に少なくとも一部基づいて前記上位層内で前記マルチメディアを前記処理することに関係する命令を提供するためのコード、をさらに備える上記［Ｃ５６］に記載の機械可読媒体。
［Ｃ５８］
前記記述的情報はメタデータを備える、上記［Ｃ５６］に記載の機械可読媒体。
［Ｃ５９］
前記記述的情報は、フレーム特性情報、情報を識別する基礎データまたは拡張データ、タイミング情報、符号化タイプ、フレームタイプ、同期情報、および予測的な符号化関連情報のうちの１つまたは複数を備える、上記［Ｃ５６］に記載の機械可読媒体。
［Ｃ６０］
処理時間、処理動作および処理状態のうちの１つまたは複数を備える情報を渡すことによって前記下位層に命令するためのコード、をさらに備える上記［Ｃ５５］に記載の機械可読媒体。
［Ｃ６１］
マルチメディアデータを処理するための方法であって、
前記マルチメディアデータを受信することと；
前記マルチメディアデータに関する記述的情報を第１の層から受信することと、なお前記記述的情報は、第２の層内で前記マルチメディアデータを前記処理することに関係する；
前記受信された記述的情報に少なくとも一部基づいて前記第２の層内で前記マルチメディアデータを処理することと；
を備える方法。
［Ｃ６２］
少なくとも１つの命令を前記第２の層内で受信することと、なお前記命令は、前記記述的情報に少なくとも一部基づいている；
前記受信された命令に少なくとも一部基づいて、前記第２の層内で前記マルチメディアデータを前記処理することを変更することと；
をさらに備える上記［Ｃ６１］に記載の方法。
［Ｃ６３］
前記受信された命令は誤り制御の方法に関係する、上記［Ｃ６２］に記載の方法。
［Ｃ６４］
誤り制御の前記方法は、誤り回復、誤り隠蔽、およびフレームの補間のうちの１つまたは複数を備える、上記［Ｃ６３］に記載の方法。
［Ｃ６５］
前記記述的情報はメタデータを備える、上記［Ｃ６１］に記載の方法。
［Ｃ６６］
前記記述的情報は、フレーム特性情報、情報を識別する基礎データまたは拡張データ、タイミング情報、符号化タイプ、フレームタイプ、同期情報、および予測的な符号化関連情報のうちの１つまたは複数を備える、上記［Ｃ６１］に記載の方法。
［Ｃ６７］
マルチメディアデータを処理するための装置であって、
前記マルチメディアデータを受信するように構成された受信機と、
第１の層から前記マルチメディアデータについての、第２の層内で前記マルチメディアデータを前記処理することに関係する記述的情報を、受信するように、そして、前記受信された記述的情報に少なくとも一部基づいて前記第２の層内で前記マルチメディアデータを処理するように、構成された復号器と、
を備える装置。
［Ｃ６８］
前記復号器は、少なくとも１つの命令を前記第２の層内で受信するようにさらに構成されており、前記命令は、前記記述的情報に少なくとも一部基づいており、そして、前記復号は、前記受信された命令に少なくとも一部基づいて、前記第２の層内で前記マルチメディアデータを前記処理することを変更するようにさらに構成されている、上記［Ｃ６７］に記載の装置。
［Ｃ６９］
前記受信された命令は誤り制御の方法に関係する、上記［Ｃ６８］に記載の装置。
［Ｃ７０］
誤り制御の前記方法は、誤り回復、誤り隠蔽、およびフレームの補間のうちの１つまたは複数を備える、上記［Ｃ６９］に記載の装置。
［Ｃ７１］
前記記述的情報はメタデータを備える、上記［Ｃ６７］に記載の装置。
［Ｃ７２］
前記記述的情報は、フレーム特性情報、情報を識別する基礎データまたは拡張データ、タイミング情報、符号化タイプ、フレームタイプ、同期情報、および予測的な符号化関連情報のうちの１つまたは複数を備える、上記［Ｃ６７］に記載の装置。
［Ｃ７３］
マルチメディアデータを処理するための装置であって、
前記マルチメディアデータを受信するための手段と；
前記マルチメディアデータに関する記述的情報を第１の層から受信するための手段と、なお前記記述的情報は、第２の層内で前記マルチメディアデータを前記処理することに関係する；
前記受信された記述的情報に少なくとも一部基づいて、前記第２の層内で前記マルチメディアデータを処理するための手段と；
を備える装置。
［Ｃ７４］
少なくとも１つの命令を前記第２の層内で受信するための手段と、なお前記命令は、前記記述的情報に少なくとも一部基づいている；
前記受信された命令に少なくとも一部基づいて、前記第２の層内で前記マルチメディアデータを前記処理することを変更するための手段と；
をさらに備える、上記［Ｃ７３］に記載の装置。
［Ｃ７５］
前記受信された命令は誤り制御の方法に関係する、上記［Ｃ７４］に記載の装置。
［Ｃ７６］
誤り制御の前記方法は、誤り回復、誤り隠蔽、およびフレームの補間のうちの１つまたは複数を備える、上記［Ｃ７５］に記載の装置。
［Ｃ７７］
前記記述的情報はメタデータを備える、上記［Ｃ７３］に記載の装置。
［Ｃ７８］
前記記述的情報は、フレーム特性情報、情報を識別する基礎データまたは拡張データ、タイミング情報、符号化タイプ、フレームタイプ、同期情報、および予測的な符号化関連情報のうちの１つまたは複数を備える、上記［Ｃ７３］に記載の装置。
［Ｃ７９］
１つまたは複数の機械上で実行されるときに前記１つまたは複数の機械にプログラム演算を実行させるプログラムコード、を備える機械可読媒体であって、
前記プログラムコードは、
マルチメディアデータを受信するためのコードと、
前記マルチメディアデータに関する記述的情報を第１の層から受信するためのコードと、なお前記記述的情報は、第２の層内で前記マルチメディアデータを前記処理することに関係する；
前記受信された記述的情報に少なくとも一部基づいて、前記第２の層内で前記マルチメディアデータを処理するためのコードと；
を備える、
機械可読媒体。
［Ｃ８０］
少なくとも１つの命令を前記第２の層内で受信するためのコードと、なお前記命令は前記記述的情報に少なくとも一部基づいている；
前記受信された命令に少なくとも一部基づいて、前記第２の層内で前記マルチメディアデータを前記処理することを変更するためのコードと；
をさらに備える上記［Ｃ７９］に記載の機械可読媒体。
［Ｃ８１］
前記受信された命令は誤り制御の方法に関係する、上記［Ｃ８０］に記載の機械可読媒体。
［Ｃ８２］
誤り制御の前記方法は、誤り回復、誤り隠蔽、およびフレームの補間のうちの１つまたは複数を備える、上記［Ｃ８１］に記載の機械可読媒体。
［Ｃ８３］
前記記述的情報はメタデータを備える、上記［Ｃ７９］に記載の機械可読媒体。
［Ｃ８４］
前記記述的情報は、フレーム特性情報、情報を識別する基礎データまたは拡張データ、タイミング情報、符号化タイプ、フレームタイプ、同期情報、および予測的な符号化関連情報のうちの１つまたは複数を備える、上記［Ｃ７９］に記載の機械可読媒体。
以下に、本願の出願当初請求項に記載された発明を付記する。
［Ｃ１］
マルチメディアデータを処理する方法であって、
前記マルチメディアデータを受信することと；
前記マルチメディアデータに関する記述的情報を第１の層内で編成することと、なお前記記述的情報は、第２の層内で前記マルチメディアデータを前記処理することに関係する；
前記記述的情報に少なくとも一部基づいて、前記第２の層内で前記マルチメディアデータを前記処理することに関係する命令を提供することと；
を備える方法。
［Ｃ２］
前記記述的情報を前記第２の層に渡すこと、をさらに備える上記［Ｃ１］に記載の方法。
［Ｃ３］
前記記述的情報は、フレーム特性情報、情報を識別する基本データまたは拡張データ、タイミング情報、符号化タイプ、フレームタイプ、同期情報、および予測的な符号化関連情報のうちの１つまたは複数を備える、上記［Ｃ１］に記載の方法。
［Ｃ４］
前記マルチメディアデータはいくつかの誤ったデータを備え、前記方法は、前記マルチメディアデータ内に前記誤ったデータの誤り分布を表す情報を含むために前記記述的情報を編成することをさらに備える、上記［Ｃ１］に記載の方法。
［Ｃ５］
前記誤り分布情報に少なくとも一部基づいて前記命令を決定すること、をさらに備える上記［Ｃ４］に記載の方法。
［Ｃ６］
前記命令に少なくとも一部基づいて、前記第２の層内で前記マルチメディアデータを前記処理することを変更すること、をさらに備える上記［Ｃ１］に記載の方法。
［Ｃ７］
前記記述的情報はメタデータを備える、上記［Ｃ１］に記載の方法。
［Ｃ８］
誤り分布情報に少なくとも一部基づいて誤り制御の方法を決定すること、をさらに備え、前記第２の層に提供される前記命令は、誤り制御の前記決定された方法に関係する、上記［Ｃ１］に記載の方法。
［Ｃ９］
誤り制御の前記決定された方法は、誤り回復、誤り隠蔽、およびフレームの補間のうちの１つまたは複数を備える、上記［Ｃ８］に記載の方法。
［Ｃ１０］
マルチメディアデータを処理するための装置であって、
前記マルチメディアデータを受信するように構成された受信機と；
前記マルチメディアデータに関する記述的情報を第１の層内で編成するように構成された情報オーガナイザと、なお前記記述的情報は、第２の層内で前記マルチメディアデータを前記処理することに関係する；
前記記述的情報に少なくとも一部基づいて、前記第２の層内で前記マルチメディアデータを前記処理することに関係する命令を提供するように構成された誤り制御決定サブシステムと；
を備える装置。
［Ｃ１１］
前記情報オーガナイザは、前記記述的情報を前記第２の層に渡すようにさらに構成されている、上記［Ｃ１０］に記載の装置。
［Ｃ１２］
前記記述的情報は、フレーム特性情報、情報を識別する基礎データまたは拡張データ、タイミング情報、符号化タイプ、フレームタイプ、同期情報、および予測的な符号化関連情報のうちの１つまたは複数を備える、上記［Ｃ１０］に記載の装置。
［Ｃ１３］
前記マルチメディアデータは、いくつかの誤ったデータを備え、前記マルチメディアデータプロセッサは、前記マルチメディアデータ内に前記誤ったデータの誤り分布を表す情報を含めるために、前記記述的情報を編成するようにさらに構成されている、上記［Ｃ１０］に記載の装置。
［Ｃ１４］
前記誤り制御決定サブシステムは、前記誤り分布情報に少なくとも一部基づいて、前記命令を決定するようにさらに構成されている、上記［Ｃ１３］に記載の装置。
［Ｃ１５］
前記命令に少なくとも一部基づいて、前記第２の層内で前記マルチメディアデータを前記処理することを変更するように構成されたマルチメディア復号器、をさらに備える上記［Ｃ１０］に記載の装置。
［Ｃ１６］
前記記述的情報はメタデータを備える、上記［Ｃ１０］に記載の装置。
［Ｃ１７］
前記誤り制御決定サブシステムは、誤り分布情報に少なくとも一部基づいて、誤り制御の方法を決定するようにさらに構成されており、前記第２の層に提供される前記命令は、誤り制御の前記決定された方法に関係する、上記［Ｃ１０］に記載の装置。
［Ｃ１８］
誤り制御の前記決定された方法は、誤り回復、誤り隠蔽、およびフレームの補間のうちの１つまたは複数を備える、上記［Ｃ１７］に記載の装置。
［Ｃ１９］
マルチメディアデータを処理するための装置であって、
前記マルチメディアデータを受信するための手段と；
前記マルチメディアデータに関する記述的情報を第１の層内で編成するための手段と、なお前記記述的情報は、第２の層内で前記マルチメディアデータを前記処理することに関係する；
前記記述的情報に少なくとも一部基づいて、前記第２の層内で前記マルチメディアデータを前記処理することに関係する命令を提供するための手段と；
を備える装置。
［Ｃ２０］
前記記述的情報を前記第２の層に渡すための手段、をさらに備える上記［Ｃ１９］に記載の装置。
［Ｃ２１］
前記記述的情報は、フレーム特性情報、情報を識別する基礎データまたは拡張データ、タイミング情報、符号化タイプ、フレームタイプ、同期情報、および予測的な符号化関連情報のうちの１つまたは複数を備える、上記［Ｃ１９］に記載の装置。
［Ｃ２２］
前記マルチメディアデータは、いくつかの誤ったデータを備え、前記編成するための手段は、前記マルチメディアデータ内の前記誤ったデータの誤り分布を表す情報を含めるために前記記述的情報を編成する、上記［Ｃ１９］に記載の装置。
［Ｃ２３］
前記誤り分布情報に少なくとも一部基づいて前記命令を決定するための手段、をさらに備える上記［Ｃ２２］に記載の装置。
［Ｃ２４］
前記命令に少なくとも一部基づいて、前記第２の層内で前記マルチメディアデータを前記処理することを変更するための手段、をさらに備える上記［Ｃ１９］に記載の装置。
［Ｃ２５］
前記記述的情報はメタデータを備える、上記［Ｃ１９］に記載の装置。
［Ｃ２６］
誤り分布情報に少なくとも一部基づいて誤り制御の方法を決定するための手段、をさらに備え、前記第２の層に提供される前記命令は、誤り制御の前記決定された方法に関係する、上記［Ｃ１９］に記載の装置。
［Ｃ２７］
誤り制御の前記決定された方法は、誤り回復、誤り隠蔽、およびフレームの補間のうちの１つまたは複数を備える、上記［Ｃ２６］に記載の装置。
［Ｃ２８］
１つまたは複数の機械上で実行されるときに１つまたは複数の機械にプログラム演算を実行させるプログラムコード、を備える機械可読媒体であって、
前記プログラムコードは、
マルチメディアデータを受信するためのコードと；
前記マルチメディアデータに関する記述的情報を第１の層内で編成するためのコードと、なお前記記述的情報は、第２の層内で前記マルチメディアデータを前記処理することに関係する；
前記記述的情報に少なくとも一部基づいて、前記第２の層内で前記マルチメディアデータを前記処理することに関係する命令を提供するためのコードと；
を備える、
機械可読媒体。
［Ｃ２９］
前記記述的情報を前記第２の層に渡すためのコード、をさらに備える上記［Ｃ２８］に記載の機械可読媒体。
［Ｃ３０］
前記記述的情報は、フレーム特性情報、情報を識別する基礎データまたは拡張データ、タイミング情報、符号化タイプ、フレームタイプ、同期情報、および予測的な符号化関連情報のうちの１つまたは複数を備える、上記［Ｃ２８］に記載の機械可読媒体。
［Ｃ３１］
前記マルチメディアデータは、いくつかの誤ったデータを備え、前記マルチメディアデータ内に誤ったデータの誤り分布を表す情報を含めるために前記記述的情報を編成するためのコード、をさらに備える、上記［Ｃ２８］に記載の機械可読媒体。
［Ｃ３２］
前記誤り分布情報に少なくとも一部基づいて前記命令を決定するためのコード、をさらに備える上記［Ｃ３１］に記載の機械可読媒体。
［Ｃ３３］
前記命令に少なくとも一部基づいて、前記第２の層内で前記マルチメディアデータを前記処理することを変更するためのコード、をさらに備える上記［Ｃ２８］に記載の機械可読媒体。
［Ｃ３４］
前記記述的情報はメタデータを備える、上記［Ｃ２８］に記載の機械可読媒体。
［Ｃ３５］
誤り分布情報に少なくとも一部基づいて誤り制御の方法を決定するためのコード、をさらに備え、前記第２の層に提供される前記命令は、誤り制御の前記決定された方法に関係する、上記［Ｃ２８］に記載の機械可読媒体。
［Ｃ３６］
誤り制御の前記決定された情報が、誤り回復、誤り隠蔽、およびフレームの補間のうちの１つまたは複数を備える、上記［Ｃ３５］に記載の機械可読媒体。
［Ｃ３７］
マルチメディアデータを処理する方法であって、
前記マルチメディアデータを受信することと、
上位層内で前記マルチメディアデータを処理することと、
前記上位層内で前記マルチメディアデータを前記処理することに関連する情報に少なくとも一部基づいて、下位層に命令することと、
前記上位層内で前記マルチメディアデータを前記処理することに関連する前記情報に少なくとも一部基づいて、前記下位層内で前記マルチメディアデータを処理することと、
を備える方法。
［Ｃ３８］
前記上位層内で前記マルチメディアデータを前記処理することに関連する前記情報に少なくとも一部基づいて、前記マルチメディアデータに関する記述的情報を前記下位層内で編成すること、をさらに備える上記［Ｃ３７］に記載の方法。
［Ｃ３９］
前記記述的情報に少なくとも一部基づいて前記上位層内で前記マルチメディアデータを前記処理することに関係する命令を提供すること、をさらに備える上記［Ｃ３８］に記載の方法。
［Ｃ４０］
前記記述的情報はメタデータを備える、上記［Ｃ３８］に記載の方法。
［Ｃ４１］
前記記述的情報は、フレーム特性情報、情報を識別する基礎データまたは拡張データ、タイミング情報、符号化タイプ、フレームタイプ、同期情報、および予測的な符号化関連情報のうちの１つまたは複数を備える、上記［Ｃ３８］に記載の方法。
［Ｃ４２］
前記下位層に命令することは、処理時間、処理動作および処理状態のうちの１つまたは複数を備える情報を渡すことを備える、上記［Ｃ３７］に記載の方法。
［Ｃ４３］
マルチメディアデータを処理するための装置であって、
前記マルチメディアデータを受信するように構成された受信機と、
上位層内で前記マルチメディアデータを処理するように、そして、前記上位層内で前記マルチメディアデータを前記処理することに関連する情報に少なくとも一部基づいて、下位層に命令するように、構成された上位層復号器サブシステムと、
前記上位層内で前記マルチメディアデータを前記処理することに関連する前記情報に少なくとも一部基づいて、前記下位層内で前記マルチメディアデータを処理するように構成された下位層復号器サブシステムと、
を備える装置。
［Ｃ４４］
前記上位層内で前記マルチメディアデータを前記処理することに関連する前記情報に少なくとも一部基づいて、前記マルチメディアデータに関する記述的情報を前記下位層内で編成するように構成された情報オーガナイザ、をさらに備える上記［Ｃ４３］に記載の装置。
［Ｃ４５］
前記記述的情報に少なくとも一部基づいて、前記上位層内で前記マルチメディアデータを前記処理することに関係する命令を提供するように構成された誤り制御決定サブシステム、をさらに備える上記［Ｃ４４］に記載の装置。
［Ｃ４６］
前記記述的情報はメタデータを備える、上記［Ｃ４４］に記載の装置。
［Ｃ４７］
前記記述的情報は、フレーム特性情報、情報を識別する基礎データまたは拡張データ、タイミング情報、符号化タイプ、フレームタイプ、同期情報、および予測的な符号化関連情報のうちの１つまたは複数を備える、上記［Ｃ４４］に記載の装置。
［Ｃ４８］
前記上位層復号器サブシステムは、処理時間、処理動作および処理状態のうちの１つまたは複数を備える情報を渡すことによって、前記下位層に命令するようにさらに構成されている、上記［Ｃ４３］に記載の装置。
［Ｃ４９］
マルチメディアデータを処理するための装置であって、
前記マルチメディアデータを受信するための手段と、
上位層内で前記マルチメディアデータを処理するための手段と、
前記上位層内で前記マルチメディアデータを前記処理することに関連する情報に少なくとも一部基づいて、下位層に命令するための手段と、
前記上位層内で前記マルチメディアデータを前記処理することに関連する情報に少なくとも一部基づいて、前記下位層内で前記マルチメディアデータを処理するための手段と；
を備える装置。
［Ｃ５０］
前記上位層内で前記マルチメディアデータを前記処理することに関連する情報に少なくとも一部基づいて、前記マルチメディアデータに関する記述的情報を前記下位層内で編成するための手段、をさらに備える上記［Ｃ４９］に記載の装置。
［Ｃ５１］
前記記述的情報に少なくとも一部基づいて前記上位層内で前記マルチメディアデータを前記処理することに関係する命令を提供するための手段、をさらに備える上記［Ｃ５０］に記載の装置。
［Ｃ５２］
前記記述的情報はメタデータを備える、上記［Ｃ５０］に記載の装置。
［Ｃ５３］
前記記述的情報は、フレーム特性情報、情報を識別する基礎データまたは拡張データ、タイミング情報、符号化タイプ、フレームタイプ、同期情報、および予測的な符号化関連情報のうちの１つまたは複数を備える、上記［Ｃ５０］に記載の装置。
［Ｃ５４］
前記下位層に命令するための前記手段は、処理時間、処理動作および処理状態のうちの１つまたは複数を備える情報を渡すための手段を備える、上記［Ｃ４９］に記載の装置。
［Ｃ５５］
１つまたは複数の機械上で実行されるときに前記１つまたは複数の機械にプログラム演算を実行させるプログラムコード、を備える機械可読媒体であって、
前記プログラムコードは、
マルチメディアデータを受信するためのコードと、
上位層内で前記マルチメディアデータを処理するためのコードと、
前記上位層内で前記マルチメディアデータを前記処理することに関連する情報に少なくとも一部基づいて、下位層に命令するためのコードと、
前記上位層内で前記マルチメディアデータを前記処理することに関連する前記情報に少なくとも一部基づいて、前記下位層内で前記マルチメディアデータを前記処理するためのコードと、
を備える、
機械可読媒体。
［Ｃ５６］
前記上位層内で前記マルチメディアデータを前記処理することに関連する前記情報に少なくとも一部基づいて、前記マルチメディアデータに関する記述的情報を前記下位層内で編成するためのコード、をさらに備える上記［Ｃ５５］に記載の機械可読媒体。
［Ｃ５７］
前記記述的情報に少なくとも一部基づいて前記上位層内で前記マルチメディアを前記処理することに関係する命令を提供するためのコード、をさらに備える上記［Ｃ５６］に記載の機械可読媒体。
［Ｃ５８］
前記記述的情報はメタデータを備える、上記［Ｃ５６］に記載の機械可読媒体。
［Ｃ５９］
前記記述的情報は、フレーム特性情報、情報を識別する基礎データまたは拡張データ、タイミング情報、符号化タイプ、フレームタイプ、同期情報、および予測的な符号化関連情報のうちの１つまたは複数を備える、上記［Ｃ５６］に記載の機械可読媒体。
［Ｃ６０］
処理時間、処理動作および処理状態のうちの１つまたは複数を備える情報を渡すことによって前記下位層に命令するためのコード、をさらに備える上記［Ｃ５５］に記載の機械可読媒体。
［Ｃ６１］
マルチメディアデータを処理するための方法であって、
前記マルチメディアデータを受信することと；
前記マルチメディアデータに関する記述的情報を第１の層から受信することと、なお前記記述的情報は、第２の層内で前記マルチメディアデータを前記処理することに関係する；
前記受信された記述的情報に少なくとも一部基づいて前記第２の層内で前記マルチメディアデータを処理することと；
を備える方法。
［Ｃ６２］
少なくとも１つの命令を前記第２の層内で受信することと、なお前記命令は、前記記述的情報に少なくとも一部基づいている；
前記受信された命令に少なくとも一部基づいて、前記第２の層内で前記マルチメディアデータを前記処理することを変更することと；
をさらに備える上記［Ｃ６１］に記載の方法。
［Ｃ６３］
前記受信された命令は誤り制御の方法に関係する、上記［Ｃ６２］に記載の方法。
［Ｃ６４］
誤り制御の前記方法は、誤り回復、誤り隠蔽、およびフレームの補間のうちの１つまたは複数を備える、上記［Ｃ６３］に記載の方法。
［Ｃ６５］
前記記述的情報はメタデータを備える、上記［Ｃ６１］に記載の方法。
［Ｃ６６］
前記記述的情報は、フレーム特性情報、情報を識別する基礎データまたは拡張データ、タイミング情報、符号化タイプ、フレームタイプ、同期情報、および予測的な符号化関連情報のうちの１つまたは複数を備える、上記［Ｃ６１］に記載の方法。
［Ｃ６７］
マルチメディアデータを処理するための装置であって、
前記マルチメディアデータを受信するように構成された受信機と、
第１の層から前記マルチメディアデータについての、第２の層内で前記マルチメディアデータを前記処理することに関係する記述的情報を、受信するように、そして、前記受信された記述的情報に少なくとも一部基づいて前記第２の層内で前記マルチメディアデータを処理するように、構成された復号器と、
を備える装置。
［Ｃ６８］
前記復号器は、少なくとも１つの命令を前記第２の層内で受信するようにさらに構成されており、前記命令は、前記記述的情報に少なくとも一部基づいており、そして、前記復号は、前記受信された命令に少なくとも一部基づいて、前記第２の層内で前記マルチメディアデータを前記処理することを変更するようにさらに構成されている、上記［Ｃ６７］に記載の装置。
［Ｃ６９］
前記受信された命令は誤り制御の方法に関係する、上記［Ｃ６８］に記載の装置。
［Ｃ７０］
誤り制御の前記方法は、誤り回復、誤り隠蔽、およびフレームの補間のうちの１つまたは複数を備える、上記［Ｃ６９］に記載の装置。
［Ｃ７１］
前記記述的情報はメタデータを備える、上記［Ｃ６７］に記載の装置。
［Ｃ７２］
前記記述的情報は、フレーム特性情報、情報を識別する基礎データまたは拡張データ、タイミング情報、符号化タイプ、フレームタイプ、同期情報、および予測的な符号化関連情報のうちの１つまたは複数を備える、上記［Ｃ６７］に記載の装置。
［Ｃ７３］
マルチメディアデータを処理するための装置であって、
前記マルチメディアデータを受信するための手段と；
前記マルチメディアデータに関する記述的情報を第１の層から受信するための手段と、なお前記記述的情報は、第２の層内で前記マルチメディアデータを前記処理することに関係する；
前記受信された記述的情報に少なくとも一部基づいて、前記第２の層内で前記マルチメディアデータを処理するための手段と；
を備える装置。
［Ｃ７４］
少なくとも１つの命令を前記第２の層内で受信するための手段と、なお前記命令は、前記記述的情報に少なくとも一部基づいている；
前記受信された命令に少なくとも一部基づいて、前記第２の層内で前記マルチメディアデータを前記処理することを変更するための手段と；
をさらに備える、上記［Ｃ７３］に記載の装置。
［Ｃ７５］
前記受信された命令は誤り制御の方法に関係する、上記［Ｃ７４］に記載の装置。
［Ｃ７６］
誤り制御の前記方法は、誤り回復、誤り隠蔽、およびフレームの補間のうちの１つまたは複数を備える、上記［Ｃ７５］に記載の装置。
［Ｃ７７］
前記記述的情報はメタデータを備える、上記［Ｃ７３］に記載の装置。
［Ｃ７８］
前記記述的情報は、フレーム特性情報、情報を識別する基礎データまたは拡張データ、タイミング情報、符号化タイプ、フレームタイプ、同期情報、および予測的な符号化関連情報のうちの１つまたは複数を備える、上記［Ｃ７３］に記載の装置。
［Ｃ７９］
１つまたは複数の機械上で実行されるときに前記１つまたは複数の機械にプログラム演算を実行させるプログラムコード、を備える機械可読媒体であって、
前記プログラムコードは、
マルチメディアデータを受信するためのコードと、
前記マルチメディアデータに関する記述的情報を第１の層から受信するためのコードと、なお前記記述的情報は、第２の層内で前記マルチメディアデータを前記処理することに関係する；
前記受信された記述的情報に少なくとも一部基づいて、前記第２の層内で前記マルチメディアデータを処理するためのコードと；
を備える、
機械可読媒体。
［Ｃ８０］
少なくとも１つの命令を前記第２の層内で受信するためのコードと、なお前記命令は前記記述的情報に少なくとも一部基づいている；
前記受信された命令に少なくとも一部基づいて、前記第２の層内で前記マルチメディアデータを前記処理することを変更するためのコードと；
をさらに備える上記［Ｃ７９］に記載の機械可読媒体。
［Ｃ８１］
前記受信された命令は誤り制御の方法に関係する、上記［Ｃ８０］に記載の機械可読媒体。
［Ｃ８２］
誤り制御の前記方法は、誤り回復、誤り隠蔽、およびフレームの補間のうちの１つまたは複数を備える、上記［Ｃ８１］に記載の機械可読媒体。
［Ｃ８３］
前記記述的情報はメタデータを備える、上記［Ｃ７９］に記載の機械可読媒体。
［Ｃ８４］
前記記述的情報は、フレーム特性情報、情報を識別する基礎データまたは拡張データ、タイミング情報、符号化タイプ、フレームタイプ、同期情報、および予測的な符号化関連情報のうちの１つまたは複数を備える、上記［Ｃ７９］に記載の機械可読媒体。
Claims (28)
- マルチメディアデータを装置が処理する方法であって、
前記マルチメディアデータを受信することと；
前記マルチメディアデータに関する記述的情報を第１の層内で編成することと、なお前記記述的情報は、第２の層内で前記マルチメディアデータを前記処理することに関係し、前記記述的情報は誤り分布情報を含み、前記記述的情報を前記編成することは、前記記述的情報を編集、収集、または生成することを含む；
前記記述的情報に少なくとも一部基づいて、前記第２の層内で前記マルチメディアデータを前記処理することに関係する命令を提供することと；
前記誤り分布情報に少なくとも一部基づいて誤り制御方法を決定することと、なお前記第２の層内で提供される命令は、決定された誤り制御方法に関係し、前記マルチメディアデータは、複数のデータ単位に区分され、前記誤り分布情報は、前記データ単位内のどの部分が誤っているかを識別する；
を備える方法。 - 前記マルチメディアデータはいくつかの誤ったデータを備え、前記方法は、前記マルチメディアデータ内に前記誤ったデータの誤り分布情報を含むために前記記述的情報を編成することをさらに備える、請求項１に記載の方法。
- 前記誤り分布情報に少なくとも一部基づいて前記命令を決定すること、をさらに備える請求項２に記載の方法。
- 前記命令に少なくとも一部基づいて、前記第２の層内で前記マルチメディアデータを前記処理することを変更すること、をさらに備える請求項１に記載の方法。
- 前記記述的情報はメタデータを備える、請求項１に記載の方法。
- 前記記述的情報を前記第２の層に渡すこと、をさらに備える請求項１に記載の方法。
- 誤り制御の前記決定された方法は、誤り回復、誤り隠蔽、およびフレームの補間のうちの１つまたは複数を備える、請求項１に記載の方法。
- マルチメディアデータを処理するための装置であって、
前記マルチメディアデータを受信するように構成された受信機と；
前記マルチメディアデータに関する記述的情報を第１の層内で編成するように構成された情報オーガナイザと、なお前記記述的情報は、第２の層内で前記マルチメディアデータを前記処理することに関係し、前記記述的情報は誤り分布情報を含み、前記記述的情報を前記編成することは、前記記述的情報を編集、収集、または生成することを意味する；
前記記述的情報に少なくとも一部基づいて、前記第２の層内で前記マルチメディアデータを前記処理することに関係する命令を提供するように構成された誤り制御決定サブシステムと；
を備え、ここにおいて、前記誤り制御決定サブシステムは、前記誤り分布情報に少なくとも一部基づいて誤り制御方法を決定するようにさらに構成され、前記第２の層内で提供される命令は、決定された誤り制御方法に関係し、前記マルチメディアデータは、複数のデータ単位に区分され、前記誤り分布情報は、前記データ単位内のどの部分が誤っているかを識別する、装置。 - 前記マルチメディアデータは、いくつかの誤ったデータを備え、前記マルチメディアデータプロセッサは、前記マルチメディアデータ内に前記誤ったデータの誤り分布情報を含めるために、前記記述的情報を編成するようにさらに構成されている、請求項８に記載の装置。
- 前記誤り制御決定サブシステムは、前記誤り分布情報に少なくとも一部基づいて、前記命令を決定するようにさらに構成されている、請求項９に記載の装置。
- 前記命令に少なくとも一部基づいて、前記第２の層内で前記マルチメディアデータを前記処理することを変更するように構成されたマルチメディア復号器、をさらに備える請求項８に記載の装置。
- 前記記述的情報はメタデータを備える、請求項８に記載の装置。
- 前記情報オーガナイザは、前記記述的情報を前記第２の層に渡すようにさらに構成される、請求項８に記載の装置。
- 誤り制御の前記決定された方法は、誤り回復、誤り隠蔽、およびフレームの補間のうちの１つまたは複数を備える、請求項８に記載の装置。
- マルチメディアデータを処理するための装置であって、
前記マルチメディアデータを受信するための手段と；
前記マルチメディアデータに関する記述的情報を第１の層内で編成するための手段と、なお前記記述的情報は、第２の層内で前記マルチメディアデータを前記処理することに関係し、前記記述的情報は誤り分布情報を含み、前記記述的情報を前記編成することは、前記記述的情報を編集、収集、または生成することを意味する；
前記記述的情報に少なくとも一部基づいて、前記第２の層内で前記マルチメディアデータを前記処理することに関係する命令を提供するための手段と；
前記誤り分布情報に少なくとも一部基づいて誤り制御方法を決定するための手段と、なお、前記第２の層内で提供される命令は、決定された誤り制御方法に関係し、前記マルチメディアデータは、複数のデータ単位に区分され、前記誤り分布情報は、前記データ単位内のどの部分が誤っているかを識別する、
を備える装置。 - 前記マルチメディアデータは、いくつかの誤ったデータを備え、前記編成するための手段は、前記マルチメディアデータ内の前記誤ったデータの誤り分布情報を含めるために前記記述的情報を編成する、請求項１５に記載の装置。
- 前記誤り分布情報に少なくとも一部基づいて前記命令を決定するための手段、をさらに備える請求項１６に記載の装置。
- 前記命令に少なくとも一部基づいて、前記第２の層内で前記マルチメディアデータを前記処理することを変更するための手段、をさらに備える請求項１５に記載の装置。
- 前記記述的情報はメタデータを備える、請求項１５に記載の装置。
- 前記装置は、前記記述的情報を前記第２の層に渡すための手段をさらに備える、請求項１５に記載の装置。
- 誤り制御の前記決定された方法は、誤り回復、誤り隠蔽、およびフレームの補間のうちの１つまたは複数を備える、請求項２０に記載の装置。
- プログラムが記録された機械可読記録媒体であって、前記プログラムは、
マルチメディアデータを受信するプロシージャと；
前記マルチメディアデータに関する記述的情報を第１の層内で編成するプロシージャと、なお前記記述的情報は、第２の層内で前記マルチメディアデータを前記処理することに関係し、前記記述的情報は誤り分布情報を含み、前記記述的情報を前記編成することは、前記記述的情報を編集、収集、または生成することを意味する；
前記記述的情報に少なくとも一部基づいて、前記第２の層内で前記マルチメディアデータを前記処理することに関係する命令を提供するプロシージャと；
前記誤り分布情報に少なくとも一部基づいて誤り制御方法を決定するプロシージャと、なお、前記第２の層内で提供される命令は、決定された誤り制御方法に関係し、前記マルチメディアデータは、複数のデータ単位に区分され、前記誤り分布情報は、前記データ単位内のどの部分が誤っているかを識別する、
を、１つまたは複数の機械に実行させる、
機械可読記録媒体。 - 前記マルチメディアデータは、いくつかの誤ったデータを備え、
前記プログラムは、前記１つまたは複数の機械に、前記マルチメディアデータ内に誤ったデータの誤り分布情報を含めるために前記記述的情報を編成するプロシージャをさらに実行させる、請求項２２に記載の機械可読記録媒体。 - 前記プログラムは、前記１つまたは複数の機械に、前記誤り分布情報に少なくとも一部基づいて前記命令を決定するプロシージャをさらに実行させる、請求項２３に記載の機械可読記録媒体。
- 前記プログラムは、前記１つまたは複数の機械に、前記命令に少なくとも一部基づいて、前記第２の層内で前記マルチメディアデータを前記処理することを変更するプロシージャをさらに実行させる、請求項２２に記載の機械可読記録媒体。
- 前記記述的情報はメタデータを備える、請求項２２に記載の機械可読記録媒体。
- 前記プログラムは、前記１つまたは複数の機械に、前記記述的情報を前記第２の層に渡すプロシージャをさらに実行させる、請求項２２に記載の機械可読記録媒体。
- 誤り制御の前記決定された方法は、誤り回復、誤り隠蔽、およびフレームの補間のうちの１つまたは複数を備える、請求項２２に記載の機械可読記録媒体。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US78944306P | 2006-04-04 | 2006-04-04 | |
| US60/789,443 | 2006-04-04 | ||
| US11/696,071 | 2007-04-03 | ||
| US11/696,071 US8358704B2 (en) | 2006-04-04 | 2007-04-03 | Frame level multimedia decoding with frame information table |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009504444A Division JP2009537081A (ja) | 2006-04-04 | 2007-04-04 | フレーム情報表を用いたフレームレベルのマルチメディア復号 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014042288A JP2014042288A (ja) | 2014-03-06 |
| JP5705941B2 true JP5705941B2 (ja) | 2015-04-22 |
Family
ID=38861516
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009504444A Withdrawn JP2009537081A (ja) | 2006-04-04 | 2007-04-04 | フレーム情報表を用いたフレームレベルのマルチメディア復号 |
| JP2012085648A Expired - Fee Related JP5507606B2 (ja) | 2006-04-04 | 2012-04-04 | フレーム情報表を用いたフレームレベルのマルチメディア復号 |
| JP2013205858A Expired - Fee Related JP5705941B2 (ja) | 2006-04-04 | 2013-09-30 | フレーム情報表を用いたフレームレベルのマルチメディア復号 |
Family Applications Before (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009504444A Withdrawn JP2009537081A (ja) | 2006-04-04 | 2007-04-04 | フレーム情報表を用いたフレームレベルのマルチメディア復号 |
| JP2012085648A Expired - Fee Related JP5507606B2 (ja) | 2006-04-04 | 2012-04-04 | フレーム情報表を用いたフレームレベルのマルチメディア復号 |
Country Status (9)
| Country | Link |
|---|---|
| US (1) | US8358704B2 (ja) |
| EP (1) | EP2080384A2 (ja) |
| JP (3) | JP2009537081A (ja) |
| KR (1) | KR100983169B1 (ja) |
| CN (1) | CN101690239B (ja) |
| BR (1) | BRPI0709888A2 (ja) |
| CA (1) | CA2645014A1 (ja) |
| RU (1) | RU2008143381A (ja) |
| WO (1) | WO2008063687A2 (ja) |
Families Citing this family (65)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060062312A1 (en) * | 2004-09-22 | 2006-03-23 | Yen-Chi Lee | Video demultiplexer and decoder with efficient data recovery |
| JP4971660B2 (ja) * | 2005-03-31 | 2012-07-11 | キヤノン株式会社 | 画像処理装置、画像処理方法、コンピュータプログラム、記憶媒体 |
| KR20070038396A (ko) * | 2005-10-05 | 2007-04-10 | 엘지전자 주식회사 | 영상 신호의 인코딩 및 디코딩 방법 |
| US20070230356A1 (en) * | 2006-04-04 | 2007-10-04 | Kalantri Sacchindrakumar G | Method and apparatus for enabling FLO device certification |
| EP1855436A1 (en) * | 2006-05-12 | 2007-11-14 | Deutsche Thomson-Brandt Gmbh | Method and apparatus for encrypting encoded audio signal |
| FR2906433B1 (fr) * | 2006-09-22 | 2009-02-27 | Canon Kk | Procedes et dispositifs de codage et de decodage d'images, programme d'ordinateur les mettant en oeuvre et support d'informaton permettant de les mettre en oeuvre |
| KR100862662B1 (ko) | 2006-11-28 | 2008-10-10 | 삼성전자주식회사 | 프레임 오류 은닉 방법 및 장치, 이를 이용한 오디오 신호복호화 방법 및 장치 |
| US9888817B2 (en) | 2014-12-17 | 2018-02-13 | Omachron Intellectual Property Inc. | Surface cleaning apparatus |
| EP2174516B1 (en) * | 2007-05-15 | 2015-12-09 | Broadcom Corporation | Transporting gsm packets over a discontinuous ip based network |
| US20080298468A1 (en) * | 2007-06-04 | 2008-12-04 | Mediaphy Corporation | Error tagging for decoder |
| JP4469879B2 (ja) * | 2007-08-07 | 2010-06-02 | 株式会社東芝 | 半導体メモリ蓄積装置とその素材管理方法 |
| FR2921529B1 (fr) * | 2007-09-21 | 2009-11-13 | Alcatel Lucent | Procede de transmission de donnees depuis une infrastructure d'un reseau de radiocommunication vers des equipements utilisateur, et equipements pour la mise en oeuvre du procede |
| KR100958257B1 (ko) * | 2007-11-05 | 2010-05-17 | 한국전자통신연구원 | 특정 장소에서의 선택적 방송 채널 시청 방법 및 시스템 |
| US20090124250A1 (en) * | 2007-11-14 | 2009-05-14 | Topaltzas Dimitrios M | System and Method for Testing Mobile Telephone Devices using a Plurality of Communication Protocols |
| EP2215797A1 (en) * | 2007-12-03 | 2010-08-11 | Nokia Corporation | A packet generator |
| US9210480B2 (en) * | 2007-12-20 | 2015-12-08 | Broadcom Corporation | Video processing system with layered video coding and methods for use therewith |
| JP5284652B2 (ja) * | 2008-01-30 | 2013-09-11 | 京セラ株式会社 | データ処理装置及びデータ処理方法並びに電子機器 |
| US9357233B2 (en) | 2008-02-26 | 2016-05-31 | Qualcomm Incorporated | Video decoder error handling |
| US8902996B2 (en) | 2008-02-26 | 2014-12-02 | Richwave Technology Corp. | Adaptive wireless video transmission systems and methods |
| US20100080143A1 (en) * | 2008-09-30 | 2010-04-01 | Topaltzas Dimitrios M | System and Method for Testing Mobile Telephone Data Services |
| JP4600574B2 (ja) * | 2009-01-07 | 2010-12-15 | 日本電気株式会社 | 動画像復号装置、動画像復号方法、及びプログラム |
| US20120121014A1 (en) * | 2009-03-04 | 2012-05-17 | Thomas Rusert | Processing of Multimedia Data |
| US20100269142A1 (en) * | 2009-04-16 | 2010-10-21 | Nec Laboratories America, Inc. | Utility optimization for scalable video multicast in wireless systems |
| US8064900B2 (en) | 2009-06-17 | 2011-11-22 | Metrico Wireless, Inc. | System, method and device for testing mobile telephone call performance |
| US9578325B2 (en) * | 2010-01-13 | 2017-02-21 | Texas Instruments Incorporated | Drift reduction for quality scalable video coding |
| CN101964188B (zh) * | 2010-04-09 | 2012-09-05 | 华为技术有限公司 | 语音信号编码、解码方法、装置及编解码系统 |
| WO2011142564A2 (ko) | 2010-05-10 | 2011-11-17 | 엘지전자 주식회사 | 방송 신호 송신 장치, 방송 신호 수신 장치, 및 방송 신호 송/수신 장치에서 방송 신호 송수신 방법 |
| US8824543B2 (en) | 2010-06-18 | 2014-09-02 | Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry, Through The Communications Research Centre Canada | Multilayer decoding using persistent bits |
| US20120033620A1 (en) * | 2010-08-03 | 2012-02-09 | Nxp B.V. | Synchronization for data transfers between physical layers |
| KR101443061B1 (ko) * | 2010-11-12 | 2014-09-26 | 한국전자통신연구원 | 패킷 손실에 강인한 애드혹 멀티미디어 그룹통신 단말 및 그 동작방법 |
| JP4929393B1 (ja) * | 2010-11-19 | 2012-05-09 | 株式会社東芝 | 受信装置、受信方法および受信プログラム |
| US20120221884A1 (en) * | 2011-02-28 | 2012-08-30 | Carter Nicholas P | Error management across hardware and software layers |
| US9843844B2 (en) * | 2011-10-05 | 2017-12-12 | Qualcomm Incorporated | Network streaming of media data |
| TWI528793B (zh) * | 2011-10-14 | 2016-04-01 | 立積電子股份有限公司 | 用以提供數位視訊內容錯誤復原的方法 |
| KR101978811B1 (ko) * | 2012-01-02 | 2019-08-29 | 삼성전자주식회사 | 계층 변조 및 복조 장치 및 이의 방법 |
| WO2014003787A1 (en) * | 2012-06-29 | 2014-01-03 | Hewlett-Packard Development Company, L.P. | Routing packet from edge device to home network or from home network to remote access network |
| US9602827B2 (en) * | 2012-07-02 | 2017-03-21 | Qualcomm Incorporated | Video parameter set including an offset syntax element |
| US9319684B2 (en) | 2012-08-21 | 2016-04-19 | Qualcomm Incorporated | Alternative transform in scalable video coding |
| US10194158B2 (en) * | 2012-09-04 | 2019-01-29 | Qualcomm Incorporated | Transform basis adjustment in scalable video coding |
| CN104871514B (zh) * | 2012-10-18 | 2019-04-05 | Vid拓展公司 | 移动多媒体流的解码复杂度 |
| US9244600B2 (en) * | 2013-02-05 | 2016-01-26 | Alc Holdings, Inc. | Video preview creation with audio |
| EP2954518B1 (en) * | 2013-02-05 | 2016-08-31 | Telefonaktiebolaget LM Ericsson (publ) | Method and apparatus for controlling audio frame loss concealment |
| US9473771B2 (en) | 2013-04-08 | 2016-10-18 | Qualcomm Incorporated | Coding video data for an output layer set |
| KR20140122835A (ko) * | 2013-04-11 | 2014-10-21 | 삼성전자주식회사 | 프로세스 병렬 처리 장치 및 방법 |
| JP6605789B2 (ja) | 2013-06-18 | 2019-11-13 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 送信方法、受信方法、送信装置、および、受信装置 |
| US20150009289A1 (en) * | 2013-07-08 | 2015-01-08 | Electronics And Telecommunications Research Institute | Method and apparatus for providing three-dimensional (3d) video |
| US20150055527A1 (en) * | 2013-08-26 | 2015-02-26 | Qualcomm Incorporated | Devices and methods for facilitating power savings by optimized data block decodes in wireless communications systems |
| US9412024B2 (en) * | 2013-09-13 | 2016-08-09 | Interra Systems, Inc. | Visual descriptors based video quality assessment using outlier model |
| US9930250B2 (en) * | 2013-09-15 | 2018-03-27 | Mediatek Inc. | Method and apparatus for performing image processing operation based on frame/algorithm selection |
| EP3130099B1 (de) * | 2014-04-09 | 2022-12-21 | Hirschmann Automation and Control GmbH | Verfahren für ein redundantes übertragungssystem mit prp und energieeinsparung |
| JP6561991B2 (ja) * | 2014-08-29 | 2019-08-21 | ソニー株式会社 | 受信装置、及び、受信方法 |
| KR101764637B1 (ko) * | 2014-12-05 | 2017-08-14 | 엘지전자 주식회사 | 방송 신호 송신 방법, 방송 신호 송신 장치, 방송 신호 수신 방법 및 방송 신호 수신 장치 |
| US9860537B2 (en) * | 2014-12-16 | 2018-01-02 | Intel Corporation | Multi-focus image data compression |
| US10728806B2 (en) * | 2015-03-02 | 2020-07-28 | Corning Optical Communications LLC | Enhanced features for a gateway coordinating multiple small cell radio access networks |
| US11071032B2 (en) | 2015-03-02 | 2021-07-20 | Corning Optical Communications LLC | Gateway coordinating multiple small cell radio access networks |
| US10349313B2 (en) * | 2015-03-02 | 2019-07-09 | Corning Optical Communications LLC | Enhanced features for a gateway coordinating multiple small cell radio access networks |
| US10148510B2 (en) | 2015-03-02 | 2018-12-04 | Spidercloud Wireless, Inc. | Topology discovery and management and SON orchestration |
| KR102268856B1 (ko) * | 2015-03-11 | 2021-06-24 | 한국전자통신연구원 | 미디어 데이터 송신 방법 및 장치 |
| US10129805B2 (en) | 2015-03-12 | 2018-11-13 | Spidercloud Wireless, Inc. | Hitless software upgrade for a virtualized gateway coordinating multiple small cell radio access networks |
| US11212539B2 (en) | 2017-07-28 | 2021-12-28 | Nvidia Corporation | Efficient lossless compression of captured raw image information systems and methods |
| CN108777606B (zh) * | 2018-05-30 | 2021-07-27 | Tcl华星光电技术有限公司 | 解码方法、设备及可读存储介质 |
| US10986339B2 (en) | 2019-02-08 | 2021-04-20 | Tencent America LLC | Method and apparatus for harmonization between transform skip mode and multiple transform selection |
| US11798128B2 (en) | 2020-01-02 | 2023-10-24 | Texas Instruments Incorporated | Robust frame size error detection and recovery mechanism to minimize frame loss for camera input sub-systems |
| WO2021138242A1 (en) * | 2020-01-02 | 2021-07-08 | Texas Instruments Incorporated | Robust frame size error detection and recovery mechanism |
| CN117376632B (zh) * | 2023-12-06 | 2024-02-06 | 中国信息通信研究院 | 基于智能深度合成的数据恢复方法和系统 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6614847B1 (en) * | 1996-10-25 | 2003-09-02 | Texas Instruments Incorporated | Content-based video compression |
| TW398129B (en) * | 1998-02-13 | 2000-07-11 | Matsushita Electric Ind Co Ltd | The Decoder and the decoding method of the same |
| KR100354745B1 (ko) * | 1998-11-02 | 2002-12-18 | 삼성전자 주식회사 | 비디오코딩및디코딩방법 |
| JP3411234B2 (ja) * | 1999-04-26 | 2003-05-26 | 沖電気工業株式会社 | 符号化情報受信復号装置 |
| US6621865B1 (en) * | 2000-09-18 | 2003-09-16 | Powerlayer Microsystems, Inc. | Method and system for encoding and decoding moving and still pictures |
| CN1190916C (zh) * | 2000-10-19 | 2005-02-23 | 华为技术有限公司 | 一种基于ip应用的抗误码编解码方法 |
| JP3931595B2 (ja) | 2001-07-10 | 2007-06-20 | 株式会社日立製作所 | データ修正装置及びデータ修正方法 |
| AU2003290807A1 (en) | 2002-11-15 | 2004-06-15 | The Arizona Board Of Regents On Behalf Of The University Of Arizona | Methods for decoding corrupt jpeg2000 codestreams |
| CN1792057A (zh) * | 2003-05-16 | 2006-06-21 | 汤姆森许可贸易公司 | 分层及分等级调制系统的一体接收机 |
| US20070086515A1 (en) * | 2003-12-09 | 2007-04-19 | Koninkiljke Phillips Electronics N.V. | Spatial and snr scalable video coding |
| KR20050120491A (ko) | 2004-06-19 | 2005-12-22 | 삼성전자주식회사 | 멀티미디어 방송 시스템에서의 전송 에러 처리방법 및장치 |
| KR20060005585A (ko) * | 2004-07-13 | 2006-01-18 | 삼성전자주식회사 | Ｕｓｂ를 이용한 데이터 전송 장치 및 방법 |
| AU2005267171A1 (en) | 2004-07-20 | 2006-02-02 | Qualcomm Incorporated | Method and apparatus for encoder assisted-frame rate up conversion (EA-FRUC) for video compression |
| US9055298B2 (en) * | 2005-07-15 | 2015-06-09 | Qualcomm Incorporated | Video encoding method enabling highly efficient partial decoding of H.264 and other transform coded information |
| GB0600141D0 (en) * | 2006-01-05 | 2006-02-15 | British Broadcasting Corp | Scalable coding of video signals |
-
2007
- 2007-04-03 US US11/696,071 patent/US8358704B2/en active Active
- 2007-04-04 BR BRPI0709888-0A patent/BRPI0709888A2/pt not_active IP Right Cessation
- 2007-04-04 CN CN2007800107721A patent/CN101690239B/zh active Active
- 2007-04-04 CA CA002645014A patent/CA2645014A1/en not_active Abandoned
- 2007-04-04 RU RU2008143381/09A patent/RU2008143381A/ru not_active Application Discontinuation
- 2007-04-04 WO PCT/US2007/065940 patent/WO2008063687A2/en active Application Filing
- 2007-04-04 EP EP07868219A patent/EP2080384A2/en not_active Withdrawn
- 2007-04-04 KR KR1020087026927A patent/KR100983169B1/ko active IP Right Grant
- 2007-04-04 JP JP2009504444A patent/JP2009537081A/ja not_active Withdrawn
-
2012
- 2012-04-04 JP JP2012085648A patent/JP5507606B2/ja not_active Expired - Fee Related
-
2013
- 2013-09-30 JP JP2013205858A patent/JP5705941B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2009537081A (ja) | 2009-10-22 |
| JP2012165431A (ja) | 2012-08-30 |
| CN101690239A (zh) | 2010-03-31 |
| WO2008063687A2 (en) | 2008-05-29 |
| EP2080384A2 (en) | 2009-07-22 |
| US8358704B2 (en) | 2013-01-22 |
| JP2014042288A (ja) | 2014-03-06 |
| BRPI0709888A2 (pt) | 2011-07-26 |
| KR100983169B1 (ko) | 2010-09-20 |
| CA2645014A1 (en) | 2008-05-29 |
| KR20090006163A (ko) | 2009-01-14 |
| US20070291836A1 (en) | 2007-12-20 |
| CN101690239B (zh) | 2012-07-25 |
| WO2008063687A3 (en) | 2009-10-22 |
| RU2008143381A (ru) | 2010-05-10 |
| JP5507606B2 (ja) | 2014-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5705941B2 (ja) | フレーム情報表を用いたフレームレベルのマルチメディア復号 | |
| JP5378227B2 (ja) | チャネルスイッチングのためのシステムと方法 | |
| JP5296123B2 (ja) | 帯域外ディレクトリ情報を使用するエラー耐性の改良 | |
| JP5007012B2 (ja) | ビデオ符号化方法 | |
| US7826537B2 (en) | Systems and methods with error resilience in enhancement layer bitstream of scalable video coding | |
| EP1792492B1 (en) | Video demultiplexer and decoder with efficient data recovery | |
| US20060188025A1 (en) | Error concealment | |
| US20020054641A1 (en) | Video coding | |
| US20040218669A1 (en) | Picture coding method | |
| KR20130006524A (ko) | 비디오 디코더 에러 핸들링 | |
| JP2005229587A (ja) | 多重化方式変換装置 | |
| JP2001025014A (ja) | 圧縮されたマルチメディア通信を復号化するための、並びにマルチメディア通信の品質を評価するための方法及び装置 | |
| JP2003318864A (ja) | 符号化パケット伝送受信方法およびその装置ならびにプログラム | |
| US7627042B2 (en) | System, method, and apparatus for error recovery in coded video signals | |
| Li et al. | Data partitioning and reversible variable length codes for robust video communications | |
| JP2005033556A (ja) | データ送信装置、データ送信方法、データ受信装置、データ受信方法 | |
| KR20010108077A (ko) | 매크로블럭 기반으로 압축된 비디오 데이터의 헤더 정보를로버스트 디코딩하기 위한 방법 및 장치 | |
| KR20120005371A (ko) | 블록 코드 심볼을 중복하여 버스트 데이터 손실을 복구하는 방법 및 장치 | |
| TW200803523A (en) | Frame level multimedia decoding with frame information table | |
| JP3990055B2 (ja) | 画像符号化・復号システムおよび画像符号化・復号方法並びに画像符号化装置および画像復号装置並びに画像符号化方法および画像復号方法並びに画像符号化・復号装置 | |
| KR100752846B1 (ko) | 비디오 디코더의 에러 검출 장치 및 방법 | |
| Lee et al. | Efficient video data recovery for 3G-324M telephony over WCDMA networks | |
| Song | Toward connected personal healthcare: Keynote address | |
| JP2001069123A (ja) | マルチメディアデータ通信装置及びその通信方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140617 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140813 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141007 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141226 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150127 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150225 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5705941 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |