JP4741649B2 - ストリーミングマルチメディアにおける最適エラー管理のためのデコーダアーキテクチャ - Google Patents
ストリーミングマルチメディアにおける最適エラー管理のためのデコーダアーキテクチャ Download PDFInfo
- Publication number
- JP4741649B2 JP4741649B2 JP2008500999A JP2008500999A JP4741649B2 JP 4741649 B2 JP4741649 B2 JP 4741649B2 JP 2008500999 A JP2008500999 A JP 2008500999A JP 2008500999 A JP2008500999 A JP 2008500999A JP 4741649 B2 JP4741649 B2 JP 4741649B2
- Authority
- JP
- Japan
- Prior art keywords
- error
- layer
- protocol
- detected
- multimedia data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 claims abstract description 109
- 238000011084 recovery Methods 0.000 claims abstract description 78
- 238000004891 communication Methods 0.000 claims abstract description 56
- 230000010354 integration Effects 0.000 claims abstract description 20
- 238000001514 detection method Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 abstract description 19
- 230000002123 temporal effect Effects 0.000 description 28
- 230000008569 process Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 18
- 238000006243 chemical reaction Methods 0.000 description 16
- 238000012937 correction Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 8
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000011217 control strategy Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 238000005562 fading Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000009897 systematic effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000010924 continuous production Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000006249 magnetic particle Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
- H03M13/29—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes combining two or more codes or code structures, e.g. product codes, generalised product codes, concatenated codes, inner and outer codes
- H03M13/2957—Turbo codes and decoding
- H03M13/296—Particular turbo code structure
- H03M13/2966—Turbo codes concatenated with another code, e.g. an outer block code
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
- H04L1/0045—Arrangements at the receiver end
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
- H04L1/0056—Systems characterized by the type of code used
- H04L1/0057—Block codes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
- H04L1/0056—Systems characterized by the type of code used
- H04L1/0064—Concatenated codes
- H04L1/0066—Parallel concatenated codes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
- H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440227—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by decomposing into layers, e.g. base layer and one or more enhancement layers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/4425—Monitoring of client processing errors or hardware failure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
- H04N21/64784—Data processing by the network
- H04N21/64792—Controlling the complexity of the content stream, e.g. by dropping packets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8547—Content authoring involving timestamps for synchronizing content
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
- H03M13/03—Error detection or forward error correction by redundancy in data representation, i.e. code words containing more digits than the source words
- H03M13/05—Error detection or forward error correction by redundancy in data representation, i.e. code words containing more digits than the source words using block codes, i.e. a predetermined number of check bits joined to a predetermined number of information bits
- H03M13/13—Linear codes
- H03M13/15—Cyclic codes, i.e. cyclic shifts of codewords produce other codewords, e.g. codes defined by a generator polynomial, Bose-Chaudhuri-Hocquenghem [BCH] codes
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
- H03M13/03—Error detection or forward error correction by redundancy in data representation, i.e. code words containing more digits than the source words
- H03M13/05—Error detection or forward error correction by redundancy in data representation, i.e. code words containing more digits than the source words using block codes, i.e. a predetermined number of check bits joined to a predetermined number of information bits
- H03M13/13—Linear codes
- H03M13/15—Cyclic codes, i.e. cyclic shifts of codewords produce other codewords, e.g. codes defined by a generator polynomial, Bose-Chaudhuri-Hocquenghem [BCH] codes
- H03M13/151—Cyclic codes, i.e. cyclic shifts of codewords produce other codewords, e.g. codes defined by a generator polynomial, Bose-Chaudhuri-Hocquenghem [BCH] codes using error location or error correction polynomials
- H03M13/1515—Reed-Solomon codes
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Databases & Information Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Detection And Prevention Of Errors In Transmission (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Communication Control (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Description
（米国特許法１１９条のもとでの優先権の主張）
本特許出願は、２００５年３月１０日に出願された「ビデオ通信におけるエラー回復のための方法および装置(Method and Apparatus for Error Recovery in Video Communications)」と題される米国特許仮出願第６０／６６０，６８１号、２００５年３月１０日に出願された「ビデオデコーディングのための方法および装置(A Method And Apparatus For Video Decoding)」と題される米国特許仮出願第６０／６６０，９２３号、および、２００５年３月１０日に出願された「デコーダのためのエラー回復の方法(Method Of Error Recovery For A Decoder)」と題される米国特許仮出願第６０／６８０，８６７号、の優先権を主張する、なお、これらのすべては、本譲受人に譲渡され、また、ここに参照することによりここに明示的に組み込まれる。
本特許出願は、２００５年３月１０日に出願された「ビデオ通信におけるエラー回復のための方法および装置(Method and Apparatus for Error Recovery in Video Communications)」と題される米国特許仮出願第６０／６６０，６８１号、２００５年３月１０日に出願された「ビデオデコーディングのための方法および装置(A Method And Apparatus For Video Decoding)」と題される米国特許仮出願第６０／６６０，９２３号、および、２００５年３月１０日に出願された「デコーダのためのエラー回復の方法(Method Of Error Recovery For A Decoder)」と題される米国特許仮出願第６０／６８０，８６７号、の優先権を主張する、なお、これらのすべては、本譲受人に譲渡され、また、ここに参照することによりここに明示的に組み込まれる。
（分野）
本発明は、ハンドヘルドデバイス上のリアルタイムストリーミングメディアをデコードするための方法および装置に関連する。
本発明は、ハンドヘルドデバイス上のリアルタイムストリーミングメディアをデコードするための方法および装置に関連する。
（背景）
マルチメディアサービスに対しての増加する需要と同様に、インターネットおよび無線通信の爆発的な成長および大きな成功により、インターネットおよびモバイル／無線通信チャネル上のストリーミングメディアは、極めて大きい注意を引き寄せている。ヘテロジニアスな(heterogeneous)インターネットプロトコル（ＩＰ）ネットワークにおいては、ビデオは、サーバーによって提供され、１つ以上のクライアントによって流されることができる。ワイヤード接続(wired connections)は、ダイアルアップ、綜合サービスデジタルネットワーク（ＩＳＤＮ）、ケーブル、デジタル加入者線プロトコル（集団的にｘＤＳＬと呼ばれる）、ファイバー、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク他（ＷＡＮ）などを含む。伝送モードは、ユニキャスト(uni-cast)かマルチキャスト(multi-cast)かであることができる。
マルチメディアサービスに対しての増加する需要と同様に、インターネットおよび無線通信の爆発的な成長および大きな成功により、インターネットおよびモバイル／無線通信チャネル上のストリーミングメディアは、極めて大きい注意を引き寄せている。ヘテロジニアスな(heterogeneous)インターネットプロトコル（ＩＰ）ネットワークにおいては、ビデオは、サーバーによって提供され、１つ以上のクライアントによって流されることができる。ワイヤード接続(wired connections)は、ダイアルアップ、綜合サービスデジタルネットワーク（ＩＳＤＮ）、ケーブル、デジタル加入者線プロトコル（集団的にｘＤＳＬと呼ばれる）、ファイバー、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク他（ＷＡＮ）などを含む。伝送モードは、ユニキャスト(uni-cast)かマルチキャスト(multi-cast)かであることができる。
ヘテロジニアスなＩＰネットワークに似ているのはモバイル／無線通信である。モバイル／無線通信チャネル上でのマルチメディアコンテンツのトランスポートは、これらのチャネルがマルチパスフェージング(multi-path fading)、シャドウイング(shadowing)、相互シンボル干渉(inter-symbol interference)およびノイズ妨害(noise disturbance)によりしばしば極度に損われるので、非常に厳しい(challenging)。移動度や競合するトラフィックなどのいくつかの他の理由もまた、帯域幅変動およびロスを引き起こす。チャネルノイズおよびサービスを受けているユーザの数が、チャネル環境の時間変化プロパティ(time-varying property)を決定する。
ヘテロジニアスなＩＰネットワークおよび移動通信システムの両方におけるサービスのより高い品質およびより高いデータレートの要求は、急速に増大している。然しながら、制限された遅延時間、制限された送信パワー、制限された帯域幅およびマルチパスフェージングのような要因が、実際のシステムによって処理されるデータレートを制限し続ける。マルチメディア通信においては、特にエラーの傾向のある環境においては、送信されたメディアのエラー障害許容力(error resilience)は、たとえ単一のデコードされた値におけるエラーでさえ、時空間的に伝播するデコーディングアーティファクト(decoding artifacts)をもたらすので、サービスの所望の品質を提供することにおいて重要である(critical)。様々なエンコーディング手段が、必要なデータレートを維持する間にエラーを最小化するために使用されてきている、然しながら、これらの技術のすべてが、デコーダ側に到達するエラーに関連する問題に悩んでいた。
ソースエンコーダ(source encoder)の使用を通して、データは圧縮され − 最少の数のビットを消費することにより最大の情報を伝達し、これらのビットを受け取る際のエラーの与えられた可能性(a given probability)について伝送チャネルの容量を最大限にする傾向があるチャネルエンコーダが後に続くる。
チャンネルコーディング、例えば、リードソロモン符号は、ソース符号化されたデータの堅牢性を改善するために使用される。合同のソース−チャンネルコーディング方法は、様々なレベルの重要度を有するソース符号化されたデータに様々なレベルのエラープロテクションを提供するために、あるいは、パケットを区分し(partitioning)、ドロップする(dropping)ことを通して、利用可能なネットワーク帯域幅への符号化されたビデオデータのレート適用を可能とするために、使用されてきている。これは、共通のトランスポートプロトコルが破損されたデータをソースデコーダに伝えないからである。
可逆的可変長コーディング（例えばＭＰＥＧ−４における）のようなソースコーディング技術が、破損パケットが実際に受け取られるときに逆の順序でパケットをデコードすることによってエラー回復のために使用されてきている。ソースコーディング技術を用いたコーディング効率に妥協があり、それは与えられたビットレートに対しデコードされたビデオの品質に変える。
ハイブリッドコーディング標準規格、例えば、ＭＰＥＧ−Ｉ、ＭＰＥＧ２、ＭＰＥＧ−４（集団的にＭＰＥＧ−ｘと呼ばれる）、Ｈ．２６１、Ｈ．２６２、Ｈ．２６３、およびＨ．２６４（集団的にＨ．２６ｘと呼ばれる）などは、デコーダでエラーを処理する主な方法として、ビットストリームにおける再同期ポイント(resynchronization points)を使用する。
最初の破損を超えるデータロス(data loss)を引き起こす可能性のある別の理由は、不正確なコードワードエミュレーション(codeword emulation)に起因する。最初のビットエラーポジションの識別は、ささいなタスクではなく、典型的に、ＭＡＣ層あるいは物理層のコンポーネントの中のビットエラーポジションの識別をサポートする特別の設計なしでは可能ではない。従って、ビットストリーム破損を検出すると、デコーダは、デコーディングを停止しなければならないかもしれない、そして、次の再同期ポイントを見つけるためにビットストリームにおいて、また、かなり大きい量の潜在的に健全なデータを必然的にスキップするプロセスにおいて、前へ進まなければならないかもしれない。オリジナルのものと同じ長さである異なるコードワード、すなわち、本物の(authentic)コードワード、のエミュレーションは、上記に説明されたエベントのシーケンスに関して問題がより少ないように思えるかもしれないが、これは実際にそうではない。この種のエラーが、デコーダの正確なビットストリーム解釈(bitstream interpretation)において失敗をもたらす方法が多くある。例えば、ほとんどの現在のコーデック(codecs)においては、その値がビットストリームの次の部分のシンタックス(syntax)に影響を及ぼすビットストリーム中のオブジェクト(objects)（圧縮関連のパラメータ）がある。従って、そのようなオブジェクトに対する不正確な値は、不正確なビットストリーム解釈をもたらす。
共通のトランスポートプロトコルは、デコーダ（例、ビデオあるいはオーディオデコーダアプリケーション）に破損されたデータを配達しないので、デコーダは、最も一般的な解決であるパケットのドロッピングおよび再同期を持った、ビットエラーを扱う限定された能力を有する。同期ロスおよび不正確なコードワードエミュレーションのような問題に起因する、エラー伝播およびデータロスに至るビットエラーを処理する、改善された方法が必要とされる。
［概要］
一態様においては、エラー回復において使用されるマルチレイア統合(multi-layer integration)のための方法および装置が、第１層プロトコルに基づいてマルチメディアデータ(multimedia data)におけるエラーを検出し、第２層プロトコルに基づいてマルチメディアデータにおける検出されたエラーを隠蔽する(conceal)ための、方法あるいは手段を備える。別の態様においては、エラー回復において使用されるマルチレイア統合のための装置は、第１層プロトコルに基づいてマルチメディアデータにおけるエラーを検出する検出器と、第２層プロトコルに基づいてマルチメディアデータにおける検出されたエラーを隠蔽するコンシーラ(concealer)と、を備える。マルチレイア統合のための方法および装置においては、第１層は通信層(communication layer)を含むことができる。通信層は物理層(physical layer)、ＭＡＣ層(MAC layer)およびトランスポート層(transport layer)のうちの１つかまたは組合せを含むことができる。さらに、方法および装置は、トランスポート層プロトコルに基づいて検出されたエラーを制御するための方法あるいは手段を更に備えることができる。検出されたエラーを制御することは、検出されたエラーをローカライズすること(localizing)を含む。方法および装置は、同期層プロトコル(sync layer protocol)に基づいて検出されたエラーのエラー分布(error distribution)を決定するための方法あるいは手段を更に備える。第２層はアプリケーション層を含むことができる。
一態様においては、エラー回復において使用されるマルチレイア統合(multi-layer integration)のための方法および装置が、第１層プロトコルに基づいてマルチメディアデータ(multimedia data)におけるエラーを検出し、第２層プロトコルに基づいてマルチメディアデータにおける検出されたエラーを隠蔽する(conceal)ための、方法あるいは手段を備える。別の態様においては、エラー回復において使用されるマルチレイア統合のための装置は、第１層プロトコルに基づいてマルチメディアデータにおけるエラーを検出する検出器と、第２層プロトコルに基づいてマルチメディアデータにおける検出されたエラーを隠蔽するコンシーラ(concealer)と、を備える。マルチレイア統合のための方法および装置においては、第１層は通信層(communication layer)を含むことができる。通信層は物理層(physical layer)、ＭＡＣ層(MAC layer)およびトランスポート層(transport layer)のうちの１つかまたは組合せを含むことができる。さらに、方法および装置は、トランスポート層プロトコルに基づいて検出されたエラーを制御するための方法あるいは手段を更に備えることができる。検出されたエラーを制御することは、検出されたエラーをローカライズすること(localizing)を含む。方法および装置は、同期層プロトコル(sync layer protocol)に基づいて検出されたエラーのエラー分布(error distribution)を決定するための方法あるいは手段を更に備える。第２層はアプリケーション層を含むことができる。
別の態様においては、エラー回復において使用されるマルチレイア統合のための方法および装置は、通信層プロトコルに基づいてマルチメディアデータにおけるエラーを検出し、トランスポート層プロトコルに基づいて前記検出されたエラーを制御し、同期層プロトコルに基づいて制御されたエラーのエラー分布を決定し、アプリケーション層プロトコルに基づいてマルチメディアデータにおける検出されたエラーを隠蔽するための、方法あるいは手段を備える。さらに別の態様においては、マルチメディアデータ処理において使用される方法および装置は、符号化されたマルチメディアデータのエラー回復(error recovery)を行ない、符号化されたマルチメディアデータのスケーラビリティ(scalability)をサポートするための方法あるいは手段を備える。まだ更に別の態様においては、マルチメディアデータ処理において使用される装置は、符号化されたマルチメディアデータのエラー回復を行なうエラー回復コンポーネントと、符号化されたマルチメディアデータのスケーラビリティをサポートするスケーラビリティコンポーネントとを備える。マルチメディア処理において使用される方法および装置においては、スケーラビリティは、空間的および時間的スケーラビリティ(spatial and temporal scalability)の一方または両方を備えることができる。エラー回復は、時間的エラー隠蔽(temporal error concealment)、空間的エラー隠蔽(spatial error concealment)およびフレームレートアップ変換(frame rate up conversion)のうちの１つかまたは組み合わせかを備えることができる。
更なる態様においては、マルチメディアストリーム処理において使用される方法および装置は、符号化されたマルチメディアデータの複数のストリームを受け取り、ストリームの誤り部分上でエラー回復を行ない、複数のストリームからのマルチメディアデータを再構成するための方法あるいは手段を備える。さらに更なる態様においては、マルチメディアストリーム処理において使用される装置は、符号化されたマルチメディアデータの複数のストリームを受け取る受信機と、ストリームの誤り部分上でエラー回復を行なうエラー回復コンポーネントと、複数のストリームからのマルチメディアデータを再構成するリコンストラクタ(reconstructor)とを備える。マルチメディアストリーム処理において使用される方法および装置では、エラー回復は、時間的エラー隠蔽、空間的エラー隠蔽およびフレームレートアップ変換のうちの１つかまたは組み合わせかを備えることができる。
上記の方法および装置は、方法あるいは装置のオペレーションを実行するように構成されたコンピュータ可読媒体(computer readable medium)及び／又はプロセッサによって実施されることができる、ということに注意されるべきである。
［詳細な説明］
マルチメディアデコーダにおける改善されたエラー回復機能(error recovery capabilities)を提供する方法および装置が説明される。例えば、上層（例、通信層）で、マルチメディアデータストリームにおけるエラーを検出すること、および、アプリケーション層（例、ビデオあるいはオーディオデコーダ）で、検出されたエラー上でエラー回復を行なうこと、などの統合されたエラー回復機能が提供される。一例においては、様々なタイプのエラー回復技術を行なう際に、十分な情報を得た上での決定(informed decisions)を下すことにおいて使用されるためにアプリケーションコンポーネントに破損ビットのフラグを立てている情報(corrupt bit flagging information)を提供する、デコーダアーキテクチャが示される。エラー回復技術は、破損シンボルを、以前にデコードされたビデオ、オーディオ、テキスト、およびグラフィックス情報のようなアプリケーションコンポーネントに利用可能な情報から得られる、推定されたシンボル(estimated symbol)に取り替えるために使用される。以下の説明においては、実施形態の十分な理解を提供するために、特定な詳細が与えられる。然しながら、実施形態はこれらの特定な詳細なしに実行されてもよいことは、当業者によって理解されるだろう。例えば、電気コンポーネントは、不必要な詳細における実施形態を不明瞭にしないようにブロック図中で示されるかもしれない。他のインスタンスにおいては、そのようなコンポーネント、他の構成および技術が、実施形態を更に説明するために詳細に示されるかもしれない。別々のブロックとして示されている電気コンポーネントは、再配列されることができ、かつ／または、1つのコンポーネントに結合されることができる、ということもまた熟練工によって理解される。
マルチメディアデコーダにおける改善されたエラー回復機能(error recovery capabilities)を提供する方法および装置が説明される。例えば、上層（例、通信層）で、マルチメディアデータストリームにおけるエラーを検出すること、および、アプリケーション層（例、ビデオあるいはオーディオデコーダ）で、検出されたエラー上でエラー回復を行なうこと、などの統合されたエラー回復機能が提供される。一例においては、様々なタイプのエラー回復技術を行なう際に、十分な情報を得た上での決定(informed decisions)を下すことにおいて使用されるためにアプリケーションコンポーネントに破損ビットのフラグを立てている情報(corrupt bit flagging information)を提供する、デコーダアーキテクチャが示される。エラー回復技術は、破損シンボルを、以前にデコードされたビデオ、オーディオ、テキスト、およびグラフィックス情報のようなアプリケーションコンポーネントに利用可能な情報から得られる、推定されたシンボル(estimated symbol)に取り替えるために使用される。以下の説明においては、実施形態の十分な理解を提供するために、特定な詳細が与えられる。然しながら、実施形態はこれらの特定な詳細なしに実行されてもよいことは、当業者によって理解されるだろう。例えば、電気コンポーネントは、不必要な詳細における実施形態を不明瞭にしないようにブロック図中で示されるかもしれない。他のインスタンスにおいては、そのようなコンポーネント、他の構成および技術が、実施形態を更に説明するために詳細に示されるかもしれない。別々のブロックとして示されている電気コンポーネントは、再配列されることができ、かつ／または、1つのコンポーネントに結合されることができる、ということもまた熟練工によって理解される。
いくつかの実施形態は、フローチャート、フローダイアグラム、構造ダイアグラム、あるいはブロック図として示されるプロセスとして説明されることができるということにもまた注意すべきである。フローチャートは連続するプロセスとしてオペレーションを説明するかもしれないが、オペレーションの多くは、並列にあるいは同時に実行されることができ、また、プロセスは繰り返されることができる。更に、オペレーションの順序は並び替えられることができる。プロセスは、そのオペレーションが完了されるときに、終了する。プロセスは、方法、機能、手続き、サブルーチン、サブプログラムなどに対応するかもしれない。プロセスが機能に対応するときは、その終了は、呼出し機能あるいは主機能への機能のリターンに対応する。
図１Ａは、ストリーミングマルチメディアを配信するための通信システムの一例のブロック図である。システム２０は、送信機２２(transmitter)と受信機マルチメディアデコーダ(receiver multimedia decoder)２４とを含んでいる。送信機２２は、ビデオ、オーディオ、グラフィックス、テキスト、および画像を、これらに限定されずに含んでいる様々な形式の圧縮されたマルチメディアデータを含有する。データは、ＭＰＥＧ−ｘおよびＨ．２６ｘ標準規格におけるような圧縮されたビデオおよびオーディオ、ＭＰＥＧ−４ ＡＡＣ、ＭＰ３、ＡＭＲおよびＧ．７２３オーディオあるいは音声圧縮標準規格におけるような圧縮されたオーディオ、あるいは任意の他のタイプのデジタルデータであることができる。
送信機２２は、外部メモリ、インターネット、およびライブビデオ及び／又はオーディオフィード(live video and/or audio feed)を含む様々なソースからデータを得る。送信機２２はまた、ネットワーク上で取得したデータを送信する（Ｔｘ）。ネットワークは、電話、ケーブル、あるいは光ファイバーのような、ワイヤードネットワーク(wired network)２８、あるいは無線ネットワーク２６であることができる。無線通信システムの場合においては、ネットワーク２６は、例えば、符号分割多元接続（ＣＤＭＡまたはＣＤＭＡ２０００）通信システムの一部を備えることができる、あるいは、システムは、周波数分割多元接続（ＦＤＭＡ）システム、直交周波数分割多元接続（ＯＦＤＭＡ）システム、時分割多元接続（ＴＤＭＡ）システム、例えば、ＧＳＭ／ＧＰＲＳ（汎用パケット無線サービス）／ＥＤＧＥ（拡張されたデータＧＳＭ環境）あるいはサービス産業のためのＴＥＴＲＡ（地上波基幹無線）モバイル電話技術など、広帯域符号分割多元接続（ＷＣＤＭＡ）、高データレート（ＩｘＥＶ−ＤＯあるいはＩｘＥＶ−ＤＯのゴールドマルチキャスト(Gold Multicast)）システム、あるいは一般に技術の組合せを使用する任意の無線通信システム、であることができる。
デコーダ２４は、無線ネットワーク２６及び／又はワイヤードネットワーク２８上でデータを受け取るための、無線周波数アンテナあるいはネットワーク接続のような手段を含む。デコーダ２４は、受信データに関連した復調およびデコーディングのタスクの分配のために、プリプロセッサ（例、ＡＲＭの任意のタイプのセントラルプロセッサユニットＣＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、ソフトウェア、ファームウェア、およびビデオコアのようなハードウェア、の任意の組合せを含んでいる複数のプロセッサを含むことができる。デコーダ２４はまた、復調／デコーディングプロセスの様々なステージにおける受信されたデータおよび中間のデータを保存するためにメモリコンポーネントを含んでいる。いくつかの実施形態においては、ＡＲＭプリプロセッサは、オーディオ、ビデオその他を含む複数のビットストリームをアンパックすること(unpacking)（ヘッダやシグナリングメッセージのようなサイド情報(side information)を取り除くこと）およびデマルチプレクスすること(demultiplexing)を含んでいるそれほど複雑でないタスクを行なう。ＡＲＭプリプロセッサはまた、ビットストリーム構文解析(bitstream parsing)、エラー検出および隠蔽、および可変長エントロピーデコーディング、を行なう。いくつかのそのような実施形態においては、ＤＳＰは、ＶＬＣ（可変長コード）コードワードの拡張、ピクセル係数を空間的に位置特定するビデオデータの逆ジグザグ走査、ＭＰＥＧ−４ビデオ用ピクセル係数の逆ＡＣ／ＤＣ予測（コンテキスト適応エントロピーコーディングによるＨ．２６４の特徴ではない）、およびオーディオデコーディング（例、ＭＰＥＧ−４、ＡＡＣ、ＭＰ３、ＡＭＲあるいはＧ．７２３）を行なう。ビデオコアは、デクワンタイゼーション(dequantization)、逆変換(inverse transformation)、動き補償予測、および非ブロック化(deblocking)（ピクセルブロックエッジ間のエッジアーティファクト(edge artifacts)を減らすフィルタリングの形式）を備えるビデオデコーディングのより計算上複雑なタスクを行なうことができる。１つ以上のエレメントが、通信システム２０に、追加され、再配置され、あるいは組み合わされることができる。ワイヤード通信システムの場合には、ネットワーク２６は、例えば、リアルタイムトランスポートプロトコル（ＲＴＰ）あるいはユニバーサルデータグラムプロトコル（ＵＤＰ）のようなトランスポートプロトコルを備えたインターネットプロトコル（ＩＰ）ベースの通信システムの一部を備えることができる。
図１Ｂは、送信機２２およびデコーダ２４におけるタスクを分割するために使用される多層プロトコルスタック(multi-layer protocol stack)のブロック図である。送信機２２およびデコーダ２４における上層コンポーネント２０５および２１０は、それぞれ複数のアプリケーション、例えば、ビデオあるいはオーディオのエンコーダ及び／又はデコーダなど、を含む。いくつかの実施形態は、同時にデコードされることが予定されている情報の複数のストリームを含むことができる。これらのケースにおいては、複数のストリームの同期タスクは、上層コンポーネント２０５および２１０において行われることもできる。上層コンポーネント２０５は、無線ネットワーク２６及び／又はワイヤードネットワーク２８上で送信されるビットストリームにおいて符号化されたタイミング情報を提供することができる。上層コンポーネント２１０は、複数のストリームの情報を構文解析できるので、関連するアプリケーションがほぼ同じ時にそれらをデコードする。
送信機２２における下層コンポーネント２１５は、エラー障害許容力(error resiliency)のために供給する様々な方式を含むことができる。エラーしがちなチャネル、例えば、無線ネットワーク２６及び／又はワイヤードネットワーク２８などは、デコーダ２４によって受け取られたビットストリームへエラーを導入するかもしれない。下層コンポーネント２１５において提供されるそのようなエラー障害許容力の方式(error resiliency schemes)は、1つ以上のエラー制御コーディング方式(error control coding schemes)、インタリービング方式(interleaving schemes)、および、当業者に知られている他の方式を含んでもよい。デコーダ２２における下層コンポーネント２２０は、エラーの検波および補正を可能にする、対応するエラーデコーディングコンポーネントを含むことができる。無線ネットワーク２６及び／又はワイヤードネットワーク２８上で導入されるいくつかのエラーは、下層コンポーネント２２０によって訂正可能でないかもしれない。訂正可能でないそれらのエラーについては、送信機２２の下層コンポーネント２１５による破損コンポーネントの再伝送を要求する下層コンポーネント２２０のような解決は、いくつかのある状況、例えば、ストリーミングアプリケーションのようなリアルタイムマルチメディア通信においては、適していないかもしれない。いくつかの実施形態においては、下層コンポーネント２１５および２２０は、通信層コンポーネントを備える。１つ以上のエレメントが、図１Ｂの中で示される送信機２２あるいはデコーダ２４に、追加され、再配列され、あるいは組み合わされることができる。
図１Ｃは、送信機２２およびデコーダ２４におけるタスクを分割するために使用される多層プロトコルスタックのより詳細な一例のブロック図である。送信機２２の、上層コンポーネント２０５は、アプリケーション層２０６および同期層２０７のうちの１つ以上において分配される。送信機２２の、下層コンポーネント２１５は、トランスポート層２１６、ストリームあるいはメディアアクセス制御(medium access control)（ＭＡＣ）層２１７、および物理層２１８のうちの１つ以上へ分配される。同様に、デコーダ２４の、上層コンポーネント２１０は、アプリケーション層２１１および同期層２０７のうちの１つ以上において分配される。デコーダ２４の、下層コンポーネント２２０は、トランスポート層２２１、ストリームあるいはメディアアクセス制御（ＭＡＣ）層２２２、および物理層２２３のうちの１つ以上へ分配される。当業者は、これらの層を認識し、また、それらの間の様々なタスクの割り付けに精通しているであろう。上記に論考されたように、送信機２２において提供されるエラー障害許容力を利用する、デコーダデバイス２４の様々な層を統合するアーキテクチャの一例が、今から論考される。１つ以上のエレメントが、図１Ｃにおいて示される送信機２２あるいはデコーダ２４に、追加され、再配列され、あるいは組み合わされることができる。
図２Ａは、ストリーミングマルチメディアをデコードするためのデコーダデバイスアーキテクチャの一例のブロック図である。図２Ｂは、送信機２２を含むマルチレイア統合管理システムのためのプロトコルスタックダイアグラムであり、また、図２Ａのデコーダデバイスアーキテクチャのプロトコルスタックビューである。図２Ａおよび２Ｂを参照すると、マルチメディアデコーダ３０は、物理層コンポーネント３２、ＭＡＣ層コンポーネント３４、トランスポートおよび同期パーサ(Transport and Sync. Parser)（ＴＳＰ）３９、およびアプリケーション層コンポーネント５０を含んでいる。マルチメディアデコーダ３０は、ターボ／リードソロモン連結方式のような連結エラー訂正方式を含んでいるインプットビットストリーム（ＩＮ）を受け取る。物理層コンポーネント３２は、受け取ること、エラー制御デコーディング、例えば、ターボ符号デコーディング、およびＭＡＣ（メディアアクセス制御）層とインタフェースをとることを、これらに限定されないが、含んでいる復調タスクを行うことができる。ＭＡＣ層コンポーネント３４は、エラー制御デコーディング、例えば、リードソロモンエラー検出、エラー訂正、および、訂正できない破損データ例えば１ビット以上のグループのフラッギング(flagging)、を行うことができる。ＭＡＣ層コンポーネント３４は、トランスポートおよび同期パーサコンポーネント(Transport and Sync. Parser component)（ＴＳＰ）３９とインタフェースをとる。
ＴＳＰコンポーネント３９は、トランスポート層Ｄｅ−Ｍｕｘコンポーネント(Transport Layer De-Mux component)３６およびＳｙｎｃ．（同期）層パーサコンポーネント(Sync. (synchronization) Layer Parser component)３８を更に含むことができる。トランスポート層Ｄｅ−Ｍｕｘコンポーネント３６は、ＭＡＣ層コンポーネント３４から渡された、正確なビットと破損ビットの両方、および破損グループのビットにフラグを立てている(flagging)情報を含んでいるビットストリームを受け取ることができる。ビットの破損グループおよび対応するフラッギング情報は、ターボデコーダＣＲＣ障害３３およびリードソロモン障害３５に対応する情報を備える。（あるプロトコルスタック(protocol stacks)においては、トランスポート層Ｄｅ−Ｍｕｘコンポーネント３６はまた、ストリームサブレイヤとしても知られており、ここでは、ＭＡＣサブレイヤとストリームサブレイヤは、両方とも、トランスポート層のサブレイヤである。）トランスポート層Ｄｅ−Ｍｕｘコンポーネント３６は、それが複数のビットストリーム中に受け取るビットストリームを、デマルチプレックスする(demultiplex)（Ｄｅ−Ｍｕｘ）あるいは構文解析することができる。構文解析されたビットストリームは、異なるアプリケーション、例えば、ビデオデコーダ、オーディオデコーダ、および、テキスト、グラフィックスおよび画像のアプリケーションの様々な組合せなど、を対象としたビットストリームを含むことができる。トランスポート層Ｄｅ−Ｍｕｘコンポーネントはまた、例えばビデオビットストリームのような単一のアプリケーションを対象としたビットストリームを、ベース層およびエンハンスメント層のような２以上の別々の層（例えばスケーラブルコーディング(scalable coding)を使って）に構文解析することができる。これらの層は、そのあと、スケーラビリティ(scalability)、例えば、時間的及び／又はＳＮＲスケーラビリティ、を提供するために使用されることができる。スケーラブルコーディングの１つの例は、イントラ符号化された画像(Intra- coded pictures)（Ｉフレームのような）、および異なるインター符号化された画像(inter-coded pictures)（例えば、動き補償予測を使用して導き出されたＢフレームあるいはＰフレームのような）を、ビットストリームにおいて異なる層に分割する。Ｉフレームはベース層において符号化されることができ、Ｐ及び／又はＢフレームはエンハンスメント層において符号化されることができる。スケーラブルコーディングは、動的なチャネルにおいて有用であり、そこでは、スケーラブルビットストリームは、ネットワーク帯域幅の変動に対応する(match)ように適合されることができる。エラーがありがちなチャネルにおいては、スケーラブルコーディングは、ベース層およびエンハンスメント層の同等でないエラープロテクションを通して強健さ(robustness)を加えることができる。よりよいエラープロテクションは、より重要な層に適用されることができる。
Ｓｙｎｃ．（同期）層パーサコンポーネント３８は、時間同期ベース(time- synchronous basis)で互いに関連するサブビットストリームに関してビットストリームの構文解析を更に行なう。マルチメディアビデオビットストリームは、ビデオビットストリーム、オーディオビットストリームおよび字幕(closed captioning)用の関連するテキストを備えたビットストリームに構文解析されることができる。Ｓｙｎｃ．層パーサコンポーネント３８は、時間同期情報(time-synchronization information)と共に関連するデコーダアプリケーションへ構文解析されたビットストリームを送る。これは、関連するオーディオ、ビデオおよびテキストが、適切な時間に表示されプレイされることを可能にする。
上記に論考された構文解析に加えて、トランスポート層Ｄｅ−Ｍｕｘコンポーネント３６は、それがＭＡＣ層コンポーネント３４および物理層３２から受け取る破損フラッギング情報（例、ＣＲＣ障害情報３３およびリードソロモン障害情報３５）を構文解析し、Ｓｙｎｃ．層パーサコンポーネント３８及び／又は適切なアプリケーション層プロセス（例、ビデオでコーダ、あるいはオーディオでコーダ）に送ることができる。Ｓｙｎｃ．層パーサコンポーネント３８は、破損フラッギング情報をエラー分布情報(error distribution information)３７の形式で送ることができる。Ｓｙｎｃ．層パーサコンポーネント３８はまた、推奨されるエラー制御戦略情報(error control strategy information)４１も送ることができる。アプリケーション層プロセスは、そのあと、エラー処理のために、破損フラッギング情報３７およびコントロール戦略情報４１を使用することができる。
アプリケーション層コンポーネント５０は、例えば、エラー回復コンポーネント(Error Recovery component)４０、スケーラビリティコンポーネント(Scalability Component)４２、フレームレートアップ変換(Frame Rate Up Conversion)（ＦＲＵＣ）コンポーネント４４、コアアプリケーションデコーディングコンポーネント(Core Application Decoding component)４６および後処理コンポーネント(Post Processing Component)４８のような、１つ以上のコンポーネントを含むことができる。アプリケーション層コンポーネント５０は、破損データを操作し、そうすることによってアプリケーションデコーディングコンポーネント４６を用いたより高い品質のデコーディングを提供するために、エラー回復、スケーラビリティおよびＦＲＵＣコンポーネントをどのように利用するかに関して決定するため、送られた破損フラッギング情報３７および制御戦略情報４１を利用する。例えば、いくつかのメディア(some media)が、重要な情報を含んでいる1つの層の中で受け取られ、残りのメディアが他の層の中で受け取られる、時間的スケーラビリティのケースにおいては、もし第２層が受け取られなかったか、あるいは失われたか、あるいは破損された場合は、ＦＲＵＣは、欠落しているメディアを再構成(reconstruct)するために使用されることができる。デコーディングの後、後処理コンポーネント４８は、ビデオディスプレイまたはスピーカ上でそれぞれビデオおよびオーディオ出力（ＯＵＴ）の表示、あるいは、プレイ(playing)あるいはレンダーリング(rendering)をイネーブルにするために、何らかの必要な特定のハードウェア修正(hardware specific modifications)を行う。後処理コンポーネント４８はまた、メディアがレンダーされる(rendered)あるいは提供される前に、拡張(enhancement)または復元(restoration)のオペレーションも行なうことができる。
コアアプリケーションデコーディングコンポーネント４６は、テキストおよびグラフィックスのアプリケーションと同様にビデオデコーダ（単数又は複数）、オーディオデコーダ（単数又は複数）を含むことができる。コアアプリケーションコンポーネント４６でのデコーディングより前に、あるいはその間に、様々なアプリケーションビットストリームのエラー回復、スケーラビリティおよびＦＲＵＣ処理を行なうことによって、低品質ビットストリーム（エラーに起因する、低品質で符号化されたものあるいは低品質で受け取られたもの）の品質を改善するためにエンハンスメント(enhancements)が行われることができる。例えば、コンポーネント４０、４２および４４は、標準規格ベースライン準拠Ｈ．２６４のビデオビットストリーム（ベースラインプロファイルは、ロウパワーデバイス用に設計された、非常に単純なプロファイルである）にエンハンスメントを示す(offer)ことができ、また、ストリームビデオ用のスケーラビリティ、獲得およびエラー障害許容力の要件を満たすために必要とされる、Ｂフレームおよびスライスデータ区割りのような、Ｈ．２６４の他のプロファイルからのある特徴を提供することができる。マルチメディアデコーダ３０のコンポーネントを利用するプロセスの詳細は、以下に提供される。１つ以上のエレメントが、図２Ａおよび２Ｂにおいて示される送信機２２あるいはデコーダ３０に、追加され、再配列され、あるいは組み合わされることができる。
さて、エラー検出およびエラー訂正の簡単な論考が提供される。エラー検出および訂正の方式の１つの例は、内部（チャネル）コードおよび外部（チャネル）コードの両方を含んでいる連結コードを使用する。連結チャンネルコードは、物理層におけるターボ（内部）符号と、トランスポート／ＭＡＣ層の中に位置するリードソロモン（外部）消去訂正符号とから成っている(consist of)。図３は、連結されたリードソロモン消去およびターボコーディングについて組織化されたマルチメディアシンボルの一例を図示する。エンコーディングサイド(encoding side)に関しては、情報源からの出力シンボルと、エンコーダからの２進コードワード出力は、バイト１０２の中にブロックされる(blocked)。各バイト１０２は、ＧＦ（２５６）上の外部（Ｎ，Ｋ）リードソロモン（ＲＳ）符号の目的で、「ガロア域(Galois Field)（２５６）」として知られる有限フィールド(finite field)のシンボルと考えられる。ＮとＫは、それぞれ、全ＲＳコードワード１０４のサイズと、システマテック部分を保持するそのソースデータ１０６のサイズとを、シンボルの数で示す。従って、Ｎ―マイナスＫは、各コードワード１０４に含まれるパリティシンボル１０８の数を与える。（Ｎ，Ｋ）ＲＳ符号は、ＮマイナスＫ消去を訂正することができる。
トップのＫ行１０６は、本質的に、情報源から出力されるシンボルを保持し、これらのシンボルは、行−ファースト(rows-first)か列−ファースト(columns-first)の何れかの方法でＫ行へとスキャンされることができる。列−ファーストのスキャンによって達成されたインタリービング(interleaving)は、与えられたターボ情報パケット行１１２が破損しているとき、著しく短いグループの破損ビットを結果としてもたらす。ターボ情報パケット消去に起因する、破損ビットのグループは、行ファーストのスキャンニングの場合の各々（Ｌ−１）バイトとは対照的に、列ファーストのスキャンニングの場合は、長さで各々１バイトであり得る。デコーダでは、これらの破損グループのビットのフラッギングは、下記に論考されるように、これらのビットグループの（ビットストリームにおける）サイズおよび位置を識別するのを必要とすることができる。ソースデータ配置（source data placement）のこの最初のステップの後に、（Ｋバイトの）Ｌ列１０４の各々は、Ｎ−Ｋパリティバイトを加えることによって、Ｎバイトに符号化されたＲＳであり、従って図３における行Ｋ＋ｌ,・・・，Ｎ１０８が生成される。ソースデータ１０６から成る(consisting of)トップのＫ行は、ＲＳ情報ブロックと呼ばれ、そして、Ｎ行の全セットはＲＳ符号化ブロック(RS encoded block)あるいは単にコードブロック(code block)１１０と呼ばれる。
各行１１２は、ターボコーダ(turbo coder)の正確なオペレーションのために必要とされる、ＣＲＣ（周期的冗長チェック）チェックサム(checksum)およびトレイリングビット(trailing bits)がアペンドされる(appended)。各行１１２にチェックサムをアペンドすることによって、ターボデコーディングの後にそれぞれのチェックサムを満たさないそれらの行は、消去されたと宣言されることができる。各コードブロック１１０は、一度に１つの行１１２がターボコーダへ入力される、従って、各行はターボ情報パケットと呼ばれる。
ターボデコーディングプロセスは、リードソロモンデコーディングプロセスに、厳しい決定のデータ(hard-decision data)を提示し、それは、残差(residual error)のレートを更に減らす。消去について成功裡に訂正する能力は、コードブロック内の消去の総数、および、ＲＳコードワードにつき使用されるパリティシンボルの数（ＮマイナスＫ）に、依存する。
図２のマルチメディアデコーダ３０を対象としたチャンネルコーディング設計において、もしリードソロモン（ＲＳ）コードブロックが訂正容量を超えた消去を有する場合は、対応するＲＳ情報ブロック（図３）は、Ｋターボ情報パケット１１２（図３）のどれが破損されているかの共同の通知フラッギング(joint notification flagging)と共に、トランスポート層、同期層、および最後にアプリケーション層の中のコンポーネントに渡されることができる。ＧＦ（２５６）上の外部（Ｎ，Ｋ）ＲＳ符号のシステマテック構造(systematic structure)は、正確に受け取られる（破損していない）ターボ情報パケットの直接的な利用を可能とする。
図４は、ストリーミングマルチメディアをデコードする方法の一例のフローダイアグラムである。雑音のある変調されたデータ（ＩＮ）が、受け取られ、そして、デコーディングプロセス６０に入力され、復調される６２。データは、ワイヤードあるいは無線のネットワーク、例えば、図1における無線ネットワーク２６やワイヤードネットワーク２８など、を横切って受け取られることができる。図２の物理層コンポーネント３２は、ステップ６２で、受信された雑音のあるデータを復調する動作を実行する。復調されたデータは、そのあと、エラーが検出され訂正されることができる６４ところに伝えられる。図２の物理層コンポーネント３２は、６４のターボデコーディングの動作を実行でき、一方、図２のＭＡＣ層コンポーネント３４は、６４のリードソロモンエラー訂正の動作を実行できる。
ターボおよびリードソロモンデコーディングが、訂正可能なすべてのエラーを検出し訂正した６４後、ターボ情報パケット及び／又は破損バイトは、例えば、フラッギングにより、例えば識別される６６。構文解析６８のためにビットストリームを伝える前に、パリティ行１０８（図３）と同様に各ターボ情報パケット中のＣＲＣチェックサムおよびトレイリングビットも、廃棄される。正確に受け取られたデータ、不正確に受け取られたが訂正されたデータ、および、フラグが立てられた破損データ(flagged corrupt data)は、破損データを識別するフラッギング情報と共に、すべて、ビットストリーム構文解析６８のために伝えられる。図２の物理層コンポーネント３２及び／又はＭＡＣ層コンポーネント３４は、破損データを（例えば、フラッギングによって）識別する動作６６を行なうことができる。
上記に論考されたように、トランスポートＤｅ−Ｍｕｘコンポーネント３６およびＳｙｎｃ．層パーサコンポーネント３８は、該ビットストリームを、複数のアプリケーション層プロセスを対象とした複数のビットストリームに構文解析する６８。図４の中で示される例において、ビットストリームは、ビデオビットストリーム７０、オーディオビットストリーム７２およびテキスト及び／又はグラフィックスビットストリーム７４に構文解析される６８。各両ストリーム７０、７２および７４は、個々のビットストリーム内のビットの破損グループを識別するデータを含むことができる。更に個々のビットストリームが時間同期(time synchronous)であるべきときは、ビットストリームはタイミング情報を含むことができる。
個々のビットストリームが構文解析された後、破損ビットが取り替えられる(replaced)７８、８２および８６ところのアプリケーション層で、エラー回復あるいは隠蔽のいくつかの技術のうちの１つを利用して、エラー処理(error handling)がおこなわれる。図２におけるアプリケーション層コンポーネント５０のエラー回復コンポーネント４０、スケーラビリティコンポーネント４２およびＦＲＵＣコンポーネント４４は、取り替えることの動作７８、８２および８６を実行できる。破損シンボルが交換された後、個々のビデオ、オーディオおよびテキスト／グラフィックスのビットストリームが、夫々、デコードされることができる８０、８４および８８。図２中のアプリケーション層コンポーネント５０のコアアプリケーションコンポーネント４６は、デコーディングを実行できる８０、８４および８８。図２中のアプリケーション層コンポーネント５０のコアアプリケーションコンポーネント４６はまた、フラグが立てられていた可能性がある破損ビットを、下層コンポーネントと取り替えることもできる７８、８２及び／又は８６。図４において示されるプロセス６０に対し、１つ以上のエレメントが、追加され、再配列され、あるいは組み合わされることができる。
図４において示されるような、破損データのフラッギングによって、破損ビットを識別すること６６の一例が、今より、より詳細に論考される。図５は、ビデオデータ用のターボ情報パケット構造を図示する。ブロック１４０は、図３の中で図示されたＲＳ情報ブロックを構成するターボ情報パケット１０６のＫ行のような、１セットのターボ情報パケットを表わす。ビデオのフレームは、符号化されるべきデータの、１つよりも多いターボ情報パケットを要求できる。例えば、第１のフレーム、Ｆｌ、は、情報ブロック１４８Ａにおける行１４２Ａにおいて始められる。フレームＦｌにおける残存するデータは、行１４２Ｂ、１４２Ｃ、１４２Ｄおよび行１４２Ｅの第1の部分に位置する。行１４２Ａはまた、同期ヘッダヘッダ（ＳＨ）１４６Ａを含んでおり、それは、ストリーム識別、同期時間、フレーム識別（ベース層およびエンハンスメント層の場合はフレーム番号(frame number)、そして多分層番号(possibly layer number)）などの情報、および他の情報、を含む。同期ヘッダ１４６Ａは、同期層パーサ（図２における３８を参照）に対し、フレームＦｌを表わす次の情報ブロックに含まれるデータをどこで(どのアプリケーションで)送るのかを識別するように機能する。上記で論考したように、各行の最後にＣＲＣチェックサムがあり、それは、消去された（破損された）パケットを識別するためにリードソロモンデコーディングに関連して使用される。
各ターボ情報パケット行の初めには、トランスポート層ヘッダ（ＴＨ）１４４がある。
各ＴＨ１４４は、ラスト＿フラッグとオフセット＿ポインタとを含んでいる。破損ターボ情報パケットのフラッギングは、図４の状態６６で実行され、オフセット＿ポインタ値自体によって行われることができる。オフセット＿ポインタを誤用の値(illegitimate value)に設定することは、パケットが破損していることを示す(signify)ことができる。あるいは、エラー＿フラッグフィールドは、ＴＨの中で使用されてもよい。フラッギングは、対応するＴＨにおける設定（エラー＿フラッグ＝１）によって達成されることができる。例えば、もし行１４２Ｃが破損している場合、そのときは、行１４２ＣのＴＨは１に等しく設定されることができる。ラスト＿フラッグは、現在の行がフレームの最後の行であることを（例えばそれを１に等しく設定することにより）示すために使用され、そしてもしそれが最後の行である場合は、そのときは、オフセット＿ポインタは、ターボ情報パケット行の中のどこで次のフレームが始まるのかを示すために使用される（バイトの数で）。例えば、行１４２Ｅにおいて、ＴＨ１４４Ｂは（ラスト＿フラッグ＝１）を持つことができ、そして、オフセット＿ポインタは、ＴＨ１４４Ｃの開始（フレームＦ３の開始）の前の行に含まれていたバイトの数に等しくできる。同期ヘッダ１４６Ｂは、上記に論考されたように、フレーム＿ＩＤおよびビットストリームを示すデータを含むことができる。情報ブロック１４８Ｃは、フレームＦ３を表わすビデオデータを含む。もし行１４２Ｅが破損されていると決定される場合、そのときは、デコーダは、フレームＦｌがどこで終了し、フレームＦ３がどこで始まるかを、決定することができないかもしれない。
上記に論考されたようにトランスポートヘッダ中にエラー＿フラッグを含んでいることに加えて（あるいはその代わりに）、データテーブル(data table)が構成され、各ビデオフレームについて表１にリストされた情報と共にアプリケーション層へ送られることができるであろう。
表１に似た、他のビットストリームエラーテーブルが構成されることができる。トランスポートヘッダ及び／又は表１のようなエラーテーブルに含まれるエラーフラッギング情報は、図４においてそれぞれ、構文解析されたビットストリーム７０、７２および７４中の破損シンボルを識別し、ステップ７８、８２および８６でそれら取り替えるために、図２のコンポーネント４０、４２および４４のような、アプリケーション層コンポーネントによって利用されることができる。上記に論考されたように、ＲＳコーディングからの消去パケットは、廃棄されずに、しかし、ビデオデコーダのようなアプリケーション層まで処理される。これは、全パレット、ビデオパケットの場合は潜在的に長さで１２２以上のバイト、が失われるのを防ぐ。
破損シンボルを取り替える動作、図４中のステップ７８、８２および８６、は２つの主な形態、エラー訂正とエラー隠蔽、を引き受けることができる。ビットストリームレベルエラー訂正および隠蔽オペレーションは、消去とバーストエラーに関して実行される。（バイトエラーに起因する）デコーディングエラーは、可能な程度まで、ＭＡＰ（帰納的最大確率(Maximum a Posteriori Probability）基準を使用して訂正される。訂正することができないエラーは、空間的及び／又は時間的情報を使用して、隣接するマクロブロックから隠蔽される（マクロブロックは、画像圧縮標準規格中で一般に動作する１６ｘ１６ピクセル領域であるが、８ｘ８、８ｘ１６などのような、より小さいサブマクロブロックもまた、使用されることができるであろう）。時間的隠蔽が、例えば、画像が１つよりも多いフレームにわたって静止のとき、使用されることができる。もし、隠蔽されている破損マクロブロックが、前のフレームにおいて比較的コンスタントのままでいた領域にある場合は、それは破損フレームの中にある可能性があり、そして、過去のフレーム領域が、破損領域のための推定値(an estimate)として使用されることができるであろう。空間的隠蔽は、同じフレーム内の隣接するマクロブロック上で存続するエッジ(edges)あるいはオブジェクト(objects)を利用できる。
上記に論考されたように、同じビットストリームを表わしている、符号化されたデータの複数の層が、受け取られることができる。該層は、ベース層と１つ以上のエンハンスメント層を含むことができ、そこでは、エンハンスメント層（単数又は複数）は、（双方向性の予測Ｂフレームのような）ベース層においては利用可能でない特別のフレームを提供することができる、あるいは、それらは、ベース層ピクセル係数(pixel coefficients)に、より高い品質の差異がある改善(higher quality differential refinements)を供給することができる。ベース層係数への差異ある改善のケースにおいては、もしベース層が破損される場合、そのときは、エンハンスメント層は、ベース層ピクセル値に基づいてそれが導き出されたので、役に立たない可能性がある。したがって、エンハンスメント層は、もしベース層データが破損されている場合は、デコーディングから省かれることができる。このプロセスは、選択的デコーディングと呼ばれ、低いパワーシナリオ(low power scenarios)の下で使用されることもできる。例えば、デコーダにホストとして動作するデバイスが、低いパワーモード上で実行している、あるいは、低いバッテリで実行しているとき、ベース層のみが、エンハンスメント層を省略してデコードされることができ、したがって、計算サイクルをそしてさらにはパワー消費を節約する。空間的及び／又は時間的隠蔽技術は、結合されたベースプラスエンハンスメント層データ(combined base plus enhancement layer data)を取り替えることができる。
エンハンスメント層（時々、低い優先順位層として扱われる）は、ベース層（あるいは高い優先順位層）よりも低いパワーで送信されることができる。これは、ベース層上のエンハンスメント層におけるエラーの確率を増加させる。従って、受け取られたベース層が高い割合(percentage)のエラーを含んでいるときは、エンハンスメント層は潜在的に除かれる(dropped)ことができる。
双方向性の予測フレーム（Ｂフレーム）は、前のフレームと続いて起こる動き補償予測(motion compensated prediction)を使用するフレームの両方から予測される。Ｂフレームは、非常に高い圧縮比を提示し(offer)、また、帯域幅を節約するためには非常に望ましい。Ｂフレームはまた、それらの時間的スケーラビリティ特性のために望ましい。標準規格準拠Ｂフレームは、他のどんなフレームの予測については使用されない、そして、この理由のために、それらは、他のフレームに悪影響を及ぼすことなく除かれることができる。Ｂフレームはまた、それらが依存するフレームにおけるエラーに起因するエラー伝播の影響をより受けやすい(susceptible)。これらの理由のため、Ｂフレームは、エンハンスメント（あるいは低い優先順位）層において搬送される可能性が非常に高い。もしエンハンスメント層がより低いパワーで送信される場合、そのときは、Ｂフレームは、エラーの影響をさらにより受けやすい。
もしＢフレーム（あるいは任意の他のタイプのフレーム）が完全に破損されているか、あるいは、時間的または空間的なエラー隠蔽を実行できなくする閾値より上のエラーパーセンテージ(error percentage above a threshold)を有する場合は、フレームレートアップ変換(Frame Rate Up Conversion)（図２のＦＲＵＣコンポーネント４４を参照）が利用されることができる。ＦＲＵＣは、失われたフレームを再生成するために使用される。ＦＲＵＣはまた、パワー節約のような理由でデコーディングからスキップされたフレームを再生成するために使用されることもできる。ＦＲＵＣ技術は、動きベクトルおよびピクセルの値を補間する(interpolate)ために、前のフレームおよび続いて起こるフレームから動きベクトルおよびピクセル情報を利用する。正確なＦＲＵＣ技術は、この論考の範囲を超えている。ＦＲＵＣ技術は、デコーダのみ(decoder-only)およびエンコーダ支援(encoder-assisted)の形態を含んでいる。デコーダのみのＦＲＵＣは、どんな他の情報もなしに、フレームデータの疑似補間(pseudo- interpolation)実行する。エンコーダ支援のＦＲＵＣは、Ｈ．２６４の補足エンハンスメント情報(Supplemental Enhancement Information)（ＳＥＩ）メッセージ、あるいは、ＭＰＥＧ−２のユーザ＿データメッセージにおいて送信される、サイド情報(side information)を利用する。
図６は、マルチメディア受信機、例えば、図１の中で示される受信機２４、の一部であることができるコンポーネントのシステムの一例のブロック図を示す。システム６００は、エラー回復において使用されるマルチレイア統合システムである。図７は、システム６００によって使用されることができるエラー回復のプロセスのフローチャートを示す。図６および７を参照すると、プロセス７００は、マルチメディアデータの１つ以上のストリームを受け取る７０５。データストリームは、ビデオ、オーディオ、及び／又は、字幕テキストなどを、を含むことができる。受信された１つ以上のストリームは、符号化されたデータであり得る。符号化されたデータは、変形されたデータ(transformed data)、量子化されたデータ、圧縮されたデータあるいはそれらの組合せ、であり得る。図１Ａにおける受信機２４のような、受け取る手段(receiving means)は、１つ以上のストリームを受け取る７０５ことができる。マルチメディアの複数のストリームを受け取ることに加えて、各受信されたストリームは、複数の層、例えば、ベース層およびエンハンスメント層、を備えることができる。受信機２４は、無線またはワイヤードの受信機、あるいは組合せであることができる。
ビットストリーム中に残っているエラーは、検出される７１０。検出されたエラーは、下層エラー訂正の後に残っているエラーを備えることができ、そして、検波プロトコルが、チャネル上で、例えば、図１の無線チャネル２６またはワイヤードチャネル２８上で、伝送によってもたらされたエラーのうちのいくつかを訂正している。上記に論考されたように、必ずしも全てのエラーが訂正可能だとは限らず、また、下層プロトコルのうちのどれでも、破損データ、及び／又は、エラーを含んでいるデータのグループを、マークすることができる。エラーを検出する７１０ために使用される下層プロトコルは、上記に論考されたように、通信層の中でインプリメントされる(implemented)ことができる。通信層は、物理層、ＭＡＣ層（あるいはストリーム層）、あるいはトランスポート層、のうちの１つあるいは組合せ、あるいはそれらの組合せ、であることができる。図６におけるエラー検出器６０５のような検出器手段は、エラー検出を実行する７１０ことができる。エラー検出器６０５は、当業者に知られている様々な検波方式のうちのいずれか、例えば、上記に論考されたようなリードソロモン及び／又はターボ符号方式を使用することができる。エラー検出は、ターボデコーダ中のＣＲＣ障害のためであり得る。エラー検出は、リードソロモンデコーダの障害のためであり得る。
検出されたエラーはいくつかの方法による制御される７１５ことができる。制御７１５は、上記に論考されたように、破損データのマーキング（あるいはフラッギング）を備えることができる。コントロール７１５は、検出されたエラーを含んでいる、データのグループ、例えば、パケット、ブロック、スライス、フレーム、マクロブロック、サブマクロブロック、を識別することによって、エラーをローカライズすること(localizing)を備えることができる。制御７１５、はトランスポート層プロトコルに基づくことができる。そのようなプロトコルは、上層による使用のためのトランスポート層ヘッダの中の１ビット以上を符号化することにより、残っているエラーをマークすることができる（図１Ｂおよび１Ｃを参照）。上層は、１つ以上の破損トランスポート層パケットから構成される上層パケットを、更に識別し、且つ／又は、ローカライズする(localize)ために、トランスポート層ヘッダエラーインジケータを使用することができ、そうすることによって、更に、上層ビットストリームにおけるエラーをローカライズする。図６におけるエラーコントローラ６１０のような制御手段は、エラー制御タスク(error control tasks)を行なうことができる。
エラー分布(error distribution)が決定される７２０。一態様においては、エラー分布は、同期層プロトコルに基づいて決定される。受け取られた７０５、１つ以上のビットストリームは、同期層で構文解析される(parsed)ことができる。もし同期層が、より低い、例えば、通信層の１つから、破損データをマークしている情報を受け取る場合は、それは、どのビットストリームのどの部分が破損されているかを識別することができる。そのような情報を持つことは、同期層プロトコルが、上層（例、アプリケーション層）のエラー隠蔽及び／又はエラー回復戦略(error recovery strategies)を計画するのを可能にすることができる。異なる戦略が、破損データのサイズに応じて適用されることができる。誤りがあるとマークされ得る、トランスポート層パケットは、それらがどのビットストリームの部分であるかに応じて、様々なアプリケーション層コンポーネントに送られるべき同期層パケットに、結合されることができる。トランスポート層パケットは、固定長であることができ、また、同期層パケットは、可変長であることができる。同期層は、可変長パケットのどの部分が破損トランスポート層パケットを含むのかを識別するデータを挿入することにより、エラー分布を識別することができる。エラー制御７１５情報を使用することに加えて、同期層プロトコルは、更に、エラー検出方法を含むことができる。これらのエラー検出方法は、同期層パケットのＣＲＣをチェックすることを含むことができる。決定されたエラー分布は、構文解析されたデータパケットにエラーマーキングを挿入することにより、アプリケーション層コンポーネントに更に伝えられる(communicated)ことができる。エラー分布デタミナ(error distribution determiner)６１５のような決定する手段(determining means)は、エラー分布を決定する７２０ことができる。
エラー回復は、１つ以上の符号化されたマルチメディアデータストリームの部分上で実行される７２５ことができる。エラー回復は、アプリケーション層プロトコルに基づくことができる。アプリケーション層コンポーネントは、エラー回復を実行することができる。アプリケーション層コンポーネントは、上記に論考されたように、同期層から受け取られた情報に基づいて、どのタイプのエラー回復を使用するのかを決定することができる。エラー回復は、他の方法と同様に、上記に論考されたように、時間的エラー隠蔽、空間的エラー隠蔽およびフレームレートアップ変換（ＦＲＵＣ）のうちの１つまたは組合せを、備えることができる。１つ以上のマルチメディアデータストリームにおける検出されたエラーを隠蔽することは、アプリケーション層プロトコルに基づくことができる。エラー回復はまた、１つ以上のデータストリームのスケーラビリティをサポートすることができる。スケーラビリティは、上記に論考されたように、空間的または時間的スケーラビリティの１つまたは両方を含むことができる。図２Ａのエラー回復コンポーネント４０のようなエラー回復手段は、エラー回復７２５を実行することができる。エラーコンシーラ(error concealer)６２０のようなエラーコンシーラ手段(error concealer means)は、エラー隠蔽(error concealment)を実行することができる。図２Ａおよび図６のスケーラビリティコンポーネント４２および６２０のような、スケーラビリティ手段は、エラー回復７２５を行なう際にスケーラビリティをサポートすることができる。
プロセス７００は、１つ以上のビットストリームの再構成７３０を含むことができる。再構成７３０は、正確に受け取られたデータと隠蔽にされたデータを結合することを備えることができる。再構成は、フレームにおけるエラーの量が閾値を超える場合に、フレームレート（時間的スケーラビリティの形態(form)）を減らすことを含むことができる。再構成は、エンハンスメント層（ＳＮＲスケーラビリティの形態）をデコードしないか、隠蔽するか、訂正するかを選択することを備えることができる。アプリケーション層プロトコルは、再構成７３０のためのベース(basis)であり得る。データストリームリコンストラクタ(data stream reconstructor)６３０のような再構成手段は、再構成７２５を実行することができる。１つ以上のエレメントが。システム６００に、追加され、再配列され、あるいは組み合わされることができる。１つ以上のエレメントが、プロセス７００に、追加され、再配列され、あるいは組み合わされることができる。
上記に説明された方法および装置の例は、次のものを含む。
ビットストリームを受け取ること(receiving)と、受け取られたビットストリームのエラー制御デコーディングを行なうこと(performing error control decoding)と、なおここでは、エラー制御デコーディングは、訂正されていない破損ビットを識別することを備えている、識別された破損ビットを含んでいるエラー制御デコードされたビットストリームをデコーダに渡すこと(passing)と、識別されたビットのうちの少なくとも１つを取り替えること(replacing)と、取り替えられたビットを含んでいる、エラー制御デコードされたビットストリームをデコードすること(decoding)と、を含む、マルチメディアデータをデコードする方法。一態様においては、方法は更に、エラー制御デコードされたビットストリームを１つ以上のシンボルに構文解析することと、破損ビットを含むどんなシンボルも破損されていると識別されるように、破損ビットを識別する情報を構文解析することと、を含む。別の態様においては、方法は更に、破損ビットを識別する構文解析された情報を含んでいるエラーテーブルを構成することを含み、ここでは、エラーテーブルは、識別されたビットをビデオフレームのシーケンスにおける位置へマッピングする(mapping)情報を含んでいる。さらに別の態様においては、方法は更に、エラー制御符号化されたビットストリームを、第１の構文解析されたビットストリームおよび第２の構文解析されたビットストリームに構文解析することを含み、ここでは、第１の構文解析されたビットストリームはベース層ビットストリームであり、第２の構文解析されたビットストリームはエンハンスメント層ビットストリームである。
ビットストリームを受け取ることと、受けとられたビットストリームのエラー制御デコーディングを行なうことと、なおここでは、エラー制御デコーディングは、訂正されていない破損ビットを識別することを備えている、識別された破損ビットを含んでいるエラー制御デコードされたビットストリームをデコーダに渡すことと、識別されたビットの少なくとも１つを、第１のフレームと第２のフレームとの間でフレームレートアップ変換を行なうことによって、置き換えることと、エラー制御デコードされたビットストリームをデコードすることと、を含む、マルチメディアデータをデコードする方法。
当業者は、情報および信号は様々な異なる技術および技法のうちの任意のものを使用して表わされることができることを、理解するだろう。例えば、上記説明全体を通して参照され得るデータ、インストラクション、コマンド、情報、信号、ビット、シンボル、およびチップは、電圧、電流、電磁波、磁場または磁性粒子、光場または光学粒子、またはそれらの任意の組み合わせ、によって表されることが出来る。
当業者は、ここに開示された例に関連して説明された、様々な説明のための、論理ブロック、モジュール、およびアルゴリズムステップは、電子的ハードウェア、ファームウェア、コンピュータソフトウェア、ミドルウェア、マイクロコード、あるいはそれらの組合せとしてインプリメントされることができることを、更に認識するであろう。ハードウェアおよびソフトウェアのこの互換性を明確に説明するために、様々な説明のための、コンポーネント、ブロック、モジュール、回路、およびステップが、一般に、それらの機能の観点から上記に説明されている。そのような機能が、ハードウェアとしてあるいはソフトウェアとしてインプリメントされるかどうかは、特定のアプリケーションと、全体のシステムに課される設計制約に依存する。熟練者は、各特定のアプリケーションに対し、様々な方法で、説明された機能をインプリメントするかもしれないが、そのようなインプリメンテーションの決定は、開示された方法の範囲からの逸脱を生じさせるものと解釈されるべきではない。
ここに開示された例に関連して記述された様々な説明のための論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）あるいは他のプログラマブルロジックデバイス、ディスクリートゲートまたはトランジスタロジック、ディスクリートハードウェアコンポーネント、あるいはここに説明された機能を実行するように設計されたそれらの任意の組み合わせ、を用いてインプリメントされるあるいは実行されることができる。汎用プロセッサは、マイクロプロセッサであってもよいが、別の方法では、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、あるいは状態機械であってもよい。プロセッサはまた、コンピューティングデバイスの組み合わせ、例えば、ＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと組み合わせた１つ以上のマイクロプロセッサ、あるいはその他のそのようなコンフィギュレーション、としてインプリメントされることもできる。
ここに開示された例に関連して記述された方法あるいはアルゴリズムのステップは、ハードウェアに直接に、プロセッサによって実行されるソフトウェアモジュールに、あるいは該２つの組合せで直接具現化されることができる。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ−ＲＯＭ、あるいは当技術分野で知られているその他の形態の記憶媒体の中にあってもよい。一例の記憶媒体は、プロセッサが記憶媒体から情報を読み出し、かつ、記憶媒体へ情報を書き込むことができるように、プロセッサに結合される。あるいは、記憶媒体はプロセッサと一体化されてもよい。プロセッサと記憶媒体は、特定用途向け集積回路（ＡＳＩＣ）中に常駐してもよい。ＡＳＩＣは、無線モデム中に常駐してもよい。あるいは、プロセッサと記憶媒体は、無線モデム中のディスクリートコンポーネントとして常駐してもよい。
開示された例の上記の説明は、いずれの当業者にも開示された方法および装置を作る又は使用することを可能にするように提供されている。これらの例への様々な修正は、当業者には容易に明らかであろう、そして、ここに定義された原理は他の例に適用されることができ、更なるエレメントが追加されてもよい。
このように、インテリジェントエラー隠蔽および破損データのエラー訂正を行うために、デコーダアプリケーションにおいて、ビット破損フラッギング情報および破損データを利用して、リアルタイムストリーミングマルチメディアをデコードする、方法および装置が、説明された。
以下に、本願発明の当初の特許請求の範囲に記載された発明を付記する。
[１］
エラー回復において使用されるマルチレイア統合のための方法であって、
第１層プロトコルに基づいてマルチメディアデータにおけるエラーを検出することと、
第２層プロトコルに基づいて前記マルチメディアデータにおける前記検出されたエラーを隠蔽することと、
を備える方法。
[２］
前記第１層は通信層を備える、［１］記載の方法。
[３］
前記通信層は、物理層、ＭＡＣ層およびトランスポート層のうちの１つかまたは組合せを備える、［２］記載の方法。
[４］
トランスポート層プロトコルに基づいて前記検出されたエラーを制御すること、
を更に備える［１］記載の方法。
[５］
前記検出されたエラーを制御することは、前記検出されたエラーをローカライズすることを備える、［４］記載の方法。
[６］
同期層プロトコルに基づいて前記検出されたエラーのエラー分布を決定すること、
を更に備える［１］記載の方法。
[７］
前記第２層はアプリケーション層を備える、［１］記載の方法。
[８］
エラー回復において使用されるマルチレイア統合のための装置であって、
第１層プロトコルに基づいてマルチメディアデータにおけるエラーを検出するための手段と、
第２層プロトコルに基づいて前記マルチメディアデータにおける前記検出されたエラーを隠蔽するための手段と、
を備える装置。
[９］
前記第１層は通信層を備える、［８］記載の装置。
[１０］
前記通信層は、物理層、ＭＡＣ層およびトランスポート層のうちの１つかまたは組合せを備える、［９］記載の装置。
[１１］
トランスポート層プロトコルに基づいて前記検出されたエラーを制御するための手段、
を更に備える［８］記載の装置。
[１２］
前記検出されたエラーを制御するための手段は、
前記検出されたエラーをローカライズするための手段を備える、
［１１］記載の装置。
[１３］
同期層プロトコルに基づいて前記検出されたエラーのエラー分布を決定するための手段、
を更に備える［８］記載の装置。
[１４］
前記第２層はアプリケーション層を備える、［８］記載の装置。
[１５］
エラー回復において使用されるマルチレイア統合のための装置であって、
第１層プロトコルに基づいてマルチメディアデータにおけるエラーを検出する検出器と、
第２層プロトコルに基づいて前記マルチメディアデータにおける前記検出されたエラーを隠蔽するコンシーラと、
を備える装置。
[１６］
前記第１層は通信層を備える、［１５］記載の装置。
[１７］
前記通信層は物理層、ＭＡＣ層およびトランスポート層のうちの１つかまたは組合せを備える、［１６］記載の装置。
[１８］
トランスポート層プロトコルに基づいて前記検出されたエラーを制御するコントローラ、
を更に備える［１５］記載の装置。
[１９］
前記コントローラは前記検出されたエラーをローカライズする、［１８］記載の装置。
[２０］
同期層プロトコルに基づいて前記検出されたエラーのエラー分布を決定するデタミナ、
を備える［１５］記載の装置。
[２１］
前記第２層はアプリケーション層を備える、［１５］記載の装置。
[２２］
エラー回復において使用されるマルチレイア統合のためのプロセッサであって、
第１層プロトコルに基づいてマルチメディアデータにおけるエラーを検出し、
第２層プロトコルに基づいて前記マルチメディアデータにおける前記検出されたエラーを隠蔽する、
ように構成された、プロセッサ。
[２３］
前記第１層は通信層を備える、［２２］記載のプロセッサ。
[２４］
前記通信層は物理層、ＭＡＣ層およびトランスポート層のうちの１つかまたは組合せを備える、［２３］記載のプロセッサ。
[２５］
トランスポート層プロトコルに基づいて前記検出されたエラーを制御する、
ように更に構成された、［２２］記載のプロセッサ。
[２６］
前記コントローラは前記検出されたエラーをローカライズする、［２５］記載のプロセッサ。
[２７］
同期層プロトコルに基づいて前記検出されたエラーのエラー分布を決定する、
ように更に構成された、［２２］記載のプロセッサ。
[２８］
前記第２層はアプリケーション層を備える、［２２］記載のプロセッサ。
[２９］
エラー回復において使用されるマルチレイア統合のための方法を具現化するコンピュータ可読媒体であって、前記方法は、
第１層プロトコルに基づいてマルチメディアデータにおけるエラーを検出することと、
第２層プロトコルに基づいて前記マルチメディアデータにおける前記検出されたエラーを隠蔽することと、
備える。
コンピュータ可読媒体
[３０］
前記第１層は通信層を備える、［２９］記載のコンピュータ可読媒体。
[３１］
前記通信層は物理層、ＭＡＣ層およびトランスポート層のうちの１つかまたは組合せを備える、［３０］記載のコンピュータ可読媒体。
[３２］
前記方法は、
トランスポート層プロトコルに基づいて前記検出されたエラーを制御すること、
を更に備える、
［２９］記載のコンピュータ可読媒体。
[３３］
前記検出されたエラーを制御することは、
前記検出されたエラーをローカライズすること、
を更に備える、
［３２］記載のコンピュータ可読媒体。
[３４］
前記方法は、
同期層プロトコルに基づいて前記検出されたエラーのエラー分布を決定すること、
を更に備える、
［２９］記載のコンピュータ可読媒体。
[３５］
前記第２層はアプリケーション層を備える、［２９］記載のコンピュータ可読媒体。
[３６］
エラー回復において使用されるマルチレイア統合のための方法であって、
通信層プロトコルに基づいてマルチメディアデータにおけるエラーを検出することと、
トランスポート層プロトコルに基づいて前記検出されたエラーを制御することと、
同期層プロトコルに基づいて前記制御されたエラーのエラー分布を決定することと、
アプリケーション層プロトコルに基づいて前記マルチメディアデータにおける前記検出されたエラーを隠蔽することと、
を備える方法。
[３７］
エラー回復において使用されるマルチレイア統合のための装置であって、
通信層プロトコルに基づいてマルチメディアデータにおけるエラーを検出するための手段と、
トランスポート層プロトコルに基づいて前記検出されたエラーを制御するための手段と、
同期層プロトコルに基づいて前記制御されたエラーのエラー分布を決定するための手段と、
アプリケーション層プロトコルに基づいてマルチメディアデータにおける前記検出されたエラーを隠蔽するための手段と、
を備える装置。
[３８］
エラー回復において使用されるマルチレイア統合のための装置であって、
通信層プロトコルに基づいてマルチメディアデータにおけるエラーを検出する検出器と、
トランスポート層プロトコルに基づいて前記検出されたエラーを制御するコントローラと、
同期層プロトコルに基づいて前記制御されたエラーのエラー分布を決定するデタミナと、
アプリケーション層プロトコルに基づいて前記マルチメディアデータにおける前記検出されたエラーを隠蔽するコンシーラと、
を備える装置。
[３９］
エラー回復において使用されるマルチレイア統合のためのプロセッサであって、
通信層プロトコルに基づいてマルチメディアデータにおけるエラーを検出し、
トランスポート層プロトコルに基づいて前記検出されたエラーを制御し、
同期層プロトコルに基づいて前記制御されたエラーのエラー分布を決定し、
アプリケーション層プロトコルに基づいて前記マルチメディアデータにおける前記検出されたエラーを隠蔽にする、
ように構成された、プロセッサ。
[４０］
エラー回復において使用されるマルチレイア統合のための方法を具現化するコンピュータ可読媒体であって、前記方法は、
通信層プロトコルに基づいてマルチメディアデータにおけるエラーを検出することと、
トランスポート層プロトコルに基づいて前記検出されたエラーを制御することと、
同期層プロトコルに基づいて前記制御されたエラーのエラー分布を決定することと、
アプリケーション層プロトコルに基づいて前記マルチメディアデータにおける前記検出されたエラーを隠蔽することと、
を備える、
コンピュータ可読媒体。
[４１］
マルチメディアデータ処理において使用される方法であって、
符号化されたマルチメディアデータのエラー回復を行なうことと、
前記符号化されたマルチメディアデータのスケーラビリティをサポートすることと、
を備える方法。
[４２］
前記スケーラビリティは、空間的および時間的スケーラビリティの一方または両方を備える、［４１］記載の方法。
[４３］
前記エラー回復は、時間的エラー隠蔽、空間的エラー隠蔽およびフレームレートアップ変換のうちの１つかまたは組み合わせかを備える、［４１］記載の方法。
[４４］
マルチメディアデータ処理において使用される装置であって、
符号化されたマルチメディアデータのエラー回復を行なうための手段と、
前記符号化されたマルチメディアデータのスケーラビリティをサポートするための手段と、
を備える装置。
[４５］
前記スケーラビリティは、空間的および時間的スケーラビリティの一方または両方を備える、［４４］記載の装置。
[４６］
前記エラー回復は、時間的エラー隠蔽、空間的エラー隠蔽およびフレームレートアップ変換のうちの１つかまたは組み合わせかを備える、［４４］記載の装置。
[４７］
マルチメディアデータ処理において使用される装置であって、
符号化されたマルチメディアデータのエラー回復を行なうエラー回復コンポーネントと、
前記符号化されたマルチメディアデータのスケーラビリティをサポートするスケーラビリティコンポーネントと、
を備える装置。
[４８］
前記スケーラビリティは、空間的および時間的スケーラビリティの一方または両方を備える、［４７］記載の装置。
[４９］
前記エラー回復は、時間的エラー隠蔽、空間的エラー隠蔽およびフレームレートアップ変換のうちの１つかまたは組み合わせかを備える、［４７］記載の装置。
[５０］
マルチメディアデータ処理において使用されるプロセッサであって、
符号化されたマルチメディアデータのエラー回復を行ない、
前記符号化されたマルチメディアデータのスケーラビリティをサポートする、
ように構成されたプロセッサ。
[５１］
前記スケーラビリティは、空間的および時間的スケーラビリティの一方または両方を備える、［５０］記載のプロセッサ。
[５２］
前記エラー回復は、時間的エラー隠蔽、空間的エラー隠蔽およびフレームレートアップ変換のうちの１つかまたは組み合わせかを備える、［５０］記載のプロセッサ。
[５３］
マルチメディアデータ処理において使用される方法を具現化するコンピュータ可読媒体であって、前記方法は、
符号化されたマルチメディアデータのエラー回復を行なうことと、
前記符号化されたマルチメディアデータのスケーラビリティをサポートすることと、
を備える、
コンピュータ可読媒体。
[５４］
前記スケーラビリティは、空間的および時間的スケーラビリティの一方または両方を備える、［５３］記載のコンピュータ可読媒体。
[５５］
前記エラー回復は、時間的エラー隠蔽、空間的エラー隠蔽およびフレームレートアップ変換のうちの１つかまたは組み合わせかを備える、［５３］記載のコンピュータ可読媒体。
[５６］
マルチメディアストリーム処理において使用される方法であって、
符号化されたマルチメディアデータの複数のストリームを受け取ることと、
ストリームの誤り部分上でエラー回復を行なうことと、
前記複数のストリームからのマルチメディアデータを再構成することと、
を備える方法。
[５７］
前記エラー回復は、時間的エラー隠蔽、空間的エラー隠蔽およびフレームレートアップ変換のうちの１つかまたは組み合わせかを備える、［５６］記載の方法。
[５８］
マルチメディアストリーム処理において使用される装置であって、
符号化されたマルチメディアデータの複数のストリームを受け取るための手段と、
ストリームの誤り部分上でエラー回復を行なうための手段と、
前記複数のストリームからの前記マルチメディアデータを再構成するための手段と、
を備える装置。
[５９］
前記エラー回復は、時間的エラー隠蔽、空間的エラー隠蔽およびフレームレートアップ変換のうちの１つかまたは組み合わせかを備える、［５８］記載の装置。
[６０］
マルチメディアストリーム処理において使用される装置であって、
符号化されたマルチメディアデータの複数のストリームを受け取る受信機と、
ストリームの誤り部分上でエラー回復を行なうエラー回復コンポーネントと、
前記複数のストリームからの前記マルチメディアデータを再構成するリコンストラクタと、
を備える装置。
[６１］
前記エラー回復は、時間的エラー隠蔽、空間的エラー隠蔽およびフレームレートアップ変換のうちの１つかまたは組み合わせかを備える、［６０］記載の装置。
[６２］
マルチメディアストリーム処理において使用されるプロセッサであって、
符号化されたマルチメディアデータの複数のストリームを受け取り、
ストリームの誤り部分上でエラー回復を行ない、
前記複数のストリームからの前記マルチメディアデータを再構成する、
ように構成された、プロセッサ。
[６３］
前記エラー回復は、時間的エラー隠蔽、空間的エラー隠蔽およびフレームレートアップ変換のうちの１つかまたは組み合わせかを備える、［６２］記載のプロセッサ。
[６４］
マルチメディアストリーム処理において使用される方法を具現化するコンピュータ可読媒体であって、前記方法は、
符号化されたマルチメディアデータの複数のストリームを受け取ることと、
ストリームの誤り部分上でエラー回復を行なうことと、
前記複数のストリームからの前記マルチメディアデータを再構成することと、
を備える、
コンピュータ可読媒体。
[６５］
前記エラー回復は、時間的エラー隠蔽、空間的エラー隠蔽およびフレームレートアップ変換のうちの１つかまたは組み合わせかを備える、［６４］記載のコンピュータ可読媒体。
以下に、本願発明の当初の特許請求の範囲に記載された発明を付記する。
[１］
エラー回復において使用されるマルチレイア統合のための方法であって、
第１層プロトコルに基づいてマルチメディアデータにおけるエラーを検出することと、
第２層プロトコルに基づいて前記マルチメディアデータにおける前記検出されたエラーを隠蔽することと、
を備える方法。
[２］
前記第１層は通信層を備える、［１］記載の方法。
[３］
前記通信層は、物理層、ＭＡＣ層およびトランスポート層のうちの１つかまたは組合せを備える、［２］記載の方法。
[４］
トランスポート層プロトコルに基づいて前記検出されたエラーを制御すること、
を更に備える［１］記載の方法。
[５］
前記検出されたエラーを制御することは、前記検出されたエラーをローカライズすることを備える、［４］記載の方法。
[６］
同期層プロトコルに基づいて前記検出されたエラーのエラー分布を決定すること、
を更に備える［１］記載の方法。
[７］
前記第２層はアプリケーション層を備える、［１］記載の方法。
[８］
エラー回復において使用されるマルチレイア統合のための装置であって、
第１層プロトコルに基づいてマルチメディアデータにおけるエラーを検出するための手段と、
第２層プロトコルに基づいて前記マルチメディアデータにおける前記検出されたエラーを隠蔽するための手段と、
を備える装置。
[９］
前記第１層は通信層を備える、［８］記載の装置。
[１０］
前記通信層は、物理層、ＭＡＣ層およびトランスポート層のうちの１つかまたは組合せを備える、［９］記載の装置。
[１１］
トランスポート層プロトコルに基づいて前記検出されたエラーを制御するための手段、
を更に備える［８］記載の装置。
[１２］
前記検出されたエラーを制御するための手段は、
前記検出されたエラーをローカライズするための手段を備える、
［１１］記載の装置。
[１３］
同期層プロトコルに基づいて前記検出されたエラーのエラー分布を決定するための手段、
を更に備える［８］記載の装置。
[１４］
前記第２層はアプリケーション層を備える、［８］記載の装置。
[１５］
エラー回復において使用されるマルチレイア統合のための装置であって、
第１層プロトコルに基づいてマルチメディアデータにおけるエラーを検出する検出器と、
第２層プロトコルに基づいて前記マルチメディアデータにおける前記検出されたエラーを隠蔽するコンシーラと、
を備える装置。
[１６］
前記第１層は通信層を備える、［１５］記載の装置。
[１７］
前記通信層は物理層、ＭＡＣ層およびトランスポート層のうちの１つかまたは組合せを備える、［１６］記載の装置。
[１８］
トランスポート層プロトコルに基づいて前記検出されたエラーを制御するコントローラ、
を更に備える［１５］記載の装置。
[１９］
前記コントローラは前記検出されたエラーをローカライズする、［１８］記載の装置。
[２０］
同期層プロトコルに基づいて前記検出されたエラーのエラー分布を決定するデタミナ、
を備える［１５］記載の装置。
[２１］
前記第２層はアプリケーション層を備える、［１５］記載の装置。
[２２］
エラー回復において使用されるマルチレイア統合のためのプロセッサであって、
第１層プロトコルに基づいてマルチメディアデータにおけるエラーを検出し、
第２層プロトコルに基づいて前記マルチメディアデータにおける前記検出されたエラーを隠蔽する、
ように構成された、プロセッサ。
[２３］
前記第１層は通信層を備える、［２２］記載のプロセッサ。
[２４］
前記通信層は物理層、ＭＡＣ層およびトランスポート層のうちの１つかまたは組合せを備える、［２３］記載のプロセッサ。
[２５］
トランスポート層プロトコルに基づいて前記検出されたエラーを制御する、
ように更に構成された、［２２］記載のプロセッサ。
[２６］
前記コントローラは前記検出されたエラーをローカライズする、［２５］記載のプロセッサ。
[２７］
同期層プロトコルに基づいて前記検出されたエラーのエラー分布を決定する、
ように更に構成された、［２２］記載のプロセッサ。
[２８］
前記第２層はアプリケーション層を備える、［２２］記載のプロセッサ。
[２９］
エラー回復において使用されるマルチレイア統合のための方法を具現化するコンピュータ可読媒体であって、前記方法は、
第１層プロトコルに基づいてマルチメディアデータにおけるエラーを検出することと、
第２層プロトコルに基づいて前記マルチメディアデータにおける前記検出されたエラーを隠蔽することと、
備える。
コンピュータ可読媒体
[３０］
前記第１層は通信層を備える、［２９］記載のコンピュータ可読媒体。
[３１］
前記通信層は物理層、ＭＡＣ層およびトランスポート層のうちの１つかまたは組合せを備える、［３０］記載のコンピュータ可読媒体。
[３２］
前記方法は、
トランスポート層プロトコルに基づいて前記検出されたエラーを制御すること、
を更に備える、
［２９］記載のコンピュータ可読媒体。
[３３］
前記検出されたエラーを制御することは、
前記検出されたエラーをローカライズすること、
を更に備える、
［３２］記載のコンピュータ可読媒体。
[３４］
前記方法は、
同期層プロトコルに基づいて前記検出されたエラーのエラー分布を決定すること、
を更に備える、
［２９］記載のコンピュータ可読媒体。
[３５］
前記第２層はアプリケーション層を備える、［２９］記載のコンピュータ可読媒体。
[３６］
エラー回復において使用されるマルチレイア統合のための方法であって、
通信層プロトコルに基づいてマルチメディアデータにおけるエラーを検出することと、
トランスポート層プロトコルに基づいて前記検出されたエラーを制御することと、
同期層プロトコルに基づいて前記制御されたエラーのエラー分布を決定することと、
アプリケーション層プロトコルに基づいて前記マルチメディアデータにおける前記検出されたエラーを隠蔽することと、
を備える方法。
[３７］
エラー回復において使用されるマルチレイア統合のための装置であって、
通信層プロトコルに基づいてマルチメディアデータにおけるエラーを検出するための手段と、
トランスポート層プロトコルに基づいて前記検出されたエラーを制御するための手段と、
同期層プロトコルに基づいて前記制御されたエラーのエラー分布を決定するための手段と、
アプリケーション層プロトコルに基づいてマルチメディアデータにおける前記検出されたエラーを隠蔽するための手段と、
を備える装置。
[３８］
エラー回復において使用されるマルチレイア統合のための装置であって、
通信層プロトコルに基づいてマルチメディアデータにおけるエラーを検出する検出器と、
トランスポート層プロトコルに基づいて前記検出されたエラーを制御するコントローラと、
同期層プロトコルに基づいて前記制御されたエラーのエラー分布を決定するデタミナと、
アプリケーション層プロトコルに基づいて前記マルチメディアデータにおける前記検出されたエラーを隠蔽するコンシーラと、
を備える装置。
[３９］
エラー回復において使用されるマルチレイア統合のためのプロセッサであって、
通信層プロトコルに基づいてマルチメディアデータにおけるエラーを検出し、
トランスポート層プロトコルに基づいて前記検出されたエラーを制御し、
同期層プロトコルに基づいて前記制御されたエラーのエラー分布を決定し、
アプリケーション層プロトコルに基づいて前記マルチメディアデータにおける前記検出されたエラーを隠蔽にする、
ように構成された、プロセッサ。
[４０］
エラー回復において使用されるマルチレイア統合のための方法を具現化するコンピュータ可読媒体であって、前記方法は、
通信層プロトコルに基づいてマルチメディアデータにおけるエラーを検出することと、
トランスポート層プロトコルに基づいて前記検出されたエラーを制御することと、
同期層プロトコルに基づいて前記制御されたエラーのエラー分布を決定することと、
アプリケーション層プロトコルに基づいて前記マルチメディアデータにおける前記検出されたエラーを隠蔽することと、
を備える、
コンピュータ可読媒体。
[４１］
マルチメディアデータ処理において使用される方法であって、
符号化されたマルチメディアデータのエラー回復を行なうことと、
前記符号化されたマルチメディアデータのスケーラビリティをサポートすることと、
を備える方法。
[４２］
前記スケーラビリティは、空間的および時間的スケーラビリティの一方または両方を備える、［４１］記載の方法。
[４３］
前記エラー回復は、時間的エラー隠蔽、空間的エラー隠蔽およびフレームレートアップ変換のうちの１つかまたは組み合わせかを備える、［４１］記載の方法。
[４４］
マルチメディアデータ処理において使用される装置であって、
符号化されたマルチメディアデータのエラー回復を行なうための手段と、
前記符号化されたマルチメディアデータのスケーラビリティをサポートするための手段と、
を備える装置。
[４５］
前記スケーラビリティは、空間的および時間的スケーラビリティの一方または両方を備える、［４４］記載の装置。
[４６］
前記エラー回復は、時間的エラー隠蔽、空間的エラー隠蔽およびフレームレートアップ変換のうちの１つかまたは組み合わせかを備える、［４４］記載の装置。
[４７］
マルチメディアデータ処理において使用される装置であって、
符号化されたマルチメディアデータのエラー回復を行なうエラー回復コンポーネントと、
前記符号化されたマルチメディアデータのスケーラビリティをサポートするスケーラビリティコンポーネントと、
を備える装置。
[４８］
前記スケーラビリティは、空間的および時間的スケーラビリティの一方または両方を備える、［４７］記載の装置。
[４９］
前記エラー回復は、時間的エラー隠蔽、空間的エラー隠蔽およびフレームレートアップ変換のうちの１つかまたは組み合わせかを備える、［４７］記載の装置。
[５０］
マルチメディアデータ処理において使用されるプロセッサであって、
符号化されたマルチメディアデータのエラー回復を行ない、
前記符号化されたマルチメディアデータのスケーラビリティをサポートする、
ように構成されたプロセッサ。
[５１］
前記スケーラビリティは、空間的および時間的スケーラビリティの一方または両方を備える、［５０］記載のプロセッサ。
[５２］
前記エラー回復は、時間的エラー隠蔽、空間的エラー隠蔽およびフレームレートアップ変換のうちの１つかまたは組み合わせかを備える、［５０］記載のプロセッサ。
[５３］
マルチメディアデータ処理において使用される方法を具現化するコンピュータ可読媒体であって、前記方法は、
符号化されたマルチメディアデータのエラー回復を行なうことと、
前記符号化されたマルチメディアデータのスケーラビリティをサポートすることと、
を備える、
コンピュータ可読媒体。
[５４］
前記スケーラビリティは、空間的および時間的スケーラビリティの一方または両方を備える、［５３］記載のコンピュータ可読媒体。
[５５］
前記エラー回復は、時間的エラー隠蔽、空間的エラー隠蔽およびフレームレートアップ変換のうちの１つかまたは組み合わせかを備える、［５３］記載のコンピュータ可読媒体。
[５６］
マルチメディアストリーム処理において使用される方法であって、
符号化されたマルチメディアデータの複数のストリームを受け取ることと、
ストリームの誤り部分上でエラー回復を行なうことと、
前記複数のストリームからのマルチメディアデータを再構成することと、
を備える方法。
[５７］
前記エラー回復は、時間的エラー隠蔽、空間的エラー隠蔽およびフレームレートアップ変換のうちの１つかまたは組み合わせかを備える、［５６］記載の方法。
[５８］
マルチメディアストリーム処理において使用される装置であって、
符号化されたマルチメディアデータの複数のストリームを受け取るための手段と、
ストリームの誤り部分上でエラー回復を行なうための手段と、
前記複数のストリームからの前記マルチメディアデータを再構成するための手段と、
を備える装置。
[５９］
前記エラー回復は、時間的エラー隠蔽、空間的エラー隠蔽およびフレームレートアップ変換のうちの１つかまたは組み合わせかを備える、［５８］記載の装置。
[６０］
マルチメディアストリーム処理において使用される装置であって、
符号化されたマルチメディアデータの複数のストリームを受け取る受信機と、
ストリームの誤り部分上でエラー回復を行なうエラー回復コンポーネントと、
前記複数のストリームからの前記マルチメディアデータを再構成するリコンストラクタと、
を備える装置。
[６１］
前記エラー回復は、時間的エラー隠蔽、空間的エラー隠蔽およびフレームレートアップ変換のうちの１つかまたは組み合わせかを備える、［６０］記載の装置。
[６２］
マルチメディアストリーム処理において使用されるプロセッサであって、
符号化されたマルチメディアデータの複数のストリームを受け取り、
ストリームの誤り部分上でエラー回復を行ない、
前記複数のストリームからの前記マルチメディアデータを再構成する、
ように構成された、プロセッサ。
[６３］
前記エラー回復は、時間的エラー隠蔽、空間的エラー隠蔽およびフレームレートアップ変換のうちの１つかまたは組み合わせかを備える、［６２］記載のプロセッサ。
[６４］
マルチメディアストリーム処理において使用される方法を具現化するコンピュータ可読媒体であって、前記方法は、
符号化されたマルチメディアデータの複数のストリームを受け取ることと、
ストリームの誤り部分上でエラー回復を行なうことと、
前記複数のストリームからの前記マルチメディアデータを再構成することと、
を備える、
コンピュータ可読媒体。
[６５］
前記エラー回復は、時間的エラー隠蔽、空間的エラー隠蔽およびフレームレートアップ変換のうちの１つかまたは組み合わせかを備える、［６４］記載のコンピュータ可読媒体。
Claims (25)
- 通信システムにおいてマルチメディアを伝達することにおけるエラー回復において使用されるマルチレイア統合のための方法であって、
通信層のためのプロトコルに基づいてマルチメディアデータにおけるエラーをエラー検出手段によって検出することと、
同期層のためのプロトコルに基づいて、前記検出されたエラーと関連づけられたエラー分布をエラー分布決定手段によって決定すること、
前記同期層のための前記プロトコルと前記エラー分布とに基づいて、エラー隠蔽戦略をエラー隠蔽戦略決定手段によって決定することと、
アプリケーション層のためのプロトコルと前記エラー隠蔽戦略とに基づいて、前記マルチメディアデータにおける前記検出されたエラーをエラー隠蔽手段によって隠蔽することと、
を備える方法。 - 前記通信層は、物理層、ＭＡＣ層およびトランスポート層のうちの１つかまたは組合せを備える、請求項１記載の方法。
- トランスポート層プロトコルに基づいて前記検出されたエラーを制御すること、
を更に備える請求項１記載の方法。 - 前記検出されたエラーを制御することは、前記検出されたエラーをローカライズすることを備える、請求項３記載の方法。
- 前記同期層の前記プロトコルに基づいて、前記エラー分布から複数のエラーマーキングを決定することと、
前記同期層の前記プロトコルによって、前記マルチメディアデータの１つまたは複数のパケットに前記複数のエラーマーキングを挿入することと、
を更に備え、
前記マルチメディアデータにおける前記検出されたエラーを隠蔽することは、前記アプリケーション層のための前記プロトコルと、前記エラー隠蔽戦略と、そして、前記複数のエラーマーキングとに基づいて、前記マルチメディアデータにおける前記検出されたエラーを隠蔽することを備える、
請求項１記載の方法。 - 通信システムにおいてマルチメディアを伝達することにおけるエラー回復において使用されるマルチレイア統合のための装置であって、
通信層のためのプロトコルに基づいてマルチメディアデータにおけるエラーをエラー検出手段によって検出するための手段と、
同期層のためのプロトコルに基づいて、前記検出されたエラーと関連づけられたエラー分布をエラー分布決定手段によって決定するための手段と、
前記同期層のための前記プロトコルと前記エラー分布とに基づいて、エラー隠蔽戦略をエラー隠蔽戦略決定手段によって決定するための手段と、
アプリケーション層のためのプロトコルと、前記エラー隠蔽戦略とに基づいて、前記マルチメディアデータにおける前記検出されたエラーをエラー隠蔽手段によって隠蔽するための手段と、
を備える装置。 - 前記通信層は、物理層、ＭＡＣ層およびトランスポート層のうちの１つかまたは組合せを備える、請求項６記載の装置。
- トランスポート層プロトコルに基づいて前記検出されたエラーを制御するための手段、 を更に備える請求項６記載の装置。
- 前記検出されたエラーを制御するための手段は、
前記検出されたエラーをローカライズするための手段を備える、
請求項８記載の装置。 - 前記同期層の前記プロトコルに基づいて、前記エラー分布から複数のエラーマーキングを決定するための手段と、
前記同期層の前記プロトコルによって、前記マルチメディアデータの１つまたは複数のパケットに前記複数のエラーマーキングを挿入するための手段と、
を更に備え、
前記マルチメディアデータにおける前記検出されたエラーを隠蔽するための手段は、前記アプリケーション層のための前記プロトコルと、前記エラー隠蔽戦略と、そして、前記複数のエラーマーキングとに基づいて、前記マルチメディアデータにおける前記検出されたエラーを隠蔽するための手段、を備えている、
請求項６記載の装置。 - 通信システムにおいてマルチメディアを伝達することにおけるエラー回復において使用されるマルチレイア統合のための装置であって、
通信層のためのプロトコルに基づいてマルチメディアデータにおけるエラーをエラー検出手段によって検出する検出器と、
同期層のためのプロトコルに基づいて、前記検出されたエラーと関連づけられたエラー分布をエラー分布決定手段によって決定するエラー分布デタミナと、
前記同期層のための前記プロトコルと前記エラー分布とに基づいて、エラー隠蔽戦略をエラー隠蔽戦略決定手段によって決定するエラー隠蔽戦略デタミナと、
アプリケーション層のためのプロトコルと前記エラー隠蔽戦略とに基づいて、前記マルチメディアデータにおける前記検出されたエラーをエラー隠蔽手段によって隠蔽するコンシーラと、
を備える装置。 - 前記通信層は物理層、ＭＡＣ層およびトランスポート層のうちの１つかまたは組合せを備える、請求項１１記載の装置。
- トランスポート層プロトコルに基づいて前記検出されたエラーを制御するコントローラ、
を更に備える請求項１１記載の装置。 - 前記コントローラは前記検出されたエラーをローカライズする、請求項１３記載の装置。
- 前記エラー分布デタミナは、
前記同期層のための前記プロトコルに基づいて、前記エラー分布から複数のエラーマーキングを決定し、
前記同期層のための前記プロトコルによって、前記マルチメディアデータの１つまたは複数のパケットに前記複数のエラーマーキングを挿入する、
ようにさらに構成されており、
前記コンシーラは、前記アプリケーション層のための前記プロトコルと、前記エラー隠蔽戦略と、そして、前記複数のエラーマーキングとに基づいて、前記マルチメディアデータにおける前記検出されたエラーを隠蔽する、
請求項１１記載の装置。 - 通信システムにおいてマルチメディアを伝達することにおけるエラー回復において使用されるマルチレイア統合のためのプロセッサであって、
通信層のためのプロトコルに基づいてマルチメディアデータにおけるエラーをエラー検出手段によって検出し、
同期層のためのプロトコルに基づいて、前記検出されたエラーと関連づけられたエラー分布をエラー分布決定手段によって決定し、
前記同期層のための前記プロトコルと前記エラー分布とに基づいて、エラー隠蔽戦略をエラー隠蔽戦略決定手段によって決定し、
アプリケーション層のためのプロトコルと前記エラー隠蔽戦略とに基づいて前記マルチメディアデータにおける前記検出されたエラーをエラー隠蔽手段によって隠蔽する、
ように構成された、プロセッサ。 - 前記通信層は物理層、ＭＡＣ層およびトランスポート層のうちの１つかまたは組合せを備える、請求項１６記載のプロセッサ。
- トランスポート層プロトコルに基づいて前記検出されたエラーを制御する、
ように更に構成された、請求項１６記載のプロセッサ。 - 前記コントローラは前記検出されたエラーをローカライズする、請求項１８記載のプロセッサ。
- 前記プロセッサは、
前記同期層の前記プロトコルに基づいて、前記エラー分布から複数のエラーマーキングを決定し、
前記同期層の前記プロトコルによって、前記マルチメディアデータの１つまたは複数のパケットに前記複数のエラーマーキングを挿入し、
前記アプリケーション層のための前記プロトコルと、前記エラー隠蔽戦略と、そして、前記複数のエラーマーキングとに基づいて、前記マルチメディアデータにおける前記検出されたエラーを隠蔽する
ようにさらに構成されている、
請求項１６に記載のプロセッサ。 - 通信システムにおいてマルチメディアを伝達することにおけるエラー回復において使用されるマルチレイア統合のための方法を具体化するコンピュータ可読記憶媒体であって、１つまたは複数のプロセッサに、
通信層のためのプロトコルに基づいてマルチメディアデータにおけるエラーをエラー検出手段によって検出させ、
同期層のためのプロトコルに基づいて、前記検出されたエラーと関連づけられたエラー分布をエラー分布決定手段によって決定させ、
前記同期層のための前記プロトコルと前記エラー分布とに基づいて、エラー隠蔽戦略をエラー隠蔽戦略決定手段によって決定させ、
アプリケーション層のためのプロトコルと前記エラー隠蔽戦略とに基づいて前記マルチメディアデータにおける前記検出されたエラーをエラー隠蔽手段によって隠蔽させる、
インストラクション、
を備えるコンピュータ可読記憶媒体。 - 前記通信層は物理層、ＭＡＣ層およびトランスポート層のうちの１つかまたは組合せを備える、請求項２１記載のコンピュータ可読記憶媒体。
- 前記インストラクションは、さらに前記１つまたは複数のプロセッサに、
トランスポート層プロトコルに基づいて前記検出されたエラーを制御させる、
請求項２１記載のコンピュータ可読記憶媒体。 - 前記１つまたは複数のプロセッサに前記検出されたエラーを制御させる前記インストラクションは、
前記１つまたは複数のプロセッサに、前記検出されたエラーをローカライズさせるインストラクション、
を備える、
請求項２３記載のコンピュータ可読記憶媒体。 - 前記１つまたは複数のプロセッサに、
前記同期層のための前記プロトコルに基づいて、前記エラー分布から複数のエラーマーキングを決定させ、
前記同期層のための前記プロトコルによって、前記マルチメディアデータの１つまたは複数のパケットに前記複数のエラーマーキングを挿入させる、
インストラクション、
をさらに備え、
前記１つまたは複数のプロセッサに前記マルチメディアデータにおける前記検出されたエラーを隠蔽させる前記インストラクションは、前記１つまたは複数のプロセッサに、前記アプリケーション層のための前記プロトコルと、前記エラー隠蔽戦略と、そして、前記複数のエラーマーキングとに基づいて、前記マルチメディアデータにおける前記検出されたエラーを隠蔽させるインストラクション、を備える、
請求項２１記載のコンピュータ可読記憶媒体。
Applications Claiming Priority (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US66092305P | 2005-03-10 | 2005-03-10 | |
| US66068105P | 2005-03-10 | 2005-03-10 | |
| US66086705P | 2005-03-10 | 2005-03-10 | |
| US60/660,923 | 2005-03-10 | ||
| US60/660,867 | 2005-03-10 | ||
| US60/660,681 | 2005-03-10 | ||
| PCT/US2006/008763 WO2006099223A2 (en) | 2005-03-10 | 2006-03-10 | A decoder architecture for optimized error management in streaming multimedia |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010173711A Division JP2011019246A (ja) | 2005-03-10 | 2010-08-02 | ストリーミングマルチメディアにおける最適エラー管理のためのデコーダアーキテクチャ |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008537654A JP2008537654A (ja) | 2008-09-18 |
| JP4741649B2 true JP4741649B2 (ja) | 2011-08-03 |
Family
ID=36910929
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008500999A Expired - Fee Related JP4741649B2 (ja) | 2005-03-10 | 2006-03-10 | ストリーミングマルチメディアにおける最適エラー管理のためのデコーダアーキテクチャ |
| JP2010173711A Withdrawn JP2011019246A (ja) | 2005-03-10 | 2010-08-02 | ストリーミングマルチメディアにおける最適エラー管理のためのデコーダアーキテクチャ |
| JP2013133733A Expired - Fee Related JP5738929B2 (ja) | 2005-03-10 | 2013-06-26 | ストリーミングマルチメディアにおける最適エラー管理のためのデコーダアーキテクチャ |
Family Applications After (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010173711A Withdrawn JP2011019246A (ja) | 2005-03-10 | 2010-08-02 | ストリーミングマルチメディアにおける最適エラー管理のためのデコーダアーキテクチャ |
| JP2013133733A Expired - Fee Related JP5738929B2 (ja) | 2005-03-10 | 2013-06-26 | ストリーミングマルチメディアにおける最適エラー管理のためのデコーダアーキテクチャ |
Country Status (16)
| Country | Link |
|---|---|
| US (1) | US7886201B2 (ja) |
| EP (3) | EP2268042B1 (ja) |
| JP (3) | JP4741649B2 (ja) |
| KR (1) | KR100941336B1 (ja) |
| CN (1) | CN101790098B (ja) |
| AT (1) | ATE456256T1 (ja) |
| AU (1) | AU2006223287C1 (ja) |
| BR (1) | BRPI0607627A2 (ja) |
| CA (1) | CA2600776C (ja) |
| DE (1) | DE602006011865D1 (ja) |
| ES (1) | ES2336824T3 (ja) |
| IL (1) | IL185824A0 (ja) |
| MX (1) | MX2007011093A (ja) |
| NO (1) | NO20075128L (ja) |
| TW (1) | TWI424750B (ja) |
| WO (1) | WO2006099223A2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI831939B (zh) * | 2019-03-25 | 2024-02-11 | 新加坡商雷蛇（亞太）私人有限公司 | 在音訊錯誤消除中使用遞增搜尋序列之方法及設備 |
Families Citing this family (62)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004017553A1 (de) * | 2002-08-02 | 2004-02-26 | Siemens Aktiengesellschaft | Auswertung von empfangenen nutzinformationen durch fehlerverschleierungsdetektion |
| US7610190B2 (en) * | 2003-10-15 | 2009-10-27 | Fuji Xerox Co., Ltd. | Systems and methods for hybrid text summarization |
| US8780957B2 (en) | 2005-01-14 | 2014-07-15 | Qualcomm Incorporated | Optimal weights for MMSE space-time equalizer of multicode CDMA system |
| CN101103581B (zh) * | 2005-01-19 | 2012-05-30 | 英特尔公司 | 数据通信方法和装置 |
| RU2402885C2 (ru) | 2005-03-10 | 2010-10-27 | Квэлкомм Инкорпорейтед | Классификация контента для обработки мультимедийных данных |
| US7925955B2 (en) * | 2005-03-10 | 2011-04-12 | Qualcomm Incorporated | Transmit driver in communication system |
| US8693540B2 (en) * | 2005-03-10 | 2014-04-08 | Qualcomm Incorporated | Method and apparatus of temporal error concealment for P-frame |
| CN101485202B (zh) * | 2005-05-11 | 2013-10-30 | 高通股份有限公司 | 一种用于统一的错误隐匿框架的方法及设备 |
| US8948309B2 (en) * | 2005-07-26 | 2015-02-03 | Broadcom Corporation | Method and system for redundancy-based decoding of video content in a wireless system |
| US8879635B2 (en) | 2005-09-27 | 2014-11-04 | Qualcomm Incorporated | Methods and device for data alignment with time domain boundary |
| KR20070038396A (ko) * | 2005-10-05 | 2007-04-10 | 엘지전자 주식회사 | 영상 신호의 인코딩 및 디코딩 방법 |
| US8948260B2 (en) | 2005-10-17 | 2015-02-03 | Qualcomm Incorporated | Adaptive GOP structure in video streaming |
| US8654848B2 (en) | 2005-10-17 | 2014-02-18 | Qualcomm Incorporated | Method and apparatus for shot detection in video streaming |
| CN105049894B (zh) * | 2005-12-08 | 2018-03-16 | 维德约股份有限公司 | 用于视频通信系统中的差错弹性和随机接入的系统和方法 |
| EP1827023A1 (en) * | 2006-02-27 | 2007-08-29 | THOMSON Licensing | Method and apparatus for packet loss detection and virtual packet generation at SVC decoders |
| US20070209057A1 (en) * | 2006-03-01 | 2007-09-06 | Broadband Wizard Inc. | Wireless delivery of broadband cable signals |
| US8189686B2 (en) * | 2006-03-03 | 2012-05-29 | David John Boyes | Systems and methods for visualizing errors in video signals |
| US8693538B2 (en) | 2006-03-03 | 2014-04-08 | Vidyo, Inc. | System and method for providing error resilience, random access and rate control in scalable video communications |
| FR2898459B1 (fr) * | 2006-03-08 | 2008-09-05 | Canon Kk | Procede et dispositif de reception d'images ayant subi des pertes en cours de transmission |
| US9131164B2 (en) | 2006-04-04 | 2015-09-08 | Qualcomm Incorporated | Preprocessor method and apparatus |
| WO2008086423A2 (en) * | 2007-01-09 | 2008-07-17 | Vidyo, Inc. | Improved systems and methods for error resilience in video communication systems |
| JP2008187694A (ja) * | 2007-01-31 | 2008-08-14 | Matsushita Electric Ind Co Ltd | 画像符号化装置およびその方法 |
| US8239731B1 (en) * | 2007-07-06 | 2012-08-07 | Marvell International Ltd. | Methods and apparatus for providing multilevel coset coding and probabilistic error correction |
| US8290059B2 (en) * | 2007-08-15 | 2012-10-16 | Maxlinear, Inc. | Method and apparatus for preserving deinterleaving erasure information of block interleaved coded signal |
| US8332736B2 (en) * | 2007-11-29 | 2012-12-11 | Texas Instruments Incorporated | Decoder with resiliency to handle errors in a received data stream |
| EP2071852A1 (en) | 2007-12-11 | 2009-06-17 | Alcatel Lucent | Process for delivering a video stream over a wireless bidirectional channel between a video encoder and a video decoder |
| ATE526787T1 (de) * | 2007-12-11 | 2011-10-15 | Alcatel Lucent | Verfahren zum zustellen eines videostroms über einen drahtlosen kanal |
| US9078024B2 (en) * | 2007-12-18 | 2015-07-07 | Broadcom Corporation | Video processing system with user customized graphics for use with layered video coding and methods for use therewith |
| US8130823B2 (en) | 2007-12-19 | 2012-03-06 | Broadcom Corporation | Channel adaptive video transmission system for use with layered video coding and methods for use therewith |
| US9143731B2 (en) * | 2008-01-02 | 2015-09-22 | Broadcom Corporation | Mobile video device for use with layered video coding and methods for use therewith |
| US8594191B2 (en) | 2008-01-03 | 2013-11-26 | Broadcom Corporation | Video processing system and transcoder for use with layered video coding and methods for use therewith |
| US8144781B2 (en) | 2008-01-04 | 2012-03-27 | Broadcom Corporation | Video processing system for scrambling layered video streams and methods for use therewith |
| US8179983B2 (en) * | 2008-05-20 | 2012-05-15 | Broadcom Corporation | Video processing system with layered video coding for fast channel change and methods for use therewith |
| US8898448B2 (en) * | 2008-06-19 | 2014-11-25 | Qualcomm Incorporated | Hardware acceleration for WWAN technologies |
| EP2150022A1 (en) * | 2008-07-28 | 2010-02-03 | THOMSON Licensing | Data stream comprising RTP packets, and method and device for encoding/decoding such data stream |
| KR101003922B1 (ko) * | 2008-08-04 | 2010-12-30 | 인하대학교 산학협력단 | 멀티미디어 서비스를 제공하기 위한 스케쥴링 방법 |
| KR101479011B1 (ko) * | 2008-12-17 | 2015-01-13 | 삼성전자주식회사 | 다중 대역 스케쥴링 방법 및 이를 이용한 방송 서비스 시스템 |
| US8351600B2 (en) * | 2009-10-30 | 2013-01-08 | Cleversafe, Inc. | Distributed storage network and method for encrypting and decrypting data using hash functions |
| DE102010002777B4 (de) | 2010-03-11 | 2016-01-21 | Universität Kassel | Halbzeug für einen Solarkollektor, Solarkollektor und Verfahren zur Herstellung |
| US8934530B2 (en) | 2011-02-01 | 2015-01-13 | Vidyo, Inc. | Spatial scalability using redundant pictures and slice groups |
| US8953478B2 (en) * | 2012-01-27 | 2015-02-10 | Intel Corporation | Evolved node B and method for coherent coordinated multipoint transmission with per CSI-RS feedback |
| US9232218B2 (en) * | 2012-03-01 | 2016-01-05 | Connesta | System and method for data insertion in video stream |
| US9203757B2 (en) * | 2012-03-22 | 2015-12-01 | Texas Instruments Incorporated | Network throughput using multiple reed-solomon blocks |
| US9241166B2 (en) * | 2012-06-11 | 2016-01-19 | Qualcomm Incorporated | Technique for adapting device tasks based on the available device resources |
| US9363017B2 (en) * | 2012-07-06 | 2016-06-07 | Qualcomm Incorporated | Methods and systems of specifying coaxial resource allocation across a MAC/PHY interface |
| RU2623896C2 (ru) | 2012-09-28 | 2017-06-29 | Телефонактиеболагет Л М Эрикссон (Пабл) | Декодирование и кодирование изображений видеопоследовательности |
| US9386326B2 (en) * | 2012-10-05 | 2016-07-05 | Nvidia Corporation | Video decoding error concealment techniques |
| US10015486B2 (en) * | 2012-10-26 | 2018-07-03 | Intel Corporation | Enhanced video decoding with application layer forward error correction |
| TWI486913B (zh) * | 2013-06-14 | 2015-06-01 | Vivotek Inc | 具網路與錄影功能之安全監控裝置及儲存裝置的偵錯及修復方法 |
| US9756356B2 (en) * | 2013-06-24 | 2017-09-05 | Dialogic Corporation | Application-assisted spatio-temporal error concealment for RTP video |
| US9648351B2 (en) * | 2013-10-24 | 2017-05-09 | Dolby Laboratories Licensing Corporation | Error control in multi-stream EDR video codec |
| WO2015093637A1 (ko) * | 2013-12-16 | 2015-06-25 | 삼성전자 주식회사 | 컨텐츠 공유를 위한 서버 장치, 클라이언트 장치 및 그 컨텐츠 공유 방법 |
| JP2015149564A (ja) * | 2014-02-05 | 2015-08-20 | トヨタ自動車株式会社 | 車載通信システム |
| US20170163980A1 (en) * | 2014-06-30 | 2017-06-08 | Sony Corporation | Information processing device and method |
| US10313749B2 (en) * | 2015-01-15 | 2019-06-04 | Electronics And Telecommunications Research Institute | Apparatus for broadcasting scalable video contents and method using the same |
| US9652350B2 (en) | 2015-01-22 | 2017-05-16 | International Business Machines Corporation | Evaluation of complex SAN environments |
| EP3076594B1 (en) * | 2015-03-31 | 2020-09-23 | Alcatel Lucent | Network analyser and method for remote diagnosis of network problems |
| KR102126511B1 (ko) * | 2015-09-02 | 2020-07-08 | 삼성전자주식회사 | 보충 정보를 이용한 영상 프레임의 보간 방법 및 장치 |
| US10841621B2 (en) * | 2017-03-01 | 2020-11-17 | Wyse Technology L.L.C. | Fault recovery of video bitstream in remote sessions |
| US11917206B2 (en) | 2021-12-17 | 2024-02-27 | Lenovo (Singapore) Pte. Ltd. | Video codec aware radio access network configuration and unequal error protection coding |
| US11824653B2 (en) * | 2021-12-17 | 2023-11-21 | Lenovo (Singapore) Pte. Ltd. | Radio access network configuration for video approximate semantic communications |
| US11756502B2 (en) * | 2022-02-11 | 2023-09-12 | Dell Products, L.P. | System and method for providing fast response time performance with low latency in liquid crystal displays |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09247681A (ja) * | 1996-03-07 | 1997-09-19 | Mitsubishi Electric Corp | 動画像復号方法および動画像復号装置 |
| JP2000307672A (ja) * | 1999-04-26 | 2000-11-02 | Oki Electric Ind Co Ltd | 符号化情報受信復号装置 |
| WO2003069834A1 (en) * | 2002-02-13 | 2003-08-21 | Telefonaktiebolaget L M Ericsson (Publ) | Semi-reliable arq method and device thereof |
Family Cites Families (49)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4301466A (en) * | 1980-02-01 | 1981-11-17 | Ampex Corporation | Fast acting phase shifting apparatus for use in digital sampling systems |
| JPS622747A (ja) | 1985-06-28 | 1987-01-08 | Toshiba Corp | 受信制御方式 |
| US5504732A (en) * | 1990-08-15 | 1996-04-02 | Del Mar Avionics | Null inflection detection and pulse expand latch in an optical recording system |
| US5241546A (en) * | 1991-02-01 | 1993-08-31 | Quantum Corporation | On-the-fly error correction with embedded digital controller |
| JP3213389B2 (ja) | 1992-07-24 | 2001-10-02 | ローム株式会社 | 時分割多重通信装置 |
| US5878217A (en) * | 1994-11-21 | 1999-03-02 | Cirrus Logic, Inc. | Network controller for switching into DMA mode based on anticipated memory overflow and out of DMA mode when the host processor is available |
| GB9509831D0 (en) * | 1995-05-15 | 1995-07-05 | Gerzon Michael A | Lossless coding method for waveform data |
| US5633870A (en) | 1995-07-07 | 1997-05-27 | Sun Microsystems, Inc. | Method and apparatus for controlling data flow through an ATM interface |
| US6026506A (en) * | 1997-09-26 | 2000-02-15 | International Business Machines Corporation | Concealing errors in transport stream data |
| US6335985B1 (en) * | 1998-01-07 | 2002-01-01 | Kabushiki Kaisha Toshiba | Object extraction apparatus |
| DE69939881D1 (de) | 1998-03-31 | 2008-12-18 | Samsung Electronics Co Ltd | Turboenkoder/Dekoder und Rahmenverarbeitungsverfahren |
| KR100377939B1 (ko) * | 1998-09-01 | 2003-06-12 | 삼성전자주식회사 | 이동통신시스템에서서브프레임전송을위한프레임구성장치및방법 |
| US6490705B1 (en) * | 1998-10-22 | 2002-12-03 | Lucent Technologies Inc. | Method and apparatus for receiving MPEG video over the internet |
| US6192080B1 (en) * | 1998-12-04 | 2001-02-20 | Mitsubishi Electric Research Laboratories, Inc. | Motion compensated digital video signal processing |
| US6553540B1 (en) * | 1998-12-07 | 2003-04-22 | Telefonaktiebolaget Lm Ericsson | Efficient system and method for forward error correction |
| US20020063807A1 (en) * | 1999-04-19 | 2002-05-30 | Neal Margulis | Method for Performing Image Transforms in a Digital Display System |
| JP4269409B2 (ja) * | 1999-05-19 | 2009-05-27 | ソニー株式会社 | 受信装置および方法 |
| US6662329B1 (en) * | 2000-03-23 | 2003-12-09 | International Business Machines Corporation | Processing errors in MPEG data as it is sent to a fixed storage device |
| KR100833222B1 (ko) | 2000-03-29 | 2008-05-28 | 삼성전자주식회사 | 멀티미디어 송수신 장치 및 방법 |
| FI120125B (fi) * | 2000-08-21 | 2009-06-30 | Nokia Corp | Kuvankoodaus |
| US6804494B2 (en) * | 2001-06-11 | 2004-10-12 | Qualcomm Inc. | System and method for the detection and compensation of radio signal time of arrival errors |
| EP1659802B1 (en) | 2001-10-05 | 2008-07-23 | Mitsubishi Electric Information Technology Centre Europe B.V. | Method and apparatus for compensating for motion vector errors in image data |
| KR100418199B1 (ko) * | 2001-12-31 | 2004-02-14 | 트라이콤텍 주식회사 | 단거리 전용 고속 무선 통신 기반의 차량 탑재 장치 |
| JP2004007379A (ja) * | 2002-04-10 | 2004-01-08 | Toshiba Corp | 動画像符号化方法及び動画像復号化方法 |
| GB2386275B (en) * | 2002-03-05 | 2004-03-17 | Motorola Inc | Scalable video transmissions |
| ATE487327T1 (de) * | 2002-03-08 | 2010-11-15 | France Telecom | Verfahren zum übertragen von abhängigen datenströmen |
| JP4185314B2 (ja) * | 2002-06-07 | 2008-11-26 | 富士通株式会社 | 情報記録再生装置、光ディスク装置及び、データ再生方法 |
| US20060093031A1 (en) * | 2002-07-31 | 2006-05-04 | Koninkijke Phillips Electronics N.V. | Method and apparatus for performing multiple description motion compensation using hybrid predictive codes |
| JP3513148B1 (ja) * | 2002-10-11 | 2004-03-31 | 株式会社エヌ・ティ・ティ・ドコモ | 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム |
| JP4195484B2 (ja) | 2003-01-07 | 2008-12-10 | サムスン エレクトロニクス カンパニー リミテッド | 複合再伝送方式の移動通信システムにおける出力バッファ制御装置及び方法 |
| KR100952761B1 (ko) * | 2003-02-25 | 2010-04-14 | 엘지전자 주식회사 | 시간적 확장성 영상 코딩 장치 및 방법 |
| JP4186705B2 (ja) * | 2003-05-21 | 2008-11-26 | 日本電気株式会社 | デジタル放送の補完視聴サービスサーバ、携帯受信機、及びデジタル放送補完視聴サービス方式 |
| US7450610B2 (en) * | 2003-06-03 | 2008-11-11 | Samsung Electronics Co., Ltd. | Apparatus and method for allocating channel time to applications in wireless PAN |
| KR100621093B1 (ko) | 2003-06-03 | 2006-09-07 | 삼성전자주식회사 | 무선 ｐａｎ상의 어플리케이션에 채널 시간을 할당하는장치 및 방법 |
| US8599764B2 (en) * | 2003-09-02 | 2013-12-03 | Qualcomm Incorporated | Transmission of overhead information for reception of multiple data streams |
| US7221680B2 (en) | 2003-09-02 | 2007-05-22 | Qualcomm Incorporated | Multiplexing and transmission of multiple data streams in a wireless multi-carrier communication system |
| US8526412B2 (en) * | 2003-10-24 | 2013-09-03 | Qualcomm Incorporated | Frequency division multiplexing of multiple data streams in a wireless multi-carrier communication system |
| US8582640B2 (en) * | 2003-12-16 | 2013-11-12 | Sony Corporation | Adaptive joint source channel coding |
| US7882421B2 (en) * | 2004-05-06 | 2011-02-01 | Seyfullah Halit Oguz | Method and apparatus for joint source-channel map decoding |
| US7197692B2 (en) * | 2004-06-18 | 2007-03-27 | Qualcomm Incorporated | Robust erasure detection and erasure-rate-based closed loop power control |
| KR20050120491A (ko) * | 2004-06-19 | 2005-12-22 | 삼성전자주식회사 | 멀티미디어 방송 시스템에서의 전송 에러 처리방법 및장치 |
| EP1779673A1 (en) * | 2004-07-15 | 2007-05-02 | Qualcomm Incorporated | H.264 spatial error concealment based on the intra-prediction direction |
| US7995656B2 (en) * | 2005-03-10 | 2011-08-09 | Qualcomm Incorporated | Scalable video coding with two layer encoding and single layer decoding |
| US7929776B2 (en) * | 2005-03-10 | 2011-04-19 | Qualcomm, Incorporated | Method and apparatus for error recovery using intra-slice resynchronization points |
| US7925955B2 (en) * | 2005-03-10 | 2011-04-12 | Qualcomm Incorporated | Transmit driver in communication system |
| US7653860B2 (en) * | 2005-03-10 | 2010-01-26 | Qualcomm Incorporated | Transmit driver data communication |
| US8693540B2 (en) * | 2005-03-10 | 2014-04-08 | Qualcomm Incorporated | Method and apparatus of temporal error concealment for P-frame |
| RU2402885C2 (ru) * | 2005-03-10 | 2010-10-27 | Квэлкомм Инкорпорейтед | Классификация контента для обработки мультимедийных данных |
| US8165167B2 (en) * | 2005-03-10 | 2012-04-24 | Qualcomm Incorporated | Time tracking for a communication system |
-
2006
- 2006-03-10 KR KR1020077023199A patent/KR100941336B1/ko not_active IP Right Cessation
- 2006-03-10 ES ES06737894T patent/ES2336824T3/es active Active
- 2006-03-10 CN CN201010146123.8A patent/CN101790098B/zh not_active Expired - Fee Related
- 2006-03-10 AT AT06737894T patent/ATE456256T1/de not_active IP Right Cessation
- 2006-03-10 EP EP10009639.5A patent/EP2268042B1/en not_active Not-in-force
- 2006-03-10 WO PCT/US2006/008763 patent/WO2006099223A2/en active Application Filing
- 2006-03-10 BR BRPI0607627-0A patent/BRPI0607627A2/pt not_active Application Discontinuation
- 2006-03-10 EP EP06737894A patent/EP1869896B1/en not_active Not-in-force
- 2006-03-10 US US11/373,548 patent/US7886201B2/en active Active
- 2006-03-10 MX MX2007011093A patent/MX2007011093A/es active IP Right Grant
- 2006-03-10 TW TW095108340A patent/TWI424750B/zh not_active IP Right Cessation
- 2006-03-10 AU AU2006223287A patent/AU2006223287C1/en not_active Ceased
- 2006-03-10 JP JP2008500999A patent/JP4741649B2/ja not_active Expired - Fee Related
- 2006-03-10 EP EP08018818A patent/EP2019554A3/en not_active Withdrawn
- 2006-03-10 CA CA2600776A patent/CA2600776C/en not_active Expired - Fee Related
- 2006-03-10 DE DE602006011865T patent/DE602006011865D1/de active Active
-
2007
- 2007-09-09 IL IL185824A patent/IL185824A0/en unknown
- 2007-10-09 NO NO20075128A patent/NO20075128L/no not_active Application Discontinuation
-
2010
- 2010-08-02 JP JP2010173711A patent/JP2011019246A/ja not_active Withdrawn
-
2013
- 2013-06-26 JP JP2013133733A patent/JP5738929B2/ja not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09247681A (ja) * | 1996-03-07 | 1997-09-19 | Mitsubishi Electric Corp | 動画像復号方法および動画像復号装置 |
| JP2000307672A (ja) * | 1999-04-26 | 2000-11-02 | Oki Electric Ind Co Ltd | 符号化情報受信復号装置 |
| WO2003069834A1 (en) * | 2002-02-13 | 2003-08-21 | Telefonaktiebolaget L M Ericsson (Publ) | Semi-reliable arq method and device thereof |
| JP2005518142A (ja) * | 2002-02-13 | 2005-06-16 | テレフオンアクチーボラゲット エル エム エリクソン（パブル） | Ａｒｑによる再送を実行する方法および装置 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI831939B (zh) * | 2019-03-25 | 2024-02-11 | 新加坡商雷蛇（亞太）私人有限公司 | 在音訊錯誤消除中使用遞增搜尋序列之方法及設備 |
Also Published As
| Publication number | Publication date |
|---|---|
| CA2600776A1 (en) | 2006-09-21 |
| TWI424750B (zh) | 2014-01-21 |
| EP1869896B1 (en) | 2010-01-20 |
| EP1869896A2 (en) | 2007-12-26 |
| US20060282737A1 (en) | 2006-12-14 |
| JP2011019246A (ja) | 2011-01-27 |
| JP2013243699A (ja) | 2013-12-05 |
| AU2006223287A1 (en) | 2006-09-21 |
| EP2019554A2 (en) | 2009-01-28 |
| IL185824A0 (en) | 2008-01-06 |
| WO2006099223A3 (en) | 2007-05-31 |
| ATE456256T1 (de) | 2010-02-15 |
| EP2019554A3 (en) | 2009-03-11 |
| AU2006223287C1 (en) | 2010-10-21 |
| AU2006223287B2 (en) | 2010-05-20 |
| CN101790098A (zh) | 2010-07-28 |
| WO2006099223A2 (en) | 2006-09-21 |
| EP2268042B1 (en) | 2014-07-02 |
| NO20075128L (no) | 2007-10-09 |
| MX2007011093A (es) | 2007-12-04 |
| DE602006011865D1 (de) | 2010-03-11 |
| ES2336824T3 (es) | 2010-04-16 |
| TW200704206A (en) | 2007-01-16 |
| KR20070119675A (ko) | 2007-12-20 |
| JP2008537654A (ja) | 2008-09-18 |
| JP5738929B2 (ja) | 2015-06-24 |
| KR100941336B1 (ko) | 2010-02-11 |
| BRPI0607627A2 (pt) | 2009-09-22 |
| US7886201B2 (en) | 2011-02-08 |
| EP2268042A3 (en) | 2011-08-10 |
| CN101790098B (zh) | 2016-01-20 |
| CA2600776C (en) | 2012-07-17 |
| EP2268042A2 (en) | 2010-12-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4741649B2 (ja) | ストリーミングマルチメディアにおける最適エラー管理のためのデコーダアーキテクチャ | |
| US8976858B2 (en) | Error resilience using out of band directory information | |
| KR100998454B1 (ko) | 인 밴드 에러 패턴을 사용한 에러 복원 | |
| US6490705B1 (en) | Method and apparatus for receiving MPEG video over the internet | |
| KR20080086764A (ko) | 패킷 기반의 영상 프레임 전송 방법 및 장치 | |
| RU2374787C2 (ru) | Структура декодера для оптимизированного управления обработкой ошибок в потоковой передаче мультимедийных данных | |
| CN101176353B (zh) | 用于流式多媒体中优化错误管理的解码器架构 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081118 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20081118 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100302 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20100602 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20100609 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100802 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101012 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20110112 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20110119 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110210 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110405 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110506 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4741649 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140513 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |