JP4279622B2 - データフロー再生方法及び装置と、それに関連するシステム及び信号 - Google Patents

データフロー再生方法及び装置と、それに関連するシステム及び信号 Download PDF

Info

Publication number
JP4279622B2
JP4279622B2 JP2003271798A JP2003271798A JP4279622B2 JP 4279622 B2 JP4279622 B2 JP 4279622B2 JP 2003271798 A JP2003271798 A JP 2003271798A JP 2003271798 A JP2003271798 A JP 2003271798A JP 4279622 B2 JP4279622 B2 JP 4279622B2
Authority
JP
Japan
Prior art keywords
composition
decoding
component
encoded
components
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2003271798A
Other languages
English (en)
Other versions
JP2004040807A (ja
Inventor
セドリック・ジェグー
ミカエル・ピコー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
France Telecom SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom SA filed Critical France Telecom SA
Publication of JP2004040807A publication Critical patent/JP2004040807A/ja
Application granted granted Critical
Publication of JP4279622B2 publication Critical patent/JP4279622B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)

Description

本発明は、例えば２次元的または３次元的な動画のグラフィックシーン、オーディオまたはビデオ信号等を表すマルチメディア・データフローを、クライアント端末上で再生する技術に関する。より具体的には、本発明は、クライアント端末上での再生を目的としてこうしたデータフローを復号するための方法に関する。
一般的にこうしたマルチメディア・フローは、単一のタイムスタンプが付された一連の符号化された独立したユニット（autonomous units）の形に構成され、そのタイムスタンプの目的は受信端末に受信信号の解釈（interpretation）と再生（reproduction）を実行すべき時間を知らせることにある。独立したユニットの解釈という用語は一般的には、最初に前記独立したユニットに含まれる情報から、次に再生装置が保持する情報から、再生されるべき構造を計算することを指す。再生という用語は従来的にユーザへの表示、視覚的、音響的もしくは感覚的な提示を指す。更に、端末によるマルチメディア信号の再生には、サーバまたは送信端末から符号化された形で受信した独立したユニットの復号が必要とされる。
ＭＥＰＧ−４（”Moving Picture Coding Experts Group”）規格（ISO-IEC/14496-1）のシステム部分において、符号化されたフレームのタイムスタンピングに基づく復号モデルが定義される。この規格に基づいて使用される復号及び再生の一連の流れを図１に示す。この図には、マルチメディア・フローを復号して、次にそうして復号された信号を組み立てるために使用される視聴用または再生用ツールのソフトウェア・モジュールの働きが手短に示されている。
異なったマルチメディア・フローは、受信されるとすぐにデコード・バッファメモリ（decoding buffer memory）１に保存され、前記マルチメディア・フローを構成している異なる符号化された構成要素（以下、ＥＥ（encoded entities）と呼ぶ）が復号された構成要素（以下、ＥＤ（dedode entities）と呼ぶ）を配信する復号器（decoder）２に供給される。前記復号された構成要素は、合成メモリ（composition memory）３に保存され、次にクラアント端末においてアセンブラ（assembler）４と呼ばれる合成（composition）または組立（assemly）を担当するモジュールによって再生される。
このように、マルチメディア・フローが受信される際にクライアント端末によって使用される処理手続き（プロセシング）は、基本的に、符号化された構成要素ＥＥを復号することから成る第１の段階（phase）と、第１の段階で復号された構成要素ＥＤを合成することから成る第２の段階といった、２つの段階を含む。
独立したフロー構成要素のそれぞれに付随するタイムスタンプは、ＭＰＥＧ−４規格においてはコンポジション・タイムスタンプ（Composition Time Stamp）、ＭＰＥＧ−２規格においてはプレゼンテーション・タイムスタンプ、ここでは、以下一般にコンポジション・タイムスタンプあるいはＥＴＣ（または英語でＣＴＳ（Composition Time Stamp））と呼ばれるが、こうしたタイムスタンプはフローのデータが（ビジュアル、オーディオ・フォーマット等で）ユーザ用端末によって再生される時間を指定する。
多数派の周知技術においては、フレームの復号及び組立（assembly）はＥＴＣによって指示される時間において実施され、そのため、ＥＥ復号時間は見かけ上ゼロであると考えられる。しかしながら、特に複雑なフローに対しては、復号時間は常に無視できるわけではなく、復号された構成要素ＥＤはアセンブラ４がそれをそのＥＴＣによって指定される時間に再生するのに常に十分早期に利用できるわけではない。従って、再生処理は遅延する。
実際、問題にしているマルチメディア・フローが複雑なあるいはとりわけ大きなフローであるときは、そのフローの復号は実施するのが複雑でとりわけ長時間要することが明らかになる場合がある。
このような場合、異なるフレームの再生の脱同期化（desynchronisation）が観測され、例えばビデオフローの場合にはグラフィックシーンが乱雑に表示される結果となる。例えば、動画のグラフィックシーンを表す信号と音声信号の同時再生を確保するために異なる復号シーケンスが並行して使用されるときは、グラフィックシーンの復号が遅延することにより音声と映像の脱同期化が引き起こされる場合がある。
もちろんこれは受け入れられないことであり、とりわけユーザには喜ばしからざる事態かもしれない。
一部の特定の技術によれば、デコード・タイムスタンプあるいはＥＴＤ（または英語でＤＴＳ（decoding Time Stamp））と呼ばれる特定のタイムスタンプが時にはフロー構成要素と結び付けられ、そうすることにより復号器２が符号化されたフレームＥＥを圧縮解除する時間が指定され、あるいは、ＥＥの復号順序がＥＴＣが増大する順序とされる合成もしくは組立の順序とは異なることが示される。
しかしながら、その場合も、この技術は複雑なフローの処理手続きに対してはそれほど適しているとは言えない。というのは、解釈段階が長くてコストがかかり、そのためフレーム再生時間がＥＴＣに関して遅れてしまい、異なるフレームの再生の脱同期化が引き起こされるからである。
再生の流動性を増やし、かつ視聴用あるいはより一般的には再生用のツールリソースを最適使用するために、一部の周知技術に基づいて、とりわけＭＰＥＧ−４／ＢＩＦＳといったシーン記述フローあるいはＭＰＥＧ−４Ｖｉｓｕａｌ（ＩＳＯ−ＩＥＣ／１４４９６−２）もしくはＨ２６Ｌ（ＩＳＯ−ＩＥＣ／１４４９６−１０）といった新規のビデオ・フローの再生に関して、復号段階を信号再生段階から時間的に相互の関連性を無くすことが考えられてきた。この場合においては、端末上で利用可能な計算及びメモリのリソースを最大限使用するために、復号は信号再生とは非同期方式で働く。次にコンポジション端末（composition terminal）は信号再生とは同期方式で働かなければならない。というのはその実行速度が信号再生の流動性に依存するからである。
しかしながら、最も発展した復号及び再生の技術ができるだけ流動的な再生を実現するためにこのアプローチを最大限に使用しようとしても、それらの技術は標準的なフロー処理手続きに制約されたままで、より複雑なフローの出現で比較的効果のないことが判る。
本特許出願の発明者は、これらの異なる周知技術を分析して、以下のような問題を確認した。オーディオまたはビデオ復号器の設計をできるだけ単純化するには、一般的にこれらの異なる技術では、復号及び合成もしくは組立の手続きが比較的独立していること、そして復号された構成要素ＥＤは其れ自体で合成には十分であること、が考えられる。その際、アセンブラ４は再生用ツール（または「プレイヤー」）がインストールされたオペレーティングシステムに密接に依存し、符号化の特異性には依存しない。
しかしながら、本特許出願の発明者によれば、ＢＩＦＳシーン記述フロー（このフォーマットは特に「ＭＰＥＧ−４システム検証モデル（the MPEG-4 Systems Verification Model）」（ISO/IEC JTCI/SC29/WG 11-N1693,MPEG97,１９９７年４月）に提示されている）、ＭＰＥＧ−７メタデータあるいはＨ２６Ｌ（ＩＳＯ−ＩＥＣ／１４４９６−１０）といった新規タイプのビデオ・フローといった、複雑なフローが処理されるときはこのアプローチはもはや十分ではない。
そこで本発明の課題は、上述した従来技術の様々な欠点を、本発明者によって確認された上記問題を特に考慮に入れて改善することにある。
より具体的には、本発明の課題は、１つまたは複数のマルチメディア・フローを再生するための技術であって、問題にしているフローの複雑さにかかわりなく流動性を確保できる技術を提供することにある。
本発明のもう１つの課題は、そうした再生技術を受信信号の最適化された復号に基づいて実現することにある。
本発明の更なる課題は、再生端末のメモリと計算のリソースを最適使用することが出来るようにするそうした再生技術を提供することにある。
本発明の更にもう１つの課題は、従来技術に基づく復号技術と両立可能なそうした再生技術を実現することにある。
本発明のなお更なる課題は、リソース、とりわけメモリ・リソースの点で、従来技術の再生技術と比較して大きな追加コストを生じさせることのないそうした再生技術を提案することにある。
本発明は、上記課題を解決するため、少なくとも１つのクライアント端末において、それぞれが少なくとも１つのコンポジション・タイムスタンプと結び付けられた複数の符号化された構成要素を含む少なくとも１つのデータフローを再生するための方法であって、
前記データフローを復号して、複数の復号された構成要素を含む少なくとも１つの復号されたデータフローを取得するステップと、
前記コンポジション・タイムスタンプによって指定される時間において、前記復号された構成要素を合成するステップと、を具備する方法を提供する。
また本発明によれば、前記符号化された構成要素の少なくとも１つに対して、前記符号化された構成要素に関連するコンポジション・コンテクストが少なくとも１つの所定の基準を満足する場合には、前記復号ステップが前記コンポジション・タイムスタンプに先行して実行される、ことを特徴とする。
このように本発明は、とりわけＭＰＥＧ−４／ＢＩＦＳといったシーン記述フローあるいはＭＰＥＧ−４Ｖｉｓｕａｌ（ISO-IEC/14496-2）もしくはＨ２６Ｌ（ISO-IEC/14496-10）といった新規のビデオ・フローといった複雑なフローを処理するのに特に適した、マルチメディア・フローの再生に対する全く新規的で創意に富むアプローチを提供する。
実際、本発明は、受信信号の復号を、コンポジション・コンテクストを考慮したコンポジション・タイムスタンプに先行して実施することを提案する。こうしたことは従来技術では考えられてこなかった。
それ故、この場合において復号という用語は実際の復号段階だけでなく、復号された構成要素に関連した再生されるべき構造の少なくとも部分的な計算を可能にするどんな前期解釈段階（pre-interpretation phase）をも指している。
このようにして、前もって復号された全ての構成要素に対して、流動性ある再生がコンポジション・タイムスタンプによって指定される時間において保証され、再生される様々なフレームの脱同期化のリスクが結果的に大きく減少する。更に、本発明によれば、再生装置の復号リソースを最適化することが可能となる。実際、「マルチスレッド型（multi-threaded）」プラットフォーム（すなわち、数個のソフトウェアタスクが並行して走るのを可能にするプラットフォーム）の計算リソースを最適使用することが可能となり、このことはグラフィック信号を処理する際に満足される必要のある流動性条件にとって不可欠である。従って本発明によれば、再生装置は復号された構成要素の解釈及び再生とに並行して既に受信した符号化された構成要素の復号を先行させるので、復号を最適化することが可能となる。
本発明が提案する復号の先行実施は、問題にしている符号化された構成要素のコンポジション・コンテクストに依存するので、現在までのところ例えばＢＩＦＳシーン記述信号、ＭＰＥＧ−７メタデータまたはＨ２６Ｌ（ISO-IEC/14496-10）といった新規タイプのビデオ・フローの再生技術において不可欠と考えられるマルチメディア・フローの復号段階及び合成段階の独立性という前提条件に関係する本願の本発明者が確認した問題は解決される。
有利には、こうした再生方法は、最新の（現）コンポジション・コンテクストと前記符号化された構成要素に関連する前記コンポジション・コンテクストとを比較することから成るステップを実行し、前記比較段階の結果が肯定的であるときには前記復号ステップが前もって実行される。
このようにして、最新のコンポジション・コンテクストが、問題にしている符号化された構成要素に関連するコンポジション・コンテクストと同一のときには、復号ステップが先行させられる。実際、肯定的な比較結果は、先行させた符号化された構成要素の復号の結果が合成段階においてその段階が実施される前に最新のコンポジション・コンテクストに可能な修正が加えられた上で使用されてよいことを明確に示す。
有利には、前もって復号された前記構成要素は前記合成段階まで前記クライアント端末によってメモリに保存される。
好ましくは、前記比較の結果が否定的な場合には、前記符号化された構成要素は前記クライアント端末のメモリに保存され、そして前記復号ステップは該符号化された構成要素に関連するコンポジション・タイムスタンプによって指定される時間に実行される。
このようにして、最新のコンポジション・コンテクストが符号化された構成要素に関連するコンポジション・コンテクストとは異なる場合には、その復号は先行実施されず、従来的に前記構成要素の合成段階において実行される。
好ましくは、前もって復号された前記構成要素の少なくとも一部に対して、前記合成ステップに先立って前記比較ステップが繰り返され、この繰り返された第二の比較の結果が肯定的であるときには前記合成ステップが実行される。
このようにして、符号化された構成要素の先行復号（anticipated decoding）以来、最新のコンポジション・コンテクストは変わっていないこと、前記先行復号の結果は合成ステップにおいて使用されてよいことが確かめられる。合成ステップは、前もって復号された構成要素に対しては、最新のコンポジション・コンテクストが、問題にしている構成要素に関連するコンポジション・コンテクストとなお同一の場合に実施されるだけある。
好ましくは、前記第二の比較の結果が否定的であるときには、エラー処理ステップが実行される。
実際、否定的な比較結果は、最新のコンポジション・コンテクストが符号化された構成要素の先行復号以来変化してしまっていること、そして、前もって復号された構成要素の合成はその最新のコンポジション・コンテクストから見て不可能であることを明確に示す。この場合に実施されるエラー管理は従来型のものであって、従ってそのことについてはこの文書ではより詳しく説明されない。
有利には、復号順序データ項目も前記符号化された構成要素の少なくとも一部と結び付けられる。
実際、符号化された構成要素の復号順序はそれらの組立順序とは異なる可能性があり、こうしたことは特に、大きなあるいは複雑な符号化された構成要素がより長い復号時間を必要とする場合にあてはまる。この場合、それらはそれらより複雑でない構成要素に先立って復号され、そうすることによって、コンポジション・タイムスタンプによって指定される時間において復号された形で利用することができることが保証される。
本発明においては、前記復号順序データ項目はデコード・タイムスタンプであることが好ましい。
好ましくは、前記データフローは、
ビデオフローと、
少なくとも二次元的なグラフィックシーンの記述フローと、
オーディオフローと、
少なくとも二次元的なオブジェクトの記述フローと、
少なくとも１つのオブジェクトの動画フローと、
メタデータ（metadata）記述フローと、を含むグループに属する。
好ましくは、前記符号化された構成要素のフォーマットは、
ＭＰＥＧメディア・フォーマットと、
ＭＰＥＧ−７データ記述フォーマットと、
ＢＩＦＳシーン記述フォーマットと、
Ｈ２６Ｌフォーマットと、を含むグループに属する。
また本発明は、それぞれが少なくとも１つのコンポジション・タイムスタンプと結び付けられた複数の符号化された構成要素を含む少なくとも１つのデータフローを再生するための装置であって、
前記データフローを復号して、複数の復号された構成要素を含む少なくとも１つの復号されたデータフローを取得することを可能にする手段と、
前記コンポジション・タイムスタンプによって指定される時間において、前記復号された構成要素を合成する手段と、を具備した装置も提供する。
本発明によれば、前記符号化された構成要素の少なくとも１つに対して、前記符号化された構成要素に関連するコンポジション・コンテクストが少なくとも１つの所定の基準を満足する場合には、前記復号手段は前記コンポジション・タイムスタンプに先行して開始される、ことを特徴とする。
有利には、このような装置は、
前記符号化された構成要素が復号の増加順（increasing order）に保存されるデコード・バッファメモリと、
前記復号された構成要素がメモリ保存されるコンポジション・バッファメモリと、を更に具備する。
本発明の第１の有利な選択的な態様においては、前記復号された構成要素は前記コンポジション・バッファメモリにコンポジション・タイムスタンプの増加順にメモリに保存される。
それ故、合成段階において、復号された構成要素はそれらがコンポジション・バッファメモリに保存された順に処理され、これらの復号手段は復号された構成要素をコンポジション・バッファメモリにおいて順序付けるために、それらのコンポジション・タイムスタンプに従ってそれらを整理（sort）する。
本発明の第２の有利な選択的な態様においては、前記復号された構成要素は前記コンポジション・バッファメモリに復号の増加順にメモリ保存される。
こうして、前記復号手段は、構成要素をそれらが復号された順にコンポジション・バッファメモリに配列させ、そして前記合成手段は、復号された構成要素をそれらのコンポジション・タイムスタンプの増加順に処理するために、それらをコンポジション・バッファメモリ内において整理（sort）する。
また本発明は、データサーバから少なくとも１つのクライアント端末へ少なくとも１つのデータフローを伝送するためのシステムであって、
前記データサーバは、それぞれが少なくとも１つのコンポジション・タイムスタンプと結び付けられた複数の符号化された構成要素の形で前記データフローを符号化するための手段を具備し、
前記クライアント端末は、
前記データフローを復号して、複数の復号された構成要素を含む少なくとも１つの復号されたデータフローを取得することを可能にする手段と、
前記コンポジション・タイムスタンプによって指定される時間において、前記復号された構成要素を合成する手段と、を具備するシステムも提供する。
本発明によれば、前記符号化された構成要素の少なくとも１つに対して、前記符号化された構成要素に関連するコンポジション・コンテクストが少なくとも１つの所定の基準を満足する場合には、前記復号手段は前記コンポジション・タイムスタンプに先行して開始される、ことを特徴とする。
本発明は、少なくとも１つの前記再生装置によって再生されることが意図されたデータフローを表し、前記復号手段の出力側にて利用可能でかつ前記再生装置の前記合成手段に供給される信号も提供する。
本発明によれば、こうした信号は、前記データフローの複数の構成要素を具備しており、
前記複数の構成要素はそれぞれ、
コンポジション・タイムスタンプと、
当該構成要素が先行して復号されたかどうかを特定するisdecodマーカと、を具備し、
前記isdecodマーカが第１の値を採るときには当該構成要素は符号化された形にあり、前記isdecodマーカが第２の値を採るときには当該構成要素は復号された形にあるようになっており、
それぞれ更に、
当該構成要素の再生構造に関係する、presStructと呼ばれるデータ項目と、
当該構成要素の復号に関係する、decodInfoと呼ばれるデータ項目と、を具備する、ことを特徴とする。
以下、本発明の実施の好ましい態様を図面を参照して詳細に説明する。本発明の一般原理はマルチメディア・フローに含まれる一部の符号化された構成要素の復号をそれらに関連するコンポジション・コンテクストに応じて先行させることに基づくものである。
図２に本発明の様々な処理段階の態様を示す。
すでに言及したように、符号化された構成要素（encoded entity）ＥＥ１０は、視聴端末またはより一般的には表現端末（rendition terminal）によって受信される。その端末は、前記復号化された構成要素ＥＥ１０がビデオフローから得られた場合に、スクリーン上へのその表示１２を可能にするために、その復号化された構成要素ＥＥ１０を次の復号段階（decoding phase）５、解釈段階（interpretation phase）６、再生段階（reproduction phase）７に送らなければならない。
第１の処理８は復号段階（decoding phase）５と前期解釈段階（pre-interpretation phase）６から構成され、この第１の処理はＥＥ１０からそれに対応する復号された構成要素１１を作り出すことを可能にする。またここで復号された構成要素は再生段階１２まで視聴端末に記憶される。この第１の処理８の目的は、コンポジション・タイムスタンプ（composition time stamp）ＥＴＣまたはＣＴＳと結び付けられた構成要素を生成することにあり、これは構文解析するのが容易でアセンブラ４が時間ｔ＝ＥＴＣにおいて信号を再生するのに必要な全ての情報を含む。この場合、この構成要素は復号された構成要素ＥＤ（decoded entity）１１と呼ばれる。
第２の処理９は、復号された構成要素ＥＤ１１の後期解釈段階（post-interpretation phase）と再生段階（reproduction phase）７それ自体から構成される。この第２の処理９の目的は、フレームＥＴＣによって必要とされる時間的な再生制約条件を順守するために、可能な限り速く、復号された構成要素１１を再生することにある。
本発明によれば、第１の処理８は、復号をフレームＥＴＣに先行させることを可能とし、それによりユーザのために信号の迅速的かつ流動的な再生を保証するために、第２の処理９とは脱同期化されると有利である。
本発明の選択的な態様が特に２つ考えられるので、それらについて以下引き続き調べることにする。
第１の選択的な態様によれば、符号化された構成要素１０の復号順序は、コンポジション・タイムスタンプＥＴＣによって指定される復号された構成要素１１の合成順序と同一である。
第２の選択的な態様によれば、符号化された構成要素ＥＥの復号順序は、例えば一部のより複雑な構成要素が長い復号時間を必要とし、従ってそれらが優先的に復号されなければならない場合には、コンポジション・タイムスタンプＥＴＣによって指定される順序とは異なる。この第２の選択的な態様によれば、復号順序を特定するデータ項目は例えばデコード・タイムスタンプＥＴＤ（decoding time stamp）の形で、符号化された構成要素ＥＥ１０と結び付けられなければならない。
まず最初に、復号順序と合成順序が同一の第１の選択的な態様を図３乃至図５に示す。
この場合、図３に示された本発明による装置は、図２の処理２と処理３の各々によってそれぞれ使用される２つの信号復号器３０と３１を具備する。
既に明確に述べたように、第１の処理８は第２の処理９とは非同期方式で独立に働く。第２の処理は前記装置によって受信された信号の再生７を実行し、従って信号時間とは同期方式で働く。
両方の処理８と９は、全ての復号された構成要素ＥＤ１１を含む同じバッファメモリ３２を使用する。以下、そのバッファメモリ３２をコンポジション・バッファメモリ（composition buffer memory）と呼ぶことにする。復号された構成要素は、それらのコンポジション・タイムスタンプＥＴＣの増加順に、このコンポジション・バッファメモリに保存される。このコンポジション・タイムスタンプＥＴＣの増加順は復号器３０による復号順序にも対応する。
符号化された構成要素ＥＥ１０は符号化された信号を送信する発信源（例えばオーディオフローまたはビデオフローのサーバ）から受信され、それらのＥＴＣの増加順に、デコード・バッファメモリ（decoding buffer memory）と呼ばれるバッファメモリ３３に保存される。
図３のデコード・バッファメモリ３３に概略的に示されているように、それぞれの符号化された構成要素ＥＥ１０はコンポジション・タイムスタンプＥＴＣと結び付けられる。そして、適用可能な場合には、本文書において以下調べられる第２の選択的な態様においてデコード・タイムスタンプＥＴＤと結び付けられる。
コンポジション・バッファメモリ３２に保存されたそれぞれの復号された構成要素ＥＤ１１は以下のデータ項目（data items）と結び付けられる。それらは、
・復号された構成要素ＥＤ１１がユーザのために再生１２されるための時間を図３の装置に指定するコンポジション・タイムスタンプＥＴＣと、
・符号化された構成要素ＥＥ１０に含まれていないがその復号段階において必要であったもので、復号された構成要素ＥＤ１１の生成を可能にするdecodInfoと呼ばれるデータ項目と、
・符号化された構成要素ＥＥ１０の復号器３０による先行復号（anticipated decoding）が第１の処理８において実行されたかどうかを特定するisDecodと呼ばれるマーカ（marker）と、
・先行復号はisDecod=1によって特定され、それが第１の処理８において可能であった場合に、復号された構成要素ＥＤ１１を再生するために第２の処理９によって使用されるpresStructと呼ばれる構造（structure）である。前記presStruct構造は、復号器３０によって計算された依存関数（dependency function）に応じて、第一に、decodInfoと、第二に、符号化された構成要素ＥＥ１０に含まれるデータ項目と、に依存することは注意すべきである。
最後に、第１の処理による復号の先行実施が不可能であった場合、すなわち、isDecod=0の場合、コンポジション・バッファメモリ３２は符号化された形の構成要素ＥＥ１０を含む。
次に図４を参照しながら、既に受信した符号化された構成要素ＥＥ１０の復号を先行させることを目的とした第１の処理８の作業原理をより詳細に説明する。
前記第１の処理８によれば、符号化された構成要素ＥＥ１０のリストを含むデコード・バッファメモリ３３が走査される。第１の符号化された構成要素ＥＥ（ｉ）が読み出され（ステップ４０）、それに対応する復号データ（decoding data）decodInfoがコンポジション・コンテクスト（composition context）４４から取り出される。このコンポジション・コンテクスト４４は示されるべき信号の最新値に対応する。例えば、グラフィックシーンの視聴の場合では、このコンポジション・コンテクストは、現時点においてそのシーンに存在する様々なオブジェクトと、それらのオブジェクトの配置を表す階層木（hierarchical tree）とに対応する。
ステップ４５においては、符号化された構成要素ＥＥ（ｉ）の復号器３０による先行復号が可能かどうかを判定するために、その符号化された構成要素ＥＥ（ｉ）に関連するコンポジション・コンテクストが最新のコンポジション・コンテクストと比較される。
車を構成するシーン記述フローの再生を単純な例に採ると、その車内部のハンドルに対応するフレームＥＥ（ｉ）の復号は、本発明によれば、最新の復号時間において、その車に対応するコンポジション・コンテクストがスクリーンに映し出されている場合に、先行させることができるだけである。
そのコンポジション・コンテクストがＥＥ（ｉ）に関連するコンポジション・コンテクストとは異なる場合、復号器３０による先行復号は不可能、つまりisDecod=0であり、符号化された構成要素ＥＥ（ｉ）がコンポジション・バッファメモリ３２に保存される（ステップ４６）。
処理はリスト３３における次の符号化された構成要素ＥＥ（ｉ＋１）に進む（ステップ４７）。
リストの最後まで達すると、読み出し４０は順序に従ってＥＥのリスト３３の先頭に戻る（ステップ４９）。
このようにして、先行復号が可能な全てのＥＥに対して、前記第１の処理８においてisDecod及びpreStructのデータが生成され、コンポジション・バッファメモリ３２は得られた復号された構成要素ＥＤ１１で満たされる。この処理８は非同期方式で機能し、図３の再生装置においてはその処理は低い優先度が割り当てられ、そうすることによって第２の処理９による信号の流動性ある再生を確保するためにその装置が必要とする計算リソースが使用されないようにする。
実際、タイムスタンプＥＴＣの定義は、再生装置が、時間Ｔにおいて、コンポジション・タイムスタンプＥＴＣがそのＴ未満である全ての復号された構成要素ＥＤを第２の処理９によって再生することを保証することを必要とする。そのため第２の処理９は、コンポジション・バッファメモリ３２に含まれる復号された構成要素ＥＤを可能な限り迅速に再生することを可能とするのに十分な計算リソースを持たなければならない。
次に第２の再生処理９の作業方式を図５に示す。
コンポジション・バッファメモリ３２はそれに連続して含まれる異なる復号された構成要素ＥＤ（ｉ）を読み出す（ステップ５０）ために閲覧される。第１の処理５１において、isDecodマーカの値が解析され、第１の処理８の復号器３０によって先行復号が実行されたかどうかが判定される。
＊isDecod=1の場合、復号された構成要素ＥＤ（ｉ）に関してコンポジション・バッファメモリ３２に保存されたdecodInfoデータが最新のコンポジション・コンテクスト４４と比較される（ステップ５３）。
最新のコンポジション・コンテクストのデータが前記第２の処理９に従って取り出される仕方は装置の異なる可能な構成（configurations）に依存し、当業者には周知の従来的技術に対応するので、そのことについてここでは本発明の技術範囲内においてより詳細には説明されない。
decodInfoが最新のコンポジション・コンテクストとは異なる場合（ステップ５４）、最新のコンポジション・コンテクストに応じて、ＥＥ（ｉ）の復号（ステップ５６）を繰り返すことが必要である。
一方、decodInfoが最新のコンポジション・コンテクストと一致する場合（ステップ５５）には、preStruct構造は有効であって、復号された構成要素ＥＤ（ｉ）はコンポジション・タイムスタンプＥＴＣによって指定される時間に再生されてよい。構造preStruct(i)が解釈され（ステップ５７）、処理９がコンポジション・バッファメモリ３２の次のＥＤに進む（ステップ５９）前にＥＤ（ｉ）は再生される（ステップ５８）。
＊isDecod=0の場合、問題にしている構成要素の復号の先行実施は不可能だったので、それ故に、符号化された構成要素ＥＥ（ｉ）の復号（ステップ５２）を実行することが必要である。この復号が可能な場合、そのときは、問題にしている構成要素ＥＥに関連する最新のコンポジション・コンテクストとの整合性のために、対応するpresStruct構造の解釈（ステップ５７）とその構成要素の再生（ステップ５８）が実行される。この復号が不可能な場合、最新のコンポジション・コンテクストは問題にしている構成要素ＥＥに関連するコンポジション・コンテクストと異なるので、従来的な誤り処理手続き６０が実施される。既に述べた車を表すシーン記述フローの例では、例えばユーザの介入によってその車が視聴シーンから削除されたためにその車がもはやそのシーンコンテクストの一部でない場合には、ハンドルを表す構成要素の復号は不可能である。
次にこの第２の処理９によれば、コンポジション・バッファメモリ３２の復号された構成要素ＥＤ１１は、再生後にはこの構成要素はいまや時期を逸しているので、メモリから削除される。
次に本発明の第２の選択的な態様を、符号化された構成要素ＥＥ１０の復号順序がそれらに関連するコンポジション・タイムスタンプＥＴＣによって指定される合成順序とは異なる場合において、手短に説明する。
つまり、符号化された構成要素ＥＥがデコード・バッファメモリ３３に保存される順序は、復号された構成要素ＥＤの再生順序とは異なる。図４を参照して既に示された第１の処理８は、デコード・バッファメモリ３３における構成要素の保存順序で作用する。このように、この復号順序がフローのそれぞれの構成要素に付随するデコード・タイムスタンプ（decoding time stamp）ＥＴＤによって指定される場合には、図４において構成要素ＥＥ（ｉ）に割り当てられたインデックスｉは増大するＥＴＤに対応する。
一方、第２の処理９による構成要素の再生には以下の予備ステップの実施が必要とされる。まず、
・最低のコンポジション・タイムスタンプＥＴＣを含む構成要素がコンポジション・バッファメモリ３２において確認され、
・時間Ｔがその確認された最低コンポジション・タイムスタンプＥＴＣminより大きいとき、前記コンポジション・タイムスタンプＥＴＣminに関連する復号された構成要素のpresStruct構造の再生が実行され、それに対応する復号された構成要素ＥＤがコンポジション・バッファメモリ３２から削除される。
ここで以下のことに注意する。第１の選択的なサブ態様では、復号された構成要素ＥＤはコンポジション・バッファメモリに復号順に保存される。また最低コンポジション・タイムスタンプＥＴＣminの構成要素を選ぶことは第２の処理９の再生機能の役割である。
もう１つの選択的なサブ態様によれば、構成要素ＥＤはコンポジション・バッファメモリ３２にタイムスタンプＥＴＣが増大する順に保存される。この場合、第２の処理９の再生機能は図５で示されたものと同一のままである。一方、第２の処理９の復号機能はコンポジション・バッファメモリ３２をデコード・タイムスタンプＥＴＤが増大する順に閲覧しなければならない。
以下のステップが連続して実行される。まず、
・最低のデコード・タイムスタンプＥＴＤminを有するisDecod=0の値の構成要素がコンポジション・バッファメモリ３２において確認され、
・次にその確認されたタイムスタンプＥＴＤminに対応する符号化された構成要素ＥＥが復号され、
・その後、符号化された構成要素ＥＥは、復号タイムスタンプＥＴＤの順序で、全ての構成要素がisDecod=1の値を持つまで、連続して復号される。
結果、最大の可能な符号化された構成要素ＥＥは第１の処理８の復号器３０によって既に復号されてしまっているので、符号化された構成要素ＥＥが第２の処理によって復号されるのに費やされる時間は大きく減少し、このことにより、優れた信号再生の流動性を確保することが可能となる。
次に、本発明の技術範囲内で使用することができるデータ項目decodInfo及びpresStructの例を、ＭＰＥＧ−４／ＢＩＦＳフローの復号に対して、手短に説明する。
ＢＩＦＳ型フロー復号の場合、デコード・タイムスタンプＥＴＤは全ての符号化された構成要素ＥＥでコンポジション・タイムスタンプＥＴＣと同一である。このため、復号順序が再生順序である本発明の既に述べた第１の選択的な態様が適用可能である。
本発明に基づく実施態様は、この場合において、decodInfo及びpresStructの値を指定し、かつ、decodInfoがどのように得られるかを指定することによって、限定的なものとなる場合がある。
符号化された構成要素ＥＥ（Encoded Entity）の性質に依存して、以下のように、異なる値が得られる。
符号化された構成要素ＥＥがＢＩＦＳノード挿入コマンド（BIFS node insertion command）（ISO/IEC 14496-1:2000(E)の９．３．６．５節に定義されている）の場合、
・decodInfoは、ノード（node）とそのノードに対応する復号テーブル（decoding table）の識別値、すなわち[nodeID,GetNDTFromID(nodeID)]、
・presStructは、MPEG-4/System規格書の９．３．６．５．１節に記述された構造において定義されているコマンドを記述する容易に解釈可能なオブジェクトである。
ＥＥがインデックス値挿入コマンド（IndexedValueInsertion command）の場合、
・decodInfoは、ノード識別値、ノードフィールド識別値、ノードの値とそのノードに対応するフィールドの値、すなわち、
[nodeID,inID,node=GetNodeFromID(nodeID),field=node.field[node.in2all[inID]]]、
・presStructは、MPEG-4/System規格書の９．３．６．６．１節に記述された構造において定義されているコマンドを記述する容易に解釈可能なオブジェクトである。
ＥＥがインデックス値削除コマンド（IndexedValueDeletion command）の場合、
・decodInfoは、[nodeID,inID,node=GetNodeFromID(nodeID),field=node.field[node.in2all[inID]]]、
・presStructは、構造において定義されているもので符号化された構成要素ＥＥの復号の際に得られるdeletionPositionポジションにおける値の削除の単純な表示であるコマンドを記述する容易に解釈可能なオブジェクトである。
ＥＥがフィールド置換コマンド（FieldReplacement command）（規格書の９．３．６．１４節に記述されている）の場合、
・decodInfoは、[nodeID,inID,node=GetNodeFromID(nodeID),field=node.field[node.in2all[inID]]]、
・presStructは、MPEG-4/System規格書の９．３．６．１４．１節に記述された構造において定義されているコマンドを記述する容易に解釈可能なオブジェクトである。
ＥＥがインデックス値置換コマンド（IndexedValueReplacement command）の場合、
・decodInfoは、[nodeID,inID,node=GetNodeFromID(nodeID),field=node.field[node.in2all[inID]]]、
・presStructは、replacementPositionポジションと規格書の９．３．６．１４．１節に記述された構造において定義されているコマンドを記述する容易に解釈可能なオブジェクトである。
ＥＥがシーン置換コマンド（SceneReplace command）の場合、
・decodInfoは、空白[]、
・presStructは、規格書の９．３．７．１．１節に記述された構造において定義されているコマンドを記述する容易に解釈可能なオブジェクトである。
他の全ての場合には、符号化された構成要素ＥＥは前もって復号されない。
符号化された構成要素ＥＥのこれらの例ではかなりの復号及び解釈のリソースが必要とされるので、それらはとりわけ本発明の利点からの恩恵を受ける。
従って本発明によれば、受信されたフローの復号を最適化して、多数の利点を与えることが可能となる。
第一に、本発明によれば、従来技術のようにかなりのメモリを追加導入する必要無しに、復号処理を最適化することが可能となる。実際、本発明によれば、２つの復号処理のみを並行して走らせる必要がある。その一方の復号処理は信号を再生するために使用されるクロックと同期的であり、もう一方の復号処理（いわゆる先行復号）は非同期方式で働く。既に言及したメモリの増加分は従来技術とは対照的に本発明では両方の復号処理が同一のメモリを共有するので、単一の復号処理のサイズより小さくて済む。
更に、本発明の技術は、復号の先行実施によって復号エラーが引き起こされる場合には余分な追加的な復号を生じさせるだけである。同期的処理の復号器は初期の復号設定を非同期的な先行処理を実行する復号器の設定と単に比較する必要があるだけなので、この復号エラーは容易に制御することができる。
本発明の技術によれば、「マルチスレッド型（multi-threaded）」プラットフォーム（すなわち、数個のソフトウェアタスクが並行して走るのを可能にするプラットフォーム）の計算リソースの最適使用も可能になる。グラフィック信号を処理する際には流動性の制約条件が満たされる必要があるので、このことは不可欠である。
最後に、本発明による技術は従来の復号技術と完全に互換性がある。実際、復号を先行させる追加の復号器を使用して、当該技術分野では周知の従来的な信号復号処理の優れたシナリオ操作の柔軟性と互換性が確保される。
再生端末における本発明によるマルチメディア・フローの一連の処理手続きを示した概略図である。 本発明に基づいて実行される異なる処理段階を示した概略図である。 本発明に基づいて復号を先行実施する再生装置の概略図である。 図３の再生装置によって実行される復号処理を詳しく説明するための図である。 図３の再生装置によって本発明に基づいて実行される合成処理を説明するための図である。
符号の説明
１、３３ デコード・バッファメモリ
２ 復号器
３ コンポジションメモリ
４ アセンブラ
５ 復号段階
６ 解釈段階
７ 再生段階
８ 処理１
９ 処理２
１０ 符号化された構成要素
１１ 復号された構成要素
１２ ユーザ
３０、３１ 復号器
３２ コンポジション・バッファメモリ

Claims (13)

  1. 少なくとも１つのクライアント端末において、それぞれが少なくとも１つのコンポジション・タイムスタンプと結び付けられた複数の符号化された構成要素を含む少なくとも１つのＭＰＥＧ４シーン記述フローを再生するための方法であって、
    前記符号化された構成要素の少なくとも一部と結び付けられる復号順序データ項目に従って前記符号化された構成要素を復号して、複数の復号された構成要素を取得するステップと、
    前記コンポジション・タイムスタンプによって指定される時間において、前記復号された構成要素を合成するステップと、を具備するものにおいて、
    前記符号化された構成要素の少なくとも１つに対して、現コンポジション・コンテクストと前記符号化された構成要素に関連するコンポジション・コンテクストとを比較することから成る比較ステップを実行し、前記符号化された構成要素に関連する前記コンポジション・コンテクストが前記現コンポジション・コンテクストと同一の場合には、前記復号ステップが前記コンポジション・タイムスタンプに先行して実行される、ことを特徴とする再生方法。
  2. 前もって復号された前記構成要素は前記合成ステップまで前記クライアント端末によってメモリ保存される、ことを特徴とする請求項１に記載の再生方法。
  3. 前記比較ステップの結果が否定的な場合には、前記符号化された構成要素は前記クライアント端末のメモリに保存され、前記復号ステップは該符号化された構成要素に関連するコンポジション・タイムスタンプによって指定される時間に実行される、ことを特徴とする請求項１または２に記載の再生方法。
  4. 前もって復号された前記構成要素の少なくとも一部に対して、前記合成ステップに先立って前記比較ステップが繰り返され、この繰り返された第二の比較の結果が肯定的であるときには前記合成ステップが実行される、ことを特徴とする請求項１〜３のいずれかに記載の再生方法。
  5. 前記第二の比較の結果が否定的であるときには、エラー処理ステップが実行される、ことを特徴とする請求項４に記載の再生方法。
  6. 前記復号順序データ項目はデコード・タイムスタンプである、ことを特徴とする請求項１〜５のいずれかに記載の再生方法。
  7. 前記シーン記述フローは、
    ビデオフローと、
    少なくとも二次元的なグラフィックシーンの記述フローと、
    オーディオフローと、
    少なくとも二次元的なオブジェクトの記述フローと、
    少なくとも１つのオブジェクトの動画フローと、
    メタデータ記述フローと、を含むグループに属する、ことを特徴とする請求項１〜６のいずれかに記載の再生方法。
  8. それぞれが少なくとも１つのコンポジション・タイムスタンプと結び付けられた複数の符号化された構成要素を含む少なくとも１つのＭＰＥＧ４シーン記述フローを再生するための装置であって、
    前記符号化された構成要素の少なくとも一部と結び付けられる復号順序データ項目に従って前記符号化された構成要素を復号して、複数の復号された構成要素を取得することを可能にする手段と、
    前記コンポジション・タイムスタンプによって指定される時間において、前記復号された構成要素を合成する手段と、を具備するものにおいて、
    前記装置は、前記符号化された構成要素の少なくとも１つに対して、現コンポジション・コンテクストと前記符号化された構成要素に関連するコンポジション・コンテクストとを比較し、前記符号化された構成要素に関連する前記コンポジション・コンテクストが前記現コンポジション・コンテクストと同一の場合に、前記復号手段を前記コンポジション・タイムスタンプに先行して作動する手段も備える、ことを特徴とする再生装置。
  9. 前記符号化された構成要素が復号の増加順に保存されるデコード・バッファメモリと、
    前記復号された構成要素がメモリ保存されるコンポジション・バッファメモリと、を更に具備したことを特徴とする請求項８に記載の再生装置。
  10. 前記復号された構成要素は前記コンポジション・バッファメモリにコンポジション・タイムスタンプの増加順にメモリ保存される、ことを特徴とする請求項９に記載の再生装置。
  11. 前記復号された構成要素は、前記コンポジション・バッファメモリに復号の増加順にメモリ保存される、ことを特徴とする請求項９に記載の再生装置。
  12. データサーバから少なくとも１つのクライアント端末へ少なくとも１つのＭＰＥＧ４シーン記述フローを伝送するためのシステムであって、
    前記データサーバは、それぞれが少なくとも１つのコンポジション・タイムスタンプと結び付けられた複数の符号化された構成要素の形で前記ＭＰＥＧ４シーン記述フローを符号化するための手段を具備し、
    前記クライアント端末は、
    前記符号化された構成要素の少なくとも一部と結び付けられる復号順序データ項目に従って前記符号化された構成要素を復号して、複数の復号された構成要素を取得することを可能にする手段と、
    前記コンポジション・タイムスタンプによって指定される時間において、前記復号された構成要素を合成する手段と、を具備するものにおいて、
    前記クライアント端末は、前記符号化された構成要素の少なくとも１つに対して、現コンポジション・コンテクストと前記符号化された構成要素に関連するコンポジション・コンテクストとを比較し、前記符号化された構成要素に関連する前記コンポジション・コンテクストが前記現コンポジション・コンテクストと同一の場合に、前記復号手段を前記コンポジション・タイムスタンプに先行して作動する手段も備える、ことを特徴とするシステム。
  13. 請求項８及び１１のいずれかに記載された少なくとも１つの再生装置によって再生されることが意図されたＭＰＥＧ４シーン記述フローを表す構造を有するデータであって、前記復号手段の出力側にて利用可能でありかつ前記再生装置の前記合成手段に供給されるデータにおいて、
    前記ＭＰＥＧ４シーン記述フローの複数の構成要素を具備しており、
    前記複数の構成要素はそれぞれ、
    コンポジション・タイムスタンプと、
    前記符号化された構成要素に関連するコンポジション・コンテクストと現コンポジション・コンテクストとの比較後、当該構成要素が先行して復号されたかどうかを特定するisdecodマーカと、を具備し、
    前記isdecodマーカが第１の値を採るときには当該構成要素は符号化された形にあり、前記isdecodマーカが第２の値を採るときには当該構成要素は復号された形にあるようになっており、
    それぞれ更に、
    当該構成要素の再生構造に関係する、presStructと呼ばれるデータ項目と、
    当該構成要素の復号に関係する、decodInfoと呼ばれるデータ項目と、を具備する、ことを特徴とするデータ。
JP2003271798A 2002-07-08 2003-07-08 データフロー再生方法及び装置と、それに関連するシステム及び信号 Expired - Lifetime JP4279622B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR0208587A FR2842058B1 (fr) 2002-07-08 2002-07-08 Procede de restitution d'un flux de donnees multimedia sur un terminal client, dispositif, systeme et signal correspondants

Publications (2)

Publication Number Publication Date
JP2004040807A JP2004040807A (ja) 2004-02-05
JP4279622B2 true JP4279622B2 (ja) 2009-06-17

Family

ID=29725293

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003271798A Expired - Lifetime JP4279622B2 (ja) 2002-07-08 2003-07-08 データフロー再生方法及び装置と、それに関連するシステム及び信号

Country Status (7)

Country Link
US (1) US7634169B2 (ja)
EP (1) EP1383336B1 (ja)
JP (1) JP4279622B2 (ja)
KR (1) KR100943738B1 (ja)
CA (1) CA2434990C (ja)
FR (1) FR2842058B1 (ja)
HK (1) HK1062250A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007099245A2 (fr) * 2006-02-28 2007-09-07 France Telecom Procede de collecte de descriptions de flux portant sur des flux relatifs a au moins un reseau client rattache a un reseau d'interconnexion
KR100689864B1 (ko) * 2006-03-14 2007-03-08 주식회사 타 셋 폐활성 슬러지의 감량화 장치
TW201125376A (en) * 2010-01-05 2011-07-16 Lite On Technology Corp Communicating module, multimedia player and transceiving system comprising the multimedia player

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6262776B1 (en) 1996-12-13 2001-07-17 Microsoft Corporation System and method for maintaining synchronization between audio and video
KR100562116B1 (ko) * 1997-11-28 2006-05-25 마츠시타 덴끼 산교 가부시키가이샤 처리 효율을 높인 영상음성 처리장치
AU4960599A (en) 1998-06-26 2000-01-17 General Instrument Corporation Terminal for composing and presenting mpeg-4 video programs
US6539054B1 (en) * 1998-09-18 2003-03-25 Matsushita Electric Industrial Co., Ltd. Image output apparatus, image reproduction method, object composition apparatus, object composition method, and data storage medium
US20010027468A1 (en) * 2000-03-09 2001-10-04 Sanyo Electric Co., Ltd. Transmission system, reception system, and transmission and reception system capable of displaying a scene with high quality
GB0007868D0 (en) * 2000-03-31 2000-05-17 Koninkl Philips Electronics Nv Methods and apparatus for editing digital video recordings and recordings made by such methods

Also Published As

Publication number Publication date
EP1383336B1 (fr) 2016-05-04
HK1062250A1 (zh) 2004-10-21
JP2004040807A (ja) 2004-02-05
CA2434990A1 (en) 2004-01-08
KR20040005663A (ko) 2004-01-16
EP1383336A3 (fr) 2004-08-25
FR2842058A1 (fr) 2004-01-09
KR100943738B1 (ko) 2010-02-23
CA2434990C (en) 2010-03-16
US7634169B2 (en) 2009-12-15
EP1383336A2 (fr) 2004-01-21
US20050086684A1 (en) 2005-04-21
FR2842058B1 (fr) 2004-10-01

Similar Documents

Publication Publication Date Title
JP3662129B2 (ja) マルチメディア情報編集装置
TWI478154B (zh) 儲存搜尋資訊的再生方法
JP4518194B2 (ja) 生成装置、生成方法、及び、プログラム
KR101445074B1 (ko) 미디어 플레이어에서 미디어 객체 처리 방법 및 그 장치
JP2008167061A (ja) 符号化装置及び符号化方法
JP4577409B2 (ja) 再生装置、再生方法、プログラム、及び、データ構造
CN113490047A (zh) 一种Android音视频播放方法
KR101199166B1 (ko) 보간 프레임 생성 시스템
JP4279622B2 (ja) データフロー再生方法及び装置と、それに関連するシステム及び信号
CN113542907B (zh) 多媒体数据收发方法、系统、处理器和播放器
JP6269734B2 (ja) 動画データ編集装置、動画データ編集方法、再生装置、及びプログラム
CN105847994B (zh) 一种多媒体文件的播放方法和装置
JP4362480B2 (ja) レジューム再生システム
US6999090B2 (en) Data processing apparatus, data processing method, information storing medium, and computer program
JP2002171526A (ja) データ処理装置、データ処理システム、データ処理方法、及び記憶媒体
US8514949B1 (en) Synchronous, multi-stream decoder
JP2009218934A (ja) 映像再生装置及び映像再生方法
JP2002247506A (ja) デジタル音声映像情報の記録装置
JP3880597B2 (ja) マルチメディア情報編集装置
CN117241062A (zh) 一种视频合成方法、装置、存储介质和电子设备
JP2024040912A (ja) 情報処理装置、受信装置、情報処理方法、及びプログラム
JP2001291342A (ja) ディジタル情報記録再生装置
JP3880596B2 (ja) マルチメディア情報編集装置
JP2009111608A (ja) 再生装置および再生方法
JP2013150237A (ja) 情報処理装置、情報処理方法及び半導体装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040526

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070406

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20070704

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20070709

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071009

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20071113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080313

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080424

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20080529

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090213

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090312

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120319

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4279622

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120319

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130319

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140319

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term