JP4040577B2 - スキーマ、構文解析法、およびスキーマに基づいてビットストリームを発生させる方法 - Google Patents

スキーマ、構文解析法、およびスキーマに基づいてビットストリームを発生させる方法 Download PDF

Info

Publication number
JP4040577B2
JP4040577B2 JP2003548119A JP2003548119A JP4040577B2 JP 4040577 B2 JP4040577 B2 JP 4040577B2 JP 2003548119 A JP2003548119 A JP 2003548119A JP 2003548119 A JP2003548119 A JP 2003548119A JP 4040577 B2 JP4040577 B2 JP 4040577B2
Authority
JP
Japan
Prior art keywords
bitstream
schema
instance
description
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003548119A
Other languages
English (en)
Other versions
JP2005510920A (ja
JP2005510920A5 (ja
Inventor
オゾリオ,ロベルト
Original Assignee
コーニンクリク・フィリップス・エレクトロニクス・ナムローゼ・フエンノートシャップ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コーニンクリク・フィリップス・エレクトロニクス・ナムローゼ・フエンノートシャップ filed Critical コーニンクリク・フィリップス・エレクトロニクス・ナムローゼ・フエンノートシャップ
Publication of JP2005510920A publication Critical patent/JP2005510920A/ja
Publication of JP2005510920A5 publication Critical patent/JP2005510920A5/ja
Application granted granted Critical
Publication of JP4040577B2 publication Critical patent/JP4040577B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/12Use of codes for handling textual entities
    • G06F40/14Tree-structured documents
    • G06F40/143Markup, e.g. Standard Generalized Markup Language [SGML] or Document Type Definition [DTD]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/12Use of codes for handling textual entities
    • G06F40/149Adaptation of the text data for streaming purposes, e.g. Efficient XML Interchange [EXI] format
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/12Use of codes for handling textual entities
    • G06F40/151Transformation
    • G06F40/154Tree transformation for tree-structured or markup documents, e.g. XSLT, XSL-FO or stylesheets
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/205Parsing
    • G06F40/211Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162User input
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder

Description

発明の分野
この発明は、マルチメディア方法、装置およびビットストリームに関するものであり、特に、ハイレベルのコンテンツの記述の適用を、たとえばいわゆるビットストリーム構文記述言語、たとえばBSDLまたはその変形物もしくは派生物におけるような、XMLのような文書を用いることにより行なうものに関する。この発明は、特に、画像符号化技術に関し、そこにおいては、画像の、ブロックに基づく構成が考慮される。この画像符号化技術はパケット化されたビットストリームを発生する。この発明は、さらに、エンコードされたビットストリームの記述、そのような記述を変換して適合された記述を発生させるための方法、および適合されたエンコードされたビットストリームを元のエンコードされたビットストリームから発生させる方法に関する。この発明は、さらに、記述を変換するそのような方法を実現するために設計される電子装置に関する。この発明は、さらに、送信機および受信機を含む伝送システムに関し、その送信機は、適合されたエンコードされたビットストリームを元のエンコードされたビットストリームから発生させるそのような方法を実現するための手段、および前記適合されたエンコードされたビットストリームを前記受信機に送信するための手段を有する送信システムに関する。
この発明は興味ある適用を特に画像/映像伝送の分野において有する。
発明の背景
ビットストリーム構文記述言語(BSDLまたは同様のもの)は、[「ビットストリーム構文記述言語:MPEG−21コンテンツ表現への入力」、ISO/IEC JTC1/SC29/WG11 MPEG01/M7053、シンガポール、2001年3月]および[Sylvain Devillers、Myriam Caprioglio、「ビットストリーム構文記述言語(BSDL)」、ISO/IEC JTC1/SC29/WG11 MPEG01/M7433、シドニー、2001年7月]において、マルチメディアコンテンツを記述し適合させる効率的かつプラットフォームに依存しない方法として導入された。このXMLスキーマに基づく言語は、マルチメディアファイルのコンテンツの記述を、XSLTを用いて修正され2進形式に戻され得る包括的で構造化された態様において可能にする。マルチメディアファイルを変換する可能性はコンテンツのスケーラビリティの観点から非常に魅力的である。
今日、ビデオをストリーム化することは一般的な慣習であるのに、3Dコンテンツのストリーム化は依然として稀であるかまたは存在すらしないままである。3Dコンテンツをデコードしレンダリングする際、顧客のプラットフォーム上のワークロードは、数オーダの大きさにわたって、その視聴条件とともに激しく変動する。大抵は、テクスチャ化された3Dオブジェクトのうちほんの一部のみが任意の所与の時間において可視であるので、そのテクスチャの可視領域のみをストリーム化および/またはデコードすることは、瞬間の帯域幅および/またはプラットフォームワークロードを低減することになる。視聴条件が変化すると、新たに可視となる部分は、それらが徐々に可視になるにつれ、ストリーム化および/またはデコードされ得る。その結果、テクスチャ化された3Dコンテンツをデコードおよびレンダリングするための必要とされたネットワーク帯域幅および必要とされたワークロードは時間にわたって広がり、その一方、知覚された品質の損失を最小限にする。このプロセスはビュー依存型テクスチャデコードとして公知である[D. Cohen-Or, Y. Mann, S. Fleishman,“Deep Compression for Streaming Texture Intensive Animations,” (テクスチャ集中型アニメーションをストリーム化するためのディープ圧縮)Proc
eedings of the SIGGRAPH 1999 annual conference on Computer graphics(コンピュータグラフィックスに関するSIGGRAPH1990年度会議会報),pp. 261-267. 1999]。
MPEG−4マルチメディア圧縮規格[“The MPEG-4 Audio-Visual Compression Standard(MPEG−4 音声−映像圧縮規格), Text of ISO/IEC 14496-5/FPDAM1,”ISO/IEC JTC1/SC29/ WG11/MPEG99/N3309, Noordwijkerhout, 2000年3月]内では、3Dコンテンツを符号化するためのツールが利用可能である。特に、MPEG−4は、ビジュアルテクスチャ符号化(VTC)と称される、スケーラブルな、ウェーブレットに基づく、テクスチャ用圧縮ツールを提供する[I. Sodagar, H.J. Lee, P. Hatrack, Y.Q. Zhang,“Scalable Wavelet Coding for Synthetic/Natural Hybrid Images(合成/自然ハイブリッド画像のためのスケーラブルなウェーブレット符号化),”IEEE Transactions on Circuits
and Systems for Video Technology(映像技術のための回路およびシステムにおけるIEEE会報), Vol.9, No.2, pp.244-254, 1999年3月]。
VTCはパケット境界を定義するための高い柔軟性でのパケット化されたビットストリームの発生を可能にする。各パケットはテクスチャユニット(TU)と称されるいくつかの基本単位からなる。VTCにおけるある特定のケースはマルチプル量子化、ツリー−深さモード(MQ−TD)である。
MQ−TDモードにおいて与えられる最大粒度はウェーブレット変換レベルの数によって与えられる。変換に必要とされるピクセルの数はブロックのサイズが2n_levelsxnn_levelsである中、増大する。エラー障害許容力が何らかのオーバヘッドを招くなか、粒度を制限することは圧縮された画像のサイズを低減し得る。いくつかの、変換の、空間的ブロックは、各ブロックの後エラー障害許容力マーカーを導入する代わりに、単一のパケットにグループ化され得る。これは粗い粒度のみが必要とされるときに役立ち得る。
公知のマルチメディアフォーマットは情報を隠す傾向があり、その情報は、マルチメディアコンテンツ適合プロセスに対しては極めて重要であり得るが、ビットストリームに埋込まれる。
ビットストリームの記述を変換するためのある方法がKoninklijke Philips Electronics N.V.により提出された国際特許出願WO 02/063494に記載されている。この文献に記載される方法は以下を含む:
−マークアップ言語で書かれたビットストリームの元の記述、および予め規定された変換の組を用いること、
−前記予め規定された変換のうちの1つを前記元の記述に適用して、適合された記述を発生させること、
−適合されたビットストリームを前記適合された記述から発生させること。
この文献に記載される方法では、元の記述は変換を実行するために必要とされる符号化情報を回復することを可能にするのに十分なほど詳細でなければならない。そのような詳細な記述はかなり長いものであり得、したがって、適合するのに容易な記述が求められている。より単純およびより短い記述を有することも役立つであろう。
発明の概要
この発明の目的の1つは容易な適合を可能にする記述を変換する方法を提供することである。これはこの特許出願の請求項1〜3に記載される方法で達成される。この発明に従
うと、その記載においてデータパケットの群を記述する要素は変換タグを含む属性を有する。元の記述を変換するとき、変換タグは予め定められた条件に対してチェックされる。適合された記述の発生は、変換タグがその予め定められた条件を満たさない要素を取除くことにより行なわれる。この発明は、たとえば、通信チャネルを介して送信されるべきビットストリームに埋込まれる記述であって、マークアップ言語で書かれ、タグを含む少なくとも1つの属性を有する要素を含む記述を含む。この記述は、記憶装置、たとえばCD−ROM、DVD光ディスク、ディスケット、磁気テープ、計算用のメモリ、またはテレコミュニケーションシステムのネットワーク要素のメモリにおいて記憶されるデータ構造であってもよい。このタグは、チャネルを介して送信されるべきビットストリームの階層的構造の少なくとも一部またはこのビットストリームにおけるデータパケットの識別情報を記述する情報を表現してもよい。変換のために必要とされる情報は変換タグを介して利用可能とされる。そのような変換タグを用いることの、上記の先行技術に比しての別の有利な点は、変換処理速度を増大させることを可能にするということである。
この発明の第1の実施例では、エンコードされたビットストリームは、いくつかのデータ層がそれに従って定義されるスケーラブルなフォーマットを有し、前記変換タグは、データパケットの群が属するデータ層の表示である。このデータ層は階層的構造に属し得、たとえば、異なるデータ層は、画像の、異なる解像度または品質に関係するデータを含む。この第1の実施例は、コンテンツの、異なる品質を得て、たとえば、異なる端子、たとえば異なる解像度または帯域幅に対して適応することを可能にする。より高いデータ層に属する要素は、取除いて、より低い能力を有する端子(たとえば携帯電話の低解像度ディスプレイなど)に向けて意図されるより低い品質のビットストリームの記述を発生させ得る。
この発明の第2の実施例では、変換タグはパケット識別子であり、前記予め定められた条件は、達成されるべきある特定の変換に関連付けられるパケット識別子の組のメンバーシップの条件である。この第2の実施例が有利に用いられるのはいくつかの異なる変換が規定されるときである。各変換はデータパケット識別子の組をパラメータとして含み、それらパケット識別子は変換の後ビットストリームから保持されるべき(または除去されるべき)パケットに関係する。
有利なことに、変換はたとえばBSDLから公知のごとくのスタイルシートを用いることにより実行される。
この発明のさらなる利点は、マルチメディアコンテンツを適合させるのにより適したスキーマ、より特にはビットストリームまたはその関係しているスキーマインスタンスの連続的適合のそれを提供することである。スキーマインスタンスは、そのスキーマから発生された、エンコードされたビットストリームの記述である。そのビットストリームの適合/変換を得るため、適合された記述を発生させる。適合されたビットストリームの、適合された記述からの発生は、Koninklijke Philips Electronics N.V.により提出された国際特許出願WO 02/069187に記載されるスキーマが有するいくつかの局面を用いることにより有利になされる。この発明は、したがって、スキーマ、そのスキーマを用いてビットストリームの構文解析のための方法、および前記スキーマに基づくビットストリームを発生させる方法に関するものであり、前記スキーマは、この発明の新規および進歩性を有する特徴を除けば、WO 02/069187 A1に与えられる特徴を有するものである。このスキーマはビットストリーム表現においてデータの構造に対しあるフォーマットを記述する。このスキーマ方策は、マルチメディアコンテンツを適合させる効率的かつプラットフォームに依存しない態様に対して用いられる。
上記のスキーマ方策はビットストリームの構造をマークアップ言語、たとえばXMLのような(たとえばXMLに基づくまたはXMLに準拠する)言語で記述することに対してある枠組みを定義し、リソース適合に対する包括的な方策を与える。ユーザの嗜好が、その適合を実行する際に考慮され得る。マルチメディアビットストリームは、2進の記号の、構造化されたシーケンスを含むので、ある構造が符号化フォーマットに対して特化している状態では、このスキーマ方策はビットストリームのハイレベル構造を記述することを可能にする。
マルチメディア適合プロセスに対して非常に重要であり得る情報を隠すことを回避するため、記述は、この発明の別の局面に従うと、有用な情報を含む特定の要素を含む。これらの要素はコンテンツエンコードプロセス中において、または後で、エンコードされたビットストリームから発生される。
有利なことに、そのような記述が導き出され得るスキーマが与えられる。そのようなスキーマは要素を有し、それらに対して、スキーマは、名称、情報のタイプを記述し、前記情報はビットストリームに埋込まれる。したがって、それらをビットストリームから導き出すことに対し複雑な計算を必要とする情報が明示され、より特には、この情報は前記ビットストリームの一部をデコードする際に取得可能であるにすぎない。
これは画像符号化技術に対して説明され、まず、画像をブロックに分割する。この画像符号化技術はパケット化されたビットストリームを発生させ、したがって、そのビットストリーム内においては複数のパケットが区別され得る。画像のうちいくつのブロック(1つまたはそれより多い)をともに1つのパケットにおいてエンコードすべきかを選択し得る。これは、パケットがスタンドアロンであることを暗示し、どのようなデータ依存性もパケット間には存在しないことを意味する。変換が画像に適用される場合、オーバーラップが、たとえばウェーブレット変換のようなサブバンド符号化技術の場合には必要であり得、その結果いくつかのデータ依存性がもたらされる。
画像の構造を記述するためのスキーマは、上記の画像符号化技術に従うと、要素として、各画像に対し、メインヘッダおよび部分を有し、各部分はパケットに関係する。これらの部分は、ビットストリームの、関係する部分への参照を含み、この参照もペイロード示され、たとえば、URLの形式で特定化され得る。
この発明は、ある要素を、WO 02/069187から公知のものに加えて与え、前記要素はいわゆる拡張された情報を記述するために用いられる。
さらなる説明として、画像符号化技術に対するこの拡張された情報概念の使用が与えられ、そこにおいては、画像は差品質層においてエンコードされる。そのような画像符号化技術においては、層の品質は画像の画素において用いられる量子化および変換レベルに依存する。この画像符号化技術を用いるときの使用される量子化および変換レベルについての情報もビットストリームに、たとえばその品質層に関係する第1の層においてエンコードされる。そのような情報は、層の数、1つの層に対するパケットの数、および変換レベルであり得る。したがって、それはパケットの中に隠される。情報は利用可能ではあるが、それはビットストリームに埋込まれる。この品質層方策はその特定の層に関係するビットストリームの部分に含まれるべき情報をグループ化することに基づく。
メインヘッダを補完し得るさらなる要素を、量子化についての、たとえば層の数、1つの層に対するパケットの数、および変換レベルなどのいわゆる拡張された情報を記述するために用い得る。他の可能性としては、ビットストリームの部分の、品質の或るレベル、解像度のレベルおよびそれぞれの色成分などに対する寄与のマーキングがある。
上記のスキーマを、マルチメディアコンテンツを適合させることに対し用い得る。マルチメディアファイルを変換する可能性が必要とされるのは、コンテンツスケーラビリティを可能にすることが望まれる場合である。このスキーマ適合方策は以下のように機能する:ビットストリームを直接適合させる代わりに、ビットストリームの、スキーマのような記述の変更を、いわゆるスタイルシートを用いることにより行なう。したがって、変更された、スキーマのような記述からは、2進形式(適合された2進テクスチャ)ファイルが発生される。
ブロックに基づく画像符号化技術を考えるとき、パケット化されたビットストリームを発生させ、したがってそのビットストリーム内では複数のパケットが区別され得、連続する変換の後パケットのビットストリームにおける位置はもはや画像内および品質層空間におけるその関係する位置には対応しないという問題に直面する。やはり、これも、ビットストリームの部分をデコードすることにより解決され、この位置を見出し得るが、これには複雑な計算が必要である。
別の局面に従うと、画像の構造を記述するためのスキーマは、上記の画像符号化技術に従うと、要素として、各画像に対し、メインヘッダおよび部分を有し、各部分はパケットに関係し、そのスキーマにおいてはさらなる属性またはタグがパケットのために加えられる。さらなる属性は、画像におけるパケットの位置を容易に導き出し得るようなものである。これは、そのさらなる属性に前記位置を記憶するかまたはある識別番号をそのパケットに対し用いることにより実現される。そのさらなる属性の結果、一種の、パケットのタグ付けがもたらされる。
たとえば、この発明はマルチメディア方法および装置を提供し、ビットストリームのハイレベルコンテンツ記述の利用を、BSDLまたはその変形物もしくは派生物のようないわゆるビットストリーム構文記述言語におけるXMLのような文書を用いることにより行ない、その発明された方法および装置は、用いられた記述に対し、たとえば視覚的テクスチャ符号化の場合、より特には3Dオブジェクトおよびビュー依存符号化を考える際に必要とされ得る効率的なビットストリーム適合を可能にする追加の特別な要素および属性が与えられることにおいて特徴付けられる。
この発明の詳細な説明
この発明をある実施例および図面を参照して説明するが、この発明はそれに限定されるものではない。当業者であれば、この発明は特許請求の範囲に記載される広範囲な適用を有することを理解する。
この発明は、さらに、ビットストリームを構文解析するための方法およびビットストリームを発生させる方法に関し、前記方法は前記ビットストリームを表現する文書に対しあるフォーマットを用い、前記文書は前記ビットストリームのツリー状表現である。
このフォーマット(いわゆるスキーマにおいて記述される)は1つ以上のデータのタイプ、特に、無限な長さの2進セグメントに対応するデータのタイプを規定する。さらに、前記スキーマは、それが少なくともデータの名称およびタイプを記述する複数の要素を含む。
ビットストリームのマルチメディアフォーマットはどの情報がビットストリームのどこにあるかを規定する。スキーマまたはそれにより規定されるフォーマットを用いることにより、文書を構築し、ビットストリームの構造を記述し得る。データの他に、ビットスト
リームは、さらに、用いられる符号化プロセスに関する情報も含む。前記情報はしたがってビットストリーム内においてエンコードされる。
スキーマに基づいて形成される文書のように、より高いレベルの表現に基づくビットストリームの適合を実行するとき、前記埋込まれた情報は適合プロセスに対して隠されたままであり、ビットストリームのその部分のデコードが必要であるのは前記情報を利用することが望まれるまたは必要とされる場合であることを意味する。
この発明の利点は、マルチメディアコンテンツを適合するのにより適したスキーマを提供することである。これはあるスキーマによって実現され、データの構造を記述するためのフォーマットを可能にし、この埋込まれた情報の少なくとも一部は明示され得る。したがって、スキーマは特別な要素を有し、それらに対してそれは情報の名称、タイプを記述し、前記情報はビットストリーム内に埋込まれる。
特に、この発明は以下に関するものである:
適合されたビットストリームを元のビットストリームから発生させる方法であって、
前記方法は:
前記元のビットストリームを受取るステップ;
あるフォーマットに従ってある構文を有するデータを含む前記元のビットストリームを構文解析するステップを含み、前記解析ステップは前記元のビットストリームのツリー状表現を発生させ、前記方法はさらに、
前記フォーマットを総称的に記述するためのスキーマを読出すステップを含み、前記スキーマは、データの名称およびタイプをそれが記述する複数の要素、ならびに符号化方法に関係する、情報に関係する特別な要素を含み;さらに
前記元のビットストリームにおいて、前記スキーマに含まれる(前記特別な要素を含む)要素に対応するデータを検索するステップ;
前記元のビットストリームに見出されるデータを含みかつ前記ツリー状表現を構成する前記スキーマのインスタンスを発生させるステップを含み、前記インスタンスはさらに明示的な情報を含み、それは前記元のビットストリームに埋込まれ;さらに
前記スキーマの、適合されたインスタンスを発生させるステップを含み、前記適合プロセスは前記明示的な情報を利用し;さらに
最後に前記適合されたビットストリームを前記適合されたインスタンスから発生させるステップを含む方法。
これをこれから画像符号化技術(100)に対して説明する。まず画像(10)をブロック(15)に分割する。この画像符号化技術はパケット化されたビットストリーム(70)を発生させ、したがってそのビットストリーム内には複数のパケット(75)が区別され得る。画像のうちいくつのブロック(1つ以上)(たとえば選択(20))をともに1つのパケットにおいてエンコードするかを選択し得る。
さらに、この画像符号化またはエンコードは、元の画像においてではなく、その画像の、変換されたバージョンにおいて用いられる。用いられる変換の考えられ得るタイプはウェーブレット変換のようなサブバンド変換である。画像符号化技術内においては、したがって、変換ステップ(110)および変換された画像(80)の符号化ステップが見出され得る。この変換ステップを適用すると、サブバンド(40)において分解された画像(30)が結果としてもたらされる。
画像エンコード技術は典型的には画像の(変換された)部分(たとえばブロック)に対して働く。図4において、画像のブロック分割を示す。ブロックサイズは変換レベルの数から導き出される。この例の場合、パケットは2つのブロックからなる。パケットはスタ
ンドアロンであり、他のパケットとデータ依存性を伴わない。パケットのサイズは粒度を決定する。これが当てはまるのは水平方向に対してでのみであることに注目されたく、なぜならば、ブロックはコラム方向態様においてはパッキングされ得ないからである。さらに、画像(またはその変換された部分)は差品質層においてエンコードされ、変換された部分のうちどのサブバンドを用いるかを暗黙的に選択し、その選択されたサブバンド部の画素において用いられる量子化の度合(異なるビット面(60)を参照のこと)を暗黙的に選択することを意味する。これらの選択およびグループ化(たとえば選択(50)を参照されたい)はある品質を定義する。元の画像の表示が、その品質層に関係するビット層の部分のデコード後になされるであろう場合には、ある予め規定された品質が期待され得る。
層の品質は画像の画素において用いられる量子化および変換レベルに依存し、より特には、どのサブバンドが含まれるかに依存する。この画像符号化技術を用いるとき用いられる量子化およびサブバンドに関する情報もビットストリームに埋込まれ、たとえば、その品質層に関係する第1のパケットに埋込まれる。もちろん、本質的に同じ情報の、他のパラメータ表示も用いられ得る。
画像の構造を記述するためのスキーマは、上記の画像符号化技術に従うと、要素として、各画像に対し、メインヘッダおよび部分を有し、各部分はパケットに関係する。これらの部分はビットストリームの、関係する部分への参照を含み、この参照もペイロード示され、たとえば、URLの形式で特定化され得る。
この発明は、特別な要素を、上で論じたものに加えて可能にし、前記要素はいわゆる拡張された情報を記述するために用いられる。そのような情報は、層の数、1つの層に対するパケットの数、および用いられるサブバンドであり得る。したがって、それはパケット内に隠される。その情報は利用可能であるけれども、それはビットストリームに埋込まれる。
図2を参照して、ビットストリームにおいて直接動作させるのではなく、この発明は、前記元のビットストリームに見出されるデータを含みかつ前記ツリー状表現を構成する前記スキーマのインスタンス(500)を発生させ、前記インスタンスは、さらに、明示的な情報(700)を含み、それは前記元のビットストリームに埋込まれる。
この発明は上で論じた要素に加えてある要素を可能にし、それはメインヘッダを補完すべきものであり、前記要素は、層の数、1つの層に対するパケットの数および変換レベルのような量子化に関する、画像符号化により発生したいわゆる拡張された情報を記述するために用いられる。
拡張された情報が直接利用できることは、前記拡張された情報を利用することに対応し、適合されたインスタンスを構築するプロセス(400)である。この適合されたインスタンスから、画像符号化の逆プロセス(200)が、画像デコード(220)サブステップおよび逆変換(210)サブステップを伴って実行される。
この発明は適合されたビットストリームを元のビットストリームから発生させる方法を提供し、
前記元のビットストリームは符号化方法を画像の少なくともある部分に適用した結果のものであり
前記方法は:
前記元のビットストリームを受取るステップ;
あるフォーマットに従ってある構文を有するデータを含む前記元のビットストリームを
構文解析するステップを含み、前記解析ステップは前記元のビットストリームのツリー状表現を発生させ、前記方法はさらに、
前記フォーマットを総称的に記述するためのスキーマを読出すステップを含み、前記スキーマは、データの名称およびタイプをそれが記述する複数の要素、ならびに符号化方法に関係する、情報に関係する特別な要素を含み;さらに
前記元のビットストリームにおいて、前記スキーマに含まれる(前記特別な要素を含む)要素に対応するデータを検索するステップ;
前記元のビットストリームに見出されるデータを含みかつ前記ツリー状表現を構成する前記スキーマのインスタンスを発生させるステップを含み、前記インスタンスはさらに明示的な情報を含み、それは前記元のビットストリームに埋込まれ;さらに
前記スキーマの、適合されたインスタンスを発生させるステップを含み、前記適合プロセスは前記明示的な情報を利用し;さらに
最後に前記適合されたビットストリームを前記適合されたインスタンスから発生させるステップを含む方法。
そのある実施例においては、前記符号化方法は画像のある部分をサブバンド変換するステップを含む。
そのある実施例では、前記符号化方法は品質層を規定し、品質層ごとに、前記画像の前記部分のうちどのサブバンドが符号化に対して含まれるかを選択するステップを含み;前記明示的な情報は前記サブバンドおよびビット面のグループ化を示す。
そのある実施例では、前記符号化方法は、品質層を規定し、各品質層ごとに、どのような量子化の割合を、前記品質層に対し選択される画像の部分において用いるかを選択するステップを含み;前記明示的な情報は前記量子化の割合を示す。
スキーマはマルチメディアコンテンツを適合させるのに用いられ得る。マルチメディアファイルを変換する可能性が必要とされるのは、コンテンツスケーラビリティを可能にすることが望まれる場合である。このスキーマ適合方策は以下のように機能する:ビットストリームを直接適合させる代わりに、ビットストリームの、スキーマのような記述の変更を、いわゆるスタイルシートを用いることにより行なう。したがって、変更された、スキーマのような記述からは、2進形式(適合された2進テクスチャ)ファイルが発生される。
ブロックに基づく画像符号化技術を考えるとき、パケット化されたビットストリームを発生させ、したがってそのビットストリーム内では複数のパケットが区別され得、連続する変換の後パケットのビットストリームにおける位置はもはや画像内におけるその関係する位置には対応しないという問題に直面する。
元の画像の当該特定の領域を表示したい場合には、元のビットストリーム容易に関連するパケットを選択することができるかも知れないことに注目されたく、なぜならば、画像符号化技術は、予め規定された走査を、その画像を通して、前記元のビットストリームを発生させるために用いるからである。代替的に、ビットストリームにおいて利用可能な情報に基づく関連のパケットを判断することができるかもしれないが、これにはデコードおよび従って複雑な計算が必要である。
この発明のある利点は、特に、たとえばネットワークにおいてなど、ビットストリームの連続的適合の場合において、マルチメディアコンテンツを適合させるのにより適したスキーマを提供することである。
画像の構造を記述するためのスキーマは、上記の画像符号化技術に従うと、要素として、各画像に対し、メインヘッダおよび部分を有し、各部分はパケットに関係し、そのスキーマにおいてはさらなる属性(600)がパケットのために加えられる。このさらなる属性は、画像におけるその位置を容易に導き出し得るようなものである。これは、そのさらなる属性に前記位置を記憶するかまたはある識別番号をそのパケットに対し用いることにより実現される。そのさらなる属性の結果、一種の、パケットのタグ付けがもたらされる。
したがって、適合された画像の当該の特定の領域を(したがって適合(400)後ビットストリームから)表示したい場合、必要とされるパケット選択ステップ(300)において前記さらなる属性を利用し、なぜならば、画像に対する予め規定された走査はビットストリームにおける変更のゆえ再使用し得ないからである。そのさらなる属性を用いて、適合されたビットストリームにおけるパケットをトレースして、前記パケットを割当てその品質レベルを判断し得る。当該領域表示プロセス再びスキーマに基づく方策が用いられることに注目されたい。
前記データの、ツリー状表現を構築する、スキーマのインスタンスから発生されるビットから画像の一部を表示する方法であって、前記インスタンスはビットストリームに見出されるデータを含み、前記ビットストリームは、符号化方法を画像の少なくとも一部に適用し、変換を前記結果に適用した結果であり、前記ビットストリームはさらに複数のパケットを含み、前記方法は以下のように特徴付けられる:
前記スキーマの前記インスタンスはさらなる属性を前記パケットに対して含み、前記さらなる属性は前記パケットの位置を前記符号化方法に関係する予め規定された走査手順に従って示し;
前記表示は前記属性に基づく少なくとも1つのパケットを選択することを含む。
この発明の特定の実現をここでさらに記載する。
国際特許出願WO 02/069187に記載されるビットストリーム構文記述言語(BSDL)はマルチメディアコンテンツを記述し適合させる効率的でプラットフォームに依存しない態様である。このXMLスキーマに基づく言語により、マルチメディアファイルのコンテンツの記述が、XSLTを用いて変更され2進形式に戻され得る包括的で構造化された態様において可能となる。マルチメディアファイルを変換する可能性はコンテンツのスケーラビリティという観点から非常に魅力的である。MPEG−4 AFXの場合においては、エラー障害許容力マーカーの使用が、VTCにおけるスケーラビリティを可能にすべく検討されている[Eric Delfosse, Gauthier Lafruit,“the use of VTC error
resilience for view-dependent texture decoding(ビュー依存型テクスチャデコードに対するVTCエラー障害許容力の使用)”, ISO/IECJTC1/SC29/WG11/MPEG2001/m7580, Pattaya, 2001年12月参照]。
以下に記載されるこの発明の例示的実施例は異なる品質レベルをVTCファイル内における任意の数の領域に対して選択することを可能にするBSDL実現例に関する。このプロセスの目的は、ネットワークQoSを、3D適用例において、ある瞬間においてデコードに対し必要とされる情報のみを送信することにより可能にすることである。しかしながら、この発明はこの特定の実施例に限定されるものではない。
今日、ビデオをストリーム化することは一般的な慣習であるのに、3Dコンテンツのストリーム化は依然として稀であるかまたは存在すらしないままである。3Dコンテンツをデコードしレンダリングする際、顧客のプラットフォーム上のワークロードは、数オーダの大きさにわたって、その視聴条件とともに激しく変動する。[G. Lafruit, L. Nachter
gaele, K. Denolf, J. Bormans,“3D Computational Graceful Degradation(3D計算グレースフル劣化),”Proceedings of ISCAS-Workshop and Exhibition on MPEG-4(MPEG−4におけるISCAS−ワークショップおよびエキシビジョン集録), pp. III-547-III-550, 2000年5月28-31日]。
大抵は、テクスチャ化された3Dオブジェクトのうちほんの一部のみが任意の所与の時間において可視であるので、そのテクスチャの可視領域のみをストリーム化および/またはデコードすることは、瞬間の帯域幅および/またはプラットフォームワークロードを低減することになる。視聴条件が変化すると、新たに可視となる部分は、それらが徐々に可視になるにつれ、ストリーム化および/またはデコードされ得る。その結果、テクスチャ化された3Dコンテンツをデコードおよびレンダリングするための必要とされたネットワーク帯域幅および必要とされたワークロードは時間にわたって広がり、その一方、知覚された品質の損失を最小限にする。このプロセスはビュー依存型テクスチャデコードとして公知である[D. Cohen-Or, Y. Mann, S. Fleishman,“Deep Compression for Streaming Texture Intensive Animations,” (テクスチャ集中型アニメーションをストリーム化するためのディープ圧縮)Proceedings of the SIGGRAPH 1999 annual conference on Computer graphics(コンピュータグラフィックスに関するSIGGRAPH1990年度会議会報),pp. 261-267. 1999]。
MPEG−4マルチメディア圧縮規格[“The MPEG-4 Audio-Visual Compression Standard(MPEG−4 音声−映像圧縮規格), Text of ISO/IEC 14496-5/FPDAM1,”ISO/IEC JTC1/SC29/ WG11/MPEG99/N3309, Noordwijkerhout, 2000年3月.]内では、3Dコンテンツを符号化するためのツールが利用可能である。特に、MPEG−4は、ビジュアルテクスチャ符号化(VTC)と称される、スケーラブルな、ウェーブレットに基づく、テクスチャ用圧縮ツールを提供する[I. Sodagar, H.J. Lee, P. Hatrack, Y.Q. Zhang,“Scalable Wavelet Coding for Synthetic/Natural Hybrid Images(合成/自然ハイブリッド画像のためのスケーラブルなウェーブレット符号化),”IEEE Transactions on Circuits
and Systems for Video Technology(映像技術のための回路およびシステムにおけるIEEE会報), Vol.9, No.2, pp.244-254, 1999年3月]。
この発明において、エラー障害許容力マーカーを用いてスケーラビリティをVTCにおいてMPEG−4 AFXの場合において可能にすることが開示される[Eric Delfosse,
Gauthier Lafruit,“the use of VTC error resilience for view-dependent texture decoding”, ISO/IECJTC1/SC29/WG11/MPEG2001/m7580, Pattaya, 2001年12月、これをここに引用により援用する]。
VTCのエラー障害許容力特徴はビュー依存型テクスチャデコードに対して利用され得る。このエラー障害許容力マーカーを用いることで、パケット化されたビットストリームを、高い柔軟性でもって、パケット境界を規定することに対し発生させることが可能となる。各パケットは、ある数の、テクスチャユニット(TU)と称される基本的単位からなる。各パケットは、ある数の、テクスチャユニット(TU)と称される基本的単位からなる。以下、VTCにおける最も興味深い例、マルチプル量子化ツリー深さモード(MQ−TD)に焦点を当てる。
この発明は、さらに、マルチプル量子化ツリー深さモード(MQ−TD)に対し説明される。このMQ−TDにおいて与えられる最大粒度はウェーブレット変換レベルの数によって与えられる。変換に必要とされるピクセルの数はブロックのサイズが2n_levelsxnn_levelsである中、増大する。エラー障害許容力が何らかのオーバヘッドを招くなか、粒度を制限することは圧縮された画像のサイズを低減し得る。いくつかの、変換の、空間的ブロックは、各ブロックの後エラー障害許容力マーカーを導入する代わりに、単一のパケ
ットにグループ化され得る。これは粗い粒度のみが必要とされるときに役立ち得る。
MPEG−4 VTCにおいては、画像はブロックに分割される。ブロックサイズは変換レベルの数から導き出される。この例の場合、パケットは2つのブロックからなる。パケットはスタンドアロンであり、他のパケットとデータ依存性を伴わない。パケットのサイズは粒度を決定する。これが当てはまるのは水平方向に対してでのみであることに注目されたく、なぜならば、ブロックはコラム方向態様においてはパッキングされ得ないからである。
さらに、この発明は、異なる品質レベルをVTCファイル内における任意の数の領域に対して選択することを可能にするそのBSDL実現例を開示する。このプロセスの目的は、ネットワークQoSを、3D適用例において、ある瞬間においてデコードに対し必要とされる情報のみを送信することにより可能にすることである。
ビットストリーム構文記述言語はVTC画像の構造を記述するよう適用され得る。図5は典型的な記述のフラグメントを示す。各画像はメインヘッダおよびパケットの集まりからなる。各パケットはどのTUがパケットに含まれるかに関するかの情報、およびあるペイロードをURLとして含む。この記述から元の2進ファイルを発生することが可能である。記述要素は、スキーマにおいて、それらのタイプ定義とともに宣言される。Schema(スキーマ)の或るフラグメントを図6に示す。記述はVTC2進ファイルから発生され得るか、またはその2進ファイルが作成される中VTCエンコーダにより発生され得る。第1の選択肢はBintoXMLパーサおよびSchemaを用いて異なる要素を識別することである。
VTCの、BSDLタイプの実現例は、画像の構造を記述するためのスキーマを用いる方法として正式に記述され得、前記スキーマは要素として各画像に対しメインヘッダおよび部分を有し、各部分はパケットに関係する。これらの部分はビットストリームの、関係する部分に対する参照を含み、この参照もペイロード示され、たとえば、URLの形式で特定され得る。
低いレベルの詳細が必要な場合完全なBSDL記述はかなり冗長であり得ることがわかっているので、その記述は目標の適用例に対しては詳細すぎ得る。したがって、この発明は記述を最も関係のある要素に低減し、それによって、より簡潔で、より短く、より変換が容易な記述を得ることを可能にする。
より短い記述は2つの態様で得られ得る。
1.パケット構造を詳細化しない。ヘッダはペイロードとマージされる。
2.テクスチャをエンコードして必要とされるよりも高い粒度を与えた場合には、パケットがグループ化され得る。
双方の手順のある例を図7に示す。2つのパケットを合せ、ペイロードの制限をそれら両方を包含するよう変更する。単純化された記述は依然として同じスキーマに従っている。
VTCフォーマットはパケット内にある量子化に関するある重要な情報を隠す。この種の情報はファイルのメインヘッダにおいて入手可能であるはずだが、それはビットストリーム内に埋込まれている。例として、量子化ステップのエンコードをすべての品質層の第1のパケットにおいて行なう。層の数および層ごとのパケットの数は極めて重要な情報で
あるが、それらを知るには複雑な計算を必要とする。
VTCにおけるBSDLの利用を容易にするための解決策として、この発明はさらなる要素を記述に含み、容易には得られないテクスチャに関する重要な情報を詳細にすることを提案する。この新たな要素はエンコード中または直接BSDL記述から、たとえばXSLTスタイルシートを伴って発生され得る。この拡張された情報はXMLtoBinパーサによっては無視され、XSLTスタイルシートによってのみ処理される。そのような拡張された情報の一例を図8に示す。
XSLTスタイルシートを用いてBSDL記述を変換し、したがって、コンテンツの、適合されたバージョンを得る。変換スタイルシートは画像内の任意の数の領域を選択するよう設計され、その画像はそれらの各々に対し品質設定を特定している。この後、XMLtoBinパーサは、Schemaを用いて、適合された2進テクスチャファイルを発生させる。領域制限を、画像の全サイズのパーセンテージとして特定する。スタイルシートは最小量のパケットを選択して、利用可能な粒度を与えられる領域を覆う。この手順は、テクスチャを所望の品質レベルにスケーリングすることを可能にし、ネットワークQoSを与える。変換は2つの異なる態様で起こり得る。
−まず、テクスチャの、スケーリングされたバージョンが顧客によって要求される。これはスタンドアロンのVTC準拠テクスチャファイルである。
−さらに、表示条件が変ると、顧客はさらなる品質をある領域に対し要求し得る。この場合には、ほんのいくつかのパケットのみが送られる。
必要不可欠な情報のみが必要とされるときにだけ送られるので、帯域幅の最適な使用がなされる。VTCフォーマットはスケーラブルであるよう設計されているので、デコーダQoSが可能である。さらに、関係のある情報のみを送信することにより、ネットワークQoSも可能である。
この手順のある例を図9および図10に示す。このテストケースでは、ルービックキューブ(Rubiks's Cube(著作権))がLena画像で包まれる。すべてのタイルが同時に可視ではないので、すべての情報が送信されデコードされる必要はない。図9は、どのように画像の送信が、4つの異なる品質レベル、わずかDCから損失なしまでの範囲にわたり行われるかを示す。図10においては、Cubeレンダリングがみられ得る。図の部分(a)はフル品質テクスチャを用いてレンダリングされたCubeを示す。部分(b)は図9のテクスチャを用い、前面のみがフル品質でレンダリングされなければならない一方で右側面および頂部面はより低い品質設定でレンダリングされ得るということを利用する。Cubeのうち可視でない部分は、単に、DC成分を用いてレンダリングされる。(図10(c))。
一般に、科学の世界では、アクティブなネットワークが、今後何年かのうちに、通信の効率を向上させる方法として現れるであろうと信じられている。3DグラフィックスおよびBSDLに対するある考えられ得るシナリオは以下のようになるかも知れない:
「3Dシーンまたは映画が放送されている。レンダリングが端子側で行なわれるが、端子の特性はヘテロジニアスである。サーバは品質を現在の視点に適合させるテクスチャを送信する。この品質は高能力端子に対して意図され、ネットワークはコンテンツを異なる端子に適合させる。サーバ側はテクスチャをネットワークノードにBSDLコードとともに与える。かくして、携帯電話の操作者はさらなる変換を適用して品質を携帯電話の低解像度ディスプレイに従って低減する。」
このシナリオにおいて、連続的な変換が適用される場合には、ビットストリームにおけるパケットの位置はもはや画像におけるその位置には対応しない。このように、パケット
の割当および品質レベルはトレースするのが困難となり得る。この場合には、パケットをタグ付けしなければならない。これは、各パケットに対する属性または属性の組を含むことによりなされ得る。ある例を図11に示す。
この図の、一番上の例において、記述の要素は以下を含む:
−パケットの群が属するデータ層の表示を含む第1の変換タグ、
−画像におけるパケットの群の位置を含む第2および第3の変換タグ。
これは、上記の適用例においては、品質層および画像における位置の両方を考慮して、適合された記述を発生させる際にどのパケットを取除くかを判断するからである。
当然のことながら、他の適用例および他のエンコードフォーマットに対し、要素はデータ層の表示を含む変換タグを含むだけでもよい。たとえば、そのような変換タグを含む記述を走査して、データ層表示が「1」より高いすべてのパケットを取除く。
図11の一番下の例では、記述の要素はパケット識別子を含む単一の変換タグを含む。
この場合、パケット識別子の組は各可能な変換に対し定義されることになる。ある特定の変換が適用されるとき、記述は走査され、変換タグ画素が特定の変換に対し定義されるパケット識別子の組に属さない要素を取除く。(もちろん、取除かれるべきパケット識別子の組を定義すること、および変換タグ画素が特定の変換に対し定義されるパケット識別子の組に属する要素を取除くことも可能である)。
この発明のこの第1の局面は上記の例(MPEG−4 VTC)に限定されないことを理解すべきである。特に、それは他の二次元画像または映像エンコードフォーマットに適用可能である。
変換タグが記述において属性として導入されなければならないのは、適合されたビットストリームの発生が、適合された記述から、WO 02/069187に記載されるスキーマを用いて行われることになる場合のみであることに注目されたい(なぜならば属性はXMLtoBinパーサによっては無視されるからである)。そうでない場合には、それは要素として導入され得る。
結論として、この発明は、さらなる要素および属性のような必要不可欠な特徴をBSDLのような方策に対しを与えて、強力かつプラットフォームに依存しないコンテンツスケーラビリティを、MPEG−4 VTCに対し示されるようなマルチメディア適用例に対し可能にすると言える。領域および品質選択は利用可能な粒度を十分に利用して行われ得る。BSDLを用いたコンテンツ適合はQoS管理をサーバ、ネットワーク要素および端子にわたって行き渡らせることを可能にする。
スキーマの、発明された特徴(さらなる要素および特別な属性)を、前記スキーマのインスタンスを発生させるための方法、適合されたビットストリームを発生させるための方法、および/または画像の当該領域を表示するための方法において用い得る。さらに、前記特徴を、画像エンコードのための装置において用いてビットストリームおよびそのようなインスタンスを与えたり、ネットワークノード装置において用いてビットストリームおよび/または画像表示端子を適合させ、当該領域選択を実行し得る。
そのような画像符号化またはエンコード装置はハードウェア部を含み、前記スキーマのインスタンスをエンコードし発生させるよう構成されることに注目されたい。前記ハードウェア部はカスタマイズされるかしたがってまたはプログラマブルプロセッサもしくはそ
の組合せであり得る。同様の考慮をネットワークノード装置のハードウェア部に対してなし得るが、それは、前記スキーマの、適合されたビットストリームおよび適合されたインスタンスを発生させるために与えられる。さらに、画像表示端子のハードウェア部はカスタマイズおよび/またはプログラミングされて当該領域パケット選択ステップおよびデコーディングを実行し得る。
前記装置は前記スキーマのインスタンスを記憶するための記憶手段を有することになり、前記記憶手段は、任意の物理的な記憶エンティティであり得、インスタンスを、少なくとも1つの特別な要素および/または少なくとも1つの属性とともに記憶することに向けて構成されることになる。さらに、スキーマを特別な要素および属性とともに記憶するための記憶空間も予測される。
ある実施例においては、画像符号化装置は画像をビットストリームでエンコードすることに向けて構成されたハードウェア部を符号化し、前記ハードウェア部はそれが発生するスキーマのインスタンス内におけるあるパケットに対する重要な符号化パラメータを含む能力がある。
ネットワークノード装置のある実施例では、前記スキーマのインスタンスを受取るまたは発生させる手段が設けられ、前記装置のハードウェア部の構成は受取られたまたは発生されたインスタンス内における明示的な情報を利用し得るようなされる。
画像表示端子のある実施例では画像の当該の領域を示すための手段に加えて前記スキーマのインスタンスを受取るまたは発生させるための手段が設けられ、前記装置のハードウェア部の構成は受取られたまたは発生されたインスタンス内の明示的な属性を利用し得るようになされる。
この発明の別の局面に従う伝送システム900を図12に示す。それは送信機902および受信機904を含む。画像符号化、記述変換、および適合されたビットストリーム発生は送信機側で行なわれ、画像デコードは受信機側で行なわれる。前記送信機および受信機はメモリ手段および処理手段を含む。この発明は、前記メモリ手段に記憶され前記処理手段によって実行されるソフトウェアによって実現される。このソフトウェアは、たとえば、C、C++または同様のもので書かれある特定のマイクロプロセッサに対してコンパイルされるコンピュータプログラムであり得る。この発明は、さらに、前記プログラムを記憶するデータキャリア、たとえば、テレコミュニケーションネットワークにおけるまたは電算装置内におけるディスケット、CD−ROM、磁気テープまたはメモリなどを含む。このデータキャリアは電算装置にロードされるとこの発明に従う方法を実行する。
前記コンピュータプログラムが、この発明に従う方法を、特に任意の特許請求された方法を実行するのは、マイクロプロセッサ、たとえばIntel Corp.により供給されるPentium
(登録商標)IVマイクロプロセッサなど、または他の好適な処理エンジン、たとえばプログラマブル論理アレイ(PLA)、プログラマブルアレイ論理(PAL)、プログラマブルゲートアレイ、たとえばフィールドプログラマブルゲートアレイ(FPGA)などにロードされたときである。処理エンジンは、メモリを有する好適な電算装置、たとえばパソコンまたはUNIX(登録商標)ワークステーションなどだけでなく、携帯電話、パーソナルデジタルアシスタント(PDA)などに含まれてもよく、または、VLSIに埋込まれるか、もしくはパソコンもしくはビデオプロジェクタもしくは他の表示装置とともに用いるのに好適なアクセレレータカードに埋込まれてもよい。この発明は、さらに、専用のモジュールを、たとえば、この発明に従う方法を実行することに専ら向けられるVLSI、ASICの形式において含む。
画像符号化技術のある例のブロック図である。 エンコードされたビットストリームの発生、エンコードされたビットストリームのツリー表現であるインスタンスの発生、前記インスタンスの適合、適合されたビットストリームの発生、およびその適合されたビットストリームのデコードを含む方法のある例のブロック図である。 エンコードされたビットストリームの発生、エンコードされたビットストリームのツリー表現であるインスタンスの発生、前記インスタンスの適合、適合されたビットストリームの発生、および当該領域選択を含むその適合されたビットストリームのデコードを含む別の方法のある例のブロック図である。 ブロックおよびパケットの画像粒度および変換を示す。 VTC MQ−TD画像に対するBSDL記述のフラグメントを示す。 VTC MQ−TDモードに対するSchemaのフラグメントを示す。 パケットの、低減された記述を示す。 VTCに対する拡張された情報要素の例を示す。 Rubik's Cube-Lena画像に適用されるスケーラビリティを示す。 Rubik's Cubeテストケース、(a)完全にデコードされたテクスチャを伴う結果、(b)ビュー依存型デコードを伴う結果、(c)キューブの非可視部を示す。 アクティブなネットワークにおける連続的変換に対するタグ付けされたパケットを示す。 この発明の実施例に従う伝送システムのブロック図である。

Claims (15)

  1. エンコードされたビットストリームの記述を変換する方法であって、前記エンコードされたビットストリームはデータパケットを含み、前記記述はマークアップ言語で書かれ、1つまたは2つ以上のデータパケットからなる群が前記記述において要素によって記述され、前記要素は変換タグを含む少なくとも1つの属性を有し、前記方法は、
    前記記述を走査して、変換タグに対して、予め定められた条件に従ってチェックを行なうステップ、および
    変換タグが前記予め定められた条件を満たさない要素は取除かれる、適合された記述を発生させるステップを含み、前記変換タグはパケット識別子であり、前記予め定められた条件は達成されるべきある特定の変換に関連付けられるパケット識別子の組のメンバーシップの条件であり、パケット識別子の組は1つより多い識別子を有する、方法。
  2. 前記エンコードされたビットストリームはいくつかのデータ層が定義されるスケーラブルなフォーマットを有し、前記変換タグは1つまたは2つ以上のデータパケットからなる群が属するデータ層を示すものである、請求項1に記載の記述を変換する方法。
  3. 適合されたエンコードされたビットストリームを元のエンコードされたビットストリームから発生させる方法であって、前記元のエンコードされたビットストリームはデータパケットを含み、前記方法は:
    マークアップ言語で書かれた、前記元のエンコードされたビットストリームの記述を変換して、適合された記述を発生させることを、請求項1または2のいずれかに記載される記述を変換する方法を適用することにより行なうステップ、および、
    前記適合されたビットストリームを前記適合された記述から発生させるステップを含む、方法。
  4. マークアップ言語で書かれた、データパケットを含むエンコードされたビットストリームの記述であって、前記記述は1つまたは2つ以上のデータパケットからなる群を記述するための要素を含み、前記要素は、前記要素のいくつかを除去することにより、前記記述を適合させるために、予め定められた条件に対しチェックされるよう用いられるよう意図される変換タグを含む少なくとも1つの属性を有し、前記変換タグはパケット識別子であり、前記予め定められた条件は達成されるべきある特定の変換に関連付けられるパケット識別子の組のメンバーシップの条件であり、パケット識別子の組は1つより多い識別子を有する、記述。
  5. 前記エンコードされたビットストリームはいくつかのデータ層が定義されるスケーラブルなフォーマットを有し、前記変換タグはデータパケットからなる群が属するデータ層を示すものである、請求項4に記載の記述。
  6. 請求項4または5のいずれかに記載されるビットストリームの記述を記憶するメモリ、および請求項1または2のいずれかに記載される前記記述を変換する方法を実現するための処理手段を含む電子装置。
  7. 前記プログラムがプロセッサによって実行されるとき、請求項1または2のいずれかに記載される記述を変換する方法を実現するための命令を含むプログラム。
  8. 送信機および受信機を含む伝送システムであって、前記送信機は、請求項3に記載される、適合されたエンコードされたビットストリームを元のエンコードされたビットストリームから発生させる方法を実現するための手段、および前記適合されたエンコードされたビットストリームを前記受信機に送信するための手段を有する、伝送システム。
  9. 適合されたビットストリームを元のビットストリームから発生させる方法であって、前記ビットストリームはエンコードされた画像データであり、前記エンコードは予め定められた符号化パラメータに従って実行され、
    前記方法は:
    前記元のビットストリームおよび前記元のビットストリームに見出されるデータを含むスキーマのインスタンスを受取るステップを含み、インスタンスはツリー状表現を構成し、前記スキーマは前記エンコードの符号化パラメータに関係する特別な要素を含み;および、
    前記インスタンスは前記特別な要素にリンクされる明示的な情報を含み、前記明示的な情報も前記ビットストリームに埋込まれ、前記符号化パラメータに関係し、前記方法はさらに、
    前記スキーマの、適合されたインスタンスを発生させるステップ;および、
    前記適合されたビットストリームを前記適合されたインスタンスから発生させるステップを含み、
    前記方法は:
    適合されたインスタンスを発生させる前記ステップは前記明示的な情報を利用すること、および適合されたビットストリームを発生させる前記ステップは前記明示的な情報を利用しないことにより特徴付けられる、方法。
  10. 画像符号化装置であって:
    画像を読取るための手段;
    符号化パラメータを入力するための手段;
    前記読取られた画像を前記符号化パラメータに従ってエンコードしそれによってビットストリームを発生させるよう構成されるハードウェア部を含み;
    符号化装置はスキーマのインスタンスを発生させることに向けて設けられ、
    前記スキーマは総称的に前記表現のフォーマットを記述し、フォーマットによってデータの名称およびタイプが記述される複数の要素を含み、
    前記インスタンスは前記エンコードされた画像データのツリー状表現を構成し、リンクを前記ビットストリームの部分間において前記要素とともに含み、
    前記装置は:
    前記スキーマは前記符号化パラメータに関係する特別な要素を含むこと;および
    前記インスタンスは前記特別な要素にリンクされる前記符号化パラメータに関する明示的な情報を含み、前記明示的な情報も前記ビットストリームに埋込まれ、前記符号化装置は適合されたインスタンスの発生を前記明示的な情報を利用することにより行なうようにされ、前記符号化装置は適合されたビットストリームの発生を前記明示的な情報を利用せずに行なうようにされることによって特徴付けられる、画像符号化装置。
  11. 第1のビットストリームを受取るための手段を含み、前記ビットストリームはエンコードされた画像データであり、前記エンコードは予め定められた符号化パラメータに従って実行され;さらに、
    前記第1のビットストリームに見出されるデータを含みかつツリー状表現を構成するスキーマのインスタンスを受取るまたは発生させるための手段を含み、前記スキーマは前記符号化パラメータに関係する特別な要素を含み、さらに
    前記スキーマの、適合されたインスタンスを発生させること、および適合されたビットストリームを前記適合されたインスタンスから発生させることに向けて構成されるハードウェア部を含み、
    前記インスタンスは明示的な情報を前記符号化パラメータ上に含むこと;および、
    前記ハードウェア部は適合されたインスタンスの発生を前記明示的な情報を利用することにより行なうよう構成され、適合されたビットストリームの発生を前記明示的な情報を利用することなく行うようにされることにおいて特徴付けられる、端子。
  12. 適合されたビットストリームを元のビットストリームから発生させる方法であって:
    前記元のビットストリームを受取るステップ;
    あるフォーマットに従ってある構造を有するデータを含む前記元のビットストリームを構文解析するステップを含み、前記解析ステップは前記元のビットストリームのツリー状表現を発生させ、前記方法は:
    前記フォーマットを総称的に記述するスキーマを読出すステップを含み、前記スキーマはフォーマットによってデータの名称およびタイプが記述される複数の要素、および符号化方法に関係する情報に関連付けられる特別な要素を含み;
    前記元のビットストリームにおいて、前記スキーマに含まれる前記特別な要素を含む要素に対応するデータを検索するステップ;
    前記元のビットストリームに見出されるデータを含みかつ前記ツリー状表現を構成する前記スキーマのインスタンスを発生させるステップを含み、前記インスタンスはさらに、前記元のビットストリームに埋込まれる明示的な情報を含み;
    前記スキーマの、適合されたインスタンスを発生させるステップを含み、前記適合プロセスは前記明示的な情報を利用し;および
    前記適合されたビットストリームを前記適合されたインスタンスから発生させ、その一方で明示的な情報は用いないステップを含む、方法。
  13. 特別な要素は前記ビットストリームにおけるパケット位置に関係し、;および
    前記インスタンスはビットストリーム内における前記パケット位置を示す前記パケットに対する属性を含み、前記属性は前記特別な要素とリンクされる、請求項10に記載の画像符号化装置。
  14. 前記インスタンスは、さらに、前記パケットに対するさらなる属性を含み、前記さらなる属性は前記元のビットストリームにおける前記パケットの位置を示し;
    前記スキーマの、適合されたインスタンスを発生させるステップ前記さらなる属性を利用する、請求項12に記載の、適合されたビットストリームを元のビットストリームから発生させる、方法。
  15. スキーマのインスタンスから発生されるビットストリームから画像の或る部分を表示することをさらに含み、前記表示は前記属性に基づく少なくとも1つのパケットを選択することを含むことにおいて特徴付けられる、請求項14に記載の方法。
JP2003548119A 2001-11-26 2002-11-26 スキーマ、構文解析法、およびスキーマに基づいてビットストリームを発生させる方法 Expired - Fee Related JP4040577B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US33364501P 2001-11-26 2001-11-26
PCT/BE2002/000178 WO2003046756A2 (en) 2001-11-26 2002-11-26 Schema, syntactic analysis method and method of generating a bit stream based on a schema

Publications (3)

Publication Number Publication Date
JP2005510920A JP2005510920A (ja) 2005-04-21
JP2005510920A5 JP2005510920A5 (ja) 2005-12-22
JP4040577B2 true JP4040577B2 (ja) 2008-01-30

Family

ID=23303667

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003548119A Expired - Fee Related JP4040577B2 (ja) 2001-11-26 2002-11-26 スキーマ、構文解析法、およびスキーマに基づいてビットストリームを発生させる方法

Country Status (6)

Country Link
US (1) US7570180B2 (ja)
EP (1) EP1451722A2 (ja)
JP (1) JP4040577B2 (ja)
CN (1) CN1618234A (ja)
AU (1) AU2002349188A1 (ja)
WO (1) WO2003046756A2 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7080318B2 (en) * 2001-02-28 2006-07-18 Koninklijke Philips Electronics N.V. Schema, syntactic analysis method and method of generating a bit stream based on a schema
WO2003046756A2 (en) * 2001-11-26 2003-06-05 Interuniversitair Microelektronica Centrum Vzw Schema, syntactic analysis method and method of generating a bit stream based on a schema
ATE513415T1 (de) * 2001-12-28 2011-07-15 Koninkl Philips Electronics Nv Verfahren zur verarbeitung von multimediainhalt
DE10218813B4 (de) * 2002-04-26 2005-12-08 Siemens Ag Verfahren zur Transformation eines Medienstroms in einen zweiten Medienstrom, Vorrichtung und Programmprodukt zur Ausführung des Verfahrens
WO2004075415A2 (en) * 2003-02-19 2004-09-02 Koninklijke Philips Electronics N.V. Method of producing a document based on a scheme that generically describes the format of a bit stream
CN1332308C (zh) * 2004-09-10 2007-08-15 中国科学院计算技术研究所 一种动态二进制翻译中的翻译方法
US8434116B2 (en) 2004-12-01 2013-04-30 At&T Intellectual Property I, L.P. Device, system, and method for managing television tuners
US7908627B2 (en) * 2005-06-22 2011-03-15 At&T Intellectual Property I, L.P. System and method to provide a unified video signal for diverse receiving platforms
US20090128690A1 (en) * 2005-07-08 2009-05-21 Enikos Pty Limited Systems and methods for use in transforming electronic information into a format
US8165682B2 (en) 2005-09-29 2012-04-24 Uchicago Argonne, Llc Surface acoustic wave probe implant for predicting epileptic seizures
US9665970B2 (en) * 2006-09-19 2017-05-30 Imagination Technologies Limited Variable-sized concurrent grouping for multiprocessing
KR101305514B1 (ko) 2007-04-17 2013-09-06 (주)휴맥스 비트스트림 디코딩 장치 및 방법
US8775183B2 (en) * 2009-06-12 2014-07-08 Microsoft Corporation Application of user-specified transformations to automatic speech recognition results
US8375045B2 (en) * 2010-06-23 2013-02-12 Raytheon Company Translating a binary data stream using binary markup language (BML) schema
US9615090B2 (en) * 2012-12-28 2017-04-04 Qualcomm Incorporated Parsing syntax elements in three-dimensional video coding

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100482895B1 (ko) * 1995-10-18 2005-08-23 코닌클리케 필립스 일렉트로닉스 엔.브이. 멀티미디어애플리케이션정보저장방법,물리적기록캐리어,및플렛폼시스템
AU8759198A (en) * 1997-07-28 1999-02-16 Roy H. Campbell A robust, reliable compression and packetization scheme for transmitting video
EP0939545A2 (en) * 1998-02-27 1999-09-01 Hitachi, Ltd. Video service system
US6498865B1 (en) * 1999-02-11 2002-12-24 Packetvideo Corp,. Method and device for control and compatible delivery of digitally compressed visual data in a heterogeneous communication network
EP1045315A3 (en) * 1999-04-13 2011-03-02 Canon Kabushiki Kaisha Data processing method and apparatus
BR0007803A (pt) * 1999-11-29 2002-03-12 Koninkl Philips Electronics Nv Processo para codificar uma pluralidade de dados multimìdia, produto de programa de computador para um dispositivo de codificação de dados multimìdia, e, sinal codificado transmissìvel
EP1177691B1 (en) * 2000-03-13 2011-01-26 Sony Corporation Method and apparatus for generating compact transcoding hints metadata
US7373601B2 (en) 2001-02-05 2008-05-13 Koninklijke Philips Electronics N.V. Object transfer method with format adaptation
FR2821458A1 (fr) 2001-02-28 2002-08-30 Koninkl Philips Electronics Nv Schema, procede d'analyse syntaxique et procede de generation d'un flux binaire a partir d'un schema
WO2003046756A2 (en) * 2001-11-26 2003-06-05 Interuniversitair Microelektronica Centrum Vzw Schema, syntactic analysis method and method of generating a bit stream based on a schema

Also Published As

Publication number Publication date
JP2005510920A (ja) 2005-04-21
US20050031031A1 (en) 2005-02-10
US7570180B2 (en) 2009-08-04
WO2003046756A3 (en) 2003-12-18
CN1618234A (zh) 2005-05-18
AU2002349188A1 (en) 2003-06-10
AU2002349188A8 (en) 2003-06-10
EP1451722A2 (en) 2004-09-01
WO2003046756A2 (en) 2003-06-05

Similar Documents

Publication Publication Date Title
EP0945020B1 (en) Scalable media delivery system
JP4040577B2 (ja) スキーマ、構文解析法、およびスキーマに基づいてビットストリームを発生させる方法
WO2020012073A1 (en) Method and apparatus for storage and signaling of compressed point clouds
KR20190117675A (ko) 생성된 콘텐츠를 포함하는 미디어 데이터를 인코딩하기 위한 방법 및 장치
US6611262B1 (en) Generation of a bit stream containing binary image/audio data that is multiplexed with a code defining an object in ascii format
CN110800311B (zh) 用于传输媒体内容的方法、装置和计算机程序
EP3782368A1 (en) Processing video patches for three-dimensional content
KR102559862B1 (ko) 미디어 콘텐츠 전송을 위한 방법, 디바이스, 및 컴퓨터 프로그램
CN114747219A (zh) 用于存储和信令传送子样本条目描述的方法和装置
WO2020070379A1 (en) Method and apparatus for storage and signaling of compressed point clouds
KR20140071339A (ko) 계층화된 신호 품질 계층에서의 재구성 데이터의 송신
WO2020109154A1 (en) Method, device, and computer program for encapsulating media data into a media file
US20060117259A1 (en) Apparatus and method for adapting graphics contents and system therefor
CN114697668B (zh) 点云媒体的编解码方法及相关产品
KR20220068241A (ko) 이종의 실감 미디어의 리프리젠테이션 및 스트리밍을 위한 데이터 모델
KR100497497B1 (ko) 엠펙 데이터의 송수신시스템 및 송수신방법
US20230134675A1 (en) An apparatus, a method and a computer program for volumetric video
CN115002470A (zh) 一种媒体数据处理方法、装置、设备以及可读存储介质
EP1435738A1 (en) Method and system for generating input file using meta language regarding graphic data compression
KR100657940B1 (ko) 깊이 영상 기반 표현 데이터 압축에 관한 메타표현을이용한 입력파일 생성 방법 및 시스템과, afx부호화방법 및 장치
CN115396645B (zh) 一种沉浸媒体的数据处理方法、装置、设备及存储介质
JP7434667B2 (ja) ビデオベースの点群コーディングのためのグループオブピクチャベースのパッチパッキング
WO2023169003A1 (zh) 点云媒体的解码方法、点云媒体的编码方法及装置
US20230222693A1 (en) Information processing apparatus and method
KR20240047385A (ko) 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 수신 방법 및 포인트 클라우드 데이터 수신 장치

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070312

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070320

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20070619

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20070626

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20070719

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20070726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070815

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071016

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071107

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101116

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111116

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121116

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131116

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees