JP3908462B2 - ダイナミックプロトタイプを使用してマルチマディアストリームを制御する方法およびシステム - Google Patents
ダイナミックプロトタイプを使用してマルチマディアストリームを制御する方法およびシステム Download PDFInfo
- Publication number
- JP3908462B2 JP3908462B2 JP2000587310A JP2000587310A JP3908462B2 JP 3908462 B2 JP3908462 B2 JP 3908462B2 JP 2000587310 A JP2000587310 A JP 2000587310A JP 2000587310 A JP2000587310 A JP 2000587310A JP 3908462 B2 JP3908462 B2 JP 3908462B2
- Authority
- JP
- Japan
- Prior art keywords
- language
- digital
- video input
- input stream
- digital content
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 22
- 230000007246 mechanism Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 2
- 238000013139 quantization Methods 0.000 description 24
- 238000013461 design Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000013515 script Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
- H04N19/25—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with scene description coding, e.g. binary format for scenes [BIFS] compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、コンピュータで生成されたイメージシーケンスを符号化する改良された方法に関し、特に、ビデオストリームの一部分がどのように量子化され、アニメーション化され、またはそうでなければ更新されるのかを符号化するプロトタイプの使用に関する。
【０００２】
【従来の技術】
多くのコンピュータ生成イメージはこれまで、全てのフレーム中の全ての画素を一緒に指定することによって生成されていたが、新しいコンピュータイメージシーケンスは、複数のマルチメディアオブジェクト（たとえば、ビデオと2D-または3Dグラフィックスプリミティブ）を組み合わせ、ときには１つ以上のサウンドトラックと組み合わせることによって生成されることが多い。マルチメディアの分野では、イメージおよび／またはシーンは言語を使用して構成される。たとえば、ハイパーテキストマークアップ言語(HTML)は、テキストとグラフィックスの２次元(2D)構成を規定する。同様に、バーチャルリアリティマークアップ言語(VRML)は３次元(3D)ワールドを記述する。
【０００３】
マルチメディア言語は現在、構成されたイメージのダイナミックな変更のための拡張機能も含む。HTMLは現在、ダイナミックHTML(DHTML)拡張機能を含む。これは、Danny Goodman氏による“Dynamic HTML: The Definitive Reference,”O'Reilly & Associates, Inc., 1998年出版、などに記載されており、この文献の内容は参照によりここに組み込まれている。さらに、HTML用のXML拡張機能は、本来の言語がどのように修正または拡張されるかを記述するためのメタ言語を提供する。
【０００４】
同様に、VRMLは新しいプリミティブを“プロトタイプ化”することができる“PROTO”定義のためのサポートを含む。定義の一部分は、新しくプロトタイプ化される機能を提供するために、VRML環境によって実行される１つまたは複数のコードブロックである。
【０００５】
モーションピクチャーズエキスパートグループ(MPEG)は、イメージストリームの符号化および復号化に必要な技術を研究するために形成された。結果的に得られた標準規格（現在“MREG-1”と呼ばれている）は、２つの追加的なMPEG-2およびMPEG-4標準規格の基礎として機能している。MPEG-4は、“進行中”の標準規格である。委員会の最終的な草案は、ISO/IEC FCD 14496-1 MPEG-4システムおよび-2 MPEM-4ビジュアルであり、委員会の最終草案の内容は参照によりここに取り込まれている。これらの草案には、マルチメディアコンテンツを符号化するさまざまな方法が含まれている。このような方法には、（１）シーンパラメータに対する量子化方法、（２）マルチメディアシーンを符号化して送信するアニメーションストリーム、および（３）マルチメディア情報を時間の経過につれて修正するための更新ストリームが含まれる。MPEM-4の最終承認された草案には（１）シーンに対するバイナリフォーマット（以降、“BIFS”という）での量子化、（２）BIFSを使用したアニメーション（以降、“BIFS-Anim”という）、および（３）BIFSを使用した更新制御（以降、“BIFS-Command”という）のためのサポートが含まれる。
【０００６】
BIFS下で量子化を使用することには、ノードおよびフィールドに量子化カテゴリーでタグ付けすることが含まれる。各ノードの各フィールドには量子化カテゴリーが割当てられ、このカテゴリーは、量子化プロセス中にパラメータ化するためにフィールドに量子化パラメータ構造が与えられるときに、フィールドに適用される。
【０００７】
BIFS-Animは、マルチメディアデータのストリーミングおよびファイルベースアニメーションのための符号化方法を規定している。BIFS-Animは、３つの基本的なコンポーネント：（１）シーングラフ、（２）アニメーションマスク、および（３）アニメーションフレームを含む。シーンは、（ａ）静止しているタグ付けされていないオブジェクトと、（ｂ）修正されるべきタグ付けされたオブジェクトとを含む。アニメーションマスクは、アニメーションストリームによって修正されるべきタグ付けされたオブジェクトのプロパティを設定する。
【０００８】
BIFS Commandは、ＢＩＦＳノードおよびシーングラフを更新するためのプロトコルである。これにより、シーン全体を別のものにより置換せよというコマンドを送るか、タグ付けされたオブジェクトのいくつかを除去するか、またはシーン中のタグ付けされたオブジェクトのプロパティの値を変えることによって、シーンに対する変更を送ることが可能になる。
【０００９】
【発明が解決しようとする課題】
本発明の目的は、ダイナミックプログラミングインターフェース、ならびに／あるいはマルチメディアコンテンツ用言語および／またはマルチメディア配置言語に対して拡張を提供することである。
【００１０】
本発明の別の目的は、アニメーション、修正、および量子化方法へのリンクを提供し、シーンを効率的に表現し、アニメーション化し、および修正できるようにシーンに対する新しいプロトタイプを提供することである。
【００１１】
【課題を解決するための手段】
本発明のこれらの目的およびその他の目的は、（１）ダイナミックインターフェースを使用してマルチメディアコンテンツを符号化する、コンピュータにより実現される方法、（２）ダイナミックインターフェースを使用してマルチメディアコンテンツを符号化するシステム、および（３）ダイナミックインターフェースを使用してマルチメディアコンテンツを符号化するコンピュータプログラム製品のうちの１つ以上のものによって達成される。
【００１２】
【発明の実施の形態】
本発明のより完璧な理解及びこれに付随する利点の多くは、特に、添付の図面とともに検討することによって、以下の詳細な説明を参照して容易に明らかになるだろう。
【００１３】
図面を参照すると、いくつかの図を通して同様の参照符号が同一または対応する部分を示している。図１は、ダイナミックインターフェースを使用してマルチメディアコンテンツを符号化するコンピュータシステムの概略図である。コンピュータ100は本発明の方法を実施し、コンピュータハウジング102はマザーボード104を収容している。マザーボード104は、CPU106、メモリ108（たとえば、DRAM，ROM，EPROM，EEPROM，SRAM，SDRAM，およびフラッシュRAM）、および他のオプション的な特定用途向け論理デバイス（たとえば、ASIC）または構成可能な論理デバイス（たとえば、GALおよび書き換え可能FPGA）を含む。コンピュータ100はさらに、複数の入力デバイス（たとえば、キーボード122およびマウス124）、およびモニタ120を制御するためのディスプレイカード110も含む。さらに、コンピュータシステム100は、フロッピー（登録商標）ディスクドライブ114、他の取外し可能な媒体デバイス（たとえば、コンパクトディスク119、テープ、および（示されていない）取外し可能な磁気光学媒体）、およびハードディスク112または適切なデバイスバス（たとえば、SCSIバス、強化されたIDEバス、またはウルトラDMAバス）を使用して接続され、固定された他の高密度媒体ドライブも備えている。また、同じデバイスバスまたは別のデバイスバスに接続されているものとして、コンピュータ100は、コンパクトディスク読出し装置118、（示されていない）コンパクトディスク読出し／書込みユニット、または（示されていない）コンパクトディスクジュークボックスをさらに備えていてもよい。コンパクトディスク119はCDキャディに入って示されているが、コンパクトディスク119はキャディを必要としないCD-ROMドライブ中に直接挿入することができる。別の実施形態では、本発明は（１）セットトップボックス、（２）ビデオボード、および／または（３）受信機／再生ユニットのうちの１つとして、またはそれらの組み合わせとして実現される。さらに別の実施形態では、マルチメディアコンテンツを符号化するインターフェースの印刷リストが（示されていない）プリンタにより提供される。
【００１４】
システムは、少なくとも１つのコンピュータ読出し可能媒体を含む。コンピュータ読出し可能媒体の例は、コンパクトディスク119、ハードディスク112、フロッピー（登録商標）ディスク、テープ、光磁気ディスク、PROM(EPROM，EEPROM，フラッシュEPROM)，DRAM，SRAM，SDRAMなどである。本発明は、コンピュータ読出し可能媒体の任意の１つまたはそれらの組み合わせに記憶されるソフトウェアを含み、このソフトウェアはコンピュータ100のハードウェアを制御し、コンピュータ100が人間のユーザと対話できるようにする。このようなソフトウェアには、デバイスドライバ、オペレーティングシステム、および開発ツールのようなユーザアプリケーションが含まれるが、それらに限定されない。これらのコンピュータ読出し可能媒体はさらに、ダイナミックインターフェースを使用してマルチメディアコンテンツを符号化するための本発明のコンピュータプログラム製品も含む。本発明のコンピュータコードデバイスは、スクリプト、翻訳プログラム、ダイナミックリンクライブラリ、Java（登録商標）クラス、および完全な実行可能プログラムを含む、任意の翻訳されたまたは実行可能なコードメカニズムとすることができるが、それらに限定されない。
【００１５】
図２に示されているように、マルチメディアストリームは本発明によって受け取られ、シーンコンポーネントとインターフェースコンポーネントとに復号化される。シーンコンポーネントは、（１）シーン中のデジタルオブジェクト、および（２）これらのオブジェクトがどのように更新されまたはアニメーション化されるかの両方に関する情報を含む。インターフェースコンポーネントは、復号化後に内部に記憶されるインターフェース定義を含んでおり、１つの実施形態では、この定義は少なくとも部分的にインターフェース符号化テーブルに記憶される。特に、インターフェース符号化テーブルは新しいインターフェースに結び付けられ、デジタルコンテンツ用言語（たとえば、MPEG-4 BIFSまたはVRML）の方法（たとえば、量子化、アニメーション、および更新方法）をシーンコンポーネントに適用するために、所定のインターフェース定義の符号化要素を記憶する。
【００１６】
インターフェース符号化テーブルは、次のような情報を含む。（１）更新モード、（２）アニメーションモード（すなわち、Animモード）、（３）量子化カテゴリー、（４）量子化パラメータ、および（５）アニメーションカテゴリーである。更新モードを使用して、任意のパラメータが“イン”タイプとして宣言できる。パラメータのタイプを黙示的あるいは明示的に定義付けすることをサポートする言語（たとえばVRML）では、パラメータは“イン”タイプとして別個に定義する必要はない。特にVRMLは、パラメータをEventIn、ExposedField、EventOutおよびFieldとして定義できるようにする。EventInおよびExposedFieldの両者は、定義により“イン”タイプパラメータである。“イン”タイプは、使用されるときに、（たとえば、BIFS-Commandストリームのような更新ストリームを通して）インターフェースがマルチメディアストリームからさらなる更新を受け取るかもしれないことを示す。Animモードは、対応するアニメーションカテゴリーでパラメータにタグを付けることにより、インターフェース中の任意のパラメータで動作できる。Quantモードも、対応する量子化カテゴリーでパラメータにタグを付け、オプション的で付加的な量子化パラメータを送信することにより、インターフェース中の任意のパラメータで動作できる。
【００１７】
マルチメディアストリームは、インターフェース符号化テーブル(ICT)情報を使用して、（１）量子化を制御し、（２）対応するインターフェースの一部分を更新し、（３）インターフェースを通してアニメーションを行うことができる。特に、インターフェースパラメータaiと関連付けられた量子化カテゴリーqc[i]は、ICT値qp[i]およびそのシーンからの他の背景情報を使用して適用される。これによりインターフェース宣言はほぼ最適に圧縮できる。“インモード”でタグ付けされた任意の所定のインターフェースパラメータaiは、所定の時点でインターフェースの値を修正する更新ストリームによって修正できる。インターフェースは、連続したアニメーションストリームを使用してアニメーション化され、値の１つを連続的に更新できる。その場合にはアニメーションカテゴリーac[i]が使用される。
【００１８】
インターフェース符号化テーブルはインターフェース宣言の一部分であり、図３において例示されている構造を有している。以下に特定のパラメータを示す。
ICT mask：各パラメータに対してどの情報が利用可能かを設定するためのブール値のマスク。
useQuant：各パラメータに対して量子化パラメータが送られるか否かを設定するためのブール。
useUpdate：“インモード”に関する情報が更新カテゴリー情報と同様に各パラメータに対して送られるか否かを設定するためのブール。上述したように、パラメータを更新できるか否かを独立に定義することをすでにサポートしている言語では、このパラメータはオプション的である。
useAnim：“ダイナミックモード”およびアニメーションカテゴリーに関する情報が各パラメータに対して送られるか否かを設定するためのブール。
【００１９】
インターフェース中の各パラメータaiに対して追加的な処理が行われる。以下でPROTOインターフェース定義を参照して説明するように、パラメータの数は変数“numFields”で指定される。したがって、以下の情報が各パラメータに対して（オプション的に）指定される：
In mode data：インターフェースのこのパラメータが“更新可能”か否かに関する情報。この情報はインターフェース宣言からも得られる。
quant category data：使用されるべき量子化カテゴリー。このデータは“useQuant”が真である場合に使用される。
quant parameter data：このカテゴリーに対する特定の量子化パラメータ。カテゴリーの特定の量子化／逆量子化方法にしたがった、最小値および最大値、ならびに圧縮に使用される情報。このデータは“useQuant”が真である場合に使用される。
anim parameter data：特定のフィールドに対して選択されたアニメーション方式。このデータは“useAnim”が真である場合に使用される。
【００２０】
MPEG-4およびVRMLを背景にすると、本発明は、新しいインターフェースをPROTOおよびEXTERNPROTOにより規定できるようにする。PROTOとEXTERNPROTOとの唯一の違いは、インターフェースを実現するコードが、第１の場合では同じ記述(PROTO)内に与えられる一方で、第２の場合は外部リソースに与えられる点である。
【００２１】
いずれの場合も、プロトタイプ宣言を持つICTの使用により、その後にノードを符号化、アニメーション化、および更新するために必要な全てのパラメータでフィールド宣言にタグを付けることができる。MPEG-4では、ICTは以下の情報を含む。（１）量子化カテゴリー（テーブル１参照）、（２）アニメーションカテゴリー（テーブル２参照）、および（３）（フィールドに対する最小値および最大値を含む）量子化パラメータである。
【００２２】
テーブル１：量子化カテゴリー
カテゴリー 説 明
０ なし
１ 3D位置
２ 2D位置
３ 描画順序
４ ＳＦ色
５ テクスチャ座標
６ 角度
７ スケール
８ 補間キー
９ 垂線
１０ 回転
１１ オブジェクトサイズ3D（１）
１２ オブジェクトサイズ2D（２）
１３ 線形スカラー量子化
１４ 座標インデックス
１５ 保留
【００２３】
テーブル２：アニメーションカテゴリー
カテゴリー 説 明
０ なし
１ 位置3D
２ 位置2D
３ 保留
４ 色
５ 保留
６ 角度
７ 浮動点
８ 境界浮動点
９ 垂線
１０ 回転
１１ サイズ3D
１２ サイズ2D
１３ 整数
１４ 保留
１５ 保留
【００２４】
PROTO定義とともにこの情報により、MPEG-4端末は、ノードを符号化し、更新し、およびアニメーション化するために必要なノード符号化テーブルを生成できる。以下にDirectionalLightノードのためのノード符号化テーブルの代表的な例を示す。最小値および最大値だけでなく量子化（Ｑ）およびアニメーション（Ａ）タイプが示されている。idは全て自動的にフィールド宣言から導出される。ノードデータタイプ（SFワールドノード、SF3Dノード）およびそれらの対応するidは、そのノードが使用されうる背景を決定するために使用される。PROTOは特定のノードカテゴリーを受け取る。
【表１】
【００２５】
テーブル４：MPEG-4タイプ
ブール ００００
浮動点 ０００１
時間 ００１０
ストリング ００１１
Int32 ０１００
ストリング ０１０１
Vec3f ０１１０
Vec2f ０１１１
色 １０００
回転 １００１
【００２６】
［バイナリシンタックス］
以下は、対応するインターフェース符号化テーブルを持つPROTO定義に対するバイナリシンタックスである。MPEG-4 MSDL言語にしたがって、バイナリビットストリームシンタックスが指定される。
【００２７】
【表２】
【表３】
【表４】
【００２８】
本発明の例示的な使用は、MPEG-4アプリケーションでPROTOタイプを用いて、共同作業的プロフェッショナルアプリケーションを実現する。このアプリケーションは、複数の技術者がモデル／設計（たとえば、ボートのモデル）に関して遠隔地から同時に作業できるようにしつつも、リアルタイムでその変化を見られるようにする。低ビットレートネットワーク接続に適合するために最も効率的に圧縮された伝送を使用する一方で、技術者は設計に関する実験を行い、全てのサイトがその実験の結果を同時に獲得するように望む。さらに、このシステムは、さまざまな設計に対応するように十分に一般的でなければならない。このアプリケーションに対してMPEG-4フレームワークを使用することにより、場合ごとに、特定かつ潜在的に部分最適なアプリケーションが設計される代わりに、全ての通信およびアプリケーション設計に対して一般的で効率的なフレームワークが得られる。
【００２９】
この例に関して、20,000個の頂点からなる10,000個の多角形を含む3Dのボートのモデルを仮定する。実験において、技術者はある風の結果生じるボートの変形を解析し、制御したいと考える。一般に変形は、たとえば風速および風向き、ならびに波の高さ等のいくつかのパラメータにより制御される。そして、ボートはMPEG-4強化PROTOとして定義され、新しい値を受信すると、PROTO内のスクリプトが新しい頂点パラメータを計算する。このようにして、技術者はライブシミュレーションを実行し、20,000個の頂点を再送する代わりに、最適に符号化されたいくつかのパラメータだけをBIFS-Animプロトコルを使用して送信できる。さらに、新しい結果がテストされるたびに、技術者はBIFS-Commandプロトコルを使用して新しいパラメータセットを送信するだけでよい。
【００３０】
この例に基づくと、以下のPROTOタイプが規定できる：
【表５】
【００３１】
［ICTパラメータ］
以下の符号化パラメータがICTで関連付けられる。
【００３２】
【表６】
【００３３】
さらなる機能を付加することに加えて、本発明はより効率的に符号化されたビットストリームを生成する。ビットレートの比較は、PROTOインターフェースを使用して送信された情報と、PROTOインターフェースを使用せずに送信された情報とを比較することで行われる。PROTOインスタンシエーション（シーン中にボートを入れる）、PROTO更新（値を遠隔的に変更する）、またはアニメーションに対して、利得を測定することができる。送信されるデータごとのバイトのサイズが比較される。ICTのない通常のPROTOが使用された場合には、更新およびアニメーション機能は利用できないことを留意すべきである。
【００３４】
【表７】
【００３５】
第２の例として、本発明は弾むボールをアニメーション化するために利用できる。コマンドストリームを送って各フレーム中のボールの各多角形を更新する代わりに、アニメーションを制御するインターフェースが生成される。このインターフェースは、地面からのボールの高さを制御するパラメータを規定する。ボールをアニメーション化するために、フレームごとに高さパラメータを変更するだけでよい。すなわち、インターフェースのスクリプトが頂点の実際の更新を行う。同様に、ボールインターフェースが色に関する第２のパラメータを含んでいた場合には、多角形の色を個々にアニメーション化することによってではなく、スクリプトによって各多角形の色が変更される。
【００３６】
以上、言語によって提供される本来の方法を拡張するインターフェースに関して本発明を説明してきたが、本発明はインターフェースに対するインターフェースを提供することにさらに向けられる。オブジェクトがスーパークラスから性質を受け継ぐように、インターフェースもまたより前にインスタンシエーションされたインターフェースから機能を受け継ぐことができる。
【００３７】
当業者に明らかなように、本発明の方法およびシステムは、本発明の精神を逸脱することなく、ここに明確に記載された以外に実施されてよい。したがって、本発明はこの明細書により何等制限を受けず、請求の範囲の技術的範囲によってのみ本発明の限界が規定される。
【図面の簡単な説明】
【図１】 本発明の方法を実現するコンピュータの概略図。
【図２】 インターフェース宣言とシーン宣言との間の相互関係のブロック図。
【図３】 インターフェース宣言の擬似符号例を示す図。
【発明の属する技術分野】
本発明は、コンピュータで生成されたイメージシーケンスを符号化する改良された方法に関し、特に、ビデオストリームの一部分がどのように量子化され、アニメーション化され、またはそうでなければ更新されるのかを符号化するプロトタイプの使用に関する。
【０００２】
【従来の技術】
多くのコンピュータ生成イメージはこれまで、全てのフレーム中の全ての画素を一緒に指定することによって生成されていたが、新しいコンピュータイメージシーケンスは、複数のマルチメディアオブジェクト（たとえば、ビデオと2D-または3Dグラフィックスプリミティブ）を組み合わせ、ときには１つ以上のサウンドトラックと組み合わせることによって生成されることが多い。マルチメディアの分野では、イメージおよび／またはシーンは言語を使用して構成される。たとえば、ハイパーテキストマークアップ言語(HTML)は、テキストとグラフィックスの２次元(2D)構成を規定する。同様に、バーチャルリアリティマークアップ言語(VRML)は３次元(3D)ワールドを記述する。
【０００３】
マルチメディア言語は現在、構成されたイメージのダイナミックな変更のための拡張機能も含む。HTMLは現在、ダイナミックHTML(DHTML)拡張機能を含む。これは、Danny Goodman氏による“Dynamic HTML: The Definitive Reference,”O'Reilly & Associates, Inc., 1998年出版、などに記載されており、この文献の内容は参照によりここに組み込まれている。さらに、HTML用のXML拡張機能は、本来の言語がどのように修正または拡張されるかを記述するためのメタ言語を提供する。
【０００４】
同様に、VRMLは新しいプリミティブを“プロトタイプ化”することができる“PROTO”定義のためのサポートを含む。定義の一部分は、新しくプロトタイプ化される機能を提供するために、VRML環境によって実行される１つまたは複数のコードブロックである。
【０００５】
モーションピクチャーズエキスパートグループ(MPEG)は、イメージストリームの符号化および復号化に必要な技術を研究するために形成された。結果的に得られた標準規格（現在“MREG-1”と呼ばれている）は、２つの追加的なMPEG-2およびMPEG-4標準規格の基礎として機能している。MPEG-4は、“進行中”の標準規格である。委員会の最終的な草案は、ISO/IEC FCD 14496-1 MPEG-4システムおよび-2 MPEM-4ビジュアルであり、委員会の最終草案の内容は参照によりここに取り込まれている。これらの草案には、マルチメディアコンテンツを符号化するさまざまな方法が含まれている。このような方法には、（１）シーンパラメータに対する量子化方法、（２）マルチメディアシーンを符号化して送信するアニメーションストリーム、および（３）マルチメディア情報を時間の経過につれて修正するための更新ストリームが含まれる。MPEM-4の最終承認された草案には（１）シーンに対するバイナリフォーマット（以降、“BIFS”という）での量子化、（２）BIFSを使用したアニメーション（以降、“BIFS-Anim”という）、および（３）BIFSを使用した更新制御（以降、“BIFS-Command”という）のためのサポートが含まれる。
【０００６】
BIFS下で量子化を使用することには、ノードおよびフィールドに量子化カテゴリーでタグ付けすることが含まれる。各ノードの各フィールドには量子化カテゴリーが割当てられ、このカテゴリーは、量子化プロセス中にパラメータ化するためにフィールドに量子化パラメータ構造が与えられるときに、フィールドに適用される。
【０００７】
BIFS-Animは、マルチメディアデータのストリーミングおよびファイルベースアニメーションのための符号化方法を規定している。BIFS-Animは、３つの基本的なコンポーネント：（１）シーングラフ、（２）アニメーションマスク、および（３）アニメーションフレームを含む。シーンは、（ａ）静止しているタグ付けされていないオブジェクトと、（ｂ）修正されるべきタグ付けされたオブジェクトとを含む。アニメーションマスクは、アニメーションストリームによって修正されるべきタグ付けされたオブジェクトのプロパティを設定する。
【０００８】
BIFS Commandは、ＢＩＦＳノードおよびシーングラフを更新するためのプロトコルである。これにより、シーン全体を別のものにより置換せよというコマンドを送るか、タグ付けされたオブジェクトのいくつかを除去するか、またはシーン中のタグ付けされたオブジェクトのプロパティの値を変えることによって、シーンに対する変更を送ることが可能になる。
【０００９】
【発明が解決しようとする課題】
本発明の目的は、ダイナミックプログラミングインターフェース、ならびに／あるいはマルチメディアコンテンツ用言語および／またはマルチメディア配置言語に対して拡張を提供することである。
【００１０】
本発明の別の目的は、アニメーション、修正、および量子化方法へのリンクを提供し、シーンを効率的に表現し、アニメーション化し、および修正できるようにシーンに対する新しいプロトタイプを提供することである。
【００１１】
【課題を解決するための手段】
本発明のこれらの目的およびその他の目的は、（１）ダイナミックインターフェースを使用してマルチメディアコンテンツを符号化する、コンピュータにより実現される方法、（２）ダイナミックインターフェースを使用してマルチメディアコンテンツを符号化するシステム、および（３）ダイナミックインターフェースを使用してマルチメディアコンテンツを符号化するコンピュータプログラム製品のうちの１つ以上のものによって達成される。
【００１２】
【発明の実施の形態】
本発明のより完璧な理解及びこれに付随する利点の多くは、特に、添付の図面とともに検討することによって、以下の詳細な説明を参照して容易に明らかになるだろう。
【００１３】
図面を参照すると、いくつかの図を通して同様の参照符号が同一または対応する部分を示している。図１は、ダイナミックインターフェースを使用してマルチメディアコンテンツを符号化するコンピュータシステムの概略図である。コンピュータ100は本発明の方法を実施し、コンピュータハウジング102はマザーボード104を収容している。マザーボード104は、CPU106、メモリ108（たとえば、DRAM，ROM，EPROM，EEPROM，SRAM，SDRAM，およびフラッシュRAM）、および他のオプション的な特定用途向け論理デバイス（たとえば、ASIC）または構成可能な論理デバイス（たとえば、GALおよび書き換え可能FPGA）を含む。コンピュータ100はさらに、複数の入力デバイス（たとえば、キーボード122およびマウス124）、およびモニタ120を制御するためのディスプレイカード110も含む。さらに、コンピュータシステム100は、フロッピー（登録商標）ディスクドライブ114、他の取外し可能な媒体デバイス（たとえば、コンパクトディスク119、テープ、および（示されていない）取外し可能な磁気光学媒体）、およびハードディスク112または適切なデバイスバス（たとえば、SCSIバス、強化されたIDEバス、またはウルトラDMAバス）を使用して接続され、固定された他の高密度媒体ドライブも備えている。また、同じデバイスバスまたは別のデバイスバスに接続されているものとして、コンピュータ100は、コンパクトディスク読出し装置118、（示されていない）コンパクトディスク読出し／書込みユニット、または（示されていない）コンパクトディスクジュークボックスをさらに備えていてもよい。コンパクトディスク119はCDキャディに入って示されているが、コンパクトディスク119はキャディを必要としないCD-ROMドライブ中に直接挿入することができる。別の実施形態では、本発明は（１）セットトップボックス、（２）ビデオボード、および／または（３）受信機／再生ユニットのうちの１つとして、またはそれらの組み合わせとして実現される。さらに別の実施形態では、マルチメディアコンテンツを符号化するインターフェースの印刷リストが（示されていない）プリンタにより提供される。
【００１４】
システムは、少なくとも１つのコンピュータ読出し可能媒体を含む。コンピュータ読出し可能媒体の例は、コンパクトディスク119、ハードディスク112、フロッピー（登録商標）ディスク、テープ、光磁気ディスク、PROM(EPROM，EEPROM，フラッシュEPROM)，DRAM，SRAM，SDRAMなどである。本発明は、コンピュータ読出し可能媒体の任意の１つまたはそれらの組み合わせに記憶されるソフトウェアを含み、このソフトウェアはコンピュータ100のハードウェアを制御し、コンピュータ100が人間のユーザと対話できるようにする。このようなソフトウェアには、デバイスドライバ、オペレーティングシステム、および開発ツールのようなユーザアプリケーションが含まれるが、それらに限定されない。これらのコンピュータ読出し可能媒体はさらに、ダイナミックインターフェースを使用してマルチメディアコンテンツを符号化するための本発明のコンピュータプログラム製品も含む。本発明のコンピュータコードデバイスは、スクリプト、翻訳プログラム、ダイナミックリンクライブラリ、Java（登録商標）クラス、および完全な実行可能プログラムを含む、任意の翻訳されたまたは実行可能なコードメカニズムとすることができるが、それらに限定されない。
【００１５】
図２に示されているように、マルチメディアストリームは本発明によって受け取られ、シーンコンポーネントとインターフェースコンポーネントとに復号化される。シーンコンポーネントは、（１）シーン中のデジタルオブジェクト、および（２）これらのオブジェクトがどのように更新されまたはアニメーション化されるかの両方に関する情報を含む。インターフェースコンポーネントは、復号化後に内部に記憶されるインターフェース定義を含んでおり、１つの実施形態では、この定義は少なくとも部分的にインターフェース符号化テーブルに記憶される。特に、インターフェース符号化テーブルは新しいインターフェースに結び付けられ、デジタルコンテンツ用言語（たとえば、MPEG-4 BIFSまたはVRML）の方法（たとえば、量子化、アニメーション、および更新方法）をシーンコンポーネントに適用するために、所定のインターフェース定義の符号化要素を記憶する。
【００１６】
インターフェース符号化テーブルは、次のような情報を含む。（１）更新モード、（２）アニメーションモード（すなわち、Animモード）、（３）量子化カテゴリー、（４）量子化パラメータ、および（５）アニメーションカテゴリーである。更新モードを使用して、任意のパラメータが“イン”タイプとして宣言できる。パラメータのタイプを黙示的あるいは明示的に定義付けすることをサポートする言語（たとえばVRML）では、パラメータは“イン”タイプとして別個に定義する必要はない。特にVRMLは、パラメータをEventIn、ExposedField、EventOutおよびFieldとして定義できるようにする。EventInおよびExposedFieldの両者は、定義により“イン”タイプパラメータである。“イン”タイプは、使用されるときに、（たとえば、BIFS-Commandストリームのような更新ストリームを通して）インターフェースがマルチメディアストリームからさらなる更新を受け取るかもしれないことを示す。Animモードは、対応するアニメーションカテゴリーでパラメータにタグを付けることにより、インターフェース中の任意のパラメータで動作できる。Quantモードも、対応する量子化カテゴリーでパラメータにタグを付け、オプション的で付加的な量子化パラメータを送信することにより、インターフェース中の任意のパラメータで動作できる。
【００１７】
マルチメディアストリームは、インターフェース符号化テーブル(ICT)情報を使用して、（１）量子化を制御し、（２）対応するインターフェースの一部分を更新し、（３）インターフェースを通してアニメーションを行うことができる。特に、インターフェースパラメータaiと関連付けられた量子化カテゴリーqc[i]は、ICT値qp[i]およびそのシーンからの他の背景情報を使用して適用される。これによりインターフェース宣言はほぼ最適に圧縮できる。“インモード”でタグ付けされた任意の所定のインターフェースパラメータaiは、所定の時点でインターフェースの値を修正する更新ストリームによって修正できる。インターフェースは、連続したアニメーションストリームを使用してアニメーション化され、値の１つを連続的に更新できる。その場合にはアニメーションカテゴリーac[i]が使用される。
【００１８】
インターフェース符号化テーブルはインターフェース宣言の一部分であり、図３において例示されている構造を有している。以下に特定のパラメータを示す。
ICT mask：各パラメータに対してどの情報が利用可能かを設定するためのブール値のマスク。
useQuant：各パラメータに対して量子化パラメータが送られるか否かを設定するためのブール。
useUpdate：“インモード”に関する情報が更新カテゴリー情報と同様に各パラメータに対して送られるか否かを設定するためのブール。上述したように、パラメータを更新できるか否かを独立に定義することをすでにサポートしている言語では、このパラメータはオプション的である。
useAnim：“ダイナミックモード”およびアニメーションカテゴリーに関する情報が各パラメータに対して送られるか否かを設定するためのブール。
【００１９】
インターフェース中の各パラメータaiに対して追加的な処理が行われる。以下でPROTOインターフェース定義を参照して説明するように、パラメータの数は変数“numFields”で指定される。したがって、以下の情報が各パラメータに対して（オプション的に）指定される：
In mode data：インターフェースのこのパラメータが“更新可能”か否かに関する情報。この情報はインターフェース宣言からも得られる。
quant category data：使用されるべき量子化カテゴリー。このデータは“useQuant”が真である場合に使用される。
quant parameter data：このカテゴリーに対する特定の量子化パラメータ。カテゴリーの特定の量子化／逆量子化方法にしたがった、最小値および最大値、ならびに圧縮に使用される情報。このデータは“useQuant”が真である場合に使用される。
anim parameter data：特定のフィールドに対して選択されたアニメーション方式。このデータは“useAnim”が真である場合に使用される。
【００２０】
MPEG-4およびVRMLを背景にすると、本発明は、新しいインターフェースをPROTOおよびEXTERNPROTOにより規定できるようにする。PROTOとEXTERNPROTOとの唯一の違いは、インターフェースを実現するコードが、第１の場合では同じ記述(PROTO)内に与えられる一方で、第２の場合は外部リソースに与えられる点である。
【００２１】
いずれの場合も、プロトタイプ宣言を持つICTの使用により、その後にノードを符号化、アニメーション化、および更新するために必要な全てのパラメータでフィールド宣言にタグを付けることができる。MPEG-4では、ICTは以下の情報を含む。（１）量子化カテゴリー（テーブル１参照）、（２）アニメーションカテゴリー（テーブル２参照）、および（３）（フィールドに対する最小値および最大値を含む）量子化パラメータである。
【００２２】
テーブル１：量子化カテゴリー
カテゴリー 説 明
０ なし
１ 3D位置
２ 2D位置
３ 描画順序
４ ＳＦ色
５ テクスチャ座標
６ 角度
７ スケール
８ 補間キー
９ 垂線
１０ 回転
１１ オブジェクトサイズ3D（１）
１２ オブジェクトサイズ2D（２）
１３ 線形スカラー量子化
１４ 座標インデックス
１５ 保留
【００２３】
テーブル２：アニメーションカテゴリー
カテゴリー 説 明
０ なし
１ 位置3D
２ 位置2D
３ 保留
４ 色
５ 保留
６ 角度
７ 浮動点
８ 境界浮動点
９ 垂線
１０ 回転
１１ サイズ3D
１２ サイズ2D
１３ 整数
１４ 保留
１５ 保留
【００２４】
PROTO定義とともにこの情報により、MPEG-4端末は、ノードを符号化し、更新し、およびアニメーション化するために必要なノード符号化テーブルを生成できる。以下にDirectionalLightノードのためのノード符号化テーブルの代表的な例を示す。最小値および最大値だけでなく量子化（Ｑ）およびアニメーション（Ａ）タイプが示されている。idは全て自動的にフィールド宣言から導出される。ノードデータタイプ（SFワールドノード、SF3Dノード）およびそれらの対応するidは、そのノードが使用されうる背景を決定するために使用される。PROTOは特定のノードカテゴリーを受け取る。
【表１】
テーブル４：MPEG-4タイプ
ブール ００００
浮動点 ０００１
時間 ００１０
ストリング ００１１
Int32 ０１００
ストリング ０１０１
Vec3f ０１１０
Vec2f ０１１１
色 １０００
回転 １００１
【００２６】
［バイナリシンタックス］
以下は、対応するインターフェース符号化テーブルを持つPROTO定義に対するバイナリシンタックスである。MPEG-4 MSDL言語にしたがって、バイナリビットストリームシンタックスが指定される。
【００２７】
【表２】
本発明の例示的な使用は、MPEG-4アプリケーションでPROTOタイプを用いて、共同作業的プロフェッショナルアプリケーションを実現する。このアプリケーションは、複数の技術者がモデル／設計（たとえば、ボートのモデル）に関して遠隔地から同時に作業できるようにしつつも、リアルタイムでその変化を見られるようにする。低ビットレートネットワーク接続に適合するために最も効率的に圧縮された伝送を使用する一方で、技術者は設計に関する実験を行い、全てのサイトがその実験の結果を同時に獲得するように望む。さらに、このシステムは、さまざまな設計に対応するように十分に一般的でなければならない。このアプリケーションに対してMPEG-4フレームワークを使用することにより、場合ごとに、特定かつ潜在的に部分最適なアプリケーションが設計される代わりに、全ての通信およびアプリケーション設計に対して一般的で効率的なフレームワークが得られる。
【００２９】
この例に関して、20,000個の頂点からなる10,000個の多角形を含む3Dのボートのモデルを仮定する。実験において、技術者はある風の結果生じるボートの変形を解析し、制御したいと考える。一般に変形は、たとえば風速および風向き、ならびに波の高さ等のいくつかのパラメータにより制御される。そして、ボートはMPEG-4強化PROTOとして定義され、新しい値を受信すると、PROTO内のスクリプトが新しい頂点パラメータを計算する。このようにして、技術者はライブシミュレーションを実行し、20,000個の頂点を再送する代わりに、最適に符号化されたいくつかのパラメータだけをBIFS-Animプロトコルを使用して送信できる。さらに、新しい結果がテストされるたびに、技術者はBIFS-Commandプロトコルを使用して新しいパラメータセットを送信するだけでよい。
【００３０】
この例に基づくと、以下のPROTOタイプが規定できる：
【表５】
［ICTパラメータ］
以下の符号化パラメータがICTで関連付けられる。
【００３２】
【表６】
さらなる機能を付加することに加えて、本発明はより効率的に符号化されたビットストリームを生成する。ビットレートの比較は、PROTOインターフェースを使用して送信された情報と、PROTOインターフェースを使用せずに送信された情報とを比較することで行われる。PROTOインスタンシエーション（シーン中にボートを入れる）、PROTO更新（値を遠隔的に変更する）、またはアニメーションに対して、利得を測定することができる。送信されるデータごとのバイトのサイズが比較される。ICTのない通常のPROTOが使用された場合には、更新およびアニメーション機能は利用できないことを留意すべきである。
【００３４】
【表７】
第２の例として、本発明は弾むボールをアニメーション化するために利用できる。コマンドストリームを送って各フレーム中のボールの各多角形を更新する代わりに、アニメーションを制御するインターフェースが生成される。このインターフェースは、地面からのボールの高さを制御するパラメータを規定する。ボールをアニメーション化するために、フレームごとに高さパラメータを変更するだけでよい。すなわち、インターフェースのスクリプトが頂点の実際の更新を行う。同様に、ボールインターフェースが色に関する第２のパラメータを含んでいた場合には、多角形の色を個々にアニメーション化することによってではなく、スクリプトによって各多角形の色が変更される。
【００３６】
以上、言語によって提供される本来の方法を拡張するインターフェースに関して本発明を説明してきたが、本発明はインターフェースに対するインターフェースを提供することにさらに向けられる。オブジェクトがスーパークラスから性質を受け継ぐように、インターフェースもまたより前にインスタンシエーションされたインターフェースから機能を受け継ぐことができる。
【００３７】
当業者に明らかなように、本発明の方法およびシステムは、本発明の精神を逸脱することなく、ここに明確に記載された以外に実施されてよい。したがって、本発明はこの明細書により何等制限を受けず、請求の範囲の技術的範囲によってのみ本発明の限界が規定される。
【図面の簡単な説明】
【図１】 本発明の方法を実現するコンピュータの概略図。
【図２】 インターフェース宣言とシーン宣言との間の相互関係のブロック図。
【図３】 インターフェース宣言の擬似符号例を示す図。
Claims (14)
- デジタルコンテンツ用言語の機能を拡張するマルチメディアシステムにおいて
プロセッサと、
イメージストリームをデジタル的に符号化するために使用されるデジタルコンテンツ用言語を記憶する第１のメモリと、
イメージストリームのデジタルオブジェクトと、デジタルコンテンツ用言語の符号化機能を拡張するためにプロセッサによって実行されるべきインターフェースのプロトタイプとを記憶する第２のメモリとを具備し、
インターフェースは、プロセッサによって実行されるときに、記憶されているデジタルコンテンツ用言語を利用して、（ａ）イメージストリーム中のデジタルオブジェクトの値をパラメータ的に量子化すること、（ｂ）イメージストリームのデジタルオブジェクトをパラメータ的にアニメーション化すること、および（ｃ）イメージストリームのデジタルオブジェクトをパラメータ的に更新すること、の内の少なくとも１つを行うソフトウェアメカニズムを含むマルチメディアシステム。 - デジタルコンテンツ用言語は、プロトタイプの拡張機能を含むバーチャルリアリティマークアップ言語である請求項１記載のシステム。
- MPEG-4最終草案標準規格ＢＩＦＳプロトコル用のデコーダをさらに具備し、デコーダは復号化された値をインターフェースのプロトタイプに送る請求項１記載のシステム。
- 第１のメモリは不揮発性メモリを含む請求項１記載のシステム。
- 第２のメモリは書き換え可能メモリを含む請求項１記載のシステム。
- デジタルコンテンツ用言語はMPEG-4に準拠したデジタルコンテンツ用言語を含む請求項１記載のシステム。
- ビデオ入力ストリームを受信する受信機によって実行される、ビデオ出力を生成する方法において、
デジタルオブジェクトと、ビデオ入力ストリーム中のデジタルオブジェクトをデジタル的に符号化するために使用されるデジタルコンテンツ用言語の符号化機能を拡張するインターフェースのプロトタイプとをビデオ入力ストリーム中で受信し、インターフェースは、プロセッサによって実行されるときに、デジタルコンテンツ用言語を利用して、（ａ）ビデオ入力ストリーム中のデジタルオブジェクトの値をパラメータ的に量子化すること、（ｂ）ビデオ入力ストリーム中のデジタルオブジェクトをパラメータ的にアニメーション化すること、および（ｃ）ビデオ入力ストリームのデジタルオブジェクトをパラメータ的に更新すること、の内の少なくとも１つを行うソフトウェアメカニズムを含むことと、
プロセッサにおいてソフトウェアメカニズムを実行することによって、（ａ）ビデオ入力ストリーム中のデジタルオブジェクトの値をパラメータ的に量子化すること、（ｂ）ビデオ入力ストリーム中のデジタルオブジェクトをパラメータ的にアニメーション化すること、および（ｃ）ビデオ入力ストリームのデジタルオブジェクトをパラメータ的に更新すること、の内の少なくとも１つを実行してビデオ出力を生成することとを含むビデオ出力の生成方法。 - デジタルコンテンツ用言語は、プロトタイプ拡張機能を含むバーチャルリアリティマークアップ言語を含む請求項７記載の方法。
- デジタルコンテンツ用言語は、MPEG-4に準拠したデジタルコンテンツ用言語を含む請求項７記載の方法。
- デジタルコンテンツ用言語は、BIFSプロトコルを使用するMPEG-4に準拠したデジタルコンテンツ用言語を含む請求項７記載の方法。
- ビデオ入力ストリームを受信し、ビデオ出力を生成する受信機において、
デジタルオブジェクトと、ビデオ入力ストリーム中のデジタルオブジェクトをデジタル的に符号化するために使用されるデジタルコンテンツ用言語の符号化機能を拡張するインターフェースのプロトタイプとをビデオ入力ストリーム中で受信し、インターフェースは、プロセッサによって実行されるときに、デジタルコンテンツ用言語を利用して、（ａ）ビデオ入力ストリーム中のデジタルオブジェクトの値をパラメータ的に量子化すること、（ｂ）ビデオ入力ストリーム中のデジタルオブジェクトをパラメータ的にアニメーション化すること、および（ｃ）ビデオ入力ストリーム中のデジタルオブジェクトをパラメータ的に更新すること、の内の少なくとも１つを行うソフトウェアメカニズムを含む手段と、
プロセッサにおいてソフトウェアメカニズムを実行することによって、（ａ）ビデオ入力ストリーム中のデジタルオブジェクトの値をパラメータ的に量子化すること、（ｂ）ビデオ入力ストリームのデジタルオブジェクトをパラメータ的にアニメーション化すること、および（ｃ）ビデオ入力ストリームのデジタルオブジェクトをパラメータ的に更新すること、の内の少なくとも１つを実行してビデオ出力を生成する手段とを具備する受信機。 - デジタルコンテンツ用言語は、プロトタイプ拡張機能を含むバーチャルリアリティマークアップ言語を含む請求項１１記載の受信機。
- デジタルコンテンツ用言語は、MPEG-4に準拠したデジタルコンテンツ用言語を含む請求項１１記載の受信機。
- デジタルコンテンツ用言語は、BIFSプロトコルを使用するMPEG-4に準拠したデジタルコンテンツ用言語を含む請求項１１記載の受信機。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US09/205,192 US6195088B1 (en) | 1998-12-04 | 1998-12-04 | Method and system for controlling multimedia streams using dynamic prototypes |
| US09/205,192 | 1998-12-04 | ||
| PCT/US1999/026031 WO2000034922A1 (en) | 1998-12-04 | 1999-11-30 | Method and system for controlling multimedia streams using dynamic prototypes |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006317220A Division JP2007151119A (ja) | 1998-12-04 | 2006-11-24 | ダイナミックプロトタイプを使用してマルチマディアストリームを制御する方法およびシステム |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2002532924A JP2002532924A (ja) | 2002-10-02 |
| JP2002532924A5 JP2002532924A5 (ja) | 2006-02-09 |
| JP3908462B2 true JP3908462B2 (ja) | 2007-04-25 |
Family
ID=22761189
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000587310A Expired - Fee Related JP3908462B2 (ja) | 1998-12-04 | 1999-11-30 | ダイナミックプロトタイプを使用してマルチマディアストリームを制御する方法およびシステム |
| JP2006317220A Withdrawn JP2007151119A (ja) | 1998-12-04 | 2006-11-24 | ダイナミックプロトタイプを使用してマルチマディアストリームを制御する方法およびシステム |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006317220A Withdrawn JP2007151119A (ja) | 1998-12-04 | 2006-11-24 | ダイナミックプロトタイプを使用してマルチマディアストリームを制御する方法およびシステム |
Country Status (11)
| Country | Link |
|---|---|
| US (1) | US6195088B1 (ja) |
| EP (1) | EP1138024A4 (ja) |
| JP (2) | JP3908462B2 (ja) |
| KR (1) | KR100510221B1 (ja) |
| CN (1) | CN1203454C (ja) |
| AU (1) | AU753885B2 (ja) |
| BR (1) | BRPI9915937B1 (ja) |
| CA (1) | CA2352293C (ja) |
| IL (1) | IL143437A0 (ja) |
| NO (1) | NO319076B1 (ja) |
| WO (1) | WO2000034922A1 (ja) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6654931B1 (en) | 1998-01-27 | 2003-11-25 | At&T Corp. | Systems and methods for playing, browsing and interacting with MPEG-4 coded audio-visual objects |
| US6934906B1 (en) | 1999-07-08 | 2005-08-23 | At&T Corp. | Methods and apparatus for integrating external applications into an MPEG-4 scene |
| US7085995B2 (en) * | 2000-01-26 | 2006-08-01 | Sony Corporation | Information processing apparatus and processing method and program storage medium |
| WO2001056281A1 (fr) * | 2000-01-26 | 2001-08-02 | Sony Corporation | Procede et systeme informatique et support d'enregistrement de programmes |
| US6833840B2 (en) * | 2000-02-14 | 2004-12-21 | Optibase Ltd | PROTO implementation in MPEG-4 |
| EP1134702A3 (en) * | 2000-03-14 | 2003-10-29 | Samsung Electronics Co., Ltd. | Method for processing nodes in 3D scene and apparatus thereof |
| US8296805B2 (en) * | 2000-05-30 | 2012-10-23 | Sony Corporation | Command description scheme providing for dynamic update of instance documents and their associated schema |
| DE10030764A1 (de) * | 2000-06-23 | 2002-01-10 | Realspace Gmbh | Verfahren, Computerprogrammprodukt, Computersystem, Netzwerkserver und Netzwerkclient zur Erzeugung einer veränderlichen Darstellung eines Objektes |
| US20020120652A1 (en) * | 2000-10-20 | 2002-08-29 | Rising Hawley K. | Two-stage mapping for application specific markup and binary encoding |
| EP1258837A1 (en) * | 2001-05-14 | 2002-11-20 | Thomson Licensing S.A. | Method to generate mutual photometric effects |
| US7290057B2 (en) * | 2002-08-20 | 2007-10-30 | Microsoft Corporation | Media streaming of web content data |
| US6937244B2 (en) * | 2003-09-23 | 2005-08-30 | Zhou (Mike) Hong | Apparatus and method for reducing the memory traffic of a graphics rendering system |
| KR20050034811A (ko) * | 2003-10-10 | 2005-04-15 | 한국전자통신연구원 | 이질적 환경 하에서 멀티미디어 서비스의 서비스질 지원을위한 시스템적인 형식 변환 방법 및 시스템 |
| KR100695126B1 (ko) * | 2003-12-02 | 2007-03-14 | 삼성전자주식회사 | 그래픽 데이터 압축에 관한 메타표현을 이용한 입력파일생성 방법 및 시스템과, ａｆｘ부호화 방법 및 장치 |
| US7739599B2 (en) * | 2005-09-23 | 2010-06-15 | Microsoft Corporation | Automatic capturing and editing of a video |
| US7643673B2 (en) | 2006-06-12 | 2010-01-05 | Google Inc. | Markup language for interactive geographic information system |
| US7945142B2 (en) | 2006-06-15 | 2011-05-17 | Microsoft Corporation | Audio/visual editing tool |
| CN101715145B (zh) * | 2008-10-06 | 2012-08-15 | 辉达公司 | 利用级联存储器评估处理能力的设备和方法 |
| KR101685922B1 (ko) * | 2010-04-05 | 2016-12-13 | 삼성전자주식회사 | 가상 세계 처리 장치 및 방법 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6002803A (en) * | 1997-03-11 | 1999-12-14 | Sharp Laboratories Of America, Inc. | Methods of coding the order information for multiple-layer vertices |
| US6031548A (en) * | 1997-06-13 | 2000-02-29 | International Business Machines Corporation | Progressive multi-level transmission and display of triangular meshes |
| US5956039A (en) * | 1997-07-25 | 1999-09-21 | Platinum Technology Ip, Inc. | System and method for increasing performance by efficient use of limited resources via incremental fetching, loading and unloading of data assets of three-dimensional worlds based on transient asset priorities |
| US5999944A (en) * | 1998-02-27 | 1999-12-07 | Oracle Corporation | Method and apparatus for implementing dynamic VRML |
| US6031872A (en) * | 1998-06-16 | 2000-02-29 | Daewoo Electronics Co., Ltd. | Method and apparatus for encoding a video signal |
-
1998
- 1998-12-04 US US09/205,192 patent/US6195088B1/en not_active Expired - Lifetime
-
1999
- 1999-11-30 JP JP2000587310A patent/JP3908462B2/ja not_active Expired - Fee Related
- 1999-11-30 EP EP99962696A patent/EP1138024A4/en not_active Withdrawn
- 1999-11-30 WO PCT/US1999/026031 patent/WO2000034922A1/en not_active Application Discontinuation
- 1999-11-30 AU AU19088/00A patent/AU753885B2/en not_active Ceased
- 1999-11-30 IL IL14343799A patent/IL143437A0/xx unknown
- 1999-11-30 BR BRPI9915937A patent/BRPI9915937B1/pt not_active IP Right Cessation
- 1999-11-30 KR KR10-2001-7006916A patent/KR100510221B1/ko not_active IP Right Cessation
- 1999-11-30 CN CNB998140759A patent/CN1203454C/zh not_active Expired - Fee Related
- 1999-11-30 CA CA002352293A patent/CA2352293C/en not_active Expired - Fee Related
-
2001
- 2001-06-01 NO NO20012722A patent/NO319076B1/no not_active IP Right Cessation
-
2006
- 2006-11-24 JP JP2006317220A patent/JP2007151119A/ja not_active Withdrawn
Also Published As
| Publication number | Publication date |
|---|---|
| CN1203454C (zh) | 2005-05-25 |
| EP1138024A4 (en) | 2005-06-29 |
| CN1329737A (zh) | 2002-01-02 |
| IL143437A0 (en) | 2002-04-21 |
| WO2000034922A1 (en) | 2000-06-15 |
| JP2002532924A (ja) | 2002-10-02 |
| NO319076B1 (no) | 2005-06-13 |
| BR9915937A (pt) | 2001-08-21 |
| NO20012722D0 (no) | 2001-06-01 |
| BRPI9915937B1 (pt) | 2016-05-10 |
| AU1908800A (en) | 2000-06-26 |
| CA2352293C (en) | 2009-09-15 |
| EP1138024A1 (en) | 2001-10-04 |
| NO20012722L (no) | 2001-07-30 |
| CA2352293A1 (en) | 2000-06-15 |
| US6195088B1 (en) | 2001-02-27 |
| KR20010103709A (ko) | 2001-11-23 |
| JP2007151119A (ja) | 2007-06-14 |
| AU753885B2 (en) | 2002-10-31 |
| KR100510221B1 (ko) | 2005-08-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2007151119A (ja) | ダイナミックプロトタイプを使用してマルチマディアストリームを制御する方法およびシステム | |
| JP4444943B2 (ja) | データアレイの予測符号化方法およびシステム | |
| Abrantes et al. | MPEG-4 facial animation technology: Survey, implementation, and results | |
| Signes et al. | MPEG-4's binary format for scene description | |
| US6898320B2 (en) | Method for processing nodes in 3D scene and apparatus thereof | |
| Flotyński et al. | Building multi-platform 3D virtual museum exhibitions with Flex-VR | |
| US6549206B1 (en) | Graphic scene animation signal, corresponding method and device | |
| JP3955177B2 (ja) | グラフィックシーンの動画化のためのデータを作成する方法及び装置 | |
| AU739379B2 (en) | Graphic scene animation signal, corresponding method and device | |
| Preda et al. | Virtual character within mpeg-4 animation framework extension | |
| KR100657940B1 (ko) | 깊이 영상 기반 표현 데이터 압축에 관한 메타표현을이용한 입력파일 생성 방법 및 시스템과, ａｆｘ부호화방법 및 장치 | |
| Burgos et al. | MPEG 3D graphics representation | |
| MXPA01005521A (en) | Method and system for controlling multimedia streams using dynamic prototypes | |
| Liu et al. | Analytically-defined collaborative shape modeling in VRML | |
| Abrantes | Instituto Superior Técnico-Instituto de Telecomunicações Av. Rovisco Pais, 1049-001 Lisboa, PORTUGAL Telephone:+ 351.1. 8418460; Fax:+ 351.1. 8418472 E-mail: Gabriel. Abrantes@ lx. it. pt; Fernando. Pereira@ lx. it. pt | |
| KR20050103297A (ko) | 디스플레이용 그래픽 애니메이션의 기술 관리 방법 및 이방법의 구현을 위한 수신기 및 시스템 | |
| Burgos et al. | 11 MPEG 3D Graphics Representation | |
| Lavagetto et al. | The Facial Animation Engine | |
| Doenges | Caspar Horne Mediamatics, Inc., Fremont, California Atul Puri AT&T Labs, Red Bank, New Jersey | |
| MXPA01005520A (en) | Method and system for predictive encoding of arrays of data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040513 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050118 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20050418 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20050511 |
|
| A524 | Written submission of copy of amendment under article 19 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A524 Effective date: 20050719 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060523 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20060823 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20060908 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061124 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061219 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070118 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110126 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110126 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120126 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130126 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |