JP4237270B2 - 音声画像データの復号方法 - Google Patents
音声画像データの復号方法 Download PDFInfo
- Publication number
- JP4237270B2 JP4237270B2 JP50836899A JP50836899A JP4237270B2 JP 4237270 B2 JP4237270 B2 JP 4237270B2 JP 50836899 A JP50836899 A JP 50836899A JP 50836899 A JP50836899 A JP 50836899A JP 4237270 B2 JP4237270 B2 JP 4237270B2
- Authority
- JP
- Japan
- Prior art keywords
- scene
- node
- dimensional object
- dimensional
- nodes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims description 25
- 230000003993 interaction Effects 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 18
- 230000007246 mechanism Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 2
- 239000002131 composite material Substances 0.000 description 13
- 238000013519 translation Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000011165 3D composite Substances 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000005445 natural material Substances 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 229920002994 synthetic fiber Polymers 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
技術分野
本発明は、音声画像データを表し且つ連続したビットストリームの形で利用可能な符号化されたデジタル信号を、表示装置上に表示（render）されるべきシーンの二進記述に鑑みて復号する方法であって、発展的な統語言語（syntactic language）に基づく処理動作を有し、該処理動作が第１のステップにおいて上記シーンの構造に従ってオブジェクトと呼ばれる別個の要素を上記ビットストリームから抽出し、第２のステップにおいて上記シーンの要素の個々のアニメーションを定義し、第３のステップにおいてユーザと上記要素との間の特別な対話（interaction）を定義し、第４のステップにおいて種々のクラスのアプリケーションに応じて上記シーンの要素と対応する個々のアニメーション及び／又はユーザ対話との間の特定の関係を編成するような方法に関する。本発明は、主に、将来のMPEG-4復号器に使用されるであろう。
背景技術
フレームに基づくビデオ及びオーディオを扱う周知のMPEG-1及びMPRG-2規格の最も重要な目標は、データを圧縮することにより記憶及び伝送を一層効率的にすることにあった。将来のMPEG-4復号規格は、音声画像シーンをピクセルのみというよりはオブジェクトの合成（組み立て）として表す故に、根本的に異なったものとなるであろう。各シーンは、所与の空間的及び時間的関係を有する音声画像オブジェクトの符号化された表現として定義され、この場合、該シーンが以前にこれらオブジェクトで構成されていた（又は区画されていた）態様如何にはよらない。
現在までのところ、自然ソース及び合成ソースを扱う規格団体は異なっていた。良好な３次元的（３Ｄ）な能力はＶＲＭＬ（Virtual-Reality Modeling Language：仮想現実モデル化言語は今や３Ｄグラフィックスに基づく対話型仮想環境を特定し及び供給するための規格となっている）を使用するマルチメディア及びワールドワイドウェブアプリケーションを含む多くの分野の益々重要な部分となりつつあるので、MPEG-4は自然題材（ビデオ、オーディオ、音声）及び合成題材（２Ｄ及び３Ｄグラフィックス及び合成音声）を一緒に考え、斯かるマルチメディアコンテンツの端末スクリーン上での提示に鑑みて、これら題材を規格化されたビットストリーム内に合成しようとしている。上記音声画像情報をシーン内で組み立てるため、それらの空間−時間的関係が端末に伝送される必要がある。
MPEG-4規格は、音声画像オブジェクトのビットストリーム表現の二進構文及びシーン記述情報の二進構文を記述する統語記述言語を規定する。もっと詳細には、MPEG-4システム検証モデル４．０は、シーンの記述のために、シーン用二進フォーマット（BIFS：Binary Format for Scenes）と呼ばれる二進フォーマットを提案している。属性（attributes）並びにイベントのソース及び目標のような他の情報を伴うノードの符号化された階層として構成された該記述は、シーン構造がコンピュータプログラムとしてというよりはむしろパラメータ的記述（即ち、スクリプト）として伝送されるという仮定に基づいている。この場合、シーン記述は符号化されたシーン記述の更新を用いることにより時間とともに発展することができる。BIFS構文において伝送されるノード記述も、明瞭化の目的で、テキスト形式で表すことができる。幾つかのMPEG-4のノード及び概念は、VRML 2.0ノードと極めて類似している。他のものは修正されたVRML 2.0であり、更に他のものがMPEG-4固有の要件で加えられている。VRML 2.0構文と同様に、BIFSも、ユーザとの対話及び簡単な振る舞いを、イベント受け渡しメカニズム（event passing mechanism）を介して記述する規定を有している。しかしながら、以下に説明するように、このフォーマットでは幾つかの問題が解決されていない。
これらの問題の第１のものは、２Ｄと３Ｄの混合されたシーンの統一された記述に関するものである。確かに、純３Ｄシーンの記述、純２Ｄシーンの記述及び混合された２Ｄ／３Ｄシーンの記述の間には根本的な相違がある。３Ｄシーンにおいては、オブジェクトのレイヤ化（layering）は深さ情報に基づくものである。２Ｄにおいては、深さの概念はなく、レイヤ化は明示的に定義されねばならない。更に、２Ｄ及び３Ｄの混合オブジェクトは、以下のような幾つかの方法により達成することができる。即ち：
（１）２Ｄシーンへの３Ｄオブジェクトの埋め込み：
（a）これは、例えば２Ｄ背景の前に３Ｄオブジェクトを表示しようと試みる場合である。この場合、ユーザが該シーン内を移動（navigate）する場合、背景は移動しない；
（b）他の例は、ユーザインターフェースが２Ｄオブジェクト（例えば、釦又はテキスト）、及びシーンが表示される３Ｄビューワ（viewer）を含んでいるようなアプリケーションである；
（２）３Ｄシーンへの２Ｄオブジェクトの埋め込み：
（a）これは、例えば３Ｄオブジェクト上へテックスチャマップとしてビデオオブジェクトを使用するような場合である；
（b）他の例は、２Ｄグラフィックオブジェクトからなるテクスチャである（これの特別な場合は“活動的マップ”、即ち数個の複合された２Ｄオブジェクトからなる３Ｄシーン内の２Ｄ面である）；
（３）これら２つの方法は反復的に混合することができ、これにより例えば３Ｄオブジェクトを２Ｄシーンに埋め込み、結果としての合成を３Ｄオブジェクト上へテックスチャマップとして使用する（これは、鏡の反射をシミュレートするために使用することができる）；
（４）最後の可能性は、同一の３Ｄシーンを異なる視点から同時に見ることである。
その時点では、これら全ての可能性を単一のシーングラフを用いて記述することはできない。シーングラフは、ノードと呼ばれるオブジェクトの階層によりシーンを表すツリーである。シーンはグループ化ノード（grouping nodes）と子ノード（children nodes）とからなっている。グループ化ノードの役割は、当該シーンの階層構造及び空間的構成を定義することである。子ノードはツリーの葉である。これらのノードは、幾何学的オブジェクト、光源及び種々の形式のセンサ（ユーザの対話に感応するオブジェクト）を定義するために使用される。グループ化ノードは子ノードを有している。これらの子ノードは子ノード又は他のグループ化ノードであってもよい。
全てのノードはフィールドと呼ばれる属性を有している。フィールドは如何なる形式のものであってもよい。例えば、球は幾何学ノードである。該ノードは、その半径を定義するフィールドを有している。それは、形式フロートの単一値フィールド（SFFloat）である。グループ化ノードの子ノードは特別なフィールドで特定される。このフィールドは多値フィールド（ノードのリスト）であり、各値は形式ノード（MFNode）のものである。
さて、シーン内でのアニメーション及びユーザ対話を定義するため、ルーチン（経路付け）と呼ばれるイベント受け渡しメカニズムを用いてフィールド間の接続をすることが可能である。フィールドＡをフィールドＢに経路付けるということは、フィールドＡが変化した場合には常にフィールドＢがフィールドＡと同一の値をとるということを意味する。同一の形式の（又は同一の種類の）フィールドのみを接続することができる。フィールドは特殊化することができる。即ち、幾つかのものは経路の行先（destination of route）でのみあり得、eventInと呼ばれ；他のものは経路の元（origin of route）でのみあり得、eventOutと呼ばれ；他のものは経路の元及び行先の両方であり得、exposedFieldと呼ばれ、最後に、他のものは接続しなくてもよく、これらは単にフィールドと呼ばれる。
VRMLにおいては、４つのノード（視点：Viewpoint；背景：Backgroud；霧：Fog；ナビゲーション情報：NavigationInfo）が、或る時点において各々のうちの１つのみが活性状態になり得るという意味で、特別な役割を果たす。これらのノードは結合可能な（bindable）ノードであると言われる。
１つのコヒーレントなフレーム内に２Ｄ及び３Ｄの両方の特徴を統合しようと試みる多くの理由が存在する：
− 全体の２Ｄ／３Ｄシーンに対して同一のイベント受け渡しメカニズムを使用することができる。
− コンテンツの表現が一層小さくなり得る。
− ２Ｄの仕様と３Ｄの仕様とが一緒に働くように設計されているので、実施化を最適化することができる。
これらの要件を満たすために、２Ｄ空間内に、２Ｄ又は３Ｄシーンの表示の結果を表す２Ｄ及び３Ｄレイヤを作成することができると共に、２Ｄ又は３Ｄシーンの表示の結果を当該シーングラフ内の他のノードへの入力として使用することができる必要がある。
また、特に以下に示すような依然として解決されていない他の問題を考慮しなければならない：
（１）２Ｄオブジェクトとの対話可能性：即ち、VRML 2.0のイベント受け渡しメカニズムと互換性のある２Ｄオブジェクトの深さを設定する方法無しでは可能ではないような、オブジェクトとの対話、レイヤ化の変更、オブジェクトの追加又は削除が可能でなければならない；
（２）対話可能性及び単純な振る舞いの可能性を備えるための単一のイベント経路付けメカニズム（event routing mechanism)：即ち、これの一例はウォークスルーアプリケーション（walk through application）におけるナビゲートに使用される２Ｄ地図の表示であり得、これはユーザにより起動されたイベントを２Ｄオブジェクト（地図）から３Ｄシーン（視点）へ経路付けする能力を必要とする；
（３）シーンの全体的階層（global hierarchy）：シーングラフ表現はシーンの階層的構成を含むが、２Ｄ又は３Ｄレイヤは、他のグラフィックオブジェクトとは見なされ、全体的シーングラフと混ぜ合わされてはならない（更に、例えば後述する第１図のレイヤグラフに図示されているように、レイヤは階層的であってもよい）；
（４）ビデオオブジェクトとの対話可能性：MPEG-4の特徴の１つはオブジェクトレベルの対話、即ちピクセルの組というよりはオブジェクトの組としてのビデオの記述であり、これは、ビデオのコンテンツとの対話（ビデオ内のオブジェクトの切り取り及び貼り付け等）を可能とし、コンテンツ作成者によりアプリケーション毎に定義される必要がある（端末自体の特徴ではない上記対話はBIFSにより記述することはできるが、このためには、種々のビデオオブジェクトの構成自体がBIFSで記述されねばならない）。
発明の開示
従って、本発明の目的は、２Ｄ及び３Ｄオブジェクトの両方から構築される複合シーンの構成を完全に記述するためのBIFSの強化を提案することにある。この強化により、完全なシーン及びそのレイアウトの統一された表現、並びに３Ｄシーン内のみならず（VRML 2.0におけるように）２Ｄノード及び３Ｄノードの間でのイベント受け渡しが可能となる一方、端末により設けられるデフォルトユーザインターフェースの使用ではなく、シーンと共に伝送することができる特別なユーザインターフェースの定義が可能となる。
この目的のため、本発明は冒頭で述べたような方法に関するもので、更に前記処理動作が、何れかの種類の二次元的及び三次元的オブジェクトから構築される複合シーンを、二次元的及び三次元的な両特徴を統合すると共に前記シーンの構造の組立メカニズム及び表現メカニズムを統一するような枠組みに従って記述する付加的ステップを含んでいることを特徴としている。
更に詳細には、上記枠組みは前記付加的記述ステップが、前記シーンの階層的表現を当該シーンの空間的構造を与える階層的接続を示すグループ化ノードとツリーの葉を構成する子ノードとの両ノードで編成されるツリー構造に従って定義する主要な第１副ステップと、何れかの種類のノードの間の可能な横方向の接続を定義する補助的第２副ステップとを有していることを特徴としている。
提案された本発明の有利な実施例においては、前記ツリー構造のノードが少なくとも二次元的オブジェクトと三次元的オブジェクトとを有し、前記補助的な定義副ステップは、前記二次元的オブジェクトの少なくとも１つを前記三次元的オブジェクトの少なくとも１つに埋め込む第１の処理と、前記三次元的オブジェクトと前記二次元的オブジェクトとの間の横方向接続を定義する任意選択的な第２の処理と、前記埋め込まれた二次元的オブジェクト及び対応する元のオブジェクトの両方における前記少なくとも１つの個々のアニメーション及び／又は少なくとも１つの特別な対話を定義するステップを制御する任意選択的な第３の処理とを有することを特徴としている。
また、本発明の他の有利な実施例においては、前記ツリー構造のノードが少なくとも二次元的オブジェクトと三次元的オブジェクトとを有し、前記補助的な定義副ステップは、前記三次元的オブジェクトの少なくとも１つを前記二次元的オブジェクトの少なくとも１つに埋め込む第１の処理と、前記二次元的オブジェクトと前記三次元的オブジェクトとの間の横方向接続を定義する任意選択的な第２の処理と、前記埋め込まれた三次元的オブジェクト及び対応する元のオブジェクトの両方における前記少なくとも１つの個々のアニメーション及び／又は少なくとも１つの特別な対話を定義するステップを制御する任意選択的な第３の処理とを有することを特徴としている。
また、本発明の更に他の有利な実施例においては、前記ツリー構造のノードが少なくとも三次元的オブジェクトを有し、前記補助的な定義副ステップは、前記三次元的オブジェクトの少なくとも１つを前記三次元的オブジェクトの何れかの少なくとも１つに埋め込む第１の処理と、前記三次元的オブジェクトの間の横方向接続を定義する任意選択的な第２の処理と、前記埋め込まれた三次元的オブジェクト及び対応する元のオブジェクトの両方における前記少なくとも１つの個々のアニメーション及び／又は少なくとも１つの特別な対話を定義するステップを制御する任意選択的な第３の処理とを有することを特徴としている。
これら最後に述べた２つの実施例の何れであれ、前記補助的な定義副ステップは、前記個々のアニメーション及び／又は特別な対話を定義するステップを制御する前記任意選択的な第３の処理を維持しながら、少なくとも１つの単一の三次元的シーンの種々の視点からの同時的表示を制御するような付加的な処理を有することができることに注意すべきである。
本発明は、上記任意選択的な処理を伴う又は伴わないような上述した方法に関するのみならず、斯かる方法をその変形の何れかの形態で実施することにより得られる如何なる信号にも関するものである。例えば、本発明が、第１のステップにおいてシーンの構造に従って入力ビットストリームからオブジェクトと呼ばれる個別の要素を抽出し、第２のステップにおいて前記シーンの要素の個々のアニメーションを定義し、第３のステップにおいてユーザと前記要素との間の特別な対話を定義し、第４のステップにおいて種々のクラスのアプリケーションに従い前記シーン要素と対応する個々のアニメーション及び／又はユーザ対話との間の特定の関係を編成し、何れかの種類の二次元的及び三次元的オブジェクトから構築される複合シーンを二次元的及び三次元的な両特徴を統合すると共に前記シーンの構造の組立メカニズム及び表現メカニズムを統一するような枠組みに従って記述する付加的ステップを実行した後で得られるような信号にも関するものであることは明らかである。
このような信号は、二次元的オブジェクト及び三次元的オブジェクトを一緒に記述することを可能にすると共に、階層的接続を定義するグループ化ノード及び子ノードで編成されたツリー構造に従ってシーンの階層的表現を編成することを可能にし、これらノードは、２Ｄシーングラフ、３Ｄシーングラフ、レイヤシーングラフ及び当該シーングラフのノード間の横方向接続からなる単一のシーングラフを一緒に形成することを可能にする。
このような信号は、既に組み立てられた若しくはスクリーン上に組み立てられるべき２Ｄ若しくは３Ｄシーンを深さの表現で以て定義し、又は２Ｄ若しくは３Ｄオブジェクトから既に組み立てられた他のシーンが埋め込まれる３Ｄシーンを定義し、又は他の３Ｄ若しくは２Ｄオブジェクトからなる３Ｄオブジェクト用のテクスチャを定義することを可能にする。実際に、このような信号は、当該シーンの如何なる２Ｄ又は３Ｄオブジェクトとも対話することを可能にすると共に、当該シーンの全てのこれらオブジェクトの間でのデータの如何なる種類の伝送を編成することも可能にする。本発明は、形式及び構成の如何に拘わらず、上記のような信号を記憶する記憶媒体にも関するものであることは明らかである。最後に、本発明は、二次元的及び三次元的オブジェクトを含む何れかの種類のシーンを構成するため、上述したような信号に基づいてグラフィックシーンを何れかの他の態様で表示し又は伝達するような装置にも関する。
【図面の簡単な説明】
本発明の特徴及び利点は以下の説明及び添付図面から一層明らかとなるであろうが、添付図面において：
第１図は、完全なシーングラフの一例である。
発明を実施するための最良の形態
第１図のシーングラフは、ツリー構造による当該シーンの階層的表示である。この構造は、表示装置のスクリーンの方形領域を表すレイヤの階層構造である。この階層構造は、ノード（階層的接続を規定するグループ化ノードＧＮ又はツリーの葉である子ノードＣＮ）で構成され、本発明により、これらのノード間に（第１図では、例えば３Ｄオブジェクトが２Ｄシーンを含む状況を図示するために、子ノード3D Object-2とグループ化ノード2D Scene-1との間に、又は２つの“Layer3D”が異なる視点から見た同一の３Ｄシーンを含む状況を図示するために、群ノード3D Scene-2と3D Scene-1との間に）可能な横方向の接続を伴う。
図示されたシーングラフにおいては、実際に３つの異なるシーングラフが設けられている。即ち、２Ｄグラフィックスシーングラフ、３Ｄグラフィックスシーングラフ及びレイヤシーングラフである。図示のように、Layer3D-2はLayer3D-1と同一のシーンを見るが、視点は異なり得る。3D Object-2は2D Scene-1をテクスチャノードとして使用する見かけ（外形）ノードである。
本発明の原理は、２Ｄ／３Ｄ組み合わせの記述を単一のグラフとして統一する新たなノードを提案することにある。
最初の２つの新たなノードは２Ｄ及び３Ｄレイヤの階層構造を記述するために定義される。これら２Ｄ及び３Ｄレイヤは、２Ｄ面である表示領域の階層的な組として複合される：
− Layer2D：レイヤ２Ｄの子ノードは、Layer2D、Layer3D及び２Ｄシーン記述にとって許容可能な全てのノードであり得る；
− Layer3D：レイヤ３Ｄの子ノードは、２Ｄ又は３Ｄレイヤ及び３Ｄシーンを記述するシーングラフであり得る。
また、３Ｄオブジェクト上にマップされるべき３Ｄワールド（world）におけるテクスチャ用入力として２Ｄ及び３Ｄ複合シーンを使用することができるように２つの新たなノードも定義される：
− Composite2DTexture：これは子ノードとして２Ｄシーンを含むテクスチャマップであり、複合された２Ｄシーンが該テクスチャマップとして使用される。
− Composite3DTexture：これは３Ｄシーンを規定する子ノードを含むテクスチャマップである。複合された３Ｄシーンが該テクスチャマップとして使用される。特に、このノードを、他の視点から見た既存の３Ｄシーンの表示の結果をマップするために使用することが可能である。このノードは、例えば、反射効果をシミュレートするのに有効である。
上記の有用な特別なケースは、複合された２Ｄシーンが３Ｄ空間内の方形上にマップされる場合である。これは、３Ｄ空間内に挿入された“活動的マップ”として見ることができる。このようなノードの実施化はComposite2DTextureノードの実施化とは非常に異なり得るので、この場合のための特別のノードを設計する意味がある。かくして、ActiveMapノードが以下の説明において提案される。
最後に、視点の又は他の結合可能な子ノードの所定の値を上述したノードの１つに経路付けするために、特別なバリュエータ（Valuator）ノードが定義される。このノードはBIFS仕様内で広い範囲で使用することができ、又は準拠したVRML 2.0プロトタイプとして定義することができる。
本発明の原理を説明したので、これらの新たなノードの定義及び意味を以下の節（Ａ）ないし（Ｆ）により詳細に示す。
（Ａ）Layer2Dの定義及び意味
Layer2Dノードはグループ化ノードとして定義される。該ノードは、２Ｄオブジェクトが表示されるスクリーン上の領域を定義する。３つのフィールド（又は属性）が、当該ノードが他のオブジェクトに対してどのように表示されるかを記述する：そのサイズ、その位置及びその深さである。これらフィールドは、経路の元又は行先であり得る。このように、これらはexposedFieldである。このLayer2Dノードは同一形式の（即ち、同じくLayer2Dの）又は以下に定義する同様の形式の（Layer3Dの）他のノードの親であってもよい。これは、形式ノード（MFNode）の多値フィールドにより記述することができる。それとは別に、このノードは２Ｄオブジェクトを表すノードの親でもあり得る。これも、形式ノード（MFNode）の多値フィールドにより記述することができる。
BIFS言語においては、Layer2Dノードは以下のように記述される：
children2Dフィールドは、値として、２Ｄシーンを定義する如何なるグループ化又は子ノードも有することができる。childrenLayerフィールドは、値として、２Ｄ又は３Ｄレイヤノードの何れかをとることができる。Layer2Dノードの子の順番（レイヤ化）はtransform2Dノードの使用により明示的に与えられる。２つの２Ｄノードが同一のTransform2Dの子である場合は、２Ｄノードのレイヤ化はTransform2Dの子フィールドにおける子の順番で実施される。
２Ｄ及び３Ｄレイヤのレイヤ化は、平行移動（translation）フィールド及び深さ（depth）フィールドにより特定される。サイズパラメータは浮動小数点数で与えられ、状況に従って、ピクセルで又は“グラフィックスメータ”で０．０と１．０の間で表すことができる。平行移動パラメータに関しても同様である。或る方向における−１なるサイズは、当該Layer2Dノードが、その方向ではサイズが特定されておらず、ビューアが表示領域のサイズを決定することを意味する。
同一のLayer2Dノード下の全ての２Ｄオブジェクトは単一の組み立てられたオブジェクトを形成する。この組み立てられたオブジェクトは、他のオブジェクトにより単一のオブジェクトとして見られる。言い換えると、Layer2DノードＡが一方の上に他方が層重ねされた２つのオブジェクトＢ及びＣの親である場合は、ＤがＡの子として加えられない限り、ＢとＣとの間に新たなオブジェクトＤを挿入することはできない。
（Ｂ）Layer3Dの定義及び意味
同様に、Layer3Dノードはグループ化ノードとして定義される。該ノードは３Ｄオブジェクトが表示されるスクリーン上の領域を定義する。３つのフィールド（又は属性）が、該ノードが他のオブジェクトに対してどのように表示されるかを記述する：即ち、そのサイズ、その位置及びその深さである。これらのフィールドは経路の元又は行先であり得る。このように、これらフィールドはexposedFieldsである。このノードは、同一の形式（即ち、Layer3D）の又は類似の形式（Layer2D）の他のノードの親であり得る。これは、形式ノード（MFNode）の多値フィールドにより記述することができる。これとは他に、該ノードは３Ｄオブジェクトを表すノードの親であり得る。これも、形式ノード（MFNode）の多値フィールドにより記述することができる。
同一の２Ｄワールド（又はオブジェクト）の数個の見方が必要な特別な場合には、全てのアプリケーションにおいて各々のうちの１個のみが同時に活性状態であるとは最早言えないから、結合可能なノードが問題を課す。しかしながら、各layer3Dにおいては、各々のうちの１個のみが活性状態であり得る。この振る舞いは、Layer3Dノードが上記結合可能なノードの各々に対してexposedFieldを有することを必要とする。
BIFS言語においては、Layer3Dノードは以下のように記述される：
children3Dフィールドは、値として、３Ｄシーンを定義する如何なる３Ｄグループ化ノード又は子ノードも有することができる。childrenLayerフィールドは、値として、２Ｄレイヤ又は３Ｄレイヤの何れかを有することができる。２Ｄレイヤ及び３Ｄレイヤのレイヤ化は平行移動フィールド及び深さフィールドにより特定される。平行移動フィールドは、Layer2Dの場合におけるのと同様に、ピクセルで又は“グラフィックスメータ”で０．０と１．０との間で表わされる。サイズパラメータは、Layer2Dにおけるのと同じ意味及び単位を有する。或る方向における−１なるサイズは、Layer3Dノードが該方向においてはサイズが特定されず、ビューアが表示領域のサイズを決定するであろうことを意味する。全ての結合可能な子ノードは、Layer3DノードのexposedFieldとして用いられる。実行時においては、これらフィールドは、Layer3Dノードの子である３Ｄシーンに関して、現在結び付けられている結合可能な子ノードの値をとる。これにより、何らかのイベントに応答して現在の視点を例えばLayer3Dに設定することが可能になるであろうが、これは視点ノードのset_bind eventInの直接的な使用によっては達成することはできない。何故なら、シーンが異なるレイヤ間で共有されているからである。
３Ｄシーンが幾つかのLayer3Dの間で共有されている場合は、種々のセンサノードの振る舞いは次のように定義される。即ち、センサがLayer3Dのうちの該センサを含む何れかにおいてトリガされると、該センサはイベントをトリガする。
（Ｃ）Composite2DTextureの定義及び意味
composite2DTextureは、VRML 2.0画像テクスチャノードのようなテクスチャノードである。しかしながら、該ノードはグループ化ノードとして定義される。該ノードは何れかの２Ｄノードの親であり得る。このノードにより表されるテクスチャは子フィールドに記述される２Ｄシーンの形成の結果である。
BIFS言語においては、Composite2DTextureノードは以下のように記述される：
形式MFNodeのchildren2Dフィールドは３Ｄオブジェクト上にマップされるべき２Ｄシーンを定義する２Ｄグループ化ノード及び子ノードのリストである。サイズ（size）フィールドは、このマップのサイズを特定する。単位はLayer2D/3Dの場合におけるのと同一である。デフォルト値のままとされる場合は、未定義のサイズが使用される。このcomposite2DTextureノードは見かけノードのテクスチャフィールドとしてのみ使用することができる。
（Ｄ）Composite3DTextureの定義及び意味
composite3DTextureは、VRML 2.0画像テクスチャノードのようなテクスチャノードである。しかしながら、該ノードはグループ化ノードとして定義される。該ノードは何れかの３Ｄノードの親であり得る。このノードにより表されるテクスチャは子フィールドに記述される３Ｄシーンの形成の結果である。Layer3Dノードの場合と同様に、結合可能なノードの問題はexposedFieldを用いて解決される。
BIFS言語においては、Composite3DTextureノードは以下のように記述される：
形式MFNodeのchildren3Dフィールドは、３Ｄオブジェクト上にマップされるべき３Ｄシーンを定義する３Ｄグループ化ノード及び子ノードのリストである。サイズ（size）フィールドは、該マップのピクセルでのサイズを特定する（デフォルトのままとされた場合は、未定義のサイズが使用される）。続く４つのフィールドは３Ｄシーンで使用される結合可能な子ノードの現在の値を表す。このComposite3DTextureノードは見かけノードのテクスチャフィールドとしてのみ使用することができる。
（Ｅ）CompositeMapの定義及び意味
CompositeMapノードは、局部座標系のｚ＝０面の方形内に表されたComposite2Dtextureノードの特別な場合である。Composite2DTextureノードのこの有効な部分集合は、組み合わされた２Ｄ及び３Ｄ構成の多くの単純な場合を効率的に扱うのを可能にする。
BIFS言語においては、CompositeMapノードは以下のように記述される：
形式MFNodeのchildren2Dフィールドは、３Ｄオブジェクト上にマップされるべき２Ｄシーンを定義する２Ｄグループ化ノード及び子ノードのリストである。sceneSizeフィールドは、２Ｄ複合シーンのピクセルでのサイズを特定する（デフォルトのままとされた場合は、未定義のサイズが使用される）。centerフィールドはｘ０ｙ座標系における複合マップ（CompositeMap）の中心の座標を特定する。mapSizeフィールドは、２Ｄシーンがマップされるべき方形領域の３Ｄ空間尺度でのサイズを特定する。このノードは如何なる子ノードとしても使用することができる。
（Ｆ）Valuatorの定義及び意味
Valuatorノードは、予め決められた値を他のノードのフィールドに経路付け（route）するために使用されるノードである。該ノードは既存の各形式のexposedFieldを有する。Valuatorは、そのexposedFieldの一つが変更される場合に常に起動されるか、又はenentInを介して起動される。
BIFS言語においては、Valuatorノードは下記のように記述される：
パラメータの意味は、単に、一定値の入れ物というだけである。この値は同一の形式の他のフィールドに経路付けすることができ、これによりフィールドに値を明示的に設定することができる。経路付けは、eventInのset_Activeフィールドにより起動することができる。
上述した解決策は、前記問題を解決する。完全な２Ｄ／３Ｄシーンのための単一の表現及び２Ｄ及び３Ｄオブジェクトとのグローバルな対話が確かに得られ、ここで、２Ｄ及び３Ｄオブジェクトは同一のファイル（又はストリーム）内で記述されるから、フィールド間で同一の経路付けメカニズムを使用することが可能となる。この機能の一例が付録Ａに示され、該機能によれば１つの立方体と、２Ｄシーン内の２Ｄ円として表されたカラーパレットとからなる３Ｄシーンに対して、ユーザが該パレット内の１つの色に触れると、上記立方体の色が触れた色に設定される。
更に、第１図に示すように、Layer2D及びLayer3Dなる２つのノードが、当該シーンを単一のグローバルな階層構造内に編成するように設計されている。また、テクスチャマップとしての２Ｄ複合シーンと２Ｄ複合マップとが概念的に非常に類似していることに注意すべきである。該複合マップは、２Ｄ複合シーンでテクスチャのマップがされた方形ファセットを定義する。テクスチャマップとしての上記２Ｄ複合シーンは如何なる幾何学形上へもマップすることができるテクスチャである。
付録Ｂは複合マップの一例を示す。この例においては、ワールドの原点に、２つの画像ならなる地上の2.0 x 4.0の方形領域を有する。ユーザは、或る行為（本例では特定されていない）を起動するために、上記２つの画像の何れかに触れることができる。
付録Ｃは、テクスチャマップとしての３Ｄ複合シーンに関して、複合マップの他の例を示す。この例においては、Layer3D内に立方体を有している。この立方体は、特定の視点から見た円筒の表示からなるテクスチャマップを有している。ユーザは、或る行為（本例では、該行為は特定されていない）を起動するために、上記円筒に触れることができる。
同一のシーンの複数のビューに関して、提案された該解決策は、同一のシーンが幾つかのLayer3Dに異なる視点から表示されることを可能にする。これとは別に、該シーンの視点は何らかの２Ｄ画像に触れることにより変更することができる。この機能は最後の付録Ｄに示されている。
本発明は、音声画像データを表し且つ連続したビットストリームの形で利用可能な符号化されたデジタル信号を、表示装置上に表示（render）されるべきシーンの二進記述に鑑みて復号する方法であって、発展的な統語言語（syntactic language）に基づく処理動作を有し、該処理動作が第１のステップにおいて上記シーンの構造に従ってオブジェクトと呼ばれる別個の要素を上記ビットストリームから抽出し、第２のステップにおいて上記シーンの要素の個々のアニメーションを定義し、第３のステップにおいてユーザと上記要素との間の特別な対話（interaction）を定義し、第４のステップにおいて種々のクラスのアプリケーションに応じて上記シーンの要素と対応する個々のアニメーション及び／又はユーザ対話との間の特定の関係を編成するような方法に関する。本発明は、主に、将来のMPEG-4復号器に使用されるであろう。
背景技術
フレームに基づくビデオ及びオーディオを扱う周知のMPEG-1及びMPRG-2規格の最も重要な目標は、データを圧縮することにより記憶及び伝送を一層効率的にすることにあった。将来のMPEG-4復号規格は、音声画像シーンをピクセルのみというよりはオブジェクトの合成（組み立て）として表す故に、根本的に異なったものとなるであろう。各シーンは、所与の空間的及び時間的関係を有する音声画像オブジェクトの符号化された表現として定義され、この場合、該シーンが以前にこれらオブジェクトで構成されていた（又は区画されていた）態様如何にはよらない。
現在までのところ、自然ソース及び合成ソースを扱う規格団体は異なっていた。良好な３次元的（３Ｄ）な能力はＶＲＭＬ（Virtual-Reality Modeling Language：仮想現実モデル化言語は今や３Ｄグラフィックスに基づく対話型仮想環境を特定し及び供給するための規格となっている）を使用するマルチメディア及びワールドワイドウェブアプリケーションを含む多くの分野の益々重要な部分となりつつあるので、MPEG-4は自然題材（ビデオ、オーディオ、音声）及び合成題材（２Ｄ及び３Ｄグラフィックス及び合成音声）を一緒に考え、斯かるマルチメディアコンテンツの端末スクリーン上での提示に鑑みて、これら題材を規格化されたビットストリーム内に合成しようとしている。上記音声画像情報をシーン内で組み立てるため、それらの空間−時間的関係が端末に伝送される必要がある。
MPEG-4規格は、音声画像オブジェクトのビットストリーム表現の二進構文及びシーン記述情報の二進構文を記述する統語記述言語を規定する。もっと詳細には、MPEG-4システム検証モデル４．０は、シーンの記述のために、シーン用二進フォーマット（BIFS：Binary Format for Scenes）と呼ばれる二進フォーマットを提案している。属性（attributes）並びにイベントのソース及び目標のような他の情報を伴うノードの符号化された階層として構成された該記述は、シーン構造がコンピュータプログラムとしてというよりはむしろパラメータ的記述（即ち、スクリプト）として伝送されるという仮定に基づいている。この場合、シーン記述は符号化されたシーン記述の更新を用いることにより時間とともに発展することができる。BIFS構文において伝送されるノード記述も、明瞭化の目的で、テキスト形式で表すことができる。幾つかのMPEG-4のノード及び概念は、VRML 2.0ノードと極めて類似している。他のものは修正されたVRML 2.0であり、更に他のものがMPEG-4固有の要件で加えられている。VRML 2.0構文と同様に、BIFSも、ユーザとの対話及び簡単な振る舞いを、イベント受け渡しメカニズム（event passing mechanism）を介して記述する規定を有している。しかしながら、以下に説明するように、このフォーマットでは幾つかの問題が解決されていない。
これらの問題の第１のものは、２Ｄと３Ｄの混合されたシーンの統一された記述に関するものである。確かに、純３Ｄシーンの記述、純２Ｄシーンの記述及び混合された２Ｄ／３Ｄシーンの記述の間には根本的な相違がある。３Ｄシーンにおいては、オブジェクトのレイヤ化（layering）は深さ情報に基づくものである。２Ｄにおいては、深さの概念はなく、レイヤ化は明示的に定義されねばならない。更に、２Ｄ及び３Ｄの混合オブジェクトは、以下のような幾つかの方法により達成することができる。即ち：
（１）２Ｄシーンへの３Ｄオブジェクトの埋め込み：
（a）これは、例えば２Ｄ背景の前に３Ｄオブジェクトを表示しようと試みる場合である。この場合、ユーザが該シーン内を移動（navigate）する場合、背景は移動しない；
（b）他の例は、ユーザインターフェースが２Ｄオブジェクト（例えば、釦又はテキスト）、及びシーンが表示される３Ｄビューワ（viewer）を含んでいるようなアプリケーションである；
（２）３Ｄシーンへの２Ｄオブジェクトの埋め込み：
（a）これは、例えば３Ｄオブジェクト上へテックスチャマップとしてビデオオブジェクトを使用するような場合である；
（b）他の例は、２Ｄグラフィックオブジェクトからなるテクスチャである（これの特別な場合は“活動的マップ”、即ち数個の複合された２Ｄオブジェクトからなる３Ｄシーン内の２Ｄ面である）；
（３）これら２つの方法は反復的に混合することができ、これにより例えば３Ｄオブジェクトを２Ｄシーンに埋め込み、結果としての合成を３Ｄオブジェクト上へテックスチャマップとして使用する（これは、鏡の反射をシミュレートするために使用することができる）；
（４）最後の可能性は、同一の３Ｄシーンを異なる視点から同時に見ることである。
その時点では、これら全ての可能性を単一のシーングラフを用いて記述することはできない。シーングラフは、ノードと呼ばれるオブジェクトの階層によりシーンを表すツリーである。シーンはグループ化ノード（grouping nodes）と子ノード（children nodes）とからなっている。グループ化ノードの役割は、当該シーンの階層構造及び空間的構成を定義することである。子ノードはツリーの葉である。これらのノードは、幾何学的オブジェクト、光源及び種々の形式のセンサ（ユーザの対話に感応するオブジェクト）を定義するために使用される。グループ化ノードは子ノードを有している。これらの子ノードは子ノード又は他のグループ化ノードであってもよい。
全てのノードはフィールドと呼ばれる属性を有している。フィールドは如何なる形式のものであってもよい。例えば、球は幾何学ノードである。該ノードは、その半径を定義するフィールドを有している。それは、形式フロートの単一値フィールド（SFFloat）である。グループ化ノードの子ノードは特別なフィールドで特定される。このフィールドは多値フィールド（ノードのリスト）であり、各値は形式ノード（MFNode）のものである。
さて、シーン内でのアニメーション及びユーザ対話を定義するため、ルーチン（経路付け）と呼ばれるイベント受け渡しメカニズムを用いてフィールド間の接続をすることが可能である。フィールドＡをフィールドＢに経路付けるということは、フィールドＡが変化した場合には常にフィールドＢがフィールドＡと同一の値をとるということを意味する。同一の形式の（又は同一の種類の）フィールドのみを接続することができる。フィールドは特殊化することができる。即ち、幾つかのものは経路の行先（destination of route）でのみあり得、eventInと呼ばれ；他のものは経路の元（origin of route）でのみあり得、eventOutと呼ばれ；他のものは経路の元及び行先の両方であり得、exposedFieldと呼ばれ、最後に、他のものは接続しなくてもよく、これらは単にフィールドと呼ばれる。
VRMLにおいては、４つのノード（視点：Viewpoint；背景：Backgroud；霧：Fog；ナビゲーション情報：NavigationInfo）が、或る時点において各々のうちの１つのみが活性状態になり得るという意味で、特別な役割を果たす。これらのノードは結合可能な（bindable）ノードであると言われる。
１つのコヒーレントなフレーム内に２Ｄ及び３Ｄの両方の特徴を統合しようと試みる多くの理由が存在する：
− 全体の２Ｄ／３Ｄシーンに対して同一のイベント受け渡しメカニズムを使用することができる。
− コンテンツの表現が一層小さくなり得る。
− ２Ｄの仕様と３Ｄの仕様とが一緒に働くように設計されているので、実施化を最適化することができる。
これらの要件を満たすために、２Ｄ空間内に、２Ｄ又は３Ｄシーンの表示の結果を表す２Ｄ及び３Ｄレイヤを作成することができると共に、２Ｄ又は３Ｄシーンの表示の結果を当該シーングラフ内の他のノードへの入力として使用することができる必要がある。
また、特に以下に示すような依然として解決されていない他の問題を考慮しなければならない：
（１）２Ｄオブジェクトとの対話可能性：即ち、VRML 2.0のイベント受け渡しメカニズムと互換性のある２Ｄオブジェクトの深さを設定する方法無しでは可能ではないような、オブジェクトとの対話、レイヤ化の変更、オブジェクトの追加又は削除が可能でなければならない；
（２）対話可能性及び単純な振る舞いの可能性を備えるための単一のイベント経路付けメカニズム（event routing mechanism)：即ち、これの一例はウォークスルーアプリケーション（walk through application）におけるナビゲートに使用される２Ｄ地図の表示であり得、これはユーザにより起動されたイベントを２Ｄオブジェクト（地図）から３Ｄシーン（視点）へ経路付けする能力を必要とする；
（３）シーンの全体的階層（global hierarchy）：シーングラフ表現はシーンの階層的構成を含むが、２Ｄ又は３Ｄレイヤは、他のグラフィックオブジェクトとは見なされ、全体的シーングラフと混ぜ合わされてはならない（更に、例えば後述する第１図のレイヤグラフに図示されているように、レイヤは階層的であってもよい）；
（４）ビデオオブジェクトとの対話可能性：MPEG-4の特徴の１つはオブジェクトレベルの対話、即ちピクセルの組というよりはオブジェクトの組としてのビデオの記述であり、これは、ビデオのコンテンツとの対話（ビデオ内のオブジェクトの切り取り及び貼り付け等）を可能とし、コンテンツ作成者によりアプリケーション毎に定義される必要がある（端末自体の特徴ではない上記対話はBIFSにより記述することはできるが、このためには、種々のビデオオブジェクトの構成自体がBIFSで記述されねばならない）。
発明の開示
従って、本発明の目的は、２Ｄ及び３Ｄオブジェクトの両方から構築される複合シーンの構成を完全に記述するためのBIFSの強化を提案することにある。この強化により、完全なシーン及びそのレイアウトの統一された表現、並びに３Ｄシーン内のみならず（VRML 2.0におけるように）２Ｄノード及び３Ｄノードの間でのイベント受け渡しが可能となる一方、端末により設けられるデフォルトユーザインターフェースの使用ではなく、シーンと共に伝送することができる特別なユーザインターフェースの定義が可能となる。
この目的のため、本発明は冒頭で述べたような方法に関するもので、更に前記処理動作が、何れかの種類の二次元的及び三次元的オブジェクトから構築される複合シーンを、二次元的及び三次元的な両特徴を統合すると共に前記シーンの構造の組立メカニズム及び表現メカニズムを統一するような枠組みに従って記述する付加的ステップを含んでいることを特徴としている。
更に詳細には、上記枠組みは前記付加的記述ステップが、前記シーンの階層的表現を当該シーンの空間的構造を与える階層的接続を示すグループ化ノードとツリーの葉を構成する子ノードとの両ノードで編成されるツリー構造に従って定義する主要な第１副ステップと、何れかの種類のノードの間の可能な横方向の接続を定義する補助的第２副ステップとを有していることを特徴としている。
提案された本発明の有利な実施例においては、前記ツリー構造のノードが少なくとも二次元的オブジェクトと三次元的オブジェクトとを有し、前記補助的な定義副ステップは、前記二次元的オブジェクトの少なくとも１つを前記三次元的オブジェクトの少なくとも１つに埋め込む第１の処理と、前記三次元的オブジェクトと前記二次元的オブジェクトとの間の横方向接続を定義する任意選択的な第２の処理と、前記埋め込まれた二次元的オブジェクト及び対応する元のオブジェクトの両方における前記少なくとも１つの個々のアニメーション及び／又は少なくとも１つの特別な対話を定義するステップを制御する任意選択的な第３の処理とを有することを特徴としている。
また、本発明の他の有利な実施例においては、前記ツリー構造のノードが少なくとも二次元的オブジェクトと三次元的オブジェクトとを有し、前記補助的な定義副ステップは、前記三次元的オブジェクトの少なくとも１つを前記二次元的オブジェクトの少なくとも１つに埋め込む第１の処理と、前記二次元的オブジェクトと前記三次元的オブジェクトとの間の横方向接続を定義する任意選択的な第２の処理と、前記埋め込まれた三次元的オブジェクト及び対応する元のオブジェクトの両方における前記少なくとも１つの個々のアニメーション及び／又は少なくとも１つの特別な対話を定義するステップを制御する任意選択的な第３の処理とを有することを特徴としている。
また、本発明の更に他の有利な実施例においては、前記ツリー構造のノードが少なくとも三次元的オブジェクトを有し、前記補助的な定義副ステップは、前記三次元的オブジェクトの少なくとも１つを前記三次元的オブジェクトの何れかの少なくとも１つに埋め込む第１の処理と、前記三次元的オブジェクトの間の横方向接続を定義する任意選択的な第２の処理と、前記埋め込まれた三次元的オブジェクト及び対応する元のオブジェクトの両方における前記少なくとも１つの個々のアニメーション及び／又は少なくとも１つの特別な対話を定義するステップを制御する任意選択的な第３の処理とを有することを特徴としている。
これら最後に述べた２つの実施例の何れであれ、前記補助的な定義副ステップは、前記個々のアニメーション及び／又は特別な対話を定義するステップを制御する前記任意選択的な第３の処理を維持しながら、少なくとも１つの単一の三次元的シーンの種々の視点からの同時的表示を制御するような付加的な処理を有することができることに注意すべきである。
本発明は、上記任意選択的な処理を伴う又は伴わないような上述した方法に関するのみならず、斯かる方法をその変形の何れかの形態で実施することにより得られる如何なる信号にも関するものである。例えば、本発明が、第１のステップにおいてシーンの構造に従って入力ビットストリームからオブジェクトと呼ばれる個別の要素を抽出し、第２のステップにおいて前記シーンの要素の個々のアニメーションを定義し、第３のステップにおいてユーザと前記要素との間の特別な対話を定義し、第４のステップにおいて種々のクラスのアプリケーションに従い前記シーン要素と対応する個々のアニメーション及び／又はユーザ対話との間の特定の関係を編成し、何れかの種類の二次元的及び三次元的オブジェクトから構築される複合シーンを二次元的及び三次元的な両特徴を統合すると共に前記シーンの構造の組立メカニズム及び表現メカニズムを統一するような枠組みに従って記述する付加的ステップを実行した後で得られるような信号にも関するものであることは明らかである。
このような信号は、二次元的オブジェクト及び三次元的オブジェクトを一緒に記述することを可能にすると共に、階層的接続を定義するグループ化ノード及び子ノードで編成されたツリー構造に従ってシーンの階層的表現を編成することを可能にし、これらノードは、２Ｄシーングラフ、３Ｄシーングラフ、レイヤシーングラフ及び当該シーングラフのノード間の横方向接続からなる単一のシーングラフを一緒に形成することを可能にする。
このような信号は、既に組み立てられた若しくはスクリーン上に組み立てられるべき２Ｄ若しくは３Ｄシーンを深さの表現で以て定義し、又は２Ｄ若しくは３Ｄオブジェクトから既に組み立てられた他のシーンが埋め込まれる３Ｄシーンを定義し、又は他の３Ｄ若しくは２Ｄオブジェクトからなる３Ｄオブジェクト用のテクスチャを定義することを可能にする。実際に、このような信号は、当該シーンの如何なる２Ｄ又は３Ｄオブジェクトとも対話することを可能にすると共に、当該シーンの全てのこれらオブジェクトの間でのデータの如何なる種類の伝送を編成することも可能にする。本発明は、形式及び構成の如何に拘わらず、上記のような信号を記憶する記憶媒体にも関するものであることは明らかである。最後に、本発明は、二次元的及び三次元的オブジェクトを含む何れかの種類のシーンを構成するため、上述したような信号に基づいてグラフィックシーンを何れかの他の態様で表示し又は伝達するような装置にも関する。
【図面の簡単な説明】
本発明の特徴及び利点は以下の説明及び添付図面から一層明らかとなるであろうが、添付図面において：
第１図は、完全なシーングラフの一例である。
発明を実施するための最良の形態
第１図のシーングラフは、ツリー構造による当該シーンの階層的表示である。この構造は、表示装置のスクリーンの方形領域を表すレイヤの階層構造である。この階層構造は、ノード（階層的接続を規定するグループ化ノードＧＮ又はツリーの葉である子ノードＣＮ）で構成され、本発明により、これらのノード間に（第１図では、例えば３Ｄオブジェクトが２Ｄシーンを含む状況を図示するために、子ノード3D Object-2とグループ化ノード2D Scene-1との間に、又は２つの“Layer3D”が異なる視点から見た同一の３Ｄシーンを含む状況を図示するために、群ノード3D Scene-2と3D Scene-1との間に）可能な横方向の接続を伴う。
図示されたシーングラフにおいては、実際に３つの異なるシーングラフが設けられている。即ち、２Ｄグラフィックスシーングラフ、３Ｄグラフィックスシーングラフ及びレイヤシーングラフである。図示のように、Layer3D-2はLayer3D-1と同一のシーンを見るが、視点は異なり得る。3D Object-2は2D Scene-1をテクスチャノードとして使用する見かけ（外形）ノードである。
本発明の原理は、２Ｄ／３Ｄ組み合わせの記述を単一のグラフとして統一する新たなノードを提案することにある。
最初の２つの新たなノードは２Ｄ及び３Ｄレイヤの階層構造を記述するために定義される。これら２Ｄ及び３Ｄレイヤは、２Ｄ面である表示領域の階層的な組として複合される：
− Layer2D：レイヤ２Ｄの子ノードは、Layer2D、Layer3D及び２Ｄシーン記述にとって許容可能な全てのノードであり得る；
− Layer3D：レイヤ３Ｄの子ノードは、２Ｄ又は３Ｄレイヤ及び３Ｄシーンを記述するシーングラフであり得る。
また、３Ｄオブジェクト上にマップされるべき３Ｄワールド（world）におけるテクスチャ用入力として２Ｄ及び３Ｄ複合シーンを使用することができるように２つの新たなノードも定義される：
− Composite2DTexture：これは子ノードとして２Ｄシーンを含むテクスチャマップであり、複合された２Ｄシーンが該テクスチャマップとして使用される。
− Composite3DTexture：これは３Ｄシーンを規定する子ノードを含むテクスチャマップである。複合された３Ｄシーンが該テクスチャマップとして使用される。特に、このノードを、他の視点から見た既存の３Ｄシーンの表示の結果をマップするために使用することが可能である。このノードは、例えば、反射効果をシミュレートするのに有効である。
上記の有用な特別なケースは、複合された２Ｄシーンが３Ｄ空間内の方形上にマップされる場合である。これは、３Ｄ空間内に挿入された“活動的マップ”として見ることができる。このようなノードの実施化はComposite2DTextureノードの実施化とは非常に異なり得るので、この場合のための特別のノードを設計する意味がある。かくして、ActiveMapノードが以下の説明において提案される。
最後に、視点の又は他の結合可能な子ノードの所定の値を上述したノードの１つに経路付けするために、特別なバリュエータ（Valuator）ノードが定義される。このノードはBIFS仕様内で広い範囲で使用することができ、又は準拠したVRML 2.0プロトタイプとして定義することができる。
本発明の原理を説明したので、これらの新たなノードの定義及び意味を以下の節（Ａ）ないし（Ｆ）により詳細に示す。
（Ａ）Layer2Dの定義及び意味
Layer2Dノードはグループ化ノードとして定義される。該ノードは、２Ｄオブジェクトが表示されるスクリーン上の領域を定義する。３つのフィールド（又は属性）が、当該ノードが他のオブジェクトに対してどのように表示されるかを記述する：そのサイズ、その位置及びその深さである。これらフィールドは、経路の元又は行先であり得る。このように、これらはexposedFieldである。このLayer2Dノードは同一形式の（即ち、同じくLayer2Dの）又は以下に定義する同様の形式の（Layer3Dの）他のノードの親であってもよい。これは、形式ノード（MFNode）の多値フィールドにより記述することができる。それとは別に、このノードは２Ｄオブジェクトを表すノードの親でもあり得る。これも、形式ノード（MFNode）の多値フィールドにより記述することができる。
BIFS言語においては、Layer2Dノードは以下のように記述される：
２Ｄ及び３Ｄレイヤのレイヤ化は、平行移動（translation）フィールド及び深さ（depth）フィールドにより特定される。サイズパラメータは浮動小数点数で与えられ、状況に従って、ピクセルで又は“グラフィックスメータ”で０．０と１．０の間で表すことができる。平行移動パラメータに関しても同様である。或る方向における−１なるサイズは、当該Layer2Dノードが、その方向ではサイズが特定されておらず、ビューアが表示領域のサイズを決定することを意味する。
同一のLayer2Dノード下の全ての２Ｄオブジェクトは単一の組み立てられたオブジェクトを形成する。この組み立てられたオブジェクトは、他のオブジェクトにより単一のオブジェクトとして見られる。言い換えると、Layer2DノードＡが一方の上に他方が層重ねされた２つのオブジェクトＢ及びＣの親である場合は、ＤがＡの子として加えられない限り、ＢとＣとの間に新たなオブジェクトＤを挿入することはできない。
（Ｂ）Layer3Dの定義及び意味
同様に、Layer3Dノードはグループ化ノードとして定義される。該ノードは３Ｄオブジェクトが表示されるスクリーン上の領域を定義する。３つのフィールド（又は属性）が、該ノードが他のオブジェクトに対してどのように表示されるかを記述する：即ち、そのサイズ、その位置及びその深さである。これらのフィールドは経路の元又は行先であり得る。このように、これらフィールドはexposedFieldsである。このノードは、同一の形式（即ち、Layer3D）の又は類似の形式（Layer2D）の他のノードの親であり得る。これは、形式ノード（MFNode）の多値フィールドにより記述することができる。これとは他に、該ノードは３Ｄオブジェクトを表すノードの親であり得る。これも、形式ノード（MFNode）の多値フィールドにより記述することができる。
同一の２Ｄワールド（又はオブジェクト）の数個の見方が必要な特別な場合には、全てのアプリケーションにおいて各々のうちの１個のみが同時に活性状態であるとは最早言えないから、結合可能なノードが問題を課す。しかしながら、各layer3Dにおいては、各々のうちの１個のみが活性状態であり得る。この振る舞いは、Layer3Dノードが上記結合可能なノードの各々に対してexposedFieldを有することを必要とする。
BIFS言語においては、Layer3Dノードは以下のように記述される：
３Ｄシーンが幾つかのLayer3Dの間で共有されている場合は、種々のセンサノードの振る舞いは次のように定義される。即ち、センサがLayer3Dのうちの該センサを含む何れかにおいてトリガされると、該センサはイベントをトリガする。
（Ｃ）Composite2DTextureの定義及び意味
composite2DTextureは、VRML 2.0画像テクスチャノードのようなテクスチャノードである。しかしながら、該ノードはグループ化ノードとして定義される。該ノードは何れかの２Ｄノードの親であり得る。このノードにより表されるテクスチャは子フィールドに記述される２Ｄシーンの形成の結果である。
BIFS言語においては、Composite2DTextureノードは以下のように記述される：
（Ｄ）Composite3DTextureの定義及び意味
composite3DTextureは、VRML 2.0画像テクスチャノードのようなテクスチャノードである。しかしながら、該ノードはグループ化ノードとして定義される。該ノードは何れかの３Ｄノードの親であり得る。このノードにより表されるテクスチャは子フィールドに記述される３Ｄシーンの形成の結果である。Layer3Dノードの場合と同様に、結合可能なノードの問題はexposedFieldを用いて解決される。
BIFS言語においては、Composite3DTextureノードは以下のように記述される：
（Ｅ）CompositeMapの定義及び意味
CompositeMapノードは、局部座標系のｚ＝０面の方形内に表されたComposite2Dtextureノードの特別な場合である。Composite2DTextureノードのこの有効な部分集合は、組み合わされた２Ｄ及び３Ｄ構成の多くの単純な場合を効率的に扱うのを可能にする。
BIFS言語においては、CompositeMapノードは以下のように記述される：
（Ｆ）Valuatorの定義及び意味
Valuatorノードは、予め決められた値を他のノードのフィールドに経路付け（route）するために使用されるノードである。該ノードは既存の各形式のexposedFieldを有する。Valuatorは、そのexposedFieldの一つが変更される場合に常に起動されるか、又はenentInを介して起動される。
BIFS言語においては、Valuatorノードは下記のように記述される：
上述した解決策は、前記問題を解決する。完全な２Ｄ／３Ｄシーンのための単一の表現及び２Ｄ及び３Ｄオブジェクトとのグローバルな対話が確かに得られ、ここで、２Ｄ及び３Ｄオブジェクトは同一のファイル（又はストリーム）内で記述されるから、フィールド間で同一の経路付けメカニズムを使用することが可能となる。この機能の一例が付録Ａに示され、該機能によれば１つの立方体と、２Ｄシーン内の２Ｄ円として表されたカラーパレットとからなる３Ｄシーンに対して、ユーザが該パレット内の１つの色に触れると、上記立方体の色が触れた色に設定される。
更に、第１図に示すように、Layer2D及びLayer3Dなる２つのノードが、当該シーンを単一のグローバルな階層構造内に編成するように設計されている。また、テクスチャマップとしての２Ｄ複合シーンと２Ｄ複合マップとが概念的に非常に類似していることに注意すべきである。該複合マップは、２Ｄ複合シーンでテクスチャのマップがされた方形ファセットを定義する。テクスチャマップとしての上記２Ｄ複合シーンは如何なる幾何学形上へもマップすることができるテクスチャである。
付録Ｂは複合マップの一例を示す。この例においては、ワールドの原点に、２つの画像ならなる地上の2.0 x 4.0の方形領域を有する。ユーザは、或る行為（本例では特定されていない）を起動するために、上記２つの画像の何れかに触れることができる。
付録Ｃは、テクスチャマップとしての３Ｄ複合シーンに関して、複合マップの他の例を示す。この例においては、Layer3D内に立方体を有している。この立方体は、特定の視点から見た円筒の表示からなるテクスチャマップを有している。ユーザは、或る行為（本例では、該行為は特定されていない）を起動するために、上記円筒に触れることができる。
同一のシーンの複数のビューに関して、提案された該解決策は、同一のシーンが幾つかのLayer3Dに異なる視点から表示されることを可能にする。これとは別に、該シーンの視点は何らかの２Ｄ画像に触れることにより変更することができる。この機能は最後の付録Ｄに示されている。
Claims (5)
- 連続したビットストリームの形態で供給される符号化されたデジタル信号を表示装置上に表示されるべきシーンの二進記述に鑑みて復号する方法であって、該方法が発展的統語言語に基づく処理動作を有し、該処理動作が第１のステップにおいて前記シーンの構造に従って前記ビットストリームからオブジェクトと呼ばれる個別の要素を抽出し、第２のステップにおいて前記シーンにおける前記要素の個々のアニメーションを定義し、第３のステップにおいてユーザと前記要素との間の特別な対話を定義し、第４のステップにおいて種々のクラスのアプリケーションに従い前記シーンにおける前記要素と対応する個々のアニメーション及び／又はユーザ対話との間の特定の関係を編成するような方法において、
前記処理動作が、何らかの種類の二次元的オブジェクト及び三次元的オブジェクトから構築される複合シーンを、二次元的及び三次元的な両特徴を統合すると共に前記シーンの構造の組立及び表現メカニズムを統一するような枠組みに従って記述する付加的ステップを含み、
前記記述する付加的ステップが、前記シーンの階層的表現を、当該シーンの空間的構造を与える階層的接続を示すグループ化ノードと、ツリーの葉を構成する子ノードとの両ノードで編成されるツリー構造に従って定義する主要な第１副ステップと、何れかの種類のノードの間の可能な横方向の接続を定義する補助的な第２副ステップとを有している、
ことを特徴とする方法。 - 請求項１に記載の方法において、前記ツリー構造のノードが少なくとも二次元的オブジェクトと三次元的オブジェクトとを有し、前記第２副ステップは、前記二次元的オブジェクトの少なくとも１つを前記三次元的オブジェクトの少なくとも１つに埋め込む第１の処理と、前記三次元的オブジェクトと前記二次元的オブジェクトとの間の横方向接続を定義する任意選択的な第２の処理と、前記埋め込まれた二次元的オブジェクト及び対応する元のオブジェクトの両方における前記少なくとも１つの個々のアニメーション及び／又は少なくとも１つの特別な対話を定義するステップを制御する任意選択的な第３の処理とを有することを特徴とする方法。
- 請求項１に記載の方法において、前記ツリー構造のノードが少なくとも二次元的オブジェクトと三次元的オブジェクトとを有し、前記第２副ステップは、前記三次元的オブジェクトの少なくとも１つを前記二次元的オブジェクトの少なくとも１つに埋め込む第１の処理と、前記二次元的オブジェクトと前記三次元的オブジェクトとの間の横方向接続を定義する任意選択的な第２の処理と、前記埋め込まれた三次元的オブジェクト及び対応する元のオブジェクトの両方における前記少なくとも１つの個々のアニメーション及び／又は少なくとも１つの特別な対話を定義するステップを制御する任意選択的な第３の処理とを有することを特徴とする方法。
- 請求項１に記載の方法において、前記ツリー構造のノードが少なくとも三次元的オブジェクトを有し、前記第２副ステップは、前記三次元的オブジェクトの少なくとも１つを前記三次元的オブジェクトの何れかの少なくとも１つに埋め込む第１の処理と、前記三次元的オブジェクトの間の横方向接続を定義する任意選択的な第２の処理と、前記埋め込まれた三次元的オブジェクト及び対応する元のオブジェクトの両方における前記少なくとも１つの個々のアニメーション及び／又は少なくとも１つの特別な対話を定義するステップを制御する任意選択的な第３の処理とを有することを特徴とする方法。
- 請求項３及び４の何れか一項に記載の方法において、前記第２副ステップが、前記個々のアニメーション及び／又は特別な対話を定義するステップを制御する前記任意選択的な第３の処理を維持しながら、種々の視点からの少なくとも１つの単一の三次元的シーンの同時的表示を制御するような付加的な処理を有していることを特徴とする方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP97401690 | 1997-07-11 | ||
| EP97401690.9 | 1997-07-11 | ||
| PCT/IB1998/001036 WO1999003069A1 (en) | 1997-07-11 | 1998-07-06 | Audiovisual data decoding method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001502097A JP2001502097A (ja) | 2001-02-13 |
| JP4237270B2 true JP4237270B2 (ja) | 2009-03-11 |
Family
ID=8229808
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP50836899A Expired - Lifetime JP4237270B2 (ja) | 1997-07-11 | 1998-07-06 | 音声画像データの復号方法 |
Country Status (11)
| Country | Link |
|---|---|
| US (2) | US6445740B1 (ja) |
| EP (1) | EP0925557B1 (ja) |
| JP (1) | JP4237270B2 (ja) |
| KR (1) | KR20010029494A (ja) |
| CN (1) | CN1202500C (ja) |
| AU (1) | AU7927298A (ja) |
| BR (1) | BR9806025B1 (ja) |
| DE (1) | DE69818621T2 (ja) |
| ES (1) | ES2207839T3 (ja) |
| MY (1) | MY121352A (ja) |
| WO (1) | WO1999003069A1 (ja) |
Families Citing this family (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6850946B1 (en) * | 1999-05-26 | 2005-02-01 | Wireless Valley Communications, Inc. | Method and system for a building database manipulator |
| US6934906B1 (en) | 1999-07-08 | 2005-08-23 | At&T Corp. | Methods and apparatus for integrating external applications into an MPEG-4 scene |
| US6751655B1 (en) * | 2000-04-18 | 2004-06-15 | Sun Microsystems, Inc. | Method and apparatus for transport of scenegraph information across a network |
| US6625454B1 (en) | 2000-08-04 | 2003-09-23 | Wireless Valley Communications, Inc. | Method and system for designing or deploying a communications network which considers frequency dependent effects |
| US6973622B1 (en) | 2000-09-25 | 2005-12-06 | Wireless Valley Communications, Inc. | System and method for design, tracking, measurement, prediction and optimization of data communication networks |
| US20060129933A1 (en) * | 2000-12-19 | 2006-06-15 | Sparkpoint Software, Inc. | System and method for multimedia authoring and playback |
| DE10108888A1 (de) * | 2001-02-17 | 2002-08-29 | Manfred Rennings | Parkscheibe |
| EP1260914A1 (en) * | 2001-05-23 | 2002-11-27 | Mediabricks Ab | A method for optimizing utilization of client capacity |
| US7216288B2 (en) * | 2001-06-27 | 2007-05-08 | International Business Machines Corporation | Dynamic scene description emulation for playback of audio/visual streams on a scene description based playback system |
| JP2005517263A (ja) * | 2002-02-07 | 2005-06-09 | サムスン エレクトロニクス カンパニー リミテッド | モード表示情報が記録された情報保存媒体、その再生装置および再生方法 |
| FR2839176A1 (fr) * | 2002-04-30 | 2003-10-31 | Koninkl Philips Electronics Nv | Systeme d'animation pour robot comprenant un ensemble de pieces mobiles |
| US7439982B2 (en) * | 2002-05-31 | 2008-10-21 | Envivio, Inc. | Optimized scene graph change-based mixed media rendering |
| AU2003251879A1 (en) * | 2002-07-12 | 2004-02-02 | Raytheon Company | Scene graph based display for desktop applications |
| FR2849980B1 (fr) * | 2003-01-15 | 2005-04-08 | Medialive | Procede pour la distribution de sequences video, decodeur et systeme pour la mise en oeuvre de ce prodede |
| FR2853786B1 (fr) * | 2003-04-11 | 2005-08-05 | Medialive | Procede et equipement de distribution de produits videos numeriques avec une restriction de certains au moins des droits de representation et de reproduction |
| FR2854531B1 (fr) * | 2003-05-02 | 2007-01-05 | Medialive | Procede et systeme pour securiser l'embrouillage, le desembrouillage et la distribution de sequences visuelles vectorielles |
| US7145562B2 (en) * | 2004-05-03 | 2006-12-05 | Microsoft Corporation | Integration of three dimensional scene hierarchy into two dimensional compositing system |
| US8031190B2 (en) * | 2004-05-03 | 2011-10-04 | Microsoft Corporation | Translating two-dimensional user input on three-dimensional scene |
| KR100679740B1 (ko) * | 2004-06-25 | 2007-02-07 | 학교법인연세대학교 | 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법 |
| CN1331359C (zh) * | 2005-06-28 | 2007-08-08 | 清华大学 | 交互式多视点视频系统中视频流的传输方法 |
| US20070008566A1 (en) * | 2005-07-07 | 2007-01-11 | Xerox Corporation | 3-D view and edit method and apparatus for document make-ready preparation for book production |
| ZA200805337B (en) | 2006-01-09 | 2009-11-25 | Thomson Licensing | Method and apparatus for providing reduced resolution update mode for multiview video coding |
| US7913157B1 (en) * | 2006-04-18 | 2011-03-22 | Overcast Media Incorporated | Method and system for the authoring and playback of independent, synchronized media through the use of a relative virtual time code |
| CN100446039C (zh) * | 2006-09-13 | 2008-12-24 | 浙江大学 | 基于层次化视点相关模型的计算机辅助二维手绘动画方法 |
| KR20080089119A (ko) * | 2007-03-30 | 2008-10-06 | 삼성전자주식회사 | Ｍｐｅｇ 기반의 ｕｉ 장치 및 이를 이용한 기능 제어 방법 |
| US20090315980A1 (en) * | 2008-06-24 | 2009-12-24 | Samsung Electronics Co., | Image processing method and apparatus |
| CN102339473B (zh) * | 2010-07-22 | 2014-03-26 | 山东师范大学 | 一种基于遗传算法的动漫模型设计方法 |
| US10176644B2 (en) * | 2015-06-07 | 2019-01-08 | Apple Inc. | Automatic rendering of 3D sound |
| US10743070B2 (en) * | 2017-12-01 | 2020-08-11 | At&T Intellectual Property I, L.P. | Fast channel change for a set top box based on channel viewing behaviors |
| US20210105451A1 (en) * | 2019-12-23 | 2021-04-08 | Intel Corporation | Scene construction using object-based immersive media |
| CN117934785B (zh) * | 2023-12-22 | 2024-06-11 | 北京威驰克国际数码科技有限公司 | 一种生成3d模型过程的皮肤自动优化方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2144253C (en) * | 1994-04-01 | 1999-09-21 | Bruce F. Naylor | System and method of generating compressed video graphics images |
| GB9501402D0 (en) * | 1995-01-25 | 1995-03-15 | Univ College Of London | Modelling,analysis and measurement of architectural and other systems |
| US5838830A (en) * | 1996-09-18 | 1998-11-17 | Sharp Laboratories Of America, Inc. | Vertex-based hierarchical shape representation and coding method and apparatus |
| US6801575B1 (en) * | 1997-06-09 | 2004-10-05 | Sharp Laboratories Of America, Inc. | Audio/video system with auxiliary data |
-
1998
- 1998-07-06 CN CNB988013134A patent/CN1202500C/zh not_active Expired - Lifetime
- 1998-07-06 BR BRPI9806025-2A patent/BR9806025B1/pt not_active IP Right Cessation
- 1998-07-06 AU AU79272/98A patent/AU7927298A/en not_active Abandoned
- 1998-07-06 JP JP50836899A patent/JP4237270B2/ja not_active Expired - Lifetime
- 1998-07-06 EP EP98929568A patent/EP0925557B1/en not_active Expired - Lifetime
- 1998-07-06 DE DE69818621T patent/DE69818621T2/de not_active Expired - Lifetime
- 1998-07-06 US US09/254,103 patent/US6445740B1/en not_active Expired - Lifetime
- 1998-07-06 WO PCT/IB1998/001036 patent/WO1999003069A1/en not_active Application Discontinuation
- 1998-07-06 ES ES98929568T patent/ES2207839T3/es not_active Expired - Lifetime
- 1998-07-06 KR KR1019997002047A patent/KR20010029494A/ko active Search and Examination
- 1998-07-10 MY MYPI98003174A patent/MY121352A/en unknown
-
2002
- 2002-05-14 US US10/145,072 patent/US7965769B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001502097A (ja) | 2001-02-13 |
| AU7927298A (en) | 1999-02-08 |
| EP0925557B1 (en) | 2003-10-01 |
| US6445740B1 (en) | 2002-09-03 |
| US20030048844A1 (en) | 2003-03-13 |
| CN1239566A (zh) | 1999-12-22 |
| BR9806025B1 (pt) | 2009-05-05 |
| DE69818621D1 (de) | 2003-11-06 |
| CN1202500C (zh) | 2005-05-18 |
| US7965769B2 (en) | 2011-06-21 |
| KR20010029494A (ko) | 2001-04-06 |
| DE69818621T2 (de) | 2004-09-30 |
| MY121352A (en) | 2006-01-28 |
| ES2207839T3 (es) | 2004-06-01 |
| EP0925557A1 (en) | 1999-06-30 |
| BR9806025A (pt) | 1999-10-13 |
| WO1999003069A1 (en) | 1999-01-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4237270B2 (ja) | 音声画像データの復号方法 | |
| US10593105B2 (en) | Method and system for linking a first virtual reality (VR) immersive space with a second VR immersive space | |
| US6266053B1 (en) | Time inheritance scene graph for representation of media content | |
| Kim | Designing virtual reality systems | |
| KR101134333B1 (ko) | 3차원 객체 상에 맵핑된 2차원 이미지의 처리 방법 | |
| Li et al. | [Retracted] Multivisual Animation Character 3D Model Design Method Based on VR Technology | |
| JP2001273520A (ja) | マルチメディアドキュメント統合表示システム | |
| Richardt et al. | Capture, reconstruction, and representation of the visual real world for virtual reality | |
| Cha et al. | Touchable 3D video system | |
| Snowdon et al. | Inhabited information spaces: living with your data | |
| Reitmayr et al. | Flexible parametrization of scene graphs | |
| Bove | Multimedia based on object models: Some whys and hows | |
| Cha et al. | MPEG-4 studio: An object-based authoring system for MPEG-4 contents | |
| Naef et al. | blue-c api: A multimedia and 3d video enhanced toolkit for collaborative vr and telepresence | |
| Steed et al. | Construction of collaborative virtual environments | |
| Fairchild | Explorations of 3D virtual spaces: applications of VR | |
| Nishimura et al. | Augmented Real World (ARW) Framework and Augmented Reality Modeling Language (ARML) | |
| Kim et al. | Component based 3D GIS software design for the urban planning | |
| Dodge | The abstraction, transmission, and reconstruction of presence: A proposed model for computer based interactive art | |
| Lee | A classification of file formats for animation | |
| Banerjee | A behavioral layer architecture to integrate telecollaborative virtual manufacturing operations | |
| CN118334138A (zh) | 一种三维场景的渲染方法及装置 | |
| Behr et al. | Class notes: don't be a WIMP: (http://www. not-for-wimps. org) | |
| Settgast | Processing Semantically Enriched Content for Interactive 3D Visualizations | |
| Zhou et al. | X3d-based web 3d resources integration and reediting |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050705 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080401 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20080701 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20080811 |
|
| A524 | Written submission of copy of amendment under article 19 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A524 Effective date: 20081001 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081118 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081218 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111226 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121226 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131226 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |