JP3955178B2 - グラフィックシーンの動画化データ信号並びにこれに対応する方法及び装置 - Google Patents
グラフィックシーンの動画化データ信号並びにこれに対応する方法及び装置 Download PDFInfo
- Publication number
- JP3955178B2 JP3955178B2 JP2000502638A JP2000502638A JP3955178B2 JP 3955178 B2 JP3955178 B2 JP 3955178B2 JP 2000502638 A JP2000502638 A JP 2000502638A JP 2000502638 A JP2000502638 A JP 2000502638A JP 3955178 B2 JP3955178 B2 JP 3955178B2
- Authority
- JP
- Japan
- Prior art keywords
- animation
- mask
- dynamic
- data
- field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims description 25
- 238000013139 quantization Methods 0.000 claims description 21
- 238000012512 characterization method Methods 0.000 claims description 20
- 230000005540 biological transmission Effects 0.000 claims description 10
- 230000033001 locomotion Effects 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims 1
- 238000010422 painting Methods 0.000 description 36
- 238000010586 diagram Methods 0.000 description 8
- 230000007246 mechanism Effects 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
Description
本発明は、例えばマルチメディアターミナル上での、グラフィックシーン伝送のフィールドに関する。より詳細には、本発明は、動画化されたシーン又はこのようなシーンの要素の伝送に関する。
【0002】
グラフィックシーンとは、時間及び空間内でのグラフィックオブジェクト、画像及び/又はビデオの集合の編成を意味する。これらのグラフィックシーンは、2次元又は3次元であり、様々なタイプのグラフィックパラメータを含む。
【0003】
本発明は、特に、グラフィックシーンの動画のコンパクトで効率的な表示が要求される任意の状況に適用される。これは、例えば、次の場合である。
− 例えば、オブジェクトの新たな位置を交換する必要が存在する協調的仕事などのゲーム又は他のマルチユーザネットワーク用途。
− 2D又は3Dグラフィックオブジェクトを使用するマルチメディア相談サービス。
【0004】
グラフィックシーンの描写のためのフォーマットが既に知られている。例えば、標準 ISO/IEC DIS 14772−1は、VRML2.0フォーマットを説明している。標準のMPEG−4群も、VRML2.0を基礎とするBIFS(Binary Format for Scene)として知られているシーン描写フォーマットを定義している。BIFSフォーマットは、特に、“MPEG−4 Systems Verification Model”(ISO/IEC JTC1、SC29/WG 11−N1693、MPEF 97、1997年4月)に記載されている。
【0005】
このシーン描写フォーマットの目的は、1つのシーンの様々なグラフィックオブジェクトの間の区間・時間関係を描写することにある。このシーン描写フォーマットはこれを、表示すべき全てのグラフィック要素を表す、ある特定の数のノードすなわちオブジェクトを定義することにより行う。これらのノードのそれぞれは、その特徴を表す、事前定義されたフィールドを有する。すなわち、BIFSフォーマットにより、シーン構造が、パラメータ的描写すなわちスクリプトの形で伝送されることが可能となる。
【0006】
いくつかのタイプのシーンを動画にするいくつかの試みがなされている。例えば、MPEG−4正規化のSNHC群により定義されている顔面を動画描写するためのフォーマットが存在する(“The MPEG−4 SNHC Verification Model”、ISO/TEC 1/SC29/WG11 N 1693、MPEG 97、1997年4月)。しかし、このフォーマットは、所与の用途すなわちビデオ電話のみのためであり、他には使用できない。
【0007】
VRML言語も、グラフィックシーンの動画化を伝送するための次の2つの方法を定義している。 − シーンのパラメータ上の部分線形変化を描写することにより行われる線形補間(リニアインターポレイション)を基礎とする第1の方法。このメカニズムは、“ROUTE”命令及び“Interpolator”タイプノードを使用する。“ROUTE”は、第1のフィールドが値を変化させると、第1のフィールドが“ROUTE”により接続されている第2のフィールドも、同一の値をとるように、フィールドの間の接続を定義するのに使用されるイベントのメカニズムである。
− 動画を描写する第2の方法は、スクリプト、すなわち、シーンショットの間の新たなフィールド値を計算するために数学的関数を使用する機能を使用する。
【0008】
これらの公知の方法は、少なくとも2つの重大な欠点を有する。
【0009】
まず、初めに、これらの方法は、動画を得るために必要とされる多数の操作を大幅に複雑にする、値の再計算を必要とする。これにより、充分に高性能のターミナルが必要となる。
【0010】
さらに、これらの方法は、動画パラメータが、既知であると仮定する。この仮定は、動画が、例えば通信用途で使用される場合には当てはまらない。
【0011】
本発明の1つの特別の目的は、従来の技術のこれらの様々な欠点を克服することにある。
【0012】
より詳細には、本発明の1つの目的は、動画データのための伝送構成と、簡単に実施できる動画化をもたらし、全てのタイプのグラフィックシーン、特に、前もって展開が知られていないグラフィックシーンのための僅かな伝送リソースしか消費しない方法及びこれに対応する装置とを提供することにある。
【0013】
すなわち、本発明は、特に、次の基準のうちの少なくとも1つを満たす、グラフィックシーンのための動画化のための技術を提供することを目的とする。
− データ編集及びインタープリテーションの単純性。
− 記憶及び/又は伝送リソースの少ない消費量。
− 全てのオブジェクト及びグラフィックシーンを動画化する能力。
− 任意の方法で、事前に定められていないオブジェクトすなわちノードを動画化する可能性。
【0014】
本発明の別の1つの目的は、安価で、簡単なマルチメディアターミナル、すなわち、大規模な計算手段も、大規模なデータ記憶手段も、必要としないマルチメディアターミナルを構成することを可能にする、このタイプの技術を提供することにある。
【0015】
さらに別の1つの目的は、低い伝送速度で動作するネットワーク上で実施できる、このタイプの技術を提供することにある。
【0016】
本発明は、VRML及びMPEG−4標準に共通して適用可能である、このタイプの技術を提供する目的も、有する。
【0017】
これらの目的、及び、以下により明瞭に説明される他の目的は、少なくとも1つのスクリーン上に表示されることが可能である画像構成手段のための、グラフィックシーンの動画データ信号であって、動画にすべき前記グラフィックシーンはオブジェクトの集合として前記画像構成手段に前もってロードされ、前記オブジェクトのうちの少なくともいくつかはそれら自身を識別する識別子を有するものである場合における、グラフィックシーンの動画データ信号において、
− 前もって前記動画処理に供給され、前記オブジェクトのうちの少なくとも1つに基本マスクを供給する単一の動画マスクと、
− 前記マスクにより定められている順番に従って、例えば修正が可能とされた前記オブジェクトのダイナミック特徴付けフィールドを更新するデータを有する動画フレームと、
をそれぞれ有し、
前記基本マスクは、動画化すべき前記グラフィックシーン内で定義されている前記オブジェクトの識別子と、修正され得る前記オブジェクトの特徴を表す、前記オブジェクトの少なくとも1つのダイナミック特徴付けフィールドの描写とを有し、
前記画像構成手段は、前記動画マスクのデータを復号化し、前記マスクを使用して動画を初期化し、前記動画フレームに従って、前記シーンを更新するようになされた、本発明に係るグラフィックシーンの動画データ信号により達成される。
【0018】
このようにして、1つのシーンの動画化は、特に、簡単で効率的である。伝送されるデータの量は、制限され、大規模な処理手段が設けられているターミナルを設ける必要はない。事前定義されたマスクの使用により、フレームを簡単化し、減少することが可能となる。
【0019】
さらに、シーンを、シーンの展開を前もって知らずに、動画にすることができる。これにより、例えば、全てのタイプの対話的用途を実施することが可能となる。
【0020】
好ましくは、前記基本マスクのそれぞれが、
− 前記オブジェクトの識別子(ID)と、
− 動画化の間に修正されることが可能であるアクティブダイナミックフィールドと、動画化の間に不変であるダイナミックフィールドとを特定する描写ブロック(bin mask)と、
− 場合に応じて、前記アクティブダイナミックフィールドのそれぞれに適用可能な量子化データの定義ブロック(Qpi)と、
を有する。
【0021】
前記アクティブダイナミックフィールドのうちの少なくともいくつかは、ベクトルを形成するマルチプルフィールドである。これらの条件下では、前記基本マスクが、前記ベクトルを形成する全ての前記フィールドがアクティブか、又は、前記フィールドのうちのいくつかのみがアクティブであるかを特定するデータ項目を有し、前記定義ブロックは、その結果として、修正される。
【0022】
本発明の1つの好ましい実施例では、前記ダイナミックフィールドのうちの少なくともいくつかが、前記動画フレームのうちの少なくともいくつかの中で、予測的符号化を使用して、符号化される。このようにして、各前記動画フレームが、各ダイナミックフィールドを、前記ダイナミックフィールドが、予測的モードで符号化されているか、又は、絶対的モードで符号化されているかを特定するデータ項目に関連させる。
【0023】
好ましくは、前記動画フレームのそれぞれは、
− 前記オブジェクトのそれぞれにおいて、その動画パラメータが、前記動画フレーム内で伝送されるかどうかを示す定義ゾーンと、
− 前記定義ゾーン内にリストされているオブジェクトの動画化に必要なデータを供給する動画データゾーンと、
を有する。
【0024】
本発明の1つの実施例では、前記動画データゾーンが、
− 符号化のタイプ(isIntra)と、
− 同期化ワード(Sync)と、
− 同期化リファレンス(IParam)と、
− 当該のオブジェクトのための動画化フレームの周波数値(Iparam)と、
− N個のフレームのジャンプであって、前記ジャンプの間にデータ項目が伝送されないようにするジャンプ(IParam)と、
− 量子化パラメータの値の変化の指示(hasQP)と、
− 新量子化パラメータ値(QPi)と、
− ダイナミックフィールドの符号化された値(Ivaluei又はPvaluei)とを有する群からの少なくともいくつかのデータを有する。
前記ダイナミックフィールドは、特に、
− 前記オブジェクトの態様を定義するフィールドと、
− 前記オブジェクトの位置を定義するフィールドと、
− 前記オブジェクトの運動を定義するフィールドと、
− 前記オブジェクトの形状を定義するフィールドと、
− 前記オブジェクトの照明を定義するフィールドとを有する群に属することもある。
【0025】
本発明は、少なくとも1つのスクリーン上に表示されるグラフィックシーンの動画化データを伝送するための方法において、
− 動画化初期段階と、
− 動画化段階と、
をそれぞれ有し、
前記動画化初期段階においては、単一の動画マスクの伝送が行われ、前記単一の動画マスクが前記動画化の前置きとして供給されると共に、グラフィックオブジェクトの少なくとも1つが、
− 動画化すべき前記グラフィックシーン内で定義されている、前記オブジェクトの識別子と、
− 修正され得る前記オブジェクトの1つの特性を表示する、前記オブジェクトの少なくとも1つのダイナミック特徴付けフィールドの描写と、をそれぞれ有する基本マスクに配分され、
前記動画化段階においては、前記マスクにより定義されている順番に従って、前記オブジェクトのダイナミック特徴付けフィールドを更新して、前記ダイナミック特徴付けフィールドが修正されることを可能にするデータを有する動画フレームの伝送が行われる、グラフィックシーンの動画データの伝送方法にも関する。
【0026】
最後に、本発明は、少なくとも1つのスクリーン上に表示されるように構成されたグラフィックシーンのための動画化装置において、
− 動画化の初期化を構成するための初期化手段と、
− 前記グラフィックシーンのダイナミック動画化手段と、
をそれぞれ具備し、
前記初期化手段は、単一の動画マスクを使用し、前記単一の動画マスクは、前記動画化処理に先だって供給され、前記オブジェクトのうちの少なくとも1つが、
− 動画化すべき前記グラフィックシーン内で定義されている前記オブジェクトの識別子と、
− 修正され得る前記オブジェクトの1つの特性を表示する、前記オブジェクトの少なくとも1つのダイナミック特徴付けフィールドの描写と、
をそれぞれ有する基本マスクに配分され、
前記ダイナミック動画化手段は、動画フレームを使用し、
前記動画フレームは、前記グラフィックシーンの修正のために、前記マスクにより定義されている順番に従って、前記オブジェクトのダイナミック特徴付けフィールドを更新する更新データを有するようにしたグラフィックシーンのための動画化装置にも関する。
【0027】
本発明の他の特徴及び利点は、以下の詳細な説明から明らかになるであろう。以下の説明は、制限的でない例として与えられている1つの好ましい実施例に関し、添付の図を参照する。
【0028】
図1は、例えば、標準MPEG−4に適用可能であり、本発明の動画化信号又は動画化の流れを含有するターミナルのブロックダイヤグラムである。
【0029】
このターミナルは、BIFSフォーマットにおけるデータの流れ12、又は動画マスクを使用して、オリジナルシーンを形成するための手段11を有する。すなわち、ターミナルは、オブジェクトすなわちノードに関連して描写されるグラフィックシーンをロードする。
【0030】
シーン描写フォーマットの目的は、1つのシーンのグラフィックオブジェクトの間の空間・時間関係を描写することにある。これを行うために、BIFSフォーマットは、表示すべき全てのグラフィック要素を表すある特定の数の“ノード”を定める。これらのノードのそれぞれについては、これらのノードの特徴を表すフィールドが前もって定めてある。例えば、円形要素(円形プリミティブ)のフィールドは、フローティングナンバータイプ“半径”であり、“ビデオオブジェクト”要素のパラメータは、ビデオの開始時間及び終了時間である。
【0031】
本発明では、これらのノードのうちのいくつかは、修正可能と宣言され、将来の修正を可能にする。これは、VRML標準における“DEF”メカニズムにより、そして、MPEG−4システムにおける同様のメカニズムにより表すことが可能である。
【0032】
一旦、シーンが、ユーザの要求(対話モード)で、又は、自動的に(受動モード、“プッシュモード”としても知られている)ロードされると、“BIFS Anim”として知られている動画化の流れ13がロードされ、シーンのパラメータを修正する。
【0033】
修正又は動画化は、デコーダ14により実施される。動画化に関与するノードのそれぞれの新フィールド値に対して、デコーダは、対応するフィールドを修正し、これらの新値は、次のシーンショットループで使用される。シーンショットループの間に、シーンのそれぞれのノードに対して、グラフィック命令が、グラフィックプロセッサで呼出されて、適当な要素を描くのに使用される。
【0034】
このようにして、ユーザに表示できる(16)、動画化された画像15が得られる。必要な場合には、ユーザは、適当なインターフェースにより、介入できる((17)。
【0035】
オーディオ又はビデオの流れ18が使用される場合、同様のメカニズム19が使用される。
【0036】
この技術は、多数の用途を有する。例えば、図2は、マルチユーザゲームを示す。二人のユーザ21及び22が、ゲームを描写するオリジナルシーンをロードする。次いで、サーバ23が、ユーザ21に、サーバ23が、ユーザ22の順次の位置24を受け取ることを宣言する。これらの位置は、ユーザ22により、サーバ23に伝送され、サーバ23は、次いで、これらの位置を、ユーザ21に再伝送する。動画化のコンフィギュレーションデータ及び動画パラメータ(この場合にはユーザ22の位置)は全て、"BIFS−Anim"の流れ13を形成する。この伝送は、シンメトリカルである。ユーザ21は、ユーザ21の位置をユーザ22に伝送するのに、同一の方法を使用する。
【0037】
図3は、動画化の流れが前もって計算されている場合に関連しての、動画化の流れの使用の別の例を示す。オリジナルシーンを描写するファイル31は、まず初めに、(例えばCD−ROM33から)ロードされ、シーンデコーダ32により復号化される。オリジナルシーンは、表示され、次いで、動画化フローデコーダ38は、動画パラメータを読み取り、キャラクター36及び地球儀37の同期化された動画画像を与える。
【0038】
図4は、本発明の一般的原理を示すものであって、後続の段階が示されている。図4には、2つの後続段階、すなわち、動画マスクを使用して構成される段階41と、シーンが動画フレームにより規則的に更新される動画化段階42とが示されている。
【0039】
動画フォーマットの一般的原理は、次のパラメータを伝送することから成っている。
【0040】
まず、初めは、伝送すべきフィールドを描写し、必要な場合、フィールドの量子化及び圧縮パラメータを特定する、動画マスクとも称される、動画のコンフィギュレーションパラメータである。これらのパラメータは、シーン内で修正可能と宣言されたノードの(VRML標準において定められている)eventIn又はexposedFieldscのフィールドから選択できる。動画マスクは、これらのパラメータを定めるいくつかの基本的マスクに分割される。
【0041】
次は、動画フレームの集合として伝送される動画データである。動画フレームは、所与の時点に対する、動画パラメータの全ての新たな値を含む。これらのパラメータは、次の2つのモードで伝送できる。
− “イントラ”モード。このモードでは、パラメータの伝送は、絶対的である。イントラモードでは、量子化のために新パラメータを再定義できる。
− このパラメータと、先行のサンプルを基礎とする予測との間の差が、伝送される“予測的”モード。
【0042】
これらの動画パラメータは、動画化されることが可能であると、前に宣言されたシーンの全てのノードの全てのフィールドに適用できる。これは、例として、VRML仕様内のトランスフォームノードをとって、以下に、説明される。
【0043】
このノードは次のように与えられる。
【0044】
この例では、
− 回転と、
− スケールと、
− scaleOrientationと、
− 並進と、
のフィールドが、典型的には、動画における関心パラメータである。従って、動画にできる全てのノードを宣言して、次いで、特定の動画フィールドを指定することを可能にする必要がある。この場合、"ダイナミック"フィールドと呼ぶことができる。ダイナミックフィールドは、動画のために、できるだけコンパクトなフォーマットを使用することが可能となるように、当該システム内で前もって指定しなければならない。
【0045】
スカラ値のみが、動画化の間に修正できる。例えば、VRML2.0において、次のタイプのパラメータを、動画化できる。
【0046】
全ての前のタイプの値のテーブルも、修正できる。テーブルタイプ値の場合、フィールド全体を修正するか、又は、明示的に選択されたある特定の値を修正することが可能である。
【0047】
本発明で使用される信号が、以下に、詳細に、説明される。
【0048】
動画マスクは、伝送すべきフィールドと、これらのフィールドの量子化パラメータとを表す。修正すべき各ノード及び値に対して、マスク構造が使用され、マスク構造の意味が、以下に説明される。マスクの原理は、動画化することを望むダイナミックフィールドを指定することにある。次いで、各パラメータの量子化パラメータが、与えられる。
【0049】
動画のコンフィギュレーションパラメータの構造は、図5に示されているように表される。
【0050】
パラメータの構文は以下のようである。
− 基本マスク51: このノードのために動画化すべきダイナミックフィールドと、対応する量子化パラメータとの定義。
− 同一の流れの中で動画化すべき他のノードが存在する場合、1に設定された連続的52bit。
【0051】
基本マスクは、図6に示されている。対応する意味は、次の如くである。
− ID61: 修正すべきノードの単一の識別子。この識別子は、オリジナルシーンから知られている。
− Binマスク62: 動画化されたノードのタイプのダイナミックフィールドの数に等しい長さのバイナリーマスク。ダイナミックフィールドが動画化されない場合、0が伝送され、動画化される場合、1が伝送される。
【0052】
マルチプルフィールドの場合、修正すべきフィールドのインデックスを特定することも必要である。修正すべき複数のインデックスが存在する場合、全てのフィールドを修正するか、又は、ベクトルの一部のみを修正するかを決定する。メッセージの構文は、図7に示されている。
【0053】
− Qpi63: ダイナミックフィールドiのための量子化パラメータ。バイナリーマスク内でアクティブと宣言されたダイナミックフィールドの数と同一の数の量子化パラメータが存在する。特に、これらのフィールドは、量子化が、いかなる特定のパラメータも必要としない場合、空である。この動画化の流れを伝送するサーバにより前もって知られているこれらのフィールドの構文及び意味の決定。
【0054】
図7は、前記マルチプルフィールドの場合のバイナリーマスクの構文の詳細を示す。意味は、格納されるマスクの構文の意味は、以下の如くである。
− isTotal71: このマスクが1に設定されている場合、フィールドの全ての値は修正しなければならない。それ以外の場合は、修正すべきベクトルのある特定の要素が選択される。
− インデックス72: 修正すべきベクト内のフィールドのインデックス。
− 継続73: このフラグが1に設定されている場合、これは、ベクトルの他の要素が修正されなければならないことを意味する。
【0055】
好ましくは、少なくともある特定の状況では、予測的符号化が、情報フレーム内で伝送すべきデータ項目の数を減少するために使用される。
【0056】
パラメータの圧縮が、DPCMタイプ圧縮プロトコルを使用することにより達成できる。パラメータの値は、“予測的”モードP又は"イントラ"モードI内で符号化される。
− Pモードでは、伝送すべき1つのフィールドの各新値に対して、前の値に対する差が、符号化される。この差は、量子化され、次いで、可変長エントロピー符号化により最適に表される。
− Iモードでは、ダイナミックフィールド値が、簡単な量子化を使用することにより、直接に符号化され、次いで、可変長符号により表される。
【0057】
図8は、一般的な圧縮アルゴリズムを描写するブロックダイヤグラムである。予測手段84により供給された推定データ83のソースデータ82からの減算81が、行われる。対応する誤差信号85が、量子化され86、次いで、エントロピー符号化87にかけられる。量子化された信号88は、予測手段84に供給される。
【0058】
図9に示されている、対応するプロセスは、復号化のために使用される。受信データ91は、エントロピー復号化92にかけられ、次いで、予測手段96により予測された信号95は、復号化された信号93に加算される94。逆量子化97が、次いで、信号に対して行われる。
【0059】
動画化データの流れは、従って、図10に示されている構造を有する。
【0060】
各動画フレームは、値の群のマスク101で開始する("GMask")。このマスク101は、動画パラメータが追従するかしないかを、動画マスクの特定化の順番で、各ノードに対して特定する、一連のバイナリー要素"0"及び"1"から成る。
【0061】
次いで、インジケータ102“isIntras”を使用して、予測的符号化が、使用されるかどうかが特定される。このインジケータが、例えば値"1"を有する場合、この値は、絶対的(“イントラ”)モードで、符号化される。このインジケータが、同一の例で、値“0”を有する場合、予測的符号化が、使用される。
【0062】
“イントラ”モードが使用される場合、流れ内の再タイミング操作を実施するために使用される同期化ワード103が、供給される。
【0063】
次いで、動画化されたそれぞれのノードに対して、次のものが、伝送される。
− 随意に、"イントラ"モードで、伝送に結合されているパラメータ104、例えば、
− 当該の"イントラ"フレームのための同期化リファレンス又は"タイムコード"。
− 動画化されたノードの動画化フレーム周波数のための新たな値。
− 場合に応じて、より多くのデータが、Nフレームの間に伝送されることを示すフレームジャンプ。
− 1セットのパラメータ(パラメータの集合)。フィールドのオーダで、次の順序で施行される。
− "イントラ"符号化において、量子化パラメータの値が、後続する値のために再定義されるか(例えば、"has QP"=1)、又はされないか(例えば、"has QP"=0)かを特定するインジケータ105"has OP"。
− "has QF"=1の場合、量子化パラメータ"QPi"の新値106。
− 選択されたモード(イントラ又は予測的)でのダイナミックフィールドiの符号化された値である値107"IValuei"又は108"PValuei"。
【0064】
全てのタイプの量子化又はエントロピー符号化プロトコルは、動画データコーダにより使用されることが可能であり、従って、様々なタイプのスカラ又はベクトル量子化が、量子化のために使用されることが可能であり、流れ低減プロトコルが、損失を生じること無しに、エントロピー符号化のために使用されることが可能である。
【0065】
動画化の流れの開始又は停止の対話的指令を得るために、本発明は、BIFS又はVRMLフォーマットでの新ノードを提供する。このAnimationStreamノードは、VRML用語において、“時間依存ノード”タイプである。このノードの構文は、以下のように表すことができる。
【0066】
【0067】
このノードは、VRML BIFS動画化の流れ内で伝送される。このノードの使用の1つの例が、以下に説明される。この例では、立方体が、表示される。ユーザがクリックすると、色、位置及びXサイズ成分が、動画化される。この例は、ASCIIフォーマット内で与えられるが、BIFS内のそのバイナリーバージョンに転記されることが可能である。オリジナルシーンは、以下のように与えられる。
【0068】
【0069】
ユーザが、立方体上でマウスをクリックすると、識別子"ANIMATION"の動画化の流れが、開始される。動画化すなわち流れすなわちファイル"Scene.anim"は、以下の情報を含む。
T 変換の識別子
0001 変換フィールドのみが、修正される。
1 位置のベクトルフィールド全体が、動画化される。
00405108 位置が、点(0,0,4)及び(0,5,10)により定められた平行六面体内で変化し、256個のボールが、イントラモードで量子化するために、Ox 軸線上での称される。
0−2−50376 相対位置が、点(0,0,4)及び(0,0,10)により定められた立方体内で変化し、64=26−1が、D3内で、Ox 軸線上でピークとなって、Pモードで量子化する。
1 継続
M オブジェクトの色が、動画化されなければならない。
010001 オブジェクトの色及び透明性が、動画化されなければならない。
102408 色が、モードIで、10と240との間で、8bitで変化する。
−558 色が、Pモードで、10と240と間で、8bitで変化する。
102408 Iモードで透明性に対して同上。 −558 Pモードで、透明性に対して同上。
1 継続。
C 立方体のサイズが、修正されなければならない。
1 そのサイズが、修正される。
0 サイズベクトルのある特定の詳細のみが、修正されなければならない。
0 立方体のサイズが、Ox軸線上のみで修正されなければならない。
25.55 値が、5bitで表現されて、イントラモードで、0と5.5との間で変化する。
−334 相対値が、Pモードで、4bitで、−3と3との間で、変化する。
0 動画マスクの終了。
【図面の簡単な説明】
【図1】 本発明によるグラフィックシーンの動画化の一般的原理を示す図である。
【図2】 本発明の原理の1つの好ましい用途であるマルチユーザ用途を示す図である。
【図3】 本発明の原理の別の1つの好ましい用途である、動画化の流れが、前もって形成されている用途を示す図である。
【図4】 本発明の動画化方法を概略的に示すブロックダイヤグラムである。
【図5】 本発明による動画化マスクの一般的構造を示す図である。
【図6】 図5の基本マスクの構造を示す図である。
【図7】 フィールドが複数の値を有する状況での、図6の基本マスクの詳細を示す図である。
【図8】 本発明による、伝送されるパラメータの符号化を示すダイアグラムである。
【図9】 図8で符号化されたパラメータの復号化を示す図である。
【図10】 本発明による、動画化フレームのブロックダイヤグラムである。
Claims (11)
- 動画化すべきグラフィックシーンをオブジェクトの集合の形式で画像構成手段(15)へと予めロードし、該オブジェクトのうちの少なくともいくつかがそれら自体の識別子を有するものであり、少なくとも1つのスクリーン上に表示可能な画像(16)の構成に適したグラフィックシーンの動画データを構成する方法であって、
単一の動画マスクが前記動画化すべきグラフィックシーンに先立って前記画像構成手段(15)に供給(41)され、前記オブジェクトの少なくとも1つに基本マスク(51)を割り当てる段階と、
前記オブジェクトの修正を行うために、動画フレーム(42)を含む前記動画データの前記オブジェクトのダイナミック特徴付けフィールドを、前記動画マスクにより定められている順番に従って、デコーダ(14)によって更新する段階と
を含んでなり、
ここで、該基本マスク(51)は、動画化すべき前記グラフィックシーン内で定義されている前記オブジェクトの識別子(61)と、修正可能な前記オブジェクトの特徴を表す、前記オブジェクトの少なくとも1つの前記ダイナミック特徴付けフィールド(62)の描写とを含み、
ここで、前記動画フレーム(42)は、前記オブジェクトのダイナミック特徴付けフィールドを更新するデータを前記マスクにより定義された順番に従って含んで、オブジェクトを更新することができるものであり、前記画像構成手段(15)は、前記動画マスクのデータを復号化し、前記動画マスクを使用して前記動画フレームを初期化し、前記動画フレームに従って前記グラフィックシーンを更新することを特徴とする、グラフィックシーンの動画データを構成する方法。 - 前記基本マスクのそれぞれが、
前記オブジェクトの識別子(ID)と、
動画化の間に修正され得るアクティブダイナミックフィールドと、動画化の間に不変であるダイナミックフィールドとを特定する描写ブロック(62)(bin mask)と、
任意選択的に、前記アクティブダイナミックフィールド(63)のそれぞれに適用可能な量子化パラメータ(QPi)と
を含むことを特徴とする、請求項1に記載の方法。 - 前記アクティブダイナミックフィールド(63)のうちの少なくともいくつかは、ベクトルを形成するマルチプルフィールドであり、
前記基本マスクは、前記ベクトルを形成する全ての前記フィールドがアクティブか、又は、前記フィールドのうちのいくつかのみがアクティブであるかを特定するデータ項目(71)を含んでおり、 前記量子化パラメータ(QPi)がデータ項目の値に相応して修正されることを特徴とする請求項2に記載の方法。 - 前記ダイナミックフィールドのうちの少なくともいくつかが、前記動画フレームのうちの少なくともいくつかの中で、予測的符号化(84)を使用して符号化されたものであり、各前記動画フレームにおいて、各ダイナミックフィールドは、前記ダイナミックフィールドが予測的モードで符号化されているか、又は、前記ダイナミックフィールドが絶対的モードで符号化されているかを特定するデータ項目(102)に関連するものであることを特徴とする請求項1から3の何れか1項に記載の方法。
- 前記動画フレームが、
前記オブジェクトのそれぞれにおいて、前記動画フレーム内で伝送されるかどうかをその動画パラメータが示すものである定義ゾーン(101)と、
前記定義ゾーン内にリストされているオブジェクトの動画化に必要なデータを供給する動画データゾーン(101〜108)と
を含むことを特徴とする請求項1から4の何れか1項に記載の方法。 - 符号化のタイプ(isIntra)(102)と、
同期化ワード(Sync)(103)と、
同期化リファレンス(IParam)(104)と、
当該のオブジェクトのための動画フレームの周波数値(Iparam)(104)と、
N個のフレームジャンプであって、該フレームジャンプの間にはデータ項目(IParam)(104)が伝送されないものであるようなフレームジャンプと、
量子化パラメータ(hasQP)の値の変化の指示(105)と、
新たな量子化パラメータ値(QPi)(106)と、
ダイナミックフィールドの符号化された値(Ivalue1又はPvalue1)と
を含んでなる群からの少なくともいくつかのデータを、前記動画データゾーンが含むことを特徴とする請求項5に記載の方法。 - 前記ダイナミックフィールドが、
前記オブジェクトの態様を定義するフィールドと、
前記オブジェクトの位置を定義するフィールドと、
前記オブジェクトの運動を定義するフィールドと、
前記オブジェクトの形状を定義するフィールドと、
前記オブジェクトの照明を定義するフィールドと
を含んでなる群に属することを特徴とする請求項1から請求項6の何れか1項に記載の方法。 - 伝送が発生する動画化の初期化段階(41)であって、少なくとも1つのオブジェクトに基本マスク(51)を割り当てる単一の動画マスクを、前もって前記動画化の初期化段階(41)に伝送し、該基本マスクは、動画化すべきグラフィックシーン内で定義されている、前記オブジェクトの識別子(61)と、修正され得る前記オブジェクトの1つの特性を表示する、前記オブジェクトの少なくとも1つのダイナミック特徴付けフィールド(62)の描写とを含むものである初期化段階(41)と
前記オブジェクトのダイナミック特徴付けフィールドを更新して、該ダイナミック特徴付けフィールドを修正するためのデータを、前記動画マスクにより定義されている順序に従って含む動画フレームの伝送を行う動画化段階(42)と
を含むことを特徴とする、少なくとも1つのスクリーン上に表示され、オブジェクトの集合の形式で予め伝送される動画化すべきグラフィックシーンの動画データを伝送するための方法。 - 前もって動画化の初期化を構成する初期化手段(11)に供給され、少なくとも1つのオブジェクトに基本マスク(51)を割り当てる、単一の動画マスクを使用して、動画化の初期化を構成する初期化手段(11)であって、ここで、該基本マスク(51)は、
動画化すべきグラフィックシーン内で定義されている、前記オブジェクトの識別子(61)と、
修正されるべき前記オブジェクトの特性を表わす、前記オブジェクトの少なくとも1つのダイナミック特徴付けフィールド(62)の描写と
を含むものである、初期化手段(11)と、
前記オブジェクトのダイナミック特徴付けフィールドを更新して、グラフィックシーンを修正するためのデータを、前記動画マスクにより定義されている順番に従って含む動画フレームを使用して、前記グラフィックシーンのダイナミックな動画化を行う手段(12)と
を含んでなることを特徴とする、少なくとも1つのスクリーン上に表示されるように構成され、オブジェクトの集合の形式で予め伝送される動画化すべきグラフィックシーンのための動画化装置。 - 動画化の初期化を構成する初期化手段(11)に予め供給され、少なくとも1つのオブジェクトに基本マスク(51)を割り当てる、単一の動画マスクを使用して動画化の初期化を行う段階であって、ここで、該基本マスクは、
動画化すべきグラフィックシーン内で定義されている、前記オブジェクトの識別子(61)と、
修正されるべき前記オブジェクトの特性を表わす、前記オブジェクトの少なくとも1つのダイナミック特徴付けフィールド(62)の描写と
を含むものである、動画化の初期化を行う段階と、
前記オブジェクトのダイナミック特徴付けフィールドを更新して、グラフィックシーンを修正するデータを、前記動画マスクにより定義されている順番に従って含む動画フレームを使用して、前記グラフィックシーンのダイナミックな動画化を行う段階と
を含んでなることを特徴とする、少なくとも1つのスクリーン上に表示されるように構成され、オブジェクトの集合の形式で予め伝送される動画化すべきグラフィックシーンの動画データを受信して処理するための方法。 - オブジェクトの集合の形式の動画化すべきグラフィックシーンに先立って画像構成手段(15)に供給される単一の動画マスクを用いて、前記オブジェクトの少なくとも1つに基本マスク(51)を割り当てる段階であって、ここで、該基本マスク(51)が、
動画化すべき前記グラフィックシーン内で定義されている前記オブジェクトの識別子(61)と、
修正可能な前記オブジェクトの特徴を表す、前記オブジェクトの少なくとも1つのダイナミック特徴付けフィールド(62)の描写と
を含むものである段階と、
前記オブジェクトのダイナミック特徴付けフィールドを更新して、グラフィックシーンを修正するためのデータを、前記動画マスクにより定義されている順番に従って含む動画フレームを使用して、前記グラフィックシーンのダイナミックな動画化を行う手段(12)と前記動画マスクにより定められている順番に従って、前記オブジェクトの前記ダイナミック特徴付けフィールドのデータを、動画フレーム(42)を用いて更新して、前記オブジェクトを修正する段階と
をコンピュータに実行させる指令を記憶している、コンピュータに読み取り可能な記録媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR9709119A FR2765982B1 (fr) | 1997-07-11 | 1997-07-11 | Signal de donnees d'animation d'une scene graphique, procede et dispositif correspondants |
FR97/09119 | 1997-07-11 | ||
PCT/FR1998/001523 WO1999003281A1 (fr) | 1997-07-11 | 1998-07-10 | Signal d'animation d'une scene graphique, procede et dispositif correspondants |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004171197A Division JP2004272935A (ja) | 1997-07-11 | 2004-06-09 | グラフィックシーンの動画データを構成する方法及び装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2001510313A JP2001510313A (ja) | 2001-07-31 |
JP2001510313A5 JP2001510313A5 (ja) | 2007-04-26 |
JP3955178B2 true JP3955178B2 (ja) | 2007-08-08 |
Family
ID=9509348
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000502638A Expired - Lifetime JP3955178B2 (ja) | 1997-07-11 | 1998-07-10 | グラフィックシーンの動画化データ信号並びにこれに対応する方法及び装置 |
JP2004171197A Withdrawn JP2004272935A (ja) | 1997-07-11 | 2004-06-09 | グラフィックシーンの動画データを構成する方法及び装置 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004171197A Withdrawn JP2004272935A (ja) | 1997-07-11 | 2004-06-09 | グラフィックシーンの動画データを構成する方法及び装置 |
Country Status (10)
Country | Link |
---|---|
EP (1) | EP1004206B1 (ja) |
JP (2) | JP3955178B2 (ja) |
KR (1) | KR100574754B1 (ja) |
CN (1) | CN1237816C (ja) |
AU (1) | AU739379B2 (ja) |
DE (1) | DE69801998T2 (ja) |
ES (1) | ES2165694T3 (ja) |
FR (1) | FR2765982B1 (ja) |
IL (1) | IL133789A (ja) |
WO (1) | WO1999003281A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6693645B2 (en) * | 1999-12-01 | 2004-02-17 | Ivast, Inc. | Optimized BIFS encoder |
EP2720467B1 (en) | 2005-09-26 | 2017-03-29 | Mitsubishi Electric Corporation | Moving image decoding apparatus |
KR100877066B1 (ko) * | 2007-01-22 | 2009-01-09 | 삼성전자주식회사 | Layout 구조를 이용한 GUI 위짓 구성 장치 및이를 운영하는 방법 |
JP4953980B2 (ja) * | 2007-08-20 | 2012-06-13 | 株式会社アトレータ | 採尿用容器 |
NO333026B1 (no) * | 2008-09-17 | 2013-02-18 | Cisco Systems Int Sarl | Styringssystem for et lokalt telepresencevideokonferansesystem og fremgangsmate for a etablere en videokonferansesamtale. |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5909218A (en) * | 1996-04-25 | 1999-06-01 | Matsushita Electric Industrial Co., Ltd. | Transmitter-receiver of three-dimensional skeleton structure motions and method thereof |
-
1997
- 1997-07-11 FR FR9709119A patent/FR2765982B1/fr not_active Expired - Lifetime
-
1998
- 1998-07-10 EP EP98938738A patent/EP1004206B1/fr not_active Expired - Lifetime
- 1998-07-10 DE DE69801998T patent/DE69801998T2/de not_active Expired - Lifetime
- 1998-07-10 WO PCT/FR1998/001523 patent/WO1999003281A1/fr active IP Right Grant
- 1998-07-10 JP JP2000502638A patent/JP3955178B2/ja not_active Expired - Lifetime
- 1998-07-10 ES ES98938738T patent/ES2165694T3/es not_active Expired - Lifetime
- 1998-07-10 IL IL13378998A patent/IL133789A/xx not_active IP Right Cessation
- 1998-07-10 AU AU87350/98A patent/AU739379B2/en not_active Expired
- 1998-07-10 KR KR1020007000286A patent/KR100574754B1/ko not_active IP Right Cessation
- 1998-07-10 CN CNB988070960A patent/CN1237816C/zh not_active Expired - Lifetime
-
2004
- 2004-06-09 JP JP2004171197A patent/JP2004272935A/ja not_active Withdrawn
Also Published As
Publication number | Publication date |
---|---|
WO1999003281A9 (fr) | 1999-04-22 |
EP1004206A1 (fr) | 2000-05-31 |
DE69801998T2 (de) | 2002-05-29 |
AU739379B2 (en) | 2001-10-11 |
EP1004206B1 (fr) | 2001-10-10 |
ES2165694T3 (es) | 2002-03-16 |
JP2001510313A (ja) | 2001-07-31 |
CN1263670A (zh) | 2000-08-16 |
FR2765982A1 (fr) | 1999-01-15 |
KR100574754B1 (ko) | 2006-04-28 |
AU8735098A (en) | 1999-02-08 |
WO1999003281A1 (fr) | 1999-01-21 |
DE69801998D1 (de) | 2001-11-15 |
IL133789A0 (en) | 2001-04-30 |
CN1237816C (zh) | 2006-01-18 |
FR2765982B1 (fr) | 2004-10-15 |
IL133789A (en) | 2005-06-19 |
JP2004272935A (ja) | 2004-09-30 |
KR20010021727A (ko) | 2001-03-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106611435B (zh) | 动画处理方法和装置 | |
JP4664422B2 (ja) | グラフィックシーンを変更する方法及び装置 | |
Signes et al. | MPEG-4's binary format for scene description | |
US20030222883A1 (en) | Optimized mixed media rendering | |
CN113457160B (zh) | 数据处理方法、装置、电子设备及计算机可读存储介质 | |
Noimark et al. | Streaming scenes to MPEG-4 video-enabled devices | |
EP0945020A1 (en) | Scalable media delivery system | |
EP1134702A2 (en) | Method for processing nodes in 3D scene and apparatus thereof | |
CN115396645B (zh) | 一种沉浸媒体的数据处理方法、装置、设备及存储介质 | |
KR20010103709A (ko) | 다이나믹 프로토타입을 이용하여 멀티미디어 스트림을제어하기 위한 방법 및 시스템 | |
US6549206B1 (en) | Graphic scene animation signal, corresponding method and device | |
JP3955178B2 (ja) | グラフィックシーンの動画化データ信号並びにこれに対応する方法及び装置 | |
US6556207B1 (en) | Graphic scene animation data signal with quantization object, corresponding method and device | |
Bove | Object-oriented television | |
CN115002470A (zh) | 一种媒体数据处理方法、装置、设备以及可读存储介质 | |
US5990959A (en) | Method, system and product for direct rendering of video images to a video data stream | |
Preda et al. | A model for adapting 3D graphics based on scalable coding, real-time simplification and remote rendering | |
EP1331824A2 (en) | Method and apparatus for encoding and decoding key value data of coordinate interpolator | |
Capin et al. | Efficient network transmission of virtual human bodies | |
EP1592253B1 (en) | Generating differentially coded data of quantized coordinate data of vertices of moving objects | |
CN116743722A (zh) | 点云媒体的数据处理方法、装置、存储介质及电子设备 | |
EP3970368A1 (en) | Forward and inverse quantization for point cloud compression using look-up tables | |
JP2006523337A (ja) | 表示のためのグラフィックスアニメーションの描写を管理する方法、および該方法を実施するための受信機およびシステム | |
JPH10234035A (ja) | 画像符号化復号化方法および装置 | |
DeKnudt et al. | Coding of dynamic texture for mapping on 3-D scenes |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040210 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040609 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20041028 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20050325 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070312 |
|
A524 | Written submission of copy of amendment under article 19 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A524 Effective date: 20070312 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070501 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R154 | Certificate of patent or utility model (reissue) |
Free format text: JAPANESE INTERMEDIATE CODE: R154 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100511 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100511 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110511 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120511 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130511 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130511 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |