JP3646969B2 - ３次元画像表示装置 - Google Patents
３次元画像表示装置 Download PDFInfo
- Publication number
- JP3646969B2 JP3646969B2 JP14304698A JP14304698A JP3646969B2 JP 3646969 B2 JP3646969 B2 JP 3646969B2 JP 14304698 A JP14304698 A JP 14304698A JP 14304698 A JP14304698 A JP 14304698A JP 3646969 B2 JP3646969 B2 JP 3646969B2
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- data
- dimensional image
- unit
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 claims description 21
- 238000009877 rendering Methods 0.000 claims description 8
- 239000000203 mixture Substances 0.000 claims description 2
- 241000086550 Dinosauria Species 0.000 description 55
- 238000010586 diagram Methods 0.000 description 27
- 238000013500 data storage Methods 0.000 description 18
- 230000003068 static effect Effects 0.000 description 12
- 239000000470 constituent Substances 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 230000007717 exclusion Effects 0.000 description 8
- 230000035807 sensation Effects 0.000 description 7
- 230000015541 sensory perception of touch Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 3
- 230000000149 penetrating effect Effects 0.000 description 3
- 210000003128 head Anatomy 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/40—Hidden part removal
- G06T15/405—Hidden part removal using Z-buffer
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、３次元仮想空間を表現できる３次元画像表示装置に関する。特に、背景、静止物、キャラクタの一部などを３次元仮想空間上に配置されたプレート状の２次元画像により表現した、２次元画像表現を併用した３次元画像表示装置に関する。
【０００２】
【従来の技術】
近年のコンピュータシステムの高性能化、マルチメディア処理技術の発達により、パーソナルコンピュータ等においても高度な３次元画像のコンピュータグラフィックスが処理できる環境が整いつつあり、３次元画像を処理するための専用のアクセラレータボードなども提供されつつある。人工生物などのキャラクタやオブジェクトの動きを伴うゲームなどにおいては、一般にはオブジェクトに関するデータを主にポリゴンの形式で保持し、レンダリングにあたっては生成したポリゴンメッシュにテクスチャを貼り付けることにより高速に描画処理を行い、自由度の高い画像生成処理を行っている。
【０００３】
一方、従来からの２次元画像のグラフィックスも広く普及しており、ディジタルカメラやスキャナによる自然画像の取り込み、各種グラフィックスソフト、オーサリングツールによる２次元コンピュータグラフィックス製作などで高品質な画像生成処理を行っている。
【０００４】
このように、３次元画像処理によれば、自由度の高い３次元オブジェクトの画像生成が可能となり、２次元画像処理によれば、高品質な静止画などの画像生成が可能となるので、利用者はそれぞれの特徴を活かし、利用目的に応じて両者を使い分けていた。
従来においても、３次元画像と２次元画像を併用することができれば両者の利点を兼ね備えることができるため、３次元画像表現と２次元画像表現とを混在させる試みはあったが、主に、３次元オブジェクト表面に２次元画像を貼り込むという処理であった。例えば、大きな外表面を持つ３次元ポリゴンを３次元空間上に配置し、その外表面上にテクスチャなどの２次元の画像を貼り込むというものであった。
【０００５】
【発明が解決しようとする課題】
上記従来の技術で述べたように、２次元画像、３次元画像にはそれぞれ長所があり、３次元画像表現と２次元画像表現を併用する試みもあったが、従来の手法には課題があった。つまり、３次元画像処理は、自由度の高い画像生成が行えるが、コンピュータ処理能力上の制限からオブジェクトに割り当てられるポリゴンデータ数が制限されてしまい、高画質、高精細の３次元オブジェクトの生成が困難であり、シーンとしても複雑なものを描くことができない。一方、２次元画像処理は、高画質、高精細の描画が可能であるが、動きのあるオブジェクトには使用できず、異なった視点からの表示処理ができない。そのため、３次元オブジェクト表面に２次元画像を貼り込むことによる３次元画像と２次元画像の併用は、２次元画像の画像品質が３次元画像の品質に依存してしまい、制約を受けるため高品質画像が得られないという問題があり、３次元画像と２次元画像を併用しても両者の特徴を活かすことができなかった。
【０００６】
ここで、従来のように２次元画像を３次元オブジェクトの外表面に貼り込むだけでなく、３次元空間上に存在するオブジェクトでありながら、２次元画像表現に適したものがあることに着目できる。第一には、シーン中に存在する静止物などは移動もなく、異なる視点の画像が不要であり、２次元画像表現に適したものと言える。第二には、３次元オブジェクトの構成要素であるオブジェクト部分であっても２次元画像表現に適したものがある。例えば、３次元オブジェクトの影のようなオブジェクト部分は、３次元オブジェクトに依存して移動・変形するものであるが、もともと立体的表示の必要がなく２次元画像表示に向いていると言える。このように２次元画像表現を混在できれば、データ処理量の低減が可能である。
【０００７】
ここで、２次元画像と３次元画像を混在表示するにあたっての留意点としては、両者の空間上での位置関係の制御が必要となる点、両者の重なり制御が必要となる点が挙げられる。また、２次元画像と３次元画像の混在環境においてもライティング、ぼかしなどの画像処理技術が応用できることが好ましい。
【０００８】
本発明は、上記に挙げた問題点および留意点に鑑み、３次元画像表現に適したものを３次元オブジェクトとして表現し、２次元画像表現できるものを３次元仮想空間に配置されたプレート状の２次元画像で表現し、３次元仮想空間上において両者を混在して表示でき、データ処理量の低減とデータ処理速度の向上が実現できる３次元画像表示装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記課題を解決するために本発明にかかる３次元画像表示装置は、３次元画像表現する３次元オブジェクトに対する３次元ポリゴンデータと、３次元オブジェクトを３次元仮想空間上に配置された２次元画像として表現した２次元画像表現オブジェクトに対する２次元画像データと奥行きを示すＺ値とを含んだ２次元画像表現データを備えた画像データを入力データとし、データ入力部と、前記入力データに基づいてオブジェクトごとの遠近関係を決定するオブジェクト遠近制御部と、前記決定された遠近関係を基に遠方にあるオブジェクトから手前にあるオブジェクトまで順に上書き描画して遠近表現上の重なりを正しく表現する描画処理部と、描画結果を表示する出力部とを備え、３次元オブジェクトと２次元画像表現オブジェクトとを混在して３次元仮想空間上に描画することを特徴とする。
【００１０】
かかる構成により、３次元オブジェクトと２次元画像表現オブジェクトとを混在して３次元仮想空間上に描画することができ、データ処理量の低減とデータ処理速度の向上を図ることができる。
【００１１】
次に、前記３次元画像表示装置は、３次元仮想空間上で、前記３次元オブジェクトが占有する領域と前記２次元画像表現オブジェクトが占有する領域とを排他制御するオブジェクト排他制御部を備え、前記３次元オブジェクトの移動による前記３次元オブジェクトと前記２次元画像表現オブジェクトとの３次元仮想空間上での衝突が表現できることが好ましい。
【００１２】
かかる構成により、２次元画像表現オブジェクトの３次元仮想空間上における存在をより自然ものとして表現できる。
次に、前記３次元画像表示装置は、前記入力データが、前記２次元画像表現オブジェクトに対する２次元画像表現データと関連づけられた３次元ポリゴンデータであって前記２次元画像表現オブジェクトの元の３次元オブジェクトを３次元画像として表現する補助３次元ポリゴンデータを備え、前記２次元画像表現データから前記補助３次元ポリゴンデータに切り替えるデータ切替部を備え、前記データ切替部により選択的に２次元画像表現データを前記補助３次元ポリゴンデータに切り替え、前記２次元画像表現オブジェクトを３次元オブジェクトとして表現することが好ましい。
【００１３】
かかる構成により、状況に応じて選択的に、静的な２次元画像表現のオブジェクトから動的な３次元オブジェクトに切り替えることができ、例えば、３次元仮想空間上で衝突などが起こった場合に、当該オブジェクトの移動、落下などが表現でき、より柔軟で自然な３次元仮想空間が表現できる。
【００１４】
次に、前記３次元画像表示装置は、前記入力データが、３次元仮想空間上のキャラクタを形成する各オブジェクト部分に対するデータとして各オブジェクト部分の画像データと他のオブジェクト部分との相対情報であるオブジェクト間相対情報を含み、前記描画処理部が、各オブジェクト部分の描画処理において、各オブジェクト部分に対する前記３次元ポリゴンデータまたは前記２次元画像表現データと、前記オブジェクト間相対情報を基に描画処理を実行し、前記オブジェクト間相対情報の更新により前記キャラクタの動きを表現できることが好ましい。
【００１５】
かかる構成により、一まとまりのキャラクタを、３次元オブジェクトの部分と２次元画像表現オブジェクトの部分を混在して構成できる。また、あるオブジェクト部分に対するデータの更新により、相対関係がある他のオブジェクト部分のデータが更新されることとなり、すべてのオブジェクト部分に対する独立したデータ付与、データ処理、データ更新の必要がなく、データ処理量とデータ処理速度の向上を図ることができる。
【００１６】
次に、前記３次元画像表装置は、２次元画像に対する画像処理を施す２次元画像処理部を備え、前記入力データが、前記２次元画像表現オブジェクトに対する２次元画像処理を指定する２次元画像処理指定データを含み、前記２次元画像処理指定データに基づいて、前記２次元画像処理部により、前記２次元画像表現オブジェクトの２次元画像表現データに対する２次元画像処理を実行することが好ましい。
【００１７】
かかる構成により、２次元画像表現オブジェクトに対して、変形、ぼかし、エッジ強調などの２次元画像処理を応用して適用することができ、より柔軟な画像処理効果を持たせることができる。
【００１８】
次に、前記入力データが、３次元仮想空間上において遠近関係を持ち、重なり表示される２次元画像表現オブジェクトを子オブジェクトとし、前記子オブジェクトをまとめて一枚に描き込んだ親オブジェクトに対する２次元画像表現データと、前記親オブジェクトと前記子オブジェクトの間の親子関係を表わす親子属性情報を備え、前記描画処理部は、前記親オブジェクトと、親子関係のない他のオブジェクトと、子オブジェクトであって前記オブジェクト遠近制御部により決定した遠近関係において前記親オブジェクトとの間に他のオブジェクトが存在する子オブジェクトの画像データを基に描画処理することが好ましい。
【００１９】
かかる構成により、親オブジェクトとの間に他のオブジェクトが存在しない子オブジェクトの描画処理を削減することができ、データ処理量を低減することができる。また、親オブジェクトとの間に他のオブジェクトが存在する場合には、子オブジェクトを正しく上書きすることができ、３次元仮想空間上での遠近関係を正確に表現することができる。
【００２０】
次に、本発明にかかる３次元画像表示処理を実行する３次元画像表示プログラムを記録したコンピュータに読み取り可能な記録媒体は、３次元画像を表現する３次元オブジェクトに対する３次元ポリゴンデータと、３次元オブジェクトを３次元空間上に配置された２次元画像として表現した２次元画像表現オブジェクトに対する２次元画像と奥行きを示すＺ値とを含んだ２次元画像表現データを入力するステップと、前記入力データに基づいてオブジェクトごとの遠近関係を決定するステップと、前記決定された遠近関係をもとに遠方にあるオブジェクトから手前にあるオブジェクトまで順に上書き描画して遠近表現上の重なりを正しく表現するステップと、描画結果を表示するステップとを備え、３次元オブジェクトと２次元画像表現オブジェクトとを混在して３次元仮想空間上に描画することを特徴とする。
【００２１】
かかる構成により、コンピュータにおいて３次元オブジェクトと２次元画像表現オブジェクトとを混在して３次元仮想空間上に描画する３次元画像表示処理を実行することができる。
【００２２】
【発明の実施の形態】
以下、本発明の実施形態にかかる３次元画像表示装置について、図面を参照しながら説明する。
【００２３】
（実施形態１）
実施形態１にかかる３次元画像表示装置は、２次元画像表現を併用した３次元画像表示装置であり、シーン中に存在する各オブジェクトを、人工生物など利用者の指示により動く動的オブジェクトと、背景、静止物などの静的オブジェクトの２群にわけ、前者の動的オブジェクトは、３次元ポリゴンデータを与えることにより３次元オブジェクトとして表示し、後者の静的オブジェクトは、２次元画像データとＺ値を与えることにより３次元空間上に配置されたプレート状のオブジェクト（以下、２次元画像表現オブジェクトと呼ぶ）として表示する３次元画像表示装置である。ここでＺ値とは、３次元コンピュータグラフィックスで用いられるカメラ（視点）からの３次元仮想空間上の奥行きを表わす値である。本実施形態１では、例として、３次元オブジェクトを人工恐竜とし、２次元画像表現オブジェクトを背景および画面中に置かれたテーブルとして説明する。
【００２４】
本実施形態１にかかる３次元画像表示装置の全体構成の概略と処理流れの全体像を図面を参照しつつ説明する。図１は本装置の概略構成図を示している。図２は本装置において利用するデータのデータ構造を示す図、図３は表示オブジェクトの位置関係を説明する図、図４は本装置による処理流れの全体像を示したフローチャートである。
【００２５】
図１に示すように、本実施形態１にかかる３次元画像表示装置は、大別してデータ入力部１０、データ分配部２０、オブジェクト遠近制御部３０、描画処理部４０、出力部５０、制御部６０とを備えている。なお、図示していないが、システム全体の制御処理に必要なメモリ、デバイス類は装備しているものとする。
【００２６】
データ入力部１０は、シーン描画処理に必要なデータが入力される部分である。データ入力部１０に入力されるデータ構造の例を図２に示す。図２に示すように、描画する各オブジェクトの入力データとして、オブジェクト名、３次元ポリゴンデータまたは２次元画像表現データ、テクスチャ、解像度などの情報に加え、オブジェクトの位置（Ｘ，Ｙ，Ｚ）、移動、変形命令などの編集情報が与えられる。
【００２７】
ここで特徴的なところは、表示するオブジェクトとして３次元オブジェクトと２次元画像が混在している点であり、２次元画像表現オブジェクトに対しても２次元画像データとともにＺ値が与えられており、ここでは２次元画像表現オブジェクトも３次元座標を持った３次元空間上のオブジェクトとして扱われている点にある。その様子を図３に示す。図３は、３次元仮想空間を上方から見た概念図である。図３ａに示すように人工恐竜１０１と１０２の３次元オブジェクトに加え、テーブル１０３と背景１０４の２次元画像表現オブジェクトも３次元仮想空間上のオブジェクトとして表現されている。
【００２８】
データ分配部２０は、オブジェクト分配部２１と描画部品分配部２２と描画部品データ記憶部２３を備えており、オブジェクト分配部２１は、データ入力部１０からの入力データを各オブジェクトごとに整理分配する部分であり、描画部品分配部２２は、さらに必要に応じて各オブジェクトを描画単位のオブジェクト部分（以下、描画部品と呼ぶ）ごとに整理分配する。ここで描画単位とは、描画処理におけるまとまりを言う。例えば、図４ａに示す人工恐竜のオブジェクト１０７に対して、図４ｂに示すように体１０８、触覚１０９、目１１０、影１１１の各描画部品に分配される。描画部品データ記憶部２３は、分配された描画部品データを記憶する。
【００２９】
オブジェクト遠近制御部３０は、Ｚソート部３１を備え、シーンに登場する各オブジェクトの視点（カメラ）からの遠近関係を抽出・制御するものであり、後述するようにＺソート部３１のＺソートにより処理を実行する。
【００３０】
描画処理部４０は、視点からの方向とオブジェクト遠近制御部３０により決定した各オブジェクトの遠近関係を基にオブジェクトの重なり関係を正しく表現した描画処理を制御する部分であり、フレームバッファ部４１と描画部４２を備えている。
【００３１】
出力部５０は、描画編集されたフレームデータを出力する部分で、出力されたデータはその後、必要な情報と併せてファイルに記録され、または、ディスプレイ上に出力される。
【００３２】
本発明にかかる３次元画像表示装置の処理の流れの全体像は以下の通りである。
まず、データ入力部１０から、シーン描画処理に必要な各種データが入力される（図５ステップＳ５０１）。入力データ例として図２に示したような描画オブジェクトに関する各種のデータが入力される。ここで、視点からの距離を表わすＺ値に関し、３次元オブジェクト、２次元画像表現オブジェクトともに与えられる。
【００３３】
次に、データ分配部２０は、入力されたデータをオブジェクト分配部２１により各オブジェクトごとに分類し、さらに、描画部品分配部２２により各描画部品ごとに分類し、描画部品データ記憶部２３に記憶する（ステップＳ５０２）。ここで、入力データは、例えば図４ｂに示すように分類され、人工恐竜のオブジェクトは、体１０８、触覚１０９、目１１０という３次元オブジェクトである描画部品と影１１１という２次元画像の描画部品に分配され、テーブル１０３と背景１０４は、それぞれ２次元画像データの描画部品として分配され、記憶される。
【００３４】
次に、オブジェクト遠近制御部３０により、ステップＳ５０２で得られた各オブジェクトごとの視点（カメラ）からの遠近関係を決定する（ステップＳ５０３）。ここでは決定方法としてＺソートを採用する。図２に示したように各描画部品には視点からの距離を表わすＺ値が与えられており、Ｚソート部３１によりそのＺ値を基にして降順にソートする。このＺソートにより描画部品を視点遠方にあるものから手前にあるものまでの遠近の順序を知ることができる。この例では、背景１０４、人工恐竜１０２、テーブル１０３、人工恐竜１０１の順にソートされる。このステップＳ５０３により、３次元オブジェクトと２次元画像表現オブジェクトが混在した状況における各オブジェクトの遠近関係を決定することができる。
【００３５】
次に、描画処理部４０により、視点からの方向と遠近に応じた各オブジェクトの重なり関係を正しく表現する処理を行う（ステップＳ５０４）。描画処理部４０はフレームバッファ部４１を備えており、ステップＳ５０３におけるＺソート順に遠方にあるオブジェクトからフレームバッファ部４１上に描画する。この例では背景１０４、人工恐竜１０２、テーブル１０３、人工恐竜１０１の順にフレームバッファ部４１に重ね描きされていく。ここで、３次元オブジェクトと２次元画像表現オブジェクトともにフレームバッファ部４１上への重ね描きされるので、３次元オブジェクトと２次元画像表現オブジェクトの遠近関係、重なり関係も正確に表現されることとなる。このフレームバッファ部４１上への描画にあたり描画部４２により遠近（視野角）に応じたサイズの変更、テクスチャマッピング、ライティングなど描画に必要な処理が施される。
【００３６】
図３ｂに描画された結果を示す。図３ｂに示すように、背景１０４があり、人工恐竜１０１がテーブル１０３の前面に出ており、人工恐竜１０２がテーブル１０３の後方に隠れているシーンが描画される。
【００３７】
このステップＳ５０１〜ステップＳ５０４が必要に応じて繰り返し処理される。一連のシーン描画においては、ステップＳ５０１の入力データとして前フレームとの差分情報のみが入力されることもありうる。
【００３８】
上記のシステム構成および処理の流れにより、３次元オブジェクトと２次元画像表現オブジェクトを混在表示できることを特徴とする２次元画像表現を併用した３次元画像表示装置が提供される。
【００３９】
（実施形態２）
実施形態２にかかる３次元画像表示装置は、２次元画像表現を併用した３次元画像表示装置であり、実施形態１と同様、２次元画像表現オブジェクトと３次元オブジェクトとを混在表示できるものであるが、さらに、２次元画像表現オブジェクトと３次元オブジェクトとの排他制御（衝突制御）を行うものである。つまり、動的オブジェクトが３次元仮想空間上を移動する場合に、３次元オブジェクトと２次元画像表現オブジェクトとの衝突を考慮する場合に必要となる制御であり、各オブジェクトが占有する空間を排他制御することにより、より自然な仮想空間表示を行うものである。
【００４０】
本実施形態２では、例として、３次元オブジェクトを人工恐竜とし、２次元画像表現オブジェクトを背景および画面中に置かれたテーブルとして説明する。ここでは、動的オブジェクトである人工恐竜が、静的オブジェクトであるテーブル後方に隠れている状態から前方に移動した場合に、人工恐竜がテーブルに衝突する制御を例に挙げる。これにより人工恐竜がテーブル突き抜けて前方に現われるなどの不自然な動きを回避する。
【００４１】
本実施形態２にかかる３次元画像表示装置の全体構成の概略と本装置による処理流れの概略を図面を参照しつつ説明する。
図６は、本実施形態２にかかる３次元画像表示装置の概略構成図を示している。図６に示すように、本実施形態２は、実施形態１の構成におけるオブジェクト遠近制御部３０に代え、オブジェクト排他制御部３２を追加したオブジェクト遠近制御部３０ａを備えた構成になっている。オブジェクト遠近制御部３０ａを除いた各構成要素は、実施形態１で同じ番号を付して説明した各構成要素と同様であるのでその説明は省略し、ここではオブジェクト遠近制御部３０ａを中心に説明する。なお、実施形態１と同様、図示していないが、システム全体の制御処理に必要なメモリ、デバイス類などは装備している。
【００４２】
オブジェクト遠近制御部３０ａは、Ｚソート部３１とオブジェクト排他制御部３２を備えている。Ｚソート部３１は、実施形態１で説明した各オブジェクトに対するＺソート処理を実行する部分であり、ここでの説明は省略する。
【００４３】
オブジェクト排他制御部３２は、各オブジェクトのＺ値が重ならないように排他制御し、３次元仮想空間上での衝突を表現するものである。具体的には、Ｚソート部３１のＺソートの結果、Ｚ値が重なるものがあるか否かをチェックし、Ｚ値が重なる場合は、移動命令により前フレームデータよりＺ値が更新されたオブジェクトに対してＺ値の更新を行わない制御をすることにより３次元仮想空間上での衝突を表現し、３次元仮想空間上の一貫性を保つ制御を行う。
【００４４】
図７によりオブジェクト遠近制御部３０ａの処理ステップを説明する。オブジェクト遠近制御部３０ａ以外の部分による処理ステップは、実施形態１において図４をもって示した処理ステップと同様のものであるので、ここでは説明を省略する。
【００４５】
前提として、実施形態１で説明したように、入力部１０から各オブジェクトに対する各種入力データが得られており、データ分配部２０により各描画部品ごとのオブジェクト部分に分配されて記憶されているものとする。
【００４６】
まず、オブジェクト遠近制御部３０ａのＺソート部３１により、各オブジェクト部分をＺソートする（ステップＳ７０１）。ここでＺソートの結果、Ｚ値が重なり合うオブジェクトが存在しないとし、実施形態１と同様に描画処理部４０による描画処理と出力部５０からのデータ出力が行われる（ステップＳ７０２）。ここで、人工恐竜１０２とテーブル１０３は、Ｚ値は異なるが、ＸＹ値が一部重なっていたために表示画面上、遠近関係を持ち、画面正面から見たときに表示の重なりがあるものとする。なお、オブジェクト遠近制御部３０ａは各オブジェクトのＺ値を記憶保持する。表示結果は、実施形態１と同様、図５に示したものとする。
【００４７】
次に、ステップＳ７０３において、人工恐竜１０２のオブジェクトに対して前方に移動する命令が入力部１０から入力されたとする。つまりＺ値を小さくするように更新する命令が入力されたとする。
【００４８】
次に、再度、オブジェクト遠近制御部３０ａのＺソート部３１により、各オブジェクト部分をＺソートする（ステップＳ７０４）。ここで、人工恐竜１０２のＺ値更新の結果、人工恐竜１０２のＺ値とテーブルのＺ値が重なるか、または、Ｚ値の大小関係が逆転したとする。
【００４９】
オブジェクト排他制御部３２は、各オブジェクトのＺ値を比較することによりその重なり・逆転をチェックし、３次元仮想空間上での人工恐竜１０２とテーブルの衝突を検出する（ステップＳ７０５）。
【００５０】
オブジェクト排他制御部３２は、オブジェクト遠近制御部３０ａに対して人工恐竜１０２のＺ値の更新を行わず、記憶している前フレームのＺ値を維持するように指示する（ステップＳ７０６）。オブジェクト遠近制御部３０ａは、人工恐竜１０２のＺ値を前フレームのＺ値のままとし、処理データを描画処理部４０に渡し、その後の描画処理、出力処理を行う（ステップＳ７０７）。
【００５１】
以上のステップＳ７０１〜ステップＳ７０７により、３次元仮想空間上での各オブジェクト同士の衝突が表現でき、人工恐竜がテーブルを突き抜けて前方に現われるなどの不自然な動きを回避することができる。
【００５２】
なお、シーンの切り替わりなどの冒頭で既に、オブジェクトのＺ値が重なっている場合、つまり、ステップＳ７０１のＺソートの結果、Ｚ値が重なり合うオブジェクトが存在するときは、オブジェクト排他制御部３２は、３次元動的オブジェクトのＺ値を強制的に減少または増加してＺ値の重なりを除去するものとする。本実施形態２では、例えば、強制的にＺ値を減少させ、３次元動的オブジェクトである人工恐竜１０２を２次元画像で表現される静的オブジェクトであるテーブルの前面に表示するものとする。
【００５３】
上記に説明したように、本実施形態２によれば、例えば、動的オブジェクトである人工恐竜が、静的オブジェクトであるテーブル後方に隠れている状態から前方に移動した場合にＺ値を基にして排他制御が施されるので、人工恐竜がテーブルを突き抜けて前方に現われるなどの不自然な動きを回避できる２次元画像表現を併用した３次元画像表示装置を実現することができる。
【００５４】
（実施形態３）
実施形態３にかかる３次元画像表示装置は、２次元画像表現を併用した３次元画像表示装置であり、実施形態１または実施形態２と同様、２次元画像表現オブジェクトと３次元オブジェクトとを混在表示できるものであるが、さらに、２次元画像表現オブジェクトを静的なオブジェクトとして固定的に扱うことなく、シーンに応じて３次元オブジェクトとしての表現に切り替えることができるものである。つまり、通常シーンにおいては静的オブジェクトとして２次元画像表現オブジェクトで表現されるが、ある状況下では動的な３次元オブジェクトとしての表現に切り替えるものである。
【００５５】
以下、状況にかかわらず固定的に静的オブジェクトとして扱うものを固定オブジェクトと呼び、例としてテーブル１０３、背景１０４を挙げ、状況に応じて静的オブジェクトから動的な３次元オブジェクトに切り替わるものを非固定オブジェクトと呼び、例として花瓶１０６を挙げて説明する。
【００５６】
本実施形態３にかかる３次元画像表示装置の全体構成の概略と本装置による処理流れの概略を図面を参照しつつ説明する。
図８は、本実施形態２にかかる３次元画像表示装置の概略構成図を示している。図８に示すように、本実施形態３は、実施形態１の構成におけるオブジェクト遠近制御部３０に代え、オブジェクト遠近制御部３０ｂを備えた構成になっている。オブジェクト遠近制御部３０ｂを除いた各構成要素は、実施形態１で同じ番号を付して説明した各構成要素と同様であるのでその説明は省略し、ここではオブジェクト遠近制御部３０ｂを中心に説明する。なお、実施形態１と同様、図示していないが、システム全体の制御処理に必要なメモリ、デバイス類などは装備している。
【００５７】
オブジェクト遠近制御部３０ｂは、Ｚソート部３１とオブジェクト排他制御部３２とデータ切替部３３を備えている。Ｚソート部３１は、実施形態１で説明した各オブジェクトに対するＺソート処理を実行する部分であり、ここでの説明は省略する。
【００５８】
オブジェクト排他制御部３２は、各オブジェクトのＺ値が重ならないように排他制御し、３次元仮想空間上での衝突を表現するものである。Ｚソート部３１のＺソートの結果、Ｚ値が重なるものがあるか否かをチェックし、３次元オブジェクトのＺ値と固定オブジェクトのＺ値が重なる場合には、実施形態２で説明した処理と同様の排他制御を行うが、３次元オブジェクトのＺ値と非固定オブジェクトのＺ値が重なる場合には、データ切替部３３に切替を指示する。
【００５９】
データ切替部３３は、オブジェクト排他制御部３２の指示に従い、静的オブジェクトとして表現されていた２次元画像表現オブジェクトを、動的オブジェクトとして３次元オブジェクトの表現に切り替える制御を行う部分である。
【００６０】
図９に実施形態３の装置において利用するデータのデータ構造を示す。図９に示すように、非固定オブジェクトは２次元画像表現データと、補助データである補助３次元ポリゴンデータの２つのデータを持っている。デフォルトとして２次元画像表現データが採用され、データ切替部３３の切り替え操作により補助３次元ポリゴンデータに切り替わる。
【００６１】
図１０によりオブジェクト遠近制御部３０ｂの処理ステップを説明する。オブジェクト遠近制御部３０ｂ以外の部分による処理ステップは、実施形態１において図４をもって示した各処理ステップと同様のものであるので、ここでは説明を省略する。
【００６２】
まず、入力部１０から図９に示した各オブジェクトに対する各種入力データが入力され、データ分配部２０により各描画部分ごとに分配され、記憶される。ここで、非固定オブジェクトに対しては２次元画像表現データと補助３次元ポリゴンデータの２つが与えられるが、デフォルトとして２次元画像データが主データとなり、補助３次元ポリゴンデータが補助データとして記憶される（ステップＳ１００１）。
【００６３】
次に、オブジェクト遠近制御部３０ｂのＺソート部３１により、各オブジェクト部分をＺソートする（ステップＳ１００２）。Ｚソートの結果、Ｚ値が重なり合うオブジェクトが存在しない場合には、ステップＳ１００３に進み、実施形態１と同様に描画処理部４０による描画処理と出力部５０からのデータ出力が行われる。ここで、人工恐竜１０５とテーブル１０３、花瓶１０６のＸＹ値が一部重なっていたために表示画面上、遠近関係を持ち、表示の重なりがあるとする。なお、オブジェクト遠近制御部３０ｂは各オブジェクトのＺ値を記憶保持する。表示結果は、図１１ａに示したものとする。
【００６４】
次に、ステップＳ１００４において、人工恐竜１０５のオブジェクトに対して前方に移動する命令が入力部１０から入力されたとする。つまりＺ値を小さくするように更新する命令が入力されたとする。
【００６５】
次に、再度、オブジェクト遠近制御部３０ｂのＺソート部３１により、各オブジェクト部分をＺソートする（ステップＳ１００５）。ここで、人工恐竜１０５のＺ値更新の結果、人工恐竜１０５のＺ値とテーブル１０３および花瓶１０６のＺ値が重なるか、または、大小関係が逆転したとする。
【００６６】
オブジェクト排他制御部３２は、各オブジェクトのＺ値を比較することによりその重なり・逆転をチェックし、３次元仮想空間上での人工恐竜１０５とテーブル１０３および花瓶１０６の衝突を検出する（ステップＳ１００６）。
【００６７】
オブジェクト排他制御部３２は、固定オブジェクトであるテーブルに対しては、実施形態２と同様、オブジェクト遠近制御部３０ｂに対して人工恐竜１０５のＺ値の更新を行わず、記憶している前フレームのＺ値を維持するように指示する（ステップＳ１００７）。オブジェクト排他制御部３２は、非固定オブジェクトである花瓶１０６に対しては、データ切替部３３によりデータ表現の切り替えが指示される。データ切替部３３は、花瓶１０６に対するデータを２次元画像表現データから補助３次元ポリゴンデータに切り替える（ステップＳ１００８）。
【００６８】
オブジェクト遠近制御部３０ｂは、人工恐竜１０５のＺ値を前フレームのＺ値のままとし、処理データを描画処理部４０に渡し、その後の描画処理、出力処理を行う（ステップＳ１００９）。
【００６９】
ここで、次のフレームのシーンとして、３次元オブジェクトとなった花瓶１０６が、人工恐竜１０５との衝突の結果、テーブル１０３から落下するようにストーリーを展開すれば、より自然な３次元仮想空間の表現ができる。花瓶１０６は３次元ポリゴンデータに切り替わっているので、その角度、位置を落下するように変えていくことによりテーブル１０３からの落下を表現することができる（ステップＳ１０１０）。花瓶１０６が３次元オブジェクトに切り替わり、人工恐竜１０５との衝突の結果、テーブル１０３から落下したシーンの表現は、例えば、図１１ｂに示すものとなる。
【００７０】
上記に説明したように、本実施形態３によれば、３次元仮想空間上の各オブジェクト同士の衝突が表現でき、非固定オブジェクトを通常のシーンでは静的な２次元画像表現オブジェクトとして表現し、また、必要に応じて動的な３次元オブジェクトとして表現することができ、データ量低減と処理速度の向上を図り、かつ、より自然な３次元仮想空間を表現できる２次元画像表現を併用した３次元画像表示装置を実現することができる。
【００７１】
（実施形態４）
実施形態４にかかる３次元画像表示装置は、２次元画像表現を併用した３次元画像表示装置であるが、本実施形態４では、人工生物などキャラクタとして一まとまりのオブジェクトの構成として３次元オブジェクトの構成部分と２次元画像表現オブジェクトの構成部分とを混在させるものであり、また、オブジェクトのデータ構造として、各オブジェクト部分のオブジェクト間相対情報とを備えている。つまり、キャラクタを各描画部品に分け、各描画部品のうち３次元画像表現に適したものは３次元ポリゴンデータを与え、２次元画像表現に適したものは２次元画像表現データを与え、さらに、各描画部品相互間の位置関係などの相対情報をオブジェクト部分間相対情報として与えたものである。本実施形態４では、例として、表示するオブジェクトを人工恐竜とし、３次元画像表現とする描画部品を人工恐竜の体と触覚と目とし、２次元画像表現とする描画部品を人工恐竜の影とし、オブジェクト部分間相対情報を人工恐竜の体に対する触覚と目と影の位置として説明する。
【００７２】
本実施形態４にかかる３次元画像表示装置の全体構成の概略と本装置による処理流れの概略を図面を参照しつつ説明する。
図１２は、本実施形態４にかかる３次元画像表示装置の概略構成図を示している。図１２に示すように、本実施形態４は、実施形態１の構成における描画処理部４０に代え、描画処理部４０ａを備えた構成になっている。描画処理部４０ａを除いた各構成要素は、実施形態１で同じ番号を付して説明した各構成要素と同様であるのでその説明は簡略化し、ここでは描画処理部４０ａを中心に説明する。なお、図示していないが、システム全体の制御処理に必要なメモリ、デバイス類は装備しているものとする。
データ入力部１０は、シーン描画処理に必要なデータが入力される部分である。入力データのデータ構造例を図１３に示す。図１３に示すように、描画する各オブジェクトの入力データとして、オブジェクト名、描画部品名、３次元ポリゴンデータ、２次元画像表現データ、オブジェクト部分間相対情報、位置（Ｘ，Ｙ，Ｚ）、テクスチャ、解像度などの情報に加え、動的オブジェクトに対する移動、変形命令の編集情報などが与えられる。ここで特徴的なところは、一つのオブジェクトに対するデータとして３次元ポリゴンデータと２次元画像表現データが混在している点であり、また、それらオブジェクト部分間が相対情報により記述されている点である。
【００７３】
図１４ａに表示するオブジェクトの位置関係を示す。図１４ａに示すように人工恐竜１０７は、体１０８、触覚１０９、目１１０が３次元オブジェクトとして与えられ、影１１１が２次元画像表現オブジェクトとして与えられている。触覚１０９と目１１０の位置は、体１０８の位置からの相対位置として与えられ、頭部の所定位置が指示される。また、影１１１の位置も同様に、体１０８の位置からの相対位置として与えられ、足部の下の所定位置が指示される。
【００７４】
データ分配部２０は、オブジェクト分配部２１と描画部品分配部２２と描画部品データ記憶部２３を備えており、描画部品データに分配され、記憶される。ここでは、人工恐竜１０７の入力データは、体１０８、触覚１０９、目１１０、影１１１の各描画部品に分配され、描画部品相対情報もそれぞれの描画部品に伴って分配されて記憶されている。
【００７５】
オブジェクト遠近制御部３０は、Ｚソート部３１を備え、シーンに登場する各オブジェクトの遠近関係を制御する。
描画処理部４０ａは、フレームバッファ部４１と描画部４２ａを備えている。
【００７６】
描画部４２ａは、オブジェクト遠近制御部３０の指示に従い、各オブジェクトの遠近関係を基にオブジェクトの重なり関係を正しく表現した描画処理を制御する部分であるが、描画に際し、分配された各描画部品の描画処理を制御し、一体のオブジェクトとして合成してフレームバッファ部４１に描画する。
【００７７】
図１５は、描画部４２ａの描画部品データと更新時のデータの流れの概念を説明した図である。各描画部品は、描画部品データ保持部１４１ａ〜１４１ｃ、更新情報保持部１４２ａ〜１４２ｃ、参照描画部品データ保持部１４３ｂ〜１４３ｃ、描画処理データ生成部１４４ａ〜１４４ｃを備えている。データ分配部２０により分配され、描画部４２ａに入力された描画部品データは、描画部品データ保持部１４１ａ〜１４１ｃにそれぞれ記憶される。また、更新情報が与えられると更新情報保持部１４２ａ〜１４２ｃにそれぞれ記憶される。描画処理データ生成部１４４ａ〜１４４ｃに描画部品データ保持部１４１ａ〜１４１ｃと更新情報保持部１４２ａ〜１４２ｃのデータがそれぞれ入力され、フレームバッファ部４１に書き込むための描画処理データが生成される。描画処理データの一部は、参照描画部品データ保持部１４３ｂ〜１４３ｃにそれぞれ入力され、他の描画部品におけるオブジェクト間相対情報の処理に利用される。
【００７８】
このように、各描画部品は、これら描画部品データ保持部１４１ａ〜１４１ｃ、更新情報保持部１４２ａ〜１４２ｃ、参照描画部品データ保持部１４３ｂ〜１４３ｃの情報に基づいて、描画処理データが生成され、さらに、一体のオブジェクトに合成処理されてフレームバッファ部４１に書き込まれる。
【００７９】
なお、図１５では、描画部品データを処理する描画部品データ保持部と更新情報保持部と参照描画部品データ保持部と描画処理データ生成部のセットを３セットとして図示したが、３セットに限られるものでないことは言うまでもなく、必要なセット数を適宜備えることにより処理できる描画部品の数を増やすことができる。
【００８０】
出力部５０は、描画編集されたフレームデータを出力する部分で、出力されたデータはその後、必要な情報と併せてファイルに記録され、または、ディスプレイ上に出力される。
【００８１】
本実施形態４にかかる３次元画像表示装置の処理の流れの全体像を図１６により説明する。
まず、入力部１０から各オブジェクトに対する入力データが入力される（図１６ステップＳ１６０１）。ここでは、例として、図１３に示されたデータ構造を持つ人工恐竜１０７のデータが入力される。
【００８２】
次に、入力データがデータ分配部２０により各描画部分ごとに分配され、記憶される（ステップＳ１６０２）。ここでは、人工恐竜１０７の体１０８、触覚１０９、目１１０、影１１１に分類され、それぞれ３次元ポリゴンデータ、２次元画像データ、オブジェクト部分間相対情報などが与えられる。例えば、位置情報として、体１０８は（Ｘａ，Ｙａ，Ｚａ）の絶対位置情報が与えられ、触覚１０９と目１１０は、（Ｘａ＋α１，Ｙａ＋β１，Ｚａ＋γ１）として与えらる。ここで、α，β，γは体１０８の相対位置を表わすものとする。影１１１の位置情報も同様に、（Ｘａ＋α２，Ｙａ＋β２，Ｚａ＋γ２）として与えられる。
【００８３】
次に、オブジェクト遠近制御部３０により、ステップＳ１６０２で得られた各オブジェクトごとの視点からの遠近関係を決定する（ステップＳ１６０３）。
次に、描画処理部４０ａにより、描画処理を行う（ステップＳ１６０４〜ステップＳ１６１３）。
【００８４】
まず、描画処理部４０ａは、図１５に示すように、描画部品データを受け取り、描画部品データ保持部１４１ａ〜１４１ｃに格納する（ステップＳ１６０４）。ここでは人工恐竜の体１０８の描画部品データを１４１ａ、触覚１０９の描画部品データを１４１ｂ、影の描画部品データを１４１ｃに格納する。１４１ａ、１４１ｂのデータは３次元ポリゴンデータであり、１４１ｃのデータは２次元画像表現データである。
【００８５】
ここで、更新情報がないとすると、描画処理データ生成部１４４ａは、描画部品データ保持部１４１ａのデータをもって体１０８の描画処理データを生成する（ステップＳ１６０５）。
【００８６】
次に、描画処理データ生成部１４４ａから描画処理データの一部が参照描画部品データ保持部１４３ｂ、１４３ｃに入力される（ステップＳ１６０６）。ここでは、体１０８の位置情報（Ｘａ１，Ｙａ１，Ｚａ１）が入力される。
【００８７】
ここで、更新情報がないとすると、描画処理データ生成部１４４ｂは、描画部品データ保持部１４１ｂと参照描画部品データ保持部１４３ｂのデータより触覚１０９の描画処理データを生成し、描画処理データ生成部１４４ｃは、描画部品データ保持部１４１ｃと参照描画部品データ保持部１４３ｃのデータより影１１１の描画処理データを生成する（ステップＳ１６０７）。触覚１０９の位置情報は、（Ｘａ＋α１，Ｙａ＋β１，Ｚａ＋γ１）で与えられており、影１１１の位置情報は、（Ｘａ＋α２，Ｙａ＋β２，Ｚａ＋γ２）で与えられており、いま、参照描画部品データが（Ｘａ１，Ｙａ１，Ｚａ１）であるので、生成される描画処理データの位置情報は、それぞれ触覚が（Ｘａ１＋α１，Ｙａ１＋β１，Ｚａ１＋γ１）、影が（Ｘａ１＋α２，Ｙａ１＋β２，Ｚａ１＋γ２）となる。
【００８８】
描画部４２ａはフレームバッファ部４１に対して、ステップＳ１６０７で得られた描画処理データを基に、ステップＳ１６０５のＺソート結果順に遠方にあるオブジェクトからフレームバッファ部４１上に描画する（ステップＳ１６０８）。描画部４２は、フレームバッファ部４１上への描画にあたり、他のテクスチャマッピング、ライティングなど描画に必要な処理を施こして描画する。
【００８９】
更新情報があった場合は、まず、更新情報保持部１４２ａ〜１４２ｃに格納される（ステップＳ１６０９）。ここでは、人工恐竜１０７の体１０８のＸ座標位置がＸａ１からＸａ２へと移動する更新情報と、体１０８を変形して首を傾ける更新情報が更新情報保持部１４２ａに与えられたとする。
【００９０】
描画処理データ生成部１４４ａは、描画部品データ保持部１４１ａと更新情報保持部１４２ａのデータから、描画処理データを生成する（ステップＳ１６１０）。ここでは、体の位置情報は（Ｘａ２，Ｙａ１，Ｚａ１）に更新される。
【００９１】
参照描画部品データ１４３ｂ、１４３ｃの内容が更新される（ステップＳ１６１１）。ここでは（Ｘａ２，Ｙａ１，Ｚａ１）と更新される。
描画処理データ生成部１４４ｂは、描画部品データ保持部１４１ｂと更新情報保持部１４２ｂと参照描画部品データ１４３ｂのデータから、描画処理データを更新し、描画処理データ生成部１４４ｃは、描画部品データ保持部１４１ｃと更新情報保持部１４２ｃと参照描画部品データ１４３ｃのデータから、描画処理データを更新する（ステップＳ１６１２）。
【００９２】
描画部４２ａはフレームバッファ部４１に対して、ステップＳ１６１１およびステップＳ１６１２得られた描画処理データを基に必要な処理を施こして描画する（ステップＳ１６１３）。図１４ｂに描画された結果を示す。
【００９３】
このステップＳ１６０１〜ステップＳ１６１３が必要に応じて繰り返し処理される。
上記のシステム構成および処理の流れにより、一まとまりのオブジェクトの構成要素を３次元画像表現と２次元画像表現を混在した表示処理ができることを特徴とする２次元画像を併用した３次元画像表示装置が提供される。
【００９４】
なお、上記説明では、オブジェクトを人工恐竜とし、体、触覚、影の３つのオブジェクト部分に分けた例で説明したが、上記例に限られることは言うまでもなく、また、描画部品相対情報として、位置情報を挙げたが、サイズ、色などその他情報でもよく、位置情報に限らない。
【００９５】
（実施形態５）
実施形態５にかかる２次元画像表現を併用した３次元画像表示装置は、実施形態１と同様に、２次元画像表現オブジェクトと３次元オブジェクトを混在表示できる装置であるが、２次元画像表現データに対して、拡大、回転、ぼかし、エッジ強調などの２次元画像処理を施すことにより、柔軟な２次元画像の効果を与えるものである。本実施形態５では、例として、表示する３次元画像表現とするオブジェクトを人工恐竜１０１とし、２次元画像表現とするオブジェクトを花瓶１０６とし、花瓶１０６の２次元画像データに対して各種の２次元画像処理効果を施すものを説明する。
【００９６】
本実施形態５にかかる３次元画像表示装置の全体構成の概略と本装置による処理流れの概略を図面を参照しつつ説明する。
図１７は、本実施形態５にかかる３次元画像表示装置の概略構成図を示している。図１７に示すように、本実施形態５は、実施形態１の構成と比較して、描画処理部４０に代え、描画処理部４０ｂを備えている。描画処理部４０ｂを除いた各構成要素は、実施形態１で同じ番号を付して説明した各構成要素と同様であるのでその説明は簡略化し、ここでは描画処理部４０ｂを中心に説明する。なお、図示していないが、システム全体の制御処理に必要なメモリ、デバイス類は装備しているものとする。
【００９７】
描画処理部４０ｂは、フレームバッファ部４１、描画部４２に加え、２次元画像処理部４３を備えた構成になっている。２次元画像に対する各種画像処理効果を施すため、アフィン変換部４３ａ、フィルタ処理部４３ｂ、モーフィング処理部４３ｃなどを備えている。この２次元画像処理部４３は、上記の例に限らず、２次元画像処理を実行するモジュールであれば適宜加えることができるものである。
【００９８】
アフィン変換部４３ａによれば、拡大、変形など形状を変えることができ、フィルタ処理４３ｂによれば、ぼかし、エッジ強調など特殊効果を得ることができ、モーフィング処理部４３ｃによれば、２様の状態間をなめらかに変化させることができる。ここではフィルタ処理部４３ｂに注目して説明を続ける。
【００９９】
フィルタ処理部４３ｂは、各種画像処理を実行するフィルタマトリックスを備えており、例えば、ぼかしフィルタ、エッジフィルタ、エンボスフィルタなどのフィルタマトリックスが格納されている。
【０１００】
図１８は、本実施形態５にかかる３次元画像表示装置で利用されるデータのデータ構造を示している。図１８に示すように２次元画像表現するオブジェクトに対して、２次元画像表現データに加え、２次元画像処理情報が与えられる。この２次元画像処理情報は、２次元画像処理部４３のどの下位モジュール（例えば、フィルタ処理部４３ｂ）のどの画像処理（例えば、ぼかし処理）であるかを指定するものである。
【０１０１】
本実施形態５にかかる３次元画像表示装置の処理の流れの全体像を図１９により説明する。実施形態１の図４に示した処理ステップと同様の処理ステップに関する説明は簡単に記す。
【０１０２】
まず、入力部１０から各オブジェクトに対する入力データが入力され、（図１９ステップＳ１９０１）、データ分配部２０により各描画部品ごとのデータに分配され、記憶される（ステップＳ１９０２）。ここで、入力されるデータとして、花瓶１０６に対しては２次元画像表現データと共に、２次元画像処理情報としてフィルタ処理部４３ｂのぼかし処理の指定を表わす情報（例えば“４３ｂ１”）も与えられる。
【０１０３】
次に、オブジェクト遠近制御部３０により遠近関係が決定される（ステップＳ１９０３）。描画処理部４０ｂは、Ｚソートの結果に従ってフレームバッファ部４１に各描画部品を描画するに際し、２次元画像表現されるオブジェクトの描画処理にあたり２次元画像処理情報が付随しているかチェックし、付随している場合は当該２次元画像表現データを２次元画像処理部４３に渡す。２次元画像処理部４３では２次元画像処理情報に従い、２次元画像処理を施す（ステップＳ１９０４）。ここでは、フィルタ処理部４３ｂのぼかしフィルタによりフィルタリングが実行される。
【０１０４】
これ以降、実施形態の図４で示した処理ステップと同様、描画処理部４０ｂにより、視点からの方向と遠近に応じた各オブジェクトの重なり関係を正しく表現する処理を行う（ステップＳ１９０５）。
【０１０５】
上記のシステム構成および処理の流れにより、３次元オブジェクトと２次元画像表現オブジェクトを混在表示でき、さらに、２次元画像表現データに対して２次元画像処理を施すことで柔軟な画像表現を実現した２次元画像表現を併用した３次元画像表示装置を提供することができる。
【０１０６】
（実施形態６）
実施形態６にかかる２次元画像表現を併用した３次元画像表示装置は、実施形態１と同様に、２次元画像表現オブジェクトと３次元オブジェクトを混在表示できる装置であるが、３次元仮想空間上において重なり表示される複数の２次元画像表現オブジェクトをまとめて一枚に描き込んだ親オブジェクトにより表現し、シーンの状況により３次元空間上での遠近関係が必要となった時点で、前方側の２次元画像表現オブジェクトを個別に３次元仮想空間上に描画するものである。本実施形態５では、例えば、２次元画像表現するオブジェクトとしてテーブル１１３と背景１１４、３次元画像表現とするオブジェクトを人工恐竜１１２として説明する。
【０１０７】
本実施形態６にかかる３次元画像表示装置の全体構成の概略と本装置による処理流れの概略を図面を参照しつつ説明する。
図２０は、本実施形態６にかかる３次元画像表示装置の概略構成図を示している。図２０に示すように、本実施形態６は、実施形態１のデータ分配部２０に代え、データ分配部２０ａを備え、描画処理部４０に代え、描画処理部４０ｃを備えた構成になっている。データ分配部２０ａと描画処理部４０ｃを除いた各構成要素は、実施形態１で同じ番号を付して説明した各構成要素と同様であるのでその説明は簡略化し、ここではデータ分配部２０ａと描画処理部４０ｃを中心に説明する。なお、図示していないが、システム全体の制御処理に必要なメモリ、デバイス類は装備しているものとする。
【０１０８】
データ分配部２０ａは、データ分配部２０は、オブジェクト分配部２１、描画部品分配部２２、描画部品データ記憶部２３に加え、子オブジェクト描画部品データ記憶部２４を備えている。
【０１０９】
描画処理部４０ｃは、フレームバッファ部４１と描画部４２と子オブジェクト切替部４４を備えている。
ここで、図２１に、本実施形態６の入力データのデータ構造を示す。図２１に示すように、一つの２次元画像表現されるオブジェクトに対して、親子関係を持つ子オブジェクトのデータが与えられている。図２１の例では、親／子の関係を示す親子属性情報を持ったデータ構造となっている。ここで親オブジェクトとは、子オブジェクトを一体として含んだ２次元画像データであり、例えば、テーブル１１３を描き込んだ背景１１４のようなものである。通常、両者とも２次元画像表現され、移動しないものであるので、一体の２次元画像として表現することが可能である。一方、子オブジェクトとは、テーブルのように背景の親オブジェクト中に一体として描き込まれた個別のオブジェクトを指す。図２２ａに各オブジェクトの例を示す。
【０１１０】
データ分配部２０ａは、入力データのうち、３次元描画部品と、親オブジェクトの属性を持つ２次元描画部品を、描画部品データ記憶部２３に分配して記憶し、子オブジェクトの属性を持つ２次元描画部品を、子オブジェクト描画部品データ記憶部２４に分配して記憶する。
【０１１１】
描画処理部４０ｃの子オブジェクト切替部４４は、親オブジェクトと子オブジェクトとの間で、３次元空間上での遠近関係が必要であるか否かを判断し、遠近関係が必要である場合には、子オブジェクト描画部品データ記憶部２４より、子オブジェクトの２次元画像表現データに切り替える。
【０１１２】
本実施形態６にかかる３次元画像表示装置の処理の流れの全体像を図２３により説明する。実施形態１の図４に示した処理ステップと同様の処理ステップに関する説明は簡単に記す。
【０１１３】
まず、入力部１０から各オブジェクトに対する入力データが入力される（図２３ステップＳ２３０１）。
次に、データ分配部２０ａにより各描画部品ごとのデータに分配され、記憶される（ステップＳ２３０２）。ここで、入力データは、人工恐竜１１２に関する描画部品と、親オブジェクトである背景１１４（テーブルが描き込まれたもの）の２次元画像の描画部品に分配され、描画部品データ記憶部２３に記憶される。また、子オブジェクトであるテーブル１１３の２次元画像の描画部品は、子オブジェクト描画部品データ記憶部２４に記憶される。
【０１１４】
次に、オブジェクト遠近制御部３０により遠近関係が決定される（ステップＳ２３０３）。ここで、Ｚソートにあたり、描画部品データ記憶部２３に格納されているオブジェクトのみならず、子オブジェクト描画部品データ記憶部２４に格納されている子オブジェクトのＺ値も加えてＺソートする。ここでは、背景１１４、テーブル１１３、人工恐竜１１２の順序であったとする。
【０１１５】
描画処理部４０ｃは、Ｚソートの結果、親オブジェクトである背景１１４と子オブジェクトであるテーブル１１３の間に割り込むオブジェクトがないため、子オブジェクトの描画処理を除外して、描画部品データ記憶部２３にある３次元オブジェクトと親オブジェクトのデータを基にフレームバッファ部４１に描画する（ステップＳ２３０４）。この様子を図２２ｂに示す。
【０１１６】
次に、人工恐竜１１２の位置情報が、テーブル１１３と背景１１４との間の位置に移動するように更新されたとする。描画部品データ記憶部２３の人工恐竜１１２に関するデータが更新されることとなる（ステップＳ２３０５）。
【０１１７】
次に、オブジェクト遠近制御部３０により遠近関係が決定される（ステップＳ２３０６）。ここでは、背景１１４、人工恐竜１１２、テーブル１１３の順序であったとする。
【０１１８】
描画処理部４０ｃは、Ｚソートの結果、親オブジェクトである背景１１４と子オブジェクトであるテーブル１１３の間に割り込む人工恐竜１１２のオブジェクトが存在するため、オブジェクトの重なりが発生するか否かをチェックする（ステップＳ２３０７）。ここでは、オブジェクトの重なりが発生するので、子オブジェクト切替部４４により、子オブジェクト描画部品データ記憶部２４の子オブジェクトであるテーブル１１３の２次元画像表現データを読み込む（ステップＳ２３０８）。描画処理部４０ｃは、Ｚソートの結果に従って、親オブジェクトである背景１１４、３次元オブジェクトである人工恐竜１１２、子オブジェクトであるテーブル１１３の順にフレームバッファ部４１に描画する。（ステップＳ２３０９）。この様子を図２２ｃに示す。
【０１１９】
上記のシステム構成および処理の流れにより、３次元オブジェクトと２次元画像表現オブジェクトを混在表示でき、さらに、２次元画像表現オブジェクトをできるだけまとめて一つの２次元画像表現オブジェクトとして描画し、必要に応じて個別に子オブジェクトとして３次元仮想空間上に配して描画することにより、よりデータ処理量を低減した３次元画像表示装置を提供することができる。
【０１２０】
（実施形態７）
本発明にかかる３次元画像表示装置に用いる画像データは、装置読み取り可能な記録媒体に記録して提供することにより３次元画像表示装置において利用することができる。また、本発明にかかる３次元画像表示装置は、３次元画像表示装置を実現する処理ステップを備えたプログラムとして記述し、コンピュータ読み取り可能な記録媒体に記録して提供することにより、各種コンピュータを用いて構築することができる。本発明にかかる３次元画像表示装置において利用する画像データを記録した記録媒体、または、本発明にかかる３次元画像表示装置を実現する処理ステップを備えたプログラムを記録した記録媒体は、図２４に図示した記録媒体の例に示すように、ＣＤ−ＲＯＭ２０３やフレキシブルディスク２０４等の可搬型記録媒体２０２だけでなく、ネットワーク上にある記録装置内の記録媒体２０１や、コンピュータのハードディスクやＲＡＭ等の記録媒体２０６のいずれであっても良く、プログラム実行時には、プログラムはコンピュータ２０５上にローディングされ、主メモリ上で実行される。
【０１２１】
【発明の効果】
本発明にかかる３次元画像表示装置によれば、３次元オブジェクトと２次元画像表現オブジェクトとを混在して３次元仮想空間上に描画することができ、データ処理量の低減とデータ処理速度の向上を図ることができる。
【０１２２】
また、本発明にかかる３次元画像表示装置によれば、オブジェクト間相対情報によりデータ更新にあたり相対関係がある他のオブジェクト部分のデータも更新でき、オブジェクト部分に対する独立したデータ付与、データ処理、データ更新の必要がなく、データ処理量とデータ処理速度の向上を図ることができる。
【０１２３】
また、本発明にかかる３次元画像表示装置によれば、２次元画像表現オブジェクトに対して、変形、ぼかし、エッジ強調などの２次元画像処理を応用して適用することができ、より柔軟な画像処理効果を持たせることができる。
【０１２４】
また、本発明にかかる３次元画像表示装置によれば、親オブジェクトとの間に他のオブジェクトが存在しない子オブジェクトの描画処理を削減することができ、データ処理量を低減することができる。
【図面の簡単な説明】
【図１】 本発明の実施形態１にかかる３次元画像表示装置の概略構成図
【図２】 実施形態１の装置において利用するデータのデータ構造を示す図
【図３】 表示するオブジェクトの位置関係および描画結果例を示す図
【図４】 人工恐竜のオブジェクト例および描画部品例を示す図
【図５】 実施形態１の装置による処理の全体像を示したフローチャート
【図６】 本発明の実施形態２にかかる３次元画像表示装置の概略構成図
【図７】 オブジェクト遠近制御部３０ａの処理ステップを示したフローチャート
【図８】 本発明の実施形態３にかかる３次元画像表示装置の概略構成図
【図９】 実施形態３の装置において利用するデータのデータ構造を示す図
【図１０】 オブジェクト遠近制御部３０ｂの処理ステップを示したフローチャート
【図１１】 描画結果例を示す図
【図１２】 本発明の実施形態４にかかる３次元画像表示装置の概略構成図
【図１３】 実施形態４の装置において利用するデータのデータ構造を示す図
【図１４】 表示するオブジェクトの位置関係を説明する図
【図１５】 描画部品処理部４２ａの描画部品データと更新時のデータの流れの概念を説明した図
【図１６】 実施形態４の装置による処理の全体像を示したフローチャート
【図１７】 本発明の実施形態５にかかる３次元画像表示装置の概略構成図
【図１８】 実施形態５の装置において利用するデータのデータ構造を示す図
【図１９】 実施形態５の装置による処理の全体像を示したフローチャート
【図２０】 本発明の実施形態６にかかる３次元画像表示装置の概略構成図
【図２１】 実施形態６の装置において利用するデータのデータ構造を示す図
【図２２】 親オブジェクトと子オブジェクトの例および描画結果を示す図
【図２３】 実施形態６の装置による処理の全体像を示したフローチャート
【図２４】 記録媒体の例
【符号の説明】
１０ 入力部
２０，２０ａ データ分配部
２１ オブジェクト分配部
２２ 描画部品分配部
２３ 描画部品データ記憶部
２４ 子オブジェクト描画部品データ記憶部
３０，３０ａ，３０ｂ， オブジェクト遠近制御部
３１ Ｚソート部
３２ オブジェクト排他制御部
３３ データ切替部
４０，４０ａ，４０ｂ，４０ｃ 描画処理部
４１ フレームバッファ部
４２ ４２ａ 描画部
４３ ２次元画像処理部
４３ａ アフィン変換部
４３ｂ フィルタ処理部
４３ｃ モーフィング処理部
４４ 子オブジェクト切替部
５０ 出力部
６０ 制御部
１４１ａ，１４１ｂ，１４１ｃ 描画部品データ保持部
１４２ａ，１４２ｂ，１４２ｃ 更新情報保持部
１４３ａ，１４３ｂ，１４３ｃ 参照描画部品データ保持部
１４４ａ，１４４ｂ，１４４ｃ 描画処理データ生成部
２０１ 回線先のハードディスク等の記録媒体
２０２ ＣＤ−ＲＯＭやフレキシブルディスク等の可搬型記録媒体
２０３ ＣＤ−ＲＯＭ
２０４ フレキシブルディスク
２０５ コンピュータ
２０６ コンピュータ上のＲＡＭ／ハードディスク等の記録媒体
【発明の属する技術分野】
本発明は、３次元仮想空間を表現できる３次元画像表示装置に関する。特に、背景、静止物、キャラクタの一部などを３次元仮想空間上に配置されたプレート状の２次元画像により表現した、２次元画像表現を併用した３次元画像表示装置に関する。
【０００２】
【従来の技術】
近年のコンピュータシステムの高性能化、マルチメディア処理技術の発達により、パーソナルコンピュータ等においても高度な３次元画像のコンピュータグラフィックスが処理できる環境が整いつつあり、３次元画像を処理するための専用のアクセラレータボードなども提供されつつある。人工生物などのキャラクタやオブジェクトの動きを伴うゲームなどにおいては、一般にはオブジェクトに関するデータを主にポリゴンの形式で保持し、レンダリングにあたっては生成したポリゴンメッシュにテクスチャを貼り付けることにより高速に描画処理を行い、自由度の高い画像生成処理を行っている。
【０００３】
一方、従来からの２次元画像のグラフィックスも広く普及しており、ディジタルカメラやスキャナによる自然画像の取り込み、各種グラフィックスソフト、オーサリングツールによる２次元コンピュータグラフィックス製作などで高品質な画像生成処理を行っている。
【０００４】
このように、３次元画像処理によれば、自由度の高い３次元オブジェクトの画像生成が可能となり、２次元画像処理によれば、高品質な静止画などの画像生成が可能となるので、利用者はそれぞれの特徴を活かし、利用目的に応じて両者を使い分けていた。
従来においても、３次元画像と２次元画像を併用することができれば両者の利点を兼ね備えることができるため、３次元画像表現と２次元画像表現とを混在させる試みはあったが、主に、３次元オブジェクト表面に２次元画像を貼り込むという処理であった。例えば、大きな外表面を持つ３次元ポリゴンを３次元空間上に配置し、その外表面上にテクスチャなどの２次元の画像を貼り込むというものであった。
【０００５】
【発明が解決しようとする課題】
上記従来の技術で述べたように、２次元画像、３次元画像にはそれぞれ長所があり、３次元画像表現と２次元画像表現を併用する試みもあったが、従来の手法には課題があった。つまり、３次元画像処理は、自由度の高い画像生成が行えるが、コンピュータ処理能力上の制限からオブジェクトに割り当てられるポリゴンデータ数が制限されてしまい、高画質、高精細の３次元オブジェクトの生成が困難であり、シーンとしても複雑なものを描くことができない。一方、２次元画像処理は、高画質、高精細の描画が可能であるが、動きのあるオブジェクトには使用できず、異なった視点からの表示処理ができない。そのため、３次元オブジェクト表面に２次元画像を貼り込むことによる３次元画像と２次元画像の併用は、２次元画像の画像品質が３次元画像の品質に依存してしまい、制約を受けるため高品質画像が得られないという問題があり、３次元画像と２次元画像を併用しても両者の特徴を活かすことができなかった。
【０００６】
ここで、従来のように２次元画像を３次元オブジェクトの外表面に貼り込むだけでなく、３次元空間上に存在するオブジェクトでありながら、２次元画像表現に適したものがあることに着目できる。第一には、シーン中に存在する静止物などは移動もなく、異なる視点の画像が不要であり、２次元画像表現に適したものと言える。第二には、３次元オブジェクトの構成要素であるオブジェクト部分であっても２次元画像表現に適したものがある。例えば、３次元オブジェクトの影のようなオブジェクト部分は、３次元オブジェクトに依存して移動・変形するものであるが、もともと立体的表示の必要がなく２次元画像表示に向いていると言える。このように２次元画像表現を混在できれば、データ処理量の低減が可能である。
【０００７】
ここで、２次元画像と３次元画像を混在表示するにあたっての留意点としては、両者の空間上での位置関係の制御が必要となる点、両者の重なり制御が必要となる点が挙げられる。また、２次元画像と３次元画像の混在環境においてもライティング、ぼかしなどの画像処理技術が応用できることが好ましい。
【０００８】
本発明は、上記に挙げた問題点および留意点に鑑み、３次元画像表現に適したものを３次元オブジェクトとして表現し、２次元画像表現できるものを３次元仮想空間に配置されたプレート状の２次元画像で表現し、３次元仮想空間上において両者を混在して表示でき、データ処理量の低減とデータ処理速度の向上が実現できる３次元画像表示装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記課題を解決するために本発明にかかる３次元画像表示装置は、３次元画像表現する３次元オブジェクトに対する３次元ポリゴンデータと、３次元オブジェクトを３次元仮想空間上に配置された２次元画像として表現した２次元画像表現オブジェクトに対する２次元画像データと奥行きを示すＺ値とを含んだ２次元画像表現データを備えた画像データを入力データとし、データ入力部と、前記入力データに基づいてオブジェクトごとの遠近関係を決定するオブジェクト遠近制御部と、前記決定された遠近関係を基に遠方にあるオブジェクトから手前にあるオブジェクトまで順に上書き描画して遠近表現上の重なりを正しく表現する描画処理部と、描画結果を表示する出力部とを備え、３次元オブジェクトと２次元画像表現オブジェクトとを混在して３次元仮想空間上に描画することを特徴とする。
【００１０】
かかる構成により、３次元オブジェクトと２次元画像表現オブジェクトとを混在して３次元仮想空間上に描画することができ、データ処理量の低減とデータ処理速度の向上を図ることができる。
【００１１】
次に、前記３次元画像表示装置は、３次元仮想空間上で、前記３次元オブジェクトが占有する領域と前記２次元画像表現オブジェクトが占有する領域とを排他制御するオブジェクト排他制御部を備え、前記３次元オブジェクトの移動による前記３次元オブジェクトと前記２次元画像表現オブジェクトとの３次元仮想空間上での衝突が表現できることが好ましい。
【００１２】
かかる構成により、２次元画像表現オブジェクトの３次元仮想空間上における存在をより自然ものとして表現できる。
次に、前記３次元画像表示装置は、前記入力データが、前記２次元画像表現オブジェクトに対する２次元画像表現データと関連づけられた３次元ポリゴンデータであって前記２次元画像表現オブジェクトの元の３次元オブジェクトを３次元画像として表現する補助３次元ポリゴンデータを備え、前記２次元画像表現データから前記補助３次元ポリゴンデータに切り替えるデータ切替部を備え、前記データ切替部により選択的に２次元画像表現データを前記補助３次元ポリゴンデータに切り替え、前記２次元画像表現オブジェクトを３次元オブジェクトとして表現することが好ましい。
【００１３】
かかる構成により、状況に応じて選択的に、静的な２次元画像表現のオブジェクトから動的な３次元オブジェクトに切り替えることができ、例えば、３次元仮想空間上で衝突などが起こった場合に、当該オブジェクトの移動、落下などが表現でき、より柔軟で自然な３次元仮想空間が表現できる。
【００１４】
次に、前記３次元画像表示装置は、前記入力データが、３次元仮想空間上のキャラクタを形成する各オブジェクト部分に対するデータとして各オブジェクト部分の画像データと他のオブジェクト部分との相対情報であるオブジェクト間相対情報を含み、前記描画処理部が、各オブジェクト部分の描画処理において、各オブジェクト部分に対する前記３次元ポリゴンデータまたは前記２次元画像表現データと、前記オブジェクト間相対情報を基に描画処理を実行し、前記オブジェクト間相対情報の更新により前記キャラクタの動きを表現できることが好ましい。
【００１５】
かかる構成により、一まとまりのキャラクタを、３次元オブジェクトの部分と２次元画像表現オブジェクトの部分を混在して構成できる。また、あるオブジェクト部分に対するデータの更新により、相対関係がある他のオブジェクト部分のデータが更新されることとなり、すべてのオブジェクト部分に対する独立したデータ付与、データ処理、データ更新の必要がなく、データ処理量とデータ処理速度の向上を図ることができる。
【００１６】
次に、前記３次元画像表装置は、２次元画像に対する画像処理を施す２次元画像処理部を備え、前記入力データが、前記２次元画像表現オブジェクトに対する２次元画像処理を指定する２次元画像処理指定データを含み、前記２次元画像処理指定データに基づいて、前記２次元画像処理部により、前記２次元画像表現オブジェクトの２次元画像表現データに対する２次元画像処理を実行することが好ましい。
【００１７】
かかる構成により、２次元画像表現オブジェクトに対して、変形、ぼかし、エッジ強調などの２次元画像処理を応用して適用することができ、より柔軟な画像処理効果を持たせることができる。
【００１８】
次に、前記入力データが、３次元仮想空間上において遠近関係を持ち、重なり表示される２次元画像表現オブジェクトを子オブジェクトとし、前記子オブジェクトをまとめて一枚に描き込んだ親オブジェクトに対する２次元画像表現データと、前記親オブジェクトと前記子オブジェクトの間の親子関係を表わす親子属性情報を備え、前記描画処理部は、前記親オブジェクトと、親子関係のない他のオブジェクトと、子オブジェクトであって前記オブジェクト遠近制御部により決定した遠近関係において前記親オブジェクトとの間に他のオブジェクトが存在する子オブジェクトの画像データを基に描画処理することが好ましい。
【００１９】
かかる構成により、親オブジェクトとの間に他のオブジェクトが存在しない子オブジェクトの描画処理を削減することができ、データ処理量を低減することができる。また、親オブジェクトとの間に他のオブジェクトが存在する場合には、子オブジェクトを正しく上書きすることができ、３次元仮想空間上での遠近関係を正確に表現することができる。
【００２０】
次に、本発明にかかる３次元画像表示処理を実行する３次元画像表示プログラムを記録したコンピュータに読み取り可能な記録媒体は、３次元画像を表現する３次元オブジェクトに対する３次元ポリゴンデータと、３次元オブジェクトを３次元空間上に配置された２次元画像として表現した２次元画像表現オブジェクトに対する２次元画像と奥行きを示すＺ値とを含んだ２次元画像表現データを入力するステップと、前記入力データに基づいてオブジェクトごとの遠近関係を決定するステップと、前記決定された遠近関係をもとに遠方にあるオブジェクトから手前にあるオブジェクトまで順に上書き描画して遠近表現上の重なりを正しく表現するステップと、描画結果を表示するステップとを備え、３次元オブジェクトと２次元画像表現オブジェクトとを混在して３次元仮想空間上に描画することを特徴とする。
【００２１】
かかる構成により、コンピュータにおいて３次元オブジェクトと２次元画像表現オブジェクトとを混在して３次元仮想空間上に描画する３次元画像表示処理を実行することができる。
【００２２】
【発明の実施の形態】
以下、本発明の実施形態にかかる３次元画像表示装置について、図面を参照しながら説明する。
【００２３】
（実施形態１）
実施形態１にかかる３次元画像表示装置は、２次元画像表現を併用した３次元画像表示装置であり、シーン中に存在する各オブジェクトを、人工生物など利用者の指示により動く動的オブジェクトと、背景、静止物などの静的オブジェクトの２群にわけ、前者の動的オブジェクトは、３次元ポリゴンデータを与えることにより３次元オブジェクトとして表示し、後者の静的オブジェクトは、２次元画像データとＺ値を与えることにより３次元空間上に配置されたプレート状のオブジェクト（以下、２次元画像表現オブジェクトと呼ぶ）として表示する３次元画像表示装置である。ここでＺ値とは、３次元コンピュータグラフィックスで用いられるカメラ（視点）からの３次元仮想空間上の奥行きを表わす値である。本実施形態１では、例として、３次元オブジェクトを人工恐竜とし、２次元画像表現オブジェクトを背景および画面中に置かれたテーブルとして説明する。
【００２４】
本実施形態１にかかる３次元画像表示装置の全体構成の概略と処理流れの全体像を図面を参照しつつ説明する。図１は本装置の概略構成図を示している。図２は本装置において利用するデータのデータ構造を示す図、図３は表示オブジェクトの位置関係を説明する図、図４は本装置による処理流れの全体像を示したフローチャートである。
【００２５】
図１に示すように、本実施形態１にかかる３次元画像表示装置は、大別してデータ入力部１０、データ分配部２０、オブジェクト遠近制御部３０、描画処理部４０、出力部５０、制御部６０とを備えている。なお、図示していないが、システム全体の制御処理に必要なメモリ、デバイス類は装備しているものとする。
【００２６】
データ入力部１０は、シーン描画処理に必要なデータが入力される部分である。データ入力部１０に入力されるデータ構造の例を図２に示す。図２に示すように、描画する各オブジェクトの入力データとして、オブジェクト名、３次元ポリゴンデータまたは２次元画像表現データ、テクスチャ、解像度などの情報に加え、オブジェクトの位置（Ｘ，Ｙ，Ｚ）、移動、変形命令などの編集情報が与えられる。
【００２７】
ここで特徴的なところは、表示するオブジェクトとして３次元オブジェクトと２次元画像が混在している点であり、２次元画像表現オブジェクトに対しても２次元画像データとともにＺ値が与えられており、ここでは２次元画像表現オブジェクトも３次元座標を持った３次元空間上のオブジェクトとして扱われている点にある。その様子を図３に示す。図３は、３次元仮想空間を上方から見た概念図である。図３ａに示すように人工恐竜１０１と１０２の３次元オブジェクトに加え、テーブル１０３と背景１０４の２次元画像表現オブジェクトも３次元仮想空間上のオブジェクトとして表現されている。
【００２８】
データ分配部２０は、オブジェクト分配部２１と描画部品分配部２２と描画部品データ記憶部２３を備えており、オブジェクト分配部２１は、データ入力部１０からの入力データを各オブジェクトごとに整理分配する部分であり、描画部品分配部２２は、さらに必要に応じて各オブジェクトを描画単位のオブジェクト部分（以下、描画部品と呼ぶ）ごとに整理分配する。ここで描画単位とは、描画処理におけるまとまりを言う。例えば、図４ａに示す人工恐竜のオブジェクト１０７に対して、図４ｂに示すように体１０８、触覚１０９、目１１０、影１１１の各描画部品に分配される。描画部品データ記憶部２３は、分配された描画部品データを記憶する。
【００２９】
オブジェクト遠近制御部３０は、Ｚソート部３１を備え、シーンに登場する各オブジェクトの視点（カメラ）からの遠近関係を抽出・制御するものであり、後述するようにＺソート部３１のＺソートにより処理を実行する。
【００３０】
描画処理部４０は、視点からの方向とオブジェクト遠近制御部３０により決定した各オブジェクトの遠近関係を基にオブジェクトの重なり関係を正しく表現した描画処理を制御する部分であり、フレームバッファ部４１と描画部４２を備えている。
【００３１】
出力部５０は、描画編集されたフレームデータを出力する部分で、出力されたデータはその後、必要な情報と併せてファイルに記録され、または、ディスプレイ上に出力される。
【００３２】
本発明にかかる３次元画像表示装置の処理の流れの全体像は以下の通りである。
まず、データ入力部１０から、シーン描画処理に必要な各種データが入力される（図５ステップＳ５０１）。入力データ例として図２に示したような描画オブジェクトに関する各種のデータが入力される。ここで、視点からの距離を表わすＺ値に関し、３次元オブジェクト、２次元画像表現オブジェクトともに与えられる。
【００３３】
次に、データ分配部２０は、入力されたデータをオブジェクト分配部２１により各オブジェクトごとに分類し、さらに、描画部品分配部２２により各描画部品ごとに分類し、描画部品データ記憶部２３に記憶する（ステップＳ５０２）。ここで、入力データは、例えば図４ｂに示すように分類され、人工恐竜のオブジェクトは、体１０８、触覚１０９、目１１０という３次元オブジェクトである描画部品と影１１１という２次元画像の描画部品に分配され、テーブル１０３と背景１０４は、それぞれ２次元画像データの描画部品として分配され、記憶される。
【００３４】
次に、オブジェクト遠近制御部３０により、ステップＳ５０２で得られた各オブジェクトごとの視点（カメラ）からの遠近関係を決定する（ステップＳ５０３）。ここでは決定方法としてＺソートを採用する。図２に示したように各描画部品には視点からの距離を表わすＺ値が与えられており、Ｚソート部３１によりそのＺ値を基にして降順にソートする。このＺソートにより描画部品を視点遠方にあるものから手前にあるものまでの遠近の順序を知ることができる。この例では、背景１０４、人工恐竜１０２、テーブル１０３、人工恐竜１０１の順にソートされる。このステップＳ５０３により、３次元オブジェクトと２次元画像表現オブジェクトが混在した状況における各オブジェクトの遠近関係を決定することができる。
【００３５】
次に、描画処理部４０により、視点からの方向と遠近に応じた各オブジェクトの重なり関係を正しく表現する処理を行う（ステップＳ５０４）。描画処理部４０はフレームバッファ部４１を備えており、ステップＳ５０３におけるＺソート順に遠方にあるオブジェクトからフレームバッファ部４１上に描画する。この例では背景１０４、人工恐竜１０２、テーブル１０３、人工恐竜１０１の順にフレームバッファ部４１に重ね描きされていく。ここで、３次元オブジェクトと２次元画像表現オブジェクトともにフレームバッファ部４１上への重ね描きされるので、３次元オブジェクトと２次元画像表現オブジェクトの遠近関係、重なり関係も正確に表現されることとなる。このフレームバッファ部４１上への描画にあたり描画部４２により遠近（視野角）に応じたサイズの変更、テクスチャマッピング、ライティングなど描画に必要な処理が施される。
【００３６】
図３ｂに描画された結果を示す。図３ｂに示すように、背景１０４があり、人工恐竜１０１がテーブル１０３の前面に出ており、人工恐竜１０２がテーブル１０３の後方に隠れているシーンが描画される。
【００３７】
このステップＳ５０１〜ステップＳ５０４が必要に応じて繰り返し処理される。一連のシーン描画においては、ステップＳ５０１の入力データとして前フレームとの差分情報のみが入力されることもありうる。
【００３８】
上記のシステム構成および処理の流れにより、３次元オブジェクトと２次元画像表現オブジェクトを混在表示できることを特徴とする２次元画像表現を併用した３次元画像表示装置が提供される。
【００３９】
（実施形態２）
実施形態２にかかる３次元画像表示装置は、２次元画像表現を併用した３次元画像表示装置であり、実施形態１と同様、２次元画像表現オブジェクトと３次元オブジェクトとを混在表示できるものであるが、さらに、２次元画像表現オブジェクトと３次元オブジェクトとの排他制御（衝突制御）を行うものである。つまり、動的オブジェクトが３次元仮想空間上を移動する場合に、３次元オブジェクトと２次元画像表現オブジェクトとの衝突を考慮する場合に必要となる制御であり、各オブジェクトが占有する空間を排他制御することにより、より自然な仮想空間表示を行うものである。
【００４０】
本実施形態２では、例として、３次元オブジェクトを人工恐竜とし、２次元画像表現オブジェクトを背景および画面中に置かれたテーブルとして説明する。ここでは、動的オブジェクトである人工恐竜が、静的オブジェクトであるテーブル後方に隠れている状態から前方に移動した場合に、人工恐竜がテーブルに衝突する制御を例に挙げる。これにより人工恐竜がテーブル突き抜けて前方に現われるなどの不自然な動きを回避する。
【００４１】
本実施形態２にかかる３次元画像表示装置の全体構成の概略と本装置による処理流れの概略を図面を参照しつつ説明する。
図６は、本実施形態２にかかる３次元画像表示装置の概略構成図を示している。図６に示すように、本実施形態２は、実施形態１の構成におけるオブジェクト遠近制御部３０に代え、オブジェクト排他制御部３２を追加したオブジェクト遠近制御部３０ａを備えた構成になっている。オブジェクト遠近制御部３０ａを除いた各構成要素は、実施形態１で同じ番号を付して説明した各構成要素と同様であるのでその説明は省略し、ここではオブジェクト遠近制御部３０ａを中心に説明する。なお、実施形態１と同様、図示していないが、システム全体の制御処理に必要なメモリ、デバイス類などは装備している。
【００４２】
オブジェクト遠近制御部３０ａは、Ｚソート部３１とオブジェクト排他制御部３２を備えている。Ｚソート部３１は、実施形態１で説明した各オブジェクトに対するＺソート処理を実行する部分であり、ここでの説明は省略する。
【００４３】
オブジェクト排他制御部３２は、各オブジェクトのＺ値が重ならないように排他制御し、３次元仮想空間上での衝突を表現するものである。具体的には、Ｚソート部３１のＺソートの結果、Ｚ値が重なるものがあるか否かをチェックし、Ｚ値が重なる場合は、移動命令により前フレームデータよりＺ値が更新されたオブジェクトに対してＺ値の更新を行わない制御をすることにより３次元仮想空間上での衝突を表現し、３次元仮想空間上の一貫性を保つ制御を行う。
【００４４】
図７によりオブジェクト遠近制御部３０ａの処理ステップを説明する。オブジェクト遠近制御部３０ａ以外の部分による処理ステップは、実施形態１において図４をもって示した処理ステップと同様のものであるので、ここでは説明を省略する。
【００４５】
前提として、実施形態１で説明したように、入力部１０から各オブジェクトに対する各種入力データが得られており、データ分配部２０により各描画部品ごとのオブジェクト部分に分配されて記憶されているものとする。
【００４６】
まず、オブジェクト遠近制御部３０ａのＺソート部３１により、各オブジェクト部分をＺソートする（ステップＳ７０１）。ここでＺソートの結果、Ｚ値が重なり合うオブジェクトが存在しないとし、実施形態１と同様に描画処理部４０による描画処理と出力部５０からのデータ出力が行われる（ステップＳ７０２）。ここで、人工恐竜１０２とテーブル１０３は、Ｚ値は異なるが、ＸＹ値が一部重なっていたために表示画面上、遠近関係を持ち、画面正面から見たときに表示の重なりがあるものとする。なお、オブジェクト遠近制御部３０ａは各オブジェクトのＺ値を記憶保持する。表示結果は、実施形態１と同様、図５に示したものとする。
【００４７】
次に、ステップＳ７０３において、人工恐竜１０２のオブジェクトに対して前方に移動する命令が入力部１０から入力されたとする。つまりＺ値を小さくするように更新する命令が入力されたとする。
【００４８】
次に、再度、オブジェクト遠近制御部３０ａのＺソート部３１により、各オブジェクト部分をＺソートする（ステップＳ７０４）。ここで、人工恐竜１０２のＺ値更新の結果、人工恐竜１０２のＺ値とテーブルのＺ値が重なるか、または、Ｚ値の大小関係が逆転したとする。
【００４９】
オブジェクト排他制御部３２は、各オブジェクトのＺ値を比較することによりその重なり・逆転をチェックし、３次元仮想空間上での人工恐竜１０２とテーブルの衝突を検出する（ステップＳ７０５）。
【００５０】
オブジェクト排他制御部３２は、オブジェクト遠近制御部３０ａに対して人工恐竜１０２のＺ値の更新を行わず、記憶している前フレームのＺ値を維持するように指示する（ステップＳ７０６）。オブジェクト遠近制御部３０ａは、人工恐竜１０２のＺ値を前フレームのＺ値のままとし、処理データを描画処理部４０に渡し、その後の描画処理、出力処理を行う（ステップＳ７０７）。
【００５１】
以上のステップＳ７０１〜ステップＳ７０７により、３次元仮想空間上での各オブジェクト同士の衝突が表現でき、人工恐竜がテーブルを突き抜けて前方に現われるなどの不自然な動きを回避することができる。
【００５２】
なお、シーンの切り替わりなどの冒頭で既に、オブジェクトのＺ値が重なっている場合、つまり、ステップＳ７０１のＺソートの結果、Ｚ値が重なり合うオブジェクトが存在するときは、オブジェクト排他制御部３２は、３次元動的オブジェクトのＺ値を強制的に減少または増加してＺ値の重なりを除去するものとする。本実施形態２では、例えば、強制的にＺ値を減少させ、３次元動的オブジェクトである人工恐竜１０２を２次元画像で表現される静的オブジェクトであるテーブルの前面に表示するものとする。
【００５３】
上記に説明したように、本実施形態２によれば、例えば、動的オブジェクトである人工恐竜が、静的オブジェクトであるテーブル後方に隠れている状態から前方に移動した場合にＺ値を基にして排他制御が施されるので、人工恐竜がテーブルを突き抜けて前方に現われるなどの不自然な動きを回避できる２次元画像表現を併用した３次元画像表示装置を実現することができる。
【００５４】
（実施形態３）
実施形態３にかかる３次元画像表示装置は、２次元画像表現を併用した３次元画像表示装置であり、実施形態１または実施形態２と同様、２次元画像表現オブジェクトと３次元オブジェクトとを混在表示できるものであるが、さらに、２次元画像表現オブジェクトを静的なオブジェクトとして固定的に扱うことなく、シーンに応じて３次元オブジェクトとしての表現に切り替えることができるものである。つまり、通常シーンにおいては静的オブジェクトとして２次元画像表現オブジェクトで表現されるが、ある状況下では動的な３次元オブジェクトとしての表現に切り替えるものである。
【００５５】
以下、状況にかかわらず固定的に静的オブジェクトとして扱うものを固定オブジェクトと呼び、例としてテーブル１０３、背景１０４を挙げ、状況に応じて静的オブジェクトから動的な３次元オブジェクトに切り替わるものを非固定オブジェクトと呼び、例として花瓶１０６を挙げて説明する。
【００５６】
本実施形態３にかかる３次元画像表示装置の全体構成の概略と本装置による処理流れの概略を図面を参照しつつ説明する。
図８は、本実施形態２にかかる３次元画像表示装置の概略構成図を示している。図８に示すように、本実施形態３は、実施形態１の構成におけるオブジェクト遠近制御部３０に代え、オブジェクト遠近制御部３０ｂを備えた構成になっている。オブジェクト遠近制御部３０ｂを除いた各構成要素は、実施形態１で同じ番号を付して説明した各構成要素と同様であるのでその説明は省略し、ここではオブジェクト遠近制御部３０ｂを中心に説明する。なお、実施形態１と同様、図示していないが、システム全体の制御処理に必要なメモリ、デバイス類などは装備している。
【００５７】
オブジェクト遠近制御部３０ｂは、Ｚソート部３１とオブジェクト排他制御部３２とデータ切替部３３を備えている。Ｚソート部３１は、実施形態１で説明した各オブジェクトに対するＺソート処理を実行する部分であり、ここでの説明は省略する。
【００５８】
オブジェクト排他制御部３２は、各オブジェクトのＺ値が重ならないように排他制御し、３次元仮想空間上での衝突を表現するものである。Ｚソート部３１のＺソートの結果、Ｚ値が重なるものがあるか否かをチェックし、３次元オブジェクトのＺ値と固定オブジェクトのＺ値が重なる場合には、実施形態２で説明した処理と同様の排他制御を行うが、３次元オブジェクトのＺ値と非固定オブジェクトのＺ値が重なる場合には、データ切替部３３に切替を指示する。
【００５９】
データ切替部３３は、オブジェクト排他制御部３２の指示に従い、静的オブジェクトとして表現されていた２次元画像表現オブジェクトを、動的オブジェクトとして３次元オブジェクトの表現に切り替える制御を行う部分である。
【００６０】
図９に実施形態３の装置において利用するデータのデータ構造を示す。図９に示すように、非固定オブジェクトは２次元画像表現データと、補助データである補助３次元ポリゴンデータの２つのデータを持っている。デフォルトとして２次元画像表現データが採用され、データ切替部３３の切り替え操作により補助３次元ポリゴンデータに切り替わる。
【００６１】
図１０によりオブジェクト遠近制御部３０ｂの処理ステップを説明する。オブジェクト遠近制御部３０ｂ以外の部分による処理ステップは、実施形態１において図４をもって示した各処理ステップと同様のものであるので、ここでは説明を省略する。
【００６２】
まず、入力部１０から図９に示した各オブジェクトに対する各種入力データが入力され、データ分配部２０により各描画部分ごとに分配され、記憶される。ここで、非固定オブジェクトに対しては２次元画像表現データと補助３次元ポリゴンデータの２つが与えられるが、デフォルトとして２次元画像データが主データとなり、補助３次元ポリゴンデータが補助データとして記憶される（ステップＳ１００１）。
【００６３】
次に、オブジェクト遠近制御部３０ｂのＺソート部３１により、各オブジェクト部分をＺソートする（ステップＳ１００２）。Ｚソートの結果、Ｚ値が重なり合うオブジェクトが存在しない場合には、ステップＳ１００３に進み、実施形態１と同様に描画処理部４０による描画処理と出力部５０からのデータ出力が行われる。ここで、人工恐竜１０５とテーブル１０３、花瓶１０６のＸＹ値が一部重なっていたために表示画面上、遠近関係を持ち、表示の重なりがあるとする。なお、オブジェクト遠近制御部３０ｂは各オブジェクトのＺ値を記憶保持する。表示結果は、図１１ａに示したものとする。
【００６４】
次に、ステップＳ１００４において、人工恐竜１０５のオブジェクトに対して前方に移動する命令が入力部１０から入力されたとする。つまりＺ値を小さくするように更新する命令が入力されたとする。
【００６５】
次に、再度、オブジェクト遠近制御部３０ｂのＺソート部３１により、各オブジェクト部分をＺソートする（ステップＳ１００５）。ここで、人工恐竜１０５のＺ値更新の結果、人工恐竜１０５のＺ値とテーブル１０３および花瓶１０６のＺ値が重なるか、または、大小関係が逆転したとする。
【００６６】
オブジェクト排他制御部３２は、各オブジェクトのＺ値を比較することによりその重なり・逆転をチェックし、３次元仮想空間上での人工恐竜１０５とテーブル１０３および花瓶１０６の衝突を検出する（ステップＳ１００６）。
【００６７】
オブジェクト排他制御部３２は、固定オブジェクトであるテーブルに対しては、実施形態２と同様、オブジェクト遠近制御部３０ｂに対して人工恐竜１０５のＺ値の更新を行わず、記憶している前フレームのＺ値を維持するように指示する（ステップＳ１００７）。オブジェクト排他制御部３２は、非固定オブジェクトである花瓶１０６に対しては、データ切替部３３によりデータ表現の切り替えが指示される。データ切替部３３は、花瓶１０６に対するデータを２次元画像表現データから補助３次元ポリゴンデータに切り替える（ステップＳ１００８）。
【００６８】
オブジェクト遠近制御部３０ｂは、人工恐竜１０５のＺ値を前フレームのＺ値のままとし、処理データを描画処理部４０に渡し、その後の描画処理、出力処理を行う（ステップＳ１００９）。
【００６９】
ここで、次のフレームのシーンとして、３次元オブジェクトとなった花瓶１０６が、人工恐竜１０５との衝突の結果、テーブル１０３から落下するようにストーリーを展開すれば、より自然な３次元仮想空間の表現ができる。花瓶１０６は３次元ポリゴンデータに切り替わっているので、その角度、位置を落下するように変えていくことによりテーブル１０３からの落下を表現することができる（ステップＳ１０１０）。花瓶１０６が３次元オブジェクトに切り替わり、人工恐竜１０５との衝突の結果、テーブル１０３から落下したシーンの表現は、例えば、図１１ｂに示すものとなる。
【００７０】
上記に説明したように、本実施形態３によれば、３次元仮想空間上の各オブジェクト同士の衝突が表現でき、非固定オブジェクトを通常のシーンでは静的な２次元画像表現オブジェクトとして表現し、また、必要に応じて動的な３次元オブジェクトとして表現することができ、データ量低減と処理速度の向上を図り、かつ、より自然な３次元仮想空間を表現できる２次元画像表現を併用した３次元画像表示装置を実現することができる。
【００７１】
（実施形態４）
実施形態４にかかる３次元画像表示装置は、２次元画像表現を併用した３次元画像表示装置であるが、本実施形態４では、人工生物などキャラクタとして一まとまりのオブジェクトの構成として３次元オブジェクトの構成部分と２次元画像表現オブジェクトの構成部分とを混在させるものであり、また、オブジェクトのデータ構造として、各オブジェクト部分のオブジェクト間相対情報とを備えている。つまり、キャラクタを各描画部品に分け、各描画部品のうち３次元画像表現に適したものは３次元ポリゴンデータを与え、２次元画像表現に適したものは２次元画像表現データを与え、さらに、各描画部品相互間の位置関係などの相対情報をオブジェクト部分間相対情報として与えたものである。本実施形態４では、例として、表示するオブジェクトを人工恐竜とし、３次元画像表現とする描画部品を人工恐竜の体と触覚と目とし、２次元画像表現とする描画部品を人工恐竜の影とし、オブジェクト部分間相対情報を人工恐竜の体に対する触覚と目と影の位置として説明する。
【００７２】
本実施形態４にかかる３次元画像表示装置の全体構成の概略と本装置による処理流れの概略を図面を参照しつつ説明する。
図１２は、本実施形態４にかかる３次元画像表示装置の概略構成図を示している。図１２に示すように、本実施形態４は、実施形態１の構成における描画処理部４０に代え、描画処理部４０ａを備えた構成になっている。描画処理部４０ａを除いた各構成要素は、実施形態１で同じ番号を付して説明した各構成要素と同様であるのでその説明は簡略化し、ここでは描画処理部４０ａを中心に説明する。なお、図示していないが、システム全体の制御処理に必要なメモリ、デバイス類は装備しているものとする。
データ入力部１０は、シーン描画処理に必要なデータが入力される部分である。入力データのデータ構造例を図１３に示す。図１３に示すように、描画する各オブジェクトの入力データとして、オブジェクト名、描画部品名、３次元ポリゴンデータ、２次元画像表現データ、オブジェクト部分間相対情報、位置（Ｘ，Ｙ，Ｚ）、テクスチャ、解像度などの情報に加え、動的オブジェクトに対する移動、変形命令の編集情報などが与えられる。ここで特徴的なところは、一つのオブジェクトに対するデータとして３次元ポリゴンデータと２次元画像表現データが混在している点であり、また、それらオブジェクト部分間が相対情報により記述されている点である。
【００７３】
図１４ａに表示するオブジェクトの位置関係を示す。図１４ａに示すように人工恐竜１０７は、体１０８、触覚１０９、目１１０が３次元オブジェクトとして与えられ、影１１１が２次元画像表現オブジェクトとして与えられている。触覚１０９と目１１０の位置は、体１０８の位置からの相対位置として与えられ、頭部の所定位置が指示される。また、影１１１の位置も同様に、体１０８の位置からの相対位置として与えられ、足部の下の所定位置が指示される。
【００７４】
データ分配部２０は、オブジェクト分配部２１と描画部品分配部２２と描画部品データ記憶部２３を備えており、描画部品データに分配され、記憶される。ここでは、人工恐竜１０７の入力データは、体１０８、触覚１０９、目１１０、影１１１の各描画部品に分配され、描画部品相対情報もそれぞれの描画部品に伴って分配されて記憶されている。
【００７５】
オブジェクト遠近制御部３０は、Ｚソート部３１を備え、シーンに登場する各オブジェクトの遠近関係を制御する。
描画処理部４０ａは、フレームバッファ部４１と描画部４２ａを備えている。
【００７６】
描画部４２ａは、オブジェクト遠近制御部３０の指示に従い、各オブジェクトの遠近関係を基にオブジェクトの重なり関係を正しく表現した描画処理を制御する部分であるが、描画に際し、分配された各描画部品の描画処理を制御し、一体のオブジェクトとして合成してフレームバッファ部４１に描画する。
【００７７】
図１５は、描画部４２ａの描画部品データと更新時のデータの流れの概念を説明した図である。各描画部品は、描画部品データ保持部１４１ａ〜１４１ｃ、更新情報保持部１４２ａ〜１４２ｃ、参照描画部品データ保持部１４３ｂ〜１４３ｃ、描画処理データ生成部１４４ａ〜１４４ｃを備えている。データ分配部２０により分配され、描画部４２ａに入力された描画部品データは、描画部品データ保持部１４１ａ〜１４１ｃにそれぞれ記憶される。また、更新情報が与えられると更新情報保持部１４２ａ〜１４２ｃにそれぞれ記憶される。描画処理データ生成部１４４ａ〜１４４ｃに描画部品データ保持部１４１ａ〜１４１ｃと更新情報保持部１４２ａ〜１４２ｃのデータがそれぞれ入力され、フレームバッファ部４１に書き込むための描画処理データが生成される。描画処理データの一部は、参照描画部品データ保持部１４３ｂ〜１４３ｃにそれぞれ入力され、他の描画部品におけるオブジェクト間相対情報の処理に利用される。
【００７８】
このように、各描画部品は、これら描画部品データ保持部１４１ａ〜１４１ｃ、更新情報保持部１４２ａ〜１４２ｃ、参照描画部品データ保持部１４３ｂ〜１４３ｃの情報に基づいて、描画処理データが生成され、さらに、一体のオブジェクトに合成処理されてフレームバッファ部４１に書き込まれる。
【００７９】
なお、図１５では、描画部品データを処理する描画部品データ保持部と更新情報保持部と参照描画部品データ保持部と描画処理データ生成部のセットを３セットとして図示したが、３セットに限られるものでないことは言うまでもなく、必要なセット数を適宜備えることにより処理できる描画部品の数を増やすことができる。
【００８０】
出力部５０は、描画編集されたフレームデータを出力する部分で、出力されたデータはその後、必要な情報と併せてファイルに記録され、または、ディスプレイ上に出力される。
【００８１】
本実施形態４にかかる３次元画像表示装置の処理の流れの全体像を図１６により説明する。
まず、入力部１０から各オブジェクトに対する入力データが入力される（図１６ステップＳ１６０１）。ここでは、例として、図１３に示されたデータ構造を持つ人工恐竜１０７のデータが入力される。
【００８２】
次に、入力データがデータ分配部２０により各描画部分ごとに分配され、記憶される（ステップＳ１６０２）。ここでは、人工恐竜１０７の体１０８、触覚１０９、目１１０、影１１１に分類され、それぞれ３次元ポリゴンデータ、２次元画像データ、オブジェクト部分間相対情報などが与えられる。例えば、位置情報として、体１０８は（Ｘａ，Ｙａ，Ｚａ）の絶対位置情報が与えられ、触覚１０９と目１１０は、（Ｘａ＋α１，Ｙａ＋β１，Ｚａ＋γ１）として与えらる。ここで、α，β，γは体１０８の相対位置を表わすものとする。影１１１の位置情報も同様に、（Ｘａ＋α２，Ｙａ＋β２，Ｚａ＋γ２）として与えられる。
【００８３】
次に、オブジェクト遠近制御部３０により、ステップＳ１６０２で得られた各オブジェクトごとの視点からの遠近関係を決定する（ステップＳ１６０３）。
次に、描画処理部４０ａにより、描画処理を行う（ステップＳ１６０４〜ステップＳ１６１３）。
【００８４】
まず、描画処理部４０ａは、図１５に示すように、描画部品データを受け取り、描画部品データ保持部１４１ａ〜１４１ｃに格納する（ステップＳ１６０４）。ここでは人工恐竜の体１０８の描画部品データを１４１ａ、触覚１０９の描画部品データを１４１ｂ、影の描画部品データを１４１ｃに格納する。１４１ａ、１４１ｂのデータは３次元ポリゴンデータであり、１４１ｃのデータは２次元画像表現データである。
【００８５】
ここで、更新情報がないとすると、描画処理データ生成部１４４ａは、描画部品データ保持部１４１ａのデータをもって体１０８の描画処理データを生成する（ステップＳ１６０５）。
【００８６】
次に、描画処理データ生成部１４４ａから描画処理データの一部が参照描画部品データ保持部１４３ｂ、１４３ｃに入力される（ステップＳ１６０６）。ここでは、体１０８の位置情報（Ｘａ１，Ｙａ１，Ｚａ１）が入力される。
【００８７】
ここで、更新情報がないとすると、描画処理データ生成部１４４ｂは、描画部品データ保持部１４１ｂと参照描画部品データ保持部１４３ｂのデータより触覚１０９の描画処理データを生成し、描画処理データ生成部１４４ｃは、描画部品データ保持部１４１ｃと参照描画部品データ保持部１４３ｃのデータより影１１１の描画処理データを生成する（ステップＳ１６０７）。触覚１０９の位置情報は、（Ｘａ＋α１，Ｙａ＋β１，Ｚａ＋γ１）で与えられており、影１１１の位置情報は、（Ｘａ＋α２，Ｙａ＋β２，Ｚａ＋γ２）で与えられており、いま、参照描画部品データが（Ｘａ１，Ｙａ１，Ｚａ１）であるので、生成される描画処理データの位置情報は、それぞれ触覚が（Ｘａ１＋α１，Ｙａ１＋β１，Ｚａ１＋γ１）、影が（Ｘａ１＋α２，Ｙａ１＋β２，Ｚａ１＋γ２）となる。
【００８８】
描画部４２ａはフレームバッファ部４１に対して、ステップＳ１６０７で得られた描画処理データを基に、ステップＳ１６０５のＺソート結果順に遠方にあるオブジェクトからフレームバッファ部４１上に描画する（ステップＳ１６０８）。描画部４２は、フレームバッファ部４１上への描画にあたり、他のテクスチャマッピング、ライティングなど描画に必要な処理を施こして描画する。
【００８９】
更新情報があった場合は、まず、更新情報保持部１４２ａ〜１４２ｃに格納される（ステップＳ１６０９）。ここでは、人工恐竜１０７の体１０８のＸ座標位置がＸａ１からＸａ２へと移動する更新情報と、体１０８を変形して首を傾ける更新情報が更新情報保持部１４２ａに与えられたとする。
【００９０】
描画処理データ生成部１４４ａは、描画部品データ保持部１４１ａと更新情報保持部１４２ａのデータから、描画処理データを生成する（ステップＳ１６１０）。ここでは、体の位置情報は（Ｘａ２，Ｙａ１，Ｚａ１）に更新される。
【００９１】
参照描画部品データ１４３ｂ、１４３ｃの内容が更新される（ステップＳ１６１１）。ここでは（Ｘａ２，Ｙａ１，Ｚａ１）と更新される。
描画処理データ生成部１４４ｂは、描画部品データ保持部１４１ｂと更新情報保持部１４２ｂと参照描画部品データ１４３ｂのデータから、描画処理データを更新し、描画処理データ生成部１４４ｃは、描画部品データ保持部１４１ｃと更新情報保持部１４２ｃと参照描画部品データ１４３ｃのデータから、描画処理データを更新する（ステップＳ１６１２）。
【００９２】
描画部４２ａはフレームバッファ部４１に対して、ステップＳ１６１１およびステップＳ１６１２得られた描画処理データを基に必要な処理を施こして描画する（ステップＳ１６１３）。図１４ｂに描画された結果を示す。
【００９３】
このステップＳ１６０１〜ステップＳ１６１３が必要に応じて繰り返し処理される。
上記のシステム構成および処理の流れにより、一まとまりのオブジェクトの構成要素を３次元画像表現と２次元画像表現を混在した表示処理ができることを特徴とする２次元画像を併用した３次元画像表示装置が提供される。
【００９４】
なお、上記説明では、オブジェクトを人工恐竜とし、体、触覚、影の３つのオブジェクト部分に分けた例で説明したが、上記例に限られることは言うまでもなく、また、描画部品相対情報として、位置情報を挙げたが、サイズ、色などその他情報でもよく、位置情報に限らない。
【００９５】
（実施形態５）
実施形態５にかかる２次元画像表現を併用した３次元画像表示装置は、実施形態１と同様に、２次元画像表現オブジェクトと３次元オブジェクトを混在表示できる装置であるが、２次元画像表現データに対して、拡大、回転、ぼかし、エッジ強調などの２次元画像処理を施すことにより、柔軟な２次元画像の効果を与えるものである。本実施形態５では、例として、表示する３次元画像表現とするオブジェクトを人工恐竜１０１とし、２次元画像表現とするオブジェクトを花瓶１０６とし、花瓶１０６の２次元画像データに対して各種の２次元画像処理効果を施すものを説明する。
【００９６】
本実施形態５にかかる３次元画像表示装置の全体構成の概略と本装置による処理流れの概略を図面を参照しつつ説明する。
図１７は、本実施形態５にかかる３次元画像表示装置の概略構成図を示している。図１７に示すように、本実施形態５は、実施形態１の構成と比較して、描画処理部４０に代え、描画処理部４０ｂを備えている。描画処理部４０ｂを除いた各構成要素は、実施形態１で同じ番号を付して説明した各構成要素と同様であるのでその説明は簡略化し、ここでは描画処理部４０ｂを中心に説明する。なお、図示していないが、システム全体の制御処理に必要なメモリ、デバイス類は装備しているものとする。
【００９７】
描画処理部４０ｂは、フレームバッファ部４１、描画部４２に加え、２次元画像処理部４３を備えた構成になっている。２次元画像に対する各種画像処理効果を施すため、アフィン変換部４３ａ、フィルタ処理部４３ｂ、モーフィング処理部４３ｃなどを備えている。この２次元画像処理部４３は、上記の例に限らず、２次元画像処理を実行するモジュールであれば適宜加えることができるものである。
【００９８】
アフィン変換部４３ａによれば、拡大、変形など形状を変えることができ、フィルタ処理４３ｂによれば、ぼかし、エッジ強調など特殊効果を得ることができ、モーフィング処理部４３ｃによれば、２様の状態間をなめらかに変化させることができる。ここではフィルタ処理部４３ｂに注目して説明を続ける。
【００９９】
フィルタ処理部４３ｂは、各種画像処理を実行するフィルタマトリックスを備えており、例えば、ぼかしフィルタ、エッジフィルタ、エンボスフィルタなどのフィルタマトリックスが格納されている。
【０１００】
図１８は、本実施形態５にかかる３次元画像表示装置で利用されるデータのデータ構造を示している。図１８に示すように２次元画像表現するオブジェクトに対して、２次元画像表現データに加え、２次元画像処理情報が与えられる。この２次元画像処理情報は、２次元画像処理部４３のどの下位モジュール（例えば、フィルタ処理部４３ｂ）のどの画像処理（例えば、ぼかし処理）であるかを指定するものである。
【０１０１】
本実施形態５にかかる３次元画像表示装置の処理の流れの全体像を図１９により説明する。実施形態１の図４に示した処理ステップと同様の処理ステップに関する説明は簡単に記す。
【０１０２】
まず、入力部１０から各オブジェクトに対する入力データが入力され、（図１９ステップＳ１９０１）、データ分配部２０により各描画部品ごとのデータに分配され、記憶される（ステップＳ１９０２）。ここで、入力されるデータとして、花瓶１０６に対しては２次元画像表現データと共に、２次元画像処理情報としてフィルタ処理部４３ｂのぼかし処理の指定を表わす情報（例えば“４３ｂ１”）も与えられる。
【０１０３】
次に、オブジェクト遠近制御部３０により遠近関係が決定される（ステップＳ１９０３）。描画処理部４０ｂは、Ｚソートの結果に従ってフレームバッファ部４１に各描画部品を描画するに際し、２次元画像表現されるオブジェクトの描画処理にあたり２次元画像処理情報が付随しているかチェックし、付随している場合は当該２次元画像表現データを２次元画像処理部４３に渡す。２次元画像処理部４３では２次元画像処理情報に従い、２次元画像処理を施す（ステップＳ１９０４）。ここでは、フィルタ処理部４３ｂのぼかしフィルタによりフィルタリングが実行される。
【０１０４】
これ以降、実施形態の図４で示した処理ステップと同様、描画処理部４０ｂにより、視点からの方向と遠近に応じた各オブジェクトの重なり関係を正しく表現する処理を行う（ステップＳ１９０５）。
【０１０５】
上記のシステム構成および処理の流れにより、３次元オブジェクトと２次元画像表現オブジェクトを混在表示でき、さらに、２次元画像表現データに対して２次元画像処理を施すことで柔軟な画像表現を実現した２次元画像表現を併用した３次元画像表示装置を提供することができる。
【０１０６】
（実施形態６）
実施形態６にかかる２次元画像表現を併用した３次元画像表示装置は、実施形態１と同様に、２次元画像表現オブジェクトと３次元オブジェクトを混在表示できる装置であるが、３次元仮想空間上において重なり表示される複数の２次元画像表現オブジェクトをまとめて一枚に描き込んだ親オブジェクトにより表現し、シーンの状況により３次元空間上での遠近関係が必要となった時点で、前方側の２次元画像表現オブジェクトを個別に３次元仮想空間上に描画するものである。本実施形態５では、例えば、２次元画像表現するオブジェクトとしてテーブル１１３と背景１１４、３次元画像表現とするオブジェクトを人工恐竜１１２として説明する。
【０１０７】
本実施形態６にかかる３次元画像表示装置の全体構成の概略と本装置による処理流れの概略を図面を参照しつつ説明する。
図２０は、本実施形態６にかかる３次元画像表示装置の概略構成図を示している。図２０に示すように、本実施形態６は、実施形態１のデータ分配部２０に代え、データ分配部２０ａを備え、描画処理部４０に代え、描画処理部４０ｃを備えた構成になっている。データ分配部２０ａと描画処理部４０ｃを除いた各構成要素は、実施形態１で同じ番号を付して説明した各構成要素と同様であるのでその説明は簡略化し、ここではデータ分配部２０ａと描画処理部４０ｃを中心に説明する。なお、図示していないが、システム全体の制御処理に必要なメモリ、デバイス類は装備しているものとする。
【０１０８】
データ分配部２０ａは、データ分配部２０は、オブジェクト分配部２１、描画部品分配部２２、描画部品データ記憶部２３に加え、子オブジェクト描画部品データ記憶部２４を備えている。
【０１０９】
描画処理部４０ｃは、フレームバッファ部４１と描画部４２と子オブジェクト切替部４４を備えている。
ここで、図２１に、本実施形態６の入力データのデータ構造を示す。図２１に示すように、一つの２次元画像表現されるオブジェクトに対して、親子関係を持つ子オブジェクトのデータが与えられている。図２１の例では、親／子の関係を示す親子属性情報を持ったデータ構造となっている。ここで親オブジェクトとは、子オブジェクトを一体として含んだ２次元画像データであり、例えば、テーブル１１３を描き込んだ背景１１４のようなものである。通常、両者とも２次元画像表現され、移動しないものであるので、一体の２次元画像として表現することが可能である。一方、子オブジェクトとは、テーブルのように背景の親オブジェクト中に一体として描き込まれた個別のオブジェクトを指す。図２２ａに各オブジェクトの例を示す。
【０１１０】
データ分配部２０ａは、入力データのうち、３次元描画部品と、親オブジェクトの属性を持つ２次元描画部品を、描画部品データ記憶部２３に分配して記憶し、子オブジェクトの属性を持つ２次元描画部品を、子オブジェクト描画部品データ記憶部２４に分配して記憶する。
【０１１１】
描画処理部４０ｃの子オブジェクト切替部４４は、親オブジェクトと子オブジェクトとの間で、３次元空間上での遠近関係が必要であるか否かを判断し、遠近関係が必要である場合には、子オブジェクト描画部品データ記憶部２４より、子オブジェクトの２次元画像表現データに切り替える。
【０１１２】
本実施形態６にかかる３次元画像表示装置の処理の流れの全体像を図２３により説明する。実施形態１の図４に示した処理ステップと同様の処理ステップに関する説明は簡単に記す。
【０１１３】
まず、入力部１０から各オブジェクトに対する入力データが入力される（図２３ステップＳ２３０１）。
次に、データ分配部２０ａにより各描画部品ごとのデータに分配され、記憶される（ステップＳ２３０２）。ここで、入力データは、人工恐竜１１２に関する描画部品と、親オブジェクトである背景１１４（テーブルが描き込まれたもの）の２次元画像の描画部品に分配され、描画部品データ記憶部２３に記憶される。また、子オブジェクトであるテーブル１１３の２次元画像の描画部品は、子オブジェクト描画部品データ記憶部２４に記憶される。
【０１１４】
次に、オブジェクト遠近制御部３０により遠近関係が決定される（ステップＳ２３０３）。ここで、Ｚソートにあたり、描画部品データ記憶部２３に格納されているオブジェクトのみならず、子オブジェクト描画部品データ記憶部２４に格納されている子オブジェクトのＺ値も加えてＺソートする。ここでは、背景１１４、テーブル１１３、人工恐竜１１２の順序であったとする。
【０１１５】
描画処理部４０ｃは、Ｚソートの結果、親オブジェクトである背景１１４と子オブジェクトであるテーブル１１３の間に割り込むオブジェクトがないため、子オブジェクトの描画処理を除外して、描画部品データ記憶部２３にある３次元オブジェクトと親オブジェクトのデータを基にフレームバッファ部４１に描画する（ステップＳ２３０４）。この様子を図２２ｂに示す。
【０１１６】
次に、人工恐竜１１２の位置情報が、テーブル１１３と背景１１４との間の位置に移動するように更新されたとする。描画部品データ記憶部２３の人工恐竜１１２に関するデータが更新されることとなる（ステップＳ２３０５）。
【０１１７】
次に、オブジェクト遠近制御部３０により遠近関係が決定される（ステップＳ２３０６）。ここでは、背景１１４、人工恐竜１１２、テーブル１１３の順序であったとする。
【０１１８】
描画処理部４０ｃは、Ｚソートの結果、親オブジェクトである背景１１４と子オブジェクトであるテーブル１１３の間に割り込む人工恐竜１１２のオブジェクトが存在するため、オブジェクトの重なりが発生するか否かをチェックする（ステップＳ２３０７）。ここでは、オブジェクトの重なりが発生するので、子オブジェクト切替部４４により、子オブジェクト描画部品データ記憶部２４の子オブジェクトであるテーブル１１３の２次元画像表現データを読み込む（ステップＳ２３０８）。描画処理部４０ｃは、Ｚソートの結果に従って、親オブジェクトである背景１１４、３次元オブジェクトである人工恐竜１１２、子オブジェクトであるテーブル１１３の順にフレームバッファ部４１に描画する。（ステップＳ２３０９）。この様子を図２２ｃに示す。
【０１１９】
上記のシステム構成および処理の流れにより、３次元オブジェクトと２次元画像表現オブジェクトを混在表示でき、さらに、２次元画像表現オブジェクトをできるだけまとめて一つの２次元画像表現オブジェクトとして描画し、必要に応じて個別に子オブジェクトとして３次元仮想空間上に配して描画することにより、よりデータ処理量を低減した３次元画像表示装置を提供することができる。
【０１２０】
（実施形態７）
本発明にかかる３次元画像表示装置に用いる画像データは、装置読み取り可能な記録媒体に記録して提供することにより３次元画像表示装置において利用することができる。また、本発明にかかる３次元画像表示装置は、３次元画像表示装置を実現する処理ステップを備えたプログラムとして記述し、コンピュータ読み取り可能な記録媒体に記録して提供することにより、各種コンピュータを用いて構築することができる。本発明にかかる３次元画像表示装置において利用する画像データを記録した記録媒体、または、本発明にかかる３次元画像表示装置を実現する処理ステップを備えたプログラムを記録した記録媒体は、図２４に図示した記録媒体の例に示すように、ＣＤ−ＲＯＭ２０３やフレキシブルディスク２０４等の可搬型記録媒体２０２だけでなく、ネットワーク上にある記録装置内の記録媒体２０１や、コンピュータのハードディスクやＲＡＭ等の記録媒体２０６のいずれであっても良く、プログラム実行時には、プログラムはコンピュータ２０５上にローディングされ、主メモリ上で実行される。
【０１２１】
【発明の効果】
本発明にかかる３次元画像表示装置によれば、３次元オブジェクトと２次元画像表現オブジェクトとを混在して３次元仮想空間上に描画することができ、データ処理量の低減とデータ処理速度の向上を図ることができる。
【０１２２】
また、本発明にかかる３次元画像表示装置によれば、オブジェクト間相対情報によりデータ更新にあたり相対関係がある他のオブジェクト部分のデータも更新でき、オブジェクト部分に対する独立したデータ付与、データ処理、データ更新の必要がなく、データ処理量とデータ処理速度の向上を図ることができる。
【０１２３】
また、本発明にかかる３次元画像表示装置によれば、２次元画像表現オブジェクトに対して、変形、ぼかし、エッジ強調などの２次元画像処理を応用して適用することができ、より柔軟な画像処理効果を持たせることができる。
【０１２４】
また、本発明にかかる３次元画像表示装置によれば、親オブジェクトとの間に他のオブジェクトが存在しない子オブジェクトの描画処理を削減することができ、データ処理量を低減することができる。
【図面の簡単な説明】
【図１】 本発明の実施形態１にかかる３次元画像表示装置の概略構成図
【図２】 実施形態１の装置において利用するデータのデータ構造を示す図
【図３】 表示するオブジェクトの位置関係および描画結果例を示す図
【図４】 人工恐竜のオブジェクト例および描画部品例を示す図
【図５】 実施形態１の装置による処理の全体像を示したフローチャート
【図６】 本発明の実施形態２にかかる３次元画像表示装置の概略構成図
【図７】 オブジェクト遠近制御部３０ａの処理ステップを示したフローチャート
【図８】 本発明の実施形態３にかかる３次元画像表示装置の概略構成図
【図９】 実施形態３の装置において利用するデータのデータ構造を示す図
【図１０】 オブジェクト遠近制御部３０ｂの処理ステップを示したフローチャート
【図１１】 描画結果例を示す図
【図１２】 本発明の実施形態４にかかる３次元画像表示装置の概略構成図
【図１３】 実施形態４の装置において利用するデータのデータ構造を示す図
【図１４】 表示するオブジェクトの位置関係を説明する図
【図１５】 描画部品処理部４２ａの描画部品データと更新時のデータの流れの概念を説明した図
【図１６】 実施形態４の装置による処理の全体像を示したフローチャート
【図１７】 本発明の実施形態５にかかる３次元画像表示装置の概略構成図
【図１８】 実施形態５の装置において利用するデータのデータ構造を示す図
【図１９】 実施形態５の装置による処理の全体像を示したフローチャート
【図２０】 本発明の実施形態６にかかる３次元画像表示装置の概略構成図
【図２１】 実施形態６の装置において利用するデータのデータ構造を示す図
【図２２】 親オブジェクトと子オブジェクトの例および描画結果を示す図
【図２３】 実施形態６の装置による処理の全体像を示したフローチャート
【図２４】 記録媒体の例
【符号の説明】
１０ 入力部
２０，２０ａ データ分配部
２１ オブジェクト分配部
２２ 描画部品分配部
２３ 描画部品データ記憶部
２４ 子オブジェクト描画部品データ記憶部
３０，３０ａ，３０ｂ， オブジェクト遠近制御部
３１ Ｚソート部
３２ オブジェクト排他制御部
３３ データ切替部
４０，４０ａ，４０ｂ，４０ｃ 描画処理部
４１ フレームバッファ部
４２ ４２ａ 描画部
４３ ２次元画像処理部
４３ａ アフィン変換部
４３ｂ フィルタ処理部
４３ｃ モーフィング処理部
４４ 子オブジェクト切替部
５０ 出力部
６０ 制御部
１４１ａ，１４１ｂ，１４１ｃ 描画部品データ保持部
１４２ａ，１４２ｂ，１４２ｃ 更新情報保持部
１４３ａ，１４３ｂ，１４３ｃ 参照描画部品データ保持部
１４４ａ，１４４ｂ，１４４ｃ 描画処理データ生成部
２０１ 回線先のハードディスク等の記録媒体
２０２ ＣＤ−ＲＯＭやフレキシブルディスク等の可搬型記録媒体
２０３ ＣＤ−ＲＯＭ
２０４ フレキシブルディスク
２０５ コンピュータ
２０６ コンピュータ上のＲＡＭ／ハードディスク等の記録媒体
Claims (6)
- ３次元画像を表現する３次元オブジェクトに対する３次元ポリゴンデータと、当該３次元オブジェクトの奥行きを示す第一のＺ値と、３次元オブジェクトを３次元仮想空間上に配置された２次元画像として表現した２次元画像表現オブジェクトに対する２次元画像データと当該２次元画像表現オブジェクトの奥行きを示す第二のＺ値とを含んだ２次元画像表現データを備えた画像データを入力データとし、３次元オブジェクトと２次元画像表現オブジェクトとを混在して３次元仮想空間上に描画する３次元画像表示装置であって、
データ入力部と、
前記入力データに基づいてオブジェクトごとの遠近関係を決定するオブジェクト遠近制御部と、
前記決定された遠近関係を基に遠方にあるオブジェクトから手前にあるオブジェクトまで順に上書き描画して遠近表現上の重なりを正しく表現する描画処理部と、
描画結果を表示する出力部と、
３次元仮想空間上で、前記３次元オブジェクトが占有する領域が移動した結果、第一のＺ値と第二のＺ値とが重なるか、または、第一のＺ値と第二のＺ値との大小関係が逆転した場合、前記３次元オブジェクトの第一のＺ値として移動前の第一のＺ値を維持することにより、各オブジェクトを排他制御するオブジェクト排他制御部とを備え、
前記３次元オブジェクトの移動による前記３次元オブジェクトと前記２次元画像表現オブジェクトとの３次元仮想空間上での衝突が表現できることを特徴とする３次元画像表示装置。 - 前記入力データが、前記２次元画像表現オブジェクトに対する２次元画像表現データと関連づけられた３次元ポリゴンデータであって前記２次元画像表現オブジェクトの元の３次元オブジェクトを３次元画像として表現する補助３次元ポリゴンデータを備え、
前記２次元画像表現データから前記補助３次元ポリゴンデータに切り替えるデータ切替部を備え、
前記データ切替部により選択的に２次元画像表現データを前記補助３次元ポリゴンデータに切り替え、前記２次元画像表現オブジェクトを３次元オブジェクトとして表現する請求項１に記載の３次元画像表示装置。 - 前記入力データが、３次元仮想空間上のキャラクタを形成する各オブジェクト部分に対するデータとして各オブジェクト部分の画像データと他のオブジェクト部分との相対情報であるオブジェクト間相対情報を含み、前記描画処理部が、各オブジェクト部分の描画処理において、各オブジェクト部分に対する前記３次元ポリゴンデータまたは前記２次元画像表現データと、前記オブジェクト間相対情報とを基に描画処理を実行し、前記オブジェクト間相対情報の更新により前記キャラクタの動きを表現できる請求項１に記載の３次元画像表示装置。
- ２次元画像に対する画像処理を施す２次元画像処理部を備え、前記入力データが、前記２次元画像表現オブジェクトに対する２次元画像処理を指定する２次元画像処理指定データを含み、
前記２次元画像処理指定データに基づいて、前記２次元画像処理部により、前記２次元画像表現オブジェクトの２次元画像表現データに対する２次元画像処理を実行する請求項１に記載の３次元画像表示装置。 - ３次元画像を表現する３次元オブジェクトに対する３次元ポリゴンデータと、３次元オブジェクトを３次元仮想空間上に配置された２次元画像として表現した２次元画像表現オブジェクトに対する２次元画像データと奥行きを示すＺ値とを含んだ２次元画像表現データを備えた画像データを入力データとし、３次元オブジェクトと２次元画像表現オブジェクトとを混在して３次元仮想空間上に描画する３次元画像表示装置であって、
前記入力データが、３次元仮想空間上において遠近関係を持ち、重なり表示される２次元画像表現オブジェクトを子オブジェクトとし、前記子オブジェクトをまとめて一枚に描き込んだ親オブジェクトに対する２次元画像表現データと、前記親オブジェクトと前記子オブジェクトの間の親子関係を表わす親子属性情報を備え、
データ入力部と、
前記入力データに基づいてオブジェクトごとの遠近関係を決定するオブジェクト遠近制御部と、
前記決定された遠近関係を基に遠方にあるオブジェクトから手前にあるオブジェクトまで順に上書き描画して遠近表現上の重なりを正しく表現する描画処理部と、
描画結果を表示する出力部とを備え、
前記描画処理部は、前記親オブジェクトと、親子関係のない他のオブジェクトと、子オブジェクトであって前記オブジェクト遠近制御部により決定した遠近関係において前記親オブジェクトとの間に他のオブジェクトが存在する子オブジェクトの画像データを基に描画処理することを特徴とする３次元画像表示装置。 - ３次元ポリゴンデータに基づく３次元オブジェクトと２次元画像表現オブジェクトとを混在して出力装置上の３次元仮想空間に画像として表示させるためのプログラムを記録した記録媒体であって、
前記プログラムは、
３次元画像を表現する３次元オブジェクトに対する３次元ポリゴンデータと、当該３次元オブジェクトの奥行きを示す第一のＺ値と、３次元オブジェクトを３次元空間上に配置された２次元画像として表現した２次元画像表現オブジェクトに対する２次元画像と当該２次元画像表現オブジェクトの奥行きを示す第二のＺ値とを含んだ２次元画像表現データを入力するステップと、
前記入力データに基づいてオブジェクトごとの遠近関係を決定するステップと、
前記決定された遠近関係をもとに遠方にあるオブジェクトから手前にあるオブジェクトまで順に上書き描画して遠近表現上の重なりを正しく表現するステップと、描画結果を表示するステップとをコンピュータに実行させ、
前記プログラムは、３次元仮想空間上で前記３次元オブジェクトが占有する領域が移動した結果、第一のＺ値と第二のＺ値とが重なるか、または、第一のＺ値と第二のＺ値との大小関係が逆転した場合、前記３次元オブジェクトの第一のＺ値として移動前の第一のＺ値を維持することにより、各オブジェクトを排他制御することにより、前記３次元オブジェクトの移動による前記３次元オブジェクトと前記２次元画像表現オブジェクトとの３次元仮想空間上での衝突を表現するステップをコンピュータに実行させることを特徴とする、３次元画像表示プログラムを記録したコンピュータに読み取り可能な記録媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14304698A JP3646969B2 (ja) | 1998-05-25 | 1998-05-25 | ３次元画像表示装置 |
| US09/222,319 US6392644B1 (en) | 1998-05-25 | 1998-12-29 | Three-dimensional graphics display system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14304698A JP3646969B2 (ja) | 1998-05-25 | 1998-05-25 | ３次元画像表示装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11339068A JPH11339068A (ja) | 1999-12-10 |
| JP3646969B2 true JP3646969B2 (ja) | 2005-05-11 |
Family
ID=15329656
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP14304698A Expired - Fee Related JP3646969B2 (ja) | 1998-05-25 | 1998-05-25 | ３次元画像表示装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6392644B1 (ja) |
| JP (1) | JP3646969B2 (ja) |
Families Citing this family (70)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4387511B2 (ja) * | 1999-09-09 | 2009-12-16 | 株式会社バンダイナムコゲームス | ゲーム装置および情報記憶媒体 |
| TW475155B (en) * | 1999-09-10 | 2002-02-01 | Sony Computer Entertainment Inc | Method of and apparatus for rendering image, recording medium, and program |
| JP2001209821A (ja) * | 2000-01-27 | 2001-08-03 | Mitsubishi Electric Corp | 三次元グラフィックス処理装置およびその方法 |
| JP2002150315A (ja) * | 2000-11-09 | 2002-05-24 | Minolta Co Ltd | 画像処理装置および記録媒体 |
| US7161579B2 (en) * | 2002-07-18 | 2007-01-09 | Sony Computer Entertainment Inc. | Hand-held computer interactive device |
| US7883415B2 (en) | 2003-09-15 | 2011-02-08 | Sony Computer Entertainment Inc. | Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion |
| US7623115B2 (en) * | 2002-07-27 | 2009-11-24 | Sony Computer Entertainment Inc. | Method and apparatus for light input device |
| US7102615B2 (en) * | 2002-07-27 | 2006-09-05 | Sony Computer Entertainment Inc. | Man-machine interface using a deformable device |
| US8797260B2 (en) | 2002-07-27 | 2014-08-05 | Sony Computer Entertainment Inc. | Inertially trackable hand-held controller |
| US8947347B2 (en) * | 2003-08-27 | 2015-02-03 | Sony Computer Entertainment Inc. | Controlling actions in a video game unit |
| US7646372B2 (en) * | 2003-09-15 | 2010-01-12 | Sony Computer Entertainment Inc. | Methods and systems for enabling direction detection when interfacing with a computer program |
| US8313380B2 (en) * | 2002-07-27 | 2012-11-20 | Sony Computer Entertainment America Llc | Scheme for translating movements of a hand-held controller into inputs for a system |
| US8160269B2 (en) | 2003-08-27 | 2012-04-17 | Sony Computer Entertainment Inc. | Methods and apparatuses for adjusting a listening area for capturing sounds |
| US7854655B2 (en) | 2002-07-27 | 2010-12-21 | Sony Computer Entertainment America Inc. | Obtaining input for controlling execution of a game program |
| US8139793B2 (en) * | 2003-08-27 | 2012-03-20 | Sony Computer Entertainment Inc. | Methods and apparatus for capturing audio signals based on a visual image |
| US8570378B2 (en) | 2002-07-27 | 2013-10-29 | Sony Computer Entertainment Inc. | Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera |
| US9474968B2 (en) | 2002-07-27 | 2016-10-25 | Sony Interactive Entertainment America Llc | Method and system for applying gearing effects to visual tracking |
| US8686939B2 (en) | 2002-07-27 | 2014-04-01 | Sony Computer Entertainment Inc. | System, method, and apparatus for three-dimensional input control |
| US7760248B2 (en) | 2002-07-27 | 2010-07-20 | Sony Computer Entertainment Inc. | Selective sound source listening in conjunction with computer interactive processing |
| US9393487B2 (en) | 2002-07-27 | 2016-07-19 | Sony Interactive Entertainment Inc. | Method for mapping movements of a hand-held controller to game commands |
| US9174119B2 (en) | 2002-07-27 | 2015-11-03 | Sony Computer Entertainement America, LLC | Controller for providing inputs to control execution of a program when inputs are combined |
| US8233642B2 (en) * | 2003-08-27 | 2012-07-31 | Sony Computer Entertainment Inc. | Methods and apparatuses for capturing an audio signal based on a location of the signal |
| US7850526B2 (en) * | 2002-07-27 | 2010-12-14 | Sony Computer Entertainment America Inc. | System for tracking user manipulations within an environment |
| US7627139B2 (en) * | 2002-07-27 | 2009-12-01 | Sony Computer Entertainment Inc. | Computer image and audio processing of intensity and input devices for interfacing with a computer program |
| US7918733B2 (en) * | 2002-07-27 | 2011-04-05 | Sony Computer Entertainment America Inc. | Multi-input game control mixer |
| US7803050B2 (en) * | 2002-07-27 | 2010-09-28 | Sony Computer Entertainment Inc. | Tracking device with sound emitter for use in obtaining information for controlling game program execution |
| US9682319B2 (en) | 2002-07-31 | 2017-06-20 | Sony Interactive Entertainment Inc. | Combiner method for altering game gearing |
| EP1403759A3 (en) * | 2002-09-17 | 2007-04-04 | Sharp Kabushiki Kaisha | Electronic equipment with two and three dimensional display functions |
| JP2004199496A (ja) * | 2002-12-19 | 2004-07-15 | Sony Corp | 情報処理装置および方法、並びにプログラム |
| US9177387B2 (en) | 2003-02-11 | 2015-11-03 | Sony Computer Entertainment Inc. | Method and apparatus for real time motion capture |
| US8072470B2 (en) * | 2003-05-29 | 2011-12-06 | Sony Computer Entertainment Inc. | System and method for providing a real-time three-dimensional interactive environment |
| US8323106B2 (en) | 2008-05-30 | 2012-12-04 | Sony Computer Entertainment America Llc | Determination of controller three-dimensional location using image analysis and ultrasonic communication |
| US9573056B2 (en) * | 2005-10-26 | 2017-02-21 | Sony Interactive Entertainment Inc. | Expandable control device via hardware attachment |
| US8287373B2 (en) | 2008-12-05 | 2012-10-16 | Sony Computer Entertainment Inc. | Control device for communicating visual information |
| US10279254B2 (en) * | 2005-10-26 | 2019-05-07 | Sony Interactive Entertainment Inc. | Controller having visually trackable object for interfacing with a gaming system |
| US7874917B2 (en) * | 2003-09-15 | 2011-01-25 | Sony Computer Entertainment Inc. | Methods and systems for enabling depth and direction detection when interfacing with a computer program |
| US7663689B2 (en) * | 2004-01-16 | 2010-02-16 | Sony Computer Entertainment Inc. | Method and apparatus for optimizing capture device settings through depth information |
| US7277095B2 (en) * | 2004-03-16 | 2007-10-02 | Canon Kabushiki Kaisha | Method of rendering graphical objects |
| US8547401B2 (en) | 2004-08-19 | 2013-10-01 | Sony Computer Entertainment Inc. | Portable augmented reality device and method |
| JP2007072528A (ja) * | 2005-09-02 | 2007-03-22 | Internatl Business Mach Corp <Ibm> | 文書構造解析方法、プログラム、装置 |
| JP2007075292A (ja) * | 2005-09-13 | 2007-03-29 | Samii Kk | 遊技機 |
| JP4724517B2 (ja) * | 2005-09-29 | 2011-07-13 | キヤノン株式会社 | 画像処理システムおよび画像処理方法およびプログラムおよび記憶媒体 |
| US7305127B2 (en) * | 2005-11-09 | 2007-12-04 | Aepx Animation, Inc. | Detection and manipulation of shadows in an image or series of images |
| US7477777B2 (en) * | 2005-10-28 | 2009-01-13 | Aepx Animation, Inc. | Automatic compositing of 3D objects in a still frame or series of frames |
| JP2007133489A (ja) * | 2005-11-08 | 2007-05-31 | Sony Corp | 仮想空間画像表示方法、装置、仮想空間画像表示プログラム及び記録媒体 |
| JP4177381B2 (ja) | 2006-03-01 | 2008-11-05 | 株式会社スクウェア・エニックス | 画像生成方法、画像生成装置、および画像生成プログラム |
| US20110014981A1 (en) * | 2006-05-08 | 2011-01-20 | Sony Computer Entertainment Inc. | Tracking device with sound emitter for use in obtaining information for controlling game program execution |
| US8310656B2 (en) * | 2006-09-28 | 2012-11-13 | Sony Computer Entertainment America Llc | Mapping movements of a hand-held controller to the two-dimensional image plane of a display screen |
| US8781151B2 (en) | 2006-09-28 | 2014-07-15 | Sony Computer Entertainment Inc. | Object detection using video input combined with tilt angle information |
| USRE48417E1 (en) | 2006-09-28 | 2021-02-02 | Sony Interactive Entertainment Inc. | Object direction using video input combined with tilt angle information |
| US20080295035A1 (en) * | 2007-05-25 | 2008-11-27 | Nokia Corporation | Projection of visual elements and graphical elements in a 3D UI |
| KR100912809B1 (ko) | 2007-07-20 | 2009-08-18 | 한국전자통신연구원 | 2차원 영상의 특정영역에 3차원 영상을 삽입하여 2차원 및2, 3차원 혼용 영상을 서비스하는 방법 |
| US8542907B2 (en) * | 2007-12-17 | 2013-09-24 | Sony Computer Entertainment America Llc | Dynamic three-dimensional object mapping for user-defined control device |
| KR101335346B1 (ko) * | 2008-02-27 | 2013-12-05 | 소니 컴퓨터 엔터테인먼트 유럽 리미티드 | 장면의 심도 데이터를 포착하고, 컴퓨터 액션을 적용하기 위한 방법들 |
| US8368753B2 (en) | 2008-03-17 | 2013-02-05 | Sony Computer Entertainment America Llc | Controller with an integrated depth camera |
| EP2365701A1 (en) * | 2008-11-26 | 2011-09-14 | NEC Corporation | Display device, terminal device, and display method |
| US8961313B2 (en) * | 2009-05-29 | 2015-02-24 | Sony Computer Entertainment America Llc | Multi-positional three-dimensional controller |
| US8527657B2 (en) * | 2009-03-20 | 2013-09-03 | Sony Computer Entertainment America Llc | Methods and systems for dynamically adjusting update rates in multi-player network gaming |
| US8342963B2 (en) * | 2009-04-10 | 2013-01-01 | Sony Computer Entertainment America Inc. | Methods and systems for enabling control of artificial intelligence game characters |
| US8393964B2 (en) | 2009-05-08 | 2013-03-12 | Sony Computer Entertainment America Llc | Base station for position location |
| US8142288B2 (en) | 2009-05-08 | 2012-03-27 | Sony Computer Entertainment America Llc | Base station movement detection and compensation |
| JP2010284258A (ja) * | 2009-06-10 | 2010-12-24 | Taito Corp | ゲーム装置、ゲームプログラム |
| JP4758499B2 (ja) * | 2009-07-13 | 2011-08-31 | 株式会社バンダイナムコゲームス | 画像生成システム及び情報記憶媒体 |
| CN101923468A (zh) * | 2010-08-13 | 2010-12-22 | 中兴通讯股份有限公司 | 一种重绘微件的方法及装置 |
| JP2012050587A (ja) * | 2010-08-31 | 2012-03-15 | Kyoraku Sangyo Kk | 遊技機、遊技機の制御方法及びプログラム |
| WO2013158322A1 (en) * | 2012-04-18 | 2013-10-24 | The Regents Of The University Of California | Simultaneous 2d and 3d images on a display |
| WO2014210033A2 (en) | 2013-06-24 | 2014-12-31 | The Regents Of The University Of California | Practical two-frame 3d+2d tv |
| US10665008B2 (en) * | 2018-05-31 | 2020-05-26 | Microsoft Technology Licensing, Llc | Hybrid traversal of object sets |
| JP7458749B2 (ja) * | 2019-11-11 | 2024-04-01 | 株式会社ソニー・インタラクティブエンタテインメント | 端末装置、サーバ装置、情報処理システム、及びプログラム |
| CN113289348A (zh) * | 2020-04-28 | 2021-08-24 | 阿里巴巴集团控股有限公司 | 对象处理方法、客户端、服务端、电子设备及存储介质 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6446167A (en) * | 1982-07-30 | 1989-02-20 | Honeywell Inc | Mapping of digital input video on screen |
| US5999185A (en) * | 1992-03-30 | 1999-12-07 | Kabushiki Kaisha Toshiba | Virtual reality control using image, model and control data to manipulate interactions |
| JPH0785308A (ja) | 1993-07-02 | 1995-03-31 | Sony Corp | 画像表示方法 |
| JP3490169B2 (ja) * | 1995-02-20 | 2004-01-26 | 株式会社日立情報システムズ | 三次元アニメーション処理システム及び処理方法 |
| JP2677233B2 (ja) * | 1995-03-17 | 1997-11-17 | 株式会社日立製作所 | コンピュータグラフィックス表示方法 |
| JP3734045B2 (ja) * | 1995-08-10 | 2006-01-11 | 株式会社セガ | 仮想画像生成方法及びその装置 |
| JP3420870B2 (ja) * | 1995-12-18 | 2003-06-30 | 株式会社ナムコ | 画像合成方法、画像合成装置及びゲーム装置 |
| GB9607541D0 (en) * | 1996-04-11 | 1996-06-12 | Discreet Logic Inc | Processing image data |
| US6057856A (en) * | 1996-09-30 | 2000-05-02 | Sony Corporation | 3D virtual reality multi-user interaction with superimposed positional information display for each user |
| JP3545935B2 (ja) * | 1998-05-06 | 2004-07-21 | 日本電信電話株式会社 | 画像の生成・表示方法及びこの方法を記録した記録媒体 |
-
1998
- 1998-05-25 JP JP14304698A patent/JP3646969B2/ja not_active Expired - Fee Related
- 1998-12-29 US US09/222,319 patent/US6392644B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11339068A (ja) | 1999-12-10 |
| US6392644B1 (en) | 2002-05-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3646969B2 (ja) | ３次元画像表示装置 | |
| EP1672529B1 (en) | Method for annotating pages of a 3D electronic document | |
| US7171630B2 (en) | Electronic simulation of interaction with printed matter | |
| EP0950988B1 (en) | Three-Dimensional image generating apparatus | |
| US6208360B1 (en) | Method and apparatus for graffiti animation | |
| US6201542B1 (en) | Three-dimensional polygon display apparatus using progressive polygon data | |
| JP2001084404A (ja) | レンダリング方法及び装置、ゲーム装置、並びに立体モデルをレンダリングするプログラムを格納するコンピュータ読み取り可能な記録媒体 | |
| US20040075657A1 (en) | Method of rendering a graphics image | |
| Johnson | Towards enhanced visual clarity of sign language avatars through recreation of fine facial detail | |
| JPH0721752B2 (ja) | マルチウィンドウ表示方式 | |
| JP4097736B2 (ja) | コンピュータを用いた漫画の製作方法及びその方法で作られた漫画をモニタ画面で見る方法 | |
| JP3605317B2 (ja) | 画像描画方法、画像描画装置及び記録媒体 | |
| JP3002972B2 (ja) | ３次元画像処理装置 | |
| Bill et al. | Computer sculpting of polygonal models using virtual tools | |
| KR20050059253A (ko) | 3차원 이미지 처리 | |
| JP3380979B2 (ja) | 映像生成装置及び方法並びに記録媒体 | |
| JP3520515B2 (ja) | コンピューターを用いた漫画の製作方法及びその方法で作られた漫画をモニター画面で見る方法 | |
| JP2897441B2 (ja) | イメージ処理方法及び装置 | |
| JPH02132572A (ja) | 画像表示装置 | |
| JP3448604B2 (ja) | 画像表示方法 | |
| JP2602492B2 (ja) | 曲面表示方法 | |
| JP3132220B2 (ja) | ３次元モデルの形状作成方法 | |
| Cohen | Imagination amplification | |
| JP4230051B2 (ja) | 画像生成方式 | |
| JP2003132367A (ja) | 映像生成装置及び方法並びに記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040518 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040716 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040811 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041012 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041116 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041210 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050203 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050204 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080218 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090218 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090218 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100218 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110218 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110218 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120218 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120218 Year of fee payment: 7 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120218 Year of fee payment: 7 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120218 Year of fee payment: 7 |
|
| S202 | Request for registration of non-exclusive licence |
Free format text: JAPANESE INTERMEDIATE CODE: R315201 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120218 Year of fee payment: 7 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130218 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140218 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |