JPH11259672A

JPH11259672A - ３次元仮想空間表示装置

Info

Publication number: JPH11259672A
Application number: JP10062982A
Authority: JP
Inventors: Nobuhito Miyauchi; 信仁宮内
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1998-03-13
Filing date: 1998-03-13
Publication date: 1999-09-24

Abstract

(57)【要約】【課題】従来の３次元仮想空間表示装置は、主に３次
元ＣＧモデルで構築されており、ユーザが自由に仮想空
間内をウォークスルーできたが精緻な仮想空間を３次元
ＣＧのコンテンツのみで構築する場合の開発コストが大
きく、コンテンツの画像品質が実写画像と比較するとリ
アリティが欠如するという問題があった。【解決手段】実写画像をテクスチャマッピングしたテ
クスチャ（板状）オブジェクトを遠景、中間景、近景な
どに分類して管理を行い、ユーザの位置、視点、視線方
向に関する情報から、３次元仮想空間の幾何学的な配置
情報を算出する手段を設け、ユーザの移動に合わせて、
上記オブジェクトに表示される物体が、３次元仮想空間
内のユーザの視野に現実の物体が存在するように上記オ
ブジェクトを配置するような構成にする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、３次元コンピュ
ータグラフィックを用いて３次元仮想空間を表示する情
報処理装置に関するものである。

【０００２】

【従来の技術】１．概要従来の３次元仮想空間のＣＧ表示では、仮想空間内に実
写画像をテクスチャとして取り込み、ＣＧモデルと混在
して表示させ、ＣＧモデルだけで表現できないリアリテ
ィを追求した試みがいくつかあった。但し、こちらは、
仮想空間内の壁に実写画像を張り込むだけであり、３次
元仮想空間内での実写画像の配置に工夫をしたものはあ
まり存在していない。ＳＩＧＧＲＡＰＨ９５以来、イメ
ージベースモデリング、或いは、レンダリングは、注目
を集めている実写映像により仮想空間を構築する技術で
ある。代表的なものは、アップルコンピュータ社のＱｕ
ｉｃｋＴｉｍｅＶＲやノースカロライナ大学のＰｌｅ
ｎｏｐｔｉｃＭｏｄｅｌｉｎｇなどであり、複数枚の
写真から円筒状のパノラマ画像を得る方法である。これ
に対して、ＳＩＧＧＲＡＰＨ９６では、異なる視点から
見た複数の実写画像から画像中の物体の３次元構造を抽
出し、動画を生成する技術が発表されている。これら
は、入力情報として与えられた視点以外の視点から見た
画像や動画を生成することを実現する技術である。ま
た、上記のパノラマ技術とＶＲＭＬを融合しようとして
いるＲｅａｌＶＲという技術も、ＱｕｉｃｋＴｉｍｅ
ＶＲの開発メンバの一人により開発されている。写真な
どの実写映像から３次元仮想空間を直接構築する技術
は、幾何学的なアルゴリズムやそれによる手法も多岐に
わたり、大学を始めとした各種研究機関で様々な研究が
試みられている。更に、コンテンツ作成の効率化の観点
から需要があり、ソフトウェア製品として富士通株式会
社などにより一般化され始めている。写真画像をベース
に、３次元モデルを自動的に作成するソフトで、イメー
ジベースモデラと呼ばれている。特許についても、実写
映像の中を３次元仮想空間と同様にウォークスルーした
り、実写映像の中に３次元ＣＧのオブジェクトを組み込
んだりする技法を中心に様々なものが提案されている。

【０００３】２．自然画像とグラフィックスの合成技術
の総括現状の実写画像と３次元ＣＧモデルの融合技術につい
て、情報処理３８巻３号（情報処理学会：１９９７年３
月、宮田一乗、黒川雅人、広田源太郎）の「コンピュー
タ・グラフィックスの基本的テクノロジーと最近の話
題」３．画像とＣＧの融合の中の３．自然画像とグラフ
ィックスの合成では、以下のようにまとめている。カメ
ラから入力された実写画像（静止画像及び動画像）とＣ
Ｇで作られたオブジェクトを自然にみえるような形で容
易に合成するために、考慮しなければならない条件とし
て、少なくとも以下の項目があげられる。（１）ＣＧと実写画像のカメラパラメータ（視点及びビ
ューボリュームなど）の統合。（２）両者の照明条件の統合。（３）実写中のオブジェクトとＣＧによるオブジェクト
の前後関係から生じるオクルージョン（オクルージョン
とは、例えば、３次元仮想空間上に２つの物体を重ねて
表示するときに、２つの物体の前後の位置関係を判断し
て、前にある物体と重なって見えなくなる後の物体の一
部を消去することをいう）の適切な表現。（４）合成部分境界における不自然さの解消。これらの条件は、どれも容易に解決可能な問題ではな
く、本文献では、研究例を紹介している。この例では、
上記（１）に焦点を絞り、簡単なマンマシンインタラク
ションと画像解析により、実写画像中の主要な平面の３
次元構造を推定して、実写画像とＣＧのオブジェクトと
を組み合わせている。後述する国内における特許でも、
同様な合成方式に関するものが多い。

【０００４】３．ＣＧによる３次元仮想空間への実写画
像テクスチャの取り込みアバタの顔に顔写真データを貼ったり、背景写真を仮想
空間の後方に置いたりするなど、従来より実写画像テク
スチャの取り込みは様々に行われていた。この実写画像
テクスチャを積極的に取り込んで仮想空間を構築してい
るシステムの例に、ＮＴＴヒューマンインタフェース研
究所、鈴木元、菅原昌平、森内万知夫「仮想空間を用い
た画像コミュニケーション環境」（情報処理学会グルー
プウェア研究会、１９９３．４．２８）がある。このシ
ステムの仮想空間内では、利用者のアバタの他に、利用
者が提供している商品や個人空間の状況等を示すオブジ
ェクトが存在している。これらのオブジェクトは、ＣＧ
モデル上に実写画像テクスチャを貼り付けた形態で表示
される。人物などのオブジェクトは選択されると、ビデ
オ動画像表示に切り替わり、１対１通信でテレビ電話的
な対話が可能になる。また、３次元ＣＧモデルに積極的
に実写画像のテクスチャを貼り込んで、実物のような３
次元ＣＧモデルを作成していく例として、キャノン株式
会社の仮想空間構築ツールがある（山本裕之、内山晋
二、大島登志一、田村秀行「リアリティの高い仮想空間
構築のための実写テクスチャの活用（１）」情報処理学
会第５２回全国大会、１９９６．３）がある。カメラな
どで撮影した実写画像からテクスチャデータを切り出し
て、仮想建築物などの各ＣＧモデルに簡便に貼り込んで
いくことのできるシステムである。

【０００５】４．イメージベースレンダリングここ数年、ＳＩＧＧＲＡＰＨで大いに注目されているＣ
Ｇ映像技術であり、３ＤＣＧ画像の見栄えの向上を狙
って、各研究機関が様々なものを提案している。イメー
ジベースレンダリング技術の初期のものは、アップルコ
ンピュータ社のＱｕｉｃｋＴｉｍｅＶＲやノースカロ
ライナ大学のＰｌｅｎｏｐｔｉｃＭｏｄｅｌｉｎｇな
ど、複数枚の写真から円筒状のパノラマ画像を得る方法
であった。昨年（１９９６年）からは、異なる視点から
見た複数の実写画像から画像中の物体の３次元構造を抽
出し、アニメーションを生成する技術が出てきている。
この分野では、「ＳｈａｐｅｆｒｏｍＰｈｏｔｏｇ
ｒａｐｈ」といったディジタル画像処理系の手法と、マ
ッピングやモーフィングなどＣＧの手法などを巧みに組
み合わせて毎年新技術が構築され、注目されている。カ
リフォルニア大学バークレー校では、元になる複数の画
像から、スムーズに視点移動する動画の作成手法を発表
している。ウィスコンシン大学マディソン校では、ビュ
ー・モーフィングという新しいタイプのモーフィングが
提案されている。国内では、東京大学、筑波大学、キャ
ノン株式会社などでもイメージベースレンダリングの研
究が行われている。株式会社日立製作所のＴｏｕｒｉ
ｎｔｏｔｈｅＰｉｃｔｕｒｅでは、たった１枚の実
写画像を加工することで、それから表現される仮想空間
に入り込んで行くことができる。

【０００６】５．ＡｐｐｌｅＣｏｍｐｕｔｅｒ社のＱ
ｕｉｃｋＴｉｍｅＭｅｄｉａＬａｙｅｒＡｐｐｌｅＣｏｍｐｕｔｅｒ社は、１９９６年から、
ＱｕｉｃｋＴｉｍｅのビデオと圧縮機能、ＱｕｉｃｋＴ
ｉｍｅＶＲの仮想現実風ムービー、ＱｕｉｃｋＤｒａ
ｗ３Ｄの３次元機能、この３つを統合したＱｕｉｃｋ
ＴｉｍｅＭｅｄｉａＬａｙｅｒ（ＱＴＭＬ）という
構想を掲げ、開発を続けてきた。ＱｕｉｃｋＴｉｍｅ側
ではムービーに３次元のオブジェクトを取り込み、Ｑｕ
ｉｃｋＤｒａｗ３Ｄ側ではビデオデータをテクスチャ
に使ったり、テクスチャ・データの圧縮にＱｕｉｃｋＴ
ｉｍｅのＪＰＥＧ圧縮機能を利用できるようになる。Ｑ
ｕｉｃｋＴｉｍｅＶＲでもビデオと３次元オブジェク
トをＶＲムービーに取り込むことで、今までにない表現
が可能になる。ＱｕｉｃｋＴｉｍｅＶＲは、周囲３６
０°を見渡せるパノラマ映像を作り上げ、それを簡単な
操作で見せることのできる技術である。いくつかのフレ
ームだけを用意して、それらの中間にあるフレームは、
リアルタイムで計算して作り出すことができる。

【０００７】６．ＲｅａｌＶＲＱｕｉｃｋＴｉｍｅＶＲの開発メンバの１人であった
ＥｒｉｃＣｈｅｎが設立したＲｅａｌＳｐａｃｅとい
う会社では、ＲｅａｌＶＲというＶＲＭＬ２．０の３Ｄ
オブジェクト、グラフィックス、ビデオ、オーディオと
パノラマのビュー機能を組み合わせるバーチャル・リア
リティ技術を開発した。Ｃｈｅｎは、パノラマ式の背景
画像やイメージベースのオブジェクトをＶＲＭＬの拡張
機能として扱えるように、ＩｍａｇｅＷｏｒｌｄｓと
いう仕様を提案している。

【０００８】７．イメージベースモデラ写真画像をベースに、３次元モデルを自動的に作成する
ソフトが９６年末から相次いで発売され始めた。写真を
ディジタルデータにしたものを複数アングル用意する。
画像データを読み込み、被写体の特徴点を画面上で何点
かマークする。後は、ソフトがデータを自動解析して、
３次元モデルを作成してくれる。もっとも、自動解析と
はいっても結構手作業が必要となる。但し、３次元ＣＡ
Ｄや３次元ＣＧソフトのようにゼロからモデルを作成す
るのとは違い、全体の形状を直接参照できるため、モデ
リング技術はさほど必要とされない。３次元仮想空間の
実写テクスチャのモデリングを行うツールとしては、富
士通株式会社のＲｅａｌＭｏｄｅｌｅｒがその１例とし
て挙げられる。

【０００９】８．特許に見られる３次元ＣＧと実写画像
の融合方式日本国内の特許では、２次元の実写画像上に３次元モデ
ルデータを直接重ね合わせて表示を行う方式において、
２次元実写画像が持つ３次元幾何学情報を基に、３次元
モデルデータの配置の仕方を求める手法を提案している
ものが多い。以下に、その例を示す。（１）特開平５−１７４１２９では、３次元ＣＧモデル
データ、背景画像データ、中間景画像データの３種類の
データを合成することで、３次元ＣＧモデルを実写画像
を背景とした画像表示上に重ね合わせて取り込む装置が
示されている。背景画像は、ユーザが注目する対象物で
ある３次元ＣＧモデルをプラネタリウムのように覆い込
むように配置された半球の内面上に、写し込まれるよう
に作成される。例えば、撮影者の周囲３６０°の視界を
パノラマ画像として背景画像を撮影したものを半球内面
に投影する。中間景画像は、遠方の背景画像と３次元Ｃ
Ｇモデルとの間に存在する対象の景観画像である。この
中間景画像も上記半球内面上に重ね塗りをするように、
表示される。本発明のモデリング装置は、３次元ＣＧモ
デラ、背景ビデオ記憶装置、中間景ビデオ記憶装置の３
種類の出力を制御装置において組み合わせ、ディスプレ
イモニタに３次元仮想空間の出力画像を表示するもので
ある。（２）特開平８−１５３２１３では、３次元ＣＧモデル
を実写画像を背景として合成するときに、３次元ＣＧモ
デルと実写画像中の被写体オブジェクトの奥行きの値を
比較し、前後関係を判定することで、３次元ＣＧモデル
のどの部分が実写背景画像に隠されるかを判断して合成
を行っている。本発明では、２次元の実写動画像に、動
きを伴う３次元ＣＧモデルを合成して、立体感、現実感
のある動画像を作成することを目的としている。コマン
ド入力手段により、使用するＣＧモデルの選択と、選択
したＣＧモデルの描画すべき３次元位置と向きの指定を
行い、実写画像の視点位置を視点情報とその実写画像に
写された物体の３次元情報から、そのＣＧモデルのどの
部分がみて、どの部分が隠れるかを算出する。そして、
見える部分のみをその実写画像に合成する。

【００１０】図３０の（Ａ）は、例えば、上記（１）や
（２）の特許に示された従来の３次元仮想空間表示装置
の構成であり、（Ｂ）は、「３．ＣＧによる３次元仮想
空間への実写画像テクスチャの取り込み」で説明したシ
ステムの構成である。

【００１１】次に、図３０の（Ａ）の構成例の動作につ
いて説明する。現在の画像表示手段では、ビットマップ
画面の各画素に相当するデータをフレームメモリなどの
記憶手段に格納して表示を行う。（Ａ）の構成例では、
実写画像は、ほとんどそのまま２次元の画像データとし
て、そのままフレームメモリにコピーされ、表示される
べき３次元モデルデータがその上にオーバーラップして
コピーされる。これから、その仕組みを各手段によって
示すと、以下のようになる。実写画像情報記憶手段１０
０より得られる２次元の画像データと、ＣＧモデル生成
手段２００により生成されたＣＧモデルから投影される
２次元の画像データが画像加工合成手段３００に送り込
まれ、適宜必要な部分が抽出される。その抽出された２
次元の画像データがフレームメモリなどを持つ画像表示
手段６００に送り込まれ、ビットマップディスプレイ等
に表示される。ユーザは、マウスやジョイスティックな
どの操作により、ユーザ入力手段４００にユーザの視点
位置の移動を指示させることで、それらの情報を制御手
段５００に送り込む。制御手段５００は、その視点位置
などの情報に基づいて、ＣＧモデルや実写画像をどのよ
うに配置させるかという処理に必要な制御情報を画像加
工合成手段３００に送り込む。

【００１２】次に、図３０（Ｂ）の構成例の動作につい
て説明する。図３０（Ａ）と異なり、ベースとなってい
る装置構成は、現在の一般的な３次元ＣＧ表示装置と全
く同じものである。実写画像は、３次元ＣＧモデルのテ
クスチャデータとして取り込まれるために、実写画像情
報記憶手段１００からの実写画像データは、テクスチャ
メモリを備えるＣＧモデル生成手段２００に直接送り込
まれる。次に、ＣＧモデル生成手段２００からＣＧモデ
ルの表示データが画像加工合成手段３００に送り込ま
れ、レンダリング処理を経て、２次元の画像データとし
て生成され、画像表示手段６００に送られて表示がなさ
れる。ユーザは、マウスやジョイスティックなどの操作
により、ユーザ入力手段４００にユーザの視点位置の移
動を指示させることで、それらの情報を制御手段５００
に送り込む。制御手段５００は、その視点位置などの情
報に基づいて、実写テクスチャ画像を含んだＣＧモデル
をどのように配置させるかという処理に必要な制御情報
を画像加工合成手段３００に送り込む。

【００１３】

【発明が解決しようとする課題】従来の３次元仮想空間
表示装置は、主に３次元ＣＧで構築されており、ユーザ
が自由に仮想空間内をウォークスルーできたが、精緻な
仮想空間を３次元ＣＧのコンテンツのみで構築する場合
の開発コストが大きく、コンテンツの画像品質が実写画
像と比較するとリアリティがないという問題点があっ
た。

【００１４】そこで、これらの問題点を解決するべく、
３次元ＣＧで構築された仮想空間に実写映像を取り込む
ことが従来の技術にて述べたように、様々に考えられて
いるが、現状のシステムでは以下のような課題があっ
た。（１）３次元仮想空間を構築する実写画像をまず２次元
の画面の背景として構成し、その上に３次元のＣＧモデ
ルを配置するシステムでは、両者を違和感なく融合する
ために、２次元実写画像の各部分を編集し合成するが、
実写画像に写っているオブジェクトの位置を把握するた
めに、その情報の入力のコストが大きく、実写画像の編
集合成の処理コストも大きかった。（２）３次元仮想空間内にＣＧモデルとして、実写画像
をテクスチャとして貼り付けた物体を配置させるシステ
ムでは、固定的に実写画像物体を配置させることが多
く、多様な視点位置に対する歪みの解消ができていなか
った。（３）（２）に対する対処として、ユーザの視線の方向
に対して常に正対するように、回転する実写画像テクス
チャを貼り付けたビルボードタイプの物体を設定できる
システムもあるが、固定した実写画像テクスチャ物体だ
けとの組み合わせでは、固定した実写画像に近づいた場
合の歪みが目立ち、逆に、不自然な３次元仮想空間の表
示となっていた。（４）３次元仮想空間内にＣＧモデルとして、実写画像
をテクスチャとして貼り付けた物体を配置させるシステ
ムでは、遠景として用意したはずの実写画像にユーザが
接近しすぎて、実写画像の歪みが大きくなることがあっ
た。（５）３次元仮想空間内にＣＧモデルとして、実写画像
をテクスチャとして貼り付けた物体を配置させるシステ
ムでは、せいぜい、近景と遠景の区別のみを行い、中間
景として視野に入る物体の実写画像がどちらかに属する
ために、最終的に得られる表示画像の各距離別物体の構
成が不自然であった。（６）従来のＣＧモデルを主とした３次元仮想空間の表
示処理では、ユーザの視野からはずれて表示が不要にな
った物体についてまで、表示処理プログラムの上位層に
おいて処理を暗黙に行い、物体の処理を行わないように
するクリッピングの処理をハードウェアやグラフィック
ライブラリなどの低レベルな処理層で行っていたため、
不要な処理コストが存在した。（７）従来の実写画像テクスチャを貼り付けた物体を配
置した３次元仮想空間システムでは、各実写画像の位置
によって、透明テクスチャマッピングの処理を区別する
ことはなかったため、最終的に得られる表示画像を構成
するのに使用される各実写画像テクスチャの重ね合わせ
の設定が困難であった。（８）複雑な形状の物体の表示をビルボードタイプの実
写画像テクスチャにて表現することはできず、ユーザの
視点位置に応じて、実際に観察した実写画像に近い画像
の表示を行うために、簡単な設定により自動的に実写画
像テクスチャの切り替えを行う仕組みはなかった。（９）実写画像テクスチャにより表現された仮想的な物
体が変化する場合に、対応した実写画像テクスチャの変
更を簡単な設定により実現するための仕組みはなかっ
た。（１０）従来、固定的な遠景テクスチャを貼り付けた物
体を配置する方式として、円筒や正多角柱状のものしか
なかったので、３６０°周囲の実写画像データを用意す
る必要があり、一般的な背景描写に対応したものしかな
かった。（１１）（１０）において、固定的な遠景テクスチャを
貼り付けた物体を配置する場合でも、完全な円筒状の処
理を行う場合は処理コストが大きいため、正多角柱状の
処理で代用することが多い。正多角柱の各面の継ぎ目で
は、画像が歪む問題があった。（１２）（１１）において、固定的な遠景テクスチャを
正多角柱状の処理を行う場合、多数の平面物体に相当す
るポリゴンを作り表示を行うため、正多角柱を円筒に近
づけようとすればするほど、表示処理のコストが増大し
ていた。（１３）従来のパノラマ背景画像を利用する表示方式で
は、部分的に区切られる空間が存在していても、１つの
パノラマ背景画像で部分的な空間も込みで表示させるこ
としかできなかったので、部屋の内外のように複数の空
間に区切れられた情景をリアルに表現できなかった。

【００１５】この発明は、上記のような問題点を解決す
るためになされたもので、写真撮影のような容易な手段
による実写画像コンテンツを利用することで、３次元仮
想空間表示コンテンツの作成を容易にし、３次元ＣＧモ
デルだけでは表現するのが困難なリアリティのある表示
画像を得ることを目的とする。

【００１６】

【課題を解決するための手段】この発明の３次元仮想空
間表示装置は、以下の要素を有することを特徴とする。（ａ）２次元の実写画像の情報を記憶する実写画像情報
記憶手段、（ｂ）３次元仮想空間内の少なくとも位置と
視点と視線方向のいずれかを入力する入力手段、（ｃ）
上記入力手段により入力された少なくとも位置と視点と
視線方向とのいずれかに適合する２次元の実写画像情報
を上記実写画像情報記憶手段より取得するとともに、取
得した２次元の実写画像情報を平面オブジェクトにテク
スチャマッピングを施したテクスチャオブジェクトとし
て配置するためのテクスチャオブジェクト情報を生成す
るテクスチャオブジェクト生成手段、（ｄ）上記テクス
チャオブジェクト生成手段により生成されたテクスチャ
オブジェクト情報を用いて上記テクスチャオブジェクト
を３次元仮想空間に表示するＣＧモデル情報を生成する
ＣＧモデル生成手段、（ｅ）上記ＣＧモデル生成手段に
より生成されたＣＧモデル情報に基づいて２次元画面上
の表示情報を生成するレンダリング処理を行う画像加工
合成手段、（ｆ）上記画像加工合成手段により生成され
た２次元画面上の表示情報に基づいて３次元仮想空間を
表示する画像表示手段。

【００１７】また、上記入力手段は、位置と視点と視線
方向とを入力し、上記テクスチャオブジェクト生成手段
は、上記テクスチャオブジェクトの設定情報を、上記テ
クスチャオブジェクトの３次元仮想空間内に配置される
位置により少なくとも近景，中間景，遠景のタイプ毎に
記憶するテクスチャオブジェクト設定情報記憶手段と、
上記入力手段により入力された少なくとも位置と視点と
視線方向のいずれかに基づいて上記テクスチャオブジェ
クト設定情報記憶手段よりテクスチャオブジェクトの設
定情報を取得してテクスチャオブジェクトを３次元仮想
空間内に配置する位置を算出するテクスチャオブジェク
ト配置位置算出手段と、上記テクスチャオブジェクト配
置位置算出手段により算出された配置位置に基づいてテ
クスチャオブジェクトのタイプを決定し、表示対象とな
るテクスチャオブジェクトを上記テクスチャオブジェク
ト設定情報記憶手段より選択する表示テクスチャオブジ
ェクト選択手段と、上記テクスチャオブジェクト配置位
置算出手段により算出された配置位置からテクスチャオ
ブジェクトにマッピングを行う２次元の実写画像情報を
上記実写画像情報記憶手段より選択するテクスチャ画像
情報選択手段と、上記表示テクスチャオブジェクト選択
手段により選択されたテクスチャオブジェクトと、上記
テクスチャ画像情報選択手段により選択された実写画像
情報とにより表示するテクスチャオブジェクトのＣＧモ
デル情報を生成するテクスチャオブジェクトＣＧモデル
生成手段とを備えることを特徴とする。

【００１８】また、上記テクスチャオブジェクト生成手
段は、上記入力手段により入力された位置と視点と視線
方向とに基づいて視野を算出し、上記表示テクスチャオ
ブジェクト選択手段に上記算出した視野を通知するプリ
クリッピング処理用視野ボリューム算出手段を備えるこ
とを特徴とする。

【００１９】また、上記テクスチャオブジェクト設定記
憶手段は、上記テクスチャオブジェクトの設定情報とし
て、テクスチャオブジェクトに２次元の実写画像をマッ
ピングしたオブジェクトの背後に表示される他のオブジ
ェクトを見ることができるように、透明領域の設定情報
を記憶する透明領域設定記憶手段を備えることを特徴と
する。

【００２０】また、上記テクスチャオブジェクト設定記
憶手段は、上記テクスチャオブジェクトの設定情報とし
て、上記テクスチャオブジェクトのタイプに応じてテク
スチャオブジェクトが少なくとも移動及び変形のいずれ
かの運動を行うことを示す運動パターンを記憶するテク
スチャオブジェクト運動型設定記憶手段を備えることを
特徴とする。

【００２１】また、上記テクスチャオブジェクト設定記
憶手段は、位置、視点、視線方向に応じて上記テクスチ
ャオブジェクトにマッピングする２次元の実写画像を変
更するための情報を記憶するテクスチャオブジェクト画
像変更設定記憶手段を備えることを特徴とする。

【００２２】また、上記３次元仮想空間表示装置は、更
に、上記入力手段より入力された位置と視点と視線方向
とにより３次元仮想空間に表示する２次元の実写画像を
変更するためのイベント情報を生成する制御手段を備
え、上記テクスチャオブジェクト画像変更設定手段は、
上記制御手段により生成されたイベント情報に基づい
て、上記テクスチャオブジェクトにマッピングする２次
元の実写画像を動的に切り替える処理を行うための情報
を記憶することを特徴とする。

【００２３】また、上記テクスチャオブジェクト設定記
憶手段は、上記テクスチャオブジェクトのタイプ毎にテ
クスチャオブジェクトが移動可能か否かを設定する情報
を記憶するテクスチャオブジェクト配置型設定記憶手段
を備えることを特徴とする。

【００２４】また、上記テクスチャオブジェクト設定記
憶手段は、上記テクスチャオブジェクトのタイプが遠景
用であるテクスチャオブジェクトに対して、テクスチャ
オブジェクトの形状を複数の任意の形状に設定する情報
を記憶する固定遠景配置型設定記憶手段を備えることを
特徴とする。

【００２５】また、上記テクスチャオブジェクト設定記
憶手段は、３次元仮想空間を複数の領域に分割し、分割
した領域を示す範囲情報を設定するとともに、上記範囲
情報により示される領域に表示するテクスチャオブジェ
クトを少なくとも近景，中間景，遠景のいずれかのタイ
プ別に設定する遠景変更領域配置型設定記憶手段を備え
ることを特徴とする。

【００２６】また、上記テクスチャオブジェクト設定記
憶手段は、テクスチャオブジェクトにマッピングする実
写映像に動画像を用いる場合、動画像のフレームに対応
させて動画像の撮影時の位置及び視点を示す情報を設定
する映像撮影視点設定記憶手段を備えることを特徴とす
る。

【００２７】また、上記テクスチャオブジェクト配置位
置算出手段は、少なくとも位置、視点、視線方向のいず
れかの変化に対応させて遠景用のテクスチャオブジェク
トの配置位置及び形状を算出する移動遠景テクスチャオ
ブジェクト配置位置算出手段を備えることを特徴とす
る。

【００２８】また、上記テクスチャオブジェクト配置位
置算出手段は、少なくとも位置、視点、視線方向のいず
れかの変化に対応させて中間景用のテクスチャオブジェ
クトの配置位置及び形状を算出する移動中間景テクスチ
ャオブジェクト配置位置算出手段を備えることを特徴と
する。

【００２９】また、上記テクスチャオブジェクト配置位
置算出手段は、テクスチャオブジェクトが少なくともユ
ーザの位置及び視線方向のいずれかに対して直交するよ
うに回転するビルボード型のテクスチャオブジェクトに
対応するように、３次元仮想空間内に配置するテクスチ
ャオブジェクトの位置及び形状を算出するビルボードテ
クスチャオブジェクト配置位置算出手段を備えることを
特徴とする。

【００３０】また、上記テクスチャオブジェクト配置位
置算出手段は、閉じた空間の内部を上記空間の外側から
のぞき込む室内ピーピングビューのために、上記空間の
内部を表示するテクスチャオブジェクトを、上記閉じた
空間の外側のユーザの移動可能な領域の中央付近の所定
の位置を円の中心点として上記中心点から上記閉じた空
間までの距離を円の半径とする所定の円の円周上を移動
させるとともに、上記テクスチャオブジェクトが、少な
くともユーザの位置からの方向及び視線方向のいずれか
に対して直交するようにテクスチャオブジェクトの位置
及び形状を算出する室内型ピーピングビューテクスチャ
オブジェクト配置位置算出手段を備えることを特徴とす
る。

【００３１】また、上記テクスチャオブジェクト配置位
置算出手段は、閉じた空間の内部から上記空間の外側を
眺める室外ピーピングビューのために、上記空間の外部
を表示するテクスチャオブジェクトを、上記閉じた空間
の内側のユーザの移動可能な領域の中央付近の所定の位
置を円の中心点として上記中心点から上記空間を外側と
隔てる境界までの距離を円の半径とする所定の円の円周
上を移動させるとともに、少なくともユーザの位置から
の方向及び視線方向のいずれかに対して直交するように
テクスチャオブジェクトの位置及び形状を算出する室外
型ピーピングビューテクスチャオブジェクト配置位置算
出手段を備えることを特徴とする。

【００３２】

【発明の実施の形態】実施の形態１．図１，図２は、こ
の発明の表示装置の各機能手段の構成を示すブロック構
成図である。図１において、１００はカメラ撮影、ビデ
オカメラ撮影、写真のスキャナ取り込みなどで撮影した
２次元の実写画像（静止画像及び動画像）の情報（ｇｉ
ｆ，ｊｐｅｇ，ｒｇｂ，ｍｐｅｇ，ｍｏｖ，ａｖｉなど
のフォーマットの画像ファイル）をハードディスクなど
に記憶しておく実写画像情報記憶手段。７００は実写画
像情報記憶手段１００より得られた２次元の実写画像情
報を３次元仮想空間内に平面オブジェクト（以降、テク
スチャオブジェクトと称する。又は、平板オブジェクト
と称することもある）として配置するための情報（テク
スチャオブジェクトの位置、形状、動作の定義など）を
生成するテクスチャオブジェクト生成手段。２００は３
次元仮想空間を構成する３次元コンピュータグラフィッ
クス（以降、ＣＧと称する）によるモデルの情報（３次
元仮想空間内の各立体を構成するポリゴンの幾何学情
報）をテクスチャオブジェクト生成手段７００から得ら
れるテクスチャオブジェクト情報（テクスチャオブジェ
クト自体の構成ポリゴンやテクスチャマッピングに関す
る情報）を含めて生成するＣＧモデル生成手段。３００
はＣＧモデル生成手段２００からのＣＧモデル情報を元
に２次元画面上の表示情報を生成するレンダリング処理
を行う画像加工合成手段（実際には、コンピュータ上の
ソフトウェアとして、ＯｐｅｎＧＬやＤｉｒｅｃｔＸ
３Ｄなどの汎用的なグラフィックライブラリを利用して
構成されることが多い）。６００は画像加工合成手段３
００から得られた２次元画面の画像情報をフレームメモ
リなどに与え、ディスプレイ処理用ボードなどのハード
ウェアに接続されたビットマップディスプレイ、スクリ
ーンなどの出力装置に、仮想空間の表示を行う画像表示
手段。４００はユーザがジョイスティック、キーボー
ド、マウスなどの入力装置により３次元仮想空間内のユ
ーザの位置、視点、視線方向などの情報を入力するユー
ザ入力手段。５００はユーザ入力手段４００から得られ
たユーザの位置、視点、視線方向などの情報から仮想空
間の表示画像の加工合成を行うための制御情報を生成す
る制御手段である。

【００３３】図２は、この発明の表示装置のテクスチャ
オブジェクト生成手段７００の各機能手段の構成を示す
ブロック構成図である。７１０はテクスチャオブジェク
トの設定情報を記憶しておくテクスチャオブジェクト設
定情報記憶手段。７５０はユーザの位置、視点、視線方
向などの情報とテクスチャオブジェクトの設定情報か
ら、テクスチャオブジェクトを３次元仮想空間内に配置
する位置を算出するテクスチャオブジェクト配置位置算
出手段。７２０はテクスチャオブジェクト配置位置算出
手段７５０により求められたテクスチャオブジェクトの
位置情報から表示を行うべきテクスチャオブジェクトを
選択する表示テクスチャオブジェクト選択手段。７３０
は同様にテクスチャオブジェクトの位置情報から各テク
スチャオブジェクトにマッピングを行うテクスチャ画像
情報を選択するテクスチャ画像情報選択手段。７４０は
表示すべきテクスチャオブジェクトのＣＧモデル情報を
生成するテクスチャオブジェクトＣＧモデル生成手段で
ある。

【００３４】次に、図３に基づき動作について説明す
る。まず、表示装置システムの処理が開始されると、表
示処理が中断、停止されない限り、繰り返しディスプレ
イの表示画面の更新を行う処理ループに入る（１０１
０）。表示処理の中断などは、ユーザの入力によりユー
ザ入力手段４００から指令情報が制御手段５００に送ら
れ、表示処理を継続するかどうか制御手段５００が判断
する。次に、ユーザから、仮想空間内のユーザの位置、
視点、視線方向に関する情報がユーザ入力手段４００を
経由して入力される（１０２０）。次に、テクスチャオ
ブジェクト生成手段７００において、ユーザの位置、視
点、視線方向に適合したテクスチャオブジェクトをテク
スチャオブジェクト設定情報記憶手段７１０より選択
（表示テクスチャオブジェクト選択手段７２０）し、形
状、位置を算出（テクスチャオブジェクト配置位置算出
手段７５０）し決定する（１０３０）。このとき、テク
スチャオブジェクトの各タイプ毎の（ここでいうタイプ
とは、遠景、中間景、近景、ピーピングビュー等のこと
である）事前に設定された情報を参照する（１０９
０）。この情報が蓄積されているのが、テクスチャオブ
ジェクト設定情報記憶手段７１０である。同様に、テク
スチャオブジェクト生成手段７００（テクスチャ画像情
報選択手段７３０）において、ユーザの位置、視点、視
線方向から表示を行うべきテクスチャ画像の選択を行う
（１０４０）。このとき、実写画像情報記憶手段１００
に蓄積されたテクスチャ実写画像情報が参照される（１
１００）。次に、テクスチャオブジェクト生成手段７０
０（テクスチャオブジェクトＣＧモデル生成手段７４
０）において、テクスチャオブジェクトのＣＧモデルの
表示用の情報を、また、ＣＧモデル生成手段２００にお
いて、テクスチャオブジェクト以外の各表示対象オブジ
ェクトのＣＧモデルの表示用の情報を生成する（１０５
０）。これらＣＧモデルの表示用の情報を元に、表示画
面のレンダリング処理を画像加工合成手段３００におい
て行う（１０６０）。次に、画像表示手段６００におい
て、ユーザの視野に該当する３次元仮想空間の表示をデ
ィスプレイなどに対して行う（１０７０）。

【００３５】以上のように、３次元仮想空間を構築する
実写画像を、まず２次元の画面の背景として構成し、そ
の上に３次元のＣＧモデルを配置するシステムとは異な
り、背景実写画像を３次元仮想空間内のテクスチャマッ
ピングを施したオブジェクトとして配置し、ＣＧモデル
のレンダリング表示画面を生成するようにしているの
で、２次元実写画像の各部分を編集し合成する処理を省
略することができる。また、固定的に実写画像テクスチ
ャオブジェクトを配置させるだけではなく、ユーザの位
置、視点、視線方向を考慮して、実写画像テクスチャオ
ブジェクトを動的に配置させることで、多様な視点位置
に対する表示画面内の背景画像の歪みの解消ができる。

【００３６】以上のように、この実施の形態１では、２
次元の実写画像（静止画像及び動画像）の情報を記憶し
ておく実写画像情報記憶手段１００と、実写画像情報記
憶手段１００より得られた２次元の実写画像情報を３次
元仮想空間内に平面オブジェクトとして配置するための
情報を生成するテクスチャオブジェクト生成手段７００
と、３次元仮想空間を構成する３次元コンピュータグラ
フィックスによるモデルの情報をテクスチャオブジェク
ト生成手段７００から得られるテクスチャオブジェクト
情報を含めて生成するＣＧモデル生成手段２００と、Ｃ
Ｇモデル生成手段２００からのＣＧモデル情報を元に２
次元画面上の表示情報を生成するレンダリング処理を行
う画像加工合成手段３００と、画像加工合成手段３００
から得られた２次元画面の画像情報をフレームメモリな
どに与え、ビットマップディスプレイ、スクリーンなど
の出力装置に、仮想空間の表示を行う画像表示手段６０
０と、ユーザがジョイスティック、キーボード、マウス
などの入力装置により３次元仮想空間内のユーザの位
置、視点、視線方向などの情報を入力するユーザ入力手
段４００と、ユーザ入力手段４００から得られたユーザ
の位置、視点、視線方向などの情報から仮想空間の表示
画像の加工合成を行うための制御情報を生成する制御手
段５００とを備え、２次元の実写画像（静止画像及び動
画像）を３次元ＣＧの平板オブジェクト上にテクスチャ
として貼り込み、３次元仮想空間内に平面オブジェクト
として配置することで、３次元仮想空間内に３次元ＣＧ
のモデルよりもリアリティのある背景や物体の映像をユ
ーザの視野に表示させることを特徴とする３次元仮想空
間表示装置について説明した。

【００３７】また、テクスチャオブジェクト生成手段７
００が、テクスチャオブジェクトの設定情報を記憶して
おくテクスチャオブジェクト設定情報記憶手段７１０
と、ユーザの位置、視点、視線方向などの情報とテクス
チャオブジェクトの設定情報から、テクスチャオブジェ
クトを３次元仮想空間内に配置する位置を算出するテク
スチャオブジェクト配置位置算出手段７５０と、テクス
チャオブジェクト配置位置算出手段７５０により求めら
れたテクスチャオブジェクトの位置情報から表示を行う
べきテクスチャオブジェクトを選択する表示テクスチャ
オブジェクト選択手段７２０と、同様にテクスチャオブ
ジェクトの位置情報から各テクスチャオブジェクトにマ
ッピングを行うテクスチャ画像情報を選択するテクスチ
ャ画像情報選択手段７３０と、表示すべきテクスチャオ
ブジェクトのＣＧモデル情報を生成するテクスチャオブ
ジェクトＣＧモデル生成手段７４０を備えることを特徴
とする３次元仮想空間表示装置について説明した。

【００３８】実施の形態２．以上の実施の形態１では、
最小限の手段による基本的な構成の３次元仮想空間表示
装置を実現したものであるが、次に、表示性能を改善す
るためクリッピング処理に最適化を行う場合の表示装置
の実施の形態を示す。クリッピングとは、ある領域で、
グラフィックスイメージの一部を区切ることを意味す
る。例えば、ウィンドウシステムでは、アプリケーショ
ンのウィンドウの作業領域を超えるような座標値が与え
られて描画が実行されても、描画結果は常にウィンドウ
内部に収められる。これは、ウィンドウシステムが、ウ
ィンドウを超える描画をウィンドウのサイズでクリッピ
ングしているためである。現在の一般の技術として、３
次元ＣＧシステムでは、クリッピング処理を行うレベル
として、図４に示すようなものが挙げられる。３次元仮
想空間を表示するためのデータは容易に膨大なものにな
るため、性能向上を目指すには、無駄なオブジェクトの
表示処理を可能な限り省略したい。その省略処理は、表
示空間領域レベル等の上位の実装レベルで行うほど、レ
ンダリング画素レベル等の下位のプリミティブな表示処
理量を削減することができ、性能向上に効果がある。以
上から、本表示装置でも、実写画像を貼り込むテクスチ
ャオブジェクトという特殊なオブジェクトに対しても、
その性質を考慮したクリッピング処理が実現できる。

【００３９】図２は、この発明の表示装置のテクスチャ
オブジェクト生成手段７００の各機能手段の構成を示す
ブロック構成図である。７１０はテクスチャオブジェク
トの設定情報を記憶しておくテクスチャオブジェクト設
定情報記憶手段。７５０はユーザの位置、視点、視線方
向などの情報とテクスチャオブジェクトの設定情報か
ら、テクスチャオブジェクトを３次元仮想空間内に配置
する位置を算出するテクスチャオブジェクト配置位置算
出手段。７２０はテクスチャオブジェクト配置位置算出
手段７５０により求められたテクスチャオブジェクトの
位置情報から表示を行うべきテクスチャオブジェクトを
選択する表示テクスチャオブジェクト選択手段。７３０
は同様にテクスチャオブジェクトの位置情報から各テク
スチャオブジェクトにマッピングを行うテクスチャ画像
情報を選択するテクスチャ画像情報選択手段。７４０は
表示すべきテクスチャオブジェクトのＣＧモデル情報を
生成するテクスチャオブジェクトＣＧモデル生成手段で
ある。

【００４０】次に、図３，図５に基づき動作について説
明する。まず、全体の処理のフローチャートは、実施の
形態１にて説明した図３と全く同様である。その中の１
０３０の処理の中で、図５に示すような表示を行うべき
テクスチャオブジェクトの選別処理を行う。図５におい
て、まず、ユーザが存在する視野に入るオブジェクトと
しては、遠景テクスチャオブジェクトが壁のように遮る
ため、それよりも遠方にあるものは容易に除外すること
ができる。遠景テクスチャオブジェクトの位置よりも、
ユーザの視点位置から離れたテクスチャオブジェクトを
処理対象外とする（１０３１）。次に、ユーザの視点、
視線方向から求められる表示画面へ表示される領域、つ
まり、視野ボリューム内に各テクスチャオブジェクトが
存在するかどうか幾何学計算により判定し、視野ボリュ
ームの外部にあるものを処理対象外とする（１０３
２）。実際には、視野ボリュームは、四角錐台形状のも
のが多い。プリクリッピングの処理を単純化するため、
単なる直方体として簡略計算を行う場合も多い。これら
の立体の中に各テクスチャオブジェクトが存在するかど
うかの幾何学的な計算を行う。

【００４１】そして、上記１０３２のプリクリッピング
の処理とは無関係で、通常処理である１０３３の処理が
なされる。これは、処理対象として残ったテクスチャオ
ブジェクトの表示すべき形状や位置を算出するものであ
り、ユーザの位置、視点、視線方向から求められる。こ
の処理は、表示テクスチャオブジェクト選択手段７２０
にて行われる。

【００４２】以上のように、３次元のＣＧモデルの表示
処理では、図４に示すようなレンダリング画素レベルに
おいて、表示オブジェクトが細分化されるハードウェア
よりのレベルで表示処理が不要かどうか判定するより
も、表示空間領域レベルの上位の粒度の大きなオブジェ
クトレベルでプリクリッピングの処理を行うほうが、処
理コストを削減できる。

【００４３】以上のように、この実施の形態では、テク
スチャオブジェクト生成手段７００が、ユーザの位置、
視点、視線方向などの情報から表示される３次元仮想空
間の視野ボリュームを算出し、表示テクスチャオブジェ
クト選択手段７２０にその視野ボリュームの範囲情報を
伝えるプリクリッピング処理用視野ボリューム算出手段
７６０を備えることを特徴とする３次元仮想空間表示装
置を説明した。

【００４４】実施の形態３．以上の実施の形態では、基
本的な構成の３次元仮想空間表示装置を実現したもので
あるが、次に、実写画像のテクスチャオブジェクトを空
間内に配置する観点から各テクスチャオブジェクト毎に
透明領域のマッピング処理の差別化を行う場合の表示装
置の実施の形態を示す。

【００４５】図６は、この発明の表示装置のテクスチャ
オブジェクト設定情報記憶手段７１０の各機能手段の構
成を示すブロック構成図である。７１０はテクスチャオ
ブジェクトの設定情報を記憶しておくものであるが、本
実施の形態で必要となる機能手段は、７１１の透明領域
設定記憶手段であり、各テクスチャオブジェクトの持つ
実写画像情報の各画素データのうち、背景領域にＲＧＢ
Ａのうちα値を指定して透明領域と指定するかどうかの
情報を記憶しておくものである。α値とは、透明表示し
たい領域に設定する値のことである。通常、映像データ
はＲ（レッド）とＧ（グリーン）とＢ（ブルー）の３色
で色を表すが、上記３色の他に透明表示する領域がある
場合には、４つ目の色情報としてＲＧＢＡの‘Ａ’を用
いて、その‘Ａ’に設定する値を任意の値であるα値と
する。

【００４６】一般の画像表示装置の処理技術として、固
定的な背景画像をバックに、俳優や運動物体が手前で活
動している映像を重ね合わせて、表示画像を合成するブ
ルーバック・クロマキと呼ばれるものがある。これは、
人などの映像を切り出して、他の背景画像の上に重ねて
表示を行うときに、その制御信号を生成するものであ
り、青色の背景色（ブルーバック）をキー信号に使用
し、その部分のみ別の背景映像に切り替えて表示を行
う。３次元ＣＧのプログラミング手法では、ＯｐｅｎＧ
Ｌに代表されるように、各オブジェクトの画素毎のＲＧ
ＢＡの値のうち、α値を直接操作することで、各オブジ
ェクトに透明な領域を設定することができる。本実施の
形態にて、適用したイメージ図を図７に示す。ユーザの
視野内の視線方向に存在するテクスチャオブジェクトに
ついて、最遠方に位置するテクスチャオブジェクトの背
景領域２０００だけ不透明になり、手前に位置する近景
や中間景のテクスチャオブジェクトの背景領域２１００
は透明にすることで、複数の実写画像が重ね合わされて
最終的な合成画像を得ることができる。別な方式とし
て、最遠方に位置するテクスチャオブジェクトの背景領
域までも透明にして、３次元ＣＧ表示のバックグラウン
ドカラー設定において、一様に空色などの色付けを行
い、それを最終背景とすることも可能である。更に、そ
の空色の背景に雲の３次元ＣＧモデルやテクスチャオブ
ジェクトを重ね合わせることも可能である。

【００４７】次に、図３，図８に基づき動作について説
明する。まず、全体の処理のフローチャートは、実施の
形態１にて説明した図３と全く同様である。その中の１
０３０の処理の中で、図８に示すような各テクスチャオ
ブジェクトの遠景、中間景、近景などのタイプから、背
景領域を透明、或いは、不透明にマッピングすべきかを
テクスチャオブジェクトＣＧモデル生成手段７４０にお
いて判定し、管理情報として設定する（１０３４）。

【００４８】以上のように、テクスチャオブジェクトの
タイプ別に個々に背景領域の透明マッピング処理を行え
るために、複数の実写画像の合成処理について、テクス
チャオブジェクトの実写画像中のオブジェクトの遠近情
報を考慮し、手前のオブジェクトの実写画像を浮き出た
せ、最遠方に位置すべき実写画像を最終背景として配置
させることが可能となる。

【００４９】以上のように、この実施の形態３では、テ
クスチャオブジェクト設定情報記憶手段７１０が、テク
スチャオブジェクトのテクスチャ画像情報が背後にある
オブジェクトを通して見ることができる透明領域を持つ
かどうかの設定をテクスチャオブジェクトごとに記憶し
ている透明領域設定記憶手段７１１を備え、遠景のテク
スチャオブジェクトを透明領域なしで使う一方、近景や
アバタが操作するモデルのテクスチャオブジェクトで
は、背景領域を透明領域とすることができることを特徴
とする３次元仮想空間表示装置を説明した。

【００５０】実施の形態４．上記実施の形態１，２で
は、基本的な構成の３次元仮想空間表示装置を実現し、
実施の形態３では、テクスチャオブジェクトの背景領域
の透明マッピングを管理するものを示したが、同様に実
写画像テクスチャオブジェクトを空間内に配置する観点
から、各テクスチャオブジェクトごとに配置を固定する
か、何らかの移動をさせるかについて設定を行う場合の
表示装置の実施の形態を示す。

【００５１】図６は、この発明の表示装置のテクスチャ
オブジェクト設定情報記憶手段７１０の各機能手段の構
成を示すブロック構成図である。７１０はテクスチャオ
ブジェクトの設定情報を記憶しておくものであるが、本
実施の形態４で必要となる機能手段は、まず、７１２の
テクスチャオブジェクト運動型設定記憶手段であり、各
テクスチャオブジェクトがその配置形態に合わせて、静
止しているか、何らかの移動を行うのかについての情報
を記憶しておくものである。更に、７１４のテクスチャ
オブジェクト配置型設定記憶手段であり、遠景、中間
景、近景などのユーザの視点からの距離の遠近に従っ
て、上記の運動型を相応しいものに設定する配置型の情
報を記憶しておくものである。

【００５２】テクスチャオブジェクトは、基本的に長方
形の板であり、テクスチャイメージとして撮影された実
体の実際の位置に、それらの実体が存在するかのよう
に、テクスチャオブジェクトを配置させる。これには、
遠方の背景のように固定的に配置させるものもあれば、
比較的近い場所にある建造物がその場所に存在するよう
に、ユーザの視点に対応して移動させるものもある。代
表的な運動型のテクスチャオブジェクトがどのように利
用されるかを示すイメージ図を図９（Ａ），（Ｂ）に示
す。

【００５３】本実施の形態では、以下の３レベルのテク
スチャオブジェクト群を利用する。仮想空間内では、ユ
ーザはアバタとして表示がなされ、その視点が決定され
る。（１）遠景遠景テクスチャに映される物体は、遠景テクスチャオブ
ジェクトの配置位置よりも遠方のものに限定される。背
景のパノラマ実写映像として周囲に多角柱面状に配置す
る（理想的には、円柱面に近い正多角柱面がよい）。例
えば、図９（Ａ）の２２００や図９（Ｂ）の２２１０が
遠景である。更に、少ない数の遠景テクスチャオブジェ
クトをアバタの視点位置に合わせて回転移動させること
も可能である。（２）中間景遠景テクスチャオブジェクト配置位置と近景テクスチャ
オブジェクトの配置領域に挟まれた中間領域内に存在す
る物体のみが中間景テクスチャに映される。この中間領
域内に存在する物体以外は、透明背景領域としてマッピ
ングを行うテクスチャオブジェクトを外周遠景テクスチ
ャオブジェクト位置とアバタの存在する位置の中間位置
周辺に、中間景テクスチャオブジェクトを配置する。テ
クスチャオブジェクト面は、アバタに向かって正対する
ように回転させる。更に、直方体の建築などはテクスチ
ャオブジェクトを分割して、より伸縮や回転のような複
雑な運動も可能とする。図９（Ａ），（Ｂ）には、中間
景を図示していないが、例えば、木の近景２２２０と遠
景２２００との間に電柱のテクスチャオブジェクトが存
在する場合には、電柱が中間景となる。（３）近景アバタが存在する位置の近隣の物体のみを、近景テクス
チャ上に映す。図９（Ａ）の２２２０，２２３０が近景
に当たる。この物体以外は、透明背景領域としてマッピ
ングを行うテクスチャオブジェクトを物体の存在する位
置に配置する。直方体のビルの外壁に実写テクスチャを
貼った３次元モデルのオブジェクトは、そのまま固定位
置に配置して利用する。また、ユーザの位置の方向に対
して、正対するように回転するビルボードのようなもの
も利用できる。

【００５４】次に、図３，図５（又は図８），図１０に
基づき動作について説明する。まず、全体の処理のフロ
ーチャートは、実施の形態１〜３にて説明した図３，図
５（又は図８）と全く同様である。その中の１０３３の
処理の中で、図１０に示すように、テクスチャオブジェ
クト配置型設定記憶手段７１４からの情報を元に固定型
か運動型かをテクスチャオブジェクト毎に分類し（１０
３４ａ，１０３５）、運動型のものについては、テクス
チャオブジェクト運動型設定記憶手段７１２の情報に基
づいてユーザの位置、視点、視線方向に適合した形状や
位置を算出する（１０３７）。この処理は、テクスチャ
オブジェクト配置位置算出手段７５０にて行われる。

【００５５】以上のように、テクスチャオブジェクトの
距離の遠近のタイプ別、更に、各種オブジェクトの特徴
を生かした運動の方式別に、各テクスチャオブジェクト
の管理及び表示処理を行うことにより、３次元仮想空間
に単純に２次元の実写画像の壁板が置かれているのでは
なく、実写画像中のオブジェクトが３次元仮想空間を実
際に構成しているように、３次元空間内への連続性を与
えることが可能となる。

【００５６】以上のように、この実施の形態４では、テ
クスチャオブジェクト設定情報記憶手段７１０が、テク
スチャオブジェクトが視点位置情報に応じて、移動や変
形を行う運動のパターンの設定をテクスチャオブジェク
トごとに記憶しているテクスチャオブジェクト運動型設
定記憶手段７１２を備え、テクスチャオブジェクトが常
に固定された位置や形状で配置したり、視線に常に直行
するようにある曲線上に移動させて配置したり、中心位
置は固定で視線に常に直行するように回転させて配置し
たりなどの様々な移動や変形の設定を行えることを特徴
とする３次元仮想空間表示装置を説明した。

【００５７】更に、テクスチャオブジェクト設定情報記
憶手段７１０が、テクスチャオブジェクトの配置状況と
して、固定的な配置の遠景、移動させる遠景、固定的な
中間景、移動させる中間景、固定的な配置の近景、ユー
ザの視点位置に合わせて移動させる近景などの配置タイ
プ情報をテクスチャオブジェクト毎に記憶しているテク
スチャオブジェクト配置型設定記憶手段７１４を備え、
ユーザの移動に対して立体的で自然な背景の表示を実現
できることを特徴とする３次元仮想空間表示装置を説明
した。

【００５８】実施の形態５．上記実施の形態１〜４で
は、テクスチャオブジェクトにマッピングする実写画像
を固定的に同一のものを使用する基本的な構成の３次元
仮想空間表示装置を示したが、更に、ユーザの移動に伴
ってよりリアリティのある実写画像を得ることができる
マッピングを行うテクスチャ画像を変更する場合の表示
装置の実施の形態を示す。

【００５９】図６は、この発明の表示装置のテクスチャ
オブジェクト設定情報記憶手段７１０の各機能手段の構
成を示すブロック構成図である。７１０はテクスチャオ
ブジェクトの設定情報を記憶しておくものであるが、本
実施の形態で必要となる機能手段は、７１３のテクスチ
ャ画像変更設定記憶手段であり、ユーザの位置、視点、
視線方向に対して、テクスチャオブジェクトにマッピン
グすべき画像を変更する処理についての情報を記憶して
おくものである。

【００６０】既に、実施の形態４において、ビルボード
タイプのテクスチャオブジェクトについて記したが、図
９（Ａ）の例１内の木の遠景２２００のように、どこか
ら見ても同じ画像が見えたとしても特に問題がない場合
は、確かにマッピングする画像を変更する必要はない。
しかし、より複雑な形状を持つオブジェクトに対して
は、周囲の見る方向を様々に変えた場合に、オブジェク
トがユーザの視点に合わせて回転しているようにしか見
えない。これから、実際に該当するオブジェクトが該当
地点に静止しているようにする場合は、眺める方向に対
して、適宜画像を変更する必要がある。あらゆる方角に
対して、多量の切り替えテクスチャ画像を用意するの
は、実質的に不可能なので、オブジェクトを周囲３６０
°回転させ、適当にサンプリングして撮影した複数のテ
クスチャ画像を用意することになる。これら用意された
テクスチャ画像を眺める方角に合わせて適度に切り替え
る。これをスイッチングビルボードタイプと称する（図
１１）。

【００６１】また、テクスチャ画像切り替えの別な利用
方法として、図１２に示すように、あらかじめ見える複
数の撮影画像を用意して、ユーザの位置に従って変更
し、あたかも３次元のオブジェクトが存在しているかの
ような画像を得ることも可能である。この図１２の例
は、ユーザが特定のテクスチャオブジェクトに近づくに
従って、表示されるテクスチャ画像が切り替えられると
いうものである。

【００６２】次に、図３，図１３に基づき動作について
説明する。まず、全体の処理のフローチャートは、実施
の形態１〜４にて説明した図３と全く同様である。その
中の１０４０の処理の中で、図１３に示すように、テク
スチャ画像変更設定記憶手段７１３からの情報を元に、
テクスチャ画像を切り替えるタイプのテクスチャオブジ
ェクト毎に分類し（１０４１，１０４２）、切り替えな
いタイプのものは、デフォルトのテクスチャ画像を選択
し（１０４３）、スイッチングビルボードタイプのもの
は、視線方向によってテクスチャ画像を選択し（１０４
４）、また、ユーザからの距離に応じて変更するもの
（１０４５）など様々な選択手法に分かれて処理を行
う。この処理は、テクスチャ画像情報選択手段７３０に
て行われる。

【００６３】以上のように、テクスチャオブジェクトに
より表示された複雑なオブジェクトの周辺を移動した場
合や、奥行きのある情景に近づいたり離れたりした場合
などに、ユーザの位置、視点、視線方向などに応じて、
細やかにテクスチャ画像を切り替えることで、固定した
テクスチャ画像だけでは得られないリアリティの向上を
得ることができる。

【００６４】以上のように、この実施の形態５では、テ
クスチャオブジェクト設定情報記憶手段７１０が、視点
位置情報に応じて、テクスチャオブジェクト上のテクス
チャ画像を変更する処理に関する情報の設定をテクスチ
ャオブジェクト毎に記憶しているテクスチャオブジェク
ト画像変更設定記憶手段７１３を備え、ユーザの視点位
置に応じてテクスチャ画像として表示されている物体の
画像を変更し、実際にその立体的な物体が存在するかの
ような効果をもたらすことのできることを特徴とする３
次元仮想空間表示装置を説明した。

【００６５】実施の形態６．上記実施の形態５では、ユ
ーザの移動に伴ってよりリアリティのある実写画像を得
ることができるマッピングを行うテクスチャ画像を変更
する場合の表示装置の実施の形態を示したが、更に、リ
アリティを向上させるために、テクスチャ画像を切り替
えて動的な３次元仮想世界を表現することのできる表示
装置の実施の形態を示す。

【００６６】テクスチャ画像を動的に切り替える処理を
発生させる元になるのは、ユーザが移動して特定の場所
に到着した場合や、３次元仮想世界内の運動オブジェク
ト同士が衝突した場合などのイベントである。その具体
的なイメージを、図１４（Ａ），（Ｂ）に示す。

【００６７】図１５は、この実施の形態６の表示装置の
全体の構成例を示すブロック構成図である。前述のよう
に、ユーザの移動や、３次元仮想世界内の運動オブジェ
クトの運動の状況を把握しているのは、制御手段５００
であり、テクスチャ画像切り替えに該当するイベントが
発生すると、ここから、制御信号が発生する。この信号
が、テクスチャオブジェクト生成手段７００に伝えら
れ、更に、図１６に示すように、テクスチャ画像情報選
択手段７３０に伝えられ、必要とされるテクスチャ画像
が選択される。全く別な構成として、テクスチャ画像が
切り替えられた複数のテクスチャオブジェクトのＣＧモ
デルをあらかじめ用意しておいて、画像加工合成手段３
００の中で、制御手段５００からのイベント信号により
表示対象のテクスチャオブジェクトＣＧモデルを切り替
えるというものも考えられる。７１０はテクスチャオブ
ジェクトの設定情報を記憶しておくものであるが、本実
施の形態６で必要となる機能手段は、実施の形態５と同
様に７１３のテクスチャ画像変更設定記憶手段であり、
ユーザや運動オブジェクトなどの各種イベントに対し
て、テクスチャオブジェクトにマッピングすべき画像を
変更する処理についての情報を記憶しておくものであ
る。

【００６８】次に、図３，図１７に基づき動作について
説明する。まず、全体の処理のフローチャートは、実施
の形態１〜５にて説明した図３と全く同様である。その
中の１０４０の処理の中で、実施の形態５と同様に、図
１７に示すように、テクスチャ画像変更設定記憶手段７
１３からの情報を元に、テクスチャ画像を切り替えるタ
イプのテクスチャオブジェクト毎に分類し（１０４１，
１０４２）、各種タイプ別の選択手法に分かれて処理を
行う。この処理は、テクスチャ画像情報選択手段７３０
にて行われる。この中で、イベント対応画像切り替え型
のものについて、まず、制御手段５００からの信号を調
べ、該当するイベントが発生しているかどうか確認を行
い（１０４６）、該当イベントが発生していた場合に、
適宜必要なテクスチャ画像情報の選択を行う（１０４
７）。

【００６９】以上のように、変化のある３次元仮想空間
の表示を、何らかのイベントを元として、テクスチャ画
像の切り替えで実写の静止画や動画を表示させることが
でき、固定したテクスチャ画像だけでは得られないリア
リティの向上を得ることができる。更に、３次元ＣＧモ
デルによって、変化のある３次元仮想空間内のオブジェ
クトを表現しようとすると、そのモデルの動作プログラ
ミングの開発コストが大きく、実際の動作時の各モデル
を動かす処理コストも大きいが、それに反して、静止画
切り替えや動画表示のコストは小さく、表示性能も優れ
ている。

【００７０】以上のように、この実施の形態６では、テ
クスチャオブジェクト画像変更設定記憶手段７１３が、
特定のテクスチャオブジェクトのテクスチャ画像情報と
して、通常は、静止画、或いは、周期的な動画を貼って
おき、ユーザによる操作などの何らかのイベントが発生
したとき、新規の静止画や動画に変更して貼り付けを行
えるように設定ができることを特徴とする３次元仮想空
間表示装置を説明した。

【００７１】実施の形態７．以上の実施の形態１や４で
は、ユーザの周囲３６０°を取り囲むパノラマ背景の遠
景テクスチャオブジェクトを特定の形状のものとして扱
う場合の表示装置の実施の形態を示したが、更に、適宜
各種条件によって、パノラマ背景の形状を円柱、正多角
柱、不定多角柱、多角柱の一部などの中から最適なもの
を選択することのできる表示装置の実施の形態を示す。
図１８（Ａ）〜（Ｄ）に、パノラマ背景としての遠景テ
クスチャオブジェクトの様々な配置パターンの例を示
す。

【００７２】図６は、この発明の表示装置のテクスチャ
オブジェクト設定情報記憶手段７１０の各機能手段の構
成を示すブロック構成図である。７１０はテクスチャオ
ブジェクトの設定情報を記憶しておくものであるが、本
実施の形態７で必要となる機能手段は、７１５の固定遠
景配置型設定記憶手段であり、各遠景テクスチャオブジ
ェクトをどのような形状で配置を行うかについての情報
を記憶しておくものである。

【００７３】次に、図３，図５（又は図８），図１０に
基づき動作について説明する。まず、全体の処理のフロ
ーチャートは、実施の形態１〜６にて説明した図３，図
５（又は図８）と全く同様である。その中の１０３３の
処理の中で、図１０に示すように、テクスチャオブジェ
クト配置型設定記憶手段７１４からの情報を元に、固定
型か運動型かをテクスチャオブジェクト毎に分類するが
（１０３４ａ，１０３５）、このときに、遠景テクスチ
ャオブジェクトについて、固定遠景配置型設定記憶手段
７１５から必要な情報を得て、実際の形状や位置を算出
する（１０３６）。この処理は、テクスチャオブジェク
ト配置位置算出手段７５０にて行われる。

【００７４】以上のように、表示装置の処理コストを考
慮して、パノラマ背景用の遠景テクスチャオブジェクト
を円柱状から様々な正多角柱状まで最適なものを選択す
ることができる。更に、ユーザの周囲３６０°の状況が
必ずしも周囲で一様になっていない場合（例えば、図１
８（Ｃ）に示すように、ユーザの移動領域が限定される
場合や、図１８（Ｄ）に示すように、巨大な３次元ＣＧ
モデルに視野を部分的に遮られている場合など）に、必
要十分な形状で遠景テクスチャオブジェクトを配置させ
ることができ、不要な処理コストを抑えて、性能を向上
させることができる。

【００７５】以上のように、この実施の形態７では、テ
クスチャオブジェクト設定情報記憶手段７１０が、ユー
ザの周囲３６０°を取り囲むパノラマ背景としての遠景
のテクスチャオブジェクトの配置情報を記憶している固
定遠景配置型設定記憶手段７１５を備え、ユーザの頭上
から鉛直方向にみた２次元領域として眺めた場合、円
形、正多角形、不定多角形、多角形の部分辺など様々な
配置型を必要に応じて選択できることを特徴とする３次
元仮想空間表示装置を説明した。

【００７６】実施の形態８．以上の実施の形態１〜７で
は、１箇所のユーザの移動領域に対して、同一のユーザ
の周囲３６０°を取り囲むパノラマ背景の遠景テクスチ
ャオブジェクトを備えた表示装置を示しており、ユーザ
の移動領域の制限について特に触れていなかったが、本
実施の形態８では、３次元仮想空間が広大に広がってお
り、１つの遠景テクスチャオブジェクトに囲まれた領域
以外にもユーザが移動していくことのできる表示装置に
ついて述べる。

【００７７】ユーザを取り囲むように、背景のテクスチ
ャオブジェクトが林立する状態となり、その中をユーザ
が移動する。ユーザは、無限に広がる仮想空間内を移動
できるようにするが、大きく位置が変わる場合、移動先
の背景映像が必要になる。そこで、ユーザが移動する領
域をいくつかに区分し、その領域に対応する背景映像の
テクスチャオブジェクトをグループとして管理する必要
がある。この基本的な考えは、既にＱｕｉｃｋＴｉｍｅ
ＶＲに見られ、移動する場所毎に背景のパノラマ映像
が用意されている。本実施の形態８では、ユーザの視点
（実際には、仮想空間内ではアバタとして表示される）
が仮想空間のどこに行っても、実施の形態４で説明し
た、例えば、遠景、中間景、近景の３レベルのテクスチ
ャオブジェクト群を１セットとして利用する。仮想空間
領域を水平面上、単位空間毎に分割する。各単位空間毎
に対応するテクスチャオブジェクト群を用意する。アバ
タがこの単位空間内を移動する限り、常にその単位空間
に属するテクスチャオブジェクト群だけがレンダリング
に使用される。隣接した単位空間にアバタが移動した場
合、次の隣接単位空間のテクスチャオブジェクト群に交
替される。この単位空間を格子状領域として実現した場
合の平面イメージを、図１９に示す。単なる格子状領域
だけではなく、実際に配置される３次元ＣＧモデルや実
体の情報に依存した空間の分割を行い、最適な単位空間
の分割配置を設定することも可能である。

【００７８】図６は、この発明の表示装置のテクスチャ
オブジェクト設定情報記憶手段７１０の各機能手段の構
成を示すブロック構成図である。７１０はテクスチャオ
ブジェクトの設定情報を記憶しておくものであるが、本
実施の形態８で必要となる機能手段は、７１６の遠景変
更領域配置型設定記憶手段であり、ユーザの各単位移動
領域毎にテクスチャオブジェクト群を管理し、各単位移
動領域がどのような形状で配置されているかについての
情報を記憶しておくものである。

【００７９】次に、図３，図５（又は図８）に基づき動
作について説明する。まず、全体の処理のフローチャー
トは、実施の形態１〜７にて説明した図３，図５（又は
図８）と全く同様である。その中の１０３１の処理の中
で、直接遠景以遠のテクスチャオブジェクトを処理対象
外として除くのではなく、ユーザの各単位移動領域毎の
テクスチャオブジェクトをまとめて管理しておき、ユー
ザの位置から該当する単位移動領域のテクスチャオブジ
ェクト群を抽出できるようにする。例えば、図１９に
は、格子状の単位空間が示されている。１つ１つの単位
空間が単位移動領域であり、この単位移動領域毎に遠
景、中間景、近景用のそれぞれのテクスチャオブジェク
トを１つのテクスチャオブジェクト群として管理する。
移動前は近景であったテクスチャオブジェクトが、移動
後は中間景のテクスチャオブジェクトに変更となる場合
がある。この場合は、単位空間毎に遠景、中間景、近景
のそれぞれテクスチャオブジェクトを管理しているの
で、近景から中間景に変更になっても、中間景用のテク
スチャオブジェクトを直ちに取得することができる。こ
れから、表示に必要とされる遠景テクスチャオブジェク
トを始めとして、中間景、近景などのテクスチャオブジ
ェクトを処理対象とすることができる。この処理は、ユ
ーザ入力手段４００からのユーザの位置、視点、視線方
向などに関する情報をテクスチャオブジェクト配置位置
算出手段７５０を経由して獲得し、表示テクスチャオブ
ジェクト選択手段７２０が必要なテクスチャオブジェク
トを抽出することで行われる。

【００８０】以上のように、ユーザが移動する任意の区
分された領域毎に、表示に必要なテクスチャオブジェク
トを遠景テクスチャオブジェクトまで含めて管理するこ
とで、広大に広がる３次元仮想空間内をユーザは、どこ
まで連続して移動していっても、リアリティの高い実写
映像表示を連続的に得ることができる。また、表示に必
要なテクスチャオブジェクトを単位領域毎に最低必要な
ものだけグループとして管理することで、不要なテクス
チャオブジェクトの表示処理を事前に省くことができ、
表示性能を向上させることができる。

【００８１】以上のように、この実施の形態８では、テ
クスチャオブジェクト設定情報記憶手段７１０が、ユー
ザが移動する仮想空間を複数の領域に分割し、その領域
の分割の方法、領域の配置型に関する情報を記憶してい
る遠景変更領域配置型設定記憶手段７１６を備え、その
各領域で使用される遠景、中間景、近景などの各テクス
チャオブジェクトの組み合わせが異なり、ユーザが領域
間を移動する毎に使用されるテクスチャオブジェクトを
変更することができることを特徴とする３次元仮想空間
表示装置を説明した。

【００８２】実施の形態９．以上の実施の形態５では、
ユーザの移動に伴って、テクスチャオブジェクトにマッ
ピングする静止画像を変更する表示装置を示していた
が、更に、その静止画像より細かい切り替えが実現でき
るように、動画像のマッピングを行い、更に、ユーザの
移動とその動画像表示の同期をとって、よりリアリティ
の向上を目指した表示装置について述べる。

【００８３】図２０に、ユーザの移動に伴って、動画像
テクスチャの表示フレームを選択する例を示す。動画像
の撮影時に、撮影対象オブジェクトの前を横切るように
撮影していき、更に、カメラの位置と各フレームの対応
情報を記録しておく。表示装置の実際の稼動時に、ユー
ザの位置の方向に相当するカメラの位置に対応するフレ
ームの表示を行う。

【００８４】図６は、この発明の表示装置のテクスチャ
オブジェクト設定情報記憶手段７１０の各機能手段の構
成を示すブロック構成図である。７１０はテクスチャオ
ブジェクトの設定情報を記憶しておくものであるが、本
実施の形態９で必要となる機能手段は、ユーザの位置、
視点、視線方向に対して、テクスチャオブジェクトにマ
ッピングすべき画像を変更する処理についての情報を記
憶しておく７１３のテクスチャ画像変更設定記憶手段
と、動画像を撮影する時点のカメラの撮影位置と各動画
像フレームの対応に関する情報を記憶しておく７１７の
映像撮影視点設定記憶手段である。

【００８５】次に、図３，図２１に基づき動作について
説明する。まず、全体の処理のフローチャートは、実施
の形態１〜８にて説明した図３と全く同様である。その
中の１０４０の処理の中で、図２１に示すように、テク
スチャ画像変更設定記憶手段７１３からの情報を元に、
テクスチャ画像を切り替えるタイプのテクスチャオブジ
ェクト毎に分類し（１０４１，１０４２）、該当する動
画像情報を選択し（１０４８）、更に、ユーザの位置、
視点、視線情報から、撮影時の情報を映像撮影視点設定
記憶手段７１７を参照することで、最適な表示フレーム
画像を選択する（１０４９）。この処理は、テクスチャ
画像情報選択手段７３０にて行われる。

【００８６】以上のように、静止画像の切り替えでは、
画像情報のサンプリング数に限界があったのに対して、
ユーザの移動に伴う画像の切り替えを、動画像を同期を
とりながら表示させることで、より細やかな表示画像を
得ることができ、リアリティが向上する。更に、精細な
３次元ＣＧモデルがあたかも配置されているかのような
効果を、同質の３次元ＣＧモデルを作成しないで、カメ
ラ撮影という容易な手法により得ることができ、表示ポ
リゴン数も少ないため、表示性能も優れている。

【００８７】以上のように、この実施の形態９では、テ
クスチャオブジェクト設定情報記憶手段７１０が、動画
像テクスチャオブジェクトについて、カメラを移動しな
がら動画像撮影を行う時の撮影視点の動画の各フレーム
毎の情報を、該当テクスチャオブジェクト毎に記憶して
いる映像撮影視点設定記憶手段７１７を備え、撮影時の
カメラの撮影方向とユーザの視線方向を一致させるよう
に動画像テクスチャオブジェクトのフレームを変更さ
せ、より高度な実写画像による仮想空間を構築できるこ
とを特徴とする３次元仮想空間表示装置を説明した。

【００８８】実施の形態１０．以上の実施の形態１〜９
では、既にテクスチャオブジェクトとして、遠景、中間
景、近景などの様々な種類を持つ表示装置について述べ
てきた。特に、実施の形態７では、固定遠景テクスチャ
オブジェクトとして、多様な形状のものを用意すること
ができる表示装置を示した。本実施の形態１０では、更
に、数個の遠景テクスチャオブジェクトをユーザの位
置、視点、視線方向などに合わせて移動させて配置させ
る表示装置を示す。

【００８９】パノラマ背景のために、遠景テクスチャオ
ブジェクトを多角柱状に配置する場合、各画像の繋ぎめ
においてどうしても不連続性を生じてしまう。これを避
けるために、多角柱を円柱に近づける工夫ができるが、
多角柱の角数を増加させればさせるほど処理コストが増
大してしまう。そこで、連続的なパノラマ背景を実現す
るために、遠景テクスチャオブジェクトを仮想空間内で
回転移動させる方法について述べる。パノラマ背景とし
て、遠景テクスチャオブジェクトを１枚用意するだけで
よい。数枚のものを用意して組み合わせてもよい。この
場合、各遠景テクスチャオブジェクトは、ユーザ画面の
画角に１枚で十分に納まる程度以上のサイズのものを用
意する。このときの複数枚用意する背景画像の継ぎ目
は、あらかじめ連続するように編集しておく必要があ
る。図２２のように、遠景テクスチャオブジェクト２３
００ａ〜２３００ｄの４枚を利用する場合は、その切り
替えとして、ユーザの周囲３６０゜を４等分し、該当す
る視線の角度に相当する１枚のテクスチャオブジェクト
が選択される。

【００９０】図２３は、この発明の表示装置のテクスチ
ャオブジェクト配置位置算出手段７５０の各機能手段の
構成を示すブロック構成図である。本実施の形態１０に
必要な手段は、移動遠景テクスチャオブジェクトの配置
位置及び形状について算出を行う移動遠景テクスチャオ
ブジェクト配置位置算出手段７５１である。

【００９１】次に、図３，図５（又は図８），図１０，
図２４に基づき動作について説明する。まず、全体の処
理のフローチャートは、実施の形態１〜９にて説明した
図３，図５（又は図８）と全く同様である。図１０の中
の１０３７の処理の中で、図２４に示すように、テクス
チャオブジェクト配置型設定記憶手段７１４からの情報
を元に、テクスチャオブジェクト毎に運動型を分類し
（３７００）、移動遠景テクスチャオブジェクトについ
ては、テクスチャオブジェクト運動型設定記憶手段７１
２の情報に基づいてユーザの位置、視点、視線方向に適
合した形状や位置を算出する（３７０１，３７０２，３
７０３）。この処理は、移動遠景テクスチャオブジェク
ト配置位置算出手段７５１にて行われる。

【００９２】以上のように、多角柱状の固定遠景テクス
チャオブジェクトだけでは、解消できなかった各面の継
ぎ目毎の不連続な歪みを移動遠景テクスチャオブジェク
トにより解消でき、自然な実写画像の遠景を得ることが
できる。更に、円柱状や多角柱状の固定遠景テクスチャ
オブジェクトでは、表示ポリゴン数が多く、生成処理も
表示処理もコストが大きかったが、１枚の遠景テクスチ
ャオブジェクトにより代替されるため処理コストの削減
ができ、性能が向上する。

【００９３】以上のように、この実施の形態１０では、
テクスチャオブジェクト配置位置算出手段７５０が、遠
景を表現する２次元のテクスチャ画像を貼り付けたテク
スチャオブジェクトをユーザの位置からの方向、又は、
視線方向に直交し、更に、遠景テクスチャオブジェクト
が存在する特定の曲面上に接するように配置する位置及
び形状を算出する移動遠景テクスチャオブジェクト配置
位置算出手段７５１を備え、固定の遠景テクスチャオブ
ジェクトよりも歪みの少ない遠景画像を得られることを
特徴とする３次元仮想空間表示装置を説明した。

【００９４】実施の形態１１．以上の実施の形態１〜１
０では、既にテクスチャオブジェクトとして、遠景、中
間景、近景などの様々な種類がもつ表示装置について述
べてきた。特に、実施の形態４では、遠景、中間景、近
景などの各レベルを実現した表示装置の概要について説
明した。本実施の形態１１では、更に、数個の移動中間
景テクスチャオブジェクトをユーザの位置、視点、視線
方向などに合わせて移動させて配置させる表示装置につ
いて詳細を示す。

【００９５】各オブジェクトの３次元空間内の配置を維
持するように、テクスチャオブジェクトを移動させ、擬
似的に３次元空間の構成を描写する簡易的な手法があ
る。図２５に、中間景テクスチャオブジェクト（１枚タ
イプ）の視点追従方式（平面イメージ）を示す。図２５
において、２８００は実際に中間景となる物体であり、
２４００ａはＡの位置にユーザがいる場合の中間景のテ
クスチャオブジェクト、２４００ｂはＢの位置にユーザ
がいる場合の中間景のテクスチャオブジェクトである。
例えば、物体２８００が山のような単純な形をした物体
である場合には、１枚の中間景テクスチャオブジェクト
で表現しても違和感なく表示させることができる。ま
た、ユーザが移動しても、移動後の位置、視点、視線方
向に合わせて中間景のテクスチャオブジェクト２４００
ａを移動後の視線方向に対して垂直になるように動かし
て、テクスチャオブジェクト２４００ｂとして表示する
ことで対応することができる。しかし、中間景となる物
体の形が複雑な形をしている場合には、１枚の中間景テ
クスチャオブジェクトで表現するのは難しい。テクスチ
ャ映像を変形させずに、テクスチャオブジェクトの移動
のみでは、テクスチャ映像の撮影位置からアバタの位置
が大きく移動すると歪みが大きくなる。このため、近景
には実質的に採用できない。

【００９６】丘陵などの不定立体オブジェクト、直方体
の建築物などの単純立体オブジェクトの両者とも同様に
扱うが、単純立体オブジェクトについては、より詳細に
テクスチャオブジェクトを分割して表現し、リアリティ
を向上させることもできる。図２６（Ａ），（Ｂ）に、
中間景テクスチャオブジェクト（２枚タイプ）の視点追
従方式（平面イメージ）を示す。図２６（Ａ），（Ｂ）
ともに、１つの物体２８００を示す中間景テクスチャオ
ブジェクトを２枚のテクスチャオブジェクトに分割して
表示させている。分割されたテクスチャオブジェクトの
制御は、位置を移動させる処理タイプＡと、テクスチャ
オブジェクト自体を伸縮させる処理タイプＢがある。い
ずれも、存在すべき位置に該当する背景オブジェクトが
見えるように形状が調整される。本例では、テクスチャ
オブジェクトを２個に分割しているが、任意の個数に分
割することが可能である。基本的に、アバタに対して常
に正対するように、テクスチャオブジェクトは回転する
が、上記の処理タイプＡでは、形状の調整をテクスチャ
オブジェクトの奥行き方向の倒し込み（奥行きは側面２
８００ａであり、ユーザがＤの位置にいる場合は、中間
景テクスチャオブジェクト２６００ｂが後ろへ倒れ込む
ように表示される）で制御する。図２６（Ａ）では、Ｃ
の位置にユーザがいる場合、中間景テクスチャオブジェ
クト２６００ａにより中間景を表示しており、中間景テ
クスチャオブジェクト２６００ａは、網掛け部分で物体
２８００の側面２８００ａを示し、側面２８００ｂは、
黒塗り部分で示している。そして、Ｄの位置にユーザが
移動すると、物体２８００は、中間景テクスチャオブジ
ェクト２６００ｂと中間景テクスチャオブジェクト２６
００ｃとにより表示される。Ｄの位置にユーザがいる場
合は、物体２８００の側面２８００ａは、中間景テクス
チャオブジェクト２６００ｂの網掛け部分により示さ
れ、側面２８００ｂは、中間景テクスチャオブジェクト
２６００ｃの黒塗り部分により示される。また、図２６
（Ｂ）では、Ｃの位置にユーザがいる場合、中間景テク
スチャオブジェクト２７００ａにより中間景を表示して
おり、中間景テクスチャオブジェクト２７００ａは、網
掛け部分で物体２８００の側面２８００ａを示し、側面
２８００ｂは、黒塗り部分で示している。そして、Ｄの
位置にユーザが移動すると、物体２８００は、中間景テ
クスチャオブジェクト２７００ｂにより表示される。Ｄ
の位置にユーザがいる場合は、中間景テクスチャオブジ
ェクト２７００ｂの網掛け部分を含める左側のテクスチ
ャオブジェクトを図のように縮めるとともに、中間景テ
クスチャオブジェクト２７００ｂの黒塗りの部分を含め
る右側のテクスチャオブジェクトを図のように伸ばす。
側面２８００ａ用のテクスチャオブジェクトの面積と側
面２８００ｂ用のテクスチャオブジェクトの面積の比率
をユーザの位置により変更させて物体２８００をリアル
に表現している。

【００９７】図２５及び図２６に示すように、テクスチ
ャオブジェクトの位置が実体の中心の位置とずれる場合
には、理論的に観測される映像と実体映像とが一致する
ために、アバタの視点位置からテクスチャオブジェクト
までの距離と実体までの距離の比が常に一定になるよう
に、テクスチャオブジェクトの位置が移動する必要があ
る。［ＲｅａｌＤｉｓｔａｎｃｅ］／［Ｔｅｘｔｕｒ
ｅＤｉｓｔａｎｃｅ］＝一定

【００９８】しかし、テクスチャオブジェクトが数多く
林立し、ユーザの視点位置が大幅に変更される場合、３
次元ＣＧモデルの共存も含めて、各テクスチャオブジェ
クトの前後の位置関係が正確に反映できなくなる。そこ
で、本実施の形態１１では、移動中間景テクスチャオブ
ジェクトも実体位置の中心に一致させて配置させるよう
にする。ここでいう実体位置の中心の定義は、全ての形
状を考慮すると非常に難しいので、ユーザの視野に入る
実体の中心がほぼつかめる程度でしか扱えない。一般的
な形状のおおよその中心をつかむが、ユーザに直感的に
その指定ができるように、以下の３つ以上の特殊点を採
用する。図２７（Ａ），（Ｂ）に、移動中関係テクスチ
ャオブジェクトの配置決定方法を示す。図２７（Ａ），
（Ｂ）に示すように、ユーザ移動領域中心点２５００か
ら実体２５１０を見たときに、その範囲を定める視野の
最左端２５２０と最右端２５３０に位置する点と、実体
のうち、建築物の稜線などユーザが認識しやすい幾何学
的な特徴点２５４０である。この特徴点は、１つ以上採
用することができ、テクスチャオブジェクトを分割する
際に使用される。また、本実施の形態では、簡略的に最
左端点と最右端点との中間点を実体の中心点２５５０と
する。テクスチャオブジェクトは、常にこの中心点を中
心に回転するように配置される。中間景というユーザの
視点位置からある程度距離のある関係では、この程度の
近似的な表示手法でも特に支障はない。

【００９９】図２３は、この発明の表示装置のテクスチ
ャオブジェクト配置位置算出手段７５０の各機能手段の
構成を示すブロック構成図である。本実施の形態１１に
必要な手段は、移動中間景テクスチャオブジェクトの配
置位置及び形状について、算出を行う移動中間景テクス
チャオブジェクト配置位置算出手段７５２である。

【０１００】次に、図３，図５（又は図８），図１０，
図２４に基づき動作について説明する。まず、全体の処
理のフローチャートは、実施の形態１〜１０にて説明し
た図３，図５（又は図８）と全く同様である。図１０の
中の１０３７の処理の中で、図２４に示すように、テク
スチャオブジェクト配置型設定記憶手段７１４からの情
報を元に、テクスチャオブジェクト毎に運動型を分類し
（３７００）、移動中間景テクスチャオブジェクトにつ
いては、テクスチャオブジェクト運動型設定記憶手段７
１２の情報に基づいてユーザの位置、視点、視線方向に
適合した形状や位置を算出する（３７０４，３７０５，
３７０６）。この処理は、移動中間景テクスチャオブジ
ェクト配置位置算出手段７５２にて行われる。

【０１０１】以上のように、遠景、固定中間景、ビルボ
ードだけでは、３次元空間内に観察できる表示画像とし
てはその表現に限界があった。しかし、ユーザの移動に
基づいて中間景テクスチャオブジェクトの移動や変形を
行うことで、空間的な連続性、実体の形状や位置の正確
性を向上でき、中間的な位置に存在するオブジェクトを
含んだ自然な実写画像を得ることができる。更に、建築
物などの３次元ＣＧモデルで表面に実写画像テクスチャ
を貼り込むものを配置する手法を中間景に採用した場合
に比べて、一方向から撮影した実写画像を加工せずに、
そのまま使用するので、コンテンツの作成コストを低減
できる。

【０１０２】以上のように、この実施の形態１１では、
テクスチャオブジェクト配置位置算出手段７５０が、中
間景を表現する２次元のテクスチャ画像を貼り付けたテ
クスチャオブジェクトをユーザの位置からの方向、又
は、視線方向に直交し、更に、中間景の実体が実際に存
在する位置に存在し、実体の外形寸法がユーザから実体
までの距離に見合った外形寸法となるのがユーザから見
えるように、ユーザの視点、視線方向に合わせて配置す
る位置及び形状を算出する移動中間景テクスチャオブジ
ェクト配置位置算出手段７５２を備え、固定の中間景テ
クスチャオブジェクトよりも歪みの少ない中間景画像を
得られることを特徴とする３次元仮想空間表示装置を説
明した。

【０１０３】実施の形態１２．以上の実施の形態１〜１
１では、既にテクスチャオブジェクトとして、遠景、中
間景、近景などの様々な種類がもつ表示装置について述
べてきた。特に、実施の形態４，５では、ビルボードタ
イプ、或いは、スイッチングビルボードタイプについて
実現した表示装置の概要について説明した。本実施の形
態１２では、具体的にビルボードをユーザの位置、視
点、視線方向などに合わせて移動させる位置の算出手段
について詳細を示す。

【０１０４】ユーザの位置とテクスチャオブジェクトの
位置とを結ぶ直線方向に対して、テクスチャオブジェク
トの面が常に直交するように特定の位置で回転運動を行
うタイプのものである。ユーザが眺めることになる画像
は、常に同じものになる。主に、眺める方向が変わって
も同じ画像が見えるので、木や煙突など違和感を感じさ
せないオブジェクトを対象として利用されることが多
い。図９（Ａ）の例１内の木を表示しているテクスチャ
オブジェクトがその例である。また、テクスチャオブジ
ェクト上に複雑な形状のオブジェクトを表示させる場合
に、眺める方向によって、マッピングする画像テクスチ
ャ情報を変更するタイプのスイッチングタイプのものも
ある（図１１）。

【０１０５】図２３は、この発明の表示装置のテクスチ
ャオブジェクト配置位置算出手段７５０の各機能手段の
構成を示すブロック構成図である。本実施の形態に必要
な手段は、ビルボードテクスチャオブジェクトの配置位
置及び形状について、算出を行うビルボードテクスチャ
オブジェクト配置位置算出手段７５３である。

【０１０６】次に、図３，図５（又は図８），図１０，
図２４に基づき動作について説明する。まず、全体の処
理のフローチャートは、実施の形態１〜１１にて説明し
た図３，図５（又は図８）と全く同様である。図１０の
中の１０３７の処理の中で、図２４に示すように、テク
スチャオブジェクト配置型設定記憶手段７１４からの情
報を元に、テクスチャオブジェクト毎に運動型を分類し
（３７００）、ビルボードテクスチャオブジェクトにつ
いては、テクスチャオブジェクト運動型設定記憶手段７
１２の情報に基づいてユーザの位置、視点、視線方向に
適合した形状や位置を算出する（３７０７，３７０８，
３７０９）。この処理は、ビルボードテクスチャオブジ
ェクト配置位置算出手段７５３にて行われる。このビル
ボードテクスチャオブジェクト配置位置算出手段７５３
において、前述の一般のビルボードタイプ、スイッチン
グビルボードタイプの両者の配置位置算出を行う。

【０１０７】以上のように、３次元ＣＧモデルや既出の
遠景、中間景、近景のテクスチャオブジェクトだけで
は、表現するのが困難であったどの方向からみても形状
が同じに見えても支障のないオブジェクトや、非常に複
雑な形状の物体だが周囲３６０°方向から眺めたいオブ
ジェクトを表示するのに適しているユーザの位置に向か
って正対するように配置されるビルボード、或いは、ス
イッチングビルボードの表示方式を採用できる。

【０１０８】以上のように、この実施の形態１２では、
テクスチャオブジェクト配置位置算出手段７５０が、常
にユーザの位置からの方向、又は、視線方向に対して直
交するように回転するビルボード型のテクスチャオブジ
ェクトの配置する位置及び形状を算出するビルボードテ
クスチャオブジェクト配置位置算出手段７５３を備え、
ビルボード型の実写画像による物体の表示を行えること
を特徴とする３次元仮想空間表示装置を説明した。

【０１０９】実施の形態１３．以上の実施の形態１〜１
２では、既にテクスチャオブジェクトとして、遠景、中
間景、近景などの様々な種類がもつ表示装置について述
べてきた。特に、実施の形態７，１０では、遠景テクス
チャオブジェクトとして、ユーザを包含する全体空間を
表示することができる表示装置を示した。本実施の形態
１３では、遠景テクスチャオブジェクトで取り囲まれた
空間の中から建築物などの内部、或いは、外部を独立さ
せた空間として眺めることができる複合したパノラマ背
景の表現が可能な表示装置を示す。

【０１１０】建築物の一室から外を見たり、外から内部
を見たりする場合に、広角撮影した背景テクスチャオブ
ジェクトを移動させて、連続性のある背景を構成でき
る。これは、視点に追従して移動する遠景テクスチャオ
ブジェクトと同様に、建築物の一室から外を見たり、外
から内部を見たりする場合に、視野が自然に限定される
性質を利用して、１枚のテクスチャオブジェクトを円周
上にて移動させる方式である。図２８（Ａ），（Ｂ）
に、ピーピングビューテクスチャオブジェクトの視点追
従方式を示す。本方式をピーピングビュー方式と呼ぶ。
図２８（Ａ）は、建築物の一室から外を見る例を示して
いる。図２８（Ｂ）は、外、例えば、観察窓から水槽の
内部を見る例を示している。水族館のように室内を覗き
込むものを室内型（図９（Ｂ）の例２）、一室から外を
望むものを室外型と指定する。図２８（Ａ）では、建物
の一室の窓から外を見ている場合に、ユーザがＡの位置
にいるときのＢの位置にいるときのテクスチャオブジェ
クトの移動を示している。Ａの位置に対するテクスチャ
オブジェクトは２９００ｂであり、ユーザがＡの位置か
らＢの位置へ移動すると、視点の移動に追従してテクス
チャオブジェクトは内接円周線２９１０上を左へ転がる
ように移動して、２９００ａの位置にテクスチャオブジ
ェクトが移動する。内接円周線２９１０は、ユーザの移
動可能な領域のほぼ中央（ここでは、大きな窓がある部
屋の中を移動可能領域とする）を円の中心点として、円
の中心点から窓の外のユーザが見ている物体までの距離
を半径とした円の円周線である。

【０１１１】これは、単に遠景テクスチャオブジェクト
の延長ではなく、公園というパノラマ空間の中の水族館
というように、複数のパノラマ映像を同時に表示できる
ことを意味する。これに対し、ＲｅａｌＳｐａｃｅな
どでは、パノラマ背景は１種類しか選択できず、室内か
らの外の情景は、選択した１種類のパノラマ背景に映っ
ている画像を用いているので、外の情景の奥行き感が欠
如していた。例えば、図２９に示すパノラマ映像２９０
０は、部屋の内部を部屋の窓から見える景色を含んで撮
影したパノラマ映像の例である。ＲｅａｌＳｐａｃｅ
では、図２９のパノラマ映像を選択すると、窓から見え
る景色の映像は２９００ａに示される映像となり、外の
情景は部屋の中のある位置より撮影した１枚の映像によ
って表示される。このため、窓から見た景色は、奥行き
感に欠ける映像となってしまう。

【０１１２】また、水族館の動画像など広角で撮影する
のが困難なコンテンツの代用に、パノラマ撮影画像では
ないビデオカメラなどによる一般撮影画像を利用して、
内接円上の移動に加えて左右方向の移動の変位を大きく
すると、擬似的に広角の背景を描画することも可能であ
る。図２８（Ｂ）において、内接円周線２９１０は、ユ
ーザの移動可能領域のほぼ中央付近の所定の点を円の中
心点として（ここでは、観察窓のほぼ中央を円の中心点
とする）、ユーザが見ることができる物体までの距離を
円の半径とした円の円周線である。図２８（Ｂ）では、
ユーザがＡの位置にいる場合には、テクスチャオブジェ
クト２９００ａが表示される。テクスチャオブジェクト
２９００ａは、仮にｘの幅であるとする。また、ユーザ
がＢの位置にいる場合には、テクスチャオブジェクト２
９００ｂが表示される。テクスチャオブジェクト２９０
０ｂは、仮にｙ（ｘ＞ｙ）の幅であるとする。ユーザが
Ａの位置にいる場合とＢの位置にいる場合では、視界の
広さがＡの位置にいる場合のほうが広くなるので、視界
の大きさに合わせてテクスチャオブジェクト２９００
ａ，２９００ｂの左右の幅を変更させる。内部処理で
は、構築者にその左右移動の変位の値を入力させるので
はなく、ユーザの視界の大きさに合わせて視界の大きさ
とテクスチャオブジェクトの幅が一致するように、提供
された画像データの幅を自動的に伸縮させるようにす
る。

【０１１３】図２３は、この発明の表示装置のテクスチ
ャオブジェクト配置位置算出手段７５０の各機能手段の
構成を示すブロック構成図である。本実施の形態１３に
必要な手段は、室内型ピーピングビューテクスチャオブ
ジェクトの配置位置及び形状について、算出を行う室内
型ピーピングビューテクスチャオブジェクト配置位置算
出手段７５４及び室外型ピーピングビューテクスチャオ
ブジェクトの配置位置及び形状について、算出を行う室
外型ピーピングビューテクスチャオブジェクト配置位置
算出手段７５５である。

【０１１４】次に、図３，図５（又は図８），図１０，
図２４に基づき動作について説明する。まず、全体の処
理のフローチャートは、実施の形態１〜１２にて説明し
た図３，図５（又は図８）と全く同様である。図１０の
中の１０３７の処理の中で、図２４に示すように、テク
スチャオブジェクト配置型設定記憶手段７１４からの情
報を元に、テクスチャオブジェクト毎に運動型を分類し
（３７００）、室内型ピーピングビューテクスチャオブ
ジェクトについては、テクスチャオブジェクト運動型設
定記憶手段７１２の情報に基づいてユーザの位置、視
点、視線方向に適合した形状や位置を算出する（３７１
０，３７１１，３７１２）。室外型ピーピングビューテ
クスチャオブジェクトについては、同様にテクスチャオ
ブジェクト運動型設定記憶手段７１２の情報に基づいて
ユーザの位置、視点、視線方向に適合した形状や位置を
算出する（３７１３，３７１４，３７１５）。この処理
は、それぞれ室内型ピーピングビューテクスチャオブジ
ェクト配置位置算出手段７５４及び室外型ピーピングビ
ューテクスチャオブジェクト配置位置算出手段７５５に
て行われる。

【０１１５】以上のように、３次元ＣＧモデルや既出の
遠景、中間景、近景などのテクスチャオブジェクトだけ
では、表現するのが困難であった室外からの室内、室内
からの室外の情景の奥行き感のある表示を行うことがで
きる。更に、ユーザの視点に追従して、覗き込んで見え
る画像が配置されるために、３次元空間の連続性のある
自然な表示画像を得ることができる。また、１枚のテク
スチャオブジェクトの移動変位を調節することができる
ので、広角撮影した実写画像情報を用意することなく、
室内や室外の広角の表示画像を得ることができる。ま
た、室内や室外を円柱状や多角柱状の固定テクスチャオ
ブジェクトにて表現する手法よりも、表示ポリゴン数を
低減できるので、処理コストを低減でき表示性能を向上
できる。

【０１１６】以上のように、この実施の形態１３では、
テクスチャオブジェクト配置位置算出手段７５０が、建
築物や部屋のような閉じた空間内を窓などを通して覗き
込んだときに、その内部の画像をテクスチャとして貼り
付けたテクスチャオブジェクトをユーザの位置からの方
向、又は、視線方向に直交し、更に、このテクスチャオ
ブジェクトが存在する特定の曲面上に接するように配置
する位置及び形状を算出する室内型ピーピングビューテ
クスチャオブジェクト配置位置算出手段７５４を備え、
水族館の水槽や、動物のいる檻などの中を覗き込んだと
きに、固定のテクスチャオブジェクトよりも歪みの少な
い画像を得られることを特徴とする３次元仮想空間表示
装置を説明した。

【０１１７】また、テクスチャオブジェクト配置位置算
出手段７５０が、建築物や部屋のような閉じた空間から
窓などを通して外部を眺めたときに、その外部の風景な
どの画像をテクスチャとして貼り付けたテクスチャオブ
ジェクトをユーザの位置からの方向、又は、視線方向に
直交し、更に、このテクスチャオブジェクトが存在する
特定の曲面上に接するように配置する位置及び形状を算
出する室外型ピーピングビューテクスチャオブジェクト
配置位置算出手段７５５を備え、建築物の室内からベラ
ンダや窓を通して眺める場合などに、固定のテクスチャ
オブジェクトよりも歪みの少ない画像を得られることを
特徴とする３次元仮想空間表示装置を説明した。

【０１１８】

【発明の効果】以上のように、この発明のテクスチャオ
ブジェクト生成手段によれば、３次元仮想空間を構築す
る実写画像をまず２次元の画面の背景として構成し、そ
の上に３次元のＣＧモデルを配置するシステムとは異な
り、背景実写画像を３次元仮想空間内のテクスチャマッ
ピングを施したオブジェクトとして配置し、ＣＧモデル
のレンダリング表示画面を生成するようにしている。こ
のため、２次元実写画像の各部分を編集し合成する処理
を省略することができる効果がある。また、固定的に実
写画像テクスチャオブジェクトを配置させるだけではな
く、ユーザの位置、視点、視線方向を考慮して、実写画
像テクスチャオブジェクトを動的に配置させることで、
多様な視点位置に対する表示画面内の背景画像の歪みの
解消ができる効果がある。

【０１１９】また、この発明のプリクリッピング処理用
視野ボリューム算出手段によれば、３次元のＣＧモデル
の表示処理では、図４に示したレンダリング画素レベル
において表示オブジェクトが細分化されるハードウェア
よりのレベルで表示処理が不要かどうか判定するより
も、上位の表示空間領域レベルの粒度の大きなオブジェ
クトレベルでプリクリッピングの処理を行うほうが、処
理コストを削減できる効果がある。

【０１２０】また、この発明の透明領域設定記憶手段に
よれば、テクスチャオブジェクトのタイプ別に個々に背
景領域の透明マッピング処理を行えるために、複数の実
写画像の合成処理について、テクスチャオブジェクトの
実写画像中のオブジェクトの遠近情報を考慮し、手前の
オブジェクトの実写画像を浮き出たせ、最遠方に位置す
べき実写画像を最終背景として配置させることが可能と
なる効果がある。

【０１２１】また、この発明のテクスチャオブジェクト
運動型設定記憶手段及びテクスチャオブジェクト配置型
設定記憶手段によれば、テクスチャオブジェクトの距離
の遠近のタイプ別、更に、各種オブジェクトの特徴を生
かした運動の方式別に、各テクスチャオブジェクトの管
理及び表示処理を行うことにより、３次元仮想空間に単
純に２次元の実写画像の壁板が置かれているのではな
く、実写画像中のオブジェクトが３次元仮想空間を実際
に構成しているように、３次元空間内への連続性を与え
ることが可能となる効果がある。

【０１２２】また、この発明のテクスチャオブジェクト
画像変更設定記憶手段によれば、テクスチャオブジェク
トにより表示された複雑なオブジェクトの周辺を移動し
た場合や、奥行きのある情景に近づいたり離れたりした
場合などに、ユーザの位置、視点、視線方向などに応じ
て、細やかにテクスチャ画像を切り替えることで、固定
したテクスチャ画像だけでは得られないリアリティの向
上を得ることができる効果がある。

【０１２３】また、この発明のテクスチャオブジェクト
画像変更設定記憶手段によれば、変化のある３次元仮想
空間の表示を、何らかのイベントを元としてテクスチャ
画像の切り替えで実写の静止画や動画を表示させること
ができ、固定したテクスチャ画像だけでは得られないリ
アリティの向上を得ることができる効果がある。更に、
３次元ＣＧモデルによって、変化のある３次元仮想空間
内のオブジェクトを表現しようとすると、そのモデルの
動作プログラミングの開発コストが大きく、実際の動作
時の各モデルを動かす処理コストも大きいが、それに反
して、静止画切り替えや動画表示のコストは小さく、表
示性能も優れている効果がある。

【０１２４】また、この発明の固定遠景配置型設定記憶
手段によれば、表示装置の処理コストを考慮して、パノ
ラマ背景用の遠景テクスチャオブジェクトを円柱状から
様々な正多角柱状まで最適なものを選択することができ
る効果がある。更に、ユーザの周囲３６０°の状況が必
ずしも周囲で一様になっていない場合（ユーザの移動領
域が限定される場合や、巨大な３次元ＣＧモデルに視野
を部分的に遮られている場合など）に、必要十分な形状
で遠景テクスチャオブジェクトを配置させることがで
き、不要な処理コストを抑えて、性能を向上させること
ができる効果がある。

【０１２５】また、この発明の遠景変更領域配置型設定
記憶手段によれば、ユーザが移動する任意の区分された
領域毎に、表示に必要なテクスチャオブジェクトを遠景
テクスチャオブジェクトまで含めて管理することで、広
大に広がる３次元仮想空間内をユーザはどこまで連続し
て移動していっても、リアリティの高い実写映像表示を
連続的に得ることができる効果がある。また、表示に必
要なテクスチャオブジェクトを単位領域毎に最低必要な
ものだけグループとして管理することで、不要なテクス
チャオブジェクトの表示処理を事前に省くことができ、
表示性能を向上させることができる効果がある。

【０１２６】また、この発明の映像撮影視点設定記憶手
段によれば、静止画像の切り替えでは、画像情報のサン
プリング数に限界があったのに対して、ユーザの移動に
伴う画像の切り替えを動画像を同期をとりながら表示さ
せることで、より細やかな表示画像を得ることができ、
リアリティが向上する効果がある。更に、精細な３次元
ＣＧモデルがあたかも配置されているかのような効果
を、同質の３次元ＣＧモデルを作成しないで、カメラ撮
影という容易な手法により得ることができ、表示ポリゴ
ン数も少ないため、表示性能も優れている効果がある。

【０１２７】また、この発明の移動遠景テクスチャオブ
ジェクト配置位置算出手段によれば、多角柱状の固定遠
景テクスチャオブジェクトだけでは、解消できなかった
各面の継ぎ目毎の不連続な歪みを、移動遠景テクスチャ
オブジェクトにより解消でき、自然な実写画像の遠景を
得ることができる効果がある。更に、円柱状や多角柱状
の固定遠景テクスチャオブジェクトでは、表示ポリゴン
数が多く、生成処理も表示処理もコストが大きかった
が、１枚の遠景テクスチャオブジェクトにより代替され
るため、処理コストの削減ができ、性能が向上する効果
がある。

【０１２８】また、この発明の移動中間景テクスチャオ
ブジェクト配置位置算出手段によれば、遠景、固定中間
景、ビルボードだけでは、３次元空間内に観察できる表
示画像としてはその表現に限界があったが、ユーザの移
動に基づいて中間景テクスチャオブジェクトの移動や変
形を行うことで、空間的な連続性、実体の形状や位置の
正確性を向上でき、中間的な位置に存在するオブジェク
トを含んだ自然な実写画像を得ることができる効果があ
る。更に、建築物などの３次元ＣＧモデルで表面に実写
画像テクスチャを貼り込むものを配置する手法を中間景
に採用した場合に比べて、一方向から撮影した実写画像
を加工せずにそのまま使用するので、コンテンツの作成
コストを低減できる効果がある。

【０１２９】また、この発明のビルボードテクスチャオ
ブジェクト配置位置算出手段によれば、３次元ＣＧモデ
ルや既出の遠景、中間景、近景のテクスチャオブジェク
トだけでは、表現するのが困難であったどの方向からみ
ても形状が同じに見えても支障のないオブジェクトや、
非常に複雑な形状の物体だが周囲３６０°方向から眺め
たいオブジェクトを表示するのに適しているユーザの位
置に向かって正対するように配置されるビルボード、或
いは、スイッチングビルボードの表示方式を採用できる
効果がある。

【０１３０】また、この発明の室内型ピーピングビュー
テクスチャオブジェクト配置位置算出手段及び室外型ピ
ーピングビューテクスチャオブジェクト配置位置算出手
段によれば、３次元ＣＧモデルや既出の遠景、中間景、
近景などのテクスチャオブジェクトだけでは、表現する
のが困難であった室外からの室内、室内からの室外の情
景を奥行き感のあるように表示を行うことができる効果
がある。更に、ユーザの視点に追従して、覗き込んで見
える画像が配置されるために、３次元空間の連続性のあ
る自然な表示画像を得ることができる効果がある。ま
た、１枚のテクスチャオブジェクトの移動変位を調節す
ることができるので、広角撮影した実写画像情報を用意
することなく、室内や室外の広角の表示画像を得ること
ができる効果がある。また、室内や室外を円柱状や多角
柱状の固定テクスチャオブジェクトにて表現する手法よ
りも、表示ポリゴン数を低減できるので、処理コストを
低減でき、表示性能を向上できる効果がある。

【図面の簡単な説明】

【図１】本発明の表示装置の機能ブロック図。

【図２】本発明の表示装置のテクスチャオブジェクト
生成手段の機能ブロック図。

【図３】本発明の表示装置の実施の形態１の全体処理
を示すフローチャート図。

【図４】クリッピング処理の実装レベルを示す図。

【図５】プリクリッピング処理のフローチャート図。

【図６】本発明の表示装置のテクスチャオブジェクト
設定情報記憶手段の機能ブロック図。

【図７】テクスチャオブジェクトごとの背景透明領域
の管理を説明する図。

【図８】背景領域の透明マッピング設定に関連する処
理のフローチャート図。

【図９】（Ａ），（Ｂ）テクスチャオブジェクトの代
表的な運動型の利用イメージ図。

【図１０】テクスチャオブジェクトの配置型情報によ
る形状、位置の算出処理のフローチャート図。

【図１１】スイッチングビルボードタイプのテクスチ
ャオブジェクトを示す図。

【図１２】ユーザの位置、視点、視線方向による実写
画像の切り替え処理例を示す図。

【図１３】テクスチャ画像切り替え処理のフローチャ
ート図。

【図１４】（Ａ），（Ｂ）各種イベント発生時のテク
スチャ画像切り替え処理の例を示す図。

【図１５】各種イベントによるテクスチャ画像切り替
え処理用の表示装置の機能ブロック図。

【図１６】各種イベントによるテクスチャ画像切り替
え処理用のテクスチャオブジェクト生成手段の機能ブロ
ック図。

【図１７】各種イベント対応テクスチャ画像切り替え
処理のフローチャート図。

【図１８】（Ａ），（Ｂ）パノラマ背景としての遠景
テクスチャオブジェクトの多様な配置パターンを示す
図。

【図１９】格子状の単位空間毎にテクスチャオブジェ
クトを管理する場合の平面図。

【図２０】ユーザの位置、視点、視線方向に基づく動
画像テクスチャのフレーム選択を示す図。

【図２１】動画像テクスチャ画像切り替え処理のフロ
ーチャート図。

【図２２】遠景テクスチャオブジェクト視点追従方式
を示す図。

【図２３】本発明の表示装置のテクスチャオブジェク
ト配置位置算出手段の機能ブロック図。

【図２４】運動型テクスチャオブジェクトの配置位置
の算出処理のフローチャート図。

【図２５】中間景テクスチャオブジェクト（１枚タイ
プ）の視点追従方式（平面イメージ）を示す図。

【図２６】（Ａ），（Ｂ）中間景テクスチャオブジェ
クト（２枚タイプ）の視点追従方式（平面イメージ）を
示す図。

【図２７】（Ａ），（Ｂ）移動中間景テクスチャオブ
ジェクトの配置決定方法を示す図。

【図２８】（Ａ），（Ｂ）ピーピングビューテクスチ
ャオブジェクトの視点追従方式を示す図。

【図２９】部屋の内部を部屋の窓から見える景色を含
んで撮影したパノラマ映像を示す図。

【図３０】従来の表示装置の機能ブロック図。

【符号の説明】

１００実写画像情報記憶手段、２００ＣＧモデル生
成手段、３００画像加工合成手段、４００ユーザ入
力手段、５００制御手段、６００画像表示手段、７
００テクスチャオブジェクト生成手段、７１０テク
スチャオブジェクト設定情報記憶手段、７１１透明領
域設定記憶手段、７１２テクスチャオブジェクト運動
型設定記憶手段、７１３テクスチャオブジェクト画像
変更設定記憶手段、７１４テクスチャオブジェクト配
置型設定記憶手段、７１５固定遠景配置型設定記憶手
段、７１６遠景変更領域配置型設定記憶手段、７１７
映像撮影視点設定記憶手段、７２０表示テクスチャオ
ブジェクト選択手段、７３０テクスチャ画像情報選択
手段、７４０テクスチャオブジェクトＣＧモデル生成
手段、７５０テクスチャオブジェクト配置位置算出手
段、７５１移動遠景テクスチャオブジェクト配置位置
算出手段、７５２移動中間景テクスチャオブジェクト
配置位置算出手段、７５３ビルボードテクスチャオブ
ジェクト配置位置算出手段、７５４室内型ピーピング
ビューテクスチャオブジェクト配置位置算出手段、７５
５室外型ピーピングビューテクスチャオブジェクト配
置位置算出手段、７６０プリクリッピング処理用視野
ボリューム算出手段。

Claims

【特許請求の範囲】

【請求項１】以下の要素を有することを特徴とする３
次元仮想空間表示装置（ａ）２次元の実写画像の情報を記憶する実写画像情報
記憶手段、（ｂ）３次元仮想空間内の少なくとも位置と
視点と視線方向のいずれかを入力する入力手段、（ｃ）
上記入力手段により入力された少なくとも位置と視点と
視線方向とのいずれかに適合する２次元の実写画像情報
を上記実写画像情報記憶手段より取得するとともに、取
得した２次元の実写画像情報を平面オブジェクトにテク
スチャマッピングを施したテクスチャオブジェクトとし
て配置するためのテクスチャオブジェクト情報を生成す
るテクスチャオブジェクト生成手段、（ｄ）上記テクス
チャオブジェクト生成手段により生成されたテクスチャ
オブジェクト情報を用いて上記テクスチャオブジェクト
を３次元仮想空間に表示するＣＧモデル情報を生成する
ＣＧモデル生成手段、（ｅ）上記ＣＧモデル生成手段に
より生成されたＣＧモデル情報に基づいて２次元画面上
の表示情報を生成するレンダリング処理を行う画像加工
合成手段、（ｆ）上記画像加工合成手段により生成され
た２次元画面上の表示情報に基づいて３次元仮想空間を
表示する画像表示手段。
【請求項２】上記入力手段は、位置と視点と視線方向
とを入力し、上記テクスチャオブジェクト生成手段は、上記テクスチャオブジェクトの設定情報を、上記テクス
チャオブジェクトの３次元仮想空間内に配置される位置
により少なくとも近景、中間景、遠景のタイプ毎に記憶
するテクスチャオブジェクト設定情報記憶手段と、上記入力手段により入力された少なくとも位置と視点と
視線方向のいずれかに基づいて上記テクスチャオブジェ
クト設定情報記憶手段よりテクスチャオブジェクトの設
定情報を取得してテクスチャオブジェクトを３次元仮想
空間内に配置する位置を算出するテクスチャオブジェク
ト配置位置算出手段と、上記テクスチャオブジェクト配置位置算出手段により算
出された配置位置に基づいてテクスチャオブジェクトの
タイプを決定し、表示対象となるテクスチャオブジェク
トを上記テクスチャオブジェクト設定情報記憶手段より
選択する表示テクスチャオブジェクト選択手段と、上記テクスチャオブジェクト配置位置算出手段により算
出された配置位置からテクスチャオブジェクトにマッピ
ングを行う２次元の実写画像情報を上記実写画像情報記
憶手段より選択するテクスチャ画像情報選択手段と、上記表示テクスチャオブジェクト選択手段により選択さ
れたテクスチャオブジェクトと、上記テクスチャ画像情
報選択手段により選択された実写画像情報とにより表示
するテクスチャオブジェクトのＣＧモデル情報を生成す
るテクスチャオブジェクトＣＧモデル生成手段とを備え
ることを特徴とする請求項１記載の３次元仮想空間表示
装置。
【請求項３】上記テクスチャオブジェクト生成手段
は、上記入力手段により入力された位置と視点と視線方向と
に基づいて視野を算出し、上記表示テクスチャオブジェ
クト選択手段に上記算出した視野を通知するプリクリッ
ピング処理用視野ボリューム算出手段を備えることを特
徴とする請求項２記載の３次元仮想空間表示装置。
【請求項４】上記テクスチャオブジェクト設定記憶手
段は、上記テクスチャオブジェクトの設定情報として、テクス
チャオブジェクトに２次元の実写画像をマッピングした
オブジェクトの背後に表示される他のオブジェクトを見
ることができるように、透明領域の設定情報を記憶する
透明領域設定記憶手段を備えることを特徴とする請求項
２記載の３次元仮想空間表示装置。
【請求項５】上記テクスチャオブジェクト設定記憶手
段は、上記テクスチャオブジェクトの設定情報として、上記テ
クスチャオブジェクトのタイプに応じてテクスチャオブ
ジェクトが少なくとも移動及び変形のいずれかの運動を
行うことを示す運動パターンを記憶するテクスチャオブ
ジェクト運動型設定記憶手段を備えることを特徴とする
請求項２記載の３次元仮想空間表示装置。
【請求項６】上記テクスチャオブジェクト設定記憶手
段は、位置、視点、視線方向に応じて上記テクスチャオブジェ
クトにマッピングする２次元の実写画像を変更するため
の情報を記憶するテクスチャオブジェクト画像変更設定
記憶手段を備えることを特徴とする請求項２記載の３次
元仮想空間表示装置。
【請求項７】上記３次元仮想空間表示装置は、更に、
上記入力手段より入力された位置と視点と視線方向とに
より３次元仮想空間に表示する２次元の実写画像を変更
するためのイベント情報を生成する制御手段を備え、上記テクスチャオブジェクト画像変更設定手段は、上記制御手段により生成されたイベント情報に基づい
て、上記テクスチャオブジェクトにマッピングする２次
元の実写画像を動的に切り替える処理を行うための情報
を記憶することを特徴とする請求項６記載の３次元仮想
空間表示装置。
【請求項８】上記テクスチャオブジェクト設定記憶手
段は、上記テクスチャオブジェクトのタイプ毎にテクスチャオ
ブジェクトが移動可能か否かを設定する情報を記憶する
テクスチャオブジェクト配置型設定記憶手段を備えるこ
とを特徴とする３次元仮想空間表示装置。
【請求項９】上記テクスチャオブジェクト設定記憶手
段は、上記テクスチャオブジェクトのタイプが遠景用であるテ
クスチャオブジェクトに対して、テクスチャオブジェク
トの形状を複数の任意の形状に設定する情報を記憶する
固定遠景配置型設定記憶手段を備えることを特徴とする
請求項２記載の３次元仮想空間表示装置。
【請求項１０】上記テクスチャオブジェクト設定記憶
手段は、３次元仮想空間を複数の領域に分割し、分割した領域を
示す範囲情報を設定するとともに、上記範囲情報により
示される領域に表示するテクスチャオブジェクトを少な
くとも近景、中間景、遠景のいずれかのタイプ別に設定
する遠景変更領域配置型設定記憶手段を備えることを特
徴とする請求項２記載の３次元仮想空間表示装置。
【請求項１１】上記テクスチャオブジェクト設定記憶
手段は、テクスチャオブジェクトにマッピングする実写映像に動
画像を用いる場合、動画像のフレームに対応させて動画
像の撮影時の位置及び視点を示す情報を設定する映像撮
影視点設定記憶手段を備えることを特徴とする請求項２
記載の３次元仮想空間表示装置。
【請求項１２】上記テクスチャオブジェクト配置位置
算出手段は、少なくとも位置、視点、視線方向のいずれかの変化に対
応させて遠景用のテクスチャオブジェクトの配置位置及
び形状を算出する移動遠景テクスチャオブジェクト配置
位置算出手段を備えることを特徴とする請求項２記載の
３次元仮想空間表示装置。
【請求項１３】上記テクスチャオブジェクト配置位置
算出手段は、少なくとも位置、視点、視線方向のいずれかの変化に対
応させて中間景用のテクスチャオブジェクトの配置位置
及び形状を算出する移動中間景テクスチャオブジェクト
配置位置算出手段を備えることを特徴とする請求項２記
載の３次元仮想空間表示装置。
【請求項１４】上記テクスチャオブジェクト配置位置
算出手段は、テクスチャオブジェクトが少なくともユーザの位置及び
視線方向のいずれかに対して直交するように回転するビ
ルボード型のテクスチャオブジェクトに対応するよう
に、３次元仮想空間内に配置するテクスチャオブジェク
トの位置及び形状を算出するビルボードテクスチャオブ
ジェクト配置位置算出手段を備えることを特徴とする請
求項２記載の３次元仮想空間表示装置。
【請求項１５】上記テクスチャオブジェクト配置位置
算出手段は、閉じた空間の内部を上記空間の外側からのぞき込む室内
ピーピングビューのために、上記空間の内部を表示するテクスチャオブジェクトを、
上記閉じた空間の外側のユーザの移動可能な領域の中央
付近の所定の位置を円の中心点として上記中心点から上
記閉じた空間までの距離を円の半径とする所定の円の円
周上を移動させるとともに、上記テクスチャオブジェク
トが、少なくともユーザの位置からの方向及び視線方向
のいずれかに対して直交するようにテクスチャオブジェ
クトの位置及び形状を算出する室内型ピーピングビュー
テクスチャオブジェクト配置位置算出手段を備えること
を特徴とする請求項２記載の３次元仮想空間表示装置。
【請求項１６】上記テクスチャオブジェクト配置位置
算出手段は、閉じた空間の内部から上記空間の外側を眺める室外ピー
ピングビューのために、上記空間の外部を表示するテクスチャオブジェクトを、
上記閉じた空間の内側のユーザの移動可能な領域の中央
付近の所定の位置を円の中心点として上記中心点から上
記空間を外側と隔てる境界までの距離を円の半径とする
所定の円の円周上を移動させるとともに、少なくともユ
ーザの位置からの方向及び視線方向のいずれかに対して
直交するようにテクスチャオブジェクトの位置及び形状
を算出する室外型ピーピングビューテクスチャオブジェ
クト配置位置算出手段を備えることを特徴とする請求項
２記載の３次元仮想空間表示装置。