JP3486577B2

JP3486577B2 - 空間描画方法、仮想空間描画装置、および記憶媒体

Info

Publication number: JP3486577B2
Application number: JP24929299A
Authority: JP
Inventors: 幸雄坂川; 昭宏片山; 大輔小竹
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1999-09-02
Filing date: 1999-09-02
Publication date: 2004-01-13
Anticipated expiration: 2019-09-02
Also published as: JP2001078231A

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば光線空間理
論データのような大量の画像データをダウンロードしな
がらユーザに仮想空間を提示する空間描画方法、仮想空
間描画装置、および記憶媒体に関する。

【０００２】

【従来の技術】仮想空間を、３次元幾何形状を基に記述
するのではなく、実写画像を基に記述表現する手法が数
多く提案されている。これらはImage Based Rendering
（以下、IBRと略す）と呼ばれており、実写画像を基に
するが故に、３次元幾何形状を基にする手法からは得ら
れない写実性の高い仮想空間を表現できる点に特徴があ
る。

【０００３】IBRの一手法である光線空間理論に基づい
た仮想空間の記述に関する試みが提案されている。例え
ば、電子情報通信学会論文誌「CGモデルと光線空間デー
タとの融合による仮想環境の実現」(D-11, Vol. J80-D-
11 No. 11, pp3048-3057, 1997年11月)、または、「３
次元統合画像通信を目指したホログラムと光線空間の相
互変換」(3D Image Conference)などを参照。

【０００４】光線空間理論について説明する。

【０００５】第１図に示すように実空間に座標系O-X-Y-
Zを設置する。Ｚ軸に垂直な基準面Ｐ（Z=z）を通過する
光線を、光線がＰを横切る位置（ｘ，ｙ）と、光線の方
向を示す変数θ、φで表すことにする。すなわち、１本
の光線は(x, y, z,θ,φ)の５つの変数により一意に定
められる。この光線の光強度を表す関数をｆと定義する
と、この空間中の光線群データはf(x, y, z,θ,φ)で表
現することが出来る。この５次元の空間を「光線空間」
と呼ぶ。より一般的には，時間変動分ｔを入れる場合も
あるがここでは省略する．

【０００６】ここで、基準面Ｐをz=0に設定し、光線の
垂直方向の視差情報、すなわちφ方向の自由度を省略す
ると、光線の自由度を(x,θ)の２次元に縮退させること
ができる。このx-θ２次元空間は、光線空間の部分空間
となる。そして、実空間中の点（Ｘ，Ｚ）を通る光線
（第２図）は、u = tanθとおくと、ｘ−ｕ空間上で
は、第３図に示すように、

【０００７】［数１］X = x + u・Z

【０００８】という直線上に写像される。カメラによる
撮影とは、カメラのレンズ焦点を通過する光線を撮像面
で受光し、その明るさや色を画像化する操作に相当す
る。言い換えると、焦点位置という実空間中の１点を通
る光線群を画像として画素数分獲得していることにな
る。ここでは、φ方向の自由度を省略し、Ｘ−Ｚ平面内
のみでの光線の振舞いを考えているので、画像中のＹ軸
との直交面と交わる線分上の画素のみを考えることにな
る。このように、画像の撮影によって１点を通る光線を
集めることができ、１回の撮影でｘ−ｕ空間の１本の線
分上のデータを獲得することができる。

【０００９】この撮影を視点位置（本明細書では、特に
断らない限りは、視点位置は、視点の位置と視線方向の
双方を含むものとする）を変え多数行うと、多数の点を
通る光線群を獲得することができる。第４図のようにＮ
台のカメラを用いて実空間を撮影すると、ｎ番目（ｎ＝
１，２，...，Ｎ）のカメラC_nの焦点位置（X_n, Z_n）に
対応して、第５図のごとく、

【００１０】［数２］x + Z_nu = X_n の直線上のデータを入力することができる。このよう
に、十分に多数の視点からの撮影を行うことによって、
ｘ−ｕ空間を密にデータで埋めていくことができる。

【００１１】逆に、ｘ−ｕ空間のデータ（第６図）か
ら、新しい任意の視点位置からの観察画像を生成するこ
とができる（第７図）。この図に示すように、目の形で
表した新しい視点位置Ｅ（Ｘ，Ｚ）からの観察画像は、
ｘ−ｕ空間上の数式１の直線上のデータをｘ−ｕ空間か
ら読み出すことによって生成できる。

【００１２】

【発明が解決しようとする問題点】上記の光線空間デー
タの如き実写画像データは、通常、１単位毎（例えば、
物体毎）に、圧縮されて外部記憶装置などに記憶されて
いる。従って、このような空間データを仮想空間に描画
するためには、主記憶装置にダウンロードし、復号化
し、主記憶装置上で描画する必要がある。一方、ユーザ
にとっては、仮想空間に描画されるべき全ての仮想物体
の仮想画像が表示されて初めてその仮想空間の把握が可
能になる。従って、描画すべき物体が複数存在する場合
には、ユーザは、それら物体の空間データが全て、ダウ
ンロードされ、復号化され、描画された後でなければ、
それらの仮想物体を把握できないことになる。即ち、こ
のような仮想空間を例えばウオークスルー体験する場合
には、レスポンスの悪い描画装置となってしまう。

【００１３】これが、光線空間データのような空間デー
タを取り扱うに際しての従来技術に関わる第１の問題点
である。

【００１４】従来技術に関わる第２の問題は、光線空間
データなどの実写画像データが大量のデータを含むこと
に起因する。かかるデータは通常データベースの形で、
画像処理装置から離れたところに格納するのが普通であ
るが、そのために、画像処理装置が、仮想空間に仮想画
像を展開するためには、前提として、大量の空間データ
を画像処理装置にダウンロードしておかなくてはならな
い。実写画像データは、その膨大さ故に、通信速度が昨
今向上したとはいえ、空間データを要求してから、その
空間データを画像処理装置内で描画することができるよ
うになるまでのターンアラウンド時間の長さは看過でき
ないほどである。従って、発明者たちは、このような仮
想空間をユーザに提示するシステムにおいて、実写画像
データを利用できるようになるまでの待ち時間に、ユー
ザを退屈させないことの必要性を認識するに到った。即
ち、この待ち時間の間は、任意視点位置からのシーンを
得ることはできないものの、ダウンロード時間の短いビ
ルボード画像（一枚の画像）を代用させるのである。

【００１５】従来技術に関わる第３の問題は、光線空間
データなどの実写画像データを用いて、仮想空間内を自
由に巡ることのできるウオークスルーシステムを提供す
る場合において、システムのメモリ容量に制限がある場
合に発生する。即ち、上述の第１の問題に対処するため
に、仮想空間を複数のサブ空間（例えば、仮想美術館で
あれば、各展示室が１つのサブ空間を構成する）に分割
する手法を提案することができる。

【００１６】即ち、ユーザが、ある展示室に近づこうと
することが検知される場合には、その展示室だけの空間
データを先読みしておくことにより、描画処理に先立つ
転送処理に要する時間を短縮する。またさらに、ユーザ
がその展示室（サブ空間Ａとすると）を出ようとすると
きは、次のサブ空間（例えば展示室Ｂ）のための空間デ
ータを、それまで展示室Ａの空間データを記憶していた
記憶領域に上書きして記憶させる必要がある。こうする
ことにより、比較的に少ないメモリ容量であっても、リ
アルタイムに近い速度で次々に展示室のサブ仮想空間を
再現することができる。

【００１７】ところで、この先読みは、ユーザの視点位
置が目的のサブ空間に近づいたことをもって判断する。
しかしながら、ユーザの視点位置の移動は、マウスなど
を用いるために、高精度の経路誘導を行うというもので
はなく、そのために、誤った経路にユーザを招きかねな
い。即ち、先読み開始領域にないユーザの視点位置を、
誤って、その先読み開始領域にあると検出した場合に
は、システムは、先読みを開始してしまう。特に、ユー
ザの視点位置を先読み開始ゾーンの近傍において移動さ
せた場合には、この誤動作は起こりやすい。例えば、第
８図に示すように、視点位置が、展示室空間から先読み
開始ゾーンに入り、更に再び、展示室空間に戻るといっ
た操作が行われた場合において、上記の誤った先読み動
作が行われると、展示室空間のための大容量の空間デー
タはパージ（消去）されてしまい、再び、展示室空間に
「戻った」（視点位置が誤検出されたための起こった事
態であるので、ユーザにとっては、戻るという意識はな
い）には、システム側は、この展示室空間のデータを再
度転送する必要がある。これは時間の面でかなりの無駄
な操作となる。

【００１８】本発明は上記第３の問題点に向けられたも
のである。

【００１９】本発明の目的は、上記空間データの無駄
な再転送の発生がない空間描画方法、装置を提案する。

【００２０】

【課題を解決するための手段】この目的を達成するため
の、請求項１に記載の、仮想空間を描画する空間描画方
法は、仮想空間を描画する空間描画方法において、複数
の仮想空間の空間データを第１のメモリに格納してお
き、第１の領域に属する任意指示位置における第１の仮
想空間を、前記第１のメモリと異なる第２のメモリに前
記第１のメモリからダウンロードしておいた第１の空間
データに基づいて描画し、指示位置が前記第１の領域の
外側の第２の領域内に移動したときに、前記第１の空間
データを前記第２のメモリ内に保持しておくと共に、前
記第２の領域の空間データを前記第１のメモリから前記
第２のメモリにダウンロードし、指示位置が、前記第１
の領域から前記第２の領域に移動した後、前記第２の領
域の外側の第３の領域内に移動したときに、前記第２の
メモリ内に保持されていた前記第１の空間データを解放
することを特徴とする。

【００２１】請求項１の方法によれば、指示位置が、
第１の領域の外側の第２の領域にあるということは、第
１の領域（第１の仮想空間）に戻る可能性があることを
意味するが、第１の空間データは第２のメモリに保持さ
れているので、第１の領域に戻ったとしても、第１の空
間データを再ダウンロードする必要性はない。そして、
請求項３のように、指示位置が前記第２の領域から前記
第１の領域に戻ったときに、前記第２のメモリに保持さ
れている前記第１の空間データを、仮想空間の描画の基
礎に用いる。

【００２２】第２のメモリを有効に利用するために
は、第１の空間データが不要であることが明白である場
合には、それを無効化することが好ましい。そこで、請
求項１の方法によれば、指示位置が、前記第１の領域か
ら前記第２の領域に移動した後、前記第２の領域の外側
の第３の領域内に移動したときに、前記第２のメモリ内
に保持されていた前記第１の空間データを解放する。

【００２３】空間データの解放は、ユーザの操作に起
因して行うだけではなく、自動的に行うことも、操作性
を向上させるためにも好ましい。そこで、請求項２のよ
うに、指示位置が、前記第１の領域から前記第２の領域
に移動した後、第２の領域に第１の時間幅だけ留まった
ときに、前記第２のメモリ内に保持されていた前記第１
の空間データを解放する。

【００２４】自動解放の契機を、ユーザが任意時点で
設定できることも好ましい。そこで、請求項４によれ
ば、位置・姿勢に指示位置が、前記第１の領域から前記
第２の領域に移動した場合において、指示位置が第２の
領域に留まる間にユーザが所定の指示操作を行ったとき
に、前記第２のメモリ内に保持されていた前記第１の空
間データを解放する。

【００２５】本発明の好適な一態様である請求項５に
拠れば、前記第３の領域は、前記第１の仮想空間の前記
第１の領域と、前記第２の領域の双方を囲う。複数の仮
想空間を渡り歩く例えばウオークスルー環境下では、ど
の仮想空間にも強く結びつかない領域が存在すること
が、無駄なダウンロードやメモリ解放を頻発させないた
めにも好ましい。

【００２６】実際の操作では、指示位置が前記第１の
領域と第２の領域との間での出入りを繰り返すことが考
えられる。そこで、この場合には、請求項６のように、
前記第２の領域の空間データのダウンロードの繰り返し
を規制することにより、第２の領域の空間データの無駄
なダウンロードを防止する。

【００２７】本発明の好適な一態様である請求項７に
拠れば、指示位置が前記第３の領域から前記第１の仮想
空間の前記第２の領域に入るときには、前記第１の空間
データが前記第２のメモリに既に保持されていることを
確認する。複数の仮想空間で指示位置が遷移する領域で
ある第２の領域としての位置的性質を有効に利用するこ
とが可能となる。

【００２８】本発明の目的は、請求項１乃至８のいず
れかに記載の空間描画方法を実現するコンピュータプロ
グラムを記憶するプログラム記憶媒体によっても達成さ
れる。

【００２９】本発明の目的は、請求項９，１０に記載
の空間描画装置によっても達成できる。

【００３０】

【００３１】

【００３２】

【発明の実施の形態】以下、添付図面を参照しながら、
本発明を、仮想空間内のウオークスルー体験に適用した
実施形態に関わる画像描画装置及び画像描画方法を詳細
に説明する。これらの実施形態は、メモリに十分な余裕
があり、全ての光線空間理論により表現されたデータ(r
ay space data、以下、RSDと簡略化する場合がある)を
記憶するだけの主記憶を有するウオークスルーシステム
（第１実施形態）と、内部に小型の主記憶装置を有し、
全部の空間データを記憶する容量がないために、記憶領
域の確保→記憶領域の解放を繰り返す実施形態（第２実
施形態）とを説明する。

【００３３】第９図は、実施形態の画像処理システムの
構成を示す。第９図に示したハード構成は通常のワーク
ステーションの構成である。即ち、ハード構成自身は通
常のワークステーションと異なるところはない。

【００３４】このシステムは、ユーザに仮想空間をＣＲ
Ｔ２３上に提示するものである。ユーザはマウス２８を
操作してその仮想空間を自由にウオークスルーしたり、
仮想空間中の物体を操作（移動や回転あるいは拡大な
ど）することができる。即ち、仮想空間内の物体は実写
画像に基づいて光線空間データに変換されてディスク２
５に前もって格納されているが、ウオークスルーするに
つれて視点位置が移動すると、移動した視点位置で観測
できる画像を第７図にて説明したように生成し、幾何モ
デルベースの従来のCGデータをレンダリングして生成し
た画像に合成してＣＲＴ２３上に表示する。

【００３５】RSDデータベース２９は、大容量のメモリ
を有し、全空間の光線空間データを記憶している。ま
た、ビルボード画像データベース３１は、複数枚のビル
ボード画像を記憶する。ここで、ビルボード画像データ
とは、例えば、ある視点位置から観測した物体の画像デ
ータであり，データ量は光線空間データに比べて極めて
少ない．

【００３６】前述したように、光線空間データのデータ
ベース２９からの転送が間に合わないときには、代わり
に、このビルボード画像がユーザに提供される。

【００３７】３２は、ジョイスティックであり、ユーザ
の視点位置の移動を指示する。

【００３８】第１０図は、第１実施形態及び第２実施形
態によって形成される仮想空間を示す。この仮想空間は
各々がサブ仮想空間である、

【００３９】ゾーンＡ、ゾーンＢ、ゾーンＣ、ゾーンＤ、ゾーンＥ

【００４０】の５つゾーンを有する。第１０図では、説
明の便宜上、ゾーンＡ、ゾーンＢのみを詳細に示す。各
ゾーン（サブ仮想空間）の境界は一点鎖線でユーザに映
示される。ユーザの視点位置の移動経路（ウオークスル
ー路）を細い実線で示す。１つのゾーンには、仮想上の
展示室を表す矩形の「壁」を太い実線で示した。各展示
室には、夫々、４つの出入り口が設けられ、ここから、
ユーザは各展示室に仮想的に出入りすることができる。

【００４１】〈第１実施形態〉第１１図は、第１実施形
態に関わる画像処理装置の構成を示す。この第１実施形
態の特徴は、光線空間データの準備が間に合わないとき
には、例えば仮想空間中で光線空間データオブジェクト
が配置される位置にビルボードを設置し，それに画像
(ビルボード画像)を貼り付けてユーザに提示することに
より、データベース２９からの光線空間データの転送遅
れ（ダウンロード遅れ）による違和感を防止するもので
ある。ビルボード画像は光線空間データに比して圧倒的
にデータ容量が少なく、そのために転送時間が光線空間
データの転送に比して少ないからである。

【００４２】第１１図において、光線空間データやビル
ボード画像データは外部のデータベース２９，３１に記
憶される。これらのデータベースは、通信インタフェー
ス（例えばイーサネット）などを介して主記憶２７内の
所定の領域（２７Ａ，２７Ｂ）に保存される。主記憶内
に記憶された光線空間データやビルボード画像データ
は、描画部４０がＣＰＵ２０の制御の下に仮想空間上に
描画する。

【００４３】第１実施形態では、ＣＰＵ２０が、RSデー
タDB（データベース）２９から光線空間データをメモリ
領域２７Ａに、ビルボード画像データをメモリ領域２７
Ｂに保存する。メモリ上に保存できたか否かは、各ゾー
ン毎に、第１２図のようなテーブルによって管理され
る。

【００４４】第１実施形態は、光線空間データの主記憶
メモリ２７への転送を、３つの転送順序に従って行うも
ので、その３つの例を第１実施例と第２実施例と第３実
施例として説明する。

【００４５】第１３図は第１実施例に係る制御手順のフ
ローチャートである。この第１実施例は、全てのビルボ
ード画像データを、ステップＳ１０〜ステップＳ１４
で、データベース３１から主記憶２７Ｂにダウンロード
して格納し、その画像データを復号化した後に、仮想空
間におけるウオークスルー体験を可能とするものであ
る。そして、この第１実施例の特徴は、ウオークスルー
体験を与えるためのユーザへの仮想画像の提示（ステッ
プＳ１６〜ステップＳ２４）と、光線空間データの主記
憶２７Ａへの転送（ステップＳ３０〜ステップＳ３８）
とを並列（但し、直列に行ってもよい）に行うものであ
る。

【００４６】即ち、ステップＳ１０〜ステップＳ１４で
のビルボード画像の転送処理（復号化処理も含む）が終
了すると、第１２図のテーブルにおいて、ビルボード画
像データは全てのゾーンについて、「存在する」とマー
クされるであろう。

【００４７】ステップＳ１４が終了すると、ウオークス
ルーが可能になる。即ち、ユーザがジョイスティックな
どで指定した視点位置はステップＳ１８で検知され、ス
テップＳ２０では、その視点位置に近い、光線空間デー
タが選択される。

【００４８】ここで、視点位置に近い光線空間データと
は、現在の視点位置の３次元空間上の位置に対して、所
定の距離以内にある仮想物体（サブ仮想空間を含む）の
空間データを言う。距離のみを問題とし、ユーザの視線
方向は問わない。どの方向にある物体でも、ユーザが近
づく可能性のある物体だからである。距離は、第１実施
例の例では、展示室の大きさとの関係で前もって決定し
ておけばよい。

【００４９】その視点位置に対応する光線空間データが
まだメモリ２７上に存在しないときには、ビルボード画
像データが代用される。即ち、ビルボードと光線空間画
像とでは後者が優先される。なぜなら、光線空間データ
は、特定の視点位置からの画像データを基にして任意の
視点位置からの仮想画像を高精細に生成することができ
るからである。従って、光線空間データが主記憶２７上
に存在するのであれば、ステップＳ２２で現在の視点位
置に合わせて仮想画像が生成されて、ステップＳ２４で
ＣＲＴ上に提示される。

【００５０】ウオークスルーによる仮想空間の描画・提
示に並行して、ステップＳ３０〜ステップＳ３８では光
線空間データの転送が行われる。即ち、ステップＳ３０
では、光線空間データの１空間単位のデータ転送が行わ
れる。ここで、１空間単位の空間データとは、例えば、
第１０図などの、１つのゾーン等に関連する空間データ
群をいう。１単位毎のデータ転送が終了すると、ステッ
プＳ３４では、光線空間データから画像生成を行い、ス
テップＳ３６では、当該光線空間データが主記憶上に存
在するとマークし、ステップＳ３８では、次の１空間の
光線空間データをDB２９に送るように要求する。

【００５１】尚、ステップＳ３６では、光線空間データ
が存在するとのマークのみを行い、対応するビルボード
画像は消去されないようにしていたが、メモリの有効利
用の観点から、光線空間データがある限りは使用されな
いビルボード画像データは主記憶２７から除去してもよ
い。

【００５２】このように、第１実施形態の第１実施例で
は、ビルボード画像を先にダウンロードして、仮想空間
におけるウオークスルー体験を可能としておき、その後
に、仮想空間での仮想画像の描画と、光線空間データの
データベースからの転送とを並列に行うようにし、リア
ルタイムでの視点位置における光線空間データが主記憶
装置上に存在しない場合には、ビルボード画像データに
よる仮想画像の描画を行い、必要とする光線空間データ
が主記憶装置上に存在する場合にはその光線空間データ
による仮想画像の描画を行うようにする。この結果、最
低限でもビルボード画像によるウオークスルー体験を、
早期に可能にする。

【００５３】第１４図に、第２実施例の制御手順を示
す。前記第１実施例が、前もって決められた順序で光線
空間データをDB２９から主記憶２７Ａに転送するもので
あったが、この第２実施例は、ユーザの現在の視点位置
に近い空間の光線空間データをデータベース２９から選
択的に転送するものである。ユーザの視点位置に近いデ
ータほど、その描画が要求されるはずであるからであ
る。

【００５４】第１３図の制御手順と第１４図の制御手順
とは、後者がステップＳ２６とステップＳ２８とを有す
る点で異なるに過ぎない。即ち、ステップＳ２６で、ユ
ーザの現在の視点位置を取得し、ステップＳ２８では、
その位置に近い１空間分の光線空間データを転送する。
他の工程は第１実施例と同じである。

【００５５】また，この例ではユーザの視点位置に近い
空間の光線空間データを選択して読みこむようにした
が，1個の空間内でも視点位置にもっとも近い物体の光
線空間データから読みこむようにすることも可能であ
る．

【００５６】上記第２実施例では、光線空間データの復
号化は、その光線空間データのデータベースからの転送
の直後に併せて行われていた。即ち、１空間単位の光線
空間データは、転送と併せて復号化されて、主記憶上に
格納された。処理に時間のかかるものは、仮想画像の描
画を除けば、圧縮された光線空間データの転送と、その
圧縮データの復号化である。そこで、第３実施例は、光
線空間データの主記憶へのダウンロードをビルボード画
像のダウンロードと同時に行い、光線空間データは符号
化されたまま、主記憶上におく。リアルタイム上の任意
の視点位置における描画に必要な光線空間データの復号
化は、その要求の発生した時点で行うというものであ
る。

【００５７】第３５図は、第３実施例の制御手順を示す
フローチャートである。この第３５図のフローチャート
と、第２実施例のフローチャート（第１４図）とを比較
して、同じステップ番号は同じ処理を示すものとする
と、第２実施例のステップＳ１２は第３実施例ではステ
ップＳ１３に、第２実施例のステップＳ２０は第３実施
例ではステップＳ２１に、第２実施例のステップＳ２８
は第３実施例ではステップＳ２９に、夫々変更されてい
る。即ち、ステップＳ１３では、全空間単位での、ビル
ボード画像データのダウンロードと復号化とを行い、同
ステップにて、併せて、全空間単位での光線空間データ
のダウンロードとを行っている。そして、復号化は、ス
テップＳ２９において、現在のユーザ視点位置に最も近
い空間の光線空間データのみが行われ、そのデータはス
テップＳ３４で仮想画像生成に用いられ、ステップＳ３
６→ステップＳ３８を介してステップＳ１６→…→ステ
ップＳ２４において表示される。

【００５８】かくして、この第３実施例に拠れば、符号
化された光線空間データのダウンロードを待たねばなら
ないと言う短所はあるものの、ビルボード画像による仮
想空間でのウオークスルー体験を早期に味わうことがで
きると言う第１，第２実施例による効果と同じ効果を得
ることができる。また、光線空間データの復号化は、現
在の視点位置に近いもののみが行われるので、リアルタ
イムでの視点位置での仮想空間をレスポンスよく体験す
ることができるという効果も得られる。また、たとえ、
復号化が間に合わなくとも、最低限、ビルボード画像で
の提示が成されるので、リアルタイム性が確保される。

【００５９】上記第3実施例では，あらかじめ符号化さ
れた光線空間データをメインメモリに読みこみ終わるま
でウォークスルーができないように記しているが，ビル
ボード画像を読みこみ終えたら，ウォークスルーと符号
化された光線空間データの読みこみを並行して行っても
よい．

【００６０】〈第１実施形態の効果〉以上説明した第１
実施形態によると、

【００６１】I：先にビルボード画像データを主記憶
に存在させることにより、光線空間がDBに存在しない場
合でも、少なくとも一部の画像をユーザに提示すること
により、違和感をなくすことができる。ビルボード画像
であっても、ユーザは、その画像により当該仮想空間の
特性などを想定することができるので、不要であるとユ
ーザ自身が判断できれば次の空間に進むことができる。 II：光線空間データの転送は種々の形態で可能であ
る。第１実施例の手法によれば、光線空間データの転送
は、仮想画像の提示と並行して、予め決められた順序で
行うために、ウオークスルーと光線空間データの同時処
理が可能となっている。 III：第１実施例の手法は、必ずしも、ユーザが現時
点で欲する光線空間空間のデータを提供するものではな
い。しかし、第２実施例の手法は、ユーザが現に欲しい
空間内の画像データによる仮想画像の提示となる。 IV：第３実施例に拠れば、仮想空間におけるウオーク
スルー体験を早期に行いたいという課題と、リアルタイ
ム性に優れたウオークスルー体験とを両立することがで
きる。

【００６２】〈第２実施形態〉第１実施形態は主記憶容
量が膨大である場合に有効であった。しかし、光線空間
データはその容量が膨大であり、多くの場合、システム
メモリ（主記憶）にゆとりが無くなる。第２実施形態
は、少ないメモリ容量でも、光線空間データによる仮想
空間の描画を可能にするものである。即ち、第２実施形
態のシステムは、ユーザが欲する部分仮想空間を察知
し、その部分（サブ）仮想空間のデータを、当該サブ空
間に入る前に、先読みで入手しておくものである。この
第２実施形態では、メモリ容量が限られているために、
一度入った１つのサブ空間から他のサブ空間に出ると、
前の空間の光線空間データは消去される。一方、推定に
よる先読みは、推定した空間の同定を誤ると、折角、メ
モリに確保した光線空間データを誤って消去してしま
い、かえって非効率の原因となる。この点について、こ
の第２実施形態は特別な工夫（後述）をしている。

【００６３】第１５図は、第２実施形態に係る画像処理
装置のハード構成を示す。第１実施形態と異なるところ
は、主記憶２７が低容量化されたために、光線空間デー
タを記憶するためのメモリ領域が、２単位分の容量（バ
ンクＢ１とバンクＢ２と呼ぶ）に分割されていることで
ある。

【００６４】この第２実施形態に特徴的なことは、仮想
空間の各ゾーンに対しては、前もて、種々の情報が埋め
込まれている。即ち、仮想空間は、平面方向で、

【００６５】中間ゾーン、

【００６６】遷移ゾーン、

【００６７】表示対象ゾーン

【００６８】という３種類のゾーンに分割されている。
表示対象ゾーンは、光線空間データによる仮想画像の表
示を第１の目的に設定された仮想ゾーンであり、第１６
図の例でも分かるように、主目的である展示室の大きさ
に合わせて設定されている。第１６図の例では、ゾーン
ＡとゾーンＢとは共に「表示対象ゾーン」である。ユー
ザは、この表示対象ゾーンの内側を自由に移動できるも
のであり、本システムは、ユーザの移動された視点位置
に合わせた仮想画像を生成し表示する。表示対象ゾーン
の外側には、この表示対象ゾーンと他の表示対象ゾーン
への移動経路を表す「遷移ゾーン」と「中間ゾーン」と
が設けられている。「遷移ゾーン」は、現時点で滞在し
ている表示対象ゾーンの周辺部に略同一の幅で形成され
た帯状のゾーンである。また、中間ゾーンは、複数の表
示対象ゾーン間に亘って形成された、「通路」としての
移動領域である。

【００６９】第１６図の例では、遷移ゾーンとして、表
示対象ゾーンＡの外側には、T_AC、T _AB、T_AD、T_AEが設け
られ、表示対象ゾーンの外側には、T_BC、T_BA、T_BDが設
けられている。例えば、遷移ゾーンT_ACは表示対象ゾー
ンＡと表示対象ゾーンＣとの間での遷移を制御するため
の情報が埋め込まれている。当然ことながら、遷移は２
方向で存在する。即ち、表示対象ゾーンへ進入する遷移
と、表示対象ゾーンから進出する（外に出る）遷移であ
る。

【００７０】各ゾーンは、第１７図に示す如く、そのゾ
ーンの属性を示す属性値を有する。またさらに、属性値
に加えて、そのゾーンが表示対象ゾーン（属性値＝０）
である場合において、当該ゾーン自身で描画表示のため
に必要とする画像を示す「必要画像ID」（以下、RQD-ID
と略す）フィールドを有する。

【００７１】遷移ゾーンは前述したように２つの表示対
象ゾーン間での遷移を取り扱う。このために、遷移ゾー
ン内にユーザの視点位置があるときは、その視点位置の
変化の方向は２つの方向のいずれかを有する。当該遷移
ゾーンが、内側の表示対象ゾーンから他の表示対象ゾー
ンに遷移する場合を示すために、その外側にある表示対
象ゾーンの画像を要求する（即ち、その外側にある表示
対象ゾーンへ移動することを予想しての先読みの要求）
ことを示すべく、「外側要求画像データID」（以下、EX
T-DMND-IDと略す）フィールドには、その移動しようと
する表示対象ゾーンでの光線空間データのIDを記憶す
る。また、当該遷移ゾーンが、他の外側の表示対象ゾー
ンから内側の表示対象ゾーンに遷移する場合を示すため
に、その内側の表示対象ゾーンの画像を要求する（即
ち、その内側の表示対象ゾーンへ移動することを予想し
ての先読みの要求）ことを示すべく、「内側要求画像デ
ータID」（以下、INT-DMND-IDと略す）フィールドに
は、その移動しようとする表示対象ゾーンでの光線空間
データのIDを記憶する。ここで、「ID」とは、第１実施
形態と同じように、１単位の光線空間データの集合を指
定する識別子である。

【００７２】具体的には、第１６図の例で、遷移ゾーン
T_ACは、表示対象ゾーンＡと表示対象ゾーンＣの間に存
在するから、この遷移ゾーンT_ACは、内側の表示対象ゾ
ーンＡに進入する目的で、この遷移ゾーンT_ACに進入し
てきた場合と、外側の表示対象ゾーンＣに進出すること
を目的として、この遷移ゾーンT_ACに進入してきた場合
とがあり、前者の場合には、INT-DMND-IDとして光線空
間画像データＡを先読みで要求し、後者の場合には、EX
T-DMND-IDとして光線空間画像データCを先読みで要求す
る。

【００７３】遷移ゾーンの外側には、第１６図の例で、
Ｘとして示された「中間ゾーン」が設けられている。中
間ゾーンは、表示対象ゾーンから表示対象ゾーンに移動
するに際して先読みを行わずに移動することを可能とす
る。

【００７４】遷移ゾーンの最大の目的は、メモリ２７を
小容量化したことに伴って必要とされる、光線空間デー
タの先読みを実現することである。また、メモリを小容
量化すると、不要となった光線空間データを記憶するバ
ッファを、より早く解放（「先解放」）しなくてはなら
ないが、中間ゾーンの目的は、誤って先解放した場合
に、再度、消失した光線空間データをDB２９からダウン
ロードするという無用な手間の発生を未然に防止するも
のである。即ち、後述するように、ジョイスティックな
どの操作を誤ったがために、表示対象ゾーンから進出す
ると誤判断されたような場合でも、この第２実施形態で
は、直ちにバッファ（メモリバンクにおける記憶領域）
を解放しないで、他方の空いているメモリバンクに、EX
T-DMND-IDに示された光線空間データを格納するように
する。このようにすると、第８図の例で、再度、表示対
象ゾーンに戻ってきても、その表示対象ゾーンの光線空
間データはメモリバンクに保存されているので、ダウン
ロードを行う必要が無くなる。

【００７５】第１８図に、表示対象ゾーンＡの周囲の各
種ゾーンに埋め込まれたゾーン属性情報の例を図示す
る。

【００７６】第１９図により、ユーザの視点位置が中間
ゾーン→遷移ゾーン→表示対象ゾーンに移動して行く過
程での、第２実施形態の特徴的な制御について説明す
る。この例の遷移ゾーンに埋め込まれた画像IDは、中間
ゾーンから遷移ゾーンに移ってきたときに先読み開始の
対象とする空間データのID(=INT-DMND-ID)はＡであり、
表示対象ゾーンから遷移ゾーンに移行してきたときの先
読み開始対象とする空間データのID(=EXT-DMND-ID)はＢ
である。即ち、中間ゾーンから遷移ゾーンに移行してき
たときは、ゾーン属性情報中のINT-DMND-IDを読み出
し、続く表示対象ゾーンでの空間データがＡであること
を知って、その空間データの、DB２９から（例えば）バ
ンクB₁へのダウンロードを開始する。空間データＡは、
表示対象ゾーンＡの全体の光線空間データを含むもので
あるから、先読みは表示対象ゾーンＡに実際に到達した
時点で直ちに光線空間を使用することが可能となるの
で、効果的である。次ぎに、遷移ゾーンから表示対象ゾ
ーンに移動してきたときは、この表示対象ゾーンのRQD-
IDがＡであることから、上述のダウンロードにより空間
データＡが主記憶２７のメモリ領域内（例えば、バンク
B₁）に格納されていることを確認する。ダウンロードが
終了していない場合には、この表示対象ゾーン内で待つ
ことになろう。

【００７７】第２０図により、ユーザの視点位置が表示
対象ゾーン→遷移ゾーン→中間ゾーンに移動して行く、
即ち、別の表示対象ゾーンに移動する過程での、第２実
施形態の特徴的な制御について説明する。

【００７８】表示対象ゾーンから遷移ゾーンに移行して
きたときは、ゾーン属性情報中のEXT-DMND-IDを読み出
し、それまで滞在していた表示対象ゾーンＡに隣り合う
表示対象ゾーンの空間データがＢであることを知る。そ
こで、その空間データの、DB２９からのダウンロードを
開始する。ここで、空間データＡはバンクB₁に既に記憶
されているので、空間データＢのダウンロード先はバン
クB₂とする。即ち、バンクB₁内の空間データＡはそのま
ま保存する。

【００７９】この第２実施形態では同じ遷移ゾーンにと
どまる間は、その遷移ゾーンの下位の表示対象ゾーンの
ための空間データを保持しておく。この保持により、ユ
ーザが再度表示対象ゾーンに戻ったときでも、バンクB₁
内の空間データＡをそのまま使うことができるので、光
線空間データＡの再ダウンロードが防止される。また、
次の表示対象ゾーンのための光線空間データＢの先読み
込みは既に開始されているので、表示対象ゾーンＢに到
着したときはその光線空間Ｂを直ちに描画できることが
期待される。

【００８０】この第２実施形態では、遷移ゾーンにとど
まったまま、前の表示対象ゾーンの光線空間データを保
持できるのは、所定時間の遷移ゾーンでの留まりに制限
されている。この時間は、１単位の光線空間の容量、ユ
ーザの好み、仮想空間の大きさに応じて可変とされ、若
しくは前もって設定されているべきであるが、説明の便
宜上、この第２実施形態では、例えば５秒に設定されて
いる。即ち、第２１図の例では、表示対象ゾーンＡから
遷移ゾーンに移行した後に、表示対象ゾーンに戻り、再
度遷移ゾーンに移行し、また、表示対象ゾーンに戻り、
さらに遷移ゾーンに移行するという動作を行っている
が、この動作では、遷移ゾーンにとどまっていた各々の
時間は全て５秒未満であったがために、光線空間データ
Ａは保持されていたものである。

【００８１】一方、第２２図の例では、遷移ゾーンに５
秒間とどまっていたので、遷移ゾーンに滞在しているに
も関わらず、バンクB₁のデータＡはパージ（無効）さ
れ、そのバッファは解放されたことになる。

【００８２】第２１図に示したような、ユーザの視点位
置が遷移ゾーンにとどまる間は、マウス若しくはジョイ
スティックの操作によって、ユーザが表示対象ゾーンの
内部ではあるが、その周辺部を移動する操作を行った場
合には、誤って遷移ゾーンに進入してしまい、ユーザに
とっては誤認識となってしまうことがあるからである。
但し、５秒以上、遷移ゾーンにとどまるということは、
ユーザが下の表示対象ゾーンを離れる意図を有している
ものと推認できるために、バッファに保存していたその
ゾーンの光線空間データを破棄してもよいのである。

【００８３】次に、フローチャートなどを参照しながら
第２実施形態の制御手順について説明する。尚、第２３
図乃至第２６図は、この制御手順に用いられる各種レジ
スタを説明するものであり、実際の制御手順は第２７図
以降に示される。

【００８４】第２７図は第２実施形態の制御手順のメイ
ンルーチンを示す。

【００８５】即ち、ステップＳ１００でビルボード画像
をビルボード画像DB３１からダウンロードする。第２実
施形態では、展示室のような表示対象ゾーンでは、光線
空間データに基づいた仮想画像を表示するのが原則であ
るが、前述したように、主記憶の光線空間格納用のバン
ク容量が少ないので、表示対象ゾーンに近づく毎に光線
空間データを先読みするようにしている。このために、
場合によっては、ユーザが表示対象ゾーンに進入した時
点で光線空間データが揃っていない場合がある。ビルボ
ード画像は、かかる場合に、代替画像として表示され
る。

【００８６】ステップＳ１００でビルボード画像の全て
がメモリ２７のバンクＢ_３領域にダウンロードされたな
らば、ステップＳ１０２以下で、ユーザにウオークスル
ーが許される。

【００８７】ステップＳ１０２では、ユーザがジョイス
ティックなどを操作して、仮想視点位置を移動したか否
かを判定する。視点位置の移動があった場合には、ステ
ップＳ１０４で、その移動がゾーンを超えた移動である
かを判定する。ゾーンを跨った移動でない場合には、ス
テップＳ１１６に進み、その視点位置における、仮想画
像を生成して表示する。この場合には、光線空間データ
が存在しない場合には、ビルボード画像を表示し、光線
空間データが存在する場合には、その光線空間データを
仮想画像に変換して表示する。第２８図は、視点位置に
対応させて、光線空間データによる仮想画像が表示され
る場合と、ビルボード画像が表示される場合とを示す。
尚、ビルボード画像は、前述の第１実施形態とこの第２
実施形態とでは、VRML(Virtual Reality Modeling Lang
uage)で記述されている。ビルボード画像を表示するこ
との利点は、ユーザが仮想空間をウオークスルーする場
合には、目的のサブ空間を所謂ブラウジングすることが
多く、かかるブラウジングの場合には、光線空間データ
による高精細な画像よりも、ビルボード画像で十分に目
的が達成されるからである。

【００８８】ユーザの視点位置移動により、ゾーンが変
更された場合には、ステップＳ１０４に進み、ステップ
Ｓ１０６では、レジスタCR-Z（第２１図参照）に記憶さ
れていた表示対象ゾーンの属性値を、レジスタPR-Zに待
避する。ステップＳ１０８では、当該ゾーンのゾーン属
性情報（第１７図）を読み出し、その属性値をレジスタ
CR-Zに保持する。ステップＳ１１２では、レジスタPR-Z
の前ゾーンの属性値と、レジスタCR-Z内の現ゾーンの属
性値とを比較することにより、ゾーン変化を検出する。
ここで、ゾーン変化は、属性値の変化として認識でき、
第２実施形態では、

【００８９】２→１（中間ゾーン→遷移ゾーン）、

【００９０】１→０（遷移ゾーン→表示対象ゾーン）

【００９１】０→１（表示対象ゾーン→遷移ゾーン）

【００９２】１→２（遷移ゾーン→中間ゾーン）

【００９３】の４通りの変化があり得る。そこで、ステ
ップＳ１１４で、これらの変化に応じた処理を行う。

【００９４】〈中間ゾーン→遷移ゾーン〉中間ゾーンか
ら遷移ゾーンに移動してきた場合とは、ユーザがこの遷
移ゾーンからさらに表示対象ゾーンに移動することが予
想される場合が多い。一方、第２実施形態では、後述す
るように、ユーザの体験希望の対象である表示対象ゾー
ンの光線空間データは、その前の表示対象ゾーンに続く
遷移ゾーンへの遷移（第３１図の０→１移動）において
先読みしている筈である。そこで、ステップＳ２００で
は、この遷移ゾーンの属性情報であるINT-DMND-IDを有
する光線空間データが、メモリバンクB₁またはB₂の、ど
ちら側に格納されているかを確認する。この確認は、レ
ジスタF_B1，F_B2のうちで、値１（バンク内データは有
効）を有するものを選択し、その値が１であるバンクB_X
に対応するレジスタID_BXの値により、どのメモリバンク
に光線空間データが記憶されているかを調べることがで
きる。光線空間が既にバンク中にダウンロードされてい
るならば、第２９図の制御手順からRETURNして、メイン
ルーチンに戻る。

【００９５】光線空間データがダウンロードされていな
い場合には、ステップＳ２０２で、現在、ダウンロード
している最中かを判定する。この判定は、通信インタフ
ェース２４（第１５図）の状態を管理するレジスタCOM
の値（第２６図参照）を調べることにより為される。CO
M=1であれば、現在、光線空間データがどちらかのバン
クにダウンロードされている最中であると判断して、メ
インルーチンにRETURNする。ステップＳ２０２では、ダ
ウンロードの終了を待つことはしない。この遷移ゾーン
から次の表示対象ゾーンに移動するまでの間にダウンロ
ードが終了しているかもしれないからである。尚、この
ダウンロードの最中であるか否かの確認は、フラグF_B1
またはF_B2の値が３であるか否かを判断することによっ
て確認すると、さらによい。

【００９６】ダウンロードされていない場合には、ステ
ップＳ２０４以下で、データベースDB２９からダウンロ
ード（先読み）を行う。即ち、ステップＳ２０４では、
空のメモリバンクを探す。空のメモリバンクは、レジス
タF_Bの値 (第２３図)が０であるメモリバンクである。
このようなバンクが見つかったならば、そのバンク番号
をワークレジスタWK(=０または１)に格納する。ステッ
プＳ２０６で、そのバンクB_WKのフラグF_WKの値を、ダウ
ンロード中であることを示す値３にセットする。そし
て、ステップＳ２０８で、光線空間DB２９に対してダウ
ンロードのための転送要求を出す。そして、通信インタ
フェース２４のレジスタの値を、ダウンロードであるこ
とを示すように、COM=1とする。

【００９７】かくして、中間ゾーンから遷移ゾーンに進
入してきたときは、これから更に進入するであろう表示
対象ゾーンの光線空間データの格納状態を確認し、格納
されていない場合には、ダウンロードを行って光線空間
データの先読みを開始する。

【００９８】尚、ステップＳ２００でＮＯと判断（その
必要な光線空間データがメモリバンク内に存在していな
い）された場合には、そのデータがダウンロード中か否
かをステップＳ２０２で判断し、その判断結果に拘わら
ず、第２９図の制御手順から、第２７図のステップＳ１
１６にRETURNしていたが、ステップＳ１１６では、その
移動した視点位置における空間データにより仮想画像を
描画しているので、光線空間データが存在すれば、光線
空間データによる描画が、ダウンロードが終了していな
い場合には、ビルボード画像による代替表示が行われる
ことになる。

【００９９】〈遷移ゾーン→表示対象ゾーン〉遷移ゾー
ンから表示対象ゾーンに移行してきた場合の制御手順を
第３０図に示す。遷移ゾーン→表示対象ゾーンという移
動は、中間ゾーン→遷移ゾーン→表示対象ゾーンという
通常の移動の他に、第２１図に示したような、表示対象
ゾーン→遷移ゾーンに移動し、その遷移ゾーンから表示
対象ゾーンに戻るような場合も含む。いずれにしても、
既にメモリバンクに必要な空間データが存在するか、或
いは、そのメモリバンク中にダウンロードされつつある
かの、いずれかでなくてはならない。ステップＳ２５０
での判断がＮＯであった場合には、制御は誤りがあった
のであるから、終了する。この判断は、当該表示対象ゾ
ーンの属性情報（第１７図）の必要画像ID(RQD-ID)に対
応する値を参照して、第２４図のテーブルをサーチする
ことにより、なされる。即ち、表示対象ゾーンＡに進入
した場合には、B_A＝１であれば、光線空間データＡはバ
ンクB₁に、B_A＝２であれば、光線空間データＡはバンク
B₂に格納されている。

【０１００】一方、ステップＳ２５０でＹＥＳ、即ち、
メモリバンク中に必要な光線空間データが既に、存在す
るか、或いは、そのデータをダウンロード中である場合
には、ステップＳ２５２でタイマTMRの値がゼロである
か否かを調べる。即ち、表示対象ゾーン→遷移ゾーンへ
の移動では、前述したように、５秒間タイマTMRを起動
しているので、再び、表示対象ゾーンに戻った場合に
は、このタイマTMRをリセットする必要がある。そこ
で、ステップＳ２５２で、５秒間の監視タイマTMRが起
動されているかを調べ、起動されていれば、ステップＳ
２５４でリセットする。

【０１０１】ステップＳ２５６，ステップＳ２５８で
は、一旦「グレイ」とマークされた光線空間データを
「有効」データであると復活させるものである。ステッ
プＳ２５６，ステップＳ２５８の処理に関しては、第３
１図のステップＳ２９０以下の説明で関連して行う。

【０１０２】かくして、表示対象ゾーンではユーザは光
線空間データに基づいた仮想空間を体験することができ
る。

【０１０３】〈ダウンロードの終了〉ダウンロードの終
了は、オペレーティングシステムにより、本制御手順に
割り込みがかけられる。この割り込みが検知されると、
第３４図の制御手順が起動される。

【０１０４】第３４図のステップＳ４００で、通信イン
タフェース２４の状態をアイドル状態（COM＝０）に設
定する。ステップＳ４０２では、当該ダウンロードによ
りデータ格納が行われていたメモリバンクを調べる。即
ち、F_B=3であるバンクを探し、そのバンク番号をワーク
レジスタWKに待避する。ステップＳ４０４では、当該バ
ンクのレジスタF_WKの値を、データ有効であることを示
すために、“１”にセットする。更に、ステップＳ４０
６では、バンクB_WKに格納されているデータの識別を行
うために、ID_WKの値を光線空間データの識別子(A, B, C
…)に設定する。更にステップＳ４０８では、空間デー
タの記憶先を示すレジスタB（第２４図）に、ダウンロ
ードされた光線空間データの識別子を示す値をセットす
る。

【０１０５】かくして、レジスタF_B1、F_B2、ID_B1、I
D_B2、B_A…などにより、光線空間データが有効に格納さ
れているバンクの所在を任意にチェックすることが可能
になった。

【０１０６】〈表示対象ゾーン→遷移ゾーン〉表示対象
ゾーンから遷移ゾーンに移動した場合の制御手順を第３
１図に示す。

【０１０７】即ち、ステップＳ２８０では、タイマTMR
を起動する。タイマTMRのタイムアウト（TMRの値が所定
値に達する）するか否かは、第３３図の制御手順で監視
される。

【０１０８】ステップＳ２８２以下では、次の表示対象
ゾーン（隣の表示対象ゾーン）のための光線空間データ
のダウンロードの準備を行う。即ち、ステップＳ２８２
で、空のメモリバンクを探すために、レジスタF_Bの値が
０であるバンクを探し、そのバンク番号をワークレジス
タWKに格納する。ステップＳ２８４で、このメモリバン
クB_WKをダウンロード中とマーク（F_WK＝３）する。そし
て、ステップＳ２８２でダウンロードの開始をインタフ
ェース２４に指令する。ステップＳ２８８では、インタ
フェース２４の状態をダウンロード中とマーク（COM＝
３）する。

【０１０９】更にステップＳ２９０以下で、前の表示対
象ゾーン（それまでユーザが滞在していた表示対象ゾー
ン）で描画目的で使用されていた光線空間データを「グ
レイ」とマークする。前述したように、表示対象ゾーン
から遷移ゾーンに移動してきたときは、他の表示対象ゾ
ーンに移動する可能性が高いので、それまでの表示対象
ゾーンで使用してきた光線空間データは不要となる可能
性が高い。しかしながら、この第２実施形態では、ジョ
イスティックの誤操作を考慮して、その光線空間データ
を保持するようにしていることは、第２１図、第２２図
で説明した通りである。メモリバンク内に保持される光
線空間データは、消去される可能性もあるので、本実施
形態では、「グレイ」状態にあると呼ぶ。尚、「グレ
イ」状態にある光線空間データの消去は、１→２移動の
制御手順である第３２図のステップＳ３０２で行う。

【０１１０】ステップＳ２９０では、当該遷移ゾーンの
INT-DMND-IDの値から、前の表示対象ゾーンに用いられ
ていた光線空間データの識別子を知り、この値をワーク
レジスタWKに格納し、ステップＳ２９２では、画像の記
憶先を保持するレジスタB（第２４図）を参照して、当
該光線空間データが記憶されていたメモリバンクの番号
を知り、その値をワークレジスタWKに格納する。そし
て、ステップＳ２９４では、このメモリバンクの状態を
「グレイ」とマークするために、F_WK=2とする。

【０１１１】かくして、第３１図の制御手順では、次の
表示対象ゾーンのための光線空間データが先読み開始さ
れると共に、それまで使用していた光線空間データを
「グレイ」状態とすることにより、何時でも復活可能と
した。

【０１１２】もし、ユーザが、再度，元の表示対象ゾー
ンに戻るような操作を行ったとすると、その操作は、遷
移ゾーン→表示対象ゾーンへの移行と検知されて、第３
０図のステップＳ２５６によって処理される。即ち、ス
テップＳ２５６で、グレイ状態にあるバンクがサーチさ
れて、ステップＳ２５８では、その状態値を、F_B＝１と
する。

【０１１３】尚、ステップＳ２８６で、開始したダウン
ロードにより、次の表示対象ゾーンのための光線空間デ
ータがやがてバンク上で有効（F_B=1）とマークされるよ
うになる、即ち、有効な画像データが２つのメモリバン
ク（Ｂ１とＢ２）の双方に格納された状態が発生する
が、この第２実施形態では、画像描画は、第２４図のレ
ジスタBの値に従って行うために、２つの有効光線空間
データを混同することはない。

【０１１４】〈遷移ゾーン→中間ゾーン〉遷移ゾーンか
ら中間ゾーンへと移動してきた場合には、第３２図の制
御手順が実行される。

【０１１５】即ち、ステップＳ３００では、グレイ状態
になっている光線空間データをパージするために、当該
光線空間データを格納しているバンクを探す。即ち、ス
テップＳ３００では、F_B=2であるバンクを調べ、そのバ
ンク番号をワークレジスタWKに格納し、更に、そのバン
クのレジスタF_WKの状態値をデータ無効であることを示
す０とする。更に、ステップＳ３０４では、対応するレ
ジスタID_B（第２３図）とレジスタB（第２４図）の値
を、上記データの無効化が反映されるように設定し直
す。

【０１１６】〈タイムアウトの発生〉５秒タイマTMRが
タイムアウトした場合の制御手順を第３３図に従って説
明する。このタイマTMRは、ユーザ視点位置が遷移ゾー
ン内にある場合にのみ有効である。

【０１１７】ステップＳ５００では、タイマTMRをリセ
ットする。ステップＳ５０２では、「グレイ」状態とさ
れている光線空間データを記憶するバンクを探し、その
バンク番号をワークレジスタWKに記憶する。ステップＳ
５０４では、その番号のバンクの状態レジスタF_WKの値
を０（データ無効）にセットする。ステップＳ５０６で
は、関連するレジスタID_B（第２３図）とレジスタB（第
２４図）の値を、上記データの無効化が反映されるよう
に設定し直す。

【０１１８】かくして、遷移ゾーンに所定時間以上とど
まっていた場合には、ユーザが元の表示対象ゾーンを離
れる意向がハッキリしていると推定して、グレイ状態に
ある光線空間データを無効化する。即ち、ユーザに替わ
ってバッファの解放が自動的に行われる。

【０１１９】第２実施形態は種々に変形可能である。

【０１２０】I：例えば、第２実施形態では、１つの
表示対象ゾーンを囲むゾーンには、二重のゾーン、即
ち、遷移ゾーンと中間ゾーンの２つのみを設けていた
が、その数は２つに限定されない。例えば、上層の遷移
ゾーンと下層の遷移ゾーンを２つ設けることを提案す
る。即ち、上記第２実施形態では、光線空間データの先
読みは、次の表示対象ゾーンに進む場合（表示対象ゾー
ン→遷移ゾーンという移動）に行われていた。但し、中
間ゾーンから表示対象ゾーンに進む場合にも先読みは成
されていたが、これは表示対象ゾーンの次の層の遷移ゾ
ーンで開始される先読みであるために、遷移ゾーンから
すぐに表示対象ゾーンに移行することとなり、実効性に
乏しい。そこで、上記のように、２層の遷移ゾーンを設
け、上層の遷移ゾーンでは、当該表示対象ゾーンに進入
するときの先読みを行い、下層の遷移ゾーンでは、当該
表示対象ゾーンから他の表示対象ゾーンへ進むときの先
読みを行うようにする。この場合は、中間ゾーンは不要
となる。 II：上記第２実施形態では、例えば、表示対象ゾーン
(A)→ＡからBへの遷移ゾーン→中間ゾーン→Cの遷移ゾ
ーン→表示対象ゾーンCと移動した場合には、ＡからBへ
の遷移ゾーンにおいて、表示対象ゾーンＢのための光線
空間データの先読みは行われるけれども、結局、表示対
象ゾーンＣに移動したのであるから、先の先読みは効率
的な先読みとはならない。かかる場合に備えて、中間ゾ
ーンも全て、表示対象ゾーンに対応させて細分化するこ
とにより、上記先読みの非効率かを防止することができ
る。

【０１２１】III：上記実施形態では、光線空間デー
タを例にして説明したが、本発明はこれに限定されず、
データ転送にある程度の時間を要する空間データ、即
ち、リアルタイム処理に足かせとなるようなデータ転送
時間を必要とするあらゆる空間データに対しても、適用
可能である。従って、本発明は、主記憶とDBとの間が、
通信回線によって接続されているシステムにのみ適用さ
れるものではなく、そのアプリケーションのリアルタイ
ム性に対する要求度によって、本発明の処理が必要とな
るか否かを判断すべきである。従って、場合によって
は、本発明は、主記憶とデータベースDBとが並列バスに
よって接続されているようなシステムにも適用可能であ
る。

【０１２２】IV：上記第２実施形態では、グレイ領域
とされた光線空間データは遷移ゾーンに所定時間留まっ
ていた場合には消去するようになっていたが、更に、ユ
ーザが、所定のキーボード操作（或いは、例えば第３６
図に示されたような所定のアイコンに対する操作）によ
って、その消去動作が開始されるように変形してもよ
い。 V：この第２実施形態では、光線空間データはデータ
ベース２９では符号化されており、そのデータベースか
らダウンロードされてくる都度に復号化されていた。し
かしながら、第１実施形態の第３実施例に関連して説明
したように、符号化空間データの復号化処理が時間を要
する反面、符号化されている空間データはメモリ容量を
大きく占有しない。即ち、システムに装備されている主
記憶のメモリ容量によっては、符号化されている光線空
間データの全てを格納する余裕が生まれる可能性があ
る。そこで、主記憶２７に余裕がある場合には、第２実
施形態に対して上記第３実施例と同じような変形例を施
し、即ち、光線空間データの全てをメモリ２７にダウン
ロードしておき、リアルタイムに移動してきたユーザ視
点位置における光線空間データのみを復号化するような
変形例を提案する。この変形例では、第２実施形態に対
して、復号化処理専用のプロセッサ或いはタスクを別途
に設け、更に、第２実施形態のダウンロード動作が、復
号化処理に相当するように変形例する。即ち、ダウンロ
ード中か否かのフラグ(COM)は、復号化処理中か否かの
フラグに変更し、バンク内のデータは有効か否かのフラ
グ（第２３図のF_B）は復号化されているか否かを示すフ
ラグとする。そして、全ての表示対象ゾーンの光線空間
データは、ステップＳ１００（第２７図）において、ビ
ルボード画像データと共にダウンロードされるように変
形例する。その上で、新たな表示対象ゾーンにはいると
きの光線空間データのデータベースからの先読みは、符
号化データを復号化させる処理を先行化させる動作に変
更する。

【０１２３】このような変形例により、第２実施形態に
対して、リアルタイム処理が更に改善される。

【０１２４】

【発明の効果】以上説明したように本発明によれば、仮
想空間を渡り歩く場合に、ある仮想空間の描画のために
一旦ダウンロードしたデータを、再度ダウンロードする
という無駄を防止することができる。

【０１２５】更に、所定の条件を満たせば、メモリを解
放するので、そのメモリを有効利用することができる。

【図面の簡単な説明】

【図１】光線空間データを生成する原理を説明する
図。

【図２】実空間でのデータを説明する図。

【図３】図２の空間が光線空間データによって表され
たときの図。

【図４】カメラが複数ある時の実空間データを生成す
る原理を説明する図。

【図５】カメラが複数ある時の光線空間データを生成
する原理を説明する図。

【図６】カメラが複数ある時の光線空間データから、
任意の視点位置における光線空間データ(x+Zu=X)を生成
する原理を説明する図。

【図７】図６の任意視点からの実空間を再構成する原
理を説明する図。

【図８】発明者が提案しようとするウオークスルー環
境下で発生し得る不都合を説明する図。

【図９】第１実施形態と第２実施形態に関わる仮想空
間提示装置（仮想画像描画装置）の構成を説明する図。

【図１０】第１実施形態と第２実施形態における仮想
空間の構成を説明する図。

【図１１】第１実施形態の装置における主要部分の構
成を説明する図。

【図１２】第１実施形態のシステムにおいて、光線空
間理論データとビルボード画像データとのダウンロード
状態を管理するテーブルの構成を説明する図。

【図１３】第１実施形態の第１実施例の制御手順を示
すフローチャート。

【図１４】第１実施形態の第２実施例の制御手順を示
すフローチャート。

【図１５】本発明の第２実施形態の構成を説明するブ
ロック図。

【図１６】第２実施形態において用いられる仮想空間
の一構成例を説明する図。

【図１７】第２実施形態において、仮想空間内の各ゾ
ーンに与えられた属性情報を示す図。

【図１８】図１７の属性に従って、図１６のゾーンＡ
に与えられた属性値を説明する図。

【図１９】第２実施形態において、ユーザの視点位置
が、中間ゾーンから遷移ゾーン、更に表示対象ゾーンへ
と移動する過程で行われる主な制御動作を概略的に説明
する図。

【図２０】第２実施形態において、ユーザの視点位置
が、表示対象ゾーンから遷移ゾーン、更に、中間ゾーン
へと移動する過程で行われる主な制御動作を概略的に説
明する図。

【図２１】第２実施形態において、ユーザの視点位置
が表示対象ゾーンと遷移ゾーンの間を往復する場合の制
御動作を概略的に説明する図。

【図２２】第２実施形態において、ユーザの視点位置
が遷移ゾーンに留まる場合の制御動作を概略的に説明す
る図。

【図２３】第２実施形態の制御手順で用いられる各種
レジスタ、特に、メモリバンクの状態を管理するレジス
タと、バンク内に記憶された画像の識別を記憶するレジ
スタとを説明する図。

【図２４】第２実施形態の制御手順で用いられる各種
レジスタ、特に、各表示対象ゾーンで描画されるべき光
線空間理論データと、そのデータの格納先との関係を管
理するレジスタを説明する図。

【図２５】第２実施形態の制御手順で用いられる各種
レジスタ、特に、ユーザが直前にいた表示対象ゾーンの
識別を記憶するレジスタPR-Zと、現在の表示対象ゾーン
の識別を記憶するレジスタCR-Zとを説明する図。

【図２６】第２実施形態の制御手順で用いられるレジ
スタCOMとタイマTMRとを説明する図。

【図２７】第２実施形態の制御手順のメインルーチン
に係るフローチャート。

【図２８】第２実施形態（第１実施形態でも同様）に
おいて、光線空間理論データによる仮想画像とビルボー
ド画像データによる仮想画像との関係を説明する図。

【図２９】第２実施形態の制御手順の一部を説明する
フローチャート。

【図３０】第２実施形態の制御手順の一部を説明する
フローチャート。

【図３１】第２実施形態の制御手順の一部を説明する
フローチャート。

【図３２】第２実施形態の制御手順の一部を説明する
フローチャート。

【図３３】第２実施形態の制御手順の一部を説明する
フローチャート。

【図３４】第２実施形態の制御手順の一部を説明する
フローチャート。

【図３５】第１実施形態の第３実施例の制御手順の一
部を説明するフローチャート。

【図３６】第２実施形態の変形例に関わるアイコンの
形状を説明する図。

───────────────────────────────────────────────────── フロントページの続き (72)発明者小竹大輔横浜市西区花咲町６丁目145番地横浜花咲ビル株式会社エム・アール・システム研究所内 (56)参考文献特開平10−312471（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 15/00 - 17/50 G06F 13/00

Claims

(57)【特許請求の範囲】

【請求項１】仮想空間を描画する空間描画方法におい
て、複数の仮想空間の空間データを第１のメモリに格納して
おき、第１の領域に属する任意指示位置における第１の仮想空
間を、前記第１のメモリと異なる第２のメモリに前記第
１のメモリからダウンロードしておいた第１の空間デー
タに基づいて描画し、指示位置が前記第１の領域の外側の第２の領域内に移動
したときに、前記第１の空間データを前記第２のメモリ
内に保持しておくと共に、前記第２の領域の空間データ
を前記第１のメモリから前記第２のメモリにダウンロー
ドし、指示位置が、前記第１の領域から前記第２の領域に移動
した後、前記第２の領域の外側の第３の領域内に移動し
たときに、前記第２のメモリ内に保持されていた前記第
１の空間データを解放することを特徴とする空間描画方
法。
【請求項２】仮想空間を描画する空間描画方法におい
て、複数の仮想空間の空間データを第１のメモリに格納して
おき、第１の領域に属する任意指示位置における第１の仮想空
間を、前記第１のメモリと異なる第２のメモリに前記第
１のメモリからダウンロードしておいた第１の空間デー
タに基づいて描画し、指示位置が前記第１の領域の外側の第２の領域内に移動
したときに、前記第１の空間データを前記第２のメモリ
内に保持しておくと共に、前記第２の領域の空間データ
を前記第１のメモリから前記第２のメモリにダウンロー
ドし、指示位置が、前記第１の領域から前記第２の領域に移動
した後、前記第２の領域に第１の時間幅だけ留まったと
きに、前記第２のメモリ内に保持されていた前記第１の
空間データを解放することを特徴とする空間描画方法。
【請求項３】指示位置が前記第２の領域から前記第１
の領域に戻ったときに、前記第２のメモリに保持されて
いる前記第１の空間データを、仮想空間の描画の基礎に
用いることを特徴とする請求項１又は２に記載の空間描
画方法。
【請求項４】仮想空間を描画する空間描画方法におい
て、複数の仮想空間の空間データを第１のメモリに格納して
おき、第１の領域に属する任意指示位置における第１の仮想空
間を、前記第１のメモリと異なる第２のメモリに前記第
１のメモリからダウンロードしておいた第１の空間デー
タに基づいて描画し、指示位置が前記第１の領域の外側の第２の領域内に移動
したときに、前記第１の空間データを前記第２のメモリ
内に保持しておくと共に、前記第２の領域の空間データ
を前記第１のメモリから前記第２のメモリにダウンロー
ドし、指示位置が、前記第１の領域から前記第２の領域に移動
した場合において、指示位置が前記第２の領域に留まる
間にユーザが所定の指示操作を行ったときに、前記第２
のメモリ内に保持されていた前記第１の空間データを解
放することを特徴とする空間描画方法。
【請求項５】前記第３の領域は、前記第１の仮想空間
の前記第１の領域と、前記第２の領域の双方を囲うこと
を特徴とする請求項１に記載の空間描画方法。
【請求項６】指示位置が前記第１の領域と第２の領域
との間での出入りを繰り返すときには、前記第２の領域
の空間データのダウンロードの繰り返しを規制すること
を特徴とする請求項１乃至５のいずれかに記載の空間描
画方法。
【請求項７】指示位置が前記第３の領域から前記第１
の仮想空間の前記第２の領域に入るときには、前記第１
の空間データが前記第２のメモリに既に保持されている
ことを確認することを特徴とする請求項１に記載の空間
描画方法。
【請求項８】請求項１乃至７のいずれかに記載の空間
描画方法を実現するコンピュータプログラムを記憶する
プログラム記憶媒体。
【請求項９】任意の視点位置から見た仮想空間を描画
する仮想空間描画装置において、複数の仮想空間の空間データを格納する第１のメモリ
と、前記第１のメモリと異なる第２のメモリと、第１の領域に属する任意視点位置における第１の仮想空
間を、前記第１のメモリから前記第２のメモリにダウン
ロードしておいた第１の空間データに基づいて描画する
手段と、視点位置が前記第１の領域の外側の第２の領域内に移動
したときに、前記第１の空間データを前記第２のメモリ
内に保持しておくと共に、前記第２の領域の空間データ
を前記第１のメモリから前記第２のメモリにダウンロー
ドする手段と、指示位置が、前記第１の領域から前記第２の領域に移動
した後、前記第２の領域の外側の第３の領域内に移動し
たときに、前記第２のメモリ内に保持されていた前記第
１の空間データを解放する手段とを具備することを特徴
とする仮想空間描画装置。
【請求項１０】任意の視点位置から見た仮想空間を描
画する仮想空間描画装置において、複数の仮想空間の空間データを格納する第１のメモリ
と、前記第１のメモリと異なる第２のメモリと、第１の領域に属する任意視点位置における第１の仮想空
間を、前記第１のメモリから前記第２のメモリにダウン
ロードしておいた第１の空間データに基づいて描画する
手段と、視点位置が前記第１の領域の外側の第２の領域内に移動
したときに、前記第１の空間データを前記第２のメモリ
内に保持しておくと共に、前記第２の領域の空間データ
を前記第１のメモリから前記第２のメモリにダウンロー
ドする手段と、指示位置が、前記第１の領域から前記第２の領域に移動
した後、前記第２の領域に第１の時間幅だけ留まったと
きに、前記第２のメモリ内に保持されていた前記第１の
空間データを解放する手段とを具備することを特徴とす
る仮想空間描画装置。
【請求項１１】仮想空間を描画する仮想空間描画装置
において、複数の仮想空間の空間データを格納する第１のメモリ
と、前記第１のメモリとは異なる第２のメモリと、第１の領域に属する任意指示位置における第１の仮想空
間を、前記第１のメモリから前記第２のメモリにダウン
ロードしておいた第１の空間データに基づいて描画する
手段と、指示位置が前記第１の領域の外側の第２の領域内に移動
したときに、前記第１の空間データを前記第２のメモリ
内に保持しておくと共に、前記第２の領域の空間データ
を前記第１のメモリから前記第２のメモリにダウンロー
ドする手段と、指示位置が、前記第１の領域から前記第２の領域に移動
した場合において、指示位置が前記第２の領域に留まる
間にユーザが所定の指示操作を行ったときに、前記第２
のメモリ内に保持されていた前記第１の空間データを解
放する手段とを具備することを特徴とする仮想空間描画
装置。