JPH0785316A - コンピュータによって生成された情報を表示する方法およびコンピュータによって生成されたモデルを表示する装置 - Google Patents

Abstract

(57)【要約】 【目的】 バーチャル・リアリティシステムの機能を向
上させる。 【構成】 表示するモデルの多数の視点に対応した情報
をフレーム・バッファに格納し、ユーザからの入力に基
づいて視点の１つを選択し、フレーム・バッファの選択
された視点に対応した情報にアクセスし、選択された視
点に対応した情報を表示装置に表示する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、コンピュータ・グラ
フィックスに係るもので、とくにコンピュータの情報を
提示する能力を増大させるためのシステムおよび方法に
関するものである。

【０００２】

【従来の技術】コンピュータの情報処理能力は大幅に向
上している。現在、多くのコンピュータは１個または複
数の強力なマイクロプロセッサを搭載している。マルチ
タスクオ・ペレーティングシステムにより、コンピュー
タは同時に複数のアプリケーションを実行できる機能を
与えられている。アプリケーション・プログラムは、こ
のような処理能力の向上を有効に利用し、その結果とし
て、グラフィックの重要性が増している。

【０００３】標準的なコンピュータ端末（たとえば１９
インチモニタ）のサイズは、処理された情報をユーザに
提示する上での制約の１つになっている。現在、標準的
なデスクトップ・コンピュータは、端末画面に表示しき
れないほどの情報処理能力を備えている。この問題を解
決するために、コンピュータ業界はいくつかの手段を試
みてきた。

【０００４】

【発明が解決しようとする課題】もっとも一般的な方法
は、ウィンドウ方式のソフトウェアである。ウィンドウ
システムは、ウィンドウおよびアイコンを重ね合わせる
ことによって、表示端末の画面スペースを最大限有効に
利用しようとするものである。このようなウィンドウ操
作環境は、有用ではあるが、操作に不便を感じることが
多い。ユーザは、画面上の各種のウィンドウおよびアイ
コンの移動、サイズ変更、およびオープン／クローズを
実行するために多大な時間を費やさなければならない。
しかもウィンドウのオープン／クローズは必ずしも迅速
に実行されない。重なったウィンドウが視覚的に苛立ち
を感じさせることもある。また、ウィンドウ内で情報を
操作するのは困難である。各ウィンドウのサイズおよび
同時に表示できるウィンドウ数は、表示端末の物理的な
大きさによって制限され、グラフィックが多用されるア
プリケーションの場合、そのサイズでは１個のオブジェ
クト全体を表示するのに小さすぎるということがしばし
ばある。

【０００５】コンピュータの表示領域を拡大するもう１
つの方法は、単純に大型のモニタを使用することであ
る。現在、数社が２８インチのモニタを販売している。
このような大型モニタを使用すれば、コンピュータの表
示能力をある程度向上させることはできるが、上記のよ
うな問題が解決されるわけではない。また、大型モニタ
は製造コストがきわめて高く、輸送も容易でない。現在
市販されている製品の１つは、重さが２００ポンドを越
え、奥行きが３０インチ以上ある。明らかに、このよう
なモニタは、標準的なデスクトップ・コンピュータ用と
しては実用的でない。

【０００６】コンピュータの表示領域を拡大するもう１
つの方法がバーチャル・リアリティシステムである。バ
ーチャル・リアリティシステムという概念は、本出願の
共同発明者であるアイバン・サザーランドが「Ａ ｈｅ
ａｄ−ｍｏｕｎｔｅｄ ｔｈｒｅｅ ｄｉｍｅｎｓｉｏ
ｎａｌ ｄｉｓｐｌａｙ（ヘッドマウンテッド型３Ｄデ
ィスプレイ）」（１９６８年ＡＦＩＰＳ会報Ｖｏｌ．３
３）と題された論文の中で初めて定義したものと一般に
認められている。この論文には、表示するモデルに関係
したすべてのデータ、関係性、およびオブジェクトを保
存するためのデータベースと、表示するモデルに対する
視点を選択するための位置センサと、選択された視点か
ら見たモデルの画像を生成するためにデータベースを検
索して、適切なデータを取り出し、それをリアルタイム
で表示形式に変換する変換装置と、変換されたデータを
格納するためのフレーム・バッファと、フレーム・バッ
ファに格納されたデータを表示するヘッド・マウンテッ
ド・ディスプレイとから成る画像パイプラインが記述さ
れている。すなわち、バーチャル・リアリティシステム
は、頭の動きによる視差をユーザに与えるものであり、
ユーザが頭を動かすと、ヘッド・マウンテッド・ディス
プレイに表示される画像が実世界と同じように変化す
る。

【０００７】上記のような基本的パイプラインを使用し
ている現在のバーチャル・リアリティシステムはすべて
機能的に制約があると考えられている。システムのフレ
ーム・バッファに格納されるのは、その時点でヘッド・
マウンテッド・ディスプレイに表示される画像だけであ
る。ユーザが頭を動かすと、新しい場面をコンピュータ
がリアルタイムで計算し、それをフレーム・バッファに
格納しなければならない。その結果、新しい視点を選択
してから新しい画像がヘッド・マウンテッド・ディスプ
レイに表示されるまでの間に、知覚しうる程度の時間的
遅延が生じることになる。この遅延は、ユーザに不自然
さと不快を感じさせ、このようなバーチャル・リアリテ
ィシステムを長時間使用すると気分が悪くなることが知
られている。

【０００８】

【課題を解決するための手段】この発明は、コンピュー
タ画像ディスプレイに関するシステムおよび方法とし
て、低コストで使いやすい大画面表示環境を実現する。
コンピュータ画像ディスプレイ・システムは、表示され
るモデルの多数の視点を格納するフレーム・バッファ
と、動いているユーザの方向を測定してモデルに対する
視点を確定する測定装置と、あらかじめ定義されたアル
ゴリズムに基づいて視点を修正する計算装置と、フレー
ム・バッファから適切な表示情報を取り出すアクセス装
置と、選択された視点から見たモデルの画像を表示する
ヘッド・マウンテッド・ディスプレイとから成る。動作
中、測定装置、視点装置、および計算装置は、ユーザの
動きに応じて、モデルに対する視点を連続的に更新す
る。それに応じて、アクセス装置はフレーム・バッファ
の適切な位置にアクセスし、更新された表示情報をヘッ
ド・マウンテッド・ディスプレイに出力する。

【０００９】表示情報は、ヘッド・マウンテッド・ディ
スプレイ内のビューウィンドウによってユーザに提示さ
れる。ビューウィンドウを生成するため、計算装置およ
びアクセス装置は、フレーム・バッファから多数の走査
線を生成する。この走査線には、ビューウィンドウに表
示されるモデルの現視点に対応した画素情報が入ってい
る。提出した実施例では、各ビューウィンドウについ
て、垂直方向に９００本の走査線が生成され、各走査線
は水平方向に１１２０ビットの長さである。

【００１０】ここに示す実施例では、コンピュータ・デ
ィスプレイによって、ユーザを囲む、高さ１３５°、周
囲３６０°の円柱状の仮想視界が与えられる。この仮想
視界は、コンピュータシステム内のフレーム・バッファ
に対してマッピングされる。ユーザの視点が仮想視界を
移動すると、フレーム・バッファのアクセス位置もただ
ちに移動し、ヘッド・マウンテッド・ディスプレイに表
示されるビューウィンドウが更新される。その結果、連
続的で自然に見える画像がヘッド・マウンテッド・ディ
スプレイに表示されることになる。

【００１１】

【作用】この発明のコンピュータ・ディスプレイは固有
の機能と利点を数多く備えている。ユーザは、広大な画
像空間をもつ仮想視界システムに没入した状態になる。
測定装置を単純に調節することにより、ユーザはその仮
想視界の中で、実世界と同じように視線を移動させて見
ることができる。フレーム・バッファには、視点に応じ
て表示されるモデルのすべての画像が格納されている。
視点に関係するデータ、関係性、およびオブジェクト
は、変換された状態でフレーム・バッファに格納されて
いるため、表示情報をリアルタイムで計算し、それをフ
レーム・バッファに格納したのちに表示するという、従
来技術のバーチャル・リアリティシステムで必要とされ
ていた処理は不要である。表示情報をフレーム・バッフ
ァから取り出して表示するという方法により、知覚しう
る時間的遅延はほとんど生じない。

【００１２】

【実施例】図１は、この発明の画像ディスプレイ・シス
テムを使用しているコンピュータオペレータを示したも
のである。このディスプレイ・システム１０は、回転い
す１２と、いす１２の基部に設置されたコンピュータ１
４と、キーボード１８およびマウス２０などのコンピュ
ータ周辺装置を置くための台１６と、ヘッド・マウンテ
ッド・ディスプレイ２２と、位置センサ２４（コンピュ
ータ１４の内部に収納されている）とから成り、ヘッド
・マウンテッド・ディスプレイ２２には送信機２６が機
械的に連結され、固定基準点３０には受信機２８が機械
的に連結されている。基準点は、図１ではユーザの頭上
に位置しているが、いす１２の基部など、ディスプレイ
・システム１０に近接する静止した任意の場所に置くこ
とができる。

【００１３】図２は、ディスプレイ・システム１０にお
けるフレーム・バッファ、ビューポート、および仮想視
界内のビューウィンドウの関係性を示したものである。
ディスプレイ・システム１０によって与えられる画像領
域の全体が仮想視界４０である。仮想視界４０は３６０
°の方向と１３５°の高さをもち、「円柱」状にユーザ
を囲んでいる。実施例の場合、仮想視界４０の全体のサ
イズは、約８フィート×３フィートの大型ディスプレイ
に相当する。

【００１４】仮想視界４０は９６００万個の点で構成さ
れ、各点は水平方向の角度（方位）と垂直方向の角度
（傾き）によって識別される。識別可能な点の数は、水
平方向で１６０００個、垂直方向で６０００個である。

【００１５】フレーム・バッファ４２はコンピュータ１
４のメモリの一部であり、１２メガバイト（ＭＢ）のＤ
ＲＡＭ（ダイナミック・ランダム・アクセスメモリ）で
構成され、９６００万個のメモリロケーションからなる
記憶容量をもつ。その各メモリロケーションに画素情報
が格納される。フレーム・バッファ４２のメモリロケー
ションはワード単位で編成されている。各ワードは３２
ビット長である。仮想視界４０はフレーム・バッファ４
２に「マッピング」されている。すなわち、仮想視界４
０の各点（方位と傾きで与えられる）とフレーム・バッ
ファ４２内のアドレス可能メモリロケーションは対応関
係にあり、そのメモリロケーションに仮想視界４０の対
応する各点の画素情報が格納されている。

【００１６】フレーム・バッファ４２の左端は仮想視界
４０における０°の位置に対応している。フレーム・バ
ッファ４２の右端は仮想視界４０における３６０°の位
置に対応している。垂直方向では、フレーム・バッファ
４２の下端が仮想視界４０における０°の位置に対応
し、フレーム・バッファ４２の上端が仮想視界４０にお
ける１３５°の位置に対応している。

【００１７】動作中、ユーザは頭を上下左右に動かした
り、いす１２を回転させることによって、仮想視界４０
の中で視線を移動させることができる。位置センサ２４
により、ディスプレイ・システム１０は自由度が２であ
る映像環境をエミュレートすることができる。位置セン
サ２４は、基準点３０の受信機２８に関するヘッド・マ
ウンテッド・ディスプレイ２２に取り付けられた送信機
２６の動きに対応して、回転（方位）および垂直移動
（傾き）の情報を出力する。本実施例では方位と傾きの
みを測定しているが、この発明の範囲には、スケーリン
グ（前後の動き）、視軸上の回転、横方向、片側から片
側、上下など、その他の動きを測定することも含まれ
る。

【００１８】ユーザがヘッド・マウンテッド・ディスプ
レイ２２を使用して仮想視界４０の中の１点を見ると、
コンピュータ１４は、位置センサ２４から出力される方
位と傾きの情報から、仮想視界４０の中の注視点３２を
計算する。コンピュータ１４はさらに、仮想視界４０に
おける注視点３２の周辺のビューポート３４を決める。
注視点３２はビューポート３４の中心に位置し、ビュー
ポート３４の縦横の境界から等距離である。ビューポー
ト３４は仮想視界４０の内部で２５°×２０°の大きさ
をもっている。

【００１９】仮想視界４０のビューポート３４の画像を
生成するために、コンピュータ１４は、ビューポート３
４に対応する画素情報をフレーム・バッファ４２から取
り出す。画素情報は１１２０×９００のメモリロケーシ
ョンに格納されている。取り出された画素情報はヘッド
・マウンテッド・ディスプレイ２２に転送される。ヘッ
ド・マウンテッド・ディスプレイ２２に表示された画像
情報をビューウィンドウ３６と呼ぶ。ビューウィンドウ
３６は１１２０×９００画素で構成され、仮想視界４０
内で２５°×２０°の大きさをもっている。

【００２０】ビューウィンドウ３６には、方位を示す水
平スクロールバー３７と、傾きを示す垂直スクロールバ
ー３８を加えることもできる。図２に示した例では、ウ
ィンドウ３６は、仮想視界４０において、方位が約２７
０°、傾きが約７０°の位置にある。スクロールバー
は、ユーザが仮想視界４０における現在位置を確認しや
すくする役割を果たすとともに、ビューウィンドウ３６
に表示されていない仮想視界４０内の位置に移動するた
めの手がかりになる。

【００２１】仮想視界は循環（ラップアラウンド）機能
も備えている。たとえば、ビューポート３４Ｂが仮想視
界４０の０°と３６０°が重なる境界線上に位置してい
る場合、フレーム・バッファ４２における左側３４Ｂ’
と右側３４Ｂ”の両方のメモリロケーションがアクセス
される。領域３４Ｂ’と領域３４Ｂ”に格納されている
画素情報からビューポート３４Ｂが生成され、それがヘ
ッド・マウンテッド・ディスプレイ２２に表示される。
そのため、仮想視界４０の「継ぎ目」がユーザに見える
ことはない。

【００２２】以上は次のように要約される。この発明の
ディスプレイ・システム１０は画像パイプラインを提供
するものである。方位と傾きの各サンプルに対して、コ
ンピュータ１４は注視点３２およびビューポート３４を
決定する。さらに、ビューポート３４に含まれる画素情
報が取り出され、仮想視界４０のビューウィンドウ３６
として、ヘッド・マウンテッド・ディスプレイ２２に表
示される。

【００２３】ユーザが頭を動かして仮想視界４０内で視
線を移動させると、ただちにフレーム・バッファ４２に
おけるアクセス位置の移動が行われる。その結果、ヘッ
ド・マウンテッド・ディスプレイ２２のビューウィンド
ウ３６が連続的に更新され画像が自然に見えるため、従
来技術のバーチャル・リアリティシステムのように遅延
に関係した問題が生じることはほとんどない。

【００２４】ディスプレイ・システム 図３は、ディスプレイ・システム１０のブロック図であ
る。ディスプレイ・システム１０は、メインＣＰＵ５
０、システムバス（ＳＢｕｓ）５２、グラフィックスプ
ロセッサ５４、メモリ５６（フレーム・バッファ４２と
コード領域５７を含む）、アービタ５８、走査線ジェネ
レータ６０、グラフィックス出力コントローラ６２、Ｆ
ＩＦＯ（先入れ先出し）バッファ６４、表示タイミング
ジェネレータ６６、位置センサ２４、およびヘッド・マ
ウンテッド・ディスプレイ２２で構成される。

【００２５】グラフィックスプロセッサ５４、メモリ５
６、アービタ５８、走査線ジェネレータ６０、グラフィ
ックス出力コントローラ６２、ＦＩＦＯ６４はすべて１
枚のバッファディスプレイカード７０に搭載されてい
る。表示タイミングジェネレータ６６は、ヘッド・マウ
ンテッド・ディスプレイ２２とともにリフレクションテ
クノロジー社が販売しているカードである。リボンケー
ブル（図には含まれない）を使用して、ディスプレイバ
ッファカード７０とディスプレイ・タイミング・ジェネ
レータカード６６を接続する。２枚のカードはコンピュ
ータ１４のスロットに差し込む。位置センサ２４は、コ
ンピュータ１４のＲＳ−２３２ポート（図には含まれな
い）を介してバッファディスプレイカード７０に接続す
る。

【００２６】コンピュータシステムとメインＣＰＵ コンピュータ１４には、この発明の譲受人であるサンマ
イクロシステムズ社（カリフォルニア州マウンテンビュ
ー）のＳＰＡＲＣｓｔａｔｉｏｎ２またはＳＰＡＲＣｓ
ｔａｔｉｏｎ１０など、任意の汎用コンピュータプラッ
トフォームを使用できる。これらのコンピュータは、Ｓ
ｕｎ ＯＳと呼ばれるマルチ・タスク・オペレーティン
グ・システムおよびＯｐｅｎ Ｗｉｎｄｏｗｓと呼ばれ
るウィンドウ・マネージャシステムを使用している。

【００２７】ディスプレイ・システム１０に関係したメ
インＣＰＵ５０の基本的な役割は、仮想視界４０に表示
する情報をフレーム・バッファ４２にロードすることで
ある。この情報は、メインＣＰＵ５０によってＳＢｕｓ
５２に送出され、さらにアービタ５８の判断に基づい
て、フレーム・バッファ４２に格納される。メインＣＰ
Ｕが情報をＳＢｕｓ５２に送出する方法は周知のもので
あるため、ここでは詳述しない。

【００２８】メインＣＰＵ５０はＯｐｅｎ Ｗｉｎｄｏ
ｗｓの修正版を使用している。この修正版には、仮想視
界４０に関して、ウィンドウの移動、ウィンドウのサイ
ズ変更、ウィンドウのオープン／クローズ、プルダウン
メニュー、ユーザインタフェースなどの機能が元のまま
残されている。仮想視界４０は従来のモニタ画面よりも
はるかに大きいため、画面領域の割り当ておよび複数の
プログラムの整理に関して問題が起きることはほとんど
ない。しかし、修正版のＯｐｅｎ Ｗｉｎｄｏｗｓに
は、必要に応じて使用できるように、それらの機能が残
されている。

【００２９】Ｏｐｅｎ Ｗｉｎｄｏｗｓに対する修正
は、ディスプレイ・システム１０のユーザインタフェー
ス機能の利点を生かし、より効果的なものとするために
行われている。修正の大部分は、Ｏｐｅｎ Ｗｉｎｄｏ
ｗｓのウィンドウマネージャに関するものである。たと
えば、ユーザが新しいウィンドウを開いたとき、そのウ
ィンドウが現ビューウィンドウ３６に表示されなければ
ならない。ウィンドウマネージャがそれを管理するよう
に変更されている。同様に、ダイアログボックスが現ビ
ューウィンドウ３６に現れるようにウィンドウマネージ
ャに変更が加えられている。また、ユーザがフルスクリ
ーンまたは縦一杯の表示を選択した場合、画像をフレー
ム・バッファのサイズのままでなく、ビューウィンドウ
３６のサイズに合わせて変更しなければならない。ウィ
ンドウマネージャにその機能が追加されている。カーソ
ルは基本的に位置センサ２４によって制御される。それ
に合わせた変更もウィンドウマネージャに加えられてい
る。カーソルはつねに現ビューウィンドウ３６に表示さ
れなければならない。これをウィンドウマネージャが管
理するようになっている。マウス２０は、現ビューウィ
ンドウ３６の内部でカーソル位置を制御するにすぎな
い。これらの修正点の多くは、フレーム・バッファと画
面が同一サイズである従来技術のディスプレイ・システ
ムと異なり、フレーム・バッファ４２がビューウィンド
ウ３６よりもはるかに大きいことから必要とされたもの
である。

【００３０】たとえば、オフィス環境では、ユーザがシ
ステム上でワード・プロセシング・ソフトウェア、スケ
ジュール管理ソフトウェア、およびＣＡＤ（コンピュー
タによる自動製図）ソフトウェアを同時に実行している
という場合が考えられる。この３つのソフトウェアによ
って出力される情報を、ユーザの判断で、８×３フィー
トの大きさをもつ仮想視界４０の任意の位置に表示する
ことができる。たとえば、ユーザが仮想視界４０の特定
領域にウィンドウを開くと、メインＣＰＵ５０はフレー
ム・バッファ４２内の対応するメモリロケーションを割
り当てる。ユーザが仮想視界４０の特定の位置を見る
と、適切な画像がヘッド・マウンテッド・ディスプレイ
２２に表示される。

【００３１】画像表示ハードウェア グラフィックスプロセッサ５４には任意の汎用プロセッ
サを使用できる。この発明の具体例の１つでは、富士通
製の４０ＭＨｚＳＰＡＲＣｌｉｔｅ^TMマイクロプロセッ
サを使用している。グラフィックスプロセッサ５４は、
位置センサ２４から受け取った方位と傾きのサンプルに
対応して、注視点３２およびビューポート３４を決定す
る。予測アルゴリズムとの組み合わせにより、グラフィ
ックスプロセッサ５４がヘッド・マウンテッド・ディス
プレイ２２の動きを予測するようにすることもできる。
これらのアルゴリズムには、ユーザの頭の動きが安定し
ていないことによる影響を減らすための平滑化機能が組
み込まれている。ユーザが頭を動かし始めたときにディ
スプレイ・システム１０がどのように反応するかを決定
するのが「固着」機能である。ビューウィンドウ３６を
見ているときに頭は完全に静止していないため、固着機
能によってビューウィンドウが固定される。動きのしき
い値を越えると、グラフィックスプロセッサ５４は、ビ
ューウィンドウ３６内の画像を「はがす」。これによっ
て画像を更新することができる。そのようなアルゴリズ
ムは周知のもので、「ヒステリシス」アルゴリズムと呼
ばれることが多い。グラフィックスプロセッサ５４は、
ビューウィンドウ３６内のスクロールバー３７および３
８の計算と表示も受け持っている。

【００３２】メモリ５６は１６メガバイト（ＭＢ）のＤ
ＲＡＭで構成される。４ＭＢはグラフィックスプロセッ
サ５４のコード領域５７として割り当てられている。標
準グラフィックスアルゴリズムのコードはこのメモリ領
域に格納される。メモリ５６の残りの部分は、前述のよ
うにフレーム・バッファ４２のために使用される。具体
例の１つでは、４ＭビットのＤＲＡＭチップを３２個使
用している。

【００３３】アービタ５８は、ディスプレイ・システム
１０のために設計されたＡＳＩＣ（特定用途向けＩＣ）
である。走査線ジェネレータ５２、グラフィックスプロ
セッサ５４、およびメインＣＰＵ６２はすべてフレーム
・バッファ４２にアクセスしようとするため、競合が生
じる。アービタ５８は、基本的な優先度プロトコルに基
づいて、フレーム・バッファ４２に対するアクセスを制
御する。走査線ジェネレータ６０、グラフィックスプロ
セッサ５４、およびメインＣＰＵ５０は、フレーム・バ
ッファ４２に対してそれぞれ１、２、３番の優先権をも
っている。上記のプロトコルに応じて３つの入力の中の
１つを選択するためにステートマシンが用いられる。ア
ービタ５８は、フレーム・バッファ４２にアクセスし
て、そのＤＲＡＭメモリをリフレッシュするための行ア
ドレス信号（ＲＡＳ）および列アドレス信号（ＣＡＳ）
の生成およびその他のメモリ関連機能も受け持ってい
る。バスアービトレーションおよびその他のメモリ関連
機能は周知の技術であり、ここでは詳述しない。

【００３４】走査線ジェネレータ６０はアービタ５８の
一部である。走査線は、フレーム・バッファ４２内の連
続する３６ワード（１１５２ビット）として定義され
る。走査線ジェネレータ６０は、グラフィックスプロセ
ッサ５４の制御下において、走査線を定義するフレーム
・バッファ４２内のワードのアドレッシングを受け持っ
ている。単一のビューウィンドウ３６を生成するために
９００本の走査線が使用される。

【００３５】グラフィックス出力コントローラ６２は、
１本の走査線を保持できるシフトレジスタであり、走査
線を１１２０ビットに切り取るという処理を受け持って
いる。この処理によって、ビューポート３４の境界から
はみ出した走査線のビットが排除される。切り取られた
走査線は、さらにバイト単位（８ビット）にセグメント
化され、それらのバイトがＦＩＦＯ６４に格納される。

【００３６】表示タイミングジェネレータ６６は２つの
機能を実行する。ＦＩＦＯ６４に格納されたバイトを表
示するためにヘッド・マウンテッド・ディスプレイ２２
に転送する機能と、ウィンドウ更新割り込みおよび走査
線割込みを生成する機能である。この２つの割り込みに
よって、グラフィックスプロセッサ５４のタイミングが
制御される。

【００３７】ヘッド・マウンテッド・ディスプレイ２２
は、ビューウィンドウ３６の１１２０×９００画素に対
応した１１２０×９００画素のモノクロ画像を出力す
る。ヘッド・マウンテッド・ディスプレイ２２に表示さ
れるビューウィンドウ３６は２５°×２０°の広がりを
もつ。ヘッド・マウンテッド・ディスプレイ２２の画像
は非常に鮮明で、従来のコンピュータモニタよりも解像
度が高い。リフレクションテクノロジー社（マサチュー
セッツ州ウォールサム）が設計したＰｒｉｖａｔｅ Ｅ
ｙｅ^TMのような表示装置がヘッド・マウンテッド・ディ
スプレイ２２に適している。Ｐｒｉｖａｔｅ Ｅｙｅの
画素密度は上記のレベルに達していないが、装置を改良
し、容易にそのような画素密度を実現することができ
る。

【００３８】実施例では、位置センサ２４にロジテック
社（カリフォルニア州フレモント）の「６Ｄトラッキン
グシステム」を使用している。この装置を選択した理由
は、市販されていること、比較的安価であること、精度
が高く、方位と傾きのサンプリングレートが条件を満た
していることなどである。

【００３９】動作 図４は、この発明に基づいてビューウィンドウ３６を生
成するディスプレイ・システム１０を示したものであ
る。グラフィックスプロセッサ５４は、表示タイミング
ジェネレータ６６からウィンドウ更新割り込みを受け取
ると、最初に、もっとも新しい方位と傾きのサンプルに
基づいて、注視点３２の位置を決定する。次に、グラフ
ィックスプロセッサ５４は、注視点３２の周囲のビュー
ポート３４を決定する。注視点３２およびビューポート
３４は、図の仮想視界４０内に重なり合って示されてい
る。（仮想視界４０に関するビューポート３４のサイズ
は一定ではないことに注意。）

【００４０】次に表示タイミングジェネレータ６６が走
査線割込みを発生させる。この割り込みを受け取ったグ
ラフィックスプロセッサ５４は、１番目の走査線８０の
「開始画素」位置を決定する。この開始画素位置の物理
メモリアドレスは、グラフィックスプロセッサ５４のＤ
ｘレジスタおよびＤｙレジスタに格納されている。

【００４１】走査線ジェネレータ６０は、グラフィック
スプロセッサ５４のＤｘレジスタおよびＤｙレジスタか
ら開始画素情報を読み出し、フレーム・バッファ４２に
おける、開始画素を含むワードの物理アドレスを決定す
る。さらに走査線ジェネレータ６０は３６個の連続する
ワードを４ワードごとの９バーストでアクセスする。そ
の先頭ワードに開始画素が入っている。この３６ワード
によって、長さが１１５２ビットの走査線８０が定義さ
れる。図に示した走査線８０の場合、先頭ワードはビッ
ト（１−３２）で与えられ、最終ワードはビット（１１
２０−１１５２）で与えられる。フレーム・バッファ４
２と重なり合っているビューウィンドウ３６において、
その左側の境界が開始画素位置と一致していることに注
意する。ビューウィンドウ３６の右側の境界は走査線８
０の最終ワードを通過している。

【００４２】循環機能が実行される場合、走査線ジェネ
レータ６０は、グラフィックスプロセッサ５４の制御下
で、再び３６ワードにアクセスする。しかし、３６ワー
ドの前半のサブセットは、フレーム・バッファ４２の右
端から取り出され、残りのワードはフレーム・バッファ
４２の左端から取り出される。

【００４３】グラフィックス出力コントローラ６２は、
フレーム・バッファ４２から走査線８０を受け取り、そ
のビットをシフトレジスタシステム８２に入れる。この
システムは、１１５２ビット幅のシフトレジスタである
かのように動作し、開始画素がレジスタの左端（第１
桁）に位置するように１１５２ビットをシフトさせる。
さらに、レジスタ８２の最初の１１２０桁のビットを取
り出すことが、走査線８４を切り取ることに相当する。
１０２１桁から１０５２桁に入っている残りのビットは
捨てられる。切り取られた走査線はさらに８ビット（１
バイト）単位に分割され、ＦＩＦＯ６４に格納される。

【００４４】ここに示す実施例では、実際のシフトレジ
スタのサイズは３６ビットである。走査線８０を構成す
る３６ワードの各ワードについて、グラフィックスプロ
セッサ５４は、開始画素アドレスの下位５ビットの２の
補数を計算することによってシフト量を制御する。この
計算によって、走査線８０における開始画素のオフセッ
トが決定されるとともに、それに応じてレジスタ内のワ
ードがシフトされる。このシフトシーケンスが走査線８
０を構成する３６ワードについて反復される。

【００４５】切り取られた走査線８４は、ＦＩＦＯ６４
にバイトセグメント単位で格納され、表示タイミングジ
ェネレータ６６により、逐次的にヘッド・マウンテッド
・ディスプレイ２２に出力される。ヘッド・マウンテッ
ド・ディスプレイ２２は、各ビューウィンドウ３６につ
いて、上端から下端まで９００本の走査線を表示する。
この方法により、ビューウィンドウ３６が生成され、ヘ
ッド・マウンテッド・ディスプレイ２２に「ラスター」
に似た方式で表示される。

【００４６】実施例では、ディスプレイ・システム１０
の実際の遅延時間は約０．０３３秒であり、人の目では
知覚できない。この性能を実現するため、方位と傾きの
データを３０回／秒の割合でサンプリングする。ウィン
ドウ更新割り込みが５０回／秒の割合で発生し、走査線
割込みが４５，０００回／秒の割合で発生する。

【００４７】画像パイプライン 図５は、この発明に基づく画像パイプラインを示したも
のである。画像パイプライン９０は、モデルを表示する
動作手順を表している。この図および以下の説明内容
は、従来技術のバーチャル・リアリティシステムに対す
る本システムの特長と利点を中心としている。

【００４８】画像パイプラインは、ユーザの動きを測定
する測定ステップ９２と、表示するモデルに対する視点
を測定ステップ９２からの入力に基づいて決めるステッ
プ９４と、あらかじめ定義されたアルゴリズムに基づい
て視点を修正する計算ステップ９６と、フレーム・バッ
ファ４２から適切なデータを取り出し、そのデータを表
示装置１００に出力するアクセスステップ９８によって
構成される。

【００４９】フレーム・バッファ４２には、視点に対応
して表示されるモデルのすべての画像が格納されてい
る。選択される可能性があるすべての視点に対応したデ
ータ、関係性、およびオブジェクトは、変換された状態
（そのまま表示可能）でフレーム・バッファに格納され
ている。これが従来技術のバーチャル・リアリティシス
テムと大きく異なる点である。この方法では、事前に変
換した表示情報をデータベースに格納しておき、データ
ベースを検索して、視点に対応したデータを取り出した
あと、それを適切な表示形式にリアルタイムで変換する
という手順がすべて不要とされる。その結果、この発明
のディスプレイ・システムは、フレーム・バッファ４２
に格納された画像の表示に関して、すぐれたパフォーマ
ンスを発揮する。

【００５０】この発明はさまざまな実施態様が可能であ
り、たとえば３次元画像を表示するためにフレーム・バ
ッファ４２の編成を変更することもできる。これは「階
層化」した３次元フレーム・バッファという方法で実現
される。たとえば、フレーム・バッファ４２を１６Ｋ×
６Ｋ×１０画素のフレーム・バッファに編成することが
できる。ユーザの前後の動きが位置センサーによって与
えられると、それに応じたフレーム・バッファ４２の階
層がアクセスされる。その結果、ヘッド・マウンテッド
・ディスプレイ２２によって表示されるビューウィンド
ウが大きくなったり小さくなったりする。

【００５１】送信機２６と受信機２８を使用して実行さ
れる測定ステップ９２は、ユーザの頭以外の動きを測定
するように変更できる。たとえば、送信機２６をユーザ
の手に取り付けることができる。実際、任意の移動オブ
ジェクトを測定することはこの発明の範囲内に含まれ
る。

【００５２】位置センサ２４に基づいて視点を計算する
ステップ９４は、３次元追跡が可能であるように変更で
きる。たとえば、方位、傾き、および前後移動を追跡す
るように位置センサ２４に変更を加えることができる。

【００５３】グラフィックス・プロセッサ５４によって
実行される計算ステップ９６は、ディスプレイ・システ
ム１０の機能を拡張し、柔軟性を向上させるようにプロ
グラミングできる。本願の図１〜４に関連して説明した
実施例の場合、計算ステップによって１対１の対応が与
えられる。すなわち、方位または傾きに１°の移動があ
れば、ビューウィンドウ３６も１°だけ変化する（線
形）。しかし、あらかじめ定義された任意のアルゴリズ
ムに基づいてフレーム・バッファ４２にアクセスするよ
うにグラフィックス・プロセッサ５４をプログラミング
できるというのがこの発明の意図するところである。た
とえば、方位または傾きが１°変化したときにビューウ
ィンドウ３６にＮ°（Ｎ°＝２，３，４....の場合）の
変化を生じさせることができ（スケーリング）、その対
応関係に応じてフレーム・バッファ４２から情報を取り
出すようにグラフィックス・プロセッサ５４をプログラ
ミングすることができる。方位が左方向に変化したとき
にビューウィンドウ３６の画像を右方向にシフトさせる
ことができ、その逆も可能である。同様に、傾きが上方
向に変化したときにビューウィンドウ３６の画像を下方
向にシフトさせることができ、その逆も可能である。フ
レーム・バッファ４２から多数のビューポート３４を連
続的に読み出し（非線形）、ヘッド・マウンテッド・デ
ィスプレイ２２に「動画」を表示させるようにグラフィ
ックスプロセッサ５４をプログラミングすることもでき
る。以上を要約すれば、線形、スケーリング、非線形の
計算を実行するようにグラフィックス・プロセッサ５４
をプログラミングできるということである。また、フレ
ーム・バッファ４２からの情報の取り出しに遅延を生じ
させることもできる。

【００５４】グラフィックス・プロセッサ５４の管理下
で走査線ジェネレータ６０によって実行されるアクセス
・ステップ９８は、フレーム・バッファ４２から適切な
表示情報を選択して取り出すプロセスである。走査線ジ
ェネレータ６０は非常に高速であり、ビューウィンドウ
は知覚しうるような時間的遅延なしに更新される。ま
た、走査線ジェネレータ６０は非常に精度が高く、フレ
ーム・バッファの適切な位置に容易にアクセスできる。

【００５５】測定装置、視点を定義するための装置、視
点を修正するための装置、表示データにアクセスするた
めの装置、データを表示するための装置など、図１〜４
に関連して説明した装置は典型的な例にすぎない。上記
の機能を実現するためのいかなる装置の使用もこの発明
の範囲内に含まれる。たとえば、表示装置に標準的なモ
ニタを使用することもできる。

【００５６】添付の図に示した実施に関連してこの発明
を説明してきたが、当業者ならば、これ以外の実施例、
代替方法、および修正が可能であることを容易に理解さ
れるはずである。ディスプレイ・システム１０は、オフ
ィス、ビデオゲーム、フライトシュミレータなど、任意
の表示環境で使用することができる。仮想視界４０、フ
レーム・バッファ４２、およびビューウィンドウ３６の
範囲およびサイズはすべて任意である。カラー表示でき
るようにシステムを修正することも可能であるが、その
場合、フレーム・バッファ４２にカラー画素情報を格納
しなければならない。カラーディスプレイ・システムに
おいて、シェーディング、アンチ・エイリアシング、イ
ルミネーションなど、各種の標準的なグラフィックス関
連機能を実行するようにグラフィックス・プロセッサ５
４に変更を加えることができる。ヘッド・マウンテッド
・ディスプレイに関する選択的な透明機能をシステムに
追加することもできる。さらに、仮想視界４０の特定の
ビューウィンドウ３６を保存しておき、必要に応じて呼
び出すことができるようにキーボード１８のファンクシ
ョンキーをプログラミングすることも可能である。以上
の説明は典型的な例を示したにすぎず、この発明の正し
い範囲および意図は以下のクレームに示されている。

【図面の簡単な説明】

【図１】 コンピュータ・オペレータがこの発明のディ
スプレイ・システムを使用しているところを示す図であ
る。

【図２】 この発明のディスプレイ・システムのフレー
ム・バッファ、ビュー・ポート、ビュー・ウィンドウ、
および仮想視界の関係を示す図である。

【図３】 この発明のディスプレイ・システムのブロッ
ク図である。

【図４】 この発明のビュー・ウィンドウを生成するデ
ィスプレイ・システムを示す図である。

【図５】 この発明による画像パイプラインを示すフロ
ーチャートである。

【符号の説明】

１０ ディスプレイ・システム １２ 回転いす １４ コンピュータ １６ 台 １８ キーボード ２０ マウス ２２ ヘッド・マウンテッド・ディスプレイ ２４ 位置センサ ２６ 送信機 ２８ 受信機 ３０ 固定基準点 ３２ 注視点 ３４ ビュー・ポート ３６ ビュー・ウィンドウ ３７ 水平スクロール・バー ３８ 垂直スクロール・バー ４０ 仮想視界 ４２ フレーム・バッファ ５０ メインｃｐｕ ５２ システム・バス ５４ グラフィックス・プロフェッサ ５６ メモリ ５７ コード領域 ５８ アービタ ６０ 走査線ジェネレータ ６２ グラフィックス出力コントロール

───────────────────────────────────────────────────── フロントページの続き (72)発明者 アイヴァン・イー・スザーランド アメリカ合衆国 90405 カリフォルニア 州・サンタ モニカ・ワズワース アヴェ ニュ・125

Claims (9)

【特許請求の範囲】
1. 【請求項１】 表示するモデルの多数の視点に対応した
   情報をフレーム・バッファに格納し、 ユーザからの入力に基づいて視点の１つを選択し、 選択された視点に対応した情報をフレーム・バッファか
   ら取出し、 選択された視点に対応した情報を表示装置に表示するこ
   とを特徴とするコンピュータによって生成された情報を
   表示する方法。
2. 【請求項２】 格納するステップの前に、多数の視点に
   対応した情報を表示可能な形式に変換することを特徴と
   する請求項１に記載の方法。
3. 【請求項３】 取出すステップの前に、選択された視点
   をあらかじめ定義されたアルゴリズムに基づいて修正す
   ることを特徴とする請求項１に記載の方法。
4. 【請求項４】 さらに、ユーザからの入力変化に基づい
   て２番目の視点を選択し、 選択された２番目の視点に対応した情報をフレーム・バ
   ッファから取出し、 選択された２番目の視点に対応した情報を表示装置に表
   示することを特徴とする請求項１に記載の方法。
5. 【請求項５】 さらに、仮想視界を与え、 表示するモデルの多数の視点に対応したフレーム・バッ
   ファ内の情報を仮想視界にマッピングし、 選択された視点に対応した情報を仮想視界の中のビュー
   ウィンドウに表示することを特徴とする請求項１に記載
   の方法。
6. 【請求項６】 さらに、ビューウィンドウ内にスクロー
   ルバーを生成することを特徴とする請求項５に記載の方
   法。
7. 【請求項７】 表示するモデルの多数の視点に対応した
   表示可能な形式の情報を格納するためのフレーム・バッ
   ファと、 視点の１つを選択するための入力装置と、 その入力装置と結合され、選択された視点に対応した情
   報のサブセットをフレーム・バッファから取り出すグラ
   フィックス・システムと、 そのグラフィックスシステムと結合され、選択された視
   点に対応した表示情報のサブセットを表示する表示装置
   とから成ることを特徴とするコンピュータによって生成
   されたモデルを表示する装置。
8. 【請求項８】 さらに、選択された視点に対応した表示
   情報のサブセットを表示するための仮想視界と、その仮
   想視界の中のビューウィンドウを含むことを特徴とする
   請求項７に記載の装置。
9. 【請求項９】 さらに、グラフィックス・プロセッサ、
   走査線ジェネレータ、およびグラフィックス・プロセッ
   サ間のフレーム・バッファに対するアクセスの競合を制
   御するアービタを含むことを特徴とする請求項７に記載
   の装置。