JP3700863B2 - ディスプレイ上に現実性の加味された画像を表示する方法および装置 - Google Patents

Description

【０００１】
【産業上の利用分野】
本願発明は、図形ユーザーインターフェースを含むコンピュータグラフィックスの分野に関するものであり、特に、現実性を加えた状態でコンピュータディスプレイ上にオブジェクトを表示する方法及び装置に関するものである。なお、以下、表示される映像、文字、記号等（オブジェクト）を総称して「画像」と称することとする。
【０００２】
【従来の技術】
２次元走査型ディスプレイを備えた３次元グラフィックスコンピュータでは、遠近法アルゴリズムを用いながら２次元走査型ディスプレイに画像を表示してリアルな３次元効果を作り出すのが一般的である。当該技術分野で周知な遠近法アルゴリズムとしては「Ｚ分割(z-divide)」アルゴリズムがある。この方法では、表示すべき全ての画像の各点を対応する３つの組の座標（ｘ，ｙ，ｚ）で表す。画像を表示する前に、全画像の全ての点のｘとｙの座標を対応するｚ値で割る。次に、算出したｘ／ｚとｙ／ｚの値に従って全ての点を表示して画像の表示を行う。このような３次元グラフィックスコンピュータ装置としては、プログラマー階層対話型グラフィックスシステム（ＰＨＩＧＳ）に組み込まれているスパークステーション（Ｓｐａｒｃｓｔａｔｉｏｎはサンマイクロシステムズ社の登録商標）（カリフォルニア州マウンテンビューのサンマイクロシステムズ社で製造）がある。表示すべき全画像の全ての点についてｚ分割を行うためリアルな三次元効果が得られる。従って、ＣＰＵ時間や記憶量といった資源がかなり必要となる。このため、非３次元ディスプレイシステムに比べて３次元コンピュータシステムはコスト高になる傾向がある。
【０００３】
２次元グラフィックスコンピュータ装置では、２次元走査型ディスプレイ上に平行投影(parallel projection) で画像を表示する。この場合、ユーザーの目は無限を見るようになっている。この方法を用いれば、表示すべき画像は全て対応する１対の座標（ｘ，ｙ）で表される。ｘとｙ座標の他には、２つの画像が重なり合った場合にどちらの画像を表示するかを決めるための「深さ」のオーダーだけが与えられている。特にこのような２次元コンピュータ装置の例としては、カリフォルニア州キューパティーノにあるアップルコンピュータ社製のマッキントッシュ（アップルコンピュータ社の登録商標）コンピュータ装置や、カリフォルニア州サンタクララにあるインテル社のＸ’８６マイクロプロセッサーを基にしてニューヨーク州アーモンクにあるＩＢＭ社やその他の販売業者によって製造され、ワシントン州レドモンドにあるマイクロソフト社のウィンドウ（マイクロソフト社の登録商標）システムを取り入れた様々なパーソナルコンピュータがある。表示すべき全画像の全ての点をｚ分割したりしないため、演算量やこの結果必要とされる資源はかなり少ない。このため、２次元コンピュータ装置は、対する３次元コンピュータ装置に比べて比較的安価である。
【０００４】
【発明が解決しようとする課題】
しかしながら、これらの２次元グラフィックスコンピュータ装置ではリアルな３次元効果は得られない。例えば、ユーザーの視点（位置）が変化すると、深さが異なる複数の画像も同じ距離だけ移動する。これは実際の世界では起らない現象であるが、ユーザーに対してはパララックス効果がある。つまり、ユーザーに近い位置の画像はもっと多くの距離を移動したように見え、一方、ユーザーから遠い位置の画像の場合は、あったとしてもわずかな動きにしか見えない。
【０００５】
このように、３次元グラフィックスコンピューター装置ほどの演算量や資源を要さずに現実性を付加した状態で２次元グラフィックスコンピュータ装置の２次元走査型ディスプレイに画像を表示できるのが望ましい。より具体的には、表示されている画像に安価な方法でパララックス効果を付与できるのが望ましい。
【０００６】
本願発明は上記のような従来技術の有する課題に鑑みなされたものであり、その目的は、パララックス効果を付与して現実性を加えた状態で画像を表示する装置と方法を提供することにある。
【０００７】
【課題を解決するための手段】
上記目的を達成するために、本願発明は走査型ディスプレイと複数の画像からなるコンピュータ装置において現実性を付加しながら前記走査型ディスプレイ上に前記画像を生成表示する方法であって、
ａ）前記画像の各画像毎に少なくとも１つの所定２次元イメージを格納するステップであって、前記画像の前記少なくとも１つの所定２次元イメージは、前記走査型ディスプレイの表示セクタに表示される前記画像のうちの一つの画像のイメージに対応しており、第１および第２イメージ表示制御値に基づいて前記画像の前記少なくとも１つの所定２次元イメージの各イメージが定義される格納ステップと、
ｂ）前記画像の各画像毎に表示基準座標対ｘ，ｙと相対深度値ｚを演算するステップであって、前記表示基準座標ｘ，ｙと相対深度値ｚが所定位置にあるユーザーの目を基準とした前記画像の幾何学的位置を表す演算ステップと、
ｃ）対応する深度値ｃに基づいて前記表示基準座標ｘ，ｙを調整するステップと、
ｄ）前記画像のそれぞれについて、当該画像の調整済み表示基準座標ｘ，ｙに基づいて所定２次元イメージを選択するステップと、
ｅ）選択された前記２次元イメージを用いて前記走査型ディスプレイ上に前記画像を表示するステップであって、選択された前記２次元イメージの前記第１および第２イメージ表示制御値が、前記調整済み表示基準座標ｘ，ｙを用いて決定されるステップとからなることを特徴とする。
【０００８】
さらに、本願発明は走査型ディスプレイと複数の画像から構成されるコンピュータ装置において、現実性を加味しながら前記走査型ディスプレイ上に前記画像を生成表示する装置であって、
ａ）前記画像の各画像毎に少なくとも１つの２次元イメージを格納する格納手段であって、前記画像の前記少なくとも１つの所定２次元イメージが前記走査型ディスプレイの表示セクタ内に表示される前記画像のうち１つの画像のイメージに対応しており、前記画像の前記少なくとも１つの２次元イメージが第１および第２イメージ表示制御値に基づいて定義されている格納手段と、
ｂ）前記画像の各画像毎に表示基準座標対ｘ，ｙと相対深度値ｚを演算する演算手段であって、前記画像の当該表示基準座標ｘ，ｙ対と相対深度値ｚは、所定位置にあるユーザーの目に対する前記画像の幾何学的位置を表す演算手段と、
ｃ）前記演算手段に接続されており、対応するｚ値に基づいて前記表示基準座標ｘ，ｙを調整する調整手段と、
ｄ）前記格納手段と前記調整手段に接続されており、前記調整済み表示基準座標ｘ，ｙに基づいて前記画像の各画像毎に所定２次元イメージを選択する選択手段と、
ｅ）前記選択手段に接続されており、前記被選択２次元イメージを用いて前記走査型ディスプレイ上に前記画像を表示する表示手段であって、前記被選択２次元イメージの前記第１および第２画像表示制御値が、前記調整済み表示基準座標ｘ，ｙを用いて決定される表示手段とから構成されていることを特徴とする。
【０００９】
【作用および効果】
本願発明の方法および装置は上記のような構成をしており、この方法および装置によれば、２次元グラフィックスコンピュータ装置の図形アプリケーションで、当該コンピュータ装置の２次元走査型ディスプレイに表示される各画像に１対の表示基準座標（ｘ，ｙ）と、相対深度値（ｚ）を付与する。画像の表示基準座標ｘ、ｙと相対深度値ｚは、所定位置に設定されたユーザーの目に対する画像の幾何学的な位置を示している。
【００１０】
さらに、２次元グラフィックスコンピュータ装置には所定の２次元イメージライブラリーと複数のグラフィックスツールキットルーチンが設けられている。このライブラリーには、２次元走査型ディスプレイに表示する各画像に対する少なくとも１つの所定２次元イメージが納められている。この少なくとも１つの所定２次元イメージは、２次元走査型ディスプレイの表示セクタに表示される画像のイメージである。前記所定２次元イメージはそれぞれ対応する表示セクタ内において特定の所定２次元イメージの表示を制御する第１及び第２表示制御値を有している。グラフィックスツールキットルーチンは、図形アプリケーションおよびライブラリーと協働して表示中の画像にパララックス効果を付与する。
【００１１】
表示されている画像に対してユーザー側が移動すると、グラフィックスツールキットは画像の表示基準座標ｘ、ｙと相対深度値ｚを再度演算しなおす。そして、グラフィックスツールキットルーチンは、演算しなおした相対深度値ｚで各画像の表示基準座標ｘ，ｙを割る。次に、グラフィックスツールキットは、画像のｘ／ｚとｙ／ｚ値を用いながら各画像について各画像の少なくとも１つの所定２次元イメージから所定２次元イメージを選択する。最後に、グラフィックスツールキットルーチンは画像のｘ／ｚおよびｙ／ｚ値を表示制御値として用いながら、表示すべき画像の前記所定２次元イメージを表示する。
【００１２】
この結果、ユーザーから遠い位置にある画像は、ユーザーから近い所にある画像よりもゆっくりと移動するように見えるため、２次元グラフィックスコンピュータ装置にパララックス効果があらわれて現実性が加味される。しかし、グラフィックスツールキットは、表示すべき画像内のできるだけ多くの点についてｚ分割を行うのではなく、画像毎に１回しかｚ分割を実行しないため、３次元グラフィックスコンピュータ装置の比べて必要な演算回数や資源はかなり少ない。このように、極めて低コストにて画像に現実性を加えることができるといった利点がある。
【００１３】
好ましい実施例において、前記２次元グラフィックスコンピュータ装置には１対のステレオスピーカーも設けられている。また、前記ライブラリーは、画像のサブセット用の所定音声データも納められている。画像のそれぞれには、少なくとも１対の所定ステレオ音声データが設けられている。この少なくとも１対の所定ステレオ音声データは、スピーカーに出力する前記所定音声の特性を示しており、右左１対の出力制御値を有している。
【００１４】
【実施例】
以下図面を参照しながら、本願発明の好ましい実施例を詳細に説明する。
【００１５】
図１を参照する。この図には本願発明の２次元グラフィックスコンピュータ装置の概要が示されている。２次元グラフィックスコンピュータ装置１０は、バス２０に接続されたＣＰＵ１２とメモリー１４から構成されている。この２次元グラフィックスコンピュータ装置１０は、さらに、キーボードやカーソル制御装置のような様々な入力装置１８、２次元走査型ディスプレイ３０、１対のスピーカー３４を備えている。入力装置１８はＩ／Ｏインターフェース１６を介してバス２０に接続されており、一方、２次元走査型ディスプレイ３０とスピーカー３４はそれぞれのコントローラー、すなわち、ディスプレイコントローラー２２や音声コントローラー３２を介してバス２０へ接続されている。ディスプレイコントローラー２２は、フレームバッファー制御部２４、映像ＲＡＭ２６、ディスプレイアダプタ制御部２８から構成されている。これらのエレメント１２ー３４は、通常の多くの用途で見受けられる様々な種類のＣＰＵ，メモリーユニット、入力装置、コントローラー、ディスプレイ、スピーカーなどであるが、２次元グラフィックスコンピュータは特別の用途のものである。これらは当該技術分野の者には周知のものであるため、詳細な説明は省略する。
【００１６】
次に、図２を参照する。図１のメモリー内の関連内容を論理図で表したものである。この図には、オペレーティングシステム３６、図形表示ライブラリー３８、図形アプリケーション開発ツールキット４０、複数の図形アプリケーション４２が示されている。図形アプリケーション開発ツールキット４０と図形アプリケーション４２が本願発明の特徴部分である。また、この図には、所定イメージデータ４５と音声データ４７からなる本願発明の協働マルチメディアデータライブラリー４４も示されている。残りの図面を参照しながら、本願発明の図形アプリケーション開発ツールキット４０、図形アプリケーション４２、協働マルチメディアライブラリー４４をさらに詳細に説明する。エレメント３６ー４２は当該技術分野では周知のものであるため、これらの詳細な説明は省略する。
【００１７】
次に、図３を参照する。この図は、図１の走査型ディスプレイに映し出された画像の表示スクリーン例であり、図２の図形アプリケーションの特徴を説明している。この図形アプリケーションは、表示すべき各画像４８について、一組の表示基準座標（ｘ，ｙ）と相対深度値（ｚ）を出力保持する。画像の表示基準座標ｘ、ｙと相対深度値ｚは、例えば、｛（ｘ，ｙ）＝（０，０）とｚ＝−１０｝のある所定位置に設定されているユーザーの目を基準とした画像４８の幾何学的位置を示したものである。図に示されている画像表示スクリーンの場合、星と星雲からなる第１と第２グループを地球から遠ざかる速度よりも１０倍、１００倍または１０００倍の速度でスペースシャトルと宇宙飛行士から遠ざける。画像の表示基準座標ｘ，ｙと相対深度値ｚを用いて図形アプリケーション開発ツールキットルーチンでパララックス効果を発生させる様子を以下にさらに詳細に説明する。
【００１８】
次に、図４から図６を参照する。これらの図は図２のマルチメディアデータライブラリーの関連内容をさらに詳細に示している。図４に示されているように、マルチメディアデータライブラリーは、各画像４８について少なくとも１つの所定２次元イメージ５０を備えている。各所定２次元イメージ５０は、走査型ディスプレイのディスプレイセクタに表示される画像の２次元イメージである。所定２次元イメージ５０のそれぞれを第１および第２表示制御値で定義する。
【００１９】
例えば、図５に示されているように、マルチメディアデータライブラリーは「本」の画像に対して８つの所定２次元イメージ５０を出力する。各所定２次元イメージ５０は、走査型ディスプレイのディスプレイセクタ内に表示される「本」の画像の２次元イメージである。第２の所定２次元イメージ５０ａ（ｎ＝１）は、角度ａ１を成しているラインセグメントを境界とする表示セクタ内に表示される。一方、第６の所定２次元イメージ５０ａ（ｎ＝５）は角度ａ２を成しているラインセグメントを境界とする表示セクタ内に表示される。所定２次元イメージ５０ａのそれぞれは、所定２次元イメージの左上隅の幾何学的位置、つまり、左上隅のｘ，ｙ座標で定義される。
【００２０】
ディスプレイの中心から放射状に延びたラインセグメントで分割された８つのディスプレイセクタについて８つの所定２次元イメージを備えた「本」の画像や、左上隅の幾何学的位置で定義される各所定２次元イメージを用いて本願発明のマルチメディアデータライブラリーを説明するが、ディスプレイセクタの分割数は１または複数のどのような数でもよく、このセクタに応じた１または複数の２次元イメージを備え、各所定２次元イメージを任意の数の制御基準で定義した画像を用いても本願発明の装置および方法を実施することは可能である。
【００２１】
図４に示すように、マルチメディアデータライブラリーには、画像４８のサブセットについて少なくとも１つの所定音声５２を備えているのが好ましい。画像４８のそれぞれの所定ステレオ音声対５２は、スピーカーに出力される所定音声の特徴を表しており、また、右左の出力制御値を一組備えている。
【００２２】
例えば、図６に示すように、「蜂」の画像の場合は「ぶんぶん」といった所定音声対５３，５３；５５，５５をマルチメディアライブラリーから出力する。この「ぶんぶん」といった所定音声対は、スピーカーに出力される「ぶんぶん」といった音の振幅を表す。この「ぶんぶん」音の振幅は次のように表せる。
【００２３】
【数３】

【００２４】
ここで、ｘは「蜂」の画像の基準点のｘ座標値で、
ｚは「蜂」の画像の深度値で、
ｗは表示スクリーンの幅で、
ｚｄは、現在表示スクリーンに表示中の全画像の最も大きな深度値
である。
【００２５】
「ぶんぶん」音の振幅は、「蜂」画像が表示スクリーンの左または右端のいずれかにいるユーザーに近づくと最大になる。一方、ユーザーおよび／または表示スクリーンのいずれか一方の端から「蜂」の画像が遠ざかるにつれ「ぶんぶん」音の振幅は減少する。
【００２６】
この例は、「ぶんぶん」音の振幅を表す所定音声対を有した「蜂」の画像を用いて本願発明を説明するものであり、この「ぶんぶん」音の振幅は、基準点のｘ座標、「蜂」画像の深さの値、表示スクリーンの幅、最も深い地点にある画像の深さの値から求める。しかしながら、１または複数の音声特性を表す１または複数の所定音声対を備えた画像を用い、また、各所定音声対を任意の数の表示制御値で定義しても本願発明を実施することは可能である。
【００２７】
次に図７を参照する。この図は、関連図形アプリケーション開発ツールキットルーチンの処理フローを示したものである。表示されている画像に対してユーザーが移動すると、ブロック５７において、関連図形アプリケーション開発ツールキットルーチンは、全ての画像について表示基準座標ｘ，ｙと相対深度値ｚを再度演算しなおす。次にブロック５９において、前記ルーチンは各画像の相対深度値ｚを用いてその表示基準座標ｘ，ｙを割る。画像の相対深度の相違を最小にしたり、あるいは、強調するためにけた移動子を用いる。次に、ブロック６１において前記ルーチンは画像毎に所定２次元イメージを選択し、もし適用可能な場合は、所定音声対も選択する。所定２次元イメージは基準化または非基準化したｘ／ｚとｙ／ｚ値に基づいて選択を行い、これに対して、所定音声対は所定の方法に従ってアプリケーション内で選択される。最後に、ブロック６３で、このルーチンは選択されたイメージを表示し、また、音声対を出力する。所定２次元イメージは、その表示制御値として基準化または非基準化されたｘ／ｚとｙ／ｚ値を用いながら対応する表示セクタに表示され、また、選択された音声対は所定の方法に従ってアプリケーション内のスピーカーに出力される。
【００２８】
選択されたイメージは、基準化または非基準化されたｘ／ｚ値とｙ／ｚ値を当該イメージの表示制御値として用いながら表示されるため、図８Ａおよび８Ｂ、図９Ａおよび９Ｂに示すように、ユーザーから遠い位置にある画像はユーザーに近い位置にある画像よりはゆっくりとした速度で移動する。これにより、表示されている画像にパララックス効果が生じる。図８Ａ，８Ｂは水平移動の場合のパララックス効果を示しており、一方、図９Ａ，９Ｂは垂直方移動の場合のパララックス効果を示している。いずれの場合も、ユーザーに最も近い位置にあるスペースシャトルと宇宙飛行士の移動が最も大きいが、これに対して、ユーザーから遠い位置にある地球、星々、星雲は移動距離が徐々に減少しているように見える。基準化を用いてユーザーには星雲がわずかしか移動していないように見えるようにしているため、図の劇的効果が増す。実際の世界では、星雲は大変遠くにあるため、ユーザーにはそのような動きは感じられない。ｚ分割は画像毎に１回しか行わなず、各画像の全ての点については行わないため、２次元グラフィックスコンピュータ装置で必要な演算量や資源はかなり少なくなる。その結果、かなりの低価格でパララックス効果を発生させたり、現実性を付与できる。
【００２９】
図８Ａ，８Ｂ、図９Ａ，９Ｂは図形アプリケーションに関連した宇宙を用いてパララックス効果を説明している。しかしながら、本願発明はどのようなユーザーインターフェースを用いても実施することが可能である。例えば、異なる時間単位で画像を表示するインターフェスがある。このインターフェースでは、ユーザーに近い場合はナノ秒や秒などの小さな時間単位で、一方、ユーザーから遠ざかる場合は年、世紀、千年といった大きな時間単位となる。この他、画像が階層システムの要素であって、若い子孫はユーザーに近く、一方、年老いた先祖はユーザーから遠くにいるインターフェースや、あるいは、画像が本の要素であって、パラグラフや節はユーザーに近く、一方、章や部はユーザーから遠くにあるインターフェースを用いても本願発明を実施することは可能である。
【図面の簡単な説明】
【図１】図１は本願発明の２次元グラフィックスコンピュータ装置の概略を示したブロック図
【図２】図１のメモリーのうち関連した内容を示した論理図
【図３】図１のディスプレイに表示される画像の分解図であり、図２の図形アプリケーションを説明した図
【図４〜６】図２の所定２次元イメージ及び音声のライブラリーのうちで関連する内容をさらに詳細に示した図
【図７】画像にパララックス効果を与える図２の関連グラフィックスツールキットルーチンの処理フローを示した図
【図８】図８Ａおよび８Ｂは本願発明の方法および装置によって画像に水平方向のパララックス効果が付与される様子を示した図
【図９】図９Ａおよび９Ｂは本願発明の方法および装置によって画像に垂直方向のパララックス効果が付与される様子を示した図
【符号の説明】
１０ ２次元グラフィックスコンピュータ装置
１２ ＣＰＵ
１４ メモリー
１６ Ｉ／Ｏインターフェース
１８ 入力装置
２０ バス
２２ 表示コントローラー
２４ フレームバッファー
２６ ＲＡＭ
２８ ディスプレイアダプタ制御部
３０ ２次元走査型ディスプレイ
３２ 音声コントローラー
３４ スピーカー
３６ オペレーティングシステム
３８ 図形表示ライブラリー
４０ 図形アプリケーション開発ツールキット
４２ 図形アプリケーション
４４ 協働マルチメディアデータライブラリー
４５ イメージ
４７ 音声
４８ 画像
５０ ２次元イメージ

Claims (38)

1. 走査型ディスプレイと複数の画像を有してなるコンピュータ装置において現実性を付加しながら前記走査型ディスプレイ上に前記画像を生成表示する方法であって、
   ａ）前記画像の各画像毎に少なくとも１つの所定２次元イメージを格納するステップであって、前記画像の前記少なくとも１つの所定２次元イメージは、前記走査型ディスプレイの表示セクタに表示される前記画像のうちの一つの画像のイメージに対応しており、第１および第２イメージ表示制御値に基づいて前記画像の前記少なくとも１つの所定２次元イメージの各イメージが定義される格納ステップと、
   ｂ）前記画像の各画像毎に表示基準座標対ｘ，ｙと相対深度値ｚを演算するステップであって、前記表示基準座標ｘ，ｙと相対深度値ｚが所定位置にあるユーザーの目を基準とした前記画像の幾何学的位置を表す演算ステップと、
   ｃ）対応する深度値ｚに基づいて前記表示基準座標ｘ，ｙを調整するステップと、
   ｄ）前記画像のそれぞれについて、当該画像の調整済み表示基準座標ｘ，ｙに基づいて所定２次元イメージを選択するステップと、
   ｅ）選択された前記２次元イメージを用いて前記走査型ディスプレイ上に前記画像を表示するステップであって、選択された前記２次元イメージの前記第１および第２イメージ表示制御値が、前記調整済み表示基準座標ｘ，ｙを用いて決定されるステップとを含むことを特徴とする画像表示方法。
2. 前記画像のうち第１の画像について、８つの表示セクタに対応する８つの所定２次元イメージが、当該８つの表示セクタの各セクタ毎に１つの割合で格納され、前記表示セクタの各セクタは、前記走査型ディスプレイの中心から放射状に延びる第１および第２ラインセグメントを境界にして所定の大きさの角度を形成しており、また、
   前記ステップｄにおける前記第１画像の所定２次元イメージの選択が、８つの所定２次元イメージの中の１つの２次元イメージの選択であることを特徴とする請求項１記載の画像表示方法。
3. 前記ステップｃにおける前記調整が、前記表示基準座標ｘ，ｙを対応するｚ値で割ることであることを特徴とする請求項１記載の画像表示方法。
4. 前記ステップｃにおける前記調整が、調整済みの前記表示基準座標ｘ，ｙをさらにけた移動子で乗算するステップを含むことを特徴とする請求項３記載の画像表示方法。
5. 前記所定２次元イメージの各イメージは表示制御点を有しており、
   前記所定２次元イメージの前記第１および第２イメージ表示制御値は、前記所定２次元イメージの前記表示制御点のｘ，ｙ座標であり、また、
   前記段階ｅにおいて前記被選択２次元イメージの前記第１および第２イメージ表示制御値の決定が、選択された前記２次元イメージの前記表示制御点の前記ｘ，ｙ座標を前記調整済み表示基準座標ｘ，ｙに設定することであることを特徴とする請求項３記載の画像表示方法。
6. 前記所定２次元イメージの前記表示制御点が、前記所定２次元イメージの幾何学的左上隅であることを特徴とする請求項５記載の画像表示方法。
7. 前記コンピュータ装置は、少なくとも１つのスピーカーをさらに備えており、
   前記ステップａが、さらに、前記画像のサブセットの各メンバ毎に少なくとも１つの所定音声データを格納するものであって、前記メンバ画像の前記少なくとも１つの所定音声データの各音声は、出力される音声の少なくとも１つの特性を表したもので、所定の出力方法を備え、また、
   前記ステップｄがさらに所定の方法で前記メンバ画像の各画像毎に所定音声データを選択するステップを含み、また、
   前記ステップｅが、さらに、前記被選択音声データを用いて少なくとも１つのスピーカーを起動するものであって、当該被選択音声データがそれぞれの出力方法に従って出力されるステップを備えていることを特徴とする請求項１記載の画像表示方法。
8. 前記コンピュータ装置は左右１つずつの合計２つのスピーカーを備えており、
   前記音声データの振幅特性を表す所定音声データを前記画像のうち第２画像について格納するものであり、当該所定音声データは第１及び第２式から求められる右左の表示制御値（ＲＡとＬＡ）を有しており、当該第１及び第２式は、
   

   

   であって、ここで、ｘは前記第２画像の基準点のｘ座標であり、
   zは前記第２画像の深度値であり、
   wは前記ディスプレイのスクリーン幅であり、
   zdは前記ディスプレイに現在表示中の全画像の最も大きな 深度値である
   ことを特徴する請求項７記載の画像表示方法。
9. 前記画像はアプリケーションの図形インターフェースのエレメントであることを特徴とする請求項１記載の画像表示方法。
10. 前記図形インターフェースは階層システムであって、当該階層システムは複数の先祖と子孫からなり、前記子孫は前記ユーザーの目に近い位置にあり、また、前記先祖は前記ユーザーの目から遠い位置にあることを特徴とする請求項９記載の画像表示方法。
11. 走査型ディスプレイと複数の画像を有してなるコンピュータ装置において、現実性を加味しながら前記走査型ディスプレイ上に前記画像を生成表示する装置であって、
    ａ）前記画像の各画像毎に少なくとも１つの２次元イメージを格納する格納手段であって、前記画像の前記少なくとも１つの所定２次元イメージが前記走査型ディスプレイの表示セクタ内に表示される前記画像のうち１つの画像のイメージに対応しており、前記画像の前記少なくとも１つの２次元イメージが第１および第２イメージ表示制御値に基づいて定義されている格納手段と、
    ｂ）前記画像の各画像毎に表示基準座標対ｘ，ｙと相対深度値ｚを演算する演算手段であって、前記画像の当該表示基準座標ｘ，ｙ対と相対深度値ｚは、所定位置にあるユーザーの目に対する前記画像の幾何学的位置を表す演算手段と、
    ｃ）前記演算手段に接続されており、対応するｚ値に基づいて前記表示基準座標ｘ，ｙを調整する調整手段と、
    ｄ）前記格納手段と前記調整手段に接続されており、前記調整済み表示基準座標ｘ，ｙに基づいて前記画像の各画像毎に所定２次元イメージを選択する選択手段と、
    ｅ）前記選択手段に接続されており、前記被選択２次元イメージを用いて前記走査型ディスプレイ上に前記画像を表示する表示手段であって、前記被選択２次元イメージの前記第１および第２イメージ表示制御値が、前記調整済み表示基準座標ｘ，ｙを用いて決定される表示手段とを含むことを特徴とする画像表示装置。
12. 前記格納手段が、前記画像のうちの第１画像に対して、８つ表示セクタに対応した８つの所定２次元イメージを当該８つの表示セクタの１つのセクタに１つの割合で格納するものであり、前記表示セクタの各セクタが、前記走査型ディスプレイの中心から放射状に延びる第１および第２ラインセグメントを境界にして所定の大きさの角度を形成しており、さらに
    前記選択手段が、前記８つの所定２次元イメージのうちの１つのイメージを前記第１画像に対して表示される前記所定２次元イメージとして選択するものであることを特徴とする請求項１１記載の画像表示装置。
13. 前記調整手段が、前記表示基準座標ｘ，ｙを対応するｚ値で割るものであることを特徴とする請求項１１記載の画像表示装置。
14. 前記調整手段が、調整済みの前記表示基準座標ｘ，ｙをけた移動子でさらに乗算するものであることを特徴とする請求項１３記載の画像表示装置。
15. 前記所定２次元イメージの各イメージが表示制御点を有しており、
    前記所定２次元イメージの前記第１および第２イメージ表示制御値が、前記所定２次元イメージの前記表示制御点のｘ，ｙ座標であり、また、
    前記表示手段が、選択された前記２次元イメージの前記表示制御点の前記ｘ，ｙ座標を前記調整済み表示基準座標ｘ，ｙに設定して前記被選択２次元イメージの前記第１および第２イメージ表示制御値を決定するものであることを特徴とする請求項１３記載の画像表示装置。
16. 前記所定２次元イメージの前記表示制御点が、前記所定２次元イメージの幾何学的左上隅であることを特徴とする請求項１５記載の画像表示装置。
17. 前記コンピュータ装置は、少なくとも１つのスピーカーをさらに備えており、
    前記格納手段が、さらに前記画像のサブセットの各メンバ毎に少なくとも１つの所定音声データを格納するものであって、前記メンバ画像の前記少なくとも１つの所定音声データの各音声は、出力される音声の少なくとも１つの特性を表したもので、所定の出力方法を備え、
    前記選択手段が、さらに所定の方法で前記メンバ画像の各画像毎に所定の音声データを選択し、
    前記表示手段が、さらに前記被選択音声データを用いて少なくとも１つのスピーカーを起動するものであり、当該被選択音声データがそれぞれの出力方法に従って出力されるものであることを特徴とする請求項１１記載の画像表示装置。
18. 前記コンピュータ装置が左右１つずつの合計２つのスピーカーを備えており、
    前記音声の振幅特性を表す所定音声データを、前記画像のうち第２画像について格納するものであり、当該所定音声は第１及び第２式から求められる右左の表示制御値（ＲＡとＬＡ）を有しており、当該第１及び第２式は、
    

    

    であって、ここで、ｘは前記第２画像の基準点のｘ座標であり、
    zは前記第２画像の深度値であり、
    wは前記ディスプレイのスクリーン幅であり、
    ｚｄは前記ディスプレイに現在表示中の全画像の最も大きな 深度値である
    ことを特徴する請求項１７記載の画像表示装置。
19. 前記画像が、アプリケーションの図形インターフェースのエレメントであることを特徴とする請求項１１記載の画像表示装置。
20. 前記図形インターフェースが階層システムであって、当該階層システムは複数の先祖と子孫からなり、前記子孫は前記ユーザーの目に近い位置にあり、また、前記先祖は前記ユーザーの目から遠い位置にあることを特徴とする請求項１９記載の画像表示装置。
21. 走査型ディスプレイを有してなるコンピュータ装置において現実性を付加しながら前記走査型ディスプレイ上に異なる深度で少なくとも2つの画像を生成表示する方法であって、
    前記画像の各画像毎に少なくとも１つの所定２次元イメージを格納するステップであって、前記画像の前記少なくとも１つの所定２次元イメージは、前記走査型ディスプレイの表示セクタに表示される前記画像のうちの一つの画像のイメージに対応しており、第１および第２イメージ表示制御値に基づいて前記画像の前記少なくとも１つの所定２次元イメージの各イメージが定義される格納ステップと、
    前記画像の各画像毎に表示基準座標対ｘ，ｙと相対深度値ｚを演算するステップであって、前記表示基準座標ｘ，ｙと相対深度値ｚが所定位置にあるユーザーの目を基準とした前記画像の幾何学的位置を表す演算ステップと、
    前記表示基準座標対ｘ，ｙを前記ｚ値で割ることにより変換された座標を演算して前記少なくとも2つの画像の間にパララックス効果を生成するステップと、
    前記変換された座標を選択された移動子で乗算しパララックス効果を強めるステップと、
    前記画像のそれぞれについて、当該画像の変換された座標に基づいて所定２次元イメージを選択するステップと、
    選択された前記２次元イメージを用いて前記走査型ディスプレイ上に前記画像を表示するステップであって、選択された前記２次元イメージの前記第１および第２イメージ表示制御値が、前記変換された座標を用いて決定されるステップとを含むことを特徴とする画像表示方法。
22. 前記画像のうち第１の画像について、８つの表示セクタに対応する８つの所定２次元イメージが、当該８つの表示セクタの各セクタ毎に１つの割合で格納され、前記表示セクタの各セクタは、前記走査型ディスプレイの中心から放射状に延びる第１および第２ラインセグメントを境界にして所定の大きさの角度を形成しており、また、
    前記所定イメージを選択するステップにおける前記第１画像の所定２次元イメージの選択が、８つの所定２次元イメージの中の１つの２次元イメージの選択であることを特徴とする請求項２１記載の画像表示方法。
23. 前記少なくとも1つの所定２次元イメージの各イメージは表示制御点を有しており、
    前記所定２次元イメージの前記第１および第２イメージ表示制御値は、前記変換された座標に対する前記選択された２次元イメージの前記表示制御点のｘ，ｙ座標であることを特徴とする請求項２１記載の画像表示方法。
24. 前記少なくとも1つの所定２次元イメージの前記表示制御点が、前記所定２次元イメージの幾何学的左上隅であることを特徴とする請求項２３記載の画像表示方法。
25. 前記コンピュータ装置は、少なくとも１つのスピーカーをさらに備えており、
    前記少なくとも1つの所定2次元イメージを格納するステップがさらに、前記画像のサブセットの各メンバ毎に少なくとも１つの所定音声データを格納するものであって、前記メンバ画像の前記少なくとも１つの所定音声データの各音声は、出力される音声の振動数を表したもので、所定の出力方法を備え、また、
    前記所定2次元イメージを選択するステップがさらに、所定の方法で前記メンバ画像の各画像毎に所定音声データを選択するステップを含み、また、
    前記走査型ディスプレイ上に前記画像を表示するステップが、さらに、前記被選択音声データを用いて少なくとも１つのスピーカーを起動するものであって、当該被選択音声データがそれぞれの出力方法に従って出力されるステップを備えていることを特徴とする請求項２１記載の画像表示方法。
26. 前記コンピュータ装置は左右１つずつの合計２つのスピーカーを備えており、
    前記音声データの振幅特性を表す所定音声データを前記画像のうち第２画像について格納するものであり、当該所定音声データは第１及び第２式から求められる右左の表示制御値（ＲＡとＬＡ）を有しており、当該第１及び第２式は、
    

    

    であって、ここで、ｘは前記第２画像の基準点のｘ座標であり、
    zは前記第２画像の深度値であり、
    wは前記ディスプレイのスクリーン幅であり、
    ｚｄは前記ディスプレイに現在表示中の全画像の最も大きな 深度値である
    ことを特徴する請求項２５記載の画像表示方法。
27. 前記画像はアプリケーションのユーザーインターフェースのエレメントであり、前記アプリケーションのユーザーインターフェースを介して前記コンピュータ装置のユーザーが見て処理する実体を表すことを特徴とする請求項２１記載の画像表示方法。
28. 前記画像により表される前記実体は、多平面階層システムのメンバであって、当該階層システムは複数の先祖と子孫からなり、前記子孫は画像により前記ユーザーの目の近くに表され、また、前記先祖は画像により前記ユーザーの目から遠くに表されることを特徴とする請求項２７記載の画像表示方法。
29. 前記画像により表される前記実体が、本の部、章、節、およびパラグラフであり、該パラグラフや節は画像により前記ユーザーの目の近くに表され、前記章や部は画像により前記ユーザーの目から遠くに表されることを特徴とする請求項２７記載の画像表示方法。
30. 走査型ディスプレイを有してなるコンピュータ装置において、現実性を加味しながら前記走査型ディスプレイ上に異なる深度で少なくとも2つの画像を生成表示する装置であって、
    前記画像の各画像毎に少なくとも１つの２次元イメージを格納する格納手段であって、前記画像の前記少なくとも１つの所定２次元イメージが前記走査型ディスプレイの表示セクタ内に表示される前記画像のうち１つの画像のイメージに対応しており、前記画像の前記少なくとも１つの２次元イメージが第１および第２イメージ表示制御値に基づいて定義されている格納手段と、
    前記画像の各画像毎に表示基準座標対ｘ，ｙと相対深度値ｚを演算する演算手段であって、前記画像の当該表示基準座標ｘ，ｙ対と相対深度値ｚは、所定位置にあるユーザーの目に対する前記画像の幾何学的位置を表す演算手段と、
    前記演算手段に接続されており、前記表示基準座標対ｘ，ｙを前記ｚ値で割ることにより変換された座標を演算して前記少なくとも2つの画像の間にパララックス効果を生成する変換手段と、
    前記変換された座標を選択された移動子で変更することによりパララックス効果を強める手段と、
    前記格納手段と前記パララックス効果を強める手段に接続されており、前記変換された座標に基づいて前記画像の各画像毎に所定２次元イメージを選択する選択手段と、
    前記選択手段に接続されており、前記被選択２次元イメージを用いて前記走査型ディスプレイ上に前記画像を表示する表示手段であって、前記被選択２次元イメージの前記第１および第２イメージ表示制御値が、前記変換された座標を用いて決定される表示手段とを有してなることを特徴とする画像表示装置。
31. 前記格納手段が、前記画像のうちの第１画像に対して、８つ表示セクタに対応した８つの所定２次元イメージを当該８つの表示セクタの１つのセクタに１つの割合で格納するものであり、前記表示セクタの各セクタが、前記走査型ディスプレイの中心から放射状に延びる第１および第２ラインセグメントを境界にして所定の大きさの角度を形成しており、さらに
    前記選択手段が、前記８つの所定２次元イメージのうちの１つのイメージを前記第１画像に対して表示される前記所定２次元イメージとして選択するものであることを特徴とする請求項３０記載の画像表示装置。
32. 前記少なくとも1つの所定２次元イメージの各イメージが表示制御点を有しており、
    前記所定２次元イメージの前記第１および第２イメージ表示制御値が、前記所定２次元イメージの前記表示制御点のｘ，ｙ座標であり、また、
    前記表示手段が、選択された前記２次元イメージの前記表示制御点の前記ｘ，ｙ座標を前記変換された座標に設定して前記被選択２次元イメージの前記第１および第２イメージ表示制御値を決定するものであることを特徴とする請求項３０記載の画像表示装置。
33. 前記所定２次元イメージの前記表示制御点が、前記少なくとも1つの所定２次元イメージの幾何学的左上隅であることを特徴とする請求項３２記載の画像表示装置。
34. 前記コンピュータ装置は、少なくとも１つのスピーカーをさらに備えており、
    前記格納手段が、さらに前記画像のサブセットの各メンバ毎に少なくとも１つの所定音声データを格納するものであって、前記メンバ画像の前記少なくとも１つの所定音声データの各音声は、出力される音声の振動数を表したもので、所定の出力方法を備え、
    前記選択手段が、さらに所定の方法で前記メンバ画像の各画像毎に所定の音声データを選択し、
    前記表示手段が、さらに前記被選択音声データを用いて少なくとも１つのスピーカーを起動するものであり、当該被選択音声データがそれぞれの出力方法に従って出力されるものであることを特徴とする請求項３０記載の画像表示装置。
35. 前記コンピュータ装置が左右１つずつの合計２つのスピーカーを備えており、
    前記音声の振幅特性を表す所定音声データを、前記画像のうち第２画像について格納するものであり、当該所定音声は第１及び第２式から求められる右左の表示制御値（ＲＡとＬＡ）を有しており、当該第１及び第２式は、
    

    

    であって、ここで、ｘは前記第２画像の基準点のｘ座標であり、
    zは前記第２画像の深度値であり、
    wは前記ディスプレイのスクリーン幅であり、
    ｚｄは前記ディスプレイに現在表示中の全画像の最も大きな 深度値である
    ことを特徴する請求項３４記載の画像表示装置。
36. 前記画像はアプリケーションのユーザーインターフェースのエレメントであり、前記アプリケーションのユーザーインターフェースを介して前記コンピュータ装置のユーザーが見て処理する実体を表すことを特徴とする請求項３０記載の画像表示装置。
37. 前記画像により示される前記実体は、多平面階層システムのメンバであって、当該階層システムは複数の先祖と子孫からなり、前記子孫は画像により前記ユーザーの目の近くに表され、また、前記先祖は画像により前記ユーザーの目から遠くに表されることを特徴とする請求項３６記載の画像表示装置。
38. 前記画像により表される前記実体が、本の部、章、節、およびパラグラフであり、該パラグラフや節は画像により前記ユーザーの目の近くに表され、前記章や部は画像により前記ユーザーの目から遠くに表されることを特徴とする請求項３６記載の画像表示装置。

Images