JP3952319B2 - 立体画像システム、その方法、ゲーム装置及び記録媒体 - Google Patents

立体画像システム、その方法、ゲーム装置及び記録媒体 Download PDF

Info

Publication number
JP3952319B2
JP3952319B2 JP35126796A JP35126796A JP3952319B2 JP 3952319 B2 JP3952319 B2 JP 3952319B2 JP 35126796 A JP35126796 A JP 35126796A JP 35126796 A JP35126796 A JP 35126796A JP 3952319 B2 JP3952319 B2 JP 3952319B2
Authority
JP
Japan
Prior art keywords
image
observer
virtual body
virtual
stereoscopic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP35126796A
Other languages
English (en)
Other versions
JPH09237353A (ja
Inventor
秀顕 土居
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sega Corp
Original Assignee
Sega Corp
Sega Games Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sega Corp, Sega Games Co Ltd filed Critical Sega Corp
Priority to JP35126796A priority Critical patent/JP3952319B2/ja
Publication of JPH09237353A publication Critical patent/JPH09237353A/ja
Application granted granted Critical
Publication of JP3952319B2 publication Critical patent/JP3952319B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、複数の画像表示面に画像を表示する画像表示装置に係り、特に、いわゆる立体画像を複数人に提示する画像表示技術の改良に関する。
【0002】
【従来の技術】
従来より、複数の画像表示面に跨って画像を表示する画像表示装置が開発されてきた。例えば、特開昭60−89209号公報、特開昭60−154287号等には、複数の画像表示面(マルチスクリーン)へ同時に共通の画像を表示できる画像表示装置が掲載されている。これらの画像表示装置は、広いメモリ空間をスクリーンの数に分割し、分割したメモリエリアの画像を対応するスクリーンへ表示するというものである。
【0003】
また、近年のヴァーチャル・リアリティ(Virtual Reality;VR;仮想現実感)に基づく表示技術の向上に伴い、複数の画像表示面に跨って仮想現実感を観察者に提示するための立体表示装置が出現した。米国・シカゴのイリノイ大学の電子視覚化研究所(Electronic Visualization Laboratory)において、1992年に開発されたCAVE(Cave Automatic Virtual Environment)が、この代表である。CAVEは、3m立方程度の大きさに空間のうち、観察者の前面、左右の壁面、および底面の各々の画像表示面へ、プロジェクタ(投影器)を用いて2次元画像を表示することにより、立体的に画像を知覚させる。CAVEシアタの内部に入る観察者は、液晶シャッタで動作する眼鏡を装着する。立体画像は、垂直同期期間毎に右目用の画像と左目用の画像が交替に表示されるものである。これを観察者が肉眼のまま認識したのでは、立体感のない2次元画像として認識されるのみである。ところが、観察者が装着する眼鏡の液晶シャッタを開閉するタイミングを、この立体画像の切換タイミングに同期させれば、観察者の右目には右目用の画像のみ、左目には左目用の画像のみが提供されるので、観察者は壁面に表示された2次元画像を立体的に認識することになる。
【0004】
立体画像を生成するには、ある観察者の視点を特定しなければならない。CAVEでは、観察者の視点の位置を検出するためのセンサを備えた眼鏡を、観察者の一人が装着する。コンピュータは、このセンサによって得られた視点の座標に基づいて、原画像データにマトリクス演算を施し、各壁面等に表示する立体画像を生成する。
【0005】
CAVEシアタについては、1992年のACMシー・グラフ(SIGGRAPH)会議で発表された他、インターネット上でもその概要が開示されている。また、CAVEの技術的概要については、「COMPUTER GRAPHICS Oroceedings,Annual Conference Series,1993」の論文、“Surround-Screen Projection-Based Virtual Reality:The Design and Implementation of the CAVE”(Carolina Cruz-Neira他2名)に詳しく記載されている。
【0006】
一方、複数の観察者の各々が同一画面を見ているにもかかわらず、各自に異なる画像を提供するという技術が、特開平7−222087号公報に記載されている。この公知技術は、同一画面に複数種類の画像を時分割して表示し、各観察者にこの時分割タイミングに同期させて開閉する眼鏡をかけさせることにより、各自に異なる内容の画像を認識させるというものである。
【0007】
【発明が解決しようとする課題】
ところで、ゲーム装置等に立体画像システムを適用する場合、立体画像表示されたキャラクタを観察者(遊技者)が攻撃することも考えられる。この場合、実空間には存在しない武器等の仮想体画像を観察者の手に表示させ、また、弾や光線等の仮想体画像をキャラクタに向かって発射させることができれば、観察者の興味を大いに喚起することができる。
【0008】
更に、上記のように観察者の持つ武器自体を仮想体画像とすることで、ゲームの雰囲気に合わせた武器を瞬時に出現させることができる。例えば、歴史を跨いで展開するようなゲーム(ゲームの進行に連れ、複数の時代を行き来するようなゲーム)を作ってもゲームの雰囲気を損なうことなく対応させることができる。
【0009】
そこで、本発明は、観察者の手等の身体部位に仮想体画像を立体表示することが可能な立体画像システム、ゲーム装置、その方法および記録媒体を提供することを課題とする。
【0010】
【課題を解決するための手段】
請求項1に記載の画像表示装置は、観察者に仮想体画像を立体的に認識させる立体画像システムである。位置検出手段(電界、電磁界、超音波等のセンサおよびコンピュータ)は、仮想体画像を観察する観察者の所定の身体部位(例えば、手)における位置を検出し、その空間座標を出力する。表示位置決定手段(ワークステーション等)は、前記位置検出手段の出力した空間座標に基づいて、仮想体画像を観察者に認識させる実空間上の位置を決定する。ここで、仮想体とは、例えば武器等の仮想的な物体あるいは光線等の物質の総称をいうものとする。
【0011】
請求項2に記載の発明は、観察者の目にその視差を反映した仮想体画像をそれぞれ提示し、観察者にこの仮想体画像を立体的に認識させる立体画像システムである。位置検出手段(各種センサ、コンピュータ等)は、仮想体画像の観察者の、所定の身体部位(例えば、手)における実空間上の位置を検出し、その空間座標を出力する。画像表示手段(ワークステーション、プロジェクタ、モニタ等)は、位置検出手段の出力した空間座標に基づき、前記空間座標に対応する位置に像(例えば、武器)を結ぶように仮想体画像を表示する。
【0012】
請求項3に記載の発明は、請求項1又は請求項2に記載の立体画像システムにおいて、仮想体画像は、位置検出手段が検出した位置から発射されるかの如く観察者に認識させる物体の画像(例えば、弾やレーザービーム)を含む。
【0013】
請求項3に記載の発明は、請求項1又は請求項2に記載の立体画像システムにおいて、仮想体画像は、位置検出手段が検出した位置から発射されるかの如く観察者に認識させる物体の画像(例えば、弾やレーザービーム)を含む。
【0014】
請求項5に記載の発明は、請求項4に記載の立体画像システムにおいて、前記衝突判定手段は、前記第1の仮想体に設定された所定の半径を有する1以上の空間領域と前記第2の仮想体画像に設定された所定の半径を有する1以上の空間領域とが、重なるか否かを、各前記空間座標と各前記半径とに基づいて演算することにより、前記衝突の有無を判定すること、を特徴とする。
【0015】
請求項6に記載の発明は、請求項1又は請求項2に記載の立体画像システムにおいて、仮想体画像は、左目の視点に対応する画像と右目の視点に対応する画像が、時分割的に交互に表示されるものである。これに同期して開閉する電子シャッター(液晶等の電子シャッター)を用いて、観察者の左右の目に、前記左目の視点に対応する画像と前記右目の視点に対応する画像とを個別に提示することことにより、この観察者に前記仮想体画像を認識させる。
【0016】
請求項7に記載の発明は、請求項2に記載の立体画像システムにおいて、画像表示手段は、画像の観察場所を囲む壁面のうち、少なくとも一面に設けられた映写機等の画像を投射する画面を含む。
【0017】
請求項8に記載の発明は、請求項1又は請求項2のいずれかに記載の立体画像システムを備えたゲーム装置であって、ゲーム用の画像として前記仮想体画像を表示する。
【0018】
請求項9に記載の発明は、実空間上に仮想体画像を立体表示する立体画像表示方法であって、仮想体画像の観察者の所定の身体部位における実空間上の位置を検出するステップと、その空間座標を出力するステップと、空間座標に基づいて、前記仮想体画像の実空間上の表示位置を決定するステップと、を備える。
【0019】
請求項10に記載の発明は、観察者の目にその視差を反映した仮想体画像をそれぞれ提示し、この仮想体画像を立体的に認識させる立体画像表示方法であって、仮想体画像の観察者の、所定の身体部位(例えば、手)における実空間上の位置を検出するステップと、その空間座標を出力するステップと、空間座標に基づき、空間座標に対応する位置に仮想体画像(例えば、武器)を表示するステップと、を備える。
【0020】
請求項11に記載の発明は、請求項9又は請求項10のいずれかに記載の立体画像表示方法であって、仮想体画像は、位置検出手段が検出した位置から発射されるかの如く観察者に認識させる物体の画像(例えば、弾やレーザービーム)を含む。
【0021】
請求項12に記載の発明は、請求項9又は請求項10に記載の立体画像表示方法を処理装置(例えば、コンピュータ)に実行させる手順が記録された記録媒体である。
【0022】
【発明の実施の形態】
以下、本発明の実施の形態を好適な図面を参照して説明する。
【0023】
(I)第1形態
本発明の実施の第1形態は、二人のプレーヤ(遊技者、観察者)に同時に立体画像を提供し、ゲームプレイを行わせるための画像表示装置に関する。
【0024】
<全体構成>
図1に、本第1形態における画像表示装置の全体構成図を示す。図1に示すように、本形態の画像表示装置のための映写空間Sは、6つの面で囲まれる。この映写空間Sを構成する四周の壁(図の順にA面〜D面と称する)、天井(E面と称する)および底面(F面と称する)の各々が画像表示面として、立体画像が映写される。ここで、「立体画像」とは、2次元画像であって、垂直同期期間ごとに右目用と左目用の画像が交互に表示されるような画像のことをいう。この立体画像を垂直同期期間ごとに切り換えてプレーヤの左右の目に交互に提示すれば、プレーヤは、右目で右目用の画像を、左目で左目用の画像を認識することになる。 各画像表示面は、適当な強度を有し、かつ、光を透過等することにより画像の表示が可能な素材であればよい。例えば、強化プラスチックや半透明のコーティングを施したガラス等を用いる。但し、天井となるE面のようにプレーヤの接触が想定されない面であれば、映写用のスクリーン等を用いてもよい。
【0025】
各画像表示面は、プロジェクタが画像を前面に表示可能な形状ならば、どのような形状でもよい。但し、処理装置の演算を簡略化し、かつ、表示面周辺で生じる台形歪み(keystoning)やピンクッション歪み(pincushion)の補正を簡単にするため、方形に整形することがより好ましい。
【0026】
なお、各面のうちいずれか一つの面(本形態ではA面)はスライドして開閉することが可能なスクリーンになっている。このため、観察者は、A面を図1の矢印の方向へ開けて映写空間Sへ出入りすることが可能である(図2も参照のこと)。映写中は、A面を閉め切ることで、完全な立体画像空間を構成することが可能である。
【0027】
観察者は便宜上、プレーヤ1およびプレーヤ2と称する。各プレーヤは、プレーヤの位置を特定するために、各々が検出信号を送信するセンサを身につける。例えば、本形態では、プレーヤ1(プレーヤ2)の眼鏡の部分にセンサS1(S5)を、腹部にセンサS2(S6)を、両腕にセンサS3・S4(S7・S8)を装着する。各センサは、基準磁界アンテナATからの磁界を検出して、これに対応する検出信号をデジタルデータとして出力する。なお、本形態のように、各センサが独自に磁界の強さを出力してもよいが、一旦一定の場所に各センサの検出信号を集めて、一つのアンテナからデジタルデータとして送信してもよい。例えば、図1に破線で示すように、各プレーヤの頭部に設けられたトランスミッタへ検出信号を集め、アンテナTaまたはTbから送信するものであってもよい。
【0028】
プロジェクタ4a〜4fは、各々が一つの壁面へ立体画像を投影する。プロジェクタ4a〜4fがそれぞれA面〜F面の壁面へ立体画像を提示する。各プロジェクタと画像表示面との間には、反射ミラー5a〜5fを設ける(図2も参照のこと)。これら反射ミラーは、システム全体の大きさを小さくするために有効である。
【0029】
処理装置1は、本画像表示装置の中心となる装置であり、詳しくは後述する。送受信装置2は、基準磁界アンテナATへ基準磁界を発生させるための電流を供給する一方、プレーヤ1およびプレーヤ2の身につけるセンサS1〜S8からの検出信号を受信する。基準磁界アンテナATは、映写空間Sの周囲の所定位置、例えば、F面の裏のコーナまたはF面の幾何学的中心点に設置する。この基準磁界アンテナATが発生する磁界の強度を各センサが電流へ変換したとき、電流値の大きさがそのままセンサの相対的な位置を示すような位置に、基準磁界アンテナATを配置するのが好ましい。赤外線通信機3は、各プレーヤの装着する液晶シャッターつき眼鏡に開閉信号を送信する。
【0030】
<接続構成>
図3に、本第1形態の接続関係を示すブロック図を示す。本形態の画像処理装置は、大きく分けて、画像および音声の処理の主要部となる処理装置1、基準磁界を発生し、各プレーヤからの検出信号を受信する送受信装置2、液晶シャッターつき眼鏡のための開閉信号を通信する赤外線通信機3と、各プロジェクタ4a〜4fの各装置を備える。
【0031】
プレーヤ1は、センサS1〜S4と各センサの検出信号をデジタル通信する通信器T1〜T4を備え、プレーヤ2は、センサS5〜S8と各センサの検出信号をデジタル通信する通信器T5〜T8を備える。各センサは、電磁界の強さに応じた検出信号を出力するものであればどのような構成でもよい。例えば、センサが複数のコイルにより構成するものであれば、各センサS1〜S8は、基準磁界アンテナATが発生した磁界を検出し、検出した磁界の強さに対応した電流へ変換することになる。各通信器T1〜T8は、この電流の大きさを磁界の強さを示すパラメータとしてデジタルデータへ変換した後、送受信装置2へデジタル通信する。各センサが検出した電流は微弱でありノイズの影響を受け易いので、検出直後にデジタルデータへ変換すれば、正しい検出値のまま処理装置1へ供給できるからである。送信する周波数や変調方式に制限はないが、各センサの検出信号が互いに競合しないように、通信周波数を異ならせる等の措置を行う。
【0032】
なお、ユーザの装着する眼鏡の部分のセンサS1およびS5のみで、プレーヤの視点の位置を検出することが可能である。他のセンサは、後述する衝突判定のために、ユーザの姿勢や身体の各部の位置を把握するために必要である。
【0033】
送受信装置2は、基準磁界アンテナATに基準磁界を発生させる基準磁界発生器210、各センサS1〜S8からデジタル通信される検出信号をアンテナAR1〜AR8を介して受信する受信機201〜208、各受信機からの検出信号を蓄積するシリアルバッファ211を備える。
【0034】
基準磁界発生器210は、画像処理ブロック101の制御により一定の電流値を有する信号、例えば所定の周期でパルスが出力されるような信号を出力する。基準磁界アンテナATは、各辺が一定の長さの電線を例えば方形状のフレームに整形したものである。隣接する各辺は互いに直角に交わるため、このアンテナから一定距離以上離れた場合に検出される磁界の強さは、このアンテナからの相対的な距離と相関関係を有することになる。このアンテナに一定の電流値を有する信号を流せば、一定の強さの基準磁界を発生する。なお、本実施例では、磁界による距離の検出を行っているが、電界に基づく距離の検出、超音波等を用いた距離の検出を行ってもよい。
【0035】
各受信機201〜208は、デジタル通信された各センサからの検出信号をシリアルデータとしてシリアルバッファへ転送する。シリアルバッファ211は、各受信機から転送されたシリアルデータを双方向RAM(デュアルポートRAM)へ蓄積する。
【0036】
処理装置1は、画像処理の主要な演算動作を行う画像処理ブロック101、音声処理を行う音声処理ブロック102、音声処理ブロック102の出力するMIDI信号に基づく音声を発生するMIDI音源103と予備の音源104、MIDI音源103および104の音声を合成するミキサ105、ミキサ105からの音声をFM変調等して各プレーヤの装着するヘッドフォンHP1およびHP2へ送信する送信器106と107、ミキサ105からの音声を増幅するアンプ110、室内にモニタのための音響を創出するスピーカ111〜114、および、送信アンテナ108、109を備える。
【0037】
画像処理ブロック101は、超高速のリアルタイム演算を行い、立体画像のための画素単位の演算を行える演算能力を備えることが要求される。このため、画像処理ブロック101は、通常ハイエンドのフルカラーのピクセル演算を行うことができるワークステーションによって構成する。1つの画像表示面のために1台のワークステーションを用いる。したがって、A面〜F面のすべての面を表示するために、6台のワークステーションを用いる。各ワークステーションには、例えば、画素数が1280×512ピクセルとした場合に1秒当たり120フレームの画像処理能力が要求される。このような仕様を満たすワークステーションとしては、例えば、シリコングラフィックス社のハイエンド機(「Onyx」(商標名))が挙げられる。各ワークステーションは、画像処理のためのグラフィックエンジンを搭載する。例えば、シリコングラフィックス社のグラフィックライブラリを用いる。各ワークステーションで生成された画像データは、通信ラインを通して各プロジェクタ4a〜4fへ転送される。画像処理ブロック101を構成する6個のワークステーションは、自らの画像を表示するに画像データを転送する。
【0038】
赤外線通信機3は、画像処理ブロック101から供給される開閉信号を所定の周波数で変調し、赤外線ダイオード等を発光させる。各プレーヤの装着する液晶シャッターつき眼鏡GL1およびGL2は、この赤外線で変調された開閉信号をフォトセンサ等の受光素子で検出し、元の開閉信号に復調する。開閉信号は、右目の開放期間と左目の開放期間とを指示するタイミングに関する情報を含むので、液晶シャッターつき眼鏡GL1およびGL2はこのタイミングに同期させて液晶シャッターの開閉を行う。なお、赤外線通信に関しては通常のリモートコントローラに準じた構成にすればよい。また、赤外線通信によらず、正確な左右の開閉タイミングを指示できるものならば他の通信方法を用いてもよい。
【0039】
各プロジェクタ4a〜4fは、互いに同一の構成を備える。表示回路401は、画像処理ブロック101から転送される画像データのうち左目用の画像を読み取り、フレームバッファ403に蓄積する。表示回路402は、画像処理ブロック101から転送される画像データのうち右目用の画像を読み取り、フレームバッファ403に蓄積する。投影管404は、フレームバッファ403に蓄積された順番に画像データを表示する。投影管404から発した光は、映写空間Sの画像表示面に投影される。各プロジェクタ4a〜4fは、通常のテレビジョン信号に基づく表示を行うものでもよいが、本形態では垂直同期期間をさらに分割して表示するため、基本となる同期信号の周波数が通常のテレビジョン方式の周波数より高いことが好ましい。例えば、垂直同期周波数は120Hzとすれば、垂直同期期間を2分割して左右の目の画像表示期間を設けたとしても、片方の目に60Hzの周期で画像が表示されるので、チラツキやフリッカを防止し高い画質を維持できる。また、表示画素数は、例えば、1280×512ピクセル程度とする。通常のテレビジョン方式の画素数では、大画面表示のために十分な解像度を提供できないからである。
【0040】
<動作の説明>
次に、本第1形態の動作を説明する。図4に、本形態の動作を説明するフローチャートを示す。
【0041】
前提として、画像処理ブロック101である各ワークステーションは、大容量メモリからゲームプレイ用のプログラムをアクセスし、当該プログラムとプログラムに対応した原画像データを随時読出し使用するものとする。プレーヤは、出入口であるA面を開けて映写空間S内に入る。プレーヤが入ったことを確認してA面を閉じ、処理装置1はゲームプログラムを進行する。
【0042】
まず、プレーヤの人数をカウントするカウンタを初期値にセットする(ステップS1)。本形態ではプレーヤが二人なのでn=2とする。各プレーヤが映写空間Sを動き回るのに対応して各センサS1〜S8からは検出信号が送受信装置2に入力され、シリアルバッファ211に順次蓄積されている。
【0043】
画像処理ブロック101は、プレーヤ1のためのバッファから検出信号を読出す(ステップS2)。このとき、眼鏡の部分に備えられたセンサS1からのデータを視点検出のための検出信号として認識する。また、他のセンサS2〜S4の検出信号は、後の当たり判定(ステップS6)のために保持される。
【0044】
ステップS3にて、センサS1の検出信号に基づいてプレーヤ1の視点および視線を計算する。図5に視点計算の説明図を示す。センサS1の検出信号はプレーヤ1の視点の位置の座標を示している。すなわち、映写空間Sが立方体形状であって、その重心の座標を(x,y,z)=(0、0、0)と仮定した場合、検出信号の示すデジタルデータにオフセット値の加減算を行うことによって、重心からの相対座標が定まる。この相対座標が定まれば、図5に示すように、視点となる点の各面からの距離および各面へ投射した場合の座標が定まる。また、プレーヤの視線の方向は、例えば、眼鏡GL1および眼鏡GL2に設けられた位置センサや角度センサ(S1)から送信される信号に基づいて、基準磁界に対する位置情報と角度情報とを処理装置1が演算して検出する。プレーヤが装着する眼鏡はプレーヤの顔の前面を向いているので、眼鏡の部分のセンサから送信される検出信号を処理装置1のアンテナにより検出できたとき、プレーヤの顔がこのアンテナの方向を向いていると判定してもよい。なお、以下の処理では、視線はプレーヤの顔の向きと平行であるものと仮定して説明する。
【0045】
これらパラメータと視線の方向に基づいて、ワークステーションは、グラフィックライブラリを参照しつつ、原画像データの各ピクセルに対し座標変換の演算を施す。演算は、左目用の画像から右目用の画像の順番に行われる。
【0046】
図6に、立体画像と実際に各画像表示面に表示するデータとの関係を示す。図6において、C0は立体画像として認識させたい仮想物体の形状と位置を示す。視点Pと図の破線で示す視線の方向が定まると、仮想物体を投射する投射面が定まる。各画像表示面(図6ではA面、B面、F面)がこの投射面への投射影POを切断する切断面(SA、SBおよびSF)の形状が、実際に各画像表示面に表示すべき画像となる。原画像データを上記切断面SA、SBおよびSFの形状に変換するためのマトリクス演算の詳細については、例えば、「従来の技術」の欄で説明したCAVEの技術が適用できる。正確な演算が行われれば、図6のA面、B面およびF面の境界線においても、プレーヤがその境界線を意識することなく仮想物体を認識することが可能な立体画像を生成することが可能である。ステップS3では視点の特定のみ行い、実際の原画像データの座標変換演算はステップS8〜S11において行う。
【0047】
<衝突判定動作>
ステップS4〜S7までは、衝突判定に関する。これを図7を参照して説明する。例えば、プレーヤの攻撃対象物体であるキャラクタとして恐竜を表示する場合、図7のCの符号のような空間位置に像が認識されるよう表示される。一方、画像処理ブロック101は、手につけたセンサの検出信号を参照し、プレーヤの手の空間位置へ像が認識されるように、武器を表示する。例えば、プレーヤ1の視点からみて右手の位置に武器Wが存在するように立体画像を生成する。この結果、プレーヤ1は自らの手に、実際には存在しない武器Wの存在を認識し、プレーヤ2もプレーヤ1が武器Wを手にしているかの如く認識する。
【0048】
ステップS4において、画像処理ブロック101は、衝突判定のためのボールCB1、CB2を設定する(これらボールは、演算のための概念であって、実際にボールが見えるように表示する訳ではない)。また、ステップS5において、武器Wの長さの延在方向に沿ってもいくつかのボールWB1、WB2を設定する。このボールは衝突判定を簡単にするためのボールである。攻撃対象物体である恐竜の身長に沿って、キャラクタの身体をほぼ覆うようなボールを設定する。
【0049】
図8に示すように、各ボールを特定するためのパラメータとして、画像処理ブロック101は、各ボールの半径と中心座標とを認識する。図8では、恐竜側のボールCB1の中心点をO1、半径をr1とし、武器W1側のボールWB1の中心点をO2、半径をr2としてある。二つのボール間の中心点が判れば、互いの中心点間の距離dが判る。したがって、演算して得られた距離dと両ボールの半径r1およびr2の和とを比較すれば、武器W1と恐竜Cとが衝突しているか否かが判定できる(ステップS7)。この方法は、武器W1と恐竜Cとの衝突判定のみならず、光線銃W2から発せられるレーザビームLと恐竜Cとの衝突判定にも適応可能である。また、プレーヤと攻撃対象物体の衝突判定にも応用できる。光線銃W2は、仮想画像で表示することができるが、実際にプレーヤに持たせたモデルガンであってもよい。光線銃W2の銃口に位置検出のためのセンサを設ければ、銃口部分からレーザビームが発射されるような立体画像を生成することは、武器W1を手の空間位置に表示されるのと同じ考え方で実現できる。
【0050】
さて、距離dが両ボールの半径の和より大きい場合(d>r1+r2)(ステップS7;NO)、すなわち武器Wが恐竜Cに当たっていないと判定したときは、通常の原画像データを用いて、立体画像の生成が左目用(ステップS8)、右目用(ステップS9)の順番で行う。また、距離dが両ボールの半径の和より小さい場合(d≦r1+r2)(ステップS7;YES)、すなわち武器Wが恐竜Cに当たったと判定したときは、衝突用の爆発用画像データを通常の原画像データとともに読出し、合成した後、座標変換する(ステップS10、S11)。
【0051】
次のプレーヤが存在する場合(ステップS12;YES)、すなわち本形態のようにプレーヤ1に続いてプレーヤ2が存在するとき、プレーヤのカウンタをインクリメントする(ステップS13)。残りのプレーヤが存在しない場合(ステップS12;NO)、プレーヤのカウンタをリセットする(ステップS14)。
【0052】
以上処理は、攻撃対象物体である恐竜、武器、光線銃から発射されるレーザビームの仮想画像を生成する例であったが、原画像データが用意されている限り、他の仮想画像を生成してもよい。例えば、プレーヤが乗る乗り物の原画像が用意されていれば、プレーヤが単純に立っている(椅子に座っている)だけあるにもかかわらず、視覚上は空間を自由に航行する飛行物体に搭乗しているかのような画像を生成できる。
【0053】
なお、画像処理に関する説明のみを行ったが、画像の進行に対応するステレオ音声が各スピーカ111〜114から提供されることは言うまでもない。
【0054】
<シャッタータイミングについての動作>
図9に、画像処理ブロック101がどのように転送され、どのようなシャッタータイミングで制御されるかを説明する図を示す。一の原画像データは、左目用の画像表示期間V1と、右目用の画像表示期間V2とに分けられる。各画像表示期間は、さらにプレーヤの人数に分割される。本形態では2分割となる。すなわち、一つの立体画像は、プレーヤの人数n×2(両眼)のフレーム画像によって構成されることになる。
【0055】
画像処理ブロック101は、フレームを一単位として、プロジェクタ4a〜4fへ画像データを転送する。図9に示すように、ワークステーションはプレーヤ毎に左目から右目の順で画像を転送する。例えば、プロジェクタ4の左目用表示回路401は、フレームバッファ403の最初のブロックへプレーヤ1の左目用画像データを格納する。右目用表示回路402は、フレームバッファ403の3番目のブロックへ次いで転送されるプレーヤ1の右目用画像データを格納する。同様にして、プレーヤ2についての左目用画像データがフレームバッファ403の2番目のブロックへ、右目用画像データが4番目のブロックへ格納される。
【0056】
フレームバッファ403は、バッファ中のブロック順にフレーム毎に画像データを送出する。この送出タイミングに同期して、各プレーヤの装着する眼鏡の液晶シャッタを駆動する開閉信号が画像処理ブロック101から赤外線通信機3を経て各眼鏡に供給される。プレーヤ1の眼鏡に対しては、フレームバッファ403の最初のブロックの画像データが送出されるとき左目が開放状態となり、3番目のブロックの画像データが送出されるとき右目が開放状態となる開放信号を出力する。同様に、プレーヤ2の眼鏡に対しては、フレームバッファ403の2番目のブロックの画像データが送出されるとき左目が開放状態となり、4番目のブロックの画像データが送出されるとき右目が開放状態となる開放信号を出力する。
【0057】
各プレーヤは、画像表示面へ自らの視点に基づく左目用画像が表示されているとき、左目でのみ画像を認識し、右目用画像が表示されているとき右目でのみ画像を認識する。他のプレーヤのための画像が表示されているときには、両眼のシャッターとも閉じていることになる。以上の動作により、各プレーヤは各自の視点から完全な仮想現実感を得ることのできる立体画像を認識することになる。
【0058】
図9からも判るように、一つの画像表示面には、同一の原画像データに基づいて、プレーヤの各々について左右の目のための画像を順次切り換えて表示することになる。したがって、人間がチラツキなく動画を観察できる最も低い周波数を30Hzとすると、フレーム画像を転送する同期信号の周波数は、プレーヤの人数n×2(両眼)の周波数が必要であることが判る。
【0059】
図10に、図7で例示した仮想画像を表示するA面、B面およびF面の各面の表示タイミングと実際に表示する画像の様子を示す。すなわち、一つの立体画像を完成させるための周期のうち、前半は左目用の液晶シャッターが開放され、後半は右目用の液晶シャッターが開放される。プレーヤの各々は各画像表示面について立体画像を認識することになる。
【0060】
<本形態の利点>
以上の構成によって奏する本形態の利点は以下の通りである。
【0061】
i) 6面に画像表示を行うので、プレーヤは完全な仮想現実感の中でゲームプレイを体験することができる。
【0062】
ii) 画像表示面の開閉によりプレーヤの出入りが行えるので、ドアのノブ等により立体画像を損なうことがない。
【0063】
iii)ハイエンドのワークステーションが画像処理を行うので、高品位のスピード感のある立体画像を表示できる。
【0064】
iv) 簡単な衝突判定を行うので、仮想画像同士、あるいは仮想画像と実際の物体、身体の一部との当たりの有無を知ることができ、ゲームプレイに対する魅力を倍増する。
【0065】
v) 垂直同期周波数が高いので、チラツキのない立体画像を認識できる。
【0066】
iv) 現実に存在しない武器を、あたかも現実に存在するかのように表示できるので、ゲームごとに異なる武器等を表示させることができる。
【0067】
(II)第2形態
本発明の第2形態は、第1形態に準じる構成において、3人以上の人数に同時に立体画像を提示するための装置に関する。
【0068】
本形態の画像表示装置の構成は、第1形態とほぼ同様である。但し、1フレーム画像を表示するための周波数が第1形態より高い。すなわち、本形態でプレーする人数をn人とすると、フレーム画像の送出タイミングである同期信号の周波数は、一つの立体画像を表示する同期信号の周波数のプレーヤの人数n×2(両眼)倍の周波数となる。このとき、ワークステーションの処理する周波数も60Hz×n倍の周波数で、1フレームの画像データを処理できるだけの能力を要する。
【0069】
図11に、本第2形態の原画像と、液晶シャッターのタイミングとの関係を示す。人数がn人であっても、第1形態の図9で説明した考え方を適用すればよい。すなわち、ワークステーションは、一つの原画像データからn人のプレーヤの視点を各々得て、各視点に対応した左目用画像データおよび右目用画像データを生成すればよい。プロジェクタはこの画像データをフレームバッファ403内で並べ替えて、図11に示すような順序で表示し、これに同期した開閉信号によって液晶シャッターを開閉させればよい。
【0070】
本第2形態によれば、多人数の各々に完全な立体画像を提示することが可能であるという利点を有する。
【0071】
【実施例】
図12乃至図14に、上記各形態で生成できる立体画像の実施例を示す。
【0072】
図12は、第1形態において題材にしたゲームプレイの実施例である。同図(A)では、ゲームプレイの冒頭において、恐竜が出現した時のシーンである。「車」は立体画像により生成された仮想物体であり、プレーヤ1およびプレーヤ2は自らが車に乗っているように知覚する。また、プレーヤ1は武器であるレーザメスを保持する。上記したように、レーザメス自体も架空のものである。
【0073】
同図(B)は、恐竜が近づいてきて実際に戦っている時のシーンである。第1形態で説明した衝突判定を行い、プレーヤ対恐竜の戦闘が行われている。プレーヤ2の保持する光線銃は実際のモデルガンであるが、銃口から発射されているレーザビームは仮想画像である。
【0074】
図13および図14は、ゲームもしくはシミュレータのオープニング等において効果的な映像展開を示す。図13(A)において、二人の観察者が部屋の中に立っている。周りには仮想画像で平原と森とが表示される。同図(B)において、仮想画像の創出する地平線が下がる。この結果、各観察者はあたかも自分の身体が浮き上がっていくように感ずる。同図(C)において、今度は景色が水平方向に流れる。このため、各観察者は二人で飛行をしているように感ずる。
【0075】
図14は、他のオープニングの映像展開例である。図14(D)において、何もない空間から音響とともに、同図(E)に示すようなキューブが回転しながら観察者の眼前に出現する。ここで第1形態で説明したような衝突判定を行う。すなわち、仮想画像であるキューブとセンサを身につけた観察者の手との衝突判定が行われる。観察者が二人で手を延ばしてキューブを触ろうとする。二人の手の空間位置とキューブの空間位置との関係から、二人の手がともにキューブに触ったものと(衝突したものと)判定した場合、同図(F)に示すように、キューブが光の放出とともに開き、次の展開に移る。このとき、両方の観察者の手とキューブとの衝突が判定されないと、キューブは開かないように設定すると面白い。
【0076】
以上説明したように、本発明の画像表示装置を用いれば、多彩な立体画像を用いた映像展開が行える。
【0077】
【発明の効果】
本発明によれば、各観察者の視点を特定し、特定した視点に基づく立体画像を生成し、生成した各立体画像を時分割して表示するので、この時分割タイミングに同期して立体画像を観察する観察者の各々は、正確な立体画像を認識し、完全な仮想現実感を認識できる。
【0078】
また、本発明によれば、観察者の身体部位(例えば、手)に武器等が存在するかのような仮想体画像を表示し、その武器等から弾やレーザービーム等の仮想体が発射されるかのごとく画像を表示するので、これらのものを用いた攻撃をテーマにするゲームプレイに適する。さらに、恐竜等の仮想体画像と弾等の物体との衝突判定を行わせれば、弾等の当たり判定を行わせることができる。また、ゲーム等のプログラムが異なれば、そのゲーム等の雰囲気に合わせた武器等を表示させることができる。
【図面の簡単な説明】
【図1】本発明の第1形態の画像表示装置を説明する全体構成図である。
【図2】第1形態の映写空間とプロジェクタの配置を示す俯瞰図である。
【図3】第1形態の接続関係を示すブロック図である。
【図4】第1形態の画像表示装置の動作を説明するフローチャートである。
【図5】映写空間における視点の検出の説明図である。
【図6】映写空間における視点と仮想画像と表示画像との関係を説明する図である。
【図7】第1形態において表示する攻撃対象物の説明図である。
【図8】衝突判定の説明図である。
【図9】第1形態におけるフレームバッファの内容と液晶シャッタータイミングの説明図である。
【図10】各画像表示面のシャッタータイミングの関係図である。
【図11】本発明の第2形態のフレームバッファの内容と液晶シャッタータイミングの説明図である。
【図12】立体画像の第1実施例である。
【図13】立体画像の第2実施例(その1)である。
【図14】立体画像の第2実施例(その2)である。
【符号の説明】
S…映写空間、S1〜S8…センサ、Ta、Tb…送信アンテナ、W、W1、W2…武器、AT…磁界発生アンテナ、AR1〜AR8…受信アンテナ、T1〜T8…送信器、GL1、GL2…液晶シャッターつき眼鏡、HP1、HP2…ヘッドフォン、CB1、CB2…攻撃対象用衝突判定ボール、WB1、WB2…武器用衝突判定ボール、1…処理装置、2…送受信装置、3…赤外線通信機、4a〜4f…プロジェクタ、5a〜5f…反射ミラー、101…画像処理ブロック、102…音声処理ブロック、103、104…MIDI音源、105…ミキサ、106、107…送信器、108、109…送信アンテナ、110…アンプ、111〜114…スピーカ、201〜208…受信機、210…基準磁界発生器、211…シリアルバッファ、401、402…表示回路、403…フレームバッファ、404…投影管

Claims (6)

  1. 観察者の左右の目にその視差を反映した仮想体画像をそれぞれ提示し、前記観察者に前記仮想体画像を立体的に認識させる立体画像システムであって、
    前記仮想体画像を観察する観察者の所定の身体部位の実空間上の位置を検出し、その空間座標を出力する位置検出手段と、
    前記位置検出手段の出力した前記空間座標に基づいて、前記仮想体画像を前記観察者に認識させる実空間上の位置を決定する表示位置決定手段と、
    前記表示位置決定手段により決定された前記実空間上の位置に像を結ぶように前記仮想体画像を表示する画像表示手段と、を備え、
    前記仮想体画像は、
    左目の視点に対応する画像と右目の視点に対応する画像とが、時分割的に交互に表示されるものであり、これに同期して開閉する電子シャッターを用いて、前記観察者の左右の目に、前記左目の視点に対応する画像と前記右目の視点に対応する画像とを個別に提示することによって前記観察者に立体的に認識させる立体画像であり、
    前記位置検出手段は、
    前記観察者が観察する場所を囲む壁面により囲まれた実空間内における前記観察者の位置を検出するものであり、
    前記画像表示手段は、
    前記壁面のうち少なくとも一面に、前記表示位置決定手段により決定された前記実空間の位置に結ぶ像を構成する仮想体の形態をその投射影を切断する切断面の形状に変換させた平面画像を表示するものであり、
    前記壁面に表示される前記平面画像は、
    前記左目の視点に対応する平面画像と前記右目の視点に対応する平面画像とを含み、前記電子シャッターの開閉するタイミングに同期して時分割的に交互に前記壁面に表示される画像であること
    を特徴とする立体画像システム。
  2. 請求項1に記載の立体画像システムにおいて、
    前記位置検出手段は、前記仮想体画像を観察する観察者自身の身体部位または観察者の所持する所持品の実空間上の位置を検出し、その空間座標を出力するものであり、
    前記仮想体画像は、前記位置検出手段が検出した位置から発射されるかの如く観察者に認識される物体の画像を含むことを特徴とする立体画像システム。
  3. 請求項1または2に記載の立体画像システムにおいて、
    第1の仮想体画像の空間座標と、第2の仮想体画像の空間座標と、に基づいて、前記第1の仮想体画像と前記第2の仮想体画像との衝突の有無を判定する衝突判定手段を備えたことを特徴とする立体画像システム。
  4. 請求項3に記載の立体画像システムにおいて、
    前記衝突判定手段は、前記第1の仮想体画像に設定された所定の半径を有する1以上の空間領域と前記第2の仮想体画像に設定された所定の半径を有する1以上の空間領域とが、重なるか否かを、各前記空間座標と各前記半径とに基づいて演算することにより、前記衝突の有無を判定すること、を特徴とする立体画像システム。
  5. 請求項1乃至4のいずれかに記載の立体画像システムを備えたゲーム装置であって、
    ゲーム用の画像として前記仮想体画像を表示することを特徴とするゲーム装置。
  6. 観察者の左右の目にその視差を反映した仮想体画像をそれぞれ提示し、この前記仮想体画像を立体的に認識させる立体画像システムにより実行される立体画像表示方法であって、
    位置検出手段により、前記仮想体画像の観察者の、所定の身体部位の実空間上の位置を検出し、その空間座標を演算するステップと、
    表示位置決定手段により、前記空間座標に基づき、前記仮想体画像を前記観察者に認識させる実空間上の位置を演算するステップと、
    画像表示手段により、演算された前記実空間上の位置に像を結ぶように前記仮想体画像を生成して出力するステップと、を備え、
    前記仮想体画像は、
    左目の視点に対応する画像と右目の視点に対応する画像とが、時分割的に交互に表示されるものであり、これに同期して開閉する電子シャッターを用いて、前記観察者の左右の目に、前記左目の視点に対応する画像と前記右目の視点に対応する画像とを個別に提示することによって前記観察者に立体的に認識させる立体画像であり、
    前記空間座標を演算するステップでは、
    前記位置検出手段により、前記観察者が観察する場所を囲む壁面により囲まれた実空間内における前記観察者の位置を検出してその空間座標を演算するものであり、
    前記仮想体画像を表示するステップでは、
    前記画像表示手段により、前記壁面のうち少なくとも一面に、演算された前記実空間の位置に結ぶ像を構成する仮想体の形態をその投射影を切断する切断面の形状に変換させた平面画像を表示するものであり、
    前記壁面に表示される前記平面画像は、
    前記左目の視点に対応する平面画像と前記右目の視点に対応する平面画像とを含み、前記電子シャッターの開閉するタイミングに同期して時分割的に交互に前記壁面に表示される画像であること、を特徴とする立体画像表示方法。
JP35126796A 1995-12-29 1996-12-27 立体画像システム、その方法、ゲーム装置及び記録媒体 Expired - Fee Related JP3952319B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP35126796A JP3952319B2 (ja) 1995-12-29 1996-12-27 立体画像システム、その方法、ゲーム装置及び記録媒体

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP35252995 1995-12-29
JP7-352529 1995-12-29
JP35126796A JP3952319B2 (ja) 1995-12-29 1996-12-27 立体画像システム、その方法、ゲーム装置及び記録媒体

Publications (2)

Publication Number Publication Date
JPH09237353A JPH09237353A (ja) 1997-09-09
JP3952319B2 true JP3952319B2 (ja) 2007-08-01

Family

ID=26579356

Family Applications (1)

Application Number Title Priority Date Filing Date
JP35126796A Expired - Fee Related JP3952319B2 (ja) 1995-12-29 1996-12-27 立体画像システム、その方法、ゲーム装置及び記録媒体

Country Status (1)

Country Link
JP (1) JP3952319B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001075171A (ja) 1999-09-07 2001-03-23 Minolta Co Ltd 映像表示装置
JP2003168136A (ja) * 2001-11-30 2003-06-13 Ina Ltd 立体画像システムおよび立体画像投影方法
JP4841250B2 (ja) 2003-12-19 2011-12-21 ティディヴィジョン コーポレイション エス.エー. デ シー.ヴィ. 3dビデオゲーム・システム
KR101177663B1 (ko) 2004-02-27 2012-09-07 티디비전 코포레이션 에스.에이. 데 씨.브이. 입체적 3d-비디오 이미지 디지털 디코딩 시스템 및 방법
JP5282705B2 (ja) * 2009-09-04 2013-09-04 株式会社セガ 立体視画像表示装置
JP4917664B1 (ja) * 2010-10-27 2012-04-18 株式会社コナミデジタルエンタテインメント 画像表示装置、ゲームプログラム、ゲーム制御方法
JP2012195894A (ja) * 2011-03-17 2012-10-11 Sony Corp 表示装置及び表示方法
JP2012106005A (ja) * 2012-01-25 2012-06-07 Konami Digital Entertainment Co Ltd 画像表示装置、ゲームプログラム、ゲーム制御方法
JP6538012B2 (ja) * 2016-07-20 2019-07-03 株式会社Abal 仮想空間体感システム
WO2023204013A1 (ja) * 2022-04-20 2023-10-26 ソニーグループ株式会社 情報処理装置、情報処理方法、及び記録媒体

Also Published As

Publication number Publication date
JPH09237353A (ja) 1997-09-09

Similar Documents

Publication Publication Date Title
US6278418B1 (en) Three-dimensional imaging system, game device, method for same and recording medium
EP0691146B1 (en) A game apparatus using a video display device
CN106464854B (zh) 图像编码和显示
US10054796B2 (en) Display
US4884219A (en) Method and apparatus for the perception of computer-generated imagery
US20020075286A1 (en) Image generating system and method and storage medium
US20160292924A1 (en) System and method for augmented reality and virtual reality applications
CN103149689A (zh) 扩充的现实虚拟监视器
JP3952319B2 (ja) 立体画像システム、その方法、ゲーム装置及び記録媒体
CN113544766A (zh) 在第一和第二增强现实观看器之间配准本地内容
JP2010153983A (ja) 投影型映像表示装置および該方法
CN112005276A (zh) 用于针对不同位置处的用户对图像进行视角调整的方法和装置
JP5282705B2 (ja) 立体視画像表示装置
JPH0340591A (ja) 立体像の撮影・表示方法及び装置
EP3729235B1 (en) Data processing
GB2558283A (en) Image processing
JP2011212270A (ja) プログラム、情報記憶媒体及び画像生成システム
JP5809428B2 (ja) ゲームシステム
JPH0927971A (ja) 画像表示システム
GB2558279A (en) Head mountable display system
JP5037713B1 (ja) 立体画像表示装置および立体画像表示方法
JP2595877B2 (ja) 映像シミュレーション装置
JPH04345197A (ja) 時分割式視点追従3次元画像表示装置
JP2000202164A (ja) 臨場感生成装置
EP3547081A1 (en) Data processing

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20031210

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061023

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061102

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061225

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070123

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070207

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20070320

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070406

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070419

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100511

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110511

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120511

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120511

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120511

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130511

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130511

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130511

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140511

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees