JP3413129B2 - 画像処理方法及び画像処理装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、現実空間の画像と
仮想画像を合成する画像処理方法及び装置に関する。

【０００２】

【従来の技術】現実空間中に仮想画像を重ねて表示する
ことによりユーザに複合現実感を与える装置では、現実
空間と仮想空間とが相互に干渉しあうことにより、２つ
の空間が融合されているという感覚（複合現実空間への
没入感／臨場感）をユーザ（体験者）に与えることがで
きる。

【０００３】例えば、従来の複合現実感の提示装置の例
で、単に仮想物体と現実物体とが混在して表示されると
いうことを超えて、

【０００４】 ・仮想物体の影が現実物体に投射される、 ・仮想物体が現実物体に衝突する、 ・仮想物体が現実物体に隠蔽される ということまで考慮されている。

【０００５】

【発明が解決しようとする問題点】しかしながら、上述
の没入感／臨場感は、現実空間と仮想空間のいずれか一
方に「変化」があった場合に他方にその変化が反映され
て初めて得られるものである。

【０００６】従来では、現実空間にある静止している照
明光源のオン／オフに連動して、仮想物体の影が変化さ
せられて表示されることは提案されているが、仮想空間
内の仮想物体の変化が現実空間において反映されること
は従来例においては考慮されていない。

【０００７】これは、仮想物体の画像は、仮想物体であ
るが故に、現実物体（例えば実在の照明光源）の変化に
応じて変化したように画像処理を加えることは比較的容
易である。しかしながら、仮想物体はいくら変化しても
仮想物体であるから、その変化が現実物体に物理的に影
響を与えることはあり得ない。従って、従来では、仮想
物体の変化を現実物体の変化に対応させることを想定す
ること自体が現実的でなかった。

【０００８】本発明は、複合現実空間において、仮想光
源に応じて現実物体の画像を変化させることにより、よ
り没入感／臨場感が得ることができるようにすることを
目的とする。

【０００９】

【課題を解決するための手段】この課題を解決するため
の、本発明の請求項１に係る画像処理方法は、プレーヤ
の位置・姿勢情報を取得し、実空間画像を入力し、プレ
ーヤの位置・姿勢情報に応じた仮想画像を生成し、実空
間画像と仮想画像を合成する画像処理方法であり、仮想
光源を設定し、仮想光源によって影響を受ける現実物体
に対応する３次元形状モデルを選択し、仮想光源に応じ
て、３次元形状モデルに対する透明度を設定し、描画す
ることを特徴とする。

【００１０】また、上述の課題は、プレーヤの位置・姿
勢情報を取得する位置姿勢取得手段と、実空間画像を入
力する入力手段と、プレーヤの位置・姿勢情報に応じた
仮想画像を生成する生成手段と、実空間画像と仮想画像
を合成する合成手段とを有する画像処理装置であり、仮
想光源を設定する光源設定手段と、仮想光源によって影
響を受ける現実物体に対応する３次元形状モデルを選択
する選択手段とを有し、仮想光源に応じて、３次元形状
モデルに対する透明度を設定し、描画する描画手段とを
有することを特徴とする画像処理装置によっても解決さ
れる。

【００１１】

【００１２】

【００１３】

【００１４】

【００１５】

【００１６】

【００１７】

【００１８】

【００１９】

【００２０】

【００２１】

【００２２】

【００２３】

【００２４】

【００２５】

【００２６】

【００２７】

【００２８】

【００２９】

【００３０】

【００３１】

【００３２】更に、本発明の課題は、画像処理方法、更
には、その画像処理方法を実現するコンピュータプログ
ラムを記憶するプログラム記憶媒体によっても達成でき
る。

【００３３】

【発明の実施の形態】以下、添付図面を参照しながら、
本発明の効果付加装置を三次元複合現実感ゲーム装置に
適用した実施形態を詳細に説明する。

【００３４】〈ゲーム装置の概略〉 第１図は、実施形態のゲーム装置における、ユーザ（プ
レーヤ）と仮想物体との動作の関係を説明している。第
１図において、ゲームにはプレーヤ１０，１１，１２の
３名が参加している。また、このゲームには、立方体形
状の現実物体４０と円柱状現実物体５０とが設けられて
いる。このゲームでは、敵方の仮想の「宇宙人」（以
下、標的と呼ぶ）２０乃至２４が映示される。また、プ
レーヤ１０が発射した「弾丸」としての仮想物体３０は
現実物体４０の当たったことになる。一方、標的２０が
発射した弾丸としての仮想物体３１はプレーヤ１２に当
たることとなっている。

【００３５】本ゲームでは、仮想物体が特有の動作若し
くは行動を行う。即ち、宇宙人である標的２１は、プレ
ーヤ１１の存在を意識して逃げる動作（６０）を行う。
あるいは、標的２１はプレーヤ１１に向かってくる若し
くはプレーヤ１１を追いかける動作６１を行う。標的２
３は、現実物体４０にぶつからないように回避する動作
６３を行う。複数の標的２２は現実物体５０の周りに集
まる動作６２を行う。標的２４は、プレーヤ１０の存在
を意識して、現実物体４０の陰に隠れる動作を行う。プ
レーヤ１０から発射された仮想の弾丸３０は、現実物体
４０に衝突して爆発する動作を行う。同じく、弾丸３１
はプレーヤ１２に当たって爆発する動作６５を行う。

【００３６】第２図，第３図は、本発明を適用した実施
形態に係るゲーム装置が用いられるゲーム環境の外観を
示す。

【００３７】第２図，第３図において、１００はゲーム
に登場する現実物体を載置するテーブルである。テーブ
ル１００は、仮想物体との整合関係を考慮すべき現実物
体を制限するためのものである。換言すれば、テーブル
１００上に載置されている物体は、仮想物体との位置合
わせ処理、その結果として隠蔽処理などを必要とするも
のとなる。

【００３８】テーブル１００上には、現実物体として、
２つの静的な現実物体１０１と可動の現実物体１０４と
が載置されている。現実物体１０１は静的であるので、
前もって、その位置と形状を入力しておくことができ
る。現実物体１０４は、形状に変化はないものの、位置
を変えるので、位置センサ１０３が設けられている。

【００３９】後述するように、プレーヤは頭部装着型表
示装置（以下ＨＭＤと略す）を装着してゲームに参加す
る。第２図は、あるプレーヤがＨＭＤを介してテーブル
上の物体を斜視したときにＨＭＤの表示画面に映示され
る仮想物体１０２を併せて図示する。この仮想物体は、
通常は、ＨＭＤに表示されるものなので、ゲームに参加
していない客観的な視点にいる第三者の視野には映示さ
れないものである。

【００４０】第３図は、テーブル１００を直上方から見
た場合を示す。この場合には、仮想物体１０２は図示さ
れず、代わりにゲームに参加するプレーヤ１０００が図
示されている。プレーヤ１０００を第４図に示す。

【００４１】第４図において、プレーヤ１０００は、Ｈ
ＭＤ１００１を頭部に、銃型形状のセンサコントローラ
１００４を手に装着する。ＨＭＤ１００１には位置・姿
勢センサ１００２とプレーヤ前方を視野に入れるビデオ
カメラ１００３とが固定され、ＨＭＤ１００１が頭部に
装着されると、頭部位置・姿勢センサ１００２はプレー
ヤ１０００の頭部位置・姿勢を表す信号を出力する。ビ
デオカメラ１００３は、本ゲームでは、一例として、ビ
デオシースルー型ＨＭＤを用いために必要となってい
る。

【００４２】センサコントローラ１００４は、ゲーム性
をプレーヤに与えるために銃の形状を有しているが、実
際は、ユーザインタフェースとしての入力装置である。
即ち、センサコントローラ１００４は、プレーヤの手の
位置・姿勢を検出するための位置・姿勢センサと、プレ
ーヤが射撃する動作としてのトリガ（不図示）動作を検
出するためのスイッチとを具備するものである。

【００４３】第５図に、第２図乃至第４図のゲームシス
テムに用いられるゲーム管理装置３０００の構成を図示
する。第５図に示したゲーム管理装置３０００はプレー
ヤが一人の場合のシステム構成を示したものである。

【００４４】第５図において、計測部３００１は、現実
物体１０４に設けられた位置センサ１０３の出力信号を
入力して物体１０４の位置を計測する。位置・姿勢計測
部３００２は、プレーヤの頭部に設けられた位置・姿勢
センサ１００２の出力信号から周知の手法（例えば、前
述の特開平９−２３６３７５，−２３６３７５）に従っ
てプレーヤの頭部の位置・姿勢（換言すれば、プレーヤ
の視点の位置・姿勢）を計測する。また、対話入力装置
３００５は、手に装着されたセンサ１００５の信号を入
力して手の位置・姿勢を計測すると共に、その一方、プ
レーヤがトリガスイッチ１００６を操作したことを検出
する。

【００４５】現実物体１０４の位置信号と、プレーヤの
視点の位置・姿勢信号と、プレーヤの手の位置・姿勢信
号と、トリガを操作したか否かのトリガ信号とは、ゲー
ム管理／仮想画像生成部３００３に入力される。個々で
は、後述のルールに従って、標的や弾丸などの仮想画像
を生成して画像合成部３００４に送る。画像合成部３０
０４には、プレーヤのビデオカメラ１００３が撮影した
現実の画像が入力部３００６から入力されているので、
合成部３００４は、現実の画像（ビデオ画像）に生成さ
れた仮想画像を融合する。尚、画像合成部３００４は、
位置計測部３００１が計測した現実物体１０４の動的な
位置情報と、第２図の例では２つの静止現実物体１０１
の静的な位置情報とを入力しているので、これらの位置
情報と、生成された仮想画像の位置情報（更には形状情
報）とに基づいて、位置合わせを行い、更に、必要に応
じて隠蔽処理やマスク処理を行うことによって、現実物
体と仮想物体との整合性を確保する。

【００４６】整合性が調整された合成画像はＨＭＤ１０
０１に出力され、プレーヤに映示される。

【００４７】本ゲームでは、操作性の向上を目指して、
プレーヤのアクションがゲームコマンドとして認識され
る手法を採用している。この手法の特徴は、頭部の位置
・姿勢を計測部３００２で計測し、手の位置・姿勢を計
測部３００５（対話入力装置３００５）で計測し、頭部
位置・姿勢に対する相対的な手の位置・姿勢に基づい
て、プレーヤの動作を把握する点である。

【００４８】〈効果の演出〉本ゲーム装置においては、
プレーヤが標的と「弾丸」を撃ち合いながら「戦闘」を
行う。このために、弾丸が爆発したときに、その閃光と
衝撃とをいかにリアルに表現するかが、没入感や臨場感
を高めるための重要なファクタとなる。即ち、弾丸が爆
発したときの閃光は仮想空間の事象であるが、臨場感を
高めるためには、その閃光は、現実物体にも閃光として
作用しなければならない。更に、その閃光は場合によっ
ては現実物体に対する光源として作用する。

【００４９】また、爆発に関して、実際に爆発が起これ
ば、現実物体（プレーヤ）はその爆発の衝撃を受ける筈
であるが、仮想空間の「爆発」は、現実物体に実際は影
響を与えることはできないから、仮想の映像としてその
「爆発」の影響を表現する必要がある。

【００５０】〈衝撃効果の演出〉第６図は、本ゲーム装
置において、「弾丸」が破裂したときの「衝撃」を効果
上どのようにして演出するかを示す。即ち、シーン１０
０で、標的２２が現実物体４０に衝突した場合におい
て、シーン１０１では、数フレームの間、画面を乱すよ
うにする。画面を乱した後は、シーン１０２のように元
に戻る。

【００５１】第７図は、本実施形態の画面を乱す手法を
説明する。同図において、１１０は、通常時における、
ＨＭＤ１００１の表示画面の、即ち、プレーヤが見るこ
ととなる画面の大きさ(w×ｈ）を示す。１１１は、「衝
撃」を表現するときの同画面の大きさ(w’×ｈ）を示
す。ここで、w’≦wであり、具体的には、

【００５２】［数１］

【００５３】に設定されている。ここで、Ｔは時間の定
数で例えば５００msに設定し、dtは、衝撃（プレーヤに
とってはダメージ）が発生してからの経過時間を、k_wは
乱れの大きさを表す定数で、例えば0.1に設定される。
上記の幅w’による描画をラスタスキャン方式に適用す
ると、「衝撃」時には、w×ｈの画像データの各水平ラ
インにおいてw-w’画素のずれが生じる。このずれは、
上のラインから下のラインに向かうに従い、累積してい
く。このため、結果として、w×ｈの画像をw’×ｈの領
域に描画すると、縦線を斜めに歪ませる効果を発生させ
ることになる。本実施形態では、ビデオシースルー型の
ＨＭＤを用いているので、ＨＭＤ表示画面上の上記の画
像の歪みは、現実空間を撮影するビデオカメラがあたか
も実際に衝撃を受けて障害を発生したような感覚をプレ
ーヤに与える。そこで、ｗ’の値をランダムに変更すれ
ば、或いは、所定の漸減率で漸減させれば、第６図のよ
うに、画面が乱れることとなり、即ち、プレーヤには現
実空間が乱れて見えることとなる。第８図は、第６図，
第７図に示した振動（衝撃）効果を発揮させるための画
像処理手順を説明するフローチャートである。第８図の
制御手順は、現実空間において振動（衝撃）効果を発揮
させる必要があるほどの衝突（若しくは爆発）が、仮想
空間において発生したことを検知して実行される制御手
順である。そのような事象の発生は、事象が爆発（又は
衝突）であれば、プレーヤなどが発射した仮想の「弾
丸」が仮想物体（標的）の三次元位置に略一致したこと
を受けて、あるいは、仮想物体（標的）の三次元位置が
プレーヤの位置に略一致したことを受けて検知される。

【００５４】ステップＳ２では、現時点が、上記事象が
発生したよりも所定の時間幅Ｔ以上にさらに経過したか
を判断する。経過していない場合には、ステップＳ８に
おいて、上記の式１に従って描画幅をw’に変更する。
ステップＳ１０でその描画幅wでビデオカメラ１００３
の実写画像をＨＭＤ用のフレームメモリに描画する。こ
の描画により、ＨＭＤの画面には各水平ラインにおいて
上から順次w-w’画素のずれが累積した画像が表示され
る。ステップＳ１０では、画像合成部３００４は、ゲー
ム管理／仮想画像生成部３００３の描画した仮想画像を
合成することはない。即ち、dt＜Tである間は、標的な
どの仮想物体は表示されない。

【００５５】式１に従えば、経過時間dtがＴに満たない
内は、描画幅w’は経過時間dtと共に漸増する。即ち、
衝撃によるズレ量は次第に減少し、dt=Tの時点（ステッ
プＳ２でＹＥＳ）でw’=wとなる。そこで、ステップＳ
４で元の描画幅wで描画して、ステップＳ６では、カメ
ラからの実写画像に加えて仮想物体の重畳を行う。

【００５６】〈閃光の効果〉第９図は、仮想的な「爆
発」による閃光の効果を与える手法を説明する。即ち、
シーン２００で標的２２が「爆発」すると、シーン２０
１に示すように、画面全体を一瞬（短い所定時間）フラ
ッシュ（明るく）させる。その時間の経過後にはシーン
２０２に示すように、明るさを元に戻す。

【００５７】フラッシュ効果は、カメラ１００３からの
ビデオ画像の各画素の輝度値Ｉを大きな値に修正すると
いうものである。即ち、入力画像の輝度値をＩとし、修
正後の輝度値をＩ’とすると、

【００５８】［数２］

【００５９】とする。ここで、k_Iは明るさ制御用の定数
で、k_I=0のときは、明るさに変化は無いが、k_Iを0 ＜ k
_I ≦1の範囲で設定すると明るくなるという効果が得ら
れる。このようにすると、閃光によるフラッシュの効果
を、現実空間に与えることができる。尚、仮想の「爆
発」の効果は閃光だけの場合もあるが、明るさを変動さ
せる方が、より効果的な場合もある。かかる場合には、
k_Iを0 ＜ k_I ＜=1の範囲で所定の時間だけ設定してフラ
ッシュ効果を発揮させ、その後に、k_Iを-1 ≦ k_I ＜ 0
として暗くするように制御する。

【００６０】第１０図は、フラッシュ効果を発揮させる
制御手順を示す。第１０図のフローチャートは、フラッ
シュ効果を発揮すべき事象が発生ｓたことを受けて実行
される。フラッシュ効果も、上記事象の検知から所定時
間Ｔに限定されるべきであるから、第８図のステップＳ
２と同じように、ステップＳ２０で時間経過dtをモニタ
する。上記経過時間dtがＴ未満である間は、ステップＳ
２６において、カメラ１００３による実写画像の輝度値
を式２に従って補正する。ステップＳ２８では、合成部
３００４がこの補正された画像をフレームメモリに描画
する。ステップＳ３０では、仮想物体のためのＣＧ画像
について、その各画素の輝度値を通常のＣＧ画像の輝度
値に対して、

【００６１】［数３］

【００６２】倍に設定する。ステップＳ３０では更に、
このＣＧ画像を、ステップＳ２８でフレームメモリ内に
描画した実写画像に重ねて重畳描画する。

【００６３】〈仮想光源による陰影効果〉例えば、前述
の閃光が発生した場合には、その閃光は一種の光源のは
ずである。この閃光の場合の他、仮想空間内に仮想の光
源が設定されていて、その光源がたてばユーザによりオ
ンされた場合には、現実物体はその仮想光源のオン／オ
フに伴って変化してＨＭＤ上に表示されなくてはならな
い。

【００６４】第１１図は、仮想光源のオン／オフによる
現実物体の映像に与えるべき変化を与える手法を説明す
る。

【００６５】第１１図の手法は、現実物体３００の形状
に略等しい三次元形状モデル３０１を前もって設定して
おき、この半透明モデル３０１を現実物体３００に重ね
て表示することにより、仮想光源オン／オフの効果を発
揮させるというものである。ここで、半透明モデル３０
１の画素値を、その現実物体３００の画像の輝度値Ｐを
上げた値Ｐ’に設定しておく。即ち、仮想光源がオフ時
には、半透明モデルの透明度（α値）を上げることによ
り、プレーヤには現実物体がより鮮明に見えるようにす
る。即ち、仮想光源がオフ時には、プレーヤには現実物
体がそのまま見えることにより、その現実物体は照明さ
れているようには見えない。一方、仮想光源のオン時に
は透明度を下げて、その現実物体の表面がより見えなく
なり、代わりに、半透明モデル３０１の不透明度を上げ
る。これにより、半透明モデルの画素値がプレーヤによ
り強く認識され、その結果、現実物体３００は照明され
たように見えることとなる。

【００６６】半透明モデル３０１の形状は現実物体３０
０の形状に近接しているために、透明モデル３０１がよ
り強く認識されるように設定してもプレーヤには違和感
が感じられることはない。

【００６７】第１２図は、仮想的な爆発４１０による閃
光（閃光も「仮想物体」の一つである）により、標的
（仮想物体）の「影」４０１が現実物体４００上に生成
される様子を説明する。閃光４１０により現実物体４０
０上に「影」４０１が発生するときは、現実物体４００
の上面の一部領域４０３は明るく照らされる。また壁面
４０２はコントラスト的に暗くなるべきであろう。そこ
で、「影」４０１と、明るく照らされた物体表面４０３
と、暗くされた壁面４０２とが生まれるように、第１３
図に示す如き、三次元形状の半透明モデル４２０，４２
１，４２２を前もって設定しておく。三次元半透明モデ
ル４２０は球形形状の標的２２に似せた形状であり、三
次元半透明モデル４２１は、現実物体４００の上面（長
方形）に似せた形状であり、三次元半透明モデル４２２
は現実物体４００の側面（長方形）に似せた形状であ
る。これらの形状は三次元形状情報を有するので、現実
物体４００の三次元位置・姿勢とプレーヤの三次元位置
・姿勢（センサ１００２により検出）とに応じて、三次
元半透明モデル４２０，４２１，４２２は第１４図のよ
うに座標変換されて、第１２図に示すように、影の部分
４０１と、明るく照らされる部分４０３と、暗く映じる
部分４０２とを発生させるように機能する。１つの現実
物体を表現する面のモデルは１つに統合されていてもよ
い。

【００６８】尚、領域４０１は、４２０と４２１の２つ
の半透明モデルがオーバラップする領域である。２つ以
上の半透明モデルが重なる場合には、論理的な「上下」
関係を考えてどちらのモデルが最終的に機能するかを決
定する。第１２図の例では、影は物体表面の上に形成さ
れるので、モデル４２０がモデル４２１よりも優位を有
する。従って、半透明モデル４２１中で、モデル４２０
が重なる部分はモデル４２１による効果は抑制されるよ
うに、モデル４２１は第１５図のように修正される。半
透明モデルの合成処理は、Ｚバッファ処理とαブレンデ
ィング機能を実装した既存のＣＧハードウエアによって
行ってもよい。第１５図において、領域４２３のモデル
４２１内の位置は、標的２２と爆発４１０との三次元的
な位置を考慮されて決定される。

【００６９】第１６図は、仮想光源による効果を発揮さ
せるための制御手順である。

【００７０】ステップＳ４０において、光源に変化があ
ったか否かが判定される。ここで、光源の変化とは、仮
想光源（仮想物体としての照明など）のオン／オフのみ
ならず、第１２図などで説明した仮想物体の爆発４１０
による閃光も仮想光源として機能することを考慮してい
る。

【００７１】ステップＳ４２では、この照明の変化によ
り影響を受ける現実物体を探索する。ここで、仮想光源
の変化による仮想物体の陰影の変化は、不図示の仮想空
間描画プログラムにより別途処理されるものとする。影
響があるものと認定された現実物体に番号ｉを付し、ス
テップＳ４４では、番号ｉの現実物体ｉについて、その
現実物体用の半透明モデルを選定する。このモデルは第
１３図に関連して説明したように前もって設計されてい
る。ステップＳ４６では、現実物体ｉに対する光源計算
を行う。この計算は、光源の輝度、光源の三次元位置
と、現実物体の三次元位置と、両者の方向、両者の距離
などを考慮して決定される。ステップＳ４８では、モデ
ルに対するα値を設定し、描画を行う。

【００７２】このようにして、仮想光源による陰影の付
加が、複合現実空間における現実物体と仮想物体との配
置関係を考慮して行われ、その結果として、陰影の付加
がプレーヤ（ユーザ）に違和感を与えることはない。

【００７３】〈変形例〉本発明はその精神を逸脱しない
範囲で上述の実施形態に対する種々変形が可能である。

【００７４】第１７図はフラッシュ効果の変形例であ
る。

【００７５】同図において、ステップＳ６６での画素の
輝度値の補正は、

【００７６】［数４］

【００７７】として定義される。ここで、F(I)は、画像
全体を明るくする場合には、

【００７８】［数５］

【００７９】一方、コントラストを強める場合には、

【００８０】［数６］

【００８１】とする。第１８図，第１９図は、第６図乃
至第８図で説明した衝撃効果付与の変形例である。

【００８２】即ち、前述の衝撃効果は画面を乱すことに
より達成されたが、この変形例はカメラからの実写画像
にノイズを加えた画像をプレーヤに表示することによ
り、衝撃効果を現すものである。第１８図又は第１９図
のノイズ画像は、第２０図のステップ７６において印加
される。

【００８３】上記実施形態では、第１１図乃至第１６図
に関連して説明した仮想光源による陰影付与の効果はビ
デオシースルー型のＨＭＤを例として説明した。しか
し、この効果は同型のＨＭＤのみにおいて発揮されるも
のではなく、光学的シースルー型のＨＭＤに対しても適
用可能である。上記実施形態では現実物体のビデオ画像
に半透明モデルを重畳表示させるものであるが、光学的
シースルー型の場合には、現実物体のビデオ画像は用い
られないものの、現実物体の三次元位置・姿勢は検出さ
れるものであるから、検出された位置・姿勢に位置合わ
せして仮想物体（半透明モデル）のＣＧを重畳させるの
である。

【００８４】フラッシュ効果や衝撃の効果の付与に関し
て、上記実施形態では、仮想空間画像と現実空間画像の
合成前のビデオ画像に当該効果を付与していたが、本発
明はこれに限定されない。即ち、実写のビデオ画像と仮
想物体のＣＧ画像との合成後の画像に対して、当該効果
を付与してもよい。フラッシュ効果や衝撃の効果は、画
面全体に対して与える効果であるから、合成前のビデオ
画像でも合成後のビデオ画像でも、画面全体に足してフ
ラッシュ効果や衝撃の効果を付与することができるから
である。

【００８５】本発明の効果付与は、ゲーム装置における
画像処理にのみ適用されるものではない。およそ、複合
現実空間における仮想物体と現実物体との表示であれ
ば、全ての画像の描画に適用可能である。

【００８６】

【発明の効果】以上説明したように本発明によれば、仮
想光源に応じて現実物体の画像を変化させることによ
り、仮想現実空間へのより強い没入感／臨場感をユーザ
に与えることが可能となる。

【図面の簡単な説明】

【図１】 実施形態のゲーム装置における仮想物体（標
的など）の動作パターンを説明する図。

【図２】 実施形態のゲーム装置のゲーム環境を示す斜
視図。

【図３】 実施形態のゲーム装置のゲーム環境を示す上
面図。

【図４】 ゲームに参加するプレーヤについての装備装
着状態を示す図。

【図５】 実施形態のゲーム装置の制御部の構成を示す
図。

【図６】 仮想空間における衝撃に伴う効果を現実空間
に付与する手法を説明する図。

【図７】 図６の手法に用いられる画像空間の描画領域
幅の制御を説明する図。

【図８】 衝撃に伴う効果を現実空間に付与するための
画像処理の制御手順を示すフローチャート。

【図９】 フラッシュ効果を現実空間に付与する手法を
説明する図。

【図１０】 フラッシュ効果を実現するための画像処理
の制御手順を示すフローチャート。

【図１１】 仮想光源による陰影効果を現実空間に付与
する手法を説明する図。

【図１２】 仮想光源による陰影効果を現実空間に付与
する手法の一例を説明する図。

【図１３】 図１２の手法に用いられる半透明モデル
（マスク画像）の一例を説明する図。

【図１４】 図１３の半透明モデル画像のユーザ位置・
姿勢の変化に伴う変形を説明する図。

【図１５】 ２つの半透明モデル画像が重なる場合の対
処を説明するず。

【図１６】 図１１の処理ための制御手順を示すフロー
チャート。

【図１７】 フラッシュ効果の制御の変形例を説明する
フローチャート。

【図１８】 衝撃効果付与に用いられる画像の変形例を
説明する図。

【図１９】 衝撃効果付与に用いられる画像の他の変形
例を説明する図。説明する図。

【図２０】 図１８，図１９の画像を衝撃効果付与に用
いる場合の制御手順のフローチャート。

Claims (5)

(57)【特許請求の範囲】
1. 【請求項１】 プレーヤの位置・姿勢情報を取得し、 実空間画像を入力し、 前記プレーヤの位置・姿勢情報に応じた仮想画像を生成
   し、 前記実空間画像と前記仮想画像を合成する画像処理方法
   であり、 仮想光源を設定し、 前記仮想光源によって影響を受ける現実物体に対応する
   ３次元形状モデルを選択し、 前記仮想光源に応じて、前記３次元形状モデルに対する
   透明度を設定し、描画することを特徴とする画像処理方
   法。
2. 【請求項２】 前記描画は、光源の輝度、光源の３次元
   位置、前記現実物体の位置とに基づいて計算された前記
   現実物体に対する光源を用いて行うことを特徴とする請
   求項１記載の画像処理方法。
3. 【請求項３】 さらに、仮想物体の形状に対応する３次
   元形状モデルを用いて、前記仮想物体の影を前記現実物
   体上に生成することを特徴とする請求項１記載の画像処
   理方法。
4. 【請求項４】 請求項１記載の画像処理方法をコンピュ
   ータ装置に実行させるコンピュータプログラムを格納し
   たコンピュータ装置読み取り可能な記憶媒体。
5. 【請求項５】 プレーヤの位置・姿勢情報を取得する位
   置姿勢取得手段と、 実空間画像を入力する入力手段と、 前記プレーヤの位置・姿勢情報に応じた仮想画像を生成
   する生成手段と、 前記実空間画像と前記仮想画像を合成する合成手段とを
   有する画像処理装置であり、 仮想光源を設定する光源設定手段と、 前記仮想光源によって影響を受ける現実物体に対応する
   ３次元形状モデルを選択する選択手段と、 前記仮想光源に応じて、前記３次元形状モデルに対する
   透明度を設定し、描画する描画手段とを有することを特
   徴とする画像処理装置。