JP3686919B2 - ゲーム装置、ゲーム処理方法及び可読記憶媒体 - Google Patents
ゲーム装置、ゲーム処理方法及び可読記憶媒体 Download PDFInfo
- Publication number
- JP3686919B2 JP3686919B2 JP2001372183A JP2001372183A JP3686919B2 JP 3686919 B2 JP3686919 B2 JP 3686919B2 JP 2001372183 A JP2001372183 A JP 2001372183A JP 2001372183 A JP2001372183 A JP 2001372183A JP 3686919 B2 JP3686919 B2 JP 3686919B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- game
- coordinates
- imaging
- detected position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、入力操作者の操作位置に応じて表示画像を変化させるゲーム装置、ゲーム処理方法及びゲームを実行させるプログラムが記録された可読記憶媒体に関する。
【０００２】
【従来の技術】
従来から、テレビやパソコンのＣＲＴ等の表示装置を利用した家庭用ゲームや業務用ゲームが知られている。特に、シューティングゲームはガン型コントローラを用いて直接的に表示画面のターゲットとなるオブジェクト画像に向けて狙い、ショットし、ヒットしたか否かを競うゲームであり、直接コントローラを表示画面に向けて操作する代表的なゲームである。
【０００３】
一般的なシューティングゲーム装置の位置検出方法は、ＣＲＴ表示画面上を走査する電子走査線の光をガン型コントローラに設けられた受光素子により光検出する方法である。例えば、特開昭６０−１７９０７９号公報、特開平４−５１９８７号公報、特開平５−３２２４８７号公報などが知られている。また、ガン型コントローラをスクリーン上に投影された投影画像に向けて行うシューティングゲーム装置の従来例として、特開昭６２−３２９８７号公報、特開平５−３２２４８７号公報などが知られている。
【０００４】
最近、ゲーム機の画像処理の高速化により、リアリティ溢れるＣＧ映像で作られた３次元シューティングゲームを楽しめるようになってきている。例えば、特開平６−２１３５９５号公報、特開平１１−８６０３８号公報、国際出願ＷＯ９７／２１１９４号公報などがあげられる。
【０００５】
３次元シューティングゲームはディスプレイ上の仮想的な３次元空間内に出現する標的オブジェクトをガン型コントローラにてショットすることにより、得点を競うものである。仮想３次元空間内に配置されたオブジェクトは、複数のポリゴンデータで構成されている３次元オブジェクトであり、仮想カメラ視点（画像視点とも呼ぶ）によって定まる視野座標系に座標変換され表示される。例えば、特開平６−２１３５９５号公報では、３次元ゲーム空間に見立てた宇宙空間を所定のゲームストーリに従って銃装置が取り付けられた宇宙船にプレーヤーが乗り標的に狙いを定めて射撃しながら飛行するゲームである。プレーヤーが乗っている宇宙船の視点は各フレーム毎の情報として予め記憶されてあり、宇宙空間の景色はこの視点情報に応じて投影するというものである。
【０００６】
３次元の対象オブジェクトの画像視点は、どの方向を向き、いかなる空間座標を占めるかを任意に設定され、この仮想視点から見た映像を２次元座標平面である表示画面に透視射影演算して表示するようにしている。
【０００７】
【発明が解決しようとする課題】
しかしながら、従来のシューティングゲーム装置、例えば、特開平４−５１９８７号公報などの座標検出方法は、ＣＲＴ画面の電子線走査に基づいた光検出方法であるため、液晶表示画面や壁面投影表示面などには用いることができないという問題があった。
【０００８】
また、特開平８−７１２５２号公報の位置算出方法ではスクリーン面に対して入力操作者はほぼ正位置にて入力操作する場合のみしか適用できず、算出される傾きや位置などは定性的な量でしかなく、リアリティあふれるゲームを楽しむことはできない。
【０００９】
特開平６−２１３５９５号公報、特開平７−１１６３４３号公報などの用いられている操作手段は、表示画面外で３次元オブジェクト空間の視点変更を行うことが出来るものの、いずれもその操作視点座標は予め記憶され、定められている。シューティングゲームの例では、操作手段からオブジェクトへの視線方向や傾きなどは、ガン型コントローラが取り付けられている支点が撮像視点とし、それを中心として回転角を検出するセンサーが設けられいる。 このようにプレーヤーの入力操作空間に制限が生じ、操作自由度は低く、表示画面や対象オブジェクトの視点の移動が画一的となってしまう。そのためにゲーム展開が単調で面白みや迫力感が欠けたものとなっていた。さらに、このような従来の装置は大型化し、手軽に家庭用ゲームとして用いることは出来ないという問題点があった。
【００１０】
本発明の目的は、表示画面上のオブジェクト画像に対し操作者が任意の入力操作位置から直接入力操作を可能とすると同時に入力操作者の位置方向情報をオブジェクト画像に与えることができ、多様なゲーム展開を行えるゲーム装置、ゲーム処理方法及びゲームを実行させるプログラムが記録された可読記憶媒体を提供する。
【００１１】
【課題を解決するための手段】
上記課題を解決するために、本発明の請求項１記載のゲーム装置は、操作者が３次元実空間内のオブジェクトを変化させてプレイするゲーム装置であって、平面上に複数の特徴点を有するオブジェクトと、前記オブジェクトの被検出位置に向けて前記特徴点を少なくとも４個含んで撮像する撮像手段と、前記撮像手段の撮像面上に予め定められた基準位置を前記オブジェクト上の被検出位置に合わせる照準手段とを備えた操作手段と、前記基準位置を撮像画像座標系の原点として、前記撮像手段により撮像された画像上の前記特徴点の座標を演算する特徴点抽出手段と、前記特徴点抽出手段により演算された特徴点座標に基づいて、前記オブジェクト平面に対する撮像面の姿勢パラメータを演算する姿勢演算手段と、前記姿勢演算手段により算出された姿勢パラメータに基づいて、前記オブジェクト上の被検出位置座標を算出する被検出位置座標演算手段とを備え、前記姿勢パラメータに応じて前記被検出位置座標に関連づけられたオブジェクトを変化させることを特徴とする。
【００１２】
本発明の請求項２記載のゲーム装置は、操作者が表示平面上のオブジェクト画像の表示状態を変化させてプレイするゲーム装置であって、オブジェクト画像を表示し、複数の特徴点を有する表示平面と、前記オブジェクト画像上の被検出位置に向けて前記特徴点を少なくとも４個含んで撮像する撮像手段と、前記撮像手段の撮像面上に予め定めた基準位置を前記オブジェクト画像上の被検出位置に合わせる照準手段とを備えた操作手段と、前記基準位置を撮像画像座標系の原点として、前記撮像手段により撮像された前記特徴点の座標を演算する特徴点抽出手段と、前記特徴点抽出手段より算出された特徴点座標に基づいて前記表示平面に対する撮像面の姿勢パラメータを演算する姿勢演算手段と、前記姿勢演算手段により算出された姿勢パラメータに基づいて、前記オブジェクト画像上の被検出位置座標を算出する被検出位置座標演算手段とを備え、前記姿勢パラメータに応じて前記被検出位置座標に関連づけられたオブジェクト画像の表示状態を変化させることを特徴とする。
【００１３】
本発明の請求項１２は、撮像手段の撮像面上に予め定められた基準位置と表示画面上のオブジェクト画像の被検出位置とが一致した状態で、表示平面上の少なくとも４個の特徴点が操作者により撮像された撮像画像に基づいて、前記オブジェクト画像の表示状態を変化させるゲーム装置のゲーム処理方法であって、特徴点抽出手段が、前記撮像された撮像画像に基づいて前記特徴点を抽出し、前記基準位置を原点として、該特徴点の座標を演算するステップと、姿勢演算手段が、前記演算された特徴点の座標に基づいて、表示平面に対する撮像面の姿勢パラメータを算出するステップと、
位置座標演算手段が、前記姿勢パラメータの少なくとも１つを用いて前記被検出位置の座標を演算するステップと、画像生成手段が、前記姿勢パラメータに応じて前記被検出位置座標に関連づけられたオブジェクト画像を変化させて表示するステップとを有することを特徴とする。
【００１４】
本発明の請求項１４記載のコンピュータ可読記憶媒体は、本発明のゲーム処理方法をコンピュータに実行させるプログラムが記録する。
【００１５】
本発明の請求項１８記載のコンピュータ可読記憶媒体は、本発明のゲーム方法をコンピュータに実行させるためのプログラムが記録されていることを特徴とする。
【００１６】
【発明の実施の形態】
以下、図面を用いて本発明の実施の形態について説明する。
図１は、本発明の実施の形態に係わるゲーム装置の全体構成を説明するブロック構成図である。
【００１７】
ゲーム装置は入力操作手段１００と入力操作手段からの出力信号に応じて画像処理や座標演算を実行するゲーム装置本体１２０とそれらの処理結果を表示する表示手段１１０とを備えている。
［第１の実施の形態］
図２は本実施の形態に係わるゲーム装置を説明する概念構成図である。
【００１８】
操作者は入力操作手段であるガン型コントローラ１００を用いて、スクリーン上に表示されている標的オブジェクト画像の特定部位（被検出位置ともいう）Ｐｓに向けてシューティングゲームを行っている。１１１はプロジェクタ１３０によりスクリーン上に投影されている画像である。１００はＸ−Ｙ−Ｚ座標系（画像座標系と呼ぶ）を有し、Ｘ−Ｙ−Ｚ座標系の原点ＯｍとしてＸ−Ｙ面上に撮像面がある。このＸ−Ｙ−Ｚ座標系の３次元空間内にＸ*ーＹ*座標系（スクリーン座標系と呼ぶ）を有するスクリーン平面１１０が置かれている。
【００１９】
まず最初に、本実施の形態に係わるゲーム装置の各構成について説明する。
入力操作手段１００は、撮像手段としてＣＣＤカメラ１０１、照準手段１０２、距離測定手段１０３、それにオブジェクトを動作させる各種制御ボタン１４とを備えている。 図３は入力操作手段であるガン型コントローラの構成概略図である。
【００２０】
撮像手段１０１は表示画面上の被検出位置を検出するＣＣＤ撮像面を有するカメラを用いている。距離測定手段１０３は表示画面から撮像手段に設けられている撮像面までの距離測定する。距離測定は公知技術によって行われる。例えば、ＣＣＤカメラレンズにオートフォーカシング機構が設けてあれば、そのフォーカス量を用いることができる。また、レーザー測距装置を設けてもよい。
【００２１】
照準手段１０２は操作者が表示画面上の被検出位置を定めるためのものであり、例えば、十字線が刻まれたファインダー、視認性のレーザーなどが設けられている。 図４及び図５は図３の入力操作手段の光学系配置図であり、図４は照準装置としてファインダー１０２Ａを用いた例であり、図５は視認性レーザー１２０Ｂを用いた例である。いずれの図においても照準位置は、ＣＣＤカメラレンズの光軸（撮像面の中心）にほぼ一致させてある。 本実施例では照準位置とレンズの光軸とは一致させたが必ずしも一致させる必要はない。
図４及び図５の詳細な説明は省略する。
【００２２】
操作者が照準位置を表示画面上の所望の被検出位置に合わせて、入力操作手段に設けられた撮像手段１０１のスイッチをオンすることによって撮像画像データを取込まれ、その画像データに基づいて被検出位置の座標を検出するようになっている。すなわち、操作者は表示画面上に向かって投影されたオブジェクト画像を直接制御することができる。
【００２３】
さらに、入力操作手段１００には、ゲーム進行に必要なオブジェクト画像を上下左右に移動させたり、ジャンプさせたりする各種オブジェクト動作制御ボタン１４，１５が設けられている。
図１に戻って、入出力インターフェイス３は、入力操作手段からの出力信号をＡ／Ｄ変換し、一時的に記憶できるフレームメモリを持っている。また、入力操作手段から各種オブジェクトを動作させる制御信号をゲーム装置本体１２０へ出力する。また、画像処理結果に伴う音声信号や操作手段を把持している手に振動を与える制御信号などは、この入出力インターフェイスを介して信号をやり取りが行われる。
【００２４】
ＣＰＵ４はＲＯＭを備えており、オペレーションシステム（ＯＳ）や各種制御プログラムが格納されている。
外部記憶媒体２０は、ゲームのための各種プログラムが記憶されており、例えばＣＤ−ＲＯＭ、ＤＶＤなどがある。記憶媒体２０には、本実施の形態に係わるゲームを実行させるための方法が記録され、ゲーム装置本体１２０やコンピュータなどにより読みとり可能となっている。
【００２５】
特徴点抽出手段５１は、矩形形状を特徴付けるマーク画像を抽出するために輝度または色が異なる２つの撮像画像に基づいて、その差分画像を得るための差分処理手段５１１、二値化処理手段５１２等のマークを抽出するための一連の処理を行う。
【００２６】
特徴点特定手段５１３は、得られた２枚の撮像画像データからマーカが抽出処理され、撮像面（画像座標系）上の少なくとも４個のマークの重心座標を特定する。撮像されたマーク画像が４個以上ある場合には、次の姿勢演算に用いる４個のマークの特定も行う。
【００２７】
位置演算手段５２は、平面姿勢演算手段５２１と被検出位置を演算する座標演算手段５２２とから構成され、入力操作手段により得られた画像データに基づき、視野画面における被検出位置の座標を演算する。
姿勢演算手段５２１は、特定された４個のマーカ座標位置に基づいて、入力操作手段の撮像面の撮像視点を原点とするＸ−Ｙ−Ｚ座標系におけるスクリーン平面の位置姿勢、撮像面の回転角、仰角、水平角などのパラメータβ、γ、ψを演算する。
【００２８】
被検出位置座標演算手段５２２は、平面姿勢演算手段結果得られた姿勢パラメータγまたはψのいずれか１つを用いて、狙った表示画面中の標的オブジェクトの特定部位（被検出位置）の座標Ｐsを演算する。
スクリーン平面の姿勢パラメータ及び被検出位置の座標演算処理については、後で詳細に説明する。
【００２９】
入力操作位置特定手段７は、スクリーン平面の姿勢演算手段５２１から算出された撮像視点に対する表示平面の姿勢パラメータとして回転α、仰角γ及び水平角ψと被検出位置座標演算手段６２から算出されたスクリーン上の被検出位置の座標値Ｐsと入力手段に設けられている距離測定手段１０２から算出されたスクリーン上の被検出位置から入力操作位置までの距離Ｌなどの入力操作パラメータに基づいて、スクリーンに対する入力操作手段の位置を演算し、特定する処理を行う。
【００３０】
対象オブジェクト部位判断手段８は、位置演算処理結果に基づいて複数の種々のオブジェクトの中から対象オブジェクトを特定すると共に対象オブジェクトのどの部位に位置しているかを判断処理する。
画像合成手段９ではゲーム空間内の各種オブジェクトの座標位置が決定された後、対象オブジェクト画像と背景オブジェクト画像とを合成し、表示手段に表示する。
【００３１】
画像合成手段９はヒットした標的オブジェクトの特定部位に対応したオブジェクト動作モードが記憶されているオブジェクト画像記憶手段９１とオブジェクト画像記憶手段から選択されたオブジェクト動作モード画像を入力操作パラメータに応じた画像視点（仮想カメラ視点）に基づいて３次元透視変換演算を行う座標演算手段９２と変換されたスクリーン座標系のデータに背景データを貼り付けフレームバッファに出力する描画手段９３とから構成される。
【００３２】
ここで、画像視点とは仮想カメラ視点ともいい、コンピュータグラフィックを描くときに表示画面に表示する画像の視野方向を決める仮想的な視点である。この視点の設定は、位置光軸方向（視野方向）、画角、光軸回りの回転などにより決められる。
【００３３】
オブジェクト画像記憶手段９２は、オブジェクト動作モードデータが記憶されている。オブジェクト動作モードデータは、予め画面に対するいくつかの視軸方向に大別して記憶されている。例えば、画面サイズに対する仰角γ、水平角のψ設定領域に応じ動作モードを９つに分類しておくようにする。
【００３４】
Ｆ1（γ2，ψ2）、Ｆ2（γ2，ψ1）、Ｆ3（γ2，ψ3）Ｆ4（γ1，ψ2）、Ｆ5（γ1，ψ1）、Ｆ6（γ1，ψ3）、Ｆ7（γ3，ψ1）、Ｆ8（γ3，ψ2）、Ｆ9（γ3，ψ3）
ここで、γ1、γ2、γ3、ψ2、ψ1 、ψ2 、ψ3の値は、次の範囲にあるとした。
【００３５】
仰角：γ2＜−５度、−５度≦γ1≦５度、５度＜γ3
水平角：ψ2＜−２０度、−２０度≦ψ1≦２０度、２０度＜ψ3
描画手段９は対象オブジェクト、背景オブジェクトなどのオブジェクトをオブジェクト空間に設定する処理を行う。例えば、ゲーム進行に伴い対象オブジェクトを入力操作者の視野内に出現させたり、移動させたりする描画処理を行う。
【００３６】
フレームメモリ９４に一時的に記憶された対象オブジェクト及び背景オブジェクトなどの画面とスクロール画面とが合成され、最終的なフレーム画像データとして生成され、プロジェクタ１３０によりスクリーン１１０に表示される。
次に、本実施の形態に係わるゲーム装置の動作の説明を、具体的なシューティングゲームに適用した例に基づいて説明する。
【００３７】
図６は本発明の実施の形態であるシューティングゲームの基本動作のフローチャートである。
ステップＳ１０１は入力操作手段であるガン型コントローラによりスクリーン上の標的オブジェクト画像の特定部位を狙い、引き金を引く操作である。これはトリガスイッチをオンすることにより撮像手段のシャッターオン動作である。
Ｓ１０２はスイッチがオンされたらば、撮像手段の撮像画像を取り込む動作処理である。オンされた後はステップＳ１０３に進み、オンされなければシューティング動作は初期状態に戻る。
【００３８】
ステップＳ１０３は撮像画像データに基づいて、表示画面上の特徴点であるマーク画像を少なくとも４個抽出し、撮像画像上の特徴点の座標を特定する処理である。スクリーンに表示された予め決められた位置に設けられた４個のマーカ画像を撮像する。 差分画像処理を行うためスクリーンに表示された表示色の異なる２フレームのマーカ画像が時系列的に取り込まれるようになっている。
【００３９】
また、本実施の形態の別法として、全体の輝度の異なる２枚の画像の差分画像をとるようにしてもよい。この場合、矩形形状を特徴付ける特徴点として表示画像中全表示画像の４隅または４辺となり、ゲーム装置本体に輝度変更手段を設け、スクリーン上に輝度の異なる２種類の表示画像を供給するようにする。例えば、撮像手段のシャッターと同期させ、１度シャッターをオンした時（トリガ信号オン時）所定の時間間隔にて２回撮像する。２回撮像したうちの１回はコンピュータからの投影された原画像を撮像し、２回目の撮像画像では原画像の輝度に対して±４０％位輝度を変えた表示画像を撮像シャッターと同期させて撮像する。この１回目に撮像した画像と２回目に撮像した画像との差分画像をとることになる。
【００４０】
ステップＳ１０４は、ステップＳ１０３で画像座標系において特定された複数の特徴点の座標、すなわちマーカ座標の値に基づいて、撮像面に対するスクリーン平面の姿勢演算処理を行う。演算される３つの姿勢パラメータは、Ｘ軸回りのψ、Ｙ軸回りのγ、Ｚ軸回りのα又はβである。本実施の形態では撮像面上でのＸ−Ｙ−Ｚ座標系を用いて表現している。
【００４１】
ステップＳ１０５は、ステップＳ１０４で得られた姿勢パラメータα、ψ、γに基づいて、スクリーン上の被検出位置の座標Ｐｓを演算処理する。
なお、ステップＳ１０４〜ステップＳ１０５についての処理動作の詳細な説明は後述する。
【００４２】
ステップＳ１０６はステップＳ１０５にて被検出位置が、標的オブジェクトのどの部位にヒットしたか否かを判断する処理である。ヒットしたと判断されれば次のステップに進み、ヒットしなければゲームストーリーに従って進行する。
ステップＳ１０７は、ヒットした標的オブジェクトの特定部位または標的オブジェクトに関連づけられた対象オブジェクトのオブジェクト動作モードデータを予め記憶されていたオブジェクト動作記憶手段から選択する処理である。予め記憶されているオブジェクトが複数のポリゴンデータから構成されている３次元オブジェクトである場合には、オブジェクトの仮想カメラ視点を操作者の位置や姿勢に応じて任意の位置に切り替えるようにすることができる。
【００４３】
次のステップＳ１０８は、距離測定手段からのスクリーンから入力操作手段の撮像面まで距離データＬが得るステップである。
ステップＳ１０９では、姿勢パラメータ及び距離データに基づいてスクリーン面に対する操作者の方向・位置を演算するステップである。
【００４４】
具体的には姿勢情報は、操作位置でのカメラ視点（撮像視点）を原点とし、カメラの視軸方向（レンズ光軸）をＺ軸とした画像座標系とした時の画像座標面内の回転角度α、Ｙ軸回りの角度ψ、Ｘ軸回りの角度γの３つの姿勢パラメータである。距離情報はスクリーン上の被検出位置から操作者が把持している撮像面までの距離である。姿勢情報と距離情報とから正確に操作者の位置を決めることができるが、姿勢情報だけであっても視軸方向は特定できるのでステップＳ１０８の処理はなくてもよい。
【００４５】
操作者の位置は、操作者が対象オブジェクトを視準方向に合わせ撮像画像取込動作した時にのみ、演算され得られた姿勢パラメータから入力操作手段の操作位置にある撮像面の光軸方向、すなわち視軸方向を特定することができる。この視軸方向は図１の狙った方向１０１（破線図示）である。
【００４６】
ステップＳ１１０は、これら処理された結果に基づいて、対象オブジェクトをスクリーン上に表示処理するステップである。例えば、ステップＳ１０７で選択されたオブジェクト動作モードを入力操作位置に応じて選択し、オブジェクト動作モードのオブジェクトの画像視点Ｇ0を撮像視点（操作視点）Ｐ１に一致させて透視射影演算処理して表示することができる。また、距離情報を得ることが出来るればこの情報を用いて操作者がプレーに伴ってオブジェクト画像を遠近感を増大させて表示画面に表示させることができるので、姿勢情報と複合させてオブジェクト画像を様々な変化させ表示させることによりゲーム演出効果の増大が図ることができる。、
図７及び図８は、スクリーンに表示されている３次元オブジェクト画像に対して操作位置Ｐ1から被検出位置Ｐsにショットしたときの画像視点Ｇ０と操作位置（撮像視点）Ｐ１との関係を説明する図である。図７及び図８ともに上図は対象オブジェクトを仮想３次元空間の平面図である。下図はスクリーン面に表示された画像をその法線方向から眺めた図である。図７は、スクリーン平面に対してオブジェクト画像が操作者とは関連なく表示された図である。図８は３次元オブジェクト画像の画像視点Ｇ0を操作位置Ｐ1の位置と一致させた場合である。この図では撮像視点を透視点として仮想３次元空間内のオブジェクト画像を透視射影表示させた図を示した。
【００４７】
ここでは図はわかりやすく説明するために仮想３次元空間におかれた対象オブジェクトは静的画像としたが、一般的には対象オブジェクトはショット動作後に動作する動的画像である。
以上の処理により、従来にはないリアリティ溢れるゲーム演出効果が得られる。
【００４８】
次に、ステップＳ１０４の表示平面の姿勢演算処理、ステップＳ１０５の被検出位置となる標的オブジェクト特定部位の座標演算処理の動作について説明する。
特徴点抽出手段５１により表示画像中の４個のマーカ画像を抽出し、各マーカの座標位置を特定された後、この座標位置に基づいてスクリーンに対する入力操作手段に設けられた撮像面の姿勢パラメータを演算し、被検出位置の座標を演算する。
【００４９】
図９は抽出された４個の特徴点の座標値から被検出位置を演算処理するフローチャートである。
（ａ１）姿勢演算処理
図１０は、入力操作者が任意の位置から撮像手段をスクリーンに向けて表示画像を撮像した撮像画像ｑである。その時、撮像された表示画像は平面上の座標位置である被検出位置Ｐｓに撮像面に設定された基準位置（撮像面の原点Ｏｍ）に合わせて撮像したときの撮像画像ｑである。
【００５０】
ステップＳ２０１では、特定されたｑ1，ｑ2，ｑ3，ｑ4の座標に基づいて、スクリーンの撮像画像ｑの相隣接する幾何学的特徴点間の直線Ｉ1．Ｉ2，Ｉ3，Ｉ4を算出する。ステップＳ２０３ではこれら直線式を用いて撮像画像データの消失点Ｔ0、Ｓ0を求める。
【００５１】
矩形形状平面を撮像すると撮像画像には必ず消失点が存在する。消失点とは平行群が収束する点である。例えば、Ｑ1Ｑ2(ｇ１)に対応する撮像面上の線 ｑ1ｑ2 とＱ3Ｑ4（ｇ２）に対応する線ｑ3ｑ4、ｑ1ｑ4、また右辺Ｑ1Ｑ4 とｑ2ｑ3とが完全に平行であれば消失点は無限遠に存在することになる。無限遠に存在するとき、その方向には透視射影されても透視効果は現れない。すなわち、Ｘ−Ｙ画像座標系（Ｘ−Ｙ座標系）のＸ軸方向に消失点が無限遠に存在する場合、消失軸はＸ軸そのものとなる。
【００５２】
画像データを処理する際には、３次元空間内に置かれた物体の形状は既知であることから行われることが多い。本実施の形態では物体座標系の２組の平行をもつスクリーン上には４隅（幾何学的特徴点に相当）を有しているので、撮像画像面上にはＸ軸側、Ｙ軸側のそれぞれに消失点が１つ存在することになる。
【００５３】
図１０は任意の位置で撮像したときの撮像データ上で消失点の位置を示したものである。Ｘ軸側に生じる消失点をＳ0、Ｙ軸側に生じる消失点をＴ0とする。ｑ1ｑ2 と ｑ3ｑ4との延長した直線の交点が消失点の位置である。
Ｘ軸側またはＹ軸側の一方の消失点が無限遠にあると判断された場合Ｘ軸上またはＹ軸上に１つ存在していると判断された場合には消失直線は、Ｘ軸又はＹ軸そのものとなる。
【００５４】
さらにステップＳ２０２では消失点Ｓ0，Ｔ0を求めた後、被検出位置である画像座標系の原点Ｏｍとこれら消失点とを結んだ直線消失軸Ｓ1Ｓ2、Ｔ1Ｔ2を求める処理を行う。
ステップＳ２０３では消失点Ｓ0、Ｔ0と撮像データ中心Ｏｍとを結んだ直線Ｓ、Ｔが、直線ｑ1ｑ2、ｑ3ｑ4、及びｑ2ｑ3、ｑ1ｑ4と交わる点Ｔ1(Ｘt1，Ｙt1)、Ｔ2(Ｘt2，Ｘt2)、Ｓ1(Ｘs1，Ｙs1）、Ｓ1(Ｘs2，Ｙs2）を求める（これらの交点を消失特徴点と呼ぶ）。撮像画像上のＴ1Ｔ2、Ｓ1Ｓ2を消失軸と呼ぶことにする。これら消失軸は、スクリーン上で被検出位置Ｐｓを基準とする各々互いに直交した直線であり、被検出位置算出するための基準軸である。この消失直線は、図２のスクリーン上の直線Ｓ1Ｓ2、Ｔ1Ｔ2に相当する。 次に、ステップＳ２０４に進む。
【００５５】
ステップＳ２０４では、画像座標系Ｘ−Ｙ座標系をＸ軸側の消失直線ＳをＯｍを中心に角度α回転させＸ軸に一致させ、Ｘ’−Ｙ’座標系とする処理を行う。このとき、Ｙ軸側の消失直線Ｔを点Ｏｍを中心に角度β回転させＹ軸に一致させ、Ｘ’’−Ｙ’’座標系とする処理でも良い。本実施の形態で用いる解析ではいずれか一方で十分である。
【００５６】
図１１は、画像座標系Ｘ−Ｙ座標系をα度回転、またはβ度回転させ、Ｘ’−Ｙ’座標系、Ｘ’’−Ｙ’’座標系にそれぞれ座標変換を説明する図である。
これらの回転入力操作は３次元空間ではＺ軸回りの回転に相当し、３次元空間内におかれたスクリーン形状の姿勢位置を表す１パラメータである。
【００５７】
例えば、スクリーン上の直線Ｑ1Ｑ2（ｇ１），Ｑ3Ｑ4（ｇ２）は消失直線ＳをＸ軸上に一致させることによりＸ軸と平行な位置関係となる。
図１２は３次元空間における撮像面上のＸ−Ｙ−Ｚ座標系（画像座標系と呼ぶ）と所定平面上のＸ*−Ｙ*座標系（平面座標系と呼ぶ）との姿勢の位置関係を示したものである。画像座標系の中心から垂直に延びる光軸（撮像レンズの光軸）をＺ軸とする。Ｚ軸上の視点Ｏは、画像座標系の原点Ｏｍから焦点距離ｆの位置にある。Ｘ−Ｙ−Ｚ座標系のＸ軸回りの角度ψ、Ｙ軸回りの角度γ、Ｚ軸回りの角度αまたはβとする。これらの角度回りはいずれも時計回りを正としている。
【００５８】
次のステップＳ２０５は、スクリーン平面に対する撮像面の姿勢を演算する。このステップにおいて、得られた撮像画像の撮像面上のＸ−Ｙ座標変換後のＸ’−Ｙ’座標系における位置座標を基に、画像座標系Ｘ’−Ｙ’系の特徴点ｑ1，ｑ2，ｑ3，ｑ4に対する物体座標系のスクリーンＱ1，Ｑ2，Ｑ3，Ｑ4の各点の対応づけを行う。この対応付けは、スクリーンと撮像面とを画像座標系（Ｘ−Ｙ−Ｚ座標系）を有する３次元空間内に置き、撮像面の焦点距離ｆを原点とした透視射影変換処理を行うことによりなされる。
【００５９】
図１３は、３次元空間内に置かれたスクリーンの位置姿勢を説明する斜視図である。図では矩形の１/４を示してあり、撮像面上のスクリーン上の位置座標Ｑ1(Ｘ* 1，Ｙ* 1)、Ｑ2(Ｘ* 2，Ｙ* 2）に対応する座標点をｑ1（Ｘ1、Ｙ1）、ｑ2(Ｘ2，Ｙ2）が示されている。解析する各特徴点としてはＴ1、Ｔ2それにＳ2の３点の位置座標が示されている。
【００６０】
Ｑ3(Ｘ* 3，Ｙ* 3）、Ｑ4(Ｘ* 4，Ｙ* 4）に対応する座標点ｑ3（Ｘ3，Ｙ3）、ｑ4（Ｘ4，Ｙ4）については省略してある。
さらに指示された被検出位置は、図の原点Ｏｍ(0,0,f)に相当する。透視点Ｏ(0,0,0)は３次元空間Ｘ−ＹーＺ座標系の原点であり、ｆは焦点距離である。ここでは２次元スクリーンは理想的な形とし、横軸に平行なスクリーン上辺の長さをｇ１、下辺の長さをｇ２とし、縦軸に平行なスクリーン右辺の長さをｈ１、左辺の長さをｈ２とする。 スクリーンの撮像面に対する位置関係は、Ｘ軸回りを撮像面の原点Ｏｍを中心としてＸ軸回りに角度＋ψ、Ｙ軸回りに角度＋γである。これらいずれも時計回りを正としてある。この図ではＺ軸回りの回転入力操作（Ｘ−Ｙ座標系をβ度回転）した結果を示してある。
【００６１】
本実施例では解析的に容易となるこれら４点を選択したが、スクリーンの姿勢位置を決める４点の特徴点であればいずれでも良い。
本実施の形態では、撮像面に設けられた矩形形状上の被検出位置をＸ−Ｙ座標系の原点とし、原点の他にＴ1、Ｓ2とＱ1の３点について透視射影変換処理を行った。
【００６２】
図１４は図１３に示した３次元空間内に置かれたスクリーンをＹ’＝０であるＸＺ平面上に正投影した図である。ここでＸＺ平面内には辺ＯｍＳ2のみが存在し、残りの辺は投影されたものである。焦点距離ｆの位置に撮像面を配置して透視射影変換を行い、各点のＸ’−Ｙ’座標系における位置座標を算出する。その結果が数１、数２で示される。
【００６３】
【数１】
【００６４】
また、図１５は図１３のスクリーンをＸ＝ＯのＹＺ平面上に正投影した図である。図中にはＴ1及びＱ1に関する記載のみであり、Ｑ2、Ｑ3、Ｑ4に関する記載は略してある。 ＸＺ平面上で行った処理と同様にＹＺ平面における透視射影変換処理を行い、Ｔ1、Ｑ1の座標位置を算出する。
【００６５】
【数２】
【００６６】
スクリーンの特徴点Ｔ1及びＱ1に着目する。これらがＸＺ面とＹＺ面のこれら２つの面に投影し透視射影変換した結果、Ｔ1及びＱ1の座標値として、図１４からはＴ1（Ｘ* t1，Ｚ* t1｜ｘ）とＱ1（Ｘ* 1，Ｚ* 1｜ｘ）、図１５からはＴ1（Ｙ* t1，Ｚ* t1｜ｙ）とＱ1（Ｙ* 1，Ｚ* 1｜ｙ）がそれぞれ得られる。
【００６７】
図１４及び図１５のＸＺ平面、ＹＺ平面への正投影面において、Ｚ軸に関する座標値は同じ値をとり、次の関係にある。
Ｚ* 1｜ｘ＝Ｚ* 1｜ｙ
Ｚ* t1｜ｘ＝Ｚ* t1｜ｙ
上式の条件式から次の２つの関係式（数３）を得ることができる。
【００６８】
【数３】
【００６９】
数３は３次元空間内に置かれたスクリーンの姿勢パラメータ間の関係式である。これらの式は矩形位置姿勢を表す１つの角度と画像を特徴付ける撮像面上の複数の座標値との簡単な関係式となっている。
さらに、この式を数に代入するともう１つの姿勢パラメータθを得ることができる。
【００７０】
（ｂ２）座標演算処理
次に、図９のステップＳ２０７に進み、撮像面に設定された基準位置に平面上の被検出位置を合わせることにより平面上の被検出位置を算出する処理を行う。Ｘ−Ｙ座標系をβ度回転しＸ’−Ｙ’座標系に変換した時、３次元空間内におけるスクリーン上の座標位置の算出式は数４で表される。
【００７１】
【数４】
【００７２】
スクリーン上の座標系を（Ｘ*i，Ｙ*i）とする。また、スクリーン上の被検出位置を横軸比ｍ、縦軸比ｎで表すと、座標変換演算は次式（数５及び数６）により行われる。
【００７３】
【数５】
【００７４】
【数６】
【００７５】
数６で用いたUmax、Vmaxは、予め定められた特徴点間Ｑ2Ｑ3、Ｑ3Ｑ4の長さである。 図１６（ａ）、（ｂ）は、それぞれ予め形成した矩形形状を形成する４個の特徴点Ｑ１，Ｑ２，Ｑ３，Ｑ４の座標系とそれに対応するスクリーン上に投影された座標系との関係を示した図である。
【００７６】
このように本実施の形態において、撮像面の基準位置を中心位置に設けたので３次元空間内の撮像面の位置に対するスクリーンの姿勢位置を表す角度は簡単な関係式となっている。
なお、スクリーンの画像データにおいて２点の消失点を生じるが、３次元空間内の所定平面の姿勢位置や所定平面の被検出位置の検出には、得られた所定平面の画像データにおいて少なくても１点の消失点を求めることができれば可能である。すなわち、少なくとも一対の平行線を有する形状であればよいのである。
［第２の実施の形態］
図１７（ａ），（ｂ）は、本発明の第２の実施の形態を説明する図である。
【００７７】
ガン型コントローラを用いてスクリーン上に表示された標的オブジェクト画像をシューティングする第１の実施の形態とは異なり、第２の実施の形態では用いるガン型コントローラは同じであるが標的オブジェクトとして実空間での３次元オブジェクトをシューティングしようとするゲームである。
【００７８】
図１７（ａ）の上図はコントローラ８０２を把持している操作者が、実空間内にキュービックベース８０４の上に標的３次元オブジェクト８０１を狙っている図である。キュービックベース８０４内にはモーターがあり、回転軸８０５の回りで回転することができるようになっている。またベース８０４の一面８０４ａには特徴点として４個の発光素子（ＬＥＤ）８０６ａ、８０６ｂ、８０６ｃ、８０６ｄが設けられている。 図１７（ａ）の下図はその時のコントローラの撮像面上の標的オブジェクト画像である。撮像面には４個のＬＥＤに対応したＬＥＤ像８０６ａ、８０６ｂ、８０６ｃ、８０６ｄが特徴点として示されている。被検出位置Ｐｓは撮像面の中心８０３ａである。
【００７９】
図１７（ａ）において、実空間内のオブジェクト８０１は操作者に向いていない。操作者が標的オブジェクトの手８０１ａに向けてショットし、ヒットするとモーターが駆動し、実空間内のオブジェクトが操作者の姿勢や位置に応じて動くようにしてある。
【００８０】
今、ショットし、ヒットした時の処理動作について説明する。ショット動作により、撮像画像８０３が取り込まれ、４点の特徴点を抽出する。これら特徴点の座標に基づき撮像面に対するキュービックベースのＬＥＤ面８０４ａの姿勢演算を行い、姿勢パラメータψ、γ、βを算出する。姿勢パラメータの１つを用いて被検出位置を演算する。その被検出位置の座標とと予め定められた位置に設けられたオブジェクトの座標とを比較し、ヒットしたと判断されるとモーターが駆動し。キュービックベース面８０４ａが操作者の方向に回転駆動する。
【００８１】
図１７（ｂ）は、キュービックベース面が操作者方向に向くように回転軸８０５を中心に角度ψ回転した後の状態の図である。
図では１軸の回転で説明したが、駆動法については限定されるものではない。このように本実施の形態に係わるゲーム装置は、操作者の意図するオブジェクト画像の特定部位を表示画面に対してどの位置からも直接指示することができ、その都度、スクリーンに対する撮像面の姿勢、位置などの各種パラメータが算出され操作者の位置を特定することができるので、より迫力感のある、リアリティ溢れる新規なゲーム効果が可能となった。例えば、対象オブジェクトの右手を狙ったのにかかわらず、左足に当たってしまった場合、対象オブジェクトは撃たれた状況に応じて所定の動作モード処理を行い、ガン入力操作によりプレイヤーの入力操作位置方向、すなわち視軸方向に向けて撃ち返す動作を行うというインタラクティブなゲームストーリー展開も考えられる。
【００８２】
また、本実施の形態に係わるゲーム装置は操作位置情報を得ることが出来るため、操作位置が定点位置であってもスクリーンに対し狙った方向を検出できるため、奥行き感のある表示画像に対しオブジェクト動作が現実感溢れる動作としてゲームを行うことが出来る。例えば、３次元シューティングゲーム装置において、表示画像上標的オブジェクトに向けてショットしたとき、その弾丸が標的オブジェクトにヒットするまでの時間感覚をオブジェクトの遠近感により到達速度が異なるようにすることができる。すなわちスクリーン上のオブジェクト画像の特定部位は、同じ座標位置であっても狙った方向によりオブジェクト動作表現を異なるようにすることができ、バラエティ溢れるゲームを作成することが出来る。
【００８３】
本実施の形態に係わるゲーム装置の入力操作パラメータは、入力操作手段からスクリーンまでの距離データが得られなくとも、少なくとも１つの姿勢パラメータだけであってもよい。
【図面の簡単な説明】
【図１】 本実施の形態に係わるゲーム装置を説明するブロック構成図。
【図２】 第１の実施の形態に係わるゲーム装置の全体構成斜視図。
【図３】 本実施の形態に係わるガン型コントローラの構成斜視図。
【図４】 本実施の形態に係わる照準手段の第１の光学系。
【図５】 本実施の形態に係わる照準手段の第２の光学系。
【図６】 本実施の形態に係わる基本動作を説明するフローチャート。
【図７】 固定された画像視点と操作視点との関係を説明する図。
【図８】 第１の実施の形態に係わる画像視点と操作（撮像）視点との関係を説明する図。
【図９】 本実施の形態に係わる位置演算処理部の詳細フローチャート。
【図１０】 撮像されたスクリーンの画像。
【図１１】 撮像された画像面上の各座標系。
【図１２】３次元透視射影変換の座標系を説明する斜視図。
【図１３】３次元透視射影変換を説明する斜視図。
【図１４】図１３におけるスクリーンのＸ’−Ｚ’座標面上への正投影図。
【図１５】図１３におけるスクリーンのＹ’−Ｚ’座標面上への正投影図。
【図１６】予め定められた座標系とスクリーン座標系との関係を説明する図。
【図１７】第２の実施の形態に係わる３次元実空間におけるシューティングゲームを説明する図。
【符号の説明】
１００ 入力操作手段
１０１ 撮像手段
１０２ 照準手段
１０３ 距離測定手段
１１０ スクリーン
１１１ スクリーン上に投影されている画像
１２０ ゲーム装置本体
１３０ プロジェクタ
２０ 外部記憶媒体
４ ＣＰＵ
５１ 特徴点抽出手段
５２ 位置演算手段
５２１ 平面姿勢演算手段
５２２ 被検出位置（ターゲット）座標演算手段
７ 入力操作位置特定手段
８ オブジェクト部位判断手段
９ 画像合成手段
【発明の属する技術分野】
本発明は、入力操作者の操作位置に応じて表示画像を変化させるゲーム装置、ゲーム処理方法及びゲームを実行させるプログラムが記録された可読記憶媒体に関する。
【０００２】
【従来の技術】
従来から、テレビやパソコンのＣＲＴ等の表示装置を利用した家庭用ゲームや業務用ゲームが知られている。特に、シューティングゲームはガン型コントローラを用いて直接的に表示画面のターゲットとなるオブジェクト画像に向けて狙い、ショットし、ヒットしたか否かを競うゲームであり、直接コントローラを表示画面に向けて操作する代表的なゲームである。
【０００３】
一般的なシューティングゲーム装置の位置検出方法は、ＣＲＴ表示画面上を走査する電子走査線の光をガン型コントローラに設けられた受光素子により光検出する方法である。例えば、特開昭６０−１７９０７９号公報、特開平４−５１９８７号公報、特開平５−３２２４８７号公報などが知られている。また、ガン型コントローラをスクリーン上に投影された投影画像に向けて行うシューティングゲーム装置の従来例として、特開昭６２−３２９８７号公報、特開平５−３２２４８７号公報などが知られている。
【０００４】
最近、ゲーム機の画像処理の高速化により、リアリティ溢れるＣＧ映像で作られた３次元シューティングゲームを楽しめるようになってきている。例えば、特開平６−２１３５９５号公報、特開平１１−８６０３８号公報、国際出願ＷＯ９７／２１１９４号公報などがあげられる。
【０００５】
３次元シューティングゲームはディスプレイ上の仮想的な３次元空間内に出現する標的オブジェクトをガン型コントローラにてショットすることにより、得点を競うものである。仮想３次元空間内に配置されたオブジェクトは、複数のポリゴンデータで構成されている３次元オブジェクトであり、仮想カメラ視点（画像視点とも呼ぶ）によって定まる視野座標系に座標変換され表示される。例えば、特開平６−２１３５９５号公報では、３次元ゲーム空間に見立てた宇宙空間を所定のゲームストーリに従って銃装置が取り付けられた宇宙船にプレーヤーが乗り標的に狙いを定めて射撃しながら飛行するゲームである。プレーヤーが乗っている宇宙船の視点は各フレーム毎の情報として予め記憶されてあり、宇宙空間の景色はこの視点情報に応じて投影するというものである。
【０００６】
３次元の対象オブジェクトの画像視点は、どの方向を向き、いかなる空間座標を占めるかを任意に設定され、この仮想視点から見た映像を２次元座標平面である表示画面に透視射影演算して表示するようにしている。
【０００７】
【発明が解決しようとする課題】
しかしながら、従来のシューティングゲーム装置、例えば、特開平４−５１９８７号公報などの座標検出方法は、ＣＲＴ画面の電子線走査に基づいた光検出方法であるため、液晶表示画面や壁面投影表示面などには用いることができないという問題があった。
【０００８】
また、特開平８−７１２５２号公報の位置算出方法ではスクリーン面に対して入力操作者はほぼ正位置にて入力操作する場合のみしか適用できず、算出される傾きや位置などは定性的な量でしかなく、リアリティあふれるゲームを楽しむことはできない。
【０００９】
特開平６−２１３５９５号公報、特開平７−１１６３４３号公報などの用いられている操作手段は、表示画面外で３次元オブジェクト空間の視点変更を行うことが出来るものの、いずれもその操作視点座標は予め記憶され、定められている。シューティングゲームの例では、操作手段からオブジェクトへの視線方向や傾きなどは、ガン型コントローラが取り付けられている支点が撮像視点とし、それを中心として回転角を検出するセンサーが設けられいる。 このようにプレーヤーの入力操作空間に制限が生じ、操作自由度は低く、表示画面や対象オブジェクトの視点の移動が画一的となってしまう。そのためにゲーム展開が単調で面白みや迫力感が欠けたものとなっていた。さらに、このような従来の装置は大型化し、手軽に家庭用ゲームとして用いることは出来ないという問題点があった。
【００１０】
本発明の目的は、表示画面上のオブジェクト画像に対し操作者が任意の入力操作位置から直接入力操作を可能とすると同時に入力操作者の位置方向情報をオブジェクト画像に与えることができ、多様なゲーム展開を行えるゲーム装置、ゲーム処理方法及びゲームを実行させるプログラムが記録された可読記憶媒体を提供する。
【００１１】
【課題を解決するための手段】
上記課題を解決するために、本発明の請求項１記載のゲーム装置は、操作者が３次元実空間内のオブジェクトを変化させてプレイするゲーム装置であって、平面上に複数の特徴点を有するオブジェクトと、前記オブジェクトの被検出位置に向けて前記特徴点を少なくとも４個含んで撮像する撮像手段と、前記撮像手段の撮像面上に予め定められた基準位置を前記オブジェクト上の被検出位置に合わせる照準手段とを備えた操作手段と、前記基準位置を撮像画像座標系の原点として、前記撮像手段により撮像された画像上の前記特徴点の座標を演算する特徴点抽出手段と、前記特徴点抽出手段により演算された特徴点座標に基づいて、前記オブジェクト平面に対する撮像面の姿勢パラメータを演算する姿勢演算手段と、前記姿勢演算手段により算出された姿勢パラメータに基づいて、前記オブジェクト上の被検出位置座標を算出する被検出位置座標演算手段とを備え、前記姿勢パラメータに応じて前記被検出位置座標に関連づけられたオブジェクトを変化させることを特徴とする。
【００１２】
本発明の請求項２記載のゲーム装置は、操作者が表示平面上のオブジェクト画像の表示状態を変化させてプレイするゲーム装置であって、オブジェクト画像を表示し、複数の特徴点を有する表示平面と、前記オブジェクト画像上の被検出位置に向けて前記特徴点を少なくとも４個含んで撮像する撮像手段と、前記撮像手段の撮像面上に予め定めた基準位置を前記オブジェクト画像上の被検出位置に合わせる照準手段とを備えた操作手段と、前記基準位置を撮像画像座標系の原点として、前記撮像手段により撮像された前記特徴点の座標を演算する特徴点抽出手段と、前記特徴点抽出手段より算出された特徴点座標に基づいて前記表示平面に対する撮像面の姿勢パラメータを演算する姿勢演算手段と、前記姿勢演算手段により算出された姿勢パラメータに基づいて、前記オブジェクト画像上の被検出位置座標を算出する被検出位置座標演算手段とを備え、前記姿勢パラメータに応じて前記被検出位置座標に関連づけられたオブジェクト画像の表示状態を変化させることを特徴とする。
【００１３】
本発明の請求項１２は、撮像手段の撮像面上に予め定められた基準位置と表示画面上のオブジェクト画像の被検出位置とが一致した状態で、表示平面上の少なくとも４個の特徴点が操作者により撮像された撮像画像に基づいて、前記オブジェクト画像の表示状態を変化させるゲーム装置のゲーム処理方法であって、特徴点抽出手段が、前記撮像された撮像画像に基づいて前記特徴点を抽出し、前記基準位置を原点として、該特徴点の座標を演算するステップと、姿勢演算手段が、前記演算された特徴点の座標に基づいて、表示平面に対する撮像面の姿勢パラメータを算出するステップと、
位置座標演算手段が、前記姿勢パラメータの少なくとも１つを用いて前記被検出位置の座標を演算するステップと、画像生成手段が、前記姿勢パラメータに応じて前記被検出位置座標に関連づけられたオブジェクト画像を変化させて表示するステップとを有することを特徴とする。
【００１４】
本発明の請求項１４記載のコンピュータ可読記憶媒体は、本発明のゲーム処理方法をコンピュータに実行させるプログラムが記録する。
【００１５】
本発明の請求項１８記載のコンピュータ可読記憶媒体は、本発明のゲーム方法をコンピュータに実行させるためのプログラムが記録されていることを特徴とする。
【００１６】
【発明の実施の形態】
以下、図面を用いて本発明の実施の形態について説明する。
図１は、本発明の実施の形態に係わるゲーム装置の全体構成を説明するブロック構成図である。
【００１７】
ゲーム装置は入力操作手段１００と入力操作手段からの出力信号に応じて画像処理や座標演算を実行するゲーム装置本体１２０とそれらの処理結果を表示する表示手段１１０とを備えている。
［第１の実施の形態］
図２は本実施の形態に係わるゲーム装置を説明する概念構成図である。
【００１８】
操作者は入力操作手段であるガン型コントローラ１００を用いて、スクリーン上に表示されている標的オブジェクト画像の特定部位（被検出位置ともいう）Ｐｓに向けてシューティングゲームを行っている。１１１はプロジェクタ１３０によりスクリーン上に投影されている画像である。１００はＸ−Ｙ−Ｚ座標系（画像座標系と呼ぶ）を有し、Ｘ−Ｙ−Ｚ座標系の原点ＯｍとしてＸ−Ｙ面上に撮像面がある。このＸ−Ｙ−Ｚ座標系の３次元空間内にＸ*ーＹ*座標系（スクリーン座標系と呼ぶ）を有するスクリーン平面１１０が置かれている。
【００１９】
まず最初に、本実施の形態に係わるゲーム装置の各構成について説明する。
入力操作手段１００は、撮像手段としてＣＣＤカメラ１０１、照準手段１０２、距離測定手段１０３、それにオブジェクトを動作させる各種制御ボタン１４とを備えている。 図３は入力操作手段であるガン型コントローラの構成概略図である。
【００２０】
撮像手段１０１は表示画面上の被検出位置を検出するＣＣＤ撮像面を有するカメラを用いている。距離測定手段１０３は表示画面から撮像手段に設けられている撮像面までの距離測定する。距離測定は公知技術によって行われる。例えば、ＣＣＤカメラレンズにオートフォーカシング機構が設けてあれば、そのフォーカス量を用いることができる。また、レーザー測距装置を設けてもよい。
【００２１】
照準手段１０２は操作者が表示画面上の被検出位置を定めるためのものであり、例えば、十字線が刻まれたファインダー、視認性のレーザーなどが設けられている。 図４及び図５は図３の入力操作手段の光学系配置図であり、図４は照準装置としてファインダー１０２Ａを用いた例であり、図５は視認性レーザー１２０Ｂを用いた例である。いずれの図においても照準位置は、ＣＣＤカメラレンズの光軸（撮像面の中心）にほぼ一致させてある。 本実施例では照準位置とレンズの光軸とは一致させたが必ずしも一致させる必要はない。
図４及び図５の詳細な説明は省略する。
【００２２】
操作者が照準位置を表示画面上の所望の被検出位置に合わせて、入力操作手段に設けられた撮像手段１０１のスイッチをオンすることによって撮像画像データを取込まれ、その画像データに基づいて被検出位置の座標を検出するようになっている。すなわち、操作者は表示画面上に向かって投影されたオブジェクト画像を直接制御することができる。
【００２３】
さらに、入力操作手段１００には、ゲーム進行に必要なオブジェクト画像を上下左右に移動させたり、ジャンプさせたりする各種オブジェクト動作制御ボタン１４，１５が設けられている。
図１に戻って、入出力インターフェイス３は、入力操作手段からの出力信号をＡ／Ｄ変換し、一時的に記憶できるフレームメモリを持っている。また、入力操作手段から各種オブジェクトを動作させる制御信号をゲーム装置本体１２０へ出力する。また、画像処理結果に伴う音声信号や操作手段を把持している手に振動を与える制御信号などは、この入出力インターフェイスを介して信号をやり取りが行われる。
【００２４】
ＣＰＵ４はＲＯＭを備えており、オペレーションシステム（ＯＳ）や各種制御プログラムが格納されている。
外部記憶媒体２０は、ゲームのための各種プログラムが記憶されており、例えばＣＤ−ＲＯＭ、ＤＶＤなどがある。記憶媒体２０には、本実施の形態に係わるゲームを実行させるための方法が記録され、ゲーム装置本体１２０やコンピュータなどにより読みとり可能となっている。
【００２５】
特徴点抽出手段５１は、矩形形状を特徴付けるマーク画像を抽出するために輝度または色が異なる２つの撮像画像に基づいて、その差分画像を得るための差分処理手段５１１、二値化処理手段５１２等のマークを抽出するための一連の処理を行う。
【００２６】
特徴点特定手段５１３は、得られた２枚の撮像画像データからマーカが抽出処理され、撮像面（画像座標系）上の少なくとも４個のマークの重心座標を特定する。撮像されたマーク画像が４個以上ある場合には、次の姿勢演算に用いる４個のマークの特定も行う。
【００２７】
位置演算手段５２は、平面姿勢演算手段５２１と被検出位置を演算する座標演算手段５２２とから構成され、入力操作手段により得られた画像データに基づき、視野画面における被検出位置の座標を演算する。
姿勢演算手段５２１は、特定された４個のマーカ座標位置に基づいて、入力操作手段の撮像面の撮像視点を原点とするＸ−Ｙ−Ｚ座標系におけるスクリーン平面の位置姿勢、撮像面の回転角、仰角、水平角などのパラメータβ、γ、ψを演算する。
【００２８】
被検出位置座標演算手段５２２は、平面姿勢演算手段結果得られた姿勢パラメータγまたはψのいずれか１つを用いて、狙った表示画面中の標的オブジェクトの特定部位（被検出位置）の座標Ｐsを演算する。
スクリーン平面の姿勢パラメータ及び被検出位置の座標演算処理については、後で詳細に説明する。
【００２９】
入力操作位置特定手段７は、スクリーン平面の姿勢演算手段５２１から算出された撮像視点に対する表示平面の姿勢パラメータとして回転α、仰角γ及び水平角ψと被検出位置座標演算手段６２から算出されたスクリーン上の被検出位置の座標値Ｐsと入力手段に設けられている距離測定手段１０２から算出されたスクリーン上の被検出位置から入力操作位置までの距離Ｌなどの入力操作パラメータに基づいて、スクリーンに対する入力操作手段の位置を演算し、特定する処理を行う。
【００３０】
対象オブジェクト部位判断手段８は、位置演算処理結果に基づいて複数の種々のオブジェクトの中から対象オブジェクトを特定すると共に対象オブジェクトのどの部位に位置しているかを判断処理する。
画像合成手段９ではゲーム空間内の各種オブジェクトの座標位置が決定された後、対象オブジェクト画像と背景オブジェクト画像とを合成し、表示手段に表示する。
【００３１】
画像合成手段９はヒットした標的オブジェクトの特定部位に対応したオブジェクト動作モードが記憶されているオブジェクト画像記憶手段９１とオブジェクト画像記憶手段から選択されたオブジェクト動作モード画像を入力操作パラメータに応じた画像視点（仮想カメラ視点）に基づいて３次元透視変換演算を行う座標演算手段９２と変換されたスクリーン座標系のデータに背景データを貼り付けフレームバッファに出力する描画手段９３とから構成される。
【００３２】
ここで、画像視点とは仮想カメラ視点ともいい、コンピュータグラフィックを描くときに表示画面に表示する画像の視野方向を決める仮想的な視点である。この視点の設定は、位置光軸方向（視野方向）、画角、光軸回りの回転などにより決められる。
【００３３】
オブジェクト画像記憶手段９２は、オブジェクト動作モードデータが記憶されている。オブジェクト動作モードデータは、予め画面に対するいくつかの視軸方向に大別して記憶されている。例えば、画面サイズに対する仰角γ、水平角のψ設定領域に応じ動作モードを９つに分類しておくようにする。
【００３４】
Ｆ1（γ2，ψ2）、Ｆ2（γ2，ψ1）、Ｆ3（γ2，ψ3）Ｆ4（γ1，ψ2）、Ｆ5（γ1，ψ1）、Ｆ6（γ1，ψ3）、Ｆ7（γ3，ψ1）、Ｆ8（γ3，ψ2）、Ｆ9（γ3，ψ3）
ここで、γ1、γ2、γ3、ψ2、ψ1 、ψ2 、ψ3の値は、次の範囲にあるとした。
【００３５】
仰角：γ2＜−５度、−５度≦γ1≦５度、５度＜γ3
水平角：ψ2＜−２０度、−２０度≦ψ1≦２０度、２０度＜ψ3
描画手段９は対象オブジェクト、背景オブジェクトなどのオブジェクトをオブジェクト空間に設定する処理を行う。例えば、ゲーム進行に伴い対象オブジェクトを入力操作者の視野内に出現させたり、移動させたりする描画処理を行う。
【００３６】
フレームメモリ９４に一時的に記憶された対象オブジェクト及び背景オブジェクトなどの画面とスクロール画面とが合成され、最終的なフレーム画像データとして生成され、プロジェクタ１３０によりスクリーン１１０に表示される。
次に、本実施の形態に係わるゲーム装置の動作の説明を、具体的なシューティングゲームに適用した例に基づいて説明する。
【００３７】
図６は本発明の実施の形態であるシューティングゲームの基本動作のフローチャートである。
ステップＳ１０１は入力操作手段であるガン型コントローラによりスクリーン上の標的オブジェクト画像の特定部位を狙い、引き金を引く操作である。これはトリガスイッチをオンすることにより撮像手段のシャッターオン動作である。
Ｓ１０２はスイッチがオンされたらば、撮像手段の撮像画像を取り込む動作処理である。オンされた後はステップＳ１０３に進み、オンされなければシューティング動作は初期状態に戻る。
【００３８】
ステップＳ１０３は撮像画像データに基づいて、表示画面上の特徴点であるマーク画像を少なくとも４個抽出し、撮像画像上の特徴点の座標を特定する処理である。スクリーンに表示された予め決められた位置に設けられた４個のマーカ画像を撮像する。 差分画像処理を行うためスクリーンに表示された表示色の異なる２フレームのマーカ画像が時系列的に取り込まれるようになっている。
【００３９】
また、本実施の形態の別法として、全体の輝度の異なる２枚の画像の差分画像をとるようにしてもよい。この場合、矩形形状を特徴付ける特徴点として表示画像中全表示画像の４隅または４辺となり、ゲーム装置本体に輝度変更手段を設け、スクリーン上に輝度の異なる２種類の表示画像を供給するようにする。例えば、撮像手段のシャッターと同期させ、１度シャッターをオンした時（トリガ信号オン時）所定の時間間隔にて２回撮像する。２回撮像したうちの１回はコンピュータからの投影された原画像を撮像し、２回目の撮像画像では原画像の輝度に対して±４０％位輝度を変えた表示画像を撮像シャッターと同期させて撮像する。この１回目に撮像した画像と２回目に撮像した画像との差分画像をとることになる。
【００４０】
ステップＳ１０４は、ステップＳ１０３で画像座標系において特定された複数の特徴点の座標、すなわちマーカ座標の値に基づいて、撮像面に対するスクリーン平面の姿勢演算処理を行う。演算される３つの姿勢パラメータは、Ｘ軸回りのψ、Ｙ軸回りのγ、Ｚ軸回りのα又はβである。本実施の形態では撮像面上でのＸ−Ｙ−Ｚ座標系を用いて表現している。
【００４１】
ステップＳ１０５は、ステップＳ１０４で得られた姿勢パラメータα、ψ、γに基づいて、スクリーン上の被検出位置の座標Ｐｓを演算処理する。
なお、ステップＳ１０４〜ステップＳ１０５についての処理動作の詳細な説明は後述する。
【００４２】
ステップＳ１０６はステップＳ１０５にて被検出位置が、標的オブジェクトのどの部位にヒットしたか否かを判断する処理である。ヒットしたと判断されれば次のステップに進み、ヒットしなければゲームストーリーに従って進行する。
ステップＳ１０７は、ヒットした標的オブジェクトの特定部位または標的オブジェクトに関連づけられた対象オブジェクトのオブジェクト動作モードデータを予め記憶されていたオブジェクト動作記憶手段から選択する処理である。予め記憶されているオブジェクトが複数のポリゴンデータから構成されている３次元オブジェクトである場合には、オブジェクトの仮想カメラ視点を操作者の位置や姿勢に応じて任意の位置に切り替えるようにすることができる。
【００４３】
次のステップＳ１０８は、距離測定手段からのスクリーンから入力操作手段の撮像面まで距離データＬが得るステップである。
ステップＳ１０９では、姿勢パラメータ及び距離データに基づいてスクリーン面に対する操作者の方向・位置を演算するステップである。
【００４４】
具体的には姿勢情報は、操作位置でのカメラ視点（撮像視点）を原点とし、カメラの視軸方向（レンズ光軸）をＺ軸とした画像座標系とした時の画像座標面内の回転角度α、Ｙ軸回りの角度ψ、Ｘ軸回りの角度γの３つの姿勢パラメータである。距離情報はスクリーン上の被検出位置から操作者が把持している撮像面までの距離である。姿勢情報と距離情報とから正確に操作者の位置を決めることができるが、姿勢情報だけであっても視軸方向は特定できるのでステップＳ１０８の処理はなくてもよい。
【００４５】
操作者の位置は、操作者が対象オブジェクトを視準方向に合わせ撮像画像取込動作した時にのみ、演算され得られた姿勢パラメータから入力操作手段の操作位置にある撮像面の光軸方向、すなわち視軸方向を特定することができる。この視軸方向は図１の狙った方向１０１（破線図示）である。
【００４６】
ステップＳ１１０は、これら処理された結果に基づいて、対象オブジェクトをスクリーン上に表示処理するステップである。例えば、ステップＳ１０７で選択されたオブジェクト動作モードを入力操作位置に応じて選択し、オブジェクト動作モードのオブジェクトの画像視点Ｇ0を撮像視点（操作視点）Ｐ１に一致させて透視射影演算処理して表示することができる。また、距離情報を得ることが出来るればこの情報を用いて操作者がプレーに伴ってオブジェクト画像を遠近感を増大させて表示画面に表示させることができるので、姿勢情報と複合させてオブジェクト画像を様々な変化させ表示させることによりゲーム演出効果の増大が図ることができる。、
図７及び図８は、スクリーンに表示されている３次元オブジェクト画像に対して操作位置Ｐ1から被検出位置Ｐsにショットしたときの画像視点Ｇ０と操作位置（撮像視点）Ｐ１との関係を説明する図である。図７及び図８ともに上図は対象オブジェクトを仮想３次元空間の平面図である。下図はスクリーン面に表示された画像をその法線方向から眺めた図である。図７は、スクリーン平面に対してオブジェクト画像が操作者とは関連なく表示された図である。図８は３次元オブジェクト画像の画像視点Ｇ0を操作位置Ｐ1の位置と一致させた場合である。この図では撮像視点を透視点として仮想３次元空間内のオブジェクト画像を透視射影表示させた図を示した。
【００４７】
ここでは図はわかりやすく説明するために仮想３次元空間におかれた対象オブジェクトは静的画像としたが、一般的には対象オブジェクトはショット動作後に動作する動的画像である。
以上の処理により、従来にはないリアリティ溢れるゲーム演出効果が得られる。
【００４８】
次に、ステップＳ１０４の表示平面の姿勢演算処理、ステップＳ１０５の被検出位置となる標的オブジェクト特定部位の座標演算処理の動作について説明する。
特徴点抽出手段５１により表示画像中の４個のマーカ画像を抽出し、各マーカの座標位置を特定された後、この座標位置に基づいてスクリーンに対する入力操作手段に設けられた撮像面の姿勢パラメータを演算し、被検出位置の座標を演算する。
【００４９】
図９は抽出された４個の特徴点の座標値から被検出位置を演算処理するフローチャートである。
（ａ１）姿勢演算処理
図１０は、入力操作者が任意の位置から撮像手段をスクリーンに向けて表示画像を撮像した撮像画像ｑである。その時、撮像された表示画像は平面上の座標位置である被検出位置Ｐｓに撮像面に設定された基準位置（撮像面の原点Ｏｍ）に合わせて撮像したときの撮像画像ｑである。
【００５０】
ステップＳ２０１では、特定されたｑ1，ｑ2，ｑ3，ｑ4の座標に基づいて、スクリーンの撮像画像ｑの相隣接する幾何学的特徴点間の直線Ｉ1．Ｉ2，Ｉ3，Ｉ4を算出する。ステップＳ２０３ではこれら直線式を用いて撮像画像データの消失点Ｔ0、Ｓ0を求める。
【００５１】
矩形形状平面を撮像すると撮像画像には必ず消失点が存在する。消失点とは平行群が収束する点である。例えば、Ｑ1Ｑ2(ｇ１)に対応する撮像面上の線 ｑ1ｑ2 とＱ3Ｑ4（ｇ２）に対応する線ｑ3ｑ4、ｑ1ｑ4、また右辺Ｑ1Ｑ4 とｑ2ｑ3とが完全に平行であれば消失点は無限遠に存在することになる。無限遠に存在するとき、その方向には透視射影されても透視効果は現れない。すなわち、Ｘ−Ｙ画像座標系（Ｘ−Ｙ座標系）のＸ軸方向に消失点が無限遠に存在する場合、消失軸はＸ軸そのものとなる。
【００５２】
画像データを処理する際には、３次元空間内に置かれた物体の形状は既知であることから行われることが多い。本実施の形態では物体座標系の２組の平行をもつスクリーン上には４隅（幾何学的特徴点に相当）を有しているので、撮像画像面上にはＸ軸側、Ｙ軸側のそれぞれに消失点が１つ存在することになる。
【００５３】
図１０は任意の位置で撮像したときの撮像データ上で消失点の位置を示したものである。Ｘ軸側に生じる消失点をＳ0、Ｙ軸側に生じる消失点をＴ0とする。ｑ1ｑ2 と ｑ3ｑ4との延長した直線の交点が消失点の位置である。
Ｘ軸側またはＹ軸側の一方の消失点が無限遠にあると判断された場合Ｘ軸上またはＹ軸上に１つ存在していると判断された場合には消失直線は、Ｘ軸又はＹ軸そのものとなる。
【００５４】
さらにステップＳ２０２では消失点Ｓ0，Ｔ0を求めた後、被検出位置である画像座標系の原点Ｏｍとこれら消失点とを結んだ直線消失軸Ｓ1Ｓ2、Ｔ1Ｔ2を求める処理を行う。
ステップＳ２０３では消失点Ｓ0、Ｔ0と撮像データ中心Ｏｍとを結んだ直線Ｓ、Ｔが、直線ｑ1ｑ2、ｑ3ｑ4、及びｑ2ｑ3、ｑ1ｑ4と交わる点Ｔ1(Ｘt1，Ｙt1)、Ｔ2(Ｘt2，Ｘt2)、Ｓ1(Ｘs1，Ｙs1）、Ｓ1(Ｘs2，Ｙs2）を求める（これらの交点を消失特徴点と呼ぶ）。撮像画像上のＴ1Ｔ2、Ｓ1Ｓ2を消失軸と呼ぶことにする。これら消失軸は、スクリーン上で被検出位置Ｐｓを基準とする各々互いに直交した直線であり、被検出位置算出するための基準軸である。この消失直線は、図２のスクリーン上の直線Ｓ1Ｓ2、Ｔ1Ｔ2に相当する。 次に、ステップＳ２０４に進む。
【００５５】
ステップＳ２０４では、画像座標系Ｘ−Ｙ座標系をＸ軸側の消失直線ＳをＯｍを中心に角度α回転させＸ軸に一致させ、Ｘ’−Ｙ’座標系とする処理を行う。このとき、Ｙ軸側の消失直線Ｔを点Ｏｍを中心に角度β回転させＹ軸に一致させ、Ｘ’’−Ｙ’’座標系とする処理でも良い。本実施の形態で用いる解析ではいずれか一方で十分である。
【００５６】
図１１は、画像座標系Ｘ−Ｙ座標系をα度回転、またはβ度回転させ、Ｘ’−Ｙ’座標系、Ｘ’’−Ｙ’’座標系にそれぞれ座標変換を説明する図である。
これらの回転入力操作は３次元空間ではＺ軸回りの回転に相当し、３次元空間内におかれたスクリーン形状の姿勢位置を表す１パラメータである。
【００５７】
例えば、スクリーン上の直線Ｑ1Ｑ2（ｇ１），Ｑ3Ｑ4（ｇ２）は消失直線ＳをＸ軸上に一致させることによりＸ軸と平行な位置関係となる。
図１２は３次元空間における撮像面上のＸ−Ｙ−Ｚ座標系（画像座標系と呼ぶ）と所定平面上のＸ*−Ｙ*座標系（平面座標系と呼ぶ）との姿勢の位置関係を示したものである。画像座標系の中心から垂直に延びる光軸（撮像レンズの光軸）をＺ軸とする。Ｚ軸上の視点Ｏは、画像座標系の原点Ｏｍから焦点距離ｆの位置にある。Ｘ−Ｙ−Ｚ座標系のＸ軸回りの角度ψ、Ｙ軸回りの角度γ、Ｚ軸回りの角度αまたはβとする。これらの角度回りはいずれも時計回りを正としている。
【００５８】
次のステップＳ２０５は、スクリーン平面に対する撮像面の姿勢を演算する。このステップにおいて、得られた撮像画像の撮像面上のＸ−Ｙ座標変換後のＸ’−Ｙ’座標系における位置座標を基に、画像座標系Ｘ’−Ｙ’系の特徴点ｑ1，ｑ2，ｑ3，ｑ4に対する物体座標系のスクリーンＱ1，Ｑ2，Ｑ3，Ｑ4の各点の対応づけを行う。この対応付けは、スクリーンと撮像面とを画像座標系（Ｘ−Ｙ−Ｚ座標系）を有する３次元空間内に置き、撮像面の焦点距離ｆを原点とした透視射影変換処理を行うことによりなされる。
【００５９】
図１３は、３次元空間内に置かれたスクリーンの位置姿勢を説明する斜視図である。図では矩形の１/４を示してあり、撮像面上のスクリーン上の位置座標Ｑ1(Ｘ* 1，Ｙ* 1)、Ｑ2(Ｘ* 2，Ｙ* 2）に対応する座標点をｑ1（Ｘ1、Ｙ1）、ｑ2(Ｘ2，Ｙ2）が示されている。解析する各特徴点としてはＴ1、Ｔ2それにＳ2の３点の位置座標が示されている。
【００６０】
Ｑ3(Ｘ* 3，Ｙ* 3）、Ｑ4(Ｘ* 4，Ｙ* 4）に対応する座標点ｑ3（Ｘ3，Ｙ3）、ｑ4（Ｘ4，Ｙ4）については省略してある。
さらに指示された被検出位置は、図の原点Ｏｍ(0,0,f)に相当する。透視点Ｏ(0,0,0)は３次元空間Ｘ−ＹーＺ座標系の原点であり、ｆは焦点距離である。ここでは２次元スクリーンは理想的な形とし、横軸に平行なスクリーン上辺の長さをｇ１、下辺の長さをｇ２とし、縦軸に平行なスクリーン右辺の長さをｈ１、左辺の長さをｈ２とする。 スクリーンの撮像面に対する位置関係は、Ｘ軸回りを撮像面の原点Ｏｍを中心としてＸ軸回りに角度＋ψ、Ｙ軸回りに角度＋γである。これらいずれも時計回りを正としてある。この図ではＺ軸回りの回転入力操作（Ｘ−Ｙ座標系をβ度回転）した結果を示してある。
【００６１】
本実施例では解析的に容易となるこれら４点を選択したが、スクリーンの姿勢位置を決める４点の特徴点であればいずれでも良い。
本実施の形態では、撮像面に設けられた矩形形状上の被検出位置をＸ−Ｙ座標系の原点とし、原点の他にＴ1、Ｓ2とＱ1の３点について透視射影変換処理を行った。
【００６２】
図１４は図１３に示した３次元空間内に置かれたスクリーンをＹ’＝０であるＸＺ平面上に正投影した図である。ここでＸＺ平面内には辺ＯｍＳ2のみが存在し、残りの辺は投影されたものである。焦点距離ｆの位置に撮像面を配置して透視射影変換を行い、各点のＸ’−Ｙ’座標系における位置座標を算出する。その結果が数１、数２で示される。
【００６３】
【数１】
また、図１５は図１３のスクリーンをＸ＝ＯのＹＺ平面上に正投影した図である。図中にはＴ1及びＱ1に関する記載のみであり、Ｑ2、Ｑ3、Ｑ4に関する記載は略してある。 ＸＺ平面上で行った処理と同様にＹＺ平面における透視射影変換処理を行い、Ｔ1、Ｑ1の座標位置を算出する。
【００６５】
【数２】
スクリーンの特徴点Ｔ1及びＱ1に着目する。これらがＸＺ面とＹＺ面のこれら２つの面に投影し透視射影変換した結果、Ｔ1及びＱ1の座標値として、図１４からはＴ1（Ｘ* t1，Ｚ* t1｜ｘ）とＱ1（Ｘ* 1，Ｚ* 1｜ｘ）、図１５からはＴ1（Ｙ* t1，Ｚ* t1｜ｙ）とＱ1（Ｙ* 1，Ｚ* 1｜ｙ）がそれぞれ得られる。
【００６７】
図１４及び図１５のＸＺ平面、ＹＺ平面への正投影面において、Ｚ軸に関する座標値は同じ値をとり、次の関係にある。
Ｚ* 1｜ｘ＝Ｚ* 1｜ｙ
Ｚ* t1｜ｘ＝Ｚ* t1｜ｙ
上式の条件式から次の２つの関係式（数３）を得ることができる。
【００６８】
【数３】
数３は３次元空間内に置かれたスクリーンの姿勢パラメータ間の関係式である。これらの式は矩形位置姿勢を表す１つの角度と画像を特徴付ける撮像面上の複数の座標値との簡単な関係式となっている。
さらに、この式を数に代入するともう１つの姿勢パラメータθを得ることができる。
【００７０】
（ｂ２）座標演算処理
次に、図９のステップＳ２０７に進み、撮像面に設定された基準位置に平面上の被検出位置を合わせることにより平面上の被検出位置を算出する処理を行う。Ｘ−Ｙ座標系をβ度回転しＸ’−Ｙ’座標系に変換した時、３次元空間内におけるスクリーン上の座標位置の算出式は数４で表される。
【００７１】
【数４】
スクリーン上の座標系を（Ｘ*i，Ｙ*i）とする。また、スクリーン上の被検出位置を横軸比ｍ、縦軸比ｎで表すと、座標変換演算は次式（数５及び数６）により行われる。
【００７３】
【数５】
【数６】
数６で用いたUmax、Vmaxは、予め定められた特徴点間Ｑ2Ｑ3、Ｑ3Ｑ4の長さである。 図１６（ａ）、（ｂ）は、それぞれ予め形成した矩形形状を形成する４個の特徴点Ｑ１，Ｑ２，Ｑ３，Ｑ４の座標系とそれに対応するスクリーン上に投影された座標系との関係を示した図である。
【００７６】
このように本実施の形態において、撮像面の基準位置を中心位置に設けたので３次元空間内の撮像面の位置に対するスクリーンの姿勢位置を表す角度は簡単な関係式となっている。
なお、スクリーンの画像データにおいて２点の消失点を生じるが、３次元空間内の所定平面の姿勢位置や所定平面の被検出位置の検出には、得られた所定平面の画像データにおいて少なくても１点の消失点を求めることができれば可能である。すなわち、少なくとも一対の平行線を有する形状であればよいのである。
［第２の実施の形態］
図１７（ａ），（ｂ）は、本発明の第２の実施の形態を説明する図である。
【００７７】
ガン型コントローラを用いてスクリーン上に表示された標的オブジェクト画像をシューティングする第１の実施の形態とは異なり、第２の実施の形態では用いるガン型コントローラは同じであるが標的オブジェクトとして実空間での３次元オブジェクトをシューティングしようとするゲームである。
【００７８】
図１７（ａ）の上図はコントローラ８０２を把持している操作者が、実空間内にキュービックベース８０４の上に標的３次元オブジェクト８０１を狙っている図である。キュービックベース８０４内にはモーターがあり、回転軸８０５の回りで回転することができるようになっている。またベース８０４の一面８０４ａには特徴点として４個の発光素子（ＬＥＤ）８０６ａ、８０６ｂ、８０６ｃ、８０６ｄが設けられている。 図１７（ａ）の下図はその時のコントローラの撮像面上の標的オブジェクト画像である。撮像面には４個のＬＥＤに対応したＬＥＤ像８０６ａ、８０６ｂ、８０６ｃ、８０６ｄが特徴点として示されている。被検出位置Ｐｓは撮像面の中心８０３ａである。
【００７９】
図１７（ａ）において、実空間内のオブジェクト８０１は操作者に向いていない。操作者が標的オブジェクトの手８０１ａに向けてショットし、ヒットするとモーターが駆動し、実空間内のオブジェクトが操作者の姿勢や位置に応じて動くようにしてある。
【００８０】
今、ショットし、ヒットした時の処理動作について説明する。ショット動作により、撮像画像８０３が取り込まれ、４点の特徴点を抽出する。これら特徴点の座標に基づき撮像面に対するキュービックベースのＬＥＤ面８０４ａの姿勢演算を行い、姿勢パラメータψ、γ、βを算出する。姿勢パラメータの１つを用いて被検出位置を演算する。その被検出位置の座標とと予め定められた位置に設けられたオブジェクトの座標とを比較し、ヒットしたと判断されるとモーターが駆動し。キュービックベース面８０４ａが操作者の方向に回転駆動する。
【００８１】
図１７（ｂ）は、キュービックベース面が操作者方向に向くように回転軸８０５を中心に角度ψ回転した後の状態の図である。
図では１軸の回転で説明したが、駆動法については限定されるものではない。このように本実施の形態に係わるゲーム装置は、操作者の意図するオブジェクト画像の特定部位を表示画面に対してどの位置からも直接指示することができ、その都度、スクリーンに対する撮像面の姿勢、位置などの各種パラメータが算出され操作者の位置を特定することができるので、より迫力感のある、リアリティ溢れる新規なゲーム効果が可能となった。例えば、対象オブジェクトの右手を狙ったのにかかわらず、左足に当たってしまった場合、対象オブジェクトは撃たれた状況に応じて所定の動作モード処理を行い、ガン入力操作によりプレイヤーの入力操作位置方向、すなわち視軸方向に向けて撃ち返す動作を行うというインタラクティブなゲームストーリー展開も考えられる。
【００８２】
また、本実施の形態に係わるゲーム装置は操作位置情報を得ることが出来るため、操作位置が定点位置であってもスクリーンに対し狙った方向を検出できるため、奥行き感のある表示画像に対しオブジェクト動作が現実感溢れる動作としてゲームを行うことが出来る。例えば、３次元シューティングゲーム装置において、表示画像上標的オブジェクトに向けてショットしたとき、その弾丸が標的オブジェクトにヒットするまでの時間感覚をオブジェクトの遠近感により到達速度が異なるようにすることができる。すなわちスクリーン上のオブジェクト画像の特定部位は、同じ座標位置であっても狙った方向によりオブジェクト動作表現を異なるようにすることができ、バラエティ溢れるゲームを作成することが出来る。
【００８３】
本実施の形態に係わるゲーム装置の入力操作パラメータは、入力操作手段からスクリーンまでの距離データが得られなくとも、少なくとも１つの姿勢パラメータだけであってもよい。
【図面の簡単な説明】
【図１】 本実施の形態に係わるゲーム装置を説明するブロック構成図。
【図２】 第１の実施の形態に係わるゲーム装置の全体構成斜視図。
【図３】 本実施の形態に係わるガン型コントローラの構成斜視図。
【図４】 本実施の形態に係わる照準手段の第１の光学系。
【図５】 本実施の形態に係わる照準手段の第２の光学系。
【図６】 本実施の形態に係わる基本動作を説明するフローチャート。
【図７】 固定された画像視点と操作視点との関係を説明する図。
【図８】 第１の実施の形態に係わる画像視点と操作（撮像）視点との関係を説明する図。
【図９】 本実施の形態に係わる位置演算処理部の詳細フローチャート。
【図１０】 撮像されたスクリーンの画像。
【図１１】 撮像された画像面上の各座標系。
【図１２】３次元透視射影変換の座標系を説明する斜視図。
【図１３】３次元透視射影変換を説明する斜視図。
【図１４】図１３におけるスクリーンのＸ’−Ｚ’座標面上への正投影図。
【図１５】図１３におけるスクリーンのＹ’−Ｚ’座標面上への正投影図。
【図１６】予め定められた座標系とスクリーン座標系との関係を説明する図。
【図１７】第２の実施の形態に係わる３次元実空間におけるシューティングゲームを説明する図。
【符号の説明】
１００ 入力操作手段
１０１ 撮像手段
１０２ 照準手段
１０３ 距離測定手段
１１０ スクリーン
１１１ スクリーン上に投影されている画像
１２０ ゲーム装置本体
１３０ プロジェクタ
２０ 外部記憶媒体
４ ＣＰＵ
５１ 特徴点抽出手段
５２ 位置演算手段
５２１ 平面姿勢演算手段
５２２ 被検出位置（ターゲット）座標演算手段
７ 入力操作位置特定手段
８ オブジェクト部位判断手段
９ 画像合成手段
Claims (14)
- 操作者が３次元実空間内のオブジェクトを変化させてプレイするゲーム装置であって、
平面上に複数の特徴点を有するオブジェクトと、
前記オブジェクトの被検出位置に向けて前記特徴点を少なくとも４個含んで撮像する撮像手段と、前記撮像手段の撮像面上に予め定められた基準位置を前記オブジェクト上の被検出位置に合わせる照準手段とを備えた操作手段と、
前記基準位置を撮像画像座標系の原点として、前記撮像手段により撮像された画像上の前記特徴点の座標を演算する特徴点抽出手段と、
前記特徴点抽出手段により演算された特徴点座標に基づいて、前記オブジェクト平面に対する撮像面の姿勢パラメータを演算する姿勢演算手段と、
前記姿勢演算手段により算出された姿勢パラメータに基づいて、前記オブジェクト平面上の被検出位置座標を算出する被検出位置座標演算手段とを備え、
前記姿勢パラメータに応じて前記被検出位置座標に関連づけられたオブジェクトを変化させることを特徴とするゲーム装置。 - 操作者が表示平面上のオブジェクト画像の表示状態を変化させてプレイするゲーム装置であって、
オブジェクト画像を表示し、複数の特徴点を有する表示平面と、
前記オブジェクト画像上の被検出位置に向けて前記特徴点を少なくとも４個含んで撮像する撮像手段と、前記撮像手段の撮像面上に予め定めた基準位置を前記オブジェクト画像上の被検出位置に合わせる照準手段とを備えた操作手段と、
前記基準位置を撮像画像座標系の原点として、前記撮像手段により撮像された前記特徴点の座標を演算する特徴点抽出手段と、
前記特徴点抽出手段により算出された特徴点座標に基づいて前記表示平面に対する撮像面の姿勢パラメータを演算する姿勢演算手段と、
前記姿勢演算手段より算出された姿勢パラメータと前記特徴点抽出手段より算出された特徴点座標とに基づいて表示平面上の被検出位置座標を演算する被検出位置座標演算手段とを備え、
前記姿勢パラメータに応じて前記被検出位置座標に関連づけられたオブジェクト画像の表示状態を変化させることを特徴とするゲーム装置。 - 前記基準位置は撮像手段の撮像レンズの光軸が撮像面と交わる点であることを特徴とする請求項１及び２記載のゲーム装置。
- 前記表示平面はプロジェクタから投影される投影画像であることを特徴とする請求項２又は３記載のゲーム装置。
- 前記複数の特徴点は、表示画像であることを特徴とする請求項２又は４記載のゲーム装置。
- 前記姿勢演算手段は撮像画像上の４個の特徴点座標値で形成される消失点を用いて演算することを特徴とする請求項１〜５のいずれかに記載のゲーム装置。
- 前記操作手段には、前記平面と撮像面との距離を測定する距離測定手段を備え、前記距離測定手段からの出力信号をも加味してオブジェクト画像を変化させることを特徴とする請求項１又は２に記載のゲーム装置。
- 前記照準手段は撮像面上の基準位置と一致するように設けられカメラのファインダー上に設けられた十字線であることを特徴とする請求項１又は２に記載のゲーム装置。
- 前記照準手段は撮像面上の基準位置に一致するように設けられたレーザーポインタであることを特徴とする請求項１又は２に記載のゲーム装置。
- 表示平面に表示されたオブジェクト画像の画像視点をゲーム展開に応じて、前記撮像手段の撮像視点に一致させることを特徴とする請求項２又は３に記載のゲーム装置。
- 前記オブジェクト画像の表示状態を変化させた画像を生成する画像生成手段を有し、前記画像生成手段には前記姿勢パラメータに応じて選択されるオブジェクト動作モードが記憶されているオブジェクト画像記憶手段を備えていることを特徴とする請求項２記載のゲーム装置。
- 撮像手段の撮像面上に予め定められた基準位置と表示画面上のオブジェクト画像の被検出位置とが一致した状態で、表示平面上の少なくとも４個の特徴点が操作者により撮像された撮像画像に基づいて、前記オブジェクト画像の表示状態を変化させるゲーム装置のゲーム処理方法であって、
特徴点抽出手段が、前記撮像された撮像画像に基づいて前記特徴点を抽出し、前記基準位置を原点として、該特徴点の座標を演算するステップと、
姿勢演算手段が、前記演算された特徴点の座標に基づいて、表示平面に対する撮像面の姿勢パラメータを算出するステップと、
位置座標演算手段が、前記姿勢パラメータの少なくとも１つを用いて前記被検出位置の座標を演算するステップと、
画像生成手段が、前記姿勢パラメータに応じて前記被検出位置座標に関連づけられたオブジェクト画像を変化させて表示するステップとを有することを特徴とするゲーム処理方法。 - 前記位置座標演算手段が演算するステップでは、撮像画像上の４個の特徴点より算出される消失点に基づいて、前記被検出位置座標を演算することを特徴とする請求項１２記載のゲーム処理方法。
- 請求項１２又は１３のいずれかに記載のゲーム処理方法をコンピュータに実行させるプログラムが記録されたコンピュータ可読記憶媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001372183A JP3686919B2 (ja) | 2000-12-06 | 2001-12-06 | ゲーム装置、ゲーム処理方法及び可読記憶媒体 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000-371019 | 2000-12-06 | ||
| JP2000371019 | 2000-12-06 | ||
| JP2001372183A JP3686919B2 (ja) | 2000-12-06 | 2001-12-06 | ゲーム装置、ゲーム処理方法及び可読記憶媒体 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2002233665A JP2002233665A (ja) | 2002-08-20 |
| JP2002233665A5 JP2002233665A5 (ja) | 2005-05-26 |
| JP3686919B2 true JP3686919B2 (ja) | 2005-08-24 |
Family
ID=26605312
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001372183A Expired - Fee Related JP3686919B2 (ja) | 2000-12-06 | 2001-12-06 | ゲーム装置、ゲーム処理方法及び可読記憶媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3686919B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190033416A (ko) * | 2017-09-15 | 2019-03-29 | 고려대학교 산학협력단 | 컬링 시트의 인식 방법 및 장치 |
Families Citing this family (40)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7749089B1 (en) | 1999-02-26 | 2010-07-06 | Creative Kingdoms, Llc | Multi-media interactive play system |
| US7445550B2 (en) | 2000-02-22 | 2008-11-04 | Creative Kingdoms, Llc | Magical wand and interactive play experience |
| US7878905B2 (en) | 2000-02-22 | 2011-02-01 | Creative Kingdoms, Llc | Multi-layered interactive play experience |
| US6761637B2 (en) | 2000-02-22 | 2004-07-13 | Creative Kingdoms, Llc | Method of game play using RFID tracking device |
| US7066781B2 (en) | 2000-10-20 | 2006-06-27 | Denise Chapman Weston | Children's toy with wireless tag/transponder |
| US6967566B2 (en) | 2002-04-05 | 2005-11-22 | Creative Kingdoms, Llc | Live-action interactive adventure game |
| US20070066396A1 (en) | 2002-04-05 | 2007-03-22 | Denise Chapman Weston | Retail methods for providing an interactive product to a consumer |
| US7674184B2 (en) | 2002-08-01 | 2010-03-09 | Creative Kingdoms, Llc | Interactive water attraction and quest game |
| US9446319B2 (en) | 2003-03-25 | 2016-09-20 | Mq Gaming, Llc | Interactive gaming toy |
| JP4179162B2 (ja) | 2003-12-26 | 2008-11-12 | 株式会社セガ | 情報処理装置、ゲーム装置、画像生成方法、ゲーム画像生成方法 |
| WO2005119356A2 (en) | 2004-05-28 | 2005-12-15 | Erik Jan Banning | Interactive direct-pointing system and calibration method |
| US7864159B2 (en) | 2005-01-12 | 2011-01-04 | Thinkoptics, Inc. | Handheld vision based absolute pointing system |
| TWI281623B (en) * | 2005-05-10 | 2007-05-21 | Pixart Imaging Inc | Orientation point orientating method of orientation device and device thereof |
| US9285897B2 (en) | 2005-07-13 | 2016-03-15 | Ultimate Pointer, L.L.C. | Easily deployable interactive direct-pointing system and calibration method therefor |
| US8313379B2 (en) | 2005-08-22 | 2012-11-20 | Nintendo Co., Ltd. | Video game system with wireless modular handheld controller |
| US7927216B2 (en) | 2005-09-15 | 2011-04-19 | Nintendo Co., Ltd. | Video game system with wireless modular handheld controller |
| KR100972907B1 (ko) * | 2005-08-22 | 2010-07-28 | 닌텐도가부시키가이샤 | 게임 조작 장치 |
| JP4805633B2 (ja) | 2005-08-22 | 2011-11-02 | 任天堂株式会社 | ゲーム用操作装置 |
| US7942745B2 (en) | 2005-08-22 | 2011-05-17 | Nintendo Co., Ltd. | Game operating device |
| US8870655B2 (en) | 2005-08-24 | 2014-10-28 | Nintendo Co., Ltd. | Wireless game controllers |
| JP4262726B2 (ja) | 2005-08-24 | 2009-05-13 | 任天堂株式会社 | ゲームコントローラおよびゲームシステム |
| US8308563B2 (en) | 2005-08-30 | 2012-11-13 | Nintendo Co., Ltd. | Game system and storage medium having game program stored thereon |
| JP4907129B2 (ja) * | 2005-09-01 | 2012-03-28 | 任天堂株式会社 | 情報処理システムおよびプログラム |
| US8708822B2 (en) | 2005-09-01 | 2014-04-29 | Nintendo Co., Ltd. | Information processing system and program |
| JP5075330B2 (ja) * | 2005-09-12 | 2012-11-21 | 任天堂株式会社 | 情報処理プログラム |
| US8157651B2 (en) | 2005-09-12 | 2012-04-17 | Nintendo Co., Ltd. | Information processing program |
| JP4794957B2 (ja) * | 2005-09-14 | 2011-10-19 | 任天堂株式会社 | ゲームプログラム、ゲーム装置、ゲームシステム、およびゲーム処理方法 |
| JP5424373B2 (ja) * | 2006-03-09 | 2014-02-26 | 任天堂株式会社 | 画像処理装置、画像処理プログラム、画像処理システム、および画像処理方法 |
| JP4151982B2 (ja) | 2006-03-10 | 2008-09-17 | 任天堂株式会社 | 動き判別装置および動き判別プログラム |
| US7553229B2 (en) * | 2006-03-21 | 2009-06-30 | Avago Technologies General Ip (Singapore) Pte. Ltd. | Active referencing method with interleaved crosshair navigation frames |
| JP4989105B2 (ja) | 2006-05-09 | 2012-08-01 | 任天堂株式会社 | ゲームコントローラ |
| US8913003B2 (en) | 2006-07-17 | 2014-12-16 | Thinkoptics, Inc. | Free-space multi-dimensional absolute pointer using a projection marker system |
| JP4872610B2 (ja) * | 2006-11-09 | 2012-02-08 | カシオ計算機株式会社 | カメラポインタ装置、ラベリング方法及びプログラム |
| FR2912318B1 (fr) * | 2007-02-13 | 2016-12-30 | Parrot | Reconnaissance d'objets dans un jeu de tir pour jouets telecommandes |
| US9176598B2 (en) | 2007-05-08 | 2015-11-03 | Thinkoptics, Inc. | Free-space multi-dimensional absolute pointer with improved performance |
| JP4964729B2 (ja) | 2007-10-01 | 2012-07-04 | 任天堂株式会社 | 画像処理プログラムおよび画像処理装置 |
| JP5554010B2 (ja) * | 2009-05-01 | 2014-07-23 | 株式会社タイトー | 射撃ゲーム装置 |
| JP5735866B2 (ja) * | 2011-06-20 | 2015-06-17 | 任天堂株式会社 | 情報処理システムおよびプログラム |
| JP5352626B2 (ja) * | 2011-06-24 | 2013-11-27 | 任天堂株式会社 | 情報処理プログラム |
| CN113730909B (zh) * | 2021-09-14 | 2023-06-20 | 腾讯科技（深圳）有限公司 | 瞄准位置的显示方法、装置、电子设备及存储介质 |
-
2001
- 2001-12-06 JP JP2001372183A patent/JP3686919B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190033416A (ko) * | 2017-09-15 | 2019-03-29 | 고려대학교 산학협력단 | 컬링 시트의 인식 방법 및 장치 |
| KR102045436B1 (ko) * | 2017-09-15 | 2019-11-15 | 고려대학교 산학협력단 | 컬링 시트의 인식 방법 및 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002233665A (ja) | 2002-08-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3686919B2 (ja) | ゲーム装置、ゲーム処理方法及び可読記憶媒体 | |
| US9495800B2 (en) | Storage medium having stored thereon image processing program, image processing apparatus, image processing system, and image processing method | |
| US8556716B2 (en) | Image generation system, image generation method, and information storage medium | |
| JP2002233665A5 (ja) | ||
| CN105138135B (zh) | 头戴式虚拟现实设备及虚拟现实系统 | |
| JP3769747B2 (ja) | 仮想画像生成装置及びその方法 | |
| EP2039402B1 (en) | Input instruction device, input instruction method, and dancing simultation system using the input instruction device and method | |
| US8241125B2 (en) | Apparatus and method of interaction with a data processor | |
| US7268781B2 (en) | Image display control method | |
| JP5675260B2 (ja) | 画像処理プログラム、画像処理装置、画像処理システム、及び、画像処理方法 | |
| JP4758842B2 (ja) | 映像オブジェクトの軌跡画像合成装置、映像オブジェクトの軌跡画像表示装置およびそのプログラム | |
| JP5586545B2 (ja) | ゲームシステム、携帯型ゲーム装置、情報処理部の制御方法、および情報処理部の制御プログラム | |
| US8884987B2 (en) | Storage medium having stored thereon display control program, display control apparatus, display control system, and display control method for setting and controlling display of a virtual object using a real world image | |
| JP5939733B2 (ja) | 画像処理プログラム、画像処理装置、画像処理システム、及び、画像処理方法 | |
| JP2002298145A (ja) | 位置検出装置及び姿勢検出装置 | |
| JP5690135B2 (ja) | 情報処理プログラム、情報処理システム、情報処理装置および情報処理方法 | |
| US20110183765A1 (en) | Information storage medium, game system, and input determination method | |
| JP2002247602A (ja) | 画像生成装置及びその制御方法並びにそのコンピュータプログラム | |
| JP2006099188A (ja) | 情報処理方法および装置 | |
| US20110181703A1 (en) | Information storage medium, game system, and display image generation method | |
| US20130057574A1 (en) | Storage medium recorded with program, information processing apparatus, information processing system, and information processing method | |
| EP2253358B1 (en) | Game device, game device control method, program, information storage medium | |
| JP2012239778A (ja) | ゲームプログラム、ゲーム装置、ゲームシステム、およびゲーム処理方法 | |
| JP3690581B2 (ja) | 位置検出装置及びその方法、平面姿勢検出装置及びその方法 | |
| JP2004248725A (ja) | 打球の解析装置及び方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040721 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040721 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20040721 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20040817 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040831 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041028 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041124 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050113 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050208 |
|
| R155 | Notification before disposition of declining of application |
Free format text: JAPANESE INTERMEDIATE CODE: R155 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050425 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110617 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110617 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140617 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |