JPH07296197A - 画像処理装置 - Google Patents

画像処理装置

Info

Publication number
JPH07296197A
JPH07296197A JP6084962A JP8496294A JPH07296197A JP H07296197 A JPH07296197 A JP H07296197A JP 6084962 A JP6084962 A JP 6084962A JP 8496294 A JP8496294 A JP 8496294A JP H07296197 A JPH07296197 A JP H07296197A
Authority
JP
Japan
Prior art keywords
image
camera
detecting
detected
cpu
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP6084962A
Other languages
English (en)
Inventor
Norio Iizuka
宣男 飯塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP6084962A priority Critical patent/JPH07296197A/ja
Publication of JPH07296197A publication Critical patent/JPH07296197A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【目的】 ユーザの動作を2台のカメラで撮像すること
により得られる3次元画像データに基づいて、表示画面
上の画像が変化するテレビゲームなどの画像処理装置
で、2台のカメラの自由なセッティングを可能とするこ
とを目的とする。 【構成】 スライド抵抗器221上の接触子225、2
26の各位置がA/D変換器211、212を介して検
出され、2台のカメラ102と103の間隔が算出され
る。また、ロータリー抵抗器22上の接触子227、2
28の各位置がA/D変換器213、214を介して検
出され、2台のカメラ102と103の各光軸方向が算
出される。そして、2台のカメラ102と103での撮
像動作に基づいてRAM203に生成される座標マップ
上の対象物の検出位置と、2台のカメラ102と103
の間隔及び光軸方向に基づいて、対象物の3次元位置が
算出される。この3次元位置とテレビゲームで表示中の
オブジェクトとの位置関係に応じて、ゲームが進行す
る。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、ユーザの動作を2台の
カメラで撮像することにより得られる3次元画像データ
に基づいて、テレビや液晶表示装置などの表示画面上の
画像が変化するテレビゲームなどの画像処理装置に関す
る。
【0002】
【従来の技術】従来のテレビゲームなどは、マウスやジ
ョイスティックなどのポインティングデバイスを操作す
ることによりテレビや液晶ディスプレイなどの表示画面
上の画像を変化させるものが主流であった。これに対し
て、よりリアルなプレーを行えるようにするために、ユ
ーザの動作を小型のカメラで撮像することにより得られ
る画像データに基づいて、テレビや液晶表示装置などの
表示画面上の画像を変化させるようにしたテレビゲーム
などが提案されている。これにより、ユーザは、あたか
も実際のプレーをするように例えばボクシングのグロー
ブを動かすことによって、CG画像によって表示される
テレビゲームに参加することなどが可能となる。
【0003】この場合、2台のカメラによって撮像され
るステレオ画像から例えばユーザが手に装着しているグ
ローブの3次元空間内の座標を検出することにより、ユ
ーザの動きを正確に捉らえることを可能とした従来技術
が知られている。
【0004】
【発明が解決しようとする課題】ここで、2台のカメラ
によって撮像されるステレオ画像からその画像内の特定
の物体の3次元空間内の座標を検出するためには、2台
のカメラの位置関係、即ち、カメラの向き及びカメラ間
の距離などが既知でなければならないという制約が存在
する。このため、従来技術においては、2台のカメラの
位置関係、即ち、カメラの向き及びカメラ間の距離など
は、予め固定されている。
【0005】しかし、このようにカメラの位置関係が固
定されていると、撮像可能な範囲が固定されてしまうた
め、ユーザが動き回る部屋の空間の広さなどが制約を受
け、実用上大きな不便を伴ってしまうという問題点を有
している。
【0006】本発明の課題は、2台のカメラにおいて自
由なセッティングを可能とすることにある。
【0007】
【課題を解決するための手段】本発明は、まず、相互の
位置関係及びそれぞれの撮像方向を可変して設定可能な
第1及び第2の撮像手段(Rカメラ102、Lカメラ1
03)を有する。
【0008】次に、第1及び第2の撮像手段の位置関係
を検出する位置関係検出手段(スライド抵抗器221、
接触子225、226、A/D変換器211、212
等)を有する。この位置関係は、例えば第1及び第2の
撮像手段の間隔である。
【0009】次に、第1及び第2の撮像手段の撮像方向
を検出する撮像方向検出手段(ロータリー抵抗器22
2、223、接触子227、228、A/D変換器21
3、214等)を有する。この撮像方向は、第1及び第
2の撮像手段の光軸の方向である。
【0010】また、第1及び第2の撮像手段によって撮
像されたそれぞれの画像において、所定の属性を有する
画像領域を検出する画像検出手段(I/F216等)を
有する。この手段は、例えば各画像において、所定色の
クロマキーを検出する。
【0011】次に、その画像検出手段で検出された第1
及び第2の撮像手段に対応するそれぞれの画像領域につ
いて、第1及び第2の撮像手段によって撮像されたそれ
ぞれの画像上での位置を検出する画像領域位置検出手段
(CPU−G201等)を有する。
【0012】続いて、その画像領域位置検出手段で検出
された各画像領域の位置と、位置関係検出手段で検出さ
れた第1及び第2の撮像手段の位置関係と、撮像方向検
出手段で検出された第1及び第2の撮像手段の撮像方向
に基づいて、画像領域位置検出手段で検出された各画像
領域に対応する対象物のその対象物が存在する空間内で
の3次元位置を検出する対象物3次元位置検出手段(C
PU−G201等)を有する。
【0013】一方、所定種類の画像(オブジェクト画面
データ)を記憶する画像記憶手段(V−RAM205
等)を有する。次に、その画像記憶手段に記憶された所
定種類の画像の表示状態を指定する表示状態指定手段
(CPU−G201等)を有する。
【0014】更に、その表示状態指定手段によって指定
された表示状態で画像記憶手段に記憶された所定種類の
画像を表示する表示手段(VDP204等)を有する。
加えて、対象物3次元位置検出手段で検出された対象物
の3次元位置と所定種類の画像の表示手段上での表示位
置との位置関係を検出する位置関係検出手段(CPU−
G201等)を有する。
【0015】そして、その位置関係検出手段で検出され
る位置関係に基づいて、表示状態指定手段が指定する所
定種類の画像の表示状態を制御する制御手段(CPU−
G201等)を有する。
【0016】
【作用】位置関係検出手段が、グローブを振るユーザな
どの現実の情景を撮像して対象物3次元位置検出手段に
より検出されるグローブなどの対象物の3次元位置と、
所定種類の画像の表示手段上での表示位置との位置関係
を検出し、その位置関係に基づいて、制御手段が、画像
の表示状態を制御する。この結果、ユーザは、あたかも
実際のプレーをするようにグローブを振る動作などを行
うことにより、CG画像などによって表示されるテレビ
ゲームに参加することなどができる。
【0017】この場合特に、対象物の3次元位置が検出
されることにより、ユーザの動作を正確に把握すること
が可能となると共に、第1及び第2の撮像手段の相互の
位置関係及びそれぞれの撮像方向を可変して設定可能で
あるため、撮像可能な範囲が固定されず、ユーザが動き
回る部屋の空間の広さなどの制約がなくなる。
【0018】
【実施例】以下、図面を参照しながら本発明の実施例に
つき詳細に説明する。 <実施例におけるユーザの動作の外観>この実施例は、
本発明をボクシングのテレビゲームに適用したものであ
る。
【0019】図1に示されるように、ユーザ106は、
所定色例えば青色に塗られたグローブ107を持って構
え、家庭用テレビ105の画面にCG(コンピュータグ
ラフィックス)画像として表示される相手と対戦する。
【0020】Rカメラ102及びLカメラ103は、グ
ローブ107を持ったユーザが含まれる情景を撮像す
る。続いて、ゲーム機本体101内で、2台のカメラで
撮像された2枚の画像のそれぞれから、上述の所定色に
関するクロマキー信号が抽出されることによって、グロ
ーブ107に関する2枚の座標マップが作成される。一
方、Rカメラ102及びLカメラ103の間隔及びそれ
ぞれの光軸の向きに関する位置関係データは、後述する
ようにして予めゲーム機本体101に取り込まれてい
る。これらの位置関係データと、上述の2枚の座標マッ
プとから、ユーザ106が存在する情景内でのグローブ
107の3次元的な座標が算出される。そして、このグ
ローブ107の座標と、予め記憶されているCGによる
対戦相手との位置関係が判定されることにより、ユーザ
106のグローブ107が対戦相手にヒットしたか否か
が判定される。この判定結果に応じてCG画像が変化
し、ゲームが進行する。
【0021】このように、実施例では、ユーザは、あた
かも実際のプレーをするようにグローブ107を振るこ
とにより、CG画像によって表示されるテレビゲームに
参加することができる。 <実施例の構成>上述の動作を実現する実施例の具体的
な構成について、以下に説明する。
【0022】図2は、本発明の実施例の全体構成図であ
る。Rカメラ102及びLカメラ103(図1と同じ)
から出力される映像出力信号は、それぞれインタフェー
ス回路(I/F)215及び216に入力される。I/
F215及び216は、アナログの映像出力信号をA/
D(アナログ/デジタル)変換してデジタルコンポジッ
トビデオ入力信号に変換した後、このデジタルコンポジ
ットビデオ入力信号からクロマキー信号を生成し、その
信号をバス210を介してRAM203へ出力する。
【0023】また、Rカメラ102及びLカメラ103
は、図1のみぞ108に沿って自由に移動できそれらの
間隔を変更できると共に、それぞれ回転可能に構成され
ている。
【0024】みぞ108の下部には、図2に示されるス
ライド抵抗器221が配設されており、Rカメラ102
及びLカメラ103が、みぞ108上を移動するに従っ
て、接触子225及び226がスライド抵抗器221上
を移動する。スライド抵抗器221において、その一端
には電圧+VDDが印加されており、他端は接地されてい
る。そして、ゲーム機本体101内のA/D変換器21
1及び212は、Rカメラ102の接触子225が接触
しているスライド抵抗器221上の位置におけるアナロ
グ電圧値及びLカメラ103の接触子226が接触して
いるスライド抵抗器221上の位置におけるアナログ電
圧値を、それぞれに対応するデジタル電圧データに変換
し、それらをバス210を介してRAM203に転送す
る。A/D変換器211及び212が検出するデジタル
電圧データは、接触子225及び226がそれぞれ接触
しているスライド抵抗器221上の位置に対応して変化
する。後述するように、ゲーム機本体101内のCPU
−G201は、これら2つのデジタル電圧データの差か
ら、Rカメラ102及びLカメラ103の間隔を算出す
る。
【0025】一方、Rカメラ102及びLカメラ103
のゲーム機本体101への特には図示しない取付け部に
は、それぞれ図2に示されるロータリー抵抗器222及
び223が配設されており、Rカメラ102及びLカメ
ラ103がそれぞれ回転するに従って、接触子227及
び228のロータリー抵抗器222及び223上での接
触位置が変化する。ロータリー抵抗器222及び223
において、それぞれの一端には電圧+VDDが印加されて
おり、それぞれの他端は接地されている。そして、ゲー
ム機本体101内のA/D変換器213及び214は、
Rカメラ102の接触子227が接触しているロータリ
ー抵抗器222上の位置におけるアナログ電圧値及びL
カメラ103の接触子228が接触しているロータリー
抵抗器223上の位置におけるアナログ電圧値を、それ
ぞれに対応するデジタル電圧データに変換し、それらを
バス210を介してRAM203に転送する。A/D変
換器213及び214が検出する各デジタル電圧データ
は、接触子227及び228がそれぞれ接触しているロ
ータリー抵抗器222及び223上の各位置に対応して
変化する。後述するように、CPU−G201は、これ
ら2つのデジタル電圧データのそれぞれに基づいて、R
カメラ102及びLカメラ103の向きを算出する。
【0026】ビデオディスプレイプロセッサ(VDP)
204は、CPU−G201からの指定に基づいて、C
G画像を構成するオブジェクト画面データ及びバックグ
ランド画面データをビデオデータRAM(V−RAM)
205に随時記憶させ、CPU−G201からの指定に
基づいて、それらのデータを指定された座標位置に配置
し、その配置結果に対応するデジタルRGB信号を生成
して、その信号をバス210を介してインタフェース回
路(I/F)224に出力する。この結果、I/F22
4は、このデジタルRGB信号に対応するアナログコン
ポジットビデオ出力信号を生成し、家庭用テレビ105
に出力する。この結果、家庭用テレビ105に、CG画
像が表示されることになる。
【0027】ゲーム機本体CPU(CPU−G)201
は、ROM202に記憶されたオペレーティングシステ
ムに従って動作し、特には図示しないスロットに挿入さ
れたゲームカートリッジ104内のゲームプログラムR
OM220からRAM203上のプログラム領域にゲー
ムプログラムをロードすることにより、この実施例で説
明しているボクシングゲームなどのテレビゲームを実行
する。この場合に、CPU−G201は、時間経過と共
に、ゲームカートリッジ104内のゲームプログラムR
OM220からCG画像を構成するオブジェクト画面デ
ータ及びバックグランド画面データなどを、ゲームカー
トリッジ104内のバス221及びゲーム機本体101
内のバス210を介して順次読み出し、それらのデータ
を、バス210からVDP204を介してV−RAM2
05に転送する。
【0028】同時に、CPU−G201は、時間経過と
共に、V−RAM205に転送した各オブジェクト画面
データのCG画像上での表示位置を、VDP204に対
して順次指定する。
【0029】また、CPU−G201は、映像信号のフ
レーム周期毎に、I/F215及び216から入力され
る2組のクロマキー信号に基づいて、ユーザが振るグロ
ーブ107(図1)の位置を示す2枚の座標マップを作
成し、RAM203に保持する。
【0030】更に、CPU−G201は、A/D変換器
211及び212からRAM203に転送された、Rカ
メラ102の接触子225及びLカメラ103の接触子
226がそれぞれ接触しているスライド抵抗器221上
の各位置に対応する値を有する各デジタル電圧データの
差から、Rカメラ102及びLカメラ103の間隔を算
出する。また、CPU−G201は、A/D変換器21
3及び214からRAM203に転送された、Rカメラ
102の接触子227及びLカメラ103の接触子22
8がそれぞれ接触しているロータリー抵抗器222及び
223上の各位置に対応する値を有する各デジタル電圧
データのそれぞれに基づいて、Rカメラ102及びLカ
メラ103の向きを算出する。
【0031】そして、CPU−G201は、算出したR
カメラ102及びLカメラ103の間隔及びそれぞれの
カメラの向きと、RAM203上に作成したユーザが振
るグローブ107(図1)の位置を示す2枚の座標マッ
プに基づき、ユーザ106が存在する情景内でのグロー
ブ107の3次元的な座標を算出する。これと共に、C
PU−G201は、VDP204から、現在表示中のオ
ブジェクトの位置を示す座標を取り込んでいる。そし
て、CPU−G201は、この座標と、算出したグロー
ブ107の3次元的な座標とを比較することにより、ユ
ーザ106のグローブ107がCG画像のオブジェクト
である対戦相手にヒットしたか否かを判定する。
【0032】この結果、CPU−G201は、衝突状態
を検出したタイミングで、必要な画像処理を実行し、V
DP204に対して画像を変化させる。更に、CPU−
G201は、ゲームカートリッジ104内の音源LSI
217に、必要な音響発音指示データを順次転送する。
この結果、音源LSI217内のCPU(CPU−C)
218は、その音響発音データに基づき、波形ROM2
19から必要な音響波形データを読み出し、音響の発音
処理を行う。この音響波形データは、ゲームカートリッ
ジ104内のバス221からゲーム機本体101内のバ
ス210を介して、D/A変換器206及びローパスフ
ィルタ(LPF)207でアナログ音響信号に変換さ
れ、アンプ208で増幅された後、スピーカ209から
放音される。
【0033】加えて、CPU−G201は、ゲームカー
トリッジ104が模造されたものでないか否かの検査処
理も行う。 <グローブ107の3次元位置の検出動作原理>上述の
構成を有する実施例の具体的な動作について説明する前
に、ユーザ106が装着するグローブ107の3次元位
置の検出動作原理について、以下に説明する。
【0034】本実施例では、ユーザ106が装着するグ
ローブ107の3次元位置が、Rカメラ102又はLカ
メラ103の何れかの撮像動作によってRAM203に
得られるクロマキー信号に関する2次元の座標マップ上
での位置と、グローブ107の特定の検出位置からみぞ
108までの距離Zによって表現される。
【0035】まず、一定のフレーム周期毎に、Rカメラ
102及びLカメラ103による撮像動作に応じてI/
F215又は216からRAM203にそれぞれ転送さ
れるクロマキー信号列に基づいて、RAM203上に、
それぞれ水平方向96列×垂直方向96行分のブロック
のクロマキー値の集合からなる2枚の座標マップが生成
される。そして、それぞれの座標マップによって、Rカ
メラ102又はLカメラ103によって撮像される範囲
を水平方向に96分割、垂直方向に96分割して得られ
るそれぞれの領域のクロマキー値を示している。各クロ
マキー値は、それに対応する領域に青色の対象物即ちグ
ローブ107が存在するか否かを示している。
【0036】本実施例では、まず、このようにして生成
される2枚の座標マップのうちの何れかにおいて、その
座標マップ上でクロマキー値が存在する最も上端かつ最
も左端のブロック位置が、その2次元の座標マップ上で
のグローブ107の検出位置として検出される。
【0037】次に、上述の2枚の座標マップから得られ
るデータに基づいて、グローブ107の特定の検出位置
からみぞ108までの距離Zが算出される。その算出動
作の原理を、図3に基づいて説明する。
【0038】まず、図3で、グローブ107の特定の検
出位置(グローブ検出位置307)からみぞ108まで
の距離Zを、グローブ検出位置307からみぞ108に
降ろした垂線の長さとして定義する。次に、Rカメラ1
02の焦点(R焦点301)から、上述の垂線とみぞ1
08との交点までの距離をX、R焦点301からLカメ
ラ103の焦点(L焦点302)までの距離をDと定義
する。また、R焦点301を通りみぞ108に垂直な直
線をR基準光軸303、同じく、L焦点302を通りみ
ぞ108に垂直な直線をL基準光軸304と定義する。
更に、Rカメラ102の光軸をRカメラ光軸305、L
カメラ103の光軸をLカメラ光軸306と定義する。
そして、Rカメラ光軸305がR基準光軸303に対し
てなす角度をθR 、同じく、Lカメラ光軸306がL基
準光軸304に対してなす角度をθL 、また、R焦点3
01とグローブ検出位置307を通る直線がRカメラ光
軸305に対してなす角度をθRO、同じく、L焦点30
2とグローブ検出位置307を通る直線がLカメラ光軸
306に対してなす角度をθLOと定義する。
【0039】なお、説明の簡単のため、Rカメラ102
及びLカメラ103の上下方向の角度は考慮せず、R基
準光軸303、L基準光軸304、Rカメラ光軸30
5、Lカメラ光軸306、R焦点301、L焦点30
2、及びグローブ検出位置307は、同一平面内に存在
すると近似する。
【0040】上述の定義のもとで、以下の数1式及び数
2式が成立する。
【0041】
【数1】tan(θRO+θR )=X/Z
【0042】
【数2】tan(θLO+θL )=(D−X)/Z数1式
より、次式が成立する。
【0043】
【数3】X=Z・tan(θRO+θR )数3式を数2式
に代入することにより、次式が成立する。
【0044】
【数4】tan(θLO+θL )={D−Z・tan(θ
RO+θR )}/Z=D/Z−tan(θRO+θR ) ∴D/Z=tan(θRO+θR )+tan(θLO
θL ) 従って、グローブ検出位置307からみぞ108までの
距離Zは、次式によって算出される。
【0045】
【数5】Z=D/{tan(θRO+θR )+tan(θ
LO+θL )} 上述の数5式より、図3に示されるR焦点301からL
焦点302までの距離D、及び各角度θR 、θL
θRO、θLOが算出できれば、グローブ検出位置307か
らみぞ108までの距離Zを算出することができる。
【0046】ここで、図2で、ゲーム機本体101内の
A/D変換器211及び212は、Rカメラ102の接
触子225が接触しているスライド抵抗器221上の位
置におけるアナログ電圧値及びLカメラ103の接触子
226が接触しているスライド抵抗器221上の位置に
おけるアナログ電圧値を、それぞれに対応するデジタル
電圧データに変換し、それらをバス210を介してRA
M203に転送している。そして、A/D変換器211
及び212が検出するデジタル電圧データは、接触子2
25及び226がそれぞれ接触しているスライド抵抗器
221上の位置に対応して変化する。そこで、ゲーム機
本体101内のCPU−G201は、これら2つのデジ
タル電圧データの差として、R焦点301からL焦点3
02までの距離Dを算出する。
【0047】次に、図2で、ゲーム機本体101内のA
/D変換器213及び214は、Rカメラ102の接触
子227が接触しているロータリー抵抗器222上の位
置におけるアナログ電圧値及びLカメラ103の接触子
228が接触しているロータリー抵抗器223上の位置
におけるアナログ電圧値を、それぞれに対応するデジタ
ル電圧データに変換し、それらをバス210を介してR
AM203に転送している。そして、A/D変換器21
3及び214が検出する各デジタル電圧データは、接触
子227及び228がそれぞれ接触しているロータリー
抵抗器222及び223上の各位置に対応して変化す
る。そこで、ゲーム機本体101内のCPU−G201
は、これら2つのデジタル電圧データのそれぞれに基づ
いて、Rカメラ光軸305がR基準光軸303に対して
なす角度θR と、Lカメラ光軸306がL基準光軸30
4に対してなす角度θL を算出する。
【0048】これらの考察の結果、更に、R焦点301
とグローブ検出位置307を通る直線がRカメラ光軸3
05に対してなす角度θROと、L焦点302とグローブ
検出位置307を通る直線がLカメラ光軸306に対し
てなす角度θLOが算出できれば、グローブ検出位置30
7からみぞ108までの距離Zを算出することができ
る。角度θROとθLOの算出原理を、図4及び図5に基づ
いて説明する。
【0049】まず、図4において、Rカメラ102に関
する関係を実線で示し、Lカメラ103に関する関係を
破線で示す。今、Rカメラ102及びLカメラ103の
最大画角を、それぞれ、θRMAX及びθLMAXと定義する。
また、グローブ検出位置307からみぞ108までの任
意の距離Zにおいて、グローブ検出位置307を含みR
カメラ光軸305に垂直な直線に沿った最大画角θRMAX
に対応する最大撮像範囲をWR 、同じく、グローブ検出
位置307を含みLカメラ光軸306に垂直な直線に沿
った最大画角θLMAXに対応する最大撮像範囲をWL と定
義する。更に、グローブ検出位置307を含みRカメラ
光軸305に垂直な直線がRカメラ光軸305と交わる
点からグローブ検出位置307までの距離をxR 、同じ
く、グローブ検出位置307を含みLカメラ光軸306
に垂直な直線がLカメラ光軸306と交わる点からグロ
ーブ検出位置307までの距離をxL と定義する。
【0050】上述の定義のもとで、以下の数6式及び数
7式が成立する。
【0051】
【数6】tan(θRMAX/2)=(WR /2)/Z
【0052】
【数7】tan(θLMAX/2)=(WL /2)/Z また、以下の数8式及び数9式が成立する。
【0053】
【数8】tanθRO=xR /Z
【0054】
【数9】tanθLO=xL /Z 数8式及び数9式のそれぞれに対応して、以下の数10
式及び数11式が成立する。
【0055】
【数10】Z=xR /tanθRO
【0056】
【数11】Z=xL /tanθLO 数10式及び数11式をそれぞれ数6式及び数7式に代
入することにより、以下の数12式及び数13式が成立
する。
【0057】
【数12】tan(θRMAX/2)=(WR /2)/{x
R /tanθRO} ∴tanθRO=(2xR /WR )・tan(θRMAX
2)
【0058】
【数13】tan(θLMAX/2)=(WL /2)/{x
L /tanθLO} ∴tanθLO=(2xL /WL )・tan(θLMAX
2) 従って、角度θROとθLOは、以下の数14式及び数15
式によって算出することができる。
【0059】
【数14】θRO=tan-1{(2xR /WR )・tan
(θRMAX/2)}
【0060】
【数15】θLO=tan-1{(2xL /WL )・tan
(θLMAX/2)} 上述の数14式及び数15式で、最大画角θRMAX及びθ
LMAXは、Rカメラ102及びLカメラ103の特性によ
って予め定まっている定数である。従って、項tan
(θRMAX/2)及びtan(θLMAX/2)もそれぞれ定
数となる。
【0061】このため、比xR /WR 及びxL /WL
算出できれば、角度θRO及びθLOが算出できることにな
る。ここで、最大撮像範囲WR とWL 、及び距離xR
L は、グローブ検出位置307からみぞ108までの
距離Zに応じて変化する。しかし、比xR /WR 及びx
L /WL は、以下に示すようにしてRカメラ102及び
Lカメラ103のそれぞれに対応してRAM203上に
生成される前述した2枚の座標マップから一意に算出す
ることができる。
【0062】まず、図2で、Rカメラ102及びLカメ
ラ103による撮像動作に応じてI/F215又は21
6からRAM203にそれぞれ転送されるクロマキー信
号列に基づいてRAM203上に生成される2枚の座標
マップにおいては、Rカメラ102及びLカメラ103
の各最大画角θRMAX及びθLMAXに対応する各最大撮像範
囲WR 及びWL が、それぞれ水平方向96列のブロック
に分割される。グローブ検出位置307からみぞ108
までの距離Zが変化して最大撮像範囲WR 及びWL が変
化しても、常に最大撮像範囲WR 及びWL が96分割さ
れる。
【0063】従って、例えばRカメラ102に関して、
図5に示されるように、Rカメラ光軸305と交差する
座標マップ上の水平方向の中央位置から座標マップ上で
クロマキー値が存在する例えば最も上端かつ最も左端の
ブロック位置までのブロック数をPxR とすれば、数1
4式における比xR /WR は、次式により算出すること
ができる。
【0064】
【数16】xR /WR =PxR /96 図5と同様に、Lカメラ103に関しても、Lカメラ光
軸306と交差する座標マップ上の水平方向の中央位置
から座標マップ上でクロマキー値が存在する例えば最も
上端かつ最も左端のブロック位置までのブロック数をP
L とすれば、数15式における比xL /WL は、次式
により算出することができる。
【0065】
【数17】xL /WL =PxL /96 上述の数16式及び数17式を前述した数14式及び数
15式に代入することにより、図3における角度θRO
θLOは、以下の数18式及び数19式によって算出する
ことができる。
【0066】
【数18】θRO=tan-1{(PxR /48)・tan
(θRMAX/2)}
【0067】
【数19】θLO=tan-1{(PxL /48)・tan
(θLMAX/2)} ここで、項tan(θRMAX/2)及びtan(θLMAX
2)は前述したように共に定数であり、また、PxR
びPxL は高々0〜47までの何れかの整数値である。
従って、0〜47までのPxR 又はPxL の各整数値毎
に予め数18式及び数19式を計算し、その結果として
得られる角度θRO及びθLOに関するそれぞれ高々48通
りの計算結果を、0〜47までのPxR 又はPxL の各
整数値に対応させてROM202等に演算テーブルとし
て予め保持しておき、ユーザの使用時には、PxR 及び
PxL を入力として上記各テーブルを参照することによ
り、高速に角度θRO及びθLOを算出することができる。
更に、θRMAX=θLMAXであれば、上記テーブルは、角度
θRO及びθLOを算出するために共通に使用することがで
きる。以上の考察をまとめると、図3におけるグローブ
検出位置307からみぞ108までの距離Zは、CPU
−G201が以下のステップ1〜ステップ5の処理を実
行することによって算出することができる。ステップ1: 図2において、CPU−G201は、A/
D変換器211及び212が検出するデジタル電圧デー
タの差として、図3に示されるR焦点301からL焦点
302までの距離Dを算出する。ステップ2: CPU−G201は、A/D変換器213
及び214が検出する各デジタル電圧データに基づい
て、図3に示される、Rカメラ光軸305がR基準光軸
303に対してなす角度θR と、Lカメラ光軸306が
L基準光軸304に対してなす角度θL を算出する。ステップ3: CPU−G201は、RAM203上に生
成したRカメラ102及びLカメラ103に対応する2
枚の座標マップのそれぞれから、クロマキー値が存在す
る各座標マップ上の最も上端かつ最も左端のブロック位
置を算出する。続いて、CPU−G201は、図5に示
される、各座標マップ上の水平方向の中央位置から各座
標マップ上の上記各ブロック位置までのブロック数Px
R 及びPxL を算出する。ステップ4: CPU−G201は、ステップ3で算出し
たPxR 及びPxL を入力として、数18式及び数19
式に対応する前述した演算テーブルを参照することによ
り、図3に示される、R焦点301とグローブ検出位置
307を通る直線がRカメラ光軸305に対してなす角
度θROと、L焦点302とグローブ検出位置307を通
る直線がLカメラ光軸306に対してなす角度θLOを算
出する。ステップ5: CPU−G201は、ステップ1で算出し
た距離D、ステップ2で算出した角度θR とθL 、及び
ステップ4で算出した角度θROとθLOを数5式に代入す
ることによって、図3に示される、グローブ検出位置3
07からみぞ108までの距離Zを算出する。CPU−
G201は、以上のようにしてグローブ検出位置307
からみぞ108までの距離Zを算出すると共に、前述し
たように、Rカメラ102又はLカメラ103に対応し
てRAM203上に生成される2枚の座標マップのうち
の何れかにおいて、その座標マップ上でクロマキー値が
存在する最も上端かつ最も左端のブロック位置をその2
次元の座標マップ上でのグローブ107の検出位置とし
て検出することにより、ユーザ106が装着するグロー
ブ107の3次元位置を算出する。 <実施例の具体的動作>続いて、実施例の具体的な動作
につき、以下に順次説明する。
【0068】図6は、図2のゲーム機本体101内のC
PU−G201が実行するプログラムの動作を示すメイ
ン動作フローチャートである。CPU−G201は、基
本的には、図2のROM202に記憶されているオペレ
ーティングシステムに従って動作する。
【0069】図6において、まず、ステップ601で
は、図2のRAM203の内容などがイニシャライズさ
れる。特に、後述するオーバーフローフラグOVF及び
監視タイマーなどが0にリセットされる。
【0070】次に、ステップ602では、後述する各種
インタラプト処理が許可される。ステップ603では、
特には図示しないスロットに挿入された図2に示される
ゲームカートリッジ104のゲームプログラムROM2
20から、図2のRAM203上のプログラム領域にゲ
ームプログラムがロードされる。以下、CPU−G20
1は、このゲームプログラムに従って、ステップ604
〜610の一連の処理を繰り返し実行する。
【0071】ステップ604では、RAM203内のオ
ーバーフローフラグOVFが1であるか否かが判定され
る。後述するように、図2のゲームカートリッジ104
が正規のメーカ品であれば、このオーバーフローフラグ
OVFは1にはならず、ステップ604の判定がNOと
なる。
【0072】ステップ605では、前述の<グローブ1
07の3次元位置の検出動作原理>で説明したステップ
1〜ステップ4の動作が実行されることにより、図3に
示される、Rカメラ102(R焦点301)とLカメラ
103(L焦点302)間の距離D、Rカメラ光軸30
5がR基準光軸303に対してなす角度θR と、Lカメ
ラ光軸306がL基準光軸304に対してなす角度
θL 、及びR焦点301とグローブ検出位置307を通
る直線がRカメラ光軸305に対してなす角度θROと、
L焦点302とグローブ検出位置307を通る直線がL
カメラ光軸306に対してなす角度θLOが算出される。
【0073】ステップ606では、ステップ605での
算出結果に基づいて、前述の<グローブ107の3次元
位置の検出動作原理>で説明したステップ5の動作が実
行されることにより、図3に示される、グローブ検出位
置307からみぞ108までの距離Zが算出され、その
データがRAM203に保持される。
【0074】次に、ステップ607では、Rカメラ10
2又はLカメラ103に対応してRAM203上に生成
される2枚の座標マップのうちの何れかにおいて、その
座標マップ上でクロマキー値が存在する最も上端かつ最
も左端のブロック位置が、その2次元の座標マップ上で
のグローブ107の座標として検出され、この座標値に
よりRAM203に保持されているグローブ107の座
標値が更新される。
【0075】ステップ608では、ステップ606で算
出された距離Zとステップ607で算出された座標値と
によって規定されるグローブ107の3次元座標値と、
図2のVDP204が現在表示を行っているCGによる
対戦相手のオブジェクトとの位置関係が判定されること
により、ユーザ106のグローブ107が対戦相手にヒ
ットしたか否かが判定される。
【0076】この判定がNOであれば、CPU−G20
1は、ステップ610で、ゲームを進行させるための画
像及び音響の制御処理などを実行する。具体的には、C
PU−G201は、時間経過と共に、ゲームカートリッ
ジ104内のゲームプログラムROM220からCG画
像を構成するオブジェクト画面データ及びバックグラン
ド画面データなどを、ゲームカートリッジ104内のバ
ス221及びゲーム機本体101内のバス210を介し
て順次読み出し、それらのデータを、バス210からV
DP204を介してV−RAM205に転送する。同時
に、CPU−G201は、時間経過と共に、V−RAM
205に転送した各オブジェクト画面データのCG画像
上での表示位置を、VDP204に対して順次指定す
る。更に、CPU−G201は、後述する音源割込み処
理(図7参照)においてゲームカートリッジ104内の
音源LSI217に転送される音響発音指示データも生
成され、RAM203などにセットされる。
【0077】一方、ステップ608でユーザ106のグ
ローブ107が対戦相手にヒットしたと判定された場合
は、ステップ609で、グローブ107のヒット動作に
対応するステップ610と同様の画像制御処理及び音響
制御処理が実行される。この結果、表示画像が例えば表
示画像対戦相手がダウンする画像に変化する。
【0078】次に、図7は、CPU−G201が実行す
る音源割込み処理の動作フローチャートである。この割
込み処理は、図2のゲームカートリッジ104内の音源
LSI217が、後述する音源処理(図9)を実行する
過程において、ゲーム機本体101内のCPU−G20
1への割込みフラグとして、音源割込み要求フラグをセ
ットした時点で実行される。
【0079】まず、ステップ701で、監視タイマーが
リセットされる。監視タイマーは、模造されたゲームカ
ートリッジ104の使用を阻止するために使用される。
上述の監視タイマーの値は、特には図示しないクロック
回路から一定時間毎に入力される割込み要求に基づいて
実行される図8の動作フローチャートで示される監視タ
イマーカウント処理のステップ801において、順次イ
ンクリメントされる。そして、ステップ802で、この
監視タイマーの値が、オーバーフローしたか否かが判定
されている。
【0080】ここで、ゲームカートリッジ104が正規
のメーカによって製造されたものである場合には、ゲー
ムカートリッジ104は、後述する音源処理(図9)を
実行する過程において、CPU−G201への割込みフ
ラグである音源割込み要求フラグをセット及びリセット
する動作を順次実行する。これに対して、CPU−G2
01が、音源割込み要求フラグがセットされる毎に、図
7の音源割込み処理のステップ701を実行することに
より、監視タイマーは適当な時間間隔でリセットされる
ことになる。
【0081】従って、ゲームカートリッジ104が正規
のメーカによって製造されたものである場合には、図8
の監視タイマーカウント処理のステップ802の判定は
常にNOとなる。
【0082】一方、ゲームカートリッジ104が模造さ
れたものである場合は、コスト的な理由などからCPU
−G201への割込みフラグである音源割込み要求フラ
グをセット及びリセットする動作が装備されていない場
合がほとんどとなるため、ゲーム機本体101に装着さ
れるゲームカートリッジがCPU−G201に対して適
度に短い時間間隔で音源割込み要求を発生することがな
くなり、この結果、監視タイマーがリセットされなくな
るか或いは適度に短い時間間隔でリセットされることが
なくなり、やがて、監視タイマーがオーバーフローする
ことにより図8の監視タイマーカウント処理のステップ
802の判定がYESとなる。
【0083】この場合には、ステップ803で、RAM
203内のオーバーフローフラグOVFが1にセットさ
れる。この結果、CPU−G201が通常実行している
図6のメイン動作フローチャートにおいて、ステップ6
04の判定がYESとなり、ステップ611で、CPU
−G201自身の動作が停止(ホールト)させられる。
【0084】以上の監視タイマーを使った制御により、
模造されたゲームカートリッジ104の使用が阻止され
る。次に、図7の音源割込み処理において、ステップ7
02では、予めRAM203上に作成されている音響発
音指示データが、ゲーム機本体101内のバス210及
びゲームカートリッジ104内のバス221を介して、
ゲームカートリッジ104内の音源LSI217に転送
される。この音響発音指示データは、CPU−G201
が前述した図6のステップ610又はステップ609を
実行する際に生成され、RAM203に記憶されてい
る。
【0085】図9は、ゲームカートリッジ104におけ
る音源LSI217内のCPU−C218が実行する音
源処理の動作フローチャートである。ゲームカートリッ
ジ104が特には図示しないホルダーに装着されると、
図9の動作フローチャートの実行が開始され、まず、ス
テップ901で、音源LSI217内部のレジスタやワ
ークRAMの内容などがイニシャライズされる。
【0086】その後、ステップ902〜ステップ907
の一連の処理が、繰り返し実行される。まず、CPU−
C218は、1発音単位分の音響信号を生成する毎(例
えば数秒分の音響波形データの読出しを完了する毎)
に、ステップ902で、図2のCPU−G201への割
込みフラグである音源割込み要求フラグをセットする。
これに対しCPU−G201は、前述した図7の音源割
込み処理を実行することによって、次の発音単位に対す
る音響発音指示データを音源LSI217に出力する。
【0087】CPU−C218は、ステップ903にお
いて、入力されるデータに変化が起こるまで待機状態と
する。入力されるデータに変化が起こると、更にステッ
プ904で、入力されるデータが安定するまで待機状態
となる。
【0088】入力されるデータが安定すると、ステップ
905で音源割込み要求フラグが0にリセットされた
後、ステップ906で、入力される音響発音指示データ
が解釈される。
【0089】そして、ステップ907で、波形ROM2
19から必要な音響波形データが読み出され、音響発音
指示データに対応する音響信号が生成される。1発音単
位分の音響信号の生成が完了すると、CPU−C218
は、再びステップ902を実行し、図2のCPU−G2
01への割込みフラグである音源割込み要求フラグをセ
ットする。
【0090】以上のようにして音源LSI217で生成
された音響信号は、D/A変換器206及びLPF20
7を介して、アンプ208に送られ、ここで増幅された
後、スピーカ209より音声として放音される。 <他の実施例>以上説明した実施例では、Rカメラ10
2及びLカメラ103の上下方向の角度は考慮されてい
ないが、そのような角度を検出する抵抗器をRカメラ1
02及びLカメラ103の取付け部に設け、その角度も
考慮してグローブ107の3次元座標を算出するように
すれば、より正確な座標検出を行うことができる。
【0091】また、グローブ107の検出位置は、座標
マップ上でクロマキー値が存在する最も上端かつ最も左
端のブロック位置として検出されたが、そのほか、座標
マップ上でクロマキー値が存在する領域の重心位置など
として検出されてもよい。
【0092】
【発明の効果】本発明によれば、ユーザは、あたかも実
際のプレーをするようにグローブを振る動作などを行う
ことにより、CG画像などによって表示されるテレビゲ
ームに参加することなどができる。
【0093】この場合特に、対象物の3次元位置が検出
されることにより、ユーザの動作を正確に把握すること
が可能となると共に、第1及び第2の撮像手段の相互の
位置関係及びそれぞれの撮像方向を可変して設定可能で
あるため、撮像可能な範囲が固定されず、ユーザが動き
回る部屋の空間の広さなどの制約がなくなり、実用的な
システムを実現することが可能となる。
【図面の簡単な説明】
【図1】本発明の実施例の動作の外観図である。
【図2】本発明の実施例の全体構成図である。
【図3】グローブ107までの距離の算出動作の説明図
である。
【図4】θROとθLOの算出原理の説明図(その1)であ
る。
【図5】θROとθLOの算出原理の説明図(その2)であ
る。
【図6】CPU−Gのメイン動作フローチャートであ
る。
【図7】音源割込み処理の動作フローチャートである。
【図8】監視タイマーカウント処理の動作フローチャー
トである。
【図9】音源処理の動作フローチャートである。
【符号の説明】
101 ゲーム機本体 102 Rカメラ 103 Lカメラ 104 ゲームカートリッジ 105 家庭用テレビ 106 ユーザ 107 グローブ 108 みぞ 201 CPU−G 202 ROM 203 RAM 204 VDP 205 V−RAM 206 D/A変換器 207 LPF 208 アンプ 209 スピーカ 210 バス 211〜214 A/D変換器 215、216 I/F 217 音源LSI 218 CPU−C 219 波形ROM 220 ゲームプログラムROM 221 スライド抵抗器 222、223 ロータリー抵抗器 224 I/F 225〜228 接触子 301 R焦点 302 L焦点 303 R基準光軸 304 L基準光軸 305 Rカメラ光軸 306 Lカメラ光軸 307 グローブ検出位置
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 G06T 7/00 H04N 7/18 P

Claims (1)

    【特許請求の範囲】
  1. 【請求項1】 相互の位置関係及びそれぞれの撮像方向
    を可変して設定可能な第1及び第2の撮像手段と、 該第1及び第2の撮像手段の位置関係を検出する位置関
    係検出手段と、 前記第1及び第2の撮像手段の撮像方向を検出する撮像
    方向検出手段と、 前記第1及び第2の撮像手段によって撮像されたそれぞ
    れの画像において、所定の属性を有する画像領域を検出
    する画像検出手段と、 該画像検出手段で検出された前記第1及び第2の撮像手
    段に対応するそれぞれの画像領域について、前記第1及
    び第2の撮像手段によって撮像されたそれぞれの画像上
    での位置を検出する画像領域位置検出手段と、 該画像領域位置検出手段で検出された前記各画像領域の
    位置と、前記位置関係検出手段で検出された前記第1及
    び第2の撮像手段の位置関係と、前記撮像方向検出手段
    で検出された前記第1及び第2の撮像手段の撮像方向に
    基づいて、前記画像領域位置検出手段で検出された前記
    各画像領域に対応する対象物の該対象物が存在する空間
    内での3次元位置を検出する対象物3次元位置検出手段
    と、 所定種類の画像を記憶する画像記憶手段と、 該画像記憶手段に記憶された所定種類の画像の表示状態
    を指定する表示状態指定手段と、 該表示状態指定手段によって指定された表示状態で前記
    画像記憶手段に記憶された所定種類の画像を表示する表
    示手段と、 前記対象物3次元位置検出手段で検出された前記対象物
    の3次元位置と前記所定種類の画像の前記表示手段上で
    の表示位置との位置関係を検出する位置関係検出手段
    と、 該位置関係検出手段で検出される前記位置関係に基づい
    て、前記表示状態指定手段が指定する所定種類の画像の
    表示状態を制御する制御手段と、 を有することを特徴とする画像処理装置。
JP6084962A 1994-04-22 1994-04-22 画像処理装置 Pending JPH07296197A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP6084962A JPH07296197A (ja) 1994-04-22 1994-04-22 画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP6084962A JPH07296197A (ja) 1994-04-22 1994-04-22 画像処理装置

Publications (1)

Publication Number Publication Date
JPH07296197A true JPH07296197A (ja) 1995-11-10

Family

ID=13845262

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6084962A Pending JPH07296197A (ja) 1994-04-22 1994-04-22 画像処理装置

Country Status (1)

Country Link
JP (1) JPH07296197A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999063758A1 (fr) * 1998-06-01 1999-12-09 Sony Computer Entertainment Inc. Instrument de mesure de position d'entree et systeme recreatif
WO2006059743A1 (en) * 2004-12-03 2006-06-08 Ssd Company Limited Boxing game processing method, display control method, position detection method, cursor control method, energy consumption calculating method and exercise system
JP2010063528A (ja) * 2008-09-09 2010-03-25 British Virgin Islands CyWee Group Ltd プレイヤー身体画像を感知可能な電子ゲームコントローラ及びその方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999063758A1 (fr) * 1998-06-01 1999-12-09 Sony Computer Entertainment Inc. Instrument de mesure de position d'entree et systeme recreatif
WO2006059743A1 (en) * 2004-12-03 2006-06-08 Ssd Company Limited Boxing game processing method, display control method, position detection method, cursor control method, energy consumption calculating method and exercise system
JP2010063528A (ja) * 2008-09-09 2010-03-25 British Virgin Islands CyWee Group Ltd プレイヤー身体画像を感知可能な電子ゲームコントローラ及びその方法

Similar Documents

Publication Publication Date Title
CN108415639B (zh) 视角调整方法、装置、电子装置及计算机可读存储介质
JP3544268B2 (ja) 三次元画像処理装置およびそれを用いた画像処理方法
US4552360A (en) Video game with control of movement and rate of movement of a plurality of game objects
JP5448073B2 (ja) 情報処理装置、情報処理プログラム、情報処理システム、および、選択対象の選択方法
US20220342538A1 (en) Information processing apparatus, control method, and storage medium for controlling a virtual viewpoint of a virtual viewpoint image
EP2039402A2 (en) Input instruction device, input instruction method, and dancing simultation system using the input instruction device and method
JP5038465B2 (ja) 情報処理プログラム、情報処理装置、情報処理方法および情報処理システム
JP2002196855A (ja) 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
JP2687989B2 (ja) 電子遊戯機器
JPH09223246A (ja) ゲーム画像表示方法及びゲーム装置
JP2011239985A (ja) ゲーム装置、ゲームプログラム、ゲームシステム、およびゲーム処理方法
JP7267753B2 (ja) 制御装置、制御方法、及びプログラム
JP6519075B2 (ja) 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法
WO2023103615A1 (zh) 虚拟对象的切换方法、装置、设备、介质及程序产品
JP2007299330A (ja) 画像表示装置、その制御方法及びプログラム
CN114706489A (zh) 一种输入设备的虚拟方法、装置、设备和存储介质
US10369468B2 (en) Information processing apparatus, image generating method, and program
US11468258B2 (en) Information processing apparatus, information processing method, and storage medium
JPH07296197A (ja) 画像処理装置
CN112807692A (zh) 游戏中的信息控制方法、装置和终端设备
JP3451343B2 (ja) 信号生成装置及び信号生成方法
US7513700B2 (en) Image element identifier
KR100708875B1 (ko) 표시화면을 가리키는 포인터의 포인팅 위치를 산출하는장치 및 방법
JP2022182836A (ja) 映像処理装置及びその制御方法及びプログラム
US20240033618A1 (en) Information processing apparatus and image generating method