JP3417555B2 - ゲーム装置、人物画像処理方法及びプログラム - Google Patents
ゲーム装置、人物画像処理方法及びプログラムInfo
- Publication number
- JP3417555B2 JP3417555B2 JP2001199003A JP2001199003A JP3417555B2 JP 3417555 B2 JP3417555 B2 JP 3417555B2 JP 2001199003 A JP2001199003 A JP 2001199003A JP 2001199003 A JP2001199003 A JP 2001199003A JP 3417555 B2 JP3417555 B2 JP 3417555B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- player
- recognition
- recognizing
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000003672 processing method Methods 0.000 title claims description 8
- PWPJGUXAGUPAHP-UHFFFAOYSA-N lufenuron Chemical compound C1=C(Cl)C(OC(F)(F)C(C(F)(F)F)F)=CC(Cl)=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F PWPJGUXAGUPAHP-UHFFFAOYSA-N 0.000 title 1
- 238000012545 processing Methods 0.000 claims description 37
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000000034 method Methods 0.000 claims description 10
- 241000255777 Lepidoptera Species 0.000 claims 1
- 230000006870 function Effects 0.000 claims 1
- 239000003550 marker Substances 0.000 description 40
- 238000010586 diagram Methods 0.000 description 25
- 230000002093 peripheral effect Effects 0.000 description 7
- 238000000605 extraction Methods 0.000 description 6
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 230000005484 gravity Effects 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000004397 blinking Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 240000005926 Hamelia patens Species 0.000 description 1
- 241001290307 Thalassoma bifasciatum Species 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Classifications
-
- A63F13/10—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
- A63F13/525—Changing parameters of virtual cameras
- A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/45—Controlling the progress of the video game
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/80—Special adaptations for executing a specific game genre or game mode
- A63F13/837—Shooting of targets
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/037—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor using the raster scan of a cathode-ray tube [CRT] for detecting the position of the member, e.g. light pens cooperating with CRT monitors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1012—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals involving biosensors worn by the player, e.g. for measuring heart beat, limb activity
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
- A63F2300/6661—Methods for processing data by generating or executing the game program for rendering three dimensional images for changing the position of the virtual camera
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
- A63F2300/6661—Methods for processing data by generating or executing the game program for rendering three dimensional images for changing the position of the virtual camera
- A63F2300/6676—Methods for processing data by generating or executing the game program for rendering three dimensional images for changing the position of the virtual camera by dedicated player input
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
- A63F2300/8076—Shooting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Processing Or Creating Images (AREA)
Description
像処理方法及びプログラムに関し、特に、人物画像から
所定部位の位置を認識する技術、及び認識位置をフィル
タリングする技術に関する。
られており、該カメラユニットで撮影されるプレイヤ画
像からプレイヤの所定部位、例えば手の位置を認識し、
認識結果に従ってゲームが進行する業務用ゲーム機が公
知である。こうしたゲーム機によれば、指先でコントロ
ーラを操作するだけの従来のゲーム機に比し、はるかに
多彩なゲームをプレイヤに提供することができるように
なる。
ーム機には次のような問題がある。
動体(プレイヤ以外の人)が写ると、プレイヤの所定部
位の位置認識精度が低下してしまうため、所定時間おき
に位置認識を行う場合、前回の認識位置の近傍から今回
の認識位置を選ぶようにすることが望ましい。しかしな
がら、そうすると、プレイヤの所定部位が素早く移動し
た場合に適正な位置認識ができなくなってしまうという
問題がある。
し、その認識位置をそのままゲーム処理で用いると、認
識位置の変動が激しすぎてゲーム処理を適切に行うこと
ができない場合がある。このため、認識位置にフィルタ
(ローパスフィルタ)を適用し、ゲーム処理に適した出
力に変換することが望ましいが、そうすると、プレイヤ
の所定部位の動きに対する出力値の応答性が低下してし
まう。このため、プレイヤの所定部位が素早く移動した
場合に、それに応じてゲーム処理を素早く変化させるこ
とができず、ゲームの面白さを損なうという問題があ
る。
あって、第1の目的は、プレイヤの所定部位が素早く移
動した場合にも適正な位置認識をすることができるゲー
ム装置、及びそのための人物画像処理方法並びにプログ
ラムを提供することにある。
が素早く移動した場合にも、それに応じてゲーム処理を
素早く変化させることができるゲーム装置、及びそのた
めの人物画像処理方法並びにプログラムを提供すること
にある。
め、本発明に係るゲーム装置は、プレイヤ画像を所定時
間おきに取得する撮像手段と、前記撮像手段によって取
得されるプレイヤ画像に基づき、前回認識位置に対応す
る所定選出範囲内でプレイヤの所定部位を認識するとき
の基礎位置群を選出する選出手段と、選出される基礎位
置群に応じて前記選出範囲を変更し、プレイヤの所定部
位を認識するときの基礎位置群を再選出する再選出手段
と、前記選出手段によって選出され又は前記再選出手段
によって再選出される基礎位置群に基づいて今回認識位
置を決定する認識位置決定手段と、を含むことを特徴と
する。
に取得される。そして、プレイヤ画像に基づいてプレイ
ヤの所定部位、例えば手や足等の基礎位置群が選出され
る。基礎位置群は前回認識位置に対応する所定選出範囲
内で選出される。この所定選出範囲は、選出された基礎
位置群に基づいて変更されるようになっており、選出範
囲が変更されると、変更後の選出範囲内で基礎位置群が
再選出される。そして、選出される基礎位置群又は再選
出される基礎位置群に基づいて今回認識位置が決定され
る。
に対応する選出範囲内で基礎位置群を選出するようにし
て、例えば選出範囲内の基礎位置群が少ない場合等に、
例外的に選出範囲を変更して基礎位置群を再選出するこ
とができるようになる。このため、例えば原則として前
回認識位置の近傍で今回認識位置を決定するようにしつ
つ、特にプレイヤの所定部位が素早く移動した場合(例
えば前回認識位置の近傍で基礎位置群が少ない場合等)
には選出範囲を変更し、基礎位置群を再選出してから今
回認識位置を決定すること等ができるようになる。こう
して、プレイヤの所定部位が素早く移動した場合にも適
正な位置認識をすることができる。
人物画像を所定時間おきに取得するステップと、取得さ
れる人物画像に基づき、前回認識位置に対応する所定選
出範囲内で人物の所定部位を認識するときの基礎位置群
を選出するステップと、選出される基礎位置群に基づい
て前記選出範囲を変更し、前記人物の所定部位を認識す
るときの基礎位置群を再選出するステップと、選出され
又は再選出される基礎位置群に基づいて今回認識位置を
決定するステップと、を含む。
像を所定時間おきに取得するステップと、取得される人
物画像に基づき、前回認識位置に対応する所定選出範囲
内で人物の所定部位を認識するときの基礎位置群を選出
するステップと、選出される基礎位置群に基づいて前記
選出範囲を変更し、前記人物の所定部位を認識するとき
の基礎位置群を再選出するステップと、選出され又は再
選出される基礎位置群に基づいて今回認識位置を決定す
るステップと、をコンピュータに実行させるためのもの
である。
時間おきに取得される。そして、人物画像に基づいて人
物の所定部位、例えば手や足等の基礎位置群が選出され
る。基礎位置群は前回認識位置に対応する所定選出範囲
内で選出される。この所定選出範囲は、選出された基礎
位置群に基づいて変更されるようになっており、選出範
囲が変更されると、変更後の選出範囲内で基礎位置群が
再選出される。そして、選出される基礎位置群又は再選
出される基礎位置群に基づいて今回認識位置が決定され
る。
に対応する選出範囲内で基礎位置群を選出するようにし
て、例えば選出範囲内の基礎位置群が少ない場合等に、
例外的に選出範囲を変更して基礎位置群を再選出するこ
とができるようになる。このため、例えば原則として前
回認識位置の近傍で今回認識位置を決定するようにしつ
つ、特に人物の所定部位が素早く移動した場合(例えば
前回認識位置の近傍で基礎位置群が少ない場合等)には
選出範囲を変更し、基礎位置群を再選出してから今回認
識位置を決定すること等ができるようになる。こうし
て、人物の所定部位が素早く移動した場合にも適正な位
置認識をすることができる。
は、前回認識位置を囲む所定選出範囲内でプレイヤの所
定部位を認識するときの基礎位置群を選出し、前記再選
出手段は、前記選出範囲を前記プレイヤ画像に基づいて
移動させる。こうすれば、原則として前回認識位置の近
傍で基礎位置群を選出しつつ、基礎位置群が少ない場合
等には、プレイヤ画像に基づいて基礎位置群が多くなる
方向等に選出範囲を移動させることができる。
に係るゲーム装置は、プレイヤ画像を所定時間おきに取
得する撮像手段と、前記撮像手段によって取得されるプ
レイヤ画像に基づいてプレイヤの所定部位の位置を認識
し、認識位置を出力する認識手段と、前記認識手段によ
って過去に出力された所定記憶個数の認識位置を記憶す
る認識位置記憶手段と、前記認識位置記憶手段によって
記憶される各認識位置の移動量を算出する移動量算出手
段と、前記移動量算出手段によって算出される各認識位
置の移動量に基づいて前記記憶個数を変更する記憶個数
変更手段と、前記認識位置記憶手段によって記憶される
前記記憶個数の認識位置に基づいて出力値を算出する出
力値算出手段と、前記出力値算出手段によって出力され
る出力値に基づいてゲーム処理を実行するゲーム処理手
段と、を含むことを特徴とする。
に取得され、該プレイヤ画像に基づいてプレイヤの所定
部位、例えば手や頭等の位置が認識される。過去の所定
記憶個数の認識位置は認識位置記憶手段に記憶されるよ
うになっており、認識位置記憶手段によって記憶される
各認識位置の移動量が算出される。ある認識位置の移動
量は、例えば、1つ前の認識位置からその認識位置に移
動する距離である。各認識位置の移動量が算出される
と、それに基づいて認識位置記憶手段の記憶個数が変更
される。そして、例えば平均化等により、認識位置記憶
手段によって記憶される認識位置に基づいて出力値が算
出され、該出力値に基づいてゲーム処理が実行される。
去の認識位置の個数を認識位置の移動量に基づいて変更
することができるので、プレイヤの所定部位が素早く移
動した場合にも、それに応じてゲーム処理を素早く変化
させることができる。
人物画像を所定時間おきに取得するステップと、取得さ
れる人物画像に基づいて人物の所定部位の位置を認識
し、認識位置を出力するステップと、認識位置を記憶手
段に順次記憶するステップと、前記記憶手段に記憶され
る各認識位置の移動量を算出するステップと、算出され
る各認識位置の移動量に基づいて前記記憶手段に記憶さ
れる認識位置の記憶個数を変更するステップと、前記記
憶手段に記憶される認識位置に基づいて出力値を算出す
るステップと、を含むことを特徴とする。
像を所定時間おきに取得するステップと、取得される人
物画像に基づいて人物の所定部位の位置を認識し、認識
位置を出力するステップと、認識位置を記憶手段に順次
記憶するステップと、前記記憶手段に記憶される各認識
位置の移動量を算出するステップと、算出される各認識
位置の移動量に基づいて前記記憶手段に記憶される認識
位置の記憶個数を変更するステップと、前記記憶手段に
記憶される認識位置に基づいて出力値を算出するステッ
プと、をコンピュータに実行させるためのものである。
時間おきに取得され、該人物画像に基づいて人物の所定
部位、例えば手や頭等の位置が認識される。過去の所定
記憶個数の認識位置は認識位置記憶手段に記憶されるよ
うになっており、認識位置記憶手段によって記憶される
各認識位置の移動量が算出される。ある認識位置の移動
量は、例えば、1つ前の認識位置からその認識位置に移
動する距離である。各認識位置の移動量が算出される
と、それに基づいて認識位置記憶手段の記憶個数が変更
される。そして、例えば平均化等により、認識位置記憶
手段によって記憶される認識位置に基づいて出力値が算
出される。
去の認識位置の個数を認識位置の移動量に基づいて変更
することができるので、人物の所定部位が素早く移動し
た場合にも、それに応じて素早く変化する出力値とする
ことができる。
について図面に基づき詳細に説明する。
ゲーム装置を用い、プレイヤがゲームをプレイする状況
を説明する斜視図である。同図に示すように、ゲーム装
置は、家庭用テレビ受像器40、カメラユニット42、
家庭用ゲーム機46、及びガンコントローラ48を含ん
で構成されており、ガンシューティングゲームを実現す
るためのものである。家庭用テレビ受像器40及び家庭
用ゲーム機46はキャビネット44上に載置されてお
り、カメラユニット42は家庭用テレビ受像器40上に
載置されている。カメラユニット42はプレイヤPの姿
をリアルタイムに写し出すデジタルカメラであり、家庭
用ゲーム機46にケーブルで接続され、撮影したプレイ
ヤ画像をリアルタイムに家庭用ゲーム機46に供給する
ようになっている。家庭用ゲーム機46は家庭用テレビ
受像器40に接続されており、家庭用ゲーム機46で生
成されるゲーム画面を表示するとともに、ゲーム音楽や
ゲーム効果音を出力するようになっている。ガンコント
ローラ48は拳銃型のゲームコントローラであり、家庭
用ゲーム機46のコントローラ接続端子にケーブルで接
続されている。そして、ガンコントローラ48をプレイ
ヤPが手に持ち、家庭用テレビ受像器40に向けると、
その銃身方向が家庭用ゲーム機46に入力されるように
なっている。また、ガンコントローラ48にはトリガー
(引き金)が設けられており、トリガーの状態(トリガ
ーを引いたかどうか)が家庭用ゲーム機46に入力され
るようになっている。
間(仮想3次元空間)がメモリ上に構築されており、所
定空間位置に配置された視点から該3次元ゲーム空間を
見た様子が家庭用テレビ受像器40に映し出されるよう
になっている。このとき、家庭用ゲーム機46では、プ
レイヤ画像からプレイヤPの頭部位置を認識して、該頭
部位置に前記視点の位置を連動させるようになってい
る。このため、プレイヤPがカメラユニット42の前で
体を動かすと、それに応じて家庭用テレビ受像器40に
映し出されるゲーム画面が変化するようになり、プレイ
ヤPは自分自身があたかも3次元ゲーム空間に入り込ん
だような感覚を得ることができる。そうして、家庭用ゲ
ーム機46では、3次元ゲーム空間に現れる敵ゲームキ
ャラクタをプレイヤPがガンコントローラ48を用いて
射撃するとともに、プレイヤPが体(具体的には頭の位
置)を動かすことにより、敵ゲームキャラクタからの攻
撃(射撃)を避けることができるゲームを実現してい
る。
されるゲームのタイトル画面(スタート画面)の一例を
示す図である。同図に示すタイトル画面は、家庭用ゲー
ム機46の起動後、或いはゲーム終了後、新しいゲーム
の開始前に家庭用テレビ受像器40に表示されるもので
ある。同図に示すように、このタイトル画面では、画面
の両端にメニューボタン画像62が表示され、中央上方
にゲームのタイトル文字列60が表示されている。さら
に、タイトル文字列60の下側にはプレイヤ立ち位置案
内画像50が表示されている。また、メニューボタン画
像62は各種ゲーム又はオプション設定に移行するため
の標的であり、プレイヤPがガンコントローラ48でメ
ニューボタン画像62を撃ち抜くと、そのメニューボタ
ン画像62に対応するゲーム又はオプション設定が始ま
るようになっている。
開始前にプレイヤPが立ち位置を適正化するのを助ける
ための画像であり、同プレイヤ立ち位置案内画像50を
見ながらプレイヤPはゲーム開始前にカメラユニット4
2の前方で自分の立ち位置や姿勢、或いはカメラユニッ
ト42の撮影方向や撮影位置を正す。プレイヤ立ち位置
案内画像50は、カメラユニット42で取得されるリア
ルタイムの画像、すなわちプレイヤ画像56をベースと
して、そこに頭部基準位置マーカ52及び現在認識位置
マーカ54を重ね合わせ表示したものである。頭部基準
位置マーカ52はプレイヤ画像56の固定位置(例えば
プレイヤ画像56の中央、上から15%の位置等)に表
示される円環状のマーカであり、プレイヤ画像56にお
けるプレイヤPの頭(の最上部位)の画像位置をゲーム
開始前に合わせておくべき場所(基準位置)を示すため
のものである。また、このゲーム装置10では、プレイ
ヤ画像56からプレイヤPの頭の現在位置が認識される
ようになっており、その認識位置を表す丸点が現在認識
位置マーカ54としてプレイヤ画像56に重ね合わせ表
示されるようになっている。プレイヤPは自分の体(立
ち位置や姿勢)を動かし、或いはカメラユニット42の
撮影方向や撮影位置を変更して、現在認識位置マーカ5
4が円環状の頭部基準位置マーカ52の内側に入るよう
にすることで、基準位置(初期プレイ位置)を適正化す
ることができる。このとき、このゲーム装置10では現
在認識位置マーカ54が、頭部基準位置マーカ52の内
側に表示されているか外側に表示されているかを判断し
て、その結果に応じて頭部基準位置マーカ52の表示態
様(例えば色や点滅表示の有無)が変化するようになっ
ている。こうして、プレイヤPがプレイヤ立ち位置案内
画像50を見ながら、自分とカメラユニット42との位
置関係を、ゲーム開始前に容易に適正化できるようにし
ている。
の頭部が上下方向に移動した場合に家庭用テレビ受像器
40に表示される一連のゲーム画面の例を示している。
同図(a)〜(d)は、プレイヤPがカメラユニット4
2の前で中腰姿勢から徐々に立ち上がって略直立の姿勢
になった場合、すなわちプレイヤPの頭が下方から上方
に移動した場合の4画面を表示順に示すものである。同
図(a)に示すゲーム画面は、視点のすぐ前方に机状の
障害物Bが存在しており、プレイヤPはこの障害物Bの
手前下方に隠れている状況を表している。この場合、ゲ
ーム画面において、障害物Bの向こうに銃を手にした敵
ゲームキャラクタAC1の頭部の一部だけが表されてい
る。次に、同図(b)に示すゲーム画面は、プレイヤP
がやや頭を持ち上げて、頭の高さが障害物Bの上面の高
さに略一致した状況を表している。この場合、ゲーム画
面において、敵ゲームキャラクタAC1の胸部までが表
されるとともに、その後方にさらに2人の敵ゲームキャ
ラクタAC2,AC3の頭部が新たに表されている。同
図(c)に示すゲーム画面は、プレイヤPがさらに背を
伸ばして頭を持ち上げた状況を表している。この場合、
ゲーム画面において、プレイヤPの頭は障害物上面Bs
より若干高い位置にあり、3人の敵ゲームキャラクタA
C1〜AC3の上半身が表されるとともに、障害物上面
Bsも表される。同図(d)に示すゲーム画面は、プレ
イヤPが略直立の姿勢になった状況を表している。この
場合、プレイヤPの首辺りまでが障害物Bから露出して
おり、障害物上面Bsは同図(c)に示すゲーム画面よ
りも広く表されている。これらの図に示すように、プレ
イヤPの頭の位置が上がるにつれて、障害物Bの表示位
置が下側に移動するとともに、障害物上面Bsや敵ゲー
ムキャラクタAC1〜AC3の全貌がゲーム画面に徐々
に表れる。
の頭部が左右方向に移動した場合に家庭用テレビ受像器
40に表示される一連のゲーム画面の例を示している。
同図(a)〜(d)は、プレイヤPがカメラユニット4
2の前で体を右側から左側に移動させた場合、すなわち
プレイヤPの頭が右方から左方に移動した場合の4画面
を表示順に示すものである。同図(a)に示すゲーム画
面は、視点のすぐ手前右側にドア又は壁状の障害物Bが
存在しており、プレイヤPはこの障害物Bの手前に隠れ
ている状況を表している。この場合、ゲーム画面におい
て、障害物Bの向こうに銃を手にした敵ゲームキャラク
タAC1の腕の一部だけが表されている。次に、同図
(b)に示す画面は、プレイヤPがやや左に移動し、頭
が障害物Bの左端に略一致した状況を表している。この
場合、ゲーム画面において、敵ゲームキャラクタAC1
の頭及び胸部までが表されている。同図(c)に示すゲ
ーム画面は、プレイヤPがさらに左に移動した状況を表
している。この場合、ゲーム画面において、敵ゲームキ
ャラクタAC1のほぼ上半身が表されるとともに、さら
に敵ゲームキャラクタAC2もその後方に表されてい
る。同図(d)に示すゲーム画面は、プレイヤPが障害
物Bから左側に飛び出した状況を表している。この場
合、敵ゲームキャラクタAC1,AC2の他に、さらに
敵ゲームキャラクタAC3も表されている。これらの図
に示すように、プレイヤPの頭の位置が左から右に移動
するにつれて、障害物Bの表示位置が右側に移動すると
ともに、敵ゲームキャラクタAC1〜AC3の全貌がゲ
ーム画面に徐々に表れる。
成を示す図である。同図に示すように、ゲーム装置10
は、モニタ18及びスピーカ22に接続された家庭用ゲ
ーム機46に、情報記憶媒体たるDVD(Digital Vers
atile Disk;商標)25が装着されることにより構成さ
れる。ここでは、ゲームプログラムやゲームデータを家
庭用ゲーム機46に供給するためにDVD25を用いる
が、CD−ROM(Compact Disk - Read Only Memor
y;商標)やROM(Read Only Memory)カード等、他
のあらゆる情報記憶媒体を用いることができる。また、
インターネット等のデータ通信網を介して遠隔地からゲ
ームプログラムやゲームデータを家庭用ゲーム機46に
供給することもできる。
サ14、画像処理部16、主記憶26、入出力処理部3
0、周辺機器インタフェース31、音声処理部20、及
びDVD再生部を含んで構成されている。マイクロプロ
セッサ14、画像処理部16、主記憶26、入出力処理
部30及び周辺機器インタフェース31は、バス12に
よって相互データ通信可能に接続され、入出力処理部3
0には、ガンコントローラ48、音声処理部20及びD
VD再生部24が接続されている。また、周辺機器イン
タフェース31にはカメラユニット42が接続されてい
る。家庭用ゲーム機46の各構成要素は筐体内に収容さ
れている。ここでは、モニタ18として家庭用テレビ受
像器40が用いられ、スピーカ22としてその内蔵スピ
ーカが用いられる。
OMに格納されるオペレーティングシステムやDVD2
5から読み出されるゲームプログラムに基づいて、家庭
用ゲーム機46の各部を制御する。バス12はアドレス
及びデータを家庭用ゲーム機46の各部でやり取りする
ためのものである。また、主記憶26には、DVD25
から読み取られたゲームプログラム及びゲームデータが
必要に応じて書き込まれる。画像処理部16はVRAM
(Video Random Access Memory)を含んで構成されてお
り、マイクロプロセッサ14から送られる画像データを
受け取ってVRAM上にゲーム画面を描画するととも
に、その内容をビデオ信号に変換してモニタ18に出力
する。
8、音声処理部20及びDVD再生部24とマイクロプ
ロセッサ14との間のデータ通信を中継するためのイン
タフェースである。ガンコントローラ48は、図1に示
されるように拳銃型のゲームコントローラであり、トリ
ガー状態及び銃身(銃口)方向(具体的には家庭用テレ
ビ受像器40の画面上での指示位置)を家庭用ゲーム機
46に入力するためのものである。ガンコントローラ4
8には、例えば公知の構成を採用することができる。す
なわち、プレイヤPがガンコントローラ48のトリガー
を引くと、その情報(トリガー信号)がコントローラ端
子から家庭用ゲーム機46に入力されるようにする。一
方、家庭用ゲーム機46では、該トリガー信号が入力さ
れたとき、ゲームプログラムにより、例えば1フレーム
だけ真っ白の画面を表示することにより、家庭用テレビ
受像器40の画面上で輝点を走査させる。ガンコントロ
ーラ48には銃口奥部に指向性の強い受光センサを備え
るようにしておき、該受光センサで家庭用テレビ受像器
40の輝点を検出すると、走査開始時刻から輝点検出時
刻までの時間を算出するとともに、そこから家庭用テレ
ビ受像器40の画面上での輝点の位置(座標)を算出す
るようにする。そして、その位置、すなわち銃身方向を
家庭用ゲーム機46に入力すれば、ガンコントローラ4
8を好適に実現することができる。なお、走査開始時刻
は、家庭ゲーム機46から家庭用テレビ受像器40に供
給されるビデオ信号に含まれている同期信号から取得す
るようにすれば好適である。
で構成されており、DVD25から読み出されてサウン
ドバッファに記憶された音楽やゲーム効果音等のデータ
を再生してスピーカ22から出力する。DVD再生部2
4は、マイクロプロセッサ14からの指示に従ってDV
D25に記録されたゲームプログラム及びゲームデータ
を読み取る。周辺機器インタフェース31は家庭用ゲー
ム機46に各種周辺機器を接続するためのインタフェー
スであり、例えばUSB(Universal Serial Bus)イン
タフェースを採用することができる。周辺機器インタフ
ェース31には、ここではカメラユニット42が接続さ
れる。カメラユニット42は、例えばグレイスケール
(白黒256階調)の撮影画像を所定時間おき(例えば
1/60秒等)に家庭用ゲーム機46に入力するための
公知のデジタルカメラである。このカメラユニット42
は、プレイヤPの姿を撮影するため、ここではレンズを
プレイヤPに向けた状態で家庭用テレビ受像器40の上
に載置されている。
庭用ゲーム機46の処理について説明する。この処理
は、DVD25に格納されているゲームプログラムに基
づいて実行されるものである。
ル画面表示処理を説明するフロー図である。同図に示す
ように、家庭用ゲーム機46では、まずマイクロプロセ
ッサ14が、タイトル画面の背景画像、タイトル文字列
60、メニューボタン画像62、著作権表示等を画像処
理部16に含まれるVRAMに描画する(S101)。
次に、カメラユニット42によって取得される画像(プ
レイヤPを撮影することを目的にしているため、ここで
は「プレイヤ画像」と呼ぶ。)を取得する(S10
2)。そして、タイトル画面におけるプレイヤ立ち位置
案内画像50の位置にプレイヤ画像が配されるよう、S
102で取得したプレイヤ画像をVRAMに描画する
(S103)。
に基づいてプレイヤPの頭の位置(頭部位置)を認識
し、認識結果にフィルタ処理を施した情報(フィルタ処
理済み頭部位置)を取得する(S104)。ここでの位
置認識処理及びフィルタ処理は後に詳述する。その後、
マイクロプロセッサ14は、タイトル画面に含まれるプ
レイヤ画像の頭部位置にマーカ(赤点)が表されるよ
う、フィルタ処理済み頭部位置に対応するVRAMの座
標に現在認識位置マーカ54を描画する(S105)。
タ処理済み頭部位置が基準位置にあるかを判断する。基
準位置は、ゲーム開始前にプレイヤPの頭部が写されて
いるべきプレイヤ画像中の位置である。そして、フィル
タ処理済み頭部位置が基準位置にあれば、既にVRAM
に描画されているプレイヤ画像の基準位置に赤色の頭部
基準位置マーカ52を描画する(S107)。一方、フ
ィルタ処理済み頭部位置が基準位置になければ、プレイ
ヤ画像の基準位置に青色の頭部基準位置マーカ52を描
画する(S108)。その後、ガンコントローラ48の
銃身方向を取得し(S109)、その位置に照準マーカ
58を描画する(S110)。
ユニット42との位置関係が適切でない場合には、図7
に示すように、タイトル画面において、円環状の頭部基
準位置マーカ52の外に現在認識位置マーカ54が表示
され、頭部基準位置マーカ52は青色で表示されるよう
になる。一方、プレイヤPとカメラユニット42との位
置関係が適切であれば、図2に示すように、タイトル画
面において、円環状の頭部基準位置マーカ52の内に現
在認識位置マーカ54が表示され、頭部基準位置マーカ
52は赤色で表示されるようになる。このため、プレイ
ヤPは立ち位置を変更し、或いはカメラユニット42の
設置位置又は撮影方向を変更することにより、頭部基準
位置マーカ52がタイトル画面において赤色に表示され
るようにして、プレイヤPとカメラユニット42との位
置関係を簡単に適正化することができる。
関係が適正化されていないと、ゲーム中にプレイヤPが
屈んだり左右に体をずらしたりとき、頭の位置がプレイ
ヤ画像に入らなくなってしまい、頭の位置を正しく認識
することができないことがあり得る。しかしながら、本
ゲーム装置10によれば、プレイヤPとカメラユニット
42との位置関係をゲーム開始前に適正化しておくこと
ができるので、ゲーム中にプレイヤPが屈んだり左右に
体をずらしたりしたときでも、頭の位置を正しく認識す
ることができる。
したものに限らない。例えば、図8に示す案内画像のよ
うに、プレイヤ画像を表示せず、現在認識位置マーカ5
4と頭部基準位置マーカ52だけを表示するようにして
もよい。また、現在認識位置マーカ54と頭部基準位置
マーカ52の位置関係によって頭部基準位置マーカ52
の表示態様を変化させる代わりに、現在認識位置マーカ
54の表示態様(色彩や点滅パターン等)を変化させる
ようにしてもよい。或いは、別の箇所に現在認識位置マ
ーカ54と頭部基準位置マーカ52との位置関係に応じ
た表示をするようにしてもよい。また、現在認識位置マ
ーカ54の表示を省略してもよい。
在認識位置マーカ54だけを表示し、同図において一点
鎖線で示される頭部基準位置マーカ52が本来表示され
るべき位置に現在認識位置マーカ54が移動してきたと
き、同現在認識マーカ54の表示態様を変化するように
してもよい(図中一点鎖線で示される丸印は実際には画
面表示されない)。こうしても、案内画像を見ながら、
プレイヤPは自分とカメラユニット42との位置関係を
正すことができる。
と基準位置との関係に従って、例えば「右に移動してく
ださい。」、「左に移動してください。」、「手前に寄
ってください。」、「後ろに下がってください」等のメ
ッセージを表示するようにしてもよい。また、現在認識
位置マーカ54や頭部基準位置マーカ52の形状は以上
説明したものに限らず、様々な形状を採用することがで
きる。さらに、プレイヤPに対する案内はゲーム開始前
に行うようにすればよい。このため、例えばタイトル画
面とは別の画面でプレイヤPに対する案内を行うように
してもよい。
ヤ画像処理を説明する。
得されるプレイヤ画像に基づいてプレイヤPの頭部位置
を認識し、認識結果にフィルタを施す処理を説明するフ
ロー図である。また、図11は、フィルタ処理を詳細に
説明するフロー図である。これらの処理は、DVD25
に格納されているゲームプログラムに従って、家庭用ゲ
ーム機46において所定時間おき(例えば1/60秒お
き)に実行されるものである。
が取得されると、マイクロプロセッサ14は、図10に
示すように、まず該プレイヤ画像を主記憶26に用意さ
れた画像バッファに格納する(S201)。この画像バ
ッファは、所定時間おきにカメラユニット42で取得さ
れるプレイヤ画像を記憶するためのものであり、最新の
プレイヤ画像も含めて、所定数(ここでは合計4つ)の
プレイヤ画像が時間順に記憶される。そして、最新のプ
レイヤ画像が取得されると、該プレイヤ画像が画像バッ
ファに追加記憶されるとともに、最も古いプレイヤ画像
が破棄される。図12には、画像バッファに記憶される
一連のプレイヤ画像の例を示す図である。ここで、同図
(a)が最新のプレイヤ画像、同図(b)が直前のプレ
イヤ画像、同図(c)がその前のプレイヤ画像、同図
(d)がそのさらに前の(画像バッファ中、最も古い)
プレイヤ画像を示している。同図に示す例は、プレイヤ
Pがカメラユニット42の前で左から右に体を揺らして
いる状況を示している。
ッファに記憶されるプレイヤ画像のうち、最新のものを
除く3つのプレイヤ画像の平均化画像を生成する(S2
02)。平均化画像は、3つのプレイヤ画像の対応画素
に与えられた各色情報(白黒256階調)を平均化して
得られる画像である。そして、マイクロプロセッサ14
は、この平均化画像と最新のプレイヤ画像との差分を生
成する(S203)。この差分画像は、両画像の対応画
素に与えられた色情報を引き算して得られる画像を二値
化(白黒化)したものである。図13は、この差分画像
の一例である。そして、この差分画像から前回認識位置
(プレイヤPの頭部位置)を中心とする所定半径内の画
像を抽出する(S204)。図14は、この抽出画像の
一例を示している。同図において、黒丸は前回認識位置
を示しており、実際には抽出画像には表されない。
像において黒く表された領域(差分が残存する領域)の
面積が所定閾値未満か否かを調べる(S205)。そし
て、抽出画像において黒く表された領域の面積が所定閾
値未満の場合、主記憶26に予め記憶されている前回出
力(フィルタ処理済み頭部位置)を再出力する(S21
3)。プレイヤPの動きが少ない場合、S203で得ら
れる差分画像においては、図15に示すようにプレイヤ
Pの輪郭だけ差分が残存することになる。そして、この
場合、前回認識位置の近傍を抽出すると、図16に示す
ようにその面積は小さくなる。S202からS205の
処理では、このようにプレイヤPの動きが少ないときは
前回出力を再出力するようにして、出力値の変動を抑え
るようにしている。
の面積が所定閾値以上の場合、次に最新のプレイヤ画像
(図12(a))とその直前のプレイヤ画像(図12
(b))とを画像バッファから読み出し、その差分画像
(二値化画像)を生成する(S206)。図17は、こ
の差分画像の一例を示す図である。そして、マイクロプ
ロセッサ14は、この差分画像から前回認識位置を中心
とする所定半径内(選出範囲)の画像を抽出する。図1
8は、この抽出画像の一例を示している。同図におい
て、黒丸は前回認識位置を示しており、実際には抽出画
像には表されない。抽出画像において黒く表されたピク
セルの位置は、S211においてプレイヤPの頭部位置
認識に用いられる。すなわち、この抽出画像はプレイヤ
Pの頭部位置を認識するときの基礎位置群を含んでい
る。
において黒く表された領域(基礎位置群;差分が残存す
る領域)の高さ及び幅を計測し、その値がそれぞれ所定
閾値未満か否かを調べる(S208)。そして、いずれ
かが所定閾値未満であれば、抽出範囲(選出範囲)がプ
レイヤPに十分に近づくまでは(S209)、該抽出範
囲(選出範囲)をプレイヤPの方向にずらし、抽出画像
を再生成する(S210)。具体的には、S206の差
分画像(二値化画像)において黒く表された領域の重心
を算出し、抽出範囲(選出範囲)の中心を前回認識位置
から該重心に所定距離ずつ近づける。図19は、この処
理の様子を説明するための図であり、ハッチングを施し
た領域は差分が残存している領域、黒三角は差分の重心
位置、黒丸は前回認識位置を示している。同図では、プ
レイヤPがカメラユニット42の前で左上から右下に急
激に移動した様子が示されている。S210では、こう
した場合、抽出範囲(選出範囲)の中心を同図において
黒丸の位置から黒三角の方向に徐々にずらすのである。
そして、前回認識位置と重心との距離の所定割合、例え
ば70%の距離を移動しても依然として抽出画像におい
て黒く表された領域が狭い場合、前回出力を再出力する
(S213)。一方、抽出範囲(選出範囲)をずらした
結果、図20に示すように、抽出画像において黒く表さ
れた領域の高さ及び幅のいずれもが、それぞれ所定閾値
以上となれば、そのときの抽出画像から今回の頭部位置
を決定する(S211)。例えば、抽出画像において黒
く表された領域の中央、上から数ピクセルの位置を今回
の頭部位置として選出する。その後、こうして選出(認
識)された今回の頭部位置にフィルタ処理を施し、フィ
ルタ処理済み頭部位置を出力する(S212)。
位置に対応する選出範囲内で基礎位置群を選出するよう
にして、例外的に選出範囲を変更して基礎位置群を再選
出することになり、プレイヤ画像にプレイヤ以外の動く
ものが写っている場合にも、その影響を排することがで
きるとともに、特に頭部位置が素早く移動した場合であ
っても、適正な位置認識をすることができる。
(a)に示すように、最大で16個の頭部位置(Pn〜
Pn−15;添字は認識時刻に対応する。)を格納する
頭部位置バッファが主記憶26に用意される。この頭部
位置バッファでは、所定時間おきに認識されるプレイヤ
Pの頭部位置を記憶するためのものであり、最新の頭部
位置も含めて、最大で16個の頭部位置が時間順に記憶
される。そして、最新の頭部位置が認識されると、該頭
部位置が頭部位置バッファに追加記憶されるとともに、
最も古い頭部位置が破棄される。例えば、同図(a)の
状態で頭部位置Pn+1が認識されると、該頭部位置P
n+1が頭部位置バッファに追加記憶されるとともに、
最も古い頭部位置Pn−15が頭部位置バッファから破
棄される。また、この頭部位置バッファは、バッファサ
イズ、すなわち頭部位置の記憶個数が可変となってお
り、例えば同図(b)に示すように記憶個数が2個の状
態、4個の状態、8個の状態、及び同図(a)に示すよ
うに記憶個数が16個の状態、全部で4通りの状態を取
りうる。
まず現在の頭部位置バッファのバッファサイズnが取得
される(S301)。そして、現バッファサイズnが最
大サイズNmax(ここでは16)に等しければ(S3
02)、最も古い頭部位置を頭部位置バッファから破棄
して、最新の頭部位置を頭部位置バッファに記憶する
(S305)。一方、現バッファサイズnが最大サイズ
Nmaxに等しくなければ、古い頭部位置を破棄するこ
となく、最新の頭部位置を頭部位置バッファに追加記憶
し(S303)、さらに現バッファサイズnに1を加え
る(S304)。
各頭部位置の移動量を算出する(S306)。具体的に
は、各頭部位置とその直前の頭部位置との距離を算出す
る。例えば図21の例では、頭部位置Pnと頭部位置P
n−1との距離、頭部位置P n−1と頭部位置Pn−2
との距離、頭部位置Pn−2と頭部位置Pn−3との距
離、…、頭部位置Pn−14と頭部位置Pn−15との
距離が算出される。そして、こうして算出される移動量
の平均値を算出し、その値に対応するバッファサイズN
を決定する(S307)。ここでは、平均値が11以上
の場合はバッファサイズN=2とし、9以上11未満の
場合はバッファサイズN=4とし、7以上9未満の場合
はバッファサイズN=8とし、バッファサイズ7未満の
場合はバッファサイズN=16とする。なお、ここでは
頭部位置バッファに記憶される各頭部位置の移動量の平
均に基づいてバッファサイズNを決定するようにした
が、他の計算方法を採用するようにしてもよい。例え
ば、各頭部位置の移動量に重み付けをしたり、移動量を
算出する対象を頭部位置バッファに記憶されている頭部
位置のうち比較的新しいものに限定したりすることによ
って、最新の頭部位置が急激に動いたと判断される場合
に、速やかにバッファサイズNが小さくなるようにして
もよい。
ズNとを比較する(S308)。そして、現バッファサ
イズnがバッファサイズNよりも大きければ、頭部位置
バッファに記憶されている頭部位置を古いものから順に
破棄して、現バッファサイズnがバッファサイズNとな
るようにする(S309)。一方、現バッファサイズn
がバッファサイズN以下であれば、S309をスキップ
する。その後、頭部位置バッファに記憶されている頭部
位置を平均し、その値を主記憶26に前回出力として保
存するとともに(S311)、フィルタ処理済み頭部位
置として出力する(S312)。こうして出力されるフ
ィルタ処理済み頭部位置は、上述したように、3次元ゲ
ーム空間を描画するとき、視点位置の決定に用いられ
る。また、タイトル画面においてプレイヤ立ち位置案内
画像50を表示するとき、現在認識位置マーカ54の表
示位置の決定に用いられる。なお、ここでは頭部位置バ
ッファに記憶されている頭部位置の平均値をフィルタ処
理済み頭部位置としてが、頭部位置バッファに記憶され
ている頭部位置に重み付けをして、例えばフィルタ処理
済み頭部位置に対する最新の頭部位置の影響がより大き
くなるようにしてもよい。
位置バッファに記憶されている頭部位置の平均値を出力
するようにしたので、フィルタ処理済み頭部位置の値の
変動を抑えることができる。また、頭部位置バッファの
サイズを該頭部位置バッファに記憶されている各頭部位
置の移動量に応じて変化させるようにしたので、プレイ
ヤPの頭部位置が急に動いた場合、それに応じてフィル
タ処理済み頭部位置の値を速やかに変化させることがで
きる。このため、フィルタ処理済み頭部位置を用いたゲ
ーム処理を好適に行うことができるようになる。
るものではない。
グゲームに本発明を適用する例を取り上げたが、撮像手
段によって画像に取得して、該画像に基づいてゲームを
進行させるゲームであれば、あらゆる種類のゲームに適
用することができる。
の対象としたが、その他の部位を位置認識の対象として
もよい。さらに、プレイヤPが手にするもの、例えばゴ
ルフクラブおもちゃ、テニスクラブおもちゃ、銃器おも
ちゃ等、様々な物を位置認識の対象としてもよい。
原則として前回認識位置に対応する選出範囲内で基礎位
置群を選出するようにして、例外的に選出範囲を変更し
て基礎位置群を再選出するようにしたので、人物画像や
プレイヤ画像に認識対象外の画像が含まれる場合にも、
その影響を排することができるとともに、認識対象とな
るプレイヤ等の人物の所定部位が素早く移動した場合に
も、適正な位置認識をすることができる。
える過去の認識位置の個数を認識位置の移動量に基づい
て変更するようにしたので、プレイヤ等の人物の所定部
位が素早く移動した場合にも、それに応じて素早く変化
する出力値を得ることができ、ゲーム処理等で好適に用
いることができる。
てプレイヤがガンシューティングゲームを楽しむ様子を
示す図である。
図である。
ーム画面の一例を説明する図である。
ーム画面の一例を説明する図である。
る。
ある。
内画像の一例を示す図である。
内画像の変形例を示す図である。
内画像の変形例を示す図である。
図である。
の差分画像を示す図である。
抽出した結果を示す図である。
均化プレイヤ画像と最新プレイヤ画像との差分画像を示
す図である。
抽出した結果を示す図である。
差分画像を示す図である。
抽出した結果を示す図である。
プレイヤ画像から離れている場合における、最新プレイ
ヤ画像と直前プレイヤ画像との差分画像を示す図であ
る。
を図19に示す画像から抽出した結果を示す図である。
る。
タ、B 障害物、Bs障害物上面、10 ゲーム装置、
12 バス、14 マイクロプロセッサ、16画像処理
部、18 モニタ、20 音声処理部、22 スピー
カ、24 DVD再生部、25 DVD、26 主記
憶、30 入出力処理部、31 周辺機器インタフェー
ス(I/F)、40 家庭用テレビ受像器、42 カメ
ラユニット、44 キャビネット、46 家庭用ゲーム
機、48 ガンコントローラ、50プレイヤ立ち位置案
内画像、52 頭部基準位置マーカ、54,54a 現
在認識位置マーカ、56 プレイヤ画像、60 タイト
ル文字列、62 メニューボタン画像。
Claims (7)
- 【請求項1】 プレイヤ画像を所定時間おきに取得する
撮像手段と、 前記撮像手段によって取得されるプレイヤ画像に基づ
き、前回認識位置に対応する所定選出範囲内でプレイヤ
の所定部位を認識するときの基礎位置群を選出する選出
手段と、 選出される基礎位置群に応じて前記選出範囲を変更し、
プレイヤの所定部位を認識するときの基礎位置群を再選
出する再選出手段と、 前記選出手段によって選出され又は前記再選出手段によ
って再選出される基礎位置群に基づいて今回認識位置を
決定する認識位置決定手段と、 を含むことを特徴とするゲーム装置。 - 【請求項2】 請求項1に記載のゲーム装置において、 前記選出手段は、前回認識位置を囲む所定選出範囲内で
プレイヤの所定部位を認識するときの基礎位置群を選出
し、 前記再選出手段は、前記選出範囲を前記プレイヤ画像に
基づいて移動させる、 ことを特徴とするゲーム装置。 - 【請求項3】 プレイヤ画像を所定時間おきに取得する
撮像手段と、 前記撮像手段によって取得されるプレイヤ画像に基づい
てプレイヤの所定部位の位置を認識し、認識位置を出力
する認識手段と、 前記認識手段によって過去に出力された所定記憶個数の
認識位置を記憶する認識位置記憶手段と、 前記認識位置記憶手段によって記憶される各認識位置の
移動量を算出する移動量算出手段と、 前記移動量算出手段によって算出される各認識位置の移
動量に基づいて前記記憶個数を変更する記憶個数変更手
段と、 前記認識位置記憶手段によって記憶される前記記憶個数
の認識位置に基づいて出力値を算出する出力値算出手段
と、 前記出力値算出手段によって出力される出力値に基づい
てゲーム処理を実行するゲーム処理手段と、 を含むことを特徴とするゲーム装置。 - 【請求項4】 制御手段が、撮像手段によって所定時間
おきに取得される人物画像を取得し、画像バッファに記
憶させるステップと、選出手段が、前記画像バッファに記憶される 人物画像に
基づき、前回認識位置に対応する所定選出範囲内で人物
の所定部位を認識するときの基礎位置群を選出するステ
ップと、再選出手段が、 選出される基礎位置群に基づいて前記選
出範囲を変更し、前記人物の所定部位を認識するときの
基礎位置群を再選出するステップと、認識位置決定手段が、 選出され又は再選出される基礎位
置群に基づいて今回認識位置を決定するステップと、 を含むことを特徴とする人物画像処理方法。 - 【請求項5】 人物画像を所定時間おきに取得する手
段、 取得される人物画像に基づき、前回認識位置に対応する
所定選出範囲内で人物の所定部位を認識するときの基礎
位置群を選出する手段、 選出される基礎位置群に基づいて前記選出範囲を変更
し、前記人物の所定部位を認識するときの基礎位置群を
再選出する手段、及び選出され又は再選出される基礎位
置群に基づいて今回認識位置を決定する手段 としてコン
ピュータを機能させるためのプログラム。 - 【請求項6】 制御手段が、撮像手段によって所定時間
おきに取得される人物画像を取得し、画像バッファに記
憶させるステップと、認識手段が、 取得される人物画像に基づいて人物の所定
部位の位置を認識し、認識位置を出力するステップと、認識位置記憶手段が、 認識位置をバッファに順次記憶さ
せるステップと、移動量算出手段が、 前記バッファに記憶される各認識位
置の移動量を算出するステップと、記憶個数変更手段が、 算出される各認識位置の移動量に
基づいて前記バッファに記憶される認識位置の記憶個数
を変更するステップと、出力値算出手段が、 前記バッファに記憶される認識位置
に基づいて出力値を算出するステップと、 を含むことを特徴とする人物画像処理方法。 - 【請求項7】 人物画像を所定時間おきに取得する手
段、 取得される人物画像に基づいて人物の所定部位の位置を
認識し、認識位置を出力する認識手段、前記認識手段によって過去に出力された所定記憶個数の
認識位置を記憶する認識位置記憶手段 、 前記認識位置記憶手段に記憶される各認識位置の移動量
を算出する移動量算出手段、前記移動量算出手段によって 算出される各認識位置の移
動量に基づいて前記記憶個数を変更する記憶個数変更手
段、及び前記認識位置記憶手段に記憶される前記記憶個
数の認識位置に基づいて出力値を算出する出力値算出手
段 としてコンピュータを機能させるためのプログラム。
Priority Applications (8)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001199003A JP3417555B2 (ja) | 2001-06-29 | 2001-06-29 | ゲーム装置、人物画像処理方法及びプログラム |
TW091112061A TW570833B (en) | 2001-06-29 | 2002-06-05 | Game device, and method and program for processing image of person |
US10/178,515 US8257176B2 (en) | 2001-06-29 | 2002-06-25 | Game device and method for processing images responsive to captured player images |
MYPI20022365A MY129035A (en) | 2001-06-29 | 2002-06-25 | Game device, and method and program for processing image of person |
EP08019334A EP2028582A1 (en) | 2001-06-29 | 2002-06-28 | Game device, and method of program for processing image of person |
EP02254589A EP1271294A3 (en) | 2001-06-29 | 2002-06-28 | Game device, and method and program for processing image of person |
KR1020020037009A KR100549159B1 (ko) | 2001-06-29 | 2002-06-28 | 게임 장치, 인물 화상 처리 방법, 및 프로그램 기록 매체 |
HK03101499.1A HK1049390A1 (zh) | 2001-06-29 | 2003-02-28 | 遊戲設備以及處理遊戲者圖像的方法和程序 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001199003A JP3417555B2 (ja) | 2001-06-29 | 2001-06-29 | ゲーム装置、人物画像処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003010542A JP2003010542A (ja) | 2003-01-14 |
JP3417555B2 true JP3417555B2 (ja) | 2003-06-16 |
Family
ID=19036354
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001199003A Expired - Lifetime JP3417555B2 (ja) | 2001-06-29 | 2001-06-29 | ゲーム装置、人物画像処理方法及びプログラム |
Country Status (7)
Country | Link |
---|---|
US (1) | US8257176B2 (ja) |
EP (2) | EP2028582A1 (ja) |
JP (1) | JP3417555B2 (ja) |
KR (1) | KR100549159B1 (ja) |
HK (1) | HK1049390A1 (ja) |
MY (1) | MY129035A (ja) |
TW (1) | TW570833B (ja) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010011891A (ja) * | 2008-07-01 | 2010-01-21 | Sega Corp | ゲーム制御プログラムおよびゲーム装置 |
US8439733B2 (en) | 2007-06-14 | 2013-05-14 | Harmonix Music Systems, Inc. | Systems and methods for reinstating a player within a rhythm-action game |
US8444464B2 (en) | 2010-06-11 | 2013-05-21 | Harmonix Music Systems, Inc. | Prompting a player of a dance game |
US8449360B2 (en) | 2009-05-29 | 2013-05-28 | Harmonix Music Systems, Inc. | Displaying song lyrics and vocal cues |
US8465366B2 (en) | 2009-05-29 | 2013-06-18 | Harmonix Music Systems, Inc. | Biasing a musical performance input to a part |
US8568234B2 (en) | 2010-03-16 | 2013-10-29 | Harmonix Music Systems, Inc. | Simulating musical instruments |
US8678896B2 (en) | 2007-06-14 | 2014-03-25 | Harmonix Music Systems, Inc. | Systems and methods for asynchronous band interaction in a rhythm action game |
US8686269B2 (en) | 2006-03-29 | 2014-04-01 | Harmonix Music Systems, Inc. | Providing realistic interaction to a player of a music-based video game |
US8702485B2 (en) | 2010-06-11 | 2014-04-22 | Harmonix Music Systems, Inc. | Dance game and tutorial |
US9024166B2 (en) | 2010-09-09 | 2015-05-05 | Harmonix Music Systems, Inc. | Preventing subtractive track separation |
US9358456B1 (en) | 2010-06-11 | 2016-06-07 | Harmonix Music Systems, Inc. | Dance competition game |
US9981193B2 (en) | 2009-10-27 | 2018-05-29 | Harmonix Music Systems, Inc. | Movement based recognition and evaluation |
US10357714B2 (en) | 2009-10-27 | 2019-07-23 | Harmonix Music Systems, Inc. | Gesture-based user interface for navigating a menu |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6881147B2 (en) | 2003-06-06 | 2005-04-19 | Nyko Technologies, Inc. | Video game controller with integrated microphone and speaker |
JP4433948B2 (ja) * | 2004-09-02 | 2010-03-17 | 株式会社セガ | 背景画像取得プログラム、ビデオゲーム装置、背景画像取得方法、および、プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP3919790B2 (ja) | 2005-03-14 | 2007-05-30 | 株式会社コナミデジタルエンタテインメント | メッセージ画像表示装置、メッセージ画像表示装置の制御方法及びプログラム |
KR100696178B1 (ko) * | 2005-09-13 | 2007-03-20 | 한국전자통신연구원 | 광 도파로 마스터 및 그 제조 방법 |
JP4833674B2 (ja) * | 2006-01-26 | 2011-12-07 | 株式会社コナミデジタルエンタテインメント | ゲーム装置、ゲーム装置の制御方法及びプログラム |
JP4929061B2 (ja) * | 2007-06-04 | 2012-05-09 | 株式会社コナミデジタルエンタテインメント | ゲーム装置、ゲーム装置の制御方法及びプログラム |
WO2009136207A1 (en) * | 2008-05-09 | 2009-11-12 | Mbda Uk Limited | Display of 3-dimensional objects |
US20090310027A1 (en) * | 2008-06-16 | 2009-12-17 | James Fleming | Systems and methods for separate audio and video lag calibration in a video game |
WO2010006054A1 (en) | 2008-07-08 | 2010-01-14 | Harmonix Music Systems, Inc. | Systems and methods for simulating a rock and band experience |
WO2010031041A2 (en) * | 2008-09-15 | 2010-03-18 | Mattel, Inc. | Video game system with safety assembly and method of play |
JP2010142592A (ja) * | 2008-12-22 | 2010-07-01 | Nintendo Co Ltd | ゲームプログラムおよびゲーム装置 |
JP6732463B2 (ja) * | 2016-02-05 | 2020-07-29 | 株式会社バンダイナムコエンターテインメント | 画像生成システム及びプログラム |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5241608A (en) * | 1988-11-25 | 1993-08-31 | Eastman Kodak Company | Method for estimating velocity vector fields from a time-varying image sequence |
US5442168A (en) | 1991-10-15 | 1995-08-15 | Interactive Light, Inc. | Dynamically-activated optical instrument for producing control signals having a self-calibration means |
US5483261A (en) | 1992-02-14 | 1996-01-09 | Itu Research, Inc. | Graphical input controller and method with rear screen image detection |
JP2998096B2 (ja) | 1993-08-25 | 2000-01-11 | 株式会社セガ・エンタープライゼス | ゲーム装置 |
US5704836A (en) * | 1995-03-23 | 1998-01-06 | Perception Systems, Inc. | Motion-based command generation technology |
US6176782B1 (en) * | 1997-12-22 | 2001-01-23 | Philips Electronics North America Corp. | Motion-based command generation technology |
JPH10154238A (ja) | 1996-09-25 | 1998-06-09 | Matsushita Electric Ind Co Ltd | 動作生成装置 |
US6009210A (en) * | 1997-03-05 | 1999-12-28 | Digital Equipment Corporation | Hands-free interface to a virtual reality environment using head tracking |
KR100347960B1 (ko) | 1999-09-14 | 2002-08-09 | 김운용 | 비디오 게임장치 및 그 제어방법 |
JP2001199003A (ja) | 2000-01-18 | 2001-07-24 | Nkk Corp | 耐溶剤性に優れた有機複合被覆鋼板 |
JP3420221B2 (ja) * | 2001-06-29 | 2003-06-23 | 株式会社コナミコンピュータエンタテインメント東京 | ゲーム装置及びプログラム |
JP3611807B2 (ja) * | 2001-07-19 | 2005-01-19 | コナミ株式会社 | ビデオゲーム装置、ビデオゲームにおける擬似カメラ視点移動制御方法及びプログラム |
-
2001
- 2001-06-29 JP JP2001199003A patent/JP3417555B2/ja not_active Expired - Lifetime
-
2002
- 2002-06-05 TW TW091112061A patent/TW570833B/zh not_active IP Right Cessation
- 2002-06-25 MY MYPI20022365A patent/MY129035A/en unknown
- 2002-06-25 US US10/178,515 patent/US8257176B2/en not_active Expired - Fee Related
- 2002-06-28 EP EP08019334A patent/EP2028582A1/en not_active Withdrawn
- 2002-06-28 KR KR1020020037009A patent/KR100549159B1/ko not_active IP Right Cessation
- 2002-06-28 EP EP02254589A patent/EP1271294A3/en not_active Withdrawn
-
2003
- 2003-02-28 HK HK03101499.1A patent/HK1049390A1/zh unknown
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8686269B2 (en) | 2006-03-29 | 2014-04-01 | Harmonix Music Systems, Inc. | Providing realistic interaction to a player of a music-based video game |
US8678895B2 (en) | 2007-06-14 | 2014-03-25 | Harmonix Music Systems, Inc. | Systems and methods for online band matching in a rhythm action game |
US8439733B2 (en) | 2007-06-14 | 2013-05-14 | Harmonix Music Systems, Inc. | Systems and methods for reinstating a player within a rhythm-action game |
US8444486B2 (en) | 2007-06-14 | 2013-05-21 | Harmonix Music Systems, Inc. | Systems and methods for indicating input actions in a rhythm-action game |
US8690670B2 (en) | 2007-06-14 | 2014-04-08 | Harmonix Music Systems, Inc. | Systems and methods for simulating a rock band experience |
US8678896B2 (en) | 2007-06-14 | 2014-03-25 | Harmonix Music Systems, Inc. | Systems and methods for asynchronous band interaction in a rhythm action game |
JP2010011891A (ja) * | 2008-07-01 | 2010-01-21 | Sega Corp | ゲーム制御プログラムおよびゲーム装置 |
US8465366B2 (en) | 2009-05-29 | 2013-06-18 | Harmonix Music Systems, Inc. | Biasing a musical performance input to a part |
US8449360B2 (en) | 2009-05-29 | 2013-05-28 | Harmonix Music Systems, Inc. | Displaying song lyrics and vocal cues |
US9981193B2 (en) | 2009-10-27 | 2018-05-29 | Harmonix Music Systems, Inc. | Movement based recognition and evaluation |
US10421013B2 (en) | 2009-10-27 | 2019-09-24 | Harmonix Music Systems, Inc. | Gesture-based user interface |
US10357714B2 (en) | 2009-10-27 | 2019-07-23 | Harmonix Music Systems, Inc. | Gesture-based user interface for navigating a menu |
US8874243B2 (en) | 2010-03-16 | 2014-10-28 | Harmonix Music Systems, Inc. | Simulating musical instruments |
US8636572B2 (en) | 2010-03-16 | 2014-01-28 | Harmonix Music Systems, Inc. | Simulating musical instruments |
US9278286B2 (en) | 2010-03-16 | 2016-03-08 | Harmonix Music Systems, Inc. | Simulating musical instruments |
US8568234B2 (en) | 2010-03-16 | 2013-10-29 | Harmonix Music Systems, Inc. | Simulating musical instruments |
US8702485B2 (en) | 2010-06-11 | 2014-04-22 | Harmonix Music Systems, Inc. | Dance game and tutorial |
US9358456B1 (en) | 2010-06-11 | 2016-06-07 | Harmonix Music Systems, Inc. | Dance competition game |
US8444464B2 (en) | 2010-06-11 | 2013-05-21 | Harmonix Music Systems, Inc. | Prompting a player of a dance game |
US8562403B2 (en) | 2010-06-11 | 2013-10-22 | Harmonix Music Systems, Inc. | Prompting a player of a dance game |
US9024166B2 (en) | 2010-09-09 | 2015-05-05 | Harmonix Music Systems, Inc. | Preventing subtractive track separation |
Also Published As
Publication number | Publication date |
---|---|
EP1271294A3 (en) | 2008-03-26 |
TW570833B (en) | 2004-01-11 |
EP1271294A2 (en) | 2003-01-02 |
US8257176B2 (en) | 2012-09-04 |
KR100549159B1 (ko) | 2006-02-03 |
JP2003010542A (ja) | 2003-01-14 |
HK1049390A1 (zh) | 2003-05-09 |
US20030003992A1 (en) | 2003-01-02 |
KR20030003103A (ko) | 2003-01-09 |
EP2028582A1 (en) | 2009-02-25 |
MY129035A (en) | 2007-03-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3420221B2 (ja) | ゲーム装置及びプログラム | |
JP3417555B2 (ja) | ゲーム装置、人物画像処理方法及びプログラム | |
JP3611807B2 (ja) | ビデオゲーム装置、ビデオゲームにおける擬似カメラ視点移動制御方法及びプログラム | |
JP3442754B2 (ja) | ガンシューティングゲーム装置、コンピュータの制御方法及びプログラム | |
EP1774996B1 (en) | Game device, control method of computer, and information storage medium | |
US8520901B2 (en) | Image generation system, image generation method, and information storage medium | |
US9776088B2 (en) | Apparatus and method of user interaction | |
EP2919099B1 (en) | Information processing device | |
JP2011258158A (ja) | プログラム、情報記憶媒体及び画像生成システム | |
JP2003135851A (ja) | ゲーム装置、コンピュータゲームシステムの制御方法及びプログラム | |
JP2001224731A (ja) | ゲーム装置および情報記憶媒体 | |
JP2003334384A (ja) | ゲーム装置、コンピュータゲームシステムの制御方法及びプログラム | |
JP2011258157A (ja) | プログラム、情報記憶媒体及び画像生成システム | |
JP3827091B2 (ja) | ゲーム装置、コンピュータゲームシステムの制御方法及びプログラム | |
JP2014018516A (ja) | ゲーム装置、ゲーム装置の制御方法、ゲームシステム、ゲームシステムの制御方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20030325 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 3417555 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090411 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090411 Year of fee payment: 6 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090411 Year of fee payment: 6 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090411 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100411 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110411 Year of fee payment: 8 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110411 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120411 Year of fee payment: 9 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130411 Year of fee payment: 10 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140411 Year of fee payment: 11 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S802 | Written request for registration of partial abandonment of right |
Free format text: JAPANESE INTERMEDIATE CODE: R311802 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |