JP3599115B2 - 楽器ゲーム装置 - Google Patents
楽器ゲーム装置 Download PDFInfo
- Publication number
- JP3599115B2 JP3599115B2 JP10592693A JP10592693A JP3599115B2 JP 3599115 B2 JP3599115 B2 JP 3599115B2 JP 10592693 A JP10592693 A JP 10592693A JP 10592693 A JP10592693 A JP 10592693A JP 3599115 B2 JP3599115 B2 JP 3599115B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- instrument
- virtual image
- musical instrument
- singular point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
- A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
- A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/6063—Methods for processing data by generating or executing the game program for sound processing
- A63F2300/6081—Methods for processing data by generating or executing the game program for sound processing generating an output signal, e.g. under timing constraints, for spatialization
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Electrophonic Musical Instruments (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Position Input By Displaying (AREA)
- Studio Circuits (AREA)
Description
【０００１】
【産業上の利用分野】
この発明は、楽器ゲーム装置に関する。
【０００２】
【従来の技術】
従来の電子楽器は、鍵盤等の演奏操作子を操作することにより、対応する楽音を発生するものであるが、実際にこれらの電子楽器を所有せずに、その演奏を楽しむという、いわゆる楽器ゲーム装置が提案されている。この一例として、表示体に仮想楽器モデルを表示し、ユーザーがそれをあたかも実際の楽器を演奏しているような動作を行なえば、それに対応した楽音が発生されるようにする構成が考えられる。
このためには、表示画面上の仮想楽器を演奏する動作、特に位置を検出する必要がある。
これらに用いる位置検出装置として、従来から種々のものが知られている。例えば、タッチパネルではパネル上に外部からの指等による押圧あるいは接触に感応してその位置を検出する機構が設けられている。また、マウスでは、マウスの移動量、方向を計測してスクリーンカーソルの位置を検出する。しかしながら、いずれの従来技術も実際の楽器を演奏する動作とは程遠い操作をするものである。
また、こうした実在しない仮想楽器の演奏は、実際の楽器を演奏するのと比べて動作は同じであるものの、例えば打鍵したときの感覚がなく、楽音が発生しても、打鍵の擬似操作が有効であったか否か等を捉えることができなかった。
【０００３】
【発明が解決しようとする課題】
すなわち、この発明の目的は従来にない位置検出原理に基づく楽器ゲーム装置を提供することである。具体的なこの発明の目的は、画像入力方式の楽器ゲーム装置を提供することである。
【０００４】
【課題を解決するための手段】
この発明によれば、実画像を取り込む撮像手段と、複数の楽器エリアを有する仮想画像を形成する仮想画像形成手段と、前記仮想画像の各楽器エリアに対応したスプライト画像を形成するスプライト画像形成手段と、前記撮像手段から取り込んだ実画像における特異点の位置を検出する位置検出手段と、前記位置検出手段により検出された特異点の位置が前記仮想画像形成手段により形成された複数の楽器エリアを有する仮想画像の中のいずれかの楽器エリアに入ったか否かを検出する検出手段と、前記検出手段によって前記特異点の位置が前記複数の楽器エリアを有する仮想画像の中のいずれかの楽器エリアに入ったことを検出したときは、前記特異点の位置が入った楽器エリアに対応する音を発生する音源手段と、前記検出手段により前記複数の楽器エリアを有する仮想画像の中のいずれかの楽器エリアに入ったことが検出されないときは前記撮像手段から取り込んだ実画像と前記仮想画像形成手段により形成された仮想画像とを合成して出力すると共に、前記検出手段により前記特異点の位置が前記複数の楽器エリアを有する仮想画像の中のいずれかの楽器エリアに入ったことを検出したときは、前記特異点の位置が入った楽器エリアに対応するスプライト画像、前記実画像及び仮想画像を合成して出力する画像合成手段と、を有することを特徴とする楽器ゲーム装置が提供される。
この構成によれば、実画像を取り込み、この実画像を仮想画像と合成して出力する。そして、取り込んだ実画像中の特異点の位置を検出するとともに、この特異点が複数の楽器エリアを有する仮想画像の中のいずれかの楽器エリアに位置するか否かを検出する。そして、この特異点がいずれかの楽器エリア内に位置している場合は、この楽器エリアに対応した音を発生すると共に、対応するスプライト画像を上述の実画像及び仮想画像とともに合成して出力する。
このような構成により、ユーザーは、自己を撮影した実画像と仮想画像との合成画像を見ながら演奏するような動作をすれば、対応する楽器音が発生すると共に演奏動作がなされたことを示すスプライト画像が表示される。
この結果、実際の楽器がなくとも、その楽器演奏を擬似的に行なうことができるようになる。また、演奏操作をして楽音が発生すると共に、楽器音が発生したことを知らせるスプライト画像が表示されるため、ユーザーは演奏操作により楽音が発生していることを視覚的に認識ができる。
【０００５】
【実施例】
以下、図面を参照してこの発明の実施例を説明する。この実施例はこの発明を楽器ゲーム装置に応用した例である。
図１に実施例の楽器ゲーム装置の使用状況の概要を示す。撮像部を内蔵する楽器ゲーム装置本体２の前で演奏者４がペンライト２０（特異点）を振る。この画像は楽器ゲーム装置本体２に取り込まれる。楽器ゲーム装置本体２は取り込んだ画像のなかで特異点であるペンライト２０の位置（正確にはペンライト先端のランプ位置）を検出する。検出した特異点の位置が複数の楽器エリアを有する仮想画像内の楽器エリア（例えばドラムセットのシンバル操作位置）に入ったら、該当する楽器音を発生させる。更に、楽器ゲーム装置本体２は、ディスプレイ６に複数の楽器エリアを有する仮想画像と演奏者４からの実画像とを合成して表示させる。
【０００６】
図２と図３に示すように、楽器ゲーム装置本体２は前面（図２）に、電源スイッチ１０、撮像部のレンズ１２が設けられ、裏面にはＡＣアダプタに接続される電源端子１４、サウンドシステム（図示せず）に接続されるオーディオ出力端子１６、ディスプレイ６に接続されるビデオ出力端子１８が設けられる。ペンライト２０は図４に示すように先端にＬＥＤ等のランプ２２が設けられる。ランプ２２のオン／オフはペンライト側部のスイッチ２４で行われる。
【０００７】
図５に楽器ゲーム装置本体２の回路構成を示す。演奏者４からの実画像はレンズ１２を介してＣＣＤ３０に取り込まれる。タイミング回路３４により制御されるドライバ３２はＣＣＤ３０に駆動パルスを与えてＣＣＤ３０の各素子に光電変換を実行させる。この結果、ＣＣＤ３０からは実画像を表わす電気信号が直列に出力され、信号処理回路３６に入力される。信号処理回路３６はＣＣＤ３０からの信号を処理し、実画像に係るカラーＮＴＳＣ信号（実画像ＮＴＳＣ信号）を形成する。この実画像ＮＴＳＣ信号は輝度検出回路３８と画像合成回路４０に供給される。
【０００８】
一方ＣＧ発生器４２はビデオＲＡＭ４４からのデジタルＣＧ画像データを処理し、仮想画像（コンピュータグラフィクス画像）を表わすＮＴＳＣ信号を形成する。この仮想画像ＮＴＳＣ信号は画像合成回路４０に供給される。
【０００９】
ＣＧ発生器４２と信号処理回路３６の動作を同期させるために（仮想画像ＮＴＳＣ信号と実画像ＮＴＳＣ信号の各走査を同期させるために）、タイミング回路３４から所定のタイミング信号がＣＧ発生器４２と信号処理回路３６に供給される。
【００１０】
画像合成回路４０は仮想画像と実画像とを合成するものである。このために、画像合成回路４０は、内部のアナログスイッチにより仮想画像ＮＴＳＣ信号（の画素）が白レベルのときは実画像ＮＴＳＣ信号（の画素）を選択し、仮想画像ＮＴＳＣ信号の画素が白レベルでないときは仮想画像ＮＴＳＣ信号を選択する。画像合成回路４０からの合成画像ＮＴＳＣ信号はビデオ出力端子１８に出力される。
【００１１】
この実施例は楽器ゲーム装置への応用例であるので、仮想画像は楽器に関するものである。仮想画像の画面構成は、図８に示すようにバックグラウンド面１００とイベント時に重ね合わされるスプライト面１０２から成る。スプライト面１０２はバックグラウンド面１００におけるいずれかの楽器が実画面１０８の演奏者４のペンライト２０により仮想的に操作された（打たれた）ときに操作に係る楽器近くに表示されるよう、バックグラウンド面１００と重ね合わされる。ビデオＲＡＭ４４には選択された楽器ゲーム（例えばドラムゲーム）に関するバックグラウンド面の画像データとスプライト面の画像データとが記憶されており、両画像データの合成はマイコンシステム４６の制御の下に、ＣＧ発生器４２によって行われる。
【００１２】
なお、楽器ゲームの選択時に、マイコンシステム４６からＣＧ発生器４２を介してビデオＲＡＭ４４に選択楽器ゲームに係るバックグラウンド面の画像データとスプライト面の画像データがセットされる。これに関連し、マイコンシステム４６は種々の楽器ゲームに関するデータメモリとしてＲＯＭ４８を有している。
【００１３】
また、バックグラウンド面の楽器以外の部分（背景）は白であり、上述した画像合成回路４０の合成により、実画面１０８の演奏者の手前に楽器（ドラムセット）がくるように重ねられた合成画面１０６が得られる。
演奏者４のペンライト２０の位置（特異点の位置）を検出するために、輝度検出回路３８が設けられる。輝度検出回路３８の構成を図６に示す。
【００１４】
輝度検出回路３８には信号処理回路３６から実画像ＮＴＳＣ信号が入力される。また、タイミング回路３４からフレームクロックＶＣＫ、行クロックＲＣＫ、列クロックＨＣＫが供給される。図７のタイミングチャートに示すように、フレームクロックＶＣＫはＮＴＳＣ信号の１フレーム（１画面、２フィールド）ごとに発生する。行クロックＲＣＫはＮＴＳＣ信号の１走査線期間ごとに発生する。列クロックＨＣＫはＮＴＳＣ信号の１走査線中の映像期間（輝度信号期間）の間に２５６回発生する。いいかえると、列クロックＨＣＫは水平を２５６画素とみたときに各画素位置で発生する。
【００１５】
実画像ＮＴＳＣ信号は輝度検出回路３８のＡＤＣ５０によりアナログ／デジタル変換され、列クロックＨＣＫで動作するサンプリングレジスタ５２により、各画素のデジタル値がサンプリングされる。サンプリングレジスタ５２の出力は大小比較器５４に供給される。大小比較器５４はサンプリングレジスタ５２の出力値と（フレームクロックＶＣＫでリセットされる）ピークホールドレジスタ５６の内容とを比較し、サンプリングレジスタ５２の出力値の方が大きいとき、比較クロック出力を発生し、ピークホールドレジスタ５６に新たなピークであるピークホールドレジスタ５６の出力を取り込ませる、とともに列レジスタ６０と行レジスタ６４をクロック動作させる。
【００１６】
一方、列カウンタ５８は行クロックＲＣＫごとにリセットされ、列クロックＨＣＫをカウントする。行カウンタ６２はフレームクロックＶＣＫでリセットされ、行クロックＲＣＫをカウントする。
【００１７】
したがって、１フレーム（１画面）のなかで最高輝度をもつ画素の位置がこの輝度検出回路３８で検出されることになる。すなわち、最高輝度の画素のタイミングで、大小比較器５４から比較クロック出力が発生し、この比較クロック出力により、列レジスタ６０はその時点の列カウンタ５８の列カウント（最高輝度画素の列座標）を取り込み、行レジスタ６０はその時点の行カウンタ６２の行カウント（最高輝度画素の行座標）を取り込む。ここに、行カウントと列カウントとで示される最高輝度の画素位置は、演奏者４が操作しているペンライト２０の点灯ランプ２２の位置、即ち、実画像における特異点の位置を表わしている。
【００１８】
列レジスタ６０と行レジスタ６４の出力はマイコンシステム４６のポートに接続される。
マイコンシステム４６はタイミング回路３４からのフレームクロックＶＣＫに応答して図９に示すようなＶインタラプトルーチンを実行する。
【００１９】
先ずステップ９−１で輝度検出回路３８の行レジスタ６４と列レジスタ６０の内容である特異点（ペンライト）の位置を読み込む。次に、エリアテスト９−２を行なう。エリアテスト９−２では選択楽器ゲームの各楽器の操作エリアデータ（ＲＯＭ４８上）を特異点（ペンライト）の位置データと比較し、新たに特異点が操作エリアに入ったときにイベントフラグを立て、該当するイベントの種類（例えばハイハット、ドラム）をセットする。ステップ９−３でイベントフラグが立っていれば、ステップ９−４でイベントの種類に対応したスプライト表示指示をＣＧ発生器４２に与える。これはスプライト面１０２の表示位置データを含むスプライト表示コマンドをＣＧ発生器４２に送ることで行われる。これを受けてＣＧ発生器４２はバックグラウンド面上にスプライト面１０２を指示された位置に重ね合わせ、そのＮＴＳＣ信号を形成する。この結果、例えば、図８の１０８に示すようにシンバルがペンライトで仮想的（間接的）に打たれたときはシンバルの上方に音符スプライト面が表示される。
【００２０】
更にマイコンシステム４６はステップ９−５で該当するイベントの種類に対応する楽器の音色データ（ＲＯＭ４８上）を含む発音指示コマンドを音源４８に送る。これを受けて音源４８は対応する楽音信号を発生する。この楽音信号はオーディオ出力端子１６を介して外部に出力される。
【００２１】
以上で実施例の説明を終えるがこの発明の範囲内で種々の変形、応用が可能である。
【００２２】
例えば、特異点とその検出方式について、ペンライト以外のもの、輝度検出方式以外の方式が可能である。例えば、特定の形状（例えば星印）を特異点（検出対象）として、取り込んだ画像から特定の形状とその位置を認識することができる。
【００２３】
また、特異点は１つに限らず複数であってもよい。例えば２本のペンライトの各々の位置を輝度の検出によって特定することができる。これは、例えば、１フレーム中の複数の高輝度位置（最高輝度から順次Ｎ番目までの高輝度位置）をストアするメモリ（例えばシフトレジスタ）を輝度検出回路にもたせ、マイコンシステムで複数の高輝度位置のデータを調べ、最高輝度位置を第１ペンライトの位置と決め、この第１ペンライトの位置からある程度以上離れた位置を示す高輝度位置データを第２ペンライト位置と決めることで達成できる。
【００２４】
また、実施例ではディスプレイに表示される画面の一部を実画像としているが、実画像に代え、実画像に対応するＣＧ（コンピュータグラフィックス）画像を用いてもよい。あるいは実画像を処理して、ＣＧ画像を形成してもよい。これにより、バックグラウンドのＣＧ画像と実画像に基づくＣＧ画像の画質を合わせることができる。
この発明は楽器ゲームに限らず、その他の種々のゲーム機やパーソナルコンピュータ装置に応用可能である。
【００２５】
【発明の効果】
以上、詳細に述べたように、この発明ではユーザーは、自己を撮影した実画像と仮想画像との合成画像を見ながら演奏するような動作をすれば、対応する楽器音が発生すると共に演奏動作がなされたことを示すスプライト画像が表示される。
この結果、実際の楽器がなくとも、その楽器演奏を擬似的に行なうことができるようになる。また、演奏操作をして楽音が発生すると共に、楽器音が発生したことを知らせるスプライト画像が表示されるため、ユーザーは演奏操作により楽音が発生していることを視覚的に認識ができる。
【図面の簡単な説明】
【図１】実施例の位置検出装置の使用例を示す概要図。
【図２】位置検出装置の正面を示す図。
【図３】位置検出装置の背面を示す図。
【図４】ペンライトの外観を示す図。
【図５】位置検出装置の回路構成を示すブロック図。
【図６】輝度検出回路の構成を示すブロック図。
【図７】輝度検出回路に入力される信号のタイミングチャート。
【図８】画面の構成、重ね合わせ、及びスプライト面の制御を説明する図。
【図９】マイコンシステムの動作を示すタイムチャート。
【符号の説明】
３０ ＣＣＤ（撮像手段）
３８ 輝度検出回路（位置検出手段）
４６ マイコンシステム（制御手段）
２０ ペンライト（特異点）
【産業上の利用分野】
この発明は、楽器ゲーム装置に関する。
【０００２】
【従来の技術】
従来の電子楽器は、鍵盤等の演奏操作子を操作することにより、対応する楽音を発生するものであるが、実際にこれらの電子楽器を所有せずに、その演奏を楽しむという、いわゆる楽器ゲーム装置が提案されている。この一例として、表示体に仮想楽器モデルを表示し、ユーザーがそれをあたかも実際の楽器を演奏しているような動作を行なえば、それに対応した楽音が発生されるようにする構成が考えられる。
このためには、表示画面上の仮想楽器を演奏する動作、特に位置を検出する必要がある。
これらに用いる位置検出装置として、従来から種々のものが知られている。例えば、タッチパネルではパネル上に外部からの指等による押圧あるいは接触に感応してその位置を検出する機構が設けられている。また、マウスでは、マウスの移動量、方向を計測してスクリーンカーソルの位置を検出する。しかしながら、いずれの従来技術も実際の楽器を演奏する動作とは程遠い操作をするものである。
また、こうした実在しない仮想楽器の演奏は、実際の楽器を演奏するのと比べて動作は同じであるものの、例えば打鍵したときの感覚がなく、楽音が発生しても、打鍵の擬似操作が有効であったか否か等を捉えることができなかった。
【０００３】
【発明が解決しようとする課題】
すなわち、この発明の目的は従来にない位置検出原理に基づく楽器ゲーム装置を提供することである。具体的なこの発明の目的は、画像入力方式の楽器ゲーム装置を提供することである。
【０００４】
【課題を解決するための手段】
この発明によれば、実画像を取り込む撮像手段と、複数の楽器エリアを有する仮想画像を形成する仮想画像形成手段と、前記仮想画像の各楽器エリアに対応したスプライト画像を形成するスプライト画像形成手段と、前記撮像手段から取り込んだ実画像における特異点の位置を検出する位置検出手段と、前記位置検出手段により検出された特異点の位置が前記仮想画像形成手段により形成された複数の楽器エリアを有する仮想画像の中のいずれかの楽器エリアに入ったか否かを検出する検出手段と、前記検出手段によって前記特異点の位置が前記複数の楽器エリアを有する仮想画像の中のいずれかの楽器エリアに入ったことを検出したときは、前記特異点の位置が入った楽器エリアに対応する音を発生する音源手段と、前記検出手段により前記複数の楽器エリアを有する仮想画像の中のいずれかの楽器エリアに入ったことが検出されないときは前記撮像手段から取り込んだ実画像と前記仮想画像形成手段により形成された仮想画像とを合成して出力すると共に、前記検出手段により前記特異点の位置が前記複数の楽器エリアを有する仮想画像の中のいずれかの楽器エリアに入ったことを検出したときは、前記特異点の位置が入った楽器エリアに対応するスプライト画像、前記実画像及び仮想画像を合成して出力する画像合成手段と、を有することを特徴とする楽器ゲーム装置が提供される。
この構成によれば、実画像を取り込み、この実画像を仮想画像と合成して出力する。そして、取り込んだ実画像中の特異点の位置を検出するとともに、この特異点が複数の楽器エリアを有する仮想画像の中のいずれかの楽器エリアに位置するか否かを検出する。そして、この特異点がいずれかの楽器エリア内に位置している場合は、この楽器エリアに対応した音を発生すると共に、対応するスプライト画像を上述の実画像及び仮想画像とともに合成して出力する。
このような構成により、ユーザーは、自己を撮影した実画像と仮想画像との合成画像を見ながら演奏するような動作をすれば、対応する楽器音が発生すると共に演奏動作がなされたことを示すスプライト画像が表示される。
この結果、実際の楽器がなくとも、その楽器演奏を擬似的に行なうことができるようになる。また、演奏操作をして楽音が発生すると共に、楽器音が発生したことを知らせるスプライト画像が表示されるため、ユーザーは演奏操作により楽音が発生していることを視覚的に認識ができる。
【０００５】
【実施例】
以下、図面を参照してこの発明の実施例を説明する。この実施例はこの発明を楽器ゲーム装置に応用した例である。
図１に実施例の楽器ゲーム装置の使用状況の概要を示す。撮像部を内蔵する楽器ゲーム装置本体２の前で演奏者４がペンライト２０（特異点）を振る。この画像は楽器ゲーム装置本体２に取り込まれる。楽器ゲーム装置本体２は取り込んだ画像のなかで特異点であるペンライト２０の位置（正確にはペンライト先端のランプ位置）を検出する。検出した特異点の位置が複数の楽器エリアを有する仮想画像内の楽器エリア（例えばドラムセットのシンバル操作位置）に入ったら、該当する楽器音を発生させる。更に、楽器ゲーム装置本体２は、ディスプレイ６に複数の楽器エリアを有する仮想画像と演奏者４からの実画像とを合成して表示させる。
【０００６】
図２と図３に示すように、楽器ゲーム装置本体２は前面（図２）に、電源スイッチ１０、撮像部のレンズ１２が設けられ、裏面にはＡＣアダプタに接続される電源端子１４、サウンドシステム（図示せず）に接続されるオーディオ出力端子１６、ディスプレイ６に接続されるビデオ出力端子１８が設けられる。ペンライト２０は図４に示すように先端にＬＥＤ等のランプ２２が設けられる。ランプ２２のオン／オフはペンライト側部のスイッチ２４で行われる。
【０００７】
図５に楽器ゲーム装置本体２の回路構成を示す。演奏者４からの実画像はレンズ１２を介してＣＣＤ３０に取り込まれる。タイミング回路３４により制御されるドライバ３２はＣＣＤ３０に駆動パルスを与えてＣＣＤ３０の各素子に光電変換を実行させる。この結果、ＣＣＤ３０からは実画像を表わす電気信号が直列に出力され、信号処理回路３６に入力される。信号処理回路３６はＣＣＤ３０からの信号を処理し、実画像に係るカラーＮＴＳＣ信号（実画像ＮＴＳＣ信号）を形成する。この実画像ＮＴＳＣ信号は輝度検出回路３８と画像合成回路４０に供給される。
【０００８】
一方ＣＧ発生器４２はビデオＲＡＭ４４からのデジタルＣＧ画像データを処理し、仮想画像（コンピュータグラフィクス画像）を表わすＮＴＳＣ信号を形成する。この仮想画像ＮＴＳＣ信号は画像合成回路４０に供給される。
【０００９】
ＣＧ発生器４２と信号処理回路３６の動作を同期させるために（仮想画像ＮＴＳＣ信号と実画像ＮＴＳＣ信号の各走査を同期させるために）、タイミング回路３４から所定のタイミング信号がＣＧ発生器４２と信号処理回路３６に供給される。
【００１０】
画像合成回路４０は仮想画像と実画像とを合成するものである。このために、画像合成回路４０は、内部のアナログスイッチにより仮想画像ＮＴＳＣ信号（の画素）が白レベルのときは実画像ＮＴＳＣ信号（の画素）を選択し、仮想画像ＮＴＳＣ信号の画素が白レベルでないときは仮想画像ＮＴＳＣ信号を選択する。画像合成回路４０からの合成画像ＮＴＳＣ信号はビデオ出力端子１８に出力される。
【００１１】
この実施例は楽器ゲーム装置への応用例であるので、仮想画像は楽器に関するものである。仮想画像の画面構成は、図８に示すようにバックグラウンド面１００とイベント時に重ね合わされるスプライト面１０２から成る。スプライト面１０２はバックグラウンド面１００におけるいずれかの楽器が実画面１０８の演奏者４のペンライト２０により仮想的に操作された（打たれた）ときに操作に係る楽器近くに表示されるよう、バックグラウンド面１００と重ね合わされる。ビデオＲＡＭ４４には選択された楽器ゲーム（例えばドラムゲーム）に関するバックグラウンド面の画像データとスプライト面の画像データとが記憶されており、両画像データの合成はマイコンシステム４６の制御の下に、ＣＧ発生器４２によって行われる。
【００１２】
なお、楽器ゲームの選択時に、マイコンシステム４６からＣＧ発生器４２を介してビデオＲＡＭ４４に選択楽器ゲームに係るバックグラウンド面の画像データとスプライト面の画像データがセットされる。これに関連し、マイコンシステム４６は種々の楽器ゲームに関するデータメモリとしてＲＯＭ４８を有している。
【００１３】
また、バックグラウンド面の楽器以外の部分（背景）は白であり、上述した画像合成回路４０の合成により、実画面１０８の演奏者の手前に楽器（ドラムセット）がくるように重ねられた合成画面１０６が得られる。
演奏者４のペンライト２０の位置（特異点の位置）を検出するために、輝度検出回路３８が設けられる。輝度検出回路３８の構成を図６に示す。
【００１４】
輝度検出回路３８には信号処理回路３６から実画像ＮＴＳＣ信号が入力される。また、タイミング回路３４からフレームクロックＶＣＫ、行クロックＲＣＫ、列クロックＨＣＫが供給される。図７のタイミングチャートに示すように、フレームクロックＶＣＫはＮＴＳＣ信号の１フレーム（１画面、２フィールド）ごとに発生する。行クロックＲＣＫはＮＴＳＣ信号の１走査線期間ごとに発生する。列クロックＨＣＫはＮＴＳＣ信号の１走査線中の映像期間（輝度信号期間）の間に２５６回発生する。いいかえると、列クロックＨＣＫは水平を２５６画素とみたときに各画素位置で発生する。
【００１５】
実画像ＮＴＳＣ信号は輝度検出回路３８のＡＤＣ５０によりアナログ／デジタル変換され、列クロックＨＣＫで動作するサンプリングレジスタ５２により、各画素のデジタル値がサンプリングされる。サンプリングレジスタ５２の出力は大小比較器５４に供給される。大小比較器５４はサンプリングレジスタ５２の出力値と（フレームクロックＶＣＫでリセットされる）ピークホールドレジスタ５６の内容とを比較し、サンプリングレジスタ５２の出力値の方が大きいとき、比較クロック出力を発生し、ピークホールドレジスタ５６に新たなピークであるピークホールドレジスタ５６の出力を取り込ませる、とともに列レジスタ６０と行レジスタ６４をクロック動作させる。
【００１６】
一方、列カウンタ５８は行クロックＲＣＫごとにリセットされ、列クロックＨＣＫをカウントする。行カウンタ６２はフレームクロックＶＣＫでリセットされ、行クロックＲＣＫをカウントする。
【００１７】
したがって、１フレーム（１画面）のなかで最高輝度をもつ画素の位置がこの輝度検出回路３８で検出されることになる。すなわち、最高輝度の画素のタイミングで、大小比較器５４から比較クロック出力が発生し、この比較クロック出力により、列レジスタ６０はその時点の列カウンタ５８の列カウント（最高輝度画素の列座標）を取り込み、行レジスタ６０はその時点の行カウンタ６２の行カウント（最高輝度画素の行座標）を取り込む。ここに、行カウントと列カウントとで示される最高輝度の画素位置は、演奏者４が操作しているペンライト２０の点灯ランプ２２の位置、即ち、実画像における特異点の位置を表わしている。
【００１８】
列レジスタ６０と行レジスタ６４の出力はマイコンシステム４６のポートに接続される。
マイコンシステム４６はタイミング回路３４からのフレームクロックＶＣＫに応答して図９に示すようなＶインタラプトルーチンを実行する。
【００１９】
先ずステップ９−１で輝度検出回路３８の行レジスタ６４と列レジスタ６０の内容である特異点（ペンライト）の位置を読み込む。次に、エリアテスト９−２を行なう。エリアテスト９−２では選択楽器ゲームの各楽器の操作エリアデータ（ＲＯＭ４８上）を特異点（ペンライト）の位置データと比較し、新たに特異点が操作エリアに入ったときにイベントフラグを立て、該当するイベントの種類（例えばハイハット、ドラム）をセットする。ステップ９−３でイベントフラグが立っていれば、ステップ９−４でイベントの種類に対応したスプライト表示指示をＣＧ発生器４２に与える。これはスプライト面１０２の表示位置データを含むスプライト表示コマンドをＣＧ発生器４２に送ることで行われる。これを受けてＣＧ発生器４２はバックグラウンド面上にスプライト面１０２を指示された位置に重ね合わせ、そのＮＴＳＣ信号を形成する。この結果、例えば、図８の１０８に示すようにシンバルがペンライトで仮想的（間接的）に打たれたときはシンバルの上方に音符スプライト面が表示される。
【００２０】
更にマイコンシステム４６はステップ９−５で該当するイベントの種類に対応する楽器の音色データ（ＲＯＭ４８上）を含む発音指示コマンドを音源４８に送る。これを受けて音源４８は対応する楽音信号を発生する。この楽音信号はオーディオ出力端子１６を介して外部に出力される。
【００２１】
以上で実施例の説明を終えるがこの発明の範囲内で種々の変形、応用が可能である。
【００２２】
例えば、特異点とその検出方式について、ペンライト以外のもの、輝度検出方式以外の方式が可能である。例えば、特定の形状（例えば星印）を特異点（検出対象）として、取り込んだ画像から特定の形状とその位置を認識することができる。
【００２３】
また、特異点は１つに限らず複数であってもよい。例えば２本のペンライトの各々の位置を輝度の検出によって特定することができる。これは、例えば、１フレーム中の複数の高輝度位置（最高輝度から順次Ｎ番目までの高輝度位置）をストアするメモリ（例えばシフトレジスタ）を輝度検出回路にもたせ、マイコンシステムで複数の高輝度位置のデータを調べ、最高輝度位置を第１ペンライトの位置と決め、この第１ペンライトの位置からある程度以上離れた位置を示す高輝度位置データを第２ペンライト位置と決めることで達成できる。
【００２４】
また、実施例ではディスプレイに表示される画面の一部を実画像としているが、実画像に代え、実画像に対応するＣＧ（コンピュータグラフィックス）画像を用いてもよい。あるいは実画像を処理して、ＣＧ画像を形成してもよい。これにより、バックグラウンドのＣＧ画像と実画像に基づくＣＧ画像の画質を合わせることができる。
この発明は楽器ゲームに限らず、その他の種々のゲーム機やパーソナルコンピュータ装置に応用可能である。
【００２５】
【発明の効果】
以上、詳細に述べたように、この発明ではユーザーは、自己を撮影した実画像と仮想画像との合成画像を見ながら演奏するような動作をすれば、対応する楽器音が発生すると共に演奏動作がなされたことを示すスプライト画像が表示される。
この結果、実際の楽器がなくとも、その楽器演奏を擬似的に行なうことができるようになる。また、演奏操作をして楽音が発生すると共に、楽器音が発生したことを知らせるスプライト画像が表示されるため、ユーザーは演奏操作により楽音が発生していることを視覚的に認識ができる。
【図面の簡単な説明】
【図１】実施例の位置検出装置の使用例を示す概要図。
【図２】位置検出装置の正面を示す図。
【図３】位置検出装置の背面を示す図。
【図４】ペンライトの外観を示す図。
【図５】位置検出装置の回路構成を示すブロック図。
【図６】輝度検出回路の構成を示すブロック図。
【図７】輝度検出回路に入力される信号のタイミングチャート。
【図８】画面の構成、重ね合わせ、及びスプライト面の制御を説明する図。
【図９】マイコンシステムの動作を示すタイムチャート。
【符号の説明】
３０ ＣＣＤ（撮像手段）
３８ 輝度検出回路（位置検出手段）
４６ マイコンシステム（制御手段）
２０ ペンライト（特異点）
Claims (1)
- 実画像を取り込む撮像手段と、
複数の楽器エリアを有する仮想画像を形成する仮想画像形成手段と、
前記仮想画像の各楽器エリアに対応したスプライト画像を形成するスプライト画像形成手段と、
前記撮像手段から取り込んだ実画像における特異点の位置を検出する位置検出手段と、
前記位置検出手段により検出された特異点の位置が前記仮想画像形成手段により形成された複数の楽器エリアを有する仮想画像の中のいずれかの楽器エリアに入ったか否かを検出する検出手段と、
前記検出手段によって前記特異点の位置が前記複数の楽器エリアを有する仮想画像の中のいずれかの楽器エリアに入ったことを検出したときは、前記特異点の位置が入った楽器エリアに対応する音を発生する音源手段と、
前記検出手段により前記複数の楽器エリアを有する仮想画像の中のいずれかの楽器エリアに入ったことが検出されないときは前記撮像手段から取り込んだ実画像と前記仮想画像形成手段により形成された仮想画像とを合成して出力すると共に、前記検出手段により前記特異点の位置が前記複数の楽器エリアを有する仮想画像の中のいずれかの楽器エリアに入ったことを検出したときは、前記特異点の位置が入った楽器エリアに対応するスプライト画像、前記実画像及び仮想画像を合成して出力する画像合成手段と、
を有することを特徴とする楽器ゲーム装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10592693A JP3599115B2 (ja) | 1993-04-09 | 1993-04-09 | 楽器ゲーム装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10592693A JP3599115B2 (ja) | 1993-04-09 | 1993-04-09 | 楽器ゲーム装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH06301476A JPH06301476A (ja) | 1994-10-28 |
| JP3599115B2 true JP3599115B2 (ja) | 2004-12-08 |
Family
ID=14420469
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10592693A Expired - Lifetime JP3599115B2 (ja) | 1993-04-09 | 1993-04-09 | 楽器ゲーム装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3599115B2 (ja) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103000171A (zh) * | 2011-08-23 | 2013-03-27 | 卡西欧计算机株式会社 | 演奏装置、发光控制装置及演奏装置的控制方法 |
| JP2013182195A (ja) * | 2012-03-02 | 2013-09-12 | Casio Comput Co Ltd | 演奏装置及びプログラム |
| CN103325363A (zh) * | 2012-03-19 | 2013-09-25 | 卡西欧计算机株式会社 | 演奏装置及方法 |
| JP2013190663A (ja) * | 2012-03-14 | 2013-09-26 | Casio Comput Co Ltd | 演奏装置及びプログラム |
| JP2013190690A (ja) * | 2012-03-14 | 2013-09-26 | Casio Comput Co Ltd | 演奏装置及びプログラム |
| JP2013190695A (ja) * | 2012-03-14 | 2013-09-26 | Casio Comput Co Ltd | 演奏装置及びプログラム |
| JP2013195466A (ja) * | 2012-03-15 | 2013-09-30 | Casio Comput Co Ltd | 演奏装置及びプログラム |
| JP2014062949A (ja) * | 2012-09-20 | 2014-04-10 | Casio Comput Co Ltd | 演奏装置、演奏方法及びプログラム |
| JP2014062948A (ja) * | 2012-09-20 | 2014-04-10 | Casio Comput Co Ltd | 演奏装置、演奏方法及びプログラム |
| JP2014062946A (ja) * | 2012-09-20 | 2014-04-10 | Casio Comput Co Ltd | 演奏装置、演奏方法及びプログラム |
| US9018507B2 (en) | 2011-08-23 | 2015-04-28 | Casio Computer Co., Ltd. | Musical instrument that generates electronic sound, light-emission controller used in this musical instrument, and control method of musical instrument |
| US9406242B2 (en) | 2012-03-07 | 2016-08-02 | Casio Computer Co., Ltd | Skill judging device, skill judging method and storage medium |
| US9514729B2 (en) | 2012-03-16 | 2016-12-06 | Casio Computer Co., Ltd. | Musical instrument, method and recording medium capable of modifying virtual instrument layout information |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE69939858D1 (de) * | 1998-08-31 | 2008-12-18 | Sony Corp | Bildverarbeitung |
| JP4352287B2 (ja) * | 1998-08-31 | 2009-10-28 | ソニー株式会社 | 画像処理装置、画像処理方法、および画像処理プログラム媒体 |
| JP3320381B2 (ja) * | 1998-11-12 | 2002-09-03 | 株式会社プレイモア | アミューズメント装置 |
| JP2009148605A (ja) * | 1999-09-07 | 2009-07-09 | Sega Corp | ゲーム装置、これに使用する入力手段、及び記憶媒体 |
| KR100433664B1 (ko) * | 2001-06-09 | 2004-05-31 | (주) 엠큐브테크놀로지 | 인체 사지위치 입력장치 |
| CN1280698C (zh) * | 2001-09-24 | 2006-10-18 | 皇家飞利浦电子股份有限公司 | 交互式系统以及交互方法 |
| JP4779071B2 (ja) * | 2004-01-22 | 2011-09-21 | 新世代株式会社 | 撮像装置及びそれを含むシステム |
| JP4677245B2 (ja) | 2004-03-03 | 2011-04-27 | キヤノン株式会社 | 画像表示方法、プログラム、画像表示装置及び画像表示システム |
| TWI412392B (zh) * | 2005-08-12 | 2013-10-21 | Koninkl Philips Electronics Nv | 互動式娛樂系統及其操作方法 |
| JP4632974B2 (ja) * | 2006-03-09 | 2011-02-16 | アルパイン株式会社 | 車載オーディオシステム |
| JP5089060B2 (ja) | 2006-03-14 | 2012-12-05 | 株式会社ソニー・コンピュータエンタテインメント | エンタテインメントシステムおよびゲームコントローラ |
| JP4569613B2 (ja) * | 2007-09-19 | 2010-10-27 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
| JP5861517B2 (ja) * | 2012-03-16 | 2016-02-16 | カシオ計算機株式会社 | 演奏装置及びプログラム |
| JP5974567B2 (ja) * | 2012-03-19 | 2016-08-23 | カシオ計算機株式会社 | 楽音発生装置 |
| JP2018017806A (ja) * | 2016-07-26 | 2018-02-01 | ヤマハ株式会社 | 楽器音発生システム、及び、楽器音発生方法 |
| CN106652656A (zh) * | 2016-10-18 | 2017-05-10 | 朱金彪 | 利用虚拟乐器学习和演奏的方法、装置以及使用其的眼镜或头盔 |
| CN106648083B (zh) * | 2016-12-09 | 2019-12-31 | 广州华多网络科技有限公司 | 增强演奏场景合成控制方法及装置 |
-
1993
- 1993-04-09 JP JP10592693A patent/JP3599115B2/ja not_active Expired - Lifetime
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103000171A (zh) * | 2011-08-23 | 2013-03-27 | 卡西欧计算机株式会社 | 演奏装置、发光控制装置及演奏装置的控制方法 |
| US9018507B2 (en) | 2011-08-23 | 2015-04-28 | Casio Computer Co., Ltd. | Musical instrument that generates electronic sound, light-emission controller used in this musical instrument, and control method of musical instrument |
| JP2013182195A (ja) * | 2012-03-02 | 2013-09-12 | Casio Comput Co Ltd | 演奏装置及びプログラム |
| US8759659B2 (en) | 2012-03-02 | 2014-06-24 | Casio Computer Co., Ltd. | Musical performance device, method for controlling musical performance device and program storage medium |
| US9406242B2 (en) | 2012-03-07 | 2016-08-02 | Casio Computer Co., Ltd | Skill judging device, skill judging method and storage medium |
| JP2013190663A (ja) * | 2012-03-14 | 2013-09-26 | Casio Comput Co Ltd | 演奏装置及びプログラム |
| US8664508B2 (en) | 2012-03-14 | 2014-03-04 | Casio Computer Co., Ltd. | Musical performance device, method for controlling musical performance device and program storage medium |
| JP2013190695A (ja) * | 2012-03-14 | 2013-09-26 | Casio Comput Co Ltd | 演奏装置及びプログラム |
| JP2013190690A (ja) * | 2012-03-14 | 2013-09-26 | Casio Comput Co Ltd | 演奏装置及びプログラム |
| US8969699B2 (en) | 2012-03-14 | 2015-03-03 | Casio Computer Co., Ltd. | Musical instrument, method of controlling musical instrument, and program recording medium |
| US8710345B2 (en) | 2012-03-14 | 2014-04-29 | Casio Computer Co., Ltd. | Performance apparatus, a method of controlling the performance apparatus and a program recording medium |
| JP2013195466A (ja) * | 2012-03-15 | 2013-09-30 | Casio Comput Co Ltd | 演奏装置及びプログラム |
| US8723013B2 (en) | 2012-03-15 | 2014-05-13 | Casio Computer Co., Ltd. | Musical performance device, method for controlling musical performance device and program storage medium |
| US9514729B2 (en) | 2012-03-16 | 2016-12-06 | Casio Computer Co., Ltd. | Musical instrument, method and recording medium capable of modifying virtual instrument layout information |
| US9018510B2 (en) | 2012-03-19 | 2015-04-28 | Casio Computer Co., Ltd. | Musical instrument, method and recording medium |
| CN103325363B (zh) * | 2012-03-19 | 2016-03-23 | 卡西欧计算机株式会社 | 演奏装置及方法 |
| CN103325363A (zh) * | 2012-03-19 | 2013-09-25 | 卡西欧计算机株式会社 | 演奏装置及方法 |
| JP2014062946A (ja) * | 2012-09-20 | 2014-04-10 | Casio Comput Co Ltd | 演奏装置、演奏方法及びプログラム |
| JP2014062948A (ja) * | 2012-09-20 | 2014-04-10 | Casio Comput Co Ltd | 演奏装置、演奏方法及びプログラム |
| JP2014062949A (ja) * | 2012-09-20 | 2014-04-10 | Casio Comput Co Ltd | 演奏装置、演奏方法及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH06301476A (ja) | 1994-10-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3599115B2 (ja) | 楽器ゲーム装置 | |
| JP6127367B2 (ja) | 演奏装置及びプログラム | |
| JP5598490B2 (ja) | 演奏装置、方法及びプログラム | |
| JP2002196855A (ja) | 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス | |
| JP4783456B2 (ja) | 映像再生装置及び映像再生方法 | |
| JP2013190690A (ja) | 演奏装置及びプログラム | |
| US7009100B2 (en) | Performance instruction apparatus and performance instruction program used in the performance instruction apparatus | |
| JPH06301475A (ja) | 位置検出装置 | |
| JP2005204724A5 (ja) | ||
| JP2005300971A (ja) | 操作支援システム、及び操作支援方法 | |
| JPH06301474A (ja) | 位置検出装置 | |
| JPH07155467A (ja) | 遊戯者の画像入力を有するビデオゲーム装置 | |
| JP2008076765A (ja) | 演奏システム | |
| JP2004198761A (ja) | 演奏教習装置および演奏教習処理のプログラム | |
| JP3643829B2 (ja) | 楽音生成装置、楽音生成プログラムおよび楽音生成方法 | |
| JPH1063421A (ja) | ディスプレイの座標入力方法及びディスプレイ装置 | |
| JP3968651B2 (ja) | 演奏教習装置 | |
| JP4389501B2 (ja) | 画像処理装置 | |
| JP4008119B2 (ja) | 位置特定装置および位置特定プログラムを記録した記録媒体 | |
| JP3145062B2 (ja) | 連射検出方法及び記録媒体 | |
| JP4075720B2 (ja) | 演奏データ生成装置 | |
| JP2000267659A (ja) | 動き検出用装着具 | |
| JP4303518B2 (ja) | プログラム、情報記憶媒体及び画像生成装置 | |
| JP2000293172A (ja) | 管楽器演奏練習装置及び管楽器演奏練習処理プログラムを記録した記録媒体。 | |
| JP2003058155A (ja) | 演奏教習装置及び演奏教習処理のプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040709 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040908 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090924 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100924 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100924 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110924 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120924 Year of fee payment: 8 |