JP4221035B2 - ゲーム音出力装置、音像定位制御方法、および、プログラム - Google Patents

ゲーム音出力装置、音像定位制御方法、および、プログラム Download PDF

Info

Publication number
JP4221035B2
JP4221035B2 JP2007091998A JP2007091998A JP4221035B2 JP 4221035 B2 JP4221035 B2 JP 4221035B2 JP 2007091998 A JP2007091998 A JP 2007091998A JP 2007091998 A JP2007091998 A JP 2007091998A JP 4221035 B2 JP4221035 B2 JP 4221035B2
Authority
JP
Japan
Prior art keywords
sound
game
sound signal
listening
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007091998A
Other languages
English (en)
Other versions
JP2008245984A (ja
Inventor
和則 秀谷
亮治 牧村
壮太郎 戸島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konami Digital Entertainment Co Ltd
Original Assignee
Konami Digital Entertainment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konami Digital Entertainment Co Ltd filed Critical Konami Digital Entertainment Co Ltd
Priority to JP2007091998A priority Critical patent/JP4221035B2/ja
Publication of JP2008245984A publication Critical patent/JP2008245984A/ja
Application granted granted Critical
Publication of JP4221035B2 publication Critical patent/JP4221035B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、仮想空間に配置される発音オブジェクト(仮想の発音体)から発せられるゲーム音を、より聞き易く出力することのできるゲーム音出力装置、音像定位制御方法、および、プログラムに関する。
従来より、種々のゲーム装置(ビデオゲーム装置等)が、家庭用や業務用として開発されてきている。このようなゲーム装置は、一般に、仮想空間内にキャラクタ等のオブジェクトを配置したゲーム画像を表示すると共に、効果音、背景音、及び、発声音といった種々のゲーム音を出力している。
近年では、ハードウェア性能の向上や画像処理技術の発達等によって、高精度なゲーム画像を高速に(リアルタイムに)生成して表示可能であるため、プレイヤがあたかも仮想空間内にいるかのように、ゲームを楽しむことができるようになっている。
一方、ゲーム音についても、リアリティをより高める工夫がなされている。一例として、レースゲームにおいて、周囲の固定物の種類(トンネル、壁、樹木等)を特定し、その種類に応じて固定物からの仮想的な反射音を変化させる3次元ゲーム装置の技術も開示されている(例えば、特許文献1参照)。
特開2002−336544号公報 (第4−5頁、第1図)
上述したようなゲーム音のリアリティを高めたゲーム装置では、例えば、プレイヤに操作される自キャラクタが仮想空間で聞く(聴く)音を、そのプレイヤが実空間で聞くことができるようにゲーム音を出力している。
例えば、マルチチャンネルに対応したゲーム音を出力する場合には、サラウンドスピーカが用いられている。一例として、5.1チャンネルの場合、図10(a)に示すように、ディスプレイDに向かうプレイヤPの周りに、左フロントスピーカL、センタースピーカC、右フロントスピーカR、左リアスピーカLs、右リアスピーカRs、及び、サブウーファSWが適宜配置されている。そして、ゲーム装置は、聴取オブジェクトと発音オブジェクトとの位置関係等に応じて、各スピーカから出力する音を適宜制御している。
具体的に、仮想空間内にて、図10(b)に示すような、聴取オブジェクトとなる自キャラクタJcと、発音オブジェクトとなる敵キャラクタTc1,Tc2とが配置されている場合について説明すると、ゲーム装置は、敵キャラクタTc1の音(ピストル音)がプレイヤPの左前方から聞こえるように音像定位させ、また、敵キャラクタTc2の音(雄叫び)がプレイヤPの右後方から聞こえるように音像定位させる。
つまり、ピストル音については、図10(a)に示す左フロントスピーカLの方向から聞こえるような音信号を生成して出力し、また、雄叫びについては、右リアトスピーカRsの方向から聞こえるような音信号を生成して出力している。
しかしながら、従来のゲーム装置では、このように、仮想空間における聴取オブジェクトと発音オブジェクトとの位置関係を忠実に反映して、実際のゲーム音を出力するため、プレイヤが長時間プレイすると耳が疲れてしまう(いわゆる「聞き疲れ」が生じてしまう)ことが懸念されていた。
つまり、ゲーム中における各発音オブジェクトの位置等に応じて、対応する様々な方向から音が聞こえるように音像定位されることになる。そして、プレイヤは、それら多くの音に注意を払う必要があるため、長時間プレイすると耳が疲れてしまうことがあった。
そのため、このような聞き疲れを低減し、ゲーム音をより聞き易く出力する技術が求められていた。
本発明は、このような課題を解決するためになされたもので、仮想空間に配置される発音オブジェクトから発せられるゲーム音を、より聞き易く出力することのできるゲーム音出力装置、音像定位制御方法、および、プログラムを提供することを目的とする。
本発明の第1の観点に係るゲーム音出力装置は、仮想空間内に発音オブジェクト及び聴取オブジェクトが配置され、当該聴取オブジェクトにて聴取した音をゲーム音として出力するゲーム音出力装置であって、位置情報管理部、音信号生成部、音信号加工部、及び、ゲーム音出力部を含んで構成される。
まず、位置情報管理部は、発音オブジェクト及び聴取オブジェクトの仮想空間における位置情報を管理する。また、音信号生成部は、管理される当該位置情報により得られる発音オブジェクトと聴取オブジェクトとの位置関係(互いの向き等を含む位置関係)に基づいて、発音オブジェクトから発せられる音信号を生成する。音信号加工部は、当該両オブジェクト間の距離に基づいて(例えば、両オブジェクト間の距離が遠いほど影響を大きくし、逆に、距離が近いほど影響を小さくしつつ)、後方からの音が前方に音像定位するように、音信号生成部に生成された当該音信号を加工する。そして、ゲーム音出力部は、加工された当該音信号に従ったゲーム音を出力する。
このように、両オブジェクト間の距離がある程度離れている場合には、距離に応じた影響を大きくし、後方からの音が前方に音像定位するように加工して出力する。つまり、発音オブジェクトが近距離でないならば、様々な位置に配置されていても、ゲーム音が前方から聞こえるため、プレイヤが長時間プレイしても、耳が疲れずに済むことになる。
一方、両オブジェクト間の距離がある程度近い(近距離である)場合には、影響を小さくし、音信号をほとんど加工せずに、そのまま発音オブジェクトの位置(方向)に音像定位させたゲーム音を出力する。つまり、発音オブジェクトが近距離の場合には、ゲーム音がその方向(発音オブジェクトの位置)から聞こえることになる。ゲーム音からもその発音オブジェクトの位置(方向)を認識できるため、ゲーム性を損なうこともない。
この結果、仮想空間に配置される発音オブジェクトから発せられるゲーム音を、より聞き易く出力することができる。
前記音信号生成部は、発音オブジェクトから発せられ、聴取オブジェクトが聴取する音の音信号を生成し、
前記音信号加工部は、音密度が前方所定方向で最高密度となり、かつ、後方所定方向で最低密度となるフィルタ式に、当該両オブジェクト間の距離に応じた影響率を乗じて表される演算式を用いて、当該音信号を加工してもよい。
この場合、フィルタを用いた演算式によって、両オブジェクト間の距離を考慮しつつ、後方からの音が前方に音像定位するように加工できる。
本発明の第2の観点に係るゲーム音出力装置は、仮想空間内に発音オブジェクト及び聴取オブジェクトが配置され、当該聴取オブジェクトにて聴取した音をゲーム音として出力するゲーム音出力装置であって、位置情報管理部、位置変換部、音信号生成部、及び、ゲーム音出力部を含んで構成される。
まず、位置情報管理部は、発音オブジェクト及び聴取オブジェクトの仮想空間における位置情報を管理する。また、位置変換部は、管理される当該位置情報により得られる聴取オブジェクトを基準とした発音オブジェクトの位置が、後方所定範囲(例えば、近距離と定めた距離以上に離れた後方領域)内に属する場合に、前方所定範囲(例えば、後方領域に対応する前方領域)内に移動するように、当該発音オブジェクトの位置を変換する。音信号生成部は、変換された当該発音オブジェクトの位置と、聴取オブジェクトの位置との関係(互いの向き等を含む位置関係)に基づいて、発音オブジェクトから発せられる音信号を生成する。そして、ゲーム音出力部は、生成された当該音信号に従ったゲーム音を出力する。
このように、聴取オブジェクトからある程度離れた後方領域内に発音オブジェクトが配置されている場合では、その位置が前方領域内変換され、ゲーム音が前方から聞こえるように出力される。つまり、聴取オブジェクトに対して、発音オブジェクトが後方に配置されていても、近距離でない限り、ゲーム音が前方から聞こえるため、プレイヤが長時間プレイしても、耳が疲れずに済むことになる。
一方、発音オブジェクトが聴取オブジェクトの後方に配置されていても、近距離である場合には、後方領域に属しないため、その位置を変換されず、そのまま本来の、発音オブジェクトの位置(方向)に音像定位させたゲーム音が出力される。つまり、発音オブジェクトが近距離等の場合には、ゲーム音がその方向(発音オブジェクトの位置)から聞こえることになる。ゲーム音からもその発音オブジェクトの位置(方向)を認識できるため、ゲーム性を損なうこともない。
この結果、仮想空間に配置される発音オブジェクトから発せられるゲーム音を、より聞き易く出力することができる。
前記ゲーム音出力部は、前記音信号加工部により加工された音信号に従い、マルチチャンネル(例えば、5.1チャンネル)のスピーカからゲーム音を出力してもよい。
この場合、マルチチャンネルの各スピーカから出力されるゲーム音により、プレイヤが音が聞こえる方向等を把握しやすくなる。
本発明の第3の観点に係る音像定位制御方法は、仮想空間内に発音オブジェクト及び聴取オブジェクトが配置され、当該聴取オブジェクトにて聴取した音をゲーム音として出力するゲーム音出力装置における音像定位制御方法であって、位置情報管理ステップ、音信号生成ステップ、音信号加工ステップ、及び、ゲーム音出力ステップを含んで構成される。
まず、位置情報管理ステップでは、発音オブジェクト及び聴取オブジェクトの仮想空間における位置情報を管理する。また、音信号生成ステップでは、管理される当該位置情報により得られる発音オブジェクトと聴取オブジェクトとの位置関係に基づいて、発音オブジェクトから発せられる音信号を生成する。音信号加工ステップでは、当該両オブジェクト間の距離に基づいて(例えば、両オブジェクト間の距離が遠いほど影響を大きくし、逆に、距離が近いほど影響を小さくしつつ)、後方からの音が前方に音像定位するように、音信号生成ステップにて生成された当該音信号を加工する。そして、ゲーム音出力ステップでは、加工された当該音信号に従ったゲーム音を出力する。
このように、両オブジェクト間の距離がある程度離れている場合には、距離に応じた影響を大きくし、後方からの音が前方に音像定位するように加工して出力する。つまり、発音オブジェクトが近距離でないならば、様々な位置に配置されていても、ゲーム音が前方から聞こえるため、プレイヤが長時間プレイしても、耳が疲れずに済むことになる。
一方、両オブジェクト間の距離がある程度近い(近距離である)場合には、影響を小さくし、音信号をほとんど加工せずに、そのまま発音オブジェクトの位置(方向)に音像定位させたゲーム音を出力する。つまり、発音オブジェクトが近距離の場合には、ゲーム音がその方向(発音オブジェクトの位置)から聞こえることになる。ゲーム音からもその発音オブジェクトの位置(方向)を認識できるため、ゲーム性を損なうこともない。
この結果、仮想空間に配置される発音オブジェクトから発せられるゲーム音を、より聞き易く出力することができる。
本発明の第4の観点に係るプログラムは、コンピュータ(電子機器を含む。)を、上記のゲーム音出力装置として機能させるように構成する。
このプログラムは、コンパクトディスク、フレキシブルディスク、ハードディスク、光磁気ディスク、ディジタルビデオディスク、磁気テープ、半導体メモリ等のコンピュータ読取可能な情報記録媒体に記録することができる。
上記プログラムは、当該プログラムが実行されるコンピュータとは独立して、コンピュータ通信網を介して配布・販売することができる。また、上記情報記録媒体は、当該コンピュータとは独立して配布・販売することができる。
本発明によれば、仮想空間に配置される発音オブジェクトから発せられるゲーム音を、より聞き易く出力することができる。
以下に本発明の実施形態を説明する。以下では、理解を容易にするため、ゲーム装置に本発明が適用される実施形態を説明するが、各種のコンピュータ、PDA、携帯電話などの情報処理装置においても同様に本発明を適用することができる。すなわち、以下に説明する実施形態は説明のためのものであり、本願発明の範囲を制限するものではない。したがって、当業者であればこれらの各要素または全要素をこれと均等なものに置換した実施形態を採用することが可能であるが、これらの実施形態も本発明の範囲に含まれる。
(実施形態1)
図1は、本発明の実施の形態に係るゲーム音出力装置が実現される典型的なゲーム装置の概要構成を示す模式図である。以下、本図を参照して説明する。
ゲーム装置100は、CPU(Central Processing Unit)101と、ROM(Read Only Memory)102と、RAM(Random Access Memory)103と、インターフェース104と、コントローラ105と、外部メモリ106と、DVD(Digital Versatile Disk)−ROMドライブ107と、画像処理部108と、音声処理部109と、NIC(Network Interface Card)110と、を備える。
なお、ゲーム用のプログラムおよびデータを記憶したDVD−ROMをDVD−ROMドライブ107に装着して、ゲーム装置100の電源を投入することにより、当該プログラムが実行され、本実施形態のゲーム音出力装置が実現される。
CPU 101は、ゲーム装置100全体の動作を制御し、各構成要素と接続され制御信号やデータをやりとりする。
ROM 102には、電源投入直後に実行されるIPL(Initial Program Loader)が記録され、これが実行されることにより、DVD−ROMに記録されたプログラムをRAM 103に読み出してCPU 101による実行が開始される。また、ROM 102には、ゲーム装置100全体の動作制御に必要なオペレーティングシステムのプログラムや各種のデータが記録される。
RAM 103は、データやプログラムを一時的に記憶するためのもので、DVD−ROMから読み出したプログラムやデータ、その他ゲームの進行やチャット通信に必要なデータが保持される。
インターフェース104を介して接続されたコントローラ105は、ユーザがゲーム実行の際に行う操作入力を受け付ける。たとえば、コントローラ105は、操作入力に従って、文字列(メッセージ)等の入力を受け付ける。
インターフェース104を介して着脱自在に接続された外部メモリ106には、ゲームの進行状態を示すデータ、チャット通信のログ(記録)のデータなどが書き換え可能に記憶される。ユーザは、コントローラ105を介して指示入力を行うことにより、これらのデータを適宜外部メモリ106に記録することができる。
DVD−ROMドライブ107に装着されるDVD−ROMには、ゲームを実現するためのプログラムとゲームに付随する画像データや音声データが記録される。CPU 101の制御によって、DVD−ROMドライブ107は、これに装着されたDVD−ROMに対する読み出し処理を行って、必要なプログラムやデータを読み出し、これらはRAM 103等に一時的に記憶される。
画像処理部108は、DVD−ROMから読み出されたデータをCPU 101や画像処理部108が備える画像演算プロセッサ(図示せず)によって加工処理した後、これを画像処理部108が備えるフレームメモリ(図示せず)に記録する。フレームメモリに記録された画像情報は、所定の同期タイミングでビデオ信号に変換され画像処理部108に接続されるモニタ(図示せず)へ出力される。これにより、各種の画像表示が可能となる。
なお、画像演算プロセッサは、2次元の画像の重ね合わせ演算やαブレンディング等の透過演算、各種の飽和演算を高速に実行できる。
また、仮想3次元空間に配置され、各種のテクスチャ情報が付加されたポリゴン情報を、Zバッファ法によりレンダリングして、所定の視点位置から仮想3次元空間に配置されたポリゴンを俯瞰したレンダリング画像を得る演算の高速実行も可能である。
さらに、CPU 101と画像演算プロセッサが協調動作することにより、文字の形状を定義するフォント情報にしたがって、文字列を2次元画像としてフレームメモリへ描画したり、各ポリゴン表面へ描画することが可能である。フォント情報は、ROM 102に記録されているが、DVD−ROMに記録された専用のフォント情報を利用することも可能である。
音声処理部109は、DVD−ROMから読み出した音声データをアナログ音声信号に変換し、これに接続されたスピーカ(図示せず)から出力させる。また、CPU 101の制御の下、ゲームの進行の中で発生させるべき効果音や楽曲データを生成し、これに対応した音声をスピーカから出力させる。
なお、ゲーム装置100には、例えば、マルチチャネルのサラウンドスピーカが接続されており、音声処理部109は、マルチチャネル対応の音信号を生成して各スピーカから出力させる。
NIC 110は、ゲーム装置100をインターネット等のコンピュータ通信網(図示せず)に接続するためのものであり、LAN(Local Area Network)を構成する際に用いられる10BASE−T/100BASE−T規格にしたがうものや、電話回線を用いてインターネットに接続するためのアナログモデム、ISDN(Integrated Services Digital Network)モデム、ADSL(Asymmetric Digital Subscriber Line)モデム、ケーブルテレビジョン回線を用いてインターネットに接続するためのケーブルモデム等と、これらとCPU 101との仲立ちを行うインターフェース(図示せず)により構成される。
このほか、ゲーム装置100は、ハードディスク等の大容量外部記憶装置を用いて、ROM 102、RAM 103、外部メモリ106、DVD−ROMドライブ107に装着されるDVD−ROM等と同じ機能を果たすように構成してもよい。
また、ユーザからの文字列の編集入力を受け付けるためのキーボードや、各種の位置の指定および選択入力を受け付けるためのマウスなどを接続する形態も採用することができる。
また、本実施形態のゲーム装置100にかえて、一般的なコンピュータ(汎用のパーソナルコンピュータ等)をゲーム音出力装置として利用することもできる。たとえば、一般的なコンピュータは、上記ゲーム装置100と同様に、CPU、RAM、ROM、DVD−ROMドライブ、および、NICを備え、ゲーム装置100よりも簡易な機能を備えた画像処理部を備え、外部記憶装置としてハードディスクを有する他、フレキシブルディスク、光磁気ディスク、磁気テープ等が利用できるようになっている。また、コントローラではなく、キーボードやマウスなどを入力装置として利用する。そして、ゲームプログラムをインストールした後に、そのプログラムを実行させると、ゲーム音出力装置として機能する。
(ゲーム音出力装置の概要構成)
図2は、本発明の第1の実施形態に係るゲーム音出力装置の概要構成を示す模式図である。このゲーム音出力装置は、一例として、音を発する発音オブジェクト(例えば、敵キャラクタ)と、当該発せられる音を聴取する聴音オブジェクト(例えば、自キャラクタ)とがゲーム装置における仮想空間内に配置され、当該聴音オブジェクトにて聴取した音をゲーム音として出力する装置である。
このゲーム音出力装置は、一例として、5.1チャンネルのサラウンドスピーカを使用してゲーム音を出力する。なお、チャンネル数は、これに限られず適宜変更可能である。
具体的には、図3に示すように、左フロントスピーカL、センタースピーカC、右フロントスピーカR、左リアスピーカLs、右リアスピーカRs、及び、サブウーファSWが、プレイヤPの周りに適宜配置されている。この配置は、一例として、ITU(International Telecommunication Union)勧告に沿ったものとなっている。
以下、これらの図面を参照して説明する。
図2に示すように、ゲーム音出力装置200は、オブジェクト記憶部201と、操作部202と、位置管理部203と、画像生成部204と、音源205と、音信号生成部206と、音信号加工部207と、ゲーム音出力部208とを備える。
まず、オブジェクト記憶部201は、仮想空間内に配置される種々のオブジェクトに関する情報を記憶する。
例えば、オブジェクト記憶部201は、プレイヤが操作する自キャラクタ(聴取オブジェクト)や、銃声や雄叫び等を発する敵キャラクタ(発音オブジェクト)を含む各種オブジェクトの情報を記憶する。この他にも、建物のような固定物等のオブジェクトの情報も記憶している。
なお、発音オブジェクトとなる敵キャラクタは、後述する音源205における何れかの音データと対応付けられている。
そして、RAM 103が、このようなオブジェクト記憶部201として機能しうる。
操作部202は、プレイヤの操作に従って、所定の指示情報を受け付ける。例えば、操作部202は、仮想空間内における自キャラクタに対する移動指示や動作指示等を受け付ける。
なお、コントローラ105がこのような操作部202として機能しうる。
位置管理部203は、自キャラクタや敵キャラクタといった仮想空間内で位置が変化するオブジェクトの位置情報(現在位置や向き等)を管理する。例えば、自キャラクタは、操作部202によって受け付けた移動指示等に従って、仮想空間内の位置や向きが変化するため、位置管理部203にその位置情報が管理される。また、発音オブジェクトとなる敵キャラクタも所定のロジックに従って適宜移動し、仮想空間内の位置等が変化するため、同様に位置情報が管理される。
なお、RAM 103及びCPU 101が、このような位置管理部203として機能しうる。
画像生成部204は、オブジェクト記憶部201及び位置管理部203にて記憶(管理)される情報に基づいて、ゲーム画像を生成する。例えば、画像生成部204は、オブジェクト記憶部201に記憶される固定物等のオブジェクトを仮想空間内の所定位置に配置し、また、プレイヤに操作される自キャラクタや、適宜移動する敵キャラクタを、位置管理部203に管理される現在位置に配置する。そして、所定の視点位置(仮想カメラ)から各オブジェクトを透視変換し、隠面消去やテクスチャマッピング等を行って、表示用のゲーム画像を生成する。
具体的に、画像生成部204は、図4に示すような、自キャラクタJc、銃を乱射する敵キャラクタTc1、雄叫びを上げる敵キャラクタTc2、及び、靴を鳴らす敵キャラクタTc3等のオブジェクトを含むゲーム画像を生成する。
なお、画像処理部108が、このような画像生成部204として機能しうる。
図2に戻って、音源205は、予め作成されている複数種類の音データを管理しており、音信号生成部206に読み出され、ゲーム音のベースとなる音信号が生成される。例えば、音源205は、PCM音源やMIDI音源等からなり、ピストル音、雄叫び、靴音等の音データを含んでいる。
音信号生成部206は、仮想空間内における自キャラクタの位置(聴取位置)と、敵キャラクタの発音位置との関係に従って、音源205を使用した音信号を生成する。
例えば、音信号生成部206は、敵キャラクタの音(ピストル音、雄叫び、靴音等)を音源205から得ると、位置管理部203に管理される情報を参照して、自キャラクタと敵キャラクタとの位置関係(互いの向き等を含む位置関係)を求め、敵キャラクタから発せられた音を自キャラクタが聞くとした場合の音信号を生成する。つまり、聴取オブジェクトの位置(正面)を基準として、発音オブジェクトの位置(方向)から聞こえる音信号を生成する。
そして、音声処理部109が、このような音源205及び、音信号生成部206として機能しうる。
音信号加工部207は、音信号生成部206が生成した音信号を、プレイヤが聞き易いように加工する。
具体的に音信号加工部207は、以下の数式1の演算式を用いて、音密度が前方(左右76度付近)で最高密度となり、かつ、後方(180度)が最低密度となるように、音信号にフィルタをかける(フィルタ演算を行う)。
[数1]
ρ=−0.5×(cos(180+θ)+cos(2θ))×α
ρ:音密度
θ:角度(プレイヤ正面となるセンタースピーカの方向を0度とした角度)
α:聴取オブジェクトと発音オブジェクトとの距離に応じた影響率(遠距離ほど影響率が大きく、近距離ほど影響率が小さい)
この数式1中の「−0.5×(cos(180+θ)+cos(2θ))」は、図5(a)に示すようなグラフで表される。つまり、変化のない0度(真正面)を基準として、左右76度(+76度,−76度)付近で最大となり、左右180度(+180度,−180度;つまり、真後ろ)で最小となる。これは、図5(b)に示すように、左フロントスピーカLと左リアスピーカLsとの中間となる左76度付近、及び、右フロントスピーカRと右リアスピーカRsとの中間となる右76度付近の音密度が高くなり、逆に、真後ろとなる180度付近の音密度が低くなるフィルタ(フィルタ式)であることを示している。
音信号加工部207は、このようなフィルタにより、音像定位させる角度を前方に変化させている。例えば、発音オブジェクトの位置が聴取オブジェクトの後方であっても、このようなフィルタによって、前方に音像定位させる(両オブジェクト間の距離が近くない場合)。つまり、本来、後方から聞こえるはずの音であっても、前方から聞こえるように変化させている。
なお、数式1では、このようなフィルタ式に、α(距離に応じた影響率)を乗じているため、両オブジェクト間の距離が遠いほどフィルタの影響を大きくし(影響率大)、逆に、距離が近いほどフィルタの影響を小さくしている(影響率小)。
これにより、両オブジェクト間の距離がある程度近ければ、フィルタによる影響をほとんど受けずに、音信号生成部206が生成した音信号のままとなり、本来通り、発音オブジェクトの位置(方向)に音像定位させる。例えば、発音オブジェクトの位置が聴取オブジェクトのすぐ後ろであれば、後方から聞こえるようにそのまま音像定位させる。
そして、CPU 101等が、このような音信号加工部207として機能しうる。
図2に戻って、ゲーム音出力部208は、音信号加工部207により適宜加工された音信号に基づいて、ゲーム音をマルチチャネルのサラウンドスピーカから出力する。つまり、加工後の音信号に基づいて、上述した図3に示す各スピーカL,C,R,Ls,Rs,SWを駆動させ、ゲーム音を出力する。
すなわち、聴取オブジェクトと発音オブジェクトとの間が近距離でない(ある程度離れている)場合には、距離に応じた影響率が大きいため、ゲーム音出力部208は、上述したフィルタにより加工された音信号によって、前方に音像定位させたゲーム音を出力する。例えば、図6(a)に示すように、自キャラクタJcからある程度離れた位置に敵キャラクタTc1〜Tc3がそれぞれ配置されている場合では、加工された音信号によって、敵キャラクタTc1,Tc2だけでなく、敵キャラクタTc3の音も前方から聞こえるように出力される。
つまり、聴取オブジェクトに対して、発音オブジェクトが様々な位置に配置されていても、原則として(近距離でない限り)、ゲーム音が前方から聞こえるため、プレイヤが長時間プレイしても、耳が疲れずに済むことになる。
一方、両オブジェクトが近距離である場合には、フィルタによる影響をほとんど受けずに、ゲーム音出力部208は、発音オブジェクトの位置(方向)に音像定位させたゲーム音を出力する。例えば、図6(b)に示すように、自キャラクタJcの近く(すぐ後ろ)に敵キャラクタTc3が配置されている場合では、影響率が小さいため、敵キャラクタTc3の音は、そのまま後方から聞こえるように出力される。
つまり、敵キャラクタが自キャラクタの近傍に位置する場合では、その敵キャラクタ(発音オブジェクト)の位置に音像定位させたゲーム音を出力することになる。このため、自キャラクタが敵キャラクタを攻撃したり、逆に、敵キャラクタから攻撃されるというような状況では、プレイヤは、ゲーム音からもその敵キャラクタの位置(方向)を認識できるため、ゲーム性を損なうこともない。
そして、音声処理部109が、このようなゲーム音出力部208として機能しうる。
(ゲーム音出力装置の動作の概要)
図7は、上述した構成のゲーム音出力装置200において実行される音像定位制御処理の流れを示すフローチャートである。以下、本図を参照してゲーム音出力装置200の動作について説明する。この音像定位制御処理は、聴取オブジェクトとなる自キャラクタ、及び、発音オブジェクトとなる敵キャラクタが登場する所定のゲーム実行中において、リアルタイムに(例えば、1/60秒毎に)、繰り返し実行される。
まず、ゲーム音出力装置200は、仮想空間内における各オブジェクトの現在位置を取得する(ステップS301)。つまり、オブジェクト記憶部201及び位置管理部203にて記憶(管理)される情報に基づいて、自キャラクタや発音オブジェクトとなる敵キャラクタの位置(正面向き等も)を取得する。
ゲーム音出力装置200は、発音オブジェクトから発せられ、聴取オブジェクトが聞くとした場合の音信号を生成する(ステップS302)。
すなわち、音信号生成部206は、仮想の聴取オブジェクトと発音オブジェクトとの位置関係に応じて、発音オブジェクトの位置(方向)に音像定位させる音信号を生成する。つまり、聴取オブジェクトの位置(正面)を基準として、発音オブジェクトの位置(方向)から聞こえる音信号を生成する。
ゲーム音出力装置200は、フィルタ式に、距離に応じた影響率を乗じて表される演算式を用いて、音信号を加工する(ステップS303)。
すなわち、音信号加工部207は、上述した数式1の演算式を用いて、音密度が前方(左右76度付近)で最高密度となり、かつ、後方(180度)が最低密度となるように、音信号にフィルタをかける。なお、この際、発音オブジェクトとの距離に応じた影響率αをフィルタ式に乗じているため、両オブジェクト間の距離が遠いほどフィルタの影響を大きくし、逆に、距離が小さいほどフィルタの影響を小さくしている。
ゲーム音出力装置200は、加工された音信号に従ったゲーム音を出力する(ステップS304)。
すなわち、ゲーム音出力部208は、加工された音信号に基づいて、ゲーム音を5.1チャネルのサラウンドスピーカから出力する。
このような音像定位制御処理により、聴取オブジェクトと発音オブジェクトとの間が近距離でない場合には、距離に応じた影響率が大きいため、フィルタにより加工された音信号によって、前方に音像定位されたゲーム音が出力される。つまり、近距離でないならば(両オブジェクト間がある程度離れていれば)、発音オブジェクトが様々な位置に配置されていても、ゲーム音が前方から聞こえるため、プレイヤが長時間プレイしても、耳が疲れずに済むことになる。
一方、両オブジェクト間の距離が近い(近距離である)場合には、影響率が小さいため、フィルタによる影響をほとんど受けずに、発音オブジェクトの位置(方向)に音像定位させたゲーム音が出力される。
つまり、敵キャラクタが自キャラクタの近傍に位置する場合では、その敵キャラクタ(発音オブジェクト)の位置からゲーム音が聞こえることになる。このため、敵キャラクタに攻撃したり、逆に、敵キャラクタから攻撃を受ける様な状況では、ゲーム音からもその敵キャラクタの位置(方向)を認識できるため、ゲーム性を損なうこともない。
この結果、仮想空間に配置される仮想の発音体から発せられるゲーム音を、より聞き易く出力することができる。
(実施形態2)
上記の実施形態では、音信号生成部206が、自キャラクタと敵キャラクタとの位置関係に基づいて音信号を先に生成し、この音信号に対して、音信号加工部207がフィルタ演算を行うことにより、後方からの音でも前方から聞こえる(両者が近距離でない場合)ように音像定位させることについて説明した。
しかしながら、これ以外の手法を用いて、後方からの音でも前方から聞こえるように音像定位させてもよい。
例えば、音信号生成に先だって、敵キャラクタの位置を適宜変換し、変換後の敵キャラクタと自キャラクタとの位置関係に基づいて、音信号を生成することにより、後方からの音でも前方から聞こえる(両者が近距離でない場合)ように音像定位させてもよい。
以下、本願発明の他の実施形態について説明する。
図8は、音信号生成のために、敵キャラクタの位置を適宜変換することを特徴とした本発明の第2の実施形態に係るゲーム音出力装置の構成を示す模式図である。
このゲーム音出力装置400は、オブジェクト記憶部201と、操作部202と、位置管理部203と、位置変換部401と、画像生成部204と、音源205と、音信号生成部206と、ゲーム音出力部208とを備える。
このゲーム音出力装置400は、上述した図2に示すゲーム音出力装置200から音信号加工部207を取り除き、位置管理部203と音信号生成部206の間に位置変換部401を加えた構成となっている。
なお、位置変換部401以外の構成は、ゲーム音出力装置200の構成とほぼ同一である。
位置変換部401は、位置管理部203にて記憶(管理)される敵キャラクタ(発音オブジェクト)の仮想空間内の位置を、音信号生成のために変換する。
具体的に位置変換部401は、自キャラクタの位置(正面向き)を基準として、後方所定範囲内に位置する敵キャラクタの位置を、前方の所定範囲内に移動するように変換する。
より詳細には、図9(a)に示すように、自キャラクタJcを基準として、距離L(近距離として予め定められた距離)より離れた後方領域R1,R2内に位置する敵キャラクタがあれば、その位置を前方領域F1,F2内に移動するように変換する。
なお、この図では、自キャラクタJcを真上から見た平面(2次元)にて、各領域F1,F2,R1,R2を示しているが、これは、発明の理解を容易にするために簡略化したものである。そのため、実際の3次元の仮想空間内においては、高さ方向の範囲もそれらの領域に含まれている。以降も、自キャラクタJcを真上から見た平面にて説明するが、同様に、高さ方向の範囲についても適宜含まれているものとする。
図9(a)に示す後方領域R1は、自キャラクタJcの正面を0度として、左135度(+135度)を中心とした90度の範囲(+90度〜+180度)の領域(距離L以内を除く)である。
同様に、後方領域R2は、右135度(−135度)を中心とした90度の範囲(−90度〜−180度)の領域である。
一方、前方領域F1は、左76度(+76度)を中心とした20度の範囲(+66度〜+86度)の領域であり、同様に、前方領域F2は、右76度(−76度)を中心とした20度の範囲(−66度〜−86度)の領域である。
なお、これらの範囲は、一例であり、各種のゲームに適用する場合には、適宜変更可能である。
位置変換部401は、後方領域R1内に敵キャラクタが位置する場合に、前方領域F1内に移動するようにその位置を適宜変換する。
例えば、後方領域R1の中心線(+135度)を前方領域F1の中心線(+76度)に重なるように、自キャラクタJcを軸にして回転させる。そして、後方領域R1の角度幅(90度)を前方領域F1の角度幅(20度)に合わせて縮小する。
なお、実際には、これを実現する所定の変換式により、後方領域R1内の敵キャラクタの位置を、前方領域F1内に移動するように変換する。
同様に、位置変換部401は、後方領域R2内に敵キャラクタが位置する場合に、前方領域F2内に移動するようにその位置を適宜変換する。
具体的には、図9(b)に示すように、後方領域R1内の敵キャラクタTcの位置を、前方領域F1内の位置P1に移動するように変換する。また、後方領域R2内の敵キャラクタTcの位置を、前方領域F1内の位置P2に移動するように変換する。
また、位置変換部401は、後方領域R1,R2以外に敵キャラクタが位置する場合には、その位置の変換を行わない。
具体的には、図9(c)に示すように、敵キャラクタTc3,Tc4は、後方領域R1,R2内に位置しないため、変換されずに、そのままの位置となる。
図8に戻って、音信号生成部206は、自キャラクタと、位置が変換された敵キャラクタを含むキャラクタとの位置関係に従って、音源205を使用した音信号を生成する。
つまり、音信号生成部206は、位置変換部401によって位置が変換された敵キャラクタと、自キャラクタとの位置関係(互いの向き等を含む位置関係)を求め、前方に移動された敵キャラクタの位置から発せられた音を自キャラクタが聞く場合の音信号を生成する。
そして、ゲーム音出力部208は、音信号生成部206により生成された音信号に基づいて、ゲーム音をマルチチャネルのサラウンドスピーカから出力する。
すなわち、発音オブジェクトが聴取オブジェクトの後方所定範囲に位置する場合(近距離は除く)には、位置変換部401によって、前方所定範囲に移動するようにその位置が変換される。そして、音信号生成部206が、変換後の敵キャラクタの位置と自キャラクタの位置とに基づいて、音信号を生成する。このため、自キャラクタJcからある程度離れた後方位置に敵キャラクタが配置されている場合では、その位置が変換され、ゲーム音が前方から聞こえるように出力される。
つまり、聴取オブジェクトに対して、発音オブジェクトが後方に配置されていても、原則として(近距離でない限り)、ゲーム音が前方から聞こえるため、プレイヤが長時間プレイしても、耳が疲れずに済むことになる。
一方、発音オブジェクトが聴取オブジェクトの後方に配置されていても、近距離であるため、後方領域R1,R2内に位置しない場合には、位置変換部401がその位置を変換しないため、そのまま本来の、発音オブジェクトの位置(方向)に音像定位させたゲーム音を出力する。
このため、自キャラクタが敵キャラクタを攻撃したり、逆に、敵キャラクタから攻撃されるというような状況では、プレイヤは、ゲーム音からもその敵キャラクタの位置(方向)を認識できるため、ゲーム性を損なうこともない。
この結果、仮想空間に配置される仮想の発音体から発せられるゲーム音を、より聞き易く出力することができる。
(他の実施形態)
上記の第1及び第2の実施形態では、発音体となる敵キャラクタが発する音(銃声や雄叫び等)を自キャラクタが聴取し、その聴取した音をゲーム音として出力する場合について説明したが、自キャラクタ以外に、仮想空間に配置された仮想マイクが聴取した音をゲーム音として出力する場合にも、適宜適用可能である。
以上説明したように、本発明によれば仮想空間に配置される仮想の発音体から発せられるゲーム音を、より聞き易く出力することができる。
本発明の実施形態に係るゲーム装置の概要構成を示す模式図である。 本発明の第1の実施形態に係るゲーム音出力装置の概要構成を示す模式図である。 5.1チャンネルのサラウンドスピーカがプレイヤの周りに配置される様子を説明するための模式図である。 各キャラクタが配置されたゲーム画像の一例を示す模式図である。 (a)が演算式中のフィルタ(フィルタ式)をグラフ表示した図であり、(b)がフィルタにより前方と後方で音密度が変化する様子を説明するための模式図である。 (a),(b)共に、自キャラクタ及び、敵キャラクタの配置例を示す模式図である。 本発明の実施形態に係る音像定位制御処理の一例を示すフローチャートである。 本発明の第2の実施形態に係るゲーム音出力装置の概要構成を示す模式図である。 (a)〜(c)共に、敵キャラクタの位置を変換する様子を説明するための模式図である。 (a),(b)共に、従来のゲーム装置におけるゲーム音の聞こえる様子を説明するための模式図である。
符号の説明
100 ゲーム装置
101 CPU
102 ROM
103 RAM
104 インターフェース
105 コントローラ
106 外部メモリ
107 DVD−ROMドライブ
108 画像処理部
109 音声処理部
110 NIC
200 ゲーム音出力装置
201 オブジェクト記憶部
202 操作部
203 位置管理部
204 画像生成部
205 音源
206 音信号生成部
207 音信号加工部
208 ゲーム音出力部
401 位置変換部

Claims (6)

  1. 仮想空間内に発音オブジェクト及び聴取オブジェクトが配置され、当該聴取オブジェクトにて聴取した音をゲーム音として出力するゲーム音出力装置であって、
    発音オブジェクト及び聴取オブジェクトの仮想空間における、位置及び向きの情報を含む位置情報を管理する位置情報管理部と、
    管理される当該位置情報により得られる発音オブジェクトと聴取オブジェクトとの位置関係に基づいて、発音オブジェクトから発せられる音信号を生成する音信号生成部と、
    当該両オブジェクト間の距離に基づいて、聴取オブジェクトの正面の向きに対し、後方からの音が前方に音像定位するように、前記音信号生成部に生成された当該音信号を加工する音信号加工部と、
    加工された当該音信号に従ったゲーム音を出力するゲーム音出力部と、を備える、
    ことを特徴とするゲーム音出力装置。
  2. 請求項1に記載のゲーム音出力装置であって、
    前記音信号生成部は、発音オブジェクトから発せられ、聴取オブジェクトが聴取する音の音信号を生成し、
    前記音信号加工部は、音密度が前方所定方向で最高密度となり、かつ、後方所定方向で最低密度となるフィルタ式に、当該両オブジェクト間の距離に応じた影響率を乗じて表される演算式を用いて、当該音信号を加工する、
    ことを特徴とするゲーム音出力装置。
  3. 仮想空間内に発音オブジェクト及び聴取オブジェクトが配置され、当該聴取オブジェクトにて聴取した音をゲーム音として出力するゲーム音出力装置であって、
    発音オブジェクト及び聴取オブジェクトの仮想空間における、位置及び向きの情報を含む位置情報を管理する位置情報管理部と、
    管理される当該位置情報により得られる聴取オブジェクトを基準とした発音オブジェクトの位置が、聴取オブジェクトの正面の向きに対し、後方所定範囲内に属する場合に、前方所定範囲内に移動するように、当該発音オブジェクトの位置を変換する位置変換部と、
    変換された当該発音オブジェクトの位置と、聴取オブジェクトの位置との関係に基づいて、発音オブジェクトから発せられる音信号を生成する音信号生成部と、
    生成された当該音信号に従ったゲーム音を出力するゲーム音出力部と、を備える、
    ことを特徴とするゲーム音出力装置。
  4. 請求項1又は2に記載のゲーム音出力装置であって、
    前記ゲーム音出力部は、前記音信号加工部により加工された音信号に従い、マルチチャンネルのスピーカからゲーム音を出力する、
    ことを特徴とするゲーム音出力装置。
  5. 仮想空間内に発音オブジェクト及び聴取オブジェクトが配置され、当該聴取オブジェクトにて聴取した音をゲーム音として出力する、演算部、音声処理部及び、音声出力部を有するゲーム音出力装置における音像定位制御方法であって、
    前記演算部が、発音オブジェクト及び聴取オブジェクトの仮想空間における、位置及び向きの情報を含む位置情報を管理する位置情報管理ステップと、
    前記音声処理部が、管理される当該位置情報により得られる発音オブジェクトと聴取オブジェクトとの位置関係に基づいて、発音オブジェクトから発せられる音信号を生成する音信号生成ステップと、
    前記音声処理部が、当該両オブジェクト間の距離に基づいて、聴取オブジェクトの正面の向きに対し、後方からの音が前方に音像定位するように、前記音信号生成ステップにて生成された当該音信号を加工する音信号加工ステップと、
    前記音声出力部が、加工された当該音信号に従ったゲーム音を出力するゲーム音出力ステップと、を備える、
    ことを特徴とする方法。
  6. 仮想空間内に発音オブジェクト及び聴取オブジェクトが配置され、当該聴取オブジェクトにて聴取した音をゲーム音として出力するコンピュータを、
    発音オブジェクト及び聴取オブジェクトの仮想空間における、位置及び向きの情報を含む位置情報を管理する位置情報管理部、
    管理される当該位置情報により得られる発音オブジェクトと聴取オブジェクトとの位置関係に基づいて、発音オブジェクトから発せられる音信号を生成する音信号生成部、
    当該両オブジェクト間の距離に基づいて、聴取オブジェクトの正面の向きに対し、後方からの音が前方に音像定位するように、前記音信号生成部に生成された当該音信号を加工する音信号加工部、
    加工された当該音信号に従ったゲーム音を出力するゲーム音出力部、
    として機能させることを特徴とするプログラム。
JP2007091998A 2007-03-30 2007-03-30 ゲーム音出力装置、音像定位制御方法、および、プログラム Active JP4221035B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007091998A JP4221035B2 (ja) 2007-03-30 2007-03-30 ゲーム音出力装置、音像定位制御方法、および、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007091998A JP4221035B2 (ja) 2007-03-30 2007-03-30 ゲーム音出力装置、音像定位制御方法、および、プログラム

Publications (2)

Publication Number Publication Date
JP2008245984A JP2008245984A (ja) 2008-10-16
JP4221035B2 true JP4221035B2 (ja) 2009-02-12

Family

ID=39971647

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007091998A Active JP4221035B2 (ja) 2007-03-30 2007-03-30 ゲーム音出力装置、音像定位制御方法、および、プログラム

Country Status (1)

Country Link
JP (1) JP4221035B2 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5305872B2 (ja) * 2008-12-03 2013-10-02 株式会社カプコン 音声出力処理装置を実現するためのゲームプログラム及びゲーム装置
WO2010137069A1 (ja) * 2009-05-27 2010-12-02 株式会社サスティーン・アーキテクト 回答判定装置及び問題生成装置
JP5521908B2 (ja) 2010-08-30 2014-06-18 ヤマハ株式会社 情報処理装置、音響処理装置、音響処理システムおよびプログラム
JP5518638B2 (ja) 2010-08-30 2014-06-11 ヤマハ株式会社 情報処理装置、音響処理装置、音響処理システム、プログラムおよびゲームプログラム
TWI530201B (zh) * 2010-12-03 2016-04-11 弗勞恩霍夫爾協會 經由自抵達方向估值提取幾何資訊之聲音擷取技術
JP5860629B2 (ja) * 2011-08-02 2016-02-16 株式会社カプコン 音源定位制御プログラムおよび音源定位制御装置
JP6159515B2 (ja) * 2012-09-19 2017-07-05 任天堂株式会社 ゲームシステム、ゲーム装置、ゲームプログラム、およびゲーム処理制御方法
JP6004031B2 (ja) * 2015-04-06 2016-10-05 ヤマハ株式会社 音響処理装置および情報処理装置
JP6397524B2 (ja) * 2017-03-06 2018-09-26 株式会社カプコン ゲームプログラム及びゲームシステム
JP6622754B2 (ja) * 2017-06-02 2019-12-18 株式会社カプコン ゲームプログラムおよびゲーム装置
JP6756777B2 (ja) * 2018-05-30 2020-09-16 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および音発生方法
KR102225492B1 (ko) * 2019-05-08 2021-03-10 넷마블 주식회사 게임 사운드 제공 방법 및 장치
JPWO2022038932A1 (ja) * 2020-08-20 2022-02-24
CN113559512A (zh) * 2021-08-04 2021-10-29 网易(杭州)网络有限公司 声源音效的处理方法、装置、计算机设备以及存储介质

Also Published As

Publication number Publication date
JP2008245984A (ja) 2008-10-16

Similar Documents

Publication Publication Date Title
JP4221035B2 (ja) ゲーム音出力装置、音像定位制御方法、および、プログラム
JP4015173B1 (ja) ゲーム音出力装置、ゲーム音制御方法、および、プログラム
JP3977405B1 (ja) ゲーム音出力装置、ゲーム音制御方法、および、プログラム
JP3949701B1 (ja) 音声処理装置、音声処理方法、ならびに、プログラム
JP4163718B2 (ja) オブジェクト表示装置、オブジェクト配置方法、および、プログラム
JP4074879B1 (ja) ゲーム装置、メッセージ表示方法、および、プログラム
CN105493181B (zh) 多维虚拟学习系统和方法
US10757528B1 (en) Methods and systems for simulating spatially-varying acoustics of an extended reality world
CN108379842B (zh) 游戏音频处理方法、装置、电子设备及存储介质
CN107197407A (zh) 用于确定处于目标位置的目标声音场景的方法及装置
US10278001B2 (en) Multiple listener cloud render with enhanced instant replay
KR20150117797A (ko) 입체음향 제공방법 및 장치
JP6343048B1 (ja) ゲームプログラムおよびゲーム装置
JP2018130281A (ja) ゲームプログラムおよびゲーム装置
JP2012050791A (ja) キャラクター表示装置、キャラクター表示方法、ならびに、プログラム
JP2004287504A (ja) 画像生成装置、画像処理方法、ならびに、プログラム
JP2006092177A (ja) 画像処理装置、画像処理方法、ならびに、プログラム
WO2010084830A1 (ja) 音声処理装置、チャットシステム、音声処理方法、情報記憶媒体、ならびに、プログラム
JP3585481B2 (ja) ゲーム装置及びプログラム
JP6056466B2 (ja) 仮想空間中の音声再生装置及び方法、並びにプログラム
JP6407324B2 (ja) ゲームプログラムおよびゲーム装置
KR102523048B1 (ko) 가상공간에서의 소리 변환 시스템 및 그 방법
JP4294712B1 (ja) 音声処理装置、音声処理方法、ならびに、プログラム
JP2020014495A (ja) ゲームプログラム、およびゲーム装置
JP2012249031A (ja) ゲーム装置、ゲーム処理方法、ならびに、プログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080826

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081022

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081111

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081114

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111121

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4221035

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121121

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131121

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250