JPH08149600A - 3次元サウンドシステム - Google Patents

3次元サウンドシステム

Info

Publication number
JPH08149600A
JPH08149600A JP6309854A JP30985494A JPH08149600A JP H08149600 A JPH08149600 A JP H08149600A JP 6309854 A JP6309854 A JP 6309854A JP 30985494 A JP30985494 A JP 30985494A JP H08149600 A JPH08149600 A JP H08149600A
Authority
JP
Japan
Prior art keywords
sound
polygon
sound source
dimensional
object table
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP6309854A
Other languages
English (en)
Other versions
JP3528284B2 (ja
Inventor
Yoshihiro Koujima
祐弘 向嶋
Narimitsu Yamaoka
成光 山岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP30985494A priority Critical patent/JP3528284B2/ja
Priority to US08/554,728 priority patent/US5768393A/en
Publication of JPH08149600A publication Critical patent/JPH08149600A/ja
Application granted granted Critical
Publication of JP3528284B2 publication Critical patent/JP3528284B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S1/00Two-channel systems
    • H04S1/007Two-channel systems in which the audio signals are in digital form
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/6063Methods for processing data by generating or executing the game program for sound processing

Abstract

(57)【要約】 【目的】 オブジェクトからの音を細かく制御すること
を可能にすると共に、上位システムの負担を軽減する。 【構成】 画像情報に含まれるオブジェクトは、複数の
ポリゴンで構成される。オブジェクトテーブル2は、各
ポリゴンを、ビュー座標系における頂点座標とそこから
発生される音の情報とによって定義する。音源処理部4
は、オブジェクトをビューポイントから見たときの各ポ
リゴンの位置及び向きに応じてそのポリゴンから発せら
れる音を制御する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】この発明は、パーソナルコンピュ
ータやゲーム機等において、3次元又は2次元コンピュ
ータグラフィックス(以下、3次元CGと呼ぶ)に連動
して仮想音源位置から音を発生させる3次元サウンドシ
ステムに関する。
【0002】
【従来の技術】近年、ビデオゲーム機器やコンピュータ
シミュレーション機器等において、3次元CG技術によ
ってディスプレイ上に表示された対象画像(オブジェク
ト)を仮想音源とし、この仮想音源から音が発せられて
いるように音像を定位させる3次元サウンドシステムが
開発されている。ところで、従来の3次元CGシステム
では、1つ又は複数のポリゴンで構成されたオブジェク
ト各々のデータをオブジェクト毎に3次元オブジェクト
データとして持ち、ビューポイントの変更に際しては、
上位システムが3次元オブジェクトデータを更新するだ
けの操作を行い、オブジェクトのスクリーン座標系への
変換は、専用のプロセッサが分担することにより、速や
かなビューポイントの切換を行うようにしている。オブ
ジェクトを構成するポリゴンは、一般的には三角形であ
り、シェーディングやテクスチャマッピング等に必要な
面の方向の情報を提供すると共に、その大きさが曲面の
表示の滑らかさを決定する。
【0003】一方、上記3次元CGに連動する3次元サ
ウンドシステムでは、上位システムが3次元オブジェク
トデータからオブジェクトの位置情報を算出し、その算
出した位置情報及び音種情報に基づいて、音源処理装置
が、指定された音種のモノラルオーディオ信号を生成
し、この生成されたモノラルオーディオ信号に対して、
遅延処理、フィルタリング、振幅制御等の各処理を施し
て2チャンネル又は4チャンネルのステレオサウンドを
生成することにより、仮想音源位置へ音像を定位させ
る。
【0004】
【発明が解決しようとする課題】しかしながら、上述し
た従来の3次元サウンドシステムでは、上位システムか
ら与えられたオブジェクトの位置情報及び音種情報から
3次元サウンドを生成するので、音の出る向きに応じた
聞こえ方を制御するといった細かな制御が不可能であ
る。また、上位システムは、オブジェクトの位置が変更
される度に音源処理部にオブジェクトの位置情報を提供
しなければならないため、上位システムの負担が大きい
という問題点もある。
【0005】この発明は、このような問題点に鑑みなさ
れたもので、オブジェクトからの音を更に細かく制御す
ることが可能で、上位システムの負担も軽減することが
できる3次元サウンドシステムを提供することを目的と
する。
【0006】
【課題を解決するための手段】この発明に係る3次元サ
ウンドシステムは、コンピュータ画像情報に含まれる対
象画像を仮想音源として所定位置に音源を定位させる3
次元サウンドシステムにおいて、前記対象画像を構成す
る1つ又は複数のポリゴンの各々の頂点座標及び各ポリ
ゴンから発生されるべき音の情報を保持するオブジェク
トテーブルと、前記対象画像をビューポイントから見た
ときの前記各ポリゴンの位置及び向きと前記オブジェク
トテーブルに応じて各ポリゴンによって発生すべき音を
制御する音源処理手段とを具備してなることを特徴とす
る。
【0007】
【作用】オブジェクトが同一位置に存在していても、音
源となるポリゴンの向きが変わると音の聞こえ方も当然
変わってくる。この発明によれば、対象画像を構成する
1つ又は複数のポリゴンの各々の頂点座標及び各ポリゴ
ンから発生させるべき音の情報を保持するオブジェクト
テーブルを備え、音源処理手段が、前記オブジェクトを
ビューポイントから見たときの前記各ポリゴンの位置及
び向きと前記オブジェクトテーブルとに応じてそのポリ
ゴンから発せられるべき音を制御するようにしているの
で、ポリゴンから出る音の向きに応じた音の聞こえ方を
制御することができる。このため、より現実感の高い3
次元サウンドシステムを構築することができる。また、
この発明によれば、上位システムがオブジェクトテーブ
ルに各ポリゴン毎の音の情報を一度設定すれば、音源処
理手段が各ポリゴン毎にその位置及び向きに応じた音の
制御を実行するので、上位システムの負担も大幅に軽減
される。
【0008】
【実施例】以下、図面を参照して、この発明の実施例を
説明する。図1は、この発明の一実施例に係る3次元C
G・サウンドシステムの構成を示すブロック図である。
上位システム1は、パーソナルコンピュータやゲーム機
器からなるもので、所定のソフトウェアに従ってゲーム
やシミュレーション等の処理を実行する。オブジェクト
テーブル2には、3次元CGにおける各オブジェクトを
構成するポリゴン毎にその頂点のビュー座標系における
3次元座標値、表示色、そこから発せられる音の音色、
音質、音高、音量等の音情報が記憶されている。オブジ
ェクトテーブル2に記憶されたデータのうち、頂点座標
値については、ビューポイントの変更やオブジェクトの
移動等に伴って上位システム1により、リアルタイムで
更新されるようになっている。
【0009】オブジェクトテーブル2のデータは、グラ
フィックス処理部3及び音源処理部4に供給されてい
る。グラフィックス処理部3は、オブジェクトテーブル
2の各ポリゴンのビュー座標系における頂点座標に基づ
いて、各スクリーン座標系での頂点座標を求めると共に
隠線・隠面消去処理を実行し、表示色に基づいてシェー
ディング、テクスチャマッピング等の3次元CG処理を
実行し、表示装置5の表示画面上に3次元画像を生成す
る。
【0010】また、音源処理部4は、オブジェクトテー
ブル2の各ポリゴンの頂点座標に基づいて、仮想音源位
置及びポリゴンの向きを求め、求められた音源位置から
ポリゴンの向きに向かう方向に音が発せられているよう
に、音情報で指定された音を発音装置6を介して発生さ
せる。なお、この実施例では、表示装置5の表示画面上
に映し出されるポリゴンの面積に応じて音の振幅を制御
することにより、簡易的にポリゴンの向きに応じた音を
発生させるようにしている。
【0011】次に、このシステムの動作について説明す
る。図2は、3次元空間上に存在するオブジェクトとビ
ューポイントPとの関係を示す図である。オブジェクト
11、12、13は、複数のポリゴン14から構成され
ている。球状のオブジェクト13もミクロ的にみると微
小な三角形の集合で表現されている。上位システム1に
は、これらオブジェクト11,12,13を構成するポ
リゴン14の絶対座標系X,Y,Zにおける頂点座標が
記憶されている。
【0012】いま、例えば図3に示すように、絶対座標
系の原点をO、各軸の単位ベクトルをX,Y,Z、ビュ
ー座標系での原点をP、各軸の単位ベクトルをXv,Y
v,Zv、原点Pから原点Oへのビュー座標系における
ベクトルをR、両座標系の各単位ベクトル間の方向余弦
行列をT、ポリゴン14の頂点Aの絶対座標系での座標
値を(x,y,z)とすると、頂点Aのビュー座標系で
の座標値(xv,yv,zv)は、下記数1で与えられ
る。
【0013】
【数1】[xv yv zv]=[x y z]T+
[rx ry rz] 但しrx,ry,rzはスカラーで、 R=rxXv+ryYv+rzZv
【0014】上位システム1は、ビューポイントP及び
単位ベクトルXv,Yv,Zv並びに各頂点の絶対座標
値(x,y,z)に基づいて、各ポリゴンのビュー座標
系における座標値(xv,yv,zv)を求め、オブジ
ェクトテーブル2に登録する。これによって形成される
オブジェクトテーブル2の例を図4に示す。オブジェク
トテーブル2には、各ポリゴン毎にその頂点のビュー座
標系における3次元座標値と、ポリゴンの色と、音情報
とが記憶される。このうち、ポリゴンの3次元座標値に
ついては、ビューポイントやオブジェクトが移動する度
に上位システム1によって更新される。
【0015】グラフィックス処理部3は、ポリゴンのビ
ュー座標系における頂点座標を、表示装置5の表示面上
のスクリーン座標系へ変換する。即ち、図5に示すよう
に、視線(Zv軸)上に立てたスクリーン21の位置を
d、スクリーン21の幅を2sとすると、グラフィック
ス処理部3は、ポリゴン座標(xv,yv,zv)に対
して下記数2のような変換処理を行って、スクリーン座
標系での座標値(xs,ys,zs)を求める。なお、
ここでwはスケールファクタで、xs=x/w,ys=
y/w,zs=z/wである。
【0016】
【数2】 [x y z w]=[xv yv zv 1]M
【0017】変換された座標値には、視線方向(深さ方
向)の座標値zsも含まれているので、グラフィックス
処理部3は、このzsの大小判定を行うことにより、隠
線・隠面消去処理を実行する。更に、グラフィックス処
理部3は、各ポリゴンを指定色で塗りつぶし、シェーデ
ィング、テクスチャマッピング等の各処理を施すことに
より、表示装置5上の画像を形成する。
【0018】一方、音源処理部4では、音情報及びポリ
ゴン3次元座標に基づいて仮想音源の位置及びこの位置
から発生される音を制御する。この音源処理部4は、例
えば図6に示すように構成されている。即ち、音情報は
音源装置31に供給され、ここで指定された音色、音
高、音種、及び音量のモノラルオーディオ信号SI を生
成する。また、ポリゴン3次元座標値は、音源位置情報
生成部32とポリゴン面積算出部33とに供給される。
音源位置情報生成部32は、ポリゴンの頂点座標値の中
央位置を算出し、この位置を仮想音源位置とする。仮想
音源位置は、リスナの中心点(ビュー座標の原点P)か
ら仮想音源までの距離rと、リスナの正面からみた仮想
音源の水平方向の角度(アジマス)θと、リスナの正面
に対して角度θ方向からみた垂直方向の角度(エレベー
ション)φとにより与えられるように変換処理される。
また、ポリゴン面積算出部33は、前述と同様の処理に
より求められたスクリーン座標、又はグラフィックス処
理部3から供給されるスクリーン座標から、ポリゴンの
面積を算出する。ポリゴンの各頂点A,B,Cのスクリ
ーン座標値がそれぞれ(xa,ya,za),(xb,
yb,zb),(xc,yc,zc)であるとすると、
ポリゴン面積算出部33は、スクリーン上でのポリゴン
の面積Sを、下記数3のように算出する。
【0019】
【数3】S=(xmax −xmin )(ymax −ymin )−
{|xa−xb||ya−yb|+|xb−xc||y
b−yc|+|xc−xa||yc−ya|}/2 但し、xmax は、xa,xb,xcの最大値 xmin は、xa,xb,xcの最小値 ymax は、ya,yb,ycの最大値 ymin は、ya,yb,ycの最小値
【0020】ポリゴン面積算出部33は、算出されたポ
リゴンの面積Sと、ポリゴンの実際の面積S′との比S
/S′を出力する。これらのオーディオ信号SI 、音源
位置情報r,θ,φ及びポリゴン面積S/S′は、音像
定位装置34に供給される。
【0021】図7は、音像定位装置34の一例を示すブ
ロック図である。音源装置31から出力されるモノラル
のオーディオ信号SI は、アンプ41を介してノッチフ
ィルタ42に供給される。ノッチフィルタ42は、人間
の聴覚特性及び/又は人間の耳介(Pinna )の形状によ
る音の影響に基づいてオーディオ信号SI の特定の周波
数成分を減衰させて、入力信号SI に上下方向感を付与
するもので、エレベーションφによって決定される周波
数成分を減衰させる。ノッチフィルタ42の出力は、仮
想音源位置から両耳への音の伝搬時間差を付与する遅延
回路43で遅延処理され、時間差を持つ2チャンネルの
信号に変換される。時間差は、仮想音源位置情報r,
θ,φに基づき、仮想音源からリスナの両耳への距離の
差から求められる。これらの信号は、それぞれFIR
(有限インパルス応答)フィルタ44,45に供給され
る。FIRフィルタ44,45は、予め、例えばダミー
ヘッドによって、リスナの前後左右の各方向に音像が定
位した場合のインパルス応答(頭部伝達関数)を測定し
ておき、その結果をFIR係数として記憶しておいたも
ので、入力された信号から各4方向成分の信号を生成す
る。
【0022】FIRフィルタ44,45の出力は、アン
プ46,47及び加算器48,49によって、指定され
た仮想音源位置から音が到来するように合成され、アン
プ50,51によって仮想音源の方向に基づく左右の振
幅バランスを調整される。アンプ50,51の出力は、
更にクロストークキャンセラ52によって、右スピーカ
から左耳へ、また左スピーカから右耳へ到来するクロス
トーク成分を除去されたのち、アンプ53,54によっ
て仮想音源までの距離に基づく振幅制御が施される。な
お、このとき、アンプ53,54は、ポリゴン面積算出
部33で計算されたポリゴンの基準面積に対する面積比
S/S′に応じてオーディオ信号の振幅を制限する。各
チャンネルの信号は、これらの処理を経てオーディオ出
力信号SOR,SOLとして出力される。
【0023】このように、このシステムによれば、ポリ
ゴンのビュー座標系から見た面積によって仮想音源から
発せられる音の振幅を調整するようにしているので、ポ
リゴンが正面を向いているときに最大音量、ポリゴンの
向きが正面から外れるほど小さい音量となり、より現実
に近い3次元サウンドの制御が可能になる。また、ポリ
ゴンの頂点座標と共にそのポリゴンの音の情報がオブジ
ェクトテーブル2に登録されているので、上位システム
1は、仮想音源位置を音像処理部4に頻繁に供給する必
要がなくなり、上位システムの負担が大幅に軽減され
る。
【0024】なお、以上の実施例では、1つのポリゴン
から発せられる音の制御について説明したが、1つのオ
ブジェクトに対して音源が複数存在しても良いことはい
うまでもない。また、オブジェクトテーブルに登録され
る音の情報として、伝達関数、音の反射率等の情報を含
めても良い。
【0025】
【発明の効果】以上述べたように、この発明によれば、
対象画像を構成する1つ又は複数のポリゴンの各々の頂
点座標及び各ポリゴンから発生させるべき音の情報を保
持するオブジェクトテーブルを備え、音源処理手段が、
前記オブジェクトをビューポイントから見たときの前記
各ポリゴンの位置及び向きと前記オブジェクトテーブル
とに応じてそのポリゴンから発せられる音を制御するよ
うにしているので、ポリゴンから出る音の向きに応じた
音の聞こえ方を制御することができる。このため、より
現実感の高い3次元サウンドシステムを構築することが
できる。また、この発明によれば、上位システムがオブ
ジェクトテーブルに各ポリゴン毎の音の情報を一度設定
すれば、音源処理手段が各ポリゴン毎にその位置及び向
きに応じた音の制御を実行するので、上位システムの負
担も大幅に軽減される。
【図面の簡単な説明】
【図1】 この発明の一実施例に係る3次元CG・サウ
ンドシステムの構成を示すブロック図である。
【図2】 3次元空間上の各オブジェクトとビュー座標
との関係を示す図である。
【図3】 ポリゴン座標の絶対座標系からビュー座標系
への変換方法を説明するための図である。
【図4】 オブジェクトテーブルの一例を示す図であ
る。
【図5】 ポリゴン座標のビュー座標系からスクリーン
座標系への変換方法を説明するための図である。
【図6】 同システムにおける音源処理部の具体的構成
例を示すブロック図である。
【図7】 同音源処理部における音像定位装置の具体的
構成例を示すブロック図である。
【符号の説明】
1…上位システム、2…オブジェクトテーブル、3…グ
ラフィック処理部、4…音源処理部、5…表示装置、6
…発音装置。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 G06T 15/70 G09F 27/00 N G09G 5/00 510 Q 9377−5H G10K 15/00 H04S 1/00 K

Claims (1)

    【特許請求の範囲】
  1. 【請求項1】 コンピュータ画像情報に含まれる対象画
    像を仮想音源として所定位置に音源を定位させる3次元
    サウンドシステムにおいて、 前記対象画像を構成する1つ又は複数のポリゴンの各々
    の頂点座標及び各ポリゴンから発生させるべき音の情報
    を保持するオブジェクトテーブルと、 前記対象画像をビューポイントから見たときの前記各ポ
    リゴンの位置及び向きと前記オブジェクトテーブルに応
    じて各ポリゴンによって発生すべき音を制御する音源処
    理手段とを具備してなることを特徴とする3次元サウン
    ドシステム。
JP30985494A 1994-11-18 1994-11-18 3次元サウンドシステム Expired - Fee Related JP3528284B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP30985494A JP3528284B2 (ja) 1994-11-18 1994-11-18 3次元サウンドシステム
US08/554,728 US5768393A (en) 1994-11-18 1995-11-07 Three-dimensional sound system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP30985494A JP3528284B2 (ja) 1994-11-18 1994-11-18 3次元サウンドシステム

Publications (2)

Publication Number Publication Date
JPH08149600A true JPH08149600A (ja) 1996-06-07
JP3528284B2 JP3528284B2 (ja) 2004-05-17

Family

ID=17998094

Family Applications (1)

Application Number Title Priority Date Filing Date
JP30985494A Expired - Fee Related JP3528284B2 (ja) 1994-11-18 1994-11-18 3次元サウンドシステム

Country Status (2)

Country Link
US (1) US5768393A (ja)
JP (1) JP3528284B2 (ja)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11331995A (ja) * 1998-05-08 1999-11-30 Alpine Electronics Inc 音像制御装置
US6304267B1 (en) 1997-06-13 2001-10-16 Namco Ltd. Image generating system and information storage medium capable of changing angle of view of virtual camera based on object positional information
JP2003062327A (ja) * 2001-08-27 2003-03-04 Nintendo Co Ltd ゲーム装置およびプログラム
US6540613B2 (en) 2000-03-13 2003-04-01 Konami Corporation Video game apparatus, background sound output setting method in video game, and computer-readable recording medium storing background sound output setting program
US6544122B2 (en) 1998-10-08 2003-04-08 Konami Co., Ltd. Background-sound control system for a video game apparatus
US6599195B1 (en) 1998-10-08 2003-07-29 Konami Co., Ltd. Background sound switching apparatus, background-sound switching method, readable recording medium with recording background-sound switching program, and video game apparatus
WO2004089486A1 (ja) * 1996-06-21 2004-10-21 Kyota Tanaka 3次元ゲーム装置及び情報記憶媒体
JP2006197508A (ja) * 2005-01-17 2006-07-27 Sony Corp 音響再生装置及び方法、プログラム
WO2007105689A1 (ja) * 2006-03-13 2007-09-20 Konami Digital Entertainment Co., Ltd. ゲーム音出力装置、ゲーム音制御方法、情報記録媒体、および、プログラム
JP2009253344A (ja) * 2008-04-01 2009-10-29 Sharp Corp Avシステム、およびavシステムの動作方法
KR100936867B1 (ko) * 2005-12-28 2010-01-14 가부시키가이샤 코나미 데지타루 엔타테인멘토 음성처리장치, 음성처리방법 및 프로그램을 기록한 컴퓨터 판독 가능한 정보기록매체
JP2010531605A (ja) * 2007-06-26 2010-09-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ バイノーラル型オブジェクト指向オーディオデコーダ
JP2013007921A (ja) * 2011-06-24 2013-01-10 Sony Corp 音制御装置、プログラム及び制御方法
JP2013236282A (ja) * 2012-05-09 2013-11-21 Miraiapuri Co Ltd 情報通信プログラム、情報通信装置及び配信サーバ
CN103413511A (zh) * 2013-07-17 2013-11-27 安伟建 一种语音导览系统
JP2019134475A (ja) * 2013-03-29 2019-08-08 サムスン エレクトロニクス カンパニー リミテッド レンダリング方法、レンダリング装置及び記録媒体
KR20210101316A (ko) * 2018-12-19 2021-08-18 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 공간 확장 음원을 재생하는 장치 및 방법 또는 공간 확장 음원으로부터 비트 스트림을 생성하는 장치 및 방법
KR20220094865A (ko) * 2020-12-29 2022-07-06 한국전자통신연구원 익스텐트 음원에 기초한 오디오 신호의 처리 방법 및 장치
WO2023199673A1 (ja) * 2022-04-14 2023-10-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 立体音響処理方法、立体音響処理装置及びプログラム

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6331856B1 (en) * 1995-11-22 2001-12-18 Nintendo Co., Ltd. Video game system with coprocessor providing high speed efficient 3D graphics and digital audio signal processing
JPH1063470A (ja) * 1996-06-12 1998-03-06 Nintendo Co Ltd 画像表示に連動する音響発生装置
JPH10137445A (ja) * 1996-11-07 1998-05-26 Sega Enterp Ltd ゲーム装置、画像音響処理装置および記録媒体
US7085387B1 (en) 1996-11-20 2006-08-01 Metcalf Randall B Sound system and method for capturing and reproducing sounds originating from a plurality of sound sources
JPH10211358A (ja) * 1997-01-28 1998-08-11 Sega Enterp Ltd ゲーム装置
US6330486B1 (en) * 1997-07-16 2001-12-11 Silicon Graphics, Inc. Acoustic perspective in a virtual three-dimensional environment
US6464585B1 (en) 1997-11-20 2002-10-15 Nintendo Co., Ltd. Sound generating device and video game device using the same
JP3342393B2 (ja) * 1998-03-19 2002-11-05 株式会社コナミコンピュータエンタテインメントジャパン ビデオゲーム装置、コンピュータ読み取り可能な記録媒体
US6647119B1 (en) * 1998-06-29 2003-11-11 Microsoft Corporation Spacialization of audio with visual cues
JP2000210471A (ja) * 1999-01-21 2000-08-02 Namco Ltd ゲ―ム機用音声装置および情報記録媒体
JP2000267675A (ja) * 1999-03-16 2000-09-29 Sega Enterp Ltd 音響信号処理装置
US6239348B1 (en) * 1999-09-10 2001-05-29 Randall B. Metcalf Sound system and method for creating a sound event based on a modeled sound field
US6507353B1 (en) 1999-12-10 2003-01-14 Godot Huard Influencing virtual actors in an interactive environment
JP3955425B2 (ja) * 2000-03-24 2007-08-08 三菱電機株式会社 3次元音再生システム
US6879952B2 (en) * 2000-04-26 2005-04-12 Microsoft Corporation Sound source separation using convolutional mixing and a priori sound source knowledge
JP4679699B2 (ja) * 2000-08-01 2011-04-27 ソニー株式会社 音声信号処理方法及び音声信号処理装置
JP2002052243A (ja) * 2000-08-11 2002-02-19 Konami Co Ltd 対戦式ビデオゲーム装置
KR20020039101A (ko) * 2000-11-20 2002-05-25 이명진 멀티미디어 콘텐츠에서의 2차원 및 3차원 영상과 3차원음향의 영상/음향 실시간 처리 방법
JP2002258842A (ja) * 2000-12-27 2002-09-11 Sony Computer Entertainment Inc 音声制御装置、音声制御方法、音声制御プログラム、音声制御プログラムを記憶したコンピュータ読み取り可能な記憶媒体、音声制御プログラムを実行するプログラム実行装置
GB2370954B (en) * 2001-01-04 2005-04-13 British Broadcasting Corp Producing a soundtrack for moving picture sequences
US7308325B2 (en) * 2001-01-29 2007-12-11 Hewlett-Packard Development Company, L.P. Audio system
US6829018B2 (en) * 2001-09-17 2004-12-07 Koninklijke Philips Electronics N.V. Three-dimensional sound creation assisted by visual information
AU2003275290B2 (en) 2002-09-30 2008-09-11 Verax Technologies Inc. System and method for integral transference of acoustical events
KR100542129B1 (ko) * 2002-10-28 2006-01-11 한국전자통신연구원 객체기반 3차원 오디오 시스템 및 그 제어 방법
US7338373B2 (en) * 2002-12-04 2008-03-04 Nintendo Co., Ltd. Method and apparatus for generating sounds in a video game
KR100617700B1 (ko) * 2003-11-17 2006-08-28 삼성전자주식회사 통신 단말기를 위한 3차원 입체음향 재생 장치 및 방법
KR20050075510A (ko) * 2004-01-15 2005-07-21 삼성전자주식회사 통신 단말기를 위한 3차원 입체음향의 재생/저장 장치 및방법
US7504572B2 (en) * 2004-07-29 2009-03-17 National University Corporation Kyushu Institute Of Technology Sound generating method
JP3827693B2 (ja) * 2004-09-22 2006-09-27 株式会社コナミデジタルエンタテインメント ゲーム装置、ゲーム装置制御方法、ならびに、プログラム
WO2006050353A2 (en) 2004-10-28 2006-05-11 Verax Technologies Inc. A system and method for generating sound events
CA2598575A1 (en) * 2005-02-22 2006-08-31 Verax Technologies Inc. System and method for formatting multimode sound content and metadata
US8616970B2 (en) * 2008-04-07 2013-12-31 Palo Alto Research Center Incorporated System and method for managing a multiplicity of text messages in an online game
US20090253512A1 (en) * 2008-04-07 2009-10-08 Palo Alto Research Center Incorporated System And Method For Providing Adjustable Attenuation Of Location-Based Communication In An Online Game
US8265252B2 (en) * 2008-04-11 2012-09-11 Palo Alto Research Center Incorporated System and method for facilitating cognitive processing of simultaneous remote voice conversations
JP4528852B2 (ja) * 2008-09-19 2010-08-25 株式会社東芝 電子機器及び音声調整方法
US20100223552A1 (en) * 2009-03-02 2010-09-02 Metcalf Randall B Playback Device For Generating Sound Events
US20110116665A1 (en) * 2009-11-17 2011-05-19 King Bennett M System and method of providing three-dimensional sound at a portable computing device
KR101844511B1 (ko) 2010-03-19 2018-05-18 삼성전자주식회사 입체 음향 재생 방법 및 장치
JP2011254967A (ja) * 2010-06-08 2011-12-22 Universal Entertainment Corp ゲーミングマシン
JP5555068B2 (ja) * 2010-06-16 2014-07-23 キヤノン株式会社 再生装置及びその制御方法及びプログラム
JP5740531B2 (ja) 2011-07-01 2015-06-24 ドルビー ラボラトリーズ ライセンシング コーポレイション オブジェクトベースオーディオのアップミキシング
JP6216169B2 (ja) * 2012-09-26 2017-10-18 キヤノン株式会社 情報処理装置、情報処理方法
US9301069B2 (en) * 2012-12-27 2016-03-29 Avaya Inc. Immersive 3D sound space for searching audio
US10203839B2 (en) 2012-12-27 2019-02-12 Avaya Inc. Three-dimensional generalized space
US9892743B2 (en) 2012-12-27 2018-02-13 Avaya Inc. Security surveillance via three-dimensional audio space presentation
US9838824B2 (en) 2012-12-27 2017-12-05 Avaya Inc. Social media processing with three-dimensional audio
US10176644B2 (en) 2015-06-07 2019-01-08 Apple Inc. Automatic rendering of 3D sound
FR3093578A1 (fr) * 2019-03-05 2020-09-11 Orange Procédé et dispositif de traitement de données d'un environnement de réalité virtuelle.
WO2023061965A2 (en) * 2021-10-11 2023-04-20 Telefonaktiebolaget Lm Ericsson (Publ) Configuring virtual loudspeakers

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1578854A (en) * 1976-02-27 1980-11-12 Victor Company Of Japan Stereophonic sound reproduction system
JPS53114201U (ja) * 1977-02-18 1978-09-11
US4188504A (en) * 1977-04-25 1980-02-12 Victor Company Of Japan, Limited Signal processing circuit for binaural signals
US4817149A (en) * 1987-01-22 1989-03-28 American Natural Sound Company Three-dimensional auditory display apparatus and method utilizing enhanced bionic emulation of human binaural sound localization
US5105462A (en) * 1989-08-28 1992-04-14 Qsound Ltd. Sound imaging method and apparatus
US5046097A (en) * 1988-09-02 1991-09-03 Qsound Ltd. Sound imaging process
GB8924334D0 (en) * 1989-10-28 1989-12-13 Hewlett Packard Co Audio system for a computer display
US5495576A (en) * 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5521981A (en) * 1994-01-06 1996-05-28 Gehring; Louis S. Sound positioner

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004089486A1 (ja) * 1996-06-21 2004-10-21 Kyota Tanaka 3次元ゲーム装置及び情報記憶媒体
US6304267B1 (en) 1997-06-13 2001-10-16 Namco Ltd. Image generating system and information storage medium capable of changing angle of view of virtual camera based on object positional information
JPH11331995A (ja) * 1998-05-08 1999-11-30 Alpine Electronics Inc 音像制御装置
US6544122B2 (en) 1998-10-08 2003-04-08 Konami Co., Ltd. Background-sound control system for a video game apparatus
US6599195B1 (en) 1998-10-08 2003-07-29 Konami Co., Ltd. Background sound switching apparatus, background-sound switching method, readable recording medium with recording background-sound switching program, and video game apparatus
US6540613B2 (en) 2000-03-13 2003-04-01 Konami Corporation Video game apparatus, background sound output setting method in video game, and computer-readable recording medium storing background sound output setting program
JP2003062327A (ja) * 2001-08-27 2003-03-04 Nintendo Co Ltd ゲーム装置およびプログラム
JP2006197508A (ja) * 2005-01-17 2006-07-27 Sony Corp 音響再生装置及び方法、プログラム
JP4513578B2 (ja) * 2005-01-17 2010-07-28 ソニー株式会社 音響再生装置、音響再生方法、プログラム、及びテレビジョン装置
KR100936867B1 (ko) * 2005-12-28 2010-01-14 가부시키가이샤 코나미 데지타루 엔타테인멘토 음성처리장치, 음성처리방법 및 프로그램을 기록한 컴퓨터 판독 가능한 정보기록매체
WO2007105689A1 (ja) * 2006-03-13 2007-09-20 Konami Digital Entertainment Co., Ltd. ゲーム音出力装置、ゲーム音制御方法、情報記録媒体、および、プログラム
US8221237B2 (en) 2006-03-13 2012-07-17 Konami Digital Entertainment Co., Ltd. Game sound output device, game sound control method, information recording medium, and program
JP2010531605A (ja) * 2007-06-26 2010-09-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ バイノーラル型オブジェクト指向オーディオデコーダ
JP2009253344A (ja) * 2008-04-01 2009-10-29 Sharp Corp Avシステム、およびavシステムの動作方法
JP2013007921A (ja) * 2011-06-24 2013-01-10 Sony Corp 音制御装置、プログラム及び制御方法
JP2013236282A (ja) * 2012-05-09 2013-11-21 Miraiapuri Co Ltd 情報通信プログラム、情報通信装置及び配信サーバ
JP2019134475A (ja) * 2013-03-29 2019-08-08 サムスン エレクトロニクス カンパニー リミテッド レンダリング方法、レンダリング装置及び記録媒体
CN103413511A (zh) * 2013-07-17 2013-11-27 安伟建 一种语音导览系统
KR20210101316A (ko) * 2018-12-19 2021-08-18 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 공간 확장 음원을 재생하는 장치 및 방법 또는 공간 확장 음원으로부터 비트 스트림을 생성하는 장치 및 방법
CN113316943A (zh) * 2018-12-19 2021-08-27 弗劳恩霍夫应用研究促进协会 再现空间扩展声源的设备与方法、或从空间扩展声源生成比特流的设备与方法
JP2022515998A (ja) * 2018-12-19 2022-02-24 フラウンホッファー-ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ 空間的に拡張された音源を再生するための装置および方法、または、空間的に拡張された音源からビットストリームを生成するための装置および方法
CN113316943B (zh) * 2018-12-19 2023-06-06 弗劳恩霍夫应用研究促进协会 再现空间扩展声源的设备与方法、或从空间扩展声源生成比特流的设备与方法
US11937068B2 (en) 2018-12-19 2024-03-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for reproducing a spatially extended sound source or apparatus and method for generating a bitstream from a spatially extended sound source
KR20220094865A (ko) * 2020-12-29 2022-07-06 한국전자통신연구원 익스텐트 음원에 기초한 오디오 신호의 처리 방법 및 장치
WO2023199673A1 (ja) * 2022-04-14 2023-10-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 立体音響処理方法、立体音響処理装置及びプログラム

Also Published As

Publication number Publication date
US5768393A (en) 1998-06-16
JP3528284B2 (ja) 2004-05-17

Similar Documents

Publication Publication Date Title
JP3528284B2 (ja) 3次元サウンドシステム
CN112567767B (zh) 用于交互式音频环境的空间音频
US10779103B2 (en) Methods and systems for audio signal filtering
CN113170272B (zh) 近场音频渲染
JPH1063470A (ja) 画像表示に連動する音響発生装置
CN101006492A (zh) 水平透视显示
JPH08107600A (ja) 音像定位装置
JP3955425B2 (ja) 3次元音再生システム
JP2023168544A (ja) 低周波数チャネル間コヒーレンス制御
JPH06149275A (ja) 三次元仮想空間情報を考慮した三次元仮想音像形成装置
JPH06301390A (ja) 立体音像制御装置
JPH0836355A (ja) 疑似3次元画像生成方法及び装置
JP2007087030A (ja) プログラム、情報記憶媒体及び画像生成システム
CN116421971A (zh) 空间音频信号的生成方法及装置、存储介质、电子设备
JPH09190332A (ja) 情報処理方法とその装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040216

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090305

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090305

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100305

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110305

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110305

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120305

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130305

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140305

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees