JP4983012B2 - 楽曲再生において立体音響効果を付加する装置およびプログラム - Google Patents
楽曲再生において立体音響効果を付加する装置およびプログラム Download PDFInfo
- Publication number
- JP4983012B2 JP4983012B2 JP2005354335A JP2005354335A JP4983012B2 JP 4983012 B2 JP4983012 B2 JP 4983012B2 JP 2005354335 A JP2005354335 A JP 2005354335A JP 2005354335 A JP2005354335 A JP 2005354335A JP 4983012 B2 JP4983012 B2 JP 4983012B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- stereophonic
- music data
- sound
- music
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000000694 effects Effects 0.000 title claims description 142
- 238000000034 method Methods 0.000 claims description 75
- 238000004458 analytical method Methods 0.000 claims description 12
- 230000004807 localization Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 2
- 239000011295 pitch Substances 0.000 description 16
- 230000015572 biosynthetic process Effects 0.000 description 14
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000005236 sound signal Effects 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 7
- 230000000737 periodic effect Effects 0.000 description 5
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Landscapes
- Stereophonic System (AREA)
- Stereophonic Arrangements (AREA)
Description
かかる発明によれば、立体音響効果情報を含まない楽曲データであっても、その楽曲データに立体音響効果情報を付加し、立体音響再生を行うことができる。
この発明の実施の態様には、コンピュータを立体音響効果付加装置として機能させるプログラムをユーザに配布する、という態様も含まれる。また、この発明の実施の態様には、音源装置が、楽曲データに含まれる情報を用いて立体音響効果情報を生成し、立体音響の再生の制御を行うという態様も含まれる。
以下の各実施形態では、この発明に係る立体音響効果付加装置を携帯電話端末として具現した例を説明する。しかし、本発明に係る立体音響効果付加装置は、携帯電話端末の他、立体音響の再生が可能な音源を備えたパーソナルコンピュータなど、音楽を再生する各種の電子機器として具現可能である。
図1は本実施形態に係る携帯電話端末1を含む通信システム全体の構成を示す図である。図1に示すように、各携帯電話端末1は、一般的な携帯電話端末と同様、在圏する基地局2を介して、電話網、インターネットなどを含む大規模ネットワーク3に接続可能である。大規模ネットワーク3には、着信メロディのデータベースを保有する配信サーバ4が接続されている。ユーザは、携帯電話端末1により配信サーバ4にアクセスし、所望の着信メロディの楽曲データを携帯電話端末1にダウンロードすることが可能である。
Messageをm個の楽音形成処理部53のいずれかに振り分ける処理を行う装置である。ここで、m個の楽音形成処理部53は、Ch=0からCh=m−1までの楽音形成チャネル番号を各々有している。一方、Note
Messageは、その処理を行うべき楽音形成処理部53を指定する楽音形成チャネル番号を含んでいる。ノート振り分け処理部52は、CPU10から受け取ったNote
Messageが含む楽音形成チャネル番号に基づき、振り分け先である楽音形成処理部53を決定する。m個の楽音形成処理部53は、各々、ノート振り分け処理部52を介して与えられるNote
Messageに従って楽音信号を形成する装置である。
ch Assign Message(後述)を音源部50に供給する。仮想音源割り当て処理部54は、この3D ch Assign Messageが示す適切な仮想音源処理部55に楽音信号を振り分ける。
positionが示す仮想音源位置に対応したパラメータを使用した演算処理(具体的には遅延処理および減衰処理を組み合わせたフィルタ処理)を施し、3D positionが示す仮想音源位置にスピーカ再生音の音像を定位させるL、R2チャネルの楽音信号を生成する。
File)、SMAF(Synthetic music Mobile Application Format)などの演奏制御データ(シーケンスデータ)である。この種の演奏制御データにおいて、1つの演奏制御を指示する情報は、制御内容であるイベントを指示するイベント情報とイベントの実行タイミング、より詳しくは楽曲の先頭または先行するイベントの実行タイミングからの経過時間を指示するデュレーション情報の組により構成されている。
Messageに特有の情報であり、発音の持続時間を指示する。
ch Assignを含む。ここで、3D positionは、上述した通り、仮想音源位置を指示するイベント情報である。この例における3D positionは、ID=0である仮想音源処理部55が宛先となっており、この仮想音源処理部55に対し、仮想音源位置を、ユーザを基準として方位角−30度、仰角0度の方角にあり、距離2mだけ離れた位置に初期位置から移動時間2000Tickを要して移動させることを指示している。この3D
positionがCPU10により音源部50に与えられると、音源部50におけるID=0である仮想音源処理部55では、3D positionの指示通りに仮想音源位置を移動させる処理が開始される。なお、この例における3D
positionは、仮想音源位置を移動させることを指示しているが、移動時間を0にすると、距離、方位角、仰角により定まる空間内の1点に仮想音源位置を固定させる旨を指示するイベント情報となる。
Assignの後には、0〜3の範囲の楽音形成チャネルの指定を伴う一連のNote Messageがある。CPU10は、4個の3D ch Assignを音源部50に送った後、これら一連のNote
Messageを音源部50に与える。この場合、音源部50の仮想音源割り当て処理部54は、楽音形成チャネルch=0〜3の各楽音形成処理部53においてNote Messageに応じて形成された楽音信号を、3D
ch Assignに従い、ID=0の仮想音源処理部55に供給する。この仮想音源処理部55は、上述した3D positionを受け取っており、仮想音源位置を移動させる処理を既に開始している。従って、一連のNote
Messageに応じて形成される各楽音信号は、この仮想音源処理部55による処理を経ることにより、L、R2チャネルの楽音信号となってスピーカ51Lおよび51Rに与えられる。この結果、上述した3D
positionに従って音像の定位が移動するスピーカ再生音が得られる。
この遠近効果付加処理では、元の楽曲データに含まれる音の強弱情報(例えばベロシティ、ボリューム)を仮想音源位置までの距離に変換し、その距離だけユーザから離れたところに仮想音源位置を設定する立体音響効果情報を生成し、元の楽曲データに付加する。
この移動効果付加処理では、元の楽曲データに含まれるノート情報などの周期的な変化を抽出し、その変化の周期に同期させて仮想音源位置を周期的に移動させる立体音響効果情報を生成し、元の楽曲データに付加する。仮想音源位置を周期的に移動させる軌道は、ユーザの手前において左右方向に延びた直線軌道、ユーザを囲む円軌道、ユーザを囲む楕円軌道などが用意されており、これらの軌道に関する軌道定義情報(軌道上の各点の座標を演算するための関数など)が記憶部60に記憶されている。ユーザは、操作部41の操作により、それらの中から所望の軌道を予め選択することができる。この移動効果付加処理では、ユーザにより指定された軌道の軌道定義情報に基づき、周期的に変化する各ノートに割り当てる仮想音源位置が演算され、その仮想音源位置にスピーカ再生音の音像を定位させる立体音響効果情報が生成される。
このドップラー効果付加処理では、元の楽曲データに含まれるピッチベンドイベントなどの音程制御情報を、仮想音源位置を遠くからユーザに近づけ、あるいは仮想音源位置をユーザから遠ざける立体音響効果情報に変換し、楽曲データに付加する。
以上が本実施形態における携帯電話端末1の構成の詳細である。
Messageなど、周期性を持った情報の所在を求める。
以上が立体音響効果付加処理13の処理内容である。
Messageを含んでいる。遠近効果付加処理が実行されることにより、両Note Messageのベロシティ値は50に揃えられる。そして、元のベロシティ値Velが100であったNote
Messageの前には、ID=0である仮想音源処理部55にユーザから1m離れたところに仮想音像位置を設定することを指示する3D Positionと、そのNote
Messageに応じて形成される楽音信号をID=0の仮想音源処理部55に振り分けることを指示する3D ch Assignが付加される。また、元のベロシティ値Velが50であったNote
Messageの前には、ID=0である仮想音源処理部55にユーザから2m離れたところに仮想音像位置を設定することを指示する3D Positionと、そのNote
Messageに応じて形成される楽音信号をID=0の仮想音源処理部55に振り分けることを指示する3D ch Assignが付加される。このように遠近効果付加処理が実行される結果、元の楽曲データが表現していた音の強弱(ベロシティ値)は、ユーザと仮想音源位置との距離の長短に変換される。
Messageの繰り返しを含んでいたため、これらの周期的なNote Messageが移動効果付加処理の対象として抽出されている。移動効果付加処理が実行されることにより、これらのNote
Messageの前には、3D positionと3D ch Assignの組が付加されている。この例では、ユーザによって直線軌道が選択されたため、各Note Messageの前に付加された各立体音響効果情報は、各々の後にあるNote
Messageに従って発生させる楽音の音像の定位を、ユーザの手前を左右方向に走る直線軌道に沿って、右→中→左→中という具合に周期的に変化させる内容となっている。なお、この例では、元の楽曲データが示す音高はA→B→C→Dという変化を繰り返すが、仮に音高がA→B→C→Dと変化した後、例えばA→B→C→Eという具合に変化したとしても、A→B→Cという音高の変化が周期的に繰り返されているとみなすことができる。従って、移動効果付加処理は、楽曲データが後者のような音高の変化を示す場合にも実行され、音像の定位を周期的に変化させる立体音響効果情報が周期的なNote
Messageの前に付加される。
Bend:+と、音高を低くすることを指示するPitch Bend:−が配置されている。ドップラー効果付加処理が実行されることにより、前者のPitch Bend:+は、音像の位置をユーザの遠方に設定した後、500Tickを要してユーザの近傍に移動させる立体音響効果情報に置き換えられ、後者のPitch
Bend:−は、音像の位置をユーザの近傍に設定した後、500Tickを要してユーザの遠方に移動させる立体音響効果情報に置き換えられる。このようにドップラー効果付加処理の実行により、元の楽曲データが持っていた音を高くする、あるいは低くするという情報が音源を近づける、あるいは遠ざけるという表現に変換される。
図9はこの発明の第2実施形態である携帯電話端末1Aの構成を示すブロック図である。また、図10は同携帯電話端末1Aにおける音源部50Aの構成を示すブロック図である。なお、これらの図において、前掲図2および図3に示されたものに対応する部分には同一の符号を付け、その説明を省略する。
Audio Layer−3)やAAC(Advanced Audio Coding)などの特定の圧縮フォーマットにより圧縮した楽曲データが記憶される。CPU10Aは、この楽曲記憶エリア61A内の楽曲データを対象として立体音響効果を付加する処理を行うものである。
ch Assign Messageが含まれる。この3D ch Assign Messageは、上述した通り、処理対象となる楽音波形データのチャネル(この例の場合、LチャネルまたはRチャネル)と、その楽音波形データの処理を行う仮想音源処理部55のIDとを対応付けるイベント情報である。仮想音源割り当て処理部54Aは、この3D
ch Assign Messageに従い、デコーダ15から与えられる楽音波形データの仮想音源処理部55への振り分けを行う。仮想音源処理部55以降の部分の構成および機能は上記第1実施形態と同様である。
position Messageは、ID=0の仮想音源処理部55に対し、2000Tickを要して仮想音源位置を移動させる仮想音源処理の実行を指示している。その後の3D
ch Assign Messageは、55TickにおいてLチャネルの楽音波形データの仮想音源処理をID=0の仮想音源処理部55に割り当てることを指示している。さらにその後の3D
ch Assign Messageは、60TickにおいてRチャネルの楽音波形データの仮想音源処理をID=0の仮想音源処理部55に割り当てることを指示している。このため、仮想音源処理部55では、55Tickから2000Tickの間、Lチャネルの楽音の仮想音源位置を移動させ、60Tickから2000Tickの間、Rチャネルの楽音の仮想音源位置を移動させる仮想音源処理が行われる。
Message毎に、マスタボリューム値と、そのNote Messageが属する楽音形成チャネルのチャネルボリューム値と、そのNote Messageのベロシティ値とにより、そのNote
Messageに対応した音の強さを求め、この音の強さを仮想音源位置までの距離に置き換えた立体音響効果情報を生成するようにしてもよい。この場合において、楽曲データ中に含まれるベロシティ値の種類、チャネルボリューム値の種類が多いと、遠近効果付加処理により大量な立体音響効果情報が付加され、楽曲データのデータ量が大幅に増加する可能性がある。そこで、このような不都合を回避するため、遠近効果付加処理では、空間内の代表的な仮想音源位置を指示する限定された数の3D
positionを生成し、Note Messageには、その音の強さを最もよく近似する3D ポジションを割り当て、その3D positionによって表現することができない音の強弱については、そのNote
Messageのベロシティ値やチャネルボリューム値の調整により対処するようにしてもよい。ドップラー効果処理についても同様である。
Claims (5)
- 楽曲データを記憶する記憶手段と、
前記記憶手段に記憶された楽曲データから楽曲の進行に応じて周期的に変化する情報を抽出し、前記楽曲データの再生により立体音響を生じさせる場合における立体音響の定位を該周期的に変化する情報に同期して変化させる立体音響効果情報を生成し、前記楽曲データに前記立体音響効果情報を付加した楽曲データを出力する立体音響効果付加手段と
を具備することを特徴とする立体音響効果付加装置。 - 仮想音源位置を周期的に移動させる軌道を定義した軌道定義情報を記憶した記憶部を具備し、
前記立体音響効果付加手段は、前記楽曲データの再生により立体音響を生じさせる場合における立体音響の仮想音源位置を、前記楽曲の進行に応じて周期的に変化する情報に同期し、前記記憶部に記憶された軌道定義情報が示す軌道に沿って変化させる立体音響効果情報を生成することを特徴とする請求項1に記載の立体音響効果付加装置。 - 前記記憶部は、前記軌道定義情報を複数記憶し、
前記立体音響効果付加手段は、前記記憶部に記憶された複数の軌道定義情報のうち操作部の操作により指定された軌道定義情報に基づいて前記立体音響効果情報を生成することを特徴とする請求項2に記載の立体音響効果付加装置。 - 楽曲データを解析し、該楽曲データから楽曲の進行に応じて周期的に変化する情報を抽出する解析過程と、
前記楽曲データの再生により立体音響を生じさせる場合における立体音響の定位を前記解析過程において抽出した周期的に変化する情報に同期して変化させる立体音響効果情報を生成し、前記楽曲データに前記立体音響効果情報を付加した楽曲データを出力する立体音響効果付加過程と
をコンピュータに実行させることを特徴とするプログラム。 - 楽曲データに従って立体音響の再生を行う音源装置において、
楽曲データを解析し、該楽曲データから楽曲の進行に応じて周期的に変化する情報を抽出する解析手段と、
前記楽曲データの再生により立体音響を生じさせる場合における立体音響の定位を前記解析手段において抽出した周期的に変化する情報に同期して変化させる立体音響効果情報を生成し、該立体音響効果情報に基づいて、前記楽曲データに基づく立体音響の再生の制御を行う制御手段と
を具備することを特徴とする音源装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005354335A JP4983012B2 (ja) | 2005-12-08 | 2005-12-08 | 楽曲再生において立体音響効果を付加する装置およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005354335A JP4983012B2 (ja) | 2005-12-08 | 2005-12-08 | 楽曲再生において立体音響効果を付加する装置およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007158985A JP2007158985A (ja) | 2007-06-21 |
JP4983012B2 true JP4983012B2 (ja) | 2012-07-25 |
Family
ID=38242723
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005354335A Expired - Fee Related JP4983012B2 (ja) | 2005-12-08 | 2005-12-08 | 楽曲再生において立体音響効果を付加する装置およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4983012B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5672741B2 (ja) | 2010-03-31 | 2015-02-18 | ソニー株式会社 | 信号処理装置および方法、並びにプログラム |
JP6634857B2 (ja) * | 2016-02-05 | 2020-01-22 | ブラザー工業株式会社 | 楽曲演奏装置、楽曲演奏用プログラム及び楽曲演奏方法 |
JP7419666B2 (ja) * | 2019-04-03 | 2024-01-23 | ヤマハ株式会社 | 音信号処理装置および音信号処理方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2800429B2 (ja) * | 1991-01-09 | 1998-09-21 | ヤマハ株式会社 | 音像定位制御装置 |
JP3465292B2 (ja) * | 1993-04-30 | 2003-11-10 | カシオ計算機株式会社 | 音像移動制御装置 |
JPH0736448A (ja) * | 1993-06-28 | 1995-02-07 | Roland Corp | 音像定位装置 |
JPH07230283A (ja) * | 1994-02-18 | 1995-08-29 | Roland Corp | 音像定位装置 |
JPH09160549A (ja) * | 1995-12-04 | 1997-06-20 | Hitachi Ltd | 三次元音響提示方法および装置 |
JPH10230283A (ja) * | 1997-02-18 | 1998-09-02 | Able Kk | 銅イオン吸収装置及び吸収方法 |
JPH10177379A (ja) * | 1997-12-18 | 1998-06-30 | Roland Corp | 電子楽器 |
JP3722035B2 (ja) * | 2000-12-14 | 2005-11-30 | ヤマハ株式会社 | 演奏信号処理装置、方法及びプログラム、並びに記憶媒体 |
JP3719157B2 (ja) * | 2001-04-16 | 2005-11-24 | ヤマハ株式会社 | 楽曲データの表情付け装置及び楽曲データの表情付け方法並びに楽曲データの表情付けプログラム |
JP2005099559A (ja) * | 2003-09-26 | 2005-04-14 | Roland Corp | 電子楽器 |
JP4364024B2 (ja) * | 2004-03-18 | 2009-11-11 | 株式会社日立製作所 | 携帯端末 |
-
2005
- 2005-12-08 JP JP2005354335A patent/JP4983012B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2007158985A (ja) | 2007-06-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4779264B2 (ja) | 移動通信端末、楽音生成システム、楽音生成装置および楽音情報提供方法 | |
JP3632644B2 (ja) | ロボット、および、ロボットの動作パターン制御プログラム | |
CN111916039B (zh) | 音乐文件的处理方法、装置、终端及存储介质 | |
US20070137462A1 (en) | Wireless communications device with audio-visual effect generator | |
CN106205577A (zh) | 一种具有空间音效感的可柔性配置扬声器阵列的电子乐器 | |
KR100591378B1 (ko) | 악음 재생 장치와 방법, 및 휴대 단말 장치 | |
KR100773186B1 (ko) | 악곡 데이터 생성 시스템 및 악곡 데이터 생성 프로그램을저장한 컴퓨터 판독가능 기록 매체 | |
JP4983012B2 (ja) | 楽曲再生において立体音響効果を付加する装置およびプログラム | |
JP2011197344A (ja) | サーバ | |
JP2008304821A (ja) | 楽曲合奏公開システム | |
JP2009005012A (ja) | データ配信装置、データ配信方法およびプログラム | |
KR100731232B1 (ko) | 악곡 데이터 편집 재생 장치 및 휴대 정보 단말기 | |
JP4595827B2 (ja) | 楽曲再生装置およびデータファイル制作ツール | |
JP3975698B2 (ja) | 携帯通信端末 | |
US20110208332A1 (en) | Method for operating an electronic sound generating device and for generating context-dependent musical compositions | |
JP3788280B2 (ja) | 携帯通信端末 | |
JP3620467B2 (ja) | 通信端末 | |
WO2022264537A1 (ja) | 触覚信号生成装置、触覚信号生成方法、プログラム | |
JP2007079413A (ja) | オーディオ再生装置、オーディオ配信システム、オーディオ再生プログラムおよびオーサリングプログラム | |
KR100862126B1 (ko) | 휴대 통신 단말 | |
JP2007208388A (ja) | 携帯端末 | |
Hope | From Early Soundings to Locative Listening in Mobile Media Art | |
JP5510435B2 (ja) | カラオケ装置及びプログラム | |
JP3876262B2 (ja) | 音像定位変更再生装置およびその方法 | |
JP3933147B2 (ja) | 発音制御装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20081020 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110218 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110830 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111031 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120327 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120409 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4983012 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150511 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |