WO2006043380A1

WO2006043380A1 - 発音方法、音源回路、それを用いた電子回路および電子機器

Info

Publication number: WO2006043380A1
Application number: PCT/JP2005/016906
Authority: WO
Inventors: Shigehide Yano; Yoshihisa Tanaka
Original assignee: Rohm Co., Ltd
Priority date: 2004-10-21
Filing date: 2005-09-14
Publication date: 2006-04-27
Also published as: JPWO2006043380A1; EP1814357A1; US20080123867A1; KR20070070166A; CN101019465A; TW200614848A

Abstract

　音場内における仮想音源の位置調整のようなエフェクト処理と発音との同期ずれを抑制する。音源回路１００において、ＦＩＦＯメモリ２０は、再現音場内の仮想音源の変化を示す情報およびオーディオデータを記憶する。制御部３０は、ＦＩＦＯメモリ２０に記憶されたオーディオデータに、その再現音場内の仮想音源の位置調整を行う３Ｄポジショニング部２１０と連携し、位置調整されたオーディオデータを発音させる。制御部３０は、上記情報を検出すると、３Ｄポジショニング部２１０に通知する。その際、専用の信号線を介して、その情報に対応した割込信号を３Ｄポジショニング部２１０に送出してもよい。

Description

明細書

発音方法、音源回路、それを用いた電子回路および電子機器

技術分野

[0001] 本発明は、エフェクト処理したオーディオデータを発音するための発音方法、音源回路、それを用いた電子回路および電子機器に関する。

背景技術

[0002] 携帯電話機の高機能化に伴い、音質への要求も高まっている。そこで、携帯電話などの携帯端末にステレオスピーカが搭載されるようになってきている。ただ、そのような携帯端末の狭い筐体では、ステレオスピーカを内蔵しても、その発音に良質なステレオ感を得ることは難、。

[0003] 一方、ユーザの左右の耳を利用して 3次元音場を再生するオーディオ信号処理技術として、特許文献 1は、 1対のスピーカおよび 2つの信号チャンネルだけを使用する音場の合成技術について開示している。その音場では、球体の中心に位置するユーザの頭を囲む球体上のどこかに音源が現れるよう、ユーザに知覚させることができる

[0004] このような音響処理は、例えばユーザの頭に近接した空間位置力発散するような音、または時間と共にユーザに向力つて、もしくは離れるように移動する音、またはュ一ザの耳元にささやく人の声、などに効果的であるとしている。

特許文献 1 :特表 2001— 511995号公報

発明の開示

発明が解決しょうとする課題

[0005] 携帯電話などの携帯端末には、着信を知らせるためのメロディなどを発音する音源 LSI (Large Scale Integration)などで構成された音源回路が搭載されているものがある。このような音源回路の発音データが MIDI (登録商標）データ（Musical Instrument s Digital Interface)などの場合、そのデータ内の時間管理コマンドによって、発音タイミングが設定される。したがって、音源回路内のメモリにそのデータが書き込まれた後、どのくらいの時間で発音するかを、音源回路上で実行されるシーケンサなどのソフトウェアは認知することが難しい。このような音源回路と、上述したような音場内で音源の知覚位置を調整するためのエンジンとが連携する場合、当該音源回路による発音と当該エンジンによる位置調整とが同期ずれを起こし、予期せぬ位置に音像を定位してしまう可能性がある。

[0006] 本発明はこうした状況に鑑みてなされたものであり、その目的は、音場内における仮想音源の位置調整のようなエフェクト処理と発音との同期ずれを抑制することが可能な発音方法、音源回路、それを用いた電子回路および電子機器を提供することにある。

課題を解決するための手段

[0007] 上記課題を解決するために、本発明のある態様の発音方法は、オーディオデータの発音タイミングを解読するステップと、発音タイミングを示す情報をオーディオデータに加えるステップと、前記情報を参照して取得した発音タイミングに対応して、発音すべきオーディオデータにエフェクト処理するステップと、を備える。

[0008] この態様によると、発音タイミングを示す情報を参照してエフェクト処理することにより、エフェクト処理と発音との間の同期ずれを抑制することができる。

[0009] 本発明の別の態様もまた、発音方法である。この方法は、オーディオデータによる再現音場内の仮想音源の変化を解読するステップと、仮想音源の変化を示す情報をオーディオデータに加えるステップと、前記情報を参照して取得した仮想音源の変化に対応して、発音すべきオーディオデータの再現音場内の仮想音源の位置調整を行うステップと、を備える。「仮想音源の変化」には、仮想音源の切り替わり、仮想音源の移動による変化が含まれてもよい。

[0010] この態様〖こよると、仮想音源の変化を示す情報を参照して、再現音場内の仮想音源の位置調整を行うことにより、この位置調整と発音との間の同期ずれを抑制することがでさる。

[0011] 本発明のさらに別の態様は、音源回路である。この音源回路は、発音タイミングを示す情報およびオーディオデータを記憶する記憶部と、記憶部に記憶されたオーディォデータにエフェクト処理するエフェクト処理部と連携し、処理されたオーディオデータを発音させる制御部と、を備える。制御部は、前記情報を検出すると、エフェクト処理部にその情報を検出したことを通知する。

[0012] この態様によると、発音タイミングを示す情報をエフェクト処理部に通知することにより、エフェクト処理と発音との間の同期ずれを抑制することができる。

[0013] 本発明のさらに別の態様もまた、音源回路である。この音源回路は、再現音場内の仮想音源の変化を示す情報およびオーディオデータを記憶する記憶部と、記憶部に記憶されたオーディオデータに、その再現音場内の仮想音源の位置調整を行う位置調整部と連携し、位置調整されたオーディオデータを発音させる制御部と、を備える。制御部は、前記情報を検出すると、位置調整部にその情報を検出したことを通知する。

[0014] この態様によると、再現音場内の仮想音源の変化を示す情報を位置調整部に通知することにより、位置調整と発音との同期ずれを抑制することができる。

[0015] 制御部は、専用の信号線を介して、前記情報に対応した割込信号を位置調整部に送出してもよい。この態様によると、制御部と位置調整部とのオーディオデータの入出力に影響を与えずに、位置調整と発音との同期ずれを抑制することができる。

[0016] 制御部は、再現音場内に複数の仮想音源が設定された場合、それぞれの仮想音源の変化を示す情報の少なくとも一つ以上を検出すると、それぞれの仮想音源に対応した専用の信号線を介して、前記情報に対応した割込信号を位置調整部に送出してもよい。この態様〖こよると、音場内に複数の仮想音源があり、それぞれが独立して変化する場合でも、割込信号の頻発による誤動作を抑制することができる。

[0017] 制御部は、位置調整部に送出するオーディオデータ内の空き部分に前記情報を埋め込んでもよい。「オーディオデータ」が複数チャンネルを含む場合、その空きチャンネルに埋め込んでもよい。この態様〖こよると、専用の信号線を設けなくても、位置調整と発音との同期ずれを抑制することができる。

[0018] 本発明のさらに別の態様は、電子回路である。この電子回路は、上述した音源回路と、オーディオデータにエフェクト処理するエフェクト処理部とを備える。この態様によると、エフェクト処理と発音との間の同期ずれを抑制することができる電子回路を実現することができる。

[0019] 本発明のさらに別の態様は、電子回路である。この電子回路は、上述した音源回路と、オーディオデータに、その再現音場内の仮想音源の位置調整を行う位置調整部とを備える。この態様によると、再現音場内の仮想音源の位置調整処理と発音との間の同期ずれを抑制することができる電子回路を実現することができる。

[0020] 本発明のさらに別の態様は、電子機器である。この電子機器は、スピーカと、スピー力に発音させるための上述した態様の電子回路を備える。この態様によると、エフエタト処理と発音との間の同期ずれを抑制することができる電子機器を実現することができる。

[0021] なお、以上の構成要素の任意の組合せ、本発明の表現を装置、方法、システム、コンピュータプログラム、それが記録された記録媒体などの間で変換したものもまた、本発明の態様として有効である。

発明の効果

[0022] 本発明によれば、エフェクト処理と発音との同期ずれを抑制することができる。

図面の簡単な説明

[0023] [図 1]実施形態 1に係る音源回路の概略構成を示す図である。

[図 2]音源回路に係る制御タイミングを示す図である。（a)は、従来の制御タイミングを示し、（b)は、実施形態 1に係る制御タイミングを示す。

[図 3]実施形態 1に係る音源 LSIと 3Dポジショニング部を含む電子回路を搭載した電子機器の構成を示す図である。

[図 4]ステレオ拡張処理を説明するための図である。（a)は、従来のステレオ拡張処理がされていない発音を示し、（b)は、実施形態 1に係るステレオ拡張処理がなされた発音を示す。

[図 5]実施形態 1に係る音源回路と 3Dポジショニング部の処理手順を示すフローチヤートである。

[図 6]図 3に示した各信号の波形遷移の一例を示す図である。

[図 7]実施形態 2に係る音源回路の概略構成を示す図である。

[図 8]実施形態 2に係る音源 LSIと 3Dポジショニング部を含む電子回路を搭載した電子機器の構成を示す図である。

[図 9]図 8に示した各信号の波形遷移の一例を示す図である。 [図 10]制御部力もオーディオ IZFを介して、 3Dポジショニング部に伝送される信号の一例を示すタイミングチャートである。

[図 11]実施形態 3に係る各信号の波形遷移の一例を示す図である。

符号の説明

[0024] 10 CPUI/F, 20 FIFOメモリ、 30 制御部、 32 ステレオ拡張部、 34 音源シーケンサ、 40 オーディオ IZF、 52、 54 DAC、 62、 64 スピーカ、 1 00 音源回路、 110 音源 LSI、 200 アプリケーションプロセッサ、 210 3Dポジショユング部、 300 電子回路、 400 電子機器。

発明を実施するための最良の形態

[0025] (実施形態 1)

図 1は、実施形態 1に係る音源回路 100の概略構成を示す図である。実施形態 1は、音源 LSI110などで構成される音源回路 100の発音タイミングと、 3次元音場における仮想音源の知覚位置を調整するエンジン (以下、 3Dポジショニング部という。）による位置調整タイミングとの同期をとるための技術を提供する。 3Dポジショニング部 2 10は、例えば、飛行機の音なら頭上から聞こえるよう、車の音なら地面近くから聞こえるよう、それぞれのオーディオデータに特殊効果を施すためのエフェクト処理を行う。

[0026] まず、実施形態 1の概略を説明する。音源回路 100の外部に設けられるアプリケーシヨンプロセッサなどの CPUは、 CPUインタフェース（以下、 CPUIZFと表記する。） 10を介して、オーディオデータを音源回路 100内の FIFO (First- In First- Out)メモリ 20に書き込む。上記オーディオデータは、 MIDIフォーマットや ADPCM (Adaptive Differential Pulse Code Modulation)フォーマットなどで記述することができる。図 1では、一例として MIDIデータを FIFOメモリ 20に書き込んでいる。 MIDIデータは、楽曲の情報を、音色、音の長さ、強さ、特殊効果などの組み合わせとして記録している

[0027] 上記 CPUは、上記オーディオデータ内の時間管理に関するコマンドを解読し、そのオーディオデータを再生した際、生成される音場における仮想音源の 3次元空間上の知覚位置を切り替えるためのタイミングを特定する。そして、その切り替わりタイミングを示すために、 Callbackメッセージというデータを当該オーディオデータ内の知覚位置の切り替わりの部分などの所定の位置に挿入して、 FIFOメモリ 20に書き込む

[0028] FIFOメモリ 20は、先に入力されたデータをその入力順にしたカ^、、先に出力するメモリである。音源シーケンサ 34は、 MIDIデータの加工、再生などを行うソフトウェアであり、上記 CPUにより実行されてもよい。音源シーケンサ 34は、 FIFOメモリ 20の MIDIデータを再生し、図示しないスピーカなど力も発音させている。また、音源シーケンサ 34は、 FIFOメモリ 20内のデータを処理する際、 Callbackメッセージを検出すると、割込信号 MIDIINTを発生させる。この割込信号 MIDIINTは図 3のアプリケーシヨンプロセッサ 200に出力される。割込信号 MIDIINTを使用することにより、音源シーケンサ 34による発音タイミングと、 3Dポジショニング部 210による 3Dポジショ- ング処理との同期がとられる。

[0029] 図 2は、音源回路 100に係る制御タイミングを示す図である。図 2では、まず、飛行機の音を表すオーディオデータと、車の音を表すオーディオデータ力FIFOメモリ 20 に書き込まれる。

[0030] 図 2 (a)は、実施形態 1に係る技術を用いな、場合の例である。音源シーケンサ 34 は、 FIFOメモリ 20内のオーディオデータをその順番にしたがって発音していく。 FIF Oメモリ内にオーディオデータが書き込まれてから、そのオーディオデータが発音するまでの期間は、 MIDIデータの場合、その MIDIデータ内の Tempoなどの時間管理コマンドの量により変化する。また、曲調などによっても変化する。図 2では、音源シーケンサ 34は、車の音を表すオーディオデータが FIFOメモリ 20内に記憶されてから、そのオーディオデータが発音するまでの期間 tlを予測することができない。したがって、音源シーケンサ 34は、飛行機の音力車の音に切り替わるタイミングを予測することができない。

[0031] 図 2中、ポジション Aは飛行機の音に対応した位置、例えばユーザを中心にした音場の上方の位置を示し、ポジション Bは車の音に対応した位置、例えばそのユーザを中心にした音場の下方の位置を示す。例えば図 2 (a)のように、ポジション Aとポジシヨン Bとの切り替わりタイミングを FIFOメモリ 20での飛行機の音を表すオーディオデ一タカ車の音を表すオーディオデータへの切り替わりタイミングに合わせると、音源シーケンサ 34による発音の切り替わりタイミングとずれる期間 t2が生じる。この期間 t2 は、飛行機の音が地面を走行する車の位置から聞こえるようになり、ユーザの想像して、る映像と同期しな、ことになる。

[0032] これに対し、図 2 (b)は、実施形態 1に係る技術を用いた場合の例である。音源シーケンサ 34は、 MIDIデータの発音タイミングと同期して!/、る Callbackメッセージを検出すると、 3Dポジショニング処理を実行するアプリケーションプロセッサ 200に割込信号 MIDIINTを発生させる。 3Dポジショニング部 210は、この割込信号 MIDIINT を利用して、音源シーケンサ 34の発音タイミングと同期をとることができる。したがって、図 2 (b)では、音源シーケンサ 34が飛行機の発音力も車の発音に切り替えるタイミングに同期して、 3Dポジショニング部 210は、ポジション Aからポジション Bに切り替えることができる。

[0033] 以下、実施形態 1を詳細に説明する。図 3は、音源 LSI110とアプリケーションプロセッサ 200を含む電子回路 300を搭載した電子機器 400の構成を示す図である。音源 LSI110は、上述した音源回路 100をワンチップィ匕した集積回路で実現したものである。音源 LSI110の外部に設けられるアプリケーションプロセッサ 200は、 CPUI/ F10を介して、オーディオデータを音源 LSI110内の FIFOメモリ 20に書き込む。ァプリケーシヨンプロセッサ 200は、 3Dポジショニング部 210およびファームウェア 220 を含む。

[0034] 3Dポジショニング部 210は、上記オーディオデータ内の時間管理に関するコマンドを解読し、そのオーディオデータを再生した際、そのオーディオデータによる仮想音源の 3次元空間上の知覚位置を切り替えるためのタイミングを特定する。そして、その仮想音源の切り替わりタイミングを示すために、 Callbackメッセージというデータを当該オーディオデータ内の飛行機の音を表すオーディオデータと車の音を表すオーディォデータの切り替わりの部分などの所定の位置に挿入して、 FIFOメモリ 20に書き込む。

[0035] 制御部 30は、 FIFOメモリ 20から読み出したオーディオデータに各種エフェクト処理を施したり、読み出したオーディオデータを発音させたりする。制御部 30は、ォーディォデータをシーケンス処理して、デジタルデータとして、オーディオインターフエース（以下、オーディオ IZFと表記する。）40を介してアプリケーションプロセッサ 200 に受け渡す。

[0036] 3Dポジショニング部 210は、主に、上記アプリケーションプロセッサ 200と 3Dポジショユング用のファームウェア 220との連携により実現されるブロックである。制御部 30 または 3Dポジショニング部 210はワンチップ化されて!/、てもよ!/、。 3Dポジショニング部 210は、オーディオ IZF40を介して制御部 30から受け渡されたオーディオデータに 3次元ポジショニング処理を施し、制御部 30に返す。

[0037] 図 3では、アプリケーションプロセッサ 200と、オーディオ IZF40との間では 4本の信号 BCLK、信号 LRCLK、信号 SDOおよび信号 SDIが入出力される。信号 BCL Kは、ビット単位の同期をとるためのクロックをアプリケーションプロセッサ 200に出力する信号である。信号 LRCLKは、 1回のデータ受け渡しタイミングを与える信号であり、左右どちらのチャンネルのデータであるのかを示すことができる。信号 SDOは、制御部 30力もアプリケーションプロセッサ 200にシリアルにオーディオデータを出力するための信号である。信号 SDIは、逆にアプリケーションプロセッサ 200から制御部 3 0にシリアルにオーディオデータを出力するための信号である。信号 BCLK、信号し RCLK、信号 SDOおよび信号 SDIでやりとりされる信号は、 I2S (アイ.スクェア.エス )などの規格を用いることができる。

[0038] 制御部 30は、ステレオ拡張部 32を含む。ステレオ拡張部 32は、例えば、右のチヤンネルの信号に、左のチャンネルの信号の反位相をカ卩え、その逆も同様に処理することにより、ユーザにとって広がりのある音場を作り出す。右のスピーカから出力される音を、左のスピーカから出力される音で打ち消すと、ユーザは主に右の耳で、右のスピー力から出力される音を知覚することになる。逆も同様である。そうすると、右のチヤンネルで出力する音と、左のチャンネルで出力する音を分離することができ、音場を拡張することができる。

[0039] ステレオ拡張部 32は、 3Dポジショニング部 210により 3Dポジションングされたォーディォデータに対して、上述したようなステレオ拡張処理を施す。ユーザインタフエ一スとして、 1対のスピーカ 62、 64と図示しないヘッドフォンが設けられている場合、スピー力 62、 64とヘッドフォンに対して施す。 [0040] また、制御部 30は、 FIFOメモリ 20から読み出したデータに上記 Callbackメッセ一ジを検出すると、アプリケーションプロセッサ 200に割込信号 MIDIINTを出力する。図 3では、制御部 30からアプリケーションプロセッサ 200に、割込信号 MIDIINTが出力される。割込信号 MIDIINTは、上記仮想音源の知覚位置の切り替わりタイミングを示す制御信号をアプリケーションプロセッサ 200に伝送するための信号である。

[0041] 2つのデジタルアナログ変^ ^ (以下、 DACという。 ) 52、 54は、制御部 30から出力された左右のチャンネルのオーディオデジタル信号をそれぞれアナログ信号に変換して、左右のスピーカ 62、 64に出力する。なお、図示しないヘッドフォンなどが携帯端末などの機器に接続されている場合、ヘッドフォンにも出力する。 1対のスピーカ 62、 64は、左右のチャンネルのオーディオ信号を出力する。

[0042] 図 4は、ステレオ拡張処理を説明するための図である。図 4 (a)は、実施形態 1に係る技術を用いな、場合の例である。携帯電話機や携帯型ゲーム機などの携帯型の電子機器の場合、その電子機器の筐体の大きさの制約から、 1対のスピーカ 62、 64 の間の距離を長くすることが難しい。したがって、図 4 (a)に示すように、左右のスピー力 62、 64からの発音が混じり合ってしまい、 1対のスピーカ 62、 64を設けても、同じ場所から発音されて、るように感知され、ステレオ感を出すことが難、。

[0043] これに対し、図 4 (b)は、実施形態 1に係る技術を用いた場合の例である。左右のチヤンネルにステレオ拡張処理を施すことにより、あたかも 1対のスピーカ 62、 64の間に十分な距離を確保されているようなステレオ感を出すことができる。

[0044] 図 5は、実施形態 1に係る音源回路 100とアプリケーションプロセッサ 200の処理手順を示すフローチャートである。図 1の音源回路 100が図 3のアプリケーションプロセッサ 200と連携する形態で説明する。このフローチャートの左側の流れは、アプリケーシヨンプロセッサ 200の動作タイミングを示し、右側の流れは、ハードウェア資源としての音源回路 100の動作タイミングを示す。

[0045] まず、アプリケーションプロセッサ 200は、 Callbackメッセージを MIDIデータ内に設定する（S10)。その際、その Callbackメッセージに続けて後処理選択値も後処理選択メッセージとして設定する。後処理選択値とは、音源回路 100から MIDIデータをどのように出力するかを指し示す値である。 [0046] この設定により、音源回路 100内の FIFOメモリ 20に、 Callbackメッセージと後処理検出値が連続して設定されることになる（S30)。次に、音源シーケンサ 34は、 FIFO メモリ 20内のデータを読み出していくと、 Callbackメッセージを検出する（S32)。すると、アプリケーションプロセッサ 200に出力される割込信号 MIDIINTをローレベルに設定する。

[0047] 音源シーケンサ 34は、 Callbackメッセージを検出した後に、後処理選択メッセージを検出する（S34)。後処理選択メッセージは、音源シーケンサ 34とアプリケーションプロセッサ 200とのシリアル IZFを介してアプリケーションプロセッサ 200に 3Dポジショユング処理の対象となる MIDIデータを出力するよう命令するものである。

[0048] アプリケーションプロセッサ 200は、割込信号 MIDIINTから、 3Dポジショニング処理のタイミングを示す Callbackメッセージを検出することにより、 Callbackステータスを取得する（S12)。 3Dポジショニング部 210は、割込信号 MIDIINTがローレベルになると、割込ルーチンを実行する。割込ルーチンは、音源回路 100側からアプリケーシヨンプロセッサ 200側に MIDIデータが出力されないよう、マスク設定する（S14) 。 3Dポジショニング部 210は、音源回路 100からの割込をクリアするよう設定し (S16 ) , 3Dポジショニング処理を開始する（S18)。

[0049] 音源シーケンサ 34は、アプリケーションプロセッサ 200からの割込クリア設定に対応して、割込信号 MIDIINTによる Callbackメッセージをクリアする（S 36)。 3Dポジショユング部 210は、上記割込ルーチンの中でかけたマスクを解除する（S20)。マスクが解除されると、音源シーケンサ 34は、シリアル IZFを介してアプリケーションプロセッサ 200に MIDIデータの送出が可能となり、 MIDIデータの送出を開始する（S38)。先の後処理選択メッセージの検出からこの MIDIデータの送出までの期間は、 4mse c程度に設定することができる。

[0050] 3Dポジショニング部 210は、シリアル IZFを介して送られてくる上記 MIDIデータに、 3Dポジショニング処理を施す（S22)。音源シーケンサ 34は、このようにエフェクト処理がなされた MIDIデータを発音することができるようになる。

[0051] 以上、発音するタイミングを示す Callbackメッセージを FIFOメモリ 20に積み込み、アプリケーションプロセッサ 200への割込信号を発生させる手順を説明した。この点、 MIDIデータに限らず、 ADPCMデータなどに対しても同様の手順を適用することが可能である。

[0052] 図 6は、図 3に示した信号 LRCLK、信号 SDO、および割込信号 MIDIINTの波形遷移の一例を示す図である。この例は、図 2で例示した飛行機の音力も途中で車の音に切り替わるものである。信号 LRCLKは、周期的な繰り返し波形であり、その繰り返し波形の単位周期がデータ受け渡しの単位周期となる。信号 SDOは、アプリケーシヨンプロセッサ 200に入力されるオーディオデータを示す。図 6では、飛行機の音を表すオーディオデータが 2回入力され、その後に車の音を表すオーディオデータが 2 回入力された様子を示す。割込信号 MIDIINTは、アプリケーションプロセッサ 200 への割込信号である。図 6では、この割込信号 MIDIINTのハイレベルからローレべルへの立ち下がりエッジで、飛行機の音への 3Dポジショニング処理による音像の定位場所から、車の音に対する音像の定位場所に切り替わるタイミングを 3Dポジショ- ング部 210に通知している。

[0053] 以上説明したように実施形態 1によれば、 Callbackメッセージを 3Dポジショニング部との同期信号に利用することにより、音源シーケンサが発音する際、発音タイミングと、 3Dポジショニング処理との同期ずれを抑制し、予期せぬ位置に音像を定位してしまう事態を回避することができる。

[0054] (実施形態 2)

図 7は、実施形態 2に係る音源回路 100の概略構成を示す図である。実施形態 2は、音源回路 100の発音タイミングと、 3次元音場における複数の仮想音源の知覚位置を調整する 3Dポジショニング部 210による位置調整タイミングとの同期をとるための技術を提供する。 3Dポジショニング部 210は、複数の仮想音源からの発音が混じつた音において、それぞれの仮想音源を音場内の所定の場所力聞こえるよう、それら複数の仮想音源を表すオーディオデータにエフェクト処理を施す。

[0055] 実施形態 2に係る音源回路 100の構成は、実施形態 1に係る構成と基本的に同様の構成である。以下、相違点について説明する。外部に設けられる CPUは、 CPUI /F 10を介して、オーディオデータを音源回路 100内の FIFOメモリ 20に書き込む。当該 CPUは、上記オーディオデータ内の時間管理に関するコマンドを解読し、そのオーディオデータの再生音場における複数の仮想音源の 3次元空間上の知覚位置の切り替わりタイミングをそれぞれ特定する。そして、それら仮想音源の 3次元空間上の知覚位置の切り替わりタイミングを示すために、 Callbackメッセージ 1、 Callbackメッセージ 2· · ·といった各 Callbackメッセージ BOXを当該オーディオデータ内のその知覚位置の切り替わりの部分などに挿入して、 FIFOメモリ 20に書き込む。

[0056] 音源シーケンサ 34は、 FIFOメモリ 20内のデータを処理する際、いずれかの Callb ackメッセージを検出すると、検出した Callbackメッセージに対応する割込信号 3DI NTを発生させる。 Callbackメッセージ 1には、割込信号 3DINT1が対応し、 Callba ckメッセージ 2には、割込信号 3DINT2が対応する。実施形態 2では、音源回路 10 0から 3Dポジショニング処理を実行するアプリケーションプロセッサ 200に、各 Callba ckメッセージ専用の 3DINT線が配されており、音源シーケンサ 34は、検出した Call backメッセージに対応する 3DINT線を介して、アプリケーションプロセッサ 200に割込信号 3DINT1または割込信号 3DINT2を伝送する。

[0057] 以下、実施形態 2を詳細に説明する。図 8は、実施形態 2に係る音源 LSI110とアブリケーシヨンプロセッサ 200を含む電子回路 300を搭載した電子機器 400の構成を示す図である。実施形態 2に係る音源 LSI110およびアプリケーションプロセッサ 200 は、実施形態 1で説明した図 3の構成と基本的に同様である。以下、相違点を説明する。

[0058] 3Dポジショニング部 210は、上記オーディオデータ内の時間管理に関するコマンドを解読し、そのオーディオデータの再生音場における複数の仮想音源の 3次元空間上の位置の切り替わりタイミングをそれぞれ特定する。そして、それら仮想音源の 3次元空間上の位置の切り替わりタイミングを示すために、 Callbackメッセージと!/、ぅデータを当該オーディオデータ内のそれぞれの位置の切り替わりの部分などに挿入して、 FIFOメモリ 20に書き込む。

[0059] 制御部 30とアプリケーションプロセッサ 200とは、複数の割込信号線で結ばれている。図 8では、 3本まで明示しているが 3本に限るものではない。制御部 30は、 FIFO メモリ 20から読み出したデータにいずれかの Callbackメッセージを検出すると、対応する割込信号線を介してアプリケーションプロセッサ 200に割込信号 3DINT1、割込信号 3DINT2、割込信号 3DINT3を出力する。

[0060] 図 9は、図 8に示した信号 LRCLK、信号 SDO、信号 3DINT1、および信号 3DIN T2の波形遷移の一例を示す図である。この例は、飛行機および UFOの音が混在した音から、途中で車およびミサイルの音が混在した音に切り替わるものである。信号し RCLKおよび信号 SDOは、図 6の説明と同様である。図 9では、飛行機および UFO の音が混ざった音を表すオーディオデータが 2回入力され、その後に車およびミサィルの音が混ざった音を表すオーディオデータが 2回入力された様子を示す。割込信号 3DINT1および割込信号 3DINT2は、アプリケーションプロセッサ 200への割込信号である。

[0061] 図 9では、割込信号 3DINT1のハイレベルからローレベルへの立ち下がりエッジで、飛行機の音への 3Dポジショニング処理による音像の定位場所から、車の音に対する 3Dポジショニング処理による音像の定位場所に切り替わるタイミングを 3Dポジショユング部 210に通知している。同様に、割込信号 3DINT2のハイレベルからローレベルへの立ち下がりエッジで、 UFOの音への 3Dポジショニング処理による音像の定位場所から、ミサイルの音に対する 3Dポジショニング処理による音像の定位場所に切り替わるタイミングを 3Dポジショニング部 210に通知している。

[0062] 以上説明したように実施形態 2によれば、 Callbackメッセージを複数用意し、アプリケーシヨンプロセッサ 200に複数の Callbackメッセージに対応する割込信号を送出するための専用の信号線をそれぞれ設けたことにより、複数音を音場内の複数箇所に定位させる際に、特定の信号線に対する割込信号の頻発を抑制することができる。すなわち、並列処理できるように、 Callbackメッセージを複数設けて、複数の Callb ackメッセージに対応した信号線を複数設けることにより、アプリケーションプロセッサ 200は、受け取った情報を取りこぼすことなぐ蓄えておくことができ、 3Dポジショニング部 210による処理を必ず実行することができる。

[0063] (実施形態 3)

実施形態 3は、実施形態 1および 2のように、音源回路 100からアプリケーションプロセッサ 200に Callbackメッセージを送出するための専用の信号線を設けずに、ォーディォデータ内の空きチャンネルにタイミング情報を埋め込んで、音源回路 100とァプリケーシヨンプロセッサ 200との同期を取る技術を提供する。実施形態 3に係る音源 LSI110とアプリケーションプロセッサ 200の構成は、実施形態 1で説明した図 3の構成と基本的に同様である。以下、相違点を説明すると、制御部 30とアプリケーションプロセッサ 200とを繋ぐ割込信号線を設けない点が異なる。

[0064] 図 10は、制御部 30からオーディオ IZF40を介して、アプリケーションプロセッサ 20 0に伝送される信号の一例を示すタイミングチャートである。制御部 30は、オーディオデータを I2Sフォーマットで信号 SDOによりシリアル伝送している。図 10において、信号 LRCLKは、 1回分のデータ受け渡しタイミングを示す。 1周期に 1回、データを受け渡す。 I2Sフォーマットでは、 1回に 64ビットまたは 128ビットを受け渡すことができる。信号 BCLKは、単位ビットの伝送タイミングを示す。なお、図内のストライプ領域は、データ列の省略した箇所を示す。

[0065] 図 10では、信号 LRCLKの 1周期あたり、左チャンネル Lch64ビット、右チャンネル Rch64ビットで計 128ビットのデータを受け渡すことができる。信号 LRCLKの 1周期のデータに、 1チャンネルあたり 16ビットで、 8チャンネルを設定した例である。信号 S DOは、 1回の受け渡しで、 16ビットのデータを 8種類送出できることを示し、信号 SD Oの下のビット列は、実際に受け渡してるデータを示す。図 10では、 1チャンネル CH 1と、 5チャンネル CH5にオーディオデータが書き込まれている。図 10は、音場内における仮想音源が一つの場合の例であり、音場内の仮想音源が複数の場合、他のチャンネル CHも使用される。

[0066] 上記した DAC52、 54に 16ビット用のものを使用する場合、左右のチャンネルを合わせて 32ビットのデータを、信号 LRCLKの 1周期あたりに受け渡せれば足りる。そこで、図 10のように空きチャンネルができることになる。図 10では、オーディオデータの発音タイミングと、そのオーディオデータの 3Dポジショニング処理とのタイミングをとるための情報を、 3チャンネル CH3に書き込んでいる。 3Dポジショニング部 210は、このタイミング情報を参照して、 3次元音場内における仮想音源の知覚位置を切り替えるタイミングを取得することができる。

[0067] 図 11は、実施形態 3に係る信号 LRCLK、および信号 SDOの波形遷移の一例を示す図である。この例は、図 2で例示した飛行機の音力途中で車の音に切り替わるものである。信号 SDOは、アプリケーションプロセッサ 200に入力されるオーディオデータを示す。図 11では、飛行機の音を表すオーディオデータが 2回入力され、その後に車の音を表すオーディオデータが 1回入力された様子を示す。図 11では、車の音を表すオーディオデータの始めの受け渡しの際に、その 1回分のオーディオデータの空きチャンネルに上記タイミング情報を埋め込んでいる。

[0068] 以上説明したように実施形態 3によれば、音源回路 100からアプリケーションプロセッサ 200に伝送されるオーディオデータの空きチャンネルに、同期をとるためのメッセージを埋め込むことにより、割込処理により生成される信号を伝送するための信号線を用いなくとも、すなわち簡素な構成で、オーディオデータの発音タイミングとそのォ一ディォデータの 3Dポジショニング処理との同期をとることができる。

[0069] 以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せに、ろ、ろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

[0070] 実施形態では、図 3および図 8に示したように、音源 LSI110とアプリケーションプロセッサ 200とを別の LSIチップで構成する例を説明した。したがって、音源 LSI110とアプリケーションプロセッサ 200との間に回路規模を抑えながら、多数の信号線を配することが難しぐシリアルインタフェースでオーディオデータをやりとりする例を説明した。この点、電子回路 300全体をワンチップ化してもよい。この場合、アプリケーションプロセッサ 200を外部に設けた場合のように、回路規模を大きくせずに多数の信号線を、音源 LSI110とアプリケーションプロセッサ 200との間に配することが可能になる。したがって、音源 LSI110とアプリケーションプロセッサ 200との間のオーディオデータをパラレルインタフェースでやりとりしてもよい。さら〖こ、実施形態 3で説明したタイミング情報を伝送するための専用の信号線を設けてもよい。これによれば、回路規模を抑えながら、信号を高速ィ匕することができる。

[0071] また、実施形態では、制御部 30は、 3Dポジショニング機能、およびステレオ拡張機能を実行した。この点、それら機能に限らず、リバーブ機能、コーラス機能などのエフェクト機能を実行してもよい。実施形態 1、 2で説明した割込処理や、実施形態 3で説明した空きチャンネルへのタイミング情報埋め込み技術を同様に適用することができる。これにより、オーディオデータの発音タイミングと、各種エフェクト機能の処理タイミングとの同期をとることができる。

産業上の利用可能性

本発明は、オーディオデータをエフェクト処理して再生する電子機器の分野に適用することができる。

Claims

請求の範囲

[1] オーディオデータの発音タイミングを解読するステップと、

前記発音タイミングを示す情報を前記オーディオデータに加えるステップと、前記情報を参照して取得した前記発音タイミングに対応して、発音すべきオーディォデータにエフェクト処理するステップと、

を備えることを特徴とする発音方法。

[2] オーディオデータによる再現音場内の仮想音源の変化を解読するステップと、前記仮想音源の変化を示す情報を前記オーディオデータに加えるステップと、前記情報を参照して取得した前記仮想音源の変化に対応して、発音すべきオーディォデータの再現音場内の仮想音源の位置調整を行うステップと、

を備えることを特徴とする発音方法。

[3] 発音タイミングを示す情報およびオーディオデータを記憶する記憶部と、

前記記憶部に記憶されたオーディオデータにエフェクト処理するエフェクト処理部と連携し、処理されたオーディオデータを発音させる制御部と、を備え、

前記制御部は、前記情報を検出すると、前記エフェクト処理部に前記情報を検出したことを通知することを特徴とする音源回路。

[4] 再現音場内の仮想音源の変化を示す情報およびオーディオデータを記憶する記憶部と、

前記記憶部に記憶されたオーディオデータに、その再現音場内の仮想音源の位置調整を行う位置調整部と連携し、位置調整されたオーディオデータを発音させる制御部と、を備え、

前記制御部は、前記情報を検出すると、前記位置調整部に前記情報を検出したことを通知することを特徴とする音源回路。

[5] 前記制御部は、専用の信号線を介して、前記情報に対応した割込信号を前記位置調整部に送出することを特徴とする請求項 4に記載の音源回路。

[6] 前記制御部は、前記再現音場内に複数の仮想音源が設定された場合、それぞれの仮想音源の変化を示す情報の少なくとも一つ以上を検出すると、それぞれの仮想音源に対応した専用の信号線を介して、前記情報に対応した割込信号を前記位置調整部に送出することを特徴とする請求項 4に記載の音源回路。

[7] 前記制御部は、前記位置調整部に送出するオーディオデータ内の空き部分に前記情報を埋め込むことを特徴とする請求項 4に記載の音源回路。

[8] 請求項 3から 7の、ずれかに記載の音源回路であって、

同一半導体基板に一体集積化されたことを特徴とする音源回路。

[9] 請求項 3に記載の音源回路と、

前記オーディオデータにエフェクト処理するエフェクト処理部と、

を備えることを特徴とする電子回路。

[10] 請求項 4力 8の、ずれかに記載の音源回路と、

前記オーディオデータに、その再現音場内の仮想音源の位置調整を行う位置調整部と、

を備えることを特徴とする電子回路。

[11] スピーカと、

前記スピーカから発音させるための請求項 9または 10記載の電子回路を備えることを特徴とする電子機器。