JPWO2006043380A1 - 発音方法、音源回路、それを用いた電子回路および電子機器 - Google Patents

Abstract

音場内における仮想音源の位置調整のようなエフェクト処理と発音との同期ずれを抑制する。音源回路１００において、ＦＩＦＯメモリ２０は、再現音場内の仮想音源の変化を示す情報およびオーディオデータを記憶する。制御部３０は、ＦＩＦＯメモリ２０に記憶されたオーディオデータに、その再現音場内の仮想音源の位置調整を行う３Ｄポジショニング部２１０と連携し、位置調整されたオーディオデータを発音させる。制御部３０は、上記情報を検出すると、３Ｄポジショニング部２１０に通知する。その際、専用の信号線を介して、その情報に対応した割込信号を３Ｄポジショニング部２１０に送出してもよい。

Description

本発明は、エフェクト処理したオーディオデータを発音するための発音方法、音源回路、それを用いた電子回路および電子機器に関する。

携帯電話機の高機能化に伴い、音質への要求も高まっている。そこで、携帯電話などの携帯端末にステレオスピーカが搭載されるようになってきている。ただ、そのような携帯端末の狭い筐体では、ステレオスピーカを内蔵しても、その発音に良質なステレオ感を得ることは難しい。

一方、ユーザの左右の耳を利用して３次元音場を再生するオーディオ信号処理技術として、特許文献１は、１対のスピーカおよび２つの信号チャンネルだけを使用する音場の合成技術について開示している。その音場では、球体の中心に位置するユーザの頭を囲む球体上のどこかに音源が現れるよう、ユーザに知覚させることができる。

このような音響処理は、例えばユーザの頭に近接した空間位置から発散するような音、または時間と共にユーザに向かって、もしくは離れるように移動する音、またはユーザの耳元にささやく人の声、などに効果的であるとしている。
特表２００１−５１１９９５号公報

携帯電話などの携帯端末には、着信を知らせるためのメロディなどを発音する音源ＬＳＩ（Large Scale Integration）などで構成された音源回路が搭載されているものがある。このような音源回路の発音データがＭＩＤＩ（登録商標）データ（Musical Instruments Digital Interface）などの場合、そのデータ内の時間管理コマンドによって、発音タイミングが設定される。したがって、音源回路内のメモリにそのデータが書き込まれた後、どのくらいの時間で発音するかを、音源回路上で実行されるシーケンサなどのソフトウェアは認知することが難しい。このような音源回路と、上述したような音場内で音源の知覚位置を調整するためのエンジンとが連携する場合、当該音源回路による発音と当該エンジンによる位置調整とが同期ずれを起こし、予期せぬ位置に音像を定位してしまう可能性がある。

本発明はこうした状況に鑑みてなされたものであり、その目的は、音場内における仮想音源の位置調整のようなエフェクト処理と発音との同期ずれを抑制することが可能な発音方法、音源回路、それを用いた電子回路および電子機器を提供することにある。

上記課題を解決するために、本発明のある態様の発音方法は、オーディオデータの発音タイミングを解読するステップと、発音タイミングを示す情報をオーディオデータに加えるステップと、前記情報を参照して取得した発音タイミングに対応して、発音すべきオーディオデータにエフェクト処理するステップと、を備える。

この態様によると、発音タイミングを示す情報を参照してエフェクト処理することにより、エフェクト処理と発音との間の同期ずれを抑制することができる。

本発明の別の態様もまた、発音方法である。この方法は、オーディオデータによる再現音場内の仮想音源の変化を解読するステップと、仮想音源の変化を示す情報をオーディオデータに加えるステップと、前記情報を参照して取得した仮想音源の変化に対応して、発音すべきオーディオデータの再現音場内の仮想音源の位置調整を行うステップと、を備える。「仮想音源の変化」には、仮想音源の切り替わり、仮想音源の移動による変化が含まれてもよい。

この態様によると、仮想音源の変化を示す情報を参照して、再現音場内の仮想音源の位置調整を行うことにより、この位置調整と発音との間の同期ずれを抑制することができる。

本発明のさらに別の態様は、音源回路である。この音源回路は、発音タイミングを示す情報およびオーディオデータを記憶する記憶部と、記憶部に記憶されたオーディオデータにエフェクト処理するエフェクト処理部と連携し、処理されたオーディオデータを発音させる制御部と、を備える。制御部は、前記情報を検出すると、エフェクト処理部にその情報を検出したことを通知する。

この態様によると、発音タイミングを示す情報をエフェクト処理部に通知することにより、エフェクト処理と発音との間の同期ずれを抑制することができる。

本発明のさらに別の態様もまた、音源回路である。この音源回路は、再現音場内の仮想音源の変化を示す情報およびオーディオデータを記憶する記憶部と、記憶部に記憶されたオーディオデータに、その再現音場内の仮想音源の位置調整を行う位置調整部と連携し、位置調整されたオーディオデータを発音させる制御部と、を備える。制御部は、前記情報を検出すると、位置調整部にその情報を検出したことを通知する。

この態様によると、再現音場内の仮想音源の変化を示す情報を位置調整部に通知することにより、位置調整と発音との同期ずれを抑制することができる。

制御部は、専用の信号線を介して、前記情報に対応した割込信号を位置調整部に送出してもよい。この態様によると、制御部と位置調整部とのオーディオデータの入出力に影響を与えずに、位置調整と発音との同期ずれを抑制することができる。

制御部は、再現音場内に複数の仮想音源が設定された場合、それぞれの仮想音源の変化を示す情報の少なくとも一つ以上を検出すると、それぞれの仮想音源に対応した専用の信号線を介して、前記情報に対応した割込信号を位置調整部に送出してもよい。この態様によると、音場内に複数の仮想音源があり、それぞれが独立して変化する場合でも、割込信号の頻発による誤動作を抑制することができる。

制御部は、位置調整部に送出するオーディオデータ内の空き部分に前記情報を埋め込んでもよい。「オーディオデータ」が複数チャンネルを含む場合、その空きチャンネルに埋め込んでもよい。この態様によると、専用の信号線を設けなくても、位置調整と発音との同期ずれを抑制することができる。

本発明のさらに別の態様は、電子回路である。この電子回路は、上述した音源回路と、オーディオデータにエフェクト処理するエフェクト処理部とを備える。この態様によると、エフェクト処理と発音との間の同期ずれを抑制することができる電子回路を実現することができる。

本発明のさらに別の態様は、電子回路である。この電子回路は、上述した音源回路と、オーディオデータに、その再現音場内の仮想音源の位置調整を行う位置調整部とを備える。この態様によると、再現音場内の仮想音源の位置調整処理と発音との間の同期ずれを抑制することができる電子回路を実現することができる。

本発明のさらに別の態様は、電子機器である。この電子機器は、スピーカと、スピーカに発音させるための上述した態様の電子回路を備える。この態様によると、エフェクト処理と発音との間の同期ずれを抑制することができる電子機器を実現することができる。

なお、以上の構成要素の任意の組合せ、本発明の表現を装置、方法、システム、コンピュータプログラム、それが記録された記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、エフェクト処理と発音との同期ずれを抑制することができる。

実施形態１に係る音源回路の概略構成を示す図である。 音源回路に係る制御タイミングを示す図である。（ａ）は、従来の制御タイミングを示し、（ｂ）は、実施形態１に係る制御タイミングを示す。 実施形態１に係る音源ＬＳＩと３Ｄポジショニング部を含む電子回路を搭載した電子機器の構成を示す図である。 ステレオ拡張処理を説明するための図である。（ａ）は、従来のステレオ拡張処理がされていない発音を示し、（ｂ）は、実施形態１に係るステレオ拡張処理がなされた発音を示す。 実施形態１に係る音源回路と３Ｄポジショニング部の処理手順を示すフローチャートである。 図３に示した各信号の波形遷移の一例を示す図である。 実施形態２に係る音源回路の概略構成を示す図である。 実施形態２に係る音源ＬＳＩと３Ｄポジショニング部を含む電子回路を搭載した電子機器の構成を示す図である。 図８に示した各信号の波形遷移の一例を示す図である。 制御部からオーディオＩ／Ｆを介して、３Ｄポジショニング部に伝送される信号の一例を示すタイミングチャートである。 実施形態３に係る各信号の波形遷移の一例を示す図である。

符号の説明

１０ ＣＰＵＩ／Ｆ、 ２０ ＦＩＦＯメモリ、 ３０ 制御部、 ３２ ステレオ拡張部、 ３４ 音源シーケンサ、 ４０ オーディオＩ／Ｆ、 ５２、５４ ＤＡＣ、 ６２、６４ スピーカ、 １００ 音源回路、 １１０ 音源ＬＳＩ、 ２００ アプリケーションプロセッサ、 ２１０ ３Ｄポジショニング部、 ３００ 電子回路、 ４００ 電子機器。

（実施形態１）
図１は、実施形態１に係る音源回路１００の概略構成を示す図である。実施形態１は、音源ＬＳＩ１１０などで構成される音源回路１００の発音タイミングと、３次元音場における仮想音源の知覚位置を調整するエンジン（以下、３Ｄポジショニング部という。）による位置調整タイミングとの同期をとるための技術を提供する。３Ｄポジショニング部２１０は、例えば、飛行機の音なら頭上から聞こえるよう、車の音なら地面近くから聞こえるよう、それぞれのオーディオデータに特殊効果を施すためのエフェクト処理を行う。

まず、実施形態１の概略を説明する。音源回路１００の外部に設けられるアプリケーションプロセッサなどのＣＰＵは、ＣＰＵインタフェース（以下、ＣＰＵＩ／Ｆと表記する。）１０を介して、オーディオデータを音源回路１００内のＦＩＦＯ（First-In First-Out）メモリ２０に書き込む。上記オーディオデータは、ＭＩＤＩフォーマットやＡＤＰＣＭ（Adaptive Differential Pulse Code Modulation）フォーマットなどで記述することができる。図１では、一例としてＭＩＤＩデータをＦＩＦＯメモリ２０に書き込んでいる。ＭＩＤＩデータは、楽曲の情報を、音色、音の長さ、強さ、特殊効果などの組み合わせとして記録している。

上記ＣＰＵは、上記オーディオデータ内の時間管理に関するコマンドを解読し、そのオーディオデータを再生した際、生成される音場における仮想音源の３次元空間上の知覚位置を切り替えるためのタイミングを特定する。そして、その切り替わりタイミングを示すために、Ｃａｌｌｂａｃｋメッセージというデータを当該オーディオデータ内の知覚位置の切り替わりの部分などの所定の位置に挿入して、ＦＩＦＯメモリ２０に書き込む。

ＦＩＦＯメモリ２０は、先に入力されたデータをその入力順にしたがい、先に出力するメモリである。音源シーケンサ３４は、ＭＩＤＩデータの加工、再生などを行うソフトウェアであり、上記ＣＰＵにより実行されてもよい。音源シーケンサ３４は、ＦＩＦＯメモリ２０のＭＩＤＩデータを再生し、図示しないスピーカなどから発音させている。また、音源シーケンサ３４は、ＦＩＦＯメモリ２０内のデータを処理する際、Ｃａｌｌｂａｃｋメッセージを検出すると、割込信号ＭＩＤＩＩＮＴを発生させる。この割込信号ＭＩＤＩＩＮＴは図３のアプリケーションプロセッサ２００に出力される。割込信号ＭＩＤＩＩＮＴを使用することにより、音源シーケンサ３４による発音タイミングと、３Ｄポジショニング部２１０による３Ｄポジショニング処理との同期がとられる。

図２は、音源回路１００に係る制御タイミングを示す図である。図２では、まず、飛行機の音を表すオーディオデータと、車の音を表すオーディオデータがＦＩＦＯメモリ２０に書き込まれる。

図２（ａ）は、実施形態１に係る技術を用いない場合の例である。音源シーケンサ３４は、ＦＩＦＯメモリ２０内のオーディオデータをその順番にしたがって発音していく。ＦＩＦＯメモリ内にオーディオデータが書き込まれてから、そのオーディオデータが発音するまでの期間は、ＭＩＤＩデータの場合、そのＭＩＤＩデータ内のＴｅｍｐｏなどの時間管理コマンドの量により変化する。また、曲調などによっても変化する。図２では、音源シーケンサ３４は、車の音を表すオーディオデータがＦＩＦＯメモリ２０内に記憶されてから、そのオーディオデータが発音するまでの期間ｔ１を予測することができない。したがって、音源シーケンサ３４は、飛行機の音から車の音に切り替わるタイミングを予測することができない。

図２中、ポジションＡは飛行機の音に対応した位置、例えばユーザを中心にした音場の上方の位置を示し、ポジションＢは車の音に対応した位置、例えばそのユーザを中心にした音場の下方の位置を示す。例えば図２（ａ）のように、ポジションＡとポジションＢとの切り替わりタイミングをＦＩＦＯメモリ２０での飛行機の音を表すオーディオデータから車の音を表すオーディオデータへの切り替わりタイミングに合わせると、音源シーケンサ３４による発音の切り替わりタイミングとずれる期間ｔ２が生じる。この期間ｔ２は、飛行機の音が地面を走行する車の位置から聞こえるようになり、ユーザの想像している映像と同期しないことになる。

これに対し、図２（ｂ）は、実施形態１に係る技術を用いた場合の例である。音源シーケンサ３４は、ＭＩＤＩデータの発音タイミングと同期しているＣａｌｌｂａｃｋメッセージを検出すると、３Ｄポジショニング処理を実行するアプリケーションプロセッサ２００に割込信号ＭＩＤＩＩＮＴを発生させる。３Ｄポジショニング部２１０は、この割込信号ＭＩＤＩＩＮＴを利用して、音源シーケンサ３４の発音タイミングと同期をとることができる。したがって、図２（ｂ）では、音源シーケンサ３４が飛行機の発音から車の発音に切り替えるタイミングに同期して、３Ｄポジショニング部２１０は、ポジションＡからポジションＢに切り替えることができる。

以下、実施形態１を詳細に説明する。図３は、音源ＬＳＩ１１０とアプリケーションプロセッサ２００を含む電子回路３００を搭載した電子機器４００の構成を示す図である。音源ＬＳＩ１１０は、上述した音源回路１００をワンチップ化した集積回路で実現したものである。音源ＬＳＩ１１０の外部に設けられるアプリケーションプロセッサ２００は、ＣＰＵＩ／Ｆ１０を介して、オーディオデータを音源ＬＳＩ１１０内のＦＩＦＯメモリ２０に書き込む。アプリケーションプロセッサ２００は、３Ｄポジショニング部２１０およびファームウェア２２０を含む。

３Ｄポジショニング部２１０は、上記オーディオデータ内の時間管理に関するコマンドを解読し、そのオーディオデータを再生した際、そのオーディオデータによる仮想音源の３次元空間上の知覚位置を切り替えるためのタイミングを特定する。そして、その仮想音源の切り替わりタイミングを示すために、Ｃａｌｌｂａｃｋメッセージというデータを当該オーディオデータ内の飛行機の音を表すオーディオデータと車の音を表すオーディオデータの切り替わりの部分などの所定の位置に挿入して、ＦＩＦＯメモリ２０に書き込む。

制御部３０は、ＦＩＦＯメモリ２０から読み出したオーディオデータに各種エフェクト処理を施したり、読み出したオーディオデータを発音させたりする。制御部３０は、オーディオデータをシーケンス処理して、デジタルデータとして、オーディオインターフェース（以下、オーディオＩ／Ｆと表記する。）４０を介してアプリケーションプロセッサ２００に受け渡す。

３Ｄポジショニング部２１０は、主に、上記アプリケーションプロセッサ２００と３Ｄポジショニング用のファームウェア２２０との連携により実現されるブロックである。制御部３０または３Ｄポジショニング部２１０はワンチップ化されていてもよい。３Ｄポジショニング部２１０は、オーディオＩ／Ｆ４０を介して制御部３０から受け渡されたオーディオデータに３次元ポジショニング処理を施し、制御部３０に返す。

図３では、アプリケーションプロセッサ２００と、オーディオＩ／Ｆ４０との間では４本の信号ＢＣＬＫ、信号ＬＲＣＬＫ、信号ＳＤＯおよび信号ＳＤＩが入出力される。信号ＢＣＬＫは、ビット単位の同期をとるためのクロックをアプリケーションプロセッサ２００に出力する信号である。信号ＬＲＣＬＫは、１回のデータ受け渡しタイミングを与える信号であり、左右どちらのチャンネルのデータであるのかを示すことができる。信号ＳＤＯは、制御部３０からアプリケーションプロセッサ２００にシリアルにオーディオデータを出力するための信号である。信号ＳＤＩは、逆にアプリケーションプロセッサ２００から制御部３０にシリアルにオーディオデータを出力するための信号である。信号ＢＣＬＫ、信号ＬＲＣＬＫ、信号ＳＤＯおよび信号ＳＤＩでやりとりされる信号は、Ｉ２Ｓ（アイ・スクエア・エス）などの規格を用いることができる。

制御部３０は、ステレオ拡張部３２を含む。ステレオ拡張部３２は、例えば、右のチャンネルの信号に、左のチャンネルの信号の反位相を加え、その逆も同様に処理することにより、ユーザにとって広がりのある音場を作り出す。右のスピーカから出力される音を、左のスピーカから出力される音で打ち消すと、ユーザは主に右の耳で、右のスピーカから出力される音を知覚することになる。逆も同様である。そうすると、右のチャンネルで出力する音と、左のチャンネルで出力する音を分離することができ、音場を拡張することができる。

ステレオ拡張部３２は、３Ｄポジショニング部２１０により３Ｄポジションングされたオーディオデータに対して、上述したようなステレオ拡張処理を施す。ユーザインタフェースとして、１対のスピーカ６２、６４と図示しないヘッドフォンが設けられている場合、スピーカ６２、６４とヘッドフォンに対して施す。

また、制御部３０は、ＦＩＦＯメモリ２０から読み出したデータに上記Ｃａｌｌｂａｃｋメッセージを検出すると、アプリケーションプロセッサ２００に割込信号ＭＩＤＩＩＮＴを出力する。図３では、制御部３０からアプリケーションプロセッサ２００に、割込信号ＭＩＤＩＩＮＴが出力される。割込信号ＭＩＤＩＩＮＴは、上記仮想音源の知覚位置の切り替わりタイミングを示す制御信号をアプリケーションプロセッサ２００に伝送するための信号である。

２つのデジタルアナログ変換器（以下、ＤＡＣという。）５２、５４は、制御部３０から出力された左右のチャンネルのオーディオデジタル信号をそれぞれアナログ信号に変換して、左右のスピーカ６２、６４に出力する。なお、図示しないヘッドフォンなどが携帯端末などの機器に接続されている場合、ヘッドフォンにも出力する。１対のスピーカ６２、６４は、左右のチャンネルのオーディオ信号を出力する。

図４は、ステレオ拡張処理を説明するための図である。図４（ａ）は、実施形態１に係る技術を用いない場合の例である。携帯電話機や携帯型ゲーム機などの携帯型の電子機器の場合、その電子機器の筐体の大きさの制約から、１対のスピーカ６２、６４の間の距離を長くすることが難しい。したがって、図４（ａ）に示すように、左右のスピーカ６２、６４からの発音が混じり合ってしまい、１対のスピーカ６２、６４を設けても、同じ場所から発音されているように感知され、ステレオ感を出すことが難しい。

これに対し、図４（ｂ）は、実施形態１に係る技術を用いた場合の例である。左右のチャンネルにステレオ拡張処理を施すことにより、あたかも１対のスピーカ６２、６４の間に十分な距離を確保されているようなステレオ感を出すことができる。

図５は、実施形態１に係る音源回路１００とアプリケーションプロセッサ２００の処理手順を示すフローチャートである。図１の音源回路１００が図３のアプリケーションプロセッサ２００と連携する形態で説明する。このフローチャートの左側の流れは、アプリケーションプロセッサ２００の動作タイミングを示し、右側の流れは、ハードウェア資源としての音源回路１００の動作タイミングを示す。

まず、アプリケーションプロセッサ２００は、ＣａｌｌｂａｃｋメッセージをＭＩＤＩデータ内に設定する（Ｓ１０）。その際、そのＣａｌｌｂａｃｋメッセージに続けて後処理選択値も後処理選択メッセージとして設定する。後処理選択値とは、音源回路１００からＭＩＤＩデータをどのように出力するかを指し示す値である。

この設定により、音源回路１００内のＦＩＦＯメモリ２０に、Ｃａｌｌｂａｃｋメッセージと後処理検出値が連続して設定されることになる（Ｓ３０）。次に、音源シーケンサ３４は、ＦＩＦＯメモリ２０内のデータを読み出していくと、Ｃａｌｌｂａｃｋメッセージを検出する（Ｓ３２）。すると、アプリケーションプロセッサ２００に出力される割込信号ＭＩＤＩＩＮＴをローレベルに設定する。

音源シーケンサ３４は、Ｃａｌｌｂａｃｋメッセージを検出した後に、後処理選択メッセージを検出する（Ｓ３４）。後処理選択メッセージは、音源シーケンサ３４とアプリケーションプロセッサ２００とのシリアルＩ／Ｆを介してアプリケーションプロセッサ２００に３Ｄポジショニング処理の対象となるＭＩＤＩデータを出力するよう命令するものである。

アプリケーションプロセッサ２００は、割込信号ＭＩＤＩＩＮＴから、３Ｄポジショニング処理のタイミングを示すＣａｌｌｂａｃｋメッセージを検出することにより、Ｃａｌｌｂａｃｋステータスを取得する（Ｓ１２）。３Ｄポジショニング部２１０は、割込信号ＭＩＤＩＩＮＴがローレベルになると、割込ルーチンを実行する。割込ルーチンは、音源回路１００側からアプリケーションプロセッサ２００側にＭＩＤＩデータが出力されないよう、マスク設定する（Ｓ１４）。３Ｄポジショニング部２１０は、音源回路１００からの割込をクリアするよう設定し（Ｓ１６）、３Ｄポジショニング処理を開始する（Ｓ１８）。

音源シーケンサ３４は、アプリケーションプロセッサ２００からの割込クリア設定に対応して、割込信号ＭＩＤＩＩＮＴによるＣａｌｌｂａｃｋメッセージをクリアする（Ｓ３６）。３Ｄポジショニング部２１０は、上記割込ルーチンの中でかけたマスクを解除する（Ｓ２０）。マスクが解除されると、音源シーケンサ３４は、シリアルＩ／Ｆを介してアプリケーションプロセッサ２００にＭＩＤＩデータの送出が可能となり、ＭＩＤＩデータの送出を開始する（Ｓ３８）。先の後処理選択メッセージの検出からこのＭＩＤＩデータの送出までの期間は、４ｍｓｅｃ程度に設定することができる。

３Ｄポジショニング部２１０は、シリアルＩ／Ｆを介して送られてくる上記ＭＩＤＩデータに、３Ｄポジショニング処理を施す（Ｓ２２）。音源シーケンサ３４は、このようにエフェクト処理がなされたＭＩＤＩデータを発音することができるようになる。

以上、発音するタイミングを示すＣａｌｌｂａｃｋメッセージをＦＩＦＯメモリ２０に積み込み、アプリケーションプロセッサ２００への割込信号を発生させる手順を説明した。この点、ＭＩＤＩデータに限らず、ＡＤＰＣＭデータなどに対しても同様の手順を適用することが可能である。

図６は、図３に示した信号ＬＲＣＬＫ、信号ＳＤＯ、および割込信号ＭＩＤＩＩＮＴの波形遷移の一例を示す図である。この例は、図２で例示した飛行機の音から途中で車の音に切り替わるものである。信号ＬＲＣＬＫは、周期的な繰り返し波形であり、その繰り返し波形の単位周期がデータ受け渡しの単位周期となる。信号ＳＤＯは、アプリケーションプロセッサ２００に入力されるオーディオデータを示す。図６では、飛行機の音を表すオーディオデータが２回入力され、その後に車の音を表すオーディオデータが２回入力された様子を示す。割込信号ＭＩＤＩＩＮＴは、アプリケーションプロセッサ２００への割込信号である。図６では、この割込信号ＭＩＤＩＩＮＴのハイレベルからローレベルへの立ち下がりエッジで、飛行機の音への３Ｄポジショニング処理による音像の定位場所から、車の音に対する音像の定位場所に切り替わるタイミングを３Ｄポジショニング部２１０に通知している。

以上説明したように実施形態１によれば、Ｃａｌｌｂａｃｋメッセージを３Ｄポジショニング部との同期信号に利用することにより、音源シーケンサが発音する際、発音タイミングと、３Ｄポジショニング処理との同期ずれを抑制し、予期せぬ位置に音像を定位してしまう事態を回避することができる。

（実施形態２）
図７は、実施形態２に係る音源回路１００の概略構成を示す図である。実施形態２は、音源回路１００の発音タイミングと、３次元音場における複数の仮想音源の知覚位置を調整する３Ｄポジショニング部２１０による位置調整タイミングとの同期をとるための技術を提供する。３Ｄポジショニング部２１０は、複数の仮想音源からの発音が混じった音において、それぞれの仮想音源を音場内の所定の場所から聞こえるよう、それら複数の仮想音源を表すオーディオデータにエフェクト処理を施す。

実施形態２に係る音源回路１００の構成は、実施形態１に係る構成と基本的に同様の構成である。以下、相違点について説明する。外部に設けられるＣＰＵは、ＣＰＵＩ／Ｆ１０を介して、オーディオデータを音源回路１００内のＦＩＦＯメモリ２０に書き込む。当該ＣＰＵは、上記オーディオデータ内の時間管理に関するコマンドを解読し、そのオーディオデータの再生音場における複数の仮想音源の３次元空間上の知覚位置の切り替わりタイミングをそれぞれ特定する。そして、それら仮想音源の３次元空間上の知覚位置の切り替わりタイミングを示すために、Ｃａｌｌｂａｃｋメッセージ１、Ｃａｌｌｂａｃｋメッセージ２・・・といった各ＣａｌｌｂａｃｋメッセージＢＯＸを当該オーディオデータ内のその知覚位置の切り替わりの部分などに挿入して、ＦＩＦＯメモリ２０に書き込む。

音源シーケンサ３４は、ＦＩＦＯメモリ２０内のデータを処理する際、いずれかのＣａｌｌｂａｃｋメッセージを検出すると、検出したＣａｌｌｂａｃｋメッセージに対応する割込信号３ＤＩＮＴを発生させる。Ｃａｌｌｂａｃｋメッセージ１には、割込信号３ＤＩＮＴ１が対応し、Ｃａｌｌｂａｃｋメッセージ２には、割込信号３ＤＩＮＴ２が対応する。実施形態２では、音源回路１００から３Ｄポジショニング処理を実行するアプリケーションプロセッサ２００に、各Ｃａｌｌｂａｃｋメッセージ専用の３ＤＩＮＴ線が配されており、音源シーケンサ３４は、検出したＣａｌｌｂａｃｋメッセージに対応する３ＤＩＮＴ線を介して、アプリケーションプロセッサ２００に割込信号３ＤＩＮＴ１または割込信号３ＤＩＮＴ２を伝送する。

以下、実施形態２を詳細に説明する。図８は、実施形態２に係る音源ＬＳＩ１１０とアプリケーションプロセッサ２００を含む電子回路３００を搭載した電子機器４００の構成を示す図である。実施形態２に係る音源ＬＳＩ１１０およびアプリケーションプロセッサ２００は、実施形態１で説明した図３の構成と基本的に同様である。以下、相違点を説明する。

３Ｄポジショニング部２１０は、上記オーディオデータ内の時間管理に関するコマンドを解読し、そのオーディオデータの再生音場における複数の仮想音源の３次元空間上の位置の切り替わりタイミングをそれぞれ特定する。そして、それら仮想音源の３次元空間上の位置の切り替わりタイミングを示すために、Ｃａｌｌｂａｃｋメッセージというデータを当該オーディオデータ内のそれぞれの位置の切り替わりの部分などに挿入して、ＦＩＦＯメモリ２０に書き込む。

制御部３０とアプリケーションプロセッサ２００とは、複数の割込信号線で結ばれている。図８では、３本まで明示しているが３本に限るものではない。制御部３０は、ＦＩＦＯメモリ２０から読み出したデータにいずれかのＣａｌｌｂａｃｋメッセージを検出すると、対応する割込信号線を介してアプリケーションプロセッサ２００に割込信号３ＤＩＮＴ１、割込信号３ＤＩＮＴ２、割込信号３ＤＩＮＴ３を出力する。

図９は、図８に示した信号ＬＲＣＬＫ、信号ＳＤＯ、信号３ＤＩＮＴ１、および信号３ＤＩＮＴ２の波形遷移の一例を示す図である。この例は、飛行機およびＵＦＯの音が混在した音から、途中で車およびミサイルの音が混在した音に切り替わるものである。信号ＬＲＣＬＫおよび信号ＳＤＯは、図６の説明と同様である。図９では、飛行機およびＵＦＯの音が混ざった音を表すオーディオデータが２回入力され、その後に車およびミサイルの音が混ざった音を表すオーディオデータが２回入力された様子を示す。割込信号３ＤＩＮＴ１および割込信号３ＤＩＮＴ２は、アプリケーションプロセッサ２００への割込信号である。

図９では、割込信号３ＤＩＮＴ１のハイレベルからローレベルへの立ち下がりエッジで、飛行機の音への３Ｄポジショニング処理による音像の定位場所から、車の音に対する３Ｄポジショニング処理による音像の定位場所に切り替わるタイミングを３Ｄポジショニング部２１０に通知している。同様に、割込信号３ＤＩＮＴ２のハイレベルからローレベルへの立ち下がりエッジで、ＵＦＯの音への３Ｄポジショニング処理による音像の定位場所から、ミサイルの音に対する３Ｄポジショニング処理による音像の定位場所に切り替わるタイミングを３Ｄポジショニング部２１０に通知している。

以上説明したように実施形態２によれば、Ｃａｌｌｂａｃｋメッセージを複数用意し、アプリケーションプロセッサ２００に複数のＣａｌｌｂａｃｋメッセージに対応する割込信号を送出するための専用の信号線をそれぞれ設けたことにより、複数音を音場内の複数箇所に定位させる際に、特定の信号線に対する割込信号の頻発を抑制することができる。すなわち、並列処理できるように、Ｃａｌｌｂａｃｋメッセージを複数設けて、複数のＣａｌｌｂａｃｋメッセージに対応した信号線を複数設けることにより、アプリケーションプロセッサ２００は、受け取った情報を取りこぼすことなく、蓄えておくことができ、３Ｄポジショニング部２１０による処理を必ず実行することができる。

（実施形態３）
実施形態３は、実施形態１および２のように、音源回路１００からアプリケーションプロセッサ２００にＣａｌｌｂａｃｋメッセージを送出するための専用の信号線を設けずに、オーディオデータ内の空きチャンネルにタイミング情報を埋め込んで、音源回路１００とアプリケーションプロセッサ２００との同期を取る技術を提供する。実施形態３に係る音源ＬＳＩ１１０とアプリケーションプロセッサ２００の構成は、実施形態１で説明した図３の構成と基本的に同様である。以下、相違点を説明すると、制御部３０とアプリケーションプロセッサ２００とを繋ぐ割込信号線を設けない点が異なる。

図１０は、制御部３０からオーディオＩ／Ｆ４０を介して、アプリケーションプロセッサ２００に伝送される信号の一例を示すタイミングチャートである。制御部３０は、オーディオデータをＩ２Ｓフォーマットで信号ＳＤＯによりシリアル伝送している。図１０において、信号ＬＲＣＬＫは、１回分のデータ受け渡しタイミングを示す。１周期に１回、データを受け渡す。Ｉ２Ｓフォーマットでは、１回に６４ビットまたは１２８ビットを受け渡すことができる。信号ＢＣＬＫは、単位ビットの伝送タイミングを示す。なお、図内のストライプ領域は、データ列の省略した箇所を示す。

図１０では、信号ＬＲＣＬＫの１周期あたり、左チャンネルＬｃｈ６４ビット、右チャンネルＲｃｈ６４ビットで計１２８ビットのデータを受け渡すことができる。信号ＬＲＣＬＫの１周期のデータに、１チャンネルあたり１６ビットで、８チャンネルを設定した例である。信号ＳＤＯは、１回の受け渡しで、１６ビットのデータを８種類送出できることを示し、信号ＳＤＯの下のビット列は、実際に受け渡してるデータを示す。図１０では、１チャンネルＣＨ１と、５チャンネルＣＨ５にオーディオデータが書き込まれている。図１０は、音場内における仮想音源が一つの場合の例であり、音場内の仮想音源が複数の場合、他のチャンネルＣＨも使用される。

上記したＤＡＣ５２、５４に１６ビット用のものを使用する場合、左右のチャンネルを合わせて３２ビットのデータを、信号ＬＲＣＬＫの１周期あたりに受け渡せれば足りる。そこで、図１０のように空きチャンネルができることになる。図１０では、オーディオデータの発音タイミングと、そのオーディオデータの３Ｄポジショニング処理とのタイミングをとるための情報を、３チャンネルＣＨ３に書き込んでいる。３Ｄポジショニング部２１０は、このタイミング情報を参照して、３次元音場内における仮想音源の知覚位置を切り替えるタイミングを取得することができる。

図１１は、実施形態３に係る信号ＬＲＣＬＫ、および信号ＳＤＯの波形遷移の一例を示す図である。この例は、図２で例示した飛行機の音から途中で車の音に切り替わるものである。信号ＳＤＯは、アプリケーションプロセッサ２００に入力されるオーディオデータを示す。図１１では、飛行機の音を表すオーディオデータが２回入力され、その後に車の音を表すオーディオデータが１回入力された様子を示す。図１１では、車の音を表すオーディオデータの始めの受け渡しの際に、その１回分のオーディオデータの空きチャンネルに上記タイミング情報を埋め込んでいる。

以上説明したように実施形態３によれば、音源回路１００からアプリケーションプロセッサ２００に伝送されるオーディオデータの空きチャンネルに、同期をとるためのメッセージを埋め込むことにより、割込処理により生成される信号を伝送するための信号線を用いなくとも、すなわち簡素な構成で、オーディオデータの発音タイミングとそのオーディオデータの３Ｄポジショニング処理との同期をとることができる。

以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

実施形態では、図３および図８に示したように、音源ＬＳＩ１１０とアプリケーションプロセッサ２００とを別のＬＳＩチップで構成する例を説明した。したがって、音源ＬＳＩ１１０とアプリケーションプロセッサ２００との間に回路規模を抑えながら、多数の信号線を配することが難しく、シリアルインタフェースでオーディオデータをやりとりする例を説明した。この点、電子回路３００全体をワンチップ化してもよい。この場合、アプリケーションプロセッサ２００を外部に設けた場合のように、回路規模を大きくせずに多数の信号線を、音源ＬＳＩ１１０とアプリケーションプロセッサ２００との間に配することが可能になる。したがって、音源ＬＳＩ１１０とアプリケーションプロセッサ２００との間のオーディオデータをパラレルインタフェースでやりとりしてもよい。さらに、実施形態３で説明したタイミング情報を伝送するための専用の信号線を設けてもよい。これによれば、回路規模を抑えながら、信号を高速化することができる。

また、実施形態では、制御部３０は、３Ｄポジショニング機能、およびステレオ拡張機能を実行した。この点、それら機能に限らず、リバーブ機能、コーラス機能などのエフェクト機能を実行してもよい。実施形態１、２で説明した割込処理や、実施形態３で説明した空きチャンネルへのタイミング情報埋め込み技術を同様に適用することができる。これにより、オーディオデータの発音タイミングと、各種エフェクト機能の処理タイミングとの同期をとることができる。

本発明は、オーディオデータをエフェクト処理して再生する電子機器の分野に適用することができる。

Claims (11)

1. オーディオデータの発音タイミングを解読するステップと、
   前記発音タイミングを示す情報を前記オーディオデータに加えるステップと、
   前記情報を参照して取得した前記発音タイミングに対応して、発音すべきオーディオデータにエフェクト処理するステップと、
   を備えることを特徴とする発音方法。
2. オーディオデータによる再現音場内の仮想音源の変化を解読するステップと、
   前記仮想音源の変化を示す情報を前記オーディオデータに加えるステップと、
   前記情報を参照して取得した前記仮想音源の変化に対応して、発音すべきオーディオデータの再現音場内の仮想音源の位置調整を行うステップと、
   を備えることを特徴とする発音方法。
3. 発音タイミングを示す情報およびオーディオデータを記憶する記憶部と、
   前記記憶部に記憶されたオーディオデータにエフェクト処理するエフェクト処理部と連携し、処理されたオーディオデータを発音させる制御部と、を備え、
   前記制御部は、前記情報を検出すると、前記エフェクト処理部に前記情報を検出したことを通知することを特徴とする音源回路。
4. 再現音場内の仮想音源の変化を示す情報およびオーディオデータを記憶する記憶部と、
   前記記憶部に記憶されたオーディオデータに、その再現音場内の仮想音源の位置調整を行う位置調整部と連携し、位置調整されたオーディオデータを発音させる制御部と、を備え、
   前記制御部は、前記情報を検出すると、前記位置調整部に前記情報を検出したことを通知することを特徴とする音源回路。
5. 前記制御部は、専用の信号線を介して、前記情報に対応した割込信号を前記位置調整部に送出することを特徴とする請求項４に記載の音源回路。
6. 前記制御部は、前記再現音場内に複数の仮想音源が設定された場合、それぞれの仮想音源の変化を示す情報の少なくとも一つ以上を検出すると、それぞれの仮想音源に対応した専用の信号線を介して、前記情報に対応した割込信号を前記位置調整部に送出することを特徴とする請求項４に記載の音源回路。
7. 前記制御部は、前記位置調整部に送出するオーディオデータ内の空き部分に前記情報を埋め込むことを特徴とする請求項４に記載の音源回路。
8. 請求項３から７のいずれかに記載の音源回路であって、
   同一半導体基板に一体集積化されたことを特徴とする音源回路。
9. 請求項３に記載の音源回路と、
   前記オーディオデータにエフェクト処理するエフェクト処理部と、
   を備えることを特徴とする電子回路。
10. 請求項４から８のいずれかに記載の音源回路と、
    前記オーディオデータに、その再現音場内の仮想音源の位置調整を行う位置調整部と、
    を備えることを特徴とする電子回路。
11. スピーカと、
    前記スピーカから発音させるための請求項９または１０記載の電子回路を備えることを特徴とする電子機器。

Images