JP6086188B2 - 音響効果調整装置および方法、並びにプログラム - Google Patents

Description

本技術は音響効果調整装置および方法、並びにプログラムに関し、特に、より分かり易く使い易いユーザインターフェースを提供することができるようにした音響効果調整装置および方法、並びにプログラムに関する。

例えば、音響信号に対する音響効果調整の代表的なものとして、グラフィックイコライザが知られている（例えば、特許文献１参照）。

グラフィックイコライザでは、例えば図１に示すように音響信号の各周波数成分に対応するスライドバーのつまみを上下させることで、それらの周波数成分のゲイン（イコライザ）調整が行なわれる。

すなわち、図１に示すグラフィックイコライザでは、100Hzに対応するつまみＰＨ１１、500Hzに対応するつまみＰＨ１２、および10kHzに対応するつまみＰＨ１３が設けられている。なお、図１の例では、調整できる周波数が100Hz、500Hz、その後飛んで10kHzとなっているが、実際には500Hzから10kHzの間は存在しない訳ではなく、説明を簡単にするために省略されている。

つまみＰＨ１１乃至つまみＰＨ１３は、「＋３」から「−３」までの各数値が記された目盛り上に配置されており、ユーザはそれらのつまみを操作して所望の目盛り上に移動させることで、各つまみに対応する周波数成分のゲインを調整する。この例では、つまみＰＨ１１は「＋１」が記された目盛り上に位置し、つまみＰＨ１２は「−１」が記された目盛り上に位置し、つまみＰＨ１３は「＋２」が記された目盛り上に位置している。

これにより、図中、右側に示す特性が得られる。つまり音響信号の各周波数のゲインが、つまみの位置に応じた量だけ増幅または減衰される。なお、図中、右側において横軸および縦軸は、それぞれ周波数および各周波数のゲインを示している。この例では、100Hzおよび10kHzのゲインが、つまみＰＨ１１およびつまみＰＨ１３の位置に応じた分だけ増幅され、500HzのゲインがつまみＰＨ１２の位置に応じた分だけ減衰されている。

このように、グラフィックイコライザ等の音響効果の調整が広く一般的に行なわれている。

特許第４６９１７５３号公報

ところで、上述したグラフィックイコライザは、音響機器になじみのあるユーザには広く一般的に知られている。そのため、そのようなユーザであれば、グラフィックイコライザを目的にあわせて便利に使うことができる。

しかしながら、小さな子供やお年寄りなど、グラフィックイコライザを知識として得る機会のない、またはそのような機会の少ないユーザには、グラフィックイコライザがどのような機能や効果を生むかを直ちに理解することができない可能性が高い。したがって、このようなグラフィックイコライザに不慣れなユーザは、折角グラフィックイコライザがあっても、思うように使うことができなかった。換言すれば、現状のグラフィックイコライザは、ユニバーサルデザインを実現しているとはいえなかった。

以上のように、現状ではイコライザ調整等の音響信号（音声信号）に対する音響効果調整を行なう場合に、ユーザに分かり易く、使い易いユーザインターフェースが実現されているとはいえなかった。

本技術は、このような状況に鑑みてなされたものであり、より分かり易く使い易いユーザインターフェースを提供することができるようにするものである。

本技術の一側面の音響効果調整装置は、音響信号の音響効果を調整するための制御用図形を表示させるとともに、前記制御用図形に対するユーザの操作に応じて前記制御用図形を変化させる表示制御部と、前記制御用図形の互いに異なる部分に対応付けられた、前記音響信号に前記音響効果を施すための複数の音響パラメータについて、前記制御用図形の変化と連動させて前記音響パラメータを変化させる制御部とを備え、前記制御用図形の第１の頂点と第２の頂点には、互いに異なる種別の前記音響パラメータが対応付けられている。

音響効果調整装置には、前記制御用図形を表示する表示部に重畳して設けられたタッチパネルに対する前記ユーザの操作を検出することで、前記制御用図形に対する前記ユーザの操作を検出する検出部をさらに設け、前記表示制御部には前記検出部による検出結果に応じて前記制御用図形を変化させ、前記制御部には前記検出部による前記検出結果に応じて前記音響パラメータを変化させるようにすることができる。

音響効果調整装置には、前記制御用図形とともに表示されたポインタによる前記制御用図形への操作を検出することで、前記制御用図形に対する前記ユーザの操作を検出する検出部をさらに設け、前記表示制御部には前記検出部による検出結果に応じて前記制御用図形を変化させ、前記制御部には前記検出部による前記検出結果に応じて前記音響パラメータを変化させるようにすることができる。

音響効果調整装置には、前記制御用図形の変化に応じて変化した前記音響パラメータに基づいて、前記音響信号に対して前記音響効果を施す音響効果調整部と、前記音響効果調整部により前記音響効果が施された前記音響信号に基づいて音声を再生する再生部とをさらに設けることができる。

前記表示制御部には、前記ユーザの操作に応じて前記制御用図形を連続的に変化させ、前記制御部には、前記制御用図形の変化と連動させて前記音響パラメータを連続的に変化させ、前記音響パラメータをパラメトリック化することで前記音響効果を連続的に変化させることができる。

前記表示制御部には、前記ユーザの操作に応じて前記制御用図形を連続的に変化させ、前記制御部には、前記制御用図形の変化と連動させて前記音響パラメータを連続的に変化させ、前記音響効果調整部には、予め定められた第１の音響効果が施された前記音響信号と、予め定められた、前記第１の音響効果とは異なる第２の音響効果が施された前記音響信号とを、前記音響パラメータの変化に応じてクロスフェードすることで前記音響効果を連続的に変化させることができる。

音響効果調整装置には、前記音響パラメータの変化に応じた制御信号を、前記音響信号に対して前記音響効果を施す外部機器に送信する通信部をさらに設けることができる。

前記表示制御部には、前記制御用図形とともに、前記制御用図形とは異なる他の制御用図形をさらに表示させることができる。

前記表示制御部には、前記制御用図形とともに前記音響パラメータを想起させる画像をさらに表示させ、前記制御用図形に対する前記ユーザの操作に応じて前記制御用図形および前記画像を変化させるようにすることができる。

前記表示制御部には、前記制御用図形に対する前記ユーザの操作に応じて前記制御用図形を変形させるようにすることができる。

本技術の一側面の音響効果調整方法またはプログラムは、音響信号の音響効果を調整するための制御用図形を表示させるとともに、前記制御用図形に対するユーザの操作に応じて前記制御用図形を変化させ、前記制御用図形の互いに異なる部分に対応付けられた、前記音響信号に前記音響効果を施すための複数の音響パラメータについて、前記制御用図形の変化と連動させて前記音響パラメータを変化させるステップを含み、前記制御用図形の第１の頂点と第２の頂点には、互いに異なる種別の前記音響パラメータが対応付けられている。

本技術の一側面においては、音響信号の音響効果を調整するための制御用図形が表示されるとともに、前記制御用図形に対するユーザの操作に応じて前記制御用図形が変化し、前記制御用図形の互いに異なる部分に対応付けられた、前記音響信号に前記音響効果を施すための複数の音響パラメータについて、前記制御用図形の変化と連動させて前記音響パラメータが変化する。また、前記制御用図形の第１の頂点と第２の頂点には、互いに異なる種別の前記音響パラメータが対応付けられている。

本技術の一側面によれば、より分かり易く使い易いユーザインターフェースを提供することができる。

従来のイコライザ調整について説明する図である。 音響効果調整装置の構成例を示す図である。 音響効果調整部の構成例を示す図である。 制御用図形によるゲイン調整について説明する図である。 音響効果調整処理を説明するフローチャートである。 制御用図形によるＱ値の調整について説明する図である。 音響効果調整処理を説明するフローチャートである。 制御用図形によるゲイン調整の他の例について説明する図である。 制御用図形によるゲイン調整の他の例について説明する図である。 従来のサラウンド調整について説明する図である。 サラウンド調整部の構成例を示す図である。 伝達関数処理部の構成例を示す図である。 伝達関数演算部の構成例を示す図である。 伝達関数演算部の他の構成例を示す図である。 制御用図形による奥行き感の調整について説明する図である。 音響効果調整部の構成例を示す図である。 音響効果調整処理を説明するフローチャートである。 音響効果調整部の他の構成例を示す図である。 制御用図形による広がり感の調整について説明する図である。 制御用図形による広がり感と奥行き感の調整について説明する図である。 制御用図形による前方奥行き感の広がりの調整について説明する図である。 制御用図形による受聴者位置の調整について説明する図である。 制御用図形による中央定位成分の調整について説明する図である。 音響効果調整部の構成例を示す図である。 音響効果調整処理を説明するフローチャートである。 制御用図形によるゲインと広がり感の調整について説明する図である。 立体制御用図形による音響効果の調整について説明する図である。 表示デバイス自体で音響効果が感じられる使用環境例を示す図である。 外部機器で音響効果が感じられる使用環境例を示す図である。 音響効果調整装置の構成例を示す図である。 タッチ位置に応じたファイル再生について説明する図である。 ページめくりに応じた音声再生について説明する図である。 コンピュータの構成例を示す図である。

以下、図面を参照して、本技術を適用した実施の形態について説明する。

〈第１の実施の形態〉
［音響効果調整装置の構成例］
本技術は、例えば音楽信号等の音響信号（音声信号）に対して、イコライザやサラウンドなどの音響効果調整や音響効果の切り替えを行なう場合に、ユーザに分かり易く、使い易いユーザインターフェースを提供するものである。すなわち、本技術は、グラフィックイコライザなど、各種の音響効果調整のためのユーザインターフェースのユニバーサルデザインを実現するものである。

図２は、本技術を適用した音響効果調整装置の一実施の形態の構成例を示す図である。

図２の音響効果調整装置１１は、入力部２１、表示部２２、制御部２３、取得部２４、音響効果調整部２５、および再生部２６から構成される。

入力部２１は、例えばユーザにより操作されるボタンや、表示部２２に重畳して設けられたタッチパネルなどからなり、ユーザの操作に応じた信号を制御部２３に供給する。表示部２２は、例えば液晶ディスプレイなどからなり、制御部２３から供給された画像を表示する。また、表示部２２には、入力部２１を構成するタッチパネルが重畳して設けられている。

制御部２３は音響効果調整装置１１全体の動作を制御する。制御部２３は、検出部３１、設定部３２、表示制御部３３、および制御信号生成部３４を備えている。

検出部３１は、入力部２１としてのタッチパネルから供給される信号に基づいて、ユーザのタッチパネルへの操作を検出する。設定部３２は、検出部３１による検出結果に基づいて、表示部２２に表示される音響効果調整のための図形の変形量を設定する。

表示制御部３３は、検出部３１によるユーザ操作の検出結果等に応じて表示部２２への画像の表示を制御する。制御信号生成部３４は、検出部３１による検出結果や設定部３２により設定された変形量に基づいて、音響信号に対して行なわれる音響効果調整のための音響パラメータを変化させて、音響効果調整の処理のための制御信号を生成し、音響効果調整部２５に供給する。

取得部２４は、図示せぬ記録媒体や、有線または無線により接続されている他の装置から音響信号を取得して音響効果調整部２５に供給する。

音響効果調整部２５は、制御部２３から供給された制御信号に基づいて、取得部２４から供給された音響信号の音響効果を調整し、再生部２６に供給する。再生部２６は、例えばスピーカなどから構成され、音響効果調整部２５から供給された、音響効果調整後の音響信号に基づいて音声を再生する。

［音響効果調整部の構成例］
図２に示した音響効果調整装置１１では、イコライザやサラウンドなどの音響効果調整が音響信号に対して行なわれるが、まず音響効果としてイコライザ調整を行なう場合について説明する。

そのような場合、音響効果調整部２５は、例えば図３に示すように構成される。図３に示す音響効果調整部２５は、ゲイン調整部６１−１乃至ゲイン調整部６１−ｎ（但し、ゲイン調整部６１−３乃至ゲイン調整部６１−（ｎ−１）は図示せず）から構成される。

ゲイン調整部６１−１は、制御信号生成部３４から供給された制御信号に応じて、取得部２４から供給された音響信号ＳＧの所定の周波数のゲインを調整し、その結果得られた音響信号ＳＧ１をゲイン調整部６１−２に供給する。例えばゲイン調整部６１−１では、音響信号の100Hzのゲインが調整される。

ゲイン調整部６１−２は、制御信号生成部３４から供給された制御信号に応じて、ゲイン調整部６１−１から供給された音響信号ＳＧ１の所定の周波数のゲインを調整し、その結果得られた音響信号ＳＧ２をゲイン調整部６１−３に供給する。例えばゲイン調整部６１−２では、音響信号の500Hzのゲインが調整される。

同様に、ゲイン調整部６１−ｉ（但し、３≦ｉ≦ｎ−１）は、制御信号生成部３４から供給された制御信号に応じて、ゲイン調整部６１−（ｉ−１）から供給された音響信号ＳＧ（ｉ−１）の所定の周波数のゲインを調整し、その結果得られた音響信号ＳＧｉをゲイン調整部６１−（ｉ＋１）に供給する。

ゲイン調整部６１−ｎは、制御信号生成部３４から供給された制御信号に応じて、ゲイン調整部６１−（ｎ−１）から供給された音響信号ＳＧ（ｎ−１）の所定の周波数のゲインを調整し、その結果得られた音響信号ＳＧ’を再生部２６に供給する。例えばゲイン調整部６１−ｎでは、音響信号の10kHzのゲインが調整される。

なお、以下、ゲイン調整部６１−１乃至ゲイン調整部６１−ｎを個々に区別する必要のない場合、単にゲイン調整部６１とも称する。

［イコライザ調整について］
このように音響効果調整部２５において音響効果調整として、イコライザ調整が行なわれる場合、イコライザ調整のためのユーザインターフェースとして、表示部２２には例えば図４に示す制御用図形ＣＲ１１が表示される。

制御用図形ＣＲ１１は、４つの点Ａ、点Ｂ、点Ｃ、および点Ｄを頂点とする四角形の画像であり、この制御用図形ＣＲ１１は、音響信号の音響パラメータと連動している。すなわち、ユーザが制御用図形ＣＲ１１に対する操作を行なって、制御用図形ＣＲ１１を連続的に変形させると、その変形と連動して音響パラメータも連続的に変化するようになっている。

具体的には、制御用図形ＣＲ１１の点Ａには、音響信号の低域、例えば100Hzのゲインが対応付けられており、制御用図形ＣＲ１１の点Ｂには、音響信号の高域、例えば10kHzのゲインが対応付けられている。また、図４に示す制御用図形ＣＲ１１の状態が完全フラット、つまり各周波数のイコライザ（ゲイン）調整量が０である状態であるものとする。

このような状態から、表示部２２、つまり入力部２１としてのタッチパネルの表面を、ユーザが右手ＨＤ１１の２本の指で縦方向にピンチアウトしたとする。つまり、ユーザが右手ＨＤ１１の人差し指と親指をタッチパネルに接触させ、その状態から人差し指と親指が図中、縦方向に離れていくようにタッチパネル表面をなぞる操作を行なったとする。

すると、音響効果調整装置１１はユーザの指の動きを感知して、その動きを指のスライド量に変換する。そして、音響効果調整装置１１は、得られたスライド量に応じて、縦方向に並ぶ制御用図形ＣＲ１１の点Ａおよび点Ｂを点Ａ’および点Ｂ’に移動させ、４つの点Ａ’、点Ｂ’、点Ｃ、および点Ｄを頂点とする四角形の制御用図形ＣＲ１１’とする。つまり、制御用図形ＣＲ１１が制御用図形ＣＲ１１’へと変形される。

制御用図形ＣＲ１１に対してこのような操作が行なわれると、点Ａに対応付けられている音響信号の100Hzの特性と、点Ｂに対応付けられている音響信号の10kHzの特性とが、図中、右側に示すように変化する。なお、図４中、右側において横軸および縦軸は、それぞれ周波数および各周波数のゲインを示している。特に曲線Ｃ１１および曲線Ｃ１２は、音響信号の100Hz付近のゲイン、および10kHz付近のゲインを示している。

制御用図形ＣＲ１１において、点Ａには100Hzのゲインが割り当てられているので、点Ａから点Ａ’への移動量（変化量）は、音響信号の100Hzのイコライザの変化量を意味している。そのため、点Ａが点Ａ’へと移動すると、音響信号の100Hzの特性が曲線Ｃ１１に示すようにＡ（すなわち０）からＡ’へと変化する。つまり、点Ａの図中、縦方向の位置の変化量に応じて音響信号の100Hzのゲインが増減される。

また、制御用図形ＣＲ１１において、点Ｂには10kHzのゲインが割り当てられているので、点Ｂから点Ｂ’への移動量（変化量）は、音響信号の10kHzのイコライザの変化量を意味している。そのため、点Ｂが点Ｂ’へと移動すると、音響信号の10kHzの特性が曲線Ｃ１２に示すようにＢ（すなわち０）からＢ’へと変化する。つまり、点Ｂの図中、縦方向の位置の変化量に応じて音響信号の10kHzのゲインが増減される。

なお、より詳細には、曲線Ｃ１１や曲線Ｃ１２に示すように、100Hzまたは10kHzを中心とする所定の周波数帯域のゲインが調整される。また、ゲインの単位は例えばｄＢなどとされる。

このように、音響効果調整装置１１は、図１に示したようなスライドバーによるイコライザ調整ではなく、制御用図形ＣＲ１１の変形によるイコライザ調整を可能とするものである。

図１を参照して説明したスライドバーによるイコライザ調整は論理的であり、調整量が数値としてもはっきりと認識できるが、前述のように誰もがその意味や意図を理解できるとは限らない。また、操作も周波数ごとに個別に調整する必要があり、全体としてどのような調整をすれば思い通りの音響効果が得られるか直感的に理解できるわけではない。

これに対して、図４の例では、低域（100Hz）と高域（10kHz）という２つの音響パラメータのみに絞っている分、２つの音響パラメータの変化を１つの制御用図形ＣＲ１１で視覚化して把握させることができる。そのため、ユーザは、どのように制御用図形ＣＲ１１を変形させれば、どのような音響効果が得られるかという関連性を高く認識可能となり、直感的な操作を行うことができるようになる。よって、ユーザは、音響パラメータの詳細を知らなくても、音響信号の特性を、自身の嗜好に合わせたイコライザ特性に調整することが可能となる。

さらに、ユーザが制御用図形ＣＲ１１に対する操作を、より簡単に把握することができるようにするために、制御用図形ＣＲ１１近傍に、対応付けられた音響パラメータを想起させる画像が表示されるようにしてもよい。

例えば、図４の例では、表示部２２は制御用図形ＣＲ１１の点Ａ近傍にドラムのイメージ画像を表示させ、点Ｂ近傍にはハイハットのイメージ画像を表示させ、さらにこれらのイメージ画像を、制御用図形ＣＲ１１の変形に連動させて拡大縮小して表示させる。

これにより、ユーザはより直感的に制御用図形ＣＲ１１に対する操作、つまりイコライザ調整の操作を行なうことができるようになる。すなわち、例えばユーザは、ドラムのイメージ画像を見ることで、点Ａに対する操作が音響信号の低域の強調に関する操作であることを容易に把握することができる。

なお、イメージ画像の変形については、それぞれの特性の変化をイメージすることができるものであれば、どのうような方法により変形されてもよい。また、図４では、100Hz，10kHzともにゲインを増加する例について説明したが、それらのゲインを減少させることも勿論可能である。さらに、100Hzのみ、または10kHzのみのゲイン調整も可能である。

［音響効果調整処理の説明］
次に、図５のフローチャートを参照して、音響効果調整装置１１が図４に示した制御用図形ＣＲ１１に対する操作に応じて、音響信号に対するイコライザ調整（ゲイン調整）を行なう処理である、音響効果調整処理について説明する。

ステップＳ１１において、表示制御部３３は、制御用図形ＣＲ１１の画像データを表示部２２に供給して、表示部２２に制御用図形ＣＲ１１を表示させる。すると、表示部２２は、表示制御部３３から供給された画像データに基づいて制御用図形ＣＲ１１を表示する。

表示部２２に制御用図形ＣＲ１１が表示されると、ユーザは制御用図形ＣＲ１１に対する操作を行なう。なお、制御用図形ＣＲ１１に対する操作は、制御用図形ＣＲ１１上で行なわれてもよいし、制御用図形ＣＲ１１近傍の領域において行なわれてもよい。

ユーザが制御用図形ＣＲ１１に対する操作を行なうと、入力部２１としてのタッチパネルは、ユーザの操作に応じた信号を制御部２３に供給する。

ステップＳ１２において、検出部３１は、入力部２１から供給された信号に基づいて、ユーザのタッチパネル（制御用図形ＣＲ１１）に対する操作を検出する。

具体的には、検出部３１は、タッチパネル上におけるユーザのタッチ位置、つまりユーザの指の接触位置と、ユーザのタッチパネルへのタッチ数、つまりユーザがタッチパネルに接触させた指の数（タッチ位置の数）とを検出する。また、検出部３１は、タッチパネルへと接触させたユーザの指の移動量をスライド量として検出する。

例えば、図４の例では、ユーザは右手ＨＤ１１の人差し指と親指でタッチパネルをタッチしているので、検出部３１により検出されるタッチ数は２となる。また、右手ＨＤ１１の人差し指と親指のタッチパネルへの接触位置が、それぞれタッチ位置として検出部３１により検出される。さらに、右手ＨＤ１１の人差し指のタッチパネル上での移動量（移動距離）と、右手ＨＤ１１の親指のタッチパネル上での移動量とが、それぞれの指のスライド量として検出部３１により検出される。

ステップＳ１３において、設定部３２は、検出部３１により検出されたタッチ数が２であるか否かを判定する。例えば、図４に示した例では、タッチ数が２であると判定される。

ステップＳ１３においてタッチ数が２であると判定された場合、ステップＳ１４において、設定部３２は、検出部３１により検出されたスライド量に応じて、制御用図形ＣＲ１１の点Ａおよび点Ｂの移動距離を設定する。

具体的には、図４の例では右手ＨＤ１１の人差し指と親指のそれぞれについて、各指のスライド量が検出されるので、設定部３２は、それらの２つのスライド量のうちの何れか一方、例えば２つのスライド量のうちのより大きい方を選択する。そして、設定部３２は選択したスライド量に対して予め定められた距離を、点Ａおよび点Ｂの移動距離とする。この場合、点Ａおよび点Ｂの移動距離は同じ距離となる。ここで、例えば点Ａの移動距離とは、図４における点Ａと、点Ａの移動先である点Ａ’との距離である。

なお、２つのスライド量のうちの一方に限らず、２つのスライド量の平均値などから点Ａおよび点Ｂの移動距離が定められるようにしてもよい。

また、点Ａと点Ｂの移動距離が個別に求められるようにしてもよい。そのような場合、例えば図４中、タッチ位置がより上側である人差し指のスライド量に基づいて点Ｂの移動距離が定められ、タッチ位置がより下側である親指のスライド量に基づいて点Ａの移動距離が定められる。

ステップＳ１５において、表示制御部３３は、ステップＳ１４で定められた点Ａおよび点Ｂの移動距離に基づいて表示部２２を制御し、制御用図形ＣＲ１１を上下方向、すなわち点Ａと点Ｂとを結ぶ直線の方向に変形させる。

例えば、図４の例では点Ａおよび点Ｂが定められた移動距離だけ移動される。これにより点Ａと点Ｂは、それぞれ点Ａ’と点Ｂ’に移動し、その結果、制御用図形ＣＲ１１が変形されて制御用図形ＣＲ１１’となる。

なお、図４の例のようにユーザの制御用図形ＣＲ１１に対する操作がピンチアウト操作である場合には、点Ａと点Ｂが制御用図形ＣＲ１１の外側に向かって移動するように変形が行なわれて、制御用図形ＣＲ１１が拡大される。

逆に、ユーザの制御用図形ＣＲ１１に対する操作がピンチイン操作、つまり例えばユーザが右手ＨＤ１１の人差し指と親指をタッチパネルに接触させ、その状態から人差し指と親指が図４中、縦方向に近付いていくようにタッチパネル表面をなぞる操作を行なったとする。そのような場合には、ユーザによるピンチイン操作に応じて定められた移動距離だけ点Ａと点Ｂが互いに接近するように移動され、制御用図形ＣＲ１１が縮小される。

ステップＳ１６において、制御信号生成部３４は、制御用図形ＣＲ１１の変形に応じたゲインを決定する。

例えば、制御信号生成部３４は、図４の例では点Ａの移動距離と移動方向に応じて100Hzのイコライザのゲインを決定するとともに、点Ｂの移動距離と移動方向に応じて10kHzのイコライザのゲインを決定する。

このとき、点Ａおよび点Ｂの移動方向が制御用図形ＣＲ１１の外側方向である場合には、点Ａおよび点Ｂのそれぞれに対応付けられた音響信号の100Hzおよび10kHzのゲインが増幅される。これに対して、点Ａおよび点Ｂの移動方向が制御用図形ＣＲ１１の内側方向である場合には、点Ａおよび点Ｂのそれぞれに対応付けられた音響信号の100Hzおよび10kHzのゲインが減衰される。

また、点Ａや点Ｂに対応付けられた各周波数のゲインの増幅量または減衰量は、その点の移動距離が長くなるにしたがって、ゲインの増幅量または減衰量の絶対値が連続的に大きくなるように定められている。

制御信号生成部３４は、完全フラットである制御用図形ＣＲ１１の状態に対する点Ａ’と点Ｂ’の位置、つまり点Ａと点Ｂの移動方向および移動距離に基づいて各周波数のゲイン（イコライザ調整量）を決定すると、決定されたゲインに応じて制御信号を生成する。すなわち、制御信号生成部３４は、決定されたゲイン特性が得られるように、音響信号のゲインを示す制御信号を生成し、音響効果調整部２５の各ゲイン調整部６１に供給する。

ステップＳ１７において、音響効果調整部２５は、制御信号生成部３４からの制御信号に基づいて、取得部２４から供給された音響信号に対するイコライザ調整を行い、その結果得られた音響信号を再生部２６に供給する。

具体的には、例えば図４に示した操作が行なわれ、ゲイン調整部６１のうち、ゲイン調整部６１−１およびゲイン調整部６１−ｎにおいて、それぞれ100Hzおよび10kHzのゲイン調整が行なわれるとする。

この場合、ゲイン調整部６１−１は、取得部２４から供給された音響信号ＳＧに対して制御信号に基づく100Hzのゲイン調整を行ない、その結果得られた音響信号ＳＧ１をゲイン調整部６１−２に供給する。また、ゲイン調整部６１−２乃至ゲイン調整部６１−（ｎ−１）は、前段のゲイン調整部６１−１乃至ゲイン調整部６１−（ｎ−２）から供給された音響信号をそのまま後段のゲイン調整部６１−３乃至ゲイン調整部６１−ｎに供給する。

さらに、ゲイン調整部６１−ｎは、ゲイン調整部６１−（ｎ−１）から供給された音響信号ＳＧ（ｎ−１）に対して制御信号に基づく10kHzのゲイン調整を行ない、その結果得られた音響信号ＳＧ’を再生部２６に供給する。再生部２６は、ゲイン調整部６１−ｎから供給された音響信号ＳＧ’に基づいて音声を再生する。

このようにして音響信号のゲイン調整が行なわれると、音響効果調整処理は終了する。なお、実際にはステップＳ１５の処理とステップＳ１７の処理とはほぼ同時に行なわれる。

また、ステップＳ１３において、タッチ数が２でないと判定された場合、すなわち検出部３１により検出されたタッチ数が１である場合、処理はステップＳ１８へと進む。

ステップＳ１８において、設定部３２は、検出部３１により検出されたタッチ位置が制御用図形ＣＲ１１の中心よりも下側、つまり点Ａ側であるか否かを判定する。例えば、図４において、ユーザによるタッチ位置が、点Ｃと点Ｄを結ぶ直線よりも図中、下側にある場合、タッチ位置が制御用図形ＣＲ１１の中心よりも下側であると判定される。

ステップＳ１８において、タッチ位置が制御用図形ＣＲ１１の中心よりも下側であると判定された場合、ステップＳ１９において、設定部３２は、検出部３１により検出されたスライド量に応じて、制御用図形ＣＲ１１の点Ａの移動距離を設定する。具体的には、設定部３２は、検出された１つのスライド量に対して予め定められた距離を点Ａの移動距離とする。

ステップＳ２０において、表示制御部３３は、ステップＳ１９で定められた点Ａの移動距離に基づいて表示部２２を制御し、制御用図形ＣＲ１１を下方向、すなわち点Ａと点Ｂとを結ぶ直線の方向であって、点Ｂから点Ａに向かう方向に変形させる。

例えば、制御用図形ＣＲ１１が点Ａ’，点Ｂ，点Ｃ，点Ｄを頂点とする図形に変形される。なお、ユーザによって点Ａを図４中、上側に移動させる操作が行なわれた場合、つまりユーザの指のスライド方向が図４中、上側である場合には、点Ａが上側に移動するように制御用図形ＣＲ１１が変形する。

ステップＳ２１において、制御信号生成部３４は、制御用図形ＣＲ１１の変形に応じたゲインを決定する。

具体的には、制御信号生成部３４は点Ａの移動距離と移動方向に応じて、点Ａに対応付けられた周波数である100Hzのイコライザのゲインを決定する。なお、ステップＳ２１では、ステップＳ１６における場合と同様にしてゲインが決定される。

制御信号生成部３４は、点Ａに対応付けられた周波数のゲイン（イコライザ調整量）を決定すると、決定されたゲインに応じて制御信号を生成し、音響効果調整部２５の各ゲイン調整部６１に供給する。

ステップＳ２２において、音響効果調整部２５は、制御信号生成部３４からの制御信号に基づいて、取得部２４から供給された音響信号に対するイコライザ調整を行い、その結果得られた音響信号を再生部２６に供給する。すなわち、ステップＳ２２ではステップＳ１７と同様の処理が行なわれる。但し、ステップＳ２２では、点Ａに対応付けられた周波数のイコライザ調整（ゲイン調整）のみが行なわれる。

音響効果調整部２５は、音響信号のイコライザ調整を行なうと、その結果得られた音響信号を再生部２６に供給し、音響効果調整処理は終了する。再生部２６では、音響効果調整部２５から供給された音響信号に基づいて音声が再生される。

さらに、ステップＳ１８において、タッチ位置が制御用図形ＣＲ１１の中心よりも下側でない、つまりタッチ位置が制御用図形ＣＲ１１の中心よりも上側であると判定された場合、処理はステップＳ２３へと進む。

ステップＳ２３において、設定部３２は、検出部３１により検出されたスライド量に応じて、制御用図形ＣＲ１１の点Ｂの移動距離を設定する。具体的には、設定部３２は、検出された１つのスライド量に対して予め定められた距離を点Ｂの移動距離とする。

ステップＳ２４において、表示制御部３３は、ステップＳ２３で定められた点Ｂの移動距離に基づいて表示部２２を制御し、制御用図形ＣＲ１１を上方向、すなわち点Ａと点Ｂとを結ぶ直線の方向であって、点Ａから点Ｂに向かう方向に変形させる。

例えば、制御用図形ＣＲ１１が点Ａ，点Ｂ’，点Ｃ，点Ｄを頂点とする図形に変形される。なお、ユーザによって点Ｂを図４中、下側に移動させる操作が行なわれた場合、つまりユーザの指のスライド方向が図４中、下側である場合には、点Ｂが下側に移動するように制御用図形ＣＲ１１が変形する。

ステップＳ２５において、制御信号生成部３４は、制御用図形ＣＲ１１の変形に応じたゲインを決定する。

具体的には、制御信号生成部３４は点Ｂの移動距離と移動方向に応じて、点Ｂに対応付けられた周波数である10kHzのイコライザのゲインを決定する。なお、ステップＳ２５では、ステップＳ１６における場合と同様にしてゲインが決定される。

制御信号生成部３４は、点Ｂに対応付けられた周波数のゲイン（イコライザ調整量）を決定すると、決定されたゲインに応じて制御信号を生成し、音響効果調整部２５の各ゲイン調整部６１に供給する。

ステップＳ２６において、音響効果調整部２５は、制御信号生成部３４からの制御信号に基づいて、取得部２４から供給された音響信号に対するイコライザ調整を行い、その結果得られた音響信号を再生部２６に供給する。すなわち、ステップＳ２６ではステップＳ１７と同様の処理が行なわれて、点Ｂに対応付けられた周波数のゲインが調整される。

音響効果調整部２５は、音響信号のイコライザ調整を行なうと、その結果得られた音響信号を再生部２６に供給し、音響効果調整処理は終了する。再生部２６では、音響効果調整部２５から供給された音響信号に基づいて音声が再生される。

以上のようにして、音響効果調整装置１１は、ユーザの制御用図形ＣＲ１１に対する操作に応じて、制御用図形ＣＲ１１を変形させるとともに、その変形に応じて音響信号に対するイコライザ調整を行なう。

音響効果調整装置１１によれば、ユーザ操作に応じてイコライザ調整のための音響パラメータが対応付けられた点Ａや点Ｂを移動させて制御用図形ＣＲ１１を変形させると同時に、その変形に応じて音響効果を調整することで、ユーザの直感的な操作を実現できるようになる。すなわち、ユーザに対して、より分かり易く使い易いユーザインターフェースを提供することができる。これにより、ユーザは、どのように制御用図形ＣＲ１１を変形させれば、どのような音響効果が得られるかを簡単に知ることができるようになる。

なお、本明細書では、制御用図形ＣＲ１１に対する操作として代表的なものについてのみ記載しているが、制御用図形ＣＲ１１に対する操作のバリエーションとして他に多くのものが考えられ、それらの操作のバリエーションに対応する音響効果の調整に対しても、本技術は適用可能である。

また、ユーザが入力部２１としてのタッチパネルに対してタッチ操作等を行なうことで、制御用図形に対する操作を行なう例について説明したが、その他、ユーザが入力部２１としてのマウスなどを操作することで、制御用図形に対する操作が行なわれてもよい。

そのような場合、例えばユーザは、入力部２１としてのマウスを操作することで、表示部２２に制御用図形とともに表示されているポインタを移動させ、制御用図形に対するクリック操作やスライド操作を行なう。すると、検出部３１は、入力部２１から供給される信号に基づいて、ユーザの制御用図形に対する操作を検出し、表示制御部３３や制御信号生成部３４は、検出部３１の検出結果に応じて制御用図形を変形させたり、制御信号を生成したりする。

〈第２の実施の形態〉
［イコライザ調整について］
さらに、以上においては、制御用図形ＣＲ１１の点Ａと点Ｂに所定周波数のゲイン調整が対応付けられている例について説明したが、さらに制御用図形ＣＲ１１の点Ｃと点Ｄに、所定周波数のゲインとは異なる他の音響パラメータが対応付けられるようにしてもよい。

そのような場合、例えば図６に示すように点Ｃと点Ｄに、音響パラメータとしてイコライザのＱ値（鋭さ）を対応付けることが考えられる。なお、図６において、図４における場合と対応する部分には同一の符号を付してあり、その説明は省略する。

図６では、表示部２２には制御用図形ＣＲ１１が変形されて得られた制御用図形ＣＲ１１’が表示されている。

図６の例においても制御用図形ＣＲ１１’の点Ａ’と点Ｂ’には、それぞれ100Hzのゲインおよび10kHzのゲインが対応付けられており、制御用図形ＣＲ１１’は、完全フラットの状態から100Hzと10kHzのゲインが上げられた状態となっている。

また、この例では、制御用図形ＣＲ１１’の点Ｃには100HzのゲインのＱ値が対応付けられており、また点Ｄには10kHzのゲインのＱ値が対応付けられている。

例えば図６に示すように、表示部２２（タッチパネル）上で、ユーザが右手ＨＤ１１の２本の指で横方向にピンチアウトしたとする。すると、音響効果調整装置１１はユーザの指の動きを感知して、その動きを指のスライド量に変換する。そして、音響効果調整装置１１は、得られたスライド量に応じて、横方向に並ぶ制御用図形ＣＲ１１’の点Ｃおよび点Ｄを点Ｃ’および点Ｄ’に移動させ、４つの点Ａ’、点Ｂ’、点Ｃ’、および点Ｄ’を頂点とする四角形の制御用図形ＣＲ１１’’とする。つまり、制御用図形ＣＲ１１’が制御用図形ＣＲ１１’’へと変形される。

なお、ここでは、表示部２２上の制御用図形ＣＲ１１’の外部の領域で、ユーザの右手ＨＤ１１によるピンチアウト操作がされているが、制御用図形ＣＲ１１’に対するユーザの操作は、制御用図形ＣＲ１１’内部の領域で行なわれても勿論よい。

制御用図形ＣＲ１１’に対してこのような操作が行なわれると、点Ｃに対応付けられている音響信号の100HzのＱ値と、点Ｄに対応付けられている音響信号の10kHzのＱ値とが、図中、右側に示すように変化する。なお、図６中、右側において横軸および縦軸は、それぞれ周波数および各周波数のゲインを示している。特に曲線Ｃ２１および曲線Ｃ２２は、音響信号の100Hz付近のゲイン、および10kHz付近のゲインを示している。

制御用図形ＣＲ１１’において、点Ｃには100HzのゲインのＱ値が対応付けられているので、点Ｃから点Ｃ’への移動量（変化量）は、音響信号の100HzのイコライザのＱ値の変化量を意味している。

そのため、点Ｃが点Ｃ’へと移動すると、音響信号の100Hz付近のゲイン特性が曲線Ｃ１１から曲線Ｃ２１へと変化する。つまり、音響信号の100Hz付近のゲインを示す曲線の周波数方向の幅（鋭さ）がより広くなる。

同様に、制御用図形ＣＲ１１’において、点Ｄには10kHzのゲインのＱ値が対応付けられているので、点Ｄから点Ｄ’への移動量は、音響信号の10kHzのイコライザのＱ値の変化量を意味している。そのため、点Ｄが点Ｄ’へと移動すると、音響信号の10kHz付近のゲイン特性が曲線Ｃ１２から曲線Ｃ２２へと変化する。つまり、音響信号の10kHz付近のゲインを示す曲線の周波数方向の幅がより広くなる。

このように制御用図形ＣＲ１１’の幅が広くなることは、音質的には、対応付けられた周波数のＱ値が下がり、ゲインの調整帯域幅が広くなることに相当するので、よりブースト感の強い音響効果を得ることができるようになる。

制御用図形ＣＲ１１’に対する横方向の操作、つまり点Ｃや点Ｄに対する操作は、制御用図形ＣＲ１１’という図形の変化と、イコライザの特性変化とのイメージの一致度が高く直感的であるといえる。このように、100Hzや10kHzのイコライザのゲインのみでなく、それぞれのＱ値の調整も同じ１つの制御用図形ＣＲ１１’を変形させることで実現できるようにすると、使い勝手を向上させることができる。

さらに、ユーザが制御用図形ＣＲ１１’に対する操作を、より簡単に把握することができるようにするために、制御用図形ＣＲ１１’の点Ｃや点Ｄの近傍に、対応付けられた音響パラメータを想起させる画像が表示されるようにしてもよい。

例えば、点Ｃ近傍にドラムのイメージ画像を表示させ、点Ｄ近傍にはハイハットのイメージ画像を表示させ、さらにこれらのイメージ画像を、制御用図形ＣＲ１１’の変形に連動させて横方向にのみ拡大縮小して表示させる。これにより、ユーザはより直感的に制御用図形ＣＲ１１’に対する操作を行なうことができるようになる。

なお、イメージ画像の変形については、それぞれの特性の変化をイメージすることができるものであれば、どのうような方法により変形されてもよい。但し、点Ａ’や点Ｂ’近傍にもドラムやハイハットのイメージ画像が表示される場合には、それらのイメージ画像の変形方法が同じとならないようにする必要がある。

具体的には、点Ｃ近傍と点Ａ’近傍にドラムのイメージ画像が表示され、点Ｄ近傍と点Ｂ’近傍にハイハットのイメージ画像が表示されるとする。そのような場合に、点Ａ’と点Ｂ’近傍に配置されるイメージ画像については、そのイメージ画像の大きさを変化させる。また、点Ｃと点Ｄ近傍に配置されるイメージ画像については、そのイメージ画像の色の濃淡や解像度を変化させる。これにより、音響効果の違いを簡単にユーザに把握させることができる。

［音響効果調整処理の説明］
図６に示したように、制御用図形に対する横方向の操作が行なわれる場合、音響効果調整装置１１は、図７のフローチャートに示す音響効果調整処理を行なって、音響信号に対するイコライザ調整を行なう。以下、図７のフローチャートを参照して、音響効果調整装置１１による音響効果調整処理について説明する。

なお、ステップＳ５１乃至ステップＳ５３の処理は、図５のステップＳ１１乃至ステップＳ１３の処理と同様であるので、その説明は省略する。但し、ステップＳ５１の処理では、例えば図６に示した制御用図形ＣＲ１１’が表示部２２に表示される。また、以下では、制御用図形ＣＲ１１’が表示された場合を例として説明を続ける。

ステップＳ５３においてタッチ数が２であると判定された場合、ステップＳ５４において、設定部３２は、検出部３１により検出されたスライド量に応じて、制御用図形ＣＲ１１’の点Ｃおよび点Ｄの移動距離を設定する。例えば、ステップＳ５３では、図５のステップＳ１４と同様の処理が行なわれて点Ｃと点Ｄの移動距離が設定される。

ステップＳ５５において、表示制御部３３は、ステップＳ５４で定められた点Ｃおよび点Ｄの移動距離に基づいて表示部２２を制御し、制御用図形ＣＲ１１’を左右方向、すなわち点Ｃと点Ｄとを結ぶ直線の方向に変形させる。

例えば、図６の例では点Ｃおよび点Ｄが定められた移動距離だけ移動される。これにより点Ｃと点Ｄは、それぞれ点Ｃ’と点Ｄ’に移動し、その結果、制御用図形ＣＲ１１’が変形されて制御用図形ＣＲ１１’’となる。

なお、図６の例のようにユーザの制御用図形ＣＲ１１’に対する操作がピンチアウト操作である場合には、点Ｃと点Ｄが制御用図形ＣＲ１１’の外側に向かって移動するように変形が行なわれて、制御用図形ＣＲ１１’が拡大される。逆に、ユーザがピンチイン操作を行なった場合には、その操作に応じて定められた移動距離だけ点Ｃと点Ｄが互いに接近するように移動され、制御用図形ＣＲ１１’が縮小される。

ステップＳ５６において、制御信号生成部３４は、制御用図形ＣＲ１１’の変形に応じたイコライザのＱ値を決定する。

例えば、制御信号生成部３４は、図６の例では点Ｃの移動距離と移動方向に応じて100HzのイコライザのＱ値を決定するとともに、点Ｄの移動距離と移動方向に応じて10kHzのイコライザのＱ値を決定する。

このとき、点Ｃおよび点Ｄの移動方向が制御用図形ＣＲ１１’の外側方向である場合には、点Ｃおよび点Ｄのそれぞれに対応付けられた音響信号の100Hzおよび10kHzのゲインのＱ値が減少する。これに対して、点Ｃおよび点Ｄの移動方向が制御用図形ＣＲ１１’の内側方向である場合には、点Ｃおよび点Ｄのそれぞれに対応付けられた音響信号の100Hzおよび10kHzのゲインのＱ値が増加する。

また、点Ｃや点Ｄに対応付けられた各周波数のゲインのＱ値の増加量または減少量は、その点の移動距離が長くなるにしたがって、ゲインのＱ値の増加量または減少量の絶対値が連続的に大きくなるように定められる。

制御信号生成部３４は、制御用図形ＣＲ１１’’の点Ｃ’と点Ｄ’の位置、つまり点Ｃと点Ｄの移動方向および移動距離に基づいて各周波数のゲイン（イコライザ）のＱ値を決定すると、決定されたＱ値に応じて制御信号を生成する。すなわち、制御信号生成部３４は、決定されたＱ値のイコライザ特性（ゲイン特性）が得られるように、音響信号のＱ値を示す制御信号を生成し、音響効果調整部２５の各ゲイン調整部６１に供給する。

ステップＳ５７において、音響効果調整部２５は、制御信号生成部３４からの制御信号に基づいて、取得部２４から供給された音響信号に対するイコライザ調整を行い、その結果得られた音響信号を再生部２６に供給する。

具体的には、各ゲイン調整部６１は、制御信号により示されるゲインおよびＱ値で、供給された音響信号に対するゲイン調整を行なう。音響信号に対するゲイン調整（イコライザ調整）が行なわれると、音響効果調整部２５は、得られた音響信号を再生部２６に供給する。再生部２６は、音響効果調整部２５から供給された音響信号に基づいて音声を再生する。このようにして音響信号のイコライザ調整が行なわれると、音響効果調整処理は終了する。

また、ステップＳ５３において、タッチ数が２でないと判定された場合、すなわち検出部３１により検出されたタッチ数が１である場合、処理はステップＳ５８へと進む。

ステップＳ５８において、設定部３２は、検出部３１により検出されたタッチ位置が制御用図形ＣＲ１１’の中心よりも左側、つまり点Ｃ側であるか否かを判定する。例えば、図６において、ユーザによるタッチ位置が、点Ａ’と点Ｂ’を結ぶ直線よりも図中、左側にある場合、タッチ位置が制御用図形ＣＲ１１’の中心よりも左側であると判定される。

ステップＳ５８において、タッチ位置が制御用図形ＣＲ１１’の中心よりも左側であると判定された場合、ステップＳ５９において、設定部３２は、検出部３１により検出されたスライド量に応じて、制御用図形ＣＲ１１’の点Ｃの移動距離を設定する。具体的には、設定部３２は、検出された１つのスライド量に対して予め定められた距離を点Ｃの移動距離とする。

ステップＳ６０において、表示制御部３３は、ステップＳ５９で定められた点Ｃの移動距離に基づいて表示部２２を制御し、制御用図形ＣＲ１１’を左方向、すなわち点Ｃと点Ｄとを結ぶ直線の方向であって、点Ｄから点Ｃに向かう方向に変形させる。

例えば、制御用図形ＣＲ１１’が点Ａ’，点Ｂ’，点Ｃ’，点Ｄを頂点とする図形に変形される。なお、ユーザによって点Ｃを図６中、右方向に移動させる操作が行なわれた場合、つまりユーザの指のスライド方向が図６中、右方向である場合には、点Ｃが右側に移動するように制御用図形ＣＲ１１’が変形する。

ステップＳ６１において、制御信号生成部３４は、制御用図形ＣＲ１１’の変形に応じたイコライザのＱ値を決定する。

具体的には、制御信号生成部３４は点Ｃの移動距離と移動方向に応じて、点Ｃに対応付けられた100HzのイコライザのＱ値を決定する。なお、ステップＳ６１では、ステップＳ５６における場合と同様にしてゲインが決定される。

制御信号生成部３４は、点Ｃに対応付けられた周波数のＱ値を決定すると、決定されたＱ値に応じて制御信号を生成し、音響効果調整部２５の各ゲイン調整部６１に供給する。

ステップＳ６２において、音響効果調整部２５は、制御信号生成部３４からの制御信号に基づいて、取得部２４から供給された音響信号に対するイコライザ調整を行い、その結果得られた音響信号を再生部２６に供給する。すなわち、ステップＳ６２ではステップＳ５７と同様の処理が行なわれる。

音響効果調整部２５は、音響信号のイコライザ調整を行なうと、その結果得られた音響信号を再生部２６に供給し、音響効果調整処理は終了する。再生部２６では、音響効果調整部２５から供給された音響信号に基づいて音声が再生される。

さらに、ステップＳ５８において、タッチ位置が制御用図形ＣＲ１１’の中心よりも左側でない、つまりタッチ位置が制御用図形ＣＲ１１’の中心よりも右側であると判定された場合、処理はステップＳ６３へと進む。

ステップＳ６３において、設定部３２は、検出部３１により検出されたスライド量に応じて、制御用図形ＣＲ１１’の点Ｄの移動距離を設定する。具体的には、設定部３２は、検出された１つのスライド量に対して予め定められた距離を点Ｄの移動距離とする。

ステップＳ６４において、表示制御部３３は、ステップＳ６３で定められた点Ｄの移動距離に基づいて表示部２２を制御し、制御用図形ＣＲ１１’を右方向、すなわち点Ｃと点Ｄとを結ぶ直線の方向であって、点Ｃから点Ｄに向かう方向に変形させる。

例えば、制御用図形ＣＲ１１’が点Ａ’，点Ｂ’，点Ｃ，点Ｄ’を頂点とする図形に変形される。なお、ユーザによって点Ｄを図６中、左側に移動させる操作が行なわれた場合、つまりユーザの指のスライド方向が図６中、左側である場合には、点Ｄが左方向に移動するように制御用図形ＣＲ１１’が変形する。

ステップＳ６５において、制御信号生成部３４は、制御用図形ＣＲ１１’の変形に応じたイコライザのＱ値を決定する。

具体的には、制御信号生成部３４は点Ｄの移動距離と移動方向に応じて、点Ｄに対応付けられた10kHzのイコライザのＱ値を決定する。なお、ステップＳ６５では、ステップＳ５６における場合と同様にしてＱ値が決定される。

制御信号生成部３４は、点Ｄに対応付けられた周波数のＱ値を決定すると、決定されたＱ値に応じて制御信号を生成し、音響効果調整部２５の各ゲイン調整部６１に供給する。

ステップＳ６６において、音響効果調整部２５は、制御信号生成部３４からの制御信号に基づいて、取得部２４から供給された音響信号に対するイコライザ調整を行い、その結果得られた音響信号を再生部２６に供給する。すなわち、ステップＳ６６ではステップＳ５７と同様の処理が行なわれて、点Ｄに対応付けられた周波数のゲインが調整される。

音響効果調整部２５は、音響信号のイコライザ調整を行なうと、その結果得られた音響信号を再生部２６に供給し、音響効果調整処理は終了する。再生部２６では、音響効果調整部２５から供給された音響信号に基づいて音声が再生される。

以上のようにして、音響効果調整装置１１は、ユーザの制御用図形ＣＲ１１’に対する横方向の操作に応じて、制御用図形ＣＲ１１’を変形させるとともに、その変形に応じたＱ値で音響信号に対するイコライザ調整を行なう。

音響効果調整装置１１によれば、ユーザ操作に応じてイコライザ調整のための音響パラメータが対応付けられた点Ｃや点Ｄを移動させて制御用図形ＣＲ１１’を変形させると同時に、その変形に応じて音響効果を調整することで、ユーザの直感的な操作を実現できるようになる。すなわち、ユーザに対して、より分かり易く使い易いユーザインターフェースを提供することができる。

なお、本明細書では、制御用図形ＣＲ１１’に対するＱ値変更の操作として代表的なものについてのみ記載しているが、制御用図形ＣＲ１１’に対する操作のバリエーションとして他に多くのものが考えられ、それらの操作のバリエーションに対応する音響効果の調整に対しても、本技術は適用可能である。

また、表示制御部３３が表示部２２に、制御用図形ＣＲ１１’とともに、制御用図形に対応付けられる音響パラメータを変更するための切替画像を表示させ、ユーザが切替画像に対する操作を行なうことで、表示される制御用図形を切り替えるようにしてもよい。そのような場合、例えば制御用図形ＣＲ１１’が表示されている状態で、ユーザが切替画像をタッチするなどすると、表示制御部３３はこれまで表示されていた制御用図形ＣＲ１１’に代えて、制御用図形ＣＲ１１’とは異なる他の制御用図形を表示させる。この制御用図形の各頂点には、例えばイコライザ効果とは異なる他の音響効果を調整するための音響パラメータが対応付けられている。

〈第３の実施の形態〉
［イコライザ調整について］
さらに、図４に示した制御用図形ＣＲ１１’の状態から、ユーザが制御用図形ＣＲ１１’に対する横方向の操作を行なって、点Ａ’や点Ｂ’を他の２つの点に分割できるようにしてもよい。

そのような場合、制御用図形ＣＲ１１’の点Ａ’に対して横方向の操作が行なわれると、例えば図８に示すように点Ａ’が点Ａ１と点Ａ２に分割される。なお、図８において図４における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

この例では、制御用図形ＣＲ１１’の点Ｃと点Ｄには音響パラメータは対応付けられていない。また、この例では制御用図形ＣＲ１１’が表示された状態で、ユーザが右手ＨＤ１１で制御用図形ＣＲ１１’の図中、下側の領域に対してピンチアウト操作を行なっている。

このようなピンチアウト操作が行なわれると、制御用図形ＣＲ１１’の点Ａ’が２つの点Ａ１と点Ａ２に分割される。これにより、制御用図形ＣＲ１１’が、点Ａ１、点Ａ２、点Ｂ’、点Ｃ、および点Ｄを頂点とする五角形の制御用図形ＣＲ１２に変形される。

変形により得られた制御用図形ＣＲ１２では、点Ａ１には50Hzのゲインが対応付けられており、点Ａ２には200Hzのゲインが対応付けられている。

また、点Ａ’の点Ａ１および点Ａ２への分割によって、音響信号のゲイン特性は、図中、右側に示すように変化する。なお、図８中、右側において横軸および縦軸は、それぞれ周波数および各周波数のゲインを示している。特に曲線Ｃ３１および曲線Ｃ３２は、音響信号の50Hz付近のゲイン、および200Hz付近のゲインを示している。

制御用図形ＣＲ１１’が表示されている状態では、点Ａ’に対応付けられていた100Hzのゲイン特性が曲線Ｃ１１に示す特性となっていた。この状態では、50Hzおよび200Hzのゲインは０となっている。

その後、点Ａ’が点Ａ１と点Ａ２に分割されると、点Ａ’に対応付けられていた100Hzのゲインは０となり、分割で得られた点Ａ１と点Ａ２に対応付けられた50Hzおよび200Hz付近のゲインは、曲線Ｃ３１および曲線Ｃ３２に示すようになる。この例では、50Hzおよび200Hzのゲインは、曲線Ｃ１１に示される100Hzのゲインと同じ大きさとなっている。このように、点Ａ’を点Ａ１と点Ａ２の２つの点に分割し、それらの点に対応付けられた周波数のゲインを変更することで、イコライザ特性のより細かい調整が可能となる。

このように点Ａ’を点Ａ１と点Ａ２に分割する操作が行なわれると、表示制御部３３は、表示部２２に分割後の制御用図形ＣＲ１２を表示させるとともに、制御信号生成部３４は点Ａ’の分割に応じた制御信号を生成し、音響効果調整部２５に供給する。そして、音響効果調整部２５は、供給された制御信号に応じて、音響信号の50Hzと200Hzのゲインを調整する。

なお、ここでは、点Ａ’を点Ａ１と点Ａ２に分割する例について説明したが、同様に点Ｂ’を２つの点Ｂ１と点Ｂ２とに分割することも可能である。例えば、点Ａ’の分割と点Ｂ’の分割とが行なわれる場合、図８において点Ｃと点Ｄとを結ぶ直線よりも図中、上側の領域で、ユーザにより横方向へのスライド操作が行なわれたときには、点Ｂ’が分割される。また、図８において点Ｃと点Ｄとを結ぶ直線よりも図中、下側の領域で、ユーザにより横方向へのスライド操作が行なわれたときには、点Ａ’が分割される。

さらに、ユーザの横方向へのピンチアウト操作やピンチイン操作などの指のスライド量に応じて、分割後の点に対応付けられるゲインの周波数が変化するようにしてもよい。

その他、点Ｃや点ＤにＱ値が対応付けられている場合、制御用図形ＣＲ１１’の内側の領域でユーザによるタッチ操作が行なわれたときには、点Ｃや点Ｄに対応付けられたＱ値が変更され、制御用図形ＣＲ１１’の外側の領域でタッチ操作が行なわれたときには、点Ａ’や点Ｂ’の分割が行なわれるようにしてもよい。

〈第３の実施の形態の変形例１〉
［イコライザ調整について］
さらに、図８の制御用図形ＣＲ１２が表示された後、ユーザの点Ａ１や点Ａ２に対する縦方向への操作によって、点Ａ１や点Ａ２に対応付けられた周波数のゲインが調整されるようにしてもよい。

例えば、図９に示すように制御用図形ＣＲ１２が表示された状態で、ユーザが点Ａ２近傍の領域で、右手ＨＤ１１の人差し指による図中、上方向へのスライド操作が行なわれたとする。なお、図９において図８における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図９では、ユーザが点Ａ２近傍の領域でスライド操作を行なうと、そのスライド操作のスライド量に応じた距離だけ点Ａ２がスライド方向へと移動する。この例では、点Ａ２は点Ａ２’に移動している。これにより、制御用図形ＣＲ１２は、点Ａ１、点Ａ２’、点Ｂ’、点Ｃ、および点Ｄを頂点とする五角形の制御用図形ＣＲ１２’に変形される。

そして、制御用図形ＣＲ１２の変形に応じて、点Ａ２に対応付けられていた音響信号の200Hzのゲイン特性は、図中、右側に示すように変化する。なお、図９中、右側において横軸および縦軸は、それぞれ周波数および各周波数のゲインを示している。特に曲線Ｃ４１は、音響信号の200Hz付近のゲインを示している。

つまり、点Ａ２が点Ａ２’へと移動すると、その移動にともなって、音響信号の200Hz付近のゲイン特性は、図８の曲線Ｃ３２に示した特性から、図９の曲線Ｃ４１に示す特性へと変化する。この例では、点Ａ２は図中、上方向へと移動しているので、200Hz付近のゲインは点Ａ２の移動前と比べて減少している。

以上のように、１つの制御用図形の各頂点に対して、イコライザに関する様々な音響パラメータを対応付け、制御用図形の変形に応じて音響パラメータを変化させることで、より分かり易く、使い易いユーザインターフェースを提供することができる。すなわち、ユーザは、制御用図形の形状変化を見ながら直感的に音響パラメータの調整操作を行なうことができるようになる。

〈第４の実施の形態〉
［従来のサラウンド調整について］
さらに、以上においては音響効果の調整としてイコライザ調整を行なう場合について説明したが、音響信号のサラウンド調整を行なうようにしてもよい。

従来、音響効果調整としてサラウンド調整が行なわれる場合、例えば図１０に示すように、サラウンド選択画面上で、いくつかのサラウンドのモードのうちの何れかをユーザが選択すると、選択されたモードに応じてサラウンド調整が行なわれる。

図１０では、サラウンド選択画面の図中、下側には４つの選択ボックスＣＫ１１乃至選択ボックスＣＫ１４が横方向に並べられている。ユーザは、これらの選択ボックスＣＫ１１乃至選択ボックスＣＫ１４の何れかを選択することで、１つのサラウンドモードを選択することができる。この例では、選択ボックスＣＫ１２が選択されている。

選択ボックスＣＫ１１は、サラウンドモードとしてのオフモードを選択するときに操作される選択ボックスであり、選択ボックスＣＫ１１の図中、上側には文字「ＯＦＦ」が記されている。オフモードはサラウンド効果をオフにするモードであり、オフモードが選択されると、音響信号に対するサラウンド効果調整は行なわれない。

選択ボックスＣＫ１２は、サラウンドモードとしてのスタジオモードを選択するときに操作される選択ボックスであり、選択ボックスＣＫ１２の図中、上側にはスタジオモードの音響、つまり奥行き感や広がり感をイメージさせる画像ＰＩＣ１１が表示されている。

スタジオモードは、例えば再生された音響信号を聴くユーザが受聴者となる仮想的な空間（以下、仮想受聴空間とも称する）が小さいスタジオであり、そのスタジオの奥行き感や広がり感はそれほど強くないというサラウンド効果が得られるモードである。

ここで、奥行き感とは、仮想受聴空間にいる受聴者としてのユーザからみて奥行き方向に対する仮想受聴空間の大きさ、つまり広がりをいい、広がり感とは、仮想受聴空間にいる受聴者としてのユーザからみて横方向に対する仮想受聴空間の大きさをいう。

画像ＰＩＣ１１は、例えば矢印Ｑ１１に示すイメージ画像とされ、画像ＰＩＣ１１には、スタジオモードを示す文字「Studio」も表示される。矢印Ｑ１１に示すイメージ画像は、仮想受聴空間を表現する画像であり、このイメージ画像では、受聴者ＡＵ１１の前方に３つの音源ＳＯ１１−１乃至音源ＳＯ１１−３が配置されている。

例えば、受聴者ＡＵ１１の前方中央に位置する音源ＳＯ１１−１はボーカルとされ、受聴者ＡＵ１１の前方左側に位置する音源ＳＯ１１−２はベースとされ、受聴者ＡＵ１１の前方右側に位置する音源ＳＯ１１−３はサックスフォンとされる。なお、以下、音源ＳＯ１１−１乃至音源ＳＯ１１−３を特に区別する必要のない場合、単に音源ＳＯ１１とも称することとする。

選択ボックスＣＫ１３は、サラウンドモードとしてのスモールホールモードを選択するときに操作される選択ボックスであり、選択ボックスＣＫ１３の図中、上側にはスモールホールモードの奥行き感や広がり感をイメージさせる画像ＰＩＣ１２が表示されている。

スモールホールモードは、仮想受聴空間が、数十人から数百名程度の収容人数のライブハウスなどのように、ある程度大きい部屋であり、そのような仮想受聴空間に応じた奥行き感や広がり感のサラウンド効果が得られるモードである。

画像ＰＩＣ１２は、例えば矢印Ｑ１２に示すイメージ画像とされ、画像ＰＩＣ１２には、スモールホールモードを示す文字「Small Hall」も表示される。矢印Ｑ１２に示すイメージ画像は、仮想受聴空間を表現する画像であり、このイメージ画像では、受聴者ＡＵ１１の前方に３つの音源ＳＯ１１−１乃至音源ＳＯ１１−３が配置されており、受聴者ＡＵ１１の後方にはある程度の規模の観客席が配置されている。

選択ボックスＣＫ１４は、サラウンドモードとしてのラージホールモードを選択するときに操作される選択ボックスであり、選択ボックスＣＫ１４の図中、上側にはラージホールモードの奥行き感や広がり感をイメージさせる画像ＰＩＣ１３が表示されている。

ラージホールモードは、仮想受聴空間が、数千から数万人といったコンサート会場のような規模の空間であり、そのような仮想受聴空間に応じた奥行き感や広がり感のサラウンド効果が得られるモードである。

画像ＰＩＣ１３は、例えば矢印Ｑ１３に示すイメージ画像とされ、画像ＰＩＣ１３には、ラージホールモードを示す文字「Large Hall」も表示される。矢印Ｑ１３に示すイメージ画像は、仮想受聴空間を表現する画像であり、このイメージ画像では、受聴者ＡＵ１１の前方に３つの音源ＳＯ１１−１乃至音源ＳＯ１１−３が配置されており、受聴者ＡＵ１１の後方には大規模な観客席が配置されている。

このように、ユーザは画像ＰＩＣ１１乃至画像ＰＩＣ１３などを見ながら、所望のサラウンドモードに対応する選択ボックスを選択することで、選択したサラウンドモードに応じたサラウンド調整を音響信号に対して行なわせる。このとき、ユーザは画像ＰＩＣ１１乃至画像ＰＩＣ１３を参照することで、各サラウンドモードにより得られる音響、つまり奥行き感や広がり感を連想することができる。

［サラウンド調整部の構成］
ここで、図１０に示した例において、選択されたサラウンドモードに応じて音響信号に対するサラウンド調整を行なうサラウンド調整部の構成について説明する。

例えば、サラウンド調整部は図１１に示す構成とされる。なお、サラウンド調整は、チャンネル間の差分等を利用してその音響効果を実現するものであるので、２以上の複数のチャンネルの音響信号が入力されるものとする。また、図１１では、説明を簡単にするために１つの線でパスが表現されているが、実際には、複数のチャンネルの音響信号が伝達される。

図１１に示すサラウンド調整部９１では、入力端子ＩＰＴ１１と、出力端子ＯＰＴ１１乃至出力端子ＯＰＴ１４とからなるスイッチ１０１に、処理対象の音響信号と、ユーザにより選択されたサラウンドモードに応じた制御信号とが供給される。

スイッチ１０１では、入力端子ＩＰＴ１１に音響信号と制御信号とが供給され、スイッチ１０１は、制御信号に応じて入力端子ＩＰＴ１１と、出力端子ＯＰＴ１１乃至出力端子ＯＰＴ１４の何れかとを接続する。

具体的には、スイッチ１０１は、オフモードが選択された場合、入力端子ＩＰＴ１１と出力端子ＯＰＴ１１とを接続する。この場合、入力端子ＩＰＴ１１に供給された音響信号は、出力端子ＯＰＴ１１を介してそのまま外部に出力される。つまり、この場合、音響信号に対するサラウンド調整は行なわれない。

また、スイッチ１０１は、スタジオモードが選択された場合、入力端子ＩＰＴ１１と出力端子ＯＰＴ１２とを接続する。この場合、入力端子ＩＰＴ１１に入力された音響信号は、出力端子ＯＰＴ１２を介して伝達関数処理部１０２に供給される。

伝達関数処理部１０２は、出力端子ＯＰＴ１２から供給された音響信号に対して、スタジオモードの音響を実現するための伝達関数ＴＦ１を掛け合わせて、その結果得られた音響信号を外部に出力する。

スイッチ１０１は、スモールホールモードが選択された場合、入力端子ＩＰＴ１１と出力端子ＯＰＴ１３とを接続し、入力端子ＩＰＴ１１に入力された音響信号を、出力端子ＯＰＴ１３を介して伝達関数処理部１０３に供給する。伝達関数処理部１０３は、出力端子ＯＰＴ１３から供給された音響信号に対して、スモールホールモードの音響を実現するための伝達関数ＴＦ２を掛け合わせて、その結果得られた音響信号を外部に出力する。

さらに、スイッチ１０１は、ラージホールモードが選択された場合、入力端子ＩＰＴ１１と出力端子ＯＰＴ１４とを接続し、入力端子ＩＰＴ１１に入力された音響信号を、出力端子ＯＰＴ１４を介して伝達関数処理部１０４に供給する。伝達関数処理部１０４は、出力端子ＯＰＴ１４から供給された音響信号に対して、ラージホールモードの音響を実現するための伝達関数ＴＦ３を掛け合わせて、その結果得られた音響信号を外部に出力する。

［伝達関数処理部の構成］
また、図１１の伝達関数処理部１０２は、例えば図１２に示す構成とされる。この例では、例えば音響信号として、左チャンネルの音響信号ＳＬと、右チャンネルの音響信号ＳＲが入力される。ここで、左チャンネルは、左スピーカからユーザの左耳に向けて出力される音響信号のチャンネルであり、右チャンネルは、右スピーカからユーザの右耳に向けて出力される音響信号のチャンネルである。

伝達関数処理部１０２は、伝達関数演算部１３１乃至伝達関数演算部１３４、加算部１３５、および加算部１３６から構成される。この例では、伝達関数演算部１３１および伝達関数演算部１３２に、左チャンネルの音響信号ＳＬが供給され、伝達関数演算部１３３および伝達関数演算部１３４に、右チャンネルの音響信号ＳＲが供給される。

伝達関数演算部１３１は、供給された左チャンネルの音響信号ＳＬに対して、左スピーカからユーザの左耳への伝達関数ＴＦ１ＬＬを掛け合わせて、これにより得られた音響信号ＳＬＬを加算部１３５に供給する。また、伝達関数演算部１３２は、供給された左チャンネルの音響信号ＳＬに対して、左スピーカからユーザの右耳への伝達関数ＴＦ１ＬＲを掛け合わせて、これにより得られた音響信号ＳＬＲを加算部１３６に供給する。

伝達関数演算部１３３は、供給された右チャンネルの音響信号ＳＲに対して、右スピーカからユーザの左耳への伝達関数ＴＦ１ＲＬを掛け合わせて、これにより得られた音響信号ＳＲＬを加算部１３５に供給する。伝達関数演算部１３４は、供給された右チャンネルの音響信号ＳＲに対して、右スピーカからユーザの右耳への伝達関数ＴＦ１ＲＲを掛け合わせて、これにより得られた音響信号ＳＲＲを加算部１３６に供給する。

加算部１３５は、伝達関数演算部１３１から供給された音響信号ＳＬＬと、伝達関数演算部１３３から供給された音響信号ＳＲＬとを加算して、サラウンド調整後の左チャンネルの信号である音響信号ＳＬ’とし、外部に出力する。

同様に、加算部１３６は、伝達関数演算部１３２から供給された音響信号ＳＬＲと、伝達関数演算部１３４から供給された音響信号ＳＲＲとを加算して、サラウンド調整後の右チャンネルの信号である音響信号ＳＲ’とし、外部に出力する。

このように、通常は、そのまま再生される音響信号ＳＬや音響信号ＳＲに対して、空間特性を掛け合わせて音響信号ＳＬ’および音響信号ＳＲ’とすることで、仮想的に空間の奥行き感や広がり感をユーザに対して感じさせることができる。

なお、ここでは、伝達関数処理部１０２の構成例について説明したが、図１１の伝達関数処理部１０３や伝達関数処理部１０４の構成も伝達関数処理部１０２と同様であるので、その説明は省略する。

［伝達関数演算部の構成］
さらに、図１２に示した伝達関数演算部１３１は、例えば図１３に示すように構成される。すなわち、この例では、伝達関数ＴＦ１ＬＬによる演算は、インパルス応答畳み込みにより実現される。

図１３では、伝達関数演算部１３１は、入力バッファ１６１、係数保持部１６２、乗算部１６３、および加算部１６４から構成され、入力バッファ１６１に音響信号ＳＬが供給される。

入力バッファ１６１は、ｘ個のバッファｗ１乃至バッファｗｘを有しており、各バッファｗ１乃至バッファｗｘには、音響信号ＳＬの連続するｘ個の各サンプルの値が格納される。すなわち、バッファｗ１には最も新しい音響信号ＳＬのサンプルが格納され、バッファｗｘには最も古い音響信号ＳＬのサンプルが格納される。また、入力バッファ１６１に音響信号ＳＬの新たなサンプルが供給されるたびに、バッファｗｉ（但し、１≦ｉ≦ｘ−１）に格納されているサンプルが、バッファｗ（ｉ＋１）へと格納され、これまでバッファｗｘに格納されていたサンプルが破棄される。

入力バッファ１６１は、各バッファに格納されている音響信号ＳＬのサンプルの値を、乗算部１６３に供給する。

係数保持部１６２は、伝達関数ＴＦ１ＬＬの実体であるｘ個の係数ｅ１乃至係数ｅｘを保持しており、これらの係数を乗算部１６３に供給する。

乗算部１６３は、ｘ個の乗算器からなり、入力バッファ１６１からの音響信号ＳＬに対して、係数保持部１６２からの係数を乗算し、加算部１６４に供給する。すなわち、バッファｗｉ（但し、１≦ｉ≦ｘ）に格納されているサンプルの値に対して、係数ｅｉ（但し、１≦ｉ≦ｘ）が乗算され、加算部１６４に供給される。

加算部１６４は、乗算部１６３から供給された、係数ｅｉ（但し、１≦ｉ≦ｘ）が乗算された音響信号ＳＬの各サンプルの値の総和を求め、得られた値を音響信号ＳＬＬの１つのサンプルの値として加算部１３５に出力する。

このように、図１３に示した伝達関数演算部１３１では、音響信号ＳＬに対するｘ個の係数を用いた畳み込み演算により、音響信号ＳＬＬが生成される。この方法は、係数ｅ１乃至係数ｅｘを実測により求めるため、空間特性の再現性を高くできるが、入力バッファ１６１を構成するバッファと係数の数が多くなるので、回路規模や演算量が大きくなる。

なお、ここでは、伝達関数演算部１３１の構成例について説明したが、図１２の伝達関数演算部１３２乃至伝達関数演算部１３４の構成も伝達関数演算部１３１と同様であるので、その説明は省略する。

［伝達関数演算部の他の構成］
また、図１２に示した伝達関数演算部１３１は、例えば図１４に示す構成とされるようにしてもよい。なお、図１４において、図１３における場合と対応する部分には同一の符号を付してあり、その説明は省略する。

図１４に示す伝達関数演算部１３１は、入力バッファ１６１、係数保持部１９１−１、係数保持部１９１−２、乗算部１９２、および加算部１６４から構成され、入力バッファ１６１に音響信号ＳＬが供給される。なお、この例では、入力バッファ１６１には、バッファｗ１乃至バッファｗｙ（但し、ｘ＜ｙ）が設けられている。

係数保持部１９１−１は、一次反射音を実現するための係数ｅ１を保持しており、係数ｅ１を乗算部１９２に供給する。また、係数保持部１９１−２は、二次反射音を実現するための係数ｅ２を保持しており、係数ｅ２を乗算部１９２に供給する。なお、以下、係数保持部１９１−１および係数保持部１９１−２を特に区別する必要のない場合、単に係数保持部１９１とも称する。

乗算部１９２は、入力バッファ１６１のバッファｗｘから供給された音響信号ＳＬのサンプルの値に、係数保持部１９１−１から供給された係数ｅ１を乗算するとともに、バッファｗｙから供給された音響信号ＳＬのサンプルの値に、係数保持部１９１−２から供給された係数ｅ２を乗算する。そして、乗算部１９２は、それらの係数が乗算された音響信号ＳＬのサンプルの値を加算部１６４に供給する。加算部１６４は、乗算部１９２から供給された、係数が乗算された音響信号ＳＬの各サンプルの値の総和を求め、得られた値を音響信号ＳＬＬの１つのサンプルの値として加算部１３５に出力する。

この例では、バッファｗｘに格納されているサンプルに係数ｅ１が乗算されて一次反射音が生成され、さらに反射の遅延を実現するために、バッファｗｙに格納されているサンプルに係数ｅ２が乗算されて二次反射音が生成される。そして、一次反射音と二次反射音が加算されて音響信号ＳＬＬが生成される。

この方法では、図１３に示した方法と比べて、係数を少なくすることができるので回路規模や演算量を小さくできるが、実際の空間の持つ細かい特性までは再現しにくい。但し、バッファを大きくとっておくことで、各反射音の位置を任意の遅延位置に移動させ、係数も任意の値を取ることができるため、実際にない空間特性を作り出すことができる。また、反射音は一次反射音と二次反射音以外にも、システムの許す限り三次反射音、四次反射音と増加させてもよい。

［本技術を適用したサラウンド調整について］
ところで、以上において説明したサラウンド調整では、ユーザは予め用意されたいくつかのサラウンドモードのなかから、所望の１つのサラウンドモードを選択することしかできなかった。そのため、サラウンド調整によって、必ずしもユーザの望む音響効果を得ることができない場合もあった。

そこで、本技術では、例えば図１５に示すように、音響効果調整装置１１の表示部２２に制御用図形を表示させ、サラウンド効果の音響パラメータを連続的に調整できるようにする。

図１５では、音響効果調整、すなわちサラウンド調整のためのユーザインターフェースとして、表示部２２に制御用図形ＣＲ２１が表示されている。

制御用図形ＣＲ２１は、４つの点Ｅ、点Ｆ、点Ｇ、および点Ｈを頂点とする四角形の画像であり、この制御用図形ＣＲ２１は、音響信号のサラウンド効果に関する音響パラメータと連動している。すなわち、ユーザが制御用図形ＣＲ２１に対する操作を行なって、制御用図形ＣＲ２１を連続的に変形させると、その変形に伴って音響パラメータも連続的に変化するようになっている。

例えば、サラウンド効果に関する音響パラメートとして、音響信号の奥行き感や広がり感などがあるが、この例では、制御用図形ＣＲ２１の点Ｅと点Ｆには、奥行き感が対応付けられている。より詳細には、点Ｅには仮想受聴空間における、ユーザ（受聴者）からみて後方の空間の奥行き感が対応付けられており、点Ｆには仮想受聴空間における、ユーザ（受聴者）からみて前方の空間の奥行き感が対応付けられている。

また、図１５に示す制御用図形ＣＲ２１の状態が基準となる状態、つまりサラウンド効果なし（音響効果ゼロ）の状態であるものとする。制御用図形ＣＲ２１の状態が基準となる状態である場合、例えば音響信号によって図中、右側に示す仮想受聴空間ＶＳ１１が再現される。なお、図１５において、図１０における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

仮想受聴空間ＶＳ１１では、受聴者ＡＵ１１の前方に３つの音源ＳＯ１１−１乃至音源ＳＯ１１−３が配置されている。音響信号に対するサラウンド効果がなしの状態でも、音響信号がステレオ信号等であれば、ユーザは奥行き感や広がり感をある程度感じるので、仮想受聴空間ＶＳ１１のような空間感を得ることができる。

このような状態から、表示部２２、つまり入力部２１としてのタッチパネルの表面を、ユーザが左手ＨＤ１２の２本の指で縦方向にピンチアウトしたとする。すると、音響効果調整装置１１はユーザの指の動きを感知して、その動きを指のスライド量に変換する。そして、音響効果調整装置１１は、得られたスライド量に応じて、縦方向に並ぶ制御用図形ＣＲ２１の点Ｅおよび点Ｆを点Ｅ’および点Ｆ’に移動させ、４つの点Ｅ’、点Ｆ’、点Ｇ、および点Ｈを頂点とする四角形の制御用図形ＣＲ２１’とする。つまり、制御用図形ＣＲ２１が制御用図形ＣＲ２１’へと変形される。

制御用図形ＣＲ２１に対してこのような操作が行なわれると、点Ｅに対応付けられている後方の奥行き感の特性と、点Ｆに対応付けられている前方の奥行き感の特性とが、図中、右側の仮想受聴空間ＶＳ１２に示すように変化する。つまり、仮想受聴空間ＶＳ１２は、仮想受聴空間ＶＳ１１と比べて受聴者ＡＵ１１の前後の方向がより広い空間となっている。

仮想受聴空間ＶＳ１２では、受聴者ＡＵ１１の前方および後方の奥行きがより大きくなっており、それに伴って各音源ＳＯ１１が、受聴者ＡＵ１１から遠ざかるように前方の奥側に移動している。また、受聴者ＡＵ１１の後方には、後方空間の広がりに応じて他の受聴者の観客席も設けられた状態となっている。

制御用図形ＣＲ２１における点Ｅの点Ｅ’への移動は、サラウンド効果なしの音声を聴いていた受聴者が感じる、仮想受聴空間の後方の奥行き感の変化を意味しており、その変化量に応じて仮想受聴空間ＶＳ１１の後方の奥行き感が変化する。同様に、制御用図形ＣＲ２１における点Ｆの点Ｆ’への移動は、サラウンド効果なしの音声を聴いていた受聴者が感じる、仮想受聴空間の前方の奥行き感の変化を意味しており、その変化量に応じて仮想受聴空間ＶＳ１１の前方の奥行き感が変化する。

つまり、制御用図形ＣＲ２１が制御用図形ＣＲ２１’へと前後方向に拡大されたことに連動して、仮想受聴空間の奥行き感（サラウンド効果）も受聴者ＡＵ１１を中心として前後に拡大されることになる。

このように、音響効果調整装置１１は、図１０に示したような選択ボックスによるサラウンド調整ではなく、制御用図形ＣＲ２１の変形によるサラウンド調整を可能とする。

従来の選択ボックスによるサラウンド効果の調整は、サラウンドモードのイメージ画像を表示させることで、直感的に理解しやすいものとなっている。しかしながら、この方法では、サラウンド効果は選択ボックスに応じて選択されるプリセットしか得ることができない。そのため、例えばユーザがスモールホールとラージホールの中間の大きさの空間である、ミディアムホールの奥行き感や広がり感に設定したいと思っても、そのような設定を行なうことはできなかった。

これに対して、本技術によれば、仮想受聴空間の前方と後方の奥行き感という２つの音響パラメータの変化を１つの制御用図形で連続的に調整することができる。しかも、どのように制御用図形を変形させれば、どのようなサラウンド効果が得られるかという関連性をユーザが高く認識可能となり、直感的かつ連続的な操作を行うことができるようになる。これにより、ユーザは、単なる選択ボックスによるサラウンド効果の調整と比べて、より幅広いサラウンド効果を楽しむことができるようになる。

［音響効果調整部の構成例］
次に、図１５に示した制御用図形ＣＲ２１に対する操作によりサラウンド効果の調整が行なわれる場合における、音響効果調整装置１１の音響効果調整部２５の構成について説明する。そのような場合、音響効果調整部２５は、例えば図１６に示すように構成される。なお、図１６において、図１３における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図１６に示す音響効果調整部２５は、伝達関数演算部１３１、伝達関数演算部２２１、乗算部２２２、乗算部２２３、および加算部２２４から構成され、取得部２４から出力された音響信号は、伝達関数演算部１３１および伝達関数演算部２２１に供給される。

伝達関数演算部１３１は、供給された音響信号に対して、保持している係数ｅ１乃至係数ｅｘを用いた畳み込み演算を行なって、その結果得られた音響信号を乗算部２２２に供給する。

伝達関数演算部２２１は、供給された音響信号に対して、保持している係数ｆ１乃至係数ｆｘを用いた畳み込み演算を行なって、その結果得られた音響信号を乗算部２２３に供給する。

伝達関数演算部２２１は、伝達関数演算部１３１と同様の構成を有しており、伝達関数演算部２２１を構成する入力バッファ２３１、係数保持部２３２、乗算部２３３、および加算部２３４は、それぞれ入力バッファ１６１乃至加算部１６４に対応している。

すなわち、入力バッファ２３１は、ｘ個のバッファｗ１乃至バッファｗｘを有しており、各バッファには音響信号の連続するｘ個の各サンプルの値が格納される。そして、入力バッファ２３１は、各バッファに格納されている音響信号のサンプルの値を、乗算部２３３に供給する。

係数保持部２３２は、伝達関数の実体であるｘ個の係数ｆ１乃至係数ｆｘを保持しており、これらの係数を乗算部２３３に供給する。乗算部２３３は、入力バッファ２３１からの音響信号に対して、係数保持部２３２からの係数を乗算し、加算部２３４に供給する。すなわち、バッファｗｉ（但し、１≦ｉ≦ｘ）に格納されているサンプルの値に対して、係数ｆｉ（但し、１≦ｉ≦ｘ）が乗算され、加算部２３４に供給される。

加算部２３４は、乗算部２３３から供給された、係数が乗算された音響信号の各サンプルの値の総和を求め、得られた値を音響信号の１つのサンプルの値として乗算部２２３に出力する。

ここで、伝達関数演算部１３１の伝達関数は、所定の空間ＳＰＡにおける奥行き感を示しており、伝達関数演算部２２１の伝達関数は、空間ＳＰＡとは異なる空間ＳＰＢにおける奥行き感を示している。図１５の制御用図形ＣＲ２１では、制御用図形ＣＲ２１の変形に合わせて仮想受聴空間の奥行き感が変化するが、この奥行き感の変化は、伝達関数演算部１３１の伝達関数と伝達関数演算部２２１の伝達関数とを切り替えることで実現することができる。すなわち、伝達関数演算部１３１で音響信号のサラウンド調整を行なうか、伝達関数演算部２２１で音響信号のサラウンド調整を行なうかを切り替えることで実現することができる。

但し、これらの伝達関数を急激に、または非連続に切り替えると、仮想受聴空間の奥行き感が連続的に変化しないので、制御用図形ＣＲ２１の変化のイメージと奥行き感の変化が一致しなくなる。そこで、音響効果調整部２５では、可変係数をもつ乗算部２２２と乗算部２２３が導入されている。

乗算部２２２は、制御信号生成部３４から供給された制御信号に応じて可変係数ｇ１を連続的に変化させ、伝達関数演算部１３１から供給された音響信号に可変係数ｇ１を乗算して、加算部２２４に供給する。同様に、乗算部２２３は、制御信号生成部３４から供給された制御信号に応じて可変係数ｇ２を連続的に変化させ、伝達関数演算部２２１から供給された音響信号に可変係数ｇ２を乗算して、加算部２２４に供給する。

加算部２２４は、乗算部２２２から供給された音響信号と、乗算部２２３から供給された音響信号とを加算して、サラウンド効果が調整された音響信号とし、再生部２６に供給する。つまり、伝達関数演算部１３１で、予め定められた音響効果（サラウンド効果）が施された音響信号と、伝達関数演算部２２１で、伝達関数演算部１３１の音響効果とは異なる、予め定められた他の音響効果が施された音響信号とが加算部２２４によりクロスフェードされる。

換言すれば、音響効果調整部２５は、伝達関数の設定として、予め複数の非連続的な設定を有しており、音響効果（サラウンド効果）をある状態から他の状態へと変化させる場合、これらの複数の伝達関数の状態設定をクロスフェードさせることで、音響効果の連続的な変化を実現する。

このように、制御信号によって、可変係数ｇ１および可変係数ｇ２を連続的に変化させることで、仮想受聴空間の奥行き感を連続的に変化させることができ、制御用図形ＣＲ２１の変化のイメージと奥行き感の変化との一致度をより高めることができる。これにより、ユーザは、より直感的で分かり易い操作を行なうことができる。

なお、取得部２４で取得される音響信号が複数チャンネルある場合には、音響信号のチャンネルごとに伝達関数演算部１３１乃至加算部２２４からなる構成が設けられるようにすればよい。

［音響効果調整処理の説明］
さらに、図１７のフローチャートを参照して、音響効果調整装置１１の音響効果調整部２５が図１６に示した構成とされる場合に、音響効果調整装置１１により行なわれる音響効果調整処理について説明する。

なお、ステップＳ９１乃至ステップＳ９３の処理は、図５のステップＳ１１乃至ステップＳ１３の処理と同様であるので、その説明は省略する。但し、ステップＳ９１の処理では、例えば図１５に示した制御用図形ＣＲ２１が表示部２２に表示される。また、以下では、制御用図形ＣＲ２１が表示された場合を例として説明を続ける。

ステップＳ９３においてタッチ数が２であると判定された場合、ステップＳ９４において、設定部３２は、検出部３１により検出されたスライド量に応じて、制御用図形ＣＲ２１の点Ｅおよび点Ｆの移動距離を設定する。例えば、ステップＳ９４では、図５のステップＳ１４と同様の処理が行なわれて点Ｅと点Ｆの移動距離が設定される。

ステップＳ９５において、表示制御部３３は、ステップＳ９４で定められた点Ｅおよび点Ｆの移動距離に基づいて表示部２２を制御し、制御用図形ＣＲ２１を上下方向、すなわち点Ｅと点Ｆとを結ぶ直線の方向に変形させる。

例えば、図１５の例では点Ｅおよび点Ｆが定められた移動距離だけ移動される。これにより点Ｅと点Ｆは、それぞれ点Ｅ’と点Ｆ’に移動し、その結果、制御用図形ＣＲ２１が変形されて制御用図形ＣＲ２１’となる。

なお、図１５の例のようにユーザの制御用図形ＣＲ２１に対する操作がピンチアウト操作である場合には、点Ｅと点Ｆが制御用図形ＣＲ２１の外側に向かって移動するように変形が行なわれて、制御用図形ＣＲ２１が拡大される。逆に、ユーザがピンチイン操作を行なった場合には、その操作に応じて定められた移動距離だけ点Ｅと点Ｆが互いに接近するように移動され、制御用図形ＣＲ２１が縮小される。

ステップＳ９６において、制御信号生成部３４は、制御用図形ＣＲ２１の変形に応じた仮想受聴空間の前方および後方の奥行き感を決定する。

例えば、制御信号生成部３４は、図１５の例では点Ｅの移動距離と移動方向に応じて、仮想受聴空間の後方の奥行き感を決定するとともに、点Ｆの移動距離と移動方向に応じて、仮想受聴空間の前方の奥行き感を決定する。

このとき、点Ｅおよび点Ｆの移動方向が制御用図形ＣＲ２１の外側方向である場合には、点Ｅおよび点Ｆのそれぞれに対応付けられた後方および前方の奥行き感が広がるようにサラウンド効果の調整が行なわれる。これに対して、点Ｅおよび点Ｆの移動方向が制御用図形ＣＲ２１の内側方向である場合には、後方および前方の奥行き感が狭められるようにサラウンド効果の調整が行なわれる。

また、点Ｅや点Ｆに対応付けられた奥行き感の変化量は、その点の移動距離が長くなるにしたがって、奥行き感の変化量の絶対値が連続的に大きくなるように定められている。

制御信号生成部３４は、制御用図形ＣＲ２１’の点Ｅ’と点Ｆ’の位置、つまり点Ｅと点Ｆの移動方向および移動距離に基づいて、仮想受聴空間における後方および前方の奥行き感を決定すると、決定された奥行き感に応じて制御信号を生成し、音響効果調整部２５の乗算部２２２および乗算部２２３に供給する。

ステップＳ９７において、音響効果調整部２５は、制御信号生成部３４からの制御信号に基づいて、取得部２４から供給された音響信号に対するサラウンド調整を行い、その結果得られた音響信号を再生部２６に供給する。

具体的には、伝達関数演算部１３１および伝達関数演算部２２１は、取得部２４から供給された音響信号に対して係数を用いた畳み込み演算を行なって、その結果得られた音響信号を、乗算部２２２および乗算部２２３に供給する。

乗算部２２２および乗算部２２３は、制御信号生成部３４からの制御信号に応じて可変係数ｇ１および可変係数ｇ２を変化させて、伝達関数演算部１３１および伝達関数演算部２２１からの音響信号に乗算し、その結果得られた音響信号を加算部２２４に供給する。加算部２２４は、乗算部２２２からの音響信号と、乗算部２２３からの音響信号とを加算して、再生部２６に供給する。

さらに、再生部２６は、音響効果調整部２５から供給された音響信号に基づいて音声を再生する。このようにして音響信号のサラウンド調整が行なわれると、音響効果調整処理は終了する。

また、ステップＳ９３において、タッチ数が２でないと判定された場合、すなわち検出部３１により検出されたタッチ数が１である場合、処理はステップＳ９８へと進む。

ステップＳ９８において、設定部３２は、検出部３１により検出されたタッチ位置が制御用図形ＣＲ２１の中心よりも下側、つまり点Ｅ側であるか否かを判定する。

ステップＳ９８において、タッチ位置が制御用図形ＣＲ２１の中心よりも下側であると判定された場合、ステップＳ９９において、設定部３２は、検出部３１により検出されたスライド量に応じて、制御用図形ＣＲ２１の点Ｅの移動距離を設定する。

ステップＳ１００において、表示制御部３３は、ステップＳ９９で定められた点Ｅの移動距離に基づいて表示部２２を制御し、制御用図形ＣＲ２１を下方向、すなわち点Ｅと点Ｆとを結ぶ直線の方向であって、点Ｆから点Ｅに向かう方向に変形させる。

例えば、図１５の制御用図形ＣＲ２１が点Ｅ’，点Ｆ，点Ｇ，点Ｈを頂点とする図形に変形される。なお、ユーザによって点Ｅを図１５中、上方向に移動させる操作が行なわれた場合には、点Ｅが上側に移動するように制御用図形ＣＲ２１が変形する。

ステップＳ１０１において、制御信号生成部３４は、制御用図形ＣＲ２１の変形に応じた仮想受聴空間の後方の奥行き感を決定する。具体的には、制御信号生成部３４は点Ｅの移動距離と移動方向に応じて、点Ｅに対応付けられた仮想受聴空間の後方の奥行き感を決定する。

制御信号生成部３４は、点Ｅに対応付けられた奥行き感を決定すると、決定された奥行き感に応じて制御信号を生成し、音響効果調整部２５の乗算部２２２および乗算部２２３に供給する。

ステップＳ１０２において、音響効果調整部２５は、制御信号生成部３４からの制御信号に基づいて、取得部２４から供給された音響信号に対するサラウンド調整を行い、その結果得られた音響信号を再生部２６に供給する。すなわち、ステップＳ１０２ではステップＳ９７と同様の処理が行なわれる。

音響効果調整部２５は、音響信号のサラウンド調整を行なうと、その結果得られた音響信号を再生部２６に供給し、音響効果調整処理は終了する。再生部２６では、音響効果調整部２５から供給された音響信号に基づいて音声が再生される。

さらに、ステップＳ９８において、タッチ位置が制御用図形ＣＲ２１の中心よりも下側でない、つまりタッチ位置が制御用図形ＣＲ２１の中心よりも上側であると判定された場合、処理はステップＳ１０３へと進む。

ステップＳ１０３において、設定部３２は、検出部３１により検出されたスライド量に応じて、制御用図形ＣＲ２１の点Ｆの移動距離を設定する。具体的には、設定部３２は、検出された１つのスライド量に対して予め定められた距離を点Ｆの移動距離とする。

ステップＳ１０４において、表示制御部３３は、ステップＳ１０３で定められた点Ｆの移動距離に基づいて表示部２２を制御し、制御用図形ＣＲ２１を上方向に変形させる。

例えば、図１５の制御用図形ＣＲ２１が点Ｅ，点Ｆ’，点Ｇ，点Ｈを頂点とする図形に変形される。なお、ユーザによって点Ｆを図１５中、下側に移動させる操作が行なわれた場合には、点Ｆが下方向に移動するように制御用図形ＣＲ２１が変形する。

ステップＳ１０５において、制御信号生成部３４は、制御用図形ＣＲ２１の変形に応じた仮想受聴空間の前方の奥行き感を決定する。具体的には、制御信号生成部３４は点Ｆの移動距離と移動方向に応じて、点Ｆに対応付けられた前方の奥行き感を決定する。

制御信号生成部３４は、点Ｆに対応付けられた前方の奥行き感を決定すると、決定された奥行き感に応じて制御信号を生成し、音響効果調整部２５の乗算部２２２および乗算部２２３に供給する。

ステップＳ１０６において、音響効果調整部２５は、制御信号生成部３４からの制御信号に基づいて、取得部２４から供給された音響信号に対するサラウンド調整を行い、その結果得られた音響信号を再生部２６に供給する。すなわち、ステップＳ１０６ではステップＳ９７と同様の処理が行なわれて、点Ｆに対応付けられた奥行き感（サラウンド）が調整される。

音響効果調整部２５は、音響信号のサラウンド調整を行なうと、その結果得られた音響信号を再生部２６に供給し、音響効果調整処理は終了する。再生部２６では、音響効果調整部２５から供給された音響信号に基づいて音声が再生される。

以上のようにして、音響効果調整装置１１は、ユーザの制御用図形ＣＲ２１に対する操作に応じて、制御用図形ＣＲ２１を変形させるとともに、その変形に応じた奥行き感で音響信号に対するサラウンド調整を行なう。

音響効果調整装置１１によれば、ユーザ操作に応じてサラウンド調整のための音響パラメータが対応付けられた点を移動させて制御用図形ＣＲ２１を変形させると同時に、その変形に応じて音響効果を調整することで、ユーザの直感的な操作を実現できるようになる。すなわち、ユーザに対して、より分かり易く使い易いユーザインターフェースを提供することができる。

なお、本明細書では、制御用図形ＣＲ２１に対する奥行き感変更の操作として代表的なものについてのみ記載しているが、制御用図形ＣＲ２１に対する操作のバリエーションとして他に多くのものが考えられ、それらの操作のバリエーションに対応する音響効果の調整に対しても、本技術は適用可能である。

〈第４の実施の形態の変形例１〉
［音響効果調整部の他の構成例］
なお、以上においては、音響効果調整部２５に２つの伝達関数演算部が設けられる例について説明したが、１つの伝達関数演算部で仮想受聴空間の奥行き感を連続的に変化させるようにしてもよい。

そのような場合、音響効果調整部２５は、例えば図１８に示すように構成される。

図１８に示す音響効果調整部２５は、入力バッファ２６１、係数保持部２６２、係数保持部２６３、乗算部２６４、および加算部２６５から構成され、入力バッファ２６１に音響信号が供給される。

入力バッファ２６１は、図１６の入力バッファ１６１に対応し、供給された音響信号を保持して、その一部のサンプルの値を乗算部２６４に供給する。ここでは、入力バッファ２６１は、バッファｗ１乃至バッファｗｚのｚ個のバッファを有しており、音響信号のサンプルの値が、新しいものから順番にバッファｗ１乃至バッファｗｚに格納される。

係数保持部２６２は、制御信号生成部３４からの制御信号ＣＶに応じて、一次反射音を実現するための係数ｅ１を変化させ、係数ｅ１を乗算部２６４に供給する。係数保持部２６３は、制御信号生成部３４からの制御信号ＣＶに応じて、二次反射音を実現するための係数ｅ２を変化させ、係数ｅ２を乗算部２６４に供給する。

乗算部２６４は、２個の乗算器からなり、入力バッファ２６１を構成するバッファのうち、制御信号生成部３４からの制御信号ＣＰにより定まるバッファに格納されている音響信号のサンプルの値に、係数保持部２６２および係数保持部２６３からの係数を乗算し、加算部２６５に供給する。

すなわち、乗算部２６４は、制御信号ＣＰにより定まるバッファｗｘ（但し、１≦ｘ≦ｚ）に格納されているサンプルの値に、係数ｅ１を乗算するとともに、制御信号ＣＰにより定まるバッファｗｙ（但し、１≦ｙ≦ｚ）に格納されているサンプルの値に、係数ｅ２を乗算する。これらのバッファｗｘとバッファｗｙの位置は、反射の遅延を実現するように制御信号ＣＰにより定められる。すなわち、バッファｗｘとバッファｗｙの位置は、制御信号ＣＰによって変化する。

加算部２６５は、乗算部２６４から供給された、係数が乗算された音響信号の各サンプルの値の和を求め、得られた値をサラウンド調整後の音響信号の１つのサンプルの値として再生部２６に出力する。

なお、取得部２４で取得される音響信号が複数チャンネルある場合には、音響信号のチャンネルごとに入力バッファ２６１乃至加算部２６５と同じ構成が設けられるようにすればよい。

このように、図１８に示した音響効果調整部２５では、音響信号の遅延、すなわちバッファｗｘおよびバッファｗｙの位置と、係数ｅ１および係数ｅ２とを任意に変化させることができるため、これらを調整することで、奥行き感を連続的に変化させることができる。これにより、制御用図形ＣＲ２１の変形のイメージと、サラウンド効果の変化の一致度をより高くすることができる。

換言すれば、図１８の構成は、音響パラメータをパラメトリック化することで、音響効果を連続的に変化させる構成である。すなわち、図１８に示した音響効果調整部２５は、図１３および図１４に示した伝送関数演算部１３１をパラメトリック化した例である。この例では、音響信号に乗算される係数として、支配的な要素成分（ここでは、一次反射音と二次反射音）のみを抽出するとともに、その要素成分が固定値ではなくパラメータ（可変値）として利用されている。

音響効果調整部２５が図１８に示す構成とされる場合においても、図１７に示した音響効果調整処理と同様の処理が行なわれる。但し、そのような場合、制御信号生成部３４は、制御用図形ＣＲ２１の変形に応じて、制御信号ＣＶと制御信号ＣＰを生成し、係数保持部２６２および係数保持部２６３と、乗算部２６４とに供給する。

〈第４の実施の形態の変形例２〉
［広がり感の調整について］
また、図１５に示した例では、制御用図形ＣＲ２１に奥行き感が対応付けられる場合について説明したが、制御用図形ＣＲ２１に広がり感が対応付けられるようにしてもよい。なお、広がり感の調整は、基本的に以上において説明してきた奥行き感と同じく、伝達関数演算部の係数を変えることで実現することができる。奥行き感と広がり感のどちらを変化させることができるかは、１つのチャンネルの係数によって決まるわけではなく、例えば伝達関数処理部１０２でいえば、４つ全ての伝達関数演算部の係数の組み合わせで決定される。４つの係数の組み合わせを適切に考慮することで、奥行き感と広がり感の両方を調整することができるようになる。この効果については、一般的に広く知られているので、その説明は省略する。

さて、そのような場合、例えば図１９に示すように、制御用図形ＣＲ２１の点Ｇと点Ｈに、仮想受聴空間の左右の広がり感が対応付けられる。なお、図１９において、図１５における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

ここでは、例えば制御用図形ＣＲ２１の点Ｇに対して、仮想受聴空間における、ユーザ（受聴者）からみて左側の空間の広がり感が対応付けられており、点Ｈに対して仮想受聴空間における、ユーザからみて右側の空間の広がり感が対応付けられている。

また、図１９に示す制御用図形ＣＲ２１の状態が基準となる状態、つまりサラウンド効果なし（音響効果ゼロ）の状態であるものとし、制御用図形ＣＲ２１の状態が基準となる状態では、音響信号によって図中、右側に示す仮想受聴空間ＶＳ１１が再現されるとする。

このような状態から、表示部２２、つまり入力部２１としてのタッチパネルの表面を、ユーザが右手ＨＤ１３の２本の指で横方向にピンチアウトしたとする。すると、音響効果調整装置１１はユーザの指の動きを感知して、その動きを指のスライド量に変換する。そして、音響効果調整装置１１は、得られたスライド量に応じて、横方向に並ぶ制御用図形ＣＲ２１の点Ｇおよび点Ｈを点Ｇ’および点Ｈ’に移動させ、４つの点Ｅ、点Ｆ、点Ｇ’、および点Ｈ’を頂点とする四角形の制御用図形ＣＲ２１’’とする。つまり、制御用図形ＣＲ２１が制御用図形ＣＲ２１’’へと変形される。

制御用図形ＣＲ２１に対してこのような操作が行なわれると、点Ｇに対応付けられている左側の広がり感の特性と、点Ｈに対応付けられている右側の広がり感の特性とが、図中、右側の仮想受聴空間ＶＳ２１に示すように変化する。つまり、仮想受聴空間ＶＳ２１は、仮想受聴空間ＶＳ１１と比べて受聴者ＡＵ１１の左右方向がより広い空間となっている。

仮想受聴空間ＶＳ２１では、受聴者ＡＵ１１の右側および左側の広がりがより大きくなっており、それに伴って受聴者ＡＵ１１の前方左右に位置する音源ＳＯ１１−２と音源ＳＯ１１−３が、音源ＳＯ１１−１に対して左右方向に広がるように移動している。

制御用図形ＣＲ２１における点Ｇの点Ｇ’への移動は、サラウンド効果なしの音声を聴いていた受聴者が感じる、仮想受聴空間の左方向の広がり感の変化を意味しており、その変化量に応じて仮想受聴空間ＶＳ１１の左側の広がり感が変化する。同様に、制御用図形ＣＲ２１における点Ｈの点Ｈ’への移動は、サラウンド効果なしの音声を聴いていた受聴者が感じる、仮想受聴空間の右方向の広がり感の変化を意味しており、その変化量に応じて仮想受聴空間ＶＳ１１の右側の広がり感が変化する。

つまり、制御用図形ＣＲ２１が制御用図形ＣＲ２１’’へと左右方向に拡大されたことに連動して、仮想受聴空間の広がり感（サラウンド効果）も受聴者ＡＵ１１を中心として左右に拡大されることになる。

このように、音響効果調整装置１１は、図１０に示したような選択ボックスによるサラウンド調整ではなく、制御用図形ＣＲ２１の変形によるサラウンド調整を可能とする。

上述したように、従来の選択ボックスによるサラウンド効果の調整では、いくつかのサラウンドモードのうちの１つを選択することしかできない。

これに対して、本技術によれば、仮想受聴空間の左側と右側の広がり感という２つの音響パラメータの変化を１つの制御用図形で連続的に調整することができる。しかも、どのように制御用図形を変形させれば、どのようなサラウンド効果が得られるかという関連性をユーザが高く認識可能となり、直感的かつ連続的な操作を行うことができるようになる。これにより、ユーザは、単なる選択ボックスによるサラウンド効果の調整と比べて、より幅広いサラウンド効果を楽しむことができるようになる。

なお、図１９に示したように制御用図形ＣＲ２１に広がり感が対応付けられている場合においても、音響効果調整装置１１では、図１７のフローチャートを参照して説明した音響効果調整処理と同様の処理が行なわれるので、その説明は省略する。

〈第４の実施の形態の変形例３〉
［広がり感と奥行き感の調整について］
さらに、図１９に示した制御用図形ＣＲ２１に対して、仮想受聴空間の前方の奥行き感も対応付けられるようにしてもよい。

例えば、図２０に示すように左右の広がり感を調整するために変形された制御用図形ＣＲ２１’’が表示されているとする。また、制御用図形ＣＲ２１’’の状態に対して、音響信号によって図中、右側に示す仮想受聴空間ＶＳ２１が再現されているとする。つまり、この状態では、音響信号に対して、仮想受聴空間の左右の広がり感を拡大するサラウンド効果が既に施されている。

この例では、さらに制御用図形ＣＲ２１’’の点Ｆに対して、仮想受聴空間の前方の奥行き感が対応付けられている。

このような状態から、表示部２２の表面を、ユーザが左手ＨＤ１４の人差し指で図中、上方向にスライド操作したとする。すると、音響効果調整装置１１はユーザの指の動きを感知して、その動きを指のスライド量に変換し、スライド量に応じて制御用図形ＣＲ２１’’の点Ｆを点Ｆ’’に移動させ、４つの点Ｅ、点Ｆ’’、点Ｇ’、および点Ｈ’を頂点とする四角形の制御用図形ＣＲ３１とする。つまり、制御用図形ＣＲ２１’’が制御用図形ＣＲ３１へと変形される。

制御用図形ＣＲ２１’’に対してこのような操作が行なわれると、点Ｆに対応付けられている前方の奥行き感の特性が、図中、右側の仮想受聴空間ＶＳ３１に示すように変化する。つまり、仮想受聴空間ＶＳ３１は、仮想受聴空間ＶＳ２１と比べて受聴者ＡＵ１１の前方の奥行きがより広い空間となっており、前方の奥行きの拡大に伴って、各音源ＳＯ１１も受聴者ＡＵ１１から遠ざかるように奥行き方向に移動している。

制御用図形ＣＲ２１’’における点Ｆの点Ｆ’’への移動は、仮想受聴空間の前方の奥行き感の変化を意味しており、その変化量に応じて仮想受聴空間ＶＳ２１の前方の奥行き感が変化するように、音響信号に対するサラウンド調整が行なわれる。

なお、図２０に示したように制御用図形ＣＲ２１’’に広がり感が対応付けられている場合においても、音響効果調整装置１１では、図１７のフローチャートを参照して説明した音響効果調整処理と同様の処理が行なわれるので、その説明は省略する。また、ここでは点Ｆに対して仮想受聴空間の前方の奥行き感が対応付けられる例について説明したが、点Ｅにも仮想受聴空間の後方の奥行き感が対応付けられるようにしてもよい。

〈第４の実施の形態の変形例４〉
［前方の広がりの調整について］
また、図２０に示した例において、ユーザの制御用図形ＣＲ３１への操作により、仮想受聴空間の前方への奥行き感をさらに左右に広げる調整を行なうことができるようにしてもよい。

そのような場合、例えば図２１に示すように、点Ｆが点Ｆ’’へと移動するように変形された制御用図形ＣＲ３１が表示部２２に表示されているとする。また、制御用図形ＣＲ３１の状態に対して、音響信号によって図中、右側に示す仮想受聴空間ＶＳ３１が再現されているとする。なお、図２１において、図２０における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

制御用図形ＣＲ３１が表示されている状態では、サラウンド効果なしである基準となる状態から、左右方向の広がり感が拡大され、かつ前方への奥行き感も拡大された状態となるように、すでに音響信号にサラウンド効果が施されている。

このような状態から、仮想受聴空間の前方への奥行き感を、さらに左右に広げるために、表示部２２の表面を、ユーザが右手ＨＤ１５の２本の指で図中、横方向にピンチアウトしたとする。すると、音響効果調整装置１１はユーザの指の動きを感知して、その動きを指のスライド量に変換する。そして、音響効果調整装置１１は、得られたスライド量に応じて、制御用図形ＣＲ３１の点Ｆ’’を２つの点Ｆ１と点Ｆ２に分割する。これにより、制御用図形ＣＲ３１が、点Ｅ、点Ｆ１、点Ｆ２、点Ｇ’、および点Ｈ’を頂点とする五角形の制御用図形ＣＲ３１’に変形される。

このように、点Ｆを点Ｆ１と点Ｆ２に分割する操作は、前方への奥行き感を、さらに左右に広げることを意味しており、ユーザのピンチアウト操作時のスライド量に応じた位置に点Ｆ１と点Ｆ２が位置するようになされる。

そして、点Ｆから点Ｆ１または点Ｆ２の距離に応じて、点Ｆ１と点Ｆ２に対応付けられている前方の左右の奥行き感の特性が、図中、右側の仮想受聴空間ＶＳ４１に示すように変化する。つまり、仮想受聴空間ＶＳ４１は、仮想受聴空間ＶＳ３１と比べて受聴者ＡＵ１１の前方の奥行きがさらに左右に広がっており、これに伴って音源ＳＯ１１−２と音源ＳＯ１１−３も左奥方向および右奥方向へと移動している。

このように、点Ｆが点Ｆ１と点Ｆ２に分割されると、仮想受聴空間の前方の奥行き感の左右感が変化する。音響効果調整部２５は、ユーザの操作に応じて制御信号生成部３４から供給される制御信号に応じて、仮想受聴空間の前方奥行きが左右に拡大されるように、音響信号に対するサラウンド効果を調整する。

なお、この場合においても、音響効果調整装置１１では、図１７のフローチャートを参照して説明した音響効果調整処理と同様の処理が行なわれるので、その説明は省略する。

〈第４の実施の形態の変形例５〉
［受聴者の位置調整について］
また、以上においては、仮想受聴空間において受聴者を中心として、仮想受聴空間の音響特性を変化させる方法、すなわち前後左右のサラウンド効果を調整する方法について説明したが、受聴者の位置を変更するようなサラウンド効果の調整が行なわれてもよい。

そのような場合、例えば図２２に示すように、点Ｆが点Ｆ１と点Ｆ２に分割されて得られた制御用図形ＣＲ３１’が表示部２２に表示されているとする。また、制御用図形ＣＲ３１’の状態に対して、音響信号によって図中、右側に示す仮想受聴空間ＶＳ４１が再現されているとする。なお、図２２において、図２１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

制御用図形ＣＲ３１’が表示されている状態では、前方への奥行き感がさらに左右に広げられた状態となるように、すでに音響信号にサラウンド効果が施されている。

このような状態から、表示部２２の表面を、ユーザが右手ＨＤ１５の人差し指で図中、横方向へのスライド操作をしたとする。すると、音響効果調整装置１１はユーザの指の動きを感知して、その動きを指のスライド量に変換する。そして、音響効果調整装置１１は、得られたスライド量に応じて、制御用図形ＣＲ３１’の点Ｅを点Ｅ’’に移動させ、５つの点Ｅ’’、点Ｆ１、点Ｆ２、点Ｇ’、および点Ｈ’を頂点とする五角形の制御用図形ＣＲ４１とする。つまり、制御用図形ＣＲ３１’が制御用図形ＣＲ４１へと変形される。

点Ｅを点Ｅ’’へと移動させる操作は、仮想受聴空間における受聴者の位置を移動させることを意味しており、ユーザのスライド操作のスライド量に応じた位置に点Ｅが移動する。

そして、点Ｅの移動方向と移動距離に応じて、点Ｅに対応付けられている受聴者の位置が、図中、右側の仮想受聴空間ＶＳ５１に示すように変化する。つまり、仮想受聴空間ＶＳ５１では、受聴者ＡＵ１１の位置が、仮想受聴空間ＶＳ４１における受聴者ＡＵ１１の位置と比べて図中、左方向に移動している。

このように、点Ｅが点Ｅ’’へと移動すると、仮想受聴空間の受聴者の位置が移動する。音響効果調整部２５は、ユーザの操作に応じて制御信号生成部３４から供給される制御信号に応じて、仮想受聴空間の受聴者の位置が変更されるように、音響信号に対するサラウンド効果を調整する。

なお、この場合においても、音響効果調整装置１１では、図１７のフローチャートを参照して説明した音響効果調整処理と同様の処理が行なわれるので、その説明は省略する。

以上のような操作によれば、受聴者を中心としたサラウンド効果の変化のみでなく、会場における受聴者の位置を移動させることに相当するようなサラウンド効果の変化も、制御用図形の変化と連動して実現することができる。もちろん、受聴者の位置は制御用図形を変形させることで様々な位置に変更可能であり、従来にないユーザインターフェースと音響効果を実現することができる。

〈第５の実施の形態〉
［中央定位成分の調整について］
さらに、制御用図形に対して中央定位成分のゲインを対応付けて、音響信号の中央定位成分を調整できるようにしてもよい。

そのような場合、例えば図１５に示した制御用図形ＣＲ２１が表示部２２に表示されているとする。ここで、制御用図形ＣＲ２１の点Ｅと点Ｆには、仮想受聴空間の後方と前方の奥行き感が対応付けられている。

このような状態から、図２３に示すようにユーザが右手ＨＤ１６で制御用図形ＣＲ２１の内部をタッチ（タップ）すると、制御用図形ＣＲ２１の内部にさらに点Ｋ、点Ｌ、点Ｍ、および点Ｎを頂点とする四角形の制御用図形ＣＲ５１が表示される。なお、図２３において、図１５における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。また、制御用図形ＣＲ５１を表示させるための操作は、制御用図形ＣＲ２１内の領域をタップする操作に限らず、どのような操作であってもよい。

制御用図形ＣＲ５１が表示されると、ユーザは制御用図形ＣＲ５１に対する操作を行なうことで、音響信号の中央定位成分に対する音響効果を調整することができる。

例えば、図２３に示す制御用図形ＣＲ５１の状態が基準となる状態、つまり中央定位成分の変化がない、音響効果ゼロの状態であるものとする。

制御用図形ＣＲ５１の状態が基準となる状態である場合、例えば音響信号によって図中、右側に示す仮想受聴空間ＶＳ６１が再現されるとする。仮想受聴空間ＶＳ６１では、受聴者ＡＵ１１の前方に３つの音源ＳＯ１１−１乃至音源ＳＯ１１−３が配置されており、各音源ＳＯ１１の画像はほぼ同じ大きさとなっている。

このような状態から、表示部２２をユーザが右手ＨＤ１６の人差し指でスライド操作したとする。すると、音響効果調整装置１１はユーザの指の動きを感知して、その動きを指のスライド量に変換する。そして、音響効果調整装置１１は、得られたスライド量に応じて制御用図形ＣＲ５１を拡大させ、点Ｋ’、点Ｌ’、点Ｍ’、および点Ｎ’を頂点とする四角形の制御用図形ＣＲ５１’に変形させる。

ここでは、制御用図形ＣＲ５１の大きさの変化は、音響信号の中央定位成分のゲインの変化を示しており、制御用図形ＣＲ５１が拡大されると中央定位成分のゲインは増加し、制御用図形ＣＲ５１が縮小されると中央定位成分のゲインは減少するようにゲイン調整が行なわれる。

例えば制御用図形ＣＲ５１へのスライド操作時において、ユーザが最初にタッチした位置が制御用図形ＣＲ５１内部であれば、制御用図形ＣＲ５１は縮小される。これに対して、ユーザが最初にタッチした位置が制御用図形ＣＲ５１外部であって、かつ制御用図形ＣＲ２１内部の領域であれば、制御用図形ＣＲ５１は拡大される。

なお、制御用図形ＣＲ２１の外部でユーザによる操作が行なわれたときは、制御用図形ＣＲ２１に対する操作とされて奥行き感が調整されるようにしてもよい。また、ユーザが最初にタッチした位置が制御用図形ＣＲ５１外部であれば、その位置が制御用図形ＣＲ２１の外部の領域であっても、制御用図形ＣＲ５１が拡大されるようにしてもよい。

図２３の例では、ユーザは制御用図形ＣＲ５１の外部で、かつ制御用図形ＣＲ２１内部の領域をタッチしてスライド操作を行なっているので、制御用図形ＣＲ５１は拡大されて制御用図形ＣＲ５１’とされる。

このようにして制御用図形ＣＲ５１が拡大表示されると、仮想受聴空間ＶＳ６１の状態から中央定位成分である音源ＳＯ１１−１からの音のゲインが増幅され、図中、右側に示す仮想受聴空間ＶＳ６２の状態へと仮想受聴空間が変化する。仮想受聴空間ＶＳ６２では、仮想受聴空間ＶＳ６１と比べて、音源ＳＯ１１−１の画像がゲインの増幅分だけ大きくなっている。これに伴い、音響効果調整部２５では、音響信号の中央定位成分が増幅される。

なお、ここでの仮想受聴空間ＶＳ６２における音源ＳＯ１１−１の画像の拡大は、音源ＳＯ１１−１からの音声の増幅を模したものである。また、中央定位成分のゲイン調整において、制御用図形ＣＲ５１の大きさの変化のみでなく、例えば制御用図形ＣＲ５１の色を変化させることでゲインの調整量が表現されるようにしてもよい。具体的には、明るい色から暗い色への変化を、数値の大小関係に置き換えて、制御用図形ＣＲ５１の色を変化させてもよい。

さらに、任意の画像を表示しておき、その画像の解像度を変えることで中央定位成分のゲイン調整量を表現するようにしてもよい。具体的には、画像の解像度が高い状態から低い状態への変化を、数値の大小関係に置き換えるようにしてもよい。

その他、任意の画像を表示しておき、その画像の透過度を変えることで中央定位成分の調整量を表現するようにしてもよい。具体的には、画像の透過度がゼロの状態から、完全透過の状態、つまり画像が見えない状態への変化を、数値の大小関係に置き換えてもよい。

このように、制御用図形の変形だけでなく、色や解像度を変えてゲイン調整量を表現することは、この例のみに限らず、本明細書で開示する全ての例に対して適用可能である。例えば、上述した制御用図形ＣＲ１１の色や解像度、透過度などが、ユーザの制御用図形ＣＲ１１に対する操作に応じて変化するようにしてもよい。

また、中央定位成分の増加，減少方法については、例えば入力となる音響信号が５．１チャンネルの信号であれば、センターチャンネル（中央チャンネル）のみのゲインを調整すればよい。また、入力となる音響信号が２チャンネルしかない場合には、２チャンネルの音響信号を信号処理によって、左チャンネル、中央チャンネル、および右チャンネルの各成分に分解した後、中央定位成分である中央チャンネルのみのゲイン調整をするようにしてもよい。

以上のように、制御用図形ＣＲ５１に対して、音響パラメータとして中央定位成分のゲインを対応付けることで、より直感的で使い易いユーザインターフェースを提供することができる。

例えば、映画のような５．１チャンネルのコンテンツでは、中央定位成分であるセンターチャンネルにセリフが入っている場合がある。この場合、セリフを聞きやすいようにセンターチャンネルのゲインをマニュアルで変えることができるが、そのためには５．１チャンネルの各チャネルのゲイン設定メニューまで辿りつかないと、ユーザはその調整を行なうことができない。

また、通常の２チャンネルのコンテンツ、特に楽曲においては、信号処理によって中央定位成分を抜いてカラオケ機能を実現することができる。しかし、カラオケ機能を実現するためには、例えばメニューの深い層まで進んだ上でカラオケ機能のボタンを押すなどして機能を有効にしなければならない。つまり、同じ中央定位成分を調整するだけでも、複数のメニューや、複数の機能が存在しており、現状のインターフェースが使いやすいとはいえなかった。

これに対して、本技術では、サラウンドの調整をしている画面上において、さらに１つコマンドを与えるだけで中央定位成分の調整を実現する機能を付加することができる。また、制御用図形ＣＲ２１の内部の真ん中に新しい制御用図形ＣＲ５１が表示されるので、この制御用図形ＣＲ５１が中央定位成分を調整するためのものだと連想もしやすい。

したがって、従来のように機能を別々のメニューから呼び出して個別に調整する方法に比べると、本技術は１つの画面上で複数の音響パラメータを連続に調整できるという、極めて高い利便性を実現することができる。

［音響効果調整部の構成例］
次に、図２３に示した制御用図形ＣＲ５１によって、中央定位成分のゲイン調整が行なわれる場合における音響効果調整部２５の構成について説明する。

例えば、取得部２４から出力される音響信号が、左チャンネルの音響信号ＳＬ、右チャンネルの音響信号ＳＲ、および中央チャンネルの音響信号ＳＣからなる３チャンネルの信号であるとする。これは、再生対象となるコンテンツがマルチチャンネルで記録されていることに相当する。

ここで、例えば再生部２６での再生がステレオチャンネル（２チャンネル）での再生であるとすると、マルチチャンネルの音響信号に対して、いわゆるミックスダウン処理を行なう必要がある。

通常、ミックスダウン処理とは、マルチチャンネルの信号を２チャンネルのスピーカでも再生できるように、各チャンネルの信号を一定の比率でミキシングして、チャンネル数を２チャンネルに減らす処理である。

したがって、取得部２４から出力される音響信号が３チャンネルの信号である場合には、左チャンネルの音響信号ＳＬと右チャンネルの音響信号ＳＲに、中央チャンネルの音響信号ＳＣを一定の比率で加算することに相当する。

しかし、音響効果調整装置１１は、このミックスダウン処理を一定の比率で行なわず、制御用図形ＣＲ５１の変形量に応じて制御信号を生成する。そして、音響効果調整装置１１は、この制御信号に応じて、中央チャンネルの音響信号ＳＣの左チャンネルの音響信号ＳＬと右チャンネルの音響信号ＳＲへのミキシング比率を可変化する。

これにより、ユーザの操作に応じて中央定位成分のゲインを調整することができる。例えば、ミキシング比率を大きくして中央定位成分であるボーカルを強調したり、ミキシング比率を小さくしてカラオケのように利用したりすることが可能である。

このように、制御用図形ＣＲ５１の変形量に応じた制御信号により、中央チャンネルの音響信号ＳＣのミキシング比率を可変化する場合、音響効果調整部２５には、サラウンド効果を調整する構成の他、図２４に示す中央定位成分を調整する構成が設けられる。

なお、図２４では、サラウンド効果を調整する構成の図示は省略されている。図２４に示す音響効果調整部２５には、ゲイン調整部２９１、加算部２９２、および加算部２９３が含まれている。

この例では、制御用図形ＣＲ５１の変形量に応じた制御信号がゲイン調整部２９１に供給されるとともに、中央チャンネルの音響信号ＳＣがゲイン調整部２９１に供給される。また、加算部２９２および加算部２９３には、それぞれ左チャンネルの音響信号ＳＬおよび右チャンネルの音響信号ＳＲが供給される。

ゲイン調整部２９１は、制御信号生成部３４から供給された制御信号に基づいて、供給された音響信号ＳＣのゲインを調整し、加算部２９２および加算部２９３に供給する。

加算部２９２は、供給された音響信号ＳＬに、ゲイン調整部２９１から供給された音響信号ＳＣを加算して、ゲイン調整後の左チャンネルの音響信号ＳＬ’とし、再生部２６に供給する。また、加算部２９３は、供給された音響信号ＳＲに、ゲイン調整部２９１から供給された音響信号ＳＣを加算して、ゲイン調整後の右チャンネルの音響信号ＳＲ’とし、再生部２６に供給する。

なお、音響信号が左右の２チャンネルの信号である場合には、左チャンネルと右チャンネルの信号を用いて、中央チャンネルに相当する信号を生成し、その信号のゲインを調整することで、中央定位成分のゲイン調整を行なうことができる。

また、サラウンド調整後の音響信号に対して中央定位成分のゲイン調整が行なわれてもよいし、中央定位成分のゲイン調整後の音響信号に対してサラウンド調整が行なわれるようにしてもよい。

［音響効果調整処理の説明］
さらに、図２５のフローチャートを参照して、音響効果調整部２５が図２４に示した構成とされ、制御用図形ＣＲ５１に対する操作により中央定位成分のゲイン調整が行なわれる場合に、音響効果調整装置１１により行なわれる音響効果調整処理について説明する。

ステップＳ１３１において、表示制御部３３は、制御用図形ＣＲ２１の画像データを表示部２２に供給して、表示部２２に制御用図形ＣＲ２１を表示させる。すると、表示部２２は、表示制御部３３から供給された画像データに基づいて制御用図形ＣＲ２１を表示する。

ユーザが中央定位成分のゲイン調整を行なおうとする場合、ユーザは制御用図形ＣＲ２１の内部、つまり制御用図形ＣＲ２１の領域をタップして、制御用図形ＣＲ５１の表示を指示する。ユーザが制御用図形ＣＲ２１に対する操作を行なうと、入力部２１としてのタッチパネルは、ユーザの操作に応じた信号を制御部２３に供給する。

ステップＳ１３２において、検出部３１は、入力部２１から供給された信号に基づいて、ユーザの制御用図形ＣＲ２１内部への操作を検出する。具体的には、検出部３１は、タッチパネル上におけるユーザのタッチ位置から、ユーザの制御用図形ＣＲ２１内部への操作を検出する。

制御用図形ＣＲ２１内部への操作が検出されると、ステップＳ１３３において表示制御部３３は、その検出に応じて制御用図形ＣＲ５１の画像データを表示部２２に供給し、表示部２２における制御用図形ＣＲ２１の内部に、さらに制御用図形ＣＲ５１を表示させる。これにより、表示部２２は、例えば図２３に示したように、制御用図形ＣＲ２１の内部に制御用図形ＣＲ５１を表示させる。

制御用図形ＣＲ５１が表示されると、ユーザは、音響信号の中央定位成分のゲイン調整を指示するため、制御用図形ＣＲ５１に対するスライド操作を行なう。

なお、ユーザは中央定位成分を増加させるか、または減少させるかに応じて、制御用図形ＣＲ５１内部、つまり制御用図形ＣＲ５１の領域への操作か、または制御用図形ＣＲ５１外部で、かつ制御用図形ＣＲ２１内部の領域への操作を行なう。

ステップＳ１３４において、検出部３１は、ユーザによる制御用図形ＣＲ５１への操作に応じて入力部２１から供給された信号に基づいて、ユーザの制御用図形ＣＲ２１内部の領域への操作を検出する。

具体的には、検出部３１は、タッチパネル上におけるユーザのタッチ位置と、タッチパネルへと接触させたユーザの指の移動量であるスライド量とを検出する。

ステップＳ１３５において、設定部３２は、検出部３１により検出されたタッチ位置が、内部に表示された制御用図形ＣＲ５１の外部の領域であるか否かを判定する。すなわち、ユーザによる最初のタッチ位置が、制御用図形ＣＲ２１内部であり、かつ制御用図形ＣＲ５１の外部の領域である場合、タッチ位置が制御用図形ＣＲ５１外部の領域であると判定される。

ステップＳ１３５においてタッチ位置が制御用図形ＣＲ５１外部の領域であると判定された場合、処理はステップＳ１３６に進む。

ステップＳ１３６において、設定部３２は、検出部３１により検出されたスライド量に応じて、制御用図形ＣＲ２１内部に表示された制御用図形ＣＲ５１の拡大量を設定する。例えば、スライド量に対して予め定められた距離だけ、制御用図形ＣＲ５１の各点（頂点）が移動するように、拡大量が定められる。

ステップＳ１３７において、表示制御部３３は、ステップＳ１３６で定められた拡大量に基づいて表示部２２を制御し、制御用図形ＣＲ５１を拡大させる。これにより、例えば図２３に示した制御用図形ＣＲ５１が、制御用図形ＣＲ５１’へと拡大表示される。

ステップＳ１３８において、制御信号生成部３４は、制御用図形ＣＲ５１の拡大量に応じた中央定位成分のゲインの増加量を決定する。制御信号生成部３４は、決定した増加量だけ音響信号の中央定位成分のゲインを増加させる制御信号を生成し、音響効果調整部２５のゲイン調整部２９１に供給する。

ステップＳ１３９において、音響効果調整部２５は、制御信号生成部３４からの制御信号に基づいて、取得部２４から供給された音響信号に対する中央定位成分のゲイン調整を行い、その結果得られた音響信号を再生部２６に供給する。

具体的には、ゲイン調整部２９１は、制御信号生成部３４から供給された制御信号に基づいて、供給された音響信号ＳＣのゲインを調整し、加算部２９２および加算部２９３に供給する。そして、加算部２９２は、供給された音響信号ＳＬに、ゲイン調整部２９１から供給された音響信号ＳＣを加算して音響信号ＳＬ’とし、再生部２６に供給する。また、加算部２９３は、供給された音響信号ＳＲに、ゲイン調整部２９１から供給された音響信号ＳＣを加算して音響信号ＳＲ’とし、再生部２６に供給する。

再生部２６は、加算部２９２および加算部２９３から供給された音響信号に基づいて音声を再生する。

このようにして音響信号の中央定位成分のゲイン調整が行なわれると、音響効果調整処理は終了する。

また、ステップＳ１３５においてタッチ位置が制御用図形ＣＲ５１外部の領域でない、つまり制御用図形ＣＲ５１内部の領域であると判定された場合、処理はステップＳ１４０に進む。

ステップＳ１４０において、設定部３２は、検出部３１により検出されたスライド量に応じて、制御用図形ＣＲ２１内部に表示された制御用図形ＣＲ５１の縮小量を設定する。

ステップＳ１４１において、表示制御部３３は、ステップＳ１４０で定められた縮小量に基づいて表示部２２を制御し、制御用図形ＣＲ５１を縮小させる。

ステップＳ１４２において、制御信号生成部３４は、制御用図形ＣＲ５１の縮小量に応じた中央定位成分のゲインの減少量を決定する。制御信号生成部３４は、決定した減少量だけ音響信号の中央定位成分のゲインを減少させる制御信号を生成し、音響効果調整部２５のゲイン調整部２９１に供給する。

ステップＳ１４３において、音響効果調整部２５は、制御信号生成部３４からの制御信号に基づいて、取得部２４から供給された音響信号に対する中央定位成分のゲイン調整を行い、その結果得られた音響信号を再生部２６に供給する。すなわち、ステップＳ１４３では、ステップＳ１３９と同様の処理が行なわれる。

音響信号の中央定位成分のゲイン調整が行なわれて、音響効果調整部２５から再生部２６に音響信号が供給されると、再生部２６は、音響効果調整部２５から供給された音響信号に基づいて音声を再生し、音響効果調整処理は終了する。

以上のようにして、音響効果調整装置１１は、ユーザの制御用図形ＣＲ５１に対する操作に応じて、制御用図形ＣＲ５１を変形させるとともに、その変形に応じて音響信号の中央定位成分のゲイン調整を行なう。

音響効果調整装置１１によれば、ユーザ操作に応じてゲイン調整のための音響パラメータが対応付けられた制御用図形ＣＲ５１を変形させると同時に、その変形に応じて音響効果を調整することで、ユーザの直感的な操作を実現できるようになる。すなわち、ユーザに対して、より分かり易く使い易いユーザインターフェースを提供することができる。

なお、本明細書では、制御用図形ＣＲ５１に対する操作として代表的なものについてのみ記載しているが、制御用図形ＣＲ５１に対する操作のバリエーションとして他に多くのものが考えられ、それらの操作のバリエーションに対応する音響効果の調整に対しても、本技術は適用可能である。

〈第６の実施の形態〉
［イコライザ調整とサラウンド調整について］
また、制御用図形の各頂点に対して、イコライザ調整の音響パラメータと、サラウンド調整の音響パラメータなど、異なるカテゴリ（種別）の音響パラメータが対応付けられるようにしてもよい。

例えば、制御用図形にイコライザ調整の音響パラメータと、サラウンド調整の音響パラメータとが対応付けられる場合、図２６に示すように制御用図形に対する操作が行なわれる。なお、図２６において、図４または図１９における場合と対応する部分には同一の符号を付してあり、その説明は省略する。

例えば図２６中、上側に示すように表示部２２に、点Ａ、点Ｂ、点Ｃ、および点Ｄを頂点とする制御用図形ＣＲ１１が表示されているとする。

この制御用図形ＣＲ１１では、点Ａおよび点Ｂには、音響信号の100Hzのゲインおよび10kHzのゲインが対応付けられている。また、点Ｃおよび点Ｄには、仮想受聴空間の左方向および右方向の広がり感が対応付けられている。

したがって、例えば図中、上側に示すように、ユーザが右手ＨＤ１１で縦方向にピンチアウト操作をすると、その操作にしたがって制御用図形ＣＲ１１が縦方向に拡大され、制御用図形ＣＲ１１’へと変形される。そして、制御用図形ＣＲ１１の変形に応じて図中、右側の曲線Ｃ１１および曲線Ｃ１２に示すように、音響信号の100Hzの特性と10kHzの特性とが変化するように音響信号のゲイン調整（イコライザ調整）が音響効果調整部２５により行なわれる。

さらに、図中、下側に示すように、ユーザが右手ＨＤ１１で制御用図形ＣＲ１１’に対して、横方向にピンチアウト操作をすると、その操作にしたがって制御用図形ＣＲ１１’が横方向に拡大され、制御用図形ＣＲ６１へと変形される。制御用図形ＣＲ６１は、点Ａ’、点Ｂ’、点Ｃ’’、および点Ｄ’’を頂点とする四角形である。

制御用図形ＣＲ１１’が制御用図形ＣＲ６１へと変形されると、その変形に応じて図中、右側に示すように、音響信号の仮想受聴空間の左右方向の広がり感が拡大される。この例では、制御用図形ＣＲ１１’が表示されている状態における仮想受聴空間ＶＳ７１が、制御用図形ＣＲ６１への変形に伴って仮想受聴空間ＶＳ７２へと変化している。つまり、仮想受聴空間が左右方向に拡大されるとともに、その拡大に応じて音源ＳＯ１１−２と音源ＳＯ１１−３の位置が音源ＳＯ１１−１から遠ざかるように外側に移動している。

制御用図形ＣＲ１１’が横方向に拡大されると、音響効果調整部２５は仮想受聴空間の広がり感が拡大されるように、音響信号に対する広がり感の調整、つまりサラウンド効果の調整を行なう。

このように、１つの制御用図形ＣＲ１１の縦方向の操作に対してはイコライザ調整を対応付け、横方向の操作に対してはサラウンド調整を対応付けることができる。したがって、従来は機能を別々のメニューから呼び出して個別に調整していたのに比べると、本技術では１つの画面上で複数の音響パラメータを連続的に調整することができるので、より高い利便性をユーザに提供することができる。

なお、制御用図形の各部分（頂点）に、どのような音響パラメータが対応付けられるかをユーザが設定できるようにしてもよい。

〈第７の実施の形態〉
［イコライザ調整とサラウンド調整について］
また、以上においては、１つの図形の頂点に音響パラメータを対応付ける例について説明したが、立体図形の各面に制御用図形を表示させるようにしてもよい。

そのような場合、例えば図２７に示すように、表示制御部３３は表示部２２に立体制御用図形ＤＣＲ１１を表示させる。この例では、立体制御用図形ＤＣＲ１１は立方体とされ、その立方体の面には、制御用図形が表示されている。具体的には、図中、上側に示すように、立体制御用図形ＤＣＲ１１の正面、上面、および右側面には、それぞれ制御用図形ＣＲ７１、制御用図形ＣＲ７２、および制御用図形ＣＲ７３が表示されている。

例えば、制御用図形ＣＲ７１は、イコライザ調整のための制御用図形であり、制御用図形ＣＲ７１の縦方向上側および下側の点には、それぞれ10kHzおよび100Hzのゲイン特性が対応付けられている。

また、制御用図形ＣＲ７２は、サラウンド調整のための制御用図形とされており、制御用図形ＣＲ７３は、イコライザ調整のための制御用図形とされている。特に、制御用図形ＣＲ７３の縦方向上側および下側の点には、それぞれ5kHzおよび500Hzのゲイン特性が対応付けられている。

このような立体制御用図形ＤＣＲ１１では、例えばユーザから見て正面側に位置する面に表示されている制御用図形に対してのみ操作が可能となっている。したがって図中、上側の状態では、正面に表示されている制御用図形ＣＲ７１に対する操作が可能となっている。

また、この状態から、ユーザが矢印Ｑ３１に示す方向、つまり図中、左方向への指のスライド操作を行なうと、立体制御用図形ＤＣＲ１１が左方向に回転し、図中、右下に示すように制御用図形ＣＲ７３が正面に位置するようになる。この状態では、ユーザは制御用図形ＣＲ７３に対する操作を行なって、音響信号のイコライザを調整することができる。

さらに、図中、上側に示す状態から、ユーザが矢印Ｑ３２に示す方向、つまり図中、下方向への指のスライド操作を行なうと、立体制御用図形ＤＣＲ１１が下方向に回転し、図中、左下に示すように制御用図形ＣＲ７２が正面に位置するようになる。この状態では、ユーザは制御用図形ＣＲ７２に対する操作を行なって、音響信号のサラウンドを調整することができる。

なお、ここでは、立体制御用図形ＤＣＲ１１の３つの面に制御用図形が表示される例について説明したが、全ての面に制御用図形が表示されるようにしてもよい。この場合、ユーザは、立体制御用図形ＤＣＲ１１を任意の方向に回転させて、所望の面を正面に表示させ、その面に表示された制御用図形に対する操作を行なうことで、音響効果を調整することができる。もちろん、ユーザは立体制御用図形ＤＣＲ１１を同じ方向に一周以上回転させることも可能であるし、逆方向に回転させることも可能である。

また、立体制御用図形は立方体に限らず、直方体や四面体、八面体など、複数の面を有する立体図形であればよい。さらに、立体制御用図形ＤＣＲ１１の各面に対応付けられた音響パラメータの調整量に応じて、その面の明るさや色合いを変えたりすることで、各面でどのような調整が行われているかを、より簡単に把握させることができる。

このように、１つの立体制御用図形ＤＣＲ１１上の各平面に、それぞれ音響パラメータを割り当てることで、従来のように画面上にテキストなどで縦方向または横方向に一列に音響パラメータの項目が表示されている場合と比べて、より分かり易く音響パラメータを選択することができる。

〈第８の実施の形態〉
［使用環境について］
また、以上においては、音響効果調整装置１１が表示デバイスでもあり、その表示デバイス自体で音響効果を感じることができると説明してきた。

すなわち、図２８に示すように、例えば音響効果調整装置１１には再生部２６としてのスピーカ３２１−１とスピーカ３２１−２が設けられており、これらのスピーカ３２１−１とスピーカ３２１−２から音響信号に基づく音声が出力される。なお、以下、スピーカ３２１−１およびスピーカ３２１−２を特に区別する必要のない場合、単にスピーカ３２１とも称する。

また、音響効果調整装置１１の表示部２２には、音響パラメータが対応付けられた制御用図形ＣＲ８１が表示され、スピーカ３２１からは制御用図形ＣＲ８１に対応した音響効果が施された音声が再生される。

さらに、この制御用図形ＣＲ８１に対する操作が行なわれると、図中、下側に示すように制御用図形ＣＲ８１が変形されて制御用図形ＣＲ８１’となる。

そして、制御用図形ＣＲ８１の変形に伴って音響効果が調整される。ここで、例えば制御用図形ＣＲ８１に、サラウンド効果としての左右の広がり感が対応付けられているとする。そのような場合には、制御用図形ＣＲ８１の変形に伴って横方向の広がり感が増加され、矢印Ｑ４１および矢印Ｑ４２に示すように、あたかもスピーカ３２１が音響効果調整装置１１に対して外側に移動したかのような音響効果を得ることができる。つまり、ユーザは制御用図形ＣＲ８１に対する操作に応じた音響効果を、音響効果調整装置１１で感じることができる。

本技術は、このように表示デバイス自体で音響効果を感じることができる使用環境の他に、表示デバイス自体にはスピーカが設けられておらず、表示デバイスをリモートコマンダとする使用環境にも適用可能である。

そのような場合、例えば図２９に示すように、表示デバイスである音響効果調整装置３５１にはスピーカが設けられておらず、音響効果調整装置３５１は、リモートコマンダとして機能し、外部機器３５２に対して音響信号の再生や音響効果の調整を指示する。

この例では、外部機器３５２には、２つのスピーカ３５３−１およびスピーカ３５３−２が設けられている。外部機器３５２は、音響効果調整装置３５１の制御にしたがって音響信号の音響効果を調整したり、音響信号に基づく音声をスピーカ３５３−１およびスピーカ３５３−２から出力したりする。なお、以下、スピーカ３５３−１およびスピーカ３５３−２を特に区別する必要のない場合、単にスピーカ３５３とも称する。

例えば、音響効果調整装置３５１の表示画面には、音響パラメータが対応付けられた制御用図形ＣＲ９１が表示され、外部機器３５２からは図中、左上に示すように制御用図形ＣＲ９１に対応した音響効果が施された音声が再生される。

さらに、この制御用図形ＣＲ９１に対する操作が行なわれると、図中、下側に示すように制御用図形ＣＲ９１が変形されて制御用図形ＣＲ９１’となる。

そして、音響効果調整装置３５１は、制御用図形ＣＲ９１の変形に応じた音響効果を施す旨の制御信号を外部機器３５２に送信し、外部機器３５２に制御信号に応じた音響効果の調整を実行させる。

ここで、例えば制御用図形ＣＲ９１に、サラウンド効果としての左右の広がり感が対応付けられているとする。そのような場合には、制御用図形ＣＲ９１の変形に伴って横方向の広がり感が増加されるように、音響効果調整装置３５１は制御信号を外部機器３５２に送信し、広がり感の調整を指示する。すると、外部機器３５２は、音響効果調整装置３５１からの制御信号を受信する。さらに、外部機器３５２は、受信した制御信号に基づいて、例えば矢印Ｑ５１および矢印Ｑ５２に示すように、あたかもスピーカ３５３が外部機器３５２に対して外側に移動したかのような音響効果が得られるように音響信号のサラウンドを調整する。これにより、ユーザは制御用図形ＣＲ９１に対する操作に応じた音響効果を感じることができる。

［音響効果調整装置の構成例］
このように、音響効果調整装置３５１がリモートコマンダとして機能し、外部機器３５２に対して音響効果の調整を指示する場合、音響効果調整装置３５１は、例えば図３０に示すように構成される。なお、図３０において、図２における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図３０に示す音響効果調整装置３５１は、入力部２１、表示部２２、制御部２３、および通信部３７１から構成される。

制御部２３は、タッチパネルなどからなる入力部２１から供給される信号に基づいて、表示部２２に制御用図形を表示させたり、通信部３７１に外部機器３５２への制御信号の送信を指示したりする。

また、制御部２３は、検出部３１、設定部３２、表示制御部３３、および制御信号生成部３４を備えている。例えば、制御信号生成部３４は、ユーザの制御用図形への操作に応じて、音響効果の調整を指示する制御信号を生成し、通信部３７１に供給する。

通信部３７１は、制御信号生成部３４から供給された、音響効果の調整を指示する制御信号を、例えば無線通信により外部機器３５２に送信する。その他、通信部３７１は、制御部２３の制御にしたがって、音響信号の再生や再生停止などを指示する制御信号も外部機器３５２に送信する。

音響効果調整装置３５１も、上述した音響効果調整装置１１と同様の処理を行なって、音響信号の音響効果の調整を制御する。

〈第９の実施の形態〉
［タッチ位置ごとの音響効果について］
さて、以上においては、表示部の画面上の制御用図形を変形させることで音響効果を調整してきたが、画面をタッチする位置自体に応じて音響効果を変えることで、新しいユーザインターフェースを構築することも可能である。

例えば、図３１に示すように、音響効果調整装置３８１の表示画面を２０分割して、分割された各領域のうちの何れかにユーザがタッチ（接触）すると、ユーザによりタッチされた領域から音声が聞こえてくるような音響効果が実現される。

この例では、音響効果調整装置３８１には、２つのスピーカ３８２−１およびスピーカ３８２−２が設けられており、音響効果調整装置３８１は音響効果を施した音響信号に基づいて、これらのスピーカ３８２−１およびスピーカ３８２−２から音声を出力させる。なお、以下、スピーカ３８２−１およびスピーカ３８２−２を特に区別する必要のない場合、単にスピーカ３８２とも称する。

また、音響効果調整装置３８１の表示画面では、２０分割された各領域に文字「Ａ」乃至「Ｔ」の何れかが表示されており、各領域は正方形の領域となっている。以下では、分割された各領域を、その領域に表示された文字の領域と称することとする。すなわち、例えば文字「Ａ」が表示された領域は、Ａの領域とも称することとする。

このような音響効果調整装置３８１では、Ａ乃至Ｔの各領域について、スピーカ３８２で再生されたときに、その領域から音声が出力されているような音響効果が施された音響信号のファイルが予め用意されて保持されている。そして、ユーザにより音響効果調整装置３８１の表示画面へのタッチ操作が行なわれると、タッチされた領域に対応付けられているファイル（音響信号）が再生されるようになされている。

例えば、ユーザが音響効果調整装置３８１の表示画面におけるＰの領域をタッチすると、図中、左側に示すように、あたかも音響効果調整装置３８１の左下側の位置から音声が出力されているかのような音響効果の音響信号がスピーカ３８２で再生される。

また、例えば、ユーザが音響効果調整装置３８１の表示画面におけるＥの領域をタッチすると、図中、右側に示すように、あたかも音響効果調整装置３８１の右上側の位置から音声が出力されているかのような音響効果の音響信号がスピーカ３８２で再生される。

なお、音による画面の左右位置の表現、つまり仮想的な音源の左右方向の位置の制御は、例えばスピーカ３８２−１とスピーカ３８２−２から出力される音声の音量バランスを変えることで実現することができる。また、音による画面の上下位置の表現は、スピーカ３８２−１とスピーカ３８２−２で再生される音声に特殊なノッチ特性を与えることで再現できることが知られている。

さらに、最も効果的には、スピーカ３８２−１とスピーカ３８２−２以外にも、音響効果調整装置３８１の上下方向にスピーカ３８２−３とスピーカ３８２−４を設ければ、より確かに音の上下位置の表現が可能となる。

例えばタブレットでは、電子書籍の配信や購読が一般化しつつある。このような電子書籍を表示させるアプリケーションプログラムとして、ページをめくった際に音を出力させるものもある。しかし、そのようなアプリケーションプログラムでは、ユーザが画面のどこを触っても同じ音が出力されるだけである。

これに対して、音響効果調整装置３８１によれば、電子書籍のページをめくるときに、ユーザが画面の左側を触れば左側から、画面の上側を触れば上側から音が聞こえるようにユーザに感じさせることができ、よりリアリティを向上させることができる。

したがって、多くのユーザがこれまで慣れ親しんできた物理的な本の操作感と、タブレットが再生する操作音との一致度を高くすることができるようになる。これにより、操作の違和感を減少させた、ユーザ満足度の高いユーザインターフェースを構成することが可能となる。

なお、音響効果調整装置３８１の構成も図２に示した音響効果調整装置１１と同様の構成とされる。例えば、表示制御部３３は、表示部２２にＡ乃至Ｔの領域を表示させ、ユーザによりそれらの領域に対する操作が行なわれると、入力部２１から制御部２３へと、ユーザの操作に応じた信号が供給される。

すると、検出部３１は、入力部２１からの信号に基づいて、ユーザによりタッチされた領域を特定し、制御信号生成部３４は、その特定結果に応じた制御信号を音響効果調整部２５に供給する。そして、音響効果調整部２５は、制御信号生成部３４からの制御信号により特定される音響信号のファイルを取得部２４から取得して再生部２６に供給し、再生部２６は供給された音響信号に基づいて音声を出力する。

〈第１０の実施の形態〉
［スライド方向に応じた音響効果について］
さらに、本技術によれば、電子書籍などを再生する場合に、例えば画面上に重ねて表示されている紙を、ページをめくるように所定方向にスライドさせたときに、そのスライド方向に応じた音響効果を実現することも可能である。

そのような場合、例えば図３２に示すように本技術を適用した音響効果調整装置４１１の表示部４２１には、電子書籍としての紙の画像が表示される。表示部４２１に表示されている紙は重ねられて、各紙が１つのページとなっている。また、表示部４２１には、図２の入力部２１に対応するタッチパネルが重畳して設けられており、このタッチパネルによって、ユーザの表示部４２１への操作が受け付けられる。

さらに、音響効果調整装置４１１の図中、左右の端には、２つのスピーカ４２２−１およびスピーカ４２２−２が設けられており、音響効果調整装置４１１はユーザによるページ送り操作に応じた音響信号に基づいて、スピーカ４２２−１およびスピーカ４２２−２から音声を出力させる。なお、以下、スピーカ４２２−１およびスピーカ４２２−２を特に区別する必要のない場合、単にスピーカ４２２とも称する。

例えば、図３２に示すように一番手前側に表示されている紙を図中、右側にめくるように、表示部４２１表面においてユーザが指でスライド操作を行なうと、そのスライド操作に応じて表示部４２１は、一番手前側の紙を左から右方向にスライドさせる。

同時に、音響効果調整装置４１１は、このようなスイライド操作を音声で表現するために、矢印Ｑ６１に示すように時刻Ｔ１においてスピーカ４２２−１から音響信号に基づく音声を出力させる。さらに、音響効果調整装置４１１は、その後、時刻Ｔ２においてスピーカ４２２−２から音響信号に基づく音声を出力させる。これにより、ページ（紙）の左側から右側への移動感が表現された音響効果が得られるので、表示部４２１の画面上の紙の動きと音声の一致度をより高めることができるようになる。

さらに、ユーザによる右方向へのスライド操作に応じて、音響効果調整装置４１１が矢印Ｑ６２に示すようにスピーカ４２２から音響信号に基づく音声を出力させるようにしてもよい。

すなわち、音響効果調整装置４１１は、時刻Ｔ１においてスピーカ４２２−１から音響信号に基づく音声を出力させ、この音声の音量が時間とともに小さくなり、時刻Ｔ_ｍｉｄにおいてスピーカ４２２−１からの音声の出力が停止されるように音声の音量を制御する。図３２では、直線Ｃ７１は、スピーカ４２２−１から出力される音声の音量を示しており、この音声の音量は、時刻Ｔ１から時刻Ｔ_ｍｉｄに近付くにつれて小さくなっている。

さらに、音響効果調整装置４１１は、時刻Ｔ_ｍｉｄにおいてスピーカ４２２−２から音響信号に基づく音声を出力させ、この音声の音量が時刻Ｔ２まで時間とともに大きくなり、その後、時刻Ｔ_ｅｎｄまでは音声の音量が時間とともに小さくなるように、音声の音量を制御する。

図３２では、直線Ｃ７２は、スピーカ４２２−２から出力される音声の音量を示しており、この音声の音量は、時刻Ｔ_ｍｉｄから時刻Ｔ２に近付くにつれて大きくなり、時刻Ｔ２から時刻Ｔ_ｅｎｄまでは音声の音量がしだいに小さくなっている。また、時刻Ｔ_ｅｎｄで音声の再生が停止される。

このような音声の再生を行なうと、特に紙の動きがゆっくりとしている場合に、再生される音声と、現実のページめくりで生じる音の変化との一致度が高くなる。

このように、画面上で動きのあるオブジェクト（画像）の移動に対して、その移動に対応するような音の変化を与えることで、よりリアリティを向上させることが可能となる。その結果、操作の違和感を減少させた、ユーザ満足度の高いユーザインターフェースを構成することが可能となる。

なお、図３２を参照して説明した音響効果調整装置４１１の構成も、図２の音響効果調整装置１１の構成と同様の構成とされる。すなわち、検出部３１によりユーザのスライド操作が検出され、検出された操作に応じて音量を制御する制御信号が制御信号生成部３４により生成される。そして、音響効果調整部２５は、制御信号生成部３４で生成された制御信号に基づいて、音響信号の音量を制御することで、ページめくり等のオブジェクトの移動に対応する音響効果を実現する。

以上のように本技術によれば、画面上の図形や画像の変化，位置に合わせて音響効果を変えるようにすることで、従来の羅列的でイメージの伴わない音響調整方法と比べて、より分かり易く、使い易いユーザインターフェースを提供することが可能となる。

ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図３３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）７０１，ROM（Read Only Memory）７０２，RAM（Random Access Memory）７０３は、バス７０４により相互に接続されている。

バス７０４には、さらに、入出力インターフェース７０５が接続されている。入出力インターフェース７０５には、入力部７０６、出力部７０７、記録部７０８、通信部７０９、及びドライブ７１０が接続されている。

入力部７０６は、キーボード、マウス、マイクロホン、タッチパネルなどよりなる。出力部７０７は、ディスプレイ、スピーカなどよりなる。記録部７０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部７０９は、ネットワークインターフェースなどよりなる。ドライブ７１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア７１１を駆動する。

以上のように構成されるコンピュータでは、CPU７０１が、例えば、記録部７０８に記録されているプログラムを、入出力インターフェース７０５及びバス７０４を介して、RAM７０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU７０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア７１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア７１１をドライブ７１０に装着することにより、入出力インターフェース７０５を介して、記録部７０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部７０９で受信し、記録部７０８にインストールすることができる。その他、プログラムは、ROM７０２や記録部７０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、本技術は、以下の構成とすることも可能である。

［１］
音響信号の音響効果を調整するための制御用図形を表示させるとともに、前記制御用図形に対するユーザの操作に応じて前記制御用図形を連続的に変化させる表示制御部と、
前記制御用図形の互いに異なる部分に対応付けられた、前記音響信号に前記音響効果を施すための複数の音響パラメータについて、前記制御用図形の変化と連動させて前記音響パラメータを連続的に変化させる制御部と
を備える音響効果調整装置。
［２］
前記制御用図形を表示する表示部に重畳して設けられたタッチパネルに対する前記ユーザの操作を検出することで、前記制御用図形に対する前記ユーザの操作を検出する検出部をさらに備え、
前記表示制御部は前記検出部による検出結果に応じて前記制御用図形を変化させ、
前記制御部は前記検出部による前記検出結果に応じて前記音響パラメータを変化させる
［１］に記載の音響効果調整装置。
［３］
前記制御用図形とともに表示されたポインタによる前記制御用図形への操作を検出することで、前記制御用図形に対する前記ユーザの操作を検出する検出部をさらに備え、
前記表示制御部は前記検出部による検出結果に応じて前記制御用図形を変化させ、
前記制御部は前記検出部による前記検出結果に応じて前記音響パラメータを変化させる
［１］に記載の音響効果調整装置。
［４］
前記制御用図形の変化に応じて変化した前記音響パラメータに基づいて、前記音響信号に対して前記音響効果を施す音響効果調整部と、
前記音響効果調整部により前記音響効果が施された前記音響信号に基づいて音声を再生する再生部と
をさらに備える［１］乃至［３］の何れかに記載の音響効果調整装置。
［５］
前記音響パラメータをパラメトリック化することで前記音響効果を連続的に変化させる
［４］に記載の音響効果調整装置。
［６］
前記音響効果調整部は、予め定められた第１の音響効果が施された前記音響信号と、予め定められた、前記第１の音響効果とは異なる第２の音響効果が施された前記音響信号とを、前記音響パラメータの変化に応じてクロスフェードすることで前記音響効果を連続的に変化させる
［４］に記載の音響効果調整装置。
［７］
前記音響パラメータの変化に応じた制御信号を、前記音響信号に対して前記音響効果を施す外部機器に送信する通信部をさらに備える
［１］乃至［３］の何れかに記載の音響効果調整装置。
［８］
前記表示制御部は、前記制御用図形とともに、前記制御用図形とは異なる他の制御用図形をさらに表示させる
［１］乃至［７］の何れかに記載の音響効果調整装置。
［９］
前記表示制御部は、前記制御用図形とともに前記音響パラメータを想起させる画像をさらに表示させ、前記制御用図形に対する前記ユーザの操作に応じて前記制御用図形および前記画像を変化させる
［１］乃至［７］の何れかに記載の音響効果調整装置。
［１０］
前記表示制御部は、前記制御用図形に対する前記ユーザの操作に応じて前記制御用図形を変形させる
［１］乃至［９］の何れかに記載の音響効果調整装置。
［１１］
前記制御用図形の第１の頂点と第２の頂点には、互いに異なる種別の前記音響パラメータが対応付けられている
［１０］に記載の音響効果調整装置。
［１２］
前記表示制御部は、前記制御用図形に対する前記ユーザの操作に応じて前記制御用図形の色、解像度、または透過度を変化させる
［１］乃至［９］の何れかに記載の音響効果調整装置。
［１３］
前記制御部は、前記音響パラメータを変化させることで、前記音響信号により再現される仮想受聴空間の受聴者を中心として、前記仮想受聴空間の音響特性を変化させる
［１］乃至［１２］の何れかに記載の音響効果調整装置。
［１４］
前記制御部は、前記音響パラメータを変化させることで、前記音響信号により再現される仮想受聴空間の受聴者の位置を変化させる
［１］乃至［１２］の何れかに記載の音響効果調整装置。
［１５］
音響信号の音響効果を調整するための制御用図形を表示させるとともに、前記制御用図形に対するユーザの操作に応じて前記制御用図形を連続的に変化させ、
前記制御用図形の互いに異なる部分に対応付けられた、前記音響信号に前記音響効果を施すための複数の音響パラメータについて、前記制御用図形の変化と連動させて前記音響パラメータを連続的に変化させる
ステップを含む音響効果調整方法。
［１６］
音響信号の音響効果を調整するための制御用図形を表示させるとともに、前記制御用図形に対するユーザの操作に応じて前記制御用図形を連続的に変化させ、
前記制御用図形の互いに異なる部分に対応付けられた、前記音響信号に前記音響効果を施すための複数の音響パラメータについて、前記制御用図形の変化と連動させて前記音響パラメータを連続的に変化させる
ステップを含む処理をコンピュータに実行させるプログラム。
［１７］
表示部に所定の画像を表示させるとともに、ユーザの前記画像に対する操作に応じて前記画像を変化させる表示制御部と、
前記画像の変化と連動させて、音響信号の音響効果を連続的に変化させる制御部と
を備える音響効果調整装置。
［１８］
表示部に所定の画像を表示させるとともに、ユーザの前記画像に対する操作に応じて前記画像を変化させ、
前記画像の変化と連動させて、音響信号の音響効果を連続的に変化させる
ステップを含む音響効果調整方法。

１１ 音響効果調整装置， ２１ 入力部， ２２ 表示部， ２３ 制御部， ２５ 音響効果調整部， ２６ 再生部， ３１ 検出部， ３２ 設定部， ３３ 表示制御部， ３４ 制御信号生成部

Claims (12)

1. 音響信号の音響効果を調整するための制御用図形を表示させるとともに、前記制御用図形に対するユーザの操作に応じて前記制御用図形を変化させる表示制御部と、
   前記制御用図形の互いに異なる部分に対応付けられた、前記音響信号に前記音響効果を施すための複数の音響パラメータについて、前記制御用図形の変化と連動させて前記音響パラメータを変化させる制御部と
   を備え、
   前記制御用図形の第１の頂点と第２の頂点には、互いに異なる種別の前記音響パラメータが対応付けられている
   音響効果調整装置。
2. 前記制御用図形を表示する表示部に重畳して設けられたタッチパネルに対する前記ユーザの操作を検出することで、前記制御用図形に対する前記ユーザの操作を検出する検出部をさらに備え、
   前記表示制御部は前記検出部による検出結果に応じて前記制御用図形を変化させ、
   前記制御部は前記検出部による前記検出結果に応じて前記音響パラメータを変化させる
   請求項１に記載の音響効果調整装置。
3. 前記制御用図形とともに表示されたポインタによる前記制御用図形への操作を検出することで、前記制御用図形に対する前記ユーザの操作を検出する検出部をさらに備え、
   前記表示制御部は前記検出部による検出結果に応じて前記制御用図形を変化させ、
   前記制御部は前記検出部による前記検出結果に応じて前記音響パラメータを変化させる
   請求項１に記載の音響効果調整装置。
4. 前記制御用図形の変化に応じて変化した前記音響パラメータに基づいて、前記音響信号に対して前記音響効果を施す音響効果調整部と、
   前記音響効果調整部により前記音響効果が施された前記音響信号に基づいて音声を再生する再生部と
   をさらに備える請求項１乃至請求項３の何れか一項に記載の音響効果調整装置。
5. 前記表示制御部は、前記ユーザの操作に応じて前記制御用図形を連続的に変化させ、
   前記制御部は、前記制御用図形の変化と連動させて前記音響パラメータを連続的に変化させ、
   前記音響パラメータをパラメトリック化することで前記音響効果を連続的に変化させる
   請求項４に記載の音響効果調整装置。
6. 前記表示制御部は、前記ユーザの操作に応じて前記制御用図形を連続的に変化させ、
   前記制御部は、前記制御用図形の変化と連動させて前記音響パラメータを連続的に変化させ、
   前記音響効果調整部は、予め定められた第１の音響効果が施された前記音響信号と、予め定められた、前記第１の音響効果とは異なる第２の音響効果が施された前記音響信号とを、前記音響パラメータの変化に応じてクロスフェードすることで前記音響効果を連続的に変化させる
   請求項４に記載の音響効果調整装置。
7. 前記音響パラメータの変化に応じた制御信号を、前記音響信号に対して前記音響効果を施す外部機器に送信する通信部をさらに備える
   請求項１乃至請求項３の何れか一項に記載の音響効果調整装置。
8. 前記表示制御部は、前記制御用図形とともに、前記制御用図形とは異なる他の制御用図形をさらに表示させる
   請求項１乃至請求項７の何れか一項に記載の音響効果調整装置。
9. 前記表示制御部は、前記制御用図形とともに前記音響パラメータを想起させる画像をさらに表示させ、前記制御用図形に対する前記ユーザの操作に応じて前記制御用図形および前記画像を変化させる
   請求項１乃至請求項７の何れか一項に記載の音響効果調整装置。
10. 前記表示制御部は、前記制御用図形に対する前記ユーザの操作に応じて前記制御用図形を変形させる
    請求項１乃至請求項９の何れか一項に記載の音響効果調整装置。
11. 音響信号の音響効果を調整するための制御用図形を表示させるとともに、前記制御用図形に対するユーザの操作に応じて前記制御用図形を変化させ、
    前記制御用図形の互いに異なる部分に対応付けられた、前記音響信号に前記音響効果を施すための複数の音響パラメータについて、前記制御用図形の変化と連動させて前記音響パラメータを変化させる
    ステップを含み、
    前記制御用図形の第１の頂点と第２の頂点には、互いに異なる種別の前記音響パラメータが対応付けられている
    音響効果調整方法。
12. 音響信号の音響効果を調整するための制御用図形を表示させるとともに、前記制御用図形に対するユーザの操作に応じて前記制御用図形を変化させ、
    前記制御用図形の互いに異なる部分に対応付けられた、前記音響信号に前記音響効果を施すための複数の音響パラメータについて、前記制御用図形の変化と連動させて前記音響パラメータを変化させる
    ステップを含む処理をコンピュータに実行させ、
    前記制御用図形の第１の頂点と第２の頂点には、互いに異なる種別の前記音響パラメータが対応付けられている
    プログラム。

Images