JP6330325B2 - ユーザインタフェース装置及び音響制御装置 - Google Patents

ユーザインタフェース装置及び音響制御装置 Download PDF

Info

Publication number
JP6330325B2
JP6330325B2 JP2013271313A JP2013271313A JP6330325B2 JP 6330325 B2 JP6330325 B2 JP 6330325B2 JP 2013271313 A JP2013271313 A JP 2013271313A JP 2013271313 A JP2013271313 A JP 2013271313A JP 6330325 B2 JP6330325 B2 JP 6330325B2
Authority
JP
Japan
Prior art keywords
coordinate
sound
sound field
parameter
user interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013271313A
Other languages
English (en)
Other versions
JP2015080188A (ja
Inventor
雄太 湯山
雄太 湯山
篤志 臼井
篤志 臼井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2013271313A priority Critical patent/JP6330325B2/ja
Priority to EP14843566.2A priority patent/EP3046340B1/en
Priority to PCT/JP2014/071398 priority patent/WO2015037388A1/ja
Priority to US14/917,428 priority patent/US9674634B2/en
Publication of JP2015080188A publication Critical patent/JP2015080188A/ja
Application granted granted Critical
Publication of JP6330325B2 publication Critical patent/JP6330325B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/40Visual indication of stereophonic sound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/162Interface to dedicated audio devices, e.g. audio drivers, interface to CODECs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/305Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15Aspects of sound capture and related signal processing for recording or reproduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Description

本発明は、ユーザが所望する音場を実現するための技術に関する。
音場を実現するためのパラメータとして、例えばイニシャルディレイとかルームサイズあるいはライブネスと呼ばれるものなどがある。これら複数種類のパラメータのうち、どのパラメータをどのような値に設定するかということに関しては専門的な知識を要する。従って、このような知識に乏しいユーザにとっては、パラメータと音場との関係を感覚的に認識することができず、パラメータの設定が難しい作業になる。
このようなパラメータの設定を支援するための仕組みとして、例えば特許文献1には、パラメータ値を選択すると、設定画面には、変更するパラメータの種類に対応するイメージの大きさや色などがそのパラメータ値に従って変更されて表示されることが記載されている。また、特許文献2には、ユーザが好みのDSPモードを選択すると、選択したDSPモードに対応するパラメータのスライドバーのみが表示されることが記載されている。また、特許文献3には、ユーザの周囲の空間における音像の移動軌跡を予め指定しておき、その軌跡を辿るように音像を移動させることで、例えばリスナの回りをオートバイが楕円や円を描いて走行しているようなイメージや、列車が斜め後ろから斜め前に通り過ぎていくイ
メージなどを実現することが記載されている。
特開2000−356990号公報 特開2000−356994号公報 特開平10−145900号公報
特許文献1,2に記載の仕組みにおいては、パラメータと音場との関係性をユーザに理解させることはできるが、結局、ユーザ自身がパラメータ値を逐一指定しなければならない。特許文献3に記載の仕組みでは、音像の位置を変更することだけを目的としており、音場の広さや音場の強さといった音場の属性を変化させることはできない。
そこで、本発明は、各パラメータの値を逐一指定しなくても、ユーザが所望する属性の音場を実現できるようにすることを目的とする。
上述した課題を解決するため、本発明は、音場の複数の属性にそれぞれ対応する複数の座標軸に対して、当該音場の属性に関係するパラメータが割り当てられ、且つ、そのうち少なくとも1つの前記座標軸に対しては複数種類の前記パラメータが割り当てられたユーザインタフェース装置であって、前記複数の座標軸によって座標空間が構成された、球の一部を立体的に表現した球状画像を表示する表示手段と、記座標空間においてユーザが指定した位置の座標値を特定する座標値特定手段と、各々の前記座標軸に割り当てられたパラメータの種類と、前記座標値特定手段によって特定された座標値とに基づいて、当該座標値に対応する複数種類のパラメータ値を特定するパラメータ値特定手段とを備え、前記表示手段は、前記球状画像において、音場において発生した直接音と、特定された前記パラメータ値に応じた音場にて前記直接音が反射したときの擬似反射音とを示す画像を表示するユーザインタフェース装置を提供する。
前記球状画像の径方向の大きさの指標となる座標値が、音場の高さ方向及び水平方向の広がりを併せた属性を表しており、前記表示手段は、ユーザの操作に応じて前記球状画像の径方向の大きさを変化させて表示し、前記座標値特定手段は、前記球状画像の径方向の大きさの指標となる座標値を、前記ユーザが指定した位置の座標値として特定するようにしてもよい。
少なくとも2以上の座標軸群には同一種類のパラメータが重複して割り当てられており、前記パラメータ値特定手段は、同一種類のパラメータが割り当てられている各々の前記座標軸において所定の演算により、前記パラメータ値を特定するようにしてもよい。
前記表示手段は、前記パラメータ値特定手段によって特定されたパラメータ値に対応する色、大きさ、又は形のイメージ画像を表示するようにしてもよい。
また、本発明は、上記構成のユーザインタフェース装置と、前記ユーザインタフェース装置によって特定されたパラメータ値に基づいて、音場を実現するための信号処理を行う信号処理部とを備える音響制御装置を提供する。
本発明の実施形態における音響制御装置の構成を示すブロック図である。 表示部に表示されるユーザインタフェース画面の一例を示す図である。 座標軸とパラメータとの対応関係の一例を示す図である。 座標軸に対するパラメータ値の写像の一例をパラメータの種類ごとに示す図である。 制御部の処理手順を示すフローチャートである。 本発明の変形例3における音響制御装置の表示部に表示されるユーザインタフェース画面の一例を示す図である。 変形例3におけるR軸に割り当てられているパラメータ値の一例を示す図である。 変形例3における制御部の処理手順を示すフローチャートである。 変形例3において擬似反射音の画像を生成する手法を説明する図である。
[実施形態の構成]
図1は、本発明の実施形態における音響制御装置10の構成を示すブロック図である。音響制御装置10は、制御部11と、A/D変換部12と、操作部13と、表示部14と、デジタル信号処理部15と、D/A変換部16と、記憶部17と、放音部18を備えている。
制御部11は、CPU(Central Processing Unit)などの演算装置と、ROM(Read Only Memory)及びRAM(Random Access Memory)などの主記憶装置とを備えている。ROMには、CPUによって実行されるプログラム群が記憶されている。記憶部17は、例えばハードディスク等の大容量の記憶手段であり、制御部11が用いるデータ群やプログラム群を記憶している。CPUは、RAMをワークエリアとして用いて、ROMや記憶部17に記憶されたプログラムを実行することによって、音響制御装置10の各部の動作を制御する。
操作部13は、例えば各種のキーやタッチセンサなどの操作子を備えた操作手段であり、利用者の操作に応じた操作信号を制御部11に供給する。制御部11は、この操作信号に応じた処理を行う。表示部14は、例えば液晶パネルや液晶駆動回路を備えた表示手段であり、制御部11による制御の下で画像を表示する。例えば、制御部11は、ユーザが所望する音場を特定するためのユーザインタフェース画面を表示部14に表示させ、さらに操作部13からの操作信号に基づいて、そのユーザインタフェース画面におけるユーザの操作に基づき、音場を実現するための各種パラメータ値を特定する。制御部11、操作部13、表示部14及び記憶部17は、ユーザによる音場の指定を支援するための構成であり、ユーザの操作に応じてそのユーザが所望する音場を実現するためのパラメータ値を特定するユーザインタフェース装置として機能する。
A/D変換部12は、例えばCD(Compact Disc)などの記録媒体の再生に伴って、音響制御装置10に入力されるアナログオーディオ信号をA/D変換し、デジタル信号処理部15に供給する。デジタル信号処理部15は、各種のパラメータ値に基づいて音場を実現するための信号処理を行う。このデジタル信号処理部15は、ユーザインタフェース装置である制御部11によって特定されたパラメータ値に基づいて、音場を実現するための信号処理を行う信号処理部として機能する。D/A変換部16は、デジタル信号処理部15から供給されるデジタルオーディオ信号をD/A変換して放音部18に供給する。放音部18は、スピーカであり、リスナであるユーザに対して前後左右などの所定の位置に配置されている。この放音部から放音される音によって音場が実現される。
図2は、表示部14に表示されるユーザインタフェース画面の一例を示す図である。このユーザインタフェース画面においては、複数の座標軸によって座標空間が構成されており、ユーザがこの座標空間内の任意の位置を指定することができるようになっている。図2の例では、X軸、Y軸という2本の座標軸によって、2次元の平面座標空間が構成されている。
音場には、例えば「音場の広さ」、「音場の強さ」、「迫力」などというような複数の属性がある。これらの属性のうち1つが1本の座標軸に対応している。図2では、X軸が音場の広さに対応しており、Y軸が音場の強さに対応している。X軸正方向に進むほど音場が広く(つまり、音場空間が大きい)、X軸負方向に進むほど音場が狭くなる(つまり、音場空間が小さい)。また、Y軸正方向に進むほど音場が強く(つまり直接音に対する反射音のレベルが大きく)、Y軸負方向に進むほど音場が弱くなる(つまり、直接音に対する反射音のレベルが小さい)。
これらの音場の属性に関係するパラメータは、それぞれ異なっている。「音場の広さ」という音場属性に関係するパラメータは、たとえばイニシャルディレイ(Initial Delay)やルームサイズ(Room Size)やライブネス(Liveness)である。イニシャルディレイは、初期反射音までの時間を決定するパラメータであり、これにより、音源から壁面までの距離感や音場空間の大きさが調整される。ルームサイズは、反射音の間隔を決定するパラメータであり、これにより、空間の広がり感が調整される。ライブネスは、反射音が徐々にどのくらい小さくなっていくかを決定するパラメータであり、これにより、空間における音の響き具合が調整される。また、「音場の強さ」という音場属性に関係するパラメータは、DSP Levelやライブネスである。DSP Levelは、直接音に対する反射音のレベルを制御するパラメータである。また、「迫力」という音場属性に関係するパラメータは、DSP Levelやイニシャルディレイである。
図3は、図2に示した各座標軸とパラメータとの対応関係を示す図である。音場の広さに対応するX軸には、イニシャルディレイ、ルームサイズ、ライブネスという複数のパラメータが割り当てられている。また、音場の強さに対応するY軸には、DSP Levelという1つのパラメータが割り当てられている。各パラメータ値を座標軸に写像するときの手順は以下のとおりである。まず、各パラメータ値のデフォルト値、最大値及び最小値が予め決められている。ここでは、イニシャルディレイのデフォルト値を20msとする。このデフォルト値20msを座標空間の原点(X,Y)=(0,0)に割り当てる。次に、このイニシャルディレイの最小値15ms、最大値90msをそれぞれ、X軸における最小値の座標(X,Y)=(−10,0)、X軸における最大値の座標(X,Y)=(10,0)に割り当てる。そして、最小値から原点を通る関数と、原点から最大値を通る関数を予め決めておき、最小値から原点までの間、及び、原点から最大値までの間に存在するイニシャルディレイのパラメータ値を座標軸(X軸)に写像する。X軸におけるルームサイズやライブネスについても上記と同様である。また、Y軸におけるDSP Levelについても上記と同様である。上述した最小値、原点及び最大値を通る関数は、例えば図4に示すようにパラメータの種類に応じて異なっていることが望ましい。このような各座標軸とパラメータ値との写像関係がROMないし記憶部17に記憶されている。
ユーザが、ユーザインタフェース画面において、所望する音場の属性の強弱、大小或いは広狭に応じた位置を指定すると、その位置に対応するイニシャルディレイ、ルームサイズ、ライブネス、DSP Levelなどのパラメータ値が特定され、そのパラメータ値に基づく音場が実現される。イニシャルディレイ、ルームサイズ、ライブネス、DSP Levelといったパラメータのうち、どれをどのような値に設定すればどのような音場が実現されるかということについては、専門的な知識を持たないユーザにとっては分かりづらいが、本実施形態では、「音場の広さ」、「音場の強さ」、「迫力」というような、ユーザがイメージしやすい音場の属性についてその強弱、大小或いは広狭を指定するだけでよいから、音場との関係性を認識しづらいパラメータ値を逐一指定する必要がない。
[実施形態の動作]
次に実施形態の動作について説明する。図5は、制御部11の処理手順を示すフローチャートである。制御部11(表示手段)は、まず図2に示すように、複数の座標軸によって座標空間が構成されたユーザインタフェース画面を表示部14(表示手段)に表示させる。ユーザはこのユーザインタフェース画面において、座標空間内の任意の位置を指定する。このとき、ユーザは、座標軸に対応する音場の属性を参照しながら、例えば音場の広さをやや狭く音場の強さをやや強く、というように、自身が所望する音場になるように、その音場の属性の強弱、大小或いは広狭に応じた位置を指定する。この位置指定操作は、例えば操作部13のキーを用いて座標空間内を移動するポインタで指定するものであってもよいし、表示部14がタッチスクリーンで構成されているときは、ユーザが表示部14に表示された座標空間内の任意の位置を触って指定するものであってもよい。
制御部11(座標値特定手段)は、この位置指定操作を受け付けると(ステップS1;YES)、座標空間においてユーザが指定した座標値を特定する(ステップS2)。このとき指定された座標値を(X1,Y1)とする。
次に、制御部(パラメータ値特定手段)は、各々の座標軸に割り当てられたパラメータの種類と、特定された座標値(X1,Y1)とに基づいて、当該座標値に対応する複数種類のパラメータ値を特定する(ステップS3)。より具体的には、制御部11は、X座標値X1に写像されたイニシャルディレイ、ルームサイズ、ライブネスのパラメータ値(I1,R1,L1とする)を特定し、Y座標値Y1に写像されたDSP Levelのパラメータ値(D1とする)を特定する。
次に、制御部11(表示手段)は、特定したパラメータ値I1,R1,L1,D1に対応する色、大きさ、又は形のイメージ画像を表示部14(表示手段)に表示させる(ステップS4)。例えば、制御部11は、これらのパラメータ値がデフォルト値に比べて音場の広さを広くする方向に寄与する値であれば、座標空間の背景画像の色を薄くし(或いは、音場の広さを表徴するオブジェクト画像のサイズを大きくしたり、その形状を多角形に近づける)、逆に、これらのパラメータ値がデフォルト値に比べて音場の広さを狭くする方向に寄与する値であれば、座標空間の背景画像の色を濃くしたりする(或いは、音場の広さを表徴するオブジェクト画像のサイズを小さくしたり、その形状を円形に近づける)。また、制御部11は、これらのパラメータ値がデフォルト値に比べて音場の強さを強くする方向に寄与する値であれば、座標空間の背景画像の色を赤い色に近づけ(或いは、音場の強さを表徴するオブジェクト画像のサイズを大きくしたり、その形状を多角形に近づける)、逆に、これらのパラメータ値がデフォルト値に比べて音場の強さを弱くする方向に寄与する値であれば、座標空間の背景画像の色を青い色に近づけたりする(或いは、音場の強さを表徴するオブジェクト画像のサイズを小さくしたり、その形状を円形に近づける)。このようなイメージ画像の変化を見ることで、ユーザは音場の変化を視覚的に認識することが可能となる。
そして、制御部11は、これらのパラメータ値I1,R1,L1,D1をデジタル信号処理部15に供給する(ステップS5)。デジタル信号処理部15は、これらのパラメータ値I1,R1,L1,D1を用いて、音場を実現するための信号処理を行う。そして、D/A変換部16を経て供給されるデジタルオーディオ信号に応じた音が放音部18から放音され、ユーザに対して音場が再現される。
以上の実施形態によれば、ユーザが指定した音場の属性(たとえば音場の強さや音場の広さ、迫力)の強弱、大小或いは広狭に応じて、そのような属性の音場を実現するための複数のパラメータが連動して変化する。これにより、ユーザが複数のパラメータを逐一、個別に指定する必要が無く、座標空間内の1点を指定するだけで、簡単かつ直感的に所望の音場を実現することが可能となる。
[変形例]
[変形例1]
本発明では、音場の属性にそれぞれ対応する複数の座標軸のうち少なくとも1つの座標軸に対して複数種類のパラメータが割り当てられていればよい。従って、複数の座標軸のそれぞれに複数種類のパラメータが割り当てられていてもよい。
音場の属性を3つ以上とし、音場の属性に対応する座標軸も3本以上としてもよい。座標軸も3本の場合、座標空間は3次元立体空間となる。
また、パラメータの種類は、実施形態の例に限らず、他のパラメータについても同様に取り扱うことができる。
[変形例2]
少なくとも2以上の座標軸群に同一種類のパラメータが重複して割り当てられていてもよい。例えば、音場の強さに対応するX軸に、イニシャルディレイ、ルームサイズ及びライブネスが割り当てられており、迫力に対応するY軸に、DSP Level及びイニシャルディレイが割り当てられているようなケースである。この場合はイニシャルディレイが重複している。これらの同一種類のパラメータが割り当てられている座標軸群(X軸、Y軸)においてはそれぞれ優先順位が決められており、その優先順位がROMないし記憶部17に記憶されている。ここでは、例えば音場の強さに対応するX軸の優先順位が高く(ここでは優先順位を意味する重み係数a,bのうち(a>b)、重み係数aが割り当てられているとする)、迫力に対応するY軸の優先順位が低い(重み係数bが割り当てられているとする)とする。この場合、制御部11(パラメータ値特定手段)は、まず、各々の座標軸に割り当てられたパラメータの種類と、特定された座標値とに基づいて、X座標値に写像されたイニシャルディレイ、ルームサイズ、ライブネスのパラメータ値(I1,R1,L1とする)を特定し、また、Y座標値Y1に写像されたDSP Level、イニシャルディレイのパラメータ値(I2,D1とする)を特定する。ここで、イニシャルディレイのパラメータ値として、I1、I2の2つの値が特定されるが、制御部11は、これらI1、I2ではなく、上述した重み係数に従い、例えばI=a×I1+b×I2というような、I1、I2及び重み係数を用いた所定の演算により、イニシャルディレイのパラメータ値Iを特定する。このように、制御部11は、同一種類のパラメータが割り当てられている各々の座標軸において所定の演算により、前記パラメータ値を特定すればよい。
[変形例3]
実施形態は、X軸、Y軸という2本の座標軸によって2次元の平面座標空間が構成されていた(図2)が、座標軸の数や座標空間は実施形態の例に限定されない。例えばこの変形例3では、音響制御装置10が、ユーザインタフェース画面において音場空間全体の広がりを表すため、球の一部を立体的に表現した球状画像を表示する。この球状画像の大きさはユーザの操作に応じて可変になっており、音響制御装置10は、この球状画像の大きさに基づいて、R軸という1本の座標軸における座標値を特定する。さらに、音響制御装置10は、この音場において発生した音を表す画像を併せて表示する。
図6は、音響制御装置10の表示部14に表示されるユーザインタフェース画面の一例を示す図である。このユーザインタフェース画面においては、上記球状画像の一例である、半球状のいわゆるドーム型の画像(半球画像Dという)が表示されている。半球の中心に相当する原点Oには、聴取者であるユーザを意味するユーザ画像Uが表示されている。この半球画像Dは、音場空間の高さ方向及び水平方向の広がりを併せた「音場空間全体の広さ」という音場の属性を表している。
「音場空間全体の広さ」は、半球画像Dの径方向の大きさの指標となるR軸の座標値によって決まる。つまりこのR軸は、原点Oを基点として、その原点Oよりも遠ざかる方向に延びる座標軸である。このR軸に割り当てられているパラメータは、DSP Level、イニシャルディレイ、ルームサイズ、ライブネス、リバーブディレイ、リバーブタイム及びリバーブレベルなどである。R軸に割り当てられた各パラメータには、図7に示すように例えば最小値、中心値(デフォルト値)、最大値が設定されており、これらが記憶部17に記憶されている。音響制御装置10の制御部11は、例えば、最小値から中心値を通る関数と、中心値から最大値を通る関数を予め記憶部17に記憶しておき、これらの最小値、中心値、最大値及び関数に基づいて、最小値から中心値までの間、及び、中心値から最大値までの間に存在する各パラメータ値を座標軸(R軸)に写像する。
表示部14がタッチスクリーンで構成されている場合、ユーザが例えば図6(B)に示すユーザインタフェース画面において、半球画像Dが表示されている表示領域に複数の指を接触させたまま、互いの指を近づける操作(いわゆるピンチイン)を行うと、制御部11はこの操作を半球画像Dの大きさを変更(縮小)する操作として受け付け(図8のステップS11;YES)、このときの操作量に応じた割合で、図6(A)に示すように、半球画像Dの大きさを縮小して表示する。制御部11(座標値特定手段)は、R軸における座標値(つまり半球画像Dの球径)を特定する(図8のステップS12)。なお、図6(B)においてR軸を意味する矢印の表示は必須ではない。一方、ユーザが例えば図6(B)に示すユーザインタフェース画面において、半球画像Dが表示されている表示領域に複数の指を接触させたまま、互いの指を遠ざける操作(いわゆるピンチアウト)を行うと、制御部11はこの操作を半球画像Dの大きさを変更(拡大)する操作として受け付け(図8のステップS11;YES)、このときの操作量に応じた割合で、図6(C)に示すように、半球画像Dの大きさを拡大して表示する。制御部11(座標値特定手段)は、R軸における座標値(つまり半球画像Dの球径)を特定する(図8のステップS12)。
半球画像Dの大きさを変更する操作は、上記のピンチインやピンチアウトに限らず、どのような操作であってもよい。例えば、半球画像Dが表示されている表示領域にユーザが指を接触させ、その指を原点Oから遠ざかる方向又は原点Oに近づく方向に移動させる操作に応じて、半球画像Dを拡大又は縮小させてもよい。
そして、制御部11(パラメータ値特定手段)は、特定した上記座標値に基づいて、当該座標値に対応する複数種類のパラメータ値(上述したDSP Level、イニシャルディレイ、ルームサイズ、ライブネス、リバーブディレイ、リバーブタイム及びリバーブレベルなど)を特定する(図8のステップS13)。そして、制御部11(表示手段)は、特定したパラメータ値に対応する色、大きさ、又は形のイメージ画像を表示部14(表示手段)に表示させる(図8のステップS14)。
さらに、制御部11は、これらのパラメータ値をデジタル信号処理部15に供給する(図8のステップS15)。デジタル信号処理部15は、これらのパラメータ値を用いて、音場を実現するための信号処理を行う。そして、D/A変換部16を経て供給されるデジタルオーディオ信号に応じた音が放音部18から放音され、音場が再現される。
さらに、制御部11は、図8のステップS14において、音場において発生した音を表す画像を表示する。この音には直接音と擬似反射音が含まれる。直接音は、A/D変換部12からデジタル信号処理部15に入力されるオーディオ信号によって表される音である。擬似反射音は、直接音が仮想的な音場にて反射したときの音であり、ユーザの操作に基づいて特定されたパラメータ値に応じた音場を実現するための音である。擬似反射音は、デジタル信号処理部15によって生成される。
図9は、擬似反射音の画像(擬似反射音画像という)を生成する手法を説明するための図である。制御部11は、上述した座標空間において、音源から原点Oまでに至る直接音の遅延時間に相当する大きさを距離rとして、原点Oからの水平方位θ(正面を0°)および垂直方位φ(水平を0°)で定まる位置を擬似反射音画像の表示位置とする。なお、図9において矢印Fは、予め定めた正面方向を示すものである。
制御部11は、擬似反射音画像の大きさを、直接音のレベルに対する反射音のレベルの割合によって変化させる。例えば、直接音のレベルに対する反射音のレベルの割合が大きいほど、擬似反射音画像の大きさも大きい。制御部11は、A/D変換部12からデジタル信号処理部15に入力されたオーディオ信号の信号値が所定レベル以上であった場合に、そのオーディオ信号を直接音として擬似反射音の表示位置を計算し、その表示位置に上記の大きさの擬似反射音画像を生成して表示する。
例えば、入力されるオーディオ信号がRチャンネル、LチャンネルおよびCチャンネルという3チャンネル構成である場合に、制御部11は、Rチャンネルに対応する直接音の画像、Lチャンネルに対応する直接音の画像、およびCチャンネルに対応する直接音の画像を生成するとともに、これらの直接音がミックスダウンされた結果から計算される表示位置およびレベルに対応する擬似反射音画像を生成し、これらの画像を表示部14のユーザインタフェース画面に表示する。これらの画像が、図6に示した円形の画像群Lである。これらの画像は、静止画であってもよい。また、直接音に対する擬似反射音画像は、その位置や大きさが時々刻々と変化し、アニメーションとして表示されるものであってもよい。なお、直接音の画像を表示することは必須ではない。また、直接音の画像を表示する場合には、直接音と擬似反射音の画像を異なるもの(例えば異なる色や形状)にすることが好ましい。
この変形例3によれば、1つの座標軸に複数のパラメータ値が割り当てられており、ユーザの操作に応じて、音場空間の広がりを表現する画像の大きさが変化すると共に上記の各パラメータ値が変更される。つまり、ユーザは、自身がイメージしやすい1つの音場の属性(音場空間の広がり)に対して球状画像の大きさを指定するだけでよく、音場との関係性を認識しづらいパラメータ値を逐一指定する必要がない。さらに、擬似反射音画像を表示することにより、どのような音場が再現され、どのような擬似反射音が生成されているのかをユーザは直感的に理解することができる。
なお、直接音および擬似反射音を示す画像として、円形のものを例示したが、他の形状の画像(例えばベクトルや雲の様な画像)であってもよい。また、周波数特性を示す画像として、高音の場合は音源位置から聴取位置へ向かうベクトルの表示を行い、低音の場合は音源位置から周囲に円形状に拡がるアイコンを表示する態様としてもよい。
[変形例4]
なお、本発明は、ユーザインタフェース装置や音響制御装置に相当するコンピュータに本発明を実現させるためのプログラムや、かかるプログラムを記憶させた光ディスク等の記録媒体としても特定され得る。本発明に係るプログラムは、インターネット等のネットワークを介して、ユーザインタフェース装置や音響制御装置にダウンロードさせ、これをインストールして利用可能にするなどの形態でも提供され得る。コンピュータがこのプログラムを実行することにより、上述した表示手段、座標値特定手段及びパラメータ値特定手段が実現される。
10 音響制御装置、11 制御部、12 A/D変換部、13 操作部、14 表示部、15 デジタル信号処理部、16 D/A変換部、17 記憶部、18 放音部

Claims (5)

  1. 音場の複数の属性にそれぞれ対応する複数の座標軸に対して、当該音場の属性に関係するパラメータが割り当てられ、且つ、そのうち少なくとも1つの前記座標軸に対しては複数種類の前記パラメータが割り当てられたユーザインタフェース装置であって、
    前記複数の座標軸によって座標空間が構成された、球の一部を立体的に表現した球状画像を表示する表示手段と、
    記座標空間においてユーザが指定した位置の座標値を特定する座標値特定手段と、
    各々の前記座標軸に割り当てられたパラメータの種類と、前記座標値特定手段によって特定された座標値とに基づいて、当該座標値に対応する複数種類のパラメータ値を特定するパラメータ値特定手段と
    を備え
    前記表示手段は、前記球状画像において、音場において発生した直接音と、特定された前記パラメータ値に応じた音場にて前記直接音が反射したときの擬似反射音とを示す画像を表示する
    ユーザインタフェース装置。
  2. 前記球状画像の径方向の大きさの指標となる座標値が、音場の高さ方向及び水平方向の広がりを併せた属性を表しており、
    前記表示手段は、ユーザの操作に応じて前記球状画像の径方向の大きさを変化させて表示し、
    前記座標値特定手段は、前記球状画像の径方向の大きさの指標となる座標値を、前記ユーザが指定した位置の座標値として特定する
    請求項1記載のユーザインタフェース装置。
  3. 少なくとも2以上の座標軸群には同一種類のパラメータが重複して割り当てられており、
    前記パラメータ値特定手段は、同一種類のパラメータが割り当てられている各々の前記座標軸において所定の演算により、前記パラメータ値を特定する
    請求項1又は2記載のユーザインタフェース装置。
  4. 記表示手段は、
    前記パラメータ値特定手段によって特定されたパラメータ値に対応する色、大きさ、又は形のイメージ画像を表示する
    請求項1〜3のいずれか1項に記載のユーザインタフェース装置。
  5. 求項1〜4のいずれか1項に記載のユーザインタフェース装置と、
    前記ユーザインタフェース装置によって特定されたパラメータ値に基づいて、音場を実現するための信号処理を行う信号処理部と
    を備える音響制御装置。
JP2013271313A 2013-09-12 2013-12-27 ユーザインタフェース装置及び音響制御装置 Active JP6330325B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2013271313A JP6330325B2 (ja) 2013-09-12 2013-12-27 ユーザインタフェース装置及び音響制御装置
EP14843566.2A EP3046340B1 (en) 2013-09-12 2014-08-13 User interface device, sound control apparatus, sound system, sound control method, and program
PCT/JP2014/071398 WO2015037388A1 (ja) 2013-09-12 2014-08-13 ユーザインタフェース装置、音響制御装置、音響システム、音響制御方法及びプログラム
US14/917,428 US9674634B2 (en) 2013-09-12 2014-08-13 User interface device, sound control apparatus, sound system, sound control method, and program

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013189260 2013-09-12
JP2013189260 2013-09-12
JP2013271313A JP6330325B2 (ja) 2013-09-12 2013-12-27 ユーザインタフェース装置及び音響制御装置

Publications (2)

Publication Number Publication Date
JP2015080188A JP2015080188A (ja) 2015-04-23
JP6330325B2 true JP6330325B2 (ja) 2018-05-30

Family

ID=52665507

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013271313A Active JP6330325B2 (ja) 2013-09-12 2013-12-27 ユーザインタフェース装置及び音響制御装置

Country Status (4)

Country Link
US (1) US9674634B2 (ja)
EP (1) EP3046340B1 (ja)
JP (1) JP6330325B2 (ja)
WO (1) WO2015037388A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6540600B2 (ja) * 2016-05-25 2019-07-10 ヤマハ株式会社 効果音生成装置、効果音生成方法およびプログラム
US9936304B2 (en) * 2016-08-23 2018-04-03 Infineon Technologies Ag Digital silicon microphone with configurable sensitivity, frequency response and noise transfer function
JP6926640B2 (ja) * 2017-04-27 2021-08-25 ティアック株式会社 目標位置設定装置及び音像定位装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6490359B1 (en) 1992-04-27 2002-12-03 David A. Gibson Method and apparatus for using visual images to mix sound
JPH1014590A (ja) 1996-06-28 1998-01-20 Kanegafuchi Chem Ind Co Ltd 光学活性2−置換−3−フェニルプロピオン酸及びそのエステルの製造方法
JP3525653B2 (ja) 1996-11-07 2004-05-10 ヤマハ株式会社 音響調整装置
JP2002537695A (ja) * 1999-02-08 2002-11-05 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 電子番組案内を表示する方法及び装置
JP2000356994A (ja) 1999-06-15 2000-12-26 Yamaha Corp オーディオシステム、その制御方法および記録媒体
JP3587088B2 (ja) 1999-06-15 2004-11-10 ヤマハ株式会社 オーディオシステム、その制御方法および記録媒体
JP2002328768A (ja) * 2001-05-01 2002-11-15 Sony Corp コンテンツ処理方法、コンテンツ処理方法のプログラム、コンテンツ処理方法のプログラムを記録した記録媒体及びコンテンツ処理装置
JP4513578B2 (ja) * 2005-01-17 2010-07-28 ソニー株式会社 音響再生装置、音響再生方法、プログラム、及びテレビジョン装置
JP2006267226A (ja) * 2005-03-22 2006-10-05 Yamaha Corp 楽音制御装置
KR20120019244A (ko) * 2010-08-25 2012-03-06 삼성전자주식회사 휴대 단말기의 복합 속성 제어 방법 및 이를 지원하는 휴대 단말기
US9271081B2 (en) * 2010-08-27 2016-02-23 Sonicemotion Ag Method and device for enhanced sound field reproduction of spatially encoded audio input signals
US8767970B2 (en) * 2011-02-16 2014-07-01 Apple Inc. Audio panning with multi-channel surround sound decoding
US20140173519A1 (en) 2011-05-24 2014-06-19 Nokia Corporation Apparatus with an audio equalizer and associated method
JP5811837B2 (ja) * 2011-12-27 2015-11-11 ヤマハ株式会社 表示制御装置及びプログラム

Also Published As

Publication number Publication date
US9674634B2 (en) 2017-06-06
EP3046340B1 (en) 2019-10-23
JP2015080188A (ja) 2015-04-23
US20160227342A1 (en) 2016-08-04
WO2015037388A1 (ja) 2015-03-19
EP3046340A1 (en) 2016-07-20
EP3046340A4 (en) 2017-05-17

Similar Documents

Publication Publication Date Title
US10613818B2 (en) Sound effect adjusting apparatus, method, and program
JP6659644B2 (ja) 応用素子の代替的グラフィック表示の事前の生成による入力に対する低レイテンシの視覚的応答およびグラフィック処理ユニットの入力処理
JP6670361B2 (ja) レンダリングする音響オブジェクトをユーザが選択するためのユーザインタフェース、および/またはレンダリングする音響オブジェクトをユーザが選択するためのユーザインタフェースをレンダリングする方法
US10474315B2 (en) Cursor enhancement effects
EP2612220B1 (en) Method and apparatus for interfacing
US9830014B2 (en) Reducing control response latency with defined cross-control behavior
US20200273249A1 (en) Virtual Scene
JP6330325B2 (ja) ユーザインタフェース装置及び音響制御装置
JP2022539313A (ja) 仮想コンテンツのための仮想場所の選択
JP4513578B2 (ja) 音響再生装置、音響再生方法、プログラム、及びテレビジョン装置
KR20140117979A (ko) 터치스크린을 이용한 항목 선택 방법 및 시스템
US11494160B1 (en) Methods and systems for manipulating audio properties of objects
WO2021156112A1 (en) Virtual scene
JP6433217B2 (ja) 音量制御装置、音量制御システム、及びプログラム
US12126987B2 (en) Virtual scene
KR101524554B1 (ko) 터치 인터페이스 기반 오디오 편집 방법 및 이를 위한 장치
JP2006113715A (ja) タッチパネルgui装置
JP5448611B2 (ja) 表示制御装置及び制御方法
KR102119241B1 (ko) 멀티 채널 비주얼라이제이션 방법 및 이를 위한 프로그램
JP6220976B2 (ja) コンテンツ再生装置及び方法
JP2018106289A (ja) 表示制御装置、表示制御方法、プログラム及び記録媒体
JP2018056620A (ja) 映像音響処理装置、映像音響処理方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161020

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180308

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180327

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180409

R151 Written notification of patent or utility model registration

Ref document number: 6330325

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151