JP7088408B2 - オーディオ信号処理装置、オーディオ信号処理システムおよびオーディオ信号処理方法 - Google Patents

オーディオ信号処理装置、オーディオ信号処理システムおよびオーディオ信号処理方法 Download PDF

Info

Publication number
JP7088408B2
JP7088408B2 JP2021508876A JP2021508876A JP7088408B2 JP 7088408 B2 JP7088408 B2 JP 7088408B2 JP 2021508876 A JP2021508876 A JP 2021508876A JP 2021508876 A JP2021508876 A JP 2021508876A JP 7088408 B2 JP7088408 B2 JP 7088408B2
Authority
JP
Japan
Prior art keywords
sound source
audio signal
signal processing
information
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021508876A
Other languages
English (en)
Other versions
JPWO2020195568A1 (ja
Inventor
明彦 須山
龍也 福山
良太郎 青木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Publication of JPWO2020195568A1 publication Critical patent/JPWO2020195568A1/ja
Application granted granted Critical
Publication of JP7088408B2 publication Critical patent/JP7088408B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03549Trackballs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • G06F3/0312Detection arrangements using opto-electronic means for tracking the rotation of a spherical or circular member, e.g. optical rotary encoders used in mice or trackballs using a tracking ball or in mouse scroll wheels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)

Description

この発明の一実施形態は、オーディオ信号に種々の処理を行うオーディオ信号処理装置に関する。
特許文献1には、ユーザがスマートフォンを用いて示した位置に仮想音源を定位させるオーディオアンプが開示されている。特許文献1のスマートフォンは、該スマートフォンの姿勢を示す情報を検出する。スマートフォンは、該姿勢を示す情報を受聴点の位置を原点とする座標空間におけるスピーカの位置情報に変換して、音源の方向を指定する。
特開2014-103456号公報
従来よりも、より直感的に音源の位置を操作することが望まれている。
そこで、この発明は、従来よりも、より直感的に音源の位置を操作することができるオーディオ信号処理装置を提供することを目的とする。
この発明の一実施形態に係るオーディオ信号処理装置は、音信号を入力する音信号入力部と、前記音信号の音源の位置情報を取得する位置情報取得部と、移動情報の入力を受け付ける移動情報受付部と、前記移動情報に基づいて、前記音源の位置を、所定軸を中心として移動させ、前記音源の音像定位位置を変更する、音源位置制御部と、前記音源位置制御部で変更した前記音像定位位置に前記音源の音像が定位するように、前記音信号に対して定位処理を行なう定位処理部と、を備えたことを特徴とする。
この発明の一実施形態によれば、移動操作により音源の位置を移動させるため、従来よりも、より直感的に音源の位置を操作することができる。
オーディオ信号処理システムの構成を示すブロック図である。 聴取環境である部屋L1を模式的に示した斜視図である。 オーディオ信号処理装置1の構成を示すブロック図である。 CPUの機能的構成を示すブロック図である。 CPU17の動作を示すフローチャートである。 部屋L1と回転情報の関係を模式的に示した斜視図である。 ユーザがトラックボール3をY軸周りに左90度回転した場合の音源の移動を模式的に示した斜視図である。 X座標、Y座標、ページアップ、およびページダウンの情報を出力する場合のオーディオ信号処理システムの構成を示すブロック図である。 キャリブレーションモードにおけるCPU17の動作を示すフローチャートである。 部屋L1と音源の位置の関係を模式的に示した斜視図である。 部屋L1と音源の位置の関係を模式的に示した斜視図である。 部屋L1と音源の位置の関係を模式的に示した斜視図である。 部屋L1と音源の位置の関係を模式的に示した斜視図である。 部屋L1と音源の位置の関係を模式的に示した斜視図である。 オーディオ信号処理システムの構成を示すブロック図である。 オーディオ信号処理システムの構成を示すブロック図である。 部屋L1と音源の位置の関係を模式的に示した斜視図である。 部屋L1と音源の位置の関係を模式的に示した斜視図である。 操作受付装置30を示す斜視図である。 操作受付装置31の変形例を示す斜視図である。 音源位置制御部172の動作を示すフローチャートである。 スティック操作子の移動量と最大値との関係を示す図である。
図1は、オーディオ信号処理システムの構成を示すブロック図である。オーディオ信号処理システム100は、オーディオ信号処理装置1、トラックボール3、および複数のスピーカ(この例では8つのスピーカ)SP1~SP8を備えている。
オーディオ信号処理装置1は、例えばパーソナルコンピュータ、セットトップボックス、オーディオレシーバ、またはパワードスピーカ等である。オーディオ信号処理装置1は、コンテンツデータをデコードしてオーディオ信号を抽出する。コンテンツデータは、例えば外部の再生装置、ネットワーク、または記憶媒体から取得する。あるいは、オーディオ信号処理装置1は、デジタルオーディオ信号またはアナログオーディオ信号を取得してもよい。なお、本実施形態において、特に記載が無い限り、オーディオ信号は、デジタルオーディオ信号を意味する。
図2に示す様に、スピーカSP1~スピーカSP8は、部屋L1に配置されている。この例では、部屋の形状は、直方体である。例えば、スピーカSP1、スピーカSP2、スピーカSP3、およびスピーカSP4は、部屋L1の四隅の床に配置されている。スピーカSP5は、部屋L1の側面の一つ(この例では正面)に配置されている。スピーカSP6およびスピーカSP7は、部屋L1の天井に配置されている。スピーカSP8は、サブウーファであり、例えばスピーカSP5の近くに配置されている。
オーディオ信号処理装置1は、オーディオ信号を所定のゲインおよび所定の遅延時間でこれらのスピーカに分配することにより、所定の位置に音源の音像を定位させる、音像定位処理を行なう。
図3に示す様に、オーディオ信号処理装置1は、音信号入力部11、デコーダ12、信号処理部13、定位処理部14、D/Aコンバータ15、アンプ(AMP)16、CPU17、フラッシュメモリ18、RAM19、インタフェース(I/F)20、および表示器21を備えている。
CPU17は、フラッシュメモリ18に記憶されている動作用プログラム(ファームウェア)をRAM19に読み出し、オーディオ信号処理装置1を統括的に制御する。
音信号入力部11は、例えば、HDMI(登録商標)のインタフェース、またはネットワークインタフェース等の通信インタフェースである。音信号入力部11は、コンテンツデータを入力し、デコーダ12に出力する。あるいは、音信号入力部11は、デジタルオーディオ信号またはアナログオーディオ信号を入力してもよい。
デコーダ12は、例えばDSPからなる。デコーダ12は、コンテンツデータをデコードし、オーディオ信号を抽出する。デコーダ12は、入力されたコンテンツデータがオブジェクトベース方式に対応するものである場合、オブジェクト情報を抽出する。オブジェクトベース方式は、コンテンツに含まれる複数のオブジェクト(音源)を、それぞれ独立したオーディオ信号として格納している。デコーダ12は、各音源のオーディオ信号を信号処理部13に入力する。また、オブジェクト情報には、各音源の位置情報、およびレベル等の情報が含まれている。デコーダ12は、音源の位置情報およびレベル情報をCPU17に入力する。
信号処理部13は、例えばDSPからなる。信号処理部13は、各音源に係るオーディオ信号に、ディレイ、リバーブ、またはイコライザ等の所定の信号処理を施す。信号処理部13は、信号処理後の各音源のオーディオ信号を定位処理部14に入力する。
定位処理部14は、例えばDSPからなる。定位処理部14は、CPU17の指示にしたがって、音像定位処理を行う。定位処理部14は、CPU17から指定された各音源の位置情報に対応する位置に音像が定位するように、各音源のオーディオ信号をスピーカSP1~スピーカSP8に所定のゲインで分配する。定位処理部14は、各スピーカSP1~SP8に対するオーディオ信号を、D/Aコンバータ15に入力する。
D/Aコンバータ15は、各オーディオ信号をアナログ信号に変換する。AMP16は、各アナログオーディオ信号を増幅して、スピーカSP1~SP8に入力する。
なお、デコーダ12、信号処理部13、および定位処理部14は、それぞれ個別のDSPによりハードウェアにより実現してもよいし、1つのDSPにおいてソフトウェアにより実現してもよい。
図4は、CPU17の機能的構成を示すブロック図である。CPU17は、機能的に、位置情報取得部171、音源位置制御部172、および移動情報受付部173を備えている。図5は、CPU17の動作を示すフローチャートである。これらの機能は、CPU17のプログラムにより実現する。
位置情報取得部171は、デコーダ12から音源の位置情報を取得する(S11)。位置情報取得部171は、オブジェクトベース方式に対応するオーディオ信号の場合、オブジェクト情報を受信して、当該オブジェクト情報に含まれている位置情報を取得する。入力したコンテンツデータがチャンネルベース方式に対応するものである場合、信号処理部13は、オーディオ信号を解析して、音源の位置情報を抽出する。この場合、位置情報取得部171は、信号処理部13から音源の位置情報を取得する。
信号処理部13は、例えば、各チャンネルのオーディオ信号のレベル、およびチャンネル間の相互相関を算出する。信号処理部13は、各チャンネルのオーディオ信号のレベルおよびチャンネル間の相互相関に基づいて、音源の位置を推定する。例えば、L(Left)チャンネルとR(Right)チャンネルの相関値が高く、LチャンネルのレベルおよびRチャンネルのレベルが高い(所定の閾値を超える)場合、LチャンネルおよびRチャンネルの間に音源が存在すると推定する。信号処理部13は、LチャンネルのレベルおよびRチャンネルのレベルに基づいて、音源の位置を推定する。信号処理部13は、例えば、LチャンネルのレベルおよびRチャンネルのレベルの比が1:1であれば、LチャンネルおよびRチャンネルのちょうど中点に音源の位置を推定する。チャンネルの数が多いほど、音源の位置は、正確に推定することができる。信号処理部13は、多数のチャンネル間の相関値を算出することで、音源の位置をほぼ一意に特定することができる。
信号処理部13は、この様な解析処理を各チャンネルのオーディオ信号について行なうことで、音源の位置情報を生成する。位置情報取得部171は、信号処理部13で生成した音源の位置情報を取得する。また、位置情報取得部171は、デコーダ12でデコードした位置情報と、信号処理部13で抽出した位置情報と、の両方を取得してもよい。この場合、音源位置制御部172は、両者の中間位置(平均位置)を音源の位置情報として決定する。また、位置情報取得部171は、デコーダ12でデコードした位置情報または信号処理部13で抽出した位置情報を、ユーザからの入力を受け付けることにより変更してもよい。また、音源位置制御部172は、ユーザから、音源の初期位置の設定を受け付けてもよい。この場合、位置情報取得部171は、ユーザの座標入力を受け付けることにより、音源の位置情報を取得する。
音源位置制御部172は、位置情報取得部171から音源の位置情報を取得する。音源位置制御部172は、移動情報受付部173から回転情報を受け付ける(S12)。音源位置制御部172は、該回転情報に基づいて、音源の位置を、所定軸を中心として回転させることで、定位処理部14における音源の音像定位位置を変更する(S13)。
移動情報受付部173は、I/F20を介してトラックボール3から回転情報を受け付ける。I/F20は、例えばUSBインタフェースである。トラックボール3は、3軸(3次元)の回転情報として、ロール(R)、チルト(T)、およびピッチ(P)の情報を出力する。
図6は、部屋L1と回転情報の関係を模式的に示した斜視図である。トラックボール3は、ユーザの前後(Y)を軸とする回転操作をロール(R)情報として出力する。トラックボール3は、ユーザの左右(X)を軸とする回転操作をチルト(T)情報として出力する。トラックボール3は、ユーザの上下(Z)を軸とする回転操作をピッチ(P)情報として出力する。
図7は、ユーザがトラックボール3をY軸周りに左90度回転した場合の音源の移動を模式的に示した斜視図である。図6の状態では、定位処理部14は、室内の天井付近、左前方に音源O1、右前方に音源O2、左後方に音源O3、右後方に音源O4を定位させている。ユーザがトラックボール3をY軸周りに左90度回転すると、トラックボール3は、+90度のR情報を出力する。移動情報受付部173は、当該+90度のR情報を受け付ける。音源位置制御部172は、位置情報取得部171から取得した音源の位置情報を、Y軸周りに左90度回転させ、音源の位置を変更する。
音源位置制御部172は、音源の位置を直交座標(X,Y,Z座標)で管理している場合には、受け付けた回転情報に基づいて、回転後の直交座標を計算する。例えば、直交座標(X,Y,Z)が(1,0,0)である場合に、Y軸周りに左90度回転すると、直交座標は(0,0,1)となる。座標変換の手法は、Quaternion等の種々の技術を用いることができる。
音源位置制御部172は、変更後の音源の位置情報を定位処理部14に出力する(S14)。定位処理部14は、変更後の音源の位置情報に基づいて定位処理を行なう(S15)。
これにより、ユーザがトラックボール3を回転させると、この回転操作に応じて音源の位置も回転する。本実施形態によれば、ユーザの回転操作により音源の位置を回転させるため、従来よりも、より直感的に音源の位置を操作することができる。また、ユーザは、トラックボール3を回転させるだけで、複数の音源をまとめて、1度に移動させることもできる。
なお、本実施形態では、トラックボール3を介して3次元の回転情報の入力を受け付ける例を示した。しかし、オーディオ信号処理装置1は、少なくとも1つの軸における回転情報(例えばパン情報のみ)を受け付けて、2次元平面上で、音源の位置を回転させてもよい。トラックボール3は、2次元の回転情報のみ出力してもよい。また、トラックボール3は、通常のパーソナルコンピュータのマウスに対する操作と同様に、ユーザの前後(Y)を軸とする回転操作を受け付けた場合に回転量に応じたX座標の情報を出力し、ユーザの左右(X)を軸とする回転操作を受け付けた場合に、回転量に応じたY座標の情報を出力するだけでもよい。また、オーディオ信号処理装置1は、1次元(直線)上で音源の位置を移動させてもよい。
また、本実施形態では、一例として4つの音源の位置を回転させる例を示した。しかし、オーディオ信号処理装置1は、少なくとも1つの音源の位置を回転させればよい。また、移動情報受付部173は、回転対象とする音源を指定する入力を受け付けてもよい。例えば、移動情報受付部173が音源O1を回転対象として受け付けた場合、音源位置制御部172は、音源O1の音源位置のみ回転させて音像定位位置を変更する。また、本実施形態では、1つのトラックボール3を用いる例を示した。しかし、オーディオ信号処理システム100は、複数のトラックボール3を備えていてもよい。この場合、オーディオ信号処理装置1は、複数のトラックボール3のそれぞれと、音源とを対応付ける。
なお、移動情報受付部173は、複数の音源を1つのグループとして、グループ毎に回転対象とするか否かの指定入力を受け付けてもよい。
また、オーディオ信号処理装置1は、音源の位置を表示器21に表示する表示処理部をさらに備えていてもよい。表示処理部は、例えばCPU17の機能により実現する。表示処理部は、例えば図6および図7に示した様な音源の位置を表示器21に表示する。これにより、ユーザは、現在の音源の定位位置を把握することができる。また、ユーザは、表示器21を参照することで、回転対象とする音源の指定入力を容易に行なうことができる。
また、トラックボール3は、図8に示す様に、パーソナルコンピュータのマウスに対する操作と同様に、X座標、Y座標、ページアップ、およびページダウンの情報を出力してもよい。この場合、音源位置制御部172は、X座標、Y座標、ページアップ、およびページダウンの情報を回転情報に変換して、音源の音像定位位置を変更する。
この場合、トラックボール3は、ユーザの前後(Y)を軸とする回転操作を受け付けた場合に、回転量に応じたX座標の情報を出力する。トラックボール3は、ユーザの左右(X)を軸とする回転操作を受け付けた場合に、回転量に応じたY座標の情報を出力する。また、トラックボール3は、ユーザの上下(Z)を軸とする回転操作を受け付けた場合に、マウスにおける回転ホイールと同様に、ページアップまたはページダウンの情報を出力する。なお、トラックボール3は、回転操作に応じてX座標およびY座標の情報のみ出力してもよい。この場合、トラックボール3は、ページアップボタンおよびページダウンボタンに対する操作に応じてページアップおよびページダウンの情報を出力する。あるいは、トラックボール3は、リング上の操作子に対する回転量に応じてページアップおよびページダウンの情報を出力する。
音源位置制御部172は、トラックボール3の出力するX座標、Y座標、ページアップ、およびページダウンの情報と、各軸周りの回転情報と、の関係を予め対応付けてフラッシュメモリ18またはRAM19に記憶する。音源位置制御部172は、例えばキャリブレーションモードとして、ユーザのトラックボール3に対する操作と、回転情報と、を予め対応付ける。
図9は、キャリブレーションモードにおけるCPU17の動作を示すフローチャートである。CPU17は、ユーザからキャリブレーションモードの指示を受け付けたか否かを判断する(S21)。キャリブレーションモードの指示は、例えばオーディオ信号処理装置1に設けられた不図示のスイッチ等を押すことにより受け付ける。
キャリブレーションモードの指示を受け付けた場合、CPU17は、例えば、表示器21に、「初期設定」等の表示を行ない(S22)、トラックボール3を前後(Y)を軸として左方向に90度回転させる操作を案内する表示を行なう。ユーザは、表示された案内に従って、トラックボール3を左方向に90度回転させる。これにより、移動情報受付部173は、当該回転操作に応じた情報(X座標の情報)を受け付ける(S23)。
CPU17は、所定時間経過したか、またはユーザからキャリブレーションモードの終了指示を受け付けたか否かを判断する(S24)。所定時間経過したか、またはユーザからキャリブレーションモードの終了指示を受け付けた場合、音源位置制御部172は、トラックボール3から出力されたX座標の数値(例えばX=50)と、+90度のロール(R情報)と、を対応付けてフラッシュメモリ18またはRAM19に記憶する(S25)。音源位置制御部172は、同様の動作をチルト(T情報)およびロール(R情報)についても行なう。すなわち、音源位置制御部172は、トラックボール3から出力されたY座標の数値と、+90度のチルト(T情報)と、を対応付けてフラッシュメモリ18またはRAM19に記憶する。また、音源位置制御部172は、トラックボール3から出力されたページアップおよびページダウンの数値と、+90度のパン(P情報)と、を対応付けてフラッシュメモリ18またはRAM19に記憶する。
なお、音源位置制御部172は、トラックボール3をZ軸回りに右回転した場合にページアップ(+の値)を受信した場合には、ページアップの情報の+の値と、パン(P情報)の-の値とを対応付ける。すなわち、音源位置制御部172は、トラックボール3の回転方向と、パン(P情報)の回転方向とを一致させる。また、トラックボール3をX軸回りに、前方向に回転した場合にY座標として-の値を受信した場合には、当該-の値と、チルト(T情報)の+の値とを対応付ける。すなわち、音源位置制御部172は、トラックボール3の回転方向と、チルト(T情報)の回転方向とを一致させる。ただし、音源位置制御部172は、トラックボール3の回転方向と各軸の回転情報とを反転させてもよい。
音源位置制御部172は、キャリブレーションモードを終了すると、トラックボール3から受け付けたX座標、Y座標、ページアップ、およびページダウンの情報を回転情報に変換して、音源の音像定位位置を変更する。例えば、音源位置制御部172は、トラックボール3から出力されるX座標の数値がX=50である場合、+90度のロール(R情報)に変換する。
なお、CPU17は、X座標、Y座標、ページアップまたはページダウンのいずれか1つの操作のみ受け付けて、回転情報と対応付けてもよい。例えば、CPU17は、トラックボール3を左方向に90度回転させる案内だけ行い、X座標の数値のみ受け付けて、回転情報に対応付けてもよい。他の軸の回転は、X座標の数値と同じ割合で対応付けを行なう。
なお、トラックボール3の回転角度と、音源の回転角度とは、一致している必要はない。音源位置制御部172は、キャリブレーションモードにおいて、例えば、トラックボール3を90度回転させた場合に、音源を180度回転させるように対応づけることで、トラックボール3を90度回転させた場合に、音源を180度回転させることができる。この場合、ユーザは、少ない回転操作で音源を大きく移動させることができる。また、音源位置制御部172は、特定の軸に対する回転操作のみ、音源を大きく移動させて、他の軸に対する回転操作ではトラックボール3の回転角度と、音源の回転角度とを一致させてもよい。
あるいは、音源位置制御部172は、回転情報を受け付けた後に、継続的に音源を回転させながら徐々に回転量を小さくすることで、慣性運動を行なう様に音源の音像定位位置を変化させてもよい。
また、音源位置制御部172は、キャリブレーションモードにおいて、複数回の操作を受け付けて、各座標の平均値と回転情報とを対応付けることで、より精度を向上してもよい。
以上のようにして、音源位置制御部172は、パーソナルコンピュータのマウスに対する操作と同様に、X座標、Y座標、ページアップ、およびページダウンの情報を出力する機器が接続された場合でも、ユーザの回転操作に応じて、音源の音像定位位置を変更することができる。
なお、トラックボール3は、3軸の回転情報を出力する回転操作モードと、通常のマウスと同様に、X座標、Y座標、ページアップ、およびページダウンの情報を出力するマウスモードと、を切り換えてもよい。例えばトラックボール3は、筐体の一部にモード切替スイッチ(不図示)を備えている。ユーザがモード切替スイッチを操作すると、回転操作モードと、マウスモードと、を切り換える。これにより、ユーザは、パーソナルコンピュータを操作する場合にはマウスモードを用いて、本実施形態の様に音源の位置を制御する場合には回転操作モードを用いることができる。
本実施形態では、ユーザの操作を受け付ける機器として、トラックボール3を示したが、他にも種々の機器を回転操作受付装置として用いることができる。例えば、音源位置制御部172は、スマートフォンに搭載されたジャイロセンサの値を受け付けて、ジャイロセンサの値に応じて音源の音像定位位置を変更してもよい。また、音源位置制御部172は、回転摘まみの回転操作の値(ロータリエンコーダの値)に応じて音源の音像定位位置を変更してもよい。また、音源位置制御部172は、キー入力を行なうためのキーボードに対する操作に応じて音源の音像定位位置を変更してもよい。例えば、音源位置制御部172は、ユーザがカーソルキーを1回押す毎に音源の音像定位位置を15度回転させてもよい。
上記実施形態では、全ての音源が部屋L1の内部に定位する例を示した。しかし、例えば、図10に示す様に、音源が部屋L1の端に定位している場合において、そのまま各音源を回転すると、音源は、図11に示す様に、部屋L1の外側に定位することになる。部屋L1よりも外側に音像が定位すると、ユーザに違和感を与える場合がある。また、音源位置制御部172の管理する座標の値(例えば、-1.000~+1.000)を超える場合もある。
そこで、音源位置制御部172は、音源の位置を所定の球面上に配置してから、該球面に沿って音源の位置を回転させてもよい。
例えば、図12に示す様に、音源位置制御部172は、室内の天井付近、左前方の音源O1、右前方の音源O2、左後方の音源O3、右後方の音源O4を、それぞれ球面S1の上に配置する。球面S1は、最も近い壁面間の距離に相当する直径を有する。この例では、部屋L1の形状は立方体であり、部屋の中心位置から隔壁面の距離が1と仮定している。したがって、球面S1の半径は、1となる。音源位置制御部172は、各音源の位置を部屋の中心に近づける。例えば、音源位置制御部172は、音源O2の直交座標(X,Y,Z)が(1.000,1.000,1.000)である場合、音源O2の位置を(0.577,0.577,0.577)の位置に変更する。その後、音源位置制御部172は、図7に示した様に、回転情報に基づいて、音源の位置を、所定軸を中心として回転させる。
音源位置制御部172は、回転後に各音源の位置を中心から遠ざけて、部屋L1の壁面の位置に再配置してもよい。あるいは、音源位置制御部172は、先に音源の位置を回転させた後に、音源の位置を部屋の中心に近づけて、壁面の位置に再配置してもよい。これにより、各音源は、部屋L1の壁面または部屋L1の内部の位置に定位する。
また、音源位置制御部172は、図13(FIG.13AおよびFIG.13B)および図14(FIG.14AおよびFIG.14B)に示す様に、音源位置の回転量が多くなるほど、球面の大きさを小さくしてもよい。これにより、ユーザが回転操作を行なうだけで、音源の位置を自動的に中心に寄せる効果を実現することができる。また、音源位置制御部172は、球面の大きさを変更する操作を受け付けてもよい。例えば、ユーザがトラックボール3の上下(Z)を軸として回転操作した場合に、音源位置制御部172は、回転操作に応じて、球面の大きさを変更してもよい。
上記実施形態では、オーディオ信号処理装置1がトラックボール3を接続し、回転情報または直交座標の情報を受け付け、音源の位置を制御する例を示した。しかし、例えば、図15に示す様に、パーソナルコンピュータ(以下、PCと言う)2がトラックボール3を接続し、回転情報または直交座標の情報を受け付け、音源の位置を制御してもよい。
この場合、図16に示す様に、PC2のCPUがプログラムを読み出すことにより、位置情報取得部171、音源位置制御部172、および移動情報受付部173を構成する。トラックボール3およびPC2は、例えばUSBインタフェース(I/F)201を介して接続される。また、PC2およびオーディオ信号処理装置1も、USBインタフェース(不図示)で接続される。無論、これらの接続態様は、HDMI(登録商標)のインタフェース、またはネットワークインタフェース等であってもよい。
位置情報取得部171は、オーディオ信号処理装置1の信号処理部13から信号処理部13で生成した音源の位置情報を取得する。または、位置情報取得部171は、デコーダ12でデコードされたオブジェクト情報に含まれる位置情報を取得する。
移動情報受付部173は、USBI/F201を介して、トラックボール3から回転情報を受け付ける。音源位置制御部172は、位置情報取得部171から音源の位置情報を取得する。また、音源位置制御部172は、移動情報受付部173から回転情報を受け付ける。音源位置制御部172は、該回転情報に基づいて、音源の位置を、所定軸を中心として回転させる。音源位置制御部172は、回転後の位置情報をオーディオ信号処理装置1に送信する。これにより、PC2は、定位処理部14における音源の音像定位位置を変更する。
以上のようにして、ユーザは、PC2を用いて音源の位置を回転させることもできる。なお、PC2からオーディオ信号処理装置1に対して、音源毎に個別に位置情報を送信してもよいが、全ての音源に対する位置情報をまとめて送信してもよい。
なお、通常、マウスは、1600dpi等の分解能を有する。マウスは、例えば10インチの移動量に対して、160000サンプルの値を出力することができる。一方で、音源の位置情報は、例えば同じ10インチの移動量に対して-1.000~+1.000の値で表されるように相対的に低い分解能の場合がある。そこで、音源位置制御部172は、トラックボール3から受け付けた情報の分解能と音源の位置情報の分解能が異なる場合に、トラックボール3から受け付けた高い分解能情報の値を位置情報の低い分解能に変換する。なお、音源位置制御部172は、分解能の高い情報(トラックボール3から受け付けた情報)をフラッシュメモリ18またはRAM19に記憶しておくことが好ましい。この場合、音源位置制御部172は、次回トラックボール3から回転情報を受け付けた場合に、位置情報取得部171で取得する位置情報ではなく、フラッシュメモリ18またはRAM19に記憶している回転情報を更新して、位置情報の分解能に変換する。これにより、音源位置制御部172は、精度の高い情報を用いて位置情報を更新することができる。ただし、音源位置制御部172は、最初にPC2を起動した時には、位置情報取得部171を介して、オーディオ信号処理装置1から現在の音源位置情報を取得して、最初の基準位置を求めてもよい。
上記実施形態では、ユーザの回転操作に応じて音源の位置を回転させる態様を示した。しかし、オーディオ信号処理装置1は、例えば、図17(FIG.17AおよびFIG.17B)に示す様に、ユーザの回転操作に応じて音源の位置を中心に近づけるように、半径の大きさを変更してもよい。または、オーディオ信号処理装置1は、ユーザの回転操作に応じて音源の位置を原点(0,0,0)に近づけてもよい。
また、オーディオ信号処理装置1は、図18(FIG.18AおよびFIG.18B)に示す様に、ユーザの回転操作に応じて音源の位置を上下に移動させてもよい。また、オーディオ信号処理装置1は、ユーザの回転操作に応じて音源の位置を左右または前後に移動させてもよい。
また、ユーザは、例えばモード切替スイッチ(不図示)を操作することにより、回転操作に対して、音源を回転させるモードか、半径を変更するモードか、上下、左右または前後に移動させるモードか、選択することができる。
また、ユーザの操作は、回転操作に限らない。例えば、オーディオ信号処理装置1は、ランダムスイッチ(不図示)に対する操作を受け付けてもよい。この場合、オーディオ信号処理装置1は、ランダムスイッチの操作に応じて、各音源をランダムな位置に再配置する。
また、例えば、オーディオ信号処理装置1は、直線モードスイッチ(不図示)に対する操作を受け付けてもよい。この場合、オーディオ信号処理装置1は、直線モードスイッチの操作に応じて、各音源を1つの直線上に再配置する。
また、例えば、オーディオ信号処理装置1は、コーナー配置スイッチ(不図示)に対する操作を受け付けてもよい。この場合、オーディオ信号処理装置1は、コーナー配置スイッチの操作に応じて、各音源を部屋L1のコーナー(例えば天井の四隅、および床の四隅)に再配置する。
なお、オーディオ信号処理装置1は、現在の音源の位置情報を特定のスイッチに対応付けて、フラッシュメモリ18またはRAM19に記憶してもよい。例えば、ユーザがストアボタン(不図示)を操作したとき、オーディオ信号処理装置1は、現在の音源の位置情報を特定のスイッチに対応付けて、フラッシュメモリ18またはRAM19に記憶する。そして、ユーザがリコールボタン(不図示)を押したとき、フラッシュメモリ18またはRAM19に記憶されている位置情報から対応する位置情報を読み出して、音源を再配置する。これにより、ユーザは、リコールボタンを押すだけで、過去の音源の配置を簡単に再現することができる。
上述のように、ユーザの移動操作は、回転操作に限らない。移動操作は、回転操作以外にも、例えば、平行移動操作も含む。図19は、操作受付装置の変形例を示す斜視図である。操作受付装置30は、直方体形状の筐体の上面に、第1スティック300、第2スティック310、押しボタン301、押しボタン302、および押しボタン303を備えている。
第1スティック300は、平行移動操作を受け付ける操作子である。第1スティック300は、左右の平行移動を受け付けることで、移動情報として、X座標の情報を出力する。第1スティック300は、前後の平行移動を受け付けることで、移動情報として、Y座標の情報を出力する。また、第1スティック300は、上下の平行移動を受け付けることで、移動情報として、Z座標の情報を出力する。
音源位置制御部172は、操作受付装置30から出力されたX,Y,Zの移動情報に応じて、音源の位置を移動させる。これにより、ユーザは、第1スティック300を操作することで、図18(FIG.18AおよびFIG.18B)に示した様に、音源を上下、左右または前後に移動させることができる。
第2スティック310は、回転操作を受け付ける操作子である。第2スティック310は、左右の傾斜操作を受け付けることで、ロール(R)情報を出力する。第2スティック310は、前後の傾斜操作を受け付けることで、チルト(T)情報を出力する。また、第2スティック310は、平面視してZ軸回りの回転操作を受け付けることで、ピッチ(P)情報を出力する。
この場合、ユーザは、第2スティック310を操作することで、図6および図7に示した様に、音源の位置を回転させることができる。
ユーザは、押しボタン301、押しボタン302、または押しボタン303のいずれかを押すことで、平行移動操作を受け付ける状態と、回転操作を受け付ける状態と、拡大縮小操作を受け付ける状態と、を切り替えることができる。
移動情報受付部173は、押しボタン301の押下情報を受け付けると、図17(FIG.17AおよびFIG.17B)に示した様に、移動情報に応じて半径の大きさを変更する状態に切り換える。この場合、移動情報受付部173は、上下の平行移動を受け付けることで、半径の大きさを変更する情報を音源位置制御部172に出力する。ユーザが第1スティック300を上下方向に平行移動させると、移動情報受付部173は、操作受付装置30から出力されるZ座標の数値に応じて、音源の配置されている球面S1の半径の情報を変更する。なお、半径の大きさを変更する状態では、移動情報受付部173は、他の操作を受け付けないようにしてもよい。
なお、半径の拡大縮小を受け付ける操作は、上下方向の操作に限らない。例えば、移動情報受付部173は、第2スティック310に対するZ軸回りの回転操作であるピッチ(P)情報に応じて半径の情報を出力してもよい。
一方、ユーザが押しボタン302を押すと、移動情報受付部173は、平行移動を受け付ける状態に切り換わる。また、ユーザが押しボタン303を押すと、移動情報受付部173は、回転移動を受け付ける状態に切り換わる。
なお、平行移動、回転移動、および半径の拡大縮小を受け付けるための操作子は、図20に示す様に、1つの操作子であってもよい。図20は、操作受付装置31を示す斜視図である。操作受付装置31は、直方体形状の筐体の上面に、第3スティック350、押しボタン301、押しボタン302、および押しボタン303を備えている。
第3スティック350は、平行移動操作(X,Y,Z)と、回転操作(R,T,P)の操作と、の両方を受け付ける操作子である。操作受付装置30と同様に、移動情報受付部173は、押しボタン301の操作を受け付けると、図17(FIG.17AおよびFIG.17B)に示した様に、半径の大きさを変更する状態に切り換わる。移動情報受付部173は、押しボタン302の操作を受け付けると、平行移動を受け付ける状態に切り換わる。また、移動情報受付部173は、押しボタン303の操作を受け付けると、回転移動を受け付ける状態に切り換わる。
ただし、移動情報受付部173は、平行移動および回転移動の両方を受け付けてもよい。この場合、ユーザは、音源の位置を平行移動させながら回転移動も行なうことができる。
第1スティック300、第2スティック310、および第3スティック350は、内部に不図示の弾性体を備える。第1スティック300、第2スティック310、および第3スティック350は、当該弾性体の弾性力により、操作をしない場合に原点の位置に戻るようになっている。
移動情報受付部173は、第1スティック300、第2スティック310、または第3スティック350の移動量に応じて、以下のいずれかのモードにより、音源の位置を変更する。
(絶対値モード)
絶対値モードは、第1モードに対応する。絶対値モードは、第1スティック300、第2スティック310、または第3スティック350(以下、スティック操作子と称する。)の位置と、音源の位置を1対1に対応させるモードである。
音源位置制御部172および移動情報受付部173は、利用者から絶対値モード指定操作(例えば押しボタン301の長押し操作など)を受け付けた場合に、現在の音源の位置を基準位置としてRAM19に記憶する。これにより、移動情報受付部173は、現在の音源の位置をスティック操作子の原点の位置に対応させる。そして、音源位置制御部172は、スティック操作子の移動量に応じて、音源の位置を変更する。例えば、移動情報受付部173がZ軸回りに右90度の回転操作を受け付けた場合、音源位置制御部172は、音源の位置を右90度回転させる。音源位置制御部172は、スティック操作子の位置が原点に戻ると、音源の位置を基準位置に戻す。また、例えば、移動情報受付部173がZ軸回りに右90度の回転操作を受け付けた場合、音源位置制御部172は、音源の位置を右180度回転させてもよい。すなわち、音源位置制御部172は、回転操作に対する回転量の比率を変更してもよい。
(相対値モード)
相対値モードは、第1モードの変形例である。相対値モードは、スティック操作子の原点からの移動量に応じて音源の位置を変化し、変化後の位置を保持するモードである。音源位置制御部172および移動情報受付部173は、利用者から相対値モード指定操作(例えば押しボタン302の長押し操作など)を受け付けた場合に、相対値モードに移行する。音源位置制御部172は、スティック操作子の原点の位置からの移動量に応じて、音源の位置を積算しながら変更する。例えば、移動情報受付部173がZ軸回りに右90度の回転操作を受け付けた場合、音源位置制御部172は、音源の位置を右90度回転させる。また、音源位置制御部172は、上記積算により、例えばユーザがスティック操作子を90度回転した位置でそのまま3秒間保持したとすると、音源の位置を右270度回転させる。音源位置制御部172は、スティック操作子の位置が原点に戻っても、音源の位置をそのまま保持する。なお、この例では、説明を簡単にするために、スティック操作子を90度回転して3秒間保持すると、音源位置制御部172は、音源の位置を270度回転させた。ただし、音源位置制御部172は、90度回転するまでの間にも移動量を積算しているため、実際には、音源の位置を270度以上回転させる。
(自動継続モード)
自動継続モードは、第2モードに対応する。自動継続モードは、スティック操作子の移動に応じて移動させた音源の位置をそのまま継続するモードである。また、自動継続モードでは、スティック操作子の原点からの移動量に応じて音源の移動速度を変更する。
音源位置制御部172および移動情報受付部173は、利用者から自動継続モード指定操作(例えば押しボタン303の長押し操作など)を受け付けた場合に、自動継続モードに移行する。音源位置制御部172は、スティック操作子の移動に応じて、音源の位置を変更する。例えば、移動情報受付部173がZ軸回りに右回転の操作を受け付けた場合、音源位置制御部172は、音源の位置を右回転させる。そして、音源位置制御部172は、スティック操作子の位置が原点に戻っても、音源の右回転を継続させる。
また、音源位置制御部172は、スティック操作子の原点からの移動量に応じて音源の移動速度を変更する。例えば、音源位置制御部172は、Z軸回りに右45度の回転操作を受け付けた場合と、右90度の回転操作を受け付けた場合と、で音源の回転速度を変更する。例えば、音源位置制御部172は、右90度の回転操作を受け付けた場合、Z軸回りに右45度の回転操作を受け付けた場合の2倍の速度で回転させる。
音源位置制御部172は、移動速度の最大値をRAM19に保持する。音源位置制御部172は、当該最大値に応じて音源の移動速度を管理する。図21は、自動継続モードにおける音源位置制御部172の動作を示すフローチャートである。図22は、スティック操作子の移動量と最大値との関係を示す図である。なお、最大値とは、RAM19に保持した値をリセットした後から現在時点までの最大の移動速度を意味する。
スティック操作子が移動すると音源位置制御部172は、図21に示す動作を開始する。音源位置制御部172は、スティック操作子の原点からの移動量が減少したか否かを判断する(S51)。スティック操作子の原点からの移動量が減少していない場合、音源位置制御部172は、スティック操作子の原点からの移動量で最大値を更新する(S52)。例えば、図22に示す状態1から状態3まで、スティック操作子の原点からのロール(R)の移動量は増加している。また、状態3から状態5まで、スティック操作子の原点からのチルト(T)の移動量は増加している。したがって、音源位置制御部172は、図22の例では、状態1から状態5まで、スティック操作子の原点からの移動量で最大値を更新する。
スティック操作子の原点からの移動量が減少すると、音源位置制御部172は、音源の移動速度を最大値に設定する(S53)。すなわち、この例では、スティック操作子の原点からの移動量が減少した時点で音源の移動速度が最大値に設定される。図22の例では、状態6の時点でチルト(T)の移動量も減少したため、音源位置制御部172は、最大値(1,1,0)を移動速度に設定する。
その後、音源位置制御部172は、スティック操作子の位置が原点に戻ったか否かを判断する(S54)。スティック操作子の位置が原点に戻っていなければ、音源位置制御部172は、S51の判断から処理を繰り返す。スティック操作子の位置が原点に戻った場合、音源位置制御部172は、最大値をリセットする(S55)。
図22の例では、音源位置制御部172は、状態8の時点で最大値をリセットする。この状態においても、音源の移動は継続している。しかし、次にスティック操作子が移動し、かつ移動量が低減した場合、最大値が更新される。図22の例では、状態9で再びスティック操作子が移動し、状態11で移動量が低減する。したがって、音源位置制御部172は、状態11の時点で移動速度を(1,1,0)から(0.5,0,0)に変更する。
これにより、ユーザは、現在の移動速度からさらに移動速度を増加させたい場合には、スティック操作子を原点に戻してから大きく移動させればよいし、現在の移動速度から移動速度を低減させたい場合には、スティック操作子を原点に戻してから小さく移動させればよい。
なお、音源位置制御部172は、自動継続モードにおいて、利用者から移動停止操作(例えば押しボタン301の2回押し操作など)を受け付けた場合に、音源の移動を停止させてもよい。
なお、スティック操作子は、移動量ではなく、押圧力を検出してもよい。この場合、操作受付装置30および操作受付装置31は、押圧力に応じた移動情報を出力する。また、操作受付装置の操作子の形状は、スティック状に限らない。操作子は、ユーザの平行移動操作または回転移動操作を受け付ける操作子であればどの様な形状であってもよい。
なお、操作受付装置30および操作受付装置31は、複数を同時に使用することもできる。例えば、複数の操作受付装置31により、それぞれ異なる対象の音源の位置を変更できるようにしてもよい。
本実施形態の説明は、すべての点で例示であって、制限的なものではない。本発明の範囲は、上述の実施形態ではなく、特許請求の範囲によって示される。さらに、本発明の範囲には、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
例えば、上記実施形態では、オーディオ信号処理装置1は、部屋内の3次元上に配置した複数のスピーカを用いて音源の音像を3次元に定位させた。しかし、オーディオ信号処理装置1は、例えば、頭部伝達関数などの仮想音像定位処理を用いて、2つのスピーカ、ヘッドホンまたはイヤホン等で音源の音像を3次元に定位させてもよい。また、オーディオ信号処理装置1は、ビーム状の音を出力して、壁または天井に音を反射させることで、2次元に配置されたスピーカだけで、3次元に音源の音像を定位させてもよい。
L1…部屋
O1,O2,O3,O4…音源
S1…球面
SP1,SP2,SP3,SP4,SP5,SP6,SP7,SP8…スピーカ
1…オーディオ信号処理装置
2…PC
3…トラックボール
11…音信号入力部
12…デコーダ
13…信号処理部
14…定位処理部
15…D/Aコンバータ
16…AMP
17…CPU
18…フラッシュメモリ
19…RAM
20…I/F
21…表示器
100…オーディオ信号処理システム
171…位置情報取得部
172…音源位置制御部
173…移動情報受付部
201…USBI/F

Claims (26)

  1. 音信号を入力する音信号入力部と、
    前記音信号の音源の位置情報を取得する位置情報取得部と、
    回転情報を含む移動情報の入力を受け付ける移動情報受付部と、
    前記回転情報に基づいて、前記音源の位置情報を、所定軸を中心として回転移動させ、かつ、前記所定軸を中心として回転移動させた後の前記音源の位置情報に基づいて、前記音源の音像定位位置を変更する、音源位置制御部と、
    前記音源位置制御部で変更した前記音像定位位置に前記音源の音像が定位するように、前記音信号に対して定位処理を行なう定位処理部と、
    を備えたことを特徴とするオーディオ信号処理装置。
  2. 前記移動情報受付部は、3次元の移動情報の入力を受け付け、
    前記音源位置制御部は、前記音源の位置を前記3次元の移動情報に基づいて移動させる、
    請求項1に記載のオーディオ信号処理装置。
  3. 前記音源位置制御部は、前記音源の位置を所定の球面上に配置して、該球面に沿って回転させる、
    請求項1又は請求項2に記載のオーディオ信号処理装置。
  4. 前記音源位置制御部は、複数の音源の位置を移動させ、前記音像定位位置を変更する、
    請求項1乃至請求項のいずれか1項に記載のオーディオ信号処理装置。
  5. 前記移動情報受付部は、前記音源のうち移動対象とする音源の指定入力を受け付け、
    前記音源位置制御部は、前記指定入力に基づいて、対象の音源を移動させ、前記音像定位位置を変更する、
    請求項1乃至請求項のいずれか1項に記載のオーディオ信号処理装置。
  6. 前記音源の位置を表示器に表示する表示処理部と、を備えた、
    請求項1乃至請求項のいずれか1項に記載のオーディオ信号処理装置。
  7. 前記音源位置制御部は、前記移動情報の分解能と前記位置情報の分解能が異なる場合に、前記移動情報の値を前記位置情報の分解能に変換して、前記音源の音像定位位置を変更する、
    請求項1乃至請求項のいずれか1項に記載のオーディオ信号処理装置。
  8. 前記音源位置制御部は、前記移動情報を直交座標に変換して、前記音源の音像定位位置を変更する、
    請求項1乃至請求項のいずれか1項に記載のオーディオ信号処理装置。
  9. 前記音源位置制御部は、前記移動情報に基づいて前記音源の位置を移動した後、前記音源の移動を停止させる第1モードを実行する、
    請求項1乃至請求項のいずれか1項に記載のオーディオ信号処理装置。
  10. 前記音源位置制御部は、前記移動情報に基づいて前記音源の位置を移動した後、前記音源の移動を継続させる第2モードを実行する、
    請求項1乃至請求項のいずれか1項に記載のオーディオ信号処理装置。
  11. 前記音源位置制御部は、前記第2モードにおいて、前記移動情報の最大値に基づいて前記音源の位置の移動速度を制御し、前記移動情報が所定の値になった場合に前記最大値をリセットする、
    請求項10に記載のオーディオ信号処理装置。
  12. 請求項1乃至請求項11のいずれか1項に記載のオーディオ信号処理装置と、
    利用者から移動操作を受け付けて、該移動操作に応じた前記移動情報を、前記移動情報受付部に対して入力する、操作受付装置と、
    を備えたオーディオ信号処理システム。
  13. 前記操作受付装置は、トラックボールを含む、
    請求項12に記載のオーディオ信号処理システム。
  14. 音信号を入力し、
    前記音信号の音源の位置情報を取得し、
    回転情報を含む移動情報の入力を受け付け、
    前記回転情報に基づいて、前記音源の位置情報を、所定軸を中心として回転移動させ、かつ、前記所定軸を中心として回転移動させた後の前記音源の位置情報に基づいて、前記音源の音像定位位置を変更し、
    変更した前記音像定位位置に前記音源の音像が定位するように、前記音信号に対して定位処理を行なう、
    ことを特徴とするオーディオ信号処理方法。
  15. 前記移動情報の入力を受け付けることにおいて、3次元の移動情報の入力を受け付け、
    前記音像定位位置を変更することにおいて、前記音源の位置を前記3次元の移動情報に基づいて移動させる、
    請求項14に記載のオーディオ信号処理方法。
  16. 前記移動情報の入力を受け付けることにおいて、前記音源の位置を所定の球面上に配置して、該球面に沿って回転させる、
    請求項14又は請求項15に記載のオーディオ信号処理方法。
  17. 前記移動情報の入力を受け付けることにおいて、複数の音源の位置を移動させ、前記音像定位位置を変更する、
    請求項14乃至請求項16のいずれか1項に記載のオーディオ信号処理方法。
  18. 前記移動情報の入力を受け付けることにおいて、前記音源のうち移動対象とする音源の指定入力を受け付け、
    前記移動情報の入力を受け付けることにおいて、前記指定入力に基づいて、対象の音源を移動させ、前記音像定位位置を変更する、
    請求項14乃至請求項17のいずれか1項に記載のオーディオ信号処理方法。
  19. 前記音源の位置を表示器に表示する、
    請求項14乃至請求項18のいずれか1項に記載のオーディオ信号処理方法。
  20. 前記音源の音像定位位置を変更することにおいて、前記移動情報の分解能と前記位置情報の分解能が異なる場合に、前記移動情報の値を前記位置情報の分解能に変換する、
    請求項14乃至請求項19のいずれか1項に記載のオーディオ信号処理方法。
  21. 前記音源の音像定位位置を変更することにおいて、前記移動情報を直交座標に変換して、前記音源の音像定位位置を変更する、
    請求項14乃至請求項20のいずれか1項に記載のオーディオ信号処理方法。
  22. 前記音源の音像定位位置を変更することにおいて、前記移動情報に基づいて前記音源の位置を移動した後、前記音源の位置の移動を停止させる第1モードを実行する、
    請求項14乃至請求項21のいずれか1項に記載のオーディオ信号処理方法。
  23. 前記音源の音像定位位置を変更することにおいて、前記移動情報に基づいて前記音源の位置を移動した後、前記音源の移動を継続させる第2モードを実行する、
    請求項14乃至請求項22のいずれか1項に記載のオーディオ信号処理方法。
  24. 前記第2モードにおいて、前記移動情報の最大値に基づいて前記音源の位置の移動速度を制御し、前記移動情報が所定の値になった場合に前記最大値をリセットする、
    請求項23に記載のオーディオ信号処理方法。
  25. 利用者から移動操作を操作受付装置で受け付けて、該移動操作に応じた前記移動情報を入力する、
    請求項14乃至請求項24のいずれか1項に記載のオーディオ信号処理方法。
  26. 前記操作受付装置は、トラックボールを含む、
    請求項25に記載のオーディオ信号処理方法。
JP2021508876A 2019-03-25 2020-03-02 オーディオ信号処理装置、オーディオ信号処理システムおよびオーディオ信号処理方法 Active JP7088408B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019055841 2019-03-25
JP2019055841 2019-03-25
PCT/JP2020/008617 WO2020195568A1 (ja) 2019-03-25 2020-03-02 オーディオ信号処理装置、オーディオ信号処理システムおよびオーディオ信号処理方法

Publications (2)

Publication Number Publication Date
JPWO2020195568A1 JPWO2020195568A1 (ja) 2021-10-21
JP7088408B2 true JP7088408B2 (ja) 2022-06-21

Family

ID=72608601

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021508876A Active JP7088408B2 (ja) 2019-03-25 2020-03-02 オーディオ信号処理装置、オーディオ信号処理システムおよびオーディオ信号処理方法

Country Status (3)

Country Link
US (1) US20220030374A1 (ja)
JP (1) JP7088408B2 (ja)
WO (1) WO2020195568A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117044242A (zh) * 2021-03-29 2023-11-10 索尼集团公司 信息处理装置、信息处理系统、信息处理方法和程序

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005101738A (ja) 2003-09-22 2005-04-14 Yamaha Corp 音像定位設定装置及びそのプログラム
JP2007329746A (ja) 2006-06-08 2007-12-20 Nippon Hoso Kyokai <Nhk> 3次元音響パンニング装置
JP2014107764A (ja) 2012-11-28 2014-06-09 Yamaha Corp 位置情報取得装置、およびオーディオシステム
JP2016134767A (ja) 2015-01-20 2016-07-25 ヤマハ株式会社 オーディオ信号処理装置
JP2018152669A (ja) 2017-03-10 2018-09-27 ヤマハ株式会社 情報処理装置および情報処理方法
JP2018186471A (ja) 2017-04-27 2018-11-22 ティアック株式会社 目標位置設定装置及び音像定位装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11331995A (ja) * 1998-05-08 1999-11-30 Alpine Electronics Inc 音像制御装置
US7116788B1 (en) * 2002-01-17 2006-10-03 Conexant Systems, Inc. Efficient head related transfer function filter generation
WO2007083739A1 (ja) * 2006-01-19 2007-07-26 Nippon Hoso Kyokai 3次元音響パンニング装置
US9420394B2 (en) * 2011-02-16 2016-08-16 Apple Inc. Panning presets
US20210048976A1 (en) * 2018-04-24 2021-02-18 Sony Corporation Display control apparatus, display control method, and program

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005101738A (ja) 2003-09-22 2005-04-14 Yamaha Corp 音像定位設定装置及びそのプログラム
JP2007329746A (ja) 2006-06-08 2007-12-20 Nippon Hoso Kyokai <Nhk> 3次元音響パンニング装置
JP2014107764A (ja) 2012-11-28 2014-06-09 Yamaha Corp 位置情報取得装置、およびオーディオシステム
JP2016134767A (ja) 2015-01-20 2016-07-25 ヤマハ株式会社 オーディオ信号処理装置
JP2018152669A (ja) 2017-03-10 2018-09-27 ヤマハ株式会社 情報処理装置および情報処理方法
JP2018186471A (ja) 2017-04-27 2018-11-22 ティアック株式会社 目標位置設定装置及び音像定位装置

Also Published As

Publication number Publication date
US20220030374A1 (en) 2022-01-27
WO2020195568A1 (ja) 2020-10-01
JPWO2020195568A1 (ja) 2021-10-21

Similar Documents

Publication Publication Date Title
KR102419065B1 (ko) 혼합 현실 디바이스에서의 가상 및 실제 객체 레코딩
KR101659954B1 (ko) 라우드스피커 위치들의 추정
JP5866199B2 (ja) 3dポインタマッピング
US6069594A (en) Computer input device with multiple switches using single line
US20100007518A1 (en) Input apparatus using motions and user manipulations and input method applied to such input apparatus
US20040095317A1 (en) Method and apparatus of universal remote pointing control for home entertainment system and computer
WO2014077374A1 (ja) オーディオ信号処理装置、位置情報取得装置、およびオーディオ信号処理システム
US20120208639A1 (en) Remote control with motion sensitive devices
WO2006128093A2 (en) Remote input device
JP7088408B2 (ja) オーディオ信号処理装置、オーディオ信号処理システムおよびオーディオ信号処理方法
JP2013008365A (ja) 運動感知型機器を用いる遠隔制御
EP3037936B1 (en) Image projection apparatus, and system employing interactive input-output capability
CN111886881B (zh) 信号处理装置、声道设置方法、记录介质以及扬声器系统
JP6255703B2 (ja) オーディオ信号処理装置及びオーディオ信号処理システム
US6404415B1 (en) Control mechanism and method for controlling parameter values and for controlling a position of a cursor of a portable computer display
JP6201431B2 (ja) 端末装置のプログラム及びオーディオ信号処理システム
KR20210019424A (ko) 정보 처리 장치, 정보 처리 방법
JP5326659B2 (ja) 画像入力装置及び画像表示システム
JP2000047812A (ja) 入力装置
JPH1091328A (ja) コマンド入力装置
JPH0381172B2 (ja)
JPH07299776A (ja) マニプレータ制御装置
CN112256130A (zh) 生成控制指令的方法和装置
JP2005122238A (ja) 入力インターフェース、及び入力インターフェース方法
JPH06241883A (ja) 3次元情報入力装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210217

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211026

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220510

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220523

R151 Written notification of patent or utility model registration

Ref document number: 7088408

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151