JP6553012B2

JP6553012B2 - 音声調整卓

Info

Publication number: JP6553012B2
Application number: JP2016209609A
Authority: JP
Inventors: 雅人武末
Original assignee: Tamura Corp
Current assignee: Tamura Corp
Priority date: 2016-10-26
Filing date: 2016-10-26
Publication date: 2019-07-31
Anticipated expiration: 2036-10-26
Also published as: JP2018074280A

Description

本発明は、３次元空間における音像生成機能を具備した音声調整卓に関する。

３次元空間における音像定位を行うために、３次元空間に配置された複数のスピーカから出力される音量を得る必要がある。この種の技術の代表的なものとして、特許文献１に記載の発明が知られている。特許文献１の発明は、音源からの音響信号の物理量ベクトル、音源の方向や距離に基づく定位情報、およびスピーカの配置情報などに基づいて、音像形成を形成するための音響信号を生成し、この音響信号を各スピーカに出力することにより、３次元空間の自在な位置に音像を定位する。

具体的には、特許文献１の発明では、音源が放射する音源音響信号S(t)を読み込み、この音源音響信号S(t)をフーリエ変換して周波数領域音源音響信号S(ω)を算出する。その後、音源を定位させるためのパンニング処理を実行して周波数領域音像形成音響信号Q(ω)を算出し、この周波数領域音像形成音響信号Q(ω)を逆フーリエ変換して時間領域の信号である音像形成音響信号q(t)を算出する。

このようにして得られた音像形成音響信号q(t)を予め定めた位置に配置したスピーカから出力することにより、音源に印加される音源音響信号S(t)がパンニングする状況を再現する。この場合、受音点を原点とする空間内の音源から放射された音源音響信号S(t)の原点における音源音圧ベクトルＲとし、スピーカＳが周波数領域音像形成音響信号Q(ω)を出力した時の原点における音像音圧ベクトルＶとすると、音源音圧ベクトルＲ＝音像音圧ベクトルＶが成立するように、周波数領域音像形成音響信号Q(ω)を決定し、時間領域を逆変換してスピーカから出力する。

特許第５０１０１８５号公報

特許文献１の発明において、音像を定位する場合、定位すべき音響信号の物理量や定位する空間の座標などに応じて、各種の複雑な演算が必要になる。しかも、その演算は、刻々と変化する音響信号や定位点に合わせて迅速に行う必要がある。特許文献１の発明では、特定の音像を表現するために、空間内のすべての音像定位点について、前記のような演算を行う必要がある。

この種の演算処理の方式としては、次の２つが考えられる。
（１）音像の定位点ごとに、リアルタイムで演算処理を行う方式。
（２）音像の定位点ごとに演算処理結果をメモリ保持して置き、定位すべき位置に合わせて演算処理結果を検索する方式。

しかし、これらの方式は、次のような問題点がある。
（１）の場合には複雑な演算処理を常時行うため、処理負荷が高くリアルタイムに音声に反映するのは難しい。
（２）の場合は音声調整卓が表現する３次元空間のすべての音源ポイントについての演算処理結果を、メモリ上に保持する必要があるため、大量のメモリを必要とする。

前記のような問題点は、特許文献１の発明に限らず、空間内の所望の座標に音像を定位する際に同様に生じるものである。すなわち、空間内の所望の座標に音像を定位するための音像生成値としては、特許文献１の音像形成音響信号q(t)以外にも考えられるが、すべての座標ごとにリアルタイムで演算を行ったり、すべての座標について音像生成値の演算結果をメモリに保存しておくことは、音声調整卓等の演算装置にとって多大な負担となる。

本発明の目的は、少ないメモリで、音像の定位操作をリアルタイムに音声に反映することができる音声調整卓を提供することにある。

本発明の音声調整卓は、次のような構成を有することを特徴とする。
（１）音源が発生する音響信号の取得部。
（２）直方体空間内における音像定位情報の入力部。
（３）スピーカの配置情報の入力部。
（４）音像を定位する直方体の空間について、その６つの表面上にある各音像定位点の音像生成値の演算結果を保存するデータベース。
（５）前記音像定位情報の入力部から入力された音像定位点の３次元座標が、前記直方体の空間の中心点と立方体の４つの頂点によって形成された６つの領域のいずれに属するかを判定する領域判定部。
（６）前記６つの領域のいずれかに属することが判定された前記３次元座標について、直方体中心と音像定位点の距離を求める距離演算部。
（７）直方体中心と音像定位点を結ぶ直線と、前記音像定位点の属する領域の直方体表面との交点である基本ポイントを求める位置演算部。
（８）前記データベース内に保存された前記基本ポイントの音像生成値と、前記距離演算部で求めた距離に基づいて、音像定位点の音像生成値を演算する信号演算部。

本発明の音声調整卓において、次のような構成を有することが好ましい。
（１）前記音像生成値が、音源が放射する音源音響信号S(t)を読み込み、この音源音響信号S(t)をフーリエ変換して周波数領域音源音響信号S(ω)を算出し、音源を定位させるためのパンニング処理を実行して周波数領域音像形成音響信号Q(ω)を算出し、この周波数領域音像形成音響信号Q(ω)を逆フーリエ変換して算出された音像形成音響信号q(t)である。
（２）前記直方体が、音像を定位する現実の空間に外接する形状である。

本発明によれば、基点となるポイントのみの音像生成値に関する演算結果をメモリ上に保持することにより、位置と距離を求めることで演算処理の簡略化が行え、メモリ使用量も極僅かで３次元空間における音像生成を行うことができる。

本発明の音声調整卓の実施形態を示すブロック図。本発明において、音像を定位する座標と、基本ポイントの関係を示す模式図。実施形態における空間の座標を示すグラフ。実施形態における空間の６つの領域を示す斜視図。

以下、本発明の実施形態を、図面に従って具体的に説明する。
［１．構成］

本実施形態の音声調整卓は、音源が発生する音響信号の取得部１と、直方体空間内における音像定位情報の入力部２と、スピーカの配置情報の入力部３を有する。また、音像を定位する直方体の空間について、その６つの表面上にある各音像定位点の音像形成音響信号q(t)の演算結果を保存するデータベース４を備える。

音響信号の取得部１と音像定位情報の入力部２の出力側は、領域判定部５に接続される。領域判定部５は、音像定位情報の入力部２から入力された音像定位点の３次元座標が、直方体の空間の中心点と立方体の４つの頂点によって形成された６つの領域のいずれに属するかを判定する。領域判定部５の出力側には、距離演算部６が設けられる。距離演算部６は、６つの領域のいずれかに属することが判定された３次元座標について、直方体中心と音像定位点の距離を求める。

距離演算部６の出力側には、位置演算部７が設けられる。位置演算部７は、直方体中心と音像定位点を結ぶ直線と、音像定位点の属する領域の直方体表面との交点の位置を求める。

位置演算部７の出力側には、信号演算部８が設けられる。信号演算部８は、データベース４内に保存された基本ポイントの音像形成音響信号q(t)と、距離演算部６で求めた距離に基づいて、音像定位点の音像形成音響信号q(t)を演算する。
［２．作用］
[２−１．３次元空間]
本実施形態では、音響システムが構築する空間を、図３に示すとおり、一例として、縦２４０ポイント、横２４０ポイント、高さ１３４ポイントの３次元空間とする。あらかじめ音像生成値の演算結果を保持するポイント（以下、基本ポイントという）は、立方体の６面上のポイントとなる。この６面上のポイント（２４０×２４０×２）＋（２４０×１３４×４）について、その音像生成値、例えば特許文献１の発明の方法で演算した周波数領域音像形成音響信号Q(ω)をデータベース４に保存しておく。

音像定位情報の入力部２によって指定された音像が立方体面上にある場合は、データベース４に保存された値をそのまま使用することで音像を定位する。指定された音像が立方体内にある場合は、領域判定部５、距離演算部６、位置演算部７及び信号演算部８を使用して、データベース４に保存された情報を下記(P)(D)に基づいて加工する。

(P)指定された音像と聴覚者で作られる、仰角・方位角の値と近似する立方体面上の基本ポイント
(D)基本ポイントとの距離の比率

空間内において定位すべき音像は、方向と大きさを成分とするベクトルによって表現される。そこで、本実施形態では、音像の定位点と仰角・方位角が近似する基本ポイント(P)を見つけることで方向を決定し、予め保持しておいた基本ポイント(P)の演算結果に、大きさを意味する基本ポイントと定位点の距離の比率(D)を積算する。

すなわち、求めるべき基本ポイントの位置をPosition(P)、距離の比率をDistance(D)とした時、それぞれ３次元空間において図２のように表現できる。この位置(P)及び距離の比率(D)を得ることで複雑な演算を用いず３次元空間における音像生成を容易に算出することができる。具体的な位置(P)と距離の比率(D)を求める演算は、以下のとおり、領域判定部５、距離演算部６及び位置演算部７による。

［２−２．領域判定部５］
（１）直方体の領域分割
領域判定部５では、図４に示す直方体を領域(1)〜領域(6)の６つの領域に分割する。６つの領域は、中心と直方体の各６面の４つの頂点とを結ぶ四角錐形である。この分割した６つの領域のうち、音源を定位する座標(X,Y,Z)がどの領域に含まれるかを下記の式で判定する。

（ａ）領域(1)
以下の５点により形成される四角錐内
・中心(120,120,72)
・(0,0,0)
・(0,0,134)
・(240,0,134)
・(240,0,0)
※中心点を含む
※各辺上の点を含む

（ｂ）領域(2)
以下の４点により形成される四角錐内
・中心(120,120,72)
・(240,0,134)
・(240,0,0)
・(240,240,0)
・(240,240,134)
※中心点を含まない
※各辺上の点を含む。ただし、中心点と各点を結ぶ辺上の点は含まない

（ｃ）領域(3)
以下の４点により形成される四角錐内
・中心(120,120,72)
・(0,240,134)
・(240,240,134)
・(240,240,0)
・(0,240,0)
※中心点を含まない
※各辺上の点を含む

（ｄ）領域(4)
以下の５点により形成される四角錐内
・中心(120,120,72)
・(0,0,134)
・(0,240,134)
・(0,240,0)
・(0,0,0)
※中心点を含まない
※各辺上の点を含む。ただし、中心点と各点を結ぶ辺上の点は含まない

（ｅ）領域(5)
以下の４点により形成される四角錐内
・中心(120,120,72)
・(0,0,134)
・(240,0,134)
・(240,240,134)
・(0,240,134)
※中心点を含まない
※各辺上の点を含まない

（ｆ）領域(6)
以下の４点により形成される四角錐内
・中心(120,120,72)
・(0,0,0)
・(240,0,0)
・(240,240,0)
・(0,240,0)
※中心点を含まない
※各辺上の点を含まない

（２）領域判定式
音源を定位する座標(X,Y,Z)がどの領域に含まれるかの判定を行う。なお、以下に示す領域判定式は一例である。算出速度がより早い方法であれば下記以外の方法で領域の判別を行ってもよい。

[判定式]
下記の(1)〜(6)式の演算を行い、結果の正負条件により領域を判定する。なお、(1)〜(6)式は、中心点を(0,0,0)へオフセットした時の(x,z)，(x,y)成分と判別基準点とのベクトル外積である。また、式中のx0、y0、z0は直方体中心点の座標(x0=120、y0=120、z0=67)を表す。

(1)(x−x0)×(134−z0)−(0−x0)×(z−z0)：(x,z)と(X=0,Z=134)の外積
(2)(x−x0)×(134−z0)−(240−x0)×(z−z0)：(x,z)と(X=240,Z=134)の外積
(3)(x−x0)×(240−y0)−(0−x0)×(y−y0)：(x,y)と(X=0,Y=240)の外積
(4)(x−x0)×(240−y0)−(240−x0)×(y−y0)：(x,y)と(X=240,Y=240)の外積
(5)(y−y0)×(134−z0)−(0−y0)×(z−z0)：(y,z)と(Y=0,Z=134)の外積
(6)(y−y0)×(134−z0)−(240−y0)×(z−z0)：(y,z)と(Y=240,Z=134)の外積

※上記表１において、複数の領域に当てはまる結果となった場合、左にある領域が優先される。仮に、(1)(2)(3)(4)(5)(6)が全て0であれば領域(1)となる

［２−３．距離演算部６と位置演算部７］
前記のようにして、音像を定位する座標がどの領域に属するが判明した後は、距離演算部６と位置演算部７によって、距離の比率(D)と位置(P)の判定を行う。なお、距離の比率(D)と位置(P)は角度の比率で考えることもできるが、距離の比率で計算しても結果は同じため、本実施形態では式が簡単な距離の比率で計算を行う。

各領域のX、Y、Z座標について、距離の比率(D)と位置(P)は、下記の（ａ）〜（ｆ）に示す各式で算出される。ただし、式中のx0、y0、z0は直方体中心点の座標を表す(x0=120、y0=120、z0=67)。Pos_x、Pos_y、Pos_zは中間変数、Abs()関数は絶対値、Round()関数は四捨五入であり、下記の表２及び表３に示すように、小数点値を含めたPos_x、Pos_y、Pos_zの値と領域により、その小数点以下を四捨五入・切り上げ・切り下げする。

（ａ）領域(1)
Distance=Abs(y−y0)
Position=(2×x0+1)×Pos_z+Pos_x
Pos_x=Round(y0／Abs(y−y0)×(x−x0)+x0)
Pos_z=Round((z0×2)−(y0／Abs(y−y0)×(z−z0)+z0))

・Pos_x算出式について
（ア）y0：領域1におけるy要素の総数(120点)。
（イ）y0／Abs(y−y0)：中心点をy=0とし、領域１の最奥面(y=120)を「１」とした時のy座標面の比率。
（ウ）(x−x0)：x軸における中心点と求める座標(x)の距離
（エ）y0／Abs(y−y0)×(x−x0)：距離(x−x0)と、比率y0／Abs(y−y0)を掛け、最奥面におけるx座標を求める。
（オ）(y0／Abs(y−y0)×(x−x0)+x0)：（ア）〜（エ）式は中心を基準としているため、左端を「0」とした時の、x座標変換式。
（カ）Round()：Pos_x小数点以下は四捨五入する。

・Pos_z算出式について
（ア）〜（オ）は、Pos_x算出式と同様。
（カ）(z0×2)：Pos_zは最上段を0とし最下段を134とする為、zの総数でオフセットする。
（キ）Round()：Pos_z小数点以下は四捨五入する。

（ｂ）領域(2)
Distance=Abs(x−x0)
Position=Offset_2+(2×y0−1)×Pos_z+Pos_y
Offset_2=(2×x0+1)×(2×z0+1)−1
pos_y=x0／Abs(x−x0)×(y−y0)+y0
pos_y=1且つpos_y=239の場合→Pos_y=RoundDOWN(pos_y)
Pos_z=Round((z0×2)−(x0／Abs(x−x0)×(z−z0)+z0))

（ｃ）領域(3)
Distance=Abs(y−y0)
Position=Offset_3+1+(2×x0+1)×Pos_z+Pos_x
Offset_3=Offset2+(2×y0−1)×(2×z0+1)
Pos_x=Round(y0／Abs(y−y0)×(x−x0)+x0)
Pos_z=Round((z0×2)−(y0／Abs(y−y0)×(z−z0)+z0))

（ｄ）領域(4)
Distance=Abs(x−x0)
Position=Offset_4+(2×y0−1)×Pos_z+Pos_y
Offset_4=Offset_3+(2×x0+1)×(2×z0+1)
pos_y=x0／Abs(x−x0)×(y−y0)+y0
pos_y=1且つpos_y=239の場合→Pos_y=RoundDOWN(pos_y)
Pos_z=Round((z0×2)−(x0／Abs(x−x0)×(z−z0)+z0))

（ｅ）領域(5)
Distance=Round(Abs(z−z0)×x0／z0)
Position=Offset_5+1+(2×y0−1)×(Pos_y−1)+(Pos_x−1)
Offset_5=Offset_4+(2×y0−1)×(2×z0+1)
pos_x=z0／Abs(z−z0)×(x−x0)+x0
pos_x=1且つpos_x=239の場合→Pos_x=RoundDOWN(pos_x)
pos_y=z0／Abs(z−z0)×(y−y0)+y0
pos_y=1且つpos_y=239の場合→Pos_y=RoundDOWN(pos_y)

（ｆ）領域６
Distance=Round(Abs(z−z0)×x0／z0)
Position=Offset_6+1+(2×y0−1)×(Pos_y−1)+(Pos_x−1)
Offset_6=Offset_5+(2×x0−1)×(2×y0−1)
pos_x=z0／Abs(z−z0)×(x−x0)+x0
pos_x=1且つpos_x=239の場合→Pos_x=RoundDOWN(pos_x)
pos_y=z0／Abs(z−z0)×(y−y0)+y0
pos_y=1且つpos_y=239の場合→Pos_y=RoundDOWN(pos_y)

［２−４．信号演算部８］
前記のようにして、音像を定位すべき座標に対応する基本ポイントの位置(P)が算出された後は、信号演算部８において、基本ポイントについての音像形成音響信号q(t)をデータベース４から読み出す。読み出した基本ポイントの音像形成音響信号q(t)に対して、基本ポイントと音像定位点との距離の比率(D)を乗算することで、音像定位点の音像形成音響信号q(t)を得る。

前記のようにして得られた音像形成音響信号q(t)を、スピーカは位置情報入力部３によって指定された各スピーカから出力することで、入力部１から入力された音源が発生する音響信号を、空間内の定位点に定位することができる。
［３．効果］
（１）本実施形態によれば、データベースに保存された基本ポイントの音像生成値を、基本ポイントの方向と音像定位点との距離の比率に基づいて加工することにより、個々の音像定位点ごと複雑な演算を行うことなく、音像の定位を行うことができる。その結果、すべての定位点ごとに演算を行う従来技術に比較して、音像生成値の演算速度が格段に向上する。

（２）音像生成値を保持するポイントが立方体面上のみとなるため、全ての音像定位点についてその定位情報を保持するよりも、メモリ容量が削減できる。

（３）データベース４に保存する基本ポイントを立方体の６つの表面としたことにより、音像を定位する座標系を球体とした場合や、現実の室内空間のような凹凸のある特殊な形状とする場合に比較して、基本ポイントの位置や距離の比率の演算が簡単に行える。また、あらかじめデータベース４に保存する基本ポイントの音像生成値の算出も容易である。

（４）直方体の空間を四角錐形の６つの領域に分割し、分割された狭い領域内部で音像定位点に対応する基本ポイントの位置や距離の比率の演算を行うため、演算に必要な変数が少なくて済み、迅速な演算が実施できる。
［２．他の実施形態］
本発明は、前記の実施形態に限定されるものではなく、次のような他の実施形態も包含する。
（１）直方体の空間は、実施形態のような座標系に限定されるものではなく、x,y,zのいずれについても、そのポイント数を変更できる。特に、音像を定位すべき室内空間の高さ、幅、奥行きに合わせて適切な座標系を設定できる。また、音像を定位する室内空間は、この座標系の同じ形状の空間である必要はない。音像を定位する空間に外接する直方体としても良く、直方体の内部に現実の室内空間が存在しない部分があっても良い。

（２）本件発明において、領域判定部５が判定する「前記直方体の空間の中心点と立方体の４つの頂点によって形成された６つの領域のいずれに属するか」とは、音像定位点がこの領域内にのみ存在することを限定するものではない。音像定位点が領域を構成する四角錐の延長上に存在すれば、立方体の４つの頂点で囲まれた面の外側、すなわち、直方体の外側でも良い。このようにすると、室内空間の内部により小さな直方体を設定し、直方体の外側に定位点がある場合には、距離の比率が大きくなることから、音像形成音響信号q(t)の値が大きくなる。

（３）データベースに保存する音像生成値としては、特許文献１の音像形成音響信号q(t)以外の信号でも良い。また、スピーカに出力する音像形成音響信号q(t)でなくとも、周波数領域音像形成音響信号Q(ω)のように、演算途中の信号であっても良く、基本ポイントの演算結果を利用することで、各定位点の最終的な演算が高速かつ少ないメモリで実現できれば、適宜選択できる。

１…音響信号の取得部
２…音像定位情報の入力部
３…スピーカの配置情報の入力部
４…データベース
５…領域判定部
６…距離演算部
７…位置演算部
８…信号演算部

Claims

音源が発生する音響信号の取得部と、
直方体空間内における音像定位情報の入力部と、
スピーカの配置情報の入力部と、
音像を定位する直方体の空間について、その６つの表面上にある各音像定位点の音像生成値の演算結果を保存するデータベースと、
前記音像定位情報の入力部から入力された音像定位点の３次元座標が、前記直方体の空間の中心点と立方体の４つの頂点によって形成された６つの領域のいずれに属するかを判定する領域判定部と、
前記６つの領域のいずれかに属することが判定された前記３次元座標について、直方体中心と音像定位点の距離を求める距離演算部と、
直方体中心と音像定位点を結ぶ直線と、前記音像定位点の属する領域の直方体表面との交点である基本ポイントを求める位置演算部と、
前記データベース内に保存された前記基本ポイントの音像生成値と、前記距離演算部で求めた距離に基づいて、音像定位点の音像生成値を演算する信号演算部と、
を有する音声調整卓。
前記音像生成値が、音源が放射する音源音響信号S(t)を読み込み、この音源音響信号S(t)をフーリエ変換して周波数領域音源音響信号S(ω)を算出し、音源を定位させるためのパンニング処理を実行して周波数領域音像形成音響信号Q(ω)を算出し、この周波数領域音像形成音響信号Q(ω)を逆フーリエ変換して算出された音像形成音響信号q(t)である請求項１に記載の音声調整卓。
前記直方体が、音像を定位する現実の空間に外接する形状である請求項１または請求項２に記載の音声調整卓。