JP6666276B2 - 音声信号変換装置、その方法、及びプログラム - Google Patents

Description

本発明は、空間や聴取者の頭が回転した際の音場の変化をソフトウェア的に容易に再現できる立体音響技術に関する。

ユーザが見たい任意の方向の映像は360度映像と呼ばれている。近年、映像配信サービスを利用して、360度映像を視聴できる機会が増えている。例えば、2016年4月頃には、360度映像の視聴に対応して、音が変化する(見ている方向に応じた音像定位を実現する)サービスがYouTube(登録商標)にてリリースされた。なお、YouTubeにおける音の収音/再生方式はアンビソニックス形式に基づく(非特許文献１参照)。

アンビソニックス形式の音を生成するためのハードウェアとして、通常は専用のマイクロホンアレイ(以下アンビソニックスマイクロホンアレイともいう)を用いる。無指向性マイクまたは単一指向性マイクを四面体の頂点に設置した形状をしており、周囲には反射または回折するような物体を設置しないことが原則とされている。

西村竜一、"５章 アンビソニックス"、[online]、映像情報メディア学会誌、vol.68, No.8, (2014), [平成29年1月11日検索]、インターネット<URL:https://www.jstage.jst.go.jp/article/itej/68/8/68_616/_pdf>

しかしながら、従来技術のアンビソニックスマイクロホンアレイのマイクロホンの位置は、原則として、四面体の頂点に対応する位置に制限されており、自由度が低い。そのため、アンビソニックスマイクロホンアレイをカメラに直接埋め込むような実装ができない。そこで、図１のように、単一指向性マイクを正四面体の頂点に設置した形状からなるアンビソニックスマイクロホンアレイ９２を360度カメラ９１の上部に設置する構成が考えられる。この場合には、アンビソニックスマイクロホンアレイ９２が360度カメラ９１の映像に映り込んでしまうという問題が生じうる。このとき、アンビソニックスマイクロホンアレイ９２全体を覆う風防等を設けると、さらにこの問題が生じやすくなる。また、このような構成とすると、装置の一体感が低下し、ポータビリティの低下を招くという問題も生じる。

本発明は、位置関係が制限されていない複数のマイクロホンの収音信号を利用して、擬似的にアンビソニックス形式の音声信号を生成する音声信号変換装置、その方法、及びプログラムを提供することを目的とする。

上記の課題を解決するために、本発明の一態様によれば、音声信号変換装置は、前後左右上下の6つの方向から到来する音をそれぞれ強調した6つの強調信号を用いて、無指向性の信号W,x軸方向の双指向性信号X,y軸方向の双指向性信号Y,z軸方向の双指向性信号Zを生成する変換処理部を含み、前後左右上下の6つの方向から到来する音をそれぞれ強調した6つの強調信号をそれぞれF,B,L,R,U,Dとし、変換処理部は、W=F+B+L+R+U+D, X=F-B, Y=L-R, Z=U-Dにより、信号W,双指向性信号X,双指向性信号Y,双指向性信号Zを生成する。

上記の課題を解決するために、本発明の他の態様によれば、音声信号変換方法は、前後左右上下の6つの方向から到来する音をそれぞれ強調した6つの強調信号を用いて、無指向性の信号W,x軸方向の双指向性信号X,y軸方向の双指向性信号Y,z軸方向の双指向性信号Zを生成する変換処理ステップを含み、前後左右上下の6つの方向から到来する音をそれぞれ強調した6つの強調信号をそれぞれF,B,L,R,U,Dとし、変換処理ステップは、W=F+B+L+R+U+D, X=F-B, Y=L-R, Z=U-Dにより、信号W,双指向性信号X,双指向性信号Y,双指向性信号Zを生成する。

本発明によれば、位置関係が制限されていない複数のマイクロホンの収音信号を利用して、擬似的にアンビソニックス形式の音声信号を生成することができるという効果を奏する。

アンビソニックスマイクロホンアレイと360度カメラとを組合せた構成を示す図。 複数のマイクロホンをカメラの筐体に直接埋め込んだ構成の例を示す図。 複数のマイクロホンをカメラの筐体に直接埋め込んだ構成の例を示す図。 4本の無指向性マイクロホンとBフォーマット信号との関係を説明するための図。 第一実施形態に係る音声信号変換装置の機能ブロック図。 第一実施形態に係る音声信号変換装置の処理フローの例を示す図。 強調信号を説明するための図。 方向別収音部の機能ブロック図。 方向別収音部の処理フローの例を示す図。

以下、本発明の実施形態について、説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。

＜第一実施形態のポイント＞
本実施形態では、位置関係が制限されていない複数のマイクロホンの収音信号を利用して、アンビソニックス形式の音声信号を擬似的に生成する。そのため、複数のマイクロホンをカメラの筐体に直接埋め込むような構成が可能となる。

複数のマイクロホンをカメラの筐体に直接埋め込んだ構成の例を図２、図３に示す。図２Ａは平板状の筐体の正面、側面、上面にマイクロホン９５を配置した例を、図２Ｂは円筒上の筐体の正面図であり、図２Ｃは図２Ｂの背面図である。図２Ｂでは２つのマイクロホン９５を水平方向に並べて配置し、図２Ｃでは２つのマイクロホン９５を垂直方向に並べて配置している。図３Ａは球状の筐体にマイクロホンを配置した例を、図３Ｂは直方体状の筐体にマイクロホンを配置した例を示す。なお、これらの構成は一例であって、他の配置であってもよい。

ただし、3本以上のマイクロホンを用いることを前提とする。4本以上のマイクロホンを用いる場合には、それらが同一平面上にないほうが良いと考えられる。また、マイクロホン間隔はある程度狭いほうが好ましい(1〜5cm)。

＜アンビソニックスBフォーマット＞
360度映像向けのオーディオ生成技術の従来法としてアンビソニックスBフォーマットについて説明する。主に用いられているアンビソニックスマイクロホンアレイは、感度が揃った単一指向性マイク、または、無指向性マイクを四面体の頂点に並べる。マイクロホン間隔は狭いことが多い(1〜4cm程度)。以後、特に説明の一般性を失わないので、無指向性マイクロホン4本を用いてアンビソニックスBフォーマット形式の音声信号(以下、Bフォーマット信号ともいう)を生成する方法について説明する。4本の無指向性マイクロホン９３を原点、X軸上、Y軸上、Z軸上に配置する(図４参照)。なお、各軸上の無指向性マイクロホン９３は原点から見て等距離に配置する。

アンビソニックスBフォーマット形式の音声信号は、無指向性、3種類の双指向性(X方向、Y方向、Z方向)で収音した計4チャネルの信号で構成される。4本のマイクロホン９３で観測した時間領域の信号をO_t(原点に配置される無指向性マイクロホンの出力信号),A_t(X軸上に配置される無指向性マイクロホンの出力信号),B_t(Y軸上に配置される無指向性マイクロホンの出力信号),C_t(Z軸上に配置される無指向性マイクロホンの出力信号)と定義する。アンビソニックスBフォーマットの無指向性で収音した時間信号をW_t、X軸方向の双指向性信号をX_t、Y軸方向の双指向性信号をY_t、Z軸方向の双指向性信号をZ_tとするとその関係は以下で書ける。
W_t=O_t
X_t=A_t-O_t
Y_t=B_t-O_t
Z_t=C_t-O_t

アンビソニックスBフォーマットは、非常に単純な演算で音場を一次微分表現し、かつ360度映像のための音像定位として一定の効果があることから利用されるケースが増えている。

しかしながら、前述の通り、従来技術のアンビソニックスマイクロホンアレイのマイクロホンの位置は、原則として、四面体の頂点に対応する位置に制限されており、自由度が低いという問題がある。また、以下の問題点がある。

(i)アンビソニックス形式の音を生成するためには、マイクロホンの感度が揃っていないといけない。しかしながら、アンビソニックス形式の音を生成するために必要な水準でマイクロホンの感度を揃えて製造することは容易なことではない。そのため、多くのマイクロホンを製造し、その中から感度が揃っている4つのマイクロホンを選別するという作業を行うことが多い。そのため、製造コストが高くなる。

(ii)アンビソニックスマイクロホンアレイの近傍に反射/回折の発生源を置いてはいけない。アンビソニックスマイクロホンアレイをカメラに直接埋め込むとカメラの筐体が音が反射したり回折する。よって、この観点からも、マイクロホンをカメラに直接埋め込むような実装はできない。

(iii)収音した後に特定のエリアの音の音量調整を原理上、行えないという問題がある。

＜第一実施形態に係る音声信号変換装置１００＞
図５は第一実施形態に係る音声信号変換装置１００の機能ブロック図を、図６はその処理フローを示す。

音声信号変換装置１００は、M個のマイクロホンのマイクロホン９５−ｍで収音したM個の収音信号s_m,tを入力とし、M個の収音信号s_m,tを4つのアンビソニックスBフォーマット形式の音声信号W_t,X_t,Y_t,Z_tに変換し、出力する。ただし、mをマイクロホンのインデックス、tを離散時間を示すインデックス、m=1,2,…,M、Mを3以上の整数の何れかとする。

音声信号変換装置１００は、CPUと、RAMと、以下の処理を実行するためのプログラムを記録したROMを備えたコンピュータで構成され、機能的には次に示すように構成されている。

音声信号変換装置１００は、方向別収音部１１０と、変換処理部１３０とを含む。

＜方向別収音部１１０＞
方向別収音部１１０は、M個の収音信号s_m,tを入力とし、これらの値を用いて、前後左右上下の6つの方向から到来する音をそれぞれ強調した6つの強調信号F_t,B_t,L_t,R_t,U_t,D_tを生成し（Ｓ１１０、図７参照、図中のF_t,B_t,L_t,R_t,U_t,D_tは強調信号F_t,B_t,L_t,R_t,U_t,D_tにより強調されている音声信号変換装置１００から見た方向を示す）、出力する。強調信号の生成方法は既存のいかなる技術を用いてもよく、利用環境等に合わせて最適なものを適宜選択すればよい。例えば、一例としてビームフォーミングとウィナーフィルタを用いた雑音抑圧方式がある。本方式の詳細については多数述べられているので、詳細はここには記載しない。例えば、特開２０１６−１３１３４３号公報記載の方法を用いることができる。

図８はビームフォーミングとウィナーフィルタを用いた雑音抑圧方式を採用する場合の方向別収音部１１０の機能ブロック図を、図９はその処理フローの例を示す。

例えば、方向別収音部１１０は、ビームフォーミング部１１１とウィーナーフィルタ部１１３とを含む。

ビームフォーミング部１１１は、M個の収音信号s_m,tを入力とし、これらの値を用いて、前後左右上下の6つの方向から到来する音をそれぞれ強調した音声信号である6つのビームフォーミング出力値F'_t,B'_t,L'_t,R'_t,U'_t,D'_tを求め（Ｓ１１１）、出力する。

ウィーナーフィルタ部１１３は、ウィーナーフィルタを用いて、6つのビームフォーミング出力値F'_t,B'_t,L'_t,R'_t,U'_t,D'_tからそれぞれ雑音を抑圧した6つの信号を強調信号F_t,B_t,L_t,R_t,U_t,D_tとして求め（Ｓ１１３）、出力する。

＜変換処理部１３０＞
変換処理部１３０は、6つの強調信号F_t,B_t,L_t,R_t,U_t,D_tを入力とし、これらの値を用いて、無指向性の信号W_t, x軸方向の双指向性信号X_t, y軸方向の双指向性信号Y_t, z軸方向の双指向性信号Z_tを生成し（Ｓ１３０）、出力する。無指向性の信号W_t, x軸方向の双指向性信号X_t, y軸方向の双指向性信号Y_t, z軸方向の双指向性信号Z_tは次式により求める。
W_t=F_t+B_t+L_t+R_t+U_t+D_t
X_t=F_t-B_t
Y_t=L_t-R_t
Z_t=U_t-D_t

＜効果＞
以上の構成により、位置関係が制限されていない複数のマイクロホンの収音信号を利用して、擬似的にアンビソニックス形式の音声信号W_t,X_t,Y_t,Z_tを生成することができる。生成した信号W_t,X_t,Y_t,Z_tは、Bフォーマット信号と同様に扱うことができる。例えば、YouTubeにアップロードすることができる。また、独自プレーヤーで再生するのであれば、マルチチャネルオーディオ符号化し、頭部運動に応じた座標系回転を考慮して、バイノーラル合成を行い、独自プレーヤーに対応するステレオチャネルの音声信号を生成してもよい。

本実施形態の場合、複数のマイクロホンの位置関係が制限されないため、カメラに埋め込んだマイクを用いて疑似的にアンビソニックスBフォーマット形式の音を生成できる。それにより、カメラにマイクが映り込んでしまう問題やポータビリティを損なう問題を解決した。

さらに、各マイクロホンの感度を揃えずとも、前後左右上下の6つの方向から到来する音に対する感度が揃うように調整することができる。そのため、多くのマイクロホンを製造し、その中から感度が揃っている4つのマイクロホンを選別するという作業を行う必要はなく、製造コストを抑えることができる。

また、反射/回折を考慮した収音処理をしているため、アンビソニックスマイクロホンアレイをカメラに直接埋め込むような実装ができる。

本実施形態では、M個の収音信号s_m,tをBフォーマット信号に直接変換するのではなく、ビームフォーミングとウィナーフィルタを用いた雑音抑圧方式を利用して一度前後左右上下方向から到来する音を強調した強調信号を求め、強調信号からBフォーマット信号を求める。なお、M個の収音信号s_m,tをBフォーマット信号に直接変換した場合、マイクロホン数Mが少なかったり(例えばMが6以下とか)、マイクロホンの周囲に反射・回折を生じさせる構造物(特に非対称性の構造物)が設置されているとき、Bフォーマットを構成する双指向性に相当する収音を実現することが難しい。一方、マイクロホン数Mが少なかったり、マイクロホンの周囲に構造物が設置されているときであっても、単一の方向から到来した音だけを強調しその周囲雑音を抑圧するという処理であれば、マイクロホンアレイ処理で比較的容易に実現することができる。本実施形態では、一度前後左右上下方向から到来する音を強調した強調信号を求め、強調信号からBフォーマット信号を求めるため、マイクロホン数Mや、マイクロホンの周囲の構造物の有無に制限されることなく、マイクロホンアレイ処理で比較的容易に、擬似的にアンビソニックス形式の音声信号を生成することができる。

本実施形態の音声信号変換装置をマイクロホンを内蔵した全方位カメラ内に組み込んでもよいし、マイクロホンを内蔵した全方位カメラの出力信号に含まれるM個の収音信号s_m,tを別体の音声信号変換装置の入力としてもよい。

＜変形例＞
本実施形態では、M個の収音信号s_m,tを入力としているが、6つの強調信号F_t,B_t,L_t,R_t,U_t,D_tを入力としてもよい。その場合、方向別収音部１１０を備えなくともよい。例えば、別装置として構成した音声強調装置(例えば国際公開第２０１２／０８６８３４号等参照)の出力値を音声信号変換装置１００の入力としてもよい。また、例えば、単一指向性の6つのマイクロホンを前後左右上下の6つの方向から到来する音をそれぞれ収音するように設置し、その出力値を音声信号変換装置１００の入力としてもよい。ただし、本実施形態のようにビームフォーミングとウィナーフィルタを用いた雑音抑圧方式を利用したほうが、干渉性雑音を低減し、周囲の雑音を効果的に低減できるため、アンビソニックスマイクロホンアレイ９２で収音した信号からBフォーマット信号を合成したときと同じような音を生成することができる。

音声信号変換装置１００は、方向別音量調整部１２０を含んでもよい（図５中、破線で示す）。方向別音量調整部１２０は、6つの強調信号F_t,B_t,L_t,R_t,U_t,D_tを入力とし、その音量を個別に調整し（Ｓ１２０、図６中、破線で示す）、音量調整後の強調信号F_t,B_t,L_t,R_t,U_t,D_tを出力する。各領域に掛け合わせるボリューム(0以上の数)をα_F, α_B, α_L, α_R, α_U, α_D と記述すると以下のように調整作業を行うことができる。
F_t←α_F・F_t
B_t←α_B・B_t
L_t←α_L・L_t
R_t←α_R・R_t
U_t←α_U・U_t
D_t←α_D・D_t
方向別音量調整部１２０を設けることで、前・後・左・右・上・下の各領域の音量を制御できる。例えば、正面方向にいる人の声をもう少し下げて収音したい、特定の方向にいる人の声が小さい場合に音量を上げるといった調整作業を行うことができる。こういった方向別に音量を調整する機能は従来のアンビソニックス収音では実現できない。なぜなら、基本的に場をそのまま再現しようという発想で原理が組まれているからである。言い換えると、従来技術では、収音した後に特定のエリアの音のボリューム調整を原理上、行えないという問題がある。本変形例では、収音した後に、特定のエリアから到来する音のボリュームを調整することが可能となる。

＜その他の変形例＞
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。

＜プログラム及び記録媒体＞
また、上記の実施形態及び変形例で説明した各装置における各種の処理機能をコンピュータによって実現してもよい。その場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶部に格納する。そして、処理の実行時、このコンピュータは、自己の記憶部に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実施形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよい。さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

また、コンピュータ上で所定のプログラムを実行させることにより、各装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (5)

1. 前後左右上下の6つの方向から到来する音をそれぞれ強調した6つの強調信号を用いて、無指向性の信号W, x軸方向の双指向性信号X, y軸方向の双指向性信号Y, z軸方向の双指向性信号Zを生成する変換処理部を含み、
   前後左右上下の6つの方向から到来する音をそれぞれ強調した6つの強調信号をそれぞれF,B,L,R,U,Dとし、前記変換処理部は、
   W=F+B+L+R+U+D
   X=F-B
   Y=L-R
   Z=U-D
   により、前記信号W, 前記双指向性信号X, 前記双指向性信号Y, 前記双指向性信号Zを生成し、
   Mを3以上の整数の何れかとし、マイクロホンを配置する筐体上における位置を制限されていないM本のマイクロホンで収音した収音信号を入力とし、M個の前記収音信号を用いて、6つの前記強調信号を生成する方向別収音部を含み、
   前記方向別収音部は、
   M個の前記収音信号を用いて、前後左右上下の6つの方向から到来する音をそれぞれ強調した音声信号である6つのビームフォーミング出力値を求めるビームフォーミング部と、
   ウィーナーフィルタを用いて、6つの前記ビームフォーミング出力値からそれぞれ雑音を抑圧した6つの信号をそれぞれ6つの前記強調信号として求めるウィーナーフィルタ部とを含む、
   音声信号変換装置。
2. 請求項１の音声信号変換装置であって、
   6つの前記強調信号の音量を個別に調整する方向別音量調整部とを含む、
   音声信号変換装置。
3. 前後左右上下の6つの方向から到来する音をそれぞれ強調した6つの強調信号を用いて、無指向性の信号W, x軸方向の双指向性信号X, y軸方向の双指向性信号Y, z軸方向の双指向性信号Zを生成する変換処理ステップを含み、
   前後左右上下の6つの方向から到来する音をそれぞれ強調した6つの強調信号をそれぞれF,B,L,R,U,Dとし、前記変換処理ステップは、
   W=F+B+L+R+U+D
   X=F-B
   Y=L-R
   Z=U-D
   により、前記信号W, 前記双指向性信号X, 前記双指向性信号Y, 前記双指向性信号Zを生成し、
   Mを3以上の整数の何れかとし、マイクロホンを配置する筐体上における位置を制限されていないM本のマイクロホンで収音した収音信号を入力とし、M個の前記収音信号を用いて、6つの前記強調信号を生成する方向別収音ステップを含み、
   前記方向別収音ステップは、
   M個の前記収音信号を用いて、前後左右上下の6つの方向から到来する音をそれぞれ強調した音声信号である6つのビームフォーミング出力値を求めるビームフォーミングステップと、
   ウィーナーフィルタを用いて、6つの前記ビームフォーミング出力値からそれぞれ雑音を抑圧した6つの信号をそれぞれ6つの前記強調信号として求めるウィーナーフィルタステップとを含む、
   音声信号変換方法。
4. 請求項３の音声信号変換方法であって、
   6つの前記強調信号の音量を個別に調整する方向別音量調整ステップとを含む、
   音声信号変換方法。
5. 請求項１から請求項２の何れかの音声信号変換装置としてコンピュータを機能させるためのプログラム。