JP4629081B2

JP4629081B2 - 類似音声グループ化による位相自動補正機能付き複数チャンネル音声転送システム、ならびに位相ずれ自動調整システム、方法、およびプログラム

Info

Publication number: JP4629081B2
Application number: JP2007289111A
Authority: JP
Inventors: 敦岡田; 博之君山; 毅小倉; 充丸山
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2007-11-07
Filing date: 2007-11-07
Publication date: 2011-02-09
Anticipated expiration: 2027-11-07
Also published as: JP2009118194A

Description

放送業界での中継を伴う番組制作および、各種コンテンツ制作等において、複数の音声チャンネルから音声を入力し、ネットワークを用いて別の拠点に転送する技術分野、および位相ずれ自動調整の技術分野に関する

放送局の中継番組の制作システムの一般的な構成を図１に示す。
中継番組の製作では数１０チャンネルから数１００チャンネルといった多チャンネルの音声を、音声ミキサや映像スイッチャなどの中継機材を積んだ中継車、または現場で臨時設営した編集環境において、サラウンド放送用、またはステレオ放送用に５．１チャンネルまたは２チャンネルといった数チャンネルの音に足し合わせて集約する、ミキシングと呼ばれる作業を行っている（図１中の１−１）。

多チャンネル音声は複数のマイクを使って取得されケーブルまたは無線で編集環境に送られる。複数のマイクで同一音声を取得する場合、音源の位置またはマイクの設置位置によってマイクに音声が到達する時間が異なる。また、マイクに接続されたケーブル長が異なる場合、マイクごとに音声が編集環境に到達する時間が異なる。これらの理由より、取得された音声が編集環境に届くまでの時間が異なり、ミキシング時に足し合わせる音声間が逆相関係となる場合、音の打ち消しあいや雑音が発生することがある。逆相関係とは図２−１に示すように２つの同一信号のうち、片方の音声の位相がもう一方の音声に対して半周期遅れた状態になっていることを指す。逆相関係になっている音声を足し合わせると信号同士が相殺された状態となる（図２−２）。そのため、番組制作において音声を扱う技術者である音声エンジニアは、ミキシング前に足し合わせる音声同士を耳で聞きながら片方の音声の再生時間を１サンプル単位で、手動で遅らせて逆相関係を解消する作業を行っている（図１中の１−２）。

放送用にミキシングされた音声は図１中の１−３のように、専用線、無線、衛星などによって放送局へ転送される。この転送時において更にチャンネル間で位相がずれ、逆相関係になることもあるため、送信側、受信側にそれぞれ音声エンジニアを配置し、転送時に５．１チャンネルまたは２チャンネルの音声間の位相関係を確認させ、逆相関係にならないように調整をさせている（図１中の１−４）。位相ずれを調整された音声は映像と再生タイミングを合わせる作業を行ったのち、番組で使用される。

以上のように現状の中継番組の制作では中継現場と放送局に音声エンジニアを配置して、ミキシングを行っている。その際逆相関係にある音声どうしのミキシングを避けるため位相を調整する作業を手動で行っている。このような作業を伴うミキシングは高度な技術が必要であり、優秀な音声エンジニアでないと行うことが出来ない。また、エンジニアごとの技術の差が作業の結果得られる音声の品質に大きく影響する。そのため中継現場に優秀な音声エンジニアを配置し作業をさせている。

「マイクロホンアレーを用いたＣＳＰ法に基づく複数音源位置推定」、電子情報通信学会論文誌、２０００年８月、Vol. J83-D-II、No. 8、p.1713-1721

現状の中継番組の制作において３つの課題がある。以下にその内容を示す。
１点目の課題は図１のように送信側、受信側に音声エンジニアを配置しなければならず、中継先に派遣されたエンジニアを他の番組制作に関わらせることが出来ない点である。放送局は音声品質の高い番組を制作するため、優れたミキシング技術を持つ音声エンジニアを同時に多くの番組制作に関わらせる必要があるが、中継先に派遣されたエンジニアは現場での作業に専念することになる。このため、音声エンジニア等の人的リソースを大きく消耗してしまうことになる。

２点目の課題は中継番組の製作を行う度に、中継先に大掛かりな編集環境設営を行わなければならず、人出や時間、設置費用がかかることである。特に中継規模が大きくなるほど多くの機材や設備を用いる必要があるため、編集環境構築にはより多くの人手や時間、設置コストがかかる。

３点目の課題は、ミキシング時に逆相関係にある音声同士の音の打ち消しあいが起こらないように位相を自動的に調整する音声機器がないため、音声エンジニアは集音時と転送時の位相ずれ調整作業を手動で行わなければならない点である。チャンネル数が増えるほど彼らの調整作業時の負荷は増大する。集音時と転送時の位相ずれの調整は放送前に行われるが、この理由により多くのチャンネルを使った中継番組の制作には多くの準備時間がかかることになる。

本発明の目的は上記３つの課題を解決する手段を提供することにある。１点目の課題に対しては音声エンジニアがより多くの番組制作に関わらせることができ、放送局の人的リソースを有効活用できる手段を提供すること、２点目の課題に対しては中継現場に編集環境を構築しなくても中継番組制作を行う手段を提供すること、３点目の課題に対しては音声エンジニアの集音時、転送時の位相ずれ調整作業の負荷を削減し、調整にかかる時間を削減する手段を提供する。

また、本発明の他の目的は、複数チャンネル音声の位相を自動的に調整する技術を提供することにある。

本明細書において開示される発明のうち、代表的なものの概要を簡単に説明すれば、以下のとおりである。

本発明は、データ転送用ネットワークで接続された複数チャンネル音声送信装置と複数チャンネル音声受信装置とを有する位相自動補正付き複数チャンネル音声伝送システムであって、前記複数チャンネル音声送信装置は、複数チャンネル音声を取得する音声入力Ｉ／Ｆ部と、前記音声入力Ｉ／Ｆ部で取得された複数チャンネル音声の類似度をＣＳＰ法によって調べ、類似したチャンネル音声をグループ化し、各チャンネル音声がどのグループに属するのかの情報である類似グループ情報を作成する類似音声グループ化部と、前記複数チャンネル音声と前記類似グループ情報をネットワークに転送できる転送データに変換する転送データ化部と、前記転送データをネットワークに送出するネットワークＩ／Ｆ部を備え、前記複数チャンネル音声受信装置は、ネットワークを介して送られてきた転送データを受信するネットワークＩ／Ｆ部と、前記転送データから複数チャンネル音声と類似グループ情報に変換するデータ抽出部と、前記類似グループ情報に基づいて類似音声グループ内の位相ずれ計算を行い、前記複数チャンネル音声の位相ずれを調整する位相ずれ補正部と、外部に音声を出力する音声出力Ｉ／Ｆ部を備える。

前記類似音声グループ化部は、前記音声入力Ｉ／Ｆ部で取得された複数チャンネル音声を蓄積するバッファと、前記バッファに蓄積されている複数チャンネル音声から全チャンネル間の類似度を、ＣＳＰ法を用いて計算する類似度計算部と、を備える。

前記類似度計算部は、複数チャンネル音声データを間引いた後、全チャンネル間の類似度を、ＣＳＰ法を用いて計算する手段を備える。

前記転送データ化部は、複数チャンネル音声と類似グループ情報をデータ化し、データ化された順にシーケンス番号を付与する手段を備え、前記データ抽出部は、ネットワークＩ／Ｆ部から転送されてきたデータをシーケンス番号順に整列させるデータ整列部と、複数チャンネル音声と類似グループ情報を抽出するデータ変換部を備え、前記位相ずれ補正部は、前記類似グループ情報をもとに類似グループ内の音声間の位相関係をＣＳＰ法を用いて計算する類似グループ内位相ずれ計算部と、類似グループ内位相ずれ計算部の計算結果を保持し、位相ずれ調整部にその結果を伝達する位相ずれ記憶部と、位相ずれ記憶部から送られてきた情報を元に複数チャンネル音声の位相ずれを調整する位相ずれ調整部を備える。

また、本発明は、複数チャンネル音声の位相を自動的に調整する位相ずれ自動調整システムであって、複数チャンネル音声を取得する音声入力Ｉ／Ｆ部と、前記音声入力Ｉ／Ｆ部で取得された複数チャンネル音声の類似度をＣＳＰ法によって調べ、類似したチャンネル音声をグループ化し、各チャンネル音声がどのグループに属するのかの情報である類似グループ情報を作成する類似音声グループ化部と、前記類似グループ情報に基づいて類似音声グループ内の位相ずれ計算を行い、前記複数チャンネル音声の位相ずれを調整する位相ずれ補正部と、外部に音声を出力する音声出力Ｉ／Ｆ部を備える。

本発明はＩＰネットワークによって中継番組製作に必要な全ての音声を放送局などの拠点へ転送を可能にすることにより、ミキシング作業や位相調整作業など中継先で行っていた作業を放送局等で実施することができるようになる。

さらに中継先に編集環境を設置することなく中継番組制作を行える。従来では中継先に音声エンジニアを派遣し、集音時と転送時の位相調整作業を行わせていたが本発明によってその作業が自動化されるため、彼らを中継先に派遣する必要がなくなり、彼らを放送局に配置してミキシング作業をさせられるようになる。これにより音声エンジニアの位相ずれ調整作業負荷を削減し、中継番組の制作の準備時間を短縮できる。また、音声エンジニアを放送局で作業させながら他の番組制作に関わらせることが出来、人的リソースを効率よく利用できるようになる。

多チャンネル音声ＩＰ転送システムでは、転送にＩＰネットワークを用いるため距離に依存しないため、ネットワークが整備された環境であればどこからでも中継や素材伝送が可能となる。また、計算量を削減する手法では市販のＰＣを用いての実装も可能であり、ＰＣＩカードの増加やＰＣのクラスタ化によってチャンネル数の増加に柔軟に対応できるシステムの構築が可能となる。

また、本発明により複数チャンネル音声の位相を自動的に調整することができる。

以下、本発明の実施形態の位相自動補正機能付き多チャンネル音声転送システムについて図を参照して説明する。

本発明の実施形態の位相自動補正機能付き多チャンネル音声伝送システムは、ネットワークによって中継番組の製作に必要な全ての音声を現場から放送局などへの他の拠点へ転送し、さらに多チャンネル音声の集音時、転送時の位相ずれを自動調整する機能を備えたシステムである。この自動調整機能のうち集音時の位相ずれ調整作業を、従来音源位置推定の手法として使われていたＣＳＰ法（Cross-power Spectrum Phase analysis）を用いて行う点が大きな特徴である。

本発明の実施形態に基づくシステムの概要を図３に示す。図３において、３００は本発明の実施形態の位相自動補正機能付き多チャンネル音声転送システムである。３０１は中継先に設置された多数のマイク、３０２は放送局、３０３は放送局３０２内の編集室、３０４は編集室３０３内に設置された編集機器、３０５は編集室３０３内で編集機器３０４を操作する音声エンジニア、３０６は中継車／臨時編集室である。

本実施形態の位相自動補正機能付き多チャンネル音声転送システム３００は多チャンネル音声送信装置３１０と多チャンネル音声受信装置３２０を備え、多チャンネル音声送信装置３１０と多チャンネル音声受信装置３２０はネットワークを介して接続されている。一般的には、多チャンネル音声送信装置３１０は中継先に設けられ、多チャンネル音声受信装置３２０は放送局３０２内に設けられる。

中継先に多数のマイク３０１を設置し、数１０〜数１００ｃｈの音声を多チャンネル音声送信装置３１０が取得する。多チャンネル音声送信装置３１０は各チャンネルの類似度をＣＳＰ法によって計算しグループ化する。多チャンネル音声送信装置３１０はネットワークを介して音声全チャンネルと類似グループ情報を多チャンネル音声受信装置３２０に転送する。多チャンネル音声受信装置３２０は各グループ内の位相ずれを自動的に調整し編集室３０３内の編集機器３０４に出力する。編集室３０３内では音声エンジニア３０５が編集機器３０４を操作して、放送用音声をミックスし（サラウンド方法の場合は５．１チャンネル、ステレオ放送の場合は２チャンネル）、映像とタイミングを合わせる。この送信用音声が放送される。

なお、本実施形態で説明する多チャンネルは一般的に言えば複数のチャンネルであり、位相自動補正機能付き多チャンネル音声転送システム３００、多チャンネル音声送信装置３１０、多チャンネル音声受信装置３２０は一般的には位相自動補正機能付き複数チャンネル音声転送システム、複数チャンネル音声送信装置、複数チャンネル音声受信装置である。

ＣＳＰ法は異なる２信号間の類似度と位相関係（位相ずれ）を求めるアルゴリズムである。ＣＳＰ法は通常、異なる位置にあるマイクに入力された音声の位相ずれ（到達時間差）を、既知のマイク間距離とで音源位置を推定する手法として用いられる（非特許文献１参照）。

これに対し本発明の実施形態ではＣＳＰ法を以下２通りの計算を行うための手法として用いる。１つ目は入力された多チャンネル音声の全チャンネル間の位相関係を調べ、逆相関係となるか判定する手法として用いる。２つ目は２信号が逆相関係となる場合、２信号間のミキシングによって音が打ち消しあわないように片方の音声の再生タイミングをずらし、逆相関係にならないように遅らせる最小の時間（遅延量）を算出する手法として用いる。

ＣＳＰ法による位相関係を求める計算では、図４のように入力された音声の全ての２チャンネルの組み合わせに対して位相関係を求めるため、チャンネル数Ｍに対してＯ（Ｍ^２）のオーダの計算回数が必要である。また音声のサンプルデータ数Ｎに対してＯ（Ｎｌｏｇ_２Ｎ）のオーダの計算回数が必要である（Ｏ（Ｍ^２）、Ｏ（Ｎｌｏｇ_２Ｎ）は原文ではイタリック体表記）。そのため、転送するチャンネル数が増加すると、計算量が指数関数的に増え、処理時間が増加するためシステム負荷が増加し、安定して処理が行えない可能性がある。

そこで本実施形態では集音時の位相ずれによる音の打ち消しあいや雑音の発生は同一の音声を含む類似チャンネル間でのみ発生することに着目する。類似音声をグループ化し、グループ内のみで位相ずれを計算できれば計算量の削減は可能である。さらに、グループ内の音声は類似していることが自明であるため、グループ内で全ての２チャンネルの組み合わせについて位相ずれ計算をする必要がなく、任意に選択した代表１チャンネルに対する位相ずれを計算すればよい。以下で類似チャンネルをグループ化して、グループ内で位相ずれを求める手法について述べる。

まず、図５のように入力された音声の全ての２チャンネル間の類似度をＣＳＰ法によって求める。この時のＣＳＰ値計算ではサンプルされた音声データを定間隔で間引き、サンプリングレートを下げる（ダウンサンプリング）ことで計算の高速化を図る。位相ずれ計算の結果、一定以上の類似度であった音声を同一グループとし、グループを示す番号を付与しグループ化する。グループ化されたグループ毎に、グループ内の任意に選択した代表１チャンネルに対する位相ずれ計算を行い、その結果を音声と共に、後述する位相ずれ調整部に転送する。このとき、どのチャンネルとも類似せず、グループ化されなかった音声もこのタイミングで位相ずれ調整部に送られる。位相ずれ調整部では位相ずれ計算の結果をもとに出力時間を遅らせ、位相調整された音声を出力する。このようにして位相関係を求める計算回数を減らす。またグループ化計算時に音声サンプルデータを定間隔に間引き、計算量を削減する。

図５の例では、図５−１に示すように、入力された１−Ｎチャンネルの音声のすべての２つの音声の組み合わせについて、各サンプルデータを間引いて類似度を計算する。図５−２に示すように、計算された類似度に基づいて、類似音声グループＡ（Ａ_１−Ａ_ｉチャンネル）、類似音声グループＢ（Ｂ_１−Ｂ_ｊチャンネル）、…にグループ化し、各類似グループ内で位相ずれ計算を行う。類似音声グループＡにおいては、Ａ_１チャンネルが代表チャンネルであり、Ａ_１チャンネルとＡ_２チャンネル、Ａ_１チャンネルとＡ_３チャンネル、…、Ａ_１チャンネルとＡ_ｉチャンネルの位相関係を計算し位相を調整する。類似音声グループＢにおいては、Ｂ_１チャンネルが代表チャンネルであり、Ｂ_１チャンネルとＢ_２チャンネル、Ｂ_１チャンネルとＢ_３チャンネル、…、Ｂ_１チャンネルとＢ_ｊチャンネルの位相関係を計算し位相を調整する。

以上のようにして本実施形態では類似音声をグループ化することで位相ずれを自動調整する機能を備えたシステムを提案する。この際、ＣＳＰ法による位相関係の計算時に計算対象となるチャンネルを、類似度の高い音声の組み合わせをグループ化することで位相計算を行う回数を減らし、システムに対する負荷を軽減し、その結果チャンネル数（サンプル数）が多く取れるようになる。

上述のように本発明の実施形態は多チャンネル音声の集音時と転送時の位相ずれを自動で調整する機能を備える。以下にこれらの位相ずれ自動調整機能について説明する。

図６は本実施形態の位相自動補正機能付き多チャンネル音声転送システムの構成を示すブロック図である。図６において、多チャンネル音声送信装置３１０はネットワーク６０１を介して多チャンネル音声受信装置３２０と接続されている。

多チャンネル音声送信装置３１０は、多チャンネル音声を取得する音声入力Ｉ／Ｆ部６１１と、音声入力Ｉ／Ｆ部６１１で取得された多チャンネル音声の類似度をＣＳＰ法によって調べ、類似したチャンネル音声をグループ化し、各チャンネル音声がどのグループに属するのかの情報である類似グループ情報を作成する類似音声グループ化部６１２と、多チャンネル音声と類似グループ情報をネットワークに転送できる転送データに変換する転送データ化部６１３と、転送データをネットワーク６０１に送出するネットワークＩ／Ｆ部６１４を備える。転送データ化部６１３は、多チャンネル音声と類似グループ情報をデータ化し、データ化された順にシーケンス番号を付与する手段を備える。

類似音声グループ化部６１２は、音声入力Ｉ／Ｆ部６１１で取得された多チャンネル音声を蓄積するバッファ６１２ａと、バッファ６１２ａに蓄積されている多チャンネル音声データから全チャンネル間の類似度を、ＣＳＰ法を用いて計算する類似度計算部６１２ｂと、を備える。類似度計算部６１２ｂは、入力された各チャンネルのサンプルデータを定間隔で間引いたのち、全チャンネル間の類似度をＣＳＰ法を用いて計算する手段を備える。

一方、多チャンネル音声受信装置３２０は、ネットワーク６０１を介して送られてきた転送データを受信するネットワークＩ／Ｆ部６２１と、転送データから多チャンネル音声と類似グループ情報に変換するデータ抽出部６２２と、類似グループ情報に基づいて類似音声グループ内の位相ずれ計算を行い、多チャンネル音声の位相ずれを調整する位相ずれ補正部６２３と、外部に音声を出力する音声出力Ｉ／Ｆ部６２４を備える。

データ抽出部６２２は、ネットワークＩ／Ｆ部６２１から転送されてきたデータをシーケンス番号順に整列させるデータ整列部６２２ａと、多チャンネル音声と類似グループ情報を抽出するデータ変換部６２２ｂを備える。

位相ずれ補正部６２３は、記類似グループ情報をもとに類似グループ内の音声間の位相関係をＣＳＰ法を用いて計算する類似グループ内位相ずれ計算部６２３ａと、類似グループ内位相ずれ計算部６２３ａの計算結果を保持し、位相ずれ調整部６２３ｃにその結果を伝達する位相ずれ記憶部６２３ｂと、位相ずれ記憶部６２３ｂから送られてきた情報を元に多チャンネル音声の位相ずれを調整する位相ずれ調整部６２３ｃを備える。

図６において多チャンネル音声送信装置３１０の音声入力Ｉ／Ｆ部６１１から入力された多チャンネル音声データは類似音声グループ化部６１２のバッファ６１２ａに蓄積される。バッファ６１２ａに蓄積された音声データは類似度計算部６１２ｂにコピーされる。類似度計算部６１２ｂではコピーされた多チャンネル音声データをもとに音声の全チャンネル間の類似度をＣＳＰ法を用いて計算する。

ここでＣＳＰ法による処理について説明する。ＣＳＰ法による処理を図７に示す。ＣＳＰ法は２つの離散音声信号Ｘ（ｔ）、Ｙ（ｔ）間の位相関係を求めるために、あるサンプルデータ数Ｎの区間において、Ｘ（ｔ）に対しＹ（ｔ）側の音声を１サンプルずつずらしながらＦＦＴによって２信号間の相互相関をとり、相関値を計算する。ここで片側の信号をずらす量をずらし数とする。

図７−１において、上の図が離散音声信号Ｘ（ｔ）であり、下の図が離散音声信号Ｙ（ｔ）である。点線で挟まれた部分がサンプルデータ数Ｎの区間のサンプルである。サンプル区間において、Ｘ（ｔ）の最初のデータはＸ（１）であり最後のデータはＸ（Ｎ）である。また、Ｙ（ｔ）の最初のデータはＹ（１）であり最後のデータはＹ（Ｎ）である。図７−２において、一番上の図はＸ（ｔ）であり、２番目の図はＹ（ｔ）である。このＹ（ｔ）を７０１に示すようにずらす。３番目の図はＹ（ｔ）をずらし数１だけずらしたものであり、最初のデータはＹ（２）であり最後のデータはＹ（１）である。４番目の図はＹ（ｔ）をずらし数２だけずらしたものであり、最初のデータはＹ（３）であり最後のデー
タはＹ（２）である。一番下の図はＹ（ｔ）をずらし数Ｎ−１だけずらしたものであり、最初のデータはＹ（Ｎ）であり最後のデータはＹ（Ｎ−１）である。７０２に示すＣＳＰ値計算の例では、ずらし数０では相関値は０．４であり、ずらし数１では相関値は０．２であり、ずらし数２では相関値は０．２であり、…、ずらし数Ｎ−１では相関値は０．３である。

この計算によって各ずらし数に対して合計Ｎ個の相関値が得られるが、このうち０から最も遠い値になるもの、すなわちＮ個の相関値の絶対値をとった場合に最大になるものがＣＳＰ値となり（図８）、ＣＳＰ値を与えるずらし数が２信号間のずれとなる。図８はＮ個の相関値の絶対値をとった場合のＣＳＰ値の選定方法を示す図であり、縦軸は相関値の絶対値、横軸はずらし数である。図において絶対値が最大となったものをＣＳＰ値とし、そのＣＳＰ値を与えるずらし数がずれとなる。ＣＳＰ値は１から−１の間に分布し、ずらし数が０で、ＣＳＰ値が１の場合、２つの信号は同一信号で位相が揃った正相関係であることを示す。また、ずらし数が０でＣＳＰ値が−１のときは同一信号で片方の信号の位相が半周期遅れた逆相関係であることを示す。

本実施形態ではＣＳＰ法による計算によって、２つの音声信号が逆相関係にあるかどうかを判断し、逆相関係となる場合には片方の音声の位相をずらし、再生タイミングを遅延させることで逆相関係を解消する。ここで再生タイミングを遅延させる量を遅延量とする。遅延量はＣＳＰ法で計算したＮ個の相関値の絶対値が所定の値以下となるずらし数のうち、０に最も近いずらし数とする。（なお、この所定の値については、比較する２つの音声信号が完全な逆相、あるいは完全に一致する状態からどれだけ遠いものを採用するかという尺度となるが、その具体的な値については、実際の運用上問題とならない設定値をあらかじめ求めておき、その値を用いるものとする）。遅延量に相当する時間分だけ音声Ｙ（ｔ）をバッファしてから再生させることで、音声間の再生タイミングをずらし、逆相関係を解消する。以上のようにすることで逆相関係にある２信号間のミキシングによって音が打ち消しあわないように片方の音声の再生タイミングを遅らせる最小の時間（遅延量）を算出することが可能になり、逆相関係が解消された音声を出力することができる。

上記の処理を図９に示す。類似度計算部６１２ｂでは入力された音声チャンネルの全ての２つのチャンネルの組み合わせにおける類似度を上述のＣＳＰ法によって計算する。このとき、各音声のサンプルデータ数Ｎを定間隔で間引き、サンプリングレートを下げることで類似度計算時の計算量を削減する。類似度計算により得られた類似度がある一定以上の値であった場合、そのチャンネル同士を類似チャンネルとして同一類似グループとする。このようにして入力された音声チャンネルの全ての２つのチャンネルの組み合わせについて類似度を調べ、類似チャンネルをグループ化し、各チャンネルがどのグループに属するかの情報である類似グループ情報を作成する。類似度計算部６１２ｂで作成された類似グループ情報とバッファ６１２ａで蓄積されている多チャンネル音声データは転送データ化部６１３に送られ、再生順にデータ化され，データ化された順番にシーケンス番号が付与される。転送データはネットワークＩ／Ｆ部６１４から多チャンネル音声受信装置３２０へ転送される。

多チャンネル音声受信装置３２０ではネットワークＩ／Ｆ部６２１で受信された転送データはデータ抽出部６２２でシーケンス番号順に整列され、データ変換部６２２ｂで音声および類似グループ情報に変換されたのち、位相ずれ補正部６２３に送られる。位相ずれ補正部６２３では類似グループ情報をもとに類似グループ内の音声の位相関係をＣＳＰ法によって計算し、逆相関係にある場合は片方の音声の遅延量を算出する。この際、グループ内ではチャンネル間が類似していることが自明であるため、グループ内の任意の１チャンネルに対して逆相関係を調べ、必要に応じて遅延量を算出する。このように計算することでＣＳＰ法による計算量がＯ（Ｍ^２）のオーダからＯ（Ｍ）に削減でき、より多くのチャンネルを収容できる。位相ずれ調整部６２３ｃでは類似グループ内位相ずれ計算部６２３ａで算出された遅延量をもとに特定のチャンネルの音声の再生時間を遅延させ、全チャンネルの音声間の位相ずれを自動的に調整し逆相関係のない状態に調整する。再生時間が調整された音声は音声出力Ｉ／Ｆ部６２４から出力され、外部音響機器等と接続される。

以上のように中継先で取得された全チャンネルの音声は位相ずれが自動的に調整され、逆相関係にない状態で放送局の編集機器に転送される。

以上説明した実施形態は、類似音声グループ化部６１２を多チャンネル音声送信装置３１０に設け、位相ずれ補正部６２３を多チャンネル音声受信装置３２０に設けたものである。すなわち、以上に説明した実施形態は、図５において、図５−１に示す処理を多チャンネル音声送信装置３１０に設けられた類似音声グループ化部６１２で行い、図５−２に示す処理を多チャンネル音声受信装置３２０に設けられた位相ずれ補正部６２３で行うものである。

しかし、図５−１に示す処理、図５−２に示す処理は、多チャンネル音声送信装置３１０だけで行っても、多チャンネル音声受信装置３２０だけで行ってもよいから、以上に説明した実施形態は以下のように変形することができる。

第１の変形例は、図６の多チャンネル音声受信装置３２０に設けられた位相ずれ補正部６２３を、多チャンネル音声送信装置３１０の類似音声グループ化部６１２と転送データ化部６１３の間に設け、それに伴う変更を行ったものである。

すなわち、第１の変形例の位相自動補正付き多チャンネル音声伝送システムでは、多チャンネル音声送信装置３１０は、多チャンネル音声を取得する音声入力Ｉ／Ｆ部６１１と、音声入力Ｉ／Ｆ部６１１で取得された多チャンネル音声の類似度をＣＳＰ法によって調べ、類似したチャンネル音声をグループ化し、各チャンネルの音声がどのグループに属するのかの情報である類似グループ情報を作成する類似音声グループ化部６１２と、類似グループ情報に基づいて類似音声グループ内の位相ずれ計算を行い、前記多チャンネル音声の位相ずれを調整する位相ずれ補正部と、位相ずれ補正部で調整された多チャンネル音声をネットワークに転送できる転送データに変換した順にシーケンス番号を付与する転送データ化部６１３と、転送データをネットワーク６０１に送出するネットワークＩ／Ｆ部６１４を備える。一方、多チャンネル音声受信装置３２０は、ネットワーク６０１を介して送られてきた転送データを受信するネットワークＩ／Ｆ部６２１と、ネットワークＩ／Ｆ部６２１から送られてきたデータをシーケンス番号順に整列させ、多チャンネル音声と類似グループ情報を抽出するデータ抽出部６２２と、外部に音声を出力する音声出力Ｉ／Ｆ部６２４を備える。

第２の変形例は、図６の多チャンネル音声送信装置３１０に設けられた類似音声グループ化部６１２を、多チャンネル音声受信装置３２０のデータ抽出部６２２と位相ずれ補正部６２３の間に設け、それに伴う変更を行ったものである。

すなわち、第２の変形例の位相自動補正付き多チャンネル音声伝送システムでは、多チャンネル音声送信装置３１０は、多チャンネル音声を取得する音声入力Ｉ／Ｆ部６１１と、音声入力Ｉ／Ｆ部６１１から送られてきた多チャンネル音声をネットワークに転送できる転送データに変換し、変換した順番にシーケンス番号を付与する転送データ化部６１３と、転送データをネットワークに送出するネットワークＩ／Ｆ部６１４を備える。一方、多チャンネル音声受信装置３２０は、ネットワーク６０１を介して送られてきた転送データを受信するネットワークＩ／Ｆ部６１４と、ネットワークＩ／Ｆ部６１４から送られてきたデータをシーケンス番号順に整列し、多チャンネル音声を抽出するデータ抽出部６２２と、データ抽出部６２２から送られてきた多チャンネル音声の類似度をＣＳＰ法によって調べ、類似したチャンネル音声をグループ化し、各チャンネル音声がどのグループに属するのかの情報である類似グループ情報を作成する類似音声グループ化部と、類似グループ情報に基づいて類似音声グループ内の位相ずれ計算を行い、前記多チャンネル音声データの位相ずれを調整する位相ずれ補正部６２３と、外部に音声を出力する音声出力Ｉ／Ｆ部６２４を備える。

また、以上に説明した実施形態、第１の変形例、第２の変形例から、ネットワークに関連する部分を捨象すると第３の変形例として次に示す位相ずれ自動調整システムを得ることができる。

すなわち、第３の変形例は、多チャンネル音声の位相を自動的に調整する位相ずれ自動調整システムであり、多チャンネル音声を取得する音声入力Ｉ／Ｆ部６１１と、音声入力Ｉ／Ｆ部で取得された多チャンネル音声の類似度をＣＳＰ法によって調べ、類似したチャンネル音声をグループ化し、各チャンネル音声がどのグループに属するのかの情報である類似グループ情報を作成する類似音声グループ化部６１２と、類似グループ情報に基づいて類似音声グループ内の位相ずれ計算を行い、前記多チャンネル音声の位相ずれを調整する位相ずれ補正部６２３と、外部に音声を出力する音声出力Ｉ／Ｆ部６２４を備える。この第３の変形例の位相ずれ自動調整システムは、取得された多チャンネル音声の類似度をＣＳＰ法によって調べ、類似したチャンネル音声をグループ化し、各チャンネル音声がどのグループに属するのかの情報である類似グループ情報を作成し、類似グループ情報に基づいて類似音声グループ内の位相ずれ計算を行い、多チャンネル音声の位相ずれを調整し、外部に音声を出力する。

以上に説明した第１〜第３の変形例においても、各変形例に関して説明した点以外については、実施形態に関して説明したことと同じである。

本実施例ではネットワーク部に現在コンピュータの分野などで広く使われているＩＰネットワークを用いた例を示す。
本実施例は図１０のように多チャンネル音声送信装置１０１０、多チャンネル音声受信装置１０２０と、これらを接続するデータ転送用ネットワーク（ＩＰネットワーク）１００１から構成される。多チャンネル音声送信装置１０１０は多チャンネル音声を取得する音声入力Ｉ／Ｆ部１０１１、集音した多チャンネル音声の全ての２チャンネルの組み合わせについて類似度を計算しグループ化を行う類似音声グループ化部１０１２、多チャンネル音声および類似グループ情報をＩＰパケット化するＩＰパケット化部１０１３、多チャンネル音声受信装置１０２０へＩＰパケットを転送するネットワークＩ／Ｆ部１０１４で構成される。このうち、類似音声グループ化部１０１２は音声を一時的に蓄積するバッファ部１０１２ａ、多チャンネル音声間の類似度を計算する類似度計算部１０１２ｂからなる。

多チャンネル音声受信装置１０２０は、多チャンネル音声送信装置１０１０から送られてきたＩＰパケットを受信するネットワークＩ／Ｆ部１０２１、ＩＰパケットから多チャンネル音声および類似グループ情報を抽出するデータ抽出部１０２２、逆相関係にある音声間の位相ずれを補正する位相ずれ補正部１０２３、多チャンネル音声を外部に出力する音声出力部Ｉ／Ｆ１０２４から構成される。データ抽出部１０２２は受信したネットワークＩ／Ｆ部１０２１から送られてきたＩＰパケットをパケット化された順番に整列させるパケット整列部１０２２ａと、音声と類似グループ情報に変換するデータ変換部１０２２ｂからなる。位相ずれ補正部１０２３は、類似グループ内の位相ずれ計算を行う類似グループ内位相ずれ計算部１０２３ａ、類似グループ内位相ずれ計算部１０２３ａで計算された結果を保持し、位相ずれ調整部１０２３ｃにその結果を伝達する位相ずれ記憶部１０２３ｂ、位相ずれ記憶部１０２３ｂから送られてきた情報をもとに多チャンネル音声の位相ずれを調整する位相ずれ調整部１０２３ｃからなる。

多チャンネル音声送信装置１０１０において、外部マイクより取得された数１０〜１００チャンネルの音声は音声入力Ｉ／Ｆ部１０１１から多チャンネル音声送信装置１０１０に入力される。入力された音声データは類似音声グループ化部１０１２内のバッファ１０１２ａに送られる。類似度計算部１０１２ｂではバッファ１０１２ａで蓄積されている音声を取得し、音声チャンネルの全ての２つのチャンネルの組み合わせについて類似度を計算する。類似度がある一定以上の値であった場合、そのチャンネル間を類似チャンネルとして同一類似グループとし、各チャンネルがどのグループに属するかの情報である類似グループ情報を作成する。

類似グループ情報およびバッファ１０１２ａに蓄積された音声はＩＰパケット化部１０１３で再生順にＩＰパケット化され、ＩＰヘッダにシーケンス番号が付与された後、ネットワークＩ／Ｆ部１０１４に送られる。ネットワークＩ／Ｆ部１０１４では送られてきたＩＰパケットを多チャンネル音声受信装置１０２０に向けて転送する。

多チャンネル音声受信装置１０２０は、ＩＰネットワーク１００１から送られてきたＩＰパケットをネットワークＩ／Ｆ部１０２１で受信する。受信されたＩＰパケットはデータ抽出部１０２２のパケット整列部１０２２ａに送られ、シーケンス番号順に整列された後、データ変換部１０２２ｂにおいて音声および類似グループ情報が抽出される。抽出された音声および類似グループ情報はその後位相ずれ補正部１０２３の類似グループ内位相ずれ計算部１０２３ａに送られる。類似グループ内位相ずれ計算部１０２３ａでは、類似グループ情報をもとにグループ内の代表１チャンネルと他のチャンネルの位相関係をＣＳＰ法によって計算し、逆相関係にある場合は算出した遅延量を位相ずれ記憶部１０２３ｂに格納する。全グループ内の位相関係の計算が終わった時点で、音声を位相ずれ調整部１０２３ｃに送信する。位相ずれ記憶部１０２３ｂでは類似グループ内位相ずれ計算部１０２３ａから送られてきた遅延量を位相ずれ調整部１０２３ｃに送る。位相ずれ調整部１０２３ｃでは送られてきた音声を位相ずれ記憶部１０２３ｂから送られてきた情報をもとに、指定された音声の位相をずらし遅延させる。全音声チャンネルの位相調整作業が終わった時点で音声は音声出力Ｉ／Ｆ部１０２４に送られ、そこから外部に出力される。

本実施例では以上のようにして放送局の中継番組制作に必要な全ての音声を放送局などの拠点へ転送を可能にする。この際、多チャンネル音声の集音時、転送時の位相ずれを自動調整することが出来る。また上記の構成により、類似音声グループ化部１０１２を多チャンネル音声送信装置１０１０、位相ずれ補正部１０２３を多チャンネル音声受信装置１０２０での処理構成とし、送信ＰＣと受信ＰＣの２台のＰＣでグループ化、位相ずれ補正の処理を分散化させることで各ＰＣへの負荷を削減する。負荷の削減を考慮しない場合、送信側ＰＣまたは受信側ＰＣのどちらかに各処理部を設置し、処理を集中させる構成でもよい。また、必ずしもネットワークを経由する必要はなく、多チャンネル音声の位相を自動的に調整する位相ずれ自動調整システムとして構成することもできる。

以上説明したシステム、装置は、コンピュータとプログラムによって構成することができる。また、そのプログラムの一部または全部をハードウェアで構成することもできる。

以上、本発明者によってなされた発明を、前記実施形態、実施例に基づき具体的に説明したが、本発明は、前記実施形態、実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。

従来の放送局の中継番組の制作システムの一般的な構成を説明するための図である。２信号間における逆相関係とその加算による打ち消しあいを説明するための図である。本発明の実施形態に係る位相自動補正機能付き多チャンネル音声転送システムを説明するための図である。ＣＳＰ法による位相ずれ計算における処理の流れを説明するための図である。類似音声のグループ化による位相ずれ計算における処理の流れを説明するための図である。本発明の実施形態に係る位相自動補正機能付き多チャンネル音声転送システムの構成を示すブロック図である。ＣＳＰ法による処理の流れを説明するための図である。ＣＳＰ法によって計算した値から２信号間のＣＳＰ値とずれを求める処理を説明するための図である。ＣＳＰ法による計算によって２信号が逆相関係になった場合の処理の流れを説明するための図である。実施例に係る位相自動補正機能付き多チャンネル音声転送システムのＩＰネットワーク用いた場合の構成を示すブロック図である。

符号の説明

３００…位相自動補正機能付き多チャンネル音声転送システム、３０１…マイク、３０２…放送局、３０３…編集室、３０４…編集機器、３０５…音声エンジニア、３０６…中継車／臨時編集室、３１０…多チャンネル音声送信装置、３２０…多チャンネル音声受信装置、６０１…ネットワーク、６１１…音声入力Ｉ／Ｆ部、６１２…疑似音声グループ化部、６１２ａ…バッファ、６１２ｂ…類似度計算部、６１３…転送データ化部、６１４…ネットワークＩ／Ｆ部、６２１…ネットワークＩ／Ｆ部、６２２…データ抽出部、６２２ａ…データ整列部、６２２ｂ…データ変換部、６２３…位相ずれ補正部、６２３ａ…類似グループ内位相ずれ計算部、６２３ｂ…位相ずれ記憶部、６２３ｃ…位相ずれ調整部、６２４…音声出力Ｉ／Ｆ部、１０１０…多チャンネル音声送信装置、１００１…データ転送用ネットワーク（ＩＰネットワーク）、１０１１…音声Ｉ／Ｆ部、１０１２…類似音声グループ化部、１０１２ａ…バッファ、１０１２ｂ…類似度計算部、１０１３…ＩＰパケット化部、１０１４…ネットワークＩ／Ｆ部、１０２０…多チャンネル音声受信装置、１０２１…ネットワークＩ／Ｆ部、１０２２…データ抽出部、１０２２ａ…パケット整列部、１０２２ｂ…データ変換部、１０２３…位相ずれ補正部、１０２３ａ…類似グループ内位相ずれ計算部、１０２３ｂ…位相ずれ記憶部、１０２３ｃ…位相ずれ調整部、１０２４…音声出力Ｉ／Ｆ部

Claims

データ転送用ネットワークで接続された複数チャンネル音声送信装置と複数チャンネル音声受信装置とを有する位相自動補正付き複数チャンネル音声伝送システムであって、
前記複数チャンネル音声送信装置は、
複数チャンネル音声を取得する音声入力Ｉ／Ｆ部と、
前記音声入力Ｉ／Ｆ部で取得された複数チャンネル音声の類似度をＣＳＰ法によって調べ、類似したチャンネル音声をグループ化し、各チャンネル音声がどのグループに属するのかの情報である類似グループ情報を作成する類似音声グループ化部と、
前記複数チャンネル音声と前記類似グループ情報をネットワークに転送できる転送データに変換する転送データ化部と、
前記転送データをネットワークに送出するネットワークＩ／Ｆ部を備え、
前記複数チャンネル音声受信装置は、
ネットワークを介して送られてきた転送データを受信するネットワークＩ／Ｆ部と、
前記転送データから複数チャンネル音声と類似グループ情報に変換するデータ抽出部と、
前記類似グループ情報に基づいて類似音声グループ内の位相ずれ計算を行い、前記複数チャンネル音声の位相ずれを調整する位相ずれ補正部と、
外部に音声を出力する音声出力Ｉ／Ｆ部を備える
ことを特徴とする位相自動補正付き複数チャンネル音声伝送システム。
前記類似音声グループ化部は、
前記音声入力Ｉ／Ｆ部で取得された複数チャンネル音声を蓄積するバッファと、
前記バッファに蓄積されている複数チャンネル音声から全チャンネル間の類似度を、ＣＳＰ法を用いて計算する類似度計算部と、
を備えることを特徴とする請求項１に記載の位相自動補正付き複数チャンネル音声伝送システム。
前記類似度計算部は、入力された各チャンネルのサンプルデータを定間隔で間引き、全チャンネル間の類似度を、ＣＳＰ法を用いて計算する手段を備えることを特徴とする請求項２に記載の位相自動補正付き複数チャンネル音声伝送システム。
前記転送データ化部は、
複数チャンネル音声と類似グループ情報をデータ化し、データ化された順にシーケンス番号を付与する手段を備え、
前記データ抽出部は、
ネットワークＩ／Ｆ部から転送されてきたデータをシーケンス番号順に整列させるデータ整列部と、
複数チャンネル音声と類似グループ情報を抽出するデータ変換部を備え、
前記位相ずれ補正部は、
前記類似グループ情報をもとに類似グループ内の音声間の位相関係をＣＳＰ法を用いて計算する類似グループ内位相ずれ計算部と、
類似グループ内位相ずれ計算部の計算結果を保持し、位相ずれ調整部にその結果を伝達する位相ずれ記憶部と、
位相ずれ記憶部から送られてきた情報を元に複数チャンネル音声の位相ずれを調整する位相ずれ調整部を備える
ことを特徴とする請求項１に記載の位相自動補正付き複数チャンネル音声伝送システム。
データ転送用ネットワークで接続された複数チャンネル音声送信装置と複数チャンネル音声受信装置とを有する位相自動補正付き複数チャンネル音声伝送システムであって、
前記複数チャンネル音声送信装置は、
複数チャンネル音声を取得する音声入力Ｉ／Ｆ部と、
前記音声入力Ｉ／Ｆ部で取得された複数チャンネル音声の類似度をＣＳＰ法によって調べ、類似したチャンネル音声をグループ化し、各チャンネル音声がどのグループに属するのかの情報である類似グループ情報を作成する類似音声グループ化部と、
前記類似グループ情報に基づいて類似音声グループ内の位相ずれ計算を行い、前記複数チャンネル音声の位相ずれを調整する位相ずれ補正部と、
前記位相ずれ補正部で調整された複数チャンネル音声をネットワークに転送できる転送データに変換する転送データ化部と、
前記転送データをネットワークに送出するネットワークＩ／Ｆ部を備え、
前記複数チャンネル音声受信装置は、
ネットワークを介して送られてきた転送データを受信するネットワークＩ／Ｆ部と、
前記ネットワークＩ／Ｆ部から送られてきたデータをシーケンス番号順に整列させるデータ抽出部と、
外部に音声を出力する音声出力Ｉ／Ｆ部を備える
ことを特徴とする位相自動補正付き複数チャンネル音声伝送システム。
データ転送用ネットワークで接続された複数チャンネル音声送信装置と複数チャンネル音声受信装置とを有する位相自動補正付き複数チャンネル音声伝送システムであって、
前記複数チャンネル音声送信装置は、
複数チャンネル音声を取得する音声入力Ｉ／Ｆ部と、
前記音声入力Ｉ／Ｆ部から送られてきた複数チャンネル音声をネットワークに転送できる転送データに変換する転送データ化部と、
前記転送データをネットワークに送出するネットワークＩ／Ｆ部を備え、
前記複数チャンネル音声受信装置は、
ネットワークを介して送られてきた転送データを受信するネットワークＩ／Ｆ部と、
前記ネットワークＩ／Ｆ部から送られてきたデータをシーケンス番号順に整列させるデータ抽出部と、
前記データ抽出部で整列された複数チャンネル音声の類似度をＣＳＰ法によって調べ、類似したチャンネル音声をグループ化し、各チャンネル音声がどのグループに属するのかの情報である類似グループ情報を作成する類似音声グループ化部と、
前記類似グループ情報に基づいて類似音声グループ内の位相ずれ計算を行い、前記複数チャンネル音声の位相ずれを調整する位相ずれ補正部と、
外部に音声を出力する音声出力Ｉ／Ｆ部を備える
ことを特徴とする位相自動補正付き複数チャンネル音声伝送システム。
複数チャンネル音声の位相を自動的に調整する位相ずれ自動調整システムであって、
複数チャンネル音声を取得する音声入力Ｉ／Ｆ部と、
前記音声入力Ｉ／Ｆ部で取得された複数チャンネル音声の類似度をＣＳＰ法によって調べ、類似したチャンネル音声をグループ化し、各チャンネル音声がどのグループに属するのかの情報である類似グループ情報を作成する類似音声グループ化部と、
前記類似グループ情報に基づいて類似音声グループ内の位相ずれ計算を行い、前記複数チャンネル音声の位相ずれを調整する位相ずれ補正部と、
外部に音声を出力する音声出力Ｉ／Ｆ部を備える
ことを特徴とする位相ずれ自動調整システム。
複数チャンネル音声の位相を自動的に調整する位相ずれ自動調整システムにおける位相ずれ自動調整方法であって、
複数チャンネル音声を取得し、
取得された複数チャンネル音声の類似度をＣＳＰ法によって調べ、類似したチャンネル音声をグループ化し、各チャンネル音声がどのグループに属するのかの情報である類似グループ情報を作成し、
前記類似グループ情報に基づいて類似音声グループ内の位相ずれ計算を行い、前記複数チャンネル音声の位相ずれを調整し、
外部に音声を出力する
ことを特徴とする位相ずれ自動調整方法。
複数チャンネル音声の位相を自動的に調整する位相ずれ自動調整システムのためのプログラムであって、
コンピュータを、
複数チャンネル音声を取得する音声入力Ｉ／Ｆ部、
前記音声入力Ｉ／Ｆ部で取得された複数チャンネル音声の類似度をＣＳＰ法によって調べ、類似したチャンネル音声をグループ化し、各チャンネル音声がどのグループに属するのかの情報である類似グループ情報を作成する類似音声グループ化部、
前記類似グループ情報に基づいて類似音声グループ内の位相ずれ計算を行い、前記複数チャンネル音声の位相ずれを調整する位相ずれ補正部、および
外部に音声を出力する音声出力Ｉ／Ｆ部
として機能させるためのプログラム。