JP6193800B2 - 音声収音システム、音声再生システム - Google Patents

Description

この発明は、マイクロホンやスピーカーを備える音響装置を複数用いて、収音した音声を雑音抑圧や音声強調、エリア再生などの音響処理を行って再生する音声収音再生技術に関する。

従来からテレビに取り付けたカメラ機能付きのマイクロホンを利用して音声会議を行う技術が存在していた（非特許文献１、２、３参照）。非特許文献１、２に記載された音声会議技術では、発話者がカメラ機能付きマイクロホンから近い場所で話した音声をサービスに適した品質で収音することができるが、発話者がカメラ機能付きマイクロホンから遠い場所で話した音声の収音品質は劣化してしまう問題がある。

この問題を解決するために、非特許文献３に記載された通信端末では、非特許文献４に記載された音響装置をUSB（Universal Serial Bus）ケーブルで接続して拡張マイクロホンとして利用することができる。これにより、USBケーブルを延長することで、カメラ機能付きマイクロホンから離れた場所の発話者の音声を収音することが可能になる。また、非特許文献４に記載された音響装置はスピーカー機能も有し、非特許文献３に記載された通信端末が備えるスピーカーを補助することが可能である。

東日本電信電話株式会社、"ひかりシェアプレイス"、[online]、[平成26年4月14日検索]、インターネット<URL：https://web116.jp/shop/goods/hlv1-tel/hlv1-tel_00.html> 西日本電信電話株式会社、"光だんらんTV"、[online]、[平成26年4月14日検索]、インターネット<URL：http://flets-w.com/hikaridenwa/danlan/> 西日本電信電話株式会社、"HLV1-TEL取扱説明書"、[online]、[平成26年4月14日検索]、インターネット<URL：https://www.ntt-west.co.jp/kiki/download/reflection/danlan/HLV1-TEL_man3.pdf> エヌ・ティ・ティ・アドバンステクノロジ株式会社、"R-Talk取扱説明書"、[online]、[平成26年4月14日検索]、インターネット<URL：http://www.ntt-at.co.jp/product/rt800/pdf/rt800_manual.pdf>

非特許文献３に記載された通信端末においてマイクロホンやスピーカーを拡張するためには、非特許文献４に記載された音響装置のような専用の機器が必要となる。また、非特許文献４に記載された音響装置はUSBケーブルのような有線で接続する必要があるため、既存の通信端末に新規に音響装置を追加する場合は、ハードウェアの改造や設計をやり直す必要がある。

この発明は、マイクロホン機能やスピーカー機能を備える音響装置を必要に応じて追加してマイクロホンアレイ処理やスピーカーアレイ処理を行う音声収音再生技術を実現することを目的とする。

上記の課題を解決するために、この発明の第一の態様の音声収音システムは、ホスト部と少なくとも１つのクライアント部を含む。クライアント部は、収音した音声に基づいて生成した音響信号をホスト部へ送信する音声取得部と、ホスト部へ接続要求を送信する接続制御部と、を含む。ホスト部は、収音した音声に基づいて音響信号を生成する音声取得部と、ホスト部の音声取得部が出力する音響信号と、クライアント部から受信する音響信号とを用いて、所望のマイクロホンアレイ処理を施した処理後音響信号を出力するマイクロホンアレイ制御部と、接続要求を受信してマイクロホンアレイ制御部にクライアント部を追加する接続制御部と、を含む。

この発明の第二の態様の音声再生システムは、ホスト部と少なくとも１つのクライアント部を含む。クライアント部は、ホスト部へ接続要求を送信する接続制御部と、ホスト部から受信する処理後音響信号を再生する音声再生部と、を含む。ホスト部は、入力された音響信号に対して所望のスピーカーアレイ処理を施した処理後音響信号を出力し、クライアント部へ音響信号を送信するスピーカーアレイ制御部と、処理後音響信号を再生する音声再生部と、接続要求を受信してスピーカーアレイ制御部にクライアント部を追加する接続制御部と、を含む。

この発明によれば、マイクロホン機能やスピーカー機能を備える音響装置を必要に応じて追加してマイクロホンアレイ処理やスピーカーアレイ処理を行う音声収音再生技術を実現することができる。例えば、音響装置として無線LAN（Local Area Network）のような無線通信機能を備えるスマートフォンなどを利用することで、有線の接続を必要とせずに、必要に応じて、マイクロホンやスピーカーをマイクロホンアレイ処理やスピーカーアレイ処理に追加することができる。

図１は、音声収音再生システムの機能構成を例示する図である。 図２は、ホスト部の機能構成を例示する図である。 図３は、クライアント部の機能構成を例示する図である。 図４は、クライアント部の入力インターフェースを例示する図である。 図５は、音声収音再生方法の処理フローを例示する図である。

以下、この発明の実施の形態について詳細に説明する。なお、図面中において同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。

この発明の音声収音再生技術は、ホスト部の処理とクライアント部の処理から構成される。ホスト部の処理はクライアント部から送られた音声を集約し、非同期音声処理を行うことで特定の音声のみを強調する。ホスト部は、非同期音声処理を行いクライアント部近傍の話者ごとに音声を分離した信号に対し、利用する音声サービスに合わせて音響処理を行う。例えば、音声通話であれば話者ごとの音量を調整する自動利得制御（AGC: Automatic Gain Control）を行った後にミキシングして他地点に送信する。

この発明では、ホスト部とクライアント部とを無線LANなどの無線通信により接続することで、より広い範囲の収音を実現する。また、スピーカー機能を有するクライアント部を接続することで、無線で手軽にスピーカーの連携を実現する。

無線LANの範囲は一つのアクセスポイントでは比較的狭いエリアにしか電波が届かないが、無線LANが届く範囲であれば、クライアント部を追加することですべての話者の音声をマイクロホンによって収音することができるようになり、音声収音再生サービスとして適切に機能する。

実施形態の音声収音再生システム５は、図１に示すように、ホスト部１及びK(>1)個のクライアント部３₁,…,３_Kを例えば含む。音声収音再生システム５は少なくとも二組で連携することにより音声収音再生機能を実現する。この実施形態では音声収音再生システム５が二組の場合を例として説明するが、三組以上の音声収音再生システム５を用いて三つ以上の空間が互いに収音した音声を再生する構成とすることも可能である。

図１に示す通り、音声収音再生システム５_Aと音声収音再生システム５_Bとにより音声収音再生機能を実現する場合、音声収音再生システム５_Aのクライアント部３₁,…,３_Kが配置された空間と音声収音再生システム５_Bのクライアント部３₁,…,３_Kが配置された空間とはそれぞれ異なる空間である。

音声収音再生システム５_Aのホスト部１と音声収音再生システム５_Bのホスト部１は共に通信網９に接続される。通信網９は、接続される各装置が相互に通信可能なように構成されていればよく、例えばインターネット、WAN（Wide Area Network）、LAN（Local Area Network）、公衆交換電話網、専用線などで構成することができる。

音声収音再生システム５_Aに含まれるクライアント部３の数と音声収音再生システム５_Bに含まれるクライアント部３の数とは同一であってもよいし、異なっていてもよい。

ホスト部１は、図２に示すように、マイクロホンＭ、スピーカーＳ、接続制御部１０、画面制御部１１、音声取得部１２、パケット受信部１３、エコーキャンセラ部１４、信号バッファ部１５、マイクロホンアレイ制御部１６、音声サービス処理部１７、スピーカーアレイ制御部１８、パケット送信部１９及び音声取得部２０を例えば含む。

ホスト部１は、例えば、中央演算処理装置（CPU: Central Processing Unit）、主記憶装置（RAM: Random Access Memory）などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。ホスト部１は、例えば、中央演算処理装置の制御のもとで各処理を実行する。ホスト部１に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて読み出されて他の処理に利用される。また、ホスト部１の各処理部の少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。

クライアント部３は、図３に示すように、マイクロホンＭ、スピーカーＳ、接続制御部３０、画面制御部３１、音声取得部３２、パケット送信部３３、パケット受信部３４及び音声再生部３５を例えば含む。

クライアント部３は、例えば、中央演算処理装置（CPU: Central Processing Unit）、主記憶装置（RAM: Random Access Memory）などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。クライアント部３は、例えば、中央演算処理装置の制御のもとで各処理を実行する。クライアント部３に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて読み出されて他の処理に利用される。また、クライアント部３の各処理部の少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。

クライアント部３は無線LANのような無線通信ネットワークや、Bluetooth（登録商標）、NFC（Near Field Connection）のような近距離無線通信などの無線通信機能を有する音響装置であることが望ましい。クライアント部３は、具体的には、例えば、スマートフォン、タブレット端末、既存のテレビ会議装置や音声会議装置、テレビ、マイクロホンやスピーカーを有するテレビのリモコン、マイクロホンやスピーカーを内蔵もしくは外付けしたラップトップ型もしくはデスクトップ型のパーソナルコンピュータ、据置型のテレビゲーム機、テレビゲーム機のコントローラ、ポータブルゲーム機などである。

クライアント部３は、画面を用いた入力インターフェースを持つ。クライアント部３の入力インターフェースは、例えば、図４に示すようなユーザーインターフェースを持つアプリケーションとして実装することができる。図４（Ａ）は、クライアント部３がホスト部１との接続を切断している状態の例である。図４（Ｂ）は、クライアント部３がホスト部１と接続して、マイクロホンが利用可能となっている状態の例である。図４（Ｃ）は、クライアント部３がホスト部１と接続するための操作を行っている状態の例である。

クライアント部３をスマートフォンなどの汎用的な情報処理装置で実装する場合には、そのスマートフォンへクライアント部３を実装したプログラム（以下、アプリという）をインストールする必要がある。アプリの配布方法としては、スマートフォンの製造事業者や携帯通信事業者が提供するデジタルコンテンツ配信サービスを利用したアプリの配信が利用できる。また、クライアント部３がホスト部１にアクセスすることで、ホスト部１に内蔵されたアプリをインストールする方法も可能である。ホスト部１へのアクセス方法としては、例えば、上述のように、無線LAN、Bluetooth（登録商標）、NFCなどを利用することができる。また、ホスト部１からのアプリの取得だけではなく、各クライアント部３同士がアプリを共有し導入することも可能である。クライアント部３同士のアクセス方法としては、例えば、赤外線通信やNFCなどが利用できる。

図５を参照して、実施形態の音声収音再生方法を説明する。

ステップＳ３０において、クライアント部３の接続制御部３０は、クライアント部３とホスト部１との接続制御を行う。クライアント部３がホスト部１へ接続するために、まず、接続先のホスト部１のIPアドレスを指定する必要がある。接続先のIPアドレスは、例えば、画面制御部３１から受け取ったIPアドレスを接続先として利用する。もしくは、ホスト部１のIPアドレスを固定して決める。もしくは、クライアント部３が接続先のホスト部１を探索する方法を利用することができる。

クライアント部３が接続先のホスト部１を探索する方法は、例えば、以下のような方法とすることができる。まず、利用者の操作によりクライアント部３の画面制御部３１から開始信号が入力される。クライアント部３の接続制御部３０は、クライアント部３が接続されている無線LAN内に要求パケットをブロードキャストする。ブロードキャストしたパケットに対して反応することができるホスト部１が存在する場合、そのホスト部１の接続制御部１０が返答パケットを返信する。クライアント部３の接続制御部３０は、返答パケットに記されるIPアドレスを接続先のホスト部１のIPアドレスとして決定する。

また、クライアント部３の接続制御部３０は、接続先のホスト部１に対して利用者の認証を施すこともできる。例えば、PIN（Personal Identification Number）コードを利用した認証の場合、クライアント部３の接続制御部３０は、画面制御部３１から受け取ったPINコードをホスト部１の接続制御部１０へ送信する。ホスト部１の接続制御部１０は自身が生成したPINコードと受信したPINコードとを照合し、認証が成功した場合は、承認を示すパケットを返信し、認証が失敗した場合は、接続拒否を示すパケットを返信する。クライアント部３の接続制御部３０は、承認を示すパケットを受け取ると、ホスト部１との接続を確立し、接続拒否を示すパケットを受け取ると、パケット送信部３３に対してパケット送信を止める指令を受け渡す。

ステップＳ１０において、ホスト部１の接続制御部１０は、クライアント部３とホスト部１との接続制御を行う。ホスト部１の接続制御部１０は、無線LAN内に接続されたクライアント部３からブロードキャストされた要求パケットを受信する。要求パケットを受信したホスト部１は、クライアント部３の接続を受け入れることができる場合には、ホスト部１のIPアドレスを通知する返答パケットをクライアント部３に対して返信する。

また、ホスト部１の接続制御部１０は、接続先のクライアント部３に対して利用者の認証を施すこともできる。例えば、PINコードを利用した認証の場合、クライアント部３へ返答パケットを送信した後、画面制御部１１に認証開始の指示とランダムに生成したPINコードを受け渡す。利用者は、ホスト部１の画面制御部１１に表示されたPINコードを確認し、クライアント部３の画面制御部３１でそのPINコードを入力する。クライアント部３の接続制御部３０はホスト部１の接続制御部１０へ入力されたPINコードを送信する。ホスト部１の接続制御部１０は自身が生成したPINコードと受信したPINコードとを照合し、認証が成功した場合は、承認を示すパケットを返信し、認証が失敗した場合は、接続拒否を示すパケットを返信する。認証が失敗した場合には、さらに、画面制御部１１に失敗の通知を受け渡す。

クライアント部３とホスト部１を接続する認証方法についてより詳しく説明する。

無線LAN内に他に接続可能なホスト部１が存在しない場合は、認証なしで接続するように構成してもよい。

クライアント部３にあらかじめ利用者を特定するIDとパスワードを入力しておき、そのIDとパスワードをホスト部１に送信し認証を行うように構成してもよい。

クライアント部３がホスト部１による認証を待っている任意の時間内に、ホスト部１で指定の操作を行うようにしてもよい。例えば、クライアント部３が接続認証を待機する20秒の間に、ホスト部１で音声ミュートボタンを二回押す、また、ホスト部１で接続を許可するボタンを押す、などの方法により認証を行うように構成してもよい。図４（Ｃ）は、このように構成した場合におけるクライアント部３の画面制御部３１の表示の例である。

クライアント部３のMACアドレスやクライアント部３の固有のIDを事前にホスト部１に登録しておき、登録されたクライアント部３のみを自動で接続可能とするように構成してもよい。

クライアント部３とホスト部１とで、BluetoothやNFCのような近距離無線通信を利用し、接続IDやIPアドレスなどの情報を交換し、接続を行うように構成してもよい。

ステップＳ３１において、クライアント部３の画面制御部３１は、クライアント側の画面表示の制御を行う。画面制御部３１は、クライアント部３の画面上で音声取得部３２を有効にするか、無効にするかを指定することを可能にする。画面制御部３１は、無効が指定された場合、音声取得部３２に信号を渡し、音声取得部３２を停止する。有効が指定された場合、音声取得部３２に信号を渡し、音声取得部３２を起動し維持する。

図４（Ａ）は、音声取得部３２が無効となっている状態の画面制御部３１の表示の例である。図４（Ｂ）は、音声取得部３２が有効となっている状態の画面制御部３１の表示の例である。いずれの例でも画面下部のボタン押下により音声取得部３２を有効にするか、無効にするかを指定することができる。

また、画面制御部３１は、クライアント部３の画面上で音声再生部３５を有効にするか、無効にするかを指定することを可能にする。画面制御部３１は、無効が指定された場合、音声再生部３５に信号を渡し、音声再生部３５を停止する。有効が指定された場合、音声再生部３５に信号を渡し、音声再生部３５を起動し維持する。

また、画面制御部３１はパケット送信部３３の宛先IPアドレスを画面上で入力させ、送信先のホスト部１のIPアドレスとして決定する。入力されたIPアドレスはパケット送信部３０に受け渡す。もしくは、画面制御部３１は、ホスト部１のIPアドレスを探索する開始ボタンを画面上に用意し、開始動作を制御する。開始ボタンが利用者によって操作されると、接続制御部３０に開始の信号を受け渡す。接続制御のために用いるPINコードの入力も同時に行う。画面制御部３１は、入力されたPINコードをパケット送信部３３に受け渡す。

ステップＳ１１において、ホスト部１の画面制御部１１は、接続制御部１０から認証開始の指示とPINコードとを受け取り、受け取ったPINコードを画面上に表示させる。また、受信ポート番号を利用者から入力させ、入力されたポート番号をパケット受信部１３に受け渡す。

ステップＳ１２において、ホスト部１の音声取得部１２は、ホスト部１のマイクロホンＭから音声を収音し、収音したアナログ信号をアナログデジタル（A/D）変換器を用いて、指定したサンプリング周波数でデジタル信号に変換する。例えば、16kHzサンプリングで音声を収音する。デジタル信号とした音声はエコーキャンセラ部１４に受け渡す。

ステップＳ３２において、クライアント部３の音声取得部３２は、クライアント部３のマイクロホンＭから音声を収音し、収音したアナログ信号をアナログデジタル（A/D）変換器を用いて、指定したサンプリング周波数でデジタル信号に変換する。例えば、16kHzサンプリングで音声を収音する。デジタル信号とした音声はパケット送信部３３に受け渡す。

ステップＳ３３において、クライアント部３のパケット送信部３３は、固定のポート番号とIPアドレスに対して指定したプロトコルで、指定したPCM（Pulse Code Modulation）データ長で音声パケットを送信する。ポート番号とIPアドレスは画面制御部３１で利用者が入力することもできる。また、接続制御部３０で探索したホスト部１のIPアドレスを受け取り送信先としてIPアドレスを指定することもできる。音声パケットの送信方法は、例えばRTP（Real-time Transport Protocol）で送信し、PCMデータ長を20ミリ秒として送信する。また、送信する音声パケットは、例えばIPsecなどの暗号化技術によりセキュリティを確保した方法で送信してもよいし、例えばG.711などの符号化技術により符号化し送信してもよい。音声パケットはホスト部１のパケット受信部１３に送信される。

ステップＳ１３において、ホスト部１のパケット受信部１３は、利用者が画面制御部１０で入力したポート番号や、固定のポート番号に対して送られてきた音声パケットを受信する。パケット受信部１３は、受信した音声パケットをバッファリングして音切れを減らすようにする。また、音声パケットが暗号化されている場合は復号してPCM信号を得る。仮に、音声パケットに符号化が行われている場合は復号してデジタル信号のPCM信号に変換する。PCM信号はエコーキャンセラ部１４に受け渡す。

ホスト部１のパケット受信部１３は複数のポートに送られてきた音声パケットを同時に処理する機能を有する。受信した音声パケットをそれぞれのポートごとに暗号化の復号や音声符号化の復号を行ない、複数のPCM信号をエコーキャンセラ部１４に受け渡す。

ステップＳ１４において、ホスト部１のエコーキャンセラ部１４は、音声取得部１２からのPCM信号と、他地点からのPCM信号とを受け取る。エコーキャンセラ部１４は、二つの入力のPCM信号に対し遅延を揃える。遅延の揃え方としては、例えば、最大相互相関を利用した遅延補正を行う。また、エコーキャンセラ部１４は、他地点からのPCM信号の成分を音声取得部１２から受け取るPCM信号から取り除く処理を行う。この処理は、例えば、「特許第５０８７０２４号公報（参考文献１）」に記載されたエコーキャンセラの技術を適用することができる。エコーキャンセラの処理を行った出力結果は信号バッファ部１５に受け渡す。

また、エコーキャンセラ部１４は、パケット受信部１３からの１つもしくは複数のPCM信号と、他地点からのPCM信号とを受け取る。エコーキャンセラ部１４は、各ポートに対して送られてきた１つ以上のPCM信号と、他地点からのPCM信号とに対し、遅延を揃える。遅延の揃え方としては、例えば、最大相互相関を利用した遅延補正を行う。また、エコーキャンセラ部１４は、他地点からのPCM信号の成分をパケット受信部１３の各ポートで受信したPCM信号から取り除く処理を行う。この処理は、一般的な適応フィルタのアルゴリズムを用いたエコーキャンセラの処理（例えば、「浅野太著、“音のアレイ信号処理”、コロナ社、2011年（参考文献２）」参照）によって行ってもよいし、上述の参考文献１に記載されたエコーキャンセラの技術を利用してもよい。エコーキャンセラの処理を行った出力結果は信号バッファ部１５に受け渡す。

ステップＳ１５において、ホスト部１の信号バッファ部１５は、エコーキャンセラ部１４からの複数のPCM信号を受け取り、これらのPCM信号の遅延を揃える。遅延の揃え方としては、例えば、最大相互相関を利用した遅延補正を行う。遅延を揃えた複数のPCM信号はマイクロホンアレイ制御部１６に受け渡す。

ステップＳ１６において、ホスト部１のマイクロホンアレイ制御部１６は、信号バッファ部１５から受け取った複数のPCM信号に対して、特定音声を強調するマイクロホンアレイ処理を施し、処理後音響信号を生成する。特定音声を強調する処理は、例えば、「加古達也、小林和則、大室仲、“非同期分散マイクアレーのための振幅スペクトルビームフォーマの提案”、日本音響学会2013年春季研究発表会講演論文集、1-P-5、2013年（参考文献３）」に記載された非同期マイクロホンアレイ処理を利用することができる。また、上記の参考文献２に記載されるように、各PCM信号までの到達時間差を揃え、特定方向のみの音を強調するマイクロホンアレイ処理を行ってもよいし、「向井良等、“非定常スペクトルサブトラクションによる音源分離後の残留雑音除去”、日本音響学会秋季研究発表会、2010年（参考文献４）」に記載されるように、特定話者だけの音が残るように周波数スペクトル上で雑音のスペクトル成分を差し引くスペクトルサブトラクションを行ない、雑音抑圧を行ってもよい。複数の処理後音響信号と音声信号の発話者区間情報は音声サービス処理部１７に受け渡す。

ステップＳ１７において、ホスト部１の音声サービス処理部１７は、受け取った複数の処理後音響信号と発話者区間情報を利用し、提供している音声サービスに合わせた処理を施す。音声サービス処理部１７は、例えば、リアルタイムな音声コミュニケーションで利用するために、話者ごとの音声のパワーを調整する。音声サービス処理部１７は、また、発話者区間情報を利用して発話者が割り振られない音声に対しては、音声のパワーを小さくする。音声サービス処理部１７は、具体的には、係数Gを掛け合わせる。係数Gは、例えば0.1などの値を与える。また、発話者が割り振られる音声に対してはそれぞれの音声のパワーを求め、そのパワーが1になるよう係数Gを掛け合わせる。音声サービス処理部１７は、このようにそれぞれ掛け合わせて得た音声信号を足し合わせて処理後音響信号を出力する。また、音声信号を足し合わせることなく、そのまま複数の処理後音響信号を他地点へ送信してもよい。

ステップＳ１８において、ホスト部１のスピーカーアレイ制御部１８は、他地点のホスト部１の音声サービス処理部１７から受け取った音響信号を利用してスピーカーアレイ処理を施し、処理後音響信号を生成する。例えば、音量や位相を制御することによりスピーカーの指向性を高めエリア再生を実現する。また左右に音源を定位させるために、左右のスピーカーの音量を調整し、話者がどちらから話しているかを把握することを可能にする。部屋の空間全体の音場をスピーカーアレイによって制御し、スピーカーが存在しない場所から音源が鳴っているような音場再生も可能にする。位相と音量を制御した処理後音響信号はパケット送信部１９に受け渡す。また、ホスト部１のスピーカーＳで再生する処理後音響信号は音声再生部２０に受け渡す。

ステップＳ１９において、ホスト部１のパケット送信部１９は、固定のポート番号とIPアドレスに対して指定したプロトコルで、指定したPCMデータ長で音声パケットを送信する。ポート番号とIPアドレスは画面制御部１１で利用者が入力することもできる。また、接続制御部１０で要求パケットを送ってきたクライアント部３のIPアドレスを指定することもできる。音声パケットの送信方法は、例えばRTPで送信し、PCMデータ長を20ミリ秒として送信する。また、送信するパケットは、例えばIPsecなどの暗号化技術によりセキュリティを確保した方法で送ってもよいし、例えばG.711などの符号化技術により符号化し送信してもよい。音声パケットはクライアント部３のパケット受信部３４に送信される。

ステップＳ３４において、クライアント部３のパケット受信部３４は、ホスト部１のパケット送信部１９から送られてきた音声パケットを受信する。パケット受信部３４は、受信した音声パケットをバッファリングして音切れを減らす。また、音声パケットが暗号化されている場合は復号してPCM信号を得る。仮に、音声パケットに符号化が行われている場合は復号してデジタル信号のPCM信号に変換する。PCM信号は音声再生部３５に受け渡す。

ステップＳ２０において、ホスト部１の音声再生部２０は、スピーカーアレイ制御部１８から音声信号のデジタル信号を受け取る。このデジタル信号は、例えばPCM信号である。PCM信号をデジタルアナログ（D/A）変換器を用いてアナログ信号に変換し、ホスト部１のスピーカーＳを用いて再生を行う。

ステップＳ３５において、クライアント部３の音声再生部３５は、パケット受信部３４から音声信号のデジタル信号を受け取る。このデジタル信号は、例えばPCM信号である。PCM信号をデジタルアナログ（D/A）変換器を用いてアナログ信号に変換し、クライアント部３のスピーカーＳを用いて再生を行う。

［応用例１］
実施形態の音声収音再生システムにおいて、ホスト部１をセットトップボックスとして実装し、クライアント部３をスマートフォンとして実装した応用例を説明する。

ホスト部１となるセットトップボックスと、クライアント部３となるスマートフォンを同じネットワークのLAN内に接続する。クライアント部３を起動することで、LAN内に要求パケットをブロードキャストする。ホスト部１は特定のパケットを要求することで、自身のIPアドレスを知らせるための返答パケットをクライアント部３に対して送信する。これにより、ホスト部１とクライアント部３との接続が確立する。

クライアント部３で音声入力を有効にすることで、クライアント部３からホスト部１にパケット化された音声が送信される。ホスト部１ではクライアント部３から受け取った音声パケットを処理することで、クライアント部３の音声も収音することが可能となる。

この応用例では、複数のスマートフォンを利用することで、音声会議システムを実現することができる。複数のスマートフォンから任意に選択した１台のスマートフォンをホスト部１とし、残りの複数のスマートフォンをクライアント部３とする。複数のクライアント部３を１台のホスト部１と接続することで、各スマートフォンの近くで話した話者ごとの音声を強調し、収音信号を得ることができるようになる。

この応用例では、また、複数のスマートフォンを利用することで、スピーカーアレイを実現することができる。複数のスマートフォンから任意に選択した１台のスマートフォンをホスト部１とし、残りの複数のスマートフォンをクライアント部３とする。ホスト部１が、入力された音響信号の位相と再生タイミングを制御して、複数のクライアント部３それぞれに送信する。クライアント部３で受け取った音響信号をスピーカーＳで再生することで、特定の方向のみに音を再生するエリア再生を実現することができる。また、それぞれの方向で異なる音を再生させたり、スピーカーが存在しない場所にも音源を作ったりして空間全体の音場を再現する音場再生が可能となる。

［応用例２］
実施形態の音声収音再生システムにおいて、ホスト部１をセットトップボックスとして実装し、クライアント部３をスマートフォンとして実装し、クライアント部３の接続台数を変化させる応用例を説明する。

ホスト部１となるセットトップボックスと、クライアント部３となるスマートフォンを同じネットワークのLAN内に接続する。クライアント部３を起動することで、LAN内に要求パケットをブロードキャストする。ホスト部１は要求パケットを受信することで、自身のIPアドレスを知らせるための返答パケットをクライアント部３に対して送信する。これにより、ホスト部１とクライアント部３との接続が確立する。

クライアント部３で音声入力を有効にすることで、クライアント部３からホスト部１にパケット化された音声が送信される。ホスト部１ではクライアント部３から受け取った音声パケットを処理することで、クライアント部３の音声も収音することが可能となる。

さらに、クライアント部３を増やす場合は、同一LAN内にクライアント部３を接続し、同様にしてホスト部１と接続する。このとき、ホスト部１の接続制御部１０は、複数の接続を許可してもよいし、同時接続数を制限したい場合には、後から接続してきたクライアント部３の接続を拒否する処理を行ってもよいし、最初に繋がっていたクライアント部３の接続を拒否して後に繋がったクライアント部３の接続を許可してもよい。

マイクロホンアレイ制御部１６は、接続制御部１０によって新たなクライアントが接続された時に、内部の情報をリセットし、再度フィルタの学習を行ない直す。また、スピーカーアレイ制御部１８は、接続制御部１０によって新たなクライアント部３が接続された時に、内部の情報をリセットし、再度フィルタの学習を行ない直す。

［応用例３］
クライアント部３を実装するアプリを販売することによって料金を取得するようにすることもできる。クライアント部３を実装するアプリを既存の音声通話ソフトのオプション機能として追加してもよい。このときオプション料金を支払うことにより初めてアプリを取得できるようにしてもよい。また、アプリを利用して通話した時間に応じて利用料を徴収するようにしてもよい。アプリ内に広告を配置し、広告収入によって収入を得るようにしてもよい。アプリ自体は無料で配信し、ホスト部１に接続した時点で課金する方法で料金を取得してもよい。

［発明の効果］
自由に配置した複数の音響装置から得られた音響信号はサンプリング周波数やマイクロホン感度が異なる。この発明は、異なった音響信号を利用しても特定の話者の音を強調することが可能な非同期音声処理を利用することで、必要に応じて容易にマイクロホン数を増やして特定話者の音声の強調や雑音抑圧を実現する技術である。

この発明の音声収音再生システムは、複数の端末からの音響信号を一台のホスト部に集約することで、拡張マイクロホン機能を容易に実現する。これにより、従来の一つのマイクロホンに比べ、複数のマイクロホンを同時に利用することで特定話者の音声の強調や雑音抑圧、特定話者の音声を収音しないなどのマイクロホンアレイ処理を行うことができるようになる。

また、この発明の音声収音再生システムは、一台のホスト部からの音響信号を複数のクライアント部に向けて送信することで、拡張スピーカー機能を容易に実現する。これにより、従来のスピーカーアレイシステムをワイヤレスのネットワークで実現し、特定エリアだけで音が聞こえるエリア再生や、複数のスピーカーの信号を制御することで空間の音場を再現する音場再生も行うことができる。

この発明は上述の実施形態に限定されるものではなく、この発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。上記実施形態において説明した各種の処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。

［プログラム、記録媒体］
上記実施形態で説明した各装置における各種の処理機能をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

１ ホスト部
３ クライアント部
５ 音声収音再生システム
９ 通信網
１０、３０ 接続制御部
１１、３１ 画面制御部
１２、３２ 音声取得部
１３、３４ パケット受信部
１４ エコーキャンセラ部
１５ 信号バッファ部
１６ マイクロホンアレイ制御部
１７ 音声サービス処理部
１８ スピーカーアレイ制御部
１９、３３ パケット送信部
２０、３５ 音声再生部

Claims (10)

1. ホスト部と少なくとも１つのクライアント部を含む音声収音システムであって、
   上記クライアント部は、
   収音した音声に基づいて生成した音響信号を上記ホスト部へ送信する音声取得部と、
   上記ホスト部へ接続要求を送信する接続制御部と、
   を含み、
   上記ホスト部は、
   収音した音声に基づいて音響信号を生成する音声取得部と、
   上記ホスト部の音声取得部が出力する音響信号と、上記クライアント部から受信する音響信号とを用いて、所望のマイクロホンアレイ処理を施した処理後音響信号を出力するマイクロホンアレイ制御部と、
   上記接続要求を受信して上記マイクロホンアレイ制御部に上記クライアント部を追加する接続制御部と、
   を含む音声収音システム。
2. 請求項１に記載の音声収音システムであって、
   上記音声収音システムは、無線通信により構成される通信網をさらに含み、
   上記ホスト部及び上記クライアント部は、上記通信網を経由して相互に接続可能であり、
   上記クライアント部の接続制御部は、上記通信網を利用可能な場合に、上記接続要求を送信するものである
   音声収音システム。
3. 請求項１または２に記載の音声収音システムであって、
   上記マイクロホンアレイ制御部は、上記ホスト部の音声取得部が出力する音響信号及び上記クライアント部から受信する音響信号に含まれる特定の音声を強調し、及び／又は、特定の音声以外の音声を抑圧するフィルタを用いて、上記マイクロホンアレイ処理を施すものである
   音声収音システム。
4. 請求項３に記載の音声収音システムであって、
   上記マイクロホンアレイ制御部は、上記ホスト部の接続制御部により上記クライアント部が追加された場合には、上記フィルタをリセットして再度学習するものである
   音声収音システム。
5. 請求項１から４のいずれかに記載の音声収音システムであって、
   上記ホスト部の接続制御部は、上記接続要求を受信すると、上記クライアント部の認証を行い、認証に成功した場合にのみ、上記マイクロホンアレイ制御部に上記クライアント部を追加するものである
   音声収音システム。
6. ホスト部と少なくとも１つのクライアント部を含む音声再生システムであって、
   上記クライアント部は、
   上記ホスト部へ接続要求を送信する接続制御部と、
   上記ホスト部から受信する処理後音響信号を再生する音声再生部と、
   を含み、
   上記ホスト部は、
   入力された音響信号に対して所望のスピーカーアレイ処理を施した上記処理後音響信号を出力し、上記クライアント部へ上記音響信号を送信するスピーカーアレイ制御部と、
   上記処理後音響信号を再生する音声再生部と、
   上記接続要求を受信して上記スピーカーアレイ制御部に上記クライアント部を追加する接続制御部と、
   を含む音声再生システム。
7. 請求項６に記載の音声再生システムであって、
   上記音声再生システムは、無線通信により構成される通信網をさらに含み、
   上記ホスト部及び上記クライアント部は、上記通信網を経由して相互に接続可能であり、
   上記クライアント部の接続制御部は、上記通信網を利用可能な場合に、上記接続要求を送信するものである
   音声再生システム。
8. 請求項６または７に記載の音声再生システムであって、
   上記スピーカーアレイ制御部は、上記入力された音響信号に含まれる特定の音声を強調し、及び／又は、特定の音声以外の音声を抑圧するフィルタを用いて、上記スピーカーアレイ処理を施すものである
   音声再生システム。
9. 請求項８に記載の音声再生システムであって、
   上記スピーカーアレイ制御部は、上記ホスト部の接続制御部により上記クライアント部が追加された場合には、上記フィルタをリセットして再度学習するものである
   音声再生システム。
10. 請求項６から９のいずれかに記載の音声再生システムであって、
    上記ホスト部の接続制御部は、上記接続要求を受信すると、上記クライアント部の認証を行い、認証に成功した場合にのみ、上記スピーカーアレイ制御部に上記クライアント部を追加するものである
    音声再生システム。