JP4566843B2 - 音声処理装置および方法 - Google Patents

Description

本発明は、音声処理装置および方法に関し、特に、音声の再生制御に関する。

近年のネットワーク技術の高速化、広帯域化に伴い、ネットワークを利用した映像と音声による監視システムの普及が進んでいる。

図１にネットワークを利用した監視システムのシステム構成例を示す。

監視装置１０２は、ＩＰネットワーク１０３を介して、遠隔地に設置されたネットワークカメラ１０４と接続されている。ネットワークカメラ１０４は音声入力機器１０５および音声出力機器１０６を接続しており、これにより音声入出力機能を備えている。また、監視装置１０２側も同様に音声入力機器１００および音声出力機器１０１を接続することで音声入出力機能を有する構成である。このようなシステム構成により、監視装置１０２は、ネットワークカメラ１０４で撮影された画像を閲覧できるだけでなく、音声入力機器１０５で収集された音声を音声出力機器１０１を通して聴くことができる。これにより例えば、映像には異変がなくても異音によって異変を感知することが可能である。また、その逆に、監視装置１０２側の音声入力機器１００に入力された音声をネットワークカメラ１０４に送り、そこに接続された音声出力機器１０６に出力させることもできる。これにより例えば、監視現場に指示音声を届けることが可能である。

ネットワークカメラには、画像の動き検知、外部デバイス（センサ、照明など）、タイマーなどによって検出されるイベントをトリガとして、画像や音声を蓄積し、あるいは、音声再生を行う機能が求められている。

ここで、ネットワークカメラにおけるイベント検出をトリガとする音声再生機能について考える。イベント検出による音声再生中に更に別のイベント検出があった場合に、イベント検出による音声再生中に監視装置から音声ストリームが送られてくることが考えられる。このような場合には音声再生途中であっても、より優先度が高い監視装置からの音声ストリームに切り替えて再生する必要がある。

以下、音声再生の切り替え処理、特にここでは、イベント検出による音声再生中に監視装置から音声ストリームが送られてきた場合の音声再生の切り替えについて説明する。

図２は、従来のネットワークカメラ１０４の音声再生に係る機能構成を示す図である。２０３はネットワーク１０３を介して監視装置１０２より送られてきた音声ストリームの再生処理を行うストリーム再生部である。２０４はあらかじめ作成された音声ファイルの再生処理を行うファイル再生部である。ネットワークカメラ１０４はこの他に出力制御部２０５、バッファ制御部２０６、出力バッファ２０７、Ｄ／Ａ変換部２０８、および可変ゲインの増幅器２０９を備える。出力制御部２０５は、ストリーム再生部２０３またはファイル再生部２０４からの音声データの出力を制御するとともに、出力音量の制御値を増幅器２０９に供給する。バッファ制御部２０６は、再生に係る音声データを出力バッファ２０７に格納する。Ｄ／Ａ変換部はバッファ制御部２０６からの音声データをアナログ信号に変換する。増幅器２０９は、出力制御部２０５より供給された制御値に応じたゲインでアナログ音声データを増幅し、音声出力機器１０６に渡す。

かかる構成のネットワークカメラ１０４における音声再生処理を、図４のシーケンス図を用いて説明する。図４に示す例は、イベント検出による音声ファイルの再生中に、監視装置１０２より送信された音声ストリームデータとともにその音声ストリームデータの再生要求を受信した場合を想定している。

ファイル再生部２０４とストリーム再生部２０３はそれぞれ独立に動作している。音声データを再生する場合は、出力音量を変更し一定量の音声データを順次、出力制御部４０２に送信する。

まず、ファイル再生部２０４から送信された音声データ（１）は、出力制御部２０５を経由してバッファ制御部２０６に送られる。バッファ制御部２０６は出力バッファ２０７に音声データを蓄積する。そして、バッファ制御部２０６は、Ｄ／Ａ変換部２０８にて次データの出力準備ができた時点で、出力バッファ２０７内の音声データをＤ／Ａ変換部２０８に送信する。

このように、Ｄ／Ａ変換部２０８が音声データを出力するタイミングはＤ／Ａ変換部２０８が主導しているので、ファイル再生部２０４やストリーム再生部２０３から送信された音声データは必ずバッファ制御部２０６にて出力バッファ２０７に一時的に蓄積されなければならない。

ストリーム再生部２０３は、音声ストリームデータを出力制御部２０５に送る前に、出力制御部２０５に対して出力音量変更を指示する。出力制御部２０５は、その指示に従い出力音量の制御値を増幅器２０９に送出する。増幅器２０９はこの制御値に応じたゲインで音声信号を増幅することになる。その後、出力制御部２０５は、ストリーム再生部２０３から受け取ったデータをバッファ制御部２０６に送る。出力音量を変更された時、Ｄ／Ａ変換部２０８では、まだファイル再生部２０４からの音声ファイルを再生している最中である。このため、変更する音量によっては、非常に大音量で音声ファイルを再生する状態になりうる。

図４の例では、出力音量１で再生されていた音声ファイル（音声データ（２））が出力音量５（＞出力音量１）で再生される。その後、ストリーム再生部２０３から送られたデータ（３）が出力され始めると、適切な音量で音声ストリームが再生され、大音量状態から復帰する。

この大音量で再生されている期間は、出力バッファ２０７に蓄積されているデータ量に依存するが、数十〜数百ｍｓ程度のものである。したがって、ユーザには、切り替わりの瞬間に大音量の雑音として知覚されることになる。

次に、図１のシステム構成において、ネットワークカメラ１０４が音声入力機器１０５から取得した音声データを監視装置１０２へ送り音声出力機器１０１から出力している場合について説明する。

再生の対象がネットワークカメラ１０４から配信された音声ストリームデータに切り替わると、ネットワークカメラ１０４と監視装置１０２の間は全二重通信の状態となる。全二重通信になると、上述した音声切替え時のノイズだけでなく、通常の音声さえもが装置間で回り込み、エコーやハウリングが発生することがある。音声の回り込みとは、例えば、監視装置１０２が送った音声がネットワークカメラ１０４の音声出力機器１０６から出力され、その音を音声入力機器１０５が拾ってネットワークカメラ１０４が再度監視装置１０２に送る、またその逆にネットワークカメラ１０４が送った音声が、監視装置１０２側を回って戻ってくることである。

特開平５−３２７９３５号公報

このように、従来の音声再生処理においては、再生中に再生対象が出力音量の異なる音源に切り替わる瞬間にノイズが発生する場合があった。

また、ネットワークカメラと監視装置との間で全二重通信を行う場合に音声の回り込みによるエコーまたはハウリングが発生してしまうという問題があった。

したがって、本発明は、再生中に再生対象を出力音量の異なる音源に切り替えた際に知覚されるノイズを抑制し、もって音声再生品質を高めることを目的とする。

また、本発明は、再生音声の回り込みによるエコーまたはハウリングを抑制し、もって音声再生品質を高めることを目的とする。

本発明の一側面に係る音声処理装置は、音声データと、前記音声データの出力音量の制御値とを取得する取得手段と、前記取得手段において取得した音声データを一時的に蓄積するバッファ手段と、前記取得手段において取得した前記制御値に基づいて、前記バッファ手段において蓄積された音声データを増幅して出力する増幅手段と、前記取得手段において取得される音声データの音源が第１の音源の音声データから第２の音源の音声データに切り替えられた場合、前記第２の音源の音声データの前に無音データをバッファ手段に出力する制御手段と、前記バッファ手段から無音データが出力されたことを検知する検知手段とを備え、前記増幅手段は、前記検知手段によって無音データが出力されたことが検知された場合、前記第１の音源の音声データに対応する制御値から前記第２の音源の音声データに対応する制御値に切り替えて前記バッファ手段から出力された音声データを増幅することを特徴とする。

本発明によれば、例えば、再生中に再生対象を出力音量の異なる音源に切り替えた際に知覚されるノイズが抑制され、これにより、音声再生品質を高めることができる。

以下、図面を参照して本発明の好適な実施形態について詳細に説明する。なお、本発明は以下の実施形態に限定されるものではなく、本発明の実施に有利な具体例を示すにすぎない。また、以下の実施形態の中で説明されている特徴の組み合わせの全てが本発明の課題解決手段として必須のものであるとは限らない。

（実施形態１）
本実施形態に係る監視システムのシステム構成は上述の図１と同様である。図３は、本発明の音声処理装置が適用されるネットワークカメラ（監視カメラ装置）１０４の音声再生に係る機能構成を示す図である。その他の機能に関する構成は省略されていることに留意されたい。この構成は図２に示した構成と概ね同様であるが、本実施形態では、出力制御部２０５とＤ／Ａ変換部２０８との間に切り替え検出部３０１が付加されている点と、出力制御部２０５に接続されたデータメモリ３０２が設けられている点が異なっている。

上述したとおり、従来の音声再生処理においては、再生中に再生対象が出力音量の異なる音源に切り替わる瞬間にノイズが発生する場合があった。このようなノイズが発生するのは次の理由による。すなわち、再生対象を第１の音源から出力音源の異なる第２の音源に切り替える場合、出力音量の変更タイミングと、第２の音源の音声データが実際にＤ／Ａ変換部で処理されるタイミングとにずれが生じるからである。

これに対し、以下説明する本実施形態の制御処理によれば、再生中に再生対象を出力音量の異なる音源に切り替える場合、出力音量の変更タイミングを、切り替える音源の音声データがＤ／Ａ変換処理されるタイミングにあわせることができるため、音源の切り替えの際に発生していたノイズを抑制することができる。

本実施形態におけるネットワークカメラ１０４における音声再生処理を、図５のシーケンス図を用いて説明する。図５に示す例は、図４と同様、イベント検出による音声ファイルの再生中に、外部装置である監視装置１０２より送信された音声ストリームデータの再生要求を受信した場合を想定している。

まず、音源としてのファイル再生部２０４から出力された音声データ（１）は、出力制御部２０５で取得され、バッファ制御部２０６に送られる。バッファ制御部２０６は出力バッファ２０７に音声データを蓄積する。そして、バッファ制御部２０６は、Ｄ／Ａ変換部２０８にて次データの出力準備ができた時点で、出力バッファ２０７内の音声データをＤ／Ａ変換部２０８に送信する。そして、出力制御部２０５は音声ファイルに付加された制御値に基づいて増幅器２０９を制御し、音声データを増幅する。

音源としてのストリーム再生部２０３は、音声データを出力制御部２０５に出力する前に、予め送信された制御値に基づいて出力制御部２０５に対して出力音量変更を指示する。これは現在の音声再生に係るファイル再生部２０４からではなくストリーム再生部２０３から指示されているので、出力制御部２０５は、指示された出力音量の制御値をデータメモリ３０２にいったん保存する。従来であれば、指定された出力音量の制御値で直ちに出力音量を変更していたところである。出力制御部２０５は、ストリーム再生部２０３から最初の音声データを受け取ると、その最初の音声データを出力する前に無音データをまずバッファ制御部２０６を経由して出力バッファ２０７に蓄積する。そして、現在の出力バッファ２０７の音声データの蓄積量を切替え検出部３０１に通知する。その後、出力制御部２０５は、ストリーム再生部２０３から受け取った音声データ（３）をバッファ制御部２０６に送る。

切替え検出部３０１は、通知された出力バッファ２０７の蓄積量と、その通知以降出力バッファ２０７から出力された音声データ量とを比較し、当該出力されたデータ量が通知された蓄積量以上になったときに、Ｄ／Ａ変換部２０８に無音データが出力されたと判断し、出力制御部２０５に音源の切替え検出を通知する。

出力制御部２０５は、この切替え検出通知を受信すると、データメモリ３０２から出力音量の制御値を読み出して、この値を増幅器２０９に送出する。増幅器２０９はこの制御値に応じたゲインで音声信号を増幅することになる。

バッファ制御部２０６は、この動作と関係なくＤ／Ａ変換部２０８が出力準備できていれば出力バッファ２０７内の音声データを送り出す、という処理を続ける。

出力音量の変更は、無音データ再生期間中に完了すればよい。したがってハードウェアの特性に応じて、切替え検出時に一度で出力音量の変更を完了してもよいし、無音データ再生期間内であれば段階的に出力音量を変更してもよい。

以上の制御処理によれば、音源が切り替わる時に無音データが挿入され、その無音データを再生中に出力音量が変更されるので、従来発生していた再生音源の切替え時のノイズを抑制することができる。

なお、上述の例では、切替え検出部３０１は、第２の音源である音声ストリームデータ挿入前の出力バッファ２０７の蓄積量分の音声データがＤ／Ａ変換部２０８に出力されたときに音源が切り替わったと判断していた。しかし、必ずしも音声データの出力状況を逐一参照し、出力バッファ２０７の指定蓄積量と出力データ量を比較する必要はなく、指定蓄積量が出力されるまでの時間を算出し、切替え検出部３０１がその算出時間だけ待ち合わせるという処理で代替することもできる。

あるいは、出力バッファ２０７に格納した無音データや出力バッファ２０７中の特定位置の音声データを切替え検出部３０１に保存しておき、そのデータが出力されたかをＤ／Ａ変換部２０８に送信する度にコンペアチェックするという処理で代替することも可能である。

（実施形態２）
前述したように、ネットワークカメラ１０４が音声入力機器１０５により収集した音声を監視装置１０２に送っている途中に、監視装置１０２からの音声ストリームの再生を行うとエコーやハウリングが発生する場合がある。これは、前述したように配信した音声が監視装置１０２内で回り込んで、再度自装置に戻ってくることが原因である。このような場合は、エコーキャンセラやハウリングディテクタを有効にすることで、音の回り込み（エコー）を抑制することができる。他方、ネットワークカメラ１０４自体が有する音声ファイルの再生の場合には、配信した音声が監視装置１０２内で回り込んでもそのエコーが自装置に戻ってくることはない。このような場合は逆に、エコーキャンセラやハウリングディテクタを無効にしておく方が音質はよくなる。

つまり、監視装置１０２からの音声ストリームの再生の場合は、エコーキャンセラやハウリングディテクタを有効にすることが好ましい。その一方で、ネットワークカメラ１０４自体が生成した音声ファイルの再生の場合は、エコーキャンセラやハウリングディテクタを無効にすることが好ましい。

これを実現するため、ネットワークカメラ１０４が生成した音声ファイルの再生から監視装置１０２からの音声ストリームデータの再生に切り替えた場合、実施形態１における出力音量変更のタイミングで、エコーキャンセラやハウリングディテクタを有効にする。逆に、監視装置１０２からの音声ストリームの再生からネットワークカメラ１０４が生成したファイル再生へ切り替える際には、実施形態１における出力音量の変更タイミングで、エコーキャンセラやハウリングディテクタを無効にする。

このように、出力音量だけでなくエコーやハウリング対策も同時に行うことで、音源の切替えとその後のストリーミング再生でのノイズ、エコー、ハウリングを抑制することができる。

ネットワークを利用した監視システムのシステム構成例を示す図である。 従来のネットワークカメラの音声再生に係る機能構成を示す図である。 実施形態におけるネットワークカメラの音声再生に係る機能構成を示す図である。 従来のネットワークカメラによる音声再生処理のシーケンス図である。 実施形態におけるネットワークカメラによる音声再生処理のシーケンス図である。

Claims (7)

1. 音声データと、前記音声データの出力音量の制御値とを取得する取得手段と、
   前記取得手段により取得した音声データを一時的に蓄積するバッファ手段と、
   前記取得手段により取得した前記制御値に基づいて、前記バッファ手段に蓄積された音声データを増幅して出力する増幅手段と、
   前記取得手段により取得される音声データが第１の音源の音声データから第２の音源の音声データに切り替えられた場合、前記第２の音源の音声データの前に無音データを前記バッファ手段に出力する制御手段と、
   前記バッファ手段から前記無音データが出力されたことを検知する検知手段と、
   を備え、
   前記増幅手段は、前記検知手段によって前記無音データが出力されたことが検知された場合、前記第１の音源の音声データに対応する制御値から前記第２の音源の音声データに対応する制御値に切り替えて前記バッファ手段から出力された音声データを増幅することを特徴とする音声処理装置。
2. 前記検知手段は、前記第１の音源の音声データから第２の音源の音声データに切り替わったときに前記バッファ手段に蓄積されている音声データ量より、前記第１の音源の音声データから第２の音源の音声データに切り替わった後に前記バッファ手段から出力された音声データ量が大きくなった場合に、前記無音データが前記バッファ手段から出力されたと判断することを特徴とする請求項１に記載の音声処理装置。
3. 前記検知手段は、前記第１の音源の音声データから第２の音源の音声データに切り替わったときに前記バッファ手段に蓄積されている音声データ量のデータが出力されるまでの時間を算出し、その算出した時間が経過した場合に前記無音データが前記バッファ手段から出力されたと判断することを特徴とする請求項１に記載の音声処理装置。
4. 前記第１の音源の音声データは、外部装置から供給される音声ストリームデータであり、前記第２の音源の音声データは、あらかじめ作成された音声ファイルのデータであることを特徴とする請求項１ないし３のいずれか１項に記載の音声処理装置。
5. 前記増幅手段の出力信号に基づき音声を出力する音声出力手段と、
   音声を入力する音声入力手段と、
   前記音声出力手段から出力される音声が前記音声入力装置に回り込むことによって生じるエコーまたはハウリングを抑制する抑制手段と、
   を更に有し、
   前記制御手段は更に、前記検知手段によって無音データが出力されたことが検知された場合、前記抑制手段を無効にすることを特徴とする請求項４に記載の音声処理装置。
6. 請求項１から５までのいずれか１項に記載の音声処理装置を有するカメラ装置。
7. 音声データと、前記音声データの出力音量の制御値とを取得する取得工程と、
   前記取得工程において取得した音声データを一時的にバッファメモリに蓄積する蓄積工程と、
   前記取得工程において取得した前記制御値に基づいて、前記蓄積工程において蓄積された音声データを増幅して出力する増幅工程と、
   前記取得工程において取得される音声データの音源が第１の音源の音声データから第２の音源の音声データに切り替えられた場合、前記第２の音源の音声データの前に無音データを前記バッファメモリに出力する制御工程と、
   前記バッファメモリから無音データが出力されたことを検知する検知工程と、
   有し、
   前記増幅工程において、前記検知工程において無音データが出力されたことが検知された場合、前記第１の音源の音声データに対応する制御値から前記第２の音源の音声データに対応する制御値に切り替えて前記バッファメモリから出力された音声データを増幅することを特徴とする音声処理方法。

Images