JP4928922B2 - 情報処理装置、およびプログラム - Google Patents

情報処理装置、およびプログラム Download PDF

Info

Publication number
JP4928922B2
JP4928922B2 JP2006325997A JP2006325997A JP4928922B2 JP 4928922 B2 JP4928922 B2 JP 4928922B2 JP 2006325997 A JP2006325997 A JP 2006325997A JP 2006325997 A JP2006325997 A JP 2006325997A JP 4928922 B2 JP4928922 B2 JP 4928922B2
Authority
JP
Japan
Prior art keywords
input signal
echo
signal
input
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006325997A
Other languages
English (en)
Other versions
JP2008141507A (ja
JP2008141507A5 (ja
Inventor
隆 須藤
公生 三関
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2006325997A priority Critical patent/JP4928922B2/ja
Priority to US11/947,683 priority patent/US8401203B2/en
Publication of JP2008141507A publication Critical patent/JP2008141507A/ja
Publication of JP2008141507A5 publication Critical patent/JP2008141507A5/ja
Application granted granted Critical
Publication of JP4928922B2 publication Critical patent/JP4928922B2/ja
Priority to US13/766,070 priority patent/US8811623B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M9/00Arrangements for interconnection not involving centralised switching
    • H04M9/08Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/082Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Telephone Function (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)

Description

本発明は、情報処理装置およびプログラムに係り、音声信号の高品質化処理に関する。
近年、パーソナルコンピュータの処理能力の増大並びに通信の高速化に伴い、パーソナルコンピュータによって、インターネットプロトコル(IP)上で音声通話(IP通信)が実行される。
コンピュータによる通信では、CPUによって実行されるプログラムで処理される。プログラムの処理の中には、エコーを抑圧する処理が含まれる(特許文献1)。
特表2003−517782号公報
パーソナルコンピュータのようなマルチタスクシステムを用いた通信装置では、プロセッサの処理負担大、プロセッサのクロックずれ、記憶装置のデータアクセス処理負担大等に起因して、記憶装置へのアクセスタイミングが均一にならずに、同一呼内でも送話入力信号と受話入力信号との同期に揺らぎが発生する。この同期揺らぎによりエコー抑圧処理の誤処理が発生し、送話出力信号において異音が発生するなど音声信号の品質が劣化するという問題があった。
本発明の目的は、異音発生を防止することが可能な情報処理装置、およびプログラムを提供することにある。
第1入力信号が入力される第1の信号入力部と、第2入力信号が入力される第2の信号入力部と、システムリソースを取得する第1の制御部と、前記第2の信号入力部から入力された第2入力信号に対して、エコー及びノイズの少なくとも一方を抑圧する処理方法を、前記第1の制御部が取得した前記システムリソースの情報に応じて、前記システムリソースの量が所定値以上である場合に第1エコーノイズ抑圧処理を選択し、前記システムリソースの量が所定値以上ではない場合に、第1エコーノイズ抑圧処理より処理負荷が少なく、かつ前記第1入力信号と前記第2入力信号の同期揺らぎに第1エコーノイズ抑圧処理より頑健な第2エコーノイズ抑圧処理を選択する第2の制御部と、前記第2の制御部が選択した処理方法により、前記第2入力信号からエコー及びノイズの少なくとも一方を抑圧し、出力信号を生成する第3の制御部と、前記第3の制御部が生成した出力信号を出力する信号出力部と、前記第1入力信号を格納するバッファと、前記第1入力信号と前記第2入力信号との同期を制御し、前記システムリソースの情報に応じて前記バッファを初期化する第4の制御部とを備えることを特徴とする。
コンピュータにエコー及びノイズの少なくとも一方を抑圧する処理を実行させるプログラムであって、システムリソースを取得する処理を前記コンピュータに実行させる手順と、第1入力信号によるエコーが含まれた第2入力信号に対して、エコー及びノイズの少なくとも一方を抑圧する処理方法を、前記取得されたシステムリソースの情報に応じて、前記システムリソースの量が所定値以上である場合に、第1エコー抑圧処理を選択し、前記システムリソースの量が所定値以上ではない場合に、第1エコー抑圧処理よりプロセッサへの処理負荷が少なく、かつ前記第1入力信号と前記第2入力信号の同期揺らぎに第1エコー抑圧処理より頑健な第2エコー抑圧処理を選択する処理を前記コンピュータに実行させる手順と、前記選択した処理方法により、前記第2入力信号からエコー及びノイズの少なくとも一方を抑圧し、出力信号を生成する処理を前記コンピュータに実行させる手順と、前記システムリソースの情報に応じて、前記第1入力信号が格納されたバッファを初期化する手順とを具備することを特徴とする。
異音発生を防止することが可能になる。
本発明の実施の形態を以下に図面を参照して説明する。
図1は、本発明の第1の実施形態に係わる情報処理装置としてのパーソナルコンピュータの概略構成を示すブロック図である。
本コンピュータ10は、図1に示されているように、CPU102、ノースブリッジ104、メインメモリ114、グラフィクスコントローラ108、サウスブリッジ106、BIOS−ROM120、ハードディスクドライブ(HDD)126、エンベデッドコントローラ/キーボードコントローラIC(EC/KBC124)124、および電源コントローラ125等を備えている。
CPU102は本コンピュータの動作を制御するために設けられたプロセッサであり、ハードディスクドライブ(HDD)126からメインメモリ114にロードされる、オペレーティングシステム(OS)および各種アプリケーションプログラムを実行する。
また、CPU102は、BIOS−ROM120に格納されたシステムBIOS(Basic Input Output System)をメインメモリ114にロードした後、実行する。システムBIOSはハードウェア制御のためのプログラムである。
ノースブリッジ104はCPU102のローカルバスとサウスブリッジ106との間を接続するブリッジデバイスである。ノースブリッジ104には、メインメモリ114をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ104は、AGP(Accelerated Graphics Port)バスなどを介してグラフィクスコントローラ108との通信を実行する機能も有している。
サウスブリッジ106は、デジタル音声信号をアナログ信号に変換する機能(D/Aコンバータ)、およびマイクロホンMから入力されたアナログ音声信号をデジタル信号に変換する機能(A/Dコンバータ)を含むオーディオコントローラの機能を有する。D/Aコンバータによって変換されたアナログ信号はスピーカSから出力される。
グラフィクスコントローラ108は本コンピュータのディスプレイモニタとして使用されるLCD16を制御する表示コントローラである。このグラフィクスコントローラ108はビデオメモリ(VRAM)を有しており、OS/アプリケーションプログラムによってビデオメモリに描画された表示データから、LCD16に表示すべき表示イメージを形成する映像信号を生成する。グラフィクスコントローラ108によって生成された映像信号はラインに出力される。
エンベデッドコントローラ/キーボードコントローラIC(フィルタ制御部)124は、入力手段としてのタッチパッド22、スクロールボタン24、およびタッチパッドコントロールボタン26のコントロールを行うコントローラとして機能する。エンベデッドコントローラ/キーボードコントローラIC124は、本コンピュータ10のシステム状態に関わらず、各種のデバイス(周辺装置やセンサ、電源回路等)を監視し制御するワンチップ・マイコンである。
電源コントローラ125は、ACアダプタ125Bを介して外部電源が供給されている場合、ACアダプタ125Bから供給される外部電源を用いて本コンピュータ10の各コンポーネントに供給すべきシステム電源を生成する。また、ACアダプタ125Bを介して外部電源が供給されていない場合、バッテリ125Aを用いて本コンピュータ10の各コンポーネントに供給すべきシステム電源を生成する。
上述したパーソナルコンピュータによって、インターネットプロトコル(IP)上で音声通話(IP通信)が実行される。音声通信の実行時、コンピュータ10では送話入力信号に含まれるエコー成分を抑圧する処理が行われる。
図2は、本発明の第1の実施形態に係わるエコー抑圧部の構成を示すブロック図である。
リソース監視部201、制御部202、第1エコー抑圧部203、第2エコー抑圧部204、遠端話者の音声である受話音声をスピーカSから出力するために受話入力信号x[n]をアナログ信号に変換するためのD/Aコンバータ205、マイクロホンMから入力されたアナログ信号の送話入力信号z(t)(近端話者の音声である送話音声信号s(t)と、スピーカSから出力された信号がマイクロホンMに回り込んだエコー成分b(t)と、周囲の騒音である雑音成分n(t)を含む)をデジタル信号の送話入力信号z[n]に変換するためのA/Dコンバータ206、受話入力信号x[n]が入力される受話信号入力部RSIN、送話入力信号z(t)が入力される送話信号入力部TSIN、送話出力信号zOUT[n]が出力される送話信号入力部TSOUT等を有する。
リソース監視部201、制御部202、第1エコー抑圧部203、および第2エコー抑圧部204はCPU102によって実行されるソフトウエアである。ここで、小括弧内のtはアナログ信号の時間を表し、大括弧内のnはデジタル信号の時間を表す。これ以降の図面/説明においても同様である。
なお、信号処理はソフトウエアによって行われるので、図2におけるスイッチSW1〜3の実体は存在しないが、信号の流れの違いを表すために図示している。
リソース監視部201は、プロセッサの処理負担、記憶装置の処理負担、電池残量を監視する。制御部202は、リソース監視部201の監視結果に応じて第1エコー抑圧部203の動作と第2エコー抑圧部204の動作を制御する第1エコー抑圧部203は、制御部202の制御に応じて信号処理等によりエコーを抑圧する。
リソース監視部201は、図3,図4、図5に示すように、CPU102、CPU102およびメモリ114、CPU102、メモリ114、およびバッテリ125Aから使用情報を取得するリソース取得部211と、リソース取得部211が取得した使用情報に応じたシステムリソースの情報を出力するリソース出力部212を有する。
システムリソース量が不足すると、受話入力信号x[n]および送話入力信号z[n]が格納されるメモリ114にアクセスするタイミングが均一にならず、同一呼内でも受話入力信号x[n]と送話入力信号z[n]との同期に揺らぎが発生する。この同期揺らぎによりエコー抑圧処理の誤処理が発生し、送話出力信号zOUT[n]において異音が発生する。
例えば、リソースが不足すると、メモリ114へのアクセスに遅れが生じ、メモリ114へのアクセスが均一にならない。また、メモリ114の使用量が多くなると、空き容量を増やすための処理が行われメモリ114へのアクセスが均一にならない。また、バッテリの残量が減ると、CPU102の動作周波数が自動的に減少し処理速度が不足することによって、メモリ114へのアクセスに遅れが生じ、メモリ114へのアクセスが均一にならない。
第1エコー抑圧部203は、例えば適応フィルタによるエコーキャンセラ(EC)による処理、あるいは適応フィルタによるエコーキャンセラ(EC)と周波数領域のエコーリダクション(ER)を組み合わせた処理によってエコーを抑制する。また、第2エコー抑圧部204は、周波数領域のエコーリダクション(ER)による処理によってエコーを抑圧する。適応フィルタによるエコーキャンセラについては、例えば特開2002−290286号公報の従来技術に記載されている。また、周波数領域のエコーリダクションについては、例えば特許第3420705号公報に記載されている。
本実施形態では、エコーキャンセラは時間領域型適応フィルタの例を示しているが、一般的に時間領域での適応フィルタは、周波数領域のエコーリダクションと比較して、処理量が多くCPU102の負荷が多くなり、送話音声の劣化は少ないため音質は良く、受話入力信号x[n]と送話入力信号z[n]の同期揺らぎに対する頑健性は低い。主なエコー抑圧処理方法について、図6に同期揺らぎに対する頑健性と処理量の関係を示す。
エコーキャンセラおよびエコーリダクションのそれぞれの構成を図7および図8を用いて説明する。
まず、図7を用いてエコーキャンセラの構成について説明する。エコーキャンセラは、適応フィルタ部214、および信号減衰部215等を有する。
適応フィルタ部214は、スピーカSとマイクロホンMの音響結合などにより形成されるエコー経路HAB(図7の点Aから点Bまでの経路)のインパルス応答h(t)を適応的に同定するために、エコー経路への入力信号である受話入力信号x[n]を用いてエコー成分b(t)を推定する。信号減衰部215は、適応フィルタ部214で推定されたエコー成分y[n]をエコー経路からの出力信号である送話入力信号z[n]より減算する。
適応フィルタ部214は、遠端側から入力された受話入力信号x[n]と信号減衰部215の出力信号である送話出力信号zOUT[n](図7における点Cの信号)を入力とし、従来周知のものであるアルゴリズムを用いて可変のフィルタ係数を有するプロセッサとフィルタ係数を随時決定していく。例えば、適応フィルタ部214は、送話入力信号z[n]に送話音声信号s[n]が含まれない遠端話者のシングルトーク区間において、信号減衰部215の出力信号である送話出力信号zOUT[n]の自乗平均値を最小化するアルゴリズム、例えば、NLMS(the Normalized-Least-Mean-Square)アルゴリズムにより可変のフィルタ係数を適応更新する。そして、適応フィルタ部214は、フィルタ係数と受話入力信号x[n]を畳み込み演算することによってエコー経路HABのエコー成分(エコー経路HABを介した受話入力信号x[n]の回り込み成分)を推定する。
そして、信号減衰部215は、適応フィルタ部214で推定されたエコー成分y[n]を送話入力信号z[n]から減算して送話出力信号zOUT[n]を算出する。信号減衰部215による送話出力信号zOUT[n]の算出によって、送話入力信号z[n]に含まれるエコー成分b[n]のみを低減し、マイクロホンMで集音されたエコー以外の成分(マイクロホンMに対して通話者から発せられた送話音声信号s[n]や周囲の騒音である雑音成分n[n])に対しては低減させないものである。
次に、エコーリダクションの構成について図8を参照して説明する。
第1周波数分析部221は、受話入力信号x[n]を高速フーリエ変換し、振幅スペクトルの二乗を受話信号パワースペクトル|X(ω)|2として音響結合量推定部224およびエコー信号推定部223に出力する。ここで、小括弧内のωはデジタル信号の周波数ビンあるいはグループ化された周波数帯域のインデックスを表す。これ以降の図面/説明においても同様である。
第2周波数分析部222は、送信入力信号z[n]を高速フーリエ変換し、振幅スペクトル|Z(ω)|を信号乗算部226に出力し、振幅スペクトルの二乗を送話信号パワースペクトル|Z(ω)|2として音響結合量推定部224に出力する。また、第2周波数分析部222は、送信入力信号z[n]を高速フーリエ変換した位相スペクトルθZ(ω)を周波数合成部227に出力する。
音響結合量推定部224は、エコー経路のインパルス応答h(t)の振幅スペクトルの2乗値である音響結合量|H(ω)|2を、受話信号パワースペクトル|X(ω)|2と送話信号パワースペクトル|Z(ω)|2とから、送話入力信号z[n]に送話音声信号s[n]が含まれない遠端話者のシングルトーク区間において、|Z(ω)|2/|X(ω)|2として計算し、エコー信号推定部223に出力する。
エコー信号推定部223は、現時刻の受話信号パワースペクトル|X(ω)|2に上記音響結合量|H(ω)|2を乗じて、エコー成分b[n]の振幅スペクトルB(ω)の2乗値を予測エコー信号パワースペクトル|Y(ω)|2として推定算出し、抑圧ゲイン算出部225に出力する。
抑圧ゲイン算出部225は、予測エコー信号パワースペクトル|Y(ω)|2を用いたスペクトルサブトラクション法などでエコー抑圧ゲインG(ω)を算出し、信号乗算部226に出力する。
信号乗算部226は、送信入力信号z[n]の振幅スペクトル|Z(ω)|にエコー抑圧ゲインG(ω)を乗算し、エコーを抑圧した処理信号の振幅スペクトル|ZOUT(ω)|を周波数合成部227に出力する。
また、周波数合成部227は、エコーを抑圧した処理信号の振幅スペクトル|ZOUT(ω)|と位相スペクトルθZ(ω)を用いて逆フーリエ変換することにより、エコー信号b[n]が抑圧されて送話音声信号s[n]が強調された時間信号である送話出力信号zOUT[n]を伝送路に出力する
なお、図9に示すように、第1エコー抑圧部203が適応フィルタによるエコーキャンセラと周波数領域のエコーリダクションを組み合わせた処理である場合には、エコーキャンセラによる処理後の信号に対してエコーリダクションによる処理を行う。すなわち、適応フィルタによるエコーキャンセラと組み合わせた周波数領域のエコーリダクションでは、送信入力信号z[n]をエコーキャンセラの送話出力信号zOUT[n]に等しくし、エコーキャンセラによる処理をさらに含めた音響結合量|H(ω)|2を推定する。
次に、制御部202の制御について図10のフローチャートを参照して説明する。
まず、リソース監視部201はリソースを監視する。リソース監視部201は、監視して得られたリソース量を制御部202に送信する。制御部202は、受信したリソース量が所定値以上であるか否かを判別する。なお、以下の説明ではリソース監視部201がCPU102の使用率を監視している場合である。
制御部202は、リソース監視部201からシステムリソースの量を定期的に取得する(ステップS11)。取得したシステムリソース量が設定値以下、例えばCPU102の使用率が80%以下であるか否かを判別する(ステップS12)。
CPU102の使用率が80%以下で有ると判別した場合(ステップS12のYes)、制御部202は、第1エコー抑圧部203によるエコーの抑圧処理を選択する(ステップS13)。CPU102の使用率が80%以下ではないと判別した場合(ステップS12のNo)、制御部202は、CPU102の負荷が少ない第2エコー抑圧部204によるエコーの抑圧処理を選択する(ステップS14)。
本実施形態では、エコーキャンセラは時間領域型適応フィルタの例を示しているが、周波数領域型適応フィルタによる処理を行ってもよい。
本実施形態では、リソースが不足していない場合には、CPU102の負荷が多く、受話入力信号x[n]と送話入力信号z[n]の同期揺らぎに対する頑健性が低い第1エコー抑圧部203でエコーを抑圧する。また、リソースが不足している場合には、CPU102の負荷が少なく、受話入力信号x[n]と送話入力信号z[n]の同期揺らぎに対する頑健性がより高い第2エコー抑圧部204でエコーを抑圧する。
一般的に受話入力信号x[n]と送話入力信号z[n]との同期揺らぎに対する頑健性が低いエコー抑圧処理方法である方が、処理量は多くなるが送話音声の劣化は少なくなるために音質は良くなる。システムのリソースが不足している場合には、同期揺らぎに対する頑健性が低いエコー抑圧処理方法でエコー抑圧処理することで同期揺らぎによって異音発生するよりは、同期揺らぎに対する頑健性がより高い別のエコー抑圧処理方法に切り換えることで、送話音声の劣化が多少増すものの同期揺らぎによる異音発生を防止できるために総合的な音質は良くすることができる。また、システムのリソースが不足している場合には、処理量の少ない別のエコー抑圧処理方法に切り換えることで、同期揺らぎによって異音発生の可能性を低減させることができ、音声通話の切断を回避することができる。
つまり、システムリソースが不足している場合に、CPU102の負荷が少なく、同期揺らぎに対する頑健性がより高い第2エコー抑圧部204による処理に切り替えることで、送話出力信号zOUT[n]における異音発生を防止することができ、総合的な音質を良くすることができる。
なお、制御部202がLCDにエコー抑圧処理方法が変化したことあるいはシステムリソースが不足していることを表示するようにしても良い。このように表示することによって、ユーザにシステムリソースを確保することを促すことができる。
なお、図4に示すリソース監視部の場合、例えばCPU102の使用率の他に、メモリ114の使用量が90%を境に、抑圧処理を切り替える。図5に示すリソース監視部の場合、例えばCPU102の使用率の他に、バッテリ125Aの残量が10%を境に、抑圧処理を切り替える。
以上のようにすることによって、CPU102の処理負担、メモリ114の処理負担、バッテリ125残量に起因する送話出力信号における異音発生を防止することができる。
なお、図11に示すように、第1エコー抑圧部203、第2エコー抑圧部204に併せてノイズ抑圧部によって、ノイズ抑圧処理を行う場合について説明する。第1ノイズ抑圧部207はリソースが不足していない場合にノイズ抑圧処理を実行し、第2ノイズ抑圧部208は、リソースが不足している場合にノイズ抑圧処理を実行する。リソースの不足している場合、第2ノイズ抑圧部208は、リソースが不足していない場合と同程度の処理量でノイズを強めに抑圧する、あるいはリソースが不足していない場合よりも処理量の少ない簡易なノイズ抑圧処理を行うようにしても良い。このようにすることによっても、CPU102の処理負担、メモリ114の処理負担、バッテリ125A残量に起因する送話出力信号における異音発生を防止することができる。
以下の実施形態では、エコー抑圧部の例について説明する。制御部202による判別処理は、図11のフローチャートを用いて説明した判別処理と同様なので説明を省略する。
(第2の実施形態)
図12は、本発明の第2の実施形態に係わるエコー抑圧部の構成を示すブロック図である。
なお、信号処理はソフトウエアによって行われるので、図12におけるスイッチSW1〜5の実体は存在しないが、信号の流れの違いを表すために図示している。
まず、リソースが不足していない場合の信号処理について説明する。リソースが不足していない場合、スイッチSW1〜5において信号は実線の経路を経由する。マイクロホンMから入力されたアナログ信号の送話入力信号z(t)(近端話者の音声である送話音声信号s(t)と、スピーカSから出力された信号がマイクロホンMに回り込んだエコー成分b(t)と、周囲の騒音である雑音成分n(t)を含む)は、デジタル信号に変換するA/Dコンバータ206に入力され送話入力信号z[n]として出力される。送話入力信号z[n]は、エコーキャンセラ、またはエコーキャンセラとエコーリダクションとを組み合わせた第1エコー抑圧部203を経由して、送話出力信号zOUT[n]として出力される。
また、受話入力信号x[n]は、適応フィルタによるエコーキャンセル処理、或いは周波数領域型のエコーリダクション処理と前記エコーキャンセル処理とを組み合わせた処理を行うエコー抑圧部204に入力される。また、受話入力信号x[n]は、直接D/Aコンバータ205に入力され、スピーカSから出力される。
次に、リソースが不足している場合の信号処理について説明する。リソースが不足している場合、スイッチSW1〜5において信号は破線の経路を経由する。
送話入力信号z[n]は、ボイススイッチ(VS)230の一部である第1ロス挿入部231を介して送話出力信号zOUT[n]として出力される。また、送話入力信号z[n]は、ボイススイッチ230の一部である音声検出器(VAD)233に入力される。
受話入力信号x[n]は、第2ロス挿入部232およびD/A変換器を介してスピーカSから出力される。また、受話入力信号x[n]は、ボイススイッチ230の一部であるVAD233に入力される。
ボイススイッチ230は、音声信号処理系に対して恒常的に一定のいわゆるロス(LOSS)を与えるものであり、通常では通信端末内の受話入力信号x[n]または送話入力信号z[n]のゲインを低減させる機能を有する。ボイススイッチによる処理については、例えば特許第3466050号公報の従来技術に記載されている。
VAD233は、受話入力信号x[n]に含まれる遠端話者の受話音声または送話入力信号z[n]に含まれる近端話者の送話音声(送話音声信号s[n])の有無を検出する。VAD233により受話音声が有ると検出され遠端話者のみの通話状態であると判定された場合には、送話入力信号z[n]にロス(LOSS)を与えるように第1ロス挿入部231を制御する。逆に、送話音声が有ると検出され近端話者のみの通話状態であると判定された場合には、受話入力信号x[n]にロス(LOSS)を与えるように第2ロス挿入部232を制御する。一方、受話音声及び送話音声の両方が存在するダブルトーク状態および無話状態(受話音声及び送話音声のいずれも無い状態)のときには、各信号に所定のロスの半分を与えるか、あるいは送話入力信号z[n]にロス(LOSS)を与えるか、あるいは1つ前の時間での状態(受話音声のみの通話状態あるいは送話音声のみの通話状態)を継続して受話入力信号x[n]あるいは送話入力信号z[n]のいずれかにロス(LOSS)を与えるように第1ロス挿入部231および第2ロス挿入部232を制御する。
本実施形態では、リソースが不足していない場合には、CPU102の負荷が多く、受話入力信号x[n]と送話入力信号z[n]の同期揺らぎに対する頑健性が低い第1エコー抑圧部203でエコーを抑圧する。また、リソースが不足している場合には、CPU102の負荷が少なく、受話入力信号x[n]と送話入力信号z[n]の同期揺らぎに対する頑健性がより高いボイススイッチ230でエコーを低減する。
一般的に受話入力信号x[n]と送話入力信号z[n]との同期揺らぎに対する頑健性が低いエコー抑圧処理方法である方が、処理量は多くなるが送話音声の劣化は少なくなるために音質は良くなる。システムのリソースが不足している場合には、同期揺らぎに対する頑健性が低いエコー抑圧処理方法でエコー抑圧処理することで同期揺らぎによって異音発生するよりは、同期揺らぎに対する頑健性がより高い別のエコー抑圧処理方法に切り換えることで、送話音声の劣化が多少増すものの同期揺らぎによる異音発生を防止できるために総合的な音質は良くすることができる。また、システムのリソースが不足している場合には、処理量の少ない別のエコー抑圧処理方法に切り換えることで、同期揺らぎによって異音発生の可能性を低減させることができ、音声通話の切断を回避することができる。
つまり、システムリソースが不足している場合に、CPU102の負荷が少なく、同期揺らぎに対する頑健性がより高いボイススイッチ230による処理に切り替えることで、送話出力信号zOUT[n]における異音発生を防止することができ、総合的な音質を良くすることができる。
なお、第1エコー抑圧部203を周波数領域のエコーリダクションとし、第2エコー抑圧部204をボイススイッチとしたり、第1エコー抑圧部203を適応フィルタによるエコーキャンセラとし、第2エコー抑圧部204を周波数領域のエコーリダクションとボイススイッチを組み合わせた処理としたり、第1エコー抑圧部203を適応フィルタによるエコーキャンセラと周波数領域のエコーリダクションを組み合わせた処理とし、第2エコー抑圧部204を周波数領域のエコーリダクションとボイススイッチを組み合わせた処理としたり、上記実施形態に開示されている複数の構成要素を適宜組み合せても構わない。
これらの場合でも、システムリソースが不足している場合に、CPU102の負荷が少なく、同期揺らぎに対する頑健性がより高いエコー抑圧処理方法に切り替えることで、送話出力における異音発生を防止することができ、総合的な音質を良くすることができる。
(第3の実施形態)
図13は、本発明の第3の実施形態に係わるエコー抑圧部の構成を示すブロック図である。
本実施形態では、リソースが不足していない場合に、制御部202は、エコー抑圧部203によってエコーを抑圧させる。また、リソースが不足している場合に、制御部202は、エコー抑圧部203の処理を停止させ、受話損失挿入部240による処理によって受話入力信号x[n]に損失を挿入することによって、エコーを低減させる。
本実施形態では、リソースが不足していない場合には、CPU102の負荷が多く、受話入力信号x[n]と送話入力信号z[n]の同期揺らぎに対する頑健性が低いエコー抑圧部203でエコーを抑圧する。また、リソースが不足している場合には、CPU102の負荷が少なく、受話入力信号x[n]と送話入力信号z[n]の同期揺らぎに対する頑健性がより高い受話損失挿入部240によってエコーを低減させる。
一般的に受話入力信号x[n]と送話入力信号z[n]との同期揺らぎに対する頑健性が低いエコー抑圧処理方法である方が、処理量は多くなるが送話音声の劣化は少なくなるために音質は良くなる。システムのリソースが不足している場合には、同期揺らぎに対する頑健性が低いエコー抑圧処理方法でエコー抑圧処理することで同期揺らぎによって異音発生するよりは、同期揺らぎに対する頑健性がより高い別のエコー抑圧処理方法に切り換えることで、送話音声の劣化が多少増すものの同期揺らぎによる異音発生を防止できるために総合的な音質は良くすることができる。また、システムのリソースが不足している場合には、処理量の少ない別のエコー抑圧処理方法に切り換えることで、同期揺らぎによって異音発生の可能性を低減させることができ、音声通話の切断を回避することができる。
つまり、システムリソースが不足している場合に、CPU102の負荷が少なく、同期揺らぎに対する頑健性がより高い損失挿入による処理に切り替えることで、送話出力における異音発生を防止することができ、総合的な音質を良くすることができる。
なお、受話損失挿入部240における損失の挿入量の例を図14に示す。図14に示すように、破線のように損失の挿入量を不連続に切り替えても良いし、実線のように損失の挿入量を連続的に替えても良い。
なお、図15に示すように、リソース不足時に、受話損失挿入部240の代わりに送話損失挿入部241によって送話出力信号zOUT[n]にロスを与えても良い。また、図16に示すように、受話損失挿入部240および送話損失挿入部241によって受話入力信号x[n]および送話出力信号zOUT[n]の両方に損失を与えても良い。
これらの場合でも、システムリソースが不足している場合に、CPU102の負荷が少なく、同期揺らぎに対する頑健性がより高い送話損失挿入部241を含む処理に切り替えることで、送話出力における異音発生を防止することができ、総合的な音質を良くすることができる。
(第4の実施形態)
図17は、本発明の第4の実施形態に係わるエコー抑圧部の構成を示すブロック図である。
受話入力信号x[n]は受話ミュート部251、およびD/Aコンバータを経由してスピーカSから出力される。
本実施形態では、リソースが不足していない場合に、制御部202は、受話ミュート部251を動作させず、エコー抑圧部203によってエコーを抑圧させる。また、リソースが不足している場合に、制御部202は、エコー抑圧部203の処理を停止させ、受話ミュート部251による処理によって受話入力信号x[n]をミュートすることによって、エコーを低減させる。
本実施形態では、リソースが不足していない場合には、CPU102の負荷が多く、受話入力信号x[n]と送話入力信号z[n]の同期揺らぎに対する頑健性が低いエコー抑圧部203でエコーを抑圧する。また、リソースが不足している場合には、CPU102の負荷が少なく、受話入力信号x[n]と送話入力信号z[n]の同期揺らぎに対する頑健性がより高い受話ミュート部251によってエコーを低減させる。
一般的に受話入力信号x[n]と送話入力信号z[n]との同期揺らぎに対する頑健性が低いエコー抑圧処理方法である方が、処理量は多くなるが送話音声の劣化は少なくなるために音質は良くなる。システムのリソースが不足している場合には、同期揺らぎに対する頑健性が低いエコー抑圧処理方法でエコー抑圧処理することで同期揺らぎによって異音発生するよりは、同期揺らぎに対する頑健性がより高い別のエコー抑圧処理方法に切り換えることで、送話音声の劣化が多少増すものの同期揺らぎによる異音発生を防止できるために総合的な音質は良くすることができる。また、システムのリソースが不足している場合には、処理量の少ない別のエコー抑圧処理方法に切り換えることで、同期揺らぎによって異音発生の可能性を低減させることができ、音声通話の切断を回避することができる。
つまり、システムリソースが不足している場合に、CPU102の負荷が少なく、同期揺らぎに対する頑健性がより高い受話ミュート部251による処理に切り替えることで、送話出力における異音発生を防止することができ、総合的な音質を良くすることができる。
なお、図18に示すように、リソース不足時に、受話ミュート部251の代わりに送話ミュート部252によって送話出力信号zOUT[n]にロスを与えても良い。また、図19に示すように、受話ミュート部251および送話ミュート部252によって受話入力信号x[n]および送話出力信号zOUT[n]の両方をミュートするようにしても良い。
これらの場合でも、システムリソースが不足している場合に、CPU102の負荷が少なく、同期揺らぎに対する頑健性がより高い送話ミュート部252を含む処理に切り替えることで、送話出力における異音発生を防止することができ、総合的な音質を良くすることができる。
(第5の実施形態)
図20は、本発明の第5の実施形態に係わるエコー抑圧部の構成を示すブロック図である。
本実施形態では、第1の実施形態と同様に、リソースが不足していない場合には、CPU102の負荷が多く、受話入力信号x[n]と送話入力信号z[n]の同期揺らぎに対する頑健性が低い第1エコー抑圧部203でエコーを抑圧する。また、リソースが不足している場合には、CPU102の負荷が少なく、受話入力信号x[n]と送話入力信号z[n]の同期揺らぎに対する頑健性がより高い第2エコー抑圧部204でエコーを抑圧する。
リソースが不足している場合、本実施形態では更に、受話入力信号x[n]と送話入力信号z[n]の同期揺らぎに対する頑健性がより高い受話ミュート部261によって受話入力信号x[n]をミュートする。
一般的に受話入力信号x[n]と送話入力信号z[n]との同期揺らぎに対する頑健性が低いエコー抑圧処理方法である方が、処理量は多くなるが送話音声の劣化は少なくなるために音質は良くなる。システムのリソースが不足している場合には、同期揺らぎに対する頑健性が低いエコー抑圧処理方法でエコー抑圧処理することで同期揺らぎによって異音発生するよりは、同期揺らぎに対する頑健性がより高い別のエコー抑圧処理方法に切り換えることで、送話音声の劣化が多少増すものの同期揺らぎによる異音発生を防止できるために総合的な音質は良くすることができる。また、システムのリソースが不足している場合には、処理量の少ない別のエコー抑圧処理方法に切り換えることで、同期揺らぎによって異音発生の可能性を低減させることができ、音声通話の切断を回避することができる。
つまり、システムリソースが不足している場合に、CPU102の負荷が少なく、同期揺らぎに対する頑健性がより高い第2エコー抑圧部204及び受話ミュート部261による処理に切り替えることで、送話出力における異音発生を防止することができ、総合的な音質を良くすることができる。
なお、図21に示すように、リソースが不足している場合、受話入力信号x[n]のミュート処理に加え、送話ミュート部262によって送話出力信号zOUT[n]をミュートする処理を行っても良い。
また、図22に示すように、リソースが不足している場合、受話ミュート部261による受話入力信号x[n]のミュート処理の代わりに、送話ミュート部262によって送話出力信号zOUT[n]をミュートする処理を行っても良い。
これらの場合でも、システムリソースが不足している場合に、CPU102の負荷が少なく、同期揺らぎに対する頑健性がより高い送話ミュート部262を含む処理に切り替えることで、送話出力における異音発生を防止することができ、総合的な音質を良くすることができる。
(第6の実施形態)
図23は、本発明の第6の実施形態に係わるエコー抑圧部の構成を示すブロック図である。
本実施形態では、第1の実施形態と同様に、リソースが不足していない場合には、CPU102の負荷が多く、受話入力信号x[n]と送話入力信号z[n]の同期揺らぎに対する頑健性が低い第1エコー抑圧部203でエコーを抑圧する。また、リソースが不足している場合には、CPU102の負荷が少なく、受話入力信号x[n]と送話入力信号z[n]の同期揺らぎに対する頑健性がより高い第2エコー抑圧部204でエコーを抑圧する。
リソースが不足している場合、本実施形態では更に、受話入力信号x[n]と送話入力信号z[n]の同期揺らぎに対する頑健性がより高い受話損失挿入部271によって受話入力信号x[n]に損失を挿入する。
一般的に受話入力信号x[n]と送話入力信号z[n]との同期揺らぎに対する頑健性が低いエコー抑圧処理方法である方が、処理量は多くなるが送話音声の劣化は少なくなるために音質は良くなる。システムのリソースが不足している場合には、同期揺らぎに対する頑健性が低いエコー抑圧処理方法でエコー抑圧処理することで同期揺らぎによって異音発生するよりは、同期揺らぎに対する頑健性がより高い別のエコー抑圧処理方法に切り換えることで、送話音声の劣化が多少増すものの同期揺らぎによる異音発生を防止できるために総合的な音質は良くすることができる。また、システムのリソースが不足している場合には、処理量の少ない別のエコー抑圧処理方法に切り換えることで、同期揺らぎによって異音発生の可能性を低減させることができ、音声通話の切断を回避することができる。
つまり、システムリソースが不足している場合に、CPU102の負荷が少なく、同期揺らぎに対する頑健性がより高い第2エコー抑圧部204及び受話損失挿入部271による処理に切り替えることで、送話出力における異音発生を防止することができ、総合的な音質を良くすることができる。
なお、図24に示すように、リソースが不足している場合、受話入力信号x[n]への損失挿入処理に加え、送話損失挿入部272によって送話出力信号zOUT[n]に損失を挿入する処理を行っても良い。
また、図25に示すように、リソースが不足している場合、受話損失挿入部271による受話入力信号x[n]への損失挿入処理の代わりに、送話損失挿入部272によって送話出力信号zOUT[n]に損失を挿入する処理を行っても良い。
これらの場合でも、システムリソースが不足している場合に、CPU102の負荷が少なく、同期揺らぎに対する頑健性がより高い送話損失挿入部272を含む処理に切り替えることで、送話出力における異音発生を防止することができ、総合的な音質を良くすることができる。
(第7の実施形態)
図26は、本発明の第7の実施形態に係わるエコー処理部の構成を示すブロック図である。
本実施形態では、リソースが不足していない場合には、CPU102の負荷が多く、受話入力信号x[n]と送話入力信号z[n]の同期揺らぎに対する頑健性が低い第1エコー処理部291でエコーを抑圧する。また、リソースが不足している場合には、CPU102の負荷が少なく、受話入力信号x[n]と送話入力信号z[n]の同期揺らぎに対する頑健性がより高い第2エコー処理部292でエコーを抑圧する。
図27は、第1エコー処理部の構成を示すブロック図である。第1エコー処理部291は、第1エコー抑圧部203、第1同期検出部281、第1受話バッファ282、第1送話バッファ283で構成される。第1エコー抑圧部203は第1の実施形態と同様であるため説明を省略する。
第1受話バッファ282は、ある所定時間分の受話入力信号x[n]を格納し、第1同期検出部281へ出力する。第1送話バッファ283は、ある所定時間分の送話入力信号z[n]を格納し、第1同期検出部281へ出力する。
第1同期検出部281は、第1受話バッファ282から取得した受話入力信号x[n]と第1送話バッファ283から取得した送話入力信号z[n]を用いて、例えば相互相関を算出する等の方法により比較することによって、送話入力信号z[n]からの受話入力信号x[n]の遅延量を算出して、送話入力信号z[n]と同期の取れた受話入力信号x[n]を第1エコー抑圧部203へ出力する。
図28は、第2エコー処理部292の構成を示すブロック図である。第2エコー処理部292は、第2エコー抑圧部204、第2同期検出部284、第2受話バッファ285、第2送話バッファ286で構成される。第2エコー抑圧部204は第1の実施形態と同様であるため説明を省略する。
第2受話バッファ285は、ある所定時間分の受話入力信号x[n]を格納し、第2同期検出部284へ出力する。第2送話バッファ286は、ある所定時間分の送話入力信号z[n]を格納し、第2同期検出部284へ出力する。
第2同期検出部284は、第2受話バッファ285から取得した受話入力信号x[n]と第2送話バッファ286から取得した送話入力信号z[n]を用いて、例えば相互相関を算出する等の方法により比較することによって、送話入力信号z[n]からの受話入力信号x[n]の遅延量を算出して、送話入力信号z[n]と同期の取れた受話入力信号x[n]を第2エコー抑圧部204へ出力する。なお、第2同期検出部284は第2受話バッファ285から取得した受話入力信号x[n]と第2送話バッファ286から取得した送話入力信号z[n]とをそれぞれある時間間隔で間引いた信号についての相互相関を算出するなど、第1同期検出部281よりも計算量が少ない処理としてもよい。
リソースが不足している場合、受話入力信号x[n]および送話入力信号z[n]をメモリ114から取得するタイミングがずれ、第2エコー抑圧部204のエコーを抑圧する能力が落ちることがある。その場合には、第2エコー処理部292内の受話入力信号x[n]を格納している第2受話バッファ285及び送話入力信号z[n]を格納している第2送話バッファ286をクリアする。これらのバッファのクリアは頻繁にクリアしないようにリソースの不足程度に応じたハングオーバー時間を適宜設定するなどある程度の時間間隔で実施する。これらのバッファをクリア(初期化)することによって受話入力信号x[n]および送話入力信号z[n]の取得タイミングがリセットされ、受話入力信号x[n]および送話入力信号z[n]をメモリ114から取得するタイミングがそろい、第2エコー抑圧部204のエコーを抑圧する能力が落ちることを抑制することができる。すなわち、リソースが不足している場合、第2受話バッファ285及び第2送話バッファ286をクリアすることで、第2エコー処理部292を受話入力信号x[n]と送話入力信号z[n]との同期揺らぎに対する頑健性を高くすることができる。
また、リソースが不足している場合に、制御部は送話損失挿入部241による処理を開始させ、第2エコー抑圧部204の出力信号である送話出力信号zOUT[n]に損失を挿入する。
本実施形態によれば、リソース不足による信号の取得タイミングのずれをリセットし、タイミングを合わせることが出来、エコーを抑圧する能力が落ちることを抑制することができる。
システムのリソースが不足している場合には、同期揺らぎに対する頑健性がより高い別のエコー抑圧処理方法に切り換えることで、同期揺らぎによる異音発生を防止できるために総合的な音質は良くすることができる。また、システムのリソースが不足している場合には、処理量の少ない別のエコー抑圧処理方法に切り換えることで、同期揺らぎによって異音発生の可能性を低減させることができ、音声通話の切断を回避することができる。
つまり、システムリソースが不足している場合に、CPU102の負荷が少なく、同期揺らぎに対する頑健性がより高い第2エコー処理部292及び送話損失挿入部241による処理に切り替えることで、送話出力における異音発生を防止することができ、総合的な音質を良くすることができる。
なお、上記実施形態のエコーを抑圧するための処理は全てコンピュータプログラムによって実現されているので、このコンピュータプログラムをコンピュータ読み取り可能な記憶媒体を通じて通常のコンピュータにインストールするだけで、本実施形態と同様の効果を容易に実現することができる。また、このコンピュータプログラムは、パーソナルコンピュータのみならず、プロセッサを内蔵した各種電子機器上で実行することができる。
なお、上述した実施形態では、受話入力信号x[n]が近端側のスピーカから出力され送話入力信号z[n]への回り込むことによって発生したエコーに対して、受話入力信号x[n]を参照として送話入力信号z[n]からエコー抑圧をする構成であったが、送話出力信号が図示しない遠端側において回り込むことによって発生したエコーに対して、送話出力信号を参照として受話入力信号x[n]からエコー抑圧する構成としても良い。
なお、上述した実施形態では、リソース量に応じて2つの処理方法からエコー抑圧処理方法を選択していたが、システムリソース量に応じて3つ以上のエコー抑圧方法から1つまたは複数のエコー抑圧処理方法を選択しても良い。
なお、上述した実施形態では、リソース量に応じて2段階にエコー抑圧処理方法を切り換えていたが、システムリソース量に応じて3段階以上にエコー抑圧処理方法を切り換えても良い。
なお、上述した実施形態では、リソース量に応じてエコー抑圧処理方法を選択していたが、システムリソース量に応じてノイズ抑圧処理方法を選択しても良い。
なお、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
第1の実施形態に係わる情報処理装置としてのパーソナルコンピュータの概略構成を示すブロック図。 第1の実施形態に係わるエコー抑圧部の構成を示すブロック図。 第1の実施形態に係わるリソース監視部の構成を示すブロック図。 第1の実施形態に係わるリソース監視部の構成を示すブロック図。 第1の実施形態に係わるリソース監視部の構成を示すブロック図。 同期揺らぎに対する頑健性と処理量の関係を示す図。 第1の実施形態に係わるエコーキャンセラの構成を示すブロック図。 第1の実施形態に係わるエコーリダクションの構成を示すブロック図。 第1の実施形態に係わるエコーキャンセラとエコーリダクションを組み合わせた構成を示すブロック図。 第1の実施形態に係わるエコー抑圧処理の手順を示すフローチャート。 第1の実施形態に係わるエコー抑圧部の変形例の構成を示すブロック図。 第2の実施形態に係わるエコー抑圧部の構成を示すブロック図。 第3の実施形態に係わるエコー抑圧部の構成を示すブロック図。 第3の実施形態に係わる損失の挿入例を示す図。 第3の実施形態に係わるエコー抑圧部の構成の変形例を示すブロック図。 第3の実施形態に係わるエコー抑圧部の構成の変形例を示すブロック図。 第4の実施形態に係わるエコー抑圧部の構成を示すブロック図。 第4の実施形態に係わるエコー抑圧部の構成の変形例を示すブロック図。 第4の実施形態に係わるエコー抑圧部の構成の変形例を示すブロック図。 第5の実施形態に係わるエコー抑圧部の構成を示すブロック図。 第5の実施形態に係わるエコー抑圧部の変形例の構成を示すブロック図。 第5の実施形態に係わるエコー抑圧部の変形例の構成を示すブロック図。 第6の実施形態に係わるエコー抑圧部の構成を示すブロック図。 第6の実施形態に係わるエコー抑圧部の変形例の構成を示すブロック図。 第6の実施形態に係わるエコー抑圧部の変形例の構成を示すブロック図。 第7の実施形態に係わるエコー抑圧部の構成を示すブロック図。 図26に示す第1エコー処理部の構成を示すブロック図。 図26に示す第2エコー処理部の構成を示すブロック図。
符号の説明
10…コンピュータシステム、102…CPU、106…サウスブリッジ、114…メインメモリ、125A…バッテリ、201…リソース監視部、202…制御部、203…第1エコー抑圧部、204…第2エコー抑圧部、205…D/Aコンバータ、206…A/Dコンバータ。

Claims (17)

  1. 第1入力信号が入力される第1の信号入力部と、
    第2入力信号が入力される第2の信号入力部と、
    システムリソースを取得する第1の制御部と、
    前記第2の信号入力部から入力された第2入力信号に対して、エコー及びノイズの少なくとも一方を抑圧する処理方法を、前記第1の制御部が取得した前記システムリソースの情報に応じて、前記システムリソースの量が所定値以上である場合に第1エコーノイズ抑圧処理を選択し、前記システムリソースの量が所定値以上ではない場合に、第1エコーノイズ抑圧処理より処理負荷が少なく、かつ前記第1入力信号と前記第2入力信号の同期揺らぎに第1エコーノイズ抑圧処理より頑健な第2エコーノイズ抑圧処理を選択する第2の制御部と、
    前記第2の制御部が選択した処理方法により、前記第2入力信号からエコー及びノイズの少なくとも一方を抑圧し、出力信号を生成する第3の制御部と、
    前記第3の制御部が生成した出力信号を出力する信号出力部と、
    前記第1入力信号を格納するバッファと、
    前記第1入力信号と前記第2入力信号との同期を制御し、前記システムリソースの情報に応じて前記バッファを初期化する第4の制御部と
    を備えることを特徴とする情報処理装置。
  2. 第1入力信号が入力される第1の信号入力部と、
    第2入力信号が入力される第2の信号入力部と、
    システムリソースを取得する第1の制御部と、
    前記第1の信号入力部から入力された前記第1入力信号によるエコーが含まれた、前記第2の信号入力部から入力された第2入力信号に対して、エコー及びノイズの少なくとも一方を抑圧する処理方法を、前記第1の制御部が取得した前記システムリソースの情報に応じて、前記システムリソースの量が所定値以上である場合に第1エコー抑圧処理を選択し、前記システムリソースの量が所定値以上ではない場合に、第1エコー抑圧処理より処理負荷が少なく、かつ前記第1入力信号と前記第2入力信号の同期揺らぎに第1エコー抑圧処理より頑健な第2エコー抑圧処理を選択する第2の制御部と、
    前記第2の制御部が選択した処理方法により、前記第2入力信号からエコー及びノイズの少なくとも一方を抑圧し、出力信号を生成する第3の制御部と、
    前記第3の制御部が生成した出力信号を出力する信号出力部と、
    前記第1入力信号を格納するバッファと、
    前記第1入力信号と前記第2入力信号との同期を制御し、前記システムリソースの情報に応じて前記バッファを初期化する第4の制御部と
    を備えることを特徴とする情報処理装置。
  3. 第1入力信号が入力される第1の信号入力部と、
    第2入力信号が入力される第2の信号入力部と、
    システムリソースを取得する第1の制御部と、
    前記第1の信号入力部から入力された前記第1入力信号によるエコーが含まれた、前記第2の信号入力部から入力された第2入力信号に対して、エコー及びノイズの少なくとも一方を抑圧する処理方法を、前記第1の制御部が取得した前記システムリソースの情報に応じて、前記システムリソースの量が所定値以上である場合に第1エコー抑圧処理を選択し、前記システムリソースの量が所定値以上ではない場合に、第1エコー抑圧処理より同期揺らぎに頑健で処理負荷の少ない第2エコー抑圧処理を選択する第2の制御部と、
    前記第2の制御部が選択した処理方法により、前記第2入力信号からエコー及びノイズの少なくとも一方を抑圧し、出力信号を生成する第3の制御部と、
    前記第3の制御部が生成した出力信号を出力する信号出力部と、
    前記第1入力信号を格納するバッファと、
    前記第1入力信号と前記第2入力信号との同期を制御し、前記システムリソースの情報に応じて前記バッファを初期化する第4の制御部と
    を備えることを特徴とする情報処理装置。
  4. 前記第1エコー抑圧処理は、適応フィルタによるエコーキャンセル処理を含む処理、或いは周波数領域型のエコーリダクション処理を含む処理であること
    を特徴とする請求項1乃至請求項3の何れか1項に記載の情報処理装置。
  5. 前記第2エコー抑圧処理は、周波数領域型のエコーリダクション処理、ボイススイッチによる処理、損失挿入処理、ミュート処理のいずれか1つを含むこと
    を特徴とする請求項乃至請求項3の何れか1項に記載の情報処理装置。
  6. 前記第2エコー抑圧処理は、前記第1入力信号および前記第2入力信号からエコー及びノイズの少なくとも一方が抑圧された信号の少なくとも一方に損失を挿入する処理を含むこと
    を特徴とする請求項乃至請求項3の何れか1項に記載の情報処理装置。
  7. 前記第2エコー抑圧処理は、前記第1入力信号および前記第2入力信号からエコー及びノイズの少なくとも一方が抑圧された信号の一方をミュートする処理を含むこと
    を特徴とする請求項1又は請求項2に記載の情報処理装置。
  8. 第1入力信号が入力される第1の信号入力部と、
    第2入力信号が入力される第2の信号入力部と、
    システムリソースを取得する第1の制御部と、
    前記第2の信号入力部から入力された第2入力信号に対して、ノイズを抑圧する処理方法を、前記第1の制御部が取得した前記システムリソースの情報に応じて、前記システムリソースの量が所定値以上である場合に第1ノイズ抑圧処理を選択し、前記システムリソースの量が所定値以上ではない場合に、第1ノイズ抑圧処理より処理負荷が少なく、かつ前記第1入力信号と前記第2入力信号の同期揺らぎに第1ノイズ抑圧処理より頑健な第2ノイズ抑圧処理を選択する第2の制御部と、
    前記第2の制御部が選択した処理方法により、前記第2入力信号からノイズを抑圧し、出力信号を生成する第3の制御部と、
    前記第3の制御部が生成した出力信号を出力する信号出力部と、
    前記第1入力信号を格納するバッファと、
    前記第1入力信号と前記第2入力信号との同期を制御し、前記システムリソースの情報に応じて前記バッファを初期化する第4の制御部と
    を備えることを特徴とする情報処理装置。
  9. 前記システムリソースの情報は、プロセッサの処理負担、記憶装置の処理負担、電池残量の少なくとも1つであることを特徴とする請求項1乃至請求項8のいずれか1項に記載の情報処理装置。
  10. コンピュータにエコー及びノイズの少なくとも一方を抑圧する処理を実行させるプログラムであって、
    システムリソースを取得する処理を前記コンピュータに実行させる手順と、
    第1入力信号によるエコーが含まれた第2入力信号に対して、エコー及びノイズの少なくとも一方を抑圧する処理方法を、前記取得されたシステムリソースの情報に応じて、前記システムリソースの量が所定値以上である場合に、第1エコー抑圧処理を選択し、前記システムリソースの量が所定値以上ではない場合に、第1エコー抑圧処理よりプロセッサへの処理負荷が少なく、かつ前記第1入力信号と前記第2入力信号の同期揺らぎに第1エコー抑圧処理より頑健な第2エコー抑圧処理を選択する処理を前記コンピュータに実行させる手順と、
    前記選択した処理方法により、前記第2入力信号からエコー及びノイズの少なくとも一方を抑圧し、出力信号を生成する処理を前記コンピュータに実行させる手順と、
    前記システムリソースの情報に応じて、前記第1入力信号が格納されたバッファを初期化する手順と
    を具備することを特徴とするプログラム。
  11. 前記第1入力信号と前記第2入力信号との同期を制御し、前記システムリソースの情報に応じて前記第1入力信号を格納するバッファを初期化する処理を前記コンピュータに実行させる手順を更に具備することを特徴とする請求項10に記載のプログラム。
  12. 前記第1エコー抑圧処理は、適応フィルタによるエコーキャンセル処理を含む処理、或いは周波数領域型のエコーリダクション処理を含む処理であることを特徴とする請求項10に記載のプログラム。
  13. 前記第2エコー抑圧処理は、周波数領域型のエコーリダクション処理を含む処理、ボイススイッチによる処理、損失挿入処理、ミュート処理のいずれか1つを含む処理であることを特徴とする請求項10に記載のプログラム。
  14. 前記第2エコー抑圧処理は、前記第1入力信号および前記第2入力信号からエコー及びノイズの少なくとも一方が抑圧された信号の少なくとも一方に損失を挿入する処理を含む処理であることを特徴とする請求項10に記載のプログラム。
  15. 前記第2エコー抑圧処理は、前記第1入力信号および前記第2入力信号からエコー及びノイズの少なくとも一方が抑圧された信号の一方をミュートする処理を含む処理であることを特徴とする請求項10に記載のプログラム。
  16. コンピュータにノイズを抑圧する処理を実行させるプログラムであって、
    システムリソースを取得する処理を前記コンピュータに実行させる手順と、
    入力信号に対して、ノイズを抑圧する処理方法を、前記取得されたシステムリソースの情報に応じて、前記システムリソースの量が所定値以上である場合に第1ノイズ抑圧処理を選択し、前記システムリソースの量が所定値以上ではない場合に、第1ノイズ抑圧処理より処理負荷が少なく、かつ前記第2入力信号の同期揺らぎに第1ノイズ抑圧処理より頑健な第2ノイズ抑圧処理を選択する処理を前記コンピュータに実行させる手順と、
    前記選択した処理方法により、前記入力信号からノイズを抑圧し、出力信号を生成する処理を前記コンピュータに実行させる手順と、
    前記システムリソースの情報に応じて、前記第1入力信号が格納されたバッファを初期化する手順と
    を具備することを特徴とするプログラム。
  17. 前記システムリソースの情報は、前記コンピュータに含まれるプロセッサの処理負担、記憶装置の処理負担、電池残量の少なくとも1つであることを特徴とする請求項10乃至請求項16のいずれか1項に記載のプログラム。
JP2006325997A 2006-12-01 2006-12-01 情報処理装置、およびプログラム Expired - Fee Related JP4928922B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2006325997A JP4928922B2 (ja) 2006-12-01 2006-12-01 情報処理装置、およびプログラム
US11/947,683 US8401203B2 (en) 2006-12-01 2007-11-29 Information processing apparatus and program
US13/766,070 US8811623B2 (en) 2006-12-01 2013-02-13 Information processing apparatus and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006325997A JP4928922B2 (ja) 2006-12-01 2006-12-01 情報処理装置、およびプログラム

Publications (3)

Publication Number Publication Date
JP2008141507A JP2008141507A (ja) 2008-06-19
JP2008141507A5 JP2008141507A5 (ja) 2009-12-10
JP4928922B2 true JP4928922B2 (ja) 2012-05-09

Family

ID=39475787

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006325997A Expired - Fee Related JP4928922B2 (ja) 2006-12-01 2006-12-01 情報処理装置、およびプログラム

Country Status (2)

Country Link
US (2) US8401203B2 (ja)
JP (1) JP4928922B2 (ja)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7720236B2 (en) * 2004-10-15 2010-05-18 Lifesize Communications, Inc. Updating modeling information based on offline calibration experiments
JP4660578B2 (ja) * 2008-08-29 2011-03-30 株式会社東芝 信号補正装置
JP5087024B2 (ja) * 2009-02-10 2012-11-28 日本電信電話株式会社 エコー消去装置とその方法と、プログラム
US8355822B2 (en) * 2009-12-29 2013-01-15 Masco Corporation Of Indiana Method of controlling a valve
JP5156043B2 (ja) * 2010-03-26 2013-03-06 株式会社東芝 音声判別装置
JP5175948B2 (ja) * 2011-03-22 2013-04-03 株式会社東芝 映像表示装置、ノイズ除去方法および映像表示システム
JP6069830B2 (ja) 2011-12-08 2017-02-01 ソニー株式会社 耳孔装着型収音装置、信号処理装置、収音方法
US9697847B2 (en) * 2013-03-14 2017-07-04 Semiconductor Components Industries, Llc Acoustic signal processing system capable of detecting double-talk and method
JP6160403B2 (ja) * 2013-09-26 2017-07-12 沖電気工業株式会社 エコー抑圧装置及びエコー抑圧プログラム
US9712866B2 (en) 2015-04-16 2017-07-18 Comigo Ltd. Cancelling TV audio disturbance by set-top boxes in conferences
US9749746B2 (en) * 2015-04-29 2017-08-29 Fortemedia, Inc. Devices and methods for reducing the processing time of the convergence of a spatial filter
US9565493B2 (en) 2015-04-30 2017-02-07 Shure Acquisition Holdings, Inc. Array microphone system and method of assembling the same
US9554207B2 (en) 2015-04-30 2017-01-24 Shure Acquisition Holdings, Inc. Offset cartridge microphones
US10367948B2 (en) 2017-01-13 2019-07-30 Shure Acquisition Holdings, Inc. Post-mixing acoustic echo cancellation systems and methods
CN112335261B (zh) 2018-06-01 2023-07-18 舒尔获得控股公司 图案形成麦克风阵列
US11297423B2 (en) 2018-06-15 2022-04-05 Shure Acquisition Holdings, Inc. Endfire linear array microphone
WO2020061353A1 (en) 2018-09-20 2020-03-26 Shure Acquisition Holdings, Inc. Adjustable lobe shape for array microphones
KR102167469B1 (ko) * 2018-12-19 2020-10-19 주식회사 이엠텍 피드백 처리 방법
WO2020191380A1 (en) 2019-03-21 2020-09-24 Shure Acquisition Holdings,Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition functionality
US11558693B2 (en) 2019-03-21 2023-01-17 Shure Acquisition Holdings, Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition and voice activity detection functionality
CN113841419A (zh) 2019-03-21 2021-12-24 舒尔获得控股公司 天花板阵列麦克风的外壳及相关联设计特征
CN114051738B (zh) 2019-05-23 2024-10-01 舒尔获得控股公司 可操纵扬声器阵列、系统及其方法
US11302347B2 (en) 2019-05-31 2022-04-12 Shure Acquisition Holdings, Inc. Low latency automixer integrated with voice and noise activity detection
WO2021041275A1 (en) 2019-08-23 2021-03-04 Shore Acquisition Holdings, Inc. Two-dimensional microphone array with improved directivity
US12028678B2 (en) 2019-11-01 2024-07-02 Shure Acquisition Holdings, Inc. Proximity microphone
CN111031449A (zh) * 2019-12-26 2020-04-17 深圳物控智联科技有限公司 在通话时消除回声的智能产品
US11552611B2 (en) 2020-02-07 2023-01-10 Shure Acquisition Holdings, Inc. System and method for automatic adjustment of reference gain
USD944776S1 (en) 2020-05-05 2022-03-01 Shure Acquisition Holdings, Inc. Audio device
WO2021243368A2 (en) 2020-05-29 2021-12-02 Shure Acquisition Holdings, Inc. Transducer steering and configuration systems and methods using a local positioning system
EP4285605A1 (en) 2021-01-28 2023-12-06 Shure Acquisition Holdings, Inc. Hybrid audio beamforming system

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3228595B2 (ja) 1993-05-12 2001-11-12 松下電器産業株式会社 エコーキャンセラ
US5631899A (en) * 1995-05-31 1997-05-20 Lucent Technologies Inc. Acoustic echo canceler
JP3769433B2 (ja) 1999-11-01 2006-04-26 株式会社ケンウッド 通信端末
FR2802367B1 (fr) 1999-12-14 2006-08-18 France Telecom Procede temps reel de traitement et de gestion pour l'annulation d'echo entre haut-parleur et microphone d'un terminal informatique
JP4499240B2 (ja) * 2000-03-23 2010-07-07 富士通株式会社 信号処理フィルタシステム
JP4310926B2 (ja) * 2001-02-26 2009-08-12 沖電気工業株式会社 エコーキャンセラ装置
JP4069595B2 (ja) * 2001-03-28 2008-04-02 松下電工株式会社 拡声通話装置
JP4346414B2 (ja) * 2003-11-07 2009-10-21 株式会社東芝 信号処理装置、コンピュータプログラム
EP1721442B1 (en) * 2004-03-05 2016-06-29 Thomson Licensing Acoustic echo canceller with multimedia training signal
DE602005020662D1 (de) * 2004-10-13 2010-05-27 Koninkl Philips Electronics Nv Echolöschung
US8160239B2 (en) * 2006-11-10 2012-04-17 Sony Corporation Echo canceller and speech processing apparatus
US20080192945A1 (en) * 2007-02-08 2008-08-14 Mcconnell William Audio system and method

Also Published As

Publication number Publication date
US20130158990A1 (en) 2013-06-20
JP2008141507A (ja) 2008-06-19
US8401203B2 (en) 2013-03-19
US8811623B2 (en) 2014-08-19
US20080130907A1 (en) 2008-06-05

Similar Documents

Publication Publication Date Title
JP4928922B2 (ja) 情報処理装置、およびプログラム
US9461702B2 (en) Systems and methods of echo and noise cancellation in voice communication
US8311234B2 (en) Echo canceller and communication audio processing apparatus
JP5223576B2 (ja) エコーキャンセラ、エコーキャンセル方法及びプログラム
JP5061853B2 (ja) エコーキャンセラ及びエコーキャンセルプログラム
JP4457639B2 (ja) エコーキャンセラ
EP2671223A1 (en) Estimation and suppression of harmonic loudspeaker nonlinearities
US8543390B2 (en) Multi-channel periodic signal enhancement system
JP2007189543A (ja) エコーキャンセラ
JP4410819B2 (ja) エコーキャンセラ
JP2008259032A (ja) 情報処理装置、およびプログラム
WO2006087813A1 (ja) エコーキャンセラ
JP4413205B2 (ja) エコー抑圧方法、装置、エコー抑圧プログラム、記録媒体
JP4544040B2 (ja) エコーキャンセル装置およびそれを用いた電話機、並びにエコーキャンセル方法
JP5963077B2 (ja) 通話装置
JP4383416B2 (ja) ハウリング防止方法、装置、プログラム、及びこのプログラムを記録した記録媒体
JP4403491B2 (ja) エコーキャンセラ、エコーキャンセル方法及びエコーキャンセルプログラム
JPH10229354A (ja) エコー制御装置
JP4877083B2 (ja) 残留エコー抑圧制御装置、方法及びプログラム
JP4395105B2 (ja) 音響結合量推定方法、音響結合量推定装置、プログラム、記録媒体
JP2012105115A (ja) エコーキャンセラ及びエコーキャンセルプログラム、並びに電話装置
JP6369192B2 (ja) エコー抑圧装置、エコー抑圧プログラム、エコー抑圧方法及び通信端末
JP2013005106A (ja) 場内拡声装置、場内拡声方法、及びそのプログラム
JP2012156585A (ja) 通話装置
JP5640393B2 (ja) エコー除去装置、方法及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091026

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091026

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110502

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110719

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110920

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120117

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120213

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150217

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150217

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees