JP4192800B2 - 音声集音装置と方法 - Google Patents

音声集音装置と方法 Download PDF

Info

Publication number
JP4192800B2
JP4192800B2 JP2004037264A JP2004037264A JP4192800B2 JP 4192800 B2 JP4192800 B2 JP 4192800B2 JP 2004037264 A JP2004037264 A JP 2004037264A JP 2004037264 A JP2004037264 A JP 2004037264A JP 4192800 B2 JP4192800 B2 JP 4192800B2
Authority
JP
Japan
Prior art keywords
microphone
sound
signal
processing
speaker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004037264A
Other languages
English (en)
Other versions
JP2005229433A (ja
Inventor
一弘 大木
博之 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2004037264A priority Critical patent/JP4192800B2/ja
Priority to US11/048,020 priority patent/US20050207566A1/en
Priority to TW094103841A priority patent/TWI298984B/zh
Priority to KR1020050011456A priority patent/KR20060041853A/ko
Priority to CNA200510008206XA priority patent/CN1655646A/zh
Priority to EP05002907A priority patent/EP1564980A1/en
Publication of JP2005229433A publication Critical patent/JP2005229433A/ja
Application granted granted Critical
Publication of JP4192800B2 publication Critical patent/JP4192800B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M9/00Arrangements for interconnection not involving centralised switching
    • H04M9/08Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/082Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers

Description

本発明は、たとえば、遠隔の2つの会議室にいる複数の会議出席者同士が複数のマイクロフォンを用いて音声会議、または、さらに映像を付加して音声+テレビジョン会議を行うときに使用するのに好適な音声集音装置と方法に関する。
特に本発明は、複数のマイクロフォンのための1台のエコーキャンセラーでエコーキャンセル処理を行う音声集音装置において、マイクロフォンを切り換えたとき、即座にエコーキャンセラーの内部処理を新しいマイクロフォン用に切り換えるときに発生するエコーキャンセル処理の不良を改善する音声集音装置と方法に関する。
離れた位置にある2つの会議室にいる会議出席者同士が会議を行うため、音声集音装置、または、音声集音装置に撮像画像を付加したテレビ会議システムが用いられている。
音声集音装置においては、複数のマイクロフォンを使用する話者のうち、相手側会議室に送信すべき話者の使用しているマイクロフォンを選択する。
このような音声集音装置には、複数のマイクロフォンに対して1個のエコーキャンセラーが設けられている。その理由は、エコーキャンセラーは通常、高速演算処理可能であるが、高価格のディジタル信号処理プロセッサ(DSP)で実現されているから、1台のエコーキャンセラーで複数のマイクロフォンのエコーキャンセル処理を行っている。
エコーキャンセラーは、選択されたマイクロフォンからの音声について学習処理をしながら、エコーキャンセル処理を行っている。そのため、エコーキャンセラーには各マイクロフォンのエコーキャンセル用学習データが保持されている。
特開2003−87887号公報 特開2003−87890号公報
1台のエコーキャンセラーで複数のマイクロフォンのエコーキャンセル処理を行っているとき、第1のマイクロフォンから第2のマイクロフォンに切り替えが行われるとき、エコーキャンセラー内の学習データを第2のマイクロフォン用の学習データに即座に切り換えると、第2のマイクロフォンの音声を第1のマイクロフォン用の学習データでエコーキャンセル処理するという事態が発生する。
すなわち、エコーキャンセラー内の学習処理により得られた各マイクロフォン用学習データは所定時間継続して得られた音声データに基づいているからである。
本発明の目的は、複数のマイクロフォンを1台のエコーキャンセラーでエコーキャンセル処理を行う音声集音装置において、第1マイクロフォンから第2マイクロフォンに切り替えが行われるとき、誤ったエコーキャンセル処理を回避する音声集音装置と方法を提供することにある。
本発明の第1観点によれば、所定配置条件に基づいて配置された、複数のマイクロフォンと、前記複数のマイクロフォンの集音信号を検出し、該検出した集音信号のうち有効な集音信号を検出したマイクロフォンを選択するマイクロフォン選択手段と、前記選択されたマイクロフォンの音信号についてエコーキャンセル処理を行うエコーキャンセル処理手段と、前記マイクロフォンの音信号切換時に、所定時間、前記エコーキャンセル処理を停止させる、エコーキャンセル処理制御手段とを具備し前記マイクロフォン選択手段は、新しいマイクロフォンの集音信号を選択して出力するとき、以前に選択したマイクロフォンの集音信号と新しいマイクロフォンの集音信号をクロスフェードさせ、前記エコーキャンセル処理制御手段は、前記クロスフェードの期間、前記エコーキャンセル処理を停止させる、音声集音装置が提供される。
本発明の第2の観点によれば、所定配置条件に基づいて配置された、複数のマイクロフォンの集音信号を検出し、該検出した集音信号のうち有効な集音信号を検出したマイクロフォンを選択するマイクロフォン選択ステップと、前記選択されたマイクロフォンの音信号についてエコーキャンセル処理を行うエコーキャンセル処理ステップと、マイクロフォン選択ステップにおいて、前記マイクロフォンの音信号切換時に、所定時間、前記エコーキャンセル処理を停止させる、エコーキャンセル処理制御ステップとを具備し、前記マイクロフォン選択ステップにおいて、新しいマイクロフォンの集音信号を選択して出力するとき、以前に選択したマイクロフォンの集音信号と新しいマイクロフォンの集音信号をクロスフェードさせ、前記エコーキャンセル処理制御ステップにおいて、前記クロスフェードの期間、前記エコーキャンセル処理を停止させる、音声集音方法が提供される。
本発明によれば、マイクロフォン選択(切換)時にエコーキャンセル処理を停止することにより、不自然なエコーキャンセル処理が回避できる。
以下、本発明の実施の形態の音声集音装置について述べる。
図1(A)〜(C)は本発明の実施の形態の音声集音装置が適用される1例を示す構成図である。
図1(A)に図解したように、2つの会議室901、902にそれぞれに第1および第2の音声集音装置10A、10Bが設置されており、これらの音声集音装置10A、10Bが通信回線920、たとえば、電話回線で接続されている。
〔音声集音装置の概要〕
通常、通信回線920を介しての会話は、一人の話者と一人の話者同士、すなわち、1対1で通話を行うが、本発明の実施の形態の通話装置は1つの通信回線920を用いて、会議室901、902内の複数の会議出席者同士が通話できる。ただし、本実施の形態においては、音声の混雑を回避するため、同時刻(同じ時間帯)の話者は、相互に一人に限定する。
このように、音声集音装置10A、10Bは、通話者を選択(特定)し、選択した通話者の音声を集音する。
集音した音声と撮像した映像は相手側に会議室に転送され、相手側の音声集音装置における再生される。
通話装置の詳細
図2〜図4を参照して本発明の実施の形態の音声集音装置における通話装置の構成について述べる。第1の通話装置10Aも第2の通話装置10Bも同様である。
図2は本発明の1実施の形態としての音声集音装置の斜視図である。
図3は図2に図解した音声集音装置の断面図である。
図4は図2、図3に図解した音声集音装置のマイクロフォン・電子回路収容部の平面図であり、図3の線X−Xにおける平面図である。
図2に図解したように、音声集音装置は、上部カバー11と、音反射板12と、連結部材13と、スピーカ収容部14と、操作部15とを有する。
図3に図解したように、スピーカ収容部14は、音反射面14aと、底面14bと、上部音出力開口部14cとを有する。音反射面14aと底面14bで包囲された空間である内腔14dに受話再生スピーカ16が収容されている。スピーカ収容部14の上部に音反射板12が位置し、スピーカ収容部14と音反射板12とが連結部材13によって連結されている。
連結部材13内には拘束部材17が貫通しており、拘束部材17は、スピーカ収容部14の底面14bの拘束部材下部固定部14eと、音反射板12の拘束部材固定部12bとの間を拘束している。ただし、拘束部材17はスピーカ収容部14の拘束部材貫通部14fは貫通しているだけである。拘束部材17が拘束部材貫通部14fを貫通してここで拘束していないのはスピーカ16の動作によってスピーカ収容部14が振動するが、その振動を上部音出力開口部14cの周囲においては拘束させないためである。
相手会議室の話者が話した音声は、受話再生スピーカ16を介して上部音出力開口部14cから抜け、音反射板12の音反射面12aとスピーカ収容部14の音反射面14aとで規定される空間に沿って軸C−Cを中心として360度の全方位に拡散する。
音反射板12の音反射面12aの断面は図解したように、ゆるやかなラッパ型の弧を描いている。音反射面12aの断面は軸C−Cを中心として360度にわたり(全方位にわたり)、図解した断面形状をしている。
同様にスピーカ収容部14の音反射面14aの断面も図解したように、ゆるやかな凸面を描いている。音反射面14aの断面も軸C−Cを中心として360度にわたり(全方位)、図解した断面形状をしている。
受話再生スピーカ16から出た音Sは、上部音出力開口部14cを抜け、音反射面12aと音反射面14aとで規定される断面がラッパ状の音出力空間を経て、音声集音装置が載置されているテーブル911の面に沿って、軸C−Cを中心として360度全方位に拡散していき、全ての会議出席者A1〜A6に等しい音量で聞き取られる。本実施の形態においては、テーブル911の面も音伝播手段の一部として利用している。
受話再生スピーカ16から出力された音Sの拡散状態を矢印で図示した。
音反射板12はプリント基板21を支持している。
プリント基板21には、図4に平面を図解したように、マイクロフォン・電子回路収容部2のマイクロフォンMC1〜MC6、発光ダイオードLED1〜6、マイクロプロセッサ23、コーデック(CODEC)24、第1のディジタルシグナルプロセッサ(DSP1)DSP25、第2のディジタルシグナルプロセッサ(DSP2)DSP26、A/D変換器ブロック27、D/A変換器ブロック28、増幅器ブロック29などの各種電子回路が搭載されており、音反射板12はマイクロフォン・電子回路収容部2を支持する部材としても機能している。
プリント基板21には、受話再生スピーカ16からの振動が音反射板12を伝達してマイクロフォンMC1〜MC6などに進入して騒音とならないように、受話再生スピーカ16からの振動を吸収するダンパー18が取り付けられている。ダンパー18は、ネジと、このネジとプリント基板21との間に挿入された防振ゴムなどの緩衝材とからなり、緩衝材をネジでプリント基板21にネジ止めしている。すなわち、緩衝材によって受話再生スピーカ16からプリント基板21に伝達される振動が吸収される。これにより、マイクロフォンMC1〜MC6は、スピーカ16からの音の影響を受けない。
マイクロフォンの配置
図4に図解したように、プリント基板21の中心軸Cから等角度で放射状にかつ等間隔(本実施の形態では60度の等角度)で6本のマイクロフォンMC1〜MC6が位置している。各マイクロフォンは単一指向性を持つマイクロフォンである。その特性については後述する。
各マイクロフォンMC1〜MC6は、共に柔軟性または弾力性のある第1のマイク支持部材22aと第2のマイク支持部材22bとで、揺動自在に支持されており(図解を簡単にするため、マイクロフォンMC1の部分の第1のマイク支持部材22aと第2のマイク支持部材22bとについてのみ図解している)、上述した緩衝材を用いたダンパー18による受話再生スピーカ16からの振動の影響を受けない対策に加えて、柔軟性または弾力性のある第1のマイク支持部材22aと第2のマイク支持部材22bとで受話再生スピーカ16からの振動で振動するプリント基板21の振動を吸収して受話再生スピーカ16の振動の影響を受けないようにして、受話再生スピーカ16の騒音を回避している。
図3に図解したように、受話再生スピーカ16はマイクロフォンMC1〜MC6が位置する平面の中心軸C−Cに対して垂直に指向しており(本実施の形態においては上方向に向いている(指向している))、このような受話再生スピーカ16と6本のマイクロフォンMC1〜MC6の配置により、受話再生スピーカ16と各マイクロフォンMC1〜MC6との距離は等距離となり、受話再生スピーカ16からの音声は、各マイクロフォンMC1〜MC6に対しほとんど同音量、同位相で届く。ただし、上述した音反射板12の音反射面12aおよびスピーカ収容部14の音反射面14aの構成により、受話再生スピーカ16の音がマイクロフォンMC1〜MC6には直接入力されないようにしている。加えて、上述したように、緩衝材を用いたダンパー18と、柔軟性または弾力性のある第1のマイク支持部材22aと第2のマイク支持部材22bとを用いることにより、受話再生スピーカ16の振動の影響を低減している。
会議出席者A1〜A6は、通常、たとえば、図1(C)に例示したように、通話装置の周囲360度方向に、60度間隔で配設されているマイクロフォンMC1〜MC6の近傍にほぼ等間隔で位置している。
話者を決定したことを通報する手段(マイクロフォン選択結果表示手段)として発光ダイオードLED1〜6がマイクロフォンMC1〜MC6の近傍に配置されている。
発光ダイオードLED1〜6は上部カバー11を装着した状態でも、全ての会議出席者A1〜A6から視認可能に設けられている。したがって、上部カバー11は発光ダイオードLED1〜6の発光状態が視認可能なように透明窓が設けられている。もちろん、上部カバー11に発光ダイオードLED1〜6の部分に開口が設けられていてもよいが、マイクロフォン・電子回路収容部2への防塵の観点からは透光窓が好ましい。
プリント基板21には、後述する各種の信号処理を行うために、第1のディジタルシグナルプロセッサ(DSP1)25、第2のディジタルシグナルプロセッサ(DSP2)26、各種電子回路27〜29が、マイクロフォンMC1〜MC6が位置する部分以外の空間に配置されている。
本実施の形態においては、DSP25を各種電子回路27〜29とともにフィルタ処理、マイクロフォン選択処理などの処理を行う信号処理手段として用い、DSP26をエコーキャンセラーとして用いている。
図5は、マイクロプロセッサ23、コーデック24、DSP25、DSP26、A/D変換器ブロック27、D/A変換器ブロック28、増幅器ブロック29、その他各種電子回路の概略構成図である。
マイクロプロセッサ23はマイクロフォン・電子回路収容部2の全体制御処理を行う。 コーデック24は相手方会議室に送信する音声を圧縮符号化する。
DSP25が下記に述べる各種の信号処理、たとえば、フィルタ処理、マイクロフォン選択処理などを行う。
DSP26はエコーキャンセラーとして機能する。
図5においては、A/D変換器ブロック27の1例として、4個のA/D変換器271〜274を例示し、D/A変換器ブロック28の1例として、2個のD/A変換器281〜282を例示し、増幅器ブロック29の1例として、2個の増幅器291〜292を例示している。
その他、マイクロフォン・電子回路収容部2としては電源回路など各種の回路がプリント基板21に搭載されている。
図4においてプリント基板21の中心軸Cに対してそれぞれ対称(または対向する)位置に一直線上に配設された1対のマイクロフォンMC1−MC4:MC2−MC5:MC3−M6が、それぞれ2チャネルのアナログ信号をディジタル信号に変換するA/D変換器271〜273に入力されている。本実施の形態においては、1個のA/D変換器が2チャネルのアナログ入力信号をディジタル信号に変換する。そこで、中心軸Cを挟んで一直線上に位置する2個(1対)のマイクロフォン、たとえば、マイクロフォンMC1とMC4の検出信号を1個のA/D変換器に入力してディジタル信号に変換している。また、本実施の形態においては、相手の会議室に送出する音声の話者を特定するため、一直線上に位置する2個のマイクロフォンの音声の差、音声の大きさなどを参照するから、一直線上に位置する2個のマイクロフォンの信号を同じA/D変換器に入力すると、変換タイミングもほぼ同じになり、2個のマイクロフォンの音声出力の差をとるときにタイミング誤差が少ない、信号処理が容易になるなどの利点がある。
なお、A/D変換器271〜274は可変利得型増幅機能付きのA/D変換器271〜274として構成することもできる。
A/D変換器271〜273で変換したマイクロフォンMC1〜MC6の集音信号はDSP25に入力されて、後述する各種の信号処理が行われる。
DSP25の処理結果の1つとして、マイクロフォンMC1〜MC6のうちの1つを選択した結果が、マイクロフォン選択結果表示手段の1例である発光ダイオードLED1〜6に出力される。
DSP25の処理結果が、DSP26に出力されてエコーキャンセル処理が行われる。DSP26は、たとえば、エコーキャンセル送話処理部とエコーキャンセル受話部とを有する。
DSP26の処理結果がD/A変換器281〜282でアナログ信号に変換される。D/A変換器281からの出力が、必要に応じて、コーデック24で符号化されて、増幅器291を介して通信回線920(図1(A))のラインアウトに出力され、相手方会議室に設置された通話装置の受話再生スピーカ16を介して音として出力される。
相手方の会議室に設置された通話装置からの音声が通信回線920(図1(A))のラインインを介して入力され、A/D変換器274においてディジタル信号に変換されて、DSP26に入力されてエコーキャンセル処理に使用される。また、相手方の会議室に設置された通話装置からの音声は図示しない経路でスピーカ16に印加されて音として出力される。
D/A変換器282からの出力が増幅器292を介してこの通話装置の受話再生スピーカ16から音として出力される。すなわち、会議出席者A1〜A6は、上述した受話再生スピーカ16から相手会議室の選択された話者の音声に加えて、その会議室にいる発言者が発した音声をも受話再生スピーカ16を介して聞くことが出来る。
マイクロフォンMC1〜MC6
図6は各マイクロフォンMC1〜MC6の指向性を示すグラフである。
各単一指向特性マイクフォンは発言者からマイクロフォンへの音声の到達角度により図6に図解のように周波数特性、レベル特性が変化する。複数の曲線は、集音信号の周波数が、100Hz、150Hz、200Hz、300Hz、400Hz、500Hz、700Hz、1000Hz、1500Hz、2000Hz、3000Hz、4000Hz、5000Hz、7000Hzの時の指向性を示している。ただし、図解を簡単にするため、図7は代表的に、150Hz、500Hz、1500Hz、3000Hz、7000Hzについての指向性を図解している。
図7(A)〜(D)は音源の位置とマイクロフォンの集音レベルの分析結果を示すグラフであり、通話装置と所定距離、たとえば、1.5メートルの距離にスピーカを置いて各マイクロフォンが集音した音声を一定時間間隔で高速フーリエ変換(FFT)した結果を示している。X軸が周波数を、Y軸が信号レベルを、Z軸が時間を表している。
図6の指向性を持つマイクロフォンを用いた場合、マイクロフォンの正面に強い指向性を示す。本実施の形態においては、このような特性を活用して、DSP25においてマイクロフォンの選定処理を行う。
本発明の実施の形態のように指向性を持つマイクロフォンではなく無指向性のマイクロフォンを用いた場合、マイクロフォン周辺の全ての音を集音(収音)するので発言者の音声と周辺ノイズとのS/Nが混同してあまり良い音が集音できない。これを避けるため、本発明においては、指向性マイクロフォン1本で集音することによって周辺のノイズとのS/Nを改善している。
さらに、マイクロフォンの指向性を得る方法として、複数の無指向性マイクロフォンを使用したマイクロフォンアレイを用いることができるが、このような方法では、複数の信号の時間軸(位相)の一致のため複雑な処理を要するため、時間がかかり応答性が低いし、装置構成を複雑になる。すなわち、DSPの信号処理系にも複雑な信号処理を必要とする。本発明は図5に例示した指向性のあるマイクロフォンを用いてそのような問題を解決している。
また、マイクロフォンアレイ信号を合成して指向性収音(集音)マイクロフォンとして利用するためには外形形状が通過周波数特性によって規制され外形形状が大きくなるという不利益がある。本発明はこの問題も解決している。
上述した構成の音声集音装置は下記の利点を示す。
(1)等角度で放射状かつ等間隔に配設された偶数個のマイクロフォンMC1〜MC6と受話再生スピーカ16との位置関係が一定であり、さらにその距離が非常に近いことで受話再生スピーカ16から出た音が会議室(部屋)環境を経てマイクロフォンMC1〜MC6に戻ってくるレベルより直接戻ってくるレベルが圧倒的に大きく支配的である。そのために、スピーカ16からマイクロフォンMC1〜MC6に音が到達する特性(信号レベル(強度)、周波数特性(f特、位相)がいつも同じである。つまり、本発明の実施の形態における音声集音装置においてはいつも伝達関数が同じという利点がある。
(2)それ故、話者が異なった時に相手方会議室に送出するマイクロフォンの出力を切り替えた時の伝達関数の変化がなく、マイクロフォンを切り替える都度、マイクロフォン系の利得を調整する必要がないという利点を有する。換言すれば、通話装置の製造時に一度調整をすると調整をやり直す必要がないという利点がある。
(3)上記と同じ理由で話者が異なった時にマイクロフォンを切り替えても、エコーキャンセラー(DSP26)が一つでよい。DSPは高価であり、種々の部材が搭載されて空きが少ないプリント基板21に複数のDSPを配置する必要がなく、プリント基板21におけるDSPを配置するスペースも少なくてよい。その結果、プリント基板21、ひいては、本発明の音声集音装置を小型にできる。
(4)上述したように、受話再生スピーカ16とマイクロフォンMC1〜MC6間の伝達関数が一定であるため、たとえば、±3dBもあるマイクロフォン自体の感度差調整を通話装置のマイクロフォンユニット単独で出来るという利点がある。感度差調整の詳細は後述する。
(5)音声集音装置が搭載されるテーブルは、通常、円いテーブル(円卓)または多角テーブルを用いることで、音声集音装置内の一つの受話再生スピーカ16で均等な品質の音声を軸Cを中心として360度全方位に均等に分散(拡散)するスピーカシステムが可能になった。
(6)受話再生スピーカ16から出た音は円卓のテーブル面を伝達して(バウンダリ効果)会議出席者まで有効に能率良く均等に上質な音が届き、会議室の天井方向に対しては対向側の音と位相がキャンセルされて小さな音になり、会議出席者に対して天井方向からの反射音が少なく、結果として参加者に明瞭な音が配給されるという利点がある。
(7)受話再生スピーカ16から出た音は等角度で放射状かつ等間隔に配設された全てのマイクロフォンMC1〜MC6に同時に同じ音量で届くので発言者の音声なのか受話音声なのかの判断が容易になる。その結果、マイクロフォン選択処理の誤判別が減る。その詳細は後述する。
(8)偶数個、たとえば、6本のマイクロフォンを等角度で放射状かつ等間隔で、対向する1対のマイクロフォンを一直線上に配置したことで方向検出の為のレベル比較が容易にできる。
(9)ダンパー18、マイクロフォン支持部材22などにより、受話再生スピーカ16の音による振動が、マイクロフォンMC1〜MC6の集音に与える影響を低減することができる。
(10)図3に図解したように、構造的に、受話再生スピーカ16の音が直接、マイクロフォンMC1〜MC6には伝搬しない。したがって、この音声集音装置においては受話再生スピーカ16からのノイズの影響が少ない。
変形例
図2〜図3を参照して述べた音声集音装置は、下部に受話再生スピーカ16を配置させ、上部にマイクロフォンMC1〜MC6(および関連する電子回路)を配置させたが、受話再生スピーカ16とマイクロフォンMC1〜MC6(および関連する電子回路)の位置を、図8に図解したように、上下逆にすることもできる。このような場合でも上述した効果を奏する。
マイクロフォンの本数は6本には限定されず、4本、8本などと任意の偶数本のマイクロフォンを等角度で放射状かつ等間隔で軸Cを中心に複数対それぞれを一直線に(同方向に)、たとえば、マイクロフォンMC1とMC4のように一直線に配置する。好ましい形態として、2本のマイクロフォンMC1、MC4を対向させて一直線に配置する理由は、マイクロフォンを選定して話者を特定するためである。
信号処理内容
以下、主として第1のディジタルシグナルプロセッサ(DSP)25で行う処理内容について述べる。
図9はDSP25が行う音声集音装置における処理の概要を図解した図である。以下、その概要を述べる。
(1)周囲のノイズの測定
初期動作として、好ましくは、音声集音装置10Aが設置される周囲のノイズを測定する。
音声集音装置は種々の環境(会議室)で使用されうる。マイクロフォンの選択の正確さを期し、音声集音装置の性能を高めるために、本発明においては、初期段階において、音声集音装置が設置される周囲環境のノイズを測定し、そのノイズの影響をマイクロフォンで集音した信号から排除することを可能とする。
もちろん、音声集音装置を同じ会議室で反復して使用するような場合、事前にノイズ測定が行われており、ノイズ状態が変化しないような場合にはこの処理は割愛できる。なお、ノイズ測定は通常状態においても行うことができる。
(2)議長の選定
たとえば、音声集音装置を双方向会議に使用する場合、それぞれの会議室における議事運営を取りまとめる議長がいることが有益である。したがって、本発明の1態様としては、音声集音装置を使用する初期段階において、音声集音装置の操作部15から議長を設定する。議長の設定方法としては、たとえば、操作部15の近傍に位置する第1マイクロフォンMC1を議長用マイクロフォンとする。もちろん、議長用マイクロフォンを任意のものにすることもできる。
なお、音声集音装置を反復して使用する議長が同じ場合はこの処理は割愛できる。あるいは、事前に議長が座る位置のマイクロフォンを決めておいてもよい。その場合はその都度、議長の選定動作は不要である。
もちろん、議長の選定は初期状態に限らず、任意のタイミングで行うことができる。
(3)マイクロフォンの感度差調整
初期動作として、好ましくは、受話再生スピーカ16とマイクロフォンMC1〜MC6との音響結合が等しくなるように、マイクロフォンMC1〜MC6の信号を増幅する増幅部の利得または減衰部の減衰値を自動的に調整する。
通常処理として下記に例示する各種の処理を行う。
(1)マイクロフォン選択、切り替え処理
1つの会議室において同時に複数の会議出席者が通話すると、音声が入り交じり相手側会議室内の会議出席者A1〜A6にとって聞きにくい。そこで、本発明においては、原則として、ある時間帯には1人ずつ通話させる。そのためDSP25においてマイクロフォンの選択・切り替え処理を行う。
その結果、選択されたマイクロフォンからの通話のみが、通信回線920を介して相手方会議室の音声集音装置に伝送されてスピーカから出力される。もちろん、図5を参照して述べたように、選択された話者のマイクロフォンの近傍のLEDが点灯し、さらに、その部屋の音声集音装置のスピーカからも選択された話者の音声を聞くことができ、誰が許可された話者かを認識することができる。
この処理により、発言者に対向した単一指向性マイクの信号を選択し、送話信号として相手方にS/Nの良い信号を送ることを目的としている。
(2)選択したマイクロフォンの表示
話者のマイクロフォンが選択され、話すことが許可された会議出席者のマイクロフォンがどれであるかを会議出席者A1〜A6全員が容易に認識できるように、マイクロフォン選択結果表示手段、たとえば、発光ダイオードLED1〜6の該当するものを点灯させる。
(3)上述したマイクロフォン選択処理の背景技術として、または、マイクロフォン選択処理を正確に遂行するため下記に例示する各種の信号処理を行う。
(a)マイクロフォンの集音信号の帯域分離と、レベル変換処理
(b)発言の開始、終了の判定処理
発言者方向に対向したマイク信号の選択判定開始トリガとして使用するた め。
(c)発言者方向マイクロフォンの検出処理
各マイクロフォンの集音信号を分析し、発言者の使用しているマイクロフ ォンを判定するため。
(d)発言者方向マイクロフォンの切り換えタイミング判定処理、および、検出 された発言者に対向したマイク信号の選択切り替え処理
上述した処理結果から選択したマイクロフォンへ切り換えの指示をする。 (e)通常動作時のフロアノイズの測定
フロア(環境)ノイズの測定
この処理は音声集音装置の電源投入直後の初期処理と通常処理に分かれる。
なお、この処理は下記の例示的な前提条件の下に行う。
〔表1〕
(1)条件:測定時間及び閾値暫定値:
1.テストトーン音圧 :マイク信号レベルで−40dB
2.ノイズ測定単位時間:10秒
3.通常状態でのノイズ測定:10秒間の測定結果で平均値計算し、さらにこれを10回繰り返して平均値を求めノイズレベルとする。
〔表2〕
(2)フロアノイズと発言開始基準レベルとの差による有効距離の目安と閾値
1.26dB以上:3メートル以上
発言開始の検出レベル閾値:フロアノイズレベル+9dB
発言終了の検出レベル閾値:フロアノイズレベル+6dB
2.20〜26dB:3メートル以内
発言開始の検出レベル閾値:フロアノイズレベル+9dB
発言終了の検出レベル閾値:フロアノイズレベル+6dB
3.14〜20dB:1.5メートル以内
発言開始の検出レベル閾値:フロアノイズレベル+9dB
発言終了の検出レベル閾値:フロアノイズレベル+6dB
4.9〜14dB:1 メートル以内
発言開始の検出レベル閾値:
フロアノイズレベルと発言開始基準レベルとの差÷2+2dB
発言終了の検出レベル閾値:発言開始閾値−3dB
5.9dB以下:数10センチメートル
発言開始の検出レベル閾値:−3dB
6.フロアノイズレベルと発言開始基準レベルとの差÷2
発言終了の検出レベル閾値:−3dB
7.同じかマイナス:判定できず選択禁止
〔表3〕
(3)通常処理のノイズ測定開始閾値は電源投入時のフロアノイズ+3dB以下のレベルになった時から開始する。
フィルタ処理による各種周波数成分信号の生成
図10はマイクロフォンで集音した音信号を前処理として、DSP25で行うフィルタリング処理を示す構成図である。図10は1マイクロフォン(チャネル(1集音信号))分の処理について示す。
各マイクロフォンの集音信号は、たとえば、100Hzのカットオフ周波数を持つアナログ・ローカットフィルタ101で処理され、100Hz以下の周波数が除去されたフィルタ処理された音声信号がA/D変換器102に出力され、A/D変換器102でディジタル信号に変換された集音信号が、それぞれ7.5KHz、4KHz、1.5KHz、600Hz、250Hzのカットオフ周波数を持つ、ディジタル・ハイカットフィルタ103a〜103e(総称して103)で高周波成分が除去される(ハイカット処理)。ディジタル・ハイカットフィルタ103a〜103eの結果はさらに、減算器104a〜104d(総称して104)において隣接するディジタル・ハイカットフィルタ103a〜103eのフィルタ信号ごとの減算が行われる。
本発明の実施の形態において、ディジタル・ハイカットフィルタ103a〜103eおよび減算器104a〜104dは、実際はDSP25において処理している。A/D変換器102はA/D変換器ブロック27の1つとして実現できる。
図11は、図10を参照して述べたフィルタ処理結果を示す周波数特性図である。このように1つの指向性を持つマイクロフォンで集音した信号から、各種の周波数成分をもつ複数の信号が生成される。
バンドパス・フィルタ処理およびマイク信号レベル変換処理
マイクロフォン選択処理の開始のトリガの1つに発言の開始、終了の判定を行う。そのために使用する信号が、DSP25で行う図12に図解したバンドパス・フィルタ処理およびレベル変換処理によって得られる。図12はマイクロフォンMC1〜MC6で集音した6チャネル(CH)の入力信号処理中の1CHのみを示す。
DSP25内のバンドパス・フィルタ処理およびレベル変換処理部は、各チャネルのマイクロフォンの集音信号を、それぞれ100〜600Hz、200〜250Hz、250〜600Hz、600〜1500Hz、1500〜4000Hz、4000〜7500Hzの帯域通過特性を持つバンドパス・フィルタ201a〜201f(総称してバンドパス・フィルタ・ブロック201)と、元のマイクロフォン集音信号および上記帯域通過集音信号をレベル変換するレベル変換器202a〜202g(総称して、レベル変換ブロック202)を有する。
各レベル変換器202a〜202gは、信号絶対値処理部203とピークホールド処理部204を有する。したがって、波形図を例示したように、信号絶対値処理部203は破線で示した負の信号が入力されたとき符号を反転して正の信号に変換する。ピークホールド処理部204は、信号絶対値処理部203の出力信号の最大値を保持する。ただし、本実施の形態では、時間の経過により保持した最大値は幾分低下していく。もちろん、ピークホールド処理部204を改良して、低下分を少なくして長時間最大値を保持可能にすることもできる。
バンドパス・フィルタについて述べる。音声集音装置に使用するバンドパス・フィルタは、たとえば、2次IIRハイカット・フィルタと、マイク信号入力段のローカット・フィルタのみでバンドパス・フィルタを構成している。
本実施の形態においては周波数特性がフラットな信号からハイカットフィルタを通した信号を引き算すれば残りはローカットフィルタを通した信号とほぼ同等になることを利用する。
周波数−レベル特性を合わせる為に、1バンド余分に全体帯域通過のバンドパス・フィルタが必要となるが、必要とするバンドパス・フィルタのバンド数+1のフィルタ段数とフィルタ係数により必要とされるバンドパスが得られる。今回必要とされるハンドパス・フィルタの帯域周波数はマイク信号1チャネル(CH)当りで下記表4に示す6バンドのバンドパス・フィルタとなる。
〔表4〕
BP特性 バンドパスフィルタ
BPF1=[100Hz-250Hz] ・・201b
BPF2=[250Hz-600Hz] ・・201c
BPF3=[600Hz-1.5KHz] ・・201d
BPF4=[1.5KHz-4KHz] ・・201e
BPF5=[4KHz-7.5KHz] ・・201f
BPF6=[100Hz-600Hz] ・・201a
この方法でDSP25における上記のIIR・フィルタの計算プログラムは、6CH(チャネル)×5(IIR・フィルタ) =30のみである。
本発明の実施の形態においては、100Hzのローカット・フィルタは入力段のアナログフィルタで処理する。用意する2次IIRハイカット・フィルタのカットオフ周波数は、250Hz,600Hz,1.5KHz,4KHz,7.5KHzの5種類である。このうちのカットオフ周波数7.5KHzのハイカット・フィルタは、実はサンプリング周波数が 16KHzなので必要が無いが、減算処理の過程で、IIRフィルタの位相回りの影響で、バンドパス・フィルタの出力レベルが減少する現象を軽減する為に意図的に被減数の位相を回す。
図13は図12に図解した構成による処理をDSP25で処理したときのフローチャートである。
図13に図解したDSP25におけるフィルタ処理は1段目の処理としてハイパス・フィルタ処理、2段目の処理として1段目のハイパス・フィルタ処理結果からの減算処理を行う。図12はその信号処理結果のイメージ周波数特性図である。下記、〔x〕は図11における各処理ケースを示す。
第一段階
〔1〕全体帯域通過フィルタ用として、入力信号を7.5KHzのハイカットフィルタを通す。このフィルタ出力信号は入力のアナログのローカット合わせにより [100Hz-7.5KHz] のバンドパス・フィルタ出力となる。
〔2〕入力信号を4KHzのハイカットフィルタに通す。このフィルタ出力信号は入力のアナログのローカットフィルタとの組み合わせにより [100Hz-4KHz] のバンドパス・フィルタ出力となる。
〔3〕入力信号を1.5KHzのハイカットフィルタを通す。このフィルタ出力信号は入力のアナログのローカットフィルタとの組み合わせにより [100Hz-1.5KHz] のバンドパス・フィルタ出力となる。
〔4〕入力信号を600Hz のハイカットフィルタを通す。このフィルタ出力信号は入力のアナログのローカットフィルタとの組み合わせにより [100Hz-600Hz]のバンドパス・フィルタ出力となる。
〔5〕入力信号を250Hz のハイカットフィルタを通す。このフィルタ出力信号は入力のアナログのローカットフィルタとの組み合わせにより [100Hz-250Hz]のバンドパス・フィルタ出力となる。
第二段階
〔1〕バンドパス・フィルタ(BPF5=[4KHz〜7.5KHz])は、フィルタ出力[1]-[2]([100Hz〜7.5KHz] - [100Hz〜4KHz])の処理を実行すると上記信号出力[4KHz〜7.5KHz]となる。
〔2〕バンドパス・フィルタ(BPF4=[1.5KHz〜4KHz])は、フィルタ出力[2]-[3]([100Hz〜4KHz] - [100Hz〜1.5KHz])の処理を実行すると、上記信号出力[1.5KHz〜4KHz]となる。
〔3〕バンドパス・フィルタ(BPF3=[600Hz〜1.5KHz])は、フィルタ出力[3]-[4]([100Hz〜1.5KHz] - [100Hz〜600Hz])の処理を実行すると、上記信号出力[600Hz〜1.5KHz]となる。
〔4〕バンドパス・フィルタ(BPF2=[250Hz〜600Hz])は、フィルタ出力[4]-[5]([100Hz〜600Hz] - [100Hz〜250Hz]) の処理を実行すると上記信号出力[250Hz〜600Hz]となる。 〔5〕バンドパス・フィルタ(BPF1=[100Hz〜250Hz])は上記[5]の信号をそのままで出力信号[5]とする。
〔6〕バンドパス・フィルタ(BPF6=[100Hz〜600Hz])は[4]の信号をそのままで上記[4]の出力信号とする。
DSP25における以上の処理で必要とされるバンドパス・フィルタ出力が得られる。
入力されたマイクロフォンの集音信号MIC1〜MIC6は、DSP25において、全帯域の音圧レベル、バンドパス・フィルタを通過した6帯域の音圧レベルとして表5のように常時更新される。
Figure 0004192800
表5において、たとえば、L1-1はマイクロフォンMC1の集音信号が第1バンドパス・フィルタ201aを通過したときのピークレベルを示す。
発言の開始、終了判定は、図12に図示した100Hz〜600Hzのバンドパス・フィルタ201aを通過し、レベル変換部202bで音圧レベル変換されたマイクロフォン集音信号を用いる。
発言の開始・終了判定処理
第1のディジタルシグナルプロセッサ(DSP1)25は、音圧レベル検出部から出力される値を元に、図14に図解したように、マイクロフォン集音信号レベルがフロアノイズより上昇し、発言開始レベルの閾値を越した場合発言開始と判定し、その後開始レベルの閾値よりも高いレベルが継続した場合発言中、発言が終了し集音信号レベルが閾値より下がった場合をフロアノイズと判定し、発言終了判定時間、たとえば、フロアノイズが0.5秒間継続した場合発言終了と判定する。
発言の開始は、図12に図解したマイク信号変換処理部202bで音圧レベル変換された100Hz〜600Hzのバンドパス・フィルタを通過した音圧レベルデータ(マイク信号レベル(1))が図14に例示した閾値レベル以上になった時から発言開始と判定する。
DSP25は、頻繁なマイクロフォン切り替えに伴う動作不良を回避するため、発言開始を検出してから、発言終了判定時間を、たとえば、0.5秒間経過するまでは次の発言開始を検出しないようにしている。
マイクロフォン選択
DSP25は、相互通話システムにおける発言者方向検出および発言者に対向したマイク信号の自動選択を、いわゆる、「星取表方式」に基づいて行う。
図15は音声集音装置の動作形態を図解したグラフである。
図16は音声集音装置の通常処理を示すフローチャートである。
通話装置は図15に図解したように、マイクロフォンMC1〜MC6からの集音信号に応じて音声信号監視処理を行い、発言開始・終了判定を行い、発言方向判定を行い、マイクロフォン選択を行い、その結果をマイクロフォン選択結果表示手段、たとえば、発光ダイオードLED1〜6に表示する。
以下、図16のフローチャートを参照して音声集音装置におけるDSP25を主体として動作を述べる。なお、マイクロフォン・電子回路収容部2の全体制御はマイクロプロセッサ23によって行われるが、DSP25の処理を中心に述べる。
ステップS1:レベル変換信号の監視
マイクロフォンMC1〜MC6で集音した信号はそれぞれ、図11〜図13、特に、図12を参照して述べた、バンドパス・フィルタ・ブロック201、レベル変換ブロック202において、7種類のレベルデータとして変換されているから、DSP25は各マイクロフォン集音信号についての7種類の信号を常時監視する。
その監視結果に基づいて、DSP25は、発言者方向検出処理、発言者方向検出処理、発言開始・終了判定処理のいずれかの処理に移行する。
ステップS2:発言開始・終了判定処理
DSP25は図14を参照して、さらに下記に詳述する方法に従って、発言の開始、終了の判定を行う。DSP25の処理が発言開始を検出した場合、ステップ4の発言者方向の判定処理へ発言開始検出を知らせる。
なお、ステップ2における発言の開始、終了の判定処理において、発言レベルが発言終了レベルより低くなった時、発言終了判定時間(たとえば、0.5秒)のタイマを起動し発言終了判定時間、発言レベルが発言終了レベルより小さい時、発言終了と判定する。
発言終了判定時間以内に発言終了レベルより大きくなったら再び発言終了レベルより小さくなるまで待ちの処理に入る。
ステップS3:発言者方向の検出処理
DSP25における発言者方向の検出処理は、常時発言者方向をサーチし続けて行う。その後、ステップ4の発言者方向の判定処理へデータを供給する。
ステップS4:発言者方向マイクの切り換え処理
DSP25に発言者方向マイクの切り換え処理におけるタイミング判定処理はステップ2の処理とステップ3の処理の結果から、その時の発言者検出方向と今まで選択していた発言者方向が違う場合に、新たな発言者方向のマイク選択をステップ4のマイク信号切り換え処理へ指示する。
ただし、議長のマイクロフォンが操作部15から設定されていて、議長のマイクロフォンと他の会議出席者とが同時的に発言がある場合、議長の発言を優先する。
この時に、選択されたマイク情報をマイクロフォン選択結果表示手段、たとえば、発光ダイオードLED1〜6に表示する。
ステップS5:マイクロフォン集音信号の伝送
マイク信号切り換え処理は6本のマイク信号の中からステップ4処理により選択されたマイク信号のみを送話信号として、たとえば、第1の音声集音装置10Aから通信回線920を介して相手側の第2の音声集音装置10Bに伝送するため、図5に図解した通信回線920のラインアウトへ出力する。
発言開始判定
処理1、6個のマイクロフォンに対応した音圧レベル検出器の出力レベルと、発言開始レベルの閾値を比較し発言開始レベルの閾値を越した場合発言開始と判定する。
DSP25は、全てのマイクロフォンに対応した音圧レベル検出器の出力レベルが、発言開始レベルの閾値を越した場合は、受話再生スピーカ16からの信号であると判定し、発言開始とは判定しない。なぜなら、受話再生スピーカ16と全てのマイクロフォンMC1〜MC6との距離は同じであるから、受話再生スピーカ16からの音は全てのマイクロフォンMC1〜MC6にほぼ均等に到達するからである。
処理2、図4に図解した6個のマイクロフォンについての60度の等角度で放射状かつ等間隔の配置で、指向性軸を反対方向に180度ずらした単一指向性マイク2本(マイクロフォンMC1とMC4、マイクロフォンMC2とMC5、マイクロフォンMC3とMC6)の3組構成しマイク信号のレベル差を利用する。すなわち下記の演算を実行する。
〔表6〕
(マイク1の信号レベル−マイク4の信号レベル)の絶対値・・・[1]
(マイク2の信号レベル−マイク5の信号レベル)の絶対値・・・[2]
(マイク3の信号レベル−マイク6の信号レベル)の絶対値・・・[3]
DSP25は上記絶対値[1],[2],[3]と発言開始レベルの閾値を比較し発言開始レベルの閾値を越した場合発言開始と判定する。
この処理の場合、処理1のように全ての絶対値が発言開始レベルの閾値より大きくなることは無いので(受話再生スピーカ16からの音が全てのマイクロフォンに等しく到達するから)、受話再生スピーカ16からの音か話者からの音声かの判定は不要になる。
発言者方向の検出処理
発言者方向の検出には図6に例示した単一指向性マイクロフォンの特性を利用する。単一指向特性マイクロフォンは発言者からマイクロフォンへの音声の到達角度により図6に例示したように、周波数特性、レベル特性が変化する。その結果を図7(A)〜(C)に例示した。図7(A)〜(C)は、音声集音装置10Aから所定距離、たとえば、1.5メートルの距離にスピーカーを置いて各マイクロフォンが集音した音声を一定時間間隔で高速フーリエ変換(FFT)した結果を示す。X軸が周波数を、Y軸が信号レベルを、Z軸が時間を表している。横線は、バンドパス・フィルタのカットオフ周波数を表し、この線にはさまれた周波数帯域のレベルが、図10〜図13を参照して述べたマイク信号レベル変換処理からの5バンドのバンドパス・フィルタを通した音圧レベルに変換されたデータとなる。
本発明の実施の形態の音声集音装置における発言者方向の検出のために実際の処理として適用した判定方法を述べる。
各帯域バンドパス・フィルタの出力レベルに対しそれぞれ適切な重み付け処理(1dBフルスパン(1dBFs)ステップなら0dBFsの時0、-3dBFsなら3というように、又はこの逆に)を行う。この重み付けのステップで処理の分解能が決まる。
1サンプルクロック毎に上記の重み付け処理を実行し、各マイクの重み付けされた得点を加算して一定サンプル数で平均値化して合計点の小さい(大きい)マイク信号を発言者に対向したマイクロフォンと判定する。この結果をイメージ化したものが下記表7である。
Figure 0004192800
表7に例示したこの例では一番合計点が小さいのは第1マイクロフォンMC1なので、DSP25は第1マイクロフォンMC1の方向に音源が有る(話者がいる)と判定する。DSP25はその結果を音源方向マイク番号という形で保持する。
上述したように、DSP25は各マイクロフォン毎の周波数帯域のバンドパス・フィルタの出力レベルに重み付けを実行し、各帯域バンドパス・フィルタの出力の、得点の小さい(または大きい)マイク信号順に順位をつけ、1位の順位が3つの帯域以上に有るマイク信号を発言者に対向したマイクロフォンと判定する。そして、DSP25は第1マイクロフォンMC1の方向に音源が有る(話者がいる)として、下記表8のような成績表を作成する。
Figure 0004192800
実際には部屋の特性により音の反射や定在波の影響で、必ずしも第1マイクロフォンMC1の成績が全てのバンドパス・フィルタの出力で一番となるとは限らないが、5バンド中の過半数が1位であれば第1マイクロフォンMC1の方向に音源が有る(話者がいる)と判定することができる。DSP25はその結果を音源方向マイク番号という形で保持する。
DSP25は各マイクロフォンの各帯域バンドパス・フィルタの出力レベルデータを下記表9に示した形態で合計し、レベルの大きいマイク信号を発言者に対向したマイクロフォンと判定し、その結果を音源方向マイク番号という形で保持する。
〔表9〕
MIC1 Level = L1-1 + L1-2 + L1-3 + L1-4 + L1-5
MIC2 Level = L2-1 + L2-2 + L2-3 + L2-4 + L2-5
MIC3 Level = L3-1 + L3-2 + L3-3 + L3-4 + L3-5
MIC4 Level = L4-1 + L4-2 + L4-3 + L4-4 + L4-5
MIC5 Level = L5-1 + L5-2 + L5-3 + L5-4 + L5-5
MIC6 Level = L6-1 + L6-2 + L6-3 + L6-4 + L6-5
発言者方向マイクの切り換えタイミング判定処理
図16のステップ2の発言開始判定結果により起動し、ステップ3の発言者方向の検出処理結果と過去の選択情報から新しい発言者のマイクロフォンが検出された時、DSP25は、ステップ5のマイク信号の選択切り替え処理へマイク信号の切り換えコマンドを発効すると共に、マイクロフォン選択結果表示手段(発光ダイオードLED1〜6)へ発言者マイクが切り替わったことを通知し、発言者に自分の発言に対し音声集音装置が応答したことを知らせる。
反響の大きい部屋で、反射音や定在波の影響を除くため、DSP25は、マイクロフォンを切り換えてから発言終了判定時間(たとえば、0.5 秒)経過しないと、新しいマイク選択コマンドの発行は禁止する。
図16のステップ1のマイク信号レベル変換処理結果、および、ステップ3の発言者方向の検出処理結果から、本実施の形態においては、マイク選択切り替えタイミングは2通りを準備する。
第1の方法:発言開始が明らかに判定できる時
選択されていたマイクロフォンの方向からの発言が終了し新たに別の方向から発言があった場合。
この場合は、DSP25は、全てのマイク信号レベル(1)とマイク信号レベル(2)が発言終了閾値レベル以下になってから発言終了判定時間(たとえば、0.5 秒)以上経過してから発言が開始され、どれかのマイク信号レベル(1)が発言開始閾値レベル以上になった時発言が開始されたと判断し、音源方向マイク番号の情報を元に発言者方向に対向したマイクロフォンを正当な集音マイクロフォンと決定し、ステップ5のマイク信号選択切り替え処理を開始する。
第2の方法:発言継続中に新たに別の方向からより大きな声の発言があった場合
この場合はDSP25は発言開始(マイク信号レベル(1)が閾値レベル以上になった時)から発言終了判定時間(たとえば、0.5 秒)以上経過してから判定処理を開始する。
発言終了検出前に、3の処理からの音源方向マイク番号が変更になり、安定していると判定された場合、DSP25は音源方向マイク番号に相当するマイクロフォンに現在選択されている発言者よりも大声で発言している話者がいると判断し、その音源方向マイクロフォンを正当な集音マイクロフォンと決定し、ステップ5のマイク信号選択切り替え処理を起動する。
検出された発言者に対向したマイク信号の選択切り替え処理
DSP25は図16のステップ4の発言者方向マイクの切り換えタイミング判定処理からのコマンドで選択判定されたコマンドにより起動する。
DSP25のマイク信号の選択切り替え処理は、図17に図解したように、6回路の乗算器と6入力の加算器で構成する。マイク信号を選択する為には、DSP25は選択したいマイク信号が接続されている乗算器のチャネルゲイン(チャネル利得:CH Gain)を〔1〕に、その他の乗算器のCH Gainを〔0〕とする事で、加算器には選択された(マイク信号×〔1])の信号と(マイク信号×〔0])の処理結果が加算されて希望のマイク選択信号が出力に得られる。
上記の様にチャネルゲインを[1]か[0]に切り換えると切り換えるマイク信号のレベル差によりクリック音が発生する可能性が有る。そこで、音声集音装置10Aでは、図18に図解したように、CH Gainの変化を[1]から[0]へ、[0]から[1]へ変化するのに、切替遷移時間、たとえば、10m秒の時間で連続的に変化させてクロスするようにして、マイク信号のレベル差によるクリック音の発生を避けている。
また、チャネルゲインの最大を[1]以外、たとえば[0.5]の様にセットする事で後段のDSP25におけるエコーキャンセル処理動作の調整を行うこともできる。
上述したように、本発明の第1実施の形態の音声集音装置は、ノイズの影響を受けず、有効に会議などの通話処理に適用できる。
本発明の第1実施の形態の音声集音装置は構造面から下記の利点を有する。
(1)複数の単一指向性を持つマイクロフォンと受話再生スピーカとの位置関係が一定であり、さらにその距離が非常に近いことで受話再生スピーカから出た音が会議室(部屋)環境を経て複数のマイクロフォンに戻ってくるレベルより直接戻ってくるレベルが圧倒的に大きく支配的である。そのために、受話再生スピーカから複数のマイクロフォンに音が到達する特性(信号レベル(強度))、周波数特性(f特、位相)がいつも同じである。つまり、音声集音装置においてはいつも伝達関数が同じという利点がある。
(2)それ故、マイクロフォンを切り替えた時の伝達関数の変化がなく、マイクロフォンを切り替える都度、マイクロフォン系の利得を調整をする必要がないという利点を有する。換言すれば、音声集音装置の製造時に一度調整をするとやり直す必要がないという利点がある。
(3)上記と同じ理由でマイクロフォンを切り替えても、ディジタルシグナルプロセッサ(DSP)で構成するエコーキャンセラが一つでよい。DSPは高価であり、種々の部材が搭載されて空きが少ないプリント基板にDSPを配置するスペースも少なくてよい。
(4)受話再生スピーカと複数のマイクロフォン間の伝達関数が一定であるため、±3dBもあるマイクロフォン自体の感度差調整をユニット単独で出来るという利点がある。
(5)音声集音装置が搭載されるテーブルは、音声集音装置内の一つの受話再生スピーカで均等な品質の音声を全方位に均等に分散(拡散)するスピーカシステムが可能になった。
(6)受話再生スピーカから出た音はテーブル面を伝達して(バウンダリ効果)会議出席者まで有効に能率良く均等に上質な音が届き、会議室の天井方向に対しては対向側の音と位相キャンセルされて小さな音になり、会議出席者に対して天井方向からの反射音が少なく、結果として参加者に明瞭な音が配給されるという利点がある。
(7)受話再生スピーカから出た音は複数の全てのマイクロフォンに同時に同じ音量で届くので発言者の音声なのか受話音声なのかの判断が容易になる。その結果、マイクロフォン選択処理の誤判別が減る。
(8)偶数個のマイクロフォンを等間隔で配置したことで方向検出の為のレベル比較が容易に出来る。
(9)緩衝材を用いたダンパー、柔軟性または弾力性を持つマイクロフォン支持部材などにより、マイクロフォンが搭載されているプリント基板を介して伝達され得る受話再生スピーカの音による振動が、マイクロフォンの集音に対する影響を低減することができる。
(10)受話再生スピーカの音が直接、マイクロフォンには進入しない。したがって、この音声集音装置においては受話再生スピーカからのノイズの影響が少ない。
本発明の第1実施の形態の音声集音装置は信号処理面から下記の利点を有する。
(a)複数の単一指向性マイクを等間隔で放射状に配置して音源方向を検知可能とし、マイクロフォン信号を切り換えてS/Nの良い音、クリアな音を集音(収音)して、相手方に送信することができる。
(b)周辺の発言者からの音声をS/N良く集音して、発言者に対向したマイクを自動選択できる。
(c)マイクロフォン選択処理の方法として通過音声周波数帯域を分割し、それぞれの分割された周波数帯域ごとのレベルを比較する事で、信号分析を簡略化している。
(d)本発明のマイクロフォン信号切り換え処理をDSPの信号処理として実現し、複数の信号を全てにクロス・フェード処理する事で切り換え時のクリック音を出さないようにしている。
(e)マイクロフォン選択結果を、発光ダイオードなどのマイクロフォン選択結果表示手段、または、外部へ通知処理することができる。
第2実施の形態
本発明の音声集音装置の第2実施の形態としてエコーキャンセラー処理の詳細について図19〜図21を参照して述べる。
通信路を経由して入力された相手側音声集音装置からの音声は、図2、図3を参照して述べたこちら側の音声集音装置のスピーカ16から全方位(360度)に均等に出力されて会議室にいる会議出席者が平等に聞くことができる。
他方、スピーカ16からの音はこちら側の会議室内の壁、天井などで反射されて、その反射音がエコーとして、複数、たとえば、6個のマイクロフォンMC1〜MC6でこちら側の会議者の音声に重畳されて検出される。またスピーカ16からの音は直接、マイクロフォンMC1〜MC6に入射してエコーとしてこちら側の会議者の音声に重畳されてマイクロフォンMC1〜MC6で検出されることもある。
このように、マイクロフォンMC1〜MC6で検出した音は、こちら側の会議室内の会議出席者の音声だけでなく、相手側の音声集音装置からの音を含むことがある。
したがって、こちら側の音声集音装置で選択したマイクロフォンで検出した音信号からそのようなエコー信号を除去しないと、相手側の音声集音装置にその音声集音装置で選択した音声をエコーとして含む音を相手側の音声集音装置に送出することになり、相手側の音声集音装置のスピーカから出力されて自分が送出した音をエコーとして含む音を聞くことになる。そのため、そのようなエコーを除去する必要がある。
図19は本発明の第2実施の形態の音声集音装置として、図5に図解した音声集音装置の構成のうち、第2のDSP26の構成を図解した音声集音装置の部分図である。
第2のDSP26は、上述したエコーキャンセル処理を行うエコーキャンセラーとして動作する。
エコーとなるそのような相手側からの音は、マイクロフォンの位置、壁、天井などからの反射条件の相違により複数のマイクロフォンにとって同一に検出されるわけではない。したがって、エコーキャンセル処理を行う第2のDSP26は各マイクロフォンごとにエコーキャンセル処理を行う。そこで、第2のDSP26をエコーキャンセラー(EC)26と呼ぶ。
本実施の形態においては、特に、1個のEC26で複数、たとえば、6個のマイクロフォンのためのエコーキャンセル処理を行う。
EC26は、メモリを内蔵した1台のDSPで実現しているから、実際は、DSP内でプログラム処理されるが、図19においては、その内部構成を便宜的に、または機能的に、エコーキャンセル(EC)処理部261、メモリ部263、EC内制御処理部264で構成されているとして図解している。
EC処理部261は、マイクロフォン選択処理などを行う第1のDSP25において選択されてEC26に入力された、マイクロフォンの音声信号についてエコーキャンセラー処理してその処理後の信号をD/A変換器281およびLINE OUT端子を介して相手側音声集音装置に送出する。
メモリ部263は、EC処理部261において使用するデータを記憶する。
EC内制御処理部264は、第1のDSP25と連携して、EC26内の制御処理、特に、EC処理部261の制御処理のタイミング制御などを行う。
図20は図19に図解した音声集音装置における第1のDSP25におけるマイクロフォン選択処理と、EC26におけるエコーキャンセル処理の概要を示す構成図である。
図20に図解した例示は、簡単化して、第1のDSP25において、図4に図解した6個のマイクロフォンのうちの2個のマイクロフォンMCaとMCbのいずれかを選択する場合を例示している。以下、第1のDSP25における処理の概要を述べる。
2個のマイクロフォンMCaとMCbの出力は、図5に図解したA/D変換器27のうちの2個のA/D変換器27a、27bを介して第1のDSP25に入力され、第1のDSP25内のピーク検出部PDa、PDbでピークが検出される。第1のDSP25内のマイクロフォン選択処理部25MSが、たとえば、ピーク値が高いほうを選択する。マイクロフォン選択処理部25MSの一方のマイクロフォンから他方のマイクロフォンへの切換方法としては、好ましくは、図18を図解してx述べたクロスフェードさせて切り換える。そのため、マイクロフォン選択処理部25MSは、A/D変換器27a、27bの出力側に設けられたフェーダFDa、FDbの値を図18に図解のように、音声信号を相互に交差状に変化させる。
フェーダFDa、FDbを経由してクロスフェードされた2個のマイクロフォンMCaとMCbの音出力は加算部ADRで加算されてEC26に出力される。
以上、第1のDSP25におけるクロスフェードさせながら、2つのマイクロフォンMCaとMCbの一方から他方への切換方法の概要を述べたが、マイクロフォンの選択方法および切換方法の詳細は上述した第1実施の形態の方法に基づく。
EC処理部261の処理の概要を図20に示す。
EC処理部261は、第1スイッチSW1と、第2スイッチSW2と、第1および第2伝達特性処理部2611、2612と、加減算部2614と、学習処理部2615とを有する。
第1スイッチSW1は、EC内制御処理部264によって、オフ状態、第1または第2伝達特性処理部2611、2612のいずれかとA/D変換器274の出力信号S1とを接続する。
伝達特性処理部2611、2612はそれぞれ、マイクロフォンMCa、MCbの信号に対するエコーキャンセル成分を発生する部分であり、同じ伝達特性関数を持ち、マイクロフォンMCa、MCbに応じて異なる時間遅れ要素とフィルタ係数とを持つ。伝達特性関数、時間遅れ要素、フィルタ係数については後述する。
第2スイッチSW2も、EC内制御処理部264によって、オフ状態、第1または第2伝達特性処理部2611、2612のいずれかを加減算部2614に接続する。
接続された伝達特性処理部2611、2612のいずれかの出力がエコーキャンセル成分として、加減算部2614において、第1のDSP25の加算部ADRからの信号S25から減じられる。
学習処理部2615においてエコー成分を推定し、推定したエコー成分に応じた時間送り要素とフィルタ係数を、メモリ部263に記憶し(更新し)、マイクロフォンMCa、MCbのいずれか選択されたほうに該当する伝達特性処理部2611、2612のいずれかに設定する。
EC処理部261におけるエコーキャンセル処理は基本的に、時間遅れ要素を考慮した等化フィルタ処理である。時間遅れ要素は、相手側音声集音装置から伝送されてきたマイクロフォン信号が、こちら側の音声集音装置のスピーカ16から出力されて部屋の壁、天井などで反射されてこちら側のマイクロフォンで検出され、さらに、EC26に到達するまでの平均遅延時間として規定される。そして、除去すべき振幅のエコー信号成分が等化フィルタのフィルタ係数で規定される。
伝達特性処理部2611、2612は、同じ構成の伝達関数で規定される等化フィルタとして規定されるが、その時間遅れ要素とフィルタ係数が、マイクロフォンMCaとMCbに応じて異なり、時間遅れ要素とフィルタ係数がメモリ部263に学習処理部2615によって記憶されている。
学習処理部2615は、伝達特性処理部2611、2612と同じ伝達特性関数を持ち、相手側音声集音装置のマイクロフォン選択信号を示すA/D変換器274の出力信号S1と、第1のDSP25内の加算器ADRの出力信号S25と、加減算部2614のエコーキャンセル処理結果信号S27とを継続的に入力して、相手側音声集音装置のマイクロフォン選択信号に応じたエコー信号(スピーカ16の反射信号など)が消去されるような特性を学習処理して推定して、時間送り要素とフィルタ係数とを推定する。
学習処理部2615において推定して得られた時間送り要素とフィルタ係数はメモリ部263に記憶されるとともに、スイッチSW1、SW2によって加減算部2614に接続されている伝達特性処理部2611、2612のいずれかに設定して、伝達特性処理部2611、2612のいずれかにおいて、A/D変換器274の出力信号S1を等化させる。
等化信号が加減算部2614に印加されて、加減算部2614において信号S25から減じられ、相手側音声集音装置のマイクロフォン選択信号に応じたエコー信号(スピーカ16の反射信号など)が消去されたエコーキャンセル処理信号S26が、D/A変換器281に出力される。
本実施の形態においては、1個のEC26により、換言すれば、1個のEC処理部261により複数、たとえば、図20に図解の例示では、第1のDSP25において2個のマイクロフォンMCa、MCbのうち選択された1個のマイクロフォンからの音声信号についてエコーキャンセル処理を行う。
第1のDSP25において2個のマイクロフォンMCa、MCbのうちの一方から他方への切換が行われたとき、その切換信号は第1のDSP25内の制御部25MSまたは制御部25MSを経由して全体制御部23からEC内制御処理部264に通報されるが、EC内制御処理部264が即座に、スイッチSW1、SW2を選択されたマイクロフォンに対応する伝達特性処理部2611、2612が加減算部2614に接続されるように駆動し、学習処理部2615がメモリ部263に記憶されている時間遅れ要素とフィルタ係数を切り換えたマイクロフォンに切り換えてしまうと、エコーキャンセル処理がおかしくなる。
なぜなら、A/D変換器274から出力された信号S1と、スピーカ16から出力されてマイクロフォンMCa、MCbで検出された反射音などのエコーとは時間差があるから、即座にエコーキャンセル処理の対象を切り換えてしまうと、前に選択されていたマイクロフォンMCa、MCbについてのエコーキャンセル処理信号で新たに切り換えられたマイクロフォンMCa、MCbの信号についてエコーキャンセル処理をすることになる。
そこで、本発明の第2実施の形態としては、図21に例示した方法でエコーキャンセル処理の切換を行う。
図21はエコーキャンセル処理の動作タイミングを図解した図である。
以下、第1マイクロフォンMCaから第2マイクロフォンMCbへの切換(選択変更)が行われる場合を例示する。
時点t1において第1のDSP25が第1マイクロフォンMCaから第2マイクロフォンMCbに切り換えることを検出したとき、その検出信号が第1のDSP25の制御部25MSから全体制御用マイクロプロセッサ23を経由して、あるいは、第1のDSP25内の制御部25MSから直接、EC26のEC内制御処理部264に通報される。以下、制御部25MSから直接、EC内制御処理部264に通報される場合について述べる。
時点t1よりほぼ同時または多少遅れた時点t2において、EC内制御処理部264はEC処理部261の学習処理部2615に対してその動作を停止することを指示する。同時にEC内制御処理部264はスイッチSW1およびスイッチSW2をオフ状態にして、伝達特性処理部2611、2612と加減算部2614との間を非接続状態にする。これにより、エコーキャンセル処理はオフ状態、すなわち、加減算部2614においてエコーキャンセル処理は行われない。
時点t3において、第1のDSP25内の制御部25MSが図18を参照して述べたようにマイクロフォンMCa、MCbをクロスフェードを開始させる。時点t4から実際にクロスフェードが開始する。
クロスフェード時間τcfとしては、通常、数十ms、たとえば、10〜80ms程度である。
時点t3または時点t4において制御部25MSからクロスフェードの開始を通報されたEC内制御処理部264は、時点t5において、学習処理部2615にメモリ部263からマイクロフォンMCbについて時間遅れ要素とフィルタ係数を読みだして切り換えられた伝達特性処理部2612に設定することを指令する。学習処理部2615は新しいエコーキャンセル処理の対象となるマイクロフォンMCbを知り、そのマイクロフォンMCbのための時間遅れ要素とフィルタ係数とをメモリ部263から読みだして対応する伝達特性処理部2612に設定する。
時点t6において、制御部25MSからクロスフェードが終了したことを通報されたEC内制御処理部264は、選択されたマイクロフォンMCbに対応する伝達特性処理部2612がA/D変換器274の出力信号S1を入力されるように、スイッチSW1を駆動する。これにより、選択された伝達特性処理部2612において、事前に得られ、メモリ部263に記憶されている時間遅れ要素とフィルタ係数を用いて、エコーキャンセル成分が算出される。しかしながら、この状態では、スイッチSW2はオフ状態のままであるから、伝達特性処理部2612の出力は加減算部2614には印加されない。
学習処理部2615は、選択された伝達特性処理部2612の出力信号を入力し、その出力信号が加減算部2614に印加されてエコーキャンセル処理したと仮定したとき、十分エコーキャンセル処理される状態に到達したか否かをチェックする。
学習処理部2615は上記チェックを継続した行い、時点t7において、十分、あるいはある程度、選択されたマイクロフォンMCbについてエコーキャンセル処理可能な状態に到達したと判断されるとき、スイッチSW2を選択されたマイクロフォンMCbに対応する伝達特性処理部2612の出力信号を加減算部2614に印加させてエコーキャンセル処理を開始させる。
あるいは、上述した学習処理部2615によるチェックを行わず、時点t6と時点t7との間は、エコー時間として事前に設定された時間として、時点t6ののち、所定時間経過後、時点t7として、上記エコーキャンセル処理を再開させてもよい。
以降、マイクロフォンMCbについて、加減算部2614において伝達特性処理部2612で算出されたエコーキャンセル成分が減じられる。
学習処理部2615は、加減算部2614の出力に相手側音声集音装置からの音信号が除去されるようなエコーキャンセル成分を推定し、そのための時間遅れ要素とフィルタ係数を学習して、メモリ部263に記憶するとともに、伝達特性処理部2612に設定する。
以上により、第1マイクロフォンMCaから第2マイクロフォンMCbへの切換が行われたとしても、エコーキャンセル処理に不自然さが起こることが防止できる。
EC処理部261におけるエコーキャンセル処理、たとえば、伝達特性処理部2611、2612における伝達特性関数、学習処理部2615における学習処理などは例示であり、他のエコーキャンセル処理を行うこともできる。
本実施の形態においては、時定数または時間遅れ要素を持つエコー成分について、所定の時間、エコーキャンセル処理をオフ状態にすることにより、不自然なエコーキャンセル処理を回避することができる。
上述した実施の形態はクロスフェードを行った場合であるが、クロスフェードを行わないときは、クロスフェード期間を考慮しないで行えばよい。
上述した第2のDSP(エコーキャンセラー)26における処理は、図20に例示した構成のEC26として行う場合を例示したが、本発明の実施の形態に際しては、DSP26内の構成は特に限定されず、上述したエコーキャンセル処理がEC26内で実施できればよい。
本実施の形態は特に、複数のマイクロフォンの音声信号について1個のEC26(EC処理部261)を用いてエコーキャンセル処理を行う場合に有効である。
さらに、上述した実施の形態においては、学習処理部2615を用いて常時、エコーキャンセル処理成分を推定して、伝達特性処理部2611、2612に時間遅れ要素とフィルタ係数を設定する場合について述べたが、学習処理部2615を使用しない方法も可能である。
たとえば、音声集音装置を設置したとき、事前に各マイクロフォンごとに伝達特性関数を求め、各マイクロフォンごとに時間遅れ要素とフィルタ係数とを求めておきメモリ部263に記憶しておき、それを固定値として用いる。すなわち、マイクロフォンの切り換えるとき上述したタイミングで、たとえば、EC内制御処理部264が伝達特性処理部2611、2612に設定する。このような方法によれば、学習処理部2615は不要となり、学習処理部2615で連続して学習処理してエコーキャンセル処理成分を推定する必要がないので、第2のDSP(エコーキャンセラー)26の処理は軽減する。
本発明の実施に際しては、上述した複数の実施の形態を適宜組み合わせることができる。
図1(A)は本発明の音声集音装置が適用される1例しての会議システムの概要を示す図であり、図1(B)は図1(A)における音声集音装置が載置される状態を示す図であり、図1(C)はテーブルに載置された音声集音装置と会議出席者との配置を示す図である。 図2は本発明の実施の形態の音声集音装置の斜視図である。 図3は図2に図解した音声集音装置の内部断面図である。 図4は図3に図解した音声集音装置の上部カバーを取り外したマイクロフォン・電子回路収容部の平面図である。 図5は第1実施の形態のマイクロフォン・電子回路収容部の主要回路の構成および接続状態を示す図であり、第1のディジタルシグナルプロセッサ(DSP1)および第2のディジタルシグナルプロセッサ(DSP2)の接続の接続状態を示している。 図6は図4に図解したマイクロフォンの特性図である。 図7(A)〜(D)は、図6に図解した特性を持つマイクロフォンの指向性を分析した結果を示すグラフである。 図8は本発明の音声集音装置の変形態様の部分構成図である。 図9は第1のディジタルシグナルプロセッサ(DSP1)における全体処理内容の概要を示すグラフである。 図10は本発明の実施の形態の音声集音装置内のフィルタリング処理を示す図である。 図11は図10の処理結果を示す周波数特性図である。 図12は本発明の実施の形態のバンドパス・フィルタリング処理とレベル変換処理を示すブロック図である。 図13は図12の処理を示すフローチャートである。 図14は本発明の実施の形態の音声集音装置における発言開始、終了を判定する処理を示すグラフである。 図15は本発明の実施の形態の音声集音装置における通常処理の流れを示すグラフである。 図16は本発明の実施の形態の音声集音装置における通常処理の流れを示すフローチャートである。 図17は本発明の実施の形態の音声集音装置におけるマイクロフォン切り替え処理を図解したブロック図である。 図18は本発明の第2実施の形態の音声集音装置におけるマイクロフォン切り替え処理の方法を図解したブロック図である。 図19は本発明の第2実施の形態の音声集音装置として、図5に図解した音声集音装置の構成のうち第2のDSP(EC)の構成を図解した、音声集音装置の部分図である。 図20は図19に図解した音声集音装置におけるエコーキャンセラー処理を示すフローチャートである。 図21は第2実施の形態の動作タイミングの例を図解した図である。
符号の説明
10A、10B・・音声集音装置
11・・上部カバー、12・・音反射板、13・・連結部材
14・・スピーカ収容部、15・・操作部、16・・受話再生スピーカ
17・・拘束部材、18・・ダンパ
2・・マイクロフォン・電子回路収容部
MC1〜MC・・マイクロフォン
21・・プリント基板、22・・マイクロフォン支持部材
23・・全体制御用マイクロプロセッサ(全体制御部)
24・・コーデック
25・・第1のDSP
26・・第2のDSP(エコーキャンセラー)
261・・エコーキャンセル(EC)処理部
SW1、SW2・・・スイッチ
2611、2612・・伝達特性処理部
2614・・加減算部
2615・・学習処理部
263・・メモリ部
264・・EC内制御処理部
27・・A/D変換器ブロック、271〜274・・A/D変換器
28・・D/A変換器ブロック、29・・増幅器ブロック
30・・マイクロフォン選択結果表示手段
301〜306・・可変利得型増幅器

Claims (2)

  1. 所定配置条件に基づいて配置された、複数のマイクロフォンと、
    前記複数のマイクロフォンの集音信号を検出し、該検出した集音信号のうち有効な集音信号を検出したマイクロフォンを選択するマイクロフォン選択手段と、
    前記選択されたマイクロフォンの音信号についてエコーキャンセル処理を行うエコーキャンセル処理手段と、
    前記マイクロフォンの音信号切換時に、所定時間、前記エコーキャンセル処理を停止させる、エコーキャンセル処理制御手段と
    を具備し、
    前記マイクロフォン選択手段は、新しいマイクロフォンの集音信号を選択して出力するとき、以前に選択したマイクロフォンの集音信号と新しいマイクロフォンの集音信号をクロスフェードさせ、
    前記エコーキャンセル処理制御手段は、前記クロスフェードの期間、前記エコーキャンセル処理を停止させる、
    音声集音装置。
  2. 所定配置条件に基づいて配置された、複数のマイクロフォンの集音信号を検出し、該検出した集音信号のうち有効な集音信号を検出したマイクロフォンを選択するマイクロフォン選択ステップと、
    前記選択されたマイクロフォンの音信号についてエコーキャンセル処理を行うエコーキャンセル処理ステップと、
    マイクロフォン選択ステップにおいて、前記マイクロフォンの音信号切換時に、所定時間、前記エコーキャンセル処理を停止させる、エコーキャンセル処理制御ステップと
    を具備し
    前記マイクロフォン選択ステップにおいて、新しいマイクロフォンの集音信号を選択して出力するとき、以前に選択したマイクロフォンの集音信号と新しいマイクロフォンの集音信号をクロスフェードさせ、
    前記エコーキャンセル処理制御ステップにおいて、前記クロスフェードの期間、前記エコーキャンセル処理を停止させる、
    音声集音方法。
JP2004037264A 2004-02-13 2004-02-13 音声集音装置と方法 Expired - Fee Related JP4192800B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2004037264A JP4192800B2 (ja) 2004-02-13 2004-02-13 音声集音装置と方法
US11/048,020 US20050207566A1 (en) 2004-02-13 2005-02-02 Sound pickup apparatus and method of the same
TW094103841A TWI298984B (en) 2004-02-13 2005-02-05 Sound pickup apparatus and method of the same
KR1020050011456A KR20060041853A (ko) 2004-02-13 2005-02-07 음성 집음 장치와 방법
CNA200510008206XA CN1655646A (zh) 2004-02-13 2005-02-07 拾音设备和方法
EP05002907A EP1564980A1 (en) 2004-02-13 2005-02-11 Acoustic echo canceller

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004037264A JP4192800B2 (ja) 2004-02-13 2004-02-13 音声集音装置と方法

Publications (2)

Publication Number Publication Date
JP2005229433A JP2005229433A (ja) 2005-08-25
JP4192800B2 true JP4192800B2 (ja) 2008-12-10

Family

ID=34697933

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004037264A Expired - Fee Related JP4192800B2 (ja) 2004-02-13 2004-02-13 音声集音装置と方法

Country Status (6)

Country Link
US (1) US20050207566A1 (ja)
EP (1) EP1564980A1 (ja)
JP (1) JP4192800B2 (ja)
KR (1) KR20060041853A (ja)
CN (1) CN1655646A (ja)
TW (1) TWI298984B (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8457614B2 (en) 2005-04-07 2013-06-04 Clearone Communications, Inc. Wireless multi-unit conference phone
JP4965847B2 (ja) 2005-10-27 2012-07-04 ヤマハ株式会社 音声信号送受信装置
WO2007052726A1 (ja) * 2005-11-02 2007-05-10 Yamaha Corporation 遠隔会議装置
CA2629801C (en) 2005-11-15 2011-02-01 Yamaha Corporation Remote conference apparatus and sound emitting/collecting apparatus
JP2007171316A (ja) * 2005-12-20 2007-07-05 Yamaha Corp 収音装置
JP4929740B2 (ja) * 2006-01-31 2012-05-09 ヤマハ株式会社 音声会議装置
JP5070594B2 (ja) * 2007-10-02 2012-11-14 Necカシオモバイルコミュニケーションズ株式会社 情報処理装置、情報処理装置の音源分離方法及びプログラム
US8199927B1 (en) 2007-10-31 2012-06-12 ClearOnce Communications, Inc. Conferencing system implementing echo cancellation and push-to-talk microphone detection using two-stage frequency filter
US8050398B1 (en) 2007-10-31 2011-11-01 Clearone Communications, Inc. Adaptive conferencing pod sidetone compensator connecting to a telephonic device having intermittent sidetone
JP5034118B2 (ja) * 2008-05-28 2012-09-26 Necカシオモバイルコミュニケーションズ株式会社 雑音除去装置、雑音除去方法及びコンピュータプログラム
JP5168079B2 (ja) 2008-10-22 2013-03-21 ヤマハ株式会社 音響装置
FR2945696B1 (fr) * 2009-05-14 2012-02-24 Parrot Procede de selection d'un microphone parmi deux microphones ou plus, pour un systeme de traitement de la parole tel qu'un dispositif telephonique "mains libres" operant dans un environnement bruite.
JP5441541B2 (ja) * 2009-07-22 2014-03-12 株式会社オーディオテクニカ バウンダリーマイクロホン
US20110137209A1 (en) * 2009-11-04 2011-06-09 Lahiji Rosa R Microphone arrays for listening to internal organs of the body
US8964966B2 (en) * 2010-09-15 2015-02-24 Avaya Inc. Multi-microphone system to support bandpass filtering for analog-to-digital conversions at different data rates
KR101133308B1 (ko) * 2011-02-14 2012-04-04 신두식 에코제거 기능을 갖는 마이크로폰
GB2493801B (en) 2011-08-18 2014-05-14 Ibm Improved audio quality in teleconferencing
US9538274B1 (en) 2015-10-05 2017-01-03 Hit Incorporated Smart microphone with voice control functions
EP3430821B1 (en) * 2016-03-17 2022-02-09 Sonova AG Hearing assistance system in a multi-talker acoustic network
KR20180051189A (ko) * 2016-11-08 2018-05-16 삼성전자주식회사 자동 음성 트리거 방법 및 이를 적용한 음향 분석기
CN108198565B (zh) * 2017-12-28 2020-11-17 深圳市东微智能科技股份有限公司 混音处理方法、装置、计算机设备和存储介质
CN112075088B (zh) * 2018-05-18 2022-06-28 索尼公司 信号处理装置、信号处理方法和计算机可读介质
CN108962272A (zh) * 2018-06-21 2018-12-07 湖南优浪语音科技有限公司 拾音方法和系统
CN109688510B (zh) * 2018-11-12 2020-05-08 南京南大电子智慧型服务机器人研究院有限公司 一种提升单指向传声器低频指向性的方法
CN112073872B (zh) * 2020-07-31 2022-03-11 深圳市沃特沃德信息有限公司 远距离声音放大方法、装置、系统、存储介质及智能设备
CN113409811B (zh) * 2021-06-01 2023-01-20 歌尔股份有限公司 声音信号处理方法、设备和计算机可读存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2792311B2 (ja) * 1992-01-31 1998-09-03 日本電気株式会社 多チャンネルエコー除去方法および装置
US6549629B2 (en) * 2001-02-21 2003-04-15 Digisonix Llc DVE system with normalized selection
US7333622B2 (en) * 2002-10-18 2008-02-19 The Regents Of The University Of California Dynamic binaural sound capture and reproduction

Also Published As

Publication number Publication date
KR20060041853A (ko) 2006-05-12
TWI298984B (en) 2008-07-11
EP1564980A1 (en) 2005-08-17
CN1655646A (zh) 2005-08-17
US20050207566A1 (en) 2005-09-22
TW200601865A (en) 2006-01-01
JP2005229433A (ja) 2005-08-25

Similar Documents

Publication Publication Date Title
JP3972921B2 (ja) 音声集音装置とエコーキャンセル処理方法
JP4192800B2 (ja) 音声集音装置と方法
JP3891153B2 (ja) 通話装置
JP2005086365A (ja) 通話装置、会議装置および撮像条件調整方法
US7519175B2 (en) Integral microphone and speaker configuration type two-way communication apparatus
JP4411959B2 (ja) 音声集音・映像撮像装置
WO2007088730A1 (ja) 音声会議装置
JP4639639B2 (ja) マイクロフォン信号生成方法および通話装置
JP4281568B2 (ja) 通話装置
JP4479227B2 (ja) 音声集音・映像撮像装置および撮像条件決定方法
JP4225129B2 (ja) マイクロフォン・スピーカ一体構成型・双方向通話装置
JP4453294B2 (ja) マイクロフォン・スピーカ一体構成型・通話装置
JP4269854B2 (ja) 通話装置
JP4470413B2 (ja) マイクロフォン・スピーカ一体構成型・通話装置
JP4403370B2 (ja) マイクロフォン・スピーカ一体構成型・通話装置
JP2005181391A (ja) 音声処理装置および音声処理方法
JP4379105B2 (ja) 飲食店における受注装置
JP2005151042A (ja) 音源位置特定装置および撮像装置並びに撮像方法
JP2005148301A (ja) 音声処理装置と音声処理方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080402

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080826

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080908

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111003

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees