TWI426767B - 具有改進性能的電話機及在其中處理音頻信號的方法 - Google Patents

具有改進性能的電話機及在其中處理音頻信號的方法 Download PDF

Info

Publication number
TWI426767B
TWI426767B TW095118220A TW95118220A TWI426767B TW I426767 B TWI426767 B TW I426767B TW 095118220 A TW095118220 A TW 095118220A TW 95118220 A TW95118220 A TW 95118220A TW I426767 B TWI426767 B TW I426767B
Authority
TW
Taiwan
Prior art keywords
microphone
audio signal
microphone array
end user
signal
Prior art date
Application number
TW095118220A
Other languages
English (en)
Other versions
TW200718155A (en
Inventor
Chen Juin-Hwey
Bennett James
Original Assignee
Broadcom Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US11/135,491 external-priority patent/US7983720B2/en
Priority claimed from US11/215,304 external-priority patent/US8509703B2/en
Application filed by Broadcom Corp filed Critical Broadcom Corp
Publication of TW200718155A publication Critical patent/TW200718155A/zh
Application granted granted Critical
Publication of TWI426767B publication Critical patent/TWI426767B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/03—Constructional features of telephone transmitters or receivers, e.g. telephone hand-sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6008—Substation equipment, e.g. for use by subscribers including speech amplifiers in the transmitter circuit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M9/00—Arrangements for interconnection not involving centralised switching
    • H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/082—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6033—Substation equipment, e.g. for use by subscribers including speech amplifiers for providing handsfree use or a loudspeaker mode in telephone sets
    • H04M1/6041—Portable telephones adapted for handsfree use

Description

具有改進性能的電話機及在其中處理音頻信號的方法
本發明涉及電話機，更具體地說，涉及電話機在免提模式(speaker－phone mode)下的性能改善。
很多電話機都帶有免提模式。但是，使用免提模式會導致電話機性能的下降。這種不利影響取決於哪一方在說話－－即，是遠端電話機用戶在說話還是近端電話機用戶在說話。
當遠端用戶正在說話時，使用免提模式的近端電話機會出現回聲(acoustic echo)。例如，當近端電話機的揚聲器輸出的遠端用戶的語音信號被近端電話機的麥克風接收時，就可能出現所謂的“回聲”。出現這種情況時，回聲又會通過近端電話機傳回到遠端用戶。
當近端用戶正在說話時，使用免提模式的近端電話機會出現室內反射(room reverberation)。當近端用戶的語音被室內牆壁反射時，就會出現所謂的“室內反射”效應。近端用戶語音的這種反射可被近端電話機的麥克風接收。近端電話機接收的這種經反射的聲波，使遠端用戶覺得近端用戶的語音聽起來疏遠和不自然。
因此，處於免提模式時，在電話機的回聲和/或室內反射的控制方面有必要做出改進。
本發明涉及一種多麥克風電話機，這種電話機對免提模式操作時的性能具有改進。
在本發明的第一實施例中，所述電話機包括接收器、揚聲器、第一和第二麥克風、語音活動檢測器(voice activity detector,VAD)、回聲消除器和發射器。所述第一和第二麥克風用於改進語音活動檢測，改進的語音活動檢測反過來又改進回聲消除。例如，接收器接收遠端音頻信號，該音頻信號包括遠端用戶的語音分量。揚聲器將該遠端音頻信號轉換成聲波。第一麥克風接收該聲波並輸出第一音頻信號。該第一音頻信號包括與近端用戶的語音關聯的第一語音分量和與遠端用戶的語音關聯的第二語音分量。第二麥克風輸出第二音頻信號。VAD處理第一音頻信號、第二音頻信號和遠端音頻信號以產生輸出，該輸出至少涉及以下之一：(1)第一音頻信號中出現第一語音分量的時間間隔(time interval)和(2)第一音頻信號中出現第二語音分量的時間間隔。回聲消除器基於VAD的輸出消除第一音頻信號中包括的第二語音分量，從而產生第三音頻信號。發射器發射該第三音頻信號。
在本發明的第二實施例中，所述電話機包括麥克風陣列和數位信號處理器(DSP)。所述麥克風陣列中的每個麥克風被配置用來接收周圍環境發出的聲波和產生相應的音頻信號。DSP接收麥克風陣列的音頻信號，並被配置用來自適應地組合這些音頻信號以產生第一音頻輸出信號。在該實施例中，麥克風陣列和DSP被配置用來減小下述不利影響：(1)近端用戶說話時的室內反射和/或(2)遠端用戶說話時的回聲。
根據第一實施例，為了減小室內反射，DSP被配置用來基於音頻信號檢測從近端用戶嘴部發出的聲波的波達方向(direction of arrival,DOA)和基於該DOA自適應地組合音頻信號以產生第一音頻輸出信號。DSP基於DOA自適應地組合音頻信號以有效地控制麥克風陣列的最大靈敏性角，以使近端用戶的嘴部位于該最大靈敏性角範圍內。所述最大靈敏性角定義為：在該角度範圍內，麥克風陣列的靈敏性大於某閾值。第一實施例能夠以充分全向的方式有效地減小被周圍環境中的物體反射的混響聲波而導致的室內反射。
根據第二實施例，為了減小室內反射(room reverberation)，DSP被配置用來檢測與近端用戶的聲音反射相對應的聲波的波達方向(direction of arrival,DOA)並基於該DOA自適應地組合音頻信號以產生第一音頻輸出信號。DSP基於DOA組合這些音頻信號以有效地控制麥克風陣列的最小靈敏性角，以使近端用戶的語音的反射源位於該最小靈敏性角範圍內。所述最小靈敏性角定義為：在該角度範圍內，麥克風陣列的靈敏性小於某閾值。第二實施例能夠以高度方向性的方式有效地減小被周圍環境中的物體反射的混響聲波而導致的室內反射。
為了減少遠端用戶說話時的回聲，DSP被配置用來執行兩個功能：第一，DSP被配置用來檢測與遠端用戶的語音信號(回聲)對應的聲波的DOA；第二，DSP被配置用來基於DOA自適應地組合這些音頻信號以有效地控制麥克風陣列的最小靈敏性角，使遠端用戶語音的聲波的源位於該最小靈敏性角範圍內。例如，這些聲波的源可以是電話機的揚聲器或反射聲波的物體(例如牆壁等)。所述最小靈敏性角定義為：在該角度範圍內，麥克風陣列的靈敏性小於某闊值。
根據本發明的一方面，提供一種具有改進回聲消除性能的電話機，包括：接收器，其接收遠端音頻信號，該音頻信號包括遠端用戶的語音分量；揚聲器，其將遠端音頻信號轉換成聲波；第一麥克風，其接收所述聲波和輸出第一音頻信號，該第一音頻信號包括與近端用戶的語音關聯的第一語音分量和與遠端用戶的語音關聯的第二語音分量；第二麥克風，其輸出第二音頻信號；語音活動檢測器(VAD)，其處理第一音頻信號、第二音頻信號和遠端音頻信號以產生輸出，所述輸出至少涉及以下資訊之一：(1)第一音頻信號中出現第一語音分量的時間間隔(time interval)和(2)第一音頻信號中出現第二語音分量的時間間隔；和回聲消除器，其基於VAD的輸出消除第一音頻信號中包含的第二語音分量，從而產生第三音頻信號。
優選地，所述VAD處理第一音頻信號、第二音頻信號和遠端音頻信號以產生輸出，該輸出涉及第一音頻信號中出現第一語音分量的時間間隔，其中，第一和第二音頻信號的處理至少部分地基於檢測第一和第二音頻信號的功率比。
優選地，所述回聲消除器包括：自適應濾波器，其基於VAD的輸出自適應地濾波遠端音頻信號以產生自適應濾波信號；和減法單元(subtraction unit)，其從第一音頻信號中減去所述自適應濾波信號，從而產生第三音頻信號。
優選地，所述回聲消除器包括：自適應濾波器，其基於VAD的輸出自適應地濾波第二音頻信號以產生自適應濾波信號；和減法單元(subtraction unit)，其從第一音頻信號中減去所述自適應濾波信號，從而產生第三音頻信號。
優選地，所述回聲消除器包括：自適應濾波器，該自適應濾波器(1)基於VAD的輸出自適應地濾波遠端音頻信號以產生第一自適應濾波信號，(2)基於VAD的輸出自適應地濾波第二音頻信號以產生第二自適應濾波信號，和(3)組合第一自適應濾波信號和第二自適應濾波信號以產生組合信號；和減法單元(subtraction unit)，其從第一音頻信號中減所述組合信號，從而產生第三音頻信號。
根據本發明的一方面，提供一種具有改進性能的電話機，包括：麥克風陣列，該麥克風陣列中的每個麥克風都被配置用來接收聲波和產生對應的音頻信號；和數位信號處理器(DSP)，其接收來自麥克風陣列的音頻信號，並被配置用來檢測至少以下聲波之一的波達方向(DOA)：(1)與近端用戶的語音反射(reverberation)對應的聲波和(2)與遠端用戶的語音信號對應的聲波，其中，DSP基於所述DOA自適應地組合來自麥克風陣列的音頻信號以產生第一音頻輸出信號。
優選地，所述DSP還被配置用來基於與近端用戶的語音反射對應的聲波的DOA自適應地組合來自麥克風陣列的音頻信號，以有效地控制麥克風陣列的最小靈敏性角，其中，所述最小靈敏性角定義為：在該角度範圍內，麥克風陣列的靈敏性小於某閾值。
優選地，所述DSP有效地控制麥克風陣列的最小靈敏性角以使近端用戶的語音的反射源位於該最小靈敏性角內。
優選地，所述DSP還被配置用來基於與遠端用戶的語音信號對應的聲波的DOA自適應地組合音頻信號，以有效地控制麥克風陣列的最小靈敏性角，其中，所述最小靈敏性角定義為：在該角度範圍內，麥克風陣列的靈敏性小於某闊值。
優選地，所述DSP有效地控制麥克風陣列的最小靈敏性角以使對應遠端用戶聲音的聲波源位於該最小靈敏性角內。
優選地，所述DSP還被配置用來檢測與近端用戶的語音對應的聲波的DOA；和其中，所述DSP還被配置用來基於與近端用戶的語音對應的聲波的DOA自適應地組合來自麥克風陣列的音頻信號，以有效地控制麥克風陣列的最大靈敏性角，其中，所述最大靈敏性角定義為：在該角度範圍內，麥克風陣列的靈敏性大於某閾值。
優選地，所述DSP有效地控制麥克風陣列的最大靈敏性角，使近端用戶的嘴部位于該最大靈敏性角範圍內。
優選地，所述DSP還被配置用來檢測與近端用戶的語音對應的聲波的DOA；和其中，所述DSP還被配置用來：(1)基於與遠端用戶的語音信號對應的聲波的DOA自適應地組合音頻信號，以有效地控制麥克風陣列的最小靈敏性角，使遠端用戶在說話時，遠端用戶的語音對應的聲波源位於該最小靈敏性角範圍內，其中，所述最小靈敏性角定義為：在該角度範圍內，麥克風陣列的靈敏性小於某闊值；和(2)基於與近端用戶的語音對應的聲波的DOA自適應地組合音頻信號，以有效地控制麥克風陣列的最大靈敏性角，使近端用戶在說話時，近端用戶的嘴部位于該最大靈敏性角範圍內，其中，所述最大靈敏性角定義為：在該角度範圍內，麥克風陣列的靈敏性大於某闊值。
根據本發明的一方面，提供一種在具有至少兩個麥克風的電話機中處理音頻信號的方法，包括：接收遠端音頻信號，該遠端音頻信號包括遠端用戶的語音分量；將遠端音頻信號轉換成聲波；接收聲波和從第一麥克風輸出第一音頻信號，該第一音頻信號包括與近端用戶的語音關聯的第一語音分量和與遠端用戶的語音關聯的第二語音分量；從第二麥克風輸出第二音頻信號；用語音活動檢測器(VAD)處理第一音頻信號、第二音頻信號和遠端音頻信號以產生輸出，所述輸出至少涉及以下資訊之一：(1)第一音頻信號中出現第一語音分量的時間間隔和(2)第一音頻信號中出現第二語音分量的時間間隔；和基於VAD的輸出消除第一音頻信號中包含的第二語音分量，從而產生第三音頻信號。
優選地，所述處理第一音頻信號和第二音頻信號包括：檢測第一和第二音頻信號的功率比。
優選地，所述基於VAD的輸出消除第一音頻信號中包含的第二語音分量包括：基於VAD的輸出自適應地濾波遠端音頻信號以產生自適應濾波信號；和從第一音頻信號中減去所述自適應濾波信號，從而產生第三音頻信號。
優選地，所述基於VAD的輸出消除第一音頻信號中包含的第二語音分量包括：基於VAD的輸出自適應地濾波第二音頻信號以產生自適應濾波信號；和從第一音頻信號中減去所述自適應濾波信號，從而產生第三音頻信號。
優選地，所述基於VAD的輸出消除第一音頻信號中包含的第二語音分量包括：基於VAD的輸出自適應地濾波遠端音頻信號以產生第一自適應濾波信號；基於VAD的輸出自適應地濾波第二音頻信號以產生第二自適應濾波信號；組合第一自適應濾波信號和第二自適應濾波信號以產生組合信號；和從第一音頻信號中減去所述組合信號，從而產生第三音頻信號。
根據本發明的一方面，提供一種在具有麥克風陣列的電話機中處理音頻信號的方法，包括：(a)所述麥克風陣列中的每個麥克風基於入射聲波輸出音頻信號；(b)檢測至少以下之一的波達方向(DOA)：(1)與近端用戶的語音反射對應的聲波和(2)與遠端用戶的語音對應的聲波；和(c)基於所述DOA自適應地組合所述音頻信號，以產生第一以音頻輸出信號。
優選地，步驟(c)還包括：基於與近端用戶的語音反射對應的聲波的DOA自適應地組合音頻信號，以有效地控制麥克風陣列的最小靈敏性角，其中，所述最小靈敏性角定義為：在該角度範圍內，麥克風陣列的靈敏性小於某闊值。
優選地，所述方法還包括：基於與近端用戶的語音反射對應的聲波的DOA自適應地組合音頻信號，以有效地控制麥克風陣列的最小靈敏性角，使近端用戶的語音的反射源位於該最小靈敏性角內。
優選地，步驟(c)還包括：基於與遠端用戶的語音對應的聲波的DOA自適應地組合音頻信號，以有效地控制麥克風陣列的最小靈敏性角，其中，所述最小靈敏性角定義為：在該角度範圍內，麥克風陣列的靈敏性小於某閾值。
優選地，所述方法還包括：基於與遠端用戶的語音對應的聲波的DOA自適應地組合音頻信號，以有效地控制麥克風陣列的最小靈敏性角，使對應遠端用戶語音的聲波源位於該最小靈敏性角內。
優選地，步驟(b)和(c)還包括：(b1)檢測與近端用戶的語音對應的聲波的DOA；和(c1)基於與近端用戶的語音對應的聲波的DOA自適應地組合音頻信號，以有效地控制麥克風陣列的最大靈敏性角，其中，所述最大靈敏性角定義為：在該角度範圍內，麥克風陣列的靈敏性大於某闊值。
優選地，所述方法還包括：有效地控制麥克風陣列的最大靈敏性角，使近端用戶的嘴部位于該最大靈敏性角範圍內。
優選地，步驟(b)和(c)還包括：(b1)檢測與近端用戶的語音對應的聲波的DOA；和(c1)基於與遠端用戶的語音對應的聲波的DOA自適應地組合音頻信號，以有效地控制麥克風陣列的最小靈敏性角，使遠端用戶在說話時，遠端用戶的語音對應的聲波源位於該最小靈敏性角範圍內，其中，所述最小靈敏性角定義為：在該角度範圍內，麥克風陣列的靈敏性小於某閾值；(c2)基於與近端用戶的語音對應的聲波的DOA自適應地組合音頻信號，以有效地控制麥克風陣列的最大靈敏性角，使近端用戶在說話時，近端用戶的嘴部位于該最大靈敏性角範圍內，其中，所述最大靈敏性角定義為：在該角度範圍內，麥克風陣列的靈敏性大於某闊值。
下面將結合附圖詳述本發明的其他實施例和特徵，以及各種實施例的具體實施結構。
本發明涉及具有多麥克風和被配置用於改進回聲消除的電話機。另外，正如將要詳述的，所述多麥克風可被配置成自適應麥克風陣列，可在電話機處於免提模式下用於減小室內反射效應和/和回聲。
本發明具體實施方式的描述分成11部分。第一部分中，討論了傳統無線電話機概況，以便於描述本發明的實施例。第二部分中，描述了使用第一麥克風和第二麥克風的的無線電話機的概況。第三部分中，描述了一個實施例，該實施例中，使用第二麥克風以消除第一麥克風輸出的背景雜訊分量。第四部分中，描述另一個實施例，該實施例中，使用第二麥克風的輸出抑制第一麥克風輸出的背景雜訊分量。第五部分中，討論了另外一個實施例，該實施例中，使用第二麥克風的輸出來改善結合在無線電話機中的VAD技術。第六部分中，討論了本發明的替代性實施例。第七部分中，討論了單向麥克風。第八部分中，討論了示例性麥克風陣列。第九部分中，描述了使用至少一個麥克風陣列的無線電話機。第十部分中，描述了根據本發明實施例的多層描述發射系統。第十一部分中，描述了使用多麥克風以改進處於免提模式下的電話機性能的實施例。
一、傳統無線電話機中的信號處理
傳統無線電話機使用通常被稱為編碼器/解碼器的技術。無線電話機的機載麥克風接收音頻信號，無線電話機的發射路徑對該音頻信號進行編碼。接著，編碼後的音頻信號被發送給另一個的電話機。無線電話機的接收路徑接收來自其他無線電話機的發射信號。然後，所接收的信號被解碼成用戶能理解的格式。
圖1A是傳統數位無線電話機的典型發射路徑100的功能模組圖。發射路徑100包括麥克風109、類比－數位(A/D)轉換器101、雜訊抑制器102、語音活動檢測器(voice activity detector,VAD)103、語音編碼器104、通道編碼器105、調製器106、射頻(RF)模組107和天線108。
麥克風109接收近端用戶的語音和輸出對應的音頻信號，該音頻信號通常包括語音分量和背景雜訊分量。A/D轉換器101將音頻信號從類比形式轉為數位形式。接著，雜訊抑制器102處理該音頻信號。雜訊抑制器102使用業內技術人員公知的演算法抑制混在該音頻信號中的背景雜訊分量的水平。
語音編碼器104將雜訊抑制器102的輸出轉換成通道索引。語音編碼器104編碼音頻信號時所使用的特定格式取決於其所使用的技術類型。例如，可以使用相容GSM(全球移動通信標準)、CDMA(碼分多址)，或其他常用的通信技術的格式編碼信號。這些不同的編碼格式已為相關領域的技術人員所知，故不在此贅述。
如圖1A所示，VAD 103也接收雜訊抑制器102的輸出。VAD 103使用相關領域技術人員所知的演算法分析雜訊抑制器102輸出的音頻信號，並確定用戶何時在說話。VAD 103通常一幀一幀地進行處理，以產生指示某幀是否包括語音內容的信號。這一信號被傳給語音編碼器104，語音編碼器104使用該信號確定如果最佳地處理信號幀。例如，如果VAD 103指示某個幀不包括語音內容，那麽語音編碼器103將不對該幀進行編碼。
使用通道編碼器105來降低信號經語音編碼器104處理後出現的誤碼率。即，通道編碼器105通過添加冗餘位元到信號中使該信號更穩健。例如，使用原始GSM技術的無線電話機中，語音編碼器輸出的比特率一般是13 kb/s，而通道編碼器輸出的比特率一般是22 kb/s。通道編碼後信號中增加的比特不攜帶任何與語音相關的資訊，這些比特僅僅使該信號更穩健，有助於降低誤碼率。
調製器106將來自通道編碼器的數位信號組合成符號，這些符號變成類比波形。最後，RF模組107將這些類比波形轉變成射頻(RF)，接著通過天線108將這些RF信號發射給其他電話機。
圖1B是傳統無線電話機典型的接收路徑120的功能模組圖。接收路徑120以與發射路徑100幾乎相反的方法處理呼入的信號。如圖1B所示，接收路徑120包括天線128、RF模組127、解調器126、通道解碼器125，語音解碼器124、數位－類比(D/A)轉換器122和揚聲器129。
在操作時，天線128接收類比輸入信號，RF模組127將這些射頻轉換成基帶頻。解調器126將類比波形轉換成數位信號。通道解碼器125將這些數位信號解碼後恢復成通道索引。語音解碼器124將這些通道索引轉換回數位語音。D/A轉換器122將數位語音變換成類比語音。最後，揚聲器129將類比語音信號轉換成用戶能聽到的聲波。
二、根據本發明具有雙麥克風的無線電話機
根據本發明的無線電話機包括第一麥克風和第二麥克風。如上所述以及下面的詳細闡述，第二麥克風的音頻信號輸出可用於改進第一麥克風輸出的音頻信號的質量，或者支援改進的VAD技術。
圖2和圖3分別示出了本發明一實施例的無線電話機200的正面部分和背面部分。如圖2所示，無線電話機200的正面部分包括第一麥克風201和揚聲器203。第一麥克風201所在的位置使第一麥克風201在無線電話機200正常使用時，靠近用戶的嘴部。揚聲器203所在的位置使揚聲器203在無線電話機200正常使用時，靠近用戶的耳朵。
如圖3所示，第二麥克風202位於無線電話機200的背面。無線電話機200正常使用時，第二麥克風202所在的位置比第一麥克風201的位置更遠離用戶的嘴部；在無線電話機200正常使用時，第二麥克風202離用戶的嘴部最好盡可能地遠。
通過這種麥克風位置的設置，電話機正常使用時，第一麥克風201比第二麥克風202更接近用戶的嘴部，因而第一麥克風201所接收的用戶語音的振幅將比第二麥克風202所接收的大。同樣，第二麥克風202所接受的背景雜訊的振幅比第一麥克風201所接收的大。無線電話機200使用第一麥克風201和第二麥克風202產生的信號的方式，將在下面更詳細地闡述。
圖2和圖3示出的實施例中，第一和第二麥克風分別在安裝在無線電話機的正面和背面。但是，本發明不局限於這種實施例。第一和第二麥克風可位於無線電話機的其他位置，這也在本發明的範圍之內。但是，為使性能更好，安置第一和第二麥克風時，最好使無線電話機在正常使用時，第一麥克風比第二麥克風更靠近用戶的嘴部。
圖4是根據本發明的一個實施例配置有第一麥克風和第二麥克風的無線電話機的發射路徑400的功能模組圖。發射路徑400包括第一麥克風201和第二麥克風202，第一A/D轉換器410和第二A/D轉換器412。另外，發射路徑400還包括信號處理器420、語音編碼器404、通道編碼器405、調製器406、RF模組407、天線408。語音編碼器404、通道編碼器4O5、調製器406、RF模組407和天線408分別與圖1A的發射路徑中所述的語音編碼器104、通道編碼器105、調製器106、RF模組107和天線108類似，因此下面將不闡述它們的工作原理。
下面將結合圖5的流程圖500，對無線電話機的發射路徑400處理音頻信號的方式進行闡述。但是，本發明不局限於流程圖500所提供的描述。相反，相關領域的技術人員根據這裏的教導，應當知道其他的功能流程也在本發明的範圍和實質之內。
流程圖500的方法開始於步驟510。步驟510中，第一麥克風210輸出第一音頻信號，其包括語音分量和背景雜訊分量。A/D轉換器410接收第一音頻信號並將該第一音頻信號從類比格式轉換成數位格式，然後將其提供給信號處理器420。
步驟520中，第二麥克風202輸出第二音頻信號，其也包括語音分量和背景雜訊分量。A/D轉換器412接收第二音頻信號並將該第二音頻信號從類比格式轉換成數位格式，然後將其提供給信號處理器420。
步驟530中，信號處理器420接收和處理第一和第二音頻信號，由此產生第三音頻信號。特別是，信號處理器420基於第二音頻信號的內容，提高第一音頻信號中語音分量與背景雜訊分量的比率，從而產生第三音頻信號。
接著，第三音頻信號被傳給語音編碼器404。語音編碼器404和通道編碼器405採用任何一種公知的語音和通道編碼技術對該第三音頻信號進行編碼操作。接著，調製器406、RF模組407和天線408以公知的方式工作，將編碼後的音頻信號發射給另外的電話機。
這裏將更詳細地說明，信號處理器420可包括背景雜訊消除模組和/或雜訊抑制器。雜訊雜訊消除模組和雜訊抑制器的工作方式將分別在第三部分和第四部分中詳細闡述。
三、根據本發明的一個實施例：使用雙麥克風實現背景雜訊消除
圖6所示的實施例中，信號處理器420包括背景雜訊消除模組605和向下採樣器615(可選)。背景雜訊消除模組605接收分別由第一麥克風201和第二麥克風202輸出的第一和第二音頻信號。背景雜訊消除模組605使用第二音頻信號的內容來消除第一音頻信號中的背景雜訊分量，以產生第三音頻信號。該消除的詳情將結合後續的圖7和圖8進行介紹。第三音頻信號被傳遞給發射路徑400的其餘部分，然後發射給遠端用戶的電話機。
圖7是根據本發明一實施例的具有第一麥克風和第二麥克風的無線電話機處理音頻信號的流程700。使用流程700能方便地描述背景雜訊消除模組605消除第一麥克風201所產生的第一音頻信號所包含的至少一部分背景雜訊分量。
流程700開始於步驟710。步驟710中，第一麥克風201輸出第一音頻信號。該第一音頻信號包括語音分量和背景雜訊分量。步驟720中，第二麥克風202輸出第二音頻信號。與第一音頻信號相似，第二音頻信號也包括語音分量和背景雜訊分量。
圖8分別示出了第一和第二麥克風201和202的輸出示意圖，背景雜訊消除模組605可對其進行處理。圖8示出了第一麥克風201輸出的第一音頻信號800。第一音頻信號800包括語音分量810和背景雜訊分量820，為便於說明，圖8中把該兩種分量分開表示。圖8還示出了第二麥克風202輸出的第二音頻信號850。第二音頻信號850包括語音分量860和背景雜訊分量870，圖8中也把該兩種分量分開表示。從圖8中可看到，第一麥克風201接收的語音分量(即語音分量810)的振幅明顯地比第二麥克風202接收的語音分量(即語音分量860)的振幅大；而背景雜訊分量的剛好相反。如前面所述，第一麥克風201和第二麥克風202接收的語音分量(背景雜訊分量)的相對振幅與該兩個麥克風在無線電話機200的相對位置有關。
步驟730(圖7)中，背景雜訊消除模組605使用第二音頻信號來消除第一麥克風201輸出的第一音頻信號中包含的至少一部分背景雜訊分量。最後，背景雜訊消除模組605產生的第三音頻信號被發射給其他的電話機。也就是說，背景雜訊消除模組605使用第二音頻信號來消除第一麥克風201產生的第一音頻信號中的至少一部分背景雜訊分量以產生第三音頻信號之後，使用如圖1A所述的傳統編碼器/解碼器技術的標準元件或處理步驟對該第三音頻信號進行處理。在此不再贅述其他這些信號處理步驟。
在一個實施例中，背景雜訊消除模組605包括自適應濾波器和加法器。圖9描述了一個包括自適應濾波器901和加法器902的背景雜訊消除模組605。自適應濾波器901接收來自第二麥克風202的第二音頻信號並輸出音頻信號。加法器902將從第一麥克風201上接收的第一音頻信號與自適應濾波器901輸出的音頻信號相加，以產生第三音頻信號。通過將第一音頻信號與自適應濾波器901輸出的音頻信號相加，加法器902所產生的第三音頻信號至少消除了第一音頻信號中的一部分背景雜訊分量。
本發明的另一個實施例中，信號處理器420包括背景雜訊消除模組605和向下採樣器615。根據該實施例，A/D轉換器410和A/D轉換器412從分別由第一和第二麥克風201和202輸出的第一和第二音頻信號中採樣，採樣率比無線電話機常用的採樣率高。例如，A/D轉換器410和A/D轉換器412以16 kHz的速率對第一麥克風201輸出的第一音頻信號和第二麥克風202輸出的第二音頻信號進行採樣；而大部分傳統無線電話機的發射路徑使用的典型信號採樣率是8 kHz。在背景雜訊消除模組605對第一和第二音頻信號進行處理以消除第一音頻信號中的背景雜訊分量後，向下採樣器615以合適的採樣率(如8 kHz)對背景雜訊消除模組605產生的第三音頻信號進行向下採樣。如果要求背景雜訊消除模組605有更高的精確度和準確度，本實施例使用更高的採樣率提供更準確的時間分片和更準確的時間匹配。
如上所述以及下一部分將要詳細闡述的，第二麥克風輸出的音頻信號用於改進對第一麥克風輸出的音頻信號的雜訊抑制。
四、根據本發明的一個實施例：使用雙麥克風改進雜訊抑制
如上所述，信號處理器420可包括雜訊抑制器。圖10示出的實施例中，信號處理器420包括雜訊抑制器1007。根據該實施例，雜訊抑制器1007接收分別由第一和第二麥克風201和202輸出的第一音頻信號第二音頻信號。雜訊抑制器1007基於第一音頻信號和第二音頻信號的內容至少抑制第一音頻信號中的一部分背景雜訊分量。下面將結合圖11闡述這種背景雜訊抑制的詳情。
圖11是根據本發明的一個實施例，使用具有第一和第二麥克風的無線電話機處理音頻信號的方法流程1100。該方法用於抑制包含在第一麥克風的輸出中的至少一部分背景雜訊分量。
流程1100開始與步驟1110。步驟1110中，第一麥克風201輸出第一音頻信號，該音頻信號包括語音分量和背景雜訊分量。步驟1120中，第二麥克風202輸出第二音頻信號，其包括語音分量和背景雜訊分量。
步驟1130中，雜訊抑制器1007接收第一和第二音頻信號，並基於第一和第二音頻信號的內容抑制第一音頻信號中的至少一部分背景雜訊分量，以產生第三音頻信號。下面將介紹該步驟的詳情。
在一個實施例中，雜訊抑制器1007在抑制第一音頻信號的背景雜訊分量之前，將第一和第二音頻信號轉換到頻域。圖12A和12B示出了典型的頻譜圖，以說明雜訊抑制器1007的功能。
圖12A示出了兩種分量：語音頻譜分量1210和雜訊頻譜分量1220。語音頻譜1210的頻譜包絡中包括基頻(pitch)諧波峰(等間距峰)和3個共振峰。
圖12A的曲線圖僅用於概念性的說明。要意識到，實際的麥克風接收的音頻信號中，語音分量1210和雜訊分量1220是混在一起的和不可分的。實際上，麥克風接收的是混為一體的語音和噪音信號及其頻譜。
圖12B示出了雜訊抑制前(即，頻譜1260)和噪音抑制後(即頻譜1270)的單一的、混合有語音和雜訊的頻譜。例如，頻譜1260是第一麥克風201輸出的第一音頻信號的快速傅立葉轉換(FFT)的幅值。
典型的雜訊抑制器保留一個背景雜訊頻譜(如圖12A的頻譜1220)的估值，接著將觀測到的單個的語音和雜訊的頻譜(如圖12B的頻譜1260)與所估計的背景雜訊頻譜作比較，以確定每個頻譜分量是語音佔優勢還是雜訊佔優勢。如果是雜訊佔優勢，就削弱該頻率的FFT因數的量值。如果是的語音佔優勢，就保持其FFT因數的量值。如圖12B所示。
頻譜1270在很多頻譜區上位於頻譜1260的上方。這些頻率區被認為包括佔優勢的語音。另一方面，頻譜1260與頻譜1270位於不同位置的區域可被認為是雜訊佔優勢的頻率區。通過削弱雜訊佔優勢的頻率區，雜訊抑制器1007產生第三音頻信號(如，對應於頻譜1270的音頻信號)，與第一音頻信號相比較，該第三音頻信號中語音分量對背景雜訊分量的比率增加了。
上面最後的兩個自然段中闡述的操作對應于傳統單麥克風噪音抑制方案。根據本發明的實施例，雜訊抑制器1007增加了利用第二麥克風接收的第二音頻信號的頻譜來評估背景雜訊頻譜1220，這比單麥克風雜訊抑制方案更準確。
在傳統單麥克風雜訊抑制器中，在“有聲期”(“talk spurt”)－－即在對應於有音節發出的語音活動片斷的時間間隔－－之間的間隙內估測背景雜訊頻譜1220。這種方案僅僅在背景雜訊相對固定－－即在每一個有聲期內雜訊頻譜1220的形狀變化不大的情況下有良好效果。如果雜訊頻譜1220在有聲期內變化顯著，那麽單麥克風雜訊抑制器的效果不明顯，因為在前一個“間隙”內估測的雜訊頻譜不可靠。因此，一般，對於不固定的背景雜訊，第二麥克風接收的第二音頻信號的頻譜的有效性允許雜訊抑制器1007得到更準確的、最新的雜訊頻譜1220的估值，從而獲得更好的雜訊抑制效果。
要說明的是，不應該把第二音頻信號的頻譜直接當作雜訊頻譜1220的估值。直接使用第二音頻信號的頻譜至少有兩個問題：首先，第二音頻信號可能還包括一些語音分量；其次，第二音頻信號中的雜訊分量通常與第一音頻信號中的雜訊分量不同。
要解決第一個問題，可消除第二音頻信號中的語音分量。例如，結合雜訊消除方案，第一音頻信號經雜訊消除方案處理後的雜訊消除版－－也是主要語音分量的更純淨版，可經過自適應濾波器。然後將自適應濾波器產生的信號添加到第二音頻信號上，以消除第二音頻信號中的大部分語音分量。
要解決第二個問題，可確定第一音頻信號中的雜訊分量的近似值。例如，通過使用自適應濾波器901濾波第二音頻信號的語音消除版。
與僅僅使用一個音頻信號的傳統雜訊抑制方案比較，上面使用第一和第二音頻信號的方法允許雜訊抑制器1007在有聲期獲得更準確的和更新的雜訊頻譜1220的估值。本分明的一個替換實施例中，使用第二麥克風接收的第二音頻信號幫助更準確地確定有聲期以及音節之間的間隙；而反過來，更準確地確定有聲期以及音節之間的間隙又產生了更可靠的雜訊頻譜1220的估值，從而改善了雜訊抑制效果。
對於圖12B的特定實施例，雜訊區的頻譜1260削弱10 dB後，形成頻譜1270。要意識到，所削弱的是10 dB僅僅用於舉例說明，本發明不受其所限。本領域般技術人員顯然知道，對頻譜1260削弱可超過或少於10 dB。
最後，第三音頻信號被發射給另外的電話機。第三音頻信號的處理和發射方式與傳統發射路徑100(圖1A)所述的相似。
如上所述以及如下一部分將要詳細介紹的，第二麥克風輸出的音頻信號用於改善無線電話機中結合的VAD技術。
五、根據本發明的實施例：使用雙麥克風改善VAD
圖13是根據本發明的一個實施例配置有第一麥克風和第二麥克風的無線電話機的發射路徑1300的功能模組圖。發射路徑1300包括第一麥克風201和第二麥克風202。另外，發射路徑1300還包括A/D轉換器1310、A/D轉換器1312、雜訊抑制器1307(可選)、VAD 1320、語音編碼器1304、通道編碼器1305、調製器1306、RF模組1307和天線1308。語音編碼器1304、通道編碼器1305、調製器1306、RF模組1307和天線1308分別與圖1A的語音編碼器104、通道編碼器105、調製器106、RF模組107和天線108相似，所以不再贅述它們的操作。
該實施例中的發射路徑1300中不含雜訊抑制器1307，這是出於舉例說明目的，本發明不局限於這種情況。在該示範性實施例中，VAD 1320接收分別由第一麥克風201和第二麥克風202輸出的第一音頻信號和第二音頻信號。VAD 1320使用第一麥克風201輸出的第一音頻信號和第二麥克風202輸出的第二音頻信號以檢測第一音頻信號中的語音活動。VAD 1320發送提示信號給語音編碼器1304，該提示信號指示第一音頻信號的哪些時間間隔包括語音分量。下面將結合圖14對VAD 1320的功能細節進行描述。
圖14是根據本發明的一個實施例，具有第一麥克風和第二麥克風的無線電話機處理音頻信號的方法的流程1400。該方法用於檢測第一音頻信號的哪些時間段包括語音分量。
流程1400開始於步驟1410。步驟1410中，第一麥克風201輸出第一音頻信號，該第一音頻信號包括語音分量和背景雜訊分量。步驟1420中，第二麥克風202輸出第二音頻信號，該第二音頻信號也包括語音分量和背景雜訊分量。
圖15分別是由第一麥克風201和第二麥克風202輸出的第一和第二音頻信號的示意圖。示意圖1500表示第一麥克風201輸出的第一音頻信號。示意圖1500所示的音頻信號包括語音分量1510和背景雜訊分量1520。示意圖1550所示的音頻信號是第二麥克風202輸出的第二音頻信號。示意圖1550也包括語音分量1560和背景雜訊分量1570。如上所述，在正常使用電話機時，第一麥克風201比第二麥克風202更靠近用戶的嘴部，所以語音分量1510的振幅大於語音分量1560的振幅。相反，背景雜訊分量1570的振幅要大於背景雜訊分量1520的振幅。
如流程1400的步驟1430所示，基於第一音頻信號(示意圖1500)和第二音頻信號(示意圖1550)的內容，VAD 1320檢測第一音頻信號的那些時間段內有語音分量1510。與僅僅檢測一個音頻信號的VAD技術比較，使用第二音頻信號以及第一音頻信號來檢測第一音頻信號的語音活動的VAD 1320能夠改善語音活動的檢測。就是說，第二音頻信號的附加資訊(主要包括背景雜訊分量1570)幫助VAD 1320更好地區分第一音頻信號中包含的語音分量，從而幫助VAD 1320取得改進的性能。
例如，根據本發明的一個實施例中，VAD 1320除了檢測傳統單麥克風VAD通常檢測的信號特性之外，還檢測第一音頻信號和第二音頻信號之間的能量比和平均振幅比。通過比較圖15的第一音頻信號1500和第二音頻信號1550，這種可能性是顯然的。對於圖15所示的音頻信號1500和1550，在有聲期(語音活動期間)，第一音頻信號1500的能量大於第二音頻信號1550的能量。另一方面，在兩個有聲期的間隙(即背景雜訊區)內，情況相反。因此，第一音頻信號與第二音頻信號的能量比在有聲期內是高比值，在兩個有聲期的間隙內是低比值。能量比的變化提供了有關第一音頻信號中的語音活動的有價值的線索。如果僅使用一個麥克風來獲取第一音頻信號，這種有價值的線索是得不到的。只有使用雙麥克風，才能獲得該有價值的線索，VAD 1320也才能用該能量比來提高語音活動檢測的準確度。
六、本發明的一個替換實施例
在一個替換的示範性實施例中(附圖中沒有示出)，信號處理器420包括背景雜訊消除模組和雜訊抑制器。在該實施例中，背景雜訊消除模組根據第二音頻信號的內容，至少消除第一音頻信號中的一部分背景雜訊分量，以產生第三音頻信號。接著，以相似於上述的方式，雜訊抑制器接收第二和第三音頻信號，並基於該第二和第三音頻信號的內容至少抑制該第三音頻信號中的一部分背景雜訊分量。然後，雜訊抑制器為如上所述的其餘元件和/或處理步驟產生出第四音頻信號。
在另外一個替換的示範性實施例中，具有第一和第二麥克風的發射路徑還包括信號處理器(與信號處理器420類似)和VAD(與VAD 1320類似)。業內技術人員應當意識到，發射路徑中，信號處理器可在VAD之前，也可在VAD之後。另外，信號處理器和VAD可同時地處理雙麥克風的輸出。下面將要詳細介紹的實施例中，具有兩個麥克風的發射路徑中信號處理器在VAD之前，該實施例僅用於舉例說明，不對本發明造成限制。
在所示的實施例中，信號處理器至少基於第一音頻信號和第二音頻信號兩者之一的內容，增加第一音頻信號中語音分量對背景雜訊的比率，以產生第三音頻信號(與上面詳細介紹的信號處理器420類似)。接著，VAD接收該第三音頻信號。該VAD也接收第二麥克風(例如，第二麥克風202)輸出的第二音頻信號。與上述的方式類似，該VAD基於第二音頻信號和第三音頻信號的內容檢測第三音頻信號中出現語音分量的時間間隔。
在另一實施例中，在具有雙麥克風的發射路徑中，VAD可以位於雜訊抑制器前面。在該實施例中，VAD接收分別由第一麥克風和第二麥克風輸出的第一音頻信號和第二音頻信號，以基於第一和第二音頻信號的內容檢測第一音頻信號中出現語音分量的時間間隔，與上述的方式類似。雜訊抑制器接收第一和第二音頻信號，並基於第一音頻信號和第二音頻信號的內容抑制第一音頻信號中的背景雜訊分量，與上述的方式類似。
七、使用單向麥克風的實施例
根據本發明的一個實施例，示範性無線電話機200所用的麥克風中，至少一個可以是單向麥克風。正如下面將要詳細介紹的，單向麥克風是對特定方向傳來的聲波(例如，聲波正對著麥克風)特別靈敏的麥克風。有關單向麥克風與全向麥克風的一些資訊可在下面這個網址找到：<http：//www.audio－technica.com/using/mphones/guide/pattern.html>。
相關領域的技術人員應當意識到，通常根據麥克風的方向特性來區分麥克風，即根據麥克風接收各個方向的聲音的能力如何。全向麥克風接收聲音的能力在每個方向上都相同。因此，只要距離相等，對於正對它的物件或背對著它的物件，全向麥克風都能以同樣的靈敏性接收聲音。圖16示出了全向麥克風的極性指向圖1600。極性指向圖是環形曲線，該環形曲線表示麥克風在固定聲源前轉動時的靈敏性，用分貝(dB)表示。極性指向圖在業內也稱為“拾音指向圖”或“指向圖”，是幫助說明麥克風方向特性的容易理解的曲線。如圖16所示的極性指向圖1600，全向麥克風平等地接收各個方向的聲音。
與全向麥克風相反，單向麥克風被設計成對來自特定方向的聲音有最大的回應，對來自其他方向的聲音儘量不接收。這種定向能力通常通過在麥克風中使用外部開口和內部通道來實現，使得聲音以嚴格控制的方式到達振動膜的兩側。因此，在示範性的單向麥克風中，從麥克風正面進來的聲音將幫助振動膜振動，而從麥克風側面或背面進來的聲音將消除振動膜的振動。
單向麥克風的典型類型包括但不限於亞心型、心型、超心型和線型。圖17(亞心型)、圖18(心型)、圖19(超心型)和圖20(線型)中示出了這些類型的麥克風的極性指向圖。這些圖中，每副圖都示出了對應的麥克風的接收角和無效角(null)。接收角是指在其中麥克風具有相同靈敏度的最大角度。接收角可隨著(聲波的)頻率的變化而變化；但是，質量好的麥克風，接收不同頻率的聲波時，其極性指向圖是幾乎不變的。無效角定義為對到來的聲音表現出最小的靈敏性的角度。
圖17示出了亞心型麥克風的示範性極性指向圖1700。該極性指向圖1700的接收角從線1705開始，逆時針到線1708，跨越170度。該極性指向圖1700的無效角不位於特定點，而是跨越一個角度範圍－－即，從線1718到線1730。分別以逆時針方向測定豎軸向上方向1710與線1718的夾角，以順時間方向測定豎軸向上方向1710與線1730的夾角，都測得100度。因此，極性指向圖1700的無效角跨越160度，即從線1718逆時針方向測量到線1730。
圖18示出了心型麥克風的極性指向圖1800。極性指向圖1800的接收角跨越120度，從線1805逆時針方向測量到線1808。極性指向圖1800單無效角1860位於與豎軸向上方向1810成180度的地方。
圖19示出了超心型麥克風的示範性極性指向圖1900。該極性指向圖1900的接收角跨越100度，從線1905開始逆時針測量到線1908。該極性指向圖1900具有第一無效角1920和第二無效角1930。分別以逆時針方向測定豎軸向上方向1910與第一無效角1920的夾角，以順時間方向測定豎軸向上方向1910與第二無效角1930的夾角，都測得110度。
圖20示出了線型麥克風的示範性極性指向圖2000。該極性指向圖2000的接收角跨越90度，從線2005開始逆時針測量到線2008。該極性指向圖1900具有第一無效角2020和第二無效角2030。分別以逆時針方向測定豎軸向上方向2010與第一無效角2020的夾角，以順時間方向測定豎軸向上方向2010與第二無效角2030的夾角，都測得120度。
單向麥克風不接收來自軸外的聲音的能力提供了比全向麥克風更大的工作距離，或“距離因數”。下面的表1中，列出了不同類型的麥克風的接收角、無效角和距離因數(distance factor,DF)。如表1所示，心型麥克風的DF是1.7，而全向麥克風的DF是1.0。這意味著，在相同的雜訊環境中使用全向麥克風接收10英尺處的期望聲音，和在該聲源17英尺處使用心型麥克風接收期望聲音，這兩個麥克風得到的相同的期望聲音與周圍雜訊的比值。表1所述的麥克風類型中，亞心型麥克風在12英尺處有相同的效果，而超心型是20英尺，線型是25英尺。
八、麥克風陣列
根據本發明的一個實施例的無線電話機可包括至少一個麥克風陣列。正如下面將要詳細介紹的，所述麥克風陣列包括連接到數位信號處理器(DSP)上的多個麥克風。DSP被設置成自適應地組合麥克風陣列中麥克風輸出的音頻信號，以有效地調整麥克風陣列的靈敏性以接收來自特定方向的聲波。下面將要提供的與麥克風陣列有關的一些資訊可在這個網址查到：<http：//www.idiap.ch/~mccowan/arrays/tutorial.pdf>。
與單向麥克風的方式類似，麥克風陣列可用于增強對來自特定方向的聲波的接收，而對來自其他方向的聲音儘量不接收。與單向麥克風類似，麥克風陣列的靈敏性可用極性指向圖或指向圖表示。但是，與單向麥克風不同，麥克風陣列的最靈敏的方向不是固定的，而是能夠動態地調整的。就是說，麥克風陣列的極性指向圖或指向圖的主瓣(main lobe)的朝向是可以動態調整的。
1、麥克風陣列概述圖21是根據本發明的一個實施例的的麥克風陣列2100示意圖。麥克風陣列2100包括多個麥克風2101，多個A/D轉換器2103和數位信號處理器(DSP)2105。麥克風2101用於以傳統麥克風類似的方式將碰撞到其上的聲波轉換成音頻輸出信號。A/D轉換器2103從麥克風2101接收類比音頻輸出信號，並採用相關領域內公知的方式將這些信號轉換成數位信號。DSP 2105以下面將要介紹的方式接收和組合這些來自A/D轉換器2103的數位信號。
圖21中還包括了麥克風陣列2100的基準尺寸特徵。在一個實施例中，麥克風陣列2100的多個麥克風2101之間以大約為d的間隔平均分隔。麥克風陣列2100中第一個麥克風和最後一個麥克風的距離設定為L。那麽L與d滿足以下的關係式：L ＝(N －1)d 等式(1)
其中，N是該麥克風陣列中的麥克風數目。
基準尺寸d和/或L影響麥克風陣列2100的回應。尤其是，麥克風2101的總長度與碰撞聲波的波長的比值(即L/λ)影響麥克風陣列2100的回應。例如，圖22A－圖22D示出了具有不同L/λ值的麥克風陣列的極性指向圖，示出了L/λ比值對麥克風陣列的回應的影響。
從圖22A－22D可看到，與單向麥克風相似，麥克風陣列也具有方向特性。換言之，麥克風陣列對特定聲源的回應取決於該聲源發出的聲波相對於該麥克風陣列的波達方向(DOA)。通過圖21可以理解聲波的DOA。圖21中，用一組平行聲波2110近似代表從聲源發出的聲波(使用遠場近似，下面會介紹)，平行聲波2110以箭頭2115所指的方向向麥克風陣列2100傳播。平行聲波2110的DOA可定義為箭頭2115與沿麥克風2101排列形成的軸線的夾角φ，如圖所示。
麥克風陣列的回應除了受聲波的DOA的影響外，還受聲波與該麥克風陣列的距離的影響。可根據距離r將碰撞到麥克風陣列的聲波分類。假定這些聲波相對的基準距離是L，聲波波長是λ。特別地，如果r大於2L2 /λ，那麽該聲源屬於遠場源，可以忽略碰撞到該麥克風陣列的聲波的波陣面的曲率。如果r小於2L2 /λ，那麽該聲源屬於近場源，其波陣面的曲率不能忽略。
圖22E示出了麥克風陣列對近場源(虛線)和遠場源(實線)的示範性指向圖。該指向圖中，豎軸表示麥克風陣列的回應，橫軸表示對角度的依賴。
以單向麥克風相似的方式，可以為麥克風陣列定義最大靈敏性和最小靈敏性的角度。麥克風陣列的最大靈敏性角度定義為麥克風陣列的靈敏性超過預定閾值的角度範圍。麥克風陣列的最小靈敏性定義為麥克風陣列的靈敏性小於預定閾值的角度範圍。
2、對麥克風陣列回應的控制如上所述，麥克風陣列2100的DSP 2105可用來組合從麥克風2101接收的音頻輸出信號，以有效地控制麥克風陣列2100的指向圖。
通常，DSP 2105接收N個音頻信號，並產生單個的音頻輸出信號，其中，N為麥克風陣列2100中的麥克風數目。DSP 2105所接收的該N個音頻信號中，每個音頻信號都被乘以具有幅值和相位的加權因數，以產生N個音頻信號與加權信號的乘積。之後，DSP 2105將該N個音頻信號與加權信號的乘積累加起來，從而將所接收的音頻信號集合轉換為單個的音頻輸出信號。
將乘積累加之前，DSP 2015通過修改加權因數能改變麥克風陣列2100的指向圖。稱為波束賦形技術的各種技術，都能夠以特定的方式修改加權因數。例如，通過在累加前修改加權因數的幅值，DSP 2015能改變指向圖的形狀。另一個例子中，通過在累加前修改加權因數的相位，DSP 2015能控制麥克風陣列2100的指向圖中主瓣的角度位置。圖23示出了通過在累加前修改加權因數的相位來控制麥克風陣列的指向圖的實施例。從圖23可以看到，在該實施例中，指向圖的主瓣移動了約45度。
正如相關領域內廣泛知曉的，波束賦形技術可以是非自適應的和自適應的。非自適應的波束賦形技術與資料無關。換言之，無論到來的聲波和產出的音頻信號如何，非自適應的波束賦形技術都採用相同的演算法。相反，自適應波束賦形技術是依賴於與資料的。因此，自適應波束賦形技術可用於自適應地確定聲源的DOA，並有效地將麥克風陣列的指向圖的主瓣控制在該聲源的DOA上。典型的自適應波束賦形技術包括但不限於Frost演算法、線性約束最小變數法、通用旁瓣消除法等。
要意識到，圖21僅用於舉例說明，本發明不受圖21所限。例如，麥克風2101之間的距離不需要相同。另外，所示的麥克風陣列2100是一維陣列；但是，二維的陣列也在本發明的範圍之內。正如業內技術人員所瞭解的，二維麥克風陣列可用於在二維空間確定聲源的DOA。相反，一維陣列只能檢測一維空間的DOA。
九、麥克風陣列的實施例
在下面將要介紹的一個實施例中，用與圖21中的麥克風陣列2100相似的麥克風陣列取代無線電話機200(圖2和圖3)的麥克風201和/或麥克風202。
圖24是使用第一麥克風陣列201’和第二麥克風陣列202’的無線電話機的示範性發射路徑2400。第一麥克風陣列201’和第二麥克風陣列202’的作用與上述的示範性麥克風陣列2100(圖21)的相似。具體說，麥克風2401a－n和2411a－n用於將碰撞到其上的聲波轉換成音頻信號。A/D轉換器2402a－n和2412a－n用於將分別從麥克風2401a－n和2411a－n接收的類比音頻信號轉換成數位信號。DSP 2405從A/D轉換器2402a－n接收數位音頻信號，並將這些數位音頻信號組合成第一音頻輸出信號，該第一音頻輸出信號被傳遞給信號處理器420’。類似地，DSP 2415從A/D轉換器2412a－n接收數位音頻信號，並將這些數位音頻信號組合成第二音頻輸出信號，該第二音頻輸出信號被傳遞給信號處理器420’發射路徑2400的其他元件(信號處理器420’、語音編碼器404’、通道編碼器405’、調製器406’、RF模組407’和天線408’)的作用都與結合圖4闡述的相應元件的作用相同。因此，這裏不再闡述這部分元件的功能。
在本發明的一個實施例中，DSP 2405基於從A/D轉換器2402a－n接收的數位音頻信號，使用自適應波束賦形技術確定無線電話機的用戶的語音的DOA。接著，DSP 2405自適應地組合這些數位音頻信號，以有效地控制麥克風陣列201’的最大靈敏性的角度，使用戶的嘴部處於該最大靈敏性的角度範圍內。這樣，與單一麥克風(如麥克風201)輸出的音頻信號相比，DSP 2405輸出的單一音頻信號將包括更清晰的用戶的語音。然後，與處理麥克風201(圖4)輸出的音頻信號的方法相似，DSP 2405輸出的音頻信號被信號處理器420’接收和處理，下面將會詳細介紹。
在本發明的另一個實施例中，DSP 2415從A/D轉換2412a－n上接收數位音頻信號，並基於這些數位音頻信號使用自適應的波束賦形技術，確定無線電話機的用戶的語音的DOA。接著，DSP 2415自適應地組合這些數位音頻信號，以有效地控制麥克風陣列202’的最小靈敏性的角度，使用戶的嘴部處於該最小靈敏性的角度範圍內。這樣，DSP 2415輸出的單一音頻信號將不包括用戶的語音。因此，與單一麥克風(如麥克風202)輸出的音頻信號相比，DSP 2415輸出的單一音頻信號將包括更純的背景雜訊。然後，與處理麥克風202(圖4)輸出的音頻信號的方法相似，DSP 2415輸出的音頻信號被信號處理器420’接收和處理，下面將會詳細介紹。
很多場合中，背景雜訊是沒有方向性的，即各個方向的背景雜訊是相同的。但是，有些場合中，單一噪音源(如，起重機和救護車)構成了主要的背景雜訊。在這種場合下，背景雜訊具有高度的方向性。在本發明的一個實施例中，DSP 2405經配置用於確定具有高度方向性的背景噪音源的DOA。DSP 2405還經配置用於自適應地組合數位音頻信號以有效地控制麥克風陣列201’的最小靈敏性的角度，以使該高度方向性的背景噪音源處於該最小靈敏性角度之內。這樣，麥克風陣列201’將不接收從該高度方向性的背景噪音源的DOA發來的聲音。這樣，與單一麥克風(如麥克風201)相比，麥克風陣列201’將接收更純的用戶語音。
在另一個實施例中，DSP 2415經配置用於確定高度方向性的背景噪音源的DOA。DSP 2415還被配置用於自適應地組合來自A/D轉換器2412a－n的數位音頻信號以有效地控制麥克風陣列202’的最大靈敏性的角度，以使該高度方向性的背景噪音源處於該最大靈敏性角度之內。這樣，麥克風陣列202’將接收從該高度方向性的背景噪音源的DOA發來的聲音。這樣，與單一麥克風(如麥克風202)相比，麥克風陣列202’接收更純的高度方向性的背景雜訊。
在又一個實施例中(圖中沒有示出)，無線電話機包括第一和第二麥克風陣列和VAD。在該實施例中，DSP經配置用於確定高度方向性的背景噪音源的DOA和用戶語音的DOA。另外，與上述的方式類似，VAD檢測第一麥克風陣列輸出的音頻信號中存在語音分量的時間間隔。在第一麥克風陣列輸出的音頻信號中存在語音分量的時間間隔內，與第二麥克風陣列關聯的DSP自適應地控制第二麥克風陣列的最小靈敏性的角度，使用戶的嘴部處於該最小靈敏性的角度範圍內。在第一麥克風陣列輸出的音頻信號中不存在語音分量的時間間隔內，與第二麥克風陣列關聯的DSP自適應地控制第二麥克風陣列的最大靈敏性的角度，使高度方向性的背景雜訊處於該最大靈敏性的角度範圍內。換言之，第二麥克風陣列在VAD的幫助下，自適應地進行以下切換：(1)在用戶說話時的時間間隔內不接收用戶的語音；和(2)在用戶不說話的時間間隔內優先接收高度方向性的背景雜訊。這樣，與單一麥克風相比，第二麥克風陣列將接收到更純的背景雜訊。
應當意識到，上述的實施例僅用於舉例說明，本發明不受其限制。特別地，應當意識到，上面所用以及下面所用的的術語“數位信號處理器”、“信號處理器”和“DSP”可以是單DSP、多DSP、單DSP演算法、多DSP演算法及它們的組合。例如，DSP 2405、DSP 2415和/和信號處理器420’(圖24)可表示在單個DSP上運行的不同的DSP演算法。另外，相應領域的技術人員知道，可在單DSP或多DSP上實現DSP 2405和DSP 2415和/或信號處理器420’的各種組合。
十、根據本發明實施例的多層描述發射系統
圖25是根據本發明的一個實施例提供冗餘以克服發射通道損失的多層描述發射系統2500的示意圖。多層描述發射系統2500包括第一無線電話機2510和第二無線電話機2520。第一無線電話機2510將語音信號的多重版本2550發送給第二無線電話機2520。
圖26是第一無線電話機2510的示範性發射路徑2600和第二無線電話機2520的示範性接收路徑2650的功能模組圖。如圖26所示，第一無線電話2510包括麥克風陣列2610、編碼器2620和發射器2630。麥克風陣列2610的每個麥克風都經配置以接收用戶的語音輸入(以聲波的形式)和產生對應的語音信號。例如，麥克風陣列2610可以與麥克風陣列2100(圖21)相同。編碼器2620連接到麥克風陣列2610上，經配置以編碼每個音頻信號。例如，所述編碼器2620可包括分別與結合圖4所述的語音編碼器404、通道編碼器405類似的語音編碼器、通道編碼器。另外，編碼器2620可選地包括DSP，如類似於DSP 420(圖4)。
發射器2630與編碼器2620連接，經配置以發射每個經編碼的語音信號。例如，圖25概念性地示出了示範多層描述發射系統。在圖25中，第一無線電話機2510將第一信號2550A和第二信號2550B發射給第二無線電話機2520。但是，要意識到，第一無線電話機2510能發射兩個以上(如三個、四個、五個等)的信號給第二無線電話機2520。例如，第一無線電話機2510的發射器2630可包括調製器、RF模組和天線，分別與結合圖4所述的調製器406、RF模組407、天線408相似，它們協同工作以發射經編碼的音頻信號。
在替換的實施例中，第一無線電話機2510可包括多個編碼器和發射器。例如，第一無線電話機2510可包括多個與發射路徑100(圖1A)相似的發射路徑，其中，每個發射路徑對應於第一無線電話機2510的麥克風陣列2610中的單個麥克風。
如圖26的接收路徑2650所示，第二無線電話機2520包括接收器2660、解碼器2670和揚聲器2680。接收器2660經配置以接收被發射的信號2550(圖25)。例如，接收器2660可包括分別與圖1B所述天線128、RF模組127、解調器126相似的的天線、RF模組和解調器，它們協同工作以接收被發射的信號。解碼器2670與接收器2660連接，經配置以對接收器2660接收的信號進行解碼，從而產生輸出信號。例如，解碼器2670可包括分別與結合圖1B所述的通道解碼器125、語音解碼器124類似的通道解碼器和語音編碼器，它們協同工作以解碼所接收的信號。另外，解碼器2670可選地包括DSP。揚聲器2680接收解碼器2670的輸出信號並產生對應的壓強聲波。例如，揚聲器2680可以與揚聲器129(圖1B)相似。另外，正如相關領域技術人員所知曉的，可在揚聲器2680(或揚聲器129)之前設置功率放大器(沒有示出)以在輸出信號被送給揚聲器2680(或揚聲器129)之前，對信號進行放大。
在本發明的第一實施例中，解碼器2670還被配置用來實現以下兩個功能：(1)對接收器2660接收的信號進行時差校正(time－align)；和(2)將經時差校正的信號組合，以產生輸出信號。正如圖21所示的，因為麥克風陣列中麥克風所在位置的不同，所以用戶嘴部發出的聲波將在不同的時刻碰撞到麥克風陣列中的每個麥克風上。例如，參考圖21，平行的波陣面2110將首先碰撞麥克風陣列2110最左邊的麥克風，然後才碰撞到與最左的麥克風距離為d的麥克風。因為聲波碰撞麥克風陣列2610的各個麥克風存在著時間延遲，各個麥克風輸出的音頻信號也會有相應的時間延遲。第二無線電話機2520的解碼器2670可通過對音頻信號進行時差校正處理來補償該時間延遲。
例如，圖27示出了分別與第一無線電話機2510的第一和第二麥克風對應的第一音頻信號S1和第二音頻信號S2。第二音頻S2與第一音頻信號S1相比有t1的時間延遲，其取決於第一無線電話機2510上麥克風的相對位置。可配置第二無線電話機2520的解碼器2670，讓其對第一音頻信號S1和第二音頻信號S2進行時差校正處理，例如，使第一音頻信號S1在時間上延遲t1的時問量。
正如上面所提到的，根據第一實施例，第二無線電話機2520的解碼器2670還被配置用來組合經時差校正的音頻信號。因為假設第一音頻信號S1和第二音頻信號S2的語音分量是幾乎相同的，而每個音頻信號的雜訊分量是不同的，所以語音分量將能夠同相地相加，而雜訊分量一般不能夠同相地相加。這樣，通過在時差校正後組合音頻信號，組合後的輸出信號將比第一音頻信號S1或第二音頻信號S2具有更高的信噪比。
在本發明的第二實施例中，第二無線電話機2520的解碼器2670經配置以實現以下的功能：首先，解碼器2670經配置以基於第二無線電話機2520的接收器2660所接收的發射信號2550，檢測第一無線電話機2510的用戶嘴部發出的聲波的波達方向(DOA)。解碼器2670能以相似於圖21至圖24所述的方式確定聲波的DOA。
其次，如上所述，可選地包括DSP的解碼器2670，經配置以基於DOA自適應地組合所接收的資訊以產生輸出信號。通過基於DOA自適應地組合所接收的信號，第二無線電話機2520的解碼器2670能有效地控制第一無線電話機2510的麥克風陣列2610的最大靈敏性角度，使第一無線電話機2510的用戶的嘴部位于該最大靈敏性角度之內。如上所定義的，所述最大靈敏性角度指在該角度內，麥克風陣列2610的靈敏性超過某閾值。
在本發明的第三實施例中，對於接收器2660接收的信號的每個語音幀，第二無線電話機2520的解碼器2670經配置以實現以下功能。首先，解碼器2670經配置以評估通道損失(如，誤碼和丟幀)。即，解碼器2670可用來確定相對接收信號的第一個語音幀，通道損失的程度。例如，對於指定的幀，解碼器2670能夠評估通道損失是否超過某闊值。該評估可基於通道的信號－雜訊比(S/N)或載波－幹攏比(C/I)、誤碼率、塊誤碼率、幀誤碼率等。其次，解碼器2670經配置以解碼所接收的具有最小通道損失的信號，從而為對應的語音幀產生輸出信號。
通過自適應地為相應的語音幀解碼具有最小通道損失的信號，解碼器2670可以在指定時間內解碼最好的信號。也就是說，第一無線電話機2510發射的語音信號的多重版本2550在不同時間下可能遭遇不同的通道損失。例如，對於指定的語音幀，第一信號2550A可能比第二信號2550B遭遇更少的通道損失。在該語音幀內，解碼第一信號2550A將得到更清晰且質量更好的語音信號。但是，在隨後的語音幀內，第一信號2550A可能比第二信號2550B遭遇更多的通道損失。在該隨後的語音幀內，解碼第二信號2550B將得到更清晰且質量更好的語音信號。
在本發明的第四個實施例中，對於接收器2660接收的信號的每個語音幀，解碼器2670經配置以評估通道損失和動態地丟棄那些通道損失超過閾值的接收信號。接著，解碼器2670還被配置用來，如上面的第一實施例或第二實施例所述，組合未丟棄的接收信號。即，解碼器2670可被配置用來根據第一實施例對未丟棄的接收信號進行時差校正和組合。另外，解碼器2670可被配置用來組合未丟棄的接收信號以根據第二實施例有效地控制第一無線電話機2510的麥克風陣列2610。
本發明的第五實施例中，配置第一無線電話機2510的編碼器2620使其以不同的比特率編碼語音信號。例如，配置編碼器2620使其以第一比特率(“主通道”)編碼語音信號之一，以與第一比特率不相同的比特率(“輔助通道”)編碼其他每一個音頻信號。例如，主通道能夠以與傳統單通道無線電話機相同的比特率(如22kbit/s)編碼和發射；而輔助通道則能夠以低於傳統單通道無線電話機的比特率(例如，8 kbit/s或4 kbit/s)編碼和發射。另外，不同的輔助通道可以不同的比特率編碼和發射。例如，第一輔助通道可以8kbit/s編碼和發射；而第二和第三輔助通道可以4kbit/s編碼和發射。接著，第二無線電話機2520的解碼器2670根據以下兩個例子之一解碼主通道和輔助通道。
第一個例子中，對於發射信號的每個語音幀，第二無線電話機2520的解碼器2670被配置用來評估通道損失。如果評估的通道損失超過闊值，那麽相應的通道是被破壞的。如果(1)主通道由於通道損失而被破壞，且(2)至少一個輔助通道沒有被通道損失破壞，那麽，配置解碼器使其解碼該至少一個輔助通道，以產生輸出信號。
第二個例子中，解碼器2670使用主通道和一個輔助通道來改進隱蔽幀擦除法(frame erasure concealment algorithm)的性能。如果指定語音幀的通道損失程度超過預定閾值，就發生幀擦除。一些解碼器採用隱蔽幀擦除法來隱蔽擦除幀的事件，這樣，被擦除的語音幀內就不會輸出空信號，所以該語音幀內不會導致沒有聲音。隱蔽幀擦除法基於被擦除的幀之前的波形’通過推斷被擦除的幀的波形來嘗試填充該聲音缺口。一些隱蔽幀擦除法使用邊資訊(如，預報係數、音高周期、增益等)引導波形推斷以順利地隱蔽被擦除的幀。示範的隱蔽幀擦除法在美國專利申請號10/968,300、申請日為2004年10月20日，Thyssen et al.等人的名稱為““Method For Packet Loss And/Or Frame Erasure Concealment In A Voice Communication System”中披露，此處參考並結合其全部內容。
在第二個例子中，對於發射信號的每一個語音幀，配置解碼器2670使其評估通道損失。如果(1)主通道的邊資訊被破壞，且(2)至少一些輔助通道的對應邊資訊沒有被破壞，就配置解碼器2670使其在產生輸出信號時使用主通道和其中一個輔助通道來改進隱蔽幀擦除法的性能。通過使用其中一個輔助通道的未被破壞的邊資訊，隱蔽幀擦除法能更有效地隱蔽被擦除的幀。
十一、處於免提模式下的電話機的性能改進
如上所述，根據本發明的實施例的配置有多麥克風的電話機能提供改進的免提模式下工作的性能。在第一實施例中，多麥克風可用於改進語音活動的檢測，改進的語音活動檢測又可改進回聲消除器的性能。在第二實施例中，多麥克風可被配置成自適應麥克風陣列，可用於減小室內反射效應和/和回聲。
下面將從近端用戶電話處於免提模式的角度進行描述。這僅用於舉例說明目的，本發明不受其限制。相關領域的技術人員顯然能夠從這些描述中領悟到如何在電話機中實現本發明。
A、第一實施例描述本發明的第一實施例之前，描述電話機處於免提模式下發生的回聲是有幫助的。
電話機處於免提模式時，近端電話機的揚聲器發出與遠端用戶的語音對應的聲波。該聲波使得近端用戶聽到遠端用戶的語音。但是，該聲波也會被近端電話機的麥克風接收。這樣，近端電話機會以回聲的形式將遠端用戶的語音回發給遠端用戶。
為了減少近端電話機發射的這種回聲，可使用回聲消除器(acoustic echo canceller,AEC)。回聲消除器可以降低回聲的音量使其不再討厭和/或煩人。與傳統的僅使用單麥克風的輸出信號的回聲消除器比較，根據本發明的回聲消除器能獲得改進的回聲消除性能。
要說明的是，雖然電話機處於免提模式下時，回聲問題會更嚴重，但是回聲問題不局限於免提模式。在一些電話機聽筒和藍牙耳麥中，揚聲器發出的聲音也會被同一聽筒或耳麥中的麥克風接收。因此，電話機聽筒和耳麥也有回聲的問題。本發明也可用於減少電話機聽筒和耳麥的回聲。
作為本發明第一實施例的例子，圖28示出了根據本發明取得改進的回聲消除性能的無線電話機的簡化功能模組示意圖2800。功能模組圖2800包括發射路徑和接收路徑。發射路徑用於發射近端電話機用戶的語音，其包括第一麥克風2809以及關聯的A/D轉換器2801、第二麥克風2819以及關聯的A/D轉換器2811、回聲消除器2840、語音編碼器2804、通道編碼器2805、調製器2806、RF模組2807和天線2808。接收路徑接收、解碼和播放遠端電話機用戶的語音，其包括天線2828(可共用發射天線2808)、RF模組2827、解調器2826、通道解碼器2825、語音解碼器2824、D/A轉換器2822和揚聲器2829。除了語音活動檢測器(VAD)2830和回聲消除器(AEC)2840之外，圖28中的其他功能模組與圖1A和圖1B中標號相對的元件相似。
在傳統的單麥克風電話機中，不存在第二麥克風2819和關聯的A/D轉換器2811。在這種傳統配置下，回聲消除器2840從語音解碼器2824的輸出端取得遠端電話機用戶的語音，接著將其傳遞給自適應濾波器，然後從A/D轉換器2801的輸出信號中減去該自適應濾波器的輸出信號。所述自適應濾波器和減法單元包含在回聲消除器2824內，在圖28中未示出。所述自適應濾波器類比從語音解碼器2824的輸出端到A/D轉換器2801的輸出端(即，回聲消除器2840的輸入端)的回聲路徑的傳送功能。因此，該自適應濾波器的輸出信號是回聲信號的近似。減去自適應濾波器的輸出信號就消除了大部分的回聲。
通常，自適應濾波器的濾波因數僅僅在遠端用戶說話時且近端用戶沒有說話時被更新(改變)。該濾波因數在其他時間通常是凍結的和不會被更新的－－這是為了避免濾波因數可能的分歧(potential divergence)。與傳統VAD相比，語音活動檢測器(VAD)2830以更敏感的方式執行語音活動檢測。具體地，VAD 2830檢測遠端音頻信號以及近端音頻信號，以分辨何時遠端用戶在說話、何時近端用戶在說話、何時遠端用戶與近端用戶都在說話，等等。接著，VAD 2830將分辨結果傳遞給回聲消除器2840，使回聲消除器2840能夠確定何時更新自適應濾波器的因數。嚴格來說，語音活動檢測器2830傳統上被認為是回聲消除器2840的一部分。圖28中將其分開描繪是為了便於討論。
回到本發明的第一實施例中，圖28示出了第二麥克風2819及其關聯的A/D轉換器2811。這種情況下，VAD 2830能利用第二麥克風2819所接收的第二近端音頻信號來改進自身的檢測準確度和更好地分辨是否要更新回聲消除器2840中的自適應因數。從而改進了回聲消除的性能。
與結合圖13所述的方式類似，VAD 2830能使用第一麥克風2809和第二麥克風2819的輸出信號來改進語音活動檢測的準確度，改進的語音活動檢測的檢測度反過來又改進回聲消除。這與結合圖13所述的最大不同是，這裏不是使第二麥克風接收比第一麥克風更多的背景雜訊，而是使第二麥克風接收比第一麥克風更多的回聲。當無線電話機處於免提模式時，這點很容易實現。
處於免提模式時，很多現有的無線電話機都減弱電話機正面的主揚聲器203(圖2)的聲音，同時使用電話機背面的第二揚聲器播放遠端電話機用戶的語音。這是為了減少揚聲器和麥克風之間的雜訊耦合，以減少回聲。第二揚聲器通常置於圖3所示的第二麥克風202稍下的位置上。這種情況下，第二麥克風非常接近第二揚聲器，因此第二麥克風處在一個從電話機背面的第二揚聲器上接收遠端用戶的強回聲信號的最佳位置上。通過使用所接收的強回聲信號以及第一麥克風2809所接收的主近端音頻信號，VAD 2830能更準確地確定近端用戶正在說話的時間間隔。這反過來促使回聲消除器2840在正確的時間改變自適應濾波器的因數，從而獲得更準確的因數和更好的回聲消除性能。
與在高背景雜訊水平中不容易準確地確定語音活動類似，遠端用戶的語音的回聲很強時，也不容易確定近端用戶的語音活動。(實際上，在後一種情況下比在前一種情況下更困難，因為近端用戶的語音與回聲都是具有一些相似特性的語音信號。使得分辨這兩種語音信號比從背景雜訊中分辨出語音更困難。)
同樣，正如圖13中的VAD 1320能使用來自第二麥克風202的音頻信號更準確地檢測語音活動，VAD 2830也能夠使用來自第二麥克風2819的音頻信號來更準確地檢測語音活動。相關領域的技術人員應當瞭解到，第二麥克風2819接收的第二音頻信號具有一些更多的與語音活動有關的線索，這在第一麥克風2819接收的第一音頻信號中是沒有的。因此，除使用第一音頻信號外，還使用第二音頻信號能夠使VAD更準確地檢測語音活動。
為了說明上面最後的要點，以上述的無線電話機為例。處於免提模式時，該電話機使用位於其背面的、靠近第二麥克風的第二揚聲器。這種情況下，正面的第一麥克風201(圖2)主要接收用戶的語音，而背面的第二麥克風(圖3)主要接收從臨近的第二揚聲器傳出的遠端用戶語音的回聲。因此，當近端用戶在說話時，第一麥克風的輸出信號的功率相對較高，而第二麥克風的輸出信號的功率相對較低。但是，當近端用戶不說話而遠端用戶在說話時，情況正好相反。因此，第一音頻信號與第二音頻信號的功率比承載著與近端用戶以及遠端用戶的語音活動有關的有用資訊。在本發明的一個實施例中，第一音頻信號與第二音頻信號的功率比被用於分辨近端用戶正在說話的時間間隔。
在前面的討論中，即使回聲消除器2840是不使用第二麥克風2819所接收的第二音頻信號的傳統回聲消除器，單獨使用改進的語音活動檢測器2830也能夠改進回聲消除性能。更進一步地，在本發明的另一個實施例中，回聲消除器2840還通過使用第二麥克風2819所接收的第二音頻信號改進自身的性能。這種情況之下，除了對語音解碼器2824的輸出信號進行自適應濾波外，回聲消除器2840還對第二音頻信號(A/D轉換器2811的輸出)進行自適應濾波。可將這兩種經自適應濾波的輸出信號組合，接著從第一近端音頻信號(A/D轉換器2801的輸出)中減去組合信號。當然，上面提到的這兩個自適應濾波的因數需要以共同最優的方式調節。
在回聲消除器2840中使用第二音頻信號的優點是能夠更好地解決回聲路徑的非線性問題。免提電話機(speakerphone)的回聲消除器面臨的一個最大難題是當揚聲器被驅動到飽和時，揚聲器輸出信號被削幅，出現嚴重的非線性波形。由於傳統的回聲消除器僅應用自適應線性濾波器對語音解碼器2824的輸出信號進行處理，而語音解碼器2824的輸出信號通常沒有被削幅，這種自適應線性濾波器不能類比飽和揚聲器產生的非線性信號。因此，從自適應線性濾波器的輸出中評估的回聲信號不能很好地近似從A/D轉換器2801輸出的回聲信號，這種情況下，回聲消除性能是很差的。
現在，同樣是飽和揚聲器的情況，遠端用戶說話時，靠近揚聲器的第二麥克風接收的第二近端音頻信號主要是飽和揚聲器產生的回聲信號。該第二音頻信號已經非線性削波，因此用於濾波這種第二音頻信號的自適應線性濾波器僅僅需要類比從第二麥克風到第一麥克風的轉發功能，不需要類比這種非線性。因此，與語音解碼器2824輸出端的遠端信號的自適應濾波版相比，這種第二近端音頻信號的自適應濾波版能夠更好地近似第一麥克風2809接收的回聲信號。實際上，在飽和揚聲器的情況下，在只有遠端用戶在說話時(假定語音活動檢測器2830能準確地檢測出該時間間隔)，回聲消除器2840甚至能僅僅使用該第二近端音頻信號來估計回聲信號，並從第一音頻信號中減去所估計的回聲信號。與傳統回聲消除器不同，在這個例子中根本沒有使用語音解碼器2824輸出端的遠端信號。本發明的這一示範性實施例闡明了在回聲消除器2840中使用第二近端音頻信號來減輕所述的非線性問題。
B、第二實施例如上所述，在第二實施例中，電話機的多麥克風被配置成自適應麥克風陣列，用以減少室內反射效應和/或回聲的影響。圖29是根據該第二實施例的電話機的發射路徑2900和接收路徑2950的功能模組圖。發射路徑2900包括麥克風陣列2910、DSP 2925、編碼器2920、發射器2930，它們分別與圖21的麥克風陣列2100、DSP 2105、圖26的解碼器2620、發射器2630類似。接收路徑2950包括接收器2960、解碼器2970、揚聲器2980，它們分別與圖26的接收器2660、解碼器2670、揚聲器2680類似。
麥克風陣列2910的每個麥克風都被配置用來接收周圍環境發出的聲波和產生對應的音頻信號。DSP 2925接收麥克風陣列2910的音頻信號和被配置用來自適應地組合這些音頻信號以產生第一音頻輸出信號。在該實施例中，麥克風陣列2910和DSP 2925被配置用來減少以下不利影響：(1)近端用戶正在說話時的室內反射和/或(2)遠端用戶正在說話時的回聲。
減少室內反射效應的方式取決於被反射的聲波是全向性的(即，在各方向上充分等同)還是高度方向性的(即，來自特定的方向)。當被反射的聲波是全向性的時，為了減少室內反射，DSP 2925被配置用來檢測近端用戶嘴部發出的聲波的DOA。與結合附圖21、22A－E、23和24所述的方式類似，該DOA的檢測基於從麥克風陣列2910接收的音頻信號。
DSP 2925還被配置用來基於DOA自適應地組合這些音頻信號，以產生第一音頻輸出信號。例如，與上述的方式類似，DSP 2925基於DOA自適應地組合這些音頻信號以有效地控制麥克風陣列2910的最大靈敏性角，使近端用戶的嘴部位于該最大靈敏性角度範圍內。所述最大靈敏性角定義為：在該角度範圍內，麥克風陣列的靈敏性大於某閾值。通過以這種方式控制麥克風陣列的最大靈敏性角，麥克風陣列2910將趨向於只接收用戶語音，不接收被反射的聲波，從而減少了室內反射效應。
如上所述，被反射的聲波可能是高度方向性的。因此近端用戶的語音可能被特定的一個物體或一組物體(如牆體，等等)反射，所以從特定方向返回電話機。為了減少這種情況下的室內反射，在一個替換實施例中，DSP 2925被配置用來檢測近端用戶語音的反射聲波的DOA和基於該DOA自適應地組合音頻信號以產生第一音頻輸出信號。在該實施例中，DSP 2925基於DOA組合這些音頻信號以有效地控制麥克風陣列2910的最小靈敏性角度，使近端用戶的語音的反射源位於該最小靈敏性角範圍內。所述最小靈敏性角定義為：在該角度範圍內，麥克風陣列的靈敏性低於某閾值。通過以這種方式控制麥克風陣列的最小靈敏性角，麥克風陣列2910將趨向於不接收高度方向性的反射聲波，從而減少了室內反射效應。
當遠端用戶正在說話時，為減少回聲，DSP 2925被配置用來執行兩個功能。首先，DSP 2925被配置用來檢測遠端用戶的語音信號對應的聲波的DOA。這些聲波可能從近端電話機的揚聲器2980的方向傳來，或從反射聲波的物體(如牆壁等)上傳來。其次，DSP 2925被配置用來基於DOA自適應地組合這些音頻信號以有效地控制麥克風陣列2910的最小靈敏性角度，使這些聲波的源位於該最小靈敏性角範圍內。如上所述，這些聲波的源可能是揚聲器2980或反射這些聲波的物體(如，牆壁等等)。
C、示範方法圖30是根據本發明的一個實施例，在具有多麥克風的電話機中改進回聲消除的示範方法的流程圖3000。流程3000從步驟3010開始。步驟3010中，第一麥克風(如圖28中的麥克風2801)輸出第一音頻信號。該第一音頻信號包括近端用戶的語音分量和遠端用戶的語音分量。例如，當處於免提模式下，遠端用戶的語音分量可由近端電話機的揚聲器輸出。
步驟3020中，第二麥克風輸出第二音頻信號。例如，從第二麥克風2811(圖28)上輸出第二音頻信號。
步驟3030中，VAD處理第一和第二音頻信號和產生輸出，所述輸出與第一音頻信號中出現近端用戶的語音分量的時間間隔有關。其中，所述VAD可以是上述的VAD 2830。
步驟3040中，基於：(1)第一音頻信號；(2)第二音頻信號；和(3)VAD的輸出的內容，從第一音頻信號中消除遠端用戶的語音分量。例如，可使用圖28的回聲消除器2840消除遠端用戶的語音分量。遠端用戶的語音分量的消除形成了第三音頻信號。
步驟3050中，第三音頻信號被發射給另一個電話機。所述第三音頻信號的發射方式可以與上述的方式類似，也可以是相關領域技術人員知曉的其他方式。
圖31A是在處於免提模式下的電話機中減少室內反射效應的方法的流程3100。流程3100從步驟3110開始。步驟3110中，麥克風陣列的每個麥克風基於入射的聲波輸出音頻信號。例如，所述麥克風陣列可以與麥克風陣列2910類似。入射到麥克風陣列的聲波可包括與近端用戶的語音反射對應的聲波。
步驟3120中，檢測與近端用戶的語音反射對應的聲波的DOA。所述DOA的檢測可基於麥克風陣列中的麥克風輸出的音頻信號。例如，與圖29的DSP 2925類似的DSP能以上述的類似方式檢測所述DOA。
步驟3130中，當電話機處於免提模式下時，自適應組合音頻信號以減少室內反射效應。例如，可使用DSP 2925自適應地組合音頻信號。在一個實施例中，步驟3130包括基於DOA自適應地組合音頻信號以有效地控制麥克風陣列的最小靈敏性角度，使近端用戶的語音的反射源位於該最小靈敏性角範圍內。
回聲也能夠以類似的方式減少。例如，圖31B是在處於免提模式下的電話機中減少回聲效應的方法的流程3150。流程3150從步驟3160開始，該步驟與圖31A的步驟3110類似。但是，在圖31的實施例中，入射到麥克風陣列的聲波包括與遠端用戶語音對應的聲波。例如，處於免提模式下，電話機上的揚聲器可以輸出遠端用戶的語音。
步驟3170中，檢測與遠端用戶語音對應的聲波的DOA，檢測方式與上述的類似。
步驟3180中，自適應地組合音頻信號以減少由於近端電話機的麥克風接收遠端用戶的語音而導致的回聲效應。例如，可使用DSP 2925自適應地組合音頻信號。在一個實施例中，步驟3180包括基於DOA自適應地組合音頻信號以有效地控制麥克風陣列的最小靈敏性角，使與遠端用戶的語音對應的聲波源位於該最小靈敏性角範圍內。如上所述，所述遠端用戶的語音的源可以是近端電話機的揚聲器，或者是反射聲波的物體。
十二、結論
前面描述所用的具體實施方式及附圖僅用於示範目的，本發明不受其限制。即，本發明完整的範圍與實質由權利要求決定。
發射路徑．．．100
類比－數位(A/D)轉換器．．．101
雜訊抑制器．．．102
語音編碼器．．．104
語音活動檢測器(voice activity detector,VAD)．．．103
通道編碼器．．．105
調製器．．．106
射頻(RF)模組．．．107
天線．．．108
麥克風．．．109
接收路徑．．．120
數位－類比(D/A)轉換器．．．122
語音解碼器．．．124
通道解碼器．．．125
解調器．．．126
RF模組．．．127
天線．．．128
揚聲器．．．129
無線電話機．．．200
第一麥克風．．．201
第二麥克風．．．202
揚聲器．．．203
發射路徑．．．400
語音編碼器．．．404
通道編碼器．．．405
調製器．．．406
RF模組．．．407
天線．．．408
第一A/D轉換器．．．410
第二A/D轉換器．．．412
信號處理器．．．420
背景雜訊消除模組．．．605
向下採樣器．．．615
第一音頻信號．．．800
語音分量．．．810
背景雜訊分量．．．820
第二音頻信號．．．850
語音分量．．．860
背景雜訊分量．．．870
自適應濾波器．．．901
加法器．．．902
雜訊抑制器．．．1007
語音頻譜分量．．．1210
雜訊頻譜分量．．．1220
雜訊抑制前頻譜．．．1260
噪音抑制後頻譜．．．1270
發射路徑．．．1300
語音編碼器．．．1304
通道編碼器．．．1305
調製器．．．1306
RF模組．．．1307
天線．．．1308
A/D轉換器．．．1310
A/D轉換器．．．1312
VAD．．．1320
語音分量．．．1510
背景雜訊分量．．．1520
示意圖．．．1550
語音分量．．．1560
背景雜訊分量．．．1570
極性指向圖．．．1600
該極性指向圖．．．1700
線．．．1705
線．．．1708
線．．．1718
線．．．1730
豎軸向上方向．．．1710
極性指向圖．．．1800
線．．．1805
線．．．1808
豎軸向上方向．．．1810
單無效角．．．1860
極性指向圖．．．1900
線．．．1905
線．．．1908
豎軸向上方向．．．1910
第一無效角．．．1920
第二無效角．．．1930
極性指向圖．．．2000
線．．．2005
線．．．2008
豎軸向上方向．．．2010
第一無效角．．．2020
第二無效角．．．2030
麥克風陣列．．．2100
麥克風．．．2101
A/D轉換器．．．2103
數位信號處理器(DSP)．．．2105
平行聲波．．．2110
箭頭．．．2115
第一麥克風陣列．．．201’
第二麥克風陣列．．．202’
發射路徑．．．2400
麥克風．．．2401a－n、2411a－n
A/D轉換器．．．2402a－n、2412a－n
DSP．．．2405
語音編碼器．．．404’
通道編碼器．．．405’
調製器．．．406’
RF模組．．．407’
天線．．．408’
信號處理器．．．420’
DSP．．．2415
多層描述發射系統．．．2500
第一無線電話機．．．2510
第二無線電話機．．．2520
語音信號的多重版本．．．2550
發射路徑．．．2600
麥克風陣列．．．2610
編碼器．．．2620
發射器．．．2630
接收路徑．．．2650
第一信號．．．2550A
第二信號．．．2550B
接收路徑．．．2650
接收器．．．2660
解碼器．．．2670
揚聲器．．．2680
功能模組圖．．．2800
A/D轉換器．．．2801
語音編碼器．．．2804
通道編碼器．．．2805
調製器．．．2806
RF模組．．．2807
天線．．．2808
第一麥克風．．．2809
A/D轉換器．．．2811
第二麥克風．．．2819
D/A轉換器．．．2822
語音解碼器．．．2824
通道解碼器．．．2825
解調器．．．2826
RF模組．．．2827
天線．．．2828
揚聲器．．．2829
語音活動檢測器(VAD)．．．2830
回聲消除器(AEC)．．．2840
發射路徑．．．2900
麥克風陣列．．．2910
編碼器．．．2920
DSP．．．2925
發射器．．．2930
接收路徑．．．2950
接收器．．．2960
解碼器．．．2970
揚聲器．．．2980
圖1A是傳統無線電話機的發射路徑的功能模組圖；圖1B是傳統無線電話機的接收路徑的功能模組圖；圖2是根據本發明一實施例的無線電話機主視圖；圖3是根據本發明一實施例的無線電話機後視圖；圖4是根據本發明一實施例的無線電話機的發射路徑的功能模組圖；圖5是根據本發明一實施例具有第一麥克風和第二麥克風的無線電話機處理音頻信號的方法的流程圖；圖6是根據本發明一實施例的信號處理器的功能模組圖；圖7是根據本發明一實施例的具有第一麥克風和第二麥克風的無線電話機處理音頻信號的方法的流程圖；圖8是本發明一實施例中從第一和第二麥克風輸出的語音分量和雜訊分量；圖9是根據本發明一實施例的背景雜訊消除模組的功能模組圖；圖10是根據本發明一實施例的信號處理器的功能模組圖；圖11是根據本發明一實施例具有第一麥克風和第二麥克風的無線電話機處理音頻信號的方法的流程圖；圖12A是本發明一實施例中第一麥克風輸出的第一音頻信號的語音分量和背景雜訊分量的頻譜圖；圖12B是根據本發明一實施例經過雜訊抑制處理後的音頻信號的頻譜圖；圖13是根據本發明一實施例的無線電話機的發射路徑的功能模組圖；圖14是根據本發明一實施例具有第一麥克風和第二麥克風的無線電話機處理音頻信號的方法的流程圖；圖15是根據本發明一實施例的無線電話機的第一和第二麥克風輸出的語音分量和雜訊分量的示意圖；圖16是全向麥克風的極性指向圖；圖17是亞心型(subcardioid)麥克風的極性指向圖；圖18是心型麥克風的極性指向圖；圖19是超心型麥克風的極性指向圖；圖20是線形麥克風的極性指向圖；圖21是根據本發明一實施例的麥克風陣列的示意圖；圖22A、22B、22C、22D是麥克風陣列的極性指向圖；圖22E是遠場和近場回應的指向圖；圖23是經控制的和未經控制的指向圖；圖24是根據本發明一實施例的無線電話機的發射路徑的功能模組圖；圖25是根據本發明一實施例的多層描述(multiple description)發射系統；圖26是根據本發明一實施例的可用於多層描述發射系統的無線電話機的發射路徑的功能模組圖；圖27是根據本發明一實施例的第一無線電話機發射的語音信號的多重版本；圖28是根據本發明一實施例的使用多麥克風改進回聲消除的電話機的功能模組圖；圖29是根據本發明一實施例，在免提模式下，用於減小室內反射和/和回聲的電話機的發射路徑和接收路徑的功能模組圖；圖30是根據本發明一實施例在具有第一和第二麥克風的電話機中改進回聲消除的方法的流程圖；圖31A和圖31B分別是減小室內反射和回聲效應的方法的流程圖，該方法是在處於免提模式下和在具有自適應麥克風陣列的電話機中實施的。
功能模組圖．．．2800
A/D轉換器．．．2801
語音編碼器．．．2804
通道編碼器．．．2805
調製器．．．2806
RF模組．．．2807
天線．．．2808
第一麥克風．．．2809
A/D轉換器．．．2811
第二麥克風．．．2819
D/A轉換器．．．2822
語音解碼器．．．2824
通道解碼器．．．2825
解調器．．．2826
RF模組．．．2827
天線．．．2828
揚聲器．．．2829
語音活動檢測器(VAD)．．．2830

Claims (2)

  1. 一種具有改進性能的電話機，包括：麥克風陣列，該麥克風陣列中的每個麥克風都被配置用來接收聲波和產生對應的音頻信號；和數位信號處理器(DSP)，其接收來自麥克風陣列的音頻信號，並被配置用來檢測至少以下聲波之一的波達方向(DOA)：(1)與近端用戶的語音反射(reverberation)對應的聲波和(2)與遠端用戶的語音信號對應的聲波，其中，DSP基於所述DOA自適應地組合來自麥克風陣列的音頻信號以產生第一音頻輸出信號；其中，所述DSP還被配置用來檢測與近端用戶的語音對應的聲波的DOA；所述DSP還被配置用來基於與近端用戶的語音對應的聲波的DOA自適應地組合音頻信號，以有效地控制麥克風陣列的最大靈敏性角，使近端用戶在說話時，近端用戶的嘴部位於該最大靈敏性角範圍內，其中，所述最大靈敏性角定義為：在該角度範圍內，麥克風陣列的靈敏性大於某閾值；以及或者，所述DSP還被配置用來基於與遠端用戶的語音信號對應的聲波的DOA自適應地組合音頻信號，以有效地控制麥克風陣列的最小靈敏性角，使遠端用戶在說話時，遠端用戶的語音對應的聲波源位於所述最小靈敏性角範圍內，所述最小靈敏性角定義為：在該角度範圍內，麥克風陣列的靈敏性小於某閾值。
  2. 一種在具有麥克風陣列的電話機中處理音頻信號的方法，包 括：(a)所述麥克風陣列中的每個麥克風基於入射聲波輸出音頻信號；(b)檢測至少以下聲波之一的波達方向(DOA)：(1)與近端用戶的語音反射對應的聲波和(2)與遠端用戶的語音對應的聲波；和(c)基於所述DOA自適應地組合所述音頻信號，以產生第一音頻輸出信號；其中，步驟(b)和(c)還包括：(b1)檢測與近端用戶的語音對應的聲波的DOA；和(c1)基於與遠端用戶的語音對應的聲波的DOA自適應地組合音頻信號，以有效地控制麥克風陣列的最小靈敏性角，使遠端用戶在說話時，遠端用戶的語音對應的聲波源位於該最小靈敏性角範圍內，其中，所述最小靈敏性角定義為：在該角度範圍內，麥克風陣列的靈敏性小於某閾值；(c2)基於與近端用戶的語音對應的聲波的DOA自適應地組合音頻信號，以有效地控制麥克風陣列的最大靈敏性角，使近端用戶在說話時，近端用戶的嘴部位于該最大靈敏性角範圍內，其中，所述最大靈敏性角定義為：在該角度範圍內，麥克風陣列的靈敏性大於某閾值。
TW095118220A 2005-05-24 2006-05-23 具有改進性能的電話機及在其中處理音頻信號的方法 TWI426767B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/135,491 US7983720B2 (en) 2004-12-22 2005-05-24 Wireless telephone with adaptive microphone array
US11/215,304 US8509703B2 (en) 2004-12-22 2005-08-31 Wireless telephone with multiple microphones and multiple description transmission
US11/239,351 US20060147063A1 (en) 2004-12-22 2005-09-30 Echo cancellation in telephones with multiple microphones

Publications (2)

Publication Number Publication Date
TW200718155A TW200718155A (en) 2007-05-01
TWI426767B true TWI426767B (zh) 2014-02-11

Family

ID=36917332

Family Applications (1)

Application Number Title Priority Date Filing Date
TW095118220A TWI426767B (zh) 2005-05-24 2006-05-23 具有改進性能的電話機及在其中處理音頻信號的方法

Country Status (3)

Country Link
US (1) US20060147063A1 (zh)
EP (1) EP1727344A3 (zh)
TW (1) TWI426767B (zh)

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070116300A1 (en) * 2004-12-22 2007-05-24 Broadcom Corporation Channel decoding for wireless telephones with multiple microphones and multiple description transmission
US20060135085A1 (en) * 2004-12-22 2006-06-22 Broadcom Corporation Wireless telephone with uni-directional and omni-directional microphones
US7983720B2 (en) * 2004-12-22 2011-07-19 Broadcom Corporation Wireless telephone with adaptive microphone array
US20060133621A1 (en) * 2004-12-22 2006-06-22 Broadcom Corporation Wireless telephone having multiple microphones
US8509703B2 (en) * 2004-12-22 2013-08-13 Broadcom Corporation Wireless telephone with multiple microphones and multiple description transmission
EP2070302A2 (fr) * 2006-09-12 2009-06-17 France Telecom Automatisation de la configuration d'un terminal de telecommunication
JP5394373B2 (ja) * 2007-06-21 2014-01-22 コーニンクレッカ フィリップス エヌ ヴェ オーディオ信号を処理する装置及び方法
US8095120B1 (en) * 2007-09-28 2012-01-10 Avaya Inc. System and method of synchronizing multiple microphone and speaker-equipped devices to create a conferenced area network
US8428661B2 (en) 2007-10-30 2013-04-23 Broadcom Corporation Speech intelligibility in telephones with multiple microphones
US8433061B2 (en) * 2007-12-10 2013-04-30 Microsoft Corporation Reducing echo
US8219387B2 (en) * 2007-12-10 2012-07-10 Microsoft Corporation Identifying far-end sound
US8744069B2 (en) * 2007-12-10 2014-06-03 Microsoft Corporation Removing near-end frequencies from far-end sound
US8385557B2 (en) 2008-06-19 2013-02-26 Microsoft Corporation Multichannel acoustic echo reduction
EP2146519B1 (en) * 2008-07-16 2012-06-06 Nuance Communications, Inc. Beamforming pre-processing for speaker localization
US8605890B2 (en) * 2008-09-22 2013-12-10 Microsoft Corporation Multichannel acoustic echo cancellation
CN102045618B (zh) * 2009-10-19 2015-03-04 联想(北京)有限公司 自动调整的麦克风阵列、方法和携带麦克风阵列的装置
DE102009052992B3 (de) * 2009-11-12 2011-03-17 Institut für Rundfunktechnik GmbH Verfahren zum Abmischen von Mikrofonsignalen einer Tonaufnahme mit mehreren Mikrofonen
US20110181452A1 (en) * 2010-01-28 2011-07-28 Dsp Group, Ltd. Usage of Speaker Microphone for Sound Enhancement
FR2963183B1 (fr) * 2010-07-26 2014-12-19 Sagemcom Broadband Sas Terminal de communication mains libres a acoustique amelioree
US8811602B2 (en) * 2011-06-30 2014-08-19 Broadcom Corporation Full duplex speakerphone design using acoustically compensated speaker distortion
US9065895B2 (en) * 2012-02-22 2015-06-23 Broadcom Corporation Non-linear echo cancellation
CN103384297A (zh) * 2012-05-03 2013-11-06 华为技术有限公司 一种电话终端及电话终端的手柄
US8965005B1 (en) 2012-06-12 2015-02-24 Amazon Technologies, Inc. Transmission of noise compensation information between devices
US9183845B1 (en) * 2012-06-12 2015-11-10 Amazon Technologies, Inc. Adjusting audio signals based on a specific frequency range associated with environmental noise characteristics
KR20140029931A (ko) * 2012-08-31 2014-03-11 삼성전자주식회사 스피커에서 출력되는 음성을 소멸시켜 에코 발생을 차단하는 전자 장치 및 방법
US9078057B2 (en) * 2012-11-01 2015-07-07 Csr Technology Inc. Adaptive microphone beamforming
CN103002389B (zh) 2012-11-08 2016-01-13 广州市锐丰音响科技股份有限公司 一种声接收装置
US9065971B2 (en) * 2012-12-19 2015-06-23 Microsoft Technology Licensing, Llc Video and audio tagging for active speaker detection
US9813808B1 (en) 2013-03-14 2017-11-07 Amazon Technologies, Inc. Adaptive directional audio enhancement and selection
CN104376848B (zh) * 2013-08-12 2018-03-23 展讯通信（上海）有限公司 语音信号处理方法和装置
US9602923B2 (en) 2013-12-05 2017-03-21 Microsoft Technology Licensing, Llc Estimating a room impulse response
US9554207B2 (en) 2015-04-30 2017-01-24 Shure Acquisition Holdings, Inc. Offset cartridge microphones
US9565493B2 (en) 2015-04-30 2017-02-07 Shure Acquisition Holdings, Inc. Array microphone system and method of assembling the same
US9736578B2 (en) 2015-06-07 2017-08-15 Apple Inc. Microphone-based orientation sensors and related techniques
US9691413B2 (en) 2015-10-06 2017-06-27 Microsoft Technology Licensing, Llc Identifying sound from a source of interest based on multiple audio feeds
US9479627B1 (en) 2015-12-29 2016-10-25 Gn Audio A/S Desktop speakerphone
US10367948B2 (en) 2017-01-13 2019-07-30 Shure Acquisition Holdings, Inc. Post-mixing acoustic echo cancellation systems and methods
US10659877B2 (en) 2017-03-08 2020-05-19 Hewlett-Packard Development Company, L.P. Combined audio signal output
US10229698B1 (en) * 2017-06-21 2019-03-12 Amazon Technologies, Inc. Playback reference signal-assisted multi-microphone interference canceler
US9928847B1 (en) * 2017-08-04 2018-03-27 Revolabs, Inc. System and method for acoustic echo cancellation
JP2021509782A (ja) * 2017-12-29 2021-04-01 ハーマン インターナショナル インダストリーズ， インコーポレイテッド 遠端電気通信のための車室内音響雑音消去システム
US11146887B2 (en) 2017-12-29 2021-10-12 Harman International Industries, Incorporated Acoustical in-cabin noise cancellation system for far-end telecommunications
US10951859B2 (en) 2018-05-30 2021-03-16 Microsoft Technology Licensing, Llc Videoconferencing device and method
WO2019231632A1 (en) 2018-06-01 2019-12-05 Shure Acquisition Holdings, Inc. Pattern-forming microphone array
EP3806489A4 (en) * 2018-06-11 2021-08-11 Sony Group Corporation SIGNAL PROCESSING DEVICE, SIGNAL PROCESSING METHOD AND PROGRAM
US11297423B2 (en) 2018-06-15 2022-04-05 Shure Acquisition Holdings, Inc. Endfire linear array microphone
EP3854108A1 (en) 2018-09-20 2021-07-28 Shure Acquisition Holdings, Inc. Adjustable lobe shape for array microphones
JP2022526761A (ja) 2019-03-21 2022-05-26 シュアー アクイジッション ホールディングス インコーポレイテッド 阻止機能を伴うビーム形成マイクロフォンローブの自動集束、領域内自動集束、および自動配置
US11558693B2 (en) 2019-03-21 2023-01-17 Shure Acquisition Holdings, Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition and voice activity detection functionality
CN113841419A (zh) 2019-03-21 2021-12-24 舒尔获得控股公司 天花板阵列麦克风的外壳及相关联设计特征
CN114051738A (zh) 2019-05-23 2022-02-15 舒尔获得控股公司 可操纵扬声器阵列、系统及其方法
EP3977449A1 (en) 2019-05-31 2022-04-06 Shure Acquisition Holdings, Inc. Low latency automixer integrated with voice and noise activity detection
JP2022545113A (ja) 2019-08-23 2022-10-25 シュアー アクイジッション ホールディングス インコーポレイテッド 指向性が改善された一次元アレイマイクロホン
EP3863271A1 (en) * 2020-02-07 2021-08-11 TeamViewer Germany GmbH Method and device for enhancing a full duplex communication system
US11552611B2 (en) 2020-02-07 2023-01-10 Shure Acquisition Holdings, Inc. System and method for automatic adjustment of reference gain
USD944776S1 (en) 2020-05-05 2022-03-01 Shure Acquisition Holdings, Inc. Audio device
WO2021243368A2 (en) 2020-05-29 2021-12-02 Shure Acquisition Holdings, Inc. Transducer steering and configuration systems and methods using a local positioning system
WO2022165007A1 (en) 2021-01-28 2022-08-04 Shure Acquisition Holdings, Inc. Hybrid audio beamforming system
CN113067944B (zh) * 2021-03-24 2023-05-02 深圳市锐尔觅移动通信有限公司 通话音量的调节方法、装置、终端及存储介质
CN114665981B (zh) * 2022-02-18 2023-07-25 南京邮电大学 一种基于fft检测的声波检测方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5761318A (en) * 1995-09-26 1998-06-02 Nippon Telegraph And Telephone Corporation Method and apparatus for multi-channel acoustic echo cancellation
US20020193130A1 (en) * 2001-02-12 2002-12-19 Fortemedia, Inc. Noise suppression for a wireless communication device
US20030040908A1 (en) * 2001-02-12 2003-02-27 Fortemedia, Inc. Noise suppression for speech signal in an automobile
US20030044025A1 (en) * 2001-08-29 2003-03-06 Innomedia Pte Ltd. Circuit and method for acoustic source directional pattern determination utilizing two microphones
US20030053639A1 (en) * 2001-08-21 2003-03-20 Mitel Knowledge Corporation Method for improving near-end voice activity detection in talker localization system utilizing beamforming technology
US20030091182A1 (en) * 1999-11-03 2003-05-15 Tellabs Operations, Inc. Consolidated voice activity detection and noise estimation
US20030156722A1 (en) * 1998-06-30 2003-08-21 Taenzer Jon C. Ear level noise rejection voice pickup method and apparatus
US20030228023A1 (en) * 2002-03-27 2003-12-11 Burnett Gregory C. Microphone and Voice Activity Detection (VAD) configurations for use with communication systems
US6707910B1 (en) * 1997-09-04 2004-03-16 Nokia Mobile Phones Ltd. Detection of the speech activity of a source
US6717991B1 (en) * 1998-05-27 2004-04-06 Telefonaktiebolaget Lm Ericsson (Publ) System and method for dual microphone signal noise reduction using spectral subtraction

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4658426A (en) * 1985-10-10 1987-04-14 Harold Antin Adaptive noise suppressor
US5125032A (en) * 1988-12-02 1992-06-23 Erwin Meister Talk/listen headset
US5109390A (en) * 1989-11-07 1992-04-28 Qualcomm Incorporated Diversity receiver in a cdma cellular telephone system
EP0494709B1 (en) * 1991-01-09 1998-05-27 Philips Electronics Uk Limited Signal transmission system with sepatate tree coding for each of the parameters
JP3094517B2 (ja) * 1991-06-28 2000-10-03 日産自動車株式会社 能動型騒音制御装置
US5353376A (en) * 1992-03-20 1994-10-04 Texas Instruments Incorporated System and method for improved speech acquisition for hands-free voice telecommunication in a noisy environment
DE4330243A1 (de) * 1993-09-07 1995-03-09 Philips Patentverwaltung Sprachverarbeitungseinrichtung
DE69420705T2 (de) * 1993-12-06 2000-07-06 Koninkl Philips Electronics Nv System und vorrichtung zur rauschunterdrückung sowie mobilfunkgerät
US5581620A (en) * 1994-04-21 1996-12-03 Brown University Research Foundation Methods and apparatus for adaptive beamforming
JP3046203B2 (ja) * 1994-05-18 2000-05-29 三菱電機株式会社 ハンズフリー通話装置
US5706282A (en) * 1994-11-28 1998-01-06 Lucent Technologies Inc. Asymmetric speech coding for a digital cellular communications system
US5835851A (en) * 1995-01-19 1998-11-10 Ericsson Inc. Method and apparatus for echo reduction in a hands-free cellular radio using added noise frames
JP2758846B2 (ja) * 1995-02-27 1998-05-28 埼玉日本電気株式会社 ノイズキャンセラ装置
US5917919A (en) * 1995-12-04 1999-06-29 Rosenthal; Felix Method and apparatus for multi-channel active control of noise or vibration or of multi-channel separation of a signal from a noisy environment
DE69631955T2 (de) * 1995-12-15 2005-01-05 Koninklijke Philips Electronics N.V. Verfahren und schaltung zur adaptiven rauschunterdrückung und sendeempfänger
US5870681A (en) * 1995-12-28 1999-02-09 Lucent Technologies, Inc. Self-steering antenna array
US6011843A (en) * 1996-07-10 2000-01-04 Harris Corporation Method and apparatus for initiating parallel connections to identified plural sites
US5796819A (en) * 1996-07-24 1998-08-18 Ericsson Inc. Echo canceller for non-linear circuits
US6154499A (en) * 1996-10-21 2000-11-28 Comsat Corporation Communication systems using nested coder and compatible channel coding
US6236862B1 (en) * 1996-12-16 2001-05-22 Intersignal Llc Continuously adaptive dynamic signal separation and recovery system
US6163608A (en) * 1998-01-09 2000-12-19 Ericsson Inc. Methods and apparatus for providing comfort noise in communications systems
JP4163294B2 (ja) * 1998-07-31 2008-10-08 株式会社東芝 雑音抑圧処理装置および雑音抑圧処理方法
US6122610A (en) * 1998-09-23 2000-09-19 Verance Corporation Noise suppression for low bitrate speech coder
US6510224B1 (en) * 1999-05-20 2003-01-21 Telefonaktiebolaget L M Ericsson Enhancement of near-end voice signals in an echo suppression system
US6269161B1 (en) * 1999-05-20 2001-07-31 Signalworks, Inc. System and method for near-end talker detection by spectrum analysis
US7058185B1 (en) * 1999-06-24 2006-06-06 Koninklijke Philips Electronics N.V. Acoustic echo and noise cancellation
JP3789685B2 (ja) * 1999-07-02 2006-06-28 富士通株式会社 マイクロホンアレイ装置
US6594367B1 (en) * 1999-10-25 2003-07-15 Andrea Electronics Corporation Super directional beamforming design and implementation
US6675027B1 (en) * 1999-11-22 2004-01-06 Microsoft Corp Personal mobile computing device having antenna microphone for improved speech recognition
US6219645B1 (en) * 1999-12-02 2001-04-17 Lucent Technologies, Inc. Enhanced automatic speech recognition using multiple directional microphones
US6507653B1 (en) * 2000-04-14 2003-01-14 Ericsson Inc. Desired voice detection in echo suppression
US6668062B1 (en) * 2000-05-09 2003-12-23 Gn Resound As FFT-based technique for adaptive directionality of dual microphones
EP1312162B1 (en) * 2000-08-14 2005-01-12 Clear Audio Ltd. Voice enhancement system
WO2003036614A2 (en) * 2001-09-12 2003-05-01 Bitwave Private Limited System and apparatus for speech communication and speech recognition
US7158764B2 (en) * 2001-12-13 2007-01-02 Electronic Data Systems Corporation System and method for sending high fidelity sound between wireless units
US7321559B2 (en) * 2002-06-28 2008-01-22 Lucent Technologies Inc System and method of noise reduction in receiving wireless transmission of packetized audio signals
US7003099B1 (en) * 2002-11-15 2006-02-21 Fortmedia, Inc. Small array microphone for acoustic echo cancellation and noise suppression
US7174022B1 (en) * 2002-11-15 2007-02-06 Fortemedia, Inc. Small array microphone for beam-forming and noise suppression
TWI313676B (en) * 2002-12-05 2009-08-21 Syngenta Participations Ag Process for the preparation of phenylmalonic acid dinitriles
US6990194B2 (en) * 2003-05-19 2006-01-24 Acoustic Technology, Inc. Dynamic balance control for telephone
US7324937B2 (en) 2003-10-24 2008-01-29 Broadcom Corporation Method for packet loss and/or frame erasure concealment in a voice communication system
US7174002B1 (en) * 2003-11-05 2007-02-06 Nortel Networks, Ltd Method and apparatus for ascertaining the capacity of a network switch
US7983720B2 (en) * 2004-12-22 2011-07-19 Broadcom Corporation Wireless telephone with adaptive microphone array
US20070116300A1 (en) * 2004-12-22 2007-05-24 Broadcom Corporation Channel decoding for wireless telephones with multiple microphones and multiple description transmission
US20060133621A1 (en) * 2004-12-22 2006-06-22 Broadcom Corporation Wireless telephone having multiple microphones
US8509703B2 (en) * 2004-12-22 2013-08-13 Broadcom Corporation Wireless telephone with multiple microphones and multiple description transmission

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5761318A (en) * 1995-09-26 1998-06-02 Nippon Telegraph And Telephone Corporation Method and apparatus for multi-channel acoustic echo cancellation
US6707910B1 (en) * 1997-09-04 2004-03-16 Nokia Mobile Phones Ltd. Detection of the speech activity of a source
US6717991B1 (en) * 1998-05-27 2004-04-06 Telefonaktiebolaget Lm Ericsson (Publ) System and method for dual microphone signal noise reduction using spectral subtraction
US20030156722A1 (en) * 1998-06-30 2003-08-21 Taenzer Jon C. Ear level noise rejection voice pickup method and apparatus
US20030091182A1 (en) * 1999-11-03 2003-05-15 Tellabs Operations, Inc. Consolidated voice activity detection and noise estimation
US20020193130A1 (en) * 2001-02-12 2002-12-19 Fortemedia, Inc. Noise suppression for a wireless communication device
US20030040908A1 (en) * 2001-02-12 2003-02-27 Fortemedia, Inc. Noise suppression for speech signal in an automobile
US20030053639A1 (en) * 2001-08-21 2003-03-20 Mitel Knowledge Corporation Method for improving near-end voice activity detection in talker localization system utilizing beamforming technology
US20030044025A1 (en) * 2001-08-29 2003-03-06 Innomedia Pte Ltd. Circuit and method for acoustic source directional pattern determination utilizing two microphones
US20030228023A1 (en) * 2002-03-27 2003-12-11 Burnett Gregory C. Microphone and Voice Activity Detection (VAD) configurations for use with communication systems

Also Published As

Publication number Publication date
TW200718155A (en) 2007-05-01
EP1727344A2 (en) 2006-11-29
EP1727344A3 (en) 2013-01-23
US20060147063A1 (en) 2006-07-06

Similar Documents

Publication Publication Date Title
TWI426767B (zh) 具有改進性能的電話機及在其中處理音頻信號的方法
US8428661B2 (en) Speech intelligibility in telephones with multiple microphones
US7983720B2 (en) Wireless telephone with adaptive microphone array
US8509703B2 (en) Wireless telephone with multiple microphones and multiple description transmission
US20070116300A1 (en) Channel decoding for wireless telephones with multiple microphones and multiple description transmission
US9520139B2 (en) Post tone suppression for speech enhancement
US9589556B2 (en) Energy adjustment of acoustic echo replica signal for speech enhancement
US8948416B2 (en) Wireless telephone having multiple microphones
US20060135085A1 (en) Wireless telephone with uni-directional and omni-directional microphones
US7359504B1 (en) Method and apparatus for reducing echo and noise
JP4734070B2 (ja) ノイズ低減による多重チャンネル適応の音声信号処理
KR101275442B1 (ko) 멀티채널 신호의 위상 기반 프로세싱을 위한 시스템들, 방법들, 장치들, 및 컴퓨터 판독가능한 매체
KR101363838B1 (ko) 개선된 능동 잡음 소거를 위한 시스템, 방법, 장치 및 컴퓨터 프로그램 제품
JP4955676B2 (ja) 音響ビーム形成装置及び方法
CN100536511C (zh) 具有改进性能的电话机及在其中处理音频信号的方法
US10341759B2 (en) System and method of wind and noise reduction for a headphone
US9699554B1 (en) Adaptive signal equalization
WO2011092699A1 (en) Usage of speaker as microphone for sound enhancement
KR20150080645A (ko) 두부 장착형 마이크로폰 쌍을 이용하여 스피치 신호들을 프로세싱하는 방법들, 장치 및 컴퓨터 판독가능 매체들
KR20130043124A (ko) 오디오 등화를 위한 시스템들, 방법들, 디바이스들, 장치, 및 컴퓨터 프로그램 제품들
JP2008512888A (ja) 改善した雑音抑圧を有する電話装置
US9508359B2 (en) Acoustic echo preprocessing for speech enhancement
US8259926B1 (en) System and method for 2-channel and 3-channel acoustic echo cancellation
US9589572B2 (en) Stepsize determination of adaptive filter for cancelling voice portion by combining open-loop and closed-loop approaches
JP2005531956A (ja) 単一チャンネルまたは多重チャンネル型の通信システム用エコー処理装置

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees