JP6496941B2 - 情報処理装置 - Google Patents
情報処理装置 Download PDFInfo
- Publication number
- JP6496941B2 JP6496941B2 JP2017545183A JP2017545183A JP6496941B2 JP 6496941 B2 JP6496941 B2 JP 6496941B2 JP 2017545183 A JP2017545183 A JP 2017545183A JP 2017545183 A JP2017545183 A JP 2017545183A JP 6496941 B2 JP6496941 B2 JP 6496941B2
- Authority
- JP
- Japan
- Prior art keywords
- information processing
- processing apparatus
- unit
- sound
- sound collection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
- G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
- G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
- G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
- G10K11/1781—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions
- G10K11/17821—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions characterised by the analysis of the input signals only
- G10K11/17823—Reference signals, e.g. ambient acoustic environment
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
- G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
- G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
- G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
- G10K11/1785—Methods, e.g. algorithms; Devices
- G10K11/17853—Methods, e.g. algorithms; Devices of the filter
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/02—Constructional features of telephone sets
- H04M1/03—Constructional features of telephone transmitters or receivers, e.g. telephone hand-sets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
- H04R1/025—Arrangements for fixing loudspeaker transducers, e.g. in a box, furniture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
- G10K2210/10—Applications
- G10K2210/108—Communication systems, e.g. where useful sound is kept and noise is cancelled
- G10K2210/1081—Earphones, e.g. for telephones, ear protectors or headsets
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
- G10K2210/30—Means
- G10K2210/301—Computational
- G10K2210/3028—Filtering, e.g. Kalman filters or special analogue or digital filters
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
- G10K2210/30—Means
- G10K2210/301—Computational
- G10K2210/3046—Multiple acoustic inputs, multiple acoustic outputs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/02—Constructional features of telephone sets
- H04M1/04—Supports for telephone transmitters or receivers
- H04M1/05—Supports for telephone transmitters or receivers specially adapted for use on head, throat or breast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
- H04M1/6008—Substation equipment, e.g. for use by subscribers including speech amplifiers in the transmitter circuit
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
- H04R1/04—Structural association of microphone with electric circuitry therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
- H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2410/00—Microphones
- H04R2410/07—Mechanical or electrical reduction of wind noise generated by wind passing a microphone
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2420/00—Details of connection covered by H04R, not provided for in its groups
- H04R2420/07—Applications of wireless loudspeakers or wireless microphones
Description
1.第1の実施形態
1.1.概要
1.2.集音部の設置位置の検討
1.3.機能構成
1.4.処理
1.5.実施例
1.5.1.実施例1:首に装着されるウェアラブルデバイスの一例
1.5.2.実施例2:頭部に装着されるウェアラブルデバイスの一例
1.5.3.実施例3:携帯型情報端末への適用例
1.5.4.実施例4:時計型のウェアラブルデバイスへの適用例
1.5.5.実施例5:撮像装置への適用例
2.第2の実施形態
2.1.概要
2.2.機能構成
2.3.非相関成分パワー推定部の詳細
2.4.ランダムノイズパワー推定部の詳細
2.5.評価
3.第3の実施形態
3.1.概要
3.2.機能構成
3.3.マルチチャネルウィナーフィルタの算出方法の詳細
3.4.評価
4.ハードウェア構成
5.むすび
<1.1.概要>
まず、図1を参照して、本開示の第1の実施形態に係る情報処理装置の概略的な構成の一例について説明し、次いで、本実施形態に係る情報処理装置の技術的課題について説明する。図1は、本開示の第1の実施形態に係る情報処理装置の概略的な構成の一例について説明するための説明図である。
まず、本実施形態に係る情報処理装置10が、図1に示すように、ユーザの首に装着されるウェアラブルデバイスとして構成される場合を例に、当該ユーザの音声をより好適な態様で集音することが可能な集音部の設置位置に関する検討の結果について説明する。より具体的には、所謂風切音を雑音として想定し、複数箇所に集音部が設置された情報処理装置10に対して、互いに異なる角度から風を当てた場合における、当該集音部それぞれによる風切音の観測結果の一例について説明する。
次いで、図6を参照して、本実施形態に係る情報処理装置10の機能構成の一例について、特に、情報処理装置10が、複数の集音部それぞれの集音結果に基づき目的音(例えば、ユーザの音声)を取得する処理に着目して説明する。図6は、本実施形態に係る情報処理装置10の機能構成の一例を示したブロック図である。
次に、図8を参照して、本実施形態に係る情報処理装置10の一連の処理の流れの一例について、特に、情報処理装置10が、複数の集音部それぞれの集音結果に基づき目的音(例えば、ユーザの音声)を取得する処理に着目して説明する。図8は、本実施形態に係る情報処理装置10の一連の処理の流れの一例を示したフローチャートである。
外部環境の音響は、複数の集音部110により集音されることで、情報処理装置10に取り込まれる。集音部110は、集音結果に基づく音響信号(アナログ信号)のゲインの調整し、AD変換によりアナログ信号からデジタル信号に変換したうえで、変換後の音響信号(デジタル信号)xm(n)を周波数分解部13に出力する。
周波数分解部13は、集音部110から出力される音響信号xm(n)に対して、フレーム分割、所定の窓関数の適用、及び、時間−周波数変換等の処理を施すことで、当該音響信号xm(n)を周波数成分に分解する。そして、周波数分解部13は、音響信号xm(n)の各周波数成分Xm(i,k)を、後段に位置するフィルタ処理部17と、チャネルパワー推定部15とのそれぞれに出力する。これにより、複数の集音部110それぞれについて、音響信号xm(n)の各周波数成分Xm(i,k)が、フィルタ処理部17と、チャネルパワー推定部15とのそれぞれに出力されることとなる。
チャネルパワー推定部15は、周波数分解部13から集音部110ごとに音響信号xm(n)の各周波数成分Xm(i,k)を取得する。次いで、チャネルパワー推定部15は、各集音部110それぞれに対応する音響信号xm(n)の各周波数成分Xm(i,k)に基づき、周波数ごとに、各集音部110のパワースペクトルを推定する。そして、チャネルパワー推定部15は、周波数ごとに、各集音部110のパワースペクトルPm(i,k)の推定結果をフィルタ推定部16に出力する。
フィルタ推定部16は、チャネルパワー推定部15から出力される、周波数ごとの、各集音部110のパワースペクトルPm(i,k)の推定結果に基づき、後述するフィルタ処理部17が、フィルタリング処理を実行するためのフィルタ係数w(i,k)を算出する。
フィルタ処理部17は、周波数分解部13から集音部110ごとに音響信号xm(n)の各周波数成分Xm(i,k)を取得する。また、フィルタ処理部17は、フィルタ推定部16から周波数ごとに算出されたフィルタ係数w(i,k)を取得する。フィルタ処理部17は、集音部110ごとの音響信号xm(n)の各周波数成分Xm(i,k)を入力信号として、取得した周波数ごとのフィルタ係数w(i,k)に基づき当該入力信号を重み付け加算することで、周波数ごとの出力信号Y(i,k)を生成する。そして、フィルタ処理部17は、周波数ごとに生成した出力信号Y(i,k)を、周波数合成部18に出力する。
周波数合成部18は、フィルタ処理部17から出力される周波数ごとの出力信号Y(i,k)に対して、周波数−時間変換、所定の窓関数の適用、及びフレーム合成等の処理を施すことで、当該周波数ごとの出力信号Y(i,k)を合成する。これにより、各集音部110による集音結果が合成された音響信号y(n)が生成される。なお、周波数合成部18により生成された音響信号y(n)は、集音結果として、情報処理装置10により実行される各種処理(例えば、音声認識や音声通話等)に利用されることとなる。
次に、実施例として、本実施形態に係る情報処理装置10の他の一態様について説明する。
まず、実施例1として、図9〜図11を参照して、図1に示した所謂ネックバンド型のウェアラブルデバイスのように、ユーザの首に装着され得るウェアラブルデバイスとして構成された情報処理装置の一例について説明する。
次に、実施例2として、図12〜図15を参照して、頭部に装着され得るウェアラブルデバイスとして構成された情報処理装置の一例について説明する。
次に、実施例3として、図16及び図17を参照して、所謂スマートフォン等のような携帯型情報端末として構成された情報処理装置の一例について説明する。
次に、実施例4として、図18及び図19を参照して、腕に装着され得る、所謂時計型のウェアラブルデバイスとして構成された情報処理装置の一例について説明する。
次に、実施例5として、図20及び図21を参照して、動画像や静止画像を撮像可能な撮像装置として構成された情報処理装置の一例について説明する。
<2.1.概要>
続いて、本開示の第2の実施形態について説明する。前述した第1の実施形態に係る情報処理装置10では、複数の集音部それぞれの集音結果に基づき、観測レベル(即ち、集音された音響のレベル)のより小さい集音部の入力が優先されるようにフィルタリング処理を施すことで、風切音のようなランダムに発生する雑音の影響を低減していた。このような制御により、特に、風切音のようなランダムに発生する雑音の影響がより大きい場合に、より好適な態様で当該雑音の影響を緩和することが可能となる。
まず、図22を参照して、本実施形態に係る情報処理装置の機能構成の一例について説明する。図22は、本実施形態に係る情報処理装置の機能構成の一例を示したブロック図である。なお、以降の説明では、本実施形態に係る情報処理装置を、前述した第1の実施形態に係る情報処理装置10(図6参照)と明示的に区別するために、「情報処理装置60」と称する場合がある。
続いて、非相関成分パワー推定部653が、周波数ごとに、各集音部110に対応する非相関成分のパワースペクトルQm(i,k)を算出する処理の詳細について説明する。
続いて、ランダムノイズパワー推定部655が、フィルタ係数w(i,k)の算出に用いられる、周波数ごとの、各集音部110のパワースペクトルWm(i,k)を決定する処理の詳細について説明する。
例えば、ランダムノイズパワー推定部655は、非相関成分のパワースペクトルQm(i,k)の推定結果を、パワースペクトルWm(i,k)としてフィルタ推定部66に出力してもよい。なお、この場合には、チャネルパワー推定部65は、入力パワー推定部651を含まなくてもよい。
また、他の一例として、ランダムノイズパワー推定部655は、所定の条件に基づき、パワースペクトルPm(i,k)及びQm(i,k)それぞれの推定結果のうちのいずれかを選択的に、パワースペクトルWm(i,k)としてフィルタ推定部66に出力してもよい。
また、他の一例として、ランダムノイズパワー推定部655は、パワースペクトルPm(i,k)及びQm(i,k)それぞれの推定結果に基づき、パワースペクトルWm(i,k)を適応的に算出してもよい。
以上説明したように、本実施形態に係る情報処理装置60は、複数の集音部110のうち少なくとも2以上の集音部110による集音結果と、フィルタ処理部17の出力信号Y(i,k)のフィードバックとに基づき、非相関成分のパワースペクトルQm(i,k)を推定する。そして、情報処理装置60は、非相関成分のパワースペクトルQm(i,k)の推定結果を、フィルタ係数w(i,k)の推定に利用する。このような構成により、情報処理装置60は、前述した第1の実施形態と同様に風切音等のランダムに発生する雑音の抑圧効果を維持し、さらに、ランダムに発生する雑音の影響が小さい場合において、より好適な態様で目的音を取得することが可能となる。
<3.1.概要>
続いて、本開示の第3の実施形態として、本開示に係る技術を、所謂マルチチャネルウィナーフィルタ(MWF:Multi Channel Wiener Filter)に適用した場合の一例について説明する。
図24を参照して、本実施形態に係る情報処理装置の機能構成の一例について説明する。図24は、本実施形態に係る情報処理装置の機能構成の一例を示したブロック図である。なお、以降の説明では、本実施形態に係る情報処理装置を、前述した他の実施形態に係る情報処理装置(例えば、情報処理装置10及び60)と明示的に区別するために、「情報処理装置70」と称する場合がある。
マルチチャネルウィナーフィルタ処理部76は、周波数分解部13から集音部110ごとに音響信号xm(n)の各周波数成分Xm(i,k)を取得する。また、マルチチャネルウィナーフィルタ処理部76は、後述するマルチチャネルウィナーフィルタ算出部75から、周波数ごとにマルチチャネルウィナーフィルタWmwf(i,k)の算出結果を取得する。なお、マルチチャネルウィナーフィルタWmwf(i,k)の算出方法については詳細を別途後述する。そして、マルチチャネルウィナーフィルタ処理部76は、集音部110ごとの音響信号xm(n)の各周波数成分Xm(i,k)を入力信号として、当該マルチチャネルウィナーフィルタWmwf(i,k)に基づくフィルタリング処理を施すことで、出力信号Sを周波数ごとに生成する。例えば、出力信号Sは、以下に(式24)として示す計算式で表される。なお、以下に示す(式24)では、フレーム番号i及び離散周波数番号kの記載を省略している。
周波数合成部77は、マルチチャネルウィナーフィルタ処理部76から周波数ごとに生成された出力信号Sを取得する。周波数合成部77は、取得した周波数ごとの出力信号Sを合成することで音響信号を生成する。なお、周波数合成部77による処理は、前述した第1及び第2の実施形態に係る周波数合成部18が、周波数ごとの出力信号Y(i,k)を合成することで音響信号y(n)を生成する処理と同様のため、詳細な説明は省略する。
続いて、チャネルパワー推定部71及びフィルタ推定部72の構成について説明する。チャネルパワー推定部71及びフィルタ推定部72は、前述した第1の実施形態に係る情報処理装置10と同様の仕組みを適用して構成してもよいし、第2の実施形態に係る情報処理装置60と同様の仕組みを適用して構成してもよい。そこで、以下にそれぞれの場合に着目して説明する。
まず、前述した第1の実施形態に係る情報処理装置10(図6参照)と同様の仕組みを適用して、チャネルパワー推定部71及びフィルタ推定部72を構成する場合について説明する。この場合には、チャネルパワー推定部71及びフィルタ推定部72は、第1の実施形態に係るチャネルパワー推定部15及びフィルタ推定部16に相当することとなる。
続いて、前述した第2の実施形態に係る情報処理装置60(図22参照)と同様の仕組みを適用して、チャネルパワー推定部71及びフィルタ推定部72を構成する場合について説明する。この場合には、チャネルパワー推定部71及びフィルタ推定部72は、第2の実施形態に係るチャネルパワー推定部65及びフィルタ推定部66に相当することとなる。
入力相関行列算出部73は、周波数分解部13から集音部110ごとに音響信号xm(n)の各周波数成分Xm(i,k)を取得する。次いで、入力相関行列算出部73は、取得した各周波数成分Xm(i,k)を入力として、前述した(式20)に基づき、入力相関行列Rxを周波数ごとに算出する。そして、入力相関行列算出部73は、周波数ごとに算出した入力相関行列Rxをマルチチャネルウィナーフィルタ算出部75に出力する。
ノイズ相関行列算出部74は、周波数分解部13から集音部110ごとに音響信号xm(n)の各周波数成分Xm(i,k)を取得する。次いで、ノイズ相関行列算出部74は、音響信号xm(n)の各周波数成分Xm(i,k)の取得結果に基づき休止区間を特定する。次いで、ノイズ相関行列算出部74は、特定した休止区間における当該各周波数成分Xm(i,k)を入力として、前述した(式21)に基づき、ノイズ相関行列Rnを周波数ごとに算出する。そして、ノイズ相関行列算出部74は、周波数ごとに算出したノイズ相関行列Rnをマルチチャネルウィナーフィルタ算出部75に出力する。
マルチチャネルウィナーフィルタ算出部75は、フィルタ推定部72から、フィルタ係数w(i,k)に基づくフィルタGの算出結果を周波数ごとに取得する。また、マルチチャネルウィナーフィルタ算出部75は、入力相関行列算出部73から、入力相関行列Rxの算出結果を周波数ごとに取得する。また、マルチチャネルウィナーフィルタ算出部75は、ノイズ相関行列算出部74から、ノイズ相関行列Rnの算出結果を周波数ごとに取得する。次いで、マルチチャネルウィナーフィルタ算出部75は、周波数ごとに取得した、フィルタG、入力相関行列Rx、及びノイズ相関行列Rnそれぞれの算出結果に基づき、周波数ごとにマルチチャネルウィナーフィルタWmwf(i,k)を算出する。そして、マルチチャネルウィナーフィルタ算出部75は、マルチチャネルウィナーフィルタWmwf(i,k)の算出結果をマルチチャネルウィナーフィルタ処理部76に出力する。これにより、マルチチャネルウィナーフィルタ処理部76は、集音部110ごとの音響信号xm(n)の各周波数成分Xm(i,k)に対して、当該マルチチャネルウィナーフィルタWmwf(i,k)に基づきフィルタリング処理を施すことが可能となる。なお、マルチチャネルウィナーフィルタWmwf(i,k)の算出方法については、より詳細な内容について別途後述する。
続いて、マルチチャネルウィナーフィルタWmwf(i,k)の算出方法についてより詳しく説明する。なお、本説明では、フレーム番号i及び離散周波数番号kの記載については省略するものとする。
以上説明したように、本実施形態に係る情報処理装置70は、各集音部110それぞれに対応する音響信号xm(n)の各周波数成分Xm(i,k)に基づき、周波数ごとに、各集音部110のパワースペクトル(例えば、前述したパワースペクトルPm(i,k)やパワースペクトルWm(i,k))を推定する。そして、情報処理装置70は、当該パワースペクトルの推定結果に基づきフィルタ係数w(i,k)を推定し、当該フィルタ係数w(i,k)の推定結果をマルチチャネルウィナーフィルタWmwf(i,k)の算出に利用する。このような構成により、本実施形態に係る情報処理装置70は、複数の集音部110のうち、ランダムノイズの影響がより小さい集音部110をリファレンスマイクとして動的に選択することが可能となる。即ち、本実施形態に係る情報処理装置70に依れば、リファレンスマイクが固定的に設定される従来のマルチチャネルウィナーフィルタを適用した場合に比べて、ランダムノイズの影響をより低減し、ひいては、より好適な態様で目的音を抽出することが可能となる。
次に、図25を参照して、本開示の各実施形態に係る情報処理装置10(即ち、上述した信号処理装置11〜14)のハードウェア構成の一例について説明する。図25は、本開示の各実施形態に係る情報処理装置10のハードウェア構成の一例を示した図である。
以上、説明したように、本実施形態に係る情報処理装置10は、少なくとも一部に流線形の形状を有する凸部を備え、当該凸部の先端、または、当該先端の近傍に位置するように集音部110が支持される。このような構成とすることで、例えば、風切音、振動に伴う雑音、及び装置の装着に伴う衣擦れ等のようなランダムに発生する雑音の影響を緩和し、より好適な態様で目的音(例えば、ユーザの音声)を集音することが可能となる。
(1)
集音部と、
流線形の形状を有する凸部を少なくとも一部に備え、前記凸部の先端、または、当該先端の近傍に位置するように前記集音部を支持する支持部材と、
を備える、情報処理装置。
(2)
前記集音部である第1の集音部に加えて、当該第1の集音部とは異なる1以上の第2の集音部を備える、前記(1)に記載の情報処理装置。
(3)
前記支持部材は、複数の前記第2の集音部のそれぞれが、互いに異なる方向を向くように支持する、前記(2)に記載の情報処理装置。
(4)
前記支持部材は、ユーザの所定の部位に装着され、前記集音部と当該部位とが所定の位置関係となるように当該集音部を支持する、前記(1)に記載の情報処理装置。
(5)
前記部位は、首であり、
前記支持部材は、前記首に装着された場合に、前記凸部の先端が当該ユーザの略前方を向くように当該凸部が設けられている、
前記(4)に記載の情報処理装置。
(6)
前記集音部である第1の集音部に加えて、当該第1の集音部とは異なる複数の第2の集音部を備え、
複数の前記第2の集音部のうち少なくとも2以上の第2の集音部を、前記部位を基準として互いに略対称となる位置に支持する、
前記(4)または(5)に記載の情報処理装置。
(7)
前記第1の集音部と1以上の前記第2の集音部とのそれぞれにより集音された音響に基づき、前記第1の集音部に対して所定の方向から到来する音響に対する雑音成分を抑圧する信号処理部を備える、前記(2)に記載の情報処理装置。
(8)
前記信号処理部は、前記第1の集音部と1以上の前記第2の集音部とのそれぞれにより集音された音響に基づき、当該音響の周波数成分それぞれの信号レベルを推定し、当該信号レベルの推定結果に基づき、前記雑音成分を抑圧する、前記(7)に記載の情報処理装置。
(9)
前記信号処理部は、前記第1の集音部と1以上の前記第2の集音部とのうちの少なくとも複数の集音部それぞれにより集音された第1の音響と、従前の処理により前記雑音成分が抑圧された第2の音響との間の相関性に基づき、前記第1の音響に含まれる前記雑音成分を抑圧する、前記(7)に記載の情報処理装置。
(10)
前記支持部材は、前記複数の集音部のうち少なくとも2以上の集音部のそれぞれと、所定の音源との間の距離が互いに異なるように、当該複数の集音部を支持する、前記(9)に記載の情報処理装置。
(11)
前記支持部材は、前記複数の集音部のうち少なくとも2以上の集音部のそれぞれが、所定の音源に対して互いに異なる方向に位置するように、当該複数の集音部を支持する、前記(9)または(10)に記載の情報処理装置。
(12)
前記第1の集音部と1以上の前記第2の集音部とのうち一部の集音部により集音された音響を選択的に出力する出力制御部を備え、
前記出力制御部は、前記第1の集音部と1以上の前記第2の集音部とのそれぞれにより集音された音響に基づき、当該音響の周波数成分それぞれの信号レベルを推定し、当該信号レベルの推定結果に基づき、前記一部の集音部を選択する、
前記(2)に記載の情報処理装置。
(13)
前記出力制御部は、マルチチャネルウィナーフィルタを含み、当該マルチチャネルウィナーフィルタのリファレンスマイクを、前記信号レベルの推定結果に基づき選択する、前記(12)に記載の情報処理装置。
(14)
前記支持部材は、少なくとも一部に略矩形状の面を有する筐体であり、
前記筐体は、前記略矩形状の面の角を含む所定の領域中に前記凸部を有し、当該凸部の先端、または、当該先端の近傍に前記集音部を支持する、
前記(1)に記載の情報処理装置。
(15)
複数の前記集音部を備え、
前記筐体は、前記略矩形状の面の角のうち複数の角それぞれについて、当該角を含む所定の領域中に前記凸部を有し、当該凸部の先端、または、当該先端の近傍に前記集音部を支持する、前記(14)に記載の情報処理装置。
(16)
ユーザの腕に対して前記筐体を支持するバンド部を備え、
前記バンド部は、前記腕に装着された場合に、当該腕を基準として前記筐体と略対称となる位置に前記集音部とは異なる他の集音部を備える、
前記(14)または(15)に記載の情報処理装置。
(17)
前記支持部材は、ユーザの頭部に装着されるメガネ型のフレームであり、
前記フレームは、フロントの少なくとも一部に前記凸部を有し、当該凸部の先端、または、当該先端の近傍に前記集音部を支持する、
前記(1)に記載の情報処理装置。
(18)
前記フレームは、ブリッジ、または、当該ブリッジの近傍に前記凸部を有し、当該凸部の先端、または、当該先端の近傍に前記集音部を支持する、前記(17)に記載の情報処理装置。
13 周波数分解部
15 チャネルパワー推定部
16 フィルタ推定部
17 フィルタ処理部
18 周波数合成部
110〜113 集音部
60 情報処理装置
65 チャネルパワー推定部
651 入力パワー推定部
653 非相関成分パワー推定部
655 ランダムノイズパワー推定部
66 フィルタ推定部
Claims (4)
- 第1の集音部と、
前記第1の集音部とは異なる第2の集音部と、
前記第1の集音部と前記第2の集音部を支持する支持部材と、
前記第1の集音部により集音された音響信号と前記第2の集音部により集音された音響信号に基づいて、風切音が抑圧された音響信号を生成する信号処理部と、
を具備し、
前記支持部材は、
一部が開口したリング状の端部の少なくとも一部に、流線形の形状を有する凸部を備え、
前記凸部の先端、または、当該先端の近傍に位置し、かつ前記第1の集音部が当該凸部が突出する方向を向くように、当該第1の集音部を支持し、
前記支持部材がユーザの首に掛けられたときに、前記第2の集音部が当該ユーザの口の方向を向くように、当該第2の集音部を支持する、
情報処理装置。 - 前記支持部材は、前記第1の集音部と所定の音源との間の距離と、前記第2の集音部と前記所定の音源との間の距離が異なるように、当該第1の集音部および第2の集音部を支持する、請求項1に記載の情報処理装置。
- 前記支持部材は、前記第1の集音部と前記第2の集音部が、所定の音源に対して異なる方向に位置するように、当該第1の集音部および当該第2の集音部を支持する、請求項1に記載の情報処理装置。
- 外部装置と無線で通信し、前記風切音が抑圧された音響信号を供給する通信部を更に備える、請求項1に記載の情報処理装置。
に記載の情報処理装置。
Applications Claiming Priority (9)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015201723 | 2015-10-13 | ||
JP2015201723 | 2015-10-13 | ||
JP2016133593 | 2016-07-05 | ||
JP2016133593 | 2016-07-05 | ||
PCT/JP2016/073655 WO2017064914A1 (ja) | 2015-10-13 | 2016-08-10 | 情報処理装置 |
JPPCT/JP2016/073655 | 2016-08-10 | ||
JP2016177402 | 2016-09-12 | ||
JP2016177402 | 2016-09-12 | ||
PCT/JP2016/079855 WO2017065092A1 (ja) | 2015-10-13 | 2016-10-06 | 情報処理装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019037388A Division JP2019110593A (ja) | 2015-10-13 | 2019-03-01 | 情報処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017065092A1 JPWO2017065092A1 (ja) | 2018-07-26 |
JP6496941B2 true JP6496941B2 (ja) | 2019-04-10 |
Family
ID=62388378
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017545183A Active JP6496941B2 (ja) | 2015-10-13 | 2016-10-06 | 情報処理装置 |
JP2019037388A Pending JP2019110593A (ja) | 2015-10-13 | 2019-03-01 | 情報処理装置 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019037388A Pending JP2019110593A (ja) | 2015-10-13 | 2019-03-01 | 情報処理装置 |
Country Status (8)
Country | Link |
---|---|
US (1) | US10565976B2 (ja) |
EP (2) | EP3364663B1 (ja) |
JP (2) | JP6496941B2 (ja) |
KR (1) | KR102524931B1 (ja) |
CN (1) | CN108141654B (ja) |
BR (1) | BR112018007055A2 (ja) |
PH (1) | PH12018500760A1 (ja) |
RU (1) | RU2727883C2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110493692B (zh) | 2015-10-13 | 2022-01-25 | 索尼公司 | 信息处理装置 |
JP2019122035A (ja) * | 2018-01-05 | 2019-07-22 | オンキヨー株式会社 | オーディオ入出力装置 |
JP2021043337A (ja) * | 2019-09-11 | 2021-03-18 | オンキヨーホームエンターテイメント株式会社 | システム |
JP6786139B1 (ja) * | 2020-07-06 | 2020-11-18 | Fairy Devices株式会社 | 音声入力装置 |
Family Cites Families (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS51248Y1 (ja) | 1971-05-26 | 1976-01-07 | ||
US5736928A (en) * | 1995-09-01 | 1998-04-07 | Pittway Corporation | Pre-processor apparatus and method |
US5793875A (en) | 1996-04-22 | 1998-08-11 | Cardinal Sound Labs, Inc. | Directional hearing system |
US6285757B1 (en) * | 1997-11-07 | 2001-09-04 | Via, Inc. | Interactive devices and methods |
US7206418B2 (en) * | 2001-02-12 | 2007-04-17 | Fortemedia, Inc. | Noise suppression for a wireless communication device |
MXPA05001079A (es) | 2002-07-26 | 2005-06-03 | Oakley Inc | Audifonos interactivos inalambricos. |
WO2004012413A1 (en) * | 2002-07-30 | 2004-02-05 | Livedevices Limited | Served initiated authorised communication in the presence of network address translator (nat) or firewalls |
US7428429B2 (en) | 2002-08-14 | 2008-09-23 | Sync1 Llc | Hands-free personal communication device |
JP2004361938A (ja) * | 2003-05-15 | 2004-12-24 | Takenaka Komuten Co Ltd | 騒音低減装置 |
US7383181B2 (en) * | 2003-07-29 | 2008-06-03 | Microsoft Corporation | Multi-sensory speech detection system |
US7099821B2 (en) | 2003-09-12 | 2006-08-29 | Softmax, Inc. | Separation of target acoustic signals in a multi-transducer arrangement |
US7773759B2 (en) * | 2006-08-10 | 2010-08-10 | Cambridge Silicon Radio, Ltd. | Dual microphone noise reduction for headset application |
RU2345422C2 (ru) * | 2006-11-20 | 2009-01-27 | Эдуард Борисович Попов | Способ и устройство формирования изображения для распознавания направления распространения звука речи |
US7711110B2 (en) * | 2007-03-16 | 2010-05-04 | Midas Technology, Llc | Universal speakerphone with adaptable interface |
US8175871B2 (en) * | 2007-09-28 | 2012-05-08 | Qualcomm Incorporated | Apparatus and method of noise and echo reduction in multiple microphone audio systems |
US8411880B2 (en) | 2008-01-29 | 2013-04-02 | Qualcomm Incorporated | Sound quality by intelligently selecting between signals from a plurality of microphones |
US8897455B2 (en) * | 2010-02-18 | 2014-11-25 | Qualcomm Incorporated | Microphone array subset selection for robust noise reduction |
JP2012133250A (ja) * | 2010-12-24 | 2012-07-12 | Sony Corp | 音情報表示装置、音情報表示方法およびプログラム |
JP2012203122A (ja) | 2011-03-24 | 2012-10-22 | Panasonic Corp | 音声選択装置並びにそれを使用したメディア機器およびハンズフリー通話装置 |
JP5772447B2 (ja) * | 2011-09-27 | 2015-09-02 | 富士ゼロックス株式会社 | 音声解析装置 |
US10223710B2 (en) | 2013-01-04 | 2019-03-05 | Visa International Service Association | Wearable intelligent vision device apparatuses, methods and systems |
JP6162220B2 (ja) * | 2012-04-27 | 2017-07-12 | ソニーモバイルコミュニケーションズ, エービー | マイクロフォンアレイにおける音の相関に基づく雑音抑制 |
CN104429050B (zh) * | 2012-07-18 | 2017-06-20 | 华为技术有限公司 | 具有用于立体声音频录音的麦克风的便携式电子装置 |
JP2014023141A (ja) | 2012-07-23 | 2014-02-03 | Satoru Katsumata | 携帯情報端末機携行保持具 |
JP6101018B2 (ja) | 2012-08-24 | 2017-03-22 | 株式会社アコー | 防風層付き表面音圧測定マイクロホン |
CN104781880B (zh) * | 2012-09-03 | 2017-11-28 | 弗劳恩霍夫应用研究促进协会 | 用于提供通知的多信道语音存在概率估计的装置和方法 |
JP2014116648A (ja) * | 2012-12-06 | 2014-06-26 | Jvc Kenwood Corp | 音源方向表示装置、音源方向表示方法、音源方向送信方法、及び音源方向表示プログラム |
CN202998463U (zh) | 2012-12-11 | 2013-06-12 | 启通科技有限公司 | 一种挂颈式助听器 |
JP6174856B2 (ja) | 2012-12-27 | 2017-08-02 | キヤノン株式会社 | 雑音抑制装置、その制御方法、及びプログラム |
KR101498087B1 (ko) * | 2013-02-21 | 2015-03-03 | 엘지전자 주식회사 | 블루투스 헤드셋 |
WO2014163797A1 (en) | 2013-03-13 | 2014-10-09 | Kopin Corporation | Noise cancelling microphone apparatus |
GB2532379B (en) | 2013-07-12 | 2019-06-19 | Cirrus Logic Int Semiconductor Ltd | Two-stage wind noise reduction method |
EP2840807A1 (en) * | 2013-08-19 | 2015-02-25 | Oticon A/s | External microphone array and hearing aid using it |
US20160205453A1 (en) * | 2013-08-23 | 2016-07-14 | Binauric SE | External speaker/microphone apparatus for use with an electrical device for providing audio signals and/or for voice communication |
EP2919482B1 (en) * | 2014-03-13 | 2019-11-06 | LG Electronics Inc. | Wireless ear piece |
KR102091520B1 (ko) * | 2014-03-25 | 2020-03-20 | 엘지전자 주식회사 | 이동 단말기 |
KR102127390B1 (ko) * | 2014-06-10 | 2020-06-26 | 엘지전자 주식회사 | 무선 리시버 및 그 제어 방법 |
WO2015196411A1 (en) * | 2014-06-26 | 2015-12-30 | Intel Corporation | Beamforming audio with wearable device microphones |
US9654868B2 (en) | 2014-12-05 | 2017-05-16 | Stages Llc | Multi-channel multi-domain source identification and tracking |
US10368162B2 (en) | 2015-10-30 | 2019-07-30 | Google Llc | Method and apparatus for recreating directional cues in beamformed audio |
-
2016
- 2016-10-06 BR BR112018007055-6A patent/BR112018007055A2/ja not_active Application Discontinuation
- 2016-10-06 EP EP16855346.9A patent/EP3364663B1/en active Active
- 2016-10-06 RU RU2018112178A patent/RU2727883C2/ru active
- 2016-10-06 JP JP2017545183A patent/JP6496941B2/ja active Active
- 2016-10-06 CN CN201680058465.XA patent/CN108141654B/zh active Active
- 2016-10-06 EP EP19168684.9A patent/EP3544311B1/en active Active
- 2016-10-06 US US15/766,241 patent/US10565976B2/en active Active
- 2016-10-06 KR KR1020187008290A patent/KR102524931B1/ko active IP Right Grant
-
2018
- 2018-04-05 PH PH12018500760A patent/PH12018500760A1/en unknown
-
2019
- 2019-03-01 JP JP2019037388A patent/JP2019110593A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
RU2727883C2 (ru) | 2020-07-24 |
RU2018112178A3 (ja) | 2020-02-10 |
EP3544311A1 (en) | 2019-09-25 |
EP3364663A1 (en) | 2018-08-22 |
US20180286376A1 (en) | 2018-10-04 |
JP2019110593A (ja) | 2019-07-04 |
EP3364663B1 (en) | 2020-12-02 |
CN108141654A (zh) | 2018-06-08 |
RU2018112178A (ru) | 2019-10-07 |
CN108141654B (zh) | 2020-02-14 |
US10565976B2 (en) | 2020-02-18 |
PH12018500760A1 (en) | 2018-10-15 |
KR20180068962A (ko) | 2018-06-22 |
JPWO2017065092A1 (ja) | 2018-07-26 |
BR112018007055A2 (ja) | 2018-10-23 |
KR102524931B1 (ko) | 2023-04-25 |
EP3544311B1 (en) | 2022-11-30 |
EP3364663A4 (en) | 2018-11-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2017065092A1 (ja) | 情報処理装置 | |
CN108600907B (zh) | 定位声源的方法、听力装置及听力系统 | |
JP2019110593A (ja) | 情報処理装置 | |
EP3413589B1 (en) | A microphone system and a hearing device comprising a microphone system | |
US9094749B2 (en) | Head-mounted sound capture device | |
CN108370471A (zh) | 分布式音频捕获和混合 | |
US11146897B2 (en) | Method of operating a hearing aid system and a hearing aid system | |
KR20170067682A (ko) | 음향 신호 수집을 위한 코드 실행가능 방법, 회로, 장치, 시스템 및 관련 컴퓨터 | |
JP2017092732A (ja) | 聴覚支援システムおよび聴覚支援装置 | |
TW202242855A (zh) | 聲學裝置 | |
JP5034735B2 (ja) | 音処理装置およびプログラム | |
WO2017064914A1 (ja) | 情報処理装置 | |
WO2023087565A1 (zh) | 一种开放式声学装置 | |
WO2022226696A1 (zh) | 一种开放式耳机 | |
D'Olne et al. | Model-based beamforming for wearable microphone arrays | |
CN114708881A (zh) | 基于双麦克风的定向可选拾音方法、电子设备及存储介质 | |
US11937047B1 (en) | Ear-worn device with neural network for noise reduction and/or spatial focusing using multiple input audio signals | |
CN115665606B (zh) | 基于四麦克风的收音方法和收音装置 | |
US20220240026A1 (en) | Hearing device comprising a noise reduction system | |
Ohlenbusch et al. | Multi-Microphone Noise Data Augmentation for DNN-based Own Voice Reconstruction for Hearables in Noisy Environments | |
CN115529537A (zh) | 一种差分波束形成方法、装置及存储介质 | |
JP2023554206A (ja) | オープン型音響装置 | |
CN116781817A (zh) | 双耳拾音方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180626 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180626 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20180626 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20180911 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180918 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181113 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190205 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190208 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190214 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190218 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6496941 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |