JP6496941B2 - 情報処理装置 - Google Patents

情報処理装置 Download PDF

Info

Publication number
JP6496941B2
JP6496941B2 JP2017545183A JP2017545183A JP6496941B2 JP 6496941 B2 JP6496941 B2 JP 6496941B2 JP 2017545183 A JP2017545183 A JP 2017545183A JP 2017545183 A JP2017545183 A JP 2017545183A JP 6496941 B2 JP6496941 B2 JP 6496941B2
Authority
JP
Japan
Prior art keywords
information processing
processing apparatus
unit
sound
sound collection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017545183A
Other languages
English (en)
Other versions
JPWO2017065092A1 (ja
Inventor
俊之 関矢
俊之 関矢
裕一郎 小山
裕一郎 小山
雄哉 平野
雄哉 平野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from PCT/JP2016/073655 external-priority patent/WO2017064914A1/ja
Application filed by Sony Corp filed Critical Sony Corp
Priority claimed from PCT/JP2016/079855 external-priority patent/WO2017065092A1/ja
Publication of JPWO2017065092A1 publication Critical patent/JPWO2017065092A1/ja
Application granted granted Critical
Publication of JP6496941B2 publication Critical patent/JP6496941B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1781Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions
    • G10K11/17821Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions characterised by the analysis of the input signals only
    • G10K11/17823Reference signals, e.g. ambient acoustic environment
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1785Methods, e.g. algorithms; Devices
    • G10K11/17853Methods, e.g. algorithms; Devices of the filter
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/03Constructional features of telephone transmitters or receivers, e.g. telephone hand-sets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/02Casings; Cabinets ; Supports therefor; Mountings therein
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/02Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/025Arrangements for fixing loudspeaker transducers, e.g. in a box, furniture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/10Applications
    • G10K2210/108Communication systems, e.g. where useful sound is kept and noise is cancelled
    • G10K2210/1081Earphones, e.g. for telephones, ear protectors or headsets
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30Means
    • G10K2210/301Computational
    • G10K2210/3028Filtering, e.g. Kalman filters or special analogue or digital filters
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30Means
    • G10K2210/301Computational
    • G10K2210/3046Multiple acoustic inputs, multiple acoustic outputs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/04Supports for telephone transmitters or receivers
    • H04M1/05Supports for telephone transmitters or receivers specially adapted for use on head, throat or breast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/60Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6008Substation equipment, e.g. for use by subscribers including speech amplifiers in the transmitter circuit
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/02Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/04Structural association of microphone with electric circuitry therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2410/00Microphones
    • H04R2410/07Mechanical or electrical reduction of wind noise generated by wind passing a microphone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07Applications of wireless loudspeakers or wireless microphones

Description

本開示は、情報処理装置に関する。
近年では、通信技術の進歩や各種デバイスの小型化に伴い、所謂情報処理装置と呼ばれる機器の種別も多様化してきており、PC(Personal Computer)等に限らず、スマートフォンやタブレット端末のように、ユーザが携行可能に構成された情報処理装置も普及してきている。特に、近年では、ユーザが身体の一部に装着することで携行しながら使用可能に構成された、所謂ウェアラブルデバイスも提案されている。
また、近年では、所謂音声認識技術や自然言語処理技術の発展に伴い、ユーザが音声入力により、各種処理を指示することが可能なユーザインタフェース(UI:User Interface)を有する情報処理装置も普及してきている。
特開2012−203122号公報
また、音声認識や音声通話等のためにユーザが発する音声を集音可能に構成された情報処理装置においては、集音対象となる音声以外の他の音響(即ち、雑音)を抑圧することで、当該音声の集音品質をより向上させることが可能な仕組みが検討されている。例えば、特許文献1には、雑音を抑圧するための仕組みの一例が開示されている。
一方で、情報処理装置が屋外で使用される場合等のように、当該情報処理装置の利用シーンの多様化に伴い、当該情報処理装置の周囲の環境が動的に変化するような状況が想定される。このような状況下においては、風切音や振動に伴う音のように、情報処理装置上で発生する音が、雑音として集音される場合も想定され得る。このような音は、発生する箇所、発生する時刻が不規則でランダムに発生する雑音となる。
そこで、本開示では、雑音がランダムに発生するような環境下においても、目的音をより好適な態様で集音することが可能な情報処理装置を提案する。
本開示によれば、集音部と、流線形の形状を有する凸部を少なくとも一部に備え、前記凸部の先端、または、当該先端の近傍に位置するように前記集音部を支持する支持部材と、を備える、情報処理装置が提供される。
以上説明したように本開示によれば、雑音がランダムに発生するような環境下においても、目的音をより好適な態様で集音することが可能な情報処理装置が提供される。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の第1の実施形態に係る情報処理装置の概略的な構成の一例について説明するための説明図である。 同実施形態に係る情報処理装置の概略的な構成の一例について説明するための説明図 風切音の影響を観測するための観測環境の一例について説明するための説明図である。 情報処理装置に設けられた複数の集音部それぞれの設置位置の一例を示している。 情報処理装置に対して、互いに異なる角度から風を当てた場合における、当該集音部それぞれによる風切音の観測結果の一例について説明するための説明図である。 同実施形態に係る情報処理装置の機能構成の一例を示したブロック図である。 同実施形態に係る情報処理装置が、複数の集音部それぞれの集音結果に基づき目的音を取得する処理の一例を示している。 同実施形態に係る情報処理装置の一連の処理の流れの一例を示したフローチャートである。 実施例1に係る情報処理装置の一例について説明するための説明図である。 実施例1に係る情報処理装置の他の一例について説明するための説明図である。 実施例1に係る情報処理装置の他の一例について説明するための説明図である。 実施例2に係る情報処理装置の一例について説明するための説明図である。 実施例2に係る情報処理装置の他の一例について説明するための説明図である。 実施例2に係る情報処理装置の他の一例について説明するための説明図である。 実施例2に係る情報処理装置の他の一例について説明するための説明図である。 実施例3に係る情報処理装置の一例について説明するための説明図である。 変形例3に係る情報処理装置30の利用形態の一例について説明するための説明図である。 実施例4に係る情報処理装置の一例について説明するための説明図である。 実施例4に係る情報処理装置の他の一例について説明するための説明図である。 実施例5に係る情報処理装置の一例について説明するための説明図である。 実施例5に係る情報処理装置における撮像部のレンズの近傍の概略的な構成の一例について説明するための説明図である。 本開示の第2の実施形態に係る情報処理装置の機能構成の一例を示したブロック図である。 非相関成分パワー推定部の処理の基本原理について説明するための説明図である。 本開示の第3の実施形態に係る情報処理装置の機能構成の一例を示したブロック図である。 同実施形態に係る信号処理装置のハードウェア構成の一例を示した図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.第1の実施形態
1.1.概要
1.2.集音部の設置位置の検討
1.3.機能構成
1.4.処理
1.5.実施例
1.5.1.実施例1:首に装着されるウェアラブルデバイスの一例
1.5.2.実施例2:頭部に装着されるウェアラブルデバイスの一例
1.5.3.実施例3:携帯型情報端末への適用例
1.5.4.実施例4:時計型のウェアラブルデバイスへの適用例
1.5.5.実施例5:撮像装置への適用例
2.第2の実施形態
2.1.概要
2.2.機能構成
2.3.非相関成分パワー推定部の詳細
2.4.ランダムノイズパワー推定部の詳細
2.5.評価
3.第3の実施形態
3.1.概要
3.2.機能構成
3.3.マルチチャネルウィナーフィルタの算出方法の詳細
3.4.評価
4.ハードウェア構成
5.むすび
<<1.第1の実施形態>>
<1.1.概要>
まず、図1を参照して、本開示の第1の実施形態に係る情報処理装置の概略的な構成の一例について説明し、次いで、本実施形態に係る情報処理装置の技術的課題について説明する。図1は、本開示の第1の実施形態に係る情報処理装置の概略的な構成の一例について説明するための説明図である。
図1に示す例では、情報処理装置10は、所謂ウェアラブルデバイスとして構成されている。より具体的には、情報処理装置10は、一部が開口したリング状の形状(換言すると、カチューシャ状、または、U字状の形状)を成し、リング状の部分の内面のうち少なくとも一部が、ユーザの首の一部に当接するように(即ち、首に掛けるように)当該ユーザに装着される。
また、情報処理装置10は、所謂マイクロフォンのような集音部を備え、当該集音部からユーザが発する音声を音響情報として集音する。例えば、図1に示す例では、情報処理装置10は、参照符号111〜113で示される複数の集音部を備える。より具体的には、集音部111〜113は、例えば、情報処理装置10の筐体101により支持される。
例えば、図2は、本実施形態に係る情報処理装置10の概略的な構成の一例について説明するための説明図であり、当該情報処理装置10のうち集音部111が設けられた部分の構成の一例を示した図である。図1及び図2に示すように、情報処理装置10は、ユーザの首に装着されたときに、当該ユーザの口の近傍に、当該ユーザの前方に向かって突出するように流線形の形状を有する凸部が設けられており、当該凸部の先端(または、当該先端の近傍)に、当該凸部が突出する方向を向くように集音部111が設けられている。また、集音部111は、情報処理装置10とは個別のデバイスとして構成され、当該凸部の先端(または、当該先端の近傍)に対して、当該凸部が突出する方向を向くように支持されていてもよい。なお、以降の説明においては、情報処理装置10に対して集音部110が設けられていると記載した場合には、当該集音部110が情報処理装置10とは別体として、当該情報処理装置10の少なくとも一部に支持されている場合も含み得るものとする。
また、図1に示すように、集音部112及び113は、情報処理装置10に対して、互いに異なる方向を向くように設けられている。より具体的には、集音部112及び113は、情報処理装置10がユーザの首に装着されたときに、当該ユーザの首を基準として、互いに略対称となる位置に設けられている。なお、各集音部が設けられる位置については、詳細を別途後述する。また、図1に示す例では、集音部112及び113は、リング状の形状の筐体101に対して、当該リングの外側(即ち、リングの中心とは逆側)を向くように設けられている。即ち、集音部112と集音部113とは、互いに逆側の方向を向くように設けられていることとなる。
このような構成に基づき、例えば、情報処理装置10は、集音部(例えば、集音部111〜113)により集音されたユーザの音声(音響情報)を、音声認識技術や自然言語処理技術に基づく解析を施すことで、ユーザが発話した内容を認識してもよい。これにより、情報処理装置10は、例えば、ユーザからの指示内容を認識し、認識結果に応じて各種処理(アプリケーション)を実行することが可能となる。
また、他の一例として、情報処理装置10は、所謂通話機能を備えていてもよい。この場合には、情報処理装置10は、集音部(例えば、集音部111〜113)により集音された音声を、通話の相手である他の情報処理装置に転送してもよい。
一方で、図1に示すような所謂ウェアラブルデバイスのように、ユーザが携行可能に構成された情報処理装置10は、例えば、屋外で使用される場合等のように利用シーンが多岐にわたり、当該情報処理装置10の周囲の環境が動的に変化する状況が想定される。このような状況下においては、例えば、風切音、振動に伴う雑音、及び装置の装着に伴う衣擦れ等のようなランダムに発生する雑音が、情報処理装置10の集音部により集音される場合がある。
そこで、本開示では、雑音がランダムに発生するような環境下においても、目的音をより好適な態様で集音することが可能な仕組みの一例として、各集音部の設置位置や、当該集音部による集音結果に基づく信号処理の一例について詳細に説明する。
<1.2.集音部の設置位置の検討>
まず、本実施形態に係る情報処理装置10が、図1に示すように、ユーザの首に装着されるウェアラブルデバイスとして構成される場合を例に、当該ユーザの音声をより好適な態様で集音することが可能な集音部の設置位置に関する検討の結果について説明する。より具体的には、所謂風切音を雑音として想定し、複数箇所に集音部が設置された情報処理装置10に対して、互いに異なる角度から風を当てた場合における、当該集音部それぞれによる風切音の観測結果の一例について説明する。
例えば、図3は、風切音の影響を観測するための観測環境の一例について説明するための説明図である。本観測では、図3に示すように、ユーザの胸より上の部位を模したダミー人形U1の首に情報処理装置10を装着し、当該ダミー人形U1の正面にサーキュレーターU2を配置する。そして、ダミー人形U1の鉛直方向を軸として、当該ダミー人形U1を、0度〜360度の範囲内において10度刻みで回転させることで、情報処理装置10に対してサーキュレーターU2からの風が到来する角度を変更し、各集音部により集音される風切音のレベルを観測した。
図4は、今回の観測において、情報処理装置10に設けられた複数の集音部それぞれの設置位置の一例を示している。具体的には、図4に示す例では、情報処理装置10に対して、集音部M1〜M6が設置されている。情報処理装置10に付されたマーカは、集音部M1〜M6それぞれが設置された位置を模式的に示している。なお、矢印が付されたマーカにおいて、当該矢印は、当該マーカに対応する集音部の向きを示している。また、矢印が付されていないマーカについては、当該マーカに対応する集音部(即ち、集音部M3及びM6)は、情報処理装置10の鉛直上方向(即ち、図面に対して奥行き方向の手前側)を向くように設定されているものとする。
具体的には、集音部M1は、図1を参照して説明した情報処理装置10における集音部111に相当する。即ち、集音部M1は、情報処理装置10がユーザに装着されたときに、当該ユーザの口の近傍に相当する位置に、当該ユーザの前方に向けて突出するように設けられた凸部の先端に設けられている。また、集音部M5は、図1を参照して説明した情報処理装置10における集音部112に相当する。即ち、集音部M5は、情報処理装置10がユーザに装着されたときに、当該ユーザの左側(図3における略270度の方向)に相当する位置に、当該情報処理装置10の筐体101の外側に、当該筐体101の外側(換言すると、図3における略270度の方向)を向くように設けられている。
また、集音部M2〜M4、及びM6は、情報処理装置10がユーザに装着されたときに、当該ユーザの右前方(換言すると、図3における略45度の方向)の領域に相当する位置に設けられている。このとき、集音部M2は、情報処理装置10の筐体101とユーザの首との間に介在し、当該筐体101の内側を向くように設置されている。また、集音部M4は、情報処理装置10の筐体101の外側に、当該筐体101の外側(換言すると、図3における略45度の方向)を向くように設けられている。なお、集音部M3及びM6については、前述したように、鉛直上方向を向くように設けられている。
また、図5は、情報処理装置10に対して、互いに異なる角度から風を当てた場合における、当該集音部それぞれによる風切音の観測結果の一例について説明するための説明図である。即ち、図5は、図3を参照して説明した観測環境における、図4を参照して説明した集音部M1〜M6それぞれによる風切音の集音結果の一例を示している。なお、図5に示した、集音部M1〜M6それぞれの集音結果を示すグラフにおいて、円周方向に記載された数値は、サーキュレーターU2からの風が到来する方向を示している。また、グラフの半径方向に沿って記載された数値は、対応する集音部により集音された音響のレベル(即ち、当該集音部の観測レベル)を示している。即ち、図5に示す集音部M1〜M6それぞれの集音結果を示すグラフにおいて、観測レベルが小さいほど(換言すると、観測値がグラフの内側に位置するほど)、風切音(即ち、雑音)の影響が小さいことを意味している。
ここで、集音部M1の観測結果に着目すると、特に、ユーザの正面(即ち、0度の方向)から風が到来する状況下において風切音の影響が小さいことがわかる。また、集音部M1については、正面以外の方向から風が到来する場合においても、他の集音部に比べて、風切音の影響が小さいことがわかる。
このことから、例えば、図1に示す集音部111のように、流線形の凸部の先端(または、当該先端の近傍)に当該凸部が突出する方向に向くように集音部を設けることで、風切音のようなランダムに発生する雑音の影響を小さくすることが可能となるものと推定される。
また、集音部M5及びM6の観測結果に着目すると、当該集音部に対してユーザの首側から風が到来する場合において、風切音の影響が小さいことがわかる。これは、ユーザの首や頭部により風が遮蔽されることで、風切音の影響が小さくなったものと推定される。
このことから、例えば、図1に示す集音部112及び113のように、情報処理装置10が装着されるユーザの部位(例えば、首や頭部)を、風等に対する遮蔽物として利用可能な集音部を設けることで、他の集音部(例えば、図1に示す集音部111)の特性を補うことが可能であるものと推定される。
以上、図3〜図5を参照して、本実施形態に係る情報処理装置10が、ユーザの首に装着されるウェアラブルデバイスとして構成される場合を例に、当該ユーザの音声をより好適な態様で集音する(即ち、風切音等の雑音の影響をより小さくする)ことが可能な集音部の設置位置に関する検討の結果について説明した。
<1.3.機能構成>
次いで、図6を参照して、本実施形態に係る情報処理装置10の機能構成の一例について、特に、情報処理装置10が、複数の集音部それぞれの集音結果に基づき目的音(例えば、ユーザの音声)を取得する処理に着目して説明する。図6は、本実施形態に係る情報処理装置10の機能構成の一例を示したブロック図である。
図6に示すように、情報処理装置10は、複数の集音部111〜11M(Mは正の整数)と、周波数分解部13と、チャネルパワー推定部15と、フィルタ推定部16と、フィルタ処理部17と、周波数合成部18とを含む。なお、以降の説明では、集音部111〜11Mを特に区別しない場合には、「集音部110」と称する場合がある。また、集音部110の数(即ち、M)は、複数であれば特に限定はされないが、3以上であることがより望ましい。
集音部110は、所謂マイクロフォンのように、外部環境の音響(即ち、外部環境を伝搬して到達する音響)を集音するための集音デバイスとして構成される。なお、ユーザからの音声入力についても、集音部110により集音されることで、情報処理装置10に取り込まれることとなる。また、集音部110は、例えば、マイクロフォンアレイのように、複数の集音デバイスを含んでもよい。集音部110は、外部環境の音響の集音結果に基づく音響信号を周波数分解部13に出力する。なお、集音部110から出力される音響信号は、例えば、アンプ等によりゲインが調整され、AD変換によりアナログ信号からデジタル信号に変換されたうえで、周波数分解部13に入力されてもよい。なお、以降の説明では、集音部110のチャネル番号をm(1≦m≦M)、離散時間をnとした場合に、当該集音部110から出力される音響信号をx(n)で表すものとする。
周波数分解部13は、集音部110から出力される音響信号x(n)を周波数成分に分解して出力するための構成である。具体的には、周波数分解部13は、取得した音響信号x(n)に対して、フレーム分割、所定の窓関数の適用、及び、時間−周波数変換(例えば、FFT(Fast Fourier Transform)、DFT(Discrete Fourier Transform)等)等の処理を施すことで、当該音響信号x(n)を周波数成分に分解する。なお、以降の説明では、音響信号x(n)の周波数成分を、X(i,k)と記載する場合がある。ここで、iはフレーム番号を示し、kは離散周波数番号を示すものとする。そして、周波数分解部13は、取得した音響信号x(n)の各周波数成分X(i,k)を、後段に位置するフィルタ処理部17と、チャネルパワー推定部15とのそれぞれに出力する。これにより、集音部111〜11Mそれぞれについて、音響信号x(n)の各周波数成分X(i,k)が、フィルタ処理部17と、チャネルパワー推定部15とのそれぞれに出力されることとなる。
チャネルパワー推定部15は、周波数分解部13から集音部110ごとに(即ち、集音部111〜11Mそれぞれについて)音響信号x(n)の各周波数成分X(i,k)を取得する。次いで、チャネルパワー推定部15は、各集音部110それぞれに対応する音響信号x(n)の各周波数成分X(i,k)に基づき、周波数ごとに、各集音部110のパワースペクトルを推定する。ここで、m番目の集音部110(即ち、集音部11m)における、iフレーム、周波数kに対応するパワースペクトルをP(i,k)とした場合に、パワースペクトルP(i,k)は、以下に(式1)として示す計算式で表される。なお、以下に示す(式1)において、X (i,k)は、X(i,k)の共役複素数を示している。また、(式1)において、rは、急激なパワースペクトルの変化を抑制するためのフレーム方向の平滑化係数を表すものとする(0≦r<1)。
Figure 0006496941
・・・(式1)
そして、チャネルパワー推定部15は、周波数ごとに、各集音部110のパワースペクトルP(i,k)の推定結果をフィルタ推定部16に出力する。
フィルタ推定部16は、チャネルパワー推定部15から出力される、周波数ごとの、各集音部110のパワースペクトルP(i,k)の推定結果に基づき、後述するフィルタ処理部17が、フィルタリング処理を実行するためのフィルタ係数を算出する。
具体的には、フィルタ推定部16は、周波数ごとに、チャネルパワー推定部15から取得した各集音部110のパワースペクトルP(i,k)の推定結果に基づき、以下に(式2)として示す行列R(i,k)を生成する。
Figure 0006496941
・・・(式2)
また、フィルタ推定部16は、各集音部110それぞれについて、周波数ごとに、当該集音部110と目的音の音源(例えば、ユーザの口元等)との間の距離に基づき、当該集音部110までの減衰及び遅延特性を示すアレイマニフォールドベクトルa(k)を算出する。なお、目的音の音源と各集音部110との間の距離については、情報処理装置10がユーザに装着されたときに、情報処理装置10(ひいては、当該情報処理装置10に設けられた各集音部110)と当該音源との間の相対的な位置関係に基づき、あらかじめ特定することが可能である。
ここで、アレイマニフォールドベクトルa(k)は、以下に(式3)及び(式4)として示す計算式で表される。なお、以下に示す計算式において、dは、目的音の音源(例えば、口元)と、m番目の集音部110(即ち、集音部11m)との間の距離を示している。また、gは、目的音が集音部11mに到達するまでの減衰量を示している。また、ωは、離散周波数番号kに対応する角周波数を示している。また、Cは、音速を示している。また、上付き文字のTが付された行列は、当該行列の転置を示すものとする。なお、以降の説明では、上付き文字のTが付された行列を、「転置ベクトル行列」と称する場合がある。
Figure 0006496941

・・・(式4)
そして、フィルタ推定部16は、生成した行列R(i,k)と、算出したアレイマニフォールドベクトルa(k)と、以下に(式5)として示す条件とに基づき、後述するフィルタ処理部17が、フィルタリング処理を実行するためのフィルタ係数w(i,k)を算出する。ここで、上付き文字のHが付された行列は、当該行列の複素共役転置を示すものとする。なお、以降の説明では、上付き文字のHが付された行列を、「複素共役転置ベクトル行列」と称する場合がある。
Figure 0006496941
・・・(式5)
周波数ごとのフィルタ係数w(i,k)は、以下に(式6)として示す計算式で表される。なお、iはフレーム番号を示し、kは離散周波数番号を示すものとする。
Figure 0006496941
・・・(式6)
なお、上記(式6)として示したフィルタ係数w(i,k)は、上記(式5)に示すように、目的音の音源(例えば、口元)から到来する成分a(k)の利得を1に保ち、かつ、ノイズ成分(例えば、風切音等)を最小にする係数となっている。そして、フィルタ推定部16は、周波数ごとに算出したフィルタ係数w(i,k)を、フィルタ処理部17に出力する。
フィルタ処理部17は、周波数分解部13から集音部110ごとに(即ち、集音部111〜11Mそれぞれについて)音響信号x(n)の各周波数成分X(i,k)を取得する。また、フィルタ処理部17は、フィルタ推定部16から周波数ごとに算出されたフィルタ係数w(i,k)を取得する。フィルタ処理部17は、集音部110ごとの音響信号x(n)の各周波数成分X(i,k)を入力信号として、取得した周波数ごとのフィルタ係数w(i,k)に基づくフィルタリング処理を施すことで、出力信号Y(i,k)を生成する。
具体的には、フィルタ処理部17は、集音部110ごとの音響信号x(n)の各周波数成分X(i,k)を入力信号として、取得した周波数ごとのフィルタ係数w(i,k)に基づき当該入力信号を重み付け加算することで、周波数ごとの出力信号Y(i,k)を生成する。例えば、出力信号Y(i,k)は、以下に(式7)として示す計算式で表される。なお、iはフレーム番号を示し、kは離散周波数番号を示すものとする。
Figure 0006496941
・・・(式7)
そして、フィルタ処理部17は、周波数ごとに生成した出力信号Y(i,k)を、周波数合成部18に出力する。
周波数合成部18は、フィルタ処理部17から周波数ごとに生成された出力信号Y(i,k)を取得する。周波数合成部18は、取得した周波数ごとの出力信号Y(i,k)を合成することで、音響信号y(n)を生成する。即ち、周波数合成部18は、前述した周波数分解部13とは逆の処理を実行することとなる。具体的には、周波数合成部18は、周波数ごとの出力信号Y(i,k)に対して、周波数−時間変換(例えば、IFFT(Inverse FFT)、IDFT(Inverse DFT)等)、所定の窓関数の適用、及びフレーム合成等の処理を施すことで、当該周波数ごとの出力信号Y(i,k)が合成された音響信号y(n)を生成する。
例えば、図7は、本実施形態に係る情報処理装置10が、複数の集音部110それぞれの集音結果に基づき目的音を取得する処理の一例を示している。図7に示す例では、複数の集音部110として、集音部111〜114の4つのマイクロフォンを使用した場合の一例を示している。即ち、図7に示す例では、集音部111〜114それぞれによる集音結果の一例(即ち、集音された音響信号)と、情報処理装置10による信号処理により、集音部111〜114それぞれの集音結果が合成された音響信号(合成音)の一例とを示している。
前述したように、複数の集音部110それぞれによる集音結果(より具体的には、音響信号x(n)の各周波数成分X(i,k))を合成するためのフィルタリング処理の係数w(i,k)は、目的音の音源(例えば、口元)から到来する成分a(k)の利得を1に保ち、かつ、ノイズ成分(例えば、風切音等)を最小にする特性を有する。このような構成により、ノイズ成分のレベルがより小さい集音部110(換言するとノイズ成分の影響がより小さい集音部110)の入力がより優先されるように重み付けされて、各集音部110の集音結果が合成される。このような処理により、風切音のような雑音がランダムに発生するような環境下においても、当該雑音の影響を抑圧し、目的音をより好適な態様で集音することが可能となる。
なお、上記に説明したように本実施形態に係る情報処理装置10は、複数の集音部110それぞれの集音結果から目的音を合成する構成となっており、複数の集音部110の中から集音結果を取得する集音部110を単に切り替える構成とは異なる。より具体的には、集音結果を取得する集音部110を単に切り替えるような構成の場合には、当該切り替えの前後で音響信号に劣化が生じる場合があり、特に、風切音等の雑音が到来する方向が動的に変化するような状況下では当該音響信号の劣化がより顕在化しやすい傾向にある。これに対して、本実施形態に係る情報処理装置10は、上述した信号処理により目的音が合成されるため、風切音等の雑音が到来する方向が動的に変化するような状況下においても音響信号の劣化が発生せずに、より自然なかたちで目的音を取得することが可能となる。
なお、上記に説明した各集音部110の集音結果に対する信号処理はあくまで一例であり、ノイズ成分のレベルがより小さい集音部110の入力がより優先されるように重み付けされて、各集音部110の集音結果を合成することが可能であれば、その内容は特に限定されない。
そして、周波数合成部18は、生成した音響信号y(n)を目的音の集音結果として出力する。周波数合成部18から出力される音響信号y(n)は、例えば、情報処理装置10により実行される各種処理(例えば、音声認識や音声通話等)に利用されることとなる。
なお、図6に示す構成はあくまで一例であり、上記に説明した各種処理が実現可能であれば、情報処理装置10の構成は、必ずしも図6に示す例には限定されない。例えば、図6に示す例では、集音部111〜11mそれぞれについて周波数分解部13が設けられているが、複数の集音部110それぞれから出力される音響信号を、1つの周波数分解部13が処理する構成としてもよい。また、一部の構成が、情報処理装置10に対して外付けされてもよい。具体的な一例として、複数の集音部110のうち、少なくとも一部が、情報処理装置10に対して着脱可能に構成されていてもよい。
以上、図6及び図7を参照して、本実施形態に係る情報処理装置10の機能構成の一例について、特に、情報処理装置10が、複数の集音部それぞれの集音結果に基づき目的音を取得する処理に着目して説明した。
<1.4.処理>
次に、図8を参照して、本実施形態に係る情報処理装置10の一連の処理の流れの一例について、特に、情報処理装置10が、複数の集音部それぞれの集音結果に基づき目的音(例えば、ユーザの音声)を取得する処理に着目して説明する。図8は、本実施形態に係る情報処理装置10の一連の処理の流れの一例を示したフローチャートである。
(ステップS101)
外部環境の音響は、複数の集音部110により集音されることで、情報処理装置10に取り込まれる。集音部110は、集音結果に基づく音響信号(アナログ信号)のゲインの調整し、AD変換によりアナログ信号からデジタル信号に変換したうえで、変換後の音響信号(デジタル信号)x(n)を周波数分解部13に出力する。
(ステップS103)
周波数分解部13は、集音部110から出力される音響信号x(n)に対して、フレーム分割、所定の窓関数の適用、及び、時間−周波数変換等の処理を施すことで、当該音響信号x(n)を周波数成分に分解する。そして、周波数分解部13は、音響信号x(n)の各周波数成分X(i,k)を、後段に位置するフィルタ処理部17と、チャネルパワー推定部15とのそれぞれに出力する。これにより、複数の集音部110それぞれについて、音響信号x(n)の各周波数成分X(i,k)が、フィルタ処理部17と、チャネルパワー推定部15とのそれぞれに出力されることとなる。
(ステップS105)
チャネルパワー推定部15は、周波数分解部13から集音部110ごとに音響信号x(n)の各周波数成分X(i,k)を取得する。次いで、チャネルパワー推定部15は、各集音部110それぞれに対応する音響信号x(n)の各周波数成分X(i,k)に基づき、周波数ごとに、各集音部110のパワースペクトルを推定する。そして、チャネルパワー推定部15は、周波数ごとに、各集音部110のパワースペクトルP(i,k)の推定結果をフィルタ推定部16に出力する。
(ステップS107)
フィルタ推定部16は、チャネルパワー推定部15から出力される、周波数ごとの、各集音部110のパワースペクトルP(i,k)の推定結果に基づき、後述するフィルタ処理部17が、フィルタリング処理を実行するためのフィルタ係数w(i,k)を算出する。
具体的には、フィルタ推定部16は、各集音部110のパワースペクトルP(i,k)に基づき、行列R(i,k)を生成する。また、フィルタ推定部16は、各集音部110それぞれについて、周波数ごとに、当該集音部110と目的音の音源との間の距離に基づき、当該集音部110までの減衰及び遅延特性を示すアレイマニフォールドベクトルa(k)を算出する。そして、フィルタ推定部16は、生成した行列R(i,k)と、算出したアレイマニフォールドベクトルa(k)とに基づき、フィルタ係数w(i,k)を算出し、当該フィルタ係数w(i,k)をフィルタ処理部17に出力する。
(ステップS109)
フィルタ処理部17は、周波数分解部13から集音部110ごとに音響信号x(n)の各周波数成分X(i,k)を取得する。また、フィルタ処理部17は、フィルタ推定部16から周波数ごとに算出されたフィルタ係数w(i,k)を取得する。フィルタ処理部17は、集音部110ごとの音響信号x(n)の各周波数成分X(i,k)を入力信号として、取得した周波数ごとのフィルタ係数w(i,k)に基づき当該入力信号を重み付け加算することで、周波数ごとの出力信号Y(i,k)を生成する。そして、フィルタ処理部17は、周波数ごとに生成した出力信号Y(i,k)を、周波数合成部18に出力する。
(ステップS111)
周波数合成部18は、フィルタ処理部17から出力される周波数ごとの出力信号Y(i,k)に対して、周波数−時間変換、所定の窓関数の適用、及びフレーム合成等の処理を施すことで、当該周波数ごとの出力信号Y(i,k)を合成する。これにより、各集音部110による集音結果が合成された音響信号y(n)が生成される。なお、周波数合成部18により生成された音響信号y(n)は、集音結果として、情報処理装置10により実行される各種処理(例えば、音声認識や音声通話等)に利用されることとなる。
以上、図8を参照して、本実施形態に係る情報処理装置10の一連の処理の流れの一例について、特に、情報処理装置10が、複数の集音部それぞれの集音結果に基づき目的音を取得する処理に着目して説明した。
<1.5.実施例>
次に、実施例として、本実施形態に係る情報処理装置10の他の一態様について説明する。
<1.5.1.実施例1:首に装着されるウェアラブルデバイスの一例>
まず、実施例1として、図9〜図11を参照して、図1に示した所謂ネックバンド型のウェアラブルデバイスのように、ユーザの首に装着され得るウェアラブルデバイスとして構成された情報処理装置の一例について説明する。
例えば、図9は、実施例1に係る情報処理装置の一例について説明するための説明図であり、ユーザの首に装着され得るウェアラブルデバイスとして構成された情報処理装置の一例を示している。なお、本説明では、図9に示す情報処理装置を、前述した実施形態に係る情報処理装置10や、他の実施例に係る情報処理装置と区別するために、「情報処理装置10a」と称する場合がある。
図9に示すように、情報処理装置10aは、集音部111〜114を備える。集音部111〜113は、図1を参照して前述した情報処理装置10における集音部111〜113に対応している。また、集音部114は、情報処理装置10aがユーザの首に装着された場合に、当該ユーザの後方の位置に、当該ユーザの後方側を向くように設けられている。このような構成とすることで、例えば、ユーザの後方から到来する雑音の影響をより緩和することが可能となる。
また、情報処理装置10aは、集音部112〜114が設置される位置に、当該集音部112〜114それぞれが向く方向に突出し流線形の形状を有する凸部が設けられ、各凸部の先端に集音部112〜114のそれぞれが設けられている。このような構成とすることで、集音部112〜114についても、集音部111と同様に、風切音等のような雑音の影響を緩和し、凸部が突出する方向(即ち、集音部が向いた方向)から到来する音響をより好適な態様で集音することが可能となる。
なお、凸部を設ける位置(即ち、集音部110を設ける位置)については、特に限定はされない。そのため、例えば、ドライバ等の各種回路やバッテリー等が設けられることで筐体101にふくらみが生じ得る箇所に凸部を設け、当該凸部の先端(または、当該先端の近傍)に集音部110を設ける構成としてもよい。
また、図10は、実施例1に係る情報処理装置の他の一例について説明するための説明図であり、ユーザの首に装着され得るウェアラブルデバイスとして構成された情報処理装置の一例を示している。なお、本説明では、図10に示す情報処理装置を、前述した実施形態に係る情報処理装置10や、他の実施例に係る情報処理装置と区別するために、「情報処理装置10b」と称する場合がある。
図10に示すように、情報処理装置10bは、リング状の形状を成し、参照符号19で示された部分が開口可能に構成されている。なお、参照符号19で示された部分が開口することで互いに離間する端部間は着脱可能に構成されている。このような構成により、情報処理装置10bは、リング状の部分の内面がユーザの首に当接するように(即ち、首に巻きつけるように)当該ユーザに装着される。
また、情報処理装置10bは、集音部115〜118が、リング状に形成された筐体の円周に沿って互いに異なる位置に、当該リングの外側(即ち、リングの中心とは逆側)を向くように設けられている。なお、情報処理装置10bにおいては、集音部115〜118が、前述した実施形態に係る情報処理装置10における、集音部110(例えば、図1に示す集音部111〜113等)に相当する。
このような構成により、集音部115〜118のそれぞれは、自身が向いている方向とは逆側から到来する雑音が、情報処理装置10bが装着されるユーザの部位(即ち、首)により遮蔽されるため、当該雑音の影響が緩和されることとなる。特に、図10に示す情報処理装置10bにおいては、集音部115〜118のそれぞれが、図1に示した情報処理装置10に比べてよりユーザの首に近接するように支持されるため、風切音等の雑音(特に、ユーザの首側から到来する雑音)の影響がより緩和される。このことは、図5を参照して説明した、集音部M5及びM6(即ち、よりユーザの部位に近接する集音部)において、ユーザの部位側から到来する雑音の影響がより緩和されていることからも明らかである。また、集音部115〜118のそれぞれは、互いに異なる方向を向くように設けられているため、例えば、一部の集音部の集音結果に基づき他の集音部の特性を補うことも可能となる。
なお、図10に示す情報処理装置10bにおいても、筐体の少なくとも一部に流線形の形状の凸部を設け、当該凸部の先端(または、当該先端の近傍)に集音部110(例えば、集音部115〜118のうちの少なくとも一部)を設けてもよい。
また、図11は、実施例1に係る情報処理装置の他の一例について説明するための説明図であり、所謂ネックレスのような形状を成すウェアラブルデバイスとして構成された情報処理装置の一例を示している。なお、本説明では、図11に示す情報処理装置を、前述した実施形態に係る情報処理装置10や、他の実施例に係る情報処理装置と区別するために、「情報処理装置10c」と称する場合がある。
図11において、参照符号119は、前述した実施形態に係る情報処理装置10における集音部110の一例を示している。即ち、ネックレスのような形状を成す情報処理装置10cにおいては、例えば、所謂ペンダントに相当する部分に、ユーザが装着したときに当該ユーザの前方を向くように流線型の凸部を設け、当該凸部の先端(または、当該先端の近傍)に集音部119を設ければよい。
なお、図11に示す例では、情報処理装置10cに対して集音部110を1つ設けているが、集音部110が複数設けられていてもよい。また、情報処理装置10cに対して集音部110を複数設ける場合には、当該複数の集音部110のそれぞれが、互いに異なる方向を向くように設けられているとよい。
以上、実施例1として、図9〜図11を参照して、図1に示した所謂ネックバンド型のウェアラブルデバイスのように、ユーザの首に装着され得るウェアラブルデバイスとして構成された情報処理装置の一例について説明した。
<1.5.2.実施例2:頭部に装着されるウェアラブルデバイスの一例>
次に、実施例2として、図12〜図15を参照して、頭部に装着され得るウェアラブルデバイスとして構成された情報処理装置の一例について説明する。
例えば、図12は、実施例2に係る情報処理装置の一例について説明するための説明図であり、ユーザの頭部に装着され得るウェアラブルデバイスとして構成された情報処理装置の一例を示している。なお、本説明では、図12に示す情報処理装置を、前述した実施形態に係る情報処理装置10や、他の実施例に係る情報処理装置と区別するために、「情報処理装置20a」と称する場合がある。
図12に示すように、情報処理装置20aは、ユーザの頭部に装着されることで、各種機能を実現するための回路等が組み込まれた筐体が、ユーザの耳の近傍に保持される。具体的な一例として、図12に示す例では、情報処理装置20aは、ユーザの耳孔内に挿入されるイヤフォン部と、ユーザの耳に掛けることで筐体を支持するケーブル状の支持部材とを備える。情報処理装置20aは、このイヤフォン部とケーブル状の支持部材とにより、筐体がユーザの耳の近傍に保持される。
また、図12に示すように、情報処理装置20aは、集音部211及び212を備える。なお、情報処理装置20aおいては、集音部211及び212が、前述した実施形態に係る情報処理装置10における、集音部110(例えば、図1に示す集音部111〜113等)に相当する。
具体的には、情報処理装置20aは、ユーザの頭部に装着された状態において、当該ユーザの耳の近傍に保持される筐体のユーザの前方側に位置する端部に、当該前方側を向くように突出した流線形の形状を有する凸部を備える。そして、当該凸部の先端には、集音部211が、当該凸部が突出する方向(即ち、ユーザの前方)を向くように設けられている。また、情報処理装置20aは、ユーザの頭部に装着された場合に、当該筐体の外側(即ち、当該頭部とは逆側)に位置する側面の少なくとも一部に、当該外側の方向(即ち、ユーザの横方向)を向くように集音部212が設けられている。また、情報処理装置20aは、筐体の側面に対して、当該筐体の外側の方向に向けて突出した流線形の形状を有する凸部を備え、当該凸部の先端に集音部212が設けられていてもよい。
なお、図12に示す例では、ユーザの左耳の近傍に保持される筐体に着目して説明したが、当該ユーザの右耳の近傍に保持される筐体についても、左耳の近傍に保持される筐体と類似する構成をとり得る。具体的には、右耳側に保持される筐体には、集音部212に相当する構成のみが設けられていてもよいし、集音部211及び212に相当する構成が設けられていてもよい。
また、図13は、実施例2に係る情報処理装置の他の一例について説明するための説明図であり、ユーザの頭部に装着される所謂メガネ型のウェアラブルデバイスとして構成された情報処理装置の一例を示している。なお、本説明では、図13に示す情報処理装置を、前述した実施形態に係る情報処理装置10や、他の実施例に係る情報処理装置と区別するために、「情報処理装置20b」と称する場合がある。
図13に示すように、情報処理装置20bは、集音部213〜215を備える。なお、情報処理装置20bおいては、集音部213〜215が、前述した実施形態に係る情報処理装置10における、集音部110(例えば、図1に示す集音部111〜113等)に相当する。
例えば、情報処理装置20bは、メガネのフロントに相当する部分の少なくとも一部に集音部213が設けられている。より具体的な一例として、情報処理装置20bは、メガネのブリッジに相当する部分に、前方に向けて突出した流線形の形状を有する凸部を備え、当該凸部の先端には、集音部213が、当該凸部が突出する方向を向くように設けられている。また、他の一例として、参照符号213’として示すように、メガネのフロントに相当する部分のうち、ブリッジに相当する部分とは異なる他の部分に当該凸部及び当該集音部が設けられていてもよい。
また、情報処理装置20bは、メガネのテンプルに相当する部分の少なくとも一部に集音部214及び215が設けられている。なお、集音部214及び215は、例えば、情報処理装置20bがユーザの頭部に装着された場合に、当該頭部とは逆側の方向(即ち、ユーザの横方向)に向くように設けられているとよい。
また、図14は、実施例2に係る情報処理装置の他の一例について説明するための説明図であり、ユーザの頭部に装着され得るウェアラブルデバイスとして構成された情報処理装置の他の一例を示している。なお、本説明では、図14に示す情報処理装置を、前述した実施形態に係る情報処理装置10や、他の実施例に係る情報処理装置と区別するために、「情報処理装置20c」と称する場合がある。
図14に示すように、情報処理装置20cは、集音部216〜218を備える。なお、情報処理装置20cおいては、集音部216〜218が、前述した実施形態に係る情報処理装置10における、集音部110(例えば、図1に示す集音部111〜113等)に相当する。
より具体的には、メガネのフレームに相当する部分(例えば、フロント及びテンプル)の互いに異なる位置に、集音部216〜218が互いに異なる方向を向くように設けられている。より具体的には、集音部216〜218のそれぞれは、情報処理装置20cがユーザの頭部に装着された場合に、当該頭部とは逆側の方向を向くように設けられる。
このような構成とすることで、集音部216〜218のそれぞれは、自身が向いている方向とは逆側から到来する雑音が、ユーザの頭部により遮蔽されるため、当該雑音の影響が緩和される。また、集音部216〜218のそれぞれは、互いに異なる方向を向くように設けられているため、例えば、一部の集音部の集音結果に基づき他の集音部の特性を補うことも可能となる。
また、図15は、実施例2に係る情報処理装置の他の一例について説明するための説明図であり、所謂ヘッドフォン等のようなオーバヘッド型のウェアラブルデバイスとして構成された情報処理装置の一例を示している。なお、本説明では、図15に示す情報処理装置を、前述した実施形態に係る情報処理装置10や、他の実施例に係る情報処理装置と区別するために、「情報処理装置20d」と称する場合がある。
図15に示す例では、情報処理装置20dは、撮像部25と、集音部219とを備える。なお、情報処理装置20dおいては、集音部219が、前述した実施形態に係る情報処理装置10における、集音部110(例えば、図1に示す集音部111〜113等)に相当する。
具体的には、撮像部25は、情報処理装置20dがユーザの頭部に装着された場合に、当該情報処理装置20dの筐体の、当該ユーザの前方を画角内に収めることが可能な位置に設けられている。例えば、図15に示す例では、撮像部25は、情報処理装置20dの筐体に、ユーザの前方を向くように設けられている。
また、情報処理装置20dは、筐体の少なくとも一部に、ユーザの頭部に装着された状態においてユーザの前方側を向くように突出した流線形の形状を有する凸部を備え、当該凸部の先端には、集音部219が、当該凸部が突出する方向を向くように設けられている。例えば、図15に示す例では、集音部219は、撮像部25の近傍に設けられている。また、他の一例として、参照符号219’に示すように、情報処理装置20dをユーザの頭部に保持するための保持部材の少なくとも一部に、ユーザの前方側を向くように突出した流線形の形状を有する凸部を設け、当該凸部の先端に、当該凸部が突出する方向を向くように集音部を設けてもよい。
以上、実施例2として、図12〜図15を参照して、頭部に装着され得るウェアラブルデバイスとして構成された情報処理装置の一例について説明した。なお、上記に説明した例はあくまで一例であり、必ずしも上記に示す例には限定されない。具体的な一例として、所謂カチューシャ状の形状を有する頭部装着型のウェアラブルデバイスとして構成された情報処理装置に対して、前述した実施形態に係る情報処理装置10における集音部110に相当する構成を設けてもよい。
<1.5.3.実施例3:携帯型情報端末への適用例>
次に、実施例3として、図16及び図17を参照して、所謂スマートフォン等のような携帯型情報端末として構成された情報処理装置の一例について説明する。
例えば、図16は、実施例3に係る情報処理装置の一例について説明するための説明図である。なお、本説明では、図16に示す情報処理装置を、前述した実施形態に係る情報処理装置10や、他の実施例に係る情報処理装置と区別するために、「情報処理装置30」と称する場合がある。
図16に示すように、情報処理装置30は、集音部311〜314を含む。なお、情報処理装置30おいては、集音部311〜314が、前述した実施形態に係る情報処理装置10における、集音部110(例えば、図1に示す集音部111〜113等)に相当する。
具体的には、情報処理装置30の筐体は、少なくとも一部に略矩形状の面36を有し、当該面36の角を含む所定の領域(即ち、当該角、または、当該角の近傍)に、当該筐体の外側を向くように流線型の形状を有する凸部が形成されている。換言すると、情報処理装置30の筐体は、略平面状の面36と、当該面36の端部に沿って異なる方向を向くように形成された複数の側面371〜374とを備え、互いに隣り合う側面が連接する部分を含む所定の領域に流線形の形状を有する凸部が形成されている。なお、面36は、例えば、ディスプレイ等の表示部が設けられる面に相当し得る。また、情報処理装置30の筐体の角自体が、当該凸部であってもよい。そして、集音部311〜314のそれぞれは、当該凸部のうちのいずれかの先端(または、当該先端の近傍)に、情報処理装置30の筐体の外側を向くように設けられている。
また、図17は、変形例3に係る情報処理装置30の利用形態の一例について説明するための説明図であり、ユーザが情報処理装置30を利用して音声通話を行っている場合の一例を示している。
図17に示すように、例えば、ユーザが情報処理装置30を自身の右耳の近傍に保持しながら音声通話を行う場合には、集音部312が当該ユーザの略前方を向くように当該情報処理装置30が保持されることとなる。このような構成により、例えば、ユーザが移動しながら音声通話を行っているような状況下においても、集音部312は、ユーザの移動により前方から到来する風に伴う風切音の影響を受けにくくなる。なお、ユーザが情報処理装置30を自身の左耳の近傍に保持しながら音声通話を行う場合も想定され得る。この場合には、集音部311がユーザの略前方を向くように当該情報処理装置30が保持されることとなり、当該集音部311が、ユーザの移動により前方から到来する風に伴う風切音の影響を受けにくくなる。即ち、情報処理装置30は、上記に説明した構成に基づき、ユーザの移動により前方から到来する風に伴う風切音の影響を緩和することが可能となる。
また、情報処理装置30は、集音部311〜314が互いに異なる方向を向くように設けられている。このような構成により、情報処理装置30は、少なくとも一部の集音部の集音結果に基づき、他の集音部の特性を補うことも可能となる。
以上、実施例3として、図16及び図17を参照して、所謂スマートフォン等のような携帯型情報端末として構成された情報処理装置の一例について説明した。
<1.5.4.実施例4:時計型のウェアラブルデバイスへの適用例>
次に、実施例4として、図18及び図19を参照して、腕に装着され得る、所謂時計型のウェアラブルデバイスとして構成された情報処理装置の一例について説明する。
例えば、図18は、実施例4に係る情報処理装置の一例について説明するための説明図である。なお、本説明では、図18に示す情報処理装置を、前述した実施形態に係る情報処理装置10や、他の実施例に係る情報処理装置と区別するために、「情報処理装置40a」と称する場合がある。
図18に示すように、情報処理装置40aは、集音部411〜415を含む。なお、情報処理装置40aおいては、集音部411〜415が、前述した実施形態に係る情報処理装置10における、集音部110(例えば、図1に示す集音部111〜113等)に相当する。
具体的には、情報処理装置40aは、各種機能を実現するための回路等が組み込まれた筐体481と、当該筐体481をユーザの腕に支持するベルト状の支持部材482とを含む。筐体481は、前述した実施例3に係る情報処理装置30と同様に、少なくとも一部に略矩形状の面を有し、当該略矩形状の面の角を含む所定の領域に、当該筐体481の外側を向くように流線型の形状を有する凸部が形成されている。なお、当該略矩形状の面は、所謂時計における文字盤が設けられる側の面に相当する。そして、集音部411〜414のそれぞれは、当該凸部のうちのいずれかの先端(または、当該先端の近傍)に、筐体481の外側を向くように設けられている。
また、支持部材482には、情報処理装置40aが腕に装着された状態において、当該腕を基準として、筐体481とは略対称となる位置に集音部415が、当該腕とは逆側の方向を向くように設けられている。
このような構成により、情報処理装置40aは、例えば、ユーザが、情報処理装置40aが装着された側の腕を振っているような状況下においても、集音部411〜414のうちの少なくともいずれかが、腕が振られる方向と略等しい方向を向いている状態となる。そのため、情報処理装置40aは、集音部411〜414による集音結果により、腕の振りに伴う風切音の影響を緩和することが可能となる。また、情報処理装置40aは、集音部411〜415が互いに異なる方向を向くように設けられている。特に、集音部415については、当該集音部415が向いている方向とは逆側から到来する雑音が、情報処理装置40aが装着された腕により遮蔽される。このような構成により、情報処理装置40aは、集音部411〜415のうち、少なくとも一部の集音部の集音結果に基づき、他の集音部の特性を補うことも可能となる。
また、図19は、実施例4に係る情報処理装置の他の一例について説明するための説明図である。なお、本説明では、図19に示す情報処理装置を、前述した実施形態に係る情報処理装置10や、他の実施例に係る情報処理装置と区別するために、「情報処理装置40b」と称する場合がある。
図19に示すように、情報処理装置40bは、参照符号483で示された所謂時計のネジ部に相当する部分(以降では、「ネジ部483」と称する)に、集音部416を備える。具体的には、ネジ部483を、流線形の形状を有するように形成することで、当該ネジ部483を、集音部416を設けるための凸部として利用してもよい。なお、情報処理装置40bおいては、集音部416が、前述した実施形態に係る情報処理装置10における、集音部110(例えば、集音部111)に相当する。
以上、実施例4として、図18及び図19を参照して、腕に装着され得る、所謂時計型のウェアラブルデバイスとして構成された情報処理装置の一例について説明した。
<1.5.5.実施例5:撮像装置への適用例>
次に、実施例5として、図20及び図21を参照して、動画像や静止画像を撮像可能な撮像装置として構成された情報処理装置の一例について説明する。
例えば、図20は、実施例5に係る情報処理装置の一例について説明するための説明図である。なお、本説明では、図20に示す情報処理装置を、前述した実施形態に係る情報処理装置10や、他の実施例に係る情報処理装置と区別するために、「情報処理装置50」と称する場合がある。
図20において、参照符号53は、動画像や静止画像等の画像を撮像するための撮像部に相当する。また、参照符号511及び512は、情報処理装置50に設けられた集音部の一例に相当する。なお、情報処理装置50おいては、集音部511及び512が、前述した実施形態に係る情報処理装置10における、集音部110(例えば、図1に示す集音部111〜113等)に相当する。
具体的には、図20に示すように、情報処理装置50は、例えば、撮像部53を支持する筐体の、当該撮像部53が画像を撮像する方向(以降では、「撮像方向」と称する場合がある)を向いた面の一部に、当該撮像方向に突出した流線形の形状を有する凸部を備える。そして、当該凸部の先端(または、当該先端の近傍)には、撮像部53の撮像方向(換言すると、前方)を向くように集音部511が設けられている。
また、撮像部53の近傍(例えば、撮像部53のレンズの近傍)に、集音部512が設けられていてもよい。例えば、図21は、実施例5に係る情報処理装置50における撮像部53のレンズの近傍の概略的な構成の一例について説明するための説明図である。図21に示す例では、情報処理装置50は、撮像部53のレンズの近傍に、当該情報処理装置50の筐体の外側に向けて突出する凸部551が設けられている。また、凸部551は、撮像部53の撮像方向(即ち、前方)に向けて突出した流線型の形状を有する凸部553を備え、当該凸部553の先端(または、当該先端の近傍)に集音部513が設けられている。
このような構成により、情報処理装置50は、例えば、ユーザが移動しながら画像を撮像するような状況下においても、ユーザの移動により前方から到来する風に伴う風切音の影響を緩和することが可能となる。
また、図20及び図21には図示していないが、情報処理装置50は、集音部511及び512とは異なる他の集音部を備えていてもよい。この場合には、当該他の集音部は、集音部511及び512とは異なる方向を向くように設けられているとよい。より具体的な一例として、例えば、情報処理装置50の筐体の、撮像部53の撮像方向とは逆側の面に、当該撮像方向とは逆側の方向(即ち、後方)に向くように当該他の集音部が設けられていてもよい。このような構成とすることで、例えば、他の集音部による集音結果に基づき、集音部511及び512の特性を補うことも可能となる。
以上、実施例5として、図20及び図21を参照して、動画像や静止画像を撮像可能な撮像装置として構成された情報処理装置の一例について説明した。
<<2.第2の実施形態>>
<2.1.概要>
続いて、本開示の第2の実施形態について説明する。前述した第1の実施形態に係る情報処理装置10では、複数の集音部それぞれの集音結果に基づき、観測レベル(即ち、集音された音響のレベル)のより小さい集音部の入力が優先されるようにフィルタリング処理を施すことで、風切音のようなランダムに発生する雑音の影響を低減していた。このような制御により、特に、風切音のようなランダムに発生する雑音の影響がより大きい場合に、より好適な態様で当該雑音の影響を緩和することが可能となる。
一方で、上述した制御のように各集音部の集音結果をそのまま評価する場合には、音声等の目的音が主な成分として集音されるような状況下において、当該目的音をより高いレベルで集音した集音部の集音結果が使用されない場合がある。即ち、風切音等のランダムに発生する雑音の影響が小さい状況下においては、例えば、SN比(signal-to-noise ratio)の小さい集音部の集音結果が優先的に使用される場合がある。
そこで、本実施形態では、前述した第1の実施形態と同様に風切音等のランダムに発生する雑音の抑圧効果を維持し、さらに、ランダムに発生する雑音の影響が小さい場合において、より好適な態様で目的音を取得することが可能な仕組みの一例について提案する。
<2.2.機能構成>
まず、図22を参照して、本実施形態に係る情報処理装置の機能構成の一例について説明する。図22は、本実施形態に係る情報処理装置の機能構成の一例を示したブロック図である。なお、以降の説明では、本実施形態に係る情報処理装置を、前述した第1の実施形態に係る情報処理装置10(図6参照)と明示的に区別するために、「情報処理装置60」と称する場合がある。
図22に示すように、本実施形態に係る情報処理装置60は、複数の集音部111〜11M(Mは正の整数)と、周波数分解部13と、チャネルパワー推定部65と、フィルタ推定部66と、フィルタ処理部17と、周波数合成部18とを含む。なお、複数の集音部111〜11M(Mは正の整数)と、周波数分解部13と、フィルタ処理部17と、周波数合成部18とは、前述した第1の実施形態に係る情報処理装置10(図6参照)において、同様の符号が付された構成に相当する。即ち、本実施形態に係る情報処理装置60は、チャネルパワー推定部65及びフィルタ推定部66の処理内容が、前述した第1の実施形態に係る情報処理装置10と異なる。そこで、以降では、本実施系形態に係る情報処理装置60の機能構成について、特に、前述した第1の実施形態に係る情報処理装置10と異なる部分に着目して説明し、当該情報処理装置10と同様の構成については詳細な説明は省略する。
図22に示すように、チャネルパワー推定部65は、入力パワー推定部651と、非相関成分パワー推定部653と、ランダムノイズパワー推定部655とを含む。
入力パワー推定部651は、前述した第1の実施形態に係る情報処理装置10におけるチャネルパワー推定部15に相当する。即ち、入力パワー推定部651は、各集音部110それぞれに対応する音響信号x(n)の各周波数成分X(i,k)に基づき、周波数ごとに、各集音部110のパワースペクトルを推定する。そして、入力パワー推定部651は、周波数ごとに、各集音部110のパワースペクトルP(i,k)の推定結果を、ランダムノイズパワー推定部655に出力する。
非相関成分パワー推定部653は、フィルタ処理部17によりフィルタリング処理が施されることで生成された出力信号Y(i,k)のフィードバックを受ける。なお、当該出力信号Y(i,k)は、従前に集音された集音部110ごとの音響信号x(n)の各周波数成分X(i,k)において雑音(ランダムノイズ)の影響が抑圧された音響であり、例えば、ユーザが発話した音声等のような目的音の、集音部110ごとの周波数成分に相当する。次いで、非相関成分パワー推定部653は、各集音部110それぞれに対応する音響信号x(n)の各周波数成分X(i,k)と、フィードバックされた出力信号Y(i,k)との間の相関性に基づき、当該出力信号Y(i,k)と非相関の成分のパワースペクトルQ(i,k)を推定する。なお、周波数成分X(i,k)のうち、出力信号Y(i,k)と非相関の成分(以降では、単に「非相関成分」とも称する)が、当該周波数成分X(i,k)に含まれるランダムノイズ等の雑音の成分に相当する。また、非相関成分パワー推定部653による信号処理の詳細については別途後述する。そして、非相関成分パワー推定部653は、周波数ごとに、各集音部110のパワースペクトルQ(i,k)の推定結果をランダムノイズパワー推定部655に出力する。
ランダムノイズパワー推定部655は、入力パワー推定部651から、周波数ごとに、各集音部110のパワースペクトルP(i,k)の推定結果を取得する。また、ランダムノイズパワー推定部655は、非相関成分パワー推定部653から、周波数ごとに、各集音部110に対応する非相関成分のパワースペクトルQ(i,k)の推定結果を取得する。そして、ランダムノイズパワー推定部655は、取得したパワースペクトルP(i,k)及びQ(i,k)それぞれの推定結果に基づき、フィルタ推定部66がフィルタ係数w(i,k)を算出するための、周波数ごとの、各集音部110のパワースペクトルWm(i,k)を決定する。なお、ランダムノイズパワー推定部655による、パワースペクトルWm(i,k)の決定に係る処理の詳細については別途後述する。そして、ランダムノイズパワー推定部655は、周波数ごとに、各集音部110のパワースペクトルWm(i,k)を示す情報を、フィルタ推定部66に出力する。
フィルタ推定部66は、チャネルパワー推定部65から出力される、周波数ごとの、各集音部110のパワースペクトルWm(i,k)を示す情報に基づき、フィルタ処理部17が、フィルタリング処理を実行するためのフィルタ係数w(i,k)を算出する。なお、このときフィルタ推定部66は、(式2)として示した前述した行列R(i,k)を生成する際に、パワースペクトルP(i,k)に替えて、パワースペクトルWm(i,k)を適用する点で、前述した第1の実施形態に係るフィルタ推定部16と異なる。
一方で、以降の処理、即ち、(式3)〜(式6)に基づき前述した、アレイマニフォールドベクトルa(k)と、生成した行列R(i,k)とに基づきフィルタ係数w(i,k)の算出に係る処理については、前述した第1の実施形態に係るフィルタ推定部16と同様である。そのため、当該処理の内容については、詳細な説明は省略する。
以上のようにして、フィルタ推定部66は、取得した周波数ごとの、各集音部110のパワースペクトルWm(i,k)を示す情報に基づきフィルタ係数w(i,k)を算出し、算出したフィルタ係数w(i,k)を、フィルタ処理部17に出力する。なお、以降の処理については、前述した第1の実施形態に係る情報処理装置10(図6参照)と同様である。
以上、図22を参照して、本実施形態に係る情報処理装置の機能構成の一例について説明した。
<2.3.非相関成分パワー推定部の詳細>
続いて、非相関成分パワー推定部653が、周波数ごとに、各集音部110に対応する非相関成分のパワースペクトルQ(i,k)を算出する処理の詳細について説明する。
まず、非相関成分パワー推定部653が、パワースペクトルQ(i,k)を算出するための基本原理について説明する。マイクロフォン等の集音部に入力される音響(信号)には、例えば、ユーザの音声等のような目的音Sと、所謂背景ノイズNと、風切音等のようなランダムノイズWとが含まれる。即ち、集音部110ごとの音響信号x(n)の各周波数成分X(i,k)は、目的音S、背景ノイズN、及びランダムノイズWに基づき、以下に(式8)として示す関係式で表される。
Figure 0006496941
・・・(式8)
ここで、M個の集音部それぞれの入力される音響(信号)をまとめると、以下に(式9)として示す関係式で表される。
Figure 0006496941
・・・(式9)
上記に示した(式9)において、Sは、目的音SをM個の集音部についてまとめたものである。同様に、Nは、背景ノイズNをM個の集音部についてまとめたものであり、Wは、ランダムノイズWをM個の集音部についてまとめたものである。なお、S、N、及びWは、それぞれベクトルとして示される。また、Sorgは、音源から出力された目的音そのものを示しており、スカラー値で示される。また、aは、前述したアレイマニフォールドベクトルa(k)に相当する。即ち、Sは、音源から出力された目的音Sorgが、集音部に到達するまでの空間を伝搬する際に生じる、信号の劣化や遅延等の影響を考慮した目的音の成分を示している。
ここで、風切音等のようなランダムノイズWの発生タイミングはランダムであり、本開示に係る情報処理装置では、複数の集音部(特に、図1に示すように分散配置された集音部)間において近似的には相関性の無い信号として定義することが可能である。
このような特性に基づき、上記(式9)は、図23に示すようなベクトル間の関係として規定することが可能である。図23は、非相関成分パワー推定部653の処理の基本原理について説明するための説明図である。なお、図23に示す例では、ユーザが発話した音声を目的音として集音する場合について示している。また、図23に示すベクトル空間は、マニフォールドベクトルaに基づき規定される。
図23において、Xは、集音部により集音された音響(即ち、入力信号)を示しており、(式9)に示したXに相当する。また、Yは、理想的には、入力信号Xに対する目的音Sorgの推定結果に基づく成分(即ち、ユーザの発話成分)に相当する。即ち、成分Yは、入力信号Xに含まれる各成分のうち、ユーザの発話成分(もしくは、ユーザの発話成分と相関性を有する成分)を模式的に示している。これに対して、Zは、入力信号Xに含まれる各成分のうち、ユーザの発話成分との相関性が小さい(もしくは、相関性の無い)成分に相当する。
なお、背景ノイズNとランダムノイズWとを全て抑圧することが可能であれば、成分Zは、背景ノイズN及びランダムノイズWの成分のみとなる。しかしながら、本開示に係る情報処理装置(例えば、図1参照)のように首回りに各集音部が配置される構成では、集音部間が比較的近傍に位置するため、背景ノイズNは、当該集音部間において相関性を有する成分として観測される。そのため、成分Yには、ユーザの発話成分Sに加えて、背景ノイズNの成分が含まれる。一方で、風切音等のようなランダムノイズWは、ユーザの発話成分との相関性が小さいため、成分Zとして示される。
以上のような特性を利用し、非相関成分パワー推定部653は、出力信号Y(即ち、ユーザの発話成分)のフィードバックを利用することで、当該出力信号Yと相関性の小さい(もしくは、相関性の無い)成分を、ランダムノイズWの成分として抽出する。なお、以降の説明では、成分Zを、「非相関成分Z」とも称する。
例えば、集音部110の数が4個の場合には、(式4)として前述した計算式に基づき、アレイマニフォールドベクトルaは、以下に(式10)として示す計算式で表される。
Figure 0006496941
・・・(式10)
ここで、入力信号Xと、マニフォールドベクトルaとの内積に基づき、当該入力信号Xをマニフォールドベクトルaに射影した成分を抽出することが可能である。このような特性から、マニフォールドベクトルaに直交する成分として、非相関成分Zを、以下に(式11)として示す計算式に基づき抽出することが可能である。
Figure 0006496941
・・・(式11)
ここで、上記(式11)において、(a ・a−1・a ・Xとして示された成分が、図23に示したユーザの発話成分Yに相当する。即ち、上記(式11)は、以下に(式12)として示す計算式で表すことが可能となる。
Figure 0006496941
・・・(式12)
ここで、上記(式12)における成分Yとして、フィードバックされた出力信号Y(即ち、フィルタ処理部17によるフィルタリング処理後の出力信号)を適用すると、上記(式12)は、前述した(式6)に基づき、以下に(式13)として示す計算式で表すことが可能となる。
Figure 0006496941
・・・(式13)
以上のようにして算出された非相関成分Zに基づき信号のパワーを算出し、時間平滑化を行うことで、非相関成分Zのパワースペクトルを推定することが可能となる。ここで、m番目の集音部110(即ち、集音部11m)における、iフレーム、周波数kに対応する非相関成分ZのパワースペクトルQ(i,k)は、以下に(式14)として示す計算式で表される。なお、以下に示す(式14)において、Z (i,k)は、Z(i,k)の共役複素数を示している。また、(式14)において、rは、急激なパワースペクトルの変化を抑制するためのフレーム方向の平滑化係数を表すものとする(0≦r<1)。
Figure 0006496941
・・・(式14)
以上のようにして、非相関成分パワー推定部653は、非相関成分のパワースペクトルQ(i,k)を算出する。
なお、非相関成分パワー推定部653は、パワースペクトルQ(i,k)を推定する際に、2以上の集音部110の集音結果を使用できれば、必ずしも全ての集音部110の集音結果を使用する必要はない。具体的な一例として、非相関成分パワー推定部653は、ユーザの頭部に対して後方に位置する集音部110のように、音声等の目的音を集音しにくい位置に設置された集音部110の集音結果については、パワースペクトルQ(i,k)の推定に使用しなくてもよい。
以上、非相関成分パワー推定部653が、周波数ごとに、各集音部110に対応する非相関成分のパワースペクトルQ(i,k)を算出する処理の詳細について説明した。
<2.4.ランダムノイズパワー推定部の詳細>
続いて、ランダムノイズパワー推定部655が、フィルタ係数w(i,k)の算出に用いられる、周波数ごとの、各集音部110のパワースペクトルWm(i,k)を決定する処理の詳細について説明する。
前述したように、ランダムノイズパワー推定部655は、入力パワー推定部651から取得されるパワースペクトルP(i,k)と、非相関成分パワー推定部653から取得される非相関成分のパワースペクトルQ(i,k)とのぞれぞれの推定結果に基づき、パワースペクトルWm(i,k)を決定する。
(パワースペクトルQを適用するケース)
例えば、ランダムノイズパワー推定部655は、非相関成分のパワースペクトルQ(i,k)の推定結果を、パワースペクトルWm(i,k)としてフィルタ推定部66に出力してもよい。なお、この場合には、チャネルパワー推定部65は、入力パワー推定部651を含まなくてもよい。
(パワースペクトルP及びQを選択的に切り替えるケース)
また、他の一例として、ランダムノイズパワー推定部655は、所定の条件に基づき、パワースペクトルP(i,k)及びQ(i,k)それぞれの推定結果のうちのいずれかを選択的に、パワースペクトルWm(i,k)としてフィルタ推定部66に出力してもよい。
(パワースペクトルWを適応的に算出するケース)
また、他の一例として、ランダムノイズパワー推定部655は、パワースペクトルP(i,k)及びQ(i,k)それぞれの推定結果に基づき、パワースペクトルWm(i,k)を適応的に算出してもよい。
例えば、ランダムノイズパワー推定部655は、パワースペクトルP(i,k)及びQ(i,k)を入力として、以下に(式15)として示す計算式に基づき、目的音(音声等)とランダムノイズとの関係を考慮したパワースペクトルW を算出する。なお、「W 」は、「W」の上にチルダが付された文字を示すものとする。また、以下に示すPm及びQmは、パワースペクトルP(i,k)及びQ(i,k)を一般化して記載したものである。
Figure 0006496941
・・・(式15)
例えば、以下に示す(式16)は、パワースペクトルP(i,k)及びQ(i,k)を入力として、目的音とランダムノイズとの関係を考慮したパワースペクトルW を算出するための関数Fの具体的な一例を示している。
Figure 0006496941
・・・(式16)
そして、ランダムノイズパワー推定部655は、上述した目的音とランダムノイズとの関係を考慮したパワースペクトルW に基づき、パワースペクトルWmを、以下に(式17)として示す計算式に基づき算出する。なお、(式17)において、rは、急激なパワースペクトルの変化を抑制するためのフレーム方向の平滑化係数を表している(0≦r<1)。即ち、ランダムノイズパワー推定部655は、以下に(式17)として示す計算式に基づき算出されるパワースペクトルWmを、係数rの設定に基づきフレーム間で平滑化してもよい。
Figure 0006496941
・・・(式17)
ここで、(式16)に示すパワースペクトルP、即ち、入力パワー推定部651によるパワースペクトルP(i,k)の推定結果は、前述したように、集音部110により集音された音響のレベルに相当する。これに対して、(式16)に示すパワースペクトルQ、即ち、非相関成分パワー推定部653によるパワースペクトルQ(i,k)の推定結果は、風切音等のようなランダムノイズのレベルに相当する。即ち、(式16)に示した重みQ/(P+Q)は、音声等の目的音と、風切音等のランダムノイズとの間の関係に基づき変化する。
具体的には、ランダムノイズに対して目的音の信号レベルが十分に大きい場合には、パワースペクトルPの影響が支配的となり、重みQ/(P+Q)はより小さくなる。即ち、この場合における当該重みQ/(P+Q)は、対応するチャネル(即ち、集音部110)の集音結果の使用をより抑制する制御を示している。ここで、フィルタ係数w(i,k)の算出には、上記重みQ/(P+Q)の逆数が適用される。そのため、ランダムノイズに対して目的音の信号レベルが十分に大きい場合には、該当するチャネルによる集音結果の使用がより優先されるように、フィルタ係数w(i,k)が算出されることとなる。
一方で、風切音等のようなランダムノイズの影響がより大きい場合には、パワースペクトルQの影響がより支配的となり、重みQ/(P+Q)はより大きくなる。即ち、この場合における当該重みQ/(P+Q)は、対応するチャネル(即ち、集音部110)の集音結果の使用をより優先する制御を示している。なお、前述したようにフィルタ係数w(i,k)の算出には、上記重みQ/(P+Q)の逆数が適用される。そのため、ランダムノイズの影響がより大きい場合には、該当するチャネルによる集音結果の使用が抑制されるように、フィルタ係数w(i,k)が算出されることとなる。
即ち、上述した制御により、風切音等のランダムノイズの影響が小さく、主に音声が集音されるような状況下では、音声のレベルがより高く集音された集音部110の集音結果が、より優先的に使用されて、フィルタ係数w(i,k)が算出される。これに対して、風切音等のランダムノイズの影響が大きい状況下では、前述した第1の実施形態と同様に、観測レベルのより小さい集音部110の集音結果が、より優先的に使用されて、フィルタ係数w(i,k)が算出されることとなる。このように、ランダムノイズパワー推定部655は、フィルタ係数w(i,k)が算出するためのパワースペクトルWm(i,k)を、音声等のような目的音と、風切音等のようなランダムノイズとの関係に応じて、適応的に算出することが可能となる。
そして、ランダムノイズパワー推定部655は、上記(式17)に基づき算出したパワースペクトルWm(i,k)を、フィルタ推定部66に出力してもよい。
以上、ランダムノイズパワー推定部655が、フィルタ係数w(i,k)の算出に用いられる、周波数ごとの、各集音部110のパワースペクトルWm(i,k)を決定する処理の詳細について説明した。なお、上記に説明した例は、あくまで一例であり、パワースペクトルP(i,k)及びQ(i,k)の少なくともいずれかの推定結果に基づき、パワースペクトルWm(i,k)を決定することが可能であれば、その内容は特に限定されない。
<2.5.評価>
以上説明したように、本実施形態に係る情報処理装置60は、複数の集音部110のうち少なくとも2以上の集音部110による集音結果と、フィルタ処理部17の出力信号Y(i,k)のフィードバックとに基づき、非相関成分のパワースペクトルQ(i,k)を推定する。そして、情報処理装置60は、非相関成分のパワースペクトルQ(i,k)の推定結果を、フィルタ係数w(i,k)の推定に利用する。このような構成により、情報処理装置60は、前述した第1の実施形態と同様に風切音等のランダムに発生する雑音の抑圧効果を維持し、さらに、ランダムに発生する雑音の影響が小さい場合において、より好適な態様で目的音を取得することが可能となる。
なお、上記では、本実施形態に係る信号処理を、例えば、図1に示した所謂ネックバンド型のウェアラブルデバイスに適用する場合に着目して説明した。一方で、本実施形態に係る信号処理の適用先は、必ずしも図1に示す例のみには限定されない。具体的には、本実施系に係る信号処理は、複数の集音部を備える装置であれば適用することが可能である。なお、より好適には、複数の集音部は、目的音の音源(例えば、音声が発話される口元)からの距離が互いに異なるように配置されているとよい。また、より好適には、複数の集音部は、目的音の音源に対して互いに異なる方向に位置するように配置されているとよい。
<<第3の実施形態>>
<3.1.概要>
続いて、本開示の第3の実施形態として、本開示に係る技術を、所謂マルチチャネルウィナーフィルタ(MWF:Multi Channel Wiener Filter)に適用した場合の一例について説明する。
まず、本実施形態に係る情報処理装置の特徴をよりわかりやすくするために、マルチチャネルウィナーフィルタについて概要を説明する。マルチチャネルウィナーフィルタは、背景ノイズの抑圧等に利用される技術である。例えば、マルチチャネルウィナーフィルタをWmwfとした場合に、Wmwfは、以下に(式18)として示す計算式に基づき算出される。
Figure 0006496941
・・・(式18)
上記(式18)において、Sは、音声等のような目的音を示しており、前述した(式9)に示したSorgに相当する。また、Xは、集音部により集音された音響(即ち、入力信号)を示しており、前述した(式9)に示したXに相当する。また、Wは、マルチチャネルウィナーフィルタにおいて、入力信号Xに対して適用されるフィルタを模式的に示したものである。即ち、マルチチャネルウィナーフィルタは、理想的には上記(式18)に示したコスト関数を最小化するフィルタに基づいて元となる信号を復元する。
しかしながら、一般的には、目的音Sを独立して観測することは困難であるため、複数のチャネル(即ち、集音部)のうち一部のチャネルをリファレンスとして、信号劣化と、ノイズの抑圧量と、をトレードオフとした最小化問題に置き換える。この場合には、例えば、マルチチャネルウィナーフィルタWmwfは、以下に(式19)として示す計算式で表される。
Figure 0006496941
・・・(式19)
上記(式19)において、Xは、リファレンスとしたチャネルによる集音結果に基づく出力信号を示している。なお、以降の説明においては、リファレンスとしたチャネルを「リファレンスマイク」とも称する。また、Nは、背景ノイズを示しており、前述した(式9)に示したNに相当する。また、係数μは、目的音に対するノイズの抑圧量に応じて設定される係数(重み)であり、例えば、事前の実験等の結果に基づきあらかじめ設定される。また、上記(式19)におけるR及びRは、以下に(式20)及び(式21)として示す計算式で表される。また、(式19)において、リファレンスマイクはeにより特定される。eは、i番目の値のみが1をとり他の値は0を示すM次ベクトルであり、例えば、以下に示す(式22)のように表される。
Figure 0006496941

・・・(式22)
なお、上記(式20)において、Xは、複数のチャネルそれぞれによる集音結果に基づく入力信号をベクトルで表したものである。即ち、Rは、入力信号Xそのものから算出される。また、(式21)において、Nは、目的音が集音されていない区間(以下、「休止区間」とも称する)における、複数のチャネルそれぞれによる集音結果に基づく入力信号(即ち、雑音に相当する信号)をベクトルで表したものである。そのため、Rは、例えば、目的音が集音される区間(以下、「目的音区間」とも称する)の検出結果に基づき特定される休止区間において算出される。なお、以降では、Rを「入力相関行列」とも称し、Rを「ノイズ相関行列」とも称する。
ここで、他の実施形態において前述したように、屋外で使用される場合等のような周囲の環境が動的に変化する状況下では、風切音、振動に伴う雑音、及び装置の装着に伴う衣擦れ等のようなランダムノイズが集音部により集音される場合がある。その一方で、従来のマルチチャネルウィナーフィルタにおいては、(式19)においてeにより固定的に決定される集音部(即ち、リファレンスマイク)に上記ランダムノイズが混入した場合には、当該ランダムノイズを抑制することが困難である。
そこで、本実施形態では、他の実施形態において上述した技術をマルチチャネルウィナーフィルタに対して適用することで、当該マルチチャネルウィナーフィルタにおけるランダムノイズの影響をより低減する仕組みの一例について提案する。
具体的には、本実施形態に係る情報処理装置では、前述したパワースペクトルPm(または、パワースペクトルWm)の推定結果に基づきランダムノイズの影響がより小さい集音部をリファレンスマイクとして適応的に選択することで、ランダムノイズの影響をより低減する。例えば、以下に(式23)として示す計算式は、本実施形態に係る情報処理装置におけるマルチチャネルウィナーフィルタWmwfの導出に係る基本原理を示している。
Figure 0006496941
・・・(式23)
上記(式23)を前述した(式19)と比較するとわかるように、本実施形態に係る情報処理装置では、リファレンスマイクによる集音結果に基づく出力信号Xとして、他の実施形態において前述したパワースペクトルPm(または、パワースペクトルWm)の推定結果に基づく出力信号Yを適用する。このような構成に基づき、本実施形態に係る情報処理装置は、ランダムノイズの影響がより顕著に表れる状況下(即ち、周囲の環境が動的に変化するような状況下)においても、ランダムノイズの影響のより小さい集音部をリファレンスマイクとして動的に選択する。これにより、本実施形態に係る情報処理装置に依れば、従来のマルチチャネルウィナーフィルタを適用した装置に比べて、ランダムノイズの影響をより低減し、ひいては、より好適な態様で目的音を抽出することが可能となる。なお、以降では、本実施形態に係る情報処理装置についてさらに詳しく説明する。
<3.2.機能構成>
図24を参照して、本実施形態に係る情報処理装置の機能構成の一例について説明する。図24は、本実施形態に係る情報処理装置の機能構成の一例を示したブロック図である。なお、以降の説明では、本実施形態に係る情報処理装置を、前述した他の実施形態に係る情報処理装置(例えば、情報処理装置10及び60)と明示的に区別するために、「情報処理装置70」と称する場合がある。
図24に示すように、本実施形態に係る情報処理装置70は、複数の集音部111〜11M(Mは正の整数)と、周波数分解部13と、チャネルパワー推定部71と、フィルタ推定部72と、入力相関行列算出部73と、ノイズ相関行列算出部74と、マルチチャネルウィナーフィルタ算出部75と、マルチチャネルウィナーフィルタ処理部76と、周波数合成部77と、を含む。なお、複数の集音部111〜11M(Mは正の整数)と、周波数分解部13とは、前述した第1の実施形態に係る情報処理装置10(図6参照)において、同様の符号が付された構成に相当する。即ち、本実施形態に係る情報処理装置70は、チャネルパワー推定部71と、フィルタ推定部72と、入力相関行列算出部73と、ノイズ相関行列算出部74と、マルチチャネルウィナーフィルタ算出部75と、マルチチャネルウィナーフィルタ処理部76と、周波数合成部77との処理内容が、前述した第1の実施形態に係る情報処理装置10と異なる。そこで、以降では、本実施系形態に係る情報処理装置70の機能構成について、特に、前述した第1の実施形態に係る情報処理装置10と異なる部分に着目して説明し、当該情報処理装置10と同様の構成については詳細な説明は省略する。
(マルチチャネルウィナーフィルタ処理部76)
マルチチャネルウィナーフィルタ処理部76は、周波数分解部13から集音部110ごとに音響信号x(n)の各周波数成分X(i,k)を取得する。また、マルチチャネルウィナーフィルタ処理部76は、後述するマルチチャネルウィナーフィルタ算出部75から、周波数ごとにマルチチャネルウィナーフィルタWmwf(i,k)の算出結果を取得する。なお、マルチチャネルウィナーフィルタWmwf(i,k)の算出方法については詳細を別途後述する。そして、マルチチャネルウィナーフィルタ処理部76は、集音部110ごとの音響信号x(n)の各周波数成分X(i,k)を入力信号として、当該マルチチャネルウィナーフィルタWmwf(i,k)に基づくフィルタリング処理を施すことで、出力信号Sを周波数ごとに生成する。例えば、出力信号Sは、以下に(式24)として示す計算式で表される。なお、以下に示す(式24)では、フレーム番号i及び離散周波数番号kの記載を省略している。
Figure 0006496941
・・・(式24)
そして、マルチチャネルウィナーフィルタ処理部76は、周波数ごとに生成した出力信号Sを、周波数合成部77に出力する。
(周波数合成部77)
周波数合成部77は、マルチチャネルウィナーフィルタ処理部76から周波数ごとに生成された出力信号Sを取得する。周波数合成部77は、取得した周波数ごとの出力信号Sを合成することで音響信号を生成する。なお、周波数合成部77による処理は、前述した第1及び第2の実施形態に係る周波数合成部18が、周波数ごとの出力信号Y(i,k)を合成することで音響信号y(n)を生成する処理と同様のため、詳細な説明は省略する。
(チャネルパワー推定部71及びフィルタ推定部72)
続いて、チャネルパワー推定部71及びフィルタ推定部72の構成について説明する。チャネルパワー推定部71及びフィルタ推定部72は、前述した第1の実施形態に係る情報処理装置10と同様の仕組みを適用して構成してもよいし、第2の実施形態に係る情報処理装置60と同様の仕組みを適用して構成してもよい。そこで、以下にそれぞれの場合に着目して説明する。
(チャネルパワー推定部71及びフィルタ推定部72の構成例1)
まず、前述した第1の実施形態に係る情報処理装置10(図6参照)と同様の仕組みを適用して、チャネルパワー推定部71及びフィルタ推定部72を構成する場合について説明する。この場合には、チャネルパワー推定部71及びフィルタ推定部72は、第1の実施形態に係るチャネルパワー推定部15及びフィルタ推定部16に相当することとなる。
具体的には、チャネルパワー推定部71は、各集音部110それぞれに対応する音響信号x(n)の各周波数成分X(i,k)に基づき、周波数ごとに、各集音部110のパワースペクトルP(i,k)を推定する。
また、フィルタ推定部72は、パワースペクトルP(i,k)の推定結果に基づき、フィルタ係数w(i,k)を算出する。そして、フィルタ推定部72は、フィルタ係数w(i,k)の算出結果に基づきフィルタGを周波数ごとに算出し、当該フィルタGの算出結果を後述するマルチチャネルウィナーフィルタ算出部75に出力する。
(チャネルパワー推定部71及びフィルタ推定部72の構成例2)
続いて、前述した第2の実施形態に係る情報処理装置60(図22参照)と同様の仕組みを適用して、チャネルパワー推定部71及びフィルタ推定部72を構成する場合について説明する。この場合には、チャネルパワー推定部71及びフィルタ推定部72は、第2の実施形態に係るチャネルパワー推定部65及びフィルタ推定部66に相当することとなる。
具体的には、チャネルパワー推定部71は、各集音部110それぞれに対応する音響信号x(n)の各周波数成分X(i,k)に基づき、周波数ごとに、各集音部110のパワースペクトルP(i,k)を推定する。
また、チャネルパワー推定部71は、フィルタリング処理に基づき雑音(特に、ランダムノイズ)の影響が抑圧された周波数ごとの音響信号のフィードバックを受ける。
具体的な一例として、フィルタ推定部72は、マルチチャネルウィナーフィルタ処理部76によるフィルタリング処理の結果として出力される周波数ごとの音響信号Sのフィードバックを受けてもよい。
また、他の一例として、第2の実施形態に係る情報処理装置60におけるフィルタ処理部17に相当する構成を別途設けることで、フィルタ推定部72は、当該構成からノイズ成分が抑圧された周波数ごとの音響信号のフィードバックを受けてもよい。この場合には、フィルタ推定部72は、第2の実施形態に係る情報処理装置60における出力信号Y(i,k)に相当する音響信号のフィードバックを受けることとなる。
上記フィードバックを受けると、チャネルパワー推定部71は、各集音部110それぞれに対応する音響信号x(n)の各周波数成分X(i,k)と、フィードバックされた音響信号との間の相関性に基づき、当該音響信号と非相関の成分のパワースペクトルQ(i,k)を推定する。
そして、チャネルパワー推定部71は、パワースペクトルP(i,k)及びQ(i,k)それぞれの推定結果に基づき、フィルタ推定部72がフィルタ係数w(i,k)を算出するための、周波数ごとの、各集音部110のパワースペクトルWm(i,k)を決定すればよい。なお、パワースペクトルP(i,k)及びQ(i,k)それぞれの算出方法や、パワースペクトルWm(i,k)の決定方法については、前述した第2の実施形態に係るチャネルパワー推定部65と同様のため詳細な説明は省略する。
また、フィルタ推定部72は、パワースペクトルW(i,k)の推定結果に基づき、フィルタ係数w(i,k)を算出する。そして、フィルタ推定部72は、フィルタ係数w(i,k)の算出結果に基づきフィルタGを周波数ごとに算出し、当該フィルタGの算出結果を後述するマルチチャネルウィナーフィルタ算出部75に出力すればよい。
なお、上述した通り、フィルタGは、フィルタ係数w(i,k)に基づき算出されるため、前述した(式2)〜(式6)を鑑みると、例えば、以下に(式25)及び(式26)として示す計算式で表すことが可能である。
Figure 0006496941
なお、上記(式25)及び(式26)において、Rは、前述した(式6)における行列R(i,k)に相当する。即ち、第1の実施形態と同様の思想に基づく場合には、Rは、パワースペクトルP(i,k)の推定結果に基づく行列となる。また、第1の実施形態と同様の思想に基づく場合には、パワースペクトルP(i,k)及びQ(i,k)それぞれの推定結果に応じて決定されたパワースペクトルWm(i,k)に基づく行列となる。
次いで、入力相関行列算出部73、ノイズ相関行列算出部74、及びマルチチャネルウィナーフィルタ算出部75について説明する。
(入力相関行列算出部73)
入力相関行列算出部73は、周波数分解部13から集音部110ごとに音響信号x(n)の各周波数成分X(i,k)を取得する。次いで、入力相関行列算出部73は、取得した各周波数成分X(i,k)を入力として、前述した(式20)に基づき、入力相関行列Rを周波数ごとに算出する。そして、入力相関行列算出部73は、周波数ごとに算出した入力相関行列Rをマルチチャネルウィナーフィルタ算出部75に出力する。
(ノイズ相関行列算出部74)
ノイズ相関行列算出部74は、周波数分解部13から集音部110ごとに音響信号x(n)の各周波数成分X(i,k)を取得する。次いで、ノイズ相関行列算出部74は、音響信号x(n)の各周波数成分X(i,k)の取得結果に基づき休止区間を特定する。次いで、ノイズ相関行列算出部74は、特定した休止区間における当該各周波数成分X(i,k)を入力として、前述した(式21)に基づき、ノイズ相関行列Rを周波数ごとに算出する。そして、ノイズ相関行列算出部74は、周波数ごとに算出したノイズ相関行列Rをマルチチャネルウィナーフィルタ算出部75に出力する。
(マルチチャネルウィナーフィルタ算出部75)
マルチチャネルウィナーフィルタ算出部75は、フィルタ推定部72から、フィルタ係数w(i,k)に基づくフィルタGの算出結果を周波数ごとに取得する。また、マルチチャネルウィナーフィルタ算出部75は、入力相関行列算出部73から、入力相関行列Rの算出結果を周波数ごとに取得する。また、マルチチャネルウィナーフィルタ算出部75は、ノイズ相関行列算出部74から、ノイズ相関行列Rの算出結果を周波数ごとに取得する。次いで、マルチチャネルウィナーフィルタ算出部75は、周波数ごとに取得した、フィルタG、入力相関行列R、及びノイズ相関行列Rそれぞれの算出結果に基づき、周波数ごとにマルチチャネルウィナーフィルタWmwf(i,k)を算出する。そして、マルチチャネルウィナーフィルタ算出部75は、マルチチャネルウィナーフィルタWmwf(i,k)の算出結果をマルチチャネルウィナーフィルタ処理部76に出力する。これにより、マルチチャネルウィナーフィルタ処理部76は、集音部110ごとの音響信号x(n)の各周波数成分X(i,k)に対して、当該マルチチャネルウィナーフィルタWmwf(i,k)に基づきフィルタリング処理を施すことが可能となる。なお、マルチチャネルウィナーフィルタWmwf(i,k)の算出方法については、より詳細な内容について別途後述する。
以上、図24を参照して、本実施形態に係る情報処理装置の機能構成の一例について説明した。なお、上述した情報処理装置70の各構成のうち、例えば、マルチチャネルウィナーフィルタ算出部75及びマルチチャネルウィナーフィルタ処理部76が、「出力制御部」の一例に相当する。
<3.3.マルチチャネルウィナーフィルタの算出方法の詳細>
続いて、マルチチャネルウィナーフィルタWmwf(i,k)の算出方法についてより詳しく説明する。なお、本説明では、フレーム番号i及び離散周波数番号kの記載については省略するものとする。
まず、前述した(式23)に着目する。前述したように、フィルタGは、フィルタ係数w(i,k)に基づき算出される。そのため、(式23)に示す出力信号Yは、前述した(式7)を鑑みると、フィルタ係数w(i,k)に基づくフィルタGと、入力信号Xと、により、以下に(式27)として示す計算式で表すことが可能である。
Figure 0006496941
・・・(式27)
即ち、前述した(式23)は、上記(式27)で示された出力信号Yと、フィルタG、入力相関行列R、及びノイズ相関行列Rと、により、以下に(式28)として示す計算式で表すことが可能である。
Figure 0006496941
・・・(式28)
ここで、上記(式28)と前述した(式19)とを比較するとわかるように、上記(式28)は、前述した(式19)において、リファレンスマイクを特定する行列eを、フィルタGに置き換えた計算式と等価であることがわかる。また、フィルタGは、前述した(式25)及び(式26)を鑑みると、以下に(式29)として示す計算式で表すことも可能である。
Figure 0006496941
・・・(式29)
ここで、上記(式29)において、係数g、…、g、…、gは、(式25)及び(式26)における行列Rに基づき決定される係数である。より具体的には、係数g、…、g、…、gは、例えば、前述した第1の実施形態におけるパワースペクトルP(i,k)の推定結果や、第2の実施形態におけるパワースペクトルWm(i,k)の推定結果に基づき決定されることとなる。即ち、係数g、…、g、…、gは、各集音部110それぞれに対するランダムノイズの影響の大きさに応じた重みを示しており、換言すると、各集音部110それぞれの集音結果が、目的音の集音結果としてのどの程度信頼できるかを示している。
即ち、本実施形態に係る情報処理装置70においては、各集音部110による音響(特に、ランダムノイズ)の集音結果に応じて、係数g、…、g、…、gが変化し、当該係数に応じて、例えば、ランダムノイズの影響がより小さい集音部110がリファレンスマイクとして動的に選択されることとなる。
<3.4.評価>
以上説明したように、本実施形態に係る情報処理装置70は、各集音部110それぞれに対応する音響信号x(n)の各周波数成分X(i,k)に基づき、周波数ごとに、各集音部110のパワースペクトル(例えば、前述したパワースペクトルP(i,k)やパワースペクトルWm(i,k))を推定する。そして、情報処理装置70は、当該パワースペクトルの推定結果に基づきフィルタ係数w(i,k)を推定し、当該フィルタ係数w(i,k)の推定結果をマルチチャネルウィナーフィルタWmwf(i,k)の算出に利用する。このような構成により、本実施形態に係る情報処理装置70は、複数の集音部110のうち、ランダムノイズの影響がより小さい集音部110をリファレンスマイクとして動的に選択することが可能となる。即ち、本実施形態に係る情報処理装置70に依れば、リファレンスマイクが固定的に設定される従来のマルチチャネルウィナーフィルタを適用した場合に比べて、ランダムノイズの影響をより低減し、ひいては、より好適な態様で目的音を抽出することが可能となる。
なお、本実施形態に係る信号処理の適用先は、必ずしも図1に示すような所謂ネックバンド型のウェアラブルデバイスの例のみには限定されない。具体的には、本実施系に係る信号処理は、複数の集音部を備える装置であれば適用することが可能である。なお、より好適には、複数の集音部は、目的音の音源(例えば、音声が発話される口元)からの距離が互いに異なるように配置されているとよい。また、より好適には、複数の集音部は、目的音の音源に対して互いに異なる方向に位置するように配置されているとよい。
<<4.ハードウェア構成>>
次に、図25を参照して、本開示の各実施形態に係る情報処理装置10(即ち、上述した信号処理装置11〜14)のハードウェア構成の一例について説明する。図25は、本開示の各実施形態に係る情報処理装置10のハードウェア構成の一例を示した図である。
図25に示すように、本実施形態に係る情報処理装置10は、プロセッサ901と、メモリ903と、ストレージ905と、操作デバイス907と、報知デバイス909と、音響デバイス911と、集音デバイス913と、バス917とを含む。また、情報処理装置10は、通信デバイス915を含んでもよい。
プロセッサ901は、例えばCPU(Central Processing Unit)、GPU(Graphics Processing Unit)、DSP(Digital Signal Processor)又はSoC(System on Chip)であってよく、情報処理装置10の様々な処理を実行する。プロセッサ901は、例えば、各種演算処理を実行するための電子回路により構成することが可能である。なお、前述した周波数分解部13、チャネルパワー推定部15、フィルタ推定部16、フィルタ処理部17、及び周波数合成部18は、プロセッサ901により実現され得る。
メモリ903は、RAM(Random Access Memory)及びROM(Read Only Memory)を含み、プロセッサ901により実行されるプログラム及びデータを記憶する。ストレージ905は、半導体メモリ又はハードディスクなどの記憶媒体を含み得る。
操作デバイス907は、ユーザが所望の操作を行うための入力信号を生成する機能を有する。操作デバイス907は、例えば、タッチパネルとして構成され得る。また、他の一例として、操作デバイス907は、例えばボタン、スイッチ、及びキーボードなどユーザが情報を入力するための入力部と、ユーザによる入力に基づいて入力信号を生成し、プロセッサ901に供給する入力制御回路などから構成されてよい。
報知デバイス909は、出力デバイスの一例であり、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)装置、有機EL(OLED:Organic Light Emitting Diode)ディスプレイなどのデバイスであってよい。この場合には、報知デバイス909は、画面を表示することにより、ユーザに対して所定の情報を報知することができる。
なお、上記に示した報知デバイス909の例はあくまで一例であり、ユーザに対して所定の情報を報知可能であれば、報知デバイス909の態様は特に限定されない。具体的な一例として、報知デバイス909は、LED(Light Emitting Diode)のように、点灯又は点滅のパターンにより、所定の情報をユーザに報知するデバイスであってもよい。また、報知デバイス909は、所謂バイブレータのように、振動することで、所定の情報をユーザに報知するデバイスであってもよい。
音響デバイス911は、スピーカ等のように、所定の音響信号を出力することで、所定の情報をユーザに報知するデバイスである。
集音デバイス913は、マイクロフォン等のような、ユーザから発せられた音声や周囲の環境の音響を集音し、音響情報(音響信号)として取得するためのデバイスである。また、集音デバイス913は、集音された音声や音響を示すアナログの音響信号を示すデータを音響情報として取得してもよいし、当該アナログの音響信号をデジタルの音響信号に変換し、変換後のデジタルの音響信号を示すデータを音響情報として取得してもよい。なお、前述した集音部110(例えば、図6に示す集音部111〜11M)は、集音デバイス913により実現され得る。
通信デバイス915は、情報処理装置10が備える通信手段であり、ネットワークを介して外部装置と通信する。通信デバイス915は、有線または無線用の通信インタフェースである。通信デバイス915を、無線通信インタフェースとして構成する場合には、当該通信デバイス915は、通信アンテナ、RF(Radio Frequency)回路、ベースバンドプロセッサなどを含んでもよい。
通信デバイス915は、外部装置から受信した信号に各種の信号処理を行う機能を有し、受信したアナログ信号から生成したデジタル信号をプロセッサ901に供給することが可能である。
バス917は、プロセッサ901、メモリ903、ストレージ905、操作デバイス907、報知デバイス909、音響デバイス911、集音デバイス913、及び通信デバイス915を相互に接続する。バス917は、複数の種類のバスを含んでもよい。
また、コンピュータに内蔵されるプロセッサ、メモリ、及びストレージなどのハードウェアを、上記した情報処理装置10が有する構成と同等の機能を発揮させるためのプログラムも作成可能である。また、当該プログラムを記録した、コンピュータに読み取り可能な記憶媒体も提供され得る。
<<5.むすび>>
以上、説明したように、本実施形態に係る情報処理装置10は、少なくとも一部に流線形の形状を有する凸部を備え、当該凸部の先端、または、当該先端の近傍に位置するように集音部110が支持される。このような構成とすることで、例えば、風切音、振動に伴う雑音、及び装置の装着に伴う衣擦れ等のようなランダムに発生する雑音の影響を緩和し、より好適な態様で目的音(例えば、ユーザの音声)を集音することが可能となる。
また、本実施形態に係る情報処理装置10は、複数の集音部110を備え、当該複数の集音部110が互いに異なる方向を向くように支持されていてもよい。このような構成により、風切音、振動に伴う雑音、及び装置の装着に伴う衣擦れ等の雑音がランダムに発生するような状況下においても、一部の集音部(即ち、雑音の影響が少ない集音部)の集音結果に基づき、他の集音部の特性を補うことが可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
集音部と、
流線形の形状を有する凸部を少なくとも一部に備え、前記凸部の先端、または、当該先端の近傍に位置するように前記集音部を支持する支持部材と、
を備える、情報処理装置。
(2)
前記集音部である第1の集音部に加えて、当該第1の集音部とは異なる1以上の第2の集音部を備える、前記(1)に記載の情報処理装置。
(3)
前記支持部材は、複数の前記第2の集音部のそれぞれが、互いに異なる方向を向くように支持する、前記(2)に記載の情報処理装置。
(4)
前記支持部材は、ユーザの所定の部位に装着され、前記集音部と当該部位とが所定の位置関係となるように当該集音部を支持する、前記(1)に記載の情報処理装置。
(5)
前記部位は、首であり、
前記支持部材は、前記首に装着された場合に、前記凸部の先端が当該ユーザの略前方を向くように当該凸部が設けられている、
前記(4)に記載の情報処理装置。
(6)
前記集音部である第1の集音部に加えて、当該第1の集音部とは異なる複数の第2の集音部を備え、
複数の前記第2の集音部のうち少なくとも2以上の第2の集音部を、前記部位を基準として互いに略対称となる位置に支持する、
前記(4)または(5)に記載の情報処理装置。
(7)
前記第1の集音部と1以上の前記第2の集音部とのそれぞれにより集音された音響に基づき、前記第1の集音部に対して所定の方向から到来する音響に対する雑音成分を抑圧する信号処理部を備える、前記(2)に記載の情報処理装置。
(8)
前記信号処理部は、前記第1の集音部と1以上の前記第2の集音部とのそれぞれにより集音された音響に基づき、当該音響の周波数成分それぞれの信号レベルを推定し、当該信号レベルの推定結果に基づき、前記雑音成分を抑圧する、前記(7)に記載の情報処理装置。
(9)
前記信号処理部は、前記第1の集音部と1以上の前記第2の集音部とのうちの少なくとも複数の集音部それぞれにより集音された第1の音響と、従前の処理により前記雑音成分が抑圧された第2の音響との間の相関性に基づき、前記第1の音響に含まれる前記雑音成分を抑圧する、前記(7)に記載の情報処理装置。
(10)
前記支持部材は、前記複数の集音部のうち少なくとも2以上の集音部のそれぞれと、所定の音源との間の距離が互いに異なるように、当該複数の集音部を支持する、前記(9)に記載の情報処理装置。
(11)
前記支持部材は、前記複数の集音部のうち少なくとも2以上の集音部のそれぞれが、所定の音源に対して互いに異なる方向に位置するように、当該複数の集音部を支持する、前記(9)または(10)に記載の情報処理装置。
(12)
前記第1の集音部と1以上の前記第2の集音部とのうち一部の集音部により集音された音響を選択的に出力する出力制御部を備え、
前記出力制御部は、前記第1の集音部と1以上の前記第2の集音部とのそれぞれにより集音された音響に基づき、当該音響の周波数成分それぞれの信号レベルを推定し、当該信号レベルの推定結果に基づき、前記一部の集音部を選択する、
前記(2)に記載の情報処理装置。
(13)
前記出力制御部は、マルチチャネルウィナーフィルタを含み、当該マルチチャネルウィナーフィルタのリファレンスマイクを、前記信号レベルの推定結果に基づき選択する、前記(12)に記載の情報処理装置。
(14)
前記支持部材は、少なくとも一部に略矩形状の面を有する筐体であり、
前記筐体は、前記略矩形状の面の角を含む所定の領域中に前記凸部を有し、当該凸部の先端、または、当該先端の近傍に前記集音部を支持する、
前記(1)に記載の情報処理装置。
(15)
複数の前記集音部を備え、
前記筐体は、前記略矩形状の面の角のうち複数の角それぞれについて、当該角を含む所定の領域中に前記凸部を有し、当該凸部の先端、または、当該先端の近傍に前記集音部を支持する、前記(14)に記載の情報処理装置。
(16)
ユーザの腕に対して前記筐体を支持するバンド部を備え、
前記バンド部は、前記腕に装着された場合に、当該腕を基準として前記筐体と略対称となる位置に前記集音部とは異なる他の集音部を備える、
前記(14)または(15)に記載の情報処理装置。
(17)
前記支持部材は、ユーザの頭部に装着されるメガネ型のフレームであり、
前記フレームは、フロントの少なくとも一部に前記凸部を有し、当該凸部の先端、または、当該先端の近傍に前記集音部を支持する、
前記(1)に記載の情報処理装置。
(18)
前記フレームは、ブリッジ、または、当該ブリッジの近傍に前記凸部を有し、当該凸部の先端、または、当該先端の近傍に前記集音部を支持する、前記(17)に記載の情報処理装置。
10 情報処理装置
13 周波数分解部
15 チャネルパワー推定部
16 フィルタ推定部
17 フィルタ処理部
18 周波数合成部
110〜113 集音部
60 情報処理装置
65 チャネルパワー推定部
651 入力パワー推定部
653 非相関成分パワー推定部
655 ランダムノイズパワー推定部
66 フィルタ推定部

Claims (4)

  1. 第1の集音部と、
    前記第1の集音部とは異なる第2の集音部と、
    前記第1の集音部と前記第2の集音部を支持する支持部材と、
    前記第1の集音部により集音された音響信号と前記第2の集音部により集音された音響信号に基づいて、風切音が抑圧された音響信号を生成する信号処理部と、
    具備し、
    前記支持部材は、
    一部が開口したリング状の端部の少なくとも一部に、流線形の形状を有する凸部を備え、
    前記凸部の先端、または、当該先端の近傍に位置し、かつ前記第1の集音部が当該凸部が突出する方向を向くように、当該第1の集音部を支持し、
    前記支持部材がユーザの首に掛けられたときに、前記第2の集音部が当該ユーザの口の方向を向くように、当該第2の集音部を支持する、
    情報処理装置。
  2. 前記支持部材は、前記第1の集音部と所定の音源との間の距離と、前記第2の集音部と前記所定の音源との間の距離が異なるように、当該第1の集音部および第2の集音部を支持する、請求項1に記載の情報処理装置。
  3. 前記支持部材は、前記第1の集音部と前記第2の集音部が、所定の音源に対して異なる方向に位置するように、当該第1の集音部および当該第2の集音部を支持する、請求項1に記載の情報処理装置。
  4. 外部装置と無線で通信し、前記風切音が抑圧された音響信号を供給する通信部を更に備える、請求項1に記載の情報処理装置。
    に記載の情報処理装置。
JP2017545183A 2015-10-13 2016-10-06 情報処理装置 Active JP6496941B2 (ja)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
JP2015201723 2015-10-13
JP2015201723 2015-10-13
JP2016133593 2016-07-05
JP2016133593 2016-07-05
PCT/JP2016/073655 WO2017064914A1 (ja) 2015-10-13 2016-08-10 情報処理装置
JPPCT/JP2016/073655 2016-08-10
JP2016177402 2016-09-12
JP2016177402 2016-09-12
PCT/JP2016/079855 WO2017065092A1 (ja) 2015-10-13 2016-10-06 情報処理装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019037388A Division JP2019110593A (ja) 2015-10-13 2019-03-01 情報処理装置

Publications (2)

Publication Number Publication Date
JPWO2017065092A1 JPWO2017065092A1 (ja) 2018-07-26
JP6496941B2 true JP6496941B2 (ja) 2019-04-10

Family

ID=62388378

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017545183A Active JP6496941B2 (ja) 2015-10-13 2016-10-06 情報処理装置
JP2019037388A Pending JP2019110593A (ja) 2015-10-13 2019-03-01 情報処理装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2019037388A Pending JP2019110593A (ja) 2015-10-13 2019-03-01 情報処理装置

Country Status (8)

Country Link
US (1) US10565976B2 (ja)
EP (2) EP3364663B1 (ja)
JP (2) JP6496941B2 (ja)
KR (1) KR102524931B1 (ja)
CN (1) CN108141654B (ja)
BR (1) BR112018007055A2 (ja)
PH (1) PH12018500760A1 (ja)
RU (1) RU2727883C2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110493692B (zh) 2015-10-13 2022-01-25 索尼公司 信息处理装置
JP2019122035A (ja) * 2018-01-05 2019-07-22 オンキヨー株式会社 オーディオ入出力装置
JP2021043337A (ja) * 2019-09-11 2021-03-18 オンキヨーホームエンターテイメント株式会社 システム
JP6786139B1 (ja) * 2020-07-06 2020-11-18 Fairy Devices株式会社 音声入力装置

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS51248Y1 (ja) 1971-05-26 1976-01-07
US5736928A (en) * 1995-09-01 1998-04-07 Pittway Corporation Pre-processor apparatus and method
US5793875A (en) 1996-04-22 1998-08-11 Cardinal Sound Labs, Inc. Directional hearing system
US6285757B1 (en) * 1997-11-07 2001-09-04 Via, Inc. Interactive devices and methods
US7206418B2 (en) * 2001-02-12 2007-04-17 Fortemedia, Inc. Noise suppression for a wireless communication device
MXPA05001079A (es) 2002-07-26 2005-06-03 Oakley Inc Audifonos interactivos inalambricos.
WO2004012413A1 (en) * 2002-07-30 2004-02-05 Livedevices Limited Served initiated authorised communication in the presence of network address translator (nat) or firewalls
US7428429B2 (en) 2002-08-14 2008-09-23 Sync1 Llc Hands-free personal communication device
JP2004361938A (ja) * 2003-05-15 2004-12-24 Takenaka Komuten Co Ltd 騒音低減装置
US7383181B2 (en) * 2003-07-29 2008-06-03 Microsoft Corporation Multi-sensory speech detection system
US7099821B2 (en) 2003-09-12 2006-08-29 Softmax, Inc. Separation of target acoustic signals in a multi-transducer arrangement
US7773759B2 (en) * 2006-08-10 2010-08-10 Cambridge Silicon Radio, Ltd. Dual microphone noise reduction for headset application
RU2345422C2 (ru) * 2006-11-20 2009-01-27 Эдуард Борисович Попов Способ и устройство формирования изображения для распознавания направления распространения звука речи
US7711110B2 (en) * 2007-03-16 2010-05-04 Midas Technology, Llc Universal speakerphone with adaptable interface
US8175871B2 (en) * 2007-09-28 2012-05-08 Qualcomm Incorporated Apparatus and method of noise and echo reduction in multiple microphone audio systems
US8411880B2 (en) 2008-01-29 2013-04-02 Qualcomm Incorporated Sound quality by intelligently selecting between signals from a plurality of microphones
US8897455B2 (en) * 2010-02-18 2014-11-25 Qualcomm Incorporated Microphone array subset selection for robust noise reduction
JP2012133250A (ja) * 2010-12-24 2012-07-12 Sony Corp 音情報表示装置、音情報表示方法およびプログラム
JP2012203122A (ja) 2011-03-24 2012-10-22 Panasonic Corp 音声選択装置並びにそれを使用したメディア機器およびハンズフリー通話装置
JP5772447B2 (ja) * 2011-09-27 2015-09-02 富士ゼロックス株式会社 音声解析装置
US10223710B2 (en) 2013-01-04 2019-03-05 Visa International Service Association Wearable intelligent vision device apparatuses, methods and systems
JP6162220B2 (ja) * 2012-04-27 2017-07-12 ソニーモバイルコミュニケーションズ, エービー マイクロフォンアレイにおける音の相関に基づく雑音抑制
CN104429050B (zh) * 2012-07-18 2017-06-20 华为技术有限公司 具有用于立体声音频录音的麦克风的便携式电子装置
JP2014023141A (ja) 2012-07-23 2014-02-03 Satoru Katsumata 携帯情報端末機携行保持具
JP6101018B2 (ja) 2012-08-24 2017-03-22 株式会社アコー 防風層付き表面音圧測定マイクロホン
CN104781880B (zh) * 2012-09-03 2017-11-28 弗劳恩霍夫应用研究促进协会 用于提供通知的多信道语音存在概率估计的装置和方法
JP2014116648A (ja) * 2012-12-06 2014-06-26 Jvc Kenwood Corp 音源方向表示装置、音源方向表示方法、音源方向送信方法、及び音源方向表示プログラム
CN202998463U (zh) 2012-12-11 2013-06-12 启通科技有限公司 一种挂颈式助听器
JP6174856B2 (ja) 2012-12-27 2017-08-02 キヤノン株式会社 雑音抑制装置、その制御方法、及びプログラム
KR101498087B1 (ko) * 2013-02-21 2015-03-03 엘지전자 주식회사 블루투스 헤드셋
WO2014163797A1 (en) 2013-03-13 2014-10-09 Kopin Corporation Noise cancelling microphone apparatus
GB2532379B (en) 2013-07-12 2019-06-19 Cirrus Logic Int Semiconductor Ltd Two-stage wind noise reduction method
EP2840807A1 (en) * 2013-08-19 2015-02-25 Oticon A/s External microphone array and hearing aid using it
US20160205453A1 (en) * 2013-08-23 2016-07-14 Binauric SE External speaker/microphone apparatus for use with an electrical device for providing audio signals and/or for voice communication
EP2919482B1 (en) * 2014-03-13 2019-11-06 LG Electronics Inc. Wireless ear piece
KR102091520B1 (ko) * 2014-03-25 2020-03-20 엘지전자 주식회사 이동 단말기
KR102127390B1 (ko) * 2014-06-10 2020-06-26 엘지전자 주식회사 무선 리시버 및 그 제어 방법
WO2015196411A1 (en) * 2014-06-26 2015-12-30 Intel Corporation Beamforming audio with wearable device microphones
US9654868B2 (en) 2014-12-05 2017-05-16 Stages Llc Multi-channel multi-domain source identification and tracking
US10368162B2 (en) 2015-10-30 2019-07-30 Google Llc Method and apparatus for recreating directional cues in beamformed audio

Also Published As

Publication number Publication date
RU2727883C2 (ru) 2020-07-24
RU2018112178A3 (ja) 2020-02-10
EP3544311A1 (en) 2019-09-25
EP3364663A1 (en) 2018-08-22
US20180286376A1 (en) 2018-10-04
JP2019110593A (ja) 2019-07-04
EP3364663B1 (en) 2020-12-02
CN108141654A (zh) 2018-06-08
RU2018112178A (ru) 2019-10-07
CN108141654B (zh) 2020-02-14
US10565976B2 (en) 2020-02-18
PH12018500760A1 (en) 2018-10-15
KR20180068962A (ko) 2018-06-22
JPWO2017065092A1 (ja) 2018-07-26
BR112018007055A2 (ja) 2018-10-23
KR102524931B1 (ko) 2023-04-25
EP3544311B1 (en) 2022-11-30
EP3364663A4 (en) 2018-11-14

Similar Documents

Publication Publication Date Title
WO2017065092A1 (ja) 情報処理装置
CN108600907B (zh) 定位声源的方法、听力装置及听力系统
JP2019110593A (ja) 情報処理装置
EP3413589B1 (en) A microphone system and a hearing device comprising a microphone system
US9094749B2 (en) Head-mounted sound capture device
CN108370471A (zh) 分布式音频捕获和混合
US11146897B2 (en) Method of operating a hearing aid system and a hearing aid system
KR20170067682A (ko) 음향 신호 수집을 위한 코드 실행가능 방법, 회로, 장치, 시스템 및 관련 컴퓨터
JP2017092732A (ja) 聴覚支援システムおよび聴覚支援装置
TW202242855A (zh) 聲學裝置
JP5034735B2 (ja) 音処理装置およびプログラム
WO2017064914A1 (ja) 情報処理装置
WO2023087565A1 (zh) 一种开放式声学装置
WO2022226696A1 (zh) 一种开放式耳机
D'Olne et al. Model-based beamforming for wearable microphone arrays
CN114708881A (zh) 基于双麦克风的定向可选拾音方法、电子设备及存储介质
US11937047B1 (en) Ear-worn device with neural network for noise reduction and/or spatial focusing using multiple input audio signals
CN115665606B (zh) 基于四麦克风的收音方法和收音装置
US20220240026A1 (en) Hearing device comprising a noise reduction system
Ohlenbusch et al. Multi-Microphone Noise Data Augmentation for DNN-based Own Voice Reconstruction for Hearables in Noisy Environments
CN115529537A (zh) 一种差分波束形成方法、装置及存储介质
JP2023554206A (ja) オープン型音響装置
CN116781817A (zh) 双耳拾音方法和装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180626

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180626

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180626

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180911

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180918

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190205

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190218

R151 Written notification of patent or utility model registration

Ref document number: 6496941

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151