JPWO2018037643A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
JPWO2018037643A1
JPWO2018037643A1 JP2018535458A JP2018535458A JPWO2018037643A1 JP WO2018037643 A1 JPWO2018037643 A1 JP WO2018037643A1 JP 2018535458 A JP2018535458 A JP 2018535458A JP 2018535458 A JP2018535458 A JP 2018535458A JP WO2018037643 A1 JPWO2018037643 A1 JP WO2018037643A1
Authority
JP
Japan
Prior art keywords
information processing
processing apparatus
sound
noise
weight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018535458A
Other languages
English (en)
Other versions
JP6888627B2 (ja
Inventor
和樹 落合
和樹 落合
高橋　秀介
秀介 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2018037643A1 publication Critical patent/JPWO2018037643A1/ja
Application granted granted Critical
Publication of JP6888627B2 publication Critical patent/JP6888627B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802—Systems for determining direction or deviation from predetermined direction
    • G01S3/808—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
    • G01S3/8083—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems determining direction of source
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/02—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using radio waves
    • G01S3/74—Multi-channel systems specially adapted for direction-finding, i.e. having a single antenna system capable of giving simultaneous indications of the directions of different signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/02—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using radio waves
    • G01S3/04—Details
    • G01S3/06—Means for increasing effective directivity, e.g. by combining signals having differently oriented directivity characteristics or by sharpening the envelope waveform of the signal derived from a rotating or oscillating beam antenna
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0232—Processing in the frequency domain
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L25/84—Detection of presence or absence of voice signals for discriminating voice from noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones

Abstract

【課題】採用された雑音区間の適切さを評価する仕組みを提供する。【解決手段】収音装置群による収音結果を示す音響信号を取得する取得部と、前記取得部により取得された前記音響信号が定常雑音を観測した信号である度合に応じた第１の重みを計算し、前記第１の重みを雑音信号から得られる空間相関行列である雑音空間相関行列に適用する制御部と、を備える情報処理装置。【選択図】図３

Description

本開示は、情報処理装置、情報処理方法及びプログラムに関する。
近年、様々な機器を操作するために、音声認識技術を用いた音声コマンドの利用が広く行われている。音声コマンドを正しく認識するためには、収音装置からみた音声コマンドの音源である話者の方向が精度よく推定されることが望ましい。しかし、実環境では様々な雑音が存在するため、話者の方向の推定精度が低下し得る。そのため、雑音環境下において、音声の到来方向の推定精度を向上させるための技術が開発されている。
例えば、下記特許文献１では、入力された音響信号の相関行列と当該音響信号に基づく雑音信号の相関行列とを計算し、これらの２つの相関行列に基づいて計算した空間スペクトルに基づいて、音響信号に係る音源の方向を推定する技術が開示されている。
特開２０１４−５６１８１号公報
上記特許文献１のように、雑音のみが含まれると推定される雑音区間の信号を用いることで、目的音の到来方向の推定精度を向上させる技術は多くある。しかし、そのような技術における推定精度は、どの区間を雑音区間として採用するかに大きく依存してしまう。例えば、採用された雑音区間が不適切である場合、推定精度が大きく低下するおそれがある。そこで、採用された雑音区間の適切さを評価する仕組みが提供されることが望ましい。
本開示によれば、収音装置群による収音結果を示す音響信号を取得する取得部と、前記取得部により取得された前記音響信号が定常雑音を観測した信号である度合に応じた第１の重みを計算し、前記第１の重みを雑音信号から得られる空間相関行列である雑音空間相関行列に適用する制御部と、を備える情報処理装置が提供される。
また、本開示によれば、収音装置群による収音結果を示す音響信号を取得することと、取得された前記音響信号が定常雑音を観測した信号である度合に応じた第１の重みをプロセッサにより計算し、前記第１の重みを雑音信号から得られる空間相関行列である雑音空間相関行列に適用することと、を含む情報処理方法が提供される。
また、本開示によれば、コンピュータを、収音装置群による収音結果を示す音響信号を取得する取得部と、前記取得部により取得された前記音響信号が定常雑音を観測した信号である度合に応じた第１の重みを計算し、前記第１の重みを雑音信号から得られる空間相関行列である雑音空間相関行列に適用する制御部と、として機能させるためのプログラムが提供される。
以上説明したように本開示によれば、採用された雑音区間の適切さを評価する仕組みが提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る情報処理装置の概要を説明するための図である。 本実施形態に係る情報処理装置の論理的な構成の一例を示すブロック図である。 本実施形態に係る情報処理装置の論理的な構成の詳細な一例を示すブロック図である。 本実施形態に係る情報処理装置による音源方向推定処理の流れの一例を示すフローチャートである。 第１の変形例に係る情報処理装置の論理的な構成の詳細な一例を示すブロック図である。 第２の変形例に係る情報処理装置の論理的な構成の詳細な一例を示すブロック図である。 第３の変形例に係る情報処理装置の論理的な構成の一例を示すブロック図である。 第３の変形例に係る情報処理装置の論理的な構成の詳細な一例を示すブロック図である。 第４の変形例に係る情報処理装置の論理的な構成の詳細な一例を示すブロック図である。 第５の変形例に係る情報処理装置の論理的な構成の詳細な一例を示すブロック図である。 提案手法と比較手法との比較実験の実験設定を説明するための図である。 提案手法と比較手法との比較実験の実験設定を説明するための図である。 比較手法による実験結果を示す図である。 提案手法による実験結果を示す図である。 本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
１．はじめに
１．１．概要
１．２．ＭＵＳＩＣ法
１．３．ＧＥＶＤ−ＭＵＳＩＣ法
２．構成例
３．処理の流れ
４．変形例
４．１．第１の変形例
４．２．第２の変形例
４．３．第３の変形例
４．４．第４の変形例
４．５．第５の変形例
５．実験結果
６．ハードウェア構成例
７．まとめ
＜＜１．はじめに＞＞
＜１．１．概要＞
図１は、本開示の一実施形態に係る情報処理装置１の概要を説明するための図である。情報処理装置１は、収音装置を有し、ユーザ２からの音声に基づく操作を、収音結果の音声認識により受け付ける。ただし、図１に示すように、情報処理装置１は、周囲にテレビ受像機３及びエアコンディショナー４等の雑音源がある環境において使用されることが想定される。そこで、情報処理装置１は、雑音源が周囲にあり且つ話者との距離が数メール離れている環境において、ユーザ２からの音声に基づく操作を受け付け可能であることが望ましい。さらには、情報処理装置１は、音声認識開始ボタンの押下又はリモートコントローラによる指示なしに、ユーザ２からの音声に基づく操作を受け付け可能であることが望ましい。
そのためには、目的音（即ち、ユーザ２からの音声）の音声区間を検出すること、目的音以外の雑音を抑圧して目的音を強調すること、及び情報処理装置１を操作するユーザ２を特定すること等が、精度よく行われることが望ましい。そして、これらを実現するためには、収音された音から目的音以外の雑音を抑圧するための処理が適切に行われることが望ましい。
収音された音から目的音以外の雑音を適切に抑圧することができれば、目的音の到来方向を精度よく推定することができる。そして、情報処理装置１は、目的音の到来方向情報に基づいて、目的音の到来方向を強調する抽出フィルターを作成及び適用（即ち、ビームフォーミング）することで、音声認識精度を向上させることが可能となる。
本実施形態では、目的音は人の音声であるものとする。また、音声の到来方向を、音源方向とも称する。以下、音源方向の推定について詳しく説明する。
＜１．２．ＭＵＳＩＣ法＞
音源方向推定手法のひとつに、ＭＵＳＩＣ（Multiple Signal Classification）法がある。ＭＵＳＩＣ法は、雑音が白色であるという仮定の下、標準固有値分解で求まった固有ベクトルを利用する方法である。
ＭＵＳＩＣ法は、まず、ある周波数ωにおいて、ある方向θに死角を向けた空間フィルタを作り、それを空間的にスキャンする（θを、目的音が存在し得る方向候補で変化させる）ことで、θ方向から音が到来している度合いを求める。この度合いを、ここでは空間スペクトルと称する。そして、ＭＵＳＩＣ法は、この空間スペクトルのピーク方向を、音源の方向として推定する。ＭＵＳＩＣ法では、空間フィルタを用いたスキャンが行われるので、空間スペクトルは幅が狭く鋭いものとなり、空間スペクトルの空間分解能が高くなる。
ＭＵＳＩＣ法は、一般に性能が良いとされ、マイクの個数をＭ個とすると、理論上はＭ−１個までの音源の方向を推定可能である。しかしながら、ＭＵＳＩＣ法は、周波数毎に音源数を与えることが要される上に、実環境での性能低下が懸念される。実環境は、雑音源が多い場合あること、及び雑音が有色であるためＭＵＳＩＣ法のモデルと合致しないこと、が要因である。
＜１．３．ＧＥＶＤ−ＭＵＳＩＣ法＞
上述したＭＵＳＩＣ法の実環境での性能低下の対策として、雑音を白色化してから固有値分解を行って（即ち、一般化固有値分解、ＧＥＶＤ（Generalized Eigen Value Decomposition））ＭＵＳＩＣ法を適用する、ＧＥＶＤ−ＭＵＳＩＣ法が提案されている。
ＧＥＶＤ−ＭＵＳＩＣ法においては、第１の空間相関行列と第２の空間相関行列との、２つの空間相関行列が用いられる。なお、空間相関行列とは、マイク間の相関（即ち、位相差）を表現する、分散共分散行列である。
第１の空間相関行列とは、目的音が含まれる区間の時刻フレーム（以下、単にフレームとも称する）の空間相関行列である。即ち、第１の空間相関行列とは、音源方向の推定対象となる区間の音響信号の空間相関行列である。第１の空間相関行列の計算のために用いられるフレームを、第１の計算区間とも称する。
第２の空間相関行列は、白色化する雑音が含まれる区間のフレームの空間相関行列である。即ち、第２の空間相関行列は、雑音信号から得られる空間相関行列である。第２の空間相関行列は、雑音空間相関行列とも称される場合がある。第２の空間相関行列の計算のために用いられるフレームを、第２の計算区間とも称する。
ここで、第１の計算区間と第２の計算区間とで、共通のフレームが含まれないことが望ましい。共通のフレームが含まれる場合、共通した信号成分が白色化されて方向推定が困難になるためである。
ＧＥＶＤ−ＭＵＳＩＣ法では、雑音が白色化されることにより、音響信号に含まれる雑音の影響をキャンセルないし抑圧した状態で方向推定を行うことが可能である。従って、ＧＥＶＤ−ＭＵＳＩＣ法は、雑音環境下でも目的音の方向推定を精度よく行うことが可能であると考えられる。ただし、ＧＥＶＤ−ＭＵＳＩＣ法では、第２の空間相関行列をどのように求めるかが、推定精度に大きく影響を与える。
そこで、第１に、目的音と重なっている雑音成分を正確に抽出し、その信号をもとに第２の空間相関行列が求められることが望ましい。しかし、その実現は非常に困難である。そのため、発話の直前の区間に含まれる雑音成分は目的音の区間と同じであるという仮定の下で、第２の空間相関行列を計算することが一般的である。ただし、その仮定が覆る場合には、推定性能は著しく劣化する。
また、第２に、第２の計算区間に、目的音が含まれないことが望ましい。目的音が含まれる場合、目的音の方向からの音成分が白色化されてしまうためである。その対策として、第２の計算区間を、音声／非音声の判定結果に基づいて選択する手法が考えられる。しかし、そのような手法では、例えば発話が全ての時刻で続く場合には、第２の計算区間として選択可能な情報が無くなってしまう。また、第１の計算区間と第２の計算区間とで、含まれる雑音成分が大きく異なる場合、白色化の効果が薄れる、若しくは逆に悪影響を及ぼすおそれがある。従って、第２の空間相関行列の計算は、第１の空間相関行列に含まれる雑音成分と同様の成分が含まれる計算区間を用いて行われることが望ましい。
第１の空間相関行列と第２の空間相関行列とで含まれる雑音成分が大きく異なる場合としては、例えば第２の計算区間に突発的な雑音、即ち非定常雑音が含まれる場合が考えられる。非定常雑音とは、空間的定常性、又は時間的定常性がない雑音である。一方で、空間的定常性及び時間的定常性がある雑音を、定常雑音と称する。下記の表に、定常雑音と非定常雑音の一例を示す。
＜＜２．構成例＞＞
図２は、本実施形態に係る情報処理装置１の論理的な構成の一例を示すブロック図である。図２に示すように、情報処理装置１は、収音装置群１０、取得部２０、出力部３０、記憶部４０及び制御部５０を含む。
収音装置群１０は、複数の収音装置を含む。各々の収音装置は、例えばマイクロフォンであり、周囲の音を収音して音響信号を生成する。
取得部２０は、収音装置群１０による収音結果を示す音響信号を取得する。取得部２０は、取得した音響信号を制御部５０に出力する。
出力部３０は、情報を出力する。例えば、出力部３０は、制御部５０から出力された情報を、音声又は画像等により出力する。出力部３０は、外部装置に情報を送信する通信装置であってもよい。
記憶部４０は、情報処理装置１による動作のための情報を、一時的に又は恒久的に記憶する。制御部５０は、情報処理装置１の各構成要素を制御し、情報処理装置１による様々な機能を提供する。例えば、制御部５０は、入力された音響信号に基づき各種計算を行い、音源方向の推定結果を示す情報を出力する。以下、図３を参照して、記憶部４０及び制御部５０の詳細な構成例を説明する。
図３は、本実施形態に係る情報処理装置１の論理的な構成の詳細な一例を示すブロック図である。図３に示すように、本実施形態に係る記憶部４０又は制御部５０は、音源種類推定部１００、ＧＥＶＤ−ＭＵＳＩＣ処理部２００、周波数変換部３０２、閾値更新部３０４及びピーク検出部３０６を含む。なお、図３では、音源方向の推定にかかる構成要素以外は省略されている。即ち、記憶部４０及び制御部５０は、図３に示した構成要素以外の構成要素を含み得る。
周波数変換部３０２は、取得部２０により取得された時間領域の音響信号を、フレームごとにＤＦＴ（Discrete Fourier Transform）又はＳＴＦＴ（Short Time
Fourier Transform）を適用して周波数領域の信号に変換する。例えば、フレーム長及びフレームシフトは、それぞれ３２ｍｓ（ミリ秒）及び１０ｍｓであってもよい。
音源種類推定部１００は、取得部２０により取得された音響信号が定常雑音を観測した信号である度合に応じた重み（第１の重みに相当）を計算する。具体的には、音源種類推定部１００は、音響信号に音声が含まれる度合、及び音響信号の定常性を推定し、これらに基づいて重みを計算する。これにより、第２の計算区間の音響信号に目的音が含まれないほど、また目的音と重なっている可能性が高い定常性のある雑音成分が含まれるほど、より大きな重みが第２の空間相関行列に適用されることとなる。よって、ＧＥＶＤ−ＭＵＳＩＣ法の推定精度を向上させることが可能となる。図３に示すように、音源種類推定部１００は、音響特徴量変換部１０２、音声非音声推定部１０４、音声モデル記憶部１０６、信号パワー推定部１０８、定常雑音パワー推定部１１０及び重み決定部１１２を含む。
音響特徴量変換部１０２は、取得部２０により取得された時間領域の音響信号を、音響特徴量に変換する。音響特徴量は、例えば４０次元のメルフィルタバンクの適用により得られる。
音声非音声推定部１０４は、音響特徴量変換部１０２により変換された音響特徴量に基づいて、フレーム内の音響信号に含まれる音の音声らしさ（即ち、音声尤度）を計算する。音声非音声推定部１０４は、例えば音声モデル記憶部１０６に記憶された音声モデルに音響特量を入力することで、音声尤度を計算する。
音声モデル記憶部１０６は、音声モデルを記憶する。例えば、音声モデル記憶部１０６は、予めＤＮＮ（Deep Neural Network）により学習された音声モデルを記憶する。
信号パワー推定部１０８は、周波数変換部３０２により変換された周波数領域の信号に基づいて、フレームごと及び周波数ごとの信号のパワーを計算する。
定常雑音パワー推定部１１０は、フレームごと及び周波数ごとの信号のパワーに基づいて、フレームごと及び周波数ごとに定常雑音のパワーを計算する。例えば、定常雑音パワー推定部１１０は、次式を用いて計算する。
ここで、νは、定常雑音パワーの更新係数である。また、ｐＰ ω，ｔは、フレームｔにおける周波数ωの信号のパワーである。
重み決定部１１２は、音響信号に音声が含まれる度合、及び音響信号の定常性に基づいて、第２相関行列計算部２０４において用いられる重みを計算する。音響信号に音声が含まれる度合は、音声非音声推定部１０４から出力された音声尤度に対応する。音響信号の定常性は、音響信号のパワーに基づいて計算される、信号パワー推定部１０８から出力された信号パワー及び定常雑音パワー推定部１１０から出力された定常雑音パワーに対応する。重みは、例えば次式により計算される。
ここで、Ｃは定数である。また、αＶ ｔは、音声尤度に基づく重みである。また、αＰ ω，ｔは、定常雑音パワー及び信号パワーに基づく重みである。
重み決定部１１２は、音声尤度に基づく重みを、音声尤度がより高い音声らしさを示すほど低くなるよう計算する。これにより、第２の空間相関行列の計算に用いられた区間の音響信号に目的音が含まれないほどより大きな重みが第２の空間相関行列に適用されることとなり、推定精度を向上させることが可能となる。音声尤度に基づく重みは、例えば次式により計算される。
ここで、ｐＶ ｔは、フレームｔにおける音声尤度である。また、ｐＴｈは、音声尤度の閾値である。重み決定部１１２は、音声尤度が閾値以上である場合に重みを０にすることで、第２相関行列計算部２０４における第２の空間相関行列の計算に、音声が含まれるフレームが用いられないようにすることが可能である。
重み決定部１１２は、定常雑音パワー及び信号パワーに基づく重みを、定常雑音パワーと比べて信号パワーが大きいほど低くなるように、また、定常雑音パワーと比べて信号パワーが小さいほど高くなるように計算する。これにより、非定常雑音であるほど重みを小さくすることができる。即ち、第２の空間相関行列の計算に用いられた区間の音響信号に目的音と重なっている可能性が高い定常性のある雑音成分が含まれるほど、より大きな重みが第２の空間相関行列に適用されることとなり、推定精度を向上させることが可能となる。定常雑音パワー及び信号パワーに基づく重みは、例えば次式により計算される。
ここで、ａ、ｂ及びｃは定数である。
ＧＥＶＤ−ＭＵＳＩＣ処理部２００は、周波数領域の音響信号と音源種類推定部１００による計算結果とに基づいて、周波数間で平均された空間スペクトルを計算する。図３に示すように、ＧＥＶＤ−ＭＵＳＩＣ処理部２００は、第１相関行列計算部２０２、第２相関行列計算部２０４、固有値分解部２０６、伝達関数記憶部２０８、空間スペクトル算出部２１０、周波数重み算出部２１２及び周波数情報統合部２１４を含む。
第１相関行列計算部２０２は、フレームごと及び周波数ごとの信号の相関行列を計算する。ここで計算される相関行列は、第１の空間相関行列である。なお、行列の各要素は、収音装置群１０に含まれる各収音装置の相関を表す。第１の空間相関行列は、例えば次式により計算される。
ここで、ＴＲは、第１の計算区間のフレーム長である。また、ｚω，ｔは、フレームｔにおける周波数ωの信号である。
第２相関行列計算部２０４は、フレームごと及び周波数ごとの雑音信号の相関行列を計算する。とりわけ、第２相関行列計算部２０４は、重み決定部１１２により計算された重みをかかる相関行列に適用する。ここで計算される相関行列は、第２の空間相関行列である。第２の空間相関行列は、例えば次式により計算される。
ここで、ＴＫは、第２の計算区間のフレーム長である。また、Δｔは、Ｒω，ｔとＫω，ｔとで、共通のフレームの信号が使われないようにするための値である。
ここで、重みαω，τは、連続値（例えば、０〜１）として計算される。ただし、重みαω，τが全てのτで０になってしまうケースが有り得ることを鑑みると、第２の空間相関行列は、次式により計算されてもよい。
上記式によれば、第２相関行列計算部２０４は、後段の固有値分解部２０６による一般化固有値分解の対象となる、重みを適用した第２の空間相関行列を、過去の重みを適用した第２の空間相関行列に基づいて逐次的に更新する。このような更新式により、長時間の定常雑音成分の利用が可能になる。さらに、重みが０〜１の連続値である場合、過去の第２の空間相関行列ほど重みの積算回数が増えて重みがより小さくなるので、直近の時刻の定常雑音成分ほど大きな重みが置かれることとなる。従って、目的音の背景にある定常雑音成分に近いと考えられる、直近の時刻の定常雑音成分に大きな重みを置いた状態で第２の空間相関行列の計算が可能となる。
固有値分解部２０６は、重みを適用した第２の空間相関行列及び第１の空間相関行列に基づく一般化固有値分解を行い、固有値を計算する。例えば、固有値分解部２０６は、次式を満たす固有ベクトルｅω，ｔ，ｉを求める。
ここで、λｉは、一般化固有値分解により求められるｉ番目に大きな固有値である。Ｍは、収音装置群１０に含まれる収音装置の数である。ｅｉは、λｉに対応する固有ベクトルである。
上記式は、ΦＨ ω，ｔΦω，ｔ＝Ｋω，ｔを満たす行列Φω，ｔを用いた変形により、次式で表され、標準固有値分解の問題となる。
ここで、Φ−Ｈ ω，ｔは、白色化行列とも称される。そして、上記式の左辺は、定常雑音成分でＲω，ｔを白色したもの、即ち定常雑音成分が除去されたものである。
伝達関数記憶部２０８は、伝達関数を記憶する。ここで、伝達関数とは、音源から各収音装置までの伝達特性を示すベクトルである。
空間スペクトル算出部２１０は、固有値分解部２０６による計算結果及び伝達関数記憶部２０８により記憶された伝達関数に基づいて、空間スペクトルを計算する。例えば、空間スペクトル算出部２１０は、小さい方から収音装置数Ｍ−音源数Ｎ個の固有値に対応した固有ベクトルと、方向θに関する伝達関数ベクトルとを用いて、θ方向から音が到来している度合い、（即ち、空間スペクトル）を計算する。空間スペクトルは、例えば次式により計算される。
ここで、Ｎは、音源数である。θは、空間スペクトルを計算する方向である。ａθは、θ方向に関するステアリングベクトル（即ち、伝達関数）である。
周波数重み算出部２１２は、周波数ごとの空間スペクトルの寄与度に基づく重み（第２の重みに相当）を計算する。ＭＵＳＩＣ法をベースとした方法では、各周波数における空間スペクトルからはパワー情報が失われているものの、一般化固有値分解を行ったときに得られる固有値にはパワー成分が含まれており、特にその値の分布は空間的な偏り方を表現している。例えば、ある方向から音が到来している場合には、音源数分の固有値のみが大きくなり、固有値の分布に偏りが生じる。そこで、周波数重み算出部２１２は、周波数ごとの空間スペクトルの寄与度に基づく重みを、固有値の分布に基づいて計算する。周波数ごとの空間スペクトルの寄与度に基づくは、周波数ごとの最大固有値を固有値の和で除算したものとして、例えば次式により計算される。
周波数情報統合部２１４は、周波数ごとの空間スペクトルを、周波数重み算出部２１２により計算された寄与度に基づく重みにより重み付けして統合する。音源がありそうな帯域での重みが高くなるように寄与度に基づく重みによる重み付けを行うことで、方向推定精度を向上させることが可能である。空間スペクトルの統合は、例えば次式により計算される。
なお、上記式では調和平均が用いられているが、その他にも算術平均又は幾何平均等が用いられてもよい。
ここで、音声が到来している場合、全ての方向で空間スペクトルの値が大きくなることがある。後段のピーク検出部３０６において閾値との比較により音源方向が推定されることを考慮すれば、音声が到来している場合に全ての方向で空間スペクトルの値が閾値を超えてしまい、推定誤りが発生するおそれがある。そこで、周波数情報統合部２１４は、次式のように、統合した空間スペクトルの正規化を行う。
このような正規化により、最小値が０となるので、後段のピーク検出部３０６において音源と無関係なピークを閾値以下に抑え、推定誤りの発生を防止することが可能となる。ここで、ｌｏｇの底は任意であり、例えばネイピア数が用いられる。
閾値更新部３０４は、ＧＥＶＤ−ＭＵＳＩＣ処理部２００から出力される空間スペクトルのうち、ピークとして検出するか否かの基準となる閾値を計算する。この閾値により、音源がその方向にないものの、値の小さいピークとなってしまったものを棄却することが可能となる。
とりわけ、閾値更新部３０４は、過去の空間スペクトルの値を用いて閾値を逐次的に更新する。閾値を逐次的に更新することにより、テレビ受像機からの音等の、ある方向から鳴り続けている音に関するピークを棄却することが可能となる。目的音は、音声コマンド又は機器を操作するための発話等の短い音声であるので、長時間続く音を棄却することは、音源方向をより精度よく推定することを可能にする。閾値は、例えば次式により計算される。
ここで、αｔｈ、βｔｈ及びγｔｈは定数である。また、Θは、スキャンする方向の数である。
ピーク検出部３０６は、ＧＥＶＤ−ＭＵＳＩＣ処理部２００から出力された空間スペクトルに基づいて、収音装置群１０からみた音源方向を推定する。より詳しくは、ピーク検出部３０６は、空間スペクトルのピークが立つ方向を検出し、その方向を音源方向として推定する。その際、ピーク検出部３０６は、閾値更新部３０４から出力された閾値を超えて空間スペクトルのピークが立つ方向を、音源方向として推定する。逐次的に更新される閾値を用いることで、上述した棄却が実現される。
＜＜３．処理の流れ＞＞
図４は、本実施形態に係る情報処理装置１による音源方向推定処理の流れの一例を示すフローチャートである。図４に示すように、まず、情報処理装置１は、収音装置群１０による収音結果を示す音響信号を取得する（ステップＳ１０２）。次いで、情報処理装置１は、取得された音響信号が定常雑音を観測した信号である度合に応じた第１の重みを計算する（ステップＳ１０４）。例えば、情報処理装置１は、音声尤度及びパワーに基づいて第１の重みを計算する。次に、情報処理装置１は、第１の空間相関行列を計算し、第１の重みを適用した第２の空間相関行列を計算し、これらの空間相関行列に基づき固有値分解を行う（ステップＳ１０６、Ｓ１０８、Ｓ１１０）。次いで、情報処理装置１は、固有値分解の結果及び伝達関数に基づいて空間スペクトルを計算する（ステップＳ１１２）。次に、情報処理装置１は、空間スペクトルの寄与度に基づいて第２の重みを計算する（ステップＳ１１４）。次いで、情報処理装置１は、第２の重みにより重み付けして空間スペクトルを統合する（ステップＳ１１６）。次に、情報処理装置１は、統合された現在及び過去の空間スペクトルの値を用いて閾値を計算する（ステップＳ１１８）。そして、情報処理装置１は、統合された空間スペクトルのうち閾値を超えてピークが立つ方向を、音源方向として推定する（ステップＳ１２０）。以上により、処理は終了する。
＜＜４．変形例＞＞
以下、各種変形例を説明する。ただし、上記説明した事項と重複する内容に関しては、説明を省略する。
＜４．１．第１の変形例＞
第１の変形例では、音響信号の定常性が、音響信号の特徴量に基づいて計算される。より詳しくは、第１の変形例では、定常雑音パワー及び信号パワーの比に基づく重みに代えて、音響信号の特徴量が示す突発性雑音尤度に基づく重みが用いられる。
図５は、第１の変形例に係る情報処理装置１の論理的な構成の詳細な一例を示すブロック図である。図５に示すように、本変形例に係る情報処理装置１は、図３に示した信号パワー推定部１０８及び定常雑音パワー推定部１１０に代えて、音響特徴量変換部１１４、突発性雑音推定部１１６及び雑音モデル記憶部１１８を含む。
音響特徴量変換部１１４は、取得部２０により取得された時間領域の音響信号を、音響特徴量に変換する。音響特徴量は、例えば４０次元のメルフィルタバンクの適用により得られる。
突発性雑音推定部１１６は、音響特徴量変換部１１４により変換された音響特徴量に基づいて、フレーム内の音響信号に含まれる音の突発性雑音らしさ（即ち、突発性雑音尤度）を計算する。突発性雑音推定部１１６は、例えば雑音モデル記憶部１１８に記憶された雑音モデルに音響特量を入力することで、突発性雑音尤度を計算する。
雑音モデル記憶部１１８は、雑音モデルを記憶する。例えば、雑音モデル記憶部１１８は、予めＤＮＮにより学習された雑音モデルを記憶する。
重み決定部１１２は、音声尤度及び突発性雑音尤度に基づいて、第２相関行列計算部２０４において用いられる重みを計算する。重み決定部１１２は、上記数式２と同様に、音声尤度に基づく重みと突発性雑音尤度に基づく重みの積により、重みを計算する。
重み決定部１１２は、突発性雑音尤度に基づく重みを、突発性雑音尤度がより高い突発性雑音らしさを示すほど低くなるよう計算する。これにより、第２の空間相関行列の計算に用いられた区間の音響信号に目的音と重なっている可能性が高い定常性のある雑音成分が含まれるほど、より大きな重みが第２の空間相関行列に適用されることとなり、推定精度を向上させることが可能となる。突発性雑音尤度に基づく重みは、例えば次式により計算される。
ここで、ｐＰ ｔは、フレームｔにおける突発性雑音尤度である。また、ｐＰ Ｔｈは、突発性雑音尤度の閾値である。
本変形例によれば、パワーとしては小さくても特徴がある雑音を精度よく判定することが可能である。定常雑音パワー及び信号パワーの比に基づく重みが用いられる場合、雑音モデルは不要である。一方で、本変形例の場合、雑音モデルにより精度よく雑音を判定することが可能となる。
＜４．２．第２の変形例＞
第２の変形例では、音源方向の推定のために、空間スペクトルに加えて指向性パターンが用いられる。指向性パターンとは、各方向から音が到来している度合いであり、具体的には、音源方向に対する感度の高い空間フィルタに対応する方向とゲインとの対応関係データである。
図６は、第２の変形例に係る情報処理装置１の論理的な構成の詳細な一例を示すブロック図である。図６に示すように、本変形例に係る情報処理装置１は、図３に示した構成に加えて、ＧＥＶＤ−ＭＵＳＩＣ処理部２００に指向性パターン算出部２１６及び周波数情報統合部２１８を含み、さらにピーク検出部３０８及び音源方向推定部３１０を含む。
指向性パターン算出部２１６は、一般化固有値分解の計算結果に基づいて指向性パターンを計算する。指向性パターン算出部２１６は、各方向から音が到来している度合いを、最大固有値に対応した固有ベクトル及び伝達関数ベクトルを用いて計算することで、指向性パターンを計算する。ある方向から音が到来している度合いは、例えば次式により計算される。
周波数情報統合部２１８は、周波数ごとの指向性パターンの統合を行う。例えば、周波数情報統合部２１８は、周波数情報統合部２１４と同様に、周波数重み算出部２１２により計算された寄与度に基づく重みにより指向性パターンを重み付けして統合する。
ピーク検出部３０８は、ＧＥＶＤ−ＭＵＳＩＣ処理部２００から出力された指向性パターンのピークを検出する。そして、ピーク検出部３０８は、検出したピークを取る方向を、音源方向として出力する。
音源方向推定部３１０は、ピーク検出部３０６及びピーク検出部３０８からの出力結果を総合して、音源方向を推定する。例えば、音源方向推定部３１０は、ピーク検出部３０６から出力された音源方向とピーク検出部３０８から出力された音源方向とで重複するもの、即ち空間スペクトル及び指向性パターンの双方でピークが立つ方向を、音源方向として推定する。なお、両者は必ずしも一致するとは限らないため、重複の判定にずれが許容されてもよい。例えば、６度程度のずれが許容され得る。
本変形例によれば、空間スペクトルにおいて又は指向性パターンにおいて、たまたまピークがたった部分を棄却することで、音源方向の推定精度を向上させることが可能である。
＜４．３．第３の変形例＞
第３の変形例では、情報処理装置１自身が音声又は音楽等の音を再生する場合に、その再生信号が雑音として第２の空間相関行列の計算に加味される。
図７は、第３の変形例に係る情報処理装置１の論理的な構成の一例を示すブロック図である。図７に示すように、本変形例に係る情報処理装置１は、図２に示した構成に加えて再生装置６０を含む。再生装置６０は、再生信号に従って音を再生するスピーカ等の装置である。取得部２０は、再生装置６０から再生信号を取得する。
図８は、第３の変形例に係る情報処理装置１の論理的な構成の詳細な一例を示すブロック図である。図８に示すように、第３の変形例に係る情報処理装置１は、図３に示した構成に加えて、伝達特性推定部３１２を含む。
伝達特性推定部３１２は、取得部２０により取得された音響信号及び再生信号に基づいて、再生装置６０から収音装置群１０に空気伝搬により到達する音の伝達特性を推定する。再生装置６０と収音装置群１０との位置関係が既知且つ不動である場合、伝達特性推定部３１２は、事前に計測された結果を記憶してもよい。
ＧＥＶＤ−ＭＵＳＩＣ処理部２００は、収音装置群１０により収音される音であって、再生装置６０により再生される音の再生信号に基づいて第２の空間相関行列を計算する。詳しくは、第２相関行列計算部２０４は、伝達特性推定部３１２により推定された伝達特性にさらに基づいて、第２の空間相関行列を計算する。本変形例に係る第２の空間相関行列は、例えば次式により計算される。
ここで、ｓω，ｔは、時刻ｔにおける周波数ωの再生信号と推定された伝達特性との積である。
本変形例によれば、音響エコーキャンセリングと同様に、再生信号を抑圧した状態で音源方向を推定することが可能となる。
＜４．４．第４の変形例＞
第４の変形例では、雑音源の移動性が加味される。
図９は、第４の変形例に係る情報処理装置１の論理的な構成の詳細な一例を示すブロック図である。図９に示すように、本変形例に係る情報処理装置１は、図３に示した構成に加えて、音源種類推定部１００に移動音源推定部１２０を含む。
移動音源推定部１２０は、音源の移動性を推定する。詳しくは、移動音源推定部１２０は、過去にピーク検出部３０６から出力された音源方向に基づいて音源のトラッキングを行うことで、音源の移動音源らしさ、即ち移動性を推定する。音源のトラッキングには、例えばパーティクルフィルタが用いられる。そして、移動音源推定部１２０は、音源の移動性に基づく重みを、連続値（例えば、０〜１）で計算する。音源の移動性に基づく重みは、例えば次式により計算される。
ここで、αＭｔは、音源の移動性に基づく重みである。Ｌは、トラッキングで接続を予用する最大の角度ずれである。θｔは、フレームｔにおいて推定された音源方向である。θｔ０は、移動音源らしさを判定する対象区間の開始時刻ｔ０において推定された音源方向である。上記式によれば、音源の移動性に基づく重みは、移動音源らしさを判定する対象区間の開始時刻において推定された音源方向との乖離度（即ち、何度ずれているか）に基づいて計算される。
重み決定部１１２は、音源の移動音源らしさに基づく重みにさらに基づいて、第２相関行列計算部２０４において用いられる重みを計算する。重みは、例えば次式により計算される。
本変形例によれば、時間的に定常であっても空間的に非定常な雑音の影響も除外することが可能である。そのような雑音源としては、例えば自動掃除ロボット等が挙げられる。
＜４．５．第５の変形例＞
第５の変形例では、第２の空間相関行列を用いた音声強調フィルタにより音声が強調された音響信号が生成される。
図１０は、第５の変形例に係る情報処理装置１の論理的な構成の詳細な一例を示すブロック図である。図１０に示すように、本変形例に係る情報処理装置１は、図３に示した構成に加えて、音声強調フィルタ生成部３１４及び音声強調部３１６を含む。
音声強調フィルタ生成部３１４は、ピークが検出された方向の音を強調するフィルタを生成する。なお、多チャンネル出力のために、フィルタは行列で表現される。
例えば、音声強調フィルタ生成部３１４は、第２相関行列計算部２０４、伝達関数記憶部２０８及びピーク検出部３０６からの出力（図中の一点鎖線）に基づいて、ＭＶ（Minimum Variance）法を用いて次式によりフィルタを生成してもよい。
他にも、音声強調フィルタ生成部３１４は、固有値分解部２０６からの出力（図中の二点鎖線）に基づいて、次式によりＷｉｅｎｅｒフィルタを生成してもよい。
ここで、Ｅω，ｔは、時刻ｔにおける周波数ωの一般化固有値分解をしたときの固有ベクトルを並べた行列である。Λω，ｔは、固有値を対角成分に並べた行列である。
音声強調部３１６は、周波数変換部３０２から出力された周波数成分の信号に音声強調フィルタ生成部３１４により生成された音声強調フィルタを適用することで、定常雑音成分を抑圧した信号である音声強調信号を生成する。
例えば、音声強調フィルタがＭＶ法を用いて生成された場合、音声強調信号は次式により計算される。
また、音声強調フィルタがＷｉｅｎｅｒフィルタである場合、音声強調信号は次式により計算される。
本変形例によれば、定常雑音成分を抑圧した音声強調信号を生成することが可能である。
以上、各種変形例を説明した。
上述した各種変形例は、適宜組み合わせることが可能である。例えば、図３に示した構成と図５に示した構成とを組み合わせることで、重み決定部１１２は、音声尤度に基づく重み、定常雑音パワー及び信号パワーに基づく重み、並びに突発性雑音尤度に基づく重みに基づいて、第１の重みを計算することが可能となる。
＜＜５．実験結果＞＞
以下では、提案手法と比較手法との比較実験の結果を説明する。ここで、提案手法とは、図２〜図４を参照して上記説明した、本実施形態に係る情報処理装置１による音源方向の推定を指す。比較手法とは、定常雑音推定を行わない手法を指し、より具体的には、図３に示した情報処理装置１の構成のうち、音源種類推定部１００から信号パワー推定部１０８及び定常雑音パワー推定部１１０を省略した構成を有する。なお、重み決定部１１２の出力は、音声の場合は０で非音声の場合は１となる。
図１１及び図１２は、提案手法と比較手法との比較実験の実験設定を説明するための図である。図１１に示すように、収音装置群１０を基準として、−３３度の方向に雑音源４０２があり、−５４度の方向に目的音源４０４がある。雑音は、皿洗いの音であり、目的音は、発話者の話声である。また、収音装置群１０は、８個の収音装置を有する。図１２では、収音装置群１０から出力される音響信号の波形４１２が示されている。区間４１４は、雑音源４０２からの音に対応し、区間４１６は、目的音源４０４からの音に対応する。
図１３は、比較手法による実験結果を示す図である。図１３では、波形４１２の時間変化に対応する、比較手法により計算される空間スペクトルの時間変化４２０及び音源方向の推定結果の時間変化４３０が示されている。空間スペクトルの時間変化４２０に関しては、色の違いが、各方向において音がある／ないを表現している。音源方向の時間変化４３０に関しては、プロットに対応する方向が音源方向の推定結果を表現している。符号４２２及び４３２は区間４１４の雑音に対応する部分であり、符号４２４及び４３４は区間４１６の目的音に対応する部分である。
図１４は、提案手法による実験結果を示す図である。図１４では、波形４１２の時間変化に対応する、提案手法により計算される空間スペクトルの時間変化４４０及び音源方向の推定結果の時間変化４５０が示されている。空間スペクトルの時間変化４４０に関しては、色の違いが、各方向において音がある／ないを表現している。音源方向の時間変化４５０に関しては、プロットに対応する方向が音源方向の推定結果を表現している。符号４４２及び４５２は区間４１４の雑音に対応する部分であり、符号４４４及び４５４は区間４１６の目的音に対応する部分である。
図１４に示すように、提案手法によれば、雑音源の方向も目的音源の方向も正しく推定されている。
一方、図１３に示したように、比較手法によれば、符号４３４に示すように目的音源の方向が正しく推定されていない。これは、区間４１４における皿の音を雑音成分として第２の空間相関行列を計算したために、区間４１６における目的音を正しく検出できなかったことに起因すると考えられる。また、検出できていないだけでなく、誤った方向に目的音源の方向が推定されている。さらに、符号４３２に示すように雑音源の方向も正しく推定されていない。これは、波形４１２の区間よりも前の区間に皿の音が含まれており、それを雑音成分とした一般化固有値分解が行われたことで区間４１４における皿の音が抑圧されたことに起因すると考えられる。
＜＜６．ハードウェア構成例＞＞
最後に、図１５を参照して、本実施形態に係る情報処理装置のハードウェア構成について説明する。図１５は、本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図１５に示す情報処理装置９００は、例えば、図２及び図７にそれぞれ示した情報処理装置１を実現し得る。本実施形態に係る情報処理装置１による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
図１５に示すように、情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、情報処理装置９００は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１及び通信装置９１３を備える。情報処理装置９００は、ＣＰＵ９０１に代えて、又はこれとともに、ＤＳＰ若しくはＡＳＩＣ等の処理回路を有してもよい。
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、図２及び図７に示す取得部２０及び制御部５０を形成し得る。
ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。情報処理装置９００のユーザは、この入力装置９０６を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。入力装置９０６は、例えば、図２及び図７に示す収音装置群１０を形成し得る。
出力装置９０７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置、レーザープロジェクタ、ＬＥＤプロジェクタ及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９０７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。出力装置９０７は、例えば、図２及び図７に示す出力部３０を形成し得る。また、出力装置９０７は、例えば、図７に示す再生装置６０を形成し得る。
ストレージ装置９０８は、情報処理装置９００の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。ストレージ装置９０８は、例えば、図２及び図７に示す記憶部４０を形成し得る。
ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。
接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。
通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。通信装置９１３は、例えば、図２及び図７に示す取得部２０及び出力部３０を形成し得る。
なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
以上、本実施形態に係る情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
なお、上述のような本実施形態に係る情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
＜＜７．まとめ＞＞
以上、図１〜図１５を参照して、本開示の一実施形態について詳細に説明した。上記説明したように、本実施形態に係る情報処理装置１は、収音装置群による収音結果を示す音響信号を取得し、音響信号が定常雑音を観測した信号である度合に応じた第１の重みを計算し、第１の重みを第２の空間相関行列に適用する。これにより、第２の空間相関行列の計算のために採用された雑音区間の適切さが、定常雑音を観察した信号である度合により評価され、その評価が第２の空間相関行列の計算に反映されることとなる。よって、どの区間を雑音空間として採用されるかに過度に依存することが防止され、音源方向を推定する際の推定精度を向上させることが可能となる。
とりわけ、本実施形態では、情報処理装置１は、音響信号に音声が含まれる度合、及び音響信号の定常性に基づいて第１の重みを計算する。これにより、目的音声成分及び突発性雑音が第２の空間相関行列の計算に用いられないようにすることが可能となり、その結果、音源方向の推定性能の劣化を防止することが可能である。また、情報処理装置１は、適切に定常雑音の影響を抑圧した状態で、音源方向を推定することが可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記実施形態では、目的音は音声であるものとしたが、本技術はかかる例に限定されない。例えば、特定の機械の作動音、動物の鳴き声等が目的音とされ、音源方向が推定されてもよい。
また、本明細書において説明した各装置は、単独の装置として実現されてもよく、一部または全部が別々の装置として実現されても良い。例えば、図２に示した情報処理装置１の機能構成例のうち、取得部２０、記憶部４０及び制御部５０が、収音装置群１０及び出力部３０とネットワーク等で接続されたサーバ等の装置に備えられていても良い。
また、本明細書においてフローチャート及びシーケンス図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
収音装置群による収音結果を示す音響信号を取得する取得部と、
前記取得部により取得された前記音響信号が定常雑音を観測した信号である度合に応じた第１の重みを計算し、前記第１の重みを雑音信号から得られる空間相関行列である雑音空間相関行列に適用する制御部と、
を備える情報処理装置。
（２）
前記制御部は、前記第１の重みを適用した雑音空間相関行列及び推定対象の前記音響信号の空間相関行列に基づく一般化固有値分解により得られる固有値に基づいて、前記収音装置群からみた音源方向を推定する、前記（１）に記載の情報処理装置。
（３）
前記制御部は、前記一般化固有値分解の対象となる前記第１の重みを適用した前記雑音空間相関行列を、過去の前記第１の重みを適用した前記雑音空間相関行列に基づいて逐次的に更新する、前記（２）に記載の情報処理装置。
（４）
前記制御部は、前記一般化固有値分解の計算結果に基づいて計算された空間スペクトルを前記固有値に基づく第２の重みにより重み付けして統合し、統合された前記空間スペクトルのピークが立つ方向を前記音源方向として推定する、前記（２）又は（３）に記載の情報処理装置。
（５）
前記制御部は、過去の空間スペクトルの値を用いて逐次的に更新される閾値を超えて空間スペクトルのピークが立つ方向を前記音源方向として推定する、前記（４）に記載の情報処理装置。
（６）
前記制御部は、前記一般化固有値分解の計算結果に基づいて各方向から音が到来している度合いを示す指向性パターンを計算し、前記空間スペクトル及び前記指向性パターンの双方でピークが立つ方向を前記音源方向として推定する、前記（４）又は（５）に記載の情報処理装置。
（７）
前記音源方向は、音声の到来方向である、前記（２）〜（６）のいずれか一項に記載の情報処理装置。
（８）
前記第１の重みは、連続値である、前記（１）〜（７）のいずれか一項に記載の情報処理装置。
（９）
前記制御部は、前記音響信号に音声が含まれる度合に基づいて前記第１の重みを計算する、前記（１）〜（８）のいずれか一項に記載の情報処理装置。
（１０）
前記制御部は、前記音響信号の定常性に基づいて前記第１の重みを計算する、前記（１）〜（９）のいずれか一項に記載の情報処理装置。
（１１）
前記定常性は、前記音響信号のパワーに基づいて計算される、前記（１０）に記載の情報処理装置。
（１２）
前記定常性は、前記音響信号の特徴量に基づいて計算される、前記（１０）又は（１１）に記載の情報処理装置。
（１３）
前記制御部は、音源の移動性を推定し、推定結果に応じて前記第１の重みを計算する、前記（１）〜（１２）のいずれか一項に記載の情報処理装置。
（１４）
前記制御部は、収音装置群により収音される音であって、再生装置により再生される音の再生信号に基づいて前記雑音空間相関行列を計算する、前記（１）〜（１３）のいずれか一項に記載の情報処理装置。
（１５）
前記制御部は、前記雑音空間相関行列に基づいて目的音が強調された音響信号を生成する、前記（１）〜（１４）のいずれか一項に記載の情報処理装置。
（１６）
収音装置群による収音結果を示す音響信号を取得することと、
取得された前記音響信号が定常雑音を観測した信号である度合に応じた第１の重みをプロセッサにより計算し、前記第１の重みを雑音信号から得られる空間相関行列である雑音空間相関行列に適用することと、
を含む情報処理方法。
（１７）
コンピュータを、
収音装置群による収音結果を示す音響信号を取得する取得部と、
前記取得部により取得された前記音響信号が定常雑音を観測した信号である度合に応じた第１の重みを計算し、前記第１の重みを雑音信号から得られる空間相関行列である雑音空間相関行列に適用する制御部と、
として機能させるためのプログラム。
１ 情報処理装置
２ ユーザ
３ テレビ受像機
４ エアコンディショナー
１０ 収音装置群
２０ 取得部
３０ 出力部
４０ 記憶部
５０ 制御部
６０ 再生装置
１００ 音源種類推定部
１０２ 音響特徴量変換部
１０４ 音声非音声推定部
１０６ 音声モデル記憶部
１０８ 信号パワー推定部
１１０ 定常雑音パワー推定部
１１２ 重み決定部
１１４ 音響特徴量変換部
１１６ 突発性雑音推定部
１１８ 雑音モデル記憶部
１２０ 移動音源推定部
２００ ＧＥＶＤ−ＭＵＳＩＣ処理部
２０２ 第１相関行列計算部
２０４ 第２相関行列計算部
２０６ 固有値分解部
２０８ 伝達関数記憶部
２１０ 空間スペクトル算出部
２１２ 周波数重み算出部
２１４ 周波数情報統合部
２１６ 指向性パターン算出部
２１８ 周波数情報統合部
３０２ 周波数変換部
３０４ 閾値更新部
３０６ ピーク検出部
３０８ ピーク検出部
３１０ 音源方向推定部
３１２ 伝達特性推定部
３１４ 音声強調フィルタ生成部
３１６ 音声強調部

Claims (17)

  1. 収音装置群による収音結果を示す音響信号を取得する取得部と、
    前記取得部により取得された前記音響信号が定常雑音を観測した信号である度合に応じた第１の重みを計算し、前記第１の重みを雑音信号から得られる空間相関行列である雑音空間相関行列に適用する制御部と、
    を備える情報処理装置。
  2. 前記制御部は、前記第１の重みを適用した雑音空間相関行列及び推定対象の前記音響信号の空間相関行列に基づく一般化固有値分解により得られる固有値に基づいて、前記収音装置群からみた音源方向を推定する、請求項１に記載の情報処理装置。
  3. 前記制御部は、前記一般化固有値分解の対象となる前記第１の重みを適用した前記雑音空間相関行列を、過去の前記第１の重みを適用した前記雑音空間相関行列に基づいて逐次的に更新する、請求項２に記載の情報処理装置。
  4. 前記制御部は、前記一般化固有値分解の計算結果に基づいて計算された空間スペクトルを前記固有値に基づく第２の重みにより重み付けして統合し、統合された前記空間スペクトルのピークが立つ方向を前記音源方向として推定する、請求項２に記載の情報処理装置。
  5. 前記制御部は、過去の空間スペクトルの値を用いて逐次的に更新される閾値を超えて空間スペクトルのピークが立つ方向を前記音源方向として推定する、請求項４に記載の情報処理装置。
  6. 前記制御部は、前記一般化固有値分解の計算結果に基づいて各方向から音が到来している度合いを示す指向性パターンを計算し、前記空間スペクトル及び前記指向性パターンの双方でピークが立つ方向を前記音源方向として推定する、請求項４に記載の情報処理装置。
  7. 前記音源方向は、音声の到来方向である、請求項２に記載の情報処理装置。
  8. 前記第１の重みは、連続値である、請求項１に記載の情報処理装置。
  9. 前記制御部は、前記音響信号に音声が含まれる度合に基づいて前記第１の重みを計算する、請求項１に記載の情報処理装置。
  10. 前記制御部は、前記音響信号の定常性に基づいて前記第１の重みを計算する、請求項１に記載の情報処理装置。
  11. 前記定常性は、前記音響信号のパワーに基づいて計算される、請求項１０に記載の情報処理装置。
  12. 前記定常性は、前記音響信号の特徴量に基づいて計算される、請求項１０に記載の情報処理装置。
  13. 前記制御部は、音源の移動性を推定し、推定結果に応じて前記第１の重みを計算する、請求項１に記載の情報処理装置。
  14. 前記制御部は、収音装置群により収音される音であって、再生装置により再生される音の再生信号に基づいて前記雑音空間相関行列を計算する、請求項１に記載の情報処理装置。
  15. 前記制御部は、前記雑音空間相関行列に基づいて目的音が強調された音響信号を生成する、請求項１に記載の情報処理装置。
  16. 収音装置群による収音結果を示す音響信号を取得することと、
    取得された前記音響信号が定常雑音を観測した信号である度合に応じた第１の重みをプロセッサにより計算し、前記第１の重みを雑音信号から得られる空間相関行列である雑音空間相関行列に適用することと、
    を含む情報処理方法。
  17. コンピュータを、
    収音装置群による収音結果を示す音響信号を取得する取得部と、
    前記取得部により取得された前記音響信号が定常雑音を観測した信号である度合に応じた第１の重みを計算し、前記第１の重みを雑音信号から得られる空間相関行列である雑音空間相関行列に適用する制御部と、
    として機能させるためのプログラム。
JP2018535458A 2016-08-23 2017-05-19 情報処理装置、情報処理方法及びプログラム Active JP6888627B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016162779 2016-08-23
JP2016162779 2016-08-23
PCT/JP2017/018875 WO2018037643A1 (ja) 2016-08-23 2017-05-19 情報処理装置、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2018037643A1 true JPWO2018037643A1 (ja) 2019-06-20
JP6888627B2 JP6888627B2 (ja) 2021-06-16

Family

ID=61245721

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018535458A Active JP6888627B2 (ja) 2016-08-23 2017-05-19 情報処理装置、情報処理方法及びプログラム

Country Status (3)

Country Link
US (1) US11346917B2 (ja)
JP (1) JP6888627B2 (ja)
WO (1) WO2018037643A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10580429B1 (en) * 2018-08-22 2020-03-03 Nuance Communications, Inc. System and method for acoustic speaker localization
JP7126659B2 (ja) * 2019-02-18 2022-08-29 日本電信電話株式会社 信号処理装置、信号処理方法及び信号処理プログラム
CN110992974B (zh) 2019-11-25 2021-08-24 百度在线网络技术（北京）有限公司 语音识别方法、装置、设备以及计算机可读存储介质
CN115273850A (zh) * 2022-09-28 2022-11-01 科大讯飞股份有限公司 一种自主移动设备语音控制方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014056181A (ja) * 2012-09-13 2014-03-27 Honda Motor Co Ltd 音源方向推定装置、音響処理システム、音源方向推定方法、及び音源方向推定プログラム
JP2014187685A (ja) * 2013-01-24 2014-10-02 Nippon Telegr & Teleph Corp <Ntt> 収音装置
JP2016100735A (ja) * 2014-11-20 2016-05-30 日本電信電話株式会社 フィルタ生成装置、収音装置、フィルタ生成方法及びプログラム
WO2017094862A1 (ja) * 2015-12-02 2017-06-08 日本電信電話株式会社 空間相関行列推定装置、空間相関行列推定方法および空間相関行列推定プログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9185487B2 (en) * 2006-01-30 2015-11-10 Audience, Inc. System and method for providing noise suppression utilizing null processing noise subtraction
WO2010091077A1 (en) * 2009-02-03 2010-08-12 University Of Ottawa Method and system for a multi-microphone noise reduction
US8219394B2 (en) * 2010-01-20 2012-07-10 Microsoft Corporation Adaptive ambient sound suppression and speech tracking
JP5870476B2 (ja) * 2010-08-04 2016-03-01 富士通株式会社 雑音推定装置、雑音推定方法および雑音推定プログラム
BR112012031656A2 (pt) * 2010-08-25 2016-11-08 Asahi Chemical Ind dispositivo, e método de separação de fontes sonoras, e, programa
WO2013030345A2 (en) * 2011-09-02 2013-03-07 Gn Netcom A/S A method and a system for noise suppressing an audio signal
JP6001248B2 (ja) * 2011-09-20 2016-10-05 トヨタ自動車株式会社 音源検出装置
US10107887B2 (en) * 2012-04-13 2018-10-23 Qualcomm Incorporated Systems and methods for displaying a user interface
JP6334895B2 (ja) * 2013-11-15 2018-05-30 キヤノン株式会社 信号処理装置及びその制御方法、プログラム
JP6136995B2 (ja) * 2014-03-07 2017-05-31 株式会社Ｊｖｃケンウッド 雑音低減装置
US9553681B2 (en) * 2015-02-17 2017-01-24 Adobe Systems Incorporated Source separation using nonnegative matrix factorization with an automatically determined number of bases
CN106157967A (zh) * 2015-04-28 2016-11-23 杜比实验室特许公司 脉冲噪声抑制
JP6547451B2 (ja) * 2015-06-26 2019-07-24 富士通株式会社 雑音抑圧装置、雑音抑圧方法、及び雑音抑圧プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014056181A (ja) * 2012-09-13 2014-03-27 Honda Motor Co Ltd 音源方向推定装置、音響処理システム、音源方向推定方法、及び音源方向推定プログラム
JP2014187685A (ja) * 2013-01-24 2014-10-02 Nippon Telegr & Teleph Corp <Ntt> 収音装置
JP2016100735A (ja) * 2014-11-20 2016-05-30 日本電信電話株式会社 フィルタ生成装置、収音装置、フィルタ生成方法及びプログラム
WO2017094862A1 (ja) * 2015-12-02 2017-06-08 日本電信電話株式会社 空間相関行列推定装置、空間相関行列推定方法および空間相関行列推定プログラム

Also Published As

Publication number Publication date
JP6888627B2 (ja) 2021-06-16
US11346917B2 (en) 2022-05-31
WO2018037643A1 (ja) 2018-03-01
US20210382131A1 (en) 2021-12-09

Similar Documents

Publication Publication Date Title
JP7158806B2 (ja) オーディオ認識方法、ターゲットオーディオを位置決める方法、それらの装置、およびデバイスとコンピュータプログラム
JP6454916B2 (ja) 音声処理装置、音声処理方法及びプログラム
JP5572445B2 (ja) 残響抑圧装置、及び残響抑圧方法
US9100734B2 (en) Systems, methods, apparatus, and computer-readable media for far-field multi-source tracking and separation
JP6074263B2 (ja) 雑音抑圧装置及びその制御方法
JP2021036297A (ja) 信号処理装置、信号処理方法、及びプログラム
US20170140771A1 (en) Information processing apparatus, information processing method, and computer program product
US20150310857A1 (en) Apparatus and method for providing an informed multichannel speech presence probability estimation
US8693287B2 (en) Sound direction estimation apparatus and sound direction estimation method
JPWO2018037643A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP2019503107A (ja) 音響信号を向上させるための音響信号処理装置および方法
JP4910568B2 (ja) 紙擦れ音除去装置
JP4521549B2 (ja) 上下、左右方向の複数の音源の分離方法、そのためのシステム
KR20120080409A (ko) 잡음 구간 판별에 의한 잡음 추정 장치 및 방법
JP7370014B2 (ja) 収音装置、収音方法、及びプログラム
JP6225245B2 (ja) 信号処理装置、方法及びプログラム
JP2018169473A (ja) 音声処理装置、音声処理方法及びプログラム
US11310593B2 (en) Voice input device and method for estimation of utterance direction
JP6265903B2 (ja) 信号雑音減衰
JP6314475B2 (ja) 音声信号処理装置及びプログラム
JP6631127B2 (ja) 音声判定装置、方法及びプログラム、並びに、音声処理装置
JPWO2021070278A1 (ja) 雑音抑圧装置、雑音抑圧方法、及び雑音抑圧プログラム
Bai et al. Kalman filter-based microphone array signal processing using the equivalent source model
JP2018142822A (ja) 音響信号処理装置、方法及びプログラム
JP6361360B2 (ja) 残響判定装置及びプログラム

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200511

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200511

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210420

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210503

R151 Written notification of patent or utility model registration

Ref document number: 6888627

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151