JP7000281B2 - 音響信号処理装置、音響信号処理方法及びプログラム - Google Patents

音響信号処理装置、音響信号処理方法及びプログラム Download PDF

Info

Publication number
JP7000281B2
JP7000281B2 JP2018165504A JP2018165504A JP7000281B2 JP 7000281 B2 JP7000281 B2 JP 7000281B2 JP 2018165504 A JP2018165504 A JP 2018165504A JP 2018165504 A JP2018165504 A JP 2018165504A JP 7000281 B2 JP7000281 B2 JP 7000281B2
Authority
JP
Japan
Prior art keywords
frequency
spectrum
acoustic signal
sampling
steering vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018165504A
Other languages
English (en)
Other versions
JP2020039057A (ja
Inventor
克寿 糸山
一博 中臺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2018165504A priority Critical patent/JP7000281B2/ja
Priority to US16/553,870 priority patent/US10863271B2/en
Publication of JP2020039057A publication Critical patent/JP2020039057A/ja
Application granted granted Critical
Publication of JP7000281B2 publication Critical patent/JP7000281B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00Monitoring arrangements; Testing arrangements
    • H04R29/004Monitoring arrangements; Testing arrangements for microphones
    • H04R29/005Microphone arrays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones

Landscapes

  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Circuit For Audible Band Transducer (AREA)

Description

本発明は、音響信号処理装置、音響信号処理方法及びプログラムに関する。
従来、複数のマイクロホンによって収音し、収音された音に基づいて音源の同定とその収音された音に基づく情報を取得する技術がある。このような技術では、マイクロホンが収音した音はサンプリングされた電気信号に変換され、変換後の電気信号に対する信号処理が実行されることで、収音された音に基づく情報が取得される。また、このような技術における信号処理は、変換後の電気信号が、異なる位置に位置するマイクロホンによって収音された音が同一のサンプリング周波数によってサンプリングされた電気信号である、ことを前提とした処理である(例えば、非特許文献1参照)。
しかしながら、実際には、マイクロホンごとに備えられたADコンバータがADコンバータごとに備えられた振動子によって生成されるクロックに同期して、変換後の電気信号をサンプリングする。そのため、振動子の個体差に応じて、必ずしも同一のサンプリング周波数によるサンプリングがなされない場合があった。また、極限環境で運用されるロボットなどでは、気温や湿度等の外的な影響が振動子ごとに異なる。そのため、このような場合、各振動子の個体差だけでなく、外的な影響によっても各振動子のクロックにずれが生じる場合がある。このようなずれを軽減するため、恒温槽付水晶発振器(OCXO)や、原子時計のような個体差の小さい発振器や、大容量キャパシタ等を利用することが提案されている。しかしながら、実際にこれらをロボット等に実装し運用することは現実的ではない。そのため、このような従来の技術においては、複数のマイクロホンによって収音された音に基づく情報の精度が悪化する場合があった。
糸山克寿, 中臺一博, "確率的生成モデルに基づく複数 A/D コンバータのチャネル間同期", 2018年春季研究発表会講演論文集,日本音響学会,2018,pp.505-508
上記事情に鑑み、本発明は、複数のマイクロホンによって収音された音に基づく情報の精度の悪化を抑制することができる音響信号処理装置、音響信号処理方法及びコンピュータプログラムを提供することを目的としている。
(1)本発明の一態様は、個のマイクロホン(Mは2以上の整数である){11-m}が収音した音を表す個のアナログ信号をサンプリングして個のデジタル信号に変換された個の音響信号に基づいて各音響信号のスペクトルと個の要素を有するステアリングベクトルとを算出し、試行周波数W (前記W ∈{W ,W ,…,W })と試行時刻T (前記T ∈{T ,T ,…,T })及び予め定められた所定の値であるサンプリング周波数ω ideal を用いてスペクトル伸縮行列A (前記A ∈{A ,A ,…,A })が算出され、前記ステアリングベクトルR と前記スペクトル伸縮行列A 及び前記スペクトルX (前記X ∈{X ,X ,…,X })に基づく評価条件を満たす前記試行周波数W を前記サンプリングにおけるサンプリング周波数ω (前記ω ∈{ω ,…,ω })に決定する音響信号処理部、を備える音響信号処理装置{20}である。
(2)本発明の一態様は、上記の音響信号処理装置であって、前記ステアリングベクトルは、前記音の音源から前記マイクロホンのそれぞれまでの伝達特性の前記マイクロホンの位置間の違いを表す。
)本発明の一態様は、個のマイクロホン(Mは2以上の整数である)が収音した音を表す個のアナログ信号をサンプリングして個のデジタル信号に変換された個の音響信号に基づいて各音響信号のスペクトルを算出するスペクトル算出ステップと、前記個の変換された個の音響信号に基づいて、個の要素を有するステアリングベクトルを算出するステアリングベクトル算出ステップと、試行周波数W (前記W ∈{W ,W ,…,W })と試行時刻T (前記T ∈{T ,T ,…,T })及び予め定められた所定の値であるサンプリング周波数ω ideal を用いてスペクトル伸縮行列A (前記A ∈{A ,A ,…,A })が算出され、前記ステアリングベクトルR と前記スペクトル伸縮行列A 及び前記スペクトルX (前記X ∈{X ,X ,…,X })に基づく評価条件を満たす前記試行周波数W を前記サンプリングにおけるサンプリング周波数ω (前記ω ∈{ω ,…,ω })に決定する決定ステップと、を有する音響信号処理方法である。
(5)本発明の一態様は、音響信号処理装置のコンピュータに、個のマイクロホン(Mは2以上の整数である)が収音した音を表す個のアナログ信号をサンプリングしてm個のデジタル信号に変換された個の音響信号に基づいて各音響信号のスペクトルを算出するスペクトル算出ステップと、前記個の変換された個の音響信号に基づいて、個の要素を有するステアリングベクトルを算出するステアリングベクトル算出ステップと、試行周波数W (前記W ∈{W ,W ,…,W })と試行時刻T (前記T ∈{T ,T ,…,T })及び予め定められた所定の値であるサンプリング周波数ω ideal を用いてスペクトル伸縮行列A (前記A ∈{A ,A ,…,A })が算出され、前記ステアリングベクトルR と前記スペクトル伸縮行列A 及び前記スペクトルX (前記X ∈{X ,X ,…,X })に基づく評価条件を満たす前記試行周波数W を前記サンプリングにおけるサンプリング周波数ω (前記ω ∈{ω ,…,ω })に決定する決定ステップとを実行させるプログラムである。
上述した(1)、()、()によれば、サンプリング周波数が異なる複数の音響信号を同期することができる。そのため、上述した(1)、()、()によれば、複数のマイクロホンによって収音された音に基づく情報の精度の悪化を抑制することが可能となる。
上述した(2)によれば、音源からマイクロホンへの距離差、直接音、反射音を含めることができる。
上述した()によれば、サンプリング周波数ωとωidealとの間のずれを補正することができる。
実施形態の音響信号出力装置1の構成の一例を示す図である。 実施形態における音響信号処理装置20の機能構成の一例を示す図である。 実施形態の音響信号出力装置1が実行する処理の流れの一例を示すフローチャートである。 実施形態の音響信号出力装置1の適用例を示す図である。 実施形態におけるステアリングベクトル及びスペクトル伸縮行列を説明する説明図。 シミュレーション結果を示す第1の図である。 シミュレーション結果を示す第2の図である。 シミュレーション結果を示す第3の図である。 シミュレーション結果を示す第4の図である。 シミュレーション結果を示す第5の図である。 シミュレーション結果を示す第6の図である。 シミュレーション結果を示す第7の図である。 シミュレーション結果を示す第8の図である。
図1は、実施形態の音響信号出力装置1の構成の一例を示す図である。音響信号出力装置1は、マイクロホンアレイ10及び音響信号処理装置20を備える。マイクロホンアレイ10は、マイクロホン11-m(mは1以上M以下の整数。Mは2以上の整数)を備える。マイクロホン11-mはそれぞれ異なる位置に位置する。マイクロホン11-mは、自部に到来した音Z1を収音する。マイクロホン11-mに到来する音Z1は、例えば、音源が発した直接音と、壁等で反射、吸収又は散乱されてから到来する間接音とを含む。そのため、音源の周波数スペクトルとマイクロホン11-mが収音する音の周波数スペクトルとは必ずしも同一ではない。
マイクロホン11-mは、収音した音Z1を電気信号又は光信号の音響信号に変換する。変換後の電気信号又は光信号は、収音された音の大きさと収音された時刻との関係を表すアナログ信号Z2である。すなわち、アナログ信号Z2は、収音された音の時間領域における波形を表す。
M個のマイクロホン11―mを備えるマイクロホンアレイ10は、Mチャネルの音響信号を音響信号処理装置20に出力する。
音響信号処理装置20は、例えば、バスで接続されたCPU(Central Processing Unit)やメモリや補助記憶装置などを備え、プログラムを実行する。音響信号処理装置20は、例えば、プログラムの実行によってAD(Analog to digital)変換器21-1、AD変換器21-2、・・・、AD変換器21-Mと、音響信号処理部22と、理想信号変換部23とを備える装置として機能する。音響信号処理装置20は、マイクロホンアレイ10からMチャネルの音響信号を取得し、マイクロホン11-mが収音した音響信号をデジタル信号に変換した際のサンプリング周波数ωを推定し、推定したサンプリング周波数ωを用いて仮想的なサンプリング周波数ωidealでリサンプリングした音響信号を算出する。
AD変換器21-mは、各マイクロホン11-mごとに備えられ、マイクロホン11-mが出力するアナログ信号Z2を取得する。AD変換器21-mは取得したアナログ信号Z2を、時間領域においてサンプリング周波数ωでサンプリングする。以下、サンプリングの実行後の波形を表す信号を時間領域デジタル信号Yallという。以下、説明の簡単のため、時間領域デジタル信号Yallの一部の信号であって1フレーム中の信号を単一フレーム時間領域デジタル信号Yという。以下、時刻順に並ぶ第g番目のフレームをフレームgという。以下、説明の簡単のため、フレームはフレームgであると仮定する。
単一フレーム時間領域デジタル信号Yは以下の式(1)で表される。
Figure 0007000281000001
m、ξは単一フレーム時間領域デジタル信号Yの(ξ+1)番目の要素である。ξは0以上(L-1)以下の整数である。要素ym、ξは、単一フレーム時間領域デジタル信号Yが表す音の大きさであって、1フレーム中の時刻であってサンプリングの実行後のξ番目の時刻における音の大きさである。なお、式(1)においてTはベクトルの転置を表す。以下、式(1)と同様に式中のTはベクトルの転置を表す。なお、Lは、単一フレーム時間領域デジタル信号Yの信号の長さである。
AD変換器21-m(アナログーデジタル変換器)は、振動子211-mを備える。AD変換器21-mは、振動子211-mが生成するサンプリング周波数に同期して動作する。
音響信号処理部22は、サンプリング周波数ω及びサンプル時刻τを取得する。音響信号処理部22は、取得したサンプリング周波数ω及びサンプル時刻τに基づいて、時間領域デジタル信号Yallを、後述する理想信号に変換する。
なお、サンプル時刻τは、AD変換器21-mによるアナログ信号Z2のサンプリングの開始の時刻である。サンプル時刻τは、AD変換器21-mによるサンプリングの初期位相と所定の基準となる位相とのずれを表す時間差である。
ここで、振動子が生成するサンプリング周波数について説明する。
各振動子211-mには個体差があることと各振動子211-mに対する熱や湿度等の環境の影響が必ずしも同じではないこととが原因で、各振動子211-mが生成するサンプリング周波数は必ずしも振動子211-mによらず同じではない。そのため、必ずしも全てのサンプリング周波数ωは同じサンプリング周波数ωidealではない。
以下、振動子211-mの仮想的なサンプリング周波数を仮想周波数ωidealという。なお、M個の振動子211-mそれぞれが生成するサンプリング周波数のバラツキは、振動子211-mの基準発信周波数のバラツキ程度であり、例えば公称周波数が16kHzに対して×10-6±20%程度である。
また、振動子211-mが生成するサンプリング周波数が、必ずしも振動子211-mによらず同じではないため、必ずしも全てのサンプル時刻τは同じ時刻ではない。
以下、振動子211-mごとの個体差や振動子211-mに対する熱や湿度等の環境の影響が無い場合におけるサンプル時刻を仮想時刻τidealという。
このように、各サンプリング周波数ωは必ずしも同じではなく、各サンプル時刻τも必ずしも同じではない。また、マイクロホン11-mは、同じ位置には位置しない。そのため、各単一フレーム時間領域デジタル信号Yは、理想信号とは必ずしも同じでは無い。理想信号とは、アナログ信号Z2を仮想周波数ωideal及び仮想時刻τidealでサンプリングした信号である。
図2は、実施形態における音響信号処理部22の機能構成の一例を示す図である。
音響信号処理部22は、記憶部220、スペクトル算出処理部221、ステアリングベクトル生成部222、スペクトル伸縮行列生成部223、評価部224及びリサンプリング部225を備える。
記憶部220は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。記憶部220は仮想周波数ωideal、仮想時刻τideal、試行周波数W及び試行時刻Tを記憶する。仮想周波数ωideal及び仮想時刻τidealは記憶部220に予め記憶された既知の値である。試行周波数Wは、後述する評価部224の評価結果に応じて更新される値であって、サンプリング周波数ωと同じ次元を有する物理量の値である。試行周波数W、評価部224の評価結果に応じて更新されるまでは、所定の初期値である。試行時刻Tは、後述する評価部224の評価結果に応じて更新される値であって、サンプル時刻τと同じ次元を有する物理量の値である。試行時刻Tは、評価部224の評価結果に応じて更新されるまでは、所定の初期値である。
なお、一例として、仮想周波数ωidealが16000Hzである場合、試行周波数Wが15950Hzであり試行時刻τが0msecであり、試行周波数Wが15980Hzであり試行時刻τが0msecであり、試行周波数Wが16020Hzであり試行時刻τが0msecであり、試行周波数Wが16050Hzであり試行時刻τが0msecである等である。
なお、音響信号処理部22は、取得した音響信号に対して、例えば長さL毎に処理を行う。
スペクトル算出処理部221は、AD変換器21が出力する音響信号を取得し、取得した音響信号をフーリエ変換してスペクトルを算出する。スペクトル算出処理部221は、単一フレーム時間領域デジタル信号Yが表す波形のスペクトルを、全てのフレームついて取得する。
スペクトル算出処理部221は例えば、まず、全てのフレームについて時間領域デジタル信号Yallを取得する、次に、スペクトル算出処理部221は、フレームgごとに単一フレーム時間領域デジタル信号Yを離散フーリエ変換することでフレームgにおける単一フレーム時間領域デジタル信号YのスペクトルXを取得する。
スペクトルXは、デジタル信号Yのフーリエ成分であるため、スペクトルXとデジタル信号Yとの間には以下の式(2)が成り立つ。
Figure 0007000281000002
式(2)において、Dは、L行L列の行列である。行列Dのj行j列の要素D_<j、j>(j及びjは、1以上L以下の整数)は以下の式(3)によって表される。以下、Dを離散フーリエ変換行列という。
は、L個の要素を有するベクトルである。式(3)において、iは虚数単位を表す。
なお、アンダーバーは、アンダーバーの右側の文字又は数字がアンダーバーの左側の文字又は数字の下付き文字であることを表す。例えば、j_xは、jを表す。
なお、アンダーバーの左側の<・・・>は、<・・・>内の文字又は数字がアンダーバーの右側の文字又は数字の下付き文字であることを表す。例えば、y_<n、ξ>は、yn、ξを表す。
Figure 0007000281000003
ステアリングベクトル生成部222は、スペクトルXに基づいてマイクロホン11-mごとにステアリングベクトルを生成する。ステアリングベクトルは、マイクロホンから音源までの伝達関数を要素とするベクトルである。ステアリングベクトル生成部222は、周知の手法でステアリングベクトルを生成してもよい。
ステアリングベクトルは、音源からマイクロホン11-mのそれぞれまでの伝達特性のマイクロホン11-mの位置間の違いを表す。マイクロホン11-mの位置とは、マイクロホン11-mが音を収音する位置である。
スペクトル伸縮行列生成部223は、記憶部220に記憶された試行周波数W及び試行時刻Tを取得し、取得した試行周波数W及び試行時刻Tに基づいてスペクトル伸縮行列を生成する。スペクトル伸縮行列は、理想信号の周波数スペクトルから、アナログ信号Z2がサンプリング周波数W及びサンプル時刻Tでサンプリングされた信号の周波数スペクトルへ、の変換を表す行列である。
評価部224は、ステアリングベクトルと、スペクトル伸縮行列と、スペクトルXとに基づいて、試行周波数W及び試行時刻Tが所定の条件(以下「評価条件」という。)を満たすか否かを判定する。
なお、評価条件は、ステアリングベクトルと、スペクトル伸縮行列と、スペクトルXとに基づく条件である。評価条件は、例えば、後述する式(21)を満たす条件である。評価条件は、スペクトルXに対してスペクトル伸縮行列の逆行列を乗算し、乗算結果のベクトルの各要素値をステアリングベクトルの要素値で割った値の全てが所定の範囲内の値であるという条件であれば他の条件であってもよい。
評価部224は、試行周波数W及び試行時刻Tが評価条件を満たす場合、試行周波数Wをサンプリング周波数ωに決定し、試行時刻Tをサンプル時刻τに決定する。
評価部224は、試行周波数W及び試行時刻Tが評価条件を満たさない場合、試行周波数W及び試行時刻Tを例えばメトロポリス・アルゴリズムを用いて更新する。評価部224が、試行周波数W及び試行時刻Tを更新する方法は、これに限らず例えばモンテカルロ法の各アルゴリズム等を用いてもよい。
リサンプリング部225は、評価部224が決定したサンプリング周波数ωとサンプル時刻τとに基づいて、時間領域デジタル信号Yallを理想信号に変換する。
図3は、実施形態の音響信号出力装置1が実行する処理の流れの一例を示すフローチャートである。
各マイクロホン11-mが収音し、収音した音を電気信号又は光信号に変換する(ステップS101)。
AD変換器21-mが、ステップS101における変換後の電気信号又は光信号である時間領域デジタル信号Yallを、時間領域において周波数ωによってサンプリングする(ステップS102)。
スペクトル算出処理部221が、スペクトルを算出する(ステップS103)。
ステアリングベクトル生成部222が、スペクトルXに基づいてマイクロホン11-mごとにステアリングベクトルを生成する(ステップS104)。
スペクトル伸縮行列生成部223が、記憶部220に記憶された試行周波数W及び試行時刻Tを取得し、取得した試行周波数W及び試行時刻Tに基づいてスペクトル伸縮行列を生成する(ステップS105)。
評価部224は、ステアリングベクトルと、スペクトル伸縮行列と、スペクトルXとに基づいて、試行周波数W及び試行時刻Tが評価条件を満たすか否かを判定する(ステップS106)。
試行周波数W及び試行時刻Tが評価条件を満たす場合(ステップS106:YES)、評価部224は、定周波数Wをサンプリング周波数ωに決定し、試行時刻Tをサンプル時刻τに決定する。次にリサンプリング部225は、評価部224が決定したサンプリング周波数ωとサンプル時刻τとに基づいて、時間領域デジタル信号Yallを理想信号に変換する。
一方、試行周波数W及び試行時刻Tが評価条件を満たさない場合(ステップS106:NO)、試行周波数W及び試行時刻Tの値を更新する。
なお、ステップS105からS106の処理は、試行周波数W及び試行時刻Tに基づいてスペクトル伸縮行列を生成し、スペクトル伸縮行列とステアリングベクトルとに基づいて、評価条件を満たすサンプリング周波数ω及びサンプル時刻τを決定する最適化のアルゴリズムに基づく処理であれば他の処理であってもよい。
最適化のアルゴリズムは、他のアルゴリズムであってもよい。最適化のアルゴリズムは、例えば、勾配降下法であってもよい。また、最適化のアルゴリズムは、例えば、Metropolisアルゴリズムであってもよい。Metropolisアルゴリズムは、シミュレーション手法の1つであり、モンテカルロ法の一種である。
このように構成された音響信号出力装置1は、スペクトル伸縮行列及びステアリングベクトルに基づいてサンプリング周波数ω及びサンプル時刻τを推定し、推定したサンプリング周波数ω及びサンプル時刻τに基づいて、時間領域デジタル信号Yallを理想信号に変換する。そのため、このように構成された音響信号出力装置1は、複数のマイクロホンによって収音された音に基づく情報の精度の悪化を抑制することができる。
(適用例)
図4は、実施形態の音響信号出力装置1の適用例を示す図である。図4は、音響信号出力装置1の適用例である音源同定装置100を示す。
音源同定装置100は、例えば、バスで接続されたCPUやメモリや補助記憶装置などを備え、プログラムを実行する。音源同定装置100は、プログラムの実行によって音響信号出力装置1、理想信号取得部101、音源定位部102、音源分離部103、発話区間検出部104、特徴量抽出部105、音響モデル記憶部106及び音源同定部107を備える装置として機能する。
以下、図1と同じ機能を有するものは同じ符号を付すことで説明を省略する。
以下、説明の簡単のため音源が複数ある場合を仮定する。
理想信号取得部101は、音響信号処理部22が変換したM個のチャンネルの理想信号を取得し、取得したM個のチャネルの理想信号を音源定位部102と音源分離部103に出力する。
音源定位部102は、理想信号取得部101が出力したM個のチャネルの理想信号に基づいて音源の位置する方向を定める(音源定位)。音源定位部102は、例えば、各音源の位置する方向を、予め定められた長さのフレーム(例えば、20ms)毎に定める。音源定位部102は、音源定位において、例えば、MUSIC(Multiple Signal Classification;多重信号分類)法を用いて方向毎のパワーを示す空間スペクトルを算出する。音源定位部102は、空間スペクトルに基づいて音源毎の音源方向を決定する。音源定位部102は、音源方向を示す音源方向情報を音源分離部103、発話区間検出部104に出力する。
音源分離部103は、音源定位部102が出力する音源方向情報と、理想信号取得部101が出力するM個のチャネルの理想信号を取得する。音源分離部103は、M個のチャネルの理想信号を音源方向情報が示す音源方向に基づいて、音源毎の成分を示す信号である音源別理想信号に分離する。音源分離部103は、音源別理想信号に分離する際、例えば、GHDSS(Geometric-constrained High-order Decorrelation-based Source Separation)法を用いる。音源分離部103は、分離した理想信号のスペクトルを算出して、発話区間検出部104に出力する。
発話区間検出部104は、音源定位部102が出力する音源方向情報と、音源定位部102が出力する理想信号のスペクトルを取得する。発話区間検出部104は、取得した分離された音響信号のスペクトルと、音源方向情報に基づいて、音源毎の発話区間を検出する。例えば、発話区間検出部104は、MUSIC手法で周波数ごとに得られる空間スペクトルを周波数方向に統合して得られる統合空間スペクトルに閾値処理を行うことで,音源検出と発話区間検出を同時に行う。発話区間検出部104は、検出した検出結果と方向情報と音響信号のスペクトルとを特徴量抽出部105に出力する。
特徴量抽出部105は、発話区間検出部104が出力する分離されたスペクトルから音声認識用の音響特徴量を音源毎に計算する。特徴量抽出部105は、例えば、静的メル尺度対数スペクトル(MSLS:Mel-Scale Log Spectrum)、デルタMSLS及び1個のデルタパワーを、所定時間(例えば、10ms)毎に算出することで音響特徴量を算出する。なお、MSLSは、音響認識の特徴量としてスペクトル特徴量を用い、MFCC(メル周波数ケプストラム係数;Mel Frequency Cepstrum Coefficient)を逆離散コサイン変換することによって得られる。特徴量抽出部105は、求めた音響特徴量を音源同定部107に出力する。
音響モデル記憶部106は、音源モデルを記憶する。音源モデルは、収音された音響信号を音源同定部107が同定するために用いるモデルである。音響モデル記憶部106は、同定する音響信号の音響特徴量を音源モデルとして、音源名を示す情報に対応付けて音源毎に記憶する。
音源同定部107は、特徴量抽出部105が出力する音響特徴量を、音響モデル記憶部106が記憶する音響モデルを参照して音源を同定する。
このように構成された音源同定装置100は、音響信号出力装置1を備えるため、マイクロホン11-mの全てが同じ位置に位置しないことによって生じる誤差であって音源の同定の誤差の増大を抑制することができる。
<数式によるスペクトル伸縮行列及びステアリングベクトルの説明>
以下、数式によってスペクトル伸縮行列及びステアリングベクトルを説明する。
まず、スペクトル伸縮行列について説明する。
スペクトル伸縮行列は、例えば、以下の式(4)を満たす関数である。
Figure 0007000281000004
式(4)において、Aがスペクトル伸縮行列を表す。式(4)におけるスペクトル伸縮行列Aは、理想信号のスペクトルXidealから時間領域デジタル信号YallのスペクトルXへの変換を表す。なお、nは1以上M以下の整数である。
スペクトルXと、理想信号のスペクトルXidealとは、ベクトルであるため、Aは行列である。
は、式(5)の関係を満たす。
Figure 0007000281000005
式(5)は、Aが、リサンプリング行列Bに対して左側から離散フーリエ変換行列Dが作用し、右側から離散フーリエ変換行列Dの逆行列が作用した値であることを示す。
リサンプリング行列Bは、単一フレーム時間領域デジタル信号Yidealを単一フレーム時間領域デジタル信号Yに変換する行列である。数式で表現すると、リサンプリング行列Bは、以下の式(6)の関係を満たす行列である。なお、単一フレーム時間領域デジタル信号Yidealは、理想信号のフレームgの信号である。
Figure 0007000281000006
リサンプリング行列Bのθ行φ列の値をbn、θ、φとして(θ及びφは1以上の整数)bn、θ、φは、以下の式(7)の関係を満たす。
Figure 0007000281000007
式(7)において、ωは、チャンネルnにおけるサンプリング周波数を表す。チャンネルnは、複数のチャンネルのうちの第nのチャンネルである。式(7)において、τは、チャンネルnにおけるサンプル時刻を表す。
sinc(・・・)は以下の式(8)によって定義される関数である。式(8)において、tは任意の数である。
Figure 0007000281000008
式(6)~式(8)によって表される関係は、単一フレーム時間領域デジタル信号Yと単一フレーム時間領域デジタル信号Yidealとの間に、成り立つことが知られている式である。
次にステアリングベクトルについて説明する。
以下説明の簡単のため、周波数ビンfにおけるステアリングベクトルについて説明する。周波数ビンfにおけるステアリングベクトルは以下の式(9)を満たす関数Rである。周波数ビンfにおけるステアリングベクトルRは、M個の要素を有するベクトルである。
Figure 0007000281000009
式(9)において、sは、周波数ビンfにおける音源のスペクトル強度を表す。式(9)において、χm、fは、仮想周波数ωidealでサンプリングされたアナログ信号Z2の周波数スペクトルの周波数ビンfにおけるスペクトル強度である。
以下、式(9)における左辺のベクトル(χ1、f、・・・、χM、f)を周波数ビンfにおける同時観測スペクトルEという。
ここで、全ての周波数ビンfにおける同時観測スペクトルEを結合したベクトルEallを定義する。以下、Eallを全同時観測スペクトルという。全同時観測スペクトルEallは、全ての周波数ビンfについてのEの直積である。具体的には、全同時観測スペクトルEallは式(10)で表される。
以下、説明の簡単のため、fは0以上(F-1)以下の整数であると仮定し、周波数ビンの総数をF個と仮定する。
Figure 0007000281000010
全同時観測スペクトルEallは、以下の式(11)及び式(12)の関係を満たす。
Figure 0007000281000011
Figure 0007000281000012
以下、式(12)で定義されるSを音源スペクトルという。式(11)において、rm、fは、ステアリングベクトルRの第m番目の要素値である。
ところで、式(11)より、χの下付き文字の順序を入れ替えた式(13)で定義される変形同時観測スペクトルHについて、以下の式(14)の関係が成り立つ。
Figure 0007000281000013
Figure 0007000281000014
ここで、要素値p_<k、k>を有する(M×F)行(M×F)列の置換行列Pを用いると、式(14)は以下の式(15)に変形される。なお、k及びkは、1以上(M×F)以下の整数である。
Figure 0007000281000015
Pのk行k列の要素p_<k、k>は、以下の式(16)及び式(17)を満たすk及びkが存在するとき1であり、存在しない場合に0である。
Figure 0007000281000016
Figure 0007000281000017
置換行列Pは、例えば、M=2及びF=3の場合、以下の式(18)である。
Figure 0007000281000018
Pはユニタリー行列である。また、Pの行列式は+1又は-1である。
ここで、音源スペクトルsとスペクトルXとの間の関係について説明する。
以下、スペクトル伸縮モデルにおいて、音源スペクトルsとスペクトルXとの間の関係について説明する。
スペクトル伸縮モデルにおいては、各マイクロホン11-mが異なるサンプリング周波数でサンプリングを行っている状況を考える。スペクトル伸縮モデルにおいては、サンプリング周波数の変換は各マイクロホン11-mで独立に行われるため伝達系には影響しないと仮定する。なおこの状況での空間相関行列は、各マイクロホン11-mが仮想周波数ωidealで同期サンプリングを行っている場合の空間相関行列とする。
変形同時観測スペクトルHとスペクトルXとの間には、式(4)より、以下の式(19)の関係が成り立つ。
Figure 0007000281000019
式(19)に式(15)を代入すると、音源スペクトルsとスペクトルXとの間の関係を表す式(20)が導出される。
Figure 0007000281000020
<数式による評価条件の説明>
評価条件の一例を数式を用いて説明する。
評価条件は、例えば、以下の3つの付帯条件が満たされる場合に、期観測スペクトルEの要素χm、fをステアリングベクトルRの要素値rm、fで除算した値同士の差の全てが所定の範囲内である、という条件であってもよい。
第1の付帯条件は、サンプリング周波数ωが取り得る値の確率分布が仮想周波数ωidealを中心として分散σω を有する正規分布であるという条件である。
第2の付帯条件は、サンプル時刻τが取り得る値の確率分布が仮想時刻τidealを中心として分散στ を有する正規分布である、という条件である。
第3の付帯条件は、同時観測スペクトルEの各要素の値が取り得る値が以下の式(21)の尤度関数pが表す確率分布であるという条件である。
Figure 0007000281000021
式(21)において、σは、音源スペクトルが各マイクロホン11-mで観測される過程におけるスペクトルの分散を表す。式(21)において、A -1は、スペクトル伸縮行列Aの逆行列を表す。
式(21)は、音源がホワイトノイズであるとした場合に、サンプリング周波数ωが全て同じでありサンプル時刻τも全て同じでありマイクロホン11-mが全て同じ位置に位置する場合に、値が最大となる関数である。音源がホワイトノイズであって式(21)の値が最大である場合、各フレームg及び各周波数ビンfにおける同時観測スペクトルの要素値を各フレームg及び各周波数ビンfにおけるステアリングベクトルの要素値で除算した値は、音源スペクトルに一致する。具体的には、式(22)の関係が成り立つ。
Figure 0007000281000022
評価条件は、第3の付帯条件として式(21)におけるノルム(絶対値の2乗)の総和の代わりに、L1ノルム(絶対値)の総和を用いる形であってもよい。また、評価条件は、尤度関数を式(22)における各項のコサイン類似度で定義する形であってもよい。
ここで、実施形態におけるステアリングベクトル及びスペクトル伸縮行列を図5を参照して説明する。
図5は、実施形態におけるステアリングベクトル及びスペクトル伸縮行列を説明する説明図である。
図5において、音源から発せられた音は、(仮想)同期マイク群によって収音される。(仮想)同期マイク群は、複数の仮想同期マイクロホン31-mを備える。図5における仮想同期マイクロホン31-mは、AD変換器を備え、収音した音をデジタル信号に変換する仮想的なマイクロホンである。仮想同期マイクロホン31-mの全ては共通の発振子を備え、サンプリング周波数が同一である。全ての仮想同期マイクロホン31-mのサンプリング周波数は、ωidealである。仮想同期マイクロホン31-mは空間内の位置が異なる。
図5において、非同期マイク群は、複数の非同期マイクロホン32-mを備える。非同期マイクロホン32-mは発振子を備える。非同期マイクロホン32-mが備える発振器は互いに独立である。そのため、非同期マイクロホン32-mのサンプリング周波数は必ずしも同一ではない。非同期マイクロホン32-mのサンプリング周波数は、ωである。非同期マイクロホン32-mの位置は、仮想同期マイクロホン31-mと同一である。
音源から発せられた音は各仮想同期マイクロホン31-mに到達するまでに、伝達経路による変調を受ける。各仮想同期マイクロホン31-mが収音する音は、音源から各仮想同期マイクロホン31-mまでの距離の仮想同期マイクロホン31-m間の差の影響を受け、仮想同期マイクロホン31-mごとに異なる。各仮想同期マイクロホン31-mが収音する音は、直接音と壁や床の反射音とであり、各仮想同期マイクロホンに到達する直接音と反射音とは、各マイクロホンの位置の違いに応じて異なる。
このような仮想同期マイクロホン31-mごとの伝達経路による変調の違いは、ステアリングベクトルによって表される。図5において、r、・・・、rは、ステアリングベクトルの要素値であって、音源が発した音が仮想同期マイクロホン31-mによって収音されるまでに音の伝達経路によって受ける変調を表す。
非同期マイクロホン32-mによるサンプリング周波数は、ωidealと必ずしも同一ではない。そのため、仮想同期マイクロホン31-mによるデジタル信号の周波数成分と、非同期マイクロホン32-mによるデジタル信号の周波数成分とは必ずしも同一ではない。スペクトル伸縮行列は、このようなサンプリング周波数の違いによるデジタル信号の変化を表す。
m、fは、周波数ビンfにおけるスペクトルXのスペクトル強度を表す。
(実験結果)
図6~図13は、実施形態における音響信号処理部22が取得する仮想周波数及び仮想時刻と実際のサンプリング周波数及びサンプル時刻との対応関係を示すシミュレーション結果である。図6~図13はシミュレーション結果を示す第1~第8の図である。
図6~図13は、間隔20cmの2本のマイクロホンを用いた実験の実験結果である。すなわち、図6~図13のシミュレーション結果は、M=2の場合における実験結果である。図6~図13は、音源が1つの場合の実験結果である。図6~図13は、音源が2本のマイクロホンを結ぶ線上にあって、音源が2本のマイクロホンを結ぶ線分の中心から1mの距離に位置する場合の実験の実験結果である。図6~図13は、ステアリングベクトルの計算におけるサンプリング周波数が16kHzであって、フーリエ変換のサンプル数が512であって、音源がホワイトノイズである実験の実験結果である。
図6~図13において、横軸は、サンプリング周波数ωを表し、縦軸は、サンプリング周波数ωを表す。
図6~図13は、サンプリング周波数ω及びωを15900Hzから16100Hzまでの間で10Hzきざみに変化させた場合に、音響信号処理部22が取得する事後確率を最大にするサンプリング周波数をωとサンプリング周波数ωとの組合せを示す。図6~図13においてサンプリング周波数ωは、音源に近いマイクロホンが収音した音に対するサンプリング周波数である。図6~図13においてサンプリング周波数ωは、音源から遠いマイクロホンが収音した音に対するサンプリング周波数である。なお、図6~図13にシミュレーション結果を示すシミュレーションにおいて、サンプル時刻τは、0である。
図6において、シミュレーションにおけるマイクロホンのサンプリング周波数ω及びωの組合せを示すマーカーAと、シミュレーション結果が示す事後確率を最大にするサンプリング周波数ω及びωの組合せを示すマーカーBとは一致している。
図6は、シミュレーションにおけるマイクロホンのサンプリング周波数ω及びωをどちらも16000kHzとした場合に、シミュレーション結果が示す事後確率を最大にするサンプリング周波数ω及びωがどちらも16000Hzであることを表す。
図7において、シミュレーションにおけるマイクロホンのサンプリング周波数ω及びωの組合せを示すマーカーAと、シミュレーション結果が示す事後確率を最大にするサンプリング周波数ω及びωの組合せを示すマーカーBとは一致している。
図7は、シミュレーションにおけるマイクロホンのサンプリング周波数ω及びωをどちらも16020kHzとした場合に、シミュレーション結果が示す事後確率を最大にするサンプリング周波数ω及びωがどちらも16020Hzであることを表す。
以下、シミュレーションにおけるマイクロホンのサンプリング周波数ω及びωの値を真値という。
図6及び図7は、事後確率を最大にするサンプリング周波数ω及びωの値が、真値に一致することを表す。そのため、図6及び図7は、音響信号処理部22が仮想周波数及び仮想時刻を精度よく取得できていることを示す。
図8は、真値を示すマーカーAと、シミュレーション結果が示す事後確率を最大にするサンプリング周波数ω及びωの組合せを示すマーカーBとが一致はしていないものの近接している。
図8のマーカーBは、サンプリング周波数ωの真値が16000Hzであって、サンプリング周波数ωの真値が15950Hzである場合におけるシミュレーション結果が示す事後確率を最大にするサンプリング周波数ω及びωの組合せを示す。
図9は、真値を示すマーカーAと、シミュレーション結果が示す事後確率を最大にするサンプリング周波数ω及びωの組合せを示すマーカーBとが一致はしていないものの近接している。
図9のマーカーBは、サンプリング周波数ωの真値が16000Hzであって、サンプリング周波数ωの真値が15980Hzである場合におけるシミュレーション結果が示す事後確率を最大にするサンプリング周波数ω及びωの組合せを示す。
図10は、真値を示すマーカーAと、シミュレーション結果が示す事後確率を最大にするサンプリング周波数ω及びωの組合せを示すマーカーBとが一致はしていないものの近接している。
図10のマーカーBは、サンプリング周波数ωの真値が16000Hzであって、サンプリング周波数ωの真値が16050Hzである場合におけるシミュレーション結果が示す事後確率を最大にするサンプリング周波数ω及びωの組合せを示す。
図11は、真値を示すマーカーAと、シミュレーション結果が示す事後確率を最大にするサンプリング周波数ω及びωの組合せを示すマーカーBとが一致はしていないものの近接している。
図11のマーカーBは、サンプリング周波数ωの真値が15990Hzであって、サンプリング周波数ωの真値が16010Hzである場合におけるシミュレーション結果が示す事後確率を最大にするサンプリング周波数ω及びωの組合せを示す。
図12は、真値を示すマーカーAと、シミュレーション結果が示す事後確率を最大にするサンプリング周波数ω及びωの組合せを示すマーカーBとが一致はしていないものの近接している。
図12のマーカーBは、サンプリング周波数ωの真値が15980Hzであって、サンプリング周波数ωの真値が16020Hzである場合におけるシミュレーション結果が示す事後確率を最大にするサンプリング周波数ω及びωの組合せを示す。
図13は、真値を示すマーカーAと、シミュレーション結果が示す事後確率を最大にするサンプリング周波数ω及びωの組合せを示すマーカーBとが一致はしていないものの近接している。
図13のマーカーBは、サンプリング周波数ωの真値が15950Hzであって、サンプリング周波数ωの真値が16050Hzである場合におけるシミュレーション結果が示す事後確率を最大にするサンプリング周波数ω及びωの組合せを示す。
図8においては、事後確率を最大とするサンプリング周波数ωが15960Hzであって、事後確率を最大とするサンプリング周波数ωが16010Hzであって、サンプリング周波数ωの真値が15950Hzであって、サンプリング周波数ωの真値が16000Hzである。そのため、図8においては、事後確率を最大とするサンプリング周波数ωと事後確率を最大とするサンプリング周波数ωとの差が、サンプリング周波数ωの真値とサンプリング周波数ωの真値との差に等しい。
このことは、図8の結果が、事後確率を最大とするサンプリング周波数ω及びωであって真値と等しいサンプリング周波数ω及びω、を音響信号処理部22が取得しない場合であっても、音響信号処理部22がある程度妥当な組合せのサンプリング周波数を取得することを示す。
なお、事後確率は、シミュレーション結果が取得される前に予め仮定されたサンプリング周波数ωの分布と、シミュレーション結果の確からしさとの積である。シミュレーション結果が取得される前に予め仮定されたサンプリング周波数ωの分布は、例えば、正規分布である。シミュレーション結果の確からしさは、例えば、式(21)が表す尤度関数である。
(変形例)
なお、AD変換部21-1は必ずしも音響信号処理装置20が備える必要は無く、マイクロホンアレイ10が備えてもよい。また、音響信号処理装置20は必ずしもひとつの筐体に実装される必要は無く、複数の筐体に分けて構成される装置であってもよい。また、音響信号処理装置20は1つの筐体で構成される装置であってもよいし、複数の筐体に分けて構成される装置であってもよい。複数の筐体に分けて構成される場合には、上述した音響信号処理装置20の一部の機能が、ネットワークを介して物理的に離れた位置に実装されてもよい。音響信号出力装置1もまた、1つの筐体で構成される装置であってもよいし、複数の筐体に分けて構成される装置であってもよい。複数の筐体に分けて構成される場合には、上述した音響信号出力装置1の一部の機能が、ネットワークを介して物理的に離れた位置に実装されてもよい。
なお、音響信号出力装置1、音響信号処理装置20及び音源同定装置100の各機能の全て又は一部は、ASIC(Application Specific Integrated Circuit)やPLD(Programmable Logic Device)やFPGA(Field Programmable Gate Array)等のハードウェアを用いて実現されてもよい。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。プログラムは、電気通信回線を介して送信されてもよい。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
1…音響信号出力装置、 10…マイクロホンアレイ、 11…マイクロホン、 20…音響信号処理装置、 21…AD変換器、 22…音響信号処理部、 220・・・記憶部、 221…スペクトル算出処理部、 222…ステアリングベクトル生成部、 223…スペクトル伸縮行列生成部、 224…評価部、 225…リサンプリング部、 100…音源同定装置、 101…理想信号取得部、 102…音源定位部、 103…音源分離部、 104…発話区間検出部、 105…特徴量抽出部、 106…音響モデル記憶部、 107…音源同定部

Claims (4)

  1. 個のマイクロホン(Mは2以上の整数である)が収音した音を表す個のアナログ信号をサンプリングして個のデジタル信号に変換された個の音響信号に基づいて各音響信号のスペクトルと個の要素を有するステアリングベクトルとを算出し、試行周波数W (前記W ∈{W ,W ,…,W })と試行時刻T (前記T ∈{T ,T ,…,T })及び予め定められた所定の値であるサンプリング周波数ω ideal を用いてスペクトル伸縮行列A (前記A ∈{A ,A ,…,A })が算出され、前記ステアリングベクトルR と前記スペクトル伸縮行列A 及び前記スペクトルX (前記X ∈{X ,X ,…,X })に基づく評価条件を満たす前記試行周波数W を前記サンプリングにおけるサンプリング周波数ω (前記ω ∈{ω ,…,ω })に決定する音響信号処理部、
    を備える音響信号処理装置。
  2. 前記ステアリングベクトルは、前記音の音源から前記マイクロホンのそれぞれまでの伝達特性の前記マイクロホンの位置間の違いを表す、請求項1に記載の音響信号処理装置。
  3. 個のマイクロホン(Mは2以上の整数である)が収音した音を表す個のアナログ信号をサンプリングして個のデジタル信号に変換された個の音響信号に基づいて各音響信号のスペクトルを算出するスペクトル算出ステップと、
    前記個の変換された個の音響信号に基づいて、個の要素を有するステアリングベクトルを算出するステアリングベクトル算出ステップと、
    試行周波数W (前記W ∈{W ,W ,…,W })と試行時刻T (前記T ∈{T ,T ,…,T })及び予め定められた所定の値であるサンプリング周波数ω ideal を用いてスペクトル伸縮行列A (前記A ∈{A ,A ,…,A })が算出され、前記ステアリングベクトルR と前記スペクトル伸縮行列A 及び前記スペクトルX (前記X ∈{X ,X ,…,X })に基づく評価条件を満たす前記試行周波数W を前記サンプリングにおけるサンプリング周波数ω (前記ω ∈{ω ,…,ω })に決定する決定ステップと、
    を有する音響信号処理方法。
  4. 音響信号処理装置のコンピュータに、
    個のマイクロホン(Mは2以上の整数である)が収音した音を表す個のアナログ信号をサンプリングして個のデジタル信号に変換された個の音響信号に基づいて各音響信号のスペクトルを算出するスペクトル算出ステップと、
    前記個の変換された個の音響信号に基づいて、個の要素を有するステアリングベクトルを算出するステアリングベクトル算出ステップと、
    試行周波数W (前記W ∈{W ,W ,…,W })と試行時刻T (前記T ∈{T ,T ,…,T })及び予め定められた所定の値であるサンプリング周波数ω ideal を用いてスペクトル伸縮行列A (前記A ∈{A ,A ,…,A })が算出され、前記ステアリングベクトルR と前記スペクトル伸縮行列A 及び前記スペクトルX (前記X ∈{X ,X ,…,X })に基づく評価条件を満たす前記試行周波数W を前記サンプリングにおけるサンプリング周波数ω (前記ω ∈{ω ,…,ω })に決定する決定ステップとを実行させるプログラム。
JP2018165504A 2018-09-04 2018-09-04 音響信号処理装置、音響信号処理方法及びプログラム Active JP7000281B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018165504A JP7000281B2 (ja) 2018-09-04 2018-09-04 音響信号処理装置、音響信号処理方法及びプログラム
US16/553,870 US10863271B2 (en) 2018-09-04 2019-08-28 Acoustic signal processing device, acoustic signal processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018165504A JP7000281B2 (ja) 2018-09-04 2018-09-04 音響信号処理装置、音響信号処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2020039057A JP2020039057A (ja) 2020-03-12
JP7000281B2 true JP7000281B2 (ja) 2022-01-19

Family

ID=69640338

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018165504A Active JP7000281B2 (ja) 2018-09-04 2018-09-04 音響信号処理装置、音響信号処理方法及びプログラム

Country Status (2)

Country Link
US (1) US10863271B2 (ja)
JP (1) JP7000281B2 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000134688A (ja) 1998-10-28 2000-05-12 Fujitsu Ltd マイクロホンアレイ装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000134688A (ja) 1998-10-28 2000-05-12 Fujitsu Ltd マイクロホンアレイ装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
糸山 克寿,スペクトル伸縮行列と空間相関行列に基づく複数マイクロホンの同期,第36回日本ロボット学会学術講演会,2018年09月07日,RSJ2018AC2J2-04
糸山 克寿,確率的生成モデルに基づく複数A/Dコンバータのチャネル間同期,日本音響学会 2018年 春季研究発表会講演論文集,2018年03月,3-4-14

Also Published As

Publication number Publication date
JP2020039057A (ja) 2020-03-12
US20200077187A1 (en) 2020-03-05
US10863271B2 (en) 2020-12-08

Similar Documents

Publication Publication Date Title
JP5582915B2 (ja) 楽譜位置推定装置、楽譜位置推定方法および楽譜位置推定ロボット
JP5702685B2 (ja) 音源方向推定装置及び音源方向推定方法
JP6543844B2 (ja) 音源同定装置および音源同定方法
JP6584930B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP5124014B2 (ja) 信号強調装置、その方法、プログラム及び記録媒体
JP5931661B2 (ja) 音源方向推定装置、音源方向推定方法、及び音源方向推定プログラム
CN108429995B (zh) 音响处理装置、音响处理方法以及存储介质
JP6591477B2 (ja) 信号処理システム、信号処理方法及び信号処理プログラム
JP6723120B2 (ja) 音響処理装置および音響処理方法
JP5127982B2 (ja) 音楽検索装置
JP7000281B2 (ja) 音響信号処理装置、音響信号処理方法及びプログラム
JP2017067948A (ja) 音声処理装置および音声処理方法
JP5705190B2 (ja) 音響信号強調装置、音響信号強調方法、およびプログラム
KR101361034B1 (ko) 하모닉 주파수 의존성을 이용한 독립벡터분석에 기반한 강한 음성 인식 방법 및 이를 이용한 음성 인식 시스템
WO2018110008A1 (ja) 目的音強調装置、雑音推定用パラメータ学習装置、目的音強調方法、雑音推定用パラメータ学習方法、プログラム
JP2004274234A (ja) 音響信号の残響除去方法、装置、及び音響信号の残響除去プログラム、そのプログラムを記録した記録媒体
JP6961545B2 (ja) 音信号処理装置、音信号処理方法、およびプログラム
JP6911930B2 (ja) 信号処理装置、信号処理方法およびプログラム
JP2020150490A (ja) 音源定位装置、音源定位方法、およびプログラム
JP6063843B2 (ja) 信号区間分類装置、信号区間分類方法、およびプログラム
JP6167062B2 (ja) 分類装置、分類方法、およびプログラム
JP2003076393A (ja) 騒音環境下における音声推定方法および音声認識方法
JP2018191255A (ja) 収音装置、その方法、及びプログラム
JPWO2017204226A1 (ja) 目的音響信号復元システム及び方法
JP5229738B2 (ja) 音声認識装置及び音声変換装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181004

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20190128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20190128

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201130

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211223

R150 Certificate of patent or registration of utility model

Ref document number: 7000281

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150