JPWO2019077723A1 - 信号処理装置、信号処理方法およびプログラム - Google Patents

信号処理装置、信号処理方法およびプログラム Download PDF

Info

Publication number
JPWO2019077723A1
JPWO2019077723A1 JP2019549070A JP2019549070A JPWO2019077723A1 JP WO2019077723 A1 JPWO2019077723 A1 JP WO2019077723A1 JP 2019549070 A JP2019549070 A JP 2019549070A JP 2019549070 A JP2019549070 A JP 2019549070A JP WO2019077723 A1 JPWO2019077723 A1 JP WO2019077723A1
Authority
JP
Japan
Prior art keywords
signal
target
matrix
target signal
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019549070A
Other languages
English (en)
Other versions
JP6911930B2 (ja
Inventor
達也 小松
達也 小松
玲史 近藤
玲史 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2019077723A1 publication Critical patent/JPWO2019077723A1/ja
Application granted granted Critical
Publication of JP6911930B2 publication Critical patent/JP6911930B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272Voice signal separating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/14Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211Selection of the most significant subset of features
    • G06F18/2113Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Complex Calculations (AREA)

Abstract

目的信号のばらつきが大きい場合であっても、低いメモリコストで、モデル化された目的信号成分の情報を得ることができる信号処理技術を提供する。本発明の一態様に係る信号処理装置700は、対象信号から当該対象信号の特徴を表す特徴量を抽出する特徴抽出部101と、抽出された前記特徴量と複数の種類の目的信号を線形結合によって表す信号素基底と前記線形結合の情報とに基づく、前記対象信号に含まれる前記複数の目的信号の各々の強さを表す重みの計算と、前記特徴量と前記信号素基底と前記重みとに基づく前記線形結合の情報の更新とを、所定の条件が満たされるまで繰り返す分析部103と、前記重みに基づいて、前記対象信号に含まれ、少なくとも1種類の前記目的信号である対象目的信号の情報を導出する処理部704と、前記対象目的信号の情報を出力する出力部106と、を備える。

Description

本発明は、信号を処理する技術に関する。
以下の説明では、信号を分離することは、複数の信号源からの信号が混在する信号から、所定の種類の信号源からの信号を分離することを表す。信号源は、例えば、信号を発生するハードウェアである。分離される信号を、目的信号と表記する。目的信号は、上述の所定の種類の信号源からの信号である。また、目的信号を発生する信号源を、目的信号源と表記する。目的信号源は、上述の所定の種類の信号源である。目的信号が分離される信号を、検出対象信号とも表記する。検出対象信号は、上述の複数の信号源からの信号が混在する信号である。検出対象信号の成分のうち、目的信号源からの信号に相当する成分を、目的信号の成分と表記する。目的信号の成分は、目的信号成分及び目的信号源成分とも表記される。
非特許文献1には、信号を分離する技術の一例が開示されている。非特許文献1の技術では、分離したい目的信号の成分の特徴量が、あらかじめ基底としてモデル化され、保持される。非特許文献1の技術では、複数の目的信号の成分が交じり合った入力信号が、保持されている基底を使用して、それらの複数の目的信号の成分の、基底と重みとに分解される。
Dennis L. Sun and Gautham J. Mysore, "Universal speech models for speaker independent single channel source separation," 2013 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 141-145, 2013.
上述のように、目的信号源は、所定の種類の信号源である。目的信号源は、1つの信号源でなくてよい。例えば、所定の種類の異なる複数の信号源が、目的信号源であってもよい。目的信号は、同一の信号源が発生した信号であってもよい。目的信号は、所定の種類の異なる複数の信号源のいずれかが発生した信号であってもよい。目的信号は、所定の種類の1つの信号源が発生した信号であってもよい。同一の信号源からの信号であっても、信号には揺らぎが存在する。同じ種類の信号源が発生した信号であっても、例えば信号源の個体差によって、信号にはバリエーションが生じる。
したがって、同一の目的信号の成分には、揺らぎ及びバリエーションが存在する。非特許文献1の技術では、同じ目的信号源からの目的信号であっても、揺らぎが大きければ、同じ基底を使用して精度よく目的信号を分離することはできない。また、同じ種類の目的信号源からの目的信号であっても、例えば目的信号源のばらつきにより目的信号のバリエーションが存在すれば、同じ基底を使用して精度よく目的信号を分離することはできない。揺らぎが存在する場合、揺らぎによって変動する目的信号ごとに異なる基底を保持する必要がある。また、バリエーションが存在する場合、目的信号のバリエーションごとに異なる基底を保持する必要がある。そのため、目的信号を基底としてモデル化する際、基底の数は揺らぎの大きさやバリエーションの数に応じて大きくなる。そのため、現実のさまざまな目的信号源を基底としてモデル化するためには、膨大な量の基底数を保持せねばならない。そのため、メモリコストが膨大となる。
本発明の目的は、目的信号のばらつきが大きい場合であっても、低いメモリコストで、モデル化された目的信号成分の情報を得ることができる信号処理技術を提供することにある。
本発明の一態様に係る信号処理装置は、対象信号から当該対象信号の特徴を表す特徴量を抽出する特徴抽出手段と、抽出された前記特徴量と複数の種類の目的信号を線形結合によって表す信号素基底と前記線形結合の情報とに基づく、前記対象信号に含まれる前記複数の目的信号の各々の強さを表す重みの計算と、前記特徴量と前記信号素基底と前記重みとに基づく前記線形結合の情報の更新とを、所定の条件が満たされるまで繰り返す分析手段と、前記重みに基づいて、前記対象信号に含まれ、少なくとも1種類の前記目的信号である対象目的信号の情報を導出する処理手段と、前記対象目的信号の情報を出力する出力手段と、を備える。
本発明の一態様に係る信号処理方法は、対象信号から当該対象信号の特徴を表す特徴量を抽出し、抽出された前記特徴量と複数の種類の目的信号を線形結合によって表す信号素基底と前記線形結合の情報とに基づく、前記対象信号に含まれる前記複数の目的信号の各々の強さを表す重みの計算と、前記特徴量と前記信号素基底と前記重みとに基づく前記線形結合の情報の更新とを、所定の条件が満たされるまで繰り返し、前記重みに基づいて、前記対象信号に含まれ、少なくとも1種類の前記目的信号である対象目的信号の情報を導出し、前記対象目的信号の情報を出力する。
本発明の一態様に係る記憶媒体は、コンピュータに、対象信号から当該対象信号の特徴を表す特徴量を抽出する特徴抽出処理と、抽出された前記特徴量と複数の種類の目的信号を線形結合によって表す信号素基底と前記線形結合の情報とに基づく、前記対象信号に含まれる前記複数の目的信号の各々の強さを表す重みの計算と、前記特徴量と前記信号素基底と前記重みとに基づく前記線形結合の情報の更新とを、所定の条件が満たされるまで繰り返す分析処理と、前記重みに基づいて、前記対象信号に含まれ、少なくとも1種類の前記目的信号である対象目的信号の情報を導出する導出処理と、前記対象目的信号の情報を出力する出力処理と、を実行させるプログラムを記憶する記憶媒体。本発明は、上記記憶媒体に格納されているプログラムによっても実現される。
本発明には、目的信号のばらつきが大きい場合であっても、低いメモリコストで、モデル化された目的信号の成分の情報を得ることができるという効果がある。
図1は、本発明の第1の実施形態に係る信号分離装置の構成の例を表すブロック図である。 図2は、本発明の第1、第3、第5の実施形態の信号分離装置の動作の例を表すフローチャートである。 図3は、本発明の第2の実施形態の信号検出装置の構成を表すブロック図である。 図4は、本発明の第2、第4、第6の実施形態の信号検出装置の動作の例を表すフローチャートである。 図5は、本発明の第3の実施形態に係る信号分離装置の構成の例を表すブロック図である。 図6は、本発明の第3、第4、第5の実施形態に係る信号分離装置の動作の例を表すフローチャートである。 図7は、本発明の第4の実施形態に係る信号検出装置の構成の例を表すブロック図である。 図8は、本発明の第5の実施形態に係る信号分離装置の構成の例を表すブロック図である。 図9は、本発明の第5、第6の実施形態の信号分離装置の動作の例を表すフローチャートである。 図10は、本発明の第6の実施形態に係る信号検出装置の構成の例を表す図である。 図11は、本発明の第7の実施形態に係る信号処理装置の構成の例を表すブロック図である。 図12は、本発明の第7の実施形態の信号処理装置の動作の例を表すフローチャートである。 図13は、本発明の実施形態に係る信号処理装置を実現できるコンピュータのハードウェア構成の例を表すブロック図である。 図14は、前提技術が実装された信号分離装置の構成の例を表すブロック図である。
[前提技術]
本発明の実施形態の説明の前に、本発明の実施形態の技術及び非特許文献1記載の技術の両者の前提技術である、信号を分離する技術について説明する。
図14は、前提技術が実装された信号分離装置900の構成の例を表すブロック図である。信号分離装置900は、特徴抽出部901と、基底記憶部902と、分析部903と、結合部904と、受信部905と、出力部906とを含む。
受信部905は、目的信号源からの目的信号を成分として含む分離対象信号を受信する。分離対象信号は、例えば、センサによって計測された信号である。
特徴抽出部901は、分離対象信号を入力として受け取り、受け取った分離対象信号から特徴量を抽出し、抽出した特徴量を分析部903に送出する。
基底記憶部902は、目的信号源の特徴量基底を記憶する。基底記憶部902は、複数の目的信号の特徴量基底を記憶していてもよい。
分析部903は、特徴抽出部901から送出された特徴量を入力として受け取り、基底記憶部902に格納されている特徴量基底を読み出す。分析部903は、受け取った特徴量における、目的信号の特徴量基底の強度(重み)を算出する。分析部903は、受け取った特徴量における、目的信号の各々の、特徴量基底の各々の強度(重み)を算出すればよい。分析部903は、算出した重みを、例えば重み行列の形で、例えば結合部904に送出する。
結合部904は、分析部903から、例えば重み行列の形で重みを受け取る。結合部904は、基底記憶部902に格納されている特徴量基底を読み出す。結合部904は、例えば重み行列の形で分析部903から受け取った重みと、基底記憶部902に格納されている特徴量基底を元にして、分離信号を生成する。具体的には、結合部904は、例えば、重みと特徴量基底とを線形結合することによって目的信号の特徴量の系列を算出する。結合部904は、得られた目的信号の特徴量の系列から目的信号の分離信号を生成し、生成した分離信号を、出力部906に送出する。以下に示す例のように、特徴抽出部901による信号からの特徴量の抽出が、信号に所定の変換を適用することである場合、結合部904は、目的信号の特徴量の系列に、所定の変換の逆変換を行うことによって、分離信号を生成すればよい。
出力部906は、結合部904から分離信号を受け取り、受け取った分離信号を出力する。
以降の説明の例では、信号源が発生する信号の種類は、音響信号である。分離対象信号を、音響信号x(t)とする。ここで、tは時間を表すインデックスである。具体的には、tは、所定の時刻(たとえば装置に入力した時点の時刻)を原点t=0として順次入力される音響信号の時間インデックスである。x(t)はマイクロフォン等のセンサによって収録されたアナログ信号をAD変換(Analog to Digital Conversion)することによって得られるデジタル信号の系列である。実環境に設置されたマイクロフォンによって収録された音響信号には、その実環境におけるさまざまな音源から発せられた成分が混ざりあっている。たとえばオフィスに設置されたマイクロフォンによって音響信号を収録する場合、そのマイクロフォンによって、オフィスに存在するさまざまな音源からの音響(例えば、話し声、キーボード音、空調音、足音など)の成分が混ざりあった信号が収録される。観測によって得ることができる信号は、様々な音源からの音響が交じり合った音響を表す音響信号x(t)である。音源からの信号が得られた音響信号が含む音響を発生させた音源は未知である。得られた音源に含まれる、音源ごとの音響の強さは、未知である。前提技術は、実環境で収録される音響信号に混ざり合う可能性がある音源からの音響を表す音響信号が、目的音響信号(すなわち、上述の目的信号)として、特徴量成分の基底を用いてあらかじめモデル化される。信号分離装置900は、音響信号x(t)を受信すると、受信した音響信号を、その音響信号に含まれる目的音響の成分へと分離し、分離された目的音響の成分を出力する。
特徴抽出部901は、例えば、所定の時間幅(信号が音響信号であれば2秒など)のx(t)を、入力として受信する。特徴抽出部901は、受信したx(t)に基づいて、特徴量として、例えばK×L行列である特徴量行列Y=[y(1),…,y(L)]を算出し、算出したYを出力する。特徴量については後で例示する。ベクトルy(j)(j=1, …, L)は、j番目の時間フレームである時間フレームjにおけるK次元特徴量を表すベクトルである。Kの値は予め決められていればよい。Lは、受信したx(t)の時間フレームの数である。時間フレームとは、x(t)から特徴量ベクトルy(j)を抽出する際の単位時間幅(インターバル)の長さの信号である。たとえばx(t)が音響信号の場合、一般にインターバルは10 ms(millisecond)程度に設定される。例えば、基準として、t=0のときのjをj=1とすると、jとtとの関係は、j=2のときt=10 ms、j=3のときt=20ms,...となる。ベクトルy(j)は、時間フレームjに関連する時間tにおけるx(t)の特徴量ベクトルである。またLの値は、信号x(t)が含む時間フレームの数である。時間フレームの時間幅の単位が10msに設定され、2秒間の長さのx(t)を受信した場合、Lは200となる。信号x(t)が音響信号である場合、特徴量ベクトルy(j)として、x(t)に短時間フーリエ変換を施すことによって得られる振幅スペクトルが用いられることが多い。他の例では、特徴量ベクトルy(j)として、x(t)にウェーブレット変換を施すことによって得られる対数周波数振幅スペクトルなどが用いられてもよい。
基底記憶部902は、目的信号の特徴量を、例えば、目的信号の特徴量基底を行列によって表した特徴量基底行列として記憶する。目的信号源の特徴量基底の数がS個である場合、S個の目的信号源の特徴量基底を表す行列である特徴量基底行列は、W=[ W_1,...,W_S]と表される。基底記憶部902は、例えば、特徴量基底行列Wを記憶していればよい。行列W_s(s=1,…,S)は、s番目の目的信号源である目的信号源sの特徴量基底が結合されたK×n(s)行列である。ここで、n(s)は目的信号源sの特徴量基底数を表わす。簡単のため単純な例として、信号が音響であり、目的信号源(すなわち目的音源)がピアノであり、目的信号がピアノの音である場合について説明する。特定のピアノAが発するドレミファソラシという7音を「ピアノA」という目的音源からの目的信号(すなわち目的音響)としてモデル化する場合、特徴量基底数n(ピアノA)は、n(ピアノA)=7である。特徴量基底行列W_(ピアノA)は、各音の特徴量ベクトルを結合したK×7行列W_(ピアノ_A)=[w_(ド),...,w_(シ)]である。
分析部903は、特徴抽出部901によって出力された特徴量行列Yを、基底記憶部902に格納されている特徴量基底行列Wと、R行L列の重み行列Hとの積Y=WHに分解し、得られた重み行列Hを出力する。
ここで、Rは、Wの列数を表すパラメータであり、すべてのs={1,…,S}についてのn(s)の和である。Hは、Yの各フレーム(すなわち、1からLまでの)における成分y(j)において、Wの各基底がどの程度含まれているかを示す重みを表す。Hのj列におけるベクトルをh(j)とすると、h(j)=[h_1(j)T,…,h_S(j)T]Tとなる。ここでh_s(j) (s=1,…,S)は、目的音源sの特徴量基底W_sの時間フレームjにおける重みを表わすn(s)次元の縦ベクトルである。Tは、ベクトル及び行列の転置を表わす。分析部903は、重み行列Hを、公知の行列分解手法であるICA(Independent Component Analysis)、PCA(Principal Component Analysis)、NMF(Nonnegative Matrix Factorization)、スパースコーディング等を用いて算出すればよい。以下に示す例では、分析部903は、NMF(非負値行列因子分解)を用いて重み行列Hを算出する。
結合部904は、分析部903によって出力された重み行列Hと、基底記憶部902に格納されている音源の特徴量基底行列Wを用いて、目的音源ごとに重みと特徴量基底とを線形結合することによって特徴量の系列を生成する。結合部904は、生成された特徴量の系列を変換することによって、s={1,…,S}について、目的音源sの成分の分離信号x_s(t)を生成する。結合部904は、生成した分離信号x_s(t)を出力する。たとえば、目的音源sに対応する特徴量基底行列Wに含まれる、目的音源sの特徴量基底W_sと、重み行列Hに含まれる、目的音源sの特徴量基底の重みであるH_s=[h_s(1),…,h_s(L)]との積Y_s=W_s・H_sは、入力信号x(t)中における目的音源sからの音響を表す信号の成分の特徴量の系列であると考えられる。以下では、目的音源sからの音響を表す信号の成分は、単に、目的音源sの成分とも表記される。入力信号x(t)に含まれる目的音源sの成分x_s(t)は、特徴抽出部901が特徴量行列Yを算出するために用いた特徴量変換の逆変換(短時間フーリエ変換の場合、逆フーリエ変換)を、Y_sに対して適用することによって得られる。
以上が、前提技術である。上述の例では、ある特定のピアノAを目的音源とし、特定のピアノAの特徴量としてW_(ピアノA)を定義した。しかし、現実にはピアノの音には個体差がある。従って、「ピアノの音」を目的音源とする場合に上述の方法により精度よく目的信号を分離するためには、様々な個体のピアノの音の特徴量ベクトルを含む特徴量基底行列Wを保持することが求められる。目的音源がより一般的な「足音」や「ガラスが割れる音」などである場合に上述の方法により精度よく目的信号を分離するためには、膨大なバリエーションの足音やガラスの割れる音に関して特徴量ベクトルを保持することが求められる。その場合、特徴量基底行列W_(足音)や特徴量基底行列W_(ガラスの割れる音)は、膨大な列数の行列になる。そのため、特徴量基底行列Wを保持するためのメモリコストが膨大となる。以下で説明する本発明の実施形態の目的の1つは、目的信号に膨大なバリエーションが存在する場合であっても、必要なメモリコストを軽減しながら、目的信号が混在して収録された信号を目的音源の成分へ分離することである。
[第1の実施形態]
次に、本発明の第1の実施形態について、図面を参照して詳細に説明する。
<構成>
図1は、本実施形態に係る信号分離装置100の構成の例を表すブロック図である。信号分離装置100は、特徴抽出部101と、信号情報記憶部102と、分析部103と、結合部104と、受信部105と、出力部106と、一時記憶部107とを含む。
受信部105は、例えばセンサから、分離対象信号を受信する。分離対象信号は、センサによる計測の結果として得られたアナログ信号をAD変換することによって得られる信号である。分離対象信号は、少なくとも一つの目的信号源からの目的信号が含んでいればよい。分離対象信号は、単に、対象信号とも表記される。
特徴抽出部101は、分離対象信号を入力として受信し、受信した分離対象信号から特徴量を抽出する。特徴抽出部101は、分離対象信号から抽出した特徴量を分析部103に送出する。特徴抽出部101によって抽出される特徴量は、上述の特徴抽出部901によって抽出される特徴量と同じでよい。具体的には、分離対象信号が音響信号である場合、特徴抽出部101は、分離対象信号に短時間フーリエ変換を施すことによって得られる振幅スペクトルを、特徴量として抽出してもよい。特徴抽出部101は、分離対象信号にウェーブレット変換を施すことによって得られる対数周波数振幅スペクトルを、特徴量として抽出してもよい。
信号情報記憶部102は、目的信号の元となる要素がモデル化された信号素基底と、目的信号に対応する信号が得られるように信号素基底を組み合わせる組み合わせ方を示す、組み合わせ情報の初期値とを記憶する。信号素基底は、例えば、対象である目的信号から抽出された特徴量が張る空間の線形独立な部分集合である。対象である目的信号は、処理の対象である目的信号である。本実施形態では、対象である目的信号は、具体的には、分離の対象である目的信号である。他の実施形態では、対象である目的信号は、検出の対象である目的信号であってもよい。信号素基底は、対象である目的信号から抽出された全ての特徴量を線形結合によって表すことができる。信号素基底は、例えば、ベクトルによって表されていてもよい。その場合、組み合わせ情報は、例えば、信号素基底の各々の結合係数によって表されていてもよい。信号素基底については、後で詳細に説明する。信号情報記憶部102は、複数の目的信号についての信号素基底及び組み合わせ情報を、それぞれ、行列の形で記憶していてもよい。言い換えると、信号情報記憶部102は、複数の目的信号の元となる要素がモデル化された信号素基底を表す信号素基底行列を記憶していてもよい。信号情報記憶部102は、さらに、目的信号ごとの、目的信号に対応する信号が生成されるように信号素基底を組み合わせる組み合わせ方を表す組み合わせ行列の、初期値を記憶していてもよい。この場合、信号素基底行列及び組み合わせ行列は、信号素基底行列と組み合わせ行列とを掛けることによって、複数の目的信号の特徴量を表す行列が生成されるように設定されていればよい。
分析部103は、特徴抽出部101から送出された特徴量を受け取り、信号情報記憶部102から格納されている信号素基底と組み合わせ情報の初期値と(例えば、信号素基底行列と組み合わせ行列の初期値と)を読み出す。分析部103は、受け取った特徴量と、読み出した信号素基底と、組み合わせ情報とに基づいて、受け取った特徴量における、目的信号の寄与の大きさを表す重みを算出する。重みの算出方法については、後で詳細に説明する。分析部103は、まず、特徴量と、信号素基底と、組み合わせ情報の初期値とに基づいて、重みを算出すればよい。所定の条件が満たされていない場合、分析部103は、さらに、特徴量と、信号素基底と、算出された重みとに基づいて、組み合わせ情報を更新する。所定の条件は、例えば、組み合わせ情報の更新の回数であってもよい。分析部103は、例えば、組み合わせ情報の更新の回数が所定数に達した場合、所定の条件が満たされたと判定してもよい。所定の条件については、後で詳細に説明する。分析部103は、更新された組み合わせ情報を、一時記憶部107に格納してもよい。分析部103は、さらに、特徴量と、信号素基底と、更新された組み合わせ情報とに基づいて、重みを算出する。分析部103は、さらに重みを算出する際、一時記憶部107に格納されている、更新された組み合わせ情報を使用すればよい。分析部103は、所定の条件が満たされるまで、組み合わせ情報の更新と重みの算出とを繰り返せばよい。所定の条件が満たされた場合、分析部103は、算出された重みと、最新の組み合わせ情報とを、例えば結合部104に送出する。最新の組み合わせ情報は、所定の条件が満たされたときの組み合わせ情報である。分析部103は、例えば、算出された重みを表す重み行列と組み合わせ情報を表す組み合わせ行列とを生成し、生成した重み行列及び組み合わせ行列を送出してもよい。
本実施形態の説明及び他の実施形態の説明では、分析部103は、重みを算出した後に、所定の条件が満たされているか否かを判定する。所定の条件が満たされているか否かを判定するタイミングは、この例に限られない。分析部103は、重み行列を算出した後ではなく、組み合わせ情報を更新した後に、所定の条件が満たされているか否かを判定してもよい。分析部103は、重み行列を算出した後に加えて、組み合わせ情報を更新した後に、所定の条件が満たされているか否かを判定してもよい。分析部103は、所定の条件が満たされていない場合、重みの算出と組み合わせ情報の更新との繰り返しにおける、次の動作を行えばよい。分析部103は、所定の条件が満たされている場合、重みと組み合わせ情報とを、結合部104に送出すればよい。
結合部104は、分析部103から、例えば重み行列として送出された重みと組合せ行列として送出された組み合わせ情報とを受け取り、信号情報記憶部102に例えば信号素基底行列として格納されている信号素基底を読み出す。結合部104は、重みと、信号素基底及び組み合わせ情報とに基づいて、目的信号の分離信号を生成する。具体的には、結合部104は、例えば、信号素基底行列と組み合わせ行列とを元にして信号素基底を結合することによって得られる、目的信号源の特徴量の系列に基づいて、目的信号の分離信号を生成する。分離信号を生成する方法については、後で詳細に説明する。結合部104は、生成した分離信号を、出力部106に送出する。
出力部106は、生成された分離信号を受け取り、受け取った分離信号を出力する。
一時記憶部107は、分析部103によって更新された組み合わせ情報を記憶する。上述のように、組み合わせ情報は、例えば、上述の組み合わせ行列によって表される。なお、例えば、信号情報記憶部102が、一時記憶部107として動作してもよい。分析部103が、一時記憶部107として動作してもよい。
以下では、信号分離装置100による具体的な処理の例について詳細に説明する。
特徴抽出部101は、上述の特徴抽出部901と同様に、分離対象信号から特徴量を抽出し、抽出した特徴量を、例えば特徴量行列Yとして送出する。
信号情報記憶部102は、信号素基底行列Gと、組み合わせ行列Cの初期値とを記憶する。信号素基底行列Gは、複数の目的信号の元となる要素(信号素)の特徴量をモデル化した信号素基底を表す。組み合わせ行列Cは、複数の目的信号の各々について、目的信号に対応する信号が生成されるように、信号素基底行列Gに含まれる信号素基底を組み合わせる組み合わせ方を表わす。
分析部103は、特徴抽出部101によって送出された特徴量行列Yと組み合わせ行列Cとを入力として受け取り、信号情報記憶部102に格納されている信号素基底行列Gを読み出す。分析部103は、信号素基底行列Gと組み合わせ行列Cの初期値とを用いて、Y=GCHとなるように特徴量行列Yの分解を行うことによって、重み行列Hの算出を行う。所定の条件が満たされていない場合、分析部103は、以下で説明するように、信号素基底行列Gと、最新の組み合わせ行列Cと、算出した行列Hとを用いて、組み合わせ行列Cの更新を行う。分析部103は、例えば以下で説明するように、信号素基底行列Gと、更新された組み合わせ行列Cと、重み行列Hの算出を行う。その際、分析部103は、前に算出された行列Hをさらに用いて、行列Hの更新を行ってもよい。分析部103は、所定の条件が満たされるまで、行列Cの更新と、行列Hの算出とを繰り返す。所定の条件が満たされた場合、分析部103は、得られた行列Hと行列Cとを送出する。特徴量行列Yの分解については、後述の第3の実施形態の説明において詳述する。
ここで、行列Hは、特徴量行列Yにおける目的信号の各々の重みに対応する。言い換えると、行列Hは、特徴量行列Yにおける目的信号の各々の重みを表す重み行列である。
結合部104は、分析部103によって送出された重み行列Hと組み合わせ行列Cとを受け取り、信号情報記憶部102に格納されている、信号素基底行列Gを読み出す。結合部104は、受け取った重み行列H及び組み合わせ行列Cと、読み出した信号素基底行列Gとを用いて、目的音源ごとに目的信号の成分を結合することによって、目的音源ごとの目的信号の特徴量の系列を生成する。結合部104は、さらに、特徴量の系列に、信号から特徴量を抽出する変換の逆変換を適用することによって、分離対象信号から目的音源sからの目的信号の成分が分離された分離信号x_s(t)を生成する。結合部104は、生成した分離信号x_s(t)を出力部106に送出する。また、結合部104は、目的音源sの分離信号x_s(t)ではなく、特徴量行列Y_sを送出してもよい。また、結合部104は、すべてのsの(すなわち、信号素基底が格納されている全ての目的音源sの)分離信号x_s(t)を出力する必要はない。結合部104は、例えば、予め指定された目的音源の分離信号x_s(t)のみを出力してもよい。
<動作>
次に、本実施形態の信号分離装置100の動作について、図面を参照して詳細に説明する。
図2は、本実施形態の信号分離装置100の動作の例を表すフローチャートである。図2によると、まず、受信部105が、対象信号(すなわち、上述の検出対象信号)を受信する(ステップS101)。特徴抽出部101は、対象信号の特徴量を抽出する(ステップS102)。分析部103は、抽出された特徴量と、信号情報記憶部102に格納されている特徴量基底とに基づいて、対象信号における目的信号の重みを算出する(ステップS103)。対象信号における目的信号の重みは、例えば、対象信号に含まれる目的信号の成分の強度を表す。所定の条件が満たされていない場合(ステップS104においてNO)、分析部103は、所定の条件が満たされるまで、ステップS105とステップS103の動作を繰り返す。すなわち、分析部103は、信号素基底と目的信号の重みとに基づいて、組み合わせ情報を更新する(ステップS105)。そして、信号分離装置100は、ステップS103からの動作を行う。すなわち、分析部103は、信号素基底と、更新された組み合わせ情報とに基づいて、目的信号の重みを算出する(ステップS103)。
所定の条件が満たされている場合(ステップS104においてYES)、信号分離装置100は、次に、ステップS106の動作を行う。
結合部104は、特徴量基底と組み合わせ情報と重みとに基づいて、分離信号を生成する(ステップS106)。出力部106は、生成された分離信号を出力する(ステップS107)。
<効果>
非特許文献1などで用いられる目的信号のバリエーションのすべてを特徴量基底でモデル化する方法では、目的信号のバリエーションが多くなるにつれて特徴量基底行列が大きくなるので、膨大なメモリコストが必要である。本実施形態では、分離の対象であるすべての目的信号を表現するための、より細かい単位の基底である、信号素基底の組み合わせとして目的信号をモデル化する。そのため、目的信号のバリエーションは、基底の組み合わせ方法のバリエーションとして表現される。従って、バリエーションが増加する場合であっても、目的信号の特徴量基底そのものではなく、より低次元な組み合わせ行列のみを増やせばよい。本実施形態では、必要なメモリコストは、非特許文献1の技術において必要なメモリコストより低い。したがって、本実施形態では、目的信号の成分の特徴量がモデル化された基底に必要なメモリコストは低いので、必要なメモリコストを低減しながら信号を分解することができる。
[第2の実施形態]
次に本発明の第2の実施形態について、図面を参照して詳細に説明する。
<構成>
図3は、本実施形態の信号検出装置200の構成を表すブロック図である。図3によると、信号検出装置200は、特徴抽出部101と、信号情報記憶部102と、分析部103と、検出部204と、受信部105と、出力部106と、一時記憶部107とを含む。
本実施形態の特徴抽出部101、信号情報記憶部102、分析部103、受信部105、出力部106、及び一時記憶部107は、以下で説明する相違を除いて、それぞれ、第1の実施形態の、同じ名称及び符号が付与されている構成要素と同じである。受信部105は、検出対象信号を受信する。検出対象信号は、単に、対象信号とも表記される。検出対象信号は、第1の実施形態の分離対象信号と同じでよい。分析部103は、算出した重みを、例えば重み行列Hとして送出する。
検出部204は、分析部103から例えば重み行列Hとして送出された重みを入力として受け取る。検出部204は、受け取った重み行列Hに基づいて、検出対象信号に含まれている目的信号を検出する。重み行列Hの各列は、検出対象信号の特徴量行列Yのいずれかの時間フレームに含まれる各目的音源の重みに対応している。そのため、検出部204は、例えば、Hの各要素の値と閾値とを比較することによって、Yの各時間フレームにおいてどの目的信号源が存在するかを検出してもよい。例えば、Hの要素の値が閾値より大きい場合、検出部204は、その要素によって特定される検出対象信号の時間フレームに、その要素によって特定される目的音源からの目的信号が含まれると判定してもよい。Hの要素の値が閾値以下の場合、検出部204は、その要素によって特定される検出対象信号の時間フレームに、その要素によって特定される目的音源からの目的信号が含まれないと判定してもよい。検出部204は、Hの各要素の値を特徴量とした識別器を用いることによって、Yの各時間フレームにおいてどの目的信号源が存在するかを検出してもよい。識別器の学習モデルとして、例えば、SVM(Support Vector Machine)やGMM(Gaussian Mixture Model)などを適用することができる。識別器は、予め学習によって得られていればよい。検出部204は、検出結果として、例えば、各時間フレームに含まれる目的信号を特定するデータ値を送出してもよい。検出部204は、例えば、出力は、Yの各時間フレームに各目的信号源sからの目的信号が存在するか否かを異なる値(例えば、1と0)によって表わす、S行L列の行列Z(Sは目的信号源数、LはYの総時間フレーム数)を、検出結果として送出してもよい。また、行列Zの要素の値、すなわち、目的信号が存在するか否かを表す値は、目的信号が存在することの確からしさを示す連続値のスコア(たとえば、0以上、1以下の実数値をとるスコア)であってもよい。
出力部106は、検出結果を検出部204から受け取り、受け取った検出結果を出力する。
<動作>
次に、本実施形態の信号検出装置200の動作について、図面を参照して詳細に説明する。
図4は、本実施形態の信号検出装置200の動作の例を表すフローチャートである。図4に示すステップS101からステップS103までの動作は、図1に示す、第1の実施形態の信号分離装置100のステップS101からステップS105までの動作と同じである。
ステップS204において、検出部204は、算出された重みに基づいて、対象信号における目的信号を検出する(ステップS204)。すなわち、検出部204は、算出された重みに基づいて、対象信号に各目的信号が存在するか否かを判定する。検出部204は、対象信号に各目的信号が存在するか否かを表す検出結果を出力する(ステップS205)。
<効果>
非特許文献1などで用いられる目的信号のバリエーションのすべてを特徴量基底でモデル化する方法では、目的信号のバリエーションが多くなるにつれて特徴量基底行列が大きくなるので、膨大なメモリコストが必要である。本実施形態では、分離の対象であるすべての目的信号を表現するための、より細かい単位の基底である、信号素基底の組み合わせとして目的信号をモデル化する。そのため、目的信号のバリエーションは、基底の組み合わせ方法のバリエーションとして表現される。従って、バリエーションが増加する場合であっても、目的信号の特徴量基底そのものではなく、より低次元な組み合わせ行列のみを増やせばよい。本実施形態では、必要なメモリコストは、非特許文献1の技術において必要なメモリコストより低い。したがって、本実施形態では、目的信号の成分の特徴量がモデル化された基底に必要なメモリコストは低いので、必要なメモリコストを低減しながら信号を検出することができる。
[第3の実施形態]
次に本発明の第3の実施形態について、図面を参照して詳細に説明する。
<構成>
図5は、本実施形態に係る信号分離装置300の構成の例を表すブロック図である。図5によると、信号分離装置300は、特徴抽出部101と、信号情報記憶部102と、分析部103と、結合部104と、受信部105と、出力部106と、一時記憶部107とを含む。信号分離装置300は、更に、第2特徴抽出部301と、組み合わせ計算部302と、第2受信部303とを含む。信号分離装置300の特徴抽出部101、信号情報記憶部102、分析部103、結合部104、受信部105、出力部106、及び一時記憶部107は、第1の実施形態の信号分離装置100の、同じ名称及び番号が付与されている部と同様に動作する。
第2受信部303は、目的信号学習用信号を、例えばセンサから受信する。目的信号学習用信号は、含まれている目的信号の強度が既知である信号である。目的信号学習用データは、例えば、1つの時間フレームが1つの目的信号のみを含むように収録された信号であってもよい。
第2特徴抽出部301は、受信した目的信号源学習用信号を入力として受け取り、受け取った目的信号源学習用信号から特徴量を抽出する。目的信号源学習用信号から抽出された特徴量を、学習用特徴量とも表記する。第2特徴抽出部301は、生成した学習用特徴量を、学習用特徴量行列として、組み合わせ計算部302に送出する。
組み合わせ計算部302は、学習用特徴量から、信号素基底と組み合わせ情報とを算出する。具体的には、組み合わせ計算部302は、学習用特徴量を表す学習用特徴量行列から、信号素基底を表す信号素基底行列と、組み合わせ情報を表す組み合わせ行列とを計算する。その場合、組み合わせ計算部302は、例えば、ICA、PCA、NMF、又は、スパースコーディング等を用いて、学習用特徴量行列を、信号素基底行列と組み合わせ行列とに分解してもよい。学習用特徴量行列を、信号素基底行列と組み合わせ行列とに分解することによる、信号素基底及び組み合わせ情報の算出する方法の一例について、以下で詳細に説明する。組み合わせ計算部302は、導出した信号素基底と組み合わせ情報とを、例えば、信号素基底行列と組み合わせ行列として送出する。組み合わせ計算部302は、信号素基底行列と組み合わせ行列とを、信号情報記憶部102に格納すればよい。
以下では、信号分離装置300について、具体的に説明する。
以降の説明の例では、前提技術の説明と同様に、信号源が発生する信号の種類は音響信号である。
第2特徴抽出部301は、目的信号学習用信号を入力として受け取り、目的信号学習用信号から学習用特徴量を抽出する。第2特徴抽出部301は、学習用特徴量として、例えば、K行L_0列の学習用特徴量行列Y_0を、組み合わせ計算部302に送出する。Kは特徴量の次元数であり、L_0は入力した学習用信号の総時間フレーム数である。上述のように、音響信号の場合の特徴量として、短時間フーリエ変換を適用することによって得られる振幅スペクトルが用いられることが多い。本実施形態の第2特徴抽出部301は、例えば、目的信号学習用信号に短時間フーリエ変換を行うことによって得られる振幅スペクトルを、特徴量として抽出する。
目的信号学習用信号は、分離対象である目的信号の特徴を学習するための信号である。たとえば目的信号が「(a)ピアノ音、(b)話し声、(c)足音」の3種類である場合、目的信号学習用信号として、ピアノ音の信号、話し声の信号、及び、足音の信号が、順番に信号分離装置300に入力される。Y_0は、各目的信号源の信号から抽出した特徴量行列が時間フレーム方向に結合された行列である。目的信号学習用目的信号が前述の3種類の目的信号である場合、Y_0=[Y_a, Y_b, Y_c]となる。行列Y_aは、ピアノ音の信号から抽出された特徴量行列である。行列Y_bは、話し声の信号から抽出された特徴量行列である。行列Y_cは、足音の信号から抽出した特徴量行列である。以下では、ピアノ音を発生する信号源を、目的信号源aと表記する。話し声を発生する信号源を、目的信号源bと表記する。足音を発生する信号源を、目的信号源cと表記する。
組み合わせ計算部302は、第2特徴抽出部301から、学習用特徴量を受け取る。組み合わせ計算部302は、例えば、学習用特徴量行列Y_0を第2特徴抽出部301から受け取ればよい。組み合わせ計算部302は、受け取った学習用特徴量から、信号素基底と組み合わせ情報とを算出する。具体的には、組み合わせ計算部302は、以下で説明するように、K行L_0列の学習用特徴量行列Y_0を、Y_0 = GCH_0のように、信号素基底行列Gと、組み合わせ行列Cと、重み行列H_0とに分解すればよい。信号素基底行列Gは、K行F列(Kは特徴量次元数、Fは信号素基底数)の行列である。Fの値は予め決められていればよい。組み合わせ行列C は、F行Q列(Fは信号素基底数、Qは組み合わせ数)の行列である。重み行列H_0は、Q行L_0列(Qは組み合わせ数、L_0はY_0の時間フレーム数)の行列である。
ここで、行列Gは、F個のK次元の信号素基底が並んだ行列である。行列Cは、F個の信号素基底のQパターンの組み合わせを表わす行列であり、目的信号源ごとに設定される。たとえば、目的信号源a、目的信号源b、及び、目的信号源cをモデル化するとする。目的信号源a、目的信号源b、及び、目的信号源cのバリエーション数を、それぞれ、q(a)、q(b)、q(c)とすると、Q=q(a)+q(b)+q(c)である。(これは、前提技術の説明に記載した基底数R=n(1)+n(2)+…+n(S)と対応する。)行列Cは、C=[C_a,C_b,C_c]と表される。ここで、例えば、行列C_aは、F行q(a)列の行列であり、目的信号源aのバリエーションをF個の信号素基底のq(a)とおりの組み合わせ方で表す行列である。行列C_bは、F行q(b)列の行列であり、目的信号源bのバリエーションをF個の信号素基底のq(b)とおりの組み合わせ方で表す行列である。行列C_cは、F行q(c)列の行列であり、目的信号源cのバリエーションをF個の信号素基底のq(c)とおりの組み合わせ方で表す行列である。H_0は、Y_0の各時間フレームにおける、Y_0に含まれる各目的信号成分の重みを表す。行列H_0は、行列C_a、C_b、C_cとの関連を考えると、
Figure 2019077723
と表される。なお、H0、H0a、H0b、及び、H0cは、それぞれ、行列H_0、H_0a、H_0b、及び、H_0cを表す。行列H_0a、H_0b、及び、H_0cは、それぞれ、q(a)行L_0列の行列、q(b)行L_0列の行列、及び、q(c)行L_0列の行列である。ここで、Y_0は、複数の目的信号からそれぞれ抽出された特徴量行列を結合することによって得られる学習用特徴量行列である。H_0によって表される各時間フレームにおける各目的信号の重みの値(すなわち、行列H_0の各要素の値)は既知である。
目的信号の重みの値は、例えば重み行列の形で、目的信号学習用信号に加えて、信号分離装置300に入力されてもよい。第2受信部303が、目的信号の重みの値を受け取り、受け取った、目的信号の重みの値を、第2特徴抽出部301を介して、組み合わせ計算部302に送出してもよい。時間フレームごとに、目的信号学習用信号として入力されている信号の信号源を特定する情報が、目的信号学習用信号と共に第2受信部303に入力されてもよい。第2受信部303は、信号源を特定する情報を受け取り、受け取った信号源を特定する情報を、第2特徴抽出部301に送出してもよい。第2特徴抽出部301は、受け取った信号源を特定する情報に基づいて、例えば重み行列によって表される、目的信号源ごとの重みを生成してもよい。目的信号の重みの値は、予め信号分離装置300に入力されていてもよい。例えば組み合わせ計算部302が、目的信号の重みの値を保持していてもよい。そして、予め保持されている目的信号の重みの値に従って生成された、目的信号学習用信号が、信号分離装置300の第2受信部303に入力されてもよい。
以上のように、組み合わせ計算部302は、各時間フレームにおける各目的信号の重みの値を表す行列H_0を保持している。従って、組み合わせ計算部302は、行列Y_0と行列H_0の値に基づいて、行列Gと行列Cとを計算すればよい。行列Gと行列Cの算出方法として、例えば、Y_0とGCH_0との間の一般化KL-divergence基準のコスト関数D_kl(Y_0, GCH_0)を用いた非負値行列因子分解(NMF)を適用できる。以下で説明する例では、組み合わせ計算部302は、上述のNMFによって、以下のように行列G及び行列Cを算出する。組み合わせ計算部302は、コスト関数D_kl(Y_0, GCH_0)を最小にするように行列G、及び、行列Cを同時に最適化するパラメータ更新を行う。組み合わせ計算部302は、たとえばランダム値をG、Cの各要素の初期値として設定する。組み合わせ計算部302は、以下の行列G及び行列Cに対する更新式
Figure 2019077723
に従った計算を、所定の繰り返し回数、又は、コスト関数が所定の値以下となるまで繰り返す。具体的には、組み合わせ計算部302は、行列Gに対する更新式に従った行列Gの更新と、行列Cに対する更新式に従った行列Cの更新とを、くりかえし交互に行うことによって、行列Gと行列Cを算出する。ここで、上式の丸によって表されている演算子○は、行列の要素ごとの掛け算である。行列の分数は、行列の要素ごとの除算、すなわち、行列の要素ごとに、分子の行列の要素の値を分母の行列の要素の値によって割ることを表わす。また、Y0は、行列Y_0を表す。数1における行列1は、Y_0と同じサイズですべての要素の値が1である行列を表わす。得られた行列Gは、計算に使用された目的信号すべての元となる要素がモデル化された信号素基底を表す。得られた行列Cは、上述の組み合わせ情報を表す行列である。言い換えると、行列Cは、複数の目的信号の各々について、目的信号に対応する信号が生成されるように、行列Gの基底を組み合わせる組み合わせ方を表わす。組み合わせ計算部302は、得られた行列Gと行列Cとを、信号情報記憶部102に格納する。
本実施形態の特徴抽出部101は、第1の実施形態の特徴抽出部101と同様に、分離対象信号x(t)を入力として受け取り、受け取った分離対象信号から特徴量を抽出する。特徴抽出部101は、例えば、抽出した特徴量を表すK行L列の特徴量行列Yを、分析部103に送出する。
本実施形態の分析部103は、例えば、特徴抽出部101が送出した特徴量行列Yを受け取り、加えて、信号情報記憶部102に格納されている行列G、行列Cを読み出す。分析部103は、信号情報記憶部102から読み出した行列C(すなわち、行列Cの初期値)を、一時記憶部107に格納する。分析部103は、受け取った行列Yと、信号情報記憶部102から読み出した行列Gと、一時記憶部107に格納されている行列Cとを使用して、Y≒GCHとなるように行列Hの計算を行う。
分析部103は、さらに、所定の条件が満たされているか判定する。所定の条件が満たされていない場合、分析部103は、計算した行列Hを用いて、行列Cの更新を行う。分析部103は、更新した行列Cを、一時記憶部107に格納する。分析部103は、所定の条件が満たされるまで、行列Hの計算と、行列Cの更新とを繰り返してもよい。所定の条件は、例えば、行列Hの計算と、行列Cの更新との繰り返しの回数が、所定数に到達することであってもよい。すなわち、分析部103は、行列Hの計算と、行列Cの更新との繰り返しの回数が所定数に到達するまで、行列Hの計算と、行列Cの更新とを行ってもよい。所定の条件は、例えば以下に示すコスト関数の値が、所定の閾値以下になることであってもよい。すなわち、分析部103は、コスト関数の値が所定の閾値以下になるまで、行列Hの計算と、行列Cの更新とを繰り返してもよい。分析部103は、例えば、行列Hの計算及び行列Cの更新の繰り返しの回数が所定数に到達すること、及び、コスト関数の値が所定の閾値以下になること、の少なくともいずれか一方の条件が成立するまで、行列Hの計算と、行列Cの更新とを行ってもよい。所定の条件は、以上の例に限られない。所定の条件が満たされた場合、分析部103は、計算した行列Hと、行列Cとを結合部104に送出する。
コスト関数は、例えば、行列Yと行列CGHとの間の類似度D(Y, GCH)に、行列Cの補正のための制約項F(C)を加えたコスト関数D(Y, GCH)+μF(C)であってもよい。このコスト関数におけるμは、制約項の強さを表すパラメータである。この場合、分析部103は、コスト関数D(Y, GCH)+μF(C)を最小化するように、行列Hの計算と行列Cの更新とを行えばよい。類似度D(Y, GCH)として、YとGCH_0との間の一般化KL-divergence基準の類似度D_kl(Y, GCH)を用いることができる。また、コスト関数F(C)に、C0とCとの間の一般化KL-divergence基準の類似度D_kl(C0, C)を用いることができる。この場合、行列Hの更新式は、
Figure 2019077723
である。数3において、右辺の行列Hは、更新前の行列Hであり、左辺の行列Hは、更新後の行列Hである。また、行列Cの更新式は、
Figure 2019077723
である。数4において、行列C0は、信号情報記憶部102に格納されている、更新前の行列C、すなわち、行列Cの初期値を表す。また、右辺の行列Cは、更新前の行列Cであり、左辺の行列Cは、更新後の行列Cである。数4におけるμは、スカラーであってもよい。μは、行列Cと同じサイズの行列であってもよい。その場合、行列μの各要素の値は、同じ値でなくてよい。また、数4におけるμC0/Cは、行列μと行列C0/Cとの要素ごとの掛け算であればよい。第1の行列と第2の行列の要素ごとの掛け算は、例えば、各i及び各jについて、第1の行列のi行j列の要素と、第2の行列のi行j列の要素との積を、i行j列の要素として含む行列を生成することである。
所定の条件が満たされていない場合(例えば、コスト関数D(Y, GCH)+μF(C)の値が所定値以上である場合)、分析部103は、行列Cを更新する。具体的には、分析部103は、信号情報記憶部102から読み出された、行列G及び行列Cの初期値C0と、一時記憶部107に格納されている最新の行列Cと、計算された行列Hとを使用して、数4に従って、行列Cを更新する。分析部103は、更新した行列Cを、一時記憶部107に格納する。
分析部103は、信号情報記憶部102に格納されている行列Gと、一時記憶部107に格納されている、更新された行列Cと、前に計算された行列Hとを使用して、数3に従って、行列Hを算出する。分析部103は、所定の条件が満たされているか否か(例えば、コスト関数D(Y, GCH)+μF(C)の値が所定値より小さいか否か)を判定する。所定の条件が満たされていない場合、分析部103は、行列Cの更新と行列Hの算出とを繰り返す。所定の条件が満たされた場合、分析部103は、得られた行列Hと行列Cとを、結合部104に送出する。
結合部104は、分析部103から送出された重み行列Hと、組み合わせ行列Cとを受け取り、信号情報記憶部102に格納されている信号素基底行列Gを読み出す。結合部104は、重み行列Hと、行列Gと、行列Cとを用いて、対象信号(すなわち、本実施形態では分離対象信号)に含まれる、目的音源から発生した信号の成分である分離信号を算出する。結合部104は、目的音源ごとに、組み合わせ方法に従って信号素基底を結合することによって、目的音源sごとの分離信号x_s(t)を生成し、生成した分離信号x_s(t)を出力部106に送出する。たとえば、行列Cの中の目的音源sに関連する組み合わせC_sと、行列H中の、C_sに対応する重みを表す行列H_sとを用いた式Y_s=G・C_s・H_sによって表される行列Y_sは、入力信号x(t)中における目的音源sが発生した信号の成分であると考えられる。そのため、入力信号x(t)に含まれる目的音源sの成分x_s(t)は、Y_sに対して、特徴抽出部101が特徴量行列Yを算出するために用いた特徴量変換の逆変換(例えば、短時間フーリエ変換の場合の、逆フーリエ変換)を行うことによって得られる。
<動作>
次に、本実施形態の信号分離装置300の動作について、図面を参照して詳細に説明する。
図6は、本実施形態の信号分離装置300の、目的信号の学習の動作の例を表すフローチャートである。
図6によると、まず、第2受信部303が、目的信号学習用信号を受信する(ステップS301)。次に、第2特徴抽出部301が、目的信号学習用信号の特徴量を抽出する(ステップS302)。第2特徴抽出部301は、抽出した特徴量を、例えば特徴量行列の形で、組み合わせ計算部302に送出してもよい。組み合わせ計算部302は、抽出された特徴量と、予め得られている目的信号の重みの値とに基づいて、信号素基底と組み合わせ情報とを算出する(ステップS303)。組み合わせ計算部302は、例えば、上述のように、特徴量行列と、重みの値を表す重み行列とに基づいて、信号素基底を表す信号素基底行列と、組み合わせ情報を表す組み合わせ行列とを算出すればよい。組み合わせ計算部302は、信号素基底と組み合わせ情報とを、信号情報記憶部102に格納する(ステップS304)。組み合わせ計算部302は、例えば、信号素基底を表す信号素行列と、組み合わせ情報を表す組み合わせ行列とを、信号情報記憶部102に格納すればよい。
次に、本実施形態の信号分離装置300の、目的信号を分離する動作について説明する。
図2は、本実施形態の信号分離装置300の、目的信号を分離する動作を表すフローチャートである。本実施形態の信号分離装置300の、目的信号を分離する動作は、第1の実施形態の信号分離装置100の、目的信号を分離する動作と同じである。
<効果>
本実施形態には、第1の効果として、第1の実施形態の効果と同じ効果がある。その理由は、第1の実施形態の効果が生じる理由と同じである。
上述のように、非特許文献1などで用いられる目的信号のバリエーションのすべてを特徴量基底でモデル化する方法では、目的信号のバリエーションが多くなるにつれて特徴量基底行列が大きくなるので、膨大なメモリコストが必要である。本実施形態では、分離の対象であるすべての目的信号を表現するための、より細かい単位の基底である、信号素基底の組み合わせとして目的信号をモデル化する。そのため、目的信号のバリエーションは、基底の組み合わせ方法のバリエーションとして表現される。従って、バリエーションが増加する場合であっても、目的信号の特徴量基底そのものではなく、より低次元な組み合わせ行列のみを増やせばよい。本実施形態では、必要な文献1の技術において必要なメモリコストより低いメモリコストが必要である。
たとえば、前提技術では、目的信号のバリエーションをそのまま特徴量基底として保持しなければならない。そのため、目的信号源の10000個のバリエーションを特徴量数K=1000の基底によりモデル化する場合、保持しなければならない情報は、例えば、10000000の要素をもつ1000行10000列の特徴量基底行列に対応する数の基底を持つ行列となる。しかし、本実施形態では、目的信号源のバリエーションは組み合わせ行列によって表される。そのため、例えば特徴量次元数K=1000、組み合わせ数Q=10000の条件において、たとえば信号素基底数をF=100とすると、組み合わせ計算部302によって算出され信号情報記憶部102に格納される行列Gと行列Cの要素数は、それぞれ、K*F=100000とF*Q=1000000となる。本実施形態では、保持される要素の数は1100000であり、前提技術において保持する必要がある要素の数の9分の1である。したがって、本実施形態には、第2の効果として、低いメモリコストで各目的信号の成分の特徴量がモデル化された基底を保持するのに必要なメモリコストを低減しながら、基底等を生成できるという効果がある。
[第4の実施形態]
次に本発明の第4の実施形態に係る信号検出装置について、図面を用いて詳細に説明する。
<構成>
図7は、本実施形態に係る信号検出装置400の構成の例を表すブロック図である。図7によると、信号検出装置400は、特徴抽出部101と、信号情報記憶部102と、分析部103と、受信部105と、検出部204と、出力部106と、一時記憶部107と、第2特徴抽出部301と、組み合わせ計算部302と、第2受信部303とを含む。図5に示す第3の実施形態の信号分離装置300と比較すると、信号検出装置400は、結合部104の代わりに、検出部204を含む。本実施形態の特徴抽出部101、信号情報記憶部102、分析部103、受信部105、検出部204、出力部106、及び一時記憶部107は、第2の実施形態の同じ名称及び符号が付与されている部と同じである。本実施形態の第2特徴抽出部301、組み合わせ計算部302、及び、第2受信部303は、第3の実施形態の同じ名称及び符号が付与されている部と同じである。
以下、検出部204について、具体的に説明する。
検出部204は、分析部103によって送出された、目的信号の重みを表す重み行列Hを入力として受け取る。検出部204は、重み行列Hに基づいて、検出対象信号に含まれている目的信号を検出する。重み行列Hの各列は、検出対象信号の特徴量行列Yのいずれかの時間フレームに含まれる目的音源の重みを表す。そのため、検出部204は、行列Hの各要素の値に閾値処理を行うことによって、Yの各時間フレームに成分として含まれる目的信号を検出してもよい。具体的には、検出部204は、例えば、行列Hの要素の値が、所定の閾値より大きい場合、その要素を含む列が示す時間フレームに、その要素に関連する目的信号が含まれると判定すればよい。検出部204は、例えば、行列Hの要素の値が、所定の閾値以下である場合、その要素を含む列が示す時間フレームに、その要素に関連する目的信号が含まれないと判定すればよい。すなわち、検出部204は、例えば、閾値より大きい値を持つ、行列Hの要素を検出し、検出した要素を含む劣が示す時間フレームに含まれる目的信号として、その要素に関連する目的信号を検出すればよい。
検出部204は、行列Hの各要素の値を特徴量とした識別器を用いることによって、Yの各時間フレームに含まれる目的信号を検出してもよい。識別器は、例えば、SVMやGMMなどによって学習された識別器であってもよい。検出部204は、目的信号の検出の結果として、各要素が、Yの時間フレームにおける目的信号源sの存在又は不在を、1又は0によって表わすS行L列の行列Z(Sは目的信号源数、LはYの総時間フレーム数)を、出力部106に送出してもよい。また、目的信号の存在又は不在を表す、行列Zの要素の値は、連続値のスコア(たとえば0から1の間に含まれる実数値)であってもよい。
<動作>
次に、本実施形態の信号検出装置400の動作について、図面を参照して詳細に説明する。
図4は、本実施形態の信号検出装置400の、目的信号を検出する動作の例を表すフローチャートである。信号検出装置400の目的信号を検出する動作は、図4に示す、第2の実施形態の信号検出装置200の動作と同じである。
図6は、本実施形態の信号検出装置400の、目的信号の学習を行う動作の例を表すフローチャートである。本実施形態の信号検出装置400の学習を行う動作は、図6に示す、第3の実施形態の信号分離装置300の、学習を行う動作と同じである。
<効果>
本実施形態には、第1の効果として、第2の実施形態の効果と同じ効果がある。その理由は、第2の実施形態の効果が生じる理由と同じである。本実施形態には、第2の効果として、第3の実施形態の第2の効果と同じ効果がある。その効果が生じる理由は、第3の実施形態の第2の効果が生じる理由と同じである。
[第5の実施形態]
次に、本発明の第5の実施形態に係る信号分離装置について、図面を用いて詳細に説明する。
<構成>
図8は、本実施形態の信号分離装置500の構成の例を表すブロック図である。信号分離装置500は、第1の実施形態の信号分離装置100と同様に、特徴抽出部101と、信号情報記憶部102と、分析部103と、結合部104と、受信部105と、出力部106と、一時記憶部107とを含む。本実施形態の特徴抽出部101、信号情報記憶部102、分析部103、結合部104、受信部105、出力部106、及び、一時記憶部107は、第1の実施形態の信号分離装置100の、同じ名称と符号が付与されている部と同じである。信号分離装置500は、さらに、第3の実施形態の信号分離装置300と同様に、第2特徴抽出部301と、組み合わせ計算部302と、第2受信部303とを含む。本実施形態の第2特徴抽出部301、組み合わせ計算部302、及び、第2受信部303は、以下で説明する相違を除いて、第3の実施形態の信号分離装置300の、同じ名称と符号が付与されている部と同じである。信号分離装置500は、さらに、第3特徴抽出部501と、基底抽出部502と、基底記憶部503と、第3受信部504とを含む。
第3受信部504は、基底学習用信号を受信し、受信した基底学習用信号を、第3特徴抽出部501に送出する。基底学習用信号については、後で詳細に説明する。
第3特徴抽出部501は、基底学習用信号を入力として受け取り、受信した基底学習用信号から特徴量を抽出する。第3特徴抽出部501は、抽出した特徴量を、例えば行列の形で、基底学習用特徴量行列として、基底抽出部502に送出する。
基底抽出部502は、第3特徴抽出部501から特徴量を受け取り、受け取った特徴量から、信号素基底を抽出する。具体的には、基底抽出部502は、第3特徴抽出部501から受け取った基底学習用特徴量行列から信号素基底行列を抽出する。基底抽出部502は、抽出した信号素基底行列を、基底記憶部503に格納する。
基底記憶部503は、基底抽出部502によって抽出された信号素基底を記憶する。具体的には、基底記憶部503は、基底抽出部502によって送出された信号素基底行列を記憶する。
組み合わせ計算部302は、第2特徴抽出部301によって抽出された特徴量と、基底記憶部503に格納されている信号素基底と、目的信号の重みとに基づいて、組み合わせ情報を計算する。具体的には、組み合わせ計算部302は、第2特徴抽出部301から受け取った特徴量行列と、基底記憶部503に格納されている信号素基底行列と、予め与えられている重み行列とから、組み合わせ行列を計算する。本実施形態の組み合わせ計算部302は、第3の実施形態の組み合わせ計算部302による組み合わせ行列の計算方法と同じ方法によって、組み合わせ行列を計算すればよい。
第3特徴抽出部501は、基底学習用信号を入力として受け取り、受け取った基底学習用信号の特徴量を抽出し、抽出した特徴量を基底抽出部502に送出する。第3特徴抽出部501は、抽出した、基底学習用信号の特徴量を表す、K行L_g列の基底学習用特徴量行列Y_gを、基底抽出部502に送出すればよい。 Kは特徴量の次元数であり、L_gは入力した基底学習用信号の時間フレームの総数である。上述のように、受信する信号が音響信号である場合、信号の特徴量として、その信号に短時間フーリエ変換を適用することによって得られる振幅スペクトルが用いられることが多い。基底学習用信号は、分離信号として分離される対象である目的信号を表すのに使用される基底を学習するための信号である。基底学習用信号は、例えば、分離信号として分離される対象であるすべての目的信号源からの信号を成分として含む信号であればよい。基底学習用信号は、たとえば複数の目的信号源のそれぞれからの信号を、時間的につなぎ合わせた信号であってもよい。
行列Y_gは、時間フレームごとに含まれる目的信号が定まっていなくてよい。行列Y_gは、分離の対象であるすべての目的信号を成分として含んでいればよい。また、行列Y_gの各時間フレームにおける目的信号の成分の重み(例えば、上述の重み行列)は得られていなくてよい。
基底抽出部502は、第3特徴抽出部501によって、例えば基底学習用特徴量行列Y_gとして送出された特徴量を入力として受け取る。基底抽出部502は、受け取った特徴量から、信号素基底と重みとを算出する。具体的には、基底抽出部502は、受け取った基底学習用特徴量行列Y_gを、K行F列の行列(Kは特徴量次元数、Fは信号素基底数)である信号素基底行列Gと、F行L_g列の行列(L_gは行列Y_gの時間フレーム数)の重み行列H_gに分解する。Fは予め適宜定められていてもよい。行列Y_gの行列G及び行列H_gへの分解を表す式は、Y_g = GH_gと表される。
ここで、行列Gは、F個のK次元特徴量基底が並んだ行列である。行列H_gは、行列Y_gの各時間フレームにおけるGの各信号素基底に関する重みを表わす行列である。行列Gと行列H_gの算出方法として、Y_gとGH_gとの間の一般化KL-divergence基準のコスト関数D_kl(Y_g, GH_g)を用いた非負値行列因子分解(NMF)を適用することができる。以下では、このNMFを使用する例を説明する。NMFを行う基底抽出部502は、コスト関数D_kl(Y_g, GH_g)を最小にする行列G、及び、行列H_gを同時に最適化するようにパラメータ更新を行う。基底抽出部502は、たとえばランダム値を行列G及び行列H_gの各要素の初期値として設定する。基底抽出部502は、以下の行列G、及び、行列H_gに対する更新式、
Figure 2019077723
に従った行列G及び行列H_gの更新を、所定の繰り返し回数、又は、コスト関数が所定の値以下となるまで繰り返す。上式の○は、行列の要素ごとの掛け算を表し、行列の分数は、行列の要素ごとの除算を表わす。Yg及びHgは、それぞれ、行列Y_g及びH_gを表す。基底抽出部502は、行列Gと行列H_gとを、くりかえし交互に更新することによって、行列Gと行列H_gを得る。得られた信号素基底行列Gは、分離の対象であるすべての目的信号の成分を含むY_gをうまく表すことができる、つまり、信号素基底行列Gは、分離の対象であるすべての目的信号の成分と基となる基底である。基底抽出部502は、得られた行列Gを、基底記憶部503に格納する。
組み合わせ計算部302は、第2特徴抽出部301によって送出された目的信号学習用信号の特徴量を受け取る。具体的には、組み合わせ計算部302は、学習用特徴量行列Y_0を受け取る。組み合わせ計算部302は、基底記憶部503に格納されている信号素基底を読み出す。具体的には、組み合わせ計算部302は、基底記憶部503に格納されている信号素基底行列Gを読み出す。組み合わせ計算部302は、特徴量と信号素基底と重みとに基づいて、組み合わせ情報を算出する。具体的には、組み合わせ計算部302は、行列Y_0をY_0 = GCH_0のように分解する場合、すなわち、K行L_0列の学習用特徴量行列Y_0を、信号素基底行列Gと、組み合わせ行列Cと、重み行列H_0とに分解する場合の、組み合わせ行列Cを算出する。信号素基底行列G は、K行F列の行列(Kは特徴量次元数、Fは信号素基底数)である。組み合わせ行列Cは、F行Q列(Fは信号素基底数、Qは組み合わせ数)の行列である。重み行列H_0は、Q行L_0列(Qは組み合わせ数、L_0はY_0の時間フレーム数)の行列である。組み合わせ行列Cの算出方法については、以下で詳細に説明する。
ここで、行列 Cは、それぞれF個の信号素基底を結合する、Qパターンの組み合わせを表わす行列である。組み合わせは、目的信号ごとに定まる。第3の実施形態と同様に、行列H_0は、既知である。言い換えると、第3の実施形態の組み合わせ計算部302と同様に、本実施形態の組み合わせ計算部302は、目的信号学習用信号における目的信号の重みを、例えば行列H_0として保持している。また、組み合わせ計算部302は、信号素基底行列Gを基底記憶部503から読み出す。上述のように、第3の実施形態の組み合わせ計算部302は、信号素基底行列G、及び、組み合わせ行列Cを計算する。本実施形態の組み合わせ計算部302は、組み合わせ行列Cを計算する。組み合わせ行列Cの算出方法として、 Y_0とGCH_0との間の一般化KL-divergence基準のコスト関数D_kl(Y_0, GCH_0)を用いた非負値行列因子分解(NMF)を適用できる。以下では、上述のNMFに基づく組み合わせ行列Cの算出方法の例を説明する。組み合わせ計算部302は、ランダム値を、行列Cの各要素の初期値として設定する。組み合わせ計算部302は、以下の行列Cに対する更新式、
Figure 2019077723
に従った計算を、所定の繰り返し回数、又は、コスト関数が所定の値以下となるまで繰り返すことによって、行列Cを計算する。ここで、上式の○によって表される演算子は、行列の要素ごとの掛け算を表し、行列の分数は、行列の要素ごとの除算を表わす。また行列1は、Y_0と同じサイズですべての要素の値が1である行列を表わす。得られた組み合わせ行列Cは、基底記憶部503に格納されている、信号素基底行列Gによって表される信号素基底を、目的信号に対応する信号が得られるように結合する組み合わせを表す、組み合わせ情報を表す。組み合わせ計算部302は、得られた組み合わせ行列Cと、基底記憶部503から読み出した信号素基底行列Gとを、信号情報記憶部102に格納する。
<動作>
次に、本実施形態の信号分離装置500の動作について、図面を参照して詳細に説明する。
図2は、本実施形態の信号分離装置500の、信号を分離する動作を表すフローチャートである。本実施形態の信号分離装置500の信号を分離する動作は、第1の実施形態の信号分離装置100の信号を分離する動作と同じである。
図6は、本実施形態の信号分離装置500の、目的信号の学習の動作を表すフローチャートである。本実施形態の信号分離装置500の、目的信号の学習の動作は、第3の実施形態の信号分離装置300の、目的信号の学習の動作と同じである。
図9は、本実施形態の信号分離装置500の、基底の学習の動作を表すフローチャートである。
図9によると、まず、第3受信部504が、基底学習用信号を受信する(ステップS501)。次に、第3特徴抽出部501が、基底学習用信号の特徴量を抽出する(ステップS502)。第3特徴抽出部501は、抽出した特徴量を表す特徴量行列(すなわち、基底学習用特徴量行列)を生成すればよい。次に、基底抽出部502が、抽出された特徴量から、信号素基底を抽出する(ステップS503)。基底抽出部502は、上述のように、信号素基底を表す信号素基底行列を計算すればよい。次に、基底抽出部502は、例えば信号素基底行列によって表されている、抽出した信号素基底を、基底記憶部503に格納する(ステップS504)。
<効果>
本実施形態には、第3の実施形態の第1の効果及び第2の効果と同じ効果がある。その理由は、第3の実施形態のそれらの効果が生じる理由と同様である。
本実施形態には、第3の効果として、信号素基底及び組み合わせ情報の抽出の精度を向上することができるという効果がある。
本実施形態の基底抽出部502は、信号素基底行列Gによって表される信号素基底をまず算出する。組み合わせ計算部302は、算出された信号素基底行列Gを用いて、組み合わせ情報を表す組み合わせ行列Cを算出する。そのため、一般に精度よく解を算出することが容易ではない問題である、2つの行列(例えば行列G及び行列C)の同時最適化問題の解の算出を行わずに済む。従って、本実施形態の信号分離装置500は、行列Gと行列Cとを、すなわち、信号素基底と組み合わせ情報とを、精度よく抽出できる。
すなわち、本実施形態によれば、信号素基底と組み合わせ情報とを精度よく抽出することができる。
[第6の実施形態]
次に本発明の第6の実施形態に係る信号検出装置について、図面を用いて詳細に説明する。
<構成>
図10は、本実施形態の信号検出装置600の構成を表す図である。図10によると、本実施形態の信号検出装置600は、特徴抽出部101と、信号情報記憶部102と、分析部103と、受信部105と、出力部106と、一時記憶部107と、検出部204とを含む。本実施形態の特徴抽出部101、信号情報記憶部102、分析部103、受信部105、出力部106、一時記憶部107、及び、検出部204は、第2の実施形態の、同じ名称と符号が付与されている部と同じである。信号検出装置600は、さらに、第2特徴抽出部301と、組み合わせ計算部302と、第2受信部303とを含む。本実施形態の第2特徴抽出部301、組み合わせ計算部302、第2受信部303は、第3の実施形態の、同じ名所と符号が付与されている部と同じである。信号検出装置600は、さらに、第3特徴抽出部501と、基底抽出部502と、基底記憶部503と、第3受信部504とを含む。本実施形態の第3特徴抽出部501、基底抽出部502、基底記憶部503、第3受信部504は、第5の実施形態の、同じ名称と符号が付与されている部と同じである。
<動作>
次に、本実施形態の信号検出装置600の動作について、図面を参照して詳細に説明する
図4は、本実施形態の信号検出装置600の、目的信号を検出する動作を表すフローチャートである。本実施形態の信号検出装置600、目的信号を検出する動作は、第2の実施形態の信号検出装置200の、目的信号を検出する動作と同じである。
図6は、本実施形態の信号検出装置600の、目的信号の学習の動作を表すフローチャートである。本実施形態の信号検出装置600の、目的信号の学習の動作は、第3の実施形態の信号分離装置300の、目的信号の学習の動作と同じである。
図9は、本実施形態の信号検出装置600の、基底の学習の動作を表すフローチャートである。本実施形態の信号検出装置600の、基底の学習の動作は、第5の実施形態の信号分離装置500の、基底の学習の動作と同じである。
<効果>
本実施形態には、第4の実施形態の第1の効果及び第2の効果と同じ効果がある。その理由は、第4の実施形態の第1の効果及び第2の効果が生じる理由と同じである。
本実施形態には、さらに、第5の実施形態の第3の効果と同じ効果がある。その理由は、第5の実施形態の第3の効果が生じる理由と同じである。
[第7の実施形態]
次に、本発明の第7の実施形態について、図面を参照して詳細に説明する。
<構成>
図11は、本実施形態の信号処理装置700の構成の例を表すブロック図である。
図11によると、信号処理装置700は、特徴抽出部101と、分析部103と、処理部704と、出力部106と、を備える。
特徴抽出部101は、対象信号からその対象信号の特徴を表す特徴量を抽出する。分析部103は、抽出された特徴量と複数の種類の目的信号を線形結合によって表す信号素基底とその線形結合の情報とに基づいて、対象信号に含まれる前記複数の目的信号の各々の強さを表す重みの計算を行う。分析部103は、重みの計算と、特徴量と信号素基底と計算された重みとに基づく線形結合の情報の更新とを、所定の条件が満たされるまで繰り返す。線形結合の情報は、上述の組み合わせ情報である。処理部704は、その重みに基づいて、対象信号に含まれ、少なくとも1種類の目的信号である対象目的信号の情報を導出する。出力部106は、対象目的信号の情報を出力する。
処理部704は、例えば、第1、第3、第5の実施形態に係る信号分離装置に含まれる、結合部104であってもよい。その場合、対象目的信号の情報は、対象目的信号の分離信号である。処理部704は、例えば、第2、第4、第6の実施形態に係る信号分離装置に含まれる、検出部204であってもよい。その場合、対象目的信号の情報は、例えば、対象信号の各時間フレームに対象目的信号が含まれているか否かを示す情報である。対象目的信号の情報は、例えば、対象信号の各時間フレームに含まれている対象目的信号を示す情報であってもよい。
<動作>
図12は、本実施形態の信号処理装置700の動作の例を表すフローチャートである。図12によると、特徴抽出部101は、対象信号の特徴量を抽出する(ステップS701)。次に、分析部103は、抽出された特徴量と、信号素基底と、信号素基底の線形結合の情報とに基づいて、対象信号における目的信号の強さを表す重みを算出する(ステップS702)。ステップS702において、分析部103は、第1、第2、第3、第4、第5、及び、第6の実施形態の分析部103と同様に、重みを算出すればよい。分析部103は、所定の条件が満たされているか否かを判定する(ステップS703)。所定の条件が満たされていない場合(ステップS703においてNO)、分析部103は、抽出された特徴量と信号素基底と計算された重みとに基づいて、線形結合の情報を更新する(ステップS704)。そして、信号処理装置700の動作は、ステップS702の動作に戻る。所定の条件が満たされている場合(ステップS703においてYES)、処理部704は、計算された重みに基づいて、対象目的信号の情報を導出する(ステップS705)。ステップS705において、処理部704は、第1、第3、第5の実施形態の結合部104と同様に動作し、対象目的信号の情報として、対象目的信号の成分の分離信号を導出してもよい。ステップS705において、処理部703は、第2、第4、第5の実施形態の検出部204と同様に動作し、対象目的信号の情報として、対象信号に対象目的信号が含まれているか否かを示す情報を導出してもよい。出力部106は、導出された、対象目的信号の情報を出力する(ステップS706)。
<効果>
本実施形態には、目的信号のばらつきが大きい場合であっても、低いメモリコストで、モデル化された目的信号の成分の情報を得ることができるという効果がある。その理由は、抽出された特徴量と複数の種類の目的信号を線形結合によって表す信号素基底とその線形結合の情報とに基づいて、目的信号の重みを計算するからである。そして、処理部704が、重みに基づいて、対象目的信号の情報を導出する。複数の種類の目的信号を線形結合によって表す信号素基底を使用することによって、前提技術と比較して、メモリコストが低減される。
[他の実施形態]
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。
以上の説明では、信号は、音響信号であるが、信号は音響信号に限られない。信号は、温度センサから得られる時系列温度信号であってもよい。信号は、振動センサから得られる振動信号であってもよい。信号は、電力使用量の時系列データであってもよい。信号は、電力使用者ごとの電力使用量の系列データであってもよい。信号は、ネットワークにおける呼量の時系列データであってもよい。信号は、風量の時系列データであってもよい。信号は、一定範囲における降雨量の空間系列データであってもよい。信号は、その他の角度系列データ、テキストなどの離散系列データなどであってもよい。
系列データは、等間隔の系列データに限られない。系列データは、不等間隔の系列データであってもよい。
また、以上の説明では、行列の分解の方法は、非負値行列因子分解であるが、行列の分解の方法は、非負値行列因子分解に限られない。行列の分解の方法として、ICA、PCA、SVDなどの行列の分解の方法を適用できる。信号は、行列の形に返還されなくてもよい。その場合、信号を分解する方法として、Orthogonal matching pursuitやスパースコーディングなどの信号圧縮方法を用いることができる。
また、本発明の実施形態に係る装置は、複数の機器を含むシステムによって実現されてもよい。本発明の実施形態に係る装置は、単体の装置によって実現されてもよい。さらに、本発明の実施形態に係る装置の機能を実現する情報処理プログラムが、システムに含まれるコンピュータ又は上述の単体の装置であるコンピュータに、直接、又は、遠隔から供給されてもよい。本発明の実施形態に係る装置の機能をコンピュータで実現する、コンピュータにインストールされるプログラム、そのプログラムを格納した媒体、及び、そのプログラムをダウンロードさせるWWW(World Wide Web)サーバも、本発明の実施形態に含まれる。特に、少なくとも、上述した実施形態に含まれる処理をコンピュータに実行させるプログラムを記憶する非一時的コンピュータ可読媒体(non-transitory computer readable medium)は本発明の実施形態に含まれる。
本発明の実施形態に係る画像生成装置の各々は、プログラムがロードされたメモリとそのプログラムを実行するプロセッサとを含むコンピュータ、回路等の専用のハードウェア、及び、前述のコンピュータと専用のハードウェアとの組合せによって実現できる。
図13は、本発明の実施形態に係る信号処理装置を実現できるコンピュータのハードウェア構成の例を表すブロック図である。この信号処理装置は、例えば、第1の実施形態に係る信号分離装置100であってもよい。この信号処理装置は、例えば、第2の実施形態に係る信号検出装置200であってもよい。この信号処理装置は、例えば、第3の実施形態に係る信号分離装置300であってもよい。この信号処理装置は、例えば、第4の実施形態に係る信号検出装置400であってもよい。この信号処理装置は、例えば、第5の実施形態に係る信号分離装置500であってもよい。この信号処理装置は、例えば、第6の実施形態に係る信号検出装置600であってもよい。この信号処理装置は、例えば、第7の実施形態に係る信号処理装置700であってもよい。以下の説明では、信号分離装置、信号検出装置、及び、信号処理装置を、まとめて信号処理装置と表記する。
図13に示すコンピュータ10000は、プロセッサ10001と、メモリ10002と、記憶装置10003と、I/O(Input/Output)インタフェース10004とを含む。また、コンピュータ10000は、記憶媒体10005にアクセスすることができる。メモリ10002と記憶装置10003は、例えば、RAM(Random Access Memory)、ハードディスクなどの記憶装置である。記憶媒体10005は、例えば、RAM、ハードディスクなどの記憶装置、ROM(Read Only Memory)、可搬記憶媒体である。記憶装置10003が記憶媒体10005であってもよい。プロセッサ10001は、メモリ10002と、記憶装置10003に対して、データやプログラムの読み出しと書き込みを行うことができる。プロセッサ10001は、I/Oインタフェース10004を介して、例えば、対象目的信号の情報の出力先である装置にアクセスすることができる。プロセッサ10001は、記憶媒体10005にアクセスすることができる。記憶媒体10005には、コンピュータ10000を、本発明のいずれかの実施形態に係る信号処理装置として動作させるプログラムが格納されている。
プロセッサ10001は、記憶媒体10005に格納されている、コンピュータ10000を、上述の信号処理装置として動作させるプログラムを、メモリ10002にロードする。そして、プロセッサ10001が、メモリ10002にロードされたプログラムを実行することにより、コンピュータ10000は、上述の信号処理装置として動作する。
特徴抽出部101、分析部103、結合部104、受信部105、及び、出力部106は、メモリ10002にロードされた専用のプログラムを実行するプロセッサ10001により実現できる。検出部204は、メモリ10002にロードされた専用のプログラムを実行するプロセッサ10001により実現できる。第2特徴抽出部301、組み合わせ計算部302、及び、第2受信部303は、メモリ10002にロードされた専用のプログラムを実行するプロセッサ10001により実現できる。第3特徴抽出部501、基底抽出部502、及び、第3受信部504は、メモリ10002にロードされた専用のプログラムを実行するプロセッサ10001により実現できる。処理部704は、メモリ10002にロードされた専用のプログラムを実行するプロセッサ10001により実現できる。
信号情報記憶部102、一時記憶部107、及び、基底記憶部503は、コンピュータ10000が含むメモリ10002やハードディスク装置等の記憶装置10003により実現することができる。
特徴抽出部101、信号情報記憶部102、分析部103、結合部104、受信部105、出力部106、及び、一時記憶部107の一部又は全部は、回路等の専用のハードウェアによって実現することもできる。検出部204は、回路等の専用のハードウェアによって実現することもできる。第2特徴抽出部301、組み合わせ計算部302、及び、第2受信部303の一部又は全部は、回路等の専用のハードウェアによって実現することもできる。第3特徴抽出部501、基底抽出部502、基底記憶部503、及び、第3受信部504の一部又は全部は、回路等の専用のハードウェアによって実現することもできる。処理部704は、回路等の専用のハードウェアによって実現することもできる。
また、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
対象信号から当該対象信号の特徴を表す特徴量を抽出する特徴抽出手段と、
抽出された前記特徴量と複数の種類の目的信号を線形結合によって表す信号素基底と前記線形結合の情報とに基づく、前記対象信号に含まれる前記複数の目的信号の各々の強さを表す重みの計算と、前記特徴量と前記信号素基底と前記重みとに基づく前記線形結合の情報の更新とを、所定の条件が満たされるまで繰り返す分析手段と、
前記重みに基づいて、前記対象信号に含まれ、少なくとも1種類の前記目的信号である対象目的信号の情報を導出する処理手段と、
前記対象目的信号の情報を出力する出力手段と、
を備える信号処理装置。
(付記2)
前記処理手段は、前記信号素基底と、前記線形結合の情報と、前記重みとに基づいて、前記対象信号に含まれる前記対象目的信号の成分を表す分離信号を、前記対象目的信号の情報として導出する
付記1に記載の信号処理装置。
(付記3)
前記処理手段は、前記重みに基づいて、前記対象目的信号が前記対象信号に含まれるか否かを、前記対象目的信号の情報として導出する
付記1に記載の信号処理装置。
(付記4)
前記複数の種類の目的信号を含む目的信号学習用信号から抽出された特徴量である目的信号学習用特徴量と、前記目的信号学習用信号における前記複数の種類の目的信号の強さを表す第2の重みとに基づいて、前記線形結合の情報の初期値を計算する組み合わせ計算手段
を備える、付記1から3のいずれか1項に記載の信号処理装置。
(付記5)
前記組み合わせ計算手段は、前記目的信号学習用特徴量に基づいて、前記信号素基底をさらに計算する
付記4に記載の信号処理装置。
(付記6)
前記複数の種類の目的信号を含む基底学習用信号から抽出された特徴量に基づいて、前記信号素基底を抽出する基底抽出手段
を備え、
前記組み合わせ計算手段は、前記目的信号学習用特徴量と、前記第2の重みと、抽出された前記信号素基底とに基づいて、前記線形結合の情報の前記初期値を計算する
付記4に記載の信号処理装置。
(付記7)
対象信号から当該対象信号の特徴を表す特徴量を抽出し、
抽出された前記特徴量と複数の種類の目的信号を線形結合によって表す信号素基底と前記線形結合の情報とに基づく、前記対象信号に含まれる前記複数の目的信号の各々の強さを表す重みの計算と、前記特徴量と前記信号素基底と前記重みとに基づく前記線形結合の情報の更新とを、所定の条件が満たされるまで繰り返し、
前記重みに基づいて、前記対象信号に含まれ、少なくとも1種類の前記目的信号である対象目的信号の情報を導出し、
前記対象目的信号の情報を出力する、
信号処理方法。
(付記8)
前記信号素基底と、前記線形結合の情報と、前記重みとに基づいて、前記対象信号に含まれる前記対象目的信号の成分を表す分離信号を、前記対象目的信号の情報として導出する
付記7に記載の信号処理方法。
(付記9)
前記重みに基づいて、前記対象目的信号が前記対象信号に含まれるか否かを、前記対象目的信号の情報として導出する
付記7に記載の信号処理方法。
(付記10)
前記複数の種類の目的信号を含む目的信号学習用信号から抽出された特徴量である目的信号学習用特徴量と、前記目的信号学習用信号における前記複数の種類の目的信号の強さを表す第2の重みとに基づいて、前記線形結合の情報の初期値を計算する
付記7から9のいずれか1項に記載の信号処理方法。
(付記11)
前記目的信号学習用特徴量に基づいて、前記信号素基底をさらに計算する
付記10に記載の信号処理方法。
(付記12)
前記複数の種類の目的信号を含む基底学習用信号から抽出された特徴量に基づいて、前記信号素基底を抽出し、
前記目的信号学習用特徴量と、前記第2の重みと、抽出された前記信号素基底とに基づいて、前記線形結合の情報の前記初期値を計算する
付記10に記載の信号処理方法。
(付記13)
コンピュータに、
対象信号から当該対象信号の特徴を表す特徴量を抽出する特徴抽出処理と、
抽出された前記特徴量と複数の種類の目的信号を線形結合によって表す信号素基底と前記線形結合の情報とに基づく、前記対象信号に含まれる前記複数の目的信号の各々の強さを表す重みの計算と、前記特徴量と前記信号素基底と前記重みとに基づく前記線形結合の情報の更新とを、所定の条件が満たされるまで繰り返す分析処理と、
前記重みに基づいて、前記対象信号に含まれ、少なくとも1種類の前記目的信号である対象目的信号の情報を導出する導出処理と、
前記対象目的信号の情報を出力する出力処理と、
を実行させるプログラムを記憶する記憶媒体。
(付記14)
前記導出処理は、前記信号素基底と、前記線形結合の情報と、前記重みとに基づいて、前記対象信号に含まれる前記対象目的信号の成分を表す分離信号を、前記対象目的信号の情報として導出する
付記13に記載の記憶媒体。
(付記15)
前記導出処理は、前記重みに基づいて、前記対象目的信号が前記対象信号に含まれるか否かを、前記対象目的信号の情報として導出する
付記13に記載の記憶媒体。
(付記16)
前記プログラムは、コンピュータに、
前記複数の種類の目的信号を含む目的信号学習用信号から抽出された特徴量である目的信号学習用特徴量と、前記目的信号学習用信号における前記複数の種類の目的信号の強さを表す第2の重みとに基づいて、前記線形結合の情報の初期値を計算する組み合わせ計算処理
をさらに実行させる付記13から15のいずれか1項に記載の記憶媒体。
(付記17)
前記組み合わせ計算処理は、前記目的信号学習用特徴量に基づいて、前記信号素基底をさらに計算する
付記16に記載の記憶媒体。
(付記18)
前記プログラムは、コンピュータに、
前記複数の種類の目的信号を含む基底学習用信号から抽出された特徴量に基づいて、前記信号素基底を抽出する基底抽出処理
をさらに実行させ、
前記組み合わせ計算処理は、前記目的信号学習用特徴量と、前記第2の重みと、抽出された前記信号素基底とに基づいて、前記線形結合の情報の前記初期値を計算する
付記16に記載の記憶媒体。
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を組み合わせたシステムまたは装置も、その組み合わせ方によらず、本発明の範疇に含まれる。
100 信号分離装置
101 特徴抽出部
102 信号情報記憶部
103 分析部
104 結合部
105 受信部
106 出力部
107 一時記憶部
200 信号検出装置
204 検出部
300 信号分離装置
301 第2特徴抽出部
302 組み合わせ計算部
303 第2受信部
400 信号検出装置
500 信号分離装置
501 第3特徴抽出部
502 基底抽出部
503 基底記憶部
504 第3受信部
600 信号検出装置
700 信号処理装置
704 処理部
900 信号分離装置
901 特徴抽出部
902 基底記憶部
903 分析部
904 結合部
905 受信部
906 出力部
10000 コンピュータ
10001 プロセッサ
10002 メモリ
10003 記憶装置
10004 I/Oインタフェース
10005 記憶媒体

Claims (18)

  1. 対象信号から当該対象信号の特徴を表す特徴量を抽出する特徴抽出手段と、
    抽出された前記特徴量と複数の種類の目的信号を線形結合によって表す信号素基底と前記線形結合の情報とに基づく、前記対象信号に含まれる前記複数の目的信号の各々の強さを表す重みの計算と、前記特徴量と前記信号素基底と前記重みとに基づく前記線形結合の情報の更新とを、所定の条件が満たされるまで繰り返す分析手段と、
    前記重みに基づいて、前記対象信号に含まれ、少なくとも1種類の前記目的信号である対象目的信号の情報を導出する処理手段と、
    前記対象目的信号の情報を出力する出力手段と、
    を備える信号処理装置。
  2. 前記処理手段は、前記信号素基底と、前記線形結合の情報と、前記重みとに基づいて、前記対象信号に含まれる前記対象目的信号の成分を表す分離信号を、前記対象目的信号の情報として導出する
    請求項1に記載の信号処理装置。
  3. 前記処理手段は、前記重みに基づいて、前記対象目的信号が前記対象信号に含まれるか否かを、前記対象目的信号の情報として導出する
    請求項1に記載の信号処理装置。
  4. 前記複数の種類の目的信号を含む目的信号学習用信号から抽出された特徴量である目的信号学習用特徴量と、前記目的信号学習用信号における前記複数の種類の目的信号の強さを表す第2の重みとに基づいて、前記線形結合の情報の初期値を計算する組み合わせ計算手段
    を備える、請求項1から3のいずれか1項に記載の信号処理装置。
  5. 前記組み合わせ計算手段は、前記目的信号学習用特徴量に基づいて、前記信号素基底をさらに計算する
    請求項4に記載の信号処理装置。
  6. 前記複数の種類の目的信号を含む基底学習用信号から抽出された特徴量に基づいて、前記信号素基底を抽出する基底抽出手段
    を備え、
    前記組み合わせ計算手段は、前記目的信号学習用特徴量と、前記第2の重みと、抽出された前記信号素基底とに基づいて、前記線形結合の情報の前記初期値を計算する
    請求項4に記載の信号処理装置。
  7. 対象信号から当該対象信号の特徴を表す特徴量を抽出し、
    抽出された前記特徴量と複数の種類の目的信号を線形結合によって表す信号素基底と前記線形結合の情報とに基づく、前記対象信号に含まれる前記複数の目的信号の各々の強さを表す重みの計算と、前記特徴量と前記信号素基底と前記重みとに基づく前記線形結合の情報の更新とを、所定の条件が満たされるまで繰り返し、
    前記重みに基づいて、前記対象信号に含まれ、少なくとも1種類の前記目的信号である対象目的信号の情報を導出し、
    前記対象目的信号の情報を出力する、
    信号処理方法。
  8. 前記信号素基底と、前記線形結合の情報と、前記重みとに基づいて、前記対象信号に含まれる前記対象目的信号の成分を表す分離信号を、前記対象目的信号の情報として導出する
    請求項7に記載の信号処理方法。
  9. 前記重みに基づいて、前記対象目的信号が前記対象信号に含まれるか否かを、前記対象目的信号の情報として導出する
    請求項7に記載の信号処理方法。
  10. 前記複数の種類の目的信号を含む目的信号学習用信号から抽出された特徴量である目的信号学習用特徴量と、前記目的信号学習用信号における前記複数の種類の目的信号の強さを表す第2の重みとに基づいて、前記線形結合の情報の初期値を計算する
    請求項7から9のいずれか1項に記載の信号処理方法。
  11. 前記目的信号学習用特徴量に基づいて、前記信号素基底をさらに計算する
    請求項10に記載の信号処理方法。
  12. 前記複数の種類の目的信号を含む基底学習用信号から抽出された特徴量に基づいて、前記信号素基底を抽出し、
    前記目的信号学習用特徴量と、前記第2の重みと、抽出された前記信号素基底とに基づいて、前記線形結合の情報の前記初期値を計算する
    請求項10に記載の信号処理方法。
  13. コンピュータに、
    対象信号から当該対象信号の特徴を表す特徴量を抽出する特徴抽出処理と、
    抽出された前記特徴量と複数の種類の目的信号を線形結合によって表す信号素基底と前記線形結合の情報とに基づく、前記対象信号に含まれる前記複数の目的信号の各々の強さを表す重みの計算と、前記特徴量と前記信号素基底と前記重みとに基づく前記線形結合の情報の更新とを、所定の条件が満たされるまで繰り返す分析処理と、
    前記重みに基づいて、前記対象信号に含まれ、少なくとも1種類の前記目的信号である対象目的信号の情報を導出する導出処理と、
    前記対象目的信号の情報を出力する出力処理と、
    を実行させるプログラムを記憶する記憶媒体。
  14. 前記導出処理は、前記信号素基底と、前記線形結合の情報と、前記重みとに基づいて、前記対象信号に含まれる前記対象目的信号の成分を表す分離信号を、前記対象目的信号の情報として導出する
    請求項13に記載の記憶媒体。
  15. 前記導出処理は、前記重みに基づいて、前記対象目的信号が前記対象信号に含まれるか否かを、前記対象目的信号の情報として導出する
    請求項13に記載の記憶媒体。
  16. 前記プログラムは、コンピュータに、
    前記複数の種類の目的信号を含む目的信号学習用信号から抽出された特徴量である目的信号学習用特徴量と、前記目的信号学習用信号における前記複数の種類の目的信号の強さを表す第2の重みとに基づいて、前記線形結合の情報の初期値を計算する組み合わせ計算処理
    をさらに実行させる請求項13から15のいずれか1項に記載の記憶媒体。
  17. 前記組み合わせ計算処理は、前記目的信号学習用特徴量に基づいて、前記信号素基底をさらに計算する
    請求項16に記載の記憶媒体。
  18. 前記プログラムは、コンピュータに、
    前記複数の種類の目的信号を含む基底学習用信号から抽出された特徴量に基づいて、前記信号素基底を抽出する基底抽出処理
    をさらに実行させ、
    前記組み合わせ計算処理は、前記目的信号学習用特徴量と、前記第2の重みと、抽出された前記信号素基底とに基づいて、前記線形結合の情報の前記初期値を計算する
    請求項16に記載の記憶媒体。
JP2019549070A 2017-10-19 2017-10-19 信号処理装置、信号処理方法およびプログラム Active JP6911930B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/037886 WO2019077723A1 (ja) 2017-10-19 2017-10-19 信号処理装置、信号処理方法およびプログラムを記憶する記憶媒体

Publications (2)

Publication Number Publication Date
JPWO2019077723A1 true JPWO2019077723A1 (ja) 2020-10-22
JP6911930B2 JP6911930B2 (ja) 2021-07-28

Family

ID=66173254

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019549070A Active JP6911930B2 (ja) 2017-10-19 2017-10-19 信号処理装置、信号処理方法およびプログラム

Country Status (3)

Country Link
US (1) US20210224580A1 (ja)
JP (1) JP6911930B2 (ja)
WO (1) WO2019077723A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116702015B (zh) * 2023-08-09 2023-11-28 中国科学技术大学 信号处理方法、装置、无人机及计算机可读存储介质

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4447886A (en) * 1981-07-31 1984-05-08 Meeker G William Triangle and pyramid signal transforms and apparatus
IL127650A0 (en) * 1996-06-28 1999-10-28 Milkovich Systems Engineering Improved fast fourier transform processor
US6360021B1 (en) * 1998-07-30 2002-03-19 The Regents Of The University Of California Apparatus and methods of image and signal processing
US7046857B2 (en) * 1997-07-31 2006-05-16 The Regents Of The University Of California Apparatus and methods for image and signal processing
WO1999006941A2 (en) * 1997-07-31 1999-02-11 University Of California, Berkeley Apparatus and methods for image and signal processing
US9042988B2 (en) * 1998-08-05 2015-05-26 Cyberonics, Inc. Closed-loop vagus nerve stimulation
US9375573B2 (en) * 1998-08-05 2016-06-28 Cyberonics, Inc. Systems and methods for monitoring a patient's neurological disease state
US9415222B2 (en) * 1998-08-05 2016-08-16 Cyberonics, Inc. Monitoring an epilepsy disease state with a supervisory module
US20080292194A1 (en) * 2005-04-27 2008-11-27 Mark Schmidt Method and System for Automatic Detection and Segmentation of Tumors and Associated Edema (Swelling) in Magnetic Resonance (Mri) Images
US20120123232A1 (en) * 2008-12-16 2012-05-17 Kayvan Najarian Method and apparatus for determining heart rate variability using wavelet transformation
WO2010077997A2 (en) * 2008-12-16 2010-07-08 Bodymedia, Inc. Method and apparatus for determining heart rate variability using wavelet transformation
US20110028827A1 (en) * 2009-07-28 2011-02-03 Ranganatha Sitaram Spatiotemporal pattern classification of brain states
US9165565B2 (en) * 2011-09-09 2015-10-20 Adobe Systems Incorporated Sound mixture recognition
US9111375B2 (en) * 2012-01-05 2015-08-18 Philip Meier Evaluation of three-dimensional scenes using two-dimensional representations
US9920361B2 (en) * 2012-05-21 2018-03-20 Sequenom, Inc. Methods and compositions for analyzing nucleic acid
US9324338B2 (en) * 2013-10-22 2016-04-26 Mitsubishi Electric Research Laboratories, Inc. Denoising noisy speech signals using probabilistic model
US10531806B2 (en) * 2013-12-17 2020-01-14 University Of Florida Research Foundation, Inc. Brain state advisory system using calibrated metrics and optimal time-series decomposition
JP6747447B2 (ja) * 2015-09-16 2020-08-26 日本電気株式会社 信号検知装置、信号検知方法、および信号検知プログラム
US9554738B1 (en) * 2016-03-30 2017-01-31 Zyomed Corp. Spectroscopic tomography systems and methods for noninvasive detection and measurement of analytes using collision computing
EP3451651B1 (en) * 2016-04-27 2022-06-08 Sony Group Corporation Imaging control device, imaging control method, and imaging apparatus
JP6703460B2 (ja) * 2016-08-25 2020-06-03 本田技研工業株式会社 音声処理装置、音声処理方法及び音声処理プログラム
US10663298B2 (en) * 2017-06-25 2020-05-26 Invensense, Inc. Method and apparatus for characterizing platform motion

Also Published As

Publication number Publication date
WO2019077723A1 (ja) 2019-04-25
JP6911930B2 (ja) 2021-07-28
US20210224580A1 (en) 2021-07-22

Similar Documents

Publication Publication Date Title
JP3949150B2 (ja) 信号分離方法、信号分離装置、信号分離プログラム及び記録媒体
KR101967415B1 (ko) 글로벌 모델로부터의 로컬화된 학습
JP6976804B2 (ja) 音源分離方法および音源分離装置
KR102060723B1 (ko) 사용자 행동 인식 장치, onmf 기반 기저 행렬 생성 방법 및 ossnmf 기반 기저 행렬 생성 방법
JP2012163918A (ja) 音声信号処理装置、および音声信号処理方法、並びにプログラム
JP6747447B2 (ja) 信号検知装置、信号検知方法、および信号検知プログラム
JP2016045221A (ja) 信号解析装置、方法、及びプログラム
US10817719B2 (en) Signal processing device, signal processing method, and computer-readable recording medium
JP6099032B2 (ja) 信号処理装置、信号処理方法及びコンピュータプログラム
US20200389749A1 (en) Source separation for reverberant environment
JPWO2019171457A1 (ja) 音源分離装置、音源分離方法およびプログラム
US20180033432A1 (en) Voice interactive device and voice interaction method
JP6911930B2 (ja) 信号処理装置、信号処理方法およびプログラム
US10679646B2 (en) Signal processing device, signal processing method, and computer-readable recording medium
JP6874842B2 (ja) 信号処理装置、信号処理方法およびプログラム
JP5791081B2 (ja) 音源分離定位装置、方法、及びプログラム
JP2020034870A (ja) 信号解析装置、方法、及びプログラム
JP2011081305A (ja) 時空間分解装置、発話リズム変換装置、これらの方法及びプログラム
JP2021089388A (ja) 音響解析装置、音響解析方法及び音響解析プログラム
JP2014215544A (ja) 音響処理装置
US20230169977A1 (en) Sound Extraction System and Sound Extraction Method
JP7000281B2 (ja) 音響信号処理装置、音響信号処理方法及びプログラム
WO2022085197A1 (ja) 音声信号変換モデル学習装置、音声信号変換装置、音声信号変換モデル学習方法及びプログラム
JP6167062B2 (ja) 分類装置、分類方法、およびプログラム
CN114495974A (zh) 音频信号处理方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200323

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200323

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210326

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210608

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210621

R150 Certificate of patent or registration of utility model

Ref document number: 6911930

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150