JP7367862B2 - ニューラルネットワークベース信号処理装置、ニューラルネットワークベース信号処理方法、及びプログラム - Google Patents

ニューラルネットワークベース信号処理装置、ニューラルネットワークベース信号処理方法、及びプログラム Download PDF

Info

Publication number
JP7367862B2
JP7367862B2 JP2022520943A JP2022520943A JP7367862B2 JP 7367862 B2 JP7367862 B2 JP 7367862B2 JP 2022520943 A JP2022520943 A JP 2022520943A JP 2022520943 A JP2022520943 A JP 2022520943A JP 7367862 B2 JP7367862 B2 JP 7367862B2
Authority
JP
Japan
Prior art keywords
multidimensional
neural network
signal processing
features
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022520943A
Other languages
English (en)
Other versions
JP2023502310A (ja
Inventor
チョンチョン ワン
孝文 越仲
コン エイク リー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JP2023502310A publication Critical patent/JP2023502310A/ja
Application granted granted Critical
Publication of JP7367862B2 publication Critical patent/JP7367862B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/18—Artificial neural networks; Connectionist approaches
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/02—Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/26—Recognition of special voice characteristics, e.g. for use in lie detectors; Recognition of animal voices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Description

特徴マップの抽出は、音声認識、話者検証、なりすましの検出など、音声処理関連のタスクに不可欠である。単一の音声のためのマルチ特徴マップは、例えば、異なるウィンドウ長で抽出された高速フーリエ変換（ＦＦＴ）スペクトログラム、定数Ｑ変換（ＣＱＴ）に度々利用される。様々な手段で抽出されたこれらの特徴マップは、様々な情報で構成されている。これらの特徴マップは、通常、タスクのために相互補完する。
従来から、マルチ特徴マップを利用するため、特徴の融合又はスコアの融合が行われている。特徴の融合には、時間又は周波数の次元のような１次元に沿った特徴マップの連結、３Ｄ特徴セットへの特徴マップのスタッキング、及び線形補間等が含まれる。スコアの融合は、単一の特徴マップを使用してシステムで生成された、スコアを融合するために使用される。
ディープニューラルネットワーク（ＤＮＮ）は、音声処理タスクの一部又は全体のパイプラインを置き換えるために広く利用されており、特定の効果を示している。ディープラーニングにはアテンションメカニズムが導入されており、これにより特徴はタスク毎により差別化される。従って、音声毎に複数のタイプの特徴マップが用意されている場合に、最適な特徴マップを自動的に選択することが求められている。
C. Lai+, "Attentive Filtering Networks for Audio Replay Attack Detection", ICASSP 2019
非特許文献１は、なりすまし検出ニューラルネットワークを使用して、特徴マップ毎の重み（特徴マップにおける１つの特徴毎の１つの重み）を自動的かつ共同で学習することで、周波数領域と時間領域との両方において特徴マップを強化する、アテンティブなフィルタリングレイヤーを開示している。しかしながら、非特許文献１におけるアテンションメカニズムは、単一の特徴マップが入力された場合にのみ適しており、複数の特徴マップには適していない。
本発明の目的の一例は、上記問題を解消し、重要な特徴が、複数の異なる特徴マップにわたっている場合でも、重要な特徴を評価して、重要な特徴の選択を支援し得る、ニューラルネットワークベース信号処理装置、ニューラルネットワークベース信号処理方法、及びプログラムを提供することにある。
上記目的を達成するため、本発明の一例におけるニューラルネットワークベース信号処理装置は、
２つ以上の２次元特徴マップを含む多次元の特徴を受け取り、ニューラルネットワークを用いて、前記多次元の特徴の要素毎にアテンション重みを生成し、更に、前記多次元の特徴と前記アテンション重みとに基づいて、指定されたクラス毎に、低次元特徴又は事後確率を生成する、多次元アテンティブニューラルネットワーク評価部を備えている。
上記目的を達成するため、本発明の一例におけるニューラルネットワークベース信号処理方法は、
（ａ）２つ以上の２次元特徴マップを含む多次元の特徴を受け取り、ニューラルネットワークを用いて、前記多次元の特徴の要素毎にアテンション重みを生成し、更に、前記多次元の特徴と前記アテンション重みとに基づいて、指定されたクラス毎に、低次元特徴又は事後確率を生成する、ステップを有する。
上記目的を達成するため、本発明の一例におけるプログラムは、
コンピュータに、
（ａ）２つ以上の２次元特徴マップを含む多次元の特徴を受け取り、ニューラルネットワークを用いて、前記多次元の特徴の要素毎にアテンション重みを生成し、更に、前記多次元の特徴と前記アテンション重みとに基づいて、指定されたクラス毎に、低次元特徴又は事後確率を生成する、ステップを実行させる。
以上のように、本発明によれば、重要な特徴が、複数の異なる特徴マップにわたっている場合でも、重要な特徴を評価して、重要な特徴の選択を支援することができる。
図面と詳細な説明は、本発明のニューラルネットワークベースの信号処理方法の原理を説明するのに役立つ。図面は説明のためのものであり、技術の適用を制限するものではない。
図１は、実施の形態におけるニューラルネットワークベース信号処理装置の構成を概略的に示すブロック図である。 図２は、実施の形態におけるニューラルネットワークベース信号処理装置の構成の一例を示すブロック図である。 図３は、実施の形態における多次元アテンティブニューラルネットワーク訓練部の第１の例を示すブロック図である。 図４は、チャネルアテンティブネットワークの例を示す図である。 図５は、実施の形態における多次元アテンティブニューラルネットワーク訓練部の第２の例を示すブロック図である。 図６は、実施の形態における多次元アテンティブニューラルネットワーク訓練部の第３の例を示すブロック図である。 図７は、実施の形態における多次元アテンティブニューラルネットワーク訓練部の第４の例を示すブロック図である。 図８は、実施の形態における多次元アテンティブニューラルネットワーク訓練部の第５の例を示すブロック図である。 図９は、実施の形態におけるニューラルネットワークベース信号処理装置の動作全体の例を示すフロー図である。 図１０は、実施の形態によるニューラルネットワークベース信号処理装置の訓練フェーズの特定の動作を示すフロー図である。 図１１は、実施の形態におけるテスト（評価）フェーズでの特定の動作を示すフロー図である。 図１２は、実施の形態におけるニューラルネットワークベース信号処理装置を実現するコンピュータの一例を示すブロック図である。熟練した当業者は、図中の要素が単純化および明瞭化のために例示されており、必ずしも縮尺通りに描かれていないことを理解するであろう。例えば、集積回路アーキテクチャを示す図中の要素のいくつかの寸法は、現在および代替の実施の形態の理解を改善するのを助けるために、他の要素に対して誇張されている場合がある。
以下、本発明の各実施の形態について図面を参照して説明する。以下の詳細な説明は本質的に単なる例示であり、本発明または本発明の用途および使用を限定することを意図するものではない。さらに、本発明の前述の背景または以下の詳細な説明に提示された理論に拘束される意図はない。
（実施の形態１）
本発明の実施の形態について、添付の図面を参照して以下に詳細に説明する。
［装置構成］
最初に、本実施の形態におけるニューラルネットワークベース信号処理装置１００の構成について、図１を用いて説明する。図１は、実施の形態におけるニューラルネットワークベース信号処理装置の構成を概略的に示すブロック図である。
図１に示すように、実施の形態におけるニューラルネットワークベース信号処理装置は、多次元アテンティブニューラルネットワーク（ＮＮ）評価部５０を備えている。多次元アテンティブＮＮ評価部５０は、２つ以上の２次元特徴マップを含む多次元の特徴を受け取る。次に、多次元アテンティブＮＮ評価部５０は、ニューラルネットワークを用いて、多次元の特徴の要素毎にアテンション重みを生成する。その後、多次元アテンティブＮＮ評価部５０は、多次元の特徴とアテンション重みとに基づいて、指定されたクラス毎に、低次元特徴又は事後確率を生成する。
上述のように、ニューラルネットワークベース信号処理装置１００によれば、重要な特徴が、複数の異なる特徴マップにわたっている場合でも、重要な特徴を評価して、重要な特徴の選択を支援することができる。
続いて、図２～図４を参照して、ニューラルネットワークベース信号処理装置の構成について、より詳細に説明する。図２は、実施の形態におけるニューラルネットワークベース信号処理装置の構成の一例を示すブロック図である。
実施の形態において、ニューラルネットワークベース信号処理装置は、訓練フェーズとテストフェーズとで機能する。よって、図２では、ニューラルネットワークベース信号処理装置の構成は、訓練フェーズとテストフェーズとに分けて示されている。
図２に示すように、実施の形態におけるニューラルネットワークベース信号処理装置１００は、多次元アテンティブニューラルネットワーク（ＮＮ）評価部５０に加えて、特徴マップ抽出部１０と、マルチ特徴マップスタッキング部２０と、多次元アテンティブニューラルネットワーク（ＮＮ）訓練部３０と、ニューラルネットワーク（ＮＮ）パラメータ格納部４０とを備えている。
これらのうち、特徴マップ抽出部１０と、マルチ特徴マップスタッキング部２０とは、両方のフェーズで機能する。このため、特徴マップ抽出部１０は、訓練フェーズでは、１０ａと表記し、テストフェーズでは、１０ｂと表記する。同様に、マルチ特徴マップスタッキング部２０も、トレーニングフェーズでは、２０ａと表記し、テストフェーズでは、２０ｂと表記する。
訓練フェーズでは、特徴マップ抽出部１０ａは、入力された訓練データから、複数の特徴マップを抽出する。マルチ特徴マップスタッキング部２０ａは、抽出された複数の特徴マップを３次元特徴セットにスタックする。多次元アテンティブＮＮ訓練部３０は、３次元特徴セットと訓練データの各ラベルを用いて、ニューラルネットワークを訓練する。多次元アテンティブＮＮ訓練部３０は、ＮＮパラメータ格納部４０に、訓練されたＮＮパラメータを格納する。
評価フェーズでは、特徴マップ抽出部１０ｂは、入力されたテストデータから複数の特徴マップを抽出する。マルチ特徴マップスタッキング部２０ｂは、抽出された複数の特徴マップを３次元特徴セットにスタックする。 多次元アテンティブＮＮ評価部５０は、格納部４０からＮＮパラメータを受け取り、マルチ特徴マップスタッキング部２０ｂから３次元特徴セットを受け取る。その後、多次元アテンティブＮＮ評価部５０は、特定の出力ノードの事後確率を算出する。
なりすまし検出の例では、多次元アテンティブＮＮ評価部５０は、ノード「なりすまし」の事後確率をスコアとして算出する。なお、多次元アテンティブＮＮ評価部５０は、入力音声毎に新しい特徴セットとして隠れ層を出力することもできる。そして、特徴セットは、コサイン類似度、確率的線形判別分析（ＰＬＤＡ）などの任意の分類子と共に使用できる。
更に、多次元アテンティブＮＮ評価部５０は、統計を計算することによって、２つの次元に沿って、多次元の特徴を絞りこみ、ニューラルネットワークを用いて、残りの次元１つ毎に、アテンション重みを生成する。また、多次元アテンティブＮＮ評価部５０は、統計を計算することによって任意の１つの次元に沿って多次元の特徴を絞り込み、ニューラルネットワークを用いて、残りの次元２つ毎にアテンション重みを生成することもできる。
続いて、図３から図８を参照して、多次元アテンティブニューラルネットワーク訓練部３０の特定の５例について説明する。
図３は、実施の形態における多次元アテンティブニューラルネットワーク（ＮＮ）訓練部３０の第１の例を示すブロック図である。図３では、多次元アテンティブＮＮ訓練部３０は、時間・周波数領域（Ｔ＆Ｆ）絞込部１１ａと、チャネルアテンティブＮＮ訓練部１２ａと、時間・チャネル次元（Ｔ＆Ｃ）絞込部１３ａと、周波数アテンティブＮＮ訓練部１４ａと、周波数・チャネル次元（Ｆ＆Ｃ）絞込部１５ａと、時間アテンティブＮＮ訓練部１６ａと、乗算部１７ａと、ＮＮ訓練部１８ａとを備えている。
（Ｔ＆Ｆ）絞込部１１ａは、時間領域と周波数領域との両方に沿って、［ｄｃ，ｄｔ，ｄｆ］次元の入力３次元特徴セットを絞り込み、ｄｃ次元の２つの統計（平均及び標準偏差）を取得する。 チャネルアテンティブニューラルネットワーク訓練部１２ａは、統計を入力として受け取り、チャネルの重みのセットを出力し、そして、入力特徴マップと同じサイズで、コピーによって、ｄｃ次元の重みを［ｄｃ，ｄｔ，ｄｆ］に拡張する。
チャネルアテンティブＮＮ訓練部１２ａの一例が、図４に示されている。これはスクイーズ励起ネットワークである。［２＊ｄｃ］次元の統計は、全結合（ＦＣ）層に入力され、続いて、正規化線形ユニット（ＲｅＬＵ）による非線形活性化が行われる。 次に、ＲｅＬＵアクティベーションの出力は、バッチ正規化を行い、別の全結合（ＦＣ）層に入力され、［ｄｃ］次元の出力重みを取得する。最後の層は、重みを、入力特徴マップと同じサイズで［ｄｃ，ｄｔ，ｄｆ］の行列に拡張する。
Ｔ＆Ｃ絞込部１３ａは、時間とチャネルとの両方の次元に沿って３次元特徴セットを絞り込み、平均と標準偏差とによるｄｆ次元の統計を取得する。周波数アテンティブＮＮ訓練部１４ａは、統計を入力として受け取り、周波数ビン毎の重みのセット（ｄｆ）を出力し、重みを、入力特徴マップと同じサイズで［ｄｃ，ｄｔ，ｄｆ］次元に拡張する。周波数アテンティブＮＮ訓練部１４ａは、図４に示したチャネルアテンティブＮＮ訓練部１２ａの例と同一であっても良いし、異なっていても良い。
Ｆ＆Ｃ絞込部１５ａは、周波数とチャネルとの両方の次元に沿って３次元特徴セットを絞り込み、平均と標準偏差とによるｄｆ次元の統計を取得する。時間アテンティブＮＮ訓練部１６ａは、統計を入力として受け取り、時間フレーム毎に重みのセット（ｄｆ）を出力し、重みを、入力特徴マップと同じサイズで［ｄｃ，ｄｔ，ｄｆ］次元に拡張する。 時間アテンティブＮＮ訓練部１６ａは、図４に示したチャネルアテンティブＮＮ訓練部１２ａの例と同一であっても良いし、異なっていても良い。
乗算部１７ａは、３つの重み行列に、要素毎の方法で、入力３次元特徴セットを乗算し、それらを、１又は複数の隠れ層と１つの出力層とを含むＮＮ訓練部１８ａに送る。なりすまし検出の例では、出力層は「なりすまし」と「本物」との２つのノードで構成される。話者認識の例では、出力層のノードは話者ＩＤである。なお、 多次元アテンティブＮＮ訓練部３０（１１ａ～１８ａ）は、例えば、クロスエントロピー損失最小化といった１つの目的関数のみを用いて訓練されていても良い。
図５は、実施の形態における多次元アテンティブＮＮ訓練部３０の第２の例を示すブロック図である。図５では、多次元アテンティブＮＮ訓練部３０は、時間・周波数領域（Ｔ＆Ｆ）絞込部１１ｂと、チャネルアテンティブＮＮ訓練部１２ｂと、時間・チャネル次元（Ｔ＆Ｃ）絞込部１３ｂと、周波数アテンティブＮＮ訓練部１４ｂと、周波数・チャネル次元（Ｆ＆Ｃ）絞込部１５ａと、時間アテンティブＮＮ訓練部１６ｂと、乗算部１７ｂ、１７ｃ、及び１７ｄと、ＮＮ訓練部１８ｂとを備えている。
Ｔ＆Ｆ絞込部１１ｂは、時間領域と周波数領域との両方に沿って、［ｄｃ，ｄｔ，ｄｆ］次元の入力３次元特徴セットを絞り込み、ｄｃ次元の２つの統計（平均及び標準偏差）を取得する。チャネルアテンティブＮＮ訓練部１２ｂは、統計を入力として受け取り、チャネルの重みのセットを出力し、そして、入力３次元特徴セットと同じサイズで、ｄｃ次元の重みを［ｄｃ，ｄｔ，ｄｆ］に拡張する。チャネルアテンティブＮＮ訓練部１２ｂは、図１０に示されるチャネルアテンティブＮＮ訓練部１２ａの例と同一であっても良いし、異なっていても良い。乗算部１７ｂは、チャネルアテンティブＮＮ訓練部１２ｂからの重み行列に、要素毎の方法で、入力３次元特徴セットを乗算する。
Ｔ＆Ｃ絞込部１３ｂは、時間とチャネルとの両方の次元に沿って、１７ｂの出力を絞り込み、平均と標準偏差とのｄｆ次元の統計を取得する。周波数アテンティブＮＮ訓練部１４ｂは、統計を入力として受け取り、周波数ビン毎の重みのセット（ｄｆ）を出力し、重みを、入力特徴マップと同じサイズで［ｄｃ，ｄｔ，ｄｆ］次元に拡張する。周波数アテンティブＮＮ訓練部１４ｂは、図４に示したチャネルアテンティブＮＮ訓練部１２ａの例と同一であっても良いし、異なっていても良い。乗算ユニット１７ｃは、１４ｂからの重み行列に、要素毎の方法で、１７ｂの出力を乗算する。
Ｆ＆Ｃ絞込部１５ｂは、周波数とチャネルとの両方の次元に沿って入力特徴マップを絞り込み、平均と標準偏差とのｄｆ次元の統計を取得する。 時間アテンティブＮＮ訓練部１６ｂは、統計を入力として受け取り、時間フレーム毎に、重みのセット（ｄｆ）を出力し、重みを、入力特徴マップと同じサイズで［ｄｃ，ｄｔ，ｄｆ］次元に拡張する。時間アテンティブＮＮ訓練部１６ｂは、図４に示したチャネルアテンティブＮＮ訓練部１２ａの例と同一であっても良いし、異なっていても良い。乗算部１７ｄは、１６ｂからの重み行列に、要素毎の方法で、１７ｃの出力を乗算する。
ＮＮ訓練部１８ｂは、乗算部１７ｄの出力を入力として受け取る。ＮＮ訓練部１８ｂは、１又は複数の隠れ層と、１つの出力層とを有する。なお、多次元アテンティブＮＮ訓練部３０（１１ａ～１８ａ）は１つの目的関数のみを用いて訓練されていても良い。
図６は、実施の形態における多次元アテンティブＮＮ訓練部３０の第３の例を示すブロック図である。図６では、多次元アテンティブＮＮ訓練部３０は、時間領域（Ｔ）絞込部１９ａと、チャネル・周波数アテンティブＮＮ訓練部３１ａと、周波数・チャネル次元（Ｆ＆Ｃ）絞込部１５ｃと、時間アテンティブＮＮ訓練部１６ｃと、乗算部１７ｅと、ＮＮ訓練部１８ｃとを備えている。
Ｔ絞込部１９ａは、時間次元に沿って、［ｄｃ，ｄｔ，ｄｆ］次元の入力３次元特徴セットを絞り込み、［ｄｃ，ｄｆ］次元の２つの統計（平均及び標準偏差）を取得する。チャネル・周波数アテンティブＮＮ訓練部３１ａは、統計を入力として受け取り、［ｄｃ，ｄｆ］次元の重みのセットを出力し、入力特徴マップと同じサイズで、重みを［ｄｃ，ｄｔ，ｄｆ］に拡張する。チャネル・周波数アテンティブＮＮ訓練部３１ａは、図４に示したチャネルアテンティブＮＮ訓練部１２ａの例と同一であっても良いし、異なっていても良い。
Ｆ＆Ｃ絞込部１５ｃは、周波数とチャネルとの両方の次元に沿って入力３次元特徴セットを絞り込み、平均と標準偏差とのｄｔ次元の統計を取得する。 時間アテンティブＮＮ訓練部１６ｃは、統計を入力として受け取り、時間フレーム毎に、重みのセット（ｄｔ）を出力し、入力特徴マップと同じサイズで、重みを［ｄｃ，ｄｔ，ｄｆ］に拡張する。時間アテンティブＮＮ訓練部１６ｃは、図４に示したチャネルアテンティブＮＮ訓練部１２ａの例と同一であっても良いし、異なっていても良い。
乗算部１７ｅは、２つの重み行列に、要素毎の方法で、入力３次元特徴マップを乗算し、これらを、１又は複数の隠れ層と単一の出力層とを含むＮＮ訓練部１８ｃに渡す。なお、多次元アテンティブＮＮ訓練部３０は、１つの目的関数のみを用いて訓練される。
図７は、実施の形態における多次元アテンティブＮＮ訓練部３０の第４の例を示すブロック図である。図７では、多次元アテンティブＮＮ訓練部３０は、時間次元（Ｔ）絞込部１９ｂと、チャネル・周波数アテンティブＮＮ訓練部３１ｂと、周波数・チャネル次元（Ｆ＆Ｃ）絞込部１５ｄと、時間アテンティブＮＮ訓練部１６ｄと、乗算部１７ｆ及び１７ｇと、ＮＮ訓練部１８ｄとを備えている。
Ｔ絞込部１９ｂは、時間次元に沿って、［ｄｃ，ｄｔ，ｄｆ］次元の入力３次元特徴セットを絞り込み、［ｄｃ，ｄｆ］次元の２つの統計（平均及び標準偏差）を取得します。 チャネル・周波数アテンティブＮＮ訓練部３１ｂは、統計を入力として受け取り、［ｄｃ，ｄｆ］次元の重みのセットを出力し、入力特徴マップと同じサイズで、重みを［ｄｃ，ｄｔ，ｄｆ］に拡張する。 チャネル・周波数アテンティブＮＮ訓練部３１ｂは、図４に示したチャネルアテンティブＮＮ訓練部１２ａの例と同一であっても良いし、異なっていても良い。乗算部１７ｆは、チャネル・周波数アテンティブＮＮ訓練部３１ｂからの重み行列に、要素毎の方法で、入力３次元特徴セットを乗算する。
Ｆ＆Ｃ絞込部１５ｄは、周波数とチャネルとの両方の次元に沿って、１７ｆの出力を絞り込み、平均と標準偏差とのｄｔ次元の統計を取得する。時間アテンティブＮＮ訓練部１６ｄは、統計を入力として受け取り、時間フレーム毎に重みのセット（ｄｔ）を出力し、重みを、入力３次元特徴セットと同じサイズで［ｄｃ，ｄｔ，ｄｆ］に拡張する。時間アテンティブＮＮ訓練部１６ｄは、図４に示したチャネルアテンティブＮＮ訓練部１２ａの例と同一であっても良いし、異なっていても良い。乗算部１７ｇは、１６ｂからの重み行列に、要素毎の方法で、１７ｆの出力を乗算する。
ＮＮ訓練部１８ｄは、１７ｇの出力を入力として受け取る。１８ｄは、１又は複数の隠れ層と単一の出力層とを含む。なお、多次元アテンティブＮＮ訓練部３０は、１つの目的関数のみを用いて訓練される。
実施の形態における第３の例（図６）及び第４の例（図７）では、Ｔ絞込部（１９ａ、１９ｂ）とＦ＆Ｃ絞込部（１５ｃ、１５ｄ）とは、Ｆ絞込部とＣ＆Ｔ絞込部とに、又はＣ絞込部とＴ＆Ｆ絞込部とに、置き換えられても良い。最初のケースでは、２０ａと２０ｂとはチャネル・時間アテンティブネットワークに置き換えられ、１６ｃと１６ｄとは周波数アテンティブネットワークに置き換えられる。２つ目のケースでは、２０ａと２０ｂとは時間・周波数アテンティブネットワークに置き換えられ、１６ｃと１６ｄとはチャネルアテンティブネットワークに置き換えられる。
図８は、実施の形態における多次元アテンティブＮＮ訓練部の第５の例を示すブロック図である。図８では、多次元アテンティブＮＮ訓練部３０は、チャネル・時間・周波数アテンティブＮＮ訓練部２１と、乗算部１７ｈと、ＮＮ訓練部１８ｅとを備えている。
チャネル時間周波数注意ネットワーク２１は、３Ｄ特徴セットを入力として受け取り、［ｄｃ、ｄｔ、ｄｆ］次元の重みのセットを出力する。 チャネル時間周波数注意ネットワーク２１は、図４に示されるチャネル注意ＮＮトレーニングユニット１２ａの例と同じであっても異なっていてもよい。乗算ユニット１７ｈは、２１からの重み行列を入力３Ｄ特徴セットで乗算する。 要素ごとの方法。
ＮＮ訓練部１８ｅは、１７ｈの出力を入力として受け取る。１８ｅは、１又は複数の隠れ層と単一の出力層とを含む。 多次元アテンティブ訓練部３０ｈ、１つの目的関数のみを用いて訓練される。
［装置動作］
以下に、実施の形態におけるニューラルネットワークベース信号処理装置によって行われる処理について図９～図１１を参照しながら説明する。図１～図８は、以下の説明において適宜参照される。また、実施の形態では、ニューラルネットワークベース信号処理方法は、ニューラルネットワークベース信号処理装置を動作させることによって実施される。従って、以下のニューラルネットワークベース信号処理装置による動作説明を、実施の形態におけるニューラルネットワークベース信号処理方法の説明に代える。
図９は、実施の形態におけるニューラルネットワークベース信号処理装置１００の動作全体の例を示すフロー図である。図９は、訓練フェーズとテスト（評価）フェーズとテスト（評価）フェーズとの動作を示している。但し、図９に示す例では、訓練の動作とテストの動作とが、連続して、又は時間間隔をおいて行われ、更には、テストの動作が他の訓練の動作と一緒に行われる。
最初に、図９に示すように、ニューラルネットワークベース信号処理装置１００は、訓練モードで動作して、ニューラルネットワークを訓練し、ＮＮパラメータをＮＮパラメータ格納部４０に格納する（ステップＡ０１）。 次に、ニューラルネットワークベース信号処理装置１００は、テストモードで動作して、アテンティブ重みを生成し、事後確率をスコアとして算出する（ステップＡ０２）。
図１０は、実施の形態によるニューラルネットワークベース信号処理装置１００の訓練フェーズの特定の動作を示すフロー図である。最初に、特徴マップ抽出部１０ａが、音声及びそれらのラベルを含む入力訓練データを読み取る（ステップＢ０１）。次に、特徴マップ抽出部１０ａは、入力訓練音声から複数の特徴マップを抽出する（ステップＢ０２）。次に、マルチ特徴マップスタッキング部２０ａは、複数の特徴マップを３次元特徴セットにスタックする（ステップＢ０３）。 その後、多次元アテンティブＮＮ訓練部３０は、多次元アテンティブニューラルネットークを訓練し（ステップＢ０４）、ＮＮパラメータをＮＮパラメータ格納部４０に格納する（ステップＢ０５）。
図１１は、実施の形態における評価フェーズでの特定の動作を示すフロー図である。最初に、特徴マップ抽出部１０ｂが、入力テストデータを読み取る（ステップＣ０１）。 次に、特徴マップ抽出部１０ｂは、入力テスト音声から複数の特徴マップを抽出する（ステップＣ０２）。次に、マルチ特徴マップスタッキング部２０ｂは、複数の特徴マップを３次元特徴セットにスタックする（ステップＣ０３）。 多次元アテンティブＮＮ評価部５０は、ＮＮパラメータ格納部４０からＮＮパラメータを読み取る（ステップＣ０４）。その後、多次元アテンティブＮＮ評価部５０は、テストデータを評価し、スコアまたは新しい特徴セットを出力する（ステップＣ０５）。
（実施の形態における効果）
本発明は、複数の特徴マップにわたるアテンションメカニズムを導入し、最適な特徴の自動選択を支援する。実施の形態によれば、例えば、多数の特徴が特徴マップ全体で異なって配置されていても、音声処理タスクに対して重要な特徴を選択することが可能である。多次元アテンティブＮＮ訓練部の５つの例（図３、図５－８）は、訓練データの量の異なる条件毎に示されている。
多次元アテンティブＮＮ訓練部３０の第１の例（図３）と第２の例（図５）とは、それぞれ３つの重みセットを学習する。両方の例の重みの数は同じである（ｄｃ＋ｄｔ＋ｄｆ）。これらの例においては、５つの例全ての中で、重みの数が最も少なくなっている。これら例は、訓練データが限られている場合に適合している。第１の例（図３）では、３つのアテンティブネットワークが並列に接続されており、第２の例（図５）では、シリアルに接続されている。これらの例は、同様の効果を有することとなる。
多次元アテンティブＮＮ訓練部３０の第３の例（図６）と第４の例（図７）とは、それぞれ２つの重みセットを学習する。両方の例の重みの数は同じである（ｄｃ＊ｄｆ＋ｄｔ）。これらの例においては、５つの例全ての中で、重みの数は中程度となっている。これらの例は、訓練データが十分な場合に適している。第３の例（図７）では、２つのアテンティブネットワークが並列に接続されており、第４の例（図７）では、シリアルに接続されている。これらの例は、同様の効果を有することになる。
多次元アテンティブＮＮ訓練部３０の第５の例（図８）の例は、１つの重みセットのみを学習する。重みの数はｄｃ＊ｄｆ＊ｄｔである。この例では、５つの例全ての中で、重みは最も多くなっている。この例では、制約が最も少なく、大量の訓練データが利用可能な場合に最適に機能することになる。
［プログラム］
実施の形態におけるプログラムは、コンピュータに、図９に示すステップＡ０１～Ａ０図１０に示すステップＢ０１～Ｂ０５、及び図１１に示すステップＣ０１～Ｃ０５を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、実施の形態におけるニューラルネットワークベース信号処理装置１００とニューラルネットワークベース信号処理方法とを実現することができる。この場合、コンピュータのプロセッサは、特徴マップ抽出部１０、マルチ特徴マップスタッキング部２０、多次元アテンティブＮＮ訓練部３０、及び多次元アテンティブＮＮ評価部５０として機能し、処理を行なう。
実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、特徴マップ抽出部１０、マルチ特徴マップスタッキング部２０、多次元アテンティブＮＮ訓練部３０、及び多次元アテンティブＮＮ評価部５０のいずれかとして機能しても良い。
［物理構成］
ここで、実施の形態におけるプログラムを実行することによって、ニューラルネットワークベース信号処理装置を実現するコンピュータについて図１２を用いて説明する。図１２は、実施の形態におけるニューラルネットワークベース信号処理装置を実現するコンピュータの一例を示すブロック図である。
図１２に示すように、コンピュータ１１０は、ＣＰＵ（Central Processing Unit）１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）を備えていても良い。
ＣＰＵ１１１は、記憶装置１１３に格納された実施の形態におけるプログラム（コード群）をメインメモリ１１２に展開し、各コードを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。また、実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。
また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。
データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。
また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、又はＣＤ－ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体が挙げられる。
実施の形態におけるニューラルネットワークベース信号処理装置１００は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、ニューラルネットワークベース信号処理装置１００は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。
上述した実施の形態の一部又は全部は、以下に記載する（付記１）～（付記１８）によって表現することができるが、以下の記載に限定されるものではない。
（付記１）
２つ以上の２次元特徴マップを含む多次元の特徴を受け取り、
ニューラルネットワークを用いて、前記多次元の特徴の要素毎にアテンション重みを生成し、
更に、前記多次元の特徴と前記アテンション重みとに基づいて、指定されたクラス毎に、低次元特徴又は事後確率を生成する、
多次元アテンティブニューラルネットワーク評価部を備えている、
ニューラルネットワークベース信号処理装置。
（付記２）
前記多次元アテンティブニューラルネットワーク評価部は、統計を計算することによって、２つの次元に沿って多次元の特徴を絞り込み、前記ニューラルネットワークを用いて、残りの次元１つ毎にアテンション重みを生成する、
付記１に記載のニューラルネットワークベース信号処理装置。
（付記３）
前記多次元アテンティブニューラルネットワーク評価手段は、統計を計算することによって、いずれかの単一の次元に沿って多次元の特徴を絞り込み、前記ニューラルネットワークを用いて、残りの次元２つ毎にアテンション重みを生成する、
付記１に記載のニューラルネットワークベース信号処理装置。
（付記４）
２つ以上の２次元特徴マップを含む多次元の特徴を受け取り、ラベル付けされた多次元の特徴を用い、分類ネットワークと共同してアテンションネットワークを訓練する、
多次元アテンティブニューラルネットワーク訓練部を更に備えている、
付記１～３のいずれかに記載のニューラルネットワークベース信号処理装置。
（付記５）
前記多次元アテンティブニューラルネットワーク訓練部は、
重み行列と多次元の特徴とを乗算し、乗算後のラベル付けされた多次元の特徴を用いて、分類ネットワークと共同で前記アテンションネットワークを訓練する、
付記４に記載のニューラルネットワークベース信号処理装置。
（付記６）
前記多次元アテンティブニューラルネットワーク評価部は、入力された多次元の特徴が実際の発話又はなりすましから得られたものであるという事後確率を生成する、
付記１～５のいずれかに記載のニューラルネットワークベース信号処理装置。
（付記７）
（ａ）２つ以上の２次元特徴マップを含む多次元の特徴を受け取り、
ニューラルネットワークを用いて、前記多次元の特徴の要素毎にアテンション重みを生成し、
更に、前記多次元の特徴と前記アテンション重みとに基づいて、指定されたクラス毎に、低次元特徴又は事後確率を生成する、ステップを有する、
ニューラルネットワークベース信号処理方法。
（付記８）
前記ステップ（ａ）において、統計を計算することによって、２つの次元に沿って多次元の特徴を絞り込み、前記ニューラルネットワークを用いて、残りの次元１つ毎にアテンション重みを生成する、
付記７に記載のニューラルネットワークベース信号処理方法。
（付記９）
前記ステップ（ａ）において、統計を計算することによって、いずれかの単一の次元に沿って多次元の特徴を絞り込み、前記ニューラルネットワークを用いて、残りの次元２つ毎にアテンション重みを生成する、
付記７に記載のニューラルネットワークベース信号処理方法。
（付記１０）
（ｃ）２つ以上の２次元特徴マップを含む多次元の特徴を受け取り、ラベル付けされた多次元の特徴を用い、分類ネットワークと共同してアテンションネットワークを訓練する、ステップを更に有する、
付記７～９のいずれかに記載のニューラルネットワークベース信号処理方法。
（付記１１）
前記ステップ（ｃ）において、重み行列と多次元の特徴とを乗算し、乗算後のラベル付けされた多次元の特徴を用いて、分類ネットワークと共同で前記アテンションネットワークを訓練する、
付記１０に記載のニューラルネットワークベース信号処理方法。
前記ステップ（ａ）において、入力された多次元の特徴が実際の発話又はなりすましから得られたものであるという事後確率を生成する、
付記７～１１のいずれかに記載のニューラルネットワークベース信号処理方法。
（付記１３）
コンピュータに、
（ａ）２つ以上の２次元特徴マップを含む多次元の特徴を受け取らせ、
ニューラルネットワークを用いて、前記多次元の特徴の要素毎にアテンション重みを生成させ、
更に、前記多次元の特徴と前記アテンション重みとに基づいて、指定されたクラス毎に、低次元特徴又は事後確率を生成させる、ステップを実行させる、
プログラム。
（付記１４）
前記ステップ（ａ）において、統計を計算することによって、２つの次元に沿って多次元の特徴を絞り込み、前記ニューラルネットワークを用いて、残りの次元１つ毎にアテンション重みを生成する、
付記１３に記載のプログラム。
（付記１５）
前記ステップ（ａ）において、統計を計算することによって、いずれかの単一の次元に沿って多次元の特徴を絞り込み、前記ニューラルネットワークを用いて、残りの次元２つ毎にアテンション重みを生成する、
付記１３に記載のプログラム。
（付記１６）
前記コンピュータに、
（ｃ）２つ以上の２次元特徴マップを含む多次元の特徴を受け取り、ラベル付けされた多次元の特徴を用い、分類ネットワークと共同してアテンションネットワークを訓練する、ステップを更に実行させる、
付記１３～１５のいずれかに記載のプログラム。
（付記１７）
前記ステップ（ｃ）において、重み行列と多次元の特徴とを乗算し、乗算後のラベル付けされた多次元の特徴を用いて、分類ネットワークと共同で前記アテンションネットワークを訓練する、
付記１６に記載のプログラム。
（付記１８）
前記ステップ（ａ）において、入力された多次元の特徴が実際の発話又はなりすましから得られたものであるという事後確率を生成する、
付記１３～１７のいずれかに記載のプログラム。
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
上記のように、本発明によれば、話者のなりすまし検出において音声から得られた複数のスペクトログラムを使用することにより、誤認識を抑制することが可能である。 本発明は、例えば、話者認証の分野において有用である。
１０ 特徴マップ抽出部
２０ マルチ特徴マップスタッキング部
３０ 多次元アテンティブニューラルネットワーク（ＮＮ）訓練部
４０ ニューラルネットワーク（ＮＮ）パラメータ格納部
５０ 多次元アテンティブニューラルネットワーク（ＮＮ）評価部
１００ ニューラルネットワークベース信号処理装置
１１１ ＣＰＵ
１１２ メインメモリ
１１３ 記憶装置
１１４ 入力インターフェイス
１１５ 表示コントローラ
１１６ データリーダ／ライタ
１１７ 通信インターフェイス
１１８ 入力機器
１１９ ディスプレイ装置
１２０ 記録媒体
１２１ バス

Claims (7)

  1. ２つ以上の２次元特徴マップを含む多次元の特徴を受け取り、
    ニューラルネットワークを用いて、前記多次元の特徴の要素毎にアテンション重みを生成し、
    更に、前記多次元の特徴と前記アテンション重みとに基づいて、指定されたクラス毎に、低次元特徴又は事後確率を生成する、
    多次元アテンティブニューラルネットワーク評価手段を備え、
    前記多次元アテンティブニューラルネットワーク評価手段は、統計を計算することによって、２つの次元に沿って多次元の特徴を絞り込み、前記ニューラルネットワークを用いて、残りの次元１つ毎にアテンション重みを生成する、
    ニューラルネットワークベース信号処理装置。
  2. 前記多次元アテンティブニューラルネットワーク評価手段は、統計を計算することによって、いずれかの単一の次元に沿って多次元の特徴を絞り込み、前記ニューラルネットワークを用いて、残りの次元２つ毎にアテンション重みを生成する、
    請求項１に記載のニューラルネットワークベース信号処理装置。
  3. ２つ以上の２次元特徴マップを含む多次元の特徴を受け取り、ラベル付けされた多次元の特徴を用い、分類ネットワークと共同してアテンションネットワークを訓練する、
    多次元アテンティブニューラルネットワーク訓練手段を更に備えている、
    請求項１に記載のニューラルネットワークベース信号処理装置。
  4. 前記多次元アテンティブニューラルネットワーク訓練手段は、
    重み行列と多次元の特徴とを乗算し、乗算後のラベル付けされた多次元の特徴を用いて、分類ネットワークと共同で前記アテンションネットワークを訓練する、
    請求項３に記載のニューラルネットワークベース信号処理装置。
  5. 前記多次元アテンティブニューラルネットワーク評価手段は、入力された多次元の特徴が実際の発話又はなりすましから得られたものであるという事後確率を生成する、
    請求項１に記載のニューラルネットワークベース信号処理装置。
  6. コンピュータが実行する方法であって、
    （ａ）２つ以上の２次元特徴マップを含む多次元の特徴を受け取り、
    ニューラルネットワークを用いて、前記多次元の特徴の要素毎にアテンション重みを生成し、
    更に、前記多次元の特徴と前記アテンション重みとに基づいて、指定されたクラス毎に、低次元特徴又は事後確率を生成し、
    （ｂ）統計を計算することによって、２つの次元に沿って多次元の特徴を絞り込み、前記ニューラルネットワークを用いて、残りの次元１つ毎にアテンション重みを生成する、
    ニューラルネットワークベース信号処理方法。
  7. コンピュータに、
    （ａ）２つ以上の２次元特徴マップを含む多次元の特徴を受け取らせ、
    ニューラルネットワークを用いて、前記多次元の特徴の要素毎にアテンション重みを生成させ、
    更に、前記多次元の特徴と前記アテンション重みとに基づいて、指定されたクラス毎に、低次元特徴又は事後確率を生成させ、
    （ｂ）統計を計算することによって、２つの次元に沿って多次元の特徴を絞り込ませ、前記ニューラルネットワークを用いて、残りの次元１つ毎にアテンション重みを生成させる、
    プログラム。
JP2022520943A 2019-10-18 2019-10-18 ニューラルネットワークベース信号処理装置、ニューラルネットワークベース信号処理方法、及びプログラム Active JP7367862B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/041226 WO2021075063A1 (en) 2019-10-18 2019-10-18 Neural network-based signal processing apparatus, neural network-based signal processing method, and computer-readable storage medium

Publications (2)

Publication Number Publication Date
JP2023502310A JP2023502310A (ja) 2023-01-24
JP7367862B2 true JP7367862B2 (ja) 2023-10-24

Family

ID=75537350

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022520943A Active JP7367862B2 (ja) 2019-10-18 2019-10-18 ニューラルネットワークベース信号処理装置、ニューラルネットワークベース信号処理方法、及びプログラム

Country Status (3)

Country Link
US (1) US20220335950A1 (ja)
JP (1) JP7367862B2 (ja)
WO (1) WO2021075063A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020261552A1 (en) * 2019-06-28 2020-12-30 Nec Corporation Spoofing detection apparatus, spoofing detection method, and computer-readable storage medium
US11756572B2 (en) * 2020-12-02 2023-09-12 Google Llc Self-supervised speech representations for fake audio detection
CN113611314A (zh) * 2021-08-03 2021-11-05 成都理工大学 一种说话人识别方法及系统
US11955122B1 (en) * 2021-09-28 2024-04-09 Amazon Technologies, Inc. Detecting machine-outputted audio
CN114259255B (zh) * 2021-12-06 2023-12-08 深圳信息职业技术学院 一种基于频域信号与时域信号的模态融合胎心率分类方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
OKABE,Koji et al，Attentive Statistics Pooling for Deep Speaker Embedding，[online]， arXiv:1803.10963v2，arXiv(Cornell University)，2019年02月25日，pp. 1-5，インターネット:<URL:https://arxiv.org/pdf/1803.10963v2.pdf>,<URL:https://arxiv.org/abs/1803.10963v2>
SALAKHUTDINOV,Russ，STA4273H: Statistical Machine Learning Lecture 3，[online]，University of Toronto，2011年，pp.1-55，インターネット<https://utstat.toronto.edu/~rsalakhu/sta4273><https://utstat.toronto.edu/~rsalakhu/sta4273/notes/Lecture3.pdf>，［検索日 2023年6月13日］
TAKAHASHI,Gen et al，Acoustic Scene Classification Based on Spatial Feature Extraction Using Convolutional Neural Networks，Journal of Signal Processing，Research Institute of Signal Processing，2018年07月，Vol.22 No.4，pp.199-202，ISSN:1880-1013
ZHANG, Chunlei et al，OINT INFORMATION FROM NONLINEAR AND LINEAR FEATURES FOR SPOOFING DETECTION:AN I-VECTOR/DNN BASED APPROACH，Proceedings of the 2016 IEEE International Conference on Acoustic, Speech and Signal Processing (ICASSP 2016)，IEEE，2016年，pp. 5035-5039，ISSN:978-1-4799-9988-0

Also Published As

Publication number Publication date
WO2021075063A1 (en) 2021-04-22
JP2023502310A (ja) 2023-01-24
US20220335950A1 (en) 2022-10-20

Similar Documents

Publication Publication Date Title
JP7367862B2 (ja) ニューラルネットワークベース信号処理装置、ニューラルネットワークベース信号処理方法、及びプログラム
CN106683663B (zh) 神经网络训练设备和方法以及语音识别设备和方法
US10127905B2 (en) Apparatus and method for generating acoustic model for speech, and apparatus and method for speech recognition using acoustic model
US11817103B2 (en) Pattern recognition apparatus, pattern recognition method, and storage medium
WO2020003533A1 (en) Pattern recognition apparatus, pattern recognition method, and computer-readable recording medium
You et al. Comparative study of singing voice detection based on deep neural networks and ensemble learning
CN112634935B (zh) 语音分离方法、装置、电子设备和可读存储介质
CN111444967A (zh) 生成对抗网络的训练方法、生成方法、装置、设备及介质
CN113870831A (zh) 基于对抗网络的声音样本生成方法、装置、设备及介质
Morfi et al. Deep perceptual embeddings for unlabelled animal sound events
Oo et al. Fusion of Log-Mel Spectrogram and GLCM feature in acoustic scene classification
Cai et al. Identifying source speakers for voice conversion based spoofing attacks on speaker verification systems
JP7396376B2 (ja) なりすまし検出装置、なりすまし検出方法、及びプログラム
US11580967B2 (en) Speech feature extraction apparatus, speech feature extraction method, and computer-readable storage medium
Liao et al. Adversarial speaker distillation for countermeasure model on automatic speaker verification
Himawan et al. Voice presentation attack detection using convolutional neural networks
Magazine et al. Fake speech detection using modulation spectrogram
Keshav et al. Multimodal approach for code-mixed speech sentiment classification
US20200302917A1 (en) Method and apparatus for data augmentation using non-negative matrix factorization
CN113488027A (zh) 一种层级分类的生成音频溯源方法及存储介质、计算机设备
US11348575B2 (en) Speaker recognition method and apparatus
JP6220733B2 (ja) 音声分類装置、音声分類方法、プログラム
CN115022733B (zh) 摘要视频生成方法、装置、计算机设备及存储介质
Sahane et al. Detection of Fake Audio: A Deep Learning-Based Comprehensive Survey
Arı et al. Randomized matrix decompositions and exemplar selection in large dictionaries for polyphonic piano transcription

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220405

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230620

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230817

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230912

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230925

R151 Written notification of patent or utility model registration

Ref document number: 7367862

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151