WO2024190063A1

WO2024190063A1 - 情報処理装置、情報処理方法、及び、記録媒体

Info

Publication number: WO2024190063A1
Application number: PCT/JP2024/000990
Authority: WO
Inventors: 謙光遠藤; 仁山本; ホンヤン
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2023-03-13
Filing date: 2024-01-16
Publication date: 2024-09-19
Anticipated expiration: 2025-09-13
Also published as: JPWO2024190063A1

Abstract

情報処理装置は、雑音混合音声が入力された音声強調マスク推定モデルが出力した推定音声強調マスク、及び雑音混合音声が入力された雑音強調マスク推定モデルが出力した推定雑音強調マスクを用いて拘束ロスを算出する拘束ロス算出部と、推定音声強調マスクと目標音声強調マスクとの違いを示す音声強調マスクロス、推定雑音強調マスクと目標雑音強調マスクとの違いを示す雑音強調マスクロス、及び拘束ロスを用いて、音声強調マスク推定モデルが含むパラメータ、及び雑音強調マスク推定モデルが含むパラメータを更新するパラメータ更新部とを備え、精度よく音声強調をすることができる音声強調マスク推定モデルを生成する。

Description

情報処理装置、情報処理方法、及び、記録媒体

　この開示は、情報処理装置、情報処理方法、及び、記録媒体の技術分野に関する。

　非特許文献１には、モデルにより音声強調マスクと雑音強調マスクとを推定し、推定した各マスクを用いて指標を計算し、計算した指標と指標の理想値とのずれを用いてモデルを学習させる技術が記載されている。

Investigations on Data Augmentation and Loss Functions for Deep Learning Based Speech-Background Separation; Interspeech 2018; P.3499-3503

　この開示は、先行技術文献に記載された技術の改良を目的とする情報処理装置、情報処理方法、及び、記録媒体を提供することを課題とする。

　情報処理装置の一の態様は、雑音混合音声が入力された音声強調マスク推定モデルが出力した推定音声強調マスク、及び前記雑音混合音声が入力された雑音強調マスク推定モデルが出力した推定雑音強調マスクを用いて拘束ロスを算出する拘束ロス算出手段と、前記推定音声強調マスクと雑音混合音声中の音声と雑音が既知な場合に計算される目標音声強調マスクとの違いを示す音声強調マスクロス、前記推定雑音強調マスクと目標雑音強調マスクとの違いを示す雑音強調マスクロス、及び前記拘束ロスを用いて、前記音声強調マスク推定モデルが含むパラメータ、及び前記雑音強調マスク推定モデルが含むパラメータを更新するパラメータ更新手段とを備える。

　情報処理方法の一の態様は、雑音混合音声が入力された音声強調マスク推定モデルが出力した推定音声強調マスク、及び前記雑音混合音声が入力された雑音強調マスク推定モデルが出力した推定雑音強調マスクを用いて拘束ロスを算出し、前記推定音声強調マスクと雑音混合音声中の音声と雑音が既知な場合に計算される目標音声強調マスクとの違いを示す音声強調マスクロス、前記推定雑音強調マスクと目標雑音強調マスクとの違いを示す雑音強調マスクロス、及び前記拘束ロスを用いて、前記音声強調マスク推定モデルが含むパラメータ、及び前記雑音強調マスク推定モデルが含むパラメータを更新する。

　記録媒体の一の態様は、コンピュータに、雑音混合音声が入力された音声強調マスク推定モデルが出力した推定音声強調マスク、及び前記雑音混合音声が入力された雑音強調マスク推定モデルが出力した推定雑音強調マスクを用いて拘束ロスを算出し、前記推定音声強調マスクと雑音混合音声中の音声と雑音が既知な場合に計算される目標音声強調マスクとの違いを示す音声強調マスクロス、前記推定雑音強調マスクと目標雑音強調マスクとの違いを示す雑音強調マスクロス、及び前記拘束ロスを用いて、前記音声強調マスク推定モデルが含むパラメータ、及び前記雑音強調マスク推定モデルが含むパラメータを更新する情報処理方法を実行させるためのコンピュータプログラムが記録されている。

図１は、第１実施形態における情報処理装置の構成を示すブロック図である。図２は、第２実施形態における情報処理装置の構成を示すブロック図である。図３は、第２実施形態における情報処理装置の情報処理動作の流れを示すフローチャートである。図４は、第３実施形態における情報処理装置の構成を示すブロック図である。図５は、第４実施形態における情報処理装置の構成を示すブロック図である。図６は、第５実施形態における情報処理装置の構成を示すブロック図である。図７は、第５実施形態における情報処理装置の情報処理動作の流れを示すフローチャートである。図８は、第６実施形態における情報処理装置の構成を示すブロック図である。図９は、第６実施形態における情報処理装置の情報処理動作の流れを示すフローチャートである。

　以下、図面を参照しながら、情報処理装置、情報処理方法、及び、記録媒体の実施形態について説明する。
　［１：第１実施形態］

　情報処理装置、情報処理方法、及び、記録媒体の第１実施形態について説明する。以下では、情報処理装置、情報処理方法、及び記録媒体の第１実施形態が適用された情報処理装置１を用いて、情報処理装置、情報処理方法、及び記録媒体の第１実施形態について説明する。
　［１－１：情報処理装置１の構成］

　図１は、第１実施形態における情報処理装置１の構成を示すブロック図である。図１に示すように、情報処理装置１は、拘束ロス算出部１１と、パラメータ更新部１２とを備える。

　拘束ロス算出部１１は、雑音混合音声が入力された音声強調マスク推定モデルが出力した推定音声強調マスク、及び雑音混合音声が入力された雑音強調マスク推定モデルが出力した推定雑音強調マスクを用いて拘束ロスを算出する。パラメータ更新部１２は、推定音声強調マスクと目標音声強調マスクとの違いを示す音声強調マスクロス、推定雑音強調マスクと目標雑音強調マスクとの違いを示す雑音強調マスクロス、及び拘束ロスを用いて、音声強調マスク推定モデルが含むパラメータ、及び雑音強調マスク推定モデルが含むパラメータを更新する。なお、「雑音混合音声」、「音声強調マスク推定モデル」、「推定音声強調マスク」、「雑音強調マスク推定モデル」、「推定雑音強調マスク」、「拘束ロス」、「目標音声強調マスク」、「音声強調マスクロス」、「目標雑音強調マスク」、及び「雑音強調マスクロス」という語句については、後述する他の実施形態において詳しく説明する。
　［１－２：情報処理装置１の技術的効果］

　第１実施形態における情報処理装置１は、入力音声に含まれる目的音声以外の雑音の時刻、周波数帯域の音量を相対的に減少する音声強調マスク推定モデルが出力した推定音声強調マスク、及び入力音声に含まれる目的音声の時刻、周波数帯域の音量を相対的に減少する雑音強調マスク推定モデルが出力した推定雑音強調マスクを用いて算出した拘束ロスを導入する。情報処理装置１は、音声強調マスクの推定値と目標値との違い、雑音強調マスクの推定値と目標値との違い、及び拘束ロスを用いて、音声強調マスク推定モデルが含むパラメータを更新するので、精度よく音声強調をすることができる音声強調マスク推定モデルを生成することができる。
　［２：第２実施形態］

　続いて、情報処理装置、情報処理方法、及び記録媒体の第２実施形態について説明する。以下では、情報処理装置、情報処理方法、及び記録媒体の第２実施形態が適用された情報処理装置２を用いて、情報処理装置、情報処理方法、及び記録媒体の第２実施形態について説明する。
　［２－１－１：音声と雑音］

　本実施形態において、「音声」とは、対象とする音信号を表す。本実施形態において、「音声」を「対象信号」と称する場合がある。また、本実施形態において、「雑音」とは、対象としない音信号を表す。本実施形態において、「雑音」を「対象外信号」と称する場合がある。

　音声は、注目したい音であってもよい。音声は、人物の声であってもよい。音声は、特定の人物の声であってもよい。特定の人物は、１以上の人物であってもよい。特定の人物は、マイク等の音を取得する機構の近くに居る人物であってもよい。「音声」は、場面に応じて異なる音信号を表していてもよい。

　本実施形態において、「雑音混合音声」とは、「雑音」が混合されている「音声」である。「雑音混合音声」は、対象とする音信号である「音声」と、対象としない音信号である「雑音」とを含む。「雑音混合音声」に含まれる音信号は、「音声」、及び「雑音」の何れかである。言い換えると、「雑音混合音声」に含まれる「音声」ではない音信号は「雑音」である。また、「雑音混合音声」に含まれる「雑音」ではない音信号は「音声」である。また、本実施形態において、情報処理装置２に入力される入力信号は、「雑音混合音声」である。すなわち、情報処理装置２に入力される入力信号は、対象信号である「音声」と、対象外信号である「雑音」からなる。
　［２－１－２：音声強調技術］

　音声に混入している音声以外の雑音をマイクロフォンが拾う場合がある。この場合、音声に対して雑音が相対的に大きければ大きいほど、音声は聞き取りにくくなる。音声強調技術は、雑音混合音声から音声を雑音に対して相対的に大きくする技術である。本技術は、雑音が混合されている音声から雑音を抑制して音声を強調し、より聞き取り易い音声を提供する技術であってもよい。雑音が混合されている音声から、音声のみを強調し、より聞き取り易い音声を提供する技術であってもよい。音声強調技術は、高雑音の状況下において、通話音声の雑音を除去することができてもよい。また、音声強調技術は、通話相手の音声を強調して、より円滑なコミュニケーションを可能にしてもよい。また、音声強調技術は、音声認識器の認識率を向上させてもよい。

　また、マスク型音声強調技術は、雑音の音量を下げる時刻、周波数帯、音量の減少量を指定する音声強調マスクを推定する。マスク型音声強調技術は、雑音が混合されている雑音混合音声に当該音声強調マスクを施すことで、音声を聞き取り易くする技術であってもよい。本実施形態では、マスク型音声強調技術においては、音声強調マスクを推定する音声強調マスク推定モデルを機械学習してもよい。本実施形態において作成された音声強調マスク推定モデルは、音声を強調する場面に適用されてもよい。

　本実施形態において作成される音声強調マスク推定モデルは、クリーンな音声に雑音を重畳した雑音混合音声音を入力信号として用いて学習をされる。クリーンな音声とは、雑音が極めて少ない音であってもよい。本実施形態における機械学習は、深層学習であってもよい。
　［２－１－３：音声強調マスク、及び雑音強調マスク］

　音声強調マスク推定モデルは、雑音混合音声が入力されると音声強調マスクを出力するモデルである。音声強調マスク推定モデルが推定する音声強調マスクを推定音声強調マスクと呼んでもよい。推定音声強調マスクを推定値と呼ぶ場合がある。音声強調マスクは、下記式１のように表現してもよい。
　［式１］

　Ｓ（ｔ，ｆ）^２は、「音声」のパワーを示す。また、Ｎ（ｔ，ｆ）^２は、「雑音」のパワーを示す。

　音声強調マスクは、「雑音混合音声」のパワーのうちの「音声」のパワーの割合で表現する。

　上述の通り、本実施形態は、音声を強調することを目的として音声強調マスク推定モデルを学習をさせて作成するが、音声強調と伴に雑音強調も学習させることで、音声強調マスク推定モデルの学習を促進できることが期待できる。

　雑音強調マスクは、入力音声に含まれる目的音声の時刻、周波数帯域の音量を相対的に減少させる。雑音強調マスク推定モデルは、雑音混合音声が入力されると雑音強調マスクを出力するモデルである。雑音強調マスク推定モデルが推定する雑音強調マスクを推定雑音強調マスクと呼んでもよい。推定雑音強調マスクを推定値と呼ぶ場合がある。雑音強調マスクは、下記式２のように表現してもよい。
　［式２］

　雑音強調マスクは、「雑音混合音声」のパワーのうちの「雑音」のパワーの割合を表す。
　［２－１－４：学習］

　情報処理装置２は、音声強調マスク推定モデルと雑音強調マスク推定モデルとを学習させることにより、理想的な音声強調マスクを推定することのできる音声強調マスク推定モデルを作成してもよい。音声強調マスク推定モデル、及び雑音強調マスク推定モデルは、ニューラル・ネットワーク（Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ：ＮＮ）で実装してもよい。音声強調マスク推定モデル、及び雑音強調マスク推定モデルは、再帰的ニューラル・ネットワーク（Ｒｅｃｕｒｒｅｎｔ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ：ＲＮＮ）で実装してもよい。情報処理装置２は、音声強調マスク推定モデルによる推定値と雑音強調マスク推定モデルによる推定値とに応じて、音声強調マスク推定モデルが含むパラメータと雑音強調マスク推定モデルが含むパラメータとを更新し、理想的な音声強調マスクを推定することのできる音声強調マスク推定モデルを作成してもよい。

　教師入力信号、並びに教師入力信号に対応する理想的な音声強調マスク、及び雑音強調マスクを予め用意する。理想的な音声強調マスク（「目標音声強調マスク」と表すこともある）とは、雑音混合音声中の音声と雑音が既知な場合に計算される音声強調マスクである。また、理想的な雑音強調マスク（「目標雑音強調マスク」と表すこともある）とは、雑音混合音声中の音声と雑音が既知な場合に計算される雑音強調マスクである。

　以降、「理想的な音声強調マスク」および「理想的な雑音強調マスク」という言葉を用いて、情報処理装置２における処理を説明する。

教師入力信号とは、理想的な音声強調マスク、及び雑音強調マスクが予め用意されている入力信号である。入力信号とは、上述の通り、対象信号である「音声」と、対象外信号である「雑音」からなっていてもよい。理想的な音声強調マスクを理想音声強調マスク、又は理想値とよんでもよい。また、理想的な雑音強調マスクを理想雑音強調マスク、又は理想値とよんでもよい。また、教師入力信号、及び理想値を含む情報を、教師情報と呼んでもよい。教師情報は、後に説明する教師情報記憶部２２２に記憶されていてもよい。理想値は、パラメータの更新において、目標とする値（目標値）であってもよい。
　［２－２：情報処理装置２の構成］

　図２は、第２実施形態における情報処理装置２の構成を示すブロック図である。図２に示すように、情報処理装置２は、演算装置２１と、記憶装置２２とを備えている。更に、情報処理装置２は、通信装置２３と、入力装置２４と、出力装置２５とを備えていてもよい。但し、情報処理装置２は、通信装置２３、入力装置２４及び出力装置２５のうちの少なくとも一つを備えていなくてもよい。演算装置２１と、記憶装置２２と、通信装置２３と、入力装置２４と、出力装置２５とは、データバス２６を介して接続されていてもよい。

　演算装置２１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｅｃｓｓｉｎｇ　Ｕｎｉｔ）及びＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）のうちの少なくとも一つを含む。演算装置２１は、コンピュータプログラムを読み込む。例えば、演算装置２１は、記憶装置２２が記憶しているコンピュータプログラムを読み込んでもよい。例えば、演算装置２１は、コンピュータで読み取り可能であって且つ一時的でない記録媒体が記憶しているコンピュータプログラムを、情報処理装置２が備える図示しない記録媒体読み取り装置（例えば、後述する入力装置２４）を用いて読み込んでもよい。演算装置２１は、通信装置２３（或いは、その他の通信装置）を介して、情報処理装置２の外部に配置される不図示の装置からコンピュータプログラムを取得してもよい（つまり、ダウンロードしてもよい又は読み込んでもよい）。演算装置２１は、読み込んだコンピュータプログラムを実行する。その結果、演算装置２１内には、情報処理装置２が行うべき動作を実行するための論理的な機能ブロックが実現される。つまり、演算装置２１は、情報処理装置２が行うべき動作（言い換えれば、処理）を実行するための論理的な機能ブロックを実現するためのコントローラとして機能可能である。

　図２には、情報処理動作を実行するために演算装置２１内に実現される論理的な機能ブロックの一例が示されている。図２に示すように、演算装置２１内には、後述する付記に記載された「拘束ロス算出手段」の一具体例である拘束ロス算出部２１１と、後述する付記に記載された「パラメータ更新手段」の一具体例であるパラメータ更新部２１２と、後述する付記に記載された「音声強調マスク推定手段」の一具体例である音声強調マスク推定部２１３と、後述する付記に記載された「雑音強調マスク推定手段」の一具体例である雑音強調マスク推定部２１４と、後述する付記に記載された「音声強調マスクロス算出手段」の一具体例である音声強調マスクロス算出部２１５と、後述する付記に記載された「雑音強調マスクロス算出手段」の一具体例である雑音強調マスクロス算出部２１６と、後述する付記に記載された「合算ロス算出手段」の一具体例である合算ロス算出部２１７と、雑音混合音声入力部２１８とが実現される。音声強調マスク推定部２１３は、後述する付記に記載された「音声強調マスク推定モデル」の一具体例である音声強調マスク推定モデルを用いて音声強調マスクを推定する。雑音強調マスク推定部２１４は、後述する付記に記載された「雑音強調マスク推定モデル」の一具体例である雑音強調マスク推定モデルを用いて雑音強調マスクを推定する。但し、演算装置２１内には、音声強調マスク推定部２１３、雑音強調マスク推定部２１４、音声強調マスクロス算出部２１５、雑音強調マスクロス算出部２１６、合算ロス算出部２１７、及び雑音混合音声入力部２１８の何れかが実現されなくてもよい。拘束ロス算出部２１１、パラメータ更新部２１２、音声強調マスク推定部２１３、雑音強調マスク推定部２１４、音声強調マスクロス算出部２１５、雑音強調マスクロス算出部２１６、合算ロス算出部２１７、及び雑音混合音声入力部２１８の各々の動作の詳細については、図３を参照しながら後に説明する。

　記憶装置２２は、所望のデータを記憶可能である。例えば、記憶装置２２は、演算装置２１が実行するコンピュータプログラムを一時的に記憶していてもよい。記憶装置２２は、演算装置２１がコンピュータプログラムを実行している場合に演算装置２１が一時的に使用するデータを一時的に記憶してもよい。記憶装置２２は、情報処理装置２が長期的に保存するデータを記憶してもよい。尚、記憶装置２２は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ハードディスク装置、光磁気ディスク装置、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）及びディスクアレイ装置のうちの少なくとも一つを含んでいてもよい。つまり、記憶装置２２は、一時的でない記録媒体を含んでいてもよい。記憶装置２２は、パラメータ記憶部２２１、及び教師情報記憶部２２２を実現してもよい。パラメータ記憶部２２１は、音声強調マスク推定モデルが含むパラメータ、及び雑音強調マスク推定モデルが含むパラメータを記憶する。但し、記憶装置２２は、パラメータ記憶部２２１、及び教師情報記憶部２２２の何れかを実現しなくてもよい。

　通信装置２３は、不図示の通信ネットワークを介して、情報処理装置２の外部の装置と通信可能である。通信装置２３は、イーサネット（登録商標）、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）等の規格に基づく通信インターフェースであってもよい。

　入力装置２４は、情報処理装置２の外部からの情報処理装置２に対する情報の入力を受け付ける装置である。例えば、入力装置２４は、情報処理装置２のオペレータが操作可能な操作装置（例えば、キーボード、マウス及びタッチパネルのうちの少なくとも一つ）を含んでいてもよい。例えば、入力装置２４は情報処理装置２に対して外付け可能な記録媒体にデータとして記録されている情報を読み取り可能な読取装置を含んでいてもよい。

　出力装置２５は、情報処理装置２の外部に対して情報を出力する装置である。例えば、出力装置２５は、情報を画像として出力してもよい。つまり、出力装置２５は、出力したい情報を示す画像を表示可能な表示装置（いわゆる、ディスプレイ）を含んでいてもよい。例えば、出力装置２５は、情報を音声として出力してもよい。つまり、出力装置２５は、音声を出力可能な音声装置（いわゆる、スピーカ）を含んでいてもよい。例えば、出力装置２５は、紙面に情報を出力してもよい。つまり、出力装置２５は、紙面に所望の情報を印刷可能な印刷装置（いわゆる、プリンタ）を含んでいてもよい。
　［２－３：情報処理装置２が行う情報処理動作］

　図３を参照しながら、情報処理装置２が行う情報処理動作について説明する。図３は、情報処理装置２が行う情報処理動作の流れを示すフローチャートである。

　図３に示す様に、雑音混合音声入力部２１８は、雑音混合音声を取得し、音声強調マスク推定部２１３、及び雑音強調マスク推定部２１４に入力する（ステップＳ２０）。

　音声強調マスク推定部２１３は、音声強調マスク推定モデルを用いて音声強調マスクを推定する（ステップＳ２１）。音声強調マスク推定部２１３は、雑音混合音声が入力された音声強調マスク推定モデルが出力した推定音声強調マスクを推定値として出力する。

　雑音強調マスク推定部２１４は、雑音強調マスク推定モデルを用いて雑音強調マスクを推定する（ステップＳ２２）。雑音強調マスク推定部２１４は、雑音混合音声が入力された雑音強調マスク推定モデルが出力した推定雑音強調マスクを推定値として出力する。
　［２－３－１：音声強調マスクロス］

　音声強調マスクロス算出部２１５は、音声強調マスク推定モデルが推定した推定音声強調マスクと理想的な理想音声強調マスクとを用いて、音声強調マスクロスを算出する（ステップＳ２３）。音声強調マスクロスは、推定音声強調マスクと理想音声強調マスクとの違いを示す。音声強調マスクロスは、音声強調マスク損失関数Ｌ_Ｓにより算出されてもよい。音声強調マスク損失関数Ｌ_Ｓは、下記式３のように表現してもよい。すなわち、音声強調マスク損失関数Ｌ_Ｓは、各時刻における周波数瓶での推定値と理想値との差の二乗和で表現してもよい。Ｍ_Ｓは、音声強調マスクの推定値を表現している。また、Ｍ_Ｓ ^ｉは、音声強調マスクの理想値を表現している。
　［式３］

　なお、以下、各時刻における周波数瓶での事項を、「時間－周波数」という文言を用いて表現する場合がある。
　［２－３－２：雑音強調マスクロス］

　雑音強調マスクロス算出部２１６は、雑音強調マスク推定モデルが推定した推定雑音強調マスクと理想的な理想雑音強調マスクとを用いて、雑音強調マスクロスを算出する（ステップＳ２４）。雑音強調マスクロスは、推定雑音強調マスクと理想雑音強調マスクとの違いを示す。雑音強調マスクロスは、雑音強調マスク損失関数Ｌ_Ｎにより算出されてもよい。雑音強調マスク損失関数Ｌ_Ｎは、下記式４のように表現してもよい。すなわち、雑音強調マスク損失関数Ｌ_Ｎは、時間－周波数での推定値と理想値との差の二乗和で表現してもよい。Ｍ_Ｎは、雑音強調マスクの推定値を表現している。また、Ｍ_Ｎ ^ｉは、雑音強調マスクの理想値を表現している。
　［式４］

　［２－３－３：拘束ロス］

　上記式１で表現される音声強調マスク、及び上記式２で表現される雑音強調マスクから、下記式５を成り立たせることができる。すなわち、時間－周波数における音声強調マスク、及び雑音強調マスクの和は理想的には一定値「１」となる。本実施形態では、これを拘束条件として用いる。
　［式５］

　拘束ロス算出部２１１は、音声強調マスク推定モデルが推定した推定音声強調マスク、及び雑音強調マスク推定モデルが推定した推定雑音強調マスクを用いて拘束ロスを算出する（ステップＳ２５）。拘束ロスは、音声強調マスク、及び雑音強調マスクの和（拘束条件）の推定値と理想値との違いを示す。

　拘束条件から外れた場合、すなわち下記式６から求まる値が「０」から離れるに従いペナルティを課すように損失関数を設計する。本実施形態における拘束ロスは、下記式６から求めることができる。
　［式６］

　本実施形態では、音声と雑音との双方に関する情報として拘束条件を導入する。拘束条件は、後述するパラメータの更新の際に、音声と雑音との双方に関する情報として用いられてもよい。例えば、上記式６において、求まる値が「０」より大きい場合、すなわち、Ｍ_Ｓ＋Ｍ_Ｎが「１」よりも大きい場合は、音声強調マスクのパラメータは、音声強調がより強くなるように更新され、雑音強調マスクのパラメータも、雑音強調がより強くなるように更新されてもよい。逆に上記式６において求まる値が「０」より小さい場合は、すなわち、Ｍ_Ｓ＋Ｍ_Ｎが「１」よりも小さい場合は、音声強調マスクのパラメータは、音声強調がより弱くなるように更新され、雑音強調マスクのパラメータも、雑音強調がより弱くなるように更新されてもよい。

　推定された音声強調マスク及び雑音強調マスクが拘束条件から逸脱した量に基づいて、損失関数を導くことができる。本実施形態では、拘束条件として下記式７で示す拘束損失関数Ｌ_ＳＮを導入してもよい。下記式７は、時間－周波数の和を算出する。
　［式７］

　拘束損失関数Ｌ_ＳＮは、「０」超過の場合に損失が存在する。この拘束条件の導入により、音声強調マスク及び雑音強調マスクの一方の推定値が正しくても、他方の推定値が正しくない場合は、損失関数の値は上昇する。音声強調マスク及び雑音強調マスクの各々を独立に学習させる比較例と比較して、正確な推定をすることができるようにモデルを学習させることができる。
　［２－３－４：合算ロス］

　合算ロス算出部２１７は、音声強調マスクロス、雑音強調マスクロス、及び拘束ロスを合算した合算ロスを算出する（ステップＳ２６）。合算ロスは、合算損失関数Ｌ_ＡＬＬにより算出されてもよい。合算損失関数Ｌ_ＡＬＬは、下記式８のように表現してもよい。合算損失関数Ｌ_ＡＬＬから求まる合算ロスを、全ロスと呼んでもよい。
　［式８］

　λは、「０」から「１」の間の値であってもよい。λは、１未満の正数であってもよい。λは、「０．０１」、「０．１」等の「１」と比較して小さい値であってもよい。λは、モデルの学習過程において、一定でもよいし、変化させてもよい。λは、モデルの学習過程において、開始の際には特に小さく、終了の際に大きくなってもよい。

　なお、上記式８では、合算において、音声強調マスク損失関数Ｌ_Ｓと雑音強調マスク損失関数Ｌ_Ｎとに同じ重みを付しているが、音声強調マスク損失関数Ｌ_Ｓと雑音強調マスク損失関数Ｌ_Ｎとには異なる重みを付してもよい。例えば下記式９に示す合算損失関数Ｌ_ＡＬＬにより全ロスを算出してもよい。
　［式９］

　上記「ａ」及び「ｂ」は異なる値であってもよい。また、上記「ａ」及び「ｂ」は同じ値であってもよい。上記「ａ」及び「ｂ」が共に「１」の場合、上記式９は上記式８と等しくなる。
　［２－３－５：パラメータ更新］

　パラメータ更新部２１２は、合算ロス算出部２１７の算出結果に応じて、音声強調マスク推定モデルが含むパラメータと雑音強調マスク推定モデルが含むパラメータとを更新する（ステップＳ２７）。パラメータ更新部２１２は、推定音声強調マスクと理想的な理想音声強調マスクとの違いを示す音声強調マスクロス、推定雑音強調マスクと理想的な理想雑音強調マスクとの違いを示す雑音強調マスクロス、及び拘束ロスを用いて、音声強調マスク推定モデルが含むパラメータと雑音強調マスク推定モデルが含むパラメータとを更新する。パラメータ更新部２１２は、パラメータ記憶部２２１に記憶されている音声強調マスク推定モデルが含むパラメータと雑音強調マスク推定モデルが含むパラメータとを更新する。パラメータ更新部２１２は、例えば、逆誤差伝搬法を用いて、音声強調マスク推定モデルのパラメータと雑音強調マスク推定モデルのパラメータとを更新してもよい。

　本実施形態における情報処理装置２は、拘束損失関数Ｌ_ＳＮを通じて音声強調マスク推定モデル、及び雑音強調マスク推定モデルの双方の学習をすすめることができる。音声強調マスク推定モデルは、音声強調マスク推定モデルが含む情報、及び雑音強調マスク推定モデルが含む情報を結合させた情報を用いて学習されることができる。
　［２－４：拘束条件の許容範囲］

　上述した通り、音声強調マスクと雑音強調マスクとの和は理想的には「１」であり、本実施形態では、これを拘束条件として用いている。一方、この拘束条件は、厳密に「１」でなくてもよい場合がある。この場合、例えば、下記式１０に示す様に、「１」を「１＋ε」に置き換えてもよい。
　［式１０］

　「ε」は「１」と比較して非常に小さな正数である。「１」を「１＋ε」に置き換えた場合、「ε」程度の誤差を許容することができる。「ε」は、設計により任意に変更することができてもよい。上記式１０の分母のＳ^ｉ、及びＮ^ｉは、理想値を表現しており、分子のＳ、及びＮは、推定値を表現している。

　「１」を「１＋ε」に置き換得た場合、拘束損失関数Ｌ_ＳＮは、下記式１１のように表現してもよい。
　［式１１］

　拘束損失関数Ｌ_ＳＮから求まる拘束ロスからは、音声強調マスク、及び雑音強調マスクの何れが理想値と比較して大きいのか又は小さいのかが不明である。音声強調マスクと雑音強調マスクとの和が「１」を超える場合、すなわち、正数の「ε」を採用した場合とは、推定音声強調マスク、及び推定雑音強調マスクの少なくとも一方が理想値と比較して大きい場合である。すなわち、正数の「ε」を採用すると、音声から完全に雑音を抑制できない可能性がある。よって、多少の雑音を許容してもよい場合においては、正数の「ε」を許容してもよい。

　一方で、音声強調マスクと雑音強調マスクとの和が「１」未満の場合、すなわち、負数の「ε」を採用した場合とは、推定音声強調マスク、及び推定雑音強調マスクの少なくとも一方が理想値と比較して小さい場合である。すなわち、負数の「ε」を採用すると、残すべき音である音声を削りすぎてしまう場合がある。音声を削りすぎると音声が聞き取りにくくなるので、負数の「ε」は許容しない。パラメータ更新部２１２は、少なくとも、音声強調マスクと雑音強調マスクとの和が「１」未満とはならないように、パラメータを更新する。
　［２－５：変形例］

　音声が、複数の人物の声を含む場合、音声強調マスク推定部２１３は、複数の人物各々に対応する音声強調マスクを推定してもよい。各々の人物に対応する音声強調マスク推定モデルが用意されており、各々の音声強調マスク推定モデルは、人物に対応する音声強調マスクを出力してもよい。

　例えば、音声が人物Ａの声と人物Ｂの声を含む場合、人物Ａの声に対応する音声強調マスク推定モデルＡ、及び人物Ｂの声に対応する音声強調マスク推定モデルＢが学習されてもよい。音声強調マスク推定モデルＡは、雑音混合音声が入力されると人物Ａの声に対応する音声強調マスクＭ_ＳＡを出力し、音声強調マスク推定モデルＢは、雑音混合音声が入力されると人物Ｂの声に対応する音声強調マスクＭ_ＳＢを出力してもよい。

　音声強調マスクＭ_ＳＡ、及び音声強調マスクＭ_ＳＢを出力する場合の拘束条件は、下記式１２のように表現してもよい。
　［式１２］

　なお、本実施形態では、平均二乗誤差を用いた損失関数を例を挙げたが、平均二乗誤差以外の手法を用いた損失関数を採用してもよい。
　［２－６：情報処理装置２の技術的効果］

　例えば上記非特許文献１には、モデルにより音声強調マスクと雑音強調マスクとを推定し、推定値と理想値との違いを損失として算出し、モデルを学習させる技術が記載されている。上記非特許文献１に記載されている技術を比較例とよぶ。比較例においては、モデルにより推定された音声強調マスクの評価に、モデルにより推定された雑音強調マスクの情報を用いることがない。また、モデルにより推定された雑音強調マスクの評価に、モデルにより推定された音声強調マスクの情報を用いることもない。すなわち、推定された音声強調マスクと推定された雑音強調マスクとは各々独立して評価されている。

　上述の通り、入力信号に含まれるのは、音声と雑音（上述の通り、本実施形態では音声以外を「雑音」とよんでいる）である。したがって、音声強調マスクの理想値と雑音強調マスクの理想値との和は一定値「１」となる。上述の通り、音声強調マスクと雑音強調マスクとの和が「１」を超えた場合、音声強調マスクの推定値、及び雑音強調マスクの推定値の少なくとも一方が理想値と比較して大きく、音声から完全に雑音を抑制できない可能性がある。また、音声強調マスクと雑音強調マスクとの和が「１」未満の場合、音声強調マスクの推定値、及び雑音強調マスクの推定値の少なくとも一方が理想値と比較して小さく、残すべき音である音声を削りすぎてしまう場合がある。例えば、短時間に急変する雑音が入力信号に含まれている場合の推定において、音声を削りすぎてしまう場合が多い。音声を削りすぎると音声が聞き取りにくくなるころを避けるべく、特に音声を削りすぎは抑制することが望ましい。

　比較例では、推定された音声強調マスクと推定された雑音強調マスクとは各々独立して評価しており、音声強調マスクと雑音強調マスクとの和が一定値「１」であるか否かは不明である。したがって、音声から完全に雑音を抑制できないのみならず、残すべき音である音声を削りすぎてしまう場合がある。また、雑音の種類は多様であり、雑音強調マスクの精度は、音声強調マスクと比較して低精度となる場合が多いので、雑音強調マスクの独立した評価をモデルのパラメータの更新に用いると、音声強調の精度が悪くなる可能性がある。

　第２実施形態における情報処理装置２は、音声強調マスク推定部２１３による推定結果と、雑音強調マスク推定部２１４による推定結果とを用いて算出される拘束ロスを導入する。そして、音声強調マスクロス、雑音強調マスクロス、及び拘束ロスを合算した合算ロスを用いて、音声強調マスク推定モデルが含むパラメータを更新するので、音声から雑音を抑制し、残すべき音である音声を削りすぎることを防ぐことができる。情報処理装置２は、精度よく音声強調をすることができる音声強調マスク推定モデルを作成することができる。
　［３：第３実施形態］

　続いて、情報処理装置、情報処理方法、及び記録媒体の第３実施形態について説明する。以下では、情報処理装置、情報処理方法、及び記録媒体の第３実施形態が適用された情報処理装置３を用いて、情報処理装置、情報処理方法、及び記録媒体の第３実施形態について説明する。

　図４は、第３実施形態における情報処理装置３の構成を示すブロック図である。第３実施形態における情報処理装置３は、拘束ロス算出部３１１の動作が第２実施形態における情報処理装置２と異なる。
　［３－１：情報処理装置３が行う情報処理動作］

　第３実施形態において拘束ロス算出部３１１は、推定音声強調マスク、及び推定雑音強調マスクに雑音混合音声の大きさを乗じて、拘束ロスを算出する。拘束ロス算出部３１１は、時間－周波数での推定音声強調マスク、及び推定雑音強調マスクに雑音混合音声の大きさを乗じて、拘束ロスを算出してもよい。雑音混合音声の大きさは、雑音混合音声の振幅の絶対値であってもよい。雑音混合音声の大きさは、雑音混合音声の対数パワースペクトラム（Ｌｏｇ　ｐｏｗｅｒ　ｓｐｅｃｔｒｕｍ）であってもよい。雑音混合音声の大きさは、正規化した値であってもよい。当該値は、設計により任意に変更することができてもよい。

　雑音混合音声の大きさをＬＰＳ_{ｉｎｐｕｔ}と表す場合、第３実施形態における拘束損失関数Ｌ_ＳＮは、下記式１３のように表現してもよい。
　［式１３］

　ＬＰＳ_{ｉｎｐｕｔ}を乗じると、ＬＰＳ_{ｉｎｐｕｔ}が大きい時間－周波数における誤差をより重視することができる。これは、振幅スペクトラム近似（ｍａｇｎｉｔｕｄｅ　ｓｐｅｃｔｒｕｍ　ａｐｐｒｏｘｉｍａｔｉｏｎ：ＭＳＡ）の適用に相当する。

　ＬＰＳ_{ｉｎｐｕｔ}を乗じると、例えば新幹線の通過音のような短時間に急変する雑音の学習時に有効である。小さな入力信号よりも大きな入力信号の方に重みをを与えることになり、大きな入力信号に関する誤差をより強調することができる。
　［３－２：情報処理装置３の技術的効果］

　第３実施形態における情報処理装置３は、雑音混合音声の大きさを乗じるので、特に大きな入力信号に関する雑音を抑制することができる。
　［４：第４実施形態］

　続いて、情報処理装置、情報処理方法、及び記録媒体の第４実施形態について説明する。以下では、情報処理装置、情報処理方法、及び記録媒体の第４実施形態が適用された情報処理装置４を用いて、情報処理装置、情報処理方法、及び記録媒体の第４実施形態について説明する。

　図５は、第４実施形態における情報処理装置４の構成を示すブロック図である。第４実施形態における情報処理装置４は、拘束ロス算出部４１１の動作が第２実施形態における情報処理装置２、及び第３実施形態における情報処理装置３と異なる。
　［４－１：情報処理装置４が行う情報処理動作］

　第４実施形態において拘束ロス算出部４１１は、推定音声強調マスク、及び推定雑音強調マスクを所定の指数で冪乗して、拘束ロスを算出する。拘束ロス算出部４１１は、時間－周波数での推定音声強調マスク、及び推定雑音強調マスクを所定の指数で冪乗して、拘束ロスを算出してもよい。所定の指数は、０以上１以下の値を取り得てもよい。

　所定の指数をαと表す場合、第４実施形態における拘束損失関数Ｌ_ＳＮは、下記式１４のように表現してもよい。
　［式１４］

　αを冪乗すると、例えば、エアコンの音のような定常的な雑音をより重点的に学習することができる。これは、べき乗圧縮（Ｐｏｗｅｒ－ｌａｗ　ｃｏｍｐｒｅｓｓｉｏｎ）の適用に相当する効果を期待することができる。

　なお、第４実施形態においても、第３実施形態において適用したＬＰＳ_{ｉｎｐｕｔ}を適用してもよい。この場合、第４実施形態における拘束損失関数Ｌ_ＳＮは、下記式１５のように表現してもよい。
　［式１５］

　［４－２：情報処理装置４の技術的効果］

　第４実施形態における情報処理装置４は、αを適用することにより、小さい信号をより重点的に学習することができる。
　［５：第５実施形態］

　続いて、情報処理装置、情報処理方法、及び記録媒体の第５実施形態について説明する。以下では、情報処理装置、情報処理方法、及び記録媒体の第５実施形態が適用された情報処理装置５を用いて、情報処理装置、情報処理方法、及び記録媒体の第５実施形態について説明する。
　［５－１：情報処理装置５の構成］

　図６に示すように、第５実施形態における情報処理装置５は、第２実施形態における情報処理装置２から第４実施形態における情報処理装置４と同様に、演算装置２１と、記憶装置２２とを備えている。更に、第５実施形態における情報処理装置５は、第２実施形態における情報処理装置２から第４実施形態における情報処理装置４と同様に、通信装置２３と、入力装置２４と、出力装置２５とを備えていてもよい。但し、情報処理装置５は、通信装置２３、入力装置２４及び出力装置２５のうちの少なくとも１つを備えていなくてもよい。第５実施形態における情報処理装置５は、演算装置２１内に音響特徴抽出部５１９が更に実現される点で、第２実施形態における情報処理装置２から第４実施形態における情報処理装置４と異なる。情報処理装置５のその他の特徴は、第２実施形態における情報処理装置２から第４実施形態における情報処理装置４の少なくとも１つのその他の特徴と同一であってもよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
　［５－２：情報処理装置５が行う情報処理動作］

　図７を参照しながら、情報処理装置５が行う情報処理動作について説明する。図７は、情報処理装置５が行う情報処理動作の流れを示すフローチャートである。

　図７に示す様に、雑音混合音声入力部５１８は、雑音混合音声を取得し、音響特徴抽出部５１９に入力する（ステップＳ５０）。音響特徴抽出部５１９は、雑音混合音声から雑音混合音声の特徴である雑音混合音声特徴を抽出する（ステップＳ５１）。音響特徴抽出部５１９は、雑音混合音声が入力され、雑音混合音声特徴を出力する音響特徴抽出モデルを有していてもよい。音響特徴抽出モデルは、ＲＮＮで実装してもよい。

　音声強調マスク推定部５１３は、音声強調マスク推定モデルを用いて音声強調マスクを推定する（ステップＳ５２）。第５実施形態において、音声強調マスク推定モデルは、雑音混合音声特徴が入力され、推定音声強調マスクを出力してもよい。音声強調マスク推定部５１３は、雑音混合音声特徴が入力された音声強調マスク推定モデルが出力した推定音声強調マスクを推定値として出力してもよい。

　雑音強調マスク推定部５１４は、雑音強調マスク推定モデルを用いて雑音強調マスクを推定する（ステップＳ５３）。第５実施形態において、雑音強調マスク推定モデルは、雑音混合音声特徴が入力され、推定雑音強調マスクを出力してもよい。雑音強調マスク推定部５１４は、雑音混合音声特徴が入力された雑音強調マスク推定モデルが出力した推定雑音強調マスクを推定値として出力してもよい。

　音声強調マスクロス算出部５１５は、音声強調マスク推定モデルが推定した推定音声強調マスクと理想音声強調マスクとを用いて、音声強調マスクロスを算出する（ステップＳ５４）。理想音声強調マスクは、教師入力信号から抽出された雑音混合音声特徴に対して理想的な音声強調マスクであってもよい。

　雑音強調マスクロス算出部５１６は、雑音強調マスク推定モデルが推定した推定雑音強調マスクと理想雑音強調マスクとを用いて、雑音強調マスクロスを算出する（ステップＳ５５）。理想雑音強調マスクは、教師入力信号から抽出された雑音混合音声特徴に対し、理想的な雑音強調マスクであってもよい。

　拘束ロス算出部２１１は、音声強調マスク推定モデルが推定した推定音声強調マスク、及び雑音強調マスク推定モデルが推定した推定雑音強調マスクを用いて拘束ロスを算出する（ステップＳ２５）。合算ロス算出部２１７は、音声強調マスクロス、雑音強調マスクロス、及び拘束ロスを合算した合算ロスを算出する（ステップＳ２６）。

　パラメータ更新部５１２は、合算ロス算出部２１７の算出結果に応じて、音声強調マスク推定モデルが含むパラメータ、及び雑音強調マスク推定モデルが含むパラメータと伴に、音響特徴抽出モデルが含むパラメータを更新する（ステップＳ５６）。音響特徴抽出モデルは、音声に関する情報と雑音に関する情報との両方を用いて学習されてもよい。

　第５実施形態における情報処理装置５は、音声強調マスク推定モデル、及び音響特徴抽出モデルを機械学習により作成した。第５実施形態において、音声を強調する場面では、作成した音声強調マスク推定モデルに加えて、音響特徴抽出モデルが適用される。
　［５－３：情報処理装置５の技術的効果］

　第５実施形態における情報処理装置５は、音響特徴抽出部５１９を備えることにより、音声強調マスク推定モデル、及び雑音強調マスク推定モデルの双方への入力信号を大きくすることができるので、より好ましく音声強調をすることができる。一方で、第２実施形態のように、音響特徴抽出部５１９を備えない場合は、動作を軽くすることができる。

　例えば、上述した比較例の場合、音響特徴抽出部５１９を有することにより、逆伝搬の際に音声、及び雑音の一方の信号を削りすぎる方向へモデルのパラメータが調整される可能性がある。これに対し、本実施形態では、音声強調マスク推定モデルによる推定結果と、雑音強調マスク推定モデルによる推定結果との情報を用いて算出される拘束ロスを導入するので、音響特徴抽出部５１９を有していても、逆伝搬の際に音声、及び雑音の一方の信号を削りすぎる方向へモデルのパラメータが調整されることがない。
　［６：第６実施形態］

　続いて、情報処理装置、情報処理方法、及び記録媒体の第６実施形態について説明する。以下では、情報処理装置、情報処理方法、及び記録媒体の第６実施形態が適用された情報処理装置６を用いて、情報処理装置、情報処理方法、及び記録媒体の第６実施形態について説明する。
　［６－１：情報処理装置６の構成］

　図８に示すように、第６実施形態における情報処理装置６は、第２実施形態における情報処理装置２から第５実施形態における情報処理装置５と同様に、演算装置２１と、記憶装置２２とを備えている。更に、第６実施形態における情報処理装置６は、第２実施形態における情報処理装置２から第５実施形態における情報処理装置５と同様に、通信装置２３と、入力装置２４と、出力装置２５とを備えていてもよい。但し、情報処理装置６は、通信装置２３、入力装置２４及び出力装置２５のうちの少なくとも１つを備えていなくてもよい。第６実施形態における情報処理装置６は、拘束ロス算出部６１１が雑音拘束ロス算出部６１１１、及び音声拘束ロス算出部６１１２を有する点で、第２実施形態における情報処理装置２から第５実施形態における情報処理装置５と異なる。情報処理装置６のその他の特徴は、第２実施形態における情報処理装置２から第５実施形態における情報処理装置５の少なくとも１つのその他の特徴と同一であってもよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
　［６－２：情報処理装置６が行う情報処理動作］

　図９を参照しながら、情報処理装置６が行う情報処理動作について説明する。図９は、情報処理装置６が行う情報処理動作の流れを示すフローチャートである。

　図９に示す様に、雑音混合音声入力部２１８は、雑音混合音声を取得し、音声強調マスク推定部２１３、及び雑音強調マスク推定部２１４に入力する（ステップＳ２０）。音声強調マスク推定部２１３は、音声強調マスク推定モデルを用いて音声強調マスクを推定する（ステップＳ２１）。雑音強調マスク推定部２１４は、雑音強調マスク推定モデルを用いて雑音強調マスクを推定する（ステップＳ２２）。音声強調マスクロス算出部２１５は、音声強調マスク推定モデルが推定した推定音声強調マスクと理想音声強調マスクとを用いて、音声強調マスクロスを算出する（ステップＳ２３）。雑音強調マスクロス算出部２１６は、雑音強調マスク推定モデルが推定した推定雑音強調マスクと理想雑音強調マスクとを用いて、雑音強調マスクロスを算出する（ステップＳ２４）。
　［６－２－１：雑音拘束ロス］

　雑音拘束ロス算出部６１１１は、推定音声強調マスク、及び理想雑音強調マスクを用いて雑音拘束ロスを算出する（ステップＳ６０）。雑音拘束ロス算出部６１１１は、推定音声強調マスク、及び上記式５で表現される拘束条件に基づいて、拘束雑音強調マスクを算出する。拘束雑音強調マスクをＭ_Ｎ ^＊と表す場合、拘束雑音強調マスクは、下記式１６のように表現してもよい。
　［式１６］

　雑音拘束ロス算出部６１１１は、拘束雑音強調マスクと理想雑音強調マスクとの違いを示す雑音拘束ロスを算出する。雑音拘束ロスが雑音拘束損失関数Ｌ_Ｎ ^＊により算出される場合、雑音拘束損失関数Ｌ_Ｎ ^＊は、下記式１７のように表現してもよい。
　［式１７］

　［６－２－２：音声拘束ロス］

　音声拘束ロス算出部６１１２は、推定雑音強調マスク、及び理想雑音強調マスクを用いて音声拘束ロスを算出する（ステップＳ６１）。音声拘束ロス算出部６１１２は、推定雑音強調マスク、及び上記式５で表現される拘束条件に基づいて、拘束音声強調マスクを算出する。拘束音声強調マスクをＭ_Ｓ ^＊と表す場合、拘束音声強調マスクは、下記式１８のように表現してもよい。
　［式１８］

　音声拘束ロス算出部６１１２は、拘束音声強調マスクと理想音声強調マスクとの違いを示す音声拘束ロスを算出する。音声拘束ロスが音声拘束損失関数Ｌ_Ｓ ^＊により算出される場合、音声拘束損失関数Ｌ_Ｓ ^＊は、下記式１９のように表現してもよい。
　［式１９］

　［６－２－３：合算ロス］

　合算ロス算出部６１７は、音声強調マスクロス、雑音強調マスクロス、雑音拘束ロス及び音声拘束ロスを合算した合算ロスを算出する（ステップＳ６２）。合算ロスが合算損失関数Ｌ_ＡＬＬにより算出される場合、合算損失関数Ｌ_ＡＬＬは、下記式２０のように表現してもよい。

　［式２０］

　Ｍ^～は、拘束条件も含んだマスクの推定値と考えることができる。上記式２０の第１項と第２項の和はＭ_Ｓ ^～＋Ｍ_Ｎ ^～＝１を自動的に満たすので、第２実施形態で用いた式５で表現される拘束条件と同等の効果を得ることができる。すなわち、第６実施形態における情報処理装置６は第２実施形態における情報処理装置２と同等の効果を得ることができる。

　上記式２０は、下記式２１のように書き直してもよい。第６実施形態における合算ロスは、拘束条件も含んだマスクの推定値と理想値との違いを示していると考えることができる。
　［式２１］

　パラメータ更新部２１２は、合算ロス算出部２１７の算出結果に応じて、音声強調マスク推定モデルが含むパラメータと雑音強調マスク推定モデルが含むパラメータとを更新する（ステップＳ２７）。
　［６－３：情報処理装置６の技術的効果］

　第６実施形態における情報処理装置６は、第２実施形態において採用している「λ」を採用しない。したがって、第６実施形態における情報処理装置６は、「λ」の決定にかかる処理負荷が小さい点において、第２実施形態における情報処理装置２よりも処理負荷を小さくすることができる。
　［７：付記］

　以上説明した実施形態に関して、更に以下の付記を開示する。
　［付記１］
　雑音混合音声が入力された音声強調マスク推定モデルが出力した推定音声強調マスク、及び前記雑音混合音声が入力された雑音強調マスク推定モデルが出力した推定雑音強調マスクを用いて拘束ロスを算出する拘束ロス算出手段と、
　前記推定音声強調マスクと目標音声強調マスクとの違いを示す音声強調マスクロス、前記推定雑音強調マスクと目標雑音強調マスクとの違いを示す雑音強調マスクロス、及び前記拘束ロスを用いて、前記音声強調マスク推定モデルが含むパラメータ、及び前記雑音強調マスク推定モデルが含むパラメータを更新するパラメータ更新手段と
　を備える情報処理装置。
　［付記２］
　前記音声強調マスク推定モデルを用いて前記推定音声強調マスクを推定する音声強調マスク推定手段と、
　前記雑音強調マスク推定モデルを用いて前記推定雑音強調マスクを推定する雑音強調マスク推定手段と、
　前記推定音声強調マスクと前記目標音声強調マスクとを用いて、前記音声強調マスクロスを算出する音声強調マスクロス算出手段と、
　前記推定雑音強調マスクと前記目標雑音強調マスクとを用いて、前記雑音強調マスクロスを算出する雑音強調マスクロス算出手段と、
　前記音声強調マスクロス、前記雑音強調マスクロス、及び前記拘束ロスを合算した合算ロスを算出する合算ロス算出手段と
　を更に備え、
　前記パラメータ更新手段は、前記合算ロス算出手段の算出結果に応じて、前記音声強調マスク推定モデルが含むパラメータと前記雑音強調マスク推定モデルが含むパラメータとを更新する
　請求項１に記載の情報処理装置。
　［付記３］
　前記拘束ロス算出手段は、前記推定音声強調マスク、及び前記推定雑音強調マスクに前記雑音混合音声の大きさを乗じて、前記拘束ロスを算出する
　請求項１又は２に記載の情報処理装置。
　［付記４］
　前記拘束ロス算出手段は、前記推定音声強調マスク、及び前記推定雑音強調マスクを所定の指数で冪乗して、前記拘束ロスを算出する
　請求項１又は２に記載の情報処理装置。
　［付記５］
　前記雑音混合音声から雑音混合音声特徴を抽出する音響特徴抽出手段を更に備え、
　前記音声強調マスク推定モデルは、前記雑音混合音声特徴が入力され、前記推定音声強調マスクを出力し、
　前記雑音強調マスク推定モデルは、前記雑音混合音声特徴が入力され、前記推定雑音強調マスクを出力する
　請求項１又は２に記載の情報処理装置。
　［付記６］
　前記拘束ロス算出手段は、
　　前記推定雑音強調マスク、及び前記目標音声強調マスクを用いて音声拘束ロスを算出する音声拘束ロス算出手段と、
　　前記推定音声強調マスク、及び前記目標雑音強調マスクを用いて雑音拘束ロスを算出する雑音拘束ロス算出手段とを有し、
　前記拘束ロスは、前記音声拘束ロス、及び前記雑音拘束ロスを含む
　請求項１又は２に記載の情報処理装置。
　［付記７］
　雑音混合音声が入力された音声強調マスク推定モデルが出力した推定音声強調マスク、及び前記雑音混合音声が入力された雑音強調マスク推定モデルが出力した推定雑音強調マスクを用いて拘束ロスを算出し、
　前記推定音声強調マスクと目標音声強調マスクとの違いを示す音声強調マスクロス、前記推定雑音強調マスクと目標雑音強調マスクとの違いを示す雑音強調マスクロス、及び前記拘束ロスを用いて、前記音声強調マスク推定モデルが含むパラメータ、及び前記雑音強調マスク推定モデルが含むパラメータを更新する
　情報処理方法。
　［付記８］
　コンピュータに、
　雑音混合音声が入力された音声強調マスク推定モデルが出力した推定音声強調マスク、及び前記雑音混合音声が入力された雑音強調マスク推定モデルが出力した推定雑音強調マスクを用いて拘束ロスを算出し、
　前記推定音声強調マスクと目標音声強調マスクとの違いを示す音声強調マスクロス、前記推定雑音強調マスクと目標雑音強調マスクとの違いを示す雑音強調マスクロス、及び前記拘束ロスを用いて、前記音声強調マスク推定モデルが含むパラメータ、及び前記雑音強調マスク推定モデルが含むパラメータを更新する
　情報処理方法を実行させるためのコンピュータプログラムが記録された記録媒体。

　上述の各実施形態の構成要件の少なくとも一部は、上述の各実施形態の構成要件の少なくとも他の一部と適宜組み合わせることができる。上述の各実施形態の構成要件のうちの一部が用いられなくてもよい。

　この開示は上記実施形態に限定されるものではない。この開示は、請求の範囲及び明細書全体から読み取るこのできる技術的思想に反しない範囲で適宜変更可能である。そのような変更を伴う情報処理装置、情報処理方法、及び、記録媒体もまた、この開示の技術的思想に含まれる。また、法令で許容される限りにおいて、本願明細書に記載された全ての公開公報及び論文をここに取り込む。

　法令で許容される限りにおいて、この出願は、２０２３年３月１３日に出願された日本出願特願２０２３－０３９０５８を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１，２，３，４，５，６　情報処理装置
１１，２１１，３１１，４１１，６１１　拘束ロス算出部
１２，２１２，５１２　パラメータ更新部
２２１　パラメータ記憶部
２２２，５２２　教師情報記憶部
２１３，５１３　音声強調マスク推定部
２１４，５１４　雑音強調マスク推定部
２１５，５１５　音声強調マスクロス算出部
２１６，５１６　雑音強調マスクロス算出部
２１７，６１７　合算ロス算出部
２１８，５１８　雑音混合音声入力部
５１９　音響特徴抽出部
６１１１　雑音拘束ロス算出部
６１１２　音声拘束ロス算出部

Claims

　雑音混合音声が入力された音声強調マスク推定モデルが出力した推定音声強調マスク、及び前記雑音混合音声が入力された雑音強調マスク推定モデルが出力した推定雑音強調マスクを用いて拘束ロスを算出する拘束ロス算出手段と、
　前記推定音声強調マスクと雑音混合音声中の音声と雑音が既知な場合に計算される目標音声強調マスクとの違いを示す音声強調マスクロス、前記推定雑音強調マスクと目標雑音強調マスクとの違いを示す雑音強調マスクロス、及び前記拘束ロスを用いて、前記音声強調マスク推定モデルが含むパラメータ、及び前記雑音強調マスク推定モデルが含むパラメータを更新するパラメータ更新手段と
　を備える情報処理装置。
　前記音声強調マスク推定モデルを用いて前記推定音声強調マスクを推定する音声強調マスク推定手段と、
　前記雑音強調マスク推定モデルを用いて前記推定雑音強調マスクを推定する雑音強調マスク推定手段と、
　前記推定音声強調マスクと前記目標音声強調マスクとを用いて、前記音声強調マスクロスを算出する音声強調マスクロス算出手段と、
　前記推定雑音強調マスクと前記目標雑音強調マスクとを用いて、前記雑音強調マスクロスを算出する雑音強調マスクロス算出手段と、
　前記音声強調マスクロス、前記雑音強調マスクロス、及び前記拘束ロスを合算した合算ロスを算出する合算ロス算出手段と
　を更に備え、
　前記パラメータ更新手段は、前記合算ロス算出手段の算出結果に応じて、前記音声強調マスク推定モデルが含むパラメータと前記雑音強調マスク推定モデルが含むパラメータとを更新する
　請求項１に記載の情報処理装置。
　前記拘束ロス算出手段は、前記推定音声強調マスク、及び前記推定雑音強調マスクに前記雑音混合音声の大きさを乗じて、前記拘束ロスを算出する
　請求項１又は２に記載の情報処理装置。
　前記拘束ロス算出手段は、前記推定音声強調マスク、及び前記推定雑音強調マスクを所定の指数で冪乗して、前記拘束ロスを算出する
　請求項１又は２に記載の情報処理装置。
　前記雑音混合音声から雑音混合音声特徴を抽出する音響特徴抽出手段を更に備え、
　前記音声強調マスク推定モデルは、前記雑音混合音声特徴が入力され、前記推定音声強調マスクを出力し、
　前記雑音強調マスク推定モデルは、前記雑音混合音声特徴が入力され、前記推定雑音強調マスクを出力する
　請求項１又は２に記載の情報処理装置。
　前記拘束ロス算出手段は、
　　前記推定雑音強調マスク、及び前記目標音声強調マスクを用いて音声拘束ロスを算出する音声拘束ロス算出手段と、
　　前記推定音声強調マスク、及び前記目標雑音強調マスクを用いて雑音拘束ロスを算出する雑音拘束ロス算出手段とを有し、
　前記拘束ロスは、前記音声拘束ロス、及び前記雑音拘束ロスを含む
　請求項１又は２に記載の情報処理装置。
　雑音混合音声が入力された音声強調マスク推定モデルが出力した推定音声強調マスク、及び前記雑音混合音声が入力された雑音強調マスク推定モデルが出力した推定雑音強調マスクを用いて拘束ロスを算出し、
　前記推定音声強調マスクと雑音混合音声中の音声と雑音が既知な場合に計算される目標音声強調マスクとの違いを示す音声強調マスクロス、前記推定雑音強調マスクと目標雑音強調マスクとの違いを示す雑音強調マスクロス、及び前記拘束ロスを用いて、前記音声強調マスク推定モデルが含むパラメータ、及び前記雑音強調マスク推定モデルが含むパラメータを更新する
　情報処理方法。
　コンピュータに、
　雑音混合音声が入力された音声強調マスク推定モデルが出力した推定音声強調マスク、及び前記雑音混合音声が入力された雑音強調マスク推定モデルが出力した推定雑音強調マスクを用いて拘束ロスを算出し、
　前記推定音声強調マスクと雑音混合音声中の音声と雑音が既知な場合に計算される目標音声強調マスクとの違いを示す音声強調マスクロス、前記推定雑音強調マスクと目標雑音強調マスクとの違いを示す雑音強調マスクロス、及び前記拘束ロスを用いて、前記音声強調マスク推定モデルが含むパラメータ、及び前記雑音強調マスク推定モデルが含むパラメータを更新する
　情報処理方法を実行させるためのコンピュータプログラムが記録された記録媒体。