JP6802145B2

JP6802145B2 - Ｓｎｒ推定装置、ｓｎｒ推定方法、プログラム

Info

Publication number: JP6802145B2
Application number: JP2017251645A
Authority: JP
Inventors: 弘章伊藤; 翔一郎齊藤; 登原田
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2017-12-27
Filing date: 2017-12-27
Publication date: 2020-12-16
Anticipated expiration: 2037-12-27
Also published as: JP2019117317A

Description

本発明は、マイクデバイスで収録された信号のＳＮＲを推定するＳＮＲ推定装置、ＳＮＲ推定方法、プログラムに関する。

マイクデバイスの性能評価において、しばしばスピーカで再生された音声をマイクデバイスで収録したデータを評価試験に用いることがある。このような場合、収録されたデータが実利用環境では想定しないようなデータになっていないか確認することは、評価試験の妥当性を担保する上で重要である。

従来は、例えばＩＴＵ−ＴＧ．１６０（非特許文献１）で定義されるＳＮＲの値を用いて収録データのＳＮＲを推定し、評価用データを選定する、という方法が知られている。

従来技術では、図１に示すように無音声区間をポーズとサイレントの２種類に分類し、発話区間内の無音声区間（ポーズ）を用いて、雑音のパワーを算出し、発話区間内の音声区間を用いて音声のパワーを計算し、ＳＮＲ値を求めている。

International Telecommunication Union, " G.160 : Revised Appendix II - Objective measures for the characterization of the basic functioning of noise reduction algorithms", ［online］, International Telecommunication Union, ［平成 29年 12月 19日検索］、インターネット〈URL：https://www.itu.int/rec/T-REC-G.160-201103-S!Amd2/en〉

音声認識性能評価のために用意されたデータセットの場合、１つの音声データに含まれる発話が１単語のみ（例えば「おはよう」のみ）の場合など、極端に短い場合が考えられる。このような音声では、図２に示すように、発話区間内の短時間無音声区間（ポーズ）が全く存在しないか、あるいは十分な長さ存在しないため、ポーズを用いてＳＮＲ値を算出することができない。

また、発話区間内の無音声区間（ポーズ）が算出できない場合に、発話区間外の全区間を短時間無音区間として割り当ててＳＮＲを算出する方法が考えられるが、割り当てられた無音声区間に雑音パワーが小さい区間と大きい区間が混ざっていると、実態のＳＮＲ値からの推定誤差が大きくなってしまう。

そこで本発明では、発話区間内の無音声区間（ポーズ）が少ない場合であっても、マイクデバイスで収録された信号のＳＮＲを推定することができるＳＮＲ推定装置を提供することを目的とする。

本発明のＳＮＲ推定装置は、スピーカーから再生される前の信号であるクリーン音声信号と、クリーン音声信号をスピーカーで再生してマイクロホンで収録した信号である収録信号を用いるＳＮＲ推定装置である。

ＳＮＲ推定装置は、音声区間検出部と、無音声区間分類部と、第１ポーズフレーム数判定部と、ＳＮＲ算出部を含む。

音声区間検出部は、クリーン音声信号の音声区間と無音声区間を検出する。無音声区間分類部は、無音声区間を、音声区間に挟まれた無音声区間である第１ポーズ、それ以外の無音声区間であるサイレントの何れかに分類し、サイレントのうち、クリーン音声信号の最初のフレームと最後のフレームに該当するフレームを除く所定の区間を第２ポーズに分類する。第１ポーズフレーム数判定部は、クリーン音声信号に第１ポーズのフレームが所定のフレーム数以上存在するか否かを判定する。ＳＮＲ算出部は、第１ポーズのフレームが所定のフレーム数以上存在する場合に、第１ポーズに基づいて収録信号のＳＮＲを算出し、第１ポーズのフレームが所定のフレーム数以上存在しない場合に、少なくとも第２ポーズに基づいて収録信号のＳＮＲを算出する。

本発明のＳＮＲ推定装置によれば、発話区間内の無音声区間（ポーズ）が少ない場合であっても、マイクデバイスで収録された信号のＳＮＲを推定することができる。

音声信号の例と従来技術における無音声区間の分類例を示す図。十分なフレーム数のポーズが存在しない場合の音声信号の例を示す図。実施例１のＳＮＲ推定装置の構成を示すブロック図。実施例１のＳＮＲ推定装置の動作を示すフローチャート。第２ポーズの区間を決定する方法の具体例その１を示す図。第２ポーズの区間を決定する方法の具体例その２を示す図。収録信号のＳＮＲ値の分布の例を示すグラフ。実利用環境に則さないＳＮＲとなる収録信号を除去した場合の音声認識率の変化の例を示すグラフ。

以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。

実施例１のＳＮＲ推定装置１は、スピーカーから再生される前の信号であるクリーン音声信号と、クリーン音声信号をスピーカーで再生してマイクロホンで収録した信号である収録信号を対応させて用いることで、収録信号のＳＮＲを算出（推定）する装置である。

以下、図３を参照して本実施例のＳＮＲ推定装置１の構成を説明する。同図に示すように、本実施例のＳＮＲ推定装置１は、音声区間検出部１１と、無音声区間分類部１２と、第１ポーズフレーム数判定部１３と、ＳＮＲ算出部１４を含む。以下、図４を参照して、各部の動作について説明する。

＜音声区間検出部１１＞
音声区間検出部１１は、クリーン音声信号を受信し、クリーン音声信号の音声区間と無音声区間を検出する（Ｓ１１、図５参照）。例えば、音声区間検出部１１は、クリーン音声信号の各フレームのパワーを算出し、予め規定されたしきい値を元に、各フレームを無音、パワー小、パワー中、パワー大に分類し、無音と分類されたフレーム（複数フレーム連続している場合にはその区間）を無音声区間とし、それ以外のフレーム（複数フレーム連続している場合にはその区間）を音声区間として検出してもよい。

＜無音声区間分類部１２＞
無音声区間分類部１２は、ステップＳ１１における検出結果を取得し、無音声区間を、音声区間に挟まれた無音声区間（別の表現では、発話区間内の短時間無音声区間）である第１ポーズ、それ以外の無音声区間であるサイレントの何れかに分類する（Ｓ１２、図５参照）。さらに、無音声区間分類部１２はサイレントと分類されたフレームのうち、所定の区間（例えば、発話区間の直前直後の数十ミリ秒、数十フレームの区間、図５、図６におけるドットハッチングの区間）を第２ポーズと分類する（Ｓ１２）。

例えば、第２ポーズは、クリーン音声信号の最初のフレームと最後のフレーム（図５における斜線ハッチングを参照）に該当するフレームを除く所定の区間としてもよい。また第２ポーズは、サイレントのうち、音声区間に隣接するフレーム（別の表現では、発話区間の直前と直後で発話区間に隣接するフレーム、図６における斜線ハッチングを参照）を含む所定の区間としてもよい。

＜第１ポーズフレーム数判定部１３＞
第１ポーズフレーム数判定部１３は、ステップＳ１２における分類結果を取得し、クリーン音声信号に第１ポーズのフレームが所定のフレーム数以上存在するか否かを判定する（Ｓ１３）。具体的には、第１ポーズフレーム数判定部１３は、第１ポーズがＧ．１６０に規定されるフレーム数以上存在するか否かを判定する。

＜ＳＮＲ算出部１４＞
ＳＮＲ算出部１４は、ステップＳ１１における検出結果、ステップＳ１２における分類結果、ステップＳ１３における判定結果を取得し、第１ポーズのフレームが所定のフレーム数以上存在する場合に、第１ポーズに基づいて収録信号のＳＮＲを算出し、第１ポーズのフレームが所定のフレーム数以上存在しない場合に、少なくとも第２ポーズに基づいて収録信号のＳＮＲを算出する（Ｓ１４）。

第１ポーズのフレームが所定のフレーム数以上存在しない場合、ＳＮＲ算出部１４は、ＳＮＲの値を下式により求める。なおｘ（ｎ）は収録信号、ｎはフレームインデックス、Ｎは第１ポーズの区間数の判定しきい値、ｓｐｅｅｃｈ，ｐａｕｓｅ_１，ｐａｕｓｅ_２は、フレームの分類情報を示し、それぞれ、音声、第１ポーズ、第２ポーズを表す。

図７、図８を参照して、本実施例のＳＮＲ推定装置１によりＳＮＲを推定し、実利用環境に則さないＳＮＲとなった収録信号を除外して音声認識を行った場合の音声認識率の変化について説明する。本実施例のＳＮＲ推定装置１によりリビング雑音環境下において収録信号のＳＮＲを推定したところ、図７のようにそのＳＮＲ分布を得ることができた。同図の左側に寄っている分布は実利用環境に則さないＳＮＲ値となっているため、該当する収録信号をＳＮＲに対するしきい値を適宜変更しながら除外したところ、図８に示すように、収録信号を適宜除外することで評価データ数（同図の四角形の凡例、右軸の数値）が減少するにつれ、音声認識率（同図の三角形の凡例、左軸の数値）が向上していることが分かる。

本実施例のＳＮＲ推定装置１によれば、音声認識性能評価のための音声を収録した際に、収録された音声信号（収録信号）に含まれる発話区間内の無音声区間（第１ポーズ）が少ない場合であっても、実態に即したＳＮＲ値を推定することができる。

また、収録信号、ＳＮＲ値、音声認識結果を突合することで、収録信号のＳＮＲに対する音声認識性能の変化を確認することができる。

＜補記＞
本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置（例えば通信ケーブル）が接続可能な通信部、ＣＰＵ（Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい）、メモリであるＲＡＭやＲＯＭ、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、ＣＤ−ＲＯＭなどの記録媒体を読み書きできる装置（ドライブ）などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。

ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている（外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくこととしてもよい）。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。

ハードウェアエンティティでは、外部記憶装置（あるいはＲＯＭなど）に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にＣＰＵで解釈実行・処理される。その結果、ＣＰＵが所定の機能（上記、…部、…手段などと表した各構成要件）を実現する。

本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。

既述のように、上記実施形態において説明したハードウェアエンティティ（本発明の装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims

スピーカーから再生される前の信号であるクリーン音声信号と、前記クリーン音声信号を前記スピーカーで再生してマイクロホンで収録した信号である収録信号を用いるＳＮＲ推定装置であって、
前記クリーン音声信号の音声区間と無音声区間を検出する音声区間検出部と、
前記無音声区間を、前記音声区間に挟まれた前記無音声区間である第１ポーズ、それ以外の前記無音声区間であるサイレントの何れかに分類し、前記サイレントのうち、前記クリーン音声信号の最初のフレームと最後のフレームに該当するフレームを除く所定の区間を第２ポーズに分類する無音声区間分類部と、
前記クリーン音声信号に前記第１ポーズのフレームが所定のフレーム数以上存在するか否かを判定する第１ポーズフレーム数判定部と、
前記第１ポーズのフレームが所定のフレーム数以上存在する場合に、前記第１ポーズに基づいて前記収録信号のＳＮＲを算出し、前記第１ポーズのフレームが所定のフレーム数以上存在しない場合に、少なくとも前記第２ポーズに基づいて前記収録信号の前記ＳＮＲを算出するＳＮＲ算出部を含む
ＳＮＲ推定装置。
請求項１に記載のＳＮＲ推定装置であって、
前記無音声区間分類部は、
前記サイレントのうち、前記音声区間に隣接するフレームを含む所定の区間を前記第２ポーズに分類する
ＳＮＲ推定装置。
スピーカーから再生される前の信号であるクリーン音声信号と、前記クリーン音声信号を前記スピーカーで再生してマイクロホンで収録した信号である収録信号を用いるＳＮＲ推定方法であって、
前記クリーン音声信号の音声区間と無音声区間を検出する音声区間検出ステップと、
前記無音声区間を、前記音声区間に挟まれた前記無音声区間である第１ポーズ、それ以外の前記無音声区間であるサイレントの何れかに分類し、前記サイレントのうち、前記クリーン音声信号の最初のフレームと最後のフレームに該当するフレームを除く所定の区間を第２ポーズに分類する無音声区間分類ステップと、
前記クリーン音声信号に前記第１ポーズのフレームが所定のフレーム数以上存在するか否かを判定する第１ポーズフレーム数判定ステップと、
前記第１ポーズのフレームが所定のフレーム数以上存在する場合に、前記第１ポーズに基づいて前記収録信号のＳＮＲを算出し、前記第１ポーズのフレームが所定のフレーム数以上存在しない場合に、少なくとも前記第２ポーズに基づいて前記収録信号の前記ＳＮＲを算出するＳＮＲ算出ステップを含む
ＳＮＲ推定方法。
コンピュータを請求項１または２に記載のＳＮＲ推定装置として機能させるプログラム。