JP6849978B2 - 音声明瞭度計算方法、音声明瞭度計算装置及び音声明瞭度計算プログラム - Google Patents

音声明瞭度計算方法、音声明瞭度計算装置及び音声明瞭度計算プログラム Download PDF

Info

Publication number
JP6849978B2
JP6849978B2 JP2019534607A JP2019534607A JP6849978B2 JP 6849978 B2 JP6849978 B2 JP 6849978B2 JP 2019534607 A JP2019534607 A JP 2019534607A JP 2019534607 A JP2019534607 A JP 2019534607A JP 6849978 B2 JP6849978 B2 JP 6849978B2
Authority
JP
Japan
Prior art keywords
voice
feature amount
intelligibility
signal
clean
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019534607A
Other languages
English (en)
Other versions
JPWO2019027053A1 (ja
Inventor
荒木 章子
章子 荒木
中谷 智広
智広 中谷
慶介 木下
慶介 木下
入野 俊夫
俊夫 入野
淑恵 松井
淑恵 松井
山本 克彦
克彦 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WAKAYAMA UNIVERSITY
Nippon Telegraph and Telephone Corp
Original Assignee
WAKAYAMA UNIVERSITY
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WAKAYAMA UNIVERSITY, Nippon Telegraph and Telephone Corp filed Critical WAKAYAMA UNIVERSITY
Publication of JPWO2019027053A1 publication Critical patent/JPWO2019027053A1/ja
Application granted granted Critical
Publication of JP6849978B2 publication Critical patent/JP6849978B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L21/0232Processing in the frequency domain
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/60Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for measuring the quality of voice signals
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0364Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude for improving intelligibility

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

本発明は、音声明瞭度計算方法、音声明瞭度計算装置及び音声明瞭度計算プログラムに関する。
今後の音声強調処理や雑音抑圧信号処理の開発や改善のためには、音声明瞭度或いは音声品質客観評価指標は不可欠である。すなわち、雑音抑圧処理などの音声強調処理の評価および改善のために、音声品質客観評価指標の1つである音声明瞭度を取得することが求められている。
そこで、従来、sEPSM(speech-based Envelope Power Spectrum Model)が提案されている(例えば、非特許文献1参照)。図8は、従来の音声明瞭度予測の枠組みを示す図である。なお、以下では、信号であるAに対し、“^A”と記載する場合は「“A”の直上に“^”が記された記号」と同等であるとする。また、信号であるAに対し、“~A”と記載する場合は「“A”の直上に“~”が記された記号」と同等であるとする。
図8に示すように、従来は、sEPSMを適用した音声明瞭度計算装置12Pに、強調処理装置11Pから、強調音声(^S)及び残留雑音(~N)が入力される。前段の強調処理装置11Pは、クリーン音声(S)及び雑音(N)を加えた雑音音声(S+N)と、雑音(N)とに対して強調処理を行う。すなわち11Pは雑音音声(S+N)からの強調音声(^S)の出力と、強調音声(^S)中に含まれる残留雑音(~N)の推定を行なう。後段の音声明瞭度計算装置12Pは、強調処理装置11Pから出力された強調音声(^S)及び残留雑音(~N)を入力とし、聴覚末梢系の数理モデルの1つであるガンマトーン(gammatone:GT)聴覚フィルタバンクと、変調フィルタバンクとの組合せにより、非線形な音声強調処理を適用した音声の明瞭度を予測する。
また、従来、sEPSMにおけるガンマトーン聴覚フィルタバンクの代わりに、聴覚フィルタの非線形特性を時々刻々と反映できる動的圧縮型ガンマチャープフィルタバンク(dynamic compressive Gammachirp filterbank:dcGC)を用いるdcGC−sEPSMが提案されている(例えば、非特許文献2,3参照)。これによって、難聴者の特性も反映できるようになった。
S. Jorgensen, and T. Dau, "Predicting speech intelligibility based on the signal-to-noise envelope power ratio after modulation-frequency selective processing", J. Acoust. Soc. Am., 130(3), pp.1475−1487, 2011. K. Yamamoto, T. Irino, T. Matsui, S. Araki, K. Kinoshita, and T. Nakatani, "Speech intelligibility prediction based on the envelope power spectrum model with the dynamic compressive gammachirp auditory filterbank",in Proceedings of Interspeech 2016, pp.2885−2889, 2016. 山本克彦, 入野俊夫, 松井淑恵, 荒木章子, 木下慶介, 中谷智広, "音声明瞭度予測法 dcGC-sEPSM の諸検討: 評価用雑音の特性と予測精度への影響", 日本音響学会:研究発表会講演論文集, 2-P-44, pp.663-666, 2016.
sEPSMは、入力信号に雑音の残留成分(図5に示す残留雑音(~N))を使用する。しかしながら、従来は、残留成分の定義が必ずしも明確でなく、さらには音声強調処理手法ごとに評価に適切な残留成分を決定する必要があった。このため、sEPSMでは、明瞭度推定可能な音声強調処理手法が、強調音声と雑音の残留成分の両方を推定できる手法に限定されてしまい、適用範囲が限定的である。
さらに、sEPSMで適用するガンマトーン聴覚フィルタバンクは、線形時不変のフィルタを用いるため、sEPSMでは、聴覚末梢系の非線形性を模擬することはできない。このため、sEPSMは、様々な度合いの非線形性の劣化を伴う難聴者の聴覚末梢系特性を反映することができず、補聴器用の音声強調処理・雑音抑圧信号処理には用いることが難しいという問題があった。
そして、dcGC−sEPSMは、入力信号としてsEPSMと同様に雑音の残留成分(図5に示す残留雑音(~N))を使用する。このため、dcGC−sEPSMにおいても、強調音声と雑音の残留成分との両方を推定できる音声強調処理手法に対してのみしか明瞭度を計算できず、適用範囲が限定的である。
本発明は、上記に鑑みてなされたものであって、音声強調方法に依存することなく音声明瞭度を精度よく計算することができる音声明瞭度計算方法、音声明瞭度計算装置及び音声明瞭度計算プログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る音声明瞭度計算方法は、音声明瞭度計算装置が実行する音声明瞭度計算方法であって、複数のフィルタバンクを用いて、入力されたクリーン音声の特徴量である時間的な振幅包絡信号と強調音声の特徴量である時間的な振幅包絡信号との差分である歪み成分(D)の特徴量を求め、求めたクリーン音声の特徴量と歪み成分の特徴量との差分成分を基に、音声品質の客観評価指標である音声明瞭度を計算する音声明瞭度計算工程と、音声明瞭度計算工程において計算された音声明瞭度を出力する工程と、を含んだことを特徴とする。
本発明によれば、音声強調方法に依存することなく音声明瞭度を精度よく計算することができる。
図1は、実施の形態に係るGEDI(Gammachirp Envelope Distortion Index)音声明瞭度計算装置を含むシステムの概略を示す図である。 図2は、図1に示すGEDI音声明瞭度計算装置の機能を模式的に示す図である。 図3は、実施の形態に係る音声明瞭度計算処理の処理手順を示すフローチャートである。 図4は、聴取実験の結果とGEDI音声明瞭度予測法による予測結果とを示す図である。 図5は、実施の形態の変形例2に係るGEDI音声明瞭度計算装置の機能を模式的に示す図である。 図6は、実施の形態の変形例2に係る音声明瞭度計算処理の処理手順を示すフローチャートである。 図7は、プログラムが実行されることにより、GEDI音声明瞭度計算装置が実現されるコンピュータの一例を示す図である。 図8は、従来の音声明瞭度予測の枠組みを示す図である。
以下、図面を参照して、本発明の一実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
[実施の形態]
本発明の実施の形態について説明する。本発明の実施の形態では、GEDI手法を採用したGEDI音声明瞭度計算装置について説明する。
まず、実施の形態に係る音声明瞭度計算装置の構成について説明する。図1は、実施の形態に係るGEDI音声明瞭度計算装置を含むシステムの概略を示す図である。実施の形態に係るGEDI音声明瞭度計算装置12は、強調処理装置11から入力された強調音声(^S)と、クリーン音声(S)とを入力として受け付け、音声品質の客観評価指標である音声明瞭度を出力する。
強調処理装置11は、クリーン音声(S)及び雑音(N)を加えた雑音音声(S+N)に対して音声強調処理を行い、雑音音声(S+N)に対応する強調音声(^S)をGEDI音声明瞭度計算装置12に出力する。クリーン音声(S)とは、雑音を重畳する前の原音声信号である。強調処理装置11の後段のGEDI音声明瞭度計算装置12は、雑音重畳前のクリーン音声(S)を入力としている。したがって、強調処理装置11は、雑音の残留成分を計算してGEDI音声明瞭度計算装置12に入力する必要がないため、雑音の残留成分の計算が困難な音声強調手法も含めたいずれの音声強調手法も適用可能である。
GEDI音声明瞭度計算装置12は、音声明瞭度を予測したい雑音音声或いは強調音声(^S)と、クリーン音声(S)とを入力とする。GEDI音声明瞭度計算装置12は、複数のフィルタバンクを用いて、入力されたクリーン音声の特徴量である時間的な振幅包絡信号と強調音声の特徴量である振幅包絡信号との差分である歪み成分(D)の特徴量を求め、求めたクリーン音声の特徴量と歪み成分の特徴量との差分成分を基に音声明瞭度を計算する。そして、GEDI音声明瞭度計算装置12は、この入力信号に対応して計算した音声明瞭度を出力とする。GEDI音声明瞭度計算装置12は、クリーン音声(S)と強調音声(^S)との時間的な振幅包絡信号から、強調音声に含まれる歪み成分(D)を推定し、音声明瞭度を計算する。ここで、GEDI音声明瞭度計算装置12は、クリーン音声(S)と強調音声(^S)との時間的な振幅包絡信号から、音声明瞭度を計算する基となるSDRenv(Signal-to-Distortion Ratio of envelope)を計算する。GEDI音声明瞭度計算装置12は、音声明瞭度を計算する工程として、クリーン音声の振幅包絡信号と強調音声の振幅包絡信号とを基に、時間的な歪み信号を求める工程と、歪み信号の特徴量とクリーン音声の特徴量とを基に、クリーン音声と歪み信号との差分成分である信号対歪み比(Signal-to-Distortion Ratio:SDR)を計算する工程と、を行う。具体的には、GEDI音声明瞭度計算装置12は、音声明瞭度を計算する工程として、クリーン音声の振幅包絡信号と強調音声の振幅包絡信号とを基に、時間的な歪み信号を求める工程と、歪み信号の特徴量とクリーン音声の特徴量とを基に、クリーン音声と歪み信号との差分成分である信号対歪み比(Signal-to-Distortion Ratio:SDR)を計算する工程と、差分成分を基に、音声品質の客観評価指標である音声明瞭度を計算する工程と、を行う。
GEDI音声明瞭度計算装置12は、動的圧縮型ガンマチャープ(dcGC)フィルタバンクを用いて入力信号を周波数分析し、その振幅包絡を、変調周波数領域のバンドパスフィルタバンクを用いてフィルタバンク分析を行う。GEDI音声明瞭度計算装置12は、動的圧縮型ガンマチャープ(dcGC)フィルタバンクを用いて健聴者の特性とともに、難聴者の特性も反映可能にするとともに、強調音声の明瞭度を精度よく予測する。
[GEDI音声明瞭度計算装置の機能構成]
次に、GEDI音声明瞭度計算装置12について説明する。図2は、図1に示すGEDI音声明瞭度計算装置12の機能を模式的に示す図である。
図2に示すように、GEDI音声明瞭度計算装置12は、ワークステーションやパソコン等の汎用コンピュータで実現され、CPU(Central Processing Unit)等の演算処理装置がメモリに記憶された処理プログラムを実行することにより、図2に例示するように、動的圧縮型ガンマチャープフィルタバンク121(第1のフィルタバンク)、振幅包絡信号抽出部122、歪み信号抽出部123、変調スペクトル計算部124、変調フィルタバンク125(第2のフィルタバンク)、SDRenv計算部126、感度指標変換部127、音声明瞭度変換部128及び音声明瞭度出力部129として機能する。なお、図示しないが、GEDI音声明瞭度計算装置12は、強調音声(^S)と、クリーン音声(S)との入力を受け付けて動的圧縮型ガンマチャープフィルタバンク121に入力する入力部を有する。
動的圧縮型ガンマチャープフィルタバンク121は、強調音声(^S)と、クリーン音声(S)との入力を受け付けて、強調音声(^S)と、クリーン音声(S)との振幅包絡の情報を出力する。動的圧縮型ガンマチャープフィルタバンク121は、全部でI個のチャンネルのガンマチャープ聴覚フィルタからなる。動的圧縮型ガンマチャープフィルタバンク121は、入力信号を、全部でI個のチャンネルのそれぞれで周波数分析する。動的圧縮型ガンマチャープフィルタバンク121は、各チャンネルの動的圧縮型ガンマチャープフィルタを通過した信号を、その帯域の応答の時間信号として出力する。動的圧縮型ガンマチャープフィルタバンク121は、I個の雑音音声或いは強調音声に対応する時間信号と、I個のクリーン音声に対応する時間信号を出力する。
振幅包絡信号抽出部122は、フィルタバンクが出力した振幅包絡の情報を用いて、クリーン音声の特徴量と雑音音声或いは強調音声の特徴量との時間的な振幅包絡信号を計算する。振幅包絡信号抽出部122は、動的圧縮型ガンマチャープフィルタバンク121からのi番目のチャンネル出力をhilbert変換し、カットオフ周波数150Hzの低域通過フィルタを適用して、時間的な振幅包絡信号を計算する。これにより、振幅包絡信号抽出部122は、雑音音声に対応する振幅包絡信号(e^S,i(n))と、クリーン音声に対応する振幅包絡信号(eS,i(n))を出力する。なお、nは、振幅包絡信号のサンプル番号である。
歪み信号抽出部123は、フィルタバンクの出力に基づいて振幅包絡信号抽出部122が計算したクリーン音声の特徴量と雑音音声或いは強調音声の特徴量との時間的な振幅包絡信号の差分を基に、時間的な歪み信号を抽出する。歪み信号抽出部123は、振幅包絡信号抽出部122から出力された雑音音声或いは強調音声に対応する(e^S,i(n))とクリーン音声に対応する振幅包絡信号(eS,i(n))とを入力とし、両信号から得られる時間的な歪み信号(e)を以下の式(1)を用いて計算する。
Figure 0006849978
ここで、式(1)におけるi{i|1≦i≦I}は、動的圧縮型ガンマチャープフィルタバンク121のチャンネル番号であり、pは定数であり、例えばp=2などが用いられる。歪み信号抽出部123は、動的圧縮型ガンマチャープフィルタバンク121のチャンネル数(Iチャンネル)分の信号を取得し、歪み信号を出力する。
変調スペクトル計算部124は、振幅包絡信号抽出部122が出力した雑音音声或いは強調音声に対応する振幅包絡信号(e^S,i)と、クリーン音声に対応する振幅包絡信号(eS,i)と、歪み信号抽出部123で得られた歪み信号(eD,i)を入力とする。変調スペクトル計算部124は、両信号にフーリエ変換を適用することにより、それぞれに対応する変調パワースペクトル(E^S,i,ES,i,ED,i)を計算する。
変調フィルタバンク125は、変調周波数領域のバンドパスフィルタバンクである。変調フィルタバンク125は、変調スペクトル計算部124が計算した変調パワースペクトル(ES,i,ED,i)を変調フィルタバンク(全Jチャンネル)で分析する。変調フィルタバンク125は、変調周波数fenvに基づいて変調スペクトルの絶対値として適用される。変調フィルタバンク125は、変調フィルタバンクのチャンネル毎に、フィルタバンクによって重み付けされたクリーン音声または歪み信号である出力パワースペクトルPenv,i,jを計算する。j{j|1≦j≦J}番目の変調フィルタのパワースペクトルW(fenv)を適用して得られる、変調フィルタバンク出力のパワースペクトルPenv,i,jは、以下の式(2)を用いることにより得られる。
Figure 0006849978
ここで、W(f)は、バタワースフィルタ(参考文献1:“バタワースフィルタ”、[online]、ウィキペディア、[平成30年6月14日検索]、インターネット<URL:https://ja.wikipedia.org/wiki/%E3%83%90%E3%82%BF%E3%83%BC%E3%83%AF%E3%83%BC%E3%82%B9%E3%83%95%E3%82%A3%E3%83%AB%E3%82%BF>参照)による3次ローバスフィルタ、W(f)〜W(f)は、2次のバンドパスフィルタ(LC共振フィルタ)(参考文献2:Electrical Engineering: Principles and Applications (4th Edition), by Allan R. Hambley, 2008参照)の伝達関数を2乗したものを用いることができる。
式(2)中の、アスタリスク(*)は、歪み信号D或いはクリーン音声Sである。また、式(2)中のE^S,i(0)は、変調スペクトル計算部124が求めた雑音音声或いは強調音声の振幅包絡信号のパワースペクトルE^S,iの0次成分(直流成分)であり、クリーン音声または歪み信号である出力パワースペクトルの計算の際に、この0次成分(直流成分)で正規化している。また、変調周波数領域での内部雑音としてPenv,*,i,jには最低値として、Penv,*,i,j=max(Penv,*,i,j,0.01)などを設定する。本実施の形態では、例えば、動的圧縮型ガンマチャープフィルタバンク121のチャンネル数Iを100、変調フィルタバンクのチャンネル数Jを7とする。この場合には、変調フィルタバンク125からは、計700個の変調パワースペクトルPenv,*,i,jが出力される。
SDRenv計算部126は、差分成分として、重み付けされたクリーン音声と歪み信号との信号対歪み比(SDRenv)を、計算する。SDRenv計算部126は、クリーン音声の変調パワースペクトル(Penv,S)と、歪み信号の変調パワースペクトル(Penv,D)とを用いて、変調周波数領域での信号対歪み比(SDRenv)を計算する。以下の式(3)のように、各変調フィルタチャンネルjにおけるSDRenv,jは、動的圧縮型ガンマチャープフィルタチャンネル全てのPenv,S,i,jの総和とPenv,D,i,jの総和との比から得られる。
Figure 0006849978
そして、SDRenv計算部126は、全体のSDRenvを、以下の式(4)を用いて計算する。
Figure 0006849978
感度指標変換部127は、SDRenv計算部126が計算したSDRenvの値を、以下の式(5)を用いて、理想観測者(ideal observer)の感度指標d´に変換する。なお、式(5)において、kとqとはパラメータ定数である。
Figure 0006849978
音声明瞭度変換部128は、感度指標変換部127が求めた感度指標d′を入力として、等分散ガウスモデルとm肢強制選択(mAFC)モデルを用いて、音声明瞭度(0から1の値)に変換する。すなわち、音声明瞭度変換部128は、感度指標d′を、以下の式(6)に適用して音声明瞭度に変換し、出力する。
Figure 0006849978
ここで、Φは、累積ガウス分布である。μとσは、音声試料から推測される応答の選択肢の数mによって決まる。具体的に、μについては、(7)式に示す。そして、σについては、(8)式に示す。また、(7),(8)式に示すUについては、(9)式に示す)。(9)式のΦ−1は、正規累積分布の逆関数である。
Figure 0006849978
Figure 0006849978
Figure 0006849978
σは、音声試料の冗長性に関連すると仮定したパラメータである。意味のある簡単な文であるとσは小さく、冗長性の無い単音節音であるとσは大きい。σの具体的な設定については後述する。
音声明瞭度出力部129は、音声明瞭度変換部128が計算した音声明瞭度を外部に出力する。音声明瞭度出力部129は、例えば、通信インタフェースであって、ネットワーク等を介して音声明瞭度を外部に出力する。或いは、音声明瞭度出力部129は、記憶媒体に、音声明瞭度を記録する。また、音声明瞭度出力部129は、例えば、液晶ディスプレイやプリンタ等であってもよい。
[GEDI音声明瞭度計算装置の処理]
次に、図2に示すGEDI音声明瞭度計算装置12の処理について説明する。図3は、実施の形態に係る音声明瞭度計算処理の処理手順を示すフローチャートである。
まず、GEDI音声明瞭度計算装置12では、音声明瞭度を予測したい強調音声或いは雑音音声(^S)と、クリーン音声(S)と、を入力信号として受け付け、聴覚フィルタバンクである動的圧縮型ガンマチャープフィルタバンク121で、入力信号を帯域分割する(ステップS1)。続いて、GEDI音声明瞭度計算装置12は、聴覚フィルタのチャンネルiをi=1とする(ステップS2)。
振幅包絡信号抽出部122は、iチャンネル目の雑音音声或いは強調音声に対応する振幅包絡信号e^S,i(n)と、クリーン音声に対応する振幅包絡信号eS,i(n)とを抽出する(ステップS3)。そして、歪み信号抽出部123は、iチャンネル目の振幅包絡信号(e^S,i(n),eS,i(n))を入力とし、時間的な歪み信号(e)を、式(1)を用いて抽出する(ステップS4)。続いて、変調フィルタバンク125は、変調スペクトル計算部124が計算した変調パワースペクトル(E^S,i,ES,i,eD,i)のうち変調フィルタバンクを通過した信号の変調パワースペクトルPenv,i,jを、式(2)を用いて計算する(ステップS5)。
GEDI音声明瞭度計算装置12は、i<Iであるか否かを判定する(ステップS6)。GEDI音声明瞭度計算装置12は、i<Iであると判定した場合(ステップS6:Yes)、i=i+1とし(ステップS7)、ステップS3に戻り、次のiチャンネル目の振幅包絡信号の抽出を実行する。これに対し、GEDI音声明瞭度計算装置12は、i<Iでないと判定した場合(ステップS6:No)、変調フィルタのチャンネルjをj=1とする(ステップS8)。
SDRenv計算部126は、クリーン音声の変調パワースペクトル(Penv,S)と、歪み信号の変調パワースペクトル(Penv,D)とを用いて、jチャンネル目のSDRenv,jを、式(3)を用いて計算する(ステップS9)。SDRenv計算部126は、j<Jであるか否かを判定する(ステップS10)。SDRenv計算部126は、j<Jであると判定した場合(ステップS10:Yes)、j=j+1とし(ステップS11)、ステップS9に戻り、次のjチャンネル目のSDRenvを計算する。
SDRenv計算部126は、j<Jでないと判定した場合(ステップS10:No)、全体のSDRenvを、式(4)を用いて計算する(ステップS12)。そして、感度指標変換部127は、SDRenvの値を、式(5)を用いて、感度指標d´に変換する(ステップS13)。音声明瞭度変換部128は、感度指標d′を、等分散ガウスモデルとmAFCモデルを用いて、音声明瞭度に変換する(ステップS14)。音声明瞭度出力部129は、変換された音声明瞭度を出力して(ステップS15)、処理を終了する。
[聴取実験]
本実施の形態に示す手法を用いた聴取実験を行った。評価は、スペクトル減算法(SS)とウィナーフィルタ型の雑音抑圧処理手法(WF)とを用いた。音声試料として、親密度別単語了解度試験用音声データセット(FW07)に収録されている男性話者(mis)の4モーラ単語音声を使用した。音声試料に重畳する雑音としてピンク雑音を使用し、信号対雑音比(Signal-to-Noise Ratio:SNR)を−6dBから3dBの間で3dB毎に変化させた。この雑音重畳音声を原音声として(以降において「Unprocessed」という。)、上記の音声強調処理を行った。提示される音声刺激の総数は、5種類の条件(Unprocessed、SS(1,0)、WF(0,0) PSM、WF(0,1) PSM、WF(0,2) PSM)及び4種類のSNR(−6,−3,0,3dB)から構成される計400個とした。
この聴取実験には、20歳から23歳の男性4名と女性5名との健聴者が参加した。実験参加者は、ランダム順に呈示される音声刺激を聴きとり、聴きとった4モーラ音声を解答用紙にひらがなで記入した。本実験では、完全回答のみを正解として、最終的に音声明瞭度を百分率で計算した。また、全ての実験参加者が、125Hzから8000Hzの範囲のオージオグラムで健聴な聴力なレベルであることを確認した。また、実験に先立ちインフォームドコンセントを実施し、聴取実験の実施に関する同意を得た。
本実施の形態の手法(GEDI)が、聴取実験の結果を正しく予測できるかを調べるために、被験者ごとに異なる音声セットに対して音声明瞭度を計算した。GEDIのパラメータは、FW07の心的辞書の大きさの推定値と、今回用いた音声試料の親密度の低さを勘案して、応答の選択肢の数をm=20000と置いた。次に、予測された音声明瞭度(Unprocessed)と聴取実験の結果との平均二乗誤差(Mean-Squared Error:MSE)が最小になるようにフィッティングを行った結果、残りのパラメータの値はk=1.17、σ=1.62となった。
図4は、聴取実験の結果と音声明瞭度予測法GEDIによる予測結果とを示す図である。図4の(a)は聴取実験の結果を示す。図4の(b)は、音声明瞭度予測法GEDIによる予測結果を示す。図中の横軸は、Unprocessed(雑音抑圧処理前の雑音重畳音声)におけるSNRを表している。聴取実験及びGEDIの結果は、それぞれ4種類の雑音抑圧処理(スペクトル減算法:SS(1,0)、ウィナーフィルタ型雑音抑圧法:WF(0,0) PSM、WF(0,1) PSM、WF(0,2) PSM)にUnprocessedを加えた5つの曲線から構成される。
図4の(a)中のプロットは被験者9人分の平均値である。図4の(b)中のプロットは聴取実験に使用した全データごとに計算されたGEDIが予測した音声明瞭度の平均値である。プロット上の縦棒は標準偏差である。
聴取実験の結果(図4の(a))では、WF(0,2) PSMの音声明瞭度曲線がUnprocessedよりも高い値を示した。対照的に、聴取実験の結果(図4の(a))ではWF(0,1) PSMやSS(1,0)における音声明瞭度曲線はUnprocessed よりも低い値を示した。WF(0,0) PSMにおける音声明瞭度曲線は、SNRが高いときはUnprocessedよりも高く、SNRが低いときはUnprocessedよりも低い値を示した。これらの結果から、聴取実験による知覚的な評価において、WF(0,2) PSMの雑音抑圧処理が雑音重畳音声の音声明瞭度を改善ができることが示唆された。
本実施の形態の手法であるGEDIによる音声明瞭度の予測結果(図4の(b))は、全体的に、聴取実験の結果(図4の(a))に近い結果となった。すなわち、GEDIによる音声明瞭度の予測結果は、全ての雑音抑圧処理に対する音声明瞭度曲線の順序は、WF(0,2) PSM>WF(0,1) PSM>WF(0,0) PSM>SS(1,0)となり、ほぼ平行の位置関係を示した。そして、GEDIによる音声明瞭度の予測結果は、聴取実験の結果と同様に、WF(0,2) PSMの音声明瞭度曲線がUnprocessedよりも高い値を示した。これより、今回実験した雑音抑圧処理では、WF(0,2)が最も良い雑音抑圧性能を与えることが分かる。また、GEDIによる音声明瞭度の予測結果は、SS(1,0)についてはどの処理条件よりも常に低い値を示した。
このように、GEDIによる音声明瞭度の予測結果は、聴取実験の結果と非常に高い相関関係を示すため、音声明瞭度を精度よく計算していると言える。
[実施の形態の効果]
このように、本実施の形態に係るGEDI音声明瞭度計算装置では、クリーン音声の時間的な振幅包絡信号と強調音声の時間的な振幅包絡信号の差分から、強調音声に含まれる歪み成分(e)を推定し、歪み成分とクリーン音声の特徴量を用いて音声品質客観評価指標である音声明瞭度を計算する基となるSDRenvを計算する。
このGEDI音声明瞭度計算装置12は、雑音重畳前のクリーン音声を入力としている。したがって、GEDI音声明瞭度計算装置12の前段の強調処理装置11は、雑音の残留成分を計算してGEDI音声明瞭度計算装置12に入力する必要がない。すなわち、従来の評価指標(sEPSM,dcGC−sEPSM)で必要であった雑音の残留成分を計算する必要がない。したがって、強調処理装置11は、いずれの音声強調手法も適用可能であり、音声強調処理手法に依存せずに音声明瞭度を計算できる。言い換えると、従来のsEPSM及びdcGC−sEPSMに比べて、音声強調処理に依存した推定処理を行う必要がなく、利便性の高い客観的評価指標を計算できる。
そして、GEDI音声明瞭度計算装置12は、dcGC−sEPSMと同様に、聴覚フィルタバンクに動的圧縮型ガンマチャープフィルタバンク(dcGC)を用いている。dcGC−sEPSMは、健聴者の特性はもちろん、難聴者の特性も反映できる。このため、本実施の形態は、聴覚測定から得られたガンマチャープフィルタバンクのパラメータを直接導入することができ、難聴者の特性も反映することができるため、難聴者の音声明瞭度推定にも適用可能である。
そして、GEDI音声明瞭度計算装置12は、最新のウィナーフィルタ型雑音抑圧処理等、残留成分の定義が必ずしも明確でない音声強調手法に対しても、強調音声の明瞭度を、従来のsEPSM及びdcGC−sEPSMよりも精度良く予測することができる。また、実験で示したように、複数の異なる音声強調手法について、本実施の形態を用いて、それぞれの音声明瞭度を予測し比較することで、各音声強調手法の評価や、より良い音声強調手法の選択を、従来方法よりも精度良く行えるようになる。
このように、実施の形態によれば、音声強調方法に依存することなく音声明瞭度を精度よく計算することができ、さらに、健聴者用、補聴器用双方の音声明瞭度の計算手法として幅広く用いることができる。
[実施の形態の変形例1]
次に、実施の形態の変形例1について説明する。本変形例1では、SDRenvの計算方法の他の例について説明する。
本変形例1では、SDRenvに適切な重み付けを行う。本変形例1は、SDRenvの計算において、Penv,*,i,j(アスタリスク(*)は、歪み信号D或いはクリーン音声Sである。)に適切な重みを付けて計算をすることによって、より頑健な音声明瞭度推定方法を与える。
本変形例1では、SDRenv計算部126におけるステップS9の計算は、以下の(10)式のように、動的圧縮型ガンマチャープフィルタの各チャネルiごとに、重みVを付けて計算する。
Figure 0006849978
ここで、重みとして、例えば、下記の(11)式に示すVを利用することができる。
Figure 0006849978
ここで、ERB(f)は、周波数f(Hz)における、等価矩形帯域幅(例えば、参考文献3:B.C.J. Moore, “Chapter 3:Frequency Selectivity, Masking, and the Critical Band”, in An Introduction to the Psychology of Hearing, Sixth Edition, Brill, pp. 67-132, 2013参照)であり、f0は、例えば1000(Hz)と設定する。
また、重みVとしては、(11)式以外にも、聴覚フィルタの帯域幅を補正できるような適切なものを利用してもよい。
なお、本変形例1では、SDRenv計算部126によるステップS9の処理以外は、図3に示す処理と同じである。
[実施の形態の変形例2]
次に、実施の形態の変形例2について説明する。本変形例2は、雑音が非定常な場合に、より頑健な音声明瞭度推定方法を与える。図5は、実施の形態の変形例2に係るGEDI音声明瞭度計算装置の機能を模式的に示す図である。
図5に示すように、本実施の形態の変形例2に係るGEDI音声明瞭度計算装置12Aは、図2に示すGEDI音声明瞭度計算装置12と比して、変調スペクトル計算部124を削除した構成を有する。また、GEDI音声明瞭度計算装置12Aは、GEDI音声明瞭度計算装置12と比して、変調フィルタバンク125及びSDRenv計算部126に代えて、変調フィルタバンク125A(第2のフィルタバンク)SDRenv計算部126Aを有する。
変調フィルタバンク125Aは、振幅包絡信号抽出部122が出力した雑音音声あるいは強調音声に対応する時間的な振幅包絡信号e^S,i(n)と、クリーン音声に対応する時間的な振幅包絡信号eS,i(n)と、歪み信号抽出部123において得られた歪み信号eD,i(n)と、を入力とする。
変調フィルタバンク125Aは、はじめに、振幅包絡信号eS,i(n)、歪み信号eD,i(n)のそれぞれを変調フィルタバンクに入力し、j番目の変調フィルタの出力時系列ES,i,j(n),ED,i,j(n)を計算する。ここでの変調フィルタバンクは、例えば、3次のバタワースフィルタによるLPFと、複数の2次のバンドパスフィルタとを用いる。
次に、変調フィルタバンク125Aは、上記の出力時系列ES,i,j(n),ED,i,j(n)を短時間フレーム毎に分割し、各チャネルjでのt番目のフレームにおける分割後の時系列をそれぞれ、ES,i,j,t(n),ED,i,j,t(n)として得る。ここで、短時間フレームの長さは、例えば、変調フィルタバンクのカットオフ周波数(LPF)もしくは中心周波数(BPF)の逆数とし、フレームのオーバーラップは0〜短時間フレーム長の間の値とする。
続いて、変調フィルタバンク125Aは、変調フィルタバンク125Aの出力として、各jに関する変調パワースペクトルを、式(12)を用いて、計算する。
Figure 0006849978
ここで、式(12)中のアスタリスク(*)は、歪み信号D或いはクリーン音声Sである。Av[f(n)]は、f(n)のnに関する平均値計算演算を表す。
次に、SDRenv計算部126Aは、クリーン音声の変調パワースペクトルPenv,S,i,j,tと歪み信号の変調パワースペクトルPenv,D,i,j,tを入力として、はじめに、(13)式を用いて、各短時間フレームtにおける変調周波数領域での信号対歪み比SDRenvを計算する。
Figure 0006849978
または、SDRenv計算部126Aは、信号対歪み比SDRenvを、実施の形態の変形例1と同様に、重みVを用いる(14)式を適用して計算してもよい。
Figure 0006849978
そして、SDRenv計算部126Aは、SDRenv,j,tを用いて全体のSDRenvを式(15)及び式(16)にて計算し出力する。
Figure 0006849978
Figure 0006849978
ここで、Tは、j番目の変調フィルタの短時間フレームの数であり、この値は上述した短時間フレームの長さと、入力データ長から一意に決まる。
[GEDI音声明瞭度計算装置の処理]
次に、図5に示すGEDI音声明瞭度計算装置12Aの処理について説明する。図6は、実施の形態の変形例2に係る音声明瞭度計算処理の処理手順を示すフローチャートである。
図6に示すステップS21〜ステップS24は、図3に示すステップS1〜ステップS4と同様の処理である。
変調フィルタバンク125Aは、振幅包絡信号抽出部122が出力した雑音音声あるいは強調音声に対応する振幅包絡信号e^S,i(n)と、クリーン音声に対応する振幅包絡信号eS,i(n)と、歪み信号抽出部123において得られた歪み信号eD,i(n)とを入力とし、変調フィルタバンクを通過した信号の変調パワースペクトルを計算する(ステップS25)。具体的には、変調フィルタバンク125Aは、振幅包絡信号抽出部122が出力した雑音音声あるいは強調音声に対応する振幅包絡信号e^S,i(n)と、クリーン音声に対応する振幅包絡信号eS,i(n)と、歪み信号抽出部123において得られた歪み信号eD,i(n)とを入力とし、(12)式を用いて、クリーン音声の変調パワースペクトルPenv,S,i,j,tと歪み信号の変調パワースペクトルPenv,D,i,j,tとを計算する。
図6に示すステップS26〜ステップS28は、図3に示すステップS6〜ステップS8と同じ処理である。
そして、SDRenv計算部126Aは、クリーン音声の変調パワースペクトルPenv,S,i,j,tと歪み信号の変調パワースペクトルPenv,D,i,j,tを用いて、差分成分として、SDRenvを計算する(ステップS29)。この際、SDRenv計算部126Aは、式(13)または式(14)と、式(15)と、式(16)とを用いる。
図6に示すステップS30〜ステップS35は、図3に示すステップS10〜ステップS15と同様の処理である。
この実施の形態の変形例2のように処理を行うことによって、GEDI音声明瞭度計算装置12Aは、変調スペクトル計算部124を削除することが可能になる。
[システム構成等]
図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部又は任意の一部が、CPU及び当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
また、本実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部又は一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
[プログラム]
図7は、プログラムが実行されることにより、GEDI音声明瞭度計算装置12が実現されるコンピュータの一例を示す図である。コンピュータ1000は、例えば、メモリ1010、CPU1020を有する。また、コンピュータ1000は、ハードディスクドライブインタフェース1030、ディスクドライブインタフェース1040、シリアルポートインタフェース1050、ビデオアダプタ1060、ネットワークインタフェース1070を有する。これらの各部は、バス1080によって接続される。
メモリ1010は、ROM(Read Only Memory)1011及びRAM(Random Access Memory)1012を含む。ROM1011は、例えば、BIOS(Basic Input Output System)等のブートプログラムを記憶する。ハードディスクドライブインタフェース1030は、ハードディスクドライブ1090に接続される。ディスクドライブインタフェース1040は、ディスクドライブ1100に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ1100に挿入される。シリアルポートインタフェース1050は、例えばマウス1110、キーボード1120に接続される。ビデオアダプタ1060は、例えばディスプレイ1130に接続される。
ハードディスクドライブ1090は、例えば、OS(Operating System)1091、アプリケーションプログラム1092、プログラムモジュール1093、プログラムデータ1094を記憶する。すなわち、GEDI音声明瞭度計算装置12の各処理を規定するプログラムは、コンピュータにより実行可能なコードが記述されたプログラムモジュール1093として実装される。プログラムモジュール1093は、例えばハードディスクドライブ1090に記憶される。例えば、GEDI音声明瞭度計算装置12における機能構成と同様の処理を実行するためのプログラムモジュール1093が、ハードディスクドライブ1090に記憶される。なお、ハードディスクドライブ1090は、SSD(Solid State Drive)により代替されてもよい。
また、上述した実施形態の処理で用いられる設定データは、プログラムデータ1094として、例えばメモリ1010やハードディスクドライブ1090に記憶される。そして、CPU1020が、メモリ1010やハードディスクドライブ1090に記憶されたプログラムモジュール1093やプログラムデータ1094を必要に応じてRAM1012に読み出して実行する。
なお、プログラムモジュール1093やプログラムデータ1094は、ハードディスクドライブ1090に記憶される場合に限らず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ1100等を介してCPU1020によって読み出されてもよい。あるいは、プログラムモジュール1093及びプログラムデータ1094は、ネットワーク(LAN(Local Area Network)、WAN(Wide Area Network)等)を介して接続された他のコンピュータに記憶されてもよい。そして、プログラムモジュール1093及びプログラムデータ1094は、他のコンピュータから、ネットワークインタフェース1070を介してCPU1020によって読み出されてもよい。
以上、本発明者によってなされた発明を適用した実施形態について説明したが、本実施形態による本発明の開示の一部をなす記述及び図面により本発明は限定されることはない。すなわち、本実施形態に基づいて当業者等によりなされる他の実施形態、実施例及び運用技術等は全て本発明の範疇に含まれる。
11,11P 強調処理装置
12,12A GEDI音声明瞭度計算装置
12P 音声明瞭度計算装置
121 動的圧縮型ガンマチャープフィルタバンク
122 振幅包絡信号抽出部
123 歪み信号抽出部
124 変調スペクトル計算部
125,125A 変調フィルタバンク
126,126A SDRenv計算部
127 感度指標変換部
128 音声明瞭度変換部
129 音声明瞭度出力部

Claims (15)

  1. 音声明瞭度計算装置が実行する音声明瞭度計算方法であって、
    複数のフィルタバンクを用いて、入力されたクリーン音声の特徴量と強調音声の特徴量とを求め、求めたクリーン音声の特徴量と強調音声の特徴量との差分成分を基に、音声品質の客観評価指標である音声明瞭度を計算する音声明瞭度計算工程と、
    前記音声明瞭度計算工程において計算された前記音声明瞭度を出力する工程と、
    を含み、
    前記音声明瞭度計算工程は、
    前記クリーン音声の特徴量と前記強調音声の特徴量との時間的な振幅包絡信号の差分を基に、時間的な歪み信号を求める工程と、
    前記歪み信号と前記クリーン音声の時間的な振幅包絡信号とを基に、前記差分成分として、前記クリーン音声と前記歪み信号との信号対歪み比(Signal-to-Distortion Ratio:SDR)を計算する工程と、
    を含んだことを特徴とする音声明瞭度計算方法。
  2. 音声明瞭度計算装置が実行する音声明瞭度計算方法であって、
    複数のフィルタバンクを用いて、入力されたクリーン音声の特徴量と強調音声の特徴量とを求め、求めたクリーン音声の特徴量と強調音声の特徴量との差分成分を基に、音声品質の客観評価指標である音声明瞭度を計算する音声明瞭度計算工程と、
    前記音声明瞭度計算工程において計算された前記音声明瞭度を出力する工程と、
    を含み、
    前記音声明瞭度計算工程は、
    前記クリーン音声の特徴量と前記強調音声の特徴量とを基に、時間的な歪み信号を求める工程と、
    前記歪み信号から得た変調パワースペクトルと前記クリーン音声から得た変調パワースペクトルとを基に、前記差分成分として、前記クリーン音声と前記歪み信号との信号対歪み比(SDR)を計算する工程と、
    を含んだことを特徴とする音声明瞭度計算方法。
  3. 音声明瞭度計算装置が実行する音声明瞭度計算方法であって、
    複数のフィルタバンクを用いて、入力されたクリーン音声の特徴量と強調音声の特徴量とを求め、求めたクリーン音声の特徴量と強調音声の特徴量との差分成分を基に、音声品質の客観評価指標である音声明瞭度を計算する音声明瞭度計算工程と、
    前記音声明瞭度計算工程において計算された前記音声明瞭度を出力する工程と、
    を含み、
    前記音声明瞭度計算工程は、
    第1のフィルタバンクに基づく前記クリーン音声の特徴量と前記強調音声の特徴量との時間的な振幅包絡信号の差分を基に時間的な歪み信号を抽出する工程と、
    前記クリーン音声の時間的な振幅包絡信号、前記強調音声の時間的な振幅包絡信号および前記時間的な歪み信号を基に、第2のフィルタバンクを用いて前記クリーン音声に対応する変調パワースペクトルと前記歪み信号に対応する変調パワースペクトルとを計算する工程と、
    前記クリーン音声に対応する変調パワースペクトルと前記歪み信号に対応する変調パワースペクトルとを基に、前記差分成分として、前記クリーン音声と前記歪み信号との信号対歪み比(SDR)を計算する工程と、
    を含んだことを特徴とする音声明瞭度計算方法。
  4. 音声明瞭度計算装置が実行する音声明瞭度計算方法であって、
    複数のフィルタバンクを用いて、入力されたクリーン音声の特徴量と強調音声の特徴量とを求め、求めたクリーン音声の特徴量と強調音声の特徴量との差分成分を基に、音声品質の客観評価指標である音声明瞭度を計算する音声明瞭度計算工程と、
    前記音声明瞭度計算工程において計算された前記音声明瞭度を出力する工程と、
    を含み、
    前記音声明瞭度計算工程は、
    第1のフィルタバンクに基づく前記クリーン音声の特徴量と前記強調音声の特徴量との時間的な振幅包絡信号の差分を基に時間的な歪み信号を抽出する工程と、
    前記クリーン音声の時間的な振幅包絡信号および前記時間的な歪み信号にフーリエ変換を適用することにより、それぞれに対応する変調パワースペクトルを計算する工程と、
    前記クリーン音声の変調パワースペクトルと前記歪み信号の変調パワースペクトルとに第2のフィルタバンクで重み付けを行う工程と、
    前記差分成分として、重み付けされた前記クリーン音声と前記歪み信号との信号対歪み比(SDR)を計算する工程と、
    を含んだことを特徴とする音声明瞭度計算方法。
  5. 前記第1のフィルタバンクが出力した振幅包絡の情報を用いて、前記クリーン音声の特徴量と前記強調音声の特徴量との時間的な振幅包絡信号を計算する工程をさらに含んだことを特徴とする請求項またはに記載の音声明瞭度計算方法。
  6. 前記第1のフィルタバンクは、動的圧縮型ガンマチャープフィルタバンクであることを特徴とする請求項のいずれか一つに記載の音声明瞭度計算方法。
  7. 前記第2のフィルタバンクは、変調周波数領域のバンドパスフィルタバンクであることを特徴とする請求項のいずれか一つに記載の音声明瞭度計算方法。
  8. 複数のフィルタバンクを用いて、入力されたクリーン音声の特徴量と強調音声の特徴量とを求め、求めたクリーン音声の特徴量と強調音声の特徴量との差分成分を基に、音声品質の客観評価指標である音声明瞭度を計算する音声明瞭度計算部と、
    前記音声明瞭度計算部が計算した前記音声明瞭度を出力する出力部と、
    を有し、
    前記音声明瞭度計算部は、
    前記クリーン音声の特徴量と前記強調音声の特徴量との時間的な振幅包絡信号の差分を基に、時間的な歪み信号を求める歪み信号抽出部と、
    前記歪み信号と前記クリーン音声の時間的な振幅包絡信号とを基に、前記差分成分として、前記クリーン音声と前記歪み信号との信号対歪み比(SDR)を計算するSDR env 計算部と、
    を有することを特徴とする音声明瞭度計算装置。
  9. 複数のフィルタバンクを用いて、入力されたクリーン音声の特徴量と強調音声の特徴量とを求め、求めたクリーン音声の特徴量と強調音声の特徴量との差分成分を基に、音声品質の客観評価指標である音声明瞭度を計算する音声明瞭度計算部と、
    前記音声明瞭度計算部が計算した前記音声明瞭度を出力する出力部と、
    を有し、
    前記音声明瞭度計算部は、
    前記クリーン音声の特徴量と前記強調音声の特徴量とを基に、時間的な歪み信号を求める歪み信号抽出部と、
    前記歪み信号から得た変調パワースペクトルと前記クリーン音声から得た変調パワースペクトルとを基に、前記差分成分として、前記クリーン音声と前記歪み信号との信号対歪み比(SDR)を計算するSDR env 計算部と、
    を有することを特徴とする音声明瞭度計算装置。
  10. 複数のフィルタバンクを用いて、入力されたクリーン音声の特徴量と強調音声の特徴量とを求め、求めたクリーン音声の特徴量と強調音声の特徴量との差分成分を基に、音声品質の客観評価指標である音声明瞭度を計算する音声明瞭度計算部と、
    前記音声明瞭度計算部が計算した前記音声明瞭度を出力する出力部と、
    を有し、
    前記音声明瞭度計算部は、
    第1のフィルタバンクに基づく前記クリーン音声の特徴量と前記強調音声の特徴量との時間的な振幅包絡信号の差分を基に時間的な歪み信号を抽出する歪み信号抽出部と、
    前記クリーン音声の時間的な振幅包絡信号、前記強調音声の時間的な振幅包絡信号および前記時間的な歪み信号を基に、前記クリーン音声に対応する変調パワースペクトルと前記歪み信号に対応する変調パワースペクトルとを計算する第2のフィルタバンクと、
    前記クリーン音声に対応する変調パワースペクトルと前記歪み信号に対応する変調パワースペクトルとを基に、前記差分成分として、前記クリーン音声と前記歪み信号とのSDRを計算するSDR env 計算部と、
    を有することを特徴とする音声明瞭度計算装置。
  11. 複数のフィルタバンクを用いて、入力されたクリーン音声の特徴量と強調音声の特徴量とを求め、求めたクリーン音声の特徴量と強調音声の特徴量との差分成分を基に、音声品質の客観評価指標である音声明瞭度を計算する音声明瞭度計算部と、
    前記音声明瞭度計算部が計算した前記音声明瞭度を出力する出力部と、
    を有し、
    前記音声明瞭度計算部は、
    第1のフィルタバンクに基づく前記クリーン音声の特徴量と前記強調音声の特徴量との時間的な振幅包絡信号を基に、前記強調音声に含まれる歪み信号を抽出する歪み信号抽出部と、
    前記クリーン音声と前記強調音声との前記時間的な振幅包絡信号と、前記歪み信号とを用いて前記クリーン音声と前記歪み信号とに重み付けを行う第2のフィルタバンクと、
    前記特徴量の差分成分として、重み付けされた前記クリーン音声と前記歪み信号との信号対歪み比(SDR)を計算するSDR env 計算部と、
    を有することを特徴とする音声明瞭度計算装置。
  12. 前記第1のフィルタバンクが出力した振幅包絡の情報を用いて、前記クリーン音声の特徴量と前記強調音声の特徴量との時間的な振幅包絡信号を計算する振幅包絡信号抽出部をさらに有することを特徴とする請求項1または1に記載の音声明瞭度計算装置。
  13. 前記第1のフィルタバンクは、動的圧縮型ガンマチャープフィルタバンクであることを特徴とする請求項1〜1のいずれか一つに記載の音声明瞭度計算装置。
  14. 前記第2のフィルタバンクは、変調周波数領域のバンドパスフィルタバンクであることを特徴とする請求項1〜1のいずれか一つに記載の音声明瞭度計算装置。
  15. コンピュータを、請求項14のいずれか一つに記載の音声明瞭度計算装置として機能させるための音声明瞭度計算プログラム。
JP2019534607A 2017-08-04 2018-08-03 音声明瞭度計算方法、音声明瞭度計算装置及び音声明瞭度計算プログラム Active JP6849978B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017151370 2017-08-04
JP2017151370 2017-08-04
PCT/JP2018/029317 WO2019027053A1 (ja) 2017-08-04 2018-08-03 音声明瞭度計算方法、音声明瞭度計算装置及び音声明瞭度計算プログラム

Publications (2)

Publication Number Publication Date
JPWO2019027053A1 JPWO2019027053A1 (ja) 2020-07-09
JP6849978B2 true JP6849978B2 (ja) 2021-03-31

Family

ID=65233188

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019534607A Active JP6849978B2 (ja) 2017-08-04 2018-08-03 音声明瞭度計算方法、音声明瞭度計算装置及び音声明瞭度計算プログラム

Country Status (3)

Country Link
US (1) US11462228B2 (ja)
JP (1) JP6849978B2 (ja)
WO (1) WO2019027053A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230282226A1 (en) * 2020-08-04 2023-09-07 Sony Group Corporation Signal processing device and method, and program

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006133431A2 (en) * 2005-06-08 2006-12-14 The Regents Of The University Of California Methods, devices and systems using signal processing algorithms to improve speech intelligibility and listening comfort
EP2708040B1 (en) * 2011-05-11 2019-03-27 Robert Bosch GmbH System and method for emitting and especially controlling an audio signal in an environment using an objective intelligibility measure
JP6386237B2 (ja) * 2014-02-28 2018-09-05 国立研究開発法人情報通信研究機構 音声明瞭化装置及びそのためのコンピュータプログラム
EP3220661B1 (en) * 2016-03-15 2019-11-20 Oticon A/s A method for predicting the intelligibility of noisy and/or enhanced speech and a binaural hearing system

Also Published As

Publication number Publication date
US11462228B2 (en) 2022-10-04
WO2019027053A1 (ja) 2019-02-07
US20210375300A1 (en) 2021-12-02
JPWO2019027053A1 (ja) 2020-07-09

Similar Documents

Publication Publication Date Title
Reddy et al. An individualized super-Gaussian single microphone speech enhancement for hearing aid users with smartphone as an assistive device
Schädler et al. Matrix sentence intelligibility prediction using an automatic speech recognition system
JP5665977B2 (ja) 試験音声信号の雑音を除去する結果として試験雑音除去音声信号内で減衰したスペクトル成分を復元するための方法
Tsao et al. Generalized maximum a posteriori spectral amplitude estimation for speech enhancement
JP5542206B2 (ja) オーディオ・システムの知覚品質を判定する方法およびシステム
US20210193149A1 (en) Method, apparatus and device for voiceprint recognition, and medium
Schwerin et al. An improved speech transmission index for intelligibility prediction
Kressner et al. Evaluating the generalization of the hearing aid speech quality index (HASQI)
Kumar Comparative performance evaluation of MMSE-based speech enhancement techniques through simulation and real-time implementation
Saeidi et al. Feature extraction using power-law adjusted linear prediction with application to speaker recognition under severe vocal effort mismatch
Harlander et al. Sound quality assessment using auditory models
Taal et al. A low-complexity spectro-temporal distortion measure for audio processing applications
Yamamoto et al. GEDI: Gammachirp envelope distortion index for predicting intelligibility of enhanced speech
Chennupati et al. Significance of phase in single frequency filtering outputs of speech signals
Islam et al. Supervised single channel speech enhancement based on stationary wavelet transforms and non-negative matrix factorization with concatenated framing process and subband smooth ratio mask
Mourad Speech enhancement based on stationary bionic wavelet transform and maximum a posterior estimator of magnitude-squared spectrum
TWI767696B (zh) 自我語音抑制裝置及方法
JP6849978B2 (ja) 音声明瞭度計算方法、音声明瞭度計算装置及び音声明瞭度計算プログラム
Gomez et al. Improving objective intelligibility prediction by combining correlation and coherence based methods with a measure based on the negative distortion ratio
JPWO2007094463A1 (ja) 信号歪み除去装置、方法、プログラム及びそのプログラムを記録した記録媒体
Nguyen et al. Improvement in bone-conducted speech restoration using linear prediction and long short-term memory model
EP4177885A1 (en) Quantifying signal purity by means of machine learning
Bogdanova et al. Objective quality evaluation of speech band-limited signals
Wakabayashi Speech enhancement using harmonic-structure-based phase reconstruction
Shankar et al. Real-time single-channel deep neural network-based speech enhancement on edge devices

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200117

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20200117

A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20200117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210225

R150 Certificate of patent or registration of utility model

Ref document number: 6849978

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250