JP6904198B2 - 音声処理プログラム、音声処理方法および音声処理装置 - Google Patents

音声処理プログラム、音声処理方法および音声処理装置 Download PDF

Info

Publication number
JP6904198B2
JP6904198B2 JP2017183926A JP2017183926A JP6904198B2 JP 6904198 B2 JP6904198 B2 JP 6904198B2 JP 2017183926 A JP2017183926 A JP 2017183926A JP 2017183926 A JP2017183926 A JP 2017183926A JP 6904198 B2 JP6904198 B2 JP 6904198B2
Authority
JP
Japan
Prior art keywords
frame
spectrum
frequency
voice
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017183926A
Other languages
English (en)
Other versions
JP2019060976A (ja
Inventor
紗友梨 中山
紗友梨 中山
太郎 外川
太郎 外川
猛 大谷
猛 大谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2017183926A priority Critical patent/JP6904198B2/ja
Priority to US16/137,596 priority patent/US11004463B2/en
Publication of JP2019060976A publication Critical patent/JP2019060976A/ja
Application granted granted Critical
Publication of JP6904198B2 publication Critical patent/JP6904198B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/90Pitch determination of speech signals
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78Detection of presence or absence of voice signals
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78Detection of presence or absence of voice signals
    • G10L25/84Detection of presence or absence of voice signals for discriminating voice from noise
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/06Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063Training
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/90Pitch determination of speech signals
    • G10L2025/906Pitch tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Child & Adolescent Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Artificial Intelligence (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Description

本発明は、音声処理プログラム等に関する。
近年、多くの企業では、顧客の満足度等を推定し、マーケティングを有利に進めるために、応答者と顧客との会話から、顧客(あるいは、応答者)の感情等に関する情報を獲得したいというニーズがある。人の感情は声に現れることが多く、たとえば、声の高さ(ピッチ周波数)は、人の感情を捉える場合に重要な要素の一つとなる。
ここで、音声の入力スペクトルに関する用語について説明する。図20は、入力スペクトルに関する用語を説明するための図である。図20に示すように、一般的に、人間の音声の入力スペクトル4は、極大値が等間隔に表れる。入力スペクトル4の横軸は周波数に対応する軸であり、縦軸は入力スペクトル4の大きさに対応する軸である。
最も低い周波数成分の音を「基音」とする。基音のある周波数をピッチ周波数とする。図20に示す例では、ピッチ周波数はfとなる。ピッチ周波数の整数倍に当たる各周波数成分(2f、3f、4f)の音を倍音とする。入力スペクトル4には、基音4a、倍音4b,4c,4dが含まれる。
続いて、ピッチ周波数を推定する従来技術1の一例について説明する。図21は、従来技術1を説明するための図(1)である。図21に示すように、この従来技術では、周波数変換部10と、相関算出部11と、探索部12とを有する。
周波数変換部10は、入力音声をフーリエ変換することで、入力音声の周波数スペクトルを算出する処理部である。周波数変換部10は、入力音声の周波数スペクトルを、相関算出部11に出力する。以下の説明では、入力音声の周波数スペクトルを、入力スペクトルと表記する。
相関算出部11は、様々な周波数のコサイン波と、入力スペクトルとの相関値を周波数毎にそれぞれ算出する処理部である。相関算出部11は、コサイン波の周波数と相関値とを対応づけた情報を、探索部12に出力する。
探索部12は、複数の相関値の内、最大の相関値に対応づけられたコサイン波の周波数を、ピッチ周波数として出力する処理部である。
図22は、従来技術1を説明するための図(2)である。図22において、入力スペクトル5aは、周波数変換部10から出力された入力スペクトルである。入力スペクトル5aの横軸は周波数に対応する軸であり、縦軸はスペクトルの大きさに対応する軸である。
コサイン波6a,6bは、相関算出部11が受け付けるコサイン波の一部である。コサイン波6aは、周波数軸上で周波数f[Hz]とその倍数にピークを持つコサイン波である。コサイン波6bは、周波数軸上で周波数2f[Hz]とその倍数にピークを持つコサイン波である。
相関算出部11は、入力スペクトル5aと、コサイン波6aとの相関値「0.95」を算出する。相関算出部11は、入力スペクトル5aと、コサイン波6bとの相関値「0.40」を算出する。
探索部12は、各相関値を比較し、最大値となる相関値を探索する。図22に示す例では、相関値「0.95」が最大値となるため、探索部12は、相関値「0.95」に対応する周波数f「Hz」を、ピッチ周波数として出力する。なお、探索部12は、最大値が所定の閾値未満となる場合には、ピッチ周波数がないと判定する。
ここで、従来技術1には、次のような問題がある。図23は、従来技術1の問題を説明するための図である。たとえば、倍音成分が小さい音声の場合、相関値が小さくなり、ピッチ周波数を検出することが難しい。図23において、入力スペクトル5bの横軸は周波数に対応する軸であり、縦軸はスペクトルの大きさに対応する軸である。入力スペクトル5bでは、倍音3bが小さい。
たとえば、相関算出部11は、入力スペクトル5bと、コサイン波6aとの相関値「0.20」を算出する。相関算出部11は、入力スペクトル5bと、コサイン波6bとの相関値「0.01」を算出する。
探索部12は、各相関値を比較し、最大値となる相関値を探索する。また、閾値を「0.3」とする。そうすると、探索部12は、最大値「0.20」が閾値未満となるため、ピッチ周波数がないと判定する。
上述した従来技術1の問題を回避する方法として、従来技術2がある。図24は、従来技術2を説明するための図である。従来技術2では、複数の極大値のうち、最も大きな極大値に対応する周波数をピッチ周波数として検出する。たとえば、図24に示す例では、入力スペクトル5bの周波数「f」に対応する値が、最も大きな極大値となるため、ピッチ周波数を「f」とする。
特開2011−065041号公報 特開2009−086476号公報 国際公開第2006/132159号
しかしながら、上述した従来技術では、ピッチ周波数の推定精度を向上させることができないという問題がある。
図25は、従来技術2の問題を説明するための図である。図25の入力スペクトル5cは、雑音区間のスペクトルを示すものである。入力スペクトル5cの横軸は周波数に対応する軸であり、縦軸はスペクトルの大きさに対応する軸である。従来技術2を用いると、雑音区間の入力スペクトル5cで有っても、極大値の比較により、ピッチ周波数を誤検出してしまう。図25に示す例では、周波数「fn」に対応する値が、各極大値のうち最大となるため、ピッチ周波数「fn」が誤検出される。
1つの側面では、本発明は、ピッチ周波数の推定精度を向上させることができる音声処理プログラム、音声処理方法および音声処理装置を提供することを目的とする。
第1の案では、コンピュータに下記の処理を実行させる。コンピュータは、入力信号に含まれる複数のフレームからスペクトルをそれぞれ算出する。コンピュータは、フレームのスペクトルの特徴に基づいて、複数のフレームから、音声らしい音声フレームを判定する。コンピュータは、音声フレームのスペクトルに含まれる複数の極大値を基にして基音を特定し、基音の大きさに基づく学習値を学習する。コンピュータは、フレームのスペクトルと学習値とを基にして、フレームのピッチ周波数を検出する。
ピッチ周波数の推定精度を向上させることができる。
図1は、本実施例1に係る音声処理装置の処理を説明するための図(1)である。 図2は、本実施例1に係る音声処理装置の処理を説明するための図(2)である。 図3は、本実施例1に係る音声処理装置の効果の一例を説明するための図である。 図4は、本実施例1に係る音声処理装置の構成を示す機能ブロック図である。 図5は、表示画面の一例を示す図である。 図6は、ハニング窓の一例を示す図である。 図7は、本実施例1に係る学習部の処理を説明するための図である。 図8は、本実施例1に係る音声処理装置の処理手順を示すフローチャートである。 図9は、本実施例2に係る音声処理システムの一例を示す図である。 図10は、本実施例2に係る音声処理装置の構成を示す機能ブロック図である。 図11は、基音周波数毎に学習される学習値を補足説明するための図である。 図12は、本実施例2に係る音声処理装置の処理手順を示すフローチャートである。 図13は、本実施例3に係る音声処理システムの一例を示す図である。 図14は、本実施例3に係る収録サーバの構成を示す機能ブロック図である。 図15は、本実施例3に係る音声処理装置の構成を示す機能ブロック図である。 図16は、本実施例3に係る学習部の処理を補足説明するための図(1)である。 図17は、本実施例3に係る学習部の処理を補足説明するための図(2)である。 図18は、本実施例3に係る音声処理装置の処理手順を示すフローチャートである。 図19は、音声処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。 図20は、入力スペクトルに関する用語を説明するための図である。 図21は、従来技術1を説明するための図(1)である。 図22は、従来技術1を説明するための図(2)である。 図23は、従来技術1の問題を説明するための図である。 図24は、従来技術2を説明するための図である。 図25は、従来技術2の問題を説明するための図である。
以下に、本願の開示する音声処理プログラム、音声処理方法および音声処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
図1および図2は、本実施例1に係る音声処理装置の処理を説明するための図である。音声処理装置は、入力信号に含まれる複数のフレームからスペクトルを算出し、スペクトルの特徴を基にして、音声らしいフレームを特定する。以下の説明では、音声らしいフレームを適宜、「音声フレーム」と表記する。
図1のスペクトル7は、音声らしいと判定された音声フレームに対応するスペクトルである。スペクトル7の横軸は周波数に対応する軸であり、縦軸はスペクトル7の大きさに対応する軸である。音声処理装置は、スペクトル7の基音7aの大きさを学習値として学習する。たとえば、音声処理装置は、過去の複数の音声フレームを基にして、学習値を更新する。
図2のスペクトル8は、ピッチ周波数の検出対象となるフレームのスペクトルである。スペクトル8の横軸は周波数に対応する軸であり、縦軸はスペクトル8の大きさに対応する軸である。音声処理装置は、スペクトル8の基音8aの大きさと、学習値とを比較して、基音8aの大きさが、学習値を基準とする所定範囲Rに含まれているか否かを判定する。
音声処理装置は、基音8aの大きさが所定範囲R1に含まれている場合には、基音8aに対応する周波数「f[Hz]」を、ピッチ周波数の推定値として出力する。これにより、ピッチ周波数の推定精度を向上させることができる。
図3は、本実施例1に係る音声処理装置の効果の一例を説明するための図である。図3に示すスペクトル5cは、図25で説明した雑音区間のスペクトル5cに対応するものである。音声処理装置は、スペクトル5cと、学習値を基準とする所定範囲Rとを比較すると、所定範囲Rに含まれる部分が、スペクトル5cには存在しないため、ピッチ周波数の推定値を「なし」と判定する。これにより、図25で説明したように、雑音区間の入力スペクトル5cから、誤ってピット周波数を検出することを抑止できる。
図3に示すスペクトル5bは、図23で説明した倍音成分の小さいスペクトル5bに対応するものである。音声処理装置は、スペクトル5bと、学習値を基準とする所定範囲Rとを比較すると、基音3aが所定範囲Rに含まれているため、基音3aに対応する周波数「f[Hz]」を、ピッチ周波数の推定値とする。これにより、図23で説明したように、倍音成分が小さいことによる、ピッチ周波数が検出されないという問題を解消することができる。
次に、本実施例1に係る音声処理装置の構成の一例について説明する。図4は、本実施例1に係る音声処理装置の構成を示す機能ブロック図である。図4に示すように、音声処理装置100は、マイク50aと、表示装置50bに接続される。
マイク50aは、話者から集音した音声(または音声以外)の信号を、音声処理装置100に出力する。以下の説明では、マイク50aが集音した信号を「入力信号」と表記する。たとえば、話者が発話している間に集音した入力信号には、音声が含まれる。話者が発話していない間に集音した入力信号には、背景雑音等が含まれる。
表示装置50bは、音声処理装置100が検出したピッチ周波数の情報を表示する表示装置である。表示装置50bは、液晶ディスプレイやタッチパネル等に対応する。図5は、表示画面の一例を示す図である。たとえば、表示装置50bは、時間とピッチ周波数との関係を示す表示画面60を表示する。図5において、横軸は時間に対応する軸であり、縦軸は、ピッチ周波数に対応する軸である。
図4の説明に戻る。音声処理装置100は、AD変換部110、周波数変換部120、判定部130、学習部140、記憶部150、検出部160を有する。
AD変換部110は、マイク50aから入力信号を受け付け、AD(Analog to Digital)変換を実行する処理部である。具体的には、AD変換部110は、入力信号(アナログ信号)を、入力信号(デジタル信号)に変換する。AD変換部110は、入力信号(デジタル信号)を、周波数変換部120に出力する。以下の説明では、AD変換部110から出力される入力信号(デジタル信号)を単に入力信号と表記する。
周波数変換部120は、入力信号x(n)を所定長の複数のフレームに分割し、各フレームに対してFFT(Fast Fourier Transform)を行うことで、各フレームのスペクトルX(f)を算出する。ここで、「x(n)」はサンプル番号nの入力信号を示す。「X(f)」は、周波数fのスペクトルを示す。
周波数変換部120は、式(1)に基づいて、フレームのパワースペクトルP(l,k)を算出する。式(1)において、変数「l」はフレーム番号を示し、変数「k」は周波数番号を示す。以下の説明では、パワースペクトルを「入力スペクトル」と表記する。周波数変換部120は、入力スペクトルの情報を、判定部130、学習部140、検出部160に出力する。
Figure 0006904198
判定部130は、フレームの入力スペクトルの特徴を基にして、複数のフレームから音声らしいフレームを判定する処理部である。以下において、音声らしいフレームを「音声フレーム」と表記する。判定部130は、判定結果を学習部140に出力する。判定部130は、スペクトル包絡を算出する処理、入力スペクトルとスペクトル包絡との差分和を算出する処理、音声らしさを判定する処理を順に行う。
判定部130が、スペクトル包絡を算出する処理について説明する。判定部130は、入力スペクトルP(l,k)に対して、ハニング窓等の分析窓を乗算することで、入力スペクトルP(l,k)を平滑化したスペクトル包絡P’(l,k)を求める。ハニング窓W(m)は、式(2)により示される。式(2)に示す変数「m」は、ハニング窓の「bin」を示すものである。Qはハニング窓のフィルタ長を示すものある。たとえば、Q=33とすると、mには、1から33までの値が入力される。
Figure 0006904198
図6は、ハニング窓の一例を示す図である。図6では、フィルタ長Qを33とした場合の、ハニング窓である。図6において、横軸はm(bin)に対応する軸であり、縦軸はハニング窓W(m)の値に対応する軸である。
判定部130は、式(3)に基づいて、スペクトル包絡P’(l,k)を算出する。
Figure 0006904198
判定部130が、入力スペクトルとスペクトル包絡との差分和を算出する処理について説明する。判定部130は、式(4)に基づいて、入力スペクトルとスペクトル包絡との差分和S(l)を算出する。式(4)において、MLは、差分和の算出帯域下限を示す。MHは、差分和の算出帯域上限を示す。なお、式(4)に示すように、判定部130は、入力スペクトルP(l,k)とスペクトル包絡P’(l,k)との差分が負の値である場合には、0を加算する。
Figure 0006904198
判定部130が、音声らしさを判定する処理について説明する。たとえば、判定部130は、式(5)に基づいて、フレーム番号「l」のフレームが、音声フレームであるか否かを判定する。
Figure 0006904198
判定部130は、差分和S(l)が、閾値TH1以上である場合には、フレーム番号「l」のフレームが音声フレームであると判定し、判定結果L(l)に「1」を設定する。一方、判定部130は、差分和S(l)が、閾値TH1未満である場合には、フレーム番号「l」のフレームが音声フレームでないと判定し、判定結果L(l)に「0」を設定する。判定部130は、判定結果L(l)の情報を、学習部140に出力する。
学習部140は、音声フレームに含まれる複数の極大値の一部を基音として特定し、基音の大きさに基づく学習値を学習する処理部である。学習部140は、学習した学習値の情報を、学習値情報150aに登録する。学習部140は、判定部130から判定結果L(l)を取得し、取得した判定結果L(l)の値が「1」で有る場合に、フレーム番号「l」のフレームを、音声フレームとする。
学習部140は、音声フレームの入力スペクトルを周波数変換部120から取得する。学習部140は、音声フレームの入力スペクトルの極大値LMj(j=1、2、・・・)と、最大値Mを探索する。たとえば、学習部140は、入力スペクトルの傾きを算出し、傾きがマイナスからプラスに変化する周波数におけるP(l,k)を、極大値LMjとする。学習部140は、極大値LMjのうち、最大の値をもつ周波数におけるP(l,k)を、最大値Mとする。
学習部140は、極大値LMjおよび最大値Mを基にして、音声フレームの入力スペクトルの基音B(l)を特定する。学習部140は、極大値LMjのうち、「最大値M−閾値TH2」よりも大きい極大値LMjを特定し、特定した極大値のうち、対応する周波数が最も低い極大値LMjを、基音B(l)とする。
図7は、本実施例1に係る学習部の処理を説明するための図である。図7において、横軸は周波数に対応する軸であり、縦軸は入力スペクトルの大きさに対応する軸である。図7に示す例では、学習部140は、音声フレームの入力スペクトル11から、極大値として、極大値LM1、LM2、LM3、LM4、LM5、LM6を特定する。また、最大値Mは、「極大値LM2」となる。また、「最大値M−閾値TH2」よりも大きい極大値LMjは、LM2、LM3、LM4、LM5となる。学習部140は、LM2、LM3、LM4、LM5のうち、周波数が最も低い「LM2」を、基音として特定する。
学習部140は、判定結果L(l)=1のとき、集音B(l)の学習値として、平均値B(l)、分散B(l)を算出する。たとえば、学習部140は、式(6)に基づいて、平均値B(l)を算出する。学習部140は、式(7)に基づいて、分散B(l)を算出する。学習部140は、算出した平均値B(l)、分散B(l)の情報を、学習値情報150aに登録する。
Figure 0006904198
Figure 0006904198
記憶部150は、学習値情報150aを有する。記憶部150は、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ(Flash Memory)などの半導体メモリ素子や、HDD(Hard Disk Drive)などの記憶装置に対応する。
学習値情報150aは、学習部140により算出される平均値B(l)、分散B(l)の情報に対応する。
検出部160は、学習値情報150aと、入力スペクトルの最大値とを基にして、ピッチ周波数を検出する処理部である。たとえば、検出部160は、入力スペクトルに含まれる極大値のうち、最大の値を持つものを最大値Mとして特定する。また、検出部160は、最大値Mに対応する周波数を「F」とする。
検出部160は、式(8)に基づいてピッチ周波数(F0)を検出する。たとえば、検出部160は、最大値Mが「B(l)−B(l)」よりも大きい場合には、ピッチ周波数を「F」とする。一方、検出部160は、最大値Mが「B(l)−B(l)」以下である場合には、ピッチ周波数を「0(ピッチ周波数がないことを示す値)」とする。
Figure 0006904198
検出部160は、上記処理を繰り返し実行することで、各フレームに対するピッチ周波数を検出する。検出部160は、時間とピッチ周波数とを対応づけた表示画面の情報を生成し、表示装置50bに表示させてもよい。たとえば、検出部160は、フレーム番号「l」から、時間を推定する。
次に、本実施例1に係る音声処理装置100の処理手順の一例について説明する。図8は、本実施例1に係る音声処理装置の処理手順を示すフローチャートである。図8に示すように、音声処理装置100は、マイク50aから入力信号を取得する(ステップS101)。
音声処理装置100の周波数変換部120は、入力信号のフレームに対して周波数変換を実行することで、入力スペクトルを算出する(ステップS102)。音声処理装置100の判定部130は、音声らしさを判定する(ステップS103)。音声処理装置100は、音声らしいと判定した場合には(ステップS104,Yes)、ステップS105に移行する。一方、音声処理装置100は、音声らしいと判定していない場合には(ステップS104,No)、ステップS106に移行する。
音声処理装置100の学習部140は、音声らしいと判定されたフレームを基にして、基音の学習値を更新する(ステップS105)。音声処理装置100の検出部160は、基音の学習値を基にして、ピッチ周波数を推定する(ステップS106)。
音声処理装置100は、音声終了でない場合には(ステップS107,No)、ステップS101に移行する。一方、音声処理装置100は、音声終了の場合には(ステップS107,Yes)、処理を終了する。
次に、本実施例1に係る音声処理装置100の効果について説明する。音声処理装置100は、入力信号に含まれる各フレームの音声らしさを判定し、音声らしいと判定した音声フレームの基音の大きさを学習値として学習する。そして、音声処理装置100は、ピッチ周波数の検出対象となるフレームから検出した入力スペクトルの基音の大きさと、学習値とを基にして、ピッチ周波数を検出する。これにより、ピッチ周波数の推定精度を向上させることができる。
音声処理装置100は、フレームの入力スペクトルを周波数方向に平滑化することで、スペクトル包絡を算出し、入力スペクトルとスペクトル包絡との差分和を基にして、フレームが音声フレームであるか否かを判定する。このように、入力スペクトルとスペクトル包絡との差分和を用いることで、音声らしいフレームを精度よく検出することができる。
音声処理装置100は、複数の音声フレームの入力スペクトルの極大値の平均値または分散を基にして、学習値を学習する。このように、極大値の平均値および分散を学習値として用いることで、検出対象とする基音の大きさに幅を持たせることができるため、ピッチ周波数の検出漏れを抑止することができる。
音声処理装置100は、音声フレームの入力スペクトルの所定の帯域内に含まれる複数の極大値のうち最大の極大値を探索する。また、音声処理装置100は、複数の極大値のうち、最大の極大値と比較した値の大きさが一定範囲内に含まれ、かつ、最も低域側にある極大値を基にして、学習値を学習する。これにより、音声フレームに含まれる基音を適切に検出することができる。たとえば、図7で、最大値LM1等が基音として検出されてしまうことを抑止でき、極大値LM2を基音として検出することができる。
図9は、本実施例2に係る音声処理システムの一例を示す図である。図9に示すように、この音声処理システムは、端末装置2a,2b、GW(Gate Way)15、収録機器20、クラウド網30を有する。端末装置2aは、電話網15aを介して、GW15に接続される。収録機器20は、個別網15bを介して、GW15、端末装置2b、クラウド網30に接続される。
クラウド網30は、音声DB(Data Base)30aと、DB30bと、音声処理装置200とを有する。音声処理装置200は、音声DB30aと、DB30bとに接続される。なお、音声処理装置200の処理は、クラウド網30上の複数のサーバ(図示略)によって実行されてもよい。
端末装置2aは、マイク(図示略)により集音された話者1aの音声(または音声以外)の信号を、GW15を介して、収録機器20に送信する。以下の説明では、端末装置2aから送信される信号を、第1信号と表記する。
端末装置2bは、マイク(図示略)により集音された話者1bの音声(または音声以外)の信号を、収録機器20に送信する。以下の説明では、端末装置2bから送信される信号を、第2信号と表記する。
収録機器20は、端末装置2aから受信する第1信号を収録し、収録した第1信号の情報を、音声DB30aに登録する。収録機器20は、端末装置2bから受信する第2信号を収録し、収録した第2信号の情報を、音声DB30aに登録する。
音声DB30aは、第1バッファ(図示略)と、第2バッファ(図示略)とを有する。たとえば、音声DB30aは、RAM、ROM、フラッシュメモリなどの半導体メモリ素子や、HDDなどの記憶装置に対応する。
第1バッファは、第1信号の情報を保持するバッファである。第2バッファは、第2信号の情報を保持するバッファである。
DB30bは、音声処理装置200による、ピッチ周波数の推定結果を格納する。たとえば、DB30bは、RAM、ROM、フラッシュメモリなどの半導体メモリ素子や、HDDなどの記憶装置に対応する。
音声処理装置200は、音声DB30aから第1信号を取得し、話者1aの発話のピッチ周波数を推定し、推定結果をDB30bに登録する。音声処理装置200は、音声DB30aから第2信号を取得し、話者1bの発話のピッチ周波数を推定し、推定結果をDB30bに登録する。以下の音声処理装置200に関する説明では、音声処理装置200が、音声DB30aから第1信号を取得し、話者1aの発話のピッチ周波数を推定する処理について説明する。なお、音声処理装置200が、音声DB30aから第2信号を取得し、話者1bの発話のピッチ周波数を推定する処理は、音声DB30aから第1信号を取得し、話者1aの発話のピッチ周波数を推定する処理に対応するため、説明を省略する。以下の説明では、第1信号を「入力信号」と表記する。
図10は、本実施例2に係る音声処理装置の構成を示す機能ブロック図である。図10に示すように、この音声処理装置200は、取得部201、AD変換部202、周波数変換部203、ノイズ推定部204、判定部205、基音周波数推定部206を有する。また、音声処理装置200は、学習部207、記憶部208、検出部209、登録部210を有する。
取得部201は、音声DB30aから入力信号を取得する処理部である。取得部201は、取得した入力信号をAD変換部202に出力する。
AD変換部202は、取得部201から入力信号を取得し、取得した入力信号に対してAD変換を実行する処理部である。具体的には、AD変換部202は、入力信号(アナログ信号)を、入力信号(デジタル信号)に変換する。AD変換部202は、入力信号(デジタル信号)を、周波数変換部203に出力する。以下の説明では、AD変換部202から出力される入力信号(デジタル信号)を単に入力信号と表記する。
周波数変換部203は、入力信号を基にして、フレームの入力スペクトルを算出する処理部である。周波数変換部203が、フレームの入力スペクトルを算出する処理は、周波数変換部120の処理に対応するため、説明を省略する。周波数変換部203は、入力スペクトルの情報を、ノイズ推定部204、判定部205、基音周波数推定部206、学習部207、検出部209に出力する。
ノイズ推定部204は、入力スペクトルに含まれるノイズスペクトルN(l,k)を推定する処理部である。たとえば、ノイズ推定部204は、文献1(S.F.Boll,“Suppression of acoustic noise in speech using spectral subtraction,”IEEE Trans. Acoust.,Speech,Signal Process.,vol.27,pp.113-120,Apr.1979.)に記載された技術を用いて、ノイズスペクトルを推定する。ノイズ推定部204は、推定したノイズスペクトルの情報を、判定部205に出力する。
判定部205は、フレームの入力スペクトルとノイズスペクトルとを基にして、フレームが音声らしいフレームであるか否かを判定する処理部である。以下の説明では、音声らしいフレームを「音声フレーム」と表記する。判定部205は、入力スペクトルとノイズスペクトルとの差分和を算出する処理、音声らしさを判定する処理を順に行う。
判定部205が、入力スペクトルとノイズスペクトルとの差分和を算出する処理について説明する。判定部205は、式(9)に基づいて、入力スペクトルとノイズスペクトルとの差分和S’(l)を算出する。式(9)において、MLは、差分和の算出帯域下限を示す。MHは、差分和の算出帯域上限を示す。なお、式(9)に示すように、判定部205は、入力スペクトルP(l,k)とノイズスペクトルN(l,k)との差分が負の値である場合には、0を加算する。
Figure 0006904198
判定部205が、音声らしさを判定する処理について説明する。たとえば、判定部205は、式(10)に基づいて、フレーム番号「l」のフレームが、音声フレームであるか否かを判定する。
Figure 0006904198
判定部205は、差分和S’(l)が、閾値TH3以上である場合には、フレーム番号「l」のフレームが音声フレームであると判定し、判定結果L(l)に「1」を設定する。一方、判定部205は、差分和S’(l)が、閾値TH3未満である場合には、フレーム番号「l」のフレームが音声フレームでないと判定し、判定結果L(l)に「0」を設定する。判定部205は、判定結果L(l)の情報を、基音周波数推定部206、学習部207、検出部209に出力する。
基音周波数推定部206は、判定部205から取得する判定結果L(l)が「1」である場合に、フレーム番号「l」のフレーム(音声フレーム)に基づいて、基音の周波数を推定する処理部である。たとえば、基音周波数推定部206は、音声フレームに含まれる音声の階調構造を利用して、基音の周波数を算出する。以下の説明では、基音周波数推定部206が算出した音声フレームの基音の周波数を「基音周波数Fs0」と表記する。基音周波数は、基音の周波数に対応する。
たとえば、基音周波数推定部206は、文献2(SWIPE:A Sawtooth Waveform Inspired Pitch Estimator for Speech And Music,", University of Florida,2007)に基づいて、音声フレームから、基音周波数Fs0を算出する。基音周波数推定部206は、基音周波数Fs0の情報を、学習部207、検出部209に出力する。
学習部207は、判定部205から取得する判定結果L(l)が「1」である場合に、基音周波数推定部206から取得する基音周波数Fs0を基にして、学習値を学習する処理部である。ここでは、基音周波数Fs0に対応する基音B’(l)とする。また、B’(l)の大きさを、入力スペクトルの値P(l,Fs0)とする(B’(l)=P(l,Fs0)。
学習部207は、判定結果L(l)=1のとき、B’(l)の平均値を、基音周波数毎に学習する。
学習部207は、「基音周波数Fs0<50Hz」となる場合に、式(11)に基づいて、学習値B(l)を算出する。
Figure 0006904198
学習部207は、「50Hz≦基音周波数Fs0<100Hz」となる場合に、式(12)に基づいて、学習値B(l)を算出する。
Figure 0006904198
学習部207は、「100Hz≦基音周波数Fs0<150Hz」となる場合に、式(13)に基づいて、学習値B(l)を算出する。
Figure 0006904198
図11は、基音周波数毎に学習される学習値を補足説明するための図である。図11の横軸は周波数に対応する軸であり、縦軸は学習値の大きさに対応する軸である。図11に示すように、各帯域に、それぞれ学習値B〜Bが設定される。学習部207は、分散を基にして、各学習値B〜Bを基準とする所定範囲R〜Rを設定してもよい。
ここでは一例として、学習部207が、50Hz〜150Hzにおける学習値B(l)からB(l)を算出する場合について説明したが、150Hz以上の帯域においても、同様に学習値を学習してもよい。
学習部207は、各帯域の学習値B〜Bの情報を、学習値情報208aに登録する。また、学習部207は、学習値B〜Bに対応する所定範囲R〜Rの情報を、学習値情報208aに登録してもよい。
図10の説明に戻る。記憶部208は、学習値情報208aを有する。記憶部208は、RAM、ROM、フラッシュメモリなどの半導体メモリ素子や、HDDなどの記憶装置に対応する。
学習値情報208aは、学習部207により算出される各帯域の学習値B〜Bの情報を保持する。また、学習値情報208aは、各学習値B、B、Bに対応する所定範囲R〜Rの情報を保持していてもよい。
検出部209は、基音周波数Fs0と、学習値情報208aと、入力スペクトルの最大値とを基にして、ピッチ周波数を検出する処理部である。検出部209は、検出したピッチ周波数の情報を、登録部210に出力する。
たとえば、検出部209は、入力スペクトルに含まれる複数の極大値のうち、最大の値を持つものを最大値Mとして特定する。また、検出部209は、最大値Mに対応する周波数を「F」とする。
検出部209は、式(14)に基づいてピッチ周波数(F0)を検出する。たとえば、検出部209は、判定部205の判定結果L(l)=1である場合には、基音周波数推定部206から受け付ける基音周波数Fs0を、ピッチ周波数として検出する。
Figure 0006904198
検出部209は、判定部205の判定結果L(l)=0である場合には、最大値Mが「B(l)−THA」よりも大きいか否かを判定する。検出部209は、判定結果L(l)=0であり、かつ、最大値Mが「B(l)−THA」よりも大きい場合には、最大値Mに対応する周波数を「F」をピッチ周波数として検出する。一方、検出部209は、判定結果L(l)=0であるが、最大値Mが「B(l)−THA」よりも大きくない場合には、ピッチ周波数を「0(ピッチ周波数がないことを示す値)」として検出する。
ここで、B(l)は、「F」に応じて異なるものとなる。たとえば、「F<50Hz」となる場合には、B(l)=B(l)となる。また、最大値Mが「B(l)−THA」よりも大きいとは、最大値Mが、図11に示したRに含まれることを示す。
「50Hz≦F<100Hz」となる場合には、B(l)=B(l)となる。また、最大値Mが「B(l)−THA」よりも大きいとは、最大値Mが、図11に示したRに含まれることを示す。
「100Hz≦F<150Hz」となる場合には、B(l)=B(l)となる。また、最大値Mが「B(l)−THA」よりも大きいとは、最大値Mが、図11に示したRに含まれることを示す。
登録部210は、ピッチ周波数の情報を、DB30bに登録する処理部である。
次に、本実施例2に係る音声処理装置200の処理手順の一例について説明する。図12は、本実施例2に係る音声処理装置の処理手順を示すフローチャートである。図12に示すように、音声処理装置200の取得部201は、音声DB30aから入力信号を取得する(ステップS201)。
音声処理装置200の周波数変換部203は、入力信号のフレームに対して周波数変換を実行することで、入力スペクトルを算出する(ステップS202)。音声処理装置200のノイズ推定部204は、ノイズスペクトルを推定する(ステップS203)。
音声処理装置200の基音周波数推定部206は、基音周波数を推定する(ステップS204)。音声処理装置200の判定部205は、音声らしさを判定する(ステップS205)。音声処理装置200は、音声らしいと判定した場合には(ステップS206,Yes)、ステップS207に移行する。一方、音声処理装置200は、音声らしいと判定していない場合には(ステップS206,No)、ステップS208に移行する。
音声処理装置200の学習部207は、音声らしいと判定されたフレームを基にして、基音周波数に対応する基音の学習値を更新する(ステップS207)。音声処理装置200の検出部209は、基音の学習値を基にして、ピッチ周波数を推定する(ステップS208)。
音声処理装置200は、音声終了でない場合には(ステップS209,No)、ステップS201に移行する。一方、音声処理装置200は、音声終了の場合には(ステップS209,Yes)、処理を終了する。
次に、本実施例2に係る音声処理装置200の効果について説明する。音声処理装置200は、ピッチ周波数を検出する場合に、検出対象となるフレームが音声フレームである場合には、基音周波数Fs0をピッチ周波数として検出する。一方、音声処理装置200は、検出対象となるフレームが音声フレームでない場合には、学習値を基にして、ピッチ周波数を検出する。一般に、対象となるフレームが音声フレームと判定できた場合には、基音周波数推定部206の推定結果が最も信頼性が高いという特性がある。また、音声フレームと判定できない場合には、学習値を用いて、ピッチ周波数の推定を行う。このため、音声フレームか否かに応じて、推定処理を切り替えることで、ピッチ周波数の推定精度を向上させることができる。
音声処理装置200は、基音周波数毎に学習値を学習することで、学習値情報208aを学習し、係る学習値情報208aと、フレームの周波数「F」とを比較することで、学習値を切り替え、ピッチ周波数を推定する。このため、帯域毎に求めた学習値を利用することができ、ピッチ周波数の推定精度を向上することができる。
図13は、本実施例3に係る音声処理システムの一例を示す図である。図13に示すように、この音声処理システムは、端末装置2a,2b、GW15、収録サーバ40、クラウド網50を有する。端末装置2aは、電話網15aを介して、GW15に接続される。端末装置2bは、個別網15bを介してGW15に接続される。GW15は、収録サーバ40に接続される。収録サーバ40は、保守網45を介して、クラウド網50に接続される。
クラウド網50は、音声処理装置300と、DB50cとを有する。音声処理装置300は、DB50cに接続される。なお、音声処理装置300の処理は、クラウド網50上の複数のサーバ(図示略)によって実行されてもよい。
端末装置2aは、マイク(図示略)により集音された話者1aの音声(または音声以外)の信号を、GW15に送信する。以下の説明では、端末装置2aから送信される信号を、第1信号と表記する。
端末装置2bは、マイク(図示略)により集音された話者1bの音声(または音声以外)の信号を、GW15に送信する。以下の説明では、端末装置2bから送信される信号を、第2信号と表記する。
GW15は、端末装置2aから受信した第1信号を、GW15の記憶部(図示略)の第1バッファに格納するとともに、第1信号を、端末装置2bに送信する。GW15は、端末装置2bから受信した第2信号を、GW15の記憶部の第2バッファに格納するとともに、第2信号を、端末装置2aに送信する。また、GW15は、収録サーバ40との間でミラーリングを行い、GW15の記憶部の情報を、収録サーバ40の記憶部に登録する。
収録サーバ40は、GW15との間でミラーリングを行うことで、収録サーバ40の記憶部(後述する記憶部42)に第1信号の情報と、第2信号の情報とを登録する。収録サーバ40は、第1信号を周波数変換することで、第1信号の入力スペクトルを算出し、算出した第1信号の入力スペクトルの情報を、音声処理装置300に送信する。収録サーバ40は、第2信号を周波数変換することで、第2信号の入力スペクトルを算出し、算出した第2信号の入力スペクトルの情報を、音声処理装置300に送信する。
DB50cは、音声処理装置300による、ピッチ周波数の推定結果を格納する。たとえば、DB50cは、RAM、ROM、フラッシュメモリなどの半導体メモリ素子や、HDDなどの記憶装置に対応する。
音声処理装置300は、収録サーバ40から受け付ける第1信号の入力スペクトルを基にして、話者1aのピッチ周波数を推定し、推定結果をDB50cに格納する。収録サーバ40から受け付ける第2信号の入力スペクトルを基にして、話者1bのピッチ周波数を推定し、推定結果をDB50cに格納する。
図14は、本実施例3に係る収録サーバの構成を示す機能ブロック図である。図14に示すように、この収録サーバ40は、ミラーリング処理部41と、記憶部42と、周波数変換部43と、送信部44とを有する。
ミラーリング処理部41は、GW15とデータ通信を実行することでミラーリングを行う処理部である。たとえば、ミラーリング処理部41は、GW15から、GW15の記憶部の情報を取得し、取得した情報を、記憶部42に登録および更新する。
記憶部42は、第1バッファ42aと第2バッファ42bとを有する。記憶部42は、RAM、ROM、フラッシュメモリなどの半導体メモリ素子や、HDDなどの記憶装置に対応する。
第1バッファ42aは、第1信号の情報を保持するバッファである。第2バッファ42bは、第2信号の情報を保持するバッファである。第1バッファ41aに格納された第1信号および第2バッファ41bに格納された第2信号は、AD変換済みの信号であるものとする。
周波数変換部43は、第1バッファ42aから第1信号を取得し、第1信号を基にして、フレームの入力スペクトルを算出する。また、周波数変換部43は、第2バッファ42bから第2信号を取得し、第2信号を基にして、フレームの入力スペクトルを算出する。以下の説明では、第1信号または第2信号をとくに区別する場合を除いて「入力信号」と表記する。周波数変換部43が、入力信号のフレームの入力スペクトルを算出する処理は、周波数変換部120の処理に対応するため、説明を省略する。周波数変換部43は、入力信号の入力スペクトルの情報を、送信部44に出力する。
送信部44は、入力信号の入力スペクトルの情報を、保守網45を介して、音声処理装置300に送信する。
続いて、図13で説明した音声処理装置300の構成について説明する。図15は、本実施例3に係る音声処理装置の構成を示す機能ブロック図である。図15に示すように、この音声処理装置300は、受信部310、判定部320、基音周波数推定部330、学習部340、記憶部350、検出部360、登録部370を有する。
受信部310は、収録サーバ40の送信部44から、入力信号の入力スペクトルの情報を受信する処理部である。受信部310は、入力スペクトルの情報を、判定部320、基音周波数推定部330、学習部340、検出部360に出力する。
判定部320は、フレームの入力スペクトルの特徴を基にして、複数のフレームから音声らしいフレームを判定する処理部である。以下において、音声らしいフレームを「音声フレーム」と表記する。判定部320は、判定結果を、基音周波数推定部330、学習部340、検出部360に出力する。判定部320は、自己相関を算出する処理、自己相関の総和を算出する処理、音声らしさを判定する処理を順に行う。
判定部320が、自己相関を算出する処理について説明する。判定部320は、入力スペクトルと、この入力スペクトルを周波数方向に「t」ずらしたスペクトルとの自己相関R(l,t)を、式(15)に基づいて算出する。式(15)において、tは、自己相関のずらし幅を示すものである。
Figure 0006904198
判定部320が、自己相関の総和を算出する処理について説明する。判定部320は、式(16)に基づいて、自己相関の総和S’’(l)を算出する。式(16)において、「T」は、自己相関のずらし幅の条件を示すものである。
Figure 0006904198
判定部320が、音声らしさを判定する処理について説明する。たとえば、判定部320は、式(17)に基づいて、フレーム番号「l」のフレームが、音声フレームであるか否かを判定する。
Figure 0006904198
判定部320は、自己相関の総和S’’(l)が、閾値TH4以上である場合には、フレーム番号「l」のフレームが音声フレームであると判定し、判定結果L(l)に「1」を設定する。判定部320は、自己相関の総和S’’(l)が、閾値TH4未満である場合には、フレーム番号「l」のフレームが音声フレームでないと判定し、判定結果L(l)に「0」を設定する。判定部320は、判定結果L(l)の情報を、基音周波数推定部330、学習部340、検出部360に出力する。
基音周波数推定部330は、判定部320から取得する判定結果L(l)が「1」である場合に、フレーム番号「l」のフレーム(音声フレーム)に基づいて、基音の周波数を推定する処理部である。たとえば、基音周波数推定部330は、文献2に基づいて、基音の周波数を推定する。以下の説明では、基音周波数推定部330が算出した基音の周波数を「基音周波数Fs0」と表記する。基音周波数推定部330は、基音周波数Fs0の情報を、学習部340、検出部360に出力する。
学習部340は、判定部320から取得する判定結果L(l)が「1」である場合に、基音周波数Fs0、入力スペクトルを基にして、学習値を学習する処理部である。学習部340は、学習結果を、学習値情報350aとして、記憶部350に登録、更新する。以下において、学習部340の処理の一例について説明する。
学習部340は、入力スペクトルの最大値Mを探索する。学習部340が、入力スペクトルの最大値Mを探索する処理は、学習部140が入力スペクトルの最大値Mを探索する処理と同様である。入力スペクトルの最大値Mに対応する周波数を「F」とする。
学習部340は、初期区間において、入力スペクトルの基音の大きさB’’(l)を、式(18)に基づいて算出する。初期区間は、入力信号の受信を開始した時点から、所定時間後までの区間である。
Figure 0006904198
式(18)に示すように、学習部340は「M−P(l,Fs0)」の値が、閾値THBよりも小さい場合には、B’’(l)の値を、P(l,Fs0)とする。なお、P(l,Fs0)は、フレーム番号「l」の入力スペクトルにおける、基音周波数Fs0の大きさを示すものである。一方、学習部340は「M−P(l,Fs0)」の値が、閾値THB以上の場合には、B’’(l)の値を、max{P(l,i×Fs0)}、(i=1、2、・・・)とする。
図16および図17は、本実施例3に係る学習部の処理を補足説明するための図である。図16に示すように、「M−P(l,Fs0)」の値が、閾値THBよりも小さいということは、基音周波数Fs0と、周波数Fとが略同じであることを意味する。このため、学習部340は、「M−P(l,Fs0)」の値が、閾値THBよりも小さい場合には、B’’(l)の値を、P(l,Fs0)とする。
図17に示すように、「M−P(l,Fs0)」の値が、閾値THB以上ということは、基音周波数Fs0に対応する値よりも他に、大きな極大値が存在することを意味する。この場合には、学習部340は、複数の倍音の値のうち、最大となる倍音の値を、学習値として学習する。たとえば、P(l、1×Fs0)、P(l、2×Fs0)、P(l、3×Fs0)、・・・のうち、P(l、2×Fs0)が最大となる場合には、学習部340は、2倍音のP(l、2×Fs0)を、学習値として学習する。学習部340は、P(l,i×Fs0)、(i=1、2、・・・)について、P(l,i×Fs0)の値が最大となる場合のiを、基音乗数vとして特定する。P(l、2×Fs0)が最大となる場合には、基音乗数v=2となる。
学習部340は、初期区間以外において、基音の大きさB’’(l)を、式(19)に基づいて算出する。
Figure 0006904198
更に、学習部340は、判定結果L(l)=1のとき、学習値(B’’(l)の平均値)を基音周波数毎に学習する。
学習部340は、「基音周波数Fs0<50Hz」となる場合に、式(11)に基づいて、学習値B(l)を算出する。(ただし、式(11)のB’(l)を、B’’(l)に置き換える。)
学習部340は、「50Hz≦基音周波数Fs0<100Hz」となる場合に、式(12)に基づいて、学習値B(l)を算出する。(ただし、式(12)のB’(l)を、B’’(l)に置き換える。)
学習部340は、「100Hz≦基音周波数Fs0<150Hz」となる場合に、式(13)に基づいて、学習値B(l)を算出する。(ただし、式(13)のB’(l)を、B’’(l)に置き換える。)
図15の説明に戻る。記憶部350は、学習値情報350aを有する。記憶部350は、RAM、ROM、フラッシュメモリなどの半導体メモリ素子や、HDDなどの記憶装置に対応する。
学習値情報350aは、基音乗数v、各帯域の学習値B、B、Bの情報を保持する。また、学習値情報350aは、各学習値B〜Bに対応する所定範囲R〜Rの情報を保持していてもよい。
検出部360は、基音周波数Fs0と、学習値情報350aと、入力スペクトルの最大値Mとを基にして、ピッチ周波数を検出する処理部である。検出部360は、検出したピッチ周波数の情報を、登録部370に出力する。
たとえば、検出部360は、入力スペクトルに含まれる複数の極大値のうち、最大の値を持つものを最大値Mとして特定する。また、検出部360は、最大値Mに対応する周波数を「F」とする。
検出部360は、式(20)に基づいてピッチ周波数(F0)を検出する。たとえば、検出部360は、判定部320の判定結果L(l)=1である場合には、基音周波数推定部330から受け付ける基音周波数Fs0を、ピッチ周波数として検出する。
Figure 0006904198
検出部360は、判定部320の判定結果L(l)=0である場合には、最大値Mが「B(l)−THB」よりも大きいか否かを判定する。検出部360は、判定結果L(l)=0であり、かつ、最大値Mが「B(l)−THB」よりも大きい場合には、最大値Mに対応する周波数を「F」を基音乗数「v」で除算した値を、ピッチ周波数として検出する。一方、検出部360は、判定結果L(l)=0であるが、最大値Mが「B(l)−THA」よりも大きくない場合には、ピッチ周波数を「0(ピッチ周波数がないことを示す値)」として検出する。
ここで、B(l)は、「F」に応じて異なるものとなる。B(l)に関する説明は、実施例2で行った説明と同様である。
登録部370は、ピッチ周波数の情報を、DB50cに登録する処理部である。
次に、本実施例3に係る音声処理装置300の処理手順の一例について説明する。図18は、本実施例3に係る音声処理装置の処理手順を示すフローチャートである。図18に示すように、音声処理装置300の受信部310は、収録サーバ40から入力スペクトルの情報を受信する(ステップS301)。
音声処理装置300の基音周波数推定部330は、基音周波数を推定する(ステップS302)。音声処理装置300の判定部320は、音声らしさを判定する(ステップS303)。音声処理装置300は、音声らしいと判定した場合には(ステップS304,Yes)、ステップS305に移行する。一方、音声処理装置300は、音声らしいと判定していない場合には(ステップS304,No)、ステップS306に移行する。
音声処理装置300の学習部340は、音声らしいと判定されたフレームを基にして、基音周波数に対応する基音の学習値を更新する(ステップS305)。音声処理装置300の検出部360は、基音の学習値を基にして、ピッチ周波数を推定する(ステップS306)。
音声処理装置300は、音声終了でない場合には(ステップS307,No)、ステップS301に移行する。一方、音声処理装置300は、音声終了の場合には(ステップS307,Yes)、処理を終了する。
次に、本実施例3に係る音声処理装置300の効果について説明する。音声処理装置300は、音声フレームの入力スペクトルの最大値Mと、基音周波数に対応する入力スペクトルの大きさとの差分が閾値以上である場合に、次の処理を行う。音声処理装置300は、基音周波数の整数倍に対応する入力スペクトルのうち、最大値に最も近い入力スペクトルの平均値または分散を学習値として学習する。また、音声処理装置300は、学習値に、基音周波数に対する前記学習値の周波数の倍数(基音乗数v)を対応づけて記憶する。これにより、極大値が最大となる周波数に対応する値を学習値として学習することができる。また、基音乗数vを合わせて記憶することで、学習した値が倍音であっても、かかる倍音と基音乗数vとを基にして、基音の周波数を推定することができる。
なお、本実施例3では一例として、入力信号の入力スペクトルを、収録サーバ40が算出する場合について説明したが、実施例1、2と同様にして、音声処理装置300が、入力信号の入力スペクトルを算出してもよい。
次に、上記実施例に示した音声処理装置100,200,300と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図19は、音声処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。
図19に示すように、コンピュータ400は、各種演算処理を実行するCPU401と、ユーザからのデータの入力を受け付ける入力装置402と、ディスプレイ403とを有する。また、コンピュータ400は、記憶媒体からプログラム等を読み取る読み取り装置404と、有線または無線ネットワークを介して収録機器等との間でデータの授受を行うインタフェース装置405とを有する。また、コンピュータ400は、各種情報を一時記憶するRAM406と、ハードディスク装置407とを有する。そして、各装置401〜407は、バス408に接続される。
ハードディスク装置407は、周波数変換プログラム407a、判定プログラム407b、ノイズ推定プログラム407c、基音周波数推定プログラム407d、学習プログラム407e、検出プログラム407fを有する。CPU401は、各プログラム407a〜407fを読み出してRAM406に展開する。
周波数変換プログラム407aは、周波数変換プロセス406aとして機能する。判定プログラム407bは、判定プロセス406bとして機能する。ノイズ推定プログラム407cは、ノイズ推定プロセス406cとして機能する。基音周波数推定プログラム407dは、基音周波数推定プロセス406dとして機能する。学習プログラム407eは、学習プロセス406eとして機能する。検出プログラム407fは、検出プロセス406fとして機能する。
周波数変換プロセス406aの処理は、周波数変換部120,203の処理に対応する。判定プロセス406bの処理は、判定部130,205,320の処理に対応する。ノイズ推定プロセス406cの処理は、ノイズ推定部204の処理に対応する。基音周波数推定プロセス406dの処理は、基音周波数推定部206,330の処理に対応する。学習プロセス406eの処理は、学習部140,207,340の処理に対応する。検出プロセス406fの処理は、検出部160,209,360の処理に対応する。
なお、各プログラム407a〜407fについては、必ずしも最初からハードディスク装置407に記憶させておかなくても良い。例えば、コンピュータ400に挿入されるフレキシブルディスク(FD)、CD−ROM、DVDディスク、光磁気ディスク、ICカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ600が各プログラム407a〜407fを読み出して実行するようにしても良い。
以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。
(付記1)コンピュータに、
入力信号に含まれる複数のフレームからスペクトルをそれぞれ算出し、
前記フレームのスペクトルの特徴に基づいて、前記複数のフレームから、音声らしい音声フレームを判定し、
前記音声フレームのスペクトルに含まれる複数の極大値を基にして基音を特定し、前記基音の大きさに基づく学習値を学習し、
前記フレームのスペクトルと前記学習値とを基にして、前記フレームのピッチ周波数を検出する
処理を実行させることを特徴とする音声処理プログラム。
(付記2)前記音声フレームを判定する処理は、前記フレームのスペクトルを周波数方向に平滑化することで、前記スペクトルのスペクトル包絡を算出し、前記スペクトルと前記スペクトル包絡との差分を基にして、前記フレームが音声フレームであるか否かを判定することを特徴とする付記1に記載の音声処理プログラム。
(付記3)前記スペクトルに基づいてノイズスペクトルを推定する処理を更にコンピュータに実行させ、前記音声フレームを判定する処理は、前記フレームのスペクトルと、前記ノイズスペクトルとの差分に基づいて、前記音声フレームを判定することを特徴とする付記1に記載の音声処理プログラム。
(付記4)前記音声フレームを判定する処理は、前記フレームのスペクトルの自己相関を基にして、前記音声フレームを判定することを特徴とする付記1に記載の音声処理プログラム。
(付記5)前記学習値を学習する処理は、前記音声フレームのスペクトルの所定の帯域内に含まれる複数の極大値のうち最大の極大値を探索し、前記複数の極大値のうち、前記最大の極大値と比較した値の大きさが一定範囲内に含まれ、かつ、最も低域側にある極大値を基にして、前記学習値を学習することを特徴とする付記1〜4のいずれか一つに記載の音声処理プログラム。
(付記6)前記学習値を学習する処理は、複数の前記音声フレームのスペクトルの極大値の平均値または分散を基にして、前記学習値を学習することを特徴とする付記1〜5のいずれか一つに記載の音声処理プログラム。
(付記7)前記ピッチ周波数を検出する処理は、前記フレームのスペクトルの極大値と、前記学習値との差が所定範囲内の場合に、前記極大値に対応する周波数を、前記フレームのピッチ周波数として検出することを特徴とする付記1〜6のいずれか一つに記載の音声処理プログラム。
(付記8)前記音声フレームから基音の周波数を推定する処理を更にコンピュータに実行させ、前記学習値を学習する処理は、前記基音の周波数毎に、前記学習値を学習することを特徴とする付記1〜4のいずれか一つに記載の音声処理プログラム。
(付記9)前記ピッチ周波数を検出する処理は、前記ピッチ周波数の検出対象となるフレームが、前記音声フレームである場合には、前記基音の周波数をピッチ周波数として出力し、前記ピッチ周波数の検出対象となるフレームが、前記音声フレームでない場合には、前記学習値を基にして、前記ピッチ周波数を検出することを特徴とする付記8に記載の音声処理プログラム。
(付記10)前記音声フレームから基音の周波数を推定する処理を更にコンピュータに実行させ、前記学習値を学習する処理は、前記音声フレームのスペクトルの最大値と、前記基音の周波数に対応する前記スペクトルの大きさとの差分が閾値以上である場合に、前記基音の周波数の整数倍に対応する前記スペクトルのうち、前記最大値に最も近い前記スペクトルのパワーの平均値または分散を前記学習値として学習し、前記学習値に、前記基音の周波数に対する前記学習値の周波数の倍数を対応づけて記憶することを特徴とする付記1〜4のいずれか一つに記載の音声処理プログラム。
(付記11)前記ピッチ周波数を検出する処理は、前記ピッチ周波数の検出対象となるフレームの極大値が、前記学習値に基づく範囲内に含まれる場合に、前記極大値の周波数を前記倍数で除算することで、前記ピッチ周波数を検出することを特徴とする付記10に記載の音声処理プログラム。
(付記12)コンピュータが実行する音声処理方法であって、
入力信号に含まれる複数のフレームからスペクトルをそれぞれ算出し、
前記フレームのスペクトルの特徴に基づいて、前記複数のフレームから、音声らしい音声フレームを判定し、
前記音声フレームのスペクトルに含まれる複数の極大値を基にして基音を特定し、前記基音の大きさに基づく学習値を学習し、
前記フレームのスペクトルと前記学習値とを基にして、前記フレームのピッチ周波数を検出する
処理を実行することを特徴とする音声処理方法。
(付記13)前記音声フレームを判定する処理は、前記フレームのスペクトルを周波数方向に平滑化することで、前記スペクトルのスペクトル包絡を算出し、前記スペクトルと前記スペクトル包絡との差分を基にして、前記フレームが音声フレームであるか否かを判定することを特徴とする付記12に記載の音声処理方法。
(付記14)前記スペクトルに基づいてノイズスペクトルを推定する処理を更に実行し、前記音声フレームを判定する処理は、前記フレームのスペクトルと、前記ノイズスペクトルとの差分に基づいて、前記音声フレームを判定することを特徴とする付記12に記載の音声処理方法。
(付記15)前記音声フレームを判定する処理は、前記フレームのスペクトルの自己相関を基にして、前記音声フレームを判定することを特徴とする付記12に記載の音声処理方法。
(付記16)前記学習値を学習する処理は、前記音声フレームのスペクトルの所定の帯域内に含まれる複数の極大値のうち最大の極大値を探索し、前記複数の極大値のうち、前記最大の極大値と比較した値の大きさが一定範囲内に含まれ、かつ、最も低域側にある極大値を基にして、前記学習値を学習することを特徴とする付記12〜15のいずれか一つに記載の音声処理方法。
(付記17)前記学習値を学習する処理は、複数の前記音声フレームのスペクトルの極大値の平均値または分散を基にして、前記学習値を学習することを特徴とする付記12〜16のいずれか一つに記載の音声処理方法。
(付記18)前記ピッチ周波数を検出する処理は、前記フレームのスペクトルの極大値と、前記学習値との差が所定範囲内の場合に、前記極大値に対応する周波数を、前記フレームのピッチ周波数として検出することを特徴とする付記12〜17のいずれか一つに記載の音声処理方法。
(付記19)前記音声フレームから基音の周波数を推定する処理を更に実行し、前記学習値を学習する処理は、前記基音の周波数毎に、前記学習値を学習することを特徴とする付記12〜15のいずれか一つに記載の音声処理方法。
(付記20)前記ピッチ周波数を検出する処理は、前記ピッチ周波数の検出対象となるフレームが、前記音声フレームである場合には、前記基音の周波数をピッチ周波数として出力し、前記ピッチ周波数の検出対象となるフレームが、前記音声フレームでない場合には、前記学習値を基にして、前記ピッチ周波数を検出することを特徴とする付記19に記載の音声処理方法。
(付記21)前記音声フレームから基音の周波数を推定する処理を更にコンピュータに実行させ、前記学習値を学習する処理は、前記音声フレームのスペクトルの最大値と、前記基音の周波数に対応する前記スペクトルの大きさとの差分が閾値以上である場合に、前記基音の周波数の整数倍に対応する前記スペクトルのうち、前記最大値に最も近い前記スペクトルのパワーの平均値または分散を前記学習値として学習し、前記学習値に、前記基音の周波数に対する前記学習値の周波数の倍数を対応づけて記憶することを特徴とする付記12〜15のいずれか一つに記載の音声処理方法。
(付記22)前記ピッチ周波数を検出する処理は、前記ピッチ周波数の検出対象となるフレームの極大値が、前記学習値に基づく範囲内に含まれる場合に、前記極大値の周波数を前記倍数で除算することで、前記ピッチ周波数を検出することを特徴とする付記21に記載の音声処理方法。
(付記23)入力信号に含まれる複数のフレームからスペクトルをそれぞれ算出する周波数変換部と、
前記フレームのスペクトルの特徴に基づいて、前記複数のフレームから、音声らしい音声フレームを判定する判定部と、
前記音声フレームのスペクトルに含まれる複数の極大値を基にして基音を特定し、前記基音の大きさに基づく学習値を学習する学習部と、
前記フレームのスペクトルと前記学習値とを基にして、前記フレームのピッチ周波数を検出する検出部と、
を有することを特徴とする音声処理装置。
(付記24)前記判定部は、前記フレームのスペクトルを周波数方向に平滑化することで、前記スペクトルのスペクトル包絡を算出し、前記スペクトルと前記スペクトル包絡との差分を基にして、前記フレームが音声フレームであるか否かを判定することを特徴とする付記23に記載の音声処理装置。
(付記25)前記スペクトルに基づいてノイズスペクトルを推定するノイズ推定部を更に有し、前記判定部は、前記フレームのスペクトルと、前記ノイズスペクトルとの差分に基づいて、前記音声フレームを判定することを特徴とする付記23に記載の音声処理装置。
(付記26)前記判定部は、前記フレームのスペクトルの自己相関を基にして、前記音声フレームを判定することを特徴とする付記23に記載の音声処理装置。
(付記27)前記学習部は、前記音声フレームのスペクトルの所定の帯域内に含まれる複数の極大値のうち最大の極大値を探索し、前記複数の極大値のうち、前記最大の極大値と比較した値の大きさが一定範囲内に含まれ、かつ、最も低域側にある極大値を基にして、前記学習値を学習することを特徴とする付記23〜26のいずれか一つに記載の音声処理装置。
(付記28)前記学習部は、複数の前記音声フレームのスペクトルの極大値の平均値または分散を基にして、前記学習値を学習することを特徴とする付記23〜27のいずれか一つに記載の音声処理装置。
(付記29)前記検出部は、前記フレームのスペクトルの極大値と、前記学習値との差が所定範囲内の場合に、前記極大値に対応する周波数を、前記フレームのピッチ周波数として検出することを特徴とする付記23〜28のいずれか一つに記載の音声処理装置。
(付記30)前記音声フレームから基音の周波数を推定する基音周波数推定部を更に有し、前記学習部は、前記基音の周波数毎に、前記学習値を学習することを特徴とする付記23〜26のいずれか一つに記載の音声処理装置。
(付記31)前記検出部は、前記ピッチ周波数の検出対象となるフレームが、前記音声フレームである場合には、前記基音の周波数をピッチ周波数として出力し、前記ピッチ周波数の検出対象となるフレームが、前記音声フレームでない場合には、前記学習値を基にして、前記ピッチ周波数を検出することを特徴とする付記30に記載の音声処理装置。
(付記32)前記音声フレームから基音の周波数を推定する基音周波数推定部を更に有し、前記学習部は、前記音声フレームのスペクトルの最大値と、前記基音の周波数に対応する前記スペクトルの大きさとの差分が閾値以上である場合に、前記基音の周波数の整数倍に対応する前記スペクトルのうち、前記最大値に最も近い前記スペクトルのパワーの平均値または分散を前記学習値として学習し、前記学習値に、前記基音の周波数に対する前記学習値の周波数の倍数を対応づけて記憶することを特徴とする付記23〜26のいずれか一つに記載の音声処理装置。
(付記33)前記検出部は、前記ピッチ周波数の検出対象となるフレームの極大値が、前記学習値に基づく範囲内に含まれる場合に、前記極大値の周波数を前記倍数で除算することで、前記ピッチ周波数を検出することを特徴とする付記32に記載の音声処理装置。
100,200,300 音声処理装置
120,203 周波数変換部
130,205,320 判定部
140,207,340 学習部
160,209,360 検出部
204 ノイズ推定部
206,330 基音周波数推定部

Claims (13)

  1. コンピュータに、
    入力信号に含まれる複数のフレームからスペクトルをそれぞれ算出し、
    前記フレームのスペクトルの特徴に基づいて、前記複数のフレームから、音声らしい音声フレームを判定し、
    前記音声フレームのスペクトルに含まれる複数の極大値を基にして基音を特定し、前記基音の大きさに基づく学習値を学習し、
    前記フレームのスペクトルと前記学習値とを基にして、前記フレームのピッチ周波数を検出する
    処理を実行させることを特徴とする音声処理プログラム。
  2. 前記音声フレームを判定する処理は、前記フレームのスペクトルを周波数方向に平滑化することで、前記スペクトルのスペクトル包絡を算出し、前記スペクトルと前記スペクトル包絡との差分を基にして、前記フレームが音声フレームであるか否かを判定することを特徴とする請求項1に記載の音声処理プログラム。
  3. 前記スペクトルに基づいてノイズスペクトルを推定する処理を更にコンピュータに実行させ、前記音声フレームを判定する処理は、前記フレームのスペクトルと、前記ノイズスペクトルとの差分に基づいて、前記音声フレームを判定することを特徴とする請求項1に記載の音声処理プログラム。
  4. 前記音声フレームを判定する処理は、前記フレームのスペクトルの自己相関を基にして、前記音声フレームを判定することを特徴とする請求項1に記載の音声処理プログラム。
  5. 前記学習値を学習する処理は、前記音声フレームのスペクトルの所定の帯域内に含まれる複数の極大値のうち最大の極大値を探索し、前記複数の極大値のうち、前記最大の極大値と比較した値の大きさが一定範囲内に含まれ、かつ、最も低域側にある極大値を基にして、前記学習値を学習することを特徴とする請求項1〜4のいずれか一つに記載の音声処理プログラム。
  6. 前記学習値を学習する処理は、複数の前記音声フレームのスペクトルの極大値の平均値または分散を基にして、前記学習値を学習することを特徴とする請求項1〜5のいずれか一つに記載の音声処理プログラム。
  7. 前記ピッチ周波数を検出する処理は、前記フレームのスペクトルの極大値と、前記学習値との差が所定範囲内の場合に、前記極大値に対応する周波数を、前記フレームのピッチ周波数として検出することを特徴とする請求項1〜6のいずれか一つに記載の音声処理プログラム。
  8. 前記音声フレームから基音の周波数を推定する処理を更にコンピュータに実行させ、前記学習値を学習する処理は、前記基音の周波数毎に、前記学習値を学習することを特徴とする請求項1〜4のいずれか一つに記載の音声処理プログラム。
  9. 前記ピッチ周波数を検出する処理は、前記ピッチ周波数の検出対象となるフレームが、前記音声フレームである場合には、前記基音の周波数をピッチ周波数として出力し、前記ピッチ周波数の検出対象となるフレームが、前記音声フレームでない場合には、前記学習値を基にして、前記ピッチ周波数を検出することを特徴とする請求項8に記載の音声処理プログラム。
  10. 前記音声フレームから基音の周波数を推定する処理を更にコンピュータに実行させ、前記学習値を学習する処理は、前記音声フレームのスペクトルの最大値と、前記基音の周波数に対応する前記スペクトルの大きさとの差分が閾値以上である場合に、前記基音の周波数の整数倍に対応する前記スペクトルのうち、前記最大値に最も近い前記スペクトルのパワーの平均値または分散を前記学習値として学習し、前記学習値に、前記基音の周波数に対する前記学習値の周波数の倍数を対応づけて記憶することを特徴とする請求項1〜4のいずれか一つに記載の音声処理プログラム。
  11. 前記ピッチ周波数を検出する処理は、前記ピッチ周波数の検出対象となるフレームの極大値が、前記学習値に基づく範囲内に含まれる場合に、前記極大値の周波数を前記倍数で除算することで、前記ピッチ周波数を検出することを特徴とする請求項10に記載の音声処理プログラム。
  12. コンピュータが実行する音声処理方法であって、
    入力信号に含まれる複数のフレームからスペクトルをそれぞれ算出し、
    前記フレームのスペクトルの特徴に基づいて、前記複数のフレームから、音声らしい音声フレームを判定し、
    前記音声フレームのスペクトルに含まれる複数の極大値を基にして基音を特定し、前記基音の大きさに基づく学習値を学習し、
    前記フレームのスペクトルと前記学習値とを基にして、前記フレームのピッチ周波数を検出する
    処理を実行することを特徴とする音声処理方法。
  13. 入力信号に含まれる複数のフレームからスペクトルをそれぞれ算出する周波数変換部と、
    前記フレームのスペクトルの特徴に基づいて、前記複数のフレームから、音声らしい音声フレームを判定する判定部と、
    前記音声フレームのスペクトルに含まれる複数の極大値を基にして基音を特定し、前記基音の大きさに基づく学習値を学習する学習部と、
    前記フレームのスペクトルと前記学習値とを基にして、前記フレームのピッチ周波数を検出する検出部と、
    を有することを特徴とする音声処理装置。
JP2017183926A 2017-09-25 2017-09-25 音声処理プログラム、音声処理方法および音声処理装置 Active JP6904198B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017183926A JP6904198B2 (ja) 2017-09-25 2017-09-25 音声処理プログラム、音声処理方法および音声処理装置
US16/137,596 US11004463B2 (en) 2017-09-25 2018-09-21 Speech processing method, apparatus, and non-transitory computer-readable storage medium for storing a computer program for pitch frequency detection based upon a learned value

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017183926A JP6904198B2 (ja) 2017-09-25 2017-09-25 音声処理プログラム、音声処理方法および音声処理装置

Publications (2)

Publication Number Publication Date
JP2019060976A JP2019060976A (ja) 2019-04-18
JP6904198B2 true JP6904198B2 (ja) 2021-07-14

Family

ID=65808283

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017183926A Active JP6904198B2 (ja) 2017-09-25 2017-09-25 音声処理プログラム、音声処理方法および音声処理装置

Country Status (2)

Country Link
US (1) US11004463B2 (ja)
JP (1) JP6904198B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6904198B2 (ja) * 2017-09-25 2021-07-14 富士通株式会社 音声処理プログラム、音声処理方法および音声処理装置

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2871120B2 (ja) * 1991-01-07 1999-03-17 ブラザー工業株式会社 自動採譜装置
AU2001260162A1 (en) * 2000-04-06 2001-10-23 Telefonaktiebolaget Lm Ericsson (Publ) Pitch estimation in a speech signal
AU2001258298A1 (en) * 2000-04-06 2001-10-23 Telefonaktiebolaget Lm Ericsson (Publ) Pitch estimation in speech signal
JP3963850B2 (ja) * 2003-03-11 2007-08-22 富士通株式会社 音声区間検出装置
US20070299658A1 (en) * 2004-07-13 2007-12-27 Matsushita Electric Industrial Co., Ltd. Pitch Frequency Estimation Device, and Pich Frequency Estimation Method
KR101248353B1 (ko) 2005-06-09 2013-04-02 가부시키가이샤 에이.지.아이 피치 주파수를 검출하는 음성 해석 장치, 음성 해석 방법,및 음성 해석 프로그램
KR100724736B1 (ko) * 2006-01-26 2007-06-04 삼성전자주식회사 스펙트럴 자기상관치를 이용한 피치 검출 방법 및 피치검출 장치
KR100735343B1 (ko) * 2006-04-11 2007-07-04 삼성전자주식회사 음성신호의 피치 정보 추출장치 및 방법
JP2008281776A (ja) * 2007-05-10 2008-11-20 Mitsubishi Electric Corp 旋律抽出装置及び旋律抽出方法
JP2009086476A (ja) 2007-10-02 2009-04-23 Sony Corp 音声処理装置、音声処理方法、およびプログラム
WO2010148141A2 (en) * 2009-06-16 2010-12-23 University Of Florida Research Foundation, Inc. Apparatus and method for speech analysis
JP2011065041A (ja) 2009-09-18 2011-03-31 Brother Industries Ltd 基本周波数推定装置、採譜装置、及びプログラム
US8775179B2 (en) * 2010-05-06 2014-07-08 Senam Consulting, Inc. Speech-based speaker recognition systems and methods
US8447596B2 (en) * 2010-07-12 2013-05-21 Audience, Inc. Monaural noise suppression based on computational auditory scene analysis
US20140006019A1 (en) * 2011-03-18 2014-01-02 Nokia Corporation Apparatus for audio signal processing
CN102842305B (zh) * 2011-06-22 2014-06-25 华为技术有限公司 一种基音检测的方法和装置
US9520144B2 (en) * 2012-03-23 2016-12-13 Dolby Laboratories Licensing Corporation Determining a harmonicity measure for voice processing
US20150058002A1 (en) * 2012-05-03 2015-02-26 Telefonaktiebolaget L M Ericsson (Publ) Detecting Wind Noise In An Audio Signal
US9240193B2 (en) * 2013-01-21 2016-01-19 Cochlear Limited Modulation of speech signals
EP3399522B1 (en) * 2013-07-18 2019-09-11 Nippon Telegraph and Telephone Corporation Linear prediction analysis device, method, program, and storage medium
DE102013224417B3 (de) * 2013-11-28 2015-05-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Hörhilfevorrichtung mit Grundfrequenzmodifizierung, Verfahren zur Verarbeitung eines Sprachsignals und Computerprogramm mit einem Programmcode zur Durchführung des Verfahrens
FR3014237B1 (fr) * 2013-12-02 2016-01-08 Adeunis R F Procede de detection de la voix
KR101832368B1 (ko) * 2014-01-24 2018-02-26 니폰 덴신 덴와 가부시끼가이샤 선형 예측 분석 장치, 방법, 프로그램 및 기록 매체
US9135923B1 (en) * 2014-03-17 2015-09-15 Chengjun Julian Chen Pitch synchronous speech coding based on timbre vectors
JP6225818B2 (ja) * 2014-04-30 2017-11-08 ヤマハ株式会社 ピッチ情報生成装置、ピッチ情報生成方法、及びプログラム
US10403307B2 (en) * 2016-03-31 2019-09-03 OmniSpeech LLC Pitch detection algorithm based on multiband PWVT of Teager energy operator
JP6996185B2 (ja) * 2017-09-15 2022-01-17 富士通株式会社 発話区間検出装置、発話区間検出方法及び発話区間検出用コンピュータプログラム
JP6904198B2 (ja) * 2017-09-25 2021-07-14 富士通株式会社 音声処理プログラム、音声処理方法および音声処理装置

Also Published As

Publication number Publication date
US11004463B2 (en) 2021-05-11
JP2019060976A (ja) 2019-04-18
US20190096432A1 (en) 2019-03-28

Similar Documents

Publication Publication Date Title
JP5998603B2 (ja) 音検出装置、音検出方法、音特徴量検出装置、音特徴量検出方法、音区間検出装置、音区間検出方法およびプログラム
KR101153093B1 (ko) 다감각 음성 향상을 위한 방법 및 장치
EP2643981B1 (en) A device comprising a plurality of audio sensors and a method of operating the same
KR101099339B1 (ko) 복수-감지기형 음성 향상 방법 및 컴퓨터-판독가능 매체
KR20060044629A (ko) 신경 회로망을 이용한 음성 신호 분리 시스템 및 방법과음성 신호 강화 시스템
WO2013022930A1 (en) System and method of processing a sound signal including transforming the sound signal into a frequency-chirp domain
EP2881948A1 (en) Spectral comb voice activity detection
US9646592B2 (en) Audio signal analysis
JP2014126856A (ja) 雑音除去装置及びその制御方法
CN106024017A (zh) 语音检测方法及装置
JP5614261B2 (ja) 雑音抑制装置、雑音抑制方法、及びプログラム
JP6904198B2 (ja) 音声処理プログラム、音声処理方法および音声処理装置
JP5077847B2 (ja) 残響時間推定装置及び残響時間推定方法
CN113593604A (zh) 检测音频质量方法、装置及存储介质
Tian et al. Spoofing detection under noisy conditions: a preliminary investigation and an initial database
JP7000757B2 (ja) 音声処理プログラム、音声処理方法および音声処理装置
JP6907859B2 (ja) 音声処理プログラム、音声処理方法および音声処理装置
JP6891736B2 (ja) 音声処理プログラム、音声処理方法および音声処理装置
KR100931487B1 (ko) 노이지 음성 신호의 처리 장치 및 그 장치를 포함하는 음성기반 어플리케이션 장치
JP5562451B1 (ja) エコー抑圧ゲイン推定方法とそれを用いたエコー消去装置とプログラム
JP5203404B2 (ja) テンポ値検出装置およびテンポ値検出方法
Muzammel et al. Noise reduction from speech signals using modified spectral subtraction technique
JP2019090930A (ja) 音源強調装置、音源強調学習装置、音源強調方法、プログラム
Singh Noise estimation for real-time speech enhancement
JP2005284016A (ja) 音声信号の雑音推定方法およびそれを用いた雑音除去装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200611

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210512

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210525

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210607

R150 Certificate of patent or registration of utility model

Ref document number: 6904198

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150