JP4630876B2 - 話速変換方法及び話速変換装置 - Google Patents

Description

本発明は、話速変換方法及び話速変換装置に関し、音の高さを変えずに音声の再生速度を変換する話速変換方法及び話速変換装置に関する。

従来から、相手の声の高さを変化させることなく音声の再生速度すなわち話速を遅くさせることにより、会話の内容を聞き取りやすくするための技術が提案されている。このとき、単純に話速を遅くさせるのみでは、遅くさせた分の遅延が生じてしまう。

このような問題を解決するため、会話の途中に存在する無音区間（人の声などの音が無い区間）を詰めることや無音区間における話速を早くさせることで、遅延を解消する技術が提案されている。

図１は、従来の話速変換装置の一例のブロック図を示す。同図中、端子１０には１フレーム２０ｍｓでフレーム単位のデジタルの音声信号が入力され、有音無音判定部１１及び話速変換部１２に供給される。

有音無音判定部１１は、発話開始前等の初期無音時に雑音レベルを学習し、学習した無音レベル例えば＋４ｄＢを有音閾値として設定し、入力音声信号を有音閾値と比較して、音声信号が有音閾値以上の区間を有音判定区間と判定し、判定結果を話速決定部１３に供給する。

話速決定部１３は、入力蓄積量計算部１４から蓄積量（蓄積フレーム数）を供給されると共に、話頭保護区間（固定のフレーム数）を設定されており、有音判定結果と蓄積量と話頭保護区間に応じて話速を決定し、この話速を話速変換部１２及び入力蓄積量計算部１４に供給する。

話速変換部１２は入力音声信号をバッファに書き込み、話速決定部１３からの話速に従ってバッファから音声信号を読み出して端子１５から出力する。入力蓄積量計算部１４は話速決定部１３からの話速に基づいて話速変換部１２のバッファに蓄積されている蓄積量を計算して、話速決定部１３に供給する。

図２は、話速決定部１３の話速決定テーブルを示す。有音区間では、話速を０．５倍（２倍伸張）とする。ただし、処理遅延時間が１秒（＝５０フレーム）以上の場合には話速を１倍とする。話頭保護区間、即ち後続３フレーム以内に有音判定区間がある場合には話速を１倍とする。話尾保護区間、即ち過去１０フレーム以内に有音判定区間がある場合には話速を１倍とする。ポーズ保持区間、即ち話尾保護終了後の１０フレーム以内は話速を１倍とする。無音削除区間は、上記各区間以外では音声信号を削除して詰める。ただし、処理遅延時間がない場合は話速を１倍とする。

なお、特許文献１には、一定時間長以上の非音声区間に挟まれた音声区間に対し、その冒頭部分が所定の再生速度より遅くなり、かつ末尾に向けて次第に所定の再生速度に戻すように話速変換することが記載されている。
特開２００１−２２２３００公報

しかしながら、無音区間を詰める処理や無音区間における話速を速める処理を行う際には、有音無音判定の精度を考慮する必要がある。例えば、雑音環境下では有音無音判定において誤判定が生じる場合がある。雑音の無い環境下では、話頭や話尾においても比較的正確に有音無音の判定が行われる。しかし、雑音環境下では、雑音レベルが話頭や話尾におけるパワー値と近い値又は超える値となってしまう場合があり、その場合は話頭や話尾が雑音に埋もれてしまう。

このため、雑音環境下では、有音無音の判定を正確に実現することが困難となる。例えば、雑音環境下では、話頭や話尾や無声子音などのように音声パワーが小さい部分は、有音区間であるにも拘わらず無音と誤判定される可能性が高くなってしまう。

このような誤判定に基づいて無音区間を詰める処理や話速を速める処理が実行されると、音切れの発生や、無音継続長が過度に短縮されるなどの問題が生じてしまう。

図３（Ａ）に入力音声信号パワー（音量）の概略の時間変化を実線で示す。音声信号に定常パワーの雑音が重畳しており、その雑音レベル＋４ｄＢを有音閾値に設定している。図３（Ａ）の下部には各区間の判定結果を示している。ただし話頭保護区間は話頭から、語尾保護区間については語尾からの分のみを記載している。左から１番目、２番目、５番目、６番目の音声については有音区間と判定されるが、３番目、４番目の音声については雑音に埋もれた形となっていて無音区間と判定される。

３番目の音声については語尾保護で削除をまぬがれるが、４番目の音声については固定の話頭保護区間が短いために話頭切れが生じる。図３（Ｂ）に話速変換後の音声信号パワーを示す。

図３（Ｂ）の区間（１）：開始時点で既に話速変換での処理遅延（入力蓄積）が１０フレーム分あるものとする。

区間（２），区間（３）：１番目、２番目の音声は有音判定となるので２倍伸長（１／２倍速）となる。区間（２），（３）の間は話頭保護及び語尾保護で１倍速の出力となる。

区間（４）：３番目の音声は無音判定であるが、語尾保護とポーズ保持区間に入るので、１倍速で出力される。その後の無音区間もポーズ保持区間内は１倍速の出力となり、その後は削除される。

区間（５）：４番目の音声は無音判定で一部しか話頭保護されない。この時点での話速変換遅延（入力蓄積量）が十分あるために、保護区間のみ１倍速で出力され、それ以外は削除され、話頭切れが生じる。

区間（６）：５番目の音声は有音判定なので、２倍伸長となる。

話頭保護について従来は固定長の話頭保護区間を設定しているので、話頭保護の分だけ遅延を挿入（追加）する必要がある。例えば電話における留守録等の蓄積音では十分な話頭保護を設定できる。しかし、実時間の通話で話速変換する場合には、遅延を最小限に抑える必要があるので、十分な長さの話頭保護区間を設定することができず、話頭切れを生じるおそれがあるという問題があった。

本発明は、上記の点に鑑みなされたものであり、遅延を最小限に抑え、話頭切れの発生を低減できる話速変換方法及び話速変換装置を提供することを総括的な目的とする。

この目的を達成するため、本発明は、入力音声信号をバッファに蓄積し、前記入力音声信号のパワーが閾値を超える有音区間は前記バッファから読み出す音声信号をそのままもしくは伸張し、無音区間は前記バッファから読み出す音声信号をそのままもしくは圧縮もしくは削除して話速を変換する話速変換方法において、前記バッファの蓄積量が所定値未満の場合は当該蓄積量を話頭保護区間とし、前記バッファの蓄積量が所定値以上の場合は当該所定値を話頭保護区間とし、前記話頭保護区間内に前記有音区間があれば前記話頭保護区間内の音声信号の圧縮もしくは削除を、禁止もしくは圧縮率を調整して話頭保護を行うよう構成する。

このような話速変換方法によれば、遅延を最小限に抑え、話頭切れの発生を低減できる。

従来の話速変換装置の一例のブロック図である。 従来の話速変換装置の話速決定部の話速決定テーブルを示す図である。 従来の入力音声信号パワーと話速変換後の音声信号パワーを示す図である。 本発明の話速変換装置の第１実施形態のブロック図である。 第１実施形態における話速決定部の話速決定テーブルを示す図である。 本発明の入力音声信号パワーと話速変換後の音声信号パワーを示す図である。 第２実施形態における有音無音判定部の音声無音判定テーブルを示す図である。 第２実施形態における話速決定部の話速決定テーブルを示す図である。 本発明の話速変換装置の第３実施形態のブロック図である。 第４実施形態における話速決定部の話速決定テーブルを示す図である。

符号の説明

２０，２６ 端子
２１ 有音無音判定部
２２ 話速変換部
２３ 話速決定部
２４ 入力蓄積量計算部
２５，３１ 話頭保護区間決定部
３０ 推定ＳＮＲ判定部

以下、図面に基づいて本発明の実施形態について説明する。
＜第１実施形態＞
図４は、本発明の話速変換装置の第１実施形態のブロック図を示す。同図中、端子２０には１フレーム２０ｍｓでフレーム単位のデジタルの音声信号が入力され、有音無音判定部２１及び話速変換部２２に供給される。

有音無音判定部２１は、発話開始前等の初期無音時に雑音レベルを学習し、学習した無音レベル例えば＋４ｄＢを有音閾値として設定し、入力音声信号が有音閾値以上の区間を有音判定区間と判定し、判定結果を話速決定部２３に供給する。なお、簡単のためパワー（音量）のみで有音判定を行うこととしたが、周波数特性などの特徴量を用いて有音判定を行っても良く、また、有音閾値として固定値を用いても良い。

話速決定部２３は、入力蓄積量計算部２４から蓄積量（蓄積フレーム数）を供給されると共に、話頭保護区間決定部２５から話頭保護区間（可変のフレーム数）を供給されており、有音判定結果と蓄積量と話頭保護区間に応じて話速を決定し、この話速を話速変換部２２及び入力蓄積量計算部２４に供給する。

話速変換部２２は入力音声信号をバッファに書き込み、話速決定部２３からの話速に従ってバッファから音声信号を読み出して端子２６から出力する。削除区間は単にデータを捨てる。話速を遅くする場合には、例えば各フレームを４分割程度のサブフレームに分割し、サブフレーム毎に伸長倍率に応じて繰返し再生する。２倍伸長の場合は各サブフレームを２回繰返し再生する。１．５倍伸長であれば、奇数サブフレームを１回再生し、偶数サブフレームを２回繰返し再生する。このとき、特許第３１４７５６２号に記載のように、相関などの情報を基に滑らかに接続できるようにずらして接続する手法が一般的である。

なお、話速変換部２２は音声信号を削除する代りに、話速を速くして圧縮しても良い。話速を２倍にして圧縮する場合には、例えば奇数サブフレームを１回再生し、偶数サブフレームを削除する。

入力蓄積量計算部２４は話速決定部２３からの話速に基づいて話速変換部２２のバッファに蓄積されている蓄積量を計算して、話速決定部２３及び話頭保護区間決定部２５に供給する。具体的には、削除であれば、削除するフレーム数だけ蓄積量及び遅延は減少し、話速を０．５倍にすれば１フレームにつき２０ｍｓ分だけ蓄積量が増加することになる。この修正された蓄積量は次のフレームの話速を決定するのに用いられる。

話頭保護区間決定部２５は、蓄積量に応じて話頭保護区間（可変のフレーム数）を決定する。例えば、蓄積量（話速変換での遅延に対応）が１０フレーム以下の場合は、蓄積量（蓄積フレーム数）を話頭保護区間とする。蓄積量が１０フレーム以上の場合には話頭保護区間を１０フレームとする。

図５は、第１実施形態における話速決定部２３の話速決定テーブルを示す。有音区間では、話速を０．５倍（２倍伸張）とする。ただし、処理遅延時間が１秒（＝５０フレーム）以上の場合には音声信号の削除を禁止して話速を１倍とする。

話頭保護区間、即ち話頭保護区間決定部２５で決定されたフレーム数以内に有音判定区間がある場合には音声信号の削除を禁止して話速を１倍とする。なお、削除を禁止する代りに圧縮率を調整しても良い。

話尾保護区間、即ち過去１０フレーム以内に有音判定区間がある場合には音声信号の削除を禁止して話速を１倍とする。

ポーズ保持区間、即ち話尾保護終了後のＮフレームのポーズ保持区間は音声信号の削除を禁止して話速を１倍とする。Ｎ＝１３−話頭保護区間（ただし、Ｎの上限は１０フレーム、下限は５フレーム）である。

無音削除区間は、上記各区間以外であり、処理遅延時間がある場合には音声信号を削除する。処理遅延時間がない場合は話速を１倍とする。

図６（Ａ）に入力音声信号パワー（音量）の概略の時間変化を実線で示す。音声信号に定常パワーの雑音が重畳しており、その雑音レベル＋４ｄＢを有音閾値に設定している。図６（Ａ）の下部には各区間の判定結果を示している。ただし話頭保護区間は話頭から、語尾保護区間については語尾からの分のみを記載している。左から１番目、２番目、５番目、６番目の音声については有音区間と判定されるが、３番目、４番目の音声については雑音に埋もれた形となっていて、無音区間と判定される。

図６（Ｂ）に話速変換後の音声信号パワーを示す。

図６（Ｂ）の区間（１）：開始時点で既に話速変換での処理遅延（入力蓄積）が１０フレーム分あるものとする。

区間（２），区間（３）：１番目、２番目の音声は有音区間と判定されるので２倍伸長（１／２倍速）となる。区間（２），（３）の間は話頭保護及び語尾保護で１倍速の出力となる。

区間（４）：３番目の音声に続く無音区間はポーズ保持区間（１倍速）を従来に対し減らした分だけ早い時点から削除を開始する。

区間（５）：４番目の音声は話頭保護が増えたので話頭切れが解消する。

区間（６）：５番目の音声は有音判定なので２倍伸長となる。

無音区間を詰める必要があるのは遅延が発生している場合、つまり未処理の音声信号データが蓄積されている場合である。したがって、話速変換部２２のバッファ蓄積量に応じ、かつ所定値に制限して話頭保護区間を設定することで、遅延を増やさずに話頭保護を実施でき、また、ポーズ保持区間を話頭保護区間に応じて可変することにより、バッファ蓄積量が多いときには遅延量を増やすことなく従来よりも正確な話頭保護が実現できる。
＜第２実施形態＞
第２実施形態では、図４のブロック図に示す有音無音判定部２１及び話速決定部２３の動作が第１実施形態と異なっているので、有音無音判定部２１及び話速決定部２３の動作について説明する。

図７は、第２実施形態における有音無音判定部２１の音声無音判定テーブルを示す。有音無音判定部２１は、発話開始前等の初期無音時に雑音レベルを学習し、学習した無音レベル例えば＋４ｄＢを有音閾値として設定し、学習した無音レベル＋１ｄＢを無音確実度判定値として設定する。

有音無音判定部２１は入力音声信号が有音閾値以上の区間を有音判定区間と判定し、入力音声信号が有音閾値以下で無音確実度判定値以上であれば確実度小の無音区間と判定し、無音確実度判定値以下であれば確実度大の無音区間と判定し、判定結果を話速決定部２３に供給する。

図８は、第２実施形態における話速決定部２３の話速決定テーブルを示す。有音区間では、話速を０．５倍（２倍伸張）とする。ただし、処理遅延時間が１秒（＝５０フレーム）以上の場合には音声信号の削除を禁止して話速を１倍とする。

話頭保護区間、即ち話頭保護区間決定部２５で決定されたフレーム数以内に有音判定区間がある場合、または、話頭保護区間決定部２５で決定されたフレーム数が１０フレーム未満で確実度小の無音区間がある場合には音声信号の削除を禁止して話速を１倍とする。なお、削除を禁止する代りに圧縮率を調整しても良い。

話尾保護区間、即ち過去１０フレーム以内に有音判定区間がある場合には音声信号の削除を禁止して話速を１倍とする。

ポーズ保持区間、即ち話尾保護終了後の１０フレームのポーズ保持区間は音声信号の削除を禁止して話速を１倍とする。

無音削除区間は、上記各区間以外であり、処理遅延時間がある場合には音声信号を削除する。処理遅延時間がない場合は話速を１倍とする。

このように、話頭保護区間が１０フレーム未満の場合には現フレームの無音信頼度が高い場合のみ削除または１倍速の対象とすることによって、話頭保護区間が相対的に短い場合に話頭切れが発生しやすいという問題を低減する。
＜第３実施形態＞
図９は、本発明の話速変換装置の第３実施形態のブロック図を示す。同図中、図４と同一部分には同一符号を付す。

図９において、端子２０には１フレーム２０ｍｓでフレーム単位のデジタルの音声信号が入力され、有音無音判定部２１及び話速変換部２２及び推定ＳＮＲ算出部２７に供給される。

有音無音判定部２１は、発話開始前等の初期無音時に雑音レベルを学習し、学習した無音レベル例えば＋４ｄＢを有音閾値として設定し、入力音声信号が有音閾値以上の区間を有音判定区間と判定し、判定結果を話速決定部２３に供給する。なお、簡単のためパワー（音量）のみで有音判定を行うこととしたが、周波数特性など特徴量を用いて有音判定を行っても良く、また、有音閾値として固定値を用いても良い。

推定ＳＮＲ判定部３０は、ＳＮＲ（信号雑音比）を推定し、推定ＳＮＲが高いか低いか判定する。ＳＮＲの推定判定法としては、例えば過去３０秒の最大パワー（音量）と最小パワーの差を求め、その差が閾値（例えば１５ｄＢ）を超えていれば推定ＳＮＲが高いと見なし、閾値以下であれば推定ＳＮＲが低いと見なす。

話速決定部２３は、入力蓄積量計算部２４から蓄積量（蓄積フレーム数）を供給されると共に、話頭保護区間決定部３１から話頭保護区間（可変のフレーム数）を供給されており、有音判定結果と蓄積量と話頭保護区間に応じて話速を決定し、この話速を話速変換部２２及び入力蓄積量計算部２４に供給する。

話速変換部２２は入力音声信号をバッファに書き込み、話速決定部２３からの話速に従ってバッファから音声信号を読み出して端子２６から出力する。削除区間は単にデータを捨てる。話速を遅くする場合には、例えば各フレームを４分割程度のサブフレームに分割し、サブフレーム毎に伸長倍率に応じて繰返し再生する。２倍伸長の場合は各サブフレームを２回繰返し再生する。１．５倍伸長であれば、奇数サブフレームを１回再生し、偶数サブフレームを２回繰返し再生する。

入力蓄積量計算部２４は話速決定部２３からの話速に基づいて話速変換部２２のバッファに蓄積されている蓄積量を計算して、話速決定部２３及び話頭保護区間決定部３１に供給する。具体的には、削除であれば、削除するフレーム数だけ蓄積量及び遅延は減少し、話速を０．５倍にすれば１フレームにつき２０ｍｓ分だけ蓄積量が増加することになる。この修正された蓄積量は次のフレームの話速を決定するのに用いられる。

話頭保護区間決定部３１は、蓄積量と推定ＳＮＲに応じて話頭保護区間（可変のフレーム数）を決定する。例えば、推定ＳＮＲが低い場合は、蓄積量（話速変換での遅延に対応）が１０フレーム以下であれば蓄積量（蓄積フレーム数）を話頭保護区間とする。蓄積量が１０フレーム以上のときは話頭保護区間を１０フレームとする。

推定ＳＮＲが高い場合は、蓄積量が３フレーム以下の場合は蓄積量（蓄積フレーム数）を話頭保護区間とする。蓄積量が３フレーム以上の場合には話頭保護区間を３フレームとする。

本実施形態では、推定ＳＮＲが高い場合には話頭を誤って無音と判定するおそれが少ないことから、過剰に保護区間を設定することを防止できる。
＜第４実施形態＞
第４実施形態では、図４のブロック図に示す有音無音判定部２１及び話速決定部２３の動作が第３実施形態と異なっているので、有音無音判定部２１及び話速決定部２３の動作について説明する。

第４実施形態における有音無音判定部２１の音声無音判定テーブルは図７に示す通りである。有音無音判定部２１は、発話開始前等の初期無音時に雑音レベルを学習し、学習した無音レベル例えば＋４ｄＢを有音閾値として設定し、学習した無音レベル＋１ｄＢを無音確実度判定値として設定する。

有音無音判定部２１は入力音声信号が有音閾値以上の区間を有音判定区間と判定し、入力音声信号が有音閾値以下で無音確実度判定値以上であれば確実度小の無音区間と判定し、無音確実度判定値以下であれば確実度大の無音区間と判定し、判定結果を話速決定部２３に供給する。

図１０は、第４実施形態における話速決定部２３の話速決定テーブルを示す。有音区間では、話速を０．５倍（２倍伸張）とする。ただし、処理遅延時間が１秒（＝５０フレーム）以上の場合には音声信号の削除を禁止して話速を１倍とする。

話頭保護区間、即ち話頭保護区間決定部２５で決定されたフレーム数以内に有音判定区間がある場合には音声信号の削除を禁止して話速を１倍とする。ただし、現フレームと後続３フレームが全て確実度大の無音区間である場合には話頭保護を行わない。

話尾保護区間、即ち過去１０フレーム以内に有音判定区間がある場合には音声信号の削除を禁止して話速を１倍とする。なお、削除を禁止する代りに圧縮率を調整しても良い。

ポーズ保持区間、即ち話尾保護終了後の１０フレームのポーズ保持区間は音声信号の削除を禁止して話速を１倍とする。

無音削除区間は、上記各区間以外であり、処理遅延時間がある場合には音声信号を削除する。処理遅延時間がない場合は話速を１倍とする。

本実施形態では、現フレームと後続３フレームの無音確実度が大の場合には話頭を誤って無音と判定するおそれが少ないことから、過剰に保護区間を設定することを防止できる。

なお、話頭保護区間決定部２５，３１が請求項記載の話頭保護区間決定手段に相当し、話速決定部２３が話頭保護手段及びポーズ保持区間設定手段に相当し、有音無音判定部２１が無音確実度判定手段に相当し、推定ＳＮＲ判定部３０が信号雑音比推定手段に相当する。

Claims (5)

1. 入力音声信号をバッファに蓄積し、前記入力音声信号のパワーが閾値を超える有音区間は前記バッファから読み出す音声信号をそのままもしくは伸張し、無音区間は前記バッファから読み出す音声信号をそのままもしくは圧縮もしくは削除して話速を変換する話速変換方法において、
   前記バッファの蓄積量が所定値未満の場合は当該蓄積量を話頭保護区間とし、前記バッファの蓄積量が所定値以上の場合は当該所定値を話頭保護区間とし、
   前記話頭保護区間内に前記有音区間があれば前記話頭保護区間内の音声信号の圧縮もしくは削除を、禁止もしくは圧縮率を調整して話頭保護を行う話速変換方法。
2. 入力音声信号をバッファに蓄積し、前記入力音声信号のパワーが閾値を超える有音区間は前記バッファから読み出す音声信号をそのままもしくは伸張し、無音区間は前記バッファから読み出す音声信号をそのままもしくは圧縮もしくは削除して話速を変換する話速変換装置において、
   前記バッファの蓄積量が所定値未満の場合は当該蓄積量を話頭保護区間とし、前記バッファの蓄積量が所定値以上の場合は当該所定値を話頭保護区間とする話頭保護区間決定手段と、
   前記話頭保護区間内に前記有音区間があれば前記話頭保護区間内の音声信号の圧縮もしくは削除を、禁止もしくは圧縮率を調整して話頭保護を行う話頭保護手段を
   有する話速変換装置。
3. 請求項２記載の話速変換装置において、
   前記有音区間に続く所定長の話尾保護区間の終了後に設定するポーズ保持区間の長さを前記話頭保護区間の長さに応じて設定するポーズ保持区間設定手段を
   有する話速変換装置。
4. 請求項２または３記載の話速変換装置において、
   前記入力音声信号のパワーが前記閾値未満の無音区間で無音確実度を判定する無音確実度判定手段を有し、
   前記話頭保護手段は、前記話頭保護区間内における無音区間の無音確実度が小さければ前記音声信号の圧縮もしくは削除を、禁止もしくは圧縮率を調整して話頭保護を行う話速変換装置。
5. 請求項２乃至４のいずれか１項記載の話速変換装置において、
   前記入力音声信号の信号雑音比を推定する信号雑音比推定手段を有し、
   前記話頭保護区間決定手段は、推定信号雑音比が一定値より低い場合の前記話頭保護区間に対する前記制限値より、前記推定信号雑音比が一定値より高い場合の前記話頭保護区間に対する前記制限値を小さく設定する話速変換装置。

Images