JP5977528B2 - 話速変換装置、話速変換方法及びプログラム - Google Patents

Description

本発明は、話速変換装置等に関する。

従来から、相手の声の高さを変化させることなく音声の再生速度すなわち話速を遅くさせることにより、会話の内容を聞き取りやすくするための技術が提案されている。このとき、単純に話速を遅くさせるのみでは、音声補聴装置や、電話等においては遅くさせた分の遅延が蓄積されていき、会話が成立しなくなってしまう。このような問題を解決するため、会話の途中に存在する無音区間（人の声などの音が無い区間）を詰めることや無音区間における話速を早くさせることで、遅延を解消する技術が提案されている。

この遅延を解消する技術は実際の装置においては、有限のバッファにデータを貯めることで、音声の再生速度すなわち話速を遅くすることを実現している。そのため、有限のバッファが一杯になってしまうと音声の再生速度すなわち話速を遅くすることが出来ない。

そこで無音区間（人の声などの音が無い区間）を詰めることや無音区間における話速を早くさせることで削減した無音期間分に相当する期間のデータを貯めてあったバッファのデータから出力するようにすることでバッファの空きを増やし、次の音声の再生速度すなわち話速を遅くするようにしている。

例えば、特許文献１では、無音区間の削除時に音声の最初の部分である「話頭」について話頭保護区間を儲け、話速変換部のバッファに蓄積されている蓄積量を計算して、話速決定部及び話頭保護区間決定部に供給し、次のフレームの話速を決定するのに用いられる技術が開示されている（削除であれば、削除するフレーム数だけ蓄積量及び遅延は減少し、話速を０．５倍にすれば１フレームにつき２０ｍｓ分だけ蓄積量が増加することになる）。

そして、話頭保護区間決定部は、蓄積量に応じて話頭保護区間（可変のフレーム数）を決定する。例えば、蓄積量（話速変換での遅延に対応）が所定のフレーム以下の場合は、蓄積量（蓄積フレーム数）を話頭保護区間とする。蓄積量が１０フレーム以上の場合には話頭保護区間を１０フレームとすることで、遅延を解消する方法が提案されている。

特許第４６３０８７６号

しかし、上述した特許文献１の方法においては、フレーム数での設定により行っていることから、無音区間における削減する無音期間が、本来削減できる無音期間より増えてしまう。これは、次の音声の再生速度すなわち話速を遅くすることが出来る期間が少なくなることになり、話速変換されない期間の頻度が上がる課題があった。

上述した課題に鑑み、本発明が目的とするところは、音の高さを変えずに音声の再生速度を変換する話速変換装置等に関し、特に聴覚障害者や高齢者等の音声補聴装置や、電話等において、話速変換による補助的聴取を行う際の聞き取り易さの向上を実現するリアルタイム式の話速変換装置を提供することを目的とする。

上述した課題を解決するために、本発明の話速変換装置は、
入力音声データのサンプリング単位毎に音声信号のパワーが所定の閾値を超える有音区間と、当該閾値以下を無音区間とを判定する無音判定部と、
前記有音区間について、前記入力音声データを伸張又はそのまま出力バッファに出力する話速変換部と、
前記話速変換部により、前記入力音声データが伸張されたことによる増加分のデータ量を判定する増加分判定部と、
前記入力音声データから単位データを読み出し、当該単位データが無音データの場合に、前記増加分のデータ量以内の前記無音データは無音バッファに出力し、前記増加分のデータ量以上の前記無音データは前記出力バッファに出力する制御を行うバッファ制御部と、
を備え、
前記バッファ制御部は、
前記無音判定部により、前記無音区間から前記有音区間が判定された場合には、前記判定された位置から保護区間分の前記無音データを遡って前記無音バッファから読み出し、前記出力バッファに出力する制御を行うことを特徴とする。

また、本発明の話速変換装置において、
前記バッファ制御部は、前記無音判定部により、前記有音区間から前記無音区間が判定された場合には、前記無音データと判定された分が連続して保護区間分検出されたときには、保護区間分の前記無音データを前記無音バッファから読み出して前記出力バッファに出力する制御を行うことを特徴とする。

また、本発明の話速変換装置において、
前記バッファ制御部は、前記話速変換部により音声データを伸張していない場合には、前記無音データは、出力バッファに出力することを特徴とする。

また、本発明の話速変換装置において、
前記無音バッファは、リングバッファを構成していることを特徴とする。

本発明の話速変換方法は、
入力音声データのサンプリング単位毎に音声信号のパワーが所定の閾値を超える有音区間と、当該閾値以下を無音区間とを判定する無音判定ステップと、
前記有音区間について、前記入力音声データを伸張又はそのまま出力バッファに出力する話速変換ステップと、
前記話速変換ステップにより、前記入力音声データが伸張されたことによる増加分のデータ量を判定する増加分判定ステップと、
前記入力音声データから単位データを読み出し、当該単位データが無音データの場合に、前記増加分のデータ量以内の前記無音データは無音バッファに出力し、前記増加分のデータ量以上の前記無音データは前記出力バッファに出力する制御を行うバッファ制御ステップと、
を有し、
前記バッファ制御ステップは、
前記無音判定ステップにより、前記無音区間から前記有音区間が判定された場合には、前記判定された位置から保護区間分の前記無音データを遡って前記無音バッファから読み出し、前記出力バッファに出力する制御を行うことを特徴とする。

本発明のプログラムは、
コンピュータに、
入力音声データのサンプリング単位毎に音声信号のパワーが所定の閾値を超える有音区間と、当該閾値以下を無音区間とを判定する無音判定機能と、
前記有音区間について、前記入力音声データを伸張又はそのまま出力バッファに出力する話速変換機能と、
前記話速変換機能により、前記入力音声データが伸張されたことによる増加分のデータ量を判定する増加分判定機能と、
前記入力音声データから単位データを読み出し、当該単位データが無音データの場合に、前記増加分のデータ量以内の前記無音データは無音バッファに出力し、前記増加分のデータ量以上の前記無音データは前記出力バッファに出力する制御を行うバッファ制御機能と、
を有し、
前記バッファ制御機能は、
前記無音判定機能により、前記無音区間から前記有音区間が判定された場合には、前記判定された位置から保護区間分の前記無音データを遡って前記無音バッファから読み出し、前記出力バッファに出力する制御を行う、
ことを実現させることを特徴とする。

本発明によれば、サンプリング単位毎に音声信号のパワーが所定の閾値を超える有音区間と、当該閾値以下の無音区間とを判定し、有音区間について、音声データを伸張又はそのまま出力バッファに出力する。そして、音声データのうち、無音区間について、無音バッファに無音データとして記憶し、無音判定部により、無音区間から有音区間が判定された場合には、当該判定された位置から、保護区間分の無音データを遡って無音バッファから読み出して出力バッファに出力する。これにより、例えば話頭保護に必要な区間だけ保護されることになり、サンプリング単位毎に適切な範囲で保護され、不要な無音データを削除可能となる。

話速変換装置の機能構成を説明するための図である。 話速変換装置の概要を説明するための図である。 話速変換装置の概要を説明するための図である。 話速変換装置の概要を説明するための図である。 話速変換装置の概要を説明するための図である。 話速変換装置の処理について説明するための図である。 話速変換装置の処理について説明するための図である。 話速変換装置の処理について説明するための図である。 第１実施例について説明するための図である。 第２実施例について説明するための図である。 第２実施例について説明するための図である。 第３実施例について説明するための図である。 適用例について説明するための図である。 適用例について説明するための図である。

以下、本発明を適用した話速変換装置について図を用いて説明する。なお、以下の実施形態については、本発明を説明するための一形態であり、本発明の内容が以下の実施形態に限定して解釈されないことは勿論である。

［１．機能構成］
まず、話速変換装置１の機能構成から説明する。図１に示すように、話速変換装置１は、バッファ制御部１０と、無音判定部２０と、話速変換部３０と、無音バッファ４０と、出力バッファ５０とを含んで構成されている。また、図１において、実線はデータの流れを示しており、点線は制御信号の流れを示している。

ここで、話速変換装置１は、外部から入力された音声信号がＡＤ変換部（不図示）により入力音声データとして入力され、話速変換処理が実行される。そして、話速変換処理を施した出力音声データを出力する装置である。

バッファ制御部１０は、話速変換装置１の全体を制御するための機能部である。特に、無音バッファ４０に記憶される無音データについて、話速変換部３０により増加した増加データ量等に基づいて、無音バッファ４０の制御を行うことをする。

無音判定部２０は、入力された入力音声データのレベルが、所定の閾値未満の場合については、無音区間と判定して「無音データ」として無音バッファ４０に出力し、それ以上の場合には有音区間と判定して「有音データ」として話速変換部３０に出力する機能部である。ここで、有音データについては話速変換部３０に出力され、無音データについては無音バッファ４０に出力される。

話速変換部３０は、無音判定部２０から入力された有音データに基づいて、そのまま出力したり、ピッチの抽出や話速変換（伸張、データ追加）等を行う機能部である。話速変換部３０により、有音データの話速（音の速度）を変換することができる。なお、話速を変換するために、データが追加されるが、当該データの追加量はバッファ制御部１０に通知される。また、データの追加量は、後述する出力バッファ５０の最大出力サイズである。

ここで、変換される話速については、利用者から入力されても良いし、予め定められた分だけ話速変換されても良い。例えば、話速変換する場合には、入力音声に対して７５％話速を落とすこととしても良いし、利用者により定められた範囲（例えば５０％〜９９％）において決められた分話速を落とすこととしても良い。更に、入力音声を検知し、可変することとしてもよい。

無音バッファ４０は、無音判定部２０により「無音データ」と判定されたデータが、一時的に記憶される領域である。ここで、「無音データ」とは、例えば音声信号のレベルが所定の閾値未満の場合に判定される。

また、無音バッファ４０は、本実施形態において２つの領域に分けて構成されている。すなわち、第１無音バッファ４２と、第２無音バッファ４４との領域に分かれている。この第１無音バッファ４２と、第２無音バッファ４４とは、論理的にはループを構成しており、第１無音バッファ４２の最初から記憶された無音データは、第１無音バッファ４２の記憶領域が無くなると、第２無音バッファ４４の先頭から記憶される。また、第２無音バッファ４４の記憶領域が無くなると、第１無音バッファ４２の先頭から記憶される。

また、無音バッファ４０（第１無音バッファ４２と第２無音バッファ４４）のバッファサイズ（記憶容量）としては、センテンスとセンテンスとの間の「間」として保護するのに十分な時間（すなわち、話頭保護期間と、話尾保護期間との合計）により決定される。すなわち、無音バッファ４０は、音声データの保護区間となる。第１無音バッファ４２（の記憶容量）は、話尾保護のための保護区間であり、第２無音バッファ４４（の記憶容量）は、話頭保護のための保護区間である。

本実施形態では、説明の都合上、一例として０．４秒分（１領域分は０．２秒分）の無音データが記憶出来るバッファサイズを確保するとするが、それ以上であってもよいし、例えば可変サイズとしても良い。

出力バッファ５０は、話速変換部３０から有音データと、無音バッファ４０から無音データとが入力され、出力音声データとして出力する機能部である。ここで、出力バッファ５０のバッファサイズは、許容される遅延量に応じて決定される。本実施形態においては、約１秒分の音声データが記憶できるバッファサイズを確保するとする。

［２．動作概要］
続いて、本実施形態における話速変換装置１における話速変換の動作について、図を用いて概要を説明する。

図２（ａ）は、話速変換装置１に入力される入力音声信号の波形を示した図である。図２（ａ）における入力音声信号を、量子化して入力音声データとして簡略的に示したのが図２（ｂ）である。

このとき、入力音声データのうち、所定の音量レベル未満については無音データ、所定の音量レベル以上については有音データと判定する。例えば、図２（ｃ）に示すように、音量レベルがｒ１の範囲内の場合には無音データと判定され（区間ｔ２、ｔ４、ｔ６及びｔ８）、音量レベルがｒ１を超えた場合には有音データと判定される（区間ｔ１、ｔ３、ｔ５、ｔ７及びｔ９）。

ここで、所定の閾値は、予め決められているものであっても良いし、入力音声データに基づいて算出されるものであっても良い。また、閾値は一定値であっても良いし、時間と共に変化することとしても良い。

例えば、１６ｂｉｔ階調であれば、その１％である±３２８を閾値とし、入力音声データが＋３２８より小さく、−３２８より大きい場合は無音データとして判定する。

無音判定部２０より判定された有音データは話速変換部３０に、無音データは無音バッファ４０にそれぞれ出力される。

話速変換部３０では、入力音声データを変換する。例えば、図３（ａ）は、話速変換部３０に入力された音声データの一部を示した図である。このとき、入力音声データからピッチを抽出する。ピッチとは、音声の繰り返し周期の基本周波数であり、例えば、図３（ａ）のｐ１の部分である。

そして、抽出されたピッチ単位のデータを追加する。追加した状態を示した図が図３（ｂ）である。図３（ｂ）では、図３（ａ）のピッチｐ１と同じデータが、ピッチｐ２として追加（挿入）されている。なお、データの追加手法としては、上述したようにピッチ単位の波形を繰り返しても良いし、ＴＤＨＳ（Time Domain Harmonic Scaling）やＰＩＣＯＬＡ（Pointer Interval Controlled OverLap and Add）といった他の公知の手法を用いても良い。

また、無音データについては、無音バッファ４０に出力される。無音バッファ４０は、第１無音バッファ４２と、第２無音バッファ４４に分かれて構成されている。本実施形態においては、説明の都合上、無音バッファ４０として０．４秒分の無音データが記憶出来る分の領域が確保されている。

ここで、図４を用いて説明する。図４は、図２におけるｔ４の領域の無音データが記憶された場合の無音バッファ４０を模式的に示している。

まず、第１無音バッファ４２に、無音データが記憶されていく（図４（ａ））。このとき、第１無音バッファ４２の記憶容量の残りが無くなった場合には、連続して第２無音バッファ４４に無音データが記憶される。

このとき、第２無音バッファ４４が記憶されている間に、第１無音バッファ４２に記憶されている無音データを、出力バッファ５０に出力する。この動作により、話尾の保護がなされることとなる。

同様に、第２無音バッファ４４にデータが記憶され、記憶容量の残りが無くなった場合には、第１無音バッファ４２の先頭から無音データが上書きされる。そして、これが繰り返されることとなる。すなわち、話速変換部３０で有音データを追加したときは追加した分、又は、有音データと判定されるまでの間、第１無音バッファ４２、第２無音バッファ４４は上書きされることとなる。

このとき、無音判定部２０において入力音声データが有音データと判定されると、無音バッファの出力を終了し、バッファ制御部１０により終了時の処理が実行される。すなわち、有音データの判定がされた場合、第２無音バッファ４４と同量のデータが出力される様に無音データを読み出す。例えば、図４（ｂ）において、ｐ３の領域の無音データが読み出され、出力バッファ５０に出力される。

この動作により、無音データが設定値以上あった場合に、無音データの真ん中（サイズが違う場合はサイズ比率にあった場所）で、１サンプル単位で無音データを削除することが出来る。すなわち、無音データの真ん中が削除されることにより、話頭及び話尾が保護されることとなる。

図５は、入力音声データ及び出力音声データを模式的に示した図である。上側が入力音声データを示しており、下側が出力音声データを示している。ここで、ｔ２０の領域の無音データは、無音バッファの０．４秒分を超えていないため、そのまま出力されている。他方、領域ｔ２２、ｔ２４及びｔ２６は、話速変換部３０でデータが追加されており、無音データが無音バッファの０．４秒分を超えているため、追加データ分迄の範囲の無音データが削除されている。

［３．処理の流れ］
続いて、話速変換装置１において実行される話速変換処理の流れについて図を用いて説明する。

まず、入力音声データのうち、単位分のデータ（単位データ）を読み出す（図６のステップＳ１０２）。ここで、単位データとしては、例えばサンプリング単位のデータといった、すなわち処理の単位のデータをいう。

続いて、読み出されたデータが無音データか否かを判定する（ステップＳ１０４）。ここで、無音データで無い場合（有音データの場合）には（ステップＳ１０４；Ｎｏ）、図８のステップＳ３０２から処理が実行される。

無音データである場合（ステップＳ１０４；Ｙｅｓ）、話速変換部３０で、データの増加分があるか否かを判定する（ステップＳ１０６）。ここで、話速変換部３０において、データが増加されていない場合には（ステップＳ１０６；Ｎｏ）、出力バッファ５０に無音データをそのまま出力し（ステップＳ１２０）、次の単位データを読み出す（ステップＳ１０２）。

話速変換部３０において、増加分があった場合には（ステップＳ１０６；Ｙｅｓ）、１つ前の単位データが有音データか否かを判定する（ステップＳ１０８）。ここで、１つ前の単位データが有音データの場合（ステップＳ１０８；Ｙｅｓ）、第１無音バッファ４２の最初に無音データを出力する（ステップＳ１２２）。そして、次の単位データを読み出す（ステップＳ１０２）。

他方、１つ前の単位データが有音データではない場合（すなわち無音データの場合）（ステップＳ１０８；Ｎｏ）、１つ前の単位データ（無音データ）に続けて無音バッファ４０に出力する（ステップＳ１１０）。この場合、無音データは、上述したように第１無音バッファ４２又は第２無音バッファ４４に出力されることになる。

続いて、話尾保護分のデータ数があり、かつ、話尾保護フラグが０か否かを判定する（ステップＳ１１２）。両方の条件を満たす場合には、話尾の保護分のデータ量を出力バッファ５０に出力し（ステップＳ１１４）、話尾保護フラグを「１」とする（ステップＳ１１６）。

他方、ステップＳ１１２において、何れかの要件を満たさない場合（ステップＳ１１２；Ｎｏ）、話頭保護フラグ＝「１」、かつ、話頭の保護分の単位データ（無音データ）のデータ数が無音バッファ４０に記憶されているか否か判定する（ステップＳ１２４）。ここで、話頭保護フラグが「１」以外又は話頭の保護分のデータ数が記憶されていない場合には（ステップＳ１２４；Ｎｏ）、ステップＳ１０２から処理を繰り返し実行する。

ステップＳ１２４において、話頭保護フラグ＝「１」、かつ、話頭の保護分の単位データ（無音データ）のデータ数が、無音バッファ４０に記憶されている場合には（ステップＳ１２４；Ｙｅｓ）、削除可能カウンタを１加算する（図７のステップＳ２０２）。

ここで、削除可能カウンタは、本処理において利用するカウンタであり、処理が実行される最初の段階（話速変換処理が開始される段階）で初期化されるものとする。

続いて、話速変換部３０での増加データ数と、削除可能カウンタとを比較する（ステップＳ２０４）。ここで、話速変換部３０での増加データ数が、削除可能カウンタより大きい場合には（ステップＳ２０４；Ｙｅｓ）、ステップＳ１０２から処理を繰り返し実行する。すなわち、話速変換部３０での増加分に余裕があり、無音データを削除可能な状態を判定している。

続いて、話速変換部３０での増加データ数が、削除可能カウンタより大きくない場合、すなわち、削除可能カウンタが話速変換部３０での増加データ数以上となった場合には（ステップＳ２０４；Ｎｏ）、話速変換部３０での増加データ数と、削除可能カウンタの数が等しいか否かを判定する（ステップＳ２０６）。

ここで、話速変換部３０での増加データ数と、削除可能カウンタが同数の場合には（ステップＳ２０６；Ｙｅｓ）、無音バッファ４０から、無音バッファ４０の１領域分（保護区間分）遡った無音データを読み出して出力バッファ５０に出力する（ステップＳ２０８）。その後、ステップＳ１０２から処理を繰り返し実行する。

他方、ステップＳ２０６において、話速変換部３０での増加データ数と、削除カウンタの数が等しくない場合には（ステップＳ２０６；Ｎｏ）、無音データを出力バッファ５０に出力する（ステップＳ２１０）。その後、ステップＳ１０２から処理を繰り返し実行する。

図６のステップＳ１０４に戻り説明すると、今度は話速変換部３０において、入力音声データが有音データと判定された場合には（ステップＳ１０４；Ｎｏ）、１つ前の（単位）データが無音データであるか否かを判定する（図８のステップＳ３０２）。ここで、１つ前の（単位）データが無音データで無い場合（ステップＳ３０２；Ｎｏ）、ステップＳ１０２から処理を繰り返し実行する。

他方、１つ前の（単位）データが無音データの場合には（ステップＳ３０２；Ｙｅｓ）、削除可能カウンタが「０」か否かを判定する（ステップＳ３０４）。ここで、削除可能カウンタが「０」の場合には（ステップＳ３０４；Ｙｅｓ）、無音バッファ４０の無音データを出力バッファ５０に出力し（ステップＳ３０６）、話尾保護フラグを０とする（ステップＳ３０８）。その後、ステップＳ１０２から処理を繰り返し実行する。

また、ステップＳ３０４において、削除可能カウンタが「０」以外の場合には（ステップＳ３０４；Ｎｏ）、話速変換部３０での増加データ数と、削除可能カウンタとを比較する（ステップＳ３１０）。

ここで、話速変換部３０での増加データ数が、削除可能カウンタ以上の場合には、（ステップＳ３１０；Ｙｅｓ）、話尾保護フラグを「０」とし、ステップＳ１０２から処理を繰り返し実行する。

他方、話速変換部３０での増加データ数が、削除可能カウンタ未満の場合には（ステップＳ３１０；Ｎｏ）、無音バッファ４０の１領域分の無音データを出力バッファ５０に出力する（ステップＳ３１２）。具体的には、図４（ｂ）において、現在記憶されている箇所から、無音バッファ４０の１領域分であるｐ３分の無音データが出力バッファ５０に出力される。そして、話尾保護フラグを０とし（ステップＳ３１４）、ステップＳ１０２から処理を繰り返し実行する。

なお、本実施形態においては、無音バッファ４０の１領域分としているが、例えば第１無音バッファ４２と、第２無音バッファ４４の記憶容量が異なる場合には、第２無音バッファ４４の記憶容量に基づいて処理が行われることとなる。

［４．実施例］
上述した話速変換装置について、図面を用いて実施例について説明する。

［４．１ 第１実施例］
第１実施例は、無音データが無音バッファの領域分以下の場合、例えば領域が０．４秒分確保されている場合に、無音データが０．４秒未満となる場合について説明する。なお、この領域は図５の領域ｔ２０の領域となる。また、本実施例における無音バッファ４０の様子を図９に模式的に示し、以下図６〜図８の処理の流れを用いて説明する。

（１）まず、有音データの後、無音データと判定された場合、バッファ制御部１０が処理を実行することにより、第１無音バッファ４２に無音データが記憶される（図９のｐ１００、ステップＳ１０２→Ｓ１０４；Ｙｅｓ→Ｓ１０６；Ｙｅｓ→Ｓ１０８；Ｙｅｓ→Ｓ１２２）。

（２）続いて、第１無音バッファ４２の記憶領域が一杯になるまで、第１無音バッファ４２に無音データが記憶される（図９のｐ１０２、ステップＳ１０２→Ｓ１０４；Ｙｅｓ→Ｓ１０６；Ｙｅｓ→Ｓ１０８；Ｎｏ→Ｓ１１０→Ｓ１１２；Ｎｏ→Ｓ１２４；Ｎｏ）。

（３）第１無音バッファ４２の記憶領域が一杯になると、第２無音バッファに続けて無音データが記憶される（図９のｐ１０４、ステップＳ１０２→Ｓ１０４；Ｙｅｓ→Ｓ１０６；Ｙｅｓ→Ｓ１０８；Ｎｏ→Ｓ１１０→Ｓ１１２；Ｙｅｓ→Ｓ１１４→Ｓ１１６）。

（４）続いて、第２無音バッファ４４の記憶領域が一杯になるまで、第２無音バッファ４４に無音データが記憶される（図９のｐ１０６、ステップＳ１０２→Ｓ１０４；Ｙｅｓ→Ｓ１０６；Ｙｅｓ→Ｓ１０８；Ｎｏ→Ｓ１１０→Ｓ１１２；Ｎｏ→Ｓ１２４；Ｎｏ）。

（５）有音データと判定されたら、無音バッファ４０の無音データを出力バッファに出力する（図９のｐ１０８、ステップＳ１０２→Ｓ１０４；Ｎｏ→Ｓ３０２；Ｙｅｓ→Ｓ３０４；Ｙｅｓ→Ｓ３０６→Ｓ３０８）。

［４．２ 第２実施例］
続いて第２実施例について説明する。第２実施例は、話速変換部３０での増加データ量が、出力バッファ５０の記憶容量分以下（例えば、１秒分未満）であり、無音データが「無音バッファ４０の記憶容量＋話速変換部３０での増加データ量」未満の場合について説明する。なお、この領域は図５のｔ２４の領域となる。また、本実施例における無音バッファ４０の遷移を図１０、図１１に模式的に示し、以下図６〜図８の処理の流れを用いて説明する。

（１）まず、有音データの後、無音データと判定された場合、バッファ制御部１０が処理を実行することにより、第１無音バッファ４２に無音データが記憶される（図１０（ａ）のｐ２００、ステップＳ１０２→Ｓ１０４；Ｙｅｓ→Ｓ１０６；Ｙｅｓ→Ｓ１０８；Ｙｅｓ→Ｓ１２２）。

（２）続いて、第１無音バッファ４２の記憶領域が一杯になるまで、第１無音バッファ４２に無音データが記憶される（図１０（ａ）のｐ２０２、ステップＳ１０２→Ｓ１０４；Ｙｅｓ→Ｓ１０６；Ｙｅｓ→Ｓ１０８；Ｎｏ→Ｓ１１０→Ｓ１１２；Ｎｏ→Ｓ１２４；Ｎｏ）。

（３）第１無音バッファ４２の記憶領域が一杯になると、第２無音バッファ４４に続けて無音データが記憶される（図１０（ａ）のｐ２０４、ステップＳ１０２→Ｓ１０４；Ｙｅｓ→Ｓ１０６；Ｙｅｓ→Ｓ１０８；Ｎｏ→Ｓ１１０→Ｓ１１２；Ｙｅｓ→Ｓ１１４→Ｓ１１６→Ｓ１１８）。

（４）続いて、第２無音バッファ４４の記憶領域が一杯になるまで、第２無音バッファ４４に無音データが記憶される（図１０（ｂ）のｐ２０６、ステップＳ１０２→Ｓ１０４；Ｙｅｓ→Ｓ１０６；Ｙｅｓ→Ｓ１０８；Ｎｏ→Ｓ１１０→Ｓ１１２；Ｎｏ→Ｓ１２４；Ｎｏ）。

（５）第２無音バッファ４４の記憶領域が一杯になると、削除可能カウンタが１加算される。すなわち、削除可能カウンタがスタートする（図１０（ｂ）のｐ２０８、ステップＳ１０２→Ｓ１０４；Ｙｅｓ→Ｓ１０６；Ｙｅｓ→Ｓ１０８；Ｎｏ→Ｓ１１０→Ｓ１１２；Ｎｏ→Ｓ１２４；Ｙｅｓ→Ｓ２０２→Ｓ２０４；Ｙｅｓ）。

（６）削除可能カウンタが、話速変換部３０での増加データ数未満の間、無音データが無音バッファ４０に記憶される（図１１（ａ）のｐ２１０、ステップＳ１０２→Ｓ１０４；Ｙｅｓ→Ｓ１０６；Ｙｅｓ→Ｓ１０８；Ｎｏ→Ｓ１１０→Ｓ１１２；Ｎｏ→Ｓ１２４；Ｙｅｓ→Ｓ２０２→Ｓ２０４；Ｙｅｓ）。

（７）有音データと判定されたら、無音バッファ４０の無音データを無音バッファの１領域分だけ出力バッファ５０に出力する（図９のｐ２１２、ステップＳ１０２→Ｓ１０４；Ｎｏ→Ｓ３０２；Ｙｅｓ→Ｓ３０４；Ｎｏ→Ｓ３１０；Ｙｅｓ）。すなわち、図１１（ｂ）におけるｐ２１４の無音データは削除されることとなる。

［４．３ 第３実施例］
続いて第３実施例について説明する。第３実施例は、話速変換部３０での増加データ量が、出力バッファ５０の記憶容量分以下（例えば、１秒分未満）であり、無音データが「無音バッファ４０の記憶容量＋話速変換部３０での増加データ量」以上の場合について説明する。なお、この領域は図５のｔ２２の領域となる。また、第２実施例において説明した（１）〜（５）までの処理の流れ（図１０の無音バッファ４０の状態）については同じであるため、その後の状態から説明する。なお、本実施例における無音バッファ４０の遷移を図１２に模式的に示し、以下図６〜図８の処理の流れを用いて説明する。

（６）削除可能カウンタが、話速変換部３０での増加データ数未満の間、無音データが無音バッファ４０に記憶される（図１２（ａ）のｐ３００、ステップＳ１０２→Ｓ１０４；Ｙｅｓ→Ｓ１０６；Ｙｅｓ→Ｓ１０８；Ｎｏ→Ｓ１１０→Ｓ１１２；Ｎｏ→Ｓ１２４；Ｙｅｓ→Ｓ２０２→Ｓ２０４；Ｙｅｓ）。

（７）削除可能カウンタが、話速変換部３０での増加データ数と同じになると、無音バッファのうち、話速変換部３０での増加データ数分削除して（図１２（ｂ）のｐ３０２）、出力バッファ５０に出力する（ステップＳ１０２→Ｓ１０４；Ｙｅｓ→Ｓ１０６；Ｙｅｓ→Ｓ１０８；Ｎｏ→Ｓ１１０→Ｓ１１２；Ｎｏ→Ｓ１２４；Ｙｅｓ→Ｓ２０２→Ｓ２０４；Ｎｏ→Ｓ２０６；Ｙｅｓ→Ｓ２０８）。

（８）削除可能カウンタが、話速変換部３０での増加データ数を超えた場合、無音データを出力バッファ５０に出力する（図１２（ｃ）のｐ３０４、ステップＳ１０２→Ｓ１０４；Ｙｅｓ→Ｓ１０６；Ｙｅｓ→Ｓ１０８；Ｎｏ→Ｓ１１０→Ｓ１１２；Ｎｏ→Ｓ１２４；Ｙｅｓ→Ｓ２０２→Ｓ２０４；Ｎｏ→Ｓ２０６；Ｎｏ→Ｓ２１０）。

（９）有音データと判定されたら、無音バッファ４０の無音データのうち、未出力分を出力バッファ５０に出力する（ステップＳ１０２→Ｓ１０４；Ｎｏ→Ｓ３０２；Ｙｅｓ→Ｓ３０４；Ｎｏ→Ｓ３１０；Ｎｏ→Ｓ３１２）。

［５．適用例］
続いて、本発明の話速変換処理を他の装置に適用した場合について説明する。例えば、本明細書においては、携帯電話装置に適用した場合について説明する。図１３に示すように、携帯電話装置１０００及び携帯電話装置２０００は、基地局装置３０００に無線を解して接続されている。

携帯電話装置１０００は、携帯電話装置２０００からの受話音声にたいして話速変換処理を行うことにより、話速変換装置としての機能も実現できる。なお、本実施形態においては、携帯電話装置１０００と、携帯電話装置２０００とは同一の機能構成として説明する。

ここで、携帯電話装置１０００における機能構成について、図１４を用いて説明する。図１４に示すように、携帯電話装置１０００は、制御部１００と、アンテナ２５０が接続された通信部２００と、記憶部３００と、音声処理部４００と、音声入力部５００と、音声出力部５５０と、表示部６００と、操作部６５０とが含まれて構成されている。

制御部１００は、携帯電話装置１０００の全体を制御するための機能部である。制御部１００は、記憶部３００に記憶されている各種プログラムを読み出して実行することにより各種機能を実現しており、例えばＣＰＵ（Central Process Unit）等により構成されている。

通信部２００は、アンテナ２５０を介して基地局装置２０００と接続するためのインタフェース部である。例えば、ＰＤＣ、ＣＤＭＡ、ＬＴＥといったいわゆる携帯電話用回線を利用したり、ＷｉＦｉ等の無線ＬＡＮを利用したりしても良い。

記憶部３００は、携帯電話装置１０００の動作に必要な各種プログラムや、各種データが記憶されている機能部である。記憶部３００は、例えば、半導体メモリ等により構成されている。

音声処理部４００は、音声入力部５００から入力される音声を音声データとしてエンコードする送話音声エンコーダ部４１０と、音声出力部５５０に出力する音声を音声データからデコードする受話音声デコーダ部４２０とが含まれている。更に、上述した話速変換装置の機能を実現するための話速変換部４３０が含まれている。

話速変換部４３０は、受話音声デコーダ部４２０において、受話音声を音声出力部５５０が出力するときに、話速を適切に落として出力可能とするために処理を実行する。

また、利用者に携帯電話装置１０００の状態等の報知を行う表示部６００と、利用者が携帯電話装置１０００に対して各種操作・指示を行う操作部６５０とを更に備えている。

このように、本実施形態における話速変換装置を、他の装置に適用することにより、当該装置から出力される音声を聞きやすくするために、話速を適切に落とすことが可能となる。

［６．変形例］
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も特許請求の範囲に含まれる。

また、上述した適用例として、携帯電話装置を例にとって説明したが、他の装置、例えばインターフォンや、音声出力可能なコンピュータ、カーナビゲーション、電子辞書といった種々の装置に適用可能なことは勿論である。

また、上述した無音バッファ４０や、出力バッファ５０については、一例であることは勿論である。例えば、無音バッファの４０の記憶容量を０．５秒分、出力バッファを２秒分といった異なる値としても良い。

また、無音バッファ４０については、一定値ではなく、可変値としても良いし、第１無音バッファ４２と、第２無音バッファ４４とで記憶容量を異なることとしても良い。例えば、第１無音バッファ４２の記憶容量より、第２無音バッファ４４の記憶容量を大きくすることにより、話頭に関する音声の方がより長く保護されることとなる。

また、上述した話速変換装置で動作するプログラムは、上述した実施形態の機能を実現するように、ＣＰＵ等を制御するプログラム（コンピュータを機能させるプログラム）で実現可能である。そして、これら装置で取り扱われる情報は、その処理時に一時的に一時記憶装置（例えば、ＲＡＭ）に蓄積され、その後、各種ＲＯＭやＨＤＤの記憶装置に格納され、必要に応じてＣＰＵによって読み出し、修正・書き込みが行なわれる。

ここで、プログラムを格納する記録媒体としては、半導体媒体（例えば、ＲＯＭや、不揮発性のメモリカード等）、光記録媒体・光磁気記録媒体（例えば、ＤＶＤ（Digital Versatile Disc）、ＭＯ（Magneto Optical Disc）、ＭＤ（Mini Disc）、ＣＤ（Compact Disc）、ＢＤ等）、磁気記録媒体（例えば、磁気テープ、フレキシブルディスク等）等のいずれであってもよい。また、ロードしたプログラムを実行することにより、上述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、オペレーティングシステムあるいは他のアプリケーションプログラム等と共同して処理することにより、本発明の機能が実現される場合もある。

また、市場に流通させる場合には、可搬型の記録媒体にプログラムを格納して流通させたり、インターネット等のネットワークを介して接続されたサーバコンピュータに転送したりすることができる。この場合、サーバコンピュータの記憶装置も本発明に含まれるのは勿論である。

また、上述した実施形態における装置の一部又は全部を典型的には集積回路であるＬＳＩ（Large Scale Integration）として実現してもよい。各装置の各機能ブロックは個別にチップ化してもよいし、一部、または全部を集積してチップ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いることも可能であることは勿論である。

１ 話速変換装置
１０ バッファ制御部
２０ 無音判定部
３０ 話速変換部
４０ 無音バッファ
４２ 第１無音バッファ
４４ 第２無音バッファ
５０ 出力バッファ
１０００、２０００ 携帯電話装置
３０００ 基地局装置

Claims (5)

1. 入力音声データのサンプリング単位毎に音声信号のパワーが所定の閾値を超える有音区間と、当該閾値以下を無音区間とを判定する無音判定部と、
   前記有音区間について、前記入力音声データを伸張又はそのまま出力バッファに出力する話速変換部と、
   前記話速変換部により、前記入力音声データが伸張されたことによる増加分のデータ量を判定する増加分判定部と、
   前記入力音声データから単位データを読み出し、当該単位データが無音データの場合に、前記増加分のデータ量以内の前記無音データは無音バッファに出力し、前記増加分のデータ量以上の前記無音データは前記出力バッファに出力する制御を行うバッファ制御部と、
   を備え、
   前記バッファ制御部は、
   前記無音判定部により、前記無音区間から前記有音区間が判定された場合には、前記判定された位置から保護区間分の前記無音データを遡って前記無音バッファから読み出し、前記出力バッファに出力する制御を行うことを特徴とする話速変換装置。
2. 前記バッファ制御部は、前記無音判定部により、前記有音区間から前記無音区間が判定された場合には、前記無音データと判定された分が連続して保護区間分検出されたときには、保護区間分の前記無音データを前記無音バッファから読み出して前記出力バッファに出力する制御を行うことを特徴とする請求項１に記載の話速変換装置。
3. 前記無音バッファは、リングバッファを構成していることを特徴とする請求項１又は２に記載の話速変換装置。
4. 入力音声データのサンプリング単位毎に音声信号のパワーが所定の閾値を超える有音区間と、当該閾値以下を無音区間とを判定する無音判定ステップと、
   前記有音区間について、前記入力音声データを伸張又はそのまま出力バッファに出力する話速変換ステップと、
   前記話速変換ステップにより、前記入力音声データが伸張されたことによる増加分のデータ量を判定する増加分判定ステップと、
   前記入力音声データから単位データを読み出し、当該単位データが無音データの場合に、前記増加分のデータ量以内の前記無音データは無音バッファに出力し、前記増加分のデータ量以上の前記無音データは前記出力バッファに出力する制御を行うバッファ制御ステップと、
   を有し、
   前記バッファ制御ステップは、
   前記無音判定ステップにより、前記無音区間から前記有音区間が判定された場合には、前記判定された位置から保護区間分の前記無音データを遡って前記無音バッファから読み出し、前記出力バッファに出力する制御を行うことを特徴とする話速変換方法。
5. コンピュータに、
   入力音声データのサンプリング単位毎に音声信号のパワーが所定の閾値を超える有音区間と、当該閾値以下を無音区間とを判定する無音判定機能と、
   前記有音区間について、前記入力音声データを伸張又はそのまま出力バッファに出力する話速変換機能と、
   前記話速変換機能により、前記入力音声データが伸張されたことによる増加分のデータ量を判定する増加分判定機能と、
   前記入力音声データから単位データを読み出し、当該単位データが無音データの場合に、前記増加分のデータ量以内の前記無音データは無音バッファに出力し、前記増加分のデータ量以上の前記無音データは前記出力バッファに出力する制御を行うバッファ制御機能と、
   を有し、
   前記バッファ制御機能は、
   前記無音判定機能により、前記無音区間から前記有音区間が判定された場合には、前記判定された位置から保護区間分の前記無音データを遡って前記無音バッファから読み出し、前記出力バッファに出力する制御を行う、
   ことを実現させるためのプログラム。