JP3630609B2 - 音声情報再生方法ならびに装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、音声情報再生方法ならびに装置に関し、特に、録再音源ソースの変速再生、リアルタイム再生速度変換用途に用いて好適な音声情報再生方法ならびに装置に関する。
【０００２】
【従来の技術】
音声信号をゆっくり再生したり、早く再生したりする場合、通常、時間軸方向にデータを引き伸ばしたり、あるいは縮めたりする。すなわち、ゆっくり再生したい場合には時間を延ばすことになり、早く再生したい場合には時間を縮めることになる。このことにより、ゆっくり再生すると音の高さが下がり、早く再生すると音の高さが上がる。
【０００３】
そこで、音の高さを一定にするために、オリジナル信号波形の一部を切り出し、それらを引き伸ばしたり、圧縮したりして接続し、全体としての長さ（時間）を一定にすることが考えられる。しかしながら、この場合、不連続な信号を接続するためにその継ぎめで鋭いパルスが発生することがある。
【０００４】
そこで、図６にその手順を示すように、まずは、オリジナル信号の一部（小片）を切り出し、それを時間軸上に圧縮、あるいは伸長し、これに窓関数を掛け合わせて両端を滑らかに減衰させる。つまり、窓関数それ自体が左右対称の山形で両サイドが滑らかに減衰しているため、これと掛け合わされた波形も両サイドが滑らかに減衰するわけである。このようにして得られたいくつもの小片を少しずつずらして重ね合わせながら接続することにより、継ぎ目の無い滑らかな信号が生成される。
【０００５】
【発明が解決しようとする課題】
ところで、上記した従来例によれば、波形の小片と小片を重ね合わせたときに変調波が発生し、不要な低周波の発生が認められる。上記した現象は、重ね合わせる小片と小片の間隔を小さくすればするほど変調波の大きさも増大する。また、波形を重ね合わせしているため、近傍のデータが重なってエコーのかかった音になりやすいことは否めない。これは音楽データの場合はさほど問題にはならないが、音声データでは明瞭度が損なわれることがある。重ね合わせの小片の間隔を大きくすると残響音が聞こえ、明瞭度が更に低下する。
【０００６】
本発明は上記事情に鑑みてなされたものであり、音声情報源から読み出される音声情報をバッファに蓄積し、当該蓄積された音声情報を、あらかじめ設定された速度倍率で読み出し、再生速度変換処理を施して再生する音声情報再生装置において、バッファに蓄積された量に応じて読み出し要求を発し、設定された速度倍率に従いバッファから所定量の音声情報を読み出し、当該読み出された音声情報に所定の再生速度変換処理を施すことにより、音声の認識率の向上をはかり、バッファメモリの容量削減をはかった音声情報再生方法ならびに装置を提供することを目的とする。
【０００７】
また、音声情報の所定の部分を窓関数によって順次切り出し、それを重ね合わせて第１チャンネル用の再生速度変換出力とし、前記音声情報の前記所定の部分とは異なる所定の部分を窓関数によって順次切り出し、それを重ね合わせて第２のチャンネル用の再生速度変換出力とし、それぞれ独立して再生することにより情報の欠落を減少させ、音声の認識率向上をはかった音声情報再生方法ならびに装置を提供することも目的とする。
【００１０】
【課題を解決するための手段】
上記課題を解決するために、本発明は一つには、音声情報源から読み出される音声情報をバッファに蓄積し、当該蓄積された音声情報をあらかじめ設定された速度倍率で読み出し、再生速度変換処理を施して再生する音声情報再生方法であって、前記音声情報の所定の部分を窓関数によって順次切り出し、それを接続して第１チャンネル用の再生速度変換出力信号とし、前記音声情報の前記所定の部分とは異なる所定の部分を窓関数によって順次切り出し、それを接続して第２のチャンネル用の再生速度変換出力信号とし、一方の再生速度変換出力信号の窓関数１つ分の信号の中央部が、他方の再生速度変換出力信号の窓関数２つ分の信号の各窓関数の中央部間に位置するように再生することとした。
【００１１】
また、一つには、前述の音声再生方法において、前記音声情報の所定部分と、該音声情報の前記所定部分とは異なる所定の部分とは、振幅により伸長圧縮率を可変とすることとした。
【００１２】
このことにより、音声情報の所定の部分を窓関数によって順次切り出し、それを重ね合わせて第１チャンネル用の再生速度変換出力信号とし、前記音声情報の前記所定の部分とは異なる所定の部分を窓関数によって順次切り出し、それを重ね合わせて第２のチャンネル用の再生速度変換出力信号とし、一方の再生速度変換出力信号の窓関数１つ分の信号の中央部が、他方の再生速度変換出力信号の窓関数２つ分の信号の各窓関数の中央部間に位置するように再生することにより、情報の欠落が減少し、音声の認識率向上をはかることができる。
【００１５】
また、音声情報源と、前記音声情報源から設定された速度倍率に従って読み出される所定量の音声情報が蓄積されるバッファと、前記バッファから読み出された音声情報の所定の部分を窓関数によって順次切り出し、それを接続して第一チャンネル用の再生速度変換出力信号とし、前記音声情報の前記所定の部分とは異なる所定の部分を窓関数によって順次切り出し、それを接続して第二のチャンネル用の再生速度変換出力信号とし、一方の再生速度変換出力信号の窓関数１つ分の信号の中央部が、他方の再生速度変換出力信号の窓関数２つ分の信号の各窓関数の中央部間に位置するように再生する信号処理手段とを備えることとした。
【００１６】
上記構成により、音声情報の所定の部分を窓関数によって順次切り出し、それを重ね合わせて第１チャンネル用の再生速度変換出力信号とし、前記音声情報の前記所定の部分とは異なる所定の部分を窓関数によって順次切り出し、それを重ね合わせて第２のチャンネル用の再生速度変換出力信号とし、一方の再生速度変換出力信号の窓関数１つ分の信号の中央部が、他方の再生速度変換出力信号の窓関数２つ分の信号の各窓関数の中央部間に位置するように再生することにより、情報の欠落が減少し、音声の認識率向上をはかった音声情報再生装置を提供することができる。録再音源ソースを用いた応用ならびにリアルタイム再生速度変換への応用が考えられ、ゆっくり再生から徐々に高速再生していくことによる種々の訓練、あるいは聞き取り易さへの改善がはかれる。
【００１７】
【発明の実施の形態】
図１は本発明における音声情報再生装置の実施形態を示すブロック図である。
【００１８】
本発明の音声情報再生装置は、ＣＤ−ＲＯＭドライブ１と、バッファメモリ２と、メモリ制御マイコン３と、信号処理プロセッサ（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）４と、Ｄ／Ａ（Ｄｉｇｉｔａｌ−Ａｎａｌｏｇ）変換回路５と、システムマイコン６と、電子ボリューム７と、アンプ８と、スピーカ９と、設定スイッチ１０と表示器１１で構成される。
【００１９】
ここでは、音声情報源として最高読み出し速度が８倍速のＣＤ−ＲＯＭドライブ１を用いるものとする。上記構成において、まず、設定スイッチ１０を介して音声再生の速度設定（Ｎ倍速）、ならびに音量設定が行われる。システムマイコン６は、これら設定情報を取り込み、速度情報をメモリ制御マイコン３へ送出すると共に、その設定値を表示器１１へ表示する。また、設定された音量を電子ボリューム７へ送出する。
【００２０】
メモリ制御マイコン３は、ＤＳＰ４にＮ倍速（０．５〜５）の指示を発し、ＣＤ−ＲＯＭドライブ１から音声情報を平均Ｎ倍速で読み取ってバッファメモリ２へ書き込む。更に、メモリ制御マイコン３の指示でバッファメモリ２からＤＳＰ４に音声情報を送出する。ＤＳＰ４に入力された音声情報は、ＤＳＰ４で振幅が算出され、その振幅の大きさに応じて時間軸の圧縮伸張処理がなされ、その結果がＤ／Ａ変換回路５に出力される。Ｄ／Ａ変換回路５の出力は、電子ボリューム７を介しアンプ８で増幅され、スピーカ９を駆動する。
【００２２】
以下にＤＳＰ４による再生速度変換処理動作について詳細に説明する。
まず、本発明実施形態で使用されるＤＳＰ４の基本仕様から説明する。ＤＳＰ４は、入力として、メモリ制御マイコン３から外部設定される速度情報、出力モード情報、ピッチ変更情報を受信し、バッファメモリ２からディジタルステレオ音声情報を受信する。また、出力として、本来の機能である２チャンネルのＤＡ出力と、次の音声情報読み出しのための新たな速度情報をメモリ制御マイコン３に送信する。
【００２３】
すなわち、ＤＳＰ４は、メモリ制御マイコン３によって０．５倍〜５倍の設定された速度情報Ｎで音声情報を受信して再生速度変換を行い、Ｄ／Ａ変換回路５へ出力する。また、メモリ制御マイコン３に対し後続する音声情報の読み出しのために０．４２倍〜６．６倍の速度情報Ｍを送る。ここでは、ＣＤ−ＲＯＭドライブ１から原信号４４．１ｋＨｚサンプリングのＭ倍速（４４．１ｋＨｚ×０．４２〜４４．１ｋＨＺ×６．６サンプリング）の信号により音声情報をディジタル信号で受信する。このとき、ＣＤ−ＲＯＭドライブ１では、０．４２〜６．６倍速再生が行われ、入力される２チャンネルの音声情報を、設定によりステレオ、もしくは後述する拡張モードで出力する。
【００２４】
また、外部設定により、±５％のピッチ調整も行う。特徴的には、話間の圧縮伸長を行い、入力信号のレベルに応じてメモリ制御マイコン３に対して０．４２倍〜６．６倍の速度情報を送る。ここでは、振幅の大きさによって圧縮処理を行い、ノイズ低減の意味で一定レベル以下の信号をゼロにしている。
【００２５】
なお、メモリ制御マイコン３へ出力する速度情報は、あらかじめＤＳＰ４内蔵メモリにテーブルとして用意されており、ＣＤ−ＲＯＭドライブ１から読み出された音声情報の振幅の大きさ（１区間のデータから元の信号をハイパスフィルタを用いて成分を抽出し、振幅を算出する）と、設定速度により当該テーブルを索引することによって得られる。設定速度に応じた再生速度（メモリ制御マイコン３に引き渡す情報）は、例として図４に表として示されている。圧縮伸長は振幅情報に応じて窓の切取り位置を可変とすることで実現される。また、トーンピッチの変更は、設定値によってデサンプリングすることにより実現される。
【００２６】
図２は、４倍速の倍速再生時における窓関数の重ね合わせの様子を示した図であり、参考のために従来例（ａ）と本発明（ｂ）を対比して示してある。
【００２７】
従来は、Ｎ倍速再生の場合、原信号より窓関数を用いて時間ｔ１にある小片Ａ、Ｂ、Ｃ、Ｄを切り出し、時間ｔ２で各小片を重ね合わせて出力することで時間軸の圧縮を行っていた。このことは上記したとおりであり、具体的に（ａ）に示されている。図に示されるように、原信号より切り捨ててしまう範囲が多々あり、従って情報の欠落が多く、言葉を聞き取れない場合が生じる。
【００２８】
これに対し、本発明では（ｂ）に示すように、従来例より２倍の個数から成る小片を切り出し、左右の信号に変換し、右耳、左耳に別領域の音を聞かせるようにしている。図から明らかなように、例えば、出力Ｒの窓関数は、Ｂ、Ｄ、Ｆのそれぞれの中央が、出力Ｌにおける窓関数ＡとＣの中間、ＣとＥの中間、ＥとＧの中間に位置し、時間的な位置関係が原信号と同じになる。このことにより、実際に聴いたときに左右の時間的なずれが解消される。以降、このモードを従来からあるステレオモードと区別する意味で拡張モードと称する。図では、接続後の窓関数（出力Ｌ）と、接続後の窓関数（出力Ｒ）として示してある。この場合、情報の欠落が減少するため音声の認識率が高くなる。
【００２９】
この場合のＤＳＰ４は、図３に示す構成になる。すなわち、ＤＳＰ４では、まず、Ｒ入力とＬ入力を合成回路４１で合成し、バンドパスフィルタ４２で音声抽出を行う。そして、その音声情報を内蔵メモリ４３に蓄積し、演算制御部４４で計算された間隔で窓関数を掛け合わせて音声の小片を切り取る。また、切り取った小片は、図２（ｂ）に示されるように重ね合わせて接続し、ＬとＲそれぞれ独立した出力音声信号とする。
【００３１】
以下、図４に示す表を作成するための計算式について簡単に説明する。ここでは、再生音を聞き取りやすくするために、倍速度が１より小さい場合（ゆっくり再生）、振幅が小さい領域の切り取り間隔を小さく（ゆっくり進む）して、信号の大きい部分で切り取り間隔を大きく（１倍速に近づける）する。信号の振幅値において、中央値をＸｍｅｇとすると、閾値ｓｈをＸｍｅｇにする。振幅がｓｈより大きい場合の再生速度をｄｘ１、振幅がｓｈより小さい場合の再生速度をｄｘ２とすれば、ｄｘ１とｄｘ２の出現率は５０％になるため、最初の速度設定値ｋは、以下の式で表される。
１／ｋ＝１／（２×ｄｘ１）＋１（２×ｄｘ２）
ここで、ｋ＜１（ゆっくり再生）のとき、
ｄｘ１＝０．６×ｋ＋０．４
ｄｘ２＝ｋ×ｄｘ１／（２×ｄｘ１−ｋ）とする。
早送り再生（ｋ＞１）の場合、聞き取りやすくするために、振幅が小さい領域の切り取り間隔を大きく（早く進む）して、信号の小さい部分で切り取り間隔を小さく（１倍速に近づける）する。
１＜ｋ＜２の場合、
ｄｘ１＝０．５×ｋ＋０．５
ｄｘ２＝ｋ×ｄｘ１／（２×ｄｘ１−ｋ）
２＜ｋ＜３の場合、
ｄｘ１＝ｋ−０．５
ｄｘ２＝ｋ×ｄｘ１／（２×ｄｘ１−ｋ）
３＜ｋ＜４の場合、
ｄｘ１＝０．５×ｋ×０．５
ｄｘ２＝ｋ×ｄｘ１／（２×ｄｘ１−ｋ）
４＜ｋ＜５の場合、
ｄｘ２＝６として
ｄｘ１＝ｋ×ｄｘ２／（２×ｄｘ２−ｋ）とする。
【００３２】
図５に本発明の応用例が示されている。（ａ）に録再音源ソースを用いた例を、（ｂ）にリアルタイムのソースを処理した例が示されている。
【００３３】
（ａ）において、再生メディアは、図１に示すＣＤ−ＲＯＭドライブ、あるいは、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、半導体メモリ、磁気テープ等媒体を問わない。ここでは、書換え可能な音声ＲＡＭ１６に、マイク１５を使用し、あるいは図示せぬ外部入力端子を介して発話もしくは音楽等を取り込み、アンプ１３ならびにＡ／Ｄ変換回路１２を介して増幅ならびにＡ／Ｄ変換して記録し、このソースの可変速再生を行うものである。具体的には、メモリ制御マイコン３がディジタル化された音声信号を音声ＲＡＭ１６に記憶すると共に、設定スイッチ１０に応じた速度（Ｎ倍速）で読み出してＤＳＰ４に信号を送り出す。ＤＳＰ４は、音声信号の振幅に応じて、テーブル索引によって得られる倍速度（Ｍ倍速）の情報をメモリ制御マイコン３に送出要求と共に送り出し、その結果、メモリ制御マイコン３よりＭ倍速にてデータを受け取り、所定の再生速度変換処理を施して再生する。
【００３４】
上記応用は、英会話等、低速再生からはじめ、徐々に高速化して聞き取る練習に好適である。また、ＩＣレコーダの高速再生（講演会等における聞き返し等時間の節約）、留守電、カラオケ、ダンス練習等において、ゆっくり再生から徐々に高速再生することにより、効率の良い聞き取り、あるいは練習が可能になる。
【００３５】
（ｂ）においては、メモリ節約の目的で音声コーデックを用いた例である。ＣＯＤＥＣのＩＣ１７、１８は、音声信号をある時間軸の範囲で、フレーム単位で圧縮伸長を行う。図の例では、Ａ／Ｄ変換された信号をＣＯＤＥＣのＩＣ１７で１０００サンプリングを１フレームとして圧縮し、データ量を１／１０にしてメモリに記憶する。メモリ制御マイコン３は、フレーム単位でＦＩＦＯメモリ２に送出し、更に、ＣＯＤＥＣのＩＣ１８で元の音声に伸長し、ＤＳＰ４に送出する。
【００３６】
例えば、テレビ放送、ラジオ放送、携帯電話で聞き取りやすさを改善する目的で、音声部分をゆっくり再生する用途が考えられる。放送、通信している映像、音声データを、例えば、ＨＤＤで記録しながら再生時間を可変とし、調整しながら再生することが可能になる。また、記録より遅れた時点から再生する、いわゆるタイムシフト再生に利用することができる。映像メディアの場合は、放送時間を６０分とすれば、少し伸ばして７０分で再生することが可能である。このとき、音声の間の話間（無声部分）を延長する。また、携帯電話において、相手が早口で内容が聞き取れない場合に、メモリにデータを蓄積し、有声部分をゆっくり再生することができる。このとき、話の間を短縮する。テレビ放送の再生の場合、時間を節約する場合には、話の間を短縮し、放送時間を６０分とすれば、少し短縮して５０分で再生することが可能である。
【００３７】
上記のように、音声の様々なソースをリアルタイムに速度変換することで、テレビやラジオ放送の場合においてニュース番組、早口コメディの聞き取りにくさの改善がはかれ、また、本発明機能を補聴器に内蔵することで高齢者にとっても聞き取りが容易になる。
【００３８】
【発明の効果】
以上説明のように本発明によれば、音声情報源から読み出される音声情報をバッファに蓄積し、当該蓄積された音声情報を、あらかじめ設定された速度倍率で読み出し、再生速度変換処理を施して再生する音声情報再生装置において、バッファに蓄積された量に応じて読み出し要求を発し、設定された速度倍率に従いバッファから所定量の音声情報を読み出し、当該読み出された音声情報に所定の再生速度変換処理を施すことにより、音声の認識率の向上をはかった音声情報再生方法ならびに装置を提供することができる。また、本発明により、情報の欠落を減少させるとともにバッファメモリの容量削減をはかることが可能である。
【図面の簡単な説明】
【図１】本発明の一実施形態を示すブロック図である。
【図２】本発明実施形態の動作を説明するために引用した図であり、倍速再生時における窓関数の重ね合わせの様子を示した図である。
【図３】図１におけるＤＳＰの概略内部構成を示す図である。
【図４】本発明実施形態の動作を説明するために引用した図であり、外部から設定される倍速度情報に対する、有声部の倍速と無声部の倍速との関係を表として示した図である。
【図５】本発明の応用例を示すブロック図である。
【図６】従来の音声情報再生装置による再生速度変換の手順を示す図である。
【符号の説明】
１…ＣＤ−ＲＯＭドライブ、２…バッファメモリ、３…メモリ制御マイコン、４…ＤＳＰ、５…Ｄ／Ａ変換回路、６…システムマイコン、７…電子ボリューム、８…アンプ、９…スピーカ、１０…設定スイッチ、１１…表示器、４１…合成回路、４２…音声抽出回路、４３…内蔵メモリ、４４…演算制御部

Claims (3)

1. 音声情報源から読み出される音声情報をバッファに蓄積し、当該蓄積された音声情報をあらかじめ設定された速度倍率で読み出し、再生速度変換処理を施して再生する音声情報再生方法であって、
   前記音声情報の所定の部分を窓関数によって順次切り出し、それを接続して第１チャンネル用の再生速度変換出力信号とし、前記音声情報の前記所定の部分とは異なる所定の部分を窓関数によって順次切り出し、それを接続して第２のチャンネル用の再生速度変換出力信号とし、
   一方の再生速度変換出力信号の窓関数１つ分の信号の中央部が、
   他方の再生速度変換出力信号の窓関数２つ分の信号の各窓関数の中央部間に位置するように再生することを特徴とする音声情報再生方法。
2. 前記音声情報の所定部分と、該音声情報の前記所定部分とは異なる所定の部分とは、振幅により伸長圧縮率を可変とすることを特徴とする請求項１に記載の音声情報再生方法。
3. 音声情報源と、
   前記音声情報源から設定された速度倍率に従って読み出される所定量の音声情報が蓄積されるバッファと、
   前記バッファから読み出された音声情報の所定の部分を窓関数によって順次切り出し、それを接続して第一チャンネル用の再生速度変換出力信号とし、前記音声情報の前記所定の部分とは異なる所定の部分を窓関数によって順次切り出し、それを接続して第二のチャンネル用の再生速度変換出力信号とし、
   一方の再生速度変換出力信号の窓関数１つ分の信号の中央部が、
   他方の再生速度変換出力信号の窓関数２つ分の信号の各窓関数の中央部間に位置するように再生する信号処理手段とを備えることを特徴とする音声情報再生装置。

Images