JP4529859B2

JP4529859B2 - 音声再生装置

Info

Publication number: JP4529859B2
Application number: JP2005288312A
Authority: JP
Inventors: 浩幸武石
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2005-09-30
Filing date: 2005-09-30
Publication date: 2010-08-25
Anticipated expiration: 2025-09-30
Also published as: JP2007101644A

Description

本発明は、記録された音声情報を記録時間よりも短い再生時間で速く聞くことができる「早聞き」機能を備えた音声再生装置に関する。

会議などの音声やテレビ放送を録音・録画しておき、後で再生するように使われる装置が一般に知られている。また、このような装置に対して、通常の再生時間より短い時間で視聴したいという要望がある。

従来、アナログ記録機器においてもこのような早聞き機能を実現している機器もあったが、モータの回転数を上げるだけでは再生時に音程が高くなったり、著しく音声品質が劣化するなどの問題があり、ユーザの要求を満足する品質にはほど遠かった。

近年、ＨＤＤ（ハードディスク装置）やＤＶＤなどのデジタル記録機器においては、デジタル記録方式を採用しており、その利点として信号処理回路により音声品質が向上してきている。

詳しくは、図６に示すように、デジタル記録機器は、アナログ波形の音声信号を信号処理回路によりデジタルデータに変換してＬＰＣＭ（Liner Pulse Code Modulation）データを生成し、ＬＰＣＭデータを圧縮してからＨＤＤやＤＶＤなどの記録媒体に記録する。ここで、記録媒体にデジタル記録されている音声データを、通常再生する速度の２倍速で高速再生するには以下のような方法が採用されている。

（１）第１に、記録媒体にＬＰＣＭ方式で記録された音声データを、２倍速の再生速度で再生する場合、図７に示すように、音声データを２倍速の再生速度で出力すると、処理が単純化されるという利点を有している。
（２）第２に、記録媒体にＬＰＣＭ方式で記録された音声データを、１倍速の通常速度で再生する場合、図８に示すように、音声データを２つに１つの割合で間引いて出力すると、処理が単純化されるという利点を有している。
（３）第３に、圧縮された音声データを、１倍速の通常速度で再生する場合、図９に示すように、パケット化されたデータ列を２つに１つの割合で間引いて出力すると、音程が変わらない点や、処理が単純化されるという利点を有している。
特許第３０８１４６９号

しかしながら、上述した方法を採用した場合、
（１）第１の方法では、音程（ピッチ）が２倍になるという欠点があり、２倍速再生が可能なアナログ変換回路も構成上必要になるといった問題があった。
（２）第２の方法では、情報の欠落があるという欠点があった。
（３）第３の方法では、情報の一部に欠落があるという欠点があった。

そこで、早き聞き再生している音声の劣化を最小限に抑えて聞き取り易さを向上することができる技術が切望されている。

本発明は、上記に鑑みてなされたもので、その目的としては、音声データを原音声よりも早い速度で再生する場合に、音声の劣化を最小限に抑え、聞き取り易さを向上することができる音声再生装置を提供することにある。

請求項１記載の発明は、上記課題を解決するため、入力される原音声データに対して再生速度が所定の再生倍率となるように、話速変換された音声データを生成する音声処理装置であって、前記再生倍率を設定する設定手段と、入力される圧縮データをパケット単位で削除する第１の間引き手段と、前記第１の間引き手段から出力される圧縮データを音声データに解凍する圧縮データ解凍手段と、前記圧縮データ解凍手段から出力される音声データに対して有音／無音の判断を行い無音区間の音声データを削除して有音区間の音声データを出力する無音区間削除手段と、前記無音区間削除手段から出力される音声データのピッチ周期を抽出するピッチ抽出手段と、前記ピッチ抽出手段により抽出されたピッチ周期の単位で音声データを所定の割合で間引きして残った音声データを出力する第２の間引き手段と、前記第２の間引き手段から出力される間引後に残った音声データを合成して出力する合成手段と、前記再生倍率が１〜１．５の範囲内で設定された場合に、前記無音区間削除手段が無音区間を少なくとも１５０ｍｓｅｃだけ残して無音区間の削除するように制御し、かつ、前記第２の間引き手段が１／２０の割合で間引いた後、残りの音声データと設定再生時間とを比較し、音声データの再生が設定再生時間以内で終了するように有音区間において更に話速変換処理によりデータを間引くように制御し、前記再生倍率が１．５〜２の範囲内で設定された場合に、前記無音区間削除手段が無音区間を少なくとも１００ｍｓｅｃだけ残して無音区間の削除するように制御し、かつ、前記第２の間引き手段が残りの音声データと設定再生時間とを比較し、音声データの再生が設定再生時間以内で終了するように有音区間において更に話速変換処理によりデータを間引くように制御し、前記再生倍率αが２より大きく設定された場合に、前記第１の間引き手段が（再生倍率−２）個に１の割合で圧縮データのパケットを削除するように制御し、前記無音区間削除手段が無音区間を削除するように制御し、かつ、第２の間引き手段が残りの音声データと設定再生データとを比較し、音声データの再生が設定再生時間以内で終了するように制御する制御手段を備えたことを要旨とする。

請求項１記載の本発明によれば、再生倍率が１〜１．５の範囲内で設定された場合に、無音区間を少なくとも１５０ｍｓｅｃだけ残して無音区間の削除するように制御し、かつ、１／２０の割合で間引いた後、残りの音声データと設定再生時間とを比較し、音声データの再生が設定再生時間以内で終了するように有音区間において更に話速変換処理によりデータを間引くように制御し、再生倍率が１．５〜２の範囲内で設定された場合に、無音区間を少なくとも１００ｍｓｅｃだけ残して無音区間の削除するように制御し、かつ、残りの音声データと設定再生時間とを比較し、音声データの再生が設定再生時間以内で終了するように有音区間において更に話速変換処理によりデータを間引くように制御し、再生倍率が２〜３の範囲内で設定された場合に、再生時間の２倍のデータ量になるようαケにつき（α−２）ケの割合で圧縮データを削除するように制御し、無音区間を削除するように制御し、かつ、残りの音声データと再生データとを比較し、音声データの再生が設定再生時間以内で終了するように制御することで、音声データを原音声よりも早い速度で再生する場合に、音声の劣化を最小限に抑え、聞き取り易さを向上することができる。

以下、本発明の実施の形態を図面を参照して説明する。

図１は、本発明の一実施の形態に係る音声処理装置に適用可能な映像・音声処理装置１１の構成を示すブロック図である。なお、図１に示す映像・音声処理装置１１はハードディスク（ＨＤＤ）／ＤＶＤレコーダ装置の構成の一部を示している。

Ａ／Ｖエンコーダ部１５は、外部入力端子１９から入力される映像、及び音声データを圧縮し、圧縮されたトランスポートストリーム（ＴＳ）情報をＡ／Ｖデコーダ部１７、又はストレージ部２３へ出力する。

ストレージ部２３は、デジタル系の映像、及び音声の圧縮データ保存可能なハードディスクドライブ（ＨＤＤ）で構成されており、Ａ／Ｖエンコーダ部１５からの圧縮状態のトランスポートストリーム（ＴＳ）情報を一時保存し、またはＡ／Ｖデコーダ部１７へ出力する。

Ａ／Ｖデコーダ部１７は、Ａ／Ｖエンコード部１５又はストレージ部２３から入力した映像と音声とが重畳されたトランスポートストリーム（ＴＳ）情報からそれぞれ映像データと音声データを分離し、分離された圧縮状態の映像データと音声データを再生可能な映像データと音声データに伸張し、映像データは画像表示回路（図示しない）へ出力し、音声データは音声処理部３１に出力する。

制御部２７は、記憶されているプログラムを実行するマイクロプロセッサを有しており、図示しないリモコンやユーザ入力端子２９や本体に設けられたキー等などを介してユーザ操作に応じた所望の機能内容を入力し、この所望の機能を実現するために各部に指令を出力して制御する。

音声処理部３１は、データ間引き部３３、圧縮データ解凍部３５、無音区間削除部３７、メモリ部３９、ピッチ抽出部４３と間引き部４５と合成部４７とからなる話速変換部４１、メモリ部４９、Ｄ／Ａ変換器５１、音声処理制御部５３とから構成されている。

データ間引き部３３は、圧縮データを削除して間引き処理を行い、間引く割合に応じて再生時間も短縮することができる。

圧縮データ解凍部３５は、入力されるデータがＡＡＣ（Advanced Audio Coding ）やＡＣ３（Audio Code number 3 ）など圧縮データの場合はＬＰＣＭデータへ解凍し、入力されるデータがＬＰＣＭ方式の場合には解凍動作は行わずにそのままＬＰＣＭデータを出力する。

無音区間削除部３７は、入力される音声データに対して有音／無音などの判断を行い、無音もしくは不要な部分と判定された部分はその区間を削除し、有音区間の音声データをメモリ部３９に記憶し、メモリ部３９に記憶されている音声データを古い順に読み出す。メモリ部３９は、無音区間削除部３７から出力される残された有効な音声データを記録・保持する。

話速変換部４１は、音声データのピッチ（基本周波数）の検出を行い、所望の話速を得るために、間引き処理、合成処理を行う。すなわち、ピッチ抽出部４３は、音声データのピッチ周期(声帯振動の基本周期)を逐次抽出する。間引き部４５は、抽出されたピッチ周期の単位で音声データを１／ｎの割合で間引き処理を行う。合成部４７は、間引きされた音声区間の基本周期の単位で音声データを合成する合成処理などを実行する。メモリ部４９は、間引き処理を行う間の音声データを記録・保持する。

Ｄ／Ａ変換器５１は、話速変換部４１から出力されるデジタル系の音声データをアナログ系の音声信号に変換する。

音声処理制御部５３は、記憶されているプログラムを実行するマイクロプロセッサを有しており、図示しないリモコンやユーザ入力端子２９や本体に設けられたキー等などを介してユーザ操作に応じた所望の機能内容を入力し、この所望の機能を実現するために各部に指令を出力して制御する。

次に、図３〜図５に示す各処理の概容を表す模式図を参照して、図２に示すフローチャートに従って映像・音声処理装置１１の動作を説明する。なお、本フローチャートはプログラムとして音声処理制御部５３に記憶されている。

まず、ステップＳ１０では、音声処理制御部５３は、制御部２７を介して図示しないリモコンや操作パネルから入力される操作指令として、「早聞き」キーがＯＮされたか否かを判断し、「早聞き」キーがＯＮされるまでこの判断処理を繰り返す。

「早聞き」キーがＯＮされた場合、ステップＳ２０に進み、音声処理制御部５３は、制御部２７を介して図示しないリモコンや操作パネルから入力される再生倍率αを音声処理制御部５３の内部メモリに一旦記憶し、ステップＳ３０に進む。なお、再生倍率αの入力がない場合には前回入力されたときの保存値を再生倍率αとして再度使用してもよい。

次いで、ステップＳ３０では、音声処理制御部５３は、制御部２７を介してＡ／Ｖデコーダ部１７から出力される情報に音声データがＬＰＣＭ方式のフォーマットを有していることを表す記録状態情報があるか否かを判断し、音声データがＬＰＣＭ方式の場合にはメモリ部３９に音声データを記憶しステップＳ７０に進む一方、音声データがＬＰＣＭ方式ではない場合にはステップＳ４０に進む。

ここで、ステップＳ４０では、音声処理制御部５３は現在内部メモリに設定されている再生倍率αがα≦２かどうかを判断する。

再生倍率αがα＞２（ＮＯの場合）となる場合には、ステップＳ５０に進み、音声処理制御部５３はデータ間引き部３３を制御し、入力されるパケットデータ単位でデータ量が再生時間の２倍になるようにαケにつき（α−２）ケの割合でパケットデータを削除させ、ステップＳ６０に進む。

一方、再生倍率αがα≦２（ＹＥＳの場合）となる場合には、ステップＳ６０に進み、音声処理制御部５３は圧縮データ解凍部３５を制御し、入力されるデータがＡＡＣやＡＣ３など圧縮データの場合にはＬＰＣＭデータへ解凍させ、メモリ部３９に音声データを記憶する。

次いで、ステップＳ７０では、音声処理制御部５３は無音区間削除部３７を制御し、無音区間削除部３７に入力される音声データが有音か無音かを判定し、無音区間がある場合には、無音区間のデータ番号を付加した無音番号ラベルを出力する。例えば、図３に示すように、入力されるデジタルデータの中で１３〜２０番までのデータが無音区間となる。

次いで、ステップＳ８０では、音声処理制御部５３は設定された再生倍率αが以下のように分割された範囲のどこにあるかを比較する。

（１＜α≦１．５の場合）
ここで、図４に示す模式図を参照して、再生倍率αが１＜α≦１．５の場合の処理について説明する。なお、記録されている音声データの通常の再生時間が６０分とし、このうち４０分までの視聴時間を想定して以下の処理を行うこととする。

ステップＳ８０において、音声処理制御部５３は設定された再生倍率αの範囲が、１＜α≦１．５が成立する場合には、ステップＳ９０に進む。

次いで、ステップＳ９０では、無音区間削除部３７は、メモリ部３９に記憶されたＬＰＣＭデータに対して、文間休止部分として少なくとも１５０msecの無音区間を残し、他の余分な無音区間として無音番号ラベル（１３〜２０番）が付加されたＬＰＣＭデータを削除し、話速変換部４１に出力する。

なお、文間休止部分とは、一定時間以上の無音区間のことをいい、発話の間の息継ぎや"ま"などがこれに相当する。また、一般的なテレビ放送では音声データの２０〜３０％が無音区間であり、会議などでは音声データの５０％程度が無音区間となる。

次いで、ステップＳ１３０では、制御部２７は音声処理制御部５３を介して話速変換部４１に対して、有音区間の伸張率βを０．９５と設定する。次いで、ステップＳ１４０では、音声データ（０〜３２番のうち１番と２９番および１３〜２０番が削除された音声データ）と再生時間（４０分）とを比較し、再生時間に適するように有音区間において話速変換処理によりデータを間引き、再生時間を短縮する。

すなわち、無音区間削除部３７から出力された音声データは話速変換部４１に設けられたメモリ部４９に記憶される。次いで、ピッチ抽出部４３では、メモリ部４９に記憶されている音声データのピッチ周期を逐次抽出し、間引き部４５では、抽出されたピッチ周期の単位で音声データを１／２０の割合で間引き処理を行う。この結果、図４に示すようにデータ（１，２９番）が間引かれ、間引かれていない音声データが合成部４７に設けられた図示しない出力バッファに出力される。さらに、合成部４７では出力バッファから読み出した音声データを音声区間の基本周期の単位で合成してＤ／Ａ変換器５１に出力する。Ｄ／Ａ変換器５１では、図４に示す再生波形のように、話速変換部４１から出力されるデジタル系の音声データをアナログ系の音声信号に変換する。

なお、伸張率βとは、実際に記録されている原音声データに対して話速変換処理を用いて時間軸上でのデータの短縮・伸張を行うときの原音声データと処理後の音声データとの比率をいう。この例で示す伸張率βが０．９５とは、１/２０の割合で音声データを間引き、時間短縮することを意味する。一般に、伸張率βが０．９５〜１．０５では、人は音声の発話速度の変化に気が付かない。

次いで、ステップＳ１５０では、音声処理制御部５３は制御部２７を介して図示しないリモコンや操作パネルから入力される操作指令として、「停止」キーがＯＮされたか否かを判断し、「停止」キーがＯＮされていない場合には、ステップＳ３０に戻りステップＳ３０〜Ｓ１５０の処理を繰り返す。一方、「停止」キーがＯＮされた場合には、処理を終了する。

このように、再生倍率αが１＜α≦１．５の範囲内にある場合、図４に示すように、音声処理以前の原音声データと比べて伸張率βが０．９５であるので、音声区間の発話速度の変化はほとんどなく、有音区間では標準再生時に近い聴取が可能となる。特に、従来の技術では音声内容は理解できるが、早口になり聞き取り辛いのに対して、本実施の形態によれば、非常に聞き取り易いという利点を有している。

（１．５＜α≦２の場合）
また、ステップＳ８０において、音声処理制御部５３は設定された再生倍率αの範囲が、１．５＜α≦２が成立する場合には、ステップＳ１００に進む。なお、記録されている音声データの通常の再生時間が６０分とし、このうち３０分までの視聴時間を想定して以下の処理を行うこととする。

次いで、ステップＳ１００では、無音区間削除部３７は、メモリ部３９に記憶されたＬＰＣＭデータに対して、文間休止部分として少なくとも１００msecの無音区間を残し、他の余分な無音区間として無音番号ラベル（１３〜２０番）が付加されたＬＰＣＭデータを削除し、話速変換部４１に出力する。

すなわち、無音区間削除部３７から出力された音声データは話速変換部４１に設けられたメモリ部４９に記憶される。次いで、ピッチ抽出部４３では、メモリ部４９に記憶されている音声データのピッチ周期を逐次抽出し、間引き部４５では、音声データと設定再生時間を比較し、音声データの再生が設定再生時間以内で終了するように有音区間において話速変換処理によりデータを間引き、再生時間を短縮する。この結果、データが間引かれ、間引かれていない音声データが合成部４７に設けられた図示しない出力バッファに出力される。さらに、合成部４７では出力バッファから読み出した音声データを音声区間の基本周期の単位で合成してＤ／Ａ変換器５１に出力する。Ｄ／Ａ変換器５１では、話速変換部４１から出力されるデジタル系の音声データをアナログ系の音声信号に変換する。

このように、再生倍率αが１．５＜α≦２の範囲内にある場合、音声処理以前の原音声と比べて早口のような音声になるが、聞き取りに耐えうる品質を保っている。特に、従来の技術では音声ガイドとして補助的な役割に留まり、早聞きには適さないのに対して、本実施の形態によれば、早聞きに適しているという利点を有している。

（２＜αの場合）
図５に示す模式図を参照して、再生倍率αが２＜αの場合の処理について説明する。なお、図５では、再生倍率α＝３について示している。

ステップＳ５０では、音声処理制御部５３は例えば記録データが圧縮された音源データの場合は、図５に示すように、データ間引き部３３でパケットに対して３ヶにつき (３−２)ヶ、すなわち、１／３の割合となる一定間隔でパケットの間引きを行う。この結果、データ間引き部３３からパケット（０−２），（０−５）が間引かれたパケットが圧縮データ解凍部３５に入力される。

ステップＳ８０において、音声処理制御部５３は設定された再生倍率αの範囲が、２＜αが成立する場合には、ステップＳ１１０に進む。

次いで、ステップＳ１１０では、無音区間削除部３７は、メモリ部３９に記憶されたＬＰＣＭデータに対して、無音区間として無音番号ラベル（１５〜２０番）が付加されたＬＰＣＭデータを削除し、話速変換部４１に出力する。

次いで、ステップＳ１４０では、音声データ（０〜３４番のうち１０〜２０番および２５〜２９番が削除された音声データ）と設定再生時間（２０分）とを比較し、音声データの再生が設定再生時間以内で終了するように有音区間において話速変換処理によりデータを間引き、再生時間を短縮する。

すなわち、無音区間削除部３７から出力された音声データは話速変換部４１に設けられたメモリ部４９に記憶される。次いで、ピッチ抽出部４３では、メモリ部４９に記憶されている音声データのピッチ周期を逐次抽出し、間引き部４５では、音声データと設定再生時間を比較し、音声データの再生が設定再生時間以内で終了するように有音区間において話速変換処理によりデータを間引き、再生時間を短縮する。この結果、図５に示すようにデータ（２，６，９，２３，３１番）が間引かれ、間引かれていない音声データが合成部４７に設けられた図示しない出力バッファに出力される。さらに、合成部４７では出力バッファから読み出した音声データを音声区間の基本周期の単位で合成してＤ／Ａ変換器５１に出力する。Ｄ／Ａ変換器５１では、図５に示す再生波形のように、話速変換部４１から出力されるデジタル系の音声データをアナログ系の音声信号に変換する。

このように、再生倍率αが２より大きい場合、２＜α≦３の範囲内にある場合、図５に示すように、音声処理以前の原音声と比べて早口で情報の欠落も生じるが、内容は理解できる。特に、従来の技術では聞き取ることが困難であったのに対して、本実施の形態によれば、聞き取り可能であり困難さを与えないという利点を有している。

また、再生倍率αが３＜α≦４の範囲内にある場合、音声処理以前の原音声と比べて早口で情報の欠落も生じるが、音声ガイドとして補助機能となる。特に、従来の技術では聞き取り不可能であったのに対して、本実施の形態によれば、聞き取り可能であるという利点を有している。

さらに、４＜αでは、音声が著しく劣化するが、音声ガイドとして役立つ可能性がある。特に、従来の技術では聞き取り不可能なうえノイズとして聞こえ煩わしいものであったのに対し、本実施の形態によれば、製品や機種の用途によりその目的を果たすという利点を有している。

以上のように、発話速度を時間軸上で変更する「話速変換技術」と、「データの間引き」を併用し、かつ、再生倍率αにより各々の処理パラメータを変更することにより、音声の聞き取り易さを向上することができる。

本発明の一実施の形態に係る音声処理装置に適用可能な映像・音声処理装置１１の構成を示すブロック図である。映像・音声処理装置１１の動作を説明するためのフローチャートである。無音区間がある音声波形とその音声データとを示す模式図である。再生倍率αが１＜α≦１．５の場合の音声データと再生波形の模式図である。再生倍率αが２＜α≦３の場合の音声データと再生波形の模式図である。音声波形と音声データとの模式図である。ＬＰＣＭデータを２倍速再生したときの音声データと再生波形の模式図である。ＬＰＣＭデータを１／２間引いてから１倍速再生したときの音声データと再生波形の模式図である。圧縮された音声データをパケット単位で１／２間引いてから１倍速再生したときの音声データと再生波形の模式図である。

符号の説明

１１映像・音声処理装置
１５Ａ／Ｖエンコーダ部
１７Ａ／Ｖデコーダ部
２３ストレージ部
２７制御部
３１音声処理回路
３３データ間引き部
３５圧縮データ解凍部
３７無音区間削除部
３９メモリ部
４１話速変換部
４３ピッチ抽出部
４５間引き部
４７合成部
４９メモリ部
５１Ｄ／Ａ変換器
５３音声処理制御部（制御手段）

Claims

入力される原音声データに対して再生速度が所定の再生倍率となるように、話速変換された音声データを生成する音声処理装置であって、
前記再生倍率を設定する設定手段と、
入力される圧縮データをパケット単位で削除する第１の間引き手段と、
前記第１の間引き手段から出力される圧縮データを音声データに解凍する圧縮データ解凍手段と、
前記圧縮データ解凍手段から出力される音声データに対して有音／無音の判断を行い無音区間の音声データを削除して有音区間の音声データを出力する無音区間削除手段と、
前記無音区間削除手段から出力される音声データのピッチ周期を抽出するピッチ抽出手段と、
前記ピッチ抽出手段により抽出されたピッチ周期の単位で音声データを所定の割合で間引きして残った音声データを出力する第２の間引き手段と、
前記第２の間引き手段から出力される間引後に残った音声データを合成して出力する合成手段と、
前記再生倍率が１〜１．５の範囲内で設定された場合に、前記無音区間削除手段が無音区間を少なくとも１５０ｍｓｅｃだけ残して無音区間の削除するように制御し、かつ、前記第２の間引き手段が１／２０の割合で間引いた後、残りの音声データと設定再生時間とを比較し、音声データの再生が設定再生時間以内で終了するように有音区間において更に話速変換処理によりデータを間引くように制御し、
前記再生倍率が１．５〜２の範囲内で設定された場合に、前記無音区間削除手段が無音区間を少なくとも１００ｍｓｅｃだけ残して無音区間の削除するように制御し、かつ、前記第２の間引き手段が残りの音声データと設定再生時間とを比較し、音声データの再生が設定再生時間以内で終了するように有音区間において
更に話速変換処理によりデータを間引くように制御し、
再生倍率が２より大きい範囲で設定された場合に、前記第１の間引き手段が（再生倍率−２）個に１の割合で圧縮データのパケットを削除するように制御し、前記無音区間削除手段が無音区間を削除するように制御し、
かつ、第２の間引き手段が残りの音声データと設定再生時間とを比較し、音声データの再生が設定再生時間以内で終了するように有音区間において更に話速変換処理によりデータを一定周期かつ均等に間引くように制御する制御手段を備えたことを特徴とする音声処理装置。