JPH0772896A - 音声の圧縮伸長装置 - Google Patents

Abstract

(57)【要約】 【目的】 入力信号の呼気の切れ目によって生じるひと
まとまりの音声区間となる呼気段落内の音節数を検出す
ることで話者の発声速度を検出し、発声速度に応じて圧
縮伸長率を調整し、非音声区間となるポーズの時間長を
制御し、音質劣化を防止すると共に操作性の向上を図
る。 【構成】 入力される音声信号に基づいて発声速度を検
出する発声速度検出手段２と、該発声速度検出手段２か
らの発声速度データに基づいて入力される音声信号の圧
縮伸長率を調節する圧縮伸長率調節手段４と、前記発声
速度検出手段２からの発声速度データに基づいて入力さ
れる音声信号の非音声区間の時間長を調節する非音声区
間制御手段３と、前記圧縮伸長率調整手段４からの圧縮
伸長率データに基づいて前記音声信号を圧縮伸長する圧
縮伸長手段５とからなり、前記発声速度検出手段２は前
記音声信号の呼気の切れ目によって生じる呼気段落内の
音声の音節数により発声速度を算出するものである。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は音声信号の時間軸変換を
行う時間軸圧縮伸長装置に係るもので、例えばビジネス
テープレコーダ、留守番電話、あるいはビデオテープレ
コーダ等の音声の早聞き及び遅聞き用途、又は聴覚障害
のある人に放送される音声信号をゆっくりとした聞きや
すい音声信号に変換する聴覚補助用途に利用するものに
関するものである。

【０００２】

【従来の技術】従来から例えばアナログ信号処理回路を
用いて音声信号の時間軸圧縮伸長を行う方式が提案され
ている。

【０００３】この方式は音声信号波形から単純な波形の
間引きを行ったり、またはこの単純波形を繰り返し挿入
したりしていたので、音声の繋ぎ目が不連続になり、再
生された音声の音質が悪くなるという問題点があった。

【０００４】そこで上述のアナログ信号処理回路に代わ
って、近年デジタル信号処理により音声信号の時間軸圧
縮伸長を行う方式が提案され始め、デジタル信号処理に
より入力音声信号のピッチ周期を検出し、そのピッチ部
の間引きあるいは挿入によって圧縮伸長を実現してい
る。

【０００５】しかしながら斯かる方式において入力され
る音声信号は予め設定された圧縮伸長率で全区間に亙り
一律な圧縮伸長が行われるため、非音声区間となるポー
ズの時間長や入力される音声の発声速度により、再生音
声の音質の劣化が生じる惧れがあった。

【０００６】

【発明が解決しようとする課題】上述のように従来の全
区間に於て一律に圧縮伸長を行う音声の圧縮伸長方式で
は入力される音声の発声速度や非音声区間となるポーズ
の時間長によって問題点が生じる。

【０００７】即ち話者が発生する音声の発声速度は人に
よって夫々異なっており、例えば２５０語／分と遅い人
がいれば、５６０語／分と早い人もいる。特に通常の会
話音声では同一話者であっても発声速度の早い部分と遅
い部分とがある。そして会話音声においては文章間や音
声の旋律のまとまりとなるフレーズ間に非音声区間とな
るポーズがあり、話者の喋り方や感情等により変化す
る。

【０００８】このように発声速度が違う人の音声や音声
区間と非音声区間のポーズを一律の圧縮伸長率で時間軸
圧縮伸長を行った場合、早聞き、遅聞き時に以下に示す
ような再生音声の音質劣化が生じる。

【０００９】＜早聞き時＞発声速度が早い人では圧縮率
を上げて早聞き速度を上げた場合の再生音声では、早過
ぎて内容把握ができなくなり、再度早聞き速度を落とし
て聞かなければならない。

【００１０】特に発声速度が早い部分でのポーズの時間
長が長く存在する場合、音声区間の早聞きは不明瞭にな
ると共に、ポーズの部分は音声区間と同一の圧縮率で再
生されるため、早聞きの主目的である時間短縮を行う面
からも好ましく無い。

【００１１】これに対して発声速度が遅い部分は、早聞
き速度を上げての再生での処理音声でも内容把握がで
き、音質劣化は少ない。

【００１２】＜遅聞き時＞発声速度が遅い人では、伸長
率を大きく、遅聞き速度を下げる場合の再生音声では、
テンポが一定となり、間が抜けた音声となって会話音声
としての自然性が劣化する。

【００１３】遅聞きの場合、非音声区間のポーズを音声
区間より大幅に延長した方が音質劣化が防止できる。従
来法の一律の圧縮伸長率による時間軸圧縮伸長装置で
は、上記問題点を解決するための手段として、ユーザが
入力される音声の発声速度に応じて圧縮伸長率を微妙に
調整しなければならないので、操作性が著しく悪くな
る。

【００１４】このように一律の圧縮伸長率による時間軸
圧縮伸長方式では上記の問題を解決するためにユーザが
入力される音声の発声速度に応じて圧縮伸長率を微妙に
調整しなければならないため操作性が著しく悪くなって
いた。

【００１５】また発声速度の違う複数の話者が交互に発
言する会議の会議録を作成するための用途において、圧
縮率を発声速度が遅い人に調整した早聞きでは、発声速
度の速い人に調整した場合は早聞きの主目的である時間
短縮ができなくなる。これはポーズの長さが人によって
変化する場合にも当てはまる問題点である。

【００１６】このように従来方式の一律の圧縮伸長率に
よる時間軸圧縮伸長装置では上記の欠点のために発声速
度に応じて再生音声を聞きながら微妙に再生速度を調整
しなければならない問題点があった。従って操作性は著
しく悪いものであった。もちろん上記の欠点は一人の話
者でも発声速度が変化する場合にも同様に生じる。

【００１７】そこで本発明は斯かる問題点を解決するた
めに入力信号の呼気の切れ目によって生じるひとまとま
りの音声区間となる呼気段落内の音節数を検出すること
で話者の発声速度を検出し、発声速度に応じて圧縮伸長
率を調整し、非音声区間となるポーズの時間長を制御
し、音質劣化を防止すると共に操作性の向上を図ること
を目的とするものである。

【００１８】なお、話者の発声速度の速い、遅いを知覚
するに当たっては聴覚機能の正常な健聴者ではほぼ同一
の傾向を示す。しかし、内耳の障害による聴覚機能の劣
化した難聴者は、聴覚能力に応じて知覚できる入力音声
信号の発声速度が違っており、各難聴者に適した早聞
き、遅聞きの再生速度が必要となる。

【００１９】

【課題を解決するための手段】本発明は、入力される音
声信号に基づいて発声速度を検出する発声速度検出手段
と、該発声速度検出手段からの発声速度データに基づい
て入力される音声信号の圧縮伸長率を調節する圧縮伸長
率調節手段と、前記発声速度検出手段からの発声速度デ
ータに基づいて入力される音声信号の非音声区間の時間
長を調節する非音声区間制御手段と、前記圧縮伸長率調
整手段からの圧縮伸長率データに基づいて前記音声信号
を圧縮伸長する圧縮伸長手段とからなり、前記発声速度
検出手段は前記音声信号の呼気の切れ目によって生じる
呼気段落内の音声の音節数により発声速度を算出するも
のである。

【００２０】

【作用】上記構成において、入力される音声信号の呼気
の切れ目によって生じるひとまとまりの音声区間となる
呼気段落内の音節値を検出することで入力音声の発声速
度を検出し、検出された発声速度を基に非音声区間とな
るポーズの時間長と設定された圧縮伸長率に対して圧縮
伸長率を調整することで最適な再生速度が得られるよう
に音質の劣化防止や操作性の向上が図れる。

【００２１】これにより入力音声の全区間を一律の圧縮
率で圧縮する場合に比べ、早聞き時には入力音声信号の
発声速度が速い場合は、非音声区間となるポーズの削除
を多く行い、削除分に対応した時間長分だけ音声区間の
伸長を行うことが可能となり、早過ぎて把握できなかっ
た音声区間の明瞭度が改善できる。

【００２２】また遅聞き時には入力音声信号の発声速度
が遅い場合、非音声区間となるポーズの挿入を多く行
い、音声区間の伸長を必要最低限にすることで、間が抜
けた音声となることが防止できる。

【００２３】以上のように行うことで最適な再生速度が
得られるように音質の劣化防止や操作性の向上を図るこ
とができる。

【００２４】難聴者に対しては、予め各難聴者に試聴実
験を行い、知覚できる発声速度を分析学習したデータを
メモリ等に記録し、このメモリのデータと入力音声信号
の発声速度を検出したデータとを比較し、この比較結果
を元に非音声区間となるポーズの時間長と音声信号の圧
縮伸長率を制御し、各難聴者に対して知覚できる最適な
再生速度に変換することができる。

【００２５】

【実施例】以下本発明の音声の圧縮伸長装置をＩＣメモ
リに音声を記録し、再生時に早聞き／遅聞き処理を行う
ＩＣレコーダに適用した一実施例について図面に基づき
詳細に説明する。

【００２６】［全体構成］図１は斯かるＩＣレコーダの
構成を示すブロック図であり、１はＩＣメモリ、２は発
声速度検出手段、３は非音声区間制御手段、４は圧縮伸
長率調整手段、５はピッチ伸長圧縮手段であり、２〜５
は一つのＤＳＰ(Digital Signal Processer)６により構
成されている。 また１１はＤ／Ａ変換器、１０はスピ
ーカ、９はＡ／Ｄ変換器、８はマイクロフォン、７は発
声速度の分析データを格納したメモリである。

【００２７】前記発声速度検出手段２による発声速度検
出方法は、入力される音声信号の呼気の切れ目によって
生じるひとまとまりの音声区間となる呼気段落内の音節
数を求める方法である。

【００２８】［発声速度の検出方法］そこで以下図２
（ａ）、（ｂ）を用いてこの呼気段落内の音節数を求め
る方法について説明する。ここで呼気段落の時間は入力
信号の無音区間が３００ｍｓ以上継続した場合を呼気の
切れ目によって生じるひとまとまりの音声区間である呼
気段落とした。

【００２９】呼気段落内の音節数を求める手法は、簡易
的に入力音声信号のエンベロープ波形（図２（ｂ）参
照）におけるピーク位置を求めてピーク数を検出し、そ
の個数を音節数としたものである。そして実際にはまず
音声のエンベロープ波形にスムージング処理を施し、そ
の後ピーク検出を行い、そのピーク数を計測して求め
た。

【００３０】発声速度は、前記検出した呼気段落の時間
（図２（ａ）参照）と音節数を用いて、該音節数を呼気
段落の時間で割り算した単位時間当りの音節数にて定義
した。

【００３１】［圧縮伸長率の調整］前記発声速度検出手
段２は、上述の方法により求められた発声速度となる単
位時間当りの音節数に基づいて、非音声区間となるポー
ズの時間長を制御するように非音声区間制御手段３と圧
縮伸長率を変更するように圧縮伸長率調整手段４に制御
信号を送る。

【００３２】本実施例では早聞き処理としては２倍速再
生、遅聞き処理としては０．５倍速再生の２モードを用
いた。

【００３３】また発声速度検出手段２で発声速度となる
単位時間当りの音節数により、圧縮伸長率の決定は以下
に説明する方法を用いた。

【００３４】即ち、早聞き２倍速再生では評価サンプル
音声での試聴実験より、単位時間当りの音節数が８音節
数／秒の場合を境界として８音節数／秒より大きく、発
声速度が早い入力音声信号の場合のみ、非音声区間とな
るポーズの時間長を削除し、この削除した分だけ圧縮伸
長率調節手段４により音声区間の伸長を行った。

【００３５】評価サンプル音声では非音声区間となるポ
ーズが１００ｍｓ以上連続した場合、ポーズの削除を行
い、削除後の処理音声では１００ｍｓとした。１１音節
／秒の発声速度となる７秒間の文章の音声で、音声区間
の長さが４秒で非音声区間となるポーズの時間長となる
長さが３秒となる評価サンプルを、２倍速再生し、試聴
実験を行った。

【００３６】その結果全区間一律の圧縮率で間引きした
処理音声では音声区間のトータルは２秒となるが、本実
施例では非音声区間となるポーズの時間長を１．８秒削
除した時間長分だけ音声区間を伸長するため、トータル
の音声区間は３．８秒となり、音声の劣化が防止でき
た。

【００３７】一方発声速度が８音節／秒未満となる評価
サンプル音声では２倍速再生での音質劣化は得に無かっ
たので全区間一律の圧縮率で処理を行った。

【００３８】一方遅聞き０．５倍速再生では評価サンプ
ル音声での試聴実験より、単位時間当りの音節数が８音
節数／秒の音声を境界として８音節数／秒より小さく、
発声速度が遅い入力信号の場合のみ非音声区間となるポ
ーズの時間長の伸長を行い、挿入したポーズの時間長分
だけ圧縮伸長率調整手段４により音声区間の省略を行っ
た。

【００３９】評価サンプル音声では非音声区間となるポ
ーズが１００ｍｓ以上連続した箇所にポーズの挿入を行
った。ポーズの挿入は検出したポーズをメモリ７に記憶
しておき、このメモリ区間を繰り返して挿入する方法を
用いた。

【００４０】６音節数／秒の発声速度となる７秒間の文
章の音声で、音声区間の長さが５秒で、非音声区間とな
るポーズの時間長となる長さが２秒の評価サンプルを
０．５倍速再生して試聴実験を行った。この結果全区間
一律の伸長率で挿入した処理音声では音声区間のトータ
ルは１０秒となるが、本実施例では非音声区間となるポ
ーズの時間長を４．５秒挿入した時間長分だけ音声区間
を省略するため、トータルの音声区間は７．５秒とな
り、音質の劣化が防止できた。

【００４１】一方発声速度が８音節数／秒以上となる評
価サンプル音声では０．５倍速再生での音質劣化は特に
無かったので全区間一律の伸長率で処理を行った。

【００４２】なお、早聞き及び聞き時の非音声区間とな
るポーズの時間長の制御による音声区間への圧縮伸長率
の調整は、非音声区間制御手段３から制御したポーズの
時間長をデータとして圧縮伸長率調整手段４に送り、こ
の圧縮伸長率調整手段４の内部で時間長の制御に応じた
圧縮伸長率を調整する機能により実現した。

【００４３】前記圧縮伸長率調整手段４は、前記発声速
度検出手段２からの制御信号によりピッチ伸長圧縮手段
４に圧縮時の間引き率と、伸長時の挿入率とを制御信号
として送る。

【００４４】前記圧縮伸長率調整手段４では、発声速度
検出手段２と非音声区間制御手段３の制御信号により、
ピッチ伸長圧縮手段５に圧縮時の間引き率と伸長時の挿
入率を制御信号として送る。

【００４５】非音声区間制御手段３での非音声区間の検
出方法は簡易手法となる方法を用い、具体的には入力音
声信号の２００サンプルでのパワー値を計算し、設定し
た閾値以下を非音声区間と判定した。

【００４６】なお、聴覚機能の正常な健聴者に発声速度
の境界を８音節数／秒と決定し処理を行った。聴覚機能
が劣化した難聴者には、予めテスト信号により知覚でき
る発声速度の限界地を分析により検出しておき、専用メ
モリとしてメモリ７に記憶させておく。そしてこのメモ
リ７の値と入力音声信号の発声速度とを比較し、この比
較結果を基に上述の健聴者の場合と同様な処理を行う。

【００４７】またピッチ伸長圧縮手段５は、音声のピッ
チ部を抽出し、前記圧縮伸長率調整手段４からの制御信
号応じて、ピッチ部を時間軸上において挿入又は間引く
ことにより時間軸圧縮伸長を行う。

【００４８】次にＩＣレコーダとしてのその他の構成要
素も含めての動作を図１に基づいて以下に説明する。

【００４９】［記録時］音声の記録時は、音声信号をマ
イクロフォン７によって収録し、Ａ／Ｄ変換器８により
アナログ信号をデジタル信号に変換する。

【００５０】その後前記Ａ／Ｄ変換器８の出力をＩＣメ
モリ１に記録する。

【００５１】［再生時］再生時には前記ＩＣメモリ１に
記録されている音声信号を読み出し、発声速度検出手段
２により音声信号の発声速度を検出する。

【００５２】前記発声速度検出手段２では入力音声信号
の発声速度により上述した方法を用い早聞き時及び遅聞
き時の各動作モードで非音声区間となるポーズの時間長
を制御するように非音声区間制御手段３を調整する。そ
して非音声区間制御手段３からポーズを制御した時間長
と発声速度検出手段２からの出力値を基に最適な圧縮伸
長率を選択するように圧縮伸長率調整手段４に制御信号
を送る。

【００５３】この圧縮伸長率調整手段４では発声速度検
出手段２からの制御信号に応じて、ピッチ伸長圧縮手段
５の早聞き処理となる圧縮時はピッチ部の間引きを行
い、また遅聞き処理となる伸長時はピッチ部の挿入を行
う。

【００５４】その後処理した音声をＤ／Ａ変換器１１に
よりデジタル信号をアナログ信号に変換し、スピーカ１
０より再生する。

【００５５】このようにして音声信号の発声速度を検出
し、その発声速度により非音声区間となるポーズの時間
長と入力音声の圧縮時の間引き率や伸長時の挿入率を自
動調整することで、最適な再生音声が得られる。

【００５６】尚、上記実施例ではメモリに一度記録後、
再生時に圧縮伸長処理を行うものである。しかしながら
映像と音声とを記録済のＶＴＲテープの早聞き、遅聞き
の用途や聴覚障害のある人に放送される音声信号をゆっ
くりとした聞きやすい音声に変換する聴覚補助システム
としても簡単に利用できることは言うまでもない。

【００５７】

【発明の効果】本発明は以上の説明のように入力される
音声の呼気の切れ目によって生じるひとまとまりの音声
区間となる呼気段落内の音節数を検出することで入力音
声の発声速度を検出し、検出された発声速度を基に非音
声となるポーズの時間長と、設定された圧縮伸長率に対
して圧縮伸長率を自動調節することにより最適な再生速
度が得られ、早聞き／遅聞き時の再生音声の音質の劣化
を防止し、装置自身の操作性の向上を図ることが可能と
なる。

【図面の簡単な説明】

【図１】ＩＣレコーダに本発明を適用した実施例を示す
ブロック図である。

【図２】（ａ）は呼気段落の時間、（ｂ）はエンベロー
プ波形を夫々示す図である。

【符号の説明】

１ ＩＣメモリ ２ 発声速度検出手段 ３ 非音声区間制御手段 ４ 圧縮伸長率調整手段 ５ ピッチ伸長圧縮手段 ６ ＤＳＰ ７ メモリ ８ マイクロフォン ９ Ａ／Ｄ変換器 １０ スピーカ １１ Ｄ／Ａ変換器

Claims (1)

【特許請求の範囲】
1. 【請求項１】 入力される音声信号に基づいて発声速度
   を検出する発声速度検出手段と、該発声速度検出手段か
   らの発声速度データに基づいて入力される音声信号の圧
   縮伸長率を調節する圧縮伸長率調節手段と、前記発声速
   度検出手段からの発声速度データに基づいて入力される
   音声信号の非音声区間の時間長を調節する非音声区間制
   御手段と、前記圧縮伸長率調整手段からの圧縮伸長率デ
   ータに基づいて前記音声信号を圧縮伸長する圧縮伸長手
   段とからなり、前記発声速度検出手段は前記音声信号の
   呼気の切れ目によって生じる呼気段落内の音声の音節数
   により発声速度を算出することを特徴とする音声の圧縮
   伸長装置。