JP4381108B2 - 話速変換装置における時報処理装置 - Google Patents

Description

本発明は、高齢者や聴覚障害者向けの音響機器や外国語学習支援システム等に利用される話速変換装置に適用され、特に、入力信号に時報が含まれている場合に話速変換処理を行うと時報出力のタイミングが遅れるという不具合があり、それを解消するための時報処理装置に関する。

テレビジョン放送やラジオ放送におけるニュース番組等では比較的早口で話されることが多く、高齢者や聴覚障害者にとって聴き取り難い場合が多い。
また、外国語学習においては、実際の会話によるコミュニケーション能力の向上を図るためにリスニング学習が非常に重要であるが、初級の学習者の場合には、話者の発話速度についてゆけず、各種記録媒体に録音されたスピーチ音声を繰り返して聴くという従来型の単純な学習方式では不十分であることが指摘されている。

そのような問題点に対して、従来からテープレコーダの再生速度を遅くして発話内容を聴き易くしようとする方式が採用されているが、その方式によると音質の低下が著しくなり、あまり利用されていないのが実情である。
そこで、最近では、ＤＳＰ（Digital Signal Processor）等を利用した話速変換技術が研究されており、音声信号自体を処理することによって、通常の発話速度の音声であっても、話者が恰もゆっくり話したかのように自然な音質で聴取できるシステムが実用化されつつある。

その話速変換装置の基本的原理は、入力音声信号を分析して有声区間と無音・無声区間に分離し、有声区間を無音・無声区間側へ時間的に伸長させる信号処理を施すことにより話速変換を行うものである。
そして、前記の基本的処理に関連して、話速を任意の速度で変化させながら自然な音声を得るために、有声音と無声音の振幅や時間の伸長、無音時間の挿入等の信号処理に係る研究が様々な観点から行われており、例えば、下記特許文献等において多数の提案がなされている。

特開平６−２８９８９５号公報 特開平７−２８１６９０号公報 特開平７−２８１６９１号公報 特開平８−０８３０９５号公報 特開平１０−２５７５９６号公報 特開平１０−３０１５９８号公報 特開２０００−０９９０９８号公報 特開２００１−３１２２９８号公報

ところで、入力音声信号に対して話速変換を行った場合、前記のように有声区間が無音・無声区間側へ時間的に伸長せしめられるため、その有声区間に時報が含まれていた場合には時報の再生に遅れが発生し、実際の時刻から数秒間遅れて時報が音声出力されてしまうことがある。
例えば、図４の（Ａ）は時報を含んだ日本放送協会の放送（原音）の出力状態を、（Ｂ）はその原音を話速変換処理した後の出力状態をそれぞれ時間軸に沿って表したものであるが、原音の有声区間の「ほんじつのニュースを ・・・ まもなく じゅーじになります」が時報側へ伸長されていることにより、話速変換後の時報出力のタイミングが原音の時報出力のタイミングからかなり遅れている。
その場合、時計やＶＴＲ等のように時刻設定を行う機器では時報に合わせて調整することが多いため、誤って遅れた時刻が設定されてしまうことになる。
また、日本放送協会のテレビジョン放送等では時報通知の音声と映像を同期させて放送している場合が多いが、映像上での時刻通知の表示後に何秒も経過してから音声での時刻通知がなされるのは、非常に不自然であり違和感がある。
そこで、本発明は、前記の問題点に鑑みて、入力音声信号に対して話速変換を行った場合においても、時報については同時に又はほとんど遅延を生じさせることなく音声出力させることが可能な時報装置を提供することを目的として創作された。

本発明は、入力音声信号を有声区間と無音・無声区間に分離し、前記有声区間を前記無音・無声区間側へ時間的に伸長させる信号処理を施すことにより話速を変換させた信号を出力する話速変換手段と、前記話速変換手段に対する入力音声信号から時報信号を検出する時報検出手段と、前記時報検出手段が時報信号を検出した場合に、前記話速変換手段による信号処理後の有声区間から時報信号を削除する信号削除手段と、前記時報検出手段が時報信号を検出した場合に、時報信号を生成させる時報生成手段と、前記話速変換手段の出力信号に対して時報生成手段が生成した時報信号を合成する信号合成手段とを具備したことを特徴とする話速変換装置における時報処理装置に係る。

話速変換手段は有声区間を無音・無声区間側へ時間的に伸長させるため、時報の前の各音声が引き伸ばされることにより、結果的に時報が遅れて出力される。
一方、時報は一般的に定型的な所定周波数の音声情報であり、入力音声信号から時報音声信号を検出することが可能である。
この発明では、時報検出手段が時報を検出したことに基づいて、信号削除手段が話速変換手段で処理された後の不要な時報信号を削除し、時報生成手段が別途に時報信号を生成させる。
そして、信号合成手段によって時報生成手段が生成した時報信号を話速変換手段の出力信号に合成することにより、殆ど遅れのない時報を出力させることができる。
尚、時報生成手段が新たに生成する時報信号は、入力音声信号に含まれていたものと同一型式である必要はなく、任意型式の音声時報として構成できる。

ところで、時報生成手段で生成した時報信号が合成される信号は、信号削除手段が削除した時報の前にあった有声区間が話速変換処理によって伸長された信号である場合が殆どであるが、その信号に対して時報信号を重畳させると時報が聴き取り難くなることがある。
その問題に対しては、前記信号削除手段が、前記話速変換手段による信号処理後の有声区間から、前記信号合成手段によって時報信号が合成されることになる時間帯の信号も削除するようにすれば、時報だけを明瞭に聴き取れる出力信号が得られる。

話速変換装置では処理した有声区間に時報が含まれていた場合に、その時報が入力音声信号の実時間上の時報から遅れて出力されてしまうという不具合を生じるが、本発明は、入力音声信号中の時報を自動的に検出し、入力音声の時報が話速変換処理を受けずに出力されるタイミングとほぼ同時に近いタイミングで別途生成させた時報を出力させることを可能にする。
これにより、時報に合わせて時刻設定を行う場合に誤差が発生してしまう問題や、テレビジョン放送のように映像と音声で時報が行われる場合に生じる違和感を解消する。

以下、本発明の話速変換装置における時報処理装置の実施形態を図面に基づいて詳細に説明する。
先ず、図１は、話速変換処理部１と時報処理用の各機能部の接続関係を示すブロック回路図である。
同図において、話速変換処理部１は、入力音声信号（アナログ信号）をディジタル信号に変換した後、信号を分析して有声区間と無音・無声区間に分離し、有声区間を無音・無声区間側へ時間的に伸長させる信号処理を行い、その処理後のディジタル信号をアナログ信号に変換して出力させる。
また、話速変換処理部１は信号処理過程でメモリ１aにディジタル音声信号をセーブさせ、そのメモリ１a上で信号の分析と各種処理を行う。

この実施形態では、話速変換処理部１に対する入力音声信号から時報信号を検出するための時報検出部２が設けられている。
広く知られている日本放送協会の放送における時報は、図４（Ａ）に示すように、２種類のトーンパルスを組み合わせた特有の４音「ピッ・ピッ・ピッ・ポーン」であり、最初の短い３音（ピッ・ピッ・ピッ）は予報音と称されて、それぞれ４４０Ｈzの周波数で約０.１秒間の幅をもったトーンパルスであり、最後の１音は正報音と称されて、８８０Ｈzの周波数で約２秒間減衰しながら継続するトーンパルスである。また、各音の開始時点の間隔は１秒間とされている。
一方、民放放送局でも時報を行っているが、最後の正報音のみを放送している場合が多い。
時報検出部２は、図２に示すような各機能部分からなり、時報に係る予報音と正報音の各信号の周波数帯域（４４０Ｈz帯と８８０Ｈz帯）に対応した各バンドパスフィルタ（以下、ＢＰＦという）２１，２２と、それらＢＰＦ２１，２２が通過させる信号から前記各周波数の信号レベルを検出する周波数検出部２３と、各周波数の信号の継続時間と回数を計測するカウンタ２４と、周波数検出部２３の検出結果とカウンタ２４の計測結果に基づいて時報が検出されたか否かを判定する判定部２５と、周波数検出部２３の誤差範囲を見込んで一定範囲内であれば予報音や正報音の周波数が検出されたとみなすように調整するための調整部２６とからなる。
従って、この時報検出部２は、正報音に先立って予報音がある時報と正報音のみの時報のいずれも検出できるようになっているが、この実施形態では、主に日本放送協会の時報を対象として、最初の予報音を検出することにより時報の検出判定信号を出力する場合について説明する。

時報検出部２の判定部２５で最初の予報音の信号（周波数４４０Ｈzが約０.１秒間継続）があると判定されると、検出判定信号が制御部３へ出力され、制御部３は話速変換処理部１と信号削除部４と時報生成部５へそれぞれ制御信号を出力する。
すると、話速変換処理部１ではその時点でメモリ１a上に展開している処理データを一旦確定させ、信号削除部４がメモリ１a上のデータから時報の音声データ（予報音と正報音のデータ）を削除すると共に、それより前の有声音に係るデータであって前記時報に係るデータの直前まで伸長せしめられているデータの内で、時報検出部２が最初の予報音の信号を検出した時点以降に音声出力されるようになっているデータ部分も削除する。

一方、制御信号を受けた時報生成部５では新たな時報信号を作成し、その時報信号を話速変換処理部１の出力側に設けられた信号合成部６へ出力して、話速変換後の出力信号に時報信号を合成させる。
ここで、時報生成部５と信号合成部６の具体的な構成は図３のようになっている。
時報生成部５は４４０Ｈzと８８０Ｈzの２つのシグナルジェネレータを内蔵し、制御信号を受けると各シグナルジェネレータを作動させて上記と同形式の時報信号を生成させる。
そして、話速変換処理部１は信号削除部４によるデータ削除が完了するとメモリ１aからデータを読み出してアナログ信号へ変換した信号を出力させるが、信号合成部６はその出力信号に対して時報生成部５の時報信号を合成して出力させる。

その結果、図４（Ａ）に示す時報を含む原音の入力信号に対して出力信号は図４（Ｄ）のようになり、話速変換後の音声信号における原音の最初の予報音が検出・判定された時点以降の有声音信号と時報信号が時報生成部５で作成した時報信号に置換され、図４（Ｂ）のように時報が原音での出力タイミングから遅れることなく、原音と同じタイミングで出力させることができる。
尚、時報生成部５の時報信号における予報音区間は、図４（Ｄ）と図４（Ａ）を比較すれば明らかなように、原音の予報音区間より短くなっており、各予報音の信号のタイミングも原音のそれより遅れて出力されるが、正報音の出力のタイミングに関しては原音の出力タイミングと同一になっている。
これは、図４（Ｃ）に示すように、最初の予報音の検出判定までに若干の時間を要しているため、その時間分だけ予報音区間を短くして正報音を原音と同一時刻に設定するようにしているからであり、そのタイミングの設定は時報生成部５の各シグナルジェネレータに対する制御部３からの制御信号に基づいて行われている。

以上のように、この実施形態によれば、原音を話速変換した後の有声音と時報音を削除しておき、別に作成した予報音と正報音をほぼ原音と同じタイミングで出力させているが、予報音の扱いについては、原音における時報前の有声音が伸長された区間と予報音とが重複した場合に、図４（Ｅ）に示すように有声音側を優先させる方式や、図４（Ｆ）に示すように双方を重複したまま出力させる方式も採用できる。
即ち、時報については正報音だけを明確に確認できればよく、有声音の途切れをできるだけ回避したいような場合にはそのような方式が有効である。
また、時報生成部５が生成する時報信号は任意の型式を採用でき、予報音区間を短くして、時報検出部２が複数の予報音を検出した後に検出判定信号を出力するようにすれば、時報検出精度を向上させることができる。

更に、前記の実施形態では、日本放送協会の放送における時報を対象としたが、民放放送局の時報のように正報音だけの場合についても、時報検出部２による８８０Ｈzの正報音の検出に基づいて制御部３が話速変換処理部１と信号削除部４と時報生成部５を制御することにより、従来の話速変換処理のように大きな時間遅れを生じさせないで正報音を出力させることができる。
そして、時報検出部２の正報音の検出後、時報生成部５によって生成された正報音信号を信号合成部６で話速変換処理部１の出力信号に合成するまでの所要時間は可能な限り短い方が良いことは当然であるが、マイクロコンピュータ回路等での処理によっても原理的に５０msec程度にすることが可能であり、数百msec以内であれば殆どリアルタイムな時報と同等に認識されることから、十分に余裕をもって実現できる。

尚、図１に示した各機能ブロックはそれら全てをＤＳＰ等のマイクロコンピュータ回路で構成し、話速変換における時報処理をソフトウェアによって実行させることが可能である。
その場合のプログラムは、記録媒体に格納した状態で、又はインターネット等の通信回線を介してダウンロードさせる態様で提供することができる。

実施形態１に係る話速変換処理部と時報処理用の各機能部の接続関係を示すブロック回路図である。 時報検出部のブロック回路図である。 時報生成部と信号合成部の具体的な構成図である。 音声信号及び時報の検出判定信号のタイミングチャートであり、（Ａ）は時報を含んだ放送（原音）の出力状態を、（Ｂ）は原音を話速変換処理した後の出力状態を、（Ｄ）,（Ｅ）,（Ｆ）は実施形態に係る時報処理を施した場合の出力状態を示す。

符号の説明

１…話速変換処理部、１a…メモリ、３…制御部、４…信号削除部、５…時報生成部、６…信号合成部、２１,２２…ＢＰＦ、２３…周波数検出部、２４…カウンタ、２５…判定部、２６…調整部。

Claims (3)

1. 入力音声信号を有声区間と無音・無声区間に分離し、前記有声区間を前記無音・無声区間へ時間的に伸長させる信号処理を施すことにより話速を変換させた信号を出力する話速変換手段と、
   前記話速変換手段に対する前記入力音声信号から予報音信号と正報音信号とで構成された時報信号中の前記予報音信号を検出する時報検出手段と、
   前記時報検出手段が前記予報音信号を検出した場合に、前記話速変換手段による信号処理後の有声区間から前記時報信号を削除する信号削除手段と、
   前記時報検出手段が前記予報音信号を検出した場合に、予報音信号と正報音信号とで構成された新たな時報信号を生成させる時報生成手段と、
   前記時報生成手段が生成した新たな時報信号を、その時報信号の正報音の出力タイミングが前記入力音声信号の時報信号中の正報音が出力されると仮定した場合の出力タイミングと一致するように、前記話速変換手段の出力信号に対して合成する信号合成手段と
   を具備したことを特徴とする話速変換装置における時報処理装置。
2. 入力音声信号を有声区間と無音・無声区間に分離し、前記有声区間を前記無音・無声区間へ時間的に伸長させる信号処理を施すことにより話速を変換させた信号を出力する話速変換手段と、
   前記話速変換手段に対する前記入力音声信号から正報音信号で構成された時報信号を検出する時報検出手段と、
   前記時報検出手段が前記正報音信号を検出した場合に、前記話速変換手段による信号処理後の有声区間から前記時報信号を削除する信号削除手段と、
   前記時報検出手段が前記正報音信号を検出した場合に、正報音信号で構成された新たな時報信号を生成させる時報生成手段と、
   前記時報生成手段が生成した新たな時報信号を、その時報信号の出力タイミングと前記入力音声信号の時報信号が出力されると仮定した場合の出力タイミングとが同等のタイミングであると聴き手に認識される所定時間内に、前記話速変換手段の出力信号に対して合成する信号合成手段と
   を具備したことを特徴とする話速変換装置における時報処理装置。
3. 前記信号削除手段が、前記話速変換手段による信号処理後の有声区間から、前記信号合成手段によって時報信号が合成されることになる部分の信号も削除することとした請求項１又は請求項２に記載の話速変換装置における時報処理装置。
   
   

Images