JPH0981175A - 音声規則合成装置 - Google Patents

Abstract

(57)【要約】 【課題】 本発明は大規模な計算機を必要とすることな
く、音声素片を生成する際に必要なラベリング処理を行
なうとともに、１つの計算機システム上に、音声信号を
処理して音声情報を作成する回路と、音声合成を行なう
回路とを構築して、音声素片の生成を容易にし、合成音
声の話者変更を容易にする。 【解決手段】 曲再生回路２によって予め登録されてい
る曲の歌詞を表示して、メロディ音を出し、話者に歌を
歌わせながら、音声情報抽出回路３によって前記話者の
歌音声を取り込み、この歌音声と前記曲が持つ各音符の
長さ、テンポなどの情報に基づき、前記歌音声を音節毎
に分割し、各音節毎にラベリングを行なって音声素片を
作成し、音声の合成対象となるテキストデータが入力さ
れたとき、このテキストデータに応じて音声素片を組み
合わせて合成音声を生成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は音声を取り込んで音
声素片を抽出してこれを登録し、テキストデータが入力
されたときに登録している音声素片を組み合わせて音声
を合成する音声規則合成装置に関し、特に音声素片の生
成を容易にして、話者の変更を容易化するようにした音
声規則合成装置に関する。

【０００２】

【従来の技術】規則による音声合成装置では、任意の音
声を発生させるために、音韻、音節などを持つ音声素片
を組み合わせて合成音声を作成している。このとき必要
となる音声素片としては、音声のラベリング処理により
得られるものが用いられる。このラベリング処理とは、
連続する音声波形を区切って各単位波形にその波形が示
す発声内容を割り当てる処理を言う。図３は上記ラベリ
ング処理によって作成した音声素片を用いて合成音声を
生成する音声合成装置の一例を示すブロック図である。
この図に示す音声合成装置１０１は、音声情報抽出回路
１０２と、音声デ−タベ−ス１０３と、音声合成部１０
４とを備えており、音声情報抽出回路１０２は話者の音
声と該音声の韻律情報とを取り込んでラベリング処理を
行い、ラベリングされた音声デ−タは音声デ−タベ−ス
１０３に登録される。音声合成回路１０４は前記ラベリ
ングされた音声デ−タから合成音声を生成するのに必要
な音声素片を予め作成しておき、音声を合成する時は入
力テキストに応じて前記音声素片を組み合わせて合成音
声を生成する。

【０００３】上記各構成部について詳細に説明すると、
音声情報抽出回路１０２は、話者が発生した音声を取り
込み、この音声信号を分析して種々の音響パラメ−タ
（声の大きさ、スペクトルなど）を抽出する分析部１０
５と、この分析部１０５から出力される各音響パラメ−
タを取り込みこれら各音響パラメ−タの変化量などを計
算する変化量計算部１０６と、この変化量計算部１０６
から出力される各計算結果（変化量）および入力された
音韻情報に基づき音響パラメ−タの変化量が大きい箇所
を検出してこの部分を音声の境界（音節）と判定して音
声波形を区切るとともに、これらの各単位波形に対して
自動的にラベリングを行うセグメンテ−ション部１０７
とを備えている。

【０００４】合成音声の元となる話者の音声デ−タベ−
スを作成するときは、話者が発声した音声を取り込み、
この音声を分析して各種の音響パラメータを抽出した後
でこれら各音響パラメータの変化量を計算してこの計算
結果及び発声した音声に対応する音韻に基づき前記音声
の境界を判定して自動的にラベリングを行い、これによ
って得られたラベリング済みの音声デ−タを前記音声デ
ータベース１０３に登録する。音声デ−タベ−ス１０３
は、大きな記憶容量を持つハ−ドディスク装置、光磁気
ディスク装置等によって構成されており、音声情報抽出
回路１０２からラベリング済みの音声デ−タが出力され
る毎にこれを取り込んで累積記憶し、音声合成回路１０
４から読み出し指示がなされる毎に、指定された音声デ
−タの音声合成回路１０４に供給する。音声合成回路１
０４は、前記音声データベース１０３に登録されている
ラベリングされた音声デ−タから音声素片を作成する音
声素片生成部１０８と、音声の合成対象となるテキスト
データが入力されたときに該テキストデータに応じて音
声素片生成部１０８で作成された各音声素片を組み合わ
せて合成音声を生成する音声合成部１０９とを備えてい
る。音声合成動作に先立って、音声素片生成部１０８は
音声データベース１０３に累積記憶されているラベリン
グされた音声デ−タから合成音声に必要な音声デ−タを
取り込み、この音声デ−タから音声素片を作成してお
く。前記合成音声に必要な音声デ−タは音声素片の作成
方法によって種々異なるので、必要とするラベリングさ
れた音声デ−タの選択は音声の研究者や専門家の手作業
により行われる。そしてテキストデータが入力されたと
きこのテキストデータに応じて前記各音声素片を組み合
わせて合成音声を生成する。

【０００５】

【発明が解決しようとする課題】しかしながら、上述し
た従来の音声規則合成装置１０１においては、ラベリン
グ処理を行なう際、入力音声に対して膨大な演算処理を
行なわなければならないことから、大規模な計算機を必
要とし、これによってシステム全体のコストが高くなる
という問題があった。また、このような音声規則合成装
置１０１では、音声情報抽出回路１０２と、音声合成回
路１０４とを別々のシステムによって構成しているの
で、話者の変更を行なうときには、ラベリング処理のや
り直しや音声素片の再作成など、煩雑な操作を再度行な
わなければならないとともに、これらの操作に専門の知
識を必要とし、さらに手作業で音声素片の作成を行なわ
なければならない。このため、合成音声の元になる話者
の変更を行なうのが難しいという問題があった。本発明
は上記の事情に鑑み、音声信号を解析するための大規模
な計算機を必要とすることなく、音声素片を生成する際
に必要なラベリング処理を行なうことができるととも
に、１つの計算機システム上に音声信号を処理して音声
情報を作成する音声情報抽出回路と、音声合成を行なう
音声合成回路とを構築して音声素片の生成を容易にし、
合成音声の話者変更を容易にすることができる音声規則
合成装置を提供することを目的としている。

【０００６】

【課題を解決するための手段】上記の目的を達成するた
めに本発明による音声規則合成装置は、請求項１では、
予め登録されている曲を再生する曲再生回路と、この曲
再生回路で再生された曲に合わせて入力された話者の歌
音声を取り込むとともに、前記曲再生回路で再生された
曲の楽譜に基づき、前記歌音声を処理して音声素片を作
成する音声情報抽出回路と、入力されたテキストデータ
に基づき、音声情報抽出回路で作成された音声素片を組
み合わせて音声を合成する音声合成回路とを備えたこと
を特徴としている。また、請求項２では、請求項１に記
載された音声規則合成装置において、音声音声情報抽出
回路は、前記曲再生回路で再生された曲のメロディに合
わせて歌う、前記話者の歌音声を前記メロディの楽譜に
合わせて音節単位で区切って音声素片を作成することを
特徴としている。

【０００７】

【発明の実施の形態】以下、本発明を図面に示した形態
例に基づいて詳細に説明する。図１は本発明による音声
規則合成装置の一形態例を示すブロック図である。この
図に示す音声規則合成装置１は、曲再生回路２と、音声
情報抽出回路３と、音声合成回路４とを備えており、曲
再生回路２によって予め登録されている曲の歌詞を表示
してメロディ音を出し、話者に歌を歌わせながら、音声
情報抽出回路３によって前記話者の歌音声を取り込み、
この歌音声と前記曲が持つ各音符の長さ、テンポなどの
情報に基づき、音節毎にラベリングを行なって音声素片
を作成し、音声の合成対象となるテキストデータが入力
されたとき、このテキストデータに応じて音声素片を組
み合わせて合成音声を生成する。

【０００８】曲再生回路２は、図２（ａ）に示す如くい
ろは歌など、５０音を効率良く入力させるのに必要な歌
詞データおよび歌詞がしっかりと歌えるようにゆっくり
したメロディを持つ楽譜データが格納されるハードディ
スク装置５と、このハードディスク装置５に格納されて
いる歌詞データおよび楽譜データを読み出し、この歌詞
データに基づいた表示データを生成するとともに、前記
楽譜データに基づいたメロディ音信号を生成する曲再生
部６と、この曲再生部６から出力されるメロディ音信号
を取り込み、メロディ音を発声するスピーカ７と、前記
曲再生部６から出力される表示データを取込み、歌詞を
表示するディスプレィ８と、前記曲再生部６から出力さ
れる楽譜データを取り込んで、音符の長さに対応したセ
グメンテーションデータ（楽譜を構成する各音符の継続
時間を示すデータ）を生成する楽譜データ変換部９とを
備えている。話者の歌音声を取り込むとき、予め登録さ
れている歌詞データと、この歌詞データに対応する楽譜
データとに基づいて歌詞を画面表示して、前記話者に見
せながらメロディ音を発生してこれを前記話者に聞かせ
るとともに、前記楽譜データに基づきセグメンテーショ
ンデータを生成してこれを音声情報抽出回路３に供給す
る。

【０００９】音声情報抽出回路３は、図２（ｂ）に示す
如く前記話者が発した歌音声を取り込み歌音声信号を生
成するマイクロホン１０と、このマイクロホン１０から
出力される前記歌音声信号の記録エリアとして使用され
るハードディスク装置１１と、前記マイクロホン１０か
ら出力される歌音声信号を取り込んでデジタル化しなが
ら前記ハードディスク装置１１に記憶させた後、読み出
し指示があったとき前記ハードディスク装置１１に記憶
されているデジタル化された歌音声信号を読み出す録音
部１２と、前記曲再生回路２の楽譜データ変換部９から
出力されるセグメンテーションデータで示された曲のテ
ンポおよび音符の長さに基づき曲の時間経過に応じて録
音部１２によって読み出された歌音声信号を音節単位に
分割してラベリングを行なう音声分割部１３とを備えて
いる。

【００１０】前記曲再生回路２によって歌詞が表示され
るとともにメロディ音が出され、これに対応して話者が
歌を歌っているとき、この歌音声を取込んで歌音声信号
に変換しながら前記曲再生回路２から出力されるセグメ
ンテーションデータで示された曲のテンポおよび音符の
長さに基づき、曲の時間経過に応じて前記歌音声信号を
音節単位に分割するとともにラベリングを行なって音声
素片を作成し、これを音声合成回路４に供給する。

【００１１】音声合成回路４は、音声情報抽出回路３の
音声分割部１３から出力される各音声素片を取り込んで
蓄積する音声素片部１４と、音声の合成対象となるテキ
ストデータが入力されたときこのテキストデータに応じ
て音声素片を組み合わせて合成音声を生成する音声合成
部１５とを備えており、音声分割部１３から出力される
各音声素片を取り込んで蓄積し、音声の合成対象となる
テキストデータが入力されたときこのテキストデータに
応じて音声素片を組み合わせて合成音声を生成する。

【００１２】このように、この形態例では曲再生回路２
によって予め登録されている曲の歌詞を表示してメロデ
ィ音を出し、話者に歌を歌わせながら音声情報抽出回路
３によって前記話者の歌音声を取り込み、この歌音声と
前記曲が持つ各音符の長さ、テンポなどの情報に基づい
て歌音声を音節毎に分割し、各音節毎にラベリングを行
なって音声素片を作成し、音声の合成対象となるテキス
トデータが入力されたときにこのテキストデータに応じ
て音声素片を組み合わせて合成音声を生成するようにし
たので、音韻情報などを入力することなく、入力された
音声を音節単位に分割して、ラベリングを行ない、音声
素片を作成することができる。

【００１３】これによって、音声信号を解析するための
大規模な計算機を必要とすることなく、音声素片を生成
する際に必要なラベリング処理を行なうことができると
ともに、１つの計算機システム上に音声信号を処理して
音声情報を作成する音声情報抽出回路３と、音声合成を
行なう音声合成回路４とを構築して、音声素片の生成を
容易にし、合成音声の話者変更を容易にすることができ
る。また、上述した形態例においては、ハードディスク
装置５内に、いろは歌など、５０音を効率良く入力させ
るのに必要な歌詞データおよび歌詞がしっかりと歌える
ようにゆっくりしたメロディを持つ楽譜データを格納す
るようにしているが、他の大容量記憶装置、例えばフロ
ッピーディスク装置、光磁気ディスク装置などに、歌詞
データや楽譜データなどを格納するようにしても良い。
この際、５０音が出現する曲であれば、上述したいろは
歌以外の曲の歌詞データや楽譜データを格納しても良
い。

【００１４】

【発明の効果】以上説明したように本発明によれば、音
声信号を解析するための大規模な計算機を必要とするこ
となく、音声素片を生成する際に必要なラベリング処理
を行なうことができるとともに、１つの計算機システム
上に、音声信号を処理して音声情報を作成する音声情報
抽出回路と、音声合成を行なう音声合成回路とを構築し
て音声素片の生成を容易にし、合成音声の話者変更を容
易にすることができる。

【図面の簡単な説明】

【図１】本発明による音声規則合成装置の一形態例を示
すブロック図である。

【図２】（ａ）及び（ｂ）は図１に示す曲再生回路のハ
ードディスク装置内に格納される歌詞データ、楽譜デー
タの一例および入力される歌音声の波形例を示す模式図
である。

【図３】従来から知られている音声規則合成装置の一例
を示すブロック図である。

【符号の説明】

１ 音声規則合成装置 ２ 曲再生回路 ３ 音声情報抽出回路 ４ 音声合成回路 ５ ハードディスク装置 ６ 曲再生部 ７ スピーカ ８ ディスプレィ ９ 楽譜データ変換部 １０ マイクロホン １１ ハードディスク装置 １２ 録音部 １３ 音声分割部 １４ 音声素片部 １５ 音声合成部

Claims (2)

【特許請求の範囲】
1. 【請求項１】 予め登録されている曲を再生する曲再生
   回路と、 この曲再生回路で再生された曲に合わせて入力された話
   者の歌音声を取り込むとともに、前記曲再生回路で再生
   された曲の楽譜に基づき、前記歌音声を処理して音声素
   片を作成する音声情報抽出回路と、 入力されたテキストデータに基づき、前記音声情報抽出
   回路で作成された音声素片を組み合わせて音声を合成す
   る音声合成回路と、 を備えたことを特徴とする音声規則合成装置。
2. 【請求項２】 請求項１に記載された音声規則合成装置
   において、 前記音声音声情報抽出回路は、前記曲再生回路で再生さ
   れた曲のメロディに合わせて歌う、前記話者の歌音声を
   前記メロディの楽譜に合わせて音節単位で区切って音声
   素片を作成する、 ことを特徴とする音声規則合成装置。