JP3333022B2 - 歌声合成装置 - Google Patents

歌声合成装置

Info

Publication number
JP3333022B2
JP3333022B2 JP29632493A JP29632493A JP3333022B2 JP 3333022 B2 JP3333022 B2 JP 3333022B2 JP 29632493 A JP29632493 A JP 29632493A JP 29632493 A JP29632493 A JP 29632493A JP 3333022 B2 JP3333022 B2 JP 3333022B2
Authority
JP
Japan
Prior art keywords
information
singing voice
pitch
note
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP29632493A
Other languages
English (en)
Other versions
JPH07146695A (ja
Inventor
篤志 山本
達郎 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=17832068&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP3333022(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP29632493A priority Critical patent/JP3333022B2/ja
Priority to US08/310,788 priority patent/US5642470A/en
Publication of JPH07146695A publication Critical patent/JPH07146695A/ja
Application granted granted Critical
Publication of JP3333022B2 publication Critical patent/JP3333022B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/02Methods for producing synthetic speech; Speech synthesisers
    • G10L13/033Voice editing, e.g. manipulating the voice of the synthesiser
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/02Methods for producing synthetic speech; Speech synthesisers
    • G10L13/04Details of speech synthesis systems, e.g. synthesiser structure or memory management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Electrophonic Musical Instruments (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は楽譜情報、歌詞情報から
歌声を合成する歌声合成装置に関するものである。
【0002】
【従来の技術】歌詞および歌詞に対応して楽譜に記載さ
れた音符情報を入力することにより、歌声を合成した
り、その合成した歌声から合唱を生成する装置について
は、既に提案されている。以下に、その従来技術につい
て説明する。
【0003】図21は四部合唱の楽譜の一例、図22は
図21の楽譜から作成された楽譜情報、歌詞情報を示し
たものである。楽譜情報、歌詞情報はそれぞれソプラ
ノ、アルト、テノール、バスの4パート分の情報を有し
ている。楽譜情報はパソコン音楽演奏に使われているM
MLと呼ぶ記述言語で入力される。例えば音名の“ハ”
を“C”で表し、“ニ”を“D”で表し、同様に“ホ”
=“E”、“ヘ”=“F”、“ト”=“G”、“イ”=
“A”、“ロ”=“B”と表すとする。オクターブの指
定は“0”で表し、1オクターブのアップダウンはそれ
ぞれ“<”,“>”で表わす。又、音の長さは“8分音
符”は“8”で表し,“2分音符”は“2”で表し、
“4分音符”は“4”で表す。更に“付点8分音符”は
“8.”で表し、“付点4分音符”は“4.”、“付点
2分音符”は“2.”と表すものとする。また基準の音
符を“L”で指定し、以降長さの記述を省略することも
できる。シャープは“#”または“+”、フラットは
“−”で表す。また、タイは“&”で表わす。
【0004】以上の規則を組み合わせて、楽譜から音符
情報のデータが作成される。例えば8分音符“ハ”は
“C”、4分音符“ニ”のフラットは“D−4”、付点
2分音符“ホ”のシャープは“E♯2.”で表される。
歌詞情報は音符情報のそれぞれに対応する部分に歌詞が
付加される。
【0005】図23は、図22の楽譜情報、歌詞情報か
らソプラノのパートを分割したものであり、他のアル
ト、テノール、バスのパートに関しても同様に分割され
る。図24は、図23のソプラノのパートの歌詞情報か
ら作成された表音記号である。表音記号とは、歌詞を子
音、母音に分離したものである。
【0006】図25は、図23のパート分割後の楽譜情
報、及び図23の表音記号から作成された時間情報であ
る。図21に示す歌の場合、テンポ110より4分音符
が60/110秒であるので約545msとなり、これ
を基準にして他の時間も定められる。図25に示す時間
情報で、最初の“Q 272”は8分音符が、4分音符
の545msの1/2である272msであることを表
し、次の“m 44”は歌詞の“み”の子音である
“m”の時間が44ms、その次の“I 228”は母
音である“I”の時間が228msであることを示して
いる。歌詞の“み”は楽譜情報から8分音符であること
が分かるので、子音及び母音の時間を足すと272ms
になるように設定される。以下同様にして、各表音記号
に対して楽譜情報から得られる時間情報が付加される。
【0007】次に、図26は従来の歌声信号合成装置の
全体構成図である。図26において、楽譜/歌詞入力部
1に図22のような楽譜情報、歌詞情報が入力される。
パート分割部2では、これら楽譜情報、歌詞情報が各パ
ート毎の情報(図23はソプラノに関する情報である
が、同様の情報がアルト、テノール、バスに関しても生
成される)に分割される。各パートの楽譜情報、歌詞情
報はそれぞれ別の歌声信号合成部3a,3b,3cに入
力され、歌声信号合成部3a,3b,3cにおいて各パ
ートの歌声信号が合成される。合成されたそれぞれの歌
声信号は、合唱信号生成部4に入力されて合唱の歌声信
号の生成が行われる。合唱信号生成部4で生成された合
唱の歌声信号は、特には図示しないD/A変換器でアナ
ログ信号に変換された後、合唱の歌声として、歌声出力
部5(例えば、アンプを介したスピーカ)から出力され
る。
【0008】図27は、歌声信号合成部3の詳細を示し
た構成図である。歌声合成部3は、韻律情報生成部3
1、歌声信号生成部32で構成される。図28は、上記
韻律情報生成部31の詳細を示した構成図である。韻律
情報生成部31は、表音記号生成部311、音符長時間
生成部312、ピッチ情報生成部313及び音量情報生
成部314から構成される。表音記号生成部311は、
図24に示すように、歌詞情報を使用して歌詞を子音、
母音に分離する作業を行う。音符長時間生成部312
は、図25に示すように、楽譜情報及び表音記号から音
素(時間)長を生成する。
【0009】次に音符長時間情報と音素(時間)長の生
成動作について、図33の動作フローチャートを用いて
以下に説明する。 1). 先ず、楽譜情報から速度記号が取り出される。速度
記号とは、演奏速度(テンポ)を表すもので、図22に
示す楽譜情報の1行目にT110は、1分間に4分音符
が110の拍数で演奏されることを示している。このと
きの4分音符の音符長時間=60/110秒であり、4
分音符の時間長が545msであることが求まる(ステ
ップS601)。
【0010】2). 次に、楽譜情報から音符が取り出され
る。音符とは、楽譜情報の中の音の長さであり、4分音
符、付点2分音符といったものがこれに相当する(ステ
ップS602)。
【0011】3). 楽譜情報から取り出した音符の相対長
が生成される。例えば速度記号の基準となる基準音符が
4分音符であれば、8分音符は基準音符長の半分、2分
音符であれば2倍となる(ステップS603)。
【0012】4). 音符の相対長から音符長時間が生成さ
れる。基準音符長である4分音符は545msであるの
で、例えば8分音符であれば272ms、2分音符であ
れば1090msとなる(ステップS604)。
【0013】5). 生成された音符長時間から音素の時間
長が生成される。子音の時間長は予め決められたルール
により生成され、音符長時間から子音の時間長を差し引
いたものが、音素である母音の時間となる。例えば8分
音符の“み”の場合であれば、子音の“m”の時間は4
4msとすると、母音の“I”は228msとなる(ス
テップS605)。
【0014】以上のような処理を繰り返して、楽譜情
報、歌詞情報から歌詞の中の各母音、子音等の音素の時
間を求め、格納しておく。次に、図29はピッチ情報生
成部313の構成図である。図29において、ピッチ生
成部313は、ピッチパターン生成部3131、ポルタ
メント生成部3132、ビブラート生成部3133から
構成される。
【0015】次に、ピッチパターン生成部3131にお
ける動作について、図34の動作フローチャートを用い
て説明をする。 1). 先ず、図22の楽譜情報から音名が取り出され、そ
の音名によってピッチ周波数が一意的に求められる(ス
テップS701)。
【0016】2). 音名からピッチ周波数が求められる。
楽譜情報の各音名に対応するピッチ周波数が、予め変換
テーブルとして設定されており、その中から音名に対応
するピッチ周波数が選択される(ステップS702)。
【0017】3). 音符長時間生成部312で生成された
音符長時間に従って、その時間分のピッチ周波数パター
ンが生成される(ステップS703)。 以上の処理を楽譜に従って繰り返すことによって作成さ
れたピッチパターンは、図32(a)の基本ピッチパタ
ーンに示すようになる。この段階では、各ピッチ周波数
は不連続に変化するため、このままでは、合成された合
唱の歌声はあまりにも機械的で不自然に聞こえる。
【0018】そのため、ポルタメント処理部3132
(図29)は、主として基本ピッチ生成部3131で生
成されたピッチパターンの不連続部分を連続的にし、且
つピッチパターンが滑らかな線を形成するように短い一
種のポルタメント(ある音からピッチの異なる音に、滑
らかに移行することを意味する音楽用語)を付加して、
図32(a)に示すピッチパターンを、同図(b)のよ
うに修正する。
【0019】次に、図30にポルタメント処理部313
2の構成図を示す。ポルタメント処理部3132は、ポ
ルタメント・パラメータ31321、ポルタメント生成
規則31322、及びポルタメント生成部31323に
より構成される。
【0020】次に、ポルタメント生成部31323にお
けるポルタメント付加の動作について、図35の動作フ
ローチャートを用いて説明する。 1). 先ず、ピッチの変化があるか否かが判断される。ピ
ッチの変化とは、図32(a)のピッチパターンの不連
続部分のことである。ピッチ変化がなければ処理は終了
し、あれば次の処理へ移る(ステップS801)。
【0021】2). ポルタメント・パラメータ31321
が取り出される。あるピッチ周波数から異なるピッチ周
波数へ移る場合、周波数の差によってはポルタメントの
傾きやポルタメントを付加する時間などのパラメータを
変えなければいけない。それらのパラメータがこの部分
で取り出される(ステップS802)。
【0022】3). ポルタメント生成規則31322を用
いてポルタメント区間が求められる。ポルタメント生成
規則とは、関数のようなある決まった規則のことをい
う。前ステップで取り出されたポルタメント・パラメー
タを用いて、ピッチ周波数の変化点から前後に、どれだ
けの時間をポルタメントの時間に割り当てるかが求めら
れる(ステップS803)。
【0023】4). ポルタメント生成規則31322を用
いて、ポルタメント区間のピッチが生成される。前ステ
ップで求めたポルタメント区間内で滑らかに変化するピ
ッチ周波数が求められ、サンプリング時間単位のピッチ
周波数を求められる。その後ステップS801へ戻る
(ステップS804)。
【0024】以上の処理により、生成されたポルタメン
ト付加後のピッチパターンを図32(b)に示す。次
に、上述の処理によりポルタメントが付加されたピッチ
パターンに、更に以下の処理でビブラートが付加され
る。
【0025】図31は、ビブラート生成部3133の構
成図である。ビブラート生成部3133は、ビブラート
・パラメータ31331、ビブラート生成規則3133
2、ビブラート処理部31333により構成される。
【0026】次に、ビブラート処理部31333におけ
る動作について、図36の動作フローチャートを用いて
説明する。 1). ピッチ周波数が一定の区間(定常部)があるか否か
が判定され、なければ処理を終了し、あれば次のステッ
プS902へ進む(ステップS901)。
【0027】2). 定常部の長さが、予め定められた基準
値以上であるか否かが判定され、基準値以上であれば次
のステップへ進み、基準値以下であればステップS90
1へ戻る(ステップS902)。
【0028】3). ビブラート・パラメータ31331が
取り出される。本来周波数変調であるビブラートのビブ
ラート・パラメータとは、ピッチ周波数の定常部に数H
zの周波数変調を周期的に与えるためのパラメータで、
そのパラメータは変調周波数、変調信号の振幅等である
(ステップS903)。
【0029】4). ビブラート生成規則31332を用い
て、ビブラート信号が生成される。ビブラート生成規則
とは、ビブラートを付ける際のビブラート信号である変
調周波数、変調信号の振幅等の規則を定めたものである
(ステップS904)。
【0030】5). 前ステップで生成された変調信号であ
るビブラート信号によって、定常ピッチ周波数にビブラ
ートが付加される。そして、終了後ステップS901へ
戻る(ステップS905)。
【0031】以上の処理により、図32(b)のように
ポルタメントが付加されたピッチパターンに、更にビブ
ラートが付加されて、図32(c)に示すようなピッチ
パターンが生成される。
【0032】次に、図28の音量情報生成部314の音
量情報生成の動作について、図37の動作フローチャー
トを用いて説明する。 1). 楽譜情報から音量記号が取り出される。音量記号と
は、ピアノ、フォルテ等の音の強弱を示す記号である
(ステップS1001)。
【0033】2). 取り出された音量記号に対応する音量
調整量が変換テーブルから検索される(ステップS10
02)。 3). 楽譜情報から音量調整の開始タイミング、音量調整
の時間が取り出されるとともに、前ステップで生成され
た音量調整量が開始タイミングから所定の時間分だけ基
準音量に加算、または減算される(ステップS100
3)。
【0034】図27の歌声信号生成部32は、上記で生
成されたピッチ周波数、音量情報、音符長時間情報及び
表音記号から歌声信号を生成するものであり、例えばP
ARCOR(パコール)方式などによる音声合成装置が
使用される。各パートの歌声信号合成部3a,3b,3
cの歌声信号生成部32で生成された歌声信号は、それ
ぞれ合唱信号生成部4で加算されて歌声出力部5へ出力
され、歌声出力部5(例えば、アンプを介したスピー
カ)から歌声として出力される。
【0035】
【発明が解決しようとする課題】従来の歌声合成装置に
おいては、自然な合唱の感じを出すために、合唱を構成
する各パートの音の高さ(ピッチ)の変化が、図32
(a)のように不連続でなく、滑らかにするために、合
唱の歌声の楽音信号に、前述のような一種のポルタメン
トが付加された。そして、それにビブラートが付加され
た。
【0036】しかし、上記ポルタメントやビブラートが
付加される際、ポルタメントやビブラートの生成パラメ
ータや生成規則が、各パートで同じであるために、各パ
ートの歌声に同じポルタメントやビブラートが付加され
る結果となった。
【0037】また、あるピッチの音符から、異なるピッ
チの次の音符へ進む際に、各パートの音符長時間が同一
なため、各パートの歌声が完全に同一のタイミングで、
次の音符に進むことになった。
【0038】その他、各パートに同じパラメータを有す
るビブラートが付加され、しかも、そのビブラートは、
人が歌うときに通常、観察される不規則な周波数ゆらぎ
を有するものではなく、定常ピッチを有する歌声の楽音
信号を、数Hzの変調周波数で変調する単純な周波数変
調であった。
【0039】更に、合唱において、あるパートのみが歌
唱するソロ(歌唱)時には、ソロでないときの音量と同
じ音量で演奏していたために、通常の合唱のときに比べ
て音量が下がって、歌声が小さく聞こえた。
【0040】以上の結果、合成される合唱の歌声が不自
然に聞こえ、温かみのある本物の合唱とは、かけ離れた
機械的な響きになってしまう、という問題点があった。
本発明の課題は、上記問題点を解決し、合唱本来の深み
のある自然な歌声を合成することが可能な歌声合成装置
を実現することにある。
【0041】
【課題を解決するための手段】図1は、本発明の原理ブ
ロック図であり、また、図2と図3は、それぞれ図1の
原理ブロック図の歌声信号合成手段(103)とピッチ
情報変更手段(107)の詳細原理ブロック図である。
【0042】本発明は、基本的に、楽譜/歌詞入力手段
(101)からの楽譜/歌詞情報をパート毎に分割する
パート分割手段(102)と、パート分割手段(10
2)によってパート毎に分割された楽譜/歌詞情報から
音符長時間情報とピッチ情報をパート毎に異なるように
変更させる音符長時間情報変更手段(106)とピッチ
情報変更手段(107)、及び特定パートの音量を変更
するための音量情報を変更する音量情報変更手段(10
8)からなる構成を有する。
【0043】次に、歌声信号合成手段(103)を有す
る。即ち、同手段は、パート毎に分割された楽譜/歌詞
情報と音符長時間情報変更手段(106)により変更さ
れた音素(時間)長情報と、ピッチ情報変更手段(10
7)により変更されたピッチ情報、及び音量情報変更手
段(108)により変更された音量情報に基づいてパー
ト毎に歌声信号を合成する手段である。
【0044】同手段は、図2に示すように、パート毎に
分割された歌詞情報から歌詞を子音と母音に分割して表
音記号を生成する表音記号生成手段(1031)と、パ
ート毎に分割された楽譜情報から歌声信号を合成する際
の表音記号に対応する音符長時間を生成する音符長時間
生成手段(1032)と、音符長時間に音符長時間情報
変更手段(106)が生成した音符長時間変動量とを加
算する音符長時間加算手段(1033)と、ピッチ情報
変更手段(107)のピッチ情報に基づいて、パート毎
の歌声信号のピッチを生成するピッチ生成手段(103
4)と、音量情報変更手段(108)の音量情報に基づ
いて、パート毎の音量を生成する音量情報生成手段(1
035)と、表音記号生成手段(1031)が生成する
表音記号、音符長時間加算手段(1033)により生成
された音符長時間、ピッチ情報生成手段(1034)に
より生成されたピッチ情報、及び音量情報生成手段(1
035)により生成された音量情報により歌声信号を生
成する歌声信号生成手段(1036)とから構成され
る。
【0045】次に、ピッチ情報変更手段(107)は、
図3に示すように、次のような手段から構成される。即
ち、同手段は、歌声信号のピッチの変化を滑らかにする
ためのポルタメントを、パート毎に変更するためのポル
タメント・パラメータ変更量を生成するポルタメント・
パラメータ変更量生成手段(1071)、または、歌声
信号に付加するビブラートを、パート毎に変えるための
ビブラート・パラメータ変更量を生成するビブラート・
パラメータ変更量生成手段(1072)、または歌声信
号に不規則なピッチ変動を与えるピッチゆらぎ生成手段
(1073)から構成される。
【0046】あるいは、ピッチ情報変更手段(107)
は、上記のポルタメント・パラメータ変更量生成手段
(1071)とビブラート・パラメータ変更量生成手段
(1072)、及びピッチゆらぎ生成手段(1073)
を併せ有するような構成にしてもよい。
【0047】
【作用】楽譜/歌詞入力手段(101)により入力され
た楽譜情報と歌詞情報が、パート分割手段(102)に
よりパート毎に分割され、楽譜情報の音符長時間情報
が、音符長時間情報変更手段(106)により、同じく
ピッチ情報が、ピッチ情報変更手段(107)により、
それぞれパート毎に異なるように変更される。
【0048】また、音量情報変更手段(108)によ
り、合唱のパートの内の1パートのみが歌唱されるソロ
の場合は、その音量を高めるために音量情報の変更が行
われる。
【0049】次に、歌声信号合成手段103に関して、
まず、図2に示すように、パート分割手段(102)に
よりパート毎に分割された歌詞情報から、表音記号生成
手段(1031)により、歌詞が子音と母音に分割され
て表音記号が生成される。
【0050】そして、その表音記号に対応する音符長時
間が、音符長時間生成手段(1032)により生成され
る。次に、その生成された音符長時間に、音符長時間情
報変更手段(106)が生成したパート毎に異なる音符
長時間変動量が、音符長時間加算手段(1033)によ
り加算される。
【0051】一方、ピッチ情報変更手段(107)が変
更したピッチ情報に基づいて、パート毎に異なる歌声信
号のピッチ情報が、ピッチ情報生成手段(1034)に
より生成されるとともに、音量情報変更手段(108)
が変更した音量情報に基づいて、前述のソロの場合の音
量情報が、音量情報生成手段(1035)により生成さ
れる。
【0052】このようにして、表音記号生成手段(10
31)が生成する表音記号、音符長時間加算手段(10
33)により生成された音素時間長、ピッチ情報生成手
段(1034)により生成されたピッチ情報、及び音量
情報生成手段(1035)により生成された前記音量情
報により、歌声信号が歌声信号生成手段(1036)に
より生成される。
【0053】生成されたそれぞれのパート毎に異なる音
符長時間や、ピッチを有する歌声信号が、合唱信号生成
手段(104)へ送られて加算されて、合唱信号が生成
される。その後、合唱信号は、例えば、アンプやスピー
カ等の歌声出力手段(105)により、歌声となって出
力される。
【0054】
【実施例】以下、図面を参照しながら本発明による実施
例について説明する。図4に本発明の実施例の全体構成
図を示す。以下の説明において、従来技術で使用した図
21〜図25の楽譜、楽譜情報、歌詞情報、パート分割
後の楽譜情報と歌詞情報、及び歌詞の表音記号、歌詞の
子音及び母音の各時間情報を使用するものとする。
【0055】図4において、まず楽譜/歌詞入力部1
に、図22に示す楽譜情報、歌詞情報が入力される。楽
譜情報はパソコン音楽演奏に使われている前述のMML
と呼ぶ記述言語で入力される。楽譜情報はオペレータが
楽譜を見ながら入力しても良いし、或いは、パソコン音
楽演奏のものを、そのまま使用する等が考えられる。ま
た、歌詞情報は楽譜情報に対応するものがオペレータの
入力等により入力される。
【0056】パート分割部2では、楽譜情報、歌詞情報
から各パート毎の情報(図23はソプラノに関する情報
であるが、同様の情報がアルト、テノール、バスに関し
ても生成される)に分割される。各パートの楽譜情報、
歌詞情報はそれぞれ別の歌声信号合成部3a,3b,3
cに入力され、歌声信号が合成される。
【0057】図5は、歌声信号合成部3の構成図で、歌
声信号合成部3は、韻律情報生成部31、歌声信号生成
部32により構成される。図6は、韻律情報生成部3
1、及び音符長時間情報変更部6の構成図である。韻律
情報生成部31は、表音記号生成部311、音符長時間
生成部312、ピッチ情報生成部313、音量情報生成
部314、音符長時間加算部315により構成される。
【0058】表音記号生成部311は、図23に示すよ
うに、パート毎に分割された歌詞情報から、歌詞を子
音、母音の各音素に分離して図24に示すような表音記
号群を生成する。
【0059】音符長時間生成部312は、図25に示す
ように、楽譜情報及び表音記号から各音素の時間情報を
生成する。生成方法は従来技術における方法と同様であ
る(図33の動作フローチャートを参照)。
【0060】音符長時間情報変更部6においては、各パ
ート毎に定常ピッチを有する各音符の演奏時間(以後、
音符長時間と呼ぶ)が互いに若干異なるように変更され
る。音符長時間情報変更部6は、音符長時間変動量生成
部61、誤差調整部62により構成される。
【0061】次に、音符長時間変動量生成部61、誤差
調整部62における動作について、図14の動作フロー
チャートを用いて説明する。 1). 先ず、パート間の時間調整が必要か否かが判定され
る。パート間の時間調整とは、例えば休止符の後の歌い
始めでは、パート毎に楽音発生のタイミングにズレがあ
ると、不自然に聞こえるので、パート間のズレが発生し
ないように時間調整が必要である(ステップS10
1)。
【0062】2). パート間の時間調整が必要であれば、
誤差調整部62によって、音符長時間変動量に音符長累
積時間変動量に逆の符号を付加したもの(正の数であれ
ば負の数に、負の数であれば正の数に変換する)が代入
される。これは各パート間で今までに蓄積された歌声の
時間的なズレを全てクリアすることを意味する(ステッ
プS107)。
【0063】3). 次に、音符長累積時間変動量に“0”
が代入される。これは前ステップと同様の理由で、蓄積
された音符長時間の変動を全てクリアすることを意味す
る。処理終了後、ステップS109に進む(ステップS
108)。
【0064】4). ステップS101においてパート間の
時間調整が不要であれば、乱数が発生される。この乱数
によって発生される値は、歌詞情報から生成される音符
長時間に比較すればかなり小さな値であり、正または負
の値を有する(ステップS102)。
【0065】5). 音符長時間変動量が生成される。この
ため、前ステップで生成された乱数の値が音符長時間変
動量に代入される(ステップS103)。 6). (音符長累積時間変動量+音符長時間変動量)の値
が、許容範囲内であるか否かが判定される。これは例え
ば、以前の音符長時間変動量に正または負の値が大きか
った場合、音符長累積時間変動量が徐々に蓄積されて、
歌声を再生したときにズレが大きくなり過ぎてかえって
不自然に聞こえるのを避けるための処理である。許容範
囲内であればステップS105に進み、許容範囲外であ
ればステップS106に進む(ステップS104)。
【0066】7). 前ステップで許容範囲内であれば(音
符長累積時間変動量+音符長時間変動量)の値が、音符
長累積時間変動量に代入される。この音符長累積時間変
動量は、それまでに蓄積された歌声のズレを表してい
る。処理終了後、ステップS109に進む(ステップS
105)。
【0067】8). ステップS104で許容範囲外であれ
ば、誤差調整部62によって、音符長時間変動量に0が
代入されてステップS109に進む。これは歌声のズレ
が許容範囲を越えないようにするために行われる(ステ
ップS106)。
【0068】9). 以上により生成された音符長時間変動
量は、該当するパートの韻律情報生成部31内の音符長
時間加算部315へ出力される(ステップS109)。
このようにして、韻律情報生成部31内の音符長時間加
算部315で、音符長時間情報変更部6で生成された音
符長時間変動量が、音符長時間生成部312で生成され
た音符長時間に加算される。
【0069】この場合、音符長時間の変更がパート毎に
行われるため、パート毎に異なった音符長時間のズレを
付加することが可能で、図20にその一例を示す(従来
技術では定常ピッチの変化点は、全てのパートにおい
て、音符長時間が同じであった)。
【0070】次に、図7はピッチ情報生成部313、ピ
ッチ情報変更部7の詳細を示した構成図である。ピッチ
情報生成部313は、基本ピッチ生成部3131、ポル
タメント生成部3132、ビブラート生成部3133、
ピッチゆらぎ生成部3134から構成される。基本ピッ
チ生成部3131におけるピッチパターンの生成方法
は、従来技術で説明した方法と全く同じである(図34
のフローチャートを参照)。
【0071】但し、音符長時間が各パート毎に変動する
ため、定常ピッチの長さもパート毎に若干異なってい
る。ポルタメント生成部3132は、主として基本ピッ
チ生成部3131で生成された基本ピッチの不連続部分
を、実際の合唱の場合のように連続的にし、且つ滑らか
な線を形成するためのものである。
【0072】次に、図8にポルタメント生成部313
2、ピッチ情報変更部7の詳細な構成図を示す。ポルタ
メント生成部3132は、ポルタメント・パラメータ3
1321、ポルタメント生成規則31322、ポルタメ
ント処理部31323、ポルタメント・パラメータ変更
部31324により構成される。
【0073】次に、図15のポルタメント生成に関する
動作フローチャートを用いて、ポルタメント生成の動作
について説明する。ポルタメント生成は、各パート毎に
別々に処理されるため、パート毎に違ったポルタメント
を付加することが可能である(但し、従来技術ではポル
タメント生成パラメータ、ポルタメント生成規則が全て
のパートで同じであったために、同じポルタメントしか
付加されなかった)。
【0074】1). まず、ピッチの変化があるか否かが判
定される。ピッチの変化は、図32(a)のピッチパタ
ーンの不連続部分のことで、なければ処理は終了し、あ
れば次のステップS202へ進む(ステップS20
1)。
【0075】2). ポルタメント・パラメータ31321
が取り出される。あるピッチ周波数から異なるピッチ周
波数へ移る場合、周波数の差によっては、そのポルタメ
ントのピッチ曲線の傾きやポルタメント時間等のパラメ
ータを変えなければいけない。そのため、それらのパラ
メータが取り出される(ステップS202)。
【0076】3). ピッチ情報変更部7内のポルタメント
・パラメータ変更量生成部71(図8)において、乱数
が発生される。乱数は、ポルタメントの傾き、ポルタメ
ント時間等のポルタメント・パラメータに対応する数だ
け発生させる必要がある(ステップS203)。
【0077】4). 前ステップで発生した乱数がポルタメ
ント・パラメータ変更量として、ポルタメント・パラメ
ータ変更部31324へ出力される(ステップS20
4)。
【0078】5). 各ポルタメント・パラメータの値に、
ポルタメント・パラメータ変更量の値を加算して、新た
なポルタメント・パラメータに変更される(ステップS
205)。
【0079】6). ポルタメント生成規則31322を用
いて、前ステップで生成したポルタメント・パラメータ
に基づいて、ピッチ周波数の変化点から前後にどれだけ
の時間をポルタメント区間として割り当てるかが求めら
れる(ステップS206)。
【0080】7). ポルタメント生成規則31322を用
いて、前ステップで求めたポルタメント区間内で滑らか
に変化するピッチ周波数の変化曲線が求められ、サンプ
リング時間単位のピッチ周波数が生成される。その後、
ステップS201へ戻る(ステップS207)。
【0081】以上の処理により、生成されたポルタメン
ト付加後のピッチパターンの拡大した図を図12に示す
(但し、ソプラノとアルトの2パートのみを表し、他の
パートは省略する)。このピッチパターンは、前述した
音符長時間変動量を付加した後のものであり、各パート
間でのピッチの変化点のズレ、ポルタメント区間のピッ
チ変化カーブの傾き、ポルタメントが付加される時間が
それぞれ異なることを表している。
【0082】次に、図9はビブラート生成部3133、
ピッチ情報変更部7の詳細な構成図である。ビブラート
生成部3133は、ビブラート・パラメータ3133
1、ビブラート生成規則31332、ビブラート処理部
31333、ビブラート・パラメータ変更部31334
よりなる。
【0083】次に、ビブラート生成部3133、ピッチ
情報変更部7内のビブラート・パラメータ変更量生成部
72における動作について、図16の動作フローチャー
トを用いて、以下に説明する。この場合、ビブラートの
生成はパート毎に行われるため、パート毎に違ったビブ
ラートを付加することも可能である(従来技術ではビブ
ラート生成パラメータ、ビブラート生成規則が同じであ
ったため、各パートで同じビブラートしか付加できなか
った)。
【0084】1). ピッチ周波数が一定の区間(定常部)
があるか否かが判定され、なければ処理を終了し、あれ
ば次のステップS302へ進む(ステップS301)。 2). 次に、定常部の長さが、予め定められた基準値(パ
ート毎に異なる基準値を用いることもできる)以上か否
かが判定され、基準値以上であれば次のステップS30
3へ進み、基準値以下であれば、ビブラートの付加が困
難であるため、ステップS301へ戻る(ステップS3
02)。
【0085】3). 次にステップS302において、前述
したビブラート・パラメータ31331が取り出され
る。本来周波数変調であるビブラートのビブラート・パ
ラメータは、ピッチ周波数の定常部に若干の周波数変調
(通常、6〜7Hz位)を周期的に与えるためのパラメ
ータで、そのパラメータは変調周波数と変調信号の振幅
等である。
【0086】4). ピッチ情報変更部7内のビブラート・
パラメータ変更量生成部72において乱数が発生され
る。発生される乱数の数は、前ステップで取り出したビ
ブラート・パラメータの数である(ステップS30
4)。
【0087】5). 前ステップで発生した乱数がビブラー
ト・パラメータ変更量として、ビブラート・パラメータ
変更部31334へ出力される(ステップS305)。 6). ビブラート・パラメータに、ビブラート・パラメー
タ変更量が加算されて新たなビブラート・パラメータに
変更される(ステップS306)。
【0088】7). 前述したビブラート・パラメータとビ
ブラート生成規則31332を用いてビブラート信号が
生成される。ビブラート生成規則とは、ビブラートを付
加する際の変調周波数と変調信号の振幅等の規則を定め
たものであり、例えば変調信号の振幅をピッチ周波数の
定常部の後ろへいく程大きくするといった規則である
(ステップS307)。
【0089】8). 前ステップで生成されたビブラート信
号を周波数変調信号として用いて、定常のピッチ周波数
を有する歌声信号を周波数変調することにより、ビブラ
ートが定常のピッチを有する歌声信号に付加される。終
了後ステップS301へ戻る(ステップS308)。
【0090】以上の処理により、各パート毎に異なった
ビブラートが生成される。例えば、ビブラートの変調周
波数がパート毎に異なったり、或いは周波数変調の変調
信号の振幅が各パート毎に異なったビブラートが各歌声
信号に付加される。
【0091】次に、図17の動作フローチャートを用い
て、図7のピッチ情報変更部7内におけるピッチゆらぎ
の生成、及び付加方法の動作について説明する。ビブラ
ートが規則的にピッチ周波数を変動させるのに対して、
ピッチゆらぎは、不規則にピッチ周波数を変動させるも
のである。ピッチゆらぎは通常、ビブラートに比べてピ
ッチ周波数の変動は小さい。
【0092】1). 図7のピッチ情報変更部7のピッチゆ
らぎ情報生成部73において、乱数が発生される。この
乱数は後述のように、定常ピッチ内のどの位置にピッチ
ゆらぎを付加するかを決めるためのものと、上述の変調
信号の振幅、つまり周波数変調度を決めるために用いら
れる(ステップS401)。
【0093】2). ピッチゆらぎが生成される。前ステッ
プで生成された乱数によって、ピッチゆらぎが付加され
る箇所や、変調度が定められたピッチゆらぎが生成さ
れ、ピッチゆらぎ生成部3134へ出力される(ステッ
プS402)。
【0094】ピッチゆらぎ生成部3134において、ポ
ルタメント及びビブラートが付加された後のピッチ周波
数に、ピッチゆらぎが付加される。以上の処理により、
ビブラートとは異なる不規則な周波数変調を、歌声信号
のピッチ周波数に付加することができる。
【0095】次に、図18の動作フローチャートを用い
て、合唱の特定パートのみが演奏されるソロ部分を検出
してその時の音量を調整するときの動作について説明す
る。 1). 楽譜情報から前述の音の強弱を示す音量記号が取り
出される。(ステップS501)。
【0096】2). 取り出された音量記号から音量調整量
が検索される。音量調整量は変換テーブルとして格納さ
れており、音量記号に対応する音量調整量が検索される
(ステップS502)。
【0097】3). 次に、現在処理中のパートがソロであ
るか否かが判定される。この場合、他の全てのパートの
楽譜情報が、休止符であればソロであると判定される。
ソロであれば次のステップS504へ、ソロでなければ
ステップS505へ進む。
【0098】図19は、ソロか否かを判別する回路の一
例である。図19において、各パートの楽譜情報が休止
符判定部811a,811b,811c,・・・811
nに入力される。同休止符判定部811は、休止符であ
れば“0”を出力し、休止符でなければ“1”を出力す
る。例えばパート1が休止符でなく、それ以外のパート
が全て休止符であればANDゲート812aは“1”を
出力する。その結果パート1はソロであることが判定さ
れ(ステップS503)、パート1の音量調整量が増や
される(ステップS504)。また、ANDゲート82
1b,821c,821dは“0”を出力しパート2,
3,4の音量調整量はそのままである。
【0099】4). 楽譜情報から音量調整の開始タイミン
グ、調整時間が取り出され、前ステップで生成された音
量調整量を開始タイミングから所定時間分だけ基準音量
に加算、減算される(ステップS505)。
【0100】図5の歌声信号生成部32は、上記で生成
されたピッチ周波数、音量情報、音符長時間、及び表音
記号から歌声を合成するものであり、PARCOR方式
などによる音声合成装置が使用される。
【0101】図11は、歌声信号生成部32の一例を示
したものであり、PARCOR合成装置の構成図であ
る。PARCOR合成装置で合成に必要な情報は音源振
幅A、音源周期T及びPARCOR係数である。音源振
幅Aによって音声の強さ(音量)が決まり、本発明の場
合には、音量情報生成部314(図6)で生成された音
量情報によって音源振幅Aが一意的に求まる。また、音
源周期Tによって音声の高さが決まり、本発明の場合に
は、図6のピッチ情報生成部313で生成されたポルタ
メント、ビブラート、ピッチゆらぎ等が付加された後の
ピッチパターンにより一意的に求まる。
【0102】PARCOR係数は、自己相関関数法を用
いて求めることが可能であり、仮に1フレームを20m
s(1秒に50フレーム)とし、PARCOR係数の数
が10、各係数が10ビットで表すことができるとする
と、10×10×50=5000bpsの情報量で1秒
間の音声を再生することができる。“あ”、“い”、
“う”、“え”、“お”といった母音の音声を再生する
場合、PARCOR係数はそれぞれ異なるものが必要と
なるため、各々の係数を格納しておく必要がある。
【0103】図11のインパルス発生器で生成されるパ
ルスは、音源振幅A、音源周期Tで求めることが可能で
あり、前述のとおり、ピッチ周波数、音量情報、音素
(時間)長により生成可能である。インパルス発生器
は、主として母音を再生する際に選択される。仮にピッ
チ周期が250Hz、サンプル周期を8kHzとする
と、図13に示すようにパルス幅が125μs、周期が
4msのパルスが発生する。パルスの振幅は音量情報に
よって定まる。
【0104】図11の白色雑音発生器で生成されるパル
スは、ランダムに発生する雑音であり、主として子音を
再生する際に選択される。フィルタ部において、音声ス
ペクトルを持った信号が生成される。α1,α2,α3,---,
αp はPARCOR係数であり、例えば“あ”を再生す
るのであれば母音のPARCOR係数の中から“あ”に
相当するものが20msおきに順次入力され、“あ”に
相当するような音声スペクトルに再生されてローパスフ
ィルタLPFを通して出力される。子音の場合も同様な
処理が行われる。従って、歌詞情報から生成される表音
記号から選択されたPARCOR係数が、音符長時間で
表される時間の間、1フレームである20ms毎に更新
されて音声スペクトルが出力され、この処理を表音記号
及び音素長を順次読み込んで繰り返すことによって、歌
声が再生される。
【0105】各パートの歌声信号合成部3の歌声信号生
成部32で生成された音声合成波形である歌声信号は、
合唱信号生成部4で加算された後、特には図示しないD
/A変換器でアナログ信号に変換されて出力される。
【0106】そして、合唱生成部4で生成された合唱信
号は、歌声出力部5(例えば、アンプを介したスピー
カ)で実際に歌声として出力される。本発明の実施例で
は、PARCOR合成装置を用いたが、音声合成装置は
PARCOR方式に限らずLSP(線スペクトル対)方
式、波形編集方式、ホルマント合成方式等の音声合成装
置であっても実現可能であることは言うまでもない。
【0107】なお、本実施例では、複数のパートを有す
る合唱の場合を説明したが、本発明は、合唱に限定され
ることなく、例えば、斉唱の場合の歌声合成にも実施可
能である。
【0108】この場合、例えば複数のパートに同じ楽譜
情報と歌詞情報を与え、それぞれのパート毎に、歌声の
音符長時間やピッチを僅かずらしたり、ビブラートやポ
ルタメント、あるいはピッチゆらぎを付加することによ
り、実際の斉唱に近い感じの歌声を合成することが可能
である。
【0109】
【発明の効果】本発明によれば、合唱を構成する各パー
トが演奏する歌声のピッチ、及び音符長時間を、それぞ
れパート毎に僅かに異なるようにすることができる。ま
た、歌声のピッチが変化する際に、そのピッチが不連続
に変化するのではなく、滑らかに変化させるために、従
来から短い一種のポルタメントが、元のピッチ変化に付
加されていたが、本発明では、ポルタメントを付加する
タイミングや、ポルタメントによるピッチ変化の傾き等
のポルタメント・パラメータか、各パート毎に僅かに異
なったポルタメントを、各パートの歌声信号に付加する
ことができる。
【0110】また、ビブラートの開始タイミング、ビブ
ラートの変動周波数、及びビブラートの振幅等のビブラ
ート・パラメータが、各パート毎に僅かに異なったビブ
ラートを、各パートの歌声に付加することができる。し
かも、そのビブラートも従来のような単純なものでな
く、例えば同じピッチの歌声が一定時間続く場合に、次
第にビブラートのかけ方を深くするようななことも可能
である。
【0111】更に、乱数に基づいて発生される「ゆら
ぎ」を用いて、ピッチを微妙に変化させたり、あるいは
上記ポルタメントやビブラートの各パラメータを、実際
の合唱の場合と同じように不規則に変化させることがで
きる。
【0112】また、例えば4部合唱において、3つのパ
ートが休み、1つのパートのみが歌唱するソロの場合、
従来は全体の音量が下がったが、本発明によれば、全体
の音量の低下をある程度防ぐことができる。
【0113】以上の結果、本発明に基づく歌声合成装置
によれば、機械的でない、人間的な自然な響きを伴った
合唱または斉唱の歌声を合成し、演奏することが可能と
なる。
【図面の簡単な説明】
【図1】本発明の原理ブロック図である。
【図2】歌声信号合成手段103の詳細原理ブロック図
である。
【図3】ピッチ情報変更手段107の詳細原理ブロック
図である。
【図4】本発明の実施例の全体構成図である。
【図5】歌声信号合成部の構成図である。
【図6】韻律情報生成部と音符長時間情報変更部の構成
図である。
【図7】ピッチ情報生成部とピッチ情報変更部の構成図
である。
【図8】ポルタメント生成部とピッチ情報変更部の構成
図である。
【図9】ビブラート生成部とピッチ情報変更部の構成図
である。
【図10】音量情報変更部と音量情報生成部の構成図で
ある。
【図11】歌声信号生成部(PARCOR合成装置)の
構成図である。
【図12】ポルタメント付加後のピッチパターンを示す
図である。
【図13】インパルス発生器で生成される音源を示す図
である。
【図14】音符長時間の変更に関する動作フローチャー
トである。
【図15】ポルタメント生成に関する動作フローチャー
トである。
【図16】ビブラート生成に関する動作フローチャート
である。
【図17】ピッチゆらぎ生成に関する動作フローチャー
トである。
【図18】音量調整に関する動作フローチャートであ
る。
【図19】ソロ検出部の回路図である。
【図20】各パートに異なる音符長時間を与えた一例を
示す図である。
【図21】四分合唱の楽譜の一例を示す図である。
【図22】楽譜情報、歌詞情報を示す図である。
【図23】パート分割後の楽譜情報、歌詞情報(ソプラ
ノ)を示す図である。
【図24】歌詞の表音記号(ソプラノ)を示す図であ
る。
【図25】歌詞の子音及び母音の各時間情報を示す図で
ある。
【図26】従来の歌声信号合成装置の全体構成図であ
る。
【図27】従来の歌声信号合成装置の構成図である。
【図28】従来の韻律情報生成部の構成図である。
【図29】従来のピッチ情報生成部の構成図である。
【図30】従来のポルタメント生成部の構成図である。
【図31】従来のビブラート生成部の構成図である。
【図32】ピッチパターンの生成過程を示す図である。
【図33】従来の音符長時間情報と音素時間情報生成に
関する動作フローチャートである。
【図34】従来のピッチパターン生成に関する動作フロ
ーチャートである。
【図35】従来のポルタメント生成に関する動作フロー
チャートである。
【図36】従来のビブラート生成に関する動作フローチ
ャートである。
【図37】従来の音量情報生成に関する動作フローチャ
ートである。
【符号の説明】
1 楽譜、歌詞入力部 2 パート分割部 3a、3b、3c 歌声信号合成部 31 韻律情報生成部 32 歌声信号生成部 311 表音記号生成部 312 音符長時間生成部 313 ピッチ情報生成部 3131 基本ピッチ生成部 3132 ポルタメント生成部 31321 ポルタメント・パラメータ 31322 ポルタメント生成規則 31323 ポルタメント処理部 31324 ポルタメント・パラメータ変更部 3133 ビブラート生成部 31331 ビブラート・パラメータ 31332 ビブラート生成規則 31333 ビブラート処理部 31334 ビブラート・パラメータ変更部 3134 ピッチゆらぎ生成部 314 音量情報生成部 315 音符長時間加算部 4 合唱信号生成部 5 歌声出力部 6 音符長時間情報変更部 61 音符長時間変動量生成部 62 誤差調整部 7 ピッチ情報変更部 71 ポルタメント・パラメータ変更量生成部 72 ビブラート・パラメータ変更量生成部 73 ピッチゆらぎ情報生成部 8 音量情報変更部 81 ソロ検出部 811a,811b,811c,・・・811n 休
止符判定部 812a、812b、812c、812d AND
ゲート
フロントページの続き (56)参考文献 特開 平4−349497(JP,A) 特開 昭63−142394(JP,A) 特開 平2−127694(JP,A) 特開 平2−7097(JP,A) 特開 平2−27397(JP,A) 特開 平5−73052(JP,A) (58)調査した分野(Int.Cl.7,DB名) G10L 13/00

Claims (8)

    (57)【特許請求の範囲】
  1. 【請求項1】 歌の楽譜情報と歌詞情報を入力する楽
    譜、歌詞情報入力手段と、 該楽譜情報と歌詞情報を合唱の複数のパート毎に分割す
    るパート分割手段と、 前記楽譜情報に含まれる音符長時間情報を、前記パート
    毎に異なるように変更するための音符長時間情報変更手
    段と、 前記楽譜情報に含まれるピッチ情報を、前記パート毎に
    異なるように変更するピッチ情報変更手段と、 前記複数のパートの中の1パートのみが演奏される際
    に、該パートの演奏の音量を定める音量情報を変更する
    音量情報変更手段と、 前記パート毎に分割された前記楽譜情報と歌詞情報及び
    前記音符長時間情報変更手段の音符長時間情報、前記ピ
    ッチ情報変更手段のピッチ情報、前記音量情報変更手段
    の音量情報に基づいてパート毎に歌声信号を合成し出力
    する歌声信号合成手段と、 該歌声信号合成手段によりパート毎に合成された前記歌
    声信号を用いて前記合唱の歌声信号を生成する合唱信号
    生成手段と、 該合唱信号生成手段により生成された前記合唱信号によ
    り合唱の歌声を出力する歌声出力手段と、 を有することを特徴とする歌声合成装置。
  2. 【請求項2】 歌の楽譜情報と歌詞情報を入力する楽
    譜、歌詞情報入力手段と、 該楽譜情報と歌詞情報を合唱の複数のパート毎に分割す
    るパート分割手段と、 前記楽譜情報に含まれる音符長時間情報を、前記パート
    毎に異なるように変更する音符長時間情報変更手段と、 前記パート毎に分割された前記楽譜情報と歌詞情報及び
    前記音符長時間情報変更手段からの音符長時間情報に基
    づいてパート毎に歌声信号を合成し出力する歌声信号合
    成手段と、 前記歌声信号合成手段によりパート毎に合成された前記
    歌声信号を用いて前記合唱の歌声信号を生成する合唱信
    号生成手段と、 該合唱信号生成手段により生成された前記合唱の歌声信
    号から合唱の歌声を出力する歌声出力手段と、 を有することを特徴とする歌声合成装置。
  3. 【請求項3】 歌の楽譜情報と歌詞情報を入力する楽
    譜、歌詞情報入力手段と、 該楽譜情報、歌詞情報を合唱の複数のパート毎に分割す
    るパート分割手段と、 前記楽譜情報に含まれる音符長時間情報を、前記パート
    毎に異なるように変更するための音符長時間情報変更手
    段と、 前記楽譜情報に含まれる前記歌声のピッチ情報を、前記
    パート毎に異なるように変更するピッチ情報変更手段
    と、 前記パート毎に分割された前記楽譜情報と歌詞情報及び
    前記音符長情報変更手段の音符長時間情報、前記ピッチ
    情報変更手段のピッチ情報に基づいて前記パート毎に歌
    声信号を合成し出力する歌声信号合成手段と、 該歌声信号合成手段によりパート毎に合成された前記歌
    声信号を用いて前記合唱の歌声信号を生成する合唱信号
    生成手段と、 該合唱信号生成手段により生成された前記合唱の歌声信
    号から合唱の歌声を出力する歌声出力手段と、 を有することを特徴とする歌声合成装置。
  4. 【請求項4】 前記ピッチ情報変更手段は前記歌声信号
    のピッチの変化を滑らかにするためのポルタメントをパ
    ート毎に変更するためのポルタメント・パラメータ変更
    量を生成するポルタメント・パラメータ変更量生成手段
    を、 有することを特徴とする請求項1または3のいずれか1
    項に記載の歌声合成装置。
  5. 【請求項5】 前記ピッチ情報変更手段は前記歌声信号
    に付加するビブラートをパート毎に変えるためのビブラ
    ート・パラメータ変更量を生成するビブラート・パラメ
    ータ変更量生成手段を、 有することを特徴とする請求項1または3のいずれか1
    項に記載の歌声合成装置。
  6. 【請求項6】 前記ピッチ情報変更手段は前記歌声信号
    に不規則なピッチ変動を与えるピッチゆらぎ生成手段
    を、 有することを特徴とする請求項1または3のいずれか1
    項に記載の歌声合成装置。
  7. 【請求項7】 前記ピッチ情報変更手段は前記ポルタメ
    ント・パラメータ変更量生成手段と、 前記ビブラート・パラメータ変更量生成手段と、 前記ピッチゆらぎ生成手段と、 を併せ有することを特徴とする請求項1または3のいず
    れか1項に記載の歌声合成装置。
  8. 【請求項8】 前記歌声信号合成手段は前記パート毎に
    分割された歌詞情報から歌詞を子音と母音に分割して表
    音記号を生成する表音記号生成手段と、 前記パート毎に分割された楽譜情報から前記歌声信号を
    合成する際の前記表音記号に対応する音符長時間を生成
    する音符長時間生成手段と、 前記音符長時間に前記音符長時間情報変更手段が生成し
    た音符長時間変動量とを加算する音符長時間加算手段
    と、前記表音記号生成手段が生成する表音記号、前記音符長
    時間加算手段により生成された音符長時間により 歌声波
    形を生成する歌声信号生成手段と、 を有することを特徴とする請求項2に記載の歌声合成装
    置。
JP29632493A 1993-11-26 1993-11-26 歌声合成装置 Expired - Fee Related JP3333022B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP29632493A JP3333022B2 (ja) 1993-11-26 1993-11-26 歌声合成装置
US08/310,788 US5642470A (en) 1993-11-26 1994-09-27 Singing voice synthesizing device for synthesizing natural chorus voices by modulating synthesized voice with fluctuation and emphasis

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP29632493A JP3333022B2 (ja) 1993-11-26 1993-11-26 歌声合成装置

Publications (2)

Publication Number Publication Date
JPH07146695A JPH07146695A (ja) 1995-06-06
JP3333022B2 true JP3333022B2 (ja) 2002-10-07

Family

ID=17832068

Family Applications (1)

Application Number Title Priority Date Filing Date
JP29632493A Expired - Fee Related JP3333022B2 (ja) 1993-11-26 1993-11-26 歌声合成装置

Country Status (2)

Country Link
US (1) US5642470A (ja)
JP (1) JP3333022B2 (ja)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5369704A (en) * 1993-03-24 1994-11-29 Engate Incorporated Down-line transcription system for manipulating real-time testimony
US6362409B1 (en) 1998-12-02 2002-03-26 Imms, Inc. Customizable software-based digital wavetable synthesizer
JP2921428B2 (ja) * 1995-02-27 1999-07-19 ヤマハ株式会社 カラオケ装置
US5998725A (en) * 1996-07-23 1999-12-07 Yamaha Corporation Musical sound synthesizer and storage medium therefor
JPH10319947A (ja) * 1997-05-15 1998-12-04 Kawai Musical Instr Mfg Co Ltd 音域制御装置
JP3365354B2 (ja) * 1999-06-30 2003-01-08 ヤマハ株式会社 音声信号または楽音信号の処理装置
JP3879402B2 (ja) * 2000-12-28 2007-02-14 ヤマハ株式会社 歌唱合成方法と装置及び記録媒体
JP3838039B2 (ja) * 2001-03-09 2006-10-25 ヤマハ株式会社 音声合成装置
KR100418563B1 (ko) * 2001-07-10 2004-02-14 어뮤즈텍(주) 동기정보에 의한 미디음악 재생 방법 및 장치
KR20010088951A (ko) * 2001-08-22 2001-09-29 백종관 데이터 합성을 통한 노래 구현 시스템 및 그 응용
JP2003186500A (ja) * 2001-12-17 2003-07-04 Sony Corp 情報伝達システム、情報符号化装置および情報復号装置
US20030182106A1 (en) * 2002-03-13 2003-09-25 Spectral Design Method and device for changing the temporal length and/or the tone pitch of a discrete audio signal
JP4150198B2 (ja) * 2002-03-15 2008-09-17 ソニー株式会社 音声合成方法、音声合成装置、プログラム及び記録媒体、並びにロボット装置
KR20040015605A (ko) * 2002-08-13 2004-02-19 홍광석 가상노래 합성장치 및 방법
KR20040052110A (ko) * 2002-12-13 2004-06-19 에스케이 텔레콤주식회사 Tts를 이용한 코러스 및 아카펠라 구현방법
JP3864918B2 (ja) * 2003-03-20 2007-01-10 ソニー株式会社 歌声合成方法及び装置
JP3858842B2 (ja) * 2003-03-20 2006-12-20 ソニー株式会社 歌声合成方法及び装置
JP4483188B2 (ja) * 2003-03-20 2010-06-16 ソニー株式会社 歌声合成方法、歌声合成装置、プログラム及び記録媒体並びにロボット装置
JP2004287099A (ja) * 2003-03-20 2004-10-14 Sony Corp 歌声合成方法、歌声合成装置、プログラム及び記録媒体並びにロボット装置
JP4447857B2 (ja) * 2003-06-20 2010-04-07 株式会社エヌ・ティ・ティ・ドコモ 音声検出装置
JP4207902B2 (ja) 2005-02-02 2009-01-14 ヤマハ株式会社 音声合成装置およびプログラム
US20100043626A1 (en) * 2006-09-26 2010-02-25 Wen-Hsin Lin Automatic tone-following method and system for music accompanying devices
JP4821801B2 (ja) * 2008-05-22 2011-11-24 ヤマハ株式会社 音声データ処理装置及びプログラムを記録した媒体
JP4821802B2 (ja) * 2008-05-22 2011-11-24 ヤマハ株式会社 音声データ処理装置及びプログラムを記録した媒体
JP5092905B2 (ja) * 2008-05-30 2012-12-05 ヤマハ株式会社 歌唱合成装置およびプログラム
JP4844623B2 (ja) * 2008-12-08 2011-12-28 ヤマハ株式会社 合唱合成装置、合唱合成方法およびプログラム
JP5106437B2 (ja) * 2009-02-09 2012-12-26 株式会社東芝 カラオケ装置及びその制御方法並びにその制御プログラム
JP5479823B2 (ja) * 2009-08-31 2014-04-23 ローランド株式会社 効果装置
US8847056B2 (en) 2012-10-19 2014-09-30 Sing Trix Llc Vocal processing with accompaniment music input
JP5949607B2 (ja) * 2013-03-15 2016-07-13 ヤマハ株式会社 音声合成装置
US9123315B1 (en) * 2014-06-30 2015-09-01 William R Bachand Systems and methods for transcoding music notation
JP6036800B2 (ja) * 2014-12-29 2016-11-30 ヤマハ株式会社 音信号生成装置及びプログラム
JP6992612B2 (ja) * 2018-03-09 2022-01-13 ヤマハ株式会社 音声処理方法および音声処理装置
JP7343268B2 (ja) * 2018-04-24 2023-09-12 培雄 唐沢 任意信号挿入方法及び任意信号挿入システム
KR102495888B1 (ko) 2018-12-04 2023-02-03 삼성전자주식회사 사운드를 출력하기 위한 전자 장치 및 그의 동작 방법
US10902841B2 (en) 2019-02-15 2021-01-26 International Business Machines Corporation Personalized custom synthetic speech
CN110136689B (zh) * 2019-04-02 2022-04-22 平安科技(深圳)有限公司 基于迁移学习的歌声合成方法、装置及存储介质
US11257480B2 (en) * 2020-03-03 2022-02-22 Tencent America LLC Unsupervised singing voice conversion with pitch adversarial network

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63142394A (ja) * 1986-12-05 1988-06-14 ソニー株式会社 和声音付加装置
JPH0823746B2 (ja) * 1987-05-22 1996-03-06 ヤマハ株式会社 自動楽音発生装置
JP2518356B2 (ja) * 1988-06-27 1996-07-24 カシオ計算機株式会社 自動伴奏装置
JPH0227397A (ja) * 1988-07-15 1990-01-30 Matsushita Electric Works Ltd 音声合成歌唱装置
JPH02127694A (ja) * 1988-11-07 1990-05-16 Nec Corp 自動演秦装置
JP2800465B2 (ja) * 1991-05-27 1998-09-21 ヤマハ株式会社 電子楽器
JPH0573052A (ja) * 1991-09-17 1993-03-26 Casio Comput Co Ltd 楽音変調装置

Also Published As

Publication number Publication date
JPH07146695A (ja) 1995-06-06
US5642470A (en) 1997-06-24

Similar Documents

Publication Publication Date Title
JP3333022B2 (ja) 歌声合成装置
US5703311A (en) Electronic musical apparatus for synthesizing vocal sounds using format sound synthesis techniques
JP3102335B2 (ja) フォルマント変換装置およびカラオケ装置
US5939654A (en) Harmony generating apparatus and method of use for karaoke
CN101111884B (zh) 用于声学特征的同步修改的方法和装置
JP2000194360A (ja) 音の電子的発生方法及び装置
EP2362378A2 (en) Generation of harmony tone
Lindemann Music synthesis with reconstructive phrase modeling
US5862232A (en) Sound pitch converting apparatus
JPH11184490A (ja) 規則音声合成による歌声合成方法
Bonada et al. Singing voice synthesis combining excitation plus resonance and sinusoidal plus residual models
Berndtsson The KTH rule system for singing synthesis
JP5360489B2 (ja) 音素符号変換装置および音声合成装置
JP4844623B2 (ja) 合唱合成装置、合唱合成方法およびプログラム
JP4304934B2 (ja) 合唱合成装置、合唱合成方法およびプログラム
Strawn MODELING MUSICAL TRANSITIONS (DIGITAL SIGNAL PROCESSING, PERFORMANCE, FOURIER ANALYSIS, ACOUSTICS OF INSTRUMENTS)
JP3307283B2 (ja) 歌唱音合成装置
JP4757971B2 (ja) ハーモニー音付加装置
JPH11126083A (ja) カラオケ再生装置
JP2003015672A (ja) 声域告知機能付きカラオケ装置
JP2001155031A (ja) 曲検索システムの入力データ処理方法及びデータ入力装置
JP4180548B2 (ja) 声域告知機能付きカラオケ装置
JP5106437B2 (ja) カラオケ装置及びその制御方法並びにその制御プログラム
JPH0895588A (ja) 音声合成装置
JP2004061753A (ja) 歌唱音声を合成する方法および装置

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20020205

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20020716

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080726

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090726

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100726

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees