JPH11231884A - 音声合成装置およびその合成方法 - Google Patents

音声合成装置およびその合成方法

Info

Publication number
JPH11231884A
JPH11231884A JP10034559A JP3455998A JPH11231884A JP H11231884 A JPH11231884 A JP H11231884A JP 10034559 A JP10034559 A JP 10034559A JP 3455998 A JP3455998 A JP 3455998A JP H11231884 A JPH11231884 A JP H11231884A
Authority
JP
Japan
Prior art keywords
pitch
speech
range
parameter
scale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10034559A
Other languages
English (en)
Other versions
JP4207237B2 (ja
Inventor
Takashi Yato
隆 矢頭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP03455998A priority Critical patent/JP4207237B2/ja
Publication of JPH11231884A publication Critical patent/JPH11231884A/ja
Application granted granted Critical
Publication of JP4207237B2 publication Critical patent/JP4207237B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 音声合成で設定する標本化周波数がそのまま
でも、簡単な処理でより高精度な音程を実現する音声合
成装置およびその合成方法の提供。 【解決手段】 音声合成装置10は、インターフェース部
11から入力データを取り込み、入力データに応じたパラ
メータを合成パラメータ生成部12で生成する。合成パラ
メータ生成部12は、音声素片選択部12a,音素長生成部12
b,ピッチ生成部12c を備えている。ピッチ生成部12c
は、標準化周波数/所望の音階周波数で表される実数の
ピッチ周期Prを挟む整数のピッチ周期PM, PM+1の間の音
程を音程分割部120 で複数の所定の範囲に分割し、この
実数のピッチ周期Prがその範囲のどこにあるか範囲判定
部121 で判定した結果に応じてピッチ周期出力部122 か
ら音声合成に用いるピッチ周期のパラメータを選んで出
力して、音階周波数との誤差を従来に比べて小さく抑え
ている。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、供給されたデータ
を処理規則に応じた音声合成のパラメータにし、これら
の生成されたパラメータに応じた任意の音声を合成する
音声合成装置および音声合成方法に関し、特に、歌詞を
入力して歌声を合成する音声合成に用いて好適なもので
ある。
【0002】
【従来の技術】従来、文字列あるいは記号列をデータと
して入力し、このデータを所定の規則に従って音声に変
換して出力する音声合成装置がある。この音声合成装置
は、パラメータ生成部および音声合成部を備えている
(図示せず)。音声合成装置に供給されるデータが文字
列の場合、データとしては、文字の読み方、単語や文章
を読むときの抑揚や区切りの位置情報が提供される。音
声合成装置のパラメータ生成部は、供給されるデータに
基づいて声の高さを示すピッチ、声の大きさを示す音の
振幅、音韻の長さを表す継続時間等を韻律パラメータと
して生成し、この韻律パラメータを基に音韻系列に対応
する音声データを生成している。音声合成に必要な音声
データは、パラメータ生成部が含んでいる規則によって
すべて生成される。パラメータ生成部は、最終的に供給
されるデータを音声合成に必要なデータ形式にして音声
合成部に送出する。
【0003】音声合成部は、供給されるデータを線形予
測法に基づく音声合成方法あるいは時間領域の音声素片
波形をピッチ周期毎にずらして重ね合わせるピッチ同期
波形重畳法等によって音声を合成して出力している。
【0004】この音声合成装置は、予めパラメータの変
換規則を設定しておき、出力に用いるように予め人間の
発した音声を用意しておく必要がないので、文字列の作
成・編集を行うだけで任意の音声を合成している。この
ような特徴を有することから、音声合成装置は、たとえ
ば電子メールの読み上げやカーナビゲーションでの音声
地理案内等、種々の分野で利用され始めている。最近で
は、この音声合成装置は、娯楽的な用途において音声合
成により生成された歌声を出力するという要求もかなり
増加してきている。
【0005】ここで、音声合成におけるパラメータの変
換規則を適用して歌声の音声合成をする場合、歌の音階
に合わせてピッチを正確に与えることが重要なポイント
の一つになることが知られている。実際の歌声の音声合
成も、前述と同様に音声のピッチ周期に基づいて行われ
ている。すなわち、具体的には、前述した前者の音声合
成方法の場合、有音声の音原モデルであるパルス列の間
隔としてピッチが生成され、後者の音声合成方法の場
合、音声素片波形をピッチ周期毎にずらして重ね合わせ
て音声合成が行われている。
【0006】
【発明が解決しようとする課題】ところで、歌の音声合
成には、当然ながら音階が必要になる。この音階に必要
とされる音階周波数F は、基準とする音階の周波数F
base に対して変数m を用いて式(1)
【0007】
【数1】 F=Fbase ×2m/12 ・・・(1) によって与えられる。ここで、変数m は、・・・,-2, -1,
0, 1, 2,・・・ という値をとる。正式の音楽で基準を示す
中央ハ音は、261.63Hz等と規定されている。この基準に
基づいた音階と音階周波数F の関係は、 となる。
【0008】また、いずれの合成方法でも実現できるピ
ッチ周期は、音声合成の標本化周波数Sf(Sf:Sampling
frequency )で規定されるピッチ周期に限定される。パ
ラメータの変換規則を適用した音声合成には、一般に、
8 〜12kHz の標本化周波数が用いられている。ここで、
たとえば10kHz の標本化周波数を用いると、ピッチ周波
数Pfは、10000/n となる。ここで、サンプル数n は自然
数である。ある音階に対する標本点のサンプル数で表さ
れるピッチ周期P は、
【0009】
【数2】 P=Int(x)=Int(Sf/F)=n ・・・(2) で表される。ここで、サンプル数を示す変数x は実数で
Sf/Fに対応している。また、式(2) のInt 関数は入力さ
れた実数の小数点以下の部分を四捨五入して整数化する
機能を有する。これにより、たとえば標本化周波数10kH
z,音程を「ソ」(329Hzとすると、式(2) により10000/32
9=25.51 であるから、Int(25.51)=26 となる。このよう
な条件の基で音階周波数F に最も近いピッチ周波数Pfを
周波数Fnear とし、サンプル数n 、音階周波数F と最も
近い周波数Fnear(=Pf(n))との周波数の差ΔF を調べる
と、 : : 音階=ド F=261.63Hz Fnear= 263.15Hz n=38 ΔF=+1.52Hz 音階=ド# F=277.18Hz Fnear= 277.77Hz n=36 ΔF=+0.59Hz 音階=レ F=293.66Hz Fnear= 294.12Hz n=34 ΔF=+0.46Hz 音階=レ# F=311.13Hz Fnear= 312.50Hz n=32 ΔF=+1.37Hz 音階=ミ F=329.63Hz Fnear= 333.33Hz n=30 ΔF=+3.70Hz 音階=ファ F=349.23Hz Fnear= 344.83Hz n=29 ΔF=-4.40Hz 音階=ファ# F=369.99Hz Fnear= 370.37Hz n=27 ΔF=+0.38Hz 音階=ソ F=392.00Hz Fnear= 384.61Hz n=26 ΔF=-7.39Hz 音階=ソ# F=415.30Hz Fnear= 416.67Hz n=24 ΔF=+1.37Hz : : となり、サンプル数n の数値が小さくなる程、サンプリ
ングの間隔が粗くなって、かつ音階で必要とされる周波
数の差、すなわちΔF の数値が「ド」、「ファ」、
「ソ」に示されているように大きくなる傾向がある。こ
の結果が示すように、音階によっては、聴者の聴感上許
容範囲を越える誤差が生じることになる。この傾向を考
慮すると、正確な歌声の音声生成を行う際に、たとえば
声の高い女性の音声再生には大きな障害となることが予
測される。
【0010】この原因を回避するため音階の精度の向上
が望まれるが、そのためには音声合成の標本化周波数を
高くしなければならない。この結果、歌声の音声生成に
は音声素片の容量の増加し、かつ音声生成の信号処理等
の負担が重くなる。
【0011】この標本化周波数を高くする方法を用いる
ことなく、正確なピッチ周波数を与えるためにピッチ同
期波形重畳方法は、音声素片データが、標本化周波数の
それぞれ1周期毎の振幅データ系列として表現されてい
ることを考慮している。すなわち、この方法は上述した
条件を満足させるように標本化周波数の1周期より短い
間隔で位相をずらした波形の音声素片データを予め用意
するか、あるいは音声合成時にこの音声素片データを生
成して、生成した音声素片により音声合成する方法のい
ずれかによっている。しかしながら、このピッチ同期波
形重畳方法は、予め音声素片データを用意すると、その
データ容量が増大してしまい、音声素片データの生成を
音声合成時に行うと、信号処理の増加が余儀なくされ、
得策とはいえない。
【0012】本発明はこのような従来技術の欠点を解消
し、音声合成で設定する標本化周波数がそのままであり
ながら、簡単な処理でより高精度な音程を実現する音声
合成装置およびその合成方法を提供することを目的とす
る。
【0013】
【課題を解決するための手段】本発明の音声合成装置
は、上述の課題を解決するために、入力データに応じて
ピッチ、振幅、継続時間等の韻律パラメータを生成し、
その入力データから音韻の連続した音韻系列に対応した
音声データをパラメータとして生成するパラメータ生成
手段を備え、このパラメータ生成手段にて生成された音
声データに応じた音声の合成を音声合成の標本化周波数
に基づいて行う音声合成装置において、入力データがピ
ッチに関連した離散的な音の配列を音階とし、この音階
を表すピッチ周期が音声合成に用いる標本化周波数に含
まれる音階の周波数の個数で規定される場合、パラメー
タ生成手段が音階に対応して得られる実数のピッチ周期
に隣接するそれぞれの整数のピッチ周期の間の音程を複
数の所定の範囲に分けて、実数のピッチ周期が複数の所
定の範囲の内で、どの範囲内にあるかに応じて音声合成
に用いるピッチ周期のパラメータを選ぶピッチ周期選択
手段を含むことを特徴とする。
【0014】ここで、ピッチ周期選択手段は、整数のピ
ッチ周期の間の音程を所定の範囲に分ける範囲分割手段
と、この範囲分割手段により分割された範囲の中で実数
のピッチ周期を含む範囲を選ぶ範囲選択手段と、この範
囲選択手段が選んだ範囲に対応するピッチ周期を音声合
成に用いるピッチ周期として選んだパラメータを出力す
るピッチ周期出力手段とを含むことが好ましい。
【0015】ピッチ周期出力手段は、実数のピッチ周期
が前記範囲分割手段により分割された複数の所定の範囲
の内の両末端のいずれか一方に位置する場合、この一方
の位置に最も隣接した整数のピッチ周期のパラメータを
出力させ、実数のピッチ周期が複数の所定の範囲の内の
残る範囲にある場合には、音程の両端に位置する整数の
ピッチ周期のパラメータを交互に出力することが望まし
い。
【0016】また、範囲分割手段は、複数の所定の範囲
を少なくとも3つに分けるとよい。
【0017】さらに、ピッチ周期出力手段は、複数の所
定の範囲の内の残る範囲に対応して整数のピッチ周期の
パラメータを複数回ずつ交互に出力するようにしてもよ
い。
【0018】ピッチ周期選択手段は、実数のピッチ周期
と音程の整数のピッチ周期との差をそれぞれ実数のピッ
チ周期との距離とし、この各距離に応じた出現割合を算
出する出現割合算出手段と、この出現割合算出手段の算
出結果と距離とを反比例の関係にしたパラメータを選択
する反比例選択手段とを含むと有利である。
【0019】本発明の音声合成装置は、ピッチ周期選択
手段が実数のピッチ周期を挟む整数のピッチ周期の音程
を複数の所定の範囲に分割し、この実数のピッチ周期が
その範囲のどこにあるかに応じて音声合成に用いるピッ
チ周期のパラメータを選んで出力することにより、与え
られた音階に対する音声合成上のピッチ周波数と理論的
に得られる音階周波数の誤差を従来に比べて小さく抑え
ることができる。
【0020】また、本発明の音声合成方法は、入力デー
タに応じてピッチ、振幅、継続時間等の韻律パラメータ
を生成し、入力データから音韻の連続した音韻系列に対
応した音声データをパラメータとしてパラメータ生成手
段で生成し、得られた音声データに応じた音声の合成を
音声合成の標本化周波数に基づいて行う音声合成方法に
おいて、ピッチに関連した離散的な音の配列を音階と
し、この音階を表すピッチ周期が音声合成に用いる標本
化周波数に含まれる音階の周波数の個数で規定される場
合、パラメータ生成手段にて音階に対応して得られる実
数のピッチ周期を含んで、この実数のピッチ周期に隣接
するそれぞれの整数のピッチ周期の間の音程を複数の所
定の範囲に分ける範囲分割工程と、この範囲分割工程に
より分割された複数の所定の範囲の内、実数のピッチ周
期がどの範囲内にあるかに応じて音声合成に用いるピッ
チ周期のパラメータを選ぶピッチ周期選択工程とを含む
ことを特徴とする。
【0021】ここで、ピッチ周期選択工程は、実数のピ
ッチ周期が範囲分割手段により分割された複数の所定の
範囲の内の両末端のいずれか一方に位置する場合、この
一方の位置に最も隣接した整数のピッチ周期のパラメー
タを出力させ、実数のピッチ周期が複数の所定の範囲の
内の残る範囲にある場合には、音程の両端に位置する整
数のピッチ周期のパラメータを交互に出力することが好
ましい。
【0022】また、ピッチ周期選択工程は、実数のピッ
チ周期と音程の整数のピッチ周期との差をそれぞれ実数
のピッチ周期との距離とし、この各距離に応じた出現割
合を算出する出現割合算出工程と、この出現割合算出工
程の算出結果と各距離とを反比例の関係にしたパラメー
タを選択する反比例選択工程とを含むことが望ましい。
【0023】本発明の音声合成方法は、整数のピッチ周
期で表される音程内を範囲分割工程で複数の所定の範囲
に分割し、ピッチ周期選択工程で実数のピッチ周期が複
数の所定の範囲の内、どの範囲内にあるかに応じて音声
合成に用いるピッチ周期のパラメータを選ぶことによ
り、与えられた音階に対する音声合成上のピッチ周波数
と理論的に得られる音階周波数の誤差を従来に比べて小
さく抑えることができる。
【0024】
【発明の実施の形態】次に添付図面を参照して本発明に
係る音声合成装置およびその合成方法の実施例を詳細に
説明する。
【0025】本発明の音声合成装置は、供給される入力
データに応じて韻律パラメータを生成し、その入力デー
タから音韻の連続した音韻系列に対応した音声データを
生成する。そして、生成された音声データに基づいて音
声合成装置は、音声の合成を行って出力する。このた
め、音声合成装置は、入力データを単に合成された音と
して発音することによって文章等を読み上げるだけでな
く、音階に合わせた発音によって歌声のような音声合成
も行える装置となっている。
【0026】本発明の音声合成装置について図1〜図9
を参照しながら構成およびその構成した各部の動作につ
いて説明する。上述したような機能を持たせるため、音
声合成装置10は、基本的に図1に示すようにインターフ
ェース部11、合成パラメータ生成部12、および音声合成
部13で構成されている。
【0027】以後、その各部について説明する。インタ
ーフェース部11は、MIDI規格でない歌詞、および楽譜に
関するデータを装置内に入力する部分である。また、た
とえば電子楽器同士や電子楽器とコンピュータを接続す
るインターフェースであるMIDI(Music Instrument Dig
ital Interface)規格に合わせて設定してもよい。供給
される入力データは、予めこの規格に合ったコードとし
てコード変換されたデータとなっている。入力データの
内容は、予めたとえば歌における歌詞、および楽譜に対
応するデータ等に変換済みである。
【0028】合成パラメータ生成部12は、音声素片選択
部12a 、音素長生成部12b 、およびピッチ生成部12c を
備えている。音声素片選択部12a は、歌詞に応じて合成
に使用すべき各種のパラメータが含まれた音声単位片を
選択する。音声合成装置10のように入力データを予め設
定している規則に合わせて音声を合成する場合、この音
声単位片は、パラメータとして音素、音節、VCV (母音
- 子音- 母音の連鎖)等がある。これらパラメータを選
択することにより音声素片選択部12a は、音声データの
一部を生成する。
【0029】音素長生成部12b は、各音階に指定された
音符の種類、すなわち音の長さに応じて音節の長さを設
定する音声データを生成する。この音節の長さは、音節
の母音部の長さを伸縮させることで実現させている。
【0030】ピッチ生成部12c は、音の高さを表すピッ
チのパラメータを生成する。このピッチに関連した離散
的な音の配列である音階はピッチ周期で表す。音階のピ
ッチ周期とは、音声合成装置10が用いる標本化周波数に
含まれる音階の周波数の個数で規定されている。理論的
にピッチ周期P は、前述した式(2) により得られるが、
サンプル数を示した変数x が実数のピッチ周期Prであ
る。この実数のピッチ周期Prは標本化周波数Sf、式(1)
により基準とする音階の周波数Fbase に対して得られる
音階周波数F を用いて、Sf/Fで表される実数である。
【0031】ピッチ生成部12c は、音階に対応して得ら
れる実数のピッチ周期Prに隣接するそれぞれの整数のピ
ッチ周期PI, すなわちPM, PM+1の間の音程をたとえば3
つの範囲に分ける音程分割部120 と、この音程分割部12
0 により分割された範囲の中で実数のピッチ周期Prを含
む範囲を選ぶ範囲判定部121 と、この範囲判定部121が
選んだ範囲に対応するピッチ周期を音声合成のピッチ周
期とし、このピッチ周期のパラメータを出力するピッチ
周期出力部122 を備えている。
【0032】合成パラメータ生成部12は、音声素片選択
部12a 、音素長生成部12b 、およびピッチ生成部12c で
得られたパラメータを合成し、この合成によるデータ形
式のた音声データを音声合成部13に供給する。音声合成
部13は、この音声データに応じた合成音声を出力する。
【0033】この音声合成装置10の動作について図2の
フローチャート等を用いて簡単に説明する。音声合成装
置10は、電源投入して音声合成を行うための基本動作が
可能な状態に設定される。この設定により動作を開始し
て図2のステップS10 に進む。
【0034】ステップS10 では、この音声合成装置10の
インターフェース部11に前述したような、たとえばMIDI
規格のコードに変換されたデータが供給されると、イン
ターフェース部11を介して装置内にこのデータを取り込
む。図示していないが、取り込んだデータは、一旦メモ
リに格納される。
【0035】次にステップS11 では、メモリから読み出
した入力データ(たとえば歌詞等)に応じて合成すべき
音声単位片を選択する。この選択によって音素、音節、
VCV等が規定される。本実施例では簡単に説明するた
め、後述する具体例のように歌詞にそのまま対応する音
節を用いている。この音声単位片の規定後、ステップS1
2 に進む。
【0036】ステップS12 では、入力データに応じた音
素長の生成を行う。音素長とは、音符の種類、たとえば
全音符、二分音符、四分音符、八分音符や付点の付いた
音符等に合わせた音の長さである。この音素長の生成に
よって音節の長さが設定される。音節の長さを設定した
後、サブルーチンSUB1に移行する。
【0037】サブルーチンSUB1では、入力データに応じ
た音階のピッチ周期を決定する処理を行っている。この
処理によって音の高さが設定される。この処理の詳細な
説明は後段で行っている。サブルーチンSUB1の終了後、
ステップS13 に進む。
【0038】ステップS13 では、これまでステップS10,
S11, S12,およびサブルーチンSUB1で規定されたパラメ
ータに従う音声の合成処理を行う。この音声合成には、
従来からの線形予測法に基づく音声合成やピッチ同期波
形重畳法等が用いられている。前者の音声合成方法で
は、たとえばパラメータに応じて雑音源側とピッチ周期
に合ったパルスを出力するパルス音源側とを切り換えて
得られる出力を合成フィルタに供給し合成フィルタが所
望の音声となる出力信号に合成している。この出力信号
をスピーカに供給してスピーカから規則により合成され
た音声として出力している。この合成後、音声合成装置
10の動作を終了させる。
【0039】次に前述したサブルーチンSUB1の動作につ
いて図3を参照しながら説明する。サブルーチンSUB1は
音階のピッチ周期を決定する処理を行うため、まず、サ
ブステップSS10に進む。
【0040】サブステップSS10では、入力データから音
階をいくつにするか読み取って音階周波数F を設定す
る。この設定は、前述したように基準とする音階の周波
数Fbase に基づいて式(1) により与えられる。この設定
後、サブステップSS11に進む。サブステップSS11では、
標本化周波数Sfと音階周波数F を用い、Sf/Fで規定され
る実数のピッチ周期Pr(=x)を算出する。この算出後、
サブステップSS12に進む。
【0041】サブステップSS12では、サブステップSS11
で求めた実数のピッチ周期Prを含んで、この実数のピッ
チ周期Prに隣接するそれぞれの整数のピッチ周期PI、す
なわちPM, PM+1の間の音程をたとえば3つの範囲に分け
る(範囲分割工程)。この音程を分割する境界点をRA,
RBに設定して、サブステップSS13に進む。この設定は、
図1に示すように予め音階分割部120 で音階にかかわら
ず設定しておいても良い。この場合、図示しない制御部
からの制御信号に応じて境界点の値RA, RBを範囲判定部
121 に出力させている。
【0042】サブステップSS13では、実数のピッチ周期
Prを整数値PMと小数点以下の数値Yに分けて、数値Y と
境界値RAの大きさを図1の範囲判定部121 で比較する。
すなわち、数値Y が境界値RAより小さいとき(Yes )、
サブステップSS14に移行する。また、数値Y が境界値RA
以上の値のとき(No)、サブステップSS15に進む。ここ
で、サブステップSS14では、ピッチ周期PMあるいはピッ
チM が示す周波数を出力するようにパラメータを図1の
ピッチ周期出力部122 から出力する。この後、リターン
に進む。
【0043】サブステップSS15では、さらに範囲判定部
121 で数値Y の大きさを比較する。この範囲判定部121
では数値Y が境界値RA以上で、かつ境界値RBより小さい
かを判定している。数値Y が境界値RA以上で、かつ境界
値RBより小さいとき(Yes )、サブステップSS16に進
む。また、数値Y が境界値RB以上のとき(No)、サブス
テップSS17に進む。
【0044】サブステップSS16では、ピッチ周期PM, P
M+1あるいはピッチM, M+1が示す周波数がそれぞれ交互
に出力するように対応させたパラメータを図1のピッチ
周期出力部122 から出力する。このような交互のピッチ
出力は、たとえ同じ音程で発声(あるいは歌唱)してい
るつもりでもその音程が微妙に揺らいでいることに対応
すると考えられるので、人間の音声のつやの増加に反映
させるとともに、理論からもたらされる真のピッチ周波
数と交互のピッチ出力によるピッチ周波数との差を従来
に比べて小さくできる。この後、リターンに進む。ま
た、サブステップSS17では、ピッチ周期PM+1あるいはピ
ッチM+1 が示す周波数を出力するようにパラメータを図
1のピッチ周期出力部122 から出力する。この後、リタ
ーンに進む。
【0045】このように一連のサブステップSS13〜SS17
までの処理は、どのピッチ周期を選択するかを決定する
ピッチ周期選択工程に相当している。この一連の処理に
よって実数のピッチ周期Prそのままの値で判定する場合
には、音程分割部120 で3つの範囲の内、境界値PM+RA
より小さい範囲と境界値PM+1+RB より大きい範囲のいず
れか一方に位置する場合、この一方の位置に最も隣接し
た整数のピッチ周期PM, あるいはPM+1のパラメータを出
力させ、実数のピッチ周期Prが上述した範囲以外(PM+R
A ≦Pr<PM+1+RB )にある場合には、音程の両端に位置
する整数のピッチ周期PMとPM+1のパラメータを交互に出
力する。サブルーチンSUB1はこのリターンを経て終了し
てメインルーチンに戻る。
【0046】より具体的にピッチ生成部12c の動作を説
明する。音声合成装置10には、たとえば次のような入力
データ 歌詞 音階 音符(長さ) さ 0 (ド) 4 い 2 (レ) 4 た 4 (ミ) 2 さ 0 (ド) 4 い 2 (レ) 4 た 4 (ミ) 2 等のような形式で提供される。この入力データをステッ
プS10 で取り込んだ。ステップS10 以降、ステップS11
で音声素片を選択しステップS12 で音符の長さに対応し
たパラメータを生成した。この後、サブルーチンSUB1に
移行してピッチ生成を行った。このピッチ生成におい
て、音階周波数F は、標準化周波数=10kHzの場合、サブ
ステップSS10で音階に対応する式(1) により理論的に設
定される。音階がたとえば、「ソ」の音の場合、329.0H
z と規定される。
【0047】次にサブステップSS11では、音階が「ソ」
の場合、/Fにより実数のピッチ周期Prは25.51 が算出さ
れた。このとき、整数のピッチ周期PIは25(=PM )、小
数点以下の数値Y は0.51であった。
【0048】次のサブステップSS12では音程の分割が設
定されるが、音階分割部120 には予め境界値を設定して
おく。この音階分割部120 から範囲判定部121 に供給さ
れる境界値は、それぞれ、RA=0.25, RB=0.75であった。
【0049】次のサブステップSS13では、数値Y と境界
値RAの大小判定が行われる。この大小判定により数値Y
が境界値RAより大きかったので、手順をサブステップSS
15に進めた。サブステップSS15では、条件(RA≦Y <
RB)を満足するので、サブステップSS16に進む。
【0050】サブステップSS16では、整数のピッチM=2
5, M+1=26に対応するパラメータを交互に出力する。こ
のような出力により音声合成した際に人間は聴感上、整
数のピッチ周期PM, PM+1により得られる周波数の中間の
周波数となる。上述した条件によってこのサブステップ
SS16に至るのは、この「ソ」だけでなく、「ミ」および
「ファ」でも要求される。前述したように、音階、音階
周波数、音階周波数F に最も近いピッチ周波数のF
near 、サンプル数n 、音階周波数F と最も近い周波数F
near との周波数の差ΔF を表すと、 : : 音階=ド F=261.63Hz Fnear= 263.15Hz n=38 ΔF=+1.52Hz 音階=ド# F=277.18Hz Fnear= 277.77Hz n=36 ΔF=+0.59Hz 音階=レ F=293.66Hz Fnear= 294.12Hz n=34 ΔF=+0.46Hz 音階=レ# F=311.13Hz Fnear= 312.50Hz n=32 ΔF=+1.37Hz 音階=ミ F=329.63Hz Fnear= 327.95Hz n=30,31 ΔF=-1.68Hz 音階=ファ F=349.23Hz Fnear= 350.98Hz n=28,29 ΔF=+1.75Hz 音階=ファ# F=369.99Hz Fnear= 370.37Hz n=27 ΔF=+0.38Hz 音階=ソ F=392.00Hz Fnear= 392.31Hz n=25,26 ΔF=+0.31Hz 音階=ソ# F=415.30Hz Fnear= 416.67Hz n=24 ΔF=+1.37Hz : : となる。この中で実数のピッチ周期Prの内、整数値で表
される周波数が、前述した条件の基で音階周波数F に最
も近いピッチ周波数のFnear であり、サンプル数n が整
数値のピッチ数であることは明らかである。
【0051】ところで、図1のピッチ周期出力部122 に
は、予め音程の分割条件に応じて音階と整数のピッチ周
期の関係を図4に示す対応テーブルに記憶させ、要求に
応じて出力させるようにしてもよい。この対応テーブル
を設けることによって、逐一与えるピッチ周期を計算し
ないで、与えられる音階に応じて直ちに対応するパラメ
ータを出力させるようにしてもよい。これにより、ピッ
チ生成部12c の構成を簡略化させることができる。
【0052】また、ピッチ同期波形重畳法を適用した場
合でも、上述した関係により図5(a) に示す音素片M, M
+1を交互に出力させると音声合成部13で重ね合わせた結
果、図5(b) の合成音声の波形を得ることができる。
【0053】この実施例の構成により、ピッチ生成にお
いて標本化周波数で表現する音階を条件に応じて相前後
するピッチ周期を交互に出力させる簡単な方法で、音階
周波数に対する誤差を従来の誤差に比べて半減させるこ
とができる。これにより、標本化周波数を変更すること
なく、2倍の標本化周波数を用いた場合と等価な音階精
度が得られる。
【0054】なお、ピッチ生成部12c は、複数の所定の
範囲の内の残る範囲に対応して整数のピッチ周期PM, P
M+1のパラメータを1回ずつ交互に出力させる説明をし
たが、本発明ではこの回数に限定されるものでなく、複
数回ずつ交互に出力させてもよい。
【0055】次に本発明に係る音声合成装置の他の実施
例について図6〜図9を参照しながら説明する。音声合
成装置10は、基本的に前述した実施例と同じである。前
述した実施例では標本化周波数で規定される音階を一部
分だけを見かけ上2倍の細かさで量子化しているが、音
階の量子化誤差の結果、生じる音程の量子化誤差を従来
の半分以下にはできない。この音程の量子化誤差を半分
以下にするため、本実施例のピッチ生成部12c は、図6
に示すように、出現頻度算出部123 、および反比例選択
部124 を備えている。
【0056】出現頻度算出部123 は、実数のピッチ周期
Prと音程の整数のピッチ周期PM, PM+1との差をそれぞれ
実数のピッチ周期Prとの距離p, qとし、この各距離に応
じた出現割合を算出する(原理として図8を参照)。
【0057】また、反比例選択部124 は、出現割合算出
部123 の算出結果と距離p, qとが反比例の関係になるよ
う選択している。反比例選択部124 は、選択に応じて整
数のピッチ周期PM, PM+1が出力される。このとき、出力
されるピッチ周期が真のピッチ周期に近い方の整数のピ
ッチ周期に重きをおいた調整が行われるので、聴感上、
真の音階に近づくようになる。
【0058】この動作手順は基本的に前述したメインル
ーチンと同じであるが、ピッチ生成を行うサブルーチン
SUB1の代わりにサブルーチンSUB2を適用している。サブ
ルーチンSUB2の手順は図7に示している。この実施例で
はピッチ生成に際してサブステップSS20に移行する。
【0059】サブステップSS20では、音階周波数を設定
する。この設定は、前述の実施例と全く同じ手順で行
い、サブステップSS21に進む。このサブステップSS21で
は、実数のピッチ周期Prを算出する。この算出も前述し
た手順に同じで、本来当てられるべき真のピッチであ
り、標本化周波数Sf/音階周波数F で表される。また、
サブステップSS22では、算出した実数のピッチ周期Pr
整数部の値PMと小数部の数値Y で表されることから、図
8に示すように実数のピッチ周期Prは、整数のピッチ周
期PMとPM+1、すなわち標本点(あるいはサンプリング
点)との間に位置する。このとき、距離p, qは、p=PM+1
-Pr, q=Pr-PMという関係にある(図8を参照)。この算
出の後、サブステップSS22に進む。
【0060】サブステップSS22では、1つの音階が発音
させられる時間(すなわち、音符の長さ)にわたって実
数のピッチ周期Prを挟んで隣接する整数のピッチ周期PM
とPM+1がそれぞれランダムに出現させるため、上述した
各整数のピッチ周期の出現頻度Z を算出する(出現割合
算出工程)。整数のピッチ周期の出現頻度Z には、 0〜
1 の範囲の値をランダムに出現させる一様乱数発生関数
RANDU( )を用いている。一様乱数発生関数RANDU( )は、
一般に、プログラミング言語の標準関数として備えられ
ている。この出現頻度Z は、式(3)
【0061】
【数3】 Z=RANDU( )-Y ・・・(3) により与えられる。また、一様乱数発生関数RANDU( )の
発生する数値範囲と小数点以下の数値Y の関係が 0≦Y<
<1 の関係にあることから、図9に示すように距離p
は、p=Y,距離q=1-Y であることは容易に理解することが
できる。
【0062】次にサブステップSS23では、出現頻度Z が
ゼロ以上の値かどうか判定している。出現頻度Z がゼロ
以上の値のとき(Yes )、サブステップSS24に進む。こ
れは出現頻度Z が数値Y 以上の距離p にあることを示し
ている。また、出現頻度Z がゼロより小さい値のとき
(No)、サブステップSS25に進む。この場合、出現頻度
Z は数値Y より小さい距離q にあることを示している。
【0063】サブステップSS24では、整数のピッチ周期
PMあるいはピッチM のパラメータを出力するように付与
し、サブステップSS25では整数のピッチ周期PM+1あるい
はピッチM+1 のパラメータを出力するように付与する。
サブステップSS23, SS24, SS25(の反比例選択工程)に
よって1つの音階の発音時間での整数のピッチ周期PM,P
M+1 あるいは整数のピッチM+1,およびM のそれぞれの出
現割合は、距離p, qと反比例した値が付与されることと
なる。すなわち、(ピッチM の付与頻度):(ピッチM+
1 の付与頻度)=p:qとなるように制御する。この一連の
処理は、図6の反比例選択部124 で行っている。この処
理により実数のピッチ周期Prに近い整数のピッチ周期の
方を距離の近さに応じて大きな頻度が付与されるように
出現頻度が混合され、結果として、この混合された出現
頻度(割合)の調整により聴感上の音階を真の音階に近
づけている。
【0064】サブステップSS24, SS25のいずれの処理も
終了した後、サブステップSS26に移行する。サブステッ
プSS26では、音符区間が終わったかを判定している。ま
だ音符区間にある場合(No)、サブステップSS22に戻
る。ここで、再び出現頻度Z を算出し以後、前述したど
ちらのピッチを出力するかという処理を継続する。ま
た、音符区間が終了した場合(Yes )、リターンに移行
する。リターンを経てこのサブルーチンSUB2を終了す
る。
【0065】より具体的に例を挙げて説明する。入力デ
ータで指定された音階に対する音階周波数をサブステッ
プSS20で決定する。ここで、供給された音階のデータ
は、「ミ」で式(1) より音階周波数F=329.63Hzが算出さ
れた。次にサブステップSS21で音声合成装置10が用いる
標本化周波数に対応する実数のピッチ周期Prを算出す
る。標本化周波数は、前述した実施例と同じ10kHz とす
る。この設定から、実数のピッチ周期Prは、30.34 (=1
0000/329.63 )で与えられる。このとき、実数のピッチ
周期Prは、整数のピッチ周期PM=30と小数点以下の数値
Y=0.34に分けられる。したがって距離q=0.34, 距離p=1-
Y=0.76となる。
【0066】次にサブステップSS22では、出現頻度Z を
算出してサブステップSS23に進む。この算出により、正
になる頻度と負になる頻度の割合はq:p になる。サブス
テップSS23では、出現頻度Z の大きさに応じてサブステ
ップSS24, SS25に手順を振り分ける。サブステップSS24
では、出現頻度Z がゼロを含む正のときピッチM のパラ
メータを出力するように付与し、サブステップSS25では
出現頻度Z が負のときピッチM+1 のパラメータを出力す
るように付与する。サブステップSS26の判定により音符
の長さ分この処理を繰り返すと、音符の長さの間にピッ
チM とピッチM+1 の付与が距離に応じた混合割合に合わ
せて行われる。サブルーチンSUB2を終了した後、ステッ
プS13 で音声合成処理を行うと真の音階に近い音声合成
が行われる。
【0067】なお、本実施例では、一様乱数発生関数を
用いたがこの方法に限定されるものでなく、ある音程に
含まれる実数のピッチ周期Prと整数のピッチ周期(すな
わち、サンプリング点)との距離をたとえば10レベル程
度にすると10倍に量子化したと同じ効果が得られるの
で、1:9, 2:8, 6:4 等と簡易な比の関係で付与割合を配
分するようにしてもよい。この設定により、従来の音階
精度に比べて細かく設定した量子化のレベルの程度と同
じくらい高めることができるようになる。この結果、出
力される合成された音声(歌声)の音程を良くすること
ができる。
【0068】この実施例のように構成することにより、
音声合成に低い標本化周波数を用いても音階の誤差を小
さく抑えることができるので合成音声の音程を正確に保
つことができる。また、使用する標本化周波数が低いの
で、合成に要する音声素片の容量も少なく済ませること
ができる。
【0069】このように構成することにより、ピッチ生
成部12c で実数のピッチ周期Prを挟む整数のピッチ周期
PM, PM+1間の音程を複数の所定の範囲に分割し、この実
数のピッチ周期Prがその範囲のどこにあるかに応じて音
声合成に用いるピッチ周期PM, PM+1を選んで出力するこ
とにより、与えられた音階に対する音声合成上のピッチ
周波数と理論的に得られる音階周波数の誤差を従来に比
べて小さく抑えることができる。これにより、使用する
標本化周波数が低いので音声素片の容量を抑えることが
でき、かつ標本化周波数が低くても音階の精度の向上を
図ることができる。
【0070】本発明の音声合成方法は、整数のピッチ周
期PM, PM+1で表される音程内を範囲分割工程で複数の所
定の範囲に分割し、ピッチ周期選択工程で実数のピッチ
周期Prが複数の所定の範囲の内、どの範囲内にあるかに
応じて音声合成に用いるピッチ周期PM, PM+1を選んで、
与えられた音階に対する音声合成上のピッチ周波数と理
論的に得られる音階周波数の誤差を従来に比べて小さく
抑えることにより、使用する標本化周波数が低いので音
声素片の容量を抑えることができ、かつ標本化周波数が
低くても音階の精度の向上を図ることができる。
【0071】なお、前述したいずれの実施例でも実数の
ピッチ周期を挟む整数のピッチ周期には実数のピッチ周
期に最も近い整数値(すなわちピッチM, M+1)に限定し
たが、これらの整数値に限定されるものでなく、サンプ
リングするピッチをたとえばM-2, M-1, M+2 等の値のよ
うに広く取ってもよい。このとき、用いる整数値の区間
内の平均ピッチが真のピッチになるようにこれら前後の
ピッチに応じた配分に付与するしてもよい。
【0072】
【発明の効果】このように本発明の音声合成装置によれ
ば、ピッチ周期選択手段が実数のピッチ周期を挟む整数
のピッチ周期の音程を複数の所定の範囲に分割し、この
実数のピッチ周期がその範囲のどこにあるかに応じて音
声合成のピッチ周期を選んで出力して、与えられた音階
に対する音声合成上のピッチ周波数と理論的に得られる
音階周波数の誤差を従来に比べて小さく抑えることによ
り、使用する標本化周波数が低いので音声素片の容量を
抑えることができ、かつ標本化周波数が低くても音階の
精度の向上を図ることができる。
【0073】また、本発明の音声合成方法によれば、整
数のピッチ周期で表される音程内を範囲分割工程で複数
の所定の範囲に分割し、ピッチ周期選択工程で実数のピ
ッチ周期が複数の所定の範囲の内、どの範囲内にあるか
に応じて音声合成に用いるピッチ周期を選んで、与えら
れた音階に対する音声合成上のピッチ周波数と理論的に
得られる音階周波数の誤差を従来に比べて小さく抑える
ことにより、使用する標本化周波数が低いので音声素片
の容量を抑えることができ、かつ標本化周波数が低くて
も音階の精度の向上を図ることができる。
【図面の簡単な説明】
【図1】本発明に係る音声合成装置の概略的な構成を示
す一実施例のブロック図である。
【図2】図1に示した音声合成装置の基本的な動作を説
明するメインフローチャートである。
【図3】図2に示したサブルーチンSUB1の動作手順を説
明するフローチャートである。
【図4】図3に示した手順で音階を表す際に音階に対し
て出力されるピッチ周期の関係を表す図である。
【図5】図1の合成パラメータ生成部から出力される音
素片を音声合成部で重ね合わせて合成音声を合成する関
係を模式的に示した図である。
【図6】本発明に係る音声合成装置の概略的な構成を示
す他の実施例のブロック図である。
【図7】図6の構成に対応した動作手順を示すサブルー
チンSUB2のフローチャートである。
【図8】図7のサブルーチンSUB2で用いられる各変数と
ピッチ周期の関係を説明する模式図である。
【図9】図6の反比例選択部の動作をRANDU 関数と出現
頻度の関係により説明する模式図である。
【符号の説明】
10 音声合成装置 11 インターフェース部 12 合成パラメータ生成部 13 音声合成部 12a 音声素片選択部 12b 音素長生成部 12c ピッチ生成部 120 音程分割部 121 範囲判定部 122 ピッチ周期出力部

Claims (9)

    【特許請求の範囲】
  1. 【請求項1】 入力データに応じてピッチ、振幅、継続
    時間等の韻律パラメータを生成し、前記入力データから
    音韻の連続した音韻系列に対応した音声データをパラメ
    ータとして生成するパラメータ生成手段を備え、該パラ
    メータ生成手段にて生成された音声データに応じた音声
    の合成を音声合成の標本化周波数に基づいて行う音声合
    成装置において、該装置は、 前記入力データが前記ピッチに関連した離散的な音の配
    列を音階とし、該音階を表すピッチ周期が音声合成に用
    いる前記標本化周波数に含まれる前記音階の周波数の個
    数で規定される場合、前記パラメータ生成手段が前記音
    階に対応して得られる実数のピッチ周期に隣接するそれ
    ぞれの整数のピッチ周期の間の音程を複数の所定の範囲
    に分けて、前記実数のピッチ周期が前記複数の所定の範
    囲の内で、どの範囲内にあるかに応じて音声合成に用い
    るピッチ周期のパラメータを選ぶピッチ周期選択手段を
    含むことを特徴とする音声合成装置。
  2. 【請求項2】 請求項1に記載の音声合成装置におい
    て、前記ピッチ周期選択手段は、前記整数のピッチ周期
    の間の音程を前記所定の範囲に分ける範囲分割手段と、 該範囲分割手段により分割された範囲の中で前記実数の
    ピッチ周期を含む範囲を選ぶ範囲選択手段と、 該範囲選択手段が選んだ範囲に対応するピッチ周期を前
    記音声合成に用いるピッチ周期として選んだパラメータ
    を出力するピッチ周期出力手段とを含むことを特徴とす
    る音声合成装置。
  3. 【請求項3】 請求項2に記載の音声合成装置におい
    て、前記ピッチ周期出力手段は、前記実数のピッチ周期
    が前記範囲分割手段により分割された前記複数の所定の
    範囲の内の両末端のいずれか一方に位置する場合、該一
    方の位置に最も隣接した整数のピッチ周期のパラメータ
    を出力させ、前記実数のピッチ周期が前記複数の所定の
    範囲の内の残る範囲にある場合には、前記音程の両端に
    位置する整数のピッチ周期のパラメータを交互に出力す
    ることを特徴とする音声合成装置。
  4. 【請求項4】 請求項2または3に記載の音声合成装置
    において、前記範囲分割手段は、前記複数の所定の範囲
    を少なくとも3つに分けることを特徴とする音声合成装
    置。
  5. 【請求項5】 請求項3に記載の音声合成装置におい
    て、前記ピッチ周期出力手段は、前記複数の所定の範囲
    の内の残る範囲に対応して前記整数のピッチ周期のパラ
    メータを複数回ずつ交互に出力することを特徴とする音
    声合成装置。
  6. 【請求項6】 請求項1に記載の音声合成装置におい
    て、前記ピッチ周期選択手段は、前記実数のピッチ周期
    と前記音程の整数のピッチ周期との差をそれぞれ前記実
    数のピッチ周期との距離とし、該各距離に応じた出現割
    合を算出する出現割合算出手段と、 該出現割合算出手段の算出結果と前記距離とを反比例の
    関係にしたパラメータを選択する反比例選択手段とを含
    むことを特徴とする音声合成装置。
  7. 【請求項7】 入力データに応じてピッチ、振幅、継続
    時間等の韻律パラメータを生成し、前記入力データから
    音韻の連続した音韻系列に対応した音声データをパラメ
    ータとしてパラメータ生成手段で生成し、得られた音声
    データに応じた音声の合成を音声合成の標本化周波数に
    基づいて行う音声合成方法において、該方法は、 前記ピッチに関連した離散的な音の配列を音階とし、該
    音階を表すピッチ周期が音声合成に用いる前記標本化周
    波数に含まれる前記音階の周波数の個数で規定される場
    合、前記パラメータ生成手段にて前記音階に対応して得
    られる実数のピッチ周期を含んで、該実数のピッチ周期
    に隣接するそれぞれの整数のピッチ周期の間の音程を複
    数の所定の範囲に分ける範囲分割工程と、 該範囲分割工程により分割された前記複数の所定の範囲
    の内、前記実数のピッチ周期がどの範囲内にあるかに応
    じて音声合成に用いるピッチ周期のパラメータを選ぶピ
    ッチ周期選択工程とを含むことを特徴とする音声合成方
    法。
  8. 【請求項8】 請求項7に記載の合成方法において、前
    記ピッチ周期選択工程は、前記実数のピッチ周期が前記
    範囲分割手段により分割された前記複数の所定の範囲の
    内の両末端のいずれか一方に位置する場合、該一方の位
    置に最も隣接した整数のピッチ周期のパラメータを出力
    させ、前記実数のピッチ周期が前記複数の所定の範囲の
    内の残る範囲にある場合には、前記音程の両端に位置す
    る整数のピッチ周期のパラメータを交互に出力すること
    を特徴とする音声合成方法。
  9. 【請求項9】 請求項7に記載の合成方法において、前
    記ピッチ周期選択工程は、前記実数のピッチ周期と前記
    音程の整数のピッチ周期との差をそれぞれ前記実数のピ
    ッチ周期との距離とし、該各距離に応じた出現割合を算
    出する出現割合算出工程と、 該出現割合算出工程の算出結果と前記各距離とを反比例
    の関係にしたパラメータを選択する反比例選択工程とを
    含むことを特徴とする音声合成方法。
JP03455998A 1998-02-17 1998-02-17 音声合成装置およびその合成方法 Expired - Fee Related JP4207237B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP03455998A JP4207237B2 (ja) 1998-02-17 1998-02-17 音声合成装置およびその合成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP03455998A JP4207237B2 (ja) 1998-02-17 1998-02-17 音声合成装置およびその合成方法

Publications (2)

Publication Number Publication Date
JPH11231884A true JPH11231884A (ja) 1999-08-27
JP4207237B2 JP4207237B2 (ja) 2009-01-14

Family

ID=12417681

Family Applications (1)

Application Number Title Priority Date Filing Date
JP03455998A Expired - Fee Related JP4207237B2 (ja) 1998-02-17 1998-02-17 音声合成装置およびその合成方法

Country Status (1)

Country Link
JP (1) JP4207237B2 (ja)

Also Published As

Publication number Publication date
JP4207237B2 (ja) 2009-01-14

Similar Documents

Publication Publication Date Title
US5890115A (en) Speech synthesizer utilizing wavetable synthesis
CN110634461B (zh) 电子乐器、电子乐器的控制方法以及存储介质
JP3333022B2 (ja) 歌声合成装置
US4624012A (en) Method and apparatus for converting voice characteristics of synthesized speech
EP0319178B1 (en) Speech synthesis
EP0427485A2 (en) Speech synthesis apparatus and method
US5895449A (en) Singing sound-synthesizing apparatus and method
EP1239457B1 (en) Voice synthesizing apparatus
JP6561499B2 (ja) 音声合成装置および音声合成方法
EP3273441B1 (en) Sound control device, sound control method, and sound control program
WO2019107379A1 (ja) 音声合成方法、音声合成装置およびプログラム
JP2564641B2 (ja) 音声合成装置
JP3966074B2 (ja) ピッチ変換装置、ピッチ変換方法及びプログラム
JP2020076844A (ja) 音響処理方法および音響処理装置
Rabiner A model for synthesizing speech by rule
JP3307283B2 (ja) 歌唱音合成装置
JPH11231884A (ja) 音声合成装置およびその合成方法
JP3233036B2 (ja) 歌唱音合成装置
JP5102939B2 (ja) 音声合成装置および音声合成プログラム
Quarmby et al. Implementation of a parallel-formant speech synthesiser using a single-chip programmable signal processor
JPH056191A (ja) 音声合成装置
JPH09179576A (ja) 音声合成方法
JPS587197A (ja) 歌声発生装置
JP3515268B2 (ja) 音声合成装置
JP2004061753A (ja) 歌唱音声を合成する方法および装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070417

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070605

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071009

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071011

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080930

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081013

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111031

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111031

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121031

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees