JPH1195753A - 音響信号の符号化方法およびコンピュータ読み取り可能な記録媒体 - Google Patents
音響信号の符号化方法およびコンピュータ読み取り可能な記録媒体Info
- Publication number
- JPH1195753A JPH1195753A JP9273949A JP27394997A JPH1195753A JP H1195753 A JPH1195753 A JP H1195753A JP 9273949 A JP9273949 A JP 9273949A JP 27394997 A JP27394997 A JP 27394997A JP H1195753 A JPH1195753 A JP H1195753A
- Authority
- JP
- Japan
- Prior art keywords
- code
- representative
- intensity
- extracted
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Electrophonic Musical Instruments (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Auxiliary Devices For Music (AREA)
Abstract
ド化し、音響データとして取り込み、時間軸上に複数の
単位区間d1〜d5を設定する(図(a) )。各単位区間
ごとに、フーリエ変換を行い、スペクトルを求める(図
(b) )。周波数軸fに対応させて離散的に128個のノ
ートナンバー(0〜127)を定義し、各ノートナンバ
ーごとに実効強度を求める(図(c) )。実効強度の大き
い順にP個のノートナンバーNp(d1,1)〜Np
(d1,P)を抽出し、P個のトラック上の各単位区間
に対応する時間位置に配置する。各トラック上のノート
ナンバーをMIDIデータで表現し、Pチャンネルステ
レオ音として、原音響信号を再生する。
Description
法に関し、時系列の強度信号として与えられる音響信号
を符号化し、これを復号化して再生する技術に関する。
特に、本発明はヴォーカル音響信号(人の話声,歌声の
信号)を、MIDI形式の符号データに効率良く変換す
る処理に適しており、音声を記録する種々の産業分野へ
の応用が期待される。
M(Pulse Code Modulation )の手法は最も普及してい
る手法であり、現在、オーディオCDやDATなどの記
録方式として広く利用されている。このPCMの手法の
基本原理は、アナログ音響信号を所定のサンプリング周
波数でサンプリングし、各サンプリング時の信号強度を
量子化してデジタルデータとして表現する点にあり、サ
ンプリング周波数や量子化ビット数を高くすればするほ
ど、原音を忠実に再生することが可能になる。ただ、サ
ンプリング周波数や量子化ビット数を高くすればするほ
ど、必要な情報量も増えることになる。そこで、できる
だけ情報量を低減するための手法として、信号の変化差
分のみを符号化するADPCM(Adaptive Differentia
l Pulse Code Modulation )の手法も用いられている。
うという発想から生まれたMIDI(Musical Instrume
nt Digital Interface)規格も、パーソナルコンピュー
タの普及とともに盛んに利用されるようになってきてい
る。このMIDI規格による符号データ(以下、MID
Iデータという)は、基本的には、楽器のどの鍵盤キー
を、どの程度の強さで弾いたか、という楽器演奏の操作
を記述したデータであり、このMIDIデータ自身に
は、実際の音の波形は含まれていない。そのため、実際
の音を再生する場合には、楽器音の波形を記憶したMI
DI音源が別途必要になる。しかしながら、上述したP
CMの手法で音を記録する場合に比べて、情報量が極め
て少なくてすむという特徴を有し、その符号化効率の高
さが注目を集めている。このMIDI規格による符号化
および復号化の技術は、現在、パーソナルコンピュータ
を用いて楽器演奏、楽器練習、作曲などを行うソフトウ
エアに広く採り入れられており、カラオケ、ゲームの効
果音といった分野でも広く利用されている。
Mの手法により音響信号を符号化する場合、十分な音質
を確保しようとすれば情報量が膨大になり、データ処理
の負担が重くならざるを得ない。したがって、通常は、
ある程度の情報量に抑えるため、ある程度の音質に妥協
せざるを得ない。もちろん、MIDI規格による符号化
の手法を採れば、非常に少ない情報量で十分な音質をも
った音の再生が可能であるが、上述したように、MID
I規格そのものが、もともと楽器演奏の操作を符号化す
るためのものであるため、広く一般音響への適用を行う
ことはできない。別言すれば、MIDIデータを作成す
るためには、実際に楽器を演奏するか、あるいは、楽譜
の情報を用意する必要がある。
手法にしても、MIDIの手法にしても、それぞれ音響
信号の符号化方法としては一長一短があり、一般の音響
について、少ない情報量で十分な音質を確保することは
できない。ところが、一般の音響についても効率的な符
号化を行いたいという要望は、益々強くなってきてい
る。いわゆるヴォーカル音響と呼ばれる人間の話声や歌
声を取り扱う分野では、かねてからこのような要望が強
く出されている。たとえば、語学教育、声楽教育、犯罪
捜査などの分野では、ヴォーカル音響信号を効率的に符
号化する技術が切望されている。
響信号に対しても効率的な符号化を行うことができる音
響信号の符号化方法を提供することを目的とする。
与えられる音響信号を符号化するための音響信号の符号
化方法において、符号化対象となる音響信号の時間軸上
に複数の単位区間を設定する区間設定段階と、個々の単
位区間ごとに、当該単位区間内の音響信号に含まれる周
波数成分を第1の軸に、各周波数成分ごとの強度を第2
の軸にとったスペクトルを作成するスペクトル作成段階
と、スペクトルの第1の軸に対応させて離散的に複数Q
個の符号コードを定義し、この複数Q個の符号コードを
第1の軸に、各符号コードごとの強度を第2の軸にとっ
た強度グラフを、個々の単位区間ごとのスペクトルに基
いてそれぞれ作成する強度グラフ作成段階と、強度グラ
フにおける各符号コードごとの強度に基いて、個々の単
位区間ごとに、Q個の全符号コードの中から当該単位区
間を代表するP個の代表符号コードを抽出し、これら抽
出した代表符号コードおよびその強度によって、個々の
単位区間の音響信号を表現する符号化段階と、を行うよ
うにしたものである。
の態様に係る音響信号の符号化方法において、区間設定
段階で、隣接する単位区間が時間軸上で部分的に重複す
るような設定を行うようにしたものである。
の態様に係る音響信号の符号化方法において、区間長L
およびオフセット長ΔLを定義し(ただし、ΔL<
L)、各単位区間の時間軸上での長さを区間長Lに設定
し、任意のiに対して第i番目の単位区間の始点と第
(i+1)番目の単位区間の始点との時間軸上での隔た
りをオフセット長ΔLに設定するようにしたものであ
る。
〜第3の態様に係る音響信号の符号化方法において、ス
ペクトル作成段階で、符号化対象となる音響信号を所定
のサンプリング周期でサンプリングしてデジタル音響デ
ータとして取り込み、この取り込んだ音響データに対し
て各単位区間ごとにフーリエ変換を行うことによりスペ
クトルを作成するようにしたものである。
の態様に係る音響信号の符号化方法において、スペクト
ル作成段階で、オフセット長△Lに基づいて決定される
重み関数を窓関数として設定し、符号化対象となる音響
信号の各単位区間に対して、前記窓関数を重畳した上で
フーリエ変換を行うことによりスペクトルを作成するよ
うにしたものである。
の態様に係る音響信号の符号化方法において、スペクト
ル作成段階で、複数通りのサンプリング周期で取り込ま
れた複数通りの音響データに対してそれぞれフーリエ変
換を行うことにより、複数通りのスペクトルを用意し、
これらのスペクトルを合成するようにしたものである。
〜第6の態様に係る音響信号の符号化方法において、強
度グラフ作成段階で、複数Q個の符号コードとしてMI
DIデータで利用されるノートナンバーを用い、符号化
段階で、個々の単位区間の音響信号を、代表符号コード
として抽出されたノートナンバーと、その強度に基いて
決定されたベロシティーと、当該単位区間の長さに基い
て決定されたデルタタイムと、を示すデータからなるM
IDI形式の符号データによって表現するようにしたも
のである。
〜第7の態様に係る音響信号の符号化方法において、符
号化段階で代表符号コードを抽出する際に、符号化対象
となる強度グラフにおける候補の中から強度の大きい順
にP個の符号コードを抽出して代表符号コードとするよ
うにしたものである。
〜第7の態様に係る音響信号の符号化方法において、符
号化段階で代表符号コードを抽出する際に、符号化対象
となる強度グラフにおけるその時点での候補の中から最
も強度の大きい符号コードを第i番目の代表符号コード
として抽出した後、この第i番目の代表符号コードおよ
びその倍音成分に相当する符号コードを候補から削除す
る処理を、i=1〜(P−1)について繰り返し実行
し、更に、残った候補の中から最も強度の大きい符号コ
ードを第P番目の代表符号コードとして抽出することに
より、合計P個の代表符号コードの抽出を行うようにし
たものである。
1〜第7の態様に係る音響信号の符号化方法において、
各符号コードに基いて音を再生するために用いる音源を
予め特定しておき、この音源を用いた各符号コードの再
生音の周波数特性に基いて補正テーブルを定義してお
き、符号化段階で代表符号コードを抽出する際に、符号
化対象となる強度グラフにおけるその時点での候補の中
から最も強度の大きい符号コードを第i番目の参照コー
ドとし、この第i番目の参照コードに補正テーブルを適
用することにより得られる符号コードを第i番目の代表
符号コードとして抽出し、第i番目の参照コードおよび
第i番目の代表符号コードを候補から除外する処理を、
i=1〜Pについて繰り返し実行し、合計P個の代表符
号コードの抽出を行うようにしたものである。
1〜第7の態様に係る音響信号の符号化方法において、
各符号コードに基いて音を再生するために用いる音源を
予め特定しておき、この音源を用いて各符号コードを実
際に再生することにより得られる音響信号に対して、ス
ペクトル作成段階および強度グラフ作成段階を実行し、
各符号コードについての固有強度グラフを予め求めてお
き、符号化段階で代表符号コードを抽出する際に、符号
化対象となる強度グラフにおけるその時点での候補の中
から最も強度の大きい符号コードを第i番目の代表符号
コードとして抽出した後、符号化対象となる強度グラフ
の各強度値から第i番目の代表符号コードについての固
有強度グラフの各強度値を減算する処理を、i=1〜
(P−1)について繰り返し実行し、更に、残った候補
の中から最も強度の大きい符号コードを第P番目の代表
符号コードとして抽出することにより、合計P個の代表
符号コードの抽出を行うようにしたものである。
1〜第7の態様に係る音響信号の符号化方法において、
各符号コードに基いて音を再生するために用いる音源を
予め特定しておき、この音源を用いて各符号コードを実
際に再生することにより得られる音響信号の固有波形を
予め求めておき、第i番目の代表符号コードを決定する
ために、第i番目の音響信号の波形情報を入力し、入力
した波形情報に対してスペクトル作成段階および強度グ
ラフ作成段階を行い、続く符号化段階で、作成された強
度グラフにおける候補の中から最も強度の大きい符号コ
ードを第i番目の代表符号コードとして抽出し、更に、
第i番目の音響信号の強度値から第i番目の代表符号コ
ードについての固有波形の各強度値を減算し、その結果
得られる音響信号を第(i+1)番目の音響信号とする
符号抽出処理を定義し、符号化対象となる原音響信号に
対して区間設定段階を行い、各単位区間ごとの原音響信
号をそれぞれ第1番目の音響信号として、i=1〜(P
−1)について符号抽出処理を繰り返し実行し、最後
に、第P番目の音響信号の波形情報を入力し、入力した
波形情報に対してスペクトル作成段階および強度グラフ
作成段階を行い、続く符号化段階で、作成された強度グ
ラフにおける候補の中から最も強度の大きい符号コード
を第P番目の代表符号コードとして抽出する処理を実行
することにより、各単位区間ごとにそれぞれ合計P個の
代表符号コードの抽出を行うようにしたものである。
1〜第12の態様に係る音響信号の符号化方法におい
て、隣接する複数の単位区間について、所定の条件下で
互いに類似する代表符号コードがある場合、これら類似
する代表符号コードを、複数の単位区間に跨がった統合
符号コードに置換する処理を行うようにしたものであ
る。
1〜第13の態様に係る音響信号の符号化方法におい
て、各単位区間ごとに抽出されるP個の符号コードを、
それぞれP個のトラックに分離して収容するようにし、
抽出されたP個の符号コードを周波数に基いてソートし
てから各トラックに収容するようにしたものである。
1〜第14の態様に係る音響信号の符号化方法を実行す
る音響信号の符号化のためのプログラムをコンピュータ
読み取り可能な記録媒体に記録するようにしたものであ
る。
1〜第14の態様に係る音響信号の符号化方法により符
号化された符号データをコンピュータ読み取り可能な記
録媒体に記録するようにしたものである。
に基づいて説明する。
法の基本原理 はじめに、本発明に係る音響信号の符号化方法の基本原
理を図1を参照しながら説明する。いま、図1(a) に示
すように、時系列の強度信号としてアナログ音響信号が
与えられたものとしよう。図示の例では、横軸に時間
t、縦軸に振幅(強度)をとってこの音響信号を示して
いる。ここでは、まずこのアナログ音響信号を、デジタ
ルの音響データとして取り込む処理を行う。これは、従
来の一般的なPCMの手法を用い、所定のサンプリング
周期でこのアナログ音響信号をサンプリングし、振幅を
所定の量子化ビット数を用いてデジタルデータに変換す
る処理を行えばよい。ここでは、説明の便宜上、PCM
の手法でデジタル化した音響データの波形も、図1(a)
のアナログ音響信号と同一の波形で示すことにする。
時間軸上に、複数の単位区間を設定する。図1(a) に示
す例では、時間軸t上に等間隔に6つの時刻t1〜t6
が定義され、これら各時刻を始点および終点とする5つ
の単位区間d1〜d5が設定されている(より実用的な
区間設定方法については後述する)。
区間ごとの音響信号に対してそれぞれフーリエ変換を行
い、スペクトルを作成する。このとき、ハニング窓(Ha
nning Window )など周知の窓関数で切り出した音響信号
にフィルタをかけてフーリエ変換を施すことが望まし
い。一般にフーリエ変換は、切り出した区間前後に同様
な信号が無限に存在することが想定されているため、矩
形窓(窓なし)の場合、作成したスペクトルに高周波ノ
イズがのることが多い。このような場合、ハニング窓な
ど区間の両端の重みが0になるような関数を用いるのが
望ましい。ハニング窓関数H(k)は、単位区間長をL
とすると、k=1…Lに対して、 H(k)=0.5−0.5*cos(2πk/L) で与えられる関数である。
されたスペクトルの一例が示されている。このスペクト
ルでは、横軸上に定義された周波数fによって、単位区
間d1内の音響信号に含まれる周波数成分(0〜Fs:
ここでFsはサンプリング周波数)が示されており、縦
軸上に定義された複素強度Aによって、各周波数成分ご
との複素強度が示されている。なお、このようなスペク
トルを得る手法としては、フーリエ変換の他にも種々の
手法が知られており、どのような手法を利用してもかま
わない。また、アナログ音響信号から直接的にスペクト
ルを作成する手法を用いれば、音響信号をPCMの手法
でデジタル化する必要はない。
させて、離散的に複数Q個の符号コードを定義する。こ
の例では、符号コードとしてMIDIデータで利用され
るノートナンバーNを用いており、N=0〜127まで
の128個の符号コードを定義している。ノートナンバ
ーNは、音符の音階を示すパラメータであり、たとえ
ば、ノートナンバーN=69は、ピアノの鍵盤中央の
「ラ音(A3音)」を示しており、440Hzの音に相
当する。このように、128個のノートナンバーには、
いずれも所定の周波数が対応づけられるので、スペクト
ルの周波数軸f上の所定位置に、それぞれ128個のノ
ートナンバーNが離散的に定義されることになる。
ブ上がると、周波数が2倍になる対数尺度の音階を示す
ため、周波数軸fに対して線形には対応しない。そこ
で、周波数軸fを対数尺度で表し、この対数尺度軸上に
ノートナンバーNを定義した強度グラフを作成する。図
1(c) は、このようにして作成された単位区間d1につ
いての強度グラフを示す。この強度グラフの横軸は、図
1(b) に示すスペクトログラムの横軸を対数尺度に変換
したものであり、ノートナンバーN=0〜127が等間
隔にプロットされている。一方、この強度グラフの縦軸
は、図1(b) に示すスペクトルの複素強度Aを実効強度
Eに変換したものであり、各ノートナンバーNの位置に
おける強度を示している。一般に、フーリエ変換によっ
て得られる複素強度Aは、実数部Rと虚数部Iとによっ
て表されるが、実効強度Eは、E=(R2+I2)
1/2なる演算によって求めることができる。
ラフは、単位区間d1の音響信号に含まれる振動成分に
ついて、ノートナンバーN=0〜127に相当する各振
動成分の割合を実効強度として示すグラフということが
できる。そこで、この強度グラフに示されている各実効
強度に基いて、全Q個(この例ではQ=128)のノー
トナンバーの中からP個のノートナンバーを選択し、こ
のP個のノートナンバーNを、単位区間d1を代表する
代表符号コードとして抽出する。ここでは、説明の便宜
上、P=3として、全128個の候補の中から3個のノ
ートナンバーを代表符号コードとして抽出する場合を示
すことにする。たとえば、「候補の中から強度の大きい
順にP個の符号コードを抽出する」という基準に基いて
抽出を行えば、図1(c) に示す例では、第1番目の代表
符号コードとしてノートナンバーNp(d1,1)が、
第2番目の代表符号コードとしてノートナンバーNp
(d1,2)が、第3番目の代表符号コードとしてノー
トナンバーNp(d1,3)が、それぞれ抽出されるこ
とになる。
抽出されたら、これらの代表符号コードとその実効強度
によって、単位区間d1の音響信号を表現することがで
きる。たとえば、上述の例の場合、図1(c) に示す強度
グラフにおいて、ノートナンバーNp(d1,1)、N
p(d1,2)、Np(d1,3)の実効強度がそれぞ
れEp(d1,1)、Ep(d1,2)、Ep(d1,
3)であったとすれば、以下に示す3組のデータ対によ
って、単位区間d1の音響信号を表現することができ
る。
が、単位区間d2〜d5についても、それぞれ別個に同
様の処理が行われ、代表符号コードおよびその強度を示
すデータが得られることになる。たとえば、単位区間d
2については、 Np(d2,1),Ep(d2,1) Np(d2,2),Ep(d2,2) Np(d2,3),Ep(d2,3) なる3組のデータ対が得られる。このようにして各単位
区間ごとに得られたデータによって、原音響信号を符号
化することができる。
である。図2(a) には、図1(a) と同様に、原音響信号
について5つの単位区間d1〜d5を設定した状態が示
されており、図2(b) には、各単位区間ごとに得られた
符号データが音符の形式で示されている。この例では、
個々の単位区間ごとに3個の代表符号コードを抽出して
おり(P=3)、これら代表符号コードに関するデータ
を3つのトラックT1〜T3に分けて収容するようにし
ている。たとえば、単位区間d1について抽出された代
表符号コードNp(d1,1),Np(d1,2),N
p(d1,3)は、それぞれトラックT1,T2,T3
に収容されている。もっとも、図2(b)は、本発明によ
って得られる符号データを音符の形式で示した概念図で
あり、実際には、各音符にはそれぞれ強度に関するデー
タが付加されている。たとえば、トラックT1には、ノ
ートナンバーNp(d1,1),Np(d2,1),N
p(d3,1)…なる音階を示すデータとともに、Ep
(d1,1),Ep(d2,1),Ep(d3,1)…
なる強度を示すデータが収容されることになる。
ずしもMIDI形式を採用する必要はないが、この種の
符号化形式としてはMIDI形式が最も普及しているた
め、実用上はMIDI形式の符号データを用いるのが最
も好ましい。MIDI形式では、「ノートオン」データ
もしくは「ノートオフ」データが、「デルタタイム」デ
ータを介在させながら存在する。「ノートオン」データ
は、特定のノートナンバーNとベロシティーVとを指定
して特定の音の演奏開始を指示するデータであり、「ノ
ートオフ」データは、特定のノートナンバーNとベロシ
ティーVとを指定して特定の音の演奏終了を指示するデ
ータである。また、「デルタタイム」データは、所定の
時間間隔を示すデータである。ベロシティーVは、たと
えば、ピアノの鍵盤などを押し下げる速度(ノートオン
時のベロシティー)および鍵盤から指を離す速度(ノー
トオフ時のベロシティー)を示すパラメータであり、特
定の音の演奏開始操作もしくは演奏終了操作の強さを示
すことになる。
目の単位区間diについて、代表符号コードとしてP個
のノートナンバーNp(di,1),Np(di,
2),…,Np(di,P)が得られ、このそれぞれに
ついて実効強度Ep(di,1),Ep(di,2),
…,Ep(di,P)が得られる。そこで本実施形態で
は、次のような手法により、MIDI形式の符号データ
を作成している。まず、「ノートオン」データもしくは
「ノートオフ」データの中で記述するノートナンバーN
としては、得られたノートナンバーNp(di,1),
Np(di,2),…,Np(di,P)をそのまま用
いている。一方、「ノートオン」データもしくは「ノー
トオフ」データの中で記述するベロシティーVとして
は、得られた実効強度Ep(di,1),Ep(di,
2),…,Ep(di,P)を、値が0〜1の範囲とな
るように規格化し、この規格化後の実効強度Eの平方根
に127を乗じた値を用いている。すなわち、実効強度
Eについての最大値をEmax とした場合、 V=(E/Emax )1/2・127 なる演算で求まる値Vをベロシティーとして用いてい
る。あるいは対数をとって、 V=log(E/Emax )・127+127 (ただし、V<0の場合はV=0とする)なる演算で求
まる値Vをベロシティーとして用いてもよい。また、
「デルタタイム」データは、各単位区間の長さに応じて
設定すればよい。
からなるMIDI符号データが得られることになる。こ
のMIDI符号データを所定のMIDI音源を用いて再
生すれば、3チャンネルのステレオ再生音として原音響
信号が再生される。なお、MIDI符号データの再生機
能をもった一般的な装置は、8チャンネルあるいは16
チャンネルのステレオ再生を行うことが可能であり、実
用上は、P=8あるいはP=16に設定し、8トラック
あるいは16トラックからなるMIDI符号データを作
成するのが好ましい。
はコンピュータを用いて実行される。本発明による符号
化処理を実現するためのプログラムは、磁気ディスクや
光ディスクなどのコンピュータ読み取り可能な記録媒体
に記録して供給することができ、また、本発明による符
号化処理によって符号化された符号データは、同様に、
磁気ディスクや光ディスクなどのコンピュータ読み取り
可能な記録媒体に記録して供給することができる。
理を述べたが、以下、より実用的な符号化方法を述べ
る。ここでは、区間設定を行う上でのより実用的な手法
を説明する。図2(a) に示された例では、時間軸t上に
等間隔に定義された6つの時刻t1〜t6を境界とし
て、5つの単位区間d1〜d5が設定されている。この
ような区間設定に基いて符号化を行った場合、再生時
に、境界となる時刻において音の不連続が発生しやす
い。したがって、実用上は、隣接する単位区間が時間軸
上で部分的に重複するような区間設定を行うのが好まし
い。
区間設定を行った例である。図示されている単位区間d
1〜d4は、いずれも部分的に重なっており、このよう
な区間設定に基いて前述の処理を行うと、図3(b) の概
念図に示されているような符号化が行われることにな
る。この例では、それぞれの単位区間の中心を基準位置
として、各音符をそれぞれの基準位置に配置している
が、単位区間に対する相対的な基準位置は、必ずしも中
心に設定する必要はない。図3(b) に示す概念図を図2
(b) に示す概念図と比較すると、音符の密度が高まって
いることがわかる。このように重複した区間設定を行う
と、作成される符号データの数は増加することになる
が、再生時に音の不連続が生じない自然な符号化が可能
になる。
設定を行う具体的な手法を示す図である。この具体例で
は、音響信号を22kHzのサンプリング周波数でサン
プリングすることによりデジタル音響データとして取り
込み、個々の単位区間の区間長Lを1024サンプル分
(約47msec)に設定し、各単位区間ごとのずれ量
を示すオフセット長ΔLを20サンプル分(約0.9m
sec)に設定したものである。すなわち、任意のiに
対して、第i番目の単位区間の始点と第(i+1)番目
の単位区間の始点との時間軸上での隔たりがオフセット
長ΔLに設定されることになる。たとえば、第1番目の
単位区間d1は、1〜1024番目のサンプルを含んで
おり、第2番目の単位区間d2は、20サンプル分ずれ
た21〜1044番目のサンプルを含んでいることにな
る。
区間設定を行った場合、隣接する単位区間においてかな
りのサンプルが共通して用いられることになり、各単位
区間ごとに求めたスペクトルに有効な差が生じないこと
が予想される。たとえば、上述の例の場合、第1番目の
単位区間d1と第2番目の単位区間d2とを比較する
と、21〜1024番目のサンプルは両単位区間で全く
共通して利用されており、両者の相違は、わずか20サ
ンプル分に依存していることになる。このように、隣接
する単位区間のスペクトルに十分な差が得られないと、
変化の激しい音響信号に追従できず、結果的に時間分解
能が低下するという問題が生じることになる。このよう
な問題に対処するためには、わずか20サンプル分の相
違により、フーリエ変換の入力側に大きな変化が生じる
ような対策を講じればよい。
関数に対して、変化する20サンプル分を強調するよう
な細工を施すことを考案した。前述した周知のハニング
窓は、むしろ隣接区間の変動を抑える方向に働くため、
上述の問題に対処する観点からは逆効果である。そこ
で、区間両端の重みが減少するというハニング窓の特徴
を継承しつつ、20サンプル分を強調するような関数を
考案し、実際に適用してみた。具体的には、単位区間の
区間長をL、オフセット長をΔLとして、 α=L/2−ΔL/2 β=L/2+ΔL/2 なるα,βを定め、区間[α,β]で表される中央近傍
区間(単位区間の中央位置に定義された幅ΔLの区間)
を定義し、k=1…αのとき H(k)=0.5−0.5*cos(πk/2α) k=α…βのとき H(k)=0.5−0.5 *cos(π(k−α)/ΔL+π/2) k=β…Lのとき H(k)=0.5−0.5 *cos(π(k−β)/2α+3π/2) なる改良型窓関数H(k)を用いるようにすればよい。
この改良型窓関数H(k)は、半値幅がちょうどΔLに
なるように狭幅に変形した分布関数であり、この関数を
用いて実験を行ったところ、十分な効果が確認できた。
zのサンプリング周波数でサンプリングを行い、単位区
間の区間長Lを1024サンプル分に設定した場合に
は、対数スケール変換により128種類のノートナンバ
ーのうち上半分に相当するデータしか連続的に得ること
ができず、低音部のデータがいわゆる歯抜け状態にな
り、全体的に高音に偏ったスペクトルになることが確認
できた。結局、128種類のノートナンバーすべてをカ
バーすることを考えると、区間長Lを8倍の8192サ
ンプル以上に設定する必要がある。しかしながら、区間
長Lを8倍にすると、各区間ごとの演算時間が64倍に
なり、しかも前述した時間分解能の低下という問題を助
長することになり現実的ではない。
に焦点を当てたスペクトルを別途求め、この別途求めた
スペクトルを通常のスペクトルに合成する手法を考案し
た。低音部に焦点を当てたスペクトルは、次のような方
法で、通常のスペクトルと同一演算負荷で容易に求める
ことができる。たとえば、図1(b) において、区間長L
は同一にしたまま、サンプリング周波数を通常の1/8
であるFs/8に設定すれば、Fs/8以下の周波数成
分が拡大されたスペクトルを求めることができる。この
処理は、音響信号のサンプル数を1/8に間引きして、
同一区間長のサンプルを取り出してフーリエ変換を行う
処理と等価である(区間長の時間軸のスケールは8倍に
なっている)。幸いなことに、既に離散データになって
いる音響信号のサンプリング周波数を上げるのは困難で
あるが、逆に下げるのは容易である。こうして得られた
1/8間引きスペクトルを通常のスペクトルに合成する
ことにより、ノートナンバー24以上をすべてカバーで
きることが確認できた(ノートナンバー24は、ピアノ
の最低音であり、これ以下の音は、通常の楽器で再生す
ることができないため、実用上は不要である。)。しか
も、この手法による演算負荷は、1024サンプル分の
フーリエ変換をたかだか2回行う程度ですむ。
8種類のノートナンバーのそれぞれについての実効強度
Eを求めるには、たとえば、各ノートナンバーNに所定
の周波数レンジを割り当て、割り当てられたレンジ内の
各周波数の実効強度の平均値を、当該ノートナンバーN
の実効強度とすればよい。図5は、このような手法で実
効強度を求める概念を示すグラフである。まず、フーリ
エ変換によって得られたスペクトルの横軸を対数尺度に
変換し、縦軸を実効強度に変換すれば、図5に示すよう
なグラフが得られる。横軸上に示された周波数値25
9,280,291,…は、それぞれノートナンバーN
=60,61,62,…に対応する周波数である。ここ
で、たとえば、ノートナンバーN=61についての実効
強度を求めるには、周波数値280の近傍の所定の周波
数レンジ(図にハッチングを施した領域)を、ノートナ
ンバーN=61に割り当て、このレンジ内の各周波数の
実効強度の最大値を、ノートナンバーN=61について
の実効強度とすればよい。
を行った場合、作成される符号コードの数はかなり増え
ることになる。ここでは、最終的に作成される符号コー
ドの数をできるだけ削減するために効果的な統合処理を
説明する。
される符号コードが作成された場合を考える。図示の例
では、すべての符号コードが八分音符から構成されてい
る。これは、区間長Lが一定であるため、作成される個
々の符号コードも同一の長さになるためである。しかし
ながら、この図6(a) に示す音符群は、図6(b) に示す
ように書き直すことができる。すなわち、同じ音階を示
す音符が複数連続して配置されていた場合には、この複
数の音符を1つの音符に統合することができる。別言す
れば、複数の単位区間に跨がった音符によって、個々の
単位区間ごとの音符を置換することができる。
みを統合したが、統合対象となる音符は、必ずしも同じ
音階の音符に限定されるものではなく、ある程度の類似
性をもった音符を統合対象としてかまわない。たとえ
ば、互いに1音階の差しかない一連の音符を統合対象と
して、1つの音符に置換することもできる。この場合
は、たとえば、一連の音符の中で音階の低い方の音符に
よって置換すればよい。一般的に拡張すれば、隣接する
複数の単位区間について、所定の条件下で互いに類似す
る代表符号コードがある場合、これら類似する代表符号
コードを、複数の単位区間に跨がった統合符号コードに
置換することにより、音符数を削減することが可能にな
る。
て、符号コードの統合処理の概念を説明したが、本発明
に係る符号化処理によって作成される符号コードには、
それぞれ強度を示すデータ(MIDIデータの場合はベ
ロシティー)が付加されている。したがって、符号コー
ドを統合した場合、強度を示すデータも統合する必要が
ある。ここで、統合対象となる符号コードに、それぞれ
異なる強度データが定義されていた場合には、たとえ
ば、最も大きな強度データを統合後の符号コードについ
ての強度データと定めるようにすればよい。ただ、MI
DIデータの場合、2つの符号コードを統合する際に、
先行する符号コードの強度に比べて、後続する符号コー
ドの強度がかなり大きい場合、これら2つの符号コード
を統合すると不自然になる。これは、通常のMIDI音
源の再生音は、楽器の演奏音から構成されており、音の
強度が時間とともに減衰してゆくのが一般的だからであ
る。したがって、先行する符号コードの強度に比べて、
後続する符号コードの強度が小さい場合には、1つの統
合符号コードに置換しても不自然さは生じないが、逆の
場合には、不自然さが生じることになる。そこで、2つ
の符号コードの強度差が所定の基準以上であり、かつ、
先行する符号コードの強度に比べて、後続する符号コー
ドの強度が大きい場合には、統合を行わない、というよ
うな条件を設定しておくのが好ましい。
われると、符号コードの数を低減させるメリットが得ら
れるので、できる限り統合処理が促進されるような配慮
を行うのが望ましい。このような配慮を行うための最も
効果的な手法は、符号コードを周波数に基いてソートし
てから各トラックに収容する手法である。図6(a) に示
した音符群は、同一のトラック上に収容された符号コー
ドである。統合処理の対象となる音符は、通常、同一の
トラック上に収容されている必要がある。ところが、実
際には、図2(b) に示すように、複数P個のトラック
(図2(b) の例では、P=3)が定義され、各単位区間
ごとに抽出されたP個の符号コードは、このP個のトラ
ックにそれぞれ分けて収容されることになり、統合対象
となる音符が出現する確率は、各トラックへの分離処理
の方法に大きく依存する。たとえば、図2(b) に示すよ
うに、3つの符号データを3個のトラックT1,T2,
T3に分離する場合、3つのうち最も周波数の低いもの
をトラックT1へ、次に周波数の低いものをトラックT
2へ、最も周波数の高いものをトラックT3へ、それぞ
れ収容するように分離方法を決めておけば、周波数に全
く無関係に分離した場合に比べて、統合対象となる音符
が出現する確率は向上すると考えられる。
符号コードを、それぞれP個のトラックに分離して収容
する際に、抽出されたP個の符号コードを周波数に基い
てソートしてから各トラックに収容するようにすれば、
統合対象となる符号コードを増加させることができる。
図7は、P=8の場合についての周波数ソート例を示す
概念図である。P=8の場合、ある単位区間d1につい
ての代表符号コードとして、8個のノートナンバーNp
(d1,1)〜Np(d1,8)が抽出されることにな
る。この抽出処理では、8個のノートナンバーは、たと
えば、実効強度の大きさの順に順次抽出されることにな
り、実効強度の大きさの順にソートされた状態になって
いる(図7の左列)。これを、周波数でソートすれば、
たとえば、図7の中列のように順序が入れ替わる。こう
してソートされたノートナンバーを、図7の右列に示す
ように、8個のトラックT1〜T8に収容するようにす
れば、たとえば、8個のノートナンバーの中で最も周波
数の低い(ナンバーの小さい)ノートナンバーは常にト
ラックT1に収容され、最も周波数の高い(ナンバーの
大きい)ノートナンバーは常にトラックT8に収容され
るようになる。その結果、いずれのトラックにおいて
も、統合対象となるノートナンバーの出現頻度が向上す
ることになる。
いて、横軸上に定義された128個のノートナンバーの
中から、3つのノートナンバーNp(d1,1),Np
(d1,2),Np(d1,3)が代表符号コードとし
て抽出され、抽出された各代表符号コードは、3つのト
ラックT1,T2,T3にそれぞれ分離して収容される
ことになる。一般的に、P個のトラックT1〜TPを用
意した場合、P個のノートナンバーNp(d1,1),
Np(d1,2),…,Np(d1,P)を代表符号コ
ードとして抽出する必要がある。ここでは、この代表符
号コードを抽出する方法として、具体的な5つの方法を
述べることにする。
1の方法は、符号化対象となる強度グラフにおける候補
の中から強度の大きい順にP個の符号コードを抽出し
て、これを代表符号コードとする方法である。図1(c)
に示された3つのノートナンバーNp(d1,1),N
p(d1,2),Np(d1,3)は、この第1の方法
に基いて抽出されている。すなわち、図1(c) に示す強
度グラフにおいて、実効強度Eの最も大きなノートナン
バーNp(d1,1)が第1代表符号コードとして抽出
され、実効強度Eが2番目に大きなノートナンバーNp
(d1,2)が第2代表符号コードとして抽出され、実
効強度Eが3番目に大きなノートナンバーNp(d1,
3)が第3代表符号コードとして抽出されることにな
る。
図である。ここでは、説明の便宜上、5つのノートナン
バーNa,Nb,Nc,Nd,Neについて、それぞれ
図8(a) に示すような実効強度が定義され、他のノート
ナンバーについては、いずれも実効強度が零である単純
な場合を考える(実際には、128個のノートナンバー
すべてが、いくらかの実効強度値をもつのが一般的であ
る)。第1の方法によれば、この5つの候補の中で、実
効強度が最も大きなノートナンバーNbが第1代表符号
コードとして抽出される。こうして抽出されたノートナ
ンバーは、候補から削除される。図8に示す例では、第
1代表符号コードとして抽出されたノートナンバーNb
が候補から削除されることになる。図8(b) には、候補
から削除されたノートナンバーNbのグラフが破線で示
されている。続いて、図8(b) に実線グラフで示されて
いる残りの4候補の中で最も実効強度が大きなノートナ
ンバーNcが第2代表符号コードとして抽出され、候補
から削除されることになる。このような処理を第P代表
符号コードが抽出されるまで繰り返し実行すればよい。
表符号コードは、当該単位区間内の原音響信号に含まれ
ている代表的な周波数成分を示すためのものであるか
ら、原理的には、実効強度の大きい順にP個の代表符号
コードを抽出するという第1の方法は、最も適当な方法
のように見える。しかしながら、この第1の抽出方法を
用いて実際に符号化を行った結果、再生時に全体的に音
程が高音側にシフトするという現象が確認できた。たと
えば、男性の話声を原音響信号として、この第1の抽出
方法を用いた符号化を行い、得られた符号データを、一
般のMIDI音源を用いて再生した場合、もとの男性の
話声にくらべてやや甲高い女性の話声に近い再生音が得
られた。
由は、MIDI音源に利用される楽器音などが、倍音成
分(基本成分の整数倍の周波数をもった成分)を含んで
いるためであると考えている。たとえば、ピアノの鍵盤
中央の「ラ音(A3音)」の基本周波数成分は440H
zであるが、実際にこの「ラ音(A3音)」の鍵盤を弾
いてみると、基本周波数成分である440Hzの音とと
もに、その2倍の周波数成分880Hzの音(1オクタ
ーブ上のラ音(A4音))や、3倍、4倍、…の周波数
成分の音(倍音成分)が混在していることがわかる。し
たがって、たとえば、代表符号コードとして、ノートナ
ンバーN=69(A3音)を抽出した場合、再生時に
は、このノートナンバーN=69の基本周波数成分であ
る440Hzの音の他に、880Hz,1320Hz,
…などの倍音成分の音が混在することになる。したがっ
て、この第1の抽出方法によって、実効強度の大きい順
にP個の代表符号コードを抽出すると、MIDI音源を
用いた再生時には、各代表符号コードの基本周波数成分
の音に、これらの倍音成分の音が加わることになり、全
体的に高音側の強度が高められた状態で再生が行われる
ことになる。再生時に音程が全体的に高音側にシフトす
るという現象は、このような理由により発生すると思わ
れる。
再生時に音程が全体的に高音側にシフトするという現象
を抑えるための代表符号コードの抽出方法を想到するに
至った。以下に述べる各抽出方法は、いずれもこのよう
な着想に基く方法である。
2の方法は、符号化対象となる強度グラフにおけるその
時点での候補の中から最も強度の大きい符号コードを第
i番目の代表符号コードとして抽出した後、この第i番
目の代表符号コードおよびその倍音成分に相当する符号
コードを候補から削除する処理を、i=1〜(P−1)
について繰り返し実行し、最後に、残った候補の中から
最も強度の大きい符号コードを第P番目の代表符号コー
ドとして抽出することにより、合計P個の代表符号コー
ドの抽出を行う方法である。
ノートナンバーNa,Nb,Nc,Nd,Neについ
て、それぞれ図のような実効強度が定義されている場合
を考える。まず、i=1として、候補の中からこの時点
で最も強度の大きい符号コードであるノートナンバーN
bが、第1代表符号コードとして抽出される。続いて、
この抽出されたノートナンバーNbおよびその倍音成分
に相当する符号コードが候補から削除される。たとえ
ば、ノートナンバーNcがノートナンバーNbの倍音成
分であったとすると、図9(b) に破線で示すように、既
に抽出されたノートナンバーNbとともに、その倍音成
分であるノートナンバーNcが候補から削除される。図
9(b) では、候補から削除されたノートナンバーNb,
Ncのグラフが破線で示されている。続いて、i=2へ
の更新が行われ、残った候補の中から最も強度の大きい
符号コードであるノートナンバーNaが、第2代表符号
コードとして抽出される。そして、この抽出されたノー
トナンバーNaおよびその倍音成分に相当する符号コー
ドが候補から削除される。
更新しながら、i=P−1まで実行すれば、(P−1)
番目の代表符号コードまでの抽出が完了する。最後に、
残った候補の中から最も強度の大きい符号コードを第P
番目の代表符号コードとして抽出すれば、合計P個の代
表符号コードを抽出することができる。
コードが抽出されると、その倍音成分に相当する符号コ
ードが候補から削除されるため、最終的に抽出されたP
個の代表符号コードの中には、互いに倍音関係にある符
号コードが含まれないことになる。したがって、再生時
に倍音成分が強調されて甲高い音になる現象を緩和する
ことができる。ただ、この第2の抽出方法では、再生音
が甲高い音になる現象を完全に抑制することはできな
い。その理由は、一般的なMIDI音源には、本来の基
本周波数成分の強度よりも、倍音成分の強度の方が大き
い音が含まれているためと考えられる。
について、ノートナンバーN=24〜84に含まれるピ
ーク周波数を測定した結果を示す図表である。たとえ
ば、ノートナンバーN=24は、本来は「C0音」の音
階に相当する音であるが、この音をMIDI音源で再生
した際の再生音に含まれる周波数成分を調べると、ピー
ク周波数が129Hzという本来の音階の基本周波数よ
りも高い結果が得られている。この図表の「対応する音
階」欄に示された音階は、このピーク周波数に対応する
音階を示しており、ノートナンバーN=24の場合、対
応する音階は「C2」音になっている。別言すれば、
「C0音」を本来の音階とするノートナンバーN=24
の音を再生すると、実際には、「C0音」に対応する基
本周波数の強度よりも、その4倍音成分である「C2
音」に対応する周波数(129Hz)の強度の方が大き
いことがわかる。このような傾向は、主に、ノートナン
バーN=57以下の音についてみられる。すなわち、ノ
ートナンバーN=57以下の音のうち、N=41,4
5,46,48,49,52,54,56については、
それぞれ基本周波数の強度が最も大きく、本来の音階と
ピーク周波数に対応する音階とが一致しているが、それ
以外の音ではいずれも基本周波数の強度よりも倍音成分
の強度の方が大きくなっており、ピーク周波数に対応す
る音階が本来の音階に一致していない。なお、ノートナ
ンバーN=58以上の音については、いずれも基本周波
数の強度が最も大きく、本来の音階とピーク周波数に対
応する音階とが一致している。
方法では、再生時に音程が全体的に高音側にシフトする
という現象を完全に抑制することはできない。すなわ
ち、ノートナンバーN=57以下の音が代表符号コード
として抽出された場合、これらの本来の音階の強度より
も倍音成分の強度の方が大きくなるため、依然として、
再生時には高音側が強調されることになる。
3の抽出方法は、図10に示すような特性を考慮した方
法である。すなわち、予め、各符号コードに基いて音を
再生するために用いる音源を特定しておき、この特定の
音源を用いた各符号コードの再生音の周波数特性(たと
えば、図10に示すような特性)を求めておく。そし
て、求めた周波数特性に基いて、所定の補正テーブルを
定義する。具体的には、特定のノートナンバーの音を、
それより低いノートナンバーの音で代用するような補正
テーブルを定義すればよい。たとえば、図10に示す周
波数特性をもった音源を用いて再生を行う場合であれ
ば、ノートナンバーN=48(C2音)の音は、それよ
り低いノートナンバーN=24(C0音)で代用するこ
とができる。なぜなら、ノートナンバーN=24の音を
再生した場合、本来の音階である「C0音」の強度より
も、倍音成分である「C2音」の強度の方が大きいから
である。
ノートナンバーについては、それぞれ代用対象となるノ
ートナンバーを予め定めておき、代用対象に置換する旨
の補正指示を補正テーブルの形で用意しておけばよい。
代表符号コードの抽出時には、この補正テーブルを参照
しながら、実際に抽出する符号コードを補正するように
する。たとえば、本来であれば、その時点で強度の最も
大きいノートナンバーN=48(C2音)の音を抽出す
べき場合でも、ノートナンバーN=48(C2音)をノ
ートナンバーN=24(C0音)に補正する旨の指示が
補正テーブルにあれば、ノートナンバーN=24(C0
音)を代表符号コードとして抽出すればよい。
るその時点での候補の中から最も強度の大きい符号コー
ドを第i番目の参照コードとし、この第i番目の参照コ
ードに、用意した補正テーブルを適用することにより得
られる符号コードを第i番目の代表符号コードとして抽
出し、第i番目の参照コードおよび第i番目の代表符号
コードの双方を候補から除外する処理を、i=1〜Pに
ついて繰り返し実行し、合計P個の代表符号コードの抽
出を行うようにすればよい。
のノートナンバーNa,Nb,Nc,Nd,Neについ
て、それぞれ図のような実効強度が定義されている場合
を考える。まず、i=1として、候補の中からこの時点
で最も強度の大きい符号コードであるノートナンバーN
bが、第1参照コードとして抽出される。続いて、この
第1参照コードに、用意した補正テーブルを適用する。
たとえば、補正テーブルに、ノートナンバーNbをノー
トナンバーNb*に補正する旨の指示があったとすれ
ば、図11(b) に示すように、補正後のノートナンバー
Nb*が第1代表符号コードとして抽出されることにな
る。このとき、第1参照コードであるノートナンバーN
bと補正後のノートナンバーNb*は候補から除外され
る。図11(c) では、候補から除外されたノートナンバ
ーNbのグラフが破線で示されている(Nb*はもとも
と強度成分が0に近いため図示されていない)。
(c) に示すように、残った候補の中から最も強度の大き
い符号コードであるノートナンバーNcが、第2参照コ
ードとして抽出される。そして、この第2参照コード
に、用意した補正テーブルを適用する。たとえば、補正
テーブルに、ノートナンバーNcをノートナンバーNc
*に補正する旨の指示があったとすれば、図11(d) に
示すように、補正後のノートナンバーNc*が第2代表
符号コードとして抽出されることになる。このとき、第
2参照コードであるノートナンバーNcは候補から除外
される。このような処理を、i=3,i=4,…と更新
しながら、i=Pまで実行すれば、P番目の代表符号コ
ードまでの抽出が完了する。
ーブルの作成方法が重要である。用いる補正テーブルが
不適当であると、補正により音程が大きく外れてしまう
結果を招くことになる。なお、用意すべき補正テーブル
は、厳密に言えば、再生時に用いる音源に依存すること
になるが、一般的なMIDI音源はいずれも類似した周
波数特性を有することが多いため、特定の音源について
用意した補正テーブルは、別な音源を用いる場合にも、
ある程度の汎用性をもって利用することができる。
3の抽出方法を行うことにより、再生時の音程が全体的
に高音側にシフトするという現象をある程度低減させる
ことができるが、この現象をより効果的に抑制するため
には、前述した第2の抽出方法とこの第3の抽出方法を
組み合わせて用いるのが好ましい。すなわち、図11
(b) に示すように、第1代表符号コードとしてノートナ
ンバーNb*を抽出した後、第1参照コードであるノー
トナンバーNbとともに、その倍音成分を候補から削除
するようにする。たとえば、ノートナンバーNcがノー
トナンバーNbの倍音成分であったとすると、図11
(e) に破線で示すように、ノートナンバーNb,Ncが
ともに候補から削除されることになり、第2参照コード
としては、ノートナンバーNaが抽出されることにな
る。そして、この第2参照コードに、用意した補正テー
ブルを適用した結果、補正テーブルに、ノートナンバー
NaをノートナンバーNa*に補正する旨の指示があっ
たとすれば、図11(f) に示すように、補正後のノート
ナンバーNa*が第2代表符号コードとして抽出される
ことになる。このとき、第2参照コードであるノートナ
ンバーNaとその倍音成分が候補から削除される。この
ような処理を、i=3,i=4,…と更新しながら、i
=Pまで実行すれば、P番目の代表符号コードまでの抽
出が完了する。
4の抽出方法では、音を再生するために用いる音源を予
め特定しておき、この音源を用いて各符号コードを実際
に再生することにより得られる音響信号の波形を実測し
ておく。そして、この音響信号の波形に対して、§1で
述べたスペクトル作成段階および強度グラフ作成段階を
実行し、各符号コードについての強度グラフを予め求め
ておく。すなわち、ノートナンバーN=0〜127の1
28通りの音を、実際のMIDI音源を用いて再生し、
この再生波形に対して、図1(b) に示すようなスペクト
ルを求め(たとえば、§1で述べた単位区間と同一長さ
の区間を代表区間として設定し、この代表区間について
のスペクトルを求める。このとき、代表区間の設定は、
できるだけ信号の立ち上がりまたは立ち下がり部分を避
けて設定する。あるいは適当な複数区間についての平均
スペクトルを求めてもよい。)、更に、図1(c) に示す
ような強度グラフ(ここでは、各符号コード(ノートナ
ンバー)についての固有強度グラフと呼ぶ)を求めてお
く。結局、ノートナンバーN=0〜127について、1
28通りの固有強度グラフが得られることになる。以上
が、この第4の抽出方法の準備段階となる。
する段階では、次のような方法で、代表符号コードの抽
出が行われる。すなわち、符号化対象となる強度グラフ
におけるその時点での候補の中から最も強度の大きい符
号コードを第i番目の代表符号コードとして抽出した
後、符号化対象となる強度グラフの各強度値からこの第
i番目の代表符号コードについての固有強度グラフの各
強度値を減算する処理を、i=1〜(P−1)について
繰り返し実行し、更に、残った候補の中から最も強度の
大きい符号コードを第P番目の代表符号コードとして抽
出することにより、合計P個の代表符号コードの抽出を
行う。
のノートナンバーNa,Nb,Nc,Nd,Neについ
て、それぞれ図のような実効強度が定義されている場合
を考える。まず、i=1として、候補の中からこの時点
で最も強度の大きい符号コードであるノートナンバーN
bが、第1代表符号コードとして抽出される。このノー
トナンバーNbについては、上述した準備段階におい
て、固有強度グラフが求められている。たとえば、特定
のMIDI音源を用いて、このノートナンバーNbを再
生した場合に、図12(b) に示すような再生信号波形が
得られる場合、この再生信号波形に対して、§1で述べ
たスペクトル作成段階および強度グラフ作成段階を実行
することにより、図12(c) に示すようなノートナンバ
ーNbの固有強度グラフが用意されていることになる。
そこで、図12(a) に示す符号化対象となる強度グラフ
の各強度値からこのノートナンバーNbについての固有
強度グラフの各強度値を減算する処理を行う。図12
(d) は減算の結果を示すグラフである。図に破線で示し
た部分が、減算によって削除された部分である。結局、
減算の結果、この時点における「符号化対象となる強度
グラフ」は、図12(e)のようなグラフになる。
(e) に示すように、残った候補の中から最も強度の大き
い符号コードであるノートナンバーNaが、第2代表符
号コードとして抽出される。そして、この時点における
「符号化対象となる強度グラフ」である図12(e) のグ
ラフの各強度値から、ノートナンバーNaについての固
有強度グラフ(図示されていない)の各強度値を減算す
る処理を行い、この減算の結果得られたグラフが、新た
な「符号化対象となる強度グラフ」となる。
更新しながら、i=P−1まで実行すれば、(P−1)
番目の代表符号コードまでの抽出が完了する。最後に、
残った候補の中から最も強度の大きい符号コードを第P
番目の代表符号コードとして抽出すれば、合計P個の代
表符号コードを抽出することができる。
音源の特性に大きく依存するため、予め再生に利用する
予定の音源が特定できている場合の利用に適している。
1つの代表符号コードを抽出するたびに、その代表符号
コードについての実際の再生音に含まれる周波数成分を
減じてゆく手法を採っているため、極めて忠実な再生が
可能になる。
ラフの強度値をそのまま減じているが、固有強度グラフ
の強度値について規格化を行った上で、減算を行うよう
にしてもよい。たとえば、図12(a) に示す「符号化対
象となる強度グラフ」における代表符号コードとして抽
出されたノートナンバーNbの強度値をXとし、図12
(c) の固有強度グラフにおける同じノートナンバーNb
の強度値をYとした場合、後者の固有強度グラフの各強
度値をX/Y倍してから減算を行うようにすると、減算
結果として得られる新たな「符号化対象となる強度グラ
フ」におけるノートナンバーNbの強度値を零にするこ
とができ、同じノートナンバーNbが繰り返し代表符号
コードとして抽出されることを防ぐことができる。
5の抽出方法では、上述した第4の抽出方法と同様に、
準備段階として、音を再生するために用いる音源を予め
特定しておき、この音源を用いて各符号コードを実際に
再生することにより得られる音響信号の波形を実測して
おく。ただし、この第5の抽出方法では、この実測した
波形自体を保存しておき、後の処理の減算に用いるよう
にする。具体的には、ノートナンバーN=0〜127の
128通りの音を、実際のMIDI音源を用いて再生
し、この128通りの再生波形をそのまま保存しておく
ことになる。ここでは、これら各ノートナンバーについ
ての再生波形を、各符号コードについての固有波形と呼
ぶことにする。
する場合、次のような「符号抽出処理」を定義し、この
「符号抽出処理」を繰り返し実行することになる。すな
わち、ここで定義される「符号抽出処理」とは、「第i
番目の代表符号コードを決定するために、第i番目の音
響信号の波形情報を入力し、入力した波形情報に対し
て、§1で述べたスペクトル作成段階および強度グラフ
作成段階を行い、続く符号化段階で、作成された強度グ
ラフにおける候補の中から最も強度の大きい符号コード
を第i番目の代表符号コードとして抽出し、更に、第i
番目の音響信号の強度値から前記第i番目の代表符号コ
ードについての固有波形の各強度値を減算し、その結果
得られる音響信号を第(i+1)番目の音響信号とする
処理」である。
象となる原音響信号に対して区間設定処理を施し、時間
軸上に複数の単位区間を設定する。そして、各単位区間
ごとの音響信号をそれぞれ第1番目の音響信号として、
上述した「符号抽出処理」を、各単位区間のそれぞれご
とに、i=1〜(P−1)について繰り返し実行し、最
後に、第P番目の音響信号の波形情報を入力し、入力し
た波形情報に対して、§1で述べたスペクトル作成段階
および強度グラフ作成段階を行い、続く符号化段階で、
作成された強度グラフにおける候補の中から最も強度の
大きい符号コードを第P番目の代表符号コードとして抽
出すれば、各単位区間ごとにそれぞれ合計P個の代表符
号コードの抽出を行うことができる。以上が、第5の抽
出方法の基本手順である。以下、この基本手順を図13
に示す具体例に即して説明する。
て、区間設定段階が行われ、各単位区間ごとの原音響信
号が、それぞれ第1番目の音響信号となる。以下の処理
は、それぞれ各単位ごとに行われることになる。まず、
i=1に設定され、第1回目の「符号抽出処理」が実行
される。ここでは、ある単位区間dについての第1番目
の音響信号として、図13(a) に示すような波形をもっ
た信号が入力されたものとしよう。この信号は、単位区
間dについての原信号というべき信号である。続いて、
この図13(a) に示す信号に対して、フーリエ変換を行
いスペクトルを求め、このスペクトルに基いて強度グラ
フを求める。ここでは、図13(b) に示すような強度グ
ラフが得られたものとする。
の大きい符号コードであるノートナンバーNbが、第1
代表符号コードとして抽出される。その後、図13(a)
に示す第1番目の音響信号の強度値から、図13(c) に
示す第1代表符号コードについての固有波形(準備段階
で予め求めて保存してある)の各強度値を減算する。そ
の結果、たとえば、図13(d) に示すような音響信号が
得られたとする。この図13(d) に示す減算結果は、第
2番目の音響信号となる。
は、図13(d) に示す第2番目の音響信号に対してフー
リエ変換を行いスペクトルを求め、このスペクトルに基
いて強度グラフを求める。ここでは、図13(e) に示す
ような強度グラフが得られたものとする。次に、この強
度グラフにおいて、最も強度の大きい符号コードである
ノートナンバーNcが、第2代表符号コードとして抽出
される。その後、図13(d) に示す第2番目の音響信号
の強度値から、第2代表符号コードについての固有波形
(図示されていない)の各強度値を減算し、第3番目の
音響信号を求める。
更新しながら、i=P−1まで実行すれば、(P−1)
番目の代表符号コードまでの抽出が完了する。最後に、
残った候補の中から最も強度の大きい符号コードを第P
番目の代表符号コードとして抽出すれば、合計P個の代
表符号コードを抽出することができる。
ば、各単位区間ごとに、それぞれP個の代表符号コード
を得ることができる。
よれば、音響信号に対して効率的な符号化を行うことが
できるようになる。
を示す図である。
符号コードを示す図である。
定を行うことにより作成された符号コードを示す図であ
る。
定の具体例を示す図である。
グラフである。
減した例を示す図である。
らトラックに収容する概念を示す図である。
第1の方法を示す図である。
第2の方法を示す図である。
場合の周波数特性を示す図表である。
る第3の方法を示す図である。
る第4の方法を示す図である。
る第5の方法を示す図である。
ンバー Np(dj,i)…単位区間djについて抽出された第
i番目の代表符号コード(ノートナンバー) Ep(dj,i)…代表符号コードNp(dj,i)の
実効強度 T1〜T8…トラック t1〜t6…時刻
Claims (16)
- 【請求項1】 時系列の強度信号として与えられる音響
信号を符号化するための符号化方法であって、 符号化対象となる音響信号の時間軸上に複数の単位区間
を設定する区間設定段階と、 個々の単位区間ごとに、当該単位区間内の音響信号に含
まれる周波数成分を第1の軸に、各周波数成分ごとの強
度を第2の軸にとったスペクトルを作成するスペクトル
作成段階と、 前記スペクトルの第1の軸に対応させて離散的に複数Q
個の符号コードを定義し、この複数Q個の符号コードを
第1の軸に、各符号コードごとの強度を第2の軸にとっ
た強度グラフを、個々の単位区間ごとのスペクトルに基
いてそれぞれ作成する強度グラフ作成段階と、 前記強度グラフにおける各符号コードごとの強度に基い
て、個々の単位区間ごとに、Q個の全符号コードの中か
ら当該単位区間を代表するP個の代表符号コードを抽出
し、これら抽出した代表符号コードおよびその強度によ
って、個々の単位区間の音響信号を表現する符号化段階
と、 を有することを特徴とする音響信号の符号化方法。 - 【請求項2】 請求項1に記載の符号化方法において、 区間設定段階で、隣接する単位区間が時間軸上で部分的
に重複するような設定を行うことを特徴とする音響信号
の符号化方法。 - 【請求項3】 請求項2に記載の符号化方法において、 区間長Lおよびオフセット長ΔLを定義し(ただし、Δ
L<L)、各単位区間の時間軸上での長さを区間長Lに
設定し、任意のiに対して第i番目の単位区間の始点と
第(i+1)番目の単位区間の始点との時間軸上での隔
たりをオフセット長ΔLに設定することを特徴とする音
響信号の符号化方法。 - 【請求項4】 請求項1〜3のいずれかに記載の符号化
方法において、 スペクトル作成段階で、符号化対象となる音響信号を所
定のサンプリング周期でサンプリングしてデジタル音響
データとして取り込み、この取り込んだ音響データに対
して各単位区間ごとにフーリエ変換を行うことによりス
ペクトルを作成することを特徴とする音響信号の符号化
方法。 - 【請求項5】 請求項3に記載の符号化方法において、 スペクトル作成段階で、オフセット長△Lに基づいて決
定される重み関数を窓関数として設定し、符号化対象と
なる音響信号の各単位区間に対して、前記窓関数を重畳
した上でフーリエ変換を行うことによりスペクトルを作
成することを特徴とする音響信号の符号化方法。 - 【請求項6】 請求項4に記載の符号化方法において、 スペクトル作成段階で、複数通りのサンプリング周期で
取り込まれた複数通りの音響データに対してそれぞれフ
ーリエ変換を行うことにより、複数通りのスペクトルを
用意し、これらのスペクトルを合成することを特徴とす
る音響信号の符号化方法。 - 【請求項7】 請求項1〜6のいずれかに記載の符号化
方法において、 強度グラフ作成段階で、複数Q個の符号コードとしてM
IDIデータで利用されるノートナンバーを用い、 符号化段階で、個々の単位区間の音響信号を、代表符号
コードとして抽出されたノートナンバーと、その強度に
基いて決定されたベロシティーと、当該単位区間の長さ
に基いて決定されたデルタタイムと、を示すデータから
なるMIDI形式の符号データによって表現することを
特徴とする音響信号の符号化方法。 - 【請求項8】 請求項1〜7のいずれかに記載の符号化
方法において、 符号化段階で代表符号コードを抽出する際に、符号化対
象となる強度グラフにおける候補の中から強度の大きい
順にP個の符号コードを抽出して代表符号コードとする
ことを特徴とする音響信号の符号化方法。 - 【請求項9】 請求項1〜7のいずれかに記載の符号化
方法において、 符号化段階で代表符号コードを抽出する際に、符号化対
象となる強度グラフにおけるその時点での候補の中から
最も強度の大きい符号コードを第i番目の代表符号コー
ドとして抽出した後、この第i番目の代表符号コードお
よびその倍音成分に相当する符号コードを候補から削除
する処理を、i=1〜(P−1)について繰り返し実行
し、更に、残った候補の中から最も強度の大きい符号コ
ードを第P番目の代表符号コードとして抽出することに
より、合計P個の代表符号コードの抽出を行うことを特
徴とする音響信号の符号化方法。 - 【請求項10】 請求項1〜7のいずれかに記載の符号
化方法において、 各符号コードに基いて音を再生するために用いる音源を
予め特定しておき、この音源を用いた各符号コードの再
生音の周波数特性に基いて補正テーブルを定義してお
き、 符号化段階で代表符号コードを抽出する際に、符号化対
象となる強度グラフにおけるその時点での候補の中から
最も強度の大きい符号コードを第i番目の参照コードと
し、この第i番目の参照コードに前記補正テーブルを適
用することにより得られる符号コードを第i番目の代表
符号コードとして抽出し、前記第i番目の参照コードお
よび前記第i番目の代表符号コードを候補から除外する
処理を、i=1〜Pについて繰り返し実行し、合計P個
の代表符号コードの抽出を行うことを特徴とする音響信
号の符号化方法。 - 【請求項11】 請求項1〜7のいずれかに記載の符号
化方法において、 各符号コードに基いて音を再生するために用いる音源を
予め特定しておき、この音源を用いて各符号コードを実
際に再生することにより得られる音響信号に対して、ス
ペクトル作成段階および強度グラフ作成段階を実行し、
各符号コードについての固有強度グラフを予め求めてお
き、 符号化段階で代表符号コードを抽出する際に、符号化対
象となる強度グラフにおけるその時点での候補の中から
最も強度の大きい符号コードを第i番目の代表符号コー
ドとして抽出した後、符号化対象となる強度グラフの各
強度値から前記第i番目の代表符号コードについての固
有強度グラフの各強度値を減算する処理を、i=1〜
(P−1)について繰り返し実行し、更に、残った候補
の中から最も強度の大きい符号コードを第P番目の代表
符号コードとして抽出することにより、合計P個の代表
符号コードの抽出を行うことを特徴とする音響信号の符
号化方法。 - 【請求項12】 請求項1〜7のいずれかに記載の符号
化方法において、 各符号コードに基いて音を再生するために用いる音源を
予め特定しておき、この音源を用いて各符号コードを実
際に再生することにより得られる音響信号の固有波形を
予め求めておき、 第i番目の代表符号コードを決定するために、第i番目
の音響信号の波形情報を入力し、入力した波形情報に対
してスペクトル作成段階および強度グラフ作成段階を行
い、続く符号化段階で、作成された強度グラフにおける
候補の中から最も強度の大きい符号コードを第i番目の
代表符号コードとして抽出し、更に、第i番目の音響信
号の強度値から前記第i番目の代表符号コードについて
の固有波形の各強度値を減算し、その結果得られる音響
信号を第(i+1)番目の音響信号とする符号抽出処理
を定義し、 符号化対象となる原音響信号に対して区間設定段階を行
い、各単位区間ごとの原音響信号をそれぞれ第1番目の
音響信号として、i=1〜(P−1)について前記符号
抽出処理を繰り返し実行し、最後に、第P番目の音響信
号の波形情報を入力し、入力した波形情報に対してスペ
クトル作成段階および強度グラフ作成段階を行い、続く
符号化段階で、作成された強度グラフにおける候補の中
から最も強度の大きい符号コードを第P番目の代表符号
コードとして抽出する処理を実行することにより、各単
位区間ごとにそれぞれ合計P個の代表符号コードの抽出
を行うことを特徴とする音響信号の符号化方法。 - 【請求項13】 請求項1〜12のいずれかに記載の符
号化方法において、 隣接する複数の単位区間について、所定の条件下で互い
に類似する代表符号コードがある場合、これら類似する
代表符号コードを、複数の単位区間に跨がった統合符号
コードに置換する処理を行うことを特徴とする音響信号
の符号化方法。 - 【請求項14】 請求項1〜13のいずれかに記載の符
号化方法において、 各単位区間ごとに抽出されるP個の符号コードを、それ
ぞれP個のトラックに分離して収容するようにし、抽出
されたP個の符号コードを周波数に基いてソートしてか
ら各トラックに収容するようにしたことを特徴とする音
響信号の符号化方法。 - 【請求項15】 請求項1〜14のいずれかに記載の符
号化方法を実行する音響信号の符号化のためのプログラ
ムが記録されたコンピュータ読み取り可能な記録媒体。 - 【請求項16】 請求項1〜14のいずれかに記載の符
号化方法により符号化された符号データが記録されたコ
ンピュータ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP27394997A JP3795201B2 (ja) | 1997-09-19 | 1997-09-19 | 音響信号の符号化方法およびコンピュータ読み取り可能な記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP27394997A JP3795201B2 (ja) | 1997-09-19 | 1997-09-19 | 音響信号の符号化方法およびコンピュータ読み取り可能な記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH1195753A true JPH1195753A (ja) | 1999-04-09 |
JP3795201B2 JP3795201B2 (ja) | 2006-07-12 |
Family
ID=17534824
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP27394997A Expired - Fee Related JP3795201B2 (ja) | 1997-09-19 | 1997-09-19 | 音響信号の符号化方法およびコンピュータ読み取り可能な記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3795201B2 (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003015690A (ja) * | 2001-06-29 | 2003-01-17 | Dainippon Printing Co Ltd | 音響信号の符号化方法 |
JP2003022070A (ja) * | 2001-07-05 | 2003-01-24 | Dainippon Printing Co Ltd | 周波数解析方法および音響信号の符号化方法 |
JP2007033479A (ja) * | 2005-07-22 | 2007-02-08 | Kawai Musical Instr Mfg Co Ltd | 自動採譜装置及びプログラム |
JP2008516288A (ja) * | 2004-10-11 | 2008-05-15 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | 音声信号の基礎となるメロディの抽出 |
JP2008516289A (ja) * | 2004-10-11 | 2008-05-15 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | 音声信号の基礎となるメロディを抽出する方法および装置 |
WO2008133097A1 (ja) * | 2007-04-13 | 2008-11-06 | Kyoto University | 音源分離システム、音源分離方法及び音源分離用コンピュータプログラム |
JP2010517060A (ja) * | 2007-01-17 | 2010-05-20 | 上海▲イ▼得▲網▼▲絡▼有限公司 | 音楽のセグメントの情報に基づいてサーチする音楽捜索方法 |
JP2011237602A (ja) * | 2010-05-11 | 2011-11-24 | Dainippon Printing Co Ltd | 符号化音声データの音高変換装置 |
JP2013041128A (ja) * | 2011-08-17 | 2013-02-28 | Dainippon Printing Co Ltd | 複数音源の識別装置および複数音源に連動する情報処理装置 |
-
1997
- 1997-09-19 JP JP27394997A patent/JP3795201B2/ja not_active Expired - Fee Related
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4697919B2 (ja) * | 2001-06-29 | 2011-06-08 | 大日本印刷株式会社 | 音響信号の符号化方法 |
JP2003015690A (ja) * | 2001-06-29 | 2003-01-17 | Dainippon Printing Co Ltd | 音響信号の符号化方法 |
JP4662406B2 (ja) * | 2001-07-05 | 2011-03-30 | 大日本印刷株式会社 | 周波数解析方法および音響信号の符号化方法 |
JP2003022070A (ja) * | 2001-07-05 | 2003-01-24 | Dainippon Printing Co Ltd | 周波数解析方法および音響信号の符号化方法 |
JP2008516288A (ja) * | 2004-10-11 | 2008-05-15 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | 音声信号の基礎となるメロディの抽出 |
JP2008516289A (ja) * | 2004-10-11 | 2008-05-15 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | 音声信号の基礎となるメロディを抽出する方法および装置 |
JP2007033479A (ja) * | 2005-07-22 | 2007-02-08 | Kawai Musical Instr Mfg Co Ltd | 自動採譜装置及びプログラム |
JP2010517060A (ja) * | 2007-01-17 | 2010-05-20 | 上海▲イ▼得▲網▼▲絡▼有限公司 | 音楽のセグメントの情報に基づいてサーチする音楽捜索方法 |
WO2008133097A1 (ja) * | 2007-04-13 | 2008-11-06 | Kyoto University | 音源分離システム、音源分離方法及び音源分離用コンピュータプログラム |
US8239052B2 (en) | 2007-04-13 | 2012-08-07 | National Institute Of Advanced Industrial Science And Technology | Sound source separation system, sound source separation method, and computer program for sound source separation |
JP5201602B2 (ja) * | 2007-04-13 | 2013-06-05 | 国立大学法人京都大学 | 音源分離システム、音源分離方法及び音源分離用コンピュータプログラム |
JP2011237602A (ja) * | 2010-05-11 | 2011-11-24 | Dainippon Printing Co Ltd | 符号化音声データの音高変換装置 |
JP2013041128A (ja) * | 2011-08-17 | 2013-02-28 | Dainippon Printing Co Ltd | 複数音源の識別装置および複数音源に連動する情報処理装置 |
Also Published As
Publication number | Publication date |
---|---|
JP3795201B2 (ja) | 2006-07-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5466882A (en) | Method and apparatus for producing an electronic representation of a musical sound using extended coerced harmonics | |
US5196639A (en) | Method and apparatus for producing an electronic representation of a musical sound using coerced harmonics | |
JP3795201B2 (ja) | 音響信号の符号化方法およびコンピュータ読み取り可能な記録媒体 | |
JP4132362B2 (ja) | 音響信号の符号化方法およびプログラム記録媒体 | |
JP4037542B2 (ja) | 音響信号の符号化方法 | |
JP4331289B2 (ja) | 音響信号の符号化方法 | |
JP2001005450A (ja) | 音響信号の符号化方法 | |
JPH1173200A (ja) | 音響信号の符号化方法およびコンピュータ読み取り可能な記録媒体 | |
US6300552B1 (en) | Waveform data time expanding and compressing device | |
JP3958841B2 (ja) | 音響信号の符号化方法およびコンピュータ読み取り可能な記録媒体 | |
JP4268322B2 (ja) | 再生用符号化データ作成方法 | |
JP4152502B2 (ja) | 音響信号の符号化装置および符号データの編集装置 | |
JP4473979B2 (ja) | 音響信号の符号化方法および復号化方法ならびに当該方法を実行するプログラムを記録した記録媒体 | |
JPH1195798A (ja) | 音声合成方法および音声合成装置 | |
JP2003216147A (ja) | 音響信号の符号化方法 | |
JP4268328B2 (ja) | 音響信号の符号化方法 | |
JP4156252B2 (ja) | 音響信号の符号化方法 | |
JP3935745B2 (ja) | 音響信号の符号化方法 | |
JP2002215142A (ja) | 音響信号の符号化方法 | |
JP4156268B2 (ja) | 時系列信号の周波数解析方法および音響信号の符号化方法 | |
JP2002244691A (ja) | 音響信号の符号化方法 | |
JP2002123296A (ja) | 音響信号の符号化方法および分離方法 | |
JP4580548B2 (ja) | 周波数解析方法 | |
JP4662406B2 (ja) | 周波数解析方法および音響信号の符号化方法 | |
JP2003330458A (ja) | 時系列信号の周波数解析方法および音響信号の符号化方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040217 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060310 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060411 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060412 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090421 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100421 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110421 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110421 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120421 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130421 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140421 Year of fee payment: 8 |
|
LAPS | Cancellation because of no payment of annual fees |