JPH1173199A - 音響信号の符号化方法およびコンピュータ読み取り可能な記録媒体 - Google Patents

音響信号の符号化方法およびコンピュータ読み取り可能な記録媒体

Info

Publication number
JPH1173199A
JPH1173199A JP9249635A JP24963597A JPH1173199A JP H1173199 A JPH1173199 A JP H1173199A JP 9249635 A JP9249635 A JP 9249635A JP 24963597 A JP24963597 A JP 24963597A JP H1173199 A JPH1173199 A JP H1173199A
Authority
JP
Japan
Prior art keywords
inflection point
frequency
unit section
data
representative
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9249635A
Other languages
English (en)
Other versions
JP3958841B2 (ja
Inventor
Toshio Motegi
敏雄 茂出木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dai Nippon Printing Co Ltd
Original Assignee
Dai Nippon Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dai Nippon Printing Co Ltd filed Critical Dai Nippon Printing Co Ltd
Priority to JP24963597A priority Critical patent/JP3958841B2/ja
Publication of JPH1173199A publication Critical patent/JPH1173199A/ja
Application granted granted Critical
Publication of JP3958841B2 publication Critical patent/JP3958841B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Auxiliary Devices For Music (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

(57)【要約】 【課題】 ヴォーカルアナログ音響信号をMIDIデー
タにより符号化する。 【解決手段】 ヴォーカルアナログ音響信号をPCMに
よりデジタル化し、ローカルピークを示す変極点の位置
を検出する。各変極点について、同極性の変極点が現れ
る周期に基いて高域固有周波数を定義し、近似した信号
強度をもつ変極点が現れる周期に基いて低域固有周波数
を定義する。高域固有周波数が近似する一連の変極点群
および低域固有周波数が近似する一連の変極点群をそれ
ぞれ単位区間として定義する。高域単位区間Uh(i)
および低域単位区間Ul(i)は、時間軸上で重複す
る。各単位区間にそれぞれ代表周波数と代表強度を定義
し、代表周波数に対応するノートナンバーを有し、代表
強度に対応するベロシティーを有し、単位区間長に対応
するデルタタイムを有するMIDIデータを個々の単位
区間ごとに定義する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は音響信号の符号化方
法に関し、時系列の強度信号として与えられる音響信号
を符号化し、これを復号化して再生する技術に関する。
特に、本発明はヴォーカル音響信号(人の話声,歌声の
信号)を、MIDI形式の符号データに効率良く変換す
る処理に適しており、音声を記録する種々の産業分野へ
の応用が期待される。
【0002】
【従来の技術】音響信号を符号化する技術として、PC
M(Pulse Code Modulation )の手法は最も普及してい
る手法であり、現在、オーディオCDやDATなどの記
録方式として広く利用されている。このPCMの手法の
基本原理は、アナログ音響信号を所定のサンプリング周
波数でサンプリングし、各サンプリング時の信号強度を
量子化してデジタルデータとして表現する点にあり、サ
ンプリング周波数や量子化ビット数を高くすればするほ
ど、原音を忠実に再生することが可能になる。ただ、サ
ンプリング周波数や量子化ビット数を高くすればするほ
ど、必要な情報量も増えることになる。そこで、できる
だけ情報量を低減するための手法として、信号の変化差
分のみを符号化するADPCM(Adaptive Differentia
l Pulse Code Modulation )の手法も用いられている。
【0003】一方、電子楽器による楽器音を符号化しよ
うという発想から生まれたMIDI(Musical Instrume
nt Digital Interface)規格も、パーソナルコンピュー
タの普及とともに盛んに利用されるようになってきてい
る。このMIDI規格による符号データ(以下、MID
Iデータという)は、基本的には、楽器のどの鍵盤キー
を、どの程度の強さで弾いたか、という楽器演奏の操作
を記述したデータであり、このMIDIデータ自身に
は、実際の音の波形は含まれていない。そのため、実際
の音を再生する場合には、楽器音の波形を記憶したMI
DI音源が別途必要になる。しかしながら、上述したP
CMの手法で音を記録する場合に比べて、情報量が極め
て少なくてすむという特徴を有し、その符号化効率の高
さが注目を集めている。このMIDI規格による符号化
および復号化の技術は、現在、パーソナルコンピュータ
を用いて楽器演奏、楽器練習、作曲などを行うソフトウ
エアに広く採り入れられており、カラオケ、ゲームの効
果音といった分野でも広く利用されている。
【0004】
【発明が解決しようとする課題】上述したように、PC
Mの手法により音響信号を符号化する場合、十分な音質
を確保しようとすれば情報量が膨大になり、データ処理
の負担が重くならざるを得ない。したがって、通常は、
ある程度の情報量に抑えるため、ある程度の音質に妥協
せざるを得ない。もちろん、MIDI規格による符号化
の手法を採れば、非常に少ない情報量で十分な音質をも
った音の再生が可能であるが、上述したように、MID
I規格そのものが、もともと楽器演奏の操作を符号化す
るためのものであるため、広く一般音響への適用を行う
ことはできない。別言すれば、MIDIデータを作成す
るためには、実際に楽器を演奏するか、あるいは、楽譜
の情報を用意する必要がある。
【0005】このように、従来用いられているPCMの
手法にしても、MIDIの手法にしても、それぞれ音響
信号の符号化方法としては一長一短があり、一般の音響
について、少ない情報量で十分な音質を確保することは
できない。ところが、一般の音響についても効率的な符
号化を行いたいという要望は、益々強くなってきてい
る。いわゆるヴォーカル音響と呼ばれる人間の話声や歌
声を取り扱う分野では、かねてからこのような要望が強
く出されている。たとえば、語学教育、声楽教育、犯罪
捜査などの分野では、ヴォーカル音響信号を効率的に符
号化する技術が切望されている。ところが、ヴォーカル
音響には、基本周波数のほか、その倍音以外の高調波成
分が混在するというホルマント特性が現われることが知
られており、これまでの技術では効率的な符号化を行う
ことができなかった。
【0006】そこで本発明は、人の声音や歌声を含む音
響信号に対しても効率的な符号化を行うことができる音
響信号の符号化方法を提供することを目的とする。
【0007】
【課題を解決するための手段】 (1) 本発明の第1の態様は、時系列の強度信号として
与えられる音響信号を符号化するための音響信号の符号
化方法において、符号化対象となる音響信号を、デジタ
ルの音響データとして取り込む入力段階と、この音響デ
ータの時間軸上に、少なくとも一部分が重複する複数の
単位区間を設定する区間設定段階と、個々の単位区間内
の音響データに基づいて、個々の単位区間を代表する所
定の代表周波数および代表強度を定義し、時間軸上での
個々の単位区間の始端位置および終端位置を示す情報と
代表周波数および代表強度を示す情報とを含む符号デー
タを生成し、個々の単位区間の音響データを個々の符号
データによって表現する符号化段階と、を行うようにし
たものである。
【0008】(2) 本発明の第2の態様は、上述の第1
の態様に係る音響信号の符号化方法において、取り込ん
だ音響データの波形について変極点を求める変極点定義
段階を更に行い、区間設定段階では、変極点について、
その近傍の情報に基づいて固有周波数を定義するための
複数通りの固有周波数定義方法を設定し、これら複数通
りの方法を用いて各変極点に複数通りの固有周波数を定
義し、同一の方法で定義された固有周波数が所定の近似
範囲内となるような一群の変極点を含む区間を1つの単
位区間として設定するようにしたものである。
【0009】(3) 本発明の第3の態様は、上述の第2
の態様に係る音響信号の符号化方法において、符号化段
階で、単位区間内に含まれる変極点について定義された
複数通りの固有周波数のうち、当該単位区間の設定に関
与した固有周波数に基いて当該単位区間の代表周波数を
定義し、当該単位区間内に含まれる変極点のもつ信号強
度に基づいて当該単位区間の代表強度を定義するように
したものである。
【0010】(4) 本発明の第4の態様は、上述の第2
または第3の態様に係る音響信号の符号化方法におい
て、各変極点について、それぞれ所定の条件を満たす特
定の変極点を探索し、探索された変極点との間の時間軸
上での距離に基づいて固有周波数を定義するようにし、
探索のための条件を変えることにより、複数通りの固有
周波数定義方法を設定するようにしたものである。
【0011】(5) 本発明の第5の態様は、上述の第2
または第3の態様に係る音響信号の符号化方法におい
て、入力段階で、正および負の両極性デジタル値を信号
強度としてもった音響データを用意し、区間設定段階
で、同極性の変極点が現れる周期に基いて高域固有周波
数fhを定義し、近似した信号強度をもつ変極点が現れ
る周期に基いて低域固有周波数flを定義するようにし
たものである。
【0012】(6) 本発明の第6の態様は、上述の第2
または第3の態様に係る音響信号の符号化方法におい
て、入力段階で、正および負の両極性デジタル値を信号
強度としてもった音響データを用意し、区間設定段階
で、同極性の変極点が現れる周期に基づいて定義される
固有周波数fhを上限とし、近似した信号強度をもつ変
極点が現れる周期に基づいて定義される固有周波数hl
を下限とする範囲内で、所定の変極点間の時間軸上での
距離に基づいて複数の固有周波数を定義するようにした
ものである。
【0013】(7) 本発明の第7の態様は、上述の第1
〜第6の態様に係る音響信号の符号化方法において、符
号化段階で、代表周波数に基づいてノートナンバーを定
め、代表強度に基づいてベロシティーを定め、単位区間
の長さに基づいてデルタタイムを定め、1つの単位区間
の音響データを、ノートナンバー、ベロシティー、デル
タタイムで表現されるMIDI形式の符号データに変換
し、時間軸上で重複する単位区間に対しては異なるチャ
ンネルを割り当てるようにしたものである。
【0014】(8) 本発明の第8の態様は、上述の第1
〜第7の態様に係る音響信号の符号化方法を実行する音
響信号の符号化のためのプログラムを、コンピュータ読
み取り可能な記録媒体に記録するようにしたものであ
る。
【0015】(9) 本発明の第9の態様は、上述の第1
〜第7の態様に係る音響信号の符号化方法により符号化
された符号データを、コンピュータ読み取り可能な記録
媒体に記録するようにしたものである。
【0016】
【発明の実施の形態】以下、本発明を図示する実施形態
に基づいて説明する。本願発明は、特願平9−6746
7号明細書に開示された発明(以下、先願発明という)
を基本発明とした改良発明に相当するものである。した
がって、以下の説明では、まず、§1〜§3において先
願発明に係る符号化方法を説明することにする。
【0017】§1. 先願発明に係る音響信号の符号化
方法の基本原理 はじめに、先願発明に係る音響信号の符号化方法の基本
原理を図1を参照しながら説明する。いま、図1の上段
に示すように、時系列の強度信号としてアナログ音響信
号が与えられたものとしよう。図示の例では、横軸に時
間軸t、縦軸に信号強度Aをとってこの音響信号を示し
ている。先願発明では、まずこのアナログ音響信号を、
デジタルの音響データとして取り込む処理を行う。これ
は、従来の一般的なPCMの手法を用い、所定のサンプ
リング周波数でこのアナログ音響信号をサンプリング
し、信号強度Aを所定の量子化ビット数を用いてデジタ
ルデータに変換する処理を行えばよい。ここでは、説明
の便宜上、PCMの手法でデジタル化した音響データの
波形も、図1の上段のアナログ音響信号と同一の波形で
示すことにする。
【0018】次に、このデジタル音響データの時間軸t
上に複数の単位区間を設定する。図示の例では、6つの
単位区間U1〜U6が設定されている。第i番目の単位
区間Uiは、時間軸t上の始端siおよび終端eiの座
標値によって、その時間軸t上での位置と長さとが示さ
れる。たとえば、単位区間U1は、始端s1〜終端e1
までの(e1−s1)なる長さをもつ区間である。
【0019】こうして、複数の単位区間が設定された
ら、個々の単位区間内の音響データに基づいて、個々の
単位区間を代表する所定の代表周波数および代表強度を
定義する。ここでは、第i番目の単位区間Uiについ
て、代表周波数Fiおよび代表強度Aiが定義された状
態が示されている。たとえば、第1番目の単位区間U1
については、代表周波数F1および代表強度A1が定義
されている。代表周波数F1は、始端s1〜終端e1ま
での区間に含まれている音響データの周波数成分の代表
値であり、代表強度Aiは、同じく始端s1〜終端e1
までの区間に含まれている音響データの信号強度の代表
値である。単位区間U1内の音響データに含まれる周波
数成分は、通常、単一ではなく、信号強度も変動するの
が一般的である。先願発明のポイントは、1つの単位区
間について、単一の代表周波数と単一の代表強度を定義
し、これら代表値を用いて符号化を行う点にある。
【0020】すなわち、個々の単位区間について、それ
ぞれ代表周波数および代表強度が定義されたら、時間軸
t上での個々の単位区間の始端位置および終端位置を示
す情報と、定義された代表周波数および代表強度を示す
情報と、により符号データを生成し、個々の単位区間の
音響データを個々の符号データによって表現するのであ
る。単一の周波数をもち、単一の信号強度をもった音響
信号が、所定の期間だけ持続する、という事象を符号化
する手法として、MIDI規格に基づく符号化を利用す
ることができる。MIDI規格による符号データ(MI
DIデータ)は、いわば音符によって音を表現したデー
タということができ、図1では、下段に示す音符によっ
て、最終的に得られる符号データの概念を示している。
【0021】結局、各単位区間内の音響データは、代表
周波数F1に相当する音程情報(MIDI規格における
ノートナンバー)と、代表強度A1に相当する強度情報
(MIDI規格におけるベロシティー)と、単位区間の
長さ(e1−s1)に相当する長さ情報(MIDI規格
におけるデルタタイム)と、をもった符号データに変換
されることになる。このようにして得られる符号データ
の情報量は、もとの音響信号のもつ情報量に比べて、著
しく小さくなり、飛躍的な符号化効率が得られることに
なる。これまで、MIDIデータを生成する手法として
は、演奏者が実際に楽器を演奏するときの操作をそのま
ま取り込んで符号化するか、あるいは、楽譜上の音符を
データとして入力するしかなかったが、上述した手法を
用いれば、実際のアナログ音響信号からMIDIデータ
を直接生成することが可能になる。
【0022】もっとも、上述した手法による符号化方法
を実用化するためには、いくつか留意すべき点がある。
第1の留意点は、再生時に音源を用意する必要があると
いう点である。上述の手法によって最終的に得られる符
号データには、もとの音響信号の波形データそのものは
含まれていないため、何らかの音響波形のデータをもっ
た音源が必要になる。たとえば、MIDIデータを再生
する場合には、MIDI音源が必要になる。もっとも、
MIDI規格が普及した現在では、種々のMIDI音源
が入手可能であり、実用上は大きな問題は生じない。た
だ、もとの音響信号に忠実な再生音を得るためには、も
との音響信号に含まれていた音響波形に近似した波形デ
ータをもったMIDI音源を用意する必要がある。適当
なMIDI音源を用いた再生を行うことができれば、む
しろもとの音響信号よりも高い音質で、臨場感あふれる
再生音を得ることも可能になる。
【0023】第2の留意点は、1つの単位区間に含まれ
る音響データの周波数を、単一の代表周波数に置き換え
てしまうという基本原理に基づく符号化手法であるた
め、非常に幅の広い周波数成分を同時に含んでいるよう
な音響信号の符号化には不向きであるという点である。
もちろん、この符号化手法は、どのような音響信号に対
しても適用可能であるが、人間の声音のように、ホルマ
ントと呼ばれる複数の特徴周波数成分をもつ音響信号に
対して符号化を行っても、再生時に十分な再現性は得ら
れなくなる。したがって、先願発明の符号化手法は、主
として、生体の発生するリズム音や、波や風などの自然
が発生するリズム音のように、個々の単位区間内には、
ある程度限定された周波数成分のみを含む音響信号に対
して利用するのが好ましい。本願発明は、先願発明のこ
の点を改良し、人間の声音のように、ホルマントと呼ば
れる複数の特徴周波数成分をもつ音響信号に対して符号
化を行っても、十分な再現性を確保できるようにしたも
のである。その具体的な方法については、§4以降で述
べることにする。
【0024】第3の留意点は、効率的で再現性の高い符
号化を行うためには、単位区間の設定方法に工夫を凝ら
す必要があるという点である。先願発明の基本原理は、
上述したように、もとの音響データを複数の単位区間に
分割し、各単位区間ごとに、単一周波数および単一強度
を示す符号データに変換するという点にある。したがっ
て、最終的に得られる符号データは、単位区間の設定方
法に大きく依存することになる。最も単純な単位区間の
設定方法は、時間軸上で、たとえば10msごとという
ように、等間隔に単位区間を一義的に定義する方法であ
る。しかしながら、この方法では、符号化対象となるも
との音響データにかかわらず、常に一定の方法で単位区
間の定義が行われることになり、必ずしも効率的で再現
性の高い符号化は期待できない。したがって、実用上
は、もとの音響データの波形を解析し、個々の音響デー
タに適した単位区間の設定を行うようにするのが好まし
い。
【0025】効率的な単位区間の設定を行う1つのアプ
ローチは、音響データの中で周波数帯域が近似した区間
を1つのまとまった単位区間として抽出するという方法
である。単位区間内の周波数成分は1つの代表周波数に
よって置き換えられてしまうので、この代表周波数とあ
まりにかけ離れた周波数成分が含まれていると、再生時
の再現性が低減する。したがって、ある程度近似した周
波数が持続する区間を1つの単位区間として抽出するこ
とは、再現性のよい効率的な符号化を行う上で重要であ
る。このアプローチを採る場合、具体的には、もとの音
響データの周波数の変化点を認識し、この変化点を境界
とする単位区間の設定を行うようにすればよい。
【0026】効率的な単位区間の設定を行うもう1つの
アプローチは、音響データの中で信号強度が近似した区
間を1つのまとまった単位区間として抽出するという方
法である。単位区間内の信号強度は1つの代表強度によ
って置き換えられてしまうので、この代表強度とあまり
にかけ離れた信号強度が含まれていると、再生時の再現
性が低減する。したがって、ある程度近似した信号強度
が持続する区間を1つの単位区間として抽出すること
は、再現性のよい効率的な符号化を行う上で重要であ
る。このアプローチを採る場合、具体的には、もとの音
響データの信号強度の変化点を認識し、この変化点を境
界とする単位区間の設定を行うようにすればよい。
【0027】§2. 先願発明に係る音響信号の符号化
方法の実用的な手順 図2は、先願発明のより実用的な手順を示す流れ図であ
る。この手順は、入力段階S10、変極点定義段階S2
0、区間設定段階S30、符号化段階S40の4つの大
きな段階から構成されている。入力段階S10は、符号
化対象となる音響信号を、デジタルの音響データとして
取り込む段階である。変極点定義段階S20は、後の区
間設定段階S30の準備段階ともいうべき段階であり、
取り込んだ音響データの波形について変極点(ローカル
ピーク)を求める段階である。また、区間設定段階S3
0は、この変極点に基づいて、音響データの時間軸上に
複数の単位区間を設定する段階であり、符号化段階S4
0は、個々の単位区間の音響データを個々の符号データ
に変換する段階である。符号データへの変換原理は、既
に§1で述べたとおりである。すなわち、個々の単位区
間内の音響データに基づいて、個々の単位区間を代表す
る所定の代表周波数および代表強度を定義し、時間軸上
での個々の単位区間の始端位置および終端位置を示す情
報と、代表周波数および代表強度を示す情報と、によっ
て符号データが生成されることになる。以下、これらの
各段階において行われる処理を順に説明する。
【0028】<<< 2.1 入力段階 >>>入力段
階S10では、サンプリング処理S11と直流成分除去
処理S12とが実行される。サンプリング処理S11
は、符号化の対象となるアナログ音響信号を、デジタル
の音響データとして取り込む処理であり、従来の一般的
なPCMの手法を用いてサンプリングを行う処理であ
る。この実施形態では、サンプリング周波数:44.1
kHz、量子化ビット数:16ビットという条件でサン
プリングを行い、デジタルの音響データを用意してい
る。
【0029】続く、直流成分除去処理S12は、入力し
た音響データに含まれている直流成分を除去するデジタ
ル処理である。たとえば、図3に示す音響データは、振
幅の中心レベルが、信号強度を示すデータレンジの中心
レベル(具体的なデジタル値としては、たとえば、16
ビットでサンプリングを行い、0〜65535のデータ
レンジが設定されている場合には32768なる値。以
下、説明の便宜上、図3のグラフに示すように、データ
レンジの中心レベルに0をとり、サンプリングされた個
々の信号強度の値を正または負で表現する)よりもDだ
け高い位置にきている。別言すれば、この音響データに
は、値Dに相当する直流成分が含まれていることにな
る。サンプリング処理の対象になったアナログ音響信号
に直流成分が含まれていると、デジタル音響データにも
この直流成分が残ることになる。そこで、直流成分除去
処理S12によって、この直流成分Dを除去する処理を
行い、振幅の中心レベルとデータレンジの中心レベルと
を一致させる。具体的には、サンプリングされた個々の
信号強度の平均が0になるように、直流成分Dを差し引
く演算を行えばよい。これにより、正および負の両極性
デジタル値を信号強度としてもった音響データが用意で
きる。
【0030】<<< 2.2 変極点定義段階 >>>
変極点定義段階S20では、変極点探索処理S21と同
極性変極点の間引処理S22とが実行される。変極点探
索処理S21は、取り込んだ音響データの波形について
変極点を求める処理である。図4は、図3に示す音響デ
ータの一部を時間軸に関して拡大して示したグラフであ
る。このグラフでは、矢印P1〜P6の先端位置の点が
変極点(極大もしくは極小の点)に相当し、各変極点は
いわゆるローカルピークに相当する点となる。このよう
な変極点を探索する方法としては、たとえば、サンプリ
ングされたデジタル値を時間軸に沿って順に注目してゆ
き、増加から減少に転じた位置、あるいは減少から増加
に転じた位置を認識すればよい。ここでは、この変極点
を図示のような矢印で示すことにする。
【0031】各変極点は、サンプリングされた1つのデ
ジタルデータに対応する点であり、所定の信号強度の情
報(矢印の長さに相当)をもつとともに、時間軸t上で
の位置の情報をもつことになる。図5は、図4に矢印で
示す変極点P1〜P6のみを抜き出して示した図であ
る。以下の説明では、この図5に示すように、第i番目
の変極点Piのもつ信号強度(絶対値)を矢印の長さa
iとして示し、時間軸t上での変極点Piの位置をti
として示すことにする。結局、変極点探索処理S21
は、図3に示すような音響データに基づいて、図5に示
すような各変極点に関する情報を求める処理ということ
になる。
【0032】ところで、図5に示す各変極点P1〜P6
は、交互に極性が反転する性質を有する。すなわち、図
5の例では、奇数番目の変極点P1,P3,P5は上向
きの矢印で示され、偶数番目の変極点P2,P4,P6
は下向きの矢印で示されている。これは、もとの音響デ
ータ波形の振幅が正負交互に現れる振動波形としての本
来の姿をしているためである。しかしながら、実際に
は、このような本来の振動波形が必ずしも得られるとは
限らず、たとえば、図6に示すように、多少乱れた波形
が得られる場合もある。この図6に示すような音響デー
タに対して変極点探索処理S21を実行すると、個々の
変極点P1〜P7のすべてが検出されてしまうため、図
7に示すように、変極点を示す矢印の向きは交互に反転
するものにはならない。しかしながら、単一の代表周波
数を定義する上では、向きが交互に反転した矢印列が得
られるのが好ましい。
【0033】同極性変極点の間引処理S22は、図7に
示すように、同極性のデジタル値をもった変極点(同じ
向きの矢印)が複数連続した場合に、絶対値が最大のデ
ジタル値をもった変極点(最も長い矢印)のみを残し、
残りを間引きしてしまう処理である。図7に示す例の場
合、上向きの3本の矢印P1〜P3のうち、最も長いP
2のみが残され、下向きの3本の矢印P4〜P6のう
ち、最も長いP4のみが残され、結局、間引処理S22
により、図8に示すように、3つの変極点P2,P4,
P7のみが残されることになる。この図8に示す変極点
は、図6に示す音響データの波形の本来の姿に対応した
ものになる。
【0034】<<< 2.3 区間設定段階 >>>既
に述べたように、先願発明に係る符号化方法において、
効率的で再現性の高い符号化を行うためには、単位区間
の設定方法に工夫を凝らす必要がある。その意味で、図
2に示す各段階のうち、区間設定段階S30は、実用上
非常に重要な段階である。上述した変極点定義段階S2
0は、この区間設定段階S30の準備段階になってお
り、単位区間の設定は、個々の変極点の情報を利用して
行われる。すなわち、この区間設定段階S30では、変
極点に基づいて音響データの周波数もしくは信号強度の
変化点を認識し、この変化点を境界とする単位区間を設
定する、という基本的な考え方に沿って処理が進められ
る。
【0035】図5に示すように、矢印で示されている個
々の変極点P1〜P6には、それぞれ信号強度a1〜a
6が定義されている。しかしながら、個々の変極点P1
〜P6それ自身には、周波数に関する情報は定義されて
いない。区間設定段階S30において最初に行われる固
有周波数定義処理S31は、個々の変極点それぞれに、
所定の固有周波数を定義する処理である。本来、周波数
というものは、時間軸上の所定の区間内の波について定
義される物理量であり、時間軸上のある1点について定
義されるべきものではない。ただ、ここでは便宜上、個
々の変極点について、疑似的に固有周波数なるものを定
義することにする(一般に、物理学における「固有周波
数」という文言は、物体が音波などに共鳴して振動する
物体固有の周波数を意味するが、本願における「固有周
波数」とは、このような物体固有の周波数を意味するも
のではなく、個々の変極点それぞれに定義された疑似的
な周波数、別言すれば、信号のある瞬間における基本周
波数を意味するものである。)。
【0036】いま、図9に示すように、多数の変極点の
うち、第n番目〜第(n+2)番目の変極点P(n),
P(n+1),P(n+2)に着目する。これら各変極
点には、それぞれ信号値a(n),a(n+1),a
(n+2)が定義されており、また、時間軸上での位置
t(n),t(n+1),t(n+2)が定義されてい
る。ここで、これら各変極点が、音声データ波形のロー
カルピーク位置に相当する点であることを考慮すれば、
図示のように、変極点P(n)とP(n+2)との間の
時間軸上での距離φは、もとの波形の1周期に対応する
ことがわかる。そこで、たとえば、第n番目の変極点P
(n)の固有周波数f(n)なるものを、f(n)=1
/φと定義すれば、個々の変極点について、それぞれ固
有周波数を定義することができる。時間軸上での位置t
(n),t(n+1),t(n+2)が、「秒」の単位
で表現されていれば、 φ=(t(n+2)−t(n)) であるから、 f(n)=1/(t(n+2)−t(n)) として定義できる。
【0037】なお、実際のデジタルデータ処理の手順を
考慮すると、個々の変極点の位置は、「秒」の単位では
なく、サンプル番号x(サンプリング処理S11におけ
る何番目のサンプリング時に得られたデータであるかを
示す番号)によって表されることになるが、このサンプ
ル番号xと実時間「秒」とは、サンプリング周波数fs
によって一義的に対応づけられる。たとえば、第m番目
のサンプルx(m)と第(m+1)番目のサンプルx
(m+1)との間の実時間軸上での間隔は、1/fsに
なる。
【0038】さて、このようにして個々の変極点に定義
された固有周波数は、物理的には、その変極点付近のロ
ーカルな周波数を示す量ということになる。隣接する別
な変極点との距離が短ければ、その付近のローカルな周
波数は高く、隣接する別な変極点との距離が長ければ、
その付近のローカルな周波数は低いということになる。
もっとも、上述の例では、後続する2つ目の変極点との
間の距離に基づいて固有周波数を定義しているが、固有
周波数の定義方法としては、この他どのような方法を採
ってもかまわない。たとえば、第n番目の変極点の固有
周波数f(n)を、先行する第(n−2)番目の変極点
との間の距離を用いて、 f(n)=1/(t(n)−t(n−2)) と定義することもできる。また、前述したように、後続
する2つ目の変極点との間の距離に基づいて、固有周波
数f(n)を、 f(n)=1/(t(n+2)−t(n)) なる式で定義した場合であっても、最後の2つの変極点
については、後続する2つ目の変極点が存在しないの
で、先行する変極点を利用して、 f(n)=1/(t(n)−t(n−2)) なる式で定義すればよい。
【0039】あるいは、後続する次の変極点との間の距
離に基づいて、第n番目の変極点の固有周波数f(n)
を、 f(n)=(1/2)・1/(t(n+1)−t
(n)) なる式で定義することもできるし、後続する3つ目の変
極点との間の距離に基づいて、 f(n)=(3/2)・1/(t(n+3)−t
(n)) なる式で定義することもできる。結局、一般式を用いて
示せば、第n番目の変極点についての固有周波数f
(n)は、k個離れた変極点(kが正の場合は後続する
変極点、負の場合は先行する変極点)との間の時間軸上
での距離に基づいて、 f(n)=(k/2)・1/(t(n+k)−t
(n)) なる式で定義することができる。kの値は、予め適当な
値に設定しておけばよい。変極点の時間軸上での間隔が
比較的小さい場合には、kの値をある程度大きく設定し
た方が、誤差の少ない固有周波数を定義することができ
る。ただし、kの値をあまり大きく設定しすぎると、ロ
ーカルな周波数としての意味が失われてしまうことにな
り好ましくない。
【0040】こうして、固有周波数定義処理S31が完
了すると、個々の変極点P(n)には、信号強度a
(n)と、固有周波数f(n)と、時間軸上での位置t
(n)とが定義されることになる。
【0041】さて、§1では、効率的で再現性の高い符
号化を行うためには、1つの単位区間に含まれる変極点
の周波数が所定の近似範囲内になるように単位区間を設
定するという第1のアプローチと、1つの単位区間に含
まれる変極点の信号強度が所定の近似範囲内になるよう
に単位区間を設定するという第2のアプローチとがある
ことを述べた。ここでは、この2つのアプローチを用い
た単位区間の設定手法を、具体例に即して説明しよう。
【0042】いま、図10に示すように、9つの変極点
P1〜P9のそれぞれについて、信号強度a1〜a9と
固有周波数f1〜f9とが定義されている場合を考え
る。この場合、第1のアプローチに従えば、個々の固有
周波数f1〜f9に着目し、互いに近似した固有周波数
をもつ空間的に連続した変極点の一群を1つの単位区間
とする処理を行えばよい。たとえば、固有周波数f1〜
f5がほぼ同じ値(第1の基準値)をとり、固有周波数
f6〜f9がほぼ同じ値(第2の基準値)をとってお
り、第1の基準値と第2の基準値との差が所定の許容範
囲を越えていた場合、図10に示すように、第1の基準
値の近似範囲に含まれる固有周波数f1〜f5をもつ変
極点P1〜P5を含む区間を単位区間U1とし、第2の
基準値の近似範囲に含まれる固有周波数f6〜f9をも
つ変極点P6〜P9を含む区間を単位区間U2として設
定すればよい。先願発明による手法では、1つの単位区
間については、単一の代表周波数が与えられることにな
るが、このように、固有周波数が互いに近似範囲内にあ
る複数の変極点が存在する区間を1つの単位区間として
設定すれば、代表周波数と個々の固有周波数との差が所
定の許容範囲内に抑えられることになり、大きな問題は
生じない。
【0043】続いて、固有周波数が近似する変極点を1
グループにまとめて、1つの単位区間を定義するための
具体的な手法の一例を以下に示す。たとえば、図10に
示すように、9つの変極点P1〜P9が与えられた場
合、まず変極点P1とP2について、固有周波数を比較
し、両者の差が所定の許容範囲ff内にあるか否かを調
べる。もし、 |f1−f2|<ff であれば、変極点P1,P2を第1の単位区間U1に含
ませる。そして、今度は、変極点P3を、この第1の単
位区間U1に含ませてよいか否かを調べる。これは、こ
の第1の単位区間U1についての平均固有周波数(f1
+f2)/2と、f3との比較を行い、 |(f1+f2)/2−f3|<ff であれば、変極点P3を第1の単位区間U1に含ませれ
ばよい。更に、変極点P4に関しては、 |(f1+f2+f3)/3−f4|<ff であれば、これを第1の単位区間U1に含ませることが
でき、変極点P5に関しては、 |(f1+f2+f3+f4)/4−f5|<ff であれば、これを第1の単位区間U1に含ませることが
できる。ここで、もし、変極点P6について、 |(f1+f2+f3+f4+f5)/5−f6|>f
f なる結果が得られたしまった場合、すなわち、固有周波
数f6と、第1の単位区間U1の平均固有周波数との差
が、所定の許容範囲ffを越えてしまった場合、変極点
P5とP6との間に不連続位置が検出されたことにな
り、変極点P6を第1の単位区間U1に含ませることは
できない。そこで、変極点P5をもって第1の単位区間
U1の終端とし、変極点P6は別な第2の単位区間U2
の始端とする。そして、変極点P6とP7について、固
有周波数を比較し、両者の差が所定の許容範囲ff内に
あるか否かを調べ、もし、 |f6−f7|<ff であれば、変極点P6,P7を第2の単位区間U2に含
ませる。そして、今度は、変極点P8に関して、 |(f6+f7)/2−f8|<ff であれば、これを第2の単位区間U2に含ませ、変極点
P9に関して、 |(f6+f7+f8)/3−f9|<ff であれば、これを第2の単位区間U2に含ませる。
【0044】このような手法で、不連続位置の検出を順
次行ってゆき、各単位区間を順次設定してゆけば、上述
した第1のアプローチに沿った区間設定が可能になる。
もちろん、上述した具体的な手法は、一例として示した
ものであり、この他にも種々の手法を採ることができ
る。たとえば、平均値と比較する代わりに、常に隣接す
る変極点の固有周波数を比較し、差が許容範囲ffを越
えた場合に不連続位置と認識する簡略化した手法を採っ
てもかまわない。すなわち、f1とf2との差、f2と
f3との差、f3とf4との差、…というように、個々
の差を検討してゆき、差が許容範囲ffを越えた場合に
は、そこを不連続位置として認識すればよい。
【0045】以上、第1のアプローチについて述べた
が、第2のアプローチに基づく単位区間の設定も同様に
行うことができる。この場合は、個々の変極点の信号強
度a1〜a9に着目し、所定の許容範囲aaとの比較を
行うようにすればよい。もちろん、第1のアプローチと
第2のアプローチとの双方を組み合わせて、単位区間の
設定を行ってもよい。この場合は、個々の変極点の固有
周波数f1〜f9と信号強度a1〜a9との双方に着目
し、両者がともに所定の許容範囲ffおよびaa内に入
っていれば、同一の単位区間に含ませるというような厳
しい条件を課してもよいし、いずれか一方が許容範囲内
に入っていれば、同一の単位区間に含ませるというよう
な緩い条件を課してもよい。
【0046】なお、この区間設定段階S30において
は、上述した各アプローチに基づいて単位区間の設定を
行う前に、絶対値が所定の許容レベル未満となる信号強
度をもつ変極点を除外する処理を行っておくのが好まし
い。たとえば、図11に示す例のように所定の許容レベ
ルLLを設定すると、変極点P4の信号強度a4と変極
点P9の信号強度a9は、その絶対値がこの許容レベル
LL未満になる。このような場合、変極点P4,P9を
除外する処理を行うのである。このような除外処理を行
う第1の意義は、もとの音響信号に含まれていたノイズ
成分を除去することにある。通常、音響信号を電気的に
取り込む過程では、種々のノイズ成分が混入することが
多く、このようなノイズ成分までも含めて符号化が行わ
れると好ましくない。
【0047】もっとも、許容レベルLLをある程度以上
に設定すると、ノイズ成分以外のものも除外されること
になるが、このようにノイズ成分以外の信号を除外する
ことも、場合によっては、十分に意味のある処理にな
る。すなわち、この除外処理を行う第2の意義は、もと
の音響信号に含まれていた情報のうち、興味の対象外と
なる情報を除外することにある。たとえば、図1の上段
に示す音響信号は、人間の心音を示す信号であるが、こ
の音響信号のうち、疾患の診断などに有効な情報は、振
幅の大きな部分(各単位区間U1〜U6の部分)に含ま
れており、それ以外の部分の情報はあまり役にたたな
い。そこで、所定の許容レベルLLを設定し、無用な情
報部分を除外する処理を行うと、より効率的な符号化が
可能になる。
【0048】また、心音や肺音のように、生体が発生す
る生理的リズム音における比較的振幅の小さな成分は、
生体内で発生する反響音であることが多く、このような
反響音は、符号化の時点で一旦除外してしまっても、再
生時にエコーなどの音響効果を加えることにより容易に
付加することが可能である。このような点においても、
許容レベル未満の変極点を除外する処理は意味をもつ。
【0049】なお、許容レベル未満の変極点を除外する
処理を行った場合は、除外された変極点の位置で分割さ
れるように単位区間定義を行うようにするのが好まし
い。たとえば、図11に示す例の場合、除外された変極
点P4,P9の位置(一点鎖線で示す)で分割された単
位区間U1,U2が定義されている。このような単位区
間定義を行えば、図1の上段に示す音響信号のように、
信号強度が許容レベル以上の区間(単位区間U1〜U6
の各区間)と、許容レベル未満の区間(単位区間U1〜
U6以外の区間)とが交互に出現するような音響信号の
場合、非常に的確な単位区間の定義が可能になる。
【0050】これまで、区間設定段階S30で行われる
効果的な区間設定手法の要点を述べてきたが、ここで
は、より具体的な手順を述べることにする。図2の流れ
図に示されているように、この区間設定段階S30は、
4つの処理S31〜S34によって構成されている。固
有周波数定義処理S31は、既に述べたように、各変極
点について、それぞれ近傍の変極点との間の時間軸上で
の距離に基づいて所定の固有周波数を定義する処理であ
る。ここでは、図12に示すように、変極点P1〜P1
7のそれぞれについて、固有周波数f1〜f17が定義
された例を考える。
【0051】続く、レベルによるスライス処理S32
は、絶対値が所定の許容レベル未満となる信号強度をも
つ変極点を除外し、除外された変極点の位置で分割され
るような区間を定義する処理である。ここでは、図12
に示すような変極点P1〜P17に対して、図13に示
すような許容レベルLLを設定した場合を考える。この
場合、変極点P1,P2,P11,P16,P17が、
許容レベル未満の変極点として除外されることになる。
図14では、このようにして除外された変極点を破線の
矢印で示す。この「レベルによるスライス処理S32」
では、更に、除外された変極点の位置で分割されるよう
な区間K1,K2が定義される。ここでは、1つでも除
外された変極点が存在する場合には、その位置の左右に
異なる区間を設定するようにしており、結果的に、変極
点P3〜P10までの区間K1と、変極点P12〜P1
5までの区間K2とが設定されることになる。なお、こ
こで定義された区間K1,K2は、暫定的な区間であ
り、必ずしも最終的な単位区間になるとは限らない。
【0052】次の不連続部分割処理S33は、時間軸上
において、変極点の固有周波数もしくは信号強度の値が
不連続となる不連続位置を探し、処理S32で定義され
た個々の区間を、更にこの不連続位置で分割することに
より、新たな区間を定義する処理である。たとえば、上
述の例の場合、図15に示すような暫定区間K1,K2
が定義されているが、ここで、もし暫定区間K1内の変
極点P6とP7との間に不連続が生じていた場合は、こ
の不連続位置で暫定区間K1を分割し、図16に示すよ
うに、新たに暫定区間K1−1とK1−2とが定義さ
れ、結局、3つの暫定区間K1−1,K1−2,K2が
形成されることになる。不連続位置の具体的な探索手法
は既に述べたとおりである。たとえば、図15の例の場
合、 |(f3+f4+f5+f6)/4−f7|>ff の場合に、変極点P6とP7との間に固有周波数の不連
続が生じていると認識されることになる。同様に、変極
点P6とP7との間の信号強度の不連続は、 |(a3+a4+a5+a6)/4−a7|>aa の場合に認識される。
【0053】不連続部分割処理S33で、実際に区間分
割を行うための条件としては、 固有周波数の不連続が生じた場合にのみ区間の分割を
行う、 信号強度の不連続が生じた場合にのみ区間の分割を行
う、 固有周波数の不連続か信号強度の不連続かの少なくと
も一方が生じた場合に区間の分割を行う、 固有周波数の不連続と信号強度の不連続との両方が生
じた場合にのみ区間の分割を行う、 など、種々の条件を設定することが可能である。あるい
は、不連続の度合いを考慮して、上述の〜を組み合
わせるような複合条件を設定することもできる。
【0054】こうして、不連続部分割処理S33によっ
て得られた区間(上述の例の場合、3つの暫定区間K1
−1,K1−2,K2)を、最終的な単位区間として設
定することもできるが、ここでは更に、区間統合処理S
34を行っている。この区間統合処理S34は、不連続
部分割処理S33によって得られた区間のうち、一方の
区間内の変極点の固有周波数もしくは信号強度の平均
と、他方の区間内の変極点の固有周波数もしくは信号強
度の平均との差が、所定の許容範囲内であるような2つ
の隣接区間が存在する場合に、この隣接区間を1つの区
間に統合する処理である。たとえば、上述の例の場合、
図17に示すように、区間K1−2と区間K2とを平均
固有周波数で比較した結果、 |(f7+f8+f9+f10)/4−(f12+f1
3+f14+f15)/4|<ff のように、平均の差が所定の許容範囲ff以内であった
場合には、区間K1−2と区間K2とは統合されること
になる。もちろん、平均信号強度の差が許容範囲aa以
内であった場合に統合を行うようにしてもよいし、平均
固有周波数の差が許容範囲ff内という条件と平均信号
強度の差が許容範囲aa以内という条件とのいずれか一
方が満足された場合に統合を行うようにしてもよいし、
両条件がともに満足された場合に統合を行うようにして
もよい。また、このような種々の条件が満足されていて
も、両区間の間の間隔が時間軸上で所定の距離以上離れ
ていた場合(たとえば、多数の変極点が除外されたため
に、かなりの空白区間が生じているような場合)は、統
合処理を行わないような加重条件を課すことも可能であ
る。
【0055】かくして、この区間統合処理S34を行っ
た後に得られた区間が、最終的な単位区間として設定さ
れることになる。上述の例では、最終的に、図18に示
すように、単位区間U1(図17の暫定区間K1−1)
と、単位区間U2(図17で統合された暫定区間K1−
2およびK2)とが設定される。
【0056】なお、ここに示す実施態様では、こうして
得られた単位区間の始端と終端を、その区間に含まれる
最初の変極点の時間軸上の位置を始端とし、その区間に
含まれる最後の変極点の時間軸上の位置を終端とする、
という定義で定めることにする。したがって、図18に
示す例では、単位区間U1は時間軸上の位置t3〜t6
までの区間であり、単位区間U2は時間軸上の位置t7
〜t15までの区間となる。
【0057】<<< 2.4 符号化段階 >>>次
に、図2の流れ図に示されている符号化段階S40につ
いて説明する。ここに示す実施形態では、この符号化段
階S40は、符号データ生成処理S41と、符号データ
修正処理S42とによって構成されている。符号データ
生成処理S41は、区間設定段階S30において設定さ
れた個々の単位区間内の音声データに基づいて、個々の
単位区間を代表する所定の代表周波数および代表強度を
定義し、時間軸上での個々の単位区間の始端位置および
終端位置を示す情報と、代表周波数および代表強度を示
す情報とを含む符号データを生成する処理であり、この
処理により、個々の単位区間の音声データは個々の符号
データによって表現されることになる。一方、符号デー
タ修正処理S42は、後述するように、生成された符号
データを、復号化に用いる再生音源装置の特性に適合さ
せるために修正する処理である。
【0058】符号データ生成処理S41における符号デ
ータ生成の具体的手法は、非常に単純である。すなわ
ち、個々の単位区間内に含まれる変極点の固有周波数に
基づいて代表周波数を定義し、個々の単位区間内に含ま
れる変極点のもつ信号強度に基づいて代表強度を定義れ
ばよい。これを図18の例で具体的に示そう。この図1
8に示す例では、変極点P3〜P6を含む単位区間U1
と、変極点P7〜P15(ただし、P11は除外されて
いる)を含む単位区間U2とが設定されている。ここに
示す実施形態では、単位区間U1(始端t3,終端t
6)については、図19上段に示すように、代表周波数
F1および代表強度A1が、 F1=(f3+f4+f5+f6)/4 A1=(a3+a4+a5+a6)/4 なる式で演算され、単位区間U2(始端t7,終端t1
5)については、図19下段に示すように、代表周波数
F2および代表強度A2が、 F2=(f7+f8+f9+f10+f12+f13+
f14+f15)/8 A2=(a7+a8+a9+a10+a12+a13+
a14+a15)/8 なる式で演算される。別言すれば、代表周波数および代
表強度は、単位区間内に含まれる変極点の固有周波数お
よび信号強度の単純平均値となっている。もっとも、代
表値としては、このような単純平均値だけでなく、重み
を考慮した加重平均値をとってもかまわない。たとえ
ば、信号強度に基づいて個々の変極点に重みづけをし、
この重みづけを考慮した固有周波数の加重平均値を代表
周波数としてもよい。あるいは、単位区間内に含まれる
変極点のもつ信号強度のうちの最大値を代表強度とする
こともできる。
【0059】こうして個々の単位区間に、それぞれ代表
周波数および代表強度が定義されれば、時間軸上での個
々の単位区間の始端位置と終端位置は既に得られている
ので、個々の単位区間に対応する符号データの生成が可
能になる。たとえば、図18に示す例の場合、図20に
示すように、5つの区間E0,U1,E1,U2,E2
を定義するための符号データを生成することができる。
ここで、区間U1,U2は、前段階で設定された単位区
間であり、区間E0,E1,E2は、各単位区間の間に
相当する空白区間である。各単位区間U1,U2には、
それぞれ代表周波数F1,F2と代表強度A1,A2が
定義されているが、空白区間E0,E1,E2は、単に
始端および終端のみが定義されている区間である。
【0060】図21は、図20に示す個々の区間に対応
する符号データの構成例を示す図表である。この例で
は、1行に示された符号データは、区間名(実際には、
不要)と、区間の始端位置および終端位置と、代表周波
数および代表強度と、によって構成されている。一方、
図22は、図20に示す個々の区間に対応する符号デー
タの別な構成例を示す図表である。図21に示す例で
は、各単位区間の始端位置および終端位置を直接符号デ
ータとして表現していたが、図22に示す例では、各単
位区間の始端位置および終端位置を示す情報として、区
間長L1〜L4(図20参照)を用いている。なお、図
21に示す構成例のように、単位区間の始端位置および
終端位置を直接符号データとして用いる場合には、実際
には、空白区間E0,E1,…についての符号データは
不要である(図21に示す単位区間U1,U2の符号デ
ータのみから、図20の構成が再現できる)。
【0061】先願発明に係る音響信号の符号化方法によ
って、最終的に得られる符号データは、この図21ある
いは図22に示すような符号データである。もっとも、
符号データとしては、各単位区間の時間軸上での始端位
置および終端位置を示す情報と、代表周波数および代表
強度を示す情報とが含まれていれば、どのような構成の
データを用いてもかまわない。最終的に得られる符号デ
ータに、上述の情報さえ含まれていれば、所定の音源を
用いて音声の再生(復号化)が可能になる。たとえば、
図20に示す例の場合、時刻0〜t3の期間は沈黙を守
り、時刻t3〜t6の期間に周波数F1に相当する音を
強度A1で鳴らし、時刻t6〜t7の期間は沈黙を守
り、時刻t7〜t15の期間に周波数F2に相当する音
を強度A2で鳴らせば、もとの音響信号の再生が行われ
ることになる。
【0062】§3. MIDI形式の符号データを用い
る実施形態 <<< 3.1 MIDIデータへの変換原理 >>>
上述したように、先願発明に係る音響信号の符号化方法
では、最終的に、個々の単位区間についての始端位置お
よび終端位置を示す情報と、代表周波数および代表強度
を示す情報とが含まれた符号データであれば、どのよう
な形式の符号データを用いてもかまわない。しかしなが
ら、実用上は、そのような符号データとして、MIDI
形式の符号データを採用するのが最も好ましい。ここで
は、MIDI形式の符号データを採用した具体的な実施
形態を示す。
【0063】図23は、一般的なMIDI形式の符号デ
ータの構成を示す図である。図示のとおり、このMID
I形式では、「ノートオン」データもしくは「ノートオ
フ」データが、「デルタタイム」データを介在させなが
ら存在する。「デルタタイム」データは、1〜4バイト
のデータで構成され、所定の時間間隔を示すデータであ
る。一方、「ノートオン」データは、全部で3バイトか
ら構成されるデータであり、1バイト目は常にノートオ
ン符号「90 H」に固定されており( Hは16進数を示
す)、2バイト目にノートナンバーNを示すコードが、
3バイト目にベロシティーVを示すコードが、それぞれ
配置される。ノートナンバーNは、音階(一般の音楽で
いう全音7音階の音階ではなく、ここでは半音12音階
の音階をさす)の番号を示す数値であり、このノートナ
ンバーNが定まると、たとえば、ピアノの特定の鍵盤キ
ーが指定されることになる(C−2の音階がノートナン
バーN=0に対応づけられ、以下、N=127までの1
28通りの音階が対応づけられる。ピアノの鍵盤中央の
ラの音(A3音)は、ノートナンバーN=69にな
る)。ベロシティーVは、音の強さを示すパラメータで
あり(もともとは、ピアノの鍵盤などを弾く速度を意味
する)、V=0〜127までの128段階の強さが定義
される。
【0064】同様に、「ノートオフ」データも、全部で
3バイトから構成されるデータであり、1バイト目は常
にノートオフ符号「80 H」に固定されており、2バイ
ト目にノートナンバーNを示すコードが、3バイト目に
ベロシティーVを示すコードが、それぞれ配置される。
「ノートオン」データと「ノートオフ」データとは対に
なって用いられる。たとえば、「90 H,69,80」
なる3バイトの「ノートオン」データは、ノートナンバ
ーN=69に対応する鍵盤中央のラのキーを押し下げる
操作を意味し、以後、同じノートナンバーN=69を指
定した「ノートオフ」データが与えられるまで、そのキ
ーを押し下げた状態が維持される(実際には、ピアノな
どのMIDI音源の波形を用いた場合、有限の時間内
に、ラの音の波形は減衰してしまう)。ノートナンバー
N=69を指定した「ノートオフ」データは、たとえ
ば、「80 H,69,50」のような3バイトのデータ
として与えられる。「ノートオフ」データにおけるベロ
シティーVの値は、たとえばピアノの場合、鍵盤キーか
ら指を離す速度を示すパラメータになる。
【0065】なお、上述の説明では、ノートオン符号
「90 H」およびノートオフ符号「80 H」は固定であ
ると述べたが、これらの符号の下位4ビットは必ずしも
0に固定されているわけではなく、チャネル番号0〜1
5のいずれかを特定するコードとして利用することがで
き、チャネルごとにそれぞれ別々の楽器の音色について
のオン・オフを指定することができる。
【0066】このように、MIDIデータは、もともと
楽器演奏の操作に関する情報(別言すれば、楽譜の情
報)を記述する目的で利用されている符号データである
が、先願発明に係る音響信号の符号化方法への利用にも
適している。すなわち、各単位区間についての代表周波
数Fに基づいてノートナンバーNを定め、代表強度Aに
基づいてベロシティーVを定め、単位区間の長さLに基
づいてデルタタイムTを定めるようにすれば、1つの単
位区間の音声データを、ノートナンバー、ベロシティ
ー、デルタタイムで表現されるMIDI形式の符号デー
タに変換することが可能になる。このようなMIDIデ
ータへの具体的な変換方法を図24に示す。
【0067】まず、MIDIデータのデルタタイムT
は、単位区間の区間長L(単位:秒)を用いて、 T=L・768 なる簡単な式で定義できる。ここで、数値「768」
は、四分音符を基準にして、その長さ分解能(たとえ
ば、長さ分解能を1/2に設定すれば八分音符まで、1
/8に設定すれば三十二分音符まで表現可能:一般の音
楽では1/16程度の設定が使われる)を、MIDI規
格での最小値である1/384に設定し、メトロノーム
指定を四分音符=120(毎分120音符)にした場合
のMIDIデータによる表現形式における時間分解能を
示す固有の数値である。
【0068】また、MIDIデータのノートナンバーN
は、1オクターブ上がると、周波数が2倍になる対数尺
度の音階では、単位区間の代表周波数F(単位:Hz)
を用いて、 N=(12/log102)・(log10(F/44
0)+69 なる式で定義できる。ここで、右辺第2項の数値「6
9」は、ピアノ鍵盤中央のラの音(A3音)のノートナ
ンバー(基準となるノートナンバー)を示しており、右
辺第1項の数値「440」は、このラの音の周波数(4
40Hz)を示しており、右辺第1項の数値「12」
は、半音を1音階として数えた場合の1オクターブの音
階数を示している。
【0069】更に、MIDIデータのベロシティーV
は、単位区間の代表強度Aと、その最大値Amax とを用
いて、 V=(A/Amax )・127 なる式で、V=0〜127の範囲の値を定義することが
できる。なお、通常の楽器の場合、「ノートオン」デー
タにおけるベロシティーVと、「ノートオフ」データに
おけるベロシティーVとは、上述したように、それぞれ
異なる意味をもつが、この実施形態では、「ノートオ
フ」データにおけるベロシティーVとして、「ノートオ
ン」データにおけるベロシティーVと同一の値をそのま
ま用いるようにしている。
【0070】前章の§2では、図20に示すような2つ
の単位区間U1,U2内の音声データに対して、図21
あるいは図22に示すような符号データが生成される例
を示したが、MIDIデータを用いた場合、単位区間U
1,U2内の音声データは、図25の図表に示すような
各データ列で表現されることになる。ここで、ノートナ
ンバーN1,N2は、代表周波数F1,F2を用いて上
述の式により得られた値であり、ベロシティーV1,V
2は、代表強度A1,A2を用いて上述の式により得ら
れた値である。
【0071】<<< 3.2 MIDIデータの修正処
理 >>>図2に示す流れ図における符号化段階S40
では、符号データ生成処理S41の後に、符号データ修
正処理S42が行われる。符号データ生成処理S41
は、上述した具体的な手法により、たとえば、図25に
示すようなMIDIデータ列を生成する処理であり、符
号データ修正処理S42は、このようなMIDIデータ
列に対して、更に修正を加える処理である。後述するよ
うに、図25に示すようなMIDIデータ列に基づい
て、音声を再生(復号化)するには、実際の音声の波形
データをもった再生音源装置(MIDI音源)が必要に
なるが、このMIDI音源の特性は個々の音源ごとに様
々であり、必要に応じて、用いるMIDI音源の特性に
適合させるために、MIDIデータに修正処理を加えた
方が好ましい場合がある。以下に、このような修正処理
が必要な具体的な事例を述べる。
【0072】いま、図26の上段に示すように、区間長
Liをもった単位区間Ui内の音声データが所定のMI
DIデータ(修正前のMIDIデータ)によって表現さ
れていた場合を考える。すなわち、この単位区間Uiに
は、代表周波数Fiおよび代表強度Aiが定義されてお
り、代表周波数Fi,代表強度Ai,区間長Liに基づ
いて、ノートナンバーNi,ベロシティーVi,デルタ
タイムTiが設定されていることになる。このとき、こ
のMIDIデータを再生するために用いる予定のMID
I音源のノートナンバーNiに対応する再生音の波形
が、図26の中段に示すようなものであったとしよう。
この場合、単位区間Uiの単位長Liよりも、MIDI
音源の再生音の持続時間LLiの方が短いことになる。
したがって、修正前のMIDIデータを、このMIDI
音源を用いてそのまま再生すると、本来の音が鳴り続け
なければならない時間Liよりも短い持続時間LLi
で、再生音は減衰してしまうことになる。このような事
態が生じると、もとの音響信号の再現性が低下してしま
う。
【0073】そこで、このような場合、単位区間を複数
の小区間に分割し、各小区間ごとにそれぞれ別個の符号
データを生成する修正処理を行うとよい。この図26に
示す例の場合、図の下段に示すように、もとの単位区間
Uiを、2つの小区間Ui1,Ui2に分割し、それぞ
れについて別個のMIDIデータを生成するようにして
いる。個々の小区間Ui1,Ui2に定義される代表周
波数および代表強度は、いずれも分割前の単位区間Ui
の代表周波数Fiおよび代表強度Aiと同じであり、区
間長だけがLi/2になったわけであるから、修正後の
MIDIデータとしては、結局、ノートナンバーNi,
ベロシティーVi,デルタタイムTi/2を示すMID
Iデータが2組得られることになる。
【0074】一般のMIDI音源では、通常、再生音の
持続時間はその再生音の周波数に応じて決まる。特に、
心音などの音色についての音源では、再生音の周波数を
f(Hz)とした場合、その持続時間は5/f(秒)程
度である。したがって、このような音源を用いたときに
は、特定の単位区間Uiについて、代表周波数Fiと区
間長Liとの関係が、Li>5/Fiとなるような場合
には、Li/m<5/Fiとなるような適当な分割数m
を求め、上述した修正処理により、単位区間Uiをm個
の小区間に分割するような処理を行うのが好ましい。
【0075】続いて、修正処理が必要な別な事例を示そ
う。いま、再生に用いる予定のMIDI音源の再生音
が、図27の左側に示すような周波数レンジを有してい
るのに対し、生成された一連のMIDIデータに基づく
再生音の周波数レンジが、図27の右側に示すように、
低音側にオフセット量dだけ偏りを生じていたとしよ
う。このような場合、再生音はMIDI音源の一部の周
波数帯域のみを使って提示されるようになるため、一般
的には好ましくない。そこで、MIDIデータの周波数
の平均が、MIDI音源の周波数レンジの中心(この例
では、440Hzの基準ラ音(ノートナンバーN=6
9))に近付くように、MIDIデータ側の周波数(ノ
ートナンバー)を全体的に引き上げる修正処理を行い、
図28に示すように、オフセット量dが0になるように
するとよい。
【0076】もっとも、音響信号の性質によっては、む
しろ低音側にシフトした状態のままで再生した方が好ま
しいものもあり、上述のような修正処理によって必ずし
も良好な結果が得られるとは限らない。したがって、個
々の音響信号の性質を考慮した上で、このような修正処
理を行うか否かを適宜判断するのが好ましい。
【0077】この他にも、用いるMIDI音源によって
は、特性に適合させるために種々の修正処理が必要な場
合がある。たとえば、1オクターブの音階差が2倍の周
波数に対応していないような特殊な規格のMIDI音源
を用いた場合には、この規格に適合させるように、ノー
トナンバーの修正処理などが必要になる。
【0078】§4. 本発明における改良点 これまで述べてきた先願発明による符号化方法は、生体
の発生するリズム音、波や風などの自然が発生するリズ
ム音というように、個々の単位区間内にある程度限定さ
れた周波数成分のみを含む音響信号の符号化には、実用
上十分な再現性を確保することができる。しかしなが
ら、いわゆるヴォーカル音響と呼ばれている人間の声音
のように、非常に幅の広い周波数成分を同時に含んでい
るような音響信号を符号化した場合、必ずしも十分な再
現性を確保することはできない。特に、人間の声音に
は、ホルマントと呼ばれる特性(倍音以外の高調波成分
が混在する特性)があることが知られており、上述した
先願発明による方法では十分な再現性をもった符号化が
できないことは、理論的にも裏付けられる。一般的な楽
器では、ある特定の音程を演奏すると、演奏した音程に
対応する周波数成分とともに、その整数倍の周波数成分
(倍音高調波成分)が得られる。したがって、このよう
な楽器の演奏波形をMIDI音源として利用すれば、先
願発明による符号化方法でも倍音高調波成分を含んだ音
を再現することができる。ところが、ホルマントを有す
る人間の声音には、倍音以外の高調波成分が含まれてい
るため、十分な再現性を確保することができなくなる。
【0079】以下に述べる本発明の手法は、ホルマント
を有する人間の声音の符号化にも十分に対応できるよう
に、先願発明に対する改良を施したものである。まず、
図29を参照しながら、本発明の基本概念を説明する。
ここでは、図29の上段に示すように、時系列の強度信
号としてアナログ音響信号が与えられ、これをデジタル
音響データとして取り込んだものとする。続いて、この
デジタル音響データの時間軸t上に複数の単位区間U1
〜U6を設定する。ここまでは、図1に示す先願発明の
手法と同様である。こうして、複数の単位区間が設定さ
れたら、個々の単位区間内の音響データに基づいて、個
々の単位区間を代表する複数の代表周波数(この例で
は、高域周波数Fhと低域周波数Flの2通りの代表周
波数)および代表強度を定義する。ここでは、第i番目
の単位区間Uiについて、高域周波数Fh(i)および
低域周波数Fl(i)と、代表強度Aiとが定義された
状態が示されている。たとえば、第1番目の単位区間U
1については、代表周波数として高域周波数Fh(1)
および低域周波数Fl(1)と、代表強度A1とが定義
されている。
【0080】こうして、個々の単位区間について、それ
ぞれ複数の代表周波数および代表強度が定義されたら、
時間軸t上での個々の単位区間の始端位置および終端位
置を示す情報と、定義された複数の代表周波数および代
表強度を示す情報と、により符号データを生成し、個々
の単位区間の音響データを個々の符号データによって表
現すればよい。たとえば、MIDI規格に基づく符号化
を利用すれば、図29下段に示す音符で示すような符号
データが得られる。この図29下段に示す符号データで
は、図1下段に示す符号データと比べればわかるよう
に、個々の音符が和音として提示されている。すなわ
ち、各単位区間ごとに、高域周波数Fhに対応する音符
と低域周波数Flに対応する音符とが作成されているこ
とになり、再生時には、これら2つの音符が同時に和音
として演奏されることになる。このような手法を採れ
ば、ホルマントを有する人間の声音の符号化にも十分に
対応できるようになる。
【0081】もっとも、図29に示す手法では、同一の
単位区間にそれぞれ2通りの代表周波数を定義している
が、実用上は、1つの単位区間には1つの代表周波数の
みを定義するようにし、その代わりに、同一時間軸上で
重複してそれぞれ異なる単位区間を設定できるようにす
るのが好ましい。図30に、より実用的な手法の基本概
念を示す。この図30の中段には、時系列の強度信号と
してのデジタル音響データの波形が示されており、この
波形より下側には、高域周波数に着目した処理が示さ
れ、この波形より上側には、低域周波数に着目した処理
が示されている。すなわち、図の下半分に示された高域
周波数に着目した処理では、高域単位区間Uh(1)〜
Uh(6)が設定され、これら各単位区間について、そ
れぞれ代表周波数Fh(1)〜Fh(6)と代表強度A
h(1)〜Ah(6)が定義されており、最終的に図の
最下段に示されているような高域符号データが生成され
ることになる。一方、図の上半分に示された低域周波数
に着目した処理では、低域単位区間Ul(1)〜Ul
(4)が設定され、これら各単位区間について、それぞ
れ代表周波数Fl(1)〜Fl(4)と代表強度Al
(1)〜Al(4)が定義されており、最終的に図の最
上段に示されているような低域符号データが生成される
ことになる。
【0082】ここで重要な点は、高域単位区間Uh
(1)〜Uh(6)と低域単位区間Ul(1)〜Ul
(4)とが、時間軸t上において、少なくともその一部
分が重複しているという点である。もちろん、時間軸t
を図の左から右へと辿っていった場合、高域単位区間の
みしか設定されていない部分や、低域単位区間のみしか
設定されていない部分が存在し、また、いずれの単位区
間も設定されていない部分も存在し得るが、少なくとも
時間軸t上の一部分には、高域単位区間と低域単位区間
とが重複して設定された区間が存在することになる。こ
うして重複設定された単位区間について、それぞれ独立
して代表周波数および代表強度を定めて符号化すれば、
時間軸上で重複した符号データが得られることになる。
たとえば、図30に示す例の場合、最下段に示された高
域符号データと、最上段に示された低域符号データと
は、時間軸t上において少なくとも部分的には重なって
おり、再生時には、和音として演奏されることになる。
なお、図示されている音符は概念を示すためのものであ
り、図の中段に示された波形や各単位区間とは直接関連
していない。
【0083】このように、時間軸上で少なくとも部分的
に重複する単位区間を設定し、各単位区間ごとにそれぞ
れ別個に符号化を行うようにすれば、再生時には、種々
の周波数成分を含んだ和音としての形式で音の再現が可
能になる。なお、図29に示した例は、個々の高域単位
区間と個々の低域単位区間とが完全に一致した特別なケ
ースと考えることができる。
【0084】§5. 本発明に係る音響信号の符号化方
法の実用的な手順 本発明に係る符号化手順は、先願発明に係る符号化手順
とほぼ同様に行うことができる。すなわち、図2の流れ
図に示すように、入力段階S10において、符号化対象
となる音響信号を、デジタルの音響データとして取り込
む処理が行われ、続いて、変極点定義段階S20におい
て、取り込んだ音響データの波形について変極点を求め
る処理が行われる。ここまでの処理は、既に述べた先願
発明に係る手順と全く同じである。次に、区間設定段階
S30において、単位区間の設定が行われるが、本発明
では、前述したように、時間軸上で少なくとも部分的に
重複するような区間設定が行われることになる。また、
符号化段階S40では、各単位区間ごとに符号化する処
理が行われるが、この処理も重複設定された各単位区間
ごとに行われることになる。
【0085】区間設定段階S30において最初に行われ
る処理は、既に述べたように、固有周波数定義処理S3
1である。この時点では、既に、変極点探索処理S21
によって、音響データ波形についての個々の変極点が探
索され、同極性変極点の間引処理S22によって、同極
性のデジタル値をもった変極点が複数連続する場合に、
絶対値が最大のデジタル値をもった変極点のみを残す間
引きが行われており、正の信号値をもつ変極点と負の信
号値をもつ変極点とが交互に現れる状態になっている。
固有周波数定義処理S31は、このような各変極点のそ
れぞれに対して、近傍の情報に基いて固有周波数を定義
する処理であるが、本発明では、1つの変極点に対して
固有周波数を定義する方法を複数通り設定するように
し、これら複数通りの方法を用いて、各変極点に複数通
りの固有周波数を定義するようにしている。
【0086】ここでは、ヴォーカル音響信号に対して用
いるのに適した2通りの具体的な固有周波数定義方法を
説明する。いま、変極点定義段階S20を経ることによ
り、図31にその一部が示されているような変極点群が
得られた場合を考える。図31には、この変極点群のう
ちの第n番目の変極点P(n)〜第(n+12)番目の
変極点P(n+12)が示されている。このような変極
点群には、2つの周波数成分が含まれていることがわか
る。すなわち、変極点P(n)とP(n+2)との距離
φhを一周期とする高域周波数成分と、変極点P(n)
とP(n+6)との距離φlを一周期とする低域周波数
成分とである。ヴォーカル音響信号に対して変極点の定
義を行うと、図31に示すような特徴が顕著に現れる。
これは、前述したように、人間の音声はホルマントとい
う特徴を有するためである。図31に示す例において、
正の信号強度をもつ変極点P(n),P(n+2),P
(n+4),P(n+6),P(n+8)…に注目すれ
ば、信号強度が大中小大中小…と変化していることがわ
かる。この大中小という変化の周期が周期φlに相当
し、低域周波数成分を示すことになる。これに対し、同
極性の変極点の出現周期が周期φhに相当し、高域周波
数成分を示すことになる。
【0087】結局、個々の変極点に対して固有周波数を
定義する第1の方法として、同極性の変極点が現れる周
期φhを探索し、この周期φhに基いて固有周波数を定
義する方法を採れば、高域固有周波数fhを定義するこ
とができる。また、個々の変極点に対して固有周波数を
定義する第2の方法として、近似した信号強度をもつ変
極点が現れる周期φlを探索し、この周期φlに基いて
固有周波数を定義する方法を採れば、低域固有周波数f
lを定義することができる。より具体的には、各変極点
について、それぞれ所定の条件を満たす特定の変極点を
探索し、探索された変極点との間の時間軸上での距離に
基いて固有周波数を定義すればよい。たとえば、図31
において、変極点P(n)についての高域固有周波数f
hを定義するには、「後続して最初に出現する同極性の
変極点」という条件を設定して探索を行えばよい。その
結果、この条件を満たす変極点P(n+2)が探索され
ることになるので、両変極点の時間軸上での距離φhを
周期とする周波数が定義される。同様に、変極点P
(n)についての低域固有周波数flを定義するには、
「変極点P(n)のもつ信号強度にほぼ等しい信号強度
をもち、後続して最初に出現する変極点(信号強度に符
号をもたせておけば、当然同極性の変極点になる)」と
いう条件を設定して探索を行えばよい。その結果、この
条件を満たす変極点P(n+6)が探索されることにな
るので、両変極点の時間軸上での距離φlを周期とする
周波数が定義される。このように、探索条件を変えるこ
とにより、同一の変極点に対して複数通りの固有周波数
を定義することが可能になる。
【0088】上述の手法によれば、第n番目の変極点P
(n)についての高域固有周波数fh(n)は、§2.
3で述べたように、任意の整数kを用いて、 fh(n)=(k/2)・1/(t(n+k)−t
(n)) なる式で得られることになる。すなわち、第n番目の変
極点P(n)に対してk個離れた変極点P(n+k)を
探索し(kが正の場合は後続する変極点、負の場合は先
行する変極点)、変極点P(n)の時間軸上での位置t
(n)と探索された変極点P(n+k)の時間軸上での
位置t(n+k)との差の逆数に基いて、高域固有周波
数fh(n)が得られることになる。既に述べたよう
に、kの値は、ある程度大きく設定した方が、誤差の少
ない固有周波数を定義することができるが、あまり大き
く設定しすぎると、ローカルな周波数としての意味が失
われてしまう。
【0089】図31に示す例の場合、変極点P(n)に
ついての高域固有周波数fh(n)は、図示の周期φh
の逆数として定義することができ、 fh(n)=1/φh =1/(t(n+2)−t(n)) なる式で与えられるが、これは上述の式における係数k
=2に設定した場合に他ならない。もちろん、係数k=
4に設定すれば、変極点P(n+4)を探索対象とし
て、 fh(n)=2・(1/(t(n+4)−t(n))) なる式により、高域固有周波数fh(n)の値を定義す
ることもできる。
【0090】一方、第n番目の変極点P(n)について
の低域固有周波数fl(n)は、 fl(n)=1/(t(n+k)−t(n)) なる式で得られることになる。ただし、右辺の分母に示
されている係数kは任意の整数ではなく、所定の条件を
満たす整数でなければならない。すなわち、整数kで特
定される変極点P(n+k)が、変極点P(n)のもつ
信号強度に対して所定の誤差範囲内にある信号強度をも
つ変極点のうち、変極点(n)に最も近い後続する変極
点となるようにしなければならない。あるいは、整数k
を負にとって、先行する変極点を探索対象とする場合に
は、整数kで特定される変極点P(n+k)が、変極点
P(n)のもつ信号強度に対して所定の誤差範囲内にあ
る信号強度をもつ変極点のうち、変極点(n)に最も近
い先行する変極点となるようにしてもかまわない。この
式の意味するところは、要するに、変極点P(n)のも
つ信号強度とほぼ同じ信号強度をもった最も近い変極点
P(n+k)を探索し、変極点P(n)の時間軸上での
位置t(n)と探索された変極点P(n+k)の時間軸
上での位置t(n+k)との差の逆数に基いて、低域固
有周波数fl(n)を決定するということである。
【0091】図31に示す例の場合、変極点P(n)に
ついての低域固有周波数fl(n)は、図示の周期φl
の逆数として定義することができ、 fl(n)=1/φl =1/(t(n+6)−t(n)) なる式で与えられるが、これは上述の式における係数k
=6に設定した場合に他ならない。すなわち、図31の
例では、変極点P(n+6)が、変極点P(n)のもつ
信号強度に対して所定の誤差範囲内にある信号強度を有
し、変極点P(n)に最も近い後続する変極点として探
索されたことになる。なお、理論的には、必ずしも最も
近い後続する変極点(もしくは最も近い先行する変極
点)を探索対象とする必要はない。たとえば、2番目に
近い後続する変極点P(n+12)を探索対象とした場
合であっても、 fl(n)=2・(1/(t(n+12)−t
(n))) なる式で低域固有周波数fl(n)を定義することがで
き、一般に、z番目に近い後続もしくは先行する変極点
P(n+k)を探索対象とした場合、 fl(n)=z・(1/(t(n+k)−t(n))) なる式で低域固有周波数fl(n)を定義することがで
きる。
【0092】かくして、本発明の場合、図2の流れ図に
おけるステップS31の固有周波数定義処理は、個々の
変極点に対してそれぞれ複数通りの固有周波数が定義さ
れることになる。そして、ステップS32〜S34の個
々の処理は、複数通りの固有周波数についてそれぞれ別
個に行われ、ステップS41〜S42の個々の処理も、
複数通りの固有周波数についてそれぞれ別個に行われる
ことになる。結局、時間軸上で重複するような複数の符
号データが生成されることになり、これらの符号データ
を時間軸上で重複して再生することにより、ホルマント
特性を有する人間の声音についても実用的なレベルでの
再現性が確保できることになる。
【0093】たとえば、図31に示す具体例において、
n=1として、各変極点をP1〜P13で表わした場
合、各変極点にそれぞれ高域固有周波数を定義すれば、
図32に示すような固有周波数fhxおよび信号強度a
xをもった変極点群が定義されることになり、各変極点
にそれぞれ低域固有周波数を定義すれば、図33に示す
ような固有周波数flxおよび信号強度axをもった変
極点群が定義されることになる(ただし、x=1〜1
3)。このような2通りの変極点群に対して、それぞれ
別個独立して、ステップS32におけるレベルによるス
ライス処理、ステップS33における不連続部分割処
理、ステップS34における区間統合処理を実行すれ
ば、2通りの単位区間が設定されることになる。ここ
で、図32に示すような高域固有周波数をもつ変極点群
に基いて設定された単位区間は、各変極点に与えられた
高域固有周波数が所定の近似範囲となるような一群の変
極点を含む区間として設定されることになり、図33に
示すような低域固有周波数をもつ変極点群に基いて設定
された単位区間は、各変極点に与えられた低域固有周波
数が所定の近似範囲となるような一群の変極点を含む区
間として設定されることになる。要するに、ステップS
30の区間設定段階では、同一の方法で定義された固有
周波数が所定の近似範囲内となるような一群の変極点を
含む区間を1つの単位区間と設定する処理が行われる。
固有周波数の定義は、複数通りの方法で行われるため、
時間軸上で重複する複数の単位区間が定義されることに
なる。
【0094】ステップS40の符号化段階では、各単位
区間について、それぞれ別個独立して代表周波数および
代表強度が定義される。すなわち、単位区間内に含まれ
る変極点について定義された複数通りの固有周波数のう
ち、当該単位区間の設定に関与した固有周波数に基い
て、当該単位区間の代表周波数が定義され、当該単位区
間に含まれる変極点のもつ信号強度に基いて当該単位区
間の代表強度が定義される。たとえば、図30に示す例
の場合、高域単位区間Uh(1)については、この区間
Uh(1)内に含まれる変極点について定義された複数
通りの固有周波数のうち、当該単位区間の設定に関与し
た高域固有周波数に基いて代表周波数Fh(1)が定義
されることになり、この区間Uh(1)内に含まれる変
極点のもつ信号強度に基いて代表強度Ah(1)が定義
されることになる。
【0095】もっとも、本発明では必ずしも高域固有周
波数fhと低域固有周波数flとの2通りの固有周波数
を用いる必要はなく、これらの間の任意の固有周波数を
用いてもかまわない。要するに、高域固有周波数fhを
上限とし、低域固有周波数flを下限とする範囲内で、
複数の固有周波数を定義すればよい。たとえば、図31
に示す例において、変極点P(n)についての固有周波
数として、fh(n)およびfl(n)の他に、変極点
P(n)とP(n+4)との間の時間軸上の距離を周期
とした中間固有周波数fm(n)を定義することもでき
る。
【0096】なお、§3.1で説明したMIDIデータ
への変換原理によると、個々の単位区間に相当するMI
DIデータのベロシティーVを、単位区間の代表強度A
を最大値Amax で規格化して、127を乗じることによ
り、 V=(A/Amax )・127 なる式で定義し、V=0〜127の値をとるベロシティ
ーVを求めていたが、いわゆるヴォーカル音声信号を符
号化する場合には、規格化した値の平方根をとって、 V=(A/Amax )1/2・127 なる式でベロシティーVを定義するか、あるいは対数を
とって、 V=log(A/Amax )・127+127 (ただし、V<0の場合は、V=0とする) なる式でベロシティーVを定義した方が、より自然な再
生音が得られるようになり好ましい。
【0097】§6. 本発明に係る音響信号の符号化方
法の応用例 以上述べた本発明に係る音響信号の符号化方法を用いれ
ば、先願発明に係る符号化方法では十分な再現性を得る
ことができなかったヴォーカル音響信号についても、実
用的なレベルでの適用が可能になる。この符号化方法に
より、人間の話声や歌声をMIDI対応の電子楽器で再
生することが可能になり、また、楽譜の形式で表現する
ことも可能になる。
【0098】上述した符号化のための種々の処理は、実
際には、コンピュータを用いた演算によって行われるこ
とになるが、その演算負担はFFTなどの演算に比べる
と軽く、市販の汎用パーソナルコンピュータを用いても
十分にリアルタイムでの処理が可能である。したがっ
て、上述した処理を汎用パーソナルコンピュータに実行
させるためのプログラムを記述し、このプログラムをフ
ロッピーディスクやCD−ROMなどの媒体に記録して
配布するようにすれば、汎用パーソナルコンピュータを
本発明に係る音響信号の符号化方法を実行するための装
置として利用することができる。また、本発明に係る符
号化方法で符号化したデータは、この汎用パーソナルコ
ンピュータによって、フロッピーディスクやCD−RO
Mなどの媒体に記録して配布したり、通信回線を介して
伝送したりすることもできる。
【0099】電子楽器による声の再生技術を、カラオケ
の分野に適用すれば、バックコーラスの再現、模範歌唱
の提供、ナレーションの挿入などに利用することがで
き、これまでにない新たな付加価値をサービスとして提
供することができる。特に、通信カラオケの分野に適用
すれば、模範歌唱のデータなどを音符の形式で伝送する
ことができるため、効率良いデータ伝送が可能になる。
また、コンピュータを利用したエデュテイメントの分野
に適用すれば、歌や声を効果音として挿入することがで
きる。あるいは、人の声をモチーフとした音楽作品とし
て取り込むことも可能になる。また、本発明に係る方法
で符号化されたMIDIデータは、通常の楽器音からな
るMIDI音源を用いて再生することも可能であるた
め、楽器によって人の話し声を模倣するような芸を行う
ことも可能である。
【0100】また、本発明による符号化方法によれば、
人の話声や歌声を客観的な符号データの形で認識するこ
とができるため、声を客観的に分析したり評価したりす
る技術分野へ応用することができる。たとえば、語学教
育や声楽教育の分野では、発音、発声、抑揚などを客観
的に評価することができ、カラオケの分野では、音程や
リズムなどを客観的に評価することにより、歌唱力に対
する厳密な点数評価を行うことができる。また、医療分
野では、声音聴診音の分析により、呼吸器系の診断に利
用でき、患者の話声の分析により、たとえば、咽頭癌の
進行度などを診断するためのデータを提供することがで
きる。更に、犯罪捜査やセキュリティの分野において
は、本人の声の認証技術に利用することができる。特
に、人間の声には、市販の各種ボイスチェンジャーを通
した場合にも不変のホルマント特徴が含まれているた
め、本発明を利用すれば、かなり高い精度で本人認証を
行うことができるようになる。
【0101】本発明により符号化された符号データは、
バーコード状の紙媒体に記録することもでき、印刷や複
写機による複製が可能になる。このように、バーコード
状の符号データをファクシミリで伝送すれば、一般の電
話より広帯域で機密性の高いボイスメールを実現するこ
とができる。あるいは、バーコード状の符号データをロ
ール紙に印刷しておけば、このロール紙上の符号データ
を読み取りながら再生するオルゴール式の再生機を利用
した自動演奏機も実現できる。また、一般の書籍の頁に
バーコード状の符号データを印刷しておくようにし、こ
のバーコードを読み取って再生する小形のハンドスキャ
ナを用意すれば、音声の出る本を実現することができ、
音声再生機能付きの楽譜集を出版することも可能であ
る。
【0102】
【発明の効果】以上のとおり本発明によれば、人の声音
や歌声を含む音響信号に対しても効率的な符号化が可能
になる。
【図面の簡単な説明】
【図1】先願発明に係る音響信号の符号化方法の基本原
理を示す図である。
【図2】先願発明に係る音響信号の符号化方法の実用的
な手順を示す流れ図である。
【図3】入力した音響データに含まれている直流成分を
除去するデジタル処理を示すグラフである。
【図4】図3に示す音響データの一部を時間軸に関して
拡大して示したグラフである。
【図5】図4に矢印で示す変極点P1〜P6のみを抜き
出した示した図である。
【図6】多少乱れた音響データの波形を示すグラフであ
る。
【図7】図6に矢印で示す変極点P1〜P7のみを抜き
出した示した図である。
【図8】図7に示す変極点P1〜P7の一部を間引処理
した状態を示す図である。
【図9】個々の変極点について、固有周波数を定義する
方法を示す図である。
【図10】個々の変極点に関する情報に基づいて、単位
区間を設定する具体的手法を示す図である。
【図11】所定の許容レベルLLに基づくスライス処理
を示す図である。
【図12】単位区間設定の対象となる多数の変極点を矢
印で示した図である。
【図13】図12に示す変極点に対して、所定の許容レ
ベルLLに基づくスライス処理を行う状態を示す図であ
る。
【図14】図13に示すスライス処理によって変極点を
除外し、暫定区間K1,K2を設定した状態を示す図で
ある。
【図15】図14に示す暫定区間K1についての不連続
位置を探索する処理を示す図である。
【図16】図15で探索された不連続位置に基づいて、
暫定区間K1を分割し、新たな暫定区間K1−1とK1
−2とを定義した状態を示す図である。
【図17】図16に示す暫定区間K1−2,K2につい
ての統合処理を示す図である。
【図18】図17に示す統合処理によって、最終的に設
定された単位区間U1,U2を示す図である。
【図19】各単位区間についての代表周波数および代表
強度を求める手法を示す図である。
【図20】5つの区間E0,U1,E1,U2,E2を
定義するための符号データを示す図である。
【図21】図20に示す単位区間U1,U2内の音響デ
ータを符号化して得られる符号データの一例を示す図表
である。
【図22】図20に示す単位区間U1,U2内の音響デ
ータを符号化して得られる符号データの別な一例を示す
図表である。
【図23】一般的なMIDI形式の符号データの構成を
示す図である。
【図24】各単位区間内の音響データについてのMID
Iデータへの具体的な変換方法を示す図である。
【図25】図20に示す単位区間U1,U2内の音響デ
ータを、MIDIデータを用いて符号化した状態を示す
図表である。
【図26】生成したMIDIデータに対して修正処理が
必要な第1の事例を示す図である。
【図27】生成したMIDIデータに対して修正処理が
必要な第2の事例を示す図である。
【図28】図27に示す事例における修正後の状態を示
す図である。
【図29】同一の単位区間に異なる複数の周波数を定義
する符号化方法の基本原理を示す図である。
【図30】時間軸上に少なくとも一部が重複するよう
に、高域単位区間および低域単位区間をそれぞれ定義
し、各単位区間にそれぞれ異なる周波数を定義する符号
化方法の基本原理を示す図である。
【図31】個々の変極点について、それぞれ高域固有周
波数と低域固有周波数との2通りの固有周波数を定義す
る方法を示す図である。
【図32】図31に示す個々の変極点について、高域固
有周波数と信号強度とを定義した状態を示す図である。
【図33】図31に示す個々の変極点について、低域固
有周波数と信号強度とを定義した状態を示す図である。
【符号の説明】
A,A1〜A6,Ai…代表強度 Ah(1)〜Ah(6)…高域代表強度 Al(1)〜Al(4)…低域代表強度 Amax …代表強度の最大値 a1〜a13…変極点の信号強度 aa…許容範囲 D…直流成分 d…オフセット量 E0,E1,E2…空白区間 e1〜e6…終端位置 F,F1〜F6,Fi…代表周波数 Fh(1)〜Fh(6)…高域代表周波数 Fl(1)〜Fl(4)…低域代表周波数 f1〜f17…変極点の固有周波数 fh1〜fh13…変極点の高域固有周波数 fl1〜fl13…変極点の低域固有周波数 fa,fb,fc…周波数特性 ff…許容範囲 fs…サンプリング周波数 K1,K1−1,K1−2,K2…暫定区間 L,L1〜L4,Li…区間長 LL…許容レベル LLi…再生音の持続時間 N,Ni…ノートナンバー P1〜P17…変極点 s1〜s6…始端位置 T,Ti…デルタタイム t1〜t17…時間軸上の位置 U1〜U6,Ui,Ui1,Ui2…単位区間 Uh(1)〜Uh(6)…高域単位区間 Ul(1)〜Ul(4)…低域単位区間 fV,Vi…ベロシティー x…サンプル番号 φ,φh,φl…周期

Claims (9)

    【特許請求の範囲】
  1. 【請求項1】 時系列の強度信号として与えられる音響
    信号を符号化するための符号化方法であって、 符号化対象となる音響信号を、デジタルの音響データと
    して取り込む入力段階と、 前記音響データの時間軸上に、少なくとも一部分が重複
    する複数の単位区間を設定する区間設定段階と、 個々の単位区間内の音響データに基づいて、個々の単位
    区間を代表する所定の代表周波数および代表強度を定義
    し、時間軸上での個々の単位区間の始端位置および終端
    位置を示す情報と前記代表周波数および前記代表強度を
    示す情報とを含む符号データを生成し、個々の単位区間
    の音響データを個々の符号データによって表現する符号
    化段階と、 を有することを特徴とする音響信号の符号化方法。
  2. 【請求項2】 請求項1に記載の符号化方法において、 取り込んだ音響データの波形について変極点を求める変
    極点定義段階を更に設け、 区間設定段階では、変極点について、その近傍の情報に
    基づいて固有周波数を定義するための複数通りの固有周
    波数定義方法を設定し、これら複数通りの方法を用いて
    各変極点に複数通りの固有周波数を定義し、同一の方法
    で定義された固有周波数が所定の近似範囲内となるよう
    な一群の変極点を含む区間を1つの単位区間として設定
    することを特徴とする音響信号の符号化方法。
  3. 【請求項3】 請求項2に記載の符号化方法において、 符号化段階で、単位区間内に含まれる変極点について定
    義された複数通りの固有周波数のうち、当該単位区間の
    設定に関与した固有周波数に基いて当該単位区間の代表
    周波数を定義し、当該単位区間内に含まれる変極点のも
    つ信号強度に基づいて当該単位区間の代表強度を定義す
    ることを特徴とする音響信号の符号化方法。
  4. 【請求項4】 請求項2または3に記載の符号化方法に
    おいて、 各変極点について、それぞれ所定の条件を満たす特定の
    変極点を探索し、探索された変極点との間の時間軸上で
    の距離に基づいて固有周波数を定義するようにし、前記
    所定の条件を変えることにより、複数通りの固有周波数
    定義方法を設定するようにしたことを特徴とする音響信
    号の符号化方法。
  5. 【請求項5】 請求項2または3に記載の符号化方法に
    おいて、 入力段階で、正および負の両極性デジタル値を信号強度
    としてもった音響データを用意し、 区間設定段階で、同極性の変極点が現れる周期に基いて
    高域固有周波数fhを定義し、近似した信号強度をもつ
    変極点が現れる周期に基いて低域固有周波数flを定義
    することを特徴とする音響信号の符号化方法。
  6. 【請求項6】 請求項2または3に記載の符号化方法に
    おいて、 入力段階で、正および負の両極性デジタル値を信号強度
    としてもった音響データを用意し、 区間設定段階で、同極性の変極点が現れる周期に基づい
    て定義される固有周波数fhを上限とし、近似した信号
    強度をもつ変極点が現れる周期に基づいて定義される固
    有周波数hlを下限とする範囲内で、所定の変極点間の
    時間軸上での距離に基づいて複数の固有周波数を定義す
    ることを特徴とする音響信号の符号化方法。
  7. 【請求項7】 請求項1〜6のいずれかに記載の符号化
    方法において、 符号化段階で、代表周波数に基づいてノートナンバーを
    定め、代表強度に基づいてベロシティーを定め、単位区
    間の長さに基づいてデルタタイムを定め、1つの単位区
    間の音響データを、ノートナンバー、ベロシティー、デ
    ルタタイムで表現されるMIDI形式の符号データに変
    換し、時間軸上で重複する単位区間に対しては異なるチ
    ャンネルを割り当てることを特徴とする音響信号の符号
    化方法。
  8. 【請求項8】 請求項1〜7のいずれかに記載の符号化
    方法を実行する音響信号の符号化のためのプログラムが
    記録されたコンピュータ読み取り可能な記録媒体。
  9. 【請求項9】 請求項1〜7のいずれかに記載の符号化
    方法により符号化された符号データが記録されたコンピ
    ュータ読み取り可能な記録媒体。
JP24963597A 1997-08-29 1997-08-29 音響信号の符号化方法およびコンピュータ読み取り可能な記録媒体 Expired - Fee Related JP3958841B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP24963597A JP3958841B2 (ja) 1997-08-29 1997-08-29 音響信号の符号化方法およびコンピュータ読み取り可能な記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP24963597A JP3958841B2 (ja) 1997-08-29 1997-08-29 音響信号の符号化方法およびコンピュータ読み取り可能な記録媒体

Publications (2)

Publication Number Publication Date
JPH1173199A true JPH1173199A (ja) 1999-03-16
JP3958841B2 JP3958841B2 (ja) 2007-08-15

Family

ID=17195965

Family Applications (1)

Application Number Title Priority Date Filing Date
JP24963597A Expired - Fee Related JP3958841B2 (ja) 1997-08-29 1997-08-29 音響信号の符号化方法およびコンピュータ読み取り可能な記録媒体

Country Status (1)

Country Link
JP (1) JP3958841B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001080222A1 (fr) * 2000-04-14 2001-10-25 Sakai, Yasue Procede et dispositif de reconnaissance vocale, procede et dispositif de synthese vocale, support d'enregistrement
JP2007264190A (ja) * 2006-03-28 2007-10-11 Daiichikosho Co Ltd カラオケ作品に歌唱旋律データを付加する方法、歌唱旋律データの生成方法
JP2010197605A (ja) * 2009-02-24 2010-09-09 Dainippon Printing Co Ltd 音素符号補正装置、音素符号データベース、および音声合成装置
JP2016136299A (ja) * 2015-01-23 2016-07-28 株式会社日本総合研究所 認証サーバ、声紋認証システム、及び声紋認証方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001080222A1 (fr) * 2000-04-14 2001-10-25 Sakai, Yasue Procede et dispositif de reconnaissance vocale, procede et dispositif de synthese vocale, support d'enregistrement
JP2007264190A (ja) * 2006-03-28 2007-10-11 Daiichikosho Co Ltd カラオケ作品に歌唱旋律データを付加する方法、歌唱旋律データの生成方法
JP2010197605A (ja) * 2009-02-24 2010-09-09 Dainippon Printing Co Ltd 音素符号補正装置、音素符号データベース、および音声合成装置
JP2016136299A (ja) * 2015-01-23 2016-07-28 株式会社日本総合研究所 認証サーバ、声紋認証システム、及び声紋認証方法

Also Published As

Publication number Publication date
JP3958841B2 (ja) 2007-08-15

Similar Documents

Publication Publication Date Title
JP5283289B2 (ja) 音楽音響信号生成システム
US8093484B2 (en) Methods, systems and computer program products for regenerating audio performances
US5808225A (en) Compressing music into a digital format
JP3776196B2 (ja) 音声信号の符号化方法および音声の記録再生装置
WO2017057531A1 (ja) 音響処理装置
Lerch Software-based extraction of objective parameters from music performances
JPH079591B2 (ja) 楽器音響解析装置
JP4132362B2 (ja) 音響信号の符号化方法およびプログラム記録媒体
JP3795201B2 (ja) 音響信号の符号化方法およびコンピュータ読み取り可能な記録媒体
JP3958841B2 (ja) 音響信号の符号化方法およびコンピュータ読み取り可能な記録媒体
JP4037542B2 (ja) 音響信号の符号化方法
JPH1173200A (ja) 音響信号の符号化方法およびコンピュータ読み取り可能な記録媒体
JP2000293188A (ja) 和音リアルタイム認識方法及び記憶媒体
JP2001005450A (ja) 音響信号の符号化方法
JP4331289B2 (ja) 音響信号の符号化方法
JP4152502B2 (ja) 音響信号の符号化装置および符号データの編集装置
JP4268328B2 (ja) 音響信号の符号化方法
JP4220108B2 (ja) 音響信号符号化システム
JP5569307B2 (ja) プログラム、及び編集装置
JP2013041128A (ja) 複数音源の識別装置および複数音源に連動する情報処理装置
JP4156252B2 (ja) 音響信号の符号化方法
Li et al. Music Definition Language & Music Manipulation Language: A Coding Scheme for Music Representation and Storage
JP4473979B2 (ja) 音響信号の符号化方法および復号化方法ならびに当該方法を実行するプログラムを記録した記録媒体
JP4156269B2 (ja) 時系列信号の周波数解析方法および音響信号の符号化方法
JP2002244691A (ja) 音響信号の符号化方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051018

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060123

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070402

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070508

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070511

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110518

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120518

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120518

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130518

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140518

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees