JP4220108B2 - Acoustic signal coding system - Google Patents
Acoustic signal coding system Download PDFInfo
- Publication number
- JP4220108B2 JP4220108B2 JP2000190391A JP2000190391A JP4220108B2 JP 4220108 B2 JP4220108 B2 JP 4220108B2 JP 2000190391 A JP2000190391 A JP 2000190391A JP 2000190391 A JP2000190391 A JP 2000190391A JP 4220108 B2 JP4220108 B2 JP 4220108B2
- Authority
- JP
- Japan
- Prior art keywords
- frequency
- waveform pattern
- distortion
- distortion waveform
- code set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Electrophonic Musical Instruments (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)
Description
【0001】
【産業上の利用分野】
本発明は、放送メディア(ラジオ、テレビ)、通信メディア(CS映像・音声配信、インターネット音楽配信、通信カラオケ)、パッケージメディア(CD、MD、カセット、ビデオ、LD、CD−ROM、ゲームカセット、携帯音楽プレーヤ向け固体メモリ媒体)などで提供する各種オーディオコンテンツの制作、並びに、専用携帯音楽プレーヤ、携帯電話・PHS・ポケベルなどに向けたボーカルを含む音楽コンテンツ、歌舞伎・能・読経・詩歌など文芸作品の音声素材または語学教育音声教材のMIDI伝送に利用するのに好適な音響信号の符号化技術に関する。
【0002】
【従来の技術】
音響信号に代表される時系列信号には、その構成要素として複数の周期信号が含まれている。このため、与えられた時系列信号にどのような周期信号が含まれているかを解析する手法は、古くから知られている。例えば、フーリエ解析は、与えられた時系列信号に含まれる周波数成分を解析するための方法として広く利用されている。
【0003】
このような時系列信号の解析方法を利用すれば、音響信号を符号化することも可能である。コンピュータの普及により、原音となるアナログ音響信号を所定のサンプリング周波数でサンプリングし、各サンプリング時の信号強度を量子化してデジタルデータとして取り込むことが容易にできるようになってきており、こうして取り込んだデジタルデータに対してフーリエ解析などの手法を適用し、原音信号に含まれていた周波数成分を抽出すれば、各周波数成分を示す符号によって原音信号の符号化が可能になる。
【0004】
一方、電子楽器による楽器音を符号化しようという発想から生まれたMIDI(Musical Instrument Digital Interface)規格も、パーソナルコンピュータの普及とともに盛んに利用されるようになってきている。このMIDI規格による符号データ(以下、MIDIデータという)は、基本的には、楽器のどの鍵盤キーを、どの程度の強さで弾いたか、という楽器演奏の操作を記述したデータであり、このMIDIデータ自身には、実際の音の波形は含まれていない。そのため、実際の音を再生する場合には、楽器音の波形(歪み波形パターン)を記憶したMIDI音源が別途必要になるが、その符号化効率の高さが注目を集めており、MIDI規格による符号化および復号化の技術は、現在、パーソナルコンピュータを用いて楽器演奏、楽器練習、作曲などを行うソフトウェアに広く採り入れられている。
【0005】
そこで、音響信号に代表される時系列信号に対して、所定の手法で解析を行うことにより、その構成要素となる周期信号を抽出し、抽出した周期信号をMIDIデータを用いて符号化しようとする提案がなされている。例えば、特開平10−247099号公報、特開平11−73199号公報、特開平11−73200号公報、特開平11−95753号公報、特開平12−99009号公報、特開平12−99093号公報、特願平11−58431号明細書、特願平11−177875号明細書、特願平11−329297号明細書には、任意の時系列信号について、構成要素となる周波数を解析し、その解析結果からMIDIデータを作成することができる種々の方法が提案されている。
【0006】
【発明が解決しようとする課題】
上記各公報または明細書において提案してきたMIDI符号化方式により、ボーカルを含む音楽の再現が可能となったが、オーディオ符号化一般に適用するためには、複数の楽器音色を再生できるようなマルチトラック形式符号化を実現する必要がある。これを実現するには、「音源分離技術」、「単音楽器のMIDI符号化」の2つの問題があり、楽器音から演奏された音符を認識してMIDI楽器で再現するという理想的なMIDI符号化形式の実現は現状極めて困難である。
【0007】
音源分離技術に関しては、ミキシングされた演奏録音から楽器パート、ボーカルパート別に音源分離し、パートごとにMIDI符号化を行う必要があるが、これは現状では技術的に不可能といわれ、ある程度実現できるようになっても不完全さが残るという問題がある。単音楽器のMIDI符号化に関しては、ピアノ、ギター、バイオリンなど弦楽器系の楽器が倍音の割合が少なく、MIDI符号化を行い易いが、倍音を多く含むブラスなど金管楽器系やノイズ音源である打楽器系に対してはMIDI符号化が難しいという問題がある。
【0008】
一方、音響信号を正弦波にスペクトル分解し、スペクトル情報を符号化する分析合成符号化方式が既にMP3(MPEG-1 layer3)などで実用化されている。PCMやADPCMといった波形符号化方式に比べ情報量が少なく、MIDIと同様に再生速度やピッチを変更できるという特徴がある。しかし、この方式には次の3つの問題がある。
【0009】
第1に、圧縮率をあまり上げられず、MP3でも実用的圧縮率は1/10程度であるという問題がある。その理由として楽器音などは無限に続く倍音成分を可聴周波数の最大まで忠実に符号化する必要があるためで、信号を正弦波に分解する考え方のデメリットである。第2に、分解した正弦波の合成処理負荷の問題がある。復号側では、スペクトル分解された100以上の正弦波をリアルタイムに合成することが必要となっている。この技術については、既に確立されているが、復号処理は煩雑なものとなっている。第3に、ハイパーソニック領域の音再現の問題がある。人間の最大可聴周波数は22kHzであり、そのためCDのサンプリング周波数は44.1kHzと決められている。しかし、最近では22kHz以上のハイパーソニック領域もある程度知覚できるという説が濃厚になり、次世代のDVD−audioなどではサンプリング周波数を96kHzに上げる方向にある。(アナログのLPレコードでは22kHz以上も再現される。)そうなるとスペクトル符号量は4倍になる。
【0010】
一方、MIDI音源には、GM(General MIDI)標準で128種、拡張音源では数千種類以上の歪み波形が蓄積され、16〜32種の歪み波形をリアルタイムに合成できる。そこで、本発明は上記のような点に鑑み、音響信号から、MIDI音源があらかじめ用意している歪み波形に近いものを抽出して符号化することにより、楽器パートに対応した符号化データを得ることが可能な音響信号符号化システムを提供することを課題とする。
【0011】
【課題を解決するための手段】
上記課題を解決するため、本発明では、音響信号符号化システムを、複数の歪み波形パターンを蓄積する歪み波形パターン蓄積手段と、与えられた音響信号に対して所定の解析区間を複数個定義するための区間定義手段と、前記歪み波形パターン蓄積手段から前記音響信号に対応する歪み波形パターンを基本歪み波形パターンとして入力する手段と、前記解析区間の1つの信号切片波形に対して、周波数解析を行って正弦波の集合に分解し、前記分解された正弦波を所定のルールに従って複数のグループに分け、前記各グループに属する正弦波を合成することにより各グループの歪み波を得る一方、前記基本歪み波形パターンの周波数と振幅を変化させた歪み波形バリエーションを複数作成し、前記各グループの歪み波に近い波形形状の歪み波形バリエーションを各グループの歪み波形バリエーションとして選択する信号解析手段と、前記信号解析手段により選択された各々の歪み波形バリエーションの周波数と振幅、および前記解析区間の開始時刻と終了時刻の情報を所定の符号セットで符号化することにより音響符号化データを作成する符号形成手段を有する構成としたことを特徴とする。
【0012】
本発明によれば、上記のような構成とし、音響信号に対応した基本歪み波形パターンを入力し、この基本歪み波形パターンの周波数と振幅を変化させた複数の歪み波形バリエーションを作成し、この歪み波形バリエーションの中から、音響信号から得られる信号切片波形を周波数解析してグループ化した各グループの歪み波に最も近いものを選択して符号化するようにしたので、あらかじめ音源として用意している楽器パートに近い成分ごとに符号化を行うことが可能となる。
【0013】
【発明の実施の形態】
以下、本発明の実施形態について図面を参照して詳細に説明する。
まず、最初に本発明による音響信号符号化システムにおける基本的な考え方について説明する。PCMなどの手法によりデジタル化された音響信号は、周知の手法である短時間フーリエ変換、一般化調和解析などにより以下の(数式1)に示すように正弦波分解できる。
【0014】
(数式1)
g(t) ≒ Σi{Aisin(2πfit)+Bicos(2πfit)}
【0015】
この(数式1)における[fi,Ai,Bi]によりg(t)を再現するのが、従来より行なわれている分析合成符号化方式の原理である。上記(数式1)を更に整理すると、以下の(数式2)のように変形される。
【0016】
(数式2)
g(t)≒Σnαn[Σj{Pnjsin(2πjfnt)+Qnjcos(2πjfnt)}]
【0017】
この(数式2)において、jは周波数を整数倍することを示す整数であり、ある周波数fnの整数倍の周波数jfnを有する正弦波がグループ化された状態を示している。上記(数式2)を更に整理すると、以下の(数式3)のように変形される。
【0018】
(数式3)
g(t) ≒ Σnαnun(2πfnt)
【0019】
この(数式3)において、un(2πfnt)は基本周波数fnをもつ歪み波であり、この歪み波としてMIDI音源に用意されているものの中から最も形状が近いものを選べば、理論上分析合成符号化方式と同様にg(t)を再現することができる。本発明による利点は、(数式1)におけるiでΣ計算を行うのに比べ、(数式3)におけるnでΣ計算を行う方が、計算回数が圧倒的に少なく、符号化するパラメータ[fn,αn]も少なくなる。ここで問題となるのは、この歪み波un(2πfnt)の決定方式であり、入力音響信号g(t)から直接歪み波un(2πfnt)を求めるのは困難である。そこで、本発明では、あらかじめMID音源等の歪み波形パターン蓄積手段に蓄積されている歪み波形パターンから、入力音響信号に対応するものを選択する手法を採る。
【0020】
続いて、本システムの具体的な構成について説明する。図1は、本発明による音響信号符号化システムの構成を示す機能ブロック図である。図1において、音響信号入力部1は、アナログ信号である音響信号をPCM等の手法によりデジタル化したデジタル音響信号を入力する機能を有する。区間定義部2は、音響信号の解析のために、時系列の音響信号を所定の区間で区切る機能を有する。信号解析部3は、区間定義部2で定義された区間単位で音響信号の解析を行う機能を有する。歪み波形パターン蓄積部4は、複数の歪み波形パターンを蓄積したものであり、例えば、128種の歪み波形を有するMIDI音源で実現される。歪み波形パターン検索部5は、歪み波形パターン蓄積部4に蓄積された歪み波形パターンの中から、入力された音響信号に対応するものを検索し、基本歪み波形パターンとして入力するためのものである。符号形成部6は、信号解析部3により解析された音響信号をMIDIなどのデータに符号化する機能を有する。
【0021】
次に、図1に示した音響信号符号化システムの処理動作について説明する。まず、音響信号入力部1よりPCMによりデジタル化された音響信号を入力する。ここでは、例えば、図2に示すような波形で表される音響信号が入力されたものとする。図2の例では、横軸に時間t、縦軸に振幅(強度)をとって、この音響信号を示している。
【0022】
続いて、この解析対象となる音響信号の時間軸上に対して、区間定義部2が複数の解析区間を設定する。図2に示す例では、時間軸t上に等間隔に6つの時刻t1〜t6が定義され、これら各時刻を始点および終点とする5つの解析区間d1〜d5が設定されている。図2の例では、全て同一の区間長をもった解析区間が設定されているが、個々の解析区間ごとに区間長を変えるようにしてもかまわない。あるいは、隣接する解析区間が時間軸上で部分的に重なり合うような区間設定を行ってもかまわない。こうして解析区間が設定されたら、各解析区間ごとの音響信号(以下、区間信号と呼ぶことにする)について、信号解析部3により解析が行われる。
【0023】
信号解析部3においては、まず各解析区間ごとの一般化調和解析が行われ、区間信号を複数の正弦波に分解する。ここでは、分解により1280種の異なる正弦波が得られる。各正弦波の振幅は、区間信号と各周波数を有する正弦関数、余弦関数との相関に基づいて決定される。一般化調和解析は、周知の周波数解析手法であり、前掲の公報および明細書にも記載があるので、詳細な説明は省略する。
【0024】
続いて、分解された正弦波の中から振幅値が大きいものを選択する。選択する正弦波の数は、あらかじめその数自体を設定しておくこともできるし、振幅値の閾値を設定しておき、閾値を超えた数とすることもできる。ここで、選択される正弦波の数は最終的に和音を構成する単音の数となる。正弦波が選択されたら、各正弦波の周波数を基本周波数とし、この基本周波数の整数倍の周波数を有する正弦波をグループ化する。次に、同一グループに属する正弦波を合成し、歪み波を作成する。図3に分解された正弦波と合成された歪み波の一例を示す。図3中、左側には周波数の異なる6つの正弦波が示されている。このうち、上から3番目と4番目の正弦波は、それぞれ1番上の正弦波の2倍、3倍という整数倍の周波数となっている。このため、これら3つの正弦波は1つのグループとして合成され、図3中、右上のような歪み波となる。同様に、上から5番目と6番目の正弦波は、それぞれ上から2番目の正弦波の3倍、5倍という整数倍の周波数となっているので、1つのグループとして合成され、図3中、右下のような歪み波となる。これらの処理を各グループについて行うことにより、グループ数分の歪み波が作成されることになる。グループ化の手法としては、このようなある特定の周波数を有する正弦波の整数倍の周波数を有する正弦波でグループ化する手法に限定せず、他の手法で行っても良いが、このように、整数倍の周波数の正弦波をグループ化することにより、上記(数式2)、(数式3)で示したように、演算処理の負荷を軽減することが可能となる。また、上記手法によりグループ化する際、基本周波数となるべき正弦波がグループ内に含まれない場合がある。これは基本周波数となるべき正弦波の振幅が小さいために最初の選択から外れてしまうためである。このような場合は、他のグループに属する適当な正弦波の周波数を基本周波数として、その整数倍の周波数を有する正弦波をグループ化する。
【0025】
一方、MIDI音源で実現される歪み波形パターン蓄積部4からは、音響信号入力部1より入力された音響信号に対応する歪み波形パターンが、歪み波形パターン検索部5により検索され、基本歪み波形パターンとして入力される。この歪み波形パターンの検索は、解析される音響信号を別途音声として出力し、これを検索者が聴いて、どの歪み波形パターンにするかを決定し、歪み波形パターンを識別する情報を検索キーとして入力することにより行なわれる。例えば、検索者がこの音響信号を音声で聴いたときに、ピアノの音で表現するのが最適だと感じたら、ピアノの音色を表現した歪み波形パターンを検索する。
【0026】
信号解析部3では、歪み波形パターン検索部5により検索され、入力された歪み波形パターンを基本歪み波形パターンとし、この基本歪み波形パターンの周波数、振幅を変化させた歪み波形バリエーションを作成する。作成する歪み波形バリエーションの数は、設定により変更することができるが、周波数、振幅ともに128通り設定したとすると、128×128通りの歪み波形バリエーションが作成されることになる。
【0027】
この128×128通りの歪み波形バリエーションの中から、上記のようにグループ化された正弦波を合成することにより得られた各歪み波に近い波形形状を有するものを1つずつ選択する。この結果、所定数の歪み波形バリエーションが選択されることになる。
【0028】
次に、符号形成部6が、選択された各歪み波形バリエーションの周波数と振幅、および解析区間の開始時刻と終了時刻の情報を所定の符号セットで出力する。ここで、符号化される周波数fnおよび振幅αnは、上記(数式3)に対応する。また、解析区間については、例えば図2に示す解析区間d1の場合、開始時刻はt1、終了時刻はt2となる。
【0029】
以上の処理を音響信号の全解析区間に対して行い、各解析区間ごとに符号セットを出力する。この際、前の解析区間の終了時刻が、後の解析区間の開始時刻に近接しており、前の解析区間における符号セットの周波数および振幅が、後の解析区間における符号セットの周波数および振幅に類似している場合、2つの解析区間における符号セットの統合を行う。具体的には、前の解析区間における符号セットの終了時刻を後の解析区間における符号セットの終了時刻に変更し、後の終了時刻の符号セットを削除する。これは、近接する解析区間における音が類似している場合、同一の音であるとみなし、符号化の際に1つの音にまとめるために行なわれる。
【0030】
符号化データとしては、特に限定する必要はないが、MIDI規格を利用することが好ましい。MIDI規格を利用した場合、上記符号セットの周波数情報は、MIDI規格で定義されているノートナンバーに対応する128種の周波数から選択され、振幅情報は、MIDI規格で定義されている128段階のベロシティで記述され、開始時刻および終了時刻がSMF規格のデルタタイムで記述され、符号セットはノートオンイベントおよびノートオフイベントの1対で記述される。
【0031】
このようにして得られた音響符号化データは、蓄積手段または伝送手段を介して音響データ復号化システムにて復号化され、音響信号として発せられる。図4に音響データ復号化システムの機能ブロック図を示す。図4において、歪み波形パターン蓄積部4は、図1に示したものと同一の機能を有するものであるため、図1と同一符号で示している。符号化データ入力部7は音響符号化データを入力するためのものである。歪み波形バリエーション再現部8は、入力された音響符号化データに基づいて、歪み波形パターン検索部9から得られる基本歪み波形パターンに変更を加えて、歪み波形バリエーションを再現する機能を有する。歪み波形パターン検索部9は、歪み波形バリエーション再現部8の指示に従い、歪み波形パターン蓄積部4より歪み波形パターンを検索する機能を有する。信号合成部10は符号セットごとに再現された歪み波形バリエーションを合成して音響信号を再現する機能を有する。
【0032】
次に、図4に示した音響データ復号化システムの処理動作について説明する。音響信号符号化システムにより得られた音響符号化データが符号化データ入力部7より入力されると、歪み波形バリエーション再現部8は、音響符号化データから符号セット単位で符号データを抽出し、歪み波形バリエーションの再現処理を行う。歪み波形バリエーションの再現処理としては、まず、符号セットから基本歪み波形パターンを識別する情報を抽出する。続いて、この識別情報を用いて歪み波形パターン検索部9が歪み波形パターン蓄積部4から対応する歪み波形パターンを抽出する。歪み波形バリエーション再現部8は、抽出された歪み波形パターンを基本歪み波形パターンとして取得し、この基本歪み波形パターンに対して、符号セットが有する周波数、振幅になるように変形を行い、歪み波形バリエーションを作成する。この歪み波形バリエーションは、1つの符号セットについて、和音を構成する単音の数だけ作成されることになる。
【0033】
歪み波形バリエーション再現部8による処理を全ての符号セットに対して行い、歪み波形バリエーションが全て再現されたら、信号合成部10が再現された歪み波形バリエーションの合成を行う。この合成処理は、各符号セットの開始時刻と終了時刻の情報を基に時間軸上で行なわれる。このような符号セットの開始時刻と終了時刻から、符号セットに対応する歪み波を合成する処理は、MIDI符号データをMIDI音源を用いて再生する際に従来より行われている手法であるので、詳細な説明は省略する。信号合成部10により合成されることにより再現された音響信号は、例えば、PCMの形式で出力することができる。
【0034】
以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されず、種々の変形が可能である。例えば、上記実施形態では、音響符号化データが1つのトラックにより構成される場合について説明したが、音響符号化データが複数のトラックにより構成されるようにしても良い。1つのトラックは、1つの楽器パートに対応させることができるため、複数のトラックを用意することにより、複数の楽器で演奏された楽曲を再現することができる。複数のトラックを有する音響符号化データを作成する場合は、図1に示した歪み波形パターン蓄積部4より複数の歪み波形パターンを、歪み波形パターン入力部5により検索して入力するようにすれば良い。これにより、信号解析部3が複数の基本歪み波形パターンを認識し、それぞれについてトラックを作成する。そして各トラックに割り当てられるべき符号セットが、各基本歪み波形パターンについて作成されることになる。MIDI規格の場合、トラックはチャンネルに対応し、基本歪みパターンを識別するための情報は、楽器音色を示すプログラム番号、バンク番号に対応する。
【0035】
また、上記実施形態では、歪み波形パターン蓄積部4にあらかじめ用意されている歪み波形パターンを検索し、基本歪み波形パターンとして入力するようにしていたが、ユーザが入力された音響に最も適合すると思われる歪み波形パターンを歪み波形パターン蓄積部4に随時追加する方法をとることも可能である。その場合、MIDI規格で定義されるバンク番号の基本歪み波形パターン未定義領域をユーザが追加した基本歪み波形パターンとして定義すれば、MIDI規格を逸脱せずに符号化および復号化を行うことが可能であり、サンプラー機能をもつMIDI規格音源を用いてこのような波形追加を実現できる。
【0036】
【発明の効果】
以上、説明したように本発明によれば、複数の歪み波形パターンを蓄積する歪み波形パターン蓄積手段と、与えられた音響信号に対して所定の解析区間を複数個定義するための区間定義手段と、前記歪み波形パターン蓄積手段から前記音響信号に対応する歪み波形パターンを基本歪み波形パターンとして入力する手段と、前記解析区間の1つの信号切片波形に対して、周波数解析を行って正弦波の集合に分解し、前記分解された正弦波を所定のルールに従って複数のグループに分け、前記各グループに属する正弦波を合成することにより各グループの歪み波を得る一方、前記基本歪み波形パターンの周波数と振幅を変化させた歪み波形バリエーションを複数作成し、前記各グループの歪み波に近い波形形状の歪み波形バリエーションを各グループの歪み波形バリエーションとして選択する信号解析手段と、前記信号解析手段により選択された各々の歪み波形バリエーションの周波数と振幅、および前記解析区間の開始時刻と終了時刻の情報を所定の符号セットで符号化することにより音響符号化データを作成する符号形成手段を有するようにしたので、あらかじめ音源として用意している楽器パートに近い成分ごとに符号化を行うことが可能となるという効果を奏する。
【図面の簡単な説明】
【図1】本発明による音響信号符号化システムの構成を示す機能ブロック図である。
【図2】区間定義部2による解析区間の定義を説明するための図である。
【図3】分解された正弦波と、正弦波を合成することに得られる歪み波を示す図である。
【図4】音響データ復号化システムの構成を示す機能ブロック図である。
【符号の説明】
1・・・音響信号入力部
2・・・区間定義部
3・・・信号解析部
4・・・歪み波形パターン蓄積部
5・・・歪み波形パターン検索部
6・・・符号形成部
7・・・符号化データ入力部
8・・・歪み波形バリエーション再現部
9・・・歪み波形パターン検索部
10・・・信号合成部[0001]
[Industrial application fields]
The present invention includes broadcast media (radio, television), communication media (CS video / audio distribution, Internet music distribution, communication karaoke), package media (CD, MD, cassette, video, LD, CD-ROM, game cassette, mobile phone). Production of various audio contents provided by a solid-state memory medium for music players), music content including vocals for dedicated mobile music players, mobile phones, PHS, pagers, literary arts such as Kabuki, Noh, Reading, Poetry The present invention relates to an audio signal encoding technique suitable for use in MIDI transmission of audio material of a work or audio teaching material for language education.
[0002]
[Prior art]
A time-series signal represented by an acoustic signal includes a plurality of periodic signals as its constituent elements. For this reason, a method for analyzing what kind of periodic signal is included in a given time-series signal has been known for a long time. For example, Fourier analysis is widely used as a method for analyzing frequency components included in a given time series signal.
[0003]
By using such a time-series signal analysis method, an acoustic signal can be encoded. With the spread of computers, it has become easy to sample an analog audio signal as the original sound at a predetermined sampling frequency, quantize the signal intensity at each sampling, and capture it as digital data. If a method such as Fourier analysis is applied to the data and the frequency components included in the original sound signal are extracted, the original sound signal can be encoded by a code indicating each frequency component.
[0004]
On the other hand, the MIDI (Musical Instrument Digital Interface) standard, which was born from the idea of encoding musical instrument sounds by electronic musical instruments, has been actively used with the spread of personal computers. The code data according to the MIDI standard (hereinafter referred to as MIDI data) is basically data that describes the operation of the musical instrument performance such as which keyboard key of the instrument is played with what strength. The data itself does not include the actual sound waveform. Therefore, in order to reproduce the actual sound, a MIDI sound source that stores the waveform of the instrument sound (distortion waveform pattern) is required separately, but its high encoding efficiency has attracted attention, and is based on the MIDI standard. Encoding and decoding techniques are currently widely used in software that performs musical instrument performance, musical instrument practice, composition, etc. using a personal computer.
[0005]
Therefore, by analyzing a time-series signal represented by an acoustic signal by a predetermined method, a periodic signal as a constituent element is extracted, and the extracted periodic signal is encoded using MIDI data. Proposals have been made. For example, JP-A-10-247099, JP-A-11-73199, JP-A-11-73200, JP-A-11-95753, JP-A-12-99009, JP-A-12-99093, In Japanese Patent Application No. 11-58431, Japanese Patent Application No. 11-177875, and Japanese Patent Application No. 11-329297, the frequency as a component is analyzed for an arbitrary time series signal, and the analysis is performed. Various methods for creating MIDI data from the results have been proposed.
[0006]
[Problems to be solved by the invention]
The MIDI encoding method proposed in each of the above publications or specifications has made it possible to reproduce music including vocals, but in order to apply to audio encoding in general, a multitrack that can reproduce a plurality of instrument sounds Formal encoding needs to be realized. In order to realize this, there are two problems of “sound source separation technology” and “MIDI encoding of a single musical instrument”, and an ideal MIDI code that recognizes a musical note played from an instrument sound and reproduces it with a MIDI instrument. The realization of the conversion format is extremely difficult at present.
[0007]
As for sound source separation technology, it is necessary to separate sound sources from mixed performance recordings for each instrument part and vocal part and perform MIDI encoding for each part, but this is technically impossible at present and can be realized to some extent. There is a problem that imperfection remains even if it becomes. As for MIDI encoding of single music instruments, stringed instruments such as piano, guitar, violin have a low ratio of harmonics and are easy to perform MIDI encoding, but brass instruments such as brass containing many overtones and percussion instruments that are noise sources However, there is a problem that MIDI encoding is difficult.
[0008]
On the other hand, an analysis / synthesis coding method for spectrally decomposing an acoustic signal into a sine wave and coding spectrum information has already been put to practical use in MP3 (MPEG-1 layer 3) and the like. The amount of information is smaller than that of waveform coding methods such as PCM and ADPCM, and the reproduction speed and pitch can be changed as in the case of MIDI. However, this method has the following three problems.
[0009]
First, there is a problem that the compression ratio cannot be increased so much and the practical compression ratio is about 1/10 even with MP3. The reason for this is that musical instrument sounds and the like need to faithfully encode overtone components that continue indefinitely to the maximum audible frequency, which is a disadvantage of the idea of decomposing signals into sine waves. Second, there is a problem of the combined processing load of the decomposed sine wave. On the decoding side, it is necessary to synthesize 100 or more sine waves subjected to spectral decomposition in real time. This technique has already been established, but the decoding process is complicated. Third, there is a problem of sound reproduction in the hypersonic region. The maximum human audible frequency is 22 kHz, so the sampling frequency of the CD is determined to be 44.1 kHz. Recently, however, the theory that a hypersonic region of 22 kHz or higher can be perceived to some extent has become rich, and the next-generation DVD-audio or the like tends to increase the sampling frequency to 96 kHz. (Analog LP records also reproduce more than 22 kHz.) Then, the amount of spectral code is quadrupled.
[0010]
On the other hand, 128 types of GM (General MIDI) standard are stored in the MIDI sound source, and thousands or more types of distortion waveforms are stored in the extended sound source, and 16 to 32 types of distortion waveforms can be synthesized in real time. Therefore, in view of the above points, the present invention obtains encoded data corresponding to a musical instrument part by extracting and encoding from a sound signal a distortion waveform close to a MIDI sound source prepared in advance. It is an object of the present invention to provide an acoustic signal encoding system that can perform the above-described process.
[0011]
[Means for Solving the Problems]
In order to solve the above-described problems, in the present invention, an acoustic signal encoding system defines a plurality of distortion waveform pattern storage means for storing a plurality of distortion waveform patterns and a plurality of predetermined analysis sections for a given acoustic signal. a section defining means for, with respect to the strain waveform pattern and the hand stage from the storage unit to enter the distorted waveform pattern corresponding to the acoustic signal as a basic distorted waveform pattern, one signal sections waveform of the analysis zones, While performing frequency analysis to decompose into a set of sine waves, divide the decomposed sine waves into a plurality of groups according to a predetermined rule, and obtain a distorted wave of each group by synthesizing the sine waves belonging to each group the fundamental distortion frequency and strain waveform variation with varying amplitude of the waveform patterns create multiple waveform distortion shape close to the strain wave of each group And signal analyzing means for selecting a shape variation as a distorted waveform variation of each group, the signal frequency and amplitude of the distortion waveform variation of each selected by the analyzing means, and start and end time information given of the analysis zones It is characterized by having a code forming means for creating acoustic encoded data by encoding with a code set.
[0012]
According to the present invention, a structure as described above, the basic distorted waveform pattern corresponding to the acoustic signal to enter, to create a plurality of strain waveform variations of varying the frequency and amplitude of the fundamental distortion waveform pattern, the Among the distortion waveform variations, the signal intercept waveform obtained from the acoustic signal is frequency-analyzed and the group closest to the distortion wave of each group is selected and encoded. It is possible to perform encoding for each component close to a musical instrument part.
[0013]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
First, the basic concept in the acoustic signal encoding system according to the present invention will be described. An acoustic signal digitized by a technique such as PCM can be decomposed into a sine wave as shown in the following (Equation 1) by short-time Fourier transform, generalized harmonic analysis, and the like, which are well-known techniques.
[0014]
(Formula 1)
g (t) ≈Σ i {A i sin (2πf i t) + B i cos (2πf i t)}
[0015]
Reproducing g (t) by [f i , A i , B i ] in (Equation 1) is the principle of a conventional analysis / synthesis coding method. When the above (Formula 1) is further arranged, it is transformed as the following (Formula 2).
[0016]
(Formula 2)
g (t) ≈Σ n α n [Σ j {P nj sin (2πjf n t) + Q nj cos (2πjf n t)}]
[0017]
In this (Formula 2), j is an integer indicating that the frequency is multiplied by an integer, and indicates a state in which sine waves having a frequency jf n that is an integral multiple of a certain frequency f n are grouped. When the above (Formula 2) is further arranged, it is transformed as the following (Formula 3).
[0018]
(Formula 3)
g (t) ≈Σ n α n u n (2πf n t)
[0019]
In this (Equation 3), u n (2πf n t) is a distorted wave having the fundamental frequency f n , and if the one having the closest shape is selected from those prepared in the MIDI sound source as this distorted wave, the theory G (t) can be reproduced in the same manner as the above analysis / synthesis coding method. An advantage of the present invention, compared to the perform calculations Σ in i in (Equation 1), who performs Σ calculated by n in (Equation 3) is overwhelmingly small number of calculations, the parameters to be encoded [f n , Α n ] also decreases. The problem here is a method of determining the strain wave u n (2πf n t), it is difficult to determine the input audio signal g (t) directly from the strain wave u n (2πf n t). Therefore, the present invention adopts a method of selecting one corresponding to the input acoustic signal from the distortion waveform patterns stored in advance in the distortion waveform pattern storage means such as the MID sound source.
[0020]
Subsequently, a specific configuration of the present system will be described. FIG. 1 is a functional block diagram showing the configuration of an acoustic signal encoding system according to the present invention. In FIG. 1, an acoustic signal input unit 1 has a function of inputting a digital acoustic signal obtained by digitizing an acoustic signal that is an analog signal by a technique such as PCM. The
[0021]
Next, the processing operation of the acoustic signal encoding system shown in FIG. 1 will be described. First, an acoustic signal digitized by PCM is input from the acoustic signal input unit 1. Here, for example, an acoustic signal represented by a waveform as shown in FIG. 2 is input. In the example of FIG. 2, this acoustic signal is shown with time t on the horizontal axis and amplitude (intensity) on the vertical axis.
[0022]
Subsequently, the
[0023]
In the signal analysis unit 3, first, generalized harmonic analysis is performed for each analysis section, and the section signal is decomposed into a plurality of sine waves. Here, 1280 different sine waves are obtained by decomposition. The amplitude of each sine wave is determined based on the correlation between the interval signal and the sine function and cosine function having each frequency. Generalized harmonic analysis is a well-known frequency analysis method, and is described in the above-mentioned publications and specifications, so detailed description thereof is omitted.
[0024]
Subsequently, one having a large amplitude value is selected from the decomposed sine waves. The number of sine waves to be selected can be set in advance, or the threshold value of the amplitude value can be set and the number exceeding the threshold value. Here, the number of sine waves to be selected is the number of single notes that finally make up a chord. When a sine wave is selected, the frequency of each sine wave is set as a fundamental frequency, and sine waves having an integer multiple of the fundamental frequency are grouped. Next, sine waves belonging to the same group are synthesized to create a distorted wave. FIG. 3 shows an example of a decomposed sine wave and a combined distorted wave. In FIG. 3, six sine waves having different frequencies are shown on the left side. Of these, the third and fourth sine waves from the top have a frequency that is an integral multiple of twice or three times the top sine wave, respectively. For this reason, these three sine waves are combined as one group and become a distorted wave as shown in the upper right in FIG. Similarly, the fifth and sixth sine waves from the top have a frequency that is an integer multiple of three and five times that of the second sine wave from the top. , It becomes a distorted wave like the lower right. By performing these processes for each group, as many distortion waves as the number of groups are created. The method of grouping is not limited to the method of grouping with a sine wave having an integer multiple of a sine wave having a specific frequency, but other methods may be used. By grouping sine waves having an integer multiple frequency, it is possible to reduce the processing load as shown in the above (Equation 2) and (Equation 3). In addition, when grouping by the above method, a sine wave that should be a fundamental frequency may not be included in the group. This is because the amplitude of the sine wave that should be the fundamental frequency is small, so that it is not the first choice. In such a case, sine waves having a frequency that is an integral multiple of the frequency of an appropriate sine wave belonging to another group are grouped.
[0025]
On the other hand, a distortion waveform pattern corresponding to the acoustic signal input from the acoustic signal input unit 1 is searched by the distortion waveform
[0026]
The signal analysis unit 3 uses the distortion waveform pattern searched and input by the distortion waveform
[0027]
From these 128 × 128 distortion waveform variations, one having a waveform shape close to each distortion wave obtained by synthesizing the sine waves grouped as described above is selected one by one. As a result, a predetermined number of distortion waveform variations are selected.
[0028]
Next, the
[0029]
The above processing is performed for all analysis sections of the acoustic signal, and a code set is output for each analysis section. At this time, the end time of the previous analysis interval is close to the start time of the subsequent analysis interval, and the frequency and amplitude of the code set in the previous analysis interval are changed to the frequency and amplitude of the code set in the subsequent analysis interval. If they are similar, the code sets in the two analysis intervals are integrated. Specifically, the code set end time in the previous analysis interval is changed to the code set end time in the subsequent analysis interval, and the code set of the later end time is deleted. This is performed so that when sounds in adjacent analysis sections are similar, they are regarded as the same sound and are combined into one sound at the time of encoding.
[0030]
The encoded data need not be particularly limited, but it is preferable to use the MIDI standard. When the MIDI standard is used, the frequency information of the code set is selected from 128 types of frequencies corresponding to the note numbers defined in the MIDI standard, and the amplitude information is a 128-step velocity defined in the MIDI standard. The start time and end time are described in SMF standard delta time, and the code set is described as a pair of note-on event and note-off event.
[0031]
The acoustic encoded data obtained in this way is decoded by an acoustic data decoding system via a storage means or a transmission means, and is emitted as an acoustic signal. FIG. 4 shows a functional block diagram of the acoustic data decoding system. In FIG. 4, the distortion waveform pattern accumulating unit 4 has the same function as that shown in FIG. The encoded
[0032]
Next, the processing operation of the acoustic data decoding system shown in FIG. 4 will be described. When the acoustic encoded data obtained by the acoustic signal encoding system is input from the encoded
[0033]
The processing by the distortion waveform variation reproduction unit 8 is performed on all the code sets, and when all the distortion waveform variations are reproduced, the
[0034]
The preferred embodiments of the present invention have been described above. However, the present invention is not limited to the above embodiments, and various modifications can be made. For example, in the above embodiment, the case where the encoded sound data is configured by one track has been described, but the encoded sound data may be configured by a plurality of tracks. Since one track can correspond to one instrument part, by preparing a plurality of tracks, it is possible to reproduce music played by a plurality of instruments. When creating encoded audio data having a plurality of tracks, a plurality of distortion waveform patterns may be retrieved from the distortion waveform pattern storage unit 4 shown in FIG. good. As a result, the signal analysis unit 3 recognizes a plurality of basic distortion waveform patterns and creates a track for each. A code set to be assigned to each track is created for each basic distortion waveform pattern. In the MIDI standard, a track corresponds to a channel, and information for identifying a basic distortion pattern corresponds to a program number indicating a musical instrument tone color and a bank number.
[0035]
In the above embodiment, a distortion waveform pattern prepared in advance in the distortion waveform pattern storage unit 4 is searched and input as a basic distortion waveform pattern. However, it seems to be most suitable for the sound input by the user. It is also possible to add a distorted waveform pattern to be added to the distorted waveform pattern storage unit 4 as needed. In that case, if the basic distortion waveform pattern undefined area of the bank number defined by the MIDI standard is defined as a basic distortion waveform pattern added by the user, encoding and decoding can be performed without departing from the MIDI standard. Such waveform addition can be realized using a MIDI standard sound source having a sampler function.
[0036]
【The invention's effect】
As described above, according to the present invention, the distortion waveform pattern storage means for storing a plurality of distortion waveform patterns, and the section definition means for defining a plurality of predetermined analysis sections for a given acoustic signal, , and hand stage to enter the distorted waveform pattern corresponding to the acoustic signal from the distorted waveform pattern storage means as a basic distorted waveform pattern, for one of the signal sections waveform of the analysis zones, sine performs frequency analysis While disassembling into a set of waves, dividing the decomposed sine waves into a plurality of groups according to a predetermined rule, and combining the sine waves belonging to each group to obtain a distorted wave of each group , the basic distortion waveform pattern frequency and distortion waveform variations with varying amplitudes create multiple, each group distortion waveform variation of the waveform shape close to the strain wave of each group And signal analyzing means for selecting as a distorted waveform variations flops, numerals frequency and amplitude of the distortion waveform variation of each selected by the signal analyzing means, and the information of the start and end times of the analysis zones in a predetermined code set Therefore, there is an effect that it is possible to perform coding for each component close to a musical instrument part prepared as a sound source in advance.
[Brief description of the drawings]
FIG. 1 is a functional block diagram showing a configuration of an acoustic signal encoding system according to the present invention.
FIG. 2 is a diagram for explaining analysis section definition by the
FIG. 3 is a diagram showing a decomposed sine wave and a distorted wave obtained by synthesizing the sine wave.
FIG. 4 is a functional block diagram showing a configuration of an acoustic data decoding system.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Acoustic
Claims (8)
前記解析区間の1つの信号切片波形に対して、周波数解析を行って正弦波の集合に分解し、前記分解された正弦波を所定のルールに従って複数のグループに分け、前記各グループに属する正弦波を合成することにより各グループの歪み波を得る一方、前記基本歪み波形パターンの周波数と振幅を変化させた歪み波形バリエーションを複数作成し、前記各グループの歪み波に近い波形形状の歪み波形バリエーションを各グループの歪み波形バリエーションとして選択する信号解析手段と、
前記信号解析手段により選択された各々の歪み波形バリエーションの周波数と振幅、および前記解析区間の開始時刻と終了時刻の情報を所定の符号セットで符号化することにより音響符号化データを作成する符号形成手段を有することを特徴とする音響信号符号化システム。Distortion waveform pattern storage means for storing a plurality of distortion waveform patterns, section definition means for defining a plurality of predetermined analysis sections for a given acoustic signal, and from the distortion waveform pattern storage means to the acoustic signal hand stage to enter the corresponding distorted waveform pattern as basic distorted waveform pattern,
One signal intercept waveform in the analysis interval is subjected to frequency analysis to be decomposed into a set of sine waves, the decomposed sine waves are divided into a plurality of groups according to a predetermined rule, and the sine waves belonging to each group The distortion wave of each group is obtained by synthesizing, while creating multiple distortion waveform variations in which the frequency and amplitude of the basic distortion waveform pattern are changed, and the distortion waveform variation of the waveform shape close to the distortion wave of each group is created. Signal analysis means to select as a distortion waveform variation of each group ;
Code formation for generating acoustic encoded data by encoding the frequency and amplitude of each distortion waveform variation selected by the signal analysis means, and information on the start time and end time of the analysis section with a predetermined code set An acoustic signal encoding system comprising: means.
複数の歪み波形パターンを蓄積する歪み波形パターン蓄積手段と、前記音響符号化データを入力する符号化データ入力手段と、入力された音響符号化データに対応する歪み波形パターンを、前記音響符号化データの符号セットが有する識別情報に基づいて前記歪み波形パターン蓄積手段から検索する歪み波形パターン検索手段と、前記音響符号化データの符号セットが有する周波数と振幅の情報に基づいて、前記検索された基本歪み波形パターンの周波数と振幅を変更して歪み波形バリエーションを作成する歪み波形バリエーション再現手段と、前記符号セットごとに作成することにより得られる複数の歪み波形バリエーションに対して、前記各符号セットが有する開始時刻と終了時刻の情報に基づいて時間軸上で合成を行うことにより前記音響信号を再現する信号合成手段を備えていることを特徴とする音響データ復号化システム。 An acoustic data decoding system for reproducing the acoustic signal by using acoustic encoded data encoded by a predetermined method in advance for a given acoustic signal,
A distorted waveform pattern storing means for storing a plurality of strain waveform pattern, the encoded data input means for inputting the sound encoded data, a distorted waveform pattern corresponding to the input audio coded data, the sound coded data The distortion waveform pattern search means for searching from the distortion waveform pattern storage means based on the identification information of the code set of the code, and the searched basics based on the frequency and amplitude information of the code set of the acoustic encoded data Distortion waveform variation reproduction means for creating a distortion waveform variation by changing the frequency and amplitude of the distortion waveform pattern, and each of the code sets with respect to a plurality of distortion waveform variations obtained by creating each of the code sets wherein by performing synthesis on the time axis based on the information of the start and end times Sound data decoding system characterized in that it comprises a signal combining means for reproducing a sound signal.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000190391A JP4220108B2 (en) | 2000-06-26 | 2000-06-26 | Acoustic signal coding system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000190391A JP4220108B2 (en) | 2000-06-26 | 2000-06-26 | Acoustic signal coding system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002006841A JP2002006841A (en) | 2002-01-11 |
JP4220108B2 true JP4220108B2 (en) | 2009-02-04 |
Family
ID=18689869
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000190391A Expired - Fee Related JP4220108B2 (en) | 2000-06-26 | 2000-06-26 | Acoustic signal coding system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4220108B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1851752B1 (en) | 2005-02-10 | 2016-09-14 | Koninklijke Philips N.V. | Sound synthesis |
CN1731506B (en) * | 2005-09-07 | 2010-05-26 | 北京中星微电子有限公司 | Method and apparatus for realizing synthesized playing of MIDI file and digital waveform audio file |
EP3176784B1 (en) | 2013-01-08 | 2020-01-01 | Dolby International AB | Model based prediction in a filterbank |
-
2000
- 2000-06-26 JP JP2000190391A patent/JP4220108B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2002006841A (en) | 2002-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Lindemann | Music synthesis with reconstructive phrase modeling | |
JP4220108B2 (en) | Acoustic signal coding system | |
JP2000099009A (en) | Acoustic signal coding method | |
JP4268322B2 (en) | Encoded data creation method for playback | |
JP4695781B2 (en) | Method for encoding an acoustic signal | |
JP2003216147A (en) | Encoding method of acoustic signal | |
JP2001005450A (en) | Method of encoding acoustic signal | |
JP4268328B2 (en) | Method for encoding an acoustic signal | |
JPH1173200A (en) | Acoustic signal encoding method and record medium readable by computer | |
JP4156252B2 (en) | Method for encoding an acoustic signal | |
JP3935745B2 (en) | Method for encoding acoustic signal | |
JP2002244691A (en) | Encoding method for sound signal | |
JP4152502B2 (en) | Sound signal encoding device and code data editing device | |
JP2013041128A (en) | Discriminating device for plurality of sound sources and information processing device interlocking with plurality of sound sources | |
JP2000099093A (en) | Acoustic signal encoding method | |
JP4473979B2 (en) | Acoustic signal encoding method and decoding method, and recording medium storing a program for executing the method | |
JP2002215142A (en) | Encoding method for acoustic signal | |
JPH1173199A (en) | Acoustic signal encoding method and record medium readable by computer | |
JP4156268B2 (en) | Frequency analysis method for time series signal and encoding method for acoustic signal | |
JP3776782B2 (en) | Method for encoding an acoustic signal | |
Peimani | Pitch correction for the human voice | |
Li et al. | Music Definition Language & Music Manipulation Language: A Coding Scheme for Music Representation and Storage | |
JP2002123296A (en) | Method for encoding acoustic signals and method for separating acoustic signals | |
JPS59176782A (en) | Digital sound apparatus | |
JP4697919B2 (en) | Method for encoding an acoustic signal |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070309 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080626 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080701 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080819 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081015 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081113 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111121 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121121 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131121 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |