JPH05188932A - 楽音認識装置 - Google Patents

楽音認識装置

Info

Publication number
JPH05188932A
JPH05188932A JP4024681A JP2468192A JPH05188932A JP H05188932 A JPH05188932 A JP H05188932A JP 4024681 A JP4024681 A JP 4024681A JP 2468192 A JP2468192 A JP 2468192A JP H05188932 A JPH05188932 A JP H05188932A
Authority
JP
Japan
Prior art keywords
musical
musical instrument
music
neural network
feature extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP4024681A
Other languages
English (en)
Inventor
Fumio Kubono
文夫 久保野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP4024681A priority Critical patent/JPH05188932A/ja
Publication of JPH05188932A publication Critical patent/JPH05188932A/ja
Withdrawn legal-status Critical Current

Links

Landscapes

  • Electrophonic Musical Instruments (AREA)

Abstract

(57)【要約】 【目的】 複数楽器、複数音階の音楽信号から特定の楽
器、音階情報を得る。 【構成】 複数楽器、複数音階で演奏された曲の音楽信
号をA/D変換し、周波数解析部2で周波数解析を行な
う。オン・レスポンス・セル部3は、周波数解析部2の
出力より特徴量を抽出する。ニューラルネットワーク4
は、オン・レスポンス・セル部3の出力をもとに、楽
器、音階情報を抽出する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、複数楽器、複数音階の
音楽信号より特定の楽器、音階を認識する楽音認識装置
に関する。
【0002】
【従来の技術】従来、単一楽器で演奏された音楽信号か
ら音階もしくはピッチを検出することはできたが、複数
楽器、複数音階で演奏された音楽信号から特定の楽器、
音階情報を抽出することは、技術的に困難であった。
【0003】
【発明が解決しようとする課題】上述したように、従
来、複数楽器、複数音階で演奏された音楽信号から特定
の楽器、音階情報を抽出することができないため、楽譜
を生成したり、特定の楽器を選択し再演奏したりするこ
とができなかった。
【0004】本発明の目的は、複数楽器、複数音階で演
奏された音楽信号から特定の楽器、音階情報を抽出する
ことができ、従ってCDやレコード、生演奏の音楽信号
から楽譜を生成したり、複数の楽器によって構成される
曲から特定の楽器を選択し再演奏したりすることができ
るようにした楽音認識装置を提供することにある。
【0005】
【課題を解決するための手段】本発明の楽音認識装置
は、特徴抽出部としてのオン・レスポンス・セル部3
と、ニュートラルネットワークとしてのニュートラルネ
ットワーク4とを備えることを特徴とする。
【0006】
【作用】上記構成の楽音認識装置においては、オン・レ
スポンス・セル部3は複数楽器、複数音階の音楽信号S
(ωk ,n)をもとに特徴量D(ωk ,n)を抽出す
る。ニューラルネットワーク4はオン・レスポンス・セ
ル部3からの特徴量D(ωk ,n)をもとに楽器、音階
情報Oij(n)を抽出する。ここに、nは離散時間、ω
k は中心周波数(kはフィルタ番号、k=1,2,・・
K)、iは楽器、jは音階を表わす。
【0007】このようにして、複数楽器、複数音階で演
奏された音楽信号から特定の楽器、音階情報を抽出する
ことができる。従ってCDやレコード、生演奏の音楽信
号から楽譜を生成したり、複数の楽器によって構成され
る曲から特定の楽器を選択し再演奏したりすることがで
きる。
【0008】
【実施例】次に本発明の実施例につき図面を用いて説明
する。図1は本発明による楽音認識装置の一実施例を示
すシステム構成図である。ここでは、複数の楽器、複数
の音階で構成される、ある曲の音楽信号から楽器情報と
音階情報を抽出する場合を示す。同図において、複数の
楽器、複数の音階によって構成される、ある曲の音楽信
号s(t)(ここに、tは連続時間)はA/Dコンバー
タ1によって標本化、量子化され離散時間信号S(n)
(ここに、nは、離散時間)となる。
【0009】周波数解析部2は、前記離散時間信号S
(n)の周波数解析を行なうものである。周波数解析部
2として、例えば中心周波数がωk (kはフィルタ番
号、k=1,2,・・K)のバンドパスフィルタをK個
用いたとすると、各バンドパスフィルタkの離散時間n
における出力はS(ωk ,n)となる。
【0010】オン・レスポンス・セル(On Resp
onse Cell)部3は、生物の聴覚神経経路にみ
られる特徴抽出細胞をモデル化したもので、特に音の始
まりの部分に選択的に反応するオン(ON)型細胞をモ
デル化したものである。前段のバンドパスフィルタkの
それぞれについて、オン・レスポンス・セル部3を構成
する特徴抽出細胞が接続されている。オン・レスポンス
・セル部3の出力、即ち各特徴抽出細胞の出力をD(ω
k ,n)とする。
【0011】ニューラルネットワーク(Neural
Network)4は、前段で得た特徴抽出量から、特
定の状態だけに反応し、楽器・音階情報を抽出するもの
である。楽器をi,音階をjとすると、ニューラルネッ
トワーク4の出力はOij(n)となる。
【0012】次に図1の要部構成、特に特徴抽出部とし
てのオン・レスポンス・セル部3とニューラルネットワ
ーク4について詳述する。
【0013】(A)オン・レスポンス・セル部3につい
て説明する。音階を決定し得る大きな要素はピッチであ
り、その感覚は主に基本周波数(一般的に最も周波数の
低いピーク成分のある周波数)によって決まるとされて
いる。また、楽器を決定し得る最も大きな要素は音色で
あって、その音色は、スペクトル、即ち倍音と呼ばれる
基本周波数とそれに伴う高周波成分との混合比であると
されている。実際に楽器のスペクトルを、例えばトラン
ペットとフルートのスペクトルを例に取り、観察してみ
ると、音階は双方ともC5(523.25Hz)であ
る。基本周波数はともに523.25Hzであり、基本
周波数をf0 とすると、その高周波成分はn・f0 (n
はn>0の整数)となる。両楽器が大きく異なる点は高
周波成分の数が異なることである。明らかにフルートの
方が、高周波成分の数が少ない。このように、楽器の音
色の差は、倍音構造に大きく影響する。
【0014】一方、生物の聴覚神経経路には、特定の状
態だけに反応する特徴抽出細胞が、数種類発見されてい
る。本発明では、楽器による倍音構造の違いを検出する
ため、幾つかの特徴抽出細胞の中から、音の始まりに反
応するオン型細胞をモデル化して用いている。
【0015】連続時間tにおける、音楽信号をs(t)
(s(t)≧0)とすれば、その始まり、つまり、立ち
上がりの部分だけを抽出した特徴抽出量f(t)を、原
理的に次式で求めることができる。 f(t)=d{s(t)}/dt, d{s(t)}/dt>0のとき f(t)=0, d{s(t)}/dt≦0のとき
【0016】具体的な例として各特徴抽出細胞の出力D
(ωk ,n)を次式で求めることができる。 f(n,d)=S(ωk ,n+d)p ーS(ωk ,n)p ・・・・・(1) 但し、S(ωk ,n)>S(ωk ,n+d)のとき f(n,d)=0 ・・・・・・・・・・・・・・・・・・・・・・・(2) 但し、S(ωk ,n)≦S(ωk ,n+d)のとき
【0017】
【数1】
【0018】 D(ωk ,n)=1 ・・・・・・・・・・・・・・・・・・・・・・(4) 但し、g(n,d)≧1のとき D(ωk ,n)=g(n,d) ・・・・・・・・・・・・・・・・・(5) 但し、g(n,d)<1のとき
【0019】上記(1)式では、離散時間nにおけるス
ペクトルS(ωk ,n)と、離散時間n+d(d=1,
2・・D)におけるスペクトルS(ωk ,n+d)の差
を算出する。S(ωk ,n)>S(ωk ,n+d)が成
り立つ場合は、差を0とする。pはp>0を満たす実数
で鮮鋭化を施す。なお、S(ωk ,n)は0≦S(ω
k ,n)≦1の範囲を持つ実数とする。
【0020】上記(3)式では、上記(1)式で求めた
f(n,d)の平均値を求め、ε(ε≧1の実数)を乗
じることで強調化を行なう。
【0021】上記(4)、(5)式によって最終的な特
徴量が算出される。特徴量D(ωk,n)は、0≦D
(ωk ,n)≦1の範囲を持つ実数とする。
【0022】(B)次にニューラルネットワーク4につ
いて説明する。ニューラルネットワーク4の構成例を図
2に示す。但し、図2は、1つのネットワークを示した
ものである。1つのネットワークは1楽器、1音階の判
別を行なう。
【0023】1つのネットワークは、図2に示すように
2層構造となっている。入力層には、図1の周波数解析
部2の出力S(ωk ,n)が入力される。1つのネット
ワークの出力は、Oij(n)の1つに対応している。入
力層と出力層の間は伝達度を決める結合係数vk,ijを通
して接続されている。出力Oij(n)は、次式で求めら
れる。
【0024】
【数2】
【0025】ここで、θは、しきい値を意味する。 Oij(n)=1 ・・・・・・・・・・・・・・・・・・・・・・・・(7) 但し、h(ωk ,n)≧0のとき Oij(n)=0 ・・・・・・・・・・・・・・・・・・・・・・・・(8) 但し、h(ωk ,n)<0のとき
【0026】次に結合係数vk,ijの求め方を説明する。
結合係数は、楽器と音階の特徴が反映される非常に重要
なものである。
【0027】楽器の音は、基本周波数f0 と高周波成分
n・f0 (nはn>0の整数)を含み、倍音構造という
規則性を持っている。まず、ある楽音を構成するうえ
で、無関係な周波数領域、つまりf0 とn・f0 以外の
領域の結合係数を0にする。結合係数を0にするという
ことは、結合を持たないことと解釈することができる。
一方、f0 とn・f0 の領域に関しては、例えばある楽
音がf0 ,2f0 ,3f0 ,4f0 の倍音構造を持って
いるとすれば、その領域に対しては興奮性の結合(正の
値をとる。)とし、それ以外の領域5f0 ,6f0 ,7
0 ・・・に対しては抑制性の結合(負の値をとる。)
となるようにする。その上で、適当なしきい値をとる。
原理的には、結合係数vを次式によって求めることがで
きる。 v=r(f)(−1), 但し、r(f) 0,p
(f)≒0のとき v=p(f)r(f), 上記以外のとき
【0028】上式で、p(f)はある楽音の周波数fに
おけるスペクトルパワーを表わし、r(f)は基本周波
数f0 と高周波成分n・f0 が十分に含まれた音信号の
周波数fにおけるスペクトルパワーである。
【0029】具体的な例として結合係数vk,ijおよび、
しきい値θを次式によって求めることができる。
【0030】
【数3】
【0031】 vk,ij=S(ωk ,n)R(ωk ,n) ・・・・・・・・・・・・(10) 但し、S(ωk ,n)≧rのとき vk,ij=R(ωk ,n)(−1) ・・・・・・・・・・・・・・・(11) 但し、S(ωk ,n)<rのとき
【0032】
【数4】
【0033】但し、vk,ij≧0
【0034】上記(9)式は、学習させる楽音の基本周
波数ω0 とその高周波成分u・ω0(u=1,2,3・
・U)を十分含んだ正弦波(sin波)をフーリエ変換
することで、離散時間n,周波数ωk におけるスペクト
ルR(ωk ,n)を得る。
【0035】上記(10)、(11)式は、結合係数v
k,ijの算出を行なうものである。rは、0<r<1の実
数であり、S(ωk ,n)≧rを満たし、かつR(ω
k ,n)≧rを満足する場合、結合係数vk,ijは正の値
(興奮性)をとる。一方、S(ωk ,n)<rの場合
は、逆に負の値(抑制性)をとる。但し、ωk とその高
周波成分以外の周波数領域では、R(ωk ,n)≒0と
なるため、vk,ijは0に近い値をとる。つまり、結合を
持たない状態になる。
【0036】上記(12)式は、しきい値θを求めるも
ので、興奮結合係数の総和に定数σ(σ<1)を乗じ
る。
【0037】以上、特徴抽出部としてのオン・レスポン
ス・セル部3とニューラルネットワーク4について説明
した。
【0038】以上の説明から分かるように複数楽器、複
数音階で演奏された、ある曲の音楽信号から特定の楽
器、音階情報を抽出することができる。従ってCDやレ
コード、生演奏の音楽信号から楽譜を生成したり、複数
の楽器によって構成される曲から特定の楽器を選択し再
演奏したりすることができる。
【0039】本発明は、本実施例に限定されることな
く、本発明の要旨を逸脱しない範囲で種々の応用および
変形が考えられる。
【0040】
【発明の効果】上述したように本発明の楽音認識装置に
よれば、特定の状態だけに反応するニューラルネットワ
ークを用いることで、複数楽器、複数音階の音楽信号か
ら特定の楽器、音階情報を抽出することができる。従っ
てCDやレコード、生演奏の音楽信号から楽譜を生成し
たり、複数の楽器によって構成される曲から特定の楽器
を選択し再演奏したりすることができる。
【図面の簡単な説明】
【図1】本発明による楽音認識装置の一実施例を示すシ
ステム構成図
【図2】図1のニューラルネットワーク4の一実施例を
示す構成図
【符号の説明】
2 周波数解析部 3 オン・レスポンス・セル部 4 ニューラルネットワーク

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】 複数楽器、複数音階の音楽信号より特定
    の楽器、音階を認識する楽音認識装置において、 前記音楽信号より特徴量を抽出する特徴抽出部と、 前記特徴抽出部で抽出した特徴量から特定の楽器、音階
    を認識するニューラルネットワークとを備えてなること
    を特徴とする楽音認識装置。
  2. 【請求項2】 前記特徴抽出部として、オン型細胞をモ
    デル化したものを用いてなることを特徴とする請求項1
    に記載の楽音認識装置。
JP4024681A 1992-01-14 1992-01-14 楽音認識装置 Withdrawn JPH05188932A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP4024681A JPH05188932A (ja) 1992-01-14 1992-01-14 楽音認識装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP4024681A JPH05188932A (ja) 1992-01-14 1992-01-14 楽音認識装置

Publications (1)

Publication Number Publication Date
JPH05188932A true JPH05188932A (ja) 1993-07-30

Family

ID=12144897

Family Applications (1)

Application Number Title Priority Date Filing Date
JP4024681A Withdrawn JPH05188932A (ja) 1992-01-14 1992-01-14 楽音認識装置

Country Status (1)

Country Link
JP (1) JPH05188932A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08179791A (ja) * 1994-12-21 1996-07-12 Nippon Telegr & Teleph Corp <Ntt> 音可視化方法および装置
WO2020006898A1 (zh) * 2018-07-05 2020-01-09 平安科技(深圳)有限公司 音频数据的乐器识别方法及装置、电子设备、存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08179791A (ja) * 1994-12-21 1996-07-12 Nippon Telegr & Teleph Corp <Ntt> 音可視化方法および装置
WO2020006898A1 (zh) * 2018-07-05 2020-01-09 平安科技(深圳)有限公司 音频数据的乐器识别方法及装置、电子设备、存储介质

Similar Documents

Publication Publication Date Title
Piszczalski et al. Predicting musical pitch from component frequency ratios
US8716586B2 (en) Process and device for synthesis of an audio signal according to the playing of an instrumentalist that is carried out on a vibrating body
CN110111773A (zh) 基于卷积神经网络的音乐信号多乐器识别方法
CN110136730A (zh) 一种基于深度学习的钢琴和声自动编配系统及方法
EP1885156B1 (de) Hörhilfe mit einem Audiosignalerzeuger
Penttinen et al. A time-domain approach to estimating the plucking point of guitar tones obtained with an under-saddle pickup
EP2342708A1 (en) Method for analyzing a digital music audio signal
Kızrak et al. Classification of classic Turkish music makams
JPH10503908A (ja) オーディオ信号の調性を決定するための方法および装置
JP2006227452A (ja) 調律装置および調律装置の制御方法
Traube et al. Extracting the fingering and the plucking points on a guitar string from a recording
JPH05188932A (ja) 楽音認識装置
Vincent et al. Two nonnegative matrix factorization methods for polyphonic pitch transcription
JPH05181464A (ja) 楽音認識装置
Marolt Transcription of polyphonic piano music with neural networks
CN111681674B (zh) 一种基于朴素贝叶斯模型的乐器种类识别方法和系统
JP3149466B2 (ja) ピッチ抽出装置及びそれを用いた電子楽器
Rafii The Constant-Q Harmonic Coefficients: A timbre feature designed for music signals [Lecture Notes]
Marolt Adaptive oscillator networks for partial tracking and piano music transcription.
Dubnov et al. Hearing beyond the spectrum
JPWO2008001779A1 (ja) 基本周波数推定法および音響信号推定システム
Chen et al. Modified Perceptual Linear Prediction Liftered Cepstrum (MPLPLC) Model for Pop Cover Song Recognition.
Dillon Extracting audio cues in real time to understand musical expressiveness
Marolt et al. SONIC: A system for transcription of piano music
JPH05188931A (ja) 音楽処理システム

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 19990408