JPH03276197A - Melody recognizing device and melody information extracting device to be used for the same - Google Patents

Melody recognizing device and melody information extracting device to be used for the same

Info

Publication number
JPH03276197A
JPH03276197A JP2075485A JP7548590A JPH03276197A JP H03276197 A JPH03276197 A JP H03276197A JP 2075485 A JP2075485 A JP 2075485A JP 7548590 A JP7548590 A JP 7548590A JP H03276197 A JPH03276197 A JP H03276197A
Authority
JP
Japan
Prior art keywords
information
melody
scale
melody information
duration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2075485A
Other languages
Japanese (ja)
Other versions
JP2969527B2 (en
Inventor
Motomasa Igarashi
五十嵐 基正
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Platforms Ltd
Original Assignee
Nitsuko Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nitsuko Corp filed Critical Nitsuko Corp
Priority to JP2075485A priority Critical patent/JP2969527B2/en
Publication of JPH03276197A publication Critical patent/JPH03276197A/en
Application granted granted Critical
Publication of JP2969527B2 publication Critical patent/JP2969527B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Auxiliary Devices For Music (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

PURPOSE:To recognize a lot of unspecified speakers with simple configuration by extracting melody information from an input sound signal including a melody and comparing the information with the extracted melody information registered in advance. CONSTITUTION:This melody information extracting device 10 extracts the melody information from the input signal IN including the melody composed of combining plural musical scales and time for continuing the respective musical scales, and outputs the melody information EMI. A melody information comparator 30 compares the information EMI with the melody information MMI previously registered into a melody information registering device 20, recognizes the melody included in the signal IN and outputs a recognized result RR. Thus, a lot of unspecified speakers can be easily recognized with simple configuration.

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、不特定多数の話者を2工するための話者認識
装置に関し、特に、話者認識装置に適したメロディ認識
装置及びそれに使用されるメロディ情報抽出装置に関す
る。
[Detailed Description of the Invention] [Industrial Application Field] The present invention relates to a speaker recognition device for recognizing an unspecified number of speakers, and in particular to a melody recognition device suitable for the speaker recognition device and its melody recognition device. The present invention relates to a melody information extraction device used.

〔従来の技術〕[Conventional technology]

この種の話者認識装置としては、従来から不特定多数の
話者の発声する基本的な言語の音声からその話者を認識
する音声認識装置が採用されている。
As this type of speaker recognition device, a speech recognition device that recognizes a speaker from the sounds of a basic language uttered by an unspecified number of speakers has been employed.

〔発明が解決しようとする課題〕[Problem to be solved by the invention]

しかしながら、音声認識装置は、構成(ハードウェア及
びソフトウェア)が複雑で高価になるという欠点がある
。また、言語は数多くあるので、共通性に欠けるという
欠点がある。
However, the voice recognition device has the disadvantage that the configuration (hardware and software) is complicated and expensive. Also, since there are many languages, there is a drawback that they lack commonality.

したがって、本発明の目的は、構成(ハードウェア及び
ソフトウェア)が簡単な話者認識装置を提供することに
ある。
Therefore, an object of the present invention is to provide a speaker recognition device with a simple configuration (hardware and software).

本発明の他の目的は、安価な話者認識装置を提供するこ
とにある。
Another object of the present invention is to provide an inexpensive speaker recognition device.

本発明のさらに他の目的は、共通性の高い話者認識装置
を提供することにある。
Still another object of the present invention is to provide a speaker recognition device with high commonality.

〔課題を解決するための手段〕[Means to solve the problem]

本発明者は、言語が共通性に欠けるので、言語以外の共
通性のある認識対象を思案した。その結果、本発明者は
、共通性のある認識対象としてメロディを選んだ。ここ
で「メロディ」とは、複数の音階と各音階の継続時間と
の組合わせからなるものをいう。従って、メロディは言
語の違い(例えば、日本語や英米語や仏語等)には左右
されない。また、メロディは、人間の発声する歌や口笛
による声音のみでなく、楽器の楽音によっても伝達され
、共通性が高い。従って、本発明では、話者認識装置と
してメロディ認識装置を採用すると共に、このメロディ
認識装置を構成するために必要なメロディ情報抽出装置
を提案する。
Since language lacks commonality, the inventor considered a recognition object other than language that has commonality. As a result, the inventor selected melody as a common recognition target. Here, a "melody" refers to a combination of multiple scales and the duration of each scale. Therefore, the melody is not influenced by language differences (for example, Japanese, English, American, French, etc.). Furthermore, melody is conveyed not only by human voices such as singing or whistling, but also by the musical sounds of musical instruments, and has a high degree of commonality. Therefore, in the present invention, a melody recognition device is adopted as a speaker recognition device, and a melody information extraction device necessary for constructing this melody recognition device is proposed.

また、メロディを含む入力音信号から抽出するメロディ
情報として、絶対音階ではなく、相対音階や音階差を表
す情報及び各音階の継続時間情報を抽出する。これによ
り、音程が狂っていても話者認識が可能であり、認識範
囲を増加できる。また、継続時間情報を省けば、さらに
、認識範囲が増加し、構成が簡単になる。
Further, as melody information extracted from an input sound signal including a melody, not an absolute scale but information representing a relative scale or a scale difference, and information on the duration of each scale are extracted. As a result, speaker recognition is possible even if the pitch is off, and the recognition range can be increased. Furthermore, if the duration information is omitted, the recognition range will further increase and the configuration will become simpler.

本発明によるメロディ認識装置は、複数の音階と該各音
階の継続時間との組合わせからなるメロディを含む入力
音信号から該メロディを表すメロディ情報を抽出し、抽
出されたメロディ情報を出力するメロディ情報抽出手段
と、少なくとも1つの予め定められたメロディを表すメ
ロディ情報を予め登録し、登録されたメロディ情報を出
力するメロディ情報登録手段と、前記抽出されたメロデ
ィ情報と前記登録されたメロディ情報とを比較して前記
入力音信号に含まれるメロディを認識するメロディ情報
比較手段とを有することを特徴とする。
A melody recognition device according to the present invention extracts melody information representing a melody from an input sound signal including a melody consisting of a combination of a plurality of scales and the duration of each scale, and outputs the extracted melody information. information extraction means; melody information registration means for registering in advance melody information representing at least one predetermined melody and outputting the registered melody information; and melody information comparison means for comparing the melody information included in the input sound signal to recognize the melody included in the input sound signal.

メロディ情報抽出手段の第1の態様において、メロディ
情報抽出手段は、前記入力音信号を所定周期でサンプリ
ングして得られた基本周波数成分のデータ列に対して、
各サンプリング時点のデータと最初のサンプリング時点
のデータとの比に基づいて算出された相対音階を表す算
出相対音階信号列を抽出し、該算出相対音階信号列を前
記抽出されたメロディ情報として出力する。この場合、
前記メロディ情報登録手段は、前記予め定められたメロ
ディの先頭の音の周波数を基準にした前記所定周期毎の
相対音階を表す登録相対音階信号列を登録し、該登録相
対音階信号列を前記登録されたメロディ情報として出力
する。
In the first aspect of the melody information extraction means, the melody information extraction means performs the following on the data string of fundamental frequency components obtained by sampling the input sound signal at a predetermined period:
Extracting a calculated relative scale signal sequence representing a relative scale calculated based on the ratio of data at each sampling time and data at the first sampling time, and outputting the calculated relative scale signal sequence as the extracted melody information. . in this case,
The melody information registration means registers a registered relative scale signal sequence representing a relative scale for each of the predetermined periods based on the frequency of the first note of the predetermined melody, and registers the registered relative scale signal sequence as the registered relative scale signal sequence. output as melody information.

メロディ情報抽出手段の第2の態様において、メロディ
情報抽出手段は、前記入力音信号を所定周期でサンプリ
ングして得られた基本周波数成分のデータ列に対して、
各サンプリング時点のデータと最初のサンプリング時点
のデータとの比に基づいて算出された相対音階の中で変
化した相対音階を表す検出相対音階情報を抽出し、該検
出相対音階情報を前記抽出されたメロディ情報として出
力する。この場合、前記メロディ情報登録手段は、前記
予め定められたメロディの先頭の音の周波数を基準にし
た変化した相対音階を表す登録相対音階情報を登録し、
該登録相対音階情報を前記登録されたメロディ情報とし
て出力する。
In a second aspect of the melody information extraction means, the melody information extraction means performs the following on the data string of fundamental frequency components obtained by sampling the input sound signal at a predetermined period:
Extract detected relative scale information representing a relative scale that has changed in the relative scale calculated based on the ratio of data at each sampling time and data at the first sampling time, and convert the detected relative scale information to the extracted relative scale information. Output as melody information. In this case, the melody information registration means registers registered relative scale information representing a changed relative scale based on the frequency of the first note of the predetermined melody,
The registered relative scale information is output as the registered melody information.

メロディ情報抽出手段の第3の態様において、前記メロ
ディ情報抽出手段は、前記入力音信号を所定周期でサン
プリングして得られた基本周波数成分のデータ列に対し
て、各サンプリング時点のデータと最初のサンプリング
時点のデータとの比に基づいて算出された相対音階の中
で変化した相対音階を表す検出相対音階情報と各相対音
階の継続時間を計数して得られる計数継続時間情報との
組を抽出し、前記検出相対音階情報と前記計数継続時間
情報との組を前記抽出されたメロディ情報として出力す
る。この場合、前記メロディ情報登録手段は、前記予め
定められたメロディの先頭の音の周波数を基準にした変
化した相対音階を表す登録相対音階情報と各相対音階の
継続時間を表す登録継続時間情報との組を登録し、前記
登録相対音階情報と前記登録継続時間情報との組を前記
登録されたメロディ情報として出力する。
In a third aspect of the melody information extraction means, the melody information extraction means extracts data at each sampling point and an initial frequency component from a data string of fundamental frequency components obtained by sampling the input sound signal at a predetermined period. Extracts a set of detected relative scale information representing the relative scale that has changed within the relative scale calculated based on the ratio with the data at the sampling time and counted duration information obtained by counting the duration of each relative scale. Then, a set of the detected relative scale information and the counting duration information is output as the extracted melody information. In this case, the melody information registration means includes registered relative scale information representing a changed relative scale based on the frequency of the first note of the predetermined melody, and registered duration information representing the duration of each relative scale. A set of the registered relative scale information and the registered duration information is output as the registered melody information.

メロディ情報抽出手段の第4の態様において、前記メロ
ディ情報抽出手段は、前記入力音信号を所定周期でサン
プリングして得られた基本周波数成分のデータ列に対し
て、現サンプリング時点のデータと前記所定周期前のサ
ンプリング時点のデータとの比に基づいて算出された音
階差を表す算出音階差信号列を抽出し、該算出音階差信
号列を前記抽出されたメロディ情報として出力する。こ
の場合、前記メロディ情報登録手段は、前記予め定めら
れたメロディの前記所定周期毎の音階差を表す登録音階
差信号列を登録し、該登録音階差信号列を前記登録され
たメロディ情報として出力する。
In a fourth aspect of the melody information extraction means, the melody information extraction means extracts data at the current sampling point and the predetermined frequency component from a data string of fundamental frequency components obtained by sampling the input sound signal at a predetermined period. A calculated scale difference signal sequence representing a scale difference calculated based on the ratio with the data at the sampling point before the cycle is extracted, and the calculated scale difference signal sequence is output as the extracted melody information. In this case, the melody information registration means registers a registered scale difference signal sequence representing a scale difference for each of the predetermined cycles of the predetermined melody, and outputs the registered scale difference signal sequence as the registered melody information. do.

メロディ情報抽出手段の第5の態様において、前記メロ
ディ情報抽出手段は、前記入力音信号を所定周期でサン
プリングして得られた基本周波数成分のデータ列に対し
て、現サンプリング時点のデータと前記所定周期前のサ
ンプリング時点のデータとの比に基づいて算出された音
階差の中で変化した音階差を表す検出音階差情報を抽出
し、該検出音階差情報を前記抽出されたメロディ情報と
して出力する。この場合、前記メロディ情報登録手段は
、前記予め定められたメロディの変化した音階差を表す
登録音階差情報を登録し、該登録音階差情報を前記登録
されたメロディ情報として出力する。
In a fifth aspect of the melody information extraction means, the melody information extraction means extracts data at the current sampling point and the predetermined frequency component from a data string of fundamental frequency components obtained by sampling the input sound signal at a predetermined period. Extract detected scale difference information representing a scale difference that has changed among the scale differences calculated based on the ratio with the data at the sampling point before the cycle, and output the detected scale difference information as the extracted melody information. . In this case, the melody information registration means registers registered scale difference information representing a changed scale difference of the predetermined melody, and outputs the registered scale difference information as the registered melody information.

メロディ情報抽出手段の第6の態様において、前記メロ
ディ情報抽出手段は、前記入力音信号を所定周期でサン
プリングして得られた基本周波数成分のデータ列に対し
て、現サンプリング時点のデータと前記所定周期前のサ
ンプリング時点のデータとの比に基づいて算出された音
階差の中で変化した音階差を表す検出音階差情報と連続
する零の音階差の継続時間を計数して得られる計数継続
時間情報との組を抽出し、前記検出音階差情報と前記計
数継続時間情報との組を前記抽出されたメロディ情報と
して出力する。この場合、前記メロディ情報登録手段は
、前記予め定められたメロディの変化した音階差を表す
登録音階差情報と各音階差の零の継続時間を表す登録継
続時間情報との組を登録し、前記登録音階差情報と前記
登録継続時間情報との組を前記登録されたメロディ情報
として出力する。
In a sixth aspect of the melody information extraction means, the melody information extraction means extracts data at the current sampling time and the predetermined frequency component from a data string of fundamental frequency components obtained by sampling the input sound signal at a predetermined period. Detected scale difference information that represents the scale difference that has changed among the scale differences calculated based on the ratio with the data at the sampling point before the cycle, and the counting duration obtained by counting the duration of consecutive zero scale differences. A set of information is extracted, and a set of the detected scale difference information and the counting duration information is output as the extracted melody information. In this case, the melody information registration means registers a set of registered scale difference information representing a changed scale difference of the predetermined melody and registered duration information representing a zero duration time of each scale difference, and A set of registered scale difference information and the registered duration information is output as the registered melody information.

本発明によるメロディ情報抽出装置は、複数の音階と該
各音階の継続時間との組合わせからなるメロディを含む
入力音信号から該メロディを表すメロディ情報を抽出す
るメロディ情報抽出装置であって、 前記入力音信号を受け、該入力音信号から基本周波数成
分の音信号を抽出し、該抽出された基本周波数の音信号
を表す基本周波数音信号を出力する基本周波数抽出手段
と、 前記基本周波数音信号を所定周期Tでサンプリングして
、それぞれ第0乃至第N(N≧1)のサンプル時点でサ
ンプリングされた基本周波数を表す第0乃至第Nのデジ
タル周波数信号f(0)〜f (NT)を出力する周波
数カウンタと、前記第1乃至第Nのデジタル周波数信号
f(0)〜f (NT)を処理して、前記入力音信号の
メロディ情報を求めるメロディ情報算出手段とを有する
ことを特徴とする。
A melody information extraction device according to the present invention is a melody information extraction device that extracts melody information representing a melody from an input sound signal including a melody consisting of a combination of a plurality of scales and the duration of each scale, comprising: Fundamental frequency extraction means that receives an input sound signal, extracts a sound signal of a fundamental frequency component from the input sound signal, and outputs a fundamental frequency sound signal representing the extracted fundamental frequency sound signal; and the fundamental frequency sound signal. is sampled at a predetermined period T, and the 0th to Nth digital frequency signals f(0) to f(NT) representing the fundamental frequencies sampled at the 0th to Nth (N≧1) sampling points, respectively, are obtained. It is characterized by comprising a frequency counter for outputting, and melody information calculation means for processing the first to Nth digital frequency signals f(0) to f(NT) to obtain melody information of the input sound signal. do.

メロディ情報抽出装置の第1の態様によれば、前記メロ
ディ情報算出手段は、第n(1≦n5N)のサンプル時
点の第nのデジタル周波数信号f (nT)と第nのサ
ンプル時点の第0のデジタル周波数信号f(0)との比
である音程に基づいて、所定周期T毎にそれらの間の相
対音階を算出し、該算出された相対音階を表す算出相対
音階信号列を出力する相対音階算出手段を有し、前記算
出音階差信号列を前記入力音信号のメロディ情報として
抽出する。
According to the first aspect of the melody information extraction device, the melody information calculation means calculates the n-th digital frequency signal f (nT) at the n-th sampling time (1≦n5N) and the 0-th digital frequency signal f (nT) at the n-th sampling time. A relative scale that calculates the relative scale between them at every predetermined period T based on the pitch that is the ratio of the pitch to the digital frequency signal f(0), and outputs a calculated relative scale signal string representing the calculated relative scale. It has a scale calculation means and extracts the calculated scale difference signal sequence as melody information of the input sound signal.

この第1の態様において、メロディ情報算出手段は、更
に、前記算出相対音階信号列の変化点を検出し、変化し
た相対音階を表す検出相対音階情報を出力する相対音階
変化点検出手段を有し、前記検出相対音階情報を前記入
力音信号のメロディ情報として抽出しても良い。
In this first aspect, the melody information calculation means further includes relative scale change point detection means for detecting a change point in the calculated relative scale signal sequence and outputting detected relative scale information representing the changed relative scale. , the detected relative scale information may be extracted as melody information of the input sound signal.

更に、この第1の態様において、前記メロディ情報算出
手段は、更に、前記算出相対音階信号列中の連続する同
一相対音階の継続時間を計数し、相対音階毎の計数され
た継続時間を表す計数継続時間情報を出力する継続時間
計数手段を有し、前記検出相対音階情報と前記計数継続
時間情報との組を前記入力音信号のメロディ情報として
抽出しても良い。
Furthermore, in this first aspect, the melody information calculation means further counts the duration of consecutive identical relative scales in the calculated relative scale signal string, and calculates a count representing the counted duration of each relative scale. The apparatus may include a duration counting means for outputting duration information, and extract a set of the detected relative scale information and the counted duration information as the melody information of the input sound signal.

メロディ情報抽出装置の第2の態様によれば、前記メロ
ディ情報算出手段は、第n(1≦n≦N)のサンプル時
点の第nのデジタル周波数信号f (nT)と第(n−
1)のサンプル時点の第(n−1)のデジタル周波数信
号f ((n−L)T)との比である音程に基づいて、
所定周期T毎にそれらの間の音階差を算出し、該算出さ
れた音階差を表す算出音階差信号列を出力する音階差算
出手段を有し、前記算出音階差信号列を前記入力音信号
のメロディ情報として抽出する。
According to the second aspect of the melody information extraction device, the melody information calculation means calculates the n-th digital frequency signal f (nT) at the n-th (1≦n≦N) sampling time and the (n-th)
Based on the pitch that is the ratio of the (n-1)th digital frequency signal f ((n-L)T) at the sampling time of 1),
It has a scale difference calculating means that calculates a scale difference between them at every predetermined period T and outputs a calculated scale difference signal sequence representing the calculated scale difference, and the calculated scale difference signal sequence is used as the input sound signal. Extract as melody information.

この第2の態様において、前記メロディ情報算出手段は
、更に、前記算出音階差信号列の変化点を検出し、変化
した音階差を表す検出音階差情報を出力する音階差変化
点検出手段を有し、前記検出音階差情報を前記入力音信
号のメロディ情報として抽出しても良い。
In this second aspect, the melody information calculation means further includes scale difference change point detection means for detecting a change point in the calculated scale difference signal sequence and outputting detected scale difference information representing the changed scale difference. However, the detected scale difference information may be extracted as melody information of the input sound signal.

更に、この第2の態様において1.前記メロディ情報算
出手段は、更に、前記算出音階差信号列中の連続する零
の音階差の継続時間を計数し、計数された継続時間を表
す計数継続時間情報を出力する継続時間計数手段を有し
、前記検出音階差情報と前記計数継続時間情報との組を
前記入力音信号のメロディ情報として抽出しても良い。
Furthermore, in this second aspect, 1. The melody information calculation means further includes a duration counting means for counting the duration of consecutive zero scale differences in the calculated scale difference signal string and outputting counted duration information representing the counted duration. However, a set of the detected scale difference information and the counting duration information may be extracted as the melody information of the input sound signal.

〔実施例〕〔Example〕

以下、本発明の実施例について図面を参照して説明する
Embodiments of the present invention will be described below with reference to the drawings.

第1図を参照すると、本発明によるメロディ認識装置は
、複数の音階と各音階の継続時間との組合わせからなる
メロディを含む入力音信号INからこのメロディを表す
メロディ情報を抽出し、抽出されたメロディ情報EMI
を出力するメロディ情報抽出装置10と、少なくとも1
つの予め定められたメロディを表すメロディ情報を予め
登録し、登録されたメロディ情報MHIを出力するメロ
ディ情報登録装置20と、抽出されたメロディ情報EM
Iと登録されたメロディ情報MHIとを比較して入力音
信号INに含まれるメロディを認識し、メロディ認り結
果RRを出力するメロディ情報比較装置f30とを有す
る。
Referring to FIG. 1, the melody recognition device according to the present invention extracts melody information representing a melody from an input sound signal IN including a melody consisting of a combination of a plurality of scales and the duration of each scale. Melody information EMI
a melody information extraction device 10 that outputs at least one
A melody information registration device 20 that registers melody information representing two predetermined melodies in advance and outputs the registered melody information MHI, and extracted melody information EM.
It has a melody information comparison device f30 that compares melody information MHI with registered melody information MHI to recognize the melody included in the input sound signal IN, and outputs a melody recognition result RR.

第2図を参照すると、メロディ情報抽出装置10は、入
力音信号INを受け、入力音信号INから基本周波数成
分の音信号を抽出し、抽出された基本周波数の音信号を
表す基本周波数音信号を出力する基本周波数抽出部11
を有する。
Referring to FIG. 2, the melody information extraction device 10 receives an input sound signal IN, extracts a sound signal of a fundamental frequency component from the input sound signal IN, and generates a fundamental frequency sound signal representing the extracted fundamental frequency sound signal. Fundamental frequency extraction unit 11 that outputs
has.

本実施例の基本周波数抽出部11は、ローパスフィルタ
(LPF)111と自動利得調節器(AGC)112と
からなる。入力音信号INはLPFlllを通ることに
よって基本周波数成分がその高周波成分に対して強調さ
れる。LPFlllの出力はAGC112によって波形
整形される。
The fundamental frequency extraction section 11 of this embodiment includes a low pass filter (LPF) 111 and an automatic gain controller (AGC) 112. By passing the input sound signal IN through the LPFll, the fundamental frequency component is emphasized relative to its high frequency component. The output of LPFll is waveform-shaped by AGC112.

AGC112の出力は基本周波数音信号として出力され
る。
The output of the AGC 112 is output as a fundamental frequency sound signal.

基本周波数音信号は周波数カウンタ12に供給される。The fundamental frequency sound signal is supplied to a frequency counter 12.

周波数カウンタ12は、基本周波数音信号を所定周期T
でサンプリングして、それぞれ第0乃至第N (N≧1
)のサンプル時点でサンプリングされた基本周波数を表
す第0乃至第Nのデジタル周波数信号f(0)〜f (
NT)を出力する。
The frequency counter 12 converts the fundamental frequency sound signal into a predetermined cycle T.
sampled from 0th to Nth (N≧1
) 0th to Nth digital frequency signals f(0) to f (
NT) is output.

第O乃至第Nのデジタル周波数信号f(0)〜f (N
T)は、メロディ情報算出器13に供給される。
Oth to Nth digital frequency signals f(0) to f (N
T) is supplied to the melody information calculator 13.

メロディ情報算出器13は第1乃至第Nのデジタル周波
数信号f(0)〜f (NT)を処理して、入力音信号
INのメロディ情報を求める。メロディ情報算出器13
で求められたメロディ情報は抽出されたメロディ情報E
MIとしてメロディ情報比較装置30(M1図)へ供給
される。
The melody information calculator 13 processes the first to Nth digital frequency signals f(0) to f(NT) to obtain melody information of the input sound signal IN. Melody information calculator 13
The melody information obtained is the extracted melody information E.
It is supplied as MI to the melody information comparison device 30 (Figure M1).

第3図を参照すると、メロディ情報算出器13は、第n
(1≦n≦N)のサンプル時点の第nのデジタル周波数
信号f (nT)と第0のサンプル時点の第0のデジタ
ル周波数信号f(0)との比f (nT)/ f (0
)である音程に基づいて、所定周期T毎にそれらの間の
相対音階を算出し、この算出された相対音階を表す算出
相対音階信号列RS (nT)を出力する相対音階算出
器40を有する。
Referring to FIG. 3, the melody information calculator 13
The ratio f (nT)/f (0) of the n-th digital frequency signal f (nT) at the sample time (1≦n≦N) and the 0-th digital frequency signal f (0) at the 0-th sample time
), it has a relative scale calculator 40 that calculates a relative scale between them at every predetermined period T and outputs a calculated relative scale signal sequence RS (nT) representing the calculated relative scale. .

相対音階算出器40は第0のサンプル時点(初期サンプ
ル時点)の第0のデジタル周波数信号f(0)を保持す
る初期サンプル値保持回路41と、相対音階を算出する
相対音階算出回路42とを有する。本実施例では、相対
音階算出回路42は平均律音階に基づいて相一対音階を
算出する。平均律音階は、周知のように、1オクターブ
のあいだを12のこまかい音程に等分した音階である。
The relative scale calculator 40 includes an initial sample value holding circuit 41 that holds the 0th digital frequency signal f(0) at the 0th sample time (initial sample time), and a relative scale calculation circuit 42 that calculates the relative scale. have In this embodiment, the relative scale calculation circuit 42 calculates the relative scale based on the equal temperament scale. As is well known, the equal-tempered scale is a scale that divides one octave into 12 fine intervals.

すなわち、1オクターブを”J2−1.05946に分
ける。従って、相対音階算出回路42は次式により相対
音階RS (nT)を求める。
That is, one octave is divided into "J2-1.05946. Therefore, the relative scale calculation circuit 42 calculates the relative scale RS (nT) using the following equation.

RS (nT)= (j Og (f (nT)/ f
 (0)) )/ Hog12f7)       (
1)算出相対音階信号列RS (nT)は相対音階変化
点検出回路50と継続時間計数回路60とに供給される
。相対音階変化点検出回路50は、算出相対音階信号列
RS (nT)の変化点を検出し、変化した相対音階を
表す検出相対音階情報DVSを出力する。
RS (nT) = (j Og (f (nT)/f
(0)) ) / Hog12f7) (
1) The calculated relative scale signal sequence RS (nT) is supplied to the relative scale change point detection circuit 50 and the duration counting circuit 60. The relative scale change point detection circuit 50 detects the change point of the calculated relative scale signal sequence RS (nT) and outputs detected relative scale information DVS representing the changed relative scale.

継続時間計数回路60は、算出相対音階信号列R5(n
T)中の連続する同一相対音階の継続時間を計数し、相
対音階毎の計数された継続時間を表す計数継続時間情報
OCTを出力する。検出相対音階情報DVSと計数継続
時間情報CCTとの組は、抽出されたメロディ情報EM
Iとしてメロディ情報比較装置30(第1図)へ供給さ
れる。
The duration counting circuit 60 calculates the calculated relative scale signal sequence R5(n
T), the duration of consecutive identical relative scales is counted, and counted duration information OCT representing the counted duration of each relative scale is output. The set of detected relative scale information DVS and counting duration information CCT is extracted melody information EM.
I is supplied to the melody information comparison device 30 (FIG. 1).

メロディ情報登録装置20は、登録されたメロディ情報
MHIとして、予め定められたメロディの先頭の音の周
波数を基準にした変化した相対音階を表す登録相対音階
情報MVSと各相対音階の継続時間を表す登録継続時間
情報MCTとの組を登録する。
The melody information registration device 20 stores, as registered melody information MHI, registered relative scale information MVS representing a relative scale that has changed based on the frequency of the first note of a predetermined melody, and the duration of each relative scale. A pair with registration continuation time information MCT is registered.

尚、上記実施例では、検出相対音階情報DVSと計数継
続時間情報OCTとの組を抽出されたメロディ情報EH
Iとして出力しているが、検出相対音階情報DVSのみ
を抽出されたメロディ情報EMIとして出力しても良い
。この場合、メロディ情報算出器13の継続時間計数回
路60が不要となる。そして、メロディ情報登録装置2
0は、登録されたメロディ情報MHIとして、予め定め
られたメロディの先頭の音の周波数を基準にした変化し
た相対音階を表す登録相対音階情報MVSのみを登録す
る。
In the above embodiment, the set of detected relative scale information DVS and counting duration information OCT is used as the extracted melody information EH.
Although the detected relative scale information DVS is outputted as the extracted melody information EMI, only the detected relative scale information DVS may be outputted as the extracted melody information EMI. In this case, the duration counting circuit 60 of the melody information calculator 13 becomes unnecessary. And melody information registration device 2
0, only registered relative scale information MVS representing a changed relative scale based on the frequency of the first note of a predetermined melody is registered as registered melody information MHI.

また、相対音階算出器40が出力する算出相対音階信号
列RS (nT)を、直接、抽出されたメロディ情報E
MIとして出力しても良い。この場合、メロディ情報算
出器13は相対音階界゛出器40のみで構成される。メ
ロディ情報登録装置20は、登録されたメロディ情報1
目として、予め定められたメロディの先頭の音の周波数
を基準にした変化した所定周期T毎の相対音階を表す登
録相対音階信号列M S (nT)を登録する。
Further, the calculated relative scale signal sequence RS (nT) outputted by the relative scale calculator 40 is directly converted into the extracted melody information E.
It may also be output as MI. In this case, the melody information calculator 13 is comprised only of the relative scale field generator 40. The melody information registration device 20 stores registered melody information 1.
As a reference, a registered relative scale signal sequence M S (nT) representing a relative scale that changes at every predetermined period T based on the frequency of the first note of a predetermined melody is registered.

第4図を参照すると、他のメロディ情報算出器13aが
示されている。図示のメロディ情報算出器13aは、第
nのサンプル時点の第nのデジタル周波数信号f (n
T)と第(n−1)のサンプル時点の第(n−1)のデ
ジタル周波数信号f ((n−1)T)との比f (n
T)/ f ((n−1)T)である音程に基づいて、
所定周期T毎にそれらの間の音階差を算出し、この算出
された音階差を表す算出音階差信号列S D (nT)
を出力する音階差算出器40aを有する。
Referring to FIG. 4, another melody information calculator 13a is shown. The illustrated melody information calculator 13a calculates an n-th digital frequency signal f (n
The ratio f (n
Based on the pitch that is T)/f ((n-1)T),
The scale difference between them is calculated every predetermined period T, and the calculated scale difference signal sequence S D (nT) represents the calculated scale difference.
It has a scale difference calculator 40a that outputs .

音階差算出器40aは第nのサンプル時点の第nのデジ
タル周波数信号f (nT)を所定周期Tだけ遅延して
、第(n−1>のサンプル時点の第(n−1)のデジタ
ル周波数信号f ((n−1)T)を出力する遅延回路
41aと、音階差を算出する音階差算出回路42aとを
有する。この実施例でも、音階差算出回路42aは、第
3図の相対音階算出回路42と同様に、平均律音階に基
づいて音階差を算出する。
The scale difference calculator 40a delays the n-th digital frequency signal f (nT) at the n-th sample time by a predetermined period T, and calculates the (n-1)th digital frequency signal f (n-1) at the (n-1>th sample time). It has a delay circuit 41a that outputs a signal f ((n-1)T) and a scale difference calculation circuit 42a that calculates a scale difference.In this embodiment as well, the scale difference calculation circuit 42a calculates the relative scale of FIG. Similar to the calculation circuit 42, the scale difference is calculated based on the equal temperament scale.

従って、音階差算出回路42aは次式により相対音階差
S D (nT)を求める。
Therefore, the scale difference calculation circuit 42a calculates the relative scale difference S D (nT) using the following equation.

S D (nT)−(l o g (f (nT)/ 
f ((n−1)T)1/ Hog12v’て)   
   (2)算出音階差信号列S D (nT)は音階
差変化点検出回路50aと継続時間計数回路60aとに
供給される。音階差変化点検出回路50aは、算出音階
差信号列S D (nT)の変化点を検出し、変化した
音階差を表す検出音階差情報DVDを出力する。継続時
間計数回路60gは算出音階差信号列S D (nT)
中の連続する零の音階差の継続時間を計数し、計数され
た継続時間を表す計数継続時間情報OCTを出力する。
S D (nT) - (log (f (nT)/
f ((n-1)T)1/ Hog12v'te)
(2) The calculated scale difference signal sequence S D (nT) is supplied to the scale difference change point detection circuit 50a and the duration counting circuit 60a. The scale difference change point detection circuit 50a detects the change point of the calculated scale difference signal sequence S D (nT), and outputs detected scale difference information DVD representing the changed scale difference. The duration counting circuit 60g calculates the scale difference signal sequence S D (nT)
The duration of consecutive zero pitch differences in the middle is counted, and counted duration information OCT representing the counted duration is output.

検出音階差情報DVDと計数継続時間情報CCTとの組
は、抽出されたメロディ情報EMIとしてメロディ情報
比較装置30(第1図)へ供給される。
The set of detected scale difference information DVD and counting duration information CCT is supplied to the melody information comparison device 30 (FIG. 1) as extracted melody information EMI.

本実施例において、メロディ情報登録装置20は、登録
されたメロディ情報1日として、予め定められたメロデ
ィの変化した音階差を表す登録音階情報MVDと各音階
差の零の継続時間を表す登録継続時間情報MCTとの組
を登録する。
In this embodiment, the melody information registration device 20 stores, as one day of registered melody information, registered scale information MVD representing the changed scale difference of a predetermined melody, and registered continuation representing the duration of zero of each scale difference. A pair with time information MCT is registered.

尚、第4図のメロディ情報算出器13aでは、検出音階
差情報DVDと計数継続時間情報CCTとの組を抽出さ
れたメロディ情報EMIとして出力しているが、検出音
階差情報DVDのみを抽出されたメロディ情報EMIと
じ−て出力しても良い。この場合、メロディ情報算出器
13aの継続時間計数回路60aは不要となる。そして
、メロディ情報登録装置20は、登録されたメロディ情
報L1として、予め定められたメロディの変化した音階
差を表す登録音階差情報MVDのみを登録する。
Note that although the melody information calculator 13a in FIG. 4 outputs a set of detected scale difference information DVD and counting duration information CCT as extracted melody information EMI, only detected scale difference information DVD is extracted. The melody information EMI may also be output together. In this case, the duration counting circuit 60a of the melody information calculator 13a becomes unnecessary. Then, the melody information registration device 20 registers only registered scale difference information MVD representing a scale difference in which a predetermined melody has changed, as the registered melody information L1.

また、音階差算出器40aが出力する算出音階差信号列
S D (nT)を、直接、抽出されたメロディ情報E
MIとして出力しても良い。この場合、メロディ情報算
出器13は音階差算出器40aのみで構成される。メロ
ディ情報登録装置20は、登録されたメロディ情報MH
Iとして、予め定められたメロディの所定周期T毎の音
階差を表す登録音階差信号列M D (nT)を登録す
る。
Further, the calculated scale difference signal sequence S D (nT) outputted by the scale difference calculator 40a is directly converted into the extracted melody information E
It may also be output as MI. In this case, the melody information calculator 13 includes only the scale difference calculator 40a. The melody information registration device 20 stores registered melody information MH.
As I, a registered scale difference signal sequence M D (nT) representing a scale difference at every predetermined period T of a predetermined melody is registered.

次に、第5図を参照して、具体的なメロディをあげて第
3図のメロディ情報算出器13及び第4図のメロディ情
報算出器13aの動作について説明する。
Next, with reference to FIG. 5, the operations of the melody information calculator 13 of FIG. 3 and the melody information calculator 13a of FIG. 4 will be described using specific melodies.

第5図(a)に示されるように、“HAGFisEDE
GFisGEDEDH”の音階で表されるメロディにつ
いて説明する。このメロディは、例えば、第5図(b)
に示されるように、日本語では、「あおいそらがおひさ
まにと−ける」と歌われる。
As shown in FIG. 5(a), “HAGFisEDE
The melody represented by the scale ``GFisGEDEDH'' will be explained.This melody is, for example, as shown in Fig. 5(b).
As shown in , in Japanese, it is sung as ``Aoi sora ga ni Ohisama ni Keru.''

このメロディは、第5図(a)から明らかなように、最
も継続時間が長い音符として2分音符を、最も継続時間
が短い音符として16分音符を含む。
As is clear from FIG. 5(a), this melody includes a half note as the note with the longest duration and a sixteenth note as the note with the shortest duration.

従って、以下の説明では、説明の簡単化のために、周波
数カウンタ12(第1図)は、基本周波数抽出部11の
出力を16分音符に対応するサンプリング周期(所定周
期)Tでサンプリングするものとする。
Therefore, in the following explanation, in order to simplify the explanation, the frequency counter 12 (FIG. 1) samples the output of the fundamental frequency extraction section 11 at a sampling period (predetermined period) T corresponding to a sixteenth note. shall be.

尚、16分音符を単位にして、上記メロディに括弧内の
数字で継続時間を付して表すと、“H(8)A (6)
G (2)Fis(4)E (4)D(8)E (4)
G (3)Fis(1)G (6)E(2)D (3)
E (1)D (4)H(8)”となる。従って、上記
メロディの全体の継続時間は、16分音符を単位にして
、“64#である。
Furthermore, if we express the above melody in units of 16th notes and add the duration using the numbers in parentheses, it becomes “H(8)A (6)
G (2) Fis (4) E (4) D (8) E (4)
G (3) Fis (1) G (6) E (2) D (3)
E (1) D (4) H (8)". Therefore, the overall duration of the above melody is "64#" in units of sixteenth notes.

先ず、第3図のメロディ情報算出器13について説明す
る。
First, the melody information calculator 13 shown in FIG. 3 will be explained.

第5図(b)における最初の歌詞である「あ」は、第5
図(a)に示されるように、H(8)の音階(継続時間
)を有するので、相対音階算出器40は、第0〜第7の
サンプル時点に対応する算出相対音階信号RS(0)〜
RS (7T)として“0”を出力する。又、相対音階
変化点検出回路50は、第0のサンプル時点で、検出相
対音階情報DVSとして“0“を出力する。
The first lyric in Figure 5(b), “a”, is the fifth
As shown in Figure (a), since the scale (duration time) is H(8), the relative scale calculator 40 calculates the calculated relative scale signal RS(0) corresponding to the 0th to 7th sample times. ~
Outputs “0” as RS (7T). Further, the relative scale change point detection circuit 50 outputs "0" as detected relative scale information DVS at the 0th sample time.

第8のサンプル時点で、次の歌詞「お」に対応する音A
(6)がサンプルされる。この「お」の音は、第5図(
a)から明らかなように、最初の歌詞「あ」よりも全音
低いので、相対音階算出器40は、第8〜第13のサン
プル時点に対応する算出相対音階信号RS (8T)〜
RS (13T)として2“を出力する。相対音階変化
点検出回路50は、第8のサンプル時点て−22を圧力
する。又、第8のサンプル時点で、継続時間計数回路6
0は計数継続時間情報CCTとして“8°を出力する。
At the time of the 8th sample, the sound A corresponding to the next lyrics "o"
(6) is sampled. This "o" sound is shown in Figure 5 (
As is clear from a), since it is a whole tone lower than the first lyric "a", the relative scale calculator 40 calculates the calculated relative scale signals RS (8T) to RS (8T) corresponding to the 8th to 13th sample times.
2" is output as RS (13T). The relative scale change point detection circuit 50 outputs -22 at the 8th sample time. Also, at the 8th sample time, the duration counting circuit 6
0 outputs "8°" as the counting duration information CCT.

以下同様に動作する。その結果を第5図(c)に示す。The following works in the same way. The results are shown in FIG. 5(c).

すなわち、相対音階算出器40は、第0〜第63のサン
プル時点に対応する算出相対音階信号RS (0)〜R
S (83T)として“0”〜 −12゜を出力する。
That is, the relative scale calculator 40 calculates calculated relative scale signals RS (0) to R corresponding to the 0th to 63rd sample times.
Outputs "0" to -12° as S (83T).

相対音階変化点検出回路50は、検出相対音階情報Dv
Sとして“0.−2.−4゜−5,−7,−9,−7,
−4,−5,−4゜−7,−9,−7,−9,−12°
を出力する。
The relative scale change point detection circuit 50 detects relative scale information Dv.
As S, “0.-2.-4°-5,-7,-9,-7,
-4, -5, -4° -7, -9, -7, -9, -12°
Output.

継続時間計数回路60は計数継続時間情報CCTとして
“8,6,2,4,4,8,4,3,1.6゜2.3,
1,4.8”を出力する。
The duration counting circuit 60 outputs "8, 6, 2, 4, 4, 8, 4, 3, 1.6° 2.3," as counting duration information CCT.
Outputs 1.4.8”.

以下余白 次に、第4図のメロディ情報算出器13aについて説明
する。
Margins Below Next, the melody information calculator 13a in FIG. 4 will be described.

第5図(b)における最初の歌詞である「あ」の音に対
して、音階差算出器40aは、第0〜第7のサンプル時
点に対応する算出音階差信号5D(0)〜RS (7T
)として“0”を出力する。又、音階差変化点検出回路
50aは、第0のサンプル時点で、検出音階差情報DV
D“0″を出力する。
For the sound "a" which is the first lyrics in FIG. 5(b), the scale difference calculator 40a calculates the calculated scale difference signals 5D(0) to RS ( 7T
) is output as “0”. Further, the scale difference change point detection circuit 50a detects the detected scale difference information DV at the 0th sample time.
Output D “0”.

第8のサンプル時点で、次の歌詞「お」に対応する音A
(6)がサンプルされる。この「お」の音は、第5図(
a)から明らかなように、最初の歌詞rあ」よりも全音
低いので、音階差算出器40aは、第8のサンプル時点
に対応する算出音階差信号S D (8T)として“−
2“を出力する。音階差変化点検出回路50aは、第8
のサンプル時点で検出音階差情報DVDとして“−2″
を出力する。
At the time of the 8th sample, the sound A corresponding to the next lyrics "o"
(6) is sampled. This "o" sound is shown in Figure 5 (
As is clear from a), since it is a whole tone lower than the first lyric "ra", the scale difference calculator 40a outputs "-" as the calculated scale difference signal S D (8T) corresponding to the eighth sample time.
2". The scale difference change point detection circuit 50a outputs the eighth
“-2” as the detected scale difference information DVD at the sample time of
Output.

又、第8のサンプル時点で、継続時間計数回路60aは
計数継続時間情報CCTとして“8“を出力する。
Further, at the eighth sampling point, the duration counting circuit 60a outputs "8" as the counting duration information CCT.

歌詞「お」は、第8〜第13のサンプル時点てサシプル
されるので、音階差算出器40aは、第9〜第13のサ
ンプル時点に対応する算出音階差信号S D (8T)
〜S D (13T)として“0”を出力する。
Since the lyric "O" is synthesized at the 8th to 13th sample times, the scale difference calculator 40a calculates the calculated scale difference signals S D (8T) corresponding to the 9th to 13th sample times.
~S D (13T) outputs "0".

以下同様に動作する。その結果を第5図(d)に示す。The following works in the same way. The results are shown in FIG. 5(d).

すなわち、音階差算出器40aは、第0〜第63のサン
プル時点に対応する算出音階差信号5D(0)〜S D
 (63T)として“0°〜“0#を出力する。音階差
変化点検出回路50aは、検出音階情報DVDとして”
0.−2.−2.−1.−2゜−2,2,3,−1,1
,−3,−2,2,−2゜−3°を出力する。継続時間
計数回路60aは計数継続時間情報COTとして“8.
6,2.4.4゜8.4,3,1.6.2.3.1.4
,8”を出力する。
That is, the scale difference calculator 40a calculates the calculated scale difference signals 5D(0) to S D corresponding to the 0th to 63rd sample times.
(63T), outputs "0°~"0#. The scale difference change point detection circuit 50a detects "detected scale information DVD".
0. -2. -2. -1. -2゜-2,2,3,-1,1
, -3, -2, 2, -2° -3° are output. The duration counting circuit 60a outputs "8." as the counting duration information COT.
6,2.4.4゜8.4,3,1.6.2.3.1.4
, 8" is output.

上記実施例では、16分音符を継続時間の単位にし、サ
ンプリング周期Tもそれに対応させている。しかしなが
ら、実際には、サンプリング周期Tはもっと短い時間に
選択される。そのため、サンプル数も膨大な数になる。
In the above embodiment, the 16th note is used as the unit of duration, and the sampling period T is also made to correspond to it. However, in reality, the sampling period T is selected to be a shorter time. Therefore, the number of samples is also huge.

従って、相対音階算出器13から出力される算出相対音
階信号列RS (nT)や、音階差算出器13aから出
力される算出音階差信号列S D (nT)を抽出され
たメロディ情報E、MIとして採用すると、メロディ情
報登録装置20は、登録相対音階信号列M S (nT
)や登録音階差信号列MD(nT)を登録するために、
大きい記憶容量をもつ必要がある。
Therefore, the melody information E, MI extracted from the calculated relative scale signal sequence RS (nT) output from the relative scale calculator 13 and the calculated scale difference signal sequence S D (nT) output from the scale difference calculator 13a If the melody information registration device 20 adopts the registered relative scale signal sequence M S
) and registered scale difference signal sequence MD(nT),
It is necessary to have a large storage capacity.

メロディ情報登録装置20の記憶容量を少なくするため
には、抽出されたメロディ情報EMIとして、検出相対
音階情報DVSと計数継続時間情報OCTとの組や、検
出音階差情報DVDと計数継続時間情報OCTとの組を
採用すればよい。
In order to reduce the storage capacity of the melody information registration device 20, the extracted melody information EMI may be a set of detected relative scale information DVS and counting duration information OCT, or a set of detected scale difference information DVD and counting duration information OCT. It is sufficient to adopt a pair with .

尚、上記実施例では、計数継続時間情報CCTが絶対的
な継続時間を表している。例えば、第5図の場合、絶対
的な継続時間を表す計数継続時間情報CCT(DN)(
DN−0,1,2,・・−)は、次の値を持つ。
In the above embodiment, the counting duration information CCT represents the absolute duration. For example, in the case of FIG. 5, counting duration information CCT(DN)(
DN-0, 1, 2,...-) has the following values.

CCHO)−8,CCT(1)−6,CCT(2)−2
,CCT(3)−4,・・・ しかしながら、以下に述べるように、相対的な継続時間
を表すようにしても良い。
CCHO)-8, CCT(1)-6, CCT(2)-2
, CCT(3)-4,... However, as described below, relative durations may be expressed.

相対的な継続時間の算出方法として、次の2種類がある
There are two methods for calculating the relative duration:

■最初のサンプリング時点のデータとの比に基づく方法
■A method based on the ratio of data to the first sampling point.

CCT’ (DN)−CCT(DN)/CCT(0)■
前のデータを基準にする方法。
CCT' (DN)-CCT(DN)/CCT(0)■
How to base on previous data.

CCT″(DN)−CCT(DN)/CCT(DN−1
)但し、CCT’ (0)−CCT’ (0)−1とす
る。
CCT''(DN)-CCT(DN)/CCT(DN-1
) However, CCT'(0)-CCT' (0)-1.

相対的な継続時間を表す計数継続時間情報CCT’fD
N)は、第5図の例では、次の値を持つ。
Counting duration information CCT'fD representing relative duration
N) has the following value in the example of FIG.

CCT’ (0)−1、CCT’ (1)−0,75,
CCT’ (2>−0,25,CCT’(3)−0,5
,・・・同様に、相対的な継続時間を表す計数継続時間
情報CCT’ (DN)は、第5図の例では、次の値を
持つ。
CCT' (0)-1, CCT' (1)-0,75,
CCT'(2>-0,25,CCT'(3)-0,5
, . . . Similarly, the count duration information CCT' (DN) representing the relative duration time has the following value in the example of FIG.

CCT’(0)−1,C(:T’(1)−0,75,C
CT’(2)−0,333・・・、 CC7M3)−2
,・・・もつと、記憶容量を少なくするために、検出相
対音階情報DvSのみや、検出音階差情報DVDのみを
採用するほうがよい。また、メロディを各音階に割当て
られた正しい継続時間を維持して歌える人はほとんどい
ない。この点からも、検出相対音階情報DVSのみや、
検出音階差情報DVDのみを抽出されたメロディ情報E
MIとして用いた方が好ましい。
CCT'(0)-1,C(:T'(1)-0,75,C
CT'(2)-0,333..., CC7M3)-2
,...In order to reduce the storage capacity, it is better to employ only the detected relative scale information DvS or only the detected scale difference information DVD. Also, very few people can sing a melody while maintaining the correct duration assigned to each note. From this point of view, only detected relative scale information DVS,
Melody information E extracted from only the detected scale difference information DVD
It is preferable to use it as MI.

メロディ情報抽出装置10中のメロディ情報算出器13
 (13a)とメロディ情報比較装置30はマイクロプ
ロセッサで構成される。上述した、メロディ情報算出器
13 (13a)は、比較的簡単なソフトウェアによっ
て実現可能である。すなわち、メロディ認識装置は、入
力音信号の基本周波数を検出するハードウェアと比較的
簡単なソフトウェアとによって実現される。
Melody information calculator 13 in melody information extraction device 10
(13a) and the melody information comparison device 30 are constituted by a microprocessor. The above-mentioned melody information calculator 13 (13a) can be realized by relatively simple software. That is, the melody recognition device is realized by hardware that detects the fundamental frequency of an input sound signal and relatively simple software.

〔発明の効果〕〔Effect of the invention〕

以上説明したように、本発明では、メロディ情報抽出手
段によって入力音信号に含まれるメロディを表すメロデ
ィ情報を抽出し、この抽出されたメロディ情報とメロデ
ィ情報登録手段に登録されたメロディ情報とをメロディ
情報比較手段で比較して、入力音信号に含まれるメロデ
ィを認識している。メロディは共通性が高いので、不特
定多数の話者を認識する話者認識装置として使用すれば
、容易に話者の認識を行えるという効果がある。また、
従来の音声認識装置と比較して、構成が非常に簡単にな
るという利点もある。
As explained above, in the present invention, the melody information extraction means extracts the melody information representing the melody included in the input sound signal, and the extracted melody information and the melody information registered in the melody information registration means are combined to create a melody. The melody included in the input sound signal is recognized by comparing it with the information comparison means. Since melodies have a high degree of commonality, when used as a speaker recognition device that recognizes an unspecified number of speakers, it has the effect of easily recognizing speakers. Also,
Another advantage is that the configuration is much simpler than conventional speech recognition devices.

【図面の簡単な説明】[Brief explanation of the drawing]

第1図は本発明の一実施例によるメロディ認識装置の構
成を示すブロック図、第2図は第1図中のメロディ情報
抽出装置の構成を示すブロック図、第3図は第2図中の
メロディ情報算出器の一構成を示すブロック図、第4図
はメロディ情報算出器の他の構成を示すブロック図、第
5図は第3図及び第4図のメロディ情報算出器の動作を
説明するためのブロック図である。 10・・・メロディ情報抽出装置、11・・・基本周波
数抽出部、111・・・ローパスフィルタ(L P F
)、112・・・自動利得調節器(AGC) 、12・
・・周波数カウンタ、13・・・メロディ情報算出器、
20・・・メロディ情報登録装置、30・・・メロディ
情報比較装置、40・・・相対音階算出器、40a・・
・音階差算出器、41・・・初期サンプル値保持回路、
41a・・・遅延回路、42・・・相対音階算出回路、
42a・・・音階差算出回路、50・・・相対音階変化
点検出回路、50a・・・音階差変化点検出回路、60
.60a・・・継続時間計数回路。
FIG. 1 is a block diagram showing the configuration of a melody recognition device according to an embodiment of the present invention, FIG. 2 is a block diagram showing the configuration of the melody information extraction device in FIG. 1, and FIG. 3 is a block diagram showing the configuration of the melody information extraction device in FIG. A block diagram showing one configuration of the melody information calculator, FIG. 4 is a block diagram showing another configuration of the melody information calculator, and FIG. 5 explains the operation of the melody information calculator in FIGS. 3 and 4. FIG. DESCRIPTION OF SYMBOLS 10... Melody information extraction device, 11... Fundamental frequency extraction part, 111... Low pass filter (LPF
), 112... automatic gain controller (AGC), 12.
... Frequency counter, 13... Melody information calculator,
20... Melody information registration device, 30... Melody information comparison device, 40... Relative scale calculator, 40a...
- Scale difference calculator, 41... initial sample value holding circuit,
41a...Delay circuit, 42...Relative scale calculation circuit,
42a... Scale difference calculation circuit, 50... Relative scale change point detection circuit, 50a... Scale difference change point detection circuit, 60
.. 60a...Duration time counting circuit.

Claims (1)

【特許請求の範囲】 1、複数の音階と該各音階の継続時間との組合わせから
なるメロディを含む入力音信号から該メロディを表すメ
ロディ情報を抽出し、抽出されたメロディ情報を出力す
るメロディ情報抽出手段と、少なくとも1つの予め定め
られたメロディを表すメロディ情報を予め登録し、登録
されたメロディ情報を出力するメロディ情報登録手段と
、前記抽出されたメロディ情報と前記登録されたメロデ
ィ情報とを比較して前記入力音信号に含まれるメロディ
を認識するメロディ情報比較手段と、を有することを特
徴とするメロディ認識装置。 2、前記メロディ情報抽出手段は、前記入力音信号を所
定周期でサンプリングして得られた基本周波数成分のデ
ータ列に対して、各サンプリング時点のデータと最初の
サンプリング時点のデータとの比に基づいて算出された
相対音階を表す算出相対音階信号列を抽出し、該算出相
対音階信号列を前記抽出されたメロディ情報として出力
し、前記メロディ情報登録手段は、前記予め定められた
メロディの先頭の音の周波数を基準にした前記所定周期
毎の相対音階を表す登録相対音階信号列を登録し、該登
録相対音階信号列を前記登録されたメロディ情報として
出力する ことを特徴とする請求項1記載のメロディ認識装置。 3、前記メロディ情報抽出手段は、前記入力音信号を所
定周期でサンプリングして得られた基本周波数成分のデ
ータ列に対して、各サンプリング時点のデータと最初の
サンプリング時点のデータとの比に基づいて算出された
相対音階の中で変化した相対音階を表す検出相対音階情
報を抽出し、該検出相対音階情報を前記抽出されたメロ
ディ情報として出力し、 前記メロディ情報登録手段は、前記予め定められたメロ
ディの先頭の音の周波数を基準にした変化した相対音階
を表す登録相対音階情報を登録し、該登録相対音階情報
を前記登録されたメロディ情報として出力する ことを特徴とする請求項1記載のメロディ認識装置。 4、前記メロディ情報抽出手段は、前記入力音信号を所
定周期でサンプリングして得られた基本周波数成分のデ
ータ列に対して、各サンプリング時点のデータと最初の
サンプリング時点のデータとの比に基づいて算出された
相対音階の中で変化した相対音階を表す検出相対音階情
報と各相対音階の継続時間を計数して得られる計数継続
時間情報との組を抽出し、前記検出相対音階情報と前記
計数継続時間情報との組を前記抽出されたメロディ情報
として出力し、 前記メロディ情報登録手段は、前記予め定められたメロ
ディの先頭の音の周波数を基準にした変化した相対音階
を表す登録相対音階情報と各相対音階の継続時間を表す
登録継続時間情報との組を登録し、前記登録相対音階情
報と前記登録継続時間情報との組を前記登録されたメロ
ディ情報として出力する ことを特徴とする請求項1記載のメロディ認識装置。 5、前記メロディ情報抽出手段は、前記入力音信号を所
定周期でサンプリングして得られた基本周波数成分のデ
ータ列に対して、現サンプリング時点のデータと前記所
定周期前のサンプリング時点のデータとの比に基づいて
算出された音階差を表す算出音階差信号列を抽出し、該
算出音階差信号列を前記抽出されたメロディ情報として
出力し、前記メロディ情報登録手段は、前記予め定めら
れたメロディの前記所定周期毎の音階差を表す登録音階
差信号列を登録し、該登録音階差信号列を前記登録され
たメロディ情報として出力することを特徴とする請求項
1記載のメロディ認識装置。 6、前記メロディ情報抽出手段は、前記入力音信号を所
定周期でサンプリングして得られた基本周波数成分のデ
ータ列に対して、現サンプリング時点のデータと前記所
定周期前のサンプリング時点のデータとの比に基づいて
算出された音階差の中で変化した音階差を表す検出音階
差情報を抽出し、該検出音階差情報を前記抽出されたメ
ロディ情報として出力し、 前記メロディ情報登録手段は、前記予め定められたメロ
ディの変化した音階差を表す登録音階差情報を登録し、
該登録音階差情報を前記登録されたメロディ情報として
出力する ことを特徴とする請求項1記載のメロディ認識装置。 7、前記メロディ情報抽出手段は、前記入力音信号を所
定周期でサンプリングして得られた基本周波数成分のデ
ータ列に対して、現サンプリング時点のデータと前記所
定周期前のサンプリング時点のデータとの比に基づいて
算出された音階差の中で変化した音階差を表す検出音階
差情報と連続する零の音階差の継続時間を計数して得ら
れる計数継続時間情報との組を抽出し、前記検出音階差
情報と前記計数継続時間情報との組を前記抽出されたメ
ロディ情報として出力し、 前記メロディ情報登録手段は、前記予め定められたメロ
ディの変化した音階差を表す登録音階差情報と各音階差
の零の継続時間を表す登録継続時間情報との組を登録し
、前記登録音階差情報と前記登録継続時間情報との組を
前記登録されたメロディ情報として出力する ことを特徴とする請求項1記載のメロディ認識装置。 8、複数の音階と該各音階の継続時間との組合わせから
なるメロディを含む入力音信号から該メロディを表すメ
ロディ情報を抽出するメロディ情報抽出装置に於いて、 前記入力音信号を受け、該入力音信号から基本周波数成
分の音信号を抽出し、該抽出された基本周波数の音信号
を表す基本周波数音信号を出力する基本周波数抽出手段
と、 前記基本周波数音信号を所定周期Tでサンプリングして
、それぞれ第0乃至第N(N≧1)のサンプル時点でサ
ンプリングされた基本周波数を表す第0乃至第Nのデジ
タル周波数信号f(0)〜f(NT)を出力する周波数
カウンタと、 前記第1乃至第Nのデジタル周波数信号f(0)〜f(
NT)を処理して、前記入力音信号のメロディ情報を求
めるメロディ情報算出手段とを有することを特徴とする
メロディ情報抽出装置。 9、前記メロディ情報算出手段は、第n(1≦n≦N)
のサンプル時点の第nのデジタル周波数信号f(nT)
と第0のサンプル時点の第0のデジタル周波数信号f(
0)との比である音程に基づいて、所定周期T毎にそれ
らの間の相対音階を算出し、該算出された相対音階を表
す算出相対音階信号列を出力する相対音階算出手段を有
し、 前記算出相対音階信号列を前記入力音信号のメロディ情
報として抽出することを特徴とする請求項8記載のメロ
ディ情報抽出装置。 10、前記メロディ情報算出手段は、更に、前記算出相
対音階信号列の変化点を検出し、変化した相対音階を表
す検出相対音階情報を出力する相対音階変化点検出手段
を有し、 前記検出相対音階情報を前記入力音信号のメロディ情報
として抽出することを特徴とする請求項9記載のメロデ
ィ情報抽出装置。 11、前記メロディ情報算出手段は、更に、前記算出相
対音階信号列中の連続する同一相対音階の継続時間を計
数し、相対音階毎の計数された継続時間を表す計数継続
時間情報を出力する継続時間計数手段を有し、 前記検出相対音階情報と前記計数継続時間情報との組を
前記入力音信号のメロディ情報として抽出することを特
徴とする請求項10記載のメロディ情報抽出装置。 12、前記メロディ情報算出手段は、第n(1≦n≦N
)のサンプル時点の第nのデジタル周波数信号f(nT
)と第(n−1)のサンプル時点の第(n−1)のデジ
タル周波数信号f((n−1)T)との比である音程に
基づいて、所定周期T毎にそれらの間の音階差を算出し
、該算出された音階差を表す算出音階差信号列を出力す
る音階差算出手段を有し、前記算出音階差信号列を前記
入力音信号のメロディ情報として抽出することを特徴と
する請求項8記載のメロディ情報抽出装置。 13、前記メロディ情報算出手段は、更に、前記算出音
階差信号列の変化点を検出し、変化した音階差を表す検
出音階差情報を出力する音階差変化点検出手段を有し、 前記検出音階差情報を前記入力音信号のメロディ情報と
して抽出することを特徴とする請求項12記載のメロデ
ィ情報抽出装置。 14、前記メロディ情報算出手段は、更に、前記算出音
階差信号列中の連続する零の音階差の継続時間を計数し
、計数された継続時間を表す計数継続時間情報を出力す
る継続時間計数手段を有し、前記検出音階差情報と前記
計数継続時間情報との組を前記入力音信号のメロディ情
報として抽出することを特徴とする請求項13記載のメ
ロディ情報抽出装置。
[Claims] 1. A melody that extracts melody information representing a melody from an input sound signal including a melody consisting of a combination of a plurality of scales and the duration of each scale, and outputs the extracted melody information. information extraction means; melody information registration means for registering in advance melody information representing at least one predetermined melody and outputting the registered melody information; melody information comparison means for comparing the melody information included in the input sound signal to recognize the melody included in the input sound signal. 2. The melody information extracting means extracts a data string of fundamental frequency components obtained by sampling the input sound signal at a predetermined period based on the ratio of the data at each sampling point and the data at the first sampling point. and outputs the calculated relative scale signal string as the extracted melody information, and the melody information registration means extracts the calculated relative scale signal string representing the relative scale calculated by 2. A registered relative scale signal sequence representing a relative scale at each predetermined period based on a sound frequency is registered, and the registered relative scale signal sequence is output as the registered melody information. melody recognition device. 3. The melody information extracting means extracts a data string of fundamental frequency components obtained by sampling the input sound signal at a predetermined period based on the ratio of the data at each sampling point and the data at the first sampling point. extracting detected relative scale information representing a relative scale that has changed in the relative scale calculated by the method, and outputting the detected relative scale information as the extracted melody information; 2. Registered relative scale information representing a changed relative scale based on the frequency of the first note of a melody, and outputs the registered relative scale information as the registered melody information. melody recognition device. 4. The melody information extracting means extracts melody information based on the ratio of the data at each sampling point and the data at the first sampling point, with respect to the data string of the fundamental frequency component obtained by sampling the input sound signal at a predetermined period. A set of detected relative scale information representing a relative scale that has changed in the relative scale calculated by the method and counted duration information obtained by counting the duration of each relative scale is extracted, and The melody information registration means outputs a set with count duration information as the extracted melody information, and the melody information registration means registers a registered relative scale representing a changed relative scale based on the frequency of the first note of the predetermined melody. A set of information and registered duration information representing the duration of each relative scale is registered, and a set of the registered relative scale information and the registered duration information is output as the registered melody information. The melody recognition device according to claim 1. 5. The melody information extraction means extracts data at a current sampling point and data at a sampling point before the predetermined period from a data string of fundamental frequency components obtained by sampling the input sound signal at a predetermined period. The melody information registration means extracts a calculated scale difference signal sequence representing a scale difference calculated based on the ratio, outputs the calculated scale difference signal sequence as the extracted melody information, and the melody information registration means 2. The melody recognition device according to claim 1, further comprising: registering a registered scale difference signal sequence representing the scale difference for each predetermined cycle, and outputting the registered scale difference signal sequence as the registered melody information. 6. The melody information extraction means extracts data at a current sampling point and data at a sampling point before the predetermined period from a data string of fundamental frequency components obtained by sampling the input sound signal at a predetermined period. extracting detected scale difference information representing a scale difference that has changed among the scale differences calculated based on the ratio, and outputting the detected scale difference information as the extracted melody information; registering scale difference information representing a scale difference of a predetermined melody;
2. The melody recognition device according to claim 1, wherein the registered scale difference information is output as the registered melody information. 7. The melody information extraction means extracts data at a current sampling point and data at a sampling point before the predetermined period from a data string of fundamental frequency components obtained by sampling the input sound signal at a predetermined period. Extract a set of detected scale difference information representing a scale difference that has changed among the scale differences calculated based on the ratio, and count duration information obtained by counting the duration of consecutive zero scale differences, and The melody information registration means outputs a set of the detected scale difference information and the counting duration information as the extracted melody information, and the melody information registration means outputs a set of the detected scale difference information and the counting duration information, and the melody information registration means outputs each set of the detected scale difference information and the counted duration information as the extracted melody information. A claim characterized in that a set with registered duration information representing a duration of zero of a scale difference is registered, and a set of the registered scale difference information and the registered duration information is output as the registered melody information. The melody recognition device according to item 1. 8. In a melody information extraction device that extracts melody information representing a melody from an input sound signal including a melody consisting of a combination of a plurality of scales and the duration of each scale, the melody information extraction device receives the input sound signal and extracts melody information representing the melody. fundamental frequency extraction means for extracting a sound signal of fundamental frequency components from an input sound signal and outputting a fundamental frequency sound signal representing the extracted fundamental frequency sound signal; and sampling the fundamental frequency sound signal at a predetermined period T. a frequency counter that outputs 0th to Nth digital frequency signals f(0) to f(NT) representing the fundamental frequencies sampled at the 0th to Nth (N≧1) sampling points, respectively; First to Nth digital frequency signals f(0) to f(
and melody information calculation means for calculating melody information of the input sound signal by processing the melody information (NT). 9. The melody information calculation means is the n-th (1≦n≦N)
nth digital frequency signal f(nT) at the sample time of
and the 0th digital frequency signal f(
0), calculates a relative scale between them at every predetermined period T, and outputs a calculated relative scale signal sequence representing the calculated relative scale. 9. The melody information extraction device according to claim 8, wherein the calculated relative scale signal sequence is extracted as melody information of the input sound signal. 10. The melody information calculation means further includes relative scale change point detection means for detecting a change point in the calculated relative scale signal sequence and outputting detected relative scale information representing the changed relative scale, 10. The melody information extraction device according to claim 9, wherein scale information is extracted as melody information of the input sound signal. 11. The melody information calculation means further counts the duration of successive identical relative scales in the calculated relative scale signal string, and outputs counted duration information representing the counted duration of each relative scale. 11. The melody information extraction device according to claim 10, further comprising a time counting means, and extracting a set of the detected relative scale information and the counting duration information as melody information of the input sound signal. 12. The melody information calculation means is configured to calculate the nth (1≦n≦N
) at the sampling time of the n-th digital frequency signal f(nT
) and the (n-1)th digital frequency signal f((n-1)T) at the (n-1)th sampling time, the interval between them is determined at every predetermined period T. It is characterized by having a scale difference calculation means for calculating a scale difference and outputting a calculated scale difference signal sequence representing the calculated scale difference, and extracting the calculated scale difference signal sequence as melody information of the input sound signal. The melody information extraction device according to claim 8. 13. The melody information calculation means further includes a scale difference change point detection means for detecting a change point in the calculated scale difference signal sequence and outputting detected scale difference information representing the changed scale difference, and the detected scale. 13. The melody information extraction device according to claim 12, wherein the difference information is extracted as melody information of the input sound signal. 14. The melody information calculation means further includes a duration counting means for counting the duration of consecutive zero scale differences in the calculated scale difference signal string and outputting counted duration information representing the counted duration. 14. The melody information extracting device according to claim 13, wherein the melody information extraction device has a melody information extraction device, and extracts a set of the detected scale difference information and the counting duration information as melody information of the input sound signal.
JP2075485A 1990-03-27 1990-03-27 Melody recognition device and melody information extraction device used therefor Expired - Fee Related JP2969527B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2075485A JP2969527B2 (en) 1990-03-27 1990-03-27 Melody recognition device and melody information extraction device used therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2075485A JP2969527B2 (en) 1990-03-27 1990-03-27 Melody recognition device and melody information extraction device used therefor

Publications (2)

Publication Number Publication Date
JPH03276197A true JPH03276197A (en) 1991-12-06
JP2969527B2 JP2969527B2 (en) 1999-11-02

Family

ID=13577642

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2075485A Expired - Fee Related JP2969527B2 (en) 1990-03-27 1990-03-27 Melody recognition device and melody information extraction device used therefor

Country Status (1)

Country Link
JP (1) JP2969527B2 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08123818A (en) * 1994-10-25 1996-05-17 Nippon Telegr & Teleph Corp <Ntt> Musical information retrieving system and method thereof
JP2002024232A (en) * 2000-07-10 2002-01-25 Real World Computing Partnership Device and method for music retrieval
US6747201B2 (en) 2001-09-26 2004-06-08 The Regents Of The University Of Michigan Method and system for extracting melodic patterns in a musical piece and computer-readable storage medium having a program for executing the method
JP2012194653A (en) * 2011-03-15 2012-10-11 Nec Corp Data processing device, data processing system, data processing method, and program
US20140040980A1 (en) * 2010-11-12 2014-02-06 Google Inc. Syndication including melody recognition and opt out
US9142000B2 (en) * 2010-11-12 2015-09-22 Google Inc. Media rights management using melody identification
CN105957538A (en) * 2016-05-09 2016-09-21 大连民族大学 Polyphony melody extraction method based on significance

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0254300A (en) * 1988-08-19 1990-02-23 Nec Corp Automatic music selection device
JPH038394U (en) * 1989-06-09 1991-01-25

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0254300A (en) * 1988-08-19 1990-02-23 Nec Corp Automatic music selection device
JPH038394U (en) * 1989-06-09 1991-01-25

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08123818A (en) * 1994-10-25 1996-05-17 Nippon Telegr & Teleph Corp <Ntt> Musical information retrieving system and method thereof
JP2002024232A (en) * 2000-07-10 2002-01-25 Real World Computing Partnership Device and method for music retrieval
US6747201B2 (en) 2001-09-26 2004-06-08 The Regents Of The University Of Michigan Method and system for extracting melodic patterns in a musical piece and computer-readable storage medium having a program for executing the method
US20140040980A1 (en) * 2010-11-12 2014-02-06 Google Inc. Syndication including melody recognition and opt out
US9129094B2 (en) * 2010-11-12 2015-09-08 Google Inc. Syndication including melody recognition and opt out
US9142000B2 (en) * 2010-11-12 2015-09-22 Google Inc. Media rights management using melody identification
US20150332024A1 (en) * 2010-11-12 2015-11-19 Google Inc. Syndication Including Melody Recognition and Opt Out
US9396312B2 (en) 2010-11-12 2016-07-19 Google Inc. Syndication including melody recognition and opt out
JP2012194653A (en) * 2011-03-15 2012-10-11 Nec Corp Data processing device, data processing system, data processing method, and program
CN105957538A (en) * 2016-05-09 2016-09-21 大连民族大学 Polyphony melody extraction method based on significance
CN105957538B (en) * 2016-05-09 2019-06-11 大连民族大学 Polyphony Melody extraction method based on conspicuousness

Also Published As

Publication number Publication date
JP2969527B2 (en) 1999-11-02

Similar Documents

Publication Publication Date Title
US5434949A (en) Score evaluation display device for an electronic song accompaniment apparatus
US5715179A (en) Performance evaluation method for use in a karaoke apparatus
US20080115656A1 (en) Tempo detection apparatus, chord-name detection apparatus, and programs therefor
JPH03276197A (en) Melody recognizing device and melody information extracting device to be used for the same
US5321794A (en) Voice synthesizing apparatus and method and apparatus and method used as part of a voice synthesizing apparatus and method
JP2876861B2 (en) Automatic transcription device
JP2897701B2 (en) Sound effect search device
JPH0261760B2 (en)
JP2956750B2 (en) Chorus effect device
JP2711523B2 (en) Chorus effect device
JPS587197A (en) Singing voice generator
JPH06318088A (en) Automatic key controller for karaoke device
JPS5812000A (en) Voice synthesizer with voiceless plosive
JP2689709B2 (en) Electronic musical instrument
JPS608520B2 (en) Speech synthesis device for melody sound synthesis
JPS60140299A (en) Phoneme piece editing type voice analyzer
JPS62113200A (en) Fundamental cycle detector for voice signal
JPH03113478A (en) Automatic musical performance device
JPH06295194A (en) Signal comparing device
JPS62115200A (en) Fundamental cycle detector for voice signal
JPS6036597B2 (en) speech synthesizer
JPH0643887A (en) Automatic key controller for karaoke device
JPS59220795A (en) Electronic musical instrument
JPS58211194A (en) Electronic musical instrument
JPH0863177A (en) Karaoke sing-along marking method and marking device

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070827

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080827

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080827

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090827

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees