JP3433818B2 - Song search apparatus - Google Patents

Song search apparatus

Info

Publication number
JP3433818B2
JP3433818B2 JP09665193A JP9665193A JP3433818B2 JP 3433818 B2 JP3433818 B2 JP 3433818B2 JP 09665193 A JP09665193 A JP 09665193A JP 9665193 A JP9665193 A JP 9665193A JP 3433818 B2 JP3433818 B2 JP 3433818B2
Authority
JP
Japan
Prior art keywords
means
data
music
index
song
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP09665193A
Other languages
Japanese (ja)
Other versions
JPH06290574A (en
Inventor
一郎 宍戸
Original Assignee
日本ビクター株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本ビクター株式会社 filed Critical 日本ビクター株式会社
Priority to JP09665193A priority Critical patent/JP3433818B2/en
Publication of JPH06290574A publication Critical patent/JPH06290574A/en
Application granted granted Critical
Publication of JP3433818B2 publication Critical patent/JP3433818B2/en
Anticipated expiration legal-status Critical
Application status is Expired - Lifetime legal-status Critical

Links

Description

【発明の詳細な説明】 【0001】 【産業上の利用分野】本発明は、音楽的な特徴や楽曲のイメージを指定して条件に合う楽曲を選び出す装置に係り、特に検索に必要なインデックス(索引)を自動的に作成する楽曲検索装置に関するものである。 BACKGROUND OF THE INVENTION [0001] Field of the Invention The present invention relates to a device to pick music that meet conditions specified by the image of the musical characteristics and music, in particular the index required for search ( index) relates to a music search apparatus for creating automatically. 【0002】 【従来の技術】従来より、カラオケ装置などにおいて、 2. Description of the Prior Art Conventionally, in such a karaoke machine,
楽曲の曲名・歌手名・歌詞などの情報を楽音情報に加えて格納しておき、楽曲の検索を行う提案がなされている。 Keep information such as Song Title, singer name, the lyrics of the song is stored in addition to the musical tone information, it proposed to carry out a search of the song have been made. (例えば、特開昭 62-291776号公報,特開平3-2735 (E.g., JP 62-291776, JP-A No. 3-2735
85号公報記載の装置) 。 85 JP device according). また、メロディを使った楽曲の検索として、特開平 2-54300号公報記載の装置がある。 Moreover, as music retrieval using a melody, there are devices in JP-2-54300 JP.
これは、ユーザが検索したい曲のメロディを歌うと、その歌声を分析して音程と音長情報を取り出し、あらかじめ格納された複数曲のメロディ情報との比較を行って、 This is because when the user sings a melody of the song to be searched, the singing voice to analyze removed pitch and tone length information, performs a comparison with the melody information of a plurality of tracks stored in advance,
入力メロディと似たメロディを持つ曲を出力するように構成したものである。 It is one that is configured to output a song with a melody similar to the input melody. 【0003】 【発明が解決しようとする課題】しかしながら、楽曲の曲名・歌手名・歌詞などの書誌的項目を使った検索では、例えば「以前耳にした曲を捜したい」というように、楽曲に関する正確な情報を持っていない場合に対応しにくい。 [0003] The object of the invention is to be Solved However, in the search using the bibliographic items such as Song Title, singer name, the lyrics of the song, and so on, for example, "I want to look for a song that was previously ears", about the music hardly corresponds to the case where you do not have accurate information. また、これら書誌的項目は、メロディ・ハーモニー・リズムといった音楽的な特徴とは直接関係ないため、音楽的な特徴を使って検索したいというニーズにも対応できない。 In addition, these bibliographic items, since it is not directly related to the musical features such as melody, harmony, rhythm, can not cope with the needs that you want to search using the music features. これらに対応する方法として、曲のイメージや音楽的特徴をあらかじめ付加しておくことも考えられるが、このような情報は人が判断して付加する必要があり、曲数が多い場合など多大な労力が必要となる。 As a method corresponding thereto, it is conceivable to advance additional images and musical characteristics of the music, such information must be added to determine the person, significant such as when the number of tracks is large effort is required. 【0004】一方、前記した特開平 2-54300公報記載のメロディによる検索装置では、書誌的項目が不明の場合や、音楽的な特徴を直接指定したい場合にある程度有効であるが、次のような問題点〜がある。 On the other hand, the search apparatus according to the melody of JP-A-2-54300 publication described above is useful when bibliographic item is unknown, although it is somewhat effective when specifying a musical characteristics directly, such as: there is a ~ problem. 一般にメロディを伴奏なしで正確に歌うには、かなりの回数その曲を聴く必要があり、記憶があやふやな曲、または全く聞いたことのない曲を検索することが難しい。 In general, without the accompaniment of the melody exactly sing, it is necessary to listen to the considerable number of times the song, it is difficult to find the no songs that the storage is heard iffy song or at all,. ボーカルの入っていない器楽曲などの場合、人間が正確に歌えないような複雑なメロディを持つものが相当あり、検索が困難である。 In the case of such as instrumental music, which does not contain a vocal, humans have equivalent those with a complex melody that does not sing correctly, the search is difficult. メロディを正確に歌う必要があるため精神的な緊張が伴い、人前で検索しにくいなど、検索を行う場所が制約される。 Mental tension due because there is a need to sing exactly the melody, such as difficult to find in public, the place to search is limited. 楽曲のメロディをディジタルデータとして格納しておく必要があるが、直接利用できる形で多数の楽曲のメロディデータを入手することは困難で、ほとんどの場合、データベース作成時に人手を介してデータを作成する必要があり、多大な労力が必要である。 It is necessary to store the melody of the song as digital data, it is difficult to obtain the melody data of many songs in a form that can be directly used, in most cases, to create the data via a manually during database creation There is a need, there is a need for a great deal of effort. 【0005】そこで、本発明は、検索に必要なインデックス(索引)を自動的に作成し、作成したインデックスをもとに音楽的な特徴や曲のイメージを指定して条件に合う楽曲を選び出す楽曲検索装置を提供するものである。 It is therefore an object of the present invention, is a musical pick out the music that automatically creates an index (index) required for search, meet the conditions by specifying the image of music features and songs based on the index created there is provided a retrieval device. 【0006】 【課題を解決するための手段】 本発明は上記課題を解決 [0006] Means for Solving the Problems The present invention solves the above problems
するために、下記の装置を提供するものである。 To, there is provided a device below. (1) 楽曲の曲名などの書誌的項目である1次的イン (1) primarily in a bibliographic items such as music of the Song Title
デックスを格納する手段と、前記楽曲の楽音データか Means for storing the index, whether tone data of the musical composition
ら、拍子分類データ、リズムパターン分類データ、及び Et al., Beat classification data, rhythm pattern classification data, and
基準音に対して特定の音程差を持つ和音が出現する頻度 Frequency at which the chord with a particular pitch difference with respect to the reference sound is appearance
データのうち少なくとも1つを生成すると共に、前記楽 And generates at least one of data, said music
曲の楽音データから楽曲のテンポを表すデータを生成 Generate the data representing the tempo of the music from the musical data of the song
し、この生成した各データを前記楽曲の音楽的特徴を示 And, it shows the musical characteristics of the respective data this generated the music
す指標である2次的インデックスとする2次的インデッ Secondary indexes to the secondary index is to index
クス作成手段と、前記作成した2次的インデックスを格 And the box creating means, a secondary index the created rated
納する手段と、検索すべき楽曲の条件を外部から入力す Enter the means to pay, the conditions of the music should be retrieved from the external
る手段と、前記各インデックスと前記入力された条件を It means that, the are the input and each index condition
比較する手段と、前記比較した結果に応じて検索した楽 Means for comparing, easy searched in accordance with the result of the said comparison
音データを出力する手段と、を備えたことを特徴とする Characterized by comprising means for outputting the sound data, the
楽曲検索装置。 Song search apparatus. (2) 楽曲の曲名などの書誌的項目である1次的イン (2) primarily in a bibliographic items such as music of the Song Title
デックスを格納する手段と、前記楽曲の楽音データか Means for storing the index, whether tone data of the musical composition
ら、拍子分類データ、リズムパターン分類データ、及び Et al., Beat classification data, rhythm pattern classification data, and
基準音に対して特定の音程差を持つ和音が出現する頻度 Frequency at which the chord with a particular pitch difference with respect to the reference sound is appearance
データのうち少なくとも1つを生成すると共に、前記楽 And generates at least one of data, said music
曲の楽音データから楽曲のテンポを表すデータを生成 Generate the data representing the tempo of the music from the musical data of the song
し、この生成した各データを前記楽曲の音楽的特徴を示 And, it shows the musical characteristics of the respective data this generated the music
す指標である2次的インデックスとする2次的インデッ Secondary indexes to the secondary index is to index
クス作成手段と、前記2次的インデックスから所定の線 A box forming means, predetermined line from the secondary index
形結合式に基づいて前記楽曲の所定のイメージに対する For a given image of the music on the basis of the shape coupling type
適合率を示す3次的インデックスを計算する3次的イン 3-order in calculating the 3-order index indicating the relevance ratio
デックス作成手段と、前記作成した2次及び3次的イン A Dex creating means, second and third-order in which the created
デックスを格納する手段と、検索すべき楽曲の条件を外 Means for storing the index, outer conditions of the music to be searched
部から入力する手段と、前記各インデックスと前記入力 Means for inputting from parts, the said input and each index
された条件を比較する手段と、前記比較した結果に応じ It means for comparing the conditions, depending on the result of the said comparison
て検索した楽音データを出力する手段と、 を備えたこと Further comprising a means for outputting a musical tone data search Te
を特徴とする楽曲検索装置。 Music search apparatus according to claim. 【0007】 【作用】CD(コンパクトディスク)など楽音データや、曲名などの書誌的項目である1次的インデックスが予め装置内に格納される。 [0007] [act] or musical data, etc. CD (compact disc), primarily index is bibliographic items, such as Song is stored in the apparatus in advance. これらの楽音データや1次的インデックスをもとにして、リズム情報や和音情報などの音楽的特徴(譜面に表現可能な客観的なデータ)を示す2次的インデックスを抽出作成される。 These tone data and primarily index based on, is extracted create secondary index indicating the musical characteristics such as rhythm information and chord information (objective data that can be represented in music). さらに、この2次的インデックスをもとにして、楽曲のイメージやその楽曲がふさわしい状況(主観的・感性的な特徴)を示す3次的インデックスが作成される。 Furthermore, the secondary index based on three-order index indicating the music of images and the music is appropriate situations (subjective-emotional features) are created. 1次的インデックスや、自動的に作成された2次及び3次的インデックスをもとにして、音楽的特徴や曲のイメージに基づく楽曲の検索がなされる。 Primarily indexes and, automatically second and third-order index created based on, music retrieval is performed based on the image of the musical characteristic and songs. 【0008】 【実施例】本発明になる楽曲検索装置の一実施例を以下、図面と共にに説明する。 [0008] [Example] An example of a music search apparatus according to the present invention will be described in conjunction with the drawings. 図1は、楽曲検索装置のブロック図である。 Figure 1 is a block diagram of a music searching device. (楽曲検索装置の全体の構成)同図において、1a及び1bは楽曲の楽音データと、曲名などの書誌的項目である1次的インデックスとを格納する手段である。 In (overall configuration of the song search apparatus) FIG, 1a and 1b is a means for storing the tone data of the music, and a 1-order index is a bibliographic items such as Song. 楽音データはデジタルまたはアナログ音響信号であり、1次的インデックスと合わせてCD(コンパクトディスク), Tone data is a digital or analog audio signal, together with primarily index CD (compact disc),
テープ,ハードディスクその他の読み出し可能な記憶媒体に格納されている。 Tape, stored in the hard disk other readable storage medium. 【0009】2は前記した格納手段1aの楽音データから、リズム情報や和音情報などの音楽的特徴(譜面に表現可能な客観的なデータ)を示す2次的インデックスを抽出作成する手段である。 [0009] 2 from the musical sound data storage means 1a described above, a means for extracting create a secondary index indicating the musical characteristics such as rhythm information and chord information (objective data that can be represented in music). 3は前記作成した2次的インデックスをもとに楽曲のイメージやその楽曲にふさわしい状況(主観的・感性的な特徴)を示す3次的インデックスを作成する手段である。 3 is a means for creating a 3-order index indicating the status appropriate to the original in the music of the images and the music (subjective-emotional features) a secondary index the created. これらのインデックス作成手段2,3により、作成された2次及び3次的インデックスは、格納手段4,5に格納記憶される。 These indexing means 2,3, second and third-order index created is stored stored in the storage means 4 and 5. 2次的インデックス及び3次的インデックスの格納手段4,5は、 Storage means 4 and 5 of the secondary index and 3-order index,
ハードディスク,光磁気ディスクなど読み書き可能な記憶媒体で構成されている。 Hard disk, and a writable storage medium such as a magneto-optical disk. 【0010】また、6は希望する楽曲の条件を入力する条件入力手段である。 [0010] In addition, 6 is a condition input means for inputting the conditions of the music you want. 条件入力手段6は、キーボード、 Condition input means 6, keyboard,
マウスなどで構成されており、例えば図2に示すように、1次,2次,3次的インデックスに対応したメニューの中から使用する項目を選択するようになっている。 Etc. is constituted by a mouse, for example, as shown in FIG. 2, first, second, and to select an item to be used from a menu corresponding to the 3-order index.
入力された条件は、前記した格納手段1b,4,5に記憶格納された各インデックスと、比較手段7で比較される。 Condition input, said the storage unit 1b, and each index stored stored in the 4,5, are compared in comparison means 7. そして、比較した結果に応じて、条件に合致した楽音データ(楽音データを再生した楽曲)や各インデックスが、検索結果出力手段8からを出力されるように構成されている。 Then, depending on the result of comparison, each index and tone data that matches (music reproduced tone data) to the condition is configured to be output from the retrieval result output means 8. 楽曲検索装置を構成するの各手段について、詳述する。 For each unit to constitute the music searching device will be described in detail. 【0011】(2次的インデックス作成手段2の構成) [0011] (the configuration of the secondary indexing means 2)
図3は、本発明の主要部の1つである2次的インデックス作成手段2の具体的な構成である。 Figure 3 is a specific configuration, one of the main parts of the secondary indexing means 2 of the present invention. 楽音データの格納手段1a(図1参照)に格納されている楽音データは、 Tone data stored in the storage unit 1a of the musical sound data (see FIG. 1)
アナログ信号である場合では、A/D変換器20にてデジタルデータに変換された後、1曲分のデータが解析用記憶装置21に格納される。 If an analog signal is converted by the A / D converter 20 into digital data, data for one piece of music is stored in the analysis storage device 21. そして、テンポ抽出手段22によるテンポ,拍子の抽出、打楽器パターン検出手段24によるリズムパターン抽出、特定和音検出手段28による特定和音抽出がなされて、2次的インデックスが作成される。 Then, extraction by the tempo extraction unit 22 tempo, beat, rhythm pattern extraction with percussion pattern detecting means 24, is made the specific chords extracted by the specific chord detection means 28, a secondary index is created. 【0012】<テンポ抽出手段22によるテンポ,拍子の抽出>テンポ抽出手段22では、楽曲のテンポ,拍子,拍子情報が抽出され、2次的インデックスとして利用される。 [0012] In <Tempo tempo by extracting means 22, the time signature of extraction> tempo extraction unit 22, the music tempo, time signature, time signature information is extracted and used as a secondary index. 楽曲のテンポ,拍子は以下のようにして、抽出される。 Music tempo, time signature as follows, are extracted. 解析用記憶装置21に格納されたデータから音響パワーデータを求め、音響パワーデータの微分値x Calculated sound power data from the stored in the analysis-storage device 21 data, the sound power data differential value x
(n){n=1〜N}を求める。 (N) obtaining the {n = 1~N}. ただしx(n)がある一定値より小さい場合はx(n)を0とする処理を行う。 However, if there is x (n) smaller than the predetermined value performs a process to x a (n) 0. x(n)は周期性を持ち、1拍に相当する時間差で相関が高くなる性質を持つので、x(n)に対して (1)式の演算を行う。 x (n) has a periodicity, conducted since for x (n) the operations (1) having the property of correlation is high in a time difference corresponding to one beat. ここで、整数 MをN1以上、N2以下の範囲で変化させた時に(ただし Here, the integer M N1 or more, when was changed in a range of N2 or less (
N1,N2 は、(0<N1<N2<N) を満たす整数)、B(M)最大となる時の M(以下これをMmaxとする)を求める。 N1, N2 determines the integer satisfying (0 <N1 <N2 <N)), B (M) becomes maximum when the M (hereinafter which is referred to as Mmax). さらに further
(2)式より1拍の長さτを求める。 (2) determining the length τ of one beat from the equation. 通常テンポは1分間の拍数で表わすので、 (3)式によりテンポTEを求める。 Since normal tempo expressed in beats per minute, obtaining the tempo TE by (3). 【0013】 【数1】 [0013] [number 1] 【数2】 [Number 2] 【数3】 [Number 3] 【0014】さらに (1)式において MをMmaxの2倍及び3倍とした時のB(M)を求め、2倍時のB(M)が3倍の時よりも大きければ4拍子系、その逆であれば3拍子系とする。 Furthermore (1) 2 times Mmax of M in formula and 3 times with B a (M) calculated at the time of, when double B (M) is three times greater if quadruple time system than when, and 3 meter system if it is vice versa. なお、1曲全体の拍の位置を検出し後の特定和音検出処理において利用する。 Note that use in a particular chord detection process after detecting the position of the beat of the whole song. x(n)に対して、Mmax±α( 例えばαはMmaxの10%) の周期毎にピークをチェックし、 Against x (n), check the peak in each cycle of Mmax ± alpha (e.g. alpha is 10% of Mmax),
ピークが存在すればそれを拍の位置とし、存在しなければ、次のピークが見つかるまで同様の処理を繰り返し、 If there is a peak to it the position of the beat, if not, it repeats the same processing until it finds the next peak,
その間は等均間隔で拍があるとみなす。 During which it considered that there is a beat in HitoshiHitoshi interval. 【0015】また、時間周波数テーブル作成手段23では、解析用記憶手段21に格納されたデータに対し、観測窓を一定時間(例えば数msec)ずつずらしながら FFT Further, FFT time the frequency table creation unit 23, to data stored in the analysis storage means 21, while shifting the observation window by a predetermined time (for example, several msec)
(離散的フーリエ変換)を行ってパワースペクトルを求め、図4に示すような時間周波数テーブルを作成する。 It obtains a power spectrum by performing a (discrete Fourier transform), to create a time-frequency table as shown in FIG.
以下、時間 t,周波数 fにおける時間周波数テーブルの値をS(t,f)とあらわす。 Hereinafter, it represents the time t, the value of the time-frequency table in the frequency f S (t, f) and. 【0016】<打楽器パターン検出手段24によるリズムパターン抽出>次に、打楽器パターン検出手段24 [0016] <percussion pattern detection means 24 by the rhythm pattern extraction> Next, percussion pattern detection means 24
によるリズムパターン(ビート)抽出について説明する。 For rhythm patterns (beat) extraction by explaining. リズムパターンは打楽器の演奏パターンによりおおよそ分類できると考えられるので、打楽器演奏情報の抽出を行う。 Since the rhythm pattern is believed to be roughly classified by the play pattern of percussion instruments, performs the extraction of percussion performance information. また打楽器の演奏情報を抽出利用することは、他の楽器の演奏情報を抽出利用することに比べ実用的であると言える。 The extracting utilizing percussion information is said to be practical in comparison to extract utilizing the performance information of other instruments. リズムパターンの分類は、例えば「ドラムなし」,「8ビート」,「16ビート」であるが、これらに限定するものではない。 Classification of the rhythm pattern, for example, "no drum", "8 Beat", is a "16 beat", the present invention is not limited to these. 【0017】打楽器スペクトルデータ格納手段25には、検出する打楽器の代表的なパワースペクトの時間変化情報D(t,f)が図5に示すように、打楽器の種類毎に格納されている。 [0017] percussion spectral data storage unit 25, time change information D (t, f) of a typical power spectrum of the percussion detecting the as shown in FIG. 5, is stored for each type of percussion. 打楽器パターン検出手段24では、S(t, In percussion pattern detecting means 24, S (t,
f), D(t,f)に対し (4)式の演算を行い、時間T における両者の距離H(T)がある一定の値より小さくなる時間を求め、これを打楽器が演奏された時間とみなす。 f), D (t, f) to perform the calculation of the equation (4), determine the smaller becomes longer than certain value both distance H (T) at time T, the time in which it is percussion played regarded as. 【0018】 【数4】 [0018] [number 4] 【0019】さらに図6に示すように、前記打楽器演奏時間を1拍の長さの整数分の1の単位時間で規格化し音符化する。 Furthermore, as shown in FIG. 6, the note of standardized with 1 unit time of the percussion time integral fraction of the length of the one beat. 例えば、通常の歌謡曲、ポピュラー音楽では1拍の長さの12分の1程度を単位時間とすれば十分な時間精度で演奏情報が得られる。 For example, a typical pop songs, performance information with sufficient time accuracy when the 1 degree 12 minutes length of one beat and unit time is obtained in popular music. 以上の処理を検出する打楽器の数だけ行う。 Performed by the number of percussion for detecting the above processing. 通常の歌謡曲、ポピュラー音楽では、数種類程度の打楽器を検出すれば十分である。 The usual pop songs, the popular music, it is sufficient to detect the percussion instruments of the order of several kinds. 【0020】各種リズムパターン格納手段26には、図7に示すように、前記単位時間で表わした個々の打楽器の演奏情報と総合的なリズムパターンとの関係が格納されている。 [0020] Various rhythm pattern storage unit 26, as shown in FIG. 7, the relationship between the overall rhythm pattern and the individual percussion information expressed in the unit time is stored. 抽出された複数の打楽器の演奏情報を格納された演奏情報と比較し、最も近いリズムパターンをその楽曲のリズムパターンと判定する。 Performance information of the extracted plurality of percussion instrument as compared to the performance data that has been stored, determining the closest rhythm pattern and rhythm pattern of the song. 一例として、ハイハットが8分音符を中心に構成されていてスネアが2、4 As an example, snare hi-hat built around the eighth note 2,4
拍を中心に入っていれば、「8ビート」と判定する。 If entered the center of the beats, it is determined that the "8 beat". また打楽器が全くなければ、「ドラムなし」と判定する。 Also if there is no percussion, it is determined that "no drums". 【0021】<特定和音検出手段28による特定和音抽出>次に、音程検出手段27、特定和音検出手段28 [0021] <specific chords extracted by the specific chord detection means 28> Next, the pitch detecting means 27, the particular chord detection means 28
による特定和音抽出について説明する。 For a particular chord extraction due to be explained. 和音の中には、 In the chord,
楽曲の性格に大きく影響する特徴的なものがあると考えられ、このような和音を検出するために、特定和音検出手段28で、図8に示すような処理を行う。 It is likely a characteristic that greatly affect the personality of the music, in order to detect such chords, in particular chord detection unit 28 performs processing as shown in FIG. 【0022】最初に、音程検出手段27において、前記時間周波数テーブルから一定時間以上ほぼ同じ周波数が続く部分を有音程楽器(歌声も含む)が演奏されたところとみなし、この部分の周波数を平均化処理した後、平均律の音階に対応させる。 [0022] First, the pitch detection unit 27, regarded as where substantially part the same frequency continues for more than a predetermined time from the time-frequency table Yes pitch instruments (including voice) is played, averaging the frequency of this part after processing, it made to correspond to the scale of equal temperament. 時間軸は前記求めた拍の位置に対応させる。 The time axis to correspond to the position of the beat obtained above. この結果、図9に示すような音程マップが得られる。 As a result, pitch map as shown in FIG. 9 is obtained. ところで、大部分の曲では複数の有音程楽器が使われているが、今のところ複数の有音程楽器が混合した音響信号から各々の楽器パートの演奏情報を分離して検出する技術は実用的ではない。 However, the majority although the song has been used a plurality of chromatic pitch instruments, separating and detecting performance information for now more chromatic pitch instruments each from the acoustic signal obtained by mixing instrument part technique practical is not. しかし和音の根音を基準にして特定の度数を持つものを検出することは、 But detecting those with certain frequency the root of a chord based on the
楽器パートの分離をしなくても可能であり、音楽的な特徴も十分よく表わすため、実用的である。 Are possible without the separation of the instrument part, to represent musical features may well, is practical. 【0023】特定和音検出手段28では、4拍子系の場合は4拍に1回、3拍子系の場合は3拍に1回の割合で、前記音程マップの1拍の長さに相当する区間の最低音を検査する。 [0023] In particular chord detection means 28, one in the case of quadruple time based on four beats, or 3 for a time signature system once in every three beats, a section corresponding to the length of one beat of said pitch map to examine the lowest note. この区間で最低音の音程が変化していなければ、有効な区間とみなし以下の処理を行い、変化していれば次の区間を検査する(図8のステップ28a, If not affect the pitch of the lowest note in this interval, proceed as follows deemed valid period, if the change examines the next interval (step 28a in FIG. 8,
28b,28c)。 28b, 28c). 有効な区間であれば、最低音を根音と見なし、その区間に含まれる音程全てについて最低音との音程差(度数)を計算し、その度数があらかじめ格納された度数データと比較し、一致していれば特定和音とする(ステップ28d,28e,28f)。 Any valid section, regarded as the root note of the lowest note, pitch difference between the lowest sound (frequency) calculated for all pitch included in the interval, as compared to the frequency data which the frequency is previously stored one it will be with a particular chord if (step 28d, 28e, 28f). さらに、 further,
1曲全体を通して特定和音の出現頻度を計算する(ステップ28g)。 Throughout songs calculating the frequency of occurrence of a particular chord (step 28 g). 【0024】特定和音の一例として、根音に対し9,1 [0024] As an example of a particular chord, to the root 9,1
1,13度の度数を持つ「テンションコード」があげられるが、検出する和音はこれらに限定しない。 With a frequency of 1, 13 degrees "tension code" and the like, but the chord to be detected is not limited to these. テンションコードは、例えばジャズで多く使われるなど、曲のジャンルや雰囲気に密接に関係すると考えられる。 Tension code, such as, for example, is often used in jazz, it is considered closely related to the genre and the atmosphere of the song. 以上の処理により求まった「テンポ」、「特定和音の頻度」は数値として、「拍子」、「リズムパターン」は分類コードの形で格納され、3次的インデックス作成手段3及び比較手段7(図1参照)で利用される。 Was Motoma' the above process "Tempo", "frequency of a particular chord" as numeric, "beat", "Rhythm Pattern" is stored in the form of classification code 3-order index creation means 3 and comparison means 7 (FIG. is used in the first reference). 【0025】(3次的インデックス作成手段3の構成) [0025] (the configuration of the 3-order index creation means 3)
次に、3次的インデックス作成手段3(図1参照)について説明する。 Next, a description will be given 3-order indexing means 3 (see FIG. 1). 2次的インデックスの情報は、「1分間に4分音符 120のテンポ」、「8ビート」といった音楽的な特徴(譜面に表現可能な客観的なデータ)を表わしており、もちろん利用者がこのような特徴を直接指定してもよい。 Information of secondary indexes, "Tempo quarter note 120 in 1 minute" represents the musical features such as "8 Beat" (objective data that can be represented in music), of course the user this wherein the may be specified directly, such as. しかしこの方法では若干の音楽的な知識が必要となるので、場合によっては他の指定方法の方が望ましいことがある。 However since some musical knowledge this method is required, in some cases it towards the other designated process is desirable. 楽曲のイメージや楽曲を聞くのに適した状況と前記作成した2次的インデックスの間にはある種の相関があると考えられるので、これを利用して3次的インデックスを作成する。 Since during the secondary index to status and the creation suitable for listening to images and music of the song it is believed that certain correlation, to create a 3-order index using the same. まず3次的インデックスの項目を決める。 First, select an item of 3-order index. 例えば、楽曲のイメージとして「明るさ」や「モダンさ」、楽曲を聞く状況として「BGM 」や「ドライブ」など、主観的・感性的な特徴が考えられる。 For example, "brightness" and "modern" as an image of the music, such as "BGM" or "drive" as a situation to hear the music, subjective, emotional features are considered. 【0026】次に各々の項目について、それらしさを表わす適合率Gi{i=1〜K:K は3次的インデックスの数} と2次的インデックスの各項目の値Ej{j=1〜L:L は2次的インデックスの数} の関係を例えば (5)式で表わし、重み係数Wijを求める。 [0026] Next, each of the items, adaptation rate Gi representing it likeness {i = 1~K: K is 3-order index number} and for each item of the secondary index value Ej {j = 1 to L : L represents a relationship between the number of secondary indexes} example (5) in equation obtaining the weight coefficient Wij. 【0027】 【数5】 [0027] [number 5] 【0028】ここでWijは、格納されている楽曲の中の一部に対し人間がGiを与え、それらのEjとの関係を多変量解析の手法により求める。 [0028] Here Wij a human gives a Gi for some in the music stored, obtaining the relationship between their Ej by multivariate analysis. Wijが求まったら (5)式により格納されている全ての楽曲についてGiを算出し、3 When Motoma' is Wij (5) for all of the music stored calculates Gi by equation 3
次的インデックス格納手段5(図1参照)に格納する。 Stores the following manner index storage means 5 (see FIG. 1).
ここでは線形の関係づけを行ったが、非線形の関係づけを行ってもよい。 Here it was performed a linear relationship pickles may be performed relationship pickled nonlinear. なお、2次的及び3次的インデックスの作成は、楽音データ及び1次的インデックスの格納とは独立して行うことができるので、データベース作成後の検索項目の変更も比較的容易に行える。 Incidentally, the creation of secondary and tertiary index is, since the stored tone data and first-order index can be performed independently, relatively easily be modified for the search item after database creation. 【0029】(1次,2次,3次的インデックスを利用した楽曲検索)前述した図1に示すように、条件入力手段6は、キーボード、マウスなどで構成されており、例えば図2に示すように、1次的インデックスI 1 ,2次的インデックスI 2 ,3次的インデックスI 3に対応した検索メニューMの中から使用する項目を選択するようになっている。 As shown in (first, second, third-order index music search using) Figure 1 described above, the condition input means 6, a keyboard, etc. is constituted by a mouse, for example, shown in FIG. 2 as such, and to select an item to be used from a search menu M corresponding to the primary index mechanisms I 1, 2-order index I 2, 3-order index I 3. 複数の項目を使用してAND 、OR条件を指定してもよい。 AND using multiple items, you may specify an OR condition. テンポなどに関して、数字を直接入力せずに「はやい」,「おそい」などの大まかな指定をしてもよい。 Tempo with respect to, such as, "fast" without entering a number directly, may be a rough designation, such as "slow". この場合ファジー理論を使った処理をおこなってもよい。 In this case it may be subjected to processing using fuzzy theory. 【0030】また既知の楽曲をキーとして入力することも可能であり、この場合はキーの楽曲の2次,3次インデックスを使って比較する。 Further it is also possible to input the known music as a key, secondary music of this case is the key, it compares with the tertiary index. 比較手段7は、入力された条件と1次,2次,3次インデックスデータとの比較を行う。 Comparison means 7 performs condition and the primary input, secondary, compared with the tertiary index data. 1次インデックスに対する比較は通常の検索と同様である。 Comparison to the primary index is the same as normal search. 2次インデックスに対しては、それぞれの項目の数値または分類コードが近いものを候補とする。 For secondary index, numeric or classification code for each item is a candidate to close. また3次インデックスに対しては、適合率Giの大きい曲を候補とする。 For also the tertiary index, a candidate large song adaptation rate Gi. 検索結果は、条件にあった1曲または複数の楽曲の曲名をはじめ1次,2次,3次インデックス情報がモニタ画面に表示されると同時に、スピーカを通して音声信号として、検索結果出力手段8から再生される。 Results are started primary the title of a song or songs that were in condition, as a secondary, and at the same time tertiary index information is displayed on the monitor screen, the audio signal through a speaker, from the search result output means 8 It is played. 【0031】 【発明の効果】以上詳述したように、本発明になる楽曲検索装置は以下〜のような特長を有する。 [0031] As has been described above in detail, the music retrieval apparatus according to the present invention has the features such as - follows. 音楽的な特徴(2次的インデックス)や楽曲のイメージ(3次 Musical features (secondary index) and music of the image (3-order
的インデックス)を使って検索できるので、正確な情報を持たない場合にも楽曲を検索することができ、利用範囲が広がる。 Since the index mechanisms) can search using allows you to find the music even if it does not have accurate information, spread the use range. 楽曲のイメージを使って検索する場合に If you search using an image of the music
は、利用者にとっては、イメージを頼りに知らない曲にも容易にアクセスできるので、従来に比べ実際に活用できる楽曲が増える。 It is, for the user, because the image can be easily access to songs that do not know to rely on, actually utilized can music is increased as compared with the prior art. 楽曲データから検索に使うインデックスを自動的に抽出作成できるので、人間が判断して付加する場合に比べ、データベース構築が大幅に省力化される。 Since the index using the music data retrieval automatically extract can be created, compared to when a person is added to determine, database construction is considerably labor-saving. さらに、データベース作成後の検索項目の変更にも容易に対応できる。 Furthermore, readily cope with change of the search item after database creation. また、リズム情報や和音情報などの音楽的特徴(譜面に表現可能な客観的なデータ)を示す2次的インデックスを抽出作成し、この2次的インデックスをもとにして、楽曲のイメージ(主観的・感性的な特徴)を示す3次的インデックスを作成するように In addition, to create extract the secondary index indicating the musical features such as rhythm information and chord information (objective data that can be represented in music), and the secondary index to the original, the music images ( to create a 3-order index indicating a subjective-emotional features)
した場合には、簡単に、実用性のあるインデックスが得られる。 When the simple index of utility is obtained. メロディを直接条件として入力しないので、 Because you do not enter as a condition the melody directly,
どのような種類の曲にも使え、誰にでも利用でき、検索場所も選ばずに行える。 Can also be used in any kind of song, anyone can use to, it can be performed without selecting also search location.

【図面の簡単な説明】 【図1】本発明になる楽曲検索装置の一実施例を示すブロック図である。 It is a block diagram showing an embodiment BRIEF DESCRIPTION OF THE DRAWINGS [Figure 1] song search apparatus according to the present invention. 【図2】検索条件入力時のメニュー画面の一例である。 FIG. 2 is an example of a menu screen at the time of the search condition input. 【図3】2次的インデックス作成手段のブロック図である。 FIG. 3 is a block diagram of the secondary indexing means. 【図4】時間周波数テーブルの一例である。 FIG. 4 is an example of a time-frequency table. 【図5】打楽器のパワースペクトル時間変化情報の一例である。 5 is an example of a percussion power spectrum time change information. 【図6】打楽器の演奏情報抽出を説明する図である。 FIG. 6 is a diagram illustrating the performance information extraction of percussion instruments. 【図7】各種リズムパターンの一例である。 FIG. 7 is an example of the various rhythm patterns. 【図8】特定和音抽出のフローチャートである。 8 is a flowchart of a particular chord extraction. 【図9】音程マップの一例である。 [9] is an example of a pitch map. 【符号の説明】 1a,1b 1次的インデックスを格納する手段、 2 2次的インデックス抽出作成手段、 3 3次的インデックス作成手段、 4 2次的インデックス格納手段、 5 3次的インデックス格納手段、 6 (検索条件)入力手段、 7 比較手段、 8 検索結果出力手段、 22 テンポ抽出手段、 24 打楽器パターン検出手段、 28 特定和音検出手段M 検索メニュー、 I 1 1次的インデックス、 I 2 2次的インデックス、 I 3 3次的インデックス。 [Reference Numerals] 1a, means for storing 1b 1-order index, 2 secondary index extraction creation means, 3 3-order indexing means 4 secondary index storage means, 5 3-order index storage means, 6 (search condition) input means, 7 comparing means 8 search result output means, 22 tempo extraction unit, 24 percussion pattern detecting means, 28 a particular chord detection means M search menu, I 1 1-order index, I 2 2-order index, I 3 3-order index.

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl. 7 ,DB名) G11B 27/10 G10K 15/04 302 G10H 1/38 G10H 1/40 ────────────────────────────────────────────────── ─── of the front page continued (58) investigated the field (Int.Cl. 7, DB name) G11B 27/10 G10K 15/04 302 G10H 1/38 G10H 1/40

Claims (1)

  1. (57)【特許請求の範囲】 【請求項1】 楽曲の曲名などの書誌的項目である1次的 (57) Claims: 1. A primarily a bibliographic items such as songs Song
    インデックスを格納する手段と、 前記楽曲の楽音データから、拍子分類データ、リズムパ Means for storing the index, the tone data of the song, beat classification data, rhythm
    ターン分類データ、及び基準音に対して特定の音程差を Turn classification data, and a specific pitch difference relative to the reference tone
    持つ和音が出現する頻度データのうち少なくとも1つを At least one of the frequency data chord appears with
    生成すると共に、前記楽曲の楽音データから楽曲のテン With resulting, music Ten from tone data of the musical composition
    ポを表すデータを生成し、この生成した各データを前記 It generates data representing the port, the respective data this product
    楽曲の音楽的特徴を示す指標である2次的インデックス Secondary index is an indicator of the musical characteristics of the song
    とする2次的インデックス作成手段と、 前記作成した2次的インデックスを格納する手段と、 検索すべき楽曲の条件を外部から入力する手段と、 前記各インデックスと前記入力された条件を比較する手 Hand comparing the secondary indexing means, means for storing the secondary index the created, means for inputting the conditions of the music to be retrieved from the external, the is the input to each index conditions that
    段と、 前記比較した結果に応じて検索した楽音データを出力す It outputs a stage, a musical tone data search according to a result of the said comparison
    る手段と、 を備えたことを特徴とする楽曲検索装置。 Music searching device comprising means that, further comprising: a. 【請求項2】 楽曲の曲名などの書誌的項目である1次的 2. A 1-order is a bibliographic items such as music of the Song Title
    インデックスを格納する手段と、 前記楽曲の楽音データから、拍子分類データ、リズムパ Means for storing the index, the tone data of the song, beat classification data, rhythm
    ターン分類データ、及び基準音に対して特定の音程差を Turn classification data, and a specific pitch difference relative to the reference tone
    持つ和音が出現する頻度データのうち少なくとも1つを At least one of the frequency data chord appears with
    生成すると共に、前記楽曲の楽音データから楽曲のテン With resulting, music Ten from tone data of the musical composition
    ポを表すデータを生成し、この生成した各データを前記 It generates data representing the port, the respective data this product
    楽曲の音楽的特徴を示す指標である2次的インデックス Secondary index is an indicator of the musical characteristics of the song
    とする2次的インデックス作成手段と、 前記2次的インデックスから所定の線形結合式に基づい And secondary indexing means to, based from the secondary index to a predetermined linear combination formula
    て前記楽曲の所定のイメージに対する適合率を示す3次 Tertiary showing the relevance ratio with respect to a predetermined image of the music Te
    的インデックスを計算する3次的インデックス作成手段 3-order indexing means for calculating the index mechanisms
    と、 前記作成した2次及び3次的インデックスを格納する手 When the hand of storing the second and third-order index the created
    段と、 検索すべき楽曲の条件を外部から入力する手段と、 前記各インデックスと前記入力された条件を比較する手 Hand comparing the stage, means for inputting the conditions of the music from the outside to be searched, the is the input to each index condition
    段と、 前記比較した結果に応じて検索した楽音データを出力す It outputs a stage, a musical tone data search according to a result of the said comparison
    る手段と、 を備えたことを特徴とする楽曲検索装置。 Music searching device comprising means that, further comprising: a. 【請求項3】 前記2次的インデックス作成手段は、 楽音データの時間周波数テーブルを作成する手段と、 楽曲のリズムパターンに密接に関係する種類の打楽器に Wherein the secondary indexing means includes means for creating a time-frequency table of the tone data, the type of percussion instrument that closely related to the rhythm pattern of music
    ついて代表的スペクトルデータを格納する手段と、 各リズムパターン毎に各打楽器の演奏タイミングを格納 It means for storing the representative spectral data with, store performance timing of each percussion instrument for each rhythm pattern
    する各種リズムパターン格納手段と、 前記時間周波数テーブルと前記打楽器の代表的スペクト And various rhythm pattern storage means for representative spectrum of the time and the frequency table said percussion
    ルデータと前記各打楽器の演奏タイミングとを用いて楽 Easier by using the the Rudeta and the performance timing of each percussion instrument
    曲のリズムパターンを判定し、リズムパターン分類デー To determine the rhythm pattern of the song, rhythm pattern classification Day
    タを得る打楽器パターン検出手段と、 を有することを特徴とする請求項1または請求項2に記 Serial to claim 1 or claim 2 characterized in that it has a percussion pattern detecting means for obtaining data, the
    載の楽曲検索装置。 The placing of the song search apparatus. 【請求項4】 前記2次的インデックス作成手段は、 楽音データの時間周波数テーブルを作成する手段と、 前記時間周波数テーブルから一定時間以上一定範囲の周 Wherein said secondary indexing means includes means for creating a time-frequency table of the tone data, circumferential a range predetermined time or more from the time-frequency table
    波数成分が持続する部分を有意な音程として検出する音 Sound detecting portion wavenumber component persists as a significant pitch
    程検出手段と、 前期音程検出手段の出力から基準音となる最低音を検出 And the extent detection means, the lowest sound that serves as a reference tone from the output of the previous fiscal year interval detection means detection
    し、基準音と特定の音程差をもつ音が存在する区間を特 JP, and a reference sound interval which a particular sound with pitch difference exists
    定和音の存在区間とし、特定和音の出現頻度を計算し、 A constant chord presence section calculates the appearance frequency of a particular chord,
    基準音に対して特定の音程差を持つ和音が出現する頻度 Frequency at which the chord with a particular pitch difference with respect to the reference sound is appearance
    データを得る特定和音検出手段と、 を有することを特徴とする請求項1または請求項2に記 A particular chord detection means for obtaining data, to claim 1 or claim 2 characterized by having a serial
    載の楽曲検索装置。 The placing of the song search apparatus.
JP09665193A 1993-03-31 1993-03-31 Song search apparatus Expired - Lifetime JP3433818B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP09665193A JP3433818B2 (en) 1993-03-31 1993-03-31 Song search apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP09665193A JP3433818B2 (en) 1993-03-31 1993-03-31 Song search apparatus

Publications (2)

Publication Number Publication Date
JPH06290574A JPH06290574A (en) 1994-10-18
JP3433818B2 true JP3433818B2 (en) 2003-08-04

Family

ID=14170738

Family Applications (1)

Application Number Title Priority Date Filing Date
JP09665193A Expired - Lifetime JP3433818B2 (en) 1993-03-31 1993-03-31 Song search apparatus

Country Status (1)

Country Link
JP (1) JP3433818B2 (en)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6519564B1 (en) * 1999-07-01 2003-02-11 Koninklijke Philips Electronics N.V. Content-driven speech-or audio-browser
EP1143409B1 (en) * 2000-04-06 2008-12-17 Sony France S.A. Rhythm feature extractor
US7490107B2 (en) 2000-05-19 2009-02-10 Nippon Telegraph & Telephone Corporation Information search method and apparatus of time-series data using multi-dimensional time-series feature vector and program storage medium
EP1244093B1 (en) 2001-03-22 2010-10-06 Panasonic Corporation Sound features extracting apparatus, sound data registering apparatus, sound data retrieving apparatus and methods and programs for implementing the same
EP1241588A3 (en) 2001-01-23 2006-01-04 Matsushita Electric Industrial Co., Ltd. Audio information provision system
JP4622199B2 (en) * 2001-09-21 2011-02-02 日本ビクター株式会社 Music search apparatus and music search method
US6918090B2 (en) 2002-01-23 2005-07-12 International Business Machines Corporation Dynamic setting of navigation order in aggregated content
JP2004090724A (en) 2002-08-30 2004-03-25 Pioneer Electronic Corp Play back control system for moving body, its method, and its program and recording medium recording it
JP4313563B2 (en) 2002-12-04 2009-08-12 パイオニア株式会社 Music searching apparatus and method
JP2006252051A (en) * 2005-03-09 2006-09-21 Aim Co Ltd Musical sound information provision system and portable music reproduction device
JP4816207B2 (en) * 2005-04-01 2011-11-16 ソニー株式会社 Information processing system and method
JP2006313313A (en) 2005-04-06 2006-11-16 Sony Corp Reproducing device, setting switching method, and setting switching device
JP4496478B2 (en) * 2005-04-15 2010-07-07 ソニー株式会社 Information processing apparatus and method, and program
JP4940588B2 (en) * 2005-07-27 2012-05-30 ソニー株式会社 Beat extraction apparatus and method, music synchronization image display apparatus and method, tempo value detection apparatus and method, rhythm tracking apparatus and method, music synchronization display apparatus and method
JP4403415B2 (en) 2005-09-20 2010-01-27 ソニー株式会社 Content reproduction method and content reproduction apparatus
JP4622808B2 (en) 2005-10-28 2011-02-02 日本ビクター株式会社 Music classification device, music classification method, music classification program
JP4622829B2 (en) * 2005-11-29 2011-02-02 日本ビクター株式会社 Music search / playback device, music search / playback method, impression word setting program
JP4650270B2 (en) 2006-01-06 2011-03-16 ソニー株式会社 Information processing apparatus and method, and program
JP2007193903A (en) * 2006-01-20 2007-08-02 Kenwood Corp Sound recording device, sound recording method, and program
JP4949687B2 (en) * 2006-01-25 2012-06-13 ソニー株式会社 Beat extraction apparatus and beat extraction method
JP4595827B2 (en) * 2006-02-14 2010-12-08 ヤマハ株式会社 Music playback device and data file production tool
JP4811046B2 (en) 2006-02-17 2011-11-09 ソニー株式会社 Content playback apparatus, audio playback device, and content playback method
JP4553864B2 (en) * 2006-05-09 2010-09-29 シャープ株式会社 Music analysis system, music analysis apparatus and computer program
WO2007132627A1 (en) 2006-05-12 2007-11-22 Pioneer Corporation Musical composition searching device, musical composition searching method, musical composition searching program, and recording medium where musical composition searching program is recorded
JP4665836B2 (en) 2006-05-31 2011-04-06 日本ビクター株式会社 Music classification device, music classification method, and music classification program
JP4961300B2 (en) * 2006-08-14 2012-06-27 三洋電機株式会社 Music match determination device, music recording device, music match determination method, music recording method, music match determination program, and music recording program
JP4981630B2 (en) * 2007-01-05 2012-07-25 ヤフー株式会社 Kansei matching method, apparatus and computer program
US20090187588A1 (en) * 2008-01-23 2009-07-23 Microsoft Corporation Distributed indexing of file content
EP2159720A1 (en) * 2008-08-28 2010-03-03 Bach Technology AS Apparatus and method for generating a collection profile and for communicating based on the collection profile
JP4788810B2 (en) * 2009-08-17 2011-10-05 ソニー株式会社 Music identification apparatus and method, music identification distribution apparatus and method

Also Published As

Publication number Publication date
JPH06290574A (en) 1994-10-18

Similar Documents

Publication Publication Date Title
US7838755B2 (en) Music-based search engine
Foote et al. Audio Retrieval by Rhythmic Similarity.
Klapuri Automatic music transcription as we know it today
CN102610222B (en) Music transcription method, system and device
Salamon et al. Melody extraction from polyphonic music signals: Approaches, applications, and challenges
US5210366A (en) Method and device for detecting and separating voices in a complex musical composition
JP4344499B2 (en) Search music database
Ryynänen et al. Automatic transcription of melody, bass line, and chords in polyphonic music
JP3907587B2 (en) Acoustic analysis method using sound information of musical instruments
EP1646035B1 (en) Mapped meta-data sound-playback device and audio-sampling/sample processing system useable therewith
JP5329968B2 (en) How to store and retrieve non-text based information
US20020181711A1 (en) Music similarity function based on signal analysis
Muller et al. Towards timbre-invariant audio features for harmony-based music
EP0955592A2 (en) A system and method for querying a music database
Foote Visualizing music and audio using self-similarity.
US20050016360A1 (en) System and method for automatic classification of music
US6188010B1 (en) Music search by melody input
EP1577877B1 (en) Musical composition reproduction method and device, and method for detecting a representative motif section in musical composition data
US7273978B2 (en) Device and method for characterizing a tone signal
Bartsch et al. Audio thumbnailing of popular music using chroma-based representations
Gouyon et al. On the use of zero-crossing rate for an application of classification of percussive sounds
JP4199097B2 (en) Automatic music classification apparatus and method
Dannenberg et al. A comparative evaluation of search techniques for query‐by‐humming using the MUSART testbed
US7582824B2 (en) Tempo detection apparatus, chord-name detection apparatus, and programs therefor
US20030205124A1 (en) Method and system for retrieving and sequencing music by rhythmic similarity

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090530

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090530

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100530

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110530

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120530

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120530

Year of fee payment: 9

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120530

Year of fee payment: 9

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120530

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130530

Year of fee payment: 10