JP4788810B2 - Music identification apparatus and method, music identification distribution apparatus and method - Google Patents

Music identification apparatus and method, music identification distribution apparatus and method Download PDF

Info

Publication number
JP4788810B2
JP4788810B2 JP2009188394A JP2009188394A JP4788810B2 JP 4788810 B2 JP4788810 B2 JP 4788810B2 JP 2009188394 A JP2009188394 A JP 2009188394A JP 2009188394 A JP2009188394 A JP 2009188394A JP 4788810 B2 JP4788810 B2 JP 4788810B2
Authority
JP
Japan
Prior art keywords
music
matrix
data
feature
fragment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009188394A
Other languages
Japanese (ja)
Other versions
JP2009276776A (en
Inventor
素嗣 安部
正之 西口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2009188394A priority Critical patent/JP4788810B2/en
Publication of JP2009276776A publication Critical patent/JP2009276776A/en
Application granted granted Critical
Publication of JP4788810B2 publication Critical patent/JP4788810B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To be able to easily identify a music piece name of a music piece by use of one segment of the music piece and also to distribute the music piece. <P>SOLUTION: Music segment data 41 for one part of a music piece for a few second is transmitted to a power spectrum analysis part 43 and converted into a time frequency distribution. A feature matrix generation part 44 executes resampling of the time frequency distribution data from the power spectrum analysis part 43 at a prescribed frequency and time interval, and generates a music segment feature matrix (feature vector) S<SB>fu</SB>. The data of the music segment feature matrix S<SB>fu</SB>is transmitted to a matching part 45 and compared with a plurality of music feature matrixes A<SB>ft</SB>obtained from a database 35 to calculate the degree of similarity, so as to identify a music piece name to be a candidate out of music pieces registered already. <P>COPYRIGHT: (C)2010,JPO&amp;INPIT

Description

本発明は、例えば電子音楽配信のための楽曲同定装置及び方法、楽曲同定配信装置及び方法に関するものであり、特に携帯電話を利用した楽曲配信を行うための楽曲同定装置及び方法、楽曲同定配信装置及び方法に関する。   The present invention relates to a music identification apparatus and method for electronic music distribution, for example, a music identification distribution apparatus and method, and in particular, a music identification apparatus and method for music distribution using a mobile phone, and a music identification distribution apparatus. And a method.

近年は、膨大な数の新曲が発表されており、過去に作成された様々な楽曲も含めて、それらの全てを知ることは到底不可能な状況になっている。また、それら様々な楽曲は、テレビジョン放送やラジオ放送の番組中やコマーシャルメッセージ中に流されたり、街頭で流されることも多く、したがって、人々は自らの意思にかかわらず、様々な楽曲を耳にする機会が多い。   In recent years, a huge number of new songs have been announced, and it is impossible to know all of them, including various songs created in the past. Also, these various songs are often played in television and radio programs, commercial messages, and on the streets, so people listen to various songs regardless of their intentions. There are many opportunities to make.

このように、周囲に溢れる楽曲の中から、ある気に入った楽曲を入手しようとした場合、購入者は、一般に以下の(1)〜(4)の順番のような手続きを踏むことになる。   As described above, when trying to obtain a favorite music from among the music overflowing in the surrounding area, the purchaser generally takes a procedure such as the following order (1) to (4).

(1)楽曲を耳にする。   (1) Listen to music.

(2)楽曲名を調査する。   (2) Check the song name.

(3)楽曲販売店に行く。   (3) Go to a music store.

(4)楽曲名を指定し楽曲を購入する。   (4) Designate a song name and purchase a song.

従来技術として、特許文献1−6が知られている。   Patent documents 1-6 are known as conventional technology.

特開平07−121556号公報Japanese Patent Application Laid-Open No. 07-121556 特開平02−033200号公報Japanese Patent Laid-Open No. 02-033200 特開平09−293083号公報JP 09-293083 A 特開2000−172693号公報JP 2000-172893 A 特開2000−187671号公報JP 2000-187671 A 特開平06−069999号公報Japanese Patent Laid-Open No. 06-069999

しかしながら、多くの場合、上記(2)の楽曲名の調査には多大な労力を要する。また、楽曲を知ると同時に楽曲名を知り得る場合もあるものの、例えば一部分のみを耳にした曲、放送番組中やコマーシャルメッセージで耳にした曲、外出時に耳にした曲などの場合、その楽曲名を同定できずに結局は入手に至らないことも多い。一方、調査の結果として楽曲名を知り得た場合でも、実際に楽曲を入手するためには、販売店に足を運ぶか、あるいは、電子音楽配信などを利用する必要がある。電子音楽配信を利用する場合は、販売店に足を運ぶ必要はないものの、パーソナルコンピュータを動作させ、インターネットヘの接続を行い、配信者への支払い方法の登録を行い、楽曲をダウンロードするなど、多段階の行動が必要となる。   However, in many cases, a great deal of labor is required for the investigation of the music name in (2) above. In addition, although you may know the song name at the same time as knowing the song, for example, if you listen to only a part of the song, a song you hear in a broadcast program or commercial message, or a song you hear when you go out, that song In many cases, the name cannot be identified, and eventually it cannot be obtained. On the other hand, even if the name of the music is known as a result of the survey, in order to actually obtain the music, it is necessary to go to a store or use electronic music distribution. When using electronic music distribution, it is not necessary to go to the store, but operate a personal computer, connect to the Internet, register the payment method to the distributor, download music, etc. Multi-step action is required.

そこで、本発明はこのような実情に鑑みてなされたものであり、例えば演奏、再生、放送などがされている楽曲或いはその一部断片であっても、その楽曲を容易に同定及び入手(例えば購入)可能とし、また、その楽曲の代金の支払い、楽曲の再生等をも可能にする楽曲同定方法及び装置、楽曲同定配信装置及び方法を提供することを目的とする。   Therefore, the present invention has been made in view of such circumstances, and for example, even if a piece of music is being played, played back, broadcasted, or a partial fragment thereof, the piece of music can be easily identified and obtained (for example, It is an object of the present invention to provide a music identification method and apparatus, a music identification distribution apparatus and method, which can be purchased), and can also be used for payment of the music, reproduction of music, and the like.

上述の課題を解決するために、本発明に係る楽曲同定装置は、音楽データの音楽断片データから候補となる楽曲名を同定するために、上記音楽断片データを時間周波数分布に変換し、音楽断片特徴量を抽出する音楽断片特徴量抽出手段と、上記音楽断片特徴量抽出手段により抽出された音楽断片特徴量に基づいて、既に登録されている楽曲の中から、候補となる楽曲名を同定する同定手段と、上記既に登録されている楽曲を保存および管理する楽曲データベースとを有し、上記音楽断片特徴量抽出手段は、上記時間周波数分布のデータを所定の周波数および時間間隔でリサンプリングすることにより、上記音楽断片データに対応した音楽断片特徴行列を上記音楽断片特徴量として抽出し、上記楽曲データベースには、複数の楽曲の時間周波数分布のデータを所定の周波数および時間間隔でリサンプリングして得られた楽曲特徴行列が上記楽曲特徴量として保存され、上記同定手段は、上記音楽断片特徴行列を同定用特徴行列に変換する特徴行列変換手段を有し、上記特徴行列変換手段は、上記音楽断片特徴行列をマスク行列によりマスクする処理を行い、上記マスク行列としては、低周波成分をマスクするための行列、時間マスクを行うための行列、音声成分をマスクするための行列の少なくとも1つを含む複数のマスクを切り替えて用いる。 In order to solve the above-mentioned problem, a music identification device according to the present invention converts the music fragment data into a time-frequency distribution in order to identify candidate song names from music fragment data of music data, and generates music fragments. Based on the music fragment feature quantity extraction means for extracting the feature quantity and the music fragment feature quantity extracted by the music fragment feature quantity extraction means, a candidate song name is identified from the already registered songs. possess a identification means, and a music database that stores and manages the music that has been said already registered, the music fragments characteristic quantity extracting means, resampling the data of the time-frequency distribution at a given frequency and time intervals Thus, a music fragment feature matrix corresponding to the music fragment data is extracted as the music fragment feature quantity, and the time frequency of a plurality of songs is stored in the music database. A music feature matrix obtained by resampling cloth data at a predetermined frequency and time interval is stored as the music feature quantity, and the identification means converts the music fragment feature matrix into an identification feature matrix. Conversion means, wherein the feature matrix conversion means performs a process of masking the music fragment feature matrix with a mask matrix, and the mask matrix includes a matrix for masking low frequency components and a time mask. A plurality of masks including at least one of a matrix and a matrix for masking speech components are switched and used.

また、本発明に係る楽曲同定方法は、音楽データの音楽断片データから候補となる楽曲名を同定するために、上記音楽断片データを時間周波数分布に変換し、音楽断片特徴量を抽出する音楽断片特徴量抽出工程と、上記音楽断片特徴量抽出工程により抽出された音楽断片特徴量に基づいて、既に登録されている楽曲の中から、候補となる楽曲名を同定する同定工程とを有し、上記音楽断片特徴量抽出工程では、上記時間周波数分布のデータを所定の周波数および時間間隔でリサンプリングすることにより、上記音楽断片データに対応した音楽断片特徴行列を上記音楽断片特徴量として抽出し、上記既に登録されている楽曲を保存および管理する楽曲データベースには、複数の楽曲の時間周波数分布のデータを所定の周波数および時間間隔でリサンプリングして得られた楽曲特徴行列が上記楽曲特徴量として保存され、上記同定工程では、上記音楽断片特徴行列を同定用特徴行列に変換し、上記音楽断片特徴行列をマスク行列によりマスクする処理を行い、上記マスク行列としては、低周波成分をマスクするための行列、時間マスクを行うための行列、音声成分をマスクするための行列の少なくとも1つを含む複数のマスクを切り替えて用いる。 In addition, the music identification method according to the present invention converts the music fragment data into a time-frequency distribution and extracts music fragment feature quantities in order to identify candidate song names from the music fragment data of the music data. a feature amount extracting step, on the basis of music pieces feature value extracted by the musical fragment feature quantity extracting process, already closed from the music that has been registered, the identification step of identifying a music title to be a candidate, In the music fragment feature extraction step, the music fragment feature matrix corresponding to the music fragment data is extracted as the music fragment feature by re-sampling the data of the time frequency distribution at a predetermined frequency and time interval, In the music database for storing and managing the already-registered music, the time frequency distribution data of a plurality of music is rewritten at a predetermined frequency and time interval. The music feature matrix obtained by sampling is stored as the music feature quantity, and in the identification step, the music fragment feature matrix is converted into an identification feature matrix, and the music fragment feature matrix is masked with a mask matrix. As the mask matrix, a plurality of masks including at least one of a matrix for masking low frequency components, a matrix for performing time masking, and a matrix for masking audio components are used by switching.

また、本発明に係る楽曲同定配信装置は、音楽データを記録する記録手段と、上記音楽データから音楽を再生する再生手段と、携帯電話運用システムを介して、上記音楽データの音楽断片データから候補となる楽曲名を同定するために、上記音楽断片データを時間周波数分布に変換し、音楽断片特徴量を抽出する音楽断片特徴量抽出手段と、上記音楽断片特徴量抽出手段により抽出された音楽断片特徴量に基づいて、既に登録されている楽曲の中から、候補となる楽曲名を同定する同定手段と、上記同定手段に基づいて、同定された楽曲を送信する送信手段と、上記既に登録されている楽曲を保存および管理する楽曲データベースとを有し、上記音楽断片特徴量抽出手段は、上記時間周波数分布のデータを所定の周波数および時間間隔でリサンプリングすることにより、上記音楽断片データに対応した音楽断片特徴行列を上記音楽断片特徴量として抽出し、上記楽曲データベースには、複数の楽曲の時間周波数分布のデータを所定の周波数および時間間隔でリサンプリングして得られた楽曲特徴行列が上記楽曲特徴量として保存され、上記同定手段は、上記音楽断片特徴行列を同定用特徴行列に変換する特徴行列変換手段を有し、上記特徴行列変換手段は、上記音楽断片特徴行列をマスク行列によりマスクする処理を行い、上記マスク行列としては、低周波成分をマスクするための行列、時間マスクを行うための行列、音声成分をマスクするための行列の少なくとも1つを含む複数のマスクを切り替えて用いる。 In addition, the music identification and distribution device according to the present invention includes a recording means for recording music data, a playback means for playing music from the music data, and a candidate from music fragment data of the music data via a mobile phone operation system. In order to identify the music name , the music fragment data is converted into a time-frequency distribution, and the music fragment feature amount extracting means for extracting the music fragment feature amount, and the music fragment extracted by the music fragment feature amount extracting means Based on the feature quantity, an identification means for identifying a candidate song name from among already registered music, a transmission means for transmitting the identified music based on the identification means, and the already registered music and possess a music database for storing and managing music is, the musical fragments characteristic quantity extracting means, Lisa the data of the time-frequency distribution at a given frequency and time intervals As a result, the music fragment feature matrix corresponding to the music fragment data is extracted as the music fragment feature quantity, and the time frequency distribution data of a plurality of songs is re-stored in the music database at a predetermined frequency and time interval. The music feature matrix obtained by sampling is stored as the music feature amount, and the identification means has feature matrix conversion means for converting the music fragment feature matrix into an identification feature matrix, and the feature matrix conversion means The music fragment feature matrix is masked with a mask matrix, and the mask matrix includes at least a matrix for masking low frequency components, a matrix for performing time masking, and a matrix for masking audio components. A plurality of masks including one are switched and used.

また、本発明に係る楽曲同定配信方法は、音楽データを記録する記録工程と、上記音楽データから音楽を再生する再生工程と、携帯電話運用システムを介して、上記音楽データの音楽断片データから候補となる楽曲名を同定するために、上記音楽断片データを時間周波数分布に変換し、音楽断片特徴量を抽出する音楽断片特徴量抽出工程と、上記音楽断片特徴量抽出工程により抽出された音楽断片特徴量に基づいて、既に登録されている楽曲の中から、候補となる楽曲名を同定する同定工程と、上記同定工程により同定された楽曲を送信する送信工程とを有し、上記音楽断片特徴量抽出工程では、上記時間周波数分布のデータを所定の周波数および時間間隔でリサンプリングすることにより、上記音楽断片データに対応した音楽断片特徴行列を上記音楽断片特徴量として抽出し、上記既に登録されている楽曲を保存および管理する楽曲データベースには、複数の楽曲の時間周波数分布のデータを所定の周波数および時間間隔でリサンプリングして得られた楽曲特徴行列が上記楽曲特徴量として保存され、上記同定工程では、上記音楽断片特徴行列を同定用特徴行列に変換し、上記音楽断片特徴行列をマスク行列によりマスクする処理を行い、上記マスク行列としては、低周波成分をマスクするための行列、時間マスクを行うための行列、音声成分をマスクするための行列の少なくとも1つを含む複数のマスクを切り替えて用いる。 In addition, the music identification and distribution method according to the present invention includes a recording step of recording music data, a playback step of playing music from the music data, and candidates from music fragment data of the music data via a mobile phone operation system. In order to identify the song name , the music fragment data is converted into a time-frequency distribution and the music fragment feature value extracting step for extracting the music fragment feature value, and the music fragment extracted by the music fragment feature value extracting step based on the feature quantity, already from the music that has been registered, possess the identification step of identifying a music title as a candidate, and a transmission step of transmitting the music identified by the identification step, the musical fragments wherein In the quantity extraction step, the music fragment feature matrix corresponding to the music fragment data is obtained by resampling the data of the time frequency distribution at a predetermined frequency and time interval. The music database that is extracted as the music fragment feature value and stores and manages the already registered music is obtained by re-sampling the time frequency distribution data of a plurality of music at a predetermined frequency and time interval. A music feature matrix is stored as the music feature amount, and in the identification step, the music fragment feature matrix is converted into an identification feature matrix, and the music fragment feature matrix is masked with a mask matrix, Uses a plurality of masks including at least one of a matrix for masking low frequency components, a matrix for performing time masking, and a matrix for masking audio components.

本発明によれば、音楽断片特徴量に基づいて、既に登録されている楽曲の中から、候補となる楽曲名を同定することにより、例えば演奏、再生、放送などがされている楽曲の一部断片であっても、その楽曲を容易に同定できる。また、同定した楽曲を携帯電話運用システムを介して配信することができる。   According to the present invention, for example, a part of a piece of music that is played, played, broadcast, etc., by identifying candidate music names from among already registered music pieces based on the music fragment feature amount Even if it is a fragment, the music can be easily identified. In addition, the identified music can be distributed via the mobile phone operation system.

本発明の実施の形態に係る携帯電話端末の送信部の概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the transmission part of the mobile telephone terminal which concerns on embodiment of this invention. 本発明の実施の形態に係る携帯電話端末の受信部の概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the receiving part of the mobile telephone terminal which concerns on embodiment of this invention. 楽曲をデータベースへ登録するためのシステムの概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the system for registering a music in a database. 特徴行列とマスクパターンの説明に用いる図である。It is a figure used for description of a feature matrix and a mask pattern. 音楽断片から楽曲を同定するための楽曲同定システムの概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the music identification system for identifying a music from a music fragment. マッチング方法の流れを示すフローチャートである。It is a flowchart which shows the flow of a matching method. 電子音楽同定配信システムの全体構成を示すシステム構成図である。1 is a system configuration diagram showing an overall configuration of an electronic music identification distribution system. 楽曲登録方法の流れを示すフローチャートである。It is a flowchart which shows the flow of a music registration method. 楽曲同定方法の流れを示すフローチャートである。It is a flowchart which shows the flow of a music identification method. 楽曲試聴方法の流れを示すフローチャートである。It is a flowchart which shows the flow of the music trial listening method. 楽曲購入方法の流れを示すフローチャートである。It is a flowchart which shows the flow of the music purchase method.

以下、本発明の好ましい実施の形態について、図面を参照しながら説明する。   Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings.

先ず、第1の発明として携帯端末について述べ、続いて、第2の発明として音楽同定方法について述べ、さらに第3の発明として電子音楽同定配信サービスシステムについて述べる。   First, a portable terminal will be described as the first invention, then a music identification method will be described as the second invention, and an electronic music identification distribution service system will be described as the third invention.

第1の発明の携帯端末が適用される一実施の形態としての携帯電話端末の送信部の概要を図1に示し、受信部の概要を図2に示す。   FIG. 1 shows an overview of a transmission unit of a mobile phone terminal as an embodiment to which the mobile terminal of the first invention is applied, and FIG. 2 shows an overview of a reception unit.

本実施の形態の携帯電話端末の送信部は、一般の携帯電話装置と略々同様の構成を有し、図1に示すように、音響電気変換手段としてのマイクロフォン1、「0」〜「9」までの10キー、通話開始キー、通話終了キー、電源オン/オフキー等の各種キーや各種メニュー、アイコン、アプリケーションなどの選択用の選択手段(例えばプッシュスイッチ機能を有するジョグダイヤルなどを含む)を備えたキー入力部2、マイクロフォン1により音響電気変換されたアナログ音響信号をディジタル音響信号に変換するA/D変換器4、ディジタル音響信号(例えば通話時の通話音声信号)を符号化する音声用符号化器6、キー入力部2や音声用符号化器6からの信号などを多重化するマルチプレクサ8、電送用の高周波信号への変調を行う変調器9等を備えている。これら各構成要素は、従来の携帯電話装置に搭載されているものと同様であるため、ここではこれらの詳細な動作の説明を省略する。   The transmission unit of the mobile phone terminal of the present embodiment has substantially the same configuration as that of a general mobile phone device. As shown in FIG. 1, the microphone 1 as an acoustoelectric conversion means, “0” to “9” 10 keys, a call start key, a call end key, various keys such as a power on / off key, and selection means for selecting various menus, icons, applications, and the like (including a jog dial having a push switch function, for example) A key input unit 2; an A / D converter 4 that converts an analog sound signal that has been subjected to acoustoelectric conversion by the microphone 1 into a digital sound signal; and a voice code that encodes a digital sound signal (for example, a voice signal during a call) 6, a multiplexer 8 that multiplexes signals from the key input unit 2 and the speech encoder 6, and a modulation that modulates a high frequency signal for transmission It is equipped with a 9, and the like. Since these components are the same as those mounted on the conventional mobile phone device, detailed description of these operations is omitted here.

本実施の形態の携帯電話端末の送信部において、一般の携帯電話装置と異なる独自の部分は、録音ボタン3、スイッチ5、および音楽データ処理部7であり、以下、これらの詳細な動作を説明する。   In the transmission unit of the mobile phone terminal according to the present embodiment, unique parts different from general mobile phone devices are a recording button 3, a switch 5, and a music data processing unit 7, which will be described in detail below. To do.

録音ボタン3は例えばオン(ON)/オフ(OFF)ボタンであり、そのオン/オフ信号はマイクロフォン1の指向性切り換え制御信号とスイッチ5の切り換え制御信号となっている。   The recording button 3 is, for example, an ON / OFF button, and the ON / OFF signal is a directivity switching control signal for the microphone 1 and a switching control signal for the switch 5.

当該録音ボタン3がオフ(OFF)になされている場合、マイクロフォン1の指向性は電話用として近距離に設定され、また、スイッチ5は音声用符号化器6側に設定される。したがって、当該録音ボタン3がオフになされている場合、マイクロフォン1を通じて入力された音響信号(この場合は通話時の音声信号となる)は、A/D変換器4によりディジタル化され、音声用符号化器6により符号化されて、通話電送に用いられる音声データ(ディジタルビットストリームデータ)となされ、さらに、変調器9にて高周波信号に変調された後、携帯電話会社の運用システムヘと送信される。またこの通話時において、例えば、キー入力部2が操作者により操作されて当該キー入力部2から番号や動作指令などの入力がなされた場合、そのキー入力信号は、マルチプレクサ6にて上記音声データと組み合わされ、さらに上記変調器9にて高周波信号に変調された後、携帯電話会社の運用システムヘと送信される。以上は、従来の携帯電話の基本動作と全く同じである。   When the recording button 3 is turned off (OFF), the directivity of the microphone 1 is set to a short distance for telephone use, and the switch 5 is set to the voice encoder 6 side. Therefore, when the recording button 3 is turned off, the acoustic signal input through the microphone 1 (in this case, the voice signal at the time of a call) is digitized by the A / D converter 4, and the voice code The data is encoded by the encoder 6 to be used as voice data (digital bit stream data) used for telephone call transmission, and is further modulated to a high frequency signal by the modulator 9 and then transmitted to the operation system of the mobile phone company. The Also, during this call, for example, when the key input unit 2 is operated by an operator and a number or an operation command is input from the key input unit 2, the key input signal is sent to the audio data by the multiplexer 6. And further modulated to a high-frequency signal by the modulator 9, and then transmitted to the operation system of the mobile phone company. The above is exactly the same as the basic operation of a conventional mobile phone.

一方、録音ボタン3がオン(ON)になされた場合、マイクロフォン1の指向性は音楽録音用として遠距離に設定され、また、このときのスイッチ5は音楽データ処理部7側に設定される。これにより、マイクロフォン1を通じて入力された音響信号(この場合は音楽信号となる)は、A/D変換器4によりディジタル化され、音楽データ処理部7により後述のように圧縮符号化或いは特徴抽出された後にビットストリーム化され、一時記憶部10に送られて少なくとも所定の時間(例えば数秒間)分蓄積される。当該一時記憶部10に蓄積された所定の時間分の音楽データに係るビットストリームは、自動的若しくは操作者の操作によるキー入力部2からの読み出し指示信号に応じて読み出されてマルチプレクサ8に送られる。当該マルチプレクサ8には、操作者の操作に応じてキー入力部2から出力された後述する要求信号などが入力され、上記所定時間分の音楽データに係るビットストリームと上記キー入力部2からの信号とが多重化されて変調器9に送られる。変調器9からは、上記通話時と同様に、高周波信号への変調がなされ、携帯電話運用システムヘと送信される。   On the other hand, when the recording button 3 is turned on (ON), the directivity of the microphone 1 is set to a long distance for music recording, and the switch 5 at this time is set to the music data processing unit 7 side. As a result, the acoustic signal (in this case, a music signal) input through the microphone 1 is digitized by the A / D converter 4 and compression encoded or feature extracted by the music data processing unit 7 as described later. After that, it is converted into a bit stream, sent to the temporary storage unit 10, and accumulated for at least a predetermined time (for example, several seconds). A bit stream related to music data for a predetermined time accumulated in the temporary storage unit 10 is read out in response to a read instruction signal from the key input unit 2 automatically or by an operator's operation and sent to the multiplexer 8. It is done. The multiplexer 8 receives a request signal, which will be described later, output from the key input unit 2 according to the operation of the operator, and receives a bit stream related to the music data for the predetermined time and a signal from the key input unit 2. Are multiplexed and sent to the modulator 9. The modulator 9 modulates the high frequency signal and transmits it to the mobile phone operation system in the same manner as in the above call.

なお、マイクロフォン1の指向性の調節は、一つのマイクロフォンの指向性を変更する方法でもよいし、指向性の異なる複数のマイクロフォンを切り替えて使用する方法でもよい。上記一時記憶部10は、一般の携帯電話装置が備えるメモリとは別の大容量のメモリとして新たに設けても良いし、一般の携帯電話装置に設けられているメモリが大容量メモリである場合はそのメモリをそのまま用いても良い。また、上記一時記憶部10は、後述する受信部のメモリ18と共用することも可能であり、半導体メモリカードのように取り外し可能なものであっても良い。上記一時記憶部10として、半導体メモリカードのように取り外し可能なものを用いると、マイクロフォン1により取り込んだ楽曲だけでなく、別の携帯電話端末や携帯型情報処理装置など様々な装置にて取得した楽曲についても、後述するような楽曲名の同定や楽曲の購入等を行えることになる。   The directivity of the microphone 1 may be adjusted by changing the directivity of one microphone or by switching between a plurality of microphones having different directivities. The temporary storage unit 10 may be newly provided as a large-capacity memory different from a memory included in a general mobile phone device, or when the memory provided in the general mobile phone device is a large-capacity memory May use the memory as it is. The temporary storage unit 10 can be shared with the memory 18 of the receiving unit described later, or may be removable like a semiconductor memory card. When the removable device such as a semiconductor memory card is used as the temporary storage unit 10, it is acquired not only by the music captured by the microphone 1 but also by various devices such as another mobile phone terminal and a portable information processing device. As for the music, the music name can be identified and the music can be purchased as described later.

上記音楽データ処理部7は、上記一時記憶部10に蓄積(以下、適宜録音とする)された上記所定時間の短時間音楽データ(以下、音楽断片或いは音楽クリップと呼ぶ)から、その楽曲名の同定に必要となる符号化データを生成、あるいは楽曲名同定に必要となる後述する特微量を抽出するものである。   The music data processing unit 7 uses the music name of the music name from the short-time music data (hereinafter referred to as a music fragment or music clip) of the predetermined time stored in the temporary storage unit 10 (hereinafter referred to as recording as appropriate). Coded data required for identification is generated, or features to be described later required for music name identification are extracted.

すなわち本実施の形態において、上記音楽データ処理部7は、以下の第1、第2の構成の何れかを取り得る。   In other words, in the present embodiment, the music data processing unit 7 can take any of the following first and second configurations.

第1の音楽データ処理部7の構成は、例えばいわゆるMPEGオーディオなどのオーディオ圧縮用符号化器をそのまま用いる構成である。この場合、一時記憶部10に録音された音楽断片は、上記オーディオ圧縮用符号化器によりそのまま圧縮符号化されて送信され、後述する楽曲同定システムに送られ、当該楽曲同定システムの側で、楽曲名同定に必要な後述する特微量への変換が行われることになる。この例によれば、本実施の形態の携帯電話端末に搭載しなければならない構成が一般的な符号化器のみで良いため、携帯電話端末のコストを低減することが可能となる。同時に、この例の場合、楽曲名同定のための後述する特徴抽出は楽曲同定システム側で行うことになるため、当該特徴抽出のための多量の演算を必要とする精度の高い同定法を導入できることになり、また、自動的に同定できない楽曲については、楽曲同定システム側の人が聞いて確認することもでき、さらに、新たな同定アルゴリズムが開発された場合に旧同定アルゴリズムを当該新たな同定アルゴリズムに置き換えるようなことが容易になる、などの利点がある。   The configuration of the first music data processing unit 7 is a configuration in which an audio compression encoder such as so-called MPEG audio is used as it is. In this case, the music piece recorded in the temporary storage unit 10 is compressed and encoded as it is by the audio compression encoder and transmitted to the music identification system described later. Conversion to a later-described special amount necessary for name identification is performed. According to this example, since only a general encoder needs to be installed in the mobile phone terminal of the present embodiment, the cost of the mobile phone terminal can be reduced. At the same time, in this example, feature extraction to be described later for music name identification is performed on the music identification system side, so a highly accurate identification method that requires a large amount of computation for the feature extraction can be introduced. In addition, songs that cannot be automatically identified can be heard and confirmed by people on the music identification system side, and when a new identification algorithm is developed, the old identification algorithm is replaced with the new identification algorithm. There are advantages such as easy replacement.

第2の音楽データ処理部7の構成は、当該音楽データ処理部7において後述する特徴抽出法を用いた特徴抽出を行い、その特徴量情報(すなわち例えば特徴ベクトル)を符号化する構成である。この例の場合、当該音楽データ処理部7により得られる特徴量の情報は、第1の構成のような圧縮符号化された音楽データと比べて、そのデータ量は遥かに少なくなる。このため、前記一時記憶部10の記憶容量(メモリの容量)や、そのデータを電送する際の電送容量、電送時間などを節約できる利点がある。   The configuration of the second music data processing unit 7 is a configuration in which the music data processing unit 7 performs feature extraction using a feature extraction method described later, and encodes the feature amount information (for example, feature vectors). In the case of this example, the feature amount information obtained by the music data processing unit 7 has a much smaller data amount than the compression-coded music data as in the first configuration. Therefore, there is an advantage that the storage capacity (memory capacity) of the temporary storage unit 10, the transmission capacity when transmitting the data, the transmission time, and the like can be saved.

次に、図2に示した本実施の形態の携帯電話端末の受信部も、従来の携帯電話装置と略々同様の構成を有し、アンテナを介して受信した高周波信号を復調する復調器11、多重化されたデータを分離するデマルチプレクサ12、デマルチプレクサ12により分離された通話用の音声データを復号化する音声用復号化器15、上記復号化により得られた通話用のディジタル音声データをアナログ音声信号に変換するD/A変換器16、D/A変換器16からの通話用アナログ音声信号を放音するスピーカ17、デマルチプレクサ12により分離された制御データに含まれる番号や文字等のデータから表示用信号を生成する表示処理部13、液晶表示デバイス等からなるディレイ14等を備えている。これら各構成要素は、従来の携帯電話装置に搭載されているものと同様であるため、ここではこれらの詳細な動作の説明を省略する。   Next, the receiving unit of the mobile phone terminal according to the present embodiment shown in FIG. 2 has a configuration substantially similar to that of the conventional mobile phone device, and demodulates the high frequency signal received via the antenna. A demultiplexer 12 for separating the multiplexed data, a speech decoder 15 for decoding the speech data for speech separated by the demultiplexer 12, and the speech digital speech data obtained by the above decoding. A D / A converter 16 for converting into an analog voice signal, a speaker 17 for emitting a speech analog voice signal from the D / A converter 16, and numbers and characters included in the control data separated by the demultiplexer 12 A display processing unit 13 that generates a display signal from data, a delay 14 including a liquid crystal display device, and the like are provided. Since these components are the same as those mounted on the conventional mobile phone device, detailed description of these operations is omitted here.

一方、本実施の形態の携帯電話端末の受信部において、一般の携帯電話装置と異なる独自の部分は、音楽信号処理系の構成として、メモリ18、オーディオ用復号化器19、D/A変換器20、スピーカ21が設けられていることであり、以下、これらの詳細な動作を説明する。   On the other hand, in the receiving unit of the mobile phone terminal of the present embodiment, a unique part different from a general mobile phone device includes a memory 18, an audio decoder 19, a D / A converter as a configuration of a music signal processing system 20 and the speaker 21 are provided, and their detailed operations will be described below.

この図2に示す受信部において、前記復調器11にて復調された受信データに、通話用の音声データとは別の本実施の形態に係る音楽データが含まれている場合、上記デマルチプレクサ12は、受信データから当該音楽データを分離し、メモリ18に送る。メモリ18は、当該音楽データを一時蓄積する。なお、当該メモリ18は、携帯電話端末に内蔵されているものでも、或いは、半導体メモリカードのように取り外し可能なものであっても良い。メモリ18として、半導体メモリカードのように取り外し可能なものを用いると、取得した音楽データを他の機器でも再生できて都合がよい。   In the receiving unit shown in FIG. 2, when the received data demodulated by the demodulator 11 includes music data according to the present embodiment, which is different from voice data for speech, the demultiplexer 12 Separates the music data from the received data and sends it to the memory 18. The memory 18 temporarily stores the music data. Note that the memory 18 may be a built-in mobile phone terminal or a removable one such as a semiconductor memory card. If a removable memory such as a semiconductor memory card is used as the memory 18, the acquired music data can be conveniently reproduced on other devices.

上記音楽データは、楽曲の全て若しくは十分なデータが受信された後、メモリ18から読み出されてオーディオ用復号器19に送られ復号され、さらにD/A変換器20を経てスピーカ21若しくはヘッドフォンなどにより音として出力される。なお、D/A変換器20及びスピーカ21については、部品点数を減らすためには音声信号処理系のD/A変換器16及びスピーカ17と共用しても良いが、通話用の音声信号と楽曲用の音楽信号とでは、一般に必要とされる音質が異なる(例えば音楽用は高品質)ため、それぞれ必要とされる音質に応じて別個に設けることが望ましい。   After all or sufficient data of the music is received, the music data is read from the memory 18, sent to the audio decoder 19, decoded, and further passed through the D / A converter 20 to the speaker 21 or headphones. Is output as sound. The D / A converter 20 and the speaker 21 may be shared with the D / A converter 16 and the speaker 17 of the audio signal processing system in order to reduce the number of components. Since the required sound quality is generally different from that of a music signal (for example, high quality for music), it is desirable to provide them separately according to the required sound quality.

次に、第2の発明としての楽曲名の同定方法について以下に説明する。   Next, a method for identifying a song name as the second invention will be described below.

本発明に係る楽曲同定方法は、大別して、以下に述べるように、楽曲同定の前段階の処理となる楽曲のデータベースへの登録処理と、登録された楽曲データベースを用いた実際の楽曲同定処理の2つの流れにより行われる。   The music identification method according to the present invention can be broadly divided into a music registration process, which is a previous process of music identification, and an actual music identification process using the registered music database, as described below. This is done in two streams.

図3には、本発明に係る楽曲同定方法における上記楽曲のデータベースへの登録処理のためのシステム構成を示す。   FIG. 3 shows a system configuration for registration processing of the music in the database in the music identification method according to the present invention.

図3において、例えばいわゆるコンパクトディスク(CD)やネットワークなどを介して配布された複数の各楽曲データ31は、パワースペクトル分析部33に送られる。パワースペクトル分析部33は、入力された複数のそれぞれの楽曲データ31を時間周波数分布に変換し、それぞれ得られた時間周波数分布データを特徴行列生成部34に送る。   In FIG. 3, a plurality of pieces of music data 31 distributed via, for example, a so-called compact disc (CD) or a network is sent to the power spectrum analysis unit 33. The power spectrum analysis unit 33 converts each of the plurality of input music data 31 into a time frequency distribution, and sends the obtained time frequency distribution data to the feature matrix generation unit 34.

特徴行列生成部34では、各楽曲に対応する時間周波数分布データを所定の周波数および時間間隔でリサンプリングすることにより、各楽曲にそれぞれ対応した楽曲特徴行列(特徴ベクトル)Aftを生成する。但し、図4の(a)に示すように、上記楽曲特徴行列Aftの「f」は行列の周波数方向のインデックス(行)、「t」は時間方向のインデックス(列)を表している。これら各楽曲に対応した楽曲特徴行列Aftのデータは、上記楽曲データ31と共に配布された各楽曲の楽曲名、演奏家名、楽曲のID番号などの各楽曲の属性データ32と対応付けられて、データベース35に登録される。 The feature matrix generation unit 34 resamples the time-frequency distribution data corresponding to each song at a predetermined frequency and time interval, thereby generating a song feature matrix (feature vector) A ft corresponding to each song. However, as shown in FIG. 4A, “f” of the music feature matrix A ft represents an index (row) in the frequency direction of the matrix, and “t” represents an index (column) in the time direction. The data of the music feature matrix A ft corresponding to each music is associated with the attribute data 32 of each music such as the music name, performer name, music ID number of each music distributed together with the music data 31. Are registered in the database 35.

次に、図5には、上記登録された楽曲データベースを用いた楽曲同定のためのシステム構成を示す。   Next, FIG. 5 shows a system configuration for music identification using the registered music database.

この図5において、上述した第1の発明にかかる携帯電話端末やその他の任意の方法で得られた、例えば数秒程度の楽曲の一部分(前記音楽断片)データ41は、上記図3と同様のパワースペクトル分析部43に送られ、時間周波数分布に変換される。また、上記図3と同様の特徴行列生成部44では、パワースペクトル分析部43からの時間周波数分布データを所定の周波数および時間間隔でリサンプリングし、音楽断片特徴行列(特徴ベクトル)Sfuを生成する。但し、図4の(b)に示すように、音楽断片特徴行列Sfuの「f」は上記と同様の行列の周波数方向のインデックス(行)、「u」は時間方向のインデックス(列)を表す。この音楽断片特徴行列Sfuのデータは、マッチング部45へ送られる。なお、前記携帯電話端末において特徴量の抽出まで行うようにした場合は、当該図5のパワースペクトル分析部43及び特徴行列生成部44と同様の構成が、特徴量抽出のための構成として前記携帯電話端末の音声データ処理部7内に設けられることになる。一方、携帯電話端末にて音楽データの圧縮符号化のみ行い特徴量の抽出を行わない場合は、この図5のパワースペクトル分析部43に供給される音楽断片のデータ41として、前記携帯電話端末にて圧縮符号化されて送信されてきたデータを伸長復号化したデータが用いられることになる。 In FIG. 5, a piece of music (the music fragment) data 41 of, for example, about several seconds obtained by the mobile phone terminal according to the first invention described above or any other method has the same power as in FIG. It is sent to the spectrum analysis unit 43 and converted into a time frequency distribution. Also, the feature matrix generation unit 44 similar to that in FIG. 3 resamples the time frequency distribution data from the power spectrum analysis unit 43 at a predetermined frequency and time interval to generate a music fragment feature matrix (feature vector) Sfu . To do. However, as shown in FIG. 4B, “f” of the music fragment feature matrix S fu is an index (row) in the frequency direction of the same matrix as described above, and “u” is an index (column) in the time direction. To express. The data of the music fragment feature matrix Sfu is sent to the matching unit 45. Note that when the mobile phone terminal performs feature value extraction, the same configuration as the power spectrum analysis unit 43 and the feature matrix generation unit 44 in FIG. It is provided in the voice data processing unit 7 of the telephone terminal. On the other hand, when the mobile phone terminal only performs compression encoding of music data and does not extract features, the mobile phone terminal stores the music fragment data 41 supplied to the power spectrum analysis unit 43 of FIG. Thus, data obtained by decompressing and decoding data that has been compression-encoded and transmitted is used.

マッチング部45には、上記データベース35に登録されている複数の楽曲についての楽曲特徴行列Aftとそれぞれ対応する楽曲名、演奏家名、楽曲のID番号などの各楽曲の属性データ32とからなるデータ42も入力される。当該マッチング部45は、データベース35から得られた複数の楽曲特徴行列Aftすなわち楽曲特徴ベクトルと、上記特徴行列生成部44から供給された音楽断片特徴行列Sfuすなわち音楽断片特徴ベクトルとを用いて、後述の方法によりマッチング(ベクトルマッチング)を行い、それらベクトルの類似度を算出し、上記音楽断片特徴ベクトルと楽曲特徴ベクトルとの間の類似度が所定の閾値を越えているとき、当該楽曲特徴ベクトルに対応する楽曲について、その類似度Q、類似度が最大となる時刻(類似度最大時刻)T、および属性データ32からなるデータ46を出力する。 The matching unit 45 includes a song feature matrix A ft for a plurality of songs registered in the database 35 and attribute data 32 of each song such as a corresponding song name, performer name, and song ID number. Data 42 is also input. The matching unit 45 uses a plurality of music feature matrices A ft, that is, music feature vectors, obtained from the database 35, and the music fragment feature matrix S fu that is supplied from the feature matrix generation unit 44, that is, music fragment feature vectors. Then, matching (vector matching) is performed by a method described later, the degree of similarity between these vectors is calculated, and when the degree of similarity between the music fragment feature vector and the music feature vector exceeds a predetermined threshold, the music feature For the music corresponding to the vector, the degree of similarity Q, the time when the degree of similarity becomes maximum (maximum degree of similarity) T, and data 46 consisting of attribute data 32 are output.

ここで、上記マッチング部45でのマッチングは、相互相関を用いて以下のように行う。   Here, the matching in the matching unit 45 is performed as follows using the cross-correlation.

図4に示すように、楽曲特徴行列Aftは、複数の楽曲全曲分の特徴行列であり、音楽断片特徴行列Sfuは、ある楽曲の一部分の(劣化した)特徴行列となる。原理的には、これらの行列の相互相関が最大となる時刻の相関値を類似度とすればよいが、通例、音楽断片特徴行列Sfuには雑音が加わっているため、次のような操作を行いノイズ耐性を改善する。 As shown in FIG. 4, the music feature matrix A ft is a feature matrix for all of a plurality of music pieces, and the music fragment feature matrix S fu is a (deteriorated) feature matrix of a part of a music piece. In principle, the correlation value at the time when the cross-correlation between these matrices becomes maximum may be used as the similarity, but since noise is usually added to the music fragment feature matrix Sfu , the following operation is performed. To improve noise immunity.

先ず、音楽断片特徴行列Sfuを、次式(1)により変換する。 First, the music fragment feature matrix S fu is converted by the following equation (1).

S'fu=Mfu(Sfu−Bfu) (1)
但し、式中のBfuは、定常的なノイズ成分を減ずるための定数行列であり、例えば各周波数成分における最小値などによって作成される。また、式中のMfuは図4の(c)〜図4の(e)に示すように、音楽断片特徴行列Sfuの一部(各図中mで示す部分)をマスクする行列である。図4の(c)に示すマスク行列Mfuは低周波成分をマスクするための行列であり、これによれば、例えば交通騒音など低周波ノイズが強い場合に、それら低周波ノイズを音楽断片特徴行列Sfuから除去するのに有効となる。また、図4の(d)に示すマスク行列Mfuは時間マスクを行うための行列であり、この時間マスクにより、音楽断片特徴行列Sfuから例えば音楽成分が強い時刻のみを取り出すことで、安定なマッチング処理が実現可能となる。また、図4の(e)に示すマスク行列Mfuは音声成分をマスクするための行列であり、音楽断片特徴行列Sfuから音声成分が最も多く含まれる周波数範囲(例えば100Hz〜1kHz)を除去することで、例えば音声混入があるような場合にその音声成分を除去することが可能となる。この他にも様々なマスクパターンが考えられるが、これらのマスクを切り替えて用い、最も類似度の高いものを選択することで、ノイズ耐性の強い安定なマッチングが行われる。
S ′ fu = M fu (S fu −B fu ) (1)
However, B fu in the equation is a constant matrix for reducing stationary noise components, and is created by, for example, the minimum value in each frequency component. M fu in the equation is a matrix that masks a part of the music fragment feature matrix S fu (the part indicated by m in each figure) as shown in FIGS. 4C to 4E. . The mask matrix M fu shown in FIG. 4C is a matrix for masking low frequency components. According to this, when low frequency noise such as traffic noise is strong, the low frequency noise is converted into music fragment features. This is effective for removal from the matrix Sfu . Also, the mask matrix M fu shown in FIG. 4D is a matrix for performing time masking. By using this time mask, for example, only the time when the music component is strong is extracted from the music fragment feature matrix S fu. Matching processing can be realized. Also, a mask matrix M fu shown in FIG. 4E is a matrix for masking speech components, and a frequency range (for example, 100 Hz to 1 kHz) containing the most speech components is removed from the music fragment feature matrix S fu. Thus, for example, when there is audio mixing, the audio component can be removed. Various other mask patterns are conceivable, but stable matching with high noise resistance is performed by switching these masks and selecting the one with the highest similarity.

次に、上記式(1)の変換を用い、各時刻での類似度を次式(2)により計算する。   Next, using the transformation of the above equation (1), the similarity at each time is calculated by the following equation (2).

Figure 0004788810
Figure 0004788810

さらに、各時刻の類似度のうち最大のもの及びその時刻によって、式(3)、式(4)のように、楽曲と音楽断片の類似度Q及び類似度最大時刻Tを求める。   Further, the similarity Q and similarity maximum time T between the music piece and the music fragment are obtained by the maximum similarity among the times and the time as shown in the equations (3) and (4).

Q=maxR(t) (3)
T=argmaxR(t) (4)
マッチング部45では、図6に示す流れで、以上説明したマッチング方法を実現する。
Q = max t R (t) (3)
T = argmax t R (t) (4)
The matching unit 45 implements the matching method described above in the flow shown in FIG.

図6において、マッチング部45には、上述した低周波成分のマスクや時間マスク、音声成分のマスク等の、必要と思われる各種のマスクパターンが予め用意されており、マッチング処理に先立ち、テップS51として、そのうち一つのマスクパターンが選択される。   In FIG. 6, the matching unit 45 is prepared in advance with various mask patterns that may be necessary, such as the low-frequency component mask, the time mask, and the voice component mask described above. As a result, one of the mask patterns is selected.

次に、マッチング部45では、ステップS52として、全てのマスクパターンについて処理したか否かの判定が行われ、未だ全てのマスクパターンの処理が終了していないと判定した場合はステップS53の処理に進み、用意した全てのマスクパターンの処理が終了したと判定した場合はステップS55の処理に進む。   Next, in step S52, the matching unit 45 determines whether or not all mask patterns have been processed. If it is determined that all mask patterns have not yet been processed, the process proceeds to step S53. If it is determined that the processing of all the prepared mask patterns has been completed, the process proceeds to step S55.

ステップS52において未だ全てのマスクパターンの処理が終了していないと判定され、ステップS53の処理に進むと、マッチング部45では、ステップS51で選択されたマスクパターンを用いて相関関数R(t)を計算し、次のステップS54において、類似度Q、類似度最大時刻Tを計算し、得られた値を保存する。その後は、ステップS51に戻り、再びマスクパターンを選択する。   If it is determined in step S52 that the processing of all the mask patterns has not been completed yet and the process proceeds to step S53, the matching unit 45 calculates a correlation function R (t) using the mask pattern selected in step S51. In the next step S54, the similarity Q and the maximum similarity time T are calculated, and the obtained values are stored. Thereafter, the process returns to step S51, and a mask pattern is selected again.

一方、ステップS52において、用意した全てのマスクパターンの処理が終了したと判定され、ステップS55の処理に進むと、マッチング部45では、上記類似度Qの中で最大のものをもって、その楽曲と入力された音楽断片との類似度とする。   On the other hand, in step S52, it is determined that the processing of all the prepared mask patterns has been completed, and when the processing proceeds to step S55, the matching unit 45 inputs the music piece having the largest similarity score Q. The degree of similarity to the music fragment that was made.

次に、上記第1の発明に係る携帯電話端末と上記第2の発明に係る楽曲同定のシステムを用いた、第3の発明である電子音楽同定配信サービス方法及びそのシステムについて、以下に説明する。このシステムの利点は、一つの携帯端末(本実施の形態の携帯電話端末)から楽曲の調査、購入、再生、代金支払いなどが全て行われる点である。   Next, an electronic music identification distribution service method and system thereof according to a third invention using the mobile phone terminal according to the first invention and the music identification system according to the second invention will be described below. . The advantage of this system is that the music is investigated, purchased, played back, paid, etc., from a single mobile terminal (the mobile phone terminal of the present embodiment).

図7には第3の発明である電子音楽同定配信サービスが適用される実施の形態のシステム構成を示し、図8〜図11を用いて当該システムの運用方法を説明する。なお、図7中の指示符号S71,S72,S75,S76,S78,S79,S82〜S85,S90〜S99は、図8〜図11中の対応する指示符号で表されるステップの処理が行われることを示している。図8には予め行われる楽曲登録段階での処理の流れを示し、図9には楽曲同定段階での処理の流れを、図10には楽曲試聴段階での処理の流れを、図11には楽曲購入段階での処理の流れを示す。   FIG. 7 shows a system configuration of an embodiment to which the electronic music identification distribution service according to the third aspect of the invention is applied, and an operation method of the system will be described with reference to FIGS. In addition, in the instruction codes S71, S72, S75, S76, S78, S79, S82 to S85, and S90 to S99 in FIG. 7, the processing of the steps represented by the corresponding instruction codes in FIGS. It is shown that. FIG. 8 shows a flow of processing at the music registration stage performed in advance, FIG. 9 shows a flow of processing at the music identification stage, FIG. 10 shows a flow of processing at the music trial listening stage, and FIG. The flow of processing at the music purchase stage is shown.

図8に示す楽曲登録段階において、先ずステップS71として、楽曲販売者側の楽曲配信システム64は、楽曲同定に必要なデータ(前記複数の楽曲データとその属性データ)を楽曲同定者側の楽曲同定システム63に送り、それらデータを受け取った楽曲同定システム63では、その楽曲同定用の楽曲データから前述したように特徴行列を求め、属性データと対応つけて前記データベースに登録する。また、ステップS72として、楽曲配信システム64は、楽曲の試聴時に必要なデータ(複数の試聴用の楽曲データと各試聴用の楽曲データのID等)を楽曲同定システム63に送り、当該楽曲同定システム63では、その楽曲試聴用データをデータベースに登録する。なお、ステップS71とS72の処理は同時に行ってもよく、また、ステップS71の処理後にステップS72の処理を行っても良い。   In the music registration stage shown in FIG. 8, first, in step S71, the music distribution system 64 on the music seller side transmits the data (the plurality of music data and attribute data thereof) necessary for music identification to the music identification person on the music identification side. The music identification system 63, which has been sent to the system 63 and received the data, obtains a feature matrix from the music data for music identification as described above and registers it in the database in association with the attribute data. In step S72, the music distribution system 64 sends data necessary for the trial listening of the music (a plurality of music data for trial listening and IDs of the music data for each trial listening) to the music identification system 63, and the music identification system 63 In 63, the music preview data is registered in the database. Note that the processing of steps S71 and S72 may be performed simultaneously, or the processing of step S72 may be performed after the processing of step S71.

次に、図9に示す楽曲同定段階において、先ずステップS73として、楽曲購入者側の携帯電話端末61は、当該端末の操作者によって前記録音ボタン3がオン操作されると、そのオン操作時点で例えば放送番組中やコマーシャルメッセージ中に演奏されたり街頭で流されている楽曲の一部分(音楽断片)を録音する。また、ステップS74として、携帯電話端末61は、前記音楽データ処理部7により、その音楽断片のデータに対して前述のように圧縮符号化若しくは特徴抽出を行う。   Next, in the music identification stage shown in FIG. 9, first, as step S73, when the recording button 3 is turned on by the operator of the music purchaser, the mobile phone terminal 61 on the music purchaser side is turned on. For example, a part (music fragment) of a piece of music played in a broadcast program or a commercial message or being played on the street is recorded. In step S74, the cellular phone terminal 61 uses the music data processing unit 7 to perform compression encoding or feature extraction on the music fragment data as described above.

次に、ステップS75として、携帯電話端末61は、携帯電話運用者側の携帯電話運用システム62に対して、キー入力部2からのキー入力に応じて生成された楽曲同定要求と共に、上記特徴抽出されたデータを送信し、さらに、ステップS76として、携帯電話運用システム62は、その楽曲同定要求と上記特徴抽出されたデータをそのまま楽曲同定者側の楽曲同定システム63に送信する。   Next, in step S75, the mobile phone terminal 61 extracts the feature extraction request together with the music identification request generated in response to the key input from the key input unit 2 to the mobile phone operating system 62 on the mobile phone operator side. Further, in step S76, the mobile phone operation system 62 transmits the music identification request and the feature-extracted data to the music identification system 63 on the music identifier side as it is.

上記楽曲同定要求と上記圧縮符号化データ若しくは特徴抽出されたデータを受け取った楽曲同定システム63は、ステップS77として、前記第2の発明で説明したようにして特徴ベクトルを用いた楽曲同定の処理(候補となる楽曲の検索)を行う。なお、携帯電話端末61側の音楽データ処理部7において、音楽断片の録音から特徴抽出までの処理を行っている場合、上記楽曲同定システム63では、携帯電話端末61から送られてきた特徴ベクトルを用いた前記マッチングにより楽曲同定を行うことになる。また、携帯電話端末61側の音楽データ処理部7において、音楽断片の録音から音楽データの圧縮符号化処理までしか行っていない場合、上記楽曲同定システム63では、上記携帯電話端末61から送られてくる圧縮符号化された音楽データを復号してから前述した特徴抽出を行い、さらにマッチングにより楽曲同定を行うことになる。上記楽曲同定処理が終了すると、当該楽曲同定システム63は、ステップS78として、その楽曲同定処理により得られた候補となる楽曲に関するデータ(楽曲名や演奏家名、楽曲のID番号など)を、携帯電話運用システム62に送信し、さらに、ステップS79として、携帯電話運用システム62は、その候補楽曲についてのデータをそのまま携帯電話端末61に送信する。   The music identification system 63 that has received the music identification request and the compression-encoded data or feature-extracted data, as step S77, performs music identification processing using feature vectors as described in the second invention ( Search for candidate music). When the music data processing unit 7 on the mobile phone terminal 61 side performs processing from recording of music pieces to feature extraction, the music identification system 63 uses the feature vector sent from the mobile phone terminal 61. Music identification is performed by the used matching. When the music data processing unit 7 on the mobile phone terminal 61 side only performs recording from recording of music pieces to compression encoding processing of music data, the music identification system 63 sends it from the mobile phone terminal 61. After the compression-coded music data is decoded, the above-described feature extraction is performed, and music identification is further performed by matching. When the music identification process ends, the music identification system 63 carries data (music name, performer name, music ID number, etc.) relating to the candidate music obtained by the music identification process as step S78. The mobile phone operation system 62 transmits the data about the candidate music to the mobile phone terminal 61 as it is, in step S79.

上記候補楽曲についてのデータを受け取った携帯電話端末61では、ステップS80として、当該端末の操作者(楽曲購入者)により前記キー入力部2に対して候補楽曲を試聴することの要否を指示するための所定の入力操作がなされたか否かの判断を行う。このステップS80において、操作者から候補楽曲を試聴することの指示入力がなされた場合(試聴する場合(Y))は、図10に示す楽曲試聴段階の処理へ進み、一方、操作者から楽曲を試聴しないことの指示入力がなされた場合(試聴しない場合(N))は、処理を終了する。   In the mobile phone terminal 61 that has received the data about the candidate music, in step S80, the operator (music purchaser) of the terminal instructs the key input unit 2 as to whether or not to listen to the candidate music. It is determined whether or not a predetermined input operation has been performed. In this step S80, when the operator inputs an instruction to audition the candidate music (when auditioning (Y)), the process proceeds to the music audition stage shown in FIG. When the instruction input not to audition is made (when not auditioning (N)), the process ends.

図10に示す楽曲試聴段階へ進むと、先ず、ステップS81として、携帯電話端末61では、端末操作者(楽曲購入者)により前記キー入力部2に対して試聴用の楽曲を選択するための所定の入力操作がなされると、その入力操作に応じた試聴用の楽曲の選択を行う。   When the process proceeds to the music trial listening stage shown in FIG. 10, first, in step S81, in the mobile phone terminal 61, a predetermined operator for selecting a music for trial listening to the key input unit 2 by the terminal operator (music purchaser). When the input operation is performed, the music for trial listening according to the input operation is selected.

次に、ステップS82として、携帯電話端末61は、携帯電話運用システム62に対して、前記キー入力部2からのキー入力に応じて生成された楽曲試聴要求を送信し、さらに、携帯電話運用システム62は、ステップS83として、その楽曲試聴要求をそのまま楽曲同定システム63に送信する。   Next, in step S82, the mobile phone terminal 61 transmits a music preview request generated in response to the key input from the key input unit 2 to the mobile phone operation system 62, and further the mobile phone operation system. 62 transmits the music preview request as it is to the music identification system 63 as step S83.

上記楽曲試聴要求を受け取った楽曲同定システム63は、ステップS84として、上記楽曲試聴要求に応じた試聴用データを携帯電話運用システム62へ送信し、さらに、携帯電話運用システム62は、ステップS85として、その試聴用データをそのまま携帯電話端末61に送信する。このときの携帯電話端末61では、上記試聴用データを前記メモリ18に蓄積する。   The music identification system 63 that has received the music trial listening request transmits the data for trial listening corresponding to the music trial listening request to the mobile phone operation system 62 in step S84, and the mobile phone operation system 62 further executes step S85. The trial listening data is transmitted to the mobile phone terminal 61 as it is. At this time, the cellular phone terminal 61 stores the trial listening data in the memory 18.

次に、ステップS86として、上記試聴用データの提供を受けた携帯電話端末61では、当該端末の操作者(楽曲購入者)により前記キー入力部2に対して当該試聴用の楽曲を試聴する旨の所定の入力操作がなされると、その入力操作に応じて前記メモリ18に蓄積された試聴用の楽曲データをオーディオ用復号化器19に送り、当該試聴用の楽曲データを復号し、さらにD/A変換器20を介してスピーカ21に送る。これにより、当該携帯電話端末61の操作者(楽曲購入者)は、上記試聴用の楽曲を聴くことができる。   Next, in step S86, in the mobile phone terminal 61 that has received the provision of the data for trial listening, the operator (music purchaser) of the terminal trials the music for trial listening to the key input unit 2. Is sent to the audio decoder 19 in response to the input operation, and the sample music data is decoded, and further, D The signal is sent to the speaker 21 via the / A converter 20. Thereby, the operator (music purchaser) of the mobile phone terminal 61 can listen to the trial music.

その後、携帯電話端末61では、ステップS87として、当該端末の操作者(楽曲購入者)により前記キー入力部2に対して他の楽曲を試聴することの要否を指示するための所定の入力操作がなされたか否かの判断を行う。このステップS87において、操作者から他の楽曲を試聴することの指示入力がなされた場合(試聴する場合(Y))は、ステップS81の試聴曲の選択の処理に戻り、一方、操作者から他の楽曲を試聴しないことの指示入力がなされた場合(試聴しない場合(N))は、ステップS88の処理に進む。   Thereafter, in step S87, the mobile phone terminal 61 performs a predetermined input operation for instructing the key input unit 2 whether to listen to another piece of music by the operator (music purchaser) of the terminal. It is determined whether or not In this step S87, when the operator inputs an instruction to audition another song (in the case of audition (Y)), the process returns to the process of selecting the audition song in step S81, while the operator makes another If the instruction input not to listen to the song is performed (when not listening (N)), the process proceeds to step S88.

ステップS88の処理に進むと、携帯電話端末61では、操作者(楽曲購入者)によりキー入力部2に対してその試聴した楽曲を購入することの要否を指示するための所定の入力操作がなされたか否かの判断を行う。このステップS88において、操作者から当該試聴した楽曲を購入することの指示入力がなされた場合(Y)は、図11に示す楽曲購入段階へ進み、一方、操作者から当該試聴した楽曲を購入しないことの指示入力がなされた場合(N)は、処理を終了する。   When the processing proceeds to step S88, the mobile phone terminal 61 performs a predetermined input operation for instructing the key input unit 2 whether or not it is necessary to purchase the sampled music by the operator (music purchaser). A determination is made as to whether it has been made. In this step S88, when the operator inputs an instruction to purchase the sample music (Y), the process proceeds to the music purchase stage shown in FIG. 11, while the operator does not purchase the sample music. If the instruction input is made (N), the process is terminated.

図11に示す楽曲購入段階へ進むと、先ずステップS89として、携帯電話端末61では、端末操作者(楽曲購入者)によりキー入力部2に対して購入楽曲を選択するための所定の入力操作がなされると、その入力操作に応じた楽曲選択を行う。   When the process proceeds to the music purchase stage shown in FIG. 11, first, in step S89, in the mobile phone terminal 61, the terminal operator (music purchaser) performs a predetermined input operation for selecting the purchased music on the key input unit 2. If it is made, music selection is performed according to the input operation.

次に、ステップS90として、携帯電話端末61は、上記選択された楽曲の購入意思を示す楽曲購入要求を携帯電話運用システム62に対して送信し、さらに、ステップS91として、携帯電話運用システム62は、その楽曲購入要求をそのまま楽曲販売者側の楽曲配信システム64に送信する。   Next, in step S90, the mobile phone terminal 61 transmits a music purchase request indicating the purchase intention of the selected music to the mobile phone operation system 62. Further, in step S91, the mobile phone operation system 62 The music purchase request is transmitted to the music distribution system 64 on the music seller side as it is.

上記楽曲購入要求を受け取った楽曲販売システム64は、ステップS92として、当該楽曲購入要求に応じた楽曲データを携帯電話運用システム62へ送信し、さらに、携帯電話運用システム62は、ステップS93として、その楽曲データをそのまま携帯電話端末61に送信する。なお、このときの携帯電話端末61では、上記楽曲データがメモリ18に蓄積される。その後、当該端末操作者(楽曲購入者)によりキー入力部2に対して当該楽曲を再生する旨の所定の入力操作がなされると、携帯電話端末61は、その入力操作に応じて前記メモリ18に蓄積された楽曲データをオーディオ用復号化器19に送り、当該楽曲データを復号し、さらにD/A変換器20を介してスピーカ21に送る。これにより、当該携帯電話端末61の操作者(楽曲購入者)は、上記購入した楽曲を聴くことができる。   The music sales system 64 that has received the music purchase request transmits the music data corresponding to the music purchase request to the mobile phone operation system 62 as step S92. Further, the mobile phone operation system 62 receives the music purchase request as step S93. The music data is transmitted to the mobile phone terminal 61 as it is. Note that the music data is stored in the memory 18 in the mobile phone terminal 61 at this time. Thereafter, when the terminal operator (music purchaser) performs a predetermined input operation for reproducing the music on the key input unit 2, the mobile phone terminal 61 responds to the input operation with the memory 18. Is sent to the audio decoder 19, the music data is decoded, and further sent to the speaker 21 via the D / A converter 20. Thereby, the operator (music purchaser) of the mobile phone terminal 61 can listen to the purchased music.

ここで、上述のように楽曲の同定や配信が行われた場合、その楽曲の同定や購入の代金は、楽曲購入者が楽曲同定者や楽曲配信者に直接或いは銀行振込、インターネット経由のクレジットカード精算等により支払うことも可能であるが、本発明実施の形態の電子音楽同定配信システムでは、代金支払いの一括化のために、上記携帯電話運用者を通じて支払うようにしている。   Here, when music identification and distribution are performed as described above, the music purchaser pays the music identification person or music distributor directly or by bank transfer or credit card via the Internet. Although it is possible to pay by settlement, etc., in the electronic music identification distribution system according to the embodiment of the present invention, the payment is made through the mobile phone operator in order to collect the payment.

先ず、ステップS94として、楽曲同定者側の楽曲同定システム63は、前述した楽曲の同定のための代金請求情報を、電話運用者側の携帯電話運用システム62に対して送る。このときの携帯電話運用システム62の電話運用者は、ステップS95として、その代金を楽曲購入者に代行して上記楽曲同定者に支払う。なお、この場合の代金支払い方法としては、例えば電話運用者の銀行口座から楽曲同定者の銀行口座に代金が振り込まれるような電子決済処理を行い、その決済が行われたことを示す情報を、携帯電話運用システム62或いは銀行より、楽曲同定者側の楽曲同定システム63に送るようにしても良い。   First, as step S94, the music identification system 63 on the music identifier side sends the above-described charge request information for identifying the music to the mobile phone operation system 62 on the telephone operator side. The telephone operator of the mobile phone operation system 62 at this time pays the music identifier to the music identifier on behalf of the music purchaser in step S95. In addition, as a payment method in this case, for example, electronic payment processing is performed such that the price is transferred from the bank account of the telephone operator to the bank account of the music identifier, and information indicating that the payment has been performed, You may make it send to the music identification system 63 by the music identification person side from the mobile telephone operation system 62 or a bank.

同様に、ステップS96として、楽曲販売者側の楽曲配信システム64は、前述のように配信した楽曲の代金請求情報を、電話運用者側の携帯電話運用システム62に対して送る。このときの携帯電話運用システム62の電話運用者は、ステップS97として、その代金を楽曲購入者に代行して上記楽曲配信者に支払う。なお、この場合の代金支払い方法としては、例えば電話運用者の銀行口座から楽曲配信者の銀行口座に代金が振り込まれるような電子決済処理を行い、その決済が行われたことを示す情報を、携帯電話運用システム62或いは銀行より、楽曲配信者側の楽曲配信システム64に送るようにしても良い。   Similarly, in step S96, the music distribution system 64 on the music seller side sends the billing information for the music distributed as described above to the mobile phone operation system 62 on the telephone operator side. At this time, the telephone operator of the mobile phone operation system 62 pays the music distributor to the music distributor on behalf of the music purchaser in step S97. In addition, as a payment method in this case, for example, an electronic payment process is performed in which the price is transferred from the bank account of the telephone operator to the bank account of the music distributor, and information indicating that the payment has been performed, You may make it send to the music distribution system 64 by the music distributor side from the mobile telephone operation system 62 or a bank.

次に、ステップS98として、携帯電話運用システム62は、上記楽曲同定者や楽曲配信者に対して上記代行して支払った金額を通話料などに加算して、上記携帯電話端末61の使用者(楽曲購入者)に対して請求する。その後、ステップS99として、当該携帯電話端末61の使用者(楽曲購入者)は、上記楽曲同定代金や楽曲配信代金が加算された通話料を、上記電話運用者に対して、直接或いは銀行振込、インターネット経由のクレジットカード精算等により一括或いは分割して支払う。なお、携帯電話端末61の使用者(楽曲購入者)と電話運用者との間の通話料の支払いについても、上述同様に、例えば携帯電話端末61の使用者(楽曲購入者)の銀行口座から電話運用者の銀行口座に代金が振り込まれるような電子決済処理を行い、その決済が行われたことを示す情報を、携帯電話端末61或いは銀行より、電話運用者側の携帯電話運用システム62に送るようなことも可能である。   Next, as step S98, the mobile phone operation system 62 adds the amount paid on behalf of the music identifier and music distributor to the call charge and the like, and the user of the mobile phone terminal 61 ( To the music purchaser). Thereafter, as step S99, the user (music purchaser) of the mobile phone terminal 61 gives the telephone operator the telephone charge to which the music identification fee and the music distribution fee have been added, directly or by bank transfer, Pay by lump sum or by credit card payment via the Internet. In addition, as for the payment of the call charge between the user (music purchaser) of the mobile phone terminal 61 and the telephone operator, for example, from the bank account of the user (music purchaser) of the mobile phone terminal 61 as described above. Electronic payment processing is performed in which the money is transferred to the bank account of the telephone operator, and information indicating that the payment has been made is sent from the mobile phone terminal 61 or the bank to the mobile phone operating system 62 on the telephone operator side. It is also possible to send it.

以上により、代金精算の処理が完了する。   This completes the payment settlement process.

本実施の形態では、説明の便宜上、楽曲同定者と楽曲販売者を別物として説明したが、もちろん、楽曲販売者自身が同定サービスを行っても同様のことが実現される。また、説明の便宜上、試聴用の楽曲データは、同定者が提供するよう説明したが、この部分は販売者が行っても本質的な差異が生じないのは明らかである。   In the present embodiment, for the sake of convenience of explanation, the music identifier and the music seller have been described as separate items. Of course, the same thing can be realized even if the music seller himself performs the identification service. In addition, for convenience of explanation, it has been described that the music data for trial listening is provided by the identifier, but it is clear that there is no substantial difference in this part even if performed by the seller.

さらに、本実施の形態では、楽曲データの配信を受けた後に、同定代金と楽曲購入代金を支払うようにしているが、楽曲同定のみが行われ、楽曲購入が行われなかった場合には、上記楽曲同定の代金のみを請求することも可能であるし、また、楽曲同定については無料サービスとすることもできる。   Furthermore, in this embodiment, after receiving the distribution of the music data, the identification price and the music purchase price are paid, but only the music identification is performed and the music purchase is not performed. It is possible to charge only the price for music identification, and it is also possible to provide a free service for music identification.

また、本発明実施の形態では、携帯電話端末を例に挙げているが、本発明は、いわゆるパームトップ型コンピュータのような携帯型情報処理端末であっても適用可能である。但し、本発明では、上述したように音楽の録音、楽曲同定、楽曲配信、購入、再生などの全てを一台の携帯電話端末において実現することにより、携帯型情報処理端末を不要とし、さらに、いわゆる携帯型のオーディオ記録再生装置をも不要としている。   In the embodiment of the present invention, a mobile phone terminal is taken as an example. However, the present invention can be applied to a portable information processing terminal such as a so-called palmtop computer. However, in the present invention, as described above, the recording of music, the identification of music, the distribution of music, the purchase, the reproduction, etc. are all realized in one mobile phone terminal, thereby eliminating the need for a portable information processing terminal, A so-called portable audio recording / reproducing apparatus is also unnecessary.

以上説明したように、本発明実施の形態によれば、テレビジョン放送やラジオ放送等、街頭放送等により流れている音楽の一部分から、楽曲候補の検索を行うことができ、さらに、該楽曲候補の試聴、楽曲名の同定、楽曲の購入、楽曲の再生を、一台の携帯電話端末により行うことが可能となっている。すなわち、本発明実施の形態によれば、テレビジョン放送やラジオ放送等、街頭放送等により流れている音楽の調査を容易に行え、その楽曲を容易に入手可能となり、したがって、購入者は楽曲を同定できずに購入をあきらめることが減り、また購入のための時間や労力を著しく節約することが可能となる。   As described above, according to the embodiment of the present invention, it is possible to search for music candidates from a part of music that is played by street broadcasting or the like such as television broadcasting or radio broadcasting. , Listening to music names, purchasing music, and playing music can be performed by a single mobile phone terminal. That is, according to the embodiment of the present invention, it is possible to easily investigate music flowing through street broadcasting or the like such as television broadcasting or radio broadcasting, and the music can be easily obtained. Giving up purchases without being identified is reduced, and time and effort for purchases can be saved significantly.

以上の説明からも明らかなように、本発明によれば、携帯電話端末において、音響電気変換手段を介して取り込まれた音楽データを録音し、その録音された音楽データを圧縮符号化、若しくは、録音された音楽データから当該音楽の楽曲名を同定するための特徴量を抽出して楽曲同定・配信側に送り、楽曲同定・配信側において、その圧縮符号化若しくは抽出された特徴量から楽曲の候補を検索し、その候補の楽曲の試聴用データを携帯電話端末に送り、携帯電話端末での試聴の結果、購入の決定された楽曲を、楽曲同定・配信側から携帯電話端末に送り、携帯電話運用側において、試聴した楽曲と購入した楽曲に応じた課金を行うことにより、例えば演奏、再生、放送などがされている楽曲の一部断片であっても、その楽曲を容易に同定及び入手(例えば購入)可能であり、また、その楽曲の代金の支払い、楽曲の再生等をも同時に可能となる。   As is clear from the above description, according to the present invention, in the mobile phone terminal, the music data taken in via the acoustoelectric conversion means is recorded, and the recorded music data is compressed and encoded, or The feature quantity for identifying the music title of the music is extracted from the recorded music data and sent to the music identification / distribution side. The music identification / distribution side extracts the feature quantity from the compression-coded or extracted feature quantity. Search for candidates, send trial listening data of the candidate songs to the mobile phone terminal, send the songs that have been purchased as a result of the trial listening on the mobile phone terminal from the song identification / distribution side to the mobile phone terminal, For example, even if it is a partial piece of music that is being played, played, or broadcast, for example, the music can be easily identified and identified by charging on the telephone operation side according to the music that was auditioned and purchased. Available (for example purchase) is possible, also, payment of the price of the music, it is also possible at the same time playback, and the like of the music.

1 マイクロフォン、 2 キー入力部、 3 録音ボタン、 4 A/D変換器、 5 スイッチ、 6 音声用符号化器、 7 音楽データ処理部、 8 マルチプレクサ、 9 変調器、 10 一時記憶部、 11 復調器、 12 デマルチプレクサ、 13 表示処理部、 14 ディスプレイ、 15 音声用復号化器、 16,20 D/A変換器、 17,21 スピーカ、 18 メモリ、 19 オーディオ用復号化器、 33,43 パワースペクトル分析部、 34,44 特徴行列生成部、 35 データベース、 45 マッチング部、 61 携帯電話端末、 62 携帯電話運用システム、 63 楽曲同定システム、 64 楽曲配信システム   DESCRIPTION OF SYMBOLS 1 Microphone, 2 Key input part, 3 Recording button, 4 A / D converter, 5 Switch, 6 Voice encoder, 7 Music data processing part, 8 Multiplexer, 9 Modulator, 10 Temporary storage part, 11 Demodulator , 12 Demultiplexer, 13 Display processing unit, 14 Display, 15 Audio decoder, 16, 20 D / A converter, 17, 21 Speaker, 18 Memory, 19 Audio decoder, 33, 43 Power spectrum analysis Unit, 34, 44 feature matrix generation unit, 35 database, 45 matching unit, 61 mobile phone terminal, 62 mobile phone operation system, 63 music identification system, 64 music distribution system

Claims (6)

音楽データの音楽断片データから候補となる楽曲名を同定するために、上記音楽断片データを時間周波数分布に変換し、音楽断片特徴量を抽出する音楽断片特徴量抽出手段と、
上記音楽断片特徴量抽出手段により抽出された音楽断片特徴量に基づいて、既に登録されている楽曲の中から、候補となる楽曲名を同定する同定手段と
上記既に登録されている楽曲を保存および管理する楽曲データベースとを有し、
上記音楽断片特徴量抽出手段は、上記時間周波数分布のデータを所定の周波数および時間間隔でリサンプリングすることにより、上記音楽断片データに対応した音楽断片特徴行列を上記音楽断片特徴量として抽出し、
上記楽曲データベースには、複数の楽曲の時間周波数分布のデータを所定の周波数および時間間隔でリサンプリングして得られた楽曲特徴行列が上記楽曲特徴量として保存され、
上記同定手段は、上記音楽断片特徴行列を同定用特徴行列に変換する特徴行列変換手段を有し、
上記特徴行列変換手段は、上記音楽断片特徴行列をマスク行列によりマスクする処理を行い、上記マスク行列としては、低周波成分をマスクするための行列、時間マスクを行うための行列、音声成分をマスクするための行列の少なくとも1つを含む複数のマスクを切り替えて用いる
楽曲同定装置。
In order to identify a candidate song name from music fragment data of music data, the music fragment feature amount extracting means for converting the music fragment data into a time-frequency distribution and extracting a music fragment feature amount;
Based on the music fragment feature quantity extracted by the music fragment feature quantity extraction means, an identification means for identifying a candidate song name from among already registered songs ;
Possess a music database for storing and managing music that is the already registered,
The music fragment feature amount extraction means extracts the music fragment feature matrix corresponding to the music fragment data as the music fragment feature amount by resampling the data of the time frequency distribution at a predetermined frequency and time interval,
In the music database, a music feature matrix obtained by resampling data of time frequency distribution of a plurality of music at a predetermined frequency and time interval is stored as the music feature amount,
The identification means includes feature matrix conversion means for converting the music fragment feature matrix into an identification feature matrix,
The feature matrix conversion means performs a process of masking the music fragment feature matrix with a mask matrix, and the mask matrix includes a matrix for masking a low frequency component, a matrix for performing a time mask, and a voice component. A music identification device that switches between a plurality of masks including at least one of the matrices for performing the operation .
上記同定手段は、上記楽曲データベースに登録されている各楽曲の上記楽曲特徴行列に対して、時間をずらしながら、上記特徴行列変換手段から得られた同定用特徴行列との類似度を計算し、各時刻の類似度のうち最大のもの及びその時刻によって、楽曲と音楽断片の類似度及び類似度最大時刻を求める請求項記載の楽曲同定装置。 The identification means calculates the similarity with the feature matrix for identification obtained from the feature matrix conversion means while shifting the time with respect to the music feature matrix of each music registered in the music database, the largest one and the time of the similarity of each time, music identification apparatus according to claim 1, wherein determining the similarity and the similarity maximum time of the music and the music pieces. 上記楽曲データベースには、上記楽曲特徴行列のデータが、該楽曲特徴行列を抽出した楽曲の楽曲名、演奏家名、楽曲のID番号と対応付けられて登録される請求項記載の楽曲同定装置。 The aforementioned music database, data of the music feature matrix, song name of music was extracted musical composition feature matrix, musicians name, music identification apparatus according to claim 1, wherein registered in association with the music ID number . 音楽データの音楽断片データから候補となる楽曲名を同定するために、上記音楽断片データを時間周波数分布に変換し、音楽断片特徴量を抽出する音楽断片特徴量抽出工程と、
上記音楽断片特徴量抽出工程により抽出された音楽断片特徴量に基づいて、既に登録されている楽曲の中から、候補となる楽曲名を同定する同定工程とを有し、
上記音楽断片特徴量抽出工程では、上記時間周波数分布のデータを所定の周波数および時間間隔でリサンプリングすることにより、上記音楽断片データに対応した音楽断片特徴行列を上記音楽断片特徴量として抽出し、
上記既に登録されている楽曲を保存および管理する楽曲データベースには、複数の楽曲の時間周波数分布のデータを所定の周波数および時間間隔でリサンプリングして得られた楽曲特徴行列が上記楽曲特徴量として保存され、
上記同定工程では、上記音楽断片特徴行列を同定用特徴行列に変換し、上記音楽断片特徴行列をマスク行列によりマスクする処理を行い、上記マスク行列としては、低周波成分をマスクするための行列、時間マスクを行うための行列、音声成分をマスクするための行列の少なくとも1つを含む複数のマスクを切り替えて用いる
楽曲同定方法。
In order to identify candidate song names from music fragment data of music data, a music fragment feature extraction step of converting the music fragment data into a time-frequency distribution and extracting music fragment feature values;
On the basis of music pieces feature value extracted by the musical fragment feature quantity extracting process, already closed from the music that has been registered, the identification step of identifying a music title to be a candidate,
In the music fragment feature extraction step, the music fragment feature matrix corresponding to the music fragment data is extracted as the music fragment feature by re-sampling the data of the time frequency distribution at a predetermined frequency and time interval,
In the music database for storing and managing the already registered music, a music feature matrix obtained by resampling data of time frequency distribution of a plurality of music at a predetermined frequency and time interval is used as the music feature amount. Saved,
In the identification step, the music fragment feature matrix is converted into an identification feature matrix, and the music fragment feature matrix is masked with a mask matrix. The mask matrix includes a matrix for masking low frequency components, A music identification method that switches between a plurality of masks including at least one of a matrix for performing time masking and a matrix for masking audio components .
音楽データを記録する記録手段と、
上記音楽データから音楽を再生する再生手段と、
携帯電話運用システムを介して、上記音楽データの音楽断片データから候補となる楽曲名を同定するために、上記音楽断片データを時間周波数分布に変換し、音楽断片特徴量を抽出する音楽断片特徴量抽出手段と、
上記音楽断片特徴量抽出手段により抽出された音楽断片特徴量に基づいて、既に登録されている楽曲の中から、候補となる楽曲名を同定する同定手段と、
上記同定手段に基づいて、同定された楽曲を送信する送信手段と
上記既に登録されている楽曲を保存および管理する楽曲データベースとを有し、
上記音楽断片特徴量抽出手段は、上記時間周波数分布のデータを所定の周波数および時間間隔でリサンプリングすることにより、上記音楽断片データに対応した音楽断片特徴行列を上記音楽断片特徴量として抽出し、
上記楽曲データベースには、複数の楽曲の時間周波数分布のデータを所定の周波数および時間間隔でリサンプリングして得られた楽曲特徴行列が上記楽曲特徴量として保存され、
上記同定手段は、上記音楽断片特徴行列を同定用特徴行列に変換する特徴行列変換手段を有し、
上記特徴行列変換手段は、上記音楽断片特徴行列をマスク行列によりマスクする処理を行い、上記マスク行列としては、低周波成分をマスクするための行列、時間マスクを行うための行列、音声成分をマスクするための行列の少なくとも1つを含む複数のマスクを切り替えて用いる
楽曲同定配信装置。
Recording means for recording music data;
Playback means for playing music from the music data;
In order to identify a candidate song name from the music fragment data of the music data via the mobile phone operation system, the music fragment data is converted into a time-frequency distribution and the music fragment feature is extracted. Extraction means;
Based on the music fragment feature quantity extracted by the music fragment feature quantity extraction means, an identification means for identifying a candidate song name from among already registered songs;
A transmission means for transmitting the identified music piece based on the identification means ;
Possess a music database for storing and managing music that is the already registered,
The music fragment feature amount extraction means extracts the music fragment feature matrix corresponding to the music fragment data as the music fragment feature amount by resampling the data of the time frequency distribution at a predetermined frequency and time interval,
In the music database, a music feature matrix obtained by resampling data of time frequency distribution of a plurality of music at a predetermined frequency and time interval is stored as the music feature amount,
The identification means includes feature matrix conversion means for converting the music fragment feature matrix into an identification feature matrix,
The feature matrix conversion means performs a process of masking the music fragment feature matrix with a mask matrix, and the mask matrix includes a matrix for masking a low frequency component, a matrix for performing a time mask, and a voice component. The music identification distribution apparatus which switches and uses the some mask containing at least 1 of the matrix for performing .
音楽データを記録する記録工程と、
上記音楽データから音楽を再生する再生工程と、
携帯電話運用システムを介して、上記音楽データの音楽断片データから候補となる楽曲名を同定するために、上記音楽断片データを時間周波数分布に変換し、音楽断片特徴量を抽出する音楽断片特徴量抽出工程と、
上記音楽断片特徴量抽出工程により抽出された音楽断片特徴量に基づいて、既に登録されている楽曲の中から、候補となる楽曲名を同定する同定工程と、
上記同定工程により同定された楽曲を送信する送信工程とを有し、
上記音楽断片特徴量抽出工程では、上記時間周波数分布のデータを所定の周波数および時間間隔でリサンプリングすることにより、上記音楽断片データに対応した音楽断片特徴行列を上記音楽断片特徴量として抽出し、
上記既に登録されている楽曲を保存および管理する楽曲データベースには、複数の楽曲の時間周波数分布のデータを所定の周波数および時間間隔でリサンプリングして得られた楽曲特徴行列が上記楽曲特徴量として保存され、
上記同定工程では、上記音楽断片特徴行列を同定用特徴行列に変換し、上記音楽断片特徴行列をマスク行列によりマスクする処理を行い、上記マスク行列としては、低周波成分をマスクするための行列、時間マスクを行うための行列、音声成分をマスクするための行列の少なくとも1つを含む複数のマスクを切り替えて用いる
楽曲同定配信方法。
A recording process for recording music data;
A playback process for playing music from the music data;
In order to identify a candidate song name from the music fragment data of the music data via the mobile phone operation system, the music fragment data is converted into a time-frequency distribution and the music fragment feature is extracted. An extraction process;
Based on the music fragment feature value extracted by the music fragment feature value extraction step, an identification step for identifying a candidate song name from among already registered songs;
It has a transmission step of transmitting the music identified by the identification step,
In the music fragment feature extraction step, the music fragment feature matrix corresponding to the music fragment data is extracted as the music fragment feature by re-sampling the data of the time frequency distribution at a predetermined frequency and time interval,
In the music database for storing and managing the already registered music, a music feature matrix obtained by resampling data of time frequency distribution of a plurality of music at a predetermined frequency and time interval is used as the music feature amount. Saved,
In the identification step, the music fragment feature matrix is converted into an identification feature matrix, and the music fragment feature matrix is masked with a mask matrix. The mask matrix includes a matrix for masking low frequency components, A music identification distribution method that switches between a plurality of masks including at least one of a matrix for performing time masking and a matrix for masking audio components .
JP2009188394A 2009-08-17 2009-08-17 Music identification apparatus and method, music identification distribution apparatus and method Expired - Fee Related JP4788810B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009188394A JP4788810B2 (en) 2009-08-17 2009-08-17 Music identification apparatus and method, music identification distribution apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009188394A JP4788810B2 (en) 2009-08-17 2009-08-17 Music identification apparatus and method, music identification distribution apparatus and method

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2000306871A Division JP4433594B2 (en) 2000-10-05 2000-10-05 Music identification apparatus and method

Publications (2)

Publication Number Publication Date
JP2009276776A JP2009276776A (en) 2009-11-26
JP4788810B2 true JP4788810B2 (en) 2011-10-05

Family

ID=41442206

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009188394A Expired - Fee Related JP4788810B2 (en) 2009-08-17 2009-08-17 Music identification apparatus and method, music identification distribution apparatus and method

Country Status (1)

Country Link
JP (1) JP4788810B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013157254A1 (en) 2012-04-18 2013-10-24 Sony Corporation Sound detecting apparatus, sound detecting method, sound feature value detecting apparatus, sound feature value detecting method, sound section detecting apparatus, sound section detecting method, and program
CN106910494A (en) * 2016-06-28 2017-06-30 阿里巴巴集团控股有限公司 A kind of audio identification methods and device

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011103498A2 (en) * 2010-02-18 2011-08-25 The Trustees Of Dartmouth College System and method for automatically remixing digital music
EP2551780A4 (en) * 2010-03-26 2013-09-04 Fujitsu Ltd Category generating program, category generating device, and category generating method
JP5728888B2 (en) * 2010-10-29 2015-06-03 ソニー株式会社 Signal processing apparatus and method, and program
JP2012194653A (en) * 2011-03-15 2012-10-11 Nec Corp Data processing device, data processing system, data processing method, and program
JP5732994B2 (en) 2011-04-19 2015-06-10 ソニー株式会社 Music searching apparatus and method, program, and recording medium
KR101713988B1 (en) * 2011-06-21 2017-03-22 네이버 주식회사 Method and apparatus for providing content sending metadata extracted from content
WO2013008956A1 (en) * 2011-07-14 2013-01-17 日本電気株式会社 Sound processing method, sound processing system, video processing method, video processing system, sound processing device, and method and program for controlling same
JP6233625B2 (en) * 2012-11-16 2017-11-22 ソニー株式会社 Audio processing apparatus and method, and program
CN110473569A (en) * 2019-09-11 2019-11-19 苏州思必驰信息科技有限公司 Detect the optimization method and system of speaker's spoofing attack
CN114724583A (en) * 2021-01-05 2022-07-08 北京字跳网络技术有限公司 Music fragment positioning method, device, equipment and storage medium

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3545007B2 (en) * 1993-03-17 2004-07-21 新日鉄ソリューションズ株式会社 Database search system
JP3433818B2 (en) * 1993-03-31 2003-08-04 日本ビクター株式会社 Music search device
JPH07121556A (en) * 1993-10-21 1995-05-12 Nippon Telegr & Teleph Corp <Ntt> Musical information retrieving device
JPH09138691A (en) * 1995-11-15 1997-05-27 Brother Ind Ltd Musical piece retrieval device
JPH1091176A (en) * 1996-09-13 1998-04-10 Brother Ind Ltd Musical piece retrieval device and musical piece reproducing device
JPH1115468A (en) * 1997-05-01 1999-01-22 N T T Data:Kk Method, device, and system for music retrieval, and recording medium
JPH11120198A (en) * 1997-10-20 1999-04-30 Sony Corp Musical piece retrieval device
JP3467415B2 (en) * 1998-12-01 2003-11-17 日本電信電話株式会社 Music search device, music search method, and recording medium recording music search program

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013157254A1 (en) 2012-04-18 2013-10-24 Sony Corporation Sound detecting apparatus, sound detecting method, sound feature value detecting apparatus, sound feature value detecting method, sound section detecting apparatus, sound section detecting method, and program
CN106910494A (en) * 2016-06-28 2017-06-30 阿里巴巴集团控股有限公司 A kind of audio identification methods and device
US10910000B2 (en) 2016-06-28 2021-02-02 Advanced New Technologies Co., Ltd. Method and device for audio recognition using a voting matrix
US11133022B2 (en) 2016-06-28 2021-09-28 Advanced New Technologies Co., Ltd. Method and device for audio recognition using sample audio and a voting matrix

Also Published As

Publication number Publication date
JP2009276776A (en) 2009-11-26

Similar Documents

Publication Publication Date Title
JP4788810B2 (en) Music identification apparatus and method, music identification distribution apparatus and method
US8462950B2 (en) System and method for extracting, decoding, and utilizing hidden data embedded in audio signals
US9029676B2 (en) Musical score device that identifies and displays a musical score from emitted sound and a method thereof
JP4433594B2 (en) Music identification apparatus and method
JP2007164659A (en) Information distribution system and method using music information
JP2000066688A (en) Karaoke service method using movement communication network and system therefor
US20030233282A1 (en) Process for automatically ordering permanent versions of individual songs or albums heard on satellite or digital radio stations
CN105611400B (en) Content processing apparatus and method for transmitting variable-size segments
CN101091380A (en) Defined ringing tone segments in an audio source
JP2007195105A (en) Information acquisition support system and information acquisition method by portable information terminal using sound information
JP2003022337A (en) System and method for distributing contents, information providing device and information terminal
JP2005274992A (en) Music identification information retrieving system, music purchasing system, music identification information obtaining method, music purchasing method, audio signal processor and server device
JP2002091455A (en) Terminal equipment and electronic music distributing system
KR101128673B1 (en) Communication apparatus, communication method and communication program
JP2002196769A (en) Music title determination system
KR100456408B1 (en) Search of audio date and sample
KR100892463B1 (en) Portable Terminal Having Information Providing Function Of Acostic Source And Method For Providing Of Information For Acoustic Source In Portable Terminal
JP3737614B2 (en) Broadcast confirmation system using audio signal, and audio material production apparatus and broadcast confirmation apparatus used in this system
JP2001297086A (en) Retrieval system, retrieval device, retrieval method, input device and input method
JP2007531933A (en) Interface configured to extract features from mobile stations and input media samples
JP2006084515A (en) Music play-back apparatus
JP4713181B2 (en) Information embedding device for sound signal, device for extracting information from sound signal, and sound signal reproducing device
JP4713180B2 (en) Device for extracting information from acoustic signals
JP4016742B2 (en) Terminal device and content distribution system
KR101206113B1 (en) Apparatus and method for alarming live bell in mobile terminal

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090915

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110328

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110621

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110704

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140729

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees