JP4115923B2 - 楽曲検索システムおよび楽曲検索方法 - Google Patents
楽曲検索システムおよび楽曲検索方法 Download PDFInfo
- Publication number
- JP4115923B2 JP4115923B2 JP2003376216A JP2003376216A JP4115923B2 JP 4115923 B2 JP4115923 B2 JP 4115923B2 JP 2003376216 A JP2003376216 A JP 2003376216A JP 2003376216 A JP2003376216 A JP 2003376216A JP 4115923 B2 JP4115923 B2 JP 4115923B2
- Authority
- JP
- Japan
- Prior art keywords
- music
- data
- impression
- search
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明の楽曲検索システムは、楽曲データベースに記憶された複数の楽曲データの中から所望の楽曲データを検索する楽曲検索システムであって、前記楽曲データを入力する楽曲データ入力手段と、該楽曲データ入力手段によって入力された前記楽曲データの一定フレーム長に対して高速フーリエ変換を行いパワースペクトルを算出することで物理的な特徴データを抽出する特徴データ抽出手段と、予め学習が施された階層型ニューラルネットワークを用いて前記特徴データ抽出手段によって抽出された特徴データを人間の感性によって判断される印象度データに変換する印象度データ変換手段と、該印象度データ変換手段によって変換された印象度データを前記楽曲データ入力手段によって入力された楽曲データと共に楽曲データベースに記憶させる記憶制御手段と、キーワードに対応する楽曲を設定するキーワード設定手段と、楽曲がマッピングで表示される楽曲マッピング表示手段と、前記楽曲マッピング表示手段で表示された楽曲であるニューロンをポイントすると前記キーワードが表示されるキーワード表示手段と、印象度データを検索条件として入力する印象度データ入力手段と、該印象度データ入力手段から入力された印象度データと前記キーワードに基づいて前記楽曲データベースを検索する楽曲検索手段と、該楽曲検索手段によって検索された楽曲データを出力する楽曲データ出力手段と、を具備することを特徴とする。
前記楽曲マッピング表示手段で表示された楽曲であるニューロンをポイントすると前記キーワードが表示されるキーワード表示手段と、前記楽曲データベースに記憶されている楽曲データおよび印象度データを前記端末装置に出力するデータベース出力手段と、を具備し、前記端末装置は、前記楽曲登録装置からの楽曲データおよび印象度データを入力するデータベース入力手段と、該データベース入力手段によって入力された楽曲データおよび印象度データを記憶する端末側楽曲データベースと、印象度データを検索条件として入力する印象度データ入力手段と、該印象度データ入力手段から入力された印象度データとキーワードに基づいて前記端末側楽曲データベースを検索する楽曲検索手段と、該楽曲検索手段によって検索された楽曲データを再生する音声出力手段と、を具備することを特徴とする。
学習が施された自己組織化マップ(更新された特徴ベクトル)は、楽曲マップとして楽曲検索装置10の楽曲マップ記憶部17に記憶される。
図3は、図1に示す楽曲検索装置における楽曲登録動作を説明するためのフローチャートであり、図4は、図1に示す特徴データ抽出部における特徴データ抽出動作を説明するためのフローチャートであり、図5は、図2に示すニューラルネットワーク学習装置における階層型ニューラルネットワークの学習動作を説明するためのフローチャートであり、図6は、図2に示すニューラルネットワーク学習装置における楽曲マップの学習動作を説明するためのフローチャートあり、図7は、図1に示す楽曲検索装置における楽曲検索動作を説明するためのフローチャートであり、図8は、図2に示すニューラルネットワーク学習装置における階層型ニューラルネットワークの学習アルゴリズムを説明するための説明図であり、図9は、図2に示すニューラルネットワーク学習装置における楽曲マップの学習アルゴリズムを説明するための説明図であり、図10は、図1に示すPC表示部の表示画面例を示す図であり、図11は、図10に示す検索条件入力領域の表示例を示す図であり、図12および図13は、図10に示す検索結果表示領域の表示例を示す図であり、
図14は、図10に示す表示画面例に表示される全楽曲リスト表示領域例を示す図であり、図15は、図10に示す表示画面例に表示されるキーワード検索領域例を示す図である。
楽曲データ入力部11にCD、DVD等の楽曲データが記憶されている記憶媒体をセットし、楽曲データ入力部11から楽曲データを入力する(ステップA1)。
特徴データ抽出部13における特徴データの抽出動作は、図4を参照すると、楽曲データの入力を受け付け(ステップB1)、楽曲データの予め定められたデータ解析開始点から一定のフレーム長に対しFFT(高速フーリエ変換)を行い(ステップB2)、パワースペクトルを算出する。なお、ステップB2の前に高速化を目的としてダウンサンプリングを行うようにしても良い。
楽曲データ入力部41にCD、DVD等の楽曲データが記憶されている記憶媒体をセットし、楽曲データ入力部41から楽曲データを入力し(ステップC1)、特徴データ抽出部43は、楽曲データ入力部41から入力された楽曲データから、ゆらぎ情報からなる特徴データを抽出する(ステップC2)。
まず、初期値として、中間層(第n層)の全てニのューロンの結合重み値wを乱数によって−0.1〜0.1程度の範囲の小さな値に設定しておき、結合重み値学習部45は、特徴データ抽出部43によって抽出された特徴データを入力信号 xj(j=1,2,…,8) として入力層(第1層)に入力し、入力層(第1層)から出力層(第N層)に向けて、各ニューロンの出力を計算する。
楽曲検索部18は、PC表示部20に、図10に示すような検索画面50を表示し、PC操作部19からのユーザ入力を受け付ける。検索画面50は、楽曲マップ記憶部17に記憶されている楽曲データのマッピング状況が表示される楽曲マップ表示領域51と、検索条件を入力する検索条件入力領域52と、検索結果が表示される検索結果表示領域53とからなる。図10の楽曲マップ表示領域51に示されている点は、楽曲データがマッピングされている楽曲マップのニューロンを示している。
図16は、本発明に係る楽曲検索システムの他の実施の形態の構成を示すブロック図である。
11 楽曲データ入力部
12 圧縮処理部
13 特徴データ抽出部
14 印象度データ変換部
15 楽曲データベース
16 楽曲マッピング部
17 楽曲マップ記憶部
18 楽曲検索部
19 PC操作部
20 PC表示部
21 検索結果出力部
22 データベース出力部
30 端末装置
31 検索結果入力部
32 検索結果記憶部
33 端末操作部
34 端末表示部
35 音声出力部
36 楽曲データベース
37 楽曲マップ記憶部
38 楽曲検索部
39 データベース入力部
40 ニューラルネットワーク学習装置
41 楽曲データ入力部
42 音声出力部
43 特徴データ抽出部
44 印象度データ入力部
45 結合重み値学習部
46 楽曲マップ学習部
47 結合重み値出力部
48 特徴ベクトル出力部
50 検索画面
51 楽曲マップ表示領域
52 検索条件入力領域
53 検索結果表示領域
54 全楽曲リスト表示領域
55 キーワード検索領域
511 キーワード表示
521 印象度データ入力領域
522 書誌データ入力領域
523 検索実行ボタン
531 代表曲検索実行ボタン
532 出力ボタン
541 代表曲選択実行ボタン
551 キーワード選択領域
552 設定楽曲表示領域
553 おまかせ検索ボタン
554 設定楽曲変更ボタン
Claims (18)
- 楽曲データベースに記憶された複数の楽曲データの中から所望の楽曲データを検索する楽曲検索システムであって、
前記楽曲データを入力する楽曲データ入力手段と、
該楽曲データ入力手段によって入力された前記楽曲データの一定フレーム長に対して高速フーリエ変換を行いパワースペクトルを算出することで物理的な特徴データを抽出する特徴データ抽出手段と、
予め学習が施された階層型ニューラルネットワークを用いて前記特徴データ抽出手段によって抽出された特徴データを人間の感性によって判断される印象度データに変換する印象度データ変換手段と、
該印象度データ変換手段によって変換された印象度データを前記楽曲データ入力手段によって入力された楽曲データと共に楽曲データベースに記憶させる記憶制御手段と、
キーワードに対応する楽曲を設定するキーワード設定手段と、
楽曲がマッピングで表示される楽曲マッピング表示手段と、
前記楽曲マッピング表示手段で表示された楽曲であるニューロンをポイントすると前記キーワードが表示されるキーワード表示手段と、
印象度データを検索条件として入力する印象度データ入力手段と、
該印象度データ入力手段から入力された印象度データと前記キーワードに基づいて前記楽曲データベースを検索する楽曲検索手段と、
該楽曲検索手段によって検索された楽曲データを出力する楽曲データ出力手段と、を具備することを特徴とする楽曲検索システム。 - 前記階層型ニューラルネットワークは、楽曲データを聴取した評価者によって入力された印象度データを教師信号として学習が施されていることを特徴とする請求項1記載の楽曲検索システム。
- 前記特徴データ抽出手段は、特徴データとしてゆらぎ情報からなる複数の項目を抽出することを特徴とする請求項1乃至2のいずれかに記載の楽曲検索システム。
- 前記印象度データ変換手段によって変換された印象度データと、前記印象度データ入力手段から入力される印象度データとは、同一の複数項目からなることを特徴とする請求項1乃至3のいずれかに記載の楽曲検索システム。
- 前記楽曲検索手段は、前記印象度データ入力手段から入力された印象度データを入力ベクトルとすると共に、前記楽曲データベースに記憶されている印象度データを検索対象ベクトルとし、両者のユークリッド距離が小さい順に検索することを特徴とする請求項4記載の楽曲検索システム。
- 楽曲データベースに記憶された複数の楽曲データの中から所望の楽曲データを検索する楽曲検索装置と、当該楽曲検索装置に接続可能に構成されている端末装置とからなる楽曲検索システムであって、
前記楽曲検索装置は、前記楽曲データを入力する楽曲データ入力手段と、
該楽曲データ入力手段によって入力された前記楽曲データの一定フレーム長に対して高速フーリエ変換を行いパワースペクトルを算出することで物理的な特徴データを抽出する特徴データ抽出手段と、
予め学習が施された階層型ニューラルネットワークを用いて前記特徴データ抽出手段によって抽出された特徴データを人間の感性によって判断される印象度データに変換する印象度データ変換手段と、
該印象度データ変換手段によって変換された印象度データを前記楽曲データ入力手段によって入力された楽曲データと共に楽曲データベースに記憶させる記憶制御手段と、
キーワードに対応する楽曲を設定するキーワード設定手段と、
楽曲がマッピングで表示される楽曲マッピング表示手段と、
前記楽曲マッピング表示手段で表示された楽曲であるニューロンをポイントすると前記キーワードが表示されるキーワード表示手段と、
印象度データを検索条件として入力する印象度データ入力手段と、
該印象度データ入力手段から入力された印象度データと前記キーワードに基づいて前記楽曲データベースを検索する楽曲検索手段と、
該楽曲検索手段によって検索された楽曲データを前記端末装置に出力する楽曲データ出力手段と、を具備し、
前記端末装置は、前記楽曲検索装置からの楽曲データを入力する検索結果入力手段と、
該検索結果入力手段によって入力された楽曲データを記憶する検索結果記憶手段と、
該検索結果記憶手段に記憶された楽曲データを再生する音声出力手段と、を具備することを特徴とする楽曲検索システム。 - 前記階層型ニューラルネットワークは、楽曲データを聴取した評価者によって入力された印象度データを教師信号として学習が施されていることを特徴とする請求項6記載の楽曲検索システム。
- 前記特徴データ抽出手段は、特徴データとしてゆらぎ情報からなる複数の項目を抽出することを特徴とする請求項6乃至7のいずれかに記載の楽曲検索システム。
- 前記印象度データ変換手段によって変換された印象度データと、前記印象度データ入力手段から入力される印象度データとは、同一の複数項目からなることを特徴とする請求項6乃至8のいずれかに記載の楽曲検索システム。
- 前記楽曲検索手段は、前記印象度データ入力手段から入力された印象度データを入力ベクトルとすると共に、前記楽曲データベースに記憶されている印象度データを検索対象ベクトルとし、両者のユークリッド距離が小さい順に検索することを特徴とする請求項9記載の楽曲検索システム。
- 入力された楽曲データを楽曲データベースに記憶させる楽曲登録装置と、当該楽曲登録装置に接続可能に構成されている端末装置とからなる楽曲検索システムであって、
前記楽曲登録装置は、前記楽曲データを入力する楽曲データ入力手段と、
該楽曲データ入力手段によって入力された前記楽曲データの一定フレーム長に対して高速フーリエ変換を行いパワースペクトルを算出することで物理的な特徴データを抽出する特徴データ抽出手段と、
予め学習が施された階層型ニューラルネットワークを用いて前記特徴データ抽出手段によって抽出された特徴データを人間の感性によって判断される印象度データに変換する印象度データ変換手段と、
該印象度データ変換手段によって変換された印象度データを前記楽曲データ入力手段によって入力された楽曲データと共に楽曲データベースに記憶させる記憶制御手段と、
キーワードに対応する楽曲を設定するキーワード設定手段と、
楽曲がマッピングで表示される楽曲マッピング表示手段と、
前記楽曲マッピング表示手段で表示された楽曲であるニューロンをポイントすると前記キーワードが表示されるキーワード表示手段と、
前記楽曲データベースに記憶されている楽曲データおよび印象度データを前記端末装置に出力するデータベース出力手段と、を具備し、
前記端末装置は、前記楽曲登録装置からの楽曲データおよび印象度データを入力するデータベース入力手段と、
該データベース入力手段によって入力された楽曲データおよび印象度データを記憶する端末側楽曲データベースと、
印象度データを検索条件として入力する印象度データ入力手段と、
該印象度データ入力手段から入力された印象度データとキーワードに基づいて前記端末側楽曲データベースを検索する楽曲検索手段と、
該楽曲検索手段によって検索された楽曲データを再生する音声出力手段と、を具備することを特徴とする楽曲検索システム。 - 前記階層型ニューラルネットワークは、楽曲データを聴取した評価者によって入力された印象度データを教師信号として学習が施されていることを特徴とする請求項11記載の楽曲検索システム。
- 前記特徴データ抽出手段は、特徴データとしてゆらぎ情報からなる複数の項目を抽出することを特徴とする請求項11乃至12のいずれかに記載の楽曲検索システム。
- 前記印象度データ変換手段によって変換された印象度データと、前記印象度データ入力手段から入力される印象度データとは、同一の複数項目からなることを特徴とする請求項11乃至13のいずれかに記載の楽曲検索システム。
- 前記楽曲検索手段は、前記印象度データ入力手段から入力された印象度データを入力ベクトルとすると共に、前記端末側楽曲データベースに記憶されている印象度データを検索対象ベクトルとし、両者のユークリッド距離が小さい順に検索することを特徴とする請求項14記載の楽曲検索システム。
- コンピュータが実行する楽曲データベースに記憶された複数の楽曲データの中から所望の楽曲データを検索する楽曲検索方法であって、
前記コンピータは、前記楽曲データの入力を受け付ける楽曲データ入力部の楽曲データ入力工程と、
該入力した前記楽曲データの一定フレーム長に対して高速フーリエ変換を行いパワースペクトルを算出することで物理的な特徴データを抽出する特徴データ抽出部の特徴データ抽出工程と、
予め学習が施された階層型ニューラルネットワークを用いて前記抽出した特徴データを人間の感性によって判断される印象度データに変換する印象度データ変換部の印象度データ変換工程と、
該変換した印象度データを前記受け付けた楽曲データと共に楽曲データベースに記憶させる前記コンピュータの記憶制御工程と、
キーワードに対応する楽曲を設定するPC操作部のキーワード設定工程と、
楽曲がマッピングで表示されるPC表示部の楽曲マッピング表示工程と、
前記楽曲マッピング表示工程で表示された楽曲であるニューロンをポイントすると前記キーワードが表示されるPC表示部のキーワード表示工程と、
検索条件として印象度データの入力を受け付けるPC操作部の印象度データ入力工程と、
該受け付けた印象度データとキーワードに基づいて前記楽曲データベースを検索する楽曲検索部の楽曲検索工程と、
前記楽曲検索工程によって検索された楽曲データを出力する検索結果出力部の楽曲データ出力工程を実行することを特徴とする楽曲検索方法。 - 楽曲データを聴取した評価者によって入力された印象度データを教師信号として学習が施された前記階層型ニューラルネットワークを用いて前記抽出した特徴データを人間の感性によって判断される印象度データに変換することを特徴とする請求項16記載の楽曲検索方法。
- 請求項16乃至17のいずれかに記載の楽曲検索方法をコンピュータで実行可能な楽曲検索プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003376216A JP4115923B2 (ja) | 2003-11-05 | 2003-11-05 | 楽曲検索システムおよび楽曲検索方法 |
EP04026089A EP1530195A3 (en) | 2003-11-05 | 2004-11-03 | Song search system and song search method |
US10/980,294 US7576278B2 (en) | 2003-11-05 | 2004-11-04 | Song search system and song search method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003376216A JP4115923B2 (ja) | 2003-11-05 | 2003-11-05 | 楽曲検索システムおよび楽曲検索方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005141430A JP2005141430A (ja) | 2005-06-02 |
JP4115923B2 true JP4115923B2 (ja) | 2008-07-09 |
Family
ID=34687357
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003376216A Expired - Fee Related JP4115923B2 (ja) | 2003-11-05 | 2003-11-05 | 楽曲検索システムおよび楽曲検索方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4115923B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4987282B2 (ja) * | 2005-10-25 | 2012-07-25 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JP4841276B2 (ja) * | 2006-03-22 | 2011-12-21 | 三洋電機株式会社 | 音楽信号蓄積装置および音楽信号蓄積プログラム |
JP4799333B2 (ja) * | 2006-09-14 | 2011-10-26 | シャープ株式会社 | 楽曲分類方法、楽曲分類装置及びコンピュータプログラム |
-
2003
- 2003-11-05 JP JP2003376216A patent/JP4115923B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2005141430A (ja) | 2005-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Costa et al. | An evaluation of convolutional neural networks for music classification using spectrograms | |
US7576278B2 (en) | Song search system and song search method | |
JP2005301921A (ja) | 楽曲検索システムおよび楽曲検索方法 | |
JP4115923B2 (ja) | 楽曲検索システムおよび楽曲検索方法 | |
JP4607660B2 (ja) | 楽曲検索装置および楽曲検索方法 | |
JP4246120B2 (ja) | 楽曲検索システムおよび楽曲検索方法 | |
JP2005309712A (ja) | 楽曲検索システムおよび楽曲検索方法 | |
JP4165645B2 (ja) | 楽曲検索システムおよび楽曲検索方法 | |
JP4246100B2 (ja) | 楽曲検索システムおよび楽曲検索方法 | |
Poonia et al. | Music genre classification using machine learning: A comparative study | |
JP4165650B2 (ja) | 楽曲検索システムおよび楽曲検索方法 | |
Mirza et al. | Residual LSTM neural network for time dependent consecutive pitch string recognition from spectrograms: a study on Turkish classical music makams | |
JP4246101B2 (ja) | 楽曲検索システムおよび楽曲検索方法 | |
JP4165649B2 (ja) | 楽曲検索システムおよび楽曲検索方法 | |
JP2006195619A (ja) | 情報検索装置および情報検索方法 | |
JP4313343B2 (ja) | 携帯端末装置および情報表示方法 | |
JP4313340B2 (ja) | 携帯端末装置および選曲方法 | |
JP4607659B2 (ja) | 楽曲検索装置および楽曲検索方法 | |
JP4339171B2 (ja) | 楽曲検索システムおよび楽曲検索方法 | |
JP4279274B2 (ja) | 携帯端末装置および楽曲情報表示方法 | |
JP3901695B2 (ja) | 楽曲検索システムおよび楽曲検索方法 | |
JP2006317872A (ja) | 携帯端末装置および楽曲表現方法 | |
Tulisalmi-Eskola | Automatic Music Genre Classification-Supervised Learning Approach | |
Rönnberg | Classification of heavy metal subgenres with machine learning | |
Mendes | Deep learning techniques for music genre classification and building a music recommendation system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060125 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080122 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080321 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080415 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080416 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110425 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110425 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120425 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120425 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130425 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130425 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |