JP4246100B2 - 楽曲検索システムおよび楽曲検索方法 - Google Patents
楽曲検索システムおよび楽曲検索方法 Download PDFInfo
- Publication number
- JP4246100B2 JP4246100B2 JP2004117275A JP2004117275A JP4246100B2 JP 4246100 B2 JP4246100 B2 JP 4246100B2 JP 2004117275 A JP2004117275 A JP 2004117275A JP 2004117275 A JP2004117275 A JP 2004117275A JP 4246100 B2 JP4246100 B2 JP 4246100B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- music
- learning
- impression
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Reverberation, Karaoke And Other Acoustics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明の楽曲検索システムは、楽曲データベースに記憶された複数の楽曲データの中から所望の楽曲データを検索する楽曲検索システムであって、予め用意された楽曲データの特徴データ及び印象度データからなる学習データおよび初期設定用楽曲データを記憶する学習データ記憶手段と、該学習データ記憶手段に記憶されている前記初期設定用楽曲データを音声出力する音声出力手段と、該音声出力手段から音声出力された前記初期設定用楽曲データに対応して人間の感性によって判断される印象度データを入力する印象度データ入力手段と、前記学習データ記憶手段に記憶されている前記学習データと、前記初期設定用楽曲データが有する物理的な特徴データおよび前記印象度データ入力手段から入力された前記印象度データとを用いて、使用に先立って前記楽曲データが有する前記特徴データを前記印象度データに変換する階層型ニューラルネットワークを学習させる階層型ニューラルネットワーク学習手段と、前記楽曲データを入力する楽曲データ入力手段と、該楽曲データ入力手段によって入力された前記楽曲データの一定フレーム長に対して高速フーリエ変換を行いパワースペクトルを算出することで前記特徴データを抽出する特徴データ抽出手段と、前記階層型ニューラルネットワーク学習手段によって学習が施された前記階層型ニューラルネットワークを用いて、前記特徴データ抽出手段によって抽出された前記特徴データを前記印象度データに変換する印象度データ変換手段と、該印象度データ変換手段によって変換された前記印象度データを前記楽曲データ入力手段によって入力された前記楽曲データと共に楽曲データベースに記憶させる記憶制御手段と、キーワードに対応する楽曲を設定するキーワード設定手段と、楽曲がマッピングで表示される楽曲マッピング表示手段と、前記楽曲マッピング表示手段で表示された楽曲であるニューロンをポイントすると前記キーワードが表示されるキーワード表示手段と、検索条件として入力された前記印象度データと前記キーワードに基づいて前記楽曲データベースを検索する楽曲検索手段と、該楽曲検索手段によって検索された前記楽曲データを出力する楽曲データ出力手段と、を具備することを特徴とする。
前記楽曲検索工程によって検索された前記楽曲データを出力する検索結果出力部の楽曲データ出力工程とを実行することを特徴とする。
図1は、本発明に係る楽曲検索システムの本実施の形態の構成を示すブロック図であり、図2は、図1に示す端末装置の構成を示すブロック図であり、図3は、図1に示す楽曲検索装置に用いられる階層型ニューラルネットワークおよび楽曲マップを事前に学習させるニューラルネットワーク学習装置の構成を示すブロック図である。
図4は、図1に示す階層型ニューラルネットワーク学習部における階層型ニューラルネットワークの学習アルゴリズムを説明するための説明図であり、図5は、図3に示すニューラルネットワーク学習装置における階層型ニューラルネットワークの事前学習動作を説明するためのフローチャートであり、図6は、図3に示すニューラルネットワーク学習装置における初期設定用サンプルの作成動作を説明するためのフローチャートであり、図7は、図1に示すPC表示部に表示される初期設定画面例を示す図であり、図8は、図1に示す階層型ニューラルネットワーク学習部において初期設定時に行われる階層型ニューラルネットワークの学習動作を説明するためのフローチャートであり、図9は、図1に示す楽曲検索装置における楽曲登録動作を説明するためのフローチャートであり、図10は、図1に示す特徴データ抽出部における特徴データ抽出動作を説明するためのフローチャートであり、図11は、図3に示すニューラルネットワーク学習装置における楽曲マップの学習アルゴリズムを説明するための説明図であり、図12は、図3に示すニューラルネットワーク学習装置における楽曲マップの学習動作を説明するためのフローチャートあり、図13は、図1に示す楽曲検索装置における楽曲検索動作を説明するためのフローチャートであり、図14は、図1に示すPC表示部に表示される検索画面例を示す図であり、図15は、図14に示す検索条件入力領域の表示例を示す図であり、図16および図17は、図14に示す検索結果表示領域の表示例を示す図であり、図18は、図15に示す表示画面例に表示される全楽曲リスト表示領域例を示す図であり、図19は、図15に示す表示画面例に表示されるキーワード検索領域例を示す図である。
まず、初期値として、中間層(第n層)の全てのニューロンの結合重み値wを乱数によって−0.1〜0.1程度の範囲の小さな値に設定しておき、結合重み値学習部45は、特徴データ抽出部43によって抽出された特徴データを入力信号xj(j=1,2,…,8) として入力層(第1層)に入力し、入力層(第1層)から出力層(第N層)に向けて、各ニューロンの出力を計算する。
δj n を次式によって計算する。
楽曲データ入力部11にCD、DVD等の楽曲データが記憶されている記憶媒体をセットし、楽曲データ入力部11から楽曲データを入力する(ステップD1)。
特徴データ抽出部13における特徴データの抽出動作は、図10を参照すると、楽曲データの入力を受け付け(ステップE1)、楽曲データの予め定められたデータ解析開始点から一定のフレーム長に対しFFT(高速フーリエ変換)を行い(ステップE2)、パワースペクトルを算出する。なお、ステップE2の前に高速化を目的としてダウンサンプリングを行うようにしても良い。
楽曲検索部18は、PC表示部20に、図14に示すような検索画面60を表示し、PC操作部19からのユーザ入力を受け付ける。検索画面60は、楽曲マップ記憶部17に記憶されている楽曲データのマッピング状況が表示される楽曲マップ表示領域61と、検索条件を入力する検索条件入力領域62と、検索結果が表示される検索結果表示領域63とからなる。図14の楽曲マップ表示領域61に示されている点は、楽曲データがマッピングされている楽曲マップのニューロンを示している。
図20は、本発明に係る楽曲検索システムの他の実施の形態の構成を示すブロック図である。
11 楽曲データ入力部
12 圧縮処理部
13 特徴データ抽出部
14 印象度データ変換部
15 楽曲データベース
16 楽曲マッピング部
17 楽曲マップ記憶部
18 楽曲検索部
19 PC操作部(印象度データ入力手段)
20 PC表示部
21 検索結果出力部
22 初期設定部
23 学習データ記憶部
24 音声出力部
25 階層型ニューラルネットワーク学習部
26 データベース出力部
30 端末装置
31 検索結果入力部
32 検索結果記憶部
33 端末操作部
34 端末表示部
35 音声出力部
36 楽曲データベース
37 楽曲マップ記憶部
38 楽曲検索部
39 データベース入力部
40 ニューラルネットワーク学習装置
41 楽曲データ入力部
42 音声出力部
43 特徴データ抽出部
44 印象度データ入力部
45 結合重み値学習部
46 楽曲マップ学習部
47 結合重み値出力部
48 特徴ベクトル出力部
49 初期設定用サンプル出力部
50 初期設定画面
51 印象度データ入力領域
52 初期設定開始ボタン
53 入力確定ボタン
60 検索画面
61 楽曲マップ表示領域
62 検索条件入力領域
63 検索結果表示領域
64 全楽曲リスト表示領域
65 キーワード検索領域
611 キーワード表示
621 印象度データ入力領域
622 書誌データ入力領域
623 検索実行ボタン
631 代表曲検索実行ボタン
632 出力ボタン
641 代表曲選択実行ボタン
651 キーワード選択領域
652 設定楽曲表示領域
653 おまかせ検索ボタン
654 設定楽曲変更ボタン
Claims (17)
- 楽曲データベースに記憶された複数の楽曲データの中から所望の楽曲データを検索する楽曲検索システムであって、
予め用意された楽曲データの特徴データ及び印象度データからなる学習データおよび初期設定用楽曲データを記憶する学習データ記憶手段と、
該学習データ記憶手段に記憶されている前記初期設定用楽曲データを音声出力する音声出力手段と、
該音声出力手段から音声出力された前記初期設定用楽曲データに対応して人間の感性によって判断される印象度データを入力する印象度データ入力手段と、
前記学習データ記憶手段に記憶されている前記学習データと、前記初期設定用楽曲データが有する物理的な特徴データおよび前記印象度データ入力手段から入力された前記印象度データとを用いて、使用に先立って前記楽曲データが有する前記特徴データを前記印象度データに変換する階層型ニューラルネットワークを学習させる階層型ニューラルネットワーク学習手段と、
前記楽曲データを入力する楽曲データ入力手段と、
該楽曲データ入力手段によって入力された前記楽曲データの一定フレーム長に対して高速フーリエ変換を行いパワースペクトルを算出することで前記特徴データを抽出する特徴データ抽出手段と、
前記階層型ニューラルネットワーク学習手段によって学習が施された前記階層型ニューラルネットワークを用いて、前記特徴データ抽出手段によって抽出された前記特徴データを前記印象度データに変換する印象度データ変換手段と、
該印象度データ変換手段によって変換された前記印象度データを前記楽曲データ入力手段によって入力された前記楽曲データと共に楽曲データベースに記憶させる記憶制御手段と、
キーワードに対応する楽曲を設定するキーワード設定手段と、
楽曲がマッピングで表示される楽曲マッピング表示手段と、
前記楽曲マッピング表示手段で表示された楽曲であるニューロンをポイントすると前記キーワードが表示されるキーワード表示手段と、
検索条件として入力された前記印象度データと前記キーワードに基づいて前記楽曲データベースを検索する楽曲検索手段と、
該楽曲検索手段によって検索された前記楽曲データを出力する楽曲データ出力手段と、
を具備することを特徴とする楽曲検索システム。 - 前記階層型ニューラルネットワーク学習手段は、前記学習データによってある程度まで学習された前記階層型ニューラルネットワークを学習させることを特徴とする請求項1記載の楽曲検索システム。
- 前記学習データ記憶手段には、前記初期設定用楽曲データに対応する前記特徴データを予め記憶されており、
前記階層型ニューラルネットワーク学習手段は、前記学習データ記憶手段に記憶されている前記特徴データを用いて前記階層型ニューラルネットワークを学習させることを特徴とする請求項1又は2記載の楽曲検索システム。 - 前記階層型ニューラルネットワーク学習手段は、前記学習データ記憶手段に記憶されている前記学習データの学習率よりも、前記初期設定用楽曲データが有する物理的な特徴データおよび前記印象度データ入力手段から入力された前記印象度データの学習率を高くして前記階層型ニューラルネットワークを学習させることを特徴とする請求項1乃至3のいずれかに記載の楽曲検索システム。
- 前記学習データ記憶手段には、前記初期設定用楽曲データに対応した比較用印象度データが記憶されており、
前記階層型ニューラルネットワーク学習手段は、前記学習データ記憶手段に記憶されている前記比較用印象度データと前記印象度データ入力手段から入力された前記印象度データとが類似していると判断された場合には、前記学習データ記憶手段に記憶されている前記学習データと、前記初期設定用楽曲データが有する物理的な特徴データおよび前記印象度データ入力手段から入力された前記印象度データとを用いて前記階層型ニューラルネットワークを学習させ、
前記学習データ記憶手段に記憶されている前記比較用印象度データと前記印象度データ入力手段から入力された前記印象度データとが類似していないと判断された場合には、前記初期設定用楽曲データが有する物理的な特徴データおよび前記印象度データ入力手段から入力された前記印象度データのみを用いて前記階層型ニューラルネットワークを学習させることを特徴とする請求項1乃至4のいずれかに記載の楽曲検索システム。 - 前記階層型ニューラルネットワーク学習手段は、前記学習データ記憶手段に記憶されている前記比較用印象度データと前記印象度データ入力手段から入力された前記印象度データとが類似していると判断された場合には、前記学習データによってある程度まで学習された前記階層型ニューラルネットワークを学習させ、
前記学習データ記憶手段に記憶されている前記比較用印象度データと前記印象度データ入力手段から入力された前記印象度データとが類似していないと判断された場合には、学習が施されていない前記階層型ニューラルネットワークを学習させることを特徴とする請求項5記載の楽曲検索システム。 - 前記特徴データ抽出手段は、前記特徴データとしてゆらぎ情報からなる複数の項目を抽出することを特徴とする請求項1乃至6のいずれかに記載の楽曲検索システム。
- 前記楽曲検索手段は、検索条件として入力された前記印象度データを入力ベクトルとすると共に、前記楽曲データベースに記憶されている前記印象度データを検索対象ベクトルとし、両者のユークリッド距離が小さい順に検索することを特徴とする請求項1乃至7のいずれかに記載の楽曲検索システム。
- コンピュータが実行する楽曲データベースに記憶された複数の楽曲データの中から所望の楽曲データを検索する楽曲検索方法であって、
前記コンピュータは、予め用意された楽曲データの特徴データ及び印象度データからなる学習データおよび初期設定用楽曲データを記憶する学習データ記憶部の学習データ記憶工程と、
該学習データ記憶工程で記憶している前記初期設定用楽曲データを音声出力する音声出力部の音声出力工程と、
該音声出力工程から音声出力した前記初期設定用楽曲データに対応して入力される人間の感性によって判断される印象度データを受け付ける印象度データ入力部の印象度データ入力工程と、
前記学習データ記憶工程で記憶している学習データと、前記初期設定用楽曲データが有する物理的な特徴データおよび前記印象度データ入力工程から前記初期設定用楽曲データに対応して入力された前記印象度データとを用いて、使用に先立って前記楽曲データが有する前記特徴データを前記印象度データに変換する階層型ニューラルネットワークを学習させる階層型ニューラルネットワーク学習部の階層型ニューラルネットワーク学習工程と、
前記楽曲データの入力を受け付ける楽曲データ入力部の楽曲データ入力工程と、
該楽曲データ入力工程によって入力された前記楽曲データの一定フレーム長に対して高速フーリエ変換を行いパワースペクトルを算出することで前記特徴データを抽出する特徴データ抽出部の特徴データ抽出工程と、
前記階層型ニューラルネットワーク学習工程によって学習を施した前記階層型ニューラルネットワークを用いて、前記特徴データ抽出工程によって抽出した前記特徴データを前記印象度データに変換する印象度データ変換部の印象度データ変換工程と、
前記入力を受け付けた前記楽曲データを前記変換した前記印象度データと共に前記楽曲データベースに記憶する前記コンピュータの記憶制御工程と、
キーワードに対応する楽曲を設定するPC操作部のキーワード設定工程と、
楽曲がマッピングで表示されるPC表示部の楽曲マッピング表示工程と、
前記楽曲マッピング表示工程で表示された楽曲であるニューロンをポイントすると前記キーワードが表示されるPC表示部のキーワード表示工程と、
検索条件として前記印象度データの入力を受け付けるPC操作部の印象度データ入力工程と、
該入力を受け付けた前記印象度データと前記キーワードに基づいて前記楽曲データベースを検索する楽曲検索部の楽曲検索工程と、
前記楽曲検索工程によって検索された前記楽曲データを出力する検索結果出力部の楽曲データ出力工程とを実行することを特徴とする楽曲検索方法。 - 前記階層型ニューラルネットワーク学習工程は、前記学習データによってある程度まで学習された前記階層型ニューラルネットワークに学習を施すことを特徴とする請求項9記載の楽曲検索方法。
- 前記学習データ記憶工程には、前記初期設定用楽曲データに対応する前記特徴データを予め記憶しておき、
前記階層型ニューラルネットワーク学習工程は、該記憶している前記特徴データを用いて前記階層型ニューラルネットワークに学習を施すことを特徴とする請求項9又は10記載の楽曲検索方法。 - 前記階層型ニューラルネットワーク学習工程は、前記記憶している前記学習データの学習率よりも、前記初期設定用楽曲データが有する物理的な特徴データおよび前記初期設定用楽曲データに対応して入力された前記印象度データの学習率を高くして前記階層型ニューラルネットワークに学習を施すことを特徴とする請求項9乃至11のいずれかに記載の楽曲検索方法。
- 前記学習データ記憶工程には、前記初期設定用楽曲データに対応した比較用印象度データを記憶しておき、
前記階層型ニューラルネットワーク学習工程は、前記学習データ記憶工程で記憶している前記比較用印象度データと前記印象度データ入力工程から前記初期設定用楽曲データに対応して入力された前記印象度データとが類似していると判断された場合には、前記学習データと、前記初期設定用楽曲データが有する物理的な特徴データおよび前記初期設定用楽曲データに対応して入力された前記印象度データとを用いて前記階層型ニューラルネットワークに学習を施し、
前記学習データ記憶工程で記憶している前記比較用印象度データと前記初期設定用楽曲データに対応して入力された前記印象度データとが類似していないと判断された場合には、前記初期設定用楽曲データが有する物理的な特徴データおよび前記印象度データ入力工程から前記初期設定用楽曲データに対応して入力された前記印象度データのみを用いて前記階層型ニューラルネットワークを学習させることを特徴とする請求項9乃至12のいずれかに記載の楽曲検索方法。 - 前記階層型ニューラルネットワーク学習工程は、前記学習データ記憶工程で記憶している前記比較用印象度データと前記印象度データ入力工程で前記初期設定用楽曲データに対応して入力された前記印象度データとが類似していると判断された場合には、前記学習データによってある程度まで学習された前記階層型ニューラルネットワークに学習を施し、
前記学習データ記憶工程で記憶している前記比較用印象度データと前記印象度データ入力工程から前記初期設定用楽曲データに対応して入力された前記印象度データとが類似していないと判断された場合には、学習が施されていない前記階層型ニューラルネットワークに学習を施すことを特徴とする請求項13記載の楽曲検索方法。 - 前記特徴データ抽出工程は、前記特徴データとしてゆらぎ情報からなる複数の項目を抽出することを特徴とする請求項9乃至14のいずれかに記載の楽曲検索方法。
- 前記楽曲検索工程は、検索条件として入力された前記印象度データを入力ベクトルとすると共に、前記楽曲データベースに記憶されている前記印象度データを検索対象ベクトルとし、両者のユークリッド距離が小さい順に検索することを特徴とする請求項9乃至15のいずれかに記載の楽曲検索方法。
- 請求項9乃至16のいずれかに記載の楽曲検索方法をコンピュータで実行可能な楽曲検索プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004117275A JP4246100B2 (ja) | 2004-04-12 | 2004-04-12 | 楽曲検索システムおよび楽曲検索方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004117275A JP4246100B2 (ja) | 2004-04-12 | 2004-04-12 | 楽曲検索システムおよび楽曲検索方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005301704A JP2005301704A (ja) | 2005-10-27 |
JP4246100B2 true JP4246100B2 (ja) | 2009-04-02 |
Family
ID=35333153
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004117275A Expired - Fee Related JP4246100B2 (ja) | 2004-04-12 | 2004-04-12 | 楽曲検索システムおよび楽曲検索方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4246100B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011221133A (ja) * | 2010-04-06 | 2011-11-04 | Sony Corp | 情報処理装置、クライアント装置、サーバ装置、リスト生成方法、リスト取得方法、リスト提供方法、及びプログラム |
US11693897B2 (en) * | 2020-10-20 | 2023-07-04 | Spotify Ab | Using a hierarchical machine learning algorithm for providing personalized media content |
US11544315B2 (en) | 2020-10-20 | 2023-01-03 | Spotify Ab | Systems and methods for using hierarchical ordered weighted averaging for providing personalized media content |
-
2004
- 2004-04-12 JP JP2004117275A patent/JP4246100B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2005301704A (ja) | 2005-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Vrysis et al. | 1D/2D deep CNNs vs. temporal feature integration for general audio classification | |
US7576278B2 (en) | Song search system and song search method | |
JP2005301921A (ja) | 楽曲検索システムおよび楽曲検索方法 | |
Kumaraswamy | Optimized deep learning for genre classification via improved moth flame algorithm | |
JP4246100B2 (ja) | 楽曲検索システムおよび楽曲検索方法 | |
JP4246120B2 (ja) | 楽曲検索システムおよび楽曲検索方法 | |
JP4607660B2 (ja) | 楽曲検索装置および楽曲検索方法 | |
JP4115923B2 (ja) | 楽曲検索システムおよび楽曲検索方法 | |
JP2005309712A (ja) | 楽曲検索システムおよび楽曲検索方法 | |
Kai | Automatic recommendation algorithm for video background music based on deep learning | |
CN117291193A (zh) | 机器翻译方法、设备及存储介质 | |
JP4165650B2 (ja) | 楽曲検索システムおよび楽曲検索方法 | |
JP4165645B2 (ja) | 楽曲検索システムおよび楽曲検索方法 | |
JP4246101B2 (ja) | 楽曲検索システムおよび楽曲検索方法 | |
JP2006195619A (ja) | 情報検索装置および情報検索方法 | |
JP4339171B2 (ja) | 楽曲検索システムおよび楽曲検索方法 | |
JP3901695B2 (ja) | 楽曲検索システムおよび楽曲検索方法 | |
JP4165649B2 (ja) | 楽曲検索システムおよび楽曲検索方法 | |
JP4607659B2 (ja) | 楽曲検索装置および楽曲検索方法 | |
JP4279274B2 (ja) | 携帯端末装置および楽曲情報表示方法 | |
JP4313343B2 (ja) | 携帯端末装置および情報表示方法 | |
JP4313340B2 (ja) | 携帯端末装置および選曲方法 | |
JP2006317872A (ja) | 携帯端末装置および楽曲表現方法 | |
JP2006323438A (ja) | 楽曲検索システム | |
Tulisalmi-Eskola | Automatic Music Genre Classification-Supervised Learning Approach |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060912 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080916 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081111 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081224 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090107 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120116 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130116 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130116 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |