JP4246120B2 - 楽曲検索システムおよび楽曲検索方法 - Google Patents

Description

本発明は、ＨＤＤ等の大容量の記憶手段に大量に記憶されている楽曲データの中から所望の楽曲を検索する楽曲検索システムおよび楽曲検索方法に関し、特に人間の感性によって判断される印象度データに基づいて楽曲の検索が可能な楽曲検索システムおよび楽曲検索方法に関する。

近年、ＨＤＤ等の大容量の記憶手段が開発され、大容量の記憶手段に大量の楽曲データを記憶させることができるようになっている。大容量の記憶手段に記憶されている大量の楽曲データの検索は、アーティスト名や曲名、その他のキーワード等の書誌データを用いて行うのが一般的であるが、書誌データで検索した場合には、楽曲が持っている情感を考慮することができず、印象の異なる楽曲が検索される可能性があり、聴取した際の印象が同じような楽曲を検索したい場合には、不向きである。

そこで、楽曲に対する主観的な印象に基づいて利用者の希望する楽曲を検索可能にするために、検索を希望する楽曲に対するユーザの主観的な要件を入力して数値化して出力し、その出力から、検索対象の楽曲の印象を数量化した予測印象値を算出し、算出した予測印象値をキーとして、複数の楽曲の音響信号及びその楽曲の印象を数量化した印象値を格納した楽曲データベースを検索することにより、利用者の楽曲に対する主観的なイメージに基づいて、希望する楽曲を検索する装置が提案されている（例えば、特許文献１参照）。

しかしながら、従来技術では、楽曲の物理的な特徴を変換した印象値を、ユーザの主観的な要件の入力が数値化された予測印象値に基づいて検索を行っているため、ユーザによって検索条件として入力される主観的な要件の入力項目が集約されてしまい、主観的な要件に基づく精度の高い楽曲データの検索を実現することができないと共に、楽曲の物理的な特徴を印象値に変換するルールが固定されているため、変換後の印象値が必ずしも個々のユーザの嗜好に即しないという問題点があった。
特開２００２−２７８５４７号公報

本発明は斯かる問題点に鑑みてなされたものであり、その目的とするところは、ユーザの嗜好を反映させて学習を施した階層型ニューラルネットワークによって、楽曲の有する物理的な複数の項目からなる特徴データと、人間の感性によって判断される項目からなる印象度データとを直接関連づけることにより、ユーザによって検索条件として入力される人間の感性によって判断される印象度データに基づいて精度の高い楽曲データの検索を行うことができると共に、階層型ニューラルネットワークに学習を施すためのユーザの作業量を軽減させるために予め評価者によって事前学習が施された階層型ニューラルネットワークを用いてもユーザの嗜好を強く反映させることができる楽曲検索システムおよび楽曲検索方法を提供する点にある。

本発明は上記課題を解決すべく、以下に掲げる構成とした。
本発明の楽曲検索システムは、複数の楽曲データを楽曲データベースに記憶させ、当該楽曲データベースに記憶された複数の前記楽曲データの中から所望の前記楽曲データを検索する楽曲検索システムであって、評価者によって事前学習が施された、前記楽曲データが有する物理的な特徴データを人間の感性によって判断される印象度データに変換する複数の階層型ニューラルネットワークが記憶された学習データ記憶手段と、該学習データ記憶手段に記憶されている複数の階層型ニューラルネットワークのいずれかを選択する初期設定手段と、前記楽曲データを音声出力する音声出力手段と、該音声出力手段から音声出力された前記楽曲データに対応して前記印象度データを入力する印象度データ入力手段と、該初期設定手段によって選択された階層型ニューラルネットワークを前記音声出力手段から音声出力された前記楽曲データが有する前記特徴データおよび前記印象度データ入力手段から入力された前記印象度データを用いて使用に先立って学習させる階層型ニューラルネットワーク学習手段と、前記楽曲データを入力する楽曲データ入力手段と、該楽曲データ入力手段によって入力された前記楽曲データの一定フレーム長に対して高速フーリエ変換を行いパワースペクトルを算出することで前記特徴データを抽出する特徴データ抽出手段と、前記階層型ニューラルネットワーク学習手段によって学習が施された階層型ニューラルネットワークを用いて、前記特徴データ抽出手段によって抽出された前記特徴データを前記印象度データに変換する印象度データ変換手段と、該印象度データ変換手段によって変換された前記印象度データを前記楽曲データ入力手段によって入力された前記楽曲データと共に前記楽曲データベースに記憶させる記憶制御手段と、キーワードに対応する楽曲を設定するキーワード設定手段と、楽曲がマッピングで表示される楽曲マッピング表示手段と、前記楽曲マッピング表示手段で表示された楽曲であるニューロンをポイントすると前記キーワードが表示されるキーワード表示手段と、検索条件として入力された前記印象度データと前記キーワードに基づいて前記楽曲データベースを検索する楽曲検索手段と、該楽曲検索手段によって検索された前記楽曲データを出力する楽曲データ出力手段と、を具備することを特徴とする。

さらに、本発明の楽曲検索システムは、ユーザのパーソナル情報を入力するパーソナル情報入力手段を具備し、前記学習データ記憶手段に異なる前記評価者によってそれぞれ事前学習が施された複数の階層型ニューラルネットワークを前記評価者のパーソナル情報と共に記憶させておき、前記初期設定手段は、前記ユーザのパーソナル情報と前記評価者のパーソナル情報とを比較することによって、前記学習データ記憶手段に記憶されている複数の階層型ニューラルネットワークのいずれかを選択することを特徴とする。

さらに、本発明の楽曲検索システムは、前記楽曲データのジャンルを入力するジャンル入力手段を具備し、前記学習データ記憶手段に異なるジャンルの楽曲データによってそれぞれ事前学習が施された複数の階層型ニューラルネットワークを記憶させておき、前記初期設定手段は、前記ジャンル入力手段によって入力されたジャンルに基づいて前記学習データ記憶手段に記憶されている複数の階層型ニューラルネットワークのいずれかを選択することを特徴とする。

本発明の楽曲検索方法は、コンピュータが実行する複数の楽曲データを楽曲データベースに記憶し、当該楽曲データベースに記憶された複数の前記楽曲データの中から所望の前記楽曲データを検索する楽曲検索方法であって、前記コンピュータは、評価者によって事前学習が施された、前記楽曲データが有する物理的な特徴データを人間の感性によって判断される印象度データに変換する複数の階層型ニューラルネットワークを記憶する学習データ記憶部の学習データ記憶工程と、該学習データ記憶工程で記憶している複数の階層型ニューラルネットワークのいずれかを選択する初期設定部の初期設定工程と、前記楽曲データを音声出力する音声出力部の音声出力工程と、該音声出力工程から音声出力した前記楽曲データに対応する前記印象度データの入力を受け付ける印象度データ入力部の印象度データ入力工程と、前記初期設定工程によって選択した階層型ニューラルネットワークを前記音声出力工程から音声出力された前記楽曲データが有する前記特徴データおよび前記印象度データ入力工程から受け付けた前記印象度データを用いて使用に先立って学習する階層型ニューラルネットワーク学習部の階層型ニューラルネットワーク学習工程と、前記楽曲データの入力を受け付ける楽曲データ入力部の楽曲データ入力工程と、該受け付けた前記楽曲データの一定フレーム長に対して高速フーリエ変換を行いパワースペクトルを算出することで前記特徴データを抽出する特徴データ抽出部の特徴データ抽出工程と、前記階層型ニューラルネットワーク学習工程によって学習させた階層型ニューラルネットワークを用いて、前記特徴データ抽出工程によって抽出した前記特徴データを前記印象度データに変換する印象度データ変換部の印象度データ変換工程と、該印象度データ変換工程によって変換した前記印象度データを前記楽曲データ入力工程によって受け付けた前記楽曲データと共に前記楽曲データベースに記憶する前記コンピュータの記憶制御部の記憶制御工程と、キーワードに対応する楽曲を設定するＰＣ操作部のキーワード設定工程と、楽曲がマッピングで表示されるＰＣ表示部の楽曲マッピング表示工程と、前記楽曲マッピング表示工程で表示された楽曲であるニューロンをポイントすると前記キーワードが表示されるＰＣ表示部のキーワード表示工程と、検索条件として前記印象度データの入力を受け付け、該受け付けた前記印象度データと前記キーワードに基づいて前記楽曲データベースを検索する楽曲検索部の楽曲検索工程と、該楽曲検索工程によって検索した前記楽曲データを出力する楽曲データ出力部の楽曲データ出力工程とを実行することを特徴とする。

さらに、本発明の楽曲検索方法は、ユーザのパーソナル情報の入力を受け付けるパーソナル情報入力部のパーソナル情報入力工程と、前記学習データ記憶工程で評価者によってそれぞれ事前学習が施された複数の階層型ニューラルネットワークを前記評価者のパーソナル情報と共に記憶しておき、前記初期設定工程は、受け付けた前記ユーザのパーソナル情報と前記評価者のパーソナル情報とを比較することによって、前記学習データ記憶工程で記憶している複数の階層型ニューラルネットワークのいずれかを選択することを特徴とする。

さらに、本発明の楽曲検索方法は、前記楽曲データのジャンルの入力を受け付けるジャンル入力部のジャンル入力工程と、前記学習データ記憶工程で異なるジャンルの楽曲データによってそれぞれ事前学習が施された複数の階層型ニューラルネットワークを記憶しておき、前記初期設定工程は、前記ジャンル入力工程によって受け付けた前記ジャンルに基づいて前記学習データ記憶工程で記憶している複数の階層型ニューラルネットワークのいずれかを選択することを特徴とする。

本発明の楽曲検索システムおよび楽曲検索方法は、評価者によって事前学習が施された、楽曲データが有する物理的な特徴データを人間の感性によって判断される印象度データに変換する複数の階層型ニューラルネットワークを記憶しておき、記憶している複数の階層型ニューラルネットワークのいずれかをユーザの入力に基づいて選択し、選択した階層型ニューラルネットワークをユーザの嗜好を反映させて学習させるように構成することにより、ユーザの嗜好を反映させて学習を施した階層型ニューラルネットワークによって、楽曲の有する物理的な複数の項目からなる特徴データと、人間の感性によって判断される項目からなる印象度データとを直接関連づけることができ、ユーザによって検索条件として入力される人間の感性によって判断される印象度データに基づいて精度の高い楽曲データの検索を行うことができると共に、階層型ニューラルネットワークに学習を施すためのユーザの作業量を軽減させるために予め評価者によって事前学習が施された階層型ニューラルネットワークを用いてもユーザの嗜好を強く反映させることができるという効果を奏する。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。

（本実施の形態）
図１は、本発明に係る楽曲検索システムの本実施の形態の構成を示すブロック図であり、図２は、図１に示す端末装置の構成を示すブロック図であり、図３は、図１に示す楽曲検索装置に用いられる階層型ニューラルネットワークおよび楽曲マップを事前に学習させるニューラルネットワーク学習装置の構成を示すブロック図である。

本実施の形態は、図１を参照すると、楽曲検索装置１０と、端末装置３０とがＵＳＢ等のデータ伝送路で接続されており、端末装置３０は、楽曲検索装置１０から切り離して携帯することができる構成となっている。

楽曲検索装置１０は、図１を参照すると、楽曲データ入力部１１と、圧縮処理部１２と、特徴データ抽出部１３と、印象度データ変換部１４と、楽曲データベース１５と、楽曲マッピング部１６と、楽曲マップ記憶部１７と、楽曲検索部１８と、ＰＣ操作部１９と、ＰＣ表示部２０と、検索結果出力部２１と、初期設定部２２と、学習データ記憶部２３と、音声出力部２４と、階層型ニューラルネットワーク学習部２５とからなる。

楽曲データ入力部１１は、ＣＤ、ＤＶＤ等の楽曲データが記憶されている記憶媒体を読み取る機能を有し、ＣＤ、ＤＶＤ等の記憶媒体から楽曲データを入力し、圧縮処理部１２および特徴データ抽出部１３に出力する。ＣＤ、ＤＶＤ等の記憶媒体以外にインターネット等のネットワークを経由した楽曲データ（配信データ）を入力するように構成しても良い。なお、圧縮された楽曲データが入力される場合には、圧縮された楽曲データを伸長して特徴データ抽出部１３に出力する。

圧縮処理部１２は、楽曲データ入力部１１から入力された楽曲データをＭＰ３やＡＴＲＡＣ（Adaptive Transform Acoustic Coding）等の圧縮形式で圧縮し、圧縮した楽曲データを、アーティスト名、曲名等の書誌データと共に楽曲データベース１５に記憶させる。

特徴データ抽出部１３は、楽曲データ入力部１１から入力された楽曲データから、ゆらぎ情報からなる特徴データを抽出し、抽出した特徴データを印象度データ変換部１４に出力する。

印象度データ変換部１４は、予め学習が施された階層型ニューラルネットワークを用いて、特徴データ抽出部１３から入力された特徴データを、人間の感性によって判断される印象度データに変換し、変換した印象度データを楽曲マッピング部１６に出力する。

楽曲データベース１５は、ＨＤＤ等の大容量の記憶手段であり、圧縮処理部１２によって圧縮された楽曲データ、書誌データと、特徴データ抽出部１３によって抽出された特徴データとが関連づけられて記憶される。

楽曲マッピング部１６は、印象度データ変換部１４から入力された印象度データに基づいて、予め学習が施された自己組織化マップである楽曲マップに楽曲データをマッピングし、楽曲データをマッピングした楽曲マップを楽曲マップ記憶部１７に記憶させる。

楽曲マップ記憶部１７は、ＨＤＤ等の大容量の記憶手段であり、楽曲マッピング部１６によって楽曲データがマッピングされた楽曲マップが記憶される。

楽曲検索部１８は、ＰＣ操作部１９から入力された印象度データおよび書誌データに基づいて楽曲データベース１５を検索し、当該検索結果をＰＣ表示部２０に表示すると共に、ＰＣ操作部１９によって選択された代表曲に基づいて楽曲マップ記憶部１７を検索し、当該代表曲検索結果をＰＣ表示部２０に表示する。また、楽曲検索部１８は、検索結果出力部２１を介してＰＣ操作部１９によって選択された楽曲データを端末装置３０に出力する。

ＰＣ操作部１９は、キーボードやマウス等の入力手段であり、楽曲データベース１５および楽曲マップ記憶部１７に記憶されている楽曲データを検索する検索条件の入力、端末装置３０に出力する楽曲データを選択する入力が行われる。また、ＰＣ操作部１９は、音声出力部２４からの音声出力に基づく、ユーザによる印象度データの入力を受け付け、受け付けた印象度データを初期設定部２２に出力する。

ＰＣ表示部２０は、例えば液晶ディスプレイ等の表示手段であり、初期設定選択画面および初期設定入力画面の表示、楽曲マップ記憶部１７に記憶されている楽曲データのマッピング状況の表示、楽曲データベース１５および楽曲マップ記憶部１７に記憶されている楽曲データを検索する検索条件の表示、検索された楽曲データ（検索結果）の表示が行われる。

検索結果出力部２１は、端末装置３０の検索結果入力部３１との間をＵＳＢ等のデータ伝送路で接続可能に構成されており、楽曲検索部１８によって検索され、ＰＣ操作部１９によって選択された楽曲データを端末装置３０の検索結果入力部３１に出力する。

学習データ記憶部２３は、メモリ等の記憶手段であり、第３者である評価者によって事前学習が施された階層型ニューラルネットワーク（以下、事前学習済み階層型ニューラルネットワークと称す）および事前学習に用いられた学習データ（以下、事前学習データと称す）が記憶されており、事前学習済み階層型ニューラルネットワークは、異なる評価者および異なる事前学習データを用いて複数のものが記憶されている。また、学習データ記憶部２３には、それぞれ異なる評価者および異なる事前学習データを用いて事前学習が施されている複数の学習マップが記憶されている。さらに学習データ記憶部２３には、ジャンルに関係なくランダムに揃えられた初期設定用楽曲データと、ジャンルを統一してそれぞれ揃えられた複数の初期設定用楽曲データとが、その初期設定用楽曲データの特徴データと共に初期設定用サンプルとして記憶されている。なお、初期設定用サンプルの初期設定用楽曲データとしては、１曲全部を必要とするものではなく、特徴データの抽出に用いられた部分のみで良い。

初期設定部２２は、最初に電源が投入されると、初期設定選択画面４９をＰＣ表示部２０に表示させ、パーソナル情報、楽曲のジャンルもしくは評価者の入力を受け付けることにより、階層型ニューラルネットワーク学習部２５で階層型ニューラルネットワークに用いる事前学習済み階層型ニューラルネットワークを特定する共に、楽曲マップ記憶部１７に記憶させる学習マップを特定し、特定した事前学習済み階層型ニューラルネットワークおよび学習マップを階層型ニューラルネットワーク学習部２５に出力する。また、初期設定部２２は、初期設定入力画面５０をＰＣ表示部２０に表示させると共に、ＰＣ操作部１９からの指示に基づいて、学習データ記憶部２３に記憶されている初期設定用サンプルの内の初期設定用楽曲データを音声出力部２４に出力し、当該楽曲データに対応してユーザによってＰＣ操作部１９から入力された印象度データを受け付け、事前学習済み階層型ニューラルネットワークの学習に用いた事前学習データと、初期設定用サンプルの内の特徴データと、ユーザによって入力された印象度データとを初期設定用データとして階層型ニューラルネットワーク学習部２５に出力する。

音声出力部２４は、初期設定部２２から入力された初期設定用楽曲データを伸長して再生するオーディオプレーヤである。

階層型ニューラルネットワーク学習部２５は、誤差逆伝播学習法を用い、事前学習済み階層型にニューラルネットワークの各ニューロンの結合重み値を、事前学習データと、初期設定用サンプルの特徴データおよびユーザによって入力された印象度データとからなる初期設定用データに基づいて学習、すなわち各ニューロンの結合重み値の更新を行い、更新した各ニューロンの結合重み値、すなわち学習させて階層型ニューラルネットワークを印象度データ変換部１４に出力すると共に、初期設定部２２で特定された学習マップを楽曲マップ記憶部１７に出力する。

端末装置３０は、ＨＤＤ等の大容量の記憶手段を有するポータブルオーディオ等の音声再生装置であり、図２を参照すると、検索結果入力部３１と、検索結果記憶部３２と、端末操作部３３、端末表示部３４と、音声出力部３５とからなる。

検索結果入力部３１は、楽曲検索装置１０の検索結果出力部２１とＵＳＢ等のデータ伝送路で接続可能に構成されており、楽曲検索装置１０の検索結果出力部２１から入力された楽曲データを検索結果記憶部３２に記憶させる。

端末操作部３３は、検索結果記憶部３２に記憶されている楽曲データの選択・再生を指示する入力、ボリュームコントロールの入力等の楽曲データの再生に係る入力が行われる。

端末表示部３４は、例えば液晶ディスプレイ等の表示手段であり、再生中の曲名や、各種操作ガイダンスが表示される。

音声出力部３５は、検索結果記憶部３２に圧縮されて記憶されている楽曲データを伸長して再生するオーティオプレーヤである。

図３に示すニューラルネットワーク学習装置４０は、印象度データ変換部１４で用いられる階層型ニューラルネットワークと、楽曲マッピング部１６で用いられる楽曲マップとの学習を行う装置であり、図３を参照すると、楽曲データ入力部４１と、音声出力部４２と、特徴データ抽出部４３と、印象度データ入力部４４と、結合重み値学習部４５と、楽曲マップ学習部４６と、結合重み値出力部４７と、特徴ベクトル出力部４８とからなる。

楽曲データ入力部４１は、ＣＤ、ＤＶＤ等の楽曲データが記憶されている記憶媒体を読み取る機能を有し、ＣＤ、ＤＶＤ等の記憶媒体から楽曲データを入力し、音声出力部４２および特徴データ抽出部４３に出力する。ＣＤ、ＤＶＤ等の記憶媒体以外にインターネット等のネットワークを経由した楽曲データ（配信データ）を入力するように構成しても良い。なお、圧縮された楽曲データが入力される場合には、圧縮された楽曲データを伸長して音声出力部４２および特徴データ抽出部４３に出力する。

音声出力部４２は、楽曲データ入力部４１から入力された楽曲データを伸長して再生するオーディオプレーヤである。

特徴データ抽出部４３は、楽曲データ入力部４１から入力された楽曲データから、ゆらぎ情報からなる特徴データを抽出し、抽出した特徴データを結合重み値学習部４５に出力する。

印象度データ入力部４４は、音声出力部４２からの音声出力に基づく、評価者による印象度データの入力を受け付け、受け付けた印象度データを、階層型ニューラルネットワークの学習に用いる教師信号として結合重み値学習部４５に出力すると共に自己組織化マップへの入力ベクトルとして楽曲マップ学習部４６に出力する。

結合重み値学習部４５は、特徴データ抽出部４３から入力された特徴データと、印象度データ入力部４４から入力された印象度データとに基づいて階層型ニューラルネットワークに学習を施し、各ニューロンの結合重み値を更新し、更新した各ニューロンの結合重み値ｗと、更新に用いた事前学習データ（楽曲データの特徴データ＋印象度データ）とを結合重み値出力部４７によって学習データ記憶部２３に出力する。

楽曲マップ学習部４６は、印象度データ入力部４４から入力された印象度データを自己組織化マップへの入力ベクトルとして自己組織化マップに学習を施し、各ニューロンの特徴ベクトルを更新し、特徴ベクトル出力部４８を介して更新した特徴ベクトルを出力する。学習が施された自己組織化マップ（更新された特徴ベクトル）は、楽曲マップとして楽曲検索装置１０の楽曲マップ記憶部１７に記憶される。

次に、本実施の形態の動作について図４乃至図１９を参照して詳細に説明する。
図４は、図１に示す階層型ニューラルネットワーク学習部における階層型ニューラルネットワークの学習アルゴリズムを説明するための説明図であり、図５は、図３に示すニューラルネットワーク学習装置における楽曲マップの学習アルゴリズムを説明するための説明図であり、
図６は、図３に示すニューラルネットワーク学習装置における階層型ニューラルネットワークの事前学習動作および楽曲マップの学習動作を説明するためのフローチャートであり、図７は、図１に示す学習データ記憶部の記憶内容を示す図であり、図８は、図１に示す階層型ニューラルネットワーク学習部において初期設定時に行われる階層型ニューラルネットワークの学習動作および学習マップの選択動作を説明するためのフローチャートであり、図９は、図１に示すＰＣ表示部に表示される初期設定選択画面例を示す図であり、図１０は、図１に示すＰＣ表示部に表示される初期設定入力画面例を示す図であり、図１１は、図１に示す楽曲検索装置における楽曲登録動作を説明するためのフローチャートであり、図１２は、図１に示す特徴データ抽出部における特徴データ抽出動作を説明するためのフローチャートであり、図１３は、図１に示す楽曲検索装置における楽曲検索動作を説明するためのフローチャートであり、図１４は、図１に示すＰＣ表示部に表示される検索画面例を示す図であり、図１５は、図１４に示す検索条件入力領域の表示例を示す図であり、図１６および図１７は、図１４に示す検索結果表示領域の表示例を示す図であり、図１８は、図１４に示す検索画面例に表示される全楽曲リスト表示領域例を示す図であり、図１９は、図１４に示す検索画面例に表示されるキーワード検索領域例を示す図である。

本実施の形態の楽曲検索装置１０では、使用に先立って初期設定として、印象度データ変換部１４で用いられる階層型ニューラルネットワークの学習と、楽曲マップ記憶部１７に記憶される学習マップの選択とが行われる。

初期設定で行われる階層型ニューラルネットワークの学習は、学習データ記憶部２３に記憶されている事前学習済み階層型ニューラルネットワークおよび事前学習データに基づいて行われるものであり、学習データ記憶部２３には、異なる評価者および異なる事前学習データを用いて事前学習が施された複数の事前学習済み階層型ニューラルネットワークおよび事前学習データが記憶されており、初期設定では、学習データ記憶部２３に記憶されている複数の事前学習済み階層型ニューラルネットワークおよび事前学習データの中からいずれかの事前学習済み階層型ニューラルネットワークおよび事前学習データを選択し、選択した事前学習済み階層型ニューラルネットワークおよび事前学習データに基づいて階層型ニューラルネットワークの学習が行われる。

また、初期設定で行われる学習マップの選択は、学習データ記憶部２３に記憶されている複数の学習マップの中からいずれかを選択するものであり、学習データ記憶部２３に記憶されている複数の学習マップは、それぞれ異なる評価者および異なる事前学習データを用いて事前学習が施されている。

以下、第３者である評価者による階層型ニューラルネットワークおよび楽曲マップの事前学習について図４乃至図６を参照して詳細に説明する。

印象度データ変換部１４で用いられる階層型ニューラルネットワークは、図４に示すように、入力層（第１層）、中間層（第ｎ層）および出力層（第Ｎ層）からなり、入力層（第１層）に特徴データを入力することによって、出力層（第Ｎ層）から印象度データを出力、すなわち特徴データを印象度データに変換し、出力層（第Ｎ層）から出力するものであり、中間層（第ｎ層）の各ニューロンの結合重み値ｗを事前学習する。なお、特徴データは、特徴データ抽出部１３によって楽曲データから抽出される８項目からなるデータであり、入力層（第１層）のニューロン数Ｌ_１は、８個となっている（特徴データ抽出部１３による特徴データの抽出方法については、後述する）。また、印象度データは、人間の感性によって判断される（明るい、暗い）、（重い、軽い）、（かたい、やわらかい）、（安定、不安定）、（澄んだ、にごった）、（滑らか、歯切れの良い）、（激しい、穏やか）、（厚い、薄い）の８項目がそれぞれ７段階評価で表されたデータであり、出力層（第Ｎ層）のニューロン数Ｌ_Ｎは、８個となっている。中間層（第ｎ層：ｎ＝２，…，Ｎ−１）のニューロン数Ｌ_ｎは、適宜設定されている。

また、楽曲マップ記憶部１７に記憶される楽曲マップは、図５に示すように、ニューロンが２次元に規則的に配置（図５に示す例では、９・９の正方形）されている自己組織化マップ（ＳＯＭ）であり、教師信号を必要としない学習ニューラルネットワークで、入力パターン群をその類似度に応じて分類する能力を自律的に獲得して行くニューラルネットワークである。なお、本実施の形態では、ニューロンが１００・１００の正方形に配列された２次元ＳＯＭを使用したが、ニューロンの配列は、正方形であっても、蜂の巣であっても良い。楽曲マップの各ニューロンには、ｎ次元の特徴ベクトルｍ_ｉ（ｔ）∈Ｒ^ｎが内包されており、事前学習データによる事前学習によって各ニューロンに内包された特徴ベクトルｍ_ｉ（ｔ）∈Ｒ^ｎが学習される。

評価者による階層型ニューラルネットワーク（結合重み値ｗ）および楽曲マップ（特徴ベクトルｍ_ｉ（ｔ）∈Ｒ^ｎ）の事前学習は、図３に示すニューラルネットワーク学習装置４０を用いて行われ、まず、階層型ニューラルネットワーク（結合重み値ｗ）および楽曲マップ（特徴ベクトルｍ_ｉ（ｔ）∈Ｒ^ｎ）を事前学習させるための事前学習データ（楽曲データの特徴データ＋印象度データ）の入力が行われる。

楽曲データ入力部４１にＣＤ、ＤＶＤ等の楽曲データが記憶されている記憶媒体をセットし、楽曲データ入力部４１から楽曲データを入力し（ステップＡ１）、特徴データ抽出部４３は、楽曲データ入力部４１から入力された楽曲データから、ゆらぎ情報からなる特徴データを抽出する（ステップＡ２）。

また、音声出力部４２は、楽曲データ入力部４１から入力された楽曲データを音声出力し（ステップＡ３）、評価者は、音声出力部４２からの音声出力を聞くことによって、楽曲の印象度を感性によって評価し、評価結果を印象度データとして印象度データ入力部４４から入力し（ステップＡ４）、結合重み値学習部４５は、印象度データ入力部４４から入力された印象度データを教師信号として受け付ける。なお、本実施の形態では、印象度の評価項目としては、人間の感性によって判断される（明るい、暗い）、（重い、軽い）、（かたい、やわらかい）、（安定、不安定）、（澄んだ、にごった）、（滑らか、歯切れの良い）、（激しい、穏やか）、（厚い、薄い）の８項目を設定し、各項目についての７段階評価を印象度データとして印象度データ入力部４４で受け付けるように構成した。

次に、入力された事前学習データが予め定められたサンプル数Ｔ_１に達したか否かを判断し（ステップＡ５）、入力された事前学習データがサンプル数Ｔ_１に達するまでステップＡ１〜Ａ４の動作が繰り返される。

事前学習データが予め定められたサンプル数Ｔ_１に達すると、事前学習データに基づいて、結合重み値学習部４５によって階層型ニューラルネットワークの学習が（結合重み値ｗの更新）行われると共に（ステップＡ６）、事前学習データの内の印象度データ入力部４４から入力された印象度データに基づいて、楽曲マップ学習部４６によって、学習マップの学習（特徴ベクトルｍ_ｉ（ｔ）∈Ｒ^ｎの更新）が行われる（ステップＡ９）。

ステップＡ６で行われる階層型ニューラルネットワークの学習、すなわち各ニューロンの結合重み値ｗの更新は、誤差逆伝播学習法を用いて行う。
まず、初期値として、中間層（第ｎ層）の全てのニューロンの結合重み値ｗを乱数によって−０．１〜０．１程度の範囲の小さな値に設定しておき、結合重み値学習部４５は、特徴データ抽出部４３によって抽出された特徴データを入力信号 x_ｊ(ｊ＝１，２，…，８) として入力層（第１層）に入力し、入力層（第１層）から出力層（第Ｎ層）に向けて、各ニューロンの出力を計算する。

次に、結合重み値学習部４５は、印象度データ入力部４４から入力された印象度データを教師信号ｙ_ｊ(ｊ＝１，２，…，８) とし、出力層（第Ｎ層）の出力out_j ^Ｎと、教師信号ｙ_ｊとの誤差から、学習則δ_j ^Ｎを次式によって計算する。

次に、結合重み値学習部４５は、学習則δ_j ^Ｎを使って、中間層（第ｎ層）の誤差信号 δ_j ⁿ を次式によって計算する。

なお、数式２において、ｗは、第 n 層 j 番目と第 n -1 層ｋ 番目のニューロンの間の結合重み値を表している。

次に、結合重み値学習部４５は、中間層（第ｎ層）の誤差信号 δ_j ⁿ を用いて各ニューロンの結合重み値ｗの変化量Δｗを次式によって計算し、各ニューロンの結合重み値ｗを更新する（ステップＡ６）。なお、次式において、ηは、学習率を表し、評価者による事前学習では、η_１(0＜η_１≦1)に設定されている。

ステップＡ６では、サンプル数Ｔ_１の事前学習データのそれぞれについて学習が行われ、次に、次式に示す２乗誤差Ｅが予め定められた事前学習用の基準値Ｅ_１よりも小さいか否かが判断され（ステップＡ７）、２乗誤差Ｅが基準値Ｅ_１よりも小さくなるまでステップＡ６の動作が繰り返される。なお、２乗誤差Ｅが基準値Ｅ_１よりも小さくなると想定される学習反復回数Ｓを予め設定しておき、ステップＡ６の動作をＳ回繰り返すようにしても良い。

ステップＡ７で２乗誤差Ｅが基準値Ｅ_１よりも小さいと判断された場合には、結合重み値学習部４５は、事前学習させた各ニューロンの結合重み値ｗ、すなわち事前学習済み階層型ニューラルネットワークと、事前学習に用いた事前学習データ（楽曲データの特徴データ＋印象度データ）とを結合重み値出力部４７によって出力させ、出力された事前学習済み階層型ニューラルネットワークおよび事前学習データを、学習データ記憶部２３に記憶させる（ステップＡ８）。

ステップＡ９で行われる楽曲マップの学習は、楽曲マップ学習部４６において、印象度データ入力部４４から入力された印象度データを入力ベクトルｘ_ｊ（ｔ）∈Ｒ^ｎとし、各ニューロンの特徴ベクトルｍ_ｉ（ｔ）∈Ｒ^ｎを学習させる。なお、ｔは、学習回数を表し、学習回数を定める設定値Ｔを予め設定しておき、学習回数ｔ＝０，１，…，Ｔについて学習を行わせる。なお、Ｒは、各印象度項目の評価段階を示し、ｎは、印象度データの項目数を示す。

まず、初期値として、楽曲マップを構成する全てのニューロンの特徴ベクトルｍ_ｃ（０）をそれぞれ０〜１の範囲でランダムに設定しておき、楽曲マップ学習部４６は、ｘ_ｊ（ｔ）に最も近いニューロンｃ、すなわち‖ｘ_ｊ（ｔ）−ｍ_ｃ（ｔ）‖を最小にする勝者ニューロンｃを求め、勝者ニューロンｃの特徴ベクトルｍ_ｃ（ｔ）と、勝者ニューロンｃの近傍にある近傍ニューロンｉの集合Ｎ_ｃのそれぞれの特徴ベクトルｍ_ｉ（ｔ）（ｉ∈Ｎ_ｃ）とを、次式に従ってそれぞれ更新する（ステップＡ９）。なお、近傍ニューロンｉを決定するための近傍半径は、予め設定されているものとする。

なお、数式５において、ｈ_ｃｉ（ｔ）は、学習率を表し、次式によって求められる。

なお、α_initは、学習率の初期値であり、Ｒ^２（ｔ）は、単調減少する一次関数もしくは指数関数が用いられる。

次に、楽曲マップ学習部４６は、学習回数ｔが設定値Ｔに達したか否かを判断し（ステップＡ１０）、学習回数ｔが設定値Ｔに達するまでステップＡ９〜ステップＡ１０の処理動作を繰り返し、学習回数ｔが設定値Ｔに達すると、特徴ベクトル出力部４８を介して学習させた特徴ベクトルｍ_ｉ（Ｔ）∈Ｒ^ｎを出力させ（ステップＡ１１）、出力された各ニューロンｉの特徴ベクトルｍ_ｉ（Ｔ）を、楽曲検索装置１０の学習データ記憶部２３に事前学習が施された楽曲マップとして記憶する。

上述のステップＡ１〜Ａ１１の動作は、異なる評価者および異なる事前学習データについてそれぞれ行われ、学習データ記憶部２３には、図７に示すように複数の事前学習済み階層型ニューラルネットワークおよび事前学習データと、複数の楽曲マップが記憶されることになる。図７に示す例では、学習データ記憶部２３に、評価者Ａ〜Ｅがランダムに揃えられたサンプル数Ｔ_１の楽曲データに基づいてそれぞれ学習させた♯１〜♯５の事前学習済み階層型ニューラルネットワーク、事前学習データおよび楽曲マップが記憶されていると共に、評価者Ｆがそれぞれジャンル毎に揃えられたサンプル数Ｔ_１の楽曲データに基づいてそれぞれ学習させた♯６〜♯１０の事前学習済み階層型ニューラルネットワーク、事前学習データおよび楽曲マップが記憶されている。

また、学習データ記憶部２３には、図７に示すように、評価者Ａ〜Ｅのそれぞれのパーソナル情報が、評価者Ａ〜Ｅがランダムに揃えられたサンプル数Ｔ_１の楽曲データに基づいてそれぞれ学習させた♯１〜♯５の事前学習済み階層型ニューラルネットワーク、事前学習データおよび楽曲マップに対応して記憶されている。パーソナル情報は、血液型、性別、年齢、星座、性格（短気、情に弱い、気長・・）等の項目からなる評価者の固有情報を示すものである。

さらに、学習データ記憶部２３には、図７に示すように、ジャンルに関係なくランダムに揃えられたサンプル数Ｔ_２の初期設定用楽曲データ♯１と、ジャンル（ポップス、ジャズ、ロック、カントリーミュージック、演歌）を統一してそれぞれ揃えられたサンプル数Ｔ_２の初期設定用楽曲データ♯２〜♯６とが、その初期設定用楽曲データの特徴データと共に初期設定用サンプルとして記憶されている。

次に、階層型ニューラルネットワーク学習部２５において初期設定時に行われる階層型ニューラルネットワークの学習動作および楽曲マップの選択動作について図８乃至図１０を参照して詳細に説明する。

最初に電源が投入されると、初期設定部２２は、初期設定選択画面４９をＰＣ表示部２０に表示させる（ステップＢ１）。初期設定選択画面４９は、パーソナル情報、楽曲のジャンルもしくは評価者によって、学習データ記憶部２３に記憶されている複数の事前学習済み階層型ニューラルネットワークおよび事前学習データの中からいずれかの組を選択すると共に、学習データ記憶部２３に記憶されている複数の楽曲マップの中からいずれかを選択するための画面であり、図９に示すように、パーソナル情報によって選択するために、ユーザのパーソナル情報（血液型、性別、年齢、星座、性格）を入力するパーソナル情報入力欄４９１と、楽曲のジャンルによって選択するために、楽曲のジャンルを入力するジャンル入力欄４９２と、評価者によって選択するために、希望の評価者を入力する評価者入力欄４９３と、選択の実行を指示する選択実行ボタン４９４とからなる。

ユーザによってパーソナル情報、楽曲のジャンルもしくは評価者が入力され、選択実行ボタン４９４がクリックされると、初期設定部２２は、パーソナル情報による選択であるか否か、すなわちパーソナル情報入力欄４９１にユーザのパーソナル情報が入力された上で選択実行ボタン４９４がクリックされたかを判断し（ステップＢ２）、パーソナル情報による選択である場合には、ユーザのパーソナル情報と評価者のパーソナル情報とを比較し（ステップＢ３）、ユーザのパーソナル情報に最も近い評価者が学習させた事前学習済み階層型ニューラルネットワークおよび学習マップを特定する（ステップＢ４）。すなわち、図７に示すように、評価者Ａ〜Ｅのパーソナル情報ＰＡ〜ＰＥが学習データ記憶部２３に記憶されており、ユーザのパーソナル情報とパーソナル情報ＰＡ〜ＰＥとを比較した結果、ユーザのパーソナル情報にパーソナル情報ＰＡが最も近い場合には、評価者Ａが学習させた事前学習済み階層型ニューラルネットワーク♯１および学習マップ♯１が特定される。なお、ユーザのパーソナル情報と評価者のパーソナル情報とを比較は、例えば、ユーザのパーソナル情報と評価者のパーソナル情報とをベクトル化し、両者のユークリッド距離が最も小さい評価者のパーソナル情報を最も近いパーソナルデータとすると良い。また、本実施の形態では、パーソナル情報の性格を直接入力するように構成したが、性格診断アンケートを用意し、性格診断アンケートに対するユーザの回答に基づいて性格を特定するようにしても良い。

次に、初期設定部２２は、初期設定入力画面５０をＰＣ表示部２０に表示させる（ステップＢ５）。初期設定入力画面５０は、図１０に示すように、印象度データ、すなわち（明るい、暗い）、（重い、軽い）、（かたい、やわらかい）、（安定、不安定）、（澄んだ、にごった）、（滑らか、歯切れの良い）、（激しい、穏やか）、（厚い、薄い）の８項目についての７段階評価をそれぞれ入力する印象度データ入力領域５１と、初期設定の開始を指示する初期設定開始ボタン５２と、印象度データ入力領域５１に入力した印象度データの入力を確定させる入力確定ボタン５３とからなる。

ユーザによって初期設定開始ボタン５２がクリックされると、初期設定部２２は、学習データ記憶部２３に記憶されている複数の初期設定用サンプル♯１〜♯６の内、ジャンルに関係なくランダムに揃えられた初期設定用楽曲サンプル♯１の最初の１つを読み出し、読み出した初期設定用サンプルの内の初期設定用楽曲データを音声出力部２４に出力し、音声出力部２４は、初期設定部２２から入力された初期設定用楽曲データを音声出力する（ステップＢ６）。

ユーザは、音声出力部２４からの音声出力を聞くことによって、楽曲の印象度を感性によって評価し、ＰＣ操作部１９から印象度データ入力領域５１に評価結果、すなわち印象度データを入力し（ステップＢ７）、入力確定ボタン５３をクリックする。ユーザによって入力確定ボタン５３がクリックされると、初期設定部２２は、初期設定用サンプル（サンプル数Ｔ_２）の全てに対してユーザによる評価結果、すなわち印象度データが入力されたか否かを判断し（ステップＢ８）、初期設定用サンプル（サンプル数Ｔ_２）の全てに対してユーザによる評価結果、すなわち印象度データが入力されるまでステップＢ６〜Ｂ７の動作を繰り返す。

ステップＢ２でパーソナル情報による選択でないと判断された場合には、初期設定部２２は、評価者による選択であるか否か、すなわち評価者入力欄４９３にユーザのパーソナル情報が入力された上で選択実行ボタン４９４がクリックされたかを判断し（ステップＢ９）、評価者による選択である場合には、選択された評価者が学習させた事前学習済み階層型ニューラルネットワークおよび学習マップを特定し（ステップＢ１０）、ステップＢ５に至る。

ステップＢ９で評価者による選択でないと判断された場合には、ジャンルによる選択、ジャンル入力欄４９３に楽曲のジャンルが入力された上で選択実行ボタン４９４がクリックされたことによるため、初期設定部２２は、選択されたジャンルで揃えられた事前学習データによって学習させた事前学習済み階層型ニューラルネットワークおよび学習マップを特定する（ステップＢ１１）。すなわち、図７に示すように、評価者Ｆがそれぞれジャンル（ポップス、ジャズ、ロック、カントリーミュージック、演歌）毎に揃えられたサンプル数Ｔ_１の楽曲データに基づいてそれぞれ学習させた事前学習済み階層型ニューラルネットワーク♯６〜♯１０および学習マップ♯６〜♯１０が記憶されており、ジャンルとしてポップスが選択された場合には、選択されたジャンル（ポップス）の楽曲データに基づいてそれぞれ学習させた事前学習済み階層型ニューラルネットワーク♯６および学習マップ♯６が特定される。

次に、初期設定部２２は、初期設定入力画面５０をＰＣ表示部２０に表示させ（ステップＢ１２）、ユーザによって初期設定開始ボタン５２がクリックされると、初期設定部２２は、学習データ記憶部２３に記憶されている複数の初期設定用サンプル♯１〜♯６の内、選択されたジャンルに揃えられた初期設定用楽曲サンプルの最初の１つを読み出し、読み出した初期設定用サンプルの内の初期設定用楽曲データを音声出力部２４に出力し、音声出力部２４は、初期設定部２２から入力された初期設定用楽曲データを音声出力する（ステップＢ１３）。

ユーザは、音声出力部２４からの音声出力を聞くことによって、楽曲の印象度を感性によって評価し、ＰＣ操作部１９から印象度データ入力領域５１に評価結果、すなわち印象度データを入力し（ステップＢ１４）、入力確定ボタン５３をクリックする。ユーザによって入力確定ボタン５３がクリックされると、初期設定部２２は、初期設定用サンプル（サンプル数Ｔ_２）の全てに対してユーザによる評価結果、すなわち印象度データが入力されたか否かを判断し（ステップＢ１５）、初期設定用サンプル（サンプル数Ｔ_２）の全てに対してユーザによる評価結果、すなわち印象度データが入力されるまでステップＢ１３〜Ｂ１４の動作を繰り返す。

ステップＢ８もしくはステップＢ１５で初期設定用サンプル（サンプル数Ｔ_２）の全てに対してユーザによる評価結果、すなわち印象度データが入力されたと判断されると、ステップＢ４、ステップＢ１０もしくはステップＢ１１で特定された事前学習済み階層型ニューラルネットワークの事前学習させた各ニューロンの結合重み値ｗと、ステップＢ４、ステップＢ１０もしくはステップＢ１１で特定された学習マップとを学習データ記憶部２３から読み出して階層型ニューラルネットワーク学習部２５に出力すると共に、特定された事前学習済み階層型ニューラルネットワークの事前学習に用いた事前学習データと、印象度データの入力の入力に用いられた初期設定用サンプルの内の特徴データとを学習データ記憶部２３から読み出し、事前学習データに初期設定用サンプルの内の特徴データとユーザによって入力された印象度データとを加えたものを初期設定用データとして階層型ニューラルネットワーク学習部２５に出力する。すなわち、事前学習データのサンプル数Ｔ_１が１００曲分あり、初期設定用サンプルのサンプル数Ｔ_２が１０曲である場合には、評価者が評価した１００曲分のデータと、ユーザが評価した１０曲分のデータとからなる１１０曲分（サンプル数Ｔ_１＋サンプル数Ｔ_２）の特徴データと印象度データとが初期設定用データとして階層型ニューラルネットワーク学習部２５に出力される。

階層型ニューラルネットワーク学習部２５は、初期設定用データに基づいて、誤差逆伝播学習法を用い、階層型ニューラルネットワークの学習、すなわち各ニューロンの結合重み値ｗの更新を行う。

まず、初期値として、中間層（第ｎ層）のニューロンの結合重み値ｗを事前学習させた結合重み値ｗに設定しておき、階層型ニューラルネットワーク学習部２５は、初期設定部２２から入力された特徴データを入力信号 ｘ_ｊ(ｊ＝１，２，…，８)として入力層（第１層）に入力し、入力層（第１層）から出力層（第Ｎ層）に向けて、各ニューロンの出力を計算する。

次に、階層型ニューラルネットワーク学習部２５は、初期設定部２２から入力された印象度データを教師信号ｙ_ｊ（ｊ＝１，２，…，８）とし、出力層（第Ｎ層）の出力out_j ^Ｎと、教師信号ｙ_ｊとの誤差から、学習則δ_j ^Ｎを数式１によって計算する。

次に、階層型ニューラルネットワーク学習部２５は、学習則δ_j ^Ｎ を使って、中間層（第ｎ層）の誤差信号δ_j ⁿを数式２によって計算する。

次に、階層型ニューラルネットワーク学習部２５は、中間層（第ｎ層）の誤差信号 δ_j ⁿ を用いて各ニューロンの結合重み値ｗの変化量Δｗを数式３によって計算し、各ニューロンの結合重み値ｗを更新する（ステップＢ１６）。なお、数式３における学習率は、η_２(0＜η_２≦1)に設定されており、η_２は、評価者による事前学習で使用した学習率η_１よりも大きな値を用いると良い。さらに、ユーザが評価した１０曲分のデータ、すなわちユーザが入力した印象度データを教師信号として用いて学習させる際には、学習率をη_３(0＜η_１、η_２＜η_３≦1)に設定すると、ユーザの嗜好が階層型ニューラルネットワークの学習に強く反映されて好適である。

ステップＢ１６では、サンプル数Ｔ_１＋サンプル数Ｔ_２の初期設定用データのそれぞれについて学習が行われ、次に、数式４に示す２乗誤差Ｅが予め定められた初期設定用の基準値Ｅ_２（初期設定用の基準値Ｅ_２＜事前学習用の基準値Ｅ_１）よりも小さいか否かが判断され（ステップＢ１７）、２乗誤差Ｅが基準値Ｅ_２よりも小さくなるまでステップＢ１６の動作が繰り返される。なお、２乗誤差Ｅが基準値Ｅ_２よりも小さくなると想定される学習反復回数Ｓを予め設定しておき、ステップＢ１６の動作をＳ回繰り返すようにしても良い。また、初期設定用データの内のユーザが評価したデータ（サンプル数Ｔ_２）を用いた学習回数を、他のデータ（サンプル数Ｔ_１）よりも多くすると、ユーザの嗜好が階層型ニューラルネットワークの学習に強く反映されて好適である。すなわち、ステップＢ１６での学習において、サンプル数Ｔ_１の初期設定用データを１回ずつ学習させるのに対し、ユーザが評価してサンプル数Ｔ_２の初期設定用データを複数回ずつ学習させることにより、初期設定用データの内のユーザが評価したデータ（サンプル数Ｔ_２）を用いた学習回数を、他のデータ（サンプル数Ｔ_１）よりも多くする。ステップＢ１６の動作を学習反復回数Ｓに予め定めておく場合には、初期設定用データの内のユーザが評価したデータ（サンプル数Ｔ_２）を用いた学習の反復回数を、他のデータ（サンプル数Ｔ_１）を用いた学習の反復回数よりも多くすると良い。

ステップＢ１７で２乗誤差Ｅが基準値Ｅ_２よりも小さいと判断された場合には、階層型ニューラルネットワーク学習部２５は、学習させた各ニューロンの結合重み値ｗを印象度データ変換部１４に出力すると共に、ステップＢ４、ステップＢ１０もしくはステップＢ１１で特定された学習マップを楽曲マップ記憶部１７に出力する（ステップＢ１８）。

次に、楽曲検索装置１０における楽曲登録動作について図１１を参照して詳細に説明する。
楽曲データ入力部１１にＣＤ、ＤＶＤ等の楽曲データが記憶されている記憶媒体をセットし、楽曲データ入力部１１から楽曲データを入力する（ステップＣ１）。

圧縮処理部１２は、楽曲データ入力部１１から入力された楽曲データを圧縮し（ステップＣ２）、圧縮した楽曲データを、アーティスト名、曲名等の書誌データと共に楽曲データベース１５に記憶させる（ステップＣ３）。

特徴データ抽出部１３は、楽曲データ入力部１１から入力された楽曲データから、ゆらぎ情報からなる特徴データを抽出する（ステップＣ４）。
特徴データ抽出部１３における特徴データの抽出動作は、図１２を参照すると、楽曲データの入力を受け付け（ステップＤ１）、楽曲データの予め定められたデータ解析開始点から一定のフレーム長に対しＦＦＴ（高速フーリエ変換）を行い（ステップＤ２）、パワースペクトルを算出する。なお、ステップＤ２の前に高速化を目的としてダウンサンプリングを行うようにしても良い。

次に、特徴データ抽出部１３は、Ｌｏｗ、Ｍｉｄｄｌｅ、Ｈｉｇｈの周波数帯域を予め設定しておき、Ｌｏｗ、Ｍｉｄｄｌｅ、Ｈｉｇｈの３帯域のパワースペクトルを積分し、平均パワーを算出すると共に（ステップＤ３）、Ｌｏｗ、Ｍｉｄｄｌｅ、Ｈｉｇｈの周波数帯域の内、最大のパワーを持つ帯域をＰｉｔｃｈのデータ解析開始点値とし、Ｐｉｔｃｈを測定する（ステップＤ４）。

ステップＤ２〜ステップＤ４の処理動作は、予め定められたフレーム個数分行われ、特徴データ抽出部１３は、ステップＤ２〜ステップＤ４の処理動作を行ったフレーム個数が予め定められた設定値に達したか否かを判断し（ステップＤ５）、ステップＤ２〜ステップＤ４の処理動作を行ったフレーム個数が予め定められた設定値に達していない場合には、データ解析開始点をシフトしながら（ステップＤ６）、ステップＤ２〜ステップＤ４の処理動作を繰り返す。

ステップＤ２〜ステップＤ４の処理動作を行ったフレーム個数が予め定められた設定値に達した場合には、特徴データ抽出部１３は、ステップＤ２〜ステップＤ４の処理動作によって算出したＬｏｗ、Ｍｉｄｄｌｅ、Ｈｉｇｈの平均パワーの時系列データに対しＦＦＴを行うと共に、ステップＤ２〜ステップＤ４の処理動作によって測定したＰｉｔｃｈの時系列データに対しＦＦＴを行う（ステップＤ７）。

次に、特徴データ抽出部１３は、Ｌｏｗ、Ｍｉｄｄｌｅ、Ｈｉｇｈ、ＰｉｔｃｈにおけるＦＦＴ分析結果から、横軸を対数周波数、縦軸を対数パワースペクトルとしたグラフにおける回帰直線の傾きと、回帰直線のＹ切片とをゆらぎ情報として算出し（ステップＤ８）、Ｌｏｗ、Ｍｉｄｄｌｅ、Ｈｉｇｈ、Ｐｉｔｃｈのそれぞれにおける回帰直線の傾きおよびＹ切片を８項目からなる特徴データとして印象度データ変換部１４に出力する。

印象度データ変換部１４は、図４に示すような入力層（第１層）、中間層（第ｎ層）、出力層（第Ｎ層）からなる階層型ニューラルネットワークを用い、入力層（第１層）に特徴データ抽出部１３で抽出された特徴データを入力することによって、出力層（第Ｎ層）から印象度データを出力、すなわち特徴データを印象度データに変換し（ステップＣ５）、出力層（第Ｎ層）から出力された印象度データを、楽曲マッピング部１６に出力すると共に、楽曲データと共に楽曲データベース１５に記憶させる。なお、中間層（第ｎ層）の各ニューロンの結合重み値ｗは、ニューラルネットワーク学習装置４０によって予め学習が施されている。また、本実施の形態の場合には、入力層（第１層）に入力される特徴データ、すなわち特徴データ抽出部１３によって抽出される特徴データの項目は、前述のように８項目であり、印象度データの項目としては、人間の感性によって判断される（明るい、暗い）、（重い、軽い）、（かたい、やわらかい）、（安定、不安定）、（澄んだ、にごった）、（滑らか、歯切れの良い）、（激しい、穏やか）、（厚い、薄い）の８項目を設定し、各項目を７段階評価で表すように設定した。従って、入力層（第１層）のニューロン数Ｌ_１と出力層（第Ｎ層）のニューロン数Ｌ_Ｎとは、それぞれ８個となっており、中間層（第ｎ層：ｎ＝２，…，Ｎ−１）のニューロン数Ｌ_ｎは、適宜設定されている。

楽曲マッピング部１６は、楽曲データ入力部１１から入力された楽曲を楽曲マップ記憶部１７に記憶されている楽曲マップの該当箇所にマッピングする。楽曲マッピング部１６におけるマッピング動作に用いられる楽曲マップの各ニューロンには、予め学習されたｎ次元の特徴ベクトルｍ_ｉ（ｔ）∈Ｒ^ｎが内包されており、楽曲マッピング部１６は、印象度データ変換部１４によって変換された印象度データを入力ベクトルｘ_ｊとし、入力ベクトルｘ_ｊに最も近いニューロン、すなわちユークリッド距離‖ｘ_ｊ−ｍ_ｉ‖を最小にするニューロンに、入力された楽曲をマッピングし（ステップＣ６）、マッピングした楽曲マップを楽曲マップ記憶部１７に記憶させる。なお、Ｒは、印象度データの各項目の評価段階数を示し、ｎは、印象度データの項目数を示す。

次に、楽曲検索装置１０における楽曲検索動作について図１３乃至図１９を参照して詳細に説明する。
楽曲検索部１８は、ＰＣ表示部２０に、図１４に示すような検索画面６０を表示し、ＰＣ操作部１９からのユーザ入力を受け付ける。検索画面６０は、楽曲マップ記憶部１７に記憶されている楽曲データのマッピング状況が表示される楽曲マップ表示領域６１と、検索条件を入力する検索条件入力領域６２と、検索結果が表示される検索結果表示領域６３とからなる。図１４の楽曲マップ表示領域６１に示されている点は、楽曲データがマッピングされている楽曲マップのニューロンを示している。

検索条件入力領域６２は、図１５に示すように、検索条件として印象度データを入力する印象度データ入力領域６２１と、検索条件として書誌データを入力する書誌データ入力領域６２２と、検索の実行を指示する検索実行ボタン６２３とからなり、ユーザは、検索条件として印象度データおよび書誌データをＰＣ操作部１９から入力し（ステップＥ１）、検索実行ボタン６２３をクリックすることで、印象度データおよび書誌データに基づく検索を楽曲検索部１８に指示する。なお、ＰＣ操作部１９からの印象度データの入力は、図１５に示すように、印象度データの各項目を７段階評価で入力することによって行われる。

楽曲検索部１８は、ＰＣ操作部１９から入力された印象度データおよび書誌データに基づいて楽曲データベース１５を検索し（ステップＥ２）、図１６に示すような検索結果を検索結果表示領域６３に表示する。

ＰＣ操作部１９から入力された印象度データに基づく検索は、ＰＣ操作部１９から入力された印象度データを入力ベクトルｘ_ｊとし、楽曲データベース１５に楽曲データと共に記憶されている印象度データを検索対象ベクトルＸ_ｊとすると、入力ベクトルｘ_ｊに近い検索対象ベクトルＸ_ｊ、すなわちユークリッド距離‖ｘ_ｊ−Ｘ_ｊ‖が小さい順に検索して行く。検索する件数は、予め定めておいても、ユーザによって任意に設定するようにしても良い。また、印象度データと書誌データとが共に検索条件とされている場合には、書誌データに基づく検索を行った後、印象度データに基づく検索が行われる。

検索条件入力領域６２を用いた検索以外に、楽曲マップ表示領域６１を用いた検索を行える様にしても良い。この場合には、楽曲マップ表示領域６１において検索対象領域を指定することで、検索対象領域内にマッピングされている楽曲データを検索結果として検索結果表示領域６３に表示する。

次に、ユーザは、検索結果表示領域６３に表示されている検索結果の中から代表曲を選択し（ステップＥ３）、代表曲検索実行ボタン６３１をクリックすることで、代表曲に基づく検索を楽曲検索部１８に指示する。

楽曲検索部１８は、選択された代表曲に基づいて楽曲マップ記憶部１７に記憶されている楽曲マップを検索し（ステップＥ４）、代表曲がマッピングされているニューロンと、その近傍ニューロンとにマッピングされている楽曲データを代表曲検索結果として検索結果表示領域６３に表示する。近傍ニューロンを決定するための近傍半径は、予め定めておいても、ユーザによって任意に設定するようにしても良い。

次に、ユーザは、検索結果表示領域６３に表示されている代表曲検索結果の中から端末装置３０に出力する楽曲データを、図１７に示すように選択し（ステップＥ５）、出力ボタン６３２をクリックすることで、選択した楽曲データの出力を楽曲検索部１８に指示し、楽曲検索部１８は、検索結果出力部２１を介してユーザによって選択された楽曲データを端末装置３０に出力する（ステップＥ６）。

なお、検索条件入力領域６２、楽曲マップ表示領域６１を用いた代表曲の検索以外に、図１８に示すような、記憶されている全楽曲のリストが表示される全楽曲リスト表示領域６４を検索画面６０に表示させ、全楽曲リストから代表曲を直接選択して、代表曲選択実行ボタン６４１をクリックすることで、選択された代表曲に基づく検索を楽曲検索部１８に指示するように構成しても良い。

さらに、上述した検索以外に、「明るい曲」、「楽しい曲」、「癒される曲」というように言葉で表現されるキーワードに対応するニューロン（あるいは楽曲）を設定しておき、キーワードを選択することによって楽曲の検索を行えるように構成しても良い。すなわち、図１９（ａ）に示すような、キーワード検索領域６５を検索画面６０に表示させ、キーワード選択領域６５１に表示されたキーワードのリストからいずれかを選択し、おまかせ検索ボタン６５３をクリックすることで、選択されたキーワードに対応するニューロンに基づく検索を楽曲検索部１８に指示するように構成する。図１９（ａ）に示す設定楽曲表示領域６５２には、選択されたキーワードに対応する楽曲が設定されている場合に、当該楽曲が設定楽曲として表示され、この場合には、おまかせ検索ボタン６５３をクリックすることで、選択されたキーワードに対応する設定楽曲を代表曲とする検索を楽曲検索部１８に指示する。また、図１９（ａ）に示す設定楽曲変更ボタン６５４は、キーワードに対応する楽曲を変更する際に使用されるもので、設定楽曲変更ボタン６５４をクリックすることで、全楽曲リストが表示されて、全楽曲リストの中から楽曲を選択することで、キーワードに対応する楽曲を変更できるように構成する。なお、キーワードに対応するニューロン（あるいは楽曲）の設定は、キーワードに印象度データを割り付けておき、当該印象度データを入力ベクトルｘ_ｊとし、入力ベクトルｘ_ｊに最も近いニューロン（あるいは楽曲）とを対応づけるようにしても良く、ユーザによって任意に設定できるように構成しても良い。

このように、キーワードに対応するニューロンが設定されている場合には、図１９（ｂ）に示すように、楽曲マップ表示領域６１において楽曲がマッピンクされているニューロンをクリックすると、クリックされたニューロンに対応するキーワードがキーワード表示６１１としてポップアップ表示されるように構成すると、楽曲マップ表示領域６１を利用した楽曲の検索を容易に行うことができる。

以上説明したように、本実施の形態によれば、学習データ記憶部２３に評価者によって事前学習が施された複数の階層型ニューラルネットワークを記憶させておき、初期設定部２２によって学習データ記憶部２３に記憶されている複数の階層型ニューラルネットワークのいずれかをユーザの入力に基づいて選択させ、初期設定部２２によって選択された階層型ニューラルネットワークを階層型ニューラルネットワーク学習部２５によってユーザの嗜好を反映させて学習させるように構成することにより、ユーザの嗜好を反映させて学習を施した階層型ニューラルネットワークによって、楽曲の有する物理的な複数の項目からなる特徴データと、人間の感性によって判断される項目からなる印象度データとを直接関連づけることができ、ユーザによって検索条件として入力される人間の感性によって判断される印象度データに基づいて精度の高い楽曲データの検索を行うことができると共に、階層型ニューラルネットワークに学習を施すためのユーザの作業量を軽減させるために予め評価者によって事前学習が施された階層型ニューラルネットワークを用いてもユーザの嗜好を強く反映させることができるという効果を奏する。

次に、本発明の他の実施の形態について図２０を参照して詳細に説明する。
図２０は、本発明に係る楽曲検索システムの他の実施の形態の構成を示すブロック図である。

図２０に示す他の実施の形態では、図１に示す楽曲データベース１５、楽曲マップ記憶部１７および楽曲検索部１８とそれぞれ同等の機能を有する楽曲データベース３６、楽曲マップ記憶部３７および楽曲検索部３８を端末装置３０に備え、端末装置３０で楽曲データベース３６の検索と、楽曲マップ記憶部３７に記憶されている楽曲マップの検索とを行えるように構成されている。他の実施の形態において、楽曲検索装置１０は、楽曲データ入力部１１から入力された楽曲データを楽曲データベース１５に、印象度データ変換部１４によって変換された印象度データを楽曲データベース１５に、楽曲マッピング部１６によってマッピングされた楽曲マップを楽曲マップ記憶部１７にそれぞれ記憶させる楽曲登録装置として用いられる。

楽曲検索装置１０の楽曲データベース１５および楽曲マップ記憶部１７の記憶内容は、データベース出力部２６によって端末装置３０に出力され、端末装置３０のデータベース入力部３９は、楽曲データベース１５および楽曲マップ記憶部１７の記憶内容を楽曲データベース３６および楽曲マップ記憶部３７に記憶させる。検索条件の入力は、端末表示部３４の表示内容に基づいて、端末操作部３３から行われる。

なお、本発明が上記各実施の形態に限定されず、本発明の技術思想の範囲内において、各実施の形態は適宜変更され得ることは明らかである。また、上記構成部材の数、位置、形状等は上記実施の形態に限定されず、本発明を実施する上で好適な数、位置、形状等にすることができる。なお、各図において、同一構成要素には同一符号を付している。

本発明に係る楽曲検索システムの本実施の形態の構成を示すブロック図である。 図１に示す端末装置の構成を示すブロック図である。 図１に示す楽曲検索装置に用いられる階層型ニューラルネットワークおよび楽曲マップを事前に学習させるニューラルネットワーク学習装置の構成を示すブロック図である。 図１に示す階層型ニューラルネットワーク学習部における階層型ニューラルネットワークの学習アルゴリズムを説明するための説明図である。 図３に示すニューラルネットワーク学習装置における楽曲マップの学習アルゴリズムを説明するための説明図である。 図３に示すニューラルネットワーク学習装置における階層型ニューラルネットワークの事前学習動作および楽曲マップの学習動作を説明するためのフローチャートである。 図１に示す学習データ記憶部の記憶内容を示す図である。 図１に示す階層型ニューラルネットワーク学習部において初期設定時に行われる階層型ニューラルネットワークの学習動作を説明するためのフローチャートである。 図１に示すＰＣ表示部に表示される初期設定選択画面例を示す図である。 図１に示すＰＣ表示部に表示される初期設定入力画面例を示す図である。 図１に示す楽曲検索装置における楽曲登録動作を説明するためのフローチャートである。 図１に示す特徴データ抽出部における特徴データ抽出動作を説明するためのフローチャートである。 図１に示す楽曲検索装置における楽曲検索動作を説明するためのフローチャートである。 図１に示すＰＣ表示部に表示される検索画面例を示す図である。 図１４に示す検索条件入力領域の表示例を示す図である。 図１４に示す検索結果表示領域の表示例を示す図である。 図１４に示す検索結果表示領域の表示例を示す図である。 図１４に示す検索画面例に表示される全楽曲リスト表示領域例を示す図である。 図１４に示す検索画面例に表示されるキーワード検索領域例を示す図である。 本発明に係る楽曲検索システムの他の実施の形態の構成を示すブロック図である。

符号の説明

１０ 楽曲検索装置
１１ 楽曲データ入力部
１２ 圧縮処理部
１３ 特徴データ抽出部
１４ 印象度データ変換部
１５ 楽曲データベース
１６ 楽曲マッピング部
１７ 楽曲マップ記憶部
１８ 楽曲検索部
１９ ＰＣ操作部（印象度データ入力手段）
２０ ＰＣ表示部
２１ 検索結果出力部
２２ 初期設定部
２３ 学習データ記憶部
２４ 音声出力部
２５ 階層型ニューラルネットワーク学習部
２６ データベース出力部
３０ 端末装置
３１ 検索結果入力部
３２ 検索結果記憶部
３３ 端末操作部
３４ 端末表示部
３５ 音声出力部
３６ 楽曲データベース
３７ 楽曲マップ記憶部
３８ 楽曲検索部
３９ データベース入力部
４０ ニューラルネットワーク学習装置
４１ 楽曲データ入力部
４２ 音声出力部
４３ 特徴データ抽出部
４４ 印象度データ入力部
４５ 結合重み値学習部
４６ 楽曲マップ学習部
４７ 結合重み値出力部
４８ 特徴ベクトル出力部
４９ 初期設定選択画面
５０ 初期設定入力画面
５１ 印象度データ入力領域
５２ 初期設定開始ボタン
５３ 入力確定ボタン
６０ 検索画面
６１ 楽曲マップ表示領域
６２ 検索条件入力領域
６３ 検索結果表示領域
６４ 全楽曲リスト表示領域
６５ キーワード検索領域
４９１ パーソナル情報入力欄
４９２ ジャンル入力欄
４９３ 評価者入力欄
４９４ 選択実行ボタン
６１１ キーワード表示
６２１ 印象度データ入力領域
６２２ 書誌データ入力領域
６２３ 検索実行ボタン
６３１ 代表曲検索実行ボタン
６３２ 出力ボタン
６４１ 代表曲選択実行ボタン
６５１ キーワード選択領域
６５２ 設定楽曲表示領域
６５３ おまかせ検索ボタン
６５４ 設定楽曲変更ボタン

Claims (7)

1. 複数の楽曲データを楽曲データベースに記憶させ、当該楽曲データベースに記憶された複数の前記楽曲データの中から所望の前記楽曲データを検索する楽曲検索システムであって、
   評価者によって事前学習が施された、前記楽曲データが有する物理的な特徴データを人間の感性によって判断される印象度データに変換する複数の階層型ニューラルネットワークが記憶された学習データ記憶手段と、
   該学習データ記憶手段に記憶されている複数の階層型ニューラルネットワークのいずれかを選択する初期設定手段と、
   前記楽曲データを音声出力する音声出力手段と、
   該音声出力手段から音声出力された前記楽曲データに対応して前記印象度データを入力する印象度データ入力手段と、
   該初期設定手段によって選択された階層型ニューラルネットワークを前記音声出力手段から音声出力された前記楽曲データが有する前記特徴データおよび前記印象度データ入力手段から入力された前記印象度データを用いて使用に先立って学習させる階層型ニューラルネットワーク学習手段と、
   前記楽曲データを入力する楽曲データ入力手段と、
   該楽曲データ入力手段によって入力された前記楽曲データの一定フレーム長に対して高速フーリエ変換を行いパワースペクトルを算出することで前記特徴データを抽出する特徴データ抽出手段と、
   前記階層型ニューラルネットワーク学習手段によって学習が施された階層型ニューラルネットワークを用いて、前記特徴データ抽出手段によって抽出された前記特徴データを前記印象度データに変換する印象度データ変換手段と、
   該印象度データ変換手段によって変換された前記印象度データを前記楽曲データ入力手段によって入力された前記楽曲データと共に前記楽曲データベースに記憶させる記憶制御手段と、
   キーワードに対応する楽曲を設定するキーワード設定手段と、
   楽曲がマッピングで表示される楽曲マッピング表示手段と、
   前記楽曲マッピング表示手段で表示された楽曲であるニューロンをポイントすると前記キーワードが表示されるキーワード表示手段と、
   検索条件として入力された前記印象度データと前記キーワードに基づいて前記楽曲データベースを検索する楽曲検索手段と、
   該楽曲検索手段によって検索された前記楽曲データを出力する楽曲データ出力手段と、
   を具備することを特徴とする楽曲検索システム。
2. ユーザのパーソナル情報を入力するパーソナル情報入力手段を具備し、
   前記学習データ記憶手段に異なる前記評価者によってそれぞれ事前学習が施された複数の階層型ニューラルネットワークを前記評価者のパーソナル情報と共に記憶させておき、
   前記初期設定手段は、前記ユーザのパーソナル情報と前記評価者のパーソナル情報とを比較することによって、前記学習データ記憶手段に記憶されている複数の階層型ニューラルネットワークのいずれかを選択することを特徴とする請求項１記載の楽曲検索システム。
3. 前記楽曲データのジャンルを入力するジャンル入力手段を具備し、
   前記学習データ記憶手段に異なるジャンルの楽曲データによってそれぞれ事前学習が施された複数の階層型ニューラルネットワークを記憶させておき、
   前記初期設定手段は、前記ジャンル入力手段によって入力されたジャンルに基づいて前記学習データ記憶手段に記憶されている複数の階層型ニューラルネットワークのいずれかを選択することを特徴とする請求項１又は２記載の楽曲検索システム。
4. コンピュータが実行する複数の楽曲データを楽曲データベースに記憶し、当該楽曲データベースに記憶された複数の前記楽曲データの中から所望の前記楽曲データを検索する楽曲検索方法であって、
   前記コンピュータは、評価者によって事前学習が施された、前記楽曲データが有する物理的な特徴データを人間の感性によって判断される印象度データに変換する複数の階層型ニューラルネットワークを記憶する学習データ記憶部の学習データ記憶工程と、
   該学習データ記憶工程で記憶している複数の階層型ニューラルネットワークのいずれかを選択する初期設定部の初期設定工程と、
   前記楽曲データを音声出力する音声出力部の音声出力工程と、
   該音声出力工程から音声出力した前記楽曲データに対応する前記印象度データの入力を受け付ける印象度データ入力部の印象度データ入力工程と、
   前記初期設定工程によって選択した階層型ニューラルネットワークを前記音声出力工程から音声出力された前記楽曲データが有する前記特徴データおよび前記印象度データ入力工程から受け付けた前記印象度データを用いて使用に先立って学習する階層型ニューラルネットワーク学習部の階層型ニューラルネットワーク学習工程と、
   前記楽曲データの入力を受け付ける楽曲データ入力部の楽曲データ入力工程と、
   該受け付けた前記楽曲データの一定フレーム長に対して高速フーリエ変換を行いパワースペクトルを算出することで前記特徴データを抽出する特徴データ抽出部の特徴データ抽出工程と、
   前記階層型ニューラルネットワーク学習工程によって学習させた階層型ニューラルネットワークを用いて、前記特徴データ抽出工程によって抽出した前記特徴データを前記印象度データに変換する印象度データ変換部の印象度データ変換工程と、
   該印象度データ変換工程によって変換した前記印象度データを前記楽曲データ入力工程によって受け付けた前記楽曲データと共に前記楽曲データベースに記憶する前記コンピュータの記憶制御部の記憶制御工程と、
   キーワードに対応する楽曲を設定するＰＣ操作部のキーワード設定工程と、
   楽曲がマッピングで表示されるＰＣ表示部の楽曲マッピング表示工程と、
   前記楽曲マッピング表示工程で表示された楽曲であるニューロンをポイントすると前記キーワードが表示されるＰＣ表示部のキーワード表示工程と、
   検索条件として前記印象度データの入力を受け付け、
   該受け付けた前記印象度データと前記キーワードに基づいて前記楽曲データベースを検索する楽曲検索部の楽曲検索工程と、
   該楽曲検索工程によって検索した前記楽曲データを出力する検索結果出力部の楽曲データ出力工程とを実行することを特徴とする楽曲検索方法。
5. ユーザのパーソナル情報の入力を受け付けるパーソナル情報入力部のパーソナル情報入力工程と、
   前記学習データ記憶工程で評価者によってそれぞれ事前学習が施された複数の階層型ニューラルネットワークを前記評価者のパーソナル情報と共に記憶しておき、
   前記初期設定工程は、受け付けた前記ユーザのパーソナル情報と前記評価者のパーソナル情報とを比較することによって、前記学習データ記憶工程で記憶している複数の階層型ニューラルネットワークのいずれかを選択することを特徴とする請求項４記載の楽曲検索方法。
6. 前記楽曲データのジャンルの入力を受け付けるジャンル入力部のジャンル入力工程と、
   前記学習データ記憶工程で異なるジャンルの楽曲データによってそれぞれ事前学習が施された複数の階層型ニューラルネットワークを記憶しておき、
   前記初期設定工程は、前記ジャンル入力工程によって受け付けた前記ジャンルに基づいて前記学習データ記憶工程で記憶している複数の階層型ニューラルネットワークのいずれかを選択することを特徴とする請求項４又は５記載の楽曲検索方法。
7. 請求項４乃至６のいずれかに記載の楽曲検索方法をコンピュータで実行可能な楽曲検索プログラム。