JP4313340B2 - 携帯端末装置および選曲方法 - Google Patents

Description

本発明は、端末楽曲データベースに記憶された複数の楽曲データの再生を行う携帯端末装置および携帯端末装置における選曲方法に関し、特に端末楽曲データベースに記憶された複数の楽曲データの情報を表示する端末表示部を備えた携帯端末装置および選曲方法に関する。

近年、ＨＤＤ等の小型で大容量の記憶手段が開発され、大量の楽曲データを記憶させておくことができるポータブルオーディオ等の携帯型の音声再生装置（以下、携帯端末装置と称す）が提案されている。携帯可能な携帯端末装置は、小型化されているため、操作のための入力スペースや表示スペースに制限があり、記憶手段に記憶された大量の楽曲データの管理は、携帯端末装置と接続可能に構成されたパーソナルコンピュータによって行われている（例えば、特許文献１参照）。

しかしながら、従来技術では、携帯端末装置に記憶された大量の楽曲データの管理をパーソナルコンピュータで行うように構成されているため、携帯端末装置単体では、どのような傾向の楽曲データが記憶されているのか把握することができず、類似する情感の楽曲データを選曲することが困難であるという問題点があった。
特開２００２−２７８５４７号公報

本発明は斯かる問題点を鑑みてなされたものであり、その目的とするところは、携帯端末装置単体で記憶されている楽曲データの傾向を容易に把握することができ、類似する情感の楽曲データを簡単に選曲することができる携帯端末装置および選曲方法を提供する点にある。

本発明は上記課題を解決すべく、以下に掲げる構成とした。
本発明の携帯端末装置は、複数の楽曲データを記憶しておき、前記楽曲データの再生を行う携帯端末装置であって、前記楽曲データと共に、前記楽曲データから抽出された物理的な特徴データを予め学習が施された階層型ニューラルネットワークを用いて変換した、人間の感性によって判断される印象度データが３項目以上記憶されている端末楽曲データベースと、前記印象度データの内の２項目を選択入力する端末操作手段と、該端末操作手段によって選択入力された２項目の前記印象度データを前記端末楽曲データベースから収集する印象度データ収集手段と、前記端末操作手段によって選択入力された２項目の前記印象度データをそれぞれ縦軸と横軸にし、前記印象度データ収集手段によって収集された２項目の前記印象度データに基づいて前記楽曲データを配置した２次元の選曲マップを作成する選曲マップ作成手段と、該選曲マップ作成手段によって作成された前記選曲マップを表示する端末表示手段とを具備することを特徴とする。

さらに、携帯端末装置は、前記端末表示手段は、前記選曲マップ上の範囲を指定するカーソル内に配置された前記楽曲データの数を表示させる。

さらに、携帯端末装置は、前記端末表示手段は、前記カーソルの中心座標の最も近くに配置された前記楽曲データの情報を前記端末楽曲データベースから読み出して表示させる。

また、本発明の情報表示方法は、複数の楽曲データを記憶しておき、前記楽曲データの再生を行う携帯端末装置における端末表示方法であって、端末楽曲データベースに前記楽曲データと共に、当該楽曲データから抽出された物理的な特徴データを予め学習が施された階層型ニューラルネットワークを用いて変換した、人間の感性によって判断される印象度データを３項目以上記憶しておき、前記印象度データの内の２項目を選択する入力を受け付け、選択された２項目の前記印象度データを前記端末楽曲データベースから収集し、前記選択入力された２項目の前記印象度データをそれぞれ縦軸と横軸にし、前記収集した２項目の前記印象度データに基づいて前記楽曲データを配置した２次元の選曲マップを作成し、該作成した前記選曲マップを端末表示手段に表示することを特徴とする。

さらに、本発明の情報表示方法は、前記選曲マップ上の範囲を指定するカーソル内に配置された前記楽曲データの数を表示する。

さらに、本発明の情報表示方法は、前記カーソルの中心座標の最も近くに配置された前記楽曲データの情報を前記端末楽曲データベースから読み出して表示することを特徴とする。

本発明の携帯端末装置および選曲方法は、端末楽曲データベースに楽曲データと当該楽曲データの特徴を表す３項目以上の印象度データを記憶しておき、印象度データの内の２項目を選択する入力を受け付け、選択された２項目の印象度データを端末楽曲データベースから収集し、収集した２項目の印象度データに基づいて楽曲データを配置した２次元の選曲マップを作成して端末表示部に表示すると共に、選曲マップ上の範囲を指定するカーソルを生成し、カーソル内に配置された前記楽曲データを選曲して再生するように構成することにより、小画面の端末表示部において端末楽曲データベースに記憶された楽曲データの傾向を視覚的に捉えた上で楽曲データを選曲することができるため、携帯端末装置単体で記憶されている楽曲データの傾向を容易に把握することができ、類似する情感の楽曲データを簡単に選曲することができるという効果を奏する。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。

図１は、本発明に係る携帯端末装置と楽曲登録装置とからなる楽曲検索システムの実施の形態の構成を示すブロック図であり、図２は、図１に示す携帯端末装置の構成を示す前面図であり、図３は、図１に示す楽曲登録装置に用いられるニューラルネットワークを事前に学習させるニューラルネットワーク学習装置の構成を示すブロック図である。

本実施の形態は、図１を参照すると、楽曲登録装置１０と、携帯端末装置３０とがＵＳＢ等のデータ伝送路２３で接続されており、携帯端末装置３０は、楽曲登録装置１０から切り離して携帯することができる構成となっている。

楽曲登録装置１０は、パーソナルコンピュータ等のプログラム制御で動作する情報処理装置であり、図１を参照すると、楽曲データ入力部１１と、圧縮処理部１２と、特徴データ抽出部１３と、印象度データ変換部１４と、楽曲データベース１５と、楽曲マッピング部１６と、楽曲マップ記憶部１７と、楽曲検索部１８と、ＰＣ操作部１９と、ＰＣ表示部２０と、送受信部２１と、音声出力部２２とからなる。

楽曲データ入力部１１は、ＣＤ、ＤＶＤ等の楽曲データが記憶されている記憶媒体を読み取る機能を有し、ＣＤ、ＤＶＤ等の記憶媒体から楽曲データを入力し、圧縮処理部１２および特徴データ抽出部１３に出力する。ＣＤ、ＤＶＤ等の記憶媒体以外にインターネット等のネットワークを経由した楽曲データ（配信データ）を入力するように構成しても良い。なお、圧縮された楽曲データが入力される場合には、圧縮された楽曲データを伸長して特徴データ抽出部１３に出力する。

圧縮処理部１２は、楽曲登録時には、楽曲データ入力部１１から入力された楽曲データをＭＰ３やＡＴＲＡＣ（Adaptive Transform Acoustic Coding ）等の圧縮形式で圧縮し、圧縮した楽曲データを、アーティスト名、曲名等の書誌データと共に楽曲データベース１５に記憶させる。

特徴データ抽出部１３は、楽曲データ入力部１１から入力された楽曲データから、ゆらぎ情報からなる特徴データを抽出し、抽出した特徴データを印象度データ変換部１４に出力する。

印象度データ変換部１４は、予め学習が施された階層型ニューラルネットワークを用いて、特徴データ抽出部１３から入力された特徴データを、人間の感性によって判断される印象度データに変換し、変換した印象度データを楽曲マッピング部１６に出力すると共に、特徴データ抽出部１３から入力された特徴データと変換した印象度データとを楽曲データに関連づけて楽曲データベース１５に登録する。

楽曲データベース１５は、ＨＤＤ等の大容量の記憶手段であり、圧縮処理部１２によって圧縮された楽曲データ、書誌データと、特徴データ抽出部１３によって抽出された特徴データと、印象度データ変換部１４によって変換された印象度データとが関連づけられて記憶される。

楽曲マッピング部１６は、印象度データ変換部１４から入力された印象度データに基づいて、任意空間である楽曲マップに楽曲データをマッピングし、楽曲データをマッピングした楽曲マップを楽曲マップ記憶部１７に記憶させると共に、楽曲マップにマッピングされた楽曲データを検索するための検索テーブルを作成し、作成した検索テーブルを楽曲データベース１５に記憶させる。

楽曲マップ記憶部１７は、ＨＤＤ等の大容量の記憶手段であり、楽曲マッピング部１６によって楽曲データがマッピングされた楽曲マップが記憶される。

楽曲検索部１８は、ＰＣ操作部１９から書誌データに基づいて楽曲データベース１５を検索し、当該検索結果をＰＣ表示部２０に表示すると共に、ＰＣ操作部１９によって選択された代表曲に基づいて楽曲マップ記憶部１７を検索し、当該代表曲検索結果をＰＣ表示部２０に表示すると共に検索リストとして楽曲データベース１５に記憶させる。

ＰＣ操作部１９は、キーボードやマウス等の入力手段であり、楽曲データベース１５および楽曲マップ記憶部１７に記憶されている楽曲データを検索する検索条件の入力、携帯端末装置３０に出力する楽曲データを選択する入力が行われる。

ＰＣ表示部２０は、例えば液晶ディスプレイ等の表示手段であり、楽曲マップ記憶部１７に記憶されている楽曲データのマッピング状況の表示、楽曲データベース１５および楽曲マップ記憶部１７に記憶されている楽曲データを検索する検索条件の表示、検索された楽曲データ（検索結果）の表示等が行われる。

送受信部２１は、携帯端末装置３０の送受信部３１との間をＵＳＢ等のデータ伝送路２３で接続可能に構成されており、楽曲データベース１５に記憶されている楽曲データと、当該楽曲データに対応する印象度データおよび楽曲マップにおけるニューロンの座標と、検索テーブルと、検索リストとを携帯端末装置３０の送受信部３１に出力する。

音声出力部２２は、楽曲データベース１５に記憶されている楽曲データを伸長して再生するオーディオプレーヤである。

携帯端末装置３０は、ＨＤＤ等の大容量の記憶手段を有するポータブルオーディオ等の携帯型の音声再生装置であり、図１を参照すると、送受信部３１と、端末楽曲データベース３２と、表示制御部３３と、端末表示部３４と、端末操作部３５と、音声出力部３６と、印象度データ収集部３７と、カーソル生成部３８と、選曲マップ作成部３９と、楽曲データ抽出部４０とからなる。

送受信部３１は、楽曲登録装置１０の送受信部２１との間をＵＳＢ等のデータ伝送路２３で接続可能に構成されており、楽曲登録装置１０の送受信部２１から入力された楽曲データを端末楽曲データベース３２に記憶させる。

端末楽曲データベース３２は、ＨＤＤ等の大容量の記憶手段であり、楽曲データベース１５に記憶されている楽曲データと、当該楽曲データに対応する書誌データおよび印象度データと、検索リストとが記憶される。

表示制御部３３は、例えば液晶ディスプレイ等の表示手段である端末表示部３４における各種表示画面の表示を制御すると共に、端末操作部３５からの入力を受け付け、端末表示部３４に表示させる選曲マップの作成指示の印象度データ収集部３７への出力や、音声出力部３６への再生指示の出力を行う。

端末操作部３５は、楽曲データの再生に係る入力が行われる入力手段であり、図２を参照すると、再生する楽曲データを選択する入力、検索方法を選択する入力、ボリュームコントロールの入力等を行う十字キー３５１と、選択された検索方法の実行を指示する入力等を行う決定キー３５２と、選択された楽曲データの出力を指示する入力を行う再生指示キー３５３とからなる。

音声出力部３６は、端末楽曲データベース３２に圧縮されて記憶されている楽曲データを伸長して再生するオーディオプレーヤであり、接続されたヘッドフォン５０に再生した楽曲データを出力する。

印象度データ収集部３７は、選曲マップの横軸および縦軸に表す印象度データとして指定された評価項目が表示制御部３３から入力されると、端末楽曲データベース３２に記憶されている全楽曲データについて指定された横軸および縦軸の印象度データをそれぞれ収集し、選曲マップ作成部３９に出力する。

カーソル生成部３８は、十字キー３５１の上下左右によって移動されるカーソル３４９の中心座標とカーソル形状とを表示制御部３３に出力する。

選曲マップ作成部３９は、印象度データ収集部３７から入力された横軸および縦軸の印象度データに基づき各楽曲データを配置した２次元の選曲マップ３４６を作成して表示制御部３３に出力する。

楽曲データ抽出部４０は、カーソル生成部３８から出力されるカーソル３４９の中心座標とカーソル形状とに基づき、カーソル３４９内に含まれる楽曲データを抽出する。

ニューラルネットワーク学習装置６０は、印象度データ変換部１４で用いられる階層型ニューラルネットワークと、楽曲マッピング部１６で用いられる楽曲マップとの学習を行う装置であり、図３を参照すると、楽曲データ入力部６１と、音声出力部６２と、特徴データ抽出部６３と、印象度データ入力部６４と、結合重み値学習部６５と、楽曲マップ学習部６６と、結合重み値出力部６７と、特徴ベクトル出力部６８とからなる。

楽曲データ入力部６１は、ＣＤ、ＤＶＤ等の楽曲データが記憶されている記憶媒体を読み取る機能を有し、ＣＤ、ＤＶＤ等の記憶媒体から楽曲データを入力し、音声出力部６２および特徴データ抽出部６３に出力する。ＣＤ、ＤＶＤ等の記憶媒体以外にインターネット等のネットワークを経由した楽曲データ（配信データ）を入力するように構成しても良い。なお、圧縮された楽曲データが入力される場合には、圧縮された楽曲データを伸長して音声出力部６２および特徴データ抽出部６３に出力する。

音声出力部６２は、楽曲データ入力部６１から入力された楽曲データを伸長して再生するオーディオプレーヤである。

特徴データ抽出部６３は、楽曲データ入力部６１から入力された楽曲データから、ゆらぎ情報からなる特徴データを抽出し、抽出した特徴データを結合重み値学習部６５に出力する。

印象度データ入力部６４は、音声出力部６２からの音声出力に基づく、評価者による印象度データの入力を受け付け、受け付けた印象度データを、階層型ニューラルネットワークの学習に用いる教師信号として結合重み値学習部６５に出力すると共に自己組織化マップ（ＳＯＭ）への入力ベクトルとして楽曲マップ学習部６６に出力する。

結合重み値学習部６５は、特徴データ抽出部６３から入力された特徴データと、印象度データ入力部６４から入力された印象度データとに基づいて階層型ニューラルネットワークに学習を施し、各ニューロンの結合重み値を更新し、結合重み値出力部６７を介して更新した結合重み値を出力する。学習が施された階層型ニューラルネットワーク（更新された結合重み値）は、楽曲登録装置１０の印象度データ変換部１４に移植される。

楽曲マップ学習部６６は、印象度データ入力部６４から入力された印象度データを自己組織化マップへの入力ベクトルとして自己組織化マップに学習を施し、各ニューロンの特徴ベクトルを更新し、特徴ベクトル出力部６８を介して更新した特徴ベクトルを出力する。学習が施された自己組織化マップ（更新された特徴ベクトル）は、楽曲マップとして楽曲登録装置１０の楽曲マップ記憶部１７に記憶される。

まず、楽曲登録装置１０における楽曲登録動作について図４乃至図９を参照して詳細に説明する。
図４は、図１に示す楽曲登録装置における楽曲登録動作を説明するためのフローチャートであり、図５は、図１に示す特徴データ抽出部における特徴データ抽出動作を説明するためのフローチャートであり、図６は、図１に示す特徴データ抽出部におけるテンポ決定動作を説明するためのフローチャートであり、図７は、図１に示す印象度データ変換部で用いられる階層型ニューラルネットワーク例を示す説明図であり、図８は、図１に示す楽曲マッピング部が楽曲データをマッピングする楽曲マップ例を示す説明図であり、図９は、図１に示す楽曲データベースに記憶される検索テーブル例を示す図である。

楽曲データ入力部１１にＣＤ、ＤＶＤ等の楽曲データが記憶されている記憶媒体をセットし、楽曲データ入力部１１から楽曲データを入力する（ステップＡ１）。

圧縮処理部１２は、楽曲データ入力部１１から入力された楽曲データを圧縮し（ステップＡ２）、圧縮した楽曲データを、アーティスト名、曲名等の書誌データと共に楽曲データベース１５に記憶させる（ステップＡ３）。

特徴データ抽出部１３は、楽曲データ入力部１１から入力された楽曲データから、ゆらぎ情報からなる特徴データを抽出する（ステップＡ４）。

特徴データ抽出部１３における特徴データの抽出動作は、図４乃至図６を参照すると、楽曲データ入力部１１にＣＤプレーヤ等の楽曲再生装置やインターネット等のネットワークから楽曲データが入力されると（ステップＢ１）、楽曲データ入力部１１は、高速化を目的とし、楽曲データ入力部１１に入力された楽曲データを４４．１ｋＨｚから２２．０５ｋＨｚにダウンサンプリングし、ダウンサンプリングした楽曲データを特徴データ抽出部１３に出力する。

次に、特徴データ抽出部１３は、楽曲データの予め定められたデータ解析開始点（楽曲の先頭から３０ｓ）から一定のフレーム長に対してのＦＦＴ処理を行い、パワースペクトルを算出する（ステップＢ２）。なお、本実施の形態においては、特徴データの１つである楽曲のテンポとしてテンポの周期を抽出し、テンポの周期が０．３〜１ｓの範囲にあることを想定し、サンプリング周期が２２．０５ｋＨｚである楽曲データに対して１０２４ポイントのＦＦＴ処理を行うように構成した。すなわち、ＦＦＴ処理を行うフレーム長を、１０２４／２２．０５ｋＨｚ≒４６ｍｓとし、想定した楽曲におけるテンポの周期の最小値よりも短い値としている。

次に、特徴データ抽出部１３は、Ｌｏｗ（０〜２００Ｈｚ）、Ｍｉｄｄｌｅ（２００〜６００Ｈｚ）、Ｈｉｇｈ（６００〜１１０５０Ｈｚ）の周波数帯域を予め設定しておき、Ｌｏｗ、Ｍｉｄｄｌｅ、Ｈｉｇｈの３帯域のパワースペクトルを積分し、平均パワーを算出し（ステップＢ３）、ステップＢ２〜ステップＢ３の処理動作を行ったフレーム個数が予め定められた設定値（２０４８）に達したか否かを判断し（ステップＢ４）、ステップＢ２〜ステップＢ３の処理動作を行ったフレーム個数が予め定められた設定値に達していない場合には、データ解析開始点をシフトしながら（ステップＢ５）、ステップＢ２〜ステップＢ３の処理動作を繰り返す。これにより、ステップＢ２〜ステップＢ３の処理動作は、予め定められたフレーム個数の設定値分行われることになり、Ｌｏｗ、Ｍｉｄｄｌｅ、Ｈｉｇｈ３帯域の平均パワーの時系列データをそれぞれ求めることができる。なお、本実施の形態では、解析時間長を６０ｓとし、データ解析開始点を６０ｓ＊２２．０５ｋＨｚ／２０４８≒６４６ポイントずつシフトしながらＦＦＴ処理を行い、２０４８ポイント、６０ｓの平均パワーの時系列データを作成するように構成した。

次に、特徴データ抽出部１３は、ステップＢ２〜ステップＢ５の処理動作によって算出したＬｏｗ、Ｍｉｄｄｌｅ、Ｈｉｇｈの平均パワーの時系列データに対しそれぞれＦＦＴを行い、ゆらぎ情報を算出する（ステップＢ６）。なお、本実施の形態では、平均パワーの時系列データに対して２０４８ポイントのＦＦＴ処理を行うように構成した。

次に、特徴データ抽出部１３は、Ｌｏｗ、Ｍｉｄｄｌｅ、ＨｉｇｈにおけるＦＦＴ分析結果から、横軸を対数周波数、縦軸を対数パワースペクトルとしたグラフにおける近似直線を最小２乗法等によって算出し（ステップＢ７）、近似直線の傾きと、近似直線のＹ切片とを求め（ステップＢ８）、Ｌｏｗ、Ｍｉｄｄｌｅ、Ｈｉｇｈのそれぞれにおける近似直線の傾きおよびＹ切片を特徴データとして抽出する。

また、特徴データ抽出部１３は、ＬｏｗにおけるＦＦＴ分析結果において、ステップＢ６で算出されたゆらぎ情報と、ステップＢ７で算出された近似直線との差分を差分情報として算出し（ステップＢ９）、予め定められたロジックに基づいて算出した差分情報を解析することで、テンポの周期を決定し（ステップＢ１０）、決定したテンポを特徴データとして抽出し、Ｌｏｗ、Ｍｉｄｄｌｅ、Ｈｉｇｈのそれぞれにおける近似直線の傾きおよびＹ切片と共に印象度データ変換部１４に出力する。

なお、特徴データ抽出部１３におけるテンポ決定動作は、図６を参照すると、ステップＢ９で算出された差分情報を解析することで、まず、周期０．３〜２ｓにおいて近似直線と１．２５ｄＢ以上離れている成分があるか否か、すなわち周波数１／０．３〜１／２Ｈｚの範囲内に近似直線と１．２５ｄＢ以上離れている周波数成分があるか否かを判断し（ステップＣ１）、近似直線と１．２５ｄＢ以上離れている周波数成分がある場合には、近似直線と１．２５ｄＢ以上離れている周波数成分の内、最も周期が長い周波数成分の周期を候補Ａとする（ステップＣ２）。

次に、特徴データ抽出部１３は、候補Ａが１ｓ以上か否かを判断し（ステップＣ３）、候補Ａが１ｓ以上である場合には、候補Ａ／２をテンポの周期として決定すると共に（ステップＣ４）、候補Ａが１ｓ以上でない場合には、候補Ａをテンポの周期として決定する（ステップＣ５）。

ステップＣ１で近似直線と１．２５ｄＢ以上離れている周波数成分がない場合には、特徴データ抽出部１３は、周期０．３〜２ｓにおいて近似直線と０．７ｄＢ以上離れている成分があるか否か、すなわち周波数１／０．３〜１／２Ｈｚの範囲内に近似直線と０．７ｄＢ以上離れている周波数成分があるか否かを判断し（ステップＣ６）、近似直線と０．７ｄＢ以上離れている周波数成分がある場合には、近似直線と０．７ｄＢ以上離れている周波数成分の内、最も周期が長い周波数成分の周期を候補Ａとする（ステップＣ７）。

次に、特徴データ抽出部１３は、候補Ａが１ｓ以上か否かを判断し（ステップＣ８）、候補Ａが１ｓ以上である場合には、候補Ａ／２をテンポの周期として決定すると共に（ステップＣ９）、候補Ａが１ｓ以上でない場合には、候補Ａが０．６ｓ以上か否かを判断する（ステップＣ１０）。候補Ａが０．６ｓ以上である場合には、候補Ａ以外に近似直線と０．７ｄＢ以上離れている周波数成分が２つ以上あるか否かを判断し（ステップＣ１１）、候補Ａ以外に近似直線と０．７ｄＢ以上離れている周波数成分が２つ以上ある場合には、候補Ａ／２をテンポの周期として決定する（ステップＣ９）。ステップＣ１０で候補Ａが０．６ｓ以上でない場合と、ステップＣ１１で候補Ａ以外に近似直線と０．７ｄＢ以上離れている周波数成分が２つ以上ない場合には、候補Ａをテンポの周期として決定する（ステップＣ１２）。

ステップＣ１１で近似直線と０．７ｄＢ以上離れている周波数成分がない場合には、特徴データ抽出部１３は、周期０．３〜２ｓにおいて近似直線と０．６ｄＢ以上離れている成分があるか否か、すなわち周波数１／０．３〜１／２Ｈｚの範囲内に近似直線と０．６ｄＢ以上離れている周波数成分があるか否かを判断し（ステップＣ１３）、近似直線と０．６ｄＢ以上離れている周波数成分がある場合には、近似直線と０．６ｄＢ以上離れている周波数成分の内、最も周期が長い周波数成分の周期を候補Ａとする（ステップＣ７）。

次に、特徴データ抽出部１３は、候補Ａが１ｓ以上か否かを判断し（ステップＣ８）、候補Ａが１ｓ以上である場合には、候補Ａ／２をテンポの周期として決定すると共に（ステップＣ９）、候補Ａが１ｓ以上でない場合には、候補Ａが０．６ｓ以上か否かを判断する（ステップＣ１０）。候補Ａが０．６ｓ以上である場合には、候補Ａ以外に近似直線と０．６ｄＢ以上離れている周波数成分が２つ以上あるか否かを判断し（ステップＣ１１）、候補Ａ以外に近似直線と０．６ｄＢ以上離れている周波数成分が２つ以上ある場合には、候補Ａ／２をテンポの周期として決定し（ステップＣ９）、ステップＣ１０で候補Ａが０．６ｓ以上でない場合と、ステップＣ１１で候補Ａ以外に近似直線と０．６Ｂ以上離れている周波数成分が２つ以上ない場合には、候補Ａをテンポの周期として決定する（ステップＣ１２）。

ステップＣ１３で近似直線と０．６ｄＢ以上離れている周波数成分がない場合には、特徴データ抽出部１３は、周期３〜４ｓにおいて近似直線と０．６ｄＢ以上離れている成分があるか否か、すなわち周波数１／３〜１／４Ｈｚの範囲内に近似直線と０．６ｄＢ以上離れている周波数成分があるか否かを判断し（ステップＣ１４）、近似直線と０．６ｄＢ以上離れている周波数成分がある場合には、近似直線と０．６ｄＢ以上離れている周波数成分の内、最も周期が長い周波数成分の周期を候補Ａとし（ステップＣ１５）、候補Ａ／４をテンポの周期として決定する（ステップＣ１６）。

ステップＣ１４で近似直線と０．６ｄＢ以上離れている周波数成分がない場合には、特徴データ抽出部１３は、周期０．１〜０．３ｓにおいて近似直線と０．７ｄＢ以上離れている成分があるか否か、すなわち周波数１／０．１〜１／０．３Ｈｚの範囲内に近似直線と０．７ｄＢ以上離れている周波数成分があるか否かを判断し（ステップＣ１７）、近似直線と０．７ｄＢ以上離れている周波数成分がない場合には、１ｓをテンポの周期として決定すると共に（ステップＣ１８）、近似直線と０．７ｄＢ以上離れている周波数成分がある場合には、０．３ｓをテンポの周期として決定する（ステップＣ１９）。

なお、本実施の形態では、楽曲のテンポとしてテンポの周期を抽出するように構成したが、一般にテンポを表す単位として用いられているＢＰＭ（beat per minutes)に換算するようにしても良く、さらにテンポの周期を一定の加工方法で加工するようにしても良い。

次に、図４を参照すると、印象度データ変換部１４は、図７に示すような入力層（第１層）、中間層（第ｎ層）、出力層（第Ｎ層）からなる階層型ニューラルネットワークを用い、入力層（第１層）に特徴データ抽出部１３で抽出された特徴データを入力することによって、出力層（第Ｎ層）から印象度データを出力、すなわち特徴データを印象度データに変換し（ステップＡ５）、出力層（第Ｎ層）から出力された印象度データを、楽曲マッピング部１６に出力すると共に、特徴データ抽出部１３から入力された特徴データと、出力層（第Ｎ層）から出力された印象度データとを、楽曲データと共に楽曲データベース１５に記憶させる。なお、中間層（第ｎ層）の各ニューロンの結合重み値ｗは、評価者によって予め学習が施されている。また、本実施の形態の場合には、入力層（第１層）に入力される特徴データ、すなわち特徴データ抽出部１３によって抽出される特徴データの項目は、前述のようにＬｏｗ、Ｍｉｄｄｌｅ、Ｈｉｇｈのそれぞれにおける近似直線の傾きおよびＹ切片と、テンポとの７項目であり、印象度データの評価項目としては、人間の感性によって判断される「明るい、暗い」、「澄んだ、にごった」、「激しい、穏やか」の３項目を設定し、各評価項目を７段階評価で表すように設定した。従って、入力層（第１層）のニューロン数Ｌ_１は、７個、出力層（第Ｎ層）のニューロン数Ｌ_Ｎは、３個となっており、中間層（第ｎ層：ｎ＝２，…，Ｎ−１）のニューロン数Ｌｎは、適宜設定されている。

楽曲マッピング部１６は、楽曲データ入力部１１から入力された楽曲データを楽曲マップ記憶部１７に記憶されている楽曲マップの該当箇所にマッピングする（ステップＡ６）。楽曲マッピング部１６におけるマッピング動作に用いられる任意空間である楽曲マップは、複数の部分空間に分割されており、楽曲データは、複数の部分空間のいずれかに配置される。楽曲マップとしては、例えばニューロンが２次元に規則的に配置（図８に示す例では、９＊９の正方形）されている自己組織化マップを用いることができ、この場合には、ニューロンが複数の部分空間に対応する。

本実施の形態では、楽曲マップとしてニューロンが１００＊１００の正方形に配列された２次元ＳＯＭを使用し、楽曲マップの各ニューロンには、（１，１）〜（１００，１００）の座標が付与され、座標によりニューロン間の距離が認識できるように構成されており、楽曲マッピング部１６は、楽曲マップにマッピングされた楽曲データを検索するための検索テーブルを作成し、作成した検索テーブルを楽曲データベース１５に記憶させると共に、楽曲データが配置されたニューロンの座標を楽曲データと共に楽曲データベース１５に記憶させる。検索テーブルは、該当するニューロンを検索し、検索されたニューロンに配置されている楽曲データを特定するためのものであり、図９に示すように、楽曲マップにおける各ニューロンの座標と、各ニューロンに配置されている楽曲データ（楽曲データを特定する番号等）とからなる。なお、本実施の形態では、楽曲マップとしてニューロンが正方形に配列された２次元ＳＯＭを用いたが、ニューロンの配列は、長方形であっても、蜂の巣であっても良く、さらに３次元ＳＯＭを用いるようにしても良い。

また、楽曲マッピング部１６におけるマッピング動作に用いられる楽曲マップは、予め学習が施されており、各ニューロンには、予め学習されたｎ次元の特徴ベクトルｍ_ｉ（ｔ）∈Ｒ^ｎが付与されており、楽曲マッピング部１６は、印象度データ変換部１４によって変換された印象度データと、特徴データ抽出部１３によって抽出されたテンポとを入力ベクトルｘ_ｊとし、入力ベクトルｘ_ｊに最も近いニューロン、すなわちユークリッド距離‖ｘ_ｊ−ｍ_ｉ‖を最小にするニューロンに、入力された楽曲データを配置し、楽曲データがマッピングされた楽曲マップを楽曲マップ記憶部１７に記憶させる。なお、Ｒは、印象度データの各評価項目の評価段階数を示し、ｎは、印象度データの項目数を示す。

次に、印象度データ変換部１４における変換動作（ステップＡ５）に用いられる階層型ニューラルネットワークの学習動作について図１０を参照して詳細に説明する。
図１０は、図２に示すニューラルネットワーク学習装置における階層型ニューラルネットワークの学習動作を説明するためのフローチャートである。

評価者による階層型ニューラルネットワーク（結合重み値ｗ）の学習は、例えば、図２に示すニューラルネットワーク学習装置６０を用いて行われ、まず、階層型ニューラルネットワーク（結合重み値ｗ）を事前学習させるための事前学習データ（楽曲データの特徴データ＋印象度データ）の入力が行われる。

楽曲データ入力部６１にＣＤ、ＤＶＤ等の楽曲データが記憶されている記憶媒体をセットし、楽曲データ入力部６１から楽曲データを入力し（ステップＤ１）、特徴データ抽出部６３は、楽曲データ入力部６１から入力された楽曲データから特徴データを抽出する（ステップＤ２）。なお、特徴データ抽出部６３によって抽出する特徴データは、楽曲登録装置１０の特徴データ抽出部１３で抽出する特徴データと同一である。

また、音声出力部６２は、楽曲データ入力部６１から入力された楽曲データを音声出力し（ステップＤ３）、評価者は、音声出力部６２からの音声出力を聞くことによって、楽曲の印象度を感性によって評価し、評価結果を印象度データとして印象度データ入力部６４から入力し（ステップＤ４）、結合重み値学習部６５は、印象度データ入力部６４から入力された印象度データを教師信号として受け付ける。なお、本実施の形態では、印象度の評価項目としては、人間の感性によって判断される「明るい、暗い」、「澄んだ、にごった」、「激しい、穏やか」の３項目を設定し、各評価項目についての７段階評価を印象度データとして印象度データ入力部６４で受け付けるように構成した。

次に、特徴データと入力された印象度データとからなる学習データが予め定められたサンプル数Ｔ_１に達したか否かを判断し（ステップＤ５）、学習データがサンプル数Ｔ_１に達するまでステップＤ１〜ステップＤ４の動作が繰り返される。

結合重み値学習部６５における階層型ニューラルネットワークの学習、すなわち各ニューロンの結合重み値ｗの更新は、誤差逆伝播学習法を用いて行う。
まず、初期値として、中間層（第ｎ層）の全てのニューロンの結合重み値ｗを乱数によって−０．１〜０．１程度の範囲の小さな値に設定しておき、結合重み値学習部６５は、特徴データ抽出部６３によって抽出された特徴データを入力信号ｘ_ｊ(ｊ＝１，２，…，８) として入力層（第１層）に入力し、入力層（第１層）から出力層（第Ｎ層）に向けて、各ニューロンの出力を計算する。

次に、結合重み値学習部６５は、印象度データ入力部６４から入力された印象度データを教師信号ｙ_ｊ(ｊ＝１，２，…，８) とし、出力層（第Ｎ層）の出力out_j ^Ｎと、教師信号ｙ_ｊとの誤差から、学習則δ_j ^Ｎを次式によって計算する。

次に、結合重み値学習部６５は、学習則δ_j ^Ｎを使って、中間層（第ｎ層）の誤差信号 δ_j ⁿ を次式によって計算する。

なお、数式２において、ｗは、第 n 層 j 番目と第 n -1 層ｋ番目のニューロンの間の結合重み値を表している。

次に、結合重み値学習部６５は、中間層（第ｎ層）の誤差信号 δ_j ⁿ を用いて各ニューロンの結合重み値ｗの変化量Δｗを次式によって計算し、各ニューロンの結合重み値ｗを更新する（ステップＤ６）。なお、次式において、ηは、学習率を表し、評価者による学習では、η_１(0＜η_１≦1)に設定されている。

ステップＤ６では、サンプル数Ｔ_１の事前学習データのそれぞれについて学習が行われ、次に、次式に示す２乗誤差Ｅが予め定められた事前学習用の基準値Ｅ_１よりも小さいか否かが判断され（ステップＤ７）、２乗誤差Ｅが基準値Ｅ_１よりも小さくなるまでステップＤ６の動作が繰り返される。なお、２乗誤差Ｅが基準値Ｅ_１よりも小さくなると想定される学習反復回数Ｓを予め設定しておき、ステップＤ６の動作を学習反復回数Ｓ回繰り返すようにしても良い。

ステップＤ７で２乗誤差Ｅが基準値Ｅ_１よりも小さいと判断された場合には、結合重み値学習部６５は、事前学習させた各ニューロンの結合重み値ｗを結合重み値出力部６７によって出力し（ステップＤ８）、結合重み値出力部６７から出力された各ニューロンの結合重み値ｗは、印象度データ変換部１４に記憶される。

次に、楽曲マッピング部１６におけるマッピング動作（ステップＡ６）に用いられる楽曲マップの学習動作について図１１を参照して詳細に説明する。
図１１は、図２に示すニューラルネットワーク学習装置における楽曲マップの学習動作を説明するためのフローチャートである。

楽曲データ入力部６１にＣＤ、ＤＶＤ等の楽曲データが記憶されている記憶媒体をセットし、楽曲データ入力部６１から楽曲データを入力し（ステップＥ１）、特徴データ抽出部６３は、楽曲データ入力部６１から入力された楽曲データから特徴データとしてテンポを抽出し（ステップＥ２）、抽出したテンポを楽曲マップ学習部６６に出力する。なお、特徴データ抽出部６３によって抽出するテンポは、楽曲登録装置１０の特徴データ抽出部１３で抽出するテンポと同一である。

次に、音声出力部６２は、楽曲データ入力部６１から入力された楽曲データを音声出力し（ステップＥ３）、評価者は、音声出力部６２からの音声出力を聞くことによって、楽曲の印象度を感性によって評価し、評価結果を印象度データとして印象度データ入力部６４から入力する（ステップＥ４）。

楽曲マップ学習部６６は、特徴データ抽出部６３から入力されたテンポと、印象度データ入力部６４から入力された印象度データとを自己組織化マップへの入力ベクトルとして受け付ける。なお、本実施の形態では、印象度の評価項目としては、人間の感性によって判断される「明るい、暗い」、「澄んだ、にごった」、「激しい、穏やか」の３項目を設定し、各評価項目についての７段階評価を印象度データとして印象度データ入力部６４で受け付けるように構成した。

楽曲マップ学習部６６は、特徴データ抽出部６３から入力されたテンポと、印象度データ入力部６４から入力された印象度データとを入力ベクトルｘ_ｊ（ｔ）∈Ｒ^ｎとし、各ニューロンの特徴ベクトルｍ_ｉ（ｔ）∈Ｒ^ｎを学習させる。なお、ｔは、学習回数を表し、学習回数を定める設定値Ｔを予め設定しておき、学習回数ｔ＝０，１，…，Ｔについて学習を行わせる。なお、Ｒは、各評価項目の評価段階を示し、ｎは、印象度データの項目数を示す。

まず、初期値として、全てのニューロンの特徴ベクトルｍ_ｃ（０）をそれぞれ０〜１の範囲でランダムに設定しておき、楽曲マップ学習部６６は、ｘ_ｊ（ｔ）に最も近いニューロンｃ、すなわち‖ｘ_ｊ（ｔ）−ｍ_ｃ（ｔ）‖を最小にする勝者ニューロンｃを求め、勝者ニューロンｃの特徴ベクトルｍ_ｃ（ｔ）と、勝者ニューロンｃの近傍にある近傍ニューロンｉの集合Ｎｃのそれぞれの特徴ベクトルｍ_ｉ（ｔ）（ｉ∈Ｎｃ）とを、次式に従ってそれぞれ更新する（ステップＥ５）。なお、近傍ニューロンｉを決定するための近傍半径は、予め設定されているものとする。

なお、数式５において、ｈ_ｃｉ（ｔ）は、学習率を表し、次式によって求められる。

なお、α_initは学習率の初期値であり、Ｒ^２（ｔ）は、単調減少する一次関数もしくは指数関数が用いられる。

次に、楽曲マップ学習部６６は、学習回数ｔが設定値Ｔに達したか否かを判断し（ステップＥ６）、学習回数ｔが設定値Ｔに達するまでステップＥ１〜ステップＥ５の処理動作を繰り返し、学習回数ｔが設定値Ｔに達すると、再び最初のサンプルから同じ処理動作を行う。この反復回数が予め定められたＳ回になった時点で、特徴ベクトル出力部６８を介して学習させた特徴ベクトルｍ_ｉ（Ｔ）∈Ｒ^ｎを出力する（ステップＥ７）。出力された各ニューロンｉの特徴ベクトルｍ_ｉ（Ｔ）は、楽曲登録装置１０の楽曲マップ記憶部１７に楽曲マップとして記憶される。

次に、楽曲登録装置１０における楽曲検索動作について図１２乃至図１７を参照して詳細に説明する。
図１２は、図１に示す楽曲登録装置における楽曲検索動作を説明するためのフローチャートであり、図１３は、図１に示すＰＣ表示部に表示される検索条件入力画面例を示す図であり、図１４は、図１に示すＰＣ表示部に表示される条件検索結果表示画面例を示す図であり、図１５は、図１に示すＰＣ表示部に表示される代表曲検索結果表示画面例を示す図であり、図１６は、図１に示すＰＣ表示部に表示される楽曲リスト表示画面例を示す図であり、図１７は、図１に示すＰＣ表示部に表示される楽曲マップ表示画面例を示す図である。

楽曲検索部１８は、ＰＣ表示部２０に、検索条件を入力する検索条件入力画面７１を表示し、ＰＣ操作部１９からのユーザ入力を受け付ける。検索条件入力画面７１は、図１３に示すように、検索条件として書誌データを入力する書誌データ入力領域７１１と、検索の実行を指示する条件検索実行ボタン７１２と、全曲リスト表示ボタン７１３と、楽曲マップ表示ボタン７１４とからなり、ユーザは、検索条件として書誌データをＰＣ操作部１９から入力し（ステップＦ１）、条件検索実行ボタン７１２をクリックすることで、書誌データに基づく検索を楽曲検索部１８に指示する。

楽曲検索部１８は、ＰＣ操作部１９から入力された書誌データに基づいて楽曲データベース１５を検索し（ステップＦ２）、条件検索結果を表示する条件検索結果表示画面７２をＰＣ表示部２０に表示させる（ステップＦ３）。条件検索結果表示画面７２は、図１４を参照すると、条件検索結果の中から代表曲を選択する代表曲選択領域７２１と、選択された代表曲に基づく検索を指示する代表曲検索実行ボタン７２２と、条件検索結果を検索リストとして登録する登録ボタン７２３とからなる。

次に、ユーザは、代表曲選択領域７２１に表示されている条件検索結果の中から代表曲を選択し（ステップＦ４）、代表曲検索実行ボタン７２２をクリックすることで、代表曲に基づく検索を楽曲検索部１８に指示する。なお、この時点で登録ボタン７２３がクリックされた場合には、楽曲検索部１８は、代表曲選択領域７２１に表示されている条件検索結果を検索リストとして楽曲データベース１５に記憶させる。

楽曲検索部１８は、選択された代表曲に基づいて楽曲データベース１５を検索することで、楽曲マップにおいて代表曲が配置されているニューロン（以下、代表ニューロンと称す）の座標を特定する（ステップＦ５）。

次に、楽曲検索部１８は、変数ｎに０を設定し（ステップＦ６）、楽曲マップ記憶部１７に記憶されている図９に示す検索テーブルを参照することで、ステップＦ５で特定した代表ニューロンから距離ｎのニューロンに配置されている楽曲データを検索し（ステップＦ７）、検索された楽曲数が予め定められた検索数以上であるか否かを判断する（ステップＦ８）。

ステップＦ８で検索された楽曲数が予め定められた検索数未満である場合には、楽曲検索部１８は、変数ｎをインクリメントし（ステップＦ９）、ステップＦ７に戻り、検索された楽曲数が予め定められた検索数以上になるまでステップＦ７およびステップＦ８を繰り返す。

ステップＦ８で検索された楽曲数が予め定められた検索数以上である場合には、楽曲検索部１８は、検索された楽曲データを予め定められた検索数まで絞り込んだ後（ステップＦ１０）、絞り込んだ楽曲データを代表曲検索結果として表示する代表曲検索結果表示画面７３をＰＣ表示部２０に表示する（ステップＦ１１）。代表曲検索結果表示画面７３は、図１５を参照すると、出力する楽曲データを選択する出力楽曲選択領域７３１と、選択された楽曲データの出力を指示する出力ボタン７３２とからなる。

ステップＦ１０における検索された楽曲データの絞り込みは、代表ニューロンの特徴ベクトルもしくは代表曲の印象度データ変換部１４によって変換された印象度データを入力ベクトルｘ_ｊとし、検索された楽曲データの印象度データを検索対象ベクトルＸ_ｊとすると、入力ベクトルｘ_ｊに近い検索対象ベクトルＸ_ｊ、すなわちユークリッド距離‖Ｘ_ｊ−ｘ_ｊ‖が小さいものを順に予め定められた検索数まで検索することで行われる。なお、ステップＦ１０における検索された楽曲データの絞り込みは、代表ニューロンから最も離れたニューロン、すなわち代表ニューロンから検索に用いた変数ｎの最大値分離れたニューロンに配置されている楽曲データに対してのみ行うようにすると、距離計算を行う対象件数を少なくすることができるため、検索時間（計算時間）を短縮することができる。また、ステップＦ１０における検索された楽曲データの絞り込みを行うことなく、検索された楽曲データの全てを代表曲検索結果として代表曲検索結果表示画面７３に表示するようにしても良く、この場合には、距離計算を行うことなく検索を行うことができるため、検索時間（計算時間）をさらに短縮することができる。

次に、楽曲検索部１８は、出力ボタン７３２がクリックされると、出力楽曲選択領域７３１に表示されている代表曲検索結果を検索リストとして楽曲データベース１５に記憶させる（ステップＦ１２）。

また、検索条件入力画面７１において、全曲リスト表示ボタン７１３がクリックされると、楽曲検索部１８は、記憶されている全楽曲データの楽曲リストを表示する楽曲リスト表示画面７４をＰＣ表示部２０に表示させる。楽曲リスト表示画面７４は、図１６を参照すると、全楽曲データの楽曲リストの中から代表曲を選択する代表曲選択領域７４１と、選択された代表曲に基づく検索を指示する代表曲検索実行ボタン７４２とからなる。

ユーザが代表曲選択領域７４１に表示されている楽曲リストの中から代表曲を選択し（ステップＦ４）、代表曲検索実行ボタン７４２をクリックすることで、選択された代表曲に基づく検索が楽曲検索部１８に指示され、以下、ステップＦ５〜ステップＦ１２の楽曲検索動作が行われる。

さらに、検索条件入力画面７１において、楽曲マップ表示ボタン７１４がクリックされると、楽曲検索部１８は、楽曲マップのニューロンをポイントとして表示する楽曲マップ表示画面７５をＰＣ表示部２０に表示させる。楽曲マップ表示画面７５は、図１７を参照すると、検索の中心とするニューロンを選択するニューロン選択領域７５１と、選択されたニューロンに基づく検索を指示するマップ検索実行ボタン７５２とからなる。

ユーザがニューロン選択領域７５１に表示されているニューロンの中から検索の中心とするニューロンを選択し、マップ検索実行ボタン７５２をクリックすることで、ステップＦ５で特定される代表ニューロンの替わりに、ニューロン選択領域７５１で選択されたニューロンに基づく検索が楽曲検索部１８に指示され、以下、ステップＦ６〜ステップＦ１２の楽曲検索動作が行われる。

なお、ニューロン選択領域７５１においては、楽曲データが配置されているニューロンのみが表示され、楽曲がマッピングされているニューロンにカーソルを移動させると、カーソルが位置するニューロンに配置されている楽曲データの楽曲名のポップアップ表示７５３が行われるように構成されている。

次に、楽曲登録装置１０から携帯端末装置３０への楽曲データの転送動作について詳細に説明する。
図１８は、図１に示す楽曲登録装置から携帯端末装置への楽曲データの転送動作を説明するための説明図である。

楽曲登録装置１０の楽曲データベース１５には、図１８に示すように、楽曲データと、当該楽曲データに対応する特徴データ（特徴データ抽出部１３で抽出）、書誌データ、印象度データ（印象度データ変換部１４で変換）および楽曲マップにおけるニューロンの座標（楽曲マッピング部１６でマッピング）と、検索テーブル（楽曲マッピング部１６で作成）と、検索リスト（楽曲検索部１８で検索）とが記憶されており、携帯端末装置３０の端末楽曲データベース３２には、楽曲データと、当該楽曲データに対応する書誌データおよび印象度データと、検索リストとが転送される。

楽曲登録装置１０の送受信部２１と、携帯端末装置３０の送受信部３１とは、データ伝送路２３によって携帯端末装置３０が接続されると、楽曲登録装置１０の楽曲データベース１５の記憶内容と、携帯端末装置３０の端末楽曲データベース３２の記憶内容とを比較し、楽曲登録装置１０の楽曲データベース１５の記憶内容を携帯端末装置３０の端末楽曲データベース３２に反映させる。

次に、携帯端末装置３０における楽曲検索動作について図１９乃至図２１を参照して詳細に説明する。
図１９は、図２に示す携帯端末装置の端末表示部における表示例を示す図であり、図２０は、図２に示す携帯端末装置の端末表示部におけるマップ検索画面例を示す図であり、図２１は、図２０に示すカーソルによる選曲を説明するための図である。

図示しない電源キーによって携帯端末装置３０の電源が投入されると、表示制御部３３は、再生する楽曲データを選択する方法として「検索リストによる検索」「選曲マップによる検索」のいずれかを選択するための検索方法選択画面３４１を端末表示部３４に表示させ、ユーザは、検索方法選択画面３４１に表示されている検索方法を十字キー３５１の上下で選択し、決定キー３５２を押下することで選択した検索方法に基づく楽曲データの検索を指示する。

検索方法選択画面３４１で「検索リストによる検索」が選択された場合には、表示制御部３３は、端末楽曲データベース３２に記憶されている検索リストの一覧を検索リスト一覧画面３４２として端末表示部３４に表示させ、ユーザは、検索リスト一覧画面３４２に表示されている検索リストのいずれかを十字キー３５１の上下で選択し、決定キー３５２を押下することで選択した検索リストの表示を表示制御部３３に指示する。表示制御部３３は、選択された検索リストのタイトル一覧を検索結果画面３４３として端末表示部３４に表示させる。

検索結果画面３４３が表示されている状態で、再生指示キー３５３が押下されると、表示制御部３３から音声出力部３６に選択された検索リストの再生指示が出力され、音声出力部３６は、検索結果画面３４３が表示されたタイトル一覧に対応する楽曲データ、すなわち選択された検索リストの楽曲データを端末楽曲データベース３２から順次読み出し、読み出した楽曲データを伸長し、伸長した楽曲データをヘッドフォン５０に出力して音声出力させる。また、検索結果画面３４３が表示されている状態で、十字キー３５１の上下でいずれかのタイトルを選択した上で再生指示キー３５３が押下されると、表示制御部３３から音声出力部３６に選択された楽曲の再生指示が出力され、音声出力部３６は、選択された楽曲データを端末楽曲データベース３２から読み出し、読み出した楽曲データを伸長し、伸長した楽曲データをヘッドフォン５０に出力して音声出力させる。

検索方法選択画面３４１で「選曲マップによる検索」が選択された場合には、表示制御部３３は、表示する選曲マップ３４６の横軸および縦軸に表す印象度データとカーソルの大きさとを指定する縦横軸指定画面３４４を端末表示部３４に表示させる。縦横軸指定画面３４４では、端末表示部３４に表示させる選曲マップ３４６における横軸および縦軸の印象度データの評価項目をそれぞれ選択できるようになっており、ユーザは、横軸および縦軸の印象度データの評価項目をそれぞれ選択する。すなわち、本実施の形態の場合には、印象度データとして「明るい、暗い」、「澄んだ、にごった」、「激しい、穏やか」の３項目の評価項目が存在するが、当該３項目の内、２次元のマップに表す２項目を選択する。なお、評価項目の選択方法は、十字キー３５１の上下で「横軸」、「縦軸」を選択し、十字キー３５１の左右で３項目の評価項目のいずれかを選択できるようになっており、図１９には、横軸の印象度データとして評価項目「明るい、暗い」が、縦軸の印象度データとして評価項目「激しい、穏やか」が指定されている状態が示されている。

また、縦横軸指定画面３４４では、選曲マップ３４６上での範囲指定の大きさ、すなわち端末表示部３４に表示されるカーソル形状を指定することもできるようになっており、ユーザは、縦横軸指定画面３４４において十字キー３５１の上下で「カーソル」を選択し、十字キー３５１の左右で予め用意された複数の大きさのカーソル形状からいずれかを選択する。図１９には、カーソル形状として「中（１＊１の矩形）」が指定されている状態が示されている。

縦横軸指定画面３４４において、決定キー３５２が押下されると、表示制御部３３は、選曲マップ３４６の横軸および縦軸に表す印象度データとして指定された評価項目を印象度データ収集部３７にそれぞれ出力すると共に、指定されたカーソル形状をカーソル生成部３８に出力する。

印象度データ収集部３７は、端末楽曲データベース３２に記憶されている全楽曲データについて指定された横軸および縦軸の印象度データをそれぞれ収集し、選曲マップ作成部３９に出力する。選曲マップ作成部３９は、印象度データ収集部３７から入力された横軸および縦軸の印象度データに基づいて各楽曲データを配置した２次元の選曲マップ３４６を作成して表示制御部３３に出力する。

また、カーソル生成部３８は、十字キー３５１の上下左右によって移動されるカーソル３４９の中心座標（ｘ、ｙ）とカーソル形状とを表示制御部３３に出力し、表示制御部３３は、図２０（ａ）を参照すると、印象度データ収集部３７によって作成された選曲マップ３４６と、選曲マップ３４６上の範囲を指定するカーソル３４９とを含む選曲マップ表示画面３４５を端末表示部３４に表示させる。なお、図２０（ａ）に示す選曲マップ３４６は、横軸が評価項目「明るい、暗い」に、縦軸が評価項目「激しい、穏やか」にそれぞれ指定されたものであり、各楽曲データがドットとして表現されている例が示されている。

また、選曲マップ表示画面３４５には、カーソル３４９内に配置されている楽曲データの数を表示する選曲数表示領域３４７と、カーソル３４９の中心に最も近い楽曲データの書誌データを表示する中心楽曲情報表示領域３４８とが設けられている。カーソル３４９内に配置されている楽曲データの数のカウントと、カーソル３４９の中心に最も近い楽曲データの特定は、楽曲データ抽出部４０によって行われ、楽曲データ抽出部４０から表示制御部３３に通知される。すなわち、楽曲データ抽出部４０は、カーソル生成部３８から出力されるカーソル３４９の中心座標（ｘ、ｙ）とカーソル形状とに基づき、カーソル３４９内に含まれる楽曲データを抽出する。具体的には、カーソル形状が１＊１の矩形であるとすると、図２１に示すように、評価項目「明るい、暗い」が（ｘ−０．５）〜（ｘ＋０．５）であり、且つ評価項目「激しい、穏やか」が（ｙ−０．５）〜（ｙ＋０．５）である楽曲データを抽出し、抽出した楽曲データの数と、中心座標（ｘ、ｙ）の最も近くに配置されている楽曲データとを表示制御部３３に出力する。

図２０（ａ）に示す選曲マップ表示画面３４５が表示されている状態で、決定キー３５２が押下されると、表示制御部３３は、図２０（ｂ）に示すように、カーソル３４９の中心座標（ｘ、ｙ）を中央にしてズームした選曲マップ３４６を表示する。さらに、図２０（ｂ）に示す選曲マップ表示画面３４５が表示されている状態で、決定キー３５２が押下されると、表示制御部３３は、楽曲データ抽出部４０によって抽出された楽曲データの書誌データを端末楽曲データベース３２から読み出し、図２０（ｃ）に示すように、読み出した書誌データの一覧を選曲リスト画面３５０として端末表示部３４に表示させる。さらにまた、図２０（ｃ）に示す選曲リスト画面３５０が表示されている状態で、決定キー３５２が押下されると、表示制御部３３は、再び図２０（ａ）に示す選曲マップ表示画面３４５を端末表示部３４に表示させる。

図２０（ａ）、（ｂ）に示す選曲マップ表示画面３４５が表示されている状態と、図２０（ｃ）に示す選曲リスト画面３５０が表示されている状態とで、再生指示キー３５３が押下されると、表示制御部３３から音声出力部３６に楽曲データ抽出部４０によって抽出された楽曲データの再生指示が出力され、音声出力部３６は、楽曲データ抽出部４０によって抽出された楽曲データを端末楽曲データベース３２から順次読み出し、読み出した楽曲データを伸長し、伸長した楽曲データをヘッドフォン５０に出力して音声出力させる。

以上説明したように、本実施の形態によれば、端末楽曲データベース３２に楽曲データと当該楽曲データの特徴を表す３項目以上の印象度データを記憶しておき、端末操作部３５から印象度データの内の２項目を選択する入力を受け付け、選択された２項目の印象度データを端末楽曲データベース３２から収集し、収集した２項目の印象度データに基づいて楽曲データを配置した２次元の選曲マップ３４６を作成して端末表示部３４に表示すると共に、選曲マップ３４６上の範囲を指定するカーソル３４９を生成し、カーソル３４９内に配置された前記楽曲データを選曲して再生するように構成することにより、小画面の端末表示部３４において端末楽曲データベース３２に記憶された楽曲データの傾向を視覚的に捉えた上で楽曲データを選曲することができるため、携帯端末装置３０単体で記憶されている楽曲データの傾向を容易に把握することができ、類似する情感の楽曲データを簡単に選曲することができる
という効果を奏する。

なお、本実施の形態では、各楽曲データをドットとして表現するようにしたが、ドットとして表現する場合には、カーソル３４９内に配置されている楽曲データの表現を他の楽曲データと区別するようにすると、カーソル位置を視覚的に容易に把握することができ好適である。例えば、端末表示部３４が２階調である場合には、配置された楽曲データを通常ドットとして表示させると共に、カーソル３４９内に配置されている楽曲データを白抜きドットして表示させ、端末表示部３４が多階調である場合には、配置された楽曲データを最も薄いドットとして表示させると共に、カーソル３４９内に配置されている楽曲データを最も濃いドットして表示させる。

また、本実施の形態では、各楽曲データをドットとして表現するようにしたが、各楽曲データをドットとして表現する方法としては、様々な方法が考えられ、例えば、端末表示部３４が多階調である場合には、ドット密度に応じて濃淡表示するようにしても良い。ドット密度に応じて濃淡表示する場合には、多数の楽曲データが端末楽曲データベース３２に記憶されており、選曲マップ３４６上でドットが重なってしまうような場合にも、端末楽曲データベース３２に記憶されている楽曲データの傾向を把握し易いという利点がある。

なお、本発明が上記各実施の形態に限定されず、本発明の技術思想の範囲内において、各実施の形態は適宜変更され得ることは明らかである。また、上記構成部材の数、位置、形状等は上記実施の形態に限定されず、本発明を実施する上で好適な数、位置、形状等にすることができる。なお、各図において、同一構成要素には同一符号を付している。

本発明に係る携帯端末装置と楽曲登録装置とからなる楽曲検索システムの実施の形態の構成を示すブロック図である。 図１に示す携帯端末装置の構成を示す前面図である。 図１に示す楽曲登録装置に用いられるニューラルネットワークを事前に学習させるニューラルネットワーク学習装置の構成を示すブロック図である。 図１に示す楽曲登録装置における楽曲登録動作を説明するためのフローチャートである。 図１に示す特徴データ抽出部における特徴データ抽出動作を説明するためのフローチャートである。 図１に示す特徴データ抽出部におけるテンポ決定動作を説明するためのフローチャートである。 図１に示す印象度データ変換部で用いられる階層型ニューラルネットワーク例を示す説明図である。 図１に示す楽曲マッピング部が楽曲データをマッピングする楽曲マップ例を示す説明図である。 図１に示す楽曲データベースに記憶される検索テーブル例を示す図である。 図２に示すニューラルネットワーク学習装置における階層型ニューラルネットワークの学習動作を説明するためのフローチャートである。 図２に示すニューラルネットワーク学習装置における楽曲マップの学習動作を説明するためのフローチャートである。 図１に示す楽曲登録装置における楽曲検索動作を説明するためのフローチャートである。 図１に示すＰＣ表示部に表示される検索条件入力画面例を示す図である。 図１に示すＰＣ表示部に表示される条件検索結果表示画面例を示す図である。 図１に示すＰＣ表示部に表示される代表曲検索結果表示画面例を示す図である。 図１に示すＰＣ表示部に表示される楽曲リスト表示画面例を示す図である。 図１に示すＰＣ表示部に表示される楽曲マップ表示画面例を示す図である。 図１に示す楽曲登録装置から携帯端末装置への楽曲データの転送動作を説明するための説明図である。 図２に示す携帯端末装置の端末表示部における表示例を示す図である。 図２に示す携帯端末装置の端末表示部におけるマップ検索画面例を示す図である。 図２０に示すカーソルによる選曲を説明するための図である。

符号の説明

１０ 楽曲登録装置
１１ 楽曲データ入力部
１２ 圧縮処理部
１３ 特徴データ抽出部
１４ 印象度データ変換部
１５ 楽曲データベース
１６ 楽曲マッピング部
１７ 楽曲マップ記憶部
１８ 楽曲検索部
１９ ＰＣ操作部
２０ ＰＣ表示部
２１ 送受信部
２２ 音声出力部
２３ データ伝送路
３０ 携帯端末装置
３１ 送受信部
３２ 端末楽曲データベース
３３ 表示制御部
３４ 端末表示部
３５ 端末操作部
３６ 音声出力部
３７ 印象度データ収集部
３８ カーソル生成部
３９ 選曲マップ作成部
４０ 楽曲データ抽出部
５０ ヘッドフォン
６０ ニューラルネットワーク学習装置
６１ 楽曲データ入力部
６２ 音声出力部
６３ 特徴データ抽出部
６４ 印象度データ入力部
６５ 結合重み値学習部
６６ 楽曲マップ学習部
６７ 結合重み値出力部
６８ 特徴ベクトル出力部
７１ 検索条件入力画面
７２ 条件検索結果表示画面
７３ 代表曲検索結果表示画面
７４ 楽曲リスト表示画面
７５ 楽曲マップ表示画面
３５１ 十字キー
３５２ 決定キー
３５３ 再生指示キー
３４１ 検索方法選択画面
３４２ 検索リスト一覧画面
３４３ 検索結果画面
３４４ 縦横軸指定画面
３４５ 選曲マップ表示画面
３４６ 選曲マップ
３４７ 選曲数表示領域
３４８ 中心楽曲情報表示領域
３４９ カーソル
３５０ 選曲リスト画面
７１１ 書誌データ入力領域
７１２ 条件検索実行ボタン
７１３ 全曲リスト表示ボタン
７１４ 楽曲マップ表示ボタン
７２１ 代表曲選択領域
７２２ 代表曲検索実行ボタン
７２３ 登録ボタン
７３１ 出力楽曲選択領域
７３２ 出力ボタン
７４１ 代表曲選択領域
７４２ 代表曲検索実行ボタン
７５１ ニューロン選択領域
７５２ マップ検索実行ボタン
７５３ ポップアップ表示

Claims (6)

1. 複数の楽曲データを記憶しておき、前記楽曲データの再生を行う携帯端末装置であって、
   前記楽曲データと共に、前記楽曲データから抽出された物理的な特徴データを予め学習が施された階層型ニューラルネットワークを用いて変換した、人間の感性によって判断される印象度データが３項目以上記憶されている端末楽曲データベースと、
   前記印象度データの内の２項目を選択入力する端末操作手段と、
   該端末操作手段によって選択入力された２項目の前記印象度データを前記端末楽曲データベースから収集する印象度データ収集手段と、
   前記端末操作手段によって選択入力された２項目の前記印象度データをそれぞれ縦軸と横軸にし、前記印象度データ収集手段によって収集された２項目の前記印象度データに基づいて前記楽曲データを配置した２次元の選曲マップを作成する選曲マップ作成手段と、
   該選曲マップ作成手段によって作成された前記選曲マップを表示する端末表示手段とを具備することを特徴とする携帯端末装置。
2. 前記端末表示手段は、前記選曲マップ上の範囲を指定するカーソル内に配置された前記楽曲データの数を表示させることを特徴とする請求項１記載の携帯端末装置。
3. 前記端末表示手段は、前記カーソルの中心座標の最も近くに配置された前記楽曲データの情報を前記端末楽曲データベースから読み出して表示させることを特徴とする請求項２記載の携帯端末装置。
4. 複数の楽曲データを記憶しておき、前記楽曲データの再生を行う携帯端末装置における端末表示方法であって、
   端末楽曲データベースに前記楽曲データと共に、当該楽曲データから抽出された物理的な特徴データを予め学習が施された階層型ニューラルネットワークを用いて変換した、人間の感性によって判断される印象度データを３項目以上記憶しておき、
   前記印象度データの内の２項目を選択する入力を受け付け、
   選択された２項目の前記印象度データを前記端末楽曲データベースから収集し、
   前記選択入力された２項目の前記印象度データをそれぞれ縦軸と横軸にし、前記収集した２項目の前記印象度データに基づいて前記楽曲データを配置した２次元の選曲マップを作成し、
   該作成した前記選曲マップを端末表示手段に表示することを特徴とする携帯端末装置における情報表示方法。
5. 前記選曲マップ上の範囲を指定するカーソル内に配置された前記楽曲データの数を表示することを特徴とする請求項４記載の携帯端末装置における情報表示方法。
6. 前記カーソルの中心座標の最も近くに配置された前記楽曲データの情報を前記端末楽曲データベースから読み出して表示することを特徴とする請求項５記載の携帯端末装置における情報表示方法。

Images