JP5047304B2 - オーディオ装置および楽曲検索方法 - Google Patents

Description

本発明は、保存した楽曲の特徴を表す特徴量に基づいて分析し、この特徴量に基づいた検索を実行可能とするオーディオ装置および楽曲検索方法に関するものである。

近年の楽曲再生制御装置は、ハードディスクドライブやフラッシュメモリといった大容量の記憶媒体を有しており、ＣＤなどの音源の楽曲データを、圧縮手段（例えば、ＭＰ３、ＷＭＡ、ＡＡＣ、ＡＴＲＡＣ３などの手法）を用いてデータ圧縮し記憶媒体に保存することで、膨大な曲数の楽曲データが記憶できるようになっている。そこで、このような大量の楽曲を再生する際の、楽曲の検索が問題となる。

従来、多数の楽曲の選択手法として、ツリー状に表現して選択する方法がよく知られている。この方法は、記憶媒体の種類、フォルダ、ファイルというように、これらを徐々に絞り込んで楽曲を選択するようにしている。しかしながら、大容量の記憶媒体に楽曲を保存した場合、これをツリーで表示しようとすると、同一の階層に多数のメニュー項目が存在することになる。例えば、１つの記憶媒体に５００フォルダ３０００曲を保存した場合、フォルダを示すメニュー項目として５００項目が存在することになり、なかなか目的の楽曲（ファイル）に到達することができない。

そこで、楽曲の印象を数値化したデータベースを作成し、ユーザの楽曲に対する主観的なイメージ、例えば、「激しさ」「のりの良さ」「爽やかさ」「ソフトさ」などを、ＸＹ平面上に定義し、ユーザは、印象を表す言葉により、楽曲を検索する技術が、特許文献（特開２００２−２７８５４７号公報）などにより提案されている。

しかしながら、上述の特許文献に記載された従来技術では、楽曲の印象を言葉で検索するようにしているため、その入力操作が煩雑になり、特に、車両に搭載されたオーディオ装置などでは、車両走行中での操作が難しい。
しかも、「激しさ」「のりの良さ」「爽やかさ」「ソフトさ」などの音質印象用語を用いる場合、ユーザの主観と、装置におけるこれらの言葉の定義と、にずれが生じるおそれがあり、この場合、ユーザの希望と検索結果とに違和感を与えるおそれがあった。

本発明の目的は、上述の従来の問題点に着目して成されたもので、ユーザが、楽曲を分析した特徴量に基づいて検索する際に、その楽曲の特徴を表す特徴量の認識を容易とすることで、楽曲の検索を簡単な操作で、短時間に適切に選択することを可能とするオーディオ装置および楽曲検索方法を提供することにある。

上述の目的を達成するため本発明の一実施例に係るオーディオ装置は、複数の楽曲を保存する楽曲保存装置と、これら楽曲を、あらかじめ設定された楽曲の特徴を表す特徴量に基づいて分析する楽曲分析装置と、この楽曲分析装置の分析結果を、前記楽曲と関連付けて保存する楽曲検索用情報保存装置と、前記楽曲保存装置に保存された楽曲の再生指示および検索指示の操作を実行可能な指示操作装置と、表示画面を備えるとともに、この表示画面からの入力が可能なタッチパネル機能を備えたディスプレイ装置と、検索時に表示する検索用画像と前記表示画面に表示された検索用画像上のユーザ接触位置を前記特徴量に対応させる対応関数とを保存した画像・関数保存装置と、検索指示時に、前記表示画面に前記検索用画像を表示させる表示処理、ユーザが接触した検索用画像上の位置に応じ、前記対応関数を用いて前記ユーザ接触位置に対応した特徴量を求める特徴量変換処理、この特徴量変換処理で得られた特徴量に基づいて、前記楽曲保存装置に保存された楽曲を選択する選択処理を実行する制御装置と、を備えている。
また、上述の目的を達成するため、本発明の一実施例に係る楽曲検索方法は、楽曲の音楽的な特徴を表す特徴量を求め、得られた特徴量を楽曲に関連付けて保存する分析ステップと、検索指示時に、タッチパネル機能を備えたディスプレイ装置の表示画面に、検索用画像を表示させる表示ステップと、前記検索用画像が表示された前記表示画面にユーザが接触したときに、あらかじめ保存された対応関数を用いて、前記表示画面上の接触位置を特徴量に変換する特徴量変換ステップと、この特徴量変換処理で得られた特徴量に基づいて、楽曲保存装置に保存された楽曲を選択する選択ステップと、を備えている。

本発明の一実施例のオーディオ装置の構成を示すブロック図である。 一実施例のオーディオ装置における特徴量座標の説明図である。 一実施例のオーディオ装置において楽曲検索用情報保存装置に、第１特徴量および第２特徴量が、楽曲に関連付けされて保存される態様の説明図である。 一実施例で用いる第１検索用画像が表示画面に表示された状態を示す説明図である。 一実施例で用いる第２検索用画像が表示画面に表示された状態を示す説明図である。 一実施例において表示画面にユーザが接触した位置の一例を示す説明図である。 一実施例において表示画面のユーザ接触位置を規定化座標上の位置に変換した一例を示す説明図である。 一実施例においてメディア駆動装置により楽曲の再生を行ったときの処理の流れを示すフローチャートである。 一実施例において内部楽曲保存装置に保存された楽曲を再生するのにあたり、楽曲を検索する場合の処理の流れを示すフローチャートである。 一実施例において複数の検索用画像および対応関数の中から任意の画像および対応関数を選択する設定処理の流れを示すフローチャートである。 他の実施例の規格化座標と特徴量座標とを示す説明図である。

以下、本発明を実施する最良の形態を、これを具体化する実施例について添付図面を参照して詳細に説明する。

図１乃至図１０は、本発明の一実施例に係るオーディオ装置を示す。

この一実施例に係るオーディオ装置Ａは、例えば、車両（図示せず）に搭載され、図１に示すように、メディア駆動装置１と、複数の楽曲を保存する楽曲保存装置ないしは内部楽曲保存装置２と、これら楽曲を、あらかじめ設定された楽曲の特徴を表す特徴量に基づいて分析する楽曲分析装置７と、この楽曲分析装置７の分析結果に基づいて、前記複数の楽曲を、例えば、音質等と関連付けて保存する楽曲検索用情報保存装置３と、リスト情報保存装置６とを備えている。これらメディア駆動装置１、楽曲保存装置２、楽曲検索用情報保存装置３、楽曲分析装置７およびリスト情報保存装置６は、全体制御装置（以下、制御装置という）１３に接続されている。
オーディオ装置Ａは、また、ユーザインタフェース装置８と、表示画面９ａ（図４参照）を有しこの表示画面９ａからの入力が可能なタッチパネル機能を備え前記楽曲保存装置２に保存された楽曲の再生指示および検索指示の操作を実行可能な指示操作装置又はディスプレイ装置９と、ユーザ印象分析装置１０と、検索時に表示する検索用画像Ｐと前記表示画面９ａに表示された検索用画像Ｐ上のユーザ接触位置を前記特徴量に対応させる対応関数とを保存する画像・関数保存装置１１と、画像・関数選択装置１２とを備えている。これらユーザインタフェース装置８、ディスプレイ装置と、ユーザ印象分析装置１０、画像・関数保存装置１１および画像・関数選択装置１２は、制御装置１３に接続されている。
制御装置１３は、検索指示時に、前記表示画面９ａに前記検索用画像Ｐを表示させる表示処理、ユーザが接触した検索用画像Ｐ上の位置に応じ、前記対応関数を用いて前記ユーザ接触位置に対応した特徴量を求める特徴量変換処理、この特徴量変換処理で得られた特徴量に基づいて、前記楽曲保存装置２に保存された楽曲を選択し、この選択した楽曲の表示を行う表示処理を実行するように構成されている。
メディア駆動装置１は、車両外から持ち込んだ記憶媒体（ＣＤ（Compact Discの略である）、ＭＤ（Mini Discの略）、ＤＶＤ（Digital Versatile Disc））などを駆動すると同時に、それらの記憶媒体に保存された楽曲データを再生することができる情報に変換する機能を有している。

内部楽曲保存装置２は、書き換え可能な磁気記憶媒体であるハードディスクドライブ（Hard disk drive）やフラッシュメモリなどで構成されており、メディア駆動装置１において再生される外部記憶媒体に保存された楽曲データを保存する。なお、保存時には、楽曲の音響情報をアナログディジタル変化したＰＣＭデータで保存する場合もあるが、本実施例では、保存量を増やすために圧縮して保存するものとする。また、それぞれの楽曲に付加的に加えられている各種情報（例えば、タイトル名やアーティスト名、ジャンルなどを持ったＴＡＧなど）が存在する場合には、これらの情報は、メタデータとして、楽曲検索用情報保存装置３に保存する。

楽曲検索用情報保存装置３は、それぞれの楽曲データに付加された情報（メタデータ）と、楽曲分析装置７によって分析された分析結果と、が関連付けられて保存される。
なお、付加情報は、楽曲再生時に、全体制御装置１３により読み出されて、ディスプレイ装置９に表示されるようになっている。

制御装置１３には楽曲再生装置４が接続され、この楽曲再生装置４にはスピ−カ装置５が接続されている（図１参照）。楽曲再生装置４は、制御装置１３の指示に従い、内部楽曲保存装置２に保存されている楽曲データ、およびメディア駆動装置１で駆動される外部記憶装置（図示省略）に記憶されている楽曲データを取得し、その楽曲データを再生する。なお、楽曲データが圧縮されている場合には、それぞれの圧縮方法に準拠した方法にて圧縮を解除（デコード）しＰＣＭデータとして出力する機能を持っている。

リスト情報保存装置６は、楽曲検索用情報保存装置３によって内部的に作成した再生曲のリストの情報を保存する機能を持っている。また、ユーザが作成した楽曲再生リストを保存する機能も有している。

楽曲分析装置７は、楽曲のＰＣＭデータを分析して、楽曲の音楽的な特徴を表す特徴量を算出する。ここで、特徴量とは、楽曲の音楽的な特徴、音質等を量的に表わした量をいう。例えば、「元気」、「静か」、「爽やか」等の印象の音質を表す量である。
楽曲の分析は、本実施例では、内部楽曲保存装置２に楽曲が保存されるときに楽曲ごとに行われるが、この分析は、メディア駆動装置１に、メディアが挿入されたときや、図外の外部楽曲保存装置が接続されたときに行ってもよい。

この楽曲分析において、本実施例では、特徴量として、第１特徴量Ｓｘと第２特徴量Ｓｙとを算出する。
第１特徴量Ｓｘは、曲全体の音圧変動の大きさに比例して、音圧変動が大きい場合に大きく、音圧変動が小さい場合に小さくなる値であって、図２に示す特徴量座標ＴＴで示すように、０〜１．０の範囲内の値として算出され、かつ、楽曲の「クールさ」の程度を表している。
一方、第２特徴量Ｓｙは、曲全体の音圧平均値に比例して、音圧平均値が大きい場合に大きく、音圧平均値が小さい場合に小さくなる値であって、図示の特徴量座標ＴＴにおいて、０〜１．０の値として算出され、かつ、楽曲の「力強さ」の程度を表している。

そこで、「クールさ」および「力強さ」の程度が最も低い部分であるＳｘ＝０、Ｓｙ＝０の近傍の楽曲は、「静か」と分析することができる。

このように算出された第１特徴量Ｓｘおよび第２特徴量Ｓｙは、楽曲に関連付けられ、図３に示すように、保存先ならびにファイル名と共に楽曲検索用情報保存装置３に保存される。

ユーザインタフェース装置８は、ユーザと全体制御装置１３との間で、ディスプレイ装置９の表示機能によるユーザへの視覚情報の提示と、ディスプレイ装置９のタッチパネル機能によるユーザによる入力および指示のやり取りを行う。

ディスプレイ装置９の表示画面９ａは、図４、図５に示すように、長方形状を有している。また、この表示画面９ａには、タッチパネル機能が与えられており、例えば、再生指示や検索指示などのユーザの各種の指示操作を実行する指示操作装置としての機能を有している。

すなわち、表示画面９ａには、オーディオ装置Ａの各種作動を制御するための複数種類の操作画面（図示省略）が表示され、その画面上の選択ボタンをユーザが押して指示操作を行うのに対応して、例えば、楽曲の検索や再生などが、実行される。

画像・関数保存装置１１は、２次元平面である表示画面９ａに表示される複数の検索用画像Ｐと、検索用画像Ｐごとに設定されて、検索用画像Ｐ上の座標を図２の特徴量座標ＴＴに変換させる特徴量変換処理と、対応関数と、がセットで保存されている。

各検索用画像Ｐは、縦４８０ピクセル、横６４０ピクセルのビットマップで保存された１枚の画像データであり、図４に例示する第１検索用画像Ｐ１と、図５に例示する第２検索用画像Ｐ２と、が含まれている。なお、図では、白黒画像で表しているが、着色画像であるほうが好ましい。

第１検索用画像Ｐ１は、左上に都会が表示された都会画像領域ＲＣ１を有し、左下に森が表示された森画像領域ＲＷ１を有し、右中に海が表示された海画像領域ＲＳ１を有している。

また、第２検索用画像Ｐ２は、右上に都会が表示された都会画像領域ＲＣ２を有し、右下に森が表示された森画像領域ＲＷ２を有し、左中に海が表示された海画像領域ＲＳ２を有している。

一方、対応関数は、検索用画像Ｐにおいて指示された点（ユーザの接触点）を、図２に示した特徴量座標ＴＴの点に対応させる関数である。
前述したように、特徴量座標ＴＴは、「クールさ」を数値化した第１特徴量Ｓｘを横軸とし、「力強さ」を数値化した第２特徴量Ｓｙを縦軸としている。
そして、本実施例では、音楽的には、Ｓｘ＝０、Ｓｙ＝１の近傍領域が「元気」な印象を有し、Ｓｘ＝０，Ｓｙ＝０の近傍領域が「静か」な印象を表し、Ｓｘ＝１、Ｓｙ＝０．５の近傍領域が「爽やか」な印象を表していると定義している。

そこで、本実施例では、都会画像領域ＲＣ１，ＲＣ２を、「元気」という印象を表す領域として用い、森画像領域ＲＷ１，ＲＷ２を、「静か」という印象を表す領域として用い、海画像領域ＲＳ１，ＲＳ２が、「爽やか」という印象を表す領域として用いるようにしている。

本実施例では、ユーザ印象分析装置１０は、以下に述べるようにして、上述のような印象を有する検索用画像Ｐと特徴量座標ＴＴとを関連付ける処理を行う。

ユーザ印象分析装置１０は、まず、検索用画像Ｐ上の点を、図７に示す規格化座標ＫＫ上の点に変換する規格化処理を行う。
この規格化処理は、下記式（１）（２）に示す規格化対応関数を用いて、図６に示すように、検索用画像Ｐの横幅をＸＸ、高さをＹＹとした場合に、この検索用画像Ｐ上の点（ＸＸ１，ＹＹ１）を、特徴量座標ＴＴと同様の横軸と縦軸とが１以下の範囲に収めて設定した図７に示す規格化座標ＫＫ上の点（Ｘ１，Ｙ１）に変換する処理である。
Ｘ１＝ＸＸ１／ＸＸ・・・（１）
Ｙ１＝ＹＹ１／ＹＹ・・・（２）

次に、ユーザ印象分析装置１０は、後述の変換対応関数を用いて規格化座標ＫＫ上の点を、図２に示した特徴量座標ＴＴ上の点に変換する変換処理を実行する。
本実施例の場合、規格化座標ＫＫと特徴量座標ＴＴの関係では、検索用画像Ｐ１として第１検索用画像Ｐ１を用いた場合、第１検索用画像Ｐ１を規格化した規格化座標ＫＫ上の印象と、特徴量座標ＴＴ上の楽曲の印象と、が一致している。
そこで、第１検索用画像Ｐ１に対応した第１変換対応関数は、Ｓｘ＝Ｘ１、Ｓｙ＝Ｙ１と設定されている。

一方、第２検索用画像Ｐ２の場合、図７の規格化座標ＫＫ上では、「元気」を表す都会画像領域ＲＣ２が、Ｘ１＝１，Ｙ１＝１の近傍に配置され、「静か」を表す森画像領域がＸ１＝１，Ｙ１＝０の近傍に配置され、「爽やか」を表す海画像が、Ｘ１＝０、Ｙ１＝０．５の近傍に配置されている。

すなわち、第２検索用画像Ｐ２は、第１検索用画像Ｐ１に対して、Ｘ１＝０．５の縦軸を中心に１８０度反転させた関係となっている。

そこで、第２検索用画像Ｐ２を規格化した規格化座標ＫＫ上の点（Ｘ１，Ｙ１）を特徴量座標ＴＴ上の点（Ｘ２，Ｙ２）に変換する第２変換対応関数は、Ｓｘ＝１−Ｘ１、Ｓｙ＝Ｙ１と設定されている。

以上のように、ユーザ印象分析装置１０は、楽曲検索時に、ユーザが、検索用画像Ｐが表示されている表示画面９ａ上の特定のポイント（ＸＸ１，ＹＹ１）を指示（接触）したときに、規格化対応関数および両変換対応関数のいずれかに基づいて、接触点（ＸＸ１，ＹＹ１）に対応する特徴量座標ＴＴ上の点（Ｘ２，Ｙ２）が有する第１特徴量Ｓｘおよび第２特徴量Ｓｙを求める。

また、全体制御装置１３は、このようにして得られた両特徴量Ｓｘ，Ｓｙに基づいて、楽曲検索用情報保存装置３に保存された楽曲の中から、両特徴量Ｓｘ，Ｓｙに近似した楽曲を選択してリストを作成し、これをディスプレイ装置９の表示画面９ａに表示する処理を実行する。

なお、本実施例では、リストは、接触点（ＸＸ１，ＹＹ１）に対応する特徴量座標ＴＴ上の点（Ｘ２，Ｙ２）が有する第１特徴量Ｓｘおよび第２特徴量Ｓｙに近い複数の楽曲（例えば、５曲〜２０曲程度の楽曲であって、本実施例では、１０曲とする）を選択し、点（Ｘ２，Ｙ２）に近い順に並べて作成される。

また、制御装置１３は、このリストを提示した表示画面９ａにおいて、設定時間（例えば、１０秒）内に、１または複数の楽曲の選択があった場合には、選択された楽曲を再生する。一方、楽曲の選択がない場合には、リストアップされた楽曲を、リスト順あるいはランダムに再生する。

上述の制御装置１３による処理の流れを、以下に、フローチャートに基づいて説明する。
まず、メディア駆動装置１を用いた楽曲の再生が指示された場合の、再生処理の流れを図８のフローチャートにより説明する。

この場合の再生処理は、メディア駆動装置１に、ＣＤなどの録音対象の楽曲データを有したメディアが挿入されるか、あるいは、ディスプレイ装置９の表示画面９ａにおいて、この再生を指示する操作が行われた場合に実行される。

上記のいずれかの操作により、ステップＳ１において、楽曲再生の判定が成されると、ステップＳ２に進んで、制御装置１３は、このメディアからＰＣＭデータのリッピングを開始するとともに、楽曲再生装置４に、楽曲データ（ＰＣＭデータ）を送り楽曲の再生を開始し、これらの動作を続行する。

次に、ステップＳ３に進んで、内部楽曲保存装置２への楽曲の保存（録音）ならびに楽曲分析装置７における楽曲分析の開始を指示する。

さらに、ステップＳ４に進んで、楽曲データが存在する場合、ステップＳ５の録音処理とステップＳ６の分析処理とを並列に実行する。すなわち、制御装置１３では、上記の再生と同時に、楽曲データの圧縮処理を行って内部楽曲保存装置２に逐次保存し（ステップＳ５）、かつ、これと並列に、楽曲分析装置７に対してＰＣＭデータを送付して分析処理を実行させる（ステップＳ６）。なお、圧縮処理および分析処理は、再生速度のＮ倍速で行うようにしてもよい。楽曲分析装置７における分析は、前述のように楽曲全体の音圧変動に比例した第１特徴量Ｓｘと、楽曲全体の音圧平均値に比例した第２特徴量Ｓｙとを取得する処理である。また、このステップＳ５およびステップＳ６の録音処理および分析処理は、この再生中の楽曲について、楽曲データの全てのデータについて処理を行うまで、すなわち、ステップＳ４においてＮＯと判定されるまで繰り返し実行される。

次に、１曲目の再生が終了してステップＳ４においてＮＯと判定されると、ステップＳ７に進んで内部楽曲保存装置２に楽曲データを図３に示すようにファイル化して保存する。さらに、ステップＳ８に進んで、楽曲分析装置７による分析を終了して第１特徴量Ｓｘおよび第２特徴量Ｓｙを確定し、楽曲検索用情報保存装置３に、これら特徴量Ｓｘ，Ｓｙを、楽曲に関連付けして保存する。以上の、ステップＳ６〜Ｓ８の処理が分析ステップに相当する。

ステップＳ９に進んで、メディア駆動装置１において引き続き再生可能な楽曲の存在（次曲）の有無を確認し、次曲が存在していれば、次曲について、ステップＳ２〜Ｓ８の処理を実行して、再生、録音、分析、分析結果の保存を実行する。以上の処理を、次曲の存在が無くなるまで繰り返す。

次に、内部楽曲保存装置２に保存された楽曲を再生するのにあたり、楽曲を検索する場合の処理の流れを図９のフローチャートにより説明する。

まず、ステップＳ１１では、ユーザが、検索を指示したか否か判断し、検索指示が成された場合には、ステップＳ１２に進み、検索が成されない場合には、ステップＳ１１の判断を繰り返す。なお、本実施例では、表示画面９ａの初期画面上に、図示を省略した再生指示ボタンや、検索指示ボタンなどが表示されており、この検索指示ボタンにユーザが指などで接触した場合に、検索指示と判断するものとする。

ステップＳ１２では、表示画面９ａに、設定された検索用画像Ｐ（以下、これを設定検索用画像Ｐと称する）を表示する表示処理を実行する。この設定検索用画像Ｐは、複数の設定検索用画像Ｐの中から、ユーザが選択した１つのもので、その設定は、後述する画像および対応関数設定処理において成される。

ステップＳ１３では、ユーザが、検索用画像Ｐを表示している表示画面９ａに接触したか否か判定し、接触した場合には、ステップＳ１４に進み、接触しない場合には、ステップＳ１３の判定を繰り返す。

ステップＳ１４では、表示画面９ａ上の接触点（ＸＸ１，ＹＹ１）を、図７に示す規定化座標上の座標（Ｘ１，Ｙ１）として算出する処理を行う。

次のステップＳ１５では、この規定化座標上の座標（Ｘ１，Ｙ１）から、設定検索用画像Ｐに対応して設定された設定対応関数（変換対応関数）に基づいて、第１特徴量Ｓｘおよび第２特徴量Ｓｙを算出する。以上の、ステップＳ１４とＳ１５が特徴量変換処理に相当する。

次のステップＳ１６では、内部楽曲保存装置２に保存された楽曲の中から、得られた両特徴量Ｓｘ，Ｓｙに一致あるいは近似した楽曲を、複数（本実施例では、１０曲）を選択し（選択処理）、さらに、特徴量Ｓｘ，Ｓｙが点Ｘ２，Ｙ２に近い順に並べたリストを作成するリスト作成処理を実行する。

続くステップＳ１７では、作成したリストをリスト情報保存装置に保存する。
さらに、次のステップＳ１８では、作成したリストを表示画面９ａに表示する。
ステップＳ１９では、前述のように再生指示の態様に応じた再生方法で再生を開始する。すなわち、表示画面９ａへの接触により特定の楽曲が選択された場合には、選択された楽曲の再生を開始し、選択されない場合には、リストアップされた全楽曲を、リスト順あるいはランダムに再生する。

次に、複数の検索用画像Ｐおよび対応関数の中から任意の画像および対応関数を選択する設定処理の流れを図１０のフローチャートに基づいて説明する。

まず、ステップＳ２１では、画像・関数選択装置１２の起動モードが設定されたか否かを判断する。なお、本実施例では、この起動モードの設定は、表示画面９ａ上の、初期画面上に表示されている図示を省略した設定ボタンの選択で行われるものとする。

次に、ステップＳ２２では、画像・関数保存装置１１に記憶された複数の検索用画像Ｐおよび対応関数を取得する。

次のステップＳ２３では、取得した全ての検索用画像Ｐを、表示画面９ａに縮小表示する、いわゆるサムネイル表示を行う。

次のステップＳ２４では、縮小表示された検索用画像Ｐのいずれかに接触する選択操作が行われたか否か判定し、選択操作が行われた場合には、ステップＳ２５に進み、選択操作が行われない場合には、ステップＳ２６に進む。

ステップＳ２５では、選択された検索用画像Ｐを、設定検索用画像Ｐとして読み込むとともに、この選択された検索用画像Ｐに対応して設定された変換対応関数を、設定対応関数として画像・関数選択装置１２に読み込んで保存する。

ステップＳ２６では、システム起動後の初回の設定操作であるか否か判定し、初回の場合には、ステップＳ２７に進んで、初期設定の検索用画像Ｐおよび対応関数を、設定検索用画像Ｐおよび設定対応関数として読み込んで保存する。なお、本実施例では、第１検索用画像Ｐ１およびこれに対応する第１変換対応関数（Ｓｘ＝Ｘ１、Ｓｙ＝Ｙ１）を、初期設定用の設定検索用画像Ｐおよび設定対応関数とする。

また、初回でない場合には、現在、画像・関数選択装置１２に読み込まれている設定検索用画像Ｐおよび設定対応関数を、保持する処理を実行する。

次に、上記実施例の作用を説明する。
（メディアに保存された楽曲の再生時）
ＣＤなどのメディアに保存された楽曲の再生時には、そのメディアをメディア駆動装置１に挿入すると、制御装置１３は、このメディアからＰＣＭデータのリッピングを開始し、楽曲再生装置４による再生が開始される（ステップＳ２）。

再生と並行して、内部楽曲保存装置２への楽曲の保存（録音）と、楽曲分析装置７における楽曲分析が行われる（ステップＳ３）。
この楽曲の分析では、楽曲全体の音圧変動に比例した第１特徴量Ｓｘと、楽曲全体の音圧平均値に比例した第２特徴量Ｓｙとが求められる。
これら特徴量Ｓｘ，Ｓｙは、楽曲検索用情報保存装置３に、楽曲に関連付けして保存される。

（検索時）
ユーザが検索を指示した際には、ディスプレイ装置９の表示画面９ａに画像・関数選択装置１２に保存された設定検索用画像Ｐが表示される。なお、ここでは、設定検索用画像Ｐとして、図４に示す初期設定用の第１検索用画像Ｐ１が、表示されているものとする。

ユーザは、例えば、「元気」な印象の曲を聴きたい場合には、第１検索用画像Ｐ１の左上の都会画像領域ＲＣ１に接触する。この場合、まず、規定化対応関数に基づいて、表示画面９ａの接触点（ＸＸ１，ＹＹ１）が、規定化座標ＫＫ上の点（Ｘ１，Ｙ１）に変換され、さらに、第１変換対応関数に基づいて、規定化座標ＫＫ上の点（Ｘ１，Ｙ１）が特徴量座標ＴＴ上の座標（Ｘ２，Ｙ２）に変換される。この座標（Ｘ２，Ｙ２）に一致あるいは近似する「元気」な印象を有する特徴量の複数（本実施例では１０曲）の楽曲が、リストアップされ、これがリスト情報保存装置６に保存されるとともに、表示画面９ａに一覧表示される。

ユーザは、この表示されたリストの任意の楽曲を聴きたい場合には、該当する楽曲の表示部分に接触する選択操作を行うと、選択された楽曲が再生される。また、この選択操作が行われない場合、リスト表示された全楽曲が、リスト順あるいはランダムに再生される。

同様にして、ユーザが、「静か」な印象の楽曲を聴きたい場合は、第１検索用画像Ｐ１の左下の森画像領域ＲＷ１に接触すれば、「静か」な印象の特徴量を有する楽曲がリストアップされる。また、「爽やか」な印象の楽曲を聴きたい場合は、第１検索用画像Ｐ１の右中の海画像領域ＲＳ１に接触すれば、「爽やか」な印象の特徴量を有する楽曲がリストアップされる。

さらに、本実施例では、第１検索用画像Ｐ１において、これらの画像領域ＲＣ１，ＲＷ１，ＲＳ１以外の部分に接触しても、希望する特徴量Ｓｘ，Ｓｙを有した楽曲を選択することができる。

例えば、ユーザが、第１検索用画像Ｐ１の左中、すなわち、都会画像領域ＲＣ１と森画像領域ＲＷ１との中間に接触した場合には、「元気」と「静か」の中間の特徴量の楽曲をリストアップすることができる。また、第１検索用画像Ｐ１の右上、すなわち、海画像領域ＲＳ１の上方の空が表示された部分に接触した場合には、「クール」で「力強い」楽曲をリストアップすることができる。また、ユーザが、第１検索用画像Ｐ１の右下、すなわち、海画像領域ＲＳ１の下方の波打ち際が表示された部分に接触した場合には、「クール」で「穏やか」な楽曲をリストアップすることができる。このように、本実施例では、検索用画像Ｐの上であれば、ユーザの接触位置に対応する特徴量を備えた楽曲をリストアップすることができる。

（検索用画像の変更時）
本実施例では、検索指示時に、表示画面９ａに表示される検索用画像Ｐは、任意に変更することができる。そこで、第１検索用画像Ｐ１から第２検索用画像Ｐ２に変更する場合を例にとって説明する。

この場合、ユーザは、表示画面９ａの指示画面を用いて、画像・関数選択装置１２を起動させる。この起動により、表示画面９ａには、全ての検索用画像Ｐが、縮小表示される。ユーザは、縮小表示された検索用画像Ｐの中から、好みのものに接触する選択操作を行う。ここで、第２検索用画像Ｐ２が選択された場合、画像・関数選択装置１２に保存された設定検索用画像Ｐが、第２検索用画像Ｐ２に書き換えられるとともに、設定対応関数も、第２変換対応関数（Ｓｘ＝１−Ｘ１、Ｓｙ＝Ｙ１）に書き換えられる。

なお、この場合、検索時には、図５に示す第２検索用画像Ｐ２が表示される。ユーザが「元気」な印象の特徴量を有した楽曲をリストアップしたい場合には、第１検索用画像Ｐ１の場合とは左右逆に、右上に配置されている都会画像領域ＲＣ２を選択すると、第２変換対応関数により、特徴量座標ＴＴ上では、左上が選択されたことに対応して、「元気」な特徴量を有した楽曲がリストアップされる。また、この第２検索用画像Ｐ２の場合も、各領域ＲＣ２，ＲＷ２，ＲＳ２以外の位置に接触した場合、その接触位置に対応する楽曲をリストアップすることができる。例えば、「クール」で「力強い」楽曲を選択したい場合には、第２検索用画像Ｐ２の左上に接触すればよい。

以上説明したように、本実施例では、表示画面９ａに検索用画像Ｐを表示し、この検索用画像Ｐ上の画像を基準として特徴量を認識できるため、例えば、特徴量座標ＴＴ上で選択するのと比較して、任意の特徴量の位置を認識し易く、希望する特徴量の楽曲をリストアップするのが容易となる。しかも、検索用画像Ｐ上の位置と、特徴量座標ＴＴ上との関係は、対応関数により設定することができるため、検索用画像Ｐ上の位置と特徴量Ｓｘ，Ｓｙとが常に１：１の対応関係にあるものと比較して、検索用画像Ｐの設定自由度が高くなる。よって、ユーザは、複数の検索用画像Ｐの中から、ユーザの嗜好に応じたものを任意に選択することが可能となり、汎用性、製品価値を向上できる。また、検索用画像Ｐごとに、各検索用画像Ｐと特徴量座標ＴＴとを対応させる対応関数が設定されているため、例えば、第１検索用画像Ｐ１と第２検索用画像Ｐ２とで、各画像領域ＲＣ１，ＲＣ２，ＲＷ１，ＲＷ２，ＲＳ１，ＲＳ２などの特徴となる領域の表示位置が異なっていても、同じ画像領域ＲＣ１，ＲＣ２，ＲＷ１，ＲＷ２，ＲＳ１，ＲＳ２に接触した場合には、同じ特徴量の楽曲を選択することができ、検索用画像Ｐと特徴量との関係を一定にして、使い勝手に優れる。

具体的には、ユーザは、「元気」な印象の特徴量を有する楽曲を検索したい場合には、都会画像領域ＲＣ１，ＲＣ２に接触し、「静か」な印象の特徴量を有する楽曲を検索したい場合には、森画像領域ＲＷ１，ＲＷ２に接触し、「爽やか」な印象の特徴量を有する楽曲を検索したい場合には、海画像領域ＲＳ１，ＲＳ２に接触すればよいようにしたため、検索が容易となる。

さらに、本実施例では、検索用画像Ｐに接触した場合、複数の楽曲がリストアップされて一覧表示するようにしたため、単数の楽曲が表示されるものよりもユーザの選択肢が増え、使い勝手に優れている。しかも、リストアップされた楽曲について、任意のものを選択して、選択的に再生することもできるし、全楽曲をリスト順あるいはランダム再生するようにしたため、ユーザの選択肢が多く、使い勝手に優れている。

また、本実施例では、特徴量として楽曲の音圧の変動に比例した第１特徴量と、楽曲の音圧の平均値に比例した第２特徴量と、の二種類の特徴量を求めるようにしたため、一種類の特徴量のみを用いるものと比較して、楽曲の音楽的な特徴の分析を、より正確に行うことができる。また、対応関数は、２次元の表示画面に表された検索用画像上の点を、２つの特徴量で表される２軸の特徴量座標ＴＴ上の点に変換すればよいため、変換が容易であり、少ない処理容量での処理が可能である。
しかも、楽曲の持つ「力強さ」あるいは「激しさ」の程度を表す音圧変動に比例した第１特徴量と、楽曲の持つ「ビートの強さ」や「メリハリの強さ」の程度を表す音圧平均値に比例した第２特徴量と、を用いて楽曲の分析を行うようにしたため、楽曲の印象に応じた分析が可能になり、検索時に、ユーザの要求に応じた選択が可能となる。

例えば、特徴量としてテンポを用いた場合、このテンポは、あらゆるジャンルの音楽で一致する可能性が高く、テンポだけでは、ユーザの要求に応じた楽曲を選択するのが難しい。それに対して、本発明では、楽曲の印象を表すことのできる第１特徴量および第２特徴量に基づいて分析を行うため、ユーザがそのとき聴きたい印象の楽曲が可能となる。

以上の構成によって、楽曲の検索時には、まず、ディスプレイ装置の表示画面に画像・関数保存装置に保存された検索用画像を表示する表示処理を行うことができる。その後、ユーザが、表示画面の検索用画像上の任意の位置に接触し、ディスプレイ装置のタッチパネル機能により、ユーザ接触位置が入力されると、制御装置は、画像・関数保存装置にあらかじめ保存されている対応関数に基づいて、この検索用画像上の接触位置の座標を特徴量に変換する特徴量変換処理を実行することができる。

さらに、制御装置は、得られた特徴量に基づいて楽曲保存装置に保存された楽曲を選択する選択処理を実行する。なお、この場合、選択される楽曲は、単数・複数いずれの場合もあり得る。

すなわち、検索用画像上の任意の位置に接触すると、この位置に対応する特徴量を有した楽曲が選択される。このように、楽曲の特徴量を、検索用画像上の画像を基準として認識できるため、特徴量を表す座標上で認識するのと比較して、特徴量の認識が容易となり、希望する特徴量の楽曲の選択を、短時間に適切に行うことが可能となる。しかも、検索用画像上の位置と特徴量との関係は、対応関数により任意に設定することができるため、検索用画像上の位置と特徴量とが常に１：１の対応関係にあるものと比較して、検索用画像の設定自由度が高くなる。よって、検索用画像として、ユーザの嗜好に応じたものを任意に選択することが可能となり、汎用性、製品価値を向上することができる。

また、画像・関数選択装置は、設定指示が行われると、画像・関数保存装置に保存された複数の検索用画像を表示画面上に表示し、ユーザが、その中の任意の検索用画像を選択するのに伴い、その選択用画像を、表示処理時に表示する設定検索用画像として保存するとともに、これに対応する対応関数を設定対応関数として保存する設定処理を実行することができる。

検索指示時には、制御装置は、表示処理では、画像・関数選択装置に保存された設定検索用画像を表示し、かつ、特徴量変換処理では、設定対応関数を用いて特徴量を求めることができる。したがって、検索用画像として複数の検索用画像から任意の検索用画像を選択することができ、検索用画像にユーザの嗜好を反映させることができ、汎用性および製品価値を高めることができる。

また、検索用画像が異なれば、画像における基準となる描画の位置が異なることになるが、検索用画像ごとに対応関数が設定されているため、各検索用画像の接触位置に対応した特徴量を求めることができる。例えば、検索用画像により、特徴となる画像の表示位置が異なっていても、同じ画像に接触した場合には、同じ特徴量を得ることができるようにしたり、あるいはこれとは逆に、検索用画像によって、検索用画像中の画像に対応する特徴量を異ならせたりすることができ、検索用画像と特徴量との関係を、ユーザの印象に近づけることが可能となる。

また、特徴量として第１特徴量と第２特徴量との二種類の特徴量を求めるようにしたため、一種類の特徴量のみを用いるものと比較して、楽曲の音楽的な特徴の分析を、より正確に行うことができる。

また、対応関数は、２次元の表示画面上の接触点を、２つの特徴量で表される特徴量上の座標に変換すればよいため、変換が容易である。

楽曲分析装置は、第１特徴量により、楽曲の持つ「力強さ」あるいは「激しさ」の程度を判定し、第２特徴量により、楽曲の持つ「ビートの強さ」や「メリハリの強さ」の程度を判定して、これに基づいて複数に分類することができる。よって、検索時に、ユーザの要求に応じた選択を可能とする。例えば、特徴量としてテンポを用いた場合、このテンポは、あらゆるジャンルの音楽で一致する可能性が高く、テンポだけでは、ユーザの要求に応じた楽曲を選択するのが難しい。それに対して、本発明では、楽曲の音楽的特徴を示す第１特徴量および第２特徴量に基づいて分類を行うため、ユーザは、そのとき聴きたいグループの選択を、より正確に行うことが可能となる。

上記の如く、１つの検索用画像に、異なる種類の画像が表示された画像領域が複数設定されている。したがって、ユーザは、検索用画像が表示された際に、これら複数の画像領域を基準として検索用画像上の任意の位置に接触することができ、検索用画像が一種類の画像で構成されているのと比較して、検索用画像上における特徴量の認識がより容易となり、楽曲の検索が、いっそう容易となる。

ユーザは、「元気」な印象の特徴量を有する楽曲を検索したい場合には、検索用画像上の都会を示す画像領域に接触し、「静か」な印象の特徴量を有する楽曲を検索したい場合には、検索用画像上の森を示す画像領域に接触し、「爽やか」な印象の特徴量を有する楽曲を検索したい場合には、検索用画像上の海を示す画像領域に接触すればよい。したがって、ユーザは、検索時には、検索したい楽曲の特徴量に応じた画像領域を接触すればよく、さらに検索が容易となる。

制御装置は、表示処理において、複数の楽曲を選択して一覧表示し、その後、ユーザが、一覧表示の楽曲に接触する選択操作が行われると、選択された楽曲の再生を行う再生処理を実行することができる。

このように、検索用画像の接触位置に対応した特徴量を備えた複数の楽曲が一覧表示されるため、単数の楽曲が表示されるものよりもユーザの選択肢が増え、使い勝手に優れ、しかも、選択された楽曲が再生されるため、ユーザの希望に応じた再生が可能になる。

更に、楽曲の音楽的な特徴量を求め、得られた特徴量を楽曲に関連付けて保存し（分析ステップ）、検索指示時には、タッチパネル機能を備えたディスプレイ装置の表示画面に、検索用画像を表示させ（表示ステップ）、その後、ユーザが、検索用画像が表示された表示画面上の任意の位置に接触すると、あらかじめ保存された対応関数を用いて、表示画面上の接触位置を特徴量に変換し（特徴量変換ステップ）、この特徴量変換処理で得られた特徴量に基づいて、楽曲保存装置に保存された楽曲を選択し、この選択した楽曲を表示画面に表示する（表示ステップ）。

このように、楽曲の特徴量を、検索用画像上の画像を基準として認識できるため、特徴量を直接表す座標上で認識するのと比較して、任意の特徴量の位置を認識し易く、希望する特徴量の楽曲を選択するのが容易となる。しかも、検索用画像上の位置と、特徴量との関係は、対応関数により設定することができるため、対応関数により、検索用画像上の位置と特徴量との関係を任意に設定でき、検索用画像上の位置と特徴量とが常に１：１の対応関係にあるものと比較して、検索用画像の設定自由度が高くなる。よって、検索用画像として、ユーザの嗜好に応じたものを任意に選択することが可能となり、汎用性、製品価値を向上できる。

以上、図面を参照して、本発明の一実施例を詳述してきたが、具体的な構成は、この一実施例に限らず、本発明の要旨を逸脱しない程度の設計的変更は、本発明に含まれる。

すなわち、上記実施例では、オーディオ装置として、車載のオーディオ装置に適用した例を示したが、これに限定されない。例えば、オーディオ装置に適用する場合でも、車載のものに限らず、携帯式や室内据え置き式のオーディオ装置にも適用することができる。さらに、オーディオ装置に限らず、パーソナルコンピュータなどにおいて、単に分析機能として与えてもよいし、あるいは、再生機能と一緒に搭載してもよい。

また、上記実施例では、内部楽曲保存装置２としてハードディスクドライブを用いた例を示したが、これ以外の記憶媒体を用いることもできる。

また、上記実施例では、対応関数として、数式を用いた例を示したが、行列式を用いることもできる。

例えば、規格化座標ＫＫ２と特徴量座標ＴＴ２とが、図１１に示すような対応関係にある場合を例に挙げる。

すなわち、この図１１に示した例では、規格化座標ＫＫ２の位置と特徴量座標ＴＴ２との関係は、以下のようになっている。
（規格化座標ＫＫ２の位置）→（特徴量座標ＴＴ２の位置）
（１，１）→（０，０）
（１，０）→（０，１）
（０，１）→（１，０）
（０，０）→（１，１）

このような変換を行う対応関数は、ルックアップテーブルＬＵＴの変換関数として与えることができ、下記の数式（３）に示す行列式で表すことができる。

また、上記実施例では、検索用画像Ｐとして、第１検索用画像Ｐ１と第２検索用画像Ｐ２とを示したが、この検索用画像は、これらの画像Ｐ１、Ｐ２に限定されるものではない。
特に、これらの画像Ｐ１，Ｐ２は、画像領域として、都会画像領域ＲＣ１，ＲＣ２、森画像領域ＲＷ１，ＲＷ２、海画像領域ＲＳ１，ＲＳ２を備えているが、この画像領域は、楽曲の印象に関連付けられるものであれば、これらに限定されるものではない。例えば、画像領域として、これら以外の風景（「ジャングル」「砂漠」「氷原」「雪山」）を用いてもよいし、あるいは、風景以外の画像、例えば、特徴量に対応する楽曲を演奏するミュージシャンを連想させる写真やイラストなどを用いてもよい。

また、上記実施例では、対応関数の数式として、一次式のものを示したが、多次式を用いるようにしてもよい。

また、上記実施例では、特徴量として、曲全体の音圧変動の大きさに比例した第１特徴量Ｓｘと、曲全体の音圧平均値に比例した、第２特徴量Ｓｙと、を用いた例を示したが、この特徴量としては、これ以外の分析可能な値を用いてもよい。
一例としては、楽曲全体に亘って平均化された振幅データの変動具合を統計量である分散（標準偏差）によって表現した曲全体における振幅分布状況を表す統計量で定義される抑揚度と、楽曲の１曲の全体における周波数分布の比率で定義される周波数比と、を挙げることができる。音楽のジャンルにより、この抑揚度と周波数比との特性が異なる傾向にあり、抑揚度と周波数比を用いた場合、ある程度ジャンルを絞って分類することが可能になる。
また、上記の抑揚度と周波数比以外にも、楽曲の特徴量を、テンポ、ビートなどの直接的音楽特徴量を用いて、テンポの速い曲とテンポの遅い曲、ビートが激しい曲、ビートが弱い曲などを基準に分類することもできる。さらに、上記実施例では、特徴量として、第１特徴量と第２特徴量とを用いたが、このように２つの特徴量を用いることに限定されるものではなく、例えば、上述した特徴量のいずれか１つのみを用いてもよい。この場合、表示画面９ａ上の位置ならびに特徴量座標ＴＴ上の位置は、縦軸と横軸の一方のみの値に基づいて処理することになる。

また、上記実施例では、ディスプレイ装置９が、楽曲の再生指示および検索指示の操作を実行可能な指示操作装置を兼ねるようにしたものを示したが、これらの指示は、ディスプレイ装置９のタッチパネル機能を使用せずに、ディスプレイ装置９とは別個に設けられたスイッチを用いるようにしてもよい。

Claims (7)

1. 複数の楽曲を保存する楽曲保存装置と、
   これら楽曲を、あらかじめ設定された楽曲の特徴を表す特徴量に基づいて分析する楽曲分析装置と、
   この楽曲分析装置の分析結果を、前記楽曲と関連付けて保存する楽曲検索用情報保存装置と、
   前記楽曲保存装置に保存された楽曲の再生指示および検索指示の操作を実行可能な指示操作装置と、
   表示画面を備えるとともに、この表示画面からの入力が可能なタッチパネル機能を備えたディスプレイ装置と、
   検索時に表示する検索用画像と、前記表示画面に表示された検索用画像上のユーザ接触位置を前記特徴量に対応させる対応関数と、を保存した画像・関数保存装置と、
   検索指示時に、前記表示画面に前記検索用画像を表示させる表示処理、ユーザが接触した検索用画像上の位置に応じ、前記対応関数を用いて前記ユーザ接触位置に対応した特徴量を求める特徴量変換処理、およびこの特徴量変換処理で得られた特徴量に基づいて、前記楽曲保存装置に保存された楽曲を選択する選択処理を実行する制御装置と、を備え、
   前記検索用画像が、１つの画像上に、異なる種類の画像が表示された領域である複数の画像領域を備え、
   前記対応関数は、前記画像領域が有する画像上の印象と楽曲が有する特徴量の印象とを関連付けるよう設定されているオーディオ装置。
2. 前記画像・関数保存装置は、複数の検索用画像と、複数の検索用画像にそれぞれ対応した複数の対応関数と、が保存され、
   設定指示に応じ、前記複数の検索用画像を前記表示画面に表示し、その中からユーザが選択した任意の検索用画像を、前記表示処理時に表示する設定検索用画像として保存するとともに、前記設定検索用画像に対応する対応関数を設定対応関数として保存する設定処理を実行する画像・関数選択装置を備え、
   前記制御装置は、前記表示処理では、前記画像・関数選択装置に保存された前記設定検索用画像を表示し、かつ、前記特徴量変換処理では、前記設定対応関数を用いて特徴量を求める請求項１に記載のオーディオ装置。
3. 前記楽曲分析装置は、分析時に、楽曲が有する第１特徴量と第２特徴量との二種類の特徴量を求め、
   前記対応関数は、前記表示画面の接触点を、前記二種類の特徴量を縦軸と横軸とする座標上の点に変換する関数である請求項１に記載のオーディオ装置。
4. 前記楽曲分析装置は、前記二種類の特徴量として、楽曲の音圧の変動に比例する第１特徴量と、楽曲中の音圧の平均値に比例する第２特徴量と、を求める請求項３に記載のオーディオ装置。
5. 前記複数の画像領域として、都会を示す画像領域と、森を示す画像領域と、海を示す画像領域と、が含まれ、
   前記対応関数は、前記都会を示す画像領域に、「元気」な印象の特徴量を対応させ、前記森を示す画像領域に、「静か」な印象の特徴量を対応させ、前記海を示す画像領域に、「爽やか」な印象の特徴量を対応させるようにした請求項１に記載のオーディオ装置。
6. 前記制御装置は、前記選択処理において、複数の楽曲を選択するとともに、前記選択処理の実行後、選択した楽曲を一覧表示する一覧表示処理を実行し、さらに、一覧表示した楽曲の再生を行う再生処理を実行する請求項１に記載のオーディオ装置。
7. あらかじめ設定された楽曲の特徴を表す特徴量に基づいて分析する楽曲分析装置により楽曲の音楽的な特徴量を求め、得られた特徴量を楽曲に関連付けて楽曲検索用情報保存装置に保存する分析ステップと、
   検索指示の操作を実行可能な指示操作装置による検索指示時に、タッチパネル機能を備えたディスプレイ装置の表示画面に、１つの画像上に異なる種類の画像が表示された領域である複数の画像領域を備えた検索用画像を表示させる表示ステップと、
   前記検索用画像が表示された前記表示画面にユーザが接触したときに、あらかじめ画像・関数保存装置に保存された前記画像領域が有する画像上の印象と楽曲が有する特徴量の印象とを関連付ける対応関数を用いて、前記表示画面上の接触位置を特徴量に変換する特徴量変換ステップと、
   この特徴量変換処理で得られた特徴量に基づいて、楽曲保存装置に保存された楽曲を選択する選択ステップと、を備えている楽曲検索方法。

Images