JP4459269B2 - 曲検索装置、曲検索方法及び曲検索用プログラム並びに情報記録媒体 - Google Patents

曲検索装置、曲検索方法及び曲検索用プログラム並びに情報記録媒体 Download PDF

Info

Publication number
JP4459269B2
JP4459269B2 JP2007512854A JP2007512854A JP4459269B2 JP 4459269 B2 JP4459269 B2 JP 4459269B2 JP 2007512854 A JP2007512854 A JP 2007512854A JP 2007512854 A JP2007512854 A JP 2007512854A JP 4459269 B2 JP4459269 B2 JP 4459269B2
Authority
JP
Japan
Prior art keywords
song
feature information
search
music
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007512854A
Other languages
English (en)
Other versions
JPWO2006106825A1 (ja
Inventor
泰輝 児玉
康悟 鈴木
岳彦 塩田
智 小田川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pioneer Corp
Original Assignee
Pioneer Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Corp filed Critical Pioneer Corp
Publication of JPWO2006106825A1 publication Critical patent/JPWO2006106825A1/ja
Application granted granted Critical
Publication of JP4459269B2 publication Critical patent/JP4459269B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63Querying
    • G06F16/638Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/685Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using automatically derived transcript of audio data, e.g. lyrics
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)

Description

本願は、曲検索装置、曲検索方法及び曲検索用プログラム、情報記録媒体の技術分野に属し、より詳細には、夫々が歌(歌唱)と演奏(前奏、伴奏、間奏及び後奏を含む。以下同じ。)とからなる複数の曲の中から一又は複数の当該曲を検索する曲検索装置及び曲検索方法、当該曲検索に用いられる曲検索用プログラム並びに当該曲検索用プログラムが記録された情報記録媒体の技術分野に属する。
近年、例えば車載用のナビゲーション装置や家庭用のサーバ装置等、多数の曲を再生するためのデジタルデータを蓄積し、この中から好きな曲を選んで再生することが行われつつある。
このとき、従来においては、第一の曲検索方法として、再生したい曲に含まれている歌を構成する構成語(フレーズ)の一部をその文言のまま入力し、その構成語を含む歌を含む曲を検索して再生することが一般に行われていた。
また、使用者の主観を反映した第二の曲検索方法として、下記特許文献1に記載されている如く、各検索キーワード(例えば、「陽気な曲」、「スカッとする曲」)と各特徴ワード(例えば、「明るさ」、「元気」)との相関値を含むと共に更新可能な感性テーブルを用意すると共に、各特徴ワードに係る特徴の有無を“1”と“0”とで示す特徴ワードリストを用意し、使用者が所望の検索キーワードを入力すると、これに合致する複数の曲が、感性テーブル及び特徴ワードリストを基準に検索する検索方法があった。
一方、曲や一般の文書等をファイルとして管理するファイル管理システムなどにおける、ソートしたファイル群の表示方法として、それぞれのファイルに複数種類の付加情報を付けて記憶しておき、指示に応じて、一つの付加情報について上記ファイルの順番を決め(ソートし)、上記付加情報の付けられたファイルに対応したファイルオブジェクトのX座標を一つの付加情報(例えば登録日時)の順番・値に対応付け、Y座標を他の付加情報(例えば検索キーとの合致度)の順番・値に対応付け、ファイルオブジェクトの大きさを更に他の付加情報(例えば参照頻度)の値に対応付けて一つのXY座標上に複数のファイルオブジェクトを表示する下記特許文献2に示すような表示方法があった。
特開2003−132085 (第1図乃至第3図) 特開2000−122770 (第2図)
しかしながら、上述した従来の各曲検索方法及び検索結果の表示方法では、あくまで検索されたファイル自体がその検索に用いられた検索キーワードとどの程度類似しているかを表示するのみであり、その検索キーワード自体の特徴と、その検索キーワードにより検索された曲等のファイルの特徴と、を比較するという概念は、従来勘案されたことはなかった。
そこで、本願は上記の点に鑑みて為されたもので、その課題の一例は、使用者が入力した検索キーワード自体の特徴を視覚的に表示すると共に、その検索キーワードを用いて検索されたファイルの特徴をも視覚的に表示することができ、これにより自己が入力した検索キーワードの特徴と抽出されたファイルの特徴との類似度をイメージとして把握することができ、使用者は好みに応じて検索条件を変化させることが可能な曲検索装置及び曲検索方法、当該曲検索に用いられる曲検索用プログラム並びに当該曲検索用プログラムが記録された情報記録媒体を提供することにある。
上記の課題を解決するために、請求項1に記載の発明は、複数の曲の中から一又は複数の当該曲を検索する曲検索装置において、前記曲に含まれる歌詞の特徴を示す曲特徴情報を各前記曲毎に識別可能に蓄積する曲特徴情報データベース等の曲特徴情報蓄積手段と、検索されるべき前記曲を示す検索語であって主観を示す言葉よりなる検索語を入力するために用いられる入力部等の検索語入力手段と、前記入力される検索語により示される主観に相応しいとして当該検索語を用いて検索されるべきいずれかの前記曲に含まれる歌詞の特徴を少なくとも示す検索曲特徴情報を、各前記検索語毎に識別可能に蓄積する検索語特徴情報データベース等の検索曲特徴情報蓄積手段と、前記入力された検索語に対応する前記検索曲特徴情報である入力検索曲特徴情報との間で類似性が比較される比較対象情報に、前記蓄積されている曲特徴情報を変換するための変換テーブルを用いて、当該曲特徴情報を当該比較対象情報に変換する検索処理部等の変換手段と、前記入力検索曲特徴情報と、前記変換テーブルを用いて前記曲特徴情報から変換された前記比較対象情報と、の類似性を比較する検索処理部等の比較手段と、前記比較手段による比較結果に基づいて、前記入力検索曲特徴情報に最も類似している前記比較対象情報の変換元である前記曲特徴情報に対応する前記曲を、前記入力された検索語に対応する前記曲として抽出する検索処理部等の抽出手段と、前記変換テーブルを変更する旨の指示を入力するために用いられる入力部等の指示入力手段と、前記入力された指示に基づき前記変換テーブルを変更する検索処理部等の変更手段と、を備え、前記変換手段は、前記変換テーブルが変更されたとき、当該変更後の変換テーブルを用いて前記曲特徴情報前記比較対象情報変換するように構成される。
上記の課題を解決するために、曲に含まれる歌詞の特徴を示す曲特徴情報を各前記曲毎に識別可能に蓄積する曲特徴情報データベース等の曲特徴情報蓄積手段と、検索されるべき前記曲を示し且つ主観を示す言葉よりなる検索語により示される当該主観に相応しいとして当該検索語を用いて検索されるべきいずれかの前記曲に含まれる歌詞の特徴を少なくとも示す検索曲特徴情報を、各前記検索語毎に識別可能に蓄積する検索語特徴情報データベース等の検索曲特徴情報蓄積手段と、ディスプレイ等の表示手段と、を備え、複数の当該曲の中から一又は複数の当該曲を検索する曲検索装置において実行される曲検索方法であって、前記検索語を入力する検索語入力工程と、前記入力された検索語に対応する前記検索曲特徴情報である入力検索曲特徴情報との間で類似性が比較される比較対象情報に、前記蓄積されている曲特徴情報を変換するための変換テーブルを用いて、当該曲特徴情報を当該比較対象情報に変換する変換工程と、前記入力検索曲特徴情報と、前記変換テーブルを用いて前記曲特徴情報から変換された前記比較対象情報と、の類似性を比較する比較工程と、前記比較工程における比較結果に基づいて、前記入力検索曲特徴情報に最も類似している前記比較対象情報の変換元である前記曲特徴情報に対応する前記曲を、前記入力された検索語に対応する前記曲として抽出する抽出工程と、前記変換テーブルを変更する旨の指示を入力する指示入力工程と、前記入力された指示に基づき前記変換テーブルを変更する変更工程と、を含み、前記変換工程においては、前記変換テーブルが変更されたとき、当該変更後の変換テーブルを用いて前記曲特徴情報前記比較対象情報変換するように構成される。
上記の課題を解決するために、請求項6に記載の発明は、コンピュータを、請求項1から4のいずれか一項に記載の曲検索装置として機能させる。
上記の課題を解決するために、請求項7に記載の発明は、請求項6に記載の曲検索用プログラムが前記コンピュータにより読み出し可能に記録されている。
実施形態に係る曲検索装置の概要構成を示すブロック図である。 実施形態に係る曲検索装置内に蓄積されている情報のデータ構造を例示する図であり(a)は曲特徴情報のデータ構造を例示する図であり、(b)は検索語特徴情報のデータ構造を例示する図である。 実施形態に係る曲検索処理を示すフローチャートである。 実施形態に係る変換テーブルを例示する図である。 検索語特徴情報図形及び曲特徴情報図形の表示例を示す図である。 実施形態に係る履歴情報のデータ構造を例示する図であり、(a)は合致履歴情報のデータ構造を例示する図であり、(b)は非合致履歴情報のデータ構造を例示する図である。 変換テーブルの更新処理の細部を示すフローチャートである。 変換テーブルの更新処理の具体例を示す図(I)である。 変換テーブルの更新処理の具体例を示す図(II)である。 検索語特徴情報図形及び曲特徴情報図形の他の表示例を示す図である。
符号の説明
1 曲入力部
2 曲データベース
3 曲特徴情報データベース
4 検索語特徴情報データベース
5 音特徴情報抽出部
6 構成語情報抽出部
7 曲特徴情報生成部
8 検索処理部
9 入力部
10 曲出力部
11 履歴記憶部
12 ディスプレイ
20 曲特徴情報
30 検索語特徴情報
40 歌特徴情報
50、70 検索語特徴情報表示図形
51、52、53、54、55、61、62、63、64、65、71、72、73、74、75、81、82、83、84、85 特徴図形
56、66 調図形
57、67 矢印
60、80 曲特徴情報表示図形
S 曲検索装置
T 変換テーブル
TT 相関値
次に、本願に対応する最良の実施形態について、図面に基づいて説明する。なお、以下に説明する実施形態は、複数の曲を蓄積し、使用者の要求に応じていずれかの曲を検索して出力(再生)する曲検索装置に対して本願を適用した場合の実施の形態である。
(I)全体構成及び全体動作
始めに、実施形態に係る曲検索装置の全体構成及び全体動作について、図1及び図2を用いて説明する。なお、図1は当該曲検索装置の概要構成を示すブロック図であり、図2は当該曲検索装置内に蓄積されている情報のデータ構造を例示する図である。
図1に示すように、実施形態に係る曲検索装置Sは、曲入力部1と、曲データベース2と、曲特徴情報蓄積手段としての曲特徴情報データベース3と、検索曲特徴情報蓄積手段としての検索語特徴情報データベース4と、音特徴情報抽出部5と、構成語情報抽出部6と、曲特徴情報生成部7と、変換手段、変更手段、比較手段及び抽出手段としての検索処理部8と、検索語入力手段及び指示入力手段としての入力部9と、曲出力部10と、履歴記憶部11と、表示手段としてのディスプレイ12と、により構成されている。
このとき、曲データベース2には、後述する曲検索処理により検索される検索対象としての複数の曲が蓄積記憶されている。そして、夫々の曲には、少なくとも歌(歌唱)と、前奏、伴奏、間奏及び後奏を含む演奏と、が含まれている。
ここで、曲データベース2に蓄積されるべき曲の当該曲データベース2への入力は、当該曲に対応する曲情報Ssgが外部から曲入力部1に入力されると、当該曲入力部1において曲情報Ssgに対して曲データベース2に蓄積するためのフォーマット変換処理等が施され、当該処理後の曲情報Ssgが曲データベース2に入力されることにより実行される。
次に、曲特徴情報データベース3には、曲データベース2内に蓄積されている全ての曲に対応する曲特徴情報が、各曲毎に識別可能に蓄積されている。
ここで、当該曲特徴情報は、曲データベース2内に蓄積されている各曲毎に夫々対応して曲特徴情報データベース3内に蓄積されているものであり、当該各曲内の歌及び演奏の夫々を特徴付ける情報である。
次に、当該曲特徴情報について具体的に図1及び図2(a)を用いて説明する。
上記曲特徴情報は、新たな曲が曲情報Ssgとして曲データベース2に入力されると、当該曲に対応するものとして新たに生成され、当該生成された曲特徴情報が曲特徴情報データベース3に新たに登録・蓄積される。
ここで、新たな曲が曲データベース2に蓄積されると、図1に示すように、当該曲に対応する曲情報Ssgが曲データベース2から読み出され、夫々音特徴情報抽出部5及び構成語特徴情報抽出部6に出力される。
そして、音特徴情報抽出部5は、曲情報Ssgからその曲の音響的特徴を示す複数のパラメータを抽出し、音特徴情報Savとして曲特徴情報生成部7に出力する。
このとき、音特徴情報Savに含まれる上記複数のパラメータには、図2(a)右に示すように、例えばその曲の速さ(BPM(Beat Per Minutes))、その曲の最大出力レベル(最大音量)、その曲の平均出力レベル(平均音量)、その曲に含まれるコード、その曲のビートレベル(すなわち、その曲のビート成分の信号レベル(大きさ))、その曲の調(ハ長調又はイ短調等の調)などがある。
これと並行して、構成語情報抽出部6は、曲情報Ssgからその曲に含まれている歌(歌詞)を抽出すると共に、当該抽出された歌の中に予め設定されている単語(フレーズ。以下、単に構成語と称する)が含まれているか否かを検索し、当該検索結果(その歌に含まれていた構成語であるか否か)を各構成語毎に示す構成語情報Swdを生成し、曲特徴情報生成部7に出力する。
このとき、当該構成語情報Swdは、予め設定されている構成語である「アイ」、「ウミ」、「オモイ」又は「キボウ」等の夫々が、ある曲を構成する歌に含まれているか否かをその曲毎に示すものであり、その構成語がその歌に含まれていればその構成語についての構成語特徴情報Swdの値は「1」となり、一方その構成語がその歌に含まれていなければその構成語についての構成語特徴情報Swdの値は「0」となる。より具体的には、例えば図2(a)左に示すように、曲データベース2内の曲番号「0」の曲においては「アイ」なる構成語はその曲の歌に含まれているが、「ウミ」、「オモイ」及び「キボウ」なる構成語はその曲の歌に含まれていないことになる。また同様に、曲データベース2内の曲番号「1」の曲においては「アイ」、「ウミ」及び「キボウ」なる構成語はその曲の歌に含まれているが、「オモイ」なる構成語はその曲の歌に含まれていないことになる。
これらにより、曲特徴情報生成部7は、音特徴情報Savと構成語特徴情報Swdとを対応する曲毎に組み合わせ、例えば図2(a)に示す如き各曲に対応する複数の曲特徴情報20により構成される曲特徴情報Sspを曲特徴情報データベース3に出力し、当該曲特徴情報データベース3内に登録・蓄積させる。このとき、図2(a)に示すように、一の曲特徴情報20は、上記音特徴情報抽出部5により抽出されたその曲の音響的特徴と、上記構成語情報抽出部6により抽出されたその曲内の歌における構成語情報と、が各曲毎に対となって構成されている。
更に、検索語特徴情報データベース4は、後述する曲検索処理において使用者から入力される検索キーワード(すなわち、その使用者がその時に聴取したいと感じている曲を主観的に特徴付ける検索キーワード。以下、単に検索語と称する)として予め設定されている検索語の全てに対応する検索語特徴情報が、各検索語毎に識別可能に蓄積されている。
ここで、当該検索語特徴情報は、曲データベース2内に蓄積されている曲を使用者が検索する際に選択して入力すべきものとして当該使用者に提示される各検索語の夫々を特徴付ける情報(検索語自体ではない)である。
次に、当該検索語特徴情報について具体的に図2(b)を用いて説明する。
一の当該検索語特徴情報30は、図2(b)に例示するように、各検索語特徴情報30を他の検索特徴情報30から識別するための検索語特徴情報識別情報(図2(b)中、「検索ID」と示す)と、その検索語特徴情報30が対応している検索語自体と、当該対応している検索語を用いて曲データベース2内から検索・抽出されるべき(換言すれば、検索・抽出されることが期待される)曲に含まれる歌を特徴付ける歌特徴情報と、その検索・抽出されるべき(検索・抽出されることが期待される)曲の音響的特徴を示す複数のパラメータを含む音特徴情報と、により構成されている。
ここで、検索語特徴情報30を構成する音特徴情報は、具体的には上記音特徴情報Savに含まれる各パラメータと同様の音響的なパラメータを含んでいる。
また、同様に検索語特徴情報30を構成する歌特徴情報は、その検索語特徴情報30を用いて検索・抽出されるべき曲に含まれている歌を特徴付ける主観的な複数の歌特徴情報の夫々を、その検索語特徴情報30が対応している検索語を用いて検索・抽出されるべき曲に含まれる歌個々の具体的な内容に応じて重み付けしたものの集合である。
より具体的に図2(b)に示す例では、検索語「心あたたまる」に対応している検索語特徴情報30においては、「心あたたまる」という名称の歌特徴情報が他の歌特徴情報に対して「0.9」なる重み付けで含まれており、「勇気付けられる」という名称の歌特徴情報が他の歌特徴情報に対して「0.3」なる重み付けで含まれており、「悲しい・さみしい」という名称の歌特徴情報が他の歌特徴情報に対して「0.1」なる重み付けで含まれている一方、「明るい」という名称の歌特徴情報の当該重み付けは「0」とされている。これに対し、検索語「明るい」に対応している検索語特徴情報30においては、歌特徴情報「明るい」が他の歌特徴情報に対して「0.7」なる重み付けで含まれており、歌特徴情報「心あたたまる」が他の歌特徴情報に対して「0.2」なる重み付けで含まれており、歌特徴情報「勇気付けられる」が他の歌特徴情報に対して「0.5」なる重み付けで含まれている一方、歌特徴情報「悲しい・さみしい」の当該重み付けは「0」とされている。更に、検索語「悲しい・さみしい」に対応している検索語特徴情報30においては、歌特徴情報「心あたたまる」が他の歌特徴情報に対して「0.3」なる重み付けで含まれており、歌特徴情報「悲しい・さみしい」が他の歌特徴情報に対して「0.8」なる重み付けで含まれている一方、歌特徴情報「明るい」及び歌特徴情報「勇気付けられる」の当該重み付けは夫々「0」とされている。更にまた、他の検索語「勇気付けられる」又は「落ちつく」等に夫々対応している検索語特徴情報30おいても、各歌特徴情報「心あたたまる」、「明るい」、「悲しい・さみしい」並びに「勇気付けられる」の夫々が予め設定された重み付けで含まれている。
なお、各歌特徴情報により示される主観的概念と同一の主観的概念がいずれかの検索語により示されている(検索語そのものとなっている)のは、後述するように各使用者毎にその好みに応じた曲の検索結果を得るためである。また、各歌特徴情報自体は、曲データベース2に蓄積されている曲(より具体的にはその曲に含まれる歌)の特徴を示すものであって検索語自体とは別個のものであるが、その詳細については後述する。
そして、曲特徴情報データベース3及び検索語特徴情報データベース4に夫々蓄積されている情報を用いて使用者が主観的に所望する曲を検索する場合には、先ず、入力部9においていずれかの上記検索語が使用者により入力されると、当該入力された検索語を示す入力情報Sinが検索処理部8に出力される。
これにより、検索処理部8は、入力情報Sinに基づき、入力された検索語に対応している一の検索語特徴情報30を検索語特徴情報Swdsとして検索語特徴情報データベース4から抽出すると共に、曲データベース2に蓄積されている全ての曲に対応する複数の曲特徴情報20を曲特徴情報Sspとして曲特徴情報データベース3から抽出する。そして、夫々抽出された検索語特徴情報30と各曲特徴情報20とを夫々比較し、その検索語特徴情報30に最も類似している曲特徴情報20が対応している曲を示す曲識別情報Srzを生成して曲データベース2に出力する。これらと並行して、検索処理部8は、入力された検索語に対応しているとして検索語特徴情報データベース4から抽出された一の検索語特徴情報30を示す図形(以下、単に検索語特徴情報図形と称する)と、その抽出された検索語特徴情報30に最も類似しているとされた曲特徴情報20を示す図形(以下、単に曲特徴情報図形と称する)と、を、同じ構図の図形としてディスプレイ12に表示すべく表示信号Sdpを生成して当該ディスプレイ12に出力する。なお、この検索語特徴情報図形及び曲特徴情報図形の具体的構図例については、後ほど詳述する。
そして、曲データベース2は、上記曲識別情報Srzにより示される曲を曲情報Ssgとして曲出力部10へ出力する。
これにより、曲出力部10は、出力されてきた曲情報Ssgに対して必要な出力インターフェース処理等を施し、当該処理後の曲情報Ssgを図示しない外部の増幅部又は放送送信部等に出力する。
また、一の曲を示す曲情報Ssgが曲出力部10から出力された後には、次に、その出力された曲情報Ssgに対応する曲が、検索語を最初に入力した使用者の所望するものであったか否かが評価情報として再度入力部9において入力され、対応する入力情報Sinが検索処理部8へ出力される。
これにより、検索処理部8は、入力情報Sinとして入力されてきた上記評価情報に基づいて、過去の曲検索処理の結果を示す履歴情報を生成し、履歴情報Smとして履歴記憶部11に一時的に記憶させると共に必要に応じてこれを読み出し、後述する履歴管理処理を行う。
(II)曲検索処理
次に、上述した構成を備える曲検索装置Sを用いて実行される実施形態に係る曲検索処理について、具体的に図3乃至図8を用いて説明する。なお、図3は当該曲検索装置における曲検索処理を示すフローチャートであり、図4は当該曲検索処理に用いられる変換情報としての変換テーブルの内容を例示する図であり、図5は入力された検索語に対応する検索語特徴情報図形及びそれに相応しいとして抽出された曲に対応する曲特徴情報図形の表示例を示す図であり、図6は実施形態に係る履歴処理に用いられる履歴情報を例示する図であり、図7は当該履歴情報を用いた履歴管理処理を示すフローチャートであり、図8及び図9は当該履歴管理処理に用いられるデータベースを夫々例示する図であり、図10は入力された検索語に対応する検索語特徴情報図形及びそれに相応しいとして抽出された曲に対応する曲特徴情報図形の他の表示例を示す図である。
図3に示すように、主として検索処理部8を中心として実行される実施形態の曲検索処理においては、始めに使用者により所望の主観的な検索語が決定されて入力部9において入力されると(ステップS1)、その入力された検索語に対応する検索語特徴情報30が検索語特徴情報データベース4から抽出されて検索処理部8に出力される(ステップS2)。そして、検索処理部8は、当該抽出された検索語特徴情報30に対応する検索語特徴情報図形を、その時の検索語特徴情報30の内容に応じてディスプレイ12上に表示するための図形情報を構築し、当該検索処理部8内の図示しないメモリ内に一時的に格納する(ステップS15)。
また、このステップS1及びS2の処理と並行して、曲特徴情報データベース3から全ての曲に含まれる歌を構成する構成語が、各曲毎に読み出されて検索処理部8へ出力される(ステップS3)。そして、入力部9を用いた使用者による操作により、上記読み出された構成語を変換し、当該構成語が含まれていた曲各曲に含まれる歌に対応する歌特徴情報を生成するための変換テーブルが決定される(ステップS3−1)。
なお、当該変換テーブルは、後述するように検索処理部8内の図示しないメモリに記憶されている。そして、曲の検索結果に伴ってディスプレイ12に表示される上記検索語特徴情報図形及び曲特徴情報図形を見た使用者による評価に基づき、適宜新たに作成(変更)された変換テーブルが上記図示しないメモリ内に追加記憶されていくものである。
その後、検索処理部8は、当該読み出された構成語を上記決定された変換テーブルを用いて変換することにより、当該構成語を各曲に含まれる歌に対応する歌特徴情報に変換する処理を、各歌毎に実行する(ステップS4)。
ここで、当該変換テーブルについて、具体的に図4を用いて例示しつつ説明する。
ステップS4における処理により生成される歌特徴情報は、上述した検索語特徴情報30内に重み付けされて含まれている歌特徴情報と同一のものであり、その歌特徴情報が対応すべき各曲毎に、その曲に含まれている歌を構成する構成語の夫々を、その歌特徴情報個々の具体的な内容に応じて重み付けしたものの集合である。
より具体的に図4に示す変換テーブルTの例では、「心あたたまる」なる歌特徴情報40においては、「キボウ」なる構成語が他の構成語に対して「0.4」なる重み付けで含まれており、「ウミ」なる構成語及び「オモイ」なる構成語が他の構成語に対して「0.1」なる重み付けで含まれている一方、「アイ」なる構成語の当該重み付けは「0」とされた上で当該「心あたたまる」なる歌特徴情報が生成されることとされている。これに対し、「明るい」なる歌特徴情報40においては、「オモイ」なる構成語が他の構成語に対して「0.8」なる重み付けで含まれており、「アイ」なる構成語が他の構成語に対して「0.2」なる重み付けで含まれており、更に「ウミ」なる構成語及び「キボウ」なる構成語が他の構成語に対して「0.1」なる重み付けで含まれている。更にまた、「悲しい・さみしい」なる歌特徴情報40においては、「キボウ」なる構成語が他の構成語に対して「0.7」なる重み付けで含まれており、「ウミ」なる構成語が他の構成語に対して「0.2」なる重み付けで含まれている一方、「アイ」なる構成語及び「オモイ」なる構成語の当該重み付けは「0」とされた上で当該「悲しい・さみしい」なる歌特徴情報40が生成されることとされている。最後に、「勇気付けられる」なる歌特徴情報40においては、「キボウ」なる構成語が他の構成語に対して「0.8」なる重み付けで含まれており、「ウミ」なる構成語が他の構成語に対して「0.4」なる重み付けで含まれており、「アイ」なる構成語が他の構成語に対して「0.5」なる重み付けで含まれている一方、「オモイ」なる構成語の当該重み付けは「0」とされた上で当該「勇気付けられる」なる歌特徴情報40が生成されることとされている。
そして、上記ステップS4の処理においては、図4に例示される変換テーブルTを用いて、各曲毎に夫々の構成語から対応する歌特徴情報40が生成される。より具体的には、例えば図4に例示する変換テーブルTを用いる場合に、変換テーブルTに挙げられている構成語のうち、ある曲に構成語「ウミ」、「オモイ」及び「キボウ」のみが含まれているとすると、そのある曲についての「心あたたまる」なる歌特徴情報40の値は、各構成語「ウミ」、「オモイ」及び「キボウ」の夫々の、「心あたたまる」なる歌特徴情報40における重み付けである「0.1」、「0.1」及び「0.4」を加えた「0.6」となる。同様に、その曲についての「明るい」なる歌特徴情報40の値は、各構成語「ウミ」、「オモイ」及び「キボウ」の夫々の、「明るい」なる歌特徴情報40における重み付けである「0.1」、「0.8」及び「0.1」を加えた「1.0」となる。以下同様に、変換テーブルTに挙げられている各歌特徴情報40の夫々につき、各構成語に対応する重み付け値を加算することでその曲における夫々の値が決定される。
更に、上記ステップS1及びS2並びにステップS3乃至S4の処理と並行して、曲特徴情報データベース3から全ての曲に対応する曲特徴情報20の夫々における音特徴情報のみが各曲毎に読み出されて検索処理部8へ出力される(ステップS5)。
これらにより、検索処理部8は、ステップS2において抽出された一の検索語特徴情報30に含まれている各歌特徴情報(夫々の歌特徴情報40の重み付けを含む)とステップS4において変換された各曲に対応する歌特徴情報40とが各曲毎に比較されると共に、当該一の検索語特徴情報30に含まれている音特徴情報とステップS5において抽出された各曲に対応する音特徴情報とが各曲毎に比較され、各曲に対応する歌特徴情報40及び音特徴情報と入力された検索語との類似度が各曲毎に算出される(ステップS6)。
そして、算出された各曲毎の類似度に基づいて、出力されるべき曲をその類似度の高い順に並べた再生リストが作成される(ステップS7)。
次に、検索処理部8は、当該作成された再生リストに含まれている曲のうち例えば最初に再生される曲に対応する曲特徴情報20に対応する曲特徴情報図形を、その曲特徴情報20の内容に応じてディスプレイ12上に表示するための図形情報を構築する。そして、当該構築された曲特徴情報図形に対応する図形情報と、上記ステップS15の処理により構築されて格納されていた上記検索語特徴情報図形に対応する図形情報と、を含む上記表示信号Sdpを生成してディスプレイ12に出力し、当該検索語特徴情報図形及び曲特徴情報図形を同時に同一の画面内に並べて表示する(ステップS16)。
次に、当該表示が実行されている間において、当該表示されている検索語特徴情報図形と曲特徴情報図形とが類似していない等の理由により、上記歌特徴情報の生成(ステップS4)に用いられた変換テーブルTを変更して他の新たな変換テーブルTを用いて再度歌特徴情報の生成を行う旨の操作が、入力部9において実行されたか否かを確認する(ステップS17)。
そして、当該変換テーブルTの変更を行う旨の操作が入力部9において実行されたときは(ステップS17;YES)、今まで図示しないメモリ内に蓄積・記憶されていた変換テーブルTを表示して当該使用者に選択させるか、或いは新たに変換テーブルTを作成させるための表示等をディスプレイ12において実行し、その結果新たに変更された変換テーブルTを上記メモリ内に格納し(ステップS18)、上記ステップS3−1に移行する。この後は、当該ステップS3−1の処理において新たな変換テーブルTが正式に決定され、以後上記ステップS4以降の処理に供される。
他方、ステップS17の判定において、変換テーブルTの変更を行う旨の操作が行われない場合は(ステップS17;NO)、その再生リスト(ステップS7参照)により示されている順に同じく示されている曲が曲データベース2から抽出されて曲出力部10を介して出力される(ステップS8)。
ここで、上記検索語特徴情報図形及び曲特徴情報図形夫々の表示態様について、具体的に図5を用いて説明する。
図5に例示するように、検索語特徴情報図形50と曲特徴情報図形60とは、ディスプレイ12内に同時に並べて表示される。
このとき、曲特徴情報図形60についてより具体的には、例えば図5右に示すように、その曲特徴情報図形60が対応する曲特徴情報20により特徴付けられる曲の調を示す図形である調図形66を中心として、その曲特徴情報20に含まれる音特徴情報に含まれるいずれかのパラメータ及び当該曲特徴情報20に含まれる構成語を用いて生成されるいずれかの歌特徴情報の中から予め設定されたものを含む特徴図形61乃至65が含まれている。
このうち、調図形66は、24種類(具体的には、「ハ長調」、「イ短調」、「ヘ長調」、「ニ短調」、「変ロ長調」、「ト短調」、「変ホ長調」、「ハ短調」、「変イ長調」、「ヘ短調」、「変ニ長調」、「変ロ短調」、「変ト長調」、「変ホ短調」、「ロ長調」、「嬰ト短調」、「ホ長調」、「嬰ハ短調」、「イ長調」、「嬰へ短調」、「ニ長調」、「ロ短調」、「ト長調」及び「ホ短調」の24種類)の調のいずれか一つを示す矢印67を一つのみ含む(すなわち、一つの曲を一つの調で代表して示す)図形とされている。このとき、当該各調を示す矢印67の色並びにその矢印67の表示位置及び表示方向(調図形66を構成する円内における表示位置及び表示方向)は予め定められており、この定められた表示位置及び表示方向のいずれか一つに、その曲特徴情報20に含まれている調を示す矢印67が表示されることになる。
一方、特徴図形61乃至65については、その曲特徴情報20により特徴付けられる曲の歌に含まれている構成語を図4に示す変換テーブルTを用いて変換して得られ且つその曲を特徴付ける歌特徴情報のいずれかと、その曲特徴情報20に音特徴情報として含まれているパラメータ(上記調を示すパラメータを除く。図2(a)参照)のいずれかと、のうち、予め設定された数(図5の場合五つ)のものが予め設定された表示位置(図5の場合、上記調図形66を中心とした五角形の夫々の頂点の位置)に表示される。例えば、特徴図形61がその曲の歌特徴情報「心あたたまる」に対応し、特徴図形62がその曲のパラメータ「BPM」に対応し、特徴図形63がその曲の歌特徴情報「明るい」に対応し、特徴図形64がその曲のパラメータ「最大レベル」に対応し、特徴図形65がその曲のパラメータ「平均レベル」に対応するものとして表示される。そして、各特徴図形61乃至65においては、夫々の特徴図形として示される歌特徴情報又はパラメータの値が、当該各歌特徴情報及び当該各パラメータの夫々が採り得る最大値及び最小値を用いて正規化された値として予め設定された色により表現される。
また、上記変換デーブルTは検索処理部8内の図示しないメモリに蓄積されているものから使用者が任意に選択することができる(上記ステップS18参照)ため、当該使用者が選択した変換テーブルTに基づいて得られた歌特徴情報のうちいずれかが上記表示位置に表示されることになる。
なお、上記特徴図形61乃至65のうち、曲特徴情報20に音特徴情報として含まれているパラメータを示す特徴図形については、その曲の再生中に特徴図形として表示されているパラメータの値が変化したとき、その変化に応じて対応する特徴図形の色又は形状を変化させて表示するように構成しても良い。
他方、検索語特徴情報図形50についてより具体的には、例えば図5左に示すように、当該検索語特徴情報図形50においては、先ず、その検索語特徴情報図形50が対応する検索語特徴情報30により特徴付けられる検索語を用いて検索されるべき曲に相応しい一又は複数の調が、夫々の相応しさの度合い(以下、相関値と称する)に応じて色が変化する一又は複数の矢印57を含む調図形56としてその検索語特徴図形50の中心に表示される。そして更に、その調図形56を中心として、その検索語特徴情報30に含まれる音特徴情報に含まれるいずれかのパラメータ及び当該検索語特徴情報30に含まれるいずれかの歌特徴情報の中から、上記曲特徴情報図形60における特徴図形61乃至65に対応するものとして予め設定されたものを含む特徴図形51乃至55が含まれている。
このうち、調図形56は、曲特徴情報図形60において上記した24種類の調のいずれかを示す矢印57を一又は複数含む図形とされている。このとき、上記した曲特徴図形60の場合と同様に、当該各調を示す矢印57の表示位置及び表示方向は予め定められており、この定められた表示位置及び表示方向のいずれかに、その検索語特徴情報30に含まれている調を示す矢印57が表示されることになる。そして、調図形56における夫々の矢印57の色は、上記24種類の調の夫々と、その検索語により検索されるべき曲の調と、の間の上記相関値に応じて、例えば負の相関値を有する調は青色の矢印57を対応する予め設定された表示位置及び表示方向に表示することにより示され、一方、正の相関値を有する調は赤色の矢印57を対応する予め設定された表示位置及び表示方向に表示することにより示される。また、各相関値の絶対値は、対応する矢印57の色(赤色又は青色)の濃淡により、絶対値が大きいほど濃く表示される。
一方、特徴図形51乃至55については、その検索語特徴情報30に含まれている歌特徴情報のいずれかと、その検索語特徴情報30に音特徴情報として含まれているパラメータ(上記調を示すパラメータを除く。図2(b)参照)のいずれかと、のうち、予め設定された数(図5の場合五つ)のものが、上記曲特徴情報図形60に対応して予め設定された表示位置(図5の場合、上記調図形56を中心とした五角形の夫々の頂点の位置)に表示される。例えば、図5の場合、曲特徴情報図形60における特徴図形61に対応する特徴図形51がその検索語特徴情報30に含まれる歌特徴情報「心あたたまる」に対応し、曲特徴情報図形60における特徴図形62に対応する特徴図形52がその検索語特徴情報30に含まれるパラメータ「BPM」に対応し、曲特徴情報図形60における特徴図形63に対応する特徴図形53がその検索語特徴情報30に含まれる歌特徴情報「明るい」に対応し、曲特徴情報図形60における特徴図形64に対応する特徴図形54がその検索語特徴情報30に含まれるパラメータ「最大レベル」に対応し、曲特徴情報図形60における特徴図形65に対応する特徴図形55がその検索語特徴情報30に含まれるパラメータ「平均レベル」に対応するものとして表示される。そして、各特徴図形51乃至55においては、上記特徴図形61乃至65と同様に、夫々の特徴図形として示される歌特徴情報又はパラメータの値が、当該各歌特徴情報及び当該各パラメータの夫々が採り得る最大値及び最小値を用いて正規化された値として予め設定された色により表現される。これに加えて、特徴図形51乃至55においては、各検索特徴情報30に含まれる各歌特徴情報の重み付けの値(図2(b)並びにその関連説明部分参照)が、背景に対するグラデーションの差により、その重み付けの値が大きいほど背景に対するグラデーションがなく塗り潰されるように、またその重み付けの値が小さいほど背景に対してグラデーションが顕著になるようにして、表示される。
上記ステップS8の処理により一の曲が出力されると、その出力された曲を聴取した使用者が、出力された曲が上記ステップS1において入力・決定された検索語に相応しいか否かを評価し、その評価結果を入力部9を用いて入力する(ステップS9)。
そして、入力された評価結果が、その出力された曲が検索語に相応しいとする旨の評価であったときは(ステップS9;合致)、後述する合致履歴情報を更新し(ステップS11)ステップS12へ移行する。一方、ステップS9の判定において、その出力された曲が検索語に相応しくないとする旨の評価であったときは(ステップS9;非合致)、後述する非合致履歴情報を更新し(ステップS10)ステップS12へ移行する。
ここで、上記ステップS10において更新される非合致履歴情報及び上記ステップS11において更新される合致履歴情報について、より具体的に図6を用いて説明する。
先ず、当該合致履歴情報Gとしては、図6(a)に示すように、使用者が入力した検索語に対応する評価によりその検索語に相応しいと評価された曲の曲特徴情報20に加えて、その曲特徴情報20内に含まれている構成語情報に基づき、その時に有効とされている変換テーブルTを参照として上記ステップS4において説明した方法と同様の方法により生成された歌特徴情報40(その曲に対応する歌特徴情報40)が含まれている。
一方、非合致履歴情報NGとしては、図6(b)に示すように、上記使用者の評価によりその使用者が入力した検索語に相応しくないと評価された曲の曲特徴情報20に加えて、その曲特徴情報20内に含まれている構成語情報に基づき、その時に有効とされている変換テーブルTを参照として上記ステップS4において説明した方法と同様の方法により生成された歌特徴情報40(その曲に対応する歌特徴情報40)が、合致履歴情報Gの場合と同様に含まれている。
そして、予め設定された曲数分だけ各履歴情報の更新が完了すると、その結果に基づいて上記変換テーブルTの内容及び検索語特徴情報30の内容を夫々更新する(ステップS12)。
ここで、本実施形態の場合、当該更新のうち変換テーブルTの内容の更新にあっては、上記ステップS18において変換テーブルTが変更された場合におけるその変更後の変換テーブルTの追加処理を言うことになる。なお、当該追加処理においては新しい変換テーブルTを追加するのみであり、他の古い変換テーブルTについては、それ自体更新されることも消去されることもない。
次に、上記ステップS7において作成されている再生リストにおける最後の曲まで出力が完了したか否かが確認され(ステップS13)、最後の曲までの出力が完了していないときは(ステップS13;NO)上記ステップS8まで戻って再生リスト内の次の曲を出力すると共に上述したステップS9乃至S12を当該次の曲について繰り返す。一方、ステップS13の判定において、最後の曲までの出力が完了したときは(ステップS13;YES)そのまま一連の曲検索処理を終了する。
次に、上記ステップS12における各更新処理における変換テーブルTの更新処理につき、図7乃至図9を用いて説明する。
当該変換テーブルTの更新処理においては、図7に示すように、その更新処理を実行しようとしているタイミングで入力されている検索語が、各歌特徴情報40のいずれかにより示される主観と同じ主観を示す検索語であるか否かを確認し(ステップS20)、当該主観同士が一致しないときは(ステップS20;NO)変換テーブルTの更新は行わずに次の検索語特徴情報30を更新するための処理に移行する。
他方、当該主観同士が一致したときは(ステップS20;YES)、次に、実際の変換テーブルTの更新処理に移行する。
なお、以下に説明する更新処理においては、予め設定された曲数(図8及び図9の場合は40曲(相応しい20曲と相応しくない20曲))の曲につき、一の検索語(図8及び図9に示す場合は、検索語「心あたたまる」)に相応しいと評価された曲に含まれていた構成語の内容と、その検索語に相応しくないと評価された曲に含まれていた構成語の内容と、に基づいてその検索語に対応する変換テーブルTを更新する場合について説明する。なお、図8及び図9は、図6に示した各履歴情報のうち、変換テーブルTの更新処理に必要な項目及び上記検索語特徴情報図形50における調図形56の表示に用いられる上記相関値の後述する算出処理に必要な項目のみを抽出したものである。
実際の変換テーブルTの更新処理おいては、先ず、合致履歴情報につき、相応しいと評価された各曲(図8において、一の保存アドレスが一の曲に対応する)の構成語毎に、全ての曲(20曲ずつ)について図8において縦方向に「0」又は「1」を全て加算してそれを全曲数(図8の場合は「20」)で除して平均値AAを求める(ステップS21)。例えば、合致履歴情報における構成語「アイ」の場合は、その構成語が含まれていた(換言すれば、図8において値が「1」となっている)曲は5曲であるから、これを全曲数である「20」で除すると、構成語「アイ」について平均値AAは「0.25」となる。そして、この平均値算出処理を全ての構成語について実行する。
次に、これと同様に、非合致履歴情報につき、相応しくないと評価された各曲の構成語毎に、全ての曲について図9において縦方向に「0」又は「1」を全て加算してそれを全曲数で除して平均値DAを求める(ステップS21)。例えば、非合致履歴情報における構成語「アイ」の場合は、その構成語が含まれていた曲は14曲であるから、これを全曲数で除すると、構成語「アイ」について平均値DAは「0.70」となる。そして、この平均値算出処理を全ての構成語について実行する。
ここで、各構成語の夫々につき、平均値AAと平均値DAとの差が大きければ大きいほど、その構成語によって現在の検索語に対応する歌特徴情報40を表現できる可能性が高くなることになる。
しかしながら、ここで注意すべきは、上述した処理により算出した各平均値AA及びDAは、曲データベース2内に蓄積されている全ての曲について評価した結果として得られたものではないということである。そこで、算出した各平均値(統計的には「標本比率」と称されるものに相当する)の信頼限界幅を求め、各構成語夫々に対応する平均値AAと平均値DAとの差(平均値AA−平均値DA)を、その構成語の履歴情報上の重み付け値とすることができるか否かについて確認を行う。より具体的には、信頼限界幅の信頼度を仮に90%とし、以下の式(1)により算出した(ステップS22)信頼限界幅を用いて確認を行う。すなわち、各構成語の夫々につき、
信頼限界幅=2×1.65×〔(AA×(1−AA))/曲数〕1/2 …(1)
の式により対応する信頼限界幅を算出する。
次に、信頼限界幅が算出されたら、これを用いて、平均値AAの値から平均値DAの値を差し引いた値の絶対値が上記算出された信頼限界幅以上であるか否かを確認する(ステップS23)。
そして、平均値AAの値から平均値DAの値を差し引いた値の絶対値が信頼限界幅以上であるとき(ステップS23;YES)、この差を信頼できる値であるとして、変換テーブルTにおける該当する構成語(図8の場合は構成語「心あたたまる」)の重み付け値として採用し、当該変換テーブルTに登録(格納)する(ステップS24)。一方、ステップS23において、平均値AAの値から平均値DAの値を差し引いた値の絶対値が信頼限界幅未満であるとき(ステップS23;NO)、この差は信頼できない値であるとして変換テーブルTにおける該当する構成語の重み付けを「0」と更新する(ステップS25)。
なお、情報検索装置Sの初期状態においては、各履歴情報には予め設定された初期値が格納されており、また、履歴情報の対象となる曲数も有限であるので、結果として古い履歴情報に新しい履歴情報が上書きされることになる。これにより、出力された曲の評価が進むにつれて次第に使用者毎に固有の主観が変換テーブルTの重み付け値に反映されていくようになる。そして、上書きされた履歴情報を反映させて新しく作成された変換テーブルTは、その都度検索処理部8内の図示しないメモリに蓄積され、使用者は歌特徴情報への変換(図3ステップS4参照)に用いられる変換テーブルTを個々の好みに合わせて選択する(図3ステップS18参照)ことができる。
次に、上記検索語特徴情報図形50内の調図形56における矢印57の表示に用いられる相関値の算出処理につき、図8及び図9を用いて説明する。
当該算出処理は、具体的には上述した変換テーブルTの更新処理と同様の処理により算出される。
なお、以下に説明する算出処理においては、予め設定された曲数(図8及び図9の場合は40曲(相応しい20曲と相応しくない20曲))の曲につき、一の検索語(図8及び図9に示す場合は、検索語「心あたたまる」)に相応しいと評価された曲の調と、その検索語に相応しくないと評価された曲の調と、に基づいてその検索語に対応する調の相関値を算出する場合について説明する。また、一の曲に対応する調については、たとえその曲が途中で変調する場合であっても一の曲には主たる一の調が対応付けられているので、図8及び図9(a)の横一行において「1」の値をとる調は一つの曲につき一つのみである。
実際の相関値の算出処理おいては、先ず、合致履歴情報につき、相応しいと評価された各曲(図8及び図9(a)において、一の保存アドレスが一の曲に対応する)の調毎に、全ての曲(20曲ずつ)について図8において縦方向に「0」又は「1」を全て加算してそれを全曲数(図8の場合は「20」)で除して平均値AAを求める(図7ステップS21参照)。例えば、合致履歴情報におけるハ長調の場合は、その調が含まれていた(換言すれば、図8において値が「1」となっている)曲は3曲であるから、これを全曲数である「20」で除すると、ハ長調について平均値AAは「0.15」となる。そして、この平均値算出処理を全ての調について実行する。
次に、これと同様に、非合致履歴情報につき、相応しくないと評価された各曲の調毎に、全ての曲について図9(a)において縦方向に「0」又は「1」を全て加算してそれを全曲数で除して平均値DAを求める(図7ステップS21参照)。例えば、非合致履歴情報におけるハ長調の場合は、その調が含まれていた曲は4曲であるから、これを全曲数で除すると、ハ長調について平均値DAは「0.20」となる。そして、この平均値算出処理を全ての調について実行する。
ここで、各調の夫々につき、平均値AAと平均値DAとの差が大きければ大きいほど、その調によって現在の曲の調に相応しくなる(換言すれば相関値が大きくなる)可能性が高くなることになる。
しかしながら、ここで上記変換テーブルTの更新の場合と同様の統計的な問題が相関値の算出処理についても存在するので、ここでも算出した各平均値の信頼限界幅を求め、各構成語夫々に対応する平均値AAと平均値DAとの差(平均値AA−平均値DA)を、その構成語の履歴情報上の重み付け値とすることができるか否かについて確認を行う。より具体的には、信頼限界幅の信頼度を仮に90%とし、上記式(1)により算出した(図7ステップS22参照)信頼限界幅を用いて確認を行う。
次に、信頼限界幅が算出されたら、これを用いて、平均値AAの値から平均値DAの値を差し引いた値の絶対値が上記算出された信頼限界幅以上であるか否かを確認する(図7ステップS23参照)。
そして、平均値AAの値から平均値DAの値を差し引いた値の絶対値が信頼限界幅以上であるとき(図7ステップS23;YES参照)、この差を信頼できる値であるとして、その調の相関値TTとして新たに採用する(図7ステップS24及び図9(b)参照)。一方、平均値AAの値から平均値DAの値を差し引いた値の絶対値が信頼限界幅未満であるとき(図7ステップS23;NO参照)、この差は信頼できない値であるとして相関値を更新しない(図7ステップS25参照)。
なお、上記変換テーブルTの更新処理の場合と同様に、情報検索装置Sの初期状態においては、各履歴情報には予め設定された上記相関値の初期値が格納されており、また、履歴情報の対象となる曲数も有限であるので、結果として古い履歴情報に新しい履歴情報が上書きされることになる。
以上説明したように、実施形態の曲検索装置Sの動作によれば、入力された検索語に対応する検索語特徴情報30と、蓄積されている各曲に対応する曲特徴情報20と、を比較して曲を検索するので、当該入力された検索語により相応しい曲を確実に検索できると共に、入力された検索語を直接用いて曲を検索する場合に比してより使用者の主観に合致した曲を検索することができる。
また、検索語特徴情報画像50と曲特徴情報画像60とが同じディスプレイ12の画面内に表示されるので、使用者が入力した検索語により検索されるべき検索語特徴情報30の内容とその検索語により実際に抽出された曲を示す曲特徴情報20の内容とを比較でき、自己が入力した検索語の特徴と抽出された曲の特徴との類似度をイメージとして把握することができる。
更に、歌特徴情報の生成に用いられる変換デーブルTが、検索処理部8内の図示しないメモリに蓄積されているものから使用者が任意に選択することができるので、使用者は検索語により実際に抽出された曲が好みでない場合は、変換テーブルTそのものを過去のものから任意に選択してそれに変更することができる。
更に、検索語特徴情報画像50及び曲特徴情報画像60が同時に、且つ、同じ構図の画像を用いてディスプレイ12に表示されるので、双方の比較が視覚的に容易に行える。
更にまた、検索語特徴情報30における歌特徴情報の重み付けの度合いが特徴図形51乃至55のグラデーションの変化により表示されるので、視覚的に容易に重み付けの変化を認識することができる。
また、曲特徴情報20及び検索語特徴情報30の夫々により示される音響的特徴を示す各パラメータの大きさが各パラメータ毎に視認可能に表示されるので、当該各パラメータ毎の詳細な大小関係等を視覚的に認識することができる。
更に、曲特徴情報20及び検索語特徴情報30の夫々により示される歌詞の特徴を示す各歌特徴情報の大きさが各歌特徴情報毎に視認可能に表示されるので、当該各歌特徴情報毎の詳細な大小関係等を視覚的に認識することができる。
更にまた、各パラメータを示す図形の色自体の相違により各パラメータの大きさが表現されるので、視覚的に容易に各パラメータの大きさを認識することができる。
また、評価情報に基づいて検索語特徴情報30が更新されると共に当該検索語特徴情報30における歌特徴情報の重み付けを示す特徴図形51乃至55の大きさが検索語特徴情報30と共に表示されるので、検索語特徴情報30における歌特徴情報の重み付けと共にその重み付けに基づく検索語特徴情報30の変遷を視覚的に把握することができる。
なお、上述した実施形態においては、検索語特徴情報図形50における特徴図形51乃至55のグラデーションを変化させることで夫々の検索語における歌特徴情報の重み付けん相違を表現したが、これ以外に、例えば図10左に示す検索語特徴情報図形70のように、特徴図形71乃至75(図5左に示す検索語特徴情報図形50における特徴図形51乃至55に相当)における長さの変化を、対応する歌特徴情報の重み付けの度合いを示すものとして用いることもできる。ここで、図10右は、検索語特徴情報図形70に対応する表示態様を備える曲特徴情報図形80であり、特徴図形81乃至85(図5右に示す曲特徴情報図形60における特徴図形61乃至65に相当)も検索語特徴情報図形70に合わせて三角形とされている。また、図10において、図5に示される各図形と同様の部材については同様の部材番号により示されている。
この図10に示す場合には、歌特徴情報の重み付けの大きさが特徴図形71乃至75の大きさの変化により表示されるので、視覚的に容易に当該重み付けの変化を認識することができる。
また、上述した実施形態において、入力部9における操作により、表示されている検索語特徴情報図形50又は70に対応する検索語特徴情報30を使用者が変更するように構成することもできる。
この場合には、検索語特徴情報30の内容を使用者が変更することができるので、当該検索語特徴情報30を使用者の好みに応じて変更することで、よりその使用者に趣味等に応じた曲を抽出することができる。
更に、入力部9における操作により、表示されている検索語特徴情報画像50又は70に対応する検索語特徴情報30及び検索語特徴情報30に含まれる歌特徴情報の重み付けの夫々を変更するように構成することもできる。
この場合には、当該検索語特徴情報30及び歌特徴情報の重み付けを使用者の好みに応じて変更することで、よりその使用者に趣味等に応じた曲を抽出することができる。
更にまた、検索語特徴情報図形50又は70及び曲特徴情報図形60又は80が同時に表示されている場合において、当該表示されている検索語特徴情報図形50又は70に対応する検索語特徴情報30の内容を、検索処理部8においてその時に表示されている曲特徴情報画像60又は80に対応する曲特徴情報20の内容と同一の内容に置換して検索語特徴情報データベース4に蓄積し直すように構成することもできる。
この場合には、抽出された曲を使用者が気に入ったとき、入力された検索語に対応する検索語特徴情報30をその曲の曲特徴情報20に置換できることで、再度のその検索語が入力されたときはその抽出された曲が再度抽出されることになり、より使用者の趣味等に応じて曲を抽出することができる。
更に、上述した実施形態では、複数の曲を蓄積してこれを検索する曲検索装置Sに対して本願を適用した場合について説明したが、これ以外に、静止画像又は動画像を蓄積し、これらを使用者の主観に応じて検索する画像検索装置に対して本願を適用することも可能である。
更にまた、図3及び図7に示すフローチャートに対応するプログラムを、フレキシブルディスク等の情報記録媒体に記録しておき、或いは当該プログラムをインターネット等のネットワークを介して取得して記録しておき、これらを汎用のマイクロコンピュータ等を用いて読み出して実行することにより、当該汎用のマイクロコンピュータを実施形態に係る検索処理部8として用いることも可能である。

Claims (7)

  1. 複数の曲の中から一又は複数の当該曲を検索する曲検索装置において、
    前記曲に含まれる歌詞の特徴を示す曲特徴情報を各前記曲毎に識別可能に蓄積する曲特徴情報蓄積手段と、
    検索されるべき前記曲を示す検索語であって主観を示す言葉よりなる検索語を入力するために用いられる検索語入力手段と、
    前記入力される検索語により示される主観に相応しいとして当該検索語を用いて検索されるべきいずれかの前記曲に含まれる歌詞の特徴を少なくとも示す検索曲特徴情報を、各前記検索語毎に識別可能に蓄積する検索曲特徴情報蓄積手段と、
    前記入力された検索語に対応する前記検索曲特徴情報である入力検索曲特徴情報との間で類似性が比較される比較対象情報に、前記蓄積されている曲特徴情報を変換するための変換テーブルを用いて、当該曲特徴情報を当該比較対象情報に変換する変換手段と、
    前記入力検索曲特徴情報と、前記変換テーブルを用いて前記曲特徴情報から変換された前記比較対象情報と、の類似性を比較する比較手段と、
    前記比較手段による比較結果に基づいて、前記入力検索曲特徴情報に最も類似している前記比較対象情報の変換元である前記曲特徴情報に対応する前記曲を、前記入力された検索語に対応する前記曲として抽出する抽出手段と、
    前記変換テーブルを変更する旨の指示を入力するために用いられる指示入力手段と、
    前記入力された指示に基づき前記変換テーブルを変更する変更手段と、
    を備え、
    前記変換手段は、前記変換テーブルが変更されたとき、当該変更後の変換テーブルを用いて前記曲特徴情報前記比較対象情報変換することを特徴とする曲検索装置。
  2. 請求項1に記載の曲検索装置において、
    前記入力検索曲特徴情報の内容を示す画像である入力検索曲特徴情報画像を表示手段に表示させる第一表示制御手段と、
    前記抽出された曲に対応する前記曲特徴情報の内容を示す画像である抽出曲特徴情報画像を前記表示手段に表示させる第二表示制御手段と、
    を備え、
    前記第一表示制御手段及び前記第二表示制御手段は、前記指示入力手段において前記指示が入力される際に前記入力検索曲特徴情報画像及び前記抽出曲特徴情報画像を前記表示手段に表示することを特徴とする曲検索装置。
  3. 請求項2に記載の曲検索装置において、
    前記第一表示制御手段及び前記第二表示制御手段は、前記入力検索曲特徴情報画像及び前記抽出曲特徴情報画像を同時に、且つ、当該入力検索曲特徴情報画像と当該抽出曲特徴情報画像とを同じ構図の画像を用いて前記表示手段に表示させることを特徴とする曲検索装置。
  4. 請求項から3のいずれか一項に記載の曲検索装置において、
    前記曲特徴情報及び前記検索曲特徴情報は、前記歌詞の特徴を示すパラメータとして、各前記曲を構成する前記歌詞の内容を主観的に象徴し且つ相互に異なる主観に対応する複数の象徴パラメータを夫々に含んでいると共に、
    前記第一表示制御手段及び前記第二表示制御手段は、前記抽出曲特徴情報画像及び前記入力検索曲特徴情報画像の夫々において、各前記象徴パラメータの大きさを視認可能に表示させることを特徴とする曲検索装置。
  5. 曲に含まれる歌詞の特徴を示す曲特徴情報を各前記曲毎に識別可能に蓄積する曲特徴情報蓄積手段と、
    検索されるべき前記曲を示し且つ主観を示す言葉よりなる検索語により示される当該主観に相応しいとして当該検索語を用いて検索されるべきいずれかの前記曲に含まれる歌詞の特徴を少なくとも示す検索曲特徴情報を、各前記検索語毎に識別可能に蓄積する検索曲特徴情報蓄積手段と、
    表示手段と、
    を備え、
    複数の当該曲の中から一又は複数の当該曲を検索する曲検索装置において実行される曲検索方法であって、
    前記検索語を入力する検索語入力工程と、
    前記入力された検索語に対応する前記検索曲特徴情報である入力検索曲特徴情報との間で類似性が比較される比較対象情報に、前記蓄積されている曲特徴情報を変換するための変換テーブルを用いて、当該曲特徴情報を当該比較対象情報に変換する変換工程と、
    前記入力検索曲特徴情報と、前記変換テーブルを用いて前記曲特徴情報から変換された前記比較対象情報と、の類似性を比較する比較工程と、
    前記比較工程における比較結果に基づいて、前記入力検索曲特徴情報に最も類似している前記比較対象情報の変換元である前記曲特徴情報に対応する前記曲を、前記入力された検索語に対応する前記曲として抽出する抽出工程と、
    前記変換テーブルを変更する旨の指示を入力する指示入力工程と、
    前記入力された指示に基づき前記変換テーブルを変更する変更工程と、
    を含み、
    前記変換工程においては、前記変換テーブルが変更されたとき、当該変更後の変換テーブルを用いて前記曲特徴情報前記比較対象情報変換することを特徴とする曲検索方法。
  6. コンピュータを、請求項1から4のいずれか一項に記載の曲検索装置として機能させることを特徴とする曲検索用プログラム。
  7. 請求項6に記載の曲検索用プログラムが前記コンピュータにより読み出し可能に記録されていることを特徴とする情報記録媒体。
JP2007512854A 2005-03-31 2006-03-30 曲検索装置、曲検索方法及び曲検索用プログラム並びに情報記録媒体 Expired - Fee Related JP4459269B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2005102937 2005-03-31
JP2005102937 2005-03-31
PCT/JP2006/306663 WO2006106825A1 (ja) 2005-03-31 2006-03-30 曲検索装置、曲検索方法及び曲検索用プログラム並びに情報記録媒体

Publications (2)

Publication Number Publication Date
JPWO2006106825A1 JPWO2006106825A1 (ja) 2008-09-11
JP4459269B2 true JP4459269B2 (ja) 2010-04-28

Family

ID=37073381

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007512854A Expired - Fee Related JP4459269B2 (ja) 2005-03-31 2006-03-30 曲検索装置、曲検索方法及び曲検索用プログラム並びに情報記録媒体

Country Status (2)

Country Link
JP (1) JP4459269B2 (ja)
WO (1) WO2006106825A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5050599B2 (ja) * 2007-03-23 2012-10-17 トヨタ自動車株式会社 情報検索システム、情報検索装置、情報検索方法、及びそのプログラム。
JP5520585B2 (ja) * 2009-12-04 2014-06-11 株式会社ソニー・コンピュータエンタテインメント 情報処理装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69725666T2 (de) * 1996-03-04 2004-07-29 Koninklijke Philips Electronics N.V. Dem benutzer zugeneigtes multimediapräsentationssystem für mehrere präsentationsartikel, welche jeder als ein agent wirken
JP3892410B2 (ja) * 2003-04-21 2007-03-14 パイオニア株式会社 音楽データ選曲装置、音楽データ選曲方法、並びに、音楽データの選曲プログラムおよびそれを記録した情報記録媒体

Also Published As

Publication number Publication date
JPWO2006106825A1 (ja) 2008-09-11
WO2006106825A1 (ja) 2006-10-12

Similar Documents

Publication Publication Date Title
JP2005173938A (ja) 曲検索装置、曲検索方法及び曲検索用プログラム並びに情報記録媒体
US10657934B1 (en) Enhancements for musical composition applications
US11461388B2 (en) Generating a playlist
JP4622808B2 (ja) 楽曲分類装置、楽曲分類方法、楽曲分類プログラム
US7613736B2 (en) Sharing music essence in a recommendation system
US20060224260A1 (en) Scan shuffle for building playlists
JP4469891B2 (ja) 情報処理装置及び情報処理プログラム
US20080256106A1 (en) Determining the Similarity of Music Using Cultural and Acoustic Information
CN110335625A (zh) 背景音乐的提示及识别方法、装置、设备以及介质
US9576050B1 (en) Generating a playlist based on input acoustic information
JP2011039811A (ja) 情報処理装置、情報処理方法、およびプログラム
WO2006063447A1 (en) Probabilistic audio networks
EP3796306A1 (en) Audio stem identification systems and methods
JP2005010771A (ja) 音楽検索装置
JP4560544B2 (ja) 楽曲検索装置、楽曲検索方法および楽曲検索プログラム
WO2014208581A1 (ja) シナリオ生成システム、シナリオ生成方法およびシナリオ生成プログラム
US8315968B2 (en) Music information processing apparatus, music delivering system, and music information processing method that can satisfy a request from a user
JP2008084193A (ja) インスタンス選択装置、インスタンス選択方法及びインスタンス選択プログラム
CN110010159A (zh) 声音相似度确定方法及装置
JP4196052B2 (ja) 楽曲検索再生装置、及びそのシステム用プログラムを記録した媒体
JP4594701B2 (ja) 情報検索装置、情報検索方法及び情報検索用プログラム並びに情報記録媒体
JP4459269B2 (ja) 曲検索装置、曲検索方法及び曲検索用プログラム並びに情報記録媒体
US20220406283A1 (en) Information processing apparatus, information processing method, and information processing program
JP4806465B2 (ja) コンテンツ説明装置及び方法
US11410706B2 (en) Content pushing method for display device, pushing device and display device

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091110

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100209

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100209

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130219

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees