以下、図面を参照して、本発明の実施の形態について説明する。
図1は、本発明の一実施の形態である情報処理装置1と、情報処理装置1を操作するためのユーザ端末2とから成る情報処理システムを示し、以下概要を説明する。
図1に示す情報処理システムでは、ユーザ端末2にてユーザにより指定色が指定されると、ユーザ端末2はその指定色を示す色ID(identification)を情報処理装置1に供給し、情報処理装置1は、その指定色(を示す色ID)に基づき、ユーザに提示する楽曲の候補となる複数の候補曲(のタイトル等)を検索して、ユーザ端末2に供給する。さらにユーザ端末2にてユーザによるダウンロード要求等がされると、情報処理装置1は、所定の楽曲をユーザ端末2に供給する。
ユーザ端末2は、操作画面等を表示するLCD(Liquid Crystal Display)等の表示部2A、ユーザによる各種情報の入力に用いられるマウス、キーボード等の入力部2Bにより構成される。
図2は、ユーザ端末2の表示部2Aに表示される操作画面の表示例を示している。
図2を参照し、ユーザ端末2による各種情報の入力等操作方法について説明する。
この操作画面には、主に、ユーザの指定色の候補を表す複数の候補色(本実施の形態では35種類)を表示する候補色エリア11、複数の候補色のうち、ユーザにより指定された指定色(本実施の形態では3種類)を表示する指定色エリア12、指定色を指定するときに操作されるラジオボタン13、指定色に基づいて候補曲の検索を開始させるときに操作される検索ボタン14、検索により得られた複数の候補曲を表示する検索結果エリア15、及び検索結果エリア15に表示された複数の候補曲から、ユーザにより選択された候補曲をダウンロードするときに操作されるダウンロードボタン16が設けられている。
なお、図2においては、図示の都合上、色の違いを、模様の違いとして表示している。また、この操作画面の表示例は一例であって、配置、候補色数(後述)、項目等は適宜変更可能である。
候補色エリア11において、ユーザによる入力部2Bの操作により、その候補色エリア11に表示される35種類の候補色のうち、3種類の指定色が指定されると、指定色エリア12において、その3種類の指定色が表示される。なお、ユーザは、3種類の指定色として、同一色を重複して指定することが可能である。
ユーザによる入力部2Bの操作により、検索ボタン14が押下されると、指定色エリア12に表示された3種類の指定色を示す色ID(以下、単に、指定色ともいう)が、ユーザ端末2から情報処理装置1に送信される。
その3種類の指定色に基づき、情報処理装置1は、複数の候補曲を検索し、検索結果をユーザ端末2に送信する。検索結果エリア15において、検索結果としての複数の候補曲が表示される。
ユーザによる入力部2Bの操作により、検索結果エリア15に表示された複数の候補曲のうちのいずれかが選択され、ダウンロードボタン16が押下されると、情報処理装置1からユーザ端末2に対し、選択された候補曲がダウンロードされる。
また、上述の検索結果エリア15に表示された複数の候補曲に対するユーザの操作情報等(ダウンロードするための操作等)から、情報処理装置1にてフィードバック処理(後述の図14乃至図17で説明する)を行うことで、指定色に基づき検索される候補曲が、ユーザの指定する指定色とより適合するようにしている。
次に、情報処理装置1の詳細について説明する。
図3は、図1の情報処理装置1の第1の構成例を示している。
この情報処理装置1は、単語適合度リスト生成部31、候補曲リスト生成部32、楽曲配信部33、及びデータベース34により構成される。
単語適合度リスト生成部31は、ユーザ端末2から供給された3種類の指定色に基づいて、単語テーブル62に記憶されている複数の単語毎に、ユーザにより指定された3種類の指定色との総合的な相関の度合いを表す総合相関強度が登録された単語適合度リストを生成する。
候補曲リスト生成部32は、単語適合度リスト生成部31により生成された単語適合度リストと、データベース34に記憶されている出現回数テーブル64とを参照して、複数の候補曲のリストを表す候補曲リスト(楽曲リスト)を生成する。
楽曲配信部33は、ユーザ端末2からの、楽曲をユーザ端末2にダウンロードするためのダウンロード要求、又はユーザが楽曲をダウンロードする前などに楽曲を試聴するための試聴要求に基づき、データベース34に記憶されている楽曲データテーブル65に基づいて、ユーザの選択操作により選択された楽曲の音声データ又はその一部を読み出し、ユーザ端末2に供給する。楽曲データテーブル65には、複数の楽曲(の音声データが記憶された場所を示すアドレス)と、楽曲のタイトルIDとを結びつけたものが、リストとして登録されている。
なお、楽曲配信部33は、ユーザ端末2からのダウンロード要求が通知された場合、ユーザ端末2に対して、ダウンロード要求に対応する楽曲をダウンロードするために必要なユーザIDとパスワードとを要求し、ユーザ端末2からのユーザIDとパスワードとに基づいて、正当なアクセスであると判定したときに限り、ダウンロード要求に対応する楽曲を、ユーザ端末2に供給することが可能である。
データベース34は、単語適合度リストを生成するために参照される色テーブル61乃至相関強度テーブル63、候補曲リストを生成するために参照される出現回数テーブル64、及びユーザに配信する楽曲を検索するために参照される楽曲データテーブル65を記憶している。また、データベース34には、楽曲の音声データそのものを記憶している。
なお、色テーブル61乃至相関強度テーブル63は、予め行われる、複数の被験者を対象とした認知実験の実験結果に基づいて生成される。この認知実験の詳細については、図11乃至図13を参照して後述する。
次に、図4乃至図6を参照して、単語適合度リスト生成部31による単語適合度リスト生成方法を説明する。
図4は、データベース34に記憶されている色テーブル61の一例を示している。
色テーブル61には、M種類の候補色C(m)(を表すデータ)と、その候補色C(m)を一意に識別する候補色ID[m]が対応付けられている。なお、変数mとしては、値0からM-1までの自然数(0を含む)が採用される。
図5は、データベース34に記憶されている単語テーブル62の一例を示している。
単語テーブル62には、J個の単語N(j)(を表すデータ)と、その単語を一意に識別する単語ID[j]が対応付けられている。なお、変数jとしては、値0からJ-1までの自然数が採用される。
また、J個の単語N(j)は、データベース34に記憶される複数の楽曲の歌詞すべてに対して、歌詞を名詞等の単語に分割する形態素解析(図14で後述する)を行うことにより得られた単語である。
図6は、データベース34に記憶されている相関強度テーブル63の一例を示している。
相関強度テーブル63には、候補色C(m)と、単語N(j)のすべての組合せに対し、その相関の度合いを表す相関強度Weight(C(m),N(j))が対応付けられている。
なお、ここでいう相関強度Weight(C(m),N(j))とは、ある色C(m)が想起されたときに、ある単語N(j)が想起される確率である。詳細は図11乃至図13を参照して後述するが、認知実験の結果から求められるものである。
また、複数の候補色C(0)乃至C(M-1)のうち、ユーザにより指定された指定色を表す色IDをID[k]とし、その指定色をC(ID[k])とする。そして、複数の候補色C(0)乃至C(M-1)のうち、ユーザにより指定された3種類の指定色を、それぞれ、C(ID[k]|k=0),C(ID[k]|k=1)、及びC(ID[k]|k=2)とする。
なお、以下の説明において、記載の便宜上、C(ID[k])をCk(m)、C(ID[k]|k=0)をC0(m)、C(ID[k]|k=1)をC1(m)、及びC(ID[k]|k=2)をC2(m)として、それぞれ記述する。
単語適合度リスト生成部31は、複数の候補色C(0)乃至C(M-1)のうち、ユーザにより指定された3種類の指定色(以下、指定色C0(m),C1(m)、及びC2(m)ともいう)(を表す色ID)が、ユーザ端末2から通知されると、指定色C0(m),C1(m)、及びC2(m)毎に、それぞれ対応付けられた単語N(j)の相関強度Weight(Ck(m),N(j))を、相関強度テーブル63から読み出す。
そして、単語適合度リスト生成部31は、次式(1)に示すように、指定色C0(m),C1(m)、及びC2(m)毎に対応付けられた単語N(j)の相関強度Weight(Ck(m),N(j))それぞれを加算し、その加算結果T(N(j))を、単語N(j)と指定色C0(m),C1(m)及びC2(m)との総合的な相関強度を表す総合相関強度T(N(j))として算出する。
ただし、式(1)において、単語ID[j]の単語N(j)の総合相関強度T(N(j))は、指定色Ck(m)と、単語N(j)との相関強度Weight(Ck(m),N(j))の総和(サメーション)を表している。なお、定数Kは指定色の個数を表しており、変数kは、値0からK-1までの自然数が採用される。
単語適合度リスト生成部31は、図7に示すように、算出した単語N(j)と、総合相関強度T(N(j))を対応付けた単語適合度リストを生成し、候補曲リスト生成部32に供給する。
次に、図8を参照して、候補曲リスト生成部32による候補曲リスト生成方法を説明する。
図8は、データベース34に記憶されている出現回数テーブル64の一例を示している。
出現回数テーブル64には、複数の楽曲xのタイトルを一意に識別するタイトルID[x]毎に、楽曲xのタイトル、楽曲xの歌詞L(x)、及び歌詞L(x)毎に単語N(j)が出現する回数を表す出現回数A(L(x),N(j))が対応付けられている。
候補曲リスト生成部32は、次式(2)に示すように、単語適合度リスト生成部31からの単語適合度リスト(図7)の総合相関強度T(N(j))と、出現回数テーブル64の出現回数A(L(x),N(j))とに基づき、楽曲xの歌詞L(x)毎に、歌詞L(x)と、指定色Ck(m)の組合せ(例えば3種類の指定色C0(m),C1(m)及びC2(m))との適合の度合いを表す適合度S(L(x),Ck(m))を算出する。
ただし、式(2)において、適合度S(L(x),Ck(m))は、総合相関強度T(N(j))と、出現回数A(L(x),N(j))との積和演算による演算結果を表している。なお、定数Jは単語N(j)の総数を示しており、変数jとしては、値0からJ-1までの自然数が採用される。
候補曲リスト生成部32は、図9に示すように、算出した適合度S(L(x),Ck(m))が例えば上位5位までの楽曲のタイトル(適合度S(L(x),Ck(m))が、上位5位の適合度S(L(x),Ck(m))以上である楽曲のタイトル)を、適合度S(L(x),Ck(m))が高い(大きい)順序で登録した候補曲リストを生成し、ユーザ端末2に送信する。
なお、所定の楽曲の音声を聴取したときに連想される指定色と、所定の楽曲の歌詞を構成する複数の単語のうちのいくつかを単語群とし、その単語群を見たときに連想される指定色とは、本出願人が複数の被験者を対象として行った後述する認知実験(第1及び第2の認知実験)による実験結果から、ほぼ合致することがわかっている。
したがって、上述した式(2)の適合度S(L(x),Ck(m))とは、楽曲xの音声と、指定色Ck(m)(例えば3種類の指定色C0(m),C1(m)及びC2(m))との適合の度合いを表すものといえる。
このため、適合度S(L(x),Ck(m))が高い程に、楽曲xを聴取したときに得られる印象(例えば、失恋したときの情景や、暗いイメージ、明るいイメージなど)と、指定色Ck(m)を見たときに連想される印象との合致の度合いが高いものとなる。
次に、図10のフローチャートを参照して、図3の情報処理装置1が行う候補曲リスト生成処理を説明する。
この候補曲リスト生成処理は、例えば、ユーザ端末2から単語適合度リスト生成部31に対して、指定色C0(m),C1(m)、及びC2(m)(の色ID)が通知されたときに、開始される。
ステップS1において、単語適合度リスト生成部31は、ユーザ端末2からの指定色C0(m),C1(m)、及びC2(m)毎に、それぞれ対応付けられた単語N(j)の相関強度Weight(Ck(m),N(j))(k=0,1,2)を、相関強度テーブル63から読み出す。
ステップS2において、単語適合度リスト生成部31は、式(1)に示すように、指定色C0(m),C1(m)、及びC2(m)毎に対応付けられた単語N(j)の相関強度Weight(Ck(m),N(j))それぞれを加算し、その加算結果T(N(j))を、単語N(j)と指定色C0(m),C1(m)及びC2(m)との総合的な相関強度を表す総合相関強度T(N(j))として算出する。
ステップS3において、単語適合度リスト生成部31は、式(1)を用いて算出した単語N(j)の総合相関強度T(N(j))を、単語N(j)に対応付けた単語適合度リストを生成し、候補曲リスト生成部32に供給する。
ステップS4において、候補曲リスト生成部32は、出現回数テーブル64から、楽曲xの歌詞L(x)に対する単語N(j)の出現回数A(L(x),N(j))を読み出す。
ステップS5において、候補曲リスト生成部32は、式(2)に示すように、単語適合度リスト生成部31からの単語適合度リストより総合相関強度T(N(j))を読み出し、その総合相関強度T(N(j))、及びステップS4で読み出した出現回数A(L(x),N(j))に基づき、楽曲xの歌詞L(x)毎に、歌詞L(x)と、指定色Ck(m)の組合せ(例えば3種類の指定色C0(m),C1(m)、及びC2(m))との適合の度合いを表す適合度S(L(x),Ck(m))を算出する。
ステップS6において、候補曲リスト生成部32は、式(2)を用いて算出した適合度S(L(x),Ck(m))が例えば上位5位までの楽曲のタイトルを、適合度S(L(x),Ck(m))が高い順序で登録した候補曲リストを生成し、ユーザ端末2に送信する。これにより、ユーザ端末2の表示部2Aは、候補曲リスト生成部32から受信した候補曲リストを操作画面の検索結果エリア15に表示する。
以上で、候補曲リスト生成処理は終了される。
候補曲リスト生成処理では、例えば、ユーザは、その日の気分に応じて指定色を指定するだけで、指定された指定色から連想される楽曲が登録された候補曲リストを取得することができる。このため、ユーザは、その日の気分に応じて、いわばゲーム感覚で指定色を指定することで、どのような楽曲が取得されるかを楽しむことができる。
ところで、本出願人は、所定の楽曲の歌詞を構成する複数の単語のうちのいくつかを単語群とし、その単語群を被験者が見たときに連想される指定色を、複数の被験者により指定させる第1の認知実験(図12を参照して後述)を行った。そして、所定の楽曲の単語群を見たときに連想される指定色として、複数の被験者が、ほぼ同一の指定色を指定したとの実験結果が得られた。
また、本出願人は、複数の被験者に所定の楽曲を聴取させた上で、所定の楽曲から連想される色を指定させるとともに、所定の楽曲を聴取したことがあるか否か、及び所定の楽曲が好きか否かを(例えば5段階評価)選択させる第2の認知実験を行った。そして、被験者が所定の楽曲を聴取したことがあるか否か、及び所定の楽曲が好きか否かに拘わらず、所定の楽曲を聴取したときに連想される指定色として、複数の被験者が、ほぼ同一の指定色を指定したとの実験結果が得られた。
さらに、第1及び第2の認知実験による実験結果から、所定の楽曲の単語群を見たときに連想される指定色と、所定の楽曲を聴取したときに連想される指定色とは、ほぼ同一の指定色となることがわかった。
したがって、所定の楽曲の歌詞には、所定の楽曲を聴取したときに連想される状況場面(例えば、海で泳いでいる状況場面)を表現する単語(例えば、「海」、「浮き輪」、「水着」等)が含まれていることが多いことが推認される。
このため、候補曲リスト生成処理では、楽曲xの歌詞L(x)から予め生成された相関強度テーブル63等に基づいて、単語適合度リストを生成し、生成した単語適合度リストから候補曲リストを生成することとした。
よって、指定色(例えば、「青色」、「肌色」等)から連想されると思われる状況場面(例えば、海で泳いでいる状況場面)を表現する単語(例えば、「海」、「浮き輪」、「水着」等)を、比較的、総合相関強度T(N(j))が大きい単語として登録した単語適合度リストを取得することができる。また、そのような単語適合度リストから候補曲リストを生成しない従来の検索システム(例えば、第1及び第2の色検索システム等)と比較して、よりユーザが所望する候補曲を得ることができる。
次に、図11は、図1の情報処理装置1の第2の構成例を示している。
なお、図中、図3に示された第1の構成例に対応する部分については同一の符号を付してあり、以下、その説明は適宜省略する。
すなわち、情報処理装置1の第2の構成例は、第1の構成例(図3)に対して、新たに形態素解析部91及びテーブル生成部92が設けられたものである。
形態素解析部91には、データベース34に記憶される複数の楽曲の歌詞L(0)乃至L(X-1)すべてが供給される。
形態素解析部91は、そこに供給された歌詞L(x)(x=0,1,…,X-1)を名詞等の単語N(j)に分割する形態素解析を行い、その結果得られた単語N(j)の歌詞L(x)に出現した出現回数A(L(x),N(j))を算出し、出現回数テーブル64を生成する。形態素解析部91は、生成した出現回数テーブル64をデータベース34に供給し記憶させる。
テーブル生成部92には、色テーブル61乃至相関強度テーブル63を生成するための生成用データとして、予め行われた第1の認知実験による実験結果が供給される。
テーブル生成部92は、供給された生成用データに基づいて、色テーブル61乃至相関強度テーブル63を生成し、データベース34に供給して、記憶させる。
ここで、第1の認知実験について、図12を参照し説明する。なお、この第1の認知実験は、複数の被験者を対象として予め行われ、1人につき1回ずつ回答させる。
第1の認知実験においては、各被験者が、それぞれ、楽曲xの歌詞L(x)に出現する出現回数A(L(x),N(j))が多い上位4つの単語からなる単語群SET(x)毎に、単語群SET(x)から連想される3種類の指定色を、M種類の候補色C(0)乃至C(M-1)の中から指定する。なお、単語群SET(x)は、4つの単語の集まりに限定されず、2つ、3つ、又は5つ以上の単語の集まりを、単語群SET(x)として採用することが可能であるが、単語群SET(x)は、4つ以上の単語の集まりとすることが望ましい。
すなわち、例えば、ある被験者が、図12左側の単語群「愛」「春」「桜」「花」を見た場合に、その単語群から「赤色」「水色」「黄色」を連想したとき、図12右側に示すように、複数の候補色のうち、「赤色」「水色」「黄色」の3種類を指定色として指定する。
すべての被験者について指定色の指定が行われた後、第1の認知実験は終了する。
第1の認知実験から得られた実験結果である生成用テーブルの一例を図13に示す。
生成用テーブルは、楽曲xの歌詞L(x)に出現する出現回数A(L(x),N(j))が多い上位4つの単語からなる単語群SET(x)毎に、該単語群SET(x)から色C(m)が複数の被験者により指定された回数を表す連想回数Num(SET(x),C(m))を対応付けている。
この第1の認知実験で得られた実験結果(生成用テーブル)を用いて、テーブル生成部92は、ある色C(m)が想起されているときに、ある単語N(j)が想起される確率、すなわち相関強度Weight(C(m),N(j))を算出する。
次に、テーブル生成部92が、相関強度Weight(C(m),N(j))を算出する算出方法について説明する。テーブル生成部92は、この生成用テーブルから、次式(3)を用いて、複数の連想回数Num(SET(x),C(m))のうち、単語N(j)を含む単語群SET(x)を見たときにユーザが色C(m)を連想した連想回数Num(SET(x),C(m))の総和Score(C(m),N(j))を算出する。但し、式(3)において、単語N(j)が単語群SET(x)に含まれない場合、連想回数Num(SET(x),C(m))は値0とする。
また、テーブル生成部92は、Score(C(m),N(j))から、次式(4)を用いて、色C(m)と単語N(j)との相関強度Weight(C(m),N(j))を算出する。
そして、テーブル生成部92は、色C(m)の色ID[m]、単語N(j)の単語ID[j]、及び相関強度Weight(C(m),N(j))を対応付けた相関強度テーブル63を生成し、データベース34に供給して、記憶させる。
また、テーブル生成部92は、他の算出方法により、相関強度Weight(C(m),N(j))を算出することが可能である。次に、テーブル生成部92が、相関強度Weight(C(m),N(j))を算出する他の算出方法について説明する。
上述の通り、相関強度Weight(C(m),N(j))は、ある色C(m)が想起されているときに、ある単語N(j)が想起される確率であるため、ある事象の基で他の事象が発生する確率を算出することが可能なベイズの定理からも求められる。すなわち、テーブル生成部92は、次式(5)を用いて、相関強度Weight(C(m),N(j))を算出することができる。
ここで、P(N(j))は次式(6)により、P(C(m)|N(j))は次式(7)により、それぞれ表される。
式(6)及び(7)により、P(C(m)|N(j))P(N(j))は次式(8)により表される。
ゆえに、相関強度Weight(C(m),N(j))は、次式(9)から直接求めることができる。
なお、上述したように、所定の楽曲の単語群を見たときに連想される指定色と、所定の楽曲を聴取したときに連想される指定色とは、ほぼ同一の指定色となることがわかっている。
したがって、第1の認知実験により得られた連想回数Num(SET(x),C(m))は、所定の楽曲を聴取したときに、指定色C(m)を連想した回数といえる。
ところで、情報処理装置1の第1の構成例(図3)及び第2の構成例(図11)では、複数の被験者に対して行った第1の認知実験の実験結果に基づいて、予め生成された相関強度テーブル63を用いて、単語適合度リスト生成部31が単語適合度リストを生成し、その単語適合度リスト等に基づいて、候補曲リスト生成部32が候補曲リストを生成することとした。したがって、候補曲リスト生成部32が生成する候補曲リストは、一般性があるといえる。
しかしながら、候補曲リストに登録された複数の候補曲が、ユーザにより指定された指定色から連想されたものとなる精度を向上させるためには、ユーザの操作がフィードバックされて、相関強度テーブル63は、よりユーザ個人の嗜好や感性等に適したものとなるように更新されることが望ましい。
次に、図14は、相関強度テーブル63がユーザの操作に応じて更新される情報処理装置1の第3の構成例を示している。
なお、図中、図11に示された第2の構成例に対応する部分については同一の符号を付してあり、以下、その説明は、適宜省略する。
すなわち、情報処理装置1の第3の構成例は、第2の構成例に対して、楽曲配信部33及びテーブル生成部92に代えて、楽曲配信部121及びテーブル生成部123が設けられている。また、新たにフィードバック管理部122が設けられている。その他については、第2に構成例と同様に構成される。
楽曲配信部121乃至テーブル生成部123は、ユーザにより試聴された候補曲が、その後、ダウンロード要求されたことに対応して、相関強度テーブル63を更新する第1のフィードバック処理を行う。第1のフィードバック処理は、図15を参照して後述する。
また、フィードバック管理部122、及びテーブル生成部123は、ユーザにおける、候補曲リストの候補曲(の音声)と指定色Ck(m)との適合の度合いを表すユーザ適合度をユーザに入力させることに対応し、相関強度テーブル63を更新する第2のフィードバック処理を行う。第2のフィードバック処理は、図16を参照して後述する。
さらに、フィードバック管理部122、及びテーブル生成部123は、ユーザ適合度が低い候補曲に適合する適合色をユーザに入力させることに対応し、相関強度テーブル63を更新する第3のフィードバック処理を行う。第3のフィードバック処理は、図17を参照して後述する。
次に、図15のフローチャートを参照して、第1のフィードバック処理を説明する。
ステップS31において、楽曲配信部121は、ユーザにより試聴された候補曲xが、その後、ダウンロード要求されたか否かを判定する。そして、楽曲配信部121は、ユーザによる試聴後、ダウンロード要求されたと判定した場合のみ、ダウンロード要求された候補曲xのタイトルID[x]を、フィードバック管理部122に供給し、処理は、ステップS32に進められる。
これは、楽曲配信部121が、ユーザによる試聴後、ダウンロード要求されたと判定した場合には、ユーザにとって、候補曲x(の音声)と指定色Ck(m)との適合度S(L(x),Ck(m))が高いと考えられるためである。したがって、試聴された候補曲xが、その後、ダウンロード要求された場合には、ステップS32乃至ステップS34において、候補曲x(の音声)と、指定色Ck(m)との適合度S(L(x),Ck(m))が高くなるように、相関強度テーブル63を更新する処理を行う。
すなわち、ステップS32において、フィードバック管理部122は、楽曲配信部121からの候補曲xのタイトルID[x]に基づいて、候補曲xの歌詞L(x)を構成する単語N(j)のうち、出現回数A(L(x),N(j))が上位4位までの4つの単語を、候補曲xの単語群SET(x)として、出現回数テーブル64から読み出す。
フィードバック管理部122には、単語適合度リスト生成部31から、指定色Ck(m)が供給される。
フィードバック管理部122は、単語適合度リスト生成部31からの指定色Ck(m)と、出現回数テーブル64から読み出した単語群SET(x)とにより特定される連想回数Num(SET(x),Ck(m))に加算する修正用データとして、予め定められた値を生成する。
また、フィードバック管理部122は、生成した修正用データを、指定色Ck(m)及び単語群SET(x)とともに、テーブル生成部123に供給する。
ステップS33において、テーブル生成部123は、フィードバック管理部122からの指定色Ck(m)及び単語群SET(x)により特定される、予め供給された生成用テーブルの連想回数Num(SET(x),Ck(m))に、フィードバック管理部122からの修正用データを加算して、新たな生成用テーブルを生成する。
ステップS34において、テーブル生成部123は、生成した新たな生成用テーブルに基づいて、新たな相関強度テーブル63を生成し、データベース34に供給して、上書きする形で記憶させる。以上で、第1のフィードバック処理は終了される。
なお、ステップS31において、楽曲配信部121は、試聴された候補曲xが、その後、ダウンロード要求されなかったと判定した場合、ステップS32乃至ステップS34をスキップして、新たな生成用テーブルを生成することは行わずに、第1のフィードバック処理は終了される。
この第1のフィードバック処理は、ダウンロードされた候補曲から連想される指定色と、ユーザにより指定された指定色とが合致するように、ユーザの操作に応じて、新たな生成用テーブルを生成するようにしているので、予めデータベース34に記憶されている相関強度テーブル63と比較して、ユーザが所望する楽曲(候補曲)をより正確に取得するための相関強度テーブル63を生成することが可能となる。
次に、図16のフローチャートを参照して、第2のフィードバック処理を説明する。
ステップS61において、例えば、ユーザが候補曲リストに登録された候補曲xをダウンロードした場合、フィードバック管理部122は、ユーザにおける、候補曲x(の音声)と指定色Ck(m)との適合の度合いを表すユーザ適合度の入力を促すユーザ適合度入力画面(を表す画像データ)を生成し、ユーザ端末2の表示部2Aに表示させる。
このとき、ユーザ端末2の表示部2Aには、ユーザによりダウンロードされた候補曲xのユーザ適合度として、例えば、「かなり合致していた」、「まあまあ合致していた」、及び「全く合致していない」等の選択項目が表示される。
ユーザ端末2は、ユーザが入力部2Bを操作することにより、ユーザ端末2の表示部2Aに表示された複数の選択項目のうちのいずれかを選択したことに対応して、ユーザにより選択された選択項目を表す選択項目情報を、候補曲xのタイトルID[x]とともに、フィードバック管理部122に供給する。
ステップS62において、フィードバック管理部122は、ユーザ端末2からの候補曲xのタイトルID[x]に基づいて、候補曲xの歌詞L(x)を構成する単語N(j)のうち、出現回数A(L(x),N(j))が上位4位までの4つの単語を、候補曲xの単語群SET(x)として、出現回数テーブル64から読み出す。
フィードバック管理部122には、単語適合度リスト生成部31から、指定色Ck(m)が供給される。
フィードバック管理部122は、単語適合度リスト生成部31からの指定色Ck(m)と、出現回数テーブル64から読み出した単語群SET(x)とにより特定される連想回数Num(SET(x),Ck(m))に加算する修正用データとして、ユーザ端末2からの選択項目情報に応じた値を生成する。
すなわち、フィードバック管理部122は、ユーザ端末2からの選択項目情報に基づいて、「かなり合致していた」という選択項目が選択されたと判定した場合、修正用データとして、例えば値10を生成する。また、「まあまあ合致していた」という選択項目が選択されたと判定した場合、修正用データとして、例えば値5を生成する。さらに、「全く合致していない」という選択項目が選択されたと判定した場合、修正用データとして、例えば値−10を生成する。なお、修正用データの値は、10,5,−10に限定されない。
さらに、フィードバック管理部122は、生成した修正用データを、指定色Ck(m)及び単語群SET(x)とともに、テーブル生成部123に供給する。
ステップS63及びステップS64において、図15のステップS33及びステップS34と同様の処理が行われて、第2のフィードバック処理は終了される。
この第2のフィードバック処理においても、第1のフィードバック処理と同様に、ユーザが所望する楽曲をより正確に取得するための相関強度テーブル63を生成することが可能となる。
次に、図17のフローチャートを参照して、第3のフィードバック処理を説明する。
ステップS91において、フィードバック管理部122は、ユーザにおける、候補曲xと適合する3種類の適合色の入力を促す適合色入力画面(を表す画像データ)を生成し、ユーザ端末2の表示部2Aに表示させる。
このとき、ユーザ端末2の表示部2Aには、ユーザにより指定された指定色との適合度が低い候補曲xの適合色を入力する適合色入力画面が表示される。そして、ユーザが、適合色入力画面を参照して、3種類の適合色Ck(m)(k=0,1,2)を入力するのを待って、処理は、ステップS91からステップS92に進められる。
なお、Ck(m)は指定色として説明してきたが、図17を参照して行う説明では、説明の便宜上、Ck(m)は適合色として説明している。
ステップS92において、フィードバック管理部122は、ユーザ端末2からの候補曲xのタイトルID[x]に基づいて、生成用テーブルに登録された単語群SET(x)とは異なる他の単語群SET'(x)として、例えば、単語群SET(x)の単語以外であって、出現回数が上位4位までの単語を、出現回数テーブル64から読み出す。
ステップS93において、フィードバック管理部122は、出現回数テーブル64から読み出した他の単語群SET'(x)と、ユーザにより入力された適合色Ck(m)とにより特定される連想回数Num(SET'(x),Ck(m))に、例えば値1を加算する修正用データ(生成用テーブルに連想回数Num(SET'(x),Ck(m))が登録されていない場合には、連想回数Num(SET'(x),Ck(m))を値1として登録する修正用データ)を生成し、他の単語群SET'(x)及び適合色Ck(m)とともに、テーブル生成部123に供給する。
ステップS94及びステップS95において、図15のステップS33及びステップS34と同様の処理が行われて、第3のフィードバック処理は終了される。
第3のフィードバック処理では、生成用テーブルに登録されていない他の単語群SET'(x)であって、ユーザ個人の嗜好や感性等に適合すると思われる他の単語群SET'(x)が追加された新たな生成用テーブルするようにしているので、第1のフィードバック処理と同様に、ユーザが所望する楽曲をより正確に取得するための相関強度テーブル63を生成することが可能となる。
次に、図18は、図1の情報処理装置1の第4の構成例を示している。
なお、図中、図11に示された第2の構成例に対応する部分については同一の符号を付してあり、以下、その説明は適宜省略する。
すなわち、情報処理装置1の第4の構成例は、第2の構成例に対して、単語適合度リスト生成部31乃至楽曲配信部33に代えて、楽曲配信部151乃至色リスト生成部154が設けられたものである。
楽曲配信部151は、楽曲配信部33と同様の処理を行う他、ユーザ端末2により通知される楽曲xのダウンロード要求(楽曲xのタイトルID[x]を含む)に基づいて、楽曲xのタイトルID[x]を取得する。
候補曲リスト生成部152は、候補曲リスト生成部32と同様の処理を行う他、楽曲配信部151により取得されたタイトルID[x]に基づいて、楽曲xの歌詞L(x)に含まれる単語N(j)のうち、例えば出現回数A(L(x),N(j))が上位4位までの4つの単語Nk(j)(k=0,1,2,3)を出現回数テーブル64から読み出す。
なお、候補曲リスト生成部152が出現回数テーブル64から読み出す単語は、上位4位までの4つの単語Nk(j)に限定されず、上位1位、上位2位、上位3位、又は上位5位以上の単語を採用することが可能であるが、上位4位までの4つの単語Nk(j)であることが望ましい。
単語適合度リスト生成部153は、単語適合度リスト生成部31と同様の処理を行う他、相関強度テーブル63から相関強度Weight(C(m),N(j))を読み出す。
色リスト生成部154は、4つの単語Nk(j)と、相関強度Weight(C(m),N(j))とに基づいて、次式(10)を用いて、4つの単語Nk(j)毎に対応付けられた候補色C(m)の相関強度Weight(C(m),Nk(j))それぞれを加算し、その加算結果T(C(m))を、候補色C(m)と4つの単語Nk(j)との総合的な相関強度を表す総合相関強度T(C(m))として算出する。
ただし、式(10)において、総合相関強度T(C(m))は、候補色C(m)と、単語Nk(j)との相関強度Weight(C(m),Nk(j))の総和を表している。なお、定数Kは、式(1)の定数Kとは異なるものであり、候補曲リスト生成部152により出現回数テーブル64から読み出された単語Nk(j)の総数を示している。また、変数kは、値0からK-1までの自然数が採用される。
色リスト生成部154は、算出した総合相関強度T(C(m))が例えば上位3位までの3種類の候補色C(m)(総合相関強度T(C(m))が、上位3位の総合相関強度T(C(m))以上である候補色C(m))を、総合相関強度T(C(m))が高い順序で登録した色リスト(図19)を生成する。
次に、図20のフローチャートを参照して、色リスト生成処理を説明する。
この色リスト生成処理は、例えば、ユーザによる入力部2Bの操作により、楽曲xのタイトルが入力されたことに対応して、ユーザ端末2から楽曲配信部151に、楽曲xのダウンロード要求(楽曲xのタイトルID[x]を含む)が送信されたときに開始される。
ステップS121において、楽曲配信部151は、ユーザ端末2からのダウンロード要求に基づいて、ダウンロード要求された楽曲xのタイトルID[x]を取得し、候補曲リスト生成部152に供給する。
ステップS122において、候補曲リスト生成部152は、楽曲配信部151からのタイトルID[x]に基づいて、楽曲xの歌詞L(x)に含まれる単語N(j)のうち、例えば出現回数A(L(x),N(j))が上位4位までの4つの単語Nk(j)を、出現回数テーブル64から読み出し、色リスト生成部154に供給する。
ステップS123において、単語適合度リスト生成部153は、相関強度テーブル63から相関強度Weight(C(m),N(j))を読み出し、色リスト生成部154に供給する。
ステップS124において、色リスト生成部154は、候補曲リスト生成部152からの4つの単語Nk(j)と、単語適合度リスト生成部153からの相関強度Weight(C(m),N(j))とに基づいて、式(10)を用いて、4つの単語Nk(j)毎に対応付けられた候補色C(m)の相関強度Weight(C(m),Nk(j))それぞれを加算し、その加算結果T(C(m))を、候補色C(m)と4つの単語Nk(j)との総合的な相関強度を表す総合相関強度T(C(m))として算出する。
ステップS125において、色リスト生成部154は、ステップS124で算出した総合相関強度T(C(m))が例えば上位3位までの3種類の候補色C(m)を、総合相関強度T(C(m))が高い順序で登録した色リストを生成し、ユーザ端末2に供給する。
なお、ユーザ端末2においては、例えば、楽曲配信部151からダウンロードした楽曲の音声が、図示せぬスピーカから出力されるとともに、色リスト生成部154からの色リストに登録されている3種類の候補色Ck(m)を基調とした画像が、スピーカから出力される音声のリズム等に対応して表示部2Aに表示される。
以上で、色リスト生成処理は終了される。
図20の色リスト生成処理では、ユーザが、選択した楽曲のイメージに合致する色を、色リストとして取得することができる。
また、ユーザにより選択された楽曲のイメージに合致した色として、どのような色が取得されるかを、いわばゲーム感覚で楽しむことができる。このため、例えば、いわゆるカラオケ等で、ユーザが選択した楽曲が音声として出力されるとともに、その楽曲のイメージに合致した色の照明光を照らすこと等ができる。したがって、ユーザは、カラオケ等をより楽しむことができる。
例えば、図3に示される情報処理装置1の第1の構成例において、ユーザの指定操作により指定色が指定され、指定された指定色に基づいて、単語適合度リストを生成し、その単語適合度リストから候補曲リストを生成することとしたが、指定色を指定する指定方法は、これに限定されない。すなわち、例えば、画像を撮影可能なカメラ付きの携帯電話機等により、ユーザが撮影した画像を構成する複数の色のうち、最も使用頻度が高い3種類の色を指定色として指定することが可能である。
この場合、ユーザは、いわばゲーム感覚で撮影した画像から、候補曲リストを取得することができるため、ユーザが撮影した画像から、どのような候補曲が取得されるかを楽しむことができる。
また、指定方法としては、ユーザが撮影した画像に基づいて指定色を指定する他、ユーザに、複数の画像を提示して選択させ、選択された画像に基づいて指定色を指定するようにしてもよい。
さらに、ユーザが撮影した画像の他、ユーザが撮影した動画像に基づいて指定色を指定することが可能である。すなわち、例えば、ユーザが撮影した動画像を構成する複数の色のうち、最も使用頻度が高い3種類の色を指定色として指定するようにしてもよい。
その他、例えば、ユーザが撮影した動画像を構成する複数の画像毎に、最も使用頻度が高い3種類の色を抽出しておき、抽出された頻度が上位3位までの3種類の色を指定色として指定することが可能である。
また、指定方法としては、ユーザが撮影した動画像に基づいて指定色を指定する他、ユーザに、複数の動画像を提示して選択させ、選択された動画像に基づいて指定色を指定するようにしてもよい。
本実施の形態においては、候補色を35種類としたが、候補色の種類としては、事前の認知実験との整合性がとれる種類であれば、34種類以下、又は36種類以上を採用することが可能である。なお、テーブル生成部92では、候補色の種類に応じた生成用データから、相関強度テーブル63が生成される。
また、指定色を3種類としたが、指定色の種類としては、候補色の種類を超えない限度で、1種類、2種類、又は4種類以上を採用することが可能である。このことは、第3のフィードバック処理において、ユーザが、ステップS91で表示部2Aに表示された適合色入力画面を参照して入力した適合色Ck(m)についても同様のことがいえる。
さらに、入力された指定色の配色割合Ratio(C(m))(0≦m≦M-1)を用いることにより、ユーザが所望する楽曲を検索する楽曲検索精度を向上させることができる。なお、配色割合Ratio(C(0))乃至Ratio(C(M-1))の総和は1とされる。
すなわち、入力された指定色の配色割合Ratio(C(m))を用いることにより、楽曲検索精度を向上させる場合には、図10に示す候補曲リスト生成処理のステップS2において、単語適合度リスト生成部31は、次式(11)により、単語N(j)と指定色との総合相関強度T(N(j))を算出する。なお、ユーザによって指定された指定色の配色割合Ratio(C(m))以外については0とされる。例えば、ユーザが指定できる色(指定色)が3色の場合、指定された3色以外の配色割合Ratio(C(m))を0にする。
具体的には、候補曲リスト生成処理のステップS2において、単語適合度リスト生成部31は、入力された指定色のうち、例えばユーザが好きな指定色の配色割合Ratio(C(m))を、他の指定色の配色割合Ratio(C(m))よりも大きく設定するようにすれば、ユーザが好きな指定色と単語N(j)との相関が強く反映された総合相関強度T(N(j))を算出することができる。
この場合、候補曲リスト生成処理のステップS5において、候補曲リスト生成部32は、ユーザが好きな指定色と単語N(j)との相関が強く反映された総合相関強度T(N(j))と、出現回数A(L(y),N(j))から算出される適合度S(L(x),Ck(m))に基づいて、ユーザが好きな指定色との相関が強い楽曲を多く含む候補曲リストを生成することができる。
したがって、候補曲リスト生成処理のステップS2において、単語適合度リスト生成部31が、式(11)を用いて総合相関強度T(N(j))を算出する場合には、配色割合Ratio(C(m))を用いない式(1)を用いて算出する場合と比較して、ユーザが所望する楽曲を検索する楽曲検索精度をより向上させることが可能となる。
なお、候補曲リスト生成処理のステップS5において、候補曲リスト生成部32は、得られた総合相関強度T(N(j))と楽曲yにおける単語N(j)の出現回数A(L(y),N(j))から、楽曲毎に指定色との適合度S(L(x),Ck(m))を算出するようにしているが、勿論、認知実験で使用していない未知の楽曲yについても、指定色との適合度を算出することが可能である。
すなわち、候補曲リスト生成部32では、上述の各テーブルが作成されていれば、それらのテーブルを用いることで、認知実験で使用していない未知の楽曲y(の歌詞L(x))と指定色との適合度S(L(y),Ck(m))を、次式(12)により算出することができる。これにより、楽曲yの適合度S(L(y),Ck(m))を算出することが可能となるため、候補曲リスト生成処理のステップS6では、楽曲yを、候補曲リストに登録される楽曲の検索対象とすることができる。
候補曲リスト生成処理のステップS3では、単語適合度リスト生成部31が、式(1)を用いて算出した単語N(j)の総合相関強度T(N(j))を、単語N(j)に対応付けた単語適合度リストを生成することとした。しかしながら、例えば、単語適合度リストを、ユーザ端末2の表示部2Aに提示する場合等には、総合相関強度T(N(j))が大きい順序又は小さい順序で、対応する単語N(j)を総合相関強度T(N(j))とともに対応付けて登録した単語適合度リストを生成して提示したり、総合相関強度T(N(j))が大きい順序又は小さい順序で、対応する単語N(j)のみが登録された単語適合度リストを生成して提示することが可能である。
候補曲リスト生成処理のステップS6では、候補曲リスト生成部32が、適合度S(L(x),Ck(m))が上位5位までの楽曲のタイトルを、適合度S(L(x),Ck(m))が高い順序で登録した候補曲リストを生成することとしたが、生成される候補曲リストは、これに限定されない。
すなわち、例えば、候補曲リスト生成部32は、適合度S(L(x),Ck(m))が上位5位までの楽曲のタイトルを、適合度S(L(x),Ck(m))が低い順序で登録した候補曲リスト、又は、上位5位までの楽曲のタイトルに、対応する適合度S(L(x),Ck(m))を対応付けた候補曲リスト等を生成するようにしてもよい。
なお、候補曲リストに登録される楽曲のタイトルとしては、上位5位までの楽曲のタイトルを採用することとしたが、これに限定されず、その他、上位1位、上位2位、上位3位、上位4位、又は上位6位以上の楽曲のタイトルを採用することが可能である。
色リスト生成処理のステップS125では、色リスト生成部154が、総合相関強度T(C(m))が上位3位までの候補色C(m)を、総合相関強度T(C(m))が高い順序で登録した色リストを生成することとしたが、これに限定されない。
すなわち、例えば、色リスト生成部154は、総合相関強度T(C(m))が上位3位までの候補色C(m)を、総合相関強度T(C(m))が低い順序で登録した色リストを生成するようにしてもよいし、候補色C(m)を、対応する総合相関強度T(C(m))に対応付けた色リストを生成するようにしてもよい。
なお、色リストに登録される候補色としては、上位3位までの候補色を採用することとしたが、これに限定されず、その他、上位1位、上位2位、上位3位、上位4位、又は上位6位以上の候補色を採用することが可能である。
本実施の形態では、上述した図2に示したように、指定色エリア12において、ユーザにより指定された指定色を、扇形の領域に表示させることとしたが、その他、例えば、矩形の領域に表示させるようにしてもよい。また、指定色を文字として表示させるようにしてもよい。
図3の情報処理装置1としては、例えば、楽曲等のコンテンツを提供するサーバや、小型で持ち運び可能な記録再生装置等のコンピュータを採用することが可能である。
ところで、上述した一連の処理は、専用のハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、いわゆる組み込み型のコンピュータ、又は、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、記録媒体からインストールされる。
図21は、上述した一連の処理をプログラムにより実行するコンピュータの構成例を示している。なお、コンピュータの構成例は、これに限定されず、適宜、変更が可能である。
CPU(Central Processing Unit)201は、ROM(Read Only Memory)202、又は記憶部208に記憶されているプログラムに従って各種の処理を実行する。RAM(Random Access Memory)203には、CPU201が実行するプログラムやデータ等が適宜記憶される。これらのCPU201、ROM202、及びRAM203は、バス204により相互に接続されている。
CPU201にはまた、バス204を介して入出力インタフェース205が接続されている。入出力インタフェース205には、キーボード、マウス、マイクロホン等よりなる入力部206、ディスプレイ、スピーカ等よりなる出力部207が接続されている。CPU201は、入力部206から入力される指令に対応して各種の処理を実行する。そして、CPU201は、処理の結果を出力部207に出力する。
入出力インタフェース205に接続されている記憶部208は、例えばハードディスクからなり、CPU201が実行するプログラムや各種のデータを記憶する。通信部209は、インターネットやローカルエリアネットワーク等のネットワークを介して外部の装置と通信する。
また、通信部209を介してプログラムを取得し、記憶部208に記憶してもよい。
入出力インタフェース205に接続されているドライブ210は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア211が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータ等を取得する。取得されたプログラムやデータは、必要に応じて記憶部208に転送され、記憶される。
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録(記憶)する記録媒体は、図21に示すように、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む)、光磁気ディスク(MD(Mini-Disc)を含む)、もしくは半
導体メモリ等よりなるパッケージメディアであるリムーバブルメディア211、又は、プログラムが一時的もしくは永続的に格納されるROM202や、記憶部208を構成するハードディスク等により構成される。記録媒体へのプログラムの記録は、必要に応じてルータ、モデム等のインタフェースである通信部209を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の通信媒体を利用して行われる。
なお、記録媒体に記録されるプログラムは、上述した一連の処理をコンピュータに実行させるものであれば、どのようなプログラミング言語で記述されていてもよい。すなわち、例えば、記録媒体に記録されるプログラムは、JAVA(登録商標)言語、C言語、C#,Visual Basic、アセンブリ言語等の様々なプログラミング言語により記述されたものであってもよい。
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
さらに、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。