以下、図面を参照して、本発明の実施の形態について説明する。
図1は、本発明の一実施の形態である情報処理装置1と、情報処理装置1を操作するためのユーザ端末2とから成る情報処理システムを示し、以下概要を説明する。また、本発明の情報処理装置は、色彩に基づいて任意の文章情報を選択すること、また逆に任意の文章情報から連想される色彩を選択することができるが、以下の説明においては、文字情報が楽曲の歌詞である場合を例にして、色彩に基づいて文章(以下では、便宜上、楽曲ともいう)を選択する情報処理装置の概要を説明する。本明細書において、文章情報には、任意の歌詞、文章、および単語などの文章情報を含む。また、本明細書において、文章情報には、デキスト情報などのコンピュータで利用可能な任意の文字データを含む。
図1に示す情報処理システムでは、ユーザ端末2にてユーザにより指定色および指定色の配色割合が指定されると、ユーザ端末2はその指定色を示す色ID(identification)と指定色の配色割合を情報処理装置1に供給し、情報処理装置1は、その指定色(を示す色ID)と指定色の配色割合に基づき、ユーザに提示する楽曲の候補となる複数の候補曲(のタイトル等)を検索して、ユーザ端末2に供給する。さらにユーザ端末2にてユーザによるダウンロード要求等がされると、情報処理装置1は、所定の楽曲をユーザ端末2に供給する。
ユーザ端末2は、操作画面等を表示するLCD(Liquid Crystal Display)等の表示部2A、ユーザによる各種情報の入力に用いられるマウス、キーボード等の入力部2Bにより構成される。
図2は、ユーザ端末2の表示部2Aに表示される操作画面の表示例を示している。
図2を参照し、ユーザ端末2による各種情報の入力等操作方法について説明する。
この操作画面には、主に、ユーザの指定色の候補を表す複数の候補色を表示する候補色エリア21、複数の候補色のうち、ユーザにより指定された指定色(本実施の形態では3色)を表示する指定色エリア22、指定色を指定するときに操作されるラジオボタン24、指定色を指定するときに操作されるクリアボタン25、指定色の配色割合を指定するときに操作されるスライダ26、指定色に基づいて候補曲の検索を開始させるときに操作される検索ボタン27、検索により得られた複数の候補曲を表示する検索結果エリア23、および検索結果エリア23に表示された複数の候補曲から、ユーザにより選択された候補曲をダウンロードするときに操作されるダウンロードボタン28が設けられている。本実施の形態では、候補色エリア21の候補色は、35色としてある。
なお、図2においては、この操作画面の表示例は一例であって、配置、候補色数(後述)、項目等は、適宜変更可能である。
候補色エリア21において、ユーザによる入力部2Bの操作により、その候補色エリア21に表示される35色の候補色のうち、3色の指定色が指定されると、指定色エリア22において、その3色の指定色が表示される。なお、ユーザは、3色の指定色として、同一色を重複して指定することが可能である。
スライダ26において、ユーザによる入力部2Bの操作により、指定色の配色割合を指定することが可能である。
ユーザによる入力部2Bの操作により、検索ボタン27が押下されると、指定色エリア22に表示された3色の指定色を示す色ID(以下、単に、指定色ともいう)と指定色の配色割合が、ユーザ端末2から情報処理装置1に送信される。
その3色の指定色および指定色の配色割合に基づき、情報処理装置1は、複数の候補曲を検索し、検索結果をユーザ端末2に送信する。検索結果エリア23において、検索結果としての複数の候補曲が表示される。
ユーザによる入力部2Bの操作により、検索結果エリア23に表示された複数の候補曲のうちのいずれかが選択され、ダウンロードボタン28が押下されると、情報処理装置1からユーザ端末2に対し、選択された候補曲がダウンロードされる。
本実施の形態においては、候補色を35色としたが、候補色の種類としては、事前の心理実験との整合性がとれる種類であれば、34色以下、または36色以上を採用することが可能である。なお、テーブル生成部52(後述)では、候補色の種類に応じた生成用データ(後述)から、色彩テーブル301(後述)、単語テーブル302(後述)、連想確率テーブル303(後述)が生成される。
また、指定色を3色としたが、指定色の種類としては、候補色の種類を超えない限度で、1色、2色、または4色以上を指定することが可能である。
ところで、本発明にかかる情報処理装置1は、歌詞と色彩との連想度に関する心理実験の結果を利用するものである。そこで、まず心理実験につき以下詳述する。
本出願人は、所定の楽曲の歌詞を被験者が見たときに連想される色彩を、複数の被験者に回答させる第1の心理実験を行った。そして、所定の楽曲の歌詞を見たときに連想される色彩として、複数の被験者が、ほぼ同一の色彩を回答したとの実験結果が得られた。
第1の心理実験において、本出願人は、複数の被験者に対して、所定の楽曲の歌詞から色彩を連想するときに、色彩の連想に影響を与えた語も回答させている。また、第1の心理実験によって、本出願人は、複数の被験者が回答した、色彩の連想に影響を与えた語は、特定の語に集中していることを確認した。
以降の説明において、便宜上、第1の心理実験で得られた色彩の連想に影響を与えたと被験者が回答した語を、プリミティブワードと言うことにする。本出願人は、第1の心理実験により、プリミティブワードの影響度(後述)を得た。
また、本出願人は、複数の被験者に所定の楽曲を聴取させた上で、所定の楽曲から連想される色彩を、被験者に回答させるとともに、所定の楽曲を聴取したことがあるか否かを回答させる第2の心理実験を行った。また、第2の心理実験によって、本出願人は、被験者が所定の楽曲を聴取したことがあるか否かに関わらず、所定の楽曲を聴取したときに連想される色彩として、複数の被験者が、ほぼ同一の色彩を回答したとの実験結果を得た。
さらに、本出願人は、第1および第2の心理実験による実験結果を比較し、所定の楽曲の歌詞を見たときに連想される色彩と、所定の楽曲を聴取したときに連想される色彩とは、ほぼ同一の色彩となることを確認した。
本出願人は、第1および第2の心理実験による実験結果の比較結果から、第1の心理実験で得た、それぞれのプリミティブワードを単独で見たときに連想される色彩を、複数の被験者に回答させる第3の心理実験を行った。そして、第3の心理実験により、所定のプリミティブワードを単独で見せたときに連想される所定の色彩の連想確率を得た。
次に、情報処理装置1の詳細について説明する。
図3は、図1の情報処理装置1の第1の構成例を示している。
この情報処理装置1は、クエリ色彩ベクトル生成部31、単語色彩ベクトル生成部32、歌詞色彩ベクトル生成部33、ベクトル類似度生成部34、候補曲リスト生成部35、楽曲配信部36、およびデータベース37により構成される。
データベース37は、色彩テーブル301、単語テーブル302、連想確率テーブル303、単語色彩ベクトルテーブル304、出現頻度テーブル305、歌詞色彩ベクトルテーブル306、楽曲データテーブル307、および楽曲の音声データからなる。
色彩テーブル301は、複数の色彩と、複数の色彩に対応する識別番号とを記憶している。
単語テーブル302は、複数の単語と、複数の単語に対応する識別番号と、記憶している単語が、第1の心理実験で得られたプリミティブワードであるかを判断するための識別値(後述)とを記憶している。ただし、複数の単語とは、第3の心理実験で使用したプリミティブワードと、未知語(後述)の両方を含む。
連想確率テーブル303は、第3の心理実験結果から算出された、所定の単語が提示されたときに連想される、所定の色彩の連想確率を記憶している。
単語色彩ベクトルテーブル304は、後述する単語色彩ベクトルのデータを記憶している。
出現頻度テーブル305は、所定の楽曲の歌詞に含まれる、単語テーブルに記憶されている単語の出現頻度を記憶している。
歌詞色彩ベクトルテーブル306は、後述する歌詞色彩ベクトルのデータを記憶している。
楽曲データテーブル307は、ユーザに配信する複数の楽曲に対応する識別番号と、その楽曲に関するタイトルおよび、アーティスト名等を記憶している。
以降の説明において、色彩ベクトルとは、所定の色彩が連想される確率を表現するための、所定の色彩数の次元で構成されるベクトル空間上のベクトルを意味する。
クエリ色彩ベクトル生成部31は、ユーザ端末2から供給された3色の指定色および指定色の配色割合に基づいて、ユーザの所望する色彩ベクトルとして、クエリ色彩ベクトルを生成する。
単語色彩ベクトル生成部32は、単語テーブル302に記憶されている複数の単語と、色彩テーブル301に記憶されている複数の色彩と、連想確率テーブル303に記憶されている、所定の単語が提示されたときに連想される、所定の色彩の連想確率とを参照して、単語テーブル302に記憶されている複数の単語に対応する色彩ベクトルとしての単語色彩ベクトルを生成し、単語色彩ベクトルテーブル304に記憶する。
単語色彩ベクトルテーブル304は、図15に示すように、ある単語に対応する色彩ベクトルの全ての要素の値が記憶され、また、その単語がプリミティブワードであるかどうかを識別するためのプリミティブワード識別値が記憶されている。なお、図15において、プリミティブワード識別値はtrueあるいはfalseという値を想定しているが、プリミティブワードであるかどうかを識別できる値であれば、このような値に限定しない。
歌詞色彩ベクトル生成部33は、単語色彩ベクトルテーブル304を読み出し、読み出された単語色彩ベクトルと、出現頻度テーブル305に記憶されている、楽曲データとして記憶されている楽曲の歌詞に含まれる単語の出現頻度とを参照して、楽曲データテーブル307に記憶されている楽曲の歌詞に対応する色彩ベクトルとしての歌詞色彩ベクトルを生成し、歌詞色彩ベクトルテーブル306に記憶する。
ベクトル類似度生成部34は、楽曲データとして記憶されている楽曲毎に、歌詞色彩ベクトル生成部33により生成された歌詞色彩ベクトルを、歌詞色彩ベクトルテーブル306から読み出し、クエリ色彩ベクトル生成部31により生成されたクエリ色彩ベクトルと歌詞色彩ベクトルとの類似度を生成する。
候補曲リスト生成部35は、ベクトル類似度生成部34により生成された類似度に基づいて、複数の候補曲のリストを表す候補曲リスト(文章リスト)を生成する。
楽曲配信部36は、ユーザ端末2からの、楽曲をユーザ端末2にダウンロードするためのダウンロード要求、またはユーザが楽曲をダウンロードする前などに楽曲を試聴するための試聴要求に基づき、データベース37に記憶されている楽曲データテーブル307に基づいて、ユーザの選択操作により選択された楽曲の音声データまたはその一部を読み出し、ユーザ端末2に供給する。
ただし、楽曲データテーブル307には、複数の楽曲(楽曲の音声データが記憶された場所を示すアドレス)と、楽曲のタイトルIDとを結びつけたものが、リストとして登録されている。
なお、楽曲配信部36は、ユーザ端末2からのダウンロード要求が通知された場合、ユーザ端末2に対して、ダウンロード要求に対応する楽曲をダウンロードするために必要なユーザIDとパスワードとを要求し、ユーザ端末2からのユーザIDとパスワードとに基づいて、正当なアクセスであると判定したときに限り、ダウンロード要求に対応する楽曲を、ユーザ端末2に供給することが可能である。
次に、図3および図11を参照して、クエリ色彩ベクトル生成部31によるクエリ色彩ベクトルの生成方法を説明する。
図11は、データベース37に記憶されている色彩テーブル301の一例を示している。
色彩テーブル301には、C 色の候補色ci(を表すデータ)と、その候補色ciを一意に識別する色IDが対応付けられている。なお、添え字iとしては、値 0 からC-1までの自然数(0を含む)が採用される。
クエリ色彩ベクトルv(q)は、式(1)に示すC 個の要素から構成されるベクトルである。なお、式(1)に示すように、式(1)におけるv(q)の要素ei(q)の添え字iとしては、値 0 からC-1までの自然数(0を含む)が採用される。
ここで、式(1)におけるv(q)の要素ei(q)の値は、ユーザ端末2でユーザが指定した配色において、候補色ciの占める配色割合とする。
例えば、ユーザがユーザ端末2において、入力クエリとして、c0、 c1、 c2の3色を1:2:7の配色割合で指定した場合、c0、 c1、 c2に対応するクエリ色彩ベクトルv(q)の要素e0(q)、 e1(q)、 e2(q)の値は、e0(q) = 0.1、 e1(q) =
0.2、 e2(q) = 0.7となり、残りのv(q)の要素は0となる。
以上が、クエリ色彩ベクトルの生成方法である。
次に、図3、図12および図13を参照して、単語色彩ベクトル生成部32による単語色彩ベクトルの生成方法を説明する。
図12は、データベース37に記憶されている単語テーブル302の一例を示している。
図12に示すように、単語テーブル302には、W 種類の単語 wj (を表すデータ)と、その単語wjを一意に識別する単語IDが対応付けられている。なお、添え字jとしては、値 0 からW-1までの自然数(0を含む)が採用される。
また、図12に示すように、単語テーブル302には、単語がプリミティブワードであるかを示す、プリミティブワード識別値も対応付けられている。ただし、以降では、便宜上、プリミティブワードである場合はtrue、プリミティブワードでない場合はfalseの値をとることにする。
ただし、単語テーブル302に、初期段階として、記憶されている単語は、本出願人が行った第1の心理実験によって得られたプリミティブワードである。
単語テーブル302は、後述の未知語情報推定部61によって、プリミティブワード以外の単語を記憶することもできる。
また、図13は、データベース37に記憶されている連想確率テーブル303の一例を示している。
連想確率テーブル303には、候補色ciと単語wjの全ての組み合わせに対して、その連想確率の度合いを表す連想確率p(ci|wj)が対応付けられている。
ただし、ここで言う連想確率 p(ci|wj)とは、単語wjが与えられたときに、候補色ciが連想される連想確率である。
この連想確率p(ci|wj)は、本出願人が行った第3の心理実験から得られたものである。
単語wjの単語色彩ベクトルv(wj)は、式(2)に示すC個の要素から構成されるベクトルである。
ただし、式(2)におけるv(wj)の要素ei(wj)の添え字iとしては、値 0 からC-1までの自然数(0を含む)が採用される。
ここで、式(2)におけるv(wj)の要素ei(wj)の値は、単語wjが与えられたときに、候補色ciが連想される確率である。
したがって、式(3)に示すように、式(2)におけるei(wj)の値は、連想確率テーブル303における、色彩IDがiかつ単語IDがjの連想確率p(ci|wj)である。
以上が、単語色彩ベクトルの生成方法である。
次に、図3、図14、図15、図16を参照して、歌詞色彩ベクトル生成部33による歌詞色彩ベクトルの生成方法を説明する。
図14は、データベース37に記憶されている出現頻度テーブル305の一例を示している。
出現頻度テーブル305には、M種類の楽曲の歌詞lmを一意に識別する楽曲IDとW種類の単語wjを一意に識別する単語IDが記憶されており、lm毎およびwj毎に、lmにおけるwjの出現頻度f(lm,wj)が対応付けられている。
ただし、歌詞lmの添え字mの値としては0からM-1までの自然数(0を含む)が採用され、単語wjの添え字jの値としては0からW-1までの自然数(0を含む)が採用される。
図15は、データベース37に記憶されている単語色彩ベクトルテーブル304の一例を示している。
単語色彩ベクトルテーブル304には、W種類の単語wjを一意に識別する単語IDとC種類の色彩ciを一意に識別する色彩IDが記憶されており、wj毎およびci毎に、wjの提示からのciの想起確率p(ci|wj)が対応付けられている。
ただし、単語wjの添え字jの値としては0からW-1までの自然数(0を含む)が採用され、色彩ciの添え字iの値としては0からC-1までの自然数(0を含む)が採用される。
図16は、データベース37に記憶されている歌詞色彩ベクトルテーブル306の一例を示している。
歌詞色彩ベクトルテーブル306には、M種類の楽曲の歌詞lmを一意に識別する楽曲IDとC種類の色彩ciを一意に識別する色彩IDが記憶されており、lm毎およびci毎に、lmの提示からのciの想起確率p(ci | lm)が対応付けられている。
ただし、歌詞lmの添え字mの値としては0からM-1までの自然数(0を含む)が採用され、色彩ciの添え字iの値としては0からC-1までの自然数(0を含む)が採用される。
歌詞色彩ベクトル生成部33は、出現頻度テーブル305から出現頻度を読み出し、単語色彩ベクトルテーブル304から単語色彩ベクトルを読み出し、式(4)によって、楽曲の歌詞lmに対応する歌詞色彩ベクトルv(lm)を算出し、図16に示すように、v(lm) の全ての要素の値を歌詞色彩ベクトルテーブル306に記憶する。
ただし、式(4)において、P(lm)は、全てのプリミティブワードのうち歌詞lmに出現するプリミティブワードの集合、f(lm,wj)はlmにおけるプリミティブワードwj∈P(lm)の出現頻度、v(wj)はプリミティブワードwjの単語色彩ベクトルである。
以上が、歌詞色彩ベクトルの生成方法である。
次に、図3を参照して、ベクトル類似度生成部34によるクエリ色彩ベクトルと歌詞色彩ベクトルの類似度(以降、ベクトル類似度ともいう)の算出方法を説明する。
ベクトル類似度生成部34は、歌詞色彩ベクトルテーブル306に記憶された歌詞色彩ベクトルv(lm)毎に、v(lm)とクエリ色彩ベクトルv(q)のベクトル類似度Sim(v(lm),v(q))を算出する。
歌詞色彩ベクトルv(lm)とクエリ色彩ベクトルv(q)のベクトル類似度Sim(v(lm),v(q))は、式(5)に示すように、v(lm)とv(q)とのコサイン類似度によって算出される。
以上が、クエリ色彩ベクトルと歌詞色彩ベクトルの類似度の算出方法である。
候補曲リスト生成部35は、図17に示すような、ベクトル類似度生成部34が算出したベクトル類似度Sim(v(lm),v(q))が、例えば上位20位までの楽曲のタイトル(Sim(v(lm),v(q))が、上位20位以内に含まれる楽曲のタイトル)をSim(v(lm),v(q))が大きい順序に並べられた候補曲リストを生成し、ユーザ端末2に送信する。
なお、所定の楽曲の音声を聴取したときに連想される色彩と、所定の楽曲に対応する歌詞を提示したときに連想される色彩とは、本出願人が複数の被験者を対象として行った、前述の心理実験(第1および第2の心理実験)による実験結果から、ほぼ合致することが分かっている。
したがって、上述した式(5)のベクトル類似度Sim(v(lm),v(q))とは、歌詞lmに対応する楽曲の音声と、所定の指定色およびその指定色の配色割合(例えば、3色の指定色とその指定色の配色割合)から算出されるクエリ色彩ベクトルとの類似度を表すものと言える。
このため、ベクトル類似度Sim(v(lm), v(q))が大きい程に、歌詞lmに対応する楽曲を聴取したときに得られる印象と、所定の指定色およびその指定色の配色割合を見たときに連想される印象の合致の度合いが高いものとなる。
次に、図4のフローチャートを参照して、図3の情報処理装置1が行う候補曲リスト生成処理を説明する。
この候補曲リスト生成処理は、例えば、ユーザ端末2からクエリ色彩ベクトル生成部31に対して、所定の指定色(の色彩ID)およびその指定色の配色割合が通知されたときに、開始される。
ただし、図3の情報処理装置1が行う候補曲リスト生成処理よりも前に、予め、単語色彩ベクトル生成部32および歌詞色彩ベクトル生成部33によって、歌詞色彩ベクトルを表す情報が、歌詞色彩ベクトルテーブル306に記憶されている。
ステップS1において、クエリ色彩ベクトル生成部31は、ユーザ端末2からの指定色および指定色の配色割合に基づいて、クエリ色彩ベクトルv(q)を算出する。ただし、クエリ色彩ベクトルv(q)の生成方法は、クエリ色彩ベクトル生成部31の詳細説明のとおりである。
ステップS2において、ベクトル類似度生成部34は、歌詞色彩ベクトルテーブル306から、歌詞色彩ベクトルを読み出す。
ステップS3において、ベクトル類似度生成部34は、クエリ色彩ベクトル生成部31によって算出されたクエリ色彩ベクトルと、ステップS2で読み出した全ての楽曲の歌詞色彩ベクトルとの類似度を算出する。ただし、ベクトル類似度生成部34における類似度の算出方法は、ベクトル類似度生成部34の詳細説明のとおりである。
ステップS4において、候補曲リスト生成部35は、図17に示すように、ベクトル類似度生成部34が算出したベクトル類似度が、例えば上位20位までの楽曲のタイトルを、ベクトル類似度が大きい順序で並べられた候補曲リストを生成し、ユーザ端末2に送信する。これにより、ユーザ端末2の表示部2Aは、候補曲リスト生成部35から受信した候補曲リストを操作画面の検索結果エリア23に表示する。
以上で、候補曲リスト生成処理は終了される。
候補曲リスト生成処理では、例えば、ユーザは、その日の気分に応じて指定色およびその配色割合を指定するだけで、指定された割合の指定色から連想される楽曲が並べられた候補曲リストを取得することができる。このため、ユーザは、その日の気分に応じて、いわばゲーム感覚で指定色を指定することで、どのような楽曲が取得されるかを楽しむことができる。
図5は、図1の情報処理装置1の第2の構成例を示している。
なお、図中、図3に示された第1の構成例に対応する部分については同一の符号を付してあり、以下、その説明は適宜省略する。
すなわち、情報処理装置1の第2の構成例は、第1の構成例(図3)に対して、新たに形態素解析部51およびテーブル生成部52が設けられたものであり、これにより、情報処理装置1に提供される新たな楽曲の歌詞を解析し、その楽曲を新たに情報処理装置1での検索対象とすることができる。
形態素解析部51には、データベース37に記憶される複数の楽曲の歌詞すべてが供給される。
形態素解析部51は、形態素解析部51に供給された歌詞lmを名詞等の品詞に分割する形態素解析を行い、その結果得られた、歌詞lmにおける単語wjの出現頻度f(lm, wj)を算出し、算出されたf(lm,
wj)を新たに出現頻度テーブル305に供給し記憶させる。
テーブル生成部52には、色彩テーブル301乃至連想確率テーブル303を生成するための生成用データとして、予め行われた第3の心理実験による実験結果が供給される。
すなわち、生成用データは、図19に示すように、所定の単語を被験者に提示したときに所定の色彩を連想した被験者の人数で構成されるデータである。
ただし、図19において、n(ci, wj)は単語wjを提示したときに色彩ciを連想した被験者の人数を表す。
テーブル生成部52は、供給された生成用データに基づいて、色彩テーブル301乃至連想確率テーブル303に関するデータを生成し、データベース37に供給して、記憶させる。
したがって、本出願人が行った第3の心理実験と同様の実験結果を生成用データとしてテーブル生成部52に供給することで、テーブル生成部52によって、色彩テーブル301乃至連想確率テーブル303に関するデータを追加あるいは更新することができる。
図6は、図1の情報処理装置1の第3の構成例を示している。
なお、図中、図5に示された第2の構成例に対応する部分については同一の符号を付してあり、以下、その説明は適宜省略する。
すなわち、情報処理装置1の第3の構成例は、第2の構成例(図5)に対して、新たに、未知語情報推定部61が設けられたものである。
なお、以降の説明において、便宜上、コーパス(後述)に含まれる単語のうち、プリミティブワード以外の語を未知語と表記する。
未知語情報推定部61は、与えられたコーパスから大量の未知語を抽出し、潜在的意味解析(以後、LSAと表記する)を用いて、プリミティブワード以外の大量の未知語に関する単語色彩ベクトルを推定し、未知語および推定した未知語の色彩ベクトルを、新しく追加データとして、単語テーブル302と単語色彩ベクトルテーブル304に供給し、記憶させるものである。
LSAとは、コーパスを用いて、図10に示すような、コーパスに含まれる文書毎の索引語の出現回数で構成される索引語・文書行列Dを作成し、Dを特異値分解することによって意味空間を作成し、作成された意味空間上の索引語ベクトルを用いて、索引語どうしの類似度を得る手法である。
LSAは、Dの特異値分解に基づき、Dを構成する索引語ベクトルを、k次元の意味空間における索引語ベクトルに圧縮する技術である。
ただし、Dを構成する文書ベクトルの総数をNとすると、kの値には1からNまでの任意の自然数が採用される。
LSAを用いることで、潜在的な意味の類似性に基づいて表現された索引語ベクトルを扱うことができるようになる。
次に、図6を参照して、未知語情報推定部61による未知語の色彩ベクトルの推定方法を説明する。
情報処理装置1の第1の構成例および情報処理装置1の第2の構成例では、歌詞色彩ベクトル生成部33に供給される単語色彩ベクトルは、第3の心理実験において使用されたプリミティブワードに関する単語色彩ベクトルのみに限定されるため、歌詞色彩ベクトル生成部33が使用できる単語色彩ベクトルの総数は非常に少ないという問題点が挙げられる。
未知語情報推定部61は、コーパスから大量の未知語を抽出し、LSAを用いて、第3の心理実験において使用されなかった大量の未知語に関する色彩ベクトルを推定し、それらの未知語および推定されたそれらの未知語の色彩ベクトルを、単語テーブル302と単語色彩ベクトルテーブル304に供給することで、この問題点を解決する。
未知語情報推定部61は、単語色彩ベクトルテーブル304に記憶されているプリミティブワードの単語色彩ベクトルとLSAによって得られたプリミティブワードと未知語の類似度を用いて、コーパスに出現する未知語に関する単語色彩ベクトルを推定する。
まず、未知語情報推定部61は、コーパスを形態素解析し、索引語・文書行列Dを作成した後、LSAによって、Dを構成するa番目の索引語ベクトルに対応する索引語waに関する、k次元の意味空間上の索引語ベクトルv(wa) (k)を算出する。
ただし、Dを構成する索引語ベクトルの総数をLとし、aの値には 0 からL -1までの自然数が採用される。
未知語情報推定部61は、索引語・文書行列Dを構成する全ての索引語に対応するk次元の意味空間上の索引語ベクトルを算出した後、算出された索引語waに対応するk次元の意味空間上の索引語ベクトルv(wa)(k)を用いて、式(6)に示すように、v(wa)(k)と索引語wbに対応するk次元の意味空間上の索引語ベクトルv(wb)(k)のコサイン類似度Sim(v(wa)(k),v(wb)(k))を算出する。
ただし、索引語wbは、索引語waと同様に、索引語・文書行列Dを構成するb番目の索引語ベクトルに対応する索引語であり、bの値には0からL-1までの自然数が採用される。
未知語情報推定部61は、式(6)に基づいて、コーパス中に出現する全ての索引語ベクトルどうしのコサイン類似度を算出する。
未知語情報推定部61は、式(7)に示すように、算出されたコサイン類似度とプリミティブワードの単語色彩ベクトルを用いて、未知語wxの単語色彩ベクトルv(wx)を算出する。
ただし、未知語wxは索引語・文書行列Dを構成するx番目の索引語ベクトルに対応する索引語であり、xの値には0 からL-1までの自然数が採用される。
ただし、式(7)において、Pは全てのプリミティブワードの集合、v(wj)はプリミティブワードwj∈Pの単語色彩ベクトル、Sim(wx,wj)は未知語wxとwjのコサイン類似度、P(wx,θ)はwjのうちSim(wx,wj)が閾値θ以上であるものの集合である。
未知語情報推定部61は、式(7)に基づいて算出された各未知語に関する単語色彩ベクトルを単語色彩ベクトルテーブル304に供給し、記憶させる。
そして、未知語情報推定部61は、未知語を新たなデータとして単語テーブル302に供給し、記憶させる。
ただし、このとき、未知語情報推定部61は、未知語のプリミティブワード識別値をfalseとして記憶させることで、歌詞色彩ベクトル生成部33に対して、プリミティブワードと未知語の識別を可能にしておく。
また、未知語情報推定部61の処理において、類似度としてコサイン類似度を採用したが、類似度としては、コサイン類似度に限定しない。
以上で、未知語情報推定処理は終了される。
次に、図6を参照して、歌詞色彩ベクトル生成部33による、歌詞色彩ベクトルの生成方法を説明する。
歌詞色彩ベクトル生成部33は、出現頻度テーブル305から出現頻度を読み出し、単語色彩ベクトルテーブル304から単語色彩ベクトルを読み出し、楽曲の歌詞lmに対応する歌詞色彩ベクトルv(lm)を算出し、図16に示すように、v(lm)の全ての要素の値を歌詞色彩ベクトルテーブル306に記憶する。
ただし、歌詞色彩ベクトル生成部33は、楽曲の歌詞lmに対応する色彩ベクトルv(lm)の算出において、プリミティブワード識別値を読み取ることに基づき、プリミティブワードのみの単語色彩ベクトルを使用するか、プリミティブワードと未知語の両方の単語色彩ベクトルを使用するかに関して、自由に選択することができる。
すなわち、歌詞色彩ベクトル生成部33は、プリミティブワードのみの単語色彩ベクトルを使用する場合、式(8)によって楽曲の歌詞lmに対応する色彩ベクトルv(lm)を算出し、プリミティブワードと未知語の両方の単語色彩ベクトルを使用する場合、式(9)によってv(lm)を算出する。
ただし、式(8)および式(9)において、P(lm)は全てのプリミティブワードのうち歌詞lmに出現するプリミティブワードの集合、f(lm,wj)はlmにおけるプリミティブワードwj∈P(lm)の出現頻度、v(wj)はプリミティブワードwjの単語色彩ベクトル、U(lm)は全ての未知語のうちlmに出現する未知語の集合、f(lm,wx)はlmにおける未知語wx∈U(lm)の出現頻度、v(wx)は未知語wxの単語色彩ベクトルである。
図7は、図1の情報処理装置1の第4の構成例を示している。
なお、図中、図6に示された第3の構成例に対応する部分については同一の符号を付してあり、以下、その説明は適宜省略する。
すなわち、情報処理装置1の第4の構成例は、第3の構成例(図6)に対して、新たに、楽曲色彩リスト生成部71が設けられたものであり、第1乃至第3の構成例に示す、第1の側面とは異なり、ユーザが楽曲を指定し、その指定された楽曲から連想される確率の高い色彩のリスト(以降、楽曲色彩リストともいう)を生成する、第2の側面を有する。
楽曲色彩リスト生成部71を設けることにより、情報処理装置1は、図18に示すような、所定の楽曲から連想される確率の高い順に並べられた色彩のリストを生成し、生成された色彩のリストを、ユーザ端末2に送信する。
次に、図7を参照して、楽曲色彩リスト生成部71による楽曲色彩リストの生成方法を説明する。
楽曲色彩リスト生成部71は、ユーザ端末2で、ユーザから、所定の楽曲に対する楽曲色彩リスト生成要求を受信した場合、歌詞色彩ベクトルテーブル306から、所定の楽曲に対応する歌詞の歌詞色彩ベクトルデータを読み込む。
楽曲色彩リスト生成部71は、歌詞色彩ベクトルテーブル306から読み込んだ、所定の楽曲に対応する歌詞色彩ベクトルに基づいて、図18に示すような、当該歌詞色彩ベクトルにおける要素が大きい値を持つ順に、それらの要素に対応する色彩を並べた楽曲色彩リストを生成し、ユーザ端末2に送信する。
ユーザ端末2は、楽曲色彩リスト生成部71が送信した楽曲色彩リストに従って、ユーザに色彩を提示する。
なお、ユーザ端末2においては、例えば、楽曲配信部36からダウンロードした楽曲の音声が、図示せぬスピーカから出力されるとともに、楽曲色彩リスト生成部71から取得した、楽曲色彩リストの上位色を基調とした画像が、スピーカから出力される音声のリズム等に対応して、表示部2Aに表示させることも可能である。
以上で、楽曲色彩リスト生成処理は終了される。
楽曲色彩リスト生成部71による、楽曲色彩リスト生成処理では、ユーザが、選択した楽曲のイメージに合致する色を、図18に示すような、楽曲色彩リストとして取得することができる。また、第4の構成例による色彩リスト生成処理は、ユーザから指定された楽曲から連想される確率の高い色彩のリストを生成するにあたり、予め生成し記憶されている歌詞色彩ベクトルを用いて生成できるので、本出願人による先行技術文献の特許文献4よりも計算量が少なく、簡易な方法で生成できる利点がある。
また、楽曲色彩リスト生成部71によって、ユーザは、ユーザにより選択された楽曲のイメージに合致した色として、どのような色が取得されるかをゲーム感覚で楽しむことができる。このため、例えば、いわゆるカラオケ等で、ユーザが選択した楽曲が音声として出力されるとともに、その楽曲のイメージに合致した色の照明光を照らすこと等ができる。したがって、ユーザは、カラオケ等をより楽しむことができる。
例えば、図3に示される情報処理装置1の第1の構成例において、ユーザの指定操作により指定色が指定され、指定された指定色および指定色の配色割合に基づいて、クエリ色彩ベクトルを生成し、そのクエリ色彩ベクトルと歌詞色彩ベクトルとの類似度に基づいて、候補曲リストを生成することとしたが、指定色および指定色の配色割合を指定する指定方法は、これに限定されない。すなわち、例えば、画像を撮影可能なカメラ付きの携帯電話機等により、ユーザが撮影した画像を構成する複数の色のうち、最も使用頻度が高い3色の色彩および配色割合を、指定色および指定色の配色割合として指定することが可能である。
この場合、ユーザは、いわばゲーム感覚で、撮影した画像から候補曲リストを取得することができるため、ユーザが撮影した画像から、どのような候補曲が取得されるかを楽しむことができる。
また、指定方法としては、ユーザが撮影した画像に基づいて指定色および指定色の配色割合を指定する他、ユーザに、複数の画像を提示して選択させ、選択された画像に基づいて指定色および指定色の配色割合を指定するようにしてもよい。
さらに、ユーザが撮影した画像の他、ユーザが撮影した動画像に基づいて指定色を指定することが可能である。すなわち、例えば、ユーザが撮影した動画像を構成する複数の色彩のうち、最も使用頻度が高い3色の色彩および配色割合を、指定色および指定色の配色割合として指定するようにしてもよい。
その他、例えば、ユーザが撮影した動画像を構成する複数の画像毎に、最も使用頻度が高い3色の色彩を抽出しておき、抽出された3色の色彩および配色割合を、指定色および指定色の配色割合として指定することが可能である。
また、指定方法としては、ユーザが撮影した動画像に基づいて指定色および指定色の配色割合を指定する他、ユーザに、複数の動画像を提示して選択させ、選択された動画像に基づいて指定色および指定色の配色割合を指定するようにしてもよい。
ただし、上述の説明において、指定色を3色としたが、指定色の数としては、候補色の色数を超えない限度で、1色、2色、または4色以上を指定することが可能である。
図8は、図1の情報処理装置1の第5の構成例を示している。
なお、図中、図7に示された第4の構成例に対応する部分については同一の符号を付してあり、以下、その説明は適宜省略する。
すなわち、情報処理装置1の第5の構成例は、第4の構成例(図7)に対して、新たに、テキスト色彩リスト生成部81が設けられたものである。
テキスト色彩リスト生成部81を設けることにより、情報処理装置1は、図18に示すような、ユーザ端末2から送信されたテキスト情報から連想される確率の高い順に色彩を並べた色彩リスト(以降、テキスト色彩リストともいう)を生成し、生成されたテキスト色彩リストを、ユーザ端末2に送信するものであり、第4の構成例に示す第2の側面とは異なり、ユーザが指定する情報を楽曲に限定せず、テキスト情報全般に対して、指定されたテキスト情報から連想される確率の高い色彩リストを生成する、第3の側面を有する。
次に、図8を参照して、テキスト色彩リスト生成部81によるテキスト色彩リスト生成方法を説明する。
テキスト色彩リスト生成部81は、ユーザ端末2からテキスト色彩リスト生成要求とテキスト色彩リスト生成対象となるテキスト情報を受信すると、単語色彩ベクトルテーブル304から単語色彩ベクトルのデータを読み込む。
テキスト色彩リスト生成部81は、ユーザ端末2から受信したテキスト情報tを形態素解析し、tに含まれる、情報処理装置1が利用できる単語wj毎の出現頻度f(t, wj)を算出する。ただし、この出現頻度の算出処理に関しては、プリミティブワードに関する処理だけでなく、未知語情報推定部61によって、新たに利用可能になった未知語に関する同様の処理も含まれる。
テキスト色彩リスト生成部81は、情報処理装置1が利用できる全ての単語に対して、各単語の出現頻度を算出した後、テキスト情報tに含まれる各単語の出現頻度と単語色彩ベクトルテーブル304から読み込んだ単語色彩ベクトルを用いて、tに対応する色彩ベクトルv(t)を算出する。
ただし、テキスト色彩リスト生成部81は、テキスト情報tに対応する色彩ベクトルv(t)の算出において、プリミティブワード識別値を読み取ることに基づき、プリミティブワードのみの単語色彩ベクトルを使用するか、プリミティブワードと未知語の両方の単語色彩ベクトルを使用するかに関して、自由に選択することができる。
すなわち、テキスト色彩リスト生成部81は、プリミティブワードのみの単語色彩ベクトルを使用する場合、式(10)によってテキスト情報tに対応する色彩ベクトルv(t)を算出し、プリミティブワードと未知語の両方の単語色彩ベクトルを使用する場合、式(11)によってv(t)を算出する。
ただし、式(10)および式(11)において、P(t)は全てのプリミティブワードのうちテキスト情報tに出現するプリミティブワードの集合、f(t,wj)はtにおけるプリミティブワードwj∈P(t)の出現頻度、v(wj)はプリミティブワードwjの単語色彩ベクトル、U(t)は全ての未知語のうちテキスト情報tに出現する未知語の集合、f(t,wx)はtにおける未知語wx∈U(t)の出現頻度、v(wx)は未知語wxの単語色彩ベクトルである。
テキスト色彩リスト生成部81は、図18に示すように、式(10)および式(11)に基づいて算出されたテキスト情報tに対応する色彩ベクトルv(t)に関して、要素が大きい値を持つ順に色彩を並べたテキスト色彩リストを生成し、ユーザ端末2に送信する。
ユーザ端末2は、図18に示すような、テキスト色彩リスト生成部81が送信したテキスト色彩リストに従って、ユーザに色彩を提示する。
以上で、テキスト色彩リスト生成処理は終了される。
したがって、情報処理装置1の第5の構成例によって実現される、テキスト色彩リスト生成処理は、例えば、コンピュータ端末上に表示されるテキスト情報に対して、テキスト情報の内容に合致した色彩に基づき、コンピュータ端末の表示部の背景色を、自動的に変更する等にも、使用することができる。あるいは、前記テキスト色彩リスト生成処理は、プレゼンテーションソフト等により作成されたスライドのテキスト情報の内容に合致したスライド背景色を推薦する等にも使用することができる。あるいは、前記テキスト色彩リスト生成処理は、ブログ等や電子書籍等のテキスト情報の内容に合致した装飾のための色彩を推薦する等にも使用することができる。あるいは、前記テキスト色彩リスト生成処理は、テキスト情報の内容に合致した色彩の電子付箋を用いる等にも使用することができる。
すなわち、情報処理装置1の第5の構成例によって実現される、テキスト色彩リスト生成処理は、テキスト情報と色彩を結びつける目的のあらゆる分野において使用することができる。
また、情報処理装置1の第4の構成例では、歌詞色彩ベクトルテーブル306および楽曲データテーブル307に記憶されている、所定の楽曲に関する楽曲色彩リストしか生成できないが、情報処理装置1の第5の構成例では、テキスト情報あるいは歌詞情報さえあれば、どのようなテキストあるいは楽曲に対しても、文章色彩リストを生成することができる。
次に、情報処理装置1において、上記のような手順に加えて、さらに単語影響度を考慮してクエリとして与えられた色彩およびその配色割合からクエリに類似した色彩ベクトルを持つ楽曲または文章のリストを提示する情報処理装置1の第6の構成例について説明する。
上述のとおり、本出願人は、第1の心理実験により、所定の単語の影響度を得た。影響度とは、所定の単語を含む文章が提示されたときに、その単語を用いて色彩を想起する確率を示す。例えば、「雪が降る日」というテキスト情報から想起される色彩を選択させ、その際の色彩選択に影響を受けた単語を回答させるという課題において、被験者が「雪」を回答する確率が0.95、「降る」を回答する確率が0.05、「日」を回答する確率が0ということが起きるとする。このように、人がテキスト全体から何らかの色彩を想起する場合に、単語ごとに色彩想起への影響の与えやすさが異なることを考慮し、心理実験によって「影響度」を得て、この影響度を計算に入れている。
図20は、図1の情報処理装置1において単語影響度を考慮した第6の構成例を示している。
この情報処理装置1は、クエリ色彩ベクトル生成部31、単語色彩ベクトル生成部32、歌詞色彩ベクトル生成部33、ベクトル類似度生成部34、候補曲リスト生成部35、楽曲配信部36、およびデータベース37により構成される。
データベース37は、色彩テーブル301、単語テーブル302、連想確率テーブル303、単語色彩ベクトルテーブル304、単語影響度テーブル308、出現頻度テーブル305、歌詞色彩ベクトルテーブル306、楽曲データテーブル307、および楽曲の音声データからなる。
単語影響度テーブル308は、第1の心理実験結果から算出された所定の単語を含む文章あるいは歌詞が提示されたときに、その単語を用いて色彩を想起する確率を記憶している。
データベース37の残りのテーブルは、上記したとおりである。
歌詞色彩ベクトル生成部33は、単語影響度テーブル308と単語色彩ベクトルテーブル304を読み出し、読み出された単語影響度と、単語色彩ベクトルと、出現頻度テーブル305に記憶されている、楽曲データとして記憶されている楽曲の歌詞に含まれる単語の出現頻度を参照して、楽曲データテーブル307に記憶されている楽曲の歌詞に対応する色彩ベクトルとしての歌詞色彩ベクトルを生成し、歌詞色彩ベクトルテーブル306に記憶する。
クエリ色彩ベクトル生成部31は、上記のとおりにクエリ色彩ベクトルを生成する。また、単語色彩ベクトル生成部32は、上記のとおりに単語色彩ベクトルを生成し、単語色彩ベクトルテーブル304に記憶する。また、ベクトル類似度生成部34は、上記のとおりにクエリ色彩ベクトルと歌詞色彩ベクトルの類似度を生成する。また、候補曲リスト生成部35は、上記のとおりに候補曲リスト(楽曲リスト)を生成する。また、楽曲配信部36は、上記のとおりに機能する。
また、クエリ色彩ベクトル生成部31によるクエリ色彩ベクトルの生成方法および単語色彩ベクトル生成部32による単語色彩ベクトルの生成方法も、上記のとおりである。
次に、図20および図14、図15、図16、図25を参照して、歌詞色彩ベクトル生成部33による歌詞色彩ベクトルの生成方法を説明する。
図14は、データベース37に記憶されている出現頻度テーブル305の一例を示している。
出現頻度テーブル305には、M種類の楽曲の歌詞lmを一意に識別する楽曲IDとW種類の単語wjを一意に識別する単語IDが記憶されており、lm毎およびwj毎に、lmにおけるwjの出現頻度f(lm, wj)が対応付けられている。
ただし、歌詞lmの添え字mの値としては0からM-1までの自然数(0を含む)が採用され、単語wjの添え字jの値としては0からW-1までの自然数(0を含む)が採用される。
図25は、データベース37に記憶されている単語影響度テーブル308の一例を示している。
単語影響度テーブル308には、W種類の単語wjを一意に識別する単語IDが記憶されており、wj毎に、wjの単語影響度I(wj)が対応付けられている。
ただし、単語wjの添え字jの値としては0からW-1までの自然数(0を含む)が採用される。
ここで、単語影響度とは、所定の単語を含む歌詞が提示されたときに、その単語を用いて色彩を想起する確率を意味する。
すなわち、単語wjの影響度I(wj)の値は、wjを含む歌詞が提示されたときに、wjを用いて色彩を想起する確率であり、I(wj)の値は、本出願人が行った、第1の心理実験から得られたものである。
具体的には、単語wjの影響度I(wj)の値は、本出願人が行った、第1の心理実験において、単語wjを含む歌詞に対応する楽曲に関して、ある楽曲を提示された被験者のうち、その楽曲の歌詞の提示から色彩を想起する際に単語wjに影響を受けたと回答した被験者の割合の、楽曲1曲あたりの平均値である。
図15は、データベース37に記憶されている単語色彩ベクトルテーブル304の一例を示している。
単語色彩ベクトルテーブル304には、W種類の単語wjを一意に識別する単語IDとC種類の色彩ciを一意に識別する色彩IDが記憶されており、wj毎およびci毎に、wjの提示からのciの想起確率p(ci|wj)が対応付けられている。
ただし、単語wjの添え字jの値としては0からW-1までの自然数(0を含む)が採用され、色彩ciの添え字iの値としては0からC-1までの自然数(0を含む)が採用される。
図16は、データベース37に記憶されている歌詞色彩ベクトルテーブル306の一例を示している。
歌詞色彩ベクトルテーブル306には、M種類の楽曲の歌詞lmを一意に識別する楽曲IDとC種類の色彩ciを一意に識別する色彩IDが記憶されており、lm毎およびci毎に、lmの提示からのciの想起確率p(ci|lm)が対応付けられている。
ただし、歌詞lmの添え字mの値としては0からM-1までの自然数(0を含む)が採用され、色彩ciの添え字iの値としては0からC-1までの自然数(0を含む)が採用される。
歌詞色彩ベクトル生成部33は、単語影響度テーブル308から単語影響度を読み出し、出現頻度テーブル305から出現頻度を読み出し、単語色彩ベクトルテーブル304から単語色彩ベクトルを読み出し、式(12)によって、楽曲の歌詞lmに対応する歌詞色彩ベクトルv(lm)を算出し、図16に示すように、v(lm)の全ての要素の値を歌詞色彩ベクトルテーブル306に記憶する。
ただし、式(12)において、P(lm)は、全てのプリミティブワードのうち歌詞lmに出現するプリミティブワードの集合、f(lm,wj)はlmにおけるプリミティブワードwj∈P(lm)の出現頻度、I(wj)はプリミティブワードwjの影響度、v(wj)はプリミティブワードwjの単語色彩ベクトルである。
以上が、歌詞色彩ベクトルの生成方法である。
図20の情報処理装置1が行う候補曲リスト生成は、上述のとおり図4のフローチャートに従って処理される。
図21は、図1の情報処理装置1において影響度を考慮した第7の構成例を示している。
なお、図中、図20に示された第6の構成例に対応する部分については同一の符号を付してあり、以下、その説明は適宜省略する。
すなわち、情報処理装置1の第7の構成例は、第6の構成例(図20)に対して、新たに形態素解析部51およびテーブル生成部52が設けられたものであり、これにより、情報処理装置1に提供される新たな楽曲の歌詞を解析し、その楽曲を新たに情報処理装置1での検索対象とすることができる。
形態素解析部51には、データベース37に記憶される複数の楽曲の歌詞すべてが供給される。
形態素解析部51は、形態素解析部51に供給された歌詞lmを名詞等の品詞に分割する形態素解析を行い、その結果得られた、歌詞lmにおける単語wjの出現頻度f(lm,wj)を算出し、算出されたf(lm,
wj)を新たに出現頻度テーブル305に供給し記憶させる。
テーブル生成部52には、色彩テーブル301乃至連想確率テーブル303および単語影響度テーブル308を生成するための生成用データとして、予め行われた第1および第3の心理実験による実験結果が供給される。
すなわち、生成用データは、図26に示すように、所定の単語の影響度と、所定の単語を被験者に提示したときに所定の色彩を連想した被験者の人数で構成されるデータである。
ただし、図26において、I(wj)は単語wjの影響度を表し、n(ci,wj)は単語wjを提示したときに色彩ciを連想した被験者の人数を表す。
テーブル生成部52は、供給された生成用データに基づいて、色彩テーブル301乃至連想確率テーブル303および単語影響度テーブル308に関するデータを生成し、データベース37に供給して、記憶させる。
したがって、本出願人が行った第1および第3の心理実験と同様の実験結果を生成用データとしてテーブル生成部52に供給することで、テーブル生成部52によって、色彩テーブル301乃至連想確率テーブル303および単語影響度テーブル308に関するデータを追加あるいは更新することができる。
図22は、図1の情報処理装置1において影響度を考慮した第8の構成例を示している。
なお、図中、図21に示された第7の構成例に対応する部分については同一の符号を付してあり、以下、その説明は適宜省略する。
すなわち、情報処理装置1の第8の構成例は、第7の構成例(図21)に対して、新たに未知語情報推定部61が設けられたものである。
なお、以降の説明において、便宜上、コーパス(後述)に含まれる単語のうち、プリミティブワード以外の語を未知語と表記する。
未知語情報推定部61は、与えられたコーパスから大量の未知語を抽出し、潜在的意味解析(以後、LSAと表記する)を用いて、プリミティブワード以外の大量の未知語に関する単語影響度と単語色彩ベクトルを推定し、未知語および推定した未知語の影響度と色彩ベクトルを、新しく追加データとして、単語テーブル302と単語影響度テーブル308と単語色彩ベクトルテーブル304に供給し、記憶させるものである。
LSAの説明に関しては、上記に記載しているため省略する。
次に、図22を参照して、未知語情報推定部61による未知語の影響度と色彩ベクトルの推定方法を説明する。
情報処理装置1の第6の構成例および情報処理装置1の第7の構成例では、歌詞色彩ベクトル生成部33に供給される単語影響度と単語色彩ベクトルは、第3の心理実験において使用されたプリミティブワードに関する単語影響度と単語色彩ベクトルのみに限定されるため、歌詞色彩ベクトル生成部33が使用できる単語色彩ベクトルの総数は非常に少ないという問題点が挙げられる。
未知語情報推定部61は、コーパスから大量の未知語を抽出し、LSAを用いて、第3の心理実験において使用されなかった大量の未知語に関する影響度と色彩ベクトルを推定し、それらの未知語および推定されたそれらの未知語の影響度と色彩ベクトルを、単語テーブル302と単語影響度テーブル308と単語色彩ベクトルテーブル304に供給することで、この問題点を解決する。
未知語情報推定部61は、単語影響度テーブル308に記憶されているプリミティブワードの単語影響度と単語色彩ベクトルテーブル304に記憶されているプリミティブワードの単語色彩ベクトルとLSAによって得られたプリミティブワードと未知語の類似度を用いて、コーパスに出現する未知語に関する単語影響度と単語色彩ベクトルを推定する。
まず、未知語情報推定部61は、コーパスを形態素解析し、索引語・文書行列Dを作成した後、LSAによって、Dを構成するa番目の索引語ベクトルに対応する索引語waに関する、k次元の意味空間上の索引語ベクトルv(wa) (k)を算出する。
ただし、Dを構成する索引語ベクトルの総数をLとし、aの値には 0 からL -1までの自然数が採用される。
未知語情報推定部61は、索引語・文書行列Dを構成する全ての索引語に対応するk次元の意味空間上の索引語ベクトルを算出した後、算出された索引語waに対応するk次元の意味空間上の索引語ベクトルv(wa)(k)を用いて、式(13)に示すように、v(wa)(k)と索引語wbに対応するk次元の意味空間上の索引語ベクトルv(wb)(k)のコサイン類似度Sim(v(wa)(k),v(wb)(k))を算出する。
ただし、索引語wbは、索引語waと同様に、索引語・文書行列Dを構成するb番目の索引語ベクトルに対応する索引語であり、bの値には0からL-1までの自然数が採用される。
未知語情報推定部61は、式(13)に基づいて、コーパス中に出現する全ての索引語ベクトルどうしのコサイン類似度を算出する。
未知語情報推定部61は、式(14)に示すように、算出されたコサイン類似度とプリミティブワードの単語影響度とプリミティブワードの単語色彩ベクトルを用いて、未知語wxの単語影響度I(wx)と単語色彩ベクトルv(wx)を算出する。
ただし、未知語wxは索引語・文書行列Dを構成するx番目の索引語ベクトルに対応する索引語であり、xの値には0からL-1までの自然数が採用される。
ただし、式(14)において、Pは全てのプリミティブワードの集合、I(wj)はプリミティブワードwj∈Pの単語影響度、v(wj)はwjの単語色彩ベクトル、Sim(wx,wj)は未知語wxとwjのコサイン類似度、P(wx,θ)はwjのうちSim(wx,wj)が閾値θ以上であるものの集合である。
未知語情報推定部61は、式(14)に基づいて算出された各未知語に関する単語影響度を単語影響度テーブル308に供給し、記憶させる。
未知語情報推定部61は、式(14)に基づいて算出された各未知語に関する単語色彩ベクトルを単語色彩ベクトルテーブル304に供給し、記憶させる。
そして、未知語情報推定部61は、未知語を新たなデータとして単語テーブル302に供給し、記憶させる。
ただし、このとき、未知語情報推定部61は、未知語のプリミティブワード識別値をfalseとして記憶させることで、歌詞色彩ベクトル生成部33に対して、プリミティブワードと未知語の識別を可能にしておく。
また、未知語情報推定部61の処理において、類似度としてコサイン類似度を採用したが、類似度としては、コサイン類似度に限定しない。
以上で、未知語情報推定処理は終了される。
次に、図22を参照して、歌詞色彩ベクトル生成部33による、歌詞色彩ベクトルの生成方法を説明する。
歌詞色彩ベクトル生成部33は、単語影響度テーブル308から単語影響度を読み出し、出現頻度テーブル305から出現頻度を読み出し、単語色彩ベクトルテーブル304から単語色彩ベクトルを読み出し、楽曲の歌詞lmに対応する歌詞色彩ベクトルv(lm)を算出し、図16に示すように、v(lm)の全ての要素の値を歌詞色彩ベクトルテーブル306に記憶する。
ただし、歌詞色彩ベクトル生成部33は、楽曲の歌詞lmに対応する色彩ベクトルv(lm)の算出において、プリミティブワード識別値を読み取ることに基づき、プリミティブワードのみの単語影響度と単語色彩ベクトルを使用するか、プリミティブワードと未知語の両方の単語影響度と単語色彩ベクトルを使用するかに関して、自由に選択することができる。
すなわち、歌詞色彩ベクトル生成部33は、プリミティブワードのみの単語影響度と単語色彩ベクトルを使用する場合、式(15)によって楽曲の歌詞lmに対応する色彩ベクトルv(lm)を算出し、プリミティブワードと未知語の両方の単語影響度と単語色彩ベクトルを使用する場合、式(16)によってv(lm)を算出する。
ただし、式(15)および式(16)において、P(lm)は全てのプリミティブワードのうち歌詞lmに出現するプリミティブワードの集合、f(lm,wj)はlmにおけるプリミティブワードwj∈P(lm)の出現頻度、I(wj)はプリミティブワードwjの単語影響度、v(wj)はプリミティブワードwjの単語色彩ベクトル、U(lm)は全ての未知語のうちlmに出現する未知語の集合、f(lm,wx)はlmにおける未知語wx∈U(lm)の出現頻度、I(wx)は未知語wxの単語影響度、v(wx)は未知語wxの単語色彩ベクトルである。
図23は、図1の情報処理装置1において影響度を考慮した第9の構成例を示している。図23に示された第9の構成例は、上記第8の構成例のように単語影響度が考慮されることを除き、上記第4の構成例(図7)と同一であり、その説明は適宜省略する。
図24は、図1の情報処理装置1において単語影響度を考慮した第10の構成例を示している。
なお、図中、図23に示された第9の構成例に対応する部分については同一の符号を付してあり、以下、その説明は適宜省略する。
すなわち、情報処理装置1の第10の構成例は、第9の構成例(図23)に対して、新たにテキスト色彩リスト生成部81が設けられたものである。
テキスト色彩リスト生成部81を設けることにより、情報処理装置1は、図18に示すような、ユーザ端末2から送信されたテキスト情報から連想される確率の高い順に色彩を並べた色彩リスト(以降、テキスト色彩リストともいう)を生成し、生成されたテキスト色彩リストを、ユーザ端末2に送信するものであり、第4の構成例に示す第2の側面とは異なり、ユーザが指定する情報を楽曲に限定せず、テキスト情報全般に対して、指定されたテキスト情報から連想される確率の高い色彩リストを生成する、第3の側面を有する。
次に、図24を参照して、テキスト色彩リスト生成部81によるテキスト色彩リスト生成方法を説明する。
テキスト色彩リスト生成部81は、ユーザ端末2からテキスト色彩リスト生成要求とテキスト色彩リスト生成対象となるテキスト情報を受信すると、単語影響度テーブル308から単語影響度を読み込み、単語色彩ベクトルテーブル304から単語色彩ベクトルのデータを読み込む。
テキスト色彩リスト生成部81は、ユーザ端末2から受信したテキスト情報tを形態素解析し、tに含まれる、情報処理装置1が利用できる単語wj毎の出現頻度f(t, wj)を算出する。ただし、この出現頻度の算出処理に関しては、プリミティブワードに関する処理だけでなく、未知語情報推定部61によって、新たに利用可能になった未知語に関する同様の処理も含まれる。
テキスト色彩リスト生成部81は、情報処理装置1が利用できる全ての単語に対して、各単語の出現頻度を算出した後、テキスト情報tに含まれる各単語の出現頻度と単語影響度テーブル308から読み込んだ単語影響度と単語色彩ベクトルテーブル304から読み込んだ単語色彩ベクトルを用いて、tに対応する色彩ベクトルv(t)を算出する。
ただし、テキスト色彩リスト生成部81は、テキスト情報tに対応する色彩ベクトルv(t)の算出において、プリミティブワード識別値を読み取ることに基づき、プリミティブワードのみの単語影響度と単語色彩ベクトルを使用するか、プリミティブワードと未知語の両方の単語影響度と単語色彩ベクトルを使用するかに関して、自由に選択することができる。
すなわち、テキスト色彩リスト生成部81は、プリミティブワードのみの単語影響度と単語色彩ベクトルを使用する場合、式(17)によってテキスト情報tに対応する色彩ベクトルv(t)を算出し、プリミティブワードと未知語の両方の単語影響度と単語色彩ベクトルを使用する場合、式(18)によってv(t)を算出する。
ただし、式(17)および式(18)において、P(t)は全てのプリミティブワードのうちテキスト情報tに出現するプリミティブワードの集合、f(t,wj)はtにおけるプリミティブワードwj∈P(t)の出現頻度、I(wj)はプリミティブワードwjの単語影響度、v(wj)はプリミティブワードwjの単語色彩ベクトル、U(t)は全ての未知語のうちテキスト情報tに出現する未知語の集合、f(t,wx)はtにおける未知語wx∈U(t)の出現頻度、I(wx)は未知語wxの単語影響度、v(wx)は未知語wxの単語色彩ベクトルである。
テキスト色彩リスト生成部81は、図18に示すように、式(17)および式(18)に基づいて算出されたテキスト情報tに対応する色彩ベクトルv(t)に関して、要素が大きい値を持つ順に色彩を並べたテキスト色彩リストを生成し、ユーザ端末2に送信する。
ユーザ端末2は、図18に示すような、テキスト色彩リスト生成部81が送信したテキスト色彩リストに従って、ユーザに色彩を提示する。
以上で、テキスト色彩リスト生成処理は終了される。
なお、図24に示す第10の構成例に関する応用分野や利点については、情報処理装置1の第5の構成例に関する説明において述べた通りであり、その説明は適宜省略する。
本発明に関する全ての説明において、それぞれの添え字が意味する概念を一意に決定できる値であれば、添え字の値として採用した数値は、それぞれの添え字が使用される説明文で採用した値に限定しない。
上記の工程による色彩に基づいて文章リストを生成するための情報処理方法および文章に基づいて色彩を提示するための情報処理方法、すなわち、上述した一連の処理は、専用のハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、いわゆる組み込み型のコンピュータまたは各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、記録媒体からインストールされる。
したがって、本発明は、コンピュータに上述した一連の処理を実行させるために、コンピュータを上記した各手段として機能させるためのプログラムを提供する。
図9は、上述した一連の処理をプログラムにより実行するコンピュータの構成例を示している。なお、コンピュータの構成例は、これに限定されず、適宜、変更が可能である。
CPU(Central Processing Unit)901は、ROM(Read Only Memory)902、または記憶部908に記憶されているプログラムに従って各種の処理を実行する。RAM(Random Access Memory)903には、CPU901が実行するプログラムやデータ等が適宜記憶される。これらのCPU901、ROM902、およびRAM903は、バス904により相互に接続されている。
CPU901にはまた、バス904を介して入出力インタフェース905が接続されている。入出力インタフェース905には、キーボード、マウス、マイクロホン等よりなる入力部906、ディスプレイ、スピーカ等よりなる出力部907が接続されている。CPU901は、入力部906から入力される指令に対応して各種の処理を実行する。そして、CPU901は、処理の結果を出力部907に出力する。
入出力インタフェース905に接続されている記憶部908は、例えばハードディスクからなり、CPU 901が実行するプログラムや各種のデータを記憶する。通信部909は、インターネットやローカルエリアネットワーク等のネットワークを介して外部の装置と通信する。
また、通信部909を介してプログラムを取得し、記憶部908に記憶してもよい。
入出力インタフェース905に接続されているドライブ910は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア911が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータ等を取得する。取得されたプログラムやデータは、必要に応じて記憶部908に転送され、記憶される。
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録(記憶)する記録媒体は、図9に示すように、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-ReadOnly Memory)、DVD(Digital Versatile Disc)を含む)、光磁気ディスク(MD(Mini-Disc)を含む)、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア911、または、プログラムが一時的もしくは永続的に格納されるROM902や、記憶部908を構成するハードディスク等により構成される。記録媒体へのプログラムの記録は、必要に応じてルータ、モデム等のインタフェースである通信部909を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
なお、記録媒体に記録されるプログラムは、上述した一連の処理をコンピュータに実行させるものであれば、どのようなプログラミング言語で記述されていてもよい。すなわち、例えば、記録媒体に記録されるプログラムは、JAVA(登録商標)言語、C言語、C++、C#、Visual Basic、アセンブリ言語等の様々なプログラミング言語により記述されたものであってもよい。
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
さらに、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。