JP6495782B2 - 表情報提示装置、表情報提示方法、プログラム - Google Patents

Description

本発明は、音声合成技術・音声対話技術を用いて表形式の情報を伝達する技術に関する。

文字で表現された文章や表などの視覚により伝達される情報を、音声により代替的に伝達するための方法として、例えば一般的に利用されている音声合成システム・音声対話システムを活用する方法がある。このようなシステムの多くは、文章を構成する文字列・表に含まれる文字列を音声へ変換、再生することにより、ユーザに情報を伝達するものである。一方で、特に表形式で入力された視覚的情報を音声合成システムにより効率的にユーザに伝達する方法は考案されていない。

ここで、表情報A=(a_i,j)とは、行に関する添字iと列に関する添字jを指定することにより特定される情報a_i,jの集合のこととする。添字の対(i, j)のことをセル、セル(i, j)に対応する情報a_i,jのことをセル情報という。なお、行に関する添字i、列に関する添字jは、文字列、数値のいずれであってもよく、添字i、jいずれもその取り得る値の範囲がリストで表現されるものとする。また、セル情報a_i,jも文字列、数値のいずれであってもよい。表情報の例として、書籍に印刷された表、電子メディア内で扱われる表データ、システムに読み込まれたデータファイルなどを挙げることができる。表情報は、時間的に変動するものであってもよいし、そうでなくてもよい。

以下、図１〜図２を参照して音声合成技術を用いた表情報提示装置（以下、従来技術の表情報提示装置という）の概略を説明する。図１は、従来技術の表情報提示装置９の構成を示すブロック図である。図２は、従来技術の表情報提示装置９の動作を示すフローチャートである。図１に示すように従来技術の表情報提示装置９は、音声合成部９０１を含む。音声合成部９０１は、表情報に含まれるセル情報から読み上げるテキスト・音声を生成し再生する（Ｓ９０１）。この音声のことを合成音声という。つまり、合成音声とは、表情報を音声により伝達するために生成される音声のことである。なお、表情報は従来技術の表情報提示装置９に事前に読み込んでおき、伝達時に音声合成の対象とする表情報を特定する情報を指定するのでもよい。

表による情報伝達を行う際、その表のユーザにとって、表中のすべての情報が必要ではなく、一部の情報のみが必要であり、そのような情報が多くのユーザに共通することがある。その場合、音声による単純な情報伝達方法として、例えば表の情報を行ごとあるいは列ごとに順に読み上げるという方法を取るならば、その表の多くのユーザにとって所望の情報が得られるまでに長時間を要する、あるいはすべての情報を読み上げたあと得られなかったとわかることがある。このように、音声による単純な情報伝達方法では、ユーザの多くが必要とする情報を短時間で伝達することができない場合がある。

そこで、本発明では、表情報からその表情報のユーザにとって必要と推定される情報を選択し、合成音声でユーザに伝達する表情報伝達装置を提供することを目的とする。

本発明の一態様は、A=(a_i,j)を表情報（ただし、iは行に関する添字、jは列に関する添字、a_i,jは添字の対であるセル(i, j)に対応するセル情報）とし、前記表情報A=(a_i,j)から、所定の規則に従い、当該表情報のユーザにとって必要なセル情報a_i,jの集合である提示情報を選択する提示情報選択部と、前記提示情報から当該提示情報に含まれるセル情報a_i,jを読み上げる音声を合成する音声合成部とを含む。

本発明によれば、表情報からその表情報のユーザにとって必要と推定される情報を選択し、合成音声でユーザに伝達することにより、ユーザにとって必要と推定される情報を優先的に伝達することが可能となり、音声による表情報の伝達を短時間で行うことが可能となる。

従来技術の表情報提示装置９の構成を示すブロック図。 従来技術の表情報提示装置９の動作を示すフローチャート。 実施例１の表情報提示装置１の構成を示すブロック図。 実施例１の表情報提示装置１の動作を示すフローチャート。 実施例２の表情報提示装置２の構成を示すブロック図。 実施例２の表情報提示装置２の動作を示すフローチャート。 実施例３の表情報提示装置３の構成を示すブロック図。 実施例３の表情報提示装置３の動作を示すフローチャート。 実施例３の表情報提示装置３を構成する利用履歴変換部３０４の構成を示すブロック図。 実施例３の表情報提示装置３を構成する利用履歴変換部３０４の動作を示すフローチャート。 実施例３の表情報提示装置４の構成を示すブロック図。 実施例３の表情報提示装置４を構成する利用履歴変換部３１５の構成を示すブロック図。 実施例３の表情報提示装置４を構成する利用履歴変換部３１５の動作を示すフローチャート。

以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。

表情報、セル、セル情報、合成音声の定義は上述の従来技術における定義と同一とする。また、表情報の部分集合であって、表情報提示装置がその表情報のユーザにとって必要と推定するものを提示情報と呼ぶことにする。つまり、提示情報とは、ユーザにとって必要と推定される情報のことである。提示情報の例として、次のようなものがある。ただし、行に関する添字iの取り得る値は１以上I以下の整数、列に関する添字jの取り得る値は１以上J以下の整数であるとする。
（１） 行に関する添字iと列に関する添字jを指定することにより特定される添字の対であるセル(i, j)に対応するセル情報a_i,j
（２） 行に関する添字iのみを指定することにより特定される添字の対であるセル(i,1), (i,2),…, (i,J)に対応するセル情報a_i,1, a_i,2,…, a_i,J
（３） 列に関する添字jのみを指定することにより特定される添字の対であるセル(1,j), (2,j),…, (I,j)に対応するセル情報a_1,j, a_2,j,…, a_I,j

＜発明の要点＞
ある表情報について、その表情報のユーザが必要とする情報（その表情報のユーザにとって必要と推定されるべき情報）は、表情報全体ではなく、共通する一部の情報のみであることが多い点に着目し、そのような情報のみを選択しユーザに伝達することにより、短時間でユーザにとって必要と推定される情報を得られることを可能とする。

なお、表情報は、従来技術の表情報提示装置９と同様、実施例１〜３の表情報提示装置においても、事前に読み込んでおき、伝達時に音声合成の対象とする表情報を特定する情報を指定する形としてもよい。

以下、実施例１の表情報提示装置１について説明する。図３〜４を参照して、本実施例の表情報提示装置１の構成、および動作について説明する。図３は、本実施例の表情報提示装置１の構成を示すブロック図である。図４は、本実施例の表情報提示装置１の動作を示すフローチャートである。図３に示すように、本実施例の表情報提示装置１は、提示情報選択部１０１と、音声合成部１０２を含む。

提示情報選択部１０１は、表情報から所定の規則に従い提示情報を選択する（Ｓ１０１）。当該所定の規則は、当該表情報のユーザにとって必要なセル情報a_i,jの集合を決定するための規則であり、例えば、その表情報の中から優先して読み上げるべき語を事前に規則として指定しておき、当該語を含むセル情報を提示情報として選択するのでもよい。また、表情報の部分集合とそれに対する正誤（つまり、必要であるか否か）の組からなるデータを事前に作成し、統計モデルに基づく推定器による選択アルゴリズムを生成し、当該選択アルゴリズムを規則として提示情報を選択してもよい。音声合成部１０２は、提示情報選択部１０１が選択した提示情報から合成音声を生成し再生する（Ｓ１０２）。なお、音声合成部１０２は、従来技術の音声合成部９０１と同様の機能を有するものでよい。

提示情報選択部１０１が、所定の規則に従い表情報からその表情報のユーザにとって必要と推定される情報を提示情報として選択し、音声合成部１０２が合成音声によりユーザに伝達することにより、ユーザにとって必要と推定される情報を優先的に伝達することが可能となり、音声による表情報の伝達を短時間で行うことが可能となる。

実施例１では、所定の規則に従いその表情報のユーザにとって必要と推定される情報を提示情報として選択したが、その情報が間違いなく必要とされるものであったとは限らない。つまり、ユーザに必要な情報が選択され伝達されたとは限らない。そこで、本実施例では、提示情報に関するユーザの評価結果（その提示情報が必要とする情報であったか否かを示す情報）を提示情報とともに記録し、提示情報を選択する際に当該記録した情報の組を参照する。提示情報に関する、多くのユーザの評価結果を参照することにより、その表情報のユーザにとって必要と推定される情報をより精度の高く提示情報として選択することが可能となる。

以下、実施例２の表情報提示装置２について説明する。図５〜６を参照して、本実施例の表情報提示装置２の構成、および動作について説明する。図５は、本実施例の表情報提示装置２の構成を示すブロック図である。図６は、本実施例の表情報提示装置２の動作を示すフローチャートである。図５に示すように、本実施例の表情報提示装置２は、提示情報選択部２０１と、音声合成部２０２と、利用履歴記録部２０３を含む。

表情報提示装置が合成音声によりユーザに伝達した提示情報がユーザにとって必要な情報であったか否かを示す、提示情報に関するユーザの評価結果のことを操作情報と呼ぶことにする。操作情報は、表情報提示装置に併設されたボタンにより入力されるものであっても、音声認識システムを用いて音声により入力されるものであってもよい。また、提示情報と当該提示情報に関する操作情報の組のことを利用情報といい、過去に表情報提示装置が取得した利用情報全体を利用履歴という。

利用履歴記録部２０３は、入力された利用情報を記録する（Ｓ２０３）。提示情報選択部２０１は、表情報から所定の規則に従い提示情報を選択する（Ｓ２０１）。提示情報選択部２０１は実施例１の提示情報選択部１０１と同様に所定の規則に従い提示情報を選択するが、その際に所定の規則は利用履歴を用いることができる。例えば、実施例１に記載のような規則に従い提示情報の候補を選択したのち、利用履歴を参照して、肯定的な評価（必要とする情報であったとの評価）を示す操作情報の割合が高い利用情報の提示情報を最終的な提示情報として選択することができる。また、単に利用履歴のみを参照して、肯定的な評価を示す操作情報の割合が高い利用情報の提示情報を提示情報として選択するのでもよい。音声合成部２０２は、提示情報選択部２０１が選択した提示情報から合成音声を生成し再生する（Ｓ２０２）。なお、音声合成部２０２は、従来技術の音声合成部９０１と同様の機能を有するものでよい。

提示情報選択部２０１が、利用履歴を用いる所定の規則に従い表情報からその表情報のユーザにとって必要と推定される情報を提示情報として選択することにより、ユーザにとって必要と推定される情報の選択をより精度高く行うことが可能となる。

本実施例では、利用情報にユーザを識別するための情報も含め利用履歴を生成する。これによりユーザを区別し、ユーザごとにその利用情報の傾向の違いを反映して提示情報を選択することができるようになり、その表情報のユーザにとって必要と推定される情報の中でも、特にそのユーザの利用傾向を反映した情報を提示情報として選択することが可能となる。

以下、実施例３の表情報提示装置３について説明する。図７〜８を参照して、本実施例の表情報提示装置３の構成、および動作について説明する。図７は、本実施例の表情報提示装置３の構成を示すブロック図である。図８は、本実施例の表情報提示装置３の動作を示すフローチャートである。図７に示すように、本実施例の表情報提示装置３は、提示情報選択部３０１と、音声合成部３０２と、利用履歴記録部３０３と、利用履歴変換部３０４とを含む。

操作情報、利用履歴の定義は実施例２における定義と同一とする。利用情報については、実施例２と異なる形で再定義する。すなわち、提示情報と当該提示情報に関する操作情報と当該操作情報を入力したユーザを識別するための情報であるユーザ識別子の組のことを利用情報とする。つまり、ユーザ識別子をさらに含んでいる点で実施例２の利用情報と異なる。ユーザ識別子は、表情報提示装置を利用するユーザを識別するために振られた通し番号などでよい。

利用履歴記録部３０３は、入力された利用情報を記録する（Ｓ３０３）。利用履歴変換部３０４は、利用履歴から推定評点行列を生成する（Ｓ３０４）。提示情報選択部３０１は、表情報から所定の規則に従い提示情報を選択する（Ｓ３０１）。ここで現在提示情報を得ようとしているユーザのユーザ識別子も入力する。提示情報選択部３０１は実施例１の提示情報選択部１０１と同様に所定の規則に従い提示情報を選択するが、その際に所定の規則は推定評点行列を用いることができる。推定評点行列は、ユーザ識別子も含む利用情報から生成されるため、提示情報選択部３０１はユーザごとの利用情報の傾向の違いを考慮した提示情報の選択を行うことができる。音声合成部３０２は、提示情報選択部３０１が選択した提示情報から合成音声を生成し再生する（Ｓ３０２）。なお、音声合成部３０２は、従来技術の音声合成部９０１と同様の機能を有するものでよい。

ユーザごとの利用情報の傾向の違いを統計的に反映させるための手法として、商品推薦のアルゴリズムとして使用されている、行列分解に基づく手法（参考非特許文献１）、（参考非特許文献２）と同様のアルゴリズムを用いることができる。これを用いて推定評点行列を生成する。
（参考非特許文献１）Yehuda Koren, Robert Bell and Chris Volinsky, “Matrix Factorization Techniques for Recommender Systems.”, Computer, IEEE, Aug. 2009, Vol.42, Issue 8, P.30-37
（参考非特許文献２）Ajit P. Singh and Geoffrey J. Gordon, “Relational Learning via Collective Matrix Factorization”, KDD'08 Proceedings of the 14th ACM SIGKDD international conference on Knowledge discovery and data mining, USA, ACM, 2008, P.650-658

以下、図９〜１０を参照して、表情報提示装置３の利用履歴変換部３０４の詳細について説明する。図９は、表情報提示装置３の利用履歴変換部３０４の構成を示すブロック図である。図１０は、表情報提示装置３の利用履歴変換部３０４の動作を示すフローチャートである。図９に示すように、表情報提示装置３の利用履歴変換部３０４は、観測評点行列生成部３０４１と、推定評点行列生成部３０４２を含む。

観測評点行列生成部３０４１は、利用履歴から観測評点行列を生成する（Ｓ３０４１）。観測評点行列B=(b_m,n)は、利用履歴、つまり、利用履歴記録部３０３に記録されているすべての利用情報に含まれるユーザ識別子の数Mを行のサイズ、セル情報a_i,jの数Nを列のサイズとするM行N列行列である。以下、説明を簡単にするため、M個のユーザ識別子を整列し、改めて1,2,…,Mとユーザ識別子を振り直しておく。同様に、N個のセル情報a_i,jについてもセルを１次元化する形で整列し、改めて1,2,…,Nと振り直しておく。mは１以上M以下の整数、nは１以上N以下の整数とし、要素b_m,nは、セルnに対応するセル情報を含む提示情報に対するユーザ識別子mを有するユーザによる操作情報を示すフラグである。要素b_m,nは、ユーザ識別子m、セルnについて、過去の利用情報が記録されていれば操作情報に対応する数値を取り、利用情報が記録されていなければ’利用情報なし’の文字列を値として持つ。なお、利用情報が記録されていないことがわかれば十分なので、’利用情報なし’の文字列以外をフラグとして指定してもよい。例えば、’利用情報なし’以外の文字列を指定するのでもよいし、空値であってもよい。

例えば、b_m,nの値を以下のように定めることができる。
−ユーザ識別子mを有するユーザが、セルnに対応するセル情報を含む提示情報を提示された際、必要としている情報が得られたという評価結果を操作情報として入力した場合、b_m,n=1とする。
−ユーザ識別子mを有するユーザが、セルnに対応するセル情報を含む提示情報を提示された際、必要としている情報が得られなかったという評価結果を操作情報として入力した場合、b_m,n=0とする。
−ユーザ識別子mを有するユーザに対して、セルnに対応するセル情報を含む提示情報を提示した記録がない場合、b_m,n=’利用情報なし’とする。

なお、あるセル情報に対して、必要としている情報が得られたという評価結果と必要としている情報が得られなかったという評価結果とが混在する場合も考えられる。この場合は、b_m,n=1、b_m,n=0、あるいは必要としている情報が得られたという評価結果の割合をb_m,nとする等適宜所定のルールに即して数値を付与すればよい。

推定評点行列生成部３０４２は、観測評点行列から推定評点行列を生成する（Ｓ３０４２）。推定評点行列C=(c_m,n)は、観測評点行列と同じM行N列行列であり、c_m,nは、ユーザ識別子mを有するユーザに対してセルnに対応するセル情報を提示する必要性の程度を示すスコアである。つまり、要素c_m,nは、ユーザ識別子m、セルnについて、どの程度優先的に提示すべき情報かを表した数値である。

例えば、観測評点行列B=(b_m,n)を学習データとして、（参考非特許文献１）、（参考非特許文献２）と同様の機械学習を行うことにより、推定評点行列C=(c_m,n)を得ることができる。当該機械学習の手順について具体的に説明する。まず、観測評点行列B=(b_m,n)について、“二つの基底ベクトルの積として近似的に表現可能である”という低ランク性を仮定し、行列分解する。当該基底ベクトルの積として得られる行列である近似評点行列と観測評点行列の誤差基準を最小化基準として基底ベクトルを学習する。最小化基準としては例えば、２乗誤差基準を採用することができる。次に、学習した基底ベクトルの積を推定評点行列C=(c_m,n)とする。ここで、推定評点行列C=(c_m,n)は、観測評点行列B=(b_m,n)と異なり、そのすべての要素が数値となる。

提示情報選択部３０１が、推定評点行列C=(c_m,n)に基づいて表情報から提示情報を生成するステップＳ３０１について詳細に説明する。現在提示情報を得ようとしているユーザのユーザ識別子kが入力されている場合、入力された表情報に対応する推定評点行列C=(c_m,n)の第k行の要素(c_k,1, c_k,2, …,c_k,N)の中からスコアの高い要素をいくつか選択し、当該要素の列の添字nに対応するセル情報を提示情報としてもよい。例えば、第k行の要素の中で最大となる要素がc_k,nであった場合、セルnに対応するセル情報を提示情報としてもよい。また、表情報A=(a_i,j)の行ごとに対応する推定評点行列C=(c_m,n)の第k行の要素であるスコアの和を取った場合の和が最大となるような表情報A=(a_i,j)の行に含まれるすべてのセル情報を提示情報としてもよい。

なお、利用履歴が時間的に変動することに伴い、推定評点行列C=(c_m,n)も生成するタイミングにより異なることになる。このため、ユーザ識別子mを有するユーザが同一の表情報A=(a_i,j)にアクセスするタイミングが異なれば、提示情報も一般には異なるものとなる。

提示情報選択部３０１が、ユーザ識別子を含む形で記録した利用情報から生成される推定評点行列を用いて表情報から提示情報を選択することにより、ユーザにとって必要と推定される情報の中でも、特にそのユーザの利用傾向を反映した情報を提示情報として選択することが可能となる。

＜変形例＞
上述の実施例では、ユーザ識別子を含む形で利用情報を記録し、観測評点行列から推定評点行列を生成した。ユーザ識別子mを有するユーザの利用履歴が少ない場合、観測評点行列の第m行の値の多くは、’利用情報なし’となり、対応する推定評点行列の第m行の各値の推定精度は必ずしもよいものとならないと考えられる。このため、個々のユーザの利用傾向を十分に反映した形で提示情報を選択することにならず、実用的なものとはならない。そこで、ユーザ識別子に加えて、ユーザの属性情報も活用し、ユーザの属性情報の点から類似と判定されるユーザの利用履歴も用いることで、ユーザ識別子mを有するユーザの利用履歴が少ない場合においても、その表情報のユーザにとって必要と推定される情報の中でも、特にそのユーザの利用傾向に近いユーザの利用傾向も反映した情報を提示情報として選択することを可能にする。

以下、実施例３の変形例である表情報提示装置４について説明する。図１１を参照して、本変形例の表情報提示装置４の構成について説明する。図１１は、本変形例の表情報提示装置４の構成を示すブロック図である。図１１に示すように、本変形例の表情報提示装置４は、提示情報選択部３１１と、音声合成部３１２と、利用履歴記録部３１３と、ユーザ情報記録部３１４と、利用履歴変換部３１５を含む。

ユーザ情報記録部３１４は、ユーザ情報を記録する。ここで、ユーザ情報とは、ユーザ識別子と表情報提示装置が取得するユーザの属性を示すユーザ属性情報の組のことをいう。ユーザ属性情報の例として、性別、年齢、住所、職業、趣味、購買履歴などがある。利用履歴変換部３１５は、推定評点行列を生成する際に利用履歴を用いる点において利用履歴変換部３０４と同一であるが、利用履歴に加えユーザ情報も用いる点において異なる。また、提示情報選択部３１１と、音声合成部３１２、利用履歴記録部３１３は、それぞれ提示情報選択部３０１と、音声合成部３０２、利用履歴記録部３０３と同様の機能を有するものでよい。

以下、図１２〜１３を参照して、表情報提示装置４の利用履歴変換部３１５の詳細について説明する。図１２は、表情報提示装置４の利用履歴変換部３１５の構成を示すブロック図である。図１３は、表情報提示装置４の利用履歴変換部３１５の動作を示すフローチャートである。図１２に示すように、表情報提示装置４の利用履歴変換部３１５は、観測評点行列生成部３１５１と、推定評点行列・推定ユーザ情報行列生成部３１５２と、ユーザ情報行列生成部３１５３を含む。

観測評点行列生成部３１５１は、利用履歴から観測評点行列を生成する（Ｓ３１５１）。観測評点行列生成部３１５１は、観測評点行列生成部３０４１と同様の機能を有するものでよい。

ユーザ情報行列生成部３１５３は、ユーザ情報からユーザ情報行列を生成する（Ｓ３１５３）。ユーザ情報行列D=(d_p,q)は、ユーザ情報記録部３１４に記録されているすべてのユーザ情報に含まれるユーザ識別子の数Pを行のサイズ、ユーザ属性情報の数Qを列のサイズとするP行Q列行列である。上述の観測評点行列の生成と同様、ユーザ識別子、ユーザ属性情報について整列し、改めて1,2,…,P、1,2,…,Qと振り直しておく。pは１以上P以下の整数、qは１以上Q以下の整数とし、要素d_p,qは、ユーザ識別子pを有するユーザのユーザ属性情報qの値を示すフラグである。要素d_p,qは、ユーザ識別子pを有するユーザに対してユーザ属性情報qの値が付与されている場合には、その値に対応する数値を取り、付与されていない場合には’属性値なし’の文字列を値として持つ。なお、属性情報qの値が付与されていないことがわかれば十分なので、’属性値なし’の文字列以外をフラグとして指定してもよい。例えば、’属性値なし’以外の文字列を指定するのでもよいし、空値であってもよい。

推定評点行列・推定ユーザ情報行列生成部３１５２は、観測評点行列とユーザ情報行列から推定評点行列と推定ユーザ情報行列を生成する（Ｓ３１５２）。ここでも、Ｓ３０４２と同様に、観測評点行列B=(b_m,n)とユーザ情報行列D=(d_p,q)を学習データとして、（参考非特許文献２）と同様の機械学習を行うことにより、推定評点行列C=(c_m,n)と推定ユーザ情報行列E=(e_p,q)を得ることができる。推定ユーザ情報行列E=(e_p,q)は、ユーザ情報行列と同じP行Q列行列であり、e_p,qは、ユーザ識別子pを有するユーザに対するユーザ属性情報qのスコアである。要素e_p,qは、ユーザの類似度を判定するために用いることができる数値である。

利用履歴変換部３１５が、観測評点行列とユーザ情報行列を用いて推定評点行列と推定ユーザ情報行列を同時に生成することにより、ユーザの属性情報の点から類似すると判断されるユーザの利用履歴を反映した推定評点行列を生成できる。当該推定評点行列を用いて提示情報を生成することにより、あるユーザの利用履歴が少ない場合においても、ユーザにとって必要と推定される情報の中でも、特にそのユーザの利用傾向に近いユーザの利用傾向も反映した情報を提示情報として選択することが可能となる。

＜補記＞
本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置（例えば通信ケーブル）が接続可能な通信部、ＣＰＵ（Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい）、メモリであるＲＡＭやＲＯＭ、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、ＣＤ−ＲＯＭなどの記録媒体を読み書きできる装置（ドライブ）などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。

ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている（外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくこととしてもよい）。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。

ハードウェアエンティティでは、外部記憶装置（あるいはＲＯＭなど）に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にＣＰＵで解釈実行・処理される。その結果、ＣＰＵが所定の機能（上記、…部、…手段などと表した各構成要件）を実現する。

本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。

既述のように、上記実施形態において説明したハードウェアエンティティ（本発明の装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (7)

1. A=(a _i,j )を表情報（ただし、iは行に関する添字、jは列に関する添字、a _i,j は添字の対であるセル(i, j)に対応するセル情報）とし、
   前記表情報A=(a _i,j )から、所定の規則に従い、当該表情報のユーザにとって必要なセル情報a _i,j の集合である提示情報を選択する提示情報選択部と、
   前記提示情報から当該提示情報に含まれるセル情報a _i,j を読み上げる音声を合成する音声合成部と
   を含む表情報提示装置であって、
   前記提示情報と、当該提示情報を提示されたユーザにとって当該提示情報が必要な情報であったか否かを示す操作情報の組である利用情報を記録する利用履歴記録部をさらに含み、
   前記所定の規則は、前記利用履歴記録部に記録された利用情報を用いるものである
   ことを特徴とする表情報提示装置。
2. 請求項１に記載の表情報提示装置であって、
   前記提示情報選択部は、
   第１の規則に従い提示情報の候補を選択したのち、前記利用履歴記録部を参照して、提示情報が必要な情報であったことを示す操作情報の割合が高い利用情報の提示情報を最終的な提示情報として選択する
   ことを特徴とする表情報提示装置。
3. A=(a _i,j )を表情報（ただし、iは行に関する添字、jは列に関する添字、a _i,j は添字の対であるセル(i, j)に対応するセル情報）とし、
   前記表情報A=(a _i,j )から、所定の規則に従い、当該表情報のユーザにとって必要なセル情報a _i,j の集合である提示情報を選択する提示情報選択部と、
   前記提示情報から当該提示情報に含まれるセル情報a _i,j を読み上げる音声を合成する音声合成部と
   を含む表情報提示装置であって、
   前記提示情報と、当該提示情報を提示されたユーザにとって当該提示情報が必要な情報であったか否かを示す操作情報と、前記ユーザを識別するためのユーザ識別子の組である利用情報を記録する利用履歴記録部と、
   前記利用履歴記録部に記録されているすべての利用情報から、前記すべての利用情報に含まれるユーザ識別子の数Mを行のサイズ、セル情報a_i,jの数Nを列のサイズとし、b_m,nを要素とするM行N列行列である観測評点行列B=(b_m,n)（ただし、b_m,nは、セルnに対応するセル情報を含む提示情報に対するユーザ識別子mを有するユーザによる操作情報を示すフラグ、mは１以上M以下の整数、nは１以上N以下の整数）を生成する観測評点行列生成部と、
   前記観測評点行列B=(b_m,n)から推定評点行列C=(c_m,n)（ただし、c_m,nは、ユーザ識別子mを有するユーザに対してセルnに対応するセル情報を提示する必要性の程度を示すスコア）を生成する推定評点行列生成部をさらに含み、
   前記所定の規則は、前記推定評点行列C=(c_m,n)を用いるものである
   ことを特徴とする表情報提示装置。
4. A=(a _i,j )を表情報（ただし、iは行に関する添字、jは列に関する添字、a _i,j は添字の対であるセル(i, j)に対応するセル情報）とし、
   前記表情報A=(a _i,j )から、所定の規則に従い、当該表情報のユーザにとって必要なセル情報a _i,j の集合である提示情報を選択する提示情報選択部と、
   前記提示情報から当該提示情報に含まれるセル情報a _i,j を読み上げる音声を合成する音声合成部と
   を含む表情報提示装置であって、
   前記提示情報と、当該提示情報を提示されたユーザにとって当該提示情報が必要な情報であったか否かを示す操作情報と、前記ユーザを識別するためのユーザ識別子の組である利用情報を記録する利用履歴記録部と、
   前記ユーザ識別子と、当該ユーザ識別子を有するユーザの属性を示すユーザ属性情報の組であるユーザ情報を記録するユーザ情報記録部と、
   前記利用履歴記録部に記録されているすべての利用情報から、前記すべての利用情報に含まれるユーザ識別子の数Mを行のサイズ、セル情報a_i,jの数Nを列のサイズとし、b_m,nを要素とするM行N列行列である観測評点行列B=(b_m,n)（ただし、b_m,nは、セルnに対応するセル情報を含む提示情報に対するユーザ識別子mを有するユーザによる操作情報を示すフラグ、mは１以上M以下の整数、nは１以上N以下の整数）を生成する観測評点行列生成部と、
   前記ユーザ情報記録部に記録されているすべてのユーザ情報から、前記すべてのユーザ情報に含まれるユーザ識別子の数Pを行のサイズ、ユーザ属性情報の数Qを列のサイズとし、d_p,qを要素とするP行Q列行列であるユーザ情報行列D=(d_p,q)（ただし、d_p,qは、ユーザ識別子pを有するユーザのユーザ属性情報qの値を示すフラグ、pは１以上P以下の整数、qは１以上Q以下の整数）を生成するユーザ情報行列生成部と、
   前記観測評点行列B=(b_m,n)と前記ユーザ情報行列D=(d_p,q)から、推定評点行列C=(c_m,n)（ただし、c_m,nは、ユーザ識別子mを有するユーザに対してセルnに対応するセル情報を提示する必要性の程度を示すスコア）と推定ユーザ情報行列E=(e_p,q)（ただし、e_p,qは、ユーザ識別子pを有するユーザに対するユーザ属性情報qのスコア）を生成する推定評点行列・推定ユーザ情報行列生成部をさらに含み、
   前記所定の規則は、前記推定評点行列C=(c_m,n)を用いるものである
   ことを特徴とする表情報提示装置。
5. A=(a _i,j )を表情報（ただし、iは行に関する添字、jは列に関する添字、a _i,j は添字の対であるセル(i, j)に対応するセル情報）とし、
   表情報提示装置が、前記表情報A=(a _i,j )から、所定の規則に従い、当該表情報のユーザにとって必要なセル情報a _i,j の集合である提示情報を選択する提示情報選択ステップと、
   前記表情報提示装置が、前記提示情報から当該提示情報に含まれるセル情報a _i,j を読み上げる音声を合成する音声合成ステップと
   を含む表情報提示方法であって、
   前記表情報提示装置が、前記提示情報と、当該提示情報を提示されたユーザにとって当該提示情報が必要な情報であったか否かを示す操作情報の組である利用情報を記録する利用履歴記録ステップをさらに含み、
   前記所定の規則は、前記利用履歴記録ステップで記録した利用情報を用いるものである
   ことを特徴とする表情報提示方法。
6. A=(a _i,j )を表情報（ただし、iは行に関する添字、jは列に関する添字、a _i,j は添字の対であるセル(i, j)に対応するセル情報）とし、
   表情報提示装置が、前記表情報A=(a _i,j )から、所定の規則に従い、当該表情報のユーザにとって必要なセル情報a _i,j の集合である提示情報を選択する提示情報選択ステップと、
   前記表情報提示装置が、前記提示情報から当該提示情報に含まれるセル情報a _i,j を読み上げる音声を合成する音声合成ステップと
   を含む表情報提示方法であって、
   前記表情報提示装置が、前記提示情報と、当該提示情報を提示されたユーザにとって当該提示情報が必要な情報であったか否かを示す操作情報と、前記ユーザを識別するためのユーザ識別子の組である利用情報を記録する利用履歴記録ステップと、
   前記表情報提示装置が、前記利用履歴記録ステップで記録したすべての利用情報から、前記すべての利用情報に含まれるユーザ識別子の数Mを行のサイズ、セル情報a_i,jの数Nを列のサイズとし、b_m,nを要素とするM行N列行列である観測評点行列B=(b_m,n)（ただし、b_m,nは、セルnに対応するセル情報を含む提示情報に対するユーザ識別子mを有するユーザによる操作情報を示すフラグ、mは１以上M以下の整数、nは１以上N以下の整数）を生成する観測評点行列生成ステップと、
   前記表情報提示装置が、前記観測評点行列B=(b_m,n)から推定評点行列C=(c_m,n)（ただし、c_m,nは、ユーザ識別子mを有するユーザに対してセルnに対応するセル情報を提示する必要性の程度を示すスコア）を生成する推定評点行列生成ステップをさらに含み、
   前記所定の規則は、前記推定評点行列C=(c_m,n)を用いるものである
   ことを特徴とする表情報提示方法。
7. 請求項１ないし４のいずれか一項に記載の表情報提示装置としてコンピュータを機能させるためのプログラム。

Images