JP6469242B2 - コンテンツを参照するユーザに対して提示する情報を制御するシステム及び方法 - Google Patents

Description

本発明は、コンテンツを参照するユーザに対して提示する情報を制御するシステム及び方法に関する。

近年、脳を可視化する技術の発展につれて、脳に対する生理学的な知見が充実しただけでなく、脳計測信号から人間の状態を推測することが行われている。

脳活動を非侵襲的に計測する手法としては、脳波（Ｅｌｅｃｔｒｏｅｎｃｅｐｈａｌｏｇｒａｍ）の計測や、機能的核磁気共鳴画像法（ｆＭＲＩ：ｆｕｎｃｔｉｏｎａｌ Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）や、脳磁図法（Ｍａｇｎｅｔｏｅｎｃｅｐｈａｌｏｇｒａｐｈｙ）、近赤外光計測法（ＮＩＲＳ：Ｎｅａｒ−ＩｎｆｒａＲｅｄ Ｓｐｅｃｔｒｏｓｃｏｐｙ）等がある。

本技術分野の背景技術として、特開２０１１−１５０４０８号公報（特許文献１）がある。この公報には、「機械を用いた作業場において、操作者の生体計測信号からの内部状態（視覚的注意・作業記憶・スキル習熟度など）を機械学習のアルゴリズムを適用して推定する。そして、ヒューマンエラーの起こりやすい状態を予測・検出し、過失の危険度が高い状態にあると推定される場合に、視覚・聴覚・触覚のいずれか若しくはそれらを組み合わせで操作者にフィードバックすることにより過失を事前に防ぐ。」と記載されている（要約参照）。

特開２０１１−１５０４０８号公報

特許文献１に記載の技術には、ユーザの生体計測信号から内部状態を推定する方法が記載されているが、当該内部状態に至った原因を特定することや、当該内部状態を改善するための制御を行うことはできない。

つまり、特許文献１に記載の技術は、提示された情報を参照するユーザの生体計測信号から当該ユーザの当該情報に対する理解度を推定することができるが、当該理解度が低い状態において、当該ユーザが当該情報を理解できない原因を特定することができない。ひいては、特許文献１に記載の技術は、理解していない原因に応じた情報を提示することはできない。

また、例えば、提示された情報のうちユーザが理解できなかった内容、及び当該ユーザの理解度が低い場合における理解できない原因を、当該ユーザ自身が特定することは難しい場合が多い。そこで、本発明の一態様は、提示された情報に対するユーザの客観的な理解度、及び当該情報を理解できない場合の原因を特定し、当該理解度と当該原因とに応じた情報を提示する。

本発明の一態様は以下の構成を採用する。複数の要素からなるコンテンツを参照するユーザに対して提示する情報を制御する、システムであって、プロセッサと、記憶装置と、出力装置と、を含み、前記記憶装置は、前記コンテンツと、前記複数の要素それぞれの難易度を示す難易度情報と、前記ユーザが前記コンテンツを理解できない原因を示す理解タイプそれぞれに対応する提示情報と、を保持し、前記プロセッサは、前記コンテンツを前記出力装置に出力し、前記コンテンツに含まれる要素それぞれが前記出力装置に出力された時刻における前記ユーザの生体情報を取得し、前記取得した生体情報それぞれに基づいて、前記コンテンツに含まれる要素それぞれに対する前記ユーザの理解度を算出し、前記算出した理解度に基づいて、前記ユーザが前記コンテンツを理解していないと判定した場合、前記算出した理解度、及び理解度が第１閾値以下である要素の前記難易度情報が示す難易度に基づいて、理解タイプを決定し、前記決定した理解タイプに対応する提示情報を前記出力装置に出力する、システム。

本発明の一態様によれば、提示された情報に対するユーザの客観的な理解度、及び当該情報を理解できなかった場合における原因を特定し、当該理解度と当該原因とに応じた情報を提示することができる。

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

実施例１における対話装置の構成例を示すブロック図である。 実施例１におけるテキストデータに含まれるテキストの一例である。 実施例１における情報提示処理の一例を示すフローチャートである。 実施例１におけるコンテンツ選択画面の一例である。 実施例１における提示情報の難易度分析処理の一例を示すフローチャートである。 実施例１における難易度分析結果の一例である。 実施例１におけるヘモグロビン濃度データの一例である。 実施例１における計測システムの構成例を示すブロック図である。 実施例１における理解度判別用辞書生成装置の構成例を示すブロック図である。 実施例１における理解度判別用辞書生成処理の一例を示すフローチャートである。 実施例１における理解度判別処理の一例を示すフローチャートである。 実施例１における理解度判別結果の一例である。 実施例１におけるコンテンツの難易度とユーザの理解度判別結果との照合処理の一例を示すフローチャートである。 実施例１における照合結果の一例である。 実施例１における時刻同期結果の一例である。 実施例１における理解タイプ判別処理の一例を示すフローチャートである。 実施例１における理解タイプ結果の一例である。 実施例１における提示情報制御処理の一例を示すフローチャートである。 実施例１における制御内容の一例である。 実施例１におけるタッチパネルに出力される警告メッセージの一例である。 実施例１における、ユーザが単語を理解していないことが理解タイプである場合のユーザインタフェースの一例である。 実施例１における、ユーザが構文を理解していないことが理解タイプである場合のユーザインタフェースの一例である。 実施例１における、ユーザがトピックを理解していないことが理解タイプである場合のユーザインタフェースの一例である。 実施例１における、音声の速度が速いことが理解タイプである場合のユーザインタフェースの一例である。 実施例１における、音声に訛りがあることが理解タイプである場合のユーザインタフェースの一例である。

本実施形態は、対話システムを説明する。対話システムは、ユーザに情報を提示し、当該情報を参照したユーザの生体情報から当該ユーザの当該情報に対する理解度を算出する。対話システムは、算出した理解度と提示した情報の難易度とを照合することにより、当該ユーザが当該情報を理解できない原因を示す理解タイプを特定し、理解度及び理解タイプに応じて次に提示する情報を制御する。

図１は、対話システムの構成例を示す。対話システム１０１は、例えば、対話装置１０２、タッチパネル１０３、及び生体情報計測器１０４を含む。対話装置１０２は、例えば、プロセッサ（ＣＰＵ）１２１、補助記憶装置１０５、メモリ１０６、入出力インタフェース１２２、及び通信インタフェース１２３を含む計算機によって構成される。

プロセッサ１２１は、メモリ１０６に格納されたプログラムを実行する。メモリ１０６は、不揮発性の記憶素子であるＲＯＭ及び揮発性の記憶素子であるＲＡＭを含む。ＲＯＭは、不変のプログラム（例えば、ＢＩＯＳ）などを格納する。ＲＡＭは、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のような高速かつ揮発性の記憶素子であり、プロセッサ１２１が実行するプログラム及びプログラムの実行時に使用されるデータを一時的に格納する。

補助記憶装置１０５は、例えば、磁気記憶装置（ＨＤＤ）、フラッシュメモリ（ＳＳＤ）等の大容量かつ不揮発性の記憶装置であり、プロセッサ１２１が実行するプログラム及びプログラムの実行時に使用されるデータを格納する。

入出力インタフェース１２２は、タッチパネル１０３などが接続され、オペレータ等からの入力を受け、プログラムの実行結果をオペレータ等が視認可能な形式で出力するインタフェースである。タッチパネル１０３は、ユーザからの文字入力及び音声入力を受け付け、文字情報及び音声情報を出力する。入出力インタフェース１２２には、キーボード、マウス、及びマイク等の入力装置、並びにディスプレイ装置、プリンタ、及びスピーカ等の出力装置が接続されてもよい。

通信インタフェース１２３は、所定のプロトコルに従って、他の装置との通信を制御するネットワークインタフェース装置である。また、通信インタフェース１２３は、例えば、ＵＳＢ等のシリアルインタフェースを含む。通信インタフェース１２３には、例えば、ユーザの生体情報を計測する生体情報計測器１０４が接続される。近赤外分光法により脳機能の一例である脳血液量変化を計測する機器、は生体情報計測器１０４の一例である。また、生体情報計測器１０４は、例えば、磁場計測等の別の計測法により脳機能情報を取得してもよい。

プロセッサ１２１が実行するプログラムは、リムーバブルメディア（ＣＤ−ＲＯＭ、フラッシュメモリなど）又はネットワークを介して対話装置１０２に提供され、非一時的記憶媒体である不揮発性の補助記憶装置１０５に格納されてもよい。このため、対話装置１０２は、リムーバブルメディアからデータを読み込むインタフェースを有するとよい。

対話装置１０２は、物理的に一つの計算機上で、又は、論理的又は物理的に構成された複数の計算機上で構成される計算機システムであり、同一の計算機上で別個のスレッドで動作してもよく、複数の物理的計算機資源上に構築された仮想計算機上で動作してもよい。

補助記憶装置１０５は、例えば、テキストデータ１０７、音声データ１０８、及び理解度判別用辞書データ１０９を格納する。テキストデータ１０７は、複数のテキストを含む。例えば、ニュース記事、ユーザが興味のある本、小学校、中学校、高校の各科目の教科書又は参考書等は、テキストデータ１０７に含まれる各テキストの一例である。また、マーケティングにおける広告内容や管理者等が宣伝したい内容もテキストデータ１０７に含まれる各テキストの一例である。テキストデータ１０７に含まれる各テキストの詳細については後述する。

音声データ１０８は、テキストデータ１０７に含まれる複数のテキストそれぞれに対応づけられた音声を含む。音声データに含まれる音声それぞれは、対応するテキストと同等の内容を含む。音声データに含まれる音声それぞれは、例えば、速度及び訛りを調整可能な合成音声である。また、対話装置１０２は、テキストデータ１０７と音声データ１０８を、必要に応じて新規追加、削除、及び編集する機能を備えていてもよい。理解度判別用辞書データ１０９は、後述する理解度判別用辞書生成処理で生成された理解度判別用辞書を予め格納する。理解度判別用辞書の詳細については後述する。

メモリ１０６は、それぞれプログラムである、情報提示部１１０、難易度分析部１１１、生体情報取得部１１２、理解度判別部１１３、照合部１１４、理解タイプ判別部１１５、及び情報制御部１１６を含む。

プログラムはプロセッサ１２１によって実行されることで、定められた処理を記憶装置及び通信ポート（通信デバイス）を用いながら行う。従って、本実施形態においてプログラムを主語とする説明は、プロセッサ１２１を主語とした説明でもよい。若しくは、プログラムが実行する処理は、そのプログラムが動作する計算機及び計算機システムが行う処理である。

プロセッサ１２１は、プログラムに従って動作することによって、所定の機能を実現する機能部（手段）として動作する。例えば、プロセッサ１２１は、情報提示部１１０に従って動作することで情報提示部（情報提示手段）として機能し、難易度分析部１１１に従って動作することで難易度分析部（難易度分析手段）として機能する。他のプログラムについても同様である。さらに、プロセッサ１２１は、各プログラムが実行する複数の処理のそれぞれを実現する機能部（手段）としても動作する。計算機及び計算機システムは、これらの機能部（手段）を含む装置及びシステムである。

情報提示部１１０は、例えば、ユーザからの指示に従って選択したテキストデータ１０７及び／又は音声データ１０８のコンテンツを、提示情報としてタッチパネル１０３に出力する。当該コンテンツは複数の要素からなる。例えば、コンテンツが文章データである場合、文章データに含まれる単語それぞれはコンテンツの要素の一例である。生体情報取得部１１２は、情報提示部１１０が出力した提示情報に対するユーザの理解活動時において、生体情報計測器１０４が計測したユーザの生体情報の時系列を取得する。

ユーザの理解活動とは、当該ユーザが提示情報を五感のいずれかで理解する活動を示す。例えば、当該ユーザがテキスト形式の提示情報を読むこと、及び当該ユーザが音声形式の提示情報を聞くことは当該ユーザの理解活動の一例である。なお、本実施例における生体情報の時系列は、２時点以上における生体情報を示す。また、生体情報の時系列それぞれは、１以上のチャネルの信号からなる。脳活動信号は生体情報の一例である。

難易度分析部１１１は、テキストデータに含まれるテキストのコンテンツ、及び音声データに含まれる音声のコンテンツの、提示時刻における難易度を分析する。理解度判別部１１３は、理解度判別用辞書データ１０９に含まれる理解度判別用辞書を参照し、生体情報取得部１１２が取得した提示情報に対するユーザの理解活動時の生体情報の時系列から、提示情報に対するユーザの各時刻における理解度を算出する。

照合部１１４は、理解度判別部１１３が算出したユーザの理解度と、難易度分析部１１１が分析した提示情報の難易度を照合し、時刻同期する。理解タイプ判別部１１５は、照合部１１４の時刻同期結果に基づいて、ユーザの理解タイプを判別する。ユーザの理解タイプとは、ユーザがコンテンツを理解していない場合における、当該ユーザが当該コンテンツを理解できない原因を示す。情報制御部１１６は、理解タイプ判別部１１５が判別したユーザの理解タイプに基づいて、次にユーザに提示する情報の制御を行う。

図２は、テキストデータ１０７に含まれるテキストの一例である。テキスト２００は、日本人のユーザを対象とした英語学習におけるニュース記事のテキストの例である。テキスト２００は、例えば、コンテンツ種別２０１、背景２０２、コンテンツ２０３、及び単語解釈２０４を含む。コンテンツ種別２０１は、テキスト２００のコンテンツの種別を示すキーワードを含む。図２の例において、テキスト２００のコンテンツは、脳科学のニュースについて英語で記載されたものである。

背景２０２は、テキスト２００のコンテンツの背景知識を含む。背景２０２は、複数種類の言語の背景知識を含んでもよい。図２の例では、背景２０２は、英語版及び日本語版の背景知識を含む。また、背景２０２は、コンテンツの背景知識に関する写真等の画像データを含んでもよい。

コンテンツ２０３は、複数のバージョンのコンテンツを含む。図２の例では、コンテンツ２０３は、コンテンツ内に使用される単語レベルや構文レベルに応じた複数のバージョンのコンテンツを含む。また特に図示していないが、コンテンツ２０３は、コンテンツに含まれる単語を、タッチパネル１０３を介して出力する時刻（例えば、出力開始時刻を基準とする時刻）を示す情報を保持する。

例えば、図２における「Ｖｅｒｓｉｏｎ１：簡単レベル」は語彙数１０００以下の単語、「Ｖｅｒｓｉｏｎ２：中級レベル」は語彙数１０００以上５０００以下の単語、「Ｖｅｒｓｉｏｎ３：上級レベル」は語彙数５０００以上の単語、のように各バージョンのコンテンツに対してレベルが予め付与されている。単語解釈２０４は、例えば、対応するバージョンのコンテンツに含まれる例えば難易度の高い単語の意味を含む。

なお、難易度分析部１１１が、コンテンツ２０３に含まれる各バージョンのコンテンツにレベルを付与してもよい。難易度分析部１１１は、例えば、コーパスを参照してレベルを付与する。コーパスとは、例えば、小学校から大学までの英語の教科書の文章や、英文のニュース記事等が含まれるテキスト形式の文章データベースである。コーパスは、例えば補助記憶装置１０５に格納されていてもよいし、対話装置１０２に接続された他の計算機に格納されていてもよい。

難易度分析部１１１は、例えば、コーパスから所定数以上の文章を取得し、取得した文章に含まれる単語を出現頻度が高い順にソートし、ソートされた単語の集合を所定の単語数ごとに複数の階層に分割する。以下、出現頻度が低い階層を高レベルに対応する階層とする。

難易度分析部１１１は、コンテンツに含まれる所定割合以上の単語が、Ｎ番目の階層に含まれ、かつＮ−１番目の階層に含まれない場合、当該コンテンツをＮ番目の階層に対応するレベルを付与する。例えば、Ｎ番目の階層の下限が１０００語、上限が２０００語である場合、Ｎ番目の階層に対応するレベルは、語彙数１０００語以上２０００語以下のレベルを示す。

図３は、情報提示部１１０が行う情報提示処理の一例を示す。情報提示部１１０は、タッチパネル１０３を介したユーザからの入力に従って、テキストデータ１０７に格納されたテキスト形式のコンテンツ及び／又は音声データ１０８に格納された当該コンテンツに対応する音声形式のコンテンツを選択する（Ｓ３０１）。

具体的には、情報提示部１１０は、コンテンツ種別及びバージョンの入力を受け付ける。情報提示部１１０は、入力されたコンテンツ種別２０１を有するテキストをテキストデータ１０７から選択し、入力されたバージョンのコンテンツを当該テキストのコンテンツ２０３から選択する。

なお、入力されたコンテンツ種別２０１を有する複数のテキストが存在する場合、情報提示部１１０は、当該複数のテキストからランダムに１つのテキストを選択してもよいし、当該複数のテキストをユーザに提示し、ユーザからの入力に従ってテキストを選択してもよい。情報提示部１１０は、選択したコンテンツに対応する音声形式のコンテンツを音声データ１０８から取得する。

情報提示部１１０は、タッチパネル１０３を介したユーザからの入力に従って、ステップＳ３０１で選択したコンテンツの提示形式を選択する（Ｓ３０２）。具体的には、例えば、情報提示部１１０は、当該コンテンツを、テキスト形式又は音声形式のいずれか一方、若しくはテキスト形式及び音声形式の双方で提示するか、を示す情報の入力を受け付け、入力された情報に従って、提示形式を選択する。

以下、本実施例においては、情報提示部１１０がテキスト形式と音声形式の双方を選択する例を説明するが、テキスト形式又は音声形式のいずれか一方を選択した場合における処理も、後述する処理と同様である。続いて、情報提示部１１０は、ステップＳ３０１で選択したコンテンツを、ステップＳ３０２で選択した提示形式により、選択したコンテンツに対応するコンテンツ２０３に含まれる時刻情報に従って、タッチパネル１０３に出力することにより、ユーザに提示する（Ｓ３０３）。

なお、ステップＳ３０１、ステップＳ３０２において、情報提示部１１０がコンテンツ及び提示形式を、テキストデータ１０７に含まれるコンテンツ及び／又は音声データ１０８に含まれるコンテンツから、例えばランダムに、選択してもよい。

図４は、ユーザがコンテンツ選択するためのユーザインタフェースであるコンテンツ選択画面の一例を示す。コンテンツ選択画面４００は、例えば、コンテンツ種別選択セクション４０１、バージョン選択セクション４０２、及び提示形式選択セクション４０３を含む。

コンテンツ種別選択セクション４０１は、コンテンツ種別の入力を受け付ける。図４の例では、ユーザは、コンテンツ種別選択セクション４０１中の、科目別、外国語、形式、及び話題選択からコンテンツ種別を選択することができる。また、コンテンツ種別選択セクション４０１は、キーワードの入力を受け付けることによりコンテンツ種別の入力を受け付けてもよい。

バージョン選択セクション４０２はバージョンの入力を受け付ける。図４の例では、ユーザは初級、中級、及び上級からバージョンを選択することができる。提示形式選択セクション４０３は、提示形式の選択の入力を受け付ける。

図４は、外国語、英語、ニュース記事、脳科学をコンテンツ種別２０１に含むテキストの中級バージョンのコンテンツが選択され、テキストと音声による提示形式が選択された例を示している。なお、情報提示部１１０は、ユーザによるコンテンツ選択履歴に基づいて、ユーザが興味を持つと思われる内容のコンテンツ種別をコンテンツ種別選択セクション４０１内の「おすすめ」に表示してもよい。

図５は、難易度分析部１１１が行う提示情報の難易度分析処理の一例を示す。難易度分析部１１１は情報提示部１１０が提示するテキストデータ及び音声データの難易度をスコアリングする。

まず、難易度分析部１１１は、情報提示部１１０から、情報提示部１１０が提示したコンテンツ、及び当該コンテンツに含まれる各単語の出力時刻を取得する（Ｓ５０１）。ここでは、難易度分析部１１１は、テキスト形式のコンテンツ入力と音声形式のコンテンツの両方が入力されたものとする。難易度分析部１１１は、入力されたテキスト形式のコンテンツと音声形式のコンテンツの難易度を決定する（Ｓ５０２）。

難易度分析部１１１は、テキスト形式のコンテンツの難易度を、例えば、コンテンツ内に使用されている単語や構文等の基準で決定する。また、難易度分析部１１１は、音声形式のコンテンツの難易度を、例えば、再生されるコンテンツの速度や訛り等の基準で決定する。難易度決定方法の具体例については、後述する。難易度分析部は、ステップＳ５０２で生成した難易度分析結果を出力し、例えばメモリ１０６に保存する（Ｓ５０３）。

図６は、難易度分析部１１１が生成した難易度分析結果の一例である。図６は、英語教育に用いられる英語のコンテンツの難易度分析結果の例である。難易度分析結果６００は、例えば、時刻６０１、単語６０２、単語難易度６０３、構文難易度６０４、速度難易度６０５、及び訛り難易度６０６を含む。時刻６０１は、対応する単語６０２が、例えば、テキストとしてタッチパネル１０３に表示される、かつ音声としてタッチパネル１０３から出力される時刻を示す。

単語６０２は、コンテンツに含まれる単語を示す。単語６０２に含まれる単語は、難易度分析部１１１によって、例えば、形態素解析等の手段を用いて、コンテンツに含まれる文章から抽出される。また、テキストデータ１０７及び音声データ１０８に含まれるコンテンツが予め単語単位で分割されていてもよい。

単語難易度６０３は、対応する単語６０２それぞれの難易度を示す。以下、難易度分析部１１１が各単語の単語難易度６０３を算出する処理の一例を説明する。難易度分析部１１１は、例えば、コーパス内の各単語の出現率（当該単語のコーパス内の出現回数／コーパス内の重複を含む単語総数）を算出する。難易度分析部、例えば、算出した出現率を値域が０．０〜１．０である所定の減少関数に代入した値を、当該単語の単語難易度６０３に決定する。これにより、コーパスにおける出現率が低い単語は、単語難易度の高い、即ち難しい単語とみなされ、出現率が高い単語は、単語難易度の低い、即ち簡単な単語とみなされる。

構文難易度６０４は、対応する単語６０２それぞれの構文の難易度を示す。以下、難易度分析部１１１が、各単語の構文の難易度を算出する処理の一例を説明する。難易度分析部１１１は、構文解析等の手段を用いて各単語が属する構文を検索する。名詞句、動詞句、助動詞付動詞句、連用修飾句、連体修飾句、固有表現等は構文の一例である。１つの単語は１以上の構文に属することもあるし、どの構文にも属さないこともある。

難易度分析部１１１は、各単語が属する構文それぞれのコーパス内の出現率（当該構文のコーパス内の出現回数／コーパス内の重複を含む構文総数）を算出する。難易度分析部１１１は、各単語に対して、例えば、当該単語が属する構文の出現率から最低の出現率を選択する。選択した出現率を値域が０．０〜１．０の所定の減少関数に代入した値を、当該単語の構文難易度６０４に決定する。また、難易度分析部１１１は、どの構文にも属さない単語の構文難易度６０４を、例えば０．０に決定する。これにより、コーパスにおける出現率が低い構文に属する単語は構文難易度の高い単語とみなされ、出現率が高い単語は構文難易度の低い単語とみなされる。

なお、難易度分析部１１１は、当該単語が属する構文の出現率から最低の出現率を選択する代わりに、例えば、ランダムに出現率を選択してもよいし、当該単語が属する構文の出現率の平均値等を算出してもよい。

速度難易度６０５は、対応する単語６０２が音声形式のコンテンツとして読み上げられる際の速度による難易度を示す。速度難易度６０５は、例えば、標準語音声の速度との乖離によって与えられる。以下、難易度分析部１１１が各単語の速度難易度６０５を算出する処理の一例を示す。

難易度分析部１１１は、各単語と同じ単語を、例えば、音声コーパスから取得する。音声コーパスとは、例えば、小学校から大学までの英語の教科書を標準語で読み上げた音声や、英文のニュース記事等を標準語で読み上げた音声が含まれる音声形式の文章データベースである。音声コーパスは、例えば補助記憶装置１０５に格納されていてもよいし、対話装置１０２に接続された他の計算機に格納されていてもよい。

難易度分析部１１１は、例えば、各単語に対して、音声コーパス内から取得した当該単語と同じ単語の平均速度を算出し、平均速度からの乖離を、当該単語の速度に決定する。例えば、平均速度より遅い速度は負の値、平均速度より早い速度は正の値で与えられるものとする。難易度分析部１１１は、決定した速度を、例えば、値域が０．０〜１．０の所定の増加関数に代入した値を、速度難易度６０５に決定する。これにより、速度が高い単語は速度難易度の高い単語とみなされ、速度が低い単語は速度難易度の低い単語とみなされる。

訛り難易度６０６は、対応する単語６０２が音声形式のコンテンツとして読み上げられる際の訛りによる難易度を示す。以下、難易度分析部１１１が各単語の訛り難易度６０６を算出する処理の一例を示す。難易度分析部１１１は、例えば、各単語のアクセントを示すパラメータを生成する。難易度分析部１１１は、例えば、各単語に対して、音声コーパス内から取得した当該単語と同じ単語のアクセントの平均パラメータを算出し、平均パラメータからの乖離の絶対値を、当該単語の訛りに決定する。難易度分析部１１１は、決定した訛りを、例えば、値域が０．０〜１．０の所定の増加関数に代入した値を、訛り難易度６０６に決定する。これにより、標準語のアクセントと乖離が大きい単語は訛り難易度の高い単語とみなされ、当該乖離が小さい単語は訛り難易度の低い単語とみなされる。

難易度分析部１１１は、以上の処理により、各単語の各種類の難易度を決定する。なお、本実施例における各種類の難易度は、値が大きいほど当該種類の難易度が示す指標が難しいことを示し、値が小さいほど当該種類の難易度が示す指標が易しいことを示す。

図７は、生体情報取得部１１２が取得する生体情報の一例であるヘモグロビン濃度データ、の一例である。図７のヘモグロビン濃度データの例は、理解活動を行うユーザの酸化ヘモグロビン濃度及び還元ヘモグロビン濃度の時系列を示す。例えば、生体情報計測器１０４の一例である近赤外光計測装置は、近赤外分光法利用して、ユーザの脳表層の複数の測定部位における血液中の酸化ヘモグロビン濃度及び／又は還元ヘモグロビン濃度の時系列的を測定する。

生体情報計測器１０４は、例えば、全脳におけるヘモグロビン濃度を計測してもよいし、言語を理解する言語野や認知活動を行う前頭葉のみおけるヘモグロビン濃度を計測してもよい。生体情報計測器１０４は、例えば、近赤外光を生体に照射する。照射した光が生体内に入射し、生体内を散乱及び吸収され、生体情報計測器１０４は伝播して出てきた光を検出する。

なお、生体情報計測器１０４は、例えば、特許文献１に記載されているユーザが理解活動を行う時の内部状態から脳内血流変化を得る方法、を用いて計測を行う。生体情報取得部１１２は、生体情報計測器１０４が計測したヘモグロビン濃度であって、ユーザが理解活動を行うときのヘモグロビン濃度、を取得する。

図８は、理解度判別用辞書データ１０９に格納される理解度判別用辞書の生成に用いられる脳計測データを計測する、計測システムの構成例を示す。計測システム８０１は、計測管理装置８０２、タッチパネル８０３、生体情報計測器８０４を含む。計測管理装置８０２は、例えば、プロセッサ（ＣＰＵ）８２１、補助記憶装置８０５、メモリ８０６、入出力インタフェース８２２、及び通信インタフェース８２３を含む計算機によって構成される。

タッチパネル８０３、生体情報計測器８０４、プロセッサ（ＣＰＵ）８２１、補助記憶装置８０５、メモリ８０６、入出力インタフェース８２２、及び通信インタフェース８２３それぞれの説明は、タッチパネル１０３、生体情報計測器１０４、プロセッサ（ＣＰＵ）１２１、補助記憶装置１０５、メモリ１０６、入出力インタフェース１２２、及び通信インタフェース１２３それぞれの説明と同様であるため省略する。

メモリ８０６は、それぞれプログラムである情報提示部８１１及び生体情報取得部８１２を含む。補助記憶装置８０５は、例えば、テキストデータ８０７、音声データ８０８、及び生体データ８１０を格納する。テキストデータ８０７及び音声データ８０８それぞれの説明は、テキストデータ１０７及び音声データ１０８の説明と同様であるため省略する。テキストデータ８０７及び音声データ８０８に含まれるコンテンツは、テキストデータ１０７及び音声データ１０８に含まれるコンテンツと同じであってもよいし、異なっていてもよい。生体データ８１０は、生体情報取得部８１２が取得した生体情報を格納する。

情報提示部８１１は、例えば、ユーザからの指示に従って、テキストデータ８０７及び／又は音声データ８０８からコンテンツを選択し、タッチパネル８０３を介して選択したコンテンツをユーザに提示する。

具体的には、例えば、情報提示部８１１は、ユーザからの指示に従って、ユーザがよく理解しているコンテンツと理解し難いコンテンツとを選択する。これにより、生体情報取得部８１２が提示された情報をユーザが理解している状態における生体情報と、理解していない状態における生体情報の双方を取得できる。例えば、ユーザが日本人である場合、小学生レベルの日本語の単語で書かれた文章は当該ユーザが理解しているコンテンツの一例であり、当該ユーザが勉強したことのない外国語で書かれ場文章は当該ユーザが理解し難いコンテンツの一例である。

生体情報取得部８１２は、情報提示部８１１が提示した提示情報に対する理解活動を行うユーザの生体情報を生体情報計測器８０４から取得し、取得した生体情報を時系列データとして、例えば、ユーザがよく理解しているコンテンツに対する生体情報と、ユーザが理解し難いコンテンツに対する生体情報と、に分けて生体データ８１０に格納してもよい。また、生体情報取得部８１２は、取得した生体情報それぞれに、ユーザの識別子を付加して、生体データ８１０に格納してもよい。

図９は、理解度判別用辞書データ１０９に格納される理解度判別用辞書を生成する理解度判別用辞書生成装置の構成例を示す。理解度判別用辞書生成装置９０２は、例えば、プロセッサ（ＣＰＵ）９２１、補助記憶装置９０５、メモリ９０６、入出力インタフェース９２２、及び通信インタフェース９２３を含む計算機によって構成される。

プロセッサ（ＣＰＵ）９２１、補助記憶装置９０５、メモリ９０６、入出力インタフェース９２２、及び通信インタフェース９２３それぞれの説明は、プロセッサ（ＣＰＵ）１２１、補助記憶装置１０５、メモリ１０６、入出力インタフェース１２２、及び通信インタフェース１２３それぞれの説明と同様であるため省略する。

メモリ９０６は、プログラムである理解度判別用辞書生成部９１１を含む。理解度判別用辞書生成部９１１は、生体データ９１０に格納された情報を用いて、理解度判別用辞書を生成し、生成した理解度判別用辞書を理解度判別用辞書データ９０９に格納する。

補助記憶装置９０５は、理解度判別用辞書データ９０９及び生体データ９１０を格納する。理解度判別用辞書データ９０９は、理解度判別用辞書生成部９１１が作成した理解度判別用辞書を生成する。生体データ９１０は、生体データ８１０に格納された生体情報と同等の生体情報を予め格納する。なお、本実施例では、対話システム１０１と、計測システム８０１と、理解度判別用辞書生成装置９０２と、は別のシステムとして説明しているが、１つのシステムであってもよい。

図１０は、理解度判別用辞書生成処理の一例を示す。理解度判別用辞書生成部９１１は、生体データ９１０から、ユーザがよく理解しているコンテンツに対する生体情報の複数の時系列と、ユーザが理解し難いコンテンツに対する生体情報の複数の時系列と、を取得する（Ｓ１００１）。以下の処理では、理解度判別用辞書生成部９１１は、取得したデータから生成された訓練データから理解度判別用辞書を生成する。

理解度判別用辞書生成部９１１は、ステップＳ１００１で取得した生体情報の時系列それぞれに含まれる各チャネルの信号に対して前処理を施す（Ｓ１００２）。例えば、生体情報計測器８０４の一例である近赤外光計測装置は、光を用いた非侵襲な頭部血行動態計測手法を用いた計測を行っているため、生体情報として得られる信号には脳活動に関連した信号と心拍数変動などによる全身性の血行動態に関連した情報とが含まれる。

従って、理解度判別用辞書生成部９１１は、取得した生体情報に対して、コンテンツに対する理解度に関連しない情報である雑音を除去するための前処理を行うことにより、理解度判別用辞書の精度を高めることができる。理解度判別用辞書生成部９１１は、周波数バンドパスフィルタ、多項式ベースライン補正、主成分分析、又は独立成分分析等のアルゴリズムを用いて、ステップＳ１００２における前処理を実行する。

続いて、理解度判別用辞書生成部９１１は、前処理を施した生体情報の時系列それぞれから理解度識別に必要な本質的な特徴のみを抽出する（Ｓ１００３）。具体的には、理解度判別用辞書生成部９１１は、ステップＳ１００２における前処理を施した各時系列に対して、当該時系列に含まれるチャネルの信号から、１以上のサンプル時刻における特徴ベクトルを計算する。各サンプル時刻は、例えば、予め定められた一定間隔の時刻である。

特徴ベクトルの計算方法は種々の方法が考えられる。以下、理解度判別用辞書生成部１０１１が生体情報のある時系列からサンプル時刻ｔにおける特徴ベクトルを計算する例を説明する。なお、理解活動開始時の時刻を０とする。

まず、理解度判別用辞書生成部９１１は、サンプル時刻ｔを含む時間窓を設定する。ここでは、理解度判別用辞書生成部９１１は、所定の正数δに対して、ｔ−δからｔ＋δまでの時間を時間窓に設定する。理解度判別用辞書生成部９１１は、ステップＳ１００２の前処理が施された当該時系列に含まれる各チャネルの信号から、時刻ｔ−δから時刻ｔ＋δまでの信号を切り出す。

理解度判別用辞書生成部９１１は、切り出した各チャネルの信号から、所定の基本統計量（例えば、ピーク振幅値、平均値、分散、勾配、歪度、尖度など）を計算する。理解度判別用辞書生成部９１１は、計算した各基本統計量を基にして、最も感度の高いチャネルの信号を選択する。感度の高いチャネルとは、当該時間窓における信号の特徴を強く反映するチャネルを示す。分散のｆ値、ピーク振幅値、及び勾配は感度の一例である。理解度判別用辞書生成部９１１は、例えば、選択したチャネルの１種類以上の基本統計量を要素とする特徴ベクトルを生成する。

続いて、理解度判別用辞書生成部９１１は、生成した特徴ベクトルを用いて分類アルゴリズムのパラメータを最適化することにより識別関数を生成する（Ｓ１００４）。識別関数は、ユーザの理解活動時の生体情報の時系列から生成されたある時刻における特徴ベクトルが入力され、当該ユーザの当該時刻の理解活動における理解度を出力する関数である。本実施例では、理解度は０以上１．０以下の数値で与えられるものとする、即ち識別関数の値域は０以上１．０以下であるものとする。理解度の値が高いほど、ユーザは当該時刻における理解活動の対象であるコンテンツをよく理解していることを示す。

ステップＳ１００４における分類アルゴリズムのパラメータの最適化は、例えば、ユーザがよく理解しているコンテンツに対する生体情報の時系列に対応する特徴ベクトルを入力した場合における理解度がなるべく高くなるように、ユーザが理解し難いコンテンツに対する生体情報の時系列に対応する特徴ベクトルを入力した場合における理解度がなるべく低くなるように、分類アルゴリズムのパラメータを決定することを示す。

マージン最大化原理に基づくサポートベクターマシンや線形判別分析、スパースロジスティック回帰、ロジスティック回帰、非線形の分類アルゴリズム隠れマルコフモデル、及びニューラルネットワーク等は分類アルゴリズムの一例である。

続いて、理解度判別用辞書生成部９１１は、生成した識別関数を理解度判別辞書に含め、理解度判別辞書を理解度判別用辞書データ９０９に格納する（Ｓ１００５）。また、理解度判別用辞書生成部９１１は、生成した特徴ベクトルと生成した識別関数とを照合することにより、各特徴ベクトルが所属するクラス（理解している／理解していない）を計算し、各特徴ベクトルと所属するクラスとの対応を理解度判別用辞書に含めてもよい。なお、特徴ベクトルに対応する理解度が所定値以上の場合に当該特徴ベクトルは「理解している」クラスに所属し、特徴ベクトルに対応する理解度が当該所定値未満の場合に当該特徴ベクトルは「理解していない」クラスに所属しているものとする。

なお、前述した理解度判別用辞書は、任意のユーザに適用可能な汎用的な理解度判別用辞書であるが、脳計測結果等の生体情報はユーザごとに特徴的なパターンがある。そのため、例えば、理解度判別用辞書生成部９１１は、生体データ９１０に格納された生体情報の時系列にユーザの識別子が付与されている場合には、ユーザごとに理解度判別用辞書を作成してもよい。後述する理解度判別処理において、理解度判別部１１３がユーザごとの理解度判別辞書を用いて理解度を算出することにより、より精度の高い理解度を得ることができる。

図１１は、対話システム１０１における理解度判別処理の一例を示す。理解度判別部１１３は、生体情報取得部１１２から、提示情報に対する理解活動を行った際のユーザの生体情報の時系列を取得する（Ｓ１１０１）。理解度判別部１１３は、取得した生体情報の時系列に含まれる各チャネルの信号に対して、例えば、ステップＳ１００２同様の方法で、前処理を施す（Ｓ１１０２）。

理解度判別部１１３は、前処理を施した生体情報の時系列から理解度識別に必要な本質的な特徴のみを抽出する（Ｓ１１０３）。具体的には、理解度判別部１１３は、例えば、ステップＳ１００３と同様の方法で、前処理を施した生体情報の時系列の各時刻の特徴ベクトルを生成する。

理解度判別部１１３は、理解度判別用辞書データ１０９に格納された理解度判別用辞書に含まれる識別関数に、各時刻の特徴ベクトルを代入し、ユーザの各時刻における理解度を算出する（Ｓ１１０４）。なお、理解度判別用辞書がユーザごとの識別関数が格納されている場合、理解度判別部１１３は、ステップＳ１１０４において当該ユーザに対応する識別関数を用いることが好ましい。続いて、理解度判別部１１３は、例えば、算出した各時刻の理解度を出力し、メモリ１０６に保存する（Ｓ１１０５）。

図１２は、理解度判別結果の一例である。図１２の理解度判別結果は、理解度判別部１１３が算出した各時刻における理解度を示す。

図１３は、照合部１１４による、コンテンツの難易度とユーザの理解度判別結果との照合処理の一例を示す。照合部１１４は、難易度分析部１１１が分析した音声データの難易度と、理解度判別部１１３が分析した理解度を時間軸で照合し、時刻同期する（Ｓ１３０１）。続いて、照合部１１４は、難易度分析部１１１が分析したテキストの難易度と、理解度判別部１１３が分析した理解度を時間軸で照合し、時刻同期する（Ｓ１３０２）。

ステップＳ１３０１及びステップＳ１３０２において、照合部１１４は、例えば、ある時間内の刻みで、難易度と理解度とを時刻同期する。続いて、照合部１１４は、時刻同期した音声データの難易度、テキストデータの難易度、及び理解度を出力し、例えばメモリ１０６に保存する（Ｓ１３０３）。

図１４は、照合部１１４による照合結果の一例である。照合結果は、各時刻における理解度と、各時刻においてユーザが提示されたテキストデータの単語難易度及び構文難易度と、各時刻においてユーザが提示された音声データの速度及び訛りと、の対応を示す。

図１５は、テキストの難易度、音声の難易度、及び理解度の時刻同期結果の一例を示す。照合部１１４は、例えば、各時刻において、例えば１０００ｍｓ等の所定周期の各区間においての理解度判別結果、テキストの難易度、及び音声の難易度を照合する。

図１６は、理解タイプ判別部１１５による理解タイプ判別処理の一例を示す。理解タイプ判別部１１５は、照合部１１４が生成した時刻同期結果を取得する（Ｓ１６０１）。例えば、理解度が第１閾値以下である時間が理解活動時間の第１割合を超える場合、理解タイプ判別部１１５は、理解度が第１閾値以下である時刻それぞれにおけるテキストの難易度情報と音声の難易度情報とを参照して、ユーザの理解活動時の理解タイプを決定する（Ｓ１６０２）。なお、理解度が第１閾値以下である時間が理解活動時間の第１割合以下である場合、理解タイプ判別部１１５は、ユーザがコンテンツを理解していると判定する。

以下、ステップＳ１６０２の理解タイプ決定処理の具体例を説明する。例えば、理解活動時間の８割以下の時間において理解度が５０％以下である場合、理解タイプ判別部１１５は、理解度が５０％以下である時刻群の時刻それぞれにおけるテキストの難易度情報と音声の難易度情報とを参照する。

例えば、単語難易度が第２閾値以上である当該時刻群の時刻が存在する場合、理解タイプ判別部１１５は、ユーザが単語を理解していないことが理解タイプに含まれると判定する。例えば、構文難易度が第３閾値以上である当該時刻群の時刻が存在する場合、理解タイプ判別部１１５は、ユーザが構文を理解していないためことが理解タイプに含まれると判定する。

例えば、速度難易度が第４閾値以上である当該時刻群の時刻が存在する場合、理解タイプ判別部１１５は、音声の速度が速いことが理解タイプに含まれると判定する。例えば、訛り難易度が第５閾値以上である当該時刻群の時刻が存在する場合、理解タイプ判別部１１５は、音声に訛りがあることが理解タイプに含まれると判定する。

また、例えば、理解活動時間の第２割合以上の時間において（第２割合は第１割合以下である）理解度が所定の閾値以下である場合、理解タイプ判別部１１５は、ユーザがコンテンツのトピックを理解していないことが理解タイプに含まれると判定する。

なお、理解タイプ判別部１１５は、複数の理解タイプが存在する場合、理解タイプ即ちユーザがコンテンツを理解できていない原因を絞り込んでもよい。例えば、理解タイプそれぞれに優先度が予め定められており、理解タイプ判別部１１５は、当該優先度に従って当該複数の理解タイプを所定個数の理解タイプを選択に絞り込む。

また、例えば、理解タイプ判別部１１５が、当該複数の理解タイプそれぞれの優先度を決定してもよい。ユーザがトピックを理解していないことが理解タイプに含まれる場合、理解タイプ判別部１１５は、例えば、理解度の平均値に第１重みを掛けた値を、ユーザがトピックを理解していないことに対応する優先度に決定する。

ユーザが単語を理解していないことが理解タイプに含まれる場合、理解タイプ判別部１１５は、例えば、理解度が第１閾値以下である単語の第２閾値以上である単語難易度の平均値に第２重みを掛けた値を、ユーザが単語を理解していないことに対応する優先度に決定する。ユーザが構文を理解していないことが理解タイプに含まれる場合、理解タイプ判別部１１５は、例えば、理解度が第１閾値以下である単語の第３閾値以上である構文難易度の平均値に第３重みを掛けた値を、ユーザが構文を理解していないことに対応する優先度に決定する。

音声の速度が速いことが理解タイプに含まれる場合、理解タイプ判別部１１５は、例えば、理解度が第１閾値以下である単語の第４閾値以上である速度難易度の平均値に第４重みを掛けた値を、音声の速度が速いことに対応する優先度に決定する。音声に訛りがあることが理解タイプに含まれる場合、理解タイプ判別部１１５は、例えば、理解度が第１閾値以下である単語の第５閾値以上である訛り難易度の平均値に第５重みを掛けた値を、音声に訛りがあることに対応する優先度に決定する。

図１７は、理解タイプ結果の一例を示す。図１７の例では、現在のユーザの理解タイプは単語が理解できていないことであり、ユーザは単語を理解できていないことにより提示した情報全体が理解できない状態である可能性が高い。つまり、情報制御部１１６は、提示する情報を、理解タイプに基づいて制御することにより、ユーザの理解度を向上させることができる。

図１８は、情報制御部１１６による提示情報制御処理の一例を示す。情報制御部１１６は、理解タイプ判別部１１５が決定した理解タイプ結果を取得する（Ｓ１８０１）。即ち、理解タイプ判別部１１５は、ユーザがコンテンツを理解しているか否かを示す情報、及びユーザがコンテンツ理解していない場合にはさらに理解タイプを取得する。

情報制御部１１６は、取得した理解タイプ結果に従って、ユーザがコンテンツを理解しているか否かを判定する（Ｓ１８０２）。情報制御部１１６は、ユーザがコンテンツを理解していないと判定した場合（Ｓ１８０２：ＮＯ）、理解タイプ結果が示す理解タイプに従って、提示する情報を制御し、（Ｓ１８０３）、次の情報を提示する（Ｓ１８０４）。ステップＳ１８０３を経由した場合におけるステップＳ１８０４における次の情報の具体例は後述する。情報制御部１１６は、ユーザがコンテンツを理解したと判定した場合（Ｓ１８０２：ＹＥＳ）、次の情報、例えば別のコンテンツ等、を提示する（Ｓ１８０４）。

図１９は、ステップＳ１６０３における制御内容の一例を示す。情報制御部１１６は、理解タイプに応じた予め定められた制御内容に従って、制御処理を行う。図１９の例では、理解タイプが単語である場合の制御が「語彙数１０００以下の簡単な単語で言い換える」、理解タイプが構文である場合の制御が「簡単な構文で言い換える」、理解タイプがトピックである場合の制御が「背景知識の紹介」、理解タイプが速度である場合の制御が「ゆっくり言い換える」、理解タイプが訛りである場合の制御が「標準語で言い換える」、である例を示す。

図２０は、情報制御部１１６がタッチパネル１０３に出力する、警告メッセージの一例である。情報制御部１１６は、例えばステップＳ１８０２において、ユーザがコンテンツを理解していないと判定した場合に、図２０の警告メッセージをタッチパネル１０３に出力する。

ユーザが「そのまま」に対応するチェックボックスを選択した場合、例えば、情報制御部１１６は、ステップＳ１８０２においてユーザがコンテンツを理解している場合の、ステップＳ１８０４と同様の情報を提示する。

ユーザが「情報制御」に対応するチェックボックスを選択した場合、情報制御部１１６は、ステップＳ１８０３において、理解タイプに従って次に提示する情報の制御を行う。以下、ユーザが「情報制御」に対応するチェックボックスを選択した場合における、ユーザへの提示画面及び情報制御部１１６によるステップＳ１８０３及びステップＳ１８０４の具体例を説明する。

図２１Ａは、ユーザが単語を理解していないことが理解タイプである場合における、情報制御部１１６がステップＳ１８０３においてタッチパネルに出力するユーザインタフェースの一例である。当該ユーザインタフェースは、例えば、ユーザが単語を理解していない旨及び対応策を示すメッセージ、並びに単語難易度が第２閾値以上である単語を太枠で囲んだテキスト形式のコンテンツを表示する。なお、理解度が第１閾値以下かつ単語難易度が第２閾値以上である単語が太枠で囲まれていてもよい。

ユーザが「単語の意味」に対応するチェックボックスを選択した場合、例えば、情報制御部１１６は、太枠で囲まれた単語の意味を単語解釈２０４から取得し、タッチパネル１０３に出力する。これによりユーザは理解度が低い単語の意味を理解することができる。

また、ユーザが「簡単バージョンで言い換える」に対応するチェックボックスを選択した場合、例えば、情報制御部１１６は、当該コンテンツのより簡単なバージョンのコンテンツをコンテンツ２０３から選択し、タッチパネル１０３に出力する。

図２１Ｂは、ユーザが構文を理解していないことが理解タイプである場合における、情報制御部１１６がステップＳ１８０３においてタッチパネルに出力するユーザインタフェースの一例である。当該ユーザインタフェースは、例えば、ユーザが構文を理解していない旨及び対応策を示すメッセージ、並びに構文難易度が第３閾値以上である単語を太枠で囲んだテキスト形式のコンテンツを表示する。なお、理解度が第１閾値以下かつ構文難易度が第３閾値以上である単語が太枠で囲まれていてもよい。

ユーザが「そのまま」に対応するチェックボックスを選択した場合、情報制御部１１６は、次の情報提示において、理解タイプに構文が含まれていない場合と同様の処理を行う。ユーザが「簡単バージョン」に対応するチェックボックスを選択した場合、情報制御部１１６は、当該コンテンツのより簡単なバージョンのコンテンツをコンテンツ２０３から選択し、タッチパネル１０３に出力する。

図２２Ａは、ユーザがトピックを理解していないことが理解タイプである場合における、情報制御部１１６がステップＳ１８０３においてタッチパネルに出力するユーザインタフェースの一例である。当該ユーザインタフェースは、例えば、ユーザがトピックを理解していない旨及び対応策を示すメッセージ、並びにテキスト形式のコンテンツを表示する。

ユーザが「日本語」に対応するチェックボックスを選択した場合、情報制御部１１６は、当該コンテンツの日本語版の背景知識を背景２０２から選択し、タッチパネル１０３に出力する。ユーザが「英語」に対応するチェックボックスを選択した場合、情報制御部１１６は、当該コンテンツの英語版の背景知識を背景２０２から選択し、タッチパネル１０３に出力する。ユーザが「写真」に対応するチェックボックスを選択した場合、情報制御部１１６は、当該コンテンツの背景２０２から写真を選択し、タッチパネル１０３に出力する。

図２２Ｂは、音声の速度が速いことが理解タイプである場合における、情報制御部１１６がステップＳ１８０３においてタッチパネルに出力するユーザインタフェースの一例である。当該ユーザインタフェースは、例えば、音声の速度が速いためユーザが音声を理解していない旨及び対応策を示すメッセージ、並びにテキスト形式のコンテンツを表示する。

ユーザが「そのまま」に対応するチェックボックスを選択した場合、情報制御部１１６は、次の情報提示において、理解タイプに速度が含まれていない場合と同様の処理を行う。ユーザが「ゆっくり」に対応するチェックボックスを選択した場合、情報制御部１１６は、例えば、提示したコンテンツ内の全ての単語又は速度難易度が第４閾値以上である単語、の速度を所定値下げた又は所定値まで下げた音声データを作成し、出力する。

図２２Ｃは、音声に訛りがあることが理解タイプである場合における、情報制御部１１６がステップＳ１８０３においてタッチパネルに出力するユーザインタフェースの一例である。当該ユーザインタフェースは、例えば、音声に訛りがあるためユーザが音声を理解していない旨及び対応策を示すメッセージ、並びにテキスト形式のコンテンツを表示する。

ユーザが「そのまま」に対応するチェックボックスを選択した場合、情報制御部１１６は、次の情報提示において、理解タイプに速度が含まれていない場合と同様の処理を行う。ユーザが「標準語」に対応するチェックボックスを選択した場合、情報制御部１１６は、例えば、提示したコンテンツ内の全ての単語又は訛り難易度が第５閾値以上である単語、の標準語のアクセントからの乖離を所定値下げた又は所定値まで下げた音声データを作成し、出力する。

ここまで、ステップＳ１８０３において、情報制御部１１６が、図２０〜図２２Ｃのような画面を出力し、ユーザが画面内の情報を選択し、選択した情報に従って、次の提示情報を決定する例を説明した。

情報制御部１１６は、ステップＳ１８０３において、図２０〜図２２Ｃのような画面を出力せず、図２０〜図２２Ｃにおけるチェックボックスに対応する情報のいずれかを次の提示情報に自動的に決定してもよい。また、例えば、情報制御部１１６は、ユーザが構文を理解していないことが理解タイプである場合において、提示したコンテンツ内の単語に占める単語難易度が第２閾値以上である単語の割合が所定値以上の場合に、単語難易度が第２閾値以上である単語の意味を出力する、又は当該コンテンツのより簡単なバージョンのコンテンツを出力してもよい。

以上、本実施例の対話システム１０１は、提示情報に対するユーザの理解活動時の生体情報と、提示情報の難易度と、を照合することに、ユーザの提示情報に対する客観的な理解度及び理解タイプを精度よく特定することができる。また、本実施例の対話システム１０１は、理解度と理解タイプに基づいて、次に提示する情報を決定することにより、当該提示情報と同様の内容を有し、かつユーザの理解度に沿った情報を提示することができる。具体的には、例えば、対話システム１０１は、ユーザの理解度が低いかつ難易度が高い要素を、難易度が低い要素に置換した情報を提示することにより、ユーザの理解度を高めることができる。

前述した通り対話システム１０１は、提示情報に対するユーザの理解度を判別することが可能であるため、前述のような教育に関するコンテンツだけでなく、広告、マーケティング、及び医療等の分野のコンテンツに適用することもできる。テキストデータ１０７及び音声データ１０８にこれらの分野のコンテンツが予め格納されていればよい。

また、メモリ１０６は音声による言語認識を行う音声認識部を含んでもよく、例えば、情報提示部１１０及び情報制御部１１６が前述のユーザ入力を受け付ける代わりに、音声認識部がユーザから受け付けた音声言語による入力を受け付け、情報提示部１１０及び情報制御部１１６に送信する。これにより対話システム１０１は、自然言語による人間との対話が可能となる。

本実施例では情報提示部１１０はステップＳ３０２の提示形式選択において、テキストと音声の一方又は双方を選択する例を説明しあったが、音楽、画像、動画等の他の提示形式のデータが補助記憶装置１０５に格納されている場合は、当該他の提示形式を選択してもよい。

また、本実施例の難易度分析部１１１は、難易度を分析しているが、ユーザから難易度の直接入力を受け付けてもよい。例えば、対話システム１０１を用いて、広告の動画の理解度について市場調査をする場合において、調査者は例えば動画の所定時刻における難易度を高く設定することにより、対話システム１０１は当該所定時刻における調査被験者の理解タイプを出力することができる。

実施例１において、生体情報計測器１０４及び生体情報計測器８０４が脳機能計測法として近赤外分光法を用いた例を説明したが、生体情報計測器１０４及び生体情報計測器８０４は、脳波や機能的磁気共鳴画像法といった手法を用いてもよい。

また、生体情報計測器１０４及び生体情報計測器８０４は、アイトラッキング機器やカメラなどをさらに含んでもよく、さらに視線や表情を観察してもよい。このとき、生体情報取得部１１２及び生体情報取得部８１２は、さらに生体情報計測器１０４及び生体情報計測器８０４が認識した視線情報及び表情情報を取得する。

理解度判別部１１３及び理解度判別用辞書生成部９１１は、視線情報及び顔情報を含む生体情報から特徴抽出を行う。以上により、本実施例の対話システム１０１は、より精度の高い理解度を得ることができる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることも可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

Claims (14)

1. 複数の要素からなるコンテンツを参照するユーザに対して提示する情報を制御する、システムであって、
   プロセッサと、記憶装置と、出力装置と、を含み、
   前記記憶装置は、
   前記コンテンツと、
   前記複数の要素それぞれの難易度を示す難易度情報と、
   前記ユーザが前記コンテンツを理解できない原因を示す理解タイプそれぞれに対応する提示情報と、を保持し、
   前記プロセッサは、
   前記コンテンツを前記出力装置に出力し、
   前記コンテンツに含まれる要素それぞれが前記出力装置に出力された時刻における前記ユーザの生体情報を取得し、
   前記取得した生体情報それぞれに基づいて、前記コンテンツに含まれる要素それぞれに対する前記ユーザの理解度を算出し、
   前記算出した理解度に基づいて、前記ユーザが前記コンテンツを理解していないと判定した場合、
   前記算出した理解度、及び理解度が第１閾値以下である要素の前記難易度情報が示す難易度に基づいて、理解タイプを決定し、
   前記決定した理解タイプに対応する提示情報を前記出力装置に出力する、システム。
2. 請求項１に記載のシステムであって、
   前記記憶装置は、複数種類の前記難易度情報を保持し、
   前記算出した理解度に基づいて、前記ユーザが前記コンテンツを理解していないと判定した場合、
   理解度が前記第１閾値以下である第１要素を選択し、
   前記選択した要素の難易度であって、当該難易度が属する難易度情報に対応する閾値以上である難易度、を前記複数種類の難易度情報から取得し、
   前記取得した難易度の比較結果に基づいて、前記複数種類の難易度情報から１以上の難易度情報を選択し、
   前記選択した１以上の難易度情報に基づいて、理解タイプを決定する、システム。
3. 請求項１に記載のシステムであって、
   前記提示情報は、前記コンテンツの１以上の要素からなる第１要素群の要素それぞれを当該要素より難易度が低い要素に置換した前記コンテンツである、第１提示情報を含み、
   前記第１提示情報は、第１理解タイプに対応し、
   前記プロセッサは、
   前記算出した理解度に基づいて、前記ユーザが前記コンテンツを理解していないと判定した場合、
   前記第１要素群の要素それぞれに対して、理解度が前記第１閾値以下かつ前記難易度情報が示す難易度が第２閾値以上である第１条件を満たすか否かを判定し、
   前記第１要素群の全ての要素が前記第１条件を満たすと判定した場合、理解タイプを前記第１理解タイプに決定する、システム。
4. 請求項１に記載のシステムであって、
   前記提示情報は、前記コンテンツの背景知識を示す第２提示情報を含み、
   前記第２提示情報は、第２理解タイプに対応し、
   前記プロセッサは、前記算出した理解度のうち所定割合以上の理解度が第３閾値以下であると判定した場合、理解タイプを前記第２理解タイプに決定する、システム。
5. 請求項１に記載のシステムであって、
   前記コンテンツは、テキスト形式の文章データを含み、
   前記複数の要素それぞれは、前記文章データに含まれる単語であり、
   前記難易度情報は、前記文章データに含まれる単語それぞれの難易度と、前記文章データに含まれる単語それぞれが属する構文の難易度と、の少なくとも一方を示す、システム。
6. 請求項５に記載のシステムであって、
   前記難易度情報は、前記文章データに含まれる単語それぞれの難易度を示し、
   前記提示情報は、前記文章データに含まれる第１単語の解釈を示す第３提示情報を含み、
   前記第３提示情報は、第３理解タイプに対応し、
   前記プロセッサは、
   前記算出した理解度に基づいて前記ユーザが前記コンテンツを理解していないと判定し、かつ前記第１単語の理解度が前記第１閾値以下であり前記第１単語の難易度が第４閾値以上である、と判定した場合、
   理解タイプを前記第３理解タイプに決定する、システム。
7. 請求項５に記載のシステムであって、
   前記難易度情報は、前記文章データに含まれる単語それぞれの難易度を示し、
   前記プロセッサは、
   複数の単語を含むテキスト形式の第１文章データを取得し、
   前記文章データに含まれる単語それぞれの前記第１文章データ中の出現率、に基づいて、当該単語の難易度を決定する、システム。
8. 請求項５に記載のシステムであって、
   前記難易度情報は、前記文章データに含まれる単語それぞれが属する構文の難易度を示し、
   前記プロセッサは、
   複数の単語を含むテキスト形式の第２文章データを取得し、
   前記文章データに含まれる単語それぞれが属する構文それぞれの前記第２文章データ中の出現率、に基づいて、当該単語が属する構文の難易度を決定する、システム。
9. 請求項１に記載のシステムであって、
   前記コンテンツは、音声形式の文章データを含み、
   前記複数の要素それぞれは、前記文章データに含まれる単語であり、
   前記難易度情報は、前記文章データに含まれる単語それぞれが前記出力装置に出力される際の速度の難易度と、前記文章データに含まれる単語それぞれが前記出力装置に出力される際の訛りの難易度と、の少なくとも一方を示す、システム。
10. 請求項９に記載のシステムであって、
    前記難易度情報は、前記文章データに含まれる単語それぞれが前記出力装置に出力される際の速度の難易度を示し、
    前記プロセッサは、
    複数の単語を含む音声形式の第３文章データを取得し、
    前記文章データに含まれる単語それぞれが前記出力装置に出力される際の速度と、前記第３文章データに含まれる当該単語が前記出力装置に出力される際の速度と、の比較結果に基づいて、前記文章データに含まれる単語それぞれが前記出力装置に出力される際の速度の難易度を決定する、システム。
11. 請求項９に記載のシステムであって、
    前記難易度情報は、前記文章データに含まれる単語それぞれが前記出力装置に出力される際の訛りの難易度を示し、
    前記プロセッサは、
    複数の単語を含む音声形式の第４文章データを取得し、
    前記文章データに含まれる単語それぞれが前記出力装置に出力される際の訛りと、前記第４文章データに含まれる当該単語が前記出力装置に出力される際の訛りと、の比較結果に基づいて、前記文章データに含まれる単語それぞれが前記出力装置に出力される際の訛りの難易度を決定する、システム。
12. 請求項１に記載のシステムであって、
    前記プロセッサは、
    前記ユーザが理解できる第１要素と、前記ユーザが理解できない第２要素と、を前記出力装置に出力し、
    前記第１要素を参照した前記ユーザの第１生体情報と、前記第２要素を参照した前記ユーザの第２生体情報と、を取得し、
    前記第１生体情報と前記第２生体情報とを含む訓練データに基づいて、前記ユーザの生体情報と理解度との対応を示す理解度判別用辞書を生成し、
    前記取得した生体情報それぞれと前記理解度判別用辞書とに基づいて、前記コンテンツに含まれる要素それぞれに対する前記ユーザの理解度を算出する、システム。
13. 請求項１に記載のシステムであって、
    前記生体情報は、脳機能情報、視線情報、及び表情情報を含む、システム。
14. 出力装置を含むシステムが複数の要素からなるコンテンツを参照するユーザに対して提示する情報を制御する、方法であって、
    前記システムは、
    前記コンテンツと、
    前記複数の要素それぞれの難易度を示す難易度情報と、
    前記ユーザが前記コンテンツを理解できない原因を示す理解タイプそれぞれに対応する提示情報と、を保持し、
    前記方法は、
    前記システムが、
    前記コンテンツを前記出力装置に出力し、
    前記コンテンツに含まれる要素それぞれが前記出力装置に出力された時刻における前記ユーザの生体情報を取得し、
    前記取得した生体情報それぞれに基づいて、前記コンテンツに含まれる要素それぞれに対する前記ユーザの理解度を算出し、
    前記算出した理解度に基づいて、前記ユーザが前記コンテンツを理解していないと判定した場合、
    前記算出した理解度、及び理解度が第１閾値以下である要素の前記難易度情報が示す難易度に基づいて、理解タイプを決定し、
    前記決定した理解タイプに対応する提示情報を前記出力装置に出力する、方法。

Images