JP6497229B2 - 注目値算出装置、コンピュータプログラム及び注目値算出方法 - Google Patents

Description

本発明は、チャットなどの文字を用いたオンラインコミュニュケーションにおいて、観者が注視する度合いを示す注目値を求める装置等に関する。

近年、チャットなどの文字を用いたオンラインコミニュケーションが利用されている。チャットでは、参加するもの同士は文字のみでやり取りを行うため、対面コミュニケーションのように、相手の表情、仕草、視線などの情報を得ることはできない。それに対して、視線検出技術を用いて、相手ユーザが発言のどの部分を注視したかを発言元のユーザ（以降、「手前ユーザ」という。）に、フィードバック表示することが考えられる。それにより、手前ユーザは相手ユーザが自分の発言のどの部分に関心を持ったかを推察できるので、コミュニケーションの質の向上が期待される。

以上のような機能を実現する要素技術として、従来、次のようなものが提案されている。相手ユーザ（観者）の視線を追尾し、画面上に表示された文字列のいずれを相手ユーザが注視をしているのかを検出する情報処理装置が提案されている（特許文献１）。
また、二つの語の係り受け関係を特定する情報処理装置が提案されている（特許文献２）。
さらに、特定の文字列を他の文字列と比べ強調表示する情報処理装置が提案されている（特許文献３）。

特開２０００−３３０６８１号公報 特開２０１２−１５０７５９号公報 特開２００６−１８３９２号公報

しかしながら、視線検出では注視した文字列（単語、形態素列、文節、フレーズなど）に近接する文字列も、相手ユーザは注視したと判定される場合がある。この場合、相手ユーザが注視した文字列を手前ユーザ画面で強調表示させても、注視した文字列が的確に手前ユーザに伝わらない。

特に、翻訳システムを介することにより、双方が異なる言語でコミュニケーションを取っている場合、複数の注視した単語を強調表示しても、異なる言語で表示されている手前ユーザ画面では、離れた場所に位置する単語が強調表示されてしまい、注視した単語がわかりにくくなる。

一の側面によれば、本発明は、相手ユーザが注視した単語を手前ユーザへ的確に伝えることを可能とする注目値算出装置等を提供することを目的とする。

１つの態様では、注目値算出装置は、文字列群に含まれる文字列毎に観者が注視した累積時間を取得する取得部と、前記文字列毎に隣接する他の文字列との関連性を示す関連値を計算する計算部と、前記文字列毎に対応する累積時間及び前記関連値から注目値を算出する算出部とを備える。

一観点によれば、観者（相手ユーザ）が注視した単語を手前ユーザへ的確に伝えることを可能となる。

コミュニケーションシステムの構成例を示す説明図である。 注目値算出装置のハードウェア構成例を示すブロック図である。 視線位置履歴テーブルのレコードレイアウトの一例を示す説明図である。 文字列対応テーブルのレコードレイアウトの一例を示す説明図である。 注目値テーブルのレコードレイアウトの一例を示す説明図である。 輝度設定テーブルのレコードレイアウトの一例を示す説明図である。 コミュニケーションシステムの動作例を示すフローチャートである。 コミュニケーションシステムの動作例を示すフローチャートである。 構文距離の計算結果の一例を示す説明図である。 輝度値に応じた表示の例を示す説明図である。 構文距離の計算結果の一例を示す説明図である。 注目値テーブルの一例を示す説明図である。 視線位置履歴テーブルのレコードレイアウトの一例を示す説明図である。 累積時間計算処理の手順を示すフローチャートである。 注目値テーブルのレコードレイアウトの一例を示す説明図である。 注目値算出装置の機能構成の一例を示す説明図である。

実施の形態１
以下、実施の形態を、図面を参照して説明する。図１はコミュニケーションシステムの構成例を示す説明図である。コミュニケーションシステムは、チャット管理システム１０、第１端末６、第２端末７を含む。第１端末６及び第２端末７は、デスクトップ型ＰＣ（パーソナルコンピュータ）、ノートブック型ＰＣ、タブレットコンピュータ、携帯端末、スマートフォン等である。チャット管理システム１０、第１端末６、第２端末７は、ネットワークＮ１により、互いに通信可能としてある。実施の形態１では、チャット管理システム１０を用いて、第１端末６のユーザと第２端末７のユーザとがオンラインチャットを行う。

第１端末６、第２端末７にはそれぞれのユーザの視線位置を検出する視線センサ６１、７１が接続又は内蔵されている。例えば、視線センサ６１、７１はそれぞれ、近赤外ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）と近赤外カメラとを含む。視線センサ６１、７１は、近赤外ＬＥＤから発した近赤外線が、瞳孔や角膜でどのように反射するかを近赤外カメラで観測することにより、視線検出を行う。

オンラインチャットは、第１端末６、第２端末７の２台に限らず、他の端末が行っても良い。また、第１端末６、第２端末７が行うチャットとは別に、他の複数の端末がチャットを行っても良い。

チャット管理システム１０は、注目値算出装置１、チャット装置２、翻訳装置３、共用データベース４、ルータ５を含む。注目値算出装置１、チャット装置２、翻訳装置３は、汎用コンピュータ、ワークステーション、デスクトップ型ＰＣ（パーソナルコンピュータ）、ノートブック型ＰＣ等である。各装置等は、ネットワークＮ２により、互いに通信可能としてある。チャット装置２は複数の端末が行うオンラインチャットを提供する。第１端末６、第２端末７がオンラインチャットを行う場合、第１端末６を介して入力された発言は、チャット装置２を介して、第２端末７に送信される。第２端末７を介して入力された発言も同様に、チャット装置２を介して、第１端末６に送信される。

翻訳装置３はある言語で書かれた文章を受付け、他の言語の文章に翻訳して出力する装置である。翻訳装置３が行う翻訳はいわゆる機械翻訳と呼ばれるものであり、公知の技術により実現されるので、説明を省略する。チャット管理システム１０では、ユーザが相手と異なる言語でチャットを希望する場合に、翻訳装置３がチャット装置２と連携し、双方の発言を翻訳してユーザに提供する。例えば、第１端末６のユーザが英語でのチャットを希望し、第２端末７のユーザが日本語でのチャットを希望する場合を想定する。この場合、第１端末６のユーザの発言は、翻訳装置３が英語から日本語に翻訳を行ない、第２端末７に送信される。第２端末７のユーザの発言は、翻訳装置３が日本語から英語に翻訳を行ない、第１端末６に送信される。以下の説明においては、第１端末６のユーザが発言した内容が、第２端末７に送信され、第２端末７のユーザが注視した文字列が、第１端末６の表示に反映されるものとする。

共用データベース４は、視線位置履歴テーブル４１、文字列対応テーブル４２を記憶する。詳細は後述する。

注目値算出装置１は、第１端末６から送信された発言内容を第２端末７に表示させ、その発言に対して、第２端末７のユーザがどの部分を注視したか、その程度を数値として求める。求めた数値にはチャット装置２に送信され、手前ユーザである第１端末６に表示される発言内容の表示態様に反映される。

視線位置履歴テーブル４１は各ユーザの視線位置の履歴を記憶している。文字列対応テーブル４２は、翻訳装置３が行った翻訳結果により生成される原文を構成する文字列と、翻訳文を構成する文字列との対応関係を記憶する。ルータ５はネットワークＮ１上の機器とネットワークＮ２上の機器との通信を仲介する。視線位置履歴テーブル４１、文字列対応テーブル４２は、共用データベース４ではなく、注目値算出装置１の大容量記憶装置１４（図２参照）に記憶してもよい。

図２は注目値算出装置１のハードウェア構成例を示すブロック図である。注目値算出装置１は、汎用コンピュータ、ワークステーション、デスクトップ型ＰＣ（パーソナルコンピュータ）、ノートブック型ＰＣ等である。注目値算出装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３、大容量記憶装置１４、通信部１５、読み取り部１６を含む。各構成はバスＢで接続されている。

ＣＰＵ１１はＲＯＭ１３に記憶された制御プログラム１Ｐに従いハードウェア各部を制御する。ＲＡＭ１２は例えばＳＲＡＭ（Ｓｔａｔｉｃ ＲＡＭ）、ＤＲＡＭ（Ｄｙｎａｍｉｃ ＲＡＭ）、フラッシュメモリである。ＲＡＭ１２はＣＰＵ１１によるプログラムの実行時に発生するデータを一時的に記憶する。

大容量記憶装置１４は、例えばハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などである。大容量記憶装置１４には、注目値テーブル１４１、輝度設定テーブル１４２等の各種データが記憶されている。また、制御プログラム１Ｐを大容量記憶装置１４に記憶するようにしておいても良い。

通信部１５はネットワークＮ２を介して、他のコンピュータと通信を行う。読み取り部１６はＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）−ＲＯＭ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）−ＲＯＭを含む可搬型記憶媒体１ａを読み取る。ＣＰＵ１１が読み取り部１６を介して、制御プログラム（コンピュータプログラム）１Ｐを可搬型記憶媒体１ａより読み取り、大容量記憶装置１４に記憶しても良い。また、ネットワークＮ２を介して他のコンピュータからＣＰＵ１１が制御プログラム１Ｐをダウンロードし、大容量記憶装置１４に記憶しても良い。さらにまた、半導体メモリ１ｂから、ＣＰＵ１１が制御プログラム１Ｐを読み込んでも良い。

次に、各種テーブルについて説明する。図３は視線位置履歴テーブル４１のレコードレイアウトの一例を示す説明図である。視線位置履歴テーブル４１は、サービスＩＤ欄、ユーザＩＤ欄、計測日時欄、注視時間欄、注視文字列欄を含む。サービスＩＤ欄は、チャットを特定するためのＩＤを記憶する。ユーザＩＤ欄は、視線検出の対象であるユーザを特定するＩＤを記憶する。計測日時欄は視線検出を行った日時を記憶する。注視時間欄はユーザの視線が止まり、ある文字列を注視した時間を記憶する。注視文字列欄はユーザが抽出した文字列を記憶する。

本実施の形態では、処理単位となる文字列は日本語の文節とする。それに伴い原文である英語の文章も、日本語の文節単位に対応する文字列単位で処理する。処理単位は、これらに限らず、処理する言語に応じて、処理単位となる文字列を、単語、形態素、フレーズ、意義素などとしても良い。

図４は文字列対応テーブル４２のレコードレイアウトの一例を示す説明図である。文字列対応テーブル４２は訳文文字列欄、原文文字列欄を含む。訳文文字列欄は、翻訳文（ここでは日本語文）を構成する文字列（ここでは文節）を記憶する。原文文字列欄は、訳文文字列に対応した原文（ここでは英語文）の文字列を記憶する。

続いて、注目値算出装置１の大容量記憶装置１４に記憶されるテーブルについて説明する。図５は注目値テーブル１４１のレコードレイアウトの一例を示す説明図である。注目値テーブル１４１は、訳文文字列欄、距離欄、時間欄、注目値欄を含む。訳文文字列欄は訳文を構成する文字列を記憶する。距離欄は先行文字列との構文距離を記憶する。時間欄は観者であるユーザが視線を向けた時間を記憶する。単位は、秒、ミリ秒などである。注目値欄は後述する注目値を記憶する。

図６は輝度設定テーブル１４２のレコードレイアウトの一例を示す説明図である。輝度設定テーブル１４２は、原文文字列欄、輝度欄を含む。原文文字列欄は、原文を構成する文字列を記憶する。輝度欄は原文文字列を表示する際に設定すべき輝度を記憶する。

次に、コミュニケーションシステムの動作について説明する。図７及び図８はコミュニケーションシステムの動作例を示すフローチャートである。チャット装置２は第１端末６からメッセージを受信する（ステップＳ１）。チャット装置２は受信したメッセージを翻訳装置３に転送する（ステップＳ２）。翻訳装置３は転送されたメッセージを受信する（ステップＳ３）。翻訳装置３は受信したメッセージを翻訳する（ステップＳ４）。翻訳装置３は原文と翻訳文との対応関係を示す文字列対応テーブル４２を作成する（ステップＳ５）。翻訳装置３は翻訳文をチャット装置２及び注目値算出装置１に送信する（ステップＳ６）。翻訳装置３は翻訳時に行った構文解析の結果を翻訳文と同時に注目値算出装置１に送信する。

チャット装置２は翻訳文を受信する（ステップＳ７）。チャット装置２は翻訳文を第２端末７へ転送する（ステップＳ８）。チャット装置２は翻訳文が表示された第２端末７から視線移動履歴を受信する（ステップＳ９）。チャット装置２は受信した視線移動履歴を注目値算出装置１へ転送する（ステップＳ１０）。

一方、翻訳文を受信した注目値算出装置１は、同時受信した構文解析の結果を用いて、翻訳文を構成する文字列夫々と夫々の先行文字列との構文距離を計算する（ステップＳ１１）。注目値算出装置１は構文距離を注目値テーブル１４１に保存する（ステップＳ１２）。構文距離の計算については、後述する。

注目値算出装置１は、チャット装置２より視線移動履歴を受信する（ステップＳ１３）。注目値算出装置１は視線移動履歴を視線移動履歴テーブルに保存する（ステップＳ１４）。注目値算出装置１は視線移動履歴から各文字列の視線滞留累積時間を計算し、注目値テーブル１４１に保存する（ステップＳ１５）。注目値算出装置１は、注目値テーブル１４１に保存した構文距離と視線滞留累積時間から注目値を算出する（ステップＳ１６）。注目値算出装置１は最後の文字列まで注目値を計算したか否かを判定する（ステップＳ１７）。注目値算出装置１は最後の文字列まで注目値を計算していないと判定した場合（ステップＳ１７でＮＯ）、処理をステップＳ１６に戻し、注目値の計算を継続する。注目値算出装置１は最後の文字列まで注目値を計算したと判定した場合（ステップＳ１７でＹＥＳ）、各文字列の注目値をチャット装置２に送信する（ステップＳ１８）。チャット装置２は受信した各文字列（翻訳文）の注目値から、文字列対応テーブル４２を用いて、原文の各文字列の輝度値を計算し、輝度設定テーブル１４２に保存する（ステップＳ１９）。チャット装置２は輝度設定テーブルに基づき、ハイライト表示信号を第１端末６に送信する（ステップＳ２０）。

次にコミュニケーションシステムの動作の具体例を説明する。ここでは、第１端末６より、次の英文が入力されたものとする。

Ｔｈｅ ｍｅｎ ｉｎ ｂｌａｃｋ ｓａｗ ａ ｃａｔ ｗｉｔｈ ａ ｌｏｎｇ ｔａｉｌ．

手前ユーザは第１端末６を介して英文をチャット装置２に送信する。チャット装置２は英文を受信し（ステップＳ１）、翻訳装置３に転送する（ステップＳ２）。翻訳装置３は転送された英文を受信し（ステップＳ３）、翻訳を行う（ステップＳ４）。翻訳の結果、次の日本語文が生成される。

黒服の 男が 長い 尻尾の 猫を 見た。

文節を示すために文節間に空白を挿入している。翻訳結果より、翻訳装置３は文字列対応テーブル４２を作成する（ステップＳ５）。その結果は、図４に示している。

続いて、翻訳装置３は翻訳文をチャット装置２及び注目値算出装置１に送信する（ステップＳ６）。

チャット装置２は翻訳文を受信し（ステップＳ７）、それをチャットの相手ユーザの第２端末７へ転送する（ステップＳ８）。第２端末７は翻訳文を受信後、ユーザの視線位置を観測し、観測した視線位置を履歴としてチャット装置２に送信する。チャット装置２は視線位置の履歴を受信し（ステップＳ９）、それを注目値算出装置１に転送する（ステップＳ１０）。

一方、注目値算出装置１のＣＰＵ１１は、翻訳装置３から受信した訳文から構文距離を計算する（ステップＳ１１）。図９は構文距離の計算結果の一例を示す説明図である。構文解析に基づいて文字列間（文節）の結びつきが二分木で表現されている。図９に示す文は、「男が」が主語で、「見た」が述語であることを示している。「黒服の」は「男が」に係っている。「猫を」は「見た」の目的語であり、「長い」は「尻尾の」に係り、「長い」「尻尾の」は、「猫を」に係ることが示されている。

図９の翻訳文の下に示す数字が、文字列間の構文距離を示している。図９に示す構文距離の計算例では、二つの文字列間のパスの数を構文距離としている。すなわち、二分木により、一方の文字列から他方の文字列まで辿る場合に、左右にわたっている直線を何本辿るかにより求まる。ＣＰＵ１１は、計算した構文距離を図５に示すように注目値テーブル１４１に保存する（ステップＳ１２）。なお、以下の注目値の計算においては、先行文字列との構文距離を用いるが、先頭の文字列（「黒服の」）は先行の文字列がないため、構文距離は比較的小さい値とする。図５に示す例では、１としている。

その後、ＣＰＵ１１はチャット装置２より第２端末７における相手ユーザの視線位置履歴を受信し（ステップＳ１３）、視線位置履歴テーブル４１に保存する（ステップＳ１４）。ＣＰＵ１１は、視線位置履歴テーブル４１に保存されている視線位置履歴から、各文字列の視線滞留累積時間を計算する（ステップＳ１５）。ＣＰＵ１１は、その結果の注目値テーブル１４１に保存する。図５において、時間欄に計算した視線滞留累積時間が保存されている。

次に、ＣＰＵ１１は各文字列の注目値を計算する（ステップＳ１６）。ＣＰＵ１１は、文字列の注目値を、累積時間及び構文距離を用い、例えば、以下の式（１）により求める。

ここで、ｉ（上記の式では斜体で表示）は自然数を示す。文字列ｉとはｉ番目の文字列を示す。累積時間_i は、ｉ番目の文字列の累積時間を示す。存在しない０番目の文字列の累積時間である累積時間₀ は、予め定めておく。図５に示す例では、２０としている。構文距離_i-1,iは、ｉ−１番目の文字列とｉ番目の文字列との構文距離を示す。構文距離_0,1は、前述したように１である。対数（ｌｏｇ）の底は例えば２とする。

文字列１「黒服の」の注目値は、次のように求まる。
注目値＝（２０×２８）÷log（１＋１）＝５６０÷１＝５６０

他の文字列についても同様に求めとると、図５の注目値欄に示した値となる。ＣＰＵ１１は最後の文字列まで注目値が計算したら（ステップＳ１７でＹＥＳ）、注目値をチャット装置２に送信する（ステップＳ１８）。

チャット装置２では、受信した注目値と文字列対応テーブル４２を用いて、手前ユーザの第１端末６において、英文各部分の輝度値を計算する（ステップＳ１９）。輝度値の計算は例えば、以下の式（２）により求める。

輝度値＝注目値×輝度値段階／注目値の最大値 … （２）

式（２）の計算結果は、小数点以下は切り捨て、輝度値は整数値とする。上述の例では、文字列１「黒服の」の注目値は、５６０、注目値の最大値は７００である。輝度値段階を３とする、輝度値は次のように求まる。
輝度値＝５６０×３／７００＝２．４ 切り捨てし、２となる。

文字列対応テーブル４２から、「黒服の」に対応する原文の文字列は、「ｉｎ ｂｌａｃｋ」であるから、図６に示すように「ｉｎ ｂｌａｃｋ」は輝度欄には２が記憶されている。他の文字列も同様に計算すると、図６に示す結果となる。第１端末６では輝度値に応じた表示となる（ステップＳ２０）。

図１０は輝度値に応じた表示の例を示す説明図である。図１０では表現の都合上、ハイライト表示ではなく、文字列を矩形で囲むことにより、表現している。輝度値０の場合は、矩形では囲まない。輝度値１の場合は、点線の矩形で囲む。輝度値２の場合は、一重線の矩形で囲む。輝度値３の場合は、二重線の矩形で囲む。上述の例では、「Ｔｈｅ ｍｅｎ」の輝度値３であるので、二重線の矩形で囲まれ、「ｉｎ ｂｌａｃｋ」の輝度値は２であるので、一重線の矩形で囲まれている。その他の文字列の輝度値は０であるので、矩形では囲まれていない。

以上のように実施の形態１では、以下の効果を奏する。視線累積時間と構文距離を用いて算出した輝度値に基づいてハイライト表示を行う。それにより、相手ユーザが注目した訳文の文字列に対応する原文の文字列を、手前ユーザの端末でハイライト表示することが可能となる。

図７及び図８に示すフローチャートにおいて、ステップＳ９からステップＳ２０は、繰り返し行い、相手ユーザの視線の動きに基づくハイライト表示を随時行っても良い。また、ハイライト表示の対象とするのは、最新発言のみではなく、過去の発言も含めても良い。ただし、相手ユーザの第２端末７に表示されている発言であっても、手前ユーザの第１端末６ではスクロールして表示されていない場合は、ハイライト表示しなくても良い。

実施の形態１では、チャット管理システム１０は、チャット装置２、翻訳装置３、注目値算出装置１を含むとしたが、注目値算出装置１がチャット装置２の機能を担っても良い。また、注目値算出装置１が翻訳装置３の機能を担っても良い。さらに、注目値算出装置１がチャット装置２、翻訳装置３両方の機能を担っても良い。

実施の形態２
実施の形態２は、実施の形態１と構文距離の計算方法が異なる。その他の構成については実施の形態１と同様であるので、以下の説明においては実施の形態１と異なる点を主に説明する。

実施の形態１において、二つの文字列間の構文距離はパスの数とした。本実施の形態では二つの文字列間を横断するために、上らなければならない二分木の階層数を構文距離とする。図１１は構文距離の計算結果の一例を示す説明図である。図１１に示す例では、各文節（文字列）が属する階層が階層５であり、最上位階層が階層１である。図１１では「猫を」という文節と「見た」という文節間の構文距離の計算の仕方を示している。文節「猫を」から文節「見た」まで、二分木をたどるには、まず、階層５から階層４に上がらなくてはならない。さらに、階層４から階層３に、階層３から階層２に上がらなくてはならない。階層２から階層１に上る必要はなく、階層２を横断し、下の階層に下りていけば、文節「見た」にたどり着く。以上のことから、上がった階層の数は階層５から階層２の３階層であるから、文節「猫を」と文節「見た」との構文距離は３となる。他の文節間の距離も同様に求めると、図１１に示す結果となる。

実施の形態２において、注目値の計算方法は実施の形態１と同様であるから、説明を省略する。図１２は注目値テーブル１４１の一例を示す説明図である。注目値テーブル１４１のレコードレイアウトは、実施の形態１と同様である。注目値テーブル１４１の距離欄には、図１１に示した構文距離が記憶されている。また、実施の形態１と同様に文字列「黒服の」に対応する構文距離は１としてある。さらに、注目値欄には、距離欄に記憶された構文距離と、時間欄に記憶された視線累積時間を元に上述の式（１）に基づいて計算した注目値が記憶されている。注目値欄の値を元に実施の形態１と同様に輝度値が計算される。

実施の形態２は、実施の形態１と同様に以下の効果を奏する。視線累積時間と構文距離を用いて算出した輝度値に基づいてハイライト表示を行う。それにより、相手ユーザが注目した訳文の文字列に対応する原文の文字列を、手前ユーザの端末でハイライト表示することが可能となる。

実施の形態３
実施の形態３は、視線位置検出の精度が低く、視線が滞留している文字列（文節又は単語）が１つに絞れない場合の処理に関する。このような場合は、相手ユーザの視線が滞留している範囲の中から、相手ユーザが注視している文字列を１つに決定し、視線累積時間の計算を行う。実施の形態３において、注視している文字列を１つに決定する点が、実施の形態１と相違する点であり、その他の点については同様である。以下の説明においては、実施の形態１と相違する点を主に説明する。

図１３は視線位置履歴テーブル４１のレコードレイアウトの一例を示す説明図である。実施の形態１における視線位置履歴テーブル４１と比較する注視範囲欄が追加されている。その他の欄は、実施の形態１と同様である。注視範囲欄は視線センサ７１により相手ユーザの視線が滞留している判断した範囲に含まれる文字列を記憶する。注視文字列欄は、注視範囲欄から決定した注視文字列を記憶する。

図１４は累積時間計算処理の手順を示すフローチャートである。図１４に示す処理は、図８に示す累積時間計算（ステップＳ１５）に置き換わる処理である。すなわち、実施の形態３では、図８のステップＳ１４の後に、図１４に示す一連の処理が行われ、図１４に示す処理の終了後に、図８のステップＳ１６以降の処理が実行される。

注目値算出装置１のＣＰＵ１１は、視線位置履歴テーブル４１の注視範囲欄より、注視範囲に含まれる文字列を取得する（ステップＳ２１）。ＣＰＵ１１は翻訳装置３より得た構文解析の結果を用いて、文字列を文節に分解する（ステップＳ２２）。構文解析の結果は上述したように、図７のステップＳ６により、翻訳装置から注目値算出装置１へ送信されている。

ＣＰＵ１１は、分解された文節の数が奇数であるか否かを判定する（ステップＳ２３）。ＣＰＵ１１は文節数が奇数であると判定した場合（ステップＳ２３でＹＥＳ）、中央の文節を注視文字列として視線位置履歴テーブル４１の注視文字列欄に記憶する（ステップＳ２４）。ＣＰＵ１１は文節数が偶数であると判定した場合（ステップＳ２３でＮＯ）、中央に位置するとみなせる二つの文節のうち、左又は右の文節を注視文字列として視線位置履歴テーブル４１の注視文字列欄に記憶する（ステップＳ２５）。図１３に示す例では、中央左の文字列を注視文字列としている。なお、注視文字列の决定の仕方は、これに限らない。例えば、注視範囲に含まれる最も長い文節を注視文字列としても良い。

ＣＰＵ１１は、注視文字列毎に視線滞留累積時間を計算する（ステップＳ２６）。ＣＰＵ１１は累積時間計算処理を終了する。累積時間計算後に行われる注目値の計算方法は、実施の形態１と同様であるから、説明を省略する。図１５は注目値テーブル１４１のレコードレイアウトの一例を示す説明図である。注目値テーブル１４１のレコードレイアウトは、実施の形態１と同様であるから、説明を省略する。図１５に示すように、注目値テーブル１４１は、図１３に示した視線位置履歴テーブル４１の注視時間欄と注視文字列欄とに基づき計算された注視文字列毎の視線滞留累積時間が、時間欄に記憶している。そして、注目値テーブル１４１は、距離欄に記憶されている構文距離と視線滞留累積時間に基づき計算された注目値を注目値欄に記憶している。注目値に基づき輝度値を計算し、計算して得た輝度値に基づき、手前ユーザに表示される原文文字列の表示態様を変える点は、実施の形態１と同様であるから、説明を省略する。

実施の形態３は、以下の効果を奏する。視線センサ７１の精度が低く、相手ユーザの視線滞留位置が１つの文字列に絞れない場合においても、後処理により注視文字列を１つに絞るので、実施の形態１と同様な処理が可能となる。そして、実施の形態１と同様に、次の効果を奏する。視線累積時間と構文距離を用いて算出した輝度値に基づいてハイライト表示を行う。それにより、相手ユーザが注目した訳文の文字列に対応する原文の文字列を、手前ユーザの端末でハイライト表示することが可能となる。

なお、実施の形態１と同様に、図７及び図８に示すフローチャートにおいて、ステップＳ９からステップＳ２０は、繰り返し行い、相手ユーザの視線の動きに基づくハイライト表示を随時行っても良い。この場合、図１４のステップＳ２１からステップＳ２５の処理は、すでに注視文字列が決定されている場合は、繰り返し行う必要はない。すなわち、ＣＰＵ１１は、視線位置履歴テーブル４１において、注視文字列欄が空欄のレコードのみ注視文字列を決定する処理を行う。

図１６は注目値算出装置１の機能構成の一例を示す説明図である。注目値算出装置１は、取得部１１ａ、計算部１１ｂ、算出部１１ｃ、出力部１１ｄを含む。ＣＰＵ１１が制御プログラム１Ｐを実行することにより、注目値算出装置１は以下のように動作する。

取得部１１ａは、複数文字列からなる文字列群に含まれる文字列毎に観者が注視した累積時間を取得する。計算部１１ｂは、文字列毎に隣接する他の文字列との関連性を示す関連値を計算する。算出部１１ｃは、文字列毎に対応する累積時間及び関連値から注目値を算出する。出力部１１ｄは、原文文字列それぞれの注目値に基づいて原文文字列の表示態様を定め、定めた表示態様を出力する。

上述の説明において、注目値算出装置１はチャットにおいて、送受信されるメッセージの原文及び翻訳文を処理対象としたが、それに限られない。テレビ電話システムやテレビ会議システムにおいて、プレゼンテーション資料や文書資料を参照する場合にも用いることが可能である。この場合、原文で記載されたプレゼンテーション資料や文書資料と、翻訳文で記載されたプレゼンテーション資料や文書資料との構文解析は予め行い、文字列対応テーブル４２に相当する対応データを作成しておく。プレゼンテーション資料や文書資料においては、同一単語又は同一の文節が複数回出現する可能性が高いので、対応データには、文字列毎に資料中の頁数、行数を対応付けて置く。このような対応データに基づき、テレビ電話システムやテレビ会議システムにおいて、異なる言語で記載された資料を参照するとき、英語（日本語）の資料を参照する側へ、日本語（英語）の資料参照する側が、どのような箇所に注目としているかをハイライト表示により知らせることが可能となり、コミュニケーションの質の向上を図ることが可能となる。

各実施例で記載されている技術的特徴（構成要件）はお互いに組合せ可能であり、組み合わせすることにより、新しい技術的特徴を形成することができる。
今回開示された実施の形態はすべての点で例示であって、制限的なものでは無いと考えられるべきである。本発明の範囲は、上記した意味では無く、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

以上の実施の形態に関し、さらに以下の付記を開示する。

（付記１）
文字列群に含まれる文字列毎に観者が注視した累積時間を取得する取得部と、
前記文字列毎に隣接する他の文字列との関連性を示す関連値を計算する計算部と、
前記文字列毎に対応する累積時間及び前記関連値から注目値を算出する算出部と
を備える注目値算出装置。

（付記２）
前記文字列群は、第一言語で記載された原文を第二言語に翻訳した複数の翻訳文字列を含み、
前記算出部は、前記翻訳文字列及び該翻訳文字列に対応する注目値、並びに前記翻訳文字列及び該翻訳文字列に対応する原文文字列の対応関係より、前記原文文字列それぞれの注目値を算出する
付記１に記載の注目値算出装置。

（付記３）
前記計算部は、前記文字列群を構文解析した結果より得た二分木に基づき、文字列間の移動に必要な前記二分木での階層数より前記関連値を計算する
付記１又は付記２に記載の注目値算出装置。

（付記４）
前記計算部は、前記文字列群を構文解析した結果より得た二分木に基づき、文字列間の二分木でのパス数より前記関連値を計算する
付記１又は付記２に記載の注目値算出装置。

（付記５）
前記原文文字列それぞれの注目値に基づいて原文文字列それぞれの表示態様を定め、原文文字列及び定めた表示態様を対応付けて出力する出力部
を備える付記２から付記４のいずれか一つに記載の注目値算出装置。

（付記６）
前記取得部は、ｍ個（ｍは２以上の自然数）の文字列群に含まれる任意のｎ個（ｎはｍ以下の自然数）の文字列毎に観者が注視した時間を取得し、取得した時間から前記ｎ個の文字列の中で中央に位置する文字列が注視された累積時間を求め、
前記計算部は、前記中央に位置する文字列及び該文字列に隣接する文字列の関連性を示す関連値を計算し、
前記算出部は、前記ｎ個の文字列それぞれについて隣接する文字列との注目値を算出する
付記１から付記５のいずれか一つに記載の注目値算出装置。

（付記７）
文字列群に含まれる文字列毎に観者が注視した累積時間を取得し、
前記文字列毎に隣接する他の文字列との関連性を示す関連値を計算し、
前記文字列毎に対応する累積時間及び前記関連値から注目値を算出する
処理をコンピュータに行わせるコンピュータプログラム。

（付記８）
コンピュータが、
文字列群に含まれる文字列毎に観者が注視した累積時間を取得し、
前記文字列毎に隣接する他の文字列との関連性を示す関連値を計算し、
前記文字列毎に対応する累積時間及び前記関連値から注目値を算出する
注目値算出方法。

（付記９）
第一言語で記載されたメッセージを送受信する第１端末と、
第二言語で記載されたメッセージを送受信する第２端末と、
第一言語で記載されたメッセージを第二言語へ、又は第二言語で記載されたメッセージを第一言語へ翻訳する翻訳装置と、
第１端末又は第２端末からメッセージを受信し、受信したメッセージを前記翻訳装置により第二言語又は第一言語に翻訳させ、翻訳したメッセージを第２端末又は第１端末に送信するチャット装置と
を含む、チャット管理システムにおいて、
前記チャット装置は、第１端末又は第２端末が送信したメッセージに含まれる文字列毎に観者が注視した累積時間を取得する取得部と、
前記文字列毎に隣接する他の文字列との関連性を示す関連値を計算する計算部と、
前記文字列毎に対応する累積時間及び前記関連値から注目値を算出部と備える
チャット管理システム。

１０ チャット管理システム
１ 注目値算出装置
１１ ＣＰＵ
１１ａ 取得部
１１ｂ 計算部
１１ｃ 算出部
１１ｄ 出力部
１２ ＲＡＭ
１３ ＲＯＭ
１４ 大容量記憶装置
１４１ 注目値テーブル
１４２ 輝度設定テーブル
１５ 通信部
１６ 読み取り部
１Ｐ 制御プログラム
１ａ 可搬型記憶媒体
１ｂ 半導体メモリ
Ｂ バス
２ チャット装置
３ 翻訳装置
４ 共用データベース
４１ 視線位置履歴テーブル
４２ 文字列対応テーブル
５ ルータ
６ 第１端末
６１ 視線センサ
７ 第２端末
７１ 視線センサ
Ｎ１ ネットワーク
Ｎ２ ネットワーク

Claims (5)

1. 文字列群に含まれる文字列毎に観者が注視した累積時間を取得する取得部と、
   前記文字列毎に隣接する他の文字列との関連性を示す関連値を計算する計算部と、
   前記文字列毎に対応する累積時間及び前記関連値から注目値を算出する算出部と
   を備える注目値算出装置。
2. 前記文字列群は、第一言語で記載された原文を第二言語に翻訳した複数の翻訳文字列を含み、
   前記算出部は、前記翻訳文字列及び該翻訳文字列に対応する注目値、並びに前記翻訳文字列及び該翻訳文字列に対応する原文文字列の対応関係より、前記原文文字列それぞれの注目値を算出する
   請求項１に記載の注目値算出装置。
3. 前記計算部は、前記文字列群を構文解析した結果より得た二分木に基づき、文字列間の移動に必要な前記二分木での階層数より前記関連値を計算する
   請求項１又は請求項２に記載の注目値算出装置。
4. 文字列群に含まれる文字列毎に観者が注視した累積時間を取得し、
   前記文字列毎に隣接する他の文字列との関連性を示す関連値を計算し、
   前記文字列毎に対応する累積時間及び前記関連値から注目値を算出する
   処理をコンピュータに行わせるコンピュータプログラム。
5. コンピュータが、
   文字列群に含まれる文字列毎に観者が注視した累積時間を取得し、
   前記文字列毎に隣接する他の文字列との関連性を示す関連値を計算し、
   前記文字列毎に対応する累積時間及び前記関連値から注目値を算出する
   注目値算出方法。

Images