昨今のインターネットの普及に伴い、情報提供サイトの数も爆発的に増加しており、また、ユーザの利用するPCの記憶容量、処理能力も格段に進歩している。これに伴いPCを利用したWeb情報へのアクセス頻度も増加する傾向にある。しかし、情報提供サイトの増大などにより、ユーザは、データ検索処理を実行しても目的とする情報に到達するまでに多くの労力および時間を必要とするようになってきており、データ検索の困難性は高まっている。
先に説明した特許文献1の構成は、ユーザの参照履歴情報としてURL情報およびアクセス時間情報を対応付けて記録する構成であるが、参照履歴情報を用いた情報の再抽出処理を行なう場合に、ユーザは、参照履歴情報に設定された時間情報を利用した情報再抽出を行なう場合には、時間の範囲指定、遡り時間の指定を行なうことが必要となる。また、参照履歴情報に設定されたURL情報を利用した情報再抽出を行なう場合には、遡りURL数を指定するなどの処理が必要となる。
このような時間指定やURL数指定を行なう場合、ユーザは自分の記憶に頼って指定範囲を決定することが必要である。従って、ユーザが必要としている情報を見た日時などを覚えている場合は、ユーザの記憶に基づいて特定の時間指定、あるいは遡るURL数を指定することで、過去に見た情報の再抽出を容易に行ない得るが、過去に見た覚えはあるが、いつごろ見たかを忘れてしまっている場合には、参照履歴情報を有効に利用した情報再抽出が行なえないという問題がある。従って、特許文献1に記載の構成は、確実性に欠けており、作業効率が悪いばかりか、ユーザに大きな認知的負荷を与えるという問題がある。
また、特許文献2に記載の構成は、手作業で履歴を指定するというような特別な操作をせずに、文書に視線を向けている時の視線を計測し、文書内の注目領域を抽出する構成であるが、本構成は、データ検索情報に対する処理ではなく、ある特定の文書データにおけるユーザの注目領域を検出し、これを文書データの属性情報として設定するのみであり、データ検索の検索結果リストの表示データに適用する構成を示すものではない。
本発明は、例えばインターネットなどを介して取得可能な情報についての検索結果リストの表示処理において、ユーザが手作業で参照履歴を指定するという作業を行なうことなく、ユーザの参照履歴情報とユーザ視線情報を蓄積し、ディスプレイなどの表示装置に表示する検索結果リストを、蓄積したユーザの参照履歴情報とユーザ視線情報を適用してリスト順を際設定したり、あるいは表示態様を変更するなどの処理を実行し、ユーザの参照済みの情報や、注目した情報を即座に検出することを可能とした情報処理装置、および情報処理方法、並びにコンピュータ・プログラムを提供することを目的とする。
本発明の第1の側面は、
検索結果一覧情報の表示データ生成処理を実行する情報処理装置であり、
データ表示手段としての表示装置と、
ユーザの生体情報を取得し、表示装置上のユーザ視線位置に対応する注視点位置の時間対応情報としての注視点位置履歴情報を生成する注視点位置履歴情報生成部と、
前記表示装置に表示する表示データの履歴情報としての表示データ履歴情報を生成する表示データ履歴情報生成部と、
前記注視点位置履歴情報と、前記表示データ履歴情報とに基づいて、前記表示装置に表示した表示データ識別情報と該表示データに対応するユーザの閲覧時間情報を対応付けた閲覧時間情報を生成する閲覧時間情報生成部と、
前記閲覧時間情報に基づいて、検索対象に対する検索処理の結果として取得される検索結果一覧情報の調整処理を実行し、調整処理のなされた検索結果一覧を前記表示装置に対する出力用データとして生成する表示データ生成部と、
を有することを特徴とする情報処理装置にある。
本構成によれば、表示装置上のユーザ視線位置に対応する注視点位置の時間対応情報を取得して注視点位置履歴情報を生成するとともに、表示装置に表示する表示データの履歴情報としての表示データ履歴情報を生成し、生成した注視点位置履歴情報と、表示データ履歴情報とに基づいて、表示装置に表示した表示データ識別情報と表示データに対応するユーザの閲覧時間情報を対応付けた閲覧時間情報を生成し、この閲覧時間情報に基づいて、検索対象に対する検索処理の結果として取得される検索結果一覧情報のソート処理や、表示態様の変更や、選択表示などの調整処理を行ってデータ表示手段としての表示装置に表示する構成としたのでユーザの閲覧時間を考慮した検索結果の表示が可能となり、例えば閲覧済みデータの判別、抽出などを効率的に行なうことが可能となる。
さらに、本発明の情報処理装置の一実施態様において、前記情報処理装置は、所定のサンプリングタイム毎のユーザ視線方向を検出する視線情報測定部を有し、前記注視点位置履歴情報生成部は、前記視線情報測定部から入力するユーザ視線方向情報に基づいて、注視点位置履歴情報を生成する構成であることを特徴とする。
本構成によれば、ユーザ視線方向の検出によりユーザの閲覧時間を算出する構成であるので、ユーザの操作を全く要することなくユーザの閲覧情報を取得することが可能となる。
さらに、本発明の情報処理装置の一実施態様において、閲覧時間情報生成部は、前記注視点位置履歴情報に含まれる注視点位置座標が、前記表示データ履歴情報に含まれる表示データの表示領域情報内に含まれるか否かを判定し、含まれる場合には、注視点位置座標が前記表示データの表示領域情報内に存在する時間の合計を閲覧時間として算出し、該算出時間情報を表示データ識別情報と対応付けた閲覧時間情報を生成する構成であることを特徴とする。
本構成によれば、注視点位置履歴情報に含まれる注視点位置座標が、前記表示データ履歴情報に含まれる表示データの表示領域情報内に含まれるか否かを判定して閲覧時間情報を生成する構成であるので、実際にユーザが見ている時間を正確に計測可能となり、単に表示された時間を記録する構成に比較して、ユーザの興味を正確に反映した閲覧時間情報を生成することが可能となる。
さらに、本発明の情報処理装置の一実施態様において、閲覧時間情報生成部は、前記表示装置に複数の異なる表示データの表示領域情報が存在する場合において、各表示データ毎の表示データ識別情報と該表示データに対応するユーザの閲覧時間情報を対応付けた閲覧時間情報を生成する構成であることを特徴とする。
本構成によれば、表示装置に複数の異なる表示データの表示領域情報が存在する場合でも、個別の閲覧時間情報を生成する構成であるので、表示情報単位の正確な閲覧時間情報を生成することが可能となる。
さらに、本発明の情報処理装置の一実施態様において、前記表示データ生成部は、検索結果一覧情報の調整処理として、前記閲覧時間情報に格納された各表示データ対応の閲覧時間の長い順に、検索結果一覧をソートする処理を実行し、該ソート処理のなされた検索結果一覧を前記表示装置に対する出力用データとして生成する構成であることを特徴とする。
本構成によれば、ユーザの閲覧時間を考慮して検索結果一覧情報を上位から順に並べて表示すること可能となり、閲覧済みデータの効率的な判別、抽出が可能となる。
さらに、本発明の情報処理装置の一実施態様において、前記表示データ生成部は、検索結果一覧情報の調整処理として、前記閲覧時間情報に格納された表示データ識別情報に対応するデータのみの表示態様の変更処理を実行し、該変更処理のなされた検索結果一覧を前記表示装置に対する出力用データとして生成する構成であることを特徴とする。
本構成によれば、ユーザが閲覧済みか否かを検索結果一覧情報に基づいて識別可能となり、閲覧済みデータの効率的な判別、抽出が可能となる。
さらに、本発明の情報処理装置の一実施態様において、前記表示データ生成部は、検索結果一覧情報の調整処理として、前記閲覧時間情報に格納された表示データ識別情報に対応するデータのみの選択処理を実行し、選択された情報のみからなる検索結果一覧を前記表示装置に対する出力用データとして生成する構成であることを特徴とする。
本構成によれば、ユーザが閲覧済みか否かを検索結果一覧情報に基づいて識別可能となり、閲覧済みデータの効率的な判別、抽出が可能となる。
さらに、本発明の情報処理装置の一実施態様において、前記閲覧時間情報に格納された表示データ識別情報は、URL(Uniform Resource Locator)であることを特徴とする。
本構成は、インターネットを介して取得したURL対応データに対応する検索処理、検索結果の取得、調整処理を行なうことを可能とするものであり、膨大なURL対応データの検索、データ抽出における効率的な処理が実現される。
さらに、本発明の第2の側面は、
検索結果一覧情報の表示データ生成処理を実行する情報処理方法であり、
ユーザの生体情報を取得し、表示装置上のユーザ視線位置に対応する注視点位置の時間対応情報としての注視点位置履歴情報を生成する注視点位置履歴情報生成ステップと、
前記表示装置に表示する表示データの履歴情報としての表示データ履歴情報を生成する表示データ履歴情報生成ステップと、
前記注視点位置履歴情報と、前記表示データ履歴情報とに基づいて、前記表示装置に表示した表示データ識別情報と、該表示データに対応するユーザの閲覧時間情報を対応付けた閲覧時間情報を生成する閲覧時間情報生成ステップと、
前記閲覧時間情報に基づいて、検索対象に対する検索処理の結果として取得される検索結果一覧情報の調整処理を実行し、調整処理のなされた検索結果一覧を前記表示装置に対する出力用データとして生成する表示データ生成ステップと、
を有することを特徴とする情報処理方法にある。
本構成によれば、表示装置上のユーザ視線位置に対応する注視点位置の時間対応情報を取得して注視点位置履歴情報を生成するとともに、表示装置に表示する表示データの履歴情報としての表示データ履歴情報を生成し、生成した注視点位置履歴情報と、表示データ履歴情報とに基づいて、表示装置に表示した表示データ識別情報と表示データに対応するユーザの閲覧時間情報を対応付けた閲覧時間情報を生成し、この閲覧時間情報に基づいて、検索対象に対する検索処理の結果として取得される検索結果一覧情報のソート処理や、表示態様の変更や、選択表示などの調整処理を行ってデータ表示を行なう構成としたので、ユーザの閲覧時間を考慮した検索結果の表示が可能となり、例えば閲覧済みデータの判別、抽出などを効率的に行なうことが可能となる。
さらに、本発明の情報処理方法の一実施態様において、前記情報処理方法は、さらに、所定のサンプリングタイム毎のユーザ視線方向を検出する視線情報測定ステップを有し、前記注視点位置履歴情報生成ステップは、前記視線情報測定ステップの測定したユーザ視線方向情報に基づいて、注視点位置履歴情報を生成することを特徴とする。
本構成によれば、ユーザ視線方向の検出によりユーザの閲覧時間を算出する構成であるので、ユーザの操作を全く要することなくユーザの閲覧情報を取得することが可能となる。
さらに、本発明の情報処理方法の一実施態様において、閲覧時間情報生成ステップは、前記注視点位置履歴情報に含まれる注視点位置座標が、前記表示データ履歴情報に含まれる表示データの表示領域情報内に含まれるか否かを判定するステップと、含まれると判定した場合に、注視点位置座標が前記表示データの表示領域情報内に存在する時間の合計を閲覧時間として算出し、該算出時間情報を表示データ識別情報と対応付けた閲覧時間情報を生成するステップと、を含むことを特徴とする。
本構成によれば、注視点位置履歴情報に含まれる注視点位置座標が、前記表示データ履歴情報に含まれる表示データの表示領域情報内に含まれるか否かを判定して閲覧時間情報を生成する構成であるので、実際にユーザが見ている時間を正確に計測可能となり、単に表示された時間を記録する構成に比較して、ユーザの興味を正確に反映した閲覧時間情報を生成することが可能となる。
さらに、本発明の情報処理方法の一実施態様において、閲覧時間情報生成ステップは、前記表示装置に複数の異なる表示データの表示領域情報が存在する場合において、各表示データ毎の表示データ識別情報と該表示データに対応するユーザの閲覧時間情報を対応付けた閲覧時間情報を生成することを特徴とする。
本構成によれば、表示装置に複数の異なる表示データの表示領域情報が存在する場合でも、個別の閲覧時間情報を生成する構成であるので、表示情報単位の正確な閲覧時間情報を生成することが可能となる。
さらに、本発明の情報処理方法の一実施態様において、前記表示データ生成ステップは、検索結果一覧情報の調整処理として、前記閲覧時間情報に格納された各表示データ対応の閲覧時間の長い順に、検索結果一覧をソートする処理を実行し、該ソート処理のなされた検索結果一覧を前記表示装置に対する出力用データとして生成するステップであることを特徴とする。
本構成によれば、ユーザの閲覧時間を考慮して検索結果一覧情報を上位から順に並べて表示すること可能となり、閲覧済みデータの効率的な判別、抽出が可能となる。
さらに、本発明の情報処理方法の一実施態様において、前記表示データ生成ステップは、検索結果一覧情報の調整処理として、前記閲覧時間情報に格納された表示データ識別情報に対応するデータのみの表示態様の変更処理を実行し、該変更処理のなされた検索結果一覧を前記表示装置に対する出力用データとして生成するステップであることを特徴とする。
本構成によれば、ユーザが閲覧済みか否かを検索結果一覧情報に基づいて識別可能となり、閲覧済みデータの効率的な判別、抽出が可能となる。
さらに、本発明の情報処理方法の一実施態様において、前記表示データ生成ステップは、検索結果一覧情報の調整処理として、前記閲覧時間情報に格納された表示データ識別情報に対応するデータのみの選択処理を実行し、選択された情報のみからなる検索結果一覧を前記表示装置に対する出力用データとして生成するステップであることを特徴とする。
本構成によれば、ユーザが閲覧済みか否かを検索結果一覧情報に基づいて識別可能となり、閲覧済みデータの効率的な判別、抽出が可能となる。
さらに、本発明の第3の側面は、
検索結果一覧情報の表示データ生成処理を実行するコンピュータ・プログラムであり、
ユーザの生体情報を取得し、表示装置上のユーザ視線位置に対応する注視点位置の時間対応情報としての注視点位置履歴情報を生成する注視点位置履歴情報生成ステップと、
前記表示装置に表示する表示データの履歴情報としての表示データ履歴情報を生成する表示データ履歴情報生成ステップと、
前記注視点位置履歴情報と、前記表示データ履歴情報とに基づいて、前記表示装置に表示した表示データ識別情報と、該表示データに対応するユーザの閲覧時間情報を対応付けた閲覧時間情報を生成する閲覧時間情報生成ステップと、
前記閲覧時間情報に基づいて、検索対象に対する検索処理の結果として取得される検索結果一覧情報の調整処理を実行し、調整処理のなされた検索結果一覧を前記表示装置に対する出力用データとして生成する表示データ生成ステップと、
を有することを特徴とするコンピュータ・プログラムにある。
本構成によれば、表示装置上のユーザ視線位置に対応する注視点位置の時間対応情報を取得して注視点位置履歴情報を生成するとともに、表示装置に表示する表示データの履歴情報としての表示データ履歴情報を生成し、生成した注視点位置履歴情報と、表示データ履歴情報とに基づいて、表示装置に表示した表示データ識別情報と表示データに対応するユーザの閲覧時間情報を対応付けた閲覧時間情報を生成し、この閲覧時間情報に基づいて、検索対象に対する検索処理の結果として取得される検索結果一覧情報のソート処理や、表示態様の変更や、選択表示などの調整処理を行ってデータ表示を行なう構成としたので、ユーザの閲覧時間を考慮した検索結果の表示が可能となり、例えば閲覧済みデータの判別、抽出などを効率的に行なうことが可能となる。
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能なコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、CDやFD、MOなどの記録媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
本発明の情報処理装置では、ユーザがデータ閲覧を行なう際の視線情報を取得して注視点位置履歴情報を生成するとともに、表示データのウィンドウ位置情報等を持つ表示データ履歴情報を生成し、生成した表示データ履歴情報、および注視点位置履歴情報に基づいて閲覧時間と表示データ識別情報(URL)とを対応付けた閲覧時間情報を生成する構成とし、検索結果一覧を閲覧時間情報に基づいて調整して表示装置に提示する構成としたので、ユーザの閲覧時間を考慮して検索結果一覧情報を変更することが可能となり、例えば閲覧済みデータの効率的な判別、抽出が可能となる。
さらに、本発明の構成によれば、ユーザ視線方向の検出によりユーザの閲覧時間を算出する構成であるので、ユーザの操作を全く要することなくユーザの閲覧情報を取得することが可能となる。また、注視点位置履歴情報に含まれる注視点位置座標が、表示データ履歴情報に含まれる表示データの表示領域情報内に含まれるか否かを判定して閲覧時間情報を生成する構成であるので、実際にユーザが見ている時間を正確に計測可能となり、単に表示された時間を記録する構成に比較して、ユーザの興味を正確に反映した閲覧時間情報を生成することが可能となる。
さらに、本発明の構成によれば、閲覧時間の長い順に、検索結果一覧をソートした検索結果一覧、あるいは、閲覧したデータのみの表示態様の変更を行なった検索結果一覧、あるいは、閲覧済みの選択情報のみからなる検索結果一覧を表示装置に対する出力するなどの処理が可能となり、閲覧済みデータの効率的な判別、抽出が可能となる。
以下、図面を参照しながら本発明の情報処理装置、および情報処理方法、並びにコンピュータ・プログラムの詳細について説明する。
図1は、本発明の情報処理装置の一実施例の全体構成を示すブロック図である。情報処理装置は、ディスプレイ10、データ処理部20、視線情報測定部30、入力デバイス40を有する。なお、これらの構成は、CPUを制御部として有し、以下に説明する各種の処理を実行するプログラムを搭載したコンピュータによって実現可能である。CPU、メモリ、その他のデバイスからなる具体的なハード構成については後述する。なお、ディスプレイは、ここでは、CRT、液晶表示装置などのディスプレイを例として説明するが、本発明の構成は、プロジェクタ表示装置などあらゆる表示装置を利用可能である。
入力デバイス10は、例えば、キーボード、マウスによって構成され、ユーザによるデータ入力、処理プログラムの開始、終了などのコマンド入力、その他の処理指示入力などに利用される。データ処理部20は、例えばインターネット60を介してアクセス可能な様々な情報提供サイトに対する接続処理や、サイトの提供する情報をディスプレイ10に表示する制御などを実行する。予めデータ処理部20に格納されたプログラムに従って制御部としてのCPUがプログラムに従った処理を実行する。具体的な処理例としては、インターネット60を介して接続されるデータ検索サービスの提供サイトから得られる検索結果情報などをディスプレイ10に表示する。ユーザ50は、ディスプレイ10に表示された検索結果などの各種情報を閲覧する。
視線情報測定部30は、ユーザ50がディスプレイ10に視線を向けている時の、ユーザ50の視線の計測処理を実行する。視線情報測定部30は、ユーザ50の視線が、ディスプレイ10の平面上のどの位置にあるかを計測する。なお、ディスプレイ10平面におけるユーザ50の視線位置を注視点と呼ぶ。
図2は、本発明の情報処理装置におけるデータ処理部20と、視線情報測定部30の具体的な処理を説明するブロック図である。データ処理部20は、表示データ履歴情報生成部21、注視点位置履歴情報生成部22、閲覧時間情報生成部23、閲覧時間情報格納部24、表示データ生成部25、表示制御部26、通信制御部27を有し、視線情報測定部30は、視線検出部31、注視点位置検出部32を有する。
まず、各処理部の実行する処理の概要について説明し、その後、具体的な詳細処理について説明する。
視線情報測定部30内の視線検出部31は、ユーザ50がディスプレイ10に表示されているデータ、例えばWebサイトを閲覧している時の、ユーザ50の視線を検出する。注視点位置検出部32は、視線検出部31で検出されたユーザ50の視線から、ディスプレイ10に向けられた視線のディスプレイ上における位置座標(注視点位置座標)情報を時刻に対応付けて取得する。
データ処理部20の表示データ履歴情報生成部21は、ユーザ50が、マウス、キーボードなどの入力デバイス40を利用して、ディスプレイ10に表示させたWebサイトの提供する表示情報を示すウィンドウの表示履歴を記録する。具体的には、ディスプレイ10上におけるWebサイトの提示する表示情報を示すウィンドウの位置と大きさを示す情報、例えばウィンドウの左上端座標と右下端座標と、表示データの識別情報、例えばWebサイトの特定情報としてのURL(Uniform Resource Locator)、さらに、ウィンドウがアクティブであるか否かの情報を、時間に対応付けて記録する。表示データ履歴情報の詳細については、図3を参照して後段で詳細に説明する。
注視点位置履歴情報生成部22は、視線情報測定部30内の注視点位置検出部32において取得した注視点位置座標の時間的推移データを記録した注視点位置履歴情報を生成する。注視点位置履歴情報の詳細については、図5を参照して後段で詳細に説明する。
閲覧時間情報生成部23は、表示データ履歴情報生成部21で生成される表示データ履歴情報と、注視点位置履歴情報生成部22で生成される注視点位置履歴情報を統合させた閲覧時間情報を生成する。閲覧時間情報は、ディスプレイ10上に表示されているWebサイトのウィンドウにユーザが視線を向けたトータルの時間と、そのWebサイトのURLを対応付けたデータである。閲覧時間情報の詳細については、図6を参照して後段で詳細に説明する。
閲覧時間情報生成部23は、例えばディスプレイ10上でユーザ50の視線対象物が、Webサイトのウィンドウに向けられたものか、ウィンドウの背景画面に向けられているのかについての判別も行なう。閲覧時間情報格納部24は、閲覧時間情報生成部23の生成した閲覧時間情報を記憶する。
表示データ生成部25は、通信制御部27がインターネット60を介して受信した様々なWebサイトの提供情報、あるいは、検索サービスサイトの提供する検索結果としてのインデックス情報リストなどの表示データを生成する。表示制御部26は、表示データ生成部25の生成した表示データをディスプレイ10に出力する。
なお、表示データ生成部26は、検索サービスサイトの提供する検索結果としてのインデックス情報リストを表示する場合に、閲覧時間情報格納部24に保持してあるユーザの表示データ対応の閲覧時間情報に基づいて、インデックス情報リストのソート処理、あるいは表示データの表示色などの表示態様の変更処理などの表示データ調整処理を実行する。すなわち、ユーザが過去に閲覧済みのデータについて容易に識別可能な表示データを生成する処理を実行する。この処理の詳細については後述する。
次に、具体的な処理例について説明する。ユーザ50は、例えばインターネット60を介して接続されるデータ検索サービス提供サイトにアクセスし、例えばキーワード検索処理などによって取得した検索結果の一覧をディスプレイ10に一覧表示する。
例えば、通信制御部26がインターネット60を介してデータ検索サービス提供サイトから検索結果を受信し、表示データ生成部25が、検索結果の一覧情報を例えばHTMLデータからなる表示データとして、表示制御部26を介してディスプレイ10に出力表示する。
ユーザ50は、ディスプレイ10に一覧表示された例えばテキスト形式の数行の説明文からなるインデックス情報によって構成される検索リストから、ユーザの目的とする情報に関連があると判断した情報を選択し、その情報を示すインデックスに対するマウスのクリックなどの操作により、インデックスにリンクの設定されたURL(Uniform Resource Locator)へのアクセスが実行され、URLに対応するWebサイトへアクセスすることができ、Webサイトの提供する情報が、通信制御部27を介して受信され、表示データ生成部25、表示制御部26の制御に基づいてディスプレイ10上にウィンドウ形式で示される。
表示データ履歴情報生成部21は、URL指定処理などにおいて実行されるマウスのクリック処理などの入力デバイス40から入力される情報、あるいは表示データ生成部25において実行されるURL対応データの表示データ生成処理情報などのイベント発生時刻を検出し、URL対応データの表示開始(またはアクセス開始)時刻を記録する。さらに、そのURLによって特定されるデータのディスプレイ10における表示ウィンドウの位置座標、URL情報、さらに、表示ウィンドウがアクティブ状態であるか非アクティブ状態にあるかを示すアクティブ情報を時刻に対応付けた表示データ履歴情報として生成する。
表示データ履歴情報生成部21において生成する表示データ履歴情報の一例を図3に示す。図3に示すように、表示データ履歴情報生成部21の生成する表示データ履歴情報は、[時刻]、[URL]、[左上端座標]、[右下端座標]、[アクティブ情報]の各項目を有する。
[時刻]は、[URL]に設定されたURL対応のWebサイトの提供データの表示開始時刻を記録するフィールドである。具体的には、例えば、ディスプレイに提示されたURL情報あるいはURLに対するリンク情報をユーザがマウスでクリックしたイベントを検出し、このイベントの時刻をそのURLへのアクセス開始時刻として記録する。
[URL]に設定されたURL情報は、ユーザがアクセスしたURL情報である。[左上端座標]、[右下端座標]は、URL対応のデータがディスプレイに表示される際に設定されるウィンドウの位置を示す左上端と、右下端の座標情報である。例えばピクセル単位で記録される。
[アクティブ情報]は、例えばディスプレイ10に複数のURL対応のウィンドウが重なって表示されている場合に、最上部のアクティブウィンドウに設定されているか否かを示す情報である。アクティブである場合は[1]、非アクティブである場合、すなわち、下層のウィンドウに設定されている場合は[0]に設定される。
図3に示す例は、1つのみのウィンドウがディスプレイに表示されている時の記録例である。特定のWebサイトにアクセスするために発生したイベントを示す時刻、アクセスしているWebサイトのURL、ディスプレイ上に対するウィンドウの位置座標、アクティブ情報が、表示Webサイトの切り替えタイミングに応じて、順次記録される。
ディスプレイ上に複数のウィンドウが起動している状態では、ウィンドウ毎に、ウィンドウが起動した時の時刻、アクセスしているWebサイトのURL、ディスプレイ上に対するウィンドウの位置座標、およびアクティブ情報が記録される。
図4に複数のウィンドウが重なって表示されている例を示す。図4の例では、2つのウィンドウ12,13がディスプレイ10に表示されており、上層のウィンドウがアクティブウィンドウ12であり、下層のウィンドウが非アクティブウィンドウである。このようにディスプレイ上に複数のウィンドウが起動している状態では、ウィンドウ毎に、ウィンドウが起動した時の時刻、アクセスしているWebサイトのURL、ディスプレイ上に対するウィンドウの位置座標、およびアクティブ情報が記録される。
図2に示す視線情報測定部30における視線検出部31は、ディスプレイ10に、URL指定データが表示されている際のユーザ50の視線を検出する。具体的にはユーザの前面に配置したアイカメラより、ユーザの眼を撮像し、撮像画像を数学的に処理することで、視線が向けられている方向を検出することができる。この方法は、視線検出の分野では一般的な方法である。
視線情報測定部30における注視点位置検出部32は、ユーザ50の視線が向けられた視線方向データを視線検出部31から入力し、ユーザ50の視線が向けられた視線方向に対応する注視点11の位置座標を一定のサンプリングタイム毎に計測する。
計測情報は、データ処理部20の注視点位置履歴情報生成部22に入力され、注視点位置履歴情報生成部22において、注視点位置座標の時間的推移を記録したデータである注視点位置履歴情報が生成される。
注視点位置履歴情報生成部22の生成する注視点位置履歴情報のデータ例を図5に示す。注視点位置検出部32は、視線のディスプレイ上の注視点位置座標を一定のサンプリングタイム毎に計測し、計測結果としての注視点座標を取得し、注視点位置履歴情報生成部22はこれらのサンプリングデータに基づいて、図5に示すような、サンプリングタイム毎の注視点位置座標の推移を示す注視点位置履歴情報を生成する。
ユーザの視線がディスプレイから外れた場合は、視線が外れたことを表すデータを記録する。図5に示す例は、サンプリング間隔を1秒(1Sec)として、ディスプレイ上の注視点の位置座標(x,y)を時刻に対応付けて記録した例である。
閲覧時間情報生成部23は、先に図3を参照して説明した表示データ履歴情報、すなわち、表示データ履歴情報生成部21が生成した表示データ履歴情報と、注視点位置履歴情報生成部22の生成した注視点位置履歴情報(図5参照)とを入力する。閲覧時間情報生成部23は、これらの入力データに基づいて、ユーザ50がディスプレイ10上のウィンドウに視線を向けていた総時間と、視線を向けたウィンドウに表示されたデータに対応するURLとを対応付けた閲覧時間情報を生成する。
閲覧時間情報生成部23の生成する閲覧時間情報の例を図6に示す。閲覧時間情報は図6に示すように、ユーザがディスプレイに表示した閲覧したデータに対応する表示データ識別情報(URL)と閲覧時間とを対応付けて記録したデータである。すなわち、ユーザ50がディスプレイ10上の特定のURLに対応するデータを表示したウィンドウに視線を向けていたトータルの時間と、視線を向けたウィンドウに表示されたWebサイトのURLとを記録したデータである。
図6に示す閲覧時間情報の例では、
URL[http://www.aaa.co.jp/index1.html]をユーザが見ていた時間が140秒であり、URL[http://www.aaa.co.jp/index2.html]をユーザが見ていた時間が3秒であり、URL[http://www.aaa.co.jp/index3.html]をユーザが見ていた時間が45秒であり、URL[http://www.bbb.co.jp/index1.html]をユーザが見ていた時間が105秒であることを示している。
閲覧時間情報生成部23の実行する閲覧時間情報生成処理のシーケンスについて、図7のフローチャートを参照して説明する。
閲覧時間情報生成部23は、まず、ステップS101において、表示データ履歴情報生成部21が生成した表示データ履歴情報(図3参照)を入力し、さらに、注視点位置履歴情報生成部22の生成した注視点位置履歴情報(図5参照)を入力する。
次に、ステップS102において、表示データ履歴情報(図3参照)から、ウィンドウの左上端と右下端の位置座標データを取得し、ウィンドウのサイズや表示位置を検出する。
次に、ステップS103において、注視点位置履歴情報(図5参照)に記録されている注視点位置座標データを取得する。
ステップS104では、ステップS102で取得したウィンドウの表示位置データとステップS103で取得した注視点位置座標データとの照合を実行し、ユーザの見ていたデータ領域、すなわち注視点が含まれるウィンドウを判定する。注視点位置座標が、ウィンドウ位置内にあるならば、そのウィンドウに視線が向けられているとして、ステップ105に進み、注視点位置座標が、ウィンドウ位置内にある時間の合計を閲覧時間として算出し、そのウィンドウに示されているWebサイトのURL情報と対応付けて閲覧時間情報(図6参照)のエントリを設定する。
なお、既に同一のURLを記録したエントリが閲覧時間情報に記録されている場合は、閲覧時間情報の閲覧時間に、新たに取得した閲覧時間を加算するデータ更新処理を実行する。
ステップS106では、すべての表示データ履歴情報、および注視点位置履歴情報の処理を終了したか否かを判断し、未処理データがある場合は、ステップS102以下の処理を繰り返し実行する。すべての表示データ履歴情報、および注視点位置履歴情報の処理を終了すると、閲覧時間情報生成部における閲覧時間情報生成処理が終了する。生成した閲覧時間情報は、図2に示す閲覧時間情報格納部24に格納される。
なお、閲覧時間情報生成部23は、ディスプレイに複数の異なる表示データの表示領域情報が存在する場合において、各表示データ毎の表示データ識別情報(URL)と該表示データに対応するユーザの閲覧時間情報を対応付けた閲覧時間情報を生成する。
図2に示す表示データ生成部25は、検索サービスサイトの提供する検索結果としてのインデックス情報リストを表示する場合に、閲覧時間情報格納部24に保持してあるユーザの表示データ対応の閲覧時間情報に基づいて、インデックス情報リストのソート処理、あるいは表示データの表示色などの表示態様の変更処理などを実行し、ユーザが過去に閲覧済みのデータについて容易に識別可能な表示データを生成する。この処理の詳細について、図8、図9を参照して説明する。
図8(A)は、閲覧時間情報が生成されていない状態において、ユーザが検索処理を実行し、検索結果を検索サービス実行サイトから取得して、取得した検索結果にもとつくWebサイトの閲覧を実行し、ユーザの閲覧処理に基づいて、情報処理装置が、表示データ履歴情報、および注視点位置履歴情報を生成し、さらに閲覧時間情報生成し、記録する処理シーケンスを示している。
図8(B)は、閲覧時間情報が生成された状態において、ユーザが検索処理を実行し、検索結果を検索サービス実行サイトから取得して、取得した検索結果を閲覧時間情報に基づいて調整し、調整した検索結果リストをユーザに提示する処理シーケンスを示している。図2に示す表示データ生成部25は、図8(B)における検索結果を閲覧時間情報に基づいて調整する処理を実行する。
まず、図8(A)の処理シーケンスについて説明する。なお、図8(A),(B)とも左側が情報処理装置側の処理であり、右側がユーザ側の処理を示している。
ステップS201においてユーザは、データ検索を開始する。例えば目的とする情報に対応するキーワードを入力して検索を実行する。例えばキーワードが入力され、検索開始コマンドが情報処理装置に入力されると、情報処理装置は、ステップS202において、ユーザによって入力されたキーワード等の検索情報を検索サービス提供サイトに送信する。
ステップS203において、検索サービス提供サイトから検索結果を受信すると、情報処理装置は、ステップS204において、検索結果としての例えばURL情報あるいはURL情報のリンク情報を持つインデックスリストなどからなる検索結果一覧をディスプレイに表示する。
検索結果一覧がディスプレイに表示されると、ユーザはステップS205において、検索結果一覧から興味のある情報を選択し、URLを指定して対応するデータをウィンドウに表示させる。ユーザによるURL指定に基づくデータ表示は、複数のURL対応のデータ表示として連続して実行される。
ユーザによるデータ閲覧処理に対応する処理として、情報処理装置は、ステップS206において表示データ履歴情報、および注視点位置履歴情報を生成する処理を実行し、さらに、ステップS207において、表示データ履歴情報、および注視点位置履歴情報に基づいて閲覧時間情報を生成し、生成した閲覧時間情報を閲覧時間情報格納部に格納する。
このステップS206,S207の処理は、図7を参照して説明した処理シーケンスに従って実行される処理であり、その結果として例えば図6に示すような表示データ識別情報(URL)と閲覧時間とを対応付けて記録した閲覧時間情報が閲覧時間情報格納部に格納される。
次に、図8(B)に示す処理シーケンスを説明する。図8(B)は、閲覧時間情報が生成された状態において、ユーザが検索処理を実行し、検索結果を検索サービス実行サイトから取得して、取得した検索結果に対して、表示データ生成部25が閲覧時間情報に基づく調整処理を行なって生成した調整済みの検索結果リストをユーザに提示する処理シーケンスを示している。
ステップS301においてユーザは、データ検索を開始する。例えば目的とする情報に対応するキーワードを入力して検索を実行する。例えばキーワードが入力され、検索開始コマンドが情報処理装置に入力されると、情報処理装置は、ステップS302において、ユーザによって入力されたキーワード等の検索情報を検索サービス提供サイトに送信する。
ステップS303において、検索サービス提供サイトから検索結果を受信すると、情報処理装置の表示データ生成部25は、ステップS304において、受信した検索結果に対して、閲覧時間情報に基づく調整処理を実行する。
表示データ生成部25の実行する閲覧時間情報に基づく調整処理の具体例について図9を参照して説明する。
例えば、ユーザによる過去の閲覧情報に基づいて生成され閲覧時間情報格納部24に格納された閲覧時間情報が図9(a)に示すデータ構成であったとする。
図9(b)に示す入力検索結果は、検索サービス提供サイトから受信した検索結果の例を示している。検索サービス提供サイトから受信する検索結果は、ユーザの例えば入力キーワードに対応する情報を、検索サービス提供サイト側で設定した順にリスト化したデータである。
表示データ生成部25は、この受信検索結果を閲覧時間情報格納部24に格納された閲覧時間情報に基づいて調整して、ディスプレイに提示する検索結果一覧を生成する。
表示データ生成部25の実行する閲覧時間情報に基づく検索結果一覧の調整処理の態様としては、いくつかの態様がある。例えば、図9(c)に示すように、図9(a)の閲覧時間情報に格納された閲覧時間の長いデータから順にソートした結果を出力検索結果としてディスプレイに表示する。表示データ生成部25は、図9(a)の閲覧時間情報に格納されたエントリの閲覧時間を取得し、図9(b)に示す入力検索結果を閲覧時間の長いものから順に並べ替えるソート処理を実行し、図9(c)に示す調整された検索結果一覧を生成し、これを表示制御部26を介してディスプレイ10に出力する。
あるいは、表示データ生成部25は、図9(d)に示すように、図9(a)の閲覧時間情報に格納されたURLに対応するデータのみを表示色変更あるいは太字設定など、表示態様を変更して図9(b)に示す入力検索結果のリスト順は変更せずに調整された検索結果一覧を生成し、これを表示制御部26を介してディスプレイ10に出力する。
あるいは、表示データ生成部25は、図9(e)に示すように、図9(a)の閲覧時間情報に格納されたURLに対応するデータのみを図9(b)に示す入力検索結果のリストから選択し、選択された情報のみからなる検索結果一覧を生成し、これを表示制御部26を介してディスプレイ10に出力する。
表示データ生成部25において生成した調整された検索結果一覧は、図8(B)のステップS305においてディスプレイに表示される。表示データ生成部25において生成した調整された検索結果一覧がディスプレイに表示されると、ユーザはステップS306において、検索結果一覧から興味のある情報を選択し、URLを指定して対応するデータをウィンドウに表示させる。
ディスプレイに表示される調整された検索結果一覧は、図9(c),(d),(e)に示すようにユーザが過去に閲覧したURL対応データを容易に判別可能な構成であり、ユーザは過去に閲覧した情報を容易に選択することが可能となる。
ユーザが、ステップS306において、検索結果一覧から興味のある情報を選択し、URLを指定して対応するデータをウィンドウに表示させる処理を開始すると、情報処理装置は、データ閲覧処理に対応する処理として、ステップS307において表示データ履歴情報、および注視点位置履歴情報を生成する処理を実行し、さらに、ステップS308において、表示データ履歴情報、および注視点位置履歴情報に基づいて閲覧時間情報のエントリ生成または閲覧時間の加算処理としてのエントリ更新処理を実行し、更新された閲覧時間情報を閲覧時間情報格納部に格納する。
その後のユーザによるデータ検索は、図8(B)の処理シーケンスに従って実行され、ユーザの検索処理によってディスプレイに表示される検索結果一覧は、表示データ生成部25において閲覧時間情報に基づいて調整した検索結果一覧となり、ユーザの閲覧時間に応じてユーザの閲覧した情報を識別可能な情報としてユーザに提示されることになる。
このように、本発明の情報処理装置は、ユーザがデータ閲覧を行なう際の視線情報を取得して、注視点座標に対応する時間履歴情報としての注視点位置履歴情報を生成するとともに、表示データのウィンドウ位置情報等を持つ表示データ履歴情報を生成し、生成した表示データ履歴情報、および注視点位置履歴情報に基づいて閲覧時間と表示データ識別情報(URL)とを対応付けた閲覧時間情報を生成し、生成した閲覧時間情報に基づいて検索結果一覧を調整してディスプレイに提示する構成としたので、ユーザは過去に閲覧したデータを効率的に抽出することが可能となる。
次に、上述した処理を実行する情報処理装置のハードウェア構成例について、図10を参照して説明する。
CPU(Central Processing Unit)501は、OS(Operating System)、通信制御プログラム、図7を参照して説明した表示データ履歴情報、注視点位置履歴情報の取得処理、閲覧時間と表示データ識別情報(URL)とを対応付けた閲覧時間情報生成処理プログラム等、各種コンピュータ・プログラムに従った処理を実行する制御部である。
ROM(Read Only Memory)502は、CPU501が使用するプログラムや演算パラメータ等を格納する。RAM(Random Access Memory)503は、CPU501の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはCPUバスなどから構成されるホストバス504により相互に接続されている。
ホストバス504は、ブリッジ505を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス506に接続されている。
キーボード508、ポインティングデバイス509は、ユーザにより操作される入力デバイスであり、例えば検索開始コマンドの入力、検索処理に適用するキーワード入力などに利用される。ディスプレイ510は、液晶表示装置またはCRT(Cathode Ray Tube)などから成り、各種情報をテキストやイメージで表示する。HDD(Hard Disk Drive)511は、内蔵するハードディスクを駆動し、CPU501によって実行するプログラムや情報を記録または再生させる。ハードディスクには、例えば注視点位置履歴情報、表示データ履歴情報、閲覧時間情報などの情報、各種処理プログラムが格納される。なお、注視点位置履歴情報、表示データ履歴情報は閲覧時間情報の生成のために一時的に記憶されればよいので、ハードディスクに格納することなく一時的にRAMに格納し、閲覧時間情報の生成後に消去してもよい。
ドライブ512は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体521に記録されているデータまたはプログラムを読み出して、そのデータまたはプログラムを、インタフェース507、外部バス506、ブリッジ505、およびホストバス504を介して接続されているRAM503に供給する。
接続ポート514は、外部接続機器522を接続するポートであり、USB,IEEE1394等の接続部を持つ。接続ポート514は、インタフェース507、および外部バス506、ブリッジ505、ホストバス504等を介してCPU501等に接続されている。
通信部515は、ネットワークに接続され、CPU501、またはHDD511等から供給されたデータ、例えば、検索要求コマンド、検索キーワードなどの情報を、所定の方式のパケットに格納して、ネットワークを介して、例えば、検索サービス提供サイトに送信するとともに、ネットワークを介して、これらのサイトから受信したデータをCPU501の制御のもとにディスプレイ510に表示する。
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
例えば、プログラムは記録媒体としてのハードディスクやROM(Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、CD−ROM(Compact Disc Read Only Memory),MO(Magneto optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。