JP6099342B2

JP6099342B2 - 視線インタフェースを用いた対話的情報探索装置

Info

Publication number: JP6099342B2
Application number: JP2012206058A
Authority: JP
Inventors: 典子神門; ビクトルス・ガルカビス
Original assignee: Inter University Research Institute Corp Research Organization of Information and Systems
Current assignee: Inter University Research Institute Corp Research Organization of Information and Systems
Priority date: 2012-09-19
Filing date: 2012-09-19
Publication date: 2017-03-22
Anticipated expiration: 2032-09-19
Also published as: JP2014059840A

Description

本発明は、視線インタフェースを用いて情報検索を行う対話的情報探索装置に関する。

Ｗｅｂの普及は、これまでにないほど人間の生活に「情報検索」の活況をもたらし、今やＷｅｂを用いて何かが検索されない日はない。そして、Ｗｅｂの創世期には想定されていなかった多様な職種や年齢層の人々が、日夜、情報検索を行っている。

現状のコンピュータを用いた情報検索では、通常、文字列がクエリとして与えられる。例えば、Ｗｅｂと接続するコンピュータは、入力されたクエリに基づいてＷｅｂ検索を行って検索結果一覧ページ（ＳＥＲＰ：ＳｅａｒｃｈＥｎｇｉｎｅＲｅｓｕｌｔＰａｇｅ）を出力する。操作者は、検索結果一覧ページにおいて、求める情報に関連するページへのリンクをクリックし、その情報を含むページに辿り着くことを目指す、という方式が一般的である。

しかしながら、操作者は、必ずしも、常に、どのような情報が欲しいのかを明確に自覚しているとは限らない。操作者は、コンピュータシステムとのインタラクションを通じて、徐々に何が欲しいのかが明確になったり、興味があることに気づかされたりすることも多い。

特に、画像の探索の場面では、操作者が欲しいものの漠然としたイメージを抱いていたとしても、それを的確に言葉のクエリとして表現することは操作者にとって困難であることが多い。

特許第３７２４８５９号公報特許第３３７２０９６号公報特許第４３２４６５０号公報

Viktors Garkavijs, Mayumi Toshima, Noriko Kando. 提示型ユーザーインターフェースにおける視線計測器を用いた適合フィードバック. 情報処理学会研究会報告 2011(IFAT-105) 1-8 2012年3月 Kandemir, M. Saarinen, V.-M. Kaski, S. Inferring object relevance from gaze in dynamic scenes. In Proceedings of the 201o Symposium on Eye-Tracking Research Applications (ETRA 10), Acm, New York, USA, 2010, pp. 105-108 Kumar, M. Paepcke A., Winograd, T. Eyepoitn: Practical Pointing and selection using Gaze and KYEboard. IN PROceedings of the SIGCHI conference on Human Factors in Computing Systems (CHI 07), ACM New York, USA, 2007. pp.421-430 Arto Klami, et al. Can relevance of images be inferred from eye movements? Multimedia Information Retrieval 2008:134-140 Oyewole Oyekoya et al. Perceptual Image Retrieval Using Eye Movements. Int. J. Comput. Math. (IJCM) 84(9):1379-1391 (2007) Laszlo Kozma et al. GaZIR: gaze-based zooming interface for image retrieval. ICMI 2009:305-312 Thorsen Joachims, Laura Granka, Bing Pan, Helene Hembrooke, Filip Randlinski, Geri Gay. Evaluating the Accuracy of Implicit Feedback from Clicks and Query Reformulations in Web Search. Acm Transaction on Information Systems, Vol. 25, No. 2, 2007

本発明は、情報探索において、操作者がどのような情報が欲しいのかについて、クエリやイメージによって明確に自覚していなくても、より直感的且つ迅速に、操作者に探索対象の情報オブジェクトを提示する対話的情報探索装置を提供する。

本発明は、上記の目的を達成するためになされたものである。本発明に係る対話的情報探索装置は、視線により指定された選択用オブジェクトに基づき、関連する情報オブジェクトを探索する対話的情報探索装置であって、
視線計測器、探索制御部、選択用オブジェクト表示部、及び、探索対象の情報オブジェクトを含む情報オブジェクトデータベースを備え、
情報オブジェクトデータベースでは、探索対象の各情報オブジェクトに対して、各情報オブジェクトの内容を表示する選択用オブジェクトが対応付けされ、且つ、各情報オブジェクトの種々の属性を示す特徴情報が付与され、特徴情報毎に重みであるスコアが管理されており、
視線計測器は、複数の選択用オブジェクトを表示する選択用オブジェクト表示部に対する利用者の視線を計測し、
探索制御部は、
（ａ）視線計測器により計測された視線の滞留時間に基づき、視線が向けられた選択用オブジェクトに対応する情報オブジェクトに付与された特徴情報について重みであるスコアを逐次更新し、
（ｂ）逐次更新される個別の特徴情報の重みであるスコアに基づいて、探索対象の情報オブジェクト群中の情報オブジェクトの探索適合度をリアルタイムで算出し、
（ｃ）探索適合度の高い情報オブジェクトから順に、対応する選択用オブジェクトを選択用オブジェクト表示部に表示し、
（ｄ）上記の（ａ）から上記の（ｃ）の処理を繰り返し行う。

本発明の対話的情報探索装置により、情報探索において、操作者がどのような情報が欲しいのかについて、クエリやイメージによって明確に自覚していなくても、より直感的且つ迅速に、操作者に探索対象の情報オブジェクトを提示することができる。

実施の形態１に係る対話的情報探索装置の全体構成を示すブロック図。データサーバに記録される画像データベースの例を示す図。実施の形態１に係る情報処理装置（パーソナルコンピュータ）のシステム構成を示すブロック図。実施の形態１に係る対話的情報探索装置の動作を示すフローチャート。実施の形態１に係る情報処理装置に備わるハードディスクに記録されるデータファイルの例を示す図。サムネイルの一覧表画面の例を示す表示装置の図。サムネイルの一覧に重ねて、選択されたサムネイルのポップアップを表示する画面の例。選択されたサムネイルのポップアップの例を示す図。実施の形態１に係る表示装置における、サムネイル一覧画面の変化の例を示す図。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、発明者は、当業者が本開示を十分に理解するために添付図面及び以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

（実施の形態１）
以下、図面を参照して、実施の形態１を説明する。実施の形態１は、視線により指定された選択用オブジェクトに基づき、関連する情報オブジェクトを探索する対話的情報探索装置に関する。当該対話的情報探索装置は、画面に表示された複数の選択用オブジェクトの各々に対する操作者の視線の滞留時間に基づき、操作者の好み、及び操作者が探索したい対象に関するイメージの近さについてオンラインラーニングを行いつつ、より直感的且つ迅速に、操作者に探索対象の情報オブジェクトを提示する。

ここで、情報オブジェクト（ＩｎｆｏｒｍａｔｉｏｎＯｂｊｅｃｔ）とは、文字、画像、音声、映像、マルチメディアなどあらゆる形態の情報であり、検索などの対象となるものの一つ一つ(検索結果の単位となるもの）を指す。更に、選択用オブジェクトとは、後で説明するように、各情報オブジェクトの内容を簡略化して表示するオブジェクトであり、各情報オブジェクトに対応付けられ、視線による選択・指定のために表示装置に表示されるものを指す。以下の実施の形態１の説明では、情報オブジェクトの例の一つとして画像を取り上げ、選択用オブジェクトの例の一つとして、情報オブジェクトの例の一つである画像と対応付けられるサムネイル画像を取り上げる。つまり、視線により指定されたサムネイル画像に基づき関連する画像を探索する対話的情報探索装置について説明する。当然ながら、以下の実施の形態１に示す思想は、画像以外の情報オブジェクトを探索する対話的情報探索装置に適用可能である。

１−１．構成
図１は、実施の形態１に係る対話的情報探索装置の全体構成を示すブロック図である。図１に示すように、実施の形態１に係る対話的情報探索装置２は、視線計測器４、表示装置（ディスプレイ）６、情報処理装置（例えば、パーソナルコンピュータ）８、及びデータサーバ１０により構成される。情報処理装置８とデータサーバ１０はＬＡＮなどのネットワークを介して接続される。

情報処理装置８に接続する視線計測器４は、対話的情報探索装置２の操作者１２の視線が、表示装置６の表示する画面のどこにあるかをリアルタイムで計測する装置である。視線計測器４としては、例えば、トビー（Ｔｏｂｉｉ）社のアイトラッカー（ＳＤＫ３．０ＲＣ１など）が用いられる。

情報処理装置８に接続する表示装置６は、情報処理装置８の信号に基づき各種画像やデータを表示する。本実施の形態１では、特に、サムネイル化された多数の画像（例えば、５行×７列の画像）を一度に表示する。

情報処理装置８と接続するデータサーバ１０は画像データベースを格納する。画像データベースは、複数の画像データ及びそれら画像データの各々に付属するタグデータを関連づけて管理する。ここで、タグデータは、各画像の属性（特徴）を示すデータであり、一つの画像に対して複数のタグデータが付属し得る。図２は、データサーバ１０に格納される画像データベースの構成例を示した図である。図２では、複数の画像データ及びそれら画像データの各々に付属するタグデータに関する画像データベースの内容の例が示されている。同図に示すように、各画像には、各画像の特徴を示すタグが関連づけられている。本実施の形態１では、タグは文字列であるが、画像の特徴を示す情報であれば、他の形式の情報（例えば、画像に含まれるオブジェクトの代表的な色を示す情報、画像に含まれる代表的なオブジェクトの形状を示す情報など）であってもよい。

図３は、情報処理装置（例えば、パーソナルコンピュータ）８の構成を示すブロック図である。情報処理装置８は、ＣＰＵ１２、キーボード９、メモリ１４、ハードディスク１６、及び外部インタフェース１８を有する。また、既に述べたように、ＣＰＵ１２は、外部装置である視線計測器４、及び表示装置（ディスプレイ）６と接続する。

ＣＰＵ１２は、情報処理装置８の所定の機能を実行するために、所定のプログラムを実行する。

ハードディスク１６は、ＣＰＵ１２で実行処理されるプログラム及びデータを記憶する。なお、ハードディスク１６に代えて、フラッシュメモリ等を利用したソリッドステートディスク（ＳＳＤ）や他の記録媒体を用いてもよい。

メモリ１４は、ＣＰＵ１２で演算処理を行う際プログラムやデータを一時的に記憶する。

外部インタフェース１８は、外部装置やネットワークとの間で、信号を入出力するためのインタフェースである。外部インタフェース１８は、例えば、ＵＳＢインタフェース、ＬＡＮインタフェースを含む。

表示装置６は、例えば、液晶ディスプレイで構成される。表示装置６は、プラズマディスプレイや有機ＥＬ等、他の表示デバイスで構成されてもよい。

１−２．動作
図４は、実施の形態１に係る対話的情報探索装置２の動作を示すフローチャートである。図４と共に、図５から図９を参照しつつ、実施の形態１に係る対話的情報探索装置２における、特に情報処理装置８（ＣＰＵ１２）の動作を以下説明する。

なお、情報処理装置８は、画像データベースの全部又は一部をデータサーバ１０から取得し、図５（ａ）に示すようにハードディスク１６に保存している。また、情報処理装置８は、画像データベース１６ａに含まれるタグ情報に基づいてタグファイル１６ｂを作成し、図５（ｂ）に示すように、ハードディスク１６に保存している。タグファイル１６ｂは、画像データベース１６ａで管理される各画像に付与された全てのタグを管理し、タグデータ（タグ名）とそのタグのスコアとを関連づけて保存している。タグのスコアについては後で説明する。

図４のフローを参照し、まず、操作者により、キーボード９を介して情報処理装置８に対して文字列であるクエリが入力される（ステップＳ１２）。クエリの入力を受けると（ステップＳ１３・ＹＥＳ）、クエリに基づき、タグファイル１６ｂからタグデータのリストが抽出される（ステップＳ１４）。このとき、タグファイル１６ｂからは、例えば、入力されたクエリの文字列に一致または類似するタグデータが抽出される。次に、抽出された複数のタグデータのうちの少なくとも１つを含む画像の集合が求められる（ステップＳ１５）。そして、抽出されたタグデータを含む画像のそれぞれについて、その画像に付与されたタグのスコアに基づき適合度（スコア）が計算される（ステップＳ１６）。

全てのタグデータのスコアの初期値はゼロに設定されている。但し、最初にクエリが入力されたときは、ステップＳ１４で抽出されたタグに対して、所定値が与えられ、それに基づいて各画像の適合度（スコア）が計算される（ステップＳ１６）。このようにしないと、クエリに基づき最初に表示する一覧画像を構成するサムネイルが求められないからである。さらに、このとき、適合度計算カウンタ（後述）を０にリセットする。なお、画像の適合度（スコア）の計算については、後で詳しく説明する。

ステップＳ１６にて計算された、各画像の適合度（スコア）に基づいて、サムネイル一覧を表示装置６に表示する（ステップＳ１７）。図６は、表示装置６に表示されたサムネイル２１の一覧表示画面の例を示す図である。なお、サムネイル２１の一覧表示画面には、クエリ入力欄２０が設けられており、このクエリ入力欄２０にクエリが入力される。

その後、情報処理装置８は操作者による入力を受け付ける（ステップＳ２１）。情報処理装置８は、このとき、入力が文字列であるクエリであるか（ステップＳ２２）、若しくは視線によるサムネイルの選択であるか（ステップＳ２３）を判断する。入力データが文字列であるクエリであるならば（ステップＳ２２・ＹＥＳ）、情報処理装置８は、前述のようにステップＳ１３〜Ｓ１７を行い、表示装置６にサムネイル２１の一覧表示画面を示す（ステップＳ１７）。

一方、入力データが文字列であるクエリでないならば（ステップＳ２２・ＮＯ）、情報処理装置８は、視線計測器４からの信号により、操作者１２の視線が、表示装置６に表示されるサムネイル一覧のうちの一つのサムネイルに向けられているかどうかを判断する（ステップＳ２３）。すなわち、操作者１２の視線により、サムネイル一覧の中の一つのサムネイルが選択されたかどうかを判断する。

操作者１２の視線により一つのサムネイルが選択されたかどうかの判断は、操作者１２の視線が、そのサムネイルに、所定の時間（以下「滞留閾値時間」という）以上滞留したか否かで判断する。すなわち、操作者１２の視線がサムネイル上に滞留閾値時間以上滞留している場合、操作者１２の視線によりそのサムネイルが選択されたものと判断する。滞留閾値時間の長さは適宜設定可能である。本実施形態では、図６に示す画面における、調整ゲージ２８により滞留閾値時間の長さを調整できるようになっている。例えば、滞留閾値時間は数十ミリ秒に設定される。

操作者１２の視線によりサムネイルが選択されなかった場合（ステップＳ２３・ＮＯ）、情報処理装置８の制御はステップＳ２１に戻り、次の入力を待つ。

操作者１２の視線により一つのサムネイルが選択された場合（ステップＳ２３・ＹＥＳ）、情報処理装置８は、サムネイル一覧を表示する表示装置６の画面上に、選択されたサムネイルのポップアップを表示する（ステップＳ２４）。図７は、サムネイル２１の一覧に重ねて、選択されたサムネイルのポップアップ３０を表示する画面の例である。図８は、選択されたサムネイル２１ａのポップアップ３０の例を示す図である。ポップアップ３０では、サムネイル画像の詳細な情報が提示され、具体的には、サムネイル２１ａ、サムネイルタイトル３２、及び、当該サムネイルに付属するタグデータ群３４が示される。

また、情報処理装置８は、選択されたサムネイル２１のポップアップの表示と同時に、タイマーをスタートさせる（ステップＳ２４）。

続いて、情報処理装置８は、視線計測器４により、操作者１２の視線がポップアップ３０のサムネイル２１に向け続けられているどうかを監視する（ステップＳ２５）。操作者１２の視線の対象が、ポップアップ３０のサムネイル２１から変化すれば（ステップＳ２５・ＹＥＳ）、ステップＳ２４でスタートさせたタイマーを停止し、各画像に付属する個々のタグのスコアを更新する（ステップＳ２６）。このように各画像に付属する個々のタグのスコアをリアルタイムで更新することにより、操作者１２のリアルタイムでの関心内容が対話的情報探索装置２による探索にオンラインで反映されることになる。各画像に付属する個々のタグのスコアの更新処理については後述する。

各画像に付属する個々のタグのスコアを更新した（ステップＳ２６）後、イテレーションと適合度計算カウンタとをインクリメントする（ステップＳ２７）。ここで、適合度計算カウンタは、画像の適合度の計算（再計算）の実行タイミングの判断に用いられる。

続いて、情報処理装置８は、適合度計算カウンタが、再スコア計算のための閾値を超えたか否かを判断する（ステップＳ２８）。

適合度計算カウンタが、再スコア計算のための閾値を超えていなければ（ステップＳ２８・ＮＯ）、入力の受付の処理に移行する（ステップＳ２１）。

一方、適合度計算カウンタが、再スコア計算のための閾値を超えていれば（ステップＳ２８・ＹＥＳ）、ステップＳ２６で計算された、各画像に付属する個々のタグのスコアに基づいて、各画像の適合度（スコア）の再計算を行う（ステップＳ１６）。画像の適合度（スコア）の計算処理については、後述する。

情報処理装置８は、計算された各画像の適合度（スコア）に基づいてサムネイル一覧を（再）生成し、表示装置６に表示する（ステップＳ１７）。すなわち、情報処理装置８は、画像の適合度（スコア）の高いものから順に所定数（一画面に表示可能なサムネイル数）の画像を選択し、適合度（スコア）の高い順に（例えば、画面の左上から右下に向かって、上から下にかつ左から右の順に）サムネイル画像を配置して表示する。

以上のように、サムネイル２１の一覧画像上での操作者１２の視線の滞留、移動に伴い、情報処理装置８は、視線計測器４による入力の受付（ステップＳ２１）から、各画像に付属する個々のタグのスコアの更新（ステップＳ２６）、並びにイテレーション及び適合度計算カウンタのインクリメント（ステップＳ２７）を繰り返す。更に、所定の時点で各画像の適合度（スコア）の再計算（ステップＳ１６）及びサムネイル一覧の再作成（ステップＳ１７）を行う。

なお、操作者１２は、欲する画像が表示装置６に表示されるに到れば、その時点で図４に示される処理を停止することができる。

１−２−１．タグのスコアの更新
図４に示すフローチャートのステップＳ２６におけるタグのスコアの更新処理について説明する。各タグのスコアは、ポップアップの表示時間、即ち、前述のタイマーによる計測時間に基づいて付けられる。つまり、
ｉ：イテレーション
ｓ：スコア
ｌ：ポップアップの表示時間
Ｔ_ｘ：画像ｘのタグの集合
｜Ｔ_ｘ｜：画像ｘのタグの集合におけるタグの数
とすると、以下のようにスコア付けされる。
このように、ポップアップ３０が表示されていた時間（ミリ秒）は各タグに均等に分けられる。

なお、２値手法を用いて、ポップアップされた画像のタグに付されるスコアは、以下の［数２］の式で求めてもよい。

続いて、操作者１２と対話的情報探索装置２との相互作用に適応させるためのスライディングウインドウを導入して、各タグのスコアを計算する。ここで、スライディングウインドウのサイズは、どのくらい前後の文脈を保持するかを規定するパラメータである。スライディングウインドウのサイズの値として、例えば、５が設定され得る。

ｉ番目のイテレーションの後のタグのスコアは以下の［数３］の式により計算される。
なお、
ｗ：スライディングウインドウのサイズ
Ｓ_ｉ：ｉ番目のイテレーションの後のタグのスコア
である。

生成された各タグのスコアは、情報処理装置８に備わるハードディスク１６に記録される。前述のように図５（ｂ）は、ハードディスク１６に記録されるタグのスコアに関するファイルの内容の一部を示している。スライディングウィンドウ（ｗ）により、直近のｗ個のスコアのみを最新のスコアに反映させるようにしている。なお、スライディングウインドウによるスコアの計算を実現するために、各タグに関して過去の数個のイテレーションに亘る複数の値（スコア）が、タグのスコアに関するファイルに記録されていることが好ましい。

以上により、操作者の視線の変化は、各タグのスコアの更新にリアルタイムで反映される。これにより、操作者の視線の変化を介して現れる操作者の関心や意図がリアルタイムで各タグのスコアの更新に反映されることになる。すなわち、例えば、当初やや不明確であった探索対象が操作者の意識内で徐々に明確になるような場合や、操作者の欲する探索対象が検索操作中に変化するような場合であっても、操作者の最新の関心及び意図は、各タグのスコアがリアルタイムで更新されることにより情報探索装置に直接的に把握される。各タグのスコアのリアルタイムの更新により、探索対象であるサムネイル（画像）の適合度（スコア）はリアルタイムで変動する。リアルタイムで変動するサムネイル（画像）の適合度を利用することで、操作者は探索の目的に辿りつくことが促進され得る。

１−２−１．画像の適合度（スコア）の計算
図４に示すフローチャートのステップＳ１６における画像の適合度の計算処理について説明する。各画像の適合度（スコア）Ｒ_ｘは、以下の［数４］の式により計算される。
この場合、
Ｒ_ｘ：画像ｘの適合度
ｘ：画像
ｑ：クエリターム（画像に付属するタグ）
Ｘ_ｑ：タグｑを含む画像の集合
Ｔ_Ｘ：画像の集合Ｘのタグの和集合
である。

上式を具体的に説明する。探索対象の画像データベース１６ａに含まれる一つの画像ｘに複数のタグが付属しているとする。この場合、画像データベース１６ａに含まれる画像のうち、画像ｘに付属する一のタグｑを含む画像の集合を集合Ｘ_ｑとする。この画像集合Ｘ_ｑに含まれる画像に付属しているタグの和集合において、各タグのスコアを合算した総和Ｓ_tが計算される。このようにして、画像ｘに付属する一のタグにつてスコアＳ_tが計算される。同様にして、画像ｘに付属する他のタグのそれぞれについてもスコアＳ_tが計算される。そして、画像ｘについて、それに付属する全タグのスコアＳ_tを合算することで、画像ｘの適合度（スコア）Ｒ_xが求められる。

１−２−３．表示装置におけるサムネイル一覧画面の動作の例
図９は、実施の形態１に係る表示装置６における、サムネイル一覧表示画面の変化の例を示す図である。図９（ａ）は、ある時点でのサムネイル一覧表示画面を示す。このサムネイル一覧表示画面に対して、例えば、操作者１２が、上段左のサムネイルや、下段中央のサムネイルに対して「滞留閾値時間」を超える時間にて視線を滞留させることを複数回繰り返すと、サムネイル一覧表示画面の内容は、各画像が備えるタグのスコアに基づいて、変化することになる。

図９（ｂ）は、視線の変化により、内容が変化したサムネイル一覧表示画面の例を示す。このように、操作者１２は、自分の興味の赴くサムネイルに視線を滞留させてサムネイル一覧表示画面を変化させ、それを繰り返すことにより、自らが欲する画像（サムネイル）を探し当てることができる。

１−３．効果等
以上のように、本実施の形態１は、視線により指定された画像に基づき、関連する画像を探索する対話的情報探索装置に関する。当該対話的情報探索装置は、視線計測器、探索制御部（ＣＰＵ）、及び表示装置を備える。探索対象の各画像には種々の属性を示す特徴情報（タグ）が付与され、特徴情報（タグ）毎に重み（スコア）が管理されている。視線計測器は、複数の画像を表示する表示装置に対する利用者の視線を計測する。更に探索制御部（ＣＰＵ）は、（工程ａ）視線計測器により計測された視線の滞留時間に基づき、視線が向けられた画像に付与された特徴情報（タグ）について重み（スコア）を逐次更新する工程と、（工程ｂ）逐次更新される個別の特徴情報（タグ）の重み（スコア）に基づいて、探索対象画像群中の画像の探索適合度をリアルタイムで算出する工程と、（工程ｃ）探索適合度の高い画像から順に画像表示部に表示する工程と、（工程ｄ）上述の（工程ａ）から（工程ｃ）の処理を繰り返し行う工程とを行う。

実施の形態１に係る対話的情報探索装置では、操作者の視線による視線計測器のデータがフィードバックされ、その操作者のリアルタイムでの好み、及び探索したい対象に関するイメージの近さにつき、オンラインラーニングを行うことになる。すなわち、本実施の形態に係る対話的情報探索装置は、操作者の視線による視線計測器のデータによって、その操作者の好み、及び探索したい対象に関するイメージの近さにつき、リアルタイムで順位の学習を行うことができる。このような対話的情報探索装置を使用することにより、本実施の形態の操作者は、画像探索に関してどのような情報が欲しいのかについて、クエリやイメージによって明確に自覚していなくても、より直感的且つ迅速に探索対象画像に辿り着くことができる。

実施の形態１に係る対話的情報探索装置は、操作者の視線によるサムネイルの選択を行ったが、従来は、マウスやキーボード等を用いて画像の選択が行われるのが一般的である。しかし、マウスやキーボード等を用いた画像の選択の場合、操作者が画像を見たけれどマウスクリックなどするまでは到らない、いわゆるポジティブ・アバンダンメント（positive abandonment）が生じ得る。本実施形態では、視線によりサムネイルの選択を行わせることにより、このようなポジティブ・アバンダンメントを防止できる。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

実施の形態１では、各画像が、種々の属性を示すタグデータを備えることを前提としているが、各画像が備える各種特徴量を用いて、本発明に係る実施の形態を構築することも可能である。ここで画像の「特徴量」には、「赤」「青」「黄」などの色に関するもの、「明」「暗」などの明度に関するもの、若しくは「粗」「密」などの要素の多寡に関するものなどが含まれる。

更に、「特徴量」には、画像（若しくは、情報オブジェクト）の備える属性等の特徴を人間の判断により付与したもの（メタデータ型特徴量）と、画像（若しくは、情報オブジェクト）から所定の自動的分析により抽出されるもの（内容型特徴量）とが含まれる。実施の形態１に係る画像に付属するタグは、メタデータ型特徴量の一例である。画像から自動的に抽出されるピクセルの色の分布、形状、輝度、質感等を数値で表したもの、テキスト中の所定の文字列の出現頻度などは、内容型特徴量の例である。

実施の形態１に関する説明から明らかなように、対話的情報探索装置において、探索対象の情報オブジェクト（例えば、画像）と個々の情報オブジェクトに付属する特徴量とが関連付けて管理されているのであれば、特徴量がメタデータ型特徴量であっても、内容型特徴量であっても、同様に本出願に係る実施の形態を構築することができる。なお、このような特徴量は、講学上「特徴素」と称される。

また、実施の形態１では探索対象が画像であるが、画像以外の対象、例えば、単なる図形やマーク等も探索対象とすることもできる。また、選択用画像（サムネイル画像）に対して、文書データ、音声データ、映像データ等、種々のコンテンツデータを関連付けてもよい。

例えば、あるコンテンツ（文書、音声、映像データ）と、そのコンテンツのイメージと一致したイメージを有する選択用画像（サムネイル画像）を対応づけ、画像データベースに管理しておく。これにより、前述の方法で操作者の視線により、操作者がイメージする所望のサムネイル群が選択されることにより、それに関連づけられたコンテンツが同時に検索されることになる。このようにすることで、視線により操作者がイメージする、画像以外の所望のコンテンツについても容易に探索することが可能となる。

また、上記の実施形態では、サムネイル（選択用画像）は画像情報を含んでいたが、何らかのイメージを示すテキスト情報（文字列）を含む選択用オブジェクトであってもよい。即ち、探索対象である文書データ、音声データ、映像データ等、種々のコンテンツデータと対応付けられる選択用オブジェクトは、サムネイルでも、文字列でも、図形でも、記号でも、それらの組み合せでもよい。このとき、情報オブジェクトを格納する情報オブジェクトデータベースは、複数の情報オブジェクトデータ、それら情報オブジェクトデータの各々に対応する選択用オブジェクト、及びそれら画像データの各々に付属するタグデータを、関連づけた上で管理する。なお、前述の実施の形態１では、画像の各々が情報オブジェクトと選択用オブジェクトの両方の役割を果たしている。

このように、本発明の実施の形態の思想は、視線により指定された情報オブジェクトに基づき、関連する情報オブジェクトを探索する対話的情報探索装置に適用可能である。

本発明は、シームレスにインタラクションを続けながら、操作者の所望の情報を探索する、視線による対話的情報探索装置にて利用することができる。

２・・・対話的情報探索装置、
４・・・視線計測器、
６・・・表示装置、
８・・・情報処理装置、
１０・・・データサーバ、
１６・・・ハードディスク、
２０・・・クエリ入力欄、
２１・・・サムネイル、
３０・・・ポップアップ。

Claims

視線により指定された選択用オブジェクトに基づき、関連する情報オブジェクトを探索する対話的情報探索装置であって、
視線計測器、探索制御部、選択用オブジェクト表示部、及び、探索対象の情報オブジェクトを含む情報オブジェクトデータベースを備え、
前記情報オブジェクトデータベースでは、探索対象の各情報オブジェクトに対して、各情報オブジェクトの内容を表示する選択用オブジェクトが対応付けされ、且つ、各情報オブジェクトの種々の属性を示す特徴情報が付与され、前記特徴情報毎に重みであるスコアが管理されており、
前記視線計測器は、複数の選択用オブジェクトを表示する選択用オブジェクト表示部に対する利用者の視線を計測し、
前記探索制御部は、
（ａ）前記視線計測器により計測された視線の滞留時間に基づき、視線が向けられた選択用オブジェクトに対応する情報オブジェクトに付与された特徴情報について重みであるスコアを逐次更新し、
（ｂ）逐次更新される個別の特徴情報の重みであるスコアに基づいて、探索対象の情報オブジェクト群中の情報オブジェクトの探索適合度をリアルタイムで算出し、
（ｃ）探索適合度の高い情報オブジェクトから順に、対応する選択用オブジェクトを前記選択用オブジェクト表示部に表示し、
（ｄ）前記（ａ）から前記（ｃ）の処理を繰り返し行う
対話的情報探索装置。
前記探索制御部は、
前記（ａ）の処理において、前記視線計測器により計測された視線の滞留時間が所定の閾値より大きい場合にのみ、前記視線計測器により計測された視線の滞留時間に基づき、視線が向けられた選択用オブジェクトに対応する情報オブジェクトに付与された特徴情報について重みであるスコアを逐次更新する
請求項１に記載の対話的情報探索装置。
前記探索制御部は、
前記（ａ）の処理において、直近の所定回の視線の滞留における、前記視線計測器により計測された視線の滞留時間に基づき、視線が向けられた選択用オブジェクトに対応する情報オブジェクトに付与された特徴情報について重みであるスコアを逐次更新する
請求項２に記載の対話的情報探索装置。
前記選択用オブジェクト表示部は、前記探索制御部への入力データに基づいて、予め複数の選択用オブジェクトを表示する
請求項１に記載の対話的情報探索装置。
前記情報オブジェクトが画像であり、
前記選択用オブジェクトが前記画像と対応付けられるサムネイル画像である
請求項１に記載の対話的情報探索装置。
探索対象の情報オブジェクトがコンテンツデータを含む
請求項１に記載の対話的情報探索装置。
前記選択用オブジェクトが、文字列、図形、若しくは記号を含む
請求項１に記載の対話的情報探索装置。
情報処理装置に、視線により指定された選択用オブジェクトに基づき、関連する情報オブジェクトを探索する対話的情報探索処理を実行させるコンピュータプログラムであって、
探索対象の各情報オブジェクトに対して、各情報オブジェクトの内容を示す選択用オブジェクトが対応づけされ、且つ、書く情報オブジェクトの種々の属性を示す特徴情報が付与され、前記特徴情報毎に重みであるスコアが管理されており、
前記コンピュータプログラムは、前記情報処理装置の制御部に、
（１）複数の選択用オブジェクトを表示する選択用オブジェクト表示装置に対する利用者の視線を計測するステップと、
（２）前記ステップ（１）にて計測された視線の滞留時間に基づき、視線が向けられた選択用オブジェクトに対応する情報オブジェクトに付与された特徴情報について重みであるスコアを逐次更新するステップと、
（３）逐次更新される個別の特徴情報の重みであるスコアに基づいて、探索対象の情報オブジェクト群中の情報オブジェクトの探索適合度をリアルタイムで算出するステップと、
（４）探索適合度の高い情報オブジェクトから順に、対応する選択用オブジェクトを前記選択用オブジェクト表示装置に表示するステップと、
（５）前記ステップ（２）から前記ステップ（３）の処理を繰り返し行うステップと
を実行させる、コンピュータプログラム。
前記ステップ（２）において、前記ステップ（１）にて計測された視線の滞留時間が所定の閾値より大きい場合にのみ、前記ステップ（１）にて計測された視線の滞留時間に基づき、視線が向けられた選択用オブジェクトに対応する情報オブジェクトに付与された特徴情報について重みであるスコアを逐次更新する
請求項８に記載のコンピュータプログラム。
前記ステップ（２）において、直近の所定回の視線の滞留における、前記ステップ（１）にて計測された視線の滞留時間に基づき、視線が向けられた選択用オブジェクトに対応する情報オブジェクトに付与された特徴情報について重みであるスコアを逐次更新する
請求項９に記載のコンピュータプログラム。
前記情報オブジェクトが画像であり、
前記選択用オブジェクトが前記画像と対応付けられるサムネイル画像である
請求項８に記載のコンピュータプログラム。