JP6770613B2 - 制御プログラム - Google Patents

制御プログラム Download PDF

Info

Publication number
JP6770613B2
JP6770613B2 JP2019124923A JP2019124923A JP6770613B2 JP 6770613 B2 JP6770613 B2 JP 6770613B2 JP 2019124923 A JP2019124923 A JP 2019124923A JP 2019124923 A JP2019124923 A JP 2019124923A JP 6770613 B2 JP6770613 B2 JP 6770613B2
Authority
JP
Japan
Prior art keywords
display
user
information
display element
display control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019124923A
Other languages
English (en)
Other versions
JP2019164843A (ja
Inventor
真悠 横矢
真悠 横矢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Priority to JP2019124923A priority Critical patent/JP6770613B2/ja
Publication of JP2019164843A publication Critical patent/JP2019164843A/ja
Application granted granted Critical
Publication of JP6770613B2 publication Critical patent/JP6770613B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Description

本発明は、文書等のデータについての表示技術に関する。
従来、コンピュータは、表示されるための情報を示す文書等のデータに基づいて、ディスプレイ等に、情報を表す表示要素の集合である画像等を表示するよう表示制御を行う。この制御は、例えば、アプリケーションプログラム、ウェブブラウザその他のプログラムにより実行される。ところで、ディスプレイ等に多くの表示要素(情報)が表されると、ユーザにとって読み辛くなり得る。読み易くするために、ユーザの視線情報により、ウェブページを閲覧しているユーザに注目されている領域(ウェブページの領域)に含まれる文字を拡大する技術(ドキュメント表示態様変換装置)が知られている(特許文献1参照)。
特開2002−169637号公報
特許文献1の技術では、ユーザが注目すれば文字等の情報が一律に強調(文字の拡大等)されるに過ぎない。このため、例えばユーザが重要な情報を表す表示要素に注目しなければ、ユーザは、重要な情報の表示要素を見落としてしまい、重要な情報を認識できない。
そこで、本発明は、注目すべき情報についての見落としを低減させ得る表示制御方法を用いる表示制御装置で用いられる制御プログラムを提供する。
上記課題を解決するために本発明の一態様に係る制御プログラムは、コンピュータに、1以上の情報を示すデータに基づいて、前記1以上の情報のうちの少なくとも1以上の情報を表す1以上の表示要素を表示面に表示するよう制御する表示制御処理を実行させるための制御プログラムであって、前記表示制御処理は、前記表示面におけるユーザの視点の位置を検出し、検出した当該視点の位置を前記ユーザの視線に関する視線情報として取得し、前記データに基づいて表示される表示要素のうち、前記視線情報が示す前記ユーザの視線と所定の位置関係を満たし、かつ、強調候補としての所定要件を満たす表示要素を特定し、特定した表示要素を強調して表示するように表示制御を行い、前記表示制御として、前記視点の位置の検出結果及び前記データが示す情報を表す1以上の表示要素のレイアウトを示すレイアウト情報に基づいて位置範囲を決定し、前記データに基づいて前記表示面に表示されて前記所定要件を満たす表示要素のうち決定された当該位置範囲内の表示要素を特定し、特定した当該表示要素を強調するように、当該表示要素を第1表示態様にして前記表示面に表示し、当該表示要素以外の1以上の表示要素を前記第1表示態様と異なる第2表示態様にして前記表示面に表示する。
本発明によれば、ユーザが注目すべき情報について見落とすことが低減され得る。
実施の形態1に係る表示制御システムの全体構成を示す図である。 カメラの配置の一例を示す図である。 実施の形態1に係る表示制御装置の機能ブロック図である。 実施の形態1に係る表示制御処理の一例を示すフローチャートである。 実施の形態1に係る強調候補判別処理の一例を示すフローチャートである。 実施の形態1に係る強調処理の一例を示すフローチャートである。 表示制御装置が受信して表示するためのデータの一例を示す図である。 実施の形態1に係る表示制御装置により表示された画面(表示面)の変化の一例を示す図である。 実施の形態2に係る表示制御装置で用いられる強調候補識別用情報の一例を示す図である。 実施の形態2に係る強調候補判別処理の一例を示すフローチャートである。 実施の形態2に係る表示制御装置により表示された画面(表示面)の変化の一例を示す図である。 実施の形態3に係る表示制御装置の機能ブロック図である。 実施の形態3に係る表示制御装置で用いられる属性情報の一例を示す図である。 実施の形態3に係る表示制御装置で用いられる範囲決定用テーブルの一例を示す図である。 実施の形態3に係る表示制御処理の一例を示すフローチャートである。
本発明の一態様に係る制御プログラムは、コンピュータに、1以上の情報を示すデータに基づいて、前記1以上の情報のうちの少なくとも1以上の情報を表す1以上の表示要素を表示面に表示するよう制御する表示制御処理を実行させるための制御プログラムであって、前記表示制御処理は、前記表示面におけるユーザの視点の位置を検出し、検出した当該視点の位置を前記ユーザの視線に関する視線情報として取得し、前記データに基づいて表示される表示要素のうち、前記視線情報が示す前記ユーザの視線と所定の位置関係を満たし、かつ、強調候補としての所定要件を満たす表示要素を特定し、特定した表示要素を強調して表示するように表示制御を行い、前記表示制御として、前記視点の位置の検出結果及び前記データが示す情報を表す1以上の表示要素のレイアウトを示すレイアウト情報に基づいて位置範囲を決定し、前記データに基づいて前記表示面に表示されて前記所定要件を満たす表示要素のうち決定された当該位置範囲内の表示要素を特定し、特定した当該表示要素を強調するように、当該表示要素を第1表示態様にして前記表示面に表示し、当該表示要素以外の1以上の表示要素を前記第1表示態様と異なる第2表示態様にして前記表示面に表示する。この制御プログラムをコンピュータにインストールすれば、コンピュータが、ユーザにとって注目すべき情報についての見落としを低減させる表示制御装置として機能するようになる。例えば、適切に強調候補としての所定要件として定めておくことで、特定の注目すべき表示内容(表示要素が表す情報)を目立たせてユーザが認識し易くすることができる。また、ディスプレイの画面等といった表示面におけるユーザの視点との位置関係次第で、注目すべき表示要素(例えば重要情報を表す表示要素)を目立つように表示させ得るため、効果的にユーザの見落としを低減させ得る。また、ユーザの視点に関係した一定範囲の領域(位置範囲)内に存在する注目すべき情報(例えば重要情報)をユーザに認識させ易くすることができる。なお、全ての表示要素が強調されるのではなく、強調候補としての所定要件及びユーザの視点の位置により強調される表示要素が限定されるため、表示制御システムにおいて表示要素群を初期表示する際に要する処理負荷(強調のための処理負荷)が比較的軽減され得る。また、文書データの場合における文字列の間隔等のレイアウトに応じて、例えば文字列の隙間が多い程、位置範囲を大きく決定し得る。
なお、この全般的又は具体的な態様は、システム、方法、集積回路又はコンピュータで読み取り可能なCD−ROM等の記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム又は記録媒体の任意な組み合わせで実現されてもよい。
以下、実施の形態に係る表示制御装置を含む表示制御システムについて、図面を参照しながら説明する。ここで示す実施の形態は、いずれも本発明の一具体例を示すものである。従って、以下の実施の形態で示される数値、構成要素、構成要素の配置及び接続形態、並びに、ステップ(工程)及びステップの順序等は、一例であって本発明を限定するものではない。以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意に付加可能な構成要素である。また、各図は、模式図であり、必ずしも厳密に図示されたものではない。
(実施の形態1)
以下、本発明の実施の一態様として、表示制御方法を実現する表示制御システムについて図面を用いて説明する。
(構成)
図1は、実施の形態1に係る表示制御システム10の全体構成を示す図である。
表示制御システム10は、情報を示すデータに基づいて情報を表す表示要素を表示し、ユーザが注目すべき情報を表す表示要素を強調するように表示の制御を行う表示制御方法を実現するためのシステムである。図1に示すように表示制御システム10は、ネットワーク11を介して相互に通信可能な表示制御装置100及びサーバ装置200を備える。ネットワーク11は例えばインターネット等の広域通信網を含み得るが、ローカルネットワーク(LAN)等であってもよい。
表示制御装置100は、例えばパーソナルコンピュータ、タブレット、スマートフォンその他のコンピュータ(情報処理装置)である。表示制御装置10は、ハードウェア構成として図1に示すように、プロセッサ(マイクロプロセッサ)101、メモリ102、通信インタフェース(I/F)103、ディスプレイ104、カメラ105及び入力装置106を備える。
メモリ102は、プログラム及びデータを予め保持しているROM、プログラムの実行に際してデータ等の記憶に利用するためのRAM等であり、例えば不揮発性メモリを含んでいてもよい。プロセッサ101は、メモリ102に格納された制御プログラム等を実行することにより例えば通信I/F103、ディスプレイ104、カメラ105等の各部を制御して各種処理を行う。通信I/F103は、無線又は有線で、ネットワーク11を介してサーバ装置200と通信するための通信回路である。ディスプレイ104は、例えば液晶ディスプレイ等、表示要素を画面(表示面)に表示する装置である。表示要素は、何らかの情報を表す図形、文字、写真、図表その他の画像データ等の所謂表示オブジェクトである。カメラ105は、ディスプレイ104を見る人(ユーザ)の視線を検出するために撮影を行うセンサである。図2にディスプレイ104とカメラ105との配置の一例を示す。カメラ105は、ディスプレイ104の画面(表示面)に向かう人を撮影可能に配置される。カメラ105は、例えば赤外線LED(Light Emitting Diode)を含み、赤外光をユーザに照射して、ユーザの目の角膜で反射した反射光の位置とユーザの瞳孔の位置とを含む画像を赤外線イメージセンサで撮影する。表示制御装置100は、視線検知機構を備え、この視線検知機構が、カメラ105での撮影結果から、例えば角膜の反射光の位置と瞳孔の位置とからユーザの視線を検知し、検知結果として視線を表す視線情報を生成する。入力装置106は、キーボード、ポインティングデバイス、タッチパネル等のユーザの操作を受け付ける装置である。表示制御装置100は、メモリ102の他にデータの記憶に利用するためにハードディスク装置等の補助記憶装置を備えてもよい。
表示制御装置100は、例えば、プロセッサ101により、オペレーティングシステム及びアプリケーションプログラムを実行することで、文書の表示及び編集の機能、ウェブブラウザとしての機能等といった各種機能を実行する。そして、アプリケーションプログラム等が、文書の表示等の機能を実行するに際して、情報を示すデータ(文書等)を、予め定められた所定規則(データフォーマット種別、文字コード表、ウェブページ記述言語の仕様等)に基づいて解釈することで、画面(表示面)に表示されるべき表示要素を特定し得る。
サーバ装置200は、表示制御装置100と連携して処理を行い得るコンピュータであり、例えば、プロセッサ、メモリ、通信I/F等を備える。サーバ装置200は、例えば、メールサーバ機能或いはウェブサーバ機能を備える。サーバ装置200は、ウェブサーバ機能を備える場合に、ウェブページを管理し、ブラウザとしての機能を有する表示制御装置100からの要求に応じてウェブページに係るデータを送信する。サーバ装置200は更に、各ウェブページについて各ブラウザからのアクセス回数(データの要求回数)を管理し、表示制御装置100からの要求に応じてそのアクセス回数を表示制御装置100に送信する機能を有する。
以下、図3を用いて表示制御装置100の機能構成要素について説明する。図3は、表示制御装置100の機能ブロック図である。
表示制御装置100は、機能面における構成要素として図3に示すように、記憶部110、表示制御部120、視線情報取得部130、強調対象特定部140及び通信部150を備える。
記憶部110は、メモリ102の一領域等で実現され、1以上の情報を表示するために用いられるデータを記憶する機能を有し、例えば通信部150がサーバ装置200から取得したデータ等を記憶する。データで示される情報は、何らかの意味、概念等を表すものであり、表示制御装置100によりそのデータに基づいてその情報を表す表示要素が表示面に表示されることで、ユーザの視覚により把握される。1以上の情報を示すデータには、例えば、ウェブページに関してHTML(HyperText Markup Language)で記述された
HTML文書、文字列等の表示及び編集のためのワードプロセッサ等の特定アプリケーションプログラム用の文書ファイル、メール、地図データ、デジタル書籍等、様々なものがある。本実施の形態においては情報を示すデータの一例として、主にHTML文書を取り上げて説明する。
表示制御部120は、記憶部110に記憶されたデータに基づいて画面に表示要素を表示するよう制御し、強調対象特定部140により特定された表示要素を強調して表示するように表示制御を行う機能を有する。表示制御部120は、制御プログラムを実行するプロセッサ101、ディスプレイ104等により実現される。
表示制御部120による表示制御は、表示面(ディスプレイ104の画面)へ表示要素を特定の表示態様で表示する制御である。例えば、強調しないで表示した場合よりも強調して表示した場合の方が表示要素は、目立つ。1つ以上の文字からなる文字列である表示要素については例えば次のようになる。即ち、表示制御部120は、強調対象特定部140により特定された表示要素(つまり強調対象の表示要素)を強調するように、その表示要素を、予め定められた通常サイズの文字フォントより、相対的に大きなサイズの文字フォント等といった目立つ第1表示態様で表示し、更に、強調対象特定部140により特定されなかった表示要素(例えば強調対象の周囲の表示要素等)を、第1表示態様より目立たない通常サイズの文字フォント等といった第2表示態様で表示する。この場合に、第1表示態様として、例えば高解像度で表示するのであれば、第2表示態様としては低解像度で表示することとしてもよい。強調対象は、強調候補の表示要素(つまり注目されるべき表示要素)のうち、ユーザの視線と所定の位置関係を満たす表示要素である。
視線情報取得部130は、カメラ105での撮影結果からユーザの視線を検知してユーザの視線に関する視線情報を生成する表示制御装置100内の視線検知機構から、その視線情報を取得する機能を有する。視線情報は、例えば、表示面(ディスプレイ104の画面)とユーザの眼の位置関係及びユーザの視線の方向を示し、或いは、表示面におけるユーザの視点を示す。視線情報取得部130は、ユーザの視線に関する視線情報に基づいて表示面におけるユーザの視点の位置を検出する。即ち、視線情報取得部130は、例えば視線検知機構が表示面上の視点を算定して視線情報に含めていれば、その視点を得る。また、例えば視線検知機構が生成する視線情報が、表示面とユーザの眼の位置関係及びユーザの視線の方向を示すものであれば、視線情報に基づいて計算により視点を得る。視線情報取得部130は、制御プログラムを実行するプロセッサ101等により実現される。
強調対象特定部140は、ユーザが注目すべき情報を表す、強調すべき表示要素を特定する機能を有する。即ち、強調対象特定部140は、視線情報取得部130により取得された視線情報等を参照することで、表示制御部120がデータに基づいて表示する表示要素のうち、ユーザの視線と所定の位置関係を満たす表示要素であり、かつ、強調候補としての所定要件を満たす表示要素を特定する機能を有する。この特定される表示要素は、表示制御部120によって既に表示されているものに限らず、ユーザの操作等に応じて表示制御部120によりこれから表示されようとするものであってもよい。強調候補でない表示要素は強調表示の対象にはならない。強調候補としての所定要件は、ユーザの視線との位置関係とは拘わりのない要件であり、例えば重要情報を表す表示要素を規定する要件である。例えば、通信部150がサーバ装置200から取得したHTML文書等のデータに基づくウェブページの表示においては、HTML文書等の作成者等が、ある表示要素が強調候補であるか否かについて識別する情報(強調候補のタグ等)をデータ中に含めていてもよい。この場合に、強調候補のタグにより強調候補と定められた表示要素が、強調候補としての所定要件を満たす表示要素となる。ユーザの視線と所定の位置関係を満たす表示要素は、例えば、表示面におけるユーザの視点の位置の検出結果との位置関係が所定の位置関係(例えば視点を含む一定サイズの矩形領域内、視点を中心とした一定半径の円内等)である表示要素である。
強調対象特定部140は、制御プログラムを実行するプロセッサ101、通信I/F103等により実現される。強調対象特定部140は、ユーザが注目すべき情報を表す強調すべき表示要素を特定する上述の機能のために、一例としての機能構成要素として、強調候補判別部141及び位置範囲決定部142を有する。
強調候補判別部141は、強調候補としての所定要件を満たす表示要素を判別する機能を担う。強調候補判別部141は、強調候補としての所定要件を満たす表示要素か否かを、重要情報指定要素により指定される重要情報を表すか否かに基づいて判別する。ここで、重要情報指定要素は、ユーザに注目されるべき情報を指定するデータであり、例えば重要情報を指定するタグである。ここでは、説明の便宜上、ウェブページを記述するHTMLに、注目すべき情報(重要情報)を指定するタグとしてimportantタグを新たに追加した例を用いて説明する。importantタグは、指定する重要情報を要素とし、指定する表示態様(太字、色指定、サイズ指定、その他のスタイル等)を属性とするタグである。強調候補判別部141は、HTML文書におけるimportantタグで指定される重要情報を表す表示要素を、強調候補としての所定要件を満たす表示要素として判別する。なお、表示制御部120は、importantタグの属性により強調時の表示態様を特定し得る。
強調候補判別部141は、更に、HTML文書におけるリンク情報を表す表示要素、つまりAタグ(アンカータグ)で示される情報に係る表示要素については、強調候補としての所定要件を満たすか否かを、その表示要素が表すリンク情報により関連付けられた他の文書(外部文書)の閲覧数に基づいて判別する。具体的には、例えば、強調候補判別部141は、Aタグで示されるURI(Uniform Resource Identifier)が指すHTML文書に係るウェブページへのアクセス回数をサーバ装置200から取得してそのアクセス回数(つまりそのウェブページに係るHTML文書の閲覧数)が所定閾値(例えば1万回)を超えている場合にAタグに係る表示要素が所定要件を満たすと判別し、所定閾値を超えていなければ、その表示要素が所定要件を満たさないと判別する。例えば、HTML文書で定義されるウェブページの表示要素としての広告バナー(広告主のウェブページへリンクするリンク情報に係る画像)については、強調候補判別部141は、閲覧数が所定閾値を超えているウェブページ(ウェブサイト)へリンクする広告バナーを、強調候補としての所定要件を満たすものであると判別する。
位置範囲決定部142は、ユーザの視点の位置の検出結果に基づいてユーザの視線(視点)と所定の位置関係を満たす表示要素を特定する機能を担う。即ち、位置範囲決定部142は、表示面(ディスプレイ104の画面)におけるユーザの視点の位置に基づいて位置範囲を決定し、強調候補としての所定要件を満たす表示要素のうちその位置範囲内の表示要素を特定する。位置範囲は、強調対象の表示要素を表示位置に関する条件で限定するために用いられる領域である。なお、視点の位置に基づいて位置範囲を決定する手順はいかなる手順でもよく、範囲の大きさ及び形状を先に決定してからその範囲の位置を決定してもよいし、一括して位置範囲(形状、大きさ及び位置)を決定してもよい。位置範囲決定部142は、例えば視点を中心とした一定サイズ(例えば幅10cm高さ3cm等)の矩形領域として位置範囲を決定する。
通信部150は、制御プログラムを実行するプロセッサ101、通信I/F103等により実現され、ネットワーク11を介してサーバ装置200からデータ(HTML文書等)を受信して記憶部110に格納する機能を有する。
(動作)
以下、上述の構成を備える表示制御システム10の動作例について説明する。
図4は、表示制御装置100の実行する表示制御処理の一例を示すフローチャートである。以下、同図に即して表示制御装置100の動作を説明する。
表示制御装置100は、入力装置106により受け付けられるユーザによる操作等に応じてブラウザ機能を実行し、通信部150によりサーバ装置200からデータ(ウェブページを記述したHTML文書)を受信して記憶部110に格納する(ステップS11)。
表示制御部120は、記憶部110に格納されたデータ(HTML文書)を解釈してそのHTML文書に基づき、ディスプレイ104の画面に表示要素を表示する(ステップS12)。表示制御部120は、HTML文書が示す各情報を表す各表示要素の表示面での配置(レイアウト)を決定して表示する。表示制御部120は、各表示要素の位置、スタイル等については、予め定めているデフォルト値に、HTML文書において各表示要素の配置を特定するための値の記述が含まれていればその値を反映することで、特定する。ステップS12での表示により、ユーザは、ディスプレイ104の画面に表示された、複数の表示要素の集合としてのウェブページを閲覧できる。
視線情報取得部130は、表示制御装置100における視線検知機構から視線情報を取得し、表示面におけるユーザの視点を検出する(ステップS13)。
続いて位置範囲決定部142は、検出されたユーザの視点の位置に応じて、強調対象を限定するための位置範囲を決定する(ステップS14)。位置範囲決定部142は、例えば、画面上でユーザが見ている部分である視点を中心として一定サイズの矩形の範囲をその位置範囲として決定する。
次に、強調対象特定部140は、位置範囲内の表示要素のうち、強調候補判別処理(後述)により強調候補としての所定要件を満たす表示要素を強調候補判別部141で判別する。これにより、強調対象となる表示要素(つまりその位置範囲内で強調候補の表示要素)を特定する(ステップS15)。
そして、表示制御部120は、強調対象特定部140により特定された表示要素を強調するようにデータに基づき表示要素の表示態様を定めて表示する(ステップS16)。これにより、例えば、強調対象特定部140により特定された表示要素(強調対象の表示要素)が目立つ第1表示態様で表示され、強調対象特定部140により特定されていない表示要素が目立たない第2表示態様で表示される。ステップS13〜S16は繰り返され、この結果として、ユーザの視点の移動に応じて強調対象が変化するため、強調して表示される表示要素が切り替わるようになる。なお、表示制御部120は、ステップS12での表示(初期表示)においてはディスプレイ104の画面に表示する全ての表示要素を第2表示態様で表示しておき、ステップS16で、強調対象の表示要素のみを第1表示態様に変更して表示することとし、一旦強調対象とされた表示要素が強調対象から外された時点で第2表示態様に変更して表示してもよい。
以下、上述のステップS15での強調候補の判別の具体例について、図5に即して説明する。図5は、強調候補を判別するための強調候補判別処理の一例を示すフローチャートである。
まず、強調候補判別部141は、ステップS14で決定された位置範囲内に表示される未着目の表示要素に着目する(ステップS21)。
強調候補判別部141は、着目した表示要素が、HTML文書において重要情報を表すimportantタグで指定された要素であるかを判定する(ステップS22)。強調候補判別部141は、着目した表示要素が、importantタグで指定された要素であれば、強調候補としての所定要件を満たすものとして、その表示要素が強調候補であると判別する(ステップS23)。
強調候補判別部141は、着目した表示要素が、importantタグで指定された要素でなければ、Aタグで指定されたリンク情報を表すものであってそのリンク先のウェブページのアクセス回数(つまり閲覧数)が所定閾値(例えば1万回)を超えているか否かを判定する(ステップS24)。強調候補判別部141は、着目した表示要素が、Aタグで指定されたリンク情報を表し、かつリンク先のウェブページのアクセス回数が所定閾値を超えている場合には、強調候補としての所定要件を満たすものとして、その表示要素が強調候補であると判別する(ステップS23)。強調候補判別部141は、リンク先のウェブページのアクセス回数については、サーバ装置200に要求することで取得する。なお、強調候補判別部141は、着目した表示要素が、importantタグで指定された要素でなく、Aタグで指定されたリンク情報を表し、かつそのリンク先のウェブページのアクセス回数が所定閾値を超えているものでない場合には、その表示要素は強調候補でないと扱う。
強調候補判別部141は、ステップS14で決定された位置範囲内に表示される未着目の表示要素が残っている限り、ステップS21に戻って未着目の表示要素に着目してステップS22での判定等を繰り返す(ステップS25)。
この強調候補判別処理により、位置範囲内における強調候補としての所定要件を満たす表示要素が判別され、ステップS15において強調対象の表示要素として特定される。
以下、上述のステップS16での表示要素の強調の具体例について、図6に即して説明する。図6は、強調対象の表示要素を強調するための強調処理の一例を示すフローチャートである。
表示制御部120は、ステップS15で強調対象と特定されていない表示要素(強調対象でない表示要素)についてHTML文書において表示態様の指定があるか否かを判別する(ステップS31)。表示態様の指定があれば、強調対象でない表示要素を、指定された表示態様にし(ステップS32)、表示態様の指定がなければ予め定められた基本的な値(デフォルト値)に対応する表示態様にする(ステップS33)。なお、ステップS31ではHTML文書での定義に基づいて関連するスタイルシート等があれば参照して、表示態様の指定があるか否かを判別する。また、表示制御部120は、HTML文書において表示要素の表示態様のうち一部の項目だけについて指定がなされていれば他の項目についてはデフォルト値を適用することで、表示に際しての表示態様を定める。
また、表示制御部120は、ステップS15で強調対象と特定された表示要素(強調対象の表示要素)についてHTML文書において強調時の表示態様の指定があるか否かを判別する(ステップS34)。上述したimportantタグは、強調時の表示態様を属性として定められ、その属性がステップS34での判別に用いられる。表示制御部120は、強調時の表示態様の指定があれば、強調対象の表示要素を、指定された表示態様にする(ステップS35)。そして、強調時の表示態様の指定がなければ予め定められた強調時のデフォルト値(例えば非強調時の基本的な値の150%に拡大するような値)に対応する表示態様にする(ステップS36)。
表示制御部120がこの強調処理を行うことで、ステップS16では、ユーザに注目されるべき強調対象の表示要素が、強調対象でない表示要素よりも目立つ表示態様で表示面(ディスプレイ104の画面)に表示されるようになる。
以下、図7及び図8を用いて表示制御装置100による表示例を示す。
図7は、表示制御装置100がサーバ装置200から受信したデータ(HTML文書)の一例を示す図である。
このHTML文書においては、importantタグにより、「特別条件:LMN・・・」という情報を示す文字列を表す表示要素が、ユーザに注目されるべき情報(重要情報)として、作成者等によって定められている。そして、view−style属性は、「特別条件:LMN・・・」という情報を示す文字列を表す表示要素についての強調時の表示態様を定める記述の一例として規定したものである。このview−style属性により、「特別条件:LMN・・・」という情報を示す文字列を表す表示要素は、強調時には基本的なサイズ(デフォルト値)の200%の拡大サイズの文字フォントが用いられ、下線が付されることが定められている。
また、このHTML文書においては、「ABCシステム仕様へのリンク」、「xxx関連商品サイトへのリンク」等のリンク情報が示されている。
図7に示したHTML文書に基づいて、ブラウザとして機能する場合の表示制御装置100がディスプレイ104に表示する画面(表示面)の、ユーザの視点の変化に応じた画面遷移を図8に示す。
画面21aは、ユーザの視線20aの先の視点19aが画面の右上端付近にある場合の画面の状態を示している。ここで、説明の便宜上、表示制御装置100は、表示制御処理(図4)のステップS14で、ユーザの視点19aを中心とした、画面21aに表示された文字列の2行分に相当する高さを有する一定サイズの矩形領域を位置範囲として決定するものとする。この視点19aを中心としたその位置範囲内に、強調候補としての所定要件を満たす表示要素は存在しない(図7参照)。このため、例えば「特別条件:LMN・・・」という情報を示す文字列を表す表示要素22a、「ABCシステム仕様へのリンク」というリンク情報を表す表示要素23a、「xxx関連商品サイトへのリンク」というリンク情報を表す表示要素24a等は、いずれも通常サイズの基本的な値(デフォルト値)に対応する表示態様で表示されている。つまり、画面21aの各表示要素(例えば各行の文字列等)は強調表示されていない。
画面21bは、画面21aの状態からユーザの視線が少し右下に下がり(1行分程度降り)、ユーザの視線20bの先の視点19bが「特別条件:LMN・・・」という情報を示す文字列を表す表示要素22bに近づいた場合の画面の状態を示している。なお、表示要素22bは、画面21aにおける表示要素22aの表示態様が変化したものである。視点19bを中心とした上述の一定サイズの矩形領域である位置範囲に、importantタグで示されており強調候補としての所定要件を満たす表示要素22bが存在する。このため、表示要素22bは、強調対象として特定され(ステップS22、S23)、view−style属性に基づいて200%の拡大サイズで表示される(ステップS35)。
画面21cは、画面21bの状態からユーザの視線がかなり下に下がり、ユーザの視線20cの先の視点19cが、「ABCシステム仕様へのリンク」、「xxx関連商品サイトへのリンク」等のリンク情報の間に移動した場合の画面の状態を示している。なお、表示要素24bは、画面21a及び画面21bにおける表示要素24aの表示態様が変化したものである。視点19cを中心とした上述の一定サイズの矩形領域である位置範囲に、Aタグで示されたリンク情報を表す表示要素23aと表示要素24bとがある。ここでは説明の便宜上、表示要素24bが表すリンク情報のリンク先のウェブページのアクセス回数が所定閾値を超えており、表示要素23aが表すリンク情報のリンク先のウェブページのアクセス回数が所定閾値を超えていないものとする。このため表示要素23aと表示要素24bとのうち、表示要素24bのみが強調候補としての所定要件を満たし、強調対象として特定され(ステップS24、S23)、通常サイズの150%の拡大サイズで表示される(ステップS36)。
ユーザの視線が移動した場合に視線との位置関係によって何らかの表示要素が常に強調されるのでは、特定の情報をユーザに注目すべきとして認識させることができない。これに対して、表示制御システム10では上述のように、ユーザの視線と一定の位置関係を有し、かつユーザに注目されるべき情報を表す表示要素が強調されるため、ユーザは注目されるべき情報について認識し易くなり、その情報の見落としが低減される。
(実施の形態2)
以下、実施の形態1で示した表示制御システム10の強調候補判別部141の一部を変形した実施の形態2について説明する。実施の形態2では、強調候補判別部141の具体的な動作が実施の形態1とは異なるが、表示制御システム10の装置構成、各装置のハードウェア構成及び機能構成は実施の形態1と概ね同様であるため、ここでは、各装置及び各構成要素について実施の形態1と同様の符号を用いて説明する。実施の形態2に係る表示制御システム10は、特に説明しない点については実施の形態1と同様である。例えば、本実施の形態における表示制御装置100も、図4に示す表示制御処理を実行する。
本実施の形態では、表示制御装置100における通信部150が、メールサーバ機能を備えるサーバ装置200から受信して記憶部110に格納するデータが、メール(電子メール)である例を挙げて説明する。メールは、例えばHTML形式であればHTMLに従って記述されたデータにより、メールで示される情報を表す表示要素(文字等)の内容が定められ、また、表示態様が定められ得る。また、例えばテキスト形式であれば、文字コード列によりメールで示される情報を表す表示要素(文字等)の内容が定められる。
本実施の形態では、表示制御装置100における強調候補判別部141は、データ(メール)に基づいて表示される表示要素が、強調候補としての所定要件を満たす表示要素か否かを、ユーザの状況及び強調候補識別用情報に基づいて判別する。図9に強調候補識別用情報の一例を示す。強調候補識別用情報は、強調候補の表示要素を識別するための識別子を含み、識別子と優先度とを対応付けた情報である。ここでは、優先度は数値が小さい程、より優先的に注目されるべき表示要素を指すものとして説明する。図9の例では、最も高い優先度(優先度1)の表示要素は、隅付き括弧で囲まれた表示要素である。次に高い優先度(優先度2)の表示要素は、角括弧(ブラケット)で囲まれた表示要素である。ユーザの状況は、例えば、ユーザが、表示される情報を急いで閲覧しなければならない状態(つまり急いでいる状態)か否か等である。例えば、ユーザが、急いでいる状態か否かを示す情報を表示制御装置100に入力することで、表示制御装置100はユーザの状況を参照できるようになる。また、表示制御装置100が、ユーザの視線の移動速度、ユーザの操作速度(例えば画面のスクロールを指示する操作速度等)等から、ユーザが急いでいる状態か否かというユーザの状況を検出することとしてもよい。また、ユーザの外出その他の予定を示すスケジュール情報が表示制御装置100に入力されている場合において、表示制御装置100はそのスケジュール情報を参照することにより、ユーザが急いでいる状態か否かを検出してもよい。例えば外出予定まで所定時間(例えば数分)以内であれば表示制御システムは、ユーザが急いでいる状態であると検出し得る。急いでいる状態において、急いでいる度合いについて、例えば、高、中、低等と区別してもよい。
また、本実施の形態における表示制御部120は、メールにおける強調対象の表示要素(文字等)の表示態様を、その表示要素が強調対象でない場合或いは強調対象でない他の表示要素の表示態様に対して相対的に目立つように150%に拡大して表示する。
以下、本実施の形態における強調候補判別部141による、強調候補の判別(図4、ステップS15参照)の具体例について、図10に即して説明する。図10は、実施の形態2に係る強調候補判別処理の一例を示すフローチャートである。
まず、強調候補判別部141は、位置範囲決定部142により、図4のステップS14で位置範囲が決定された後において、ユーザの状況に応じて指定優先度を特定する(ステップS42)。具体的には、強調候補判別部141は例えばユーザが急いでいる状態であるか否か、或いは、急いでいる程度に応じて、指定優先度を特定する。ここでは、ユーザが急いでいる状態であれば指定優先度として、優先度の最も高い優先度1を指す値を特定し、急いでいない状態であれば指定優先度として、優先度の次に高い優先度2を指す値を特定するものとする。
続いて、強調候補判別部141は、ステップS14で決定された位置範囲内において、ステップS42で特定した指定優先度以上の強調候補識別子が付された表示要素を検索する(ステップS42)。例えば、ユーザが急いでいる状態であれば、指定優先度以上は優先度の最も高い優先度1のみとなり、強調候補判別部141は、優先度1に対応した強調候補識別子である隅付き括弧で囲まれた表示要素を検索する。また、例えば、ユーザが急いでいない状態であれば、指定優先度以上は優先度2以上のため、強調候補判別部141は、優先度1又は優先度2に対応した強調候補識別子である隅付き括弧又は角括弧で囲まれた表示要素を検索する。
強調候補判別部141は、ステップS42での検索の結果として、強調候補識別子が付された表示要素(つまり強調候補識別子で囲まれた表示要素)が検出された場合に限り(ステップS43)、検出された表示要素を強調候補と判別する(ステップS44)。即ち、ステップS42での検索の結果として、検出がなされなかった場合には、ステップS14で決定された位置範囲内のいずれの表示要素も強調候補ではないことになる。
ユーザの状況に応じてユーザが注目すべき情報は変化するため、上述の強調候補判別処理(図10)を行う表示制御装置100では、ユーザの視線及びユーザの状況に応じて、強調して表示される表示要素を変動させる。
以下、図11を用いて本実施の形態に係る表示制御装置100による表示例を示す。
表示制御装置100がメールに基づいてディスプレイ104に表示する画面(表示面)の、ユーザの視点の変化に応じた画面遷移を図11に示す。同図の例においてメールの送信者は、メール中の受信者(ユーザ)に注目させたい部分に強調候補識別子(隅付き括弧等)を付している。
画面31aは、ユーザの視線30aの先の視点が画面の最上行付近にある場合の画面の状態を示している。ここでは、説明の便宜上、視線30aの先の視点の位置は画面の上下方向(垂直方向)の位置で示されるものとし、表示制御装置100は、表示制御処理(図4)のステップS14で、ユーザの視点の位置を含む概ね2行分の文字列に相当する程度の高さを有する矩形領域を位置範囲として決定するものとする。また、前提として、ユーザが急いでいない状態であると検出されていることとする。画面31aでは、ユーザの視点を含む2行分程度の位置範囲に、隅付き括弧又は角括弧で囲まれた表示要素が含まれていない。このため、表示要素(文字列)32a、33a等を含むメールの内容を表す各文字列(各表示要素)は全て強調されておらず、通常サイズで表示されている。
画面31bは、画面31aの状態からユーザの視線が下に下がり、ユーザの視線30bの先の視点が隅付き括弧で囲まれた「重要:ABCシステムが更新されます。」という表示要素32bの少しだけ上に位置した場合の画面の状態を示している。なお、表示要素32bは、画面31aにおける表示要素32aの表示態様が変化したものである。これは、強調候補判別部141による強調候補判別処理(図10)により、ユーザが急いでいない状態であるため、ユーザの視点を含む位置範囲において、優先度1又は優先度2の強調候補識別子で囲まれた文字列が検索され(ステップS41〜S43)、検出された表示要素32bが強調候補と判別(ステップS44)され、表示制御部120により強調された結果である。このような強調による表示態様の変化について、ここでHTML形式のメールを例にして説明する。この表示態様の変化は、例えば表示に用いるHTMLファイルに表示態様を変化させるためのタグを挿入するようにして改変することにより実現することができる。例えば、隅付き括弧、角括弧で囲まれた文字列を表示する場合にはその文字列を拡大する、といったテーブルを表示制御システム10が保持し、視線が近辺に入るとそのテーブルの情報をもとに、表示に用いるHTMLファイルに強調表示のタグを挿入することができる。
画面31cは、画面31bの状態からユーザの視線が更に下に下がり、ユーザの視線30cの先の視点が、角括弧で囲まれた「要件:7月1日からAモジュールのバージョン12aを利用してください。」という表示要素33bの少しだけ上に位置した場合の画面の状態を示している。なお、表示要素33bは、画面31a及び画面31bにおける表示要素33aの表示態様が変化し、強調されたものである。この表示態様の変化も上述したように、例えば表示に用いるHTMLファイルに表示態様を変化させるためのタグを挿入するようにして改変することにより実現することができる。また、画面31cにおいては、画面31bにおける表示要素32bから、強調されなくなった(通常サイズに戻った)表示要素32aが表示されている。もし、ユーザが急いでいることが検出されていた場合であれば、優先度2に対応した強調候補識別子(角括弧)は検索されないので(ステップS41、S42)、画面31cには、表示要素33bの代わりに表示要素33aが表示されることになる。
このように、本実施の形態における表示制御システム10では、表示制御装置100が、強調候補識別子が付された表示要素をユーザの視線との位置関係及びユーザの状況に応じて強調した表示態様で表示するか強調しない表示態様で表示するかを切り替える。
(実施の形態3)
以下、実施の形態1で示した表示制御システム10の表示制御装置100の一部を変形した実施の形態3について説明する。
(構成)
図12は、実施の形態3に係る表示制御装置100aの機能ブロック図である。表示制御装置100aは、実施の形態1に係る表示制御装置100の一部を変形したものである。
表示制御装置100aは、機能面における構成要素として図12に示すように、記憶部110a、表示制御部120、視線情報取得部130、強調対象特定部140a、通信部150及び属性情報取得部160を備える。強調対象特定部140aは、強調候補判別部141を変形した強調候補判別部141a、及び、位置範囲決定部142を変形した位置範囲決定部142aを有する。表示制御装置100aの構成要素のうち実施の形態1で示した表示制御装置100の構成要素と同一のものについては、同じ符号を付しており、適宜説明を省略する。表示制御装置100aのハードウェア構成は、表示制御装置100と同一であり、表示制御装置100aは視線検知機構を備える。また、表示制御装置100aは、ここで説明しない点については表示制御装置100と同様である。
記憶部110aは、メモリ102の一領域等で実現され、実施の形態1で示した記憶部110と同様の機能を有する。記憶部110aは、更に、ユーザの属性を示す属性情報、及び、ユーザの視点に基づいて位置範囲の大きさを決定するために用いられる範囲決定用テーブルを記憶する機能を有する。
図13に属性情報の一例を示す。同図に示すように、ユーザについての属性情報は、例えば性別、年代、年齢、趣味、住所等の情報である。属性情報は、例えばユーザにより入力装置106に入力され、記憶部110aに格納される。
図14は、範囲決定用テーブルの一例を示す図である。同図の例では、範囲決定用テーブルは、ユーザの視力、年代及び性別についての各種の組み合わせパターンと、位置範囲の大きさとを対応付けて構成されている。この範囲決定用テーブルは、位置範囲決定部142aにより参照される。範囲決定用テーブルは、位置範囲の大きさを、例えば、ユーザの視野の大きさにある程度比例させるべく、実験等に基づいて設計されてもよく、例えばユーザの視力、年代、年齢、性別等の属性を用いて位置範囲の大きさが特定されるように構成され得る。図14の例では、範囲決定用テーブルにおいて位置範囲の大きさは、「最大」、「大」、「中」、「小」及び「最小」の5段階で表しているが、より具体的なサイズを表すようにしてもよい。
強調対象特定部140aは、視線情報取得部130により取得された視線情報等を参照することで、表示制御部120がデータに基づいて表示する表示要素のうち、ユーザの視線と所定の位置関係を満たす所定の位置範囲における表示要素であり、かつ、強調候補としての所定要件を満たす表示要素を特定する機能を有する。所定の位置範囲は、ユーザの属性及びユーザの状況に基づいて定められた大きさの位置範囲である。即ち、強調対象特定部140aは、ユーザが注目すべき情報を表す強調すべき表示要素を特定する機能を有する。強調対象特定部140aは、制御プログラムを実行するプロセッサ101、通信I/F103等により実現される。
強調候補判別部141aは、強調候補としての所定要件を満たす表示要素を判別する機能を担う。強調候補判別部141aは、データに基づいて表示する表示要素について、強調候補としての所定要件を満たす表示要素か否かを、データの内容に関する情報に基づいて、ユーザの属性に応じてデータの内容を解析することで判別する。例えば、一般に同じ属性を有する人において重要となるキーワード等を予め登録した辞書を利用することで、文書等のデータにおける重要なキーワードを表す表示要素を強調候補としての所定要件を満たす表示要素と判別し得る。強調候補判別部141aは、属性情報(図13参照)が示すユーザの属性としての趣味がサッカーであれば、サッカーが趣味の人において重要となるキーワード(サッカー、ゴールキーパー、オフサイド等)を登録した辞書を用いて、データを解析することで、強調候補としての表示要素か否かの判別を行う。また、ユーザの属性としての住所が、A市B町であれば、その場所に関する情報、例えばその市町村名(A市、B町)の記述を含む情報(地名、店舗案内、イベントの開催場所の情報等)を表す表示要素が強調候補としての所定要件を満たすと判別し得る。
位置範囲決定部142aは、位置範囲の大きさを決定し、ユーザの視点の位置の検出結果に基づいてユーザの視線(視点)と所定の位置関係を満たす位置範囲内の表示要素を特定する機能を担う。位置範囲決定部142aは、記憶部110aに記憶されている範囲決定用テーブルを用いて、表示制御装置100aによりデータに基づいて表示面に表示される、強調候補としての所定要件を満たす表示要素のうちで、ユーザの視線と所定の位置関係を満たす位置範囲内のものを強調して表示するための位置範囲の大きさを決定する。
(動作)
以下、上述の構成を備える表示制御装置100aの動作例について説明する。
図15は、表示制御装置100aの実行する表示制御処理の一例を示すフローチャートである。以下、同図に即して表示制御装置100aの動作を説明する。
表示制御装置100aは、入力装置106により入力されるユーザの属性に基づいて属性情報を記憶部110aに格納する(ステップS51)。なお、表示制御装置100aに対して属性情報は何らかの方法で少なくとも1度与えられればよく、データに基づく表示の度に入力される必要はない。
表示制御装置100aは、入力装置106により受け付けられるユーザによる操作等に応じて、通信部150によりサーバ装置200からデータを受信して記憶部110aに格納する(ステップS52)。データは、例えば、ウェブページに係るHTML文書、メール、ワードプロセッサ等のアプリケーションプログラム用の文書等である。
表示制御部120は、記憶部110aに格納された、情報を示すデータに基づいて、ディスプレイ104の画面に、情報を表す表示要素を表示する(ステップS53)。表示制御部120は、各表示要素の表示態様を、予め定めている通常サイズ等と特定して表示する。ステップS53での表示により、ユーザは、ディスプレイ104の画面に表示された、複数の表示要素で表された情報を視認し得る。
視線情報取得部130は、表示制御装置100aにおける視線検知機構から視線情報を取得し、表示面におけるユーザの視点を検出する(ステップS54)。
続いて位置範囲決定部142aは、属性情報及びユーザの状況に基づき位置範囲の大きさを決定して、ユーザの視点の位置に応じて、強調対象を限定するための位置範囲の位置を決定する(ステップS55)。位置範囲決定部142aは、例えば、ステップS51で記憶部110aに格納された属性情報(図13参照)に基づいて、範囲決定用テーブル(図14参照)から、位置範囲の大きさを特定する。そして、実施の形態2で示したようなユーザが急いでいる状態であるか否かといったユーザの状況に応じて、その特定した大きさを修正する。例えば、ユーザが急いでいる状態であれば急いでいない状態に比べて位置範囲が狭くなるように修正する。ユーザの状況は、例えば、ユーザによる画面の連続閲覧時間、視線の動く速度等から算定したユーザの疲労度であってもよく、ユーザの疲労が大きい場合には、位置範囲を比較的狭くなるように修正することとしてもよい。
次に、強調対象特定部140aは、位置範囲内の表示要素のうち、ユーザの属性情報に基づいて強調候補としての所定要件を満たす表示要素を判別して、位置範囲内の強調候補を強調対象として特定する(ステップS56)。
そして、表示制御部120は、強調対象特定部140aにより特定された表示要素を強調するようにデータに基づき表示要素の表示態様を定めて表示する(ステップS57)。このような強調するように表示要素の表示態様を定めて表示するため、例えばHTML文書(ファイル)に基づくウェブページの表示においては、ソースとなるHTMLファイルに表示態様を変化させるためのタグを挿入するようにして改変することにより強調等を実現することができる。例えば、ユーザ属性或いはユーザの状況に基づいて特定した表示要素に対して、予め強調の表示態様(例えば文字フォントのサイズ等)を定めたテーブルを表示制御システム10が保持し、視線が近辺に入るとそのテーブルの情報をもとに、ウェブページの表示に用いるHTMLファイルに強調表示のタグを挿入することで、強調した表示態様で表示することができる。これにより、例えば、強調対象特定部140aにより特定された表示要素(強調対象の表示要素)が目立つ第1表示態様(例えば第2表示態様よりも大きいサイズで拡大表示する態様等)で表示され、強調対象特定部140aにより特定されていない表示要素が目立たない第2表示態様で表示される。ステップS54〜S57は繰り返され、この結果として、ユーザの視点の移動に応じて強調対象が変化するため、強調して表示される表示要素が切り替わるようになる。なお、表示制御部120は、ステップS53での表示(初期表示)においてはディスプレイ104の画面に表示する全ての表示要素を第2表示態様で表示しておき、ステップS57で、強調対象の表示要素のみを第1表示態様に変更して表示することとし、一旦強調対象とされた表示要素が強調対象から外された時点で第2表示態様に変更して表示してもよい。
(他の実施の形態等)
以上のように、本発明に係る技術の例示として実施の形態1〜3を用いて説明した。しかしながら、上述の実施の形態は一例にすぎず、各種の変更、付加、省略等が可能であることは言うまでもない。
(1)上述した表示制御装置100、100aは視線検知機構を備えることとしたが、視線検知機構は、表示制御装置100の外部に存在してもよく、表示制御装置100、100aは、ユーザの視線に関する視線情報を取得できればよい。また、視線検知機構がユーザの視線或いは表示面におけるユーザの視点を検知する方法として、眼の赤外線撮影による方法の他、いかなる方法を用いてもよい。また、表示制御装置100は、視線検知機構から視線情報を得る代わりに、入力装置106であるポインティングデバイスが指す位置(カーソル、マウスポインタ等で指す位置等)を視点と看做して、ポインティングデバイスが指す位置の情報を、視線を示す視線情報として取得することとしてもよい。
(2)表示要素は、例えばディスプレイの画面である表示面に表示されることとしたが、プロジェクタによりスクリーン、壁等に投影される投影画面等の表示面に表示されるものであってもよい。この表示面は、平面であっても曲面であってもよい。また、表示要素は、2次元的に表示面に表示される他、空間への投影等により立体(3次元)的に表示されるものであってもよい。表示制御装置100等において強調対象として特定され得る表示要素は、ユーザの視線と所定の位置関係を満たす表示要素であるところ、例えば、空間においてユーザの視線(直線)から一定半径の円筒に含まれる表示要素等であってもよい。
(3)上述した表示制御装置100、100aはディスプレイ104を備えることとしたが、必ずしもディスプレイ104を備える必要はない。例えば、表示制御部120は、外部の表示装置(ディスプレイ等)に対して1以上の表示要素を含む画像表示用の映像信号を出力することでその表示装置での表示を制御することとしてもよい。表示制御システム10は、例えば、表示装置(ディスプレイ等)、表示装置上の表示を制御する表示制御装置、表示装置上の表示を制御するサーバ装置、表示制御装置の一部の機能を分担するサーバ装置等のうち1つ以上を含む形態をとり得る。
(4)実施の形態3では、範囲決定用テーブル(図14)を用いて位置範囲決定部142aにより位置範囲が決定されることとした。表示要素の表示の基礎となる情報を示すデータ(文書等)が、例えば、パラグラフ単位、3行等の行数単位、100画素等といった画素数単位等といった範囲の大きさについて指定する範囲指定要素を含むこととし、位置範囲決定部142aは、範囲決定用テーブルを用いる代わりに、この範囲指定要素に基づいて位置範囲を決定することとしてもよい。例えば図7のHTML文書における<view size>等といったタグにより例えば100画素四方の大きさ等といった範囲の大きさを示すこととしてもよい。この他、位置範囲決定部142aは、データが示す情報を表す1以上の表示要素の配置、サイズ等を示すレイアウト情報に基づいて位置範囲の決定を行うこととしてもよい。レイアウト情報において表示要素の配置は、例えば、画面における位置座標、或いは、1行あたりの文字数、行間隔等の情報で示され得る。このレイアウト情報は、表示要素を表示するための文書等のデータの一部として示されていてもよいし、別個に存在してもよい。位置範囲決定部142aは、例えば、レイアウト情報に基づいて、メール、文書等のデータにおける文字列の隙間が多い程、位置範囲を大きく決定することとしてもよい。
(5)上述したHTML文書、ワードプロセッサ等の特定アプリケーションプログラム用の文書ファイル、メール、地図データ、デジタル書籍等といった、情報を示すデータは、動画を示す動画情報(動画の再生領域を指定する情報)を含んでもよい。その動画の再生領域となる表示要素としての動画表示オブジェクトについて、表示制御部120は、強調を、その再生領域で動画を再生することにより行うこととしてもよい。具体例として、表示制御装置100、100aは、HTML文書に、<video src=“動画.mp4” poster=“1フレーム.jpg”></video>等の記述が含まれることに基づき表示される動画表示オブジェクトを強調するときには、動画.mp4を再生し、強調しないときには、1フレーム.jpgに係る静止画を表示するようにしてもよい。また、表示制御部120は、例えば、広告用の動画を表示するための再生領域を含み、非強調時において再生領域内に静止画で広告を表示している動画表示オブジェクトを、強調時に、再生領域内で広告用の動画を再生(例えば経時的に変化する動画の映像を表示)するように表示制御を行い得る。また、データは、情報を表示するための表示領域に係る領域情報を示すものであってもよい。この場合に、表示制御装置は、データに基づいて、領域情報を表す表示要素としての、表示領域を含む表示領域オブジェクトを、表示するよう制御し、表示制御部120は、表示領域オブジェクトの表示領域にユーザの属性情報に応じた情報を挿入することにより、その表示領域オブジェクトについての強調を行うこととしてもよい。表示領域オブジェクトは、例えば、広告バナー等の情報を表示する表示領域を含む一種の表示要素である。これにより、例えば、属性情報を趣味に係る属性とすると、ユーザの趣味に関連する情報が表示領域オブジェクトの表示領域に挿入され得る。このため、ユーザ毎に挿入される情報が異なり得る。この挿入される情報は、例えば表示制御システムが属性情報毎に対応付けて保有している情報のうちから、選定され得る。
(6)上述した表示制御装置100、100aにおける機能構成要素の機能分担は一例にすぎず、任意の分担が可能である。例えば、強調対象特定部140は、表示制御部120における表示制御の一部、つまり、強調対象を強調するためにその強調対象を特定する部分を分担するものとして構成されてもよく、表示制御部120に包含されていてもよい。
(7)上述した表示制御処理(図4参照)では、表示要素がユーザの視線と所定の位置関係に係る条件を満たすか否かの判定を、視点から一定範囲内の位置範囲を定めて、その位置範囲内に表示要素が含まれるか否かにより行う手順(ステップS14、S15)を示したが、各表示要素から一定範囲内の領域を定めて、その領域内に視点が含まれるか否かにより行ってもよい。
(8)上述の実施の形態1では、表示する情報を示すデータであるHTML文書にimportantタグを記述した例を示したが、このデータは、XML文書であってもよく、表示制御装置100は、XML文書に対応付けられたスタイルシートに基づいてXML文書に基づく表示要素の表示態様を特定するものであってもよい。また、HTML文書にリンク情報が示される例を示したが、リンク情報は、HTML文書の他、ワードプロセッサ等のアプリケーションプログラム用の文書等にも、他の文書(外部文書)へのアクセスのための情報として含まれ得る。このため、表示制御装置100では、例えば、ワードプロセッサ等のアプリケーションプログラムにおいてその外部文書が利用(閲覧)された回数を管理していてもよく、この回数に応じて、強調候補判別部141が、リンク情報に係る表示要素が所定要件を満たすか否かを判別することとしてもよい。
(9)上述した位置範囲決定部142は、ユーザの視点との関係で位置範囲を決定して位置範囲内の表示要素を特定することとしたが、範囲ではなくユーザの視線上にある表示要素を特定することとしてもよい。また、位置範囲決定部142は、ユーザの視点の位置に基づいて、ユーザの視点を含まない位置範囲を決定してもよい。また、位置範囲の形状は、矩形、円に限られず、多角形その他のいかなる形状であってもよい。
(10)上述したユーザの属性情報は、ユーザについて測定された情報(例えばユーザの現在地等)であってもよい。位置範囲決定部142aは、位置範囲の大きさについて、ユーザの属性情報と、ユーザが急いでいる状態か否か等といったユーザの状況との両方を用いて決定することとしたが、その一方だけを用いて決定することとしてもよい。また、強調候補判別部141aは、ユーザの属性情報に基づいて、データを解析して、各表示要素が強調候補としての所定要件を満たすか否かを判別することとしたが、強調候補としての所定要件を満たすか否かを、ユーザ属性を用いずに、データの内容に関する情報(例えば、データのジャンル、トピック等を示す情報)から判別してもよい。データがHTML文書の場合においては例えばタイトル、見出し等を示すタグに基づいて、ジャンル等を特定してもよい。例えば、ジャンル毎に注目されるべき情報項目等を対応付けた辞書を用いて、データが書評というジャンルに該当する場合に、書籍タイトル、著者名等を注目されるべき情報と選定し、書籍タイトル、著者名等を表す表示要素を強調候補としての所定要件を満たす表示要素と判別し得る。また、例えばデータがコンピュータプログラムというジャンルに該当する場合において、エラー箇所を表す表示要素を強調候補としての所定要件を満たす表示要素と判別し得る。また、強調候補判別部141、141aは、強調候補としての所定要件を満たす表示要素であるか否かについて、ユーザが過去に閲覧した文書に基づいて判別することとしてもよい。このために、表示制御装置100、100aは、ユーザが過去に閲覧した文書(例えばユーザがアクセスしたHTML文書等)についての記録(ログ情報)を記憶部等に蓄積してもよい。例えば、ユーザが過去に閲覧した文書の内容を参照することにより、その文書に所定数以上含まれる言葉を表す表示要素が、強調候補としての所定要件を満たすと判別することとしてもよい。また、例えば、キーワードを登録した辞書を用いて、ユーザが過去に閲覧した文書からキーワードを抽出し、その抽出したキーワードを表す表示要素が、強調候補としての所定要件を満たすと判別することとしてもよい。
(11)上述した表示制御部120は、強調対象の表示要素を第1表示態様(例えば第2表示態様よりサイズが大きい態様、下線が付された態様等)にし、強調対象でない表示要素を第2表示態様にして表示するよう表示制御を行うこととしたが、この第1表示態様は、第2表示態様に比べて目立つ態様であればよい。表示制御部120は、表示制御としての表示要素の強調を、例えば、その表示要素をカラーである第1表示態様で表示し、その表示要素以外の1以上の表示要素をモノクロである第2表示態様で表示することにより行い得る。カラーでの表示とは、表示要素の色として白色、灰色、黒色以外の色を含ませて表示することであり、モノクロでの表示とは、表示要素の色として白色、灰色、黒色の範囲内の色だけを用いて表示することである。なお、灰色は、特定の単色に限られず、例えば濃淡の異なる複数階調の各灰色を含み得る。具体的なカラー或いはモノクロでの表示の方法として、表示要素が画像であれば画像処理(例えば所謂色調補正等)を施すことで色を変更(モノクロ化等)を行い、また、表示要素が文字の場合に例えば文字色を変更するようにHTML文書等を書き換えること等で実現し得る。また、表示制御部120は、表示制御としての表示要素の強調を、例えば、その表示要素をある解像度の第1表示態様で表示し、その表示要素以外の1以上の表示要素を第1表示態様の解像度よりも低下させた解像度の第2表示態様で表示することにより行い得る。例えば、表示要素の画像(画素の集合)に対して一定範囲毎にその範囲内の画素群の値の平均値をその範囲の各画素の値として与える画像処理等を用いることで解像度を低下させることができる。また、一例としては、表示要素が画像であれば、その画像に対して、平滑化等の画像処理を施すことで解像度を低下させ、表示要素が文字であれば、通常の文字フォントから予め対応付けてある解像度の低い文字フォントに変更するようにHTML文書等を書き換えること等で、解像度の低下を実現し得る。また、表示制御部120は、表示制御としての表示要素の強調を、例えば、その表示要素をある第1表示態様で表示し、その表示要素以外の1以上の表示要素を第1表示態様の表示要素よりもエッジを弱めた第2表示態様で表示することにより行い得る。表示要素についてのエッジは、例えば、表示要素における画素の濃度(輝度)勾配の変化が相対的に急峻な部分(例えば輪郭等)であり、エッジを弱めた第2表示態様は、エッジを弱めない場合である第1表示態様に対してエッジの急峻さの度合い(例えば濃度勾配)が小さくなるように画像処理を施すことで実現し得る。また、これは、例えば表示要素が画像であれば、その画像に対して画像処理を施すことでエッジ強度を修正し、表示要素が文字であれば、通常の文字フォントから予め対応付けてあるエッジ強度を弱めた文字フォントに変更するようにHTML文書等を書き換えること等で、実現し得る。
(12)上述した表示制御装置100は例えば通信部150及び記憶部110を含まず、外部の装置或いは記憶媒体からデータを取得する機能(言わば取得部)を有することとしてもよい。
(13)上記実施の形態における各装置(表示制御装置、サーバ装置等)を構成する構成要素の一部又は全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAM等を含んで構成されるコンピュータシステムである。前記RAMには、コンピュータプログラムが記録されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムLSIは、その機能を達成する。また、上記各装置を構成する構成要素の各部は、個別に1チップ化されていてもよいし、一部又はすべてを含むように1チップ化されてもよい。また、ここでは、システムLSIとしたが、集積度の違いにより、IC、LSI、スーパーLSI、ウルトラLSIと呼称されることもある。また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。更には、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
(14)上記各装置(表示制御装置、サーバ装置等)を構成する構成要素の一部又は全部は、各装置に脱着可能なICカード又は単体のモジュールから構成されているとしてもよい。前記ICカード又は前記モジュールは、マイクロプロセッサ、ROM、RAM等から構成されるコンピュータシステムである。前記ICカード又は前記モジュールは、上記の超多機能LSIを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、前記ICカード又は前記モジュールは、その機能を達成する。このICカード又はこのモジュールは、耐タンパ性を有するとしてもよい。
(15)本発明の一態様としては、上記に示す表示制御方法であるとしてもよい。また、この方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。また、本発明の一態様としては、前記コンピュータプログラム又は前記デジタル信号をコンピュータで読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu-ray(登録商標) Disc)、半導体メモリ等に記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。また、本発明の一態様としては、前記コンピュータプログラム又は前記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。また、本発明の一態様としては、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記録しており、前記マイクロプロセッサは、前記コンピュータプログラムに従って動作するとしてもよい。また、前記プログラム又は前記デジタル信号を前記記録媒体に記録して移送することにより、或いは前記プログラム又は前記デジタル信号を、前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
(16)上記実施の形態及び上記変形例で示した各構成要素及び機能を任意に組み合わせることで実現される形態も本発明の範囲に含まれる。
本発明は、文書、メール等に基づく表示のために利用可能である。
10 表示制御システム
100、100a 表示制御装置
101 プロセッサ
102 メモリ
103 通信インタフェース(I/F)
104 ディスプレイ
105 カメラ
106 入力装置
11 ネットワーク
110、110a 記憶部
120 表示制御部
130 視線情報取得部
140、140a 強調対象特定部
141、141a 強調候補判別部
142、142a 位置範囲決定部
150 通信部
160 属性情報取得部
200 サーバ装置
19a、19b、19c 視点
20a、20b、20c、30a、30b、30c 視線
21a、21b、21c、31a、31b、31c 画面
22a、22b、23a、24a、24b、32a、32b、33a、33b 表示要素

Claims (1)

  1. コンピュータに、1以上の情報を示すデータに基づいて、前記1以上の情報のうちの少なくとも1以上の情報を表す1以上の表示要素を表示面に表示するよう制御する表示制御処理を実行させるための制御プログラムであって、
    前記表示制御処理は、
    前記表示面におけるユーザの視点の位置を検出し、検出した当該視点の位置を前記ユーザの視線に関する視線情報として取得し、
    前記データに基づいて表示される表示要素のうち、前記視線情報が示す前記ユーザの視線と所定の位置関係を満たし、かつ、強調候補としての所定要件を満たす表示要素を特定し、
    特定した表示要素を強調して表示するように表示制御を行い、
    前記表示制御として、前記視点の位置の検出結果及び前記データが示す情報を表す1以上の表示要素のレイアウトを示すレイアウト情報に基づいて位置範囲を決定し、前記データに基づいて前記表示面に表示されて前記所定要件を満たす表示要素のうち決定された当該位置範囲内の表示要素を特定し、特定した当該表示要素を強調するように、当該表示要素を第1表示態様にして前記表示面に表示し、当該表示要素以外の1以上の表示要素を前記第1表示態様と異なる第2表示態様にして前記表示面に表示する
    制御プログラム。
JP2019124923A 2019-07-04 2019-07-04 制御プログラム Active JP6770613B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019124923A JP6770613B2 (ja) 2019-07-04 2019-07-04 制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019124923A JP6770613B2 (ja) 2019-07-04 2019-07-04 制御プログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015119380A Division JP6553418B2 (ja) 2015-06-12 2015-06-12 表示制御方法、表示制御装置及び制御プログラム

Publications (2)

Publication Number Publication Date
JP2019164843A JP2019164843A (ja) 2019-09-26
JP6770613B2 true JP6770613B2 (ja) 2020-10-14

Family

ID=68065678

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019124923A Active JP6770613B2 (ja) 2019-07-04 2019-07-04 制御プログラム

Country Status (1)

Country Link
JP (1) JP6770613B2 (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000089880A (ja) * 1998-09-08 2000-03-31 Sony Corp データ表示装置
US6795806B1 (en) * 2000-09-20 2004-09-21 International Business Machines Corporation Method for enhancing dictation and command discrimination
CN102411478B (zh) * 2011-11-16 2013-10-09 鸿富锦精密工业(深圳)有限公司 电子设备及其文本导读方法

Also Published As

Publication number Publication date
JP2019164843A (ja) 2019-09-26

Similar Documents

Publication Publication Date Title
JP6553418B2 (ja) 表示制御方法、表示制御装置及び制御プログラム
KR102427745B1 (ko) 지능적으로 선택된 대표 미디어 항목들을 갖는 미디어 브라우징 사용자 인터페이스
US11036364B2 (en) Browser for mixed reality systems
US20190235740A1 (en) Rotatable Object System For Visual Communication And Analysis
WO2021092592A2 (en) Methods, crms, and systems for creating, organizing, viewing, and connecting annotations
RU2662632C2 (ru) Представление документов фиксированного формата в формате с измененной компоновкой
CN101783886A (zh) 信息处理设备、信息处理方法和程序
WO2014155742A1 (ja) 情報処理システム、情報処理システムの制御方法、情報処理装置、情報処理装置の制御方法、情報記憶媒体、及びプログラム
JP2018508061A (ja) 適応型電子文書
EP3785102B1 (en) Context aware skim-read friendly text view
US10496735B2 (en) Object interaction preservation from design to digital publication
JP7366528B2 (ja) 出力内容生成装置、出力内容生成方法及びプログラム
JP6770613B2 (ja) 制御プログラム
JP6576534B1 (ja) 情報表示プログラム、情報表示方法、情報表示装置、および情報処理システム
US20160042545A1 (en) Display controller, information processing apparatus, display control method, computer-readable storage medium, and information processing system
US11189066B1 (en) Systems and methods of learning visual importance for graphic design and data visualization
JP2011128710A (ja) 表示装置、表示システム、表示制御方法および表示制御プログラム
KR20170049739A (ko) 전자 카탈로그 제작 시스템 및 애플리케이션
US10891021B2 (en) Dynamic variation for selection option information presentation
JP5096997B2 (ja) 類似配色生成装置、類似配色生成方法、類似配色生成プログラム
JP2011023836A (ja) スライドデータ作成装置、スライドデータ作成方法及びプログラム
US20170115836A1 (en) Selection option information presentation system and method
JP2012023524A (ja) 画像処理方法、画像処理システム、画像記録媒体及び印刷物
JP2014026314A (ja) 画像処理装置及び電子書籍表示装置、並びにそれらに用いられる方法及びプログラム
JP2012048351A (ja) ウェブページ利用補助情報表示制御装置およびその動作方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190704

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200821

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200908

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200925

R150 Certificate of patent or registration of utility model

Ref document number: 6770613

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150