JP7416204B2 - 情報提示装置、方法およびプログラム - Google Patents

情報提示装置、方法およびプログラム Download PDF

Info

Publication number
JP7416204B2
JP7416204B2 JP2022504810A JP2022504810A JP7416204B2 JP 7416204 B2 JP7416204 B2 JP 7416204B2 JP 2022504810 A JP2022504810 A JP 2022504810A JP 2022504810 A JP2022504810 A JP 2022504810A JP 7416204 B2 JP7416204 B2 JP 7416204B2
Authority
JP
Japan
Prior art keywords
presentation
information
user
visual field
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022504810A
Other languages
English (en)
Other versions
JPWO2021176555A1 (ja
Inventor
涼平 西條
真一郎 永徳
昌洋 渡辺
妙 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of JPWO2021176555A1 publication Critical patent/JPWO2021176555A1/ja
Application granted granted Critical
Publication of JP7416204B2 publication Critical patent/JP7416204B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Description

この発明の一態様は、例えば活動中のユーザの視野に情報を提示する情報提示装置、方法およびプログラムに関する。
近年、例えば街角に設置された広報用のディスプレイやユーザが装着するスマートグラスを使用して、ユーザに対し日常的な活動に割り込んで情報を提示するシステムが提案されている。この種のシステムでは、ユーザの日常的な活動に悪影響を及ぼすことなく情報を如何に確実に認知させるかが課題になっている。
例えば、非特許文献1には、情報提示の前にユーザの周辺視野に概要情報を提示することで、ユーザの活動に対する悪影響を抑制した上で情報を提示できるようにする技術が記載されている。
また非特許文献2には、過去に提示したがユーザがまだ閲覧していない情報を閲覧してもらうために、情報を最初に提示した時刻からの経過時間に基づいて、提示方法を一定の順序で変更する技術が記載されている。
さらに非特許文献3には、周辺視野の輝度変化に敏感に反応するという人の特性を利用し、ユーザの周辺視野領域に相当するディスプレイ上の位置に輝度変化を提示することで、輝度変化を提示した位置にユーザの注視点を誘導する技術が記載されている。
石黒祥生、暦本純一、「Peripheral Vision Annotation: 拡張現実感環境のための視線計測による周辺視野領域情報提示手法」、情報処理学会論文誌、Vol. 53,No. 4,pp. 1328-1337,2012. R. Yoshida, K. Takahashi, T. Kawamura, & K. Sugahara, "Input urging system using unpleasant notification based on negative motivation", Second International Conference on Electrical, Computer and Communication Technologies (ICECCT), 1-5, 2017. Reynold Bailey, et al. "Subtle gaze direction." ACM Trans. Graph. Vol. 28, No. 4, Article 100, 14 pages, 2009.
ところが、非特許文献1に記載された技術では、情報の提示位置がユーザの注視点を中心とした視野内の特定の位置に常に固定される。このため、情報がその特徴量、例えば緊急度や提示履歴、閲覧履歴によらず、常に注視点付近に提示されるため、ユーザによっては鬱陶しく感じられ不快感を覚える場合がある。
これに対し非特許文献2に記載された技術では、ユーザが閲覧するまでの時間経過に応じて情報の提示方法が変更されるためユーザの不快感は軽減されるが、過去に提示したことがない情報についてはユーザが気づきにくい方法で提示されてしまうため、例えば緊急度が高い情報がユーザに認知されにくいという課題がある。
また非特許文献3に記載された技術では、情報提示に際し輝点をユーザの周辺視野に表示することでユーザの注意を引きつけることができるが、ユーザは周辺視野領域に表示された情報を視認するとは限らないため、緊急度の高い情報を確実に認知するとは限らない。
この発明は、上記事情に鑑みてなされたもので、一側面では、情報をその属性または閲覧状況に応じてユーザの視野範囲内の適切な位置に提示できるようにする技術を提供しようとするものである。
上記課題を解決するためにこの発明の第1の態様は、ユーザの視野範囲に対応する表示領域を有する表示デバイスに情報を表示する情報提示装置において、提示内容を表す内容情報とその属性情報とを含む提示情報を記憶する第1の記憶媒体と、前記ユーザの前記視野範囲内における注視点を検出する検出部と、提示対象となる前記内容情報と共に記憶された前記属性情報と、検出された前記注視点とに基づいて、前記ユーザの視野範囲内における前記内容情報の提示位置を決定し、決定された前記提示位置に対応する前記表示デバイスの表示領域内の位置に、前記内容情報を表示させる提示制御部とを具備し、前記提示制御部は、前記属性情報に基づいて上記注視点を基準にした前記ユーザの視線方向の角度を算出し、前記表示デバイスの表示領域内の、前記算出された角度に対応する提示位置に前記内容情報を表示させるようにしたものである。
上記課題を解決するためにこの発明の第2の態様は、ユーザの視野範囲に対応する表示領域を有する表示デバイスに情報を表示する情報提示装置において、提示内容を表す内容情報を有する提示情報を記憶する第1の記憶媒体と、前記内容情報の提示に対する前記ユーザの閲覧履歴を表す情報を記憶する第2の記憶媒体と、前記ユーザの前記視野範囲内における注視点を検出する検出部と、記憶された前記閲覧履歴を表す情報に基づいて、前記ユーザの視野範囲における過去の提示位置に対する前記ユーザの閲覧率に関する情報を求め、当該閲覧率に関する情報と、検出された前記注視点とに基づいて、前記ユーザの視野範囲内における前記内容情報の提示位置を決定し、決定された前記提示位置に対応する前記表示デバイスの表示領域内の位置に、前記内容情報を表示させる提示制御部とを具備するようにしたものである。
この発明の第1の態様によれば、情報をその属性情報に応じてユーザの視野範囲内の適切な位置に提示できるようにする技術を提供することができる。
この発明の第2の態様によれば、情報を過去の閲覧履歴を表す情報に応じてユーザの視野範囲内の適切な位置に提示できるようにする技術を提供することができる。
図1は、この発明の一実施形態に係る情報提示装置を備えるシステムの全体構成を示す図である。 図2は、この発明の一実施形態に係る情報提示装置として機能する情報処理装置のハードウェア構成を示すブロック図である。 図3は、この発明の一実施形態に係る情報提示装置として機能する情報処理装置のソフトウェア構成を示すブロック図である。 図4は、図3に示した情報処理装置の提示情報データベースに記憶される提示情報の構成の一例を示す図である。 図5は、図3に示した情報処理装置の閲覧記録データベースに記憶される閲覧履歴情報の構成の一例を示す図である。 図6は、図2および図3に示した情報処理装置が実行する情報提示処理の第1の動作例を示すシーケンス図である。 図7は、ユーザの注視点から情報提示位置までの角度θの一例を説明するための図である。 図8Aは、ユーザの視野範囲における情報の提示位置の第1の例を説明するもので、情報が周辺視野の最端部領域に提示された状態を示す図である。 図8Bは、ユーザの視野範囲における情報の提示位置の第2の例を説明するもので、情報が周辺視野の中間領域付近に提示された状態を示す図である。 図8Cは、ユーザの視野範囲における情報の提示位置の第3の例を説明するもので、情報が周辺視野の注視点領域に提示された状態を示す図である。 図9は、図2および図3に示した情報処理装置が実行する情報提示処理の第2の動作例の前半部分を示すシーケンス図である。 図10は、図2および図3に示した情報処理装置が実行する情報提示処理の第2の動作例の後半部分を示すシーケンス図である。
以下、図面を参照してこの発明に係わる実施形態を説明する。
[一実施形態]
(構成例)
(1)システム
図1は、この発明の一実施形態に係る情報提示装置を備えるシステムの全体構成を示す図である。
一実施形態のシステムは、表示デバイス1と、入力デバイス2と、情報提示装置として機能する情報処理装置3とを備える。情報処理装置3はネットワーク4を介してサーバ装置5との間で情報伝送が可能になっている。
表示デバイス1は、例えばゴーグル型をなすヘッドマウントディスプレイ、或いはメガネ型のスマートグラスからなり、ユーザの頭部に着脱自在に装着される。表示デバイス1は、例えば有機EL(Electro Luminescence)ディスプレイからなる表示パネルを備え、ユーザの視野範囲に対応する表示領域を有する。
また表示デバイス1には、例えばユーザの眼球を撮像するカメラ6が備えられている。このカメラ6により撮像された眼球の画像データは、ユーザの視線を検出するために使用される。
入力デバイス2は、例えばキーボードまたはタッチパネルからなり、ユーザが操作情報を入力するために使用される。入力デバイス2により入力された操作情報は、情報処理装置3に入力される。なお、入力デバイス2は、ペン入力タイプのものやスティック状のものでもよく、さらには音声認識技術を使用してユーザの入力音声を検出するものや、手や腕、首、瞬き等のユーザの体の動きにより表現されるジェスチャを検出するものであってもよい。
サーバ装置5は、例えば情報処理装置3に対しユーザに提示する情報を伝送する機能を備える。用途の一例を述べると、サーバ装置5は例えば医療機関や薬局、健康保健センタ等が運用するサーバコンピュータ又はパーソナルコンピュータからなり、ユーザに対し治療や健康維持に関する情報を送信する。なお、サーバ装置5の運営者や提示する情報の種類や内容については上記のものに限らない。
ネットワーク4は、例えばインターネット等の公衆IP網と、当該公衆IP網にアクセスするためのアクセス網とからなり、アクセス網にはLAN(Local Area Network)、無線LAN、公衆有線ネットワーク、公衆移動通信ネットワーク、CATV(Cable Television)ネットワークが用いられる。
(2)情報処理装置3
図2および図3は、それぞれこの発明の一実施形態に係る情報提示装置として機能する情報処理装置のハードウェア構成およびソフトウェア構成を示すブロック図である。
情報処理装置3は、例えばスマートフォンまたはウェアラブル端末等の携帯情報端末からなる。なお、情報処理装置3は、ヘッドマウントディスプレイ内に一体的に収容されるものであってもよい。
情報処理装置3は、中央処理ユニット(Central Processing Unit:CPU)等のハードウェアプロセッサを有する制御部31を備え、この制御部31に対しバス36を介してプログラム記憶部32、データ記憶部33、入出力インタフェース(入出力I/F)34および通信インタフェース(通信I/F)35を接続したものとなっている。
入出力I/F34には、上記表示デバイス1、入力デバイス2およびカメラ6が接続される。入出力I/F34は、制御部31から出力される提示する情報の表示データを上記表示デバイス1に表示させると共に、カメラ6から出力される画像データおよび入力デバイス2から出力される操作情報を制御部31に入力する。
通信I/F35は、制御部31の制御の下、サーバ装置5から送信される提示情報をネットワーク4を介して受信するもので、例えば無線LAN(Local Area Network)やBluetooth(登録商標)等の無線通信ネットワーク用のインタフェースが用いられる。なお、提示情報をサーバ装置5から受信する必要がない場合には、通信I/F35は不要である。
プログラム記憶部32は、例えば、主記憶媒体としてHDD(Hard Disk Drive)またはSSD(Solid State Drive)等の随時書込みおよび読出しが可能な不揮発性メモリを使用したもので、その記憶領域にはOS(Operating System)等のミドルウェアに加えて、この発明の一実施形態に係る各種処理を実行するプログラムが格納される。なお、記憶媒体は、上記HDD又はSSDとROM(Read Only Memory)とを組み合わせて構成してもよい。
データ記憶部33は、例えば、HDDまたはSSDとRAM(Random Access Memory)とを組み合わせたもので、記憶領域にはこの発明の一実施形態において使用される、提示情報データベース(提示情報DB)331と、閲覧記録データベース(閲覧記録DB)332が設けられている。
提示情報DB331は、例えばサーバ装置5から送られた提示情報を保存するために使用される。提示情報は、例えば、提示する内容を表す情報(例えばテキストデータ)と、この内容情報の緊急度を示す値と、内容情報の提示頻度を示す値とを含む。これらの値は、提示情報の識別子(提示情報ID)に紐づけて保存される。なお、提示情報は、ユーザが入力デバイス2により入力した情報であってもよく、また提示情報DB331に例えばメーカが保存した情報であってもよい。
閲覧記録DB332は、表示デバイス1に表示された情報に対するユーザの閲覧状況を表す閲覧履歴情報を保存するために使用される。閲覧履歴情報は、例えば、提示情報IDと、ユーザが情報を閲覧するための操作を行ったか否かを示すデータ(閲覧記録)と、情報提示後ユーザが当該情報を閲覧するまでに要した時間を示すデータ(閲覧するまでの時間(秒))と、提示された情報をユーザが閲覧していた時間を示すデータ(閲覧していた時間(秒))と、ユーザの注視点から提示位置までの角度を示すデータ(提示位置(度))とを含む。これらのデータは閲覧記録DB332における記憶行を示す識別子(閲覧記録ID)と紐づけられて保存される。なお、上記提示位置(度)は、ユーザの視野内において、ユーザが任意の点(注視点)を見ているときの当該ユーザの視線方向と、情報が提示された位置をユーザが見たと仮定したときのユーザの視線方向との間の角度を示す。
制御部31は、この発明の一実施形態に係る処理機能として、提示情報管理部311と、提示制御部312と、注視点検出部313とを備えている。これらの処理部311~313は、何れもプログラム記憶部32内に格納されたプログラムをハードウェアプロセッサに実行させることにより実現される。
提示情報管理部311は、例えば提示情報DB331に保存されている各提示情報についてその提示要求を監視する。そして、提示要求が発生すると、提示情報DB331から該当する提示情報を読み出し、提示制御部312に通知する処理を行う。
注視点検出部313は、例えば、カメラ6により撮像されたユーザの眼球を含む画像データを入出力I/F34を介して取得する。そして、取得された上記画像データをもとにユーザの視線方向を検出し、検出された視線方向と、予め設定されたユーザの視野範囲を示す情報とをもとに、ユーザの視野範囲内における注視点Pを提示制御部312に通知する処理を行う。
提示制御部312は、ユーザの視野範囲内における情報の提示位置を決定する機能と、上記決定された提示位置に対応する表示デバイス1の表示領域内における表示位置を決定する機能とを備える。上記提示位置の決定手法としては、次の複数の手法を備える。
(1)第1の手法
上記注視点検出部313により検出されたユーザの現時点での注視点Pと、上記提示情報管理部311から通知された、これから提示しようとする内容情報の緊急度を示す値および提示頻度を示す値に基づいて、上記注視点Pを基準にした角度θを算出する。そして、表示デバイス1の表示領域内で、上記算出された角度θに対応する表示位置に決定する。なお、上記角度θは、緊急度を示す値と提示頻度を示す値の少なくとも一方に基づいて算出されるようにしてもよい。
(2)第2の手法
これから提示しようとする情報の緊急度を示す値と、提示頻度を示す値と、過去に情報提示が行われたときの角度の少なくとも1つが与えられた際に、与えられた上記緊急度、提示頻度、角度の少なくとも1つが一致する情報を過去に提示したときのユーザの閲覧率を算出する。そして、算出された上記閲覧率を情報閲覧時のユーザの傾向性を示す情報として用いて、表示デバイス1の表示領域内における上記情報の表示位置を決定する。
(第3の手法)
過去に情報提示が行われたすべての提示位置の各々についてユーザの閲覧率を算出し、算出された上記情報提示位置ごとの閲覧率に基づいて、表示デバイス1の表示領域内における上記情報の表示位置を決定する。
なお、上記第2の手法および第3の手法で用いる閲覧率の算出手法については、後に一例を述べる。
(動作例)
次に、以上のように構成された情報処理装置3による情報提示動作を説明する。
本実施形態の情報処理装置3は、先に述べたように情報の提示位置の決定手法として、第1、第2および第3の手法を備えている。そこで、情報提示動作を上記決定手法ごとに分けて説明する。
(1)第1の手法を用いた情報提示動作
図6は、第1の手法を用いた情報提示動作の処理手順の一例を示すシーケンス図である。
(1-1)提示情報の管理
例えば、ユーザが医療機関を受診するかまたは健康保健センタに健康相談に行き、医師や保健師から健康上のアドバイスを受けたとする。この場合、医療機関または健康保健センタのサーバ装置5から、上記ユーザの情報処理装置3に対し、健康管理に関するアドバイス情報が送信される。
情報処理装置3は、上記サーバ装置5から送られたアドバイス情報が通信I/F35により受信されると、提示情報管理部311の制御の下、受信された上記アドバイス情報をデータ記憶部33内の提示情報DB331に提示情報として保存する。
図4は提示情報の一例を示すもので、この例では、提示する内容として「階段で移動しましょう」、「血圧の薬を飲みましょう」を示すテキストデータが、その緊急度および提示頻度を示すデータと共に保存された場合を示している。緊急度を示す値は、緊急度が高いほど大きな値をとる。また提示頻度を示す値は、1日当たりの提示回数(回/日)で示され、当該情報の提示が行われる毎に更新される。
なお、上記提示情報は、情報処理装置3からサーバ装置5に対し送信要求を送って自身宛ての提示情報を取得するようにしてもよいし、ユーザ自身が入力デバイス2により入力したものであってもよい。
上記提示情報が保存された状態で情報処理装置3は、提示情報管理部311において、提示情報DB331に保存されている提示情報毎に、その提示要求の発生を監視している。例えば、提示情報毎にその提示タイミングを監視する。提示タイミングの監視は、例えば提示情報毎に当該提示情報に付属する属性情報(図示省略)に含まれる提示時刻または提示周期に基づいて行われる。
いま例えば、ある提示情報の提示タイミングになったとする。そうすると提示情報管理部311は、図6に示すように先ずステップS11において、提示情報IDをもとに提示情報DB331をアクセスし、対応する提示情報の内容と、緊急度および提示頻度を示す値を読み出す。このとき、提示情報DB331では、読み出された上記提示情報の提示頻度を示す値が更新される。提示情報管理部311は、読み出された上記緊急度および提示頻度を示す値を、提示位置を決定するためのデータとして提示制御部312に送る。
(1-2)第1の手法を用いた提示位置の決定
第1の手法は、先に述べたように上記提示情報管理部311から送られた提示情報の緊急度および提示頻度を示す値に基づいて提示位置を決定するものである。
すなわち、情報処理装置3は、先ず提示制御部312から注視点検出部313に対しユーザ注視点要求を送る。注視点検出部313は、ステップS12において、カメラ6により撮像されたユーザの現時点の眼球の状態を表す画像データを入出力I/F34を介して取得し、取得された眼球の画像データをもとにユーザの視線方向を検出する。そして、検出された上記ユーザの視線方向をもとに、ユーザの視野範囲内における注視点Pを検出し、検出結果を提示制御部312に返送する。なお、視線方向の検出手法としては、例えば、画像データから輝点と瞳孔の座標位置をそれぞれ検出し、その座標位置のベクトル差をもとに視線方向を算出するといった周知の手法が用いられるが、それに限るものではない。
情報処理装置3は、次に提示制御部312の制御の下、ステップS13において、上記提示情報管理部311から送られた提示情報の緊急度および提示頻度を示す値に基づいて、ユーザの注視点Pを基準にした提示位置を、例えば図7に示すように注視点Pからの角度θとして算出する。
例えば、いま緊急度をα、提示頻度をβとし、これらに与える重み係数をw1 ,w2 と定義すると、角度θは
θ=w11(α) +w22(β) ・・・(1)
で表される。但し、f1(α) はαに反比例する関数、f2(β) はβに比例する関数であり、重み係数w1 ,w2 は緊急度および提示頻度に対する重要度に応じて任意に設定される。
なお、上記角度θの算出に際しては、上記緊急度αおよび提示頻度βは必ずしも両方とも用いなくてもよく、いずれか一方のみを用いて提示位置を示す角度θを算出してもよい。
(1-3)提示情報の表示
提示制御部312は、上記算出された角度θに基づいて、表示デバイス1の表示領域内における提示情報の表示位置Jを決定する。そして、提示制御部312は、上記提示情報DB331から読み出された提示情報の内容を表すテキストデータを、上記表示位置Jを指定する情報と共に入出力I/F34を介して表示デバイス1へ出力し、当該表示デバイス1の表示領域のうち上記決定された表示位置Jに表示させる。
図8A、図8B、図8Cは、上記第1の手法により決定された情報提示位置の一例を示すもので、図8Aは例えば提示頻度βが高くかつ緊急度αが低いときの情報Jの提示位置を、図8Bは例えば提示頻度βおよび緊急度αがいずれも中レベルのときの情報Jの提示位置を、図8Cは例えば提示頻度βが低くかつ緊急度αが高い場合の情報Jの提示位置をそれぞれ示している。
最後に情報処理装置3は、上記情報の表示期間中にユーザによる情報閲覧の完了操作を監視する。この状態で、ユーザが入力デバイス2において情報閲覧の完了操作を行うと、表示デバイス1は上記情報の表示を終了する。
(2)第2の手法を用いた情報提示動作
図9および図10は、第2の手法を用いた情報提示動作の処理手順の一例を示すシーケンス図である。なお、提示情報の管理処理については、(1-1)で述べた処理と同一であるため、同一符号を付して説明を省略する。
(2-1)第2の手法を用いた提示位置の決定
第2の手法は、これから提示しようとする情報の緊急度αと提示頻度β、過去に情報提示を行ったときの提示位置σk の、少なくとも1つが一致する情報を過去に提示したときのユーザの閲覧率ρに基づいて、提示位置を決定するものである。
提示制御部312は、提示情報管理部311から提示情報の内容、緊急度および提示頻度を示すデータを受け取ると、先ず閲覧記録DB332に対し閲覧記録の取得要求を送り、閲覧記録DB332から閲覧履歴情報を取得する。またそれと共に、注視点検出部313に対しユーザの注視点の取得要求を送る。注視点検出部313は、ステップS12において、カメラ6により撮像されたユーザの現時点の眼球の状態を表す画像データを入出力I/F34を介して取得し、取得された眼球の画像データをもとにユーザの視線方向を検出する。そして、検出された上記ユーザの視線方向をもとに、ユーザの視野範囲内における注視点Pを検出し、検出結果を提示制御部312に返送する。
次に提示制御部312は、ステップS23において提示位置を以下のように計算する。
先ず取得した上記閲覧履歴情報に基づいて、提示位置ごとのユーザの過去の閲覧率ρを算出する。この閲覧率ρの算出は、閲覧記録毎に当該情報をユーザが閲覧したか否かを判定することにより行われる。例えば、ユーザの閲覧記録の情報からユーザの閲覧の有無を判定し、また閲覧するまでの時間を閾値と比較して閾値を超えていれば閲覧しなかったと判定し、さらに閲覧していた時間を閾値と比較して閾値を超えていれば閲覧したと判定する。そして提示制御部312は、上記各判定結果の少なくとも一つに基づいて、情報提示位置ごとの提示情報に対する閲覧率ρ(α,β,σk )を算出する。
以上の処理を数式により表すと以下のようになる。
Figure 0007416204000001
但し、i,kは閲覧記録IDを示す添え字、mは閲覧記録DB332に保存されているデータの数、xi ,yi ,zi はそれぞれ閲覧記録、閲覧するまでの時間、閲覧していた時間を示す。また、nj は情報閲覧の有無の判定結果を示す値、dは与えられたα、β、σk を持つ情報を過去に提示した回数、ty はyi の値から閲覧しなかったと判定するための閾値、tz はzi の値から閲覧したと判定するための閾値、h(α、β、σk )は緊急度α、提示頻度β、過去の提示位置σk と同じ緊急度、提示頻度、提示位置の情報提示を行ったときの閲覧記録IDの集合を表す関数を示している。
次に提示制御部312は、上記算出された閲覧率ρ(α,β,σk )を加味して、提示位置(上記注視点検出部313の検出結果である注視点Pを基準とする角度θ)を算出する。以下にその計算式を示す。
θ=w11(α) +w22(β) +w33 (ρ(α,β,σk )) ・・・(3)
但し、w1 ,w2 ,w3 は重み係数を示している。
上記(3) 式を用いて提示位置(注視点Pを基準とする角度θ)を算出することで、提示しようとしている情報の緊急度αと提示頻度βに加え、過去の閲覧履歴から算出された閲覧率ρ(α,β,σk )をさらに加味して、情報の提示位置を決定することができる。
なお、上記(3) 式の関数f3 (ρ(α,β,σk ))は、閲覧率ρが小さい場合ほど提示位置を注視点Pに近づけていくために、閲覧率ρに比例して値が変化するように設定された関数にしてもよい。
また、関数f3 (ρ(α,β,σk ))は、例えば、与えられた情報の緊急度αおよび提示頻度βと一致する緊急度および提示頻度をもつ情報を過去に提示した際のすべての提示位置σk の中で、最も閲覧率ρ(α,β,σk )が大きくなる提示位置を
3 (ρ(α,β,σk ))=argmaxσk (ρ(α,β,σk )) ・・・(4)
により計算する関数としてもよい。
さらに、上記関数f3 (ρ(α,β,σk ))は、閲覧率ρ(α,β,σk )が最大の提示位置を選択せずに、閲覧率が所定の条件を満たすもの(例えば予め設定したしきい値以上のもの)の中から所望のものを選択するようにしてもよい。
なお、上記提示位置を示す注視点Pに対する視線の角度θの算出に際しては、閲覧率ρ(α,β,σk )のみをもとに角度θを算出するようにしてもよい。以下にその場合の計算式を示す。
θ=f3 (ρ(α,β,σk )) ・・・(5)。
(2-2)情報の表示と閲覧記録の更新
提示制御部312は、上記算出された角度θに基づいて、表示デバイス1の表示領域内における情報の表示位置Jを決定する。そして、提示制御部312は、上記提示情報DB331から読み出された提示情報の内容を示すテキストデータを、上記表示位置Jを指定する情報と共に入出力I/F34を介して表示デバイス1へ出力し、当該表示デバイス1の表示領域のうち上記決定された表示位置Jに表示させる。
また提示制御部312は、図10に示すように、上記情報の表示期間中にユーザによる情報閲覧の完了操作を監視する。この状態で、ユーザが入力デバイス2において情報閲覧の完了操作を行うと、情報閲覧の結果を表す情報を生成する。例えば、閲覧の有無と提示位置、閲覧した場合は閲覧するまでの時間と閲覧していた時間を含む情報を生成する。そして、生成された情報閲覧の結果を表す情報と、上記提示情報の緊急度αと提示頻度βを示す各値を、提示情報IDと共に閲覧記録DB332に送り、これにより閲覧記録DB332の閲覧履歴情報を更新する。
最後に情報処理装置3は、上記ユーザの情報閲覧完了操作に応じて、表示デバイス1における上記情報の表示を終了する。
(作用・効果)
以上詳述したように一実施形態では、提示制御部312において、提示位置を決定する第1の手法に基づき、これから提示しようとする提示情報の緊急度αおよび提示頻度βに基づいて、ユーザの注視点Pを基準にした視線方向の角度θを算出し、表示デバイス1の表示領域内の上記算出された角度θに対応する位置に、上記提示情報の内容を表示するようにしている。従って、提示情報の内容を表示デバイス1の表示領域に割込んで表示する際に、当該提示情報の緊急度αおよび提示頻度βが考慮された位置に表示されることになる。このため、例えば提示頻度が低く緊急度の高い提示情報についてはユーザに確実に閲覧させることができ、反対に緊急度が比較的低く提示頻度が高い提示情報についてはユーザの周辺視野に表示されるからユーザの活動に及ぼす影響を軽減することが可能となる。
また一実施形態では、提示制御部312において、提示位置を決定する第2の手法に基づき、これから提示しようとする提示情報の緊急度αと提示頻度β、および過去に情報提示が行われたときの提示位置σk の少なくとも1つが与えられた際に、与えられた上記緊急度α、提示頻度β、提示位置σk の少なくとも1つが一致する情報を過去に提示したときのユーザの閲覧率ρを算出する。そして、算出された上記閲覧率ρを情報閲覧時のユーザの傾向性を示す情報として考慮して、表示デバイス1の表示領域内における上記提示情報の表示位置を決定し、提示情報を表示するようにしている。従って、過去の提示位置に対するユーザの閲覧率ρを考慮してこれから提示しようする情報の提示位置を示す角度θが決定される。このため、情報の提示位置に対するユーザの過去の閲覧履歴をもとに、情報提示に対するユーザの傾向性を考慮して、効果的な情報提示を行うことが可能となる。
さらに、提示位置の決定に際しては、これから提示しようとする情報の緊急度αと提示頻度β、および過去の情報提示位置ごとのユーザの閲覧率ρの少なくとも1つに基づいて提示位置が決定される。このため、上記緊急度α、提示頻度β、過去の情報提示位置σk のうち取得できないデータがあっても、提示位置を決定することができる。
[変形例]
なお、この発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。例えば、情報提示装置の種類や構成、表示デバイスの種類やその構成、情報提示位置の決定処理の手順と内容、提示情報の種類やその生成方法等については、この発明の要旨を逸脱しない範囲で種々変形して実施できる。
また、実施形態は可能な限り適宜選択したり組み合わせて実施してもよい。さらに、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。
1…表示デバイス
2…入力デバイス
3…情報処理装置
4…ネットワーク
5…サーバ装置
6…カメラ
31…制御部
32…プログラム記憶部
33…データ記憶部
34…入出力I/F
35…通信I/F
36…バス
311…提示情報管理部
312…提示制御部
313…注視点検出部
331…提示情報DB
332…閲覧記録DB

Claims (8)

  1. ユーザの視野範囲に対応する表示領域を有する表示デバイスに情報を表示する情報提示装置であって、
    提示内容を表す内容情報とその属性情報とを含む提示情報を記憶する第1の記憶媒体と、
    前記ユーザの前記視野範囲内における注視点を検出する検出部と、
    提示対象となる前記内容情報と共に記憶された前記属性情報と、検出された前記注視点とに基づいて、前記ユーザの前記視野範囲内における前記内容情報の提示位置を決定し、決定された前記提示位置に対応する前記表示デバイスの表示領域内の位置に、前記内容情報を表示させる提示制御部と
    を具備し
    前記提示制御部は、前記属性情報に基づいて上記注視点を基準にした前記ユーザの視線方向の角度を算出し、前記表示デバイスの表示領域内の、前記算出された角度に対応する提示位置に前記内容情報を表示させる
    情報提示装置。
  2. 前記属性情報は、前記内容情報の緊急度および提示頻度の少なくとも一方を含み、
    前記提示制御部は、前記緊急度に応じて前記角度を算出することにより、前記緊急度が高いほど前記提示位置が前記注視点に近くなるように前記提示位置を決定し、前記提示頻度に応じて前記角度を算出することにより、前記提示頻度が低いほど前記提示位置が前記注視点に近くなるように前記提示位置を決定する、
    請求項1に記載の情報提示装置。
  3. ユーザの視野範囲に対応する表示領域を有する表示デバイスに情報を表示する情報提示装置であって、
    提示内容を表す内容情報を有する提示情報を記憶する第1の記憶媒体と、
    前記内容情報の提示に対する前記ユーザの閲覧履歴を表す情報を記憶する第2の記憶媒体と、
    前記ユーザの前記視野範囲内における注視点を検出する検出部と、
    記憶された前記閲覧履歴を表す情報に基づいて、前記ユーザの視野範囲における過去の提示位置に対する前記ユーザの閲覧率に関する情報を求め、当該閲覧率に関する情報と、検出された前記注視点とに基づいて、前記ユーザの前記視野範囲内における前記内容情報の提示位置を決定し、決定された前記提示位置に対応する前記表示デバイスの表示領域内の位置に、前記内容情報を表示させる提示制御部と
    を具備する情報提示装置。
  4. 前記提示情報は、前記内容情報の緊急度および提示頻度の少なくとも一方を含む属性情報をさらに有し、
    前記提示制御部は、
    これから提示しようとする前記内容情報の前記緊急度および提示頻度の少なくとも一方と、前記内容情報の過去の提示位置が与えられたとき、与えられた前記緊急度、前記提示頻度および前記提示位置の少なくとも1つが一致する情報提示が過去に行われたときの前記ユーザの閲覧率に関する情報を、前記閲覧履歴を表す情報から求め、
    前記閲覧率に関する情報と、検出された前記注視点とに基づいて、前記ユーザの視野範囲内における前記内容情報の提示位置を決定し、
    決定された前記提示位置に対応する前記表示デバイスの表示領域内の位置に、前記内容情報を表示させる
    請求項3に記載の情報提示装置。
  5. 前記提示制御部は、
    記憶された前記閲覧履歴を表す情報に基づいて、前記ユーザの視野範囲における過去の複数の提示位置に対する前記ユーザの閲覧率に関する情報をそれぞれ求め、
    前記閲覧率に関する情報に基づいて、前記ユーザの視野範囲内における前記複数の提示位置の中から予め設定された条件を満たす提示位置を選択し、
    選択された前記提示位置に対応する前記表示デバイスの表示領域内の位置に、前記内容情報を表示させる
    請求項3に記載の情報提示装置。
  6. ユーザの視野範囲に対応する表示領域を有する表示デバイスに接続される情報処理装置が実行する情報提示方法であって、
    前記ユーザの前記視野範囲内における注視点を検出する過程と、
    提示内容を表す内容情報の属性を表す情報と、検出された前記注視点とに基づいて、前記ユーザの視野範囲内における前記内容情報の提示位置を決定する過程と、
    決定された前記提示位置に対応する前記表示デバイスの表示領域内の位置に、前記内容情報を表示させる提示制御過程と
    を具備し、
    前記提示制御過程は、前記属性情報に基づいて上記注視点を基準にした前記ユーザの視線方向の角度を算出し、前記表示デバイスの表示領域内の、前記算出された角度に対応する提示位置に前記内容情報を表示させる
    情報提示方法。
  7. ユーザの視野範囲に対応する表示領域を有する表示デバイスに接続される情報処理装置が実行する情報提示方法であって、
    前記ユーザの前記視野範囲内における注視点を検出する過程と、
    過去に提示された情報に対する前記ユーザの閲覧履歴を表す情報に基づいて、前記ユーザの視野範囲における過去の提示位置に対する前記ユーザの閲覧率に関する情報を求め、当該閲覧率に関する情報と、検出された前記注視点とに基づいて、前記ユーザの視野範囲内における前記内容情報の提示位置を決定する過程と、
    決定された前記提示位置に対応する前記表示デバイスの表示領域内の位置に、前記内容情報を表示させる過程と
    を具備する情報提示方法。
  8. 請求項1乃至5のいずれかに記載の情報提示装置が具備する各部の処理を、前記情報提示装置が備えるハードウェアプロセッサに実行させるプログラム。
JP2022504810A 2020-03-03 2020-03-03 情報提示装置、方法およびプログラム Active JP7416204B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/008902 WO2021176555A1 (ja) 2020-03-03 2020-03-03 情報提示装置、方法およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2021176555A1 JPWO2021176555A1 (ja) 2021-09-10
JP7416204B2 true JP7416204B2 (ja) 2024-01-17

Family

ID=77613169

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022504810A Active JP7416204B2 (ja) 2020-03-03 2020-03-03 情報提示装置、方法およびプログラム

Country Status (3)

Country Link
US (1) US11934623B2 (ja)
JP (1) JP7416204B2 (ja)
WO (1) WO2021176555A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017104198A1 (ja) 2015-12-14 2017-06-22 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2017138212A1 (ja) 2016-02-08 2017-08-17 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2019244670A1 (ja) 2018-06-18 2019-12-26 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10506374B2 (en) * 2017-10-04 2019-12-10 The Toronto-Dominion Bank Dynamic notification engine for notification throttling based on contextual analysis
US11656922B2 (en) * 2018-01-29 2023-05-23 Microsoft Technology Licensing, Llc Personalized notification brokering

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017104198A1 (ja) 2015-12-14 2017-06-22 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2017138212A1 (ja) 2016-02-08 2017-08-17 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2019244670A1 (ja) 2018-06-18 2019-12-26 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム

Also Published As

Publication number Publication date
JPWO2021176555A1 (ja) 2021-09-10
US20230121643A1 (en) 2023-04-20
US11934623B2 (en) 2024-03-19
WO2021176555A1 (ja) 2021-09-10

Similar Documents

Publication Publication Date Title
CN110874129B (zh) 显示系统
US7738684B2 (en) System and method for displaying images on a PACS workstation based on level of significance
US7576757B2 (en) System and method for generating most read images in a PACS workstation
US9841811B2 (en) Visually directed human-computer interaction for medical applications
US7573439B2 (en) System and method for significant image selection using visual tracking
US8036917B2 (en) Methods and systems for creation of hanging protocols using eye tracking and voice command and control
US7501995B2 (en) System and method for presentation of enterprise, clinical, and decision support information utilizing eye tracking navigation
EP1643401B1 (en) Method and apparatus for surgical operating room information display gaze detection and user prioritization for control
US20150213634A1 (en) Method and system of modifying text content presentation settings as determined by user states based on user eye metric data
US20140099623A1 (en) Social graphs based on user bioresponse data
Lee et al. Designing socially acceptable hand-to-face input
US20150009117A1 (en) Dynamic eye trackcing data representation
US10572632B2 (en) Using augmented reality interface and real-time glucose data to control insulin delivery device
Ha et al. Novel hybrid brain-computer interface for virtual reality applications using steady-state visual-evoked potential-based brain–computer interface and electrooculogram-based eye tracking for increased information transfer rate
Hwang et al. Integration of eye tracking and lip motion for hands-free computer access
Singh et al. Object acquisition and selection using automatic scanning and eye blinks in an HCI system
JP2014089650A (ja) 電子問診装置、電子問診システム、電子問診装置の制御方法及び制御プログラム
JP7416204B2 (ja) 情報提示装置、方法およびプログラム
Harutyunyan et al. A SYSTEM FOR IMPROVING IT OFFICE EMPLOYEES HEALTH USING AN UNCONVENTIONAL USER INTERFACE
Biener et al. Hold Tight: Identifying Behavioral Patterns During Prolonged Work in VR through Video Analysis
US20230046250A1 (en) System and method for user interface management to provide an augmented reality-based therapeutic experience
US20230376107A1 (en) Detecting unexpected user interface behavior using physiological data
WO2023114079A1 (en) User interactions and eye tracking with text embedded elements
Matsuno Detection of Voluntary Eye Movement for Analysis About Eye Gaze Behaviour in Virtual Communication
CN116547637A (zh) 使用生理数据来检测用户与对象接触

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220713

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20230104

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20230208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230725

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230906

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231218

R150 Certificate of patent or registration of utility model

Ref document number: 7416204

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150