JP6581748B1 - 表示装置、表示方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体 - Google Patents

表示装置、表示方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体 Download PDF

Info

Publication number
JP6581748B1
JP6581748B1 JP2019524285A JP2019524285A JP6581748B1 JP 6581748 B1 JP6581748 B1 JP 6581748B1 JP 2019524285 A JP2019524285 A JP 2019524285A JP 2019524285 A JP2019524285 A JP 2019524285A JP 6581748 B1 JP6581748 B1 JP 6581748B1
Authority
JP
Japan
Prior art keywords
user
sight
line
threshold time
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019524285A
Other languages
English (en)
Other versions
JPWO2019224866A1 (ja
Inventor
将史 牟田
将史 牟田
啓吾 松本
啓吾 松本
ケルビン カ シン チェング
ケルビン カ シン チェング
宗 益子
宗 益子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rakuten Group Inc
Original Assignee
Rakuten Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rakuten Inc filed Critical Rakuten Inc
Application granted granted Critical
Publication of JP6581748B1 publication Critical patent/JP6581748B1/ja
Publication of JPWO2019224866A1 publication Critical patent/JPWO2019224866A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

推定部（１１１）は、オブジェクトがユーザの視線上にあるか否かを推定する。表示部（１１２）は、第１オブジェクトが、ユーザに対して設定された第１閾時間以上継続してユーザの視線上にある、と推定されると、第１オブジェクトに係る情報を表す第２オブジェクトを、ユーザの視界内に表示する。消去部（１１３）は、第２オブジェクトが、ユーザに対して設定された第２閾時間以上継続してユーザの視線上にない、と推定されると、第２オブジェクトをユーザの視界内から消去する。修正部（１１４）は、第２オブジェクトがユーザの視線上にある、と推定された閲覧時間長に応じて、ユーザに対して設定される第１閾時間を修正する。

Description

本発明は、表示装置、表示方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体に関する。
従来から、ヘッドマウントディスプレイに表示されたターゲットを選択する方法として、ユーザの頭の向きからユーザの視線方向を検知し、視線方向にあるターゲットが所定時間存在した場合、すなわち、ユーザが所定時間そのターゲットを見つめていた場合に、そのターゲットを選択する技術がある（非特許文献１）。しかし、ターゲットまたはユーザが移動している場合、ユーザはターゲットの移動に合わせて頭を移動させてターゲットを所定時間見つめ続ける必要があるため、この技術を用いてターゲットを選択することは困難である。一方、２Ｄディスプレイにおいて移動しているターゲットを選択する方法として、ユーザがマウスのボタンをクリックすることにより一時的にターゲットを停止させる技術がある（非特許文献２）。
MAJARANTA P., AHOLA U.-K., SPAKOV O.: Fast gaze typing with an adjustable dwell time. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (2009), ACM, pp.357-360. AL HAJRI A., FELS S., MILLER G., ILICH M.: Moving target selection in 2d graphical user interfaces. In IFIP Conference on Human-Computer Interaction (2011), Springer, pp.141-161.
特許文献２では、ユーザが留まっている状態であるが、拡張現実（Augmented Reality）システムにおいてユーザがヘッドマウントディスプレイを装着している場合、ユーザが動いている可能性もある。従って、ユーザ及びターゲットの両方が動いているときに、ターゲットを効率的に選択する技術が望まれる。特に、ディスプレイ上で動いている複数のオブジェクトのうちから、ユーザの視線上にあるオブジェクトを、ユーザが注目しているオブジェクトとして選択する場合、ユーザの視線上にあるオブジェクトが、ユーザが意図的に注目しているオブジェクトなのか、または偶然ユーザの視線上を通過したオブジェクトなのか、区別する必要がある。
本発明は、上記の課題を解決するためのものであり、ユーザの視線上にあるオブジェクトが、ユーザが意図的に注目しているオブジェクトなのか、偶然視線上を通過したオブジェクトなのかを適切に判定することが可能な表示装置、表示方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体を提供することを目的とする。
本発明の第１の観点に係る表示装置は、
オブジェクトがユーザの視線上にあるか否かを推定する推定部と、
第１オブジェクトが、前記ユーザに対して設定された第１閾時間以上継続して前記ユーザの視線上にある、と推定されると、前記第１オブジェクトに係る情報を表す第２オブジェクトを、前記ユーザの視界内に表示する表示部と、
前記第２オブジェクトが、前記ユーザに対して設定された第２閾時間以上継続して前記ユーザの前記視線上にない、と推定されると、前記第２オブジェクトを前記ユーザの前記視界内から消去する消去部と、
前記第２オブジェクトが前記ユーザの前記視線上にある、と推定された閲覧時間長に応じて、前記ユーザに対して設定される前記第１閾時間を修正する修正部と、
を備えることを特徴とする。
上記の観点に係る表示装置において、
前記修正部は、前記閲覧時間長が短いほど、前記第１閾時間を長く修正してもよい。
上記の観点に係る表示装置において、
前記修正部は、前記閲覧時間長の分布に基づいて、前記第１閾時間を修正してもよい。
上記の観点に係る表示装置において、
前記表示部は、
前記第１オブジェクトが、前記ユーザに対して設定された第３閾時間であって、前記第１閾時間より短い第３閾時間以上継続して、前記ユーザの前記視線上にある、と推定されると、前記第１オブジェクトに対応付けられる第３オブジェクトを、前記ユーザの視界内から消去して、前記第２オブジェクトを前記ユーザの視界内に表示し、
前記第３オブジェクトが、前記第１閾時間以上継続して前記ユーザの前記視線上にある、と推定されると、前記第３オブジェクトを前記ユーザの視界内から消去して、前記第２オブジェクトを前記ユーザの視界内に表示し、
前記第３オブジェクトが、前記第１閾時間以上継続して前記ユーザの前記視線上にない、と推定されると、前記第３オブジェクトを前記ユーザの視界内から消去してもよい。
上記の観点に係る表示装置において、
前記表示部は、前記第３オブジェクトを、前記第１オブジェクトと同じ位置に出現するように表示してもよい。
上記の観点に係る表示装置において、
前記表示部は、前記第３オブジェクトの出現後、前記第３オブジェクトを第１オブジェクトが配置される空間内の位置をそのまま維持するように表示してもよい。
上記の観点に係る表示装置において、
前記表示部は、前記第３オブジェクトの出現後、前記第１オブジェクトの移動の軌跡を辿るように移動し、かつ、前記第３オブジェクトの移動速度が徐々に遅くなるように前記第３オブジェクトを表示してもよい。
上記の観点に係る表示装置において、
前記表示部は、前記第３オブジェクトの出現後、前記第１オブジェクトが前記ユーザの視界内から出るまで前記第１オブジェクトに追随し、前記第１オブジェクトが前記ユーザの視界内から出ると、前記ユーザの視界内の縁に留まるように前記第３オブジェクトを表示してもよい。
上記の観点に係る表示装置において、
前記第３閾時間は、前記第１閾時間に基づいて、計算されてもよい。
上記の観点に係る表示装置において、
前記修正部は、前記第３オブジェクトが、前記第１閾時間以上継続して前記ユーザの前記視線上にある、と推定されることに起因して前記第２オブジェクトが表示された後、前記第２オブジェクトが前記ユーザの前記視線上にある、と推定された閲覧時間長に応じて、前記ユーザに対して設定される前記第３閾時間を修正してもよい。
上記の観点に係る表示装置において、
前記修正部は、前記閲覧時間長が短いほど、前記第３閾時間を長く修正してもよい。
上記の観点に係る表示装置において、
前記修正部は、前記閲覧時間長の分布に基づいて、前記第３閾時間を修正してもよい。
本発明の第２の観点に係る表示方法は、
表示装置が実行する表示方法であって、
オブジェクトがユーザの視線上にあるか否かを推定する推定ステップと、
第１オブジェクトが、前記ユーザに対して設定された第１閾時間以上継続して前記ユーザの視線上にある、と推定されると、前記第１オブジェクトに係る情報を表す第２オブジェクトを、前記ユーザの視界内に表示する表示ステップと、
前記第２オブジェクトが、前記ユーザに対して設定された第２閾時間以上継続して前記ユーザの前記視線上にない、と推定されると、前記第２オブジェクトを前記ユーザの前記視界内から消去する消去ステップと、
前記第２オブジェクトが前記ユーザの前記視線上にある、と推定された閲覧時間長に応じて、前記ユーザに対して設定される前記第１閾時間を修正する修正ステップと、
を備えることを特徴とする。
本発明の第３の観点に係るプログラムは、
コンピュータを、
オブジェクトがユーザの視線上にあるか否かを推定する推定部と、
第１オブジェクトが、前記ユーザに対して設定された第１閾時間以上継続して前記ユーザの視線上にある、と推定されると、前記第１オブジェクトに係る情報を表す第２オブジェクトを、前記ユーザの視界内に表示する表示部と、
前記第２オブジェクトが、前記ユーザに対して設定された第２閾時間以上継続して前記ユーザの前記視線上にない、と推定されると、前記第２オブジェクトを前記ユーザの前記視界内から消去する消去部と、
前記第２オブジェクトが前記ユーザの前記視線上にある、と推定された閲覧時間長に応じて、前記ユーザに対して設定される前記第１閾時間を修正する修正部と、
として機能させることを特徴とする。
本発明の第４の観点に係る非一時的なコンピュータ読取可能な情報記録媒体は、
オブジェクトがユーザの視線上にあるか否かを推定する推定部と、
第１オブジェクトが、前記ユーザに対して設定された第１閾時間以上継続して前記ユーザの視線上にある、と推定されると、前記第１オブジェクトに係る情報を表す第２オブジェクトを、前記ユーザの視界内に表示する表示部と、
前記第２オブジェクトが、前記ユーザに対して設定された第２閾時間以上継続して前記ユーザの前記視線上にない、と推定されると、前記第２オブジェクトを前記ユーザの前記視界内から消去する消去部と、
前記第２オブジェクトが前記ユーザの前記視線上にある、と推定された閲覧時間長に応じて、前記ユーザに対して設定される前記第１閾時間を修正する修正部と、
として機能させることを特徴とする。
なお、上記情報記録媒体は、コンピュータとは独立して配布・販売することができる。ここで、非一時的な（non-transitory）情報記録媒体とは、有形な（tangible）情報記録媒体をいう。非一時的な情報記録媒体は、例えば、コンパクトディスク、フレキシブルディスク、ハードディスク、磁気ディスク、ディジタルビデオディスク、磁気テープ、半導体メモリである。また、一時的な（transitory）情報記録媒体とは、伝送媒体（伝搬信号）それ自体を示す。一時的な記録媒体は、例えば、電気信号、光信号、電磁波である。なお、一時的な（temporary）記憶領域とは、データやプログラムを一時的に記憶するための領域であり、例えばＲＡＭ（Random Access Memory）といった揮発性メモリである。
本発明によれば、ユーザの視線上にあるオブジェクトが、ユーザが意図的に注目しているオブジェクトなのか、偶然視線上を通過したオブジェクトなのかを適切に判定することができる。
実施形態１に係る表示装置のハードウェア構成を示す概略ブロック図である。 現実空間において表示装置を装着したユーザと、第１オブジェクトとの様子を示す俯瞰図である。 現実空間において表示装置を装着したユーザと、第１オブジェクトとの様子を示す上面図である。 実施形態１に係る表示装置の機能構成を示す概略ブロック図である。 撮像部によりユーザの視線方向の様子が撮影された撮像画像を表す図である。 第２オブジェクトの表示態様を説明するための図である。 第２オブジェクトの表示例を示す図である。 現実空間における表示装置、ユーザ、及び第２オブジェクトの位置関係を示す上面図である。 視線方向が変化した後の第２オブジェクトの表示例を示す図である。 第２オブジェクトがディスプレイから消去されたときの表示例を示す図である。 実施形態１に係る表示装置の制御部により実行される表示処理の流れを表すフローチャートである。 実施形態１に係る表示装置の制御部により実行される第２オブジェクト表示処理の流れを表すフローチャートである。 実施形態１に係る表示装置の制御部により実行される第２オブジェクト消去処理の流れを表すフローチャートである。 実施形態２に係る表示装置の機能構成を示す概略ブロック図である。 第３オブジェクトが出現した時の表示例を示す図である。 第３オブジェクトが出現後、第１オブジェクトが移動した場合の表示例を示す図である。 第２オブジェクトの表示例を示す図である。 実施形態２に係る表示装置の制御部により実行される表示処理の流れを表すフローチャートである。 実施形態２に係る表示装置の制御部により実行される第３オブジェクト表示処理の流れを表すフローチャートである。 実施形態２に係る表示装置の制御部により実行される第２オブジェクト表示処理の流れを表すフローチャートである。 実施形態２に係る表示装置の制御部により実行される第３オブジェクト消去処理の流れを表すフローチャートである。 閲覧時間長に応じて第１閾時間を修正する例を説明するための図である。 閲覧時間長に応じて第１閾時間を修正する例を説明するための図である。 閲覧時間長に応じて第１閾時間を修正する例を説明するための図である。 第３オブジェクトが出現後、第１オブジェクトに追随するときの表示例を示す図である。 第３オブジェクトが出現後、第１オブジェクトがユーザの視界内から出たときの表示例を示す図である。
以下に本発明の実施形態を説明する。なお、本実施形態は説明のためのものであり、本願発明の範囲を制限するものではない。従って、当業者であればこれらの各要素若しくは全要素をこれと均等なものに置換した実施形態を採用することが可能であるが、これらの実施形態も本発明の範囲に含まれる。また、本願発明の実施形態を図面を参照して説明するにあたり、図中同一又は相当する部分には同一符号を付す。
（実施形態１）
図１は、本実施形態に係る表示装置１００のハードウェア構成を示す概略ブロック図である。表示装置１００は、例えば、各種のセンサや制御装置を備えたヘッドマウントディスプレイにより構成される。スマートフォンやタブレットコンピュータ、ファブレット等の携帯型コンピュータをアタッチメントに装着することにより、ヘッドマウントディスプレイが構築されてもよい。この場合には、携帯型コンピュータを上記各部として機能させるためのプログラムを、当該携帯型コンピュータにて実行させることにより、表示装置１００が実現される。図１に示すように、表示装置１００は、制御部１０１と、ＲＯＭ（Read Only Memory）１０２と、ＲＡＭ１０３と、ディスプレイ１０４と、センサ部１０５と、撮像部１０６と、操作部１０７とから構成され、各部は、バス１０８により接続されている。
制御部１０１は、例えばＣＰＵ（Central Processing Unit）から構成され、表示装置１００全体を制御する。
ＲＯＭ１０２は、制御部１０１が表示装置１００全体を制御するためのプログラムや各種データを格納する不揮発性メモリである。
ＲＡＭ１０３は、制御部１０１が生成した情報や、その情報の生成に必要なデータを一時的に格納するための揮発性メモリである。
ディスプレイ１０４は、ＬＣＤ（Liquid Crystal Display）およびバックライト等を備え、制御部１０１による制御の下、例えば、制御部１０１から出力された画像を表示する。
センサ部１０５は、姿勢センサや加速度センサを備え、表示装置１００の向きを検知する。
撮像部１０６は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary metal-oxide-semiconductor）といったイメージセンサを備え、表示装置１００の前方、すなわち、ユーザの視線方向の様子を撮影する。
操作部１０７は、ボタン、キーボード、タッチパネル等の入力装置から構成される。操作部１０７は、表示装置１００のユーザからの操作入力を受け付け、受け付けた操作入力に対応する信号を制御部１０１に出力する。
次に、本実施形態での現実空間における表示装置１００、ユーザ、及び第１オブジェクトの位置関係について説明する。なお、本実施形態では、表示装置１００が、ディスプレイ１０４に表示される画像と、現実空間とをユーザが同時に視認できるように構成されるヘッドマウントディスプレイであるものとする。このような構成は、例えば、ディスプレイ１０４として透過型ディスプレイを採用することにより実現できる。さらに、ディスプレイ１０４は、透過膜への画像投影、またはユーザの網膜への画像投影により実現されてもよい。また、表示装置１００は、ディスプレイ１０４として不透明液晶を備え、撮像部１０６で撮影した現実空間の画像と、仮想空間におけるオブジェクトの画像とを合成して不透明液晶に表示してもよい。
図２Ａは、現実空間２０１において表示装置１００を装着したユーザ２０２と、第１オブジェクト３００ａ〜３００ｃとの様子を示す俯瞰図である。図２Ｂは、現実空間２０１において表示装置１００を装着したユーザ２０２と、第１オブジェクト３００ａ〜３００ｃとの様子を示す上面図である。
図２Ａ及び図２Ｂに示すように、現実空間２０１において、ユーザ２０２は、表示装置１００を眼前に装着している。ユーザ２０２が表示装置１００を装着しているときには、表示装置１００の表示方向２０３は、ユーザ２０２が表示装置１００を見る視線方向２０４と逆向きになる。
また、図２Ａ及び図２Ｂに示すように、現実空間２０１において、静止もしくは移動する複数の観察対象者３０１ａ〜３０１ｃが存在している。観察対象者３０１ａ〜３０１ｃは、それぞれ第１オブジェクト３００ａ〜３００ｃを装着している。本実施形態においては、第１オブジェクト３００ａ〜３００ｃは、観察対象者３０１ａ〜３０１ｃと対応付けられた所定のパターン画像を含むＡＲマーカである。第１オブジェクト３００ａ〜３００ｃのパターン画像は、例えば予めＲＯＭ１０２に記憶されている。ユーザ２０２は、観察対象者３０１ａ〜３０１ｃのうち、興味がある観察対象者の第１オブジェクト３００ａ〜３００ｃに注目することにより、後述するように注目した観察対象者に関連する情報をディスプレイ１０４に表示させることができる。
図３は、本発明の実施形態に係る表示装置１００の機能構成を示す概略ブロック図である。図３に示すように、表示装置１００は、推定部１１１と、表示部１１２と、消去部１１３と、修正部１１４と、ディスプレイ１０４とを備える。
推定部１１１は、オブジェクトがユーザ２０２の視線上にあるか否かを推定する。本実施形態において、推定部１１１は、第１オブジェクト３００ａ〜３００ｃ、及び後述する第２オブジェクト５００がユーザ２０２の視線上にあるか否かを推定する。
まず、推定部１１１が、第１オブジェクト３００ａ〜３００ｃがユーザ２０２の視線上にあるか否かを推定する方法の一例を説明する。例えば、推定部１１１は、撮像部１０６によりユーザ２０２の視線方向２０４を撮影し、その撮像画像の所定の範囲を注目領域として特定する。注目領域は、例えば、撮像画像中の中央を視線方向として、中央から所定の範囲が注目領域として特定される。そして、推定部１１１は、撮像画像中の注目領域内に第１オブジェクト３００ａ〜３００ｃが存在するとき、その第１オブジェクト３００ａ〜３００ｃがユーザ２０２の視線上にあると推定する。
例えば、撮像部１０６が図４に示す撮像画像４００を撮影したとき、推定部１１１は、撮像画像４００のうち、中央から所定の範囲を注目領域４０１として特定する。そして、推定部１１１は、注目領域４０１内の画像と、予め記憶された第１オブジェクト３００ａ〜３００ｃのパターン画像とを比較し、画像認識により、注目領域４０１内に第１オブジェクト３００ａ〜３００ｃがあるか否かを判定する。推定部１１１は、図４に示すように注目領域４０１内に第１オブジェクト３００ｂのパターン画像があると判定すると、第１オブジェクト３００ｂがユーザ２０２の視線上にあると推定する。
なお、推定部１１１が、第２オブジェクト５００がユーザ２０２の視線上にあるか否かを推定する場合について説明する。推定部１１１は、ディスプレイ１０４の所定の範囲を注目領域として特定する。注目領域は、例えば、ディスプレイ１０４の中央から所定の領域が注目領域として特定される。そして、推定部１１１は、ディスプレイ１０４の注目領域内に第２オブジェクト５００が表示されているか否かを判定する。注目領域内に第２オブジェクト５００が表示されていると判定すると、その第２オブジェクト５００がユーザ２０２の視線上にあると推定する。
例えば、表示部１１２が図５に示すようにディスプレイ１０４に第２オブジェクト５００を表示しているとき、推定部１１１は、ディスプレイ１０４の中央から所定の範囲を注目領域６０１として特定する。そして、推定部１１１は、注目領域６０１内に第２オブジェクト５００が表示されていると判定すると、第２オブジェクト５００がユーザ２０２の視線上にあると推定する。なお、推定部１１１は、第２オブジェクト５００の代表点（例えば、中心点や重心点）の位置を、第２オブジェクト５００の位置として、注目領域６０１内に表示されているか否かを判定する。
本実施形態において、制御部１０１及び撮像部１０６が協働することにより、推定部１１１として機能する。
表示部１１２は、第１オブジェクト３００ａ〜３００ｃが、ユーザ２０２に対して設定された第１閾時間以上継続してユーザ２０２の視線上にある、と推定されると、第１オブジェクト３００ａ〜３００ｃに係る情報を表す第２オブジェクト５００を、ユーザ２０２の視界内に表示する。
ここで、第１閾時間は、ユーザ２０２が第１オブジェクト３００ａ〜３００ｃに注目しているか否かを推定するための閾時間である。第１閾時間は、ユーザ毎に設定され、例えばＲＡＭ１０３に記憶される。
また、第２オブジェクト５００は、第１オブジェクト３００ａ〜３００ｃに係る情報を表すオブジェクトである。本実施形態において、第２オブジェクト５００は、第１閾時間以上継続してユーザ２０２の視線上にあると推定された第１オブジェクト３００ａ〜３００ｃを装着している観察対象者３０１ａ〜３０１ｃに関する情報を表す。観察対象者３０１ａ〜３０１ｃに関する情報は、例えば第１オブジェクト３００ａ〜３００ｃのマーカ画像と対応付けて予めＲＯＭ１０２に記憶されていてもよいし、外部の記憶装置に記憶されていてもよい。
例えば、表示部１１２は、推定部１１１により第１オブジェクト３００ｂがユーザ２０２の視線上にあると推定されると、継続してその第１オブジェクト３００ｂがユーザ２０２の視線上にある時間長（視線上時間長）をカウントする。そして、表示部１１２は、カウントした視線上時間長が第１閾時間以上であると判定すると、第１オブジェクト３００ｂと対応付けられた観察対象者３０１ｂに関する情報をＲＯＭ１０２から取得し、取得された情報を表す第２オブジェクト５００をユーザ２０２の視界内に表示する。
例えば、表示部１１２は、図６に示すように、ディスプレイ１０４の注目領域６０１内に観察対象者３０１ｂに関する情報を表す第２オブジェクト５００を表示する。さらに、表示部１１２は、第２オブジェクト５００が現実空間２０１において静止しているように見えるように、表示装置１００の向きに応じて第２オブジェクトの表示位置を変更する。具体的には、表示部１１２は、視線上時間長が第１閾時間以上であると判定すると、図６に示すように第２オブジェクト５００を注目領域６０１内であって、図７に示すように現実空間２０１において観察対象者３０１ｂの手前の位置Ｐｂに出現したように見えるように、ディスプレイ１０４に表示する。また、図７に示すように、ユーザ２０２が頭を破線の位置から実線の位置へ移動するように反時計回りにθ回転させると、表示部１１２は、センサ部１０５により表示装置１００の向きの変化を検知する。そして、表示部１１２は、第２オブジェクト５００が現実空間２０１において位置Ｐｂに留まっているように見えるように、すなわち図８に示すようにディスプレイ１０４において右方向に移動させて、第２オブジェクト５００を表示する。
また、表示部１１２は、第２オブジェクト５００の表示を開始すると、継続してその第２オブジェクト５００がユーザ２０２の視線上にある時間、すなわち第２オブジェクト５００の閲覧時間長のカウントを開始する。
本実施形態において、制御部１０１及びセンサ部１０５が協働することにより、表示部１１２として機能する。
消去部１１３は、第２オブジェクト５００が、ユーザ２０２に対して設定された第２閾時間以上継続してユーザ２０２の視線上にない、と推定されると、第２オブジェクト５００をユーザ２０２の視界内から消去する。
ここで、第２閾時間は、ユーザ２０２が第２オブジェクト５００に注目しているか否かを推定するための閾時間である。第２閾時間は、ユーザ毎に設定され、例えばＲＡＭ１０３に記憶される。
消去部１１３は、推定部１１１により第２オブジェクト５００がユーザ２０２の視線上にないと推定されると、第２オブジェクト５００の閲覧時間長のカウントを停止し、第２オブジェクト５００がユーザの視線上にないと推定される時間長（視線外時間長）のカウントを開始する。そして、消去部１１３は、視線外時間長が第２閾時間以上になると、その第２オブジェクト５００をユーザ２０２の視界内から消去する。
例えば、図８に示すように、第２オブジェクト５００が注目領域６０１内に表示されず、推定部１１１によりユーザ２０２の視線上にないと推定される視線外時間長が第２閾時間以上になると、消去部１１３は、図９に示すように、第２オブジェクト５００の表示を終了することにより、ディスプレイ１０４から第２オブジェクト５００を消去する。
すなわち、消去部１１３は、第２オブジェクト５００が第２閾時間以上継続してユーザ２０２の視線上にないと推定されたとき、ユーザ２０２は第２オブジェクト５００に注目していないと推定する。そして、消去部１１３は、ユーザ２０２が注目していないと推定された第２オブジェクト５００をユーザ２０２の視界内、すなわちディスプレイ１０４から消去する。
本実施形態において、制御部１０１が、消去部１１３として機能する。
修正部１１４は、第２オブジェクト５００がユーザ２０２の視線上にある、と推定された閲覧時間長に応じて、ユーザ２０２に対して設定される第１閾時間を修正する。具体的には、修正部１１４は、閲覧時間長が所定の閾時間よりも短いとき、第１閾時間を所定時間だけ長く修正する。
すなわち、閲覧時間長が所定の閾時間よりも短いとき、第２オブジェクト５００は、表示されてから第２閾時間経過後すぐに、詳細には第２閾時間と閲覧時間長とを足し合わせた時間が経過した後に、消去される。このように第２オブジェクト５００の閲覧時間長が所定の閾時間よりも短いとき、第１閾時間が短すぎて、偶然ユーザ２０２の注目領域４０１内を通過した第１オブジェクト３００ａ〜３００ｃ、すなわち、ユーザが注目していない第１オブジェクト３００ａ〜３００ｃに係る情報を表す第２オブジェクト５００が表示された可能性が高いと考えられる。そのため、修正部１１４は、第１閾時間が長くなるように修正する。
本実施形態において、制御部１０１が、修正部１１４として機能する。
次に、本発明の実施形態にかかる表示装置１００の動作について説明する。図１０は、表示装置１００の制御部１０１により実行される表示処理の流れを表すフローチャートである。本処理は、例えば、操作部１０７を介して本処理の開始指示を受け付けたことを契機として開始する。
まず、表示装置１００は、現実空間２０１内における表示装置１００の向きを予め定められた初期状態に設定する（ステップＳ１０１）。
次に、表示装置１００は、表示装置１００の向きを検知し、視線方向を検知する（ステップＳ１０２）。
次に、表示装置１００は、視線方向を撮像する（ステップＳ１０３）。
そして、表示装置１００は、ステップＳ１０３において撮像された撮像画像に基づいて、ユーザ２０２の視線上に第１オブジェクト３００ａ〜３００ｃがあるか否かを判定する（ステップＳ１０４）。表示装置１００は、ユーザ２０２の視線上に第１オブジェクト３００ａ〜３００ｃがないと判定したとき（ステップＳ１０４；Ｎｏ）、ステップＳ１０３の処理に戻る。
表示装置１００は、ユーザ２０２の視線上に第１オブジェクト３００ａ〜３００ｃがあると判定したとき（ステップＳ１０４；Ｙｅｓ）、第２オブジェクト表示処理を実行する（ステップＳ１０５）。
図１１は、表示装置１００の制御部１０１により実行される第２オブジェクト表示処理の流れを表すフローチャートである。
表示装置１００は、第２オブジェクト表示処理を開始すると、図１０のステップＳ１０４においてユーザ２０２の視線上にあると判定された第１オブジェクト３００ａ〜３００ｃの視線上時間長のカウントを開始する（ステップＳ２０１）。
表示装置１００は、視線方向を撮像する（ステップＳ２０２）。
表示装置１００は、ステップＳ２０２において撮像された撮像画像に基づいて、ユーザの視線上に第１オブジェクト３００ａ〜３００ｃがあるか否かを判定する（ステップＳ２０３）。表示装置１００は、ユーザ２０２の視線上に第１オブジェクト３００ａ〜３００ｃがないと判定したとき（ステップＳ２０３；Ｎｏ）、視線上時間長のカウントを停止して図１０のステップＳ１０３の処理に戻る。
表示装置１００は、ユーザの視線上に第１オブジェクト３００ａ〜３００ｃがあると判定したとき（ステップＳ２０３；Ｙｅｓ）、視線上時間長が第１閾時間以上か否かを判定する（ステップＳ２０４）。表示装置１００は、視線上時間長が第１閾時間以上でないと判定したとき（ステップＳ２０４；Ｎｏ）、ステップＳ２０２の処理に戻る。
表示装置１００は、視線上時間長が第１閾時間以上であると判定したとき（ステップＳ２０４；Ｙｅｓ）、ユーザ２０２の視線上にあると判定された第１オブジェクト３００ａ〜３００ｃと対応付けられた観察対象者３０１ａ〜３０１ｃに関する情報を取得する（ステップＳ２０５）。
表示装置１００は、ステップＳ２０５において取得した情報を表す第２オブジェクト５００を生成する（ステップＳ２０６）。
表示装置１００は、ステップＳ２０６において生成した第２オブジェクト５００をディスプレイ１０４に表示する（ステップＳ２０７）。
表示装置１００は、閲覧時間長のカウントを開始する（ステップＳ２０８）。そして、表示装置１００は、第２オブジェクト表示処理を終了し、図１０のステップＳ１０６に進む。
図１０に戻って、表示装置１００は、視線方向を撮像する（ステップＳ１０６）。
そして、表示装置１００は、ステップＳ１０５の第２オブジェクト表示処理により表示された第２オブジェクト５００がユーザ２０２の視線上にあるか否かを判定する（ステップＳ１０７）。表示装置１００は、第２オブジェクト５００がユーザ２０２の視線上にあると判定したとき（ステップＳ１０７；Ｙｅｓ）、ステップＳ１０６の処理に戻る。
そして、表示装置１００は、第２オブジェクト５００がユーザ２０２の視線上にないと判定したとき（ステップＳ１０７；Ｎｏ）、第２オブジェクト消去処理を実行する（ステップＳ１０８）。
図１２は、表示装置１００の制御部１０１により実行される第２オブジェクト消去処理の流れを表すフローチャートである。
表示装置１００は、第２オブジェクト消去処理を開始すると、第２オブジェクトの閲覧時間長のカウントを停止する（ステップＳ３０１）。そして、表示装置１００は、第２オブジェクト５００の視線外時間長のカウントを開始する（ステップＳ３０２）。
表示装置１００は、視線方向を撮像する（ステップＳ３０３）。
表示装置１００は、ステップＳ３０３において撮像された撮像画像に基づいて、ユーザ２０２の視線上に第２オブジェクト５００があるか否かを判定する（ステップＳ３０４）。
表示装置１００は、ユーザ２０２の視線上に第２オブジェクト５００があると判定したとき（ステップＳ３０４；Ｙｅｓ）、視線外時間長のカウントを停止する（ステップＳ３０５）。そして、表示装置１００は、閲覧時間長のカウントを開始し（ステップＳ３０６）、図１０のステップＳ１０６に戻る。
表示装置１００は、ユーザ２０２の視線上に第２オブジェクト５００がないと判定したとき（ステップＳ３０４；Ｎｏ）、視線外時間長が第２閾時間以上か否かを判定する（ステップＳ３０７）。表示装置１００は、視線外時間長が第２閾時間以上でないと判定したとき（ステップＳ３０７；Ｎｏ）、ステップＳ３０３の処理に戻る。
表示装置１００は、視線外時間長が第２閾時間以上であると判定したとき（ステップＳ３０７；Ｙｅｓ）、視線外時間長のカウントを停止する（ステップＳ３０８）。そして、表示装置１００は、第２オブジェクト５００をユーザ２０２の視界内から消去し（ステップＳ３０９）、図１０のステップＳ１０９の処理に進む。
図１０に戻って、表示装置１００は、ステップＳ１０８の第２オブジェクト消去処理により閲覧時間長のカウントが停止されるまでの閲覧時間長に応じて、第１閾時間を修正する（ステップＳ１０９）。そして、表示装置１００は、ステップＳ１０３の処理に戻る。
そして、表示装置１００は、例えば操作部１０７を介して本処理の終了指示を受け付けるまで、繰り返し上記の処理を実行する。
以上説明したように、本発明の実施形態に係る表示装置１００は、第２オブジェクト５００の閲覧時間長に応じて、ユーザ２０２が第１オブジェクト３００ａ〜３００ｃに注目しているか否かを推定するための第１閾時間を修正する。そのため、表示装置１００は、ユーザ２０２の視線上にある第１オブジェクト３００ａ〜３００ｃが、ユーザ２０２が意図的に注目しているオブジェクトなのか、偶然視線上を通過したオブジェクトなのかを適切に判定することができる。
また、表示装置１００は、第２オブジェクト５００の閲覧時間長が所定の閾時間よりも短いとき、第１閾時間を所定時間だけ長くなるように修正する。第２オブジェクト５００の閲覧時間長が所定の閾時間よりも短いとき、偶然ユーザ２０２の視線上を通った第１オブジェクト３００ａ〜３００ｃの第２オブジェクト５００が表示された可能性が高い。この場合、第１閾時間を長くすることにより、ユーザ２０２が第１オブジェクト３００ａ〜３００ｃに注目しているのかを推定するための第１閾時間をユーザ２０２に応じて適切に修正することができる。
（第２実施形態）
上記の第１実施形態では、第１オブジェクト３００ａ〜３００ｃ自体の視線上時間長と第１閾時間とを比較して、ユーザ２０２が第１オブジェクト３００ａ〜３００ｃに注目しているか否かを判定する例について説明した。本実施形態では、第１オブジェクト３００ａ〜３００ｃに対応付けられる第３オブジェクトを表示し、第３オブジェクトの視線上時間長を第１閾時間と比較することにより、ユーザ２０２が第１オブジェクト３００ａ〜３００ｃに注目しているか否かを判定する例について説明する。なお、第１実施形態と同様の構成については、同様の符号を用い、その詳細な説明を省略する。
図１３は、本発明の実施形態に係る表示装置１００ａの機能構成を示す概略ブロック図である。図１３に示すように、表示装置１００ａは、推定部１１１ａと、表示部１１２ａと、消去部１１３と、修正部１１４ａと、ディスプレイ１０４とを備える。
推定部１１１ａは、さらに第３オブジェクトがユーザ２０２の視線上にあるか否かを推定する。推定部１１１ａは、実施形態１における第２オブジェクト５００と同様に、第３オブジェクトがユーザ２０２の視線上にあるか否かを推定することができる。
表示部１１２ａは、第１オブジェクト３００ａ〜３００ｃが、ユーザ２０２に対して設定された第３閾時間であって、第１閾時間より短い第３閾時間以上継続して、ユーザ２０２の視線上にある、と推定されると、第１オブジェクト３００ａ〜３００ｃに対応付けられる第３オブジェクトを、ユーザ２０２の視界内にさらに表示する。そして、表示部１１２ａは、第３オブジェクトが、第１閾時間以上継続してユーザ２０２の視線上にある、と推定されると、第３オブジェクトをユーザ２０２の視界内から消去して、第２オブジェクト５００をユーザ２０２の視界内に表示する。また、表示部１１２ａは、第３オブジェクトが、第１閾時間以上継続してユーザ２０２の視線上にない、と推定すると、第３オブジェクトをユーザ２０２の視界内から消去する。
ここで、第３閾時間は、第１オブジェクト３００ａ〜３００ｃに注目しているか否かを予備的に判定するための閾時間である。第３閾時間は、第１閾時間よりも短く設定されており、例えば、第３閾時間＝第１閾時間×ｋ（０＜ｋ＜１の定数）のように、第１閾時間に基づいて計算されてもよい。
また、第３オブジェクトは、第１オブジェクト３００ａ〜３００ｃの代わりとして、第１オブジェクト３００ａ〜３００ｃがユーザ２０２に注目されているか否かの判定に用いられるオブジェクトである。第３オブジェクトは、例えば、人型のオブジェクトである。
さらに、表示部１１２ａは、第３オブジェクトを、第１オブジェクト３００ａ〜３００ｃと同じ現実空間２０１の位置に出現させる。そして、表示部１１２ａは、第３オブジェクトを、現実空間２０１における出現した位置を維持するように表示する。例えば、表示部１１２ａは、図４に示すように、第１オブジェクト３００ｂが第３閾時間以上継続して、ユーザ２０２の視線上にある、と推定すると、図１４Ａに示すように、その時点における第１オブジェクト３００ｂの現実空間２０１の位置に出現するように、第３オブジェクト７００をディスプレイ１０４に表示する。そして、実施形態１における第２オブジェクト５００と同様に、表示部１１２ａは、第３オブジェクトが現実空間２０１において静止しているように見えるように、表示装置１００ａの向きに応じて第３オブジェクトの表示位置を変更する。従って、例えば、ユーザ２０２が視線方向を変化させず、第１オブジェクト３００ｂを装着した観察対象者３０１ｂが左方向に移動しているとき、図１４Ｂに示すように、第３オブジェクト７００は、出現時における第１オブジェクト３００ｂの位置に留まって表示される。
また、表示部１１２ａは、図１４Ｂに示すように、第３オブジェクト７００が、第１閾時間以上継続して注目領域６０１内にある、すなわちユーザ２０２の視線上にある、と推定すると、図１５に示すように、第３オブジェクト７００をユーザ２０２の視界内から消去して、第２オブジェクト５００をユーザ２０２の視界内に表示する。また、表示部１１２ａは、第３オブジェクト７００が、第１閾時間以上継続してユーザ２０２の視線上にない、と推定すると、第３オブジェクト７００をユーザ２０２の視界内から消去する。
修正部１１４ａは、第３オブジェクト７００が第１閾時間以上継続してユーザ２０２の視線上にあると推定されたことに起因して第２オブジェクト５００が表示された後、第２オブジェクト５００がユーザ２０２の視線上にある、と推定された閲覧時間長に応じて、ユーザに対して設定される第３閾時間を修正する。
具体的には、修正部１１４ａは、実施形態１における第１閾時間と同様に、閲覧時間長が所定の閾時間よりも短いとき、第３閾時間を所定時間だけ長く修正してもよい。すなわち、第２オブジェクト５００の閲覧時間長が所定の閾時間よりも短いとき、第３閾時間が短すぎて、偶然ユーザ２０２の注目領域４０１内を通過した第１オブジェクト３００ａ〜３００ｃ、すなわち、ユーザが注目していない第１オブジェクト３００ａ〜３００ｃに対応付けられる第３オブジェクト７００が表示された可能性が高いと考えられる。そのため、修正部１１４ａは、第３閾時間が長くなるように修正する。
次に、本発明の実施形態にかかる表示装置１００ａの動作について説明する。図１６は、表示装置１００ａの制御部１０１により実行される表示処理の流れを表すフローチャートである。本処理は、例えば、操作部１０７を介して本処理の開始指示を受け付けたことを契機として開始する。
まず、表示装置１００ａは、図１０に示す表示処理のステップＳ１０１〜Ｓ１０４と同様にステップＳ４０１〜Ｓ４０４の処理を実行する。
表示装置１００ａは、ユーザ２０２の視線上に第１オブジェクト３００ａ〜３００ｃがあると判定したとき（ステップＳ４０４；Ｙｅｓ）、第３オブジェクト表示処理を実行する（ステップＳ４０５）。
図１７は、表示装置１００ａの制御部１０１により実行される第３オブジェクト表示処理の流れを表すフローチャートである。
表示装置１００ａは、第３オブジェクト表示処理を開始すると、図１６のステップＳ４０４においてユーザ２０２の視線上にあると判定された第１オブジェクト３００ａ〜３００ｃの視線上時間長のカウントを開始する（ステップＳ５０１）。
表示装置１００ａは、視線方向を撮像する（ステップＳ５０２）。
表示装置１００ａは、ステップＳ５０２において撮像された撮像画像に基づいて、ユーザ２０２の視線上に第１オブジェクト３００ａ〜３００ｃがあるか否かを判定する（ステップＳ５０３）。表示装置１００ａは、ユーザ２０２の視線上に第１オブジェクト３００ａ〜３００ｃがないと判定したとき（ステップＳ５０３；Ｎｏ）、視線上時間長のカウントを停止して図１６のステップＳ４０３の処理に戻る。
表示装置１００ａは、ユーザの視線上に第１オブジェクトがあると判定したとき（ステップＳ５０３；Ｙｅｓ）、視線上時間長が第３閾時間以上か否かを判定する（ステップＳ５０４）。表示装置１００ａは、視線上時間長が第３閾時間以上でないと判定したとき（ステップＳ５０４；Ｎｏ）、ステップＳ５０２の処理に戻る。
表示装置１００ａは、視線上時間長が第３閾時間以上であると判定したとき（ステップＳ５０４；Ｙｅｓ）、第３オブジェクト７００をディスプレイに表示する（ステップＳ５０５）。そして、表示装置１００ａは、図１６のステップＳ４０６に進む。
図１６に戻って、表示装置１００ａは、第２オブジェクト表示処理を実行する（ステップＳ４０６）。
図１８は、表示装置１００ａの制御部１０１により実行される第２オブジェクト表示処理の流れを表すフローチャートである。
表示装置１００ａは、第２オブジェクト表示処理を開始すると、第３オブジェクト７００の視線上時間長のカウントを開始する（ステップＳ６０１）。
表示装置１００ａは、視線方向を撮像する（ステップＳ６０２）。
表示装置１００ａは、ステップＳ６０２において撮像された撮像画像に基づいて、ユーザ２０２の視線上に第３オブジェクト７００があるか否かを判定する（ステップＳ６０３）。
表示装置１００ａは、ユーザ２０２の視線上に第３オブジェクト７００があると判定したとき（ステップＳ６０３；Ｙｅｓ）、視線上時間長が第１閾時間を経過したか否かを判定する（ステップＳ６０４）。表示装置１００ａは、視線上時間長が第１閾時間を経過していないと判定したとき（ステップＳ６０４；Ｎｏ）、ステップＳ６０２の処理に戻る。
表示装置１００ａは、視線上時間長が第１閾時間を経過したと判定したとき（ステップＳ６０４；Ｙｅｓ）、第３オブジェクト７００を消去する（ステップＳ６０５）。
表示装置１００ａは、第３オブジェクト７００と対応付けられた第１オブジェクト３００ａ〜３００ｃの観察対象者３０１ａ〜３０１ｃに関する情報を取得する（ステップＳ６０６）。
表示装置１００ａは、ステップＳ６０６において取得した情報を表す第２オブジェクトを生成する（ステップＳ６０７）。
表示装置１００ａは、ステップＳ６０７において生成した第２オブジェクトをディスプレイ１０４に表示する（ステップＳ６０８）。
そして、表示装置１００ａは、閲覧時間長のカウントを開始する（ステップＳ６０９）。そして、表示装置１００ａは、第２オブジェクト表示処理を終了し、図１６のステップＳ４０７に進む。
また、表示装置１００ａは、ユーザの視線上に第３オブジェクトがないと判定したとき（ステップＳ６０３；Ｎｏ）、第３オブジェクト消去処理を実行する（ステップＳ６１０）。
図１９は、表示装置１００ａの制御部１０１により実行される第３オブジェクト消去処理の流れを表すフローチャートである。
表示装置１００ａは、第３オブジェクト消去処理を開始すると、第３オブジェクトの視線上時間長のカウントを停止する（ステップＳ７０１）。そして、表示装置１００ａは、第３オブジェクト７００の視線外時間長のカウントを開始する（ステップＳ７０２）。
表示装置１００ａは、視線方向を撮像する（ステップＳ７０３）。
表示装置１００ａは、ステップＳ７０３において撮像された撮像画像に基づいて、ユーザ２０２の視線上に第３オブジェクト７００があるか否かを判定する（ステップＳ７０４）。
表示装置１００ａは、ユーザ２０２の視線上に第３オブジェクト７００があると判定したとき（ステップＳ７０４；Ｙｅｓ）、視線外時間長のカウントを停止する（ステップＳ７０５）。そして、表示装置１００ａは、第３オブジェクト７００の視線上時間長のカウントを開始し（ステップＳ７０６）、図１８のステップＳ６０２に戻る。
表示装置１００ａは、ユーザ２０２の視線上に第３オブジェクト７００がないと判定したとき（ステップＳ７０４；Ｎｏ）、視線外時間長が第１閾時間以上か否かを判定する（ステップＳ７０７）。表示装置１００ａは、視線外時間長が第１閾時間以上でないと判定したとき（ステップＳ７０７；Ｎｏ）、ステップＳ７０３の処理に戻る。
表示装置１００ａは、視線外時間長が第１閾時間以上であると判定したとき（ステップＳ７０７；Ｙｅｓ）、視線外時間長のカウントを停止する（ステップＳ７０８）。そして、表示装置１００ａは、第３オブジェクト７００をユーザ２０２の視界内から消去し（ステップＳ７０９）、図１６のステップＳ４０３の処理に戻る。
図１６に戻って、表示装置１００ａは、図１０の表示処理のステップＳ１０６〜Ｓ１０９と同様の処理をステップＳ４０７〜Ｓ４１０において実行する。
表示装置１００ａは、ステップＳ４０９の第２オブジェクト消去処理により閲覧時間長のカウントが停止されるまでの閲覧時間長に応じて、第３閾時間を修正する（ステップＳ４１１）。そして、表示装置１００ａは、ステップＳ４０３の処理に戻る。
そして、表示装置１００ａは、例えば操作部１０７を介して本処理の終了指示を受け付けるまで、繰り返し上記の処理を実行する。
以上説明したように、本発明の実施形態に係る表示装置１００ａは、第１オブジェクト３００ａ〜３００ｃが第３閾時間以上ユーザ２０２の視線上にあると推定されると、第３オブジェクト７００が表示される。また、第３オブジェクト７００が、第１閾時間以上継続してユーザ２０２の視線上にあると推定されると、第３オブジェクト７００が消去され、第２オブジェクト５００が表示される。そのため、ユーザ２０２は、第２オブジェクト５００を表示させたい第１オブジェクト３００ａ〜３００ｃが移動している場合であっても、第１オブジェクト３００ａ〜３００ｃを第１閾時間よりも短い第３閾時間注目することにより、第３オブジェクト７００を表示させ、その第３オブジェクト７００を第１閾時間注目することにより、第２オブジェクトを表示させることができる。従って、ユーザ２０２は、第１オブジェクト３００ａ〜３００ｃを第１閾時間注目しつづけることにより第２オブジェクト５００を表示させる場合よりも、容易に第２オブジェクト５００を表示させることができる。
また、表示装置１００ａは、第３オブジェクト７００が第１閾時間以上継続してユーザ２０２の視線上にある、と推定されることに起因してユーザ２０２の視線上にあると推定された閲覧時間長に応じて、第３閾時間を修正する。そのため、表示装置１００ａは、ユーザ２０２の視線上にある第１オブジェクト３００ａ〜３００ｃが、ユーザ２０２が意図的に注目しているオブジェクトなのか、偶然視線上を通過したオブジェクトなのかを予備的に判定するための第３閾時間をユーザ２０２に応じて適切に修正することができる。
以上に本発明の実施形態について説明したが、上記実施形態は一例であり、本発明の適用範囲はこれに限られない。即ち、本発明の実施形態は種々の応用が可能であり、あらゆる実施の形態が本発明の範囲に含まれる。
上記の実施形態１及び実施形態２において、第１オブジェクト３００ａ〜３００ｃが、所定のパターン画像を表すＡＲマーカである例について説明したが、第１オブジェクトとして適用可能なものはこれに限られない。例えば、第１オブジェクトは、現実空間２０１に存在する任意の物体であってもよい。この場合、表示装置１００，１００ａは、予め物体の形状パターンを記憶し、撮像画像と形状パターンとから、画像認識により物体を認識してもよい。
さらに、第１オブジェクトは、仮想空間におけるオブジェクトであってもよい。この場合、表示装置１００，１００ａは、表示装置１００，１００ａの向きに応じて仮想空間における視線方向を検知し、仮想空間における第１オブジェクトの既知の位置や移動速度に基づいて、ユーザ２０２の視線上にある第１オブジェクトを推定してもよい。
また、上記の実施形態１及び２において表示装置１００，１００ａは、画像認識により第１オブジェクト３００ａ〜３００ｃがユーザ２０２の視線上にあるか否かを推定し、表示装置１００，１００ａの向きに応じて視線方向及び注目領域６０１を移動させることにより第２オブジェクト５００及び第３オブジェクト７００がユーザ２０２の視線上にあるか否かを推定する例について説明した。しかし、推定部１１１が、第１オブジェクト３００ａ〜３００ｃ、第２オブジェクト５００、及び第３オブジェクト７００がユーザ２０２の視線上にあるか否かを推定する方法はこれに限られない。表示装置１００，１００ａは、アイトラッキングによりユーザ２０２の視線方向を検知し、第１オブジェクト３００ａ〜３００ｃ、第２オブジェクト５００、及び第３オブジェクト７００がユーザ２０２の視線上にあるか否かを推定してもよい。
また、上記の実施形態１及び２において、表示装置１００，１００ａは、第２オブジェクト５００の閲覧時間長が所定の閾時間よりも短いとき、第１閾時間または第３閾時間を所定時間だけ長く修正する例について説明した。しかし、閲覧時間長に応じて第１閾時間及び第３閾時間を修正する方法はこれに限られない。
例えば、表示装置１００，１００ａは、第２オブジェクト５００の閲覧時間長の出現頻度の分布を求め、分布に基づいて第１閾時間及び第３閾時間を修正してもよい。例えば、表示装置１００，１００ａは、第２オブジェクトの閲覧時間長を記録し、図２０Ａに示すような分布が得られたとする。図２０Ａにおいて、横軸は、第２オブジェクト５００の閲覧時間長、縦軸は閲覧時間長の出現頻度を表す。ユーザ２０２にとって興味がある情報が第２オブジェクト５００に表されている場合、閲覧時間長は長くなり、ユーザ２０２にとって興味がない情報が第２オブジェクト５００に表されている場合、閲覧時間長は短くなる傾向にあると考えられる。従って、図２０Ａに示すように、閲覧時間長の出現頻度の分布は、閲覧時間長が短い側のピークと、閲覧時間長が長い側のピークとの２つのピークを持つと考えられる。そのため、例えば、０≦ｔ≦ｔｃの閲覧時間長ｔの分布が得られた場合、閲覧時間長の長さに応じて分布を０≦ｔ＜ｔａ、ｔａ≦ｔ＜ｔｂ、ｔｂ≦ｔ≦ｔｃのように３分割し、閲覧時間長ｔが０≦ｔ＜ｔａのとき、第１閾時間Ｔ１を１．０５倍、閲覧時間長ｔがｔａ≦ｔ＜ｔｂのとき、現在の第１閾時間Ｔ１を維持、閲覧時間長ｔがｔｂ≦ｔ≦ｔｃのとき、第１閾時間Ｔ１を０．９６倍、のように閲覧時間長ｔの分布に基づいて、第１閾時間Ｔ１を修正してもよい。なお、閲覧時間長ｔが０≦ｔ＜ｔａのとき、またはｔｂ≦ｔ≦ｔｃのときにおける第１閾時間Ｔ１が増加または減少する度合は、上記の例に限られず、閲覧時間長ｔが０≦ｔ＜ｔａのとき、第１閾時間Ｔ１をＣ１×Ｔ１（Ｃ１はＣ１＞１であって、1に近い定数）、閲覧時間長ｔがｔｂ≦ｔ≦ｔｃのとき、第１閾時間Ｔ１をＣ２×Ｔ１（Ｃ２はＣ２＜１であって、1に近い定数）のように定数Ｃ１，Ｃ２を適宜定めることが可能である。
また、図２０Ｂに示すように、閲覧時間長の分布における２つのピークの間の谷である閲覧時間長ｔｄを閾値として、第１閾時間を所定時間だけ増減してもよい。例えば、閲覧時間長ｔが短い閲覧時間長のピーク側である０≦ｔ＜ｔｄのとき、第１閾時間を所定時間α（αは正の数）だけ増加させ、閲覧時間長ｔが長い閲覧時間長のピーク側であるｔｄ≦ｔのとき、第１閾時間Ｔ１を所定時間αだけ減少させてもよい。
また、図２０Ｃに示すように、閲覧時間長の分布において、ｍ個（ｍ≧３）のピークがある場合には、閲覧時間長ｔが、短い閲覧時間長側からｍ／３個のピークに属する０≦ｔ＜ｔｅのとき、第１閾時間Ｔ１を所定時間αだけ増加させてもよい。
なお、上記の図２０Ａ〜図２０Ｃに示す例では、閲覧時間長の分布に基づいて、第１閾時間を修正する例について説明したが、同様の方法により、閲覧時間長の分布に基づいて第３閾時間を修正してもよい。
また、実施形態２において、第３オブジェクト７００は、出現後、第１オブジェクト３００ａ〜３００ｃと同じ位置に留まる例について説明した。しかし、第３オブジェクト７００の態様はこれに限られない。例えば、表示装置１００ａは、第３オブジェクト７００の出現後、第１オブジェクト３００ａ〜３００ｃの移動の軌跡を辿るように移動し、かつ、第３オブジェクトの移動速度が徐々に遅くなるように、第３オブジェクト７００を表示してもよい。
さらに、表示装置１００ａは、第３オブジェクト７００の出現後、第１オブジェクト３００ａ〜３００ｃがユーザ２０２の視界内から出るまで第１オブジェクト３００ａ〜３００ｃに追随し、第１オブジェクト３００ａ〜３００ｃがユーザ２０２の視界内から出ると、ユーザ２０２の視界内の縁に留まるように第３オブジェクト７００を表示してもよい。例えば、図１４Ａに示すように、第３オブジェクト７００が第１オブジェクト３００ｂの位置に出現した場合、第１オブジェクト３００ｂが左方向に移動しているとすると、図２１Ａに示すように、第３オブジェクト７００は、第１オブジェクト３００ｂに追随して移動するように表示される。そして、第１オブジェクト３００ｂがユーザ２０２の視界内から出たことが検知されると、第３オブジェクト７００は、ディスプレイ１０４の左縁に留まるように表示される。このように、第１オブジェクト３００ａ〜３００ｃに対応付けられる第３オブジェクト７００がユーザの視界内に留まるように表示されることにより、注目したい第１オブジェクト３００ａ〜３００ｃが移動しており、ユーザの視界から外れた場合であっても、第３オブジェクト７００はユーザの視界内に残るため、第３オブジェクト７００に容易に注目することができ、第２オブジェクト５００を表示させることができる。
なお、本発明に係る機能を実現するための構成を予め備えた表示装置１００，１００ａとして提供できることはもとより、プログラムの適用により、既存のパーソナルコンピュータや情報端末機器等を、本発明に係る表示装置１００，１００ａとして機能させることもできる。即ち、上記実施形態で例示した表示装置１００，１００ａによる各機能構成を実現させるためのプログラムを、既存のパーソナルコンピュータや情報端末機器を制御するＣＰＵ等が実行できるように、既存のパーソナルコンピュータや情報端末機器に適用することで、そのパーソナルコンピュータや情報端末機器を本発明に係る表示装置１００，１００ａとして機能させることができる。また、本発明に係る表示方法は、表示装置１００，１００ａを用いて実施できる。
また、このようなプログラムは、上記に限られず、任意の方法で適用可能である。プログラムを、例えば、コンピュータが読取可能な記録媒体［ＣＤ−ＲＯＭ（Compact Disc Read-Only Memory）、ＤＶＤ（Digital Versatile Disc）、ＭＯ（Magneto Optical disc）等］に格納して適用できる他、インターネット等のネットワーク上のストレージにプログラムを格納しておき、これをダウンロードさせることにより適用することもできる。
なお、本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この発明を説明するためのものであり、本発明の範囲を限定するものではない。即ち、本発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。
本発明は、画像を表示する表示装置、表示方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体に利用することができる。
１００，１００ａ 表示装置
１０１ 制御部
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ ディスプレイ
１０５ センサ部
１０６ 撮像部
１０７ 操作部
１０８ バス
１１１ 推定部
１１２ 表示部
１１３ 消去部
１１４ 修正部
２０１ 現実空間
２０２ ユーザ
２０３ 表示方向
３００ａ〜３００ｃ 第１オブジェクト
３０１ａ〜３０１ｃ 観察対象者
４００ 撮像画像
４０１，６０１ 注目領域
５００ 第２オブジェクト

Claims (15)

  1. オブジェクトがユーザの視線上にあるか否かを推定する推定部と、
    第１オブジェクトが、前記ユーザに対して設定された第１閾時間以上継続して前記ユーザの視線上にある、と推定されると、前記第１オブジェクトに係る情報を表す第２オブジェクトを、前記ユーザの視界内に表示する表示部と、
    前記第２オブジェクトが、前記ユーザに対して設定された第２閾時間以上継続して前記ユーザの前記視線上にない、と推定されると、前記第２オブジェクトを前記ユーザの前記視界内から消去する消去部と、
    前記第２オブジェクトが前記ユーザの前記視線上にある、と推定された閲覧時間長に応じて、前記ユーザに対して設定される前記第１閾時間を修正する修正部と、
    を備える表示装置。
  2. 前記修正部は、前記閲覧時間長が短いほど、前記第１閾時間を長く修正する、
    請求項１に記載の表示装置。
  3. 前記修正部は、前記閲覧時間長の分布に基づいて、前記第１閾時間を修正する、
    請求項１に記載の表示装置。
  4. 前記表示部は、
    前記第１オブジェクトが、前記ユーザに対して設定された第３閾時間であって、前記第１閾時間より短い第３閾時間以上継続して、前記ユーザの前記視線上にある、と推定されると、前記第１オブジェクトに対応付けられる第３オブジェクトを、前記ユーザの視界内に表示し、
    前記第３オブジェクトが、前記第１閾時間以上継続して前記ユーザの前記視線上にある、と推定されると、前記第３オブジェクトを前記ユーザの視界内から消去して、前記第２オブジェクトを前記ユーザの視界内に表示し、
    前記第３オブジェクトが、前記第１閾時間以上継続して前記ユーザの前記視線上にない、と推定されると、前記第３オブジェクトを前記ユーザの視界内から消去する、
    請求項１に記載の表示装置。
  5. 前記表示部は、前記第３オブジェクトを、前記第１オブジェクトと同じ位置に出現するように表示する、
    請求項４に記載の表示装置。
  6. 前記表示部は、前記第３オブジェクトの出現後、前記第３オブジェクトを第１オブジェクトが配置される空間内の位置をそのまま維持するように表示する、
    請求項５に記載の表示装置。
  7. 前記表示部は、前記第３オブジェクトの出現後、前記第１オブジェクトの移動の軌跡を辿るように移動し、かつ、前記第３オブジェクトの移動速度が徐々に遅くなるように前記第３オブジェクトを表示する、
    請求項５に記載の表示装置。
  8. 前記表示部は、前記第３オブジェクトの出現後、前記第１オブジェクトが前記ユーザの視界内から出るまで前記第１オブジェクトに追随し、前記第１オブジェクトが前記ユーザの視界内から出ると、前記ユーザの視界内の縁に留まるように前記第３オブジェクトを表示する、
    請求項５に記載の表示装置。
  9. 前記第３閾時間は、前記第１閾時間に基づいて、計算される、
    請求項４に記載の表示装置。
  10. 前記修正部は、前記第３オブジェクトが、前記第１閾時間以上継続して前記ユーザの前記視線上にある、と推定されることに起因して前記第２オブジェクトが表示された後、前記第２オブジェクトが前記ユーザの前記視線上にある、と推定された閲覧時間長に応じて、前記ユーザに対して設定される前記第３閾時間を修正する、
    請求項４に記載の表示装置。
  11. 前記修正部は、前記閲覧時間長が短いほど、前記第３閾時間を長く修正する、
    請求項１０に記載の表示装置。
  12. 前記修正部は、前記閲覧時間長の分布に基づいて、前記第３閾時間を修正する、
    請求項１０に記載の表示装置。
  13. 表示装置が実行する表示方法であって、
    オブジェクトがユーザの視線上にあるか否かを推定する推定ステップと、
    第１オブジェクトが、前記ユーザに対して設定された第１閾時間以上継続して前記ユーザの視線上にある、と推定されると、前記第１オブジェクトに係る情報を表す第２オブジェクトを、前記ユーザの視界内に表示する表示ステップと、
    前記第２オブジェクトが、前記ユーザに対して設定された第２閾時間以上継続して前記ユーザの前記視線上にない、と推定されると、前記第２オブジェクトを前記ユーザの前記視界内から消去する消去ステップと、
    前記第２オブジェクトが前記ユーザの前記視線上にある、と推定された閲覧時間長に応じて、前記ユーザに対して設定される前記第１閾時間を修正する修正ステップと、
    を備える表示方法。
  14. コンピュータを、
    オブジェクトがユーザの視線上にあるか否かを推定する推定部と、
    第１オブジェクトが、前記ユーザに対して設定された第１閾時間以上継続して前記ユーザの視線上にある、と推定されると、前記第１オブジェクトに係る情報を表す第２オブジェクトを、前記ユーザの視界内に表示する表示部と、
    前記第２オブジェクトが、前記ユーザに対して設定された第２閾時間以上継続して前記ユーザの前記視線上にない、と推定されると、前記第２オブジェクトを前記ユーザの前記視界内から消去する消去部と、
    前記第２オブジェクトが前記ユーザの前記視線上にある、と推定された閲覧時間長に応じて、前記ユーザに対して設定される前記第１閾時間を修正する修正部と、
    として機能させることを特徴とするプログラム。
  15. オブジェクトがユーザの視線上にあるか否かを推定する推定部と、
    第１オブジェクトが、前記ユーザに対して設定された第１閾時間以上継続して前記ユーザの視線上にある、と推定されると、前記第１オブジェクトに係る情報を表す第２オブジェクトを、前記ユーザの視界内に表示する表示部と、
    前記第２オブジェクトが、前記ユーザに対して設定された第２閾時間以上継続して前記ユーザの前記視線上にない、と推定されると、前記第２オブジェクトを前記ユーザの前記視界内から消去する消去部と、
    前記第２オブジェクトが前記ユーザの前記視線上にある、と推定された閲覧時間長に応じて、前記ユーザに対して設定される前記第１閾時間を修正する修正部と、
    として機能させることを特徴とするプログラムを記録した非一時的なコンピュータ読取可能な情報記録媒体。
JP2019524285A 2018-05-21 2018-05-21 表示装置、表示方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体 Active JP6581748B1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/019457 WO2019224866A1 (ja) 2018-05-21 2018-05-21 表示装置、表示方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体

Publications (2)

Publication Number Publication Date
JP6581748B1 true JP6581748B1 (ja) 2019-09-25
JPWO2019224866A1 JPWO2019224866A1 (ja) 2020-06-11

Family

ID=68053514

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019524285A Active JP6581748B1 (ja) 2018-05-21 2018-05-21 表示装置、表示方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体

Country Status (3)

Country Link
US (1) US11334151B2 (ja)
JP (1) JP6581748B1 (ja)
WO (1) WO2019224866A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7490372B2 (ja) * 2020-01-21 2024-05-27 キヤノン株式会社 撮像制御装置及びその制御方法
JP7532045B2 (ja) * 2020-02-19 2024-08-13 キヤノン株式会社 電子機器
CN114003123A (zh) * 2020-07-28 2022-02-01 华为技术有限公司 控件移动方法和电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015122294A1 (ja) * 2014-02-13 2015-08-20 オムロン株式会社 プログラマブル表示器、携帯端末装置、データ処理方法、およびプログラム
JP2015232811A (ja) * 2014-06-10 2015-12-24 株式会社ニコン 表示装置及びデジタルカメラ
JP2016081339A (ja) * 2014-10-17 2016-05-16 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018178224A1 (en) * 2017-03-31 2018-10-04 Advrty Ab Dynamic objects in virtual reality environments
JP6964142B2 (ja) * 2017-11-10 2021-11-10 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法、及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015122294A1 (ja) * 2014-02-13 2015-08-20 オムロン株式会社 プログラマブル表示器、携帯端末装置、データ処理方法、およびプログラム
JP2015232811A (ja) * 2014-06-10 2015-12-24 株式会社ニコン 表示装置及びデジタルカメラ
JP2016081339A (ja) * 2014-10-17 2016-05-16 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム

Also Published As

Publication number Publication date
JPWO2019224866A1 (ja) 2020-06-11
US11334151B2 (en) 2022-05-17
US20210357023A1 (en) 2021-11-18
WO2019224866A1 (ja) 2019-11-28

Similar Documents

Publication Publication Date Title
US20180198986A1 (en) Preview Image Presentation Method and Apparatus, and Terminal
EP3614660B1 (en) Video image processing method and device
JP6581748B1 (ja) 表示装置、表示方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体
JP6525611B2 (ja) 画像処理装置およびその制御方法
US9398349B2 (en) Comment information generation device, and comment display device
US9727789B2 (en) Information processing apparatus and control method thereof
KR20110012128A (ko) 사용자의 시선 정보를 이용한 디지털 오브젝트 탐색 장치 및 방법
EP3528206A1 (en) Image processing apparatus, image processing method, and storage medium
EP3349095B1 (en) Method, device, and terminal for displaying panoramic visual content
CN114690900A (zh) 一种虚拟场景中的输入识别方法、设备及存储介质
CN108200477B (zh) 视频文件生成及播放的方法、装置及设备
JP2010068030A (ja) 画像処理装置、画像処理方法、画像処理プログラム、撮像装置
JP7418104B2 (ja) 画像処理装置及び画像処理装置の制御方法
JP2013101524A (ja) 注視位置推定システム、注視位置推定システムの制御方法、注視位置推定装置、注視位置推定装置の制御方法、プログラム、及び情報記憶媒体
JP2017135660A (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
KR20200091669A (ko) 스마트폰 사용자의 시력 보호 방법 및 그 방법을 수행하기 위한 어플리케이션
JP6456551B1 (ja) 光学機器制御装置、光学機器制御方法、及び光学機器制御プログラム
EP4250065A1 (en) Gesture recognition apparatus, head-mounted-type display apparatus, gesture recognition method, program, and computer readable medium
JP2018174494A (ja) 画像処理装置、画像処理方法及びプログラム
JP2019022186A (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
Lee Novel video stabilization for real-time optical character recognition applications
US10321089B2 (en) Image preproduction apparatus, method for controlling the same, and recording medium
US11451705B2 (en) Imaging control apparatus, imaging control method, and storage medium
JP6611158B2 (ja) ウェアラブル端末、制御方法、およびプログラム
JP2018195893A (ja) 画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190509

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190509

A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20190509

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190617

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190625

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190808

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190827

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190830

R150 Certificate of patent or registration of utility model

Ref document number: 6581748

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250