JP6876639B2 - 表示制御装置、表示制御方法及びプログラム - Google Patents

表示制御装置、表示制御方法及びプログラム Download PDF

Info

Publication number
JP6876639B2
JP6876639B2 JP2018018228A JP2018018228A JP6876639B2 JP 6876639 B2 JP6876639 B2 JP 6876639B2 JP 2018018228 A JP2018018228 A JP 2018018228A JP 2018018228 A JP2018018228 A JP 2018018228A JP 6876639 B2 JP6876639 B2 JP 6876639B2
Authority
JP
Japan
Prior art keywords
display
head
user
line
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018018228A
Other languages
English (en)
Other versions
JP2019135600A (ja
Inventor
田淵 純一
純一 田淵
良樹 柳
良樹 柳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2018018228A priority Critical patent/JP6876639B2/ja
Publication of JP2019135600A publication Critical patent/JP2019135600A/ja
Application granted granted Critical
Publication of JP6876639B2 publication Critical patent/JP6876639B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、表示制御装置、表示制御方法及びプログラムに関する。
近年、ユーザが手を使わずにパーソナルコンピュータの入力操作を実現する技術が提案されている。例えば、下記の特許文献1には、CCDセンサを用いてユーザの眼球位置から推定される視点位置に基づいて、表示装置上のカーソル等の表示を操作する技術が開示されている。
特開2000−23065号公報
しかし、ユーザの表示装置に対する視点位置を眼球位置のみから推定した場合には、視点位置の推定精度が低いため、視点位置に対応した表示装置上の表示を高精度に行うことができない。
そこで、本発明はこれらの点に鑑みてなされたものであり、視点位置に対応した表示装置上の表示を高精度に行うことを目的とする。
本発明の第1の態様においては、ユーザの視線の向きを示す視線情報を取得する視線情報取得部と、前記ユーザの頭部の向きを示す頭部情報を取得する頭部情報取得部と、取得された前記視線情報及び前記頭部情報に基づいて、表示装置に対する前記ユーザの視点位置を推定する視点位置推定部と、推定された前記視点位置に基づいて、前記表示装置の表示を制御する表示制御部と、を備える、表示制御装置を提供する。
また、前記表示制御部は、前記視点位置が前記表示装置の所定領域内に位置すると推定された場合には、前記表示装置の表示画面に付加情報を重畳して表示させることとしてもよい。
また、前記表示制御部は、前記視点位置が前記所定領域内から前記所定領域外へ移動したと推定された場合には、前記付加情報を非表示にすることとしてもよい。
また、前記表示制御部は、前記付加情報として、前記視点位置で表示されている表示内容に関する情報を表示させることとしてもよい。
また、前記表示制御装置は、前記表示画面の中心から所定範囲よりも外側の領域に前記所定領域を設定する領域設定部を更に備えることとしてもよい。
また、前記表示制御装置は、前記表示画面の隅の領域に前記所定領域を設定する領域設定部を更に備えることとしてもよい。
また、前記領域設定部は、前記所定領域の位置及び大きさの少なくとも一方を、前記表示装置の表示内容に応じて変化させることとしてもよい。
また、前記表示制御部は、前記表示装置の所定の位置にマークを表示させ、前記領域設定部は、前記ユーザが視認したマークに応じて、前記所定領域を設定することとしてもよい。
また、前記領域設定部は、前記表示装置と前記ユーザの間の距離、及び前記表示装置の大きさに応じて、前記所定領域を設定することとしてもよい。
また、前記領域設定部は、異なる設置位置に設置された複数の前記表示装置の各々に対して、前記設置位置に応じた前記所定領域を設定することとしてもよい。
また、前記視線情報取得部は、前記ユーザの眼電位を検出する眼電位計から、前記視線情報を取得し、前記頭部情報取得部は、前記頭部の動きを検出する6軸センサから、前記頭部情報を取得することとしてもよい。
また、前記視線情報取得部は、前記ユーザの頭部に装着された頭部装着機器に設けられた前記眼電位計から、前記視線情報を取得し、前記頭部情報取得部は、前記頭部装着機器に設けられた前記6軸センサから、前記頭部情報を取得することとしてもよい。
本発明の第2の態様においては、ユーザの視線の向きを示す視線情報を取得するステップと、前記ユーザの頭部の向きを示す頭部情報を取得するステップと、取得された前記視線情報及び前記頭部情報に基づいて、表示装置に対する前記ユーザの視点位置を推定するステップと、推定された前記視点位置に基づいて、前記表示装置の表示を制御するステップと、を備える、表示制御方法を提供する。
本発明の第3の態様においては、コンピュータに、ユーザの視線の向きを示す視線情報を取得するステップと、前記ユーザの頭部の向きを示す頭部情報を取得するステップと、取得された前記視線情報及び前記頭部情報に基づいて、表示装置に対する前記ユーザの視点位置を推定するステップと、推定された前記視点位置に基づいて、前記表示装置の表示を制御するステップと、を実行させるためのプログラムを提供する。
本発明によれば、視点位置に対応した表示装置上の表示を高精度に行うことができるという効果を奏する。
本発明の一の実施形態に係る表示システムSの構成を説明するための模式図である。 表示装置2の表示画面の一例を示す模式図である。 ユーザUの頭部及び視線の向きを説明するための模式図である。 ユーザUが図3(a)に示す状態にある際の表示装置2の表示例を示す模式図である。 制御装置6の詳細構成を説明するためのブロック図である。 設定領域を説明するための模式図である。 表示装置2に表示される設定画面の一例を説明するための模式図である。 複数の表示装置2A、2Bの設定領域の設定を説明するための模式図である。 ユーザの視点位置に応じた表示装置2の表示処理の流れを説明するためのフローチャートである。
<表示システムの概要>
本発明の一の実施形態に係る表示システムの概要について、図1及び図2を参照しながら説明する。
図1は、一の実施形態に係る表示システムSの構成を説明するための模式図である。図2は、表示装置2の表示画面の一例を示す模式図である。
表示システムSは、図1に示すように、表示装置2と、頭部装着機器4と、制御装置6とを有する。表示システムSは、頭部装着機器4を装着したユーザUの表示装置2に対する視点位置に応じて、表示装置2の表示を制御する。
表示装置2は、制御装置6の制御により、図2に示すような画面等を表示する。例えば、表示装置2は、ゲームの画面を表示する。表示装置2は、例えば据え置き型のディスプレイであり、図1に示すようにユーザUから離れた位置に設置されている。
頭部装着機器4は、ユーザUの頭部に装着されている機器であり、ここでは一例として図1に示すようにメガネである。このため、頭部装着機器4は、ユーザUの頭部の回転に連動して回転する。頭部装着機器4には、ユーザUの視線の向きを検出する視線検出センサ(後述する眼電位計)と、ユーザUの頭部の向きを検出する頭部検出センサ(後述する6軸センサ)とが設けられている。
ユーザUは、注視先を見るために、体軸に対して頭部の向きを変えたり、視線の向きを変えたりする。図1では、ユーザUが、表示装置2の表示画面に正対している状態である。すなわち、ユーザUの頭部及び視線の向きが、同一方向であり、表示装置2の表示画面を向いている状態である。
図3は、ユーザUの頭部及び視線の向きを説明するための模式図である。図3(a)には、ユーザUが、表示装置2の縁側を注視するために、図1に示す状態から頭部の向きを体軸C周りに回転して右斜めに変わった状態が示されている。図3(a)では、視線の向きは頭部の向きと同じ向きである。例えば、ユーザUは、表示装置2を見ている際に、表示内容に関する情報を重畳して表示させたい際に、図3(a)に示すように注視する。図3(b)には、頭部が右斜めを向いているユーザUが、視線の向きのみを変えて表示装置2の中央に向けている状態が示されている。すなわち、視線の向きが、頭部の向きと異なっている。
制御装置6は、表示装置2の表示を制御する表示制御装置である。制御装置6は、例えば表示装置2に接続されたパーソナルコンピュータに設けられている。制御装置6は、頭部装着機器4との間で通信(例えば近距離無線通信)が可能であり、様々な情報の送受信を行う。制御装置6は、頭部装着機器4の視線検出センサ及び頭部検出センサの検出結果を受信する通信部を有する。制御装置6は、視線検出センサ及び頭部検出センサの出力値に基づいて、表示装置2のどの位置にユーザUの視点位置があるのかを紐付ける機能も有する。
制御装置6は、詳細は後述するが、表示装置2を見ているユーザUの視線の向きを示す視線情報と、ユーザUの頭部の向きを示す頭部情報とを取得して、表示装置2に対するユーザUの視点位置を推定する。このように視線情報及び頭部情報に基づいて視点位置を推定することで、図1及び図3に示すように頭部及び視線の向きが変化しても、視線情報と頭部情報の片方の情報に基づいて視点位置を推定する場合に比べて、表示装置2に対するユーザの視点位置を高精度に推定できる。
また、制御装置6は、推定した視点位置に基づいて、表示装置2の表示を制御する。例えば、制御装置6は、ユーザUの視点位置が図1に示すように表示装置2を見ている状態と推定される場合には、図2に示すような画面を表示させる。一方で、制御装置6は、ユーザUの視点位置が図3(a)に示すように表示装置2を見ている状態と推定される場合には、図4に示すような画面を表示させる。
図4は、ユーザUが図3(a)に示す状態にある際の表示装置2の表示例を示す模式図である。図4では、図2とは異なり、表示装置2の表示画面2aに付加情報Iが重畳して表示されている。付加情報Iの表示位置は、頭部及び視線が向いている方向である。これにより、視線の先に付加情報Iが存在するので、ユーザUは付加情報Iを把握しやすい。
一方で、ユーザUが図3(b)に示す状態(頭部は表示装置2の縁を向いているが、視線は表示装置2の中央を向いている状態)にある際には、表示装置2は、付加情報Iを表示させず、図2に示すような表示画面を表示させる。なお、付加情報Iの「80/100」は、表示画面2aに示されたゲーム画面におけるキャラクターG1(犬)のパラメータを示す。これにより、表示装置2を見ているユーザUが、追加情報を表示させたりするために視点位置を変化させた際に、表示を適切に切り替えることができる。
<制御装置の詳細構成>
制御装置6の詳細構成について、図5を参照しながら説明する。
図5は、制御装置6の詳細構成を説明するためのブロック図である。制御装置6は、図5に示すように、記憶部12と、制御部14とを有する。
記憶部12は、不揮発性メモリ(例えばROM)及び揮発性メモリ(例えばRAM)を含む。記憶部12は、制御部14により実行されるプログラムや各種のデータを記憶している。
制御部14は、例えばCPUである。制御部14は、記憶部12に記憶されたプログラムを実行することにより、表示装置2の表示を制御する。制御部14は、図5に示すように、視線情報取得部142と、頭部情報取得部143と、視点位置推定部144と、表示制御部145と、領域設定部146とを有する。
視線情報取得部142は、ユーザの視線の向きを示す視線情報を取得する。例えば、視線情報取得部142は、ユーザの頭部に装着された頭部装着機器4に設けられた眼電位計42から、視線情報を取得する。具体的には、視線情報取得部142は、通信インターフェースを介して眼電位計42が検出した眼電位に関する情報を受け取り、当該情報に基づいて視線情報を取得する。視線情報取得部142は、取得した視線情報を視点位置推定部144に出力する。
眼電位計42は、ユーザの眼電位を求めることで、例えばユーザの眼の動きや瞬きを検出するセンサであり、視線の検出に用いられる。ここで、眼電位とは、ユーザの眼球の角膜側と網膜側の間に生じる電位差を指す。目の周囲の皮膚に電極を着けて電位差を測定すると、眼の動きや瞬きによって電位差が変わることが知られている。眼電位計42は、例えば頭部装着機器4であるメガネのノーズパッドに設けられている。
頭部情報取得部143は、ユーザの頭部の向きを示す頭部情報を取得する。例えば、頭部情報取得部143は、ユーザの頭部に装着された頭部装着機器4に設けられた6軸センサ44から、頭部情報を取得する。具体的には、頭部情報取得部143は、通信インターフェースを介して6軸センサ44の検出結果を受け取り、当該検出結果に基づいて頭部情報を取得する。頭部情報取得部143は、取得した頭部情報を視点位置推定部144に出力する。
6軸センサ44は、移動や回転の速度を検出するセンサであり、ユーザの体軸上に位置する頭部の動きの検出に用いられる。6軸センサ44は、例えば、3軸(X軸、Y軸、Z軸)方向の加速度を計測する加速度センサと、3軸周りの角速度(回転の速度)を計測するジャイロセンサを含む。これにより、ユーザの体軸の変化を高精度に検知できる。6軸センサ44は、例えばメガネのフレームに設けられている。
視点位置推定部144は、視線情報及び頭部情報に基づいて、表示装置2に対するユーザの視点位置を推定する。具体的には、視点位置推定部144は、視線情報取得部142が取得した視線情報と、頭部情報取得部143が取得した頭部情報に基づいて、表示装置2に対するユーザの視点位置を推定する。視点位置推定部144は、視点位置の推定結果を表示制御部145に出力する。
上述したように、眼電位計42を用いて視線の向きを検出し、かつ6軸センサ44を用いて頭部の向きを検出することで、視点位置を高精度に推定できる。例えば、頭部が向いている方向と視線が向いている方向が違う場合には、視線の向きだけで視点位置を検出すると誤検知が発生しうるが、上記のように視線の向き及び頭部の向きの両方を検出することで、視点位置を高精度に推定できる。
視点位置推定部144は、図1に示すユーザの状態を初期状態として、頭部及び視線の向きが変わった状態を判別する。初期状態は、例えば、ユーザの頭部及び視線の状態が一定時間以上経過した場合に、設定される。これに限定されず、例えば瞬きが連続して3回以上行われた場合に設定されてもよい。また、カメラやコンパス等の他のデバイスを用いて、初期状態が設定されてもよい。
また、視点位置推定部144は、ユーザの視点位置が表示装置2の所定領域である設定領域内に位置しているか否かを推定する。設定領域とは、ユーザが表示装置2を見ている際に意図的に視点を位置させることで、例えば表示画面2aに付加情報Iを表示させるための領域である。
図6は、設定領域を説明するための模式図である。設定領域は、表示装置2の表示画面2aの中心から所定範囲よりも外側の領域R(図6でハッチングされた領域)である。例えば、設定領域Rは、図6に示すように、表示画面2aの縁2bに沿って所定幅で環状に形成されて領域である。設定領域Rの外縁は、表示画面2aの縁2bとほぼ同じ位置であり、設定領域Rの内縁は、4つの点R1〜R4を結んだが矩形の外形線である。また、設定領域Rは、表示画面2aの4つの隅部を含むように形成されている。
表示制御部145は、表示装置2の表示を制御する。表示制御部145は、ユーザが見ている表示装置2に対する視点位置に基づいて、表示装置2の表示を制御する。具体的には、表示制御部145は、視点位置推定部144に推定された視点位置が設定領域R内に位置する場合の表示装置2の表示と、視点位置が設定領域R外に位置する場合の表示装置2の表示とを異ならせる。
表示制御部145は、視点位置が表示装置2の設定領域R内に位置すると推定された場合(例えば、図6に示すように視点位置が位置P2に位置する場合)には、図3(b)に示すように表示装置2の表示画面2aに付加情報Iを重畳して表示させる。例えば、ユーザが、表示画面2aに操作に関するメニューや、表示内容に関する詳細情報等を表示させたい場合に、視点位置を設定領域R内に位置させると、表示制御部145が表示画面2aにこれらの情報を表示させる。これにより、ユーザは、表示画面2aの端に視線を移動させることで、表示画面2aに付加情報Iを表示させることができる。
一方で、表示制御部145は、視点位置が表示装置2の設定領域内に位置していない(例えば、視点位置が、図6に示す位置P1に位置する)と推定された場合には、図2に示すように、表示画面2aに付加情報Iを表示させない通常の表示を行う。
表示制御部145は、視点位置が設定領域R内から設定領域R外へ移動したと推定された場合には、付加情報Iを非表示にする。例えば、表示制御部145は、ユーザが視点位置を図6に示す位置P2から位置P1へ移動させると、付加情報Iを非表示にする。これにより、ユーザは視点位置を変えるだけで、表示画面2aへの付加情報Iの表示と非表示を容易に切り替えることができる。
上記の付加情報Iの表示と非表示は、例えば表示装置2がゲームの画面を表示している際に有効である。例えば、ゲームの進行に関する情報を表示させたい場合には、視点位置を設定領域R内(例えば位置P2)に位置させることで、ゲームを行っている際の利便性が高まる。一方で、画面に映画のようなシーンを表示させたい場合には、視点位置を設定領域R外に位置させることで、ユーザは高い没入感を感じることができる。
表示制御部145は、付加情報Iとして、例えば視点位置で表示されている表示内容に関する情報を表示させてもよい。例えば、表示制御部145は、視点位置が表示画面上のキャラクター(例えば、図4に示すキャラクターG1)上に位置する場合には、当該キャラクターG1に関する詳細情報を表示させる。
領域設定部146は、上述した表示画面2aに付加情報Iを表示させるために視点位置が位置する領域である設定領域Rを設定する。例えば、領域設定部146は、表示画面2aの中心から所定範囲よりも外側の領域に設定領域Rを設定する。具体的には、領域設定部146は、表示画面2aの縁2bに沿って所定幅で環状に形成されて領域を設定領域R(図6)として設定する。
上記の設定領域Rの位置や大きさは、変更可能である。領域設定部146は、表示装置2の表示内容に応じて、設定領域Rの位置及び大きさの少なくとも一方を変化させてもよい。例えば、領域設定部146は、表示画面2aに表示されたキャラクターの位置に応じて、設定領域Rの位置や大きさを調整する。具体的には、領域設定部146は、キャラクターが表示画面2aの中央に位置している場合には、表示画面2aの縁2bに沿って設定領域Rを設定し、キャラクターが表示画面2aの四辺のうちの一辺に近くに位置している場合には、他の三辺の周囲に設定領域Rを設定する。
また、領域設定部146は、表示装置2とユーザの間の距離、及び表示装置2の大きさに応じて、設定領域Rを設定してもよい。例えば、領域設定部146は、表示装置2とユーザの間の距離が大きくなる程、また表示装置2が大きくなる程、設定領域Rを大きく設定する。これにより、表示装置2とユーザの間の距離、及び表示装置2の大きさを反映した適切なサイズの設定領域Rが設定されることになる。
設定領域Rは、表示装置2の設定画面において所定の位置に表示されたマークをユーザに視認させることで、調整することが可能である。
図7は、表示装置2に表示される設定画面の一例を説明するための模式図である。表示制御部145は、設定画面を表示させる際に、表示画面2aの四隅にそれぞれマーク(黒丸)M1〜M4を表示させる。4つのマークM1〜M4の中心は、それぞれ、図5に示す設定領域Rの内縁を成す4つの点R1〜R4の位置である。領域設定部146は、4つのマークM1〜M4に対してユーザが視認した位置に基づいて、設定領域Rを調整する。すなわち、領域設定部146は、ユーザが視認したマークに応じて、設定領域Rを設定する。
なお、上記では、領域設定部146は、表示画面2aの四隅を含むように設定領域Rを設定することとしたが、これに限定されない。例えば、領域設定部146は、表示画面2aの四隅のうちの少なくとも一つの隅の領域に設定領域Rを設定してもよい。ここでは、ユーザが4個のマークM1〜M4のうちのマークM2を選択したとする。すると、領域設定部146は、ユーザが選択したマークM2の周囲の領域を設定領域Rに設定する。これにより、ユーザは、視線を向けやすい位置に設定領域Rを設定することができる。
上記では、制御装置6が、ユーザが見ている一つの表示装置2の表示を制御することとしたが、これに限定されない。例えば、ユーザが複数の表示装置2を見ている場合には、制御装置6は、複数の表示装置2に対するユーザの視点位置に応じて、複数の表示装置2の表示を制御してもよい。この際、各表示装置2の設定領域の設定が必要となる。
図8は、複数の表示装置2A、2Bの設定領域の設定を説明するための模式図である。ここでは、2つの表示装置2A、2Bが、ユーザから見て異なる設置位置に設置されているものとする。この際、領域設定部146は、2つの表示装置2A、2Bの各々に対して、設置位置に応じた設定領域を設定する。具体的には、まず、制御装置6Aの領域設定部146は、表示装置2Aに対して例えば図6に示すマークを用いて設定領域を設定する。その後、制御装置6Bの領域設定部146は、同様に表示装置2Bの設定領域を設定する。
なお、上記では、眼電位計42である眼電位センサによってユーザの視線の向きを検出することとしたが、これに限定されない。例えば、CCDカメラ等の他のデバイスで、視線の向きを検出することとしてもよい。
また、上記では、加速度センサ及びジャイロセンサから成る6軸センサ44でユーザの頭部の向きを検出することとしたが、これに限定されない。例えば、カメラで頭部を撮像することで頭部の向きを検出してもよい。
また、上記では、ユーザの視線の向き及び頭部の向きを検出するセンサ(眼電位計42及び6軸センサ44)が頭部装着機器4に設けられていることとしたが、これに限定されない。例えば、視線の向き及び頭部の向きを検出するカメラが、ユーザを撮像できるように表示装置2に取り付けられていてもよい。
また、上記では、表示装置2が据え置き型のディスプレイであることとしたが、これに限定されない。例えば、表示装置2は、360度の全周に画面を表示可能なヘッドマウントディスプレイであってもよい。このヘッドマウントディスプレイは、頭部の動きに連動して回転しないディスプレイである。
また、上記では、表示装置2の表示制御装置である制御装置6は、表示装置2に接続されたパーソナルコンピュータに設けられていることとしたが、これに限定されない。例えば、制御装置6は、頭部装着機器4に設けられていてもよく、この場合には、制御装置6が処理した表示内容を表示装置2に送信して表示させる。また、制御装置6は、頭部装着機器4に設けられた制御部と、パーソナルコンピュータに設けられた制御部とによって、構成されてもよい。
<表示装置2の表示処理>
ユーザの視点位置に応じた表示装置2の表示処理について、図9を参照しながら説明する。表示装置2の表示処理は、制御装置6の制御部14が記憶部12に記憶されたプログラムを実行することで実現される。なお、当該プログラムは、外部サーバからダウンロードされたものであってもよい。
図9は、ユーザの視点位置に応じた表示装置2の表示処理の流れを説明するためのフローチャートである。本フローチャートは、制御部14の表示制御部145が、表示装置2に画面を表示させているところから開始される(ステップS102)。また、ユーザは、頭部装着機器4であるメガネを装着して、表示装置2を見ているものとする。
次に、視線情報取得部142は、ユーザの視線の向きを示す視線情報を取得する(ステップS104)。具体的には、視線情報取得部142は、頭部装着機器4の眼電位計42が検出した眼電位に基づいて、視線情報を取得する。
次に、頭部情報取得部143は、ユーザの頭部の動きを示す頭部情報を取得する(ステップS106)。具体的には、頭部情報取得部143は、頭部装着機器4の6軸センサ44の検出結果に基づいて、頭部情報を取得する。
上記では、視線情報を取得した後に頭部情報を取得することとしたが、これに限定されない。例えば、頭部情報を取得した後に視線情報を取得したり、視線情報と頭部情報を同時に取得したりしてもよい。
次に、視点位置推定部144は、取得された視線情報及び頭部情報に基づいて、表示装置2に対するユーザの視点位置を推定する(ステップS108)。例えば、視点位置推定部144は、視点位置が設定領域R内に位置しているか、設定領域R外に位置しているかを推定する。視線情報及び頭部情報の両方を用いることで、高精度に視点位置を推定できる。
次に、表示制御部145は、推定されたユーザの視点位置に基づいて、表示装置2の表示を制御する(ステップS110)。具体的には、表示制御部145は、視点位置が設定領域R内である場合には付加情報Iを重畳して表示させ(図4参照)、視点位置が設定領域R外である場合には付加情報Iを表示させない(図2参照)。
その後、表示装置2の画面の表示が終了するまで、上述したステップS104〜S110の処理が繰り返される。すなわち、表示装置2に対するユーザの頭部及び視線の向きの変化に伴い変位する視点位置に応じて、表示装置2の表示が切り替わる。
<本実施形態における効果>
上述した実施形態の表示制御装置である制御装置6は、ユーザの視線の向きを示す視線情報と頭部の向きを示す頭部情報に基づいて、表示装置2に対するユーザの視点位置を推定する。そして、制御装置6は、推定した視点位置に基づいて、表示装置2の表示を制御する。
視線情報及び頭部情報に基づいてユーザの視点位置を推定することで、例えば頭部と視線の向きが異なっていても、表示装置2に対するユーザの視点位置を高精度に推定できる。このように推定された視点位置に基づいて表示装置2の表示を制御することで、表示装置2を見ているユーザUが、追加情報を表示させたりするために視点位置を変化させた際に、表示を適切に切り替えることができる。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の分散・統合の具体的な実施の形態は、以上の実施の形態に限られず、その全部又は一部について、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を合わせ持つ。
2 表示装置
4 頭部装着機器
6 制御装置
14 制御部
142 視線情報取得部
143 頭部情報推定部
144 視点位置推定部
145 表示制御部
146 領域設定部
I 付加情報
R 設定領域

Claims (13)

  1. ユーザの視線の向きを示す視線情報を取得する視線情報取得部と、
    前記ユーザの頭部の向きを示す頭部情報を取得する頭部情報取得部と、
    取得された前記視線情報及び前記頭部情報に基づいて、表示装置に対する前記ユーザの視点位置を推定する視点位置推定部と、
    推定された前記視点位置が前記表示装置の所定領域内に位置すると推定された場合には、前記表示装置の表示画面に付加情報を重畳して表示させる表示制御部と、
    前記所定領域の位置及び大きさの少なくとも一方を、前記表示装置の表示内容に応じて変化させる領域設定部と、
    を備える、表示制御装置。
  2. 前記領域設定部は、
    前記表示画面に表示されたキャラクターが前記表示画面の中央部に位置している場合には、前記表示画面の縁に沿って前記所定領域を設定し、
    前記キャラクターが前記表示画面の四辺のうちの一辺の近くに位置している場合には、他の三辺の周囲に前記所定領域を設定する、
    請求項1に記載の表示制御装置。
  3. 前記表示制御部は、前記視点位置が前記所定領域内から前記所定領域外へ移動したと推定された場合には、前記付加情報を非表示にする、
    請求項1又は2に記載の表示制御装置。
  4. 前記表示制御部は、前記付加情報として、前記視点位置で表示されている表示内容に関する情報を表示させる、
    請求項1から3のいずれか1項に記載の表示制御装置。
  5. 前記領域設定部は、前記表示画面の中心から所定範囲よりも外側の領域に前記所定領域を設定する、
    請求項からのいずれか1項に記載の表示制御装置。
  6. 前記領域設定部は、前記表示画面の隅の領域に前記所定領域を設定する、
    請求項からのいずれか1項に記載の表示制御装置。
  7. 前記表示制御部は、前記表示装置の所定の位置にマークを表示させ、
    前記領域設定部は、前記ユーザが視認したマークに応じて、前記所定領域を設定する、
    請求項に記載の表示制御装置。
  8. 前記領域設定部は、前記表示装置と前記ユーザの間の距離、及び前記表示装置の大きさに応じて、前記所定領域を設定する、
    請求項に記載の表示制御装置。
  9. 前記領域設定部は、異なる設置位置に設置された複数の前記表示装置の各々に対して、前記設置位置に応じた前記所定領域を設定する、
    請求項からのいずれか1項に記載の表示制御装置。
  10. 前記視線情報取得部は、前記ユーザの眼電位を検出する眼電位計から、前記視線情報を取得し、
    前記頭部情報取得部は、前記頭部の動きを検出する6軸センサから、前記頭部情報を取得する、
    請求項1からのいずれか1項に記載の表示制御装置。
  11. 前記視線情報取得部は、前記ユーザの頭部に装着された頭部装着機器に設けられた前記眼電位計から、前記視線情報を取得し、
    前記頭部情報取得部は、前記頭部装着機器に設けられた前記6軸センサから、前記頭部情報を取得する、
    請求項10に記載の表示制御装置。
  12. ユーザの視線の向きを示す視線情報を取得するステップと、
    前記ユーザの頭部の向きを示す頭部情報を取得するステップと、
    取得された前記視線情報及び前記頭部情報に基づいて、表示装置に対する前記ユーザの視点位置を推定するステップと、
    推定された前記視点位置が前記表示装置の所定領域内に位置すると推定された場合には、前記表示装置の表示画面に付加情報を重畳して表示させるステップと、
    前記所定領域の位置及び大きさの少なくとも一方を、前記表示装置の表示内容に応じて変化させるステップと、
    を備える、表示制御方法。
  13. コンピュータに、
    ユーザの視線の向きを示す視線情報を取得するステップと、
    前記ユーザの頭部の向きを示す頭部情報を取得するステップと、
    取得された前記視線情報及び前記頭部情報に基づいて、表示装置に対する前記ユーザの視点位置を推定するステップと、
    推定された前記視点位置が前記表示装置の所定領域内に位置すると推定された場合には、前記表示装置の表示画面に付加情報を重畳して表示させるステップと、
    前記所定領域の位置及び大きさの少なくとも一方を、前記表示装置の表示内容に応じて変化させるステップと、
    を実行させるためのプログラム。
JP2018018228A 2018-02-05 2018-02-05 表示制御装置、表示制御方法及びプログラム Active JP6876639B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018018228A JP6876639B2 (ja) 2018-02-05 2018-02-05 表示制御装置、表示制御方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018018228A JP6876639B2 (ja) 2018-02-05 2018-02-05 表示制御装置、表示制御方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2019135600A JP2019135600A (ja) 2019-08-15
JP6876639B2 true JP6876639B2 (ja) 2021-05-26

Family

ID=67624177

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018018228A Active JP6876639B2 (ja) 2018-02-05 2018-02-05 表示制御装置、表示制御方法及びプログラム

Country Status (1)

Country Link
JP (1) JP6876639B2 (ja)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0764709A (ja) * 1993-08-26 1995-03-10 Olympus Optical Co Ltd 指示処理装置
JP2012124784A (ja) * 2010-12-09 2012-06-28 Canon Marketing Japan Inc 動画再生システム
JP6209906B2 (ja) * 2013-09-05 2017-10-11 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置を制御する方法、画像表示システム
CN105874528B (zh) * 2014-01-15 2018-07-20 麦克赛尔株式会社 信息显示终端、信息显示系统以及信息显示方法
JP2015232811A (ja) * 2014-06-10 2015-12-24 株式会社ニコン 表示装置及びデジタルカメラ
JP6592313B2 (ja) * 2015-09-14 2019-10-16 株式会社コーエーテクモゲームス 情報処理装置、表示制御方法、及び表示制御プログラム
JP6684559B2 (ja) * 2015-09-16 2020-04-22 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置
JP2017129898A (ja) * 2016-01-18 2017-07-27 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP6515057B2 (ja) * 2016-03-31 2019-05-15 株式会社バンダイナムコエンターテインメント シミュレーションシステム、シミュレーション装置及びプログラム

Also Published As

Publication number Publication date
JP2019135600A (ja) 2019-08-15

Similar Documents

Publication Publication Date Title
US10429925B2 (en) Head-mounted display, information processing device, display control method, and program
US10901505B1 (en) Eye-based activation and tool selection systems and methods
US20210350762A1 (en) Image processing device and image processing method
JP6333801B2 (ja) 表示制御装置、表示制御プログラム、および表示制御方法
JP6399692B2 (ja) ヘッドマウントディスプレイ、画像表示方法及びプログラム
KR20220120649A (ko) 인공 현실 콘텐츠의 가변 초점 디스플레이를 갖는 인공 현실 시스템
JP6250024B2 (ja) キャリブレーション装置、キャリブレーションプログラム、およびキャリブレーション方法
JP5869712B1 (ja) 没入型仮想空間に実空間のユーザの周辺環境を提示するためのヘッドマウント・ディスプレイ・システムおよびコンピュータ・プログラム
US20160358380A1 (en) Head-Mounted Device and Method of Enabling Non-Stationary User to Perform 3D Drawing Interaction in Mixed-Reality Space
WO2020241189A1 (ja) 情報処理装置、情報処理方法、及びプログラム
EP3333808B1 (en) Information processing device
US11720178B2 (en) Information processing device, information processing method, and computer-readable recording medium
WO2020157955A1 (ja) 仮想オブジェクト表示装置及び仮想オブジェクト表示方法
WO2018020735A1 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
US11835737B2 (en) Image display system, non-transitory storage medium having stored therein image display program, image display apparatus, and image display method
JP6522092B1 (ja) 表示システム及び表示方法
JP6500570B2 (ja) 画像表示装置および画像表示方法
JP7078568B2 (ja) 表示装置、表示制御方法、及び表示システム
JP6876639B2 (ja) 表示制御装置、表示制御方法及びプログラム
JP6592313B2 (ja) 情報処理装置、表示制御方法、及び表示制御プログラム
KR20180055637A (ko) 전자 장치 및 그의 제어 방법
JP6670965B2 (ja) 表示システム及び表示方法
JP6479835B2 (ja) 入出力装置、入出力プログラム、および入出力方法
JP6738308B2 (ja) 情報処理方法、プログラム、仮想空間配信システム及び装置
JP7492497B2 (ja) プログラム、情報処理方法、及び情報処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200306

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210309

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210413

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210426

R150 Certificate of patent or registration of utility model

Ref document number: 6876639

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150