JP7333051B2 - 表示システム、表示方法、コントローラ、及び、コンピュータプログラム - Google Patents

Description

特許法第３０条第２項適用 ２０１９年２月９日の「立命館大学大学院情報理工学研究科情報理工学専攻 修士論文公聴会」にて発表

本開示は、表示システム、表示方法、コントローラ、及び、コンピュータプログラムに関する。

強調して提示するオブジェクトを、視線移動などのユーザの動作に応じて可変的に切り替えることで、ユーザが注目したいオブジェクトを視認しやすく提示する技術が知られている。

特開２０１７－１３８６０９号公報

しかしながら、このようなオブジェクトの提示方法では、ユーザは、遮蔽物もしくは不可視領域にあるオブジェクトを強調して提示する対象として選択することが難しい。例えば、強調して提示するオブジェクトをユーザの注視位置によって切り替える技術では、遮蔽物もしくは不可視領域にあるオブジェクトを注視することが難しい場合がある。そのため、強調して提示するオブジェクトを容易に切り替えられることが望まれる。

ある実施の形態に従うと、表示システムは、表示装置と、視線検出センサと、表示装置における表示を制御するコントローラと、を備え、コントローラは、第１注視用オブジェクトと第１非注視用オブジェクトとを重畳した第１オブジェクト表示を行い、視線検出センサからの検出信号に基づき、第１非注視用オブジェクトへのユーザの注視が検出されると、第１オブジェクト表示を第２オブジェクト表示に切り替える、動作をするよう構成され、第１注視用オブジェクトは、第１オブジェクト表示において、第１非注視用オブジェクトよりも視認上優位に表れ、第１非注視用オブジェクトを表す画像は、第１オブジェクト表示において、視認可能な第１部分と、第１部分よりも視認性が低い第２部分と、を有する。

他の実施の形態に従うと、表示方法は、第１注視用オブジェクトと第１非注視用オブジェクトとを、第１注視用オブジェクトが第１非注視用オブジェクトよりも視認上優位となるように重畳した第１オブジェクト表示を行うことと、第１非注視用オブジェクトへのユーザの注視が検出されると、第１オブジェクト表示を第２オブジェクト表示に切り替えることと、を備え、第１非注視用オブジェクトは、第１オブジェクト表示において、視認可能な第１部分と、第１部分よりも視認性が低い第２部分と、を有する。

他の実施の形態に従うと、コントローラは、表示装置における表示を制御するコントローラであって、第１注視用オブジェクトと第１非注視用オブジェクトとを重畳した第１オブジェクト表示を行い、第１非注視用オブジェクトへのユーザの注視が検出されると、第１オブジェクト表示を第２オブジェクト表示に切り替える、動作をするよう構成され、第１注視用オブジェクトは、第１オブジェクト表示において、第１非注視用オブジェクトよりも視認上優位に表れ、第１非注視用オブジェクトは、第１オブジェクト表示において、視認可能な第１部分と、第１部分よりも視認性が低い第２部分と、を有する。

他の実施の形態に従うと、コンピュータプログラムはプロセッサに表示装置における表示を制御する処理を行わせるコンピュータプログラムであって、処理は、第１注視用オブジェクトと第１非注視用オブジェクトとを重畳した第１オブジェクト表示を行うことと、第１非注視用オブジェクトへのユーザの注視が検出されると、第１オブジェクト表示を第２オブジェクト表示に切り替えることと、を含み、第１注視用オブジェクトは、第１オブジェクト表示において、第１非注視用オブジェクトよりも視認上優位に表れ、第１非注視用オブジェクトは、第１オブジェクト表示において、視認可能な第１部分と、第１部分よりも視認性が低い第２部分と、を有する。

更なる詳細は、後述の実施形態として説明される。

図１は、実施の形態に係る表示システムの構成を表した概略ブロック図である。 図２は、表示システムに含まれるコントローラの、プロセッサの機能を表した概略ブロック図である。 図３は、表示システムが表示対象とする、異なる奥行の複数のオブジェクトを説明するための図である。 図４は、第１の実施の形態に係る表示システムでの表示方法を説明するための図である。 図５は、表示システムでの表示の切り替えを説明するための図である。 図６は、表示システムでの表示の切り替えを説明するための図である。 図７は、オブジェクト「Ａ」の具体例を表した図であって、注視用オブジェクトとしてのオブジェクト「Ａ」と、非注視用オブジェクトとしてのオブジェクト「Ａ」と、を表した図である。 図８は、オブジェクト「Ｂ」の具体例を表した図であって、注視用オブジェクトとしてのオブジェクト「Ｂ」と、非注視用オブジェクトとしてのオブジェクト「Ｂ」と、を表した図である。 図９は、図７及び図８のオブジェクトを表示対象としたときの、第１オブジェクト表示と第２オブジェクト表示との具体例を示した図である。 図１０は、表示システムでの表示方法の流れを表したフローチャートである。

＜１．表示システム、表示方法、コントローラ、及び、コンピュータプログラムの概要＞

（１）本実施の形態に含まれる表示システムは、表示装置と、視線検出センサと、表示装置における表示を制御するコントローラと、を備え、コントローラは、第１注視用オブジェクトと第１非注視用オブジェクトとを重畳した第１オブジェクト表示を行い、視線検出センサからの検出信号に基づき、第１非注視用オブジェクトへのユーザの注視が検出されると、第１オブジェクト表示を第２オブジェクト表示に切り替える、動作をするよう構成され、第１注視用オブジェクトは、第１オブジェクト表示において、第１非注視用オブジェクトよりも視認上優位に表れ、第１非注視用オブジェクトは、第１オブジェクト表示において、視認可能な第１部分と、第１部分よりも視認性が低い第２部分と、を有する。

視線検出センサは、例えばカメラである。この場合、撮影画像に含まれるユーザの眼球画像に基づいてユーザの視線を検出することができる。第１非注視用オブジェクトを表す画像が、第１オブジェクト表示において、視認可能な第１部分と、第１部分よりも視認性が低い第２部分と、を有することで、表示装置の表示において第１非注視用オブジェクトが視認可能となる。そのため、ユーザは、表示装置の表示において第１注視用オブジェクトが視認上優位であることを維持したまま第１非注視用オブジェクトに注視できる。これにより、表示装置の表示の切り替えが容易になる。

第１注視用オブジェクト及び第１非注視用オブジェクトは、例えば、いずれも、画像によって構成された仮想オブジェクトであってもよい。この場合、第１注視用オブジェクトを表す画像と第１非注視用オブジェクトを表す画像とが重畳表示される。

また、第１注視用オブジェクト及び第１非注視用オブジェクトのいずれか一方が、仮想オブジェクトであり、他方が、現実世界の実オブジェクトであってもよい。例えば、表示装置として透過型ディスプレイを採用し、透過した実オブジェクトに仮想オブジェクトを重畳表示することができる。

実オブジェクトが第１注視用オブジェクトである場合、第１非注視用オブジェクトとなる仮想オブジェクト（画像）が、第１オブジェクト表示において、仮想オブジェクト（画像）を視認可能な第１部分と、第１部分よりも仮想オブジェクト（画像）としての視認性が低く実オブジェクトが視認可能に現れる第２部分と、を有していればよい。

第１非注視用オブジェクトが実オブジェクトである場合、第１注視用オブジェクトとなる仮想オブジェクト（画像）が、第１非注視用オブジェクト（実オブジェクト）の視認を妨げつつ仮想オブジェクト（画像）を視認可能にする第１画像部分と、実オブジェクトを視認可能にしつつ仮想オブジェクト（画像）としての視認性が低い第２画像部分と、を有することができる。その結果、実オブジェクトである第１非注視用オブジェクトは、重畳表示されたときにおいて、第２画像部分を介して視認可能な第１部分と、第１画像部分により視認が妨げられて前記第１部分よりも視認性が低い第２部分と、を有することができる。

（２）好ましくは、第２オブジェクト表示は、第２注視用オブジェクトと第２非注視用オブジェクトとを重畳した表示であり、第２注視用オブジェクトは、第２オブジェクト表示において、第２非注視用オブジェクトよりも視認上優位に表れ、第２非注視用オブジェクトは、第２オブジェクト表示において、視認可能な第１部分と、第１部分よりも視認性が低い第２部分と、を有する。これにより、第２オブジェクト表示において第２注視用オブジェクトが視認上優位であることを維持したまま第２非注視用オブジェクトが視認可能となる。そのため、ユーザは、表示装置の表示において第２非注視用オブジェクトに注視できる。これにより、表示装置の表示の切り替えが容易になる。

（３）好ましくは、第１非注視用オブジェクトは、第２注視用オブジェクトを表す画像から生成された画像によって表される。これにより、ユーザは、第１非注視用オブジェクトが注視用オブジェクトとして示される状態をイメージしやすく、注視しやすくなる。

（４）好ましくは、第１非注視用オブジェクトを表す画像における第１部分は、第２注視用オブジェクトの形状を示す。これにより、ユーザは、第１非注視用オブジェクトが注視用オブジェクトとして示される状態をイメージしやすく、注視しやすくなる。

（５）好ましくは、第１非注視用オブジェクトを表す画像における第２部分は、第１非注視用オブジェクトを表す画像における第１部分よりも広い。これにより、第１注視用オブジェクトを、第１オブジェクト表示されたときにおいて、第１非注視用オブジェクトよりも視認上優位に表わすことができる。

（６）好ましくは、第２部分は、第１部分よりも透過度が高い。これにより、第１注視用オブジェクトを、第１オブジェクト表示されたときにおいて、第１非注視用オブジェクトよりも視認上優位に表わすことができる。

（７）好ましくは、第１注視用オブジェクト及び第１非注視用オブジェクトは、いずれも、画像によって表される。これにより、ユーザは、第１非注視用オブジェクトが注視用オブジェクトとして示される状態をイメージしやすく、注視しやすくなる。

（８）好ましくは、コントローラは、第１注視用オブジェクト及び第１非注視用オブジェクトを、奥行位置が第２オブジェクトと異なって視認されるように重畳した第１オブジェクト表示を行う。これにより、表示装置には立体表示される。

（９）好ましくは、コントローラは、視線検出センサからの検出信号に基づき奥行方向における注視位置を識別し、奥行方向における注視位置に基づき、第１非注視用オブジェクトへのユーザの注視を検出する。これにより、注視位置が定まりやすくなり、第１非注視用オブジェクトが表示されないときよりも高精度でユーザの注視が検出される。その結果、表示装置の表示の切り替えが容易になる。

（１０）好ましくは、コントローラは、両眼視差を含む画像をユーザに提示することで、第１注視用オブジェクト及び第１非注視用オブジェクトを、奥行位置が異なって視認されるよう重畳した第１オブジェクト表示を行うよう構成され、第１注視用オブジェクトが第１非注視用オブジェクトの手前に位置するよう視認される場合において、対の画像それぞれは、第１注視用オブジェクトを表す画像の上に第１非注視用オブジェクトが配置されて描画されている。これにより、重畳表示された状態において第１非注視用オブジェクトが視認可能となる。

（１１）本実施の形態に含まれる表示方法は、第１注視用オブジェクトと第１非注視用オブジェクトとを、第１注視用オブジェクトが第１非注視用オブジェクトよりも視認上優位となるように重畳した第１オブジェクト表示を行うことと、第１非注視用オブジェクトへのユーザの注視が検出されると、第１オブジェクト表示を第２オブジェクト表示に切り替えることと、を備え、第１非注視用オブジェクトは、第１オブジェクト表示において、視認可能な第１部分と、第１部分よりも視認性が低い第２部分と、を有する。

（１２）本実施の形態に含まれるコントローラは、表示装置における表示を制御するコントローラであって、第１注視用オブジェクトと第１非注視用オブジェクトとを重畳した第１オブジェクト表示を行い、第１非注視用オブジェクトへのユーザの注視が検出されると、第１オブジェクト表示を第２オブジェクト表示に切り替える、動作をするよう構成され、第１注視用オブジェクトは、第１オブジェクト表示において、第１非注視用オブジェクトよりも視認上優位に表れ、第１非注視用オブジェクトは、第１オブジェクト表示において、視認可能な第１部分と、第１部分よりも視認性が低い第２部分と、を有する。

（１３）本実施の形態に含まれるコンピュータプログラムはプロセッサに表示装置における表示を制御する処理を行わせるコンピュータプログラムであって、処理は、第１注視用オブジェクトと第１非注視用オブジェクトとを重畳した第１オブジェクト表示を行うことと、第１非注視用オブジェクトへのユーザの注視が検出されると、第１オブジェクト表示を第２オブジェクト表示に切り替えることと、を含み、第１注視用オブジェクトは、第１オブジェクト表示において、第１非注視用オブジェクトよりも視認上優位に表れ、第１非注視用オブジェクトは、第１オブジェクト表示において、視認可能な第１部分と、第１部分よりも視認性が低い第２部分と、を有する。なお、コンピュータプログラムは、コンピュータ読み取り可能な非一時的な記憶媒体に格納される。

＜２．表示システム、表示方法、コントローラ、及び、コンピュータプログラムの例＞

［第１の実施の形態］

図１を参照して、本実施の形態に表示システム１００は、表示装置３１と、表示装置３１における表示を制御するコントローラ１と、を備える。表示装置３１は、一例として、ヘッドマウントディスプレイ（以下、ＨＭＤ）３に搭載され、ユーザの頭部に着用した状態で当該ユーザによって視認される。

コントローラ１は、ＨＭＤ３とは分離した別の装置であり、ＨＭＤ３と通信することによって表示装置３１における表示を制御する。そのため、コントローラ１とＨＭＤ３とは、それぞれ、インタフェース１２，３３を有する。インタフェース１２，３３は、無線、又は、有線による通信装置である。なお、コントローラ１は、ＨＭＤ３に搭載されていてもよい。この場合、インタフェース１２，３３は、コントローラ１とＨＭＤ３の他の構成との間の接続機構を指す。

コントローラ１は、ＣＰＵ（Central Processing Unit）などであるプロセッサ１０と、メモリ１１と、を有する。メモリ１１は、プロセッサ１０によって実行されるプログラムを記憶している。メモリ１１は、さらに、プロセッサ１０による処理で用いられる画像データを記憶しておく画像データベース（ＤＢ）１１１を有する。

コントローラ１は、さらに、ユーザ操作を受け付ける操作部１３を有してもよい。操作部１３は、例えば、表示装置３１での表示の開始や終了の指示を受け付けることができる。操作部１３は、ユーザ操作を示す操作信号をプロセッサ１０に入力する。プロセッサ１０は、操作信号に従って処理を実行する。

ＨＭＤ３には、さらに、ＨＭＤ３を装着したユーザの視線を検出するためのセンサ３２が搭載されている。センサ３２は、検出結果を示すセンサ信号Ｓを、インタフェース１２，３３を介してコントローラ１に渡す。プロセッサ１０は、処理にセンサ信号を用いることができる。

コントローラ１では、センサ３２からのセンサ信号Ｓを用いてユーザの視線が検出され、注視位置が特定される。注視位置は、両眼を結ぶ線分の中点（視点）から、その線分に直交する方向の距離、つまり、視点からの距離（以下、奥行とも言う）で表す。注視位置を特定する方法として、従来のさまざまな方法を採用可能である。センサ３２は、注視位置を特定する方法に対応したセンサであってよい。

一例として、センサ３２はカメラである。カメラは、ＨＭＤ３を装着したユーザの眼球を正面から撮影可能な位置に配置される。センサ信号Ｓは、撮影画像である。この場合、撮影画像を解析することでユーザの両黒目が特定される。撮影画像中の黒目の形状から、両眼の視軸の角度（輻輳角）が算出される。輻輳角は、近くにある（奥行の小さい）対象物を注視すると大きくなり、遠くにある（奥行の大きい）対象物を注視するときに小さくなる。そのため、輻輳角に基づいてユーザの注視位置が特定される。

図２を参照して、プロセッサ１０は、メモリ１１に記憶されているプログラムを実行することで、上記の注視位置を検出する処理（注視検出処理）１０１を実行する。注視検出処理１０１は、表示装置３１に表示された画像における注視位置を検出する処理である。一例として、プロセッサ１０は、輻輳角と注視位置との関係式を予め記憶しておき、算出された輻輳角をその関係式に代入することによって得られた解より注視位置を検出する。注視位置の検出方法は他の方法であってもよい。

プロセッサ１０は、メモリ１１に記憶されているプログラムを実行することで、表示画像を生成する処理（画像生成処理）１０２を実行する。このとき、プロセッサ１０は、メモリの画像ＤＢ１１１から必要な画像データを読み出して用いる。

画像生成処理１０２は、表示装置３１に表示させる画像を生成する処理である。表示装置３１に表示させる画像は、ＨＭＤ３を装着したユーザによって立体視される画像であるとともに、奥行きが異なる複数のオブジェクトを含む画像である。ここでのオブジェクトは、実際のオブジェクト（物体）を表す画像を指す。立体視される画像は、視点からの距離（奥行）に応じた視差を生じるように左右方向にずらせた右目用画像及び左目用画像からなる。画像生成処理１０２は、左右眼それぞれ用画像を生成する際に、複数の奥行きそれぞれが設定された複数のオブジェクトを重畳する処理を含む。

複数のオブジェクトは、注視用オブジェクトと非注視用オブジェクトとに分類され、いずれも、画像によって表される。注視用オブジェクトは、表示装置３１に表示させる画像において非注視用オブジェクトよりも視認上優位に表わされる。

視認上優位に表わすことは、一例として、注視用オブジェクトの視認性を、非注視用オブジェクトの視認性よりも高くすることである。非注視用オブジェクトは、複数のオブジェクトを重畳したときにおいて視認可能な部分と、視認可能な部分よりも視認性が低い部分と、を有することで、注視用オブジェクトの視認性よりも視認性が低い。なお、非注視用オブジェクトにおける、視認可能な部分を第１部分、視認性が低い部分を第２部分と称する。

好ましくは、第２部分は第１部分よりも広い。これにより、非注視用オブジェクトの視認性を注視用オブジェクトの視認性より低くすることができる。なお、視認性は一例として透過度であって、第２部分は第１部分よりも透過度が高い。透過度が高いことで、重畳表示した際に視認性が低い部分は重畳された他のオブジェクトが示される。一例として、視認性の高い注視用オブジェクトは通常画像とする。また、視認性が低い非注視用オブジェクトは、該当する通常画像の部分的に視認性を低くした画像とし、ここでは網目画像とも称する。

図３に示されたように、左右眼５Ｌ，５Ｒからの距離、つまり、奥行ＬＡの「Ａ」で示されたオブジェクト「Ａ」ＯＢ１と、奥行ＬＢの「Ｂ」で示されたオブジェクト「Ｂ」ＯＢ２との２つのオブジェクトを含む画像を表示装置３１に表示させる場合について説明する。このとき、ＬＡ＞ＬＢ、つまり、オブジェクト「Ａ」ＯＢ１がオブジェクト「Ｂ」ＯＢ２よりも奥にある（左右眼５Ｌ，５Ｒを結ぶ線分の中点から遠い）ものとする。

なお、図３は、説明の簡便のために各オブジェクトを含む画像が左右眼５Ｌ，５Ｒに対して正対する平面上にあるものとして奥行を説明するものである。以降の説明でも、簡便のために、各オブジェクトを含む画像が左右眼５Ｌ，５Ｒに対して正対する平面上にあるものとする。しかしながら、各オブジェクトを含む画像が左右眼５Ｌ，５Ｒに対して正対する曲面上にあっても同様である。その場合、左右眼５Ｌ，５Ｒの向く方向に伸び、左右眼５Ｌ，５Ｒを結ぶ線分（以下、線分５Ｌ－５Ｒ）に直交する方向を注視方向とする。そして、線分５Ｌ－５Ｒの中点からのオブジェクトまでの注視方向の距離をそのオブジェクトの奥行とすることができる。

画像生成処理１０２は、図４に示されたような、第１オブジェクト表示と第２オブジェクト表示とを行うための画像データを生成する処理を含む。第１オブジェクト表示１０３Ａは、第２オブジェクト表示１０３Ｂに切り替わる前の表示であり、第２オブジェクト表示１０３Ｂは、第１オブジェクト表示１０３Ａから切り替わった後の表示である。

各表示は、注視用オブジェクトと非注視用オブジェクトとを含む。第１オブジェクト表示１０３Ａに含まれる注視用オブジェクトを第１注視用オブジェクト、非注視用オブジェクトを第１非注視用オブジェクトと称する。第２オブジェクト表示１０３Ｂに含まれる注視用オブジェクトを第２注視用オブジェクト、非注視用オブジェクトを第２非注視用オブジェクトと称する。

第１オブジェクト表示１０３Ａでは、オブジェクト「Ａ」ＯＢ１を第１注視用オブジェクトとし、オブジェクト「Ｂ」ＯＢ２を第１非注視用オブジェクトとしている。第２オブジェクト表示１０３Ｂでは、オブジェクト「Ｂ」ＯＢ２を第２非注視用オブジェクトとし、オブジェクト「Ａ」ＯＢ１を第２注視用オブジェクトとしている。

オブジェクト「Ａ」ＯＢ１を第１注視用オブジェクトとするときは、一例として、オブジェクト「Ａ」ＯＢ１を通常画像とする。オブジェクト「Ｂ」ＯＢ２を第１非注視用オブジェクトとするときは、一例として、オブジェクト「Ｂ」ＯＢ２を網目画像とする。図４においては、第１注視用オブジェクトとしたオブジェクト「Ａ」をオブジェクト「Ａ」ＯＢ１１、第１非注視用オブジェクトとしたオブジェクト「Ｂ」をオブジェクト「Ｂ」ＯＢ２２で表している。

オブジェクト「Ｂ」ＯＢ２を第２注視用オブジェクトとするときは、一例として、オブジェクト「Ｂ」ＯＢ２を通常画像とする。オブジェクト「Ａ」ＯＢ１を第２非注視用オブジェクトとするときは、一例として、オブジェクト「Ａ」ＯＢ１を網目画像とする。図４においては、第２注視用オブジェクトとしたオブジェクト「Ｂ」をオブジェクト「Ｂ」ＯＢ２１、第２非注視用オブジェクトとしたオブジェクト「Ａ」をオブジェクト「Ａ」ＯＡ１２で表している。

画像生成処理１０２で行われるオブジェクトの重畳は、注視用オブジェクトの上に非注視用オブジェクトを配置して描画する処理である。すなわち、第１オブジェクト表示１０３Ａを行うための画像生成処理１０２では、オブジェクト「Ａ」ＯＢ１１の上にオブジェクト「Ｂ」ＯＢ２２を重畳する。第２オブジェクト表示１０３Ｂを行うための画像生成処理１０２では、オブジェクト「Ｂ」ＯＢ２１の上にオブジェクト「Ａ」ＯＢ１２を重畳する。

これにより、視認性が低い非注視用オブジェクトが視認性の高い注視用オブジェクトより上に重なって描画される。その結果、注視用オブジェクトが視認されつつ、非注視用オブジェクトも注視用オブジェクトよりも低い視認性で視認可能に画像に表現される。つまり、ユーザは、注視用オブジェクトと非注視用オブジェクトとの両方を、異なる視認性で視認可能となる。そして、知覚される両オブジェクトの奥行感は維持されたまま、ユーザは、非注視用オブジェクトが視認可能になる。

プロセッサ１０は、表示対象のオブジェクトが特定されると画像生成処理１０２を実行する。表示対象のオブジェクトの特定は、図３，４の例では、オブジェクト「Ａ」ＯＢ１とオブジェクト「Ｂ」ＯＢ２とを含む画像を表示対象として選択するユーザ操作を操作部１３が受け付けること、などによって行われる。他の例として、オブジェクト「Ａ」ＯＢ１とオブジェクト「Ｂ」ＯＢ２とがそれぞれ表示対象として選択されてもよい。

プロセッサ１０は、表示対象のオブジェクトが特定されるといずれか１つの奥行のオブジェクトを注視用オブジェクト、他のオブジェクトを非注視用オブジェクトとして画像生成処理１０２を実行する。その後、注視検出処理１０１によってユーザの注視位置が検出されると、検出された注視位置に応じた奥行のオブジェクトを注視用オブジェクト、他のオブジェクトを非注視用オブジェクトとする画像生成処理１０２を実行する。

図３，４の例では、プロセッサ１０は、オブジェクト「Ａ」ＯＢ１とオブジェクト「Ｂ」ＯＢ２とを表示対象のオブジェクトと特定すると、オブジェクト「Ａ」ＯＢ１を第１注視用オブジェクトとして、第１オブジェクト表示１０３Ａを行うための画像生成処理１０２を実行する。生成された画像データは、メモリ１１に格納される。

第１オブジェクト表示１０３Ａが行われている状況で注視検出処理１０１によって第１非注視用オブジェクトであるオブジェクト「Ｂ」ＯＢ２２への注視が検出されると、プロセッサ１０は、第２オブジェクト表示１０３Ｂを行うための画像生成処理１０２を実行する。生成された画像データは、メモリ１１に格納される。

なお、他の例として、プロセッサ１０は、表示対象のオブジェクトが特定された時点で、各奥行を注視位置とした画像生成処理１０２を予め実行し、生成された画像データをメモリ１１に格納しておいてもよい。図３，４の例では、プロセッサ１０は、第１オブジェクト表示１０３Ａを行うための画像生成処理１０２と第２オブジェクト表示１０３Ｂを行うための画像生成処理１０２とを予め実行し、第１オブジェクト表示１０３Ａ用の画像データと第２オブジェクト表示１０３Ｂ用の画像データとをメモリ１１に格納しておいてもよい。

プロセッサ１０は、メモリ１１に記憶されているプログラムを実行することで、表示装置３１に画像を表示させる処理（画像表示処理）１０３を実行する。画像表示処理１０３は、画像生成処理１０２によって生成されてメモリ１１に格納された画像データを、インタフェース１２，３３を介して表示装置３１に送信するとともに、表示を指示する処理を含む。

表示装置３１に現在表示されている画像とは異なる画像の表示を指示する場合、画像表示処理１０３は、表示する画像の切替を指示する処理でもある。すなわち、図５に示されたように、表示装置３１が第１オブジェクト表示１０３Ａを行っているときに注視検出処理１０１によって非注視用オブジェクトであるオブジェクト「Ｂ」ＯＢ２２への注視が検出されると、プロセッサ１０は、第２オブジェクト表示１０３Ｂを行うための画像生成処理１０２を実行し、表示装置３１に第２オブジェクト表示１０３Ｂを指示する。これにより、表示装置３１の表示が第１オブジェクト表示１０３Ａから第２オブジェクト表示１０３Ｂに切り替わる。すなわち、プロセッサは、表示装置３１が第１オブジェクト表示１０３Ａを行っているときに第１オブジェクト表示１０３Ａ中の非注視用オブジェクトであるのオブジェクト「Ｂ」ＯＢ２２への注視が検出されると、表示装置３１の表示を第１オブジェクト表示１０３Ａから第２オブジェクト表示１０３Ｂに切り替える。

逆に、図６に示されたように、表示装置３１が第２オブジェクト表示１０３Ｂを行っているときに注視検出処理１０１によって非注視用オブジェクトであるオブジェクト「Ａ」ＯＢ１２への注視が検出されると、プロセッサ１０は、第１オブジェクト表示１０３Ａを行うための画像生成処理１０２を実行し、表示装置３１に第１オブジェクト表示１０３Ａを指示する。これにより、表示装置３１の表示が第２オブジェクト表示１０３Ｂから第１オブジェクト表示１０３Ａに切り替わる。すなわち、プロセッサは、表示装置３１が第２オブジェクト表示１０３Ｂを行っているときに第２オブジェクト表示１０３Ｂ中の非注視用オブジェクトであるオブジェクト「Ａ」ＯＢ１２への注視が検出されると、表示装置３１の表示を第２オブジェクト表示１０３Ｂから第１オブジェクト表示１０３Ａに切り替える。

好ましくは、非注視用オブジェクトは、対応する注視用オブジェクトから生成される画像である。すなわち、図３～図６で「Ａ」で示されたオブジェクト「Ａ」ＯＢ１について、非注視用オブジェクトであるオブジェクト「Ａ」ＯＢ１２は、注視用オブジェクト、例えば、通常画像であるオブジェクト「Ａ」ＯＢ１１から生成される網目画像である。非注視用オブジェクトが注視用オブジェクトから生成される画像であることによって、視認性が低く非注視用オブジェクトが示されても、ユーザは非注視用オブジェクトが注視用オブジェクトとして示される状態をイメージしやすく、注視しやすくなる。

具体例として、オブジェクト「Ａ」ＯＢ１が城（の画像）、オブジェクト「Ｂ」ＯＢ２が石垣（の画像）である場合について、図７～図１０を用いて注視用オブジェクトである場合と非注視用オブジェクトである場合について説明する。オブジェクト「Ａ」ＯＢ１である城の方が、オブジェクト「Ｂ」ＯＢ２である石垣より奥行が大きい。すなわち、図７を参照して、注視用オブジェクトであるオブジェクト「Ａ」ＯＢ１１は、視認性の高い城の通常画像である。また、図８を参照して、注視用オブジェクトであるオブジェクト「Ｂ」ＯＢ２１は、視認性の高い石垣の通常画像である。

非注視用オブジェクトであるのオブジェクト「Ａ」ＯＢ１２は、視認性の低い城の網目画像であって、図７に示されるように、注視用オブジェクトであるオブジェクト「Ａ」ＯＢ１１から生成される。また、非注視用オブジェクトであるオブジェクト「Ｂ」ＯＢ２２は、視認性の低い石垣の網目画像であって、図８に示されるように、注視用オブジェクトであるオブジェクト「Ｂ」ＯＢ２１から生成される。

詳しくは、非注視用オブジェクトであるオブジェクト「Ａ」ＯＢ１２は、オブジェクト「Ｂ」ＯＢ２に重畳表示されたときにおいて、視認可能な第１部分１２１と、第１部分１２１よりも視認性が低い、つまり、透過性の高い第２部分１２２と、を有する。言い換えると、非注視用オブジェクトであるオブジェクト「Ａ」ＯＢ１２は、注視用オブジェクトであるオブジェクト「Ａ」ＯＢ１１の通常画像のうち、第１部分１２１を視認可能な程度に透過性を下げ、第２部分１２２をそれより透過性が高くなるように透過性を上げることで生成される網目画像である。図７を白黒２色の画像として、図７において、第１部分１２１は白色の領域、第２部分１２２は黒色の領域である。

同様に、非注視用オブジェクトであるのオブジェクト「Ｂ」ＯＢ２２は、注視用オブジェクトであるオブジェクト「Ｂ」ＯＢ２１の通常画像のうち、第１部分２２１を視認可能な程度に透過性を下げ、第２部分２２２をそれより透過性が高くなるように透過性を上げることで生成される網目画像である。図８を白黒２色の画像として、図８において、第１部分２２１は白色の領域、第２部分２２２は黒色の領域である。

注視用オブジェクトであるオブジェクト「Ａ」ＯＢ１１から非注視用オブジェクトであるオブジェクト「Ａ」ＯＢ１２を生成する方法、及び、注視用オブジェクトであるオブジェクト「Ｂ」ＯＢ２１から非注視用オブジェクトであるオブジェクト「Ｂ」ＯＢ２２を生成する方法は特定の方法に限定されない。一例として、注視用オブジェクトからエッジを検出し、検出されたエッジを第１部分１２１，２２１、その他の部分を第２部分１２２，２２２としてもよい。また、他の例として、注視用オブジェクトから、いわゆるサリエンシーマップとも呼ばれる、注視されやすい位置を抽出し、第１部分１２１，２２１、その他の注視されにくい位置を第２部分１２２，２２２としてもよい。

注視用オブジェクトであるオブジェクト「Ａ」ＯＢ１１に非注視用オブジェクトであるオブジェクト「Ｂ」ＯＢ２２を重畳することで、表示装置３１では、図９に示されたような第１オブジェクト表示１０３Ａが行われる。図９の第１オブジェクト表示１０３Ａでは、オブジェクト「Ａ」ＯＢ１１である城が視認性高く表されるとともに、それよりも低い視認性でオブジェクト「Ｂ」ＯＢ２２である石垣も表される。そのため、ユーザは、第１オブジェクト表示１０３Ａにおいて石垣を視認することができ、石垣に注視することができる。

図９の第１オブジェクト表示１０３Ａにおいて石垣に注視されたことが検出されると、表示装置３１の表示は、図９に示されたように第２オブジェクト表示１０３Ｂに切り替わる。第２オブジェクト表示１０３Ｂは、注視用オブジェクトであるオブジェクト「Ｂ」ＯＢ２１に非注視用オブジェクトであるオブジェクト「Ａ」ＯＢ１２を重畳することで表示装置３１に表示される。

奥行通りにオブジェクト「Ａ」ＯＢ１である城にオブジェクト「Ｂ」ＯＢ２である石垣を重畳すると、手前の石垣によって奥の城は見えない。そのため、その画像においてユーザは奥の城を注視することは難しい。従って、注視によって注視用オブジェクトを切り替える構成である場合、奥行通りに重畳させた画像を用いて注視用オブジェクトを手前の石垣から奥の城に切り替えることが難しい場合がある。

その点、本実施の形態に係る表示システム１００では、図９の第２オブジェクト表示１０３Ｂがなされる。すなわち、図９の第２オブジェクト表示１０３Ｂでは、手前にある（奥行の小さい）オブジェクト「Ｂ」ＯＢ２１である石垣が視認性高く表されるとともに、それよりも低い視認性で、奥にある（奥行の大きい）オブジェクト「Ａ」ＯＢ１２である城が表される。これにより、表示装置３１の表示画面において、ユーザは、手前の石垣とともに、実際には石垣に隠れる、奥の城も視認することができる。そのため、ユーザは、第２オブジェクト表示１０３Ｂにおいて城に注視することができる。この結果、ユーザが注視するオブジェクトを石垣から城に替えることで、表示装置３１で表示される画面上での注視用オブジェクトを石垣から城に切り替えることができる。

本実施の形態にかかる表示システム１００においてこのような表示を表示装置３１にさせることで、従来の、手前のオブジェクトによって奥のオブジェクトが隠れて視認されない状態において、奥のオブジェクトに注視することで注視用オブジェクトを切り替える手法と比較して、切替の精度を向上させることができたことが発明者らの実験によって確認されている。これは、図９のように表示されることで、本来であれば視認されないオブジェクトが非注視用オブジェクトとして表示されるためである。

なお、表示装置３１での表示方法は、図１０の流れである。すなわち、コントローラ１のプロセッサ１０が実行するコンピュータプログラムは、図１０の流れでプロセッサ１０に表示処理を行わせる。図１０の表示方法は、例えば操作部１３が表示対象の複数のオブジェクトを指示するユーザ操作を受け付けて、その操作を表す操作信号をプロセッサ１０に入力することによって開始される。

図１０を参照して、プロセッサ１０は、表示対象の複数のオブジェクトを奥行に応じて重畳する画像表示処理を実行し、表示装置３１に表示させる画像データを生成する（ステップＳ１０１）。生成された画像データは、メモリ１１に格納される。

次に、プロセッサ１０は、メモリ１１に格納された画像データを読み出してインタフェース１２，３３を介して表示装置３１に送信するとともに、表示を指示する（ステップＳ１０３）。これにより、表示装置３１には、上の例では第１オブジェクト表示１０３Ａ、又は、第２オブジェクト表示１０３Ｂが行われる。

次に、プロセッサ１０は、表示装置３１に第１オブジェクト表示１０３Ａ、又は、第２オブジェクト表示１０３Ｂがなされている状態でのセンサ３２での検出結果を示すセンサ信号の入力をセンサ３２より受け付け（ステップＳ１０５）、ユーザの注視位置を検出する（ステップＳ１０７）。

検出された注視位置が、表示装置３１に表示されている画像に含まれる非注視用オブジェクトの奥行であった場合（ステップＳ１０９でＹＥＳ）、プロセッサ１０は、表示装置３１に表示される画像を、注視位置であった非注視用オブジェクトが注視用オブジェクトとなる画像に切り替えるために、ステップＳ１０１からの処理を繰り返す。このとき、ステップＳ１０１で実行されある画像生成処理は、表示装置３１に表示されていた画像において注視位置であった非注視用オブジェクトを注視用オブジェクトとする画像を生成する処理である。これにより、表示装置３１に表示される画像は、ユーザが注視した非注視用オブジェクトが注視用オブジェクトとして視認性が高く表される画像に切り替わる。

検出された注視位置が、表示装置３１に表示されている画像に含まれる注視用オブジェクトの奥行であった場合（ステップＳ１０９でＮＯ）、プロセッサ１０は、現在の表示装置３１の表示を継続する。プロセッサ１０は、操作部１３が表示を終了するユーザ操作を受け付けた場合や、所定期間ユーザ操作が行われなかった場合や、所定期間注視位置が変化しなかった場合など、表示装置３１での表示を終了する（ステップＳ１１１でＹＥＳ）。この場合、プロセッサ１０は、表示装置３１に表示の終了を指示する制御信号を出力する（ステップＳ１１３）。

表示を終了するまでの間（ステップＳ１１１でＮＯ）、プロセッサ１０は、表示装置３１での表示を継続する。この間、プロセッサ１０は、ユーザの注視位置を検出する処理（ステップＳ１０５，Ｓ１０７）を繰り返し、非注視用オブジェクトへの注視が検出されると（ステップＳ１０９でＹＥＳ）、ステップＳ１０１からの処理を繰り返す。

［第２の実施の形態］

非注視用オブジェクトは、対応する注視用オブジェクトから生成される画像でなく、奥行が対応する注視用オブジェクトと同じ、異なる画像であってもよい。異なる画像は、例えば、編み目模様などの、視認性が低い画像である。異なる画像であっても、視認可能に表示されることでユーザはその奥行に注視することができる。その結果、注視用オブジェクトを切り替えることができる。

好ましくは、非注視用オブジェクトは、視認可能な第１部分と、第１部分よりも視認性が低い第２部分と、を有し、第１部分は、対応する注視用オブジェクトの形状を示すものであればよい。図７～図９の例の場合、非注視用オブジェクトであるオブジェクト「Ａ」ＯＢ１２は、注視用オブジェクトであるオブジェクト「Ａ」ＯＢ１１に示された城の形状を示し、オブジェクト「Ａ」ＯＢ１１から生成される画像でなくてもよい。このような表示であっても、非注視用オブジェクトを視認したユーザは注視用オブジェクトとして示される状態をイメージしやすく、注視しやすくなる。

［第３の実施の形態］

注視位置を特定する方法は、輻輳角に基づく方法に限定されない。注視位置を特定する方法の他の例として、脳波や水晶体の調節状態の検出結果を利用する方法であってもよい。この場合、センサ３２は、脳波を測定するためのセンサや、水晶体の状態を検出するセンサ、などである。

さらに他の例として、センサ３２としてカメラを用い、連続した撮影画像から得られるユーザの視点の動きに基づいて注視位置を特定してもよい。この場合、コントローラ１のプロセッサ１０は、表示している画像に含まれる非注視用オブジェクトのうちの、いわゆるサリエンシーマップとも呼ばれる、注視されやすい位置を予め記憶しておく。そして、プロセッサ１０は、ユーザの視点の動きが注視されやすい位置に沿った動きである場合に、非注視用オブジェクトへの注視を検出してもよい。

また、センサ３２としてのカメラの撮影画像を用いる他の例としては、事前に各位置を注視したユーザの黒目を撮影した撮影画像とそのときの注視位置とのデータベースを構築しておき、カメラの撮影画像と比較することによって注視位置を特定してもよい。

さらには、注視位置を特定する方法は、ユーザの視覚に関係する検出方法でなくてもよい。例えば、操作部１３で、注視位置を指定するユーザ操作を受け付けてもよい。

このような他の方法でも非注視用オブジェクトへの注視を検出でき、表示を切り替えることができる。

＜３．付記＞
本発明は、上記実施形態に限定されるものではなく、様々な変形が可能である。

１ ：コントローラ
３ ：ＨＭＤ
５Ｌ ：左右眼
５Ｒ ：左右眼
１０ ：プロセッサ
１１ ：メモリ
１２ ：インタフェース
１３ ：操作部
３１ ：表示装置
３２ ：センサ
３３ ：インタフェース
１００ ：表示システム
１０１ ：注視検出処理
１０２ ：画像生成処理
１０３ ：画像表示処理
１０３Ａ ：第１オブジェクト表示
１０３Ｂ ：第２オブジェクト表示
１２１ ：第１部分
１２２ ：第２部分
２２１ ：第１部分
２２２ ：第２部分
ＤＢ１１１ ：画像
ＬＡ ：奥行
ＬＢ ：奥行
ＯＢ１ ：オブジェクト「Ａ」
ＯＢ１１ ：オブジェクト「Ａ」
ＯＢ１２ ：オブジェクト「Ａ」
ＯＢ２ ：オブジェクト「Ｂ」
ＯＢ２１ ：オブジェクト「Ｂ」
ＯＢ２２ ：オブジェクト「Ｂ」
Ｓ ：センサ信号

Claims (9)

1. 表示装置と、
   視線検出センサと、
   前記表示装置における表示を制御するコントローラと、
   を備え、
   前記コントローラは、
   第１注視用オブジェクト上に第１非注視用オブジェクトを重畳した第１オブジェクト表示を行い、
   前記視線検出センサからの検出信号に基づき、前記第１非注視用オブジェクトへのユーザの注視が検出されると、前記第１オブジェクト表示を第２オブジェクト表示に切り替える、
   動作をするよう構成され、
   前記第１非注視用オブジェクトは、前記第１オブジェクト表示において、視認可能な第１部分と、前記第１部分よりも透過度が高い第２部分と、を有し、
   前記第１オブジェクト表示において、前記第１非注視用オブジェクトが重畳された前記第１注視用オブジェクトは、前記第２部分から視認可能であり、
   前記第２オブジェクト表示は、第２注視用オブジェクト上に第２非注視用オブジェクトを重畳した表示であり、
   前記第２非注視用オブジェクトは、前記第２オブジェクト表示において、視認可能な第１部分と、前記第１部分よりも透過度が高い第２部分と、を有し、
   前記第２オブジェクト表示において、前記第２非注視用オブジェクトが重畳された前記第２注視用オブジェクトは、前記第２部分から視認可能であり、
   前記第１非注視用オブジェクトは、前記第２注視用オブジェクトを表す画像から生成された画像であって、前記第１非注視用オブジェクトにおける前記第２部分に相当する前記第２注視用オブジェクトにおける部分の透過度を高くすることにより生成された画像によって表され、
   前記第２非注視用オブジェクトは、前記第１注視用オブジェクトを表す画像から生成された画像であって、前記第２非注視用オブジェクトにおける前記第２部分に相当する前記第１注視用オブジェクトにおける部分の透過度を高くすることにより生成された画像によって表される、
   表示システム。
2. 前記第１非注視用オブジェクトを表す画像における前記第１部分は、前記第２注視用オブジェクトの形状を示す
   請求項１に記載の表示システム。
3. 前記第１非注視用オブジェクトを表す画像における前記第２部分は、前記第１非注視用オブジェクトを表す画像における前記第１部分よりも広い
   請求項１又は請求項２に記載の表示システム。
4. 前記コントローラは、前記第１注視用オブジェクト及び前記第１非注視用オブジェクトを、奥行位置が異なって視認されるように重畳した前記第１オブジェクト表示を行う
   請求項１～請求項３のいずれか一項に記載の表示システム。
5. 前記コントローラは、
   前記視線検出センサからの検出信号に基づき奥行方向における注視位置を識別し、
   前記奥行方向における前記注視位置に基づき、前記第１非注視用オブジェクトへのユーザの注視を検出する
   請求項４に記載の表示システム。
6. 前記コントローラは、両眼視差を含む対の画像をユーザに提示することで、前記第１注視用オブジェクト及び前記第１非注視用オブジェクトを、奥行位置が異なって視認されるよう重畳した前記第１オブジェクト表示を行うよう構成され、
   前記第１注視用オブジェクトが前記第１非注視用オブジェクトの手前に位置するよう視認される場合において、前記対の画像それぞれは、前記第１注視用オブジェクトを表す画像の上に前記第１非注視用オブジェクトが配置されて描画されている
   請求項４又は５に記載の表示システム。
7. 第１注視用オブジェクト上に第１非注視用オブジェクトを重畳した第１オブジェクト表示を行うことと、
   前記第１非注視用オブジェクトへのユーザの注視が検出されると、前記第１オブジェクト表示を第２オブジェクト表示に切り替えることと、を備え、
   前記第１非注視用オブジェクトは、前記第１オブジェクト表示において、視認可能な第１部分と、前記第１部分よりも透過度が高い第２部分と、を有し、
   前記第１オブジェクト表示において、前記第１非注視用オブジェクトが重畳された前記第１注視用オブジェクトは、前記第２部分から視認可能であり、
   前記第２オブジェクト表示は、第２注視用オブジェクト上に第２非注視用オブジェクトを重畳した表示であり、
   前記第２非注視用オブジェクトは、前記第２オブジェクト表示において、視認可能な第１部分と、前記第１部分よりも透過度が高い第２部分と、を有し、
   前記第２オブジェクト表示において、前記第２非注視用オブジェクトが重畳された前記第２注視用オブジェクトは、前記第２部分から視認可能であり、
   前記第１非注視用オブジェクトは、前記第２注視用オブジェクトを表す画像から生成された画像であって、前記第１非注視用オブジェクトにおける前記第２部分に相当する前記第２注視用オブジェクトにおける部分の透過度を高くすることにより生成された画像によって表され、
   前記第２非注視用オブジェクトは、前記第１注視用オブジェクトを表す画像から生成された画像であって、前記第２非注視用オブジェクトにおける前記第２部分に相当する前記第１注視用オブジェクトにおける部分の透過度を高くすることにより生成された画像によって表される、
   表示方法。
8. 表示装置における表示を制御するコントローラであって、
   第１注視用オブジェクト上に第１非注視用オブジェクトを重畳した第１オブジェクト表示を行い、
   前記第１非注視用オブジェクトへのユーザの注視が検出されると、前記第１オブジェクト表示を第２オブジェクト表示に切り替える、
   動作をするよう構成され、
   前記第１非注視用オブジェクトは、前記第１オブジェクト表示において、視認可能な第１部分と、前記第１部分よりも透過度が高い第２部分と、を有し、
   前記第１オブジェクト表示において、前記第１非注視用オブジェクトが重畳された前記第１注視用オブジェクトは、前記第２部分から視認可能であり、
   前記第２オブジェクト表示は、第２注視用オブジェクト上に第２非注視用オブジェクトを重畳した表示であり、
   前記第２非注視用オブジェクトは、前記第２オブジェクト表示において、視認可能な第１部分と、前記第１部分よりも透過度が高い第２部分と、を有し、
   前記第２オブジェクト表示において、前記第２非注視用オブジェクトが重畳された前記第２注視用オブジェクトは、前記第２部分から視認可能であり、
   前記第１非注視用オブジェクトは、前記第２注視用オブジェクトを表す画像から生成された画像であって、前記第１非注視用オブジェクトにおける前記第２部分に相当する前記第２注視用オブジェクトにおける部分の透過度を高くすることにより生成された画像によって表され、
   前記第２非注視用オブジェクトは、前記第１注視用オブジェクトを表す画像から生成された画像であって、前記第２非注視用オブジェクトにおける前記第２部分に相当する前記第１注視用オブジェクトにおける部分の透過度を高くすることにより生成された画像によって表される、
   コントローラ。
9. プロセッサに表示装置における表示を制御する処理を行わせるコンピュータプログラムであって、
   前記処理は、
   第１注視用オブジェクト上に第１非注視用オブジェクトを重畳した第１オブジェクト表示を行うことと、
   前記第１非注視用オブジェクトへのユーザの注視が検出されると、前記第１オブジェクト表示を第２オブジェクト表示に切り替えることと、を含み、
   前記第１非注視用オブジェクトは、前記第１オブジェクト表示において、視認可能な第１部分と、前記第１部分よりも透過度が高い第２部分と、を有し、
   前記第１オブジェクト表示において、前記第１非注視用オブジェクトが重畳された前記第１注視用オブジェクトは、前記第２部分から視認可能であり、
   前記第２オブジェクト表示は、第２注視用オブジェクト上に第２非注視用オブジェクトを重畳した表示であり、
   前記第２非注視用オブジェクトは、前記第２オブジェクト表示において、視認可能な第１部分と、前記第１部分よりも透過度が高い第２部分と、を有し、
   前記第２オブジェクト表示において、前記第２非注視用オブジェクトが重畳された前記第２注視用オブジェクトは、前記第２部分から視認可能であり、
   前記第１非注視用オブジェクトは、前記第２注視用オブジェクトを表す画像から生成された画像であって、前記第１非注視用オブジェクトにおける前記第２部分に相当する前記第２注視用オブジェクトにおける部分の透過度を高くすることにより生成された画像によって表され、
   前記第２非注視用オブジェクトは、前記第１注視用オブジェクトを表す画像から生成された画像であって、前記第２非注視用オブジェクトにおける前記第２部分に相当する前記第１注視用オブジェクトにおける部分の透過度を高くすることにより生成された画像によって表される、
   コンピュータプログラム。

Images