JP2024012898A - 電子機器 - Google Patents

Abstract

【課題】ユーザーが望んでいない仮想オブジェクトの表示による視認性の悪化を抑制することのできる技術を提供する。【解決手段】本発明の電子機器は、ユーザーの視線に関する視線情報を取得する取得手段と、前記視線情報に基づいて、仮想オブジェクトを表示するように制御する制御手段とを有し、前記制御手段は、優先度が第１の閾値よりも高い仮想オブジェクトを前記ユーザーの視野の中央部分に表示し、前記優先度が前記第１の閾値よりも低い仮想オブジェクトを前記中央部分の外側に表示するように制御することを特徴とする。【選択図】図７

Description

本発明は、ユーザーの視線に基づいて仮想オブジェクトを表示するように制御することが可能な電子機器に関する。

仮想オブジェクト（付加情報）を現実空間に重ねて（配置して）ユーザーに提示する技術が知られている。そのような技術は拡張現実（ＡＲ、Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）と呼ばれる。特許文献１には、ユーザーの視線に基づいて仮想オブジェクトの優先度を決定し、決定した優先度に従って仮想オブジェクトを表示する技術が開示されている。

特開２００２－６３６０１号公報

しかしながら、特許文献１に開示の技術では、仮想オブジェクトの位置が予め決まっており、ユーザーが望んでいない仮想オブジェクトの表示によって視認性が悪化することがある。

本発明は、ユーザーが望んでいない仮想オブジェクトの表示による視認性の悪化を抑制することのできる技術を提供することを目的とする。

本発明の第１の態様は、ユーザーの視線に関する視線情報を取得する取得手段と、前記視線情報に基づいて、仮想オブジェクトを表示するように制御する制御手段とを有し、前記制御手段は、優先度が第１の閾値よりも高い仮想オブジェクトを前記ユーザーの視野の中央部分に表示し、前記優先度が前記第１の閾値よりも低い仮想オブジェクトを前記中央部分の外側に表示するように制御することを特徴とする電子機器である。

本発明の第２の態様は、仮想オブジェクトを表示するように制御する制御手段を有し、前記制御手段は、第１の種類の仮想オブジェクトをユーザーの視野の中央部分に表示し、第２の種類の仮想オブジェクトを前記中央部分の外側に表示するように制御することを特徴とする電子機器である。

本発明の第３の態様は、仮想オブジェクトを表示するように制御する制御手段を有し、前記制御手段は、ユーザーがオブジェクトを見た際に、前記ユーザーが前記オブジェクトを見た回数が第１の回数であれば、前記オブジェクトに対応する仮想オブジェクトを前記ユーザーの視野の中央部分に表示し、前記ユーザーが前記オブジェクトを見た時間が第１の時間であれば、前記オブジェクトに対応する前記仮想オブジェクトを前記中央部分に表示し、前記ユーザーが前記オブジェクトを見た回数が前記第１の回数よりも少ない第２の回数であり、且つ、前記ユーザーが前記オブジェクトを見た時間が前記第１の時間よりも短い第２の時間であれば、前記オブジェクトに対応する前記仮想オブジェクトを前記中央部分の外側に表示するように制御することを特徴とする電子機器である。

本発明の第４の態様は、仮想オブジェクトを表示するように制御する制御手段を有し、
前記制御手段は、第１の使用回数の仮想オブジェクトをユーザーの視野の中央部分に表示し、前記第１の使用回数よりも少ない第２の使用回数の仮想オブジェクトを前記中央部分の外側に表示するように制御することを特徴とする電子機器である。

本発明の第５の態様は、仮想オブジェクトを表示するように制御する制御手段を有し、前記制御手段は、ユーザーの見た回数が第１の回数である仮想オブジェクトを前記ユーザーの視野の中央部分に表示し、前記ユーザーの見た回数が前記第１の回数よりも少ない第２の回数である仮想オブジェクトを前記中央部分の外側に表示するように制御することを特徴とする電子機器である。

本発明の第６の態様は、仮想オブジェクトを表示するように制御する制御手段を有し、前記制御手段は、ユーザーの見た時間が第１の時間である仮想オブジェクトを前記ユーザーの視野の中央部分に表示し、前記ユーザーの見た時間が前記第１の時間よりも短い第２の時間である仮想オブジェクトを前記中央部分の外側に表示するように制御することを特徴とする電子機器である。

本発明の第７の態様は、ユーザーの視線に関する視線情報を取得する取得ステップと、前記視線情報に基づいて、仮想オブジェクトを表示するように制御する制御ステップとを有し、前記制御ステップでは、優先度が第１の閾値よりも高い仮想オブジェクトを前記ユーザーの視野の中央部分に表示し、前記優先度が前記第１の閾値よりも低い仮想オブジェクトを前記中央部分の外側に表示するように制御することを特徴とする電子機器の制御方法である。

本発明の第８の態様は、コンピュータを、上述した電子機器の各手段として機能させるためのプログラムである。本発明の第９の態様は、コンピュータを、上述した電子機器の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体である。

本発明によれば、ユーザーが望んでいない仮想オブジェクトの表示による視認性の悪化を抑制することができる。

表示装置の概略図である。 ＣＰＵの機能構成を示すブロック図である。 視線検出方法の原理を説明するための図である。 眼画像を示す図である。 視線検出動作のフローチャートである。 表示領域の分割方法を説明するための図である。 実施形態１に係るＡＲオブジェクト表示処理のフローチャートである。 実施形態１に係るＡＲオブジェクトが表示された状態を示す図である。 実施形態２に係るＡＲオブジェクト表示処理のフローチャートである。 実施形態２に係るＡＲオブジェクトが表示された状態を示す図である。 実施形態３に係るＡＲオブジェクト表示処理のフローチャートである。 実施形態３に係るＡＲオブジェクトが表示された状態を示す図である。

＜＜実施形態１＞＞
本発明の実施形態１について説明する。実施形態１では、光学シースルー方式の表示装置に本発明を適用した例を説明するが、本発明は、例えば、ビデオシースルー方式の表示
装置にも適用可能である。光学シースルー方式の表示装置は、例えば、表示面（現実空間（外界）からの光を透過する表示面）に仮想オブジェクトを表示する。この場合に、ユーザーは、表示面に表示された仮想オブジェクトを見ることができる。さらに、ユーザーは、表示面を介して現実空間（外界）を直接見ることもできる。ビデオシースルー方式の表示装置は、現実空間を撮像した画像（仮想空間）を、必要に応じて仮想オブジェクトを合成して表示面（現実空間からの光を透過しない表示面）に表示する。この場合に、ユーザーは、現実空間を直接見ることはできないが、表示された画像を見ることで現実空間を間接的に見ることができる。

仮想オブジェクトは、例えば、現実オブジェクト（現実空間に存在するオブジェクト）の情報（説明）または場所の情報（説明）を示すグラフィック（例えばテキストまたはアイコン）である。仮想オブジェクトは広告のグラフィックであってもよい。仮想オブジェクトはアバター（ユーザー（自分または他人）を模したキャラクター）であってもよい。仮想オブジェクトは、ユーザーがＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）機器を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ、例えばメニューまたはアイコン）であってもよい。ＡＲ機器は、ＡＲに使用される電子機器である。ユーザーがＧＵＩを使って操作するＡＲ機器は、仮想オブジェクトを表示する表示装置とは別体の装置であってもよい。例えば、ユーザーがＧＵＩを使って操作するＡＲ機器は、表示装置に接続された制御装置（例えばコントローラーまたはＰＣ（パーソナルコンピュータ））であってもよい。

また、実施形態１では、頭部装着型表示装置に本発明を適用した例を説明するが、本発明は、例えば、ハンドヘルド型表示装置、および据え置き型表示装置にも適用可能である。頭部装着型表示装置は、例えば、スマートグラス（ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）グラス）またはヘッドマウントディスプレイ（ＨＭＤ）である。ハンドヘルド型表示装置は、例えば、スマートフォンまたはタブレット端末である。ヘッドマウントアダプタ（例えばＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）ゴーグル）に装着されたスマートフォンは、頭部装着型表示装置の一種である。

また、本発明は、表示装置以外の電子機器にも適用可能である。本発明は、ユーザーの視線に基づいて仮想オブジェクトを表示するように制御することが可能な各種電子機器に適用可能である。例えば、本発明は、表示装置に接続された制御装置（例えばコントローラーまたはＰＣ）にも適用可能である。また、実施形態１では、ＡＲに本発明を適用した例を説明するが、本発明は、例えば、ＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）およびＶＲといった他のＸＲ（Ｃｒｏｓｓ Ｒｅａｌｉｔｙ）にも適用可能である。

＜構成の説明＞
図１（ａ），１（ｂ）は、実施形態１に係る表示装置１００の概略図である。表示装置１００は透過型ＡＲグラスである。図１（ａ）は、表示装置１００を上側から見た断面図である。図１（ｂ）は、表示装置１００を背面側から見た外観図である。図１（ｃ）は、表示装置１００を正面側から見た外観図である。

表示装置１００は、ＣＰＵ１０１ａ，１０１ｂ、眼撮像部１０２ａ，１０２ｂ、光源１０３ａ，１０４ａ，１０３ｂ，１０４ｂ、表示部１０５ａ，１０５ｂ、投影レンズ１０６ａ，１０６ｂ、ハーフミラー１０７ａ，１０７ｂ、センサ部１０８ａ，１０８ｂ、ネットワークＩ／Ｆ部１０９ａ，１０９ｂ、メモリ部１１０ａ，１１０ｂ、メガネレンズ１１１ａ，１１１ｂ、および現実空間撮像部１１２を有する。符号に「ａ」を含んだ構成要素は左目用の構成要素であり、符号に「ｂ」を含んだ構成要素は右目用の構成要素である。

眼撮像部１０２ａと眼撮像部１０２ｂのそれぞれは、受光レンズと撮像素子（眼撮像素
子）を有し、表示装置１００を装着したユーザーの眼（目）を撮像する。以後、「表示装置１００を装着したユーザー」を単に「ユーザー」と記載する。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１ａ，１０１ｂは表示装置１００全体を制御する。例えば、ＣＰＵ１０１ａとＣＰＵ１０１ｂのそれぞれは、視線検出処理、およびＡＲオブジェクト（仮想オブジェクト）の表示制御を行う。なお、表示装置１００は、両目（左目と右目）に対して１つのＣＰＵを有していてもよい。

光源１０３ａ、光源１０４ａ、光源１０３ｂ、および光源１０４ｂは、光の角膜反射による反射像（角膜反射像）と瞳孔の関係から視線を検出するためにユーザーの眼球を照明する光源である。光源１０３ａ、光源１０４ａ、光源１０３ｂ、および光源１０４ｂは、例えば、ユーザーに対して不感の赤外光を発する赤外発光ダイオードである。光源１０３ａ，１０４ａは眼撮像部１０２ａの周辺に配置されており、光源１０３ｂ，１０４ｂは眼撮像部１０２ｂの周辺に配置されている。

表示部１０５ａは、ＣＰＵ１０１ａからの指示に従ってＡＲオブジェクトを表示する。表示されたＡＲオブジェクトの光は、投影レンズ１０６ａを通って、メガネレンズ１１１ａに入射する。メガネレンズ１１１ａにはハーフミラー１０７ａが埋め込まれており、ＡＲオブジェクトの光は、ハーフミラー１０７ａの反射面で反射して、ユーザーの左目に入射する。同様に、表示部１０５ｂは、ＣＰＵ１０１ｂからの指示に従ってＡＲオブジェクトを表示する。表示されたＡＲオブジェクトの光は、投影レンズ１０６ｂを通って、メガネレンズ１１１ｂに入射する。メガネレンズ１１１ｂにはハーフミラー１０７ｂが埋め込まれており、ＡＲオブジェクトの光は、ハーフミラー１０７ｂの反射面で反射して、ユーザーの左目に入射する。また、現実空間からの光はハーフミラー１０７ａ，１０７ｂの非反射面を通って、ユーザーの眼に入射する。このような構成により、ＡＲオブジェクトを現実空間に重ねてユーザーに提示する（視認させる）ことができる。

センサ部１０８ａとセンサ部１０８ｂのそれぞれは、加速度センサ（例えばジャイロセンサ）を有する。ＣＰＵ１０１ａ，１０１ｂは、加速度センサの出力信号に基づいて、ユーザーの頭部の動きを検出することができる。また、センサ部１０８ａとセンサ部１０８ｂのそれぞれは、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部も有する。ＧＰＳ受信部は、ＧＰＳアンテナでＧＰＳ信号を受信する。ＣＰＵ１０１ａ，１０１ｂは、ＧＰＳ信号に基づいてユーザーの位置を検出し、検出した位置を含む地域のＡＲオブジェクト情報（ＡＲオブジェクトの情報）を外部機器（例えば、ネットワーク上にある外部サーバー）から取得することができる。なお、表示装置１００は、両目（左目と右目）に対して１つのセンサ部を有していてもよい。

ネットワークＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）部１０９ａ，１０９ｂは、外部機器との通信を行う。ネットワークＩ／Ｆ部１０９ａは、現実空間撮像部１１２から得た現実空間画像（現実空間を撮像した画像）と、ＣＰＵ１０１ａから得たユーザーの位置情報（位置の情報）とを、ネットワークを介して外部サーバーに送信し、ＡＲオブジェクト情報を取得する。同様に、ネットワークＩ／Ｆ部１０９ｂは、現実空間撮像部１１２から得た現実空間画像と、ＣＰＵ１０１ｂから得たユーザーの位置情報とを、ネットワークを介して外部サーバーに送信し、ＡＲオブジェクト情報を取得する。なお、表示装置１００は、両目（左目と右目）に対して１つのネットワークＩ／Ｆ部を有していてもよい。

メモリ部１１０ａ，１１０ｂは、現実空間画像、眼画像（眼を撮像した画像）、ＡＲオブジェクト情報、視線情報（視線の情報）といった様々な情報を記憶する記憶部である。なお、表示装置１００は、両目（左目と右目）に対して１つのメモリ部を有していてもよい。

現実空間撮像部１１２は、表示装置１００の正面に配置されている。現実空間撮像部１１２は、撮像素子を有し、現実空間（表示装置１００の正面方向）を撮像する。

図２は、ＣＰＵ１０１ａの機能構成を示すブロック図である。ＣＰＵ１０１ｂの機能構成は、ＣＰＵ１０１ａの機能構成と同様である。ＣＰＵ１０１ａは、現実空間画像取得部２０１、ＡＲオブジェクト情報取得部２０２、ＡＲオブジェクト生成部２０３、視線検出部２０４、表示領域分割部２０５、優先度判断部２０６、表示制御部２０７、および位置情報取得部２０８を有する。

現実空間画像取得部２０１は、現実空間撮像部１１２から現実空間画像（画像データ、画像信号）を取得する。そして、現実空間画像取得部２０１は、現実空間画像をメモリ部１１０ａに記録したり、ネットワークＩ／Ｆ１０９ａとネットワーク２０９を介して外部サーバー２１０に送信したりする。より詳細には、現実空間画像取得部２０１は、現実空間撮像部１１２から現像前の現実空間画像を取得し、現実空間画像の現像を行い、現像後の現実空間画像を記録したり送信したりする。

ＡＲオブジェクト情報取得部２０２は、外部サーバー２１０からネットワーク２０９とネットワークＩ／Ｆ１０９ａを介してＡＲオブジェクト情報を取得する。

ＡＲオブジェクト生成部２０３は、ＡＲオブジェクト情報取得部２０２により取得されたＡＲオブジェクト情報に基づいてＡＲオブジェクト（画像データ、画像信号）を生成する。

視線検出部２０４は、眼撮像部１０２ａから眼画像（画像データ、画像信号）を取得し、取得した眼画像に基づいてユーザーの視線（左目の視線）を検出する。

表示領域分割部２０５は、視線検出部２０４で検出された視線（視線情報）に基づいて表示領域（表示部１０５ａがＡＲオブジェクトを表示することのできる領域）を複数の分割領域に分割する。

優先度判断部２０６は、ＡＲオブジェクト情報取得部２０２により取得されたＡＲオブジェクト情報に基づいてＡＲオブジェクトの優先度を判断する。優先度判断部２０６は、現実空間画像取得部２０１により取得された現実空間画像と、視線検出部２０４で検出された視線（視線情報）とに基づいて、ＡＲオブジェクトの優先度を判断してもよい。

表示制御部２０７は、視線情報に基づいて表示部１０５ａにＡＲオブジェクトを表示させる。例えば、表示制御部２０７は、ＡＲオブジェクト生成部２０３からＡＲオブジェクトを取得し、表示領域分割部２０５から分割領域情報（複数の分割領域の情報、視線情報に基づく情報）を取得し、優先度判断部２０６からＡＲオブジェクトの優先度を取得する。そして、表示制御部２０７は、分割領域情報と優先度に基づいて、表示部１０５ａにＡＲオブジェクトを表示させる。

位置情報取得部２０８は、センサ部１０８ａ（ＧＰＳ受信部）からＧＰＳ信号を取得し、ＧＰＳ信号に基づいてユーザーの位置を検出する。そして、位置情報取得部２０８は、検出した位置の情報（ユーザーの位置情報）を、ネットワークＩ／Ｆ１０９ａとネットワーク２０９を介して外部サーバー２１０に送信する。

＜視線検出方法の説明＞
図３，４（ａ），４（ｂ），５を用いて、左目の視線検出方法について説明する。右目
の視線検出方法は、左目の視線検出方法と同様である。図３は、視線検出方法の原理を説明するための図であり、視線検出部２０４の処理（視線検出処理）を行うための光学系の概略図である。図３に示すように、光源１０３ａ，１０４ａは受光レンズ３０５の光軸に対して略対称に配置され、ユーザーの眼球３０１を照らす。光源１０３ａ，１０４ａから発せられて眼球３０１で反射した光の一部は、受光レンズ３０５によって、眼撮像素子３０４に集光する。図４（ａ）は、眼撮像素子３０４で撮像された眼画像（眼撮像素子３０４に投影された眼の光学像）の概略図であり、図４（ｂ）は眼撮像素子３０４の出力強度を示す図である。図５は、視線検出処理のフローチャートである。

図５の視線検出処理が開始すると、ステップＳ５０１で、視線検出部２０４（ＣＰＵ１０１ａ）は、ユーザーの眼球３０１に向けて赤外光を発するように、光源１０３ａ，１０４ａを制御する。赤外光によって照明されたユーザーの眼の光学像は、受光レンズ３０５を通って眼撮像素子３０４上に結像し、眼撮像素子３０４により光電変換される。これにより、処理可能な眼画像の電気信号が得られる。

ステップＳ５０２では、視線検出部２０４は、眼撮像素子３０４から眼画像（画像データ、画像信号）を取得する。

ステップＳ５０３では、視線検出部２０４は、ステップＳ５０２で得られた眼画像から、光源１０３ａ，１０４ａの角膜反射像Ｐｄ，Ｐｅと瞳孔中心ｃに対応する点の座標を検出する。

光源１０３ａ，１０４ａより発せられた赤外光は、ユーザーの眼球３０１の角膜３０３を照明する。このとき、角膜３０３の表面で反射した赤外光の一部により形成される角膜反射像Ｐｄ，Ｐｅは、受光レンズ３０５により集光され、眼撮像素子３０４上に結像して、眼画像における角膜反射像Ｐｄ’，Ｐｅ’となる。同様に瞳孔３０２の端部ａ，ｂからの光束も眼撮像素子３０４上に結像して、眼画像における瞳孔端像ａ’，ｂ’となる。

図４（ｂ）は、図４（ａ）の眼画像における領域αの輝度情報（輝度分布）を示す。図４（ｂ）では、眼画像の水平方向をＸ軸方向、垂直方向をＹ軸方向とし、Ｘ軸方向の輝度分布が示されている。実施形態１では、角膜反射像Ｐｄ’，Ｐｅ’のＸ軸方向（水平方向）の座標をＸｄ，Ｘｅとし、瞳孔端像ａ’，ｂ’のＸ軸方向の座標をＸａ，Ｘｂとする。図４（ｂ）に示すように、角膜反射像Ｐｄ’，Ｐｅ’の座標Ｘｄ，Ｘｅでは、極端に高いレベルの輝度が得られる。瞳孔３０２の領域（瞳孔３０２からの光束が眼撮像素子３０４上に結像して得られる瞳孔像の領域）に相当する、座標Ｘａから座標Ｘｂまでの領域では、座標Ｘｄ，Ｘｅを除いて、極端に低いレベルの輝度が得られる。そして、瞳孔３０２の外側の虹彩３０６の領域（虹彩３０６からの光束が結像して得られる、瞳孔像の外側の虹彩像の領域）では、上記２種類の輝度の中間の輝度が得られる。具体的には、Ｘ座標（Ｘ軸方向の座標）が座標Ｘａより大きい領域と、Ｘ座標が座標Ｘｂより小さい領域とで、上記２種類の輝度の中間の輝度が得られる。

図４（ｂ）に示すような輝度分布から、角膜反射像Ｐｄ’，Ｐｅ’のＸ座標Ｘｄ，Ｘｅと、瞳孔端像ａ’，ｂ’のＸ座標Ｘａ，Ｘｂを得ることができる。具体的には、輝度が極端に高い座標を角膜反射像Ｐｄ’，Ｐｅ’の座標として得ることができ、輝度が極端に低い座標を瞳孔端像ａ’，ｂ’の座標として得ることができる。また、受光レンズ３０５の光軸に対する眼球３０１の光軸の回転角θｘが小さい場合には、瞳孔中心ｃからの光束が眼撮像素子３０４上に結像して得られる瞳孔中心像ｃ’（瞳孔像の中心）の座標Ｘｃは、Ｘｃ≒（Ｘａ＋Ｘｂ）／２と表すことができる。つまり、瞳孔端像ａ’，ｂ’のＸ座標Ｘａ，Ｘｂから、瞳孔中心像ｃ’の座標Ｘｃを算出できる。このようにして、角膜反射像Ｐｄ’，Ｐｅ’の座標と、瞳孔中心像ｃ’の座標とを見積もることができる。

ステップＳ５０４では、視線検出部２０４は、眼画像の結像倍率βを算出する。結像倍率βは、受光レンズ３０５に対する眼球３０１の位置により決まる倍率で、角膜反射像Ｐｄ’，Ｐｅ’の間隔（Ｘｄ－Ｘｅ）の関数を用いて算出することができる。

ステップＳ５０５では、視線検出部２０４は、受光レンズ３０５の光軸に対する眼球３０１の光軸の回転角を算出する。角膜反射像Ｐｄと角膜反射像Ｐｅの中点のＸ座標と角膜３０３の曲率中心ＯのＸ座標とはほぼ一致する。このため、角膜３０３の曲率中心Ｏから瞳孔３０２の中心ｃまでの標準的な距離をＯｃとすると、Ｚ－Ｘ平面（Ｙ軸に垂直な平面）内での眼球３０１の回転角θｘは、以下の式１で算出できる。Ｚ－Ｙ平面（Ｘ軸に垂直な平面）内での眼球３０１の回転角θｙも、回転角θｘの算出方法と同様の方法で算出できる。

β×Ｏｃ×ＳＩＮθｘ≒｛（Ｘｄ＋Ｘｅ）／２｝－Ｘｃ ・・・（式１）

ステップＳ５０６では、視線検出部２０４は、ステップＳ５０５で算出した回転角θｘ，θｙを用いて、メガネレンズ１１１ａ上でのユーザーの視点（視線が注がれた位置）を推定する。視点の座標（Ｈｘ，Ｈｙ）が瞳孔中心ｃに対応する座標であるとすると、視点の座標（Ｈｘ，Ｈｙ）は以下の式２，３で算出できる。視点は、ユーザーが見ている位置と捉えたり、視線位置と捉えたりすることもできる。

Ｈｘ＝ｍ×（Ａｘ×θｘ＋Ｂｘ） ・・・（式２）
Ｈｙ＝ｍ×（Ａｙ×θｙ＋Ｂｙ） ・・・（式３）

式２，３のパラメータｍは、視線検出処理を行うための光学系の構成で定まる定数であり、回転角θｘ，θｙをメガネレンズ１１１ａ上での瞳孔中心ｃに対応する座標に変換する変換係数である。パラメータｍは、予め決定されてメモリ部１１０ａに格納されるとする。パラメータＡｘ，Ｂｘ，Ａｙ，Ｂｙは、視線の個人差を補正する視線補正パラメータであり、視線検出のキャリブレーションを行うことで取得される。視線補正パラメータＡｘ，Ｂｘ，Ａｙ，Ｂｙは、視線検出処理が開始する前にメモリ部１１０ａに格納されるとする。

ステップＳ５０７では、視線検出部２０４は、視点の座標（Ｈｘ，Ｈｙ）をメモリ部１１０ａに格納し、視線検出処理を終える。

なお、視線検出方法は上記方法に限られず、例えば、眼画像から視線情報（視線に関する情報）を取得する方法であれば、どのような方法であってもよい。最終的な視線情報として、視点を示す情報ではなく、視線方向（視線の方向）を示す情報が得られてもよい。例えば、視点の座標（Ｈｘ，Ｈｙ）を得ずに、回転角（Ａｘ×θｘ＋ＢｘおよびＡｙ×θｙ＋Ｂｙ）を得るまでの処理が行われてもよい。

＜表示領域の分割方法の説明＞
図６（ａ），６（ｂ）は、表示領域（ＡＲオブジェクトを表示可能な領域）の分割方法を説明するための図である。図６（ａ），６（ｂ）では、簡単のために、ユーザーから各位置までの距離（奥行き）の違いは省略している。図６（ａ），６（ｂ）に示すように、ユーザーの両目での注視位置は、両目の視線が交わる位置であり、両目の視線情報から推定することができる。実施形態１では、両目の視線情報に基づいて、表示領域を、ユーザーの視野の中央部分に対応する分割領域と、当該中央部分の外側に対応する分割領域とに
分割するとする。

図６（ａ）では、注視位置６０１に基づいて、３種類の分割領域６０２～６０４が設定されている。分割領域６０２は、注視位置６０１を含み、視野の中央部分（視野の中で最も視認感度が高い中央視野）に対応する。ユーザーは、分割領域６０２内のオブジェクト（現実オブジェクトまたはＡＲオブジェクト）を鮮明に見ることができる。分割領域６０３，６０４は、視野の中央部分の外側（周辺視野）に対応する。人間の視認感度は注視位置から遠ざかるにつれて低くなる。そのため、分割領域６０３，６０４内のオブジェクトは、ぼけて見える。分割領域６０２に対して分割領域６０３は分割領域６０４よりも近いため、分割領域６０３のぼけ量は分割領域６０４のぼけ量よりも小さい。

図６（ａ）の状態から、ユーザーが頭部を動かさずに注視位置６０１を左に動かす（眼球を左に回転させる）と、図６（ｂ）に示すように分割領域６０２～６０４が更新される。分割領域６０２，６０３は、注視位置６０１に追従するように左側に移動する。それに伴い、左側の分割領域６０４は狭くなり、右側の分割領域６０４は広くなる。ここで、注視位置６０１が表示領域の中心から遠いほど、分割領域６０２，６０３のサイズを小さくするとする。このため、図６（ｂ）では、分割領域６０２，６０３が図６（ａ）よりも狭くなっている。

なお、分割領域の種類数は特に限定されない。例えば、２種類の分割領域（視野の中央部分に対応する分割領域、および当該中央部分の外側に対応する分割領域）が設定されてもよいし、４種類以上の分割領域が設定されてもよい。視野の中央部分に対応する分割領域として複数種類の分割領域が設定されてもよい。

最も外側の分割領域でない分割領域（例えば、視野の中央部分に対応する分割領域）のサイズは固定サイズであってもよいし、ユーザーが適宜設定（変更）できてもよい。最も外側の分割領域でない分割領域のサイズは、注視位置に存在する現実オブジェクトまでの距離が近いほど狭くてもよい。

矩形の表示領域を上下方向の分割線（境界線）で複数の矩形領域に分割する例を示したが、分割線、および分割領域の形状はこれらに限られない。例えば、表示領域を、円形の分割線で、円形領域と、当該円形領域と同心円のリング状領域とに分割してもよい。注視位置に存在する現実オブジェクトの輪郭を画像処理（例えばエッジ検出）で検出し、当該輪郭と相似の関係にある分割線で表示領域を複数の矩形領域に分割してもよい。表示領域の形状も特に限定されない。例えば、表示領域の形状は、円形、楕円形、略台形、または略八角形であってもよい。

＜ＡＲオブジェクト表示方法の説明＞
図７，８（ａ），８（ｂ）を用いて、実施形態１に係るＡＲオブジェクト表示方法について説明する。図７は、実施形態１に係るＡＲオブジェクト表示処理のフローチャートである。図８（ａ），８（ｂ）は、図７のＡＲオブジェクト表示処理によってＡＲオブジェクトが表示された状態を示す図である。例えば、表示装置１００が起動すると、図７のＡＲオブジェクト表示処理が開始する。ＣＰＵ１０１ａは、図７のＡＲオブジェクト表示処理を繰り返し行う。ＣＰＵ１０１ａが図７のＡＲオブジェクト表示処理を行う際に、ＣＰＵ１０１ｂも同様のＡＲオブジェクト表示処理を行う。

図７のＡＲオブジェクト表示処理が開始すると、ステップＳ７０１で、ＣＰＵ１０１ａ（ＡＲオブジェクト情報取得部２０２）は、外部サーバー２１０からＡＲオブジェクト情報を取得する。なお、メモリ部１１０ａにＡＲオブジェクト情報を予め格納し、メモリ部１１０ａからＡＲオブジェクト情報を読み出してもよい。

ステップＳ７０２では、ＣＰＵ１０１ａ（視線検出部２０４）は、図５の視線検出処理を行い、左目の視線情報を取得する。

ステップＳ７０３では、ＣＰＵ１０１ａ（表示領域分割部２０５）は、両目の視線情報に基づいて、表示領域（表示部１０５ａがＡＲオブジェクトを表示することのできる領域）を、複数の分割領域に分割する。例えば、上述したように、表示領域が３種類の分割領域６０２～６０４に分割される。

ステップＳ７０４では、ＣＰＵ１０１ａ（優先度判断部２０６）は、現実空間画像、および両目の視線情報に基づいて、注目オブジェクトが存在するか否かを判定する。注目オブジェクトが存在する場合はステップＳ７０５に進み、そうでない場合はステップＳ７０８に進む。

例えば、ＣＰＵ１０１ａ（優先度判断部２０６）は、現実空間画像から１つ以上の現実オブジェクトを検出し、両目の視線情報に基づいて、両眼での注視位置に現実オブジェクトが存在するか否かを判定する。現実オブジェクトの検出には、様々な公知技術を用いることができる。ＣＰＵ１０１ａ（優先度判断部２０６）は、各現実オブジェクトの注目回数と注目時間を管理しており、注視位置に現実オブジェクトが存在するか否かの判定結果に基づき、各現実オブジェクトの注目回数と注目時間を更新する。現実オブジェクトの注目回数は、ユーザーが当該現実オブジェクトを見た回数であり、現実オブジェクトの注目時間は、ユーザーが当該現実オブジェクトを見た時間（累積時間）である。そして、ＣＰＵ１０１ａ（優先度判断部２０６）は、両目の視線情報に基づいて、注視位置に存在し且つ注目回数と注目時間の少なくとも一方が閾値以上である現実オブジェクトを、注目オブジェクトとして決定する。

ＣＰＵ１０１ａ（優先度判断部２０６）は、各現実オブジェクトの注目回数と注目時間を適宜初期値（０回および０秒）にリセットする。例えば、ＣＰＵ１０１ａ（優先度判断部２０６）は、ユーザーが現実オブジェクトを見ない状態が所定時間継続した場合に、当該現実オブジェクトの注目回数と注目時間を初期値にリセットする。ＣＰＵ１０１ａ（優先度判断部２０６）は、ユーザーが現実オブジェクトに対応する所定のエリアの外に出た場合に、当該現実オブジェクトの注目回数と注目時間を初期値にリセットしてもよい。

なお、注目オブジェクトの決定方法は上記方法に限られず、例えば、注目時間を考慮せずに、注視位置に存在し且つ注目回数が閾値以上である現実オブジェクトを、注目オブジェクトとして決定してもよい。注目回数を考慮せずに、注視位置に存在し且つ注目時間が閾値以上である現実オブジェクトを、注目オブジェクトとして決定してもよい。また、注目回数と注目時間は、オブジェクトごとに管理しなくてもよい。例えば、注目回数と注目時間は、オブジェクトの種類（例えば、家電量販店、飲食店、洋服店、本屋、神社、公園、駅、山、および星座）ごとに管理してもよい。また、現実オブジェクトに対応するエリアの決定方法は特に限定されない。例えば、現実オブジェクトに対応するエリアは、現実オブジェクトの位置に基づいて定められてもよいし、特定のオブジェクト（例えば駅）の位置に基づいて定められてもよい。現実オブジェクトの種類に依って、現実オブジェクトに対応するエリアの広さが異なってもよい。例えば、星座に対するエリアとして、家電量販店に対応するエリアよりもはるかに広いエリアが定められてもよい。現実オブジェクトに対応するエリアは、他の現実オブジェクトに対応するエリアに重なってもよい。

図７の説明に戻る。ステップＳ７０５では、ＣＰＵ１０１ａは、ＡＲオブジェクト情報と分割領域情報に基づいて、優先度が閾値以上のＡＲオブジェクトを、中央視野（視野の中央部分）に対応する分割領域に表示する。

ステップＳ７０６では、ＣＰＵ１０１ａは、ＡＲオブジェクト情報と分割領域情報に基づいて、優先度が閾値未満のＡＲオブジェクトを、周辺視野（視野の中央部分の外側）に対応する分割領域に表示する。優先度が閾値と等しいＡＲオブジェクトを、周辺視野に対応する分割領域に表示してもよい。

ステップＳ７０５，Ｓ７０６では、例えば、ＡＲオブジェクト生成部２０３がＡＲオブジェクト情報に基づいてＡＲオブジェクトを生成し、優先度判断部２０６がＡＲオブジェクト情報に基づいてＡＲオブジェクトの優先度を判断する。そして、表示制御部２０７が、分割領域情報と優先度に基づいてＡＲオブジェクトを表示する。

実施形態１では、ＡＲオブジェクトの優先度が予め定められており、優先度がＡＲオブジェクト情報に含まれているとする。優先度判断部２０６がＡＲオブジェクト情報から優先度を読み出す。優先度は、例えば、ＡＲオブジェクトの種類ごとに定められる。この場合は、例えば、ユーザーがいる場所に限って有益な情報を示すＡＲオブジェクトの優先度として、注目頻度の低いＡＲオブジェクトの優先度よりも高い優先度が定められる。ユーザーがいる場所に限って有益な情報を示すＡＲオブジェクトは、例えば、現実オブジェクトの情報を示すＡＲオブジェクトである。注目頻度の低いＡＲオブジェクトは、例えば、電池残量または現在時刻を示すＡＲオブジェクトである。

なお、優先度に対応する情報がＡＲオブジェクト情報に含まれていれば、優先度はＡＲオブジェクト情報に含まれていなくてもよい。例えば、ＡＲオブジェクトの種類の情報がＡＲオブジェクト情報に含まれており、優先度判断部２０６は当該種類の情報に応じて優先度を判断してもよい。優先度は、ＡＲオブジェクトの種類ごとに定められなくてもよい。例えば、優先度は、ＡＲオブジェクトごとに定められてもよい。優先度は予め定められた固定値であってもよいし、そうでなくてもよい。例えば、ユーザーが適宜設定（変更）できてもよい。現実オブジェクトの注目回数が多いほど高い優先度が設定されるように、注目回数に応じて優先度を自動で変更してもよい。同様に、現実オブジェクトの注目時間が長いほど高い優先度が設定されるように、注目時間に応じて優先度を自動で変更してもよい。

ステップＳ７０５，Ｓ７０６の処理が行われた場合には、例えば、図８（ａ）に示すような表示が行われる。図８（ａ）では、現実オブジェクトの情報を示すＡＲオブジェクト８０１，８０２（第１の種類のＡＲオブジェクト）が、中央視野に対応する分割領域６０２に表示されている。そして、電池残量を示すＡＲオブジェクト８０５（第２の種類のＡＲオブジェクト）と、現在時刻を示すＡＲオブジェクト８０６（第２の種類のＡＲオブジェクト）とが、周辺視野に対応する分割領域６０４に表示されている。

なお、第１の種類と第２の種類は上記種類に限られない。また、分割領域６０３にもＡＲオブジェクトが表示されてよい。例えば、優先度が高いＡＲオブジェクトを分割領域６０２に表示し、優先度が中程度のＡＲオブジェクトを分割領域６０３に表示し、優先度が低いＡＲオブジェクトを分割領域６０４に表示してもよい。優先度が高いほど注視位置に近く且つ優先度が低いほど注視位置から遠い位置に、ＡＲオブジェクトを表示してもよい。実施形態１では分割領域６０３を周辺視野に対応する分割領域として扱うが、分割領域６０３は、中央視野に対応する分割領域として扱ってもよいし、中央視野と周辺視野の両方に対応する分割領域として扱ってもよい。このため、分割領域６０３には、優先度が閾値以上のＡＲオブジェクトも、優先度が閾値未満のＡＲオブジェクトも表示され得る。

図７の説明に戻る。ステップＳ７０７では、ＣＰＵ１０１ａは、ＡＲオブジェクト情報と分割領域情報に基づいて、注目オブジェクトに対応するＡＲオブジェクトを、中央視野
に対応する分割領域に表示する。この処理は、注目オブジェクトに対応するＡＲオブジェクトの優先度が閾値以上であるとみなした処理と捉えることができる。ステップＳ７０７では、例えば、ＡＲオブジェクト生成部２０３が、ＡＲオブジェクト情報に基づいて、注目オブジェクトに対応するＡＲオブジェクトを生成する。そして、表示制御部２０７が、分割領域情報に基づいて、注目オブジェクトに対応するＡＲオブジェクトを表示する。

ステップＳ７０８では、ＣＰＵ１０１ａ（表示制御部２０７）は、ＡＲオブジェクト情報と分割領域情報に基づいて、注目オブジェクトに対応するＡＲオブジェクトに類似のＡＲオブジェクトを、中央視野に対応する分割領域に表示する。この処理は、類似のＡＲオブジェクトの優先度が閾値以上であるとみなした処理と捉えることができる。例えば、類似のＡＲオブジェクトは、注目オブジェクトに対応しないＡＲオブジェクトであり、注目オブジェクトと同じ種類の現実オブジェクトに対応するＡＲオブジェクトである。ステップＳ７０８では、例えば、ＡＲオブジェクト生成部２０３がＡＲオブジェクト情報に基づいて類似のＡＲオブジェクトを生成し、表示制御部２０７が分割領域情報に基づいて類似のＡＲオブジェクトを表示する。

ステップＳ７０９では、ＣＰＵ１０１ａ（表示制御部２０７）は、ＡＲオブジェクト情報と分割領域情報に基づいて、他のＡＲオブジェクトを、周辺視野に対応する分割領域に表示する。この処理は、他のＡＲオブジェクトの優先度が閾値未満であるとみなした処理と捉えることができる。他のＡＲオブジェクトは、注目オブジェクトに対応するＡＲオブジェクトに非類似のＡＲオブジェクトである。例えば、他のＡＲオブジェクトは、注目オブジェクトに対応しないＡＲオブジェクトであり、注目オブジェクトと異なる種類の現実オブジェクトに対応するＡＲオブジェクトである。他のＡＲオブジェクトは、現実オブジェクトに対応しないＡＲオブジェクトであってもよい。ステップＳ７０９では、例えば、ＡＲオブジェクト生成部２０３がＡＲオブジェクト情報に基づいて他のＡＲオブジェクトを生成し、表示制御部２０７が分割領域情報に基づいて他のＡＲオブジェクトを表示する。

ステップＳ７０７～Ｓ７０９の処理が行われた場合には、例えば、図８（ｂ）に示すような表示が行われる。図８（ｂ）では、注視位置６０１の現実オブジェクト（家電量販店Ａ）の情報を示すＡＲオブジェクト８０１と、家電量販店Ｂの情報を示すＡＲオブジェクト８０２とが中央視野に対応する分割領域６０２に表示されている。カフェＣの情報を示すＡＲオブジェクト８０３が、周辺視野に対応する分割領域６０３に表示されている。そして、古着屋Ｄの情報を示すＡＲオブジェクト８０４、電池残量を示すＡＲオブジェクト８０５、および現在時刻を示すＡＲオブジェクト８０６が、周辺視野に対応する分割領域６０４に表示されている。

なお、ステップＳ７０８の処理を省略し、注目オブジェクトに対応するＡＲオブジェクトに類似のＡＲオブジェクトを、（優先度が閾値以上のＡＲオブジェクトとみなして、）周辺視野に対応する分割領域に表示してもよい。また、ステップＳ７０７～Ｓ７０９の処理を省略して、常にステップＳ７０５，Ｓ７０６の処理を行ってもよい。ステップＳ７０５，Ｓ７０６の処理を省略して、常にステップＳ７０７～Ｓ７０９の処理を行ってもよい。

常にステップＳ７０７～Ｓ７０９の処理を行う場合について説明する。例えば、ユーザーが現実オブジェクトを見た際に、当該現実オブジェクトの注目回数が第１の回数であれば、当該現実オブジェクトに対応するＡＲオブジェクトは、中央視野に対応する分割領域に表示される。ユーザーが現実オブジェクトを見た際に、当該現実オブジェクトの注目時間が第１の時間であれば、当該現実オブジェクトに対応するＡＲオブジェクトは、中央視野に対応する分割領域に表示される。その他の場合には、ユーザーが見た現実オブジェク
トに対応するＡＲオブジェクトは、周辺視野に対応する分割領域に表示される。その他の場合とは、ユーザーが現実オブジェクトを見た際に、当該現実オブジェクトの注目回数が第１の回数よりも少ない第２の回数であり、且つ、当該現実オブジェクトの注目時間が第１の時間よりも短い第２の時間であるような場合である。

＜まとめ＞
以上述べたように、実施形態１によれば、優先度が低い仮想オブジェクト（ＡＲオブジェクト）が周辺視野に表示される。これにより、ユーザーが望んでいない仮想オブジェクトの表示による視認性の悪化を抑制することができる。さらに、実施形態１によれば、優先度が高い仮想オブジェクトが中央視野に表示される。これにより、ユーザーにとって有益な仮想オブジェクトを、高い視認性で表示することができる。また、優先度が低い仮想オブジェクトを非表示にしないことで、ユーザーは、優先度が高い仮想オブジェクトだけでなく、優先度が低い仮想オブジェクトも見ることができるようになり、利便性が向上する。

＜＜実施形態２＞＞
本発明の実施形態２について説明する。なお、以下では、実施形態１と同じ点（例えば実施形態１と同じ構成および処理）についての説明は省略し、実施形態１と異なる点について説明する。実施形態１では、現実オブジェクトの情報を示すＡＲオブジェクトを表示する例を説明した。実施形態２では、ユーザーが操作可能なＡＲオブジェクトを表示する例を説明する。

図９，１０（ａ），１０（ｂ）を用いて、実施形態２に係るＡＲオブジェクト表示方法について説明する。図９は、実施形態２に係るＡＲオブジェクト表示処理のフローチャートである。図１０（ａ），１０（ｂ）は、図９のＡＲオブジェクト表示処理によってＡＲオブジェクトが表示された状態を示す図である。例えば、表示装置１００が起動すると、図９のＡＲオブジェクト表示処理が開始する。ＣＰＵ１０１ａは、図９のＡＲオブジェクト表示処理を繰り返し行う。ＣＰＵ１０１ａが図９のＡＲオブジェクト表示処理を行う際に、ＣＰＵ１０１ｂも同様のＡＲオブジェクト表示処理を行う。

実施形態２では、ＣＰＵ１０１ａ（表示制御部２０７）は、ＡＲオブジェクトの使用回数（操作回数）を管理している。ＣＰＵ１０１ａ（表示制御部２０７）は、ＡＲオブジェクトの使用回数を適宜初期値（０回）にリセットする。例えば、ＣＰＵ１０１ａ（表示制御部２０７）は、ユーザーがＡＲオブジェクトを操作しない状態が所定時間継続した場合に、当該ＡＲオブジェクトの使用回数を初期値にリセットする。このため、使用回数は使用頻度と捉えることもできる。

図９のＡＲオブジェクト表示処理が開始すると、ステップＳ９０１で、ＣＰＵ１０１ａ（ＡＲオブジェクト情報取得部２０２）は、外部サーバー２１０からＡＲオブジェクト情報を取得する。

ステップＳ９０２では、ＣＰＵ１０１ａ（視線検出部２０４）は、図５の視線検出処理を行い、左目の視線情報を取得する。

ステップＳ９０３では、ＣＰＵ１０１ａ（表示領域分割部２０５）は、両目の視線情報に基づいて、表示領域（表示部１０５ａがＡＲオブジェクトを表示することのできる領域）を、複数の分割領域に分割する。例えば、実施形態１で述べたように、表示領域が３種類の分割領域６０２～６０４に分割される。

ステップＳ９０４では、ＣＰＵ１０１ａは、ＡＲオブジェクト情報と分割領域情報に基
づいて、優先度と使用回数が閾値以上であるＡＲオブジェクト（第１ＡＲオブジェクト）を、中央視野に対応する分割領域に表示する。このときの複数の分割領域と第１ＡＲオブジェクトの位置関係に従った第１ＡＲオブジェクトの位置を、第１ＡＲオブジェクトの初期位置と定義する。

ステップＳ９０５では、ＣＰＵ１０１ａは、ＡＲオブジェクト情報と分割領域情報に基づいて、優先度と使用回数の少なくとも一方が閾値未満であるＡＲオブジェクト（第２ＡＲオブジェクト）を、周辺視野に対応する分割領域に表示する。このときの複数の分割領域と第２ＡＲオブジェクトの位置関係に従った第２ＡＲオブジェクトの位置を、第２ＡＲオブジェクトの初期位置と定義する。

ステップＳ９０４，Ｓ９０５では、例えば、ＡＲオブジェクト生成部２０３がＡＲオブジェクト情報に基づいてＡＲオブジェクトを生成し、優先度判断部２０６がＡＲオブジェクト情報に基づいてＡＲオブジェクトの優先度を判断する。そして、表示制御部２０７が、分割領域情報、優先度、および使用回数に基づいてＡＲオブジェクトを表示する。なお、優先度と使用回数を個別に扱わず、使用回数が多いほど高い優先度が設定されるように、注目回数に応じて優先度を自動で変更してもよい。

ステップＳ９０４，Ｓ９０５の処理が行われた場合には、例えば、図１０（ａ）に示すような表示が行われる。図１０（ａ）では、第１の使用回数（≧閾値）のＡＲオブジェクト１００１が、中央視野に対応する分割領域６０２に表示されている。そして、第１の使用回数よりも少ない第２の使用回数（＜閾値）のＡＲオブジェクト１００２が、周辺視野に対応する分割領域６０４に表示されている。

ステップＳ９０６では、ＣＰＵ１０１ａ（視線検出部２０４）は、図５の視線検出処理を行い、左目の視線情報を取得する。そして、ＣＰＵ１０１ａ（表示領域分割部２０５）は、両目の視線情報に基づいて、両目での注視位置が移動したか否かを判定する。注視位置が移動した場合はステップＳ９０７に進み、そうでない場合はステップＳ９１０に進む。注視位置が移動した場合は、ＣＰＵ１０１ａ（表示領域分割部２０５）は、両目の視線情報に基づいて、複数の分割領域を更新する。

ステップＳ９０７では、ＣＰＵ１０１ａ（表示制御部２０７）は、第１ＡＲオブジェクトを注視位置に追従させる。この処理は、第１ＡＲオブジェクトを初期位置に表示し続ける処理（複数の分割領域と第１ＡＲオブジェクトの位置関係をステップＳ９０４の位置関係を同じとして第１ＡＲオブジェクトを表示する処理）と捉えることもできる。

ステップＳ９０８では、ＣＰＵ１０１ａ（表示制御部２０７）は、注視位置が移動した方向に存在し且つ移動後の注視位置から所定範囲内に存在する第２ＡＲオブジェクトを、中央視野に対応する分割領域の端（外側）に移動（吸着）させる。なお、中央視野に対応する分割領域の端は、当該分割領域の内側であってもよい。中央視野に対応する分割領域の外側と内側を含む領域に第２ＡＲオブジェクトを表示してもよい（中央視野に対応する分割領域の輪郭（境界）を跨いで第２ＡＲオブジェクトを表示してもよい）。これにより、第２ＡＲオブジェクトが視認および操作しやすくなる。

ステップＳ９０９では、ＣＰＵ１０１ａ（表示制御部２０７）は、他の第２ＡＲオブジェクトを初期位置に表示する（複数の分割領域と第２ＡＲオブジェクトの位置関係をステップＳ９０５の位置関係を同じとして第２ＡＲオブジェクトを表示する）。

ステップＳ９０７～Ｓ９０９の処理が行われた場合には、例えば、図１０（ｂ）に示すような表示が行われる。図１０（ｂ）は、ユーザーが注視位置６０１を図１０（ａ）に示
す位置から左に移動させた状態を示す。図１０（ｂ）では、ＡＲオブジェクト１００１が、注視位置６０１に追従して、分割領域６０２に表示され続けている。そして、図１０（ａ）では分割領域６０４に表示されていたＡＲオブジェクト１００２が、分割領域６０２の端に吸着して、分割領域６０３に表示されている。

ステップＳ９０９では、ＣＰＵ１０１ａ（表示制御部２０７）は、ＡＲオブジェクトが操作されたか否かを判定する。実施形態２では、ＡＲオブジェクトの位置の更新周期（および分割領域の更新周期）が、注視位置（推定位置）の更新周期よりも長いとする。そのため、ユーザーは、視線（視線入力）でＡＲオブジェクトを操作することができる。なお、注視位置の動きベクトルから、注視位置の動きを解析してもよい。そして、ＡＲオブジェクトを見るように注視位置が動いている間は、当該ＡＲオブジェクトの位置（および分割領域）を更新しないとしてもよい。中央視野に対応する分割領域内で注視位置が動いている間はＡＲオブジェクトの位置（および分割領域）を更新せず、中央視野に対応する分割領域を出るように注視位置が動いた場合にＡＲオブジェクトの位置（および分割領域）更新するとしてもよい。中央視野に対応する分割領域を出るように注視位置が動いても、中央視野に対応する分割領域に吸着した第２ＡＲオブジェクトを見るように注視位置が動いている場合には、ＡＲオブジェクトの位置（および分割領域）を更新しないとしてもよい。例えば、中央視野に対応する分割領域を出るような注視位置の動きにおいて、大きい動きベクトルから小さい動きベクトルへの変化があった場合は、ＡＲオブジェクトの位置（および分割領域）を更新しないとしてもよい。中央視野に対応する分割領域を出るような注視位置の動きにおいて、注視位置が大きな動きベクトルで動き続けていた場合は、ＡＲオブジェクトの位置（および分割領域）を更新するとしてもよい。

ステップＳ９１０では、ＣＰＵ１０１ａ（表示制御部２０７）は、操作されたＡＲオブジェクトの使用回数を更新する。

以上述べたように、実施形態２によれば、使用回数（操作回数）が多い仮想オブジェクト（ＡＲオブジェクト）を中央視野に表示することにより、利便性を向上することができる。さらに、注視位置が移動した方向に存在する仮想オブジェクトを注視位置に近づけることにより、当該仮想オブジェクトが操作しやすくなり、利便性をより向上することができる。

＜＜実施形態３＞＞
本発明の実施形態３について説明する。なお、以下では、実施形態１，２と同じ点（例えば実施形態１，２と同じ構成および処理）についての説明は省略し、実施形態１，２と異なる点について説明する。実施形態３に係るＡＲオブジェクトは、例えばアバターである。

図１１，１２（ａ），１２（ｂ）を用いて、実施形態３に係るＡＲオブジェクト表示方法について説明する。図１１は、実施形態３に係るＡＲオブジェクト表示処理のフローチャートである。図１２（ａ），１２（ｂ）は、図１１のＡＲオブジェクト表示処理によってＡＲオブジェクトが表示された状態を示す図である。例えば、表示装置１００が起動すると、図１１のＡＲオブジェクト表示処理が開始する。ＣＰＵ１０１ａは、図１１のＡＲオブジェクト表示処理を繰り返し行う。ＣＰＵ１０１ａが図１１のＡＲオブジェクト表示処理を行う際に、ＣＰＵ１０１ｂも同様のＡＲオブジェクト表示処理を行う。

実施形態３では、ＣＰＵ１０１ａ（優先度判断部２０６）は、ＡＲオブジェクトの注目回数と注目時間を管理している。ＡＲオブジェクトの注目回数は、ユーザーが当該ＡＲオブジェクトを見た回数であり、ＡＲオブジェクトの注目時間は、ユーザーが当該ＡＲオブジェクトを見た時間（累積時間）である。ＣＰＵ１０１ａ（優先度判断部２０６）は、Ａ
Ｒオブジェクトの注目回数と注目時間を適宜初期値（０回および０秒）にリセットする。例えば、ＣＰＵ１０１ａ（優先度判断部２０６）は、ユーザーがＡＲオブジェクトを見ない状態が所定時間継続した場合に、当該ＡＲオブジェクトの注目回数と注目時間を初期値にリセットする。このため、注目回数は注目頻度と捉えることもできる。ＡＲオブジェクトの注目回数と注目時間の一方を考慮しなくてもよい。

図１１のＡＲオブジェクト表示処理が開始すると、ステップＳ１１０１で、ＣＰＵ１０１ａ（ＡＲオブジェクト情報取得部２０２）は、外部サーバー２１０からＡＲオブジェクト情報を取得する。

ステップＳ１１０２では、ＣＰＵ１０１ａ（視線検出部２０４）は、図５の視線検出処理を行い、左目の視線情報を取得する。

ステップＳ１１０３では、ＣＰＵ１０１ａ（表示領域分割部２０５）は、両目の視線情報に基づいて、表示領域（表示部１０５ａがＡＲオブジェクトを表示することのできる領域）を、複数の分割領域に分割する。例えば、実施形態１で述べたように、表示領域が３種類の分割領域６０２～６０４に分割される。

ステップＳ１１０４では、ＣＰＵ１０１ａは、ＡＲオブジェクト情報と分割領域情報に基づいて、優先度が閾値以上であるＡＲオブジェクトを、中央視野に対応する分割領域に表示する。

ステップＳ１１０５では、ＣＰＵ１０１ａは、ＡＲオブジェクト情報と分割領域情報に基づいて、優先度が閾値未満であるＡＲオブジェクトを、周辺視野に対応する分割領域に表示する。

ステップＳ１１０４，Ｓ１１０５では、例えば、ＡＲオブジェクト生成部２０３がＡＲオブジェクト情報に基づいてＡＲオブジェクトを生成し、優先度判断部２０６がＡＲオブジェクト情報に基づいてＡＲオブジェクトの優先度を判断する。そして、表示制御部２０７が、分割領域情報と優先度に基づいてＡＲオブジェクトを表示する。

ステップＳ１１０４，Ｓ１１０５の処理が行われた場合には、例えば、図１２（ａ），１２（ｂ）に示すような表示が行われる。図１２（ａ）では、ＡＲオブジェクト１２０１（アバター）の信頼度が閾値以上であるため、ＡＲオブジェクト１２０１が、中央視野に対応する分割領域６０２に表示されている。図１２（ｂ）では、ＡＲオブジェクト１２０１の信頼度が閾値未満であるため、ＡＲオブジェクト１２０１が、周辺視野に対応する分割領域６０４に表示されている。表示されるアバターの数は特に限定されない。

ステップＳ１１０６では、ＣＰＵ１０１ａ（優先度判断部２０６）は、両目の視線情報に基づいて、ユーザーがＡＲオブジェクトを見たか否かを判定する。ユーザーがＡＲオブジェクトを見た場合はステップＳ１１０７に進み、そうでない場合はステップＳ１１０９に進む。実施形態３でも、実施形態２と同様に、ユーザーは、ＡＲオブジェクトを見る（ＡＲオブジェクトに注視位置を合わせる）ことができる。

ステップＳ１１０７では、ＣＰＵ１０１ａ（優先度判断部２０６）は、ユーザーが見たＡＲオブジェクトの注目回数と注目時間に基づいて、当該ＡＲオブジェクトの優先度を上げる。例えば、ＣＰＵ１０１ａ（優先度判断部２０６）は、注目回数が所定量（例えば１回または３回）増加する度に、ＡＲオブジェクトの優先度を１つ上げる。また、ＣＰＵ１０１ａ（優先度判断部２０６）は、注目時間が所定量（例えば５秒または１０秒）増加する度に、ＡＲオブジェクトの優先度を１つ上げる。なお、ステップＳ１１０７では常にＡ
Ｒオブジェクトの優先度を１つ上げてもよい。

これにより、例えば、注目回数が第１の回数であるＡＲオブジェクトは中央視野に対応する分割領域に表示され、注目回数が第１の回数よりも少ない第２の回数であるＡＲオブジェクトは周辺視野に対応する分割領域に表示されるようになる。また、注目時間が第１の時間であるＡＲオブジェクトは中央視野に対応する分割領域に表示され、注目時間が第１の時間よりも短い第２の時間であるＡＲオブジェクトは周辺視野に対応する分割領域に表示されるようになる。

ステップＳ１１０８では、ＣＰＵ１０１ａ（優先度判断部２０６）は、他のＡＲオブジェクトの優先度を１つ下げる。

ステップＳ１１０９では、ＣＰＵ１０１ａ（優先度判断部２０６）は、各ＡＲオブジェクトの優先度を１つ下げる。

以上述べたように、実施形態３によれば、注目回数が少ない仮想オブジェクト（ＡＲオブジェクト）および注目時間が短い仮想オブジェクトが周辺視野に表示される。これにより、ユーザーが望んでいない仮想オブジェクトの表示による視認性の悪化を抑制することができる。さらに、実施形態３によれば、注目回数が多い仮想オブジェクト（ＡＲオブジェクト）および注目時間が長い仮想オブジェクトが中央視野に表示される。これにより、ユーザーが見ることの多い仮想オブジェクトを、高い視認性で表示することができる。

なお、上記実施形態（変形例を含む）はあくまで一例であり、本発明の要旨の範囲内で上記実施形態の構成を適宜変形したり変更したりすることにより得られる構成も、本発明に含まれる。上記実施形態の構成を適宜組み合わせて得られる構成も、本発明に含まれる。

＜＜その他の実施形態＞＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本実施形態の開示は、以下の構成、方法、プログラム、および媒体を含む。
（構成１）
ユーザーの視線に関する視線情報を取得する取得手段と、
前記視線情報に基づいて、仮想オブジェクトを表示するように制御する制御手段と
を有し、
前記制御手段は、
優先度が第１の閾値よりも高い仮想オブジェクトを前記ユーザーの視野の中央部分に表示し、
前記優先度が前記第１の閾値よりも低い仮想オブジェクトを前記中央部分の外側に表示する
ように制御する
ことを特徴とする電子機器。
（構成２）
前記制御手段は、
前記ユーザーが注目しているオブジェクトである注目オブジェクトに対応する仮想オブジェクトを前記中央部分に表示し、
前記注目オブジェクトに対応しない仮想オブジェクトを前記中央部分の外側に表示す
る
ように制御する
ことを特徴とする構成１に記載の電子機器。
（構成３）
前記制御手段は、前記注目オブジェクトに対応しない前記仮想オブジェクトであっても、前記注目オブジェクトに対応する前記仮想オブジェクトに類似する仮想オブジェクトは前記中央部分に表示するように制御する
ことを特徴とする構成２に記載の電子機器。
（構成４）
前記注目オブジェクトは、前記ユーザーの注視位置に存在し且つ前記ユーザーの見た回数が第２の閾値よりも多いオブジェクトである
ことを特徴とする構成２または３に記載の電子機器。
（構成５）
前記制御手段は、前記ユーザーがオブジェクトを見ない状態が所定時間継続した場合に、前記ユーザーが当該オブジェクトを見た回数を初期値にリセットする
ことを特徴とする構成４に記載の電子機器。
（構成６）
前記制御手段は、前記ユーザーがオブジェクトに対応する所定のエリアの外に出た場合に、前記ユーザーが当該オブジェクトを見た回数を初期値にリセットする
ことを特徴とする構成４または５に記載の電子機器。
（構成７）
前記注目オブジェクトは、前記ユーザーの注視位置に存在し且つ前記ユーザーの見た時間が第３の閾値よりも長いオブジェクトである
ことを特徴とする構成２～６のいずれか１項に記載の電子機器。
（構成８）
前記制御手段は、前記ユーザーがオブジェクトを見ない状態が所定時間継続した場合に、前記ユーザーが当該オブジェクトを見た時間を初期値にリセットする
ことを特徴とする構成７に記載の電子機器。
（構成９）
前記制御手段は、前記ユーザーがオブジェクトに対応する所定のエリアの外に出た場合に、前記ユーザーが当該オブジェクトを見た時間を初期値にリセットする
ことを特徴とする構成７または８に記載の電子機器。
（構成１０）
前記制御手段は、
前記優先度が前記第１の閾値よりも高く且つ使用回数が第４の閾値よりも多い第１の仮想オブジェクトを前記中央部分に表示し、
前記優先度が前記第１の閾値よりも低い又は前記使用回数が前記第４の閾値よりも少ない第２の仮想オブジェクトを前記中央部分の外側に表示する
ように制御する
ことを特徴とする構成１～９のいずれか１項に記載の電子機器。
（構成１１）
前記制御手段は、前記第１の仮想オブジェクトを前記ユーザーの注視位置に追従させるように制御する
ことを特徴とする構成１０に記載の電子機器。
（構成１２）
前記制御手段は、前記ユーザーの注視位置が移動した方向に存在し且つ移動後の前記注視位置から所定範囲内に存在する第２の仮想オブジェクトを前記中央部分の端に移動させるように制御する
ことを特徴とする構成１０または１１に記載の電子機器。
（構成１３）
前記制御手段は、前記ユーザーが仮想オブジェクトを見た場合に、前記ユーザーが当該仮想オブジェクトを見た回数に基づいて、当該仮想オブジェクトの優先度を上げる
ことを特徴とする構成１～１２のいずれか１項に記載の電子機器。
（構成１４）
前記制御手段は、前記ユーザーが仮想オブジェクトを見た場合に、前記ユーザーが当該仮想オブジェクトを見た時間に基づいて、当該仮想オブジェクトの優先度を上げる
ことを特徴とする構成１～１３のいずれか１項に記載の電子機器。
（構成１５）
仮想オブジェクトを表示するように制御する制御手段を有し、
前記制御手段は、
第１の種類の仮想オブジェクトをユーザーの視野の中央部分に表示し、
第２の種類の仮想オブジェクトを前記中央部分の外側に表示する
ように制御する
ことを特徴とする電子機器。
（構成１６）
仮想オブジェクトを表示するように制御する制御手段を有し、
前記制御手段は、ユーザーがオブジェクトを見た際に、
前記ユーザーが前記オブジェクトを見た回数が第１の回数であれば、前記オブジェクトに対応する仮想オブジェクトを前記ユーザーの視野の中央部分に表示し、
前記ユーザーが前記オブジェクトを見た時間が第１の時間であれば、前記オブジェクトに対応する前記仮想オブジェクトを前記中央部分に表示し、
前記ユーザーが前記オブジェクトを見た回数が前記第１の回数よりも少ない第２の回数であり、且つ、前記ユーザーが前記オブジェクトを見た時間が前記第１の時間よりも短い第２の時間であれば、前記オブジェクトに対応する前記仮想オブジェクトを前記中央部分の外側に表示する
ように制御する
ことを特徴とする電子機器。
（構成１７）
仮想オブジェクトを表示するように制御する制御手段を有し、
前記制御手段は、
第１の使用回数の仮想オブジェクトをユーザーの視野の中央部分に表示し、
前記第１の使用回数よりも少ない第２の使用回数の仮想オブジェクトを前記中央部分の外側に表示する
ように制御する
ことを特徴とする電子機器。
（構成１８）
仮想オブジェクトを表示するように制御する制御手段を有し、
前記制御手段は、
ユーザーの見た回数が第１の回数である仮想オブジェクトを前記ユーザーの視野の中央部分に表示し、
前記ユーザーの見た回数が前記第１の回数よりも少ない第２の回数である仮想オブジェクトを前記中央部分の外側に表示する
ように制御する
ことを特徴とする電子機器。
（構成１９）
仮想オブジェクトを表示するように制御する制御手段を有し、
前記制御手段は、
ユーザーの見た時間が第１の時間である仮想オブジェクトを前記ユーザーの視野の中央部分に表示し、
前記ユーザーの見た時間が前記第１の時間よりも短い第２の時間である仮想オブジェ
クトを前記中央部分の外側に表示する
ように制御する
ことを特徴とする電子機器。
（方法）
ユーザーの視線に関する視線情報を取得する取得ステップと、
前記視線情報に基づいて、仮想オブジェクトを表示するように制御する制御ステップとを有し、
前記制御ステップでは、
優先度が第１の閾値よりも高い仮想オブジェクトを前記ユーザーの視野の中央部分に表示し、
前記優先度が前記第１の閾値よりも低い仮想オブジェクトを前記中央部分の外側に表示する
ように制御する
ことを特徴とする電子機器の制御方法。
（プログラム）
コンピュータを、構成１～１９のいずれか１項に記載の電子機器の各手段として機能させるためのプログラム。
（媒体）
コンピュータを、構成１～１９のいずれか１項に記載の電子機器の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。

１００：表示装置 １０１ａ，１０１ｂ：ＣＰＵ

Claims (22)

1. ユーザーの視線に関する視線情報を取得する取得手段と、
   前記視線情報に基づいて、仮想オブジェクトを表示するように制御する制御手段と
   を有し、
   前記制御手段は、
   優先度が第１の閾値よりも高い仮想オブジェクトを前記ユーザーの視野の中央部分に表示し、
   前記優先度が前記第１の閾値よりも低い仮想オブジェクトを前記中央部分の外側に表示する
   ように制御する
   ことを特徴とする電子機器。
2. 前記制御手段は、
   前記ユーザーが注目しているオブジェクトである注目オブジェクトに対応する仮想オブジェクトを前記中央部分に表示し、
   前記注目オブジェクトに対応しない仮想オブジェクトを前記中央部分の外側に表示する
   ように制御する
   ことを特徴とする請求項１に記載の電子機器。
3. 前記制御手段は、前記注目オブジェクトに対応しない前記仮想オブジェクトであっても、前記注目オブジェクトに対応する前記仮想オブジェクトに類似する仮想オブジェクトは前記中央部分に表示するように制御する
   ことを特徴とする請求項２に記載の電子機器。
4. 前記注目オブジェクトは、前記ユーザーの注視位置に存在し且つ前記ユーザーの見た回数が第２の閾値よりも多いオブジェクトである
   ことを特徴とする請求項２に記載の電子機器。
5. 前記制御手段は、前記ユーザーがオブジェクトを見ない状態が所定時間継続した場合に、前記ユーザーが当該オブジェクトを見た回数を初期値にリセットする
   ことを特徴とする請求項４に記載の電子機器。
6. 前記制御手段は、前記ユーザーがオブジェクトに対応する所定のエリアの外に出た場合に、前記ユーザーが当該オブジェクトを見た回数を初期値にリセットする
   ことを特徴とする請求項４に記載の電子機器。
7. 前記注目オブジェクトは、前記ユーザーの注視位置に存在し且つ前記ユーザーの見た時間が第３の閾値よりも長いオブジェクトである
   ことを特徴とする請求項２に記載の電子機器。
8. 前記制御手段は、前記ユーザーがオブジェクトを見ない状態が所定時間継続した場合に、前記ユーザーが当該オブジェクトを見た時間を初期値にリセットする
   ことを特徴とする請求項７に記載の電子機器。
9. 前記制御手段は、前記ユーザーがオブジェクトに対応する所定のエリアの外に出た場合に、前記ユーザーが当該オブジェクトを見た時間を初期値にリセットする
   ことを特徴とする請求項７に記載の電子機器。
10. 前記制御手段は、
    前記優先度が前記第１の閾値よりも高く且つ使用回数が第４の閾値よりも多い第１の仮想オブジェクトを前記中央部分に表示し、
    前記優先度が前記第１の閾値よりも低い又は前記使用回数が前記第４の閾値よりも少ない第２の仮想オブジェクトを前記中央部分の外側に表示する
    ように制御する
    ことを特徴とする請求項１に記載の電子機器。
11. 前記制御手段は、前記第１の仮想オブジェクトを前記ユーザーの注視位置に追従させるように制御する
    ことを特徴とする請求項１０に記載の電子機器。
12. 前記制御手段は、前記ユーザーの注視位置が移動した方向に存在し且つ移動後の前記注視位置から所定範囲内に存在する第２の仮想オブジェクトを前記中央部分の端に移動させるように制御する
    ことを特徴とする請求項１０に記載の電子機器。
13. 前記制御手段は、前記ユーザーが仮想オブジェクトを見た場合に、前記ユーザーが当該仮想オブジェクトを見た回数に基づいて、当該仮想オブジェクトの優先度を上げる
    ことを特徴とする請求項１に記載の電子機器。
14. 前記制御手段は、前記ユーザーが仮想オブジェクトを見た場合に、前記ユーザーが当該仮想オブジェクトを見た時間に基づいて、当該仮想オブジェクトの優先度を上げる
    ことを特徴とする請求項１に記載の電子機器。
15. 仮想オブジェクトを表示するように制御する制御手段を有し、
    前記制御手段は、
    第１の種類の仮想オブジェクトをユーザーの視野の中央部分に表示し、
    第２の種類の仮想オブジェクトを前記中央部分の外側に表示する
    ように制御する
    ことを特徴とする電子機器。
16. 仮想オブジェクトを表示するように制御する制御手段を有し、
    前記制御手段は、ユーザーがオブジェクトを見た際に、
    前記ユーザーが前記オブジェクトを見た回数が第１の回数であれば、前記オブジェクトに対応する仮想オブジェクトを前記ユーザーの視野の中央部分に表示し、
    前記ユーザーが前記オブジェクトを見た時間が第１の時間であれば、前記オブジェクトに対応する前記仮想オブジェクトを前記中央部分に表示し、
    前記ユーザーが前記オブジェクトを見た回数が前記第１の回数よりも少ない第２の回数であり、且つ、前記ユーザーが前記オブジェクトを見た時間が前記第１の時間よりも短い第２の時間であれば、前記オブジェクトに対応する前記仮想オブジェクトを前記中央部分の外側に表示する
    ように制御する
    ことを特徴とする電子機器。
17. 仮想オブジェクトを表示するように制御する制御手段を有し、
    前記制御手段は、
    第１の使用回数の仮想オブジェクトをユーザーの視野の中央部分に表示し、
    前記第１の使用回数よりも少ない第２の使用回数の仮想オブジェクトを前記中央部分の外側に表示する
    ように制御する
    ことを特徴とする電子機器。
18. 仮想オブジェクトを表示するように制御する制御手段を有し、
    前記制御手段は、
    ユーザーの見た回数が第１の回数である仮想オブジェクトを前記ユーザーの視野の中央部分に表示し、
    前記ユーザーの見た回数が前記第１の回数よりも少ない第２の回数である仮想オブジェクトを前記中央部分の外側に表示する
    ように制御する
    ことを特徴とする電子機器。
19. 仮想オブジェクトを表示するように制御する制御手段を有し、
    前記制御手段は、
    ユーザーの見た時間が第１の時間である仮想オブジェクトを前記ユーザーの視野の中央部分に表示し、
    前記ユーザーの見た時間が前記第１の時間よりも短い第２の時間である仮想オブジェクトを前記中央部分の外側に表示する
    ように制御する
    ことを特徴とする電子機器。
20. ユーザーの視線に関する視線情報を取得する取得ステップと、
    前記視線情報に基づいて、仮想オブジェクトを表示するように制御する制御ステップとを有し、
    前記制御ステップでは、
    優先度が第１の閾値よりも高い仮想オブジェクトを前記ユーザーの視野の中央部分に表示し、
    前記優先度が前記第１の閾値よりも低い仮想オブジェクトを前記中央部分の外側に表示する
    ように制御する
    ことを特徴とする電子機器の制御方法。
21. コンピュータを、請求項１～１９のいずれか１項に記載の電子機器の各手段として機能させるためのプログラム。
22. コンピュータを、請求項１～１９のいずれか１項に記載の電子機器の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。

Images