JP6334477B2 - 画像表示装置、画像表示方法及びプログラム - Google Patents

画像表示装置、画像表示方法及びプログラム Download PDF

Info

Publication number
JP6334477B2
JP6334477B2 JP2015165159A JP2015165159A JP6334477B2 JP 6334477 B2 JP6334477 B2 JP 6334477B2 JP 2015165159 A JP2015165159 A JP 2015165159A JP 2015165159 A JP2015165159 A JP 2015165159A JP 6334477 B2 JP6334477 B2 JP 6334477B2
Authority
JP
Japan
Prior art keywords
optical beacon
image
wearer
pupil
beacon
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015165159A
Other languages
English (en)
Other versions
JP2017044756A (ja
Inventor
朗弘 根本
朗弘 根本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Fielding Ltd
Original Assignee
NEC Fielding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Fielding Ltd filed Critical NEC Fielding Ltd
Priority to JP2015165159A priority Critical patent/JP6334477B2/ja
Publication of JP2017044756A publication Critical patent/JP2017044756A/ja
Application granted granted Critical
Publication of JP6334477B2 publication Critical patent/JP6334477B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、画像表示装置、画像表示方法及びプログラムに関する。特に、拡張現実（ＡＲ；Augmented Reality）に係る表示を提供する、画像表示装置、画像表示方法及びプログラムに関する。
近年、頭部に装着するＨＭＤ（Head Mounted Display)に関する製品の研究、開発が盛んに行われている。ＨＭＤが用いられる状況として、機器の整備や倉庫での荷物収集等が挙げられる。例えば、上記の業務を担当する作業者がＨＭＤを装着することで、業務効率の向上が期待できる。ＨＭＤは、作業者が目視する対象物（作業箇所）に重畳するように、虚像の作業箇所や作業内容に係る指示を投射することができるためである。その結果、作業者は、作業マニュアルと作業対象物を見比べる必要がなくなり、作業箇所の把握を確実に行うことができる。このように、作業対象物にマーカ等を貼り付け、ＨＭＤに搭載されたカメラにより当該マーカを撮像し、作業者の視界を認識した上で、作業箇所や作業内容の指示が投射される製品、システムの開発が進められている。
特許文献１において、拡張現実を使用して装置の保守命令および動作命令を表示するシステムが開示されている。
特許文献２において、ＨＭＤの装着者が見ているシーンの対象物と位置が合うようにＡＲ画像を表示させるシステムであって、ＨＭＤの装着者に画像の表示位置に係る調整を要求するシステムが開示されている。
特許文献３において、ＨＭＤの装着者が鏡と向き合うことで、対象物とＨＭＤにより提供される仮想現実の位置関係を校正する技術が開示されている。
特表２００９−５３８４８７号公報 国際公開第２０１３／１４５１４７号 国際公開第２０１３／１２８６１２号
なお、上記先行技術文献の各開示を、本書に引用をもって繰り込むものとする。以下の分析は、本発明者らによってなされたものである。
既存のシステムでは、ＨＭＤは、搭載しているカメラが撮像した画像を解析し、シーン（視野の実像、現実の景色）の中のマーカ（ＡＲマーカ）を検出し、撮像画像におけるマーカの位置を認識している。そのため、ＨＭＤと眼球の位置関係が固定（一定）されていれば、シーン（視野の実像）とＡＲ（Augmented Reality；拡張現実）画像との間の位置調整は容易、あるいは、一度調整すれば再度の調整は不要である。しかし、実使用上、ＨＭＤと眼球の位置関係が変化しないことは想定しがたく、これらの位置関係が変動すると、シーンとＡＲ画像の位置関係における変動（ずれ）の補正が必要となる。
このことは、特許文献１が開示する技術でも同様であり、ＨＭＤに搭載されたカメラと装着者の眼球の相対位置にはずれが生じ、結果的にカメラが撮像した画像中のマーカの方向と、装着者が実際に視認するマーカの方向と、がずれてしまう。即ち、カメラと装着者の眼の相対位置にはずれが生じるものであり、カメラが撮像した画像中のマーカの方向と、装着者が見るマーカの方向が不一致となることがある。
また、特許文献１が開示するような従来のＨＭＤには、装着者が視認するマーカの位置と虚像のディスプレイ（ＨＭＤの装着者が、ＡＲ画像が表示されていると認識する表示面）の位置を、検出する手段が存在しない。例えば、特許文献１では、マーカの位置と虚像のディスプレイの位置を初期設定により定めている。上記手段が存在しないため、ＨＭＤによる機能を正しく発揮させるためには、装着者が、マーカの位置とＡＲ画像の位置が重なっていると認識できるように、ＨＭＤと装着者とシーンの位置関係を固定した上で、カメラが撮像した画像上の位置と装着者が視認する虚像のディスプレイ上の位置の対応関係を測定し、取得する必要があった。しかしながら、このような測定は煩雑であると言う問題がある。
また、ＨＭＤを使用している最中に、上記３つの要素（ＨＭＤ、装着者、シーン）間の位置関係が変化してしまうと、カメラが撮像した画像上の位置と装着者が視認するディスプレイ上での位置の対応関係が変化するので、装着者がＨＭＤを使用するたびに、ＨＭＤを装着して固定し、上記２つの画像の位置関係を再測定する必要がある。また、特許文献２では、対象物とＡＲ画像の位置関係を調整するアライメントを、ユーザに実行させているが、ユーザがＡＲ画像に違和感を覚えるたびに、煩雑なアライメント動作を要求すれば、ＨＭＤを利用した作業効率が低下する。この点、特許文献３が開示する技術も同様であり、アライメントが必要なたびに装着者が鏡に向き合うのであれば、作業効率が低下する。
以上のように、特許文献１に開示されたシステムを含む既存のシステムでは、作業者が視認する実際の作業箇所に合わせ虚像の作業指示を正しく重ねるために、予めカメラが撮像した画像上の位置と装着者が視認する虚像のディスプレイ上の位置との対応関係を測定するという煩雑な作業が必要であった。また、上記の対応関係は、ＨＭＤの使用中に変動する場合があり、その都度、上記測定作業（アライメント）をやり直す、又はユーザに要求すると言った問題がある。あるいは、対象物とＡＲ画像がずれたままであると、作業者に誤った作業箇所を指示する等の問題が生じる。
本発明は、ＨＭＤの装着者が、ＡＲ画像が対象物に正しく重なっていると視認できることに寄与する、画像表示装置、画像表示方法及びプログラムを提供することを目的とする。
本発明の第１の視点によれば、予め定めた対象物の位置に応じて配置された第１光ビーコンから送信される信号であって、前記第１光ビーコンの識別情報を含む信号を受信する光ビーコン受信部と、少なくとも自装置を装着する装着者の瞳が撮像された画像データから、前記装着者の瞳に係る領域を検出し、前記検出された瞳の大きさと形状に基づいて、前記装着者の角膜球の中心位置を推定する、角膜球位置推定部と、前記装着者の瞳に反射した第１光ビーコンの像の前記画像データにおける位置と、前記推定された角膜球の中心位置と、に基づき、前記装着者が視認する虚像の表示面における前記第１光ビーコンの位置を推定する、光ビーコン位置推定部と、前記推定された第１光ビーコンの位置に、前記第１光ビーコンの識別情報に関連付けられた拡張現実に係る画像を、現実の景色に重畳させて表示する、拡張現実表示部と、前記装着者の瞳の前方に配置された半透過ミラーの周囲に配置された少なくとも４以上の第２光ビーコンと、を備え、前記光ビーコン位置推定部は、前記画像データに含まれる前記装着者の瞳に反射した前記第２光ビーコンの像の前記画像データにおける位置に基づき、前記少なくとも４以上の第２光ビーコンにより形成される平面を仮想面として計算し、前記仮想面と前記装着者の角膜球の中心位置の相対的な位置関係に基づき、前記仮想面上での前記虚像の表示面の位置を特定する、画像表示装置が提供される。
本発明の第２の視点によれば、予め定めた対象物の位置に応じて配置された第１光ビーコンから送信される信号であって、前記第１光ビーコンの識別情報を含む信号を受信するステップと、少なくとも自装置を装着する装着者の瞳が撮像された画像データから、前記装着者の瞳に係る領域を検出し、前記検出された瞳の大きさと形状に基づいて、前記装着者の角膜球の中心位置を推定する、ステップと、前記装着者の瞳に反射した第１光ビーコンの像の前記画像データにおける位置と、前記推定された角膜球の中心位置と、に基づき、前記装着者が視認する虚像の表示面における前記第１光ビーコンの位置を推定する、ステップと、前記推定された第１光ビーコンの位置に、前記第１光ビーコンの識別情報に関連付けられた拡張現実に係る画像を、現実の景色に重畳させて表示する、ステップと、を含み、前記第１光ビーコンの位置を推定するステップは、前記画像データに含まれる前記装着者の瞳に反射した、前記装着者の瞳の前方に配置された半透過ミラーの周囲に配置された少なくとも４以上の第２光ビーコンの像の前記画像データにおける位置に基づき、前記少なくとも４以上の第２光ビーコンにより形成される平面を仮想面として計算し、前記仮想面と前記装着者の角膜球の中心位置の相対的な位置関係に基づき、前記仮想面上での前記虚像の表示面の位置を特定する、画像表示方法が提供される。
本発明の第３の視点によれば、予め定めた対象物の位置に応じて配置された第１光ビーコンから送信される信号であって、前記第１光ビーコンの識別情報を含む信号を受信する処理と、少なくとも自装置を装着する装着者の瞳が撮像された画像データから、前記装着者の瞳に係る領域を検出し、前記検出された瞳の大きさと形状に基づいて、前記装着者の角膜球の中心位置を推定する、処理と、前記装着者の瞳に反射した第１光ビーコンの像の前記画像データにおける位置と、前記推定された角膜球の中心位置と、に基づき、前記装着者が視認する虚像の表示面における前記第１光ビーコンの位置を推定する、処理と、前記推定された第１光ビーコンの位置に、前記第１光ビーコンの識別情報に関連付けられた拡張現実に係る画像を、現実の景色に重畳させて表示する、処理と、を画像表示装置に搭載されたコンピュータに実行させるプログラムであって、前記第１光ビーコンの位置を推定する処理は、前記画像データに含まれる前記装着者の瞳に反射した、前記装着者の瞳の前方に配置された半透過ミラーの周囲に配置された少なくとも４以上の第２光ビーコンの像の前記画像データにおける位置に基づき、前記少なくとも４以上の第２光ビーコンにより形成される平面を仮想面として計算し、前記仮想面と前記装着者の角膜球の中心位置の相対的な位置関係に基づき、前記仮想面上での前記虚像の表示面の位置を特定する、プログラムが提供される。
なお、このプログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント（non-transient）なものとすることができる。本発明は、コンピュータプログラム製品として具現することも可能である。
本発明の各視点によれば、ＨＭＤの装着者が、ＡＲ画像が対象物に正しく重なっていると視認できることに寄与する、画像表示装置、画像表示方法及びプログラムが、提供される。
一実施形態の概要を説明するための図である。 第１の実施形態に係るシステムの全体構成の一例を示す図である。 第１の実施形態に係るＨＭＤの内部構成の一例を示す図である。 第１の実施形態に係るＨＭＤの平面図（ａ）と正面図（ｂ）の一例示す図である。 瞳に映る光ビーコンの一例を示す図である。 第１の実施形態に係るＨＭＤによる対象物の位置関係算出に係る全体動作の一例を示す図である。 光ビーコン受信部の動作の一例を示すフローチャートである。 実際の眼球の断面を模した模式図（ａ）と眼球の幾何モデル（ｂ）の一例を示す図である。 眼球の位置及び向きと、瞳の投影像の関係を弱透視投影モデルにより示す図である。 角膜球位置推定部の動作の一例を示すフローチャートである。 カメラ部が撮像した画像データにおける光ビーコンの像の位置と、装着者が視認する光ビーコンの方向と、の関係を説明するための図である。 角膜球表面の光ビーコンの像と光ビーコンを結ぶ直線上にある光ビーコンの位置関係の一例を示す図である。 ＨＭＤの装着者が視認する虚像のディスプレイに存在する対象物光ビーコンの一例を示す図である。 記憶部に格納されたテーブル情報を説明するための図である。 光ビーコン位置推定部の動作の一例を示すフローチャートである。 光ビーコン位置推定部の動作の一例を示すフローチャートである。 拡張現実表示部の動作の一例を示すフローチャートである。
初めに、一実施形態の概要について説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、この概要の記載はなんらの限定を意図するものではない。
一実施形態に係る画像表示装置１００は、光ビーコン受信部１０１と、角膜球位置推定部１０２と、光ビーコン位置推定部１０３と、拡張現実表示部１０４と、を備える。光ビーコン受信部１０１は、予め定めた対象物の位置に応じて配置された第１光ビーコン（例えば、図２に示す対象物光ビーコン１１）から送信される信号であって、第１光ビーコンの識別情報を含む信号を受信する。角膜球位置推定部１０２は、少なくとも自装置（画像表示装置１００；ＨＭＤ）を装着する装着者の瞳が撮像された画像データから、装着者の瞳に係る領域を検出し、検出された瞳の大きさと形状に基づいて、装着者の角膜球の中心位置を推定する。光ビーコン位置推定部１０３は、装着者の瞳に反射した第１光ビーコンの像の画像データにおける位置と、推定された角膜球の中心位置と、に基づき、装着者が視認する虚像の表示面における第１光ビーコンの位置を推定する。拡張現実表示部１０４は、推定された第１光ビーコンの位置に、第１光ビーコンの識別情報に関連付けられた拡張現実に係る画像を、現実の景色に重畳させて表示する。
画像表示装置１００は、カメラ等の撮像手段により撮像した、画像表示装置１００の装着者の瞳に係る画像データから、当該装着者の瞳の大きさ及び形状（瞳の外形）を計算する。さらに、画像表示装置１００は、計算した瞳の大きさ及び形状と、角膜球の表面にて反射した第１光ビーコンの像の画像データにおける位置と、から、眼球の３次元的な幾何モデルを用いることで、装着者からみた第１光ビーコンの虚像のディスプレイ上での位置を計算（推定）する。推定された第１光ビーコンの位置に、当該第１光ビーコンに関連付けられた拡張現実画像（ＡＲ画像）を表示することで、画像表示装置１００の装着者は、対象物と拡張現実画像が重なっているように視認することができる。即ち、一実施形態に係る画像表示装置１００によれば、その装着者から見て、ＡＲ画像が対象物に重なるように描画することができる。また、装着者がＨＭＤを装着して固定するたびに行っていた作業（カメラが撮像した画像上の位置と、装着者が見る虚像のディスプレイ上の位置との、対応関係を測定する作業）が不要となり、作業効率を向上させることができる。
以下に具体的な実施の形態について、図面を参照してさらに詳しく説明する。なお、各実施形態において同一構成要素には同一の符号を付し、その説明を省略する。
［第１の実施形態］
第１の実施形態について、図面を用いてより詳細に説明する。
図２は、第１の実施形態に係るシステムの全体構成の一例を示す図である。図２を参照すると、ユーザは、画像表示装置であるＨＭＤ１０を装着している。また、ＨＭＤ１０の装着者のシーン（視野の実像、現実の景色）には、ＡＲ画像が重畳される対象物が存在する。また、対象物を取り込むように（対象物の位置に応じて）対象物光ビーコン１１−１〜１１−４が配置されている。対象物光ビーコン１１−１〜１１−４は、ＡＲ画像を表示する位置を指定するための標識として機能する（ＡＲマーカとして機能する）。なお、以降の説明において、対象物光ビーコン１１−１〜１１−４を区別する特段の理由がない場合には、単に「対象物光ビーコン１１」と表記する。
図２の例では、対象物光ビーコン１１は４つで１組となる光ビーコンからなる。なお、光ビーコンとは、予め定められた場所に固定され、可視光や赤外光を発するデバイスである。対象物光ビーコン１１をなす光ビーコンは、自身の識別情報（以下、ＩＤ（Identification）情報と表記する）を含む検出信号（ビーコン信号）を、予め定めた光パルスのパターン等に発信（光のパルス位置変調等により発信）する。このような光ビーコンを用いた通信は、光空間通信の一形態であり、例えば、ＪＥＩＴＡ（Japan Electronics and Information Technology Industries Association）により制定された、以下の文献「ＡＶ＆ＩＴ標準化委員会、“ＣＰ−１２２３ 可視光ビーコンシステム”、２０１３年５月」を参照することができる。
光ビーコンの代表的な光源はＬＥＤ（Light Emitting Diode）であるが、光ビーコンの光源はＬＥＤに限定されない。即ち、光ビーコンの光源は、所定の大きさに収まる輝点を生じさせ、上述の光変調が可能な光源であれば、どのようなものでもよい。また、第１の実施形態では、対象物光ビーコン１１を構成する光ビーコンの数を４として説明するが、光ビーコンの数を限定する趣旨ではない。即ち、光ビーコンの数は、３つ以上、５つ以上等他の数でも良い。しかし、３つではＡＲ画像の変形手法に制限が生じ、５つ以上では後述する処理の計算量が増加するので、これらの観点から対象物光ビーコン１１を構成する光ビーコンの数は４が望ましい。
以上の観点から、第１の実施形態では、４つの光ビーコンにて１組の対象物光ビーコン１１を構成するものとし、予め各対象物光ビーコン１１同士の距離は把握されているものとする。
図３は、第１の実施形態に係るＨＭＤ１０の内部構成の一例を示す図である。図３を参照すると、ＨＭＤ１０は、カメラ部２０と、表示部３０と、記憶部４０と、制御部５０と、カメラ制御部６０と、ディスプレイ制御部７０と、を含んで構成される。図３に示す各部は、内部バス（データ線、制御信号線等）により相互に接続されている。
カメラ部２０は、撮像素子２１及びカメラレンズ２２を含むカメラモジュールである。
表示部３０は、光源を含むディスプレイ部３１と、レンズ部３２と、導光部３３と、グラス部３４と、を含む表示モジュールである。さらに、グラス部３４には、ＨＭＤ１０の装着者の瞳の前方に位置するように配置される半透過ミラー３５と、複数のグラス部光ビーコン３６−１〜３６−４と、が含まれている。なお、以降の説明において、グラス部光ビーコン３６−１〜３６−４を区別する特段の理由がない場合には、単に「グラス部光ビーコン３６」と表記する。また、以降の説明において、対象物光ビーコン１１とグラス部光ビーコン３６を区別する必要のない場合には、単に「光ビーコン」と表記する。
グラス部光ビーコン３６の発する光は、可視光である必要はなく、ＨＭＤ１０の装着者の目の検出波長範囲外、且つ、カメラ部２０の撮像素子２１の検出波長範囲内の光（例えば、目に悪影響を与え難い波長である近赤外光であり、かつ、目に対する安全光強度以内）であることが望ましい。なお、上述のように、対象物光ビーコン１１は、赤外光を発するデバイスとすることができる。つまり、対象物光ビーコン１１の発する光は、可視光である必要はなく、ＨＭＤ１０の装着者の目の検出波長範囲外、且つ、カメラ部２０の撮像素子２１の検出波長範囲内の光（例えば、目への悪影響の少ない波長である近赤外光であり、かつ、目に対する安全光強度以内）であってもよい。但し、対象物光ビーコン１１が、不可視光である場合、以降の説明にある、対象物光ビーコン１１の視認は出来無いが、カメラ部２０の検出波長範囲内であれば、ＨＭＤ１０のグラス部３４上のグラス部光ビーコン３６と、実際の輝点を配置した実像である対象物光ビーコン１１と、の位置関係を検出して、現実の像とＡＲ画像のアライメントを行い、ＨＭＤ１０の装着者ごとに適切なＡＲ画像位置を視野上の指定位置に投影することはできる。また、対象物光ビーコン１１やグラス部光ビーコン３６の発する光の強度は、網膜に影響を与えない程度に十分低いものとする。
記憶部４０は、制御部５０の動作に必要なプログラムやデータを記憶する。例えば、記憶部４０は、４つの光ビーコンからなる対象物光ビーコン１１に関する情報（例えば、ＩＤ情報、光ビーコン同士間の距離）と、当該対象物光ビーコン１１に関連付けられたＡＲ画像と、を１組とする情報を複数記憶する。また、記憶部４０は、４つの光ビーコンからなるグラス部光ビーコン３６に関するＩＤ情報を記憶する。あるいは、記憶部４０は、カメラ部２０のパラメータである、カメラレンズ２２の焦点距離や撮像素子２１の画素ピッチ等の情報を記憶する。さらに、記憶部４０は、眼球の幾何モデルのパラメータである、瞳の半径、角膜球の半径、瞳の中心から角膜球の中心までの長さ等の情報を記憶する。さらに、記憶部４０は、グラス部光ビーコン３６により囲まれた面における光ビーコンの位置と、虚像のディスプレイにおける光ビーコンの位置と、の対応のテーブル情報を記憶する。
制御部５０は、ＣＰＵ（Central Processing Unit)等の演算装置により構成され、記憶部４０から各種プログラムを読み出し、当該プログラムを実行することで種々の機能を実現する。制御部５０は、光ビーコン受信部５１と、角膜球位置推定部５２と、光ビーコン位置推定部５３と、拡張現実表示部５４と、を含んで構成される。これら各部の詳細は後述する。また、制御部５０は、ＨＭＤ１０に搭載されたコンピュータに、そのハードウェアを用いて、後に詳述する各処理を実行させるコンピュータプログラムにより実現することもできる。
制御部５０は、カメラ制御部６０及びディスプレイ制御部７０に動作を指示する。また、制御部５０は、記憶部４０に対するアクセス（データの読み出し、データの書き込み）を行う。
カメラ制御部６０は、カメラ部２０により撮像された画像データを取り込み、記憶部４０に書き込む。
ディスプレイ制御部７０は、記憶部４０から画像データを読み出し、ディスプレイ部３１に出力する。
図４は、第１の実施形態に係るＨＭＤ１０の平面図（ａ）と正面図（ｂ）の一例示す図である。図４（ａ）を参照すると、ディスプレイ部３１の光源から照射された光は、レンズ部３２と導光部３３を通過し、半透過ミラー３５に到達する。半透過ミラー３５に到達した光は、半透過ミラー３５にて反射する。なお、導光部３３は中空の管路でも良いし、光ファイバケーブルの束であっても良い。また、半透過ミラー３５の透過率は、装着者の視野を妨げず、且つ、ＨＭＤ１０が投射する虚像が認識できる範囲の所定値であり、透過率は５０％に制限されない。
図４（ａ）に示すように、半透過ミラー３５は、ＨＭＤ１０の装着者の目の前に配置される。そのため、ＨＭＤ１０の装着者は、半透過ミラー３５を透過するシーン（視野の実像、景色の実像）に重なる虚像を視認できる。つまり、ＨＭＤ１０の装着者は、シーンに重なる虚像のディスプレイ（虚像の表示面；ＨＭＤ１０の装着者が、ＡＲ画像が表示されていると認識する表示面）を、あたかも実在する物として認知できる。即ち、装着者が視認する虚像の範囲が、虚像のディスプレイである（図４（ａ）参照）。
撮像素子２１とカメラレンズ２２を含むカメラ部２０は、装着者の目（角膜部を含む眼球）がカメラ部２０の画角に入るように固定されている。カメラ部２０が撮像する画像は、眼球の角膜が凸面鏡に相当し、装着者の瞳と角膜表面で反射する対象物光ビーコン１１の像の２つが、同時にピントが合う程度に被写界深度が設定されている。換言すると、眼球の角膜は、焦点距離の極めて短い凸面鏡（凹レンズと同様の働き）として働くので、角膜表面で反射された対象物光ビーコン１１の像にピントが合うように設定されたカメラレンズ２２に必要な後方被写界深度は、カメラレンズ２２から対象物光ビーコン１１までの光線路におけるピント位置から対象物光ビーコン１１までの距離より極めて短い。ＨＭＤ１０の装着者の瞳と、角膜表面で反射されたシーン中にある光ビーコンと、は同時に十分な分解能にて撮像される（図５参照）。
グラス部光ビーコン３６は、半透過ミラー３５を囲うようにグラス部３４に配置された一組の光ビーコンである（図４（ｂ）参照）。即ち、グラス部光ビーコン３６と、シーン中に配置された対象物光ビーコン１１は、物理的に異なる構成である。
［動作の説明］
次に、第１の実施形態に係るＨＭＤ１０の動作について説明する。なお、ＨＭＤ１０の装着者は、シーン中の対象物を視認すると、対象物光ビーコン１１も視認することになる（装着者の視界に対象物光ビーコン１１も入る）。
装着者が対象物光ビーコン１１を視認した状態で、ＨＭＤ１０のカメラ部２０が撮像する画像には、装着者の瞳にて反射した対象物光ビーコン１１とグラス部光ビーコン３６それぞれの像が写る。例えば、図５に示すように、カメラ部２０が撮像する画像には、装着者の瞳で反射された対象物光ビーコン１１とグラス部光ビーコン３６の像が存在する。
なお、瞳での光の反射は角膜表面での反射であって、角膜表面は曲面であるため、瞳で反射した複数の光ビーコンの像の位置関係は、光ビーコンを平面に投影した位置関係とは異なり歪んだものとなる。以降、カメラ部２０が撮像した画像の光ビーコンの像の位置から、装着者が視認している虚像のディスプレイとシーンの中の対象物との位置関係の算出動作について説明する。
初めに、図６を参照しつつ、上記算出動作全体を説明する。
ＨＭＤ１０は、動作を開始すると、図６に示す各種処理を実行する前に、ＨＭＤ１０のカメラ部２０は一定周期にて撮像を繰り返し、撮像により得られる画像データをカメラ制御部６０に出力する。カメラ制御部６０は、取得した画像データを記憶部４０に書き込み、１フレームの書き込みが完了するごとに、制御部５０（より詳細には、光ビーコン受信部５１と角膜球位置推定部５２）に、画像データの書き込み完了を通知する。
上記通知を受けた光ビーコン受信部５１と角膜球位置推定部５２のそれぞれは、光ビーコン受信処理と角膜球位置推定処理を実行する（ステップＳ０１、Ｓ０２）。上記２つの処理が終了すると、光ビーコン位置推定部５３が、光ビーコン位置推定処理を実行する（ステップＳ０３）。その後、拡張現実表示部５４が、ＡＲ画像描画処理を実行する（ステップＳ０４）。
［光ビーコン受信部の動作］
光ビーコン受信部５１は、予め定めた対象物の位置に応じて配置された光ビーコンから送信される信号であって、光ビーコンの識別情報を含む信号を受信する手段である。具体的には、光ビーコン受信部５１は、カメラ部２０が撮像した画像データを解析することで、光ビーコンが発信したＩＤを読み取り、画像データ中の装着者の瞳で反射した光ビーコンの存在を検出する手段である。
図７は、光ビーコン受信部５１の動作の一例を示すフローチャートである。
ステップＳ１０１において、光ビーコン受信部５１は、カメラ制御部６０から１フレームの書き込み完了の通知を受けると、記憶部４０に書き込まれている画像データから検出信号発信領域を探知する。検出信号発信領域とは、予め定めた検出信号のパターンと同じパターンにて輝度が変化している領域である。光ビーコン受信部５１は、カメラ部２０が撮像した予め定めた所定数のフレームの画像データを比較することで上記検出信号発信領域を探知する。光ビーコン受信部５１は、上記検出信号発信領域（検出信号と同じパターンにて輝度が変化している領域）を探知した場合に、当該領域を光ビーコンの像の候補（以下、光ビーコン候補と表記する）に設定する。
光ビーコン受信部５１は、取得した全ての光ビーコン候補に対し、後述する信号の復元処理と誤り検出処理を適用したか否かを判定する（ステップＳ１０２）。
全ての光ビーコン候補に対して、信号復元処理等が終了していれば（ステップＳ１０２、Ｙｅｓ分岐）、光ビーコン受信部５１は、ステップＳ１０７、Ｓ１０８に係る処理を実行する。信号復元処理等を行っていない光ビーコン候補が存在すれば（ステップＳ１０２、Ｎｏ分岐）、光ビーコン受信部５１は、複数の光ビーコン候補から１つの候補を選択し、当該選択した光ビーコン候補の輝度変化のパターンに対して復調処理を行って信号を復元し、当該復元した信号に対する誤り検出処理を行う（ステップＳ１０３）。なお、信号の復元の結果、各光ビーコンのＩＤ情報が得られる。
光ビーコンに用いられる変調方式には、ベースバンド−パルス位置変調等が存在する。また、当該変調方式の復調では、例えば、光のパルス幅とパルス同士の間隔を測定することで、基準となる時間間隔と当該時間間隔における光のパルスの位置（時刻）を特定し、対応する２値の値（０／１情報）を当てはめてデータ列を得ることが行われる。その上で、予め定められたフレーム構造に基づき、ＩＤ情報と誤り検出符号が復元される。
光ビーコン受信部５１は、先に取得したデータ列から誤り検出符号を計算すると共に、復元した誤り検出符号と比較することで、復元した信号における誤りの有無を判定する。なお、可視光通信にて通常用いられる変調方式として、４値パルス位置変調（４ＰＰＭ；4 Pulse Position Modulation）が挙げられる。当該方式にて変調された信号を復調するために、通常、光のパルス幅と間隔が検出される。
さらに、４ＰＰＭによる変調方式には、サブキャリアを重畳する方式と重畳しない方式が存在する。第１の実施形態では、受信素子として利用するイメージセンサは、通常、サブキャリアの周波数で信号を分割するアナログ回路が存在しないことと、又、レンズによりセンサ画素毎に入射光を分離しているため干渉光の影響が小さいこと、を考慮し、サブキャリアを重畳しない方式を使用する。但し、種々の条件（例えば、消費電力やコスト等）が整えば、サブキャリアの周波数よりも十分高いフレームレートに対応したイメージセンサを使用することで、サブキャリアを重畳する４ＰＰＭによる変調方式を用いることもできる。なお、サブキャリアを重畳しない４ＰＰＭ変調方式は、ＩｒＤＡ（Infrared Data Association）のバージョン１．１のＦＩＲ（Fast Infrared）においても採用されている。
上述のように、光ビーコン受信部５１は、光信号を復調することで取得したデータ列（０／１のデータ列）に、予め定められたフレーム構造を当てはめることで、光ビーコンのＩＤ情報を復元する。ＩＤ情報の復元に用いるフレーム構造は、文献「上野 秀樹、佐藤 義之、片岡 敦、“可視光ＩＤシステム”、東芝レビュー Ｖｏｌ．６２ Ｎｏ．５、２００７年」の図５を参照することができる。
第１の実施形態にて使用する誤り検出符号は、可視光通信にて通常用いられるＣＲＣ（Cyclic Redundancy Check）を用いるものとする。誤り検出符号を使用しなくともよいが、光空間通信の規格で誤り検出符号の使用が必須である点を考慮し、第１の実施形態では、誤り検出符号を使用するものとする。
光ビーコン受信部５１は、光ビーコン候補から誤りが検出されたか否かを判定（ステップＳ１０４）し、誤りが検出された場合（ステップＳ１０４、Ｙｅｓ分岐）に、ステップＳ１０２に戻り処理を継続する。
光ビーコン受信部５１は、光ビーコン候補について誤りが検出されなかった場合（ステップＳ１０４、Ｎｏ分岐）に、当該光ビーコン候補（検出信号発信領域）を光ビーコンの像であると認定し、当該領域の重心位置を計算する。光ビーコン受信部５１は、計算した重心位置を、カメラ部２０が撮像した画像データにおける光ビーコン（光ビーコンの像）の座標位置に定める（ステップＳ１０５）。
光ビーコン受信部５１は、受信した（復号した）ＩＤ情報と、上記の座標位置を関連付けて記憶部４０に格納（ステップＳ１０６）し、ステップＳ１０２の処理に戻る。
光ビーコン受信部５１は、全ての光ビーコン候補に関し、ＩＤ情報を取得するための処理が終了（ステップＳ１０２、Ｙｅｓ分岐）すると、光ビーコン候補の中に光ビーコンと判定した領域が存在するか否かを判定する（ステップＳ１０７）。
光ビーコンの像と判定した領域があれば（ステップＳ１０７、Ｙｅｓ分岐）、光ビーコン受信部５１は、光ビーコン位置推定部５３に、光ビーコン受信完了を通知する（ステップＳ１０８）。光ビーコンの像と判定した領域がなければ（ステップＳ１０７、Ｎｏ分岐）、光ビーコン受信部５１は処理を終了する。
以上のように、対象物光ビーコン１１やグラス部光ビーコン３６が送信する信号は、所定の方式により変調されており、光ビーコン受信部５１は、１フレームに相当する複数の画像データを解析することにより、光ビーコンが送信する信号を復調すると共に、光ビーコンの識別情報を取得する。
［角膜球位置推定部の動作］
角膜球位置推定部５２は、少なくともＨＭＤ１０を装着する装着者の瞳が撮像された画像データから、当該装着者の瞳に係る領域を検出し、検出された瞳の大きさと形状に基づいて、装着者の角膜球の中心位置を推定する手段である。より具体的には、角膜球位置推定部５２は、カメラ部２０により撮像された画像データから、瞳を検出し、その大きさと形状に基づき角膜球の中心位置を計算する。なお、以降の説明において、角膜球等の位置は、カメラ部２０のカメラレンズ２２の主点を起点（原点）とする。
カメラにより撮像された画像における瞳の外形（形状及び大きさ）と、眼球の位置及び向きの関係は、公知の事実であり、例えば、文献「C.Nitschke, A.Nakazawa and H.Takemura, “Display−Camera Calibration from Eye Reflection”, Proc. International Conference Computer Vision（ＩＣＣＶ）、ｐｐ．１２２６−１２３３、２００９年」に記載されている。あるいは、上記の事実は、文献「中澤 篤志、クリスティアン ニチュケ、“角膜イメージング法を用いたパララックス誤差に頑健な注視点推定方法”、第１９回画像センシングシンポジウム、２０１３年６月」にも記載されている。
図８は、実際の眼球の断面を模した模式図（図８（ａ））と眼球の幾何モデル（図８（ｂ））の一例を示す図である。図８（ａ）を参照すると、実際の眼球は角膜部分が出っ張っているので、幾何モデルによる近似の際、眼球本体と角膜球の２つの球体が用いられる（図８（ｂ）参照）。
なお、眼球の幾何モデルのパラメータは固定値を用いるものとする。より具体的には、眼球の幾何モデルは、複数のパラメータにより近似され、各パラメータには固定値が用いられる（ｒＬ＝５．６ｍｍ、ｒＣ＝７．７ｍｍ、ｄＬＣ＝５．６ｍｍ；図８（ｂ）参照）。なお、実際の眼球の大きさには個人差があるが、眼球の幾何モデルのパラメータに固定値を用いたとしても、眼球の表面反射解析結果の精度は十分な精度を有することが知られている。
図９は、眼球の位置及び向きと、瞳の投影像の関係を弱透視投影モデルにより示す図である。なお、本来、透視投影モデルは非線形であり、弱透視投影モデルは透視投影モデルを線形に近似した投影モデルである。弱透視投影モデルは、コンピュータビジョンの分野にて活用される手法である。
図９を参照すると、カメラ部２０が撮像する画像は、図９に示す画像面２０１に投影される画像に一致する。また、画像面２０１に投影される瞳の投影像２０２は、長軸ｒｍａｘ、短軸ｒｍｉｎ、中心ｉＬ、回転角Φで示される楕円形状となる。なお、弱透視投影モデルを用いたとしても、眼球の表面反射解析結果の精度に関しては、十分な精度を有することが確認されている。
角膜球位置推定部５２は、カメラ部２０が撮像した画像に写る瞳の形状及び大きさを計算する。角膜球位置推定部５２は、当該計算に先立ち、瞳の外形を検出する必要がある。その際、瞳の一部が、瞼やまつ毛により隠れている場合が想定されるが、そのような場合であっても、瞳の外形を精度良く検出方法が存在する。例えば、以下の文献「辻 徳生、柴田 慎吾、長谷川 勉、倉爪 亮、“視線計測のためのＬＭｅｄＳを用いた虹彩検出法”、画像の認識・理解シンポジウム（ＭＩＲＵ２００４）、２００４年７月」に記載された方法を用いることができる。
角膜球位置推定部５２は、瞳の外形を検出する際、以下の展開された楕円の式（１）を使用する。
Ａｘ２＋Ｂｘｙ＋Ｃｙ２＋Ｄｘ＋Ｅｙ＋Ｆ＝０ ・・・（１）
ただし、４ＡＣ−Ｂ２＞０
角膜球位置推定部５２は、最小メジアン法（ＬＭｅｄＳ；Least Median Square）を用いて瞳の外形を検出する。なお、上記最小メジアン法は、ランダムに幾つかのサンプルを抽出し、最小二乗法（ＬＳＭ；Least Squares Method）に当てはめることを繰り返し、全測定値における二乗誤差の中央値が最も小さいときの推定を正しい推定とみなす手法である。その詳細は、文献「P.J.Rousseeuw and A.M.Leroy, “Robust Regression and Outlier Detection”, Wiley, New York、１９８７年」に記載されている。
角膜球位置推定部５２は、最小メジアン法に従い、上記式（１）で表せる楕円の係数を求めるために代入する点として、ノイズを含む複数の瞳の外形の候補点から、例えば、ランダムに５点を選択する。そして、角膜球位置推定部５２は、係数を評価する値には、求めた係数で表せる楕円と全ての候補点との距離の二乗の中央値を用いる。
次に、角膜球位置推定部５２は、楕円の展開された式の係数から、楕円のパラメータを以下の式（２）〜（５）により求める。

中心ｉＬのｘ座標ｘ０＝（ＢＥ−２ＣＤ）／（４ＡＣ−Ｂ２） ・・・（２）

中心ｉＬのｙ座標ｙ０＝（ＢＤ−２ＡＥ）／（４ＡＣ−Ｂ２） ・・・（３）

回転角Φ＝（１／２）ｔａｎ−１（Ｂ／（Ａ−Ｃ）） ・・・（４）

（長軸ｒｍａｘ、 短軸ｒｍｉｎ）＝√（（２（Ａ・ｘ０２＋Ｂ・ｘ０・ｙ０＋Ｃ・ｙ０２−Ｆ））／（Ａ＋Ｃ±（Ｂ／ｓｉｎ２Φ））） ・・・（５）
但し、大きい値をｒｍａｘ、小さい値をｒｍｉｎとする。
次に、角膜球位置推定部５２は、上記楕円のパラメータを使用して、眼球の姿勢（位置、方向）を計算する。角膜球位置推定部５２は、瞳の投影像２０２の長軸ｒｍａｘと、眼球の３次元的な幾何モデルのパラメータであるパラメータｒＬと、カメラ部２０の焦点距離ｆと、を用いて、角膜球２０３の中心位置と画像面２０１の間の距離ｄを計算する（式（６）参照）。

ｄ＝ｆ・ｒＬ／ｒｍａｘ ・・・（６）
また、角膜球位置推定部５２は、瞳の投影像の長軸ｒｍａｘと短軸ｒｍｉｎを用いて、瞳の奥行き方向の傾きτを計算する（式（７）参照）。

τ＝±ａｒｃｃｏｓ（ｒｍｉｎ／ｒｍａｘ） ・・・（７）
さらに、角膜球位置推定部５２は、瞳の投影像の回転角Φと、瞳の奥行き方向の傾きτと、から視線ベクトルｇを計算する（式（８）参照）。

ｇ＝［ｓｉｎτｓｉｎΦ−ｓｉｎτｃｏｓΦ−ｃｏｓτ］Ｔ ・・・（８）

なお、式（８）における「Ｔ」は、式（８）の行列が転置行列であることを示す。
瞳の中心点Ｌは、瞳の投影像の中心ｉＬと、カメラ部２０の焦点距離ｆと、角膜球２０３の中心点Ｃと画像面２０１との間の距離ｄと、から計算することができる。また、角膜球２０３の中心点Ｃは、瞳の中心点Ｌと、視線ベクトルｇと、弱透視投影モデルで使用されるパラメータであって、眼球の３次元的な幾デルのパラメータであるパラメータｄＬＣと、から計算することができる。
次に、角膜球位置推定部５２の動作の詳細を、図１０に示すフローチャートを参照しつつ説明する。
ステップＳ２０１において、角膜球位置推定部５２は、カメラ制御部６０から１フレームの書き込み完了の通知を受信すると、記憶部４０に書き込まれている画像データを２値化（白／黒）する。このような処理により、瞳や影が写った暗い画素と、強膜や肌が写った明るい画素と、が区別可能となる。
なお、２値化の方法には、画像の全画素の輝度分布から黒が所定の割合になるような閾値を計算し、それぞれの画素を閾値と比較する方法を採用することができる。あるいは、任意の画素から隣り合う画素の輝度を順番に比較して、その差が予め決めた所定値よりも、明るくなる方に大きければ白と、暗くなる方に大きければ黒と、判定する方法を採用してもよい。
ステップＳ２０２において、角膜球位置推定部５２は、２値化された画像に対して、収縮処理と膨張処理により、オープニング処理を行う。なお、上記収縮処理、膨張処理は、画像処理における一手法であり、２値化された白黒画像に対する処理である。具体的には、膨張（Ｄｉｌａｔｉｏｎ）処理とは、ある画素の周辺に１画素でも白い画素があれば白に置き換える操作を行う処理である。収縮（Ｅｒｏｓｉｏｎ）処理とは、周辺に１画素でも黒い画素があれば黒に置き換える操作を行う処理である。
角膜球位置推定部５２は、同じ回数分、上記膨張・収縮処理を繰り返すことで、オープニング処理を実行する。
ステップＳ２０３において、角膜球位置推定部５２は、オープニング処理が終了した画像データの中に暗い画素（画素値が黒）の領域が存在するか否かを判定する。暗い画素の領域が存在しない場合（ステップＳ２０３、Ｎｏ分岐）、角膜球位置推定部５２は、装着者が目を閉じていた等の理由で瞳が写っていないと判断し、処理を終了する。
暗い画素の領域が存在する場合（瞳が画像データに写っていると判定された場合；ステップＳ２０３、Ｙｅｓ分岐）、角膜球位置推定部５２は、２値化された画像におけるそれぞれの境界画素の座標を取得する（ステップＳ２０４）。具体的には、角膜球位置推定部５２は、２値化された画像にエッジ検出処理を行い、暗い画素の領域と明るい画素の領域の境界となる画素を抽出することで、上記境界画素の座標を取得する。
上記取得された境界画素は、瞳の外周（角膜と強膜の境界）にある画素の候補となる。また、角膜球位置推定部５２がエッジ検出処理を実行すると、瞳の外周上にある画素と、影の領域の外周上にある画素と、が混在して抽出される。また、ここでの座標は、抽出された個々の画素の座標を意味する。
ステップＳ２０５において、角膜球位置推定部５２は、最小メジアン法（ＬＭｅｄＳ）を用いて、抽出した境界画素から瞳の外形に相当する楕円の式をなす各係数の計算を行う。
ステップＳ２０６において、角膜球位置推定部５２は、楕円の式の係数が計算されたか否かを判定し、係数が計算できない場合（係数が見つからない場合）には、処理を終了する（ステップＳ２０６、Ｎｏ分岐）。係数が計算できた場合（ステップＳ２０６、Ｙｅｓ分岐）、角膜球位置推定部５２は、角膜球の中心点Ｃを計算する（ステップＳ２０７〜Ｓ２１２）。
初めに、角膜球位置推定部５２は、瞳の投影像の中心ｉＬの位置、長軸ｒｍａｘ、短軸ｒｍｉｎ、回転角Φを、楕円の式の係数と、楕円のパラメータを求める式と、カメラ部２０の撮像素子２１の画素ピッチと、に基づき計算する（ステップＳ２０７）。
次に、角膜球位置推定部５２は、瞳の中心Ｌと画像面との距離ｄを、長軸ｒｍａｘと眼球の３次元的な幾何モデルのパラメータであるパラメータｒLとカメラ部の焦点距離ｆと、を用いて計算する（ステップＳ２０８）。
次に、角膜球位置推定部５２は、瞳の中心Ｌの位置を、中心ｉＬの位置と、カメラ部の焦点距離ｆと、瞳の中心Ｌと画像面との距離ｄと、を用いて計算する（ステップＳ２０９）。
次に、角膜球位置推定部５２は、瞳の奥行方向の傾きτを、長軸ｒｍａｘと短軸ｒｍｉｎと、を用いて計算する（ステップＳ２１０）。
次に、角膜球位置推定部５２は、視線ベクトルｇを、瞳の投影像の回転角Φと瞳の奥行方向の傾きτと、を用いて計算する（ステップＳ２１１）。
次に、角膜球位置推定部５２は、角膜球の中心点Ｃを、瞳の中心Ｌの位置と、視線ベクトルｇと、眼球の幾何モデルのパラメータｄＬＣと、を用いて計算する（ステップＳ２１２；図９参照）。
角膜球位置推定部５２は、角膜球の中心点Ｃの計算が終了すると、当該計算結果を記憶部４０に書き込むと共に、光ビーコン位置推定部５３に対し、眼球位置推定完了を通知する（ステップＳ２１３）。
以上のように、角膜球位置推定部５２は、画像データが生成される際の焦点位置（カメラレンズ２２の主点から焦点距離ｆ離れた位置）における画像面２０１に投影される装着者の瞳の大きさ及び形状を、楕円を表す式の係数により特定する。その後、角膜球位置推定部５２は、瞳の中心Ｌと画像面との距離ｄを、長軸ｒｍａｘと眼球の３次元的な幾何モデルのパラメータであるパラメータｒLとカメラ部の焦点距離ｆと、を用いて計算する。次に、角膜球位置推定部５２は、瞳の中心Ｌの位置を、中心ｉＬの位置と、カメラ部の焦点距離ｆと、瞳の中心Ｌと画像面との距離ｄと、を用いて計算する。その後、角膜球位置推定部５２は、装着者の瞳を示す楕円の長軸ｒｍａｘ及び短軸ｒｍｉｎの長さを用いて、装着者の瞳の傾きτを計算する。また、角膜球位置推定部５２は、計算された装着者の瞳の傾きτと、画像面２０１に投影される装着者の瞳の回転角Φと、に基づき、装着者の瞳が向く方向を示す視線ベクトルｇを計算する。さらに、角膜球位置推定部５２は、計算された視線ベクトルｇと、眼球の幾何モデルの所定のパラメータｄＬＣと、装着者の角膜球の中心位置と画像面との間の距離ｄと、に基づき、装着者の角膜球の中心点Ｃ（中心位置）を推定する。
［光ビーコン位置推定部の動作］
光ビーコン位置推定部５３は、ＨＭＤ１０の装着者の瞳に反射した光ビーコンの像の画像データにおける位置と、推定された角膜球の中心位置と、に基づき、装着者が視認する虚像の表示面（虚像のディスプレイ）における光ビーコンの位置を推定する手段である。より具体的には、光ビーコン位置推定部５３は、光ビーコン受信部５１が検出した光ビーコン（カメラ部２０が撮像した画像データの中の装着者の瞳に反射した光ビーコン）の像の位置と、角膜球位置推定部５２が推定した角膜球の中心点Ｃ（カメラ部２０が撮像した画像データの中の角膜球の中心点）と、に基づき、ＨＭＤ１０の装着者が視認する虚像のディスプレイと光ビーコンの位置関係を計算する。
図１１は、カメラ部２０が撮像した画像データにおける光ビーコンの像の位置と、装着者が視認する光ビーコンの方向と、の関係を説明するための図である。初めに、光ビーコン位置推定部５３は、角膜球表面の光ビーコンの像の位置を、カメラ部２０に関するパラメータである焦点距離ｆと、カメラ部２０が撮像した画像データの中の光ビーコンの像の位置と、角膜球の中心点Ｃと、角膜球の半径ｒＣ（図８（ｂ）参照）と、から計算する。
図１１に示すように、角膜球表面の反射における反射角は入射角と同じなので、光ビーコン位置推定部５３は、カメラ部２０のカメラレンズ２２の主点Ｏと角膜球表面の光ビーコンの像を結ぶ直線２１１と、角膜球の中心点Ｃと角膜球表面の光ビーコンの像を結ぶ直線２１２から、角膜球表面の光ビーコンの像と現実の光ビーコンとを結ぶ直線ｇの向き、を計算する。なお、光ビーコンが対象物光ビーコン１１及びグラス部光ビーコン３６のいずれであっても、４つの光ビーコンが１組となるので、角膜球表面の光ビーコンの像と光ビーコンを結ぶ直線ｇは、４本が１組となって計算される。
ＨＭＤ１０の装着者が視認する光ビーコンの方向を求めるため、角膜球の中心点Ｃと、光ビーコンとを結ぶ直線２１３が必要となる。角膜球表面の光ビーコンの像と光ビーコンとを結ぶ直線上にある、光ビーコンの位置を特定するために、光ビーコン位置推定部５３は、予めわかっている光ビーコン同士の距離を利用する。
図１２は、角膜球表面の光ビーコンの像と、光ビーコンと、を結ぶ直線ｇ上にある光ビーコンの位置関係の一例を示す図である。第１の実施形態では、４つの光ビーコンが１組となっており、且つ、予め光ビーコン同士の距離は既知の情報であるため、角膜球表面の光ビーコンの像と光ビーコンを結ぶ直線上にて、この距離関係（光ビーコン同士の位置関係）が成立する点が光ビーコンの実際の位置となる。
例えば、図１２（ａ）に示すように、１組の光ビーコンＰ１〜Ｐ４それぞれ同士の距離を、ｄ１２、ｄ２３、ｄ３４、ｄ４１と定まっている場合を考える。また、光ビーコンＰ１〜Ｐ４のそれぞれに対応する直線ｇを、直線ｇ１〜ｇ４と表記する。図１２（ａ）に示す光ビーコン間の距離（ｄ１２、ｄ２３、ｄ３４、ｄ４１）が成立する光ビーコンＰ１〜Ｐ４の位置は以下のように求めることができる。
初めに、光ビーコン位置推定部５３は、直線ｇ１上の光ビーコンＰ１が取り得る位置であって、眼球から最も遠い点ｐ１ｍａｘを、以下のように計算する。光ビーコン位置推定部５３は、直線ｇ１上の任意位置に点ｐ１を仮定し、ｐ１と直線ｇ２との最短距離ｄｐ１−ｇ２ｍｉｎを計算する。
次に、光ビーコン位置推定部５３は、計算した最短距離ｄｐ１−ｇ２ｍｉｎと距離ｄ１２を比較する。比較の結果、最短距離ｄｐ１−ｇ２ｍｉｎの方が一定値以上大きければ、光ビーコン位置推定部５３は、点ｐ１の位置を眼球から遠くなる位置に仮定（予め定めた所定の距離の分遠い位置に仮定）し、再び最短距離ｄｐ１−ｇ２ｍｉｎを計算する。
一方、最短距離ｄｐ１−ｇ２ｍｉｎの方が一定値以上小さければ、光ビーコン位置推定部５３は、点ｐ１の位置を眼球に近くなる位置に仮定（予め定めた所定の距離の分近い位置に仮定）し、再び最短距離ｄｐ１−ｇ２ｍｉｎを計算する。
最短距離ｄｐ１−ｇ２ｍｉｎと距離ｄｐ１２の差が予め定めた範囲内であれば、光ビーコン位置推定部５３は、当該ｐ１の位置をｐ１ｍａｘと定める。
次に、光ビーコン位置推定部５３は、直線ｇ１上の点ｐ１が、ｐ１ｍａｘ上に存在するものと仮定する。その上で、光ビーコン位置推定部５３は、点ｐ１を起点して距離ｄ１２の位置に存在する、直線ｇ２上の点ｐ２を計算する。
その際、点ｐ１から距離ｄ１２離れた位置であって、直線ｇ２上の点ｐ２は２つ存在する可能性がある（瞳に近づく方向の１点と瞳から遠くなる方向の１点；図１２（ｂ）参照）。次に、光ビーコン位置推定部５３は、点ｐ２から距離ｄ２３の位置に存在する、直線ｇ３上の点ｐ３を計算する。この場合にも、２つの点ｐ２それぞれに対して、２つの点ｐ３が存在する可能性がある（点ｐ３は４箇所となる可能性がある）。次に、光ビーコン位置推定部５３は、点ｐ３から距離ｄ３４の位置に存在する、直線ｇ４上の点ｐ４を計算する。この場合にも、４つの点ｐ３それぞれに対して、２つの点ｐ４が存在する可能性がある（点ｐ４は８箇所となる可能性がある）。次に、光ビーコン位置推定部５３は、点ｐ４から距離ｄ４１の位置に存在する、直線ｇ１上の点ｐ１’を計算する。この場合、８個の点ｐ４それぞれに対して、２つの点ｐ１’が存在する可能性がある（点ｐ１’は１６箇所となる可能性がある）。
次に、光ビーコン位置推定部５３は、当初仮定した点ｐ１と、当該点ｐ１を元に計算した最大１６個の点ｐ１’と、の間の距離ｄｐ１−ｐ１’を計算する。計算した全てのｄｐ１−ｐ１’が一定値以上であれば、光ビーコン位置推定部５３は、点ｐ１の位置を眼球に近い位置（予め定めた所定値だけ近い位置）に再度、仮定し、距離ｄｐ１−ｐ１’の計算と一定値（閾値）との比較を繰り返す。
上記繰り返し処理の結果、光ビーコン位置推定部５３は、一定値以下の距離ｄｐ１−ｐ１’を検出した場合には、その際の点ｐ１、ｐ２、ｐ３、ｐ４からなる１組を、光ビーコンＰ１〜Ｐ４の位置に定める。
ＨＭＤ１０の装着者が、虚像のディスプレイ越しに対象物を視認すると、グラス部光ビーコン３６に囲まれた範囲の中に、虚像のディスプレイの存在を確認できる。さらに、装着者は、虚像のディスプレイの範囲の中に対象物光ビーコン１１を視認する。
図１３は、ＨＭＤ１０の装着者が視認する虚像のディスプレイ範囲に存在する対象物光ビーコン１１の一例を示す図である。
光ビーコン位置推定部５３は、装着者から視認した場合の対象物光ビーコン１１と重なる（重なるように装着者から視認される）虚像のディスプレイ２２１上の座標を取得する。その際、光ビーコン位置推定部５３は、角膜球の中心点Ｃと光ビーコンを結ぶ直線（図１１に示す直線２１３）が、グラス部光ビーコン３６により囲まれた仮想面２２２の上を通過する点を計算する。
その後、光ビーコン位置推定部５３は、後述のグラス部光ビーコン３６により囲まれた仮想面２２２における位置と、虚像のディスプレイ２２１における位置と、の対応から計算結果を座標に変換する。
グラス部光ビーコン３６により囲まれた仮想面２２２は、４つのグラス部光ビーコン３６の位置から、最小二乗法などにより平面の式を算出し、４つのグラス部光ビーコン３６を当該平面に投影した点（投影点）により囲まれる面として計算可能である。
ここで、グラス部光ビーコン３６により囲まれた仮想面２２２における位置と、虚像のディスプレイ２２１における位置と、の対応に関する情報は、都度計算しても良いし、予め記憶部４０にテーブル情報として書き込んでおき、角膜球の中心点Ｃの位置から選択しても良い。
図４に示すように、ＨＭＤ１０の装着者は、半透過ミラー３５にて反射した虚像のディスプレイを視認する。そのため、ディスプレイ部３１、レンズ部３２、導光部３３、半透過ミラー３５のそれぞれ寸法や屈折率などの諸特性と、両眼の間隔の個人差等の要因により変化する装着者の眼球とグラス部３４との位置関係と、により、装着者が視認するグラス部光ビーコン３６により囲まれた仮想面２２２の位置と虚像のディスプレイ２２１の位置と、の対応が定まる。
グラス部光ビーコン３６により囲まれる仮想面２２２の位置と虚像のディスプレイ２２１の位置と、の対応を定める、上記種々の要素のうち、装着者の眼球とグラス部３４の位置関係以外の要素は変化しない（固定である）。従って、例えば、グラス部光ビーコン３６により囲まれた仮想面２２２における位置と、虚像のディスプレイ２２１における位置と、を対応付けたテーブル情報を、記憶部４０に書き込んでおくことで、カメラ部２０で撮像した画像データから計算した角膜球の中心点Ｃとグラス部光ビーコン３６の位置に基づき、テーブル情報の選択が可能となる。
なお、記憶部４０に書き込む上記テーブル情報は、光線追跡シミュレーションにより、グラス部３４に対する装着者の眼球の相対的な位置を変化させ、各変化点それぞれを、グラス部光ビーコン３６に対する角膜球の中心点Ｃの位置に関連付けることで作成できる。
図１４は、瞳の角膜球の中心点Ｃと、仮想面における虚像のディスプレイの位置を対応付けるテーブル情報の一例を示す図である。図１４（ａ）を参照すると、テーブル情報には、瞳の中心点Ｃの仮想面２２２に対する相対位置に応じた仮想面での虚像のディスプレイの位置（座標）が規定されている。例えば、瞳の中心点Ｃの位置が図１４（ａ）の１行目の場合には、グラス部光ビーコン３６により形成される仮想面２２２における虚像のディスプレイ２２１の位置は図１４（ｂ）のように規定されている。同様に、中心点Ｃの位置が図１４（ａ）の２行目の場合には、虚像のディスプレイ２２１の位置は図１４（ｃ）のように規定されている。あるいは、グラス部光ビーコン３６による仮想面２２２に対する角膜球中心点Ｃの相対位置が、テーブル中の位置の中間位置になる場合（テーブルには登録がない場合）には、テーブル中の最も近い位置を採用しても良いし、中心点Ｃの相対位置を挟んで距離が近い３点（３次元座標上である為、案分する場合、３点のデータが必要）を案分し、算出しても良い。
次に、光ビーコン位置推定部５３の動作を図１５、図１６を参照しつつ説明する。
図１５のステップＳ３０１において、光ビーコン位置推定部５３は、対象物光ビーコン１１の１組が発見されたか否かを判定する。具体的には、光ビーコン位置推定部５３は、光ビーコン受信部５１からの光ビーコン受信完了に係る通知と、角膜球位置推定部５２からの眼球位置推定完了に係る通知と、を受信すると、記憶部４０に書き込まれている光ビーコンのＩＤ情報（光ビーコン受信部５１が受信した光ビーコンのＩＤ情報）と、予め登録されているＩＤ情報と、を比較する。
比較の結果、光ビーコン位置推定部５３は、対象物光ビーコン１１が一組発見されると（ステップＳ３０１、Ｙｅｓ分岐）、ステップＳ３０２以降の処理を実行する。比較の結果、対象物光ビーコン１１が発見されなければ（ステップＳ３０１、Ｎｏ分岐）、光ビーコン位置推定部５３は、処理を終了する。
ステップＳ３０２において、光ビーコン位置推定部５３は、前ステップと同様にして、グラス部光ビーコン３６の１組が発見されたか否かを判定する。グラス部光ビーコン３６の組が発見されれば（ステップＳ３０２、Ｙｅｓ分岐）、光ビーコン位置推定部５３は、ステップＳ３０３以降の処理を実行する。グラス部光ビーコン３６の組が発見されなければ（ステップＳ３０２、Ｎｏ分岐）、光ビーコン位置推定部５３は、処理を終了する。
ステップＳ３０３において、光ビーコン位置推定部５３は、角膜球表面の光ビーコンの像と光ビーコンを結ぶ直線を計算する。その際、光ビーコン位置推定部５３は、対象物光ビーコン１１とグラス部光ビーコン３６それぞれに対して、角膜球表面における光ビーコンの像の位置を計算する。
光ビーコン位置推定部５３は、記憶部４０に書き込まれている既知の情報（カメラ部２０の焦点距離ｆと、撮像素子２１の画素ピッチと、角膜球の半径ｒＣ）と、光ビーコン受信部５１が記憶部４０に書き込んだ情報（カメラが撮像した画像データの中における光ビーコンの像の位置）と、角膜球位置推定部５２が記憶部４０に書き込んだ情報（角膜球の中心点Ｃの位置）と、に基づき、角膜球表面における光ビーコンの像の位置を計算する。光ビーコン位置推定部５３は、カメラレンズの主点と角膜球表面の光ビーコンの像を結ぶ直線を用いて、角膜球表面の光ビーコンの像と光ビーコンを結ぶ直線の向きを計算する。
次に、光ビーコン位置推定部５３は、光ビーコンの位置を計算する（ステップＳ３０４；図１５参照）。
図１６を参照すると、光ビーコン位置推定部５３は、一組の光ビーコンのうち、光ビーコンＰ１と角膜球表面の光ビーコンの像とを結ぶ直線ｇ１上の、任意位置に点ｐ１を仮定し、最短距離ｄｐ１−ｇ２ｍｉｎを計算する（ステップＳ４０１、Ｓ４０２）。
最短距離ｄｐ１−ｇ２ｍｉｎと距離ｄ１２の差が一定値（所定値）以上の場合（ステップＳ４０３、Ｙｅｓ分岐）には、光ビーコン位置推定部５３は、位置をずらした位置に点ｐ１を再仮定（ステップＳ４０４）し、再び最短距離ｄｐ１−ｇ２ｍｉｎを計算する（ステップＳ４０２）。具体的には、最短距離ｄｐ１−ｇ２ｍｉｎが一定値以上大きければ、光ビーコン位置推定部５３は、点ｐ１の位置を眼球から遠い位置に仮定し、再び最短距離ｄｐ１−ｇ２ｍｉｎを計算する。一方、最短距離ｄｐ１−ｇ２ｍｉｎが一定値以上小さければ、点ｐ１の位置を眼球から近い位置に仮定し、再び最短距離ｄｐ１−ｇ２ｍｉｎを計算する。
距離ｄｐ１−ｇ２ｍｉｎと距離ｄ１２の差が一定値以下であれば（ステップＳ４０３、Ｎｏ分岐）、光ビーコン位置推定部５３は、当該点ｐ１の位置をｐ１ｍａｘに設定し、点ｐ１が直線ｇ１上のｐ１ｍａｘに存在すると仮定する（ステップＳ４０５）。
ステップＳ４０６において、光ビーコン位置推定部５３は、上述した方法にて、点ｐ１から点ｐ２、点ｐ２から点ｐ３、点ｐ３から点ｐ４、点ｐ４から点ｐ１’をそれぞれ計算する。その後、光ビーコン位置推定部５３は、点ｐ１と、点ｐ１を元に計算した最大１６個の点ｐ１’との間の距離ｄｐ１−ｐ１’を計算する。
光ビーコン位置推定部５３は、全ての距離ｄｐ１−ｐ１’のうち、一定値以下の距離ｄｐ１−ｐ１’が存在する否かを判定する（ステップＳ４０７）。全ての距離ｄｐ１−ｐ１’が一定値以上であれば（ステップＳ４０７、Ｎｏ分岐）、光ビーコン位置推定部５３は、点ｐ１の位置を眼球に近い位置に再び仮定（ステップＳ４０８）する。
その後、光ビーコン位置推定部５３は、ｐ１の位置と眼球の間の距離が一定値以下であるか否かを判定（ステップＳ４０９）し、ｐ１の位置を移動させる余地が残っているか否かを判定する。点ｐ１を移動させることをできれば（ステップＳ４０９、Ｎｏ分岐）、光ビーコン位置推定部５３は、ステップＳ４０６、Ｓ４０７に戻り、距離ｄｐ１−ｐ１’の計算と、当該計算値と一定値との比較を繰り返す。
最終的に、一定値以下の距離ｄｐ１−ｐ１’が発見できない場合（ステップＳ４０９、Ｙｅｓ分岐）には、光ビーコン位置推定部５３は、処理を終了する。
一定値以下の距離ｄｐ１−ｐ１’が発見された場合（ステップＳ４０７、Ｙｅｓ分岐）には、光ビーコン位置推定部５３は、当該点ｐ１、ｐ２、ｐ３、ｐ４からなる１組を光ビーコンの位置に設定する（ステップＳ４１０）。
以上で、図１５のステップＳ３０４の処理（光ビーコンの位置を計算する処理）が終了し、上位の処理（図１５の処理）に戻る。
光ビーコン位置推定部５３は、光ビーコンの組それぞれについて、１組ずつステップＳ３０４の処理を繰り返し、組となっている全ての光ビーコンの位置を計算する。計算ができなかった場合には（ステップＳ３０５、Ｎｏ分岐）、光ビーコン位置推定部５３は、処理を終了する。計算ができた場合には（ステップＳ３０５、Ｙｅｓ分岐）、光ビーコン位置推定部５３は、角膜球の中心点Ｃと対象物光ビーコン１１とを結ぶ直線を計算する（ステップＳ３０６）。
次に、光ビーコン位置推定部５３は、グラス部光ビーコン３６により囲まれた仮想面２２２を計算する（ステップＳ３０７）。
光ビーコン位置推定部５３は、上記ステップＳ３０７にて計算した仮想面２２２にて、角膜球の中心点Ｃと対象物光ビーコン１１を結ぶ直線（ステップＳ３０６で計算した直線）が通過する点を計算する（ステップＳ３０８）。
光ビーコン位置推定部５３は、グラス部光ビーコン３６により囲まれた範囲（仮想面２２２）を、光ビーコンが通過したか否かを判定（ステップＳ３０９）し、通過しない場合（ステップＳ３０９、Ｎｏ分岐）には処理を終了する。
通過する場合には（ステップＳ３０９、Ｙｅｓ判定）、光ビーコン位置推定部５３は、角膜球の中心点Ｃとグラス部光ビーコン３６の位置から、装着者の角膜球の中心点（中心位置）Ｃとグラス部との相対位置を計算する。その後、光ビーコン位置推定部５３は、グラス部光ビーコン３６により囲まれた仮想面２２２上の虚像のディスプレイ２２１上の位置に関する複数のテーブル情報（図１４（ａ）参照）の中から、角膜球の中心点Ｃとグラス部光ビーコン３６の位置に対応付けられたテーブルを１つ選択する（ステップＳ３１０）。
次に、光ビーコン位置推定部５３は、グラス部光ビーコン３６により囲まれた仮想面２２２を通過する点について、装着者から視認した場合の対象物光ビーコン１１と重なる虚像のディスプレイ２２１上の座標に変換する（座標を計算する；ステップＳ３１１）。
上記座標が計算できない場合（ステップＳ３１２、Ｎｏ分岐）には、光ビーコン位置推定部５３は、処理を終了する。座標が計算できた場合（ステップＳ３１２、Ｙｅｓ分岐）には、光ビーコン位置推定部５３は、当該計算した座標を、光ビーコンのＩＤ情報（光ビーコン受信部５１が記憶部４０に書き込んだ受信した光ビーコンのＩＤ情報）に関連付けて、記憶部４０に書き込む。
その後、光ビーコン位置推定部５３は、拡張現実表示部５４に対し、光ビーコン位置推定完了を通知する（ステップＳ３１３）。
以上のように、光ビーコン位置推定部５３は、画像データに含まれる装着者の瞳に反射したグラス部光ビーコン３６の像の画像データにおける位置に基づき、複数のグラス部光ビーコン３６により形成される平面を仮想面２２２として計算し、仮想面２２２と装着者の角膜球の中心点Ｃ（中心位置）の相対的な位置関係に基づき、仮想面２２２上での虚像のディスプレイ２２１の位置を特定する。また、光ビーコン位置推定部５３は、画像データに含まれる装着者の瞳に反射した対象物光ビーコン１１の像の画像データにおける位置に基づき、対象物光ビーコン１１の位置を計算し、計算されたビーコンの位置と装着者の角膜球の中心位置を結ぶ直線を計算し、当該直線が仮想面を通過する通過点の座標を、虚像のディスプレイ２２１での座標に変換することで、虚像のディスプレイ２２１における対象物光ビーコン１１の位置を推定している。
［拡張現実表示部の動作］
拡張現実表示部５４は、推定された対象物光ビーコン１１の位置に、対象物光ビーコン１１の識別情報に関連付けられた拡張現実に係る画像を、現実の景色（シーン）に重畳させて表示する手段である。より具体的には、拡張現実表示部５４は、光ビーコンのＩＤ情報に基づき、ＡＲ画像を読み出し、ＨＭＤ１０の装着者が視認する虚像のディスプレイ２２１と光ビーコンの位置関係から、装着者が視認しているシーンの対象物に合致するようにＡＲ画像をディスプレイに描画する。
図１７は、拡張現実表示部５４の動作の一例を示すフローチャートである。
ステップＳ５０１において、拡張現実表示部５４は、光ビーコン位置推定部５３による光ビーコン位置推定完了の通知を受信すると、受信した光ビーコンのＩＤ情報（光ビーコン受信部５１が書き込んだＩＤ情報）と、虚像のディスプレイ２２１における座標（光ビーコン位置推定部５３が書き込んだ座標であって、装着者が視認した対象物光ビーコン１１と重なる座標）と、を記憶部４０から読み出す。
その後、拡張現実表示部５４は、当該ＩＤ情報を検索キーとして、予め記憶部４０に格納されているＡＲ画像（上記ＩＤ情報に関連付けられたＡＲ画像）を読み出す（ステップＳ５０２）。
ＡＲ画像は、４辺の長さがｄ１２、ｄ２３、ｄ３４、ｄ４１の四角形と相似形であり、一組の対象物光ビーコン１１を頂点とする四角形に、重なるように表示されることを想定した内容になっている。また、装着者が視認した対象物光ビーコン１１と重なる、虚像のディスプレイ２２１における座標で囲まれる四角形は、装着者が対象物を見る角度により形が変化する。そこで、拡張現実表示部５４は、当該変化する形に合うように、ＡＲ画像の変形画像を計算する（ステップＳ５０３）。なお、上記計算は、ＡＲ画像の４つの頂点と、装着者から視認した対象物光ビーコン１１と重なる虚像のディスプレイ２２１における４つの座標と、に基づいて行う射影変換である。
その後、拡張現実表示部５４は、ＡＲ画像の変形画像を記憶部４０に書き込み、ディスプレイ制御部７０に、画像データをディスプレイ部３１へ送り出すことを指示する（ステップＳ５０４）。
上記指示を受けたディスプレイ制御部７０は、記憶部４０から変形したＡＲ画像を読み出し、ディスプレイ部３１に出力する。
以上のように、第１の実施形態に係るシステムでは、予め位置関係が把握されている１組の光ビーコンを、ＨＭＤ１０のグラス部３４に１組と、シーンに１組以上配置する。その上で、ＨＭＤ１０の装着者がシーンを視認した状態で、ＨＭＤ１０に搭載したカメラ部２０が装着者の瞳を撮像する。ＨＭＤ１０は、撮像した画像に写っている、装着者の瞳の外形と、角膜表面に反射した光ビーコンの像の、画像中の位置から、眼球の３次元的な幾何モデルを用いて、装着者が見ている光ビーコンの位置を計算する。その後、ＨＭＤ１０は、その装着者が視認している虚像のディスプレイの位置と、シーンの位置の関係を推定する。即ち、ＨＭＤ１０は、ＨＭＤ１０のグラス部３４上のグラス部光ビーコン３６と、実際の輝点を配置した実像である対象物光ビーコン１１と、の位置関係を検出して、現実の像とＡＲ画像のアライメントを行う。その結果、ＨＭＤ１０の装着者ごとに適切なＡＲ画像位置を視野上の指定位置に投影することができる。
第１の実施形態に係るＨＭＤ１０は、オプティカルシースルー型（ハーフミラー等を使って実視野とＡＲ画像を重ねて表示する）ヘッドマウントディスプレイ（ＨＭＤ；Head Mounted Display）を用いて、ＡＲ画像の空中像を投影し、ＨＭＤの装着者に、ＡＲ画像を見せる場合に、シーンと、ＨＭＤのグラス部に配置した光ビーコンの機能を有する光源から発され、装着者の角膜表面に反射した光を、ＨＭＤに搭載したカメラで撮像する。また、ＨＭＤ１０は、眼球の幾何モデルを用いて、光ビーコンの位置を計算することで、装着者が見ているシーン（風景等の実像）と、虚像のディスプレイ（虚像を投射するディスプレイの機能を持つＨＭＤ等の映像投射装置による虚像面）との位置関係を推定し、シーン中の適正な位置に虚像であるＡＲ画像を投射する。
なお、第１の実施形態にて説明した、光ビーコンは、点滅等する識別機能を有する光を使った位置誘導の為のデバイスである。第１の実施形態では、対象物光ビーコン１１の光は、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等の疑似点光源から、半透過ミラー３５もしくはグラス部３４を通り、光強度が減衰して装着者の角膜に入射し、一方、グラス部光ビーコン３６の光は、その光源の光が、直接、装着者の角膜に入射し、実像が装着者の視野に入る構成を説明した。但し、グラス部光ビーコン３６の代わりに、装着者の視野に、光ビーコンの役目を持たせた虚像の輝点を重ねて、グラス部光ビーコンとする構成であっても良い。即ち、ディスプレイ部３１から半透過ミラー３５までの間の光路のいずれかに、ＬＥＤ等の疑似点光源を設置し、装着者の視野の中に、点状の輝点の空中像（虚像）を結ぶ様にしても良い。あるいは、ディスプレイ部３１の表示領域の任意の画素もしくは画素の集合に、光ビーコンと同様に点滅する（同様に変調する、でも良い）輝点を表示して、装着者の視野に空中像として見える、虚像のディスプレイ上の画素、をグラス部光ビーコンとして用いても良い。
上記の説明により、産業上の利用可能性は明らかであるが、本願開示は、シースルー型ヘッドマウントディスプレイを使って、ＡＲ画像の空中像を投影し、装着者にＡＲ画像を提供する場合に好適である。
上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
［付記１］
上述の第１の視点に係る画像表示装置のとおりである。
［付記２］
前記装着者の瞳の前方に配置された半透過ミラーの周囲に配置された複数の第２光ビーコンをさらに備え、
前記光ビーコン位置推定部は、
前記画像データに含まれる前記装着者の瞳に反射した前記第２光ビーコンの像の前記画像データにおける位置に基づき、前記複数の第２光ビーコンにより形成される平面を仮想面として計算し、
前記仮想面と前記装着者の角膜球の中心位置の相対的な位置関係に基づき、前記仮想面上での前記虚像の表示面の位置を特定する、付記１の画像表示装置。
［付記３］
前記光ビーコン位置推定部は、
前記画像データに含まれる前記装着者の瞳に反射した前記第１光ビーコンの像の前記画像データにおける位置に基づき、前記第１光ビーコンの位置を計算し、
前記計算された第１光ビーコンの位置と前記装着者の角膜球の中心位置を結ぶ第１の直線を計算し、
前記第１の直線が前記仮想面を通過する通過点の座標を、前記虚像の表示面上での座標に変換することで、前記虚像の表示面における前記第１光ビーコンの位置を推定する、付記２の画像表示装置。
［付記４］
前記光ビーコン位置推定部は、
前記画像データに含まれる前記装着者の瞳に反射した前記第１光ビーコンの像の前記画像データにおける位置と前記第１光ビーコンを結ぶ第２の直線を、複数の前記第１光ビーコンごとに計算すると共に、
前記計算された第２の直線上の１つに、対応する前記第１光ビーコンを仮定することと、前記仮定された第１光ビーコンと、前記仮定された第１光ビーコンに対応する前記第２の直線に隣接する他の前記第２の直線上に、前記仮定された第１光ビーコンからの距離が最短となる前記第１光ビーコンを仮定することを、前記計算された第２の直線について繰り返し、
最初に前記第２の直線上に仮定した前記第１光ビーコンと、前記繰り返し処理により計算された、前記最初に前記第１光ビーコンを仮定した前記第２の直線上の前記第１光ビーコンと、の間の距離が所定値以下となる場合に、前記所定値以下となる場合の仮定された前記第１光ビーコンの位置を、前記第１光ビーコンの位置とする、付記３の画像表示装置。
［付記５］
前記角膜球位置推定部は、前記画像データが生成される際の焦点位置における画像面に投影される前記装着者の瞳の大きさ及び形状を、楕円を表す式の係数により特定する、付記１乃至４のいずれか一に記載の画像表示装置。
［付記６］
前記角膜球位置推定部は、
前記装着者の瞳を示す楕円の長軸及び短軸の長さを用いて、前記装着者の瞳の傾きを計算し、
前記計算された装着者の瞳の傾きと、前記画像面に投影される前記装着者の瞳の回転角と、に基づき、前記装着者の瞳が向く方向を示す視線ベクトルを計算し、
前記計算された視線ベクトルと、眼球の幾何モデルの所定のパラメータと、前記装着者の角膜球の中心位置と前記画像面との間の距離と、に基づき、前記装着者の角膜球の中心位置を推定する、付記５の画像表示装置。
［付記７］
前記第１光ビーコンが送信する信号は所定の方式により変調されており、
前記光ビーコン受信部は、１フレームに相当する複数の画像データを解析することにより、前記第１光ビーコンが送信する信号を復調すると共に、前記第１光ビーコンの識別情報を取得する、付記１乃至６のいずれか一に記載の画像表示装置。
［付記８］
前記拡張現実表示部は、
前記推定された第１光ビーコンの位置に、前記第１光ビーコンの識別情報に関連付けられた拡張現実に係る画像に射影変換を施した後に、現実の景色に重畳させて表示する、付記１乃至７のいずれか一に記載の画像表示装置。
［付記９］
前記光ビーコン受信部は、前記第１光ビーコンが送信する信号を復元し、前記復元した信号に対する誤り検出処理を行う、付記７又は８の画像表示装置。
［付記１０］
予め計算された、角膜球の中心点と前記仮想面における前記虚像の表示面の位置を対応付けるテーブル情報を少なくとも記憶する記憶部をさらに備える、付記１乃至９のいずれか一に記載の画像表示装置。
［付記１１］
上述の第２の視点に係る画像表示方法のとおりである。
［付記１２］
上述の第３の視点に係るプログラムのとおりである。
なお、付記１１及び１２の形態は、付記１の形態と同様に、付記２の形態から付記１０の形態に展開することが可能である。
なお、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の全開示の枠内において種々の開示要素（各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む）の多様な組み合わせ、ないし、選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。
１０ ＨＭＤ（Head Mounted Display)
１１、１１−１〜１１−４ 対象物光ビーコン
２０ カメラ部
２１ 撮像素子
２２ カメラレンズ
３０ 表示部
３１ ディスプレイ部
３２ レンズ部
３３ 導光部
３４ グラス部
３５ 半透過ミラー
３６、３６−１〜３６−４ グラス部光ビーコン
４０ 記憶部
５０ 制御部
５１、１０１ 光ビーコン受信部
５２、１０２ 角膜球位置推定部
５３、１０３ 光ビーコン位置推定部
５４、１０４ 拡張現実表示部
６０ カメラ制御部
７０ ディスプレイ制御部
１００ 画像表示装置
２０１ 画像面
２０２ 瞳の投影像
２０３ 角膜球
２１１〜２１３ 直線
２２１ 虚像のディスプレイ
２２２ 仮想面

Claims (8)

  1. 予め定めた対象物の位置に応じて配置された第１光ビーコンから送信される信号であって、前記第１光ビーコンの識別情報を含む信号を受信する光ビーコン受信部と、
    少なくとも自装置を装着する装着者の瞳が撮像された画像データから、前記装着者の瞳に係る領域を検出し、前記検出された瞳の大きさと形状に基づいて、前記装着者の角膜球の中心位置を推定する、角膜球位置推定部と、
    前記装着者の瞳に反射した第１光ビーコンの像の前記画像データにおける位置と、前記推定された角膜球の中心位置と、に基づき、前記装着者が視認する虚像の表示面における前記第１光ビーコンの位置を推定する、光ビーコン位置推定部と、
    前記推定された第１光ビーコンの位置に、前記第１光ビーコンの識別情報に関連付けられた拡張現実に係る画像を、現実の景色に重畳させて表示する、拡張現実表示部と、
    前記装着者の瞳の前方に配置された半透過ミラーの周囲に配置された少なくとも４以上の第２光ビーコンと、
    を備え、
    前記光ビーコン位置推定部は、
    前記画像データに含まれる前記装着者の瞳に反射した前記第２光ビーコンの像の前記画像データにおける位置に基づき、前記少なくとも４以上の第２光ビーコンにより形成される平面を仮想面として計算し、
    前記仮想面と前記装着者の角膜球の中心位置の相対的な位置関係に基づき、前記仮想面上での前記虚像の表示面の位置を特定する、画像表示装置。
  2. 前記光ビーコン位置推定部は、
    前記画像データに含まれる前記装着者の瞳に反射した前記第１光ビーコンの像の前記画像データにおける位置に基づき、前記第１光ビーコンの位置を計算し、
    前記計算された第１光ビーコンの位置と前記装着者の角膜球の中心位置を結ぶ第１の直線を計算し、
    前記第１の直線が前記仮想面を通過する通過点の座標を、前記虚像の表示面上での座標に変換することで、前記虚像の表示面における前記第１光ビーコンの位置を推定する、請求項１の画像表示装置。
  3. 前記光ビーコン位置推定部は、
    前記画像データに含まれる前記装着者の瞳に反射した前記第１光ビーコンの像の前記画像データにおける位置と前記第１光ビーコンを結ぶ第２の直線を、複数の前記第１光ビーコンごとに計算すると共に、
    前記計算された第２の直線上の１つに、対応する前記第１光ビーコンを仮定することと、前記仮定された第１光ビーコンと、前記仮定された第１光ビーコンに対応する前記第２の直線に隣接する他の前記第２の直線上に、前記仮定された第１光ビーコンからの距離が最短となる前記第１光ビーコンを仮定することを、前記計算された第２の直線について繰り返し、
    最初に前記第２の直線上に仮定した前記第１光ビーコンと、前記繰り返し処理により計算された、前記最初に前記第１光ビーコンを仮定した前記第２の直線上の前記第１光ビーコンと、の間の距離が所定値以下となる場合に、前記所定値以下となる場合の仮定された前記第１光ビーコンの位置を、前記第１光ビーコンの位置とする、請求項２の画像表示装置。
  4. 前記角膜球位置推定部は、
    前記画像データが生成される際の焦点位置における画像面に投影される前記装着者の瞳の大きさ及び形状を、楕円を表す式の係数により特定し、
    前記装着者の瞳を示す楕円の長軸及び短軸の長さを用いて、前記装着者の瞳の傾きを計算し、
    前記計算された装着者の瞳の傾きと、前記画像面に投影される前記装着者の瞳の回転角と、に基づき、前記装着者の瞳が向く方向を示す視線ベクトルを計算し、
    前記計算された視線ベクトルと、眼球の幾何モデルの所定のパラメータと、前記装着者の角膜球の中心位置と前記画像面との間の距離と、に基づき、前記装着者の角膜球の中心位置を推定する、請求項１乃至３のいずれか一項に記載の画像表示装置。
  5. 前記第１光ビーコンが送信する信号は所定の方式により変調されており、
    前記光ビーコン受信部は、１フレームに相当する複数の画像データを解析することにより、前記第１光ビーコンが送信する信号を復調すると共に、前記第１光ビーコンの識別情報を取得する、請求項１乃至４のいずれか一項に記載の画像表示装置。
  6. 前記拡張現実表示部は、
    前記推定された第１光ビーコンの位置に、前記第１光ビーコンの識別情報に関連付けられた拡張現実に係る画像に射影変換を施した後に、現実の景色に重畳させて表示する、請求項１乃至５のいずれか一項に記載の画像表示装置。
  7. 予め定めた対象物の位置に応じて配置された第１光ビーコンから送信される信号であって、前記第１光ビーコンの識別情報を含む信号を受信するステップと、
    少なくとも自装置を装着する装着者の瞳が撮像された画像データから、前記装着者の瞳に係る領域を検出し、前記検出された瞳の大きさと形状に基づいて、前記装着者の角膜球の中心位置を推定する、ステップと、
    前記装着者の瞳に反射した第１光ビーコンの像の前記画像データにおける位置と、前記推定された角膜球の中心位置と、に基づき、前記装着者が視認する虚像の表示面における前記第１光ビーコンの位置を推定する、ステップと、
    前記推定された第１光ビーコンの位置に、前記第１光ビーコンの識別情報に関連付けられた拡張現実に係る画像を、現実の景色に重畳させて表示する、ステップと、
    を含み、
    前記第１光ビーコンの位置を推定するステップは、
    前記画像データに含まれる前記装着者の瞳に反射した、前記装着者の瞳の前方に配置された半透過ミラーの周囲に配置された少なくとも４以上の第２光ビーコンの像の前記画像データにおける位置に基づき、前記少なくとも４以上の第２光ビーコンにより形成される平面を仮想面として計算し、
    前記仮想面と前記装着者の角膜球の中心位置の相対的な位置関係に基づき、前記仮想面上での前記虚像の表示面の位置を特定する、画像表示方法。
  8. 予め定めた対象物の位置に応じて配置された第１光ビーコンから送信される信号であって、前記第１光ビーコンの識別情報を含む信号を受信する処理と、
    少なくとも自装置を装着する装着者の瞳が撮像された画像データから、前記装着者の瞳に係る領域を検出し、前記検出された瞳の大きさと形状に基づいて、前記装着者の角膜球の中心位置を推定する、処理と、
    前記装着者の瞳に反射した第１光ビーコンの像の前記画像データにおける位置と、前記推定された角膜球の中心位置と、に基づき、前記装着者が視認する虚像の表示面における前記第１光ビーコンの位置を推定する、処理と、
    前記推定された第１光ビーコンの位置に、前記第１光ビーコンの識別情報に関連付けられた拡張現実に係る画像を、現実の景色に重畳させて表示する、処理と、
    を画像表示装置に搭載されたコンピュータに実行させるプログラムであって、
    前記第１光ビーコンの位置を推定する処理は、
    前記画像データに含まれる前記装着者の瞳に反射した、前記装着者の瞳の前方に配置された半透過ミラーの周囲に配置された少なくとも４以上の第２光ビーコンの像の前記画像データにおける位置に基づき、前記少なくとも４以上の第２光ビーコンにより形成される平面を仮想面として計算し、
    前記仮想面と前記装着者の角膜球の中心位置の相対的な位置関係に基づき、前記仮想面上での前記虚像の表示面の位置を特定する、プログラム。
JP2015165159A 2015-08-24 2015-08-24 画像表示装置、画像表示方法及びプログラム Active JP6334477B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015165159A JP6334477B2 (ja) 2015-08-24 2015-08-24 画像表示装置、画像表示方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015165159A JP6334477B2 (ja) 2015-08-24 2015-08-24 画像表示装置、画像表示方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2017044756A JP2017044756A (ja) 2017-03-02
JP6334477B2 true JP6334477B2 (ja) 2018-05-30

Family

ID=58209938

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015165159A Active JP6334477B2 (ja) 2015-08-24 2015-08-24 画像表示装置、画像表示方法及びプログラム

Country Status (1)

Country Link
JP (1) JP6334477B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7173836B2 (ja) * 2018-11-05 2022-11-16 京セラ株式会社 コントローラ、位置判定装置、位置判定システム、表示システム、プログラム、および記録媒体
CN112700586B (zh) * 2019-10-23 2023-02-24 北京百度网讯科技有限公司 信息呈现方法和装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08286141A (ja) * 1995-04-14 1996-11-01 Canon Inc 注視点検出システム及びそれを用いた制御システム
JP2004054890A (ja) * 2002-05-29 2004-02-19 Sony Corp 画像表示装置および方法、送信装置および方法、画像表示システム、記録媒体、並びにプログラム
US9323055B2 (en) * 2006-05-26 2016-04-26 Exelis, Inc. System and method to display maintenance and operational instructions of an apparatus using augmented reality
US9237844B2 (en) * 2010-03-22 2016-01-19 Koninklijke Philips N.V. System and method for tracking the point of gaze of an observer
EP3761072A1 (en) * 2012-01-24 2021-01-06 Augmented Vision Inc. Compact eye-tracked head-mounted display
WO2013179427A1 (ja) * 2012-05-30 2013-12-05 パイオニア株式会社 表示装置、ヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体
JP5467303B1 (ja) * 2012-07-31 2014-04-09 独立行政法人科学技術振興機構 注視点検出装置、注視点検出方法、個人パラメータ算出装置、個人パラメータ算出方法、プログラム、及びコンピュータ読み取り可能な記録媒体

Also Published As

Publication number Publication date
JP2017044756A (ja) 2017-03-02

Similar Documents

Publication Publication Date Title
CN106168853B (zh) 一种自由空间头戴式视线跟踪系统
EP3453316B1 (en) Eye tracking using eyeball center position
JP2020034919A (ja) 構造化光を用いた視線追跡
CN102812416B (zh) 指示输入装置、指示输入方法、程序、记录介质以及集成电路
JP5467303B1 (ja) 注視点検出装置、注視点検出方法、個人パラメータ算出装置、個人パラメータ算出方法、プログラム、及びコンピュータ読み取り可能な記録媒体
CN113168733A (zh) 一种眼镜虚拟试戴系统和方法
Canessa et al. Calibrated depth and color cameras for accurate 3D interaction in a stereoscopic augmented reality environment
US20180032133A1 (en) Eye-gaze detection system, displacement detection method, and displacement detection program
EP3371781B1 (en) Systems and methods for generating and using three-dimensional images
WO2014128789A1 (ja) 形状認識装置、形状認識プログラム、および形状認識方法
JP2010259605A (ja) 視線測定装置および視線測定プログラム
JPWO2016098406A1 (ja) 情報処理装置、情報処理方法及びプログラム
CN113808160B (zh) 视线方向追踪方法和装置
WO2015035822A1 (en) Pickup of objects in three-dimensional display
JP6485819B2 (ja) 視線検出システム、ずれ検出方法、ずれ検出プログラム
JP6604271B2 (ja) 注視位置検出装置、注視位置検出方法及び注視位置検出用コンピュータプログラム
WO2019125700A1 (en) System and method of obtaining fit and fabrication measurements for eyeglasses using simultaneous localization and mapping
US20150339511A1 (en) Method for helping determine the vision parameters of a subject
JP2019215688A (ja) 自動キャリブレーションを行う視線計測装置、視線計測方法および視線計測プログラム
KR20170083225A (ko) 동공 거리 결정 방법 및 장치
KR20200006621A (ko) 근거리 시력 지점을 결정하기 위한 방법, 장치 및 컴퓨터 프로그램
US11754856B2 (en) Method for designing eyeglass lens, method for manufacturing eyeglass lens, eyeglass lens, eyeglass lens ordering device, eyeglass lens order receiving device, and eyeglass lens ordering and order receiving system
JP6334477B2 (ja) 画像表示装置、画像表示方法及びプログラム
CN108664118B (zh) 眼球追踪方法和装置、隐形眼镜、虚拟现实系统
CN113711003B (zh) 用于测量眼镜片的局部屈光力和/或屈光力分布的方法和设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161206

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170913

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180403

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180426

R150 Certificate of patent or registration of utility model

Ref document number: 6334477

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150