JPWO2018008232A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Abstract

本技術の一形態に係る情報処理装置は、取得部と、表示制御部とを具備する。前記取得部は、ユーザの眼球に映る実空間を撮影した第１の画像と、前記眼球に映る所定の表示部に表示された前記実空間に関連する画像を撮影した第２の画像とをそれぞれ取得可能である。前記表示制御部は、前記取得された前記第１の画像及び前記第２の画像に基づいて、前記所定の表示部による画像表示を制御する。

Description

本技術は、情報処理装置、情報処理方法、及びプログラムに関する。

従来から光学的に透過可能な表示装置が広く用いられている。例えば透過式のヘッドマウントディスプレイ（ＨＭＤ）等の表示装置では、透過型ディスプレイに文字やグラフィックイメージ等の付加情報を表示させ、現実環境と一緒に視認させることが可能である。これにより「拡張現実（ＡＲ：Augment Reality）技術」を実現することも可能である。

例えば特許文献１記載のＨＭＤでは、ユーザが視認する現実環境に応じた付加情報が、透過型ディスプレイ上の既定の座標系に合わせて表示される。ユーザは付加情報と一緒に現実環境を視認することで、ＡＲを体感する。付加情報の表示位置は、現実環境の画像とそこに含まれる自然特徴点に誘導されたユーザの視線方向とに基づいて決定される（特許文献１の明細書段落［００４７］［００４８］）。

国際公開第２０１３／１７９４２７号

特許文献１に記載のＨＭＤでは、付加情報の表示位置は既定の座標系に合わせて調整される。従って、視点と座標系との相対的な位置関係が変動すると、付加情報の表示位置がずれてしまい、透過型ディスプレイの表示精度が低下してしまう可能性が高い。

以上のような事情に鑑み、本技術の目的は、ＡＲ画像等の表示を高精度に制御することを可能とする情報処理装置、情報処理方法、及びプログラムを提供することにある。

上記目的を達成するため、本技術の一形態に係る情報処理装置は、取得部と、表示制御部とを具備する。
前記取得部は、ユーザの眼球に映る実空間を撮影した第１の画像と、前記眼球に映る所定の表示部に表示された前記実空間に関連する画像を撮影した第２の画像とをそれぞれ取得可能である。
前記表示制御部は、前記取得された前記第１の画像及び前記第２の画像に基づいて、前記所定の表示部による画像表示を制御する。

この情報処理装置では、眼球に映る実空間を撮影した第１の画像と、所定の表示部に表示された画像が眼球に映っている第２の画像とが取得される。これらの第１及び第２の画像をもとに、所定の表示部による画像表示が制御される。これにより表示部によるＡＲ画像等の表示を高精度に制御することが可能となる。

前記取得部は、前記ユーザの視野に含まれる前記実空間に関する実空間情報を取得してもよい。この場合、前記表示制御部は、前記実空間情報に基づいて、前記実空間に関連する画像を前記所定の表示部に表示してもよい。
これにより表示部によるＡＲ画像等の表示を高精度に制御することが可能となる。

前記表示制御部は、前記実空間に含まれる１以上の基準要素の位置情報を取得し、当該１以上の基準要素の位置を基準として、前記実空間に関連する画像を生成する画像生成部を有してもよい。
これにより表示部によるＡＲ画像等の表示を高精度に制御することが可能となる。

前記画像生成部は、前記実空間情報に含まれる実空間座標を前記所定の表示部における表示座標へ変換する変換操作により前記実空間に関連する画像を生成してもよい。この場合、前記表示制御部は、前記第１の画像に含まれる前記１以上の基準要素と前記第２の画像に含まれる前記実空間に関連する画像との位置関係に基づいて、前記変換操作を補正する補正部を有してもよい。
これにより表示部によるＡＲ画像等の表示を高精度に制御することが可能となる。

前記画像生成部は、前記１以上の基準要素の各々に対応する１以上のマーカを含む画像を生成してもよい。この場合、前記補正部は、前記第１の画像に含まれる前記１以上の基準要素と、前記第２の画像に含まれる前記１以上のマーカとの位置関係に基づいて、前記変換操作を補正してもよい。
これにより表示部によるＡＲ画像等の表示を高精度に制御することが可能となる。

前記画像生成部は、前記マーカの形状、サイズ、表示密度、表示色、及び輝度の少なくとも１つを調節可能であってもよい。
これによりマーカの検出効率を向上させることが可能となり、表示部によるＡＲ画像等の表示を高精度に制御することが可能となる。

前記画像生成部は、前記実空間に対応するＡＲ画像を生成してもよい。この場合、前記補正部は、前記第１の画像に含まれる前記１以上の基準要素と、前記第２の画像に含まれる前記ＡＲ画像との位置関係に基づいて、前記変換操作を補正してもよい。
これにより表示部によるＡＲ画像等の表示を高精度に制御することが可能となる。

前記補正部は、前記実空間座標から前記表示座標への射影変換を補正してもよい。
これによりＡＲ画像の位置、形状、角度及びサイズ等を含む補正が可能となり、表示部によるＡＲ画像等の表示を高精度に制御することが可能となる。

前記所定の表示部は、前記眼球に対向して配置される透過型ディスプレイであってもよい。
これにより高品質なＡＲ環境を提供することができる。

前記表示制御部は、前記透過型ディスプレイを透過する光量を調整可能な調光部を有してもよい。
これにより眼球への実空間の映り込みを制御することが可能となり、表示部によるＡＲ画像等の表示を高精度に制御することが可能となる。

前記調光部は、前記第２の画像の撮影時に前記透過する光量を規制してもよい。
これによりマーカ等の検出効率が向上し、表示部によるＡＲ画像等の表示を高精度に制御することが可能となる。

前記表示制御部は、前記ユーザの状態を検出可能なセンサ部の検出結果に基づいて、前記１以上の基準要素の位置情報、又は前記実空間に関連する画像を補正してもよい。
これにより例えばユーザの挙動に伴うＡＲ画像等の表示のずれ等を補正することが可能となる。

前記表示制御部は、前記変換操作を補正するか否かを判定する判定部を有してもよい。この場合、前記画像生成部及び前記補正部は、前記判定部の結果に基づいて動作してもよい。
これにより補正のタイミングを自動的に判定することが可能となり、適切な状況でＡＲ画像等の表示を補正することが可能となる。

前記判定部は、前記実空間に含まれる前記１以上の基準要素の数及び分布に基づいて、前記変換操作の補正を実行するか否かを判定してもよい。
これによりＡＲ画像等の表示を高精度に補正することが可能となる。

前記判定部は、前記眼球の視線方向及び位置を含む前記ユーザの状態の情報、及び前記１以上の基準要素の位置の変動を含む変動情報の少なくとも一方に基づいて、前記変換操作の補正を実行するか否かを判定してもよい。
これによりＡＲ画像等の表示を高精度に補正することが可能となる。

前記表示制御部は、前記所定の表示部内の前記眼球が注視している注視領域を避けて、前記１以上の基準要素の各々に対応する１以上のマーカを表示してもよい。
これによりユーザへの負担を低減し、使用感を向上させることが可能となる。

前記表示制御部は、前記変換操作を補正することが必要か否かを判定し、必要であると判定した場合には、自動的に前記変換操作の補正を実行してもよい。
これにより自動補正が実現可能となり高い操作性が発揮される。

前記表示制御部は、前記第１の画像及び前記第２の画像の前記眼球の表面形状に由来する歪みを補正してもよい。
これにより表示部によるＡＲ画像等の表示を精度よく制御することが可能となる。

本技術の一形態に係る情報処理方法は、コンピュータシステムにより実行される情報処理方法であって、ユーザの眼球に映る実空間を撮影した第１の画像と、前記眼球に映る所定の表示部に表示された前記実空間に関連する画像を撮影した第２の画像とをそれぞれ取得することを含む。
前記取得された前記第１の画像及び前記第２の画像に基づいて、前記所定の表示部による画像表示が制御される。

本技術の一形態に係るプログラムは、コンピュータシステムに以下のステップを実行させる。
ユーザの眼球に映る実空間を撮影した第１の画像と、前記眼球に映る所定の表示部に表示された前記実空間に関連する画像を撮影した第２の画像とをそれぞれ取得するステップ。
前記取得された前記第１の画像及び前記第２の画像に基づいて、前記所定の表示部による画像表示を制御するステップ。

以上のように、本技術によれば、ＡＲ画像等の表示を高精度に制御することが可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術の第１の実施形態に係るヘッドマウントディスプレイ（ＨＭＤ）の構成例を示す概略図である。 本実施形態に係るＨＭＤの機能的な構成例を示すブロック図である。 本実施形態に係るＨＭＤにおける透過型ディスプレイでの画像表示の制御例を示すフローチャートである。 画像表示の制御におけるデータフローを示すブロック図である。 第１の眼球画像の一例を示す模式図である。 マーカ画像の一例を示す模式図である。 第２の眼球画像の一例を示す模式図である。 ＡＲ画像を用いた画像表示の制御例を説明するための模式図である。 他の実施形態に係るマーカ画像の一例を示す模式図である。

以下、本技術に係る実施形態を、図面を参照しながら説明する。

＜第１の実施形態＞
［ヘッドマウントディスプレイ］
図１は、本技術の第１の実施形態に係るヘッドマウントディスプレイ（ＨＭＤ）の構成例を示す概略図である。図１Ａは、ＨＭＤ１００の外観を示す斜視図である。図１Ｂは、ＨＭＤ１００の構成を説明するための側面図である。ＨＭＤ１００は、透過型ディスプレイを備えたメガネ型の装置であり、ユーザの頭部に装着されて使用される。

ＨＭＤ１００は、フレーム１１、レンズ１２、透過型ディスプレイ１３、及び調光素子１４を有する。またＨＭＤ１００は、フレーム１１に支持された視界センサ１５及び内向きカメラ１６を有する。

フレーム１１は、メガネ型の形状でなり、リム部１１０及びテンプル部１１１を有する。リム部１１０は、左右の眼球１０ａ及び１０ｂの前方に配置される部分であり、左右のレンズ１２ａ及１２ｂをそれぞれ支持する。テンプル部１１１は、リム部１１０の両端からユーザの両耳に向けて後方に延在し、先端が両耳に装着される。リム部１１０及びテンプル部１１１は、例えば合成樹脂、金属等の材料で形成される。

レンズ１２ａ及び１２ｂは、ユーザの視野の少なくとも一部を覆うように、眼球１０ａ及び１０ｂの前方にそれぞれ配置される。典型的には、レンズ１２は、ユーザの視力を矯正するように設計される。もちろんこれに限定されず、いわゆる度無しレンズが用いられてもよい。

透過型ディスプレイ１３は、リム部１１０により支持され、左右の眼球１０ａ及び１０ｂの各々に対向するように、２つ配置される。すなわち左右のレンズ１２ａ及び１２ｂの外側に、透過型ディスプレイ１３ａ及び１３ｂがそれぞれ配置される。本実施形態では、各透過型ディスプレイ１３は、各レンズ１２と略等しいサイズを有する。これに限定されず、レンズ１２の一部の領域を覆うように、透過型ディスプレイ１３が配置されてもよい。

ＨＭＤ１００を装着するユーザは、例えば現実の世界に透過型ディスプレイ１３に表示された画像が重畳された景色を見ることが可能となる。また透過型ディスプレイ１３にＡＲ画像を表示することで、様々なＡＲを体験することも可能である。

透過型ディスプレイ１３の具体的な構成は限定されず、有機ＥＬディスプレイやＬＣＤ（Liquid Crystal Display、液晶表示素子）ディスプレイ等が用いられる。本実施形態において、透過型ディスプレイ１３は、所定の表示部に相当する。

調光素子１４は、リム部１１０により支持され、透過型ディスプレイ１３の外側にそれぞれ配置される（調光素子１４ａ及び１４ｂ）。調光素子１４は、透過する光の量を調節することが可能である。従って調光素子１４の透過率を制御することで、透過型ディスプレイ１３を透過する光量を調整することが可能となる。調光素子１４の具体的な構成は限定されず、例えば透過率を電気的に制御可能な、液晶等を用いた調光ガラスや調光シートが用いられる。あるいは、調光素子１４として、機械的に動作するシャッター等が用いられてもよい。

透過率の制御範囲等も限定されず、例えば透過率０％〜１００％の間で、任意の透過率が実現されてもよい。あるいはこれらの範囲の中の所定の値が設定可能であってもよい。例えば透過率０％、２０％、４０％、６０％、８０％、及び１００％のいずれかを選択可能等である。さらに、透過率約０％及び約１００％等の、２つの透過率の切替えのみが可能な場合もあり得る。

視界センサ１５は、リム部１１０の略中央に、外側に向けて設置される。図１Ｂに示すように、眼球１０の視線方向１７と視界センサ１５のセンシング方向１８とは略同様である。従って視界センサ１５のセンシング領域は、ユーザの視野領域と略同様となる。

視界センサ１５は、外向きカメラ１５０と距離センサ１５１とを有する（図２参照）。外向きカメラ１５０は、ユーザの視野領域（センシング領域）を所定のフレームレートで撮影する。すなわちユーザの視野に含まれる実空間の画像を撮影可能である。外向きカメラ１５０としては、例えばＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサやＣＣＤ（Charge Coupled Device）センサ等のイメージセンサを備えるデジタルカメラが用いられる。

距離センサ１５１は、視野領域に存在する実空間の物体との距離に関する情報を検出し、奥行情報を出力する。距離センサ１５１は、例えばミリ波レーダや赤外線レーザ等を用いた種々のセンサで構成される。

外向きカメラ１５０により撮影された実空間画像と奥行情報とを用いて、視野領域の深度マップ（Depth Map）を生成可能である。また視野領域内の物体の各点について、３次元座標を設定することが可能となる。視界センサ１５の具体的な構成、及び深度マップを生成する方法は限定されない。例えばステレオカメラ等を用いて撮影した画像に基づいて、深度マップが生成されてもよい。本実施形態において、深度マップ及び３次元座標は実空間に関する実空間情報及び実空間座標にそれぞれ相当する。

内向きカメラ１６は、リム部１１０により支持される。左右の眼球１０ａ及び１０ｂの各々に対して内向きカメラ１６ａ及び１６ｂが設けられる。図１Ｂに示すように、内向きカメラ１６の撮影方向１９は眼球１０に向けられており、眼球１０に映る像を撮影することが可能である。内向きカメラ１６として、例えばＣＭＯＳやＣＣＤ等のイメージセンサを備えるデジタルカメラが用いられる。

図２は、本実施形態に係るＨＭＤ１００の機能的な構成例を示すブロック図である。ＨＭＤ１００は、さらに、操作ボタン２０、通信部２１、記憶部２２、センサ部２３、及びコントローラ２４を有する。

操作ボタン２０は、フレーム１１の所定の位置に設けられる（図示は省略）。操作ボタン２０により、電源のＯＮ／ＯＦＦの操作や、透過型ディスプレイ１３での表示の切り替えやネットワーク通信機能等の、ＨＭＤ１００が有する種々の機能に関する操作を実行することができる。

通信部２１は、他のデバイスとの間で、ネットワーク通信や近距離無線通信等を実行するためのモジュールである。例えばＷｉＦｉ等の無線ＬＡＮモジュールや、Bluetooth（登録商標）等の通信モジュールが設けられる。

記憶部２２は、不揮発性の記憶デバイスであり、例えばＳＳＤ（Solid State Drive）等が用いられる。記憶部２２には、ＨＭＤ１００の全体の動作を制御するための制御プログラム２２０が記憶される。また記憶部２２には、条件テーブル２２１が記憶される。条件テーブル２２１には、透過型ディスプレイ１３の表示を補正するための条件が記録されている。制御プログラム２２０及び条件テーブル２２１を、ＨＭＤ１００にインストールする方法は限定されない。

センサ部２３は、９軸センサ２３０、及びＧＰＳセンサ２３１を含む。９軸センサ２３０は、ＨＭＤ１００本体の角度、移動、及び向きの変化を出力する。ＧＰＳセンサ２３１は、ＨＭＤ１００本体の位置情報を出力する。これらの情報をもとに、ユーザの姿勢や動き等を含むユーザの状態情報を検出することも可能である。

また本実施形態では、視界センサ１５及び内向きカメラ１６もセンサ部２３の一部として機能する。例えば内向きカメラ１６により撮影される画像等により、眼球１０の視線方向１７及び位置を含む眼球情報を、ユーザの状態情報として検出することが可能である。

センサ部２３として設けられるセンサの種類は限定されず、任意のセンサが設けられてもよい。例えばユーザの体温及び脈拍数等を検出可能な生体センサ等が設けられてもよい。

センサ部２３により検出されるユーザの状態情報も限定されず、例えば眼球の充血状態、瞬きの回数等（上記の眼球情報に含まれる）や、歩行中、走行中、電車にて移動中、運転中等の運動情報が取得される。運動しているスポーツの種類等の情報も取得可能である。またユーザの現在地の情報、さらに詳しく屋内であるか、屋外であるか、会議中であるか等の情報も取得可能である。

コントローラ２４は、ＨＭＤ１００が有する各ブロックの動作を制御する。コントローラ２４は、例えばＣＰＵやメモリ（ＲＡＭ、ＲＯＭ）等のコンピュータに必要なハードウェア構成を有する。ＣＰＵが記憶部２２に記憶されている制御プログラム２２０をＲＡＭにロードして実行することにより、種々の処理が実行される。

コントローラ２４として、例えばＦＰＧＡ（Field Programmable Gate Array）等のＰＬＤ(Programmable Logic Device)、その他ＡＳＩＣ（Application Specific Integrated Circuit）等のデバイスが用いられてもよい。

本実施形態では、コントローラ２４のＣＰＵが本実施形態に係るプログラムを実行することで、機能ブロックとして取得部２５及び表示制御部２６が実現される。取得部２５は、内向きカメラ１６から出力される眼球１０の眼球画像を取得する。表示制御部２６は、取得部２５によって取得された眼球画像に基づいて、透過型ディスプレイ１３での表示を制御する。

従って本実施形態ではコントローラ２４により、本実施形態に係る情報処理方法が実行される。なお取得部２５及び表示制御部２６を実現するために、専用のハードウェアが適宜用いられてもよい。

表示制御部２６は、機能ブロックとして画像生成部２６０、補正部２６１、調光部２６２、判定部２６３、及び同期部２６４を有する。

画像生成部２６０は、透過型ディスプレイ１３の座標である表示座標に合わせて画像を生成する。本実施形態では、画像生成部２６０は、射影変換を用いた画像生成を行う。例えば画像生成部２６０は、射影変換を用いて３次元座標を２次元の表示座標へ変換する。表示座標に合わせて画像を生成する方法や、射影変換を規定するモデルは限定されない。射影変換として、例えば眼球を視点とした透視投影モデルに基づく射影変換が用いられる。本実施形態において、射影変換は変換操作に相当する。

本実施形態では、画像生成部２６０により、実空間に含まれる１以上の基準要素の位置情報が取得され、当該１以上の基準要素の位置を基準として、実空間に関連する画像が生成される。この点については、後に詳しく説明する。

補正部２６１は、内向きカメラ１６が撮影した眼球１０の眼球画像に基づいて射影変換の補正を行う。補正部２６１により補正された射影変換は、生成部２６０での画像生成に新たに用いられる。

調光部２６２は、調光素子１４の透過率を制御し、透過型ディスプレイ１３を透過する透過光の量を調節する。従って調光部２６２により、透過型ディスプレイ１３を透過する透過光の量を規制することが可能である。調光部２６２により、眼球１０に映る像の撮影条件を変更することが可能である。なお、調光素子１４の透過率の制御は、外光強度に応じて行われてよい。具体的には、外光強度が相対的に大きいときは、外光強度が相対的に小さいときよりも、透過型ディスプレイ１３を透過する透過光の量を、調光素子の１４の透過率を制御することで少なくしても良い。これにより、屋外において外光に起因するＡＲ画像の視認性低下を抑制することができる。

判定部２６３は、補正部２６１による射影変換の補正を実行するか否かを判定する。判定部２６３の判定は、記憶部２２に記憶された条件テーブル２２１に基づいて行われる。表示制御部２６は、判定部２６３の判定した結果に基づいて、射影変換を補正するための制御プログラム２２０を実行する。

同期部２６４は、記憶部２２に保存された制御プログラム２２０に基づき、視界センサ１５、内向きカメラ１６及び調光素子１４の動作タイミングを制御する。

図３は、本実施形態に係るＨＭＤ１００における透過型ディスプレイ１３での画像表示の制御例を示すフローチャートである。図４は、その画像表示の制御におけるデータフローを示すブロック図である。

本実施形態では、画像表示の制御として、図３に示すフローチャートにより射影行列の補正が実行される。具体的には、ステップ１０１からステップ１１４までの補正ルーチンが繰り返される。射影行列を補正することにより、透過型ディスプレイ１３での画像表示が制御され、ＡＲ画像等を高精度に表示することが可能となる。

まず、調光部２６２により調光素子１４の透過率が上げられる（ステップ１０１）。眼球１０には、調光素子１４、透過型ディスプレイ１３及びレンズ１２を通して、実空間の景色が投影される。すなわちＨＭＤ１００を通してユーザが見ている現実の世界の像が投影される。

内向きカメラ１６により、実空間の景色が映った眼球１０が撮影され、第１の眼球画像が生成される。生成された第１の眼球画像は、取得部２５により取得される（ステップ１０２）。このとき第１の眼球画像の、レンズ１２及び眼球１０の表面に起因した歪みが補正される（ステップ２０１）。これにより精度の高い画像表示の制御が可能となる。

図５は、第１の眼球画像の一例を示す模式図である。本実施形態では、ユーザが見ている実空間の景色内に、直方体５１が存在するとする。従って第１の眼球画像５０には、眼球１０に映り込んだ直方体５１の画像が含まれる。

画像生成部２６０は、第１の眼球画像５０に含まれる基準要素Ｆ２を抽出する（ステップ１０３、ステップ２０２）。ここで基準要素とは、後に説明する第２の眼球画像との比較の際に基準となる要素であり、典型的には、画像内のエッジ部分等の特徴的な部分が該当する。例えば画像内の物体の角（コーナ）、縁（線・輪郭）及び表面（領域）といった要素が相当する。基準要素Ｆ２の検出方法及び検出される要素の種類や数は限定されない。例えば、コーナ検出の方法としてＨａｒｒｉｓ法やＫＬＴ法といった画像処理の手法が用いられてよい。

基準要素Ｆ２は、典型的には、複数抽出される。本実施形態では、直方体５１のそれぞれの頂点が、複数の基準要素Ｆ２として抽出される。図５では、その位置座標データが同じ符号Ｆ２で図示されている。図４に示すように、抽出された各基準要素Ｆ２の２次元上の位置座標は、スイッチ処理を通して記憶部２３に保存される（ステップ２０３）。

スイッチ処理では、内向きカメラ１６による撮像動作に同期して、出力される基準要素に関するデータ処理が適宜選択される。具体的には、内向きカメラ１６により第１の眼球画像５０が撮影された場合には、生成された基準要素Ｆ２が記憶部２３へ保存される。一方、内向きカメラ１６により、後に説明する第２の眼球画像が撮影された場合は、生成された基準要素Ｇ２は、次のステップ２０４へ出力される。

視界センサ１５により、実空間画像及び深度マップが生成され、取得部２５により取得される（ステップ１０４）。取得された実空間画像及び深度マップに対して、視界センサ１５に起因する歪みが補正される（ステップ３０１）。

補正された実空間画像及び深度マップから基準要素Ｆ３が抽出される（ステップ１０５、ステップ３０２）。本実施形態では、実空間内の直方体５１の頂点が、複数の基準要素Ｆ３として抽出され、各々の３次元座標が算出される。

なお本実施形態では、図４に示すように、同期部２６４により、視界センサ１５と内向きカメラ１６とが同期制御される。すなわち第１の眼球画像５０の撮影と、視界センサ１５のセンシングとが同じタイミングとなるように制御される。これにより互いに対応する複数の基準要素Ｆ２及びＦ３を高精度に抽出することが可能となる。

また図４に示すように、センサ部２３による検出結果に基づいて、移動量補正が実行される（ステップ３０３）。例えば同期制御にタイムラグが生じた場合等において、第１の眼球画像５０の撮影から視界センサ１５のセンシングまでの間に、ユーザが移動したり顔の向きを変えたりしたとする。この場合、視界センサ１５のセンシング領域が変位する。従ってセンサ部２３によりユーザの移動等が検出された場合には、その検出結果に基づいて基準要素Ｆ３の位置情報が補正される。これにより各基準要素Ｆ２の位置情報と、各基準要素Ｆ３の３次元座標との対応を高精度に判定することが可能となる。

移動量を検出するための方法は限定されない。例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）技術を用いてユーザを取り囲む空間の情報を生成し、当該空間の中でのユーザの移動及び姿勢の変化等が検出されてもよい。これにより、周囲にある物体等を基準としてユーザの挙動を検出することが可能となり、移動量を高精度に判定することが可能となる。

画像生成部２６０は、射影行列Ｐを用いて各基準要素Ｆ３の３次元座標を表示座標に射影する（ステップ１０６、ステップ３０４）。本実施形態では、以下の式に示すように、射影行列Ｐは、基準行列Ｐ０と補正行列ΔＰの和として表される。
Ｐ＝Ｐ０＋ΔＰ

ここで射影行列Ｐは、基準行列Ｐ０を基準として、補正行列Ｐ０の分だけ変化させた行列に相当する。なお基準行列Ｐ０と補正行列ΔＰの和に限定されず、積や商等の他の演算により射影行列Ｐが定義されてもよい。本実施形態では、１度のルーチンで、基準行列Ｐ０及び補正行列ΔＰが更新され、次回使用する基準行列Ｐ０'及び補正行列ΔＰ'がそれぞれ算出される。これにより、次回使用する射影行列Ｐ'が新たに生成される（Ｐ'＝Ｐ０'＋ΔＰ'）。

画像生成部２６０により、射影された１以上の基準要素Ｆ３の各々に対応する１以上のマーカを含むマーカ画像が生成される（ステップ３０５）。生成されたマーカ画像は、透過型ディスプレイ１３に表示される。

図６は、マーカ画像の一例を示す模式図である。なお基準要素Ｆ３に対応するマーカＭ２の形状及びその生成方法等は限定されない。例えば画像生成部２６０は、マーカＭ２の形状、サイズ、表示密度、表示色、及び輝度等を調節可能である。これによりマーカの抽出精度を向上させることが可能である。

また基準要素Ｆ３の空間分布等に基づいて、使用する基準要素Ｆ３が適宜選択されてもよい。例えば、基準要素Ｆ３の分布密度が濃い場合には、使用する基準要素Ｆ３を適宜選択することで、抽出に適した密度でマーカを表示することができる。これにより個々のマーカの抽出精度を向上させることが可能である。また、深度マップにおける奥行情報の誤差が大きい基準要素Ｆ３を排除することが可能である。これにより、信頼性の高い基準要素Ｆ３を選択することが可能となり、射影行列Ｐの補正精度を向上させることが可能である。なお、本実施形態において、マーカ画像５２は実空間に関連する画像に相当する。

画像生成部２６０により、予め取得された透過型ディスプレイ１３の形状及びレンズ１２による像の変形等の情報に基づいて、マーカ画像５２の歪みが補正される（ステップ３０６）。これにより精度の高い表示制御が可能となる。そして表示制御部２６により、補正されたマーカ画像５２が透過型ディスプレイ１３に表示される（ステップ１０７、ステップ３０７）。

調光部２６２により、調光素子１４の透過率が下げられる（ステップ１０８）。これにより眼球１０への実空間の景色の投影が規制され、眼球１０には主に透過型ディスプレイ１３に表示されたマーカ画像５２が投影される。これにより、マーカＭ２の抽出精度が向上する。調光素子１４の透過率を下げるタイミングは、図４に示すデータフローでのスイッチ処理のタイミングと共に同期部２６４によって同期制御される。

なお、調光部２６２による調光素子１４の透過率の制御方法は限定されない。例えば、屋内と屋外とでは外光の影響により眼球１０に対するマーカ画像５２の映り込みが変化する。調光素子１４の透過率は、眼球１０へのマーカ画像５２の映り込み具合に基づいて、適宜設定されてもよい。これにより状況に応じてマーカＭ２の抽出に最適な透過率が設定可能であり、高い精度でマーカＭ２を抽出することが可能となる。

内向きカメラ１６により、マーカ画像５２が映った眼球１０が撮影され、第２の眼球画像が生成される。生成された第２の眼球画像は、取得部２５により取得される（ステップ１０９）。そしてステップ１０２と同様に第２の眼球画像の歪みが補正される（ステップ２０１）。

図７は、第２の眼球画像の一例を示す模式図である。画像生成部２６０は、第２の眼球画像５３に含まれる複数の基準要素Ｇ２を抽出する（ステップ１１０、ステップ２０２）。本実施形態では、第２の眼球画像５３に映った１以上のマーカＭ２が１以上の基準要素Ｇ２として抽出される。抽出された基準要素Ｇ２の位置座標は、スイッチ処理により、ステップ２０４に出力される（ステップ２０３）。

補正部２６１により、記憶部２３に保存された基準要素Ｆ２と基準要素Ｇ２とが比較される。本実施形態において、基準要素Ｆ２及び基準要素Ｇ２は、ともに直方体５１の各頂点に対応している。補正部２６１は、まず同じ頂点に対応した基準要素Ｆ２及び基準要素Ｇ２のペアを算出する。ペアの算出方法は限定されず、例えば、ＲＡＮＳＡＣ（Random Sample Consensus）や最少メジアン法といったマッチング手法が用いられてもよい。

透過型ディスプレイ１３を通して見える直方体５１の上に、透過型ディスプレイ１３に表示された直方体５１が重畳される場合には、以下に示す関係式が満たされる。
Ｆ２ｉ＝Ｇ２ｉ＝Ｑ（Ｐ（Ｆ３ｉ））
ここで添え字のｉは、各ペアを示す符号である。またＱは透過型ディスプレイ１３から眼球１０への射影行列である。本技術では、内向きカメラ１６により撮影された眼球画像に基づいて基準要素Ｆ２及び基準要素Ｇ２が抽出される。このため射影行列Ｑを算出することなく、射影行列Ｐを算出可能である。

補正部２６１により、基準要素Ｆ２と基準要素Ｇ２との重なり具合を示す指標である二乗誤差δが算出される。具体的には各ペアについて、位置情報の二乗誤差δが以下のように算出される（ステップ１１１、ステップ２０４）。
δ＝Σ（Ｆ２ｉ−Ｇ２ｉ）²
＝Σ（Ｆ２ｉ−Ｑ（Ｐ（Ｆ３ｉ）））²
ここで総和Σはすべてのペアについて計算される。一般的に、二乗誤差δが小さい場合には両者は全体的によく重なり、大きい場合には全体的にずれが見られる傾向がある。

なお、基準要素Ｆ２と基準要素Ｇ２との重なり具合を示す指標は限定されない。例えば、方向別の誤差や遠さ別の誤差等が指標として用いられてもよい。すなわち座標方向に分けて二乗誤差δが算出されてもよい。これにより平行移動等に伴う全体的なずれが容易に検出され、射影行列Ｐを高精度に補正可能である。このように補正精度が向上することで、必要な補正ルーチンの回数を抑制可能である。

補正部２６１により、二乗誤差δをもとに射影行列Ｐの射影誤差が前回と比べ改善したか改悪したかが判定される。具体的には、前回及び今回の二乗誤差δが比較される。二乗誤差δの値が前回より減少した場合は射影誤差が改善したと判定され、増加した場合は射影誤差が改悪したと判定される。

補正部２６１により、射影誤差の判定結果に基づいて射影行列Ｐが更新される（ステップ１１２）。射影誤差が改善したと判定された場合、次回使用する基準行列Ｐ０'として、今回の射影行列Ｐが設定される。具体的には次回使用する基準行列Ｐ０'が以下のように算出される。
Ｐ０'＝Ｐ＝Ｐ０＋ΔＰ
なお補正行列ΔＰは、このタイミングでは更新されない。

射影誤差が改悪したと判定された場合、次回使用する基準行列Ｐ０'として、今回と同じ基準行列Ｐ０を用いることが設定され、更新は行われない。

補正部２６１により、射影行列Ｐが一定の値に収束したか否かが判定される（ステップ１１３）。本実施形態では、ステップ１１２において射影誤差が改善したと判定された場合、その改善幅に応じて係数αが設定され、係数αの絶対値をもとに射影行列Ｐの収束が判定される。係数αは、次回使用する補正行列ΔＰ'を算出するための係数であり（ステップ１１４参照）、例えば改善幅の値に相関したパラメータである。係数αの絶対値が所定の閾値以下となる場合、すなわち改善幅が所定の範囲に収まる場合に、射影行列Ｐが一定の値に収束したと判定される。なお係数αの具体的な算出方法は限定されない。

あるいはこれまでの係数αの二乗平均を算出し、これが連続して所定の閾値以下となる状態が既定回数だけ続いた場合に、射影行列Ｐは収束したと判定されてもよい。あるいは基準行列Ｐ０の更新がなされない状態が既定回数だけ続いた場合に、射影行列Ｐは収束したと判定されてもよい。射影行列Ｐの収束を判定する方法は限定されない。

補正部２６１により、ステップ１１３での判定結果に基づいて、ルーチンを終了するか否かが判定される。射影行列Ｐが一定の値に収束したと判定された場合（ステップ１１３のＹＳＥ）、補正ルーチンは終了される。また射影行列Ｐが一定の値に収束していないと判定された場合（ステップ１１３のＮＯ）、補正ルーチンは継続される。

補正ルーチンが継続される場合、補正部２６１により、次回使用する射影行列Ｐ'が生成される（ステップ１１４、ステップ２０５）。ここでは次回使用する補正行列ΔＰ'が算出される。なお明細書中には、次回使用する行列についてダッシュを付しているが、図３ではフローチャートのルーチンを表現するためにダッシュは付していない。

ステップ１１２において射影誤差が改善したと判定された場合、上記した改善幅に応じた係数αをもとに補正行列ΔＰ'が以下のように算出される。
ΔＰ'＝αΔＰ

射影誤差が改悪したと判定された場合は、次回使用する補正行列ΔＰ'は、所定の候補の中からランダムに選択される。係数αの設定及び次回使用する補正行列ΔＰ'の選択の方法は限定されない。

次回使用する基準行列Ｐ０'及び補正行列ΔＰ'の和が、次回使用する射影行列Ｐ'として生成される（Ｐ'＝Ｐ０'＋ΔＰ'）。そしてステップ１０１からの処理が繰り返される。このように本実施形態に係る補正部２６１は、第１の眼球画像５０に含まれる１以上の基準要素Ｆ２と第２の眼球画像５３に含まれるマーカ画像５２との位置関係に基づいて、射影行列Ｐを補正する。

なお本実施形態では、射影行列Ｐを基準行列Ｐ０及び補正行列ΔＰにより定義し、勾配法を用いて射影行列Ｐが補正された。もちろん射影行列Ｐを補正するための方法は限定されず、他の方法が用いられてもよい。

以上、本実施形態に係るＨＭＤ１００では、眼球１０に映る実空間を撮影した第１の眼球画像５０と、透過型ディスプレイ１３に表示されたマーカ画像５２が眼球に映っている第２の眼球画像５３とが取得される。これらの第１の眼球画像５０及び第２の眼球画像５３をもとに、透過型ディスプレイ１３による画像表示が制御される。これにより透過型ディスプレイ１３によるＡＲ画像等の表示を高精度に制御することが可能となる。

実空間を撮影する観測カメラ等のみを用いてディスプレイによる画像表示のキャリブレーションを行うことが考えられる。この場合観測カメラ等が撮影した実空間の画像を基準として、ＡＲ画像等の画像表示のキャリブレーションが実行される。しかしながら、ユーザの目と観測カメラとでは視点、焦点距離、及び画角等の光学特性が異なる可能性があり、撮影された実空間の画像とユーザの視野とが等しくなるとは限らない。このため、ユーザの網膜上での現実（実空間）と仮想物（ＡＲ画像）との位置合わせが保証できない。

また個人によって眼球の位置、眼球の形状、及び鼻の高さ等が異なるので、個人ごとにディスプレイの見え方が異なってくる。またＨＭＤの掛けずれ等により、ディスプレイの見え方が変化する。観測カメラ等のみを用いたキャリブレーションでは、こうしたディスプレイと眼球との位置関係の個人ごとの相違や変化に対応することが難しい。

またディスプレイと観測カメラ等との位置関係が機械的にずれた場合、改めてキャリブレーションが必要になる。その際にキャリブレーション用装置の特定のマーカが必要な場合等では、ユーザ自身で修正することができず、当該キャリブレーション用装置のある場所に移動して修正作業を行う必要がある。

これに対して本技術に係る本ＨＭＤ１００では、内向きカメラ１６により第１及び第２の眼球画像５０及び５３が撮影される。第１及び第２の眼球画像５０及び５３には、ＨＭＤ１００を通してユーザが見ている景色が映っている。従って第１及び第２の眼球画像５０及び５３を比較することで、ユーザの視野内において、透過型ディスプレイ１３に表示されるマーカ画像５２が実空間（直方体５１）に対してどのように重畳されているかを高精度に検出することが可能となる。すなわちユーザの網膜上での現実（実空間）と仮想物（ＡＲ画像）との位置合わせが可能となる。この結果、射影行列Ｐを高精度に補正することが可能となり、ＡＲ画像等を高精度に表示することが可能となる。

また第１及び第２の眼球画像５０及び５３に基づいて眼球１０の網膜上での位置合わせが可能となるので、透過型ディスプレイ１３と眼球１０との位置関係の個人的な相違や変化に関係なく、高精度にキャリブレーションを実行することが可能となる。すなわち眼球の位置、眼球の形状、及び鼻の高さ等のユーザの個人差を吸収した上で、透過型ディスプレイ１３によるＡＲ画像等の表示を高精度に制御することが可能となる。またＨＭＤ１００の掛けずれ等による画像表示のずれ等も解消可能である。

本ＨＭＤ１００において、視界センサ１５と透過型ディスプレイ１３とが機械的にずれた場合、実空間情報に基づいた透過型ディスプレイ１３への画像表示がずれてしまう可能性がある。しかしながら第１及び第２の眼球画像５０及び５３に基づいて射影行列Ｐを高精度に補正可能であるので、当該機械的なずれによる画像表示のずれも十分に修正される。従ってＨＭＤ１００に機械的なずれが発生した場合にもキャリブレーションの継続が可能となり、ＨＭＤ１００の信頼性が向上する。

また本ＨＭＤ１００では、実空間に含まれる基準要素を用いて画像表示のキャリブレーションが実行される。このため、キャリブレーション用装置の特定のマーカ等を必要としない。従ってキャリブレーション環境の準備等のユーザの負担を軽減し、ＨＭＤ１００の使用感を向上させることが可能である。

また本実施形態では、ユーザの視野に含まれる基準要素の数及び基準要素の空間的な分布に基づいて、画像表示のキャリブレーションを行うタイミングを自動的に制御することが可能である。例えば図２に示す判定部２６３により、１以上の基準要素の数及び分布に基づいて、変換操作の補正を実行するか否かが判定される。基準要素が一定数以上存在する場合には、射影行列Ｐ等の変換操作を高精度に補正することができる。また基準要素が遠近上下左右に万遍なく分布している場合、全方位にわたって高精度な補正が可能である。例えばこれらの条件が、補正実行の条件として採用可能である。

一方で基準要素の数が少ない場合または基準要素が空間的に偏って存在する場合には、補正精度が低下してしまう可能性がある。従ってこの場合は、補正を実行するタイミングではないと判定される。変換操作の補正を行うタイミングが適宜制御されることで、キャリブレーションの精度を向上させることが可能となる。なお判定部２６３による判定は、例えば条件テーブル２２１に記録された条件に基づいて実行される。また判定の基準となる条件は限定されず、適宜設定されてよい。

視線方向１７が変化する頻度、及び基準要素の変動の度合い等を調べることで、キャリブレーションを行うタイミングが制御されてもよい。例えば、内向きカメラ１６及びセンサ部２３を用いて、ユーザの状態情報として、ユーザの瞬きの回数、視線方向１７（眼球１０）の移動頻度、及びユーザの運動状態等が検出可能である。また視界センサ１５等を用いて、基準要素の変動情報として、基準要素の振動及び移動、基準要素の明滅及び色彩変化等が検出可能である。

例えば判定部２６３により、眼球１０の視線方向１７及び位置を含むユーザの状態情報、及び１以上の基準要素の位置の変動を含む変動情報の少なくとも一方に基づいて、変換操作の補正を実行するか否かが判定されてもよい。視線方向や基準要素の変動が少なく安定している場合を補正の実行タイミングとすることで、キャリブレーションの精度を向上することが可能である。

＜第２の実施形態＞
本技術に係る第２の実施形態のＨＭＤについて説明する。これ以降の説明では、上記の実施形態で説明したＨＭＤ１００における構成及び作用と同様な部分については、その説明を省略又は簡略化する。

第１の実施形態では、透過型ディスプレイ１３に表示されたマーカ画像５２を用いて、画像表示の制御が実行された。本実施形態では、マーカ画像に代えて、実空間に重畳されるＡＲ画像を用いて、画像表示の制御が実行される。

図８は、ＡＲ画像を用いた画像表示の制御例を説明するための模式図である。ここでは、映画のスクリーンに対して、ＡＲ画像として字幕を重畳する場合を例にして説明を行う。

図８Ａは、第１の眼球画像６０の一例を示す模式図である。第１の眼球画像６０には、ユーザの視野内にあるスクリーン６１が表示されている。第１の眼球画像６０から、スクリーン６１の４つの頂点が基準要素Ｈとして抽出される（図３のステップ１０３に相当）。

図８Ｂは、透過型ディスプレイ１３による字幕（ＡＲ画像６２）の表示例を示す図である。本実施形態では、第１の眼球画像６０内の基準要素Ｈの位置をもとに、字幕Ｎの表示位置が算出される。例えば各頂点の基準要素Ｈの位置をもとに、透過型ディスプレイ１３上のスクリーン６１の位置が推定され（波線の枠６３）、当該スクリーンの位置に対して字幕Ｎの好ましい配置情報（表示位置）が算出される。なお第１の眼球情報６０に基づいた字幕Ｎの表示位置の算出方法として、他の方法が用いられてもよい。

第１の実施形態で説明したマーカの位置情報（波線のバツ印Ｈ'）が算出され、字幕Ｎの表示位置が算出に用いられてもよい。例えば視界センサ１５の出力である深度マップを用いて、実空間上のスクリーン６１の各頂点（基準要素）の実空間座標が算出される。当該実空間座標を表示座標に変換することで、マーカの位置情報を算出することが可能となる。これによりスクリーン６１の形状、サイズ、位置等の情報を高精度に取得可能であり、字幕Ｎの表示位置を高精度に算出することが可能となる。

なお図８Ｂには、説明をわかりやすくするために、上記したスクリーンの推定位置（波線の枠６３）やマーカの位置Ｈ'が波線で図示されているが、透過型ディスプレイ１３に表示されるのは、ＡＲ画像である字幕Ｎのみである。

透過型ディスプレイ１３に字幕Ｎが表示される際には、調光素子１４の透過率が調節され、眼球１０へのスクリーン６１の映り込みが規制される。そして内向きカメラ１６により第２の眼球画像が撮影される（図３のステップ１０７からステップ１０９に相当）。

図８Ｃは、字幕Ｎが映った第２の眼球画像６４の一例を示す模式図である。第２の眼球画像６４内の字幕Ｎの位置と、スクリーンの位置（波線の枠６５）とが比較され、字幕Ｎの位置ずれや歪み等が検出される。なおスクリーンの位置は、第１の眼球画像６０の４つの基準要素Ｈの位置をもとに算出可能である。

補正部により、字幕Ｎのずれ及び歪みが補正される。ここで字幕Ｎの補正の方法は限定されない。例えば、透過型ディスプレイ１３上で、字幕Ｎに対して回転及び併進処理等を実行し、字幕Ｎを補正することが可能である。当該回転及び併進処理が、以降のＡＲ画像等の表示に用いられてもよい。

また実空間座標から表示座標に変換されたマーカの位置情報（波線のバツ印Ｈ'）をもとに、透過型ディスプレイ１３上の字幕Ｎの表示位置が算出される場合には、第２の眼球画像６４をもとに、射影行列Ｐが補正されてもよい。その他、ＡＲ画像等の表示を制御する方法は限定されない。

第２の眼球画像６４内の字幕Ｎの位置が、所定の範囲に収束するまで、補正ルーチンが適宜繰り返される。

このように画像生成部は、実空間に対応するＡＲ画像を生成し、補正部は、第１の眼球画像６０に含まれる１以上の基準要素Ｈと、第２の眼球画像６４に含まれるＡＲ画像との位置関係に基づいて、射影行列Ｐの補正等を含む画像表示の制御を行う。これにより透過型ディスプレイ１３によるＡＲ画像等の表示を高精度に制御することが可能となる。

マーカ画像に代えてＡＲ画像を用いてキャリブレーションすることで、処理時間の短縮や処理速度を向上させることが可能となる。またユーザのＡＲ体験を中断させることなく、キャリブレーションを実行することも可能となる。

透過型ディスプレイ１３に字幕Ｎを表示する際に、字幕Ｎとともに１以上のマーカが表示されてもよい。そして第２の眼球画像に含まれるマーカ及び字幕Ｎと基準要素Ｈとの位置関係に基づいて、キャリブレーションが実行されてもよい。すなわちマーカ画像によるキャリブレーションと、ＡＲ画像によりキャリブレーションが組み合わされてもよい。これにより高精度に射影行列Ｐ等の補正を実行することが可能となる。なおマーカとＡＲ画像とをともに含む画像は、マーカを含むマーカ画像といえる。

また図８Ｃに示す第２の眼球画像６４を撮影する際に、透過率の規制が行われなくてもよい。この場合、第２の眼球画像には、透過型ディスプレイ１３に表示される字幕Ｎと、実空間内のスクリーンとが重畳されて表示される。これらの位置関係をもとに、キャリブレーションを実行することで、高精度に画像表示を制御することが可能となる。

透過型ディスプレイ１３に表示される字幕Ｎと、実空間内のスクリーンとがともに表示された第２の眼球画像に基づいてキャリブレーションが実行される場合には、第１の眼球画像６０を用いることなくキャリブレーションを実行することも可能である。この場合、例えば適当な位置に字幕Ｎが表示され、第２の眼球画像が撮影され、キャリブレーションが実行される。

＜その他の実施形態＞
本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。

第１の実施形態では、図４に示すように基準要素Ｆ３に対して移動量補正が実行された。これに限定されず、例えば透過型ディスプレイ１３に表示されるマーカ画像５２等の実空間に関連する画像に対して、移動量補正が実行されてもよい。この場合でも、第１の眼球画像５０と第２の眼球画像５３との撮影の間に生じた、ユーザの挙動等に伴う視野のずれを補正することが可能である。この結果、高精度にＡＲ画像等の表示を制御可能である。

図３に示したフローチャートでは、ステップ１０８において調光素子１４の透過率が調整され、第２の眼球画像５３が撮影された。調光素子１４の透過率を調節せずに、すなわち透過率を下げることなく、第２の眼球画像が撮影されてもよい。これにより第１の眼球画像と第２の眼球画像との撮影の時間差を短縮できるので、その間のユーザの挙動に伴うキャリブレーションの誤差を抑制することが可能である。また処理時間の短縮や処理速度を向上させることが可能となり、ユーザの負荷を低減することが可能である。

図６では、マーカＭ２の抽出精度を向上させるため、マーカＭ２の形状等が調節された。これに限定されず、第２の眼球画像内の１以上のマーカの映りかたに基づいて、マーカの形状等が調節されてもよい。例えば、第２の眼球画像においてマーカの映りが悪く抽出精度が低い場合、各マーカを大きく表示する代わりに、表示密度を下げたり、輝度を上げたり、色等を変化させることで、補正精度を向上可能である。反対にマーカの抽出精度が十分に高い場合、各マーカのサイズを小さくし表示密度を上げることで、十分高精度にキャリブレーションを実行可能である。このように１以上のマーカの映りかたに基づいて表示を調節することで、ＡＲ画像等の表示を高精度に補正することが可能である。

図５では、視界センサ１５の出力に基づいて、ユーザの視野に見えている実オブジェクト（直方体５１）についての深度マップが生成された。実オブジェクトに関する位置、形状等の実空間情報を生成する方法は限定されず、他の方法が用いられてもよい。例えば、通信部２１を介してネットワークシステムからユーザの周辺環境の情報を取得可能である。ここからユーザの視野にある実オブジェクトの情報（実空間情報）を生成可能である。ここでユーザの周辺環境を特定するために、ユーザの視線方向１７及び現在位置等を含むユーザの状態情報が利用される。またＳＬＡＭ技術による、ユーザの自己位置推定及び周辺地図作成が利用されてもよい。

例えば、ユーザが屋外にいる場合、実オブジェクトの情報として、建物の高さ、建物の幅、及び建物までの距離等の情報が生成される。またユーザが屋内にいる場合、映画館のスクリーンのサイズや、ホワイトボードのサイズ等の情報が生成される。これにより、実オブジェクトの詳細な情報に基づいて画像表示を補正可能であり、透過型ディスプレイ１３によるＡＲ画像等の表示を高精度に制御することが可能である。

例えば第２の実施形態で実空間のスクリーン６１の頂点の実空間座標が用いられる場合に、当該情報を、視界センサ１５を用いることなく取得することも可能である。具体的には、ユーザの位置（座席）に基づいて、その座席から見えるスクリーンの形状やサイズ等の情報（頂点の座標も含む）が、通信部等を介して取得されてもよい。あるいは予め座席とスクリーンの情報とが関連付けられて記憶されていてもよい。なお透過型ディスプレイ１３に字幕Ｎを表示する際に、座席等に応じたスクリーンの情報が用いられてもよい。

実空間情報が提供される場所は映画館等に限定されない。例えば飛行機の機内や、電車の車内といった場所で、ユーザの位置（座席）から見える窓枠やテーブルといった実オブジェクトに関する実空間情報が提供されてもよい。これにより多様な種類のＡＲ体験を実現可能である。

ＡＲ環境の実現のために透過型ディスプレイに仮想オブジェクト（ＡＲ画像）が表示される。この際に、キャリブレーション用のマーカがともに表示されてもよい。あるいは透過型ディスプレイ１３に表示されているＡＲ画像の一部が、キャリブレーション用に用いられてもよい。これによりユーザはＨＭＤ１００の使用中に並行してＡＲ画像の表示を修正することが可能である。これによりユーザの負担を低減し、ＨＭＤ１００の使用感を向上させることが可能である。

透過型ディスプレイに表示されるマーカ画像は、静止画像に限定されず、マーカの動きを表現するアニメーション画像（動画像）が表示されてもよい。当該アニメーション画像が映り込んだ眼球を撮影した動画像又は連続的な複数の静止画像が、第２の眼球画像（群）として取得される。これにより第２の眼球画像（群）に映ったマーカ（基準要素）の検出効率が向上し、ＡＲ画像等の表示を高精度に補正することが可能である。

図９は、他の実施形態に係るマーカ画像の一例を示す模式図である。マーカ画像７０を生成する際に、マーカ７２が表示される領域が適宜設定されてもよい。例えばマーカ７２の表示が許可される表示許可領域と、マーカの表示が不可となる表示不可領域とが設定されてもよい。

図９に示す例では、透過型ディスプレイ１３内での眼球が注視している注視領域７１が算出される。当該注視領域７１が表示不可領域として設定され、注視領域７１の外側の周辺領域７３が表示許可領域として設定される。１以上の基準要素の各々に対応する１以上のマーカ７２は、注視領域７１を避けて、周辺領域７３に目立たないように表示される。これによりユーザの注視対象に重なるようにマーカ７２を表示することを回避可能であり、ユーザの作業を阻害することなくマーカ表示を実現可能である。これによりユーザの負担を低減し、ＨＭＤ１００の使用感を向上させることが可能である。

注視領域７１の算出としては、例えば内向きカメラ１６の出力に基づいて眼球１０の視線方向１７が検出される。この視線方向１７に基づいて注視領域を算出することが可能である。その他、注視領域の算出方法は限定されず、例えば第１及び第２の眼球画像の少なくとも一方に基づいて注視領域が算出されてもよい。

表示許可領域及び表示不可領域の設定方法は限定されず、任意の領域が設定されてもよい。例えば上記した注視領域７１が表示許可領域に設定され、周辺領域７３が表示不可領域として設定されてもよい。これによりユーザが注視する領域での表示位置の補正等を高精度に実行することが可能となる。

本技術では、内向きカメラの出力に基づいて、ユーザの視野におけるＡＲ画像等のずれを検出可能である。ＨＭＤは、この検出結果に基づいてキャリブレーションが必要か否かを判定することが可能である。これにより変換操作の自動補正が実現可能である。自動補正を実行する条件及び方法は限定されない。例えば、変換操作を補正することが必要か否かを判定し、必要であると判定した場合には、自動的に変換操作の補正が実行されてもよい。これにより、ＡＲ画像等のずれが生じた場合に、自動的に当該ずれを補正可能であり、高い操作性が発揮される。

例えばＨＭＤが使用されている間、目立たない形状のマーカをユーザの周辺視野に表示させて、ＡＲ画像のずれを継続的に観測することも可能である。ＡＲ画像のずれが一定の基準を超えた場合に、自動的に補正ルーチンが実効される。これによりＨＭＤの使用中に自然にキャリブレーションを実行することが可能であり、高い操作性が発揮されるとともに使用感を向上させることが可能である。

自動補正を実行する条件として、図２に示す判定部２６３による補正の実行タイミングに関する判定結果が用いられてもよい。すなわち、ユーザの視野に含まれる基準要素の数、分布並びに変動情報、及びユーザの状態情報等の条件に基づいて自動補正が実行されてもよい。ＡＲ画像のずれが一定の基準を超え、かつ判定部２６３による判定結果が所定の条件を満たした場合に、自動補正が実行される、といった処理も可能である。あるいは、ＡＲ画像の視認性を向上するために調光素子１４の制御により透過光の量を減少させる際に、あわせて画像表示のキャリブレーションが実行されてもよい。言い換えれば、外光強度に基づいて調光素子１４の透過率が低下されていることを条件として画像表示のキャリブレーションが実行されても良い。上記の通り、調光素子１４がＡＲ画像の視認性の向上を目的として制御されることをユーザが認識しているのであれば、外光強度に基づく調光素子１４の透過率の制御はユーザにとって違和感を与えにくい制御と見做され得る。したがって、当該制御によれば、調光素子１４の透過率の制御に対するユーザの違和感を抑制しつつ、画像表示のキャリブレーションを行うことができる。

また自動補正を禁止するモードがユーザにより選択されてもよい。ユーザは操作ボタン２０等を介して自動補正を禁止するか否かを選択する。例えば、車の運転及び機械の操作等の作業中に自動補正を禁止することで、ユーザは作業に集中することが可能となる。またユーザの状態の応じたキャリブレーションが実行されてもよい。例えば走行中である場合には、人体の周期的な動きを考慮にいれてキャリブレーションが実行されてもよい。あるいは、ＡＲ画像の視認性を向上するために調光素子１４の制御により透過光の量を減少させる必要が無い場合、すなわち、外光強度が調光素子１４を制御するための条件を満たしていない場合、画像表示のキャリブレーションを禁止しても良い。外光強度が相対的に小さいときに調光素子１４を制御して透過光の量を減少させると、ユーザが違和感を覚えやすい。したがって。外光強度に基づくキャリブレーションの禁止は、ユーザの違和感を抑制することができる。

上記では、透過型ディスプレイ１３によるＡＲ画像等の表示の制御として、位置、角度、サイズ及び形状等の表示座標に関連したずれについての補正を説明した。これに限定されず、ＡＲ画像等の色、輝度、明度、彩度等の色彩に関連した情報が制御されてもよい。例えば、美術館の展示のように照明光による明暗が顕著な場合に、ユーザの視野領域における明るさの分布に対応したＡＲ画像等の表示を行うことが可能である。すなわち、明るい領域には輝度の高いＡＲ画像（例えば文字情報）を表示し、暗い領域には輝度の低いＡＲ画像を表示することで、ユーザにとって認識しやすいＡＲ画像の表示が可能となる。このようにＡＲ画像等の表示を高精度に制御することで、高品質なＡＲ環境を提供することが可能である。

上記では本技術に係る情報処理装置の一実施形態としてＨＭＤを例に挙げて説明を行った。しかしながら他の任意のコンピュータが用いられる場合にも、本技術に適用可能である。

また上記では、ユーザにより操作されるコンピュータ（ＨＭＤ）により、本技術に係る情報処理方法が実行される場合を説明した。しかしながらユーザが操作するコンピュータとネットワーク等を介して通信可能な他のコンピュータにより、本技術に係る情報処理方法、及びプログラムが実行されてもよい。またユーザが操作するコンピュータと、他のコンピュータとが連動して、本技術に係る画像表示システムが構築されてもよい。

すなわち本技術に係る情報処理方法、及びプログラムは、単体のコンピュータにより構成されたコンピュータシステムのみならず、複数のコンピュータが連動して動作するコンピュータシステムにおいても実行可能である。なお本開示において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれもシステムである。

コンピュータシステムによる本技術に係る情報処理方法、及びプログラムの実行は、例えば第１及び第２の画像の取得、変換操作の補正等が、単体のコンピュータにより実行される場合、及び各処理が異なるコンピュータにより実行される場合の両方を含む。また所定のコンピュータによる各処理の実行は、当該処理の一部または全部を他のコンピュータに実行させその結果を取得することを含む。

すなわち本技術に係る情報処理方法及びプログラムは、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成にも適用することが可能である。

以上説明した本技術に係る特徴部分のうち、少なくとも２つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。また上記で記載した種々の効果は、あくまで例示であって限定されるものではなく、また他の効果が発揮されてもよい。

なお、本技術は以下のような構成も採ることができる。
（１）ユーザの眼球に映る実空間を撮影した第１の画像と、前記眼球に映る所定の表示部に表示された前記実空間に関連する画像を撮影した第２の画像とをそれぞれ取得可能な取得部と、
前記取得された前記第１の画像及び前記第２の画像に基づいて、前記所定の表示部による画像表示を制御する表示制御部と
を具備する情報処理装置。
（２）（１）に記載の情報処理装置であって、
前記取得部は、前記ユーザの視野に含まれる前記実空間に関する実空間情報を取得し、
前記表示制御部は、前記実空間情報に基づいて、前記実空間に関連する画像を前記所定の表示部に表示する
情報処理装置。
（３）（２）に記載の情報処理装置であって、
前記表示制御部は、前記実空間に含まれる１以上の基準要素の位置情報を取得し、当該１以上の基準要素の位置を基準として、前記実空間に関連する画像を生成する画像生成部を有する
情報処理装置。
（４）（３）に記載の情報処理装置であって、
前記画像生成部は、前記実空間情報に含まれる実空間座標を前記所定の表示部における表示座標へ変換する変換操作により前記実空間に関連する画像を生成し、
前記表示制御部は、前記第１の画像に含まれる前記１以上の基準要素と前記第２の画像に含まれる前記実空間に関連する画像との位置関係に基づいて、前記変換操作を補正する補正部を有する
情報処理装置。
（５）（４）に記載の情報処理装置であって、
前記画像生成部は、前記１以上の基準要素の各々に対応する１以上のマーカを含む画像を生成し、
前記補正部は、前記第１の画像に含まれる前記１以上の基準要素と、前記第２の画像に含まれる前記１以上のマーカとの位置関係に基づいて、前記変換操作を補正する
情報処理装置。
（６）（５）に記載の情報処理装置であって、
前記画像生成部は、前記マーカの形状、サイズ、表示密度、表示色、及び輝度の少なくとも１つを調節可能である
情報処理装置。
（７）（４）に記載の情報処理装置であって、
前記画像生成部は、前記実空間に対応するＡＲ画像を生成し、
前記補正部は、前記第１の画像に含まれる前記１以上の基準要素と、前記第２の画像に含まれる前記ＡＲ画像との位置関係に基づいて、前記変換操作を補正する
情報処理装置。
（８）（４）から（７）のうちいずれか１つに記載の情報処理装置であって、
前記補正部は、前記実空間座標から前記表示座標への射影変換を補正する
情報処理装置。
（９）（１）から（８）のうちいずれか１つに記載の情報処理装置であって、
前記所定の表示部は、前記眼球に対向して配置される透過型ディスプレイである
情報処理装置。
（１０）（９）に記載の情報処理装置であって、
前記表示制御部は、前記透過型ディスプレイを透過する光量を調整可能な調光部を有する
情報処理装置。
（１１）（１０）に記載の情報処理装置であって、
前記調光部は、前記第２の画像の撮影時に前記透過する光量を規制する
情報処理装置。
（１２）（３）から（１１）のうちいずれか１つに記載の情報処理装置であって、
前記表示制御部は、前記ユーザの状態を検出可能なセンサ部の検出結果に基づいて、前記１以上の基準要素の位置情報、又は前記実空間に関連する画像を補正する
情報処理装置。
（１３）（４）から（１２）のうちいずれか１つに記載の情報処理装置であって、
前記表示制御部は、前記変換操作を補正するか否かを判定する判定部を有し、
前記画像生成部及び前記補正部は、前記判定部の結果に基づいて動作する
情報処理装置。
（１４）（１３）に記載の情報処理装置であって、
前記判定部は、前記実空間に含まれる前記１以上の基準要素の数及び分布に基づいて、前記変換操作の補正を実行するか否かを判定する
情報処理装置。
（１５）（１３）または（１４）に記載の情報処理装置であって、
前記判定部は、前記眼球の視線方向及び位置を含む前記ユーザの状態の情報、及び前記１以上の基準要素の位置の変動を含む変動情報の少なくとも一方に基づいて、前記変換操作の補正を実行するか否かを判定する
情報処理装置。
（１６）（５）から（１５）のうちいずれか１つに記載の情報処理装置であって、
前記表示制御部は、前記所定の表示部内の前記眼球が注視している注視領域を避けて、前記１以上の基準要素の各々に対応する１以上のマーカを表示する
情報処理装置。
（１７）（４）から（１６）のうちいずれか１つに記載の情報処理装置であって、
前記表示制御部は、前記変換操作を補正することが必要か否かを判定し、必要であると判定した場合には、自動的に前記変換操作の補正を実行する
情報処理装置。
（１８）（１）から（１７）のうちいずれか１つに記載の情報処理装置であって、
前記表示制御部は、前記第１の画像及び前記第２の画像の前記眼球の表面形状に由来する歪みを補正する
情報処理装置。

Ｆ２、Ｈ…基準要素
Ｆ３…基準要素
Ｇ２…基準要素
１０…眼球
１３…透過型ディスプレイ
１４…調光素子
１５…視界センサ
１６…内向きカメラ
２３…センサ部
２４…コントローラ
２５…取得部
２６…表示制御部
５０、６０…第１の眼球画像
５３、６４…第２の眼球画像
７２、Ｍ２…マーカ
６２…ＡＲ画像
１００…ＨＭＤ
２６０…画像生成部
２６１…補正部
２６２…調光部
２６３…判定部

Claims (20)

1. ユーザの眼球に映る実空間を撮影した第１の画像と、前記眼球に映る所定の表示部に表示された前記実空間に関連する画像を撮影した第２の画像とをそれぞれ取得可能な取得部と、
   前記取得された前記第１の画像及び前記第２の画像に基づいて、前記所定の表示部による画像表示を制御する表示制御部と
   を具備する情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記取得部は、前記ユーザの視野に含まれる前記実空間に関する実空間情報を取得し、
   前記表示制御部は、前記実空間情報に基づいて、前記実空間に関連する画像を前記所定の表示部に表示する
   情報処理装置。
3. 請求項２に記載の情報処理装置であって、
   前記表示制御部は、前記実空間に含まれる１以上の基準要素の位置情報を取得し、当該１以上の基準要素の位置を基準として、前記実空間に関連する画像を生成する画像生成部を有する
   情報処理装置。
4. 請求項３に記載の情報処理装置であって、
   前記画像生成部は、前記実空間情報に含まれる実空間座標を前記所定の表示部における表示座標へ変換する変換操作により前記実空間に関連する画像を生成し、
   前記表示制御部は、前記第１の画像に含まれる前記１以上の基準要素と前記第２の画像に含まれる前記実空間に関連する画像との位置関係に基づいて、前記変換操作を補正する補正部を有する
   情報処理装置。
5. 請求項４に記載の情報処理装置であって、
   前記画像生成部は、前記１以上の基準要素の各々に対応する１以上のマーカを含む画像を生成し、
   前記補正部は、前記第１の画像に含まれる前記１以上の基準要素と、前記第２の画像に含まれる前記１以上のマーカとの位置関係に基づいて、前記変換操作を補正する
   情報処理装置。
6. 請求項５に記載の情報処理装置であって、
   前記画像生成部は、前記マーカの形状、サイズ、表示密度、表示色、及び輝度の少なくとも１つを調節可能である
   情報処理装置。
7. 請求項４に記載の情報処理装置であって、
   前記画像生成部は、前記実空間に対応するＡＲ画像を生成し、
   前記補正部は、前記第１の画像に含まれる前記１以上の基準要素と、前記第２の画像に含まれる前記ＡＲ画像との位置関係に基づいて、前記変換操作を補正する
   情報処理装置。
8. 請求項４に記載の情報処理装置であって、
   前記補正部は、前記実空間座標から前記表示座標への射影変換を補正する
   情報処理装置。
9. 請求項１に記載の情報処理装置であって、
   前記所定の表示部は、前記眼球に対向して配置される透過型ディスプレイである
   情報処理装置。
10. 請求項９に記載の情報処理装置であって、
    前記表示制御部は、前記透過型ディスプレイを透過する光量を調整可能な調光部を有する
    情報処理装置。
11. 請求項１０に記載の情報処理装置であって、
    前記調光部は、前記第２の画像の撮影時に前記透過する光量を規制する
    情報処理装置。
12. 請求項３に記載の情報処理装置であって、
    前記表示制御部は、前記ユーザの状態を検出可能なセンサ部の検出結果に基づいて、前記１以上の基準要素の位置情報、又は前記実空間に関連する画像を補正する
    情報処理装置。
13. 請求項４に記載の情報処理装置であって、
    前記表示制御部は、前記変換操作を補正するか否かを判定する判定部を有し、
    前記画像生成部及び前記補正部は、前記判定部の結果に基づいて動作する
    情報処理装置。
14. 請求項１３に記載の情報処理装置であって、
    前記判定部は、前記実空間に含まれる前記１以上の基準要素の数及び分布に基づいて、前記変換操作の補正を実行するか否かを判定する
    情報処理装置。
15. 請求項１３に記載の情報処理装置であって、
    前記判定部は、前記眼球の視線方向及び位置を含む前記ユーザの状態の情報、及び前記１以上の基準要素の位置の変動を含む変動情報の少なくとも一方に基づいて、前記変換操作の補正を実行するか否かを判定する
    情報処理装置。
16. 請求項５に記載の情報処理装置であって、
    前記表示制御部は、前記所定の表示部内の前記眼球が注視している注視領域を避けて、前記１以上の基準要素の各々に対応する１以上のマーカを表示する
    情報処理装置。
17. 請求項４に記載の情報処理装置であって、
    前記表示制御部は、前記変換操作を補正することが必要か否かを判定し、必要であると判定した場合には、自動的に前記変換操作の補正を実行する
    情報処理装置。
18. 請求項１に記載の情報処理装置であって、
    前記表示制御部は、前記第１の画像及び前記第２の画像の前記眼球の表面形状に由来する歪みを補正する
    情報処理装置。
19. ユーザの眼球に映る実空間を撮影した第１の画像と、前記眼球に映る所定の表示部に表示された前記実空間に関連する画像を撮影した第２の画像とをそれぞれ取得し、
    前記取得された前記第１の画像及び前記第２の画像に基づいて、前記所定の表示部による画像表示を制御する
    ことをコンピュータシステムが実行する情報処理方法。
20. ユーザの眼球に映る実空間を撮影した第１の画像と、前記眼球に映る所定の表示部に表示された前記実空間に関連する画像を撮影した第２の画像とをそれぞれ取得するステップと、
    前記取得された前記第１の画像及び前記第２の画像に基づいて、前記所定の表示部による画像表示を制御するステップと
    をコンピュータシステムに実行させるプログラム。

Images