JP6565465B2 - 画像表示装置、コンピュータープログラム、および画像表示システム - Google Patents

画像表示装置、コンピュータープログラム、および画像表示システム Download PDF

Info

Publication number
JP6565465B2
JP6565465B2 JP2015159484A JP2015159484A JP6565465B2 JP 6565465 B2 JP6565465 B2 JP 6565465B2 JP 2015159484 A JP2015159484 A JP 2015159484A JP 2015159484 A JP2015159484 A JP 2015159484A JP 6565465 B2 JP6565465 B2 JP 6565465B2
Authority
JP
Japan
Prior art keywords
unit
marker
inertial sensor
image display
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015159484A
Other languages
English (en)
Other versions
JP2017037554A5 (ja
JP2017037554A (ja
Inventor
國益 符
國益 符
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2015159484A priority Critical patent/JP6565465B2/ja
Priority to US15/210,593 priority patent/US9864192B2/en
Publication of JP2017037554A publication Critical patent/JP2017037554A/ja
Publication of JP2017037554A5 publication Critical patent/JP2017037554A5/ja
Application granted granted Critical
Publication of JP6565465B2 publication Critical patent/JP6565465B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Description

本発明は、画像表示装置の技術に関する。
近年、現実空間の物体に対してコンピューターによる情報を付加する拡張現実（ＡＲ、Augmented Reality）と呼ばれる技術が注目されている。拡張現実を実現する手法の一つとして、外界を透過視認可能なシースルー型の表示装置がある。特許文献１は、このような表示装置として、頭部装着型表示装置を記載している。
特開２００７−２１３４０７号公報
以下では、シースルー型の表示装置の一例として、ＨＭＤを例として説明する。ＨＭＤは、ＡＲ機能を提供できるように、トラッキングカメラを備える。そして、トラッキングカメラを介して、ＨＭＤ（またはトラッキングカメラ）に対する実オブジェクトの位置を検出し、追跡する（この方式による実オブジェクトの追跡を「光学トラッキング」と表記する）。ＨＭＤは、当該実オブジェクトの位置に追従するように、ＣＧ等の仮想オブジェクトを表示する。このとき使用者は、実オブジェクトの位置に、仮想オブジェクトの位置が対応づけられるように、仮想オブジェクトを視認する。
トラッキングカメラの視野における実オブジェクトの位置と姿勢は、実オブジェクトの動きだけでなく、使用者の頭部の動き（特に回転）によっても変化する。そして、頭部の回転の角速度が速く、および／または角度が大きい場合には、光学トラッキングだけでは、仮想オブジェクトの表示に、実オブジェクトの位置、さらには姿勢の変化が反映されるまでの時間差（レイテンシ）が目立つようになる場合がある。
技術的に、トラッキングカメラの時間分解能（画像のフレームレート）より、慣性センサーの時間分解能を高くしやすい。そこで、上記レイテンシ対策として、ＨＭＤが、トラッキングカメラだけでなく、慣性センサーを搭載し、トラッキングカメラと慣性センサーとによって、ＨＭＤに対する実オブジェクトの位置・姿勢（実オブジェクトとＨＭＤとの間の空間的位置関係）を推定することが効果的であると考えられる（この方式による実オブジェクトの追跡を「慣性・光学融合トラッキング」と表記する）。
上記場合のように、トラッキングカメラと慣性センサーとが協働して「トラッカー（追跡装置）」として機能する場合には、トラッキングカメラの座標系と慣性センサーの座標系とが、対応付けられている（較正されている）ことが望まれる。また、上記「トラッカー」として利用される場合以外でも、たとえば、使用者の眼（網膜）を基準にしてトラッキングカメラと画像表示部とが較正される場合に、トラッキングカメラの座標系と慣性センサーの座標系とが較正されていることは、有用である。そして、較正方法は簡易で、かつ較正結果が高精度であることが望ましい。
本発明は、上述の課題を解決するためになされたものであり、以下の形態として実現することが可能である。
（１）本発明の一形態によれば、画像表示装置が提供される。この画像表示装置は、第１慣性センサーと；前記第１慣性センサーに対して可動な撮像部と；算出部と、を備え；前記算出部は；前記撮像部が、前記第１慣性センサーに対して可動な第２慣性センサーを備えた識別部が提示するマーカーを撮像し撮像画像を取得した場合に前記撮像画像に少なくとも基づいて前記マーカーと前記撮像部との間の第１空間位置関係を算出し；前記マーカーが撮像された場合の前記第１慣性センサーおよび前記第２慣性センサーからそれぞれ得られる前記第１慣性センサーの第１配向を含む第１データおよび前記第２慣性センサーの第２配向を含む第２データと、前記第１空間位置関係と、に少なくとも基づいて、前記撮像部と前記第１慣性センサーとの間の第２空間位置関係を算出する。この形態の画像表示装置によれば、撮像部と識別部との位置を変更するだけで、外景に画像を重畳表示させるためのキャリブレーションが実行できる。また、静的な位置におけるマーカーを撮像すればキャリブレーションが実行できるため、動的なマーカーを撮像する場合と比較して、時間の同期等の問題がなく、精度の高いキャリブレーションを実行できる。また、第１慣性センサーおよび第２慣性センサーによって検出された加速度がキャリブレーションの実行に用いられるため、算出される座標系の配向の精度を高くできる。また、キャリブレーションを実行するために、画像表示装置以外の装置が不要であるため、使用者の利便性が向上する。
（２）上記形態の画像表示装置において、さらに；前記第１データを格納する第１メモリ領域と；前記第２データを格納する第２メモリ領域と；前記第１空間位置関係を格納する第３メモリ領域と、を備え；前記算出部は、前記第１メモリ領域に格納された前記第１データと、前記第２メモリ領域に格納された前記第２データと、前記第３メモリ領域に格納された前記第１空間位置関係と、を用いて、前記第２空間位置関係を算出してもよい。
（３）上記形態の画像表示装置において、さらに、静状態判定部を備え；前記静状態判定部が、前記第１慣性センサーおよび前記第２慣性センサーからの出力に基づいて、前記第１慣性センサーおよび前記第２慣性センサーが静状態にあると判定した場合に前記撮像部が前記マーカーを撮像するとともに、前記算出部が前記第１慣性センサーおよび前記第２慣性センサーからそれぞれ前記第１データおよび前記第２データを取得し；前記算出部は、前記取得された前記第１データと、前記第２データと、前記マーカーを撮像することにより得られた撮像画像に基づく前記第１空間位置関係と、に少なくとも基づいて、前記第２空間位置関係を算出してもよい。
（４）上記形態の画像表示装置において、さらに、前記マーカーと第２慣性センサーとの間の第３空間位置関係を記憶する記憶部を有し；前記算出部は、前記第１データと、前記第２データと、前記第１空間位置関係と、前記第３空間位置関係と、に少なくとも基づいて、前記第２空間位置関係を算出してもよい。
（５）上記形態の画像表示装置において、さらに、前記マーカーと第２慣性センサーとの間の第３空間位置関係を記憶する記憶部を有し；前記静状態判定部が、前記第１慣性センサーおよび前記第２慣性センサーが静状態にあると判定した場合に、前記算出部は、さらに、前記第１慣性センサーが計測した第１加速度および前記第１配向を含む前記第１データと、前記第２慣性センサーが計測した第２加速度および前記第２配向を含む前記第２データと、を取得し；前記算出部は、取得された前記第１加速度と、前記第１配向と、前記第２加速度と、前記第２配向と、前記第１空間位置関係と、前記第３空間位置関係と、に少なくとも基づいて、前記第２空間位置関係を算出してもよい。
（６）上記形態の画像表示装置において、前記撮像部は、所定の１軸を中心に回転可能に形成され、前記所定の１軸と直交する他の２軸に対しては回転できないように形成されていてもよい。この形態の画像表示装置によれば、撮像部が回転可能な軸が制限されることで、第１変換パラメーターおよび第２変換パラメーターを算出するための処理時間を短くできる。
上述した本発明の各形態の有する複数の構成要素はすべてが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな他の構成要素との差し替え、限定内容の一部削除を行なうことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。
例えば、本発明の一形態は、第１慣性センサーと、撮像部と、算出部との３つの要素の内の一部または全部の要素を備えた方法として実現可能である。すなわち、この装置は、第１慣性センサーを有していてもよく、有していなくてもよい。また、装置は、撮像部を有していてもよく、有していなくてもよい。また、装置は、算出部を有していてもよく、有していなくてもよい。撮像部は、例えば、前記第１慣性センサーに対して可動であってもよい。算出部は、例えば、前記撮像部が、前記第１慣性センサーに対して可動な第２慣性センサーを備えた識別部が提示するマーカーを撮像し撮像画像を取得した場合に前記撮像画像に少なくとも基づいて前記マーカーと前記撮像部との間の第１空間位置関係を算出し；前記マーカーが撮像された場合の前記第１慣性センサーおよび前記第２慣性センサーからそれぞれ得られる前記第１慣性センサーの第１配向を含む第１データおよび前記第２慣性センサーの第２配向を含む第２データと、前記第１空間位置関係と、に少なくとも基づいて、前記撮像部と前記第１慣性センサーとの間の第２空間位置関係を算出してもよい。こうした装置は、例えば、画像表示装置として実現できるが、画像表示装置以外の装置などとしても実現可能である。このような形態によれば、装置の精度の向上および簡易化、方法を使用する使用者の利便性の向上、等の種々の課題の少なくとも１つを解決することができる。前述した方法の各形態の技術的特徴の一部または全部は、いずれもこの方法に適用することが可能である。
本発明は、装置以外の種々の形態で実現することも可能である。例えば、画像表示装置、これらの装置を制御する各種制御方法、これらの制御方法を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、および、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号等の形態で実現できる。
本発明の第１実施形態における画像表示装置としての頭部装着型表示装置の概略構成を示す説明図である。 制御部の裏面に配置された識別マーカーを示す概略図である。 識別マーカーの詳細図である。 ＨＭＤの構成を機能的に示すブロック図である。 各キャリブレーションを説明する図である。 ＩＭＵにおいて拡張カルマンフィルター（ＥＦＫ）に基づく検出値の融合を行なう融合部を示すブロック図である。 識別マーカーが撮像されている場合のカメラと識別マーカーとの位置関係を表す概略図である。 ２つの異なる静的な位置にある画像表示部および装着帯の概略図である。 静的な位置にあるカメラが撮像する識別マーカーとの関係を表す説明図である。 姿勢が異なる識別マーカーがカメラに撮像された画像の概略図である。 オンラインキャリブレーションを実行するために識別マーカーを異なる静的な位置で撮像するマーカー撮像処理のフローチャートである。 コスト関数を用いた最適化処理のフローチャートである。 静状態の判定を加えた撮像データ取得処理の流れを示す説明図である。 コスト関数を最適化するためのコスト関数最適化処理のフローチャートである。 第２実施形態のコスト関数最適化処理のフローチャートである。 第３実施形態のＨＭＤを含む画像表示システムを機能的に示すブロック図である。
Ａ．実施形態：
本実施形態では、以下の項目に沿って順番に説明する。
Ａ−１．頭部装着型表示装置の構成：
Ａ−２．キャリブレーションについて：
Ａ−３．オフラインキャリブレーション：
Ａ−３−１．キャリブレーションデータ収集処理：
Ａ−３−２．最適化処理：
Ａ−４．オンラインキャリブレーション：
Ａ−４−１．キャリブレーションデータ処理：
Ａ−４−２．コスト関数最適化処理：
Ａ−１．頭部装着型表示装置の構成：
図１は、本発明の第１実施形態における画像表示装置としての頭部装着型表示装置の概略構成を示す説明図である。頭部装着型表示装置１００は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ）とも呼ばれる。ＨＭＤ１００は、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型のヘッドマウントディスプレイである。
ＨＭＤ１００は、使用者の頭部に装着可能な装着帯９０と、画像を表示する画像表示部２０と、画像表示部２０を制御する制御部（コントローラー）１０と、を備えている。画像表示部２０は、換言すると、使用者の頭部に装着された状態において使用者に虚像を視認させる、
装着帯９０は、樹脂製の装着基部９１と、装着基部９１に連結される布製のベルト部９２と、カメラ６０と、ＩＭＵ７１と、を備える。装着基部９１は、人の前頭部の形に合った湾曲した形状を有する。ベルト部９２は、使用者の頭部の周りに装着されるためのベルトである。
カメラ６０は、外景を撮像可能で、装着基部９１の中心部分に配置されている。換言すると、カメラ６０は、装着帯９０が使用者の頭部に装着された状態で、使用者の額の中央に対応する位置に配置されている。そのため、カメラ６０は、使用者が装着帯９０を頭部に装着した状態において、使用者の視線方向の外部の景色である外景を撮像し、撮像された画像である撮像画像を取得する。
カメラ６０は、装着基部９１に対して可動するカメラ基部６１と、カメラ基部６１に対して相対位置が固定されたレンズ部６２と、を有する。カメラ基部６１は、装着帯９０が使用者の頭部に装着された際に、使用者の中心軸を含む面に含まれる軸の所定の範囲である矢印ＣＳ１に沿って回動可能に配置されている。そのため、カメラ６０の光軸であるレンズ部６２の光軸は矢印ＣＳ１の範囲で向きを変更可能である。また、レンズ部６２は、光軸を中心としたズームによって変化する範囲を撮像する。
ＩＭＵ７１（Inertial Measurement Unit）は、加速度を検出する慣性センサーである。また、本実施形態のＩＭＵ７１は、加速度に加えて、角速度と、地磁気とを検出できる。ＩＭＵ７１は、装着基部９１におけるカメラ６０の近くに内蔵されている。そのため、ＩＭＵ７１は、装着帯９０およびカメラ基部６１の加速度と角速度と地磁気とを検出する。なお、ＩＭＵ７１は、請求項における第１慣性センサーに相当する。
画像表示部２０は、装着帯９０の装着基部９１に連結される表示部であり、本実施形態では眼鏡形状を有している。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、を含んでいる。右光学像表示部２６および左光学像表示部２８は、それぞれ、使用者が画像表示部２０を装着した際に使用者の右および左の眼前に位置する。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、互いに接続されている。
右保持部２１は、右光学像表示部２６の他端である端部ＥＲから略水平方向に延び、途中から斜め上方へ傾斜した形状を有し、前記端部ＥＲと装着基部９１の右側の連結部９３との間を結ぶ。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから略水平方向に延び、途中から斜め上方へ傾斜した形状を有し、前記端部ＥＬと装着基部９１の左側の連結部（図示せず）との間を結ぶ。右保持部２１および左保持部２３が左右の連結部９３によって装着基部９１に連結されることで、右光学像表示部２６と左光学像表示部２８を使用者の眼前に位置させる。なお、各連結部９３は、右保持部２１および左保持部２３を回動可能に、かつ任意の回動位置に固定可能に連結する。連結部９３の詳しい機構は周知の構成であることから、詳しい説明は省略する。この結果、画像表示部２０は、装着基部９１に対して回動可能に設けられることになる。
右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右表示駆動部２２と左表示駆動部２４とは、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。
表示駆動部２２，２４は、図２で後述する液晶ディスプレイ２４１，２４２（Liquid Crystal Display、以下「ＬＣＤ２４１，２４２」とも呼ぶ）や投写光学系２５１，２５２等を含む。表示駆動部２２，２４の構成の詳細な説明は後述する。光学像表示部２６，２８は、後述する導光板２６１，２６２（図２参照）と調光板とを含んでいる。導光板２６１，２６２は、光透過性の樹脂材料等によって形成され、表示駆動部２２，２４から出力された画像光を使用者の眼に導く。調光板は、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部２０の表側を覆うように配置されている。調光板の光透過率を調整することによって、使用者の眼に入る外光量を調整して虚像の視認のしやすさを調整できる。
画像表示部２０は、さらに、画像表示部２０を制御部１０に接続するための接続部４０を有している。接続部４０は、制御部１０に接続される本体コード４８と、右コード４２と、左コード４４と、連結部材４６と、を含んでいる。右コード４２と左コード４４とは、本体コード４８が２本に分岐したコードである。画像表示部２０と制御部１０とは、接続部４０を介して各種信号の伝送を行なう。右コード４２と、左コード４４と、本体コード４８とには、例えば、金属ケーブルや光ファイバーを採用できる。
制御部１０は、ＨＭＤ１００を制御するための装置である。制御部１０は、静電式のトラックパッドや押下可能な複数のボタンなどを含む操作部１３５と、ＩＭＵ１５と、撮像されることでキャリブレーションに用いられる識別マーカーＭＫ１と、を有する。なお、識別マーカーＭＫ１は、制御部１０において、操作部１３５が形成されている表面とは反対側の裏面に配置されている。そのため、図１では、識別マーカーＭＫ１が示されていないが、識別マーカーＭＫ１の詳細については後述する。
ＩＭＵ１５は、画像表示部２０に内蔵されているＩＭＵ７１と同じ慣性センサーである。そのため、ＩＭＵ１５は、制御部１０および識別マーカーＭＫ１の加速度と角速度と地磁気とを検出する。なお、ＩＭＵ１５は、請求項における第２慣性センサーに相当する。
図２は、制御部１０の裏面に配置された識別マーカーＭＫ１を示す概略図である。図３は、識別マーカーＭＫ１の詳細図である。図２に示すように、制御部１０の裏面には、正方形の中に１０個の円が形成された識別マーカーＭＫ１が配置されている。図３に示すように、識別マーカーＭＫ１は、４つの頂点Ｐ０，Ｐ１，Ｐ２，Ｐ３を直線で結んだ正方形の中に、１０個の円が形成された２次元のマーカーである。マーカーＭＫ１では、図２および図３においてハッチングで表す黒色の部分に、ハッチングが施されないで図２および図３に表された白色の円が形成されている。後述する変換パラメーター算出処理では、白色の円の中心の座標値が用いられることで、カメラ６０によって撮像された識別マーカーＭＫ１と後述する識別マーカーＭＫ１に対応するように予め用意されたマーカー画像ＩＭＧとの重複の度合いが判定される。なお、識別マーカーＭＫ１は、請求項におけるマーカーＭＫ１に相当し、識別マーカーＭＫ１が配置された制御部１０は、請求項における被識別部に相当する。
図４は、ＨＭＤ１００の構成を機能的に示すブロック図である。図４に示すように、制御部１０は、ＲＯＭ１２１と、ＲＡＭ１２２と、電源１３０と、操作部１３５と、識別対象記憶部１３９と、ＣＰＵ１４０と、インターフェイス１８０と、送信部５１（Ｔｘ５１）および送信部５２（Ｔｘ５２）と、ＩＭＵ１５と、を有している。
電源１３０は、ＨＭＤ１００の各部に電力を供給する。ＲＯＭ１２１には、種々のコンピュータープログラムが格納されている。後述するＣＰＵ１４０は、ＲＯＭ１２１に格納された各種コンピュータープログラムを、ＲＡＭ１２２に展開することで、各種コンピュータープログラムを実行する。
ＣＰＵ１４０は、ＲＯＭ１２１に格納されているコンピュータープログラムを、ＲＡＭ１２２に展開することにより、オペレーティングシステム１５０（ＯＳ１５０）、表示制御部１９０、音声処理部１７０、画像処理部１６０、マーカー識別部１６５および算出部１６７として機能する。なお、ＲＡＭ１２２は、請求項における第１メモリ領域と第２メモリ領域と第３メモリ領域とに相当する。本実施形態では、第１メモリ領域と第２メモリ領域と第３メモリ領域とがＲＡＭ１２２に相当したが、これらの３つのメモリ領域は、他の実施形態では、異なるメモリに格納されてもよい。
表示制御部１９０は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。表示制御部１９０は、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。表示制御部１９０は、右ＬＣＤ制御部２１１と左ＬＣＤ制御部２１２とに対する制御信号のそれぞれを、送信部５１および５２を介して送信する。また、表示制御部１９０は、右バックライト制御部２０１と左バックライト制御部２０２とに対する制御信号のそれぞれを送信する。
画像処理部１６０は、コンテンツに含まれる画像信号を取得し、送信部５１，５２を介して、取得した画像信号を画像表示部２０の受信部５３，５４へと送信する。音声処理部１７０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材４６に接続された右イヤホン３２内のスピーカー（図示しない）および左イヤホン３４内のスピーカー（図示しない）に対して供給する。
マーカー識別部１６５は、カメラ６０によって得られた撮像画像に対して、所定の階調値を閾値として２値化を行なう。マーカー識別部１６５は、２値化した画像の中から、ＲＯＭ１２１に記憶されたマーカー画像ＩＭＧと同じマーカーＭＫ１を抽出する。本実施形態では、マーカー識別部１６５は、撮像画像に対して、初めに、予め設定された初期閾値で２値化を行なう。マーカー識別部１６５は、２値化した画像に対して、マーカー画像ＩＭＧの特徴点と同じと判定する画像を撮像画像の中から抽出する。マーカー画像ＩＭＧの特徴点としては、正方形の４個の頂点である頂点Ｐ０，Ｐ１，Ｐ２，Ｐ３および正方形の中に含まれる白色の９個の円である。マーカー識別部１６５は、９個の円の特徴点として、対向する２つの頂点を結んだ対角線上に、マーカー画像ＩＭＧと同じ位置関係で円が並んでいるか否かの判定をすることで、撮像画像の中からマーカー画像ＩＭＧと同じと判定する識別マーカーＭＫ１を抽出する。例えば、マーカー識別部１６５は、図３において、頂点Ｐ０と頂点Ｐ２とを結んだ直線上、および／または頂点Ｐ１と頂点Ｐ３を結んだ直線上に、２値化された白色の円が黒色に対して５個並んでいるか否かや並んでいる白色の円の大きさや複数の円に挟まれる黒色の領域の大きさなどで判定する。
マーカー識別部１６５は、初期閾値を用いた２値化で識別マーカーＭＫ１を抽出できない場合には、予め設定された階調値である加算閾値を初期閾値に加えた新たな閾値として、撮像画像に対して、２値化を行ない、識別マーカーＭＫ１を抽出する。このように、マーカー識別部１６５は、いくつかの階調値を閾値として２値化することで、撮像画像の中から識別マーカーＭＫ１を抽出する。なお、マーカー識別部１６５は、複数の閾値を用いても撮像範囲から識別マーカーＭＫ１を抽出できない場合には、撮像範囲に識別マーカーＭＫ１が含まれないと判定する。
マーカー識別部１６５によって識別マーカーＭＫ１が抽出された場合に、算出部１６７は、例えばホモグラフィーにより、カメラ６０に対する空間的関係（回転および並進の少なくとも一方で表わされる相対的位置関係）を算出する。また、後述するように、算出部１６７は、算出した上記空間的関係と、ＩＭＵ７１によって検出された加速度等の検出値と、ＩＭＵ１５によって検出された加速度等の検出値と、を用いて、カメラに固定された座標系からＩＭＵ７１に固定された座標系（第１センサー座標系）へと変換するための変換行列を算出する。
インターフェイス１８０は、制御部１０に対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェイスである。外部機器ＯＡとしては、例えば、ＡＲシナリオを記憶している記憶装置、パーソナルコンピューター（ＰＣ）や携帯電話端末、ゲーム端末等、がある。インターフェイス１８０としては、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等、を用いることができる。
図４に示すように、画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、を備えている。
右表示駆動部２２は、受信部５３（Ｒｘ５３）と、光源として機能する右バックライト制御部２０１（右ＢＬ制御部２０１）および右バックライト２２１（右ＢＬ２２１）と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１と、を含んでいる。右バックライト制御部２０１と右バックライト２２１とは、光源として機能する。右ＬＣＤ制御部２１１と右ＬＣＤ２４１とは、表示素子として機能する。
受信部５３は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、画像処理部１６０および表示制御部１９０から送信された制御信号に基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。
右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６としての右導光板２６１は、右投写光学系２５１から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼ＲＥに導く。なお、左表示駆動部２４は、右表示駆動部２２と同様の構成を有し、使用者の左眼ＬＥに対応するため、説明を省略する。
Ａ−２．キャリブレーションについて：
ＩＭＵ７１、ＩＭＵ１５、およびカメラ６０を用いたキャリブレーション（以降、ＩＭＵ−カメラ・キャリブレーションとも呼ぶ）は、慣性センサーであるＩＭＵの性能によって精度が異なる。精度が高くない安価なＩＭＵが用いられると、キャリブレーションには、大きな誤差やドリフトが発生する。
本実施形態では、ＩＭＵ７１およびＩＭＵ１５の２つのＩＭＵを用いたマルチポジション法を用いたバッチ・ソリューション・ベース・アルゴリズムによってキャリブレーションを行なう。マルチポジション法は、キャリブレーションを行なうにあたり、下記（１）−（４）のメリットを有する。
（１）ＩＭＵ７１およびＩＭＵ１５の検出と、カメラ６０による撮像とが静的な位置で行なわれるため、時間の同期（シンクロ）が問題にならない。
（２）複数の位置における検出値や撮像画像を用いることで、フィルタリングにより、ＩＭＵ（に含まれる各センサー）およびカメラ６０のノイズを少なくできる。
（３）図５に示すように、ＩＭＵにおけるジャイロセンサー、加速度センサー、磁気センサーの出力が融合されてＩＭＵの配向が求められることから、各センサーのドリフトが修正され、ＩＭＵの配向が高精度ある。
（４）制御部１０に配置された識別マーカーＭＫ１を用いることで、複雑なキャリブレーションを実行するための装置やＨＭＤ１００以外の他の装置が不要になる。
なお、本実施形態では、ＩＭＵ７１とカメラ６０との間の並進については、製造時の設計データを用いる。
図５は、キャリブレーション実行処理の各処理の主な実施主体を説明する図である。ただし、これらの処理は連続して行なわれてもよい。キャリブレーション実行処理では、初めに、独立センサーのキャリブレーションが実行される（ステップＳ１０）。ステップＳ１０の処理では、ＩＭＵ７１とＩＭＵ１５とカメラ６０とのそれぞれに対して、別々のキャリブレーションが実行される。なお、独立センサーのキャリブレーションの方法については、一般的に広く知られている周知技術を用いればよく、本明細書では記載を省略する。
ステップＳ１０では、ＩＭＵ７１およびＩＭＵ１５のそれぞれが較正される。具体的には、ＩＭＵ７１に含まれる３軸の加速度センサー（Ａｘ，Ａｙ，Ａｚ）と、３軸のジャイロセンサー（Ｇｘ，Ｇｙ，Ｇｚ）と、３軸の地磁気センサー（Ｍｘ，Ｍｙ，Ｍｚ）とに対して、ゲイン／スケールと、静的なバイアス／オフセットと、３軸間のスキューと、についてキャリブレーションが実行される。これらのキャリブレーションが実行されると、ＩＭＵ７１およびＩＭＵ１５のそれぞれは、加速度、角速度、地磁気のそれぞれについての出力値として、加速度（Acccali(t)）,角速度（Gyrocali(t)）,地磁気（Magcali(t)）を出力する。これらの出力値は、ゲイン、静的なバイアス／オフセット、および３軸間のミスアライメントを修正した値である。これらのキャリブレーションは、図５に示すように、ＨＭＤ１００の製造時において、製造工場などで実施されることが多い。
ステップＳ１０で行なわれるカメラ６０のキャリブレーションでは、カメラ６０における焦点距離、スキュー、主点位置、歪みを含むカメラ６０の内部パラメーターがキャリブレーションされる。カメラ６０のキャリブレーションには、周知技術を適用できる。
ＩＭＵ７１およびＩＭＵ１５のそれぞれのセンサーのキャリブレーションが実行された後、ＩＭＵ７１およびＩＭＵ１５における加速度、角速度、地磁気のそれぞれのセンサーの検出値（計測された出力）を融合して、当該センサーにおいて精度の高いセンサー配向を得ることができる。
図６は、ＩＭＵ７１およびＩＭＵ１５のそれぞれにおける融合部３００を示す。融合部３００は、ＩＭＵ７１およびＩＭＵ１５の外部にあってもよい。融合部３００は、拡張カルマンフィルター（ＥＫＦ）に基づいて、内部の各センサーの計測（値または信号）を融合する。本実施形態では、センサー配向（姿勢）は、４元数により表記される。４元数による配向表記は、回転行列へ変換可能である。拡張カルマンフィルターは、以下のように表される状態ベクトルに適用される。
Figure 0006565465
 制御入力ベクトルは、ジャイロセンサーの入力によって決定される。
Figure 0006565465
 インターバルΔｔの間のＫ−１からＫへ状態遷移モデルは、次のように表される。
Figure 0006565465
 ここで、wk-1は、ノイズベクトルである。
図６に示すように、融合部３００は、測定部３１０と、予測部３２０と、更新部３３０と、重力キャンセル部３４０と、回転変換部３５０と、を含む。測定部３１０は、加速度センサーおよび磁気センサーから出力された加速度と地磁気の計測as k,ms kに基づき機能する。測定部３１０は、ローパスフィルター３１１／３１２を含む。ローパスフィルター３１１は、計測された加速度as kにおけるノイズを低減する。同様に、ローパスフィルター３１２は、計測された地磁気ms kにおけるノイズを低減する。
予測部３２０は、所定時間期間に亘って、検出された角速度ωs k-1を積分することによって、角度変化の量（または姿勢）を推定し、予測された角度変化（または姿勢）を、更新部３３０へ出力する。更新部３３０は、予測された角度変化（または姿勢）を用いて、計測されたものzk（加速度および地磁気）を、フィルターすなわち融合する。そうすると、融合されたＩＭＵ配向（姿勢）qs2w kが更新されて出力され、そして、融合された姿勢qs2w kが、次のサイクルのために、遅延器を介して、測定部３２０へフィードバックされる。融合されたＩＭＵ配向qs2w kが計算されると、重力キャンセル部３４０による重力のキャンセルよって、ＩＭＵの動的または線形な加速度aw kが計算される。
回転変換部３５０は、ＩＭＵ配向qs2w kを受け取り、回転行列Rs2w kに変換し出力する。加速度センサーからの計測された加速度as kは、重力キャンセル部３４０に入力される。重力キャンセル部３４０は、回転行列Rs2w kで表されたＩＭＵ配向を用いて地球の重力加速度を打消し、地球の重力加速度の成分を含まないＩＭＵの線形加速度aw kを計算し、出力する。
図６を用いて上述した拡張カルマンフィルターに基づく検出値の融合のための調整は、ＨＭＤ１００を製造する工場で実施されることが多い。
ＣＰＵ１４０は、図５のステップＳ１０の処理を実行すると、ＩＭＵ７１におけるオフラインキャリブレーションおよび検証を行なう（ステップＳ２０）。カメラ６０が装着基部９１に対して固定ではなく、回動可能であるため、ステップＳ２０の処理では、カメラ６０が変化した位置に応じたキャリブレーションが必要となる。本明細書では、この点について、詳細に説明する。
Ａ−３．オフラインキャリブレーション：
次に、ＣＰＵ１４０は、ＨＭＤのオフラインキャリブレーションを実行する（ステップＳ２０）。オフラインキャリブレーションでは、識別マーカーＭＫ１に固定された座標系からＩＭＵ１５に固定された座標系への回転行列（Rmarker2conImu）と、カメラ６０に固定された座標系からＩＭＵ７１に固定された座標系への回転行列（Rcam2hmdImu）とが、導出される。つまり、オフラインキャリブレーションでは、識別マーカーＭＫ１とＩＭＵ１５との間の空間的関係と、カメラ６０とＩＭＵ７１との間の空間的関係とが、導出される。
図７は、識別マーカーＭＫ１が撮像されている場合のカメラ６０と識別マーカーＭＫ１との位置関係を表す概略図である。図７には、画像表示部２０と、装着帯９０の一部である装着基部９１と、カメラ６０と、装着基部９１に内蔵されて固定されているＩＭＵ７１と、制御部１０と、が示されている。また、図７には、制御部１０の内部において固定されているＩＭＵ１５および識別マーカーＭＫ１が示されている。さらに、図７には、Ｘ（Ｅａｓｔ），Ｙ（Ｎｏｒｔｈ），Ｚ（ｇｒａvｉｔｙ）の３軸で表される絶対座標系と、絶対座標系と異なる４つの座標系が示されている。なお、以降では、絶対座標系をワールド座標系とも呼ぶ。
絶対座標系と異なる４つの座標系の内の１つは、ＩＭＵ７１に固定されたＸ１，Ｙ１，Ｚ１の３軸で表される第１座標系である。他の１つは、ＩＭＵ１５に固定されたＸ２，Ｙ２，Ｚ２で表される第２座標系である。他の１つは、カメラ６０に固定されたＸ３，Ｙ３，Ｚ３で表されるカメラ座標系である。残りの１つは、識別マーカーＭＫ１に固定されたＸ４，Ｙ４，Ｚ４で表されるマーカー座標系である。また、図７には、カメラ座標系から第１座標系への回転行列Rcam2hmdImuと、マーカー座標系からカメラ座標系への回転行列Rmarker2camと、マーカー座標系から第２座標系への回転行列Rmarker2conImuと、が示されている。
ここで、ＩＭＵ７１からの配向（この場合、後述する対地配向）の出力は、第１座標系からワールド座標系への回転行列Rhmdimu2worldとして定義できる。同様に、ＩＭＵ１５から配向の出力は、第２座標系からワールド座標系への回転行列RconImu2worldとして定義できる。また、図７に示す以外の回転行列として、マーカー座標系からワールド座標系への回転行列をRmarker2worldと定義すると、下記の式（４）の関係が成立する。
Figure 0006565465
本実施形態では、オフラインキャリブレーションによって、カメラ６０とＩＭＵ７１との間の空間的関係を表す回転行列Rcam2hmdImuおよび識別マーカーＭＫ１とＩＭＵ１５との間の空間的関係を表す回転行列Rmarker2conImuを算出する。オフラインキャリブレーションは、繰り返し高精度化する非線形最適化を伴う。この点では、後述のオンラインキャリブレーションも同様である。これらの非線形最適化のための初期想定値については、設計時の値または装置の仕様の値を用いた精度の低い値でよく、例えば、下記の式（５）に表す値を初期想定値として用いてもよい。
Figure 0006565465
 式（４）から、算出部１６７は、ＩＭＵ１５が出力するＩＭＵ１５の配向を表す回転行列RconImu2worldおよび識別マーカーＭＫ１とＩＭＵ１５との間の空間的関係を表す回転行列Rmarker2conImuに基づいて、ＩＭＵ７１の配向の予測値を表す下記の式（６）の左辺を算出でき、下記の式（６）が導出される。本実施形態では「ＩＭＵの配向」とは、ＩＭＵの出力によって表され、ＩＭＵが静的な状態にある場合には、ＩＭＵの配向は地球の重力加速度の方向および地磁気に対するＩＭＵの姿勢を表し、上述の絶対座標系に対する姿勢である。本明細書ではＩＭＵが静状態にある場合のＩＭＵの配向を、ＩＭＵの「対地配向」とも呼ぶ。なお、以下において式中のinvは逆数を意味する。
Figure 0006565465
 式（４）から、同様に、算出部１６７は、ＩＭＵ７１が出力するＩＭＵ７１の対地配向を表す回転行列Rhmdimu2worldと、カメラ６０とＩＭＵ７１との間の空間的関係を表す回転行列Rcom2hmdImと、識別マーカーＭＫ１とカメラ６０との間の空間的関係を表す回転行列Rmarker2camと、識別マーカーＭＫ１とＩＭＵ１５との間の空間的関係を表す回転行列Rmarker2conImuと、に基づいて、ＩＭＵ１５の対地配向の予測値を表す下記の式（７）の左辺を算出でき、下記の式（７）が導出される。
Figure 0006565465
算出部１６７は、高精度の識別マーカーＭＫ１の検出アルゴリズムおよびホモグラフィーを用いて、式（７）における回転行列Rmarker2camを算出できる。
算出部１６７は、センサーノイズやマーカージッタリングを低減することで、より精度の高い予測値を算出できる。例えば、マーカージッタリングは、式（８）に示すように、静的な位置における識別マーカーＭＫ１を撮像した複数のフレームが平均化されることで低減される。
Figure 0006565465
 また、同様に、ＩＭＵのセンサー配向も静的な位置における複数のフレームが平均化されることで、式（９）、（１０）に示すように、センサーノイズおよび計測値の誤差を少なくできる。
Figure 0006565465
Figure 0006565465
 また、同様に、ＩＭＵ７１およびＩＭＵ１５における加速度センサー、ジャイロセンサー、および磁気センサーによって検出（または計測）される加速度、角速度、地磁気は、静的な位置における複数のフレームが平均化されることで、式（１１）−（１３）に示すように、融合部３００によって推定されたバイアスが修正／補償され、ドリフトが低減されたノイズの少ない値として算出される。
Figure 0006565465
Figure 0006565465
Figure 0006565465
 ここで、バイアスとしてのbacc (t)、bgyro (t)、bmag (t)は、融合部３００によって推定された動的なセンサードリフトである。
ＩＭＵが静的な状態にある場合、ＩＭＵが検出する加速度は、重力加速度のみである。ＩＭＵ７１またはＩＭＵ１５が検出する地磁気ｈ＝［ｈｘ，０， ｈｚ］の計測は、画像表示部２０および装着帯９０を装着している使用者の頭部の位置を推定する。本実施形態では、重力加速度および地磁気に対して、慣用されているノース・イースト・ダウン座標系（ＮＥＤ座標系）にしたがっている。重力ベクトルを、ｇ＝［０, ０, ｇ］（ｇ＝９．８１ｍ／ｓ２）とし、磁気傾斜角を５５度とみなして、地磁気を、ｈｘ＝０．２６ガウス（Ｇａｕｓｓ）、ｈｚ＝０．３７ガウスとしている。
ＮＥＤ座標系とは異なる磁場が存在する特定の環境では、非特許文献４に記載されているベクトル選択技術を採用した。このベクトル選択技術では、感知された磁場の強さｈhormおよびディップ角δdipは、所定の閾値を用いた磁場の公称値としてのλhおよびλdipと比較される。比較の結果、所定の閾値を超える磁気の計測は、キャリブレーションにおいて無視される。このベクトル選択技術において、誤差計測式は、式（９）、（１１）、および（１３）から、ＩＭＵ７１について、下記の式（１４）、（１５）のように表される。
Figure 0006565465
Figure 0006565465
 なお、式（１４）の右辺は、ＩＭＵ７１における加速度センサーが計測した加速度ベクトルACCobs(hmdimu)と、式（６）から予測されたＩＭＵ７１の配向を表す回転行列に重力加速度のベクトルgを乗じて得たベクトルとの差ベクトルの距離の２乗である。式（１５）の右辺は、ＩＭＵ７１における磁気センサーが計測した磁気ベクトルMagobs(hmdimu)と、式（６）から予測されたＩＭＵ７１の配向を表す回転行列に地磁気ベクトルhを乗じて得たベクトルとの差ベクトルの距離の２乗である。
また、式（１０）、（１１）、および（１３）から、ＩＭＵ１５について、下記の式（１６）、（１７）のように表される。
Figure 0006565465
Figure 0006565465
 なお、式（１６）の右辺は、ＩＭＵ１５における加速度センサーが計測した加速度ベクトルACCobs(conImu)と、式（７）から予測されたＩＭＵ１５の配向を表す回転行列に重力加速度のベクトルgを乗じて得たベクトルとの差ベクトルの距離の２乗である。式（１７）の右辺は、ＩＭＵ１５における磁気センサーが計測した磁気ベクトルMagobs(conImu)と、式（７）から予測されたＩＭＵ１５の配向を表す回転行列に地磁気ベクトルhを乗じて得たベクトルとの差ベクトルの距離の２乗である。そのため、誤差を低減するために最小化したいコスト関数は、下記の式（１８）のように表される。
Figure 0006565465
 ここで、η0，η1，η2，η3は、各項の差を調整するための重み付けをする係数である。この係数は、式（１９）に示すように、センサーのノイズの分散に応じて設定される。
Figure 0006565465
 ＩＭＵが地磁気を検出しない場合には、コスト関数は、３軸の加速度についてのみ考えればよく、式（２０）のように表される。
Figure 0006565465
 コスト関数については、周知の関数を適用可能である。
本実施形態では、カメラ６０が、ＩＭＵ７１を内蔵する装着基部９１に対して回動可能であるため、結果として、カメラ６０に固定された座標系がＩＭＵ７１に固定された座標系に対して可動である。本実施形態では、カメラ６０が、その可動範囲の両端のそれぞれにセットされた場合について、演算部１６７は、複数の異なる静的な位置におけるデータを収集する。収集するデータは、（１）ＩＭＵ７１に含まれる加速度センサーおよび磁気センサーの出力であるACCobs(hmdimu)およびMagobs(hmdimu)、（２）融合部３００が出力するＩＭＵ７１の配向Rimuhmd2world、（３）ＩＭＵ１５に含まれる加速度センサーおよび磁気センサーの出力であるACCobs(conImu)およびMagobs(conImu)、（４）融合部３００が出力するＩＭＵ１５の配向RimuCon2world、（５）識別マーカーＭＫ１とカメラ６０との間の空間的関係を表す回転行列Rmarker2camである。以上のデータをキャリブレーションデータとも表記する。後述するオンラインキャリブレーションにおいても、上記（１）〜（５）のキャリブレーションデータを収集する。そして、算出部１６７は、収集したデータに基づいて、上述した式（１８）または式（２０）の左辺を最小化することで、識別マーカーＭＫ１とＩＭＵ１５との間の空間的関係およびカメラ６０とＩＭＵ７１との間の空間的関係を算出する。式（１８）または式（２０）を最小化するための具体的方法は、後述のＡ−３−２において述べる。なお、算出された識別マーカーＭＫ１とＩＭＵ１５との間の空間位置関係は、後述するオンラインキャリブレーションでは、固定値として利用される。
図８は、２つの異なる静的な位置にある画像表示部２０および装着帯９０の概略図である。図９は、静的な位置にあるカメラ６０が撮像する識別マーカーＭＫ１との関係を表す説明図である。図１０は、姿勢が異なる識別マーカーＭＫ１がカメラ６０に撮像された画像の概略図である。図９には、カメラ６０が撮像可能な撮像範囲に、３パターンの異なる位置に存在する制御部１０が示されている。なお、図９では、３つの制御部１０が一度に撮像されることを表すものではなく、一度に撮像されるわけではないことを表すために、２つの制御部１０については、破線で示されている。図１０には、制御部１０の裏面に配置された識別マーカーＭＫ１が撮像された向きや位置に応じて、識別マーカーＭＫ１の撮像画像が異なることが表されている。図１０には、一例として、６つの識別マーカーＭＫ１の撮像画像が示されているが、識別マーカーＭＫ１の撮像画像については、図１０に示す画像に限られない。
Ａ−３−１．キャリブレーションデータ収集処理：
図１１は、本実施形態において、オフラインキャリブレーションを実行するために異なる静的な位置で、ＩＭＵ１５、７１からのデータを収集するとともに識別マーカーＭＫ１を撮像する処理のフローチャートである。具体的にはこの処理によって、上述のキャリブレーションデータ（１）〜（５）が収集される。マーカー撮像処理では、初めに、カメラ６０の撮像範囲の中で、識別マーカーＭＫ１の位置や向き（以下、ＩＭＵ１５の姿勢とも呼ぶ）を変更する（ステップＳ４３）。算出部１６７は、カメラ６０の静的な位置が固定された状態で、異なる姿勢のそれぞれでのキャリブレーションデータを収集する（ステップＳ４５）。算出部１６７は、ＨＭＤに対する識別マーカーＭＫ１の姿勢が異なるＮ個のキャリブレーションデータを収集したか否かを判定する（ステップＳ４７）。算出部１６７は、Ｎ個未満のキャリブレーションデータしか取得できていないと判定した場合には（ステップＳ４７：ＮＯ）、識別マーカーＭＫ１の姿勢の変化がＮ個以上になるように使用者に促して、ステップＳ４３移行の処理を行なう。なお、当該処理および以降の処理も含め、使用者への各種処理を促す方法としては、イヤホン３２，３４による音声出力および光学像表示部２６，２８による文字画像の表示などの方法がある。
ステップＳ４７の処理において、算出部１６７は、識別マーカーＭＫ１の姿勢をＮ個以上変えてキャリブレーションデータを収集していると判定した場合には（ステップＳ４７：ＹＥＳ）、ＨＭＤの静的な位置（以下、ＩＭＵ７１の姿勢とも呼ぶ）がＭ個変えられてキャリブレーションデータが収集されたか否かを判定する（ステップＳ４９）。算出部１６７は、ＨＭＤの姿勢がＭ個未満の姿勢であると判定した場合には（ステップＳ４９：ＮＯ）、ステップＳ４３以降の処理を再度行なうように使用者に促す。ステップＳ４９の処理において、算出部１６７は、キャリブレーションデータを既に取得した画像表示部２０の姿勢がＭ個以上であると判定した場合には（ステップＳ４９：ＹＥＳ）、画像表示部２０の姿勢の数であるＭ個に識別マーカーＭＫ１の姿勢の数であるＮ個を乗じた積の数のデータを、キャリブレーションを実行するためのデータとして収集して（ステップＳ５１）、マーカー撮像処理を終了する。
Ａ−３−２．最適化処理：
本実施形態では、非線形のコスト関数を定義して、定義したコスト関数を最小化することで、キャリブレーションの誤差を低減する最適化処理を実行する。コスト関数としては、ガウス・ニュートン法を用いたエネルギー関数が用いられる。ガウス・ニュートン法を用いると、マーカー撮像処理によって取得された画像表示部２０のＭ個の姿勢の撮像データにおける数値の二乗和を最小化することで、キャリブレーションの誤差を最小にできる。ガウス・ニュートン法を用いたコスト関数Ｅは、下記の式（２１）で表される。
Figure 0006565465
 本実施形態では、e2(r)は,式（１８）で表わされ得る。最小値は、設定された初期予測値に対して、式（２２）のように、ｒを徐々に変化させることを繰り返すことで、導出される。
Figure 0006565465
 式（２２）における増分Δｒが正規方程式の解であり、式（２１）のeは、ヤコビ行列を用いて、式（２３）で表される。
Figure 0006565465
 ガウス・ニュートン法の二乗和を最小化するには、式（２４）を解けばよい。
Figure 0006565465
 増分Δｒは、下記の式（２５）によって導出される。
Figure 0006565465
 ここで、回転行列は、一般的に、オイラー角を用いて以下の式（２６）、（２７）のように表される。
Figure 0006565465
Figure 0006565465
 前述したオフラインキャリブレーションでは、カメラ６０とＩＭＵ７１との間の空間的関係を表す回転行列Rcam2hmdImuおよび識別マーカーＭＫ１とＩＭＵ１５との間の空間的関係を表す回転行列Rmarker2conImuを、式（２８）、（２９）のように表すことができる。
Figure 0006565465
Figure 0006565465
 本実施形態では、上記式で表したｒは、式（３０）、（３１）のように表される。
Figure 0006565465
Figure 0006565465
図１２は、コスト関数Ｅを用いた最適化処理のフローチャートである。最適化処理では、初めに、算出部１６７が、キャリブレーションデータ収集処理（図１１）で収集し、記憶したキャリブレーションデータを用いて、コスト関数Ｅを計算する（ステップＳ６１）。算出部１６７は、コスト関数Ｅの計算にヤコビ行列を用いて計算する（ステップＳ６３）。算出部１６７は、ヤコビ行列を解くことで、Δｒを計算して、ｒｎを算出する（ステップＳ６５）。算出部１６７は、（Ａ）算出したｒｎを用いたΔｒが予め設定された所定値以下または（Ｂ）繰り返しの回数ｎが予め設定された上限値以上であるか否かを判定する（ステップＳ６７）。算出部１６７は、（Ａ）または（Ｂ）のいずれの条件も満たさないと判定した場合には（ステップＳ６７：ＮＯ）、ステップＳ５１以降の処理を繰り返す。算出部１６７は、（Ａ）と（Ｂ）との少なくとも一方の条件を満たしたと判定した場合には（ステップＳ６７：ＹＥＳ）、ノイズ等の誤差を少なくしたｒまたは回転行列Rcam2hmdImuおよび回転行列Rmarker2conImuを出力して（ステップＳ６９）、最適化処理を終了する。なお、コスト関数Ｅを用いて、ノイズを少なくする最適化処理を行なうことをリファインするともいう。図５に示すように、オフラインキャリブレーションは、例えば、工場またはＨＭＤ１００の使用者に実施される。
Ａ−４．オンラインキャリブレーション：
オンラインキャリブレーションも、オフラインキャリブレーションと同様に、上記式（１）から式（３１）に基づいている。本実施形態では、カメラ６０のレンズ部６２は、カメラ基部６１に対して矢印ＣＳ１（図１）に沿って回動可能である。すなわち、レンズ部６２は、カメラ基部６１に対して、１軸を中心軸として回動し、その他の２軸に対しては向きを変えない、すなわち回動しない。そのため、本実施形態のオンラインキャリブレーション実行処理では、カメラ基部６１が中心軸の回りの１自由度の回転としてモデル化できる。カメラ基部６１が上下のそれぞれに最も回動した場合の２端点の間を補間するために、球面線形補完（ＳＬＥＲＰ）および四元数（ｐ、ｑ、θ、ｔ）を用いて、式（３２）が導出される。
Figure 0006565465
 式（３２）におけるｐ、ｑは、回動の２端点を表し、θは、２端点の間の角度を表す。パラメーターであるｔは、０以上１以下の数値をとる。２端点の間の角度が０度に近い場合には、式（３２）における分母が０で除することを回避するため、式（３３）で表す線形補間を使用する。
Figure 0006565465
 結果として、本実施形態のオンラインキャリブレーションでは、式（３２）または式（３３）のパラメーターであるｔが推定されることで、ＩＭＵ７１に対するカメラ６０の空間的関係が導出される。この導出において、識別マーカーＭＫ１とＩＭＵ１５との間の空間的関係は、オフラインキャリブレーションにより導出された空間的関係に固定されればよい。
オンラインキャリブレーションの精度を上げるために、キャリブレーションデータを収集するカメラ６０の複数の静的な位置は、画像表示部２０および装着帯９０を装着した使用者の頭部の動きにより、互いに大きく異なっていることが望ましい。使用者が識別マーカーＭＫ１のキャリブレーションデータを取得する手順は、使用者の視界に識別マーカーＭＫ１が存在している状態で、使用者が首を横に振るまたは頷く行為を行ない、かつ当該行為の端点では、使用者が２，３秒間、頭部を静止させることが望ましい。そして、この静止している間に、好適には複数回に亘ってキャリブレーションデータが収集され得る。ただし、使用者が頭部を動かすことは必須ではなく、１つの静的な相対位置において収集されたキャリブレーションデータが用いられても、ＩＭＵ７１に対するカメラ６０の空間的関係は導出され得る。
実際の撮像状況では、使用者にとって、頷いた状態などの端点で正確に静止することが難しい。具体的には、使用者は、静止していると認識している状態でも、手や頭が小刻みに震えており、この震えはキャリブレーションの誤差の原因となりえる。なお、震え（ジッターともいう）も含む静止状態を、本明細書では、静状態とも呼ぶ。静状態における使用者のジッターは、並進ではなく、回転による運動に支配されているため、静状態での検出値は、角速度を検出するジャイロセンサーによって検出される。本実施形態では、ＣＰＵ１４０における静状態判定部が、ジャイロセンサーによって検出される角速度が静状態におけるジッターか使用者が意図する頭の回転かを、検出値の大きさだけでなく、時間の経過に伴う検出値の履歴である使用者の頭部の動き履歴に基づいて、静状態であるか否かの確率を定義する。具体的には、まず、静状態判定部は、ＩＭＵ７１に含まれるジャイロセンサーの検出値を記憶部に記憶する。そして、記憶部に記憶された記録値に基づき、所定の期間の動き履歴の分散を求める。ここで、静状態判定部は、所定の期間の動き履歴の分散が小さい場合には、安定した角速度の検出であり、ジッターであると判定する。る。静状態の確率は、下記の式（３４）で表される。
Figure 0006565465
 式（３４）は、時刻ｔでの静状態の確率であり、ｖ（ｔ）は、短い固定された時間における角速度の分散であり、ｍ（ｔ）は、当該固定された時間における角速度の平均値であり、ω（ｔ）は、ＩＭＵセンサー融合の後のドリフトが排除された角速度であり、式（３５）のように表される。
Figure 0006565465
 式（３４）におけるσｖ、σｍ、σωは、擬似静止状態を表すパラメーターである。
使用者の頭部の静状態は、２，３秒と短いことが多いため、角速度の分散および角速度の平均を短い時間Ｔ（例えば、１秒）として計算する。角速度の平均値は、式（３６）のように表すことができ、角速度の分散は、式（３７）のように表すことができる。
Figure 0006565465
Figure 0006565465
 本実施形態では、使用者の頭部の角速度が全く検出されない状態と、式（３４）で表す確率が予め設定された閾値以上（例えば、８０％以上）の場合に、ＣＰＵ１４０における静状態判定部は、使用者の頭部が静止していると判断する。つまり、静状状態判定部は、所定期間内の角速度の分散、角速度の平均およびその時点での角速度に基づいて判定する。算出部１６７は、使用者の頭部が静止していると判断した場合に、自動的に、キャリブレーションデータを収集する。本実施形態のオンラインキャリブレーションの実行中では、識別マーカーＭＫ１の検出が３０ｆｐｓ（frame per second）で行なわれ、装着基部９１に内蔵されたＩＭＵ７１は、識別マーカーＭＫ１の検出よりもさらに高いレート（例えば、１００ＭＨｚ）で行なわれる。本実施形態では、できるだけ異なる位置での撮像データによるキャリブレーションを実行するために、２つの異なる静的な位置の間での大きな角度差（例えば、２０度以上）を要求している。角度差θは、下記の式（３８）で表される。
Figure 0006565465
Ａ−４−１．キャリブレーションデータ処理：
図１３は、静状態の判定を加えた撮像データ取得処理の流れを示す説明図である。図１３では、以上で説明した使用者の頭部の静状態の確率判定の処理も含めた１軸回転のカメラ６０を有するＨＭＤ１００の撮像データ処理が示されている。撮像データ取得処理では、初めに、マーカー識別部１６５は、カメラ６０の撮像範囲に識別マーカーＭＫ１が含まれるか否かを判定する（ステップＳ７１）。マーカー識別部１６５は、ＲＯＭ１２１に記憶された識別マーカーＭＫ１に対応する画像データを用いて、識別マーカーＭＫ１を撮像範囲から抽出する。マーカー識別部１６５は、撮像範囲に識別マーカーＭＫ１が含まれていないと判定した場合には（ステップＳ７１：ＮＯ）、撮像範囲に識別マーカーＭＫ１が含まれるように、識別マーカーＭＫ１の位置を変化させるよう使用者に促す（ステップＳ７３）。
ステップＳ７３の処理において、撮像範囲に識別マーカーＭＫ１が含まれると判定された場合には（ステップＳ７３：ＹＥＳ）、算出部１６７は、ＩＭＵ７１が検出する角速度等の検出値と、ＩＭＵ１５が検出する角速度等の検出値とを用いて、カメラ６０および識別マーカーＭＫ１が静状態であるか否かを判定する（ステップＳ７５）。すなわち、算出部１６７は、画像表示部２０および装着帯９０を装着している使用者と、使用者の視界に含まれる識別マーカーＭＫ１とが固定された状態であるか否かを判定する。算出部１６７は、カメラ６０および識別マーカーＭＫ１が静状態でないと判定した場合には（ステップＳ７５：ＮＯ）、使用者に頭部および識別マーカーＭＫ１が配置された制御部１０の位置を固定するように促す（ステップＳ７７）。
ステップＳ７５の処理において、算出部１６７は、上述した式（３４）等を用いて、カメラ６０および識別マーカーＭＫ１が静状態であると判定した場合には（ステップＳ７５：ＹＥＳ）、キャリブレーションデータを収集して、収集したキャリブレーションデータが示すカメラ６０の角度と、直前に取得されたキャリブレーションデータが示すカメラ６０の角度との角度差（静状態にある位置間や配向間の角度差）を算出する（ステップＳ７９）。算出部１６７は、算出した角度差が予め設定された角度（例えば、２０度）以上であるか否かを判定する（ステップＳ８１）。算出部１６７は、算出した角度差が設定された角度未満であると判定した場合には（ステップＳ８１：ＮＯ）、角度差が設定された角度を満たす撮像データを取得するために、使用者に頭部を動かすように促し（ステップＳ８３）、ステップＳ４１以降の処理を実行する。
ステップＳ８１の処理において、算出部１６７は、算出した角度差が設定された角度以上である判定した場合には（ステップＳ８１：ＹＥＳ）、ＩＭＵ１５、ＩＭＵ７１、カメラ６０の撮像から、キャリブレーションデータを収集する（ステップＳ８５）。具体的には、算出部１６７は、算出した角度差が設定された角度以上と判定することをトリガーとして、静状態におけるＩＭＵ１５、７１のデータ（その配向でＩＭＵにより計測された加速度および地磁気）、ＩＭＵの絶対配向、カメラ６０に対する識別マーカーＭＫ１の姿勢を検出する。なお、本実施形態のカメラ６０の可動範囲は、２０度から２５度までになるように設定されている。
次に、算出部１６７は、キャリブレーションデータを、予め設定された数以上収集したか否かを判定する（ステップＳ８７）。算出部１６７は、予め設定された数以上のキャリブレーションデータを収集していないと判定した場合には（ステップＳ８７：ＮＯ）、さらにデータを収集するために、ステップＳ４１以降の処理を繰り返す。
ステップＳ８７の処理において、算出部１６７は、予め設定された数以上のキャリブレーションデータを取得したと判定した場合には（ステップＳ８７：ＹＥＳ）、収集したキャリブレーションデータを記憶し（ステップＳ８９）、キャリブレーションデータ収集処理を終了する。
Ａ−４−２．コスト関数最適化処理：
本実施形態では、式（３２）であらわすパラメーターｔを０から１までの０．２５毎（t=0,t=0.25,t=0.5,0.75,1）に検索する（サーチする）荒いコスト関数と、パラメーターとを０から１までを０．１毎（t=0,t=0.1,t=0.2,・・・t=1）にサーチする高精度のコスト関数と、のいずれのコスト関数によってキャリブレーションが実行されてもよい。荒いコスト関数では、最適化した後のパラメーターｔに相当するパラメーターｔ*は、下記の式（３９）で表される。
Figure 0006565465
図１４は、コスト関数を最適化するためのコスト関数最適化処理のフローチャートである。図１４に示すコスト関数最適化処理では、算出部１６７が、荒いコスト関数を最適化することで、式（３９）に示すパラメーターｔ*を算出する。コスト関数最適化処理では、初めに、算出部１６７は、０から１までを０．２５毎にパラメーターｔについてサーチする（ステップＳ９１）。次に、算出部１６７は、サーチの結果とキャリブレーションデータ収集処理（図１３）によって収集されたキャリブレーションデータとを用いてコスト関数（式（１８）、（２１））を計算する（ステップＳ９３）。算出部１６７は、コスト関数を計算することによって、最適化されたパラメーターｔ*を算出する（ステップＳ９５）。次に、算出部１６７は、算出したｔ*を、さらに高精度のサーチによってより最適化するか否かを決定する（ステップＳ９７）。算出部１６７は、予め設定された指令に従い、パラメーターｔに対して、０．１毎の高精度のサーチを行なうか否かを決定する。算出部１６７は、高精度のサーチを行なうと決定した場合には（ステップＳ９７：ＹＥＳ）、算出したｔ*の近くの値に対して高精度のサーチを行ない（ステップＳ９９）、ステップＳ９３以降の処理を実行する。
ステップＳ９７の処理において、密なサーチを行わないと決定した場合には（ステップＳ１０１）、算出したパラメーターｔ*を、カメラ６０の位置を表すパラメーターｔとして出力する。図５に示すように、想定されるオンラインキャリブレーションの実施主体は、ＨＭＤ１００の使用者個人である。なお、本実施形態では、カメラ６０とＩＭＵ７１との間に１つの軸の回りでの回転関係しかないが、他の実施形態では、カメラ６０とＩＭＵ７１との間に、２軸以上の回りでの回転関係があってもよく、この場合でも、式（１８）または（２０）を用いて、カメラ６０とＩＭＵ７１との間の空間的関係を導出することができる。
以上説明したように、本実施形態のＨＭＤ１００では、ＩＭＵ７１がＩＭＵ７１の配向（対地姿勢）を表すデータを検出し、ＩＭＵ１５が、ＩＭＵ１５の配向を表すデータを検出する。外景を撮像するカメラ６０は、撮像範囲を装着帯９０に固定されたＩＭＵ７１に対して変化させることができる。算出部１６７は、カメラ６０が識別マーカーＭＫ１を撮像した撮像データを用いて、カメラ６０と識別マーカーＭＫ１との間の空間的関係を表す回転行列Rmarker2camを算出する。そして、算出部１６７は、検出されたＩＭＵ７１の配向を含むデータと、ＩＭＵ１５の配向を含むデータと、カメラ６０と識別マーカーＭＫ１との間の空間的関係と、に基づいて、カメラ６０とＩＭＵ７１との間の空間的関係を導出する。また、静的な位置におけるＩＭＵ７１の配向およびＩＭＵ１５の配向を取得すればよいので、動的な位置での撮像と比較して、時間の同期（シンクロ）の問題がなく、精度の高いキャリブレーションを実行できる。また、画像表示部２０に対応するＩＭＵ７１と、識別マーカーＭＫ１に対応するＩＭＵ１５との２つのＩＭＵによって検出された加速度がキャリブレーションの実行に用いられることで、変換する座標軸における精度の高い配向を得ることができる。また、キャリブレーションの実行では、制御部１０に配置された識別マーカーＭＫ１が用いられるため、ＨＭＤ１００以外の装置が不要となり、使用者の利便性が向上する。
また、本実施形態のＨＭＤ１００では、カメラ６０は、１軸に対して矢印ＣＳ１に沿って回動可能であり、その他の軸に対しては回動しない。そのため、本実施形態のＨＭＤ１００では、式（３２）のように、簡略化した式を用いてキャリブレーションを実行でき、第１変換パラメーターＰＭ１および第２変換パラメーターＰＭ２を算出するまでの処理を迅速に行なえる。
Ｂ．第２実施形態：
第２実施形態では、第１実施形態の「Ａ−３−５．コスト関数最適化処理」についてのみ異なるため、コスト関数最適化処理について説明し、その他の構成および処理等については、説明を省略する。
図１５は、第２実施形態のコスト関数最適化処理のフローチャートである。第２実施形態では、コスト関数をより最適化するために、カメラ６０の配向がパラメーターｔ*に近い値であるとの制約を付加して、コスト関数に対して非線形の最適化が行なわれる。第２実施形態のコスト関数最適化処理では、算出部１６７は、キャリブレーションデータ収集処理（図１３）によって取得されたデータを用いてコスト関数を計算する（ステップＳ１１１）。算出部１６７は、式（２３）ないし式（２５）に示すヤコビ行列を計算する（ステップＳ１１３）。算出部１６７は、上述した制約を付加して、回転行列Rcam2hmdImuを更新する（ステップＳ１１５）。算出部１６７は、更新された回転行列Rcam2hmdImuに含まれる誤差が予め設定された許容誤差以下であるか否かを判定する（ステップＳ１１７）。算出部１６７は、回転行列Rcam2hmdImuに含まれる誤差が許容誤差よりも大きいと判定した場合には（ステップＳ１１７：ＮＯ）、ステップＳ１１１以降の処理を繰り返す。ステップＳ１１７の処理において、算出部１６７は、回転行列Rcam2hmdImuに含まれる誤差が許容誤差以下であると判定した場合（ステップＳ１１７：ＹＥＳ）、更新された回転行列Rcam2hmdImuを高精度化された回転行列Rcam2hmdImuとして出力し（ステップＳ１１９）、コスト関数最適化処理を終了する。
Ｃ．第３実施形態：
図１６は、第３実施形態のＨＭＤ１００ａを含む画像表示システム５００を機能的に示すブロック図である。第３実施形態では、第１実施形態の識別マーカーＭＫ１の代わりに、ＨＭＤ１００とは異なる他の装置であるマーカー表示装置４００の表示パネルに、識別マーカーＭＫ１に対応する画像が表示されることで、キャリブレーションが実行される。
図１６に示すように、画像表示システム５００は、ＨＭＤ１００ａと、マーカー表示装置４００と、を備える。第３実施形態のＨＭＤ１００ａは、第１実施形態のＨＭＤ１００と比較して、制御部１０ａの構成が異なり、その他の構成については同じであるため、同じ構成については説明を省略する。制御部１０ａは、第１実施形態の制御部１０が有する構成に加えて、通信部１２８を有し、ＩＭＵ１５を有しない。通信部１２８は、他の装置を情報の送受信を行なうことができる。通信部１２８は、ＲＯＭ１２１に記憶されている識別マーカーＭＫ１の画像データを、マーカー表示装置４００へと送信する。また、通信部１２８は、他の装置から送信された情報を受信する。なお、第２実施形態では、通信部１２８および算出部１６７が請求項における算出部に相当する。
マーカー表示装置４００は、画像を表示可能な表示パネル４１０を有する装置である。マーカー表示装置４００としては、例えば、スマートフォンや携帯電話などが挙げられる。マーカー表示装置４００は、表示パネル４１０と、他の装置と情報を送受信できる送受信部４２０と、表示パネル４１０への画像表示の制御を行なうパネル制御部４３０と、ＩＭＵ４４０と、を備えている。送受信部４２０は、通信部１２８から送信された画像データを受信する。パネル制御部４３０は、送受信部４２０が受信した画像データを用いて、表示パネル４１０に識別マーカーＭＫ１に対応するマーカー画像ＩＭＧを表示させる。ＩＭＵ４４０は、ＩＭＵ４４０を内蔵しているマーカー表示装置４００の加速度と、角速度と、地磁気と、を検出し、ＩＭＵ４４０の配向を出力する慣性センサーである。送受信部４２０は、ＩＭＵ４４０が検出した加速度およびＩＭＵ４４０の配向などをデータとして通信部１２８へと送信する。通信部１２８は、送受信部４２０から送信されたＩＭＵ４４０の検出値を受信する。算出部１６７は、ＩＭＵ４４０のからのデータを用いて、キャリブレーションを実行する。
以上説明したように、第３実施形態では、第１実施形態の識別マーカーＭＫ１の代わりに、マーカー表示装置４００の表示パネル４１０にマーカー画像ＩＭＧが表示される。そのため、マーカー画像ＩＭＧを受信して表示できる装置さえあれば、実物としてのマーカーＭＫ１を携帯していなくてもキャリブレーションを実行でき、使用者の利便性が向上する。
Ｄ．変形例：
なお、この発明は上記実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。
カメラ６０によって撮像される識別マーカーＭＫ１は、第１実施形態では、制御部１０の裏面に配置され、第３実施形態では、表示パネル４１０にマーカー画像ＩＭＧとして表示されたが、態様については種々変形可能である。例えば、制御部１０以外の使用者が携帯できる装置のどこかに配置されていてもよい。
第１実施形態では、ＩＭＵ７１およびＩＭＵ１５は、加速度と角速度と地磁気とのそれぞれを検出したが、加速度のみを検出してもよく、角速度や地磁気については検出しなくてもよい。例えば、ＩＭＵ７１およびＩＭＵ１５は、加速度のみを検出するセンサーに代用してもよいし、角速度と地磁気とも異なる圧力を検出してもよい。
上記実施形態では、画像表示装置として、外景を透過するシースルー型のＨＭＤ１００が用いられたが、画像表示装置の態様については種々変形可能である。例えば、モニターを有するパーソナルコンピューター（ＰＣ）によって、カメラ６０を基準とする座標系とＰＣのモニターまたは他の装置の画像表示部を基準とする座標系とを変換する第１変換パラメーターＰＭ１および第２変換パラメーターＰＭ２が算出される画像表示装置であればよい。
上記第１実施形態では、カメラ６０は、装着帯９０に対して、矢印ＣＳ１に沿うように１軸を中心軸として回転可能であったが、それ以外の軸に対して書いて可能であってもよい。例えば、カメラ６０は、３軸の全てに対して回転可能であってもよいし、回転だけでなく、並進方向に平行移動する構成であってもよい。
本発明は、上記実施形態や変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや、組み合わせを行なうことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
１０…制御部（識別部）
１５…ＩＭＵ（第２慣性センサー）
２０…画像表示部
２１…右保持部
２２…右表示駆動部
２３…左保持部
２４…左表示駆動部
２６…右光学像表示部
２８…左光学像表示部
３０…イヤホンプラグ
３２…右イヤホン
３４…左イヤホン
４０…接続部
４２…右コード
４４…左コード
４６…連結部材
４８…本体コード
５１，５２…送信部
５３，５４…受信部
６０…カメラ
６１…カメラ基部
６２…レンズ部
７１…ＩＭＵ（第１慣性センサー）
９０…装着帯
９１…装着基部
９２…ベルト部
９３…連結部
１００…ＨＭＤ
１２１…ＲＯＭ
１２２…ＲＡＭ
１２８…通信部（算出部）
１３０…電源
１３５…操作部
１３９…識別対象記憶部
１４０…ＣＰＵ
１５０…オペレーティングシステム
１６０…画像処理部
１６５…マーカー識別部
１６７…算出部（算出部）
１７０…音声処理部
１８０…インターフェイス
１９０…表示制御部
２００…融合部
２０１…右バックライト制御部
２０２…左バックライト制御部
２１１…右ＬＣＤ制御部
２１２…左ＬＣＤ制御部
２２１…右バックライト
２２２…左バックライト
２４１…液晶ディスプレイ
２５１…右投写光学系
２６１…右導光板
２６２…左導光板
３００…融合部
３１０…測定部
３１１…ローパスフィルター
３１２…ローパスフィルター
３１３…チルト角測定部
３１４…ヨー角測定部
３２０…予測部
３３０…更新部
３４０…重力取消部
３５０…回転補正部
４００…マーカー表示装置
４１０…表示パネル
４２０…送受信部（識別部）
４３０…パネル制御部
４４０…ＩＭＵ（第２慣性センサー）
５００…画像表示システム
ＡＰ…先端部
ＣＳ１…矢印
ＥＬ…左光学像表示部の端部
ＥＲ…右光学像表示部の端部
ＩＭＧ…マーカー画像
ＬＥ…左眼
ＲＥ…右眼
ＭＫ１…識別マーカー（マーカー）
ＯＡ…外部機器
Ｐ０、Ｐ１，Ｐ２，Ｐ３…頂点
ＰＭ１…第１変換パラメーター
ＰＭ２…第２変換パラメーター

Claims (8)

  1. 画像表示装置であって、
    第１慣性センサーと、
    撮像部と、
    算出部と、を備え、
    前記算出部は、
    前記撮像部が、前記第１慣性センサーに対して可動な第２慣性センサーを備えた識別部が提示するマーカーを撮像し撮像画像を取得した場合に前記撮像画像に少なくとも基づいて前記マーカーと前記撮像部との間の第１空間位置関係を算出し、
    前記マーカーが撮像された場合の前記第１慣性センサーおよび前記第２慣性センサーからそれぞれ得られる前記第１慣性センサーの第１配向を含む第１データおよび前記第２慣性センサーの第２配向を含む第２データと、前記第１空間位置関係と、に少なくとも基づいて、前記撮像部と前記第１慣性センサーとの間の第２空間位置関係を算出する、
    画像表示装置。
  2. 請求項１に記載の画像表示装置であって、さらに、
    前記第１データを格納する第１メモリ領域と、
    前記第２データを格納する第２メモリ領域と、
    前記第１空間位置関係を格納する第３メモリ領域と、を備え、
    前記算出部は、前記第１メモリ領域に格納された前記第１データと、前記第２メモリ領域に格納された前記第２データと、前記第３メモリ領域に格納された前記第１空間位置関係と、を用いて、前記第２空間位置関係を算出する、
    画像表示装置。
  3. 請求項１記載の画像表示装置であって、
    さらに、静状態判定部を備え、
    前記静状態判定部が、前記第１慣性センサーおよび前記第２慣性センサーからの出力に基づいて、前記第１慣性センサーおよび前記第２慣性センサーが静状態にあると判定した場合に前記撮像部が前記マーカーを撮像するとともに、前記算出部が前記第１慣性センサーおよび前記第２慣性センサーからそれぞれ前記第１データおよび前記第２データを取得し、
    前記算出部は、前記取得された前記第１データと、前記第２データと、前記マーカーを撮像することにより得られた撮像画像に基づく前記第１空間位置関係と、に少なくとも基づいて、前記第２空間位置関係を算出する、
    画像表示装置。
  4. 請求項３記載の画像表示装置であって、
    さらに、前記マーカーと前記第２慣性センサーとの間の第３空間位置関係を記憶する記憶部を有し、
    前記算出部は、前記第１データと、前記第２データと、前記第１空間位置関係と、前記第３空間位置関係と、に少なくとも基づいて、前記第２空間位置関係を算出する、
    画像表示装置。
  5. 請求項３に記載の画像表示装置であって、
    さらに、前記マーカーと前記第２慣性センサーとの間の第３空間位置関係を記憶する記憶部を有し、
    前記静状態判定部が、前記第１慣性センサーおよび前記第２慣性センサーが静状態にあると判定した場合に、前記算出部は、さらに、前記第１慣性センサーが計測した第１加速度および前記第１配向を含む前記第１データと、前記第２慣性センサーが計測した第２加速度および前記第２配向を含む前記第２データと、を取得し、
    前記算出部は、取得された前記第１加速度と、前記第１配向と、前記第２加速度と、前記第２配向と、前記第１空間位置関係と、前記第３空間位置関係と、に少なくとも基づいて、前記第２空間位置関係を算出する、
    画像表示装置。
  6. 請求項１から請求項５までのいずれか一項に記載の画像表示装置であって、
    前記撮像部は、所定の１軸を中心に回転可能に形成され、前記所定の１軸と直交する他の２軸に対しては回転できないように形成されている、画像表示装置。
  7. 加速度を検出可能な第１慣性センサーと、外景を撮像可能な撮像部と、を備える画像表示装置のためのコンピュータープログラムであって、
    算出機能は、
    前記撮像部が、前記第１慣性センサーに対して可動な第２慣性センサーを備えた識別部が提示するマーカーを撮像し撮像画像を取得した場合に前記撮像画像に少なくとも基づいてマーカーと前記撮像部との間の第１空間位置関係を算出し、
    前記マーカーが撮像された場合の前記第１慣性センサーおよび前記第２慣性センサーからそれぞれ得られる前記第１慣性センサーの第１配向を含む第１データおよび前記第２慣性センサーの第２配向を含む第２データと、前記第１空間位置関係と、に少なくとも基づいて、前記撮像部と前記第１慣性センサーとの間の第２空間位置関係を算出する機能を、画像表示装置に実現させるためのコンピュータープログラム。
  8. 画像を表示可能な第１表示部を有する頭部装着型表示装置と、マーカーの画像を表示可能な第２表示部を有するマーカー表示装置と、を備える画像表示システムであって、
    前記頭部装着型表示装置は、
    第１慣性センサーと、
    撮像部と、
    前記マーカーの画像を送信する算出部と、を備え、
    前記マーカー表示装置は、
    前記算出部から送信された前記マーカーの画像を受信する被識別部と、
    前記被識別部に設けられた第２慣性センサーと、を備え、
    前記算出部は、
    前記撮像部が、前記第２表示部に表示された前記マーカーを撮像し撮像画像を取得した場合に前記撮像画像に少なくとも基づいて前記マーカーとの前記撮像部と間の第１空間位置関係を算出し、
    前記マーカーが撮像された場合の前記第１慣性センサーおよび前記第２慣性センサーからそれぞれ得られる前記第１慣性センサーの第１配向を含む第１データおよび前記第２慣性センサーの第２配向を含む第２データと、前記第１空間位置関係と、に少なくとも基づいて、前記撮像部と前記第１慣性センサーとの間の第２空間位置関係を算出する、画像表示システム。
JP2015159484A 2015-08-12 2015-08-12 画像表示装置、コンピュータープログラム、および画像表示システム Active JP6565465B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015159484A JP6565465B2 (ja) 2015-08-12 2015-08-12 画像表示装置、コンピュータープログラム、および画像表示システム
US15/210,593 US9864192B2 (en) 2015-08-12 2016-07-14 Image display device, computer program, and image display system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015159484A JP6565465B2 (ja) 2015-08-12 2015-08-12 画像表示装置、コンピュータープログラム、および画像表示システム

Publications (3)

Publication Number Publication Date
JP2017037554A JP2017037554A (ja) 2017-02-16
JP2017037554A5 JP2017037554A5 (ja) 2018-09-13
JP6565465B2 true JP6565465B2 (ja) 2019-08-28

Family

ID=57994758

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015159484A Active JP6565465B2 (ja) 2015-08-12 2015-08-12 画像表示装置、コンピュータープログラム、および画像表示システム

Country Status (2)

Country Link
US (1) US9864192B2 (ja)
JP (1) JP6565465B2 (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160077166A1 (en) * 2014-09-12 2016-03-17 InvenSense, Incorporated Systems and methods for orientation prediction
JP2017182274A (ja) 2016-03-29 2017-10-05 セイコーエプソン株式会社 情報処理装置およびコンピュータープログラム
US10334240B2 (en) * 2016-10-28 2019-06-25 Daqri, Llc Efficient augmented reality display calibration
US20180268614A1 (en) * 2017-03-16 2018-09-20 General Electric Company Systems and methods for aligning pmi object on a model
KR102551780B1 (ko) 2017-03-30 2023-07-04 매직 립, 인코포레이티드 비차단 이중 드라이버 이어폰들
CN107102735B (zh) * 2017-04-24 2018-06-19 广东虚拟现实科技有限公司 一种对齐方法及对齐装置
CN107194968B (zh) * 2017-05-18 2024-01-16 腾讯科技（上海）有限公司 图像的识别跟踪方法、装置、智能终端和可读存储介质
US10621751B2 (en) * 2017-06-16 2020-04-14 Seiko Epson Corporation Information processing device and computer program
JP6604998B2 (ja) * 2017-07-20 2019-11-13 キヤノン株式会社 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム
US10835809B2 (en) 2017-08-26 2020-11-17 Kristina Contreras Auditorium efficient tracking in auditory augmented reality
WO2019057496A1 (de) 2017-09-25 2019-03-28 Continental Automotive Gmbh Head-up-display
GB2569785B (en) * 2017-12-20 2022-07-13 Sony Interactive Entertainment Inc Data processing
US10970425B2 (en) * 2017-12-26 2021-04-06 Seiko Epson Corporation Object detection and tracking
PT3756073T (pt) * 2018-02-23 2022-08-19 Ericsson Telefon Ab L M Coordenação de alinhamento de sistemas de coordenadas utilizados por um dispositivo de realidade gerada por computador e um dispositivo háptico
US10311833B1 (en) * 2018-03-27 2019-06-04 Seiko Epson Corporation Head-mounted display device and method of operating a display apparatus tracking an object
JP7409307B2 (ja) * 2018-07-17 2024-01-09 ソニーグループ株式会社 ヘッドマウントディスプレイ、およびヘッドマウントディスプレイの制御方法、情報処理装置、表示装置、並びに、プログラム
US11210772B2 (en) * 2019-01-11 2021-12-28 Universal City Studios Llc Wearable visualization device systems and methods
JP7095628B2 (ja) * 2019-03-07 2022-07-05 日本電信電話株式会社 座標系変換パラメータ推定装置、方法及びプログラム
JP2021051000A (ja) * 2019-09-25 2021-04-01 キヤノン株式会社 角速度検出装置、画像表示装置、角速度検出方法、及びプログラム
JP2021071672A (ja) * 2019-11-01 2021-05-06 セイコーエプソン株式会社 表示システム、表示方法、及び、表示プログラム
US11061469B2 (en) * 2019-11-20 2021-07-13 XRSpace CO., LTD. Head mounted display system and rotation center correcting method thereof
EP3832374A1 (en) * 2019-12-04 2021-06-09 XRSpace CO., LTD. Head mounted display system and rotation center correcting method thereof
CN113920189A (zh) * 2020-07-08 2022-01-11 财团法人工业技术研究院 同时追踪可移动物体与可移动相机的六自由度方位的方法与系统
GB2608186A (en) * 2021-06-25 2022-12-28 Thermoteknix Systems Ltd Augmented reality system
IL284600B2 (en) * 2021-07-04 2023-10-01 Elbit Systems Ltd System and method for non-conformal display
EP4367547A1 (en) * 2021-07-04 2024-05-15 Elbit Systems Ltd. A conformal display system and a method thereof

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6160666A (en) * 1994-02-07 2000-12-12 I-O Display Systems Llc Personal visual display system
JP4734640B2 (ja) 2006-02-10 2011-07-27 国立大学法人岐阜大学 仮想現実画像表示装置
US8477425B2 (en) * 2010-02-28 2013-07-02 Osterhout Group, Inc. See-through near-eye display glasses including a partially reflective, partially transmitting optical element
US9122053B2 (en) * 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
US20130083003A1 (en) * 2011-09-30 2013-04-04 Kathryn Stone Perez Personal audio/visual system
US9311883B2 (en) * 2011-11-11 2016-04-12 Microsoft Technology Licensing, Llc Recalibration of a flexible mixed reality device
US10444845B2 (en) * 2012-12-21 2019-10-15 Qualcomm Incorporated Display of separate computer vision based pose and inertial sensor based pose
JP2015118442A (ja) * 2013-12-17 2015-06-25 ソニー株式会社 情報処理装置、情報処理方法およびプログラム

Also Published As

Publication number Publication date
US20170045736A1 (en) 2017-02-16
US9864192B2 (en) 2018-01-09
JP2017037554A (ja) 2017-02-16

Similar Documents

Publication Publication Date Title
JP6565465B2 (ja) 画像表示装置、コンピュータープログラム、および画像表示システム
US9401050B2 (en) Recalibration of a flexible mixed reality device
WO2017077918A1 (ja) 情報処理装置、情報処理システム、および情報処理方法
CN111696213B (zh) 图像生成装置、图像生成方法以及计算机可读介质
US9395543B2 (en) Wearable behavior-based vision system
US10365710B2 (en) Head-mounted display device configured to display a visual element at a location derived from sensor data and perform calibration
US11127380B2 (en) Content stabilization for head-mounted displays
JP2017224984A (ja) プログラム、装置、キャリブレーション方法
US11662589B2 (en) Geometry modeling of eyewear devices with flexible frames
CN108156441A (zh) 视觉视频稳定
JP2019500660A (ja) 構造化光を用いた視線追跡
US20150097772A1 (en) Gaze Signal Based on Physical Characteristics of the Eye
CN114189789A (zh) 用于个性化声传递函数的动态确定的音频系统
JP7438188B2 (ja) ユーザ相互作用システムにおけるトーテムの融合姿勢の非融合姿勢ベースのドリフト補正
JP2018055589A (ja) プログラム、物体の追跡方法、表示装置
JP2018067115A (ja) プログラム、追跡方法、追跡装置
US11914762B2 (en) Controller position tracking using inertial measurement units and machine learning
WO2022146858A1 (en) Controller position tracking using inertial measurement units and machine learning
GB2599145A (en) Large space tracking using a wearable optics device
US20230367390A1 (en) Large space tracking using a wearable optics device
EP3975040A1 (en) Large space tracking using a wearable optics device
US11947119B2 (en) Display control device, display control method, and recording medium
US11954269B2 (en) Information processing apparatus, information processing method, and program for generating location data
JP6890524B2 (ja) 姿勢制御システム
WO2024112351A1 (en) System and method for offline calibration of a motion-tracking device

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180806

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180806

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190606

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190702

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190715

R150 Certificate of patent or registration of utility model

Ref document number: 6565465

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150