JP6525010B2 - 情報処理装置及び情報処理方法、並びに画像表示システム - Google Patents

Description

本明細書で開示する技術は、ユーザーの頭部や顔部に装着して画像の視聴に利用される画像表示装置に表示する画面情報を提供する情報処理装置及び情報処理方法、並びに画像表示システムに関する。

頭部又は顔部に装着して画像の視聴に利用される画像表示装置、すなわち、ヘッド・マウント・ディスプレイが知られている。ヘッド・マウント・ディスプレイは、例えば左右の眼毎に画像表示部が配置され、虚像光学系により表示画像の拡大虚像を形成することで、ユーザーは臨場感のある画像を観察することができる。

ヘッド・マウント・ディスプレイは、左右の眼の表示部として、例えば液晶や有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）素子などからなる高解像度の表示パネルを装備する。また、ヘッド・マウント・ディスプレイを、透過性のタイプと遮光性のタイプに分類することもできる。

透過性のヘッド・マウント・ディスプレイは、着用者は頭部に装着して画像を表示している間も、周囲の風景を観察することができるので（例えば、特許文献１を参照のこと）、屋外での使用時や歩行中の使用時において、ユーザーは障害物との衝突などの危険から回避することができる。

一方、遮光性のヘッド・マウント・ディスプレイは、頭部に着用した際に、着用者の眼を直接覆うように構成され、画像視聴時に没入感が増す。虚像光学系を用いて表示画面を拡大投影して、適当な画角となる拡大虚像としてユーザーに観察させるとともに、ヘッドフォンで多チャンネルを再現すれば、映画館で視聴するような臨場感を再現することができる（例えば、特許文献２を参照のこと）。また、遮光性のヘッド・マウント・ディスプレイにおいても、着用者の前方を撮影できるカメラを内蔵して、撮影して得られる外部画像を表示するビデオ・シースルー方式が知られており、着用者は外部画像を通じて周囲の風景を観察することができる（例えば、特許文献３、４を参照のこと）。なお、ビデオ・シースルーに対し、前者の透過性のヘッド・マウント・ディスプレイは、光学シースルー、又は、単にシースルーと呼ばれる。

遮光性並びに透過性のいずれのタイプにせよ、ヘッド・マウント・ディスプレイは、装着したユーザーの視覚や聴覚を制限する。とりわけ遮光性のヘッド・マウント・ディスプレイを着用したユーザーは、視界が完全に遮られるので、電話に出る、コンピューターの画面に入力するなど、外部に対する操作を一切行なうことができなくなる。

上述したビデオ・シースルー方式のヘッド・マウント・ディスプレイであれば、カメラで撮影したユーザーの視界画像を表示して、ユーザーは表示画像を通じて、視界にある物体を操作することができる。

例えば、表示情報に応じて表示を行う表示装置を備える携帯端末と、携帯端末から取得した表示情報に基づいて、装着者の視野内の表示領域に仮想画面を表示するヘッド・マウント・ディスプレイとを備える携帯端末システムについて提案がなされている（例えば、特許文献５を参照のこと）。

しかしながら、上記のような携帯端末システムは、ヘッド・マウント・ディスプレイが外界を撮影するカメラを装備していることが前提となる。カメラを装備しないヘッド・マウント・ディスプレイを着用したユーザーは、ヘッド・マウント・ディスプレイを頭から外し、視聴を完全に中断しなければ、外部に対する操作を行なうことは困難である。

特開２０１２−４２６５４号公報 特開２０１２−１４１４６１号公報 特開２００５−３８３２１号公報 特開２０１１−２４２５９１号公報 特開２０１１−１８６８５６号公報 特開２０１２−１８６６６０号公報

本明細書で開示する技術の目的は、ユーザーの頭部や顔部に装着して画像の視聴に利用される画像表示装置に表示する画面情報を好適に提供することができる、優れた情報処理装置及び情報処理方法、並びに画像表示システムを提供することにある。

本明細書で開示する技術は、上記課題を参酌してなされたものであり、その第１の側面は、
撮影部と、
前記撮影部で外部の画像表示装置を撮影した画像に基づいて、当該情報処理装置の第１の基準座標系での前記画像表示装置の位置及び姿勢を計算する位置姿勢計算部と、
前記第１の基準座標系での前記画像表示装置の位置及び姿勢を、前記画像表示装置の第２の基準座標系での当該情報処理装置の位置及び姿勢に変換する位置姿勢変換部と、
前記第２基準座標系での当該情報処理装置の位置及び姿勢に基づいて、前記画像表示装置の画面内で当該情報処理装置に関わる画面情報を埋め込む位置を計算する埋め込み位置計算部と、
を具備する情報処理装置である。

また、本明細書で開示する技術の第２の側面は、
撮影部と、
表示部と、
前記撮影部で外部の画像表示装置を撮影した画像に基づいて、当該情報処理装置の第１の基準座標系での前記画像表示装置の位置及び姿勢を計算する位置姿勢計算部と、
前記第１の基準座標系での前記画像表示装置の位置及び姿勢を、前記画像表示装置の第２の基準座標系での当該情報処理装置の位置及び姿勢に変換する位置姿勢変換部と、
前記第２基準座標系での当該情報処理装置の位置及び姿勢に基づいて、前記画像表示装置の画面に対して前記表示部の画面情報を埋め込む位置を計算する埋め込み位置計算部と、
を具備する情報処理装置である。

本明細書で開示する技術の第３の側面によれば、第２の側面に係る情報処理装置は、前記画像表示装置と通信する通信部をさらに備えている。そして、前記表示部の画面情報及び前記埋め込む位置の情報を、前記通信部を介して前記画像表示装置に送信するように構成されている。

本明細書で開示する技術の第４の側面によれば、第２又は３のいずれかの側面に係る情報処理装置の前記位置姿勢計算部は、前記画像表示装置側に搭載された基準指標に基づいて、前記第１の基準座標系での前記画像表示装置の位置及び姿勢を計算するように構成されている。

本明細書で開示する技術の第５の側面によれば、第４の側面に係る情報処理装置は、前記画像表示装置の姿勢と前記基準指標の姿勢の関係に関する情報を取得する基準指標配置情報取得部をさらに備えている。

本明細書で開示する技術の第６の側面によれば、第５の側面に係る情報処理装置の前記基準指標配置情報取得部は、前記画像表示装置の姿勢と前記基準指標の姿勢の関係に関する設計情報をプリロードし、前記位置姿勢計算部は、前記画像表示装置に対し当該情報処理装置が所定方向に配置されたときに前記撮影部で撮影した画像から、前記設計情報に基づいて前記第１の基準座標系での前記画像表示装置の位置及び姿勢を計算するように構成されている。

本明細書で開示する技術の第７の側面によれば、第５の側面に係る情報処理装置の前記基準指標配置情報取得部は、前記基準指標から情報を受信するように構成されている。

本明細書で開示する技術の第８の側面によれば、前記画像表示装置側には配置情報が既知となる３個以上の基準指標が配置されている。そして、第７の側面に係る情報処理装置の前記基準指標配置情報取得部は、色、テクスチャー、形状のうち少なくとも１つに基づいて各基準指標の各々を識別して、前記画像表示装置の基準座標系の軸の情報を取得するように構成されている。

本明細書で開示する技術の第９の側面によれば、第７の側面に係る情報処理装置の前記基準指標配置情報取得部は、点滅パターンにエンコードされた情報を基準指標から受信するように構成されている。

本明細書で開示する技術の第１０の側面によれば、第９の側面に係る情報処理装置の前記基準指標配置情報取得部は、点滅パターンをデコードした情報をデータベースに問い合わせて、基準指標の座標情報、基準指標の情報、又は前記画像表示装置の情報を取得するように構成されている。

本明細書で開示する技術の第１１の側面によれば、第２又は３のいずれかの側面に係る情報処理装置の前記位置姿勢計算部は、Ｖｉｓｕａｌ ＳＬＡＭを用いて、前記第１の基準座標系での前記画像表示装置の位置及び姿勢を計算するように構成されている。

本明細書で開示する技術の第１２の側面によれば、第１１の側面に係る情報処理装置は、初期姿勢に当該情報処理装置が保持された基準状態において前記位置姿勢計算部で算出された前記画像表示装置の位置及び姿勢を保存しておき、前記位置姿勢変換部は、前記基準状態からの前記画像表示装置の姿勢の変化を計算して、前記第１の基準座標系での前記画像表示装置の位置及び姿勢を、前記第２の基準座標系での当該情報処理装置の位置及び姿勢に変換するように構成されている。

また、本明細書で開示する技術の第１３の側面は、
情報端末に搭載された撮影部で他の画像表示装置を撮影した画像に基づいて、前記情報端末の第１の基準座標系での前記画像表示装置の位置及び姿勢を計算する位置姿勢計算ステップと、
前記第１の基準座標系での前記画像表示装置の位置及び姿勢を、前記画像表示装置の第２の基準座標系での前記情報端末の位置及び姿勢に変換する位置姿勢変換ステップと、
前記第２基準座標系での前記情報端末の位置及び姿勢に基づいて、前記画像表示装置の画面に対して前記情報端末の画面情報を埋め込む位置を計算する埋め込み位置計算ステップと、
を有する情報処理方法である。

また、本明細書で開示する技術の第１４の側面は、
観察者の頭部又は顔部に固定される表示装置と、
撮影部と表示部を備え、前記撮影部で外部の画像表示装置を撮影した画像に基づいて、当該情報処理装置の第１の基準座標系での前記画像表示装置の位置及び姿勢を計算するとともに、前記第１の基準座標系での前記画像表示装置の位置及び姿勢を、前記画像表示装置の第２の基準座標系での当該情報処理装置の位置及び姿勢に変換して、前記画像表示装置の画面に対して前記表示部の画面情報を埋め込む位置を計算する情報処理装置と、
を具備する画像表示システムである。

但し、ここで言う「システム」とは、複数の装置（又は特定の機能を実現する機能モジュール）が論理的に集合した物のことを言い、各装置や機能モジュールが単一の筐体内にあるか否かは特に問わない。

本明細書で開示する技術によれば、ユーザーの頭部や顔部に装着して画像の視聴に利用される画像表示装置に表示する画面情報を好適に提供することができる、優れた情報処理装置及び情報処理方法、並びに画像表示システムを提供することができる。

なお、本明細書に記載された効果は、あくまでも例示であり、本発明の効果はこれに限定されるものではない。また、本発明が、上記の効果以外に、さらに付加的な効果を奏する場合もある。

本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

図１は、ヘッド・マウント・ディスプレイ１００を頭部に装着しているユーザーを正面から眺めた様子を示した図である。 図２は、図１に示したヘッド・マウント・ディスプレイ１００を着用したユーザーを上方から眺めた様子を示した図である。 図３は、ヘッド・マウント・ディスプレイ１００の内部構成例を示した図である。 図４は、ヘッド・マウント・ディスプレイ１００の外側カメラ３１２で撮影した画像に基づいて情報端末の相互の位置関係及び姿勢を把握して、情報端末の画像を重畳して表示する様子を示した図である。 図５は、図４に示した画面表示を実現するための処理手順を示した図である。 図６は、情報端末側のカメラで撮影した画像に基づいてヘッド・マウント・ディスプレイ１００と情報端末の相互の位置関係及び姿勢を把握して、情報端末の画像を重畳して表示する様子を示した図である。 図７は、図６に示した画面表示を実現するための処理手順を示した図である 図８は、ＡＲマーカー８０１を、ヘッド・マウント・ディスプレイ１００に搭載し、主軸前方方向に持った情報端末のカメラでヘッド・マウント・ディスプレイ１００を撮影する様子を示した図である。 図９は、既知形状の基準指標９０１Ａ〜Ｄを、ヘッド・マウント・ディスプレイ１００に搭載し、主軸前方方向に持った情報端末のカメラでヘッド・マウント・ディスプレイ１００を撮影する様子を示した図である。 図１０は、色が異なる４個以上の既知形状の基準指標１００１Ａ〜Ｄを、ヘッド・マウント・ディスプレイ１００に搭載し、主軸前方方向に持った情報端末のカメラでヘッド・マウント・ディスプレイ１００を撮影する様子を示した図である。 図１１は、点滅する基準指標１１０１Ａ〜Ｄを、ヘッド・マウント・ディスプレイ１００に搭載し、主軸前方方向に持った情報端末のカメラでヘッド・マウント・ディスプレイ１００を撮影する様子を示した図である。 図１２は、基準指標から受信した物体座標に基づいてヘッド・マウント・ディスプレイ１００の画面に情報端末の画面情報を埋め込むための処理手順を示した図である。 図１３は、基準指標から受信した検索キーに基づいてヘッド・マウント・ディスプレイ１００の画面に情報端末の画面情報を埋め込むための処理手順を示した図である。 図１４は、情報端末の位置を初期化するための処理手順を示した図である。 図１５は、図１４に示した処理手順によって初期化した情報端末の位置を用いて、ヘッド・マウント・ディスプレイ１００の画面に情報端末の画面情報を埋め込むための処理手順を示した図である。 図１６は、情報端末の構成例を示した図である。

以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。

図１には、本明細書で開示する技術を適用したヘッド・マウント・ディスプレイ１００を頭部に装着しているユーザーを正面から眺めた様子を示している。

ヘッド・マウント・ディスプレイ１００は、ユーザーが頭部又は顔部に装着した際にユーザーの眼を直接覆い、画像視聴中のユーザーに没入感を与えることができる。また、表示画像は、外側（すなわち他人）からは見えないので、情報表示に際してプライバシーが守られ易い。シースルーのタイプとは相違し、ヘッド・マウント・ディスプレイ１００を着用したユーザーは現実世界の風景を直接眺めることはできない。ユーザーの視線方向の風景を撮影する外側カメラ３１２を装備していれば、その撮像画像を表示することにより、ユーザーは間接的に現実世界の風景を眺める（すなわち、ビデオ・シースルーで風景を表示する）ことができる。但し、後述するように、本明細書で開示する技術は、外側カメラ３１２の装備若しくはビデオ・シースルー表示を前提としない。

図１に示すヘッド・マウント・ディスプレイ１００は、帽子形状に類似した構造体であり、着用したユーザーの左右の眼を直接覆うように構成されている。ヘッド・マウント・ディスプレイ１００本体の内側の左右の眼に対向する位置には、ユーザーが観察する表示パネル（図１では図示しない）が配設されている。表示パネルは、例えば有機ＥＬ素子や液晶ディスプレイなどのマイクロ・ディスプレイや、網膜直描ディスプレイなどのレーザー走査方式ディスプレイで構成される。

ヘッド・マウント・ディスプレイ１００本体の左右の両端付近にそれぞれマイクロフォン１０３Ｌ、１０３Ｒが設置されている。左右ほぼ対称的にマイクロフォン１０３Ｌ、１０３Ｒを持つことで、中央に定位した音声（ユーザーの声）だけを認識することで、周囲の雑音や他人の話声と分離することができ、例えば音声入力による操作時の誤動作を防止することができる。

また、ヘッド・マウント・ディスプレイ１００本体の前面で表示パネルの背面付近には、ユーザーが指先などを使ってタッチ入力することができるタッチパネル３１５が配設されている。図示の例では、左右一対のタッチパネル３１５を備えているが、単一又は３以上のタッチパネル３１５を備えていてもよい。

図２には、図１に示したヘッド・マウント・ディスプレイ１００を着用したユーザーを上方から眺めた様子を示している。図示のヘッド・マウント・ディスプレイ１００は、ユーザーの顔面と対向する側面に、左眼用及び右眼用の表示パネル１０４Ｌ、１０４Ｒを持つ。表示パネル１０４Ｌ、１０４Ｒは、例えば有機ＥＬ素子や液晶ディスプレイなどのマイクロ・ディスプレイや網膜直描ディスプレイなどのレーザー走査方式ディスプレイで構成される。表示パネル１０４Ｌ、１０４Ｒの表示画像は、虚像光学部１０１Ｌ、１０１Ｒを通過するにより拡大虚像としてユーザーに観察される。また、眼の高さや眼幅にはユーザー毎に個人差があるため、着用したユーザーの眼と左右の各表示系とを位置合わせする必要がある。図２に示す例では、右眼用の表示パネルと左眼用の表示パネルの間に眼幅調整機構１０５を装備している。

図３には、ヘッド・マウント・ディスプレイ１００の内部構成例を示している。以下、各部について説明する。

制御部３０１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３０１ＡやＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３０１Ｂを備えている。ＲＯＭ３０１Ａ内には、制御部３０１で実行するプログラム・コードや各種データを格納している。制御部３０１は、ＲＡＭ３０１Ｂへロードしたプログラムを実行することで、画像の表示制御を始め、ヘッド・マウント・ディスプレイ１００全体の動作を統括的にコントロールする。

なお、ＲＯＭ３０１Ａに格納するプログラムとして、再生動画像を画面表示したり外部装置（スマートフォンなど）から取り込んだ画像情報を画面に重畳表示したりする表示制御プログラムを挙げることができる。また、ＲＯＭ３０１Ａに格納するデータとして、当該ヘッド・マウント・ディスプレイ１００に固有の識別情報（型番や製造番号を含む）、当該ヘッド・マウント・ディスプレイ１００を使用するユーザーを認証するための認証情報（例えば、暗証番号やパスワード、生体情報）などのユーザー属性情報、ヘッド・マウント・ディスプレイ１００の設計情報（ヘッド・マウント・ディスプレイ１００に搭載する基準指標の形状や配置など）を挙げることができる。

入力インターフェース（ＩＦ）部３０２は、キーやボタン、スイッチなど、ユーザーが入力操作を行なう１以上の操作子（いずれも図示しない）を備え、操作子を介したユーザーの指示を受け付けて、制御部３０１に出力する。また、入力操作部３０２は、リモコン受信部３０３で受信したリモコン・コマンドからなるユーザーの指示を受け付けて、制御部３０１に出力する。

また、入力インターフェース（ＩＦ）部３０２は、ヘッド・マウント・ディスプレイ１００本体の外側に配設されているタッチパネル３１５に対してユーザーが指先でタッチ操作を行なうと、タッチされた指先位置の座標データなどの入力情報を制御部３０１に出力する。例えば、ヘッド・マウント・ディスプレイ１００本体の前面で、ちょうど表示部３０９の表示画像（虚像光学部３１０越しに観察される拡大虚像）の背面にタッチパネル３１５を配置すると（図１を参照のこと）、ユーザーは表示画像上を指先で触れるような感覚でタッチ操作を行なうことができる。

状態情報取得部３０４は、当該ヘッド・マウント・ディスプレイ１００本体、又は当該ヘッド・マウント・ディスプレイ１００を装着したユーザーの状態情報を取得する機能モジュールである。状態情報取得部３０４は、自ら状態情報を検出するための各種センサーを装備していてもよいし、これらのセンサー類の一部又は全部を備えた外部機器（例えば、ユーザーが身に付けているスマートフォンや腕時計、その他の多機能端末）から通信部３０５（後述）を介して状態情報を取得するようにしてもよい。

状態情報取得部３０４は、ユーザーの頭部動作を追跡するために、例えばユーザーの頭部の位置及び姿勢の情報又は姿勢の情報を取得する。ユーザーの頭部動作を追跡するために、状態情報取得部３０４は、例えば３軸ジャイロ・センサー、３軸加速度センサー、３軸地磁気センサーの合計９軸を検出可能なセンサーとする。また、状態情報取得部３０４は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）センサー、ドップラー・センサー、赤外線センサー、電波強度センサーなどのいずれか１つ又は２以上のセンサーをさらに組み合わせて用いてもよい。また、状態情報取得部３０４は、位置姿勢情報を取得するために、携帯電話基地局情報やＰｌａｃｅＥｎｇｉｎｅ（登録商標）情報（無線ＬＡＮアクセスポイントからの電測情報）など、各種インフラストラクチャーから提供される情報をさらに組み合わせて用いるようにしてもよい。図３に示す例では、頭部動作追跡のための状態取得部３０４は、ヘッド・マウント・ディスプレイ１００に内蔵されるが、ヘッド・マウント・ディスプレイ１００に外付けされるアクセサリー部品などで構成するようにしてもよい。後者の場合、外付け接続される状態取得部３０４は、頭部の姿勢情報を、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信などの無線通信やＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）のような高速な有線インフェース経由でヘッド・マウント・ディスプレイ１００本体に送信する。

また、状態情報取得部３０４は、上述したユーザーの頭部動作の追跡の他に、当該ヘッド・マウント・ディスプレイ１００を装着したユーザーの状態情報として、例えば、ユーザーの作業状態（ヘッド・マウント・ディスプレイ１００の装着の有無）や、ユーザーの行動状態（静止、歩行、走行などの移動状態、手や指先によるジェスチャー、瞼の開閉状態、視線方向、瞳孔の大小）、精神状態（ユーザーが表示画像を観察中に没頭若しくは集中しているかなどの感動度、興奮度、覚醒度、感情や情動など）、さらには生理状態を取得する。また、状態情報取得部３０４は、これらの状態情報をユーザーから取得するために、外側カメラ３１２や、機械スイッチなどからなる装着センサー、ユーザーの顔を撮影する内側カメラ、ジャイロ・センサー、加速度センサー、速度センサー、圧力センサー、体温又は気温を検知する温度センサー、発汗センサー、脈拍センサー、筋電位センサー、眼電位センサー、脳波センサー、呼気センサー、ガス・イオン濃度センサーなどの各種の状態センサー、タイマー（いずれも図示しない）を備えていてもよい。また、状態情報取得部３０４は、ヘッド・マウント・ディスプレイをユーザーの頭部に装着した際に、額の頭部に当接する動きに連動して、ヘッド・マウント・ディスプレイがユーザーに装着されたことを検出する装着センサー（例えば、特許文献６を参照のこと）を利用して、ヘッド・マウント・ディスプレイ１００の装着の有無を検出するようにしてもよい。

環境情報取得部３１６は、当該ヘッド・マウント・ディスプレイ１００本体、又は当該ヘッド・マウント・ディスプレイ１００を着用したユーザーを取り巻く環境に関する情報を取得する機能モジュールである。ここで言う環境に関する情報として、音、風量、気温、気圧、雰囲気（煙、濃霧や、当該ヘッド・マウント・ディスプレイ１００又はユーザーが浴びる電磁波（紫外線、ブルーライト、電波）、熱線（赤外線）、放射線、大気中の一酸化炭素や二酸化炭素、酸素、窒素化合物（ニコチン）、大気中を漂う窒素酸化物（ＮＯ_x）や炭化水素（揮発性有機化合物（ＶＯＣ：Ｖｏｌａｔｉｌｅ Ｏｒｇａｎｉｃ Ｃｏｍｐｏｕｎｄｓ）あるいはこれらが紫外線の影響により光化学反応を起こして生成された光化学スモッグ、粒子状物質、花粉、ハウスダストなどの粉塵、アスベストなどの有害化学物質）、その他の環境因子を挙げることができる。環境情報取得部３１６は、環境情報を検出するために、音センサーや風量センサーを始めとして各種環境センサーを装備していてもよい。前述したマイクロフォンや外側カメラ３１２を環境センサーに含めることもできる。あるいは、環境情報取得部３１６は、これらのセンサー類の一部又は全部を備えた外部機器（例えば、ユーザーが身に付けているスマートフォンや腕時計、その他の多機能端末）から通信部３０５（後述）を介して環境情報を取得するようにしてもよい。

外側カメラ３１２は、例えばヘッド・マウント・ディスプレイ１００本体前面のほぼ中央に配置され（図２を参照のこと）、周囲画像を撮影することができる。但し、後述するように、本明細書で開示する技術は、外側カメラ３１２の装備若しくは使用を前提としない。

通信部３０５は、外部機器（図示しない）との通信処理、並びに通信信号の変復調並びに符号化復号処理を行なう。外部機器として、ユーザーがヘッド・マウント・ディスプレイ１００を使用する際の視聴コンテンツを供給するコンテンツ再生装置（ブルーレイ・ディスク又はＤＶＤプレイヤー）や、ストリーミング・サーバー、さらにはユーザーが使用するスマートフォンやパーソナル・コンピューターなどの情報端末を挙げることができる。また、制御部３０１は、外部機器への送信データを通信部３０５から送出する。

通信部３０５の構成は任意である。例えば、通信相手となる外部機器との送受信動作に使用する通信方式に応じて、通信部３０５を構成することができる。通信方式は、有線、無線のいずれの形態であってもよい。ここで言う通信規格として、ＭＨＬ（Ｍｏｂｉｌｅ Ｈｉｇｈ−ｄｅｆｉｎｉｔｉｏｎ Ｌｉｎｋ）やＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）、Ｗｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信やＢＬＥ（Ｂｌｕｅｔｏｏｔｈ（登録商標） Ｌｏｗ Ｅｎｅｒｇｙ）通信、ＡＮＴなどの超低消費電力無線通信、ＩＥＥＥ８０２．１１ｓなどで規格化されたメッシュ・ネットワークなどを挙げることができる。あるいは、通信部３０５は、例えばＷ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）などの標準規格に従って動作する、セルラー無線送受信機であってもよい。

記憶部３０６は、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などで構成される大容量記憶装置である。記憶部３０６は、制御部３０１で実行するアプリケーション・プログラムや各種データを記憶している。例えば、ユーザーがヘッド・マウント・ディスプレイ１００を使用して、視聴するコンテンツを記憶部３０６に格納する。

画像処理部３０７は、制御部３０１から出力される画像信号に対して画質補正などの信号処理をさらに行なうとともに、表示部３０９の画面に合わせた解像度に変換する。そして、表示駆動部３０８は、表示部３０９の画素を行毎に順次選択するとともに線順次走査して、信号処理された画像信号に基づく画素信号を供給する。

表示部３０９は、例えば有機ＥＬ素子や液晶ディスプレイなどのマイクロ・ディスプレイ、あるいは、網膜直描ディスプレイなどのレーザー走査方式ディスプレイで構成される表示パネルを有する。虚像光学部３１０は、表示部３０９の表示画像を拡大投影して、ユーザーには拡大虚像として観察させる。

なお、表示部３０９で出力する表示画像として、コンテンツ再生装置（ブルーレイ・ディスク又はＤＶＤプレイヤー）やストリーミング・サーバーから供給される商用コンテンツ（仮想世界）、外側カメラ３１２の撮影画像（ユーザーの視界画像などの現実世界の画像）などを挙げることができる。また、スマートフォンやパーソナル・コンピューターなどの情報端末から送られてきた画像情報をコンテンツ再生画面に重畳表示することもある。

音声処理部３１３は、制御部３０１から出力される音声信号に対して音質補正や音声増幅、入力された音声信号などの信号処理をさらに行なう。そして、音声入出力部３１４は、音声処理後の音声を外部出力、並びにマイクロフォン（前述）からの音声入力を行なう。

ヘッド・マウント・ディスプレイ１００を装着したユーザーは、コンテンツ視聴中で視界が完全に遮られている最中に、スマートフォンなどの他の情報端末を操作したくなることがある。例えば、メールや電話の着信履歴を確認したいときや、現在時刻を知りたいときなどである。

ヘッド・マウント・ディスプレイ１００が、外部の情報端末の画面情報を入力し、本来のコンテンツ再生画面と外部の情報端末の画面とを切り替えて表示部３０９に表示したり、元の画面に外部の情報端末の画面を重畳して表示したりすれば、ユーザーは、ヘッド・マウント・ディスプレイ１００を頭から外すことなく，外部の情報端末の画面の内容を確認することができる。ここで言う重畳表示には、ｐｉｃｔｕｒｅ ｉｎ ｐｉｃｔｕｒｅ形式で小さな画面を別表示することや、２つの画面を所定の割合でブレンドすることなどを含むものとする。

しかしながら、ユーザーが手元に持っている情報端末の画面をヘッド・マウント・ディスプレイ１００で表示している際に、その手を動かしても情報端末の画面の位置が変わらなければ、リアリティーに欠ける操作となる。また、表示部３０９で表示された情報端末の画面の位置が、現実の情報端末の画面の位置とは全く連動していないと、ユーザーは、ヘッド・マウント・ディスプレイ１００で表示された情報端末の画面を見ながら、現実の情報端末の画面に対して操作を行なうことは極めて難しい。

情報端末を持っている手と操作指との位置関係をユーザーが把握するためには、皮膚感覚などの体性感覚のフィードバックだけでなく、視覚情報による補正が必要である、と本出願人は考えている。

例えば、図４に示すように、外側カメラ３１２で、ユーザー本人が手にしている、情報端末を撮影する（参照番号４０１）。そして、情報端末の撮影画像を、ヘッド・マウント・ディスプレイ１００のコンテンツ再生画面上に、ユーザーの視界上の現実の情報端末と同じ位置及び姿勢で表示すれば（参照番号４０２）、ユーザーは、ヘッド・マウント・ディスプレイ１００でビデオ・シースルー表示された情報端末の画面を見ながら、現実の情報端末の画面に対して操作を行なうことが容易になる。具体的には、外側カメラ３１２の撮影画像に基づいてヘッド・マウント・ディスプレイ１００と情報端末の相互の位置関係及び姿勢を把握すれば、ヘッド・マウント・ディスプレイ１００のコンテンツ再生画面上に、ユーザーの視界上の現実の情報端末と同じ位置及び姿勢で情報端末の画像を重畳して表示することができる。

図５には、図４に示した画面表示を実現するための処理手順を示している。

ヘッド・マウント・ディスプレイ１００では、視聴コンテンツが表示部３０９で表示されているとする（Ｆ５０１）。

また、ヘッド・マウント・ディスプレイ１００側では、外側カメラ３１２を使って撮影を行なう（Ｆ５１１）。そして、撮影画像に対して物体認識処理を行なって、情報端末を検出し（Ｆ５１２）。情報端末の位置及び姿勢を計算する（Ｆ５１３）。

ここで、ヘッド・マウント・ディスプレイ１００で情報端末を表示する表示部３０９の基準座標系（以下では、単に、ヘッド・マウント・ディスプレイ１００の基準座標系とする）は、情報端末を撮影した外側カメラ３１２の基準座標系とは厳密には相違する。そこで、Ｆ５１３では、カメラ基準座標系で検出した情報端末の位置及び姿勢を、ヘッド・マウント・ディスプレイ１００の基準座標系での情報端末の位置及び姿勢に変換する必要がある。

また、物体認識並びに位置・姿勢計算の精度を向上するために、情報端末に視覚的な基準指標（マーカー）を付与してもよい。例えば、情報端末の画面に表示した既知パターンを基準指標に用いることができる。あるいは、マーカーレスで情報端末の位置及び姿勢を計算するようにしてもよい（後述）。次いで、算出した位置及び姿勢の情報に基づいて、視聴コンテンツの画面に対して情報端末の画面情報を埋め込む位置を計算する（Ｆ５１４）。

そして、ヘッド・マウント・ディスプレイ１００は、情報端末から画面情報を取得すると（Ｆ５２１）、Ｆ５１４で算出した埋め込み位置でコンテンツ再生画面に埋め込み、出力画面を生成する（Ｆ５３０）。

このような処理の結果、ヘッド・マウント・ディスプレイ１００のコンテンツ再生画面上に、ユーザーの視界上の現実の情報端末と同じ位置及び姿勢で存在することとなり、ユーザーは、コンテンツを視聴し続けながら、リアリティーを損なうことなく情報端末の画面の確認や入力操作を行なうことができる。

しかしながら、図４及び図５に示したような上記の方法では、情報端末の表示位置及び姿勢を視覚情報により補正するためには、外側カメラ３１２が必要であり、言い換えれば、外側カメラ３１２を搭載しない製品には適用することができない、という問題がある。

図１〜図３では、外側カメラ３１２を搭載したヘッド・マウント・ディスプレイ１００を例示した。しかしながら、外側カメラが標準装備されるとは限らず、外側カメラを装備しない製品も相当台数が既に普及している。この種の既存製品においては、ディスプレイ本体と操作対象の情報端末の相互の位置関係及び姿勢を把握する手段がヘッド・マウント・ディスプレイ１００にはないので、ヘッド・マウント・ディスプレイ１００のコンテンツ再生画面上に、ユーザーの視界上の現実の情報端末と同じ位置及び姿勢で情報端末を表示することはできない。

他方、スマートフォンやパーソナル・コンピューターなどの操作対象となる情報端末の多くは、カメラを搭載した製品である。そこで、本出願人は、この点に着目して、図６に示すように、情報端末に搭載されたカメラから逆にヘッド・マウント・ディスプレイ１００を撮影することにより（参照番号６０１）、ヘッド・マウント・ディスプレイ１００と操作対象の情報端末の相互の位置関係及び姿勢を把握して、ヘッド・マウント・ディスプレイ１００のコンテンツ再生画面上に、ユーザーの視界上の現実の情報端末と同じ位置及び姿勢で、情報端末から送られてくる画面情報を表示する（参照番号６０２）、という方法を提案する。

図７には、図６に示した画面表示を実現するための処理手順を示している。

ヘッド・マウント・ディスプレイ１００では、視聴コンテンツが表示部３０９で表示されているとする（Ｆ７０１）。

一方、情報端末側では、標準装備されたカメラを使って撮影を行なう（Ｆ７１１）。情報端末は、ヘッド・マウント・ディスプレイ１００を着用しているユーザーが手に持っており、カメラはヘッド・マウント・ディスプレイ１００の正面に向けられているとする。そして、撮影画像に対して物体認識処理を行なって、ヘッド・マウント・ディスプレイ１００を検出する（Ｆ７１２）。次いで、情報端末を基準とする座標系（若しくは、カメラ座標系）でのヘッド・マウント・ディスプレイ１００の位置及び姿勢を計算する（Ｆ７１３）。

次いで、情報端末の基準座標系でのヘッド・マウント・ディスプレイ１００の位置及び姿勢を、ヘッド・マウント・ディスプレイ１００基準座標系での情報端末の位置及び姿勢に変換して（Ｆ７１４）、算出した位置及び姿勢の情報に基づいて、視聴コンテンツの画面に対して情報端末の画面情報を埋め込む位置を計算する（Ｆ７１５）。なお、撮影画像の処理以降の処理（Ｆ７１２〜Ｆ７１５）は、情報端末又はヘッド・マウント・ディスプレイ１００のいずれで実行してもよく、あるいはクラウド・コンピューターなど外部装置で実行するようにしてもよい。

そして、ヘッド・マウント・ディスプレイ１００は、情報端末から画面情報を取得すると（Ｆ７２１）、Ｆ７１５で算出された埋め込み位置でコンテンツ再生画面に埋め込み、出力画面を生成する（Ｆ７３０）。

このような処理の結果、ヘッド・マウント・ディスプレイ１００のコンテンツ再生画面（仮想世界の画像）の中に、ユーザーの視界上の現実の情報端末と同じ位置及び姿勢情報端末の画面が表示されることとなり、視界が完全に遮られたユーザーは、コンテンツを視聴し続けながら、リアリティーを損なうことなく情報端末の画面の確認や入力操作を行なうことができる。

図７に示したような処理を実現できる情報端末の構成例を図１６に示しておく。図示の情報端末は、制御部１６１０に対して、表示部１６２０や音声処理部１６３０、通信部１６４０、記憶部１６５０、カメラ部１６６０、センサー部１６７０などが接続されることにより構成されている。

制御部１６１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１１、ＲＯＭ１６１２、ＲＡＭ１６１３などにより構成される。ＲＯＭ１６１２内には、ＣＰＵ１６１１が実行するプログラム・コードや当該情報端末に必須の情報などが格納されている。

ＣＰＵ１６１１は、ＲＯＭ１６１２や記憶部１６４０からＲＡＭ１６１３にプログラム・コードをロードして実行する。ＣＰＵ１６１１が実行するプログラムには、ＡｎｄｒｏｉｄやｉＯＳなどのオペレーティング・システムや、画面情報を外部の画像表示装置（ヘッド・マウント・ディスプレイ１００など）に転送するアプリケーションを始めとして、オペレーティング・システムが提供する実行環境下で動作する各種アプリケーション・プログラムを挙げることができる。

表示部１６２０は、液晶素子や有機ＥＬ素子などからなる表示パネル１６２１と、この表示パネル１６２２の上面に貼設された透明なタッチパネル１６２３を備えている。表示パネル１６２１は、表示インターフェース１６２２を介して制御部１６１０に接続され、制御部２１０で生成された画像情報を表示出力する。また、タッチパネル１６２３は、タッチ・インターフェース１６２４を介して制御部１６１０に接続され、ユーザーが表示パネル１６２１上を指先で操作した座標情報を制御部１６１０に出力する。制御部１６１０側では、入力された座標情報に基づいて、タップや長押し、フリック、スワイプなどのユーザー操作を検出して、ユーザー操作に対応する処理を起動する。

音声処理部１６３０は、スピーカーなどの音声出力部１６３１と、マイクロフォンなどの音声入力部１６３２と、入出力される音声信号を符号化復号処理する音声コーデック（ＣＯＤＥＣ）１６３３を備えている。また、音声処理部１６３０は、音声信号をヘッドフォン（図示しない）に出力するための出力端子１６３４をさらに備えていてもよい。

通信部１６４０は、制御部１６１０で実行するアプリケーションと外部装置間での情報の通信処理を行なう。ここで言う外部装置として、テレビ受像機や、他ユーザーが扱う情報端末（図示しない）、インターネット上に存在するサーバーなどを挙げることができる。通信部１６４０は、使用する通信媒体に応じて、Ｗｉ−Ｆｉ、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの物理層モジュールを装備するとともに、物理層モジュールを介して送受信される通信信号の変復調処理や符号化復号処理を行なう。また、表示部１６２０で表示する画面情報を、通信部１６４０を介して外部の画像表示装置（ヘッド・マウント・ディスプレイ１００など）に転送することもある。

記憶部１６５０は、例えばＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）やＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）などの大容量の記憶装置からなる。例えば、通信部１６４０を介してダウンロードしたアプリケーション・プログラムやコンテンツ、カメラ部１６６０で撮影した静止画や動画などの画像データなどは、記憶部１６５０に格納される。

カメラ部１６６０は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などレンズ（図示しない）を介して取り込まれた光を光電変換するイメージ・センサー１６６１と、イメージ・センサー１６６１の検出信号のノイズ除去やディジタル化を行なって画像データを生成するＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）処理部１６６２を備え、生成した画像データをカメラ・インターフェース１６６３から制御部１６１０に出力する。

センサー部１６７０は、当該情報端末の位置情報を取得するためのＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｏｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）センサーや、当該情報端末本体の姿勢や作用する力を検出するためのジャイロ・センサー、加速度センサーなどを含んでいる。

図６及び図７に示した方法において、情報端末に搭載されたカメラから撮影した画像に基づいて、ヘッド・マウント・ディスプレイ１００と情報端末の相互の位置関係及び姿勢をより正確に把握できるようにするために、ヘッド・マウント・ディスプレイ１００側にＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）マーカーなどのような１以上の基準指標を搭載するようにしてもよい。

例えば、基準指標の種類によっては、ヘッド・マウント・ディスプレイ１００の詳細情報（例えば、型番や製品番号などの製品情報）を取得することができる。詳細情報を用いることで、ヘッド・マウント・ディスプレイ１００と情報端末の相互の位置及び姿勢の認識精度をさらに向上させる。基準指標の利用方法として、以下の（１）、（２）を例示することができる。

（１）ある取り決めに従った基準指標の配置から、光学主軸の方向や単位長さを特定し、座標軸合わせや位置計測を精密に行なう。

（２）基準指標に、所定ビット長（例えば、３２ビット）の識別情報をエンコードし、その識別情報を用いてデータベースを検索して、（１）と同様の情報を得て、座標軸合わせや位置計測を精密に行なう。

また、マーカーレス、すなわち、ヘッド・マウント・ディスプレイ１００側に基準指標を搭載しない場合、絶対的な位置姿勢情報を取得することはできない。あくまで処理を開始したときの初期位置からの相対的な位置姿勢の変位を計測できるだけである。そこで、情報端末に搭載されたカメラからヘッド・マウント・ディスプレイ１００を撮影するときには、ユーザーは、情報端末をあらかじめ決められた初期位置に保持し、情報端末に初期位置を通知するリセット信号を送るようにしてもよい。ここで言うあらかじめ決められた初期位置とは、例えばヘッド・マウント・ディスプレイ１００を着用したユーザーの目線前方、正面である。また、リセット信号を送る方法として、情報端末のタッチパネル式画面をタップすることや、ヘッド・マウント・ディスプレイ１００側のスイッチを操作する方法が挙げられる。その後の相対変位を計測し、ヘッド・マウント・ディスプレイ１００の画面上の描画に反映させる。

なお、マーカーレスの具体的な手法として、Ｖｉｓｕａｌ ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ）を用いて位置・姿勢計算を行なうようにしてもよい。Ｖｉｓｕａｌ ＳＬＡＭは、未知環境下でカメラの自己位置推定と地図作成を同時に行なうことができる技術である。Ｖｉｓｕａｌ ＳＬＡＭの一例として、統合型拡張現実感技術ＳｍａｒｔＡＲ（ソニー株式会社の商標）を挙げることができる。マーカーレスによれば、ヘッド・マウント・ディスプレイ１００側に基準指標を付与する必要がなく、任意の製品に適用することが可能である。

ここで、ヘッド・マウント・ディスプレイ１００の表示部３０９の画面に埋め込む情報端末の位置及び姿勢の計算方法について、さらに検討する。

図４及び図５に示したように、ヘッド・マウント・ディスプレイ１００に搭載した外側カメラ３１２の撮影画像から画面に埋め込む情報端末の位置及び姿勢を計算する場合、ヘッド・マウント・ディスプレイ１００の基準座標系が外側カメラ３１２の基準座標系とは厳密には相違する。そこで、Ｆ５１３では、カメラ基準座標系で検出した情報端末の位置及び姿勢を、ヘッド・マウント・ディスプレイ１００の基準座標系での情報端末の位置及び姿勢に変換する必要がある。ヘッド・マウント・ディスプレイ１００に対する外側カメラ３１２の位置は固定すなわち既知である。したがって、カメラ基準座標系で検出した情報端末の位置及び姿勢を、ヘッド・マウント・ディスプレイ１００の基準座標系での情報端末の位置及び姿勢に変換することは容易である。

続いて、図６及び図７に示したように、情報端末に搭載したカメラを用いて、画面に埋め込む情報端末の位置及び姿勢を計算する場合について考察する。

情報端末に対するカメラの位置は固定すなわち既知である。したがって、カメラで撮影したヘッド・マウント・ディスプレイ１００の位置及び姿勢を、情報端末の基準座標系でのヘッド・マウント・ディスプレイ１００の位置及び姿勢に変換することは容易である。

また、情報端末に搭載したカメラの基準座標系で、ヘッド・マウント・ディスプレイ１００側に搭載した基準指標の位置及び姿勢を測定することは可能である。

ところが、ヘッド・マウント・ディスプレイ１００の姿勢と、そこに搭載した基準指標の姿勢との関係は、外部からの計測によって知り得ない。したがって、両者の姿勢関係の情報を情報端末へ伝達する基準指標配置情報伝達手段が、Ｆ７１４における位置及び姿勢の変換処理をより厳密に行なうためには必要である。基準指標配置情報伝達手段として、以下（１）〜（３）を例示する。

（１）ヘッド・マウント・ディスプレイ１００の設計情報として、情報端末の既知の情報とする。
（２）基準指標から必要な情報を情報端末に伝達する。
（３）ユーザーによる初期化プロセスを経由する。

以下、それぞれの伝達手段について、詳細に説明する。

（１）ヘッド・マウント・ディスプレイ１００の設計情報として、情報端末の既知の情報とする。
例えば、情報端末の専用アプリケーション（カメラの撮影画像からヘッド・マウント・ディスプレイ１００の位置及び姿勢を計算するアプリケーションなど）、若しくはヘッド・マウント・ディスプレイ１００の型番に応じた情報を、情報端末にプリロードする。この場合、ヘッド・マウント・ディスプレイ１００に搭載する基準指標の形状や配置などをすべて事前に設計することが前提である。また、ヘッド・マウント・ディスプレイ１００の主軸などを定義し、それにアラインするように、基準指標を配置することを約束若しくは規格とする。この伝達手段によれば、基準指標の形状に自由度を出すことができる。

図８には、ＡＲマーカー８０１を、ヘッド・マウント・ディスプレイ１００に搭載し、主軸前方方向に持った情報端末のカメラでヘッド・マウント・ディスプレイ１００を撮影する様子を示している。ＡＲマーカーを貼り付ける配置情報は既知である。情報端末側では、撮影画像上のＡＲマーカーの位置並びに姿勢（形状）を観測することによって、情報端末の相対位置及び姿勢を計算することができる。

また、図９には、既知形状の基準指標９０１Ａ〜Ｄを、ヘッド・マウント・ディスプレイ１００に搭載し、主軸前方方向に持った情報端末のカメラでヘッド・マウント・ディスプレイ１００を撮影する様子を示している。各基準指標９０１Ａ〜Ｄの配置情報は既知とする。情報端末側では、撮影画像上の各基準指標９０１Ａ〜Ｄの位置を観測することによって、情報端末の相対位置及び姿勢を計算することができる。但し、３個以上の基準指標を設置する必要がある。３次元座標が既知の３点以上の点を撮影し、画像上の各点の位置からカメラの位置・姿勢を求める、すなわち、既知の３次元座標系からカメラ画像上に定義される２次元座標への写像を計算する手法は、画像処理などの分野において３Ｄ−２Ｄレジストレーションと呼ばれる、確立した技術である。カメラの外部パラメーターと呼ばれる、位置・姿勢に対応する６変数を求めるためには最低でも３点以上の観測が必要であり、通常はより多くの観測点を用いて最小二乗法などを用いた推定を行なう（なお、ここではカメラの内部パラメーターは既知とした）。

図８並びに図９に示したいずれの伝達手段でも、情報端末側のカメラで情報端末の相対位置及び姿勢を認識することができ、ヘッド・マウント・ディスプレイ１００側の外側カメラ３１２を使用する必要がない。

（２）基準指標から必要な情報を情報端末に伝達する。
図１０には、色が異なる３個以上の既知形状の基準指標１００１Ａ〜Ｄを、ヘッド・マウント・ディスプレイ１００に搭載し、主軸前方方向に持った情報端末のカメラでヘッド・マウント・ディスプレイ１００を撮影する様子を示している。各基準指標１００１Ａ〜Ｄの色やテクスチャー、形状を異ならせており、組み合わせによってヘッド・マウント・ディスプレイ１００の基準座標系の軸の情報を情報端末に伝達する。配置情報は既知とする。情報端末側では、撮影画像に映った各基準指標１００１Ａ〜Ｄの色やテクスチャー、形状に基づいて各々を識別することができる。例えば、基準指標１００１Ｂと１００１Ｄを結ぶと基準水平線とする。また、基準指標１００１Ａと１００Ｂの組み合わせ、又は１００１Ｃと１００１Ｄの組み合わせが基準垂直線を表すものとする。

また、図１１には、点滅する基準指標１１０１Ａ〜Ｄを、ヘッド・マウント・ディスプレイ１００に搭載し、主軸前方方向に持った情報端末のカメラでヘッド・マウント・ディスプレイ１００を撮影する様子を示している。各基準指標１１０１Ａ〜Ｄは、ヘッド・マウント・ディスプレイ１００の基準座標系における
各々の指標の位置情報や、指標が設置されているヘッド・マウント・ディスプレイ１００の型番情報、あるいは、その他必要なデータが格納されたデータベースの検索キーなどの伝達したい情報を点滅パターンにエンコードし、情報端末側では点滅パターンをデコードして情報を取得することができる。これらいずれの伝達手段でも、情報端末側のカメラで情報端末の相対位置及び姿勢を認識することができ、ヘッド・マウント・ディスプレイ１００側の外側カメラ３１２を使用する必要がない。

図１２には、基準指標から受信した物体座標に基づいてヘッド・マウント・ディスプレイ１００の画面に情報端末の画面情報を埋め込むための処理手順を示している。

ヘッド・マウント・ディスプレイ１００では、視聴コンテンツが表示部３０９で表示されているとする（Ｆ１２０１）。

一方、情報端末側では、標準装備されたカメラを使って撮影を行なう（Ｆ１２１１）。情報端末は、ヘッド・マウント・ディスプレイ１００を着用しているユーザーが手に持っており、カメラはヘッド・マウント・ディスプレイ１００の正面に向けられているとする。そして、撮影画像に対して物体認識処理を行なって、ヘッド・マウント・ディスプレイ１００の基準指標を検出する（Ｆ１２１２）。

次いで、基準指標から物体座標の情報を受信すると（Ｆ１２４１）、検出した基準指標の位置及び姿勢から、情報端末を基準とする座標系（若しくは、カメラ座標系）でのヘッド・マウント・ディスプレイ１００の位置及び姿勢を計算する（Ｆ１２１３）。この計算処理は、３Ｄ−２Ｄレジストレーション（前述）、若しくはそれと同等の処理となる。つまり、Ｆ１２１２で検出したカメラ座標上の基準指標の２次元位置とＦ１２４１で受信したそれぞれの基準指標の、ヘッド・マウント・ディスプレイ１００基準座標系での３次元位置とを対応付けることによって、カメラ座標系から見たＨＭＤ（座標系）の位置・姿勢、若しくはＨＭＤ座標系から見たカメラ（座標系）の位置・姿勢を計算できる。ここではカメラ座標系から見たＨＭＤの位置・姿勢を計算するものとした。

次いで、情報端末の基準座標系でのヘッド・マウント・ディスプレイ１００の位置及び姿勢を、ヘッド・マウント・ディスプレイ１００基準座標系での情報端末の位置及び姿勢に変換して（Ｆ１２１４）、算出した位置及び姿勢の情報に基づいて、視聴コンテンツの画面に対して情報端末の画面情報を埋め込む位置を計算する（Ｆ１２１５）。なお、撮影画像の処理以降の処理（Ｆ１２１２〜Ｆ１２１５）は、情報端末又はヘッド・マウント・ディスプレイ１００のいずれで実行してもよく、あるいはクラウド・コンピューターなど外部装置で実行するようにしてもよい。

そして、ヘッド・マウント・ディスプレイ１００は、情報端末から画面情報を取得すると（Ｆ１２２１）、Ｆ１２１５で算出された埋め込み位置でコンテンツ再生画面に埋め込み、出力画面を生成する（Ｆ１２３０）。

このような処理の結果、ヘッド・マウント・ディスプレイ１００のコンテンツ再生画面（仮想世界の画像）の中に、ユーザーの視界上の現実の情報端末と同じ位置及び姿勢で情報端末の画面が表示されることとなり、視界が完全に遮られたユーザーは、コンテンツを視聴し続けながら、リアリティーを損なうことなく情報端末の画面の確認や入力操作を行なうことができる。

図１３には、基準指標から受信した検索キーに基づいてヘッド・マウント・ディスプレイ１００の画面に情報端末の画面情報を埋め込むための処理手順を示している。

ヘッド・マウント・ディスプレイ１００では、視聴コンテンツが表示部３０９で表示されているとする（Ｆ１３０１）。

一方、情報端末側では、標準装備されたカメラを使って撮影を行なう（Ｆ１３１１）。情報端末は、ヘッド・マウント・ディスプレイ１００を着用しているユーザーが手に持っており、カメラはヘッド・マウント・ディスプレイ１００の正面に向けられているとする。そして、撮影画像に対して物体認識処理を行なって、ヘッド・マウント・ディスプレイ１００の基準指標を検出する（Ｆ１３１２）。

次いで、基準指標から検索キーを受信すると（Ｆ１３４１）、検索キーでデータベースに問い合わせして（Ｆ１３４２）、基準指標の座標情報、基準指標の情報、ヘッド・マウント・ディスプレイ１００の情報などを取得する。そして、検出した基準指標の位置及び姿勢から、情報端末を基準とする座標系（若しくは、カメラ座標系）でのヘッド・マウント・ディスプレイ１００の位置及び姿勢を計算する（Ｆ１３１３）。

次いで、情報端末の基準座標系でのヘッド・マウント・ディスプレイ１００の位置及び姿勢を、ヘッド・マウント・ディスプレイ１００基準座標系での情報端末の位置及び姿勢に変換して（Ｆ１３１４）、算出した位置及び姿勢の情報に基づいて、視聴コンテンツの画面に対して情報端末の画面情報を埋め込む位置を計算する（Ｆ１３１５）。なお、撮影画像の処理以降の処理（Ｆ１３１２〜Ｆ１３１５）は、情報端末又はヘッド・マウント・ディスプレイ１００のいずれで実行してもよく、あるいはクラウド・コンピューターなど外部装置で実行するようにしてもよい。

そして、ヘッド・マウント・ディスプレイ１００は、情報端末から画面情報を取得すると（Ｆ１３２１）、Ｆ１３１５で算出された埋め込み位置でコンテンツ再生画面に埋め込み、出力画面を生成する（Ｆ１３３０）。

このような処理の結果、ヘッド・マウント・ディスプレイ１００のコンテンツ再生画面（仮想世界の画像）の中に、ユーザーの視界上の現実の情報端末と同じ位置及び姿勢で情報端末の画面が表示されることとなり、視界が完全に遮られたユーザーは、コンテンツを視聴し続けながら、リアリティーを損なうことなく情報端末の画面の確認や入力操作を行なうことができる。

（３）ユーザーによる初期化プロセスを経由する。
ヘッド・マウント・ディスプレイ１００を着用したユーザーは、目線の正面など事前に定められた初期姿勢で情報端末を保持して、リセット（初期化）する。情報端末側では、Ｖｉｓｕａｌ ＳＬＡＭ技術などを適用して、カメラで撮影したヘッド・マウント・ディスプレイ１００を認識すると、その姿勢に対して情報端末の位置を初期化する。

図１４には、情報端末の位置を初期化するための処理手順を示している。

ヘッド・マウント・ディスプレイ１００を着用したユーザーは、目線の正面などの初期姿勢で情報端末を保持している。この状態で、情報端末のカメラでヘッド・マウント・ディスプレイ１００を撮影し（Ｆ１４０１）、撮影画像からヘッド・マウント・ディスプレイ１００を検出する（Ｆ１４０２）。そして、情報端末を基準とする座標系（若しくは、カメラ座標系）でのヘッド・マウント・ディスプレイ１００の位置及び姿勢を計算する（Ｆ１４０３）。

ここで、例えばユーザーから初期位置トリガーが行なわれると、算出したヘッド・マウント・ディスプレイ１００の位置及び姿勢を、基準状態でのヘッド・マウント・ディスプレイ１００の位置及び姿勢として保存する（Ｆ１４１０）。

図１５には、図１４に示した処理手順によって初期化した情報端末の位置を用いて、ヘッド・マウント・ディスプレイ１００の画面に情報端末の画面情報を埋め込むための処理手順を示している。

ヘッド・マウント・ディスプレイ１００では、視聴コンテンツが表示部３０９で表示されているとする（Ｆ１５０１）。

一方、情報端末側では、標準装備されたカメラを使って撮影を行なう（Ｆ１５１１）。情報端末は、ヘッド・マウント・ディスプレイ１００を着用しているユーザーが手に持っており、カメラはヘッド・マウント・ディスプレイ１００の正面に向けられているとする。そして、撮影画像に対して物体認識処理を行なって、ヘッド・マウント・ディスプレイ１００を検出する（Ｆ１５１２）。そして、情報端末を基準とする座標系（若しくは、カメラ座標系）でのヘッド・マウント・ディスプレイ１００の位置及び姿勢を計算する（Ｆ１５１３）。

そして、基準状態でのヘッド・マウント・ディスプレイ１００の位置及び姿勢（図１４を参照のこと）を読み込むと（Ｆ１５４１）、その基準状態からのヘッド・マウント・ディスプレイ１００の姿勢の変化を計算する（Ｆ１５１４）。ヘッド・マウント・ディスプレイ１００が静止していると仮定し、このような位置・姿勢の変化を与える情報端末（カメラ）の位置及び姿勢の変化を逆計算すると、情報端末の位置・姿勢が基準状態からどのように変化したかを計算することができる（Ｆ１５１５）。そして、算出した情報端末の位置及び姿勢の変化の情報に基づいて、視聴コンテンツの画面に対して情報端末の画面情報を埋め込む位置を計算する（Ｆ１５１６）。なお、撮影画像の処理以降の処理（Ｆ１５１２〜Ｆ１５１６）は、情報端末又はヘッド・マウント・ディスプレイ１００のいずれで実行してもよく、あるいはクラウド・コンピューターなど外部装置で実行するようにしてもよい。

そして、ヘッド・マウント・ディスプレイ１００は、情報端末から画面情報を取得すると（Ｆ１５２１）、Ｆ１５１６で算出された埋め込み位置でコンテンツ再生画面に埋め込み、出力画面を生成する（Ｆ１５３０）。

このような処理の結果、ヘッド・マウント・ディスプレイ１００のコンテンツ再生画面（仮想世界の画像）の中に、ユーザーの視界上の現実の情報端末と同じ位置及び姿勢で情報端末の画面が表示されることとなり、視界が完全に遮られたユーザーは、コンテンツを視聴し続けながら、リアリティーを損なうことなく情報端末の画面の確認や入力操作を行なうことができる。

以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

本明細書で開示する技術は、カメラを装備しない没入型のヘッド・マウント・ディスプレイに好適に適用することができるが、勿論、カメラを搭載したビデオ・シースルー方式のヘッド・マウント・ディスプレイや、透過性すなわち光学シースルー方式のヘッド・マウント・ディスプレイ、さらにはヘッド・マウント・ディスプレイ以外のさまざまなタイプの画像表示装置に対して、同様に適用することができる。

また、本明細書で開示する技術は、両眼式及び単眼式の双方のヘッド・マウント・ディスプレイに好適に適用することができる。

要するに、例示という形態により本明細書で開示する技術について説明してきたが、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）撮影部と、
前記撮影部で外部の画像表示装置を撮影した画像に基づいて、当該情報処理装置の第１の基準座標系での前記画像表示装置の位置及び姿勢を計算する位置姿勢計算部と、
前記第１の基準座標系での前記画像表示装置の位置及び姿勢を、前記画像表示装置の第２の基準座標系での当該情報処理装置の位置及び姿勢に変換する位置姿勢変換部と、
前記第２基準座標系での当該情報処理装置の位置及び姿勢に基づいて、前記画像表示装置の画面内で当該情報処理装置に関わる画面情報を埋め込む位置を計算する埋め込み位置計算部と、
を具備する情報処理装置。
（２）撮影部と、
表示部と、
前記撮影部で外部の画像表示装置を撮影した画像に基づいて、当該情報処理装置の第１の基準座標系での前記画像表示装置の位置及び姿勢を計算する位置姿勢計算部と、
前記第１の基準座標系での前記画像表示装置の位置及び姿勢を、前記画像表示装置の第２の基準座標系での当該情報処理装置の位置及び姿勢に変換する位置姿勢変換部と、
前記第２基準座標系での当該情報処理装置の位置及び姿勢に基づいて、前記画像表示装置の画面に対して前記表示部の画面情報を埋め込む位置を計算する埋め込み位置計算部と、
を具備する情報処理装置。
（３）前記画像表示装置と通信する通信部をさらに備え、
前記表示部の画面情報及び前記埋め込む位置の情報を、前記通信部を介して前記画像表示装置に送信する、
上記（２）に記載の情報処理装置。
（４）前記位置姿勢計算部は、前記画像表示装置側に搭載された基準指標に基づいて、前記第１の基準座標系での前記画像表示装置の位置及び姿勢を計算する、
上記（２）乃至（３）のいずれかに記載の情報処理装置。
（５）前記画像表示装置の姿勢と前記基準指標の姿勢の関係に関する情報を取得する基準指標配置情報取得部をさらに備える、
上記（４）に記載の情報処理装置。
（６）前記基準指標配置情報取得部は、前記画像表示装置の姿勢と前記基準指標の姿勢の関係に関する設計情報をプリロードし、
前記位置姿勢計算部は、前記画像表示装置に対し当該情報処理装置が所定方向に配置されたときに前記撮影部で撮影した画像から、前記設計情報に基づいて前記第１の基準座標系での前記画像表示装置の位置及び姿勢を計算する、
上記（５）に記載の情報処理装置。
（７）前記基準指標配置情報取得部は、前記基準指標から情報を受信する、
上記（５）に記載の情報処理装置。
（８）前記画像表示装置側には配置情報が既知となる３個以上の基準指標が配置され、
前記基準指標配置情報取得部は、色、テクスチャー、形状のうち少なくとも１つに基づいて各基準指標の各々を識別して、前記画像表示装置の基準座標系の軸の情報を取得する、
上記（７）に記載の情報処理装置。
（９）前記基準指標配置情報取得部は、点滅パターンにエンコードされた情報を基準指標から受信する、
上記（７）に記載の情報処理装置。
（１０）前記基準指標配置情報取得部は、点滅パターンをデコードした情報をデータベースに問い合わせて、基準指標の座標情報、基準指標の情報、又は前記画像表示装置の情報を取得する、
上記（９）に記載の情報処理装置。
（１１）前記位置姿勢計算部は、Ｖｉｓｕａｌ ＳＬＡＭを用いて、前記第１の基準座標系での前記画像表示装置の位置及び姿勢を計算する、
上記（２）乃至（３）のいずれかに記載の情報処理装置。
（１２）初期姿勢に当該情報処理装置が保持された基準状態において前記位置姿勢計算部で算出された前記画像表示装置の位置及び姿勢を保存しておき、
前記位置姿勢変換部は、前記基準状態からの前記画像表示装置の姿勢の変化を計算して、前記第１の基準座標系での前記画像表示装置の位置及び姿勢を、前記第２の基準座標系での当該情報処理装置の位置及び姿勢に変換する、
上記（１１）に記載の情報処理装置。
（１３）情報端末に搭載された撮影部で他の画像表示装置を撮影した画像に基づいて、前記情報端末の第１の基準座標系での前記画像表示装置の位置及び姿勢を計算する位置姿勢計算ステップと、
前記第１の基準座標系での前記画像表示装置の位置及び姿勢を、前記画像表示装置の第２の基準座標系での前記情報端末の位置及び姿勢に変換する位置姿勢変換ステップと、
前記第２基準座標系での前記情報端末の位置及び姿勢に基づいて、前記画像表示装置の画面に対して前記情報端末の画面情報を埋め込む位置を計算する埋め込み位置計算ステップと、
を有する情報処理方法。
（１４）観察者の頭部又は顔部に固定される表示装置と、
撮影部と表示部を備え、前記撮影部で外部の画像表示装置を撮影した画像に基づいて、当該情報処理装置の第１の基準座標系での前記画像表示装置の位置及び姿勢を計算するとともに、前記第１の基準座標系での前記画像表示装置の位置及び姿勢を、前記画像表示装置の第２の基準座標系での当該情報処理装置の位置及び姿勢に変換して、前記画像表示装置の画面に対して前記表示部の画面情報を埋め込む位置を計算する情報処理装置と、
を具備する画像表示システム。

１００…ヘッド・マウント・ディスプレイ
１０１Ｌ、１０１Ｒ…虚像光学部
１０３Ｌ、１０３Ｒ…マイクロフォン、１０４Ｌ、１０４Ｒ…表示パネル
１０５…眼幅調整機構
３０１…制御部、３０１Ａ…ＲＯＭ、３０１Ｂ…ＲＡＭ
３０２…入力操作部、３０３…リモコン受信部
３０４…状態情報取得部、３０５…通信部、３０６…記憶部
３０７…画像処理部、３０８…表示駆動部
３０９…表示部、３１０…虚像光学部、３１２…外側カメラ
３１３…音声処理部、３１４…音声入出力部、
３１５…タッチパネル、３１６…環境情報取得部
１６１０…制御部、１６１１…ＣＰＵ、１６１２…ＲＯＭ、１６１３…ＲＡＭ
１６２０…表示部、１６２１…表示パネル、１６２２…表示インターフェース
１６２３…タッチパネル、１６２４…タッチ・インターフェース
１６３０…音声処理部、１６３１…音声出力部、１６３２…音声入力部
１６３４…出力端子
１６４０…通信部、１６５０…記憶部、１６６０…カメラ部
１６６１…イメージ・センサー、１６６２…ＡＦＥ処理部
１６６３…カメラ・インターフェース、１６７０…センサー部

Claims (14)

1. 撮影部と、
   前記撮影部で外部の画像表示装置を撮影した画像に基づいて、当該情報処理装置の第１の基準座標系での前記画像表示装置の位置及び姿勢を計算する位置姿勢計算部と、
   前記第１の基準座標系での前記画像表示装置の位置及び姿勢を、前記画像表示装置の第２の基準座標系での当該情報処理装置の位置及び姿勢に変換する位置姿勢変換部と、
   前記第２基準座標系での当該情報処理装置の位置及び姿勢に基づいて、前記画像表示装置の画面内で当該情報処理装置に関わる画面情報を埋め込む位置を計算する埋め込み位置計算部と、
   を具備する情報処理装置。
2. 撮影部と、
   表示部と、
   前記撮影部で外部の画像表示装置を撮影した画像に基づいて、当該情報処理装置の第１の基準座標系での前記画像表示装置の位置及び姿勢を計算する位置姿勢計算部と、
   前記第１の基準座標系での前記画像表示装置の位置及び姿勢を、前記画像表示装置の第２の基準座標系での当該情報処理装置の位置及び姿勢に変換する位置姿勢変換部と、
   前記第２基準座標系での当該情報処理装置の位置及び姿勢に基づいて、前記画像表示装置の画面に対して前記表示部の画面情報を埋め込む位置を計算する埋め込み位置計算部と、
   を具備する情報処理装置。
3. 前記画像表示装置と通信する通信部をさらに備え、
   前記表示部の画面情報及び前記埋め込む位置の情報を、前記通信部を介して前記画像表示装置に送信する、
   請求項２に記載の情報処理装置。
4. 前記位置姿勢計算部は、前記画像表示装置側に搭載された基準指標に基づいて、前記第１の基準座標系での前記画像表示装置の位置及び姿勢を計算する、
   請求項２乃至３のいずれかに記載の情報処理装置。
5. 前記画像表示装置の姿勢と前記基準指標の姿勢の関係に関する情報を取得する基準指標配置情報取得部をさらに備える、
   請求項４に記載の情報処理装置。
6. 前記基準指標配置情報取得部は、前記画像表示装置の姿勢と前記基準指標の姿勢の関係に関する設計情報をプリロードし、
   前記位置姿勢計算部は、前記画像表示装置に対し当該情報処理装置が所定方向に配置されたときに前記撮影部で撮影した画像から、前記設計情報に基づいて前記第１の基準座標系での前記画像表示装置の位置及び姿勢を計算する、
   請求項５に記載の情報処理装置。
7. 前記基準指標配置情報取得部は、前記基準指標から情報を受信する、
   請求項５に記載の情報処理装置。
8. 前記画像表示装置側には配置情報が既知となる３個以上の基準指標が配置され、
   前記基準指標配置情報取得部は、色、テクスチャー、形状のうち少なくとも１つに基づいて各基準指標の各々を識別して、前記画像表示装置の基準座標系の軸の情報を取得する、
   請求項７に記載の情報処理装置。
9. 前記基準指標配置情報取得部は、点滅パターンにエンコードされた情報を基準指標から受信する、
   請求項７に記載の情報処理装置。
10. 前記基準指標配置情報取得部は、点滅パターンをデコードした情報をデータベースに問い合わせて、基準指標の座標情報、基準指標の情報、又は前記画像表示装置の情報を取得する、
    請求項９に記載の情報処理装置。
11. 前記位置姿勢計算部は、Ｖｉｓｕａｌ ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ）を用いて、前記第１の基準座標系での前記画像表示装置の位置及び姿勢を計算する、
    請求項２乃至３のいずれかに記載の情報処理装置。
12. 初期姿勢に当該情報処理装置が保持された基準状態において前記位置姿勢計算部で算出された前記画像表示装置の位置及び姿勢を保存しておき、
    前記位置姿勢変換部は、前記基準状態からの前記画像表示装置の姿勢の変化を計算して、前記第１の基準座標系での前記画像表示装置の位置及び姿勢を、前記第２の基準座標系での当該情報処理装置の位置及び姿勢に変換する、
    請求項１１に記載の情報処理装置。
13. 情報端末に搭載された撮影部で他の画像表示装置を撮影した画像に基づいて、前記情報端末の第１の基準座標系での前記画像表示装置の位置及び姿勢を計算する位置姿勢計算ステップと、
    前記第１の基準座標系での前記画像表示装置の位置及び姿勢を、前記画像表示装置の第２の基準座標系での前記情報端末の位置及び姿勢に変換する位置姿勢変換ステップと、
    前記第２基準座標系での前記情報端末の位置及び姿勢に基づいて、前記画像表示装置の画面に対して前記情報端末の画面情報を埋め込む位置を計算する埋め込み位置計算ステップと、
    を有する情報処理方法。
14. 観察者の頭部又は顔部に固定される表示装置と、
    撮影部と表示部を備え、前記撮影部で外部の画像表示装置を撮影した画像に基づいて、当該情報処理装置の第１の基準座標系での前記画像表示装置の位置及び姿勢を計算するとともに、前記第１の基準座標系での前記画像表示装置の位置及び姿勢を、前記画像表示装置の第２の基準座標系での当該情報処理装置の位置及び姿勢に変換して、前記画像表示装置の画面に対して前記表示部の画面情報を埋め込む位置を計算する情報処理装置と、
    を具備する画像表示システム。