JP7286760B2 - ヘッドマウント情報処理装置 - Google Patents

Description

本発明は、ユーザの頭部に装着された状態でユーザに各種情報を視覚または聴覚を介して提供するヘッドマウント情報処理装置に関する。

特許文献１には、車両の周囲を撮像する複数のカメラで撮像された映像を表示するヘッドマウントディスプレイ装置において、ヘッドマウントディスプレイ装置を装着した乗員の頭部の動きに応じて表示する映像を切り替える方式が示される。

特開２０１８－１２９７３２号公報

ヘッドマウント情報処理装置は、ＨＭＤ（Head Mounted Display）とも呼ばれ、ユーザの頭部に装着された状態で表示部に拡張現実（ＡＲ）の情報や仮想現実（ＶＲ）の情報を表示することができる。ヘッドマウント情報処理装置では、近年、現実世界と仮想世界をリアルタイムかつシームレスに融合させて、ユーザに、あたかもその場に仮想の物体が存在するかのような体験を行わせることが可能になってきている。また、このようなヘッドマウント情報処理装置は、ＡＲやＶＲを利用したコンテンツを代表に、多くのコンテンツを搭載している。

ユーザは、ヘッドマウント情報処理装置に搭載される各種コンテンツを選択する場合、ヘッドマウント情報処理装置を装着した後に、表示部に表示されるメニュー等を見ながらリモコン等を用いて選択操作を行う必要がある。その結果、リモコンを探す手間、および、選択操作を行う手間が生じるため、ユーザの利便性が低下する恐れがある。特に、メニューの階層が深いような場合、目的のコンテンツを探す必要性が生じ得るため、利便性がより低下する。また、このような選択操作を行うと、その行為自体により、ユーザのコンテンツへの没入感が薄れる恐れがある。

本発明は、このようなことに鑑みてなされたものであり、その目的の一つは、ユーザの利便性を向上させることが可能なヘッドマウント情報処理装置を提供することにある。

本発明の前記ならびにその他の目的と新規な特徴については、本明細書の記述および添付図面から明らかになるであろう。

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次のとおりである。

代表的なヘッドマウント情報処理装置は、ユーザの頭部に装着された状態でユーザに各種情報を視覚または聴覚を介して提供する装置であり、所定の画像を表示する表示部と、装置外部の画像を撮像するカメラと、メモリと、コンテンツを実行するコンテンツ実行部と、コンテンツ実行部を制御するコンテンツ制御部とを備える。コンテンツ制御部は、キーコンテンツペア情報登録部と、キーコンテンツペア復元部とを備える。キーコンテンツペア情報登録部は、ユーザからの指示を受けた時または装置終了時であるイベント発生時、イベント発生時のコンテンツの状態を、イベント発生時のカメラの画像から得られる登録キーに対応付け、キーコンテンツペア情報としてメモリに保存する。キーコンテンツペア復元部は、装置起動時、キーコンテンツペア情報に基づいて、装置起動時のカメラの画像と登録キーとの適合有無を判別し、適合有りの場合、適合した登録キーに対応するコンテンツの状態を復元する。

本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば、ヘッドマウント情報処理装置において、ユーザの利便性を向上させることが可能になる。

本発明の実施の形態１によるヘッドマウント情報処理装置の概略構成例を示すブロック図である。 図１におけるＣＰＵ周りの主要部の構成例を示すブロック図である。 図２におけるキーコンテンツペア情報登録部の動作例を示すフロー図である。 図２におけるキーコンテンツペア復元部の動作例を示すフロー図である。 図２におけるキーコンテンツペア情報の構成例を示す概略図である。 （ａ）、（ｂ）および（ｃ）は、図５に対応するヘッドマウント情報処理装置の使用状況の一例を示す模式図である。 （ａ）、（ｂ）および（ｃ）は、図５に対応するヘッドマウント情報処理装置の使用状況の他の一例を示す模式図である。 （ａ）および（ｂ）は、図２におけるキーコンテンツペア情報の他の構成例を示す概略図である。 （ａ）および（ｂ）は、図２において、ユーザによる登録キーの使用例を説明する図である。 （ａ）は、図２において、ユーザによる登録キーの他の使用例を説明する図であり、（ｂ）は、（ａ）に対応するキーコンテンツペア情報の構成例を示す概略図である。 本発明の実施の形態２によるヘッドマウント情報処理装置において、図２のキーコンテンツペア復元部の動作例を説明する図である。 （ａ）、（ｂ）、（ｃ）および（ｄ）は、本発明の実施の形態３によるヘッドマウント情報処理装置において、図２のキーコンテンツペア復元部の動作例を説明する図である。 （ａ）、（ｂ）、（ｃ）および（ｄ）は、本発明の実施の形態３によるヘッドマウント情報処理装置において、図２のキーコンテンツペア復元部の他の動作例を説明する図である。 本発明の実施の形態５によるヘッドマウント情報処理装置周りの概略構成例を示すブロック図である。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。

（実施の形態１）
《ヘッドマウント情報処理装置の概略》
図１は、本発明の実施の形態１によるヘッドマウント情報処理装置の概略構成例を示すブロック図である。図１のヘッドマウント情報処理装置１００は、ユーザの頭部に装着された状態でユーザに各種情報を視覚または聴覚を介して提供する。明細書では、ヘッドマウント情報処理装置１００をＨＭＤ１００とも呼ぶ。ＨＭＤ１００は、カメラ１１１、外周音マイク１１６、発声音マイク１１７、ヘッドフォン１１８、操作入力インタフェース１１９、ディスプレイ（表示部）１２０、ＣＰＵ（Central Processing Unit）１２５、メモリ１２８、アンテナ１５０および通信インタフェース１５１を備える。

また、当該ＨＭＤ１００は、振動発生器１１４、刺激発生器１１５および各種センサを備える。各種センサの中には、右目視線検出器１１２、左目視線検出器１１３、近接センサ１３２、深度センサ１２１、加速度センサ１２２、ジャイロセンサ１２３、地磁気センサ１２４および生体センサ１２９等が含まれる。これらの各構成部は、それぞれバス１４０を介して相互に接続される。

ディスプレイ（表示部）１２０は、例えば、液晶パネル等であり、ＡＲまたはＶＲの画像等を代表に、所定の画像を表示する。カメラ１１１は、例えば、ユーザの両眼の前方に設置され、装置外部の画像（例えばユーザ前方の風景）を撮像する。撮像された画像は、現実空間の画像としてディスプレイ１２０に表示される。右目視線センサ１１２および左目視線センサ１１３は、それぞれ右目および左目の視線を検知する。ユーザの視線を検知する技術は、アイトラッキングとして一般的に知られている。例えば、角膜反射を利用したアイトラッキングでは、赤外線ＬＥＤ（Light Emitting Diode）を顔に照射し赤外線カメラで撮影し、赤外線ＬＥＤの照射で生じた反射光の角膜上の位置（角膜反射）を基準点とし、角膜反射の位置に対する瞳孔の位置に基づいて視線を検知する。

振動発生器１１４は、ＣＰＵ１２５からの指示に応じて振動を発生する。振動発生器１１４は、例えば、ＣＰＵ１２５で生成されたユーザへの通知情報を振動に変換することで、ユーザへ、より認識度が高い通知を行う。刺激発生器１１５は、例えば電気刺激などを代表に所定の刺激を発生する。外周音マイク１１６は、例えば、ユーザの耳部近傍に装着され、装置外部で生じた周囲音を集音して音声信号に変換する。発声音マイク１１７は、ユーザからの発声音声を集音して音声信号に変換する。ヘッドフォン１１８は、装置内部の音声信号を音声（音波）に変換してユーザへ放音する。ヘッドフォン１１８は、気導音型でも骨導音（骨伝導）型でもよい。

操作入力インタフェース１１９は、代表的には、リモコン等であり、ユーザによる各種操作入力信号を受信する。操作入力インタフェース１１９は、各種操作入力信号を通信インタフェース１５１を介して受信可能なものであってもよい。近接センサ１３２は、例えば、照射した赤外線が対象物に反射して戻ってくる時間で距離を判断したり、対象物との間の電磁誘導や、または対象物との間の容量変化等を利用して対象物との距離を判断してＨＭＤ１００に近接する対象物を検出する。深度センサ１２１は、物体までの距離を面で測定する。深度センサ部１２１には、例えば、赤外線やレーザなどの反射を利用したものがあるが、取り付け位置の異なる複数のカメラにて撮影した画像の視差から距離情報を得るなど、他の方式で実現してもよい。

加速度センサ１２２は、ＨＭＤ１００の加速度を検知することで、ＨＭＤ１００の動き・振動・衝撃などを検知する。ジャイロセンサ１２３は、回転方向の角速度を検知することで、ＨＭＤ１００の縦・横・斜めの姿勢を検知する。地磁気センサ１２４は、地球の磁力を検知することで、ＨＭＤ１００の向いている方向を検知する。したがって、ジャイロセンサ１２３または地磁気センサ１２４を用いると、さらに、場合によっては、加速度センサ１２２を併用すると、ＨＭＤ１００（ひいては、それを装着しているユーザ）の姿勢を検知することができる。生体センサ１２９は、例えば、虹彩または網膜等を代表とするユーザの生体情報を検知することで各ユーザを判別する。

メモリ１２８は、例えば、フラッシュメモリおよびワーク用のＲＡＭ等であり、プログラム１２６および各種情報データ１２７を記憶する。プログラム１２６には、ＯＳ（Operating System）および当該ＯＳ上で動作する各種コンテンツ用プログラム等が含まれる。情報データ１２７には、プログラム１２６で使用する各種パラメータなどが含まれる。ＣＰＵ１２５は、メモリ１２８に記憶されるプログラム１２６を実行することで、ユーザに所望のコンテンツを提供し、また、ＨＭＤ１００全体の動作を制御する。ＣＰＵ１２５は、ＧＰＵ（Graphics Processing Unit）等の各種演算処理専用プロセッサを含んでもよい。

通信インタフェース１５１は、例えば、アンテナ１５０を介して近距離無線通信を行う。近距離無線通信の方式として、例えば、電子タグ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ（Infrared Data Association）、Ｚｉｇｂｅｅ（登録商標）、ＨｏｍｅＲＦ（Home Radio Frequency、登録商標）、無線ＬＡＮ（IEEE802.11a、IEEE802.11b、IEEE802.11g）などが挙げられる。

《ＣＰＵ周りの主要部の詳細》
図２は、図１におけるＣＰＵ周りの主要部の構成例を示すブロック図である。図２において、ＣＰＵ１２５は、コンテンツ制御部２０５と、コンテンツ実行部２０６とを備える。コンテンツ制御部２０５およびコンテンツ実行部２０６は、ＣＰＵ１２５がメモリ１２８に記憶されるプログラム１２６を実行することでＣＰＵ１２５上に実装される。コンテンツ実行部２０６は、ユーザの要求等に応じて各種コンテンツを実行する。コンテンツ制御部２０５は、コンテンツ実行部２０６を制御する。なお、コンテンツ制御部２０５およびコンテンツ実行部２０６は、ＣＰＵ１２５によるプログラム処理（ソフトウエア）に限らず、場合によっては、ＦＰＧＡ（Field Programmable Gate Array）、各種アクセラレータ等のハードウエアや、または、ハードウエアとソフトウエアの組み合わせで実装されてもよい。

コンテンツ制御部２０５は、候補キー抽出部２１０と、キーコンテンツペア情報登録部２１１と、キーコンテンツペア復元部２１２とを備える。候補キー抽出部２１０は、カメラ１１１の画像、各種センサ２０１の検知結果、通信インタフェース１５１の受信データの中の少なくともいずれか一つに基づいて候補キーを抽出する。この際に、カメラ１１１の画像、各種センサ２０１の検知結果、通信インタフェース１５１の受信データの中のどれを候補キーとするかは、予めメモリ１２８内のキー設定情報２１５で定められる。なお、各種センサの中には、右目視線検出器１１２、左目視線検出器１１３、近接センサ１３２、深度センサ１２１、加速度センサ１２２、ジャイロセンサ１２３、地磁気センサ１２４および生体センサ１２９等が含まれる。

キーコンテンツペア情報登録部２１１は、イベント発生時に、候補キー抽出部２１０に候補キーを抽出させ、当該候補キーの中からイベント発生時のキーを定める。カメラ画像を例とすると、候補キーとは、例えば、カメラ画像に含まれる単数または複数のオブジェクトに該当する。キーコンテンツペア情報登録部２１１は、その単数または複数のオブジェクトの中の１個のオブジェクト（単数または複数の候補キーの中の１個のキー）をイベント発生時のキーに定める。

そして、キーコンテンツペア情報登録部２１１は、イベント発生時のコンテンツ実行部２０６におけるコンテンツの状態を、イベント発生時のキーに対応付け、キーコンテンツペア情報２１６としてメモリ１２８に保存する。明細書では、このキーコンテンツペア情報登録部２１１によって定められたイベント発生時のキーであり、キーコンテンツペア情報２１６として保存されたキーを登録キーと呼ぶ。イベント発生時とは、装置終了信号（例えば、電源オフ信号等）ＰＯＦＦを受けた時である装置終了時、または、ユーザ入力信号ＣＭＤを介してユーザからの所定の指示を受けた時である。

一方、キーコンテンツペア復元部２１２は、装置起動信号（例えば、電源オン信号等）ＰＯＮを受けた時である装置起動時に、候補キー抽出部２１０に候補キーを抽出させる。そして、キーコンテンツペア復元部２１２は、キーコンテンツペア情報２１６に基づいて、抽出された候補キーと登録キーとの適合有無を判別し、適合有りの場合、当該登録キーに対応するコンテンツの状態を復元する。

ここで、ＨＭＤ１００の装置終了時として、代表的には、（Ａ）ユーザが頭からＨＭＤ１００を外す時、（Ｂ）ユーザが頭にＨＭＤ１００を装着した状態で電源をオフにする時、（Ｃ）ユーザが頭からＨＭＤ１００を外した後にどこかに置いて電源をオフにする時等が挙げられる。電源のオフは、必ずしも電源遮断を意味せず、スリープモードへの移行を意味する場合もある。（Ａ）は、例えば、ＨＭＤ１００の顔側の近接センサを用いることで検知される。ＨＭＤ１００が頭から外された場合、ＨＭＤ１００によっては、自動的に電源がオフになる場合や、または、自動的にスリープモードへ移行する場合がある。（Ｃ）は、（Ａ）の場合と異なり、自動的に電源がオフとならない（またはスリープモードへ移行しない）ＨＭＤ１００が対象となる。

ユーザ入力信号ＣＭＤは、例えば、リモコン等の中断ボタン、または、画面上のメニューを介した中断指示等に応じて発行され、ブックマーク、しおり、復元ポイントのような役割を担う。また、コンテンツの状態とは、コンテンツの種別、または、当該コンテンツの種別に加えてコンテンツ上の実行状態を表す。コンテンツの種別とは、例えば、映画等の動作再生コンテンツ、ロールプレイング等のゲームコンテンツ、観光等の体験コンテンツ、書類作成コンテンツ、チャットルームコンテンツ等を区別する情報である。この場合、キーコンテンツペア情報登録部２１１は、キーコンテンツペア情報２１６におけるコンテンツの状態として、例えば、コンテンツへのファイルパス等を保存すればよい。キーコンテンツペア復元部２１２は、当該ファイルパス等に基づきコンテンツを起動すればよい。

一方、コンテンツ上の実行状態とは、例えば、動作再生コンテンツ上の再生箇所、ゲームコンテンツや体験コンテンツ上の進捗箇所、書類作成コンテンツ上の書類ファイル名、チャットルームコンテンツにおける参加者の環境などを表す。この場合、キーコンテンツペア情報登録部２１１は、キーコンテンツペア情報２１６におけるコンテンツの状態として、例えば、コンテンツへのファイルパス、各種設定ファイルへのファイルパス、書類ファイルへのファイルパス、または、ＣＰＵのパラメータ値（レジスタ値、カウンタ値）等を適宜保存すればよい。キーコンテンツペア復元部２１２は、当該保存された各種情報に基づき、コンテンツを起動することに加えて、当該コンテンツ上の実行状態を復元すればよい。

《キーコンテンツペア情報登録部およびキーコンテンツペア復元部の詳細》
図３は、図２におけるキーコンテンツペア情報登録部の動作例を示すフロー図である。図４は、図２におけるキーコンテンツペア復元部の動作例を示すフロー図である。ここでは、キー（候補キーおよび登録キー）がカメラ１１１の画像である場合を例として説明する。図３において、キーコンテンツペア情報登録部２１１は、イベント信号（装置終了信号ＰＯＦＦまたはユーザ入力信号ＣＭＤ）を受信すると（ステップＳ１０１）、ステップＳ１０２の処理を実行する。ステップＳ１０２において、キーコンテンツペア情報登録部２１１は、コンテンツ実行部２０６からイベント発生時のコンテンツの状態（ｅ）を取得する。

次いで、キーコンテンツペア情報登録部２１１は、イベント発生時のカメラ１１１の画像に基づき、候補キー抽出部２１０に候補キーを抽出させ、その中から登録キー（Ｅ）を定める（ステップＳ１０３）。続いて、キーコンテンツペア情報登録部２１１は、ステップＳ１０２で取得したコンテンツの状態（ｅ）を、ステップＳ１０３で定めた登録キー（Ｅ）に対応付け、キーコンテンツペア情報２１６としてメモリ１２８に保存し（ステップＳ１０４）、処理を終了する。

一方、図４において、キーコンテンツペア復元部２１２は、装置起動信号を受信すると（ステップＳ２０１）、ステップＳ２０２の処理を実行する。ステップＳ２０２において、キーコンテンツペア復元部２１２は、メモリ１２８にキーコンテンツペア情報２１６が保存されているか否かを判別する。キーコンテンツペア情報２１６が保存されていない場合、キーコンテンツペア復元部２１２は、ディスプレイ１２０に、装置起動後の規定の初期画面（例えばメニュー画面等）を表示し（ステップＳ２１１）、処理を終了する。

一方、ステップＳ２０２においてキーコンテンツペア情報２１６が保存されている場合、キーコンテンツペア復元部２１２は、装置起動時のカメラ１１１の画像に基づき、候補キー抽出部２１０に候補キー（Ｅ’）を抽出させる（ステップＳ２０３）。続いて、キーコンテンツペア復元部２１２は、メモリ１２８から、キーコンテンツペア情報２１６内の登録キー（Ｅ）を順次読み出しながら（ステップＳ２０４）、当該登録キー（Ｅ）とステップＳ２０３で抽出された候補キー（Ｅ’）（言い換えればカメラ画像）との適合有無を判別する（ステップＳ２０５）。

ステップＳ２０５において適合無しの場合、キーコンテンツペア復元部２１２は、ステップＳ２１１において規定の初期画面を表示し、処理を終了する。一方、ステップＳ２０５において適合有りの場合、キーコンテンツペア復元部２１２は、キーコンテンツペア情報２１６に基づき、適合した登録キー（Ｅ）に対応するコンテンツの状態を取得する（ステップＳ２０６）。そして、キーコンテンツペア復元部２１２は、装置終了時設定や初期設定に基づいて（ステップＳ２０７，Ｓ２０８）、対応するコンテンツを起動するか（ステップＳ２０９）、または、加えて当該コンテンツ上の実行状態を復元し（ステップＳ２１０）、処理を終了する。

この例では、図２の説明で述べたようなコンテンツの種別を復元するか、またはコンテンツ上の実行状態を復元するかを、装置終了時にユーザに任意に選択させるか（ステップＳ２０７）、または、コンテンツ毎に初期設定で固定的に定めることが可能となっている（ステップＳ２０８）。これらの装置終了時の情報または初期設定時の情報は、メモリ１２８に保存される。例えば、動画再生コンテンツの場合、動画を最初から再生させるか、動画を中断箇所から再生させるかを、装置終了時にユーザが任意に選択することも、初期設定で固定的に定めることも可能となっている。なお、この定め方は、特に、装置終了時のユーザ設定、または初期設定に限定されず、様々な方法を用いることができる。

図５は、図２におけるキーコンテンツペア情報の構成例を示す概略図である。図６（ａ）、図６（ｂ）および図６（ｃ）は、図５に対応するヘッドマウント情報処理装置の使用状況の一例を示す模式図であり、図７（ａ）、図７（ｂ）および図７（ｃ）は、図５に対応するヘッドマウント情報処理装置の使用状況の他の一例を示す模式図である。

図６（ａ）において、ＨＭＤ１００を装着したユーザ６０１は、図６（ｃ）に示されるように、ＨＭＤ１００の動画再生コンテンツ６０４を用いて映画「山登り」を鑑賞し、その途中である再生時間「１：１０：１５」で時計６０２方向を向きながらＨＭＤ１００に装置終了を指示する（例えば電源をオフにする）。この際に、カメラ１１１は、図６（ｂ）に示されるように、時計６０２を撮像している。一方、図７（ａ）において、ＨＭＤ１００を装着したユーザ６０１は、ＨＭＤ１００の書類作成コンテンツ６０５を用いて書類作成を行い、その書類ファイルをセーブしたのちカレンダー６０３方向を向きながらＨＭＤ１００に装置終了を指示する。この際に、カメラ１１１は、図７（ｂ）に示されるように、カレンダー６０３を撮像している。

その結果、図５のキーコンテンツペア情報２１６ａは、コンテンツの状態（コンテンツ上の実行状態）である映画「山登り」における再生時間「１：１０：１５」を、登録キーである時計６０２に対応付けて保存する。また、図５のキーコンテンツペア情報２１６ａは、コンテンツの状態（コンテンツ上の実行状態）である書類作成コンテンツ６０５上の書類ファイルを、登録キーであるカレンダー６０３に対応付けて保存する。

これにより、その後、ユーザ６０１が、ＨＭＤ１００を装着し、時計６０２の方向を向きながら装置起動を指示すると（例えば電源をオンにすると）、ＨＭＤ１００は、映画「山登り」を再生時間「１：１０：１５」から自動的に再生する。その結果、ユーザ６０１は、特に選択操作を行うことなく、映画鑑賞を前回の続きから再開することができる。また、ユーザ６０１が、ＨＭＤ１００を装着し、カレンダー６０３の方向を向きながら装置起動を指示すると、ＨＭＤ１００は、書類作成コンテンツ６０５上の所定の書類ファイルを自動的に起動する。その結果、ユーザ６０１は、特に選択操作を行うことなく、書類作成を前回の続きから再開することができる。

なお、ここでは、説明の簡素化のため、時計６０２およびカレンダー６０３が登録キーに定められたが、実用上は、例えば、リビングに設けられるソファーや書斎に設けられる本棚等が登録キーに定められてもよい。具体的な使用例として、ユーザが、リビングでＨＭＤ１００を用いて映画を途中まで鑑賞し、その後、書斎でＨＭＤ１００を用いて書類作成を途中まで行った場合を想定する。この場合、その後、ユーザが、リビングでソファーを見ながらＨＭＤ１００を起動した場合、映画の続きが自動的に再生され、書斎で本棚を見ながらＨＭＤ１００を起動した場合、続きの書類作成を行える環境が自動的に構築される。

ここで、キーコンテンツペア情報登録部２１１によって定められる登録キーとして、例えば、カメラ１１１の画像全体をそのまま用いる方式や、または、カメラ１１１の画像の中心部に含まれる１個のオブジェクトを検出して用いる方式等が挙げられる。前述した図５、図６、図７の例では、後者の方式が用いられる。後者の方式の場合、キーコンテンツペア情報登録部２１１は、例えば、候補キー抽出部２１０に、装置終了時のカメラ画像全体の中から単数または複数のオブジェクトを候補キーとして抽出させる。そして、キーコンテンツペア情報登録部２１１は、抽出された単数または複数のオブジェクト（候補キー）の中からカメラ画像の中心部に含まれる１個のオブジェクトを登録キーに定め、キーコンテンツペア情報２１６として保存する。

この際に、候補キー抽出部２１０は、エッジ検出、コーナー検出を代表とする画像処理や、または人工知能（ＡＩ）を用いた画像処理等を行うことで、カメラ画像全体に含まれる単数または複数のオブジェクトの情報（例えば、その形状、種類、特徴点等）を抽出する。この抽出された単数または複数のオブジェクトの情報（形状、種類、特徴点等）の中の１個のオブジェクトの情報が登録キーとなる。また、後者の方式の場合、キーコンテンツペア復元部２１２は、例えば、候補キー抽出部２１０に、装置起動時のカメラ画像全体の中から単数または複数の候補キー（この例ではオブジェクトの情報）を抽出させる。そして、キーコンテンツペア復元部２１２は、例えば、抽出された単数または複数の候補キー（言い換えればカメラ画像）の中に登録キーが含まれる場合には適合有りと判別し、登録キーが含まれない場合には適合無しと判別する。

一方、前者の方式の場合、キーコンテンツペア復元部２１２は、例えば、登録キーとして保存されたカメラ画像全体と、装置起動時に撮像されたカメラ画像全体（言い換えれば１個の候補キー）とを比較し、その一致率が基準値以上か否かによって候補キーと登録キーとの適合有無を判別する。この場合、処理の容易化等が図れるが、特にカメラ画像の縮尺等の影響で適合有無の判別結果の精度が低下する恐れがある。したがって、適合有無の判別結果の精度の観点では、後者の方式を用いる方が望ましい。

《キーの各種変形例》
図８（ａ）および図８（ｂ）は、図２におけるキーコンテンツペア情報の他の構成例を示す概略図である。図８（ａ）には、登録キーとして、カメラ１１１の画像の代わりに図２の各種センサ２０１の検出結果を用いる例が示される。図８（ｂ）には、登録キーとして、カメラ１１１の画像と各種センサ２０１の検出結果との組み合わせを用いる例が示される。

図８（ａ）に示すキーコンテンツペア情報２１６ｂでは、頭から外した状態での電源のオン／オフが可能なＨＭＤ１００を例として、登録キーが、図２のキー設定情報２１５に基づきＨＭＤ１００の姿勢（例えば、裏返し、右下置等）に設定される。例えば、ユーザは、ＨＭＤ１００を裏返しにした状態で電源をオンにすると、ＨＭＤ１００は、映画「山登り」を自動的に再生する。ＨＭＤ１００の姿勢は、例えば、ジャイロセンサ１２３、地磁気センサ１２４等によって検知され、その検知結果となるセンサ出力値等がキー（候補キーおよび登録キー）となる。

図８（ｂ）に示すキーコンテンツペア情報２１６ｃでは、登録キーが、ＨＭＤ１００の姿勢（例えば、裏返し）とカメラ画像（例えば、時計）との組み合わせに設定される。例えば、ユーザは、ＨＭＤ１００を裏返しにし、この状態でカメラ１１１の方向を時計に向けて電源をオンにすると、ＨＭＤ１００は、映画「山登り」を自動的に再生する。一方、ユーザは、ＨＭＤ１００の右側に下にし、この状態でカメラ１１１の方向を時計に向けて電源をオンにすると、ＨＭＤ１００は、書類ファイルを自動的に起動する。このように、カメラ画像とセンサ検出結果との組み合わせを用いると、使用可能な登録キーの数を増やすことや、または、キーの適合有無の判別に伴う確実性（精度）を高めることが可能になる。

図９（ａ）および図９（ｂ）は、図２において、ユーザによる登録キーの使用例を説明する図である。特に、ユーザ６０１がＨＭＤ１００上でＶＲのコンテンツを使用する場合、現実の視野が全て遮断されるため、ＨＭＤ１００を外した際にどこを向いていたかが印象に残り難い場合がある。そこで、例えば、装置終了時にユーザ６０１が向いていた壁の方向を登録キーとすることで、登録キーの有効範囲を拡大することができる。

図９（ａ）および図９（ｂ）の例では、部屋の４面の壁のいずれかが登録キーに定められる。これにより、ユーザ６０１は、細かい方向を気にせずに、４面の壁のいずれかを大まかに向いた状態でＨＭＤ１００を外し、その壁の方向を記憶することで、登録キーを定めることができる。その結果、ユーザ６０１による登録キーの取り扱いが容易となる。また、４面の壁のそれぞれを上半分、下半分等で細分化すれば、扱い易さを保ちつつ、キーの数を増やすことも可能である。

なお、このような方式を用いる場合、登録キーは、例えば、地磁気センサ１２４等の検知結果となるセンサ出力値に基づいて定められる。ただし、この際には、例えば、北東～北西の範囲（すなわち所定のセンサ出力値範囲）が壁Ｖ、北西～南西の範囲が壁Ｗといったように、登録キーは、ある程度の有効範囲を有する。装置起動時に、候補キー抽出部２１０を介してセンサ出力値（候補キー）が得られると、このセンサ出力値（候補キー）とセンサ出力値範囲（登録キー）との適合有無が判別される。センサ出力値範囲（登録キー）内にセンサ出力値（候補キー）が含まれる場合、当該センサ出力値範囲（登録キー）が適合有りとなる。

図１０（ａ）は、図２において、ユーザによる登録キーの他の使用例を説明する図であり、図１０（ｂ）は、図１０（ａ）に対応するキーコンテンツペア情報の構成例を示す概略図である。図１０（ａ）および図１０（ｂ）の例では、登録キーとして、カメラ画像の代わりに、図２の通信インタフェース１５１による受信データが用いられる。具体的には、当該受信データは、例えば、ビーコンの識別情報である。通信インタフェース１５１は、前述したように近距離無線通信を行う。

一般的に、近距離無線通信を行う装置は、自装置の識別情報を含むビーコンを定期的に出力する。例えば、無線ＬＡＮのアクセスポイント装置は、ビーコンの識別情報としてＳＳＩＤ（Service Set IDentifier）を定期的に出力する。そこで、ＨＭＤ１００は、通信インタフェース１５１を介してビーコンの識別情報を受信することで、当該ビーコンの識別情報を用いて登録キーを定めることができる。

図１０（ａ）において、ユーザ６０１は、アクセスポイント装置１００１からのＳＳＩＤ＃１の受信エリア内で、ＨＭＤ１００を用いてコンテンツＡを実行し、その途中でＨＭＤ１００に対して装置終了を指示する。その後、ユーザ６０１は、場所を移動し、アクセスポイント装置１００２からのＳＳＩＤ＃２の受信エリア内で、ＨＭＤ１００を用いてコンテンツＢを実行し、その途中でＨＭＤ１００に対して装置終了を指示する。

その結果、図１０（ｂ）のキーコンテンツペア情報２１６ｄは、コンテンツＡと登録キーであるＳＳＩＤ＃１との対応関係と、コンテンツＢと登録キーであるＳＳＩＤ＃２との対応関係を含む。その後、ユーザ６０１がＳＳＩＤ＃１の受信エリア内でＨＭＤ１００を起動すると、キーコンテンツペア復元部２１２は、候補キー抽出部２１０によって抽出される候補キー（ここでは、通信インタフェース１５１による受信データ“ＳＳＩＤ＃１”）と図１０（ｂ）に保存される登録キーとの適合有無を判別する。この場合、登録キー“ＳＳＩＤ＃１”が適合有りとなるため、キーコンテンツペア復元部２１２は、対応するコンテンツＡを自動的に起動する。同様に、ユーザ６０１がＳＳＩＤ＃２の受信エリア内でＨＭＤ１００を起動すると、キーコンテンツペア復元部２１２は、コンテンツＢを自動的に起動する。

このように、場所毎にそれぞれ異なるビーコン発信機（図１０（ａ）の例ではアクセスポイント装置）が設置される場合、ユーザ６０１は、ＨＭＤ１００を起動した場所に応じて、異なるコンテンツの状態を復元されることができる。場所の単位としては、例えば、部屋単位や、建物単位や、地区単位等が挙げられる。また、このように場所毎にビーコン発信機が設置される場合の他に、ユーザ自身がビーコン発信機を持ち運ぶ場合にも適用できる。この場合、ビーコン発信機を所持したユーザが、あるコンテンツの状態でＨＭＤを終了した場合、その後、同じビーコン発信機を所持した同じまたは異なるユーザがＨＭＤを起動すると、当該終了時のコンテンツの状態が復元される。

また、ここでは、登録キーとして、通信インタフェース１５１による受信データを用いたが、場合によっては、それにカメラ１１１の画像や、または各種センサ２０１の検知結果を組み合わせることも可能である。例えば、カメラ１１１の画像を組み合わせる場合、同じような内装の部屋であっても、部屋自体が異なればビーコンの識別情報によって登録キーを区別することができ、その上で、部屋毎に、カメラ１１１の画像によって登録キーを区別することができる。

その他の登録キーの使用例として、ユーザが、再生するコンテンツのパッケージをカメラによって撮像した状態でＨＭＤに装置終了を指示し、次回、当該パッケージをカメラによって撮像できる状態でＨＭＤに装置起動を指示する方法が挙げられる。また、右目視線検出器１１２および左目視線検出器１１３で検知した視線の位置を登録キーにする方法が挙げられる。例えば、ユーザは、所定のコンテンツを再生中に画面右上を見た状態で装置終了を指示した場合、次回、画面右上を見た状態で装置起動を指示すれば当該所定のコンテンツを自動的に再生できる。さらに、ＨＭＤ１００がＧＰＳ受信機を備える場合、ＧＰＳ情報を登録キーに定めることも可能である。

《ＨＭＤを複数ユーザで使用する場合の対処》
ＨＭＤ１００を複数ユーザで使用する場合、例えば、カメラ１１１の画像と各種センサ２０１の検知結果との組み合わせを登録キーとすることで、ユーザ毎に独立して登録キーを定めることができる。具体的には、各種センサ２０１として、例えば、虹彩または網膜等を代表とするユーザの生体情報を検知する生体センサ１２９を用いればよい。また、場合によっては、生体センサ１２９で取得した血流、脈波等のパターンからユーザを区別したり、加速度センサ１２２またはジャイロセンサ１２３によって検知可能な装着時の癖によってユーザを区別することも可能である。

《実施の形態１の主要な効果》
以上、実施の形態１のヘッドマウント情報処理装置（ＨＭＤ）を用いることで、代表的には、ユーザの利便性を向上させることが可能になる。具体的には、ユーザは、リモコン等による選択操作の手間を経ずに、ＨＭＤを前回の終了時の状態から引き継いで使用することが可能になる。また、この際に、ＨＭＤは、例えば、映画鑑賞、書類作成の後に書類作成を引き継ぐといったように、前回の終了時の状態をそのまま引き継ぐのではなく、映画鑑賞、書類作成の後に映画鑑賞を引き継ぐといったように、登録キーによってコンテンツを区別しながら前回の終了時の状態を引き継ぐことができる。さらに、ユーザは、選択操作といった余計な操作を行うことなく前回の終了時の状態を引き継げるため、コンテンツへの没入感を持続することが可能になる。

（実施の形態２）
《所望のコンテンツが起動されない場合の対処》
図１１は、本発明の実施の形態２によるヘッドマウント情報処理装置において、図２のキーコンテンツペア復元部の動作例を説明する図である。前述した実施の形態１では、登録キーが適合有りの場合、所望のコンテンツが起動されることを前提としたが、キーの適合有無の判別精度や、ユーザによる登録キーの勘違い等に応じて、場合によっては、間違ったコンテンツが起動される場合がある。そこで、キーコンテンツペア復元部２１２は、コンテンツの状態を復元したのち、所定期間内にユーザからキャンセル指示を受けたか否かを判別し、キャンセル指示を受けた場合には、現在のコンテンツを終了して、ディスプレイ（表示部）１２０に装置起動後の規定の初期画面を表示する。

図１１の例では、ＨＭＤ１００は、装置起動時に、ユーザ６０１によってコンテンツ１の起動が期待された状態で、コンテンツ２を起動している。そこで、ユーザ６０１は、その後の所定期間内に、例えば、首を横に振ること等によってキャンセル指示を発行する。キーコンテンツペア復元部２１２は、このキャンセル指示を受けて、ディスプレイ（表示部）１２０に、装置起動後の規定の初期画面（例えば、メニュー画面等）を表示する。なお、首を横に振る動作は、ジャイロセンサ１２３によって検知される。

キャンセル指示の方法は、勿論、これに限らず、例えば、リモコンのキャンセルボタン等を含めて様々な方法を用いることができる。また、キーコンテンツペア復元部２１２は、ここでは、規定の初期画面を表示したが、場合によっては、キーコンテンツペア情報２１６に登録されているコンテンツを順番に再生し、その都度、ユーザによるキャンセル指示の有無を判別するような方法を用いてもよい。

《実施の形態２の主要な効果》
以上、実施の形態２のヘッドマウント情報処理装置（ＨＭＤ）を用いることで、実施の形態１で述べた各種効果に加えて、間違ったコンテンツが起動された場合にも対処することができ、ユーザの利便性を向上させることが可能になる。

（実施の形態３）
《複数の登録キーが適合した場合の対処》
図１２（ａ）、図１２（ｂ）、図１２（ｃ）および図１２（ｄ）は、本発明の実施の形態３によるヘッドマウント情報処理装置において、図２のキーコンテンツペア復元部の動作例を説明する図である。ここでは、メモリ１２８に、図５に示したようなキーコンテンツペア情報２１６ａが保存されている場合を想定する。図１２（ａ）および図１２（ｂ）において、ＨＭＤ１００を装置したユーザ６０１は、カメラ１１１によって時計６０２およびカレンダー６０３の両方が撮像される状態で装置起動を指示している。

この場合、キーコンテンツペア復元部２１２は、候補キー抽出部２１０を用いて、時計６０２とカレンダー６０３の両方のオブジェクトを候補キーとして抽出する。この両方の候補キーは、図５のキーコンテンツペア情報２１６ａに示されるように、登録キーとしてメモリ１２８に保存されている。このように、装置起動時のカメラ１１１の画像の中に登録キーが複数含まれる場合、キーコンテンツペア復元部２１２は、図１２（ｃ）または図１２（ｄ）に示されるように、ディスプレイ（表示部）１２０に、コンテンツの選択画面を表示する。この選択画面は、複数の登録キーに対応する複数のコンテンツの状態の中のいずれか一つをユーザに選択させるための画面であり、例えば、各コンテンツのサムネイル等を表示する画面である。

これにより、装置終了時のカメラ画像と装置起動時のカメラ画像との間に、位置ズレまたは縮尺ズレ等がある程度生じた場合であっても、ユーザ６０１は、所望のコンテンツを確実に起動することができる。なお、選択画面におけるユーザの選択方法として、リモコン等で操作を行う方法の他に、例えば、頭または目線を指定時間向ける方法や、あるいは、頭または目線を向けながらリモコン等の決定ボタン等を押す方法等が挙げられる。頭または目線の方向は、ジャイロセンサ１２３、地磁気センサ１２４や、または各視線検出器（１１２，１１３）によって検知される。

また、図１２の方式によって、ユーザ６０１が登録キーを明確に憶えていないような場合に対処することも可能になる。具体的には、例えば、選択画面上でユーザ６０１による選択操作が行われない場合、キーコンテンツペア復元部２１２は、ユーザ６０１による周辺を見回す動作（ひいてはカメラ画像の変化）に連動して、各カメラ画像と登録キーとの適合有無を逐次判別する。そして、キーコンテンツペア復元部２１２は、カメラ画像毎に、図１２（ｄ）に示されるような選択画面を逐次表示する。なお、場合によっては、図１２の方式を利用して、例えば、装置起動時にコンテンツを自動的に起動するのではなく、常に、図１２（ｄ）に示されるような選択画面を表示し、ユーザに選択させるような方式を用いてもよい。

図１３（ａ）、図１３（ｂ）、図１３（ｃ）および図１３（ｄ）は、本発明の実施の形態３によるヘッドマウント情報処理装置において、図２のキーコンテンツペア復元部の他の動作例を説明する図である。図１３（ｃ）および図１３（ｄ）では、図１２（ｃ）および図１２（ｄ）の場合と異なり、選択画面上の各コンテンツのサムネイルに重み付けがなされている。

具体的には、キーコンテンツペア復元部２１２は、装置起動時のカメラ１１１の画像の中で、より中心部に近い登録キーに大きな重み付けを行うことで、重み付けが行われた選択画面を表示する。重み付けの方法としては、図１３（ｃ）に示されるように、重み付けが大きい登録キーほど、対応するサムネイルを大きく表示する方法や、図１３（ｄ）に示されるように、重み付けが大きい登録キーほど対応するサムネイルを前面に表示する方法等が挙げられる。

《実施の形態３の主要な効果》
以上、実施の形態３のヘッドマウント情報処理装置（ＨＭＤ）を用いることで、実施の形態１で述べた各種効果に加えて、複数の登録キーが適合した場合にも対処することができ、ユーザの利便性を向上させることが可能になる。また、ユーザは、ある程度近接したオブジェクトを登録キーに定めることができるため、登録キーを定める際の制約を緩和でき、ユーザの利便性を向上させることが可能になる。

（実施の形態４）
《登録キーの記憶補助》
特に、非透過型のＶＲ用のＨＭＤ１００を用いた場合、ユーザは、装置終了時にどの方向を向いているか（言い換えれば、カメラ１１１の撮像方向）を記憶し難い場合がある。そこで、図２のキーコンテンツペア情報登録部２１１は、装置終了時に、カメラ１１１の画像を、一定時間、ディスプレイ１２０に表示してもよい。これにより、ユーザは、登録キーを鮮明に記憶できるようになる。

具体的には、キーコンテンツペア情報登録部２１１は、例えば、ディスプレイ１２０に、コンテンツ実行部２０６による画像とカメラ１１１の画像とを交互に数回表示する等、双方の画像を短期間に連続して表示する。これにより、ユーザは、双方の画像の関連性について強い印象を持ち、登録キーをより鮮明に記憶できるようになる。また、この際に、ユーザは、ディスプレイ１２０にカメラ１１１の画像が表示された後に、頭を動かすことで、登録キーに定めるオブジェクトを明確に選択することができる。

《実施の形態４の主要な効果》
以上、実施の形態４のヘッドマウント情報処理装置（ＨＭＤ）を用いることで、実施の形態１で述べた各種効果に加えて、ユーザが登録キーを記憶する際の補助を行えるようになるため、ユーザの利便性を向上させることが可能になる。

（実施の形態５）
《ヘッドマウント情報処理装置の概略》
図１４は、本発明の実施の形態５によるヘッドマウント情報処理装置周りの概略構成例を示すブロック図である。図１４には、図１に示したようなヘッドマウント情報処理装置（ＨＭＤ）１００に加えて、当該ＨＭＤ１００に通信ネットワーク９１０を介して接続されるサーバ装置９０２が示される。サーバ装置９０２は、バス９２０を介して相互に接続される通信インタフェース９０３、ＣＰＵ９０５およびメモリ９０８を備える。通信インタフェース９０３は、アンテナ９０４および通信ネットワーク９１０を介してＨＭＤ１００の通信インタフェース１５１と通信を行う。メモリ９０８には、プログラム９０６および情報データ９０７が保存される。

ここで、図２に示したＨＭＤ１００内のキーコンテンツペア情報登録部２１１は、イベント発生時に、生成したキーコンテンツペア情報２１６を通信インタフェース１５１を介して装置外部のサーバ装置９０２へ送信し、サーバ装置９０２のメモリ９０８に保存する。一方、キーコンテンツペア復元部２１２は、装置起動時に、通信インタフェース１５１を介してサーバ装置９０２からキーコンテンツペア情報２１６を取得し、自装置のメモリ１２８に保存する。

《実施の形態５の主要な効果》
以上、実施の形態５のヘッドマウント情報処理装置（ＨＭＤ）を用いることで、実施の形態１で述べた各種効果に加えて、ユーザの利便性を更に向上させることが可能になる。具体的には、キーコンテンツペア情報２１６がサーバ装置９０２上に保存されているため、ユーザは、例えば、同一機種の別のＨＭＤ１００を用いた場合であっても、登録キーを使用することが可能になる。

なお、ＨＭＤ１００の各種コンテンツに対応するプログラムの保存先は、自装置のメモリ１２８に限らず、サーバ装置９０２のメモリ９０８であってもよい。この場合、ＨＭＤ１００は、所望のプログラム９０６を、適宜、ストリーミングやダウンロードによってサーバ装置９０２から取得する。これにより、例えば、ＨＭＤ１００のメモリ容量を削減すること等が可能になる。

なお、本発明は上記した実施の形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。また、各実施の形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウエアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウエアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１００：ヘッドマウント情報処理装置（ＨＭＤ）、１１１：カメラ、１１２：右目視線検出器、１１３：左目視線検出器、１１４：振動発生器、１１５：刺激発生器、１１６：外周音マイク、１１７：発生音マイク、１１８：ヘッドフォン、１１９：操作入力インタフェース、１２０：ディスプレイ（表示部）、１２１：深度センサ、１２２：加速度センサ、１２３：ジャイロセンサ、１２４：地磁気センサ、１２５：ＣＰＵ、１２６：プログラム、１２７：情報データ、１２８：メモリ、１２９：生体センサ、１３２：近接センサ、１４０：バス、１５０：アンテナ、１５１：通信インタフェース、２０１：各種センサ、２０５：コンテンツ制御部、２０６：コンテンツ実行部、２１０：候補キー抽出部、２１１：キーコンテンツペア情報登録部、２１２：キーコンテンツペア復元部、２１５：キー設定情報、２１６：キーコンテンツペア情報、６０１：ユーザ、６０２：時計、６０３：カレンダー、６０４：動作再生コンテンツ、６０５：書類作成コンテンツ、９０２：サーバ装置、９０３：通信インタフェース、９０４：アンテナ、９０５：ＣＰＵ、９０６：プログラム、９０７：情報データ、９０８：メモリ、９１０：通信ネットワーク、９２０：バス、１００１，１００２：アクセスポイント装置。

Claims (17)

1. ユーザの頭部に装着された状態でユーザに各種情報を視覚を介して提供するヘッドマウント情報処理装置であって、
   装置外部の画像を撮像するカメラと、
   メモリと、
   コンテンツを実行するコンテンツ実行部と、
   前記コンテンツ実行部で実行されたコンテンツに伴う画像を表示する表示部と、
   前記コンテンツ実行部を制御するコンテンツ制御部と、
   を備え、
   前記コンテンツ制御部は、
   前記ユーザからの指示を受けた時または装置終了時であるイベント発生時、前記イベント発生時の前記コンテンツの状態を、前記イベント発生時の前記カメラの画像から得られる登録キーに対応付け、キーコンテンツペア情報として前記メモリに保存するキーコンテンツペア情報登録部と、
   装置起動時、前記キーコンテンツペア情報に基づいて、前記装置起動時の前記カメラの画像と前記登録キーとの適合有無を判別し、適合有りの場合、適合した前記登録キーに対応する前記コンテンツの状態を復元するキーコンテンツペア復元部と、
   を有する、
   ヘッドマウント情報処理装置。
2. 請求項１記載のヘッドマウント情報処理装置において、
   前記キーコンテンツペア情報登録部は、前記イベント発生時の前記コンテンツの状態として、前記イベント発生時に実行している前記コンテンツの種別を前記メモリに保存し、
   前記キーコンテンツペア復元部は、前記登録キーに対応する前記コンテンツを起動する、
   ヘッドマウント情報処理装置。
3. 請求項２記載のヘッドマウント情報処理装置において、
   前記キーコンテンツペア情報登録部は、前記イベント発生時の前記コンテンツの状態として、前記イベント発生時に実行している前記コンテンツの種別に加えて前記コンテンツ上の実行状態を前記メモリに保存し、
   前記キーコンテンツペア復元部は、前記登録キーに対応する前記コンテンツを起動することに加えて前記コンテンツ上の実行状態を復元する、
   ヘッドマウント情報処理装置。
4. 請求項１記載のヘッドマウント情報処理装置において、
   前記キーコンテンツペア復元部は、前記コンテンツの状態を復元したのち所定期間内に前記ユーザからのキャンセル指示を受けた場合、前記表示部に、装置起動後の規定の初期画面を表示する、
   ヘッドマウント情報処理装置。
5. 請求項１記載のヘッドマウント情報処理装置において、
   前記キーコンテンツペア情報登録部は、前記登録キーとして、前記イベント発生時の前記カメラの画像の中心部に含まれる１個のオブジェクトの情報を前記メモリに保存し、
   前記キーコンテンツペア復元部は、前記装置起動時の前記カメラの画像の中に前記登録キーが複数含まれる場合、前記表示部に、前記複数の登録キーに対応する複数の前記コンテンツの状態の中のいずれか一つを前記ユーザに選択させるための選択画面を表示する、
   ヘッドマウント情報処理装置。
6. 請求項５記載のヘッドマウント情報処理装置において、
   前記キーコンテンツペア復元部は、前記装置起動時の前記カメラの画像の中で、より中心部に近い前記登録キーに大きな重み付けを行うことで、重み付けが行われた前記選択画面を表示する、
   ヘッドマウント情報処理装置。
7. 請求項１記載のヘッドマウント情報処理装置において、
   さらに、各種状態を検知するセンサを備え、
   前記コンテンツ制御部は、前記登録キーとして、前記カメラの画像と前記センサの検出結果との組み合わせを用いる、
   ヘッドマウント情報処理装置。
8. 請求項７記載のヘッドマウント情報処理装置において、
   前記センサは、前記ユーザの生体情報を検知する生体センサである、
   ヘッドマウント情報処理装置。
9. 請求項７記載のヘッドマウント情報処理装置において、
   前記センサは、前記ヘッドマウント情報処理装置の姿勢を検知するセンサである、
   ヘッドマウント情報処理装置。
10. 請求項１記載のヘッドマウント情報処理装置において、
    さらに、装置外部と無線通信を行う通信インタフェースを備え、
    前記キーコンテンツペア情報登録部は、前記イベント発生時に前記キーコンテンツペア情報を前記通信インタフェースを介して装置外部のサーバ装置に保存し、
    前記キーコンテンツペア復元部は、前記装置起動時に、前記通信インタフェースを介して前記サーバ装置から前記キーコンテンツペア情報を取得する、
    ヘッドマウント情報処理装置。
11. ユーザの頭部に装着された状態でユーザに各種情報を視覚を介して提供するヘッドマウント情報処理装置であって、
    各種状態を検知するセンサと、
    メモリと、
    コンテンツを実行するコンテンツ実行部と、
    前記コンテンツ実行部で実行されたコンテンツに伴う画像を表示する表示部と、
    前記コンテンツ実行部を制御するコンテンツ制御部と、
    を備え、
    前記コンテンツ制御部は、
    前記ユーザからの指示を受けた時または装置終了時であるイベント発生時、前記イベント発生時の前記コンテンツの状態を、前記イベント発生時の前記センサの検出結果から得られる登録キーに対応付け、キーコンテンツペア情報として前記メモリに保存するキーコンテンツペア情報登録部と、
    装置起動時、前記キーコンテンツペア情報に基づいて、前記装置起動時の前記センサの検出結果と前記登録キーとの適合有無を判別し、適合有りの場合、適合した前記登録キーに対応する前記コンテンツの状態を復元するキーコンテンツペア復元部と、
    を有し、
    前記センサは、前記ヘッドマウント情報処理装置の姿勢を検知するセンサである、
    ヘッドマウント情報処理装置。
12. 請求項１１記載のヘッドマウント情報処理装置において、
    前記キーコンテンツペア情報登録部は、前記イベント発生時の前記コンテンツの状態として、前記イベント発生時に実行している前記コンテンツの種別を前記メモリに保存し、
    前記キーコンテンツペア復元部は、前記登録キーに対応する前記コンテンツを起動する、
    ヘッドマウント情報処理装置。
13. 請求項１２記載のヘッドマウント情報処理装置において、
    前記キーコンテンツペア情報登録部は、前記イベント発生時の前記コンテンツの状態として、前記イベント発生時に実行している前記コンテンツの種別に加えて前記コンテンツ上の実行状態を前記メモリに保存し、
    前記キーコンテンツペア復元部は、前記登録キーに対応する前記コンテンツを起動することに加えて前記コンテンツ上の実行状態を復元する、
    ヘッドマウント情報処理装置。
14. ユーザの頭部に装着された状態でユーザに各種情報を視覚を介して提供するヘッドマウント情報処理装置であって、
    装置外部の画像を撮像するカメラと、
    メモリと、
    装置外部と無線通信を行う通信インタフェースと、
    コンテンツを実行するコンテンツ実行部と、
    前記コンテンツ実行部で実行されたコンテンツに伴う画像を表示する表示部と、
    前記コンテンツ実行部を制御するコンテンツ制御部と、
    を備え、
    前記コンテンツ制御部は、
    前記ユーザからの指示を受けた時または装置終了時であるイベント発生時、前記イベント発生時の前記コンテンツの状態を、前記イベント発生時の前記通信インタフェースによる受信データから得られる登録キーに対応付け、キーコンテンツペア情報として前記メモリに保存するキーコンテンツペア情報登録部と、
    装置起動時、前記キーコンテンツペア情報に基づいて、前記装置起動時の前記通信インタフェースによる受信データと前記登録キーとの適合有無を判別し、適合有りの場合、適合した前記登録キーに対応する前記コンテンツの状態を復元するキーコンテンツペア復元部と、
    を有し、
    前記登録キーとして、前記通信インタフェースによる受信データと前記カメラの画像との組み合わせを用いる、
    ヘッドマウント情報処理装置。
15. 請求項１４記載のヘッドマウント情報処理装置において、
    前記キーコンテンツペア情報登録部は、前記イベント発生時の前記コンテンツの状態として、前記イベント発生時に実行している前記コンテンツの種別を前記メモリに保存し、
    前記キーコンテンツペア復元部は、前記登録キーに対応する前記コンテンツを起動する、
    ヘッドマウント情報処理装置。
16. 請求項１５記載のヘッドマウント情報処理装置において、
    前記キーコンテンツペア情報登録部は、前記イベント発生時の前記コンテンツの状態として、前記イベント発生時に実行している前記コンテンツの種別に加えて前記コンテンツ上の実行状態を前記メモリに保存し、
    前記キーコンテンツペア復元部は、前記登録キーに対応する前記コンテンツを起動することに加えて前記コンテンツ上の実行状態を復元する、
    ヘッドマウント情報処理装置。
17. 請求項１４記載のヘッドマウント情報処理装置において、
    前記通信インタフェースによる受信データは、ビーコンの識別情報である、
    ヘッドマウント情報処理装置。

Images