JP6828801B2 - 情報処理装置、情報処理システム、制御方法、及びプログラム - Google Patents

Description

本発明はユーザインタフェースに関する。

様々なユーザインタフェースが開発されている。例えば、ヘッドマウントディスプレイなどを用いて、コンピュータによって表示される画像があたかも実空間上に存在するようにユーザへ見せるインタフェースが開発されている。

例えば特許文献１は、ヘッドマウントディスプレイに仮想キーボードを表示する技術を開示している。特許文献２は、ヘッドマウントディスプレイと連携するタブレット端末を用いて、ヘッドマウントディスプレイを通して見える実空間上の物体に対し、仮想的にアノテーションを付す技術を開示している。特許文献３は、ユーザの手のひらのジェスチャ（例えば手のひらを開くジェスチャ）に応じて、その手のひらにメニュー画面を表示したり、そのメニュー画面を切り替えたりする技術を開示している。

特表２０１５−５０４６１６号公報 国際公開第２０１４／１６２８２５号 米国特許出願公開第２０１５／００１６７７７号明細書

本発明者は、より利便性の高いユーザインタフェースを開発することを検討した。本発明は、ユーザインタフェースの利便性を高める技術を提供することをその目的の一つする。

本発明の情報処理装置は、１）第１マーカを撮像画像から検出し、前記検出された第１マーカに対応するコンテンツを特定する第１特定手段と、２）前記第１マーカとは異なる第２マーカを撮像画像から検出し、前記検出された第２マーカに基づいて、第１表示画面における表示位置を特定する第２特定手段と、３）前記第１表示画面の前記特定された表示位置に、前記特定されたコンテンツに関するコンテンツ画像を表示させる表示制御手段と、を有し、前記第１特定手段は、ユーザの身体に取り付けられる装着物が備える第２表示画面に表示される画像である前記第１マーカを検出する。

本発明の情報処理システムは、前述した情報処理装置、第１マーカ、第２マーカ、及び第１表示画面を有する。

本発明の制御方法は、コンピュータによって実行される。当該制御方法は、１）第１マーカを撮像画像から検出し、前記検出された第１マーカに対応するコンテンツを特定する第１特定ステップと、２）前記第１マーカとは異なる第２マーカを撮像画像から検出し、前記検出された第２マーカに基づいて、第１表示画面における表示位置を特定する第２特定ステップと、３）前記第１表示画面の前記特定された表示位置に、前記特定されたコンテンツに関するコンテンツ画像を表示させる表示制御ステップと、を有し、前記第１特定ステップでは、ユーザの身体に取り付けられる装着物が備える第２表示画面に表示される画像である前記第１マーカを検出する。

本発明のプログラムは、本発明の制御方法が有する各ステップをコンピュータに実行させる。

本発明によれば、ユーザインタフェースの利便性を高める技術が提供される。

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

実施形態１に係る情報処理装置の動作を概念的に例示する図である。 ヘッドマウントディスプレイを例示する図である。 情報処理装置のユーザの視界を例示する図である。 情報処理装置の機能構成を例示する図である。 情報処理装置を実現する計算機の構成を例示する図である。 実施形態１の第１特定部によって実行される処理の流れを例示するフローチャートである。 実施形態１の第２特定部及び表示制御部によって実行される処理の流れを例示するフローチャートである。 コンテンツの識別子と第１マーカの特徴量を対応づける情報をテーブル形式で例示する図である。 第１マーカが表示されるデバイスを例示する図である。 時計の文字盤部分に取り付けられる第１マーカを例示する図である。 図１０に対応する断面図である。 第１マーカが予め印字されている時計型の装着物を例示する図である。 第１マーカが印字された冊子を例示する図である。 コンテンツの利用場所に設けられた第１マーカを例示する図である。 デバイスに描画又は印字されている第２マーカを例示する図である。 デバイスに第１マーカと第２マーカの双方が設けられるケースを例示する図である。 同一の装着物に設けられる第１マーカと第２マーカの他の例を示す図である。 装着物を平面視した場合における奥行き方向の位置が異なる第１マーカと第２マーカを例示する図である。 第１マーカを撮像する方向によって撮像画像に含まれる第１マーカが異なる様子を例示する図である。 第１マーカの検出と第２マーカの検出のタイミングを例示するフローチャートである。 情報処理装置の状態が第１状態と第２状態の間を遷移する様子を例示する図である。 第１マーカを変更する作業を例示する図である。 第２マーカに基づいて決定される座標系を例示する図である。 座標系におけるコンテンツ画像の位置を例示する図である。 座標系とコンテンツ画像の姿勢との対応関係を例示する図である。 第２マーカが撮像画像に含まれる場合と含まれない場合とで、表示画面に表示されるコンテンツ画像の態様が変更される様子を例示する図である。 ユーザによる入力操作によって第１マーカが変更される様子を例示する図である。 第１マーカや第２マーカを変化させずに入力操作のタイミングを特定する方法の第１の例を示す図である。 第１マーカや第２マーカを変化させずに入力操作のタイミングを特定する方法の第２の例を示す図である。 収集すべき物品の場所が強調表示される様子を例示する図である。 情報処理装置を利用して３点照合が行われる様子を例示する図である。

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また各ブロック図において、特に説明がない限り、各ブロックは、ハードウエア単位の構成ではなく機能単位の構成を表している。

［実施形態１］
＜概要＞
図１は、実施形態１に係る情報処理装置２０００の動作を概念的に例示する図である。情報処理装置２０００は、撮像画像３０から第１マーカ１０と第２マーカ２０を検出する。なお、第１マーカ１０と第２マーカ２０は、互いに異なるマーカである。第１マーカ１０と第２マーカ２０は、同一の撮像画像３０に含まれていてもよいし、それぞれ異なる撮像画像３０に含まれていてもよい。図１では、第１マーカ１０と第２マーカ２０が互いに異なる撮像画像３０に含まれている。

情報処理装置２０００は、撮像画像３０から検出される第１マーカ１０によって、コンテンツを特定する。例えば図１では、コンテンツとして、「設備の点検支援」というアプリケーションが特定される。なお、後述するように、コンテンツはアプリケーションに限定されない。

さらに情報処理装置２０００は、第２マーカ２０によって、コンテンツに対応する画像（以下、コンテンツ画像４０）の表示位置を特定する。ここで、表示位置は、ディスプレイ装置の表示画面５０における位置である。

そして情報処理装置２０００は、第１マーカ１０によって特定されたコンテンツに対応するコンテンツ画像４０を、第２マーカ２０によって特定された表示画面５０の表示位置に表示させる。

このように本実施形態の情報処理装置２０００によれば、コンテンツに関する画像の表示位置だけでなく、そのコンテンツの特定にもマーカが利用される。そのためユーザは、所望のコンテンツに対応するマーカを情報処理装置２０００に検出させることにより、所望のコンテンツを利用できる。よって、ユーザは所望のコンテンツを容易に利用することができ、コンテンツの切り替えも容易に行える。よって、情報処理装置２０００によれば、利便性の高いユーザインタフェースがユーザに提供される。

また、情報処理装置２０００によれば、ユーザが利用するコンテンツの特定と、コンテンツ画像４０の表示位置の特定という互いに異なる２つの処理が、互いに異なるマーカを用いて実現される。ここで、コンテンツの特定に用いる第１マーカ１０は、コンテンツごとに異なるものである必要がある。一方、コンテンツ画像４０の表示位置の特定に用いる第２マーカ２０は、複数のコンテンツに共通する１つのマーカで実現することも可能である。しかし、コンテンツ画像４０の表示位置の特定とコンテンツの特定に同一のマーカを用いると、コンテンツ画像４０として複数のコンテンツに共通のものを利用できない。

この点、本実施形態の情報処理装置２０００によれば、コンテンツ画像４０の表示位置の特定と、コンテンツの特定とが、互いに異なるマーカを用いて実現するため、コンテンツ画像４０の表示位置の特定に利用する第２マーカ２０を、複数のコンテンツに共通する１つのマーカとすることができる。このように複数のコンテンツに共通する１つのマーカとして第２マーカ２０を実現すれば、コンテンツごとに異なる第２マーカ２０を利用しなければならない場合と比較し、コンテンツ画像４０の表示位置を特定するために第２マーカ２０を検出する処理をよりシンプルにすることができる。その結果、第２マーカ２０を検出する処理に要する時間が短くなるという利点や、この処理の計算コストが小さくなるという利点がある。

またこのように、コンテンツの特定と、コンテンツ画像４０の表示位置の特定とに異なるマーカを利用することで、これらを１つのマーカで実現する場合と比較し、マーカの設置場所や実現方法などの自由度が高くなる。例えば後述するように、第２マーカ２０はユーザの身体に取り付け、コンテンツの特定に用いる第１マーカ１０はユーザの身体から離れた場所に設けるといったことが可能となる。さらに後述するように、第２マーカ２０は予め描画又は印字されるものとして構成し、第１マーカ１０については画像として表示画面に表示されるものとすることができる。

情報処理装置２０００は、例えばヘッドマウントディスプレイを利用して実現される。図２は、ヘッドマウントディスプレイを例示する図である。ヘッドマウントディスプレイ１００は、グラス型のヘッドマウントディスプレイである。ヘッドマウントディスプレイ１００は表示画面５０を有する。表示画面５０は、ヘッドマウントディスプレイ１００のレンズ部分に設けられている透過型の表示画面（光を透過させる表示画面）である。前述したように、表示画面５０にはコンテンツ画像４０が表示される。

カメラ１３０は、撮像画像３０を生成するカメラである。図２において、カメラ１３０はヘッドマウントディスプレイ１００のレンズ付近に取り付けられている。なお、後述するように、表示画面５０は透過型の表示画面に限定されない。また、カメラ１３０の設置位置は、ヘッドマウントディスプレイ１００上に限定されない。

図３は、情報処理装置２０００のユーザの視界を例示する図である。コンテンツ画像４０−１とコンテンツ画像４０−２は、情報処理装置２０００によって表示画面５０に表示される画像である。一方、それ以外の物（機器やユーザの腕など）は実物体である。

このように情報処理装置２０００を用いることで、ユーザは、情報処理装置２０００によって提示される情報を使って種々の作業などを行うことができる。図３の例では、ユーザは、情報処理装置２０００によって提示される情報を見ながら設備の点検を行っている。

ここで、図１から図３を用いて説明した情報処理装置２０００の動作は、情報処理装置２０００の理解を容易にするための例示であり、情報処理装置２０００の動作は上述の例に限定されるわけではない。情報処理装置２０００の動作の詳細やバリエーションについては、以降の記載で説明する。

以下、本実施形態の情報処理装置２０００について、さらに詳細に説明する。

＜機能構成の例＞
図４は、情報処理装置２０００を含む情報処理システム３０００の機能構成を例示する図である。情報処理システム３０００は、第１マーカ１０、第２マーカ２０、表示画面５０、及び情報処理装置２０００を有する。情報処理装置２０００は、第１特定部２０２０、第２特定部２０４０、及び表示制御部２０６０を有する。第１特定部２０２０は、第１マーカ１０を撮像画像３０から検出し、検出された第１マーカ１０に対応するコンテンツを特定する。第２特定部２０４０は、第２マーカ２０を撮像画像３０から検出し、検出された第２マーカ２０に基づいて、表示画面５０におけるコンテンツ画像４０の表示位置を特定する。表示制御部２０６０は、表示画面５０の特定された表示位置にコンテンツ画像４０を表示させる。

なお、第１マーカ１０や第２マーカ２０の実現に後述するデバイス６０を利用する場合、情報処理システム３０００はデバイス６０を含んでもよい。

＜情報処理装置２０００のハードウエア構成の例＞
情報処理装置２０００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、情報処理装置２０００の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。

計算機１０００は種々の計算機である。例えば計算機１０００は、ヘッドマウントディスプレイ、Personal Computer（PC）、サーバマシン、タブレット端末、又はスマートフォンなどである。計算機１０００は、情報処理装置２０００を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。

図５は、情報処理装置２０００を実現する計算機１０００の構成を例示する図である。計算機１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、及び入出力インタフェース１１００を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、及びストレージデバイス１０８０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０４０などを互いに接続する方法は、バス接続に限定されない。プロセッサ１０４０は、CPU (Central Processing Unit) や GPU (Graphics Processing Unit) などの演算処理装置である。メモリ１０６０は、RAM (Random Access Memory) などで実現される主記憶装置である。ストレージデバイス１０８０は、ハードディスク、SSD (Solid State Drive)、メモリカード、又は ROM (Read Only Memory) などで実現される補助記憶装置である。ただしストレージデバイス１０８０は、RAM など、主記憶装置の実現に用いられるハードウエアと同様のハードウエアで実現されてもよい。

入出力インタフェース１１００は、計算機１０００と入出力デバイスとを接続するためのインタフェースである。図５において、入出力インタフェース１１００には、例えば撮像画像３０を生成するカメラ１３０や表示画面５０が接続されている。

ストレージデバイス１０８０は情報処理装置２０００の各機能を実現するプログラムモジュールを記憶している。プロセッサ１０４０は、これら各プログラムモジュールを実行することで、そのプログラムモジュールに対応する各機能を実現する。

計算機１０００のハードウエア構成は図５に示した構成に限定されない。例えば、各プログラムモジュールはメモリ１０６０に格納されてもよい。この場合、計算機１０００は、ストレージデバイス１０８０を備えていなくてもよい。また、カメラ１３０を計算機１０００に接続する方法は、入出力インタフェース１１００を介して接続する方法に限定されない。例えばカメラは、ネットワークを介して計算機１０００に接続されてもよい。この場合、計算機１０００は、ネットワークに接続するためのネットワークインタフェースを有する。

＜＜ヘッドマウントディスプレイ１００について＞＞
ヘッドマウントディスプレイ１００は、ユーザの視界に入る表示画面５０を有する任意のヘッドマウントディスプレイである。例えば表示画面５０は、前述したように、透過型の表示画面である。この場合、ユーザは、表示画面５０の先にある実物体及び表示画面５０に表示される画像の両方を見ることができる。

その他にも例えば、表示画面５０は、非透過型の表示画面であってもよい。この場合、ヘッドマウントディスプレイ１００は、ユーザの周囲（例えばユーザの顔方向）を撮像するカメラによって撮像された画像と、その他の物を表す画像（例えばコンテンツ画像４０）とを重畳させて表示画面５０に表示させる。ユーザは、この表示画面５０を見ることで、周囲の景色にその他の物が重畳された様子を見ることができる。なお、「ユーザの周囲を撮像するカメラ」は、マーカに撮像に利用されるカメラ１３０であってもよいし、これとは別途設けられるカメラであってもよい。

＜＜カメラ１３０について＞＞
カメラ１３０は、繰り返し撮像を行って複数の撮像画像３０を生成する任意のカメラである。例えば各撮像画像３０は、動画を構成する動画フレームである。なお、カメラ１３０は、２次元（2D:two-dimensional）カメラであってもよいし、３次元（3D:three-dimensional）カメラであってもよい。

カメラ１３０によって生成される撮像画像を用いてコンテンツ画像４０の表示位置の決定などを行うためには、カメラ１３０の撮像方向とユーザの顔の正面方向との関係が予め把握できていることが好適である。そのため、例えばカメラ１３０は、カメラ１３０の撮像方向とユーザの顔の正面方向とが略一致する場所に設けられる。表示画面５０が透過型のヘッドマウントディスプレイの場合、例えばこの場所は、図２で説明したヘッドマウントディスプレイ１００のレンズ付近などである。また、表示画面５０が非透過型のヘッドマウントディスプレイであり、表示画面５０に表示する周囲の景色を撮像するカメラがカメラ１３０である場合、カメラの撮像方向とユーザの顔の正面方向は略一致する。

ただし、カメラ１３０の設置位置は、カメラ１３０の撮像方向とユーザの顔の正面方向とが略一致するとは限らない場所に設置されてもよい。例えばこの場合、カメラ１３０は、ユーザの頭部の任意の箇所に設けられる（頭部に限定はされない）。この場合、カメラ１３０の撮像方向とユーザの顔の正面方向との関係（角度のずれなど）を予めパラメタとして定義しておく。情報処理装置２０００は、このパラメタを利用することでカメラ１３０の撮像方向とユーザの顔の正面方向との関係を把握する。このパラメタは、情報処理装置２０００に予め設定されていてもよいし、情報処理装置２０００からアクセス可能な記憶装置に記憶されていてもよい。

その他にも例えば、カメラ１３０は、ユーザが身につけている物（例えばユーザの衣服や、ユーザが首から提げている社員証など）に取り付けられてもよい。その他にも例えば、カメラ１３０は、ユーザが情報処理装置２０００を利用する部屋の壁等に設けられていてもよい。この場合、カメラ１３０の撮影範囲（撮影方向やズーム率など）は、リモコンなどによる遠隔操作によって変更できることが好ましい。

＜＜表示画面５０について＞＞
表示制御部２０６０によって制御される表示画面５０の実現態様は様々である。例えば表示画面５０は、前述したように、ヘッドマウントディスプレイ１００に設けられる表示画面である。その他にも例えば、表示画面５０は、プロジェクタによって画像が投影される投影面（壁など）である。この場合、表示制御部２０６０は、プロジェクタを制御して、投影面の特定の位置にコンテンツ画像４０を投影させる。その他にも例えば、表示画面５０は、液晶ディスプレイなどのディスプレイ装置の表示画面である。

＜処理の流れ＞
図６は、実施形態１の第１特定部２０２０によって実行される処理の流れを例示するフローチャートである。第１特定部２０２０は、撮像画像３０を取得する（Ｓ１０２）。第１特定部２０２０は、取得した撮像画像３０から第１マーカ１０を検出する（Ｓ１０４）。第１特定部２０２０は、検出した第１マーカ１０に対応するコンテンツを特定する（Ｓ１０６）。

図７は、実施形態１の第２特定部２０４０及び表示制御部２０６０によって実行される処理の流れを例示するフローチャートである。Ｓ２０２からＳ２１２は、所定の終了条件が満たされるまで繰り返し実行されるループ処理Ａである。Ｓ２０２において、第２特定部２０４０は、終了条件が満たされているか否かを判定する。終了条件が満たされている場合、図７の処理は終了する。一方、終了条件が満たされていない場合、図７の処理はＳ２０４に進む。

第２特定部２０４０は、撮像画像３０を取得する（Ｓ２０４）。第２特定部２０４０は、撮像画像３０から第２マーカ２０を検出する（Ｓ２０６）。第２特定部２０４０は、検出した第２マーカ２０から、表示画面５０におけるコンテンツ画像４０の表示位置を特定する（Ｓ２０８）。表示制御部２０６０は、第１マーカ１０で特定されたコンテンツに対応するコンテンツ画像４０を、Ｓ２０８で特定された表示画面５０の表示位置に表示させる（Ｓ２１０）。Ｓ２１２はループ処理Ａの終端であるため、図７の処理はＳ２０２に戻る。

ここで、繰り返し実行されるＳ２０４で取得される各撮像画像３０は、それぞれ異なる撮像画像３０である。例えば第２特定部２０４０は、Ｓ２０４を実行する時点における最新の撮像画像３０を取得する。その他にも例えば、第２特定部２０４０は、カメラ１３０によって生成された複数の撮像画像３０をまとめて取得し、その複数の撮像画像３０を生成された順に処理してもよい。

図７に示した処理の流れによれば、時間と共に第２マーカ２０の位置が変化する場合に、その位置の変化に追従するように、コンテンツ画像４０の表示位置が変更される。例えば後述するようにユーザの身体に第２マーカ２０が取り付けられている場合、ユーザの身体の動きに追従するように、コンテンツ画像４０の表示位置が変更される。よって、ユーザによる情報処理装置２０００の利便性が向上する。

ループ処理Ａの終了条件は任意である。例えば終了条件は、ユーザから所定の入力操作を受け付けることである。その他にも例えば、終了条件は、情報処理装置２０００の状態（例えば情報処理装置２０００を実現する計算機１０００で実行されているオペレーティングシステムやアプリケーションの状態など）が所定の状態になることである。

＜撮像画像３０を取得する方法：Ｓ１０２、Ｓ２０４＞
情報処理装置２０００は、撮像画像３０を取得する（Ｓ１０２、Ｓ２０４）。情報処理装置２０００が撮像画像３０を取得する方法は任意である。例えば情報処理装置２０００は、カメラ１３０から撮像画像を取得する。この場合、情報処理装置２０００とカメラ１３０とは通信可能に接続されている。

また、カメラ１３０が外部の記憶装置に撮像画像３０を記憶させる場合、情報処理装置２０００は、この記憶装置から撮像画像３０を取得してもよい。この場合、情報処理装置２０００は、この記憶装置と通信可能に接続されている。

なお、情報処理装置２０００は、カメラ１３０によって生成される撮像画像３０の全てを取得してもよいし、一部のみを取得してもよい。後者の場合、例えば情報処理装置２０００は、カメラ１３０によって生成される動画を構成する動画フレームの一部（例えば所定数の動画フレームごとに１枚の動画フレーム）を取得する。また、カメラ１３０によって生成される撮像画像３０の全てを情報処理装置２０００が取得した上で、第１特定部２０２０や第２特定部２０４０が取得された撮像画像３０の一部のみを利用するようにしてもよい。

＜コンテンツについて＞
第１マーカ１０によって特定されるコンテンツとしては、様々なものを採用できる。例えばコンテンツは、図１で例示したように、アプリケーションである。この場合、第１マーカ１０は、ユーザが実行したいアプリケーションを選択するために利用される。第１マーカ１０によって特定されるアプリケーションには、任意のものを採用できる。例えばアプリケーションは、動画を再生するアプリケーション、写真を撮影するアプリケーション、又は Web ブラウザなどである。

その他にも例えば、コンテンツは、入力インタフェースである。この場合、第１マーカ１０は、ユーザが利用したい入力インタフェースを選択するために利用される。第２マーカ２０によって特定される入力インタフェースには、任意のものを採用できる。例えば入力インタフェースは、キーボード、テンキー、又は選択ボタンなどである。

＜コンテンツ画像４０について＞
表示制御部２０６０は、第１マーカ１０によって特定されるコンテンツに対応するコンテンツ画像４０を表示画面５０に表示させる。例えばコンテンツ画像４０は、コンテンツに応じて静的に特定される（一意に特定される）。例えばコンテンツが入力インタフェースである場合、コンテンツ画像４０は、その入力インタフェースを表す特定の画像として実現できる。例えば入力インタフェースがキーボードである場合、コンテンツ画像４０はキーボードの画像である。

このようにコンテンツに対応するコンテンツ画像４０が静的に定まる場合、例えばコンテンツ画像４０のパス名とコンテンツの識別子とを予め対応づけておく。表示制御部２０６０は、第１特定部２０２０によって特定されたコンテンツの識別子と対応づけられているパス名を持つコンテンツ画像４０を表示画面５０に表示させる。その他にも例えば、コンテンツの識別子としてコンテンツ画像４０のパス名を用いてもよい。この場合、第１特定部２０２０によってコンテンツの識別子が特定されることにより、コンテンツ画像４０が特定される。

コンテンツに対応するコンテンツ画像４０は動的に定まるものであってもよい。例えばコンテンツがアプリケーションである場合、コンテンツ画像４０は、アプリケーションによって生成される画像である。例えば、コンテンツが動画再生用のアプリケーションである場合、コンテンツ画像４０には動画フレームが含まれる。このコンテンツ画像４０は、動画の再生が進むにつれて変化していく。そこで表示制御部２０６０は、コンテンツであるアプリケーションによって生成されるコンテンツ画像４０を取得し、そのコンテンツ画像４０を表示画面５０に表示させる。

なお、１つのコンテンツに対応するコンテンツ画像４０の数は、１つであってもよいし、複数であってもよい。例えばコンテンツが Web ブラウザである場合、Web ブラウザのウインドウを表すコンテンツ画像４０と、Web ブラウザに対して入力操作を行うための入力インタフェースを表すコンテンツ画像４０が、表示画面５０に表示されうる。

＜第１マーカ１０について＞
第１マーカ１０は、コンテンツの特定に利用できる任意のマーカである。例えば第１マーカ１０は、コンテンツの識別子と対応づけられている特徴量を持つマークである。第１マーカの１０の特徴量とは、その第１マーカ１０の外観（形状、模様、又は色など）の特徴を表す値である。なお、ここでいうマークとは、任意の文字、図形、又は記号などを意味する。例えば第１マーカ１０には、ロゴや写真なども採用することができる。

図８は、コンテンツの識別子と第１マーカ１０の特徴量を対応づける情報をテーブル形式で例示する図である。このテーブルを、テーブル２００と表記する。テーブル２００は、コンテンツ識別子２０２と特徴量２０４という２つの列を有する。コンテンツ識別子２０２は、コンテンツの識別子を表す。特徴量２０４は、コンテンツの識別子に対応する第１マーカ１０の特徴量を表す。図８では、説明を分かりやすくするため、特徴量２０４を図形として示している。

第１特定部２０２０は、撮像画像３０から、特徴量２０４と同一又は類似する特徴量（例えば類似度が所定値以上の特徴量）を持つマークを検出し、検出した特徴量２０４に対応づけられている識別子でコンテンツを特定する。例えば、図８のテーブル２００で第１マーカ１０が定められている場合に、ドット柄の模様を持つ円形のマークが撮像画像３０から検出されたとき、第１特定部２０２０は c001 という識別子を持つコンテンツを特定する。

その他にも例えば第１マーカ１０は、コンテンツの識別子を符号化した種々のコードでもよい。コードは、例えばバーコードや QR コード（登録商標）などである。この場合、第１特定部２０２０は、撮像画像３０に含まれるコードを復号することで、コンテンツの識別子を算出する。この算出された識別子により、コンテンツが特定される。なお、画像に含まれるコードを検出し、そのコードを復号する技術には、既存の技術を利用できる。

その他にも例えば、第１マーカ１０は、コンテンツの識別子を表す文字列であってもよい。なお、ここで言う文字列は、数値列であってもよい。この場合、第１特定部２０２０は、第１マーカ１０に含まれる文字列を認識することで、コンテンツの識別子を算出する。この算出された識別子により、コンテンツが特定される。なお、画像に含まれる文字列を検出し、その文字列を認識する技術には、既存の技術を利用することができる。

例えば第１マーカ１０は、表示画面に表示される画像である。この表示画面は、例えば、ユーザに取り付けられるデバイスに設けられる。このデバイスは、表示画面に画像を表示させる機能を有する任意の電子機器である。なおこのデバイスは、ユーザの身体に直接取り付けられてもよいし、服などの上からユーザの身体に取り付けられてもよい。

図９は、第１マーカ１０が表示されるデバイス６０を例示する図である。デバイス６０は、ユーザの手首に身につけられる時計型のデバイスであり、時計の文字盤に相当する部分に表示画面６２を有する。デバイス６０は、表示画面６２に任意の画像を表示させることができる。

例えばユーザは、デバイス６０を操作することで、利用したいコンテンツに対応する第１マーカ１０が表示画面６２に表示されるようにする。例えば表示画面６２がタッチパネルである場合、ユーザは、表示画面６２を操作することによってデバイス６０を操作することができる。その後ユーザは、カメラ１３０に第１マーカ１０を撮像させる。こうすることで、利用したいコンテンツに対応する第１マーカ１０が含まれる撮像画像３０が生成される。そして、第１特定部２０２０がこの撮像画像３０から第１マーカ１０を検出することで、ユーザが利用したいコンテンツが第１特定部２０２０によって特定される。

なお、表示画面６２に表示される第１マーカ１０を変更する方法は、デバイス６０のタッチパネルを操作する方法に限定されない。例えば前述したヘッドマウントディスプレイ１００を利用して情報処理装置２０００を実現する場合、ユーザは、ヘッドマウントディスプレイ１００に対して入力操作を加えることで、表示画面６２に表示される第１マーカ１０を変更してもよい。この場合、例えばヘッドマウントディスプレイ１００がデバイス６０と通信を行うことで、ヘッドマウントディスプレイ１００に対して行われた入力操作に応じて表示画面６２に表示される第１マーカ１０が変更されるようにする。

なお、第１マーカ１０は、予めデバイス６０に記憶されている画像であってもよいし、デバイス６０の外部にある記憶装置に記憶されている画像であってもよい。また、ヘッドマウントディスプレイ１００を使って第１マーカ１０を選択する場合、デバイス６０は、ヘッドマウントディスプレイ１００から送信される第１マーカ１０を受信することで、第１マーカ１０を取得してもよい。

第１マーカ１０は、前述した画像に限定されない。例えば第１マーカ１０は、ユーザの身体に取り付けられる装着物に予め設けられるマークである。この装着物としては、任意のものを採用できる。例えば装着物は、時計型の装着物である。その他にも例えば、装着物は、指輪、リストバンド、ユーザが着ている服、又はシールなどである。なお、装着物には前述したデバイスも含まれる。

また、装着物には、ユーザの身体に直接取り付けられるものだけでなく、ユーザの身体に取り付けられる物に対してさらに取り付けられる物も含まれる。例えば、ユーザに身につけられている時計型の装着物の文字盤部分やバンド部分に取り付けられるアタッチメントなども、装着物と呼ぶ。よって、「第１マーカ１０を装着物に設ける」ことには、ユーザの身体に直接取り付けられる装着物（例えば時計）に第１マーカ１０を設けることのみでなく、装着物に対して取り付けられる装着物（例えば時計に対して取り付けられるアタッチメント）に第１マーカ１０を設けることも含む。

ここで、時計の文字盤部分など、凹凸がある部分に取り付けられる第１マーカ１０は、可撓性のある物で形成されることが好適である。例えば第１マーカ１０は、樹脂、ボール紙で形成された板状物、木材、木くずなどを圧縮成型することで形成された板状物に描画又は印字される。また、第１マーカ１０は、その板状物に貼り付けられるシールとして設けられていてもよい。このほかに、第１マーカ１０は、装着物を被覆するように形成された可撓性のある物の表面に描画又は印字されたものでもよい。

図１０は、時計の文字盤部分に取り付けられる第１マーカ１０を例示する図である。第１マーカ１０は、可撓性のある板状物１９０に設けられている。時計１８０は、文字盤１８２を有する。そして、この文字盤１８２に対して、板状物１９０がはめこまれている。

図１１は、図１０に対応する断面図である。図１１（ａ）は、板状物１９０のＣ−Ｄ断面図である。図１１（ａ）に示すように、通常の状態において、板状物１９０の断面は長方形である。つまり、通常の状態において板状物１９０の形状は直方体である。

図１１（ｂ）は、板状物１９０がはめこまれた文字盤１８２のＥ−Ｆ断面図である。この図が示すように、板状物１９０は、その一部が文字盤１８２の形状に合わせて縮むことによって、文字盤１８２にはめこまれている。

ユーザによって装着されている時計などの装着物に凹凸がある場合、例えばその装着物に直接第１マーカ１０を設けたり、第１マーカ１０が設けられたシールをその装着物に直接貼り付けたりすると、装着物の凹凸の影響が第１マーカ１０に及び、第１マーカ１０にも凹凸が生じる。このように凹凸が生じた第１マーカ１０は、通常の状態の第１マーカ１０と比較し、撮像画像３０から検出しにくくなる。

そこで、図１１に示すように、板状物１９０のように可撓性のある物に第１マーカ１０を設け、その物を装着物に取り付けることが好適である。こうすることで、第１マーカ１０に凹凸が生じることを防ぐことができるため、凹凸がある場所に直接第１マーカ１０を設けるよりも、撮像画像３０から第１マーカ１０を検出する処理の精度が高くなる。

また一般に、このような可撓性のある物は安価に製造できることが多い。そのため、情報処理装置２０００の利用に必要な第１マーカ１０を安価に提供することができる。そこで、例えば或る製品のおまけの品（例えばお菓子に同梱されるおもちゃ）として第１マーカ１０を提供することで、その製品に関連するコンテンツを情報処理装置２０００で利用できるようにするといった運用が考えられる。このような製造コストの面からも、時計などの装着物に取り付けることができる物に第１マーカ１０を設けることは好適である。

第１マーカ１０は、装着物に人手で描画されてもよいし、印字されてもよい。例えば時計型の装着物において、時計の文字盤に相当する部分に第１マーカ１０を予め描画又は印字しておく。図１２は、第１マーカ１０が予め印字されている時計型の装着物１１０を例示する図である。装着物１１０は、時計の文字盤に相当する部分である板状物１１２を有する。板状物１１２は、例えば樹脂で形成される。板状物１１２には、第１マーカが予め印字されている。

なお、或る物にマークを描画又は印字する方法には、その物の表面にインクなどの塗料を付ける方法だけでなく、様々な方法を利用できる。例えば、その物を刻んでマークを形成する方法（いわゆる刻印）、その物をプレス加工によってマークを形成する方法、金型にその物の原料（例えば樹脂）を流し込むことによってマークが設けられたその物を形成する方法などが利用できる。例えば図１２において、第１マーカ１０は、板状物１１２を形成する樹脂板に対して第１マーカ１０を表す模様を刻み込むなどの方法で形成しうる。

第１マーカ１０が装着物に予め設けられている場合、例えば、ユーザに提供するコンテンツごとに装着物を用意しておく。ユーザは、利用したいコンテンツに対応する装着物を身につけて、そのコンテンツを利用する。例えば、ユーザの作業を支援するアプリケーションをコンテンツとする場合、ユーザは、行おうとしている作業に応じて身につける装着物を選ぶようにする。その他にも例えば、装着物をシールとして実現する場合、ユーザは、利用したいコンテンツに対応するシールを選び、そのシールを任意の場所（例えば時計型の装着物の文字盤部分や服の袖など）に貼り付けて情報処理装置２０００を利用する。

第１マーカ１０は、装着物以外の物体（紙、布、机、又は壁など）に予め描画又は印字されているマークであってもよい。例えば、第１マーカ１０が印字された冊子やメニュー表を用意しておく。図１３は、第１マーカ１０が印字された冊子７０を例示する図である。ユーザは、冊子７０に印字されている第１マーカ１０をカメラ１３０に撮像させることで、所望のコンテンツを利用する。例えば冊子７０は、情報処理装置２０００で利用できるコンテンツや入力インタフェースの一覧が示されている本である。

その他にも例えば、アプリケーションのマニュアルにそのアプリケーションに対応する第１マーカ１０を設けておいたり、ユーザの作業のマニュアルにその作業を支援するアプリケーションやその作業で利用する入力インタフェースに対応する第１マーカ１０を設けておいたりしてもよい。

その他にも例えば、コンテンツの利用場所に設置されている壁や机などに、そのコンテンツに対応する第１マーカ１０を設けておく。コンテンツを利用するユーザは、その利用場所に設けられている第１マーカ１０をカメラ１３０に撮像させる。こうすることで、例えばユーザは、その場所で行うべき作業を支援するアプリケーションを容易に利用することができる。

図１４は、コンテンツの利用場所に設けられた第１マーカ１０を例示する図である。この例では、点検対象の設備が設定されている壁に、その設備の点検を支援するアプリケーションを特定するための第１マーカ１０が設けられている。ユーザは、この第１マーカ１０をカメラ１３０に撮像されることにより、この設備を点検するためのアプリケーションを利用することができる。

ここで、前述したように、第１マーカ１０は画像として実現されてもよいし、それ以外のもので実現されてもよい。第１マーカ１０を画像として実現する形態によれば、利用するコンテンツごとに第１マーカ１０を変更することが容易となる。また、第１マーカ１０を予め描画又は印字しておく必要がない。なお、第１マーカ１０を画像として実現する場合、画像を表示する表示画面は、表示画面自体が発光することで画像を見せる形態または表示画面のバックライトが発光しそれを遮ることで画像を見せる形態のものよりも、電子ペーパーなどのように太陽光や照明光の反射光を利用して画像を見せる形態のものが好適である。表示画面自体が発光する形態では、表示画面から発せられる光と環境光との差が大きい場合（例えば第１マーカ１０の周囲が暗い場合）にハレーションが発生し、撮像画像３０に第１マーカ１０が不鮮明に撮像される可能性があるためである。反射光を利用して画像を見せる形態の表示画面の場合、前述したハレーションが起こらないため、第１マーカ１０の検出精度が高くなる。また、第１マーカ１０を検出できる距離（カメラ１３０と第１マーカ１０の間の距離）が長くなるという利点がある。これらの利点は、第１マーカ１０を画像以外のもので実現する形態も同様に有する利点である。

＜第２マーカ２０について＞
第２マーカ２０は、撮像画像３０において少なくともその位置を特定できる任意のマーカである。例えば第２マーカ２０は、３次元の座標系の決定に利用できるマーカである。３次元の座標系の決定に利用できるマーカは、例えば AR（Augmented Reality）マーカである。ただし、３次元の座標系の決定に利用できるマーカは、或る基準点（例えばマーカの中心）からの相互に直交する３つの方向を特定できるものであればよく、AR マーカには限定されない。また、第２マーカ２０は、撮像画像３０においてその位置が特定できる物であればよく、必ずしも３次元の座標系の決定に利用できる必要はない。

例えば第２マーカ２０は、ユーザの身体に取り付けられる装着物に設けられる。第１マーカ１０が取り付けられる装着物と同様に、第２マーカ２０が取り付けられる装着物には、例えば時計型の装着物、指輪、リストバンド、ユーザが着ている服、又はシールなどを採用できる。また、第１マーカ１０が取り付けられる装着物と同様に、第２マーカ２０が取り付けられる装着物には、ユーザの身体に取り付けられた物にさらに取り付けられる物（板状物１９０や被覆される物など）も採用できる。なお、第１マーカ１０が取り付けられる装着物と、第２マーカ２０が取り付けられる装着物は、同じ物であってもよいし、異なる物であってもよい。

第２マーカ２０は、例えば装着物に描画又は印字されている所定のマーク（所定の特徴量を持つ文字、図形、又は記号など）である。図１５は、デバイス６０に描画又は印字されている第２マーカ２０を例示する図である。図１５（ａ）において、第２マーカ２０は、デバイス６０のバンド部分に印字されている所定の模様として実現されている。図１５（ｂ）において、第２マーカ２０は、表示画面６２の周囲（時計の文字盤におけるベゼルに相当する部分）に印字されている所定の模様として実現されている。

その他にも例えば、装着物に設けられる第２マーカ２０は、装着物の全体又は一部の形状として実現されてもよい。

その他にも例えば、第２マーカ２０は、ユーザの身体に取り付けられる装着物によって表示される画像として実現されてもよい。なお、ユーザの身体の取り付けられる装着物は、前述したデバイス６０であってもよいし、それ以外のものであってもよい。デバイス６０以外の装着物の例は、前述した通りである。第２マーカ２０は、これらの装着物に人手で描画されてもよいし、印字されてもよい。

その他にも例えば、装着物は、光を発する発光デバイス（LED（Light Emitting Diode）など）であってもよい。なお、第２マーカ２０が発光デバイスであり、なおかつ第２マーカ２０に基づいて３次元の座標系が定められる場合、第２マーカ２０は３つ以上の発光デバイスを用いて構成される。第２特定部２０４０は、撮像画像３０に含まれるこれら３つ以上の発光デバイスそれぞれによって発せられた光の位置を算出する。そして、第２特定部２０４０は、各発光デバイスの位置に基づいて、３次元の座標系を決定することができる。なお、３点以上の物を用いて３次元の座標系を決定する方法には既知の方法を利用できるため、その具体的な方法の説明は省略する。

第２マーカ２０は、装着物に設けられるマークに限定されない。例えば第２マーカ２０は、ユーザの身体に直接描画される所定のマークでもよい。その他にも例えば、第２マーカ２０は、ユーザの身体の所定の部分（手の甲など）でもよい。

第２マーカ２０は、ユーザの身体の任意の箇所に設けることができる。例えば第２マーカ２０は、ユーザの腕部に設けられる。ここで、腕部とは、ユーザの手の先から肩にかけての部分を意味する。

撮像画像３０から第２マーカ２０を検出するために、第２特定部２０４０は、第２マーカ２０を特定する情報（以下、マーカ情報）を利用する。例えばマーカ情報は、第２マーカ２０の特徴量を示す。第２特定部２０４０は、マーカ情報によって示される特徴量を持つ物体や画像を撮像画像３０から検出することで、第２マーカ２０を検出する。マーカ情報は、予め第２特定部２０４０に設定されていてもよいし、第２特定部２０４０からアクセス可能な記憶装置に記憶されていてもよい。

ここで、第２マーカ２０は、コンテンツに依存しない一つのマーカで実現することが好適である。このようにすることで、前述したとおり、第２マーカ２０を検出する処理をよりシンプルにすることができる。その結果、第２マーカ２０を検出する処理に要する時間が短くなるという利点や、この処理の計算コストが小さくなるという利点がある。

前述したように、第２マーカ２０は画像として実現されてもよいし、それ以外のもので実現されてもよい。第２マーカ２０を画像として実現する形態には、第２マーカ２０を予め描画又は印字しておく必要がないという利点がある。

なお、第２マーカ２０を画像として実現する場合、第１マーカ１０を画像として実現する場合と同様に、画像を表示する表示画面は、表示画面自体が発光することで画像を見せる形態または表示画面のバックライトが発光しそれを遮ることで画像を見せる形態のものよりも、電子ペーパーなどのように太陽光や照明光の反射光を利用して画像を見せる形態のものが好適である。その利点は、第１マーカ１０の場合と同様である。また、その利点は、第２マーカ２０を画像以外のものとして実現する場合についても同様である。

＜第１マーカ１０と第２マーカ２０を設ける位置の関係について＞
前述したように、第１マーカ１０と第２マーカ２０はそれぞれ様々な場所に設けることができる。例えば第１マーカ１０と第２マーカ２０の双方がデバイス６０に設けられる。図１６は、デバイス６０に第１マーカ１０と第２マーカ２０の双方が設けられるケースを例示する図である。図１６において、第１マーカ１０は、表示画面６２に表示される画像である。一方、第２マーカ２０は、表示画面６２の周囲に印字されているマークである。

カメラ１３０に撮像させるべき第１マーカ１０は、ユーザが利用したいコンテンツによって異なる。そのため、第１マーカ１０をデバイス６０に設ける場合、第１マーカ１０を表示画面６２に表示される画像として実現することで、ユーザの操作に応じて第１マーカ１０を変更できるようにすることが好適である。一方、第２マーカ２０はコンテンツ画像４０の表示位置を決定するためのマーカであるため、ユーザ操作に応じて変更できなくてもよい。そのため、図１６に示すように、第２マーカ２０は、デバイス６０に予め設けられているマークであってもよい。そこで図１６の例では、第１マーカ１０を表示画面６２に表示される画像として実現し、第２マーカ２０をデバイス６０に予め設けられているマークとして実現している。

また、図１６のように第１マーカ１０の周囲に第２マーカ２０を設けることで、第２マーカ２０を第１マーカ１０よりも大きくすることができる。ここで、コンテンツの特定に利用される第マーカ１０と比較し、コンテンツ画像４０の表示位置の特定に利用される第２マーカ２０は、情報処理装置２０００によって検出されるべき頻度が高いといえる。そして、検出されるべき頻度が高い第２マーカ２０の検出のしやすさは、第１マーカ１０の検出のしやすさ以上であることが好適である。そこで、第２マーカ２０を第１マーカ１０よりも大きくする（例えば図１６のように、第２マーカ２０を第１マーカ１０の周囲に設ける）ことが好適である。ただし、必ずしも第１マーカ１０よりも第２マーカ２０を大きくする必要はなく、これらの大きさは同じであってもよいし、第１マーカ１０を第２マーカ２０より大きくしてもよい。

なお、図１６の例では第１マーカ１０を画像として実現し、第２マーカ２０を予め設けられているマークとして実現しているが、必ずしもこのような実現方法に限定されない。例えば、第１マーカ１０と第２マーカ２０の双方を、表示画面６２に表示される画像として実現してもよい。このケースではまず、ユーザは、デバイス６０を操作して、利用したいコンテンツに対応する第１マーカ１０を表示画面６２に表示させ、カメラ１３０にその第１マーカ１０を撮像させる。その結果、利用したいコンテンツが特定される。その後ユーザは、さらにデバイス６０を操作して第２マーカ２０を表示画面６２に表示させ、カメラ１３０にその第２マーカ２０を撮像させる。その結果、コンテンツ画像４０の表示位置が特定され、特定された位置にコンテンツ画像４０が表示される。

また、第１マーカ１０と第２マーカ２０の双方を、ユーザが身につける装着物に予め設けられるマークとして実現してもよい。例えば、時計型の装着物において、文字盤に相当する部分の中央付近に第１マーカ１０を予め印字しておき、この部分の周囲に第２マーカ２０を予め印字しておく。

なお、上述の各例では、第１マーカ１０が装着物の中心付近に位置し、第２マーカ２０がその周囲に位置している。しかし、第１マーカ１０と第２マーカ２０の位置関係は、互いに重ならない任意の位置関係とすることができる。また、第１マーカ１０と第２マーカ２０は、これらの検出に影響のない範囲であればそれらの一部が重なり合ってもよい。

図１７は、同一の装着物に設けられる第１マーカ１０と第２マーカ２０の他の例を示す図である。図１７（ａ）において、第１マーカ１０と第２マーカ２０は、平面視において縦に並べて設けられている。図１７（ａ）において、第１マーカ１０と第２マーカ２０は、１）それぞれ表示画面に表示される画像であってもよいし、２）いずれか一方が表示画面に表示される画像で、もう一方が予め描画又は印字されているマークであってもよいし、３）双方が予め描画又は印字されているマークであってもよい。

図１７（ｂ）において、第１マーカ１０はデバイス６０の表示画面６２に表示される画像である。第２マーカ２０は、表示画面６２の一部を覆うように貼り付けられているシールに印字されている。点線は、このシールによって覆われている表示画面６２の枠を表す。このように、図１７（ｂ）では、第１マーカ１０の一部が見えなくなっている。

第１マーカ１０の検出を第１マーカ１０の特徴量によって検出する方法（テーブル２００を利用する方法）によれば、撮像画像３０において第１マーカ１０の一部が欠けていたとしても、撮像画像３０に含まれる第１マーカ１０と予め用意されている第１マーカ１０の特徴量との類似度が所定の閾値以上になる程度に第１マーカ１０が見えていれば（撮像画像３０に含まれていれば）、第１マーカ１０の検出が可能である。よって、図１７（ｂ）のように第１マーカ１０の一部が第２マーカ２０によって隠されていても、第１特定部２０２０は第１マーカ１０を検出することができる。

なお、図１７（ｂ）では第２マーカ２０によって第１マーカ１０の一部が見えなくなっているが、逆に第１マーカ１０によって第２マーカ２０の一部が見えなくなっていてもよい。

第１マーカ１０と第２マーカ２０の位置は、装着物を平面視した場合における奥行き方向の位置が異なっていてもよい。言い換えれば、第１マーカ１０が表す平面と第２マーカ２０が表す平面は、同一平面上に存在しなくてもよい。さらに言い換えれば、第１マーカ１０が表す平面と、第２マーカ２０が表す平面は、それらの平面に垂直な方向についての位置が互いに異なっていてもよい。

図１８は、装着物を平面視した場合における奥行き方向の位置が異なる第１マーカ１０と第２マーカ２０を例示する図である。図１８（ａ）は、時計型の装着物１１０の平面図であり、図１８（ｂ）は、装着物１１０のＡＢ断面図である。図１８（ｂ）に示すように、装着物１１０において、第１マーカ１０が設けられている位置と第２マーカ２０が設けられている位置は、z 方向（平面視における奥行き方向、装着物１１０の厚み方向）において互いに異なっている。装着物１１０がデバイス６０である場合、例えば、第１マーカ１０が表示画面６２に設けられ、第２マーカ２０が表示画面６２の周囲（時計の文字盤のベゼルに相当する部分）に設けられ、表示画面６２がその周囲よりも平面視において奥に設けられる。言い換えれば、第１マーカ１０が設けられる位置と第２マーカ２０が設けられる位置が、表示画面６２の平面に対して垂直な方向において互いに異なる。

装着物１１０を撮像するカメラ１３０の視野において、第１マーカ１０は、第２マーカ２０よりも奥に位置することとなる。そのため、カメラ１３０が第１マーカ１０を撮像する方向によって（ユーザが装着物１１０を見る方向によって）、撮像画像３０に含まれる第１マーカ１０が異なる。図１９は、第１マーカ１０を撮像する方向によって撮像画像３０に含まれる第１マーカ１０が異なる様子を例示する図である。撮像画像３０−１では、装着物１１０が、平面視における左斜め下方向から撮像されている。そのため、撮像画像３０−１には、第１マーカ１０の左下の一部が含まれていない。一方、撮像画像３０−２では、平面視における右斜め下方向から装着物１１０が撮像されている。その結果、撮像画像３０−２には、第１マーカ１０の右下の一部が含まれていない。

このように、同一の第１マーカ１０であってもカメラ１３０によって撮像される方向によって撮像画像３０に含まれる形状や模様などが異なる場合（例えば第１マーカ１０の一部が欠ける場合）、１つの第１マーカ１０が複数のコンテンツに共通するものとして利用されてもよい。この場合、第１特定部２０２０には、撮像画像３０に含まれる第１マーカ１０（第１マーカ１０の一部）からコンテンツを特定する。例えば図１９の例において、撮像画像３０−１のケースではコンテンツとしてキーボードが特定され、撮像画像３０−２のケースではコンテンツとしてテンキーが特定されるようにする。こうすることで、ユーザは、利用したいコンテンツに応じてカメラ１３０が第１マーカ１０を撮像する方向（例えばユーザが第１マーカ１０を見る方向）を変えることによって、所望のコンテンツを利用できるようになる。よって、情報処理装置２０００の利便性が向上する。また、コンテンツの数に対する第１マーカ１０の数を減らすことができるため、第１マーカ１０を用意する手間が軽減する。また、第１マーカ１０を画像として実現する場合には、第１マーカ１０を記憶させておく記憶領域を削減することができ、第１マーカ１０を予め描画又は印字しておく場合には、第１マーカ１０を設けるために要するスペースを減らすことができる。

＜第１マーカ１０と第２マーカ２０の検出を行うタイミング＞
第１マーカ１０の検出と第２マーカ２０の検出のタイミングや頻度は任意である。以下では、これらの好適なタイミングや頻度を例示する。

＜＜第１の例＞＞
この例では、第１マーカ１０の検出と第２マーカ２０の検出が、それぞれ異なるタイミングで行われる。図２０は、第１マーカ１０の検出と第２マーカ２０の検出のタイミングを例示するフローチャートである。まず、第１特定部２０２０によって、第１マーカ１０を検出する処理が行われる（図５のＳ１０２からＳ１０６）。この間、第２マーカ２０の検出は行わない。こうすることで、情報処理装置２０００の処理負荷を軽減することができる。

第１特定部２０２０によって第１マーカ１０が検出されると、次に第２特定部２０４０による第２マーカ２０の検出、及び表示制御部２０６０によるコンテンツ画像４０の表示が行われる（図６のＳ２０２からＳ２１２）。

ループ処理Ａの終了条件は、例えば前述したようにユーザによって所定の入力操作や、情報処理装置２０００の状態が所定の状態になることである。第１マーカ１０によって特定されたコンテンツがアプリケーションである場合、例えば情報処理装置２０００が所定の状態になるとは、そのアプリケーションが終了することである。その他にも例えば、第１マーカ１０によって特定されたコンテンツが入力インタフェースである場合、情報処理装置２０００が所定の状態になるとは、その入力インタフェースを用いた入力操作が完了することである。これらの終了条件を採用することで、アプリケーションの終了や入力操作の終了を契機として、情報処理装置２０００によって行われる処理を、コンテンツ画像４０の表示位置の決定からコンテンツの特定へ自動的に移行させることができる。

その他にも例えば、所定の終了条件は、所定時間以上（所定回数以上のループ処理Ａにおいて）、第２マーカ２０が検出されないことである。例えばヘッドマウントディスプレイ１００を利用する場合、所定時間以上第２マーカ２０が検出されないことは、第２マーカ２０が所定時間以上ユーザの視界から外れていることを意味する。よって、この終了条件を採用することで、ユーザは、別のコンテンツを利用したいと考えた場合に、第２マーカ２０を視界から外すという容易な動作で、情報処理装置２０００によって行われる処理をコンテンツの特定へ移行させることができる。

ここで、ループ処理Ａが実行されている間、第１マーカ１０の検出は行わない。こうすることで、情報処理装置２０００の処理負荷を軽減することができる。

前述した所定の終了条件が満たされると、図２０の処理は終了する。この場合、例えば情報処理装置２０００は、再度図２０の処理を実行する。こうすることで、１）第１マーカ１０を検出する、２）所定の終了条件が満たされるまで第２マーカ２０の検出及びコンテンツ画像４０の表示を繰り返す、という流れで処理が繰り返される。

＜＜第２の例＞＞
この例では、第１マーカ１０を検出する処理と第２マーカ２０の検出処理が並行しておこなわれる。ただし、情報処理装置２０００は、１）第１マーカ１０の検出処理を行う頻度が第２マーカ２０の検出処理を行う頻度よりも高い第１状態と、２）第２マーカ２０の検出処理を行う頻度が第１マーカ１０の検出処理を行う頻度よりも高い第２状態という、２つの状態の間を遷移する。図２１は、情報処理装置２０００の状態が第１状態と第２状態の間を遷移する様子を例示する図である。

まず、コンテンツが特定されていない時（例えば情報処理装置２０００の起動時）には、情報処理装置２０００は第１状態となる。その後、第１マーカ１０が検出されてコンテンツが特定されると、情報処理装置２０００は第２状態に遷移する。

第２状態から第１状態へ遷移する条件には、様々なものを採用できる。例えば、第２状態に遷移してから所定の時間が経過したら、情報処理装置２０００の状態を第１状態に遷移させる。この所定の時間は、全てのコンテンツに共通で定められていてもよいし、コンテンツ毎に定められていてもよい。その他にも例えば、コンテンツの終了（アプリケーションの終了や入力インタフェースを用いた入力操作に終了）を契機として、情報処理装置２０００の状態を第１状態に遷移させる。その他にも例えば、第２状態において所定時間以上第２マーカ２０が検出されない場合に、情報処理装置２０００の状態を第１状態に遷移させる。

その他にも例えば、第２状態において撮像画像３０から検出された第２マーカ２０の一部が欠けていたら、情報処理装置２０００の状態を第１状態に遷移させる。このケースでは、前提として、第２マーカ２０が第１マーカ１０の周囲に位置するとする。第２マーカ２０が第１マーカ１０の周囲に位置すると、第１マーカ１０を変更するためにデバイス６０を操作する（例えばタッチパネルを操作する）場合に、第２マーカ２０の一部がユーザの手などによって隠れて見えなくなる。

図２２は、第１マーカ１０を変更する作業を例示する図である。図２２において、第１マーカ１０は表示画面６２に表示される画像である。また、第２マーカ２０は、デバイス６０のベゼル部分に印字されているマークである。デバイス６０のタッチパネルを操作して第１マーカ１０を変更する作業が行われているため、ユーザの指によって第２マーカ２０の一部が隠れている。つまり、撮像画像３０から検出される第２マーカ２０の一部が欠けている。

このように、撮像画像３０から検出された第２マーカ２０の一部が欠けていることは、第１マーカ１０を変更する作業が行われた蓋然性が高いことを意味する。そして、第１マーカ１０を変更する作業が行われた場合、ユーザがコンテンツを切り替えようとしていることを意味する。そこで、このような状況下で情報処理装置２０００の状態を第１状態に遷移させることにより、ユーザがコンテンツを切り替えようとしている時に、第１マーカ１０が検出される蓋然性を高くすることができる。

なお前述したように、第２マーカ２０は、撮像画像３０においてその一部が欠けていたとしても、予め用意されている第２マーカ２０の特徴量との類似度が所定の閾値以上となる程度に第２マーカ２０が撮像画像３０に含まれていれば、その検出が可能である。

その他にも例えば、第２状態において撮像画像３０から第２マーカ２０が検出されなくなったら、情報処理装置２０００の状態を第１状態に遷移させる。この方法によれば、ユーザは、コンテンツを切り替えたい時に、第２マーカ２０が撮像されないようにする（第２マーカ２０を視界から外す）という簡易な動作によって、コンテンツを特定するために適した第１状態に情報処理装置２０００を遷移させることができる。

＜コンテンツ画像４０の表示位置の特定＞
第２特定部２０４０は、第２マーカ２０に基づいてコンテンツ画像４０の表示位置を決定する。例えば第２マーカ２０に基づいて３次元の座標系が決定される場合、コンテンツ画像４０の位置を、この座標系における位置として予め定義しておく。

図２３は、第２マーカ２０に基づいて決定される座標系８０を例示する図である。座標系８０は、x 方向、y 方向、及び z 方向で定まる３次元の座標系である。ここで、画像に含まれるマーカの形状等に基づいて３次元の座標系を決定する技術には、既知の技術を利用することができる。

図２４は、座標系８０におけるコンテンツ画像４０の位置を例示する図である。図２４の例において、座標系８０におけるコンテンツ画像４０の位置は予め、(-3Mx-Ix, -Iy/2, 0) と定められている。ここで、Mx は第２マーカ２０の x 方向の大きさ、Ix はコンテンツ画像４０の x 方向の大きさ、Iy はコンテンツ画像４０の y 方向の大きさを表す。また、コンテンツ画像４０の位置は、コンテンツ画像４０の左上の座標を表す。表示制御部２０６０は、座標系８０における位置が (-3Mx-Ix, -Iy/2, 0) となるように、コンテンツ画像４０を表示画面５０に表示させる。

第２マーカ２０に基づいて定まる座標系における位置は、全てのコンテンツに共通で定められていてもよいし、コンテンツごとに定められていてもよいし、コンテンツ画像４０ごとに定められていてもよい。

＜コンテンツ画像４０の姿勢や大きさについて＞
第２特定部２０４０は、コンテンツ画像４０の位置に加え、コンテンツ画像４０の姿勢や大きさを第２マーカ２０に基づいて決定してもよい。以下、姿勢と大きさの決定方法についてそれぞれ説明する。

＜＜コンテンツ画像４０の姿勢を決定する方法＞＞
第２特定部２０４０は、第２マーカ２０の姿勢に応じて、コンテンツ画像４０の姿勢を決定する。具体的にはまず、第２特定部２０４０は、撮像画像３０に写っている第２マーカ２０を用いて座標系８０を決定する。さらに第２特定部２０４０は、上記決定した座標系８０に基づいて、コンテンツ画像４０の姿勢を決定する。例えばこの決定には、予め定めておいた上記座標系８０とコンテンツ画像４０の姿勢との対応関係を利用する。

図２５は、座標系８０とコンテンツ画像４０の姿勢９０との対応関係を例示する図である。図２５において、コンテンツ画像４０の姿勢９０は、コンテンツ画像４０を平面視した場合の右方向が座標系８０における x 方向となっており、コンテンツ画像４０を平面視した場合における下方向が座標系８０における y 方向となっており、コンテンツ画像４０を平面視した場合における視線方向と逆の方向が座標系８０における z 方向となっている。この対応関係は、第２特定部２０４０に予め設定されていてもよいし、第２特定部２０４０からアクセス可能な記憶装置に記憶されていてもよい。また、この対応関係は、全てのコンテンツ画像４０に共通であってもよいし、コンテンツごとに定められていてもよいし、コンテンツ画像４０ごとに定められていてもよい。

第２特定部２０４０は、第２マーカ２０を用いてコンテンツ画像４０の姿勢を決定しなくてもよい。この場合、例えば第２特定部２０４０は、第２マーカ２０によらない固定の姿勢でコンテンツ画像４０を表示する。

＜＜操作画像の大きさの決定＞＞
第２特定部２０４０は、撮像画像３０に含まれる第２マーカ２０の大きさに応じて、表示画面５０に表示させるコンテンツ画像４０の大きさを決定する。例えば予め、第２マーカ２０の大きさとコンテンツ画像４０の大きさとの比率を定めておく。そして、第２特定部２０４０は、この比率及び撮像画像３０に写っている第２マーカ２０の大きさとに基づいて、表示画面５０に表示させるコンテンツ画像４０の大きさを決定する。上記比率は、第２特定部２０４０に予め設定されていてもよいし、第２特定部２０４０からアクセス可能な記憶装置に記憶されていてもよい。また、この比率は、全てのコンテンツ画像４０に共通で定められていてもよいし、コンテンツごとに定められていてもよいし、コンテンツ画像４０ごとに定められていてもよい。

第２特定部２０４０は、第２マーカ２０を用いてコンテンツ画像４０の大きさを決定しなくてもよい。この場合、例えば第２特定部２０４０は、第２マーカ２０の大きさによらない固定の大きさでコンテンツ画像４０を表示させる。

＜コンテンツ画像４０の表示＞
表示制御部２０６０は、コンテンツ画像４０を表示画面５０に表示させる。ここで、表示画面５０に画像を表示させる技術には、既存の技術を利用することができる。

なお、第２マーカ２０が撮像画像３０に含まれない場合、表示制御部２０６０は、表示画面５０にコンテンツ画像４０を表示させなくてもよいし、表示画面５０に所定の態様（所定の位置、所定の姿勢、及び所定の大きさ）でコンテンツ画像４０を表示させてもよい。後者の場合、例えば表示制御部２０６０は、コンテンツ画像４０の中心位置を表示画面５０の中心位置とし、表示画面５０を平面視する方向がコンテンツ画像４０を平面視する方向になるようにし、なおかつ表示画面５０に表示可能な最大の大きさでコンテンツ画像４０を表示させる。

図２６は、第２マーカ２０が撮像画像３０に含まれる場合と含まれない場合とで、表示画面５０に表示されるコンテンツ画像４０の態様が変更される様子を例示する図である。この例において、情報処理装置２０００は透過型のヘッドマウントディスプレイ１００を用いて実現されている。点線の枠（範囲１２０）は、ユーザが透過型の表示画面５０を介して見る範囲を表している。さらに範囲１２０は、カメラ１３０の撮像範囲も表している。つまり、範囲１２０に含まれるコンテンツ画像４０以外のものは、撮像画像３０にも含まれる。

図２６（ａ）では、第２マーカ２０がカメラ１３０の撮像範囲に含まれるため、撮像画像３０から第２マーカ２０が検出される。そこで、Web ブラウザのウインドウを表すコンテンツ画像４０−１と、この Web ブラウザに対して入力を行うためのキーボードを表すコンテンツ画像４０−２が、第２マーカ２０によって定まる位置、大きさ、及び姿勢で表示されている。

一方、図２６（ｂ）では、第２マーカ２０がカメラ１３０の撮像範囲に含まれないため、撮像画像３０から第２マーカ２０が検出されない。そこで、コンテンツ画像４０−１が大きく表示され、なおかつコンテンツ画像４０−２が表示されていない。

このように、第２マーカ２０が撮像画像３０に含まれる場合と含まれない場合とで表示を切り替える方法によれば、ユーザは、例えば入力操作を行いたい時と情報の閲覧に注力したい時とで、それぞれに適した表示に容易に切り替えを行うことができる。例えば図２６の例では、情報の閲覧に注力したい時には、第２マーカ２０をユーザの視界から外すことにより、Web ブラウザのウインドウを容易に大きくすることができる。一方、文字入力を行いたい時には、第２マーカ２０をユーザの視界に入れることにより、容易に入力インタフェースを表示させることができる。このように、情報処理装置２０００の利便性が向上する。

＜マーカを利用した入力操作の検出＞
情報処理装置２０００は、第１マーカ１０又は第２マーカ２０を利用して、ユーザによる入力操作を検出してもよい。以下では、第１マーカ１０を利用してユーザによる入力操作を検出する方法について説明する。以下で説明する方法では、第１マーカ１０の代わりに第２マーカ２０を利用することも可能である。

ここでは、第１マーカ１０は、コンテンツの特定に加え、ユーザによって入力操作が行われたタイミングを特定するためにも利用される。この場合、第１マーカ１０は、デバイス６０の表示画面６２に表示される画像として実現される。また、ユーザの身体にセンサ６４が取り付けられる。センサ６４には、ユーザの入力操作に応じてセンシングの結果が変化しうる任意のセンサを採用できる。例えばセンサ６４は、振動センサ、加速度センサ、振動スイッチ、圧力センサ、又は静電容量センサなどである、

デバイス６０は、センサ６４によるセンシングの結果を取得する。そのために、センサ６４はデバイス６０に接続される。例えばセンサ６４は、デバイス６０の内部に設けられる。ただし、センサ６４は、そのセンシング結果をデバイス６０へ通知できる任意の態様でデバイス６０と接続されていればよく、必ずしもデバイス６０の内部に設けられる必要はない。例えばセンサ６４は、ユーザの身体に直接取り付けられたり、ユーザの衣服に取り付けられたりしてもよい。

ユーザは、センサ６４によるセンシングの結果に影響を与える態様で入力操作を行う。例えばセンサ６４が振動センサである場合、ユーザは、入力操作の開始や終了などのタイミングでセンサ６４に対して振動が加わるように入力操作を行う。例えばセンサ６４がデバイス６０に内蔵されている振動センサである場合、ユーザは、入力操作の開始や終了などのタイミングでその腕をタップすることで、センサ６４に対して振動が加わるようにする。

デバイス６０は、センサ６４によるセンシングの結果に応じて、表示画面６２に表示させる第１マーカ１０を変更する。例えばセンサ６４が振動センサである場合、デバイス６０は、センサ６４によって所定の大きさ以上の振動が検出されたことに応じて、第１マーカ１０を変更する。

情報処理装置２０００は、繰り返し生成される複数の撮像画像３０を解析することで、表示画面６２に表示される第１マーカ１０が変更されたことを検出する。これにより、情報処理装置２０００は、ユーザによって入力操作が行われたタイミングを特定する。図２７は、ユーザによる入力操作によって第１マーカ１０が変更される様子を例示する図である。

ここで、本実施形態の第２特定部２０４０は、変更前の第１マーカ１０と変更後の第１マーカ１０のいずれを用いても、同じコンテンツを特定できる必要がある。これを実現する方法は様々である。例えば、デバイス６０は、同一のコンテンツに対して複数の異なる第１マーカ１０を対応づけておく。そして、デバイス６０は、センサ６４によるセンシングの結果に応じて第１マーカ１０を変更する際、表示画面６２に、変更前の第１マーカ１０によって特定されるコンテンツと同じコンテンツに対応づけられている別の第１マーカ１０を表示させる。

その他にも例えば、デバイス６０は、第２特定部２０４０による第１マーカ１０の特定に影響を与えない限度で、第１マーカ１０を変更する。例えば第２特定部２０４０が、第１マーカ１０の模様や形状で第１マーカ１０を特定するとする。具体的には、模様や形状に対してコンテンツを対応づけておく。この場合、デバイス６０は、例えば表示画面６２に表示される模様や形状を変更せず、表示画面６２の色のみを変更する。例えば図２７の例において、変更前の第１マーカ１０と変更後の第１マーカ１０は、バーコード部分が同じである一方で、背景の色が異なっている。この場合、背景の色にかかわらずにバーコード部分の形状によってコンテンツを特定するようにしておけば、第１特定部２０２０によるコンテンツの特定に影響を与えない範囲で第１マーカ１０を変更することができる。

前述したように、センサ６４としては、振動センサだけでなく、種々のセンサを採用できる。例えばセンサ６４が加速度センサである場合、デバイス６０は、センサ６４が所定の大きさ以上の加速度を検出したときに、表示画面６２に表示させる第１マーカ１０を変更する。例えばセンサ６４が圧力センサである場合、デバイス６０は、センサ６４が所定の大きさ以上の圧力を検出したときに、表示画面６２に表示させる第１マーカ１０を変更する。また例えば、センサ６４が静電容量センサである場合、デバイス６０は、センサ６４が所定の大きさ以上の静電容量の変位を検出したときに、表示画面６２に表示させる第１マーカ１０を変更する。センサ６４が振動スイッチである場合については、センサ６４が振動センサである場合と同様である。

上述のように第１マーカ１０を利用して認識できる入力操作には、様々なものがある。例えば、ユーザによる入力操作が、コンテンツ画像４０として表示されている入力インタフェース（キーボードやボタンなど）に対する操作であるとする。この場合、情報処理装置２０００は、第１マーカ１０が変更されたタイミング又はそれに近いタイミング（第１マーカ１０が変更されたタイミングより所定時間前又は後のタイミング）に生成された撮像画像３０から、入力操作に利用される物体（以下、操作体）を検出する。操作体は、例えばユーザの指や、ユーザの手に保持されるペンなどの所定の物体である。情報処理装置２０００は、検出された操作体の撮像画像３０内の位置と、表示画面５０に表示されているコンテンツ画像４０の位置とに基づいて、ユーザによる入力操作を認識する。例えば入力インタフェースがキーボードであれば、情報処理装置２０００は、検出された操作体の位置と表示画面５０におけるキーボードの位置とに基づいて、ユーザがどのキーを操作したのかを特定する。

ユーザの入力操作は、コンテンツ画像４０として表示されている入力インタフェースに対する操作に限定されない。例えばユーザは、操作体で文字や図形などを描く操作を行ってもよい。つまり、操作体の動きが入力操作の内容として認識される。この場合、例えばユーザは、入力操作の開始と終了それぞれのタイミングで第１マーカ１０が変更されるように入力操作を行う。例えば、ユーザは、デバイス６０が取り付けられている腕をタップしてから図形を描き、最後に再度その腕をタップする。これにより、入力操作の開始と終了のタイミングそれぞれで、第１マーカ１０が変更される。情報処理装置２０００は、第１マーカ１０の変化を検出することで入力操作の開始と終了のタイミングを特定する。さらに、情報処理装置２０００は、入力操作の開始のタイミングと終了のタイミングの間において生成された複数の撮像画像３０を解析することでその間における操作体の動きを検出し、その動きを入力操作として認識する。

上述の例では、操作体の動きによって入力操作を行う場合において、ユーザは、第１マーカ１０が２回変更されるように入力操作を行っている。しかし、第１マーカ１０を変更させる回数は１回でもよい。この場合、例えばユーザが、入力操作の開始のタイミングで、センサ６４のセンシング結果に影響を与える動作（例えば腕のタップ）を行うようにする。そして情報処理装置２０００は、例えば第１マーカ１０が変更されたタイミングを入力操作の開始時点とし、この時点よりも所定時間後を入力操作の終了時点として、入力操作を認識する。同様に、ユーザが、入力操作の終了のタイミングで、センサ６４のセンシング結果に影響を与える動作を行うようにしてもよい。この場合、情報処理装置２０００は、例えば第１マーカ１０が変更されたタイミングを入力操作の終了時点とし、この時点よりも所定時間前を入力操作の開始時点として、入力操作を認識する。

ここで、センサ６４を使って入力操作のタイミングを特定する方法においては、必ずしも前述したように第１マーカ１０や第２マーカ２０を変化させる必要はなく、第１マーカ１０や第２マーカ２０以外のものを変化させてもよい。図２８は、第１マーカ１０や第２マーカ２０を変化させずに入力操作のタイミングを特定する方法の第１の例を示す図である。図２８において、第１マーカ１０は、情報処理装置２０００を利用する場所に予め設けられている。また、第２マーカ２０は、デバイス６０のベゼル部分に設けられている。

デバイス６０は、センサ６４によるセンシングの結果に応じて（例えば所定の大きさ以上の振動が検出されたことに応じて）表示画面６２を変化させる。具体的には、デバイス６０は、表示画面６２のバックライトの色を変更したり、バックライトを点滅させたりする。情報処理装置２０００は、撮像画像３０を用いて、この表示画面６２の変化を検出することにより、ユーザによる入力操作のタイミングを特定する。

図２９は、第１マーカ１０や第２マーカ２０を変化させずに入力操作のタイミングを特定する方法の第２の例を示す図である。図２９の第１マーカ１０は、図２８の第１マーカ１０と同様である。一方、図２９の第２マーカ２０は、装着物１１０の板状物１１２に設けられている。また、板状物１１２は、半透明の樹脂で形成されており、板状物１１２の下に LED ライト１１４が設けられている。そして、この LED ライト１１４は、センサ６４によるセンシングの結果に応じて点滅するように構成されている。前述したように板状物１１２が半透明であるため、LED ライト１１４が点滅している様子は、撮像画像３０から検出できる。そこで情報処理装置２０００は、撮像画像３０を用いて、この LED ライト１１４が点滅したことを検出することにより、入力操作のタイミングを特定する。

＜情報処理装置２０００のユースケース＞
ここでは、情報処理装置２０００のユースケースを例示する。なお、以下で示すユースケースはあくまで例示であり、情報処理装置２０００の活用方法は以下で説明するユースケースに限定されない。以下の例において、情報処理装置２０００は、ヘッドマウントディスプレイ１００を用いて実現されているとする。すなわち、コンテンツ画像４０が表示される表示画面５０は、ヘッドマウントディスプレイ１００のレンズ部分に設けられる。また、撮像画像３０を生成するカメラ１３０は、ヘッドマウントディスプレイ１００のレンズ付近に設けられる。

＜＜第１のユースケース：設備の点検作業の支援＞＞
情報処理装置２０００は、工場などにおける設備（例えば機器）などの点検作業を支援するために利用することができる。この場合、まずユーザは、この点検作業の支援を実現するアプリケーション（以下、点検支援アプリケーション）に対応する第１マーカ１０をカメラ１３０に撮像させることで、このアプリケーションを実行させる。

点検支援アプリケーションが実行されている様子は、例えば図３で表される。例えば点検支援アプリケーションは、データベースに登録されている点検リストを取得する。点検リストには、複数の点検項目それぞれに関する情報（点検場所や点検の内容）を示している。表示制御部２０６０は、点検リストに含まれる各点検項目について、その点検項目を表すコンテンツ画像４０−１を順に表示画面５０に表示させる。さらに表示制御部２０６０は、点検項目に対応づけられている入力インタフェースを表すコンテンツ画像４０−２を、表示画面５０に表示させる。ユーザは、この入力インタフェースを操作することで点検結果を入力する。

＜＜第２のユースケース：ピッキング作業の支援＞＞
情報処理装置２０００は、倉庫などにおけるピッキング作業を支援するために利用することができる。ここで、ピッキング作業とは、棚などに置かれている物の中から、所望の物を探し集める作業のことを意味する。ユーザは、このピッキング作業の支援を実現するアプリケーション（以下、ピッキング支援アプリケーション）に対応する第１マーカ１０をカメラ１３０に撮像させることで、ピッキング支援アプリケーションを実行させる。

ピッキング支援アプリケーションは、例えば、収集すべき物品のリストをデータベースから取得する。さらに、ピッキング支援アプリケーションは、このリストに示される各商品について順に、その商品が倉庫内のどこに保管されているかを示すガイドをコンテンツ画像４０として生成する。表示制御部２０６０は、このコンテンツ画像４０を表示画面５０に表示させる。こうすることで、ユーザは、収集すべき物品が保管されている場所へ容易に移動できる。

さらにピッキング支援アプリケーションは、収集すべき物品が置かれている場所がカメラ１３０の撮像範囲に入ったら、その場所を強調表示するためのコンテンツ画像４０を生成する。表示制御部２０６０は、このコンテンツ画像４０を表示画面５０に表示させる。図３０は、収集すべき物品の場所が強調表示される様子を例示する図である。

さらにピッキング支援アプリケーションは、ピッキング作業に関する記録を入力するための入力インタフェースを表すコンテンツ画像４０を表示画面５０に表示させる。ユーザはこの入力インタフェースを利用して、作業記録を入力する。

＜＜第３のユースケース：医療現場における作業の支援＞＞
情報処理装置２０００は、医療現場における種々の作業を支援するために利用することができる。例えば、看護師が点滴注射を行う際などに、３点照合などと呼ばれる作業が行われている。この作業は、点滴を注射する際に、１）作業者を行う看護師、２）点滴注射を受ける患者、及び３）投与する薬剤の３つの組み合わせを照合することで、正しい作業であるか否かを判定するものである。

そこで情報処理装置２０００は、この３点照合の支援を実現する。図３１は、情報処理装置２０００を利用して３点照合が行われる様子を例示する図である。ユーザは、この３点照合の支援を実現するアプリケーションに対応する第１マーカ１０をカメラ１３０に撮像させることで、このアプリケーションを実行させる。このアプリケーションは、上記１）から３）それぞれの識別子を読み取るための機能を提供する。まず表示制御部２０６０により、看護師を識別するための看護師コード１７０が読み取られる範囲を表すコンテンツ画像４０（枠線１４０）が表示される。また、看護師コード１７０を読み取るべきことを伝えるメッセージを表すコンテンツ画像４０（メッセージ１５０）が表示される。さらに、アプリケーションに対して看護師コードの読み取りを指示するための入力インタフェース（ボタン１６０）が表示される。

各コンテンツ画像４０の表示位置は、第２マーカ２０の位置に基づいて決定される。そこでユーザは、腕を動かして第２マーカ２０の位置を変更することで、看護師コード１７０が枠線１４０に収まるようにする。そしてユーザは、ボタン１６０を押す（例えばボタン１６０に重なる位置に指を配置する）ことで、看護師コード１７０をアプリケーションに読み取らせる。ユーザは、同様の操作を患者の識別子の読み取りと薬剤の識別子の読み取りについても行う。以上の動作により、３点照合が実現される。

なお、医療現場における情報処理装置２０００の活用方法は、３点照合の支援以外にも様々なものがある。例えば、看護師は医師から伝えられた作業（血液採取や点滴注射など）を行うため、医師から看護師への伝達事項が情報処理装置２０００を使って表示されるようにする。

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記各実施形態の組み合わせ、又は上記以外の様々な構成を採用することもできる。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
１． 第１マーカを撮像画像から検出し、前記検出された第１マーカに対応するコンテンツを特定する第１特定手段と、
前記第１マーカとは異なる第２マーカを撮像画像から検出し、前記検出された第２マーカに基づいて、第１表示画面における表示位置を特定する第２特定手段と、
前記第１表示画面の前記特定された表示位置に、前記特定されたコンテンツに関するコンテンツ画像を表示させる表示制御手段と、を有する情報処理装置。
２． 前記第１特定手段は、ユーザの身体に取り付けられる装着物が備える第２表示画面に表示される画像である前記第１マーカを検出する、１．に記載の情報処理装置。
３． 前記第２表示画面に表示される前記第１マーカは、前記装着物に対する操作に応じて変更される、２．に記載の情報処理装置。
４． 前記第２マーカは、前記第１マーカの周囲に設けられるものである、１．乃至３．いずれか一つに記載の情報処理装置。
５． 前記第１マーカと前記第２マーカは、ユーザの身体に取り付けられる装着物に設けられ、
前記第１マーカの平面に対して垂直な方向において、前記第１マーカの位置と前記第２マーカの位置が互いに異なる、１．乃至４．いずれか一つに記載の情報処理装置。
６． 前記第２特定手段は、ユーザの身体に取り付けられる装着物に印字若しくは描画された第２マーカ、又は前記装着物の形状として形成される第２マーカを検出する、１．乃至５．いずれか一つに記載の情報処理装置。
７． 前記第２特定手段は、撮像画像から検出される前記第１マーカの位置の変化に応じ、前記コンテンツ画像の前記表示位置を変更する、１．乃至６．いずれか一つに記載の情報処理装置。
８． 前記第１表示画面はヘッドマウントディスプレイに設けられる、１．乃至７．いずれか一つに記載の情報処理装置。
９． 第１マーカ、前記第１マーカとは異なる第２マーカ、第１表示画面、及び情報処理装置を有し、
前記情報処理装置は、
前記第１マーカを撮像画像から検出し、前記検出された第１マーカに対応するコンテンツを特定する第１特定手段と、
前記第２マーカを撮像画像から検出し、前記検出された第２マーカに基づいて、前記第１表示画面における表示位置を特定する第２特定手段と、
前記第１表示画面の前記特定された表示位置に、前記特定されたコンテンツに関するコンテンツ画像を表示させる表示制御手段と、を有する情報処理システム。
１０． 前記第１マーカは、ユーザの身体に取り付けられる装着物が備える第２表示画面に表示される画像である、９．に記載の情報処理システム。
１１． 前記第２表示画面に表示される前記第１マーカは、前記装着物に対する操作に応じて変更される、１０．に記載の情報処理システム。
１２． 前記第２マーカは、前記第１マーカの周囲に設けられるものである、９．乃至１１．いずれか一つに記載の情報処理システム。
１３． 前記第１マーカと前記第２マーカは、ユーザの身体に取り付けられる装着物に設けられ、
前記第１マーカの平面に対して垂直な方向において、前記第１マーカの位置と前記第２マーカの位置が互いに異なる、９．乃至１２．いずれか一つに記載の情報処理システム。
１４． 前記第２マーカは、ユーザの身体に取り付けられる装着物に印字若しくは描画されるか、又は前記装着物の形状として形成される、９．乃至１３．いずれか一つに記載の情報処理システム。
１５． 前記第２特定手段は、撮像画像から検出される前記第１マーカの位置の変化に応じ、前記コンテンツ画像の前記表示位置を変更する、９．乃至１４．いずれか一つに記載の情報処理システム。
１６． 前記第１表示画面はヘッドマウントディスプレイに設けられる、９．乃至１５．いずれか一つに記載の情報処理システム。
１７． コンピュータによって実行される制御方法であって、
第１マーカを撮像画像から検出し、前記検出された第１マーカに対応するコンテンツを特定する第１特定ステップと、
前記第１マーカとは異なる第２マーカを撮像画像から検出し、前記検出された第２マーカに基づいて、第１表示画面における表示位置を特定する第２特定ステップと、
前記第１表示画面の前記特定された表示位置に、前記特定されたコンテンツに関するコンテンツ画像を表示させる表示制御ステップと、を有する制御方法。
１８． 前記第１特定ステップは、ユーザの身体に取り付けられる装着物が備える第２表示画面に表示される画像である前記第１マーカを検出する、１７．に記載の制御方法。
１９． 前記第２表示画面に表示される前記第１マーカは、前記装着物に対する操作に応じて変更される、１８．に記載の制御方法。
２０． 前記第２マーカは、前記第１マーカの周囲に設けられるものである、１７．乃至１９．いずれか一つに記載の制御方法。
２１． 前記第１マーカと前記第２マーカは、ユーザの身体に取り付けられる装着物に設けられ、
前記第１マーカの平面に対して垂直な方向において、前記第１マーカの位置と前記第２マーカの位置が互いに異なる、１７．乃至２０．いずれか一つに記載の制御方法。
２２． 前記第２特定ステップは、ユーザの身体に取り付けられる装着物に印字若しくは描画された第２マーカ、又は前記装着物の形状として形成される第２マーカを検出する、１７．乃至２１．いずれか一つに記載の制御方法。
２３． 前記第２特定ステップは、撮像画像から検出される前記第１マーカの位置の変化に応じ、前記コンテンツ画像の前記表示位置を変更する、１７．乃至２２．いずれか一つに記載の制御方法。
２４． 前記第１表示画面はヘッドマウントディスプレイに設けられる、１７．乃至２３．いずれか一つに記載の制御方法。
２５． １７．乃至２４．いずれか一つに記載の制御方法の各ステップをコンピュータに実行させるプログラム。

Claims (10)

1. 第１マーカを撮像画像から検出し、前記検出された第１マーカに対応するコンテンツを特定する第１特定手段と、
   前記第１マーカとは異なる第２マーカを撮像画像から検出し、前記検出された第２マーカに基づいて、第１表示画面における表示位置を特定する第２特定手段と、
   前記第１表示画面の前記特定された表示位置に、前記特定されたコンテンツに関するコンテンツ画像を表示させる表示制御手段と、を有し、
   前記第１特定手段は、ユーザの身体に取り付けられる装着物が備える第２表示画面に表示される画像である前記第１マーカを検出する情報処理装置。
2. 前記第２表示画面に表示される前記第１マーカは、前記装着物に対する操作に応じて変更される、請求項１に記載の情報処理装置。
3. 前記第２マーカは、前記第１マーカの周囲に設けられるものである、請求項１又は２に記載の情報処理装置。
4. 前記第１マーカと前記第２マーカは、ユーザの身体に取り付けられる装着物に設けられ、
   前記第１マーカの平面に対して垂直な方向において、前記第１マーカの位置と前記第２マーカの位置が互いに異なる、請求項１乃至３いずれか一項に記載の情報処理装置。
5. 前記第２特定手段は、ユーザの身体に取り付けられる装着物に印字若しくは描画された第２マーカ、又は前記装着物の形状として形成される第２マーカを検出する、請求項１乃至４いずれか一項に記載の情報処理装置。
6. 前記第２特定手段は、撮像画像から検出される前記第２マーカの位置の変化に応じ、前記コンテンツ画像の前記表示位置を変更する、請求項１乃至５いずれか一項に記載の情報処理装置。
7. 前記第１表示画面はヘッドマウントディスプレイに設けられる、請求項１乃至６いずれか一項に記載の情報処理装置。
8. 第１マーカ、前記第１マーカとは異なる第２マーカ、第１表示画面、及び情報処理装置を有し、
   前記情報処理装置は、
   前記第１マーカを撮像画像から検出し、前記検出された第１マーカに対応するコンテンツを特定する第１特定手段と、
   前記第２マーカを撮像画像から検出し、前記検出された第２マーカに基づいて、前記第１表示画面における表示位置を特定する第２特定手段と、
   前記第１表示画面の前記特定された表示位置に、前記特定されたコンテンツに関するコンテンツ画像を表示させる表示制御手段と、を有し、
   前記第１特定手段は、ユーザの身体に取り付けられる装着物が備える第２表示画面に表示される画像である前記第１マーカを検出する情報処理システム。
9. コンピュータによって実行される制御方法であって、
   第１マーカを撮像画像から検出し、前記検出された第１マーカに対応するコンテンツを特定する第１特定ステップと、
   前記第１マーカとは異なる第２マーカを撮像画像から検出し、前記検出された第２マーカに基づいて、第１表示画面における表示位置を特定する第２特定ステップと、
   前記第１表示画面の前記特定された表示位置に、前記特定されたコンテンツに関するコンテンツ画像を表示させる表示制御ステップと、を有し、
   前記第１特定ステップでは、ユーザの身体に取り付けられる装着物が備える第２表示画面に表示される画像である前記第１マーカを検出する制御方法。
10. 請求項９に記載の制御方法の各ステップをコンピュータに実行させるプログラム。

Images