JP6740584B2

JP6740584B2 - 表示システム、表示装置の制御方法、及び、プログラム

Info

Publication number: JP6740584B2
Application number: JP2015181843A
Authority: JP
Inventors: 小林　伸一; 伸一小林; 高野　正秀; 正秀高野
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2015-09-15
Filing date: 2015-09-15
Publication date: 2020-08-19
Anticipated expiration: 2035-09-15
Also published as: JP2017058840A

Description

本発明は、表示装置を備える表示システム、表示装置の制御方法、及び、プログラムに関する。

従来、使用者が頭部に装着して使用するヘッドマウントディスプレイ（Head Mounted Display：ＨＭＤ）等の表示装置に対する入力操作の方法として、手指に装置を装着し、この装置により手指の動きを検出する方法が提案された（例えば、特許文献１、２参照）。特許文献１には、指に装着される装置を利用してテキスト入力を行う構成が開示されている。また、特許文献２には、ＨＭＤと指に装着される発光体とを用いて、マウスと同等の操作を行う構成が開示されている。

特開２０００−２８４８８６号公報特開２０００−２９６１９号公報

ＨＭＤにおいてテキスト入力やマウスと同等の入力操作を行う場合、誤入力があると、使用者の意図に反した結果を招く。このため、使用者は、入力される文字、或いは、指示位置を示すカーソルを注視して、正確で誤りの無いように操作を行う。このため、使用者には、表示装置の表示に注視して慎重に操作することが求められ、より直感的な操作でＨＭＤを制御できる方法が望まれていた。
本発明は上記事情に鑑みてなされたものであり、使用者の頭部に装着される表示装置を、より直感的な入力操作により制御できる表示システム、表示装置の制御方法、及び、プログラムを提供することを目的とする。

上記目的を達成するために、本発明の表示システムは、使用者の頭部に装着され、外景を透過して前記使用者に視認させる透過型の表示部を有する表示装置と、前記表示部とは別体として構成される操作対象物とを備え、前記表示装置は、前記操作対象物に対応して、前記表示部を透過する前記外景に関連するＡＲ表示を前記表示部によって行う制御部を備えること、を特徴とする。
本発明によれば、使用者の頭部に装着される表示装置が、表示装置とは別体の操作デバイスの操作に対応して、外景に関連するＡＲ表示を行うので、直感的な入力操作によってＡＲ表示を制御できる。

本発明は、上記表示システムにおいて、前記表示装置は、前記操作対象物に対応付けられた制御対象対応画像を、前記操作対象物に関連付けて前記表示部によってＡＲ表示すること、を特徴とする。
本発明によれば、操作対象物の操作に関する情報を、直感的に把握しやすい形態で表示できる。

また、本発明は、上記表示システムにおいて、前記操作対象物は、前記使用者の操作を受け付ける操作部と、前記操作部が受け付けた操作を示すデータを前記表示装置に送信する通信部と、を備えた操作デバイスであり、前記表示装置の前記制御部は、前記操作デバイスの操作に基づき、前記表示部によってＡＲ表示を行うこと、を特徴とする。
本発明によれば、使用者の頭部に装着される表示装置が、表示装置とは別体の操作デバイスの操作を速やかに検出し、この操作に対応するＡＲ表示を行うことができる。

本発明は、上記表示システムにおいて、前記表示装置の前記制御部は、前記操作デバイスの操作に基づき、前記操作部に対応付けられた態様で、前記表示部を透過する前記外景に関連するＡＲ表示を前記表示部によって行うこと、を特徴とする。
本発明によれば、操作デバイスにおける操作を、表示装置において確実に検出できる。また、操作の検出に係る表示装置の負荷を軽減できる。

本発明は、上記表示システムにおいて、前記制御部は、前記操作デバイスから送信されるデータに基づいて前記操作部の操作を検出し、検出した操作に対応して、前記表示部に表示中の前記ＡＲ表示を変更すること、を特徴とする。
本発明によれば、ＡＲ表示を行っている間に、操作デバイスを操作することにより、ＡＲ表示を変更させることができる。

本発明は、上記表示システムにおいて、前記制御部は、前記操作部に対する前記ＡＲ表示の割り当てを設定可能であってもよい。
この場合において、前記制御部は、前記操作部に対する前記ＡＲ表示の割り当てを更新する処理を実行可能であってもよい。

本発明は、上記表示システムにおいて、前記表示装置の前記制御部は、前記操作デバイスと前記表示装置との相対位置を求め、求めた相対位置に基づき前記表示部でＡＲ表示を行うこと、を特徴とする。
本発明によれば、操作デバイスと表示装置との相対位置に対応して表示を制御できる。

本発明は、上記表示システムにおいて、前記操作部は接触操作を検出するタッチ操作部を備え、前記タッチ操作部は複数の操作領域を有し、前記制御部は、前記タッチ操作部で操作された操作領域に割り当てられた前記ＡＲ表示を、前記表示部によって表示すること、を特徴とする。
本発明によれば、操作デバイスでタッチ操作を行うことにより、ＡＲ表示に対する様々な操作が可能となる。

本発明は、上記表示システムにおいて、前記操作デバイスが有する前記操作部は、前記操作デバイスの動きを操作として検出すること、を特徴とする。
本発明によれば、操作デバイスを動かすことで表示装置に対する操作を行える。

本発明は、上記表示システムにおいて、前記操作デバイスは撮像部を備え、前記撮像部の撮像画像を含むデータを前記通信部により前記表示装置に送信すること、を特徴とする。
本発明によれば、表示装置とは別体の操作デバイスで撮像を行い、撮像画像を表示装置で表示できる。

上記目的を達成するために、本発明の表示システムは、使用者の頭部に装着され、外景を透過して前記使用者に視認させる透過型の表示部を有する表示装置と、前記表示部とは別体として構成される操作対象物とを備え、前記表示装置は、前記操作対象物への操作に基づき、前記表示部により表示する制御画面を遷移させる処理を含む表示制御を行う制御部を備えること、を特徴とする。
本発明によれば、使用者の頭部に装着される表示装置に対し、表示装置とは別体の操作デバイスの操作に応じて画面を遷移させるので、より直感的な入力操作により表示装置を制御できる。

本発明は、上記表示システムにおいて、前記操作対象物は、前記使用者の操作を受け付ける操作部を備える操作デバイスであること、を特徴とする。
本発明によれば、表示装置とは別体の操作デバイスに対する操作を検出できる。

本発明は、上記表示システムにおいて、前記操作デバイスは、前記操作部が受け付けた操作を示すデータを前記表示装置に送信する通信部を備え、前記表示装置の前記制御部は、前記操作デバイスから送信されるデータに基づき、前記操作デバイスの操作を検出すること、を特徴とする。
本発明によれば、操作デバイスにおける操作を、表示装置において確実に検出できる。また、操作の検出に係る表示装置の負荷を軽減できる。

本発明は、上記表示システムにおいて、前記操作デバイスが有する前記操作部は、回転を伴う操作を検出し、前記表示装置の前記制御部は、前記操作デバイスから回転を伴う操作を示すデータが送信された場合に、前記操作の回転方向に対応して、前記表示部により表示する画面を遷移させること、を特徴とする。
本発明によれば、回転を伴う操作により、回転方向に対応して表示される画面が遷移するので、より直感的な操作を実現できる。また、操作の方向と画面の遷移の方向とが対応するため、例えば手探りの操作を行うことが可能となる。

本発明は、上記表示システムにおいて、前記表示装置の前記制御部は、前記操作デバイスから送信されるデータに基づき、前記表示部により表示する画像の拡大、縮小或いは回転のいずれかを含む表示制御を行うこと、を特徴とする。
本発明によれば、直感的な操作により表示装置が表示する画像の表示制御が可能となる。

本発明は、上記表示システムにおいて、前記表示装置は、前記操作デバイスに出力用のデータを送信し、前記操作デバイスは、前記表示装置が送信する出力用のデータを前記通信部で受信し、受信した出力用のデータを出力すること、を特徴とする。
本発明によれば、操作デバイスを、データを出力する装置として利用できる。

本発明は、上記表示システムにおいて、前記表示装置の前記制御部は、前記操作デバイスから撮像画像を含むデータを受信し、受信したデータに基づいて、前記操作デバイスと前記表示装置との相対位置を求めること、を特徴とする。
本発明によれば、操作デバイスと表示装置との相対位置を速やかに求めることができる。

本発明は、上記表示システムにおいて、前記表示装置の前記制御部は、前記操作デバイスと前記表示装置との相対位置を求め、求めた相対位置に基づき前記表示部の表示を制御すること、を特徴とする。
本発明によれば、操作デバイスと表示装置との相対位置に対応して表示を制御できる。

本発明は、上記表示システムにおいて、前記表示装置は撮像部を備え、前記制御部は、前記撮像部の撮像画像に基づいて、前記操作デバイスと前記表示装置との相対位置を求めること、を特徴とする。
本発明によれば、操作デバイスと表示装置との相対位置を速やかに求めることができる。

本発明は、上記表示システムにおいて、前記表示部は、外景を透過して前記使用者に視認させる透過型の表示部であること、を特徴とする。
本発明によれば、使用者が外景を見ながら操作デバイスを操作して、表示装置の表示を制御できる。表示装置のみを注視せず、直感的に操作できるため、外景を見ながら表示装置を使用する場合に好適である。

本発明は、上記表示システムにおいて、前記操作デバイスは、前記使用者の身体に装着される装着部を有すること、を特徴とする。
本発明によれば、使用者の身体に装着される操作デバイスを用いて、より直感的な入力操作を行い、表示装置を制御できる。

本発明は、上記表示システムにおいて、前記表示装置が備える前記制御部は、前記操作対象物を検出した場合に、前記操作対象物に対応付けられた制御対象対応画像を、前記操作対象物に対応して前記表示部に表示すること、を特徴とする。
本発明によれば、表示装置とは別体の操作対象物に関する情報を、使用者にわかりやすく提供できる。

本発明は、上記表示システムにおいて、前記表示装置が備える前記制御部は、前記制御対象対応画像を表示した前記操作対象物に対する操作を検出した場合に、操作内容と前記制御対象対応画像とに対応する処理を実行すること、を特徴とする。
本発明によれば、操作対象物に対する操作に対応して表示装置が処理を実行するので、操作対象物を使用して直感的な操作を実現できる。

本発明は、上記表示システムにおいて、前記表示装置は、前記操作対象物に対する操作を検出する検出部を備えること、を特徴とする。
本発明によれば、操作対象物に対する操作を表示装置が速やかに検出できる。また、操作対象物が通信機能を有していなくても、表示装置が操作対象物の操作に対応して処理を実行できる。

本発明は、上記表示システムにおいて、前記表示装置は撮像部を備え、前記制御部は、前記撮像部の撮像画像に基づいて前記操作対象物を検出し、前記操作対象物に対する操作を検出すること、を特徴とする。
本発明によれば、操作対象物が通信を実行しなくても、表示装置が操作対象物を検出し、操作対象物に対する操作を検出できる。

本発明は、上記表示システムにおいて、前記表示装置は、前記操作対象物が有する操作部に対応する操作用の画像をＡＲ表示するためのＡＲ表示用のデータを記憶するデータ記憶部を備え、前記制御部は、前記データ記憶部が記憶する前記ＡＲ表示用のデータを変更可能であること、を特徴とする。
本発明によれば、操作対象物に対応してＡＲ表示を行う機能について、データを変更できるので、新しい操作対象物や未知の操作対象物に対応するようデータを変更できる。これにより、ＡＲ表示の対象とする操作対象物に関する制約を減らすことができ、利便性の向上を図ることができる。

本発明は、上記表示システムにおいて、前記データ記憶部が記憶する前記ＡＲ表示用のデータは、前記操作用の画像と前記操作対象物が有する前記操作部とを対応付けるデータを含み、前記制御部は、前記データ記憶部が記憶する前記ＡＲ表示用のデータにおいて、前記操作用の画像と前記操作対象物が有する前記操作部との対応を変更可能であること、を特徴とする。
本発明によれば、操作対象物とＡＲ表示との対応を変更可能である。

また、上記目的を達成するために、本発明は、使用者の頭部に装着され、外景を透過して前記使用者に視認させる透過型の表示部を有する表示装置を制御する制御部が実行可能なプログラムであって、前記制御部により、前記表示部とは別体として構成される操作対象物を検出し、前記操作対象物が備える操作部を検出し、検出した前記操作対象物の操作部に対応する位置に、操作用の画像を表示し、前記操作用の画像に関する操作を検出し、操作を検出した前記操作用の画像に対応する処理を実行すること、を特徴とする。
本発明によれば、使用者の頭部に装着される表示装置が、表示装置とは別体の操作対象物に対応する操作用の画像を表示し、この操作用の画像に関する操作に応じて処理を実行する。このため、操作対象物を利用して表示装置に処理を実行させることが可能となり、表示装置に対する直感的な操作が可能となる。

また、上記目的を達成するために、本発明は、使用者の頭部に装着される表示部を有する表示装置を制御するコンピューターが実行可能なプログラムであって、前記表示部とは別体として構成される操作対象物が前記使用者の操作を受け付けた場合に、前記操作対象物の操作に基づき、前記表示部を透過する外景に関連するＡＲ表示を前記表示部によって行うこと、を特徴とする。
本発明によれば、使用者の頭部に装着される表示部を有する表示装置が、外景に関連するＡＲ表示を行う際に、表示装置とは別体の操作対象物の操作を反映する。このため、直感的な入力操作によってＡＲ表示を制御できる。

また、上記目的を達成するために、本発明の表示装置の制御方法は、使用者の頭部に装着される表示部を有する表示装置を、前記表示部とは別体として構成される操作対象物を用いて制御する制御方法において、前記操作対象物の操作部により前記使用者の操作を受け付け、前記表示装置により、前記操作対象物の操作に基づき、前記表示部を透過する外景に関連するＡＲ表示を前記表示部によって行うこと、を特徴とする。
本発明によれば、使用者の頭部に装着される表示部を有する表示装置が、外景に関連するＡＲ表示を行う際に、表示装置とは別体の操作対象物の操作を反映する。このため、直感的な入力操作によってＡＲ表示を制御できる。

また、上記目的を達成するために、本発明は、使用者の頭部に装着される表示部を有する表示装置を制御するコンピューターが実行可能なプログラムであって、前記表示部とは別体として構成される操作対象物が前記使用者の操作を受け付けた場合に、前記操作対象物の操作に基づき、前記表示部により表示する画面を遷移させる処理を含む表示制御を行うこと、を特徴とする。
本発明によれば、使用者の頭部に装着される表示部を有する表示装置に対し、表示装置とは別体の操作対象物を操作し、画面を遷移させるので、より直感的な入力操作により表示装置を制御できる。

また、上記目的を達成するために、本発明のサーバー装置は、通信回線に接続され、上記のプログラムを前記通信回線により送信すること、を特徴とする。
本発明によれば、使用者の頭部に装着される表示部を有する表示装置に対し、表示装置とは別体の操作対象物を操作し、画面を遷移させるので、より直感的な入力操作により表示装置を制御できる。

また、上記目的を達成するために、本発明の表示装置の制御方法は、使用者の頭部に装着される表示部を有する表示装置を、前記表示部とは別体として構成される操作対象物を用いて制御する制御方法において、前記操作対象物により前記使用者の操作を受け付け、受け付けた操作を示すデータを前記表示部に送信し、前記表示装置により、前記操作対象物から送信されるデータに基づき、前記表示部により表示する画面を他の画面に遷移させる処理を含む表示制御を行うこと、を特徴とする。
本発明によれば、使用者の頭部に装着される表示部を有する表示装置に対し、表示装置とは別体の操作対象物を操作し、画面を遷移させるので、より直感的な入力操作により表示装置を制御できる。

本発明は、頭部装着型表示装置以外の種々の形態で実現することも可能である。例えば、頭部装着型表示装置の制御方法、頭部装着型表示装置を有する情報システム、頭部装着型表示装置の制御方法および前記情報システムを実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、および、コンピュータープログラムを配信するためのサーバー装置、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号等の形態で実現できる。

実施形態に係る表示システムの概略構成を示す説明図。操作デバイスの構成を示す説明図。操作デバイスの機能ブロック図。頭部装着型表示装置の機能ブロック図。操作デバイスの動作を示すフローチャート。頭部装着型表示装置の動作を示すフローチャート。設定用のＡＲ表示の例を示す説明図。操作デバイスの操作に応じて実行される処理の例を示す図。頭部装着型表示装置の動作を示すフローチャート。頭部装着型表示装置の動作の別の例を示すフローチャート。操作デバイスの操作に応じて実行される処理の例を示す図。操作デバイスの操作に応じて実行される処理の別の例を示す図。操作対象物の構成例を示す説明図。操作対象物の別の構成例を示す説明図。頭部装着型表示装置の動作を示すフローチャート。操作対象物に対応するＡＲ表示の例を示す説明図。操作対象物に対応するＡＲ表示の別の例を示す説明図。記憶部が記憶するデータの構成例を示す図。ＡＲコンテンツデータを編集する処理を示すフローチャート。ＡＲコンテンツデータをダウンロードする処理を示すフローチャート。ＡＲコンテンツデータをダウンロードする処理を示すフローチャート。

［システム構成］
図１は、本発明を適用した実施形態に係る表示システム１の概略構成を示す図である。
表示システム１は、使用者の身体に装着される頭部装着型表示装置１００及び操作デバイス３を備える。
頭部装着型表示装置１００は、図１に示すように、使用者の頭部に装着される画像表示部２０を有する。頭部装着型表示装置１００は、使用者の頭部に装着された状態で使用者に虚像を視認させる画像表示部２０（表示部）と、画像表示部２０を制御する制御装置１０と、を備えている。画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状のフレーム２（本体）を有する。また、制御装置１０は、使用者が頭部装着型表示装置１００を操作するコントローラーとしても機能する。制御装置１０は、使用者の衣服のポケットに収容され、或いは、使用者の腰のベルトに取り付けられる。
また、操作デバイス３は、使用者の身体に装着可能な、いわゆるウェアラブルデバイスであり、本実施形態では使用者の腕に装着される腕時計状の形状とする。

［操作デバイスの構成］
図２は、操作デバイス３の構成を示す説明図であり、図２（Ａ）は操作デバイス３の要部正面図であり、（Ｂ）及び（Ｃ）はＬＣＤ３０３の表示例を示す図である。また、図３は操作デバイス３の機能ブロック図である。これら図１〜図３を参照して操作デバイス３の構成を説明する。

操作デバイス３は、腕時計のバンドと同様の形状であるバンド部３００を有する。バンド部３００は、図示しないバックル等の固定部を有し、例えば使用者の前腕部に巻き付けて固定できる。操作デバイス３のバンド部３００には、時計の文字盤に相当する位置に、略円盤状の平面部３００Ａが形成される。平面部３００Ａには、ベゼル３０１、ＬＣＤ３０３、ボタン３０５、リュウズ型操作子３０７、複数のボタン３０９、及び光学部３１０が設けられる。

ベゼル３０１は、リング形状の操作子であり、平面部３００Ａの周縁部に配置される。ベゼル３０１は、バンド部３００に対して円周方向に回転可能に設けられる。操作デバイス３は、後述するように、ベゼル３０１の回転方向、及び回転量を検出する機構を備える。また、ベゼル３０１を回転可能にバンド部３００に指示する機構は、回転に応じてさせる際にノッチ音を発生する記憶を備えてもよい。

ＬＣＤ３０３は、文字や画像を表示するＬＣＤ（Liquid Crystal Display：液晶ディスプレイ）である。ＬＣＤ３０３の表面には図３に示すタッチパネル３０４（タッチ操作部）が重畳して配置される。

ボタン３０５は、ベゼル３０１の外側に配置される押しボタン式スイッチである。ボタン３０５は、例えば図１、図２（Ａ）に示すように、装着状態において、使用者から見てベゼル３０１の下方に位置する。ボタン３０５は、後述するリュウズ型操作子３０７やボタン３０９に比べて大型であり、手探りでも操作が可能である。

リュウズ型操作子３０７は、腕時計の竜頭を模した形状の操作子であり、図中矢印で示すように回転させることが可能である。操作デバイス３は、使用者がリュウズ型操作子３０７を回転させた場合に、リュウズ型操作子３０７の回転方向、及び回転量を検出する機構を備える。また、リュウズ型操作子３０７を回転可能にバンド部３００に指示する機構は、回転に応じてさせる際にノッチ音を発生する記憶を備えてもよい。

ボタン３０９は、平面部３００Ａの外周部に設けられた押しボタン式のスイッチである。ボタン３０９の数について特に制限はなく、本実施形態では４つのボタン３０９を設けた例を示す。
ボタン３０９には異なる機能を割り当てることが可能であり、各々のボタン３０９に割り当てられた機能を、ＬＣＤ３０３に表示できる。

図２（Ｂ）は、ＬＣＤ３０３に、ボタン３０９の機能を表示する例を示す。この例では、４つのボタン３０９に割り当てられた機能をそれぞれ示す機能表示３３１、３３２、３３３、３３４がＬＣＤ３０３に表示される。機能表示３３１、３３２、３３３、３３４の表示位置は、機能表示の対象のボタン３０９の位置に対応する。例えばＬＣＤ３０３の右上部に表示された機能表示３３１は、平面部３００Ａの右上に位置するボタン３０９に割り当てられた機能を示す。

さらに、ＬＣＤ３０３には、ベゼル３０１を回転させることで選択可能な機能を表示できる。図２（Ｃ）は、ＬＣＤ３０３にベゼル３０１の操作に割り当てられた機能を表示する例を示す。この例では、ベゼル３０１を回転させることで選択可能な４つの機能をそれぞれ示す機能表示３４１、３４２、３４３、３４４がＬＣＤ３０３に表示される。機能表示３４１、３４２、３４３、３４４の表示位置は、ベゼル３０１の回転位置に対応する。すなわち、ベゼル３０１を回転させると、機能表示３４１、３４２、３４３、及び３４４が、順に切り替えて選択される。例えば、ベゼル３０１を時計回り（ＣＷ）に回転させると、機能表示３４１、３４２、３４３、及び３４４が、順に切り替えて選択される。

また、機能表示３４５はボタン３０５に割り当てられた機能を示し、図２（Ｃ）の例では「決定」機能である。ベゼル３０１の回転により、機能表示３４１、３４２、３４３、及び３４４のいずれかが選択された状態で、ボタン３０５が操作されると、機能表示３４１、３４２、３４３、及び３４４の選択が決定される。そして、ベゼル３０１の回転で選択された機能が実行される。

ボタン３０９に割り当てられる機能、及び、ベゼル３０１の回転により選択される機能は、一通りに限定されず、より多数の機能を切り替えて割り当てることが可能である。この場合、操作デバイス３において、機能を切り替えることが可能な構成とすることができる。この場合、機能の切り替えに伴って、ＬＣＤ３０３の機能表示３３１、３３２、３３３、３３４、或いは機能表示３４１、３４２、３４３、３４４が切り替わる構成としてもよい。

光学部３１０は、２つのカメラ３１１（撮像部）、及び、ＬＥＤ３１３を備える。カメラ３１１は、ＣＣＤやＣＭＯＳ等の撮像素子及び撮像レンズ等を備えるデジタルカメラである。操作デバイス３が有する２つのカメラ３１１の撮像範囲は、それぞれ異なる範囲であってもよいし、同一の範囲であってもよい。本実施形態では、２つのカメラ３１１で、操作デバイス３を装着た利用者の両眼を撮像し、撮像画像に基づき使用者の目線を検出可能である。従って、２つのカメラ３１１の一方は、平面部３００Ａを正面視する使用者の右眼を撮像し、他方は左眼を撮像できる構成である。
ＬＥＤ（Light Emitting Diode）３１３は、赤外光を発する赤外ＬＥＤである。ＬＥＤ３１３は、カメラ３１１で撮像をする場合の照明として利用される。また、操作デバイス３は、ＬＥＤ３１３を点灯あるいは点滅させることで、光信号を送信できる。

図３には操作デバイス３の制御系の構成を示す。
操作デバイス３は、操作デバイス３の各部を制御する制御部３５０を備える。制御部３５０は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭ等を備え、ＲＯＭに記憶したプログラムを実行することにより、操作デバイス３の機能を実現する。
制御部３５０には、通信用の機能部として、無線通信部３６１（通信部）及びＮＦＣ（Near Field Communication）部３６２を備える。無線通信部３６１は、無線ＬＡＮ（ＷｉＦｉ（登録商標））、Ｍｉｒａｃａｓｔ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の規格に準じた無線データ通信を実行する。ＮＦＣ部３６２は、ＮＦＣ規格に準拠した近距離無線通信を実行する。

制御部３５０には、ＬＣＤ３０３、タッチパネル３０４、２つのカメラ３１１、及びＬＥＤ３１３が接続される。制御部３５０は、ＬＣＤ３０３を制御して画像や文字を表示させる。また、タッチパネル３０４は、ＬＣＤ３０３の表面に重畳して配置され、ＬＣＤ３０３の表面における接触操作を検出する。タッチパネル３０４は、例えば、静電容量式または感圧式のセンサーを用いることができる。制御部３５０は、タッチパネル３０４により接触操作を検出し、操作位置を特定する。タッチパネル３０４は、１点の接触操作を検出してもよいし、複数の点における操作を同時に検出可能な、いわゆるマルチタッチ操作に対応してもよい。
制御部３５０は、２つのカメラ３１１をそれぞれ制御して、撮像を実行させて撮像画像データを生成する。また、制御部３５０は、ＬＥＤ３１３に流れる電流をＯＮ／ＯＦＦして、ＬＥＤ３１３を任意のタイミングで点灯、或いは点滅させる。

制御部３５０には、マイク３６５、ボタン操作部３６６、回転検出部３６７、９軸センサー３６８、バイブレーター３６９、及び、スピーカー３７０が接続される。マイク３６５は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。マイク３６５が指向性を有する場合、マイク３６５は、例えば平面部３００Ａ（図２）またはその近傍で、平面部３００Ａの正面方向の音を集音する。また、マイク３６５は、使用者の身体に接触する骨伝導型のマイクであってもよい。制御部３５０は、マイク３６５が集音した音声のアナログ音声信号を取得してディジタル音声データを生成する。

ボタン操作部３６６は、ボタン３０５、及び、ボタン３０９の操作を検出し、操作されたボタンに対応する操作信号を制御部３５０に出力する。回転検出部３６７は、ベゼル３０１の回転、及び、リュウズ型操作子３０７の回転を検出する。回転検出部３６７は、ベゼル３０１の回転方向と回転量を示す信号を制御部３５０に出力し、リュウズ型操作子３０７についても同様に回転方向と回転量を示す信号を制御部３５０に出力する。ここで、回転検出部３６７は、ベゼル３０１が所定量回転する毎に、回転方向を示す信号を出力してもよい。この場合、回転検出部３６７の出力信号を制御部３５０がカウントすることで、制御部３５０が回転量を取得でき、回転検出部３６７が回転量を積算する必要がない。リュウズ型操作子３０７の回転操作についても同様に、リュウズ型操作子３０７が所定量回転する毎に、回転検出部３６７が回転方向を示す信号を出力してもよい。

９軸センサー３６８は、慣性センサーを備えたユニットであり、本実施形態では、３軸の加速度センサー、３軸の角速度センサー、及び、３軸の磁気センサーを具備する。９軸センサー３６８が検出を行う軸は、例えば、平面部３００Ａを含む平面内における上下方向、左右方向、及び平面部３００Ａを含む平面に直交する方向に沿って設定できる。
バイブレーター３６９は、制御部３５０の制御に従って回転するモーター（図示略）を備える。このモーターの回転軸には錘が偏心して取り付けられ、モーターの回転に伴い操作デバイス３を振動させる。スピーカー３７０は、制御部３５０が出力する音声信号に基づき音声を出力する。

制御部３５０を含む操作デバイス３の各部には、一次電池または二次電池を有する電源部３６０から電源が供給される。電源部３６０は、二次電池とともに、二次電池への充電を制御する回路を備えてもよい。

制御部３５０は、プログラムを実行することにより、操作検出部３５１、出力制御部３５２、撮像制御部３５３、通信制御部３５４、及び音声処理部３５５の各部の機能を実現する。
操作検出部３５１は、ボタン操作部３６６及び回転検出部３６７から入力される信号に基づき、操作デバイス３が備える操作子の操作を検出し、操作内容を特定する。具体的には、操作検出部３５１は、ボタン３０５、リュウズ型操作子３０７、及びボタン３０９の操作を検出する。また、操作検出部３５１は、９軸センサー３６８から入力される信号に基づいて、操作デバイス３を振る、動かす等の操作を検出する。さらに、操作検出部３５１は、タッチパネル３０４から入力される信号に基づき、ＬＣＤ３０３に対する接触操作を検出し、操作位置を特定する。ここで、操作検出部３５１は、操作位置においてＬＣＤ３０３が表示する画像を特定することにより、操作位置に割り当てられる機能を特定することも可能である。

出力制御部３５２は、通信制御部３５４が無線通信部３６１やＮＦＣ部３６２により受信するデータ、又は、操作検出部３５１が検出する操作に対応して、出力を実行する。出力制御部３５２は、ＬＣＤ３０３に文字や画像を表示する。また、出力制御部３５２は、バイブレーター３６９のモーターを動作させて操作デバイス３を振動させる。
撮像制御部３５３は、カメラ３１１を制御して撮像を実行させ、撮像画像データを取得する。
通信制御部３５４は、無線通信部３６１またはＮＦＣ部３６２により、外部の機器とデータを送受信する。通信制御部３５４は、無線通信部３６１により頭部装着型表示装置１００とデータ通信を実行できる。また、通信制御部３５４は、ＮＦＣ部３６２により、近接通信が可能な機器を検出した場合に、この機器とデータを送受信する。また、通信制御部３５４は、ＬＥＤ３１３を点滅させて、光信号によりデータを送信できる。この場合、通信制御部３５４は、カメラ３１１により光信号を検出して受信する構成としてもよい。

音声処理部３５５は、マイク３６５が集音した音声のディジタル音声データを生成して、必要に応じて解析を行う。例えば、音声処理部３５５は、マイク３６５が集音した使用者の音声を解析し、操作を指示する音声を検出した場合に、操作検出部３５１に対して操作の指示を出力してもよい。この場合、使用者は操作デバイス３を音声により操作できる。また、音声処理部３５５は、スピーカー３７０に音声信号を出力して音声を出力させる。

制御部３５０は、操作デバイス３の動作モードとして、時計モードと、ＵＩモードとを含む複数の動作モードを実行でこる。時計モードは、制御部３５０により現在時刻を計時し、ＬＣＤ３０３に現在時刻を表示する動作モードである。時計モードは操作デバイス３を時計として動作させるので、消費電力が小さいという利点がある。ＵＩモードは、操作デバイス３を、頭部装着型表示装置１００を操作するユーザーインターフェイス（ＵＩ）として機能させる動作モードである。ＵＩモードでは、操作デバイス３に対する操作に基づき、操作デバイス３が頭部装着型表示装置１００にデータを送信し、このデータに従って頭部装着型表示装置１００が動作する。時計モードからＵＩモードへの切り替え、及び、ＵＩモードから時計モードへの切り替えは、後述するように、制御部３５０の制御により行われる。

［頭部装着型表示装置の構成］
頭部装着型表示装置１００において、画像表示部２０のフレーム２は、右保持部２１及び左保持部２３を有する。右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１は使用者の頭部において右耳またはその近傍に当接し、左保持部２３は使用者の左耳またはその近傍に当接して、使用者の頭部に画像表示部２０を保持する。

フレーム２には、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、カメラ６１（撮像部）と、マイク６３とが設けられる。
右光学像表示部２６及び左光学像表示部２８は、それぞれ、使用者が画像表示部２０を装着した際に使用者の右及び左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、互いに連結されている。

右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１及び左保持部２３は、眼鏡のテンプル（つる）のようにして、使用者の頭部に画像表示部２０を保持する。

右表示駆動部２２と左表示駆動部２４とは、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。なお、右表示駆動部２２及び左表示駆動部２４を総称して単に「表示駆動部」とも呼び、右光学像表示部２６及び左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。

表示駆動部２２，２４は、液晶ディスプレイ２４１，２４２（Liquid Crystal Display、以下「ＬＣＤ２４１，２４２」と呼ぶ）、投写光学系２５１，２５２等を含む。
右光学像表示部２６及び左光学像表示部２８は、導光板２６１，２６２（図２）と、調光板２０Ａとを備える。導光板２６１，２６２は、光透過性の樹脂等によって形成され、表示駆動部２２，２４が出力する画像光を、使用者の眼に導く。調光板２０Ａは、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部２０の表側を覆うように配置される。調光板２０Ａは、光透過性がほぼ無いもの、透明に近いもの、光量を減衰させて光を透過するもの、特定の波長の光を減衰又は反射するもの等、種々のものを用いることができる。調光板２０Ａの光学特性（光透過率など）を適宜選択することにより、外部から右光学像表示部２６及び左光学像表示部２８に入射する外光量を調整して、虚像の視認のしやすさを調整できる。本実施形態では、少なくとも、頭部装着型表示装置１００を装着した使用者が外の景色を視認できる程度の光透過性を有する調光板２０Ａを用いる場合について説明する。調光板２０Ａは、右導光板２６１及び左導光板２６２を保護し、右導光板２６１及び左導光板２６２の損傷や汚れの付着等を抑制する。
調光板２０Ａは、右光学像表示部２６及び左光学像表示部２８に対し着脱可能としてもよく、複数種類の調光板２０Ａを交換して装着可能としてもよいし、省略してもよい。
そして、頭部装着型表示装置１００は、内部で処理する画像の画像光と外光とを重ねて使用者の眼に入射させ、使用者にとっては、調光板２０Ａを透かして外景が見え、この外景に重ねて、画像光による画像が視認される。このように、頭部装着型表示装置１００は、シースルー型の表示装置として機能する。

カメラ６１は、右光学像表示部２６と左光学像表示部２８との境目部分に配置される。使用者が画像表示部２０を装着した状態で、カメラ６１の位置は、水平方向においては使用者の両眼のほぼ中間であり、鉛直方向においては使用者の両眼より上である。カメラ６１は、ＣＣＤやＣＭＯＳ等の撮像素子及び撮像レンズ等を備えるデジタルカメラであり、単眼カメラであってもステレオカメラであってもよい。
カメラ６１は、頭部装着型表示装置１００の表側方向、換言すれば、頭部装着型表示装置１００を装着した状態における使用者の視界方向の少なくとも一部の外景を撮像する。カメラ６１の画角の広さは適宜設定可能であるが、カメラ６１の撮像範囲が、使用者が右光学像表示部２６、左光学像表示部２８を通して視認する外界を含む範囲であることが好ましい。さらに、調光板２０Ａを通した使用者の視界の全体を撮像できるようにカメラ６１の撮像範囲が設定されているとより好ましい。
カメラ６１は、制御部１４０（図４）の制御に従って撮像を実行し、撮像画像データを制御部１４０に出力する。

画像表示部２０は、制御装置１０に接続部４０を介して接続する。接続部４０は、制御装置１０に接続される本体コード４８、右コード４２、左コード４４、及び、連結部材４６を備える。右コード４２及び左コード４４は、本体コード４８が２本に分岐したコードである。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続される。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続される。

連結部材４６は、本体コード４８と、右コード４２及び左コード４４との分岐点に設けられ、イヤホンプラグ３０を接続するためのジャックを有する。イヤホンプラグ３０からは、右イヤホン３２及び左イヤホン３４が延伸する。イヤホンプラグ３０の近傍にはマイク６３が設けられる。イヤホンプラグ３０からマイク６３までは一本のコードにまとめられ、マイク６３からコードが分岐して、右イヤホン３２と左イヤホン３４のそれぞれに繋がる。

マイク６３は、例えば図１に示すように、マイク６３の集音部が使用者の視線方向を向くように配置され、音声を集音して、音声信号を音声処理部１８７（図３）に出力する。マイク６３は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。

右コード４２、左コード４４、及び、本体コード４８は、デジタルデータを伝送可能なものであればよく、例えば金属ケーブルや光ファイバーで構成できる。また、右コード４２と左コード４４とを一本のコードにまとめた構成としてもよい。

画像表示部２０と制御装置１０とは、接続部４０を介して各種信号を伝送する。本体コード４８の連結部材４６とは反対側の端部、及び、制御装置１０には、互いに嵌合するコネクター（図示略）が設けられる。本体コード４８のコネクターと制御装置１０のコネクターとを嵌合し、或いは、この嵌合を外すことで、制御装置１０と画像表示部２０とを接離できる。

制御装置１０は、頭部装着型表示装置１００を制御する。制御装置１０は、決定キー１１、点灯部１２、表示切替キー１３、輝度切替キー１５、方向キー１６、メニューキー１７、及び電源スイッチ１８を含むスイッチ類を備える。また、制御装置１０は、使用者が手指で操作するトラックパッド１４を備える。

決定キー１１は、押下操作を検出して、制御装置１０で操作された内容を決定する信号を出力する。点灯部１２は、ＬＥＤ等の光源を備え、光源の点灯状態により、頭部装着型表示装置１００の動作状態（例えば、電源のＯＮ／ＯＦＦ）を通知する。表示切替キー１３は、押下操作に応じて、例えば、画像の表示モードの切り替えを指示する信号を出力する。

トラックパッド１４は、接触操作を検出する操作面を有し、操作面に対する操作に応じて操作信号を出力する。操作面における検出方式は限定されず、静電式、圧力検出式、光学式等を採用できる。輝度切替キー１５は、押下操作に応じて画像表示部２０の輝度の増減を指示する信号を出力する。方向キー１６は、上下左右方向に対応するキーへの押下操作に応じて操作信号を出力する。電源スイッチ１８は、頭部装着型表示装置１００の電源ＯＮ／ＯＦＦを切り替えるスイッチである。

図４は、頭部装着型表示装置１００を構成する各部の機能ブロック図である。
頭部装着型表示装置１００は、コンテンツの供給元となる種々の外部機器ＯＡを接続するインターフェイス１２５を備える。インターフェイス１２５は、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスを用いることができ、無線通信インターフェイスで構成してもよい。外部機器ＯＡは、頭部装着型表示装置１００に画像を供給する画像供給装置であり、パーソナルコンピューター（ＰＣ）、携帯電話端末、携帯型ゲーム機等が用いられる。

制御装置１０は、制御部１４０、入力情報取得部１１０、記憶部１２０、送信部（Ｔｘ）５１及び送信部（Ｔｘ）５２を有する。
入力情報取得部１１０は、操作部１１１に接続される。操作部１１１は、制御装置１０の各操作子に接続され、これら各操作子の操作を検出し、検出した操作子に対応する操作信号を入力情報取得部１１０に出力する。入力情報取得部１１０は、操作部１１１から入力される信号に基づき、制御装置１０の操作により入力される入力内容を取得する。

記憶部１２０は、不揮発性の記憶装置であって、種々のコンピュータープログラム、および、これらのプログラムに係るデータを記憶する。また、記憶部１２０は、画像表示部２０に表示する静止画像や動画像のデータを記憶しても良い。
制御装置１０は、一次電池や二次電池を有する電源部１３０を備え、制御装置１０及び画像表示部２０の各部に電源部１３０から電源を供給する。

制御部１４０には、３軸センサー１１３、音声認識部１１４、ＧＰＳ１１５、及び通信部１１７が接続される。３軸センサー１１３は３軸の加速度センサーであり、制御部１４０は３軸センサー１１３の検出値を取得する。ＧＰＳ１１５は、アンテナ（図示略）を備え、ＧＰＳ（Global Positioning System）信号を受信し、制御装置１０の現在位置を算出する。ＧＰＳ１１５は、ＧＰＳ信号に基づいて求めた現在位置や現在時刻を制御部１４０に出力する。また、ＧＰＳ１１５はＧＰＳ信号に含まれる情報に基づいて現在時刻を取得し、制御部１４０が計時する時刻を修正させる機能を備えていてもよい。

通信部１１７は、無線ＬＡＮ（ＷｉＦｉ（登録商標））、Ｍｉｒａｃａｓｔ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の規格に準じた無線データ通信を実行する。
外部機器ＯＡが、通信部１１７に無線接続された場合、制御部１４０は、コンテンツデータを通信部１１７より取得して、画像表示部２０に画像を表示させる。一方、外部機器ＯＡが、インターフェイス１２５に有線接続された場合、制御部１４０は、コンテンツデータをインターフェイス１２５より取得して、画像表示部２０に画像を表示させる。通信部１１７及びインターフェイス１２５は、外部機器ＯＡからコンテンツデータを取得するデータ取得部ＤＡとして機能する。

制御部１４０は、プログラムを実行するＣＰＵ（図示略）、ＣＰＵが実行するプログラムやデータを一時的に格納するＲＡＭ（図示略）、及び、ＣＰＵが実行する基本制御プログラムやデータを不揮発的に記憶するＲＯＭ（図示略）を有する。制御部１４０は、ＣＰＵにより制御プログラムを実行することで、頭部装着型表示装置１００の各部を制御する。また、制御部１４０は、記憶部１２０が記憶するコンピュータープログラムを読み出して実行し、制御部１４０の各種機能を実現するコンピューターに相当する。制御部１４０は、オペレーティングシステム（ＯＳ）１５０、画像処理部１６０、表示制御部１７０、撮像処理部１８１、デバイス制御部１８３、ＡＲ表示制御部１８５、及び、音声処理部１８７として機能する。

画像処理部１６０は、コンテンツに含まれる画像信号を取得する。画像処理部１６０は、取得した画像信号から、垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等の同期信号を分離する。また、画像処理部１６０は、分離した垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃの周期に応じて、ＰＬＬ（Phase Locked Loop）回路等（図示略）を利用してクロック信号ＰＣＬＫを生成する。画像処理部１６０は、同期信号が分離されたアナログ画像信号を、Ａ／Ｄ変換回路等（図示略）を用いてディジタル画像信号に変換する。画像処理部１６０は、変換後のディジタル画像信号を、対象画像の画像データ（図中、Ｄａｔａ）として、１フレームごとに、制御部１４０のＲＡＭに格納する。この画像データは、例えばＲＧＢデータである。
なお、画像処理部１６０は、必要に応じて、画像データの解像度を右表示駆動部２２及び左表示駆動部２４に適した解像度に変換する解像度変換処理を行ってもよい。また、画像処理部１６０は、画像データの輝度や彩度を調整する画像調整処理、３Ｄ画像データから２Ｄ画像データを作成し、或いは２Ｄ画像データから３Ｄ画像データを生成する２Ｄ／３Ｄ変換処理等を実行してもよい。

画像処理部１６０は、クロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、ＲＡＭに格納された画像データＤａｔａのそれぞれを、送信部５１、５２を介して送信する。送信部５１、５２は、トランシーバーとして機能し、制御装置１０と画像表示部２０との間におけるシリアル伝送を実行する。なお、送信部５１を介して送信される画像データＤａｔａを「右眼用画像データ」と呼び、送信部５２を介して送信される画像データＤａｔａを「左眼用画像データ」と呼ぶ。

表示制御部１７０は、右表示駆動部２２及び左表示駆動部２４を制御する制御信号を生成し、この制御信号により、右表示駆動部２２及び左表示駆動部２４のそれぞれによる画像光の生成及び射出を制御する。具体的には、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦ、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦを制御する。また、表示制御部１７０は、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦ、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦを制御する。

音声処理部１８７は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、右イヤホン３２および左イヤホン３４に出力する。また、音声処理部１８７は、マイク６３により集音される音声を取得してディジタル音声データに変換する。音声処理部１８７は、ディジタル音声データに対して予め設定された処理を行ってもよい。

画像表示部２０は、インターフェイス２５と、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、カメラ６１と、振動センサー６５と、９軸センサー６６とを備えている。

振動センサー６５は、加速度センサーを利用して構成され、例えば図１に示すように、右保持部２１において右光学像表示部２６の端部ＥＲの近傍に内蔵される。振動センサー６５は、使用者が端部ＥＲを叩く操作（ノック操作）を行った場合に、この操作による振動を検出して、検出結果を制御部１４０に出力する。この振動センサー６５の検出結果により、制御部１４０は、使用者によるノック操作を検出する。

９軸センサー６６は、加速度（３軸）、角速度（３軸）、地磁気（３軸）を検出するモーションセンサーである。制御部１４０は、画像表示部２０が使用者の頭部に装着されているとき、９軸センサー６６の検出値に基づいて使用者の頭部の動きを検出できる。例えば、制御部１４０は、９軸センサー６６の検出値に基づき、画像表示部２０の傾きの大きさと傾きの向きを推定できる。
９軸センサー６６が内蔵する加速度センサー及び角速度センサーの検出軸は、例えば、図１に示すＸ，Ｙ，Ｚの３軸とすることができる。この例では、画像表示部２０を装着する使用者の頭部に対し左右方向をＸ軸、前後方向をＹ軸、上下方向をＺ軸とする。より詳細には、頭部装着型表示装置１００の装着状態において、画像表示部２０は左右の眼に対し、使用者が知覚する水平な位置にある。頭部装着型表示装置１００の標準的な装着位置において、９軸センサー６６の検出軸（Ｘ軸、Ｙ軸、Ｚ軸）が、使用者が知覚する左右、前後、及び上下に一致する構成である。９軸センサー６６の加速度センサーは、Ｘ軸方向、Ｙ軸方向、及びＺ軸方向の加速度を検出する。また、９軸センサー６６が備える角速度センサーは、Ｘ軸まわりの回転（ピッチ）、Ｙ軸回りの回転（ヨー）、及びＺ軸まわりの回転（ロール）を検出する。

インターフェイス２５は、右コード４２と左コード４４とが接続されるコネクターを備える。インターフェイス２５は、送信部５１から送信されるクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、画像データＤａｔａを、対応する受信部（Ｒｘ）５３、５４に出力する。また、インターフェイス２５は、表示制御部１７０から送信される制御信号を、対応する受信部５３、５４、右バックライト制御部２０１又は左バックライト制御部２０２に出力する。
また、インターフェイス２５は、カメラ６１、振動センサー６５及び９軸センサー６６を接続するインターフェイスである。振動センサー６５による振動の検出結果や、９軸センサー６６による加速度（３軸）、角速度（３軸）、地磁気（３軸）の検出結果は、インターフェイス２５を介して制御部１４０に送られる。

右表示駆動部２２は、上述した右バックライト２２１、右ＬＣＤ２４１、及び右投写光学系２５１を備える。また、右表示駆動部２２は、受信部５３、右バックライト（ＢＬ）２２１を制御する右バックライト（ＢＬ）制御部２０１、及び、右ＬＣＤ２４１を駆動する右ＬＣＤ制御部２１１を備える。

受信部５３は、送信部５１に対応するレシーバーとして動作し、制御装置１０と画像表示部２０との間におけるシリアル伝送を実行する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データＤａｔａと、に基づいて、右ＬＣＤ２４１を駆動する。

左表示駆動部２４は、右表示駆動部２２と同様の構成を有する。左表示駆動部２４は、上述した左バックライト２２２、左ＬＣＤ２４２、及び左投写光学系２５２を備える。また、左表示駆動部２４は、受信部５４、左バックライト２２２を駆動する左バックライト制御部２０２、及び、左ＬＣＤ２４２を駆動する左ＬＣＤ制御部２１２を備える。

受信部５４は、送信部５２に対応するレシーバーとして動作し、制御装置１０と画像表示部２０との間におけるシリアル伝送を実行する。左バックライト制御部２０２は、入力された制御信号に基づいて、左バックライト２２２を駆動する。左ＬＣＤ制御部２１２は、受信部５４を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データＤａｔａと、に基づいて、左ＬＣＤ２４２を駆動する。なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１とを総称して、右の「画像光生成部」とも呼ぶ。同様に、左バックライト制御部２０２と、左ＬＣＤ制御部２１２と、左バックライト２２２と、左ＬＣＤ２４２とを総称して、左の「画像光生成部」とも呼ぶ。

撮像処理部１８１は、カメラ６１を制御して撮像を実行させ、撮像画像データを取得する。
デバイス制御部１８３は、通信部１１７を制御して操作デバイス３との間でデータ通信を行い、操作デバイス３から受信するデータを解析する。また、デバイス制御部１８３は、カメラ６１の撮像画像データに基づき、操作デバイス３が備えるＬＥＤ３１３の点滅パターンが特定のパターンに該当する場合に、このパターンを復号化して、データを受信する。

ＡＲ表示制御部１８５は、ＡＲコンテンツのデータに基づき、画像処理部１６０及び表示制御部１７０を制御して、ＡＲ表示用の画像を画像表示部２０により表示させる。ＡＲコンテンツのデータは、例えば、記憶部１２０が記憶する。また、ＡＲ表示制御部１８５は、ＡＲコンテンツデータ１２３が音声データを含む場合、音声処理部１８７を制御して、右イヤホン３２、左イヤホン３４からコンテンツの音声を出力させる。

ＡＲ表示制御部１８５は、使用者が画像表示部２０越しに対象物を見ている状態でＡＲコンテンツを表示する。ＡＲ表示制御部１８５は、対象物に対応する位置に画像や文字等を表示するＡＲ表示を行うことで、対象物に関する情報を提供し、或いは、画像表示部２０越しに見える対象物の姿の見え方を変える。ＡＲコンテンツは、対象物に対応する位置に表示される画像や文字のデータを含む。また、ＡＲコンテンツに、対象物を特定するデータ、及び、画像や文字の表示位置に関するデータ等を含んでもよい。ＡＲコンテンツの表示位置は対象物に重なる位置であっても対象物の周囲であってもよい。対象物は物体であればよく、建物等の不動産であってもよいし、自動車や電車などの移動体であってもよく、人間や動物などの生物であってもよい。ＡＲ表示制御部１８５は、撮像処理部１８１が取得する撮像画像データから、使用者の視界に位置する対象物を検出する。そして、ＡＲ表示制御部１８５は、検出した対象物に対応するＡＲコンテンツの表示位置を決定し、ＡＲコンテンツを表示する。

ＡＲコンテンツは、使用者が対象物を視認する位置に重なるように、或いは、対象物を視認する位置に合わせて、表示することが望ましい。このため、ＡＲ表示制御部１８５は、撮像処理部１８１の撮像画像データから対象物の画像を検出し、検出した対象物の画像と撮像画像全体との位置関係に基づき、カメラ６１の撮像範囲における対象物の位置を特定する。ＡＲ表示制御部１８５は、カメラ６１の撮像範囲と、画像表示部２０の表示領域との位置関係に基づき、対象物の位置に対応するＡＲコンテンツの表示位置を決定する。

［表示システムの動作］
図５は、表示システム１の動作を示すフローチャートであり、特に、操作デバイス３の動作を示す。
操作デバイス３は、表示システム１の操作を行わない間は、時計モードで動作する（ステップＳ１１）。時計モードにおいて、ＵＩモードへの移行を指示する操作が行われると（ステップＳ１２）、操作デバイス３の制御部３５０は、カメラ３１１、３１１により撮像を実行して使用者の視線を検出する（ステップＳ１３）。制御部３５０は、視線を検出するまで撮像および撮像画像の解析を行う（ステップＳ１３；ＮＯ）。

制御部３５０は、視線を検出した場合（ステップＳ１３；ＹＥＳ）、頭部装着型表示装置１００がＯＮになっているか否かを判定する（ステップＳ１４）。ステップＳ１４では、例えば、無線通信部３６１により頭部装着型表示装置１００の通信部１１７と通信を行い、頭部装着型表示装置１００の動作状態を検出することで、判定を行う。また、例えば、撮像制御部３５３の制御によりカメラ３１１で撮像を実行し、撮像画像に基づき頭部装着型表示装置１００の動作状態を判定してもよい。例えば、画像表示部２０が表示する画像が調光板２０Ａを透過して撮像画像に写った場合に、頭部装着型表示装置１００がＯＮであると判定してもよい。また、画像表示部２０に、動作状態に応じて発光する発光部を設け、撮像画像から発光部の発光状態を特定して、動作状態を判定してもよい。

頭部装着型表示装置１００がＯＮでないと判定した場合（ステップＳ１４；ＮＯ）、制御部３５０は、無線通信部３６１により通信を実行し、頭部装着型表示装置１００に対して起動を指示するデータを送信する（ステップＳ１５）。制御部３５０は、頭部装着型表示装置１００から起動したことを示す制御データを受信し、ステップＳ１７に移行する。また、頭部装着型表示装置１００がＯＮであると判定した場合（ステップＳ１４；ＹＥＳ）、制御部３５０はステップＳ１７に移行する。

ステップＳ１７で、制御部３５０は、頭部装着型表示装置１００の認証が済んでいるか否かを判定する。制御部３５０は、頭部装着型表示装置１００と組み合わせて使用される場合に、頭部装着型表示装置１００の認証を行い、認証に成功した頭部装着型表示装置１００のユーザーインターフェイスとして動作する。認証が済んでいないと判定した場合（ステップＳ１７；ＮＯ）、制御部３５０は、ステップＳ１４でＯＮになっているか否かを判定した頭部装着型表示装置１００と、認証用のデータを送受信して認証する（ステップＳ１８）。認証に必要なデータを送受信した場合、イヤホンプラグ３０は、頭部装着型表示装置１００とペアリング、即ちユーザーインターフェイスとして動作する１対１の対応付けを行い（ステップＳ１９）、ステップＳ２０に移行する。この対応付けは１対多であってもよい。また、頭部装着型表示装置１００の認証が済んだ場合は（ステップＳ１７；ＹＥＳ）、制御部３５０はステップＳ２０に移行する。

ステップＳ２０で、制御部３５０は、ＬＣＤ３０３に操作用の画面を表示し、操作に対して待機する。操作用の画面は、例えば、図２（Ｂ）や図２（Ｃ）に例示した画面である。
制御部３５０は、操作を待機し、操作検出部３５１により操作を検出すると（ステップＳ２１）、検出した操作を示す操作データを頭部装着型表示装置１００に送信する（ステップＳ２２）。

その後、制御部３５０は、終了条件が成立したか否かを判定する（ステップＳ２３）。終了条件が成立している場合（ステップＳ２３；ＹＥＳ）、制御部３５０は時計モードに移行して（ステップＳ２４）、本処理を終了する。また、終了条件が成立していない場合は（ステップＳ２３；ＮＯ）、ステップＳ２１に戻る。
終了条件は、例えば、タッチパネル３０４、ボタン３０５、リュウズ型操作子３０７、或いはボタン３０９によりＵＩモードの終了を指示する操作が行われたこと、頭部装着型表示装置１００から終了を指示する制御データを受信したこと、等である。

表示システム１では、頭部装着型表示装置１００が、操作デバイス３による操作に対応したＡＲ画像を表示できる。
図６は、頭部装着型表示装置１００の動作を示すフローチャートであり、特に、操作デバイス３に対応したＡＲ表示を行う動作を示す。
制御部１４０は、デバイス制御部１８３により、操作デバイス３が送信する操作データを通信部１１７で受信して解析し（ステップＳ３１）、操作の種別を特定する（ステップＳ３２）。ステップＳ３１で受信するデータは、操作デバイス３が操作に対応して送信する操作データ（図５のステップＳ２２）である。デバイス制御部１８３は、操作データが示す操作に対応する指示が、操作デバイス３の操作の設定に関する指示であるか否かを判定する（ステップＳ３３）。操作の設定以外の指示である場合（ステップＳ３３；ＮＯ）、デバイス制御部１８３は、ステップＳ３２で特定した操作に対応する処理を実行し（ステップＳ３４）、本処理を終了する。ステップＳ３４では、例えば、撮像開始を指示する操作データに従ってカメラ６１の撮像を開始する処理や、ＡＲ表示の開始又は終了を指示する操作データに従って、ＡＲ表示制御部１８５でＡＲ表示を開始／終了する。

一方、操作データが示す操作に対応する指示が、操作の設定に関する指示である場合（ステップＳ３３；ＹＥＳ）、ＡＲ表示制御部１８５が、操作設定用のＡＲ表示を行う（ステップＳ３５）。ここで、デバイス制御部１８３は、ＡＲ表示中の操作デバイス３における操作に対応して操作デバイス３が操作データを送信すると、この操作データを受信して、受信した操作データに基づき、設定、及び設定の更新を行う。

図７は、操作設定用のＡＲ表示の例を示し、（Ａ）はベゼル３０１の操作について設定を行うためのＡＲ表示の例を示し、（Ｂ）はボタン３０９の操作について設定を行うためのＡＲ表示の例を示す。
図７（Ａ）の例では、使用者の視野ＶＲに実物の操作デバイス３が視認され、この操作デバイス３に対応する位置に、ＡＲコンテンツが画像表示部２０により表示される。ＡＲコンテンツは、割り当て候補表示Ａ１、Ａ２、Ａ３、Ａ４及び設定候補Ａ１１、Ａ１２、Ａ１３、Ａ１４である。割り当て候補表示Ａ１、Ａ２、Ａ３、Ａ４は、ベゼル３０１の回転に割り当てる機能の候補を示す画像であり、この例では、ベゼル３０１を回転させる操作で選択可能な機能の組合せを示すテキストを含む。割り当て候補表示Ａ１は、「Ｈｏｍｅ」、「戻る」、「メニュー」、「アプリ終了」の４つの文字列（テキスト）を含む。割り当て候補表示Ａ２は、「進む」、「戻る」、「撮像」、「撮像終了」の４つの文字列を含む。操作デバイス３において、ベゼル３０１を回転する操作が行われると、割り当て候補Ａ１〜Ａ４のいずれかが順に選択できる。

図７（Ａ）の例では割り当て候補Ａ２が選択されている。このため、視野ＶＲの中央に見える操作デバイス３に重なるように、「進む」、「戻る」、「撮像」、「撮像終了」の４つの文字列が配置される。これらの文字列は、割り当てる機能の候補、すなわち、設定候補Ａ１１、Ａ１２、Ａ１３、Ａ１４である。ベゼル３０１の操作により、割り当て候補表示Ａ２から、他の割り当て候補表示に切り替えられると、設定候補Ａ１１、Ａ１２、Ａ１３、Ａ１４の文字列が変更される。従って、使用者は、ベゼル３０１の回転操作に割り当てる機能を、割り当て候補表示Ａ１、Ａ２、Ａ３、Ａ４の中から選択して設定できる。操作デバイス３で、ボタン３０５が操作されると、ベゼル３０１の操作で選択された割り当て候補表示が確定され、設定が更新される。

図７（Ｂ）の例では、実物の操作デバイス３に対応する位置に、ＡＲコンテンツとして、割り当て候補表示Ａ２１、Ａ２２、Ａ２３、Ａ２４及び設定候補Ａ３１、Ａ３２、Ａ３３、Ａ３４が表示される。割り当て候補表示Ａ２１、Ａ２２、Ａ２３、Ａ２４は、４個のボタン３０９に割り当てる機能の候補を示す画像であり、この例では、４つのボタン３０９のそれぞれが操作されたときに実行される機能を示すテキストを含む。割り当て候補表示Ａ２１は、「Ｈｏｍｅ」、「戻る」、「メニュー」、「アプリ終了」の４つの文字列（テキスト）を含む。割り当て候補表示Ａ２２は、「進む」、「戻る」、「撮像」、「撮像終了」の４つの文字列を含む。操作デバイス３において、ベゼル３０１を回転する操作が行われると、割り当て候補Ａ２１〜Ａ２４のいずれかが順に選択できる。

図７（Ｂ）の例では割り当て候補Ａ２２が選択されている。このため、視野ＶＲの中央に見える操作デバイス３に重なるように、「進む」、「戻る」、「撮像」、「撮像終了」の４つの文字列が配置される。これらの文字列は、割り当てる機能の候補、すなわち、設定候補Ａ３１、Ａ３２、Ａ３３、Ａ３４であり、機能を割り当てるボタン３０９に対応する位置に表示される。ベゼル３０１の操作により、割り当て候補表示Ａ２２から、他の割り当て候補表示に切り替えられると、設定候補Ａ３１、Ａ３２、Ａ３３、Ａ３４の文字列が変更される。従って、使用者は、ベゼル３０１の回転操作に割り当てる機能を、割り当て候補表示Ａ２１、Ａ２２、Ａ２３、Ａ２４の中から選択して設定できる。操作デバイス３で、ボタン３０５が操作されると、ベゼル３０１の操作で選択された割り当て候補表示が確定され、設定が更新される。

図７（Ａ）、（Ｂ）の例は、操作デバイス３が送信する操作データに対応して頭部装着型表示装置１００が実行する機能を設定する動作を示す。機能の割り当てを設定し、更新できるので、操作デバイス３により頭部装着型表示装置１００の様々な機能について操作を行える。また、ＡＲ表示を利用することで、容易に設定を行うことができる。

図８は、操作デバイス３の操作に応じて頭部装着型表示装置１００が実行する動作の例を示す説明図である。図８には、ＡＲ表示制御部１８５の制御により画像表示部２０が表示するＡＲ表示の表示態様を、操作デバイス３の操作に応じて変化させる例を示す。図８（Ａ）は画像表示部２０によるＡＲ表示の例を示し、（Ｂ）はＡＲ表示の表示態様を変化させた例を示す。

図８（Ａ）の例では、視野ＶＲに、実際の外景として、ステージ、出演者、及び、客席が見えている。この例では、実際の外景に重なるように、舞台上で上演されている演目に関連する文字列Ａ５１が表示される。文字列Ａ５１は、例えば舞台の台詞を示すテキストであって、ステージに重なる位置にＡＲ表示される。
頭部装着型表示装置１００は、操作デバイス３の操作に応じて、文字列Ａ５１の表示サイズを変更し、例えば図８（Ｂ）に示すように、縮小して表示する。この動作は、操作デバイス３が送信する操作データを、デバイス制御部１８３が解析し、ＡＲ表示の縮小に相当する操作が行われたことをデバイス制御部１８３が検出すると、ＡＲ表示制御部１８５が表示サイズを変更する。

頭部装着型表示装置１００では、図６及び図７を参照して説明したように、操作デバイス３における操作に、頭部装着型表示装置１００が実行する動作を対応付けることができる。この対応付けは、ボタン３０９の操作、及び、ベゼル３０１の回転操作に限定されない。例えば、ボタン３０５の押圧操作、及びリュウズ型操作子３０７を回転させる操作であってもよい。また、例えば、タッチパネル３０４に対し指で接触する操作を含んでもよい。

具体的には、ベゼル３０１を右に回す操作に対応して表示画像を拡大し、ベゼル３０１を左に回す操作に対応して表示画像を縮小してもよい。また、タッチパネル３０４の中央部に対する指の接触を検出した場合に表示画像を拡大し、タッチパネル３０４の周縁部（例えば、左下枠近傍）への指の接触を検出した場合に表示画像を縮小してもよい。また、タッチパネル３０４に接触した指が、接触したまま右回し、左回し等の回転運動をした場合に、この回転に合わせて表示画像を回転させてもよい。
また、これらの操作に対応して、頭部装着型表示装置１００は、画像表示部２０で表示する画像（文字を含む）の拡大、縮小に限らず、回転、コピー、ページ送り等を行ってもよい。

さらに、操作デバイス３は、９軸センサー３６８の検出値を頭部装着型表示装置１００に送信することもできる。また、操作デバイス３がＧＰＳ検出部を備えた構成とし、ＧＰＳ検出部で検出する現在位置を、頭部装着型表示装置１００に送信してもよい。この場合、制御部１４０は、操作デバイス３から受信する検出値と３軸センサー１１３の検出値とに基づき、操作デバイス３と頭部装着型表示装置１００との相対位置を検出できる。

そして、制御部１４０は、操作デバイス３の動き、或いは、操作デバイス３と頭部装着型表示装置１００との相対位置の変化に対応して、表示画像の拡大、縮小、回転など表示の変更を行っても良く、画像のフェードイン表示、フェードアウト表示を行ってもよい。この場合、操作デバイス３を頭部装着型表示装置１００に近づけたり、遠ざけたりする操作により、表示を変更できる。

表示システム１の動作は上記の例に限定されず、例えば、次のような動作を実行できる。
操作デバイス３においてベゼル３０１を回転させる操作により、複数の候補を、順に切り替えて選択する操作を実現できる。この操作によれば、例えば、ファイルやフォルダーを選択する場合、仮想キーボードにおいて仮想キーを選択する場合に、ベゼル３０１を回転させればよい。ベゼル３０１は、直感的に操作が可能であり、操作デバイス３の平面部３００Ａの外周部に位置するため、手探りによる操作が可能である。このため、使用者は、画像表示部２０により表示されるＡＲ表示に注目しながらベゼル３０１を操作できる。さらに、平面部３００Ａとは離れた位置に設けられ、他のスイッチ式の操作子よりも大型のボタン３０５により、選択を確定できるので、より容易に操作を行える。ボタン３０５は、位置及びサイズが、ボタン３０９やリュウズ型操作子３０７とは異なるので、ベゼル３０１と同様に、手探りによる操作が容易である。このため、画像表示部２０が表示する画像を見ながら、直感的で確実な操作を行える。

また、ベゼル３０１を回転させる操作に応じて、制御部１４０は、画像表示部２０が表示する画面を遷移させる動作を行ってもよい。頭部装着型表示装置１００のオペレーティングシステム１５０は、ｉＯＳ（登録商標）やＡｎｄｒｏｉｄ（登録商標）のように、複数の画面を切り替え、遷移させる構成とすることが考えられる。この場合、ベゼル３０１を回転させる操作に応じて、画面を遷移させることで、ベゼル３０１の操作をより効果的に使用できる。

複数の候補から一つの候補を選択する操作では、ベゼル３０１の操作に代えて、音声による選択が可能な構成としてもよい。この場合、候補に付された固有の名称、番号、符号等を音声で指定すると、この音声を操作デバイス３がマイク３６５で検出し、検出した音声のデータを頭部装着型表示装置１００に送信し、制御部１４０が設定を行ってもよい。

また、頭部装着型表示装置１００が操作デバイス３に制御データを送信して、操作デバイス３を動作させることも可能である。例えば、制御部１４０のデバイス制御部１８３は、タッチパネル３０４、及び９軸センサー３６８の検出開始や、不検出状態への移行を指示する制御データを送信してもよい。この場合、操作デバイス３におけるセンシングの実行／不実行を頭部装着型表示装置１００が制御でき、誤操作を防止し、電源部３６０の消耗を防止できる。また、デバイス制御部１８３は、カメラ３１１の撮像開始および撮像停止を指示する制御データを送信してもよい。また、デバイス制御部１８３は、ＬＣＤ３０３の点灯、消灯、点滅を制御する制御データを送信してもよい。

また、操作デバイス３は、頭部装着型表示装置１００が送信するデータに基づく出力を行うこともできる。例えば、デバイス制御部１８３が、通信部１１７によりテキストデータや画像データを送信し、操作デバイス３が、頭部装着型表示装置１００から受信するテキストデータや画像データをＬＣＤ３０３に表示してもよい。この場合、頭部装着型表示装置１００の動作状態（ステータス）を、ＬＣＤ３０３に表示させて、使用者が頭部装着型表示装置１００の動作状態を容易に把握できる。例えば、頭部装着型表示装置１００を装着していない状態で、使用者が、頭部装着型表示装置１００の動作状態を知りたい場合に、有用である。また、操作デバイス３が、頭部装着型表示装置１００から受信するデータに従ってスピーカー３７０から音声を出力してもよいし、バイブレーター３６９を動かして振動を発生してもよい。

さらに、デバイス制御部１８３が操作デバイス３に対し、撮像実行と撮像画像データの送信を指示する制御データを送信し、操作デバイス３が撮像を行って、撮像画像データを画像表示部２０に表示することもできる。この場合、頭部装着型表示装置１００が備えるカメラ６１では撮像できない角度から撮像を行い、撮像画像を画像表示部２０に表示できる。また、この撮像画像データを制御部１４０が解析してもよい。

また、表示システム１では、操作デバイス３のＮＦＣ部３６２により、非接触型ＩＣカードや、ＲＦＩＤタグに記録されたデータを読み取り、読み取ったデータを無線通信部３６１から通信部１１７に送信してもよい。この場合、ＩＣカード型電子マネーの残高等を画像表示部２０により表示できる。

このように、表示システム１では、シースルー方式の頭部装着型表示装置１００と、時計型の操作デバイス３とを組み合わせ、操作デバイス３の操作により頭部装着型表示装置１００を動作させる。これにより、操作時以外はハンズフリーを実現し、操作時でも自然な動きで操作できる。また、操作デバイス３は、時計モードで動作することにより腕時計として使用できる。この操作デバイス３を、操作用のユーザーインターフェイスとして使うことで、操作時以外はハンズフリーを実現し、操作時でも自然な動きで操作することを可能とする。また、画像表示部２０の表示により、操作デバイス３に関する情報を見ることもでき、ＬＣＤ３０３を直視する必要がなくなるので、ＬＣＤ３０３の表示を見るために手を使う必要がないという利点もある。

また、タッチパネル３０４がいわゆるマルチタッチ操作に対応する場合、タッチパネル３０４に対する複数の操作点の間隔を拡大、或いは縮小させる操作等に対応して、頭部装着型表示装置１００の表示画像を拡大、縮小、或いは回転させる動作を行ってもよい。

また、表示システム１では、頭部装着型表示装置１００が、操作デバイス３との相対位置を検出することが可能である。この位置検出には種々の方法を用いることが可能であるが、本実施形態では、頭部装着型表示装置１００が操作デバイス３を含む範囲を撮像し、撮像画像データに基づき相対位置を特定する例を説明する。

図９は、頭部装着型表示装置１００の動作を示すフローチャートであり、特に、頭部装着型表示装置１００と操作デバイス３との相対位置を検出する位置検出処理を示す。
制御部１４０は、撮像処理部１８１によりカメラ６１を制御して撮像を実行する（ステップＳ５１）。制御部１４０は、カメラ６１の撮像画像データを取得し、取得した撮像画像データを解析して、操作デバイス３の画像を検出する（ステップＳ５２）。これにより、カメラ６１の撮像画像において、操作デバイス３が写っている位置や操作デバイス３の画像の形状を検出できる。

続いて、制御部１４０は、撮像画像における操作デバイス３の画像の位置及びサイズに基づき、操作デバイス３とカメラ６１との相対位置を算出する（ステップＳ５３）。すなわち、制御部１４０は、操作デバイス３の画像の位置からカメラ６１の画角の中心軸、例えばカメラ６１の撮像レンズの光軸に対する操作デバイス３の位置を算出する。また、制御部１４０は、撮像画像における操作デバイス３の画像のサイズから、操作デバイス３とカメラ６１の撮像面との距離を求める。ここで、制御部１４０は、カメラ６１の撮像条件（ズーム倍率等）を用いて算出を行ってもよい。

ステップＳ５３で、制御部１４０は、カメラ６１と操作デバイス３との相対位置を求めた後、求めた相対位置を、頭部装着型表示装置１００と操作デバイス３との相対位置に変換してもよい。
頭部装着型表示装置１００及び操作デバイス３は、撮像画像における座標に比べて大きいため、基準点を設定することが現実的である。すなわち、頭部装着型表示装置１００と操作デバイス３との相対位置は、頭部装着型表示装置１００において設定される基準点と、操作デバイス３において設定される基準点との相対位置として求められる。頭部装着型表示装置１００における基準点がカメラ６１の撮像面において光軸に重なる点である場合、ステップＳ５３で求めた相対位置は、そのまま、操作デバイス３と頭部装着型表示装置１００との相対位置となる。頭部装着型表示装置１００の基準点がカメラ６１の撮像面とは異なる位置にある場合、制御部１４０は、上述した変換を行えばよい。また、操作デバイス３における基準点は、例えば、ベゼル３０１の中心とすればよい。

制御部１４０は、撮像画像における操作デバイス３の画像の形状に基づき、操作デバイス３のＬＣＤ３０３の向きを特定する（ステップＳ５４）。ステップＳ５４で、制御部１４０は、撮像画像における操作デバイス３のベゼル３０１の形状、バンド部３００を含む操作デバイス３の全体形状、或いは、ＬＣＤ３０３の形状に基づいて向きを算出できる。また、例えば図２（Ａ）に示したように、操作デバイス３がＬＣＤ３０３に矢印等の図形を表示している場合や、ＬＣＤ３０３に時刻を表示している場合に、これらＬＣＤ３０３の表示画像に基づいて向きを求めてもよい。

その後、制御部１４０は、ステップＳ５３で算出した操作デバイス３と頭部装着型表示装置１００との相対位置を示すデータ、及び、ステップＳ５４で特定した頭部装着型表示装置１００に対する操作デバイス３の向きを示すデータを生成する。制御部１４０は、生成したデータを含む相対位置データを、記憶部１２０に記憶する（ステップＳ５５）。

例えば、図６のステップＳ３５に示した動作で、ＡＲ表示制御部１８５は、頭部装着型表示装置１００の使用者が画像表示部２０越しに操作デバイス３を見ている状態で、操作デバイス３に重なって見えるように、ＡＲコンテンツを表示する。ここで、ＡＲ表示制御部１８５は、図９に示した動作で検出した操作デバイス３と頭部装着型表示装置１００との相対位置、及び、頭部装着型表示装置１００に対する操作デバイス３の向きに基づき、ＡＲコンテンツの表示位置を決定する。この処理で、ＡＲ表示制御部１８５は、カメラ６１の撮像範囲と、画像表示部２０の表示領域との位置関係に基づき、対象物の位置に対応するＡＲコンテンツの表示位置を決定する。この位置関係は、記憶部１２０に記憶した相対位置データから求めることができる。
ＡＲ表示制御部１８５は、操作デバイス３と頭部装着型表示装置１００との間の距離に対応して、ＡＲコンテンツの表示サイズを調整してもよい。また、ＡＲ表示制御部１８５は、頭部装着型表示装置１００に対する操作デバイス３のＬＣＤ３０３の向きに対応して、ＡＲコンテンツの表示位置を調整してもよいし、ＡＲコンテンツに含まれる画像を変形してもよい。

頭部装着型表示装置１００が操作デバイス３との相対位置を検出する方法は、図９に示した方法に限定されず、例えば、操作デバイス３と頭部装着型表示装置１００とがデータ通信を行い、相互の検出結果を利用してもよい。この動作例を図１０に示す。

図１０は、表示システム１の動作を示すフローチャートであり、（Ａ）は操作デバイス３の動作を示し、（Ｂ）は頭部装着型表示装置１００の動作を示す。
図１０の動作は、例えば、操作デバイス３がＵＩモードである場合に実行する。
操作デバイス３の制御部３５０は、カメラ３１１、３１１により撮像を実行して使用者の視線を検出する（ステップＳ６１）。制御部３５０は、視線を検出するまで撮像および撮像画像の解析を行う（ステップＳ６１；ＮＯ）。

制御部３５０は、視線を検出した場合（ステップＳ６１；ＹＥＳ）、カメラ３１１、３１１による撮像を実行し（ステップＳ６２）、撮像画像データを取得する（ステップＳ６３）。制御部３５０は、撮像画像データを無線通信部３６１により送信する（ステップＳ６４）。ステップＳ６２では、カメラ３１１、３１１のいずれか一方のみを用いて撮像をしてもよいし、２つのカメラ３１１、３１１の両方で撮像を行い、両方の撮像画像データを取得して送信してもよい。

制御部１４０は、通信部１１７によって撮像画像データを操作デバイス３から受信し（ステップＳ７１）、受信した撮像画像データを解析して、頭部装着型表示装置１００の画像を検出する（ステップＳ７２）。これにより、撮像画像において、頭部装着型表示装置１００が写っている位置や頭部装着型表示装置１００の画像の形状を検出できる。

続いて、制御部１４０は、撮像画像における頭部装着型表示装置１００の画像の位置及びサイズに基づき、操作デバイス３と頭部装着型表示装置１００との相対位置を算出する（ステップＳ７３）。例えば、制御部１４０は、頭部装着型表示装置１００の画像の位置から、カメラ３１１、３１１の画角の中心軸に対する頭部装着型表示装置１００の位置を算出する。また、制御部１４０は、撮像画像における頭部装着型表示装置１００の画像のサイズから、頭部装着型表示装置１００と操作デバイス３との距離を求める。ここで、制御部１４０は、カメラ３１１、３１１の撮像条件（ズーム倍率等）を用いて算出を行ってもよい。

ステップＳ７３で、制御部１４０は、複数のカメラ３１１、３１１の撮像画像を用いて、より高精度な検出を行ってもよい。例えば、これら複数の撮像画像の視差を算出し、この視差から、操作デバイス３と頭部装着型表示装置１００との間の距離を求めてもよい。
その後、制御部１４０は、ステップＳ７３で算出した操作デバイス３と頭部装着型表示装置１００との相対位置を示すデータを生成する（ステップＳ７４）。制御部１４０は、生成したデータを含む相対位置データを、記憶部１２０に記憶する。

このように、操作デバイス３と頭部装着型表示装置１００とが連動して、操作デバイス３と頭部装着型表示装置１００との相対位置を求める処理を行ってもよい。この図１０の動作において、ステップＳ７２〜Ｓ７３の処理を、制御部３５０が実行し、制御部３５０が相対位置を示すデータを生成して、頭部装着型表示装置１００に送信してもよい。

図９及び図１０を参照して説明したように、頭部装着型表示装置１００は、頭部装着型表示装置１００に対する操作デバイス３の位置を検出できる。そして、頭部装着型表示装置１００は、操作デバイス３の位置に対応してＡＲコンテンツの表示を行うことができる。さらに、上記相対位置の検出を繰り返し実行することで、操作デバイス３を基準として、頭部装着型表示装置１００の動きを求めることができる。また、操作デバイス３の位置や向きに対応して、例えば、画像表示部２０に表示する画面を遷移させてもよい。この場合、操作デバイス３と頭部装着型表示装置１００との相対位置を変化させることが、頭部装着型表示装置１００に対する操作に相当する。

例えば、図６のステップＳ３５で、ＡＲ表示制御部１８５は、頭部装着型表示装置１００の使用者が画像表示部２０越しに操作デバイス３を見ている状態で、操作デバイス３に重なって見えるように、ＡＲコンテンツを表示する。ここで、ＡＲ表示制御部１８５は、例えば操作デバイス３と頭部装着型表示装置１００との相対位置、及び、頭部装着型表示装置１００に対する操作デバイス３の向きに基づき、ＡＲコンテンツの表示位置を決定する。この処理で、ＡＲ表示制御部１８５は、カメラ６１の撮像範囲と、画像表示部２０の表示領域との位置関係に基づき、対象物の位置に対応するＡＲコンテンツの表示位置を決定する。この位置関係は、例えば記憶部１２０に記憶する相対位置データから求めることができる。
ＡＲ表示制御部１８５は、操作デバイス３と頭部装着型表示装置１００との間の距離に対応して、ＡＲコンテンツの表示サイズを調整してもよい。また、ＡＲ表示制御部１８５は、頭部装着型表示装置１００に対する操作デバイス３のＬＣＤ３０３の向きに対応して、ＡＲコンテンツの表示位置を調整してもよいし、ＡＲコンテンツに含まれる画像を変形してもよい。

また、制御部１４０は、図９または図１０の動作で特定した操作デバイス３との相対位置及び向きに基づき、９軸センサー６６の検出軸（図１のＸ，Ｙ，Ｚ軸）と、ＬＣＤ３０３の向き（傾き）との対応付けを行ってもよい。これにより、頭部装着型表示装置１００の傾きとＬＣＤ３０３の傾きとの双方に連動して、画像表示部２０の表示画像や、ＬＣＤ３０３における表示画像を変化させることができる。

このほか、操作デバイス３と頭部装着型表示装置１００とが連動して動作する例としては、例えば、制御部３５０の制御により、ＬＣＤ３０３にマーカーを表示し、このマーカーを頭部装着型表示装置１００が認識する態様が挙げられる。制御部１４０は、カメラ６１の撮像画像からマーカーを検出する。ＬＣＤ３０３が表示するマーカーが、バーコードや二次元コード等、情報を含めることが可能なマーカーである場合、制御部１４０は読取結果から情報を取得できる。制御部１４０は、取得した情報に基づき、通信部１１７により操作デバイス３との間の通信を確立する動作等を行える。また、複数の操作デバイス３がある場合に、これらの操作デバイス３を識別することも可能となる。この場合、特定の操作デバイス３と頭部装着型表示装置１００との相対位置を検出する動作や、特定の操作デバイス３と通信を確立するといった動作が可能となる。

［操作デバイスの別の構成例］
ここで、操作対象物の別の構成例として、操作対象物４、５を使用する場合について説明する。
上記実施形態の表示システム１の説明では、頭部装着型表示装置１００と通信を実行可能な操作デバイス３を使用者が使用する場合を例示した。
頭部装着型表示装置１００は、操作デバイス３に限らず、例えば通信機能を有しないような操作対象物を使用者が操作する場合も、操作対象物の操作に対応する処理を実行できる。

図１３は、操作対象物の構成例として、操作対象物４の構成を示す外観図である。
操作対象物４は、操作デバイス３と同様に腕時計型のデバイスであるが、操作デバイス３のような通信機能は必須ではないため、ここでは操作対象物と称する。操作対象物４は、例えば、一般的に使用される腕時計である。
図１３に例示する操作対象物４は、腕時計の本体ケースに、リュウズ４０１、ベゼル４０２、文字盤４０３、長針４０４、短針４０５、インデックス４０６、及び日付窓４０７を備えるアナログ式の腕時計である。リュウズ４０１は通常位置において回転させることが可能であり、リュウズ４０１を図中右方向に引き出して回転させることにより、長針４０４及び短針４０５を回転させ、日付窓４０７の日付表示を送り、日時の調整を行える。

なお、文字盤４０３の位置に液晶表示パネルを備え、この液晶表示パネルに長針４０４、短針４０５、及びインデックス４０６の画像を表示する腕時計であってもよい。また、インデックス４０６は、数字であってもよいし、記号であってもよいし、その他、長針４０４及び短針４０５の位置の目印となる形状であれば何でもよい。また、日付窓４０７は必須ではなく、日付窓４０７を備えていない構成であってもよい。また、操作対象物４は、プッシュ操作が可能なボタン４０８を備える。図１３の例では４個のボタン４０８を備えているが、ボタン４０８の数や位置は任意に変更可能である。また、ベゼル４０２も必須ではないが、図１３の例ではベゼル４０２は図中矢印で示すように、使用者の操作によって左右に手動で回転させることができる。

操作対象物４は一般的な腕時計の一例として示すものであり、例えば、文字盤４０３の代わりに数字を７セグメント表示する液晶表示パネルを備えたディジタル式の腕時計を、頭部装着型表示装置１００が操作対象物として認識する構成としてもよい。また、文字盤４０３及びケースの形状は円形に限らず、三角形や四角形であってもよい。

図１４は、操作対象物の他の例を示す図である。図１４に示す操作対象物５は、操作対象物４（図１３）と同様に、腕時計の本体ケースに、リュウズ５０１、ベゼル５０２、及び、ボタン５０８を備える。また、操作対象物５は、操作対象物４の文字盤４０３と同じ位置に、表示面５０３を備える。表示面５０３は、液晶表示パネル、有機ＥＬパネル、或いは、電子ペーパーで構成される表示画面である。
リュウズ５０１は手動で回転させることが可能な構成であってもよいし、プッシュボタンであってもよい。ベゼル５０２は手動で回転させることが可能な構成であってもよいし、固定された装飾であってもよい。ボタン５０８はプッシュ式のボタンであってもよい。

操作対象物５は、表示面５０３に、マーカー５１０を表示する。マーカー５１０は、複数のマーク５１１を含む。マーク５１１の位置は予め定められた位置であり、複数のマーク５１１の表示色、模様等が異なっていてもよい。操作対象物５は、通常時は表示面５０３に日付、時、分、秒、曜日等を表示し、ボタン５０８等の操作に応じて、マーカー５１０を表示する。また、操作対象物５の表示面５０３に代えて、文字盤４０３（図１３）を備えてもよく、粘着性のシール（ステッカー）でマーカー５１０を構成し、このシールを文字盤４０３や表示面５０３に貼付してもよい。また、操作対象物５が撮像部（図示略）を備え、撮像部（図示略）の撮像画像により画像表示部２０を認識した場合に、操作対象物５の制御により表示面５０３にマーカー５１０を表示してもよい。

図１３の操作対象物４は４個のボタン４０８を備えているが、ボタン４０８の数や位置は任意に変更可能である。操作対象物５が備えるボタン５０８についても同様である。また、ボタン４０８、５０８はタッチセンサー式の操作部であってもよいし、ベゼル４０２、５０２は必須ではなく、操作対象物４、５のベルト等の形状も任意である。

図１５は頭部装着型表示装置１００の動作を示すフローチャートであり、操作対象物４、５を使用者が使用する場合の動作を示す。
制御部１４０は、撮像処理部１８１によりカメラ６１を制御して撮像を実行させ（ステップＳ１０１）、撮像画像データを取得する。制御部１４０は、ＡＲ表示制御部１８５により、撮像画像から操作対象物４または操作対象物５の画像を検出する（ステップＳ１０２）。ＡＲ表示制御部１８５が操作対象物４、５の画像を検出する処理は、例えば、予め記憶部１２０に記憶する操作対象物４、５の画像の特徴量を示すデータを用いることで実現できる。

制御部１４０は、ステップＳ１０２で検出した操作対象物を、操作に使用する操作対象物として決定する（ステップＳ１０３）。カメラ６１の撮像画像で複数の操作対象物４、５が検出された場合には、例えば使用者の制御装置１０に対する操作によって、操作に使用する操作対象物を選択し決定してもよい。

制御部１４０は、ＡＲ表示制御部１８５によって、ステップＳ１０３で決定した操作対象物に対応する操作用画像（制御対象対応画像）を表示する（ステップＳ１０４）。操作用画像は、操作対象物の形状等に対応する画像であり、操作対象物ごとに予め用意されて記憶部１２０に記憶される。

図１６は、操作用画像を表示した状態の例を示す図であり、操作対象物４に対応する操作用画像を表示した状態を示す。
使用者の視野ＶＲには実空間の操作対象物４が、画像表示部２０を透過して視認される。ＡＲ表示制御部１８５は、操作対象物４に対応する位置に見えるように、操作表示Ｂ１１〜Ｂ１９を含む操作用画像を表示する。操作表示Ｂ１１〜Ｂ１９のそれぞれは、操作対象物４の部分（制御オブジェクト）に対応する。操作表示Ｂ１１〜Ｂ１９のそれぞれは、図１６に示すように、対応する部分を示す矢印を含んでもよい。また、操作表示Ｂ１１〜Ｂ１９のそれぞれは、操作対象物４の部分に対する操作により実行される処理内容を、テキストや画像により案内する。

図１６の例で、操作表示Ｂ１１は、長針４０４の操作により表示倍率を拡大することを示す。操作表示Ｂ１２は、短針４０５の操作により表示倍率を縮小することを示す。長針４０４及び短針４０５の位置は時刻により変化する。このため、ＡＲ表示制御部１８５は、カメラ６１の撮像画像から長針４０４及び短針４０５の位置を特定し、長針４０４及び／又は短針４０５の位置に合わせて操作表示Ｂ１１、Ｂ１２の表示位置を変更あるいは調整してもよい。操作表示Ｂ１３はリュウズ４０１を回転させる操作により頭部装着型表示装置１００がメニュー画面を表示し、例えば図１１（Ａ）、（Ｂ）を参照して説明したように画面表示を遷移させることを示す。操作表示Ｂ１４は日付窓４０７の操作により確定が指示されることを示し、操作表示Ｂ１５は６時位置のインデックス４０６の操作によって履歴が表示されることを示す。操作表示Ｂ１６は１２時位置のインデックス４０６の操作によってカメラ６１が撮像を行うことを示す。操作表示Ｂ１７はベゼル４０２の６時位置に対する操作によって操作対象物４に対する操作をロックすることを示す。また、操作表示Ｂ１８、Ｂ１９は、ベゼル４０２を回転させる操作により、表示を右回転或いは左回転させることを示す。

図１７は、操作用画像を表示した状態の別の例を示す図であり、操作対象物５に対応する操作用画像を表示した状態を示す。
使用者の視野ＶＲには実空間の操作対象物５が、画像表示部２０を透過して視認される。ＡＲ表示制御部１８５は、操作対象物５に対応する位置に見えるように、操作表示Ｂ３１〜Ｂ３９を含む操作用画像を表示する。操作表示Ｂ３１〜Ｂ３９のそれぞれは、マーカー５１０のマーク５１１（制御オブジェクト）に対応する。操作表示Ｂ３１〜Ｂ３９のそれぞれは、図１７に示すように、対応するマーク５１１を示す矢印を含んでもよい。また、操作表示Ｂ３１〜Ｂ３９のそれぞれは、マーク５１１に対する操作により実行される処理内容を、テキストや画像により案内する。

図１７の例で、操作表示Ｂ３１はマーク５１１の操作によりカメラ６１が撮像を行うことを示す。操作表示Ｂ３２はマーク５１１の操作により操作対象物４に対する操作をロックすることを示す。操作表示Ｂ３３はマーク５１１の操作により確定が指示されることを示す。操作表示Ｂ３４、Ｂ３５は、マーク５１１の操作により、表示を右回転或いは左回転させることを示す。操作表示Ｂ３６は、マーク５１１の操作により表示倍率を縮小することを示す。操作表示Ｂ３７は、マーク５１１の操作により表示倍率を拡大することを示す。操作表示Ｂ３８はマーク５１１の操作によりホーム画面が表示されることを示す。操作表示Ｂ３９はマーク５１１の操作により頭部装着型表示装置１００がメニュー画面を表示し、例えば図１１（Ａ）、（Ｂ）を参照して説明したように画面表示を遷移させることを示す。

図１７に示す操作用画像は、操作対象物５に対応する操作用画像ということもできるが、マーカー５１０に対応する操作用画像ということもできる。つまり、制御部１４０は、カメラ６１の撮像画像からマーカー５１０が検出された場合に、図１７の操作用画像を表示する構成であってもよい。この場合、操作対象物５が備えるボタン５０８等の構成は特に制限されず、例えば、使用者の腕にマーカー５１０のシールを貼付し、このマーカー５１０（またはマーカー５１０が付着した腕）を操作対象物とすることができる。従って、画像表示部２０とは別体であって、カメラ６１により撮像可能な状態でマーカー５１０を有するものであれば、どのような物であっても操作対象物とすることができる。

図１６の操作表示Ｂ１１〜Ｂ１９を含む操作用画像が表示された状態で、操作対象物４に対する操作は、例えば、使用者の手指を操作対象物４の部分に重ねることで行われる。この場合、制御部１４０は、デバイス制御部１８３により、カメラ６１の撮像画像から使用者の手指の画像を検出して、指先の位置に近い操作対象物４の部分を特定する。これにより、特定された部分が操作されたと見なして、制御部１４０は操作表示Ｂ１１〜Ｂ１９に示される処理を実行する。
図１７の操作表示Ｂ３１〜Ｂ３９を含む操作用画像が表示された状態で、操作対象物５に対する操作は、例えば、使用者の手指をマーク５１１に重ねることで行われる。この場合、制御部１４０は、デバイス制御部１８３により、カメラ６１の撮像画像から使用者の手指の画像を検出して、指先の位置に近いマーク５１１を特定し、このマーク５１１のマーカー５１０における位置を特定する。これにより、特定されたマーク５１１が操作されたと見なして、制御部１４０は操作表示Ｂ３１〜Ｂ３９に示される処理を実行する。

図１５のステップＳ１０４で、図１６や図１７に例示した操作用画像を表示した後、制御部１４０は、操作の検出を開始する（ステップＳ１０５）。制御部１４０は、デバイス制御部１８３によって操作の有無を判定し（ステップＳ１０６）、操作された場合には（ステップＳ１０６；ＹＥＳ）、操作された位置や部分に対応して操作用画像が示す処理を実行する（ステップＳ１０７）。この処理の実行後、制御部１４０はステップＳ１０８に移行する。また、操作用画像に対応する操作が検出されない場合（ステップＳ１０６；ＮＯ）、制御部１４０はステップＳ１０８に移行する。

ステップＳ１０８で、制御部１４０は、操作用画像を用いた操作を終了するか否かを判定する。ここで、使用者の操作によって操作の終了が指示された場合や、使用者の視野ＶＲにおいて操作対象物が視認されない状態になったことを検出した場合（ステップＳ１０８；ＹＥＳ）、制御部１４０は、本処理を終了する。また、操作を終了しない場合（ステップＳ１０８；ＮＯ）、制御部１４０はステップＳ１０６に戻る。

本実施形態では、操作デバイス３，或いは操作対象物４、５を頭部装着型表示装置１００がカメラ６１の撮像画像等に基づき認識した場合に、ＡＲ表示制御部１８５が記憶部１２０からＡＲコンテンツのデータを読み出して、表示する。
図７（Ａ）に示した操作設定用のＡＲ表示、図１６及び図１７に示した操作用画像は、ＡＲコンテンツの一例である。

図１８は、記憶部１２０に記憶されるデータのうちＡＲコンテンツに係るデータの構成例を示す。なお、記憶部１２０は、図１８に示すＡＲコンテンツデータ１２３及び対象デバイスデータ１２７に限らず、他のデータを記憶するが、図示を省略する。これらＡＲコンテンツデータ１２３及び対象デバイスデータ１２７を記憶する記憶部１２０は、データ記憶部に相当する。

ＡＲコンテンツに係るデータは、ＡＲコンテンツデータ１２３、及び対象デバイスデータ１２７で構成される。ＡＲコンテンツデータ１２３は、ＡＲ要素表示データ１２３ａ、位置属性データ１２３ｂ、及び対応処理データ１２３ｃを含む。
ＡＲコンテンツデータ１２３は、ＡＲコンテンツを表示するためのデータであり、図７（Ａ）の操作設定用のＡＲ表示、図１６及び図１７の操作用画像を表示するデータに該当する。ＡＲ要素表示データ１２３ａは、操作用のＡＲコンテンツの要素（操作用の画像）を表示するためのデータである。ＡＲコンテンツの要素とは、操作デバイスまたは操作対象物の操作部に対応付けて表示される文字や画像であり、矢印等の付属的な画像を伴ってもよい。図７（Ａ）の例では割り当て候補表示Ａ１、Ａ２、Ａ３、Ａ４及び設定候補Ａ１１、Ａ１２、Ａ１３、Ａ１４が要素に相当する。図７（Ｂ）の例では割り当て候補表示Ａ２１、Ａ２２、Ａ２３、Ａ２４及び設定候補Ａ３１、Ａ３２、Ａ３３、Ａ３４が要素に相当する。また、図１６の例では操作表示Ｂ１１〜Ｂ１９が要素に相当し、図１７の例では操作表示Ｂ３１〜Ｂ３９が要素に相当する。ＡＲ要素表示データ１２３ａは、例えば、上記要素を表示するための画像データ、テキストデータ、画像やテキストの表示属性（色、サイズ、フォント、背景など）を指定するデータ等を含む。

位置属性データ１２３ｂは、要素の表示位置を指定するためのデータである。要素の表示位置は、ＡＲ要素表示データ１２３ａが含むそれぞれの要素について設定される。位置属性データ１２３ｂは、要素の表示位置を、右表示駆動部２２及び左表示駆動部２４における固定的な位置で指定するデータであってもよい。また、位置属性データ１２３ｂは、操作デバイス３または操作対象物４、５に対する相対的な位置として、要素の表示位置を指定するデータであってもよい。また、位置属性データ１２３ｂは、操作デバイス３または操作対象物４、５の操作部に対する相対的な位置として、要素の表示位置を指定するデータであってもよい。例えば、位置属性データ１２３ｂは、図７（Ａ）、（Ｂ）の設定候補Ａ１１〜Ａ１４、Ａ３１〜Ａ３４の表示位置を、操作デバイス３のベゼル３０１に対する相対位置として指定するデータとすることができる。例えば、図１６の操作表示Ｂ１１〜Ｂ１９の表示位置を、操作対象物４のリュウズ４０１、ベゼル４０２、文字盤４０３、長針４０４、短針４０５、インデックス４０６、日付窓４０７、及びボタン４０８等に対する相対位置として指定するデータであってもよい。例えば、図１７の操作表示Ｂ３１〜Ｂ３９の表示位置を、操作対象物５のマーカー５１０及びマーク５１１等に対する相対位置として指定するデータであってもよい。

対応処理データ１２３ｃは、使用者の操作によって、ＡＲ要素表示データ１２３ａに含まれる要素が選択または指定された場合に、制御部１４０が実行する処理を定めるデータである。図７（Ａ）の例では、操作デバイス３の操作部（例えば、ベゼル３０１）の操作に応じて、制御部１４０が、複数の候補を順に切り替える処理、画像表示部２０が表示する画面を遷移させる動作等を実行する。また、操作デバイス３の操作に応じて、デバイス制御部１８３が、タッチパネル３０４、及び９軸センサー３６８の検出開始や、不検出状態への移行を指示する制御データを送信する処理を実行してもよい。
図１６の例で、制御部１４０は、長針４０４に対する操作に応じて表示倍率を拡大し、短針４０５に対する操作に応じて表示倍率を縮小する。また、リュウズ４０１を回転させる操作に応じてメニュー画面を表示し、画面表示を遷移させる。また、日付窓４０７の操作に応じて確定の指示を受け付ける処理を行い、６時位置のインデックス４０６に対する操作に応じて履歴を表示する。また、１２時位置のインデックス４０６に対する操作によってカメラ６１で撮像を行い、ベゼル４０２の６時位置に対する操作に応じて操作対象物４に対する操作をロックする。また、ベゼル４０２を回転させる操作に応じて、表示を右回転或いは左回転させる。
図１７の例で、制御部１４０は、マーク５１１の操作に応じて、カメラ６１の撮像、操作対象物４に対する操作のロック、確定の指示の受付、表示の回転、表示倍率の拡大／縮小、ホーム画面の表示、メニュー画面の表示、画面表示の遷移等の処理を行う。
対応処理データ１２３ｃは、これらの処理を指定するデータを含む。

対象デバイスデータ１２７は、ＡＲコンテンツデータ１２３に対応する操作デバイスまたは操作対象物を示すデータであり、例えば、カメラ６１の撮像画像から操作デバイスまたは操作対象物を検出するための画像特徴量のデータ等を含む。
対象デバイスデータ１２７は、制御部１４０が、例えばステップＳ５２（図９）で操作デバイス３を検出する場合、ステップＳ１０２（図１５）で操作対象物４、５を検出する場合に参照される。制御部１４０は、対象デバイスデータ１２７に基づき、操作デバイスまたは操作対象物を検出または認識し、対応するＡＲコンテンツを特定して、ＡＲコンテンツデータ１２３に基づきＡＲコンテンツを表示できる。

ここで、記憶部１２０には、複数のＡＲコンテンツデータ１２３を記憶できる。また、複数のＡＲコンテンツに関するデータを一つのＡＲコンテンツデータ１２３に含めてもよい。対象デバイスデータ１２７は、ＡＲコンテンツごとに、対応する操作デバイスまたは操作対象物を指定するデータであり、データの対応付けの具体的態様は任意である。例えば、記憶部１２０に、ＡＲコンテンツデータ１２３と同数の対象デバイスデータ１２７を記憶してもよい。また、対象デバイスデータ１２７が、複数のＡＲコンテンツデータ１２３のそれぞれについて、対応する操作デバイスまたは操作対象物を指定するデータを含んでもよい。また、対象デバイスデータ１２７に、ＡＲコンテンツデータ１２３が含む複数のＡＲコンテンツに対応する操作デバイスまたは操作対象物を示すデータを含んでもよい。
また、対象デバイスデータ１２７を、ＡＲコンテンツデータ１２３に含めてもよい。この場合、ＡＲコンテンツデータ１２３は、ＡＲコンテンツ毎に、ＡＲ要素表示データ１２３ａ、位置属性データ１２３ｂ、対応処理データ１２３ｃ、及び対象デバイスデータ１２７を対応付けて含む態様となる。

ＡＲコンテンツにおける要素の種類、位置、数等については、使用者の操作に応じて変更することが可能であり、この変更を反映してＡＲコンテンツデータ１２３を編集できる。
図１９は、ＡＲコンテンツデータ１２３を編集する処理を示すフローチャートである。
制御部１４０は、使用者の操作に応じて、ＡＲコンテンツデータ１２３の編集を開始する（ステップＳ１２１）。以下の説明では、使用者の操作は、操作部１１１で受け付けられる操作、及び、カメラ６１で検出した使用者の手等の指示体によるジェスチャー操作のいずれであってもよい。

制御部１４０は、例えばステップＳ５１〜Ｓ５２で実行する処理と同様に、操作デバイスまたは操作対象物を検出する（ステップＳ１２２）。制御部１４０は、検出した操作デバイスまたは操作対象物に対応するＡＲコンテンツを、ＡＲコンテンツデータ１２３に基づき表示する（ステップＳ１２３）。ここで、未知の操作デバイスまたは操作対象物を対象とする場合は、この操作デバイスまたは操作対象物に対応するＡＲコンテンツデータ１２３が記憶部１２０に記憶されていない。この場合、制御部１４０が、未知の操作デバイスまたは操作対象物であることを検出してもよいし、使用者の操作により未知の操作デバイスまたは操作対象物であることが指示されてもよい。制御部１４０は、予め記憶部１２０に記憶する汎用のＡＲコンテンツデータ１２３、または、使用者の操作または事前の設定により指定されるＡＲコンテンツデータ１２３を使用して、ＡＲコンテンツを表示する。

ステップＳ１２３で表示されたＡＲコンテンツの要素について、使用者の操作によりＡＲコンテンツの位置の変更（移動）、追加、削除の指示が入力されると、制御部１４０は、入力に従ってＡＲコンテンツの位置変更、追加、削除を行う（ステップＳ１２４）。
また、表示中のＡＲコンテンツの要素について、使用者の操作により、ＡＲコンテンツの要素に対応して制御部１４０が実行する処理が指定されると、制御部１４０は、入力に従って制御部１４０が実行する処理の指定または変更を行う（ステップＳ１２５）。
なお、ステップＳ１２４、Ｓ１２５の処理の実行順序は変更可能であり、ステップＳ１２４、Ｓ１２５の処理を並列的に実行してもよい。

制御部１４０は、ＡＲコンテンツデータ１２３の編集が終了したか否かを判定する（ステップＳ１２６）。編集が終了していない場合（ステップＳ１２６；ＮＯ）、制御部１４０はステップＳ１２４に戻る。編集が終了した場合（ステップＳ１２６；ＹＥＳ）、制御部１４０は、ステップＳ１２２で検出した操作デバイスまたは操作対象物を対象デバイスとして設定する対象デバイスデータ１２７を生成する（ステップＳ１２７）。制御部１４０は、ステップＳ１２４、Ｓ１２５の編集内容を反映したＡＲコンテンツデータ１２３と、ステップＳ１２７で生成される対象デバイスデータ１２７とを対応付けて、記憶部１２０に記憶し（ステップＳ１２８）、本処理を終了する。

このように、使用者の操作によって、操作デバイス３、操作対象物４、５等に対応して表示されるＡＲコンテンツの表示態様、要素の種類、位置、数、要素に対応して実行される処理を指定し、変更できる。このため、使用者の用途や嗜好に適合するＡＲコンテンツを表示することができ、より一層の利便性の向上を図ることができる。

また、頭部装着型表示装置１００は、通信部１１７により外部の機器と通信を行うことにより、ＡＲコンテンツデータ１２３、及び、対象デバイスデータ１２７をダウンロードしてもよい。この場合、頭部装着型表示装置１００は、スマートフォンやルーター等、他の通信ネットワークと頭部装着型表示装置１００との通信を中継する外部の機器と通信を行い、当該通信ネットワークを経由してサーバー装置（図示略）からダウンロードしてもよい。また、頭部装着型表示装置１００は、通信部１１７により接続する外部の機器（例えば、パーソナルコンピューターやスマートフォン）から、ＡＲコンテンツデータ１２３及び対象デバイスデータ１２７をダウンロードしてもよい。

図２０は、頭部装着型表示装置１００がＡＲコンテンツデータをダウンロードする処理を示すフローチャートである。
制御部１４０は、使用者の操作または外部の機器からのアクセスに応じてダウンロードを開始する（ステップＳ１４１）。制御部１４０は、ＡＲコンテンツデータ１２３をダウンロードして取得する（ステップＳ１４２）。制御部１４０は、取得したＡＲコンテンツデータ１２３のＡＲ要素表示データ１２３ａ、位置属性データ１２３ｂ、及び対応処理データ１２３ｃについて記憶部１２０に記憶する（ステップＳ１４３）。制御部１４０は、必要ならば、ステップＳ１４３において、記憶したデータを使用可能とする設定を行ってもよい。

制御部１４０は、ダウンロードしたデータに対象デバイスデータ１２７、または、対応する操作デバイス又は操作対象物を指定するデータが含まれているか否かを判定する（ステップＳ１４４）。該当するデータが含まれている場合（ステップＳ１４４；ＹＥＳ）、制御部１４０は、対象デバイスデータ１２７を、ＡＲコンテンツデータ１２３に対応付けて記憶部１２０に記憶し（ステップＳ１４５）、本処理を終了する。

また、対象デバイスデータ１２７、または、対応する操作デバイス又は操作対象物を指定するデータが含まれていない場合（ステップＳ１４４；ＮＯ）、制御部１４０は、対象デバイスデータ１２７を生成する処理を開始する。すなわち、制御部１４０は、カメラ６１による撮像を実行して撮像画像データを取得し（ステップＳ１４６）、撮像画像データに基づき、対象デバイスデータ１２７を生成する（ステップＳ１４７）。これにより、カメラ６１の撮像範囲にある操作デバイスまたは操作対象物が、ダウンロードしたＡＲコンテンツデータ１２３に対応する操作デバイスまたは操作対象物に設定される。

制御部１４０は、ＡＲコンテンツデータ１２３と対象デバイスデータ１２７との対応に関する調整を行うか否かを判定する（ステップＳ１４８）。この調整は、ステップＳ１４６で撮像した操作デバイスまたは操作対象物にＡＲコンテンツデータ１２３を対応付けるために必要な調整である。具体的には、制御部１４０は、ステップＳ１４７で、撮像画像データから操作デバイスまたは操作対象物の画像を抽出し、操作部を検出し、操作部の位置関係を算出し、対象デバイスデータ１２７を生成する。検出された各操作部に、ＡＲコンテンツデータ１２３のどの要素を対応付けるかは、操作部の検出状態に影響される。そこで、例えば制御部１４０は、操作部とＡＲコンテンツの要素との対応付けを調整するか否かを、使用者の指示に基づき判定する。ここで、使用者に対して指示を求めるメッセージの表示等を行ってもよい。

調整を行う場合（ステップＳ１４８；ＹＥＳ）、制御部１４０は、ＡＲコンテンツデータを編集する処理を行う（ステップＳ１４９）。ステップＳ１４９では、例えば、図１９で説明した処理（ステップＳ１２１〜Ｓ１２８）を実行することができる。その後、制御部１４０は、編集されたＡＲコンテンツデータ１２３と、ステップＳ１４７で生成しステップＳ１４９で編集された対象デバイスデータ１２７とを対応付けて、記憶部１２０に記憶し（ステップＳ１５０）、本処理を終了する。また、調整を行わない場合（ステップＳ１４８；ＮＯ）、制御部１４０は、ステップＳ１４９を実行せずステップＳ１５０に移行し、ステップＳ１４７で生成した対象デバイスデータ１２７をダウンロードしたＡＲコンテンツデータ１２３に対応付けて記憶部１２０に記憶する。

操作デバイス３は、予め記憶するデータに基づき、制御部３５０がＬＣＤ３０３に画像を表示する。操作対象物５は、予め記憶するデータに基づいて制御部（図示略）の機能によりマーカー５１０を表示する。これら表示用のデータは、固定的なデータに限定されず、例えば頭部装着型表示装置１００または他の外部の機器からダウンロードして追加できる構成としてもよい。

例えば、操作対象物５は、マーカー５１０を編集し、或いは追加できる構成としてもよい。図１４及び図１７を参照して説明したように、操作対象物５は、ＬＣＤまたは電子ペーパー型ディスプレイで構成される表示面５０３にマーカー５１０を表示する。このマーカー５１０は、頭部装着型表示装置１００が認識可能な態様であれば変更可能である。
頭部装着型表示装置１００は、操作対象物５が表示するマーカー５１０におけるマーク５１１を操作部として検出し、マーク５１１に対応する位置に、ＡＲコンテンツとしての操作表示Ｂ３１〜Ｂ３９を表示する。操作表示Ｂ３１〜Ｂ３９は、例えば、マーク５１１の色に対応付けられる。制御部１４０は、マーク５１１の色により、マーク５１１を識別し、操作表示Ｂ３１〜Ｂ３９を予め対応付けられた色のマーク５１１に対応する位置に表示する。この場合、マーカー５１０におけるマーク５１１の位置に関係なく、操作表示Ｂ３１〜Ｂ３９が表示される。

この例では、位置属性データ１２３ｂにはマーク５１１の色を指定するデータが含まれる。詳細には、ＡＲ要素表示データ１２３ａの画像を、特定の色のマーク５１１に対応する位置に表示するよう指定するデータが含まれる。
従って、マーク５１１の色が共通で、マーク５１１の位置が異なる複数のマーカー５１０は、頭部装着型表示装置１００に対して同様の機能を実行させることができる。この場合、使用者は、マーク５１１の位置が異なり色が共通する複数のマーカー５１０を、頭部装着型表示装置１００に実行させる処理を変更することなく、使い分けることができる。

この場合、例えば操作対象物５が備えるボタン５０８の操作によって、マーカー５１０を切り替えて表示可能な構成としてもよい。また、操作対象物５は、頭部装着型表示装置１００の通信部１１７と、近距離無線通信を実行して、頭部装着型表示装置１００が送信する制御データに基づいてマーカー５１０を切り替えてもよい。
これはあくまで一例であり、頭部装着型表示装置１００がマーク５１１の模様（テクスチャー）に基づきマーク５１１を識別する構成、マーク５１１の形状によりマーク５１１を識別する構成とすることもできる。この場合、マーク５１１の模様や形状が変化しない範囲において、マーク５１１の位置が異なるマーカー５１０を、頭部装着型表示装置１００の機能に影響を与えることなく使い分けることができる。
この場合、操作対象物５を使用する使用者の好みで、着せ替えをするように、表示面５０３における表示を切り替えることができる。操作対象物５は、マーカー５１０のデータを取得する場合に、無線通信または通信用のケーブルにより、頭部装着型表示装置１００、或いは外部の機器に接続してもよい。

さらに、頭部装着型表示装置１００が実行する機能に影響する範囲において、マーカー５１０を変更する構成としてもよい。この場合、頭部装着型表示装置１００が実行する機能が変更することから、頭部装着型表示装置１００においても、ＡＲコンテンツデータ１２３及び対象デバイスデータ１２７を変更することが好ましい。例えば、頭部装着型表示装置１００が、外部の機器（図示略）からＡＲコンテンツデータ１２３及び対象デバイスデータ１２７をダウンロードし、このＡＲコンテンツデータ１２３及び対象デバイスデータ１２７に対応するマーカー５１０を、操作対象物５が頭部装着型表示装置１００から取得する構成が挙げられる。この例について図２１を参照して説明する。

図２１は、頭部装着型表示装置１００及び操作対象物５が、ＡＲコンテンツデータ１２３及び関連するデータをダウンロードする動作を示すフローチャートである。図２１中、（Ａ）は頭部装着型表示装置１００の動作を示し、（Ｂ）は操作対象物５の動作を示す。図２１に示す動作を行う操作対象物５は、頭部装着型表示装置１００と通信する通信部（図示略）を具備する構成を有する。例えば、通信部１１７と無線通信を実行する無線通信部（図示略）、或いは、通信部１１７やインターフェイス１２５に有線接続されるコネクターを含む通信インターフェイス（図示略）を備える。

制御部１４０は、使用者の操作または外部の機器からのアクセスに応じてダウンロードを開始する（ステップＳ１６１）。制御部１４０は、ＡＲコンテンツデータ１２３をダウンロードして取得する（ステップＳ１６２）。制御部１４０は、取得したＡＲコンテンツデータ１２３のＡＲ要素表示データ１２３ａ、位置属性データ１２３ｂ、及び対応処理データ１２３ｃについて記憶部１２０に記憶する（ステップＳ１６３）。制御部１４０は、必要ならば、ステップＳ１６３において、記憶したデータを使用可能とする設定を行ってもよい。

制御部１４０は、ダウンロードしたデータに対象デバイスデータ１２７に対応付けられる対象デバイスデータ１２７を、ＡＲコンテンツデータ１２３に対応付けて記憶部１２０に記憶する（ステップＳ１４４）。この対象デバイスデータ１２７は、例えば、ステップＳ１６２においてＡＲコンテンツデータ１２３とともに外部の機器から取得される。

制御部１４０は、操作対象物５に接続してデータ通信可能な状態に移行する（ステップＳ１６５）。操作対象物５においても、頭部装着型表示装置１００に接続してデータ通信可能な状態に移行する（ステップＳ１７１）。

制御部１４０は、ステップＳ１６５で接続した機器（操作対象物５）が、ステップＳ１６４で記憶した対象デバイスデータ１２７に該当する機器であることについて認証を行う（ステップＳ１６６）。ここで、操作対象物５は、頭部装着型表示装置１００の要求に応じて、製品名や製品の型番等の認証用のデータを送信して、頭部装着型表示装置１００とともに認証を行う（ステップＳ１７２）。

認証に成功した後、制御部１４０は、操作対象物５に対して、マーカー５１０を表示するためのデータを送信する（ステップＳ１６７）。このデータは、例えば、ステップＳ１６２において、対象デバイスデータ１２７とともに外部の機器から取得する。操作対象物５は、頭部装着型表示装置１００が送信するマーカー５１０表示用のデータを受信して、記憶する（ステップＳ１７３）。

この図２１の処理により、操作対象物５は新たなマーカー５１０を表示するためのデータを取得し、記憶し、このデータに基づき新たなマーカー５１０を表示可能となる。また、頭部装着型表示装置１００は、操作対象物５が表示するマーカー５１０に対応して、ＡＲコンテンツを表示する。このＡＲコンテンツは、図１７に例示した操作表示Ｂ３１〜Ｂ３９のように操作表示を含むので、操作対象物５がマーカー５１０を表示した状態で、カメラ６１で操作対象物５を撮像することにより、マーカー５１０に対応する位置にＡＲコンテンツを表示できる。頭部装着型表示装置１００は、新たなマーカー５１０が含むマーク５１１を検出し、このマーク５１１に対応する操作表示を含むＡＲコンテンツを表示できる。また、新しいマーカー５１０が含むマーク５１１の操作を検出した場合、このマーク５１１に対応して表示される操作表示で指定される処理を実行できる。

この場合、操作対象物５において表示できるマーカー５１０の種類を増やすことができる。新しいマーカー５１０は、以前に表示可能であったマーカー５１０とマーク５１１を共通化する等の制約がないため、様々なデザインのマーカー５１０を表示できるという利点がある。さらに、頭部装着型表示装置１００では、操作を検出可能なマーク５１１の種類を変更し、或いは追加できる。さらに、マーク５１１に対する操作に応じて実行する機能を、追加できる。例えば、操作対象物５と頭部装着型表示装置１００との間で実行する通信プロトコルを変更したり、操作対象物５の外観に合わせた新しいデザインの操作表示を表示したり、新しい機能を実行したりすることが可能となる。これにより、従って、頭部装着型表示装置１００に対して使用する操作対象物５を追加することが可能となり、操作対象物５の変更に伴って頭部装着型表示装置１００が実行する機能、用途を変更できる。

ここで、ＡＲコンテンツデータ１２３及び対象デバイスデータ１２７は、頭部装着型表示装置１００が有する機能を設定するデータに限定されない。例えば、ＡＲコンテンツデータ１２３と、対象デバイスデータ１２７に加え、ＡＲコンテンツデータ１２３に基づいて制御部１４０が実行する機能に対応したプログラムを含んでもよい。また、ＡＲコンテンツデータ１２３と対象デバイスデータ１２７に、プログラムを含めた、一つのアプリケーションプログラムとすることもできる。この場合、制御部１４０が実行する機能そのものを追加あるいは変更できる。例えば、オペレーティングシステム１５０が、Android（登録商標）OS、ｉＯＳ（登録商標）、Ｗｉｎｄｏｗｓ（登録商標）等、モバイルデバイス（スマートフォンやタブレット型コンピューター）用のＯＳである場合が想定される。この場合、ＡＲコンテンツデータ１２３と対象デバイスデータ１２７とを含むアプリケーションプログラムとすることで、容易に、ＡＲコンテンツデータ１２３と対象デバイスデータ１２７とを一体としてダウンロードし設定できる。使用者が新しい操作対象物５を購入した場合、或いは、新しいマーカー５１０を使用する場合に、この新しい操作対象物５やマーカー５１０に対応する頭部装着型表示装置１００の設定を、容易に行うことが可能となる。

以上説明したように、本発明を適用した実施形態の表示システム１は、頭部装着型表示装置１００と、画像表示部２０とは別体として構成される操作デバイス３とを備える。頭部装着型表示装置１００は、使用者の頭部に装着され、外景を透過して使用者に視認させる透過型の画像表示部２０を有する。操作デバイス３は、使用者の操作を受け付ける操作部として、ベゼル３０１、タッチパネル３０４、ボタン３０５、リュウズ型操作子３０７、及び、ボタン３０９を備える。操作部に９軸センサー３６８を含んでもよいし、９軸センサー３６８を有するバンド部３００を操作部としてもよい。頭部装着型表示装置１００は、画像表示部２０の表示を制御する制御部１４０を備える。制御部１４０は、操作デバイス３に対する操作に基づき、画像表示部２０を透過する外景に関連するＡＲ表示を画像表示部２０によって行う。この構成によれば、頭部装着型表示装置１００が外景に関連するＡＲ表示を行う際に、頭部装着型表示装置１００とは別体の操作デバイス３の操作を反映するので、直感的な入力操作によってＡＲ表示を制御できる。

例えば、操作デバイス３において、図７（Ａ）に示した設定によりバンド部３００の操作部に対して機能が割り当てられた後、操作部に接触する、指を動かす、等の操作デバイス３に対する操作を、頭部装着型表示装置１００が検出してもよい。具体的には、カメラ６１の撮像画像データにもとづき、操作デバイス３に対する操作を制御部１４０が検出してもよい。
また、操作デバイス３は、操作部が受け付けた操作を示すデータを頭部装着型表示装置１００に送信する無線通信部３６１を備えてもよい。この場合、制御部１４０は、操作デバイス３から送信されるデータに基づき、操作部に対応付けられた態様で、画像表示部２０を透過する外景に関連するＡＲ表示を画像表示部２０によって行う。

また、制御部１４０は、操作デバイス３から送信されるデータに基づいて操作部の操作を検出し、検出した操作に対応して、画像表示部２０に表示中のＡＲ表示を変更する。このため、ＡＲ表示を行っている間に、操作デバイス３を操作することにより、ＡＲ表示を変更させることができる。

制御部１４０は、操作部に対するＡＲ表示の割り当てを設定可能であってもよい。
この場合において、制御部１４０は、操作部に対するＡＲ表示の割り当てを更新する処理を実行可能であってもよい。

また、操作部は接触操作を検出するタッチパネル３０４を備える。タッチパネル３０４は、複数の操作領域を有し、制御部１４０は、タッチパネル３０４で操作された操作領域に割り当てられたＡＲ表示を、画像表示部２０によって表示する。このため、操作デバイス３でタッチ操作を行うことにより、ＡＲ表示に対する様々な操作が可能となる。
また、操作デバイス３が有する制御部３５０は、操作デバイス３の動きを操作として検出してもよい。
操作デバイス３を動かすことで頭部装着型表示装置１００に対する操作を行える。

また、操作デバイス３はカメラ３１１を備え、カメラ３１１の撮像画像を含むデータを無線通信部３６１により頭部装着型表示装置１００に送信してもよい。この場合、頭部装着型表示装置１００とは別体の操作デバイス３で撮像した撮像画像を、頭部装着型表示装置１００で表示できる。また、表示システム１では、操作デバイス３で、頭部装着型表示装置１００の認証を行うことができる。

図１１及び図１２は、操作デバイス３の操作に対応して頭部装着型表示装置１００が実行する機能の例を示す図である。
図１１（Ａ）は、ファイル及びフォルダーを選択する選択用画面Ａ４１を、使用者の視野ＶＲに表示した例を示す。このように選択候補（この例ではフォルダー）が複数並べて表示された状態で、ベゼル３０１を回転させる操作が行われると、候補が順に選択される。
また、図１１（Ｂ）には、操作デバイス３または制御装置１０の操作により表示される仮想キーボードＡ４３を示す。仮想キーボードＡ４３には文字及び記号に対応する仮想キーが複数配置される。仮想キーボードＡ４３の表示中にベゼル３０１を回転させる操作が行われると、仮想キーボードＡ４３において仮想キーが順に選択される。

図１１（Ａ）、（Ｂ）に示すように、使用者の視野ＶＲに表示される複数の候補から一つの候補を選択する操作では、ベゼル３０１を回転させる操作が好適である。この場合、ベゼル３０１の回転方向に合わせて、候補が順に切り替えて選択される方向を変更してもよい。また、選択を確定する操作は、例えば、操作デバイス３が備えるボタン３０５で行うことができる。ベゼル３０１は、直感的に操作が可能であり、操作デバイス３の平面部３００Ａの外周部に位置するため、手探りによる操作が可能である。このため、使用者は、画像表示部２０により表示されるＡＲ表示に注目しながらベゼル３０１を操作できる。さらに、平面部３００Ａとは離れた位置に設けられ、他のスイッチ式の操作子よりも大型のボタン３０５により、選択を確定できるので、より容易に操作を行える。ボタン３０５は、位置及びサイズが、ボタン３０９やリュウズ型操作子３０７とは異なるので、ベゼル３０１と同様に、手探りによる操作が容易である。このため、画像表示部２０が表示する画像を見ながら、直感的で確実な操作を行える。

なお、図１１（Ａ）、（Ｂ）に示すように、使用者の視野ＶＲに表示される複数の候補から一つの候補を選択する操作で、音声による選択が可能な構成としてもよい。この場合、候補に付された固有の名称、番号、符号等を音声で指定すると、この音声を操作デバイス３がマイク３６５で検出し、検出した音声のデータを頭部装着型表示装置１００に送信し、制御部１４０が設定を行ってもよい。

図１２は、ベゼル３０１の操作に応じて画面を遷移させる例について、遷移される画面の構成を模式的に示す。
頭部装着型表示装置１００のオペレーティングシステム１５０が、ｉＯＳ（登録商標）やＡｎｄｒｏｉｄ（登録商標）のように、複数の画面を切り替え、遷移させる構成である場合、ベゼル３０１の操作をより効果的に使用できる。図１２の例では、ベゼル３０１を回転させる操作により、画面１〜４の４つの画面を順に切り替えて表示できる。また、画面１〜４を順次選択する場合の送り方向は、ベゼル３０１の操作方向に対応して、正方向と逆方向にしてもよい。

頭部装着型表示装置１００では、画面１〜４のうち画面２が表示された状態で、ボタン３０５の操作により表示画面を確定した後、さらに、ベゼル３０１の操作により画面２、２−１、２−２、２−３の４つの画面を遷移させることができる。この場合も、４つの画面を順次選択する場合の送り方向は、ベゼル３０１の操作方向に対応して、正方向と逆方向にしてもよい。
図１２に示す例ではボタン３０５の確定操作を経ずにベゼル３０１を回転させることで、素早く表示画面を遷移させることができる。

表示システム１の動作は上記の例に限定されず、例えば、次のような動作を実行できる。
頭部装着型表示装置１００は、操作デバイス３の操作に対応して、画像表示部２０で表示する画像（文字を含む）の拡大、縮小、回転、コピー、ページ送り等を行ってもよい。この場合、操作デバイス３における操作は、ベゼル３０１の回転、ボタン３０９の押圧操作、ボタン３０５の押圧操作、及びリュウズ型操作子３０７を回転させる操作だけでなく、例えば、タッチパネル３０４に対し指で接触する操作を含んでもよい。例えば、ベゼル３０１を右に回す操作に対応して表示画像を拡大し、ベゼル３０１を左に回す操作に対応して表示画像を縮小してもよい。また、タッチパネル３０４の中央部に対する指の接触を検出した場合に表示画像を拡大し、タッチパネル３０４の周縁部（例えば、左下枠近傍）への指の接触を検出した場合に表示画像を縮小してもよい。また、タッチパネル３０４に接触した指が、接触したまま右回し、左回し等の回転運動をした場合に、この回転に合わせて表示画像を回転させてもよい。

操作デバイス３は、９軸センサー３６８の検出値を頭部装着型表示装置１００に送信することもできる。また、操作デバイス３がＧＰＳ検出部を備えた構成とし、ＧＰＳ検出部で検出する現在位置を、頭部装着型表示装置１００に送信してもよい。この場合、頭部装着型表示装置１００の制御部１４０は、操作デバイス３から受信する検出値と３軸センサー１１３の検出値とに基づき、操作デバイス３と頭部装着型表示装置１００との相対位置を検出できる。そして、検出した相対位置の変化に対応して、表示画像の拡大、縮小、回転など表示の変更を行っても良く、画像のフェードイン表示、フェードアウト表示を行ってもよい。この場合、操作デバイス３を頭部装着型表示装置１００に近づけたり、遠ざけたりする操作により、表示を変更できる。さらに、操作デバイス３が、９軸センサー３６８の検出値のデータを頭部装着型表示装置１００に送信することで、操作デバイス３を動かす操作を、頭部装着型表示装置１００が検出できる。

このように、頭部装着型表示装置１００は、使用者の頭部に装着される表示部を有する頭部装着型表示装置１００と、表示部とは別体として構成される操作デバイス３とを備える。操作デバイス３は、使用者の操作を受け付ける操作部として、ベゼル３０１、タッチパネル３０４、ボタン３０５、リュウズ型操作子３０７、及び、ボタン３０９を備える。操作部に９軸センサー３６８を含んでもよいし、９軸センサー３６８を有するバンド部３００を操作部としてもよい。頭部装着型表示装置１００は、画像表示部２０の表示を制御する制御部１４０を備え、制御部１４０は、操作デバイス３の操作に基づき、画像表示部２０で表示する画面を遷移させる処理を含む表示制御を行う。このため、頭部装着型表示装置１００とは別体の操作デバイス３を操作し、画面を遷移させるので、より直感的な入力操作により頭部装着型表示装置１００を制御できる。

また、操作デバイス３は、操作部が受け付けた操作を示すデータを頭部装着型表示装置１００に送信する無線通信部３６１を備える。頭部装着型表示装置１００の制御部１４０は、操作デバイス３から送信されるデータに基づき、操作デバイス３の操作を検出する。このため、操作デバイス３における操作を、頭部装着型表示装置１００において確実に検出できる。また、操作の検出に係る頭部装着型表示装置１００の負荷を軽減できる。

また、操作デバイス３は、使用者の身体に装着される装着部としてのバンド部３００を有し、使用者の身体に装着される操作デバイス３を用いて、より直感的な入力操作を行い、頭部装着型表示装置１００を制御できる。
また、操作デバイス３が有する操作部は、例えばベゼル３０１及び回転検出部３６７により、回転を伴う操作を検出する。頭部装着型表示装置１００の制御部１４０は、操作デバイス３から回転を伴う操作を示すデータが送信された場合に、操作の回転方向に対応して、画像表示部２０で表示する画面を、例えば図１０に示すように遷移させる。このため、回転を伴う操作により画面を遷移させることができ、より直感的な操作を実現できる。また、操作の方向と画面の遷移の方向とが対応するため、例えば手探りの操作を行うことが可能となる。

また、頭部装着型表示装置１００の制御部１４０は、操作デバイス３から送信されるデータに基づき、画像表示部２０で表示する画像の拡大、縮小或いは回転のいずれかを含む表示制御を行ってもよい。
また、操作デバイス３が有する制御部３５０は、操作デバイス３の動きを操作として検出してもよい。
また、画像表示部２０は、外景を透過して使用者に視認させる透過型の表示部であってもよい。この場合、使用者が外景を見ながら操作デバイス３を操作して、頭部装着型表示装置１００の表示を制御できる。頭部装着型表示装置１００のみを注視せず、直感的に操作できるため、外景を見ながら頭部装着型表示装置１００を使用する場合に好適である。

また、頭部装着型表示装置１００は、操作デバイス３に出力用のデータを送信し、操作デバイス３は、頭部装着型表示装置１００が送信する出力用のデータを通信部で受信し、受信した出力用のデータを出力することができる。

また、制御部１４０は、カメラ６１の撮像画像から操作対象物４、５を検出した場合に、操作対象物４、５に対応付けられた操作用画像を、操作対象物４、５に対応して画像表示部２０に表示する。これにより、頭部装着型表示装置１００とは別体の操作対象物４、５に関する情報を、使用者にわかりやすく提供できる。

また、制御部１４０は、操作用画像を表示した操作対象物４、５に対する操作を検出した場合に、操作内容と操作用画像とに対応する処理を実行する。これにより、操作対象物４、５に対する操作に対応して頭部装着型表示装置１００が処理を実行するので、操作対象物４、５を使用して直感的な操作を実現できる。

また、制御部１４０は、操作対象物４、５に対する操作を検出する検出部として機能するので、操作対象物４、５に対する操作を速やかに検出できる。また、操作対象物４、５が通信機能を有していなくても、頭部装着型表示装置１００が操作対象物４、５の操作に対応して処理を実行できる。制御部１４０は、カメラ６１の撮像画像に基づいて、操作対象物４、５を検出し、操作対象物４、５に対する操作を検出する。これにより、操作対象物４、５が通信を実行しなくても、頭部装着型表示装置１００が操作対象物４、５を検出し、操作対象物４、５に対する操作を検出できる。

頭部装着型表示装置１００は、操作対象物が有する操作部に対応する操作用の画像をＡＲ表示するためのＡＲコンテンツデータ１２３を記憶する記憶部１２０を備える。制御部１４０は、記憶部１２０が記憶するＡＲ表示用のデータを変更可能である。これにより、操作対象物に対応してＡＲ表示を行う機能について、データを変更できるので、新しい操作対象物や未知の操作対象物に対応するようデータを変更できる。従って、ＡＲ表示の対象とする操作対象物に関する制約を減らすことができ、利便性の向上を図ることができる。

また、記憶部１２０が記憶するＡＲコンテンツデータ１２３は、操作用の画像である要素と操作対象物が有する操作部とを対応付ける位置属性データ１２３ｂを含む。制御部１４０は、ＡＲコンテンツデータ１２３における操作用の画像と操作対象物が有する操作部との対応を変更可能できる。

また、本発明は、使用者の頭部に装着され、外景を透過して使用者に視認させる透過型の画像表示部２０を有する頭部装着型表示装置１００を制御する制御部１４０が実行可能なプログラムとして実現できる。このプログラムを制御部１４０のＣＰＵが実行することにより、画像表示部２０とは別体として構成される操作デバイス３、操作対象物４、５を検出できる。また、制御部１４０は、操作デバイス３、操作対象物４、５が備える操作部を検出し、検出した操作部に対応する位置に、操作用の画像をＡＲ表示する。また、制御部１４０は、操作用の画像に関する操作を検出し、操作を検出した操作用の画像に対応する処理を実行する。これにより、頭部装着型表示装置１００が、頭部装着型表示装置１００とは別体の操作デバイス３、操作対象物４、５に対応する操作用の画像を表示し、この操作用の画像に関する操作に応じて処理を実行する。このため、操作デバイス３、操作対象物４、５を利用して頭部装着型表示装置１００に処理を実行させることが可能となり、頭部装着型表示装置１００に対する直感的な操作が可能となる。

なお、この発明は上記実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
本実施形態では、頭部装着型表示装置１００のユーザーインターフェイスとして使用される操作デバイス３が、腕時計の形状を有する例を説明した。本発明はこれに限定されず、頭部装着型表示装置１００を使用する使用者の身体に装着するのに適した形状であればよい。例えば、指輪型、ブローチ型、ペンダントまたはネックレス型、或いはペン型のデバイスとすることができる。また、使用者の頭部や耳に装着されるヘッドホン型、イヤホン型、ヘッドセット型のデバイスとしてもよい。この場合、音声を出力するヘッドホンやイヤホンに、本発明の操作デバイスとしての機能を実装してもよい。音声を出力するスピーカーと、使用者が発話する音声を集音するマイクとを備えたヘッドセットに、本発明の操作デバイスとしての機能を実装してもよい。この構成においてヘッドホン、イヤホン、スピーカーは骨伝導スピーカーであってもよく、マイクは骨伝導マイクであってもよい。この場合、デバイスは、少なくとも、接触操作または押圧操作を検出する操作子を備え、無線通信部３６１、ＬＥＤ３１３、カメラ３１１、及び９軸センサー３６８を備えた構成とすることが望ましい。これらの構成では、表示に係る動作を除き、上記実施形態と同様の効果を得ることができる。

また、上記実施形態の頭部装着型表示装置１００は、バンド部３００により使用者の身体に固定され保持される構成としたが、本発明の操作デバイスの構成は、これに限定されない。すなわち、操作デバイスは、バンド部３００等により固定することは必須ではなく、使用者の身体に装着可能であればよい。従って、上述のようにペンダントまたはネックレス型、或いは他のアクセサリーを模した形状等であってもよく、帽子やヘルメットの形状としてもよく、その他の衣服の形態とすることもできる。
さらに、本発明の操作デバイスは、使用者の身体に直接装着され、或いは固定される態様に限定されない。例えば、使用者の身体に装着または固定される腕時計、アクセサリー、衣服、鞄、帽子、ヘルメットに、操作デバイスに相当する機器を固定してもよい。この場合の操作デバイスは、例えば、操作デバイス３からバンド部３００を除いた構成とすることができる。

また、表示システム１は、複数の操作デバイスを備えた構成としてもよい。例えば操作デバイス３のように腕時計型の操作デバイスと、ペン型の操作デバイスなど、異なる形態の操作デバイスを含んでもよい。この場合、複数の操作デバイスにおける操作に基づき、頭部装着型表示装置１００における表示画面を遷移させてもよい。複数の操作デバイスにおける操作を頭部装着型表示装置１００が検出する方法は、複数の操作デバイスから操作を示すデータを送信する方法等が挙げられる。

さらに、操作デバイス３が慣性センサーである９軸センサー３６８の検出値を示すデータを頭部装着型表示装置１００に送信することで、操作デバイス３の動きを操作として表示システム１が動作してもよい。
例えば、９軸センサー３６８の検出値と、頭部装着型表示装置１００が備える９軸センサー６６の検出値とを用いて、制御部１４０が、画像表示部２０を透過して視認される外景と画像表示部２０の表示領域との対応付けを行ってもよい。この場合、複数の装置が備えるセンサーの検出値を用いることで、より高精度で対応付けを行うことができる。この対応付けは、画像表示部２０においてＡＲコンテンツを表示する場合等に利用できる。

また、操作デバイス３は、使用者の心拍数を計測するセンサーを備えてもよい。具体的には、使用者の腕に光を照射して拍動を検出するセンサー等を用いることができる。この場合、操作デバイス３は、計測した心拍数に関するデータを頭部装着型表示装置１００に送信し、頭部装着型表示装置１００において心拍数に係るデータを表示してもよい。例えば、心拍数を統計的に処理した結果の表示や、心拍数のリアルタイム表示、心拍数と９軸センサー３６８の検出値とを処理し、使用者の活動量や体調管理に関するデータを表示してもよい。また、心拍数に基づき使用者の興奮度や疲労度を推定し、画像表示部２０における表示色や表示する画像の内容を、使用者に快適性をもたらすように変更してもよい。

また、上記実施形態では、操作デバイス３が電源部３６０により動作する電子機器である構成を例に挙げて説明したが、本発明はこれに限定されない。例えば、操作デバイス３のベゼル３０１、及び／又は、平面部３００Ａでベゼル３０１に隣接する位置に、ベゼル３０１の回転方向における位置を特定するためのマーカーを設けてもよい。この場合、デバイス制御部１８３が、カメラ６１で撮像する撮像画像データに基づき、ベゼル３０１の回転方向と回転量を求めることができる。また、操作デバイス３が電源部３６０を備えている場合であっても、上記の動作により、頭部装着型表示装置１００がベゼル３０１の回転方向と回転量とを求める構成としてもよい。この動作は、例えば、電源部３６０の消費を抑える省電力動作モードの動作として実現できる。電源部３６０の残容量が少ない場合に、操作デバイス３または頭部装着型表示装置１００の制御で、表示システム１が省電力動作モードに移行する構成とすることができる。

また、操作対象物４、５は、頭部装着型表示装置１００が有する画像表示部２０とは別体として構成されるものであって、操作用画像を表示する対象であるリュウズ４０１、ベゼル４０２などの各部またはマーカー５１０を有するものであればよい。このため、例えば、筆記具を含む文房具、工具、家具、コンピューター周辺機器、電話機などの各種電子機器など、画像表示部２０と別体であれば何であってもよく、使用者が身体に装着するものに限定されないし、その本来の機能も制限はない。

また、上記実施形態の画像表示部２０に代えて、例えば、帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者の左眼に対応して画像を表示する表示部と、使用者の右眼に対応して画像を表示する表示部とを備えていればよい。また、本発明の表示装置は、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。この場合、使用者の身体に対する位置を位置決めする部分、及び、当該部分に対し位置決めされる部分を装着部とすることができる。

さらに、上記実施形態では、画像表示部２０と制御装置１０とが分離され、接続部４０を介して接続された構成を例に挙げて説明した。本発明はこれに限定されず、制御装置１０と画像表示部２０とが一体に構成され、使用者の頭部に装着される構成とすることも可能である。
また、制御装置１０として、ノート型コンピューター、タブレット型コンピューター又はデスクトップ型コンピューターを用いてもよい。また、制御装置１０として、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。また、制御装置１０が画像表示部２０と分離して構成され、制御装置１０と画像表示部２０との間で無線通信により各種信号を送受信する構成としてもよい。

また、例えば、画像表示部２０において画像光を生成する構成として、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としてもよい。また、画像光を生成する構成として、ＬＣＯＳ（Liquid crystal on silicon, LCoSは登録商標）や、デジタル・マイクロミラー・デバイス等を用いることもできる。

また、画像光を使用者の眼に導く光学系としては、外部から装置に向けて入射する外光を透過する光学部材を備え、画像光とともに使用者の眼に入射させる構成を採用できる。また、使用者の眼の前方に位置して使用者の視界の一部または全部に重なる光学部材を用いてもよい。さらに、レーザー光等を走査させて画像光とする走査方式の光学系を採用してもよい。また、光学部材の内部で画像光を導光させるものに限らず、使用者の眼に向けて画像光を屈折及び／または反射させて導く機能のみを有するものであってもよい。
例えば、レーザー網膜投影型のヘッドマウントディスプレイに対して本発明を適用することも可能である。すなわち、光射出部が、レーザー光源と、レーザー光源を使用者の眼に導く光学系とを備え、レーザー光を使用者の眼に入射させて網膜上を走査し、網膜に結像させることにより、使用者に画像を視認させる構成を採用してもよい。
また、本発明を、ＭＥＭＳミラーを用いた走査光学系を採用し、ＭＥＭＳディスプレイ技術を利用した表示装置に適用することも可能である。すなわち、信号光形成部と、信号光形成部が射出する光を走査するＭＥＭＳミラーを有する走査光学系と、走査光学系により走査される光によって虚像が形成される光学部材とを光射出部として備えてもよい。この構成では、信号光形成部が射出した光がＭＥＭＳミラーにより反射され、光学部材に入射し、光学部材の中を導かれて、虚像形成面に達する。ＭＥＭＳミラーが光を走査することにより、虚像形成面に虚像が形成され、この虚像を使用者が眼で捉えることで、画像が認識される。この場合の光学部品は、例えば上記実施形態の右導光板２６１及び左導光板２６２のように、複数回の反射を経て光を導くものであってもよく、ハーフミラー面を利用してもよい。

また、図３及び図４に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよい。また、制御部１４０が実行するプログラムは、記憶部１２０または制御装置１０内の記憶装置に記憶されてもよいし、外部の装置に記憶されたプログラムを通信部１１７又はインターフェイス１２５を介して取得して実行する構成としてもよい。
また、制御装置１０に形成された構成のうち、操作部１１１のみが単独の使用者インターフェイス（ＵＩ）として形成されてもよい。また、制御装置１０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、制御部１４０に相当する制御部が制御装置１０と画像表示部２０との両方に形成されていてもよい。また、制御装置１０に形成された制御部１４０と画像表示部２０に形成されたＣＰＵとが行う機能が別々に分けられている構成としてもよい。

また、本発明は、頭部装着型表示装置１００以外の種々の形態で実現することも可能である。例えば、頭部装着型表示装置１００の制御方法、頭部装着型表示装置１００を有する情報システム、頭部装着型表示装置１００の制御方法および前記情報システムを実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、および、コンピュータープログラムを配信するための、インターネット等の通信回線に接続されたサーバー装置、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号等の形態で実現できる。

１…表示システム、２…フレーム、３…操作デバイス、４、５…操作対象物、１０…制御装置、２０…画像表示部（表示部）、２１…右保持部、２２…右表示駆動部、２３…左保持部、２４…左表示駆動部、２６…右光学像表示部、２８…左光学像表示部、６１…カメラ、６６…９軸センサー、１００…頭部装着型表示装置（表示装置）、１１７…通信部、１２０…記憶部、１４０…制御部、１５０…オペレーティングシステム、１６０…画像処理部、１７０…表示制御部、１８１…撮像処理部、１８３…デバイス制御部、１８５…ＡＲ表示制御部、１８７…音声処理部、３００…バンド部、３００Ａ…平面部、３０１…ベゼル、３０３…ＬＣＤ、３０４…タッチパネル（タッチ操作部）、３０５…ボタン、３０７…リュウズ型操作子、３０９…ボタン、３１０…光学部、３１１…カメラ（撮像部）、３１３…ＬＥＤ、３３１〜３３４、３４１〜３４５…機能表示、３５０…制御部、３５１…操作検出部、３５２…出力制御部、３５３…撮像制御部、３５４…通信制御部、３５５…音声処理部、３６０…電源部、３６１…無線通信部、３６２…ＮＦＣ部、３６５…マイク、３６６…ボタン操作部、３６７…回転検出部、３６８…９軸センサー、３６９…バイブレーター、３７０…スピーカー。

Claims

使用者の頭部に装着され、外景を透過して前記使用者に視認させる透過型の表示部を有する表示装置と、前記表示部とは別体として構成される操作対象物とを備え、
前記表示装置は、前記表示部を透過する前記外景に関連するＡＲ表示として、操作用画像を前記表示部によって表示させる制御部と、
前記操作用画像のデータ、および、前記操作用画像のデータに前記操作対象物を対応付ける対象デバイスデータを記憶する記憶部と、
撮像部と、
を備え、
前記操作用画像は複数の要素を含み、各々の前記要素が選択された場合に前記制御部が実行する処理が定められ、
前記表示装置の前記制御部は、
前記撮像部の撮像画像に基づいて前記操作対象物を検出し、
検出された前記操作対象物が前記対象デバイスデータにより対応付けられている前記操作用画像のデータに基づき、前記操作用画像を、前記表示部を透過して視認される前記操作対象物に対応する位置に表示させ、
前記撮像部の撮像画像をもとに、前記使用者が前記操作用画像の前記要素を選択する操作を検出し、選択された前記要素に定められた処理を実行すること、
を特徴とする表示システム。
前記記憶部は、前記操作用画像のデータとして、前記要素を表示するための要素表示データと、前記要素が選択された場合に前記制御部が実行する処理を定める対応処理データと、を記憶し、
前記制御部は、前記対応処理データが定める処理を変更可能であること、
を特徴とする請求項１記載の表示システム。
前記操作対象物は、前記使用者の操作を受け付ける操作部と、
前記操作部が受け付けた操作を示すデータを前記表示装置に送信する通信部と、を備えた操作デバイスであり、
前記表示装置の前記制御部は、前記操作デバイスの操作に基づき、前記表示部によってＡＲ表示を行うこと、
を特徴とする請求項１または２記載の表示システム。
前記表示装置の前記制御部は、前記操作デバイスの操作に基づき、前記操作部に対応付けられた態様で、前記表示部を透過する前記外景に関連するＡＲ表示を前記表示部によって行うこと、
を特徴とする請求項３記載の表示システム。
前記制御部は、前記操作デバイスから送信されるデータに基づいて前記操作部の操作を検出し、検出した操作に対応して、前記表示部に表示中の前記ＡＲ表示を変更すること、
を特徴とする請求項３または４記載の表示システム。
前記制御部は、前記操作部に対する前記ＡＲ表示の割り当てを設定可能であること、
を特徴とする請求項３から５のいずれかに記載の表示システム。
前記制御部は、前記操作部に対する前記ＡＲ表示の割り当てを更新する処理を実行可能であること、
を特徴とする請求項６記載の表示システム。
前記表示装置の前記制御部は、前記操作デバイスと前記表示装置との相対位置を求め、求めた相対位置に基づき前記表示部でＡＲ表示を行うこと、
を特徴とする請求項３から７のいずれかに記載の表示システム。
前記操作部は接触操作を検出するタッチ操作部を備え、
前記タッチ操作部は複数の操作領域を有し、
前記制御部は、前記タッチ操作部で操作された操作領域に割り当てられた前記ＡＲ表示を、前記表示部によって表示すること、
を特徴とする請求項３から８のいずれかに記載の表示システム。
前記操作デバイスは撮像部を備え、前記撮像部の撮像画像を含むデータを前記通信部により前記表示装置に送信すること、
を特徴とする請求項３から９のいずれかに記載の表示システム。
前記表示装置の前記制御部は、前記操作対象物に対する操作に基づき、前記表示部により表示する画面を遷移させる処理を含む表示制御を行う制御部を備えること、
を特徴とする請求項３から１０のいずれかに記載の表示システム。
前記表示装置の前記制御部は、前記操作デバイスから送信されるデータに基づき、前記操作デバイスの操作を検出すること、
を特徴とする請求項３から１１のいずれかに記載の表示システム。
前記操作デバイスが有する前記操作部は、回転を伴う操作を検出し、
前記表示装置の前記制御部は、前記操作デバイスから回転を伴う操作を示すデータが送信された場合に、前記操作の回転方向に対応して、前記表示部により表示する画面を遷移させること、
を特徴とする請求項１２記載の表示システム。
前記表示装置の前記制御部は、前記操作デバイスから送信されるデータに基づき、前記表示部により表示する画像の拡大、縮小或いは回転のいずれかを含む表示制御を行うこと、
を特徴とする請求項１２または１３に記載の表示システム。
前記表示装置は、前記操作デバイスに出力用のデータを送信し、
前記操作デバイスは、前記表示装置が送信する出力用のデータを前記通信部で受信し、受信した出力用のデータを出力すること、
を特徴とする請求項３から１４のいずれかに記載の表示システム。
前記表示装置の前記制御部は、前記操作デバイスから撮像画像を含むデータを受信し、受信したデータに基づいて、前記操作デバイスと前記表示装置との相対位置を求めること、
を特徴とする請求項１０記載の表示システム。
前記操作デバイスが有する前記操作部は、前記操作デバイスの動きを操作として検出すること、
を特徴とする請求項３から１６のいずれかに記載の表示システム。
前記制御部は、前記表示装置が備える前記撮像部の撮像画像に基づいて、前記操作デバイスと前記表示装置との相対位置を求めること、
を特徴とする請求項３から１７のいずれかに記載の表示システム。
前記表示装置の前記制御部は、前記操作デバイスと前記表示装置との相対位置を求め、求めた相対位置に基づき前記表示部の表示を制御すること、
を特徴とする請求項１６または１８に記載の表示システム。
前記操作対象物は、前記使用者の身体に装着される装着部を有すること、
を特徴とする請求項１から１９のいずれかに記載の表示システム。
前記表示装置は、前記操作対象物に対する操作を検出する検出部を備えること、
を特徴とする請求項１から２０のいずれかに記載の表示システム。
前記制御部は、前記撮像部の撮像画像に基づいて前記操作対象物を検出し、前記操作対象物に対する操作を検出すること、
を特徴とする請求２１記載の表示システム。
使用者の頭部に装着され、外景を透過して前記使用者に視認させる透過型の表示部と、撮像部と、を有する表示装置を、前記表示部とは別体として構成される操作対象物を用いて制御する制御方法において、
前記表示装置が備える記憶部に、操作用画像のデータ、及び、前記操作用画像のデータに前記操作対象物を対応付ける対象デバイスデータを記憶させ、
前記操作用画像は複数の要素を含み、各々の前記要素が選択された場合に制御部が実行する処理が定められた構成とし、
前記表示装置の前記制御部により、
前記撮像部の撮像画像に基づいて前記操作対象物を検出し、
検出した前記操作対象物が前記対象デバイスデータにより対応付けられている前記操作用画像のデータに基づき、前記操作用画像を、前記表示部を透過して視認される前記操作対象物に対応する位置に、前記表示部を透過する前記外景に関連するＡＲ表示として前記表示部によって表示させ、
前記撮像部の撮像画像をもとに、前記使用者が前記操作用画像の前記要素を選択する操作を検出し、選択された前記要素に定められた処理を実行すること、
を特徴とする表示装置の制御方法。
前記表示装置により、前記操作対象物に対する操作に基づき、前記表示部により表示する画面を遷移させる処理を含む表示制御を行うこと、
を特徴とする請求項２３記載の表示装置の制御方法。
使用者の頭部に装着され、外景を透過して前記使用者に視認させる透過型の表示部と、撮像部とを有する表示装置を制御する制御部が実行可能なプログラムであって、
前記表示装置が備える記憶部に、操作用画像のデータ、及び、前記操作用画像のデータに前記操作対象物を対応付ける対象デバイスデータを記憶させ、
前記操作用画像は複数の要素を含み、各々の前記要素が選択された場合に前記制御部が実行する処理が定められた構成とし、
前記制御部により、
前記表示部とは別体として構成される操作対象物を前記撮像部の撮像画像に基づいて検出し、
操作用画像のデータに前記操作対象物を対応付ける対象デバイスデータに基づき、前記操作用画像を、前記表示部を透過して視認される前記操作対象物に対応する位置に、前記表示部を透過する前記外景に関連するＡＲ表示として前記表示部によって表示させ、
前記撮像部の撮像画像をもとに、前記使用者が前記操作用画像の前記要素を選択する操作を検出し、選択された前記要素に定められた処理を実行すること、
を特徴とするプログラム。