JP6638325B2 - 表示装置、及び、表示装置の制御方法 - Google Patents

Description

本発明は、表示装置、及び、表示装置の制御方法に関する。

従来、表示部とともに各種のセンサーを備えた表示装置が知られている（例えば、特許文献１参照）。この種の表示装置では、センサーの検出値を表示の制御に利用することがある。例えば、特許文献１に記載の表示装置は、センサー部を備え、センサー部によりセンシングをした結果を示す信号と、インタラプトを示す信号とが、制御装置の制御部に入力され、センシング結果をもとに制御部が表示制御を行う。

特開２０１３−１１４１６０号公報

ところで、センサーの種類によって、サンプリング周期や検出値のデータ量は様々である。このため、制御部は、接続されたセンサーの仕様に合わせて検出値を取得する必要があり、センサーの種類や数が多くなるほど負荷が増大する。また、多くのセンサーを制御部に接続すると、回路構成の複雑化を招く可能性もあった。
本発明は上記事情に鑑みてなされたものであり、センサーを備えた表示装置において、センサーの検出結果を利用する制御部の処理負荷を軽減し、回路構成の複雑化を回避することを目的とする。

上記目的を達成するために、本発明は、表示部を備えた表示装置であって、複数のセンサーと、前記表示装置を制御する第１制御部と、複数の前記センサーに接続され、前記第１制御部に、複数の前記センサーが検出した検出結果を含むデータを送信する第２制御部と、を備えることを特徴とする。
本発明によれば、複数のセンサーに接続する第２制御部が、表示装置を制御する第１制御部に対してセンサーの検出結果を含むデータを送信するので、第１制御部が直接センサーを制御しなくても良い。このため、表示装置を制御する第１制御部の負荷を増やすことなく、第２制御部により、例えばセンサーの仕様や特性の差に対応した制御を実行できる。従って、第１制御部の処理負荷を軽減し、第１制御部の消費電力の低減、及び、第１制御部の処理速度の向上を図ることができる。また、第１制御部を含む回路構成の複雑化を回避できる。

また、本発明は、上記表示装置において、前記第２制御部は、前記第１制御部の制御に基づき、複数の前記センサーの制御をとりまとめて実行すること、を特徴とする。
本発明によれば、第１制御部の負荷を増やすことなく、多数のセンサーの制御や、センサーに対するきめ細かい制御を行うことが可能となる。

また、本発明は、上記表示装置において、前記第２制御部は、複数の前記センサーの検出結果を、複数の異なるサンプリング周期で取得すること、を特徴とする。
本発明によれば、第１制御部は、サンプリング周期が異なる複数のセンサーの検出結果を取得でき、この検出結果を取得する処理における第１制御部の処理負荷を軽減できる。

また、本発明は、上記表示装置において、前記第２制御部は、第１サンプリング周期、及び、前記第１サンプリング周期より長い第２サンプリング周期で、複数の前記センサーの検出結果を取得し、前記第１サンプリング周期で取得した前記センサーの検出結果と、前記第２サンプリング周期で取得した前記センサーの検出結果とを含むデータを前記第１制御部に送信すること、を特徴とする。
本発明によれば、第１制御部は、サンプリング周期が異なる複数のセンサーの検出結果を取得でき、この検出結果を取得する処理における第１制御部の処理負荷を軽減できる。

また、本発明は、上記表示装置において、前記第２制御部は、前記第１制御部に対し、第１サンプリング周期に対応する第１送信形式、及び、第２サンプリング周期に対応する第２送信形式のいずれかの送信形式で前記センサーの検出結果を含むデータを送信可能であること、を特徴とする。
本発明によれば、センサーに接続される第２制御部が、センサーの検出結果を含むデータを、サンプリング周期に対応する送信形式で送信する。このため、センサーに適したサンプリング周期で、センサーの検出結果の取得、及び、検出結果を含むデータの送信を行える。

また、本発明は、上記表示装置において、前記第２制御部は、前記第１制御部から要求されるサンプリング周期に基づき、前記第１送信形式、及び、前記第２送信形式のいずれかの送信形式を選択して前記センサーの検出結果を含むデータを送信すること、を特徴とする。
本発明によれば、要求されるサンプリング周期で検出結果を取得し、サンプリング周期に適した送信形式で検出結果を含むデータを送信できる。

また、本発明は、上記表示装置において、前記第１制御部と前記第２制御部との間で、前記第２制御部が前記データを前記第１制御部に送信するタイミングを同期させる送信同期処理と、前記第２制御部から前記第１制御部に送信する前記データの設定を行うこと、を特徴とする。
本発明によれば、センサーの検出結果を含むデータを送信する第２制御部と、センサーの検出結果を含むデータを処理する第１制御部とが同期することにより、データ処理を効率よく行うことができる。

また、本発明は、上記表示装置において、前記第２制御部に接続され、前記第２制御部に接続される前記センサーに関する情報を記憶するセンサー情報記憶部を備え、前記第１制御部は、前記センサー情報記憶部に記憶された情報に基づき、前記第２制御部が送信する前記データの設定を行うこと、を特徴とする。
本発明によれば、センサーに関する情報を用いて、センサーの検出結果を含むデータの設定を行うので、例えばセンサーの特性や仕様等に合わせて設定を行うことができる。

また、本発明は、上記表示装置において、前記センサー情報記憶部は、前記センサーに対応して、前記センサーを識別するセンサー識別子と、前記センサーの検出結果を取得するサンプリング周期とを含む情報を記憶すること、を特徴とする。
本発明によれば、センサーを識別し、それぞれのセンサーに対応するサンプリング周期で検出結果を取得できる。

また、本発明は、上記表示装置において、前記センサー情報記憶部は、前記センサーに対応して前記第２制御部が実行する処理を示す情報を記憶すること、を特徴とする。
本発明によれば、センサーに対応して実行する処理を、予め記憶する情報により指定できる。

また、本発明は、上記表示装置において、前記第１制御部は前記第２制御部に対して制御信号を送信し、前記第２制御部は、前記第１制御部から初期化を指示する制御信号を受信した場合に、前記第２制御部に接続される前記センサーを初期化すること、を特徴とする。
本発明によれば、制御信号をトリガーとしてセンサーの初期化を行うことができる。

また、本発明は、上記表示装置において、前記第２制御部は、前記第１制御部から初期化を指示する制御信号を受信して前記センサーを初期化した場合に、前記第１制御部と同期処理を実行し、その後に取得する前記センサーの検出結果に検出時刻の時刻データを付加して前記第１制御部に送信すること、を特徴とする。
本発明によれば、制御信号をトリガーとして第１制御部と第２制御部とが同期し、センサーの初期化を行うことができる。これにより、センサーの検出結果を含むデータに対し、検出したタイミングを加味した処理を行うことができる。

また、本発明は、上記表示装置において、前記第１制御部に接続され、前記制御信号を光信号として送信する送信部と、前記第２制御部に接続され、前記送信部が送信する前記光信号を受信する受信部と、を備えること、を特徴とする。
本発明によれば、光信号を利用することにより制御信号を送受信する際の遅延を抑制できる。

また、本発明は、上記表示装置において、前記第１制御部に接続され、ＧＰＳ信号に基づき時刻情報を取得する第１ＧＰＳ受信部と、前記第２制御部に接続され、ＧＰＳ信号に基づき時刻情報を取得する第２ＧＰＳ受信部と、を備え、前記第１制御部及び前記第２制御部は、前記第１ＧＰＳ受信部及び前記第２ＧＰＳ受信部がそれぞれ取得する時刻情報に基づく同期処理を実行すること、を特徴とする。
本発明によれば、ＧＰＳ信号を利用して第１制御部と第２制御部とを同期させることができる。

また、本発明は、上記表示装置において、前記第２制御部は、前記第１制御部から設定更新を要求する前記制御信号を受信した場合に、前記第２制御部に接続される前記センサーを初期化すること、を特徴とする。
本発明によれば、第１制御部の制御によりセンサーの初期化を実行できる。

また、本発明は、上記表示装置において、前記同期処理において、前記第１制御部から前記第２制御部に所定のタイミングで同期信号を送信し、前記第２制御部は前記第１制御部が送信する同期信号に基づいて、同期を行うこと、を特徴とする。
本発明によれば、同期信号を送受信することにより、第１制御部と第２制御部とを同期させることができる。

また、本発明は、上記表示装置において、前記同期処理の実行後、前記第１制御部及び前記第２制御部のそれぞれはタイムコードのカウントを実行し、前記第２制御部は、前記センサーの検出結果を取得した場合に、取得した検出結果に取得時刻を示すタイムコードを付加した前記データを送信すること、を特徴とする。
本発明によれば、センサーの検出結果を含むデータを送受信することにより、検出結果を取得した時刻を送受信できる。

また、本発明は、上記表示装置において、前記第２制御部は、前記センサーの検出結果を取得した場合に、取得時刻を示すタイムコードを、取得した検出結果のデータに埋め込み、或いは検出結果に付加して前記データを生成して送信すること、を特徴とする。
本発明によれば、センサーの検出結果を含むデータにタイムコードを埋め込むことで、データの送受信に係る処理の効率を向上できる。

また、本発明は、上記表示装置において、前記第２制御部は、前記第１制御部からコマンドを受信した場合に、前記センサーの検出結果に基づき予め設定された所定処理を実行すること、を特徴とする。
本発明によれば、センサーの検出値を取得する第２制御部が、センサーの検出結果に基づく処理を実行するので、第１制御部の処理負荷をより一層、軽減できる。

また、本発明は、上記表示装置において、前記第２制御部は、前記所定処理として、前記センサーの検出結果に基づき、前記表示部の環境に対応して前記表示部の表示状態を変化させる処理を実行すること、を特徴とする。
本発明によれば、第１制御部の負荷を増大させずに、表示部の環境に対応して表示状態を変化させる処理を実行できる。

また、本発明は、上記表示装置において、前記第２制御部は設定データを記憶する設定データ記憶部に接続され、前記設定データ記憶部に記憶された設定データを用いて前記所定処理を実行すること、を特徴とする。
本発明によれば、センサーの検出値を取得する第２制御部が、設定データに基づき表示状態を変化させる処理を実行できる。
ここで、設定データを記憶する設定データ記憶部を、第２制御部と一体に、或いは第２制御部の内部に設けてもよい。

また、本発明は、上記表示装置において、前記第２制御部は、前記センサーから取得した検出結果を前記第１制御部に送信するまで保持すること、を特徴とする。
本発明によれば、第２制御部がセンサーの検出結果を取得するタイミングに制約を受けることなく、第１制御部が処理を実行できるので、処理負荷を、より一層軽減できる。

また、本発明は、上記表示装置において、前記第２制御部は、いずれかの前記センサーの検出結果に基づき、他の前記センサーの検出結果に対する処理を実行し、処理後の検出結果を前記第１制御部に送信すること、を特徴とする。
本発明によれば、センサーの検出結果に基づき他のセンサーの検出結果を補正したり、センサーフュージョン等の処理を行ったりすることができる。

また、本発明は、上記表示装置において、前記第１制御部を有する第１本体と、前記第２制御部及び前記表示部を有する第２本体と、を備え、前記第２制御部は前記第２本体に設けられた複数の前記センサーに接続され、前記第１本体にはセンサーが設けられ、前記第１本体に設けられたセンサーは前記第１制御部に接続され、前記第１制御部は、前記第２本体の前記センサーの検出結果及び位置と、前記第１本体に設けられた前記センサーの検出結果及び位置とに基づき、特性値を算出すること、を特徴とする。
本発明によれば、第１制御部が、第１制御部を有する第１本体のセンサーの検出結果と、表示部を備える第２本体のセンサーの検出結果とを利用して、特性値を得ることができ、この特性値の算出に関して第１制御部の負荷を軽減できる。

また、本発明は、上記表示装置において、前記第１制御部、及び前記表示部を有する第１本体と、前記第２制御部を有する第２本体と、を備え、前記第２制御部は前記第２本体に設けられた複数の前記センサーに接続され、前記第１本体にはセンサーが設けられ、前記第１本体に設けられたセンサーは前記第１制御部に接続され、前記第１制御部は、前記第１本体に設けられた前記センサー及び前記第２本体に設けられた前記センサーの検出結果に基づき制御を行うこと、を特徴とする。
本発明によれば、表示部とともに第１本体に設けられた第１制御部が、第２本体のセンサーの検出結果を取得でき、この第２本体のセンサーの検出結果を取得する処理の負荷を軽減できる。

また、上記目的を達成するために、本発明の表示装置の制御方法は、表示部と、複数のセンサーと、第１及び第２制御部とを備えた表示装置を制御し、複数の前記センサーに接続された前記第２制御部により、複数の前記センサーに対する制御をとりまとめて行い、複数の前記センサーの検出結果を含むデータを、前記表示装置を制御する前記第１制御部に送信すること、を特徴とする。
本発明によれば、表示装置を制御する第１制御部が直接センサーを制御する必要がなく、この第１制御部の負荷を増やすことなく、第２制御部により、例えばセンサーの仕様や特性の差に対応した制御を実行できる。このため、第１制御部の処理負荷を軽減し、第１制御部の消費電力の低減、及び、第１制御部の処理速度の向上を図ることができる。また、第１制御部を含む回路構成の複雑化を回避できる。

第１実施形態の頭部装着型表示装置の外観構成を示す説明図。 画像表示部の光学系の構成を示す図。 頭部装着型表示装置を構成する各部の機能ブロック図。 頭部装着型表示装置の動作を示すフローチャートであり、（Ａ）は制御装置の動作を示し、（Ｂ）は画像表示部の動作を示す。 頭部装着型表示装置の動作を示すフローチャートであり、（Ａ）は制御装置の動作を示し、（Ｂ）は画像表示部の動作を示す。 頭部装着型表示装置の動作を示すフローチャートであり、（Ａ）は制御装置の動作を示し、（Ｂ）は画像表示部の動作を示す。 第２実施形態の頭部装着型表示装置の動作を示すフローチャートであり、（Ａ）は制御装置の動作を示し、（Ｂ）は画像表示部の動作を示す。 画像表示部が記憶するセンサーデータの構成例を示す模式図。 画像表示部が制御装置に送信するデータの送信形式の例を示す模式図。 頭部装着型表示装置の動作を示すフローチャートであり、（Ａ）は制御装置の動作を示し、（Ｂ）は画像表示部の動作を示す。 第３実施形態の頭部装着型表示装置を構成する各部の機能ブロック図。 第４実施形態の通信システムの外観構成を示す説明図。 第４実施形態の通信システムを構成する各部の機能ブロック図。

［第１実施形態］
図１は、本発明を適用した第１実施形態に係る頭部装着型表示装置１００（表示装置）の外観構成を示す説明図である。
頭部装着型表示装置１００は、使用者の頭部に装着された状態で使用者に虚像を視認させる画像表示部２０（表示部）と、画像表示部２０を制御する制御装置１０と、を備えている。制御装置１０は、使用者が頭部装着型表示装置１００を操作するコントローラーとしても機能する。

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有する。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、カメラ６１（撮像部）と、マイク６３とを備える。右光学像表示部２６及び左光学像表示部２８は、それぞれ、使用者が画像表示部２０を装着した際に使用者の右及び左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、互いに連結されている。

右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１及び左保持部２３は、眼鏡のテンプル（つる）のようにして、使用者の頭部に画像表示部２０を保持する。

右表示駆動部２２と左表示駆動部２４とは、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。なお、右表示駆動部２２及び左表示駆動部２４を総称して単に「表示駆動部」とも呼び、右光学像表示部２６及び左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。

表示駆動部２２，２４は、図２を参照して後述する液晶ディスプレイ２４１，２４２（Liquid Crystal Display、以下「ＬＣＤ２４１，２４２」と呼ぶ）、投写光学系２５１，２５２等を含む。
右光学像表示部２６及び左光学像表示部２８は、導光板２６１，２６２（図２）と、調光板２０Ａとを備える。導光板２６１，２６２は、光透過性の樹脂等によって形成され、表示駆動部２２，２４が出力する画像光を、使用者の眼に導く。調光板２０Ａは、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部２０の表側を覆うように配置される。調光板２０Ａは、光透過性がほぼ無いもの、透明に近いもの、光量を減衰させて光を透過するもの、特定の波長の光を減衰又は反射するもの等、種々のものを用いることができる。調光板２０Ａの光学特性（光透過率など）を適宜選択することにより、外部から右光学像表示部２６及び左光学像表示部２８に入射する外光量を調整して、虚像の視認のしやすさを調整できる。本実施形態では、少なくとも、頭部装着型表示装置１００を装着した使用者が外の景色を視認できる程度の光透過性を有する調光板２０Ａを用いる場合について説明する。調光板２０Ａは、右導光板２６１及び左導光板２６２を保護し、右導光板２６１及び左導光板２６２の損傷や汚れの付着等を抑制する。
調光板２０Ａは、右光学像表示部２６及び左光学像表示部２８に対し着脱可能としてもよく、複数種類の調光板２０Ａを交換して装着可能としてもよいし、省略してもよい。

カメラ６１は、右光学像表示部２６と左光学像表示部２８との境目部分に配置される。使用者が画像表示部２０を装着した状態で、カメラ６１の位置は、水平方向においては使用者の両眼のほぼ中間であり、鉛直方向においては使用者の両眼より上である。カメラ６１は、ＣＣＤやＣＭＯＳ等の撮像素子及び撮像レンズ等を備えるデジタルカメラであり、単眼カメラであってもステレオカメラであってもよい。
カメラ６１は、頭部装着型表示装置１００の表側方向、換言すれば、頭部装着型表示装置１００を装着した状態における使用者の視界方向の少なくとも一部の外景を撮像する。カメラ６１の画角の広さは適宜設定可能であるが、カメラ６１の撮像範囲が、使用者が右光学像表示部２６、左光学像表示部２８を通して視認する外界を含む範囲であることが好ましい。さらに、調光板２０Ａを通した使用者の視界の全体を撮像できるようにカメラ６１の撮像範囲が設定されているとより好ましい。

図２は、画像表示部２０が備える光学系の構成を示す要部平面図である。図２には説明のため使用者の左眼ＬＥ及び右眼ＲＥを図示する。
左表示駆動部２４は、ＬＥＤ等の光源と拡散板とを有する左バックライト２２２を備える。また、左表示駆動部２４は、左バックライト２２２の拡散板で拡散された光の光路上に配置される透過型の左ＬＣＤ２４２、および、左ＬＣＤ２４２を透過した画像光Ｌを導くレンズ群等を備えた左投写光学系２５２を備える。左ＬＣＤ２４２は、複数の画素をマトリクス状に配置した透過型液晶パネルである。

左投写光学系２５２は、左ＬＣＤ２４２から射出された画像光Ｌを平行状態の光束にするコリメートレンズを有する。コリメートレンズにより平行状態の光束にされた画像光Ｌは、左導光板２６２（光学素子）に入射される。左導光板２６２は、画像光Ｌを反射する複数の反射面が形成されたプリズムであり、画像光Ｌは、左導光板２６２の内部において複数回の反射を経て左眼ＬＥ側に導かれる。左導光板２６２には、左眼ＬＥの眼前に位置するハーフミラー２６２Ａ（反射面）が形成される。
ハーフミラー２６２Ａで反射した画像光Ｌは左眼ＬＥに向けて左光学像表示部２８から射出され、この画像光Ｌが左眼ＬＥの網膜に像を結び、使用者に画像を視認させる。

右表示駆動部２２は、左表示駆動部２４と左右対称に構成される。右表示駆動部２２は、ＬＥＤ等の光源と拡散板とを有する右バックライト２２１を備える。また、右表示駆動部２２は、右バックライト２２１の拡散板で拡散された光の光路上に配置される透過型の右ＬＣＤ２４１、および、右ＬＣＤ２４１を透過した画像光Ｌを導くレンズ群等を備えた右投写光学系２５１を備える。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。

右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光Ｌを平行状態の光束にするコリメートレンズを有する。コリメートレンズにより平行状態の光束にされた画像光Ｌは、右導光板２６１（光学素子）に入射される。右導光板２６１は、画像光Ｌを反射する複数の反射面が形成されたプリズムであり、画像光Ｌは、右導光板２６１の内部において複数回の反射を経て右眼ＲＥ側に導かれる。右導光板２６１には、右眼ＲＥの眼前に位置するハーフミラー２６１Ａ（反射面）が形成される。
ハーフミラー２６１Ａで反射した画像光Ｌは右眼ＲＥに向けて右光学像表示部２６から射出され、この画像光Ｌが右眼ＲＥの網膜に像を結び、使用者に画像を視認させる。

使用者の右眼ＲＥには、ハーフミラー２６１Ａで反射した画像光Ｌと、調光板２０Ａを透過した外光ＯＬとが入射する。左眼ＬＥには、ハーフミラー２６２Ａで反射した画像光Ｌと、調光板２０Ａを透過した外光ＯＬとが入射する。このように、頭部装着型表示装置１００は、内部で処理した画像の画像光Ｌと外光ＯＬとを重ねて使用者の眼に入射させ、使用者にとっては、調光板２０Ａを透かして外景が見え、この外景に重ねて、画像光Ｌによる画像が視認される。このように、頭部装着型表示装置１００は、シースルー型の表示装置として機能する。

なお、左投写光学系２５２と左導光板２６２とを総称して「左導光部」とも呼び、右投写光学系２５１と右導光板２６１とを総称して「右導光部」と呼ぶ。右導光部及び左導光部の構成は上記の例に限定されず、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。

画像表示部２０（図１）は、制御装置１０に接続部４０を介して接続する。接続部４０は、制御装置１０に接続される本体コード４８、右コード４２、左コード４４、及び、連結部材４６を備えるハーネスである。右コード４２及び左コード４４は、本体コード４８が２本に分岐し、右コード４２は右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続される。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続される。右コード４２、左コード４４、及び、本体コード４８は、デジタルデータを伝送可能なものであればよく、例えば金属ケーブルや光ファイバーで構成できる。また、右コード４２と左コード４４とを一本のコードにまとめた構成としてもよい。

連結部材４６は、本体コード４８と、右コード４２及び左コード４４との分岐点に設けられ、イヤホンプラグ３０を接続するためのジャックを有する。イヤホンプラグ３０からは、右イヤホン３２及び左イヤホン３４が延伸する。イヤホンプラグ３０の近傍にはマイク６３が設けられる。イヤホンプラグ３０からマイク６３までは一本のコードにまとめられ、マイク６３からコードが分岐して、右イヤホン３２と左イヤホン３４のそれぞれに繋がる。

マイク６３は、例えば図１に示すように、マイク６３の集音部が使用者の視線方向を向くように配置され、音声を集音して、音声信号を出力する。マイク６３は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。

画像表示部２０と制御装置１０とは、接続部４０を介して各種信号を伝送する。本体コード４８の連結部材４６とは反対側の端部、及び、制御装置１０には、互いに嵌合するコネクター（図示略）が設けられる。本体コード４８のコネクターと制御装置１０のコネクターとを嵌合し、或いは、この嵌合を外すことで、制御装置１０と画像表示部２０とを接離できる。

制御装置１０は、画像表示部２０の本体（第２本体）とは別体となる箱形の本体（第１本体）を有し、頭部装着型表示装置１００を制御する。制御装置１０は、決定キー１１、点灯部１２、表示切替キー１３、輝度切替キー１５、方向キー１６、メニューキー１７、及び電源スイッチ１８を含むスイッチ類を備える。また、制御装置１０は、使用者が手指で操作するトラックパッド１４を備える。

決定キー１１は、押下操作を検出して、制御装置１０で操作された内容を決定する信号を出力する。点灯部１２は、ＬＥＤ（Light Emitting Diode）等の光源を備え、光源の点灯状態により、頭部装着型表示装置１００の動作状態（例えば、電源のＯＮ／ＯＦＦ）を通知する。表示切替キー１３は、押下操作に応じて、例えば、画像の表示モードの切り替えを指示する信号を出力する。

トラックパッド１４は、接触操作を検出する操作面を有し、操作面に対する操作に応じて操作信号を出力する。操作面における検出方式は限定されず、静電式、圧力検出式、光学式等を採用できる。輝度切替キー１５は、押下操作に応じて画像表示部２０の輝度の増減を指示する信号を出力する。方向キー１６は、上下左右方向に対応するキーへの押下操作に応じて操作信号を出力する。電源スイッチ１８は、頭部装着型表示装置１００の電源オン／オフを切り替えるスイッチである。

図３は、頭部装着型表示装置１００を構成する各部の機能ブロック図である。
制御装置１０は、制御装置１０及び画像表示部２０を制御する制御部１１０（第１制御部）を備える。制御部１１０は、例えばマイクロプロセッサーで構成され、制御部１１０が処理するデータ等を一時的に記憶するメモリー１２１、及び、制御部１１０が処理するデータ等を不揮発的に記憶するフラッシュメモリー１２２に接続される。メモリー１２１及びフラッシュメモリー１２２はいずれも半導体素子により構成され、データバスを介して制御部１１０に接続する。

制御部１１０には、電源制御部１２３、ＵＩ（ユーザーインターフェイス）制御部１２４、無線Ｉ／Ｆ（インターフェイス）制御部１２５、音声制御部１２６、センサーＩＣ１２７、及び、外部Ｉ／Ｆ（インターフェイス）部１２８が接続される。
頭部装着型表示装置１００は、電源として一次電池または二次電池を備え、電源制御部１２３は、これら電池に接続されるＩＣで構成される。電源制御部１２３は、制御部１１０の制御に従って電池の残容量の検出を行い、検出値のデータ、または残容量が設定値以下となったことを示すデータを制御部１１０に出力する。

ＵＩ制御部１２４は、図１に示した決定キー１１、表示切替キー１３、トラックパッド１４、輝度切替キー１５、方向キー１６、及びメニューキー１７の各操作部、点灯部１２、及び、トラックパッド１４が接続されるＩＣである。上記各操作部は入力部として機能し、点灯部１２及びトラックパッド１４は出力部として機能し、頭部装着型表示装置１００のユーザーインターフェイスを構成する。ＵＩ制御部１２４は、上記操作部における操作を検出して、操作に対応する操作データを制御部１１０に出力する。また、ＵＩ制御部１２４は、制御部１１０の制御に従って、点灯部１２の点灯／消灯、及びトラックパッド１４における表示を行う。

無線Ｉ／Ｆ制御部１２５は、無線通信インターフェイス（図示略）に接続される制御ＩＣであり、制御部１１０の制御に従って、上記無線通信インターフェイスによる通信を実行する。制御装置１０が備える無線通信インターフェイスは、例えば、無線ＬＡＮ（ＷｉＦｉ（登録商標））、Ｍｉｒａｃａｓｔ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の規格に準じた無線データ通信を実行する。
音声制御部１２６は、右イヤホン３２、左イヤホン３４、及びマイク６３に接続され、Ａ／Ｄ（アナログ／ディジタル）コンバーターやアンプ等を備えるＩＣである。音声制御部１２６は、制御部１１０から入力される音声データに基づき右イヤホン３２及び左イヤホン３４から音声を出力させる。また、音声制御部１２６は、マイク６３が集音する音声に基づき音声データを生成して制御部１１０に出力する。

センサーＩＣ１２７は、例えば、３軸加速度センサー、３軸ジャイロセンサー、及び３軸地磁気センサーを備え、例えば上記センサーを具備する１つのＩＣで構成される。センサーＩＣ１２７は、制御部１１０の制御に従って検出を実行し、各センサーの検出値を示すデータを制御部１１０に出力する。センサーＩＣ１２７が備えるセンサーの数や種類は制限されず、照度センサー、温度センサー、圧力センサー等を備えてもよい。
外部Ｉ／Ｆ部１２８は、頭部装着型表示装置１００を外部機器に接続するインターフェイスである。例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスを用いることができ、無線通信インターフェイスで構成してもよい。外部Ｉ／Ｆ部１２８には、頭部装着型表示装置１００に対してコンテンツを供給する種々の外部機器を接続できる。これらの外部機器は、頭部装着型表示装置１００に画像を供給する画像供給装置ということもでき、例えば、パーソナルコンピューター（ＰＣ）、携帯電話端末、携帯型ゲーム機等が用いられる。また、外部Ｉ／Ｆ部１２８は、右イヤホン３２、左イヤホン３４及びマイク６３に繋がる端子を設けてもよく、この場合、音声制御部１２６が処理するアナログ音声信号は外部Ｉ／Ｆ部１２８を介して入出力される。

制御部１１０には、Ｉ／Ｆ（インターフェイス）部１１５が接続される。Ｉ／Ｆ部１１５は接続部４０に一端に接続するコネクター等を備えたインターフェイスであり、接続部４０の他端は画像表示部２０のＩ／Ｆ部１５５に接続される。
制御部１１０は、接続部４０を介して、画像表示部２０が備えるサブ制御部１５０とデータ通信を実行する。

制御部１１０は、内蔵するＲＯＭに記憶するプログラムを実行して、頭部装着型表示装置１００の各部を制御する。制御部１１０は、センサーＩＣ１２７から入力されるデータに基づきセンサーの検出値を取得して、メモリー１２１に記憶する。このとき、制御部１１０は、センサーの検出値に対応付けて、検出値を取得した時刻を示すタイムスタンプ情報を付加して記憶する。
また、制御部１１０は、接続部４０を介して、画像表示部２０が備えるセンサー（第１センサー１６１、第２センサー１６２、ＧＰＳ１６３、及び、照度センサー１６４）の検出値を示すデータを受信する。制御部１１０は、受信したデータをメモリー１２１に記憶する。制御部１１０が受信するデータは、サブ制御部１５０が付加したタイムスタンプ情報を含む。制御部１１０は、上記のようにセンサーＩＣ１２７の検出値に付加するタイムスタンプ情報を、サブ制御部１５０が付加したタイムスタンプ情報と区別できる態様で付加し、メモリー１２１に記憶する。メモリー１２１には、センサーの検出値が、データの属性の１つとしてタイムスタンプ情報が付加されたデータ形式で記憶される。ここで、制御部１１０は、センサーの検出値のデータを、フラッシュメモリー１２２に記憶してもよい。

制御部１１０は、外部Ｉ／Ｆ部１２８または無線Ｉ／Ｆ制御部１２５により接続する外部機器から、コンテンツのデータを受信して、フラッシュメモリー１２２に記憶する。コンテンツのデータは、画像表示部２０で表示するテキストや画像等のデータであり、右イヤホン３２及び左イヤホン３４で出力する音声のデータを含んでもよい。制御部１１０は、頭部装着型表示装置１００を制御してコンテンツを再生する。具体的には、制御部１１０は、コンテンツの表示用のデータをサブ制御部１５０に送信して表示を実行させ、コンテンツの音声データを音声制御部１２６に出力して音声を出力させる。また、外部機器から受信するコンテンツのデータが、再生に関する条件を示すデータを含む場合、制御部１１０は、この条件に従ってコンテンツを再生する。例えば、画像表示部２０において検出される位置や傾き等のセンサーの検出値が、条件に該当する場合に、検出値に対応するテキストや画像を表示させる。

画像表示部２０は、制御部１１０と通信を実行し、画像表示部２０の各部を制御するサブ制御部１５０を備える。サブ制御部１５０は、例えばマイコン、ＳｏＣ（System-on-a-chip）等のマイクロプロセッサーで構成され、Ｉ／Ｆ部１５５により接続部４０に接続され、接続部４０を介して制御部１１０との間でデータ通信を実行する。サブ制御部１５０は、プロセッサーの他、プロセッサーが実行する制御プログラムを不揮発的に記憶するＲＯＭ（Read Only Memory）、ワークエリアを構成するＲＡＭ（Random Access Memory）を有してもよい。サブ制御部１５０は、内蔵するＲＯＭまたは後述するＥＥＰＲＯＭ１６５に記憶するプログラムを実行し、各種の機能を実現する。
サブ制御部１５０には、第１センサー１６１、第２センサー１６２、ＧＰＳ１６３、及び照度センサー１６４のセンサー類が接続される。第１センサー１６１及び第２センサー１６２は、それぞれ、１または複数のセンサーを内蔵するＩＣである。本実施形態では一例として、第１センサー１６１は、３軸加速度センサー、及び３軸ジャイロセンサーを内蔵し、第２センサー１６２は、３軸加速度センサー、３軸ジャイロセンサー、及び、３軸地磁気センサーを備える。
第１センサー１６１及び第２センサー１６２は、サブ制御部１５０の制御により駆動され、内蔵する各センサーの検出値を示すデータを、サブ制御部１５０に出力する。

第１センサー１６１と第２センサー１６２は、加速度センサー及びジャイロセンサーを備える点で共通するが、第１センサー１６１は狭レンジ、高分解能センサーとして構成され、第２センサー１６２は広レンジ、低分解能センサーとして構成される。すなわち、第１センサー１６１の加速度センサー及びジャイロセンサーは、第２センサー１６２の加速度センサー及びジャイロセンサーに比べ、分解能が高く、検出範囲が狭い。別の言い方をすれば、第２センサー１６２の加速度センサー及びジャイロセンサーは、第１センサー１６１の加速度センサー及びジャイロセンサーに比べ、分解能が低く、検出範囲が広い。

ＧＰＳ１６３は、ＧＰＳ衛星や屋内に設置される疑似ＧＰＳ送信機（図示略）が送信する位置検出用の信号を受信して、画像表示部２０の現在位置を算出し、算出したデータをサブ制御部１５０に出力する。ＧＰＳ１６３は、位置検出用の信号を受信する受信機としての機能のみ有する構成としてもよく、この場合、ＧＰＳ１６３が出力するデータに基づきサブ制御部１５０が現在位置を算出する処理を行えば良い。
照度センサー１６４は、画像表示部２０において表面に露出する位置に配置され、サブ制御部１５０の制御により照度を検出し、検出値を示すデータをサブ制御部１５０に出力する。

ＥＥＰＲＯＭ１６５（設定データ記憶部）は、サブ制御部１５０が実行する処理に関するデータ等を不揮発的に記憶する。
また、サブ制御部１５０にはカメラ６１が接続され、サブ制御部１５０は、カメラ６１を制御して撮像を実行させ、カメラ６１の撮像画像データを制御部１１０に送信する。

サブ制御部１５０には、右ＬＣＤ２４１を駆動して描画を行うＬＣＤ駆動部１６７、及び、左ＬＣＤ２４２を駆動して描画を行うＬＣＤ駆動部１６８が接続される。サブ制御部１５０は、制御部１１０からコンテンツのデータを受信し、受信したデータに含まれるテキストや画像を表示する表示データを生成してＬＣＤ駆動部１６７、１６８に出力し、表示を実行させる。
また、サブ制御部１５０は、右バックライト２２１を駆動するバックライト駆動部１６９、及び、左バックライト２２２を駆動するバックライト駆動部１７０に接続される。サブ制御部１５０は、バックライト駆動部１６９、１７０に対し、ＰＷＭ制御用のタイミングデータを含む制御データを出力する。バックライト駆動部１６９、１７０は、サブ制御部１５０から入力される制御データに基づき、右バックライト２２１、左バックライト２２２に駆動電圧とパルスを供給して、右バックライト２２１、左バックライト２２２を点灯させ、光量の制御を行う。

制御部１１０とサブ制御部１５０とを接続する接続部４０は、制御データバス４１Ａ、画像データバス４１Ｂ、表示データバス４１Ｃ、４１Ｄを含む複数のデータバスを有する。これらのデータバスは、互いに独立してデータを伝送可能であるが、各データバスを構成する信号線が物理的に区分された構成であってもよいし、各データバスが共通の信号線を用いて仮想的あるいは論理的に構成されてもよい。
制御データバス４１Ａは、制御部１１０からサブ制御部１５０に対して送信される制御データ、サブ制御部１５０が制御部１１０に送信するセンサーの検出値のデータ等を伝送する。画像データバス４１Ｂは、サブ制御部１５０から制御部１１０に、カメラ６１の撮像画像データを伝送する。表示データバス４１Ｃは、右表示駆動部２２で表示するデータを伝送し、表示データバス４１Ｄは左表示駆動部２４で表示するデータを伝送する。

画像表示部２０は、第１センサー１６１、第２センサー１６２、ＧＰＳ１６３、及び照度センサー１６４の複数のセンサーを備え、これらのセンサーのサンプリング周期は大きく異なることもある。例えば、第１センサー１６１及び第２センサー１６２の加速度センサーのサンプリング周期（サンプリング頻度）は２００回／秒以上となることが考えられるが、照度センサー１６４のサンプリング周期は１回／秒程度でも十分に役立つことが考えられる。これらのセンサーは、サブ制御部１５０がサンプリング周期の設定を行い、設定したサンプリング周期に従ってサブ制御部１５０が検出値を取得する。サブ制御部１５０は、各センサーからサンプリングした検出値のデータを、制御データバス４１Ａにおいて時分割で制御部１１０に送信する。このため、サンプリング周期の遅い（サンプリング頻度が低い、或いは、サンプリング間隔が長いと言い換えられる）センサーを制御するために制御データバス４１Ａが長時間占有されることがない。これにより、制御データバス４１Ａのオーバーヘッドを低減し、制御データバス４１Ａで多数のセンサーの検出値を効率よく伝送できる。また、サブ制御部１５０は、ＲＡＭ（図示略）を内蔵し、センサーの検出値を取得した場合はＲＡＭに一時的に記憶する。サブ制御部１５０は、ＲＡＭに記憶したデータの送信タイミングを調整して、データを制御データバス４１Ａに送出する。このため、サブ制御部１５０の動作も、各センサーのサンプリング周期の制約を受けにくく、センサーの制御のためにサブ制御部１５０の処理が占有される事態を防止できる。

図４は、頭部装着型表示装置１００の動作を示すフローチャートであり、（Ａ）は制御装置１０の動作を示し、（Ｂ）は画像表示部２０の動作を示す。
頭部装着型表示装置１００においてセンサーの検出値に基づく処理を実行する場合、制御部１１０が、センサーの有効化を指示するコマンドを生成してサブ制御部１５０に送信する（ステップＳ１１）。このコマンドは制御データバス４１Ａを介して伝送され、サブ制御部１５０はコマンドを受信する（ステップＳ２１）。サブ制御部１５０はコマンドに従って、第１センサー１６１、第２センサー１６２、ＧＰＳ１６３、及び照度センサー１６４を有効化し（ステップＳ２２）、サンプリング周期をセンサー毎に設定する（ステップＳ２３）。続いて、制御部１１０は、検出を行う対象のセンサー、或いは、必要な検出値の種類を指定する検出値要求コマンドを生成して送信し（ステップＳ１２）、この検出値要求コマンドをサブ制御部１５０が受信する（ステップＳ２４）。ステップＳ２２では、第１センサー１６１、第２センサー１６２、ＧＰＳ１６３、及び照度センサー１６４の少なくとも一部について、電源供給の開始や初期化等の処理が行われる。サブ制御部１５０は、各センサーのうち、ステップＳ２４で受信する検出値要求コマンドで要求された検出値に対応するセンサーのみを、ステップＳ２４を受信した後に有効化及びサンプリング周期の設定をしてもよい。また、ステップＳ１１で送信されるコマンド及びステップＳ１２で送信される検出値要求コマンドが、ひとまとまりのデータ、或いは１つのコマンドとして送受信されてもよい。

サブ制御部１５０は、ステップＳ２４で受信した検出値要求コマンドで要求された検出値が、複合処理により算出する必要のある検出値か否かを判定する（ステップＳ２５）。例えば、検出値要求コマンドが、第１センサー１６１、第２センサー１６２、ＧＰＳ１６３、及び照度センサー１６４の検出値を指定する場合、複合処理は必要ないと判定し（ステップＳ２５；ＮＯ）、後述するステップＳ２７に移行する。
これに対し、検出値要求コマンドで、画像表示部２０が備えるセンサーの一部または全部の検出値に基づく演算処理で求められる検出値が指定された場合、サブ制御部１５０は、複合処理が必要と判定する（ステップＳ２５；ＹＥＳ）。この場合、サブ制御部１５０は、実行すべき処理を設定し（ステップＳ２６）、ステップＳ２７に移行する。

サブ制御部１５０が実行する処理は、例えば、センサーフュージョン処理、補間処理、及び、代替処理である。センサーフュージョン処理は、第１センサー１６１、第２センサー１６２、ＧＰＳ１６３、及び照度センサー１６４の検出値のうち、複数の検出値を用いた演算処理を行い、センサーで直接検出できない種類の値を擬似的に求める処理である。これにより、第１センサー１６１、第２センサー１６２、ＧＰＳ１６３、及び照度センサー１６４の各センサーのうち一つ、或いは少数のセンサーでは直接検出できない種類の値を求めることができる。また、センサーフュージョン処理では、上記のセンサーの一つ、または複数のセンサーで直接検出し、センサーが検出値として出力できる種類の値を、より高精度で求める目的でも利用できる。つまり、センサーの検出値の基づく演算処理により、センサーが直接検出できない制度の値を求めることもできる。例えば、第１センサー１６１及び第２センサー１６２が出力する角速度の検出値に基づき、センサーフュージョン処理を行い、より高精度の角速度の検出値を求めることができる。加速度や地磁気の検出値、ＧＰＳ１６３、及び照度センサー１６４の検出値についても同様である。

補間処理で、サブ制御部１５０は、第１センサー１６１、第２センサー１６２、ＧＰＳ１６３、及び照度センサー１６４の検出値のいずれかについて、他のセンサーの検出値を用いて、ノイズ成分の除去、補間データの作成及び付加を行う演算処理を行う。サブ制御部１５０は、演算処理後の値を、実際の検出値と同様に制御部１１０に送信する。この場合、修正された検出値や演算処理で補完された検出値が、実際の検出値と同様に送信されるので、制御部１１０は、実際の検出値と同じように処理を実行できるので、制御部１１０が実行する処理に影響を与えずに、処理の精度向上を図ることができる。

また、代替処理は、画像表示部２０が備えるセンサーのうち故障または正常に動作しないセンサーや、仕様上の都合で画像表示部２０が備えていないセンサーの検出値を擬似的に求める処理である。
例えば、サブ制御部１５０は、画像表示部２０を装着した使用者の頭部の中心または顔面の中心の位置における、加速度センサーの検出値を求めることができる。この場合、サブ制御部１５０は、第１センサー１６１及び第２センサー１６２の加速度センサーの検出値と、画像表示部２０において第１センサー１６１及び第２センサー１６２が取り付けられた位置とに基づく演算を行う。また、この演算で画像表示部２０と使用者の頭部との位置関係を加味してもよい。これにより、実際にはセンサーを装着できない使用者の頭の中心や顔の中心の傾きを、求めることができる。また、例えば、第１センサー１６１、第２センサー１６２が備える加速度センサーの検出値から、画像表示部２０を叩くタップ操作を検出し、タップセンサーの検出値として出力することができる。

センサーフュージョン処理や代替処理で得られる検出値は、演算処理で求められる推定値である。サブ制御部１５０は、求めた検出値を、推定値であることを示す属性データを付加して制御部１１０に送信してもよいし、他のセンサーによる実際の検出値のデータと同様に送信してもよい。

ステップＳ２７で、サブ制御部１５０は、第１センサー１６１、第２センサー１６２、ＧＰＳ１６３、及び照度センサー１６４の各センサーのうち、検出対象のセンサーに対し、検出値を取得する処理を開始する（ステップＳ２７）。サブ制御部１５０は、センサーの検出値を、ステップＳ２３で各センサーに設定したサンプリング周期に従って取得し（ステップＳ２８）、ＲＡＭに記憶する。
サブ制御部１５０は、検出値に基づく処理をステップＳ２６で設定した場合は、設定した処理を実行する（ステップＳ２９）。サブ制御部１５０は、設定した処理を実行するために複数のセンサーの検出値が必要な場合、これら複数のセンサーの全てについて検出値を取得するまで待機し、その後に処理を実行すれば良い。

サブ制御部１５０は、ＲＡＭに記憶したセンサーの検出値を送信する送信タイミングの調整を行い（ステップＳ３０）、調整したタイミングに合わせて、ＲＡＭに記憶した設定値のデータを制御部１１０に送信する（ステップＳ３１）。ここで、サブ制御部１５０は、検出値のデータに、検出した時刻を示すタイムスタンプ情報を含めて送信してもよい。

制御部１１０は、サブ制御部１５０が制御データバス４１Ａを介して送信するデータを受信し（ステップＳ１３）、受信したデータに基づきコンテンツの再生制御等を実行する。

サブ制御部１５０は、制御部１１０へのデータ送信が成功したか否かを判定し（ステップＳ３２）、送信に成功した場合（ステップＳ３２；ＹＥＳ）、後述するステップＳ３６に移行する。
サブ制御部１５０は、制御部１１０へのデータ送信が成功しなかった場合（ステップＳ３２；ＮＯ）、サブ制御部１５０内部のＲＡＭの空き容量が所定値以上であるか否かを判定する（ステップＳ３３）。ここで、ＲＡＭの空き容量が、予め設定された所定値以上である場合（ステップＳ３３；ＹＥＳ）、サブ制御部１５０は、検出値の記憶を継続して（ステップＳ３５）、ステップＳ３６に移行する。
また、ＲＡＭの空き容量が、予め設定された所定値より少ない場合（ステップＳ３３；ＮＯ）、サブ制御部１５０は、既に記憶した検出値の平均を求めるなどの集計を行い（ステップＳ３４）、ステップＳ３６に移行する。ステップＳ３４では、１つのセンサーの検出値がＲＡＭに複数記憶されている場合に、平均値を算出し、この平均値をＲＡＭに記憶してもとの検出値をＲＡＭから削除する。これにより、ＲＡＭの記憶容量の不足を防止できる。この場合、サブ制御部１５０は、制御部１１０に対し、センサーの検出値として平均値を送信すればよい。
ステップＳ３２〜Ｓ３５の動作で、例えば、外部機器から制御部１１０がコンテンツのデータを受信する処理等により、制御部１１０の処理が占有されていて検出値のデータを受信できない場合であっても、画像表示部２０が備える検出値の欠落を防止できる。

ステップＳ３６で、サブ制御部１５０は、終了条件が成立したか否かを判定し（ステップＳ３６）、終了条件が成立していない場合は（ステップＳ３６；ＮＯ）、ステップＳ２８に戻って検出値を取得する。また、終了条件が成立した場合（ステップＳ３６；ＹＥＳ）、本処理を終了する。終了条件は、例えば、制御部１１０から処理終了を指示するコマンドを受信したこと、制御部１１０の検出値要求コマンドで検出値を取得する回数が指定された場合に、指定された回数の処理が完了したこと、等である。

このように、サブ制御部１５０が第１センサー１６１、第２センサー１６２、ＧＰＳ１６３、及び照度センサー１６４等のセンサーを制御して検出値を取得し、制御部１１０に送信する。このため、制御部１１０が各センサーを制御する場合に比べて、制御部１１０の処理負荷、制御部１１０の処理の占有時間を大幅に軽減できる。また、制御部１１０に各センサーを接続した場合、サンプリング周期が異なるセンサーの検出値を同じ信号線で伝送することは困難であるから、接続部４０に設ける信号線の数がセンサーの数に対応して多くなる。このため、接続部４０のハーネスが太くなり取り回しが低下する、センサーの数が制限される等の好ましくない事態が懸念される。本実施形態のように、サブ制御部１５０が各センサーの検出値を取得し、制御データバス４１Ａを介した送信タイミングの調整を行い、複数のセンサーの検出値を送信することで、上記の事態を全て防止でき、効率のよい処理を実現できる。例えば、サブ制御部１５０は、サンプリング周期が短いセンサーの検出値を送信する動作を、予め設定したタイミングで優先的に行い、この動作の空き時間に、サンプリング周期の長いセンサーの検出値を送信してもよい。

制御部１１０は、図４の動作によりサブ制御部１５０から受信した検出値を用いて、頭部装着型表示装置１００を制御する。例えば、制御部１１０は、サブ制御部１５０が検出値に付加したタイムスタンプ情報に基づいて、センサー間のアクセス時間差によるレイテンシーを求め、補間情報を算出して、レイテンシーを補正する処理を行える。

図４に示す動作では、サブ制御部１５０が、データを送信する度にセンサーからデータを取得する例を示したが、本発明はこれに限定されない。サブ制御部１５０は、センサーのサンプリングタイミングで並列にセンサーデータを取得して、取得したデータを、制御部１１０に送信せずに記憶しておいてもよい。この場合、サブ制御部１５０は、記憶したデータを、予め制御部１１０の制御で決められたタイミングで、制御部１１０に送信する。また、サブ制御部１５０は、記憶したデータのうち最新のデータをまとめて制御部１１０に送信してもよい。さらに、サブ制御部１５０が送信するデータには、前回センサーから取得した時から更新されていないデータを含んでもよい。つまり、サブ制御部１５０がデータを取得するサンプリング周期が、サブ制御部１５０が制御部１１０にデータを送信する間隔より長いセンサーについても、毎回、サブ制御部１５０から制御部１１０にデータを送信してもよい。この場合に、サブ制御部１５０は、センサーのデータにタイムスタンプを付与する処理を、データを第１制御部に送るときにまとめて実行してもよい。この場合、サブ制御部１５０が一時的に記憶した複数のデータについて、まとめてタイムスタンプが付与される。或いは、サブ制御部１５０は、センサーから検出値のデータを取得する毎に、それぞれのセンサーの検出値にタイムスタンプを付与してもよい。
また、サブ制御部１５０は、制御部１１０にカメラ６１の撮像画像データを送信する際に、撮像画像データにタイムスタンプを付与する処理を行ってもよい。

図５は、頭部装着型表示装置１００の動作を示すフローチャートであり、（Ａ）は制御装置１０の動作を示し、（Ｂ）は画像表示部２０の動作を示す。図５には、制御部１１０の制御によりサブ制御部１５０がカメラ６１で撮像をさせる場合の動作を示す。
この場合、制御部１１０は、サブ制御部１５０に対して撮像を指示する撮像コマンドを送信する（ステップＳ４１）。撮像コマンドには、動画像を撮像するか静止画像を撮像するか、撮像解像度、撮像画像データのデータ量、撮像頻度（フレームレート、或いは撮像間隔）等の撮像条件を指定するデータを含んでもよい。サブ制御部１５０は、撮像コマンドを受信し（ステップＳ５１）、受信した撮像コマンドに含まれるデータ、或いは、デフォルトの撮像条件のデータに従って、撮像条件を設定する（ステップＳ５２）。

サブ制御部１５０はカメラ６１を制御して撮像を実行させ（ステップＳ５３）、撮像画像データを取得する（ステップＳ５４）。サブ制御部１５０は、取得した撮像画像データを、画像データバス４１Ｂを介して制御部１１０に送信し（ステップＳ５５）、制御部１１０は撮像画像データを受信する（ステップＳ４２）。

サブ制御部１５０は、終了条件が成立したか否かを判定し（ステップＳ５６）、終了条件が成立していない場合は（ステップＳ５６；ＮＯ）、ステップＳ５３に戻って撮像を行う。また、終了条件が成立した場合（ステップＳ５６；ＹＥＳ）、本処理を終了する。終了条件は、例えば、制御部１１０から撮像終了を指示するコマンドを受信したこと、制御部１１０の撮像コマンドで指定された回数、或いは時間の撮像が完了したこと、等である。

このように、サブ制御部１５０がカメラ６１を制御して撮像を実行し、撮像画像データを取得して制御部１１０に送信するので、制御部１１０がカメラ６１を制御する場合に比べて、制御部１１０の処理負荷を大幅に軽減できる。また、制御部１１０とサブ制御部１５０との間では、制御データバス４１Ａを介したコマンドの送受信、及び画像データバス４１Ｂによる撮像画像データの送受信が行われるが、制御部１１０がカメラ６１を制御する場合に比べ大幅なデータ量の増大はない。このため、処理をサブ制御部１５０が実行することによる効率の低下はない。

図６は、頭部装着型表示装置１００の動作を示すフローチャートであり、（Ａ）は制御装置１０の動作を示し、（Ｂ）は画像表示部２０の動作を示す。
図６には、制御部１１０が送信するコマンドに従って、サブ制御部１５０が、センサーの検出値に基づく処理を実行する例を示す。この場合、制御部１１０は、処理実行を指示するコマンドを生成して送信し（ステップＳ６１）、サブ制御部１５０は、コマンドを受信する（ステップＳ６２）。図６の例では、制御部１１０が、照度センサー１６４の検出値に基づき右バックライト２２１、左バックライト２２２（図２）の明るさを調整する照度適合処理の実行を指示する。

サブ制御部１５０は、受信したコマンドに従って、照度適合処理を開始し（ステップＳ６３）、照度センサー１６４の検出値を取得する（ステップＳ６４）。サブ制御部１５０は、ＥＥＰＲＯＭ１６５に記憶された設定値を参照する（ステップＳ６５）。ＥＥＰＲＯＭ１６５には、右バックライト２２１、左バックライト２２２の個体ばらつきを補正する補正用の設定値のデータ等が記憶される。サブ制御部１５０は、参照した設定値に基づき、ステップＳ６４で取得した検出値を用いた演算処理を実行して、右バックライト２２１、左バックライト２２２の輝度を設定し、或いは設定値を更新する（ステップＳ６６）。

サブ制御部１５０は、終了条件が成立したか否かを判定し（ステップＳ６７）、終了条件が成立していない場合は（ステップＳ６７；ＮＯ）、ステップＳ６４に戻って検出値を取得する。ここで、サブ制御部１５０は、ステップＳ６４〜Ｓ６６の処理の実行間隔と、照度センサー１６４のサンプリング周期とを、例えばステップＳ６３で設定してもよい。
終了条件が成立した場合（ステップＳ６７；ＹＥＳ）、本処理を終了する。終了条件は、例えば、制御部１１０から照度適合処理終了を指示するコマンドを受信したこと、制御部１１０のコマンドで指定された回数、或いは時間の動作が完了したこと、等である。

図６の例では、サブ制御部１５０が照度センサー１６４の検出値を処理して、バックライト駆動部１６９、１７０を制御し、右バックライト２２１、左バックライト２２２の輝度を周辺の明るさに対応して調整できる。この照度適合処理は、制御部１１０が実行することも勿論可能である。例えば、サブ制御部１５０が照度センサー１６４の検出値を取得して制御部１１０に送信し、制御部１１０がバックライト駆動部１６９、１７０を制御するための制御データを制御部１１０に送信すればよい。図６の動作では、制御部１１０が照度適合処理を実行する場合に比べ、制御部１１０の処理負荷を軽減できる。第１に、サンプリング周期が比較的遅い照度センサー１６４の検出値と、サンプリング周期が比較的早い第１センサー１６１、第２センサー１６２等の検出値とを送信するタイミングの調整が不要である。このため、送信タイミングの調整に係るサブ制御部１５０の負荷を軽減できる。また、照度センサー１６４の検出値を送信する際に、上記のように送信に失敗する等の事象が発生すると、照度センサー１６４の検出値を取得してから輝度を調整するまでに遅延が発生する。サブ制御部１５０が照度適合処理を実行すれば、検出値の伝送に係る遅延がないため、速やかに右バックライト２２１、左バックライト２２２の輝度を適切に調整できる。

図６は、サブ制御部１５０が、センサーの検出値に基づき、画像表示部２０の環境に対応して画像表示部２０の表示状態を変化させる処理の一例として、照度センサー１６４の検出値に基づく処理を説明した。サブ制御部１５０が実行する処理は、この例に限定されず、例えば、画像表示部２０が温度センサーを備え、この温度センサーがサブ制御部１５０に接続された構成として、サブ制御部１５０が温度に基づく制御を行ってもよい。この場合、サブ制御部１５０は、温度センサーが検出する画像表示部２０の環境温度に対応して、画像表示部２０の劣化を抑えるように、ＬＣＤ駆動部１６７、１６８、及びＢＬ駆動部１６９、１７０を制御してもよい。これにより、右バックライト２２１、左バックライト２２２、右ＬＣＤ２４１及び左ＬＣＤ２４２を含む各部の長寿命化を図ることができる。この構成は、温度センサーに加えて、或いは温度センサーに代えて湿度センサーを設けても実現できる。また、サブ制御部１５０は、カメラ６１の撮像画像に基づき、使用者が視認する外景の背景としての色を検出し、この背景の色に応じて画像表示部２０が表示する画像の色合いを調整する処理を実行してもよい。また、サブ制御部１５０は、マイク（図示略）に接続され、このマイクで検出した環境音に対応する処理を行ってもよい。この処理には、画像表示部２０の表示の制御の他、画像表示部２０がスピーカーやヘッドホンから音声を出力する構成とした場合に、出力する音声を調整する処理を含んでもよい。

サブ制御部１５０が、制御部１１０のコマンドに応じて実行する処理は図５、図６の例に限定されない。例えば、制御部１１０がデータの種類の切り替えを指示するコマンドを送信すると、サブ制御部１５０がデータの種類を変更する動作が可能である。具体的には、制御部１１０が、画像表示部２０を装着した使用者の前方にある対象物、或いは、カメラ６１の撮像範囲内にある対象物までの距離データを必要とする場合、サブ制御部１５０に、距離データの送信を指示する。サブ制御部１５０は、カメラ６１の撮像画像データを解析して、撮像画像データから被写体の画像を検出し、撮像画像におけるサイズ等をもとに距離データを算出して、算出した距離データを送信する。この場合、サブ制御部１５０は、カメラ６１の撮像画像データを制御部１１０に送信しない。すなわち、送信するデータの種類を、撮像画像データから距離データに切り替える。
また、逆の切り替えも勿論可能である。制御部１１０が撮像画像データを要求し、距離データを不要とするコマンドを送信した場合に、サブ制御部１５０は撮像画像データを取得せず制御部１１０に送信してもよい。

以上説明したように、本発明を適用した第１実施形態の頭部装着型表示装置１００は、画像表示部２０と、第１センサー１６１、第２センサー１６２、ＧＰＳ１６３、照度センサー１６４等の複数のセンサーを備える。また、頭部装着型表示装置１００を制御する制御部１１０と、複数のセンサーに接続され、複数のセンサーの検出値を含むデータを制御部１１０に送信するサブ制御部１５０と、を備える。このため、サブ制御部１５０を利用することで、多数のセンサーを制御部１１０に接続する必要がなく、制御部１１０が直接制御するセンサーの数を減らすことで制御部１１０の処理負荷を軽減できる。また、例えば、複数のセンサーに接続するサブ制御部１５０が、各センサーの仕様や特性の差に対応するための処理を実行できる。また、それぞれのセンサーを制御部１１０に接続する必要がなく、サブ制御部１５０から制御部１１０にまとめてセンサーの検出値を送信すること等もできる。このため、制御部１１０の処理負荷を軽減し、制御部１１０の消費電力の低減、及び、制御部１１０の処理速度の向上を図ることができる。また、制御部１１０に多数のセンサーを接続する必要がなくなるので、制御装置１０の回路構成の複雑化を回避できる。

また、頭部装着型表示装置１００では、サブ制御部１５０が、制御部１１０の制御に基づき、複数の前記センサーの制御をとりまとめて実行する。このため、制御部１１０の負荷を増やすことなく、多数のセンサーの制御や、センサーに対するきめ細かい制御を行うことが可能となる。

また、サブ制御部１５０は、複数のセンサーの検出値を、複数の異なるサンプリング周期で取得するので、センサーの検出値を取得する処理における制御部１１０の処理負荷を軽減できる。
また、サブ制御部１５０は、第１センサー１６１、第２センサー１６２、ＧＰＳ１６３、及び照度センサー１６４を含む複数のセンサーのいずれかに対し、第１サンプリング周期、及び、第１サンプリング周期より長い第２サンプリング周期で検出値を取得する。サブ制御部１５０は、第１サンプリング周期で取得したセンサーの検出値と、第２サンプリング周期で取得したセンサーの検出値とを含むデータを制御部１１０に送信する。このように、制御部１１０は、サンプリング周期が異なる複数のセンサーの検出値を取得でき、この検出値を取得する処理における制御部１１０の処理負荷を軽減できる。

また、サブ制御部１５０は、制御部１１０からコマンドを受信した場合に、センサーの検出値に基づき予め設定された処理を実行できるので、制御部１１０の処理負荷をより一層、軽減できる。
例えば、サブ制御部１５０は、所定処理として、センサーの検出値に基づき、画像表示部２０の環境に対応して画像表示部２０の表示状態を変化させる処理を実行する。より具体的には、図６に示したように、照度センサー１６４の検出値に基づき、右バックライト２２１、左バックライト２２２の明るさ（輝度）を調整する処理を行い、制御部１１０の負荷を軽減できる。この例で、サブ制御部１５０は設定データを記憶するＥＥＰＲＯＭ１６５に接続され、ＥＥＰＲＯＭ１６５に記憶された設定データを用いて所定処理を実行できる。ここで、サブ制御部１５０がＲＯＭやＲＡＭを内蔵する構成とすることもでき、この場合に、ＲＯＭやＲＡＭに設定データを記憶させてもよい。または、サブ制御部１５０にＲＯＭ等が一体に設けられた構成とすることもでき、この場合に、ＲＯＭに設定データを記憶させてもよい。

また、サブ制御部１５０は、センサーから取得した検出値を制御部１１０に送信するまで、例えば内蔵するＲＡＭに保持するので、サブ制御部１５０がセンサーの検出値を取得するタイミングに制約を受けることなく、制御部１１０が処理を実行できる。
また、サブ制御部１５０は、いずれかのセンサーの検出値に基づき、他のセンサーの検出値に対する処理を実行し、処理後の検出値を制御部１１０に送信できる。例えば、センサーの検出値に基づき他のセンサーの検出値を補正したり、センサーフュージョン等の処理を行ったりすることができる。

頭部装着型表示装置１００は、制御部１１０を有する制御装置１０の本体（第１本体））と、サブ制御部１５０を有する画像表示部２０の本体（第２本体）と、を備える。サブ制御部１５０は画像表示部２０の本体に設けられた複数のセンサーに接続される。また、制御装置１０の本体にはセンサーが設けられ、この制御装置１０の本体に設けられたセンサーは制御部１１０に接続される。このような構成において、制御部１１０は、画像表示部２０の本体のセンサーの検出値及び位置と、制御装置１０の本体に設けられたセンサーの検出値及び位置とに基づき、特性値を算出してもよい。
例えば、制御装置１０が有するセンサーＩＣと画像表示部２０の第１センサー１６１及び第２センサー１６２の相対位置と、各センサーによる加速度または角速度の検出値に基づき、頭部装着型表示装置１００の動きを示す特性値を求めても良い。すなわち、特性値は、頭部装着型表示装置１００全体の移動速度や移動方向を示す値であってもよい。また、制御部１１０は、地磁気センサーの検出値を用いて、方角を示すデータを含む特性値を求めてもよい。さらに、制御部１１０は、制御装置１０と画像表示部２０との相対的な位置変化を検出し、速度や変位の方向に関する特性値を求めてもよい。また、制御装置１０の本体にサブ制御部１５０を設け、画像表示部２０の本体に制御部１１０を設ける構成とすることも勿論可能である。さらに、制御装置１０の本体に、表示部としての光学系、ＬＣＤ等を設けた構成とすることも可能である。このように、制御部１１０は、制御装置１０の本体のセンサーの検出値と、画像表示部２０の本体のセンサーの検出値とを利用して、特性値を得ることができ、この特性値の算出に関して制御部１１０の負荷を軽減できる。

また、上記実施形態では、略箱形の制御装置１０の本体に、制御部１１０を設けた構成としたが、画像表示部２０を有する本体に制御部１１０を設け、サブ制御部１５０を、画像表示部２０とは別体の制御装置１０の本体に設けてもよい。この場合、画像表示部２０の本体のセンサーに制御部１１０が接続され、制御装置１０の本体が備えるセンサーはサブ制御部１５０に接続される。言い換えれば、使用者の頭部に装着される画像表示部２０が制御機能を備え、この画像表示部２０とは別体で構成される小型の機器が、サブ制御部１５０を備える構成としてもよい。この構成においても、頭部装着型表示装置の全体を制御する制御部の負荷を軽減し、データバスを構成するハーネスが太くなる等の事態を防止できるという利点がある。
さらに、制御装置１０と画像表示部２０とを一体に構成してもよい。すなわち、制御装置１０の本体と画像表示部２０の本体とが一つの本体であってもよい。この場合、制御部１１０とサブ制御部１５０とが同じ本体に実装される構成とし、本発明を適用してもよい。例えば、同じ本体に実装された制御部１１０とサブ制御部１５０とを、制御データバス、画像データバス、及び表示データバスで接続し、制御部１１０と、サブ制御部１５０とが異なるセンサーに接続された構成が考えられる。

［第２実施形態］
図７は、本発明を適用した第２実施形態の頭部装着型表示装置１００の動作を示すフローチャートであり、（Ａ）は制御装置１０の動作を示し、（Ｂ）は画像表示部２０の動作を示す。
第２実施形態に係る頭部装着型表示装置１００の構成は、上記第１実施形態と共通である。制御装置１０及び画像表示部２０は、図１〜図３を参照して説明した構成を具備するので、これら各装置の構成および機能ブロックについては、同符号を付して図示及び説明を省略する。

図７には、例えば頭部装着型表示装置１００の起動時に実行され、制御部１１０とサブ制御部１５０とが制御データを送受信することにより、サブ制御部１５０の検出動作に関する設定を行う場合のフローチャートである。

制御部１１０とサブ制御部１５０とは、通信開始に関する各種制御データを送受信して、接続部４０を介した通信を確立する（ステップＳ１０１、Ｓ１１１）。
続いて、制御部１１０がサブ制御部１５０に対し、サブ制御部１５０が検出結果を取得可能なセンサーに関するセンサー情報を要求する（ステップＳ１０２）。サブ制御部１５０は、センサー情報の要求を受信すると（ステップＳ１１２）、要求されたセンサー情報をＥＥＰＲＯＭ１６５から読み出して、制御部１１０に送信する（ステップＳ１１３）。

画像表示部２０は、サブ制御部１５０に接続される各種センサーに関するセンサー情報を記憶する。このセンサー情報は、例えば、サブ制御部１５０を構成するマイコン或いはＳｏＣが内蔵するＲＯＭに記憶してもよいが、本実施形態では、ＥＥＰＲＯＭ１６５に記憶してもよい。

図８は、ＥＥＰＲＯＭ１６５が記憶するセンサー情報１６５ａの構成例を示す模式図である。本実施形態のセンサー情報１６５ａは、図８に示すようにテーブル形式で構成される。
センサー情報１６５ａは、サブ制御部１５０が検出値を取得可能なセンサーを特定する情報と、それぞれのセンサーに対応付けられるセンサー識別子とを含む。センサー識別子は、それぞれのセンサーを制御部１１０及びサブ制御部１５０が特定するための情報である。例えば、後述するように、サブ制御部１５０が制御部１１０に送信する検出結果にセンサー識別子を含めると、制御部１１０は、どのセンサーの検出結果なのかを特定できる。

センサーを特定する情報として、図８のセンサー情報１６５ａは、センサーの種類と、センサーに予め付与されるＩＤとを含む。例えば、加速度センサー（１）は、画像表示部２０が備える加速度センサーのうち、ＩＤ「１」が付与された加速度センサーを指す。画像表示部２０は同種のセンサーを複数具備する構成とすることができる。第１センサー１６１が３軸加速度センサー及び３軸ジャイロセンサーを備え、第２センサー１６２が３軸加速度センサー、３軸ジャイロセンサー、及び、３軸地磁気センサーを備える場合、画像表示部２０は２個の加速度センサーを有する。この場合、それぞれの加速度センサーに、例えばＩＤ「１」、「２」が付与されれば、各加速度センサーを区別できる。センサー情報１６５ａは、サブ制御部１５０に直接または間接的に接続され、サブ制御部１５０により検出結果を取得できるそれぞれのセンサー、望ましくは全てのセンサーについて、センサーを特定する情報を含む。

センサー識別子は、それぞれのセンサーを識別するための情報として、サブ制御部１５０から制御部１１０に送信するデータに含めた場合の利便性を考慮し、単純な構成とすることが好ましく、例えば図８に示すように数や文字等の符号で表される。異なるセンサーに同一のセンサー識別子が付与されることはない。また、画像表示部２０が備えるセンサーが、複数のセンサーを具備する複合的な素子で構成される場合、それぞれのセンサーにセンサー識別子が付与されることが好ましい。

センサー情報１６５ａは、センサー識別子に対応付けて、検出値のサンプリング周期（サンプリング周波数）を含む。センサーが対応可能なサンプリング周期は、センサーの仕様、或いは特性により定められる。センサー情報１６５ａに含まれるサンプリング周期に関する情報は、センサーの製造事業者が定める定格や、頭部装着型表示装置１００の動作条件に基づき決定される。センサーが対応可能なサンプリング周期が単一ではない場合、或いは、センサーが対応可能なサンプリング周期の範囲が定められている場合、センサー情報１６５ａには、対応可能なサンプリング周期の上限を示す情報が含まれる。

センサー情報１６５ａは、センサーの検出値の取得に関してサブ制御部１５０が実行可能な処理を示す情報として、「マクロ命令」を含む。サブ制御部１５０が実行可能な処理とは、例えば、サンプリング周期の設定、センサーの動作条件（検出感度、検出範囲等）の設定等である。「マクロ命令」は、制御部１１０がコマンドを送信することによりサブ制御部１５０がセンサーに対して実行する処理を示すコードが含まれる。制御部１１０がコードを指定するコマンドを送信することで、コードに該当する処理をサブ制御部１５０が実行する。コードと処理の内容とは、予め、サブ制御部１５０及び制御部１１０に設定される。例えば、加速度センサー（１）に対しては、コード０の処理、コード１の処理、及び、コード２の処理を、サブ制御部１５０が実行できる。

センサー情報１６５ａは、センサーの検出値を取得する場合に生じるレイテンシーを示す情報を含む。レイテンシーの情報は、実測値、或いは、センサーとサブ制御部１５０とを接続するインターフェイスの仕様に基づき設定される。図８の例では、レイテンシーを予め区分されたレベルで示す。

また、センサー情報１６５ａは、センサーの仕様や特性に関するその他の情報を含んでもよい。図８の例では、各センサーの検出範囲を示す情報が含まれる。この例に限らず、センサーの検出値の解像度、センサーの分解能、或いは検出精度や、検出値の温度特性等を示す情報をセンサー情報１６５ａに含めてもよい。

制御部１１０は、ステップＳ１０２で、サブ制御部１５０が検出結果を取得可能な全てのセンサーについて情報を要求してもよいし、必要とする種類のセンサーに関して、情報を要求してもよい。サブ制御部１５０は、ステップＳ１１３で、センサー情報１６５ａを参照して、要求された情報を取得して制御部１１０に送信する。

制御部１１０は、サブ制御部１５０から送信される情報を受信し（ステップＳ１０３）、受信した情報に基づいて、使用するセンサーとサンプリング周期とを選択し、決定する（ステップＳ１０４）。ステップＳ１０４では、例えば、制御部１１０が実行するアプリケーションプログラムの要求により、使用するセンサーが選択される。サンプリング周期も同様である。また、制御部１１０が実行するアプリケーションプログラムの要求、或いは仕様により、ステップＳ１０４で、センサーの解像度等の条件を決定してもよい。ステップＳ１０４では、サンプリング周期やその他の条件が、センサー毎に選択される。

制御部１１０は、ステップＳ１０４で選択したセンサーとサンプリング周期及びその他の条件を指定する情報を、サブ制御部１５０に送信する（ステップＳ１０５）。サブ制御部１５０は、制御部１１０が送信する情報を受信して、指定されたセンサーを有効化する処理、及び、サンプリング周期を設定する処理を行う（ステップＳ１１４）。センサーの有効化とは、センサーの電源オン、初期化、及び、スリープ状態からの復帰等を含む。サンプリング周期（サンプリング周波数）の設定は、例えば、センサーからサブ制御部１５０に対する割り込み処理の割り込みタイミングとして設定される。ステップＳ１１４でセンサーの有効化とサンプリング周期の設定を行った後、サブ制御部１５０は、有効化したセンサーによる検出を開始させ、検出値の取得を開始してもよい。

ステップＳ１１４で、サンプリング周期を設定する場合、例えば、センサーからサブ制御部１５０に割り込み処理を行うタイミングの設定を行う。サブ制御部１５０に接続されるセンサーは、サブ制御部１５０に割り込み処理を行うセンサーに限定されない。例えば、サブ制御部１５０にアナログ電圧を出力するセンサーを用いてもよい。この種のセンサーは、サブ制御部１５０にアナログ電圧を直接出力してもよいし、ゲートアレイ、或いは、アナログの出力値をデジタルデータに変換するＡ／Ｄコンバーターを介してサブ制御部１５０に接続されてもよい。この種のセンサーは、サブ制御部１５０に対して常時、出力値を出力する。この種のセンサーに関して、サブ制御部１５０は、ステップＳ１１４で、サブ制御部１５０がセンサーの検出値（アナログ電圧値またはデジタルデータに変換された出力値）を検出または取得するタイミングとして、サンプリング周期を設定してもよい。
また、サブ制御部１５０に接続されるセンサーとして、サブ制御部１５０がセンサーに対して出力値を取得する割り込み処理（割り込み制御）を行うと、この割り込み処理をトリガーとしてセンサーがサブ制御部１５０に検出値を出力するセンサーを用いてもよい。この種のセンサーに関して、サブ制御部１５０は、ステップＳ１１４で、サブ制御部１５０がセンサーに対し検出値を検出または取得するトリガーを与えるタイミングとして、サンプリング周期を設定してもよい。

サブ制御部１５０は、センサーの検出値を含むデータを制御部１１０に送信する周期を設定する（ステップＳ１１５）。サブ制御部１５０は、例えばステップＳ１１５で、制御部１１０がステップＳ１０５で送信した情報により要求されたセンサーのサンプリング周期のうち、最も高速（最も短周期）のサンプリング周期に合わせて設定する。
また、ステップＳ１０５で、制御部１１０が、サブ制御部１５０から制御部１１０にデータを送信する周期を指定してもよい。この場合、サブ制御部１５０は、検出値を取得する対象のセンサーと、対象の各センサーから検出値を取得するサンプリング周期と、制御部１１０にデータを送信する周期（更新間隔）とを、それぞれ、制御部１１０の指定に従って設定する。

サブ制御部１５０は、制御部１１０に対し、初期化が完了したことを示す通知を送信し（ステップＳ１１６）、通信開始要求を待機する。

制御部１１０は、サブ制御部１５０が送信した通知を受信し（ステップＳ１０６）、サブ制御部１５０に対して通信開始を要求する（ステップＳ１０７）。
サブ制御部１５０は、通信開始要求の受信を割り込みタイミングとして、タイマーのカウントを開始し（ステップＳ１１７）、ステップＳ１１５で設定した送信周期に従って、制御部１１０に対するデータ送信を開始する（ステップＳ１１８）。
また、制御部１１０は、サブ制御部１５０が送信するデータの受信を開始する（ステップＳ１０８）。
ここで、制御部１１０は、ステップＳ１０７で通信開始要求を送信する際にタイマーのカウントを開始することができる。この場合、制御部１１０とサブ制御部１５０とが同期してタイマーのカウントを開始するので、制御装置１０と画像表示部２０とが同期する。通信開始要求の送信と受信との間にレイテンシーがある場合、制御部１１０は、レイテンシーを加味したタイミングでカウントを開始すればよい。

ステップＳ１０８，Ｓ１１８でデータの送受信を開始すると、制御部１１０及びサブ制御部１５０は、例えば、図４のステップＳ１３、及びステップＳ２７〜Ｓ３６で説明した動作を実行する。
ここで、制御部１１０は、サブ制御部１５０から受信するデータに含まれるセンサーの検出値を、タイムコードに対応付けてメモリー１２１またはフラッシュメモリー１２２に記憶してもよい。この場合、メモリー１２１またはフラッシュメモリー１２２に記憶する検出値のデータは、累積的に記憶してもよいし、最新の検出値により上書き更新されてもよい。

また、ステップＳ１０５で、制御部１１０は、サブ制御部１５０が制御部１１０にデータを送信する周期として、複数の周期を設定してもよい。例えば、Ｆａｓｔ（150Hz）、Ｎｏｒｍａｌ(100Hz)、Ｓｌｏｗ(50Hz)の３段階の周期を指定してもよい。この場合、サブ制御部１５０は、Ｆａｓｔ（150Hz）、Ｎｏｒｍａｌ(100Hz)、Ｓｌｏｗ(50Hz)の３つの周期を設定し、それぞれの周期に従って制御部１１０にデータを送信する。具体例を挙げると、サンプリング周期が短い（高速な）センサーである加速度センサーの検出値を含むデータを、Ｆａｓｔ（150Hz）の周期で送信する。また、サブ制御部１５０は、サンプリング周期が加速度センサーより長い（低速な）地磁気センサーの検出値を含むデータを、Ｎｏｒｍａｌ(100Hz)の周期で送信し、カメラの撮像画像データを含むデータを、Ｓｌｏｗ(50Hz)の周期で送信する。このように、サブ制御部１５０に、データを送信する複数の周期を設定し、それぞれの周期で送信するデータに含む検出値の種類、すなわちセンサーの種類を、周期毎に指定してもよい。

また、制御部１１０が、ステップＳ１０５で複数のデータ送信の周期を設定し、設定した周期のうち、使用する周期を制御データにより随時切り替えることが可能な構成としてもよい。この場合、サブ制御部１５０は、ステップＳ１１４で受信する情報に従って、例えば上述したＦａｓｔ（150Hz）、Ｎｏｒｍａｌ(100Hz)、Ｓｌｏｗ(50Hz)の３つの周期を設定する。つまり、サブ制御部１５０は、ステップＳ１１５の初期化の動作において、複数の周期を切替可能に設定される。サブ制御部１５０は、設定した３つの周期のうち使用する周期を、制御部１１０が送信する情報に基づき選択し、選択した周期でデータの送信を開始する。この場合、ステップＳ１０８、Ｓ１１８で、サブ制御部１５０から制御部１１０へのデータの送信を開始した後に、制御部１１０が、送信周期の切り替えを指示する制御データを送信することで、サブ制御部１５０がデータの送信周期を切り替える。この場合、サブ制御部１５０は、制御部１１０からの制御データの受信を割り込み処理として、ステップＳ１１５で設定した周期のうち別の周期を選択する。

ここで、サブ制御部１５０は、サブ制御部１５０に接続されるセンサーのうち制御部１１０が選択したセンサーについて、制御部１１０が指定する送信形式を選択できる。例えば、サブ制御部１５０は、加速度センサーの検出値を制御部１１０に送信する送信形式として、５０Ｈｚで送信する形式、１００Ｈｚで送信する形式、１５０Ｈｚで送信する形式のうち、制御部１１０が要求（指定）する形式を選択して使用できる。この場合の「送信形式」とは、データの送信周期を指してもよく、データのフレーム構成等も含んでもよい。センサーの種類が同一であっても、異なる送信形式（或いは送信周期）を採用できる。
サブ制御部１５０は、制御部１１０が要求する送信周期よりも高速（短周期）でセンサーの検出値を取得できる。たとえば、サブ制御部が加速度センサーの検出値を１５０Ｈｚで取得し、制御部１１０に対し、加速度センサーの検出値を含むデータを５０Ｈｚで送信することが可能である。この場合、サブ制御部１５０は、加速度センサーから取得した３回分の検出値を含むデータを、制御部１１０に送信してもよい。また、サブ制御部１５０は、制御部１１０へのデータ送信周期に対応して取得した最新の１つの加速度センサーの検出値を含むデータを、制御部１１０に送信してもよい。

図９は、サブ制御部１５０が制御部１１０に送信するデータの送信形式の例を示す模式図である。
サブ制御部１５０が制御部１１０に送信するデータは、例えば所定長さのフレームで構成され、ヘッダー、ＥＯＦ、及びペイロードを含み、ペイロードにはセンサーの検出値を含むデータが格納される。
図９に示すデータＤ１の送信形式は、ペイロードＤ１３に、センサー識別子と、当該センサー識別子が示すセンサーの検出値であるセンサーデータと、当該センサーデータを取得したときのタイムコードとを含む。タイムコードは、センサーの検出値をサブ制御部１５０が取得した時刻におけるタイマーのカウント値を示す。図９の送信形式でサブ制御部１５０が制御部１１０にデータを送信する場合、制御部１１０は、サブ制御部１５０が取得したセンサーの検出結果と、検出結果を取得したタイミングとを得ることができる。例えば、センサーの検出結果を制御部１１０が受信し処理するまでに遅延がある場合、制御部１１０は、受信したタイムコードと、制御部１１０のタイマーのカウント値とに基づき遅延を算出でき、遅延を加味した処理を行うことができる。

また、データＤ１において、ペイロードＤ１３に、センサー識別子とセンサーデータとを含み、タイムコードを含まない形式とすることもできる。
サブ制御部１５０は、複数のセンサーの検出結果を含むフレームを送信することができる。ペイロードＤ１３では、センサー識別子、センサーデータ、及びタイムコードの組合せが１つのセンサーの検出結果に対応するので、この組合せを複数、ペイロードＤ１３に格納できる。

上述したように、ステップＳ１０５で、制御部１１０がデータを送信する周期として複数の周期を指定し、サブ制御部１５０が複数の周期でデータを送信する場合、サブ制御部１５０は、周期により異なる送信形式でデータを送信してもよい。例えば、Ｓｌｏｗ(50Hz)の周期でデータを送信する場合は図９に示す送信形式でデータを送信し、Ｆａｓｔ（150Hz）でデータを送信する場合は、異なるデータ形式で送信してもよい。

このように、サブ制御部１５０は、制御部１１０に対し、第１サンプリング周期に対応する第１送信形式、及び、第２サンプリング周期に対応する第２送信形式のいずれかの送信形式でセンサーの検出結果を含むデータを送信可能であってもよい。この場合、サブ制御部１５０が、センサーの検出結果を含むデータを、サンプリング周期に対応する送信形式で送信するので、センサーに適したサンプリング周期で、センサーの検出結果の取得、及び、検出結果を含むデータの送信を行える。

また、サブ制御部１５０は、制御部１１０から要求されるサンプリング周期に基づき、第１送信形式、及び、第２送信形式のいずれかの送信形式を選択してセンサーの検出結果を含むデータを送信してもよい。この場合、要求されるサンプリング周期で検出結果を取得し、サンプリング周期に適した送信形式で検出結果を含むデータを送信できる。

図１０は、頭部装着型表示装置１００の動作を示すフローチャートであり、（Ａ）は制御装置１０の動作を示し、（Ｂ）は画像表示部２０の動作を示す。
図１０に示す動作は、図７の動作により画像表示部２０の初期設定が完了し、データの送信を開始した後で、設定を変更する動作である。

制御部１１０が、サブ制御部１５０に対して設定更新の命令を送信すると（ステップＳ１３１）、サブ制御部１５０は命令を受信し（ステップＳ１４１）、センサーの検出値の取得を停止する（ステップＳ１４２）。
サブ制御部１５０は、検出値の取得を停止したことを制御部１１０に通知し（ステップＳ１４３）、制御部１１０はサブ制御部１５０からの通知を受信する（ステップＳ１３２）。制御部１１０は、ステップＳ１０４と同様に、使用するセンサーとサンプリング周期とを選択し、決定する（ステップＳ１３３）。
その後、制御部１１０は、図７のフローチャートで説明したステップＳ１０５〜Ｓ１０８の動作を実行し、これに応じてサブ制御部１５０は、ステップＳ１１４〜Ｓ１１８の動作を実行する。

この図１０の動作により、サブ制御部１５０がセンサーの検出値の取得及び制御部１１０へのデータの送信を開始した後で、データ送信の周期や検出値を取得するセンサーに関する設定を変更できる。
また、上述したように、サブ制御部１５０がデータを送信する周期として複数の周期を設定した場合に、設定した周期を切り替える処理を、図１０の動作により行ってもよい。

図１０に示す設定更新の動作を行う際に、制御部１１０とサブ制御部１５０との通信が確立されていない場合、設定更新が正常に行われない可能性が考えられる。このような場合の対策として、サブ制御部１５０は、ステップＳ１４１で制御部１１０から設定更新に係る命令を受信した場合に、制御部１１０との通信状態を判定してもよい。例えば、サブ制御部１５０は、ステップＳ１４１で命令を受信した後に制御部１１０との通信状態を判定し、通信状態が正常、或いは良好であると判定するまで、センサーの検出値の取得を停止しない構成とすることができる。この場合、サブ制御部１５０は、制御部１１０との通信状態が正常、或いは良好であると判定した後に、ステップＳ１４２に移行して、センサーの検出値の取得を停止し、続いてステップＳ１４３以後の処理を実行すればよい。

このように、本発明を適用した第２実施形態の頭部装着型表示装置１００は、図７に示したように、サブ制御部１５０がデータを制御部１１０に送信するタイミングを同期させる送信同期処理と、サブ制御部１５０から制御部１１０に送信するデータの設定を行う。これにより、サブ制御部１５０と制御部１１０との間で、センサーの検出値を取得したタイミングを同期してカウントできる。このため、制御部１１０において、センサーの検出値を含むデータを、検出値を取得したタイミングを加味して処理できるので、データ処理を効率よく行うことができる。

また、画像表示部２０は、サブ制御部１５０に接続されるＥＥＰＲＯＭ１６５（センサー情報記憶部）に、サブ制御部１５０に接続されるセンサーに関する情報を、例えばセンサー情報１６５ａとして記憶する。制御部１１０は、センサー情報記憶部に記憶された情報に基づき、サブ制御部１５０が送信するデータの設定を行う。これにより、制御部１１０が、センサーに関する情報を用いて、センサーの検出結果を含むデータの設定を行うことができ、例えばセンサーの特性や仕様等に合わせて設定を行える。

また、ＥＥＰＲＯＭ１６５等が記憶するセンサー情報１６５ａは、センサーに対応して、センサーを識別するセンサー識別子と、センサーの検出結果を取得するサンプリング周期とを含む情報とすることができる。この場合、センサー情報１６５ａに基づいて、サブ制御部１５０が、センサーを識別し、それぞれのセンサーに対応するサンプリング周期で検出結果を取得できる。また、制御部１１０は、それぞれのセンサーを識別して、それぞれのセンサーの仕様や特性に対応する設定を行える。
また、センサー情報１６５ａは、センサーに対応してサブ制御部１５０が実行する処理を示す情報として、例えば「マクロコード」を含んでもよい。この場合、サブ制御部１５０がセンサーに対応して実行する処理を、制御部１１０が、センサー情報１６５ａに基づき指定できる。

また、図７に示す動作のように、制御部１１０はサブ制御部１５０に対して制御信号を送信し、サブ制御部１５０は、制御部１１０から初期化を指示する制御信号を受信した場合に、サブ制御部１５０に接続されるセンサーを初期化する。このため、サブ制御部１５０は、制御信号をトリガーとして、制御部１１０が指定するタイミングでセンサーの初期化を行うことができる。
また、サブ制御部１５０は、制御部１１０から初期化を指示する制御信号を受信してセンサーを初期化した場合に、制御部１１０と同期処理（ステップＳ１０７、Ｓ１１７）を実行する。サブ制御部１５０は、その後に取得するセンサーの検出結果に検出時刻の時刻データであるタイムコードを付加して制御部１１０に送信できる。このため、制御部１１０とサブ制御部１５０とが同期し、センサーの初期化を行うことができる。これにより、センサーの検出結果を含むデータに対し、検出したタイミングを加味した処理を行うことができる。

また、同期処理において、制御部１１０からサブ制御部１５０に所定のタイミングで同期信号を送信し、サブ制御部１５０は制御部１１０が送信する同期信号に基づいて、同期を行うこと、を特徴とする。
本発明によれば、同期信号を送受信することにより、制御部１１０とサブ制御部１５０とを同期させることができる。

また、同期処理の実行後、制御部１１０及びサブ制御部１５０のそれぞれはタイマーのカウントを実行し、サブ制御部１５０は、センサーの検出結果を取得した場合に、取得した検出結果に取得時刻を示すタイムコードを付加したデータを送信する。このため、制御部１１０は、センサーの検出結果を含むデータを受信し、検出結果を取得した時刻を送受信できる。また、サブ制御部１５０は、センサーの検出結果を取得した取得時刻を示すタイムコードを、取得した検出結果のデータに埋め込んでもよい。また、検出結果に付加してデータを生成して送信してもよい。これらのいずれの形式であっても、データを受信する制御部１１０は、センサーの検出値を用いて効率よく処理を行える。

［第３実施形態］
図１１は、本発明を適用した第３実施形態の頭部装着型表示装置１００Ｂを構成する各部の機能ブロック図である。なお、図１１に示す頭部装着型表示装置１００Ｂの構成において、第１実施形態で説明した頭部装着型表示装置１００（図３）と共通の構成部については同符号を付して説明を省略する。

頭部装着型表示装置１００Ｂは、第１実施形態の頭部装着型表示装置１００において、制御装置１０が備える各種センサー、及び、画像表示部２０が備える各種センサーの具体的な例を示す構成である。

すなわち、制御装置１０Ｂは、制御装置１０についてセンサーＩＣ１２７と説明した構成として、位置検出部４２０、撮像部４３０、及び、状態検出部４４０を備える。位置検出部４２０は、ＧＰＳ４２１、９軸センサー４２２、及び、位置検出部４２３を備える。撮像部４３０は、ＩＲカメラ４３１、照度センサー４３２、及び、熱感知センサー４３３を備える。状態検出部４４０は、温度センサー４４１、発汗センサー４４２、心拍センサー４４３、及び、血圧センサー４４４を備える。

ＧＰＳ４２１（第１ＧＰＳ受信部）は、ＧＰＳ衛星や屋内に設置される疑似ＧＰＳ送信機（図示略）が送信する位置検出用の信号を受信して、画像表示部２０の現在位置を算出する。位置検出部４２０は、制御部１１０から入力される制御信号に基づき、或いは予め設定された周期で、ＩＲカメラ４３１が算出した現在位置の情報を制御部１１０に出力する。
９軸センサー４２２は、３軸加速度センサー、３軸ジャイロセンサー、及び、３軸地磁気センサーを備えるモーションセンサーである。位置検出部４２０は、制御部１１０から入力される制御信号に基づき、或いは予め設定された周期で、９軸センサー４２２の３軸加速度センサー、３軸ジャイロセンサー、及び、３軸地磁気センサーの検出値を、制御部１１０に出力する。
位置検出部４２３は、例えば、2.4GHz帯或いは5GHz帯の無線ＬＡＮ（ＷｉＦｉを含む）の無線信号、或いはその他の無線信号を送受信し、周辺に位置する基地局（図示略）やアクセスポイント（図示略）の位置を基準として、制御装置１０Ｂの位置を検出する。位置検出部４２０は、制御部１１０から入力される制御信号に基づき、或いは予め設定された周期で、位置検出部４２３が検出した位置の情報を制御部１１０に出力する。

ＩＲカメラ４３１は、赤外光を受光する受光素子を備え、受光素子の受光状態に基づき撮像画像データを生成するデジタルカメラである。撮像部４３０は、制御部１１０から入力される制御信号に基づき、或いは予め設定された周期で、ＩＲカメラ４３１により撮像を実行し、ＩＲカメラ４３１の撮像画像データを制御部１１０に出力する。
照度センサー４３２は、制御装置１０Ｂにおいて表面に露出する位置に配置され、外光を受光して、受光強度に対応する検出値を出力する。撮像部４３０は、制御部１１０から入力される制御信号に基づき、或いは予め設定された周期で、照度センサー４３２の検出値を制御部１１０に出力する。
熱感知センサー４３３は、制御装置１０Ｂにおいて表面に露出する位置に配置され、赤外光を受光して、赤外光の受光強度に基づき温度を検出する。撮像部４３０は、制御部１１０から入力される制御信号に基づき、或いは予め設定された周期で、熱感知センサー４３３により検出した温度の検出値を制御部１１０に出力する。

状態検出部４４０は、頭部装着型表示装置１００Ｂを使用する使用者の身体状態を検出する。使用者の身体状態は、いわゆるバイタルサイン（血圧、脈拍、体温等）を含み、バイタルサイン以外に、身体の状態に関与するデータであって外的に検出可能なデータを含む。身体状態に関する検出値（検出結果）は、バイタルサインと呼んでもよいし、バイタルサインより広義の生体情報、生命情報等と呼ぶことができる。本実施形態では、一例として、使用者の体温、発汗状態、心拍数、及び血圧を状態検出部４４０により検出し、検出値を生体情報として制御部１１０に出力する。

状態検出部４４０は、使用者の身体表面に接触し、或いは非接触で体温を検出する温度センサー４４１を備え、制御部１１０から入力される制御信号に基づき、或いは予め設定された周期で、温度センサー４４１の体温の検出値を制御部１１０に出力する。発汗センサー４４２は、使用者の身体表面に接触し、或いは非接触で発汗状態を検出する。状態検出部４４０は、制御部１１０から入力される制御信号に基づき、或いは予め設定された周期で、発汗センサー４４２の検出値を制御部１１０に出力する。心拍センサー４４３は、使用者の身体表面に接触して拍動を検出する構成、或いは、血管に対し光を照射して反射光や透過光を検出することで拍動を検出する構成等を有し、使用者の脈拍を測定する。状態検出部４４０は、制御部１１０から入力される制御信号に基づき、或いは予め設定された周期で、心拍センサー４４３の測定値を制御部１１０に出力する。
血圧センサー４４４は、使用者の血圧を検出し、態検出部２４０は、制御部１１０から入力される制御信号に基づき、或いは予め設定された周期で、血圧センサー４４４の検出値を制御部１１０に出力する。

制御装置１０Ｂが、使用者の身体に接触して装着される構成では、状態検出部４４０を制御装置１０Ｂに収容した構成とすることができる。また、状態検出部４４０を、制御装置１０Ｂとは別体として構成してもよい。例えば、状態検出部４４０を腕時計型のケース（図示略）に収容して、このケースを使用者の身体に装着させてもよい。また、例えば、温度センサー４４１、発汗センサー４４２、心拍センサー４４３、及び血圧センサー４４４を、１個ずつ又は複数をまとめて、ケース（図示略）に収容し、使用者の身体に複数のケースを装着する構成であってもよい。この場合、分離される各部はケーブルにより有線接続してもよいし、無線通信回線により接続してもよい。

この構成において、制御部１１０は、位置検出部４２０、撮像部４３０、及び状態検出部４４０が検出する検出結果を含むデータを取得できる。

画像表示部２０Ｂは、画像表示部２０について第１センサー１６１、及び第２センサー１６２と説明した構成として、動き検出部４５０、眼運動計測部４６０、視覚計測部４７０、状態検出部４８０、及び入力検出部４９０を備える。
動き検出部４５０は、９軸センサー４５１、ＧＰＳ４５２を備える。９軸センサー４５１は、第２センサー１６２（図３）として説明したセンサーと同様に、３軸加速度センサー、３軸ジャイロセンサー、及び、３軸地磁気センサーを備えるモーションセンサーである。ＧＰＳ４５２（第２ＧＰＳ受信部）は、ＧＰＳ１６３（図３）として説明したセンサーと同様に構成される。動き検出部４５０は、制御部１１０から入力される制御信号に基づき、或いは予め設定された周期で、９軸センサー４５１の検出値の情報、及び、ＧＰＳ４５２が検出する現在位置の情報を、それぞれ、制御部１１０に出力する。

眼運動計測部４６０は、使用者の眼球の運動を検出する。眼運動計測部４６０は、使用者の眼を赤外光により撮像するＩＲカメラ４６１、及び、眼筋の電位を検出する筋電位センサー４６２を備える。ＩＲカメラ４６１は、例えば、右光学像表示部２６（図１）及び左光学像表示部２８（図１）の内側に配置してもよい。また、筋電位センサー４６２は、使用者の顔面に装着されてもよい。眼運動計測部４６０は、ＩＲカメラ４６１の撮像画像データ、及び筋電位センサー４６２の検出値、サブ制御部１５０に出力する。また、眼運動計測部４６０は、ＩＲカメラ４６１の撮像画像データ、及び、筋電位センサー４６２の検出値のいずれか、又は両方についてデータ処理をした処理結果を、サブ制御部１５０に出力してもよい。

視覚計測部４７０は、赤外光により撮像するＩＲカメラ４７１、紫外光により撮像するＵＶカメラ４７２、熱感知センサー４７３、及び、照度センサー４７４を備える。ＩＲカメラ４７１は、赤外光を受光する受光素子を備え、受光素子の受光状態に基づき撮像画像データを生成するデジタルカメラである。視覚計測部４７０は、サブ制御部１５０から入力される制御信号に基づき、或いは予め設定された周期で、ＩＲカメラ４７１により撮像を実行し、ＩＲカメラ４７１の撮像画像データをサブ制御部１５０に出力する。
熱感知センサー４７３は、画像表示部２０Ｂにおいて表面に露出する位置に配置され、赤外光を受光して、赤外光の受光強度に基づき温度を検出する。視覚計測部４７０は、サブ制御部１５０から入力される制御信号に基づき、或いは予め設定された周期で、熱感知センサー４７３により検出した温度の検出値をサブ制御部１５０に出力する。
照度センサー４７４は、画像表示部２０Ｂにおいて表面に露出する位置に配置され、外光を受光して、受光強度に対応する検出値を出力する。視覚計測部４７０は、サブ制御部１５０から入力される制御信号に基づき、或いは予め設定された周期で、照度センサー４３２の検出値をサブ制御部１５０に出力する。

状態検出部４８０は、頭部装着型表示装置１００Ｂを使用する使用者の身体状態を検出する。使用者の身体状態は、いわゆるバイタルサイン（血圧、脈拍、体温等）を含み、バイタルサイン以外に、身体の状態に関与するデータであって外的に検出可能なデータを含む。身体状態に関する検出値（検出結果）は、バイタルサインと呼んでもよいし、バイタルサインより広義の生体情報、生命情報等と呼ぶことができる。本実施形態では、一例として、使用者の体温及び発汗状態を状態検出部４８０により検出し、検出値を生体情報としてサブ制御部１５０に出力する。

状態検出部４８０は、使用者の身体表面に接触し、或いは非接触で体温を検出する温度センサー４８１を備え、サブ制御部１５０から入力される制御信号に基づき、或いは予め設定された周期で、温度センサー４８１の体温の検出値をサブ制御部１５０に出力する。発汗センサー４８２は、使用者の身体表面に接触し、或いは非接触で発汗状態を検出する。状態検出部４８０は、サブ制御部１５０から入力される制御信号に基づき、或いは予め設定された周期で、発汗センサー４８２の検出値をサブ制御部１５０に出力する。

画像表示部２０Ｂは使用者が頭部に装着する。温度センサー４８１及び発汗センサー４８２は、例えば、画像表示部２０Ｂにおいて使用者の頭部に接触する右保持部２１（図１）、左保持部２３（図１）、或いは、右光学像表示部２６及び左光学像表示部２８（図１）の下方に配置される。

入力検出部４９０は、脳波センサー４９１、及び、マイク４９２を備える。脳波センサー４９１は、頭部装着型表示装置１００Ｂを装着する使用者の脳波を検出する。入力検出部４９０は、サブ制御部１５０から入力される制御信号に基づき、或いは予め設定された周期で、脳波センサー４９１が検出する脳波の検出結果をサブ制御部１５０に出力する。マイク４９２は、マイク６３とは別体として設けられてもよいし、マイク６３をマイク４９２として利用してもよい。入力検出部４９０は、サブ制御部１５０から入力される制御信号に基づき、或いは予め設定された周期で、マイク４９２の検出結果をサブ制御部１５０に出力する。

この構成において、サブ制御部１５０は、動き検出部４５０、眼運動計測部４６０、視覚計測部４７０、状態検出部４８０、及び入力検出部４９０が検出する検出結果を含むデータを取得できる。

図１１に示す制御装置１０Ｂの制御部１１０、及び、画像表示部２０Ｂのサブ制御部１５０は、第１実施形態で説明した図４〜図６の動作、及び、第２実施形態の図７、図１０の動作を実行できる。この構成では、多数のセンサーを搭載した制御装置１０Ｂと画像表示部２０Ｂとの間でデータを送受信することにより、制御部１１０がセンサーの検出結果を効率よく取得できる。そして、第１実施形態、及び第２実施形態で説明した頭部装着型表示装置１００と同様の効果を奏することができる。

また、制御装置１０Ｂは、制御部１１０に接続され、ＧＰＳ信号に基づき時刻情報を取得するＧＰＳ４２１を備える。制御部１１０は、ＧＰＳ４２１が受信する衛星からの電波に基づき時刻情報を取得して、現在時刻を取得できる。
この構成では、制御装置１０Ｂ及び画像表示部２０Ｂが、ＧＰＳ信号に基づき同期を行ってもよい。例えば、制御部１１０がＧＰＳ４２１から時刻情報を取得し、サブ制御部１５０が、ＧＰＳ１６３により、衛星からの電波を受信して、受信した情報に含まれる時刻情報を取得できる。制御部１１０からサブ制御部１５０に対し、ステップＳ１０７（図７）で通信開始要求を送信し、この通信開始要求をトリガーとして制御部１１０とサブ制御部１５０のそれぞれが、ＧＰＳで受信した時刻情報を基準として時刻のカウントを開始してもよい。この場合、制御部１１０とサブ制御部１５０とは、グローバル基準時に従って同期を行うことができる。

［第４実施形態］
図１２は、本発明を適用した第４実施形態の表示システム１の外観構成を示す説明図である。
表示システム１は、頭部装着型表示装置１００Ｃと、画像表示部２０とを有し、さらに、使用者が身体に装着する身体装着デバイス３を備える。身体装着デバイス３は、使用者の身体に装着可能な、いわゆるウェアラブルデバイスであり、本実施形態では使用者の腕に装着される腕時計状の形状とする。
頭部装着型表示装置１００Ｃは、第１実施形態と同様に構成され、後述するように、制御装置１０（図３）に赤外線通信部１３１を備えた制御装置１０Ｃを有する。制御装置１０Ｃ及び画像表示部２０において、制御装置１０Ｃが赤外線通信部１３１を備える他は、第１実施形態と共通する構成である。このため、第１実施形態と共通の構成部については同符号を付して説明を省略する。

身体装着デバイス３は、腕時計のバンドと同様の形状であるバンド部３００を有する。バンド部３００は、図示しないバックル等の固定部を有し、例えば使用者の前腕部に巻き付けて固定できる。身体装着デバイス３のバンド部３００には、時計の文字盤に相当する位置に、略円盤状のケース部３００Ａが形成される。ケース部３００Ａには、ＬＣＤ３０３、複数のボタン３０９が設けられる。
ＬＣＤ３０３は、文字や画像を表示するＬＣＤ（Liquid Crystal Display：液晶ディスプレイ）である。ボタン３０９は、ケース部３００Ａの外側に配置される押しボタン式スイッチである。
ＬＣＤ３０３には、現在時刻や、身体装着デバイス３の動作状態を示す情報が表示される。
また、ボタン３０９は、身体装着デバイス３を使用者が動作させるための操作子として機能する。

図１３は、表示システム１を構成する各部の機能ブロック図である。
図１３に示す構成において、身体装着デバイス３は、サブ制御部３５０を備える。また、身体装着デバイス３は、サブ制御部３５０に接続される第１センサー３５１、第２センサー３５２、ＧＰＳ３５３、ＥＥＰＲＯＭ３５４、カメラ３５５、表示部３５６、及び、赤外線通信部３５７を備える。

制御装置１０Ｃは、制御装置１０（図３）の構成に加え、赤外線通信部１３１を備える。
赤外線通信部３５７、及び、赤外線通信部１３１は、赤外光を発する赤外ＬＥＤ（図示略）、及び、赤外光を受光する受光素子（図示略）を備え、赤外線信号を相互に送受信する。これにより、制御装置１０Ｃと身体装着デバイス３とは赤外線通信リンク３Ａを形成し、この赤外線通信リンク３Ａを介して、制御部１１０とサブ制御部３５０とが、制御データやセンサーの検出値を含むデータを送受信できる。

第１センサー３５１は、画像表示部２０が備える第１センサー１６１に相当する。また、第２センサー３５２は、第２センサー１６２に相当し、ＧＰＳ３５３はＧＰＳ１６３に相当する。ＥＥＰＲＯＭ３５４はＥＥＰＲＯＭ１６５に相当し、カメラ３５５はカメラ６１に相当する。サブ制御部３５０は、サブ制御部１５０が第１センサー１６１、第２センサー１６２、ＧＰＳ１６３、照度センサー１６４、及びカメラ６１の各センサーの検出値を取得する動作と同様の動作を実行できる。
ＥＥＰＲＯＭ３５４は、ＥＥＰＲＯＭ１６５と同様に、サブ制御部３５０が処理するデータを不揮発的に記憶する。

また、表示部３５６は、ＬＣＤ３０３（図１２）に接続され、サブ制御部３５０の制御に従って現在時刻や各種センサーの検出値等をＬＣＤ３０３に表示させる。

サブ制御部３５０は、第１センサー３５１、第２センサー３５２、ＧＰＳ３５３、及びカメラ３５５の各センサーの検出値を、所定のサンプリング周期に従って取得し、取得した検出値を含むデータを制御部１１０に送信する。この動作は、具体的には、第１実施形態で説明した図４〜図６の動作、及び、第２実施形態の図７、図１０の動作である。
また、ＥＥＰＲＯＭ３５４は、身体装着デバイス３が備える各センサーに関する情報として、例えばセンサー情報１６５ａ（図８）と同様の情報を記憶してもよい。

制御部１１０とサブ制御部３５０とは、例えば、図７に示す動作を実行する。この場合においてサブ制御部３５０は、サブ制御部１５０と同様に動作する。
制御部１１０は、上述のように、画像表示部２０が備えるサブ制御部１５０との間でデータを送受信し、サブ制御部１５０に接続される各種センサーの検出値を取得する。また、制御部１１０は、サブ制御部１５０が各センサーの検出値を取得するサンプリング周期、サブ制御部１５０がデータを送信する周期等を設定できる。
そして、制御部１１０は、身体装着デバイス３が備えるサブ制御部３５０に対しても、サブ制御部１５０と同様に、身体装着デバイス３の各センサーの検出値を取得させ、取得した検出値を含むデータを送信させることができる。そして、サブ制御部３５０は、制御部１１０が送信する制御データを受信し、第１センサー３５１、第２センサー３５２、ＧＰＳ３５３、及びカメラ３５５を初期化及び有効化し、サンプリング周期等に関する設定を行う。
サブ制御部３５０は、制御部１１０が送信する通信開始要求を受信したタイミングでタイムコードのカウントを開始し、これにより制御部１１０とサブ制御部３５０とは同期する。サブ制御部３５０は、制御部１１０の指定に従って設定したサンプリング周期で、指定されたセンサーの検出結果を取得して、検出結果を含むデータを制御部１１０に送信する。

制御部１１０は、サブ制御部３５０に対して、赤外線通信リンク３Ａにより通信開始要求を送信する。通信開始要求はタイムコードのカウントの開始タイミングを指定する情報であり、同期に係る情報である。このように同期に係る情報を、光信号として送受信することにより、通信開始要求の送受信に関する遅延を抑えることができ、より正確に、制御部１１０とサブ制御部３５０とを同期させることができる。
この効果は、例えば、制御部１１０とサブ制御部１５０とが、赤外線通信を実行する構成とした場合にも、得ることができる。

また、第４実施形態の表示システム１では、制御部１１０が、画像表示部２０における各センサーの検出値と、身体装着デバイス３が備える各センサーの検出値とを取得できる。これらの多数のセンサーの検出値を取得する場合に、サブ制御部１５０及びサブ制御部３５０は、制御部１１０が指定するサンプリング周期でセンサーの検出値を取得し、制御部１１０が指定するタイミングでデータを送信する。このため、制御部１１０の負荷増大を抑えて、制御部１１０が多数のセンサーの検出結果を含むデータを取得し、処理できるという利点がある。

ここで、サブ制御部１５０が制御部１１０に送信するデータ、及び、サブ制御部３５０が制御部１１０に送信するデータの形式は、例えば図９に示すフレーム形式とすることができる。この場合において、センサー識別子に、画像表示部２０が備えるセンサーと身体装着デバイス３が備えるセンサーとを識別することが可能な符号やデータを付加してもよい。また、フレームのペイロードＤ１３やヘッダーに、センサー識別子やセンサーデータとは別に、送信元がサブ制御部１５０かサブ制御部３５０かを示すデータを含めてもよい。或いは、センサー識別子またはセンサーデータにより、当該フレームが、サブ制御部１５０が送信したフレームかサブ制御部３５０が送信したフレームかを特定できるようにしてもよい。

表示システム１は、制御部１１０とデータを送受信可能に構成され、センサーを有するデバイスの一例として、腕時計型のデバイスである身体装着デバイス３を備えた構成を示した。この他、使用者の身体に装着するデバイスの例としては、使用者の衣服に装着または収容可能な構成としてもよいし、衣服、帽子、靴、手袋等と一体となった形状が挙げられる。また、制御部１１０と通信可能なデバイスの数に制限はなく、既にサブ制御部１５０とともに使用される制御部１１０に、新たなデバイスを追加して、通信させる構成であってもよい。

第４実施形態の構成において、制御装置１０Ｃと身体装着デバイス３とは赤外線通信リンク３Ａを介して、制御データやセンサーの検出値を含むデータを送受信する構成を例示したが、制御装置１０Ｃと身体装着デバイス３との接続形態はこれに限定されず、他の種類の通信手段により接続してもよい。例えば、制御装置１０Ｃと身体装着デバイス３とを、無線ＬＡＮ（ＷｉＦｉ（登録商標）を含む）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線通信インターフェイス、或いは、ＬＡＮ、ＵＳＢ等の有線通信インターフェイスで接続してもよい。

第２実施形態では、制御部１１０及びサブ制御部１５０が、同期してタイムコードのカウントを開始することにより、タイムコードを同期させる構成を説明した。また、第３実施形態で、制御部１１０とサブ制御部３５０とがタイムコードのカウントを同期する構成を説明した。これらの構成において、制御部１１０とサブ制御部１５０とがカウントする１カウントあたりの時間が異なる場合、タイムコードのカウントが進行する間に同期がずれる可能性がある。制御部１１０とサブ制御部３５０との間においても同様の可能性がある。そこで、予め、制御部１１０とサブ制御部１５０、及び／または、制御部１１０とサブ制御部３５０との間で、カウントを同期する構成としてもよい。
具体的には、制御部１１０とサブ制御部１５０とが１カウントを行う時間が同一となるように、制御部１１０及びサブ制御部１５０のいずれか、或いは両方に対し設定を行う方法が挙げられる。
また、サブ制御部１５０における１カウントの時間を、サブ制御部１５０から制御部１１０に通知し、或いは制御部１１０が取得する方法が挙げられる。この方法では、制御部１１０が、制御部１１０のタイムコードのカウント値からサブ制御部１５０のタイムコードのカウント値を算出し、或いは、サブ制御部１５０から受信するデータに含まれるタイムコードを制御部１１０がカウントするタイムコードに換算して、同期を維持できる。
これらの方法は、勿論、制御部１１０とサブ制御部３５０との間でも実行できる。
これにより、制御部１１０とサブ制御部１５０、及び／または、制御部１１０とサブ制御部３５０との間で、１カウントに要する時間が異なる場合であっても、同期してタイムコードのカウントを行うことができる。

なお、この発明は上記各実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
例えば、上記各実施形態で、ＥＥＰＲＯＭ１６５にセンサー情報１６５ａを記憶し、サブ制御部１５０がセンサー情報１６５ａを参照して、制御部１１０にセンサーに関する情報を送信する構成を説明した。本発明はこれに限定されず、たとえば、制御部１１０またはサブ制御部１５０が通信可能な外部の装置が、センサーに関する情報を記憶してもよい。この外部の装置は、ＷｉＦｉやＬＡＮ等、構内の通信回線により、制御部１１０またはサブ制御部１５０と通信可能な装置に限定されず、インターネット等のオープンネットワークを介して接続される装置でもよい。この場合、制御部１１０、またはサブ制御部１５０は、通信回線を介して外部の装置と通信し、センサーに関する情報を取得してもよい。
この構成において、外部の装置が記憶するセンサー情報１６５ａは、サブ制御部１５０を備える機器を特定する情報が付加され、或いは、当該情報を含んでもよい。サブ制御部１５０を備える機器を特定する情報は、例えば、機器のベンダー、型式、型名、名称、シリアルコード等が挙げられる。この場合、制御部１１０またはサブ制御部１５０は、通信回線を介して外部の装置と通信し、サブ制御部１５０を備える機器に対応するセンサー情報１６５ａを検索または指定して取得することができる。例えば、制御部１１０は、サブ制御部１５０を備える機器である制御装置１０を特定する情報を取得し、或いは識別して、この情報をもとに外部の機器からセンサー情報１６５ａを取得できる。サブ制御部３５０を備える身体装着デバイス３についても同様である。身体装着デバイス３を特定する情報を、外部の装置が記憶するセンサー情報１６５ａに付加し、或いは、当該情報をセンサー情報１６５ａに含ませてもよい。この場合、制御部１１０は、通信回線を介して外部の装置と通信し、身体装着デバイス３に対応するセンサー情報１６５ａを検索または指定して取得することができる。制御部１１０は、身体装着デバイス３の型番、型式、或いは名称を検出することで、この身体装着デバイス３に対応するセンサー情報１６５ａを外部の機器から取得できる。

また、例えば、画像表示部２０、２０Ｂに代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者の左眼に対応して画像を表示する表示部と、使用者の右眼に対応して画像を表示する表示部とを備えていればよい。また、本発明の表示装置は、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。この場合、使用者の身体に対する位置を位置決めする部分、及び、当該部分に対し位置決めされる部分を装着部とすることができる。

また、制御装置１０、１０Ｂ、１０Ｃとして、ノート型コンピューター、タブレット型コンピューター又はデスクトップ型コンピューターを用いてもよい。或いは、制御装置１０、１０Ｂ、１０Ｃとして、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。
また、例えば、画像表示部２０、２０Ｂにおいて画像光を生成する構成として、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としてもよい。また、画像光を生成する構成として、ＬＣＯＳ（Liquid crystal on silicon, LCoSは登録商標）や、デジタル・マイクロミラー・デバイス等を用いることもできる。

また、画像光を使用者の眼に導く光学系としては、外部から装置に向けて入射する外光を透過する光学部材を備え、画像光とともに使用者の眼に入射させる構成を採用できる。また、使用者の眼の前方に位置して使用者の視界の一部または全部に重なる光学部材を用いてもよい。さらに、レーザー光等を走査させて画像光とする走査方式の光学系を採用してもよい。また、光学部材の内部で画像光を導光させるものに限らず、使用者の眼に向けて画像光を屈折及び／または反射させて導く機能のみを有するものであってもよい。
例えば、レーザー網膜投影型のヘッドマウントディスプレイに対して本発明を適用することも可能である。すなわち、光射出部が、レーザー光源と、レーザー光源を使用者の眼に導く光学系とを備え、レーザー光を使用者の眼に入射させて網膜上を走査し、網膜に結像させることにより、使用者に画像を視認させる構成を採用してもよい。
また、本発明を、ＭＥＭＳミラーを用いた走査光学系を採用し、ＭＥＭＳディスプレイ技術を利用した表示装置に適用することも可能である。すなわち、信号光形成部と、信号光形成部が射出する光を走査するＭＥＭＳミラーを有する走査光学系と、走査光学系により走査される光によって虚像が形成される光学部材とを光射出部として備えてもよい。この構成では、信号光形成部が射出した光がＭＥＭＳミラーにより反射され、光学部材に入射し、光学部材の中を導かれて、虚像形成面に達する。ＭＥＭＳミラーが光を走査することにより、虚像形成面に虚像が形成され、この虚像を使用者が眼で捉えることで、画像が認識される。この場合の光学部品は、例えば上記実施形態の右導光板２６１及び左導光板２６２のように、複数回の反射を経て光を導くものであってもよく、ハーフミラー面を利用してもよい。

さらに、本発明の光学素子は、ハーフミラー２６１Ａ、２６２Ａを有する右導光板２６１、左導光板２６２に限定されず、画像光を使用者の眼に入射させる光学部品であればよく、具体的には、回折格子、プリズム、ホログラフィー表示部を用いてもよい。

また、図３、図１１、図１３に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図３、図１１、図１３に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、図３、図１１、図１３に示した各機能部は、マイクロプロセッサーとＩＣで構成する例に制限されず、より大規模の集積回路に複数の機能部を実装する構成としてもよいし、ＳｏＣ等の形態としても良い。また、制御装置１０、１０Ｂに形成された構成が重複して画像表示部２０、２０Ｂに形成されていてもよい。

１…通信システム、３…身体装着デバイス、１０、１０Ｂ、１０Ｃ…制御装置、２０、２０Ｂ…画像表示部（表示部）、２２…右表示駆動部、２４…左表示駆動部、３２…右イヤホン、３４…左イヤホン、４０…接続部、４１Ａ…制御データバス、４１Ｂ…画像データバス、４１Ｃ、４１Ｄ…表示データバス、４２…右コード、４４…左コード、４８…本体コード、６１…カメラ、６３…マイク、１００、１００Ｂ、１００Ｃ…頭部装着型表示装置（表示装置）、１１０…制御部（第１制御部）、１１５…Ｉ／Ｆ部、１２１…メモリー、１２２…フラッシュメモリー、１２３…電源制御部、１２４…ＵＩ制御部、１２５…無線Ｉ／Ｆ制御部、１２６…音声制御部、１２７…センサーＩＣ、１２８…外部Ｉ／Ｆ部、１３１…赤外線通信部（送信部）、１５０…サブ制御部（第２制御部）、１５５…Ｉ／Ｆ部、１６１…第１センサー、１６２…第２センサー、１６３…ＧＰＳ（第２ＧＰＳ受信部）、１６４…照度センサー、１６５…ＥＥＰＲＯＭ（設定データ記憶部）、１６５ａ…センサー情報、１６７…ＬＣＤ駆動部、１６８…ＬＣＤ駆動部、１６９…バックライト駆動部、１７０…バックライト駆動部、２２１…右バックライト、２２２…左バックライト、２４１…右液晶ディスプレイ、２４２…左液晶ディスプレイ、２５１…右投写光学系、２５２…左投写光学系、３００…バンド部、３００Ａ…ケース部、３０３…ＬＣＤ、３０９…ボタン、３５０…サブ制御部（第２制御部）、３５１…第１センサー、３５２…第２センサー、３５３…ＧＰＳ、３５４…ＥＥＰＲＯＭ、３５５…カメラ、３５７…赤外線通信部（受信部）、４２０…位置検出部、４２１…ＧＰＳ、４２２…９軸センサー、４２２…センサー、４２３…位置検出部、４３０…撮像部、４３１…ＩＲカメラ、４３２…照度センサー、４３３…熱感知センサー、４４０…状態検出部、４４１…温度センサー、４４２…発汗センサー、４４３…心拍センサー、４４４…血圧センサー、４５０…動き検出部、４５１…軸センサー、４５２…ＧＰＳ、４６０…眼運動計測部、４６１…ＩＲカメラ、４６２…筋電位センサー、４７０…視覚計測部、４７１…ＩＲカメラ、４７２…ＵＶカメラ、４７３…熱感知センサー、４７４…照度センサー、４８０…状態検出部、４８１…温度センサー、４８２…発汗センサー、４９０…入力検出部、４９１…脳波センサー、４９２…マイク。

Claims (23)

1. 表示部を備えた表示装置であって、
   前記表示装置を制御する第１制御部を有する第１本体と、
   加速度センサー、ジャイロセンサー、磁気センサー、カメラ、照度センサー及びＧＰＳのいずれかである複数のセンサーと、複数の前記センサーに接続され、前記第１制御部に、複数の前記センサーが検出した検出結果を含むデータを送信する第２制御部と、前記表示部と、を有する第２本体と、
   を備え、
   前記第１本体には、加速度センサー、ジャイロセンサー、磁気センサーのいずれかを含むセンサーが設けられ、
   前記第１制御部は、前記第１本体の前記センサーと前記第２本体の複数の前記センサーとの相対位置と、前記第１本体の前記センサー及び前記第２本体の複数の前記センサーの検出結果と、に基づき、前記表示装置の動きを示す特性値を算出することを特徴とする表示装置。
2. 前記第２制御部は、前記第１制御部の制御に基づき、複数の前記センサーの制御をとりまとめて実行すること、を特徴とする請求項１記載の表示装置。
3. 前記第２制御部は、複数の前記センサーの検出結果を、複数の異なるサンプリング周期で取得すること、を特徴とする請求項１または２記載の表示装置。
4. 前記第２制御部は、第１サンプリング周期、及び、前記第１サンプリング周期より長い第２サンプリング周期で、複数の前記センサーの検出結果を取得し、前記第１サンプリング周期で取得した前記センサーの検出結果と、前記第２サンプリング周期で取得した前記センサーの検出結果とを含むデータを前記第１制御部に送信すること、を特徴とする請求項３記載の表示装置。
5. 前記第２制御部は、前記第１制御部に対し、第１サンプリング周期に対応する第１送信形式、及び、第２サンプリング周期に対応する第２送信形式のいずれかの送信形式で前記センサーの検出結果を含むデータを送信可能であること、
   を特徴とする請求項４記載の表示装置。
6. 前記第２制御部は、前記第１制御部から要求されるサンプリング周期に基づき、前記第1送信形式、及び、前記第２送信形式のいずれかの送信形式を選択して前記センサーの検出結果を含むデータを送信すること、
   を特徴とする請求項５記載の表示装置。
7. 前記第１制御部と前記第２制御部との間で、前記第２制御部が前記データを前記第１制御部に送信するタイミングと前記第１制御部が前記データを受信するタイミングとを同期させる送信同期処理を行い、
   前記第１制御部が前記第２制御部に対し、前記第２制御部から前記第１制御部に送信する前記データの送信周期、或いは、検出結果を送信する前記センサーの指定を含む設定を行うこと、
   を特徴とする請求項１から６のいずれかに記載の表示装置。
8. 前記第２制御部に接続され、前記第２制御部に接続される前記センサーに関するセンサー情報を記憶するセンサー情報記憶部を備え、
   前記第１制御部は、前記第２制御部に対し前記センサー情報を要求し、要求に応じて前記第２制御部が送信する前記センサー情報に基づき、前記第２制御部が送信する前記データの設定を行うこと、
   を特徴とする請求項７記載の表示装置。
9. 前記センサー情報は、前記センサーに対応して、前記センサーを識別するセンサー識別子と、前記センサーの検出結果を取得するサンプリング周期とを含むこと、
   を特徴とする請求項８記載の表示装置。
10. 前記センサー情報記憶部は、前記センサーに対応して前記第２制御部が実行する処理を示す情報を記憶すること、
    を特徴とする請求項８または９記載の表示装置。
11. 前記第１制御部は前記第２制御部に対して制御信号を送信し、
    前記第２制御部は、前記第１制御部から初期化を指示する制御信号を受信した場合に、前記第２制御部に接続される前記センサーを初期化すること、
    を特徴とする請求項１から１０のいずれかに記載の表示装置。
12. 前記第２制御部は、前記第１制御部から初期化を指示する制御信号を受信して前記センサーを初期化した場合に、前記第１制御部と同期処理を実行し、その後に取得する前記センサーの検出結果に検出時刻の時刻データを付加して前記第１制御部に送信すること、
    を特徴とする請求項１１記載の表示装置。
13. 前記第１制御部に接続され、前記制御信号を光信号として送信する送信部と、
    前記第２制御部に接続され、前記送信部が送信する前記光信号を受信する受信部と、を備えること、
    を特徴とする請求項１１または１２記載の表示装置。
14. 前記第１制御部に接続され、ＧＰＳ信号に基づき時刻情報を取得する第１ＧＰＳ受信部と、
    前記第２制御部に接続され、ＧＰＳ信号に基づき時刻情報を取得する第２ＧＰＳ受信部と、を備え、
    前記第１制御部及び前記第２制御部は、前記第１ＧＰＳ受信部及び前記第２ＧＰＳ受信部がそれぞれ取得する時刻情報に基づく同期処理を実行すること、
    を特徴とする請求項１１から１３のいずれかに記載の表示装置。
15. 前記第２制御部は、前記第１制御部から設定更新を要求する前記制御信号を受信した場合に、前記第２制御部に接続される前記センサーを初期化すること、
    を特徴とする請求項１１から１４のいずれかに記載の表示装置。
16. 前記同期処理において、前記第１制御部から前記第２制御部に所定のタイミングで同期信号を送信し、前記第２制御部は前記第１制御部が送信する同期信号に基づいて、同期を行うこと、
    を特徴とする請求項１２記載の表示装置。
17. 前記同期処理の実行後、前記第１制御部及び前記第２制御部のそれぞれはタイムコードのカウントを実行し、
    前記第２制御部は、前記センサーの検出結果を取得した場合に、取得した検出結果に取得時刻を示すタイムコードを付加した前記データを送信すること、
    を特徴とする請求項１４または１６記載の表示装置。
18. 前記第２制御部は、前記センサーの検出結果を取得した場合に、取得時刻を示すタイムコードを、取得した検出結果のデータに埋め込み、或いは検出結果に付加して前記データを生成して送信すること、
    を特徴とする請求項１７記載の表示装置。
19. 前記第１制御部は、検出値の種類を指定して検出値を要求する検出値要求コマンドを前記第２制御部に送信し、
    前記第２制御部は、前記第１制御部から受信した前記検出値要求コマンドが、複数の前記センサーの検出結果に基づく演算処理で求められる検出値を要求する場合に、複数の前記センサーの検出結果を演算して要求された前記検出値を求める所定処理を実行すること、を特徴とする請求項１から１８のいずれかに記載の表示装置。
20. 前記第２制御部は設定データを記憶する設定データ記憶部に接続され、前記設定データ記憶部に記憶された設定データを用いて前記所定処理を実行すること、を特徴とする請求項１９記載の表示装置。
21. 前記第２制御部は、前記センサーから取得した検出結果を前記第１制御部に送信するまで保持すること、を特徴とする請求項１から２０のいずれかに記載の表示装置。
22. 前記第２制御部は、いずれかの前記センサーの検出結果と他の前記センサーの検出結果とに基づいて、前記センサーで直接検出できない種類の値を擬似的に求める前記所定処理を実行し、処理後の検出結果を前記第１制御部に送信すること、を特徴とする請求項１９記載の表示装置。
23. 第１制御部を有する第１本体と、表示部、加速度センサー、ジャイロセンサー、磁気センサー、カメラ、照度センサー及びＧＰＳのいずれかである複数のセンサー、及び、複数の前記センサーに接続されて、前記第１制御部に、複数の前記センサーが検出した検出結果を含むデータを送信する第２制御部を有する第２本体と、を備える表示装置であり、前記第１制御部により前記表示装置を制御するよう構成され、前記第１本体に、加速度センサー、ジャイロセンサー、磁気センサーのいずれかを含むセンサーが設けられた前記表示装置を制御し、
    複数の前記センサーに接続された前記第２制御部により、複数の前記センサーの検出結果を含むデータを前記第１制御部に送信し、
    前記第１制御部により、前記第１本体の前記センサーと前記第２本体の複数の前記センサーとの相対位置と、前記第１本体の前記センサー及び前記第２本体の複数の前記センサーの検出結果と、に基づき、前記表示装置の動きを示す特性値を算出すること、
    を特徴とする表示装置の制御方法。

Images