JP6011072B2 - 制御装置、及びプログラム - Google Patents

Description

本発明は、情報入出力装置、及び頭部装着表示装置に関する。

近年、現実空間と仮想空間とを結び付けて表示する拡張現実技術（ＡＲ技術）が提案されている（例えば、特許文献１を参照）。特許文献１には、撮像した現実空間の対象物に、文字などの付加情報を重畳して表示部に表示する情報入出力装置が記載されている。
また、一方で、撮像装置などの情報入出力装置では、映像を拡大して撮像する場合などに手振れにより発生する映像のブレを低減させる技術（防振技術）が知られている。

特開２０１１−２４２８１６号公報

しかしながら、例えば、情報入出力装置において、上述のようなＡＲ技術と防振技術とを組み合わせて使用した場合に、防振技術が動作することによって、正しい位置に付加情報が表示されないことがある。このような場合、上述の情報入出力装置は、利便性が悪いという問題があった。

本発明は、上記問題を解決すべくなされたもので、その目的は、利便性を向上させることができる情報入出力装置、及び頭部装着表示装置を提供することにある。

上記問題を解決するために、本発明の一態様は、画像データと前記画像データに含まれる被写体に関する情報とを表示部に表示させる制御装置であって、前記被写体を撮像し、前記画像データを取得する撮像部と、前記撮像部の光軸の変位を検出する検出部と、前記検出部が検出した前記光軸の変位に基づいて、前記画像データのうち前記表示部に表示する部分を補正する第一補正部と、前記被写体に関する情報を前記表示部に表示する表示位置が変化しないように、前記光軸の変位又は前記部分に基づいて前記表示位置を補正する第二補正部と、を備える、制御装置である。

また、本発明の一態様は、画像データと前記画像データに含まれる被写体に関する情報とを表示部に表示させるプログラムであって、前記被写体を撮像し、前記画像データを取得する撮像処理と、前記撮像処理を行う撮像部の光軸の変位を検出する検出処理と、前記検出処理が検出した前記光軸の変位に基づいて、前記画像データのうち前記表示部に表示する部分を補正する第一補正処理と、前記被写体に関する情報を前記表示部に表示する表示位置が変化しないように、前記光軸の変位又は前記部分に基づいて前記表示位置を補正する第二補正処理と、をコンピュータに実行させる、プログラムである。

本発明によれば、利便性を向上させることができる。

本実施形態によるヘッドマウントディスプレイの構成を示す斜視図である。 本実施形態におけるヘッドマウントディスプレイを背面側から見た斜視図である。 本実施形態におけるヘッドマウントディスプレイの装着形態を示す図である。 本実施形態におけるディスプレイ本体の構成を示す水平断面図である。 本実施形態におけるリモコンの構成を示す斜視図である。 本実施形態におけるステレオイヤホンの構成を示す斜視図である。 第１の実施形態におけるヘッドマウントディスプレイを示す機能ブロック図である。 本実施形態におけるヘッドマウントディスプレイのネットワークへの接続例を示すブロック図である。 本実施形態におけるヘッドバンドの動作の一例を示す図である。 本実施形態におけるヘッドマウントディスプレイの動作の一例を示す図である。 第１の実施施形態におけるヘッドマウントディスプレイの動作の一例を示すフローチャートである。 第２の実施施形態におけるヘッドマウントディスプレイの動作の一例を示すフローチャートである。 第３の実施形態におけるヘッドマウントディスプレイを示す機能ブロック図である。 第３の実施施形態におけるヘッドマウントディスプレイの動作の一例を示すフローチャートである。 第４の実施施形態におけるヘッドマウントディスプレイの動作の一例を示すフローチャートである。 第５の実施形態におけるヘッドマウントディスプレイを示す機能ブロック図である。 第５の実施施形態におけるヘッドマウントディスプレイの動作の一例を示すフローチャートである。 第５の実施施形態におけるヘッドマウントディスプレイの動作の一例を示す図である。

以下、本発明の一実施形態について図面を参照しながら説明するが、本発明はこれに限定されない。以下の説明においては、必要に応じてＸＹＺ直交座標系を設定し、このＸＹＺ直交座標系を参照しつつ各部の位置関係について説明する。水平面内の所定方向をＸ軸方向、水平面内においてＸ軸方向と直交する方向をＹ軸方向、Ｘ軸方向及びＹ軸方向のそれぞれと直交する方向（すなわち鉛直方向）をＺ軸方向とする。また、Ｘ軸、Ｙ軸、及びＺ軸まわりの回転（傾斜）方向をそれぞれ、θＸ、θＹ、及びθＺ方向とする。

［第１の実施形態］
図１は、本実施形態のヘッドマウントディスプレイの斜視図である。図２は、ヘッドマウントディスプレイを背面側から見た斜視図である。図３は、本実施形態のヘッドマウントディスプレイの装着形態を示す図である。図４は、ディスプレイ本体２０の水平断面図である。

ヘッドマウントディスプレイ１（頭部装着表示装置）は、ディスプレイ本体（本体部）２０とユーザーの頭部に装着されるとともにディスプレイ本体２０を支持するヘッドバンド４０（装着部）と、を備えた単眼式のヘッドマウントディスプレイである。
なお、図１及び図２では、ディスプレイ本体２０の長手方向をＹ軸方向、ヘッドバンド４０がユーザーの頭部を挟持する方向をＸ軸方向としている。

本実施形態のヘッドマウントディスプレイ１は、図３に示すように、両眼どちらでも使用可能である。図３（Ａ）には、ユーザーが右眼で表示部６０を見ている状態が示されている。図３（Ｂ）には、左眼で見ている状態が示されている。ここで、ヘッドバンド４０は、ディスプレイ本体２０をユーザーの頭部に装着する。

また図２に示すように、ディスプレイ本体２０とヘッドバンド４０とは、連結ピン４１を介して着脱可能に構成されている。

以下、ヘッドマウントディスプレイ１の各部の構成について詳細に説明する。
ディスプレイ本体２０は、図１に示すように、主要回路を内蔵するとともに操作部や各種インタフェースを備えた装置本体部２１と、装置本体部２１の先端に連結された表示部６０とを有する。

装置本体部２１は、概略板状の筐体２１Ａを有する（図４参照）。本実施形態では、装置本体部２１においてヘッドバンド４０との接続部が設けられている側の端部（＋Ｙ側の端部）を基端部とし、この基端部と反対側の端部（−Ｙ側の端部）を先端部とする。また、装置本体部２１をヘッドバンド４０に装着した状態で、装置本体部２１のヘッドバンド４０側（＋Ｘ側）を内側、ヘッドバンド４０と反対側（−Ｘ側）を外側とする。

装置本体部２１の外面には、図１に示すように、メインスイッチ２８と、タッチスイッチ３４と、集音マイク２４とが、筐体２１Ａの長手方向に沿って配置されている。
メインスイッチ２８は、ディスプレイ本体２０の電源のオンオフ操作を行うスイッチである。タッチスイッチ３４は、表面に手指等で触れることによりヘッドマウントディスプレイ１の各種操作を行うことができるタッチパネルである。集音マイク２４は、環境音を収集する外部マイクである。

装置本体部２１内面の基端部側に、図２に示すように、耳元スピーカー２３と、オーディオコネクター２６と、連結孔３１を有するヘッドバンドヒンジ３２とが設けられている。装置本体部２１内面の中央部に心拍数センサー１３７が設けられている。装置本体部２１の内側面の先端部には通話マイク３７が設けられている。

耳元スピーカー２３は、ユーザーの耳の近傍に配置される。耳元スピーカー２３からユーザーに音声情報が伝えられる。オーディオコネクター２６は、例えば図６に示すイヤホンが接続される音声入出力端子である。ヘッドバンドヒンジ３２はヘッドバンド４０とのジョイント部である。通話マイク３７にはユーザーの音声が入力される。

心拍数センサー１３７は、ユーザーの顔の表面に接触させることでユーザーの心拍数を測定するセンサーである。心拍数センサー１３７は、発光ダイオード等を備えた発光部と、ユーザーの皮膚内部で反射した光を検知する受光部とを有する。心拍数センサー１３７は、血流の変化による反射光量の変化を検出することで心拍数をカウントする。心拍数センサー１３７はユーザーの目の近くに配置されるが、発光部から赤外域の光を射出させる構成とすればユーザーにまぶしさを感じさせることはない。

装置本体部２１の基端部側の側端面には、ＵＳＢコネクター２５と、操作スイッチ３０と、ビデオコネクター２７とが設けられている。
ＵＳＢコネクター２５はＵＳＢ（Universal Serial Bus）デバイスの接続端子である。本実施形態では、例えば、図５に示すリモコン（リモートコントローラー）１４０が接続される。

操作スイッチ３０は、例えばトラックボールやスティックなどのポインティングデバイスである。操作スイッチ３０は表示部６０に表示される画面に正対するように設けられている。これにより、操作スイッチ３０における操作の左右方向と、上記画面の左右方向とが一致するので、ユーザーは画面を見ながら直感的に操作スイッチ３０を操作することが可能である。
ビデオコネクター２７は、映像入出力端子である。

図４に示すように、装置本体部２１には、筐体２１Ａの長手方向に沿って延びる板状の回路基板２９と、バッテリー３３とが内蔵されている。回路基板２９には、図示略の制御回路、電源回路等が実装されており、図示略の配線を介してディスプレイ本体２０の各部と電気的に接続されている。

装置本体部２１の外面に露出するタッチスイッチ３４の内側には、液晶パネルからなる表示パネル３６と、バックライト３５とが配置されている。本実施形態では、表示パネル３６の表示画像がタッチスイッチ３４を透過して表示される。表示パネル３６及びバックライト３５を、有機ＥＬパネルや電気泳動パネルとしてもよい。

ヘッドバンドヒンジ３２は、筐体２１Ａに設けられた凹曲面状の収容部３２ａと、収容部３２ａに嵌合された球状部３２ｂとからなるボールジョイントである。球状部３２ｂは、球面状の側面部と、この側面部を挟むように互いに平行に形成された２つの平面部を有する。２つの平面部を垂直に貫くように連結孔３１が形成されている。連結孔３１は軸方向視で六角形状に形成されている。連結孔３１にヘッドバンド４０の連結ピン４１が挿入されることによりディスプレイ本体２０とヘッドバンド４０とが連結される。

ヘッドバンドヒンジ３２を備えていることで、ディスプレイ本体２０は、図１に示したＡ方向（ヘッドバンドヒンジ３２を中心とするＸ軸回り）に回動させることができる。本実施形態において、ディスプレイ本体２０の回転可能範囲は２７０°程度とされる。このＸ軸回りの回転動作により、図３（Ａ）に示す右眼で画像を観察する形態と、図３（Ｂ）に示す左眼で画像を観察する形態との切替機能が実現される。

またヘッドバンドヒンジ３２はボールジョイントであるため、ディスプレイ本体２０は図１に示すＢ方向（ヘッドバンドヒンジ３２を中心とするＺ軸回り）に揺動させることもできる。この揺動操作により、ディスプレイ本体２０のユーザーの目や耳に対する位置を調整することができる。

ヘッドバンドヒンジ３２近傍の心拍数センサー１３７は、装置本体部２１の内面から突出するように設けられ、ヘッドマウントディスプレイ１の装着時にユーザーの顔の表面に当接可能とされている。バッテリー３３は充電電池、使い捨て電池のいずれであってもよい。

表示部６０は、図１及び図２に示すように、装置本体部２１の先端部に連結されている。本実施形態において、表示部６０のヘッドバンド４０側を内側、ヘッドバンド４０と反対側を外側とする。表示部６０は、上面視（Ｚ軸視）において湾曲した形状を有するアーム部材であり、装置本体部２１との連結部から先端側へ向かうに従って内側へ湾曲する形状を有する。表示部６０の内面に、ファインダー開口部６７が設けられている。表示部６０の外面には、カメラ６４が設けられている。

図４に示すように、表示部６０は、ディスプレイヒンジ（ヒンジ部）６１を介して装置本体部２１と連結されている。ディスプレイヒンジ６１は、表示部６０の筐体６０Ａに形成された凹曲面状の収容部６１ａと、装置本体部２１に形成され収容部６１ａに嵌合された球状部６１ｂとからなるボールジョイントである。

表示部６０の筐体６０Ａは、ディスプレイヒンジ６１が設けられた基端側筐体部６０ｂと、基端側筐体部６０ｂから延設された先端側筐体部６０ｃとからなる。先端側筐体部６０ｃは、基端側筐体部６０ｂに対して内側へ湾曲ないし屈曲するように設けられている。先端側筐体部６０ｃにファインダー開口部６７が設けられている。

表示部６０は、ディスプレイヒンジ６１の球状部６１ｂに対してＹ’軸回りに自由に回転させることができる。これにより、図４（Ａ）に示す視聴可能状態から表示部６０を回転させることで、図４（Ｂ）に示す収容状態に移行させることができる。

装置本体部２１の球状部６１ｂは、装置本体部２１の外面先端部に形成された筐体２１Ａの長手方向に対して斜めに延びる傾斜面２１ａに、この傾斜面の法線方向（図４のＹ’軸方向）に突出するようにして設けられている。本実施形態の場合、傾斜面２１ａは、図４に示す装置本体部２１の長手方向と直交する面をＺ軸回りの外側に略４５°回転させた面に平行である。表示部６０は、傾斜面２１ａに沿って回転可能である。したがって、表示部６０の回転方向は、装置本体部２１の長手方向に対して斜め方向である。

ディスプレイヒンジ６１の球状部６１ｂには、球状部６１ｂを高さ方向（Ｙ’軸方向）に貫通する貫通孔６１ｃが形成されている。貫通孔６１ｃを介して、表示部６０の内部と装置本体部２１の内部とが連通されている。貫通孔６１ｃには不図示のケーブルが挿通される。挿通されたケーブルを介して回路基板２９と表示部６０の各部とが電気的に接続される。

本実施形態において、ディスプレイヒンジ６１内に通されたケーブルのねじれを防止するために、表示部６０の回転制御機構を設けてもよい。例えば、図４（Ａ）に示す正対位置を基準として、表示部６０の回動角度を、上回り１８０°以下、下回り１８０°以下にそれぞれ規制する回転制御機構を設けてもよい。

表示部６０の内部には、バックライト６２と、表示パネル６３と、カメラ６４と、プリズム６５と、反射ミラー６６と、前方ライト６８と、前方スピーカー７０と、結像レンズ７１と、撮像素子７２とが設けられている。

プリズム６５は、上面視（Ｚ軸視）で略三角形状の第１プリズム６５ａと第２プリズム６５ｂとを互いの面で貼り合わせた構成を有する。この貼り合わせ面以外の第１プリズム６５ａの他の二面のうち、一方の面に対向する位置に、液晶パネルからなる表示パネル６３が設けられている。表示パネル６３の背面に表示パネル６３を透過照明するバックライト６２が配置されている。第１プリズム６５ａの他方の面に対向する位置に反射ミラー６６が配置されている。反射ミラー６６は、ファインダー開口部６７のほぼ正面に位置する。

第２プリズム６５ｂの貼り合わせ面以外の他の二面のうち、一方の面はファインダー開口部６７に配置されたファインダー接眼面である。第２プリズム６５ｂの他方の面に対向する位置には結像レンズ７１を介して撮像素子７２が対向配置されている。

表示部６０において、表示パネル６３に表示された画像は、第１プリズム６５ａ、反射ミラー６６、第２プリズム６５ｂを介してファインダー開口部６７から射出され、ユーザーに観察される。また、ファインダー開口部６７を見ているユーザーの目元は、第２プリズム６５ｂ及び結像レンズ７１を介して撮像素子７２上に結像される。撮像素子７２を介して取得された目元の画像は、ユーザーの視線の方向や瞬き、表情の解析に用いられる。バックライト６２は、撮像素子７２による目元撮像の照明装置としても利用される。

カメラ６４（撮像部）は、例えば５００万画素〜１０００万画素の撮像素子を有し、オートフォーカス動作が可能に構成される。なお、カメラ６４によって撮像された画像を、撮像画像として、以下説明する。
本実施形態の場合、カメラ６４の撮像方向は、ユーザーの視線方向と一致するように設定される。撮像方向と視線方向との調整は、機械的に行ってもよく、画像処理により行ってもよい。例えば、カメラ６４を広角の映像を取得可能に構成し、ユーザーの目元画像から取得した視線方向の情報に基づいて、電気的に捕らえた映像の一部を、視線方向の映像として抜き出して表示パネル６３に表示させる。これにより、カメラ６４に調整機構を設けることなくユーザー正面の映像の撮像、表示が可能となる。

前方ライト６８は、例えばＬＥＤライトである。前方ライト６８は、赤、緑、青の各色の発光素子を有し、任意の色を任意のタイミングで発光させることが可能に構成してもよい。前方ライト６８は、発光色や発光タイミングにより外部に対して情報を表示する装置として用いてもよく、カメラ６４で撮像する際の照明装置として用いてもよい。

また図４では図示を省略したが、本実施形態に係る表示部６０にはレーザー発信器が設けられている。レーザー発信器は、例えば前方ライト６８の近傍に設けることができる。レーザー発信器から射出される例えば赤色レーザー光を前方に照射することで、レーザー光によるポインティング（指標の表示）が可能である。

次に、ヘッドバンド４０について、図２を参照しつつ説明する。
ヘッドバンド４０は、図２に示すように、ユーザーの頭部を挟持する一対のヘッドパット（装着部材）４６、４７と、第１ヘッドバンド４３と、第２ヘッドバンド４４と、回動機構５６、５７とを備えている。

第１ヘッドバンド４３は、全体として円弧状を成す弾性部材である。第１ヘッドバンド４３の頂部に、第１ヘッドバンド４３を折り曲げるためのジョイント部４３ａが設けられている。第１ヘッドバンド４３の両端には、回動機構５６、５７を構成する軸受部４３ｂ、４３ｃがそれぞれ設けられている。軸受部４３ｂ、４３ｃよりもさらにバンド先端側に、ヘッドパット４６、４７が接続される軸受部４３ｄ、４３ｅが設けられている。

第２ヘッドバンド４４は、全体として円弧状を成す弾性部材である。第２ヘッドバンド４４の頂部には、第２ヘッドバンド４４を折り曲げるためのジョイント部４４ａが設けられている。第２ヘッドバンド４４の両端には、それぞれ回動機構５６、５７を構成する軸部材４４ｂ、４４ｃが設けられている。

また本実施形態において、第２ヘッドバンド４４は、ステンレス等の金属からなるバネ部材４８の表面を樹脂等の柔軟な材料で被覆した構成を有する。この第２ヘッドバンド４４のバネ部材４８においてユーザーの頭部を挟持するバネ力を発生させる。また第２ヘッドバンド４４は第１ヘッドバンド４３と比較して広い幅（太さ）に形成されている。ジョイント部４４ａの形成部分は他のバンド部分よりもさらに広く形成された標章表示部４９とされている。標章表示部４９には、シールや印刷により製品タグ等が付される。なお、第２ヘッドバンド４４の全体を金属で形成してもよい。

ヘッドパット４６は、板状の支持板４６ａと、支持板４６ａの一面側に設けられた断面アーチ状の弾性部材４６ｂとを有する。支持板４６ａの弾性部材４６ｂと反対側の面に、当該面に垂直な姿勢で概略六角柱状の連結ピン４１が立設されている。連結ピン４１は、第１ヘッドバンド４３の一方の先端に設けられた軸受部４３ｄに軸支されている。これにより、ヘッドパット４６は連結ピン４１回りに回転可能である。

ヘッドパット４７は、板状の支持板４７ａと、支持板４７ａの一方の面に設けられた断面アーチ状の弾性部材４７ｂとを有する。支持板４７ａの弾性部材４７ｂと反対側の面には、軸部材４７ｃが設けられている。軸部材４７ｃは、第１ヘッドバンド４３の先端に設けられた軸受部４３ｅに軸支されている。これにより、ヘッドパット４７は、軸部材４７ｃ回りに回転可能である。

本実施形態において、回動機構５６は、第２ヘッドバンド４４を第１ヘッドバンド４３から離す方向へ付勢する付勢機構として機能する。

一方、回動機構５７は、第２ヘッドバンド４４の回転角度を規制する規制機構として機能する。

以上の構成により、第２ヘッドバンド４４は、回動機構５６によって第１ヘッドバンド４３から離れる方向に回動付勢される一方、回動機構５７によって第１ヘッドバンド４３に対して所定角度以内の範囲に回動規制される。これにより、第２ヘッドバンド４４は第１ヘッドバンド４３に対して所定の角度となるように保持される。したがって、回動機構５６、５７は、ヘッドバンド４０における角度保持機構として機能する。

図５は、本実施形態のヘッドマウントディスプレイに付属のリモコンを示す斜視図である。
リモコン１４０は、筐体１４０Ａと、タッチパッド１４１と、操作スイッチ１４７と、ＵＳＢコネクター１４２と、インジケーター１４３ａ、１４３ｂ、１４３ｃと、取付クリップ１４４と、インジケータースイッチ１５０とを備えている。

リモコン１４０は、ＵＳＢケーブル１４８の一方の端子をＵＳＢコネクター１４２に接続し、他方の端子を装置本体部２１のＵＳＢコネクター２５に接続することで、装置本体部２１と電気的に接続される。ＵＳＢケーブル１４８としては市販のＵＳＢケーブルを用いることができる。本実施形態の場合、ＵＳＢケーブル１４８の途中に複数のクリップ１４９が設けられている。複数のクリップ１４９は、例えばＵＳＢケーブル１４８を第２ヘッドバンド４４に沿わせた状態で固定するために用いることができる。

リモコン１４０には、ディスプレイ本体２０や他の電子機器と無線通信を行うための通信回路が内蔵されている。通信回路の通信方式としては、例えば、Bluetooth（登録商標）、無線ＬＡＮ、赤外線通信、ＵＷＢ（Ultra Wide Band）、Transfer Jetなどを用いることができる。かかる通信回路により、ＵＳＢケーブル１４８を接続していなくてもディスプレイ本体２０との通信が可能である。

リモコン１４０には、角速度センサーや加速度センサー、方位センサーが内蔵されていてもよい。これらのセンサーで検出した情報についても、上記した通信回路を介してディスプレイ本体２０へ通信可能である。

タッチパッド１４１は、筐体１４０Ａの一方の主面に設けられている。タッチパッド１４１は、ユーザーがタッチすることによりディスプレイ本体２０を操作するための操作部である。タッチパッド１４１の背面側の筐体１４０Ａ内部には、装置本体部２１のタッチスイッチ３４と同様に表示パネルやバックライトが設けられていてもよい。

操作スイッチ１４７は、リモコン１４０やディスプレイ本体２０を手動操作するためのスイッチである。操作スイッチ１４７は、必要に応じて設けられていればよい。筐体１４Ａの側面に設けられたインジケータースイッチ１５０は、インジケーター１４３ａ〜１４３ｃを利用した所定動作を行わせるためのスイッチである。

ＵＳＢコネクター１４２は、装置本体部２１との接続のほか、リモコン１４０が充電式のバッテリーを内蔵している場合にはリモコン１４０の充電端子や、ＰＣとの接続にも用いられる。
また、ＵＳＢコネクター１４２は、リモコン１４０がバッテリーを内蔵している場合には、装置本体部２１への給電端子として用いることもできる。リモコン１４０のバッテリーを補助電源として使用可能にすることで、ヘッドマウントディスプレイ１は、装置本体部２１のバッテリー容量を小さくでき、装置本体部２１を小型軽量化することができる。

インジケーター１４３ａ、１４３ｂ、１４３ｃは、タッチパッド１４１の周囲に配置されている。本実施形態では、タッチパッド１４１の一辺に沿う位置にインジケーター１４３ａが配置され、インジケーター１４３ａに対してタッチパッド１４１を挟んだ反対側にインジケーター１４３ｂとインジケーター１４３ｃとが配置されている。

インジケーター１４３ａ〜１４３ｃはＬＥＤ等の発光素子を備えている。本実施形態では、インジケーター１４３ａは緑色の発光素子、インジケーター１４３ｂはオレンジ色の発光素子、インジケーター１４３ｃは青色の発光素子をそれぞれ備えている。これらの発光素子は制御されたタイミングでパターン発光可能に構成されている。インジケーター１４３ａ〜１４３ｃの上記パターン発光は、筐体１４Ａ側面のインジケータースイッチ１５０を操作することでオンオフすることができる。

インジケーター１４３ａ〜１４３ｃのパターン発光は、例えばリモコン１４０の状態（例えばリモコン１４０の上下左右の傾き状態）を示すものである。かかるパターン発光を装置本体部２１のカメラ６４で撮像し、取得した画像を解析することにより、リモコン１４０の状態を装置本体部２１に伝達することが可能である。インジケーター１４３ａ〜１４３ｃを利用した情報伝達方式は、Bluetooth（登録商標）などの無線通信を用いた場合と比較して電力消費を抑えることができる。

取付クリップ１４４は、筐体１４０Ａのタッチパッド１４１と反対側の面に設けられている。本実施形態の場合、取付クリップ１４４は、一端を筐体１４０Ａに固定された側面視Ｓ形のバネ板部材である。取付クリップ１４４により、リモコン１４０をユーザーの衣服やベルト等に装着することができる。

図６は、本実施形態のヘッドマウントディスプレイに付属のステレオイヤホンを示す斜視図である。
ステレオイヤホン１００は、コネクター１０１と、ケーブル１０２と、第１スピーカー１０３と、第２スピーカー１０４と、集音マイク１０５と、複数のクリップ１０６とを有している。

コネクター１０１は、ケーブル１０２の一方の端部に設けられている。コネクター１０１は、例えば、一般的な４極φ３．５ｍｍのミニプラグである。４極の内訳は、集音マイク１０５、第１スピーカー１０３、第２スピーカー１０４、グランド（ＧＮＤ）である。ケーブル１０２は、コネクター１０１の近傍において二分岐され、分岐されたケーブルの先端に第１スピーカー１０３が設けられている。ケーブル１０２の他方の端部には、第２スピーカー１０４と集音マイク１０５とが設けられている。複数のクリップ１０６は、ケーブル１０２上に所定の間隔で配置されている。

ステレオイヤホン１００は、コネクター１０１をディスプレイ本体２０のオーディオコネクター２６に接続して使用される。ステレオイヤホン１００が接続されると、ディスプレイ本体２０の耳元スピーカー２３と、表示部６０の通話マイク３７は無効化される。また表示部６０の前方スピーカー７０も必要に応じて無効化される。そして、ステレオイヤホン１００の第１スピーカー１０３、第２スピーカー１０４、及び集音マイク１０５が有効化される。

ステレオイヤホン１００の第１スピーカー１０３は、ディスプレイ本体２０が配置された側のユーザーの耳に装着され、第２スピーカー１０４は第１スピーカー１０３と反対側の耳に装着される。このとき、ケーブル１０２は、クリップ１０６によって第２ヘッドバンド４４に固定することができる。

また、ステレオイヤホン１００の集音マイク１０５と、ディスプレイ本体２０において筐体２１Ａの外側面に設けられた集音マイク２４とにより、ステレオ録音が可能である。例えば、図３（Ａ）に示すようにディスプレイ本体２０が右眼側に配置されているとすれば、ディスプレイ本体２０の集音マイク２４はユーザーの右側の音を収集し、左耳に装着された集音マイク１０５はユーザーの左側の音を収集する。なお、ステレオイヤホン１００の第１スピーカー１０３から右チャンネルの音声が出力され、第２スピーカー１０４からは左チャンネルの音声が出力される。

一方、図３（Ｂ）に示すように左眼側にディスプレイ本体２０が配置されている場合には、ディスプレイ本体２０の集音マイク２４がユーザーの左側の音を収集し、右耳に装着された集音マイク１０５がユーザーの右側の音を収集する。ステレオイヤホン１００の第１スピーカー１０３から左チャンネルの音声が出力され、第２スピーカー１０４からは右チャンネルの音声が出力される。

本実施形態の場合、集音マイク２４、１０５はいずれもユーザーの耳の近傍に配置されるため、バイノーラル録音のような臨場感のある録音が可能である。また集音マイク２４と集音マイク１０５に同じ特性のマイクを用いることで、左右の音の特性の差異を小さくすることができる。

図７は、ヘッドマウントディスプレイ１の機能ブロック図である。
ヘッドマウントディスプレイ１には、処理部１２３を中心として種々の電気回路が備えられている。ヘッドマウントディスプレイ１は、例えば、バックライト６２、表示パネル６３、カメラ６４、撮像素子７２、デコーダー１２１、フラッシュメモリー１２２、処理部１２３、ＬＣＤドライバ１２５、ＢＬドライバ１２６、メモリー１２７、エンコーダー１２９、メインスイッチ２８、操作スイッチ３０、タッチスイッチ３４、ＢＴ通信回路１３０、ＷｉＦｉ通信回路１３１、３Ｇ／ＬＴＥ通信回路１３８、加速度センサー１３２、地磁気センサー１３３、角速度センサー１３４、及びＧＰＳセンサー１３５を備えている。
なお、本実施形態において、カメラ６４、撮像素子７２、処理部１２３、メモリー１２７、エンコーダー１２９、メインスイッチ２８、操作スイッチ３０、タッチスイッチ３４、ＢＴ通信回路１３０、ＷｉＦｉ通信回路１３１、３Ｇ／ＬＴＥ通信回路１３８、加速度センサー１３２、地磁気センサー１３３、角速度センサー１３４、及びＧＰＳセンサー１３５が入出力装置２００（情報入出力装置）に対応する。すなわち、入出力装置２００は、カメラ６４、撮像素子７２、処理部１２３、メモリー１２７、エンコーダー１２９、メインスイッチ２８、操作スイッチ３０、タッチスイッチ３４、ＢＴ通信回路１３０、ＷｉＦｉ通信回路１３１、３Ｇ／ＬＴＥ通信回路１３８、加速度センサー１３２、地磁気センサー１３３、角速度センサー１３４、及びＧＰＳセンサー１３５を備えている。

処理部１２３は、例えば、ＣＰＵ（Central Processing Unit）であり、ヘッドマウントディスプレイ１の各種回路と接続されるとともに、ヘッドマウントディスプレイ１を総合的に制御する。処理部１２３の詳細については、後述する。

本実施形態の場合、処理部１２３は、エンコーダー１２９、デコーダー１２１、電源回路１２０、操作スイッチ３０、フラッシュメモリー１２２、ＢＴ通信回路１３０、ＷｉＦｉ通信回路１３１、加速度センサー１３２、地磁気センサー１３３、前方ライト６８、３Ｇ／ＬＴＥ通信回路１３８、レーザー発振器７３、角速度センサー１３４、ＧＰＳセンサー１３５、温湿度センサー１３６、心拍数センサー１３７、ＢＬドライバ１２６、メモリー１２７、メインスイッチ２８、及びタッチスイッチ３４に接続されている。

エンコーダー１２９は音声信号及び映像信号を所定方式の音声データ及び映像データにエンコード（符号化）する。エンコーダー１２９には、カメラ６４、撮像素子７２、集音マイク２４、通話マイク３７、オーディオコネクター２６、ビデオコネクター２７が接続されている。

エンコーダー１２９は、集音マイク２４、通話マイク３７、及び、オーディオコネクター２６から供給される音声信号をエンコード（符号化）し、エンコードした音声信号（音声データ）を処理部１２３に供給する。また、エンコーダー１２９は、カメラ６４、ユーザーの目元を撮像する撮像素子７２、及びビデオコネクター２７から入力される映像（画像）信号をエンコード（符号化）し、エンコードした映像（画像）信号（映像データ）を処理部１２３に供給する。供給された音声データ及び映像データは、処理部１２３による再生動作に用いられたり、フラッシュメモリー１２２（記憶部）に記録（記憶）される。

デコーダー１２１は、音声データ及び映像データを音声信号及び映像信号にデコード（復号化）する。デコーダー１２１には、ＬＣＤドライバ１２５、スピーカーアンプ１６２、オーディオコネクター２６、及びビデオコネクター２７が接続されている。すなわち、デコーダー１２１は、音声データを音声信号にデコード（復号化）し、デコードした音声信号をスピーカーアンプ１６２又はオーディオコネクター２６に供給する。また、デコーダー１２１は、映像（画像）データを映像（画像）信号にデコード（復号化）し、デコードした映像信号をＬＣＤドライバ１２５又はビデオコネクター２７に供給する。

ＬＣＤドライバ１２５は、例えば、液晶パネル用の駆動制御装置であり、表示パネル３６及び表示パネル６３に接続されている。
スピーカーアンプ１６２は、音声信号を増幅してスピーカーに出力する装置であり、耳元スピーカー２３及び前方スピーカー７０に接続されている。

映像データを再生する場合、フラッシュメモリー１２２に記録された映像データ、あるいはエンコーダー１２９から入力される映像データは、処理部１２３を介してデコーダー１２１に入力される。デコーダー１２１に入力された映像データは、映像信号にデコードされた後、ＬＣＤドライバ１２５を介して表示パネル３６、６３に供給される。そして、映像信号が入力された表示パネル３６又は表示パネル６３に映像データに基づく映像が表示される。また、デコーダー１２１からビデオコネクター２７に出力される映像信号は、ビデオコネクター２７を介して外部機器に出力される。

また、映像の表示に際して、処理部１２３は、必要に応じて表示パネル３６用のバックライト３５、及び表示パネル６３用のバックライト６２を点灯させる。ＢＬドライバ１２６は、バックライト用の駆動制御装置であり、バックライト３５及びバックライト６２に接続されている。処理部１２３は、ＢＬドライバ１２６に駆動信号を送信し、ＢＬドライバ１２６はバックライト３５、６２を個々に点灯させる。

音声データを再生する場合、フラッシュメモリー１２２に記録された音声データ、あるいはエンコーダー１２９から入力される音声データは、処理部１２３を介してデコーダー１２１に入力される。デコーダー１２１に入力された音声データは、音声信号にデコードされた後、スピーカーアンプ１６２を介して耳元スピーカー２３及び前方スピーカー７０のいずれか一方、又は両方に出力される。そして、音声信号を入力された耳元スピーカー２３又は前方スピーカー７０から音声が出力される。また、デコーダー１２１からオーディオコネクター２６に出力される音声信号は、オーディオコネクター２６を介してステレオイヤホン１００に出力される。

本実施形態の場合、耳元スピーカー２３及び前方スピーカー７０は、モノラル音声の使用を想定しており、耳元スピーカー２３及び前方スピーカー７０からは左右の音声信号が合成された音が発せられる。

一方、ステレオイヤホン１００に音声信号が出力される場合、第１スピーカー１０３及び第２スピーカー１０４のそれぞれ左チャンネル又は右チャンネルの音が出力される。ここで、本実施形態のヘッドマウントディスプレイ１は左右両用であるため、装着位置に応じてステレオイヤホン１００への音声信号のチャンネルが切り替わる。すなわち、ディスプレイ本体２０が右眼に装着されている場合には、第１スピーカー１０３に右チャンネル、第２スピーカー１０４に左チャンネルの音が出力される。ディスプレイ本体２０が左眼に装着されている場合には第１スピーカー１０３に左チャンネル、第２スピーカー１０４に右チャンネルの音が出力される。

バッテリー３３は、電源回路１２０を介してヘッドマウントディスプレイ１の各部に電力を供給する。
電源回路１２０は、処理部１２３から供給される制御信号に基づいて、バッテリー３３から供給された電力の制御（例えば、電圧の変換、供給オンオフ）を行う。

メモリー１２７には、処理部１２３によって実行される制御プログラムが記憶されている。
全体の電源のオンオフを行うメインスイッチ２８や、画面内でのポインティング操作を行うための操作スイッチ３０、あるいはタッチ操作により各種操作を行うタッチスイッチ３４がユーザーに操作されると、これらのスイッチから操作に基づく制御信号が処理部１２３へ出力される。処理部１２３は、制御信号により操作を検出し、上記の制御プログラムに規定された動作を実行する。

ＢＴ通信回路１３０は、他の機器とのBluetooth（登録商標）通信を行うための通信回路である。
ＷｉＦｉ通信回路１３１は、他の機器との無線ＬＡＮ通信（IEEE 802.11）を行うための通信回路である。
３Ｇ／ＬＴＥ通信回路１３８は、他の機器との移動通信を行うための通信回路である。
ここで、本実施形態において、ＢＴ通信回路１３０、ＷｉＦｉ通信回路１３１、又は３Ｇ／ＬＴＥ通信回路１３８は、画像処理部２０５が出力する画像データを入出力装置２００の外部に送信する送信部に対応する。

加速度センサー１３２（方向検出部）は、ヘッドマウントディスプレイ１の傾き検出に用いられる。例えば、加速度センサー１３２は、カメラ６４の方向（例、仰角情報）を検出する。加速度センサー１３２は、検出した仰角情報を処理部１２３に供給する。
地磁気センサー１３３（方向検出部）は、ヘッドマウントディスプレイ１の方角検出に用いられる。例えば、地磁気センサー１３３は、カメラ６４の方向（例、方位情報）を検出する。地磁気センサー１３３は、検出した方位情報を処理部１２３に供給する。
なお、本実施形態において、加速度センサー１３２又は地磁気センサー１３３は、方向検出部に対応し、カメラ６４の方向を検出する。
また、例えば、地磁気センサー１３３は、後述するブレ検出（振れ検出）に用いられてもよい。この場合、地磁気センサー１３３は、カメラ６４の光軸の変位を方位情報の変化として検出する変位検出部に対応する。ここで、カメラ６４の光軸の変位とは、ユーザーの頭部の揺れ（振れ）により、カメラ６４が有する光学系に生じる光軸のずれのことである。すなわち、カメラ６４の光軸の変位は、被写体像にブレを生じさせるカメラ６４の撮像方向のずれを示している。

角速度センサー（ジャイロセンサー）１３４は、ヘッドマウントディスプレイ１の回転検出に用いられる。例えば、角速度センサー１３４は、カメラ６４の光軸の変位を角速度の変化として検出する。角速度センサー１３４は、検出した角速度を処理部１２３に供給する。
ＧＰＳセンサー１３５（位置検出部）は、ＧＰＳ（Global Positioning System）を利用した測位検出に用いられる。例えば、ＧＰＳセンサー１３５は、カメラ６４の位置（例、緯度経度）を検出する。ＧＰＳセンサー１３５は、検出したカメラ６４の位置（例、緯度経度）を処理部１２３に供給する。

温湿度センサー１３６は、環境の温度、湿度の検出に用いられる。温湿度センサー１３６は、検出した環境の温度、及び湿度を処理部１２３に供給する。
心拍数センサー１３７は、ユーザーの頬に接触し、ユーザーの心拍数を検出する。心拍数センサー１３７は、検出したユーザーの心拍数を処理部１２３に供給する。
レーザー発振器７３は、上述したように表示パネル６３に表示された画像内の所定の位置に対応するターゲットにレーザー光（スポット光）を照射する。

処理部１２３は、上述したようにヘッドマウントディスプレイ１を総合的に制御する。処理部１２３は、例えば、集音マイク２４、通話マイク３７、又はオーディオコネクター２６からエンコーダー１２９を介して供給された音声データをフラッシュメモリー１２２に記憶させる。処理部１２３は、例えば、集音マイク２４、通話マイク３７、又はオーディオコネクター２６からエンコーダー１２９を介して供給された音声データをＢＴ通信回路１３０、ＷｉＦｉ通信回路１３１、又は３Ｇ／ＬＴＥ通信回路１３８を介して他の機器に送信する。
また、処理部１２３は、例えば、カメラ６４、撮像素子７２、又はビデオコネクター２７からエンコーダー１２９を介して供給された映像（画像）データをフラッシュメモリー１２２に記憶させる。処理部１２３は、例えば、カメラ６４、撮像素子７２、又はビデオコネクター２７からエンコーダー１２９を介して供給された映像（画像）データを、ＬＣＤドライバ１２５を介して表示パネル６３に表示させる。処理部１２３は、例えば、カメラ６４、撮像素子７２、又はビデオコネクター２７からエンコーダー１２９を介して供給された映像（画像）データをＢＴ通信回路１３０、ＷｉＦｉ通信回路１３１、又は３Ｇ／ＬＴＥ通信回路１３８を介して他の機器に送信する。

また、映像データを再生する場合、処理部１２３は、フラッシュメモリー１２２に記録された映像（画像）データ、あるいはエンコーダー１２９から入力される映像（画像）データを、デコーダー１２１及びＬＣＤドライバ１２５を介して表示パネル３６、６３に供給する。これにより、映像信号が入力された表示パネル３６又は表示パネル６３に映像データに基づく映像が表示される。また、処理部１２３は、デコーダー１２１からビデオコネクター２７に出力される映像信号を、ビデオコネクター２７を介して外部機器に出力させる。

また、映像の表示に際して、処理部１２３は、必要に応じて表示パネル３６用のバックライト３５、及び表示パネル６３用のバックライト６２を点灯させる。すなわち、処理部１２３は、ＢＬドライバ１２６に制御信号を供給し、ＢＬドライバ１２６はバックライト（３５，６２）を個々に点灯させる。
また、処理部１２３は、例えば、制御信号により操作を検出し、上記の制御プログラムに規定された動作を実行する。

また、処理部１２３は、例えば、カメラ６４によって撮像された画像（映像）に、カメラ６４の撮像方向に基づく付加情報を重畳して表示パネル６３に表示させる処理（ＡＲ（Augmented Reality）処理）を制御する。ここで、付加情報とは、例えば、カメラ６４によって撮像された画像（映像）に含まれる対象物（山、建物、など）の対応する情報である。例えば、対象物が「山」である場合に、処理部１２３は、画像（映像）の「山」に対応する位置に、この「山」の名前を示す情報を表示させる。

また、処理部１２３は、例えば、カメラ６４によって画像（映像）を撮像する際に、撮像範囲（画角）の拡大又は縮小を行うズーム処理を制御する。また、処理部１２３は、例えば、画像の振れ検出（ブレ検出）及び振れ補正（ブレ補正）の処理を制御するとともに、上述した付加情報を重畳させる位置の補正を行う。
処理部１２３は、例えば、振れ補正部２０１、ズーム制御部２０２、付加情報取得部２０３、ＡＲ位置補正部２０４、画像処理部２０５、表示制御部２０６、及びハイパスフィルタ２０７を備えている。

振れ補正部２０１（第１補正部）は、例えば、角速度センサー１３４が検出したカメラ６４の光軸の変位に応じて、カメラ６４が撮像する画像（映像）の揺れを補正する。すなわち、振れ補正部２０１は、カメラ６４の光軸のずれに応じて、カメラ６４が撮像する被写体像の揺れ（ブレ）を補正する。振れ補正部２０１は、例えば、電子式の振れ補正（ブレ補正）を行う。振れ補正部２０１は、例えば、角速度センサー１３４が検出した角速度の変化をカメラ６４の光軸の変位として取得し、取得した光軸の変位に基づいて、振れによる撮像画像の変位量（例、ｄＸ、ｄＹ）を算出する。振れ補正部２０１は、算出した撮像画像の変位量（例、ｄＸ、ｄＹ）に基づいて、撮像画像の補正を行う。なお、この振れ補正部２０１による振れ補正については、詳細に後述する。
また、振れ補正部２０１は、この振れ補正の際に、ハイパスフィルタ２０７によってフィルタ処理された光軸の変位に応じて、カメラ６４が撮像する画像の揺れを補正する。このことにより、光軸の変位のうち、パン操作などによる光軸の変位を除いた、ユーザーの頭の振れなどによる、補正の対象となる光軸の変位を適切に抽出することが可能になる。

ズーム制御部２０２（ズーム部）は、例えば、電子ズーム処理を行い、撮像画像の画角（又は撮像の際の表示範囲）を変更することにより、撮像画像に含まれる被写体像の大きさを変更する。ズーム制御部２０２は、例えば、所定の変更倍率（表示倍率）に基づいて、撮像画像の画角（又は撮像の際の表示範囲）を変更する。ズーム制御部２０２は、例えば、ユーザーが肉眼（裸眼）で直接被写体を観察した場合における被写体の大きさと対応する大きさ（等しい大きさ）を１倍の表示倍率として、撮像画像の画角を変更する。なお、ズーム制御部２０２における変更倍率の初期値は、肉眼（裸眼）の状態に対応する倍率（ここでは、１倍）に定めされている。

付加情報取得部２０３は、カメラ６４の方向に基づいて、撮像画像に含まれる対象物（例、山や建物など）に対応する付加情報を取得するとともに、付加情報を重畳する位置を算出する。また、例えば、付加情報取得部２０３は、加速度センサー１３２及び地磁気センサー１３３によって検出されたカメラ６４の方向と、ＧＰＳセンサー１３５によって検出されたカメラ６４の位置（緯度経度情報）とに基づいて、対象物を検出する。付加情報取得部２０３は、検出した対象物に対応する情報（例えば、山の名前や気候情報など）を、例えば、ＢＴ通信回路１３０、ＷｉＦｉ通信回路１３１、又は３Ｇ／ＬＴＥ通信回路１３８を介してネットワーク上のサーバーから取得する。

画像処理部２０５は、加速度センサー１３２又は地磁気センサー１３３によって検出されたカメラ６４の方向に基づく上述の付加情報を、カメラ６４が撮像した撮像画像に重畳した画像データを出力する。例えば、付加情報取得部２０３が算出した、カメラ６４の方向に基づく付加情報の位置に、付加情報を重畳した画像データを生成し、生成した画像データをデコーダー１２１に出力する。すなわち、画像処理部２０５は、撮像画像に含まれる対象物に対応する位置（例えば、対象物の付近）に、対象物に対応する付加情報を重畳した画像データを生成する。

ＡＲ位置補正部２０４（第２補正部）は、振れ補正部２０１によって補正された撮像画像の変位と、付加情報を重畳する位置の変位とが一致するように、撮像画像上に付加情報を重畳する位置を補正する。ここで、撮像画像の変位とは、例えば、カメラ６４をパン操作などにより撮像方向を移動する際の撮像画像（撮像画面）の位置変化のことである。ＡＲ位置補正部２０４は、例えば、角速度センサー１３４（又は地磁気センサー１３３）が検出した光軸の変位に応じて、付加情報を重畳する位置を補正する。例えば、ＡＲ位置補正部２０４は、光軸の変位量に基づいて、振れ補正部２０１による画像の揺れの補正量に対応する（相関する）補正量を算出し、算出した補正量に基づいて、付加情報を重畳する位置を補正する。
なお、ここで、ＡＲ位置補正部２０４は、ハイパスフィルタ２０７によってフィルタ処理した光軸の変位に応じて、付加情報を重畳する位置を補正する。このことにより、光軸の変位のうち、パン操作などによる光軸の変位を除いた、ユーザーの頭の振れなどによる光軸の変位を抽出することが可能になる。すなわち、ＡＲ位置補正部２０４は、このような振れ補正部２０１の補正対象となる光軸の変位に対して、適切に付加情報を重畳する位置を補正することができる。

表示制御部２０６（制御部）は、表示パネル６３に画像（映像）を表示させる制御を行う。例えば、表示制御部２０６は、ズーム制御部２０２によって変更倍率により変更された撮像画像を表示パネル６３に表示させる制御を行う。また、例えば、表示制御部２０６は、振れ補正部２０１が動作している場合に、ＡＲ位置補正部２０４に対して付加情報を重畳する位置を補正させる。表示制御部２０６は、Ｒ位置補正部２０４に対して位置を補正させるとともに、画像処理部２０５に対して振れ補正部２０１によって補正された撮像画像に、ＡＲ位置補正部２０４によって補正された位置に付加情報を重畳した画像データを出力させる。

また、表示制御部２０６は、撮像画像の基準画角に対応する被写体像の大きさに対する、ズーム制御部２０２によって変更される被写体像の大きさの変更倍率が、所定の倍率（例えば、１倍）より大きい場合に、振れ補正部２０１を動作させる。ここで、所定の倍率は、肉眼の状態に対応する倍率であってもよい。
また、表示制御部２０６は、例えば、ＢＴ通信回路１３０、ＷｉＦｉ通信回路１３１、又は３Ｇ／ＬＴＥ通信回路１３８によって送信させる画像データに対応する撮像画像をカメラ６４が撮像する場合に、振れ補正部２０１を動作させる。
また、表示制御部２０６は、例えば、フラッシュメモリー１２２によって記憶（記録）される画像データに対応する撮像画像をカメラ６４が撮像する場合に、振れ補正部２０１を動作させる。
なお、表示制御部２０６は、上述したように、振れ補正部２０１が動作している場合に、ＡＲ位置補正部２０４に対して付加情報を重畳する位置を補正させる。

ハイパスフィルタ２０７は、例えば、所定の周波数以上の成分を通過させるフィルタ処理を行うフィルタ回路である。ハイパスフィルタ２０７は、例えば、角速度センサー１３４が検出したカメラ６４の光軸の変位にフィルタ処理を行い、光軸の変位のうちの所定の周波数以上の成分を抽出する。これにより、パン操作などによる光軸の変位が振れ補正処理の対象から除外される。ここで、所定の周波数は、例えば、ユーザーの頭部の揺れによる画像（映像）の揺れによって、画像（映像）を見たユーザーが不快を感じる（画面のブレが気になる）周波数以上の成分（高周波成分）を抽出するように設定されている。
なお、ハイパスフィルタ２０７は、デジタル信号処理によってフィルタ処理を実現するものであってもよいし、アナログ信号処理によってフィルタ処理を実現するものであってもよい。

図８は、本実施形態に係るヘッドマウントディスプレイ１を含む通信システムのシステム構成図である。
この図においてヘッドマウントディスプレイをＨＭＤと表記する。なお、ＨＭＤ１は、ユーザー（本人）が使用するヘッドマウントディスプレイであり、ＨＭＤ５００は、他人が使用するヘッドマウントディスプレイである。この図において、接続に関して必要な要素のみを記載し、他は省略している。

図８は、ヘッドマウントディスプレイ１のネットワーク接続の一例を示す図である。
この図においてヘッドマウントディスプレイをＨＭＤと表記する。なお、ＨＭＤ１は、ユーザー（本人）が使用するヘッドマウントディスプレイであり、ＨＭＤ５００は、他人が使用するヘッドマウントディスプレイである。この図において、接続に関して必要な要素のみを記載し、他は省略している。

図８において、ヘッドマウントディスプレイ１（ＨＭＤ１）は、ネットワーク２２０を介して、ＨＭＤ５００と、サーバー２１０とに接続されている。ここで、ＨＭＤ１は、タッチスイッチ３４、表示パネル６３（ＬＣＤ）、カメラ６４、地磁気センサー１３３、処理部１２３、フラッシュメモリー１２２、及び通信インタフェース（１３１，１３８）を備えている。ここで、通信インタフェースは、例えば、ＷｉＦｉ通信回路１３１及び３Ｇ／ＬＴＥ通信回路１３８である。

また、ＨＭＤ５００は、ＨＭＤ１と同様の通信手段を有するヘッドマウントディスプレイである。ＨＭＤ５００は、ＨＭＤ１と同様に、タッチスイッチ５３４、表示パネル５６３（表示部）、カメラ５６４、地磁気センサー５３３、処理部５２３、フラッシュメモリー５２２、及び通信インタフェース（５３１，５３８）を備えている。ＨＭＤ５００の各機能部は、ＨＭＤ１の各機能部と同等である。

サーバー２１０は、処理部２１１、記憶部２１２、及び通信インタフェース２１３を備えている。処理部２１１は、各端末（ＨＭＤ１、ＨＭＤ５００）から通信インタフェース２１３を介して受信した画像データ（動画、静止画、線画等）、音声データ、各端末の環境情報、及び各端末からの要求等の通信記録を、記憶部２１２に記録（記憶）させる。処理部２１１は、各端末の要求に応じて、記憶部２１２に記録してある画像データを読み出し、読み出した画像データを、通信インタフェース２１３を介して各端末に送信する。
記憶部２１２には、各端末から受信した画像データ（動画、静止画）、音声データ、各端末の環境情報、及び各端末からの要求等の通信記録が記録（記憶）されている。
通信インタフェース２１３は、例えば、ＷｉＦｉ通信回路、３Ｇ通信回路、ＬＴＥ通信回路、有線ＬＡＮ回路等を備えている。

ＨＭＤ１は、例えば、通信インタフェース（１３１，１３８）を介してネットワーク２２０に接続し、ＨＭＤ１は、例えば、通信インタフェース（１３１，１３８）を介して、上述の対象物に対応する付加情報をサーバー２１０から取得する。

次に、本実施形態におけるヘッドマウントディスプレイ１の動作について、図面を参照して説明する。
まず、ヘッドマウントディスプレイ１におけるヘッドバンド４０の動作等について、図９を参照しつつ説明する。
図９は、本実施形態におけるヘッドバンド４０の動作を説明する説明図である。

図３に示したように、本実施形態のヘッドマウントディスプレイ１は、図３（Ａ）に示す右眼観察形態と、図３（Ｂ）に示す左眼観察形態を切り替えて使用することができる。
例えば、右眼観察形態から左眼観察形態へ切り替えるには、ヘッドバンド４０に連結されたディスプレイ本体２０を、ディスプレイヒンジ６１の回転軸回り（図示Ａ方向）に１８０°程度回転させる。また、ヘッドバンド４０において、第２ヘッドバンド４４を回動機構５６，５７の軸回りに揺動させ、第１ヘッドバンド４３に対して反対側に移動させる。この操作により、図３（Ｂ）に示すように、ユーザーの左眼側にディスプレイ本体２０が配置され、しかも第２ヘッドバンド４４がユーザーの後頭部側に配置された左眼観察形態に切り替えることができる。

本実施形態では、図９に示すように、第１ヘッドバンド４３の円弧高さｒ１を、第２ヘッドバンド４４の円弧高さｒ２よりも小さくしている。これにより、第２ヘッドバンド４４を第１ヘッドバンド４３と交差させるように移動させても、互いに干渉することなく円滑に前後を入れ替えることができる。
図９に示す円弧高さｒ１は、同軸に配置された回動機構５６、５７の回転軸Ｌの中央位置Ｃから第１ヘッドバンド４３までの距離の最大値である。また円弧高さｒ２は、回転軸Ｌの中央位置Ｃから第２ヘッドバンド４４までの距離の最大値である。

なお、第１ヘッドバンド４３の円弧高さｒ１を第２ヘッドバンド４４の円弧高さｒ２よりも大きくし、第２ヘッドバンド４４を第１ヘッドバンド４３の内側で揺動させる構成としてもよい。

次に、本実施形態のヘッドマウントディスプレイ１（入出力装置２００）における振れ補正及び付加情報の表示位置補正の動作について説明する。
図１０は、本実施形態におけるヘッドマウントディスプレイ１の動作の一例を示す図である。図１０は、ユーザーの眼前に広がる景色Ｖ１に対して、カメラ６４で撮像（撮影）された撮像画像（映像）Ｇ１４と、ＧＰＳセンサー１３５及び地磁気センサー１３３により取得した位置情報及び方位情報に基づいて、取得した付加情報を表示パネル６３に表示する場合の一例を示している。

ここで、ユーザーの眼前の景色Ｖ１において、カメラ６４によって撮像される範囲は点線の枠によって示されている。例えば、枠Ｇ１０は、カメラ６４によって撮像されている全範囲を示している。また、処理部１２３の表示制御部２０６及びズーム制御部２０２は、この枠Ｇ１０（全範囲）の中から電子的な処理によって、枠Ｇ１１や枠Ｇ１２の範囲の画像が読み出され、拡大されて表示部６０の表示パネル６３に表示させる。表示制御部２０６及びズーム制御部２０２は、このことによっていわゆる電子ズームが可能としている。

また、枠Ｇ１１は、ユーザーがカメラ６４を起動した際に最初に表示パネル６３に表示される範囲を示している。ここで、枠Ｇ１１は、撮像画像の基準画角に対応し、ユーザーが表示部６０の表示パネル６３を観察した場合に、被写体像の大きさと、ユーザーが肉眼で直接被写体を観察した場合で大きさが等しくなるように設定されている。すなわち、ここで枠Ｇ１１は、ズーム制御部２０２における表示倍率（変更倍率）が１倍となる撮像範囲である。

ズーム制御部２０２は、ユーザーによって操作スイッチ３０が操作された場合に、例えば、画面中央部の枠Ｇ１２の部分読み出して、撮像画像を生成する。表示制御部２０６は、ズーム制御部２０２によって生成された撮像画像（拡大された画像）を表示部６０の表示パネル６３に表示させる。すなわち、ズーム制御部２０２がズームアップした画像Ｇ１４を、表示制御部２０６は、表示パネル６３に表示させる。このように、画像Ｇ１４は、表示パネル６３に表示させる画面の様子を示している。

また、表示制御部２０６は、画像処理部２０５に対して、撮像画像に付加情報を重畳する処理を実行させる。
例えば、図１０に示すように、ユーザーの前面には対象物である山ＯＢ１及び山ＯＢ２が存在している。画像処理部２０５は、付加情報取得部２０３によってネットワークを経由して取得された山ＯＢ１の名称である「○○山」といった地形情報Ｉ１を撮像画像Ｇ１４に重畳させる。すなわち、付加情報取得部２０３は、加速度センサー１３２及び地磁気センサー１３３によって検出されたカメラ６４の方向と、ＧＰＳセンサー１３５によって検出されたカメラ６４の位置（緯度経度情報）とに基づいてネットワークを経由して付加情報（「○○山」という地形情報Ｉ１）を取得する。画像処理部２０５は、撮像画像Ｇ１４に付加情報（「○○山」という地形情報Ｉ１）を重畳させる。そして、表示制御部２０６は、この付加情報を重畳した画像データを表示パネル６３に表示させる。

また、例えば、付加情報取得部２０３は、ネットワークを経由して、山ＯＢ２の付近の気象情報を取得する。例えば、山ＯＢ２に雨雲がある場合には、付加情報取得部２０３は、付加情報として「雨雲あり」といった気象情報Ｉ２を取得する。画像処理部２０５は、撮像画像Ｇ１４に付加情報（「雨雲あり」といった気象情報Ｉ２）を重畳させる。そして、表示制御部２０６は、この付加情報を重畳した画像データを表示パネル６３に表示させる。
また、図１０において、枠Ｇ１３は、ヘッドマウントディスプレイ１を装着したユーザーの頭が回転（光軸が変位）し、カメラ６４の方向がｄｘ及びｄｙだけずれた場合に、振れ補正を行わずに読み出される範囲を示している。

次に、図１１を参照して、本実施形態における振れ補正、及び付加情報の位置補正について説明する。
図１１は、実施施形態におけるヘッドマウントディスプレイ１の動作の一例を示すフローチャートである。

図１１において、まず、ユーザーによって操作スイッチ３０が操作されることにより、カメラ６４が動作を開始する（ステップＳ１０１）。
次に、処理部１２３のズーム制御部２０２は、電子ズーム倍率を所定の倍率に設定する（ステップＳ１０２）。すなわち、ズーム制御部２０２は、電子ズームの手法を用いて、カメラ６４の読み出し範囲（枠Ｇ１０）のうちの枠Ｇ１１の範囲の画像を撮像画像としてカメラ６４から読み出す。なお、枠Ｇ１１の範囲は、表示倍率（変更倍率）“１”となる範囲であり、この枠Ｇ１１の範囲は、表示パネル６３に表示させた場合に、ユーザーが肉眼で観察する風景と同じ倍率に表示されるように設定されている。
このように、このように、ヘッドマウントディスプレイ１は、起動時に、ユーザーが実際の肉眼による視界と同じ倍率で画像が表示されるように制御される。これにより、ユーザーは、カメラ６４が何処を向いているのかを容易に把握することが可能となっている。

次に、ヘッドマウントディスプレイ１は、カメラ６４の画像を表示パネル６３に表示する（ステップＳ１０３）。すなわち、表示制御部２０６は、ズーム制御部２０２がカメラ６４から読み出した撮像画像を表示パネル６３に表示させる。

次に、処理部１２３は、Ｗ側（ワイド側）へのズーム操作がされたか否かを判定する（ステップＳ１０４）。すなわち、ズーム制御部２０２は、ユーザーによって操作スイッチ３０がＷ側に操作されたか否かを判定する。ズーム制御部２０２は、操作スイッチ３０がＷ側に操作されたと判定した場合（ステップＳ１０４：Ｙｅｓ）に、処理をステップＳ１０５に進める。また、ズーム制御部２０２は、操作スイッチ３０がＷ側に操作されていないと判定した場合（ステップＳ１０４：Ｎｏ）に、処理をステップＳ１０６に進める。

次に、ステップＳ１０５において、ズーム制御部２０２は、ワイド側へのズーム操作に応じて、カメラ６４から読み出される撮像画像の範囲を広くする。すなわち、ズーム制御部２０２は、撮像画像の画角を変更することにより、撮像画像に含まれる被写体像の大きさが小さくなるように変更する。例えば、ズーム制御部２０２は、現在、枠Ｇ１１の範囲をカメラ６４から読み出されていた場合には、ワイド側へのズーム操作によって、さらに外側の枠Ｇ１０の範囲が撮像画像として読み出されるように設定する。なお、ズーム制御部２０２は、例えば、読み出し範囲の変更をワイド側（広角側）、及び後述するテレ側（望遠側）ともに連続的に変更することが可能である。

次に、ステップＳ１０６において、処理部１２３は、Ｔ側（テレ側）へのズーム操作がされたか否かを判定する。すなわち、ズーム制御部２０２は、ユーザーによって操作スイッチ３０がＴ側に操作されたか否かを判定する。ズーム制御部２０２は、操作スイッチ３０がＴ側に操作されたと判定した場合（ステップＳ１０６：Ｙｅｓ）に、処理をステップＳ１０７に進める。また、ズーム制御部２０２は、操作スイッチ３０がＴ側に操作されていないと判定した場合（ステップＳ１０６：Ｎｏ）に、処理をステップＳ１０８に進める。

次に、ステップＳ１０７において、ズーム制御部２０２は、テレ側へのズーム操作に応じて、カメラ６４から読み出される撮像画像の範囲を狭くする。すなわち、ズーム制御部２０２は、撮像画像の画角を変更することにより、撮像画像に含まれる被写体像の大きさが大きくなるように変更する。例えば、ズーム制御部２０２は、現在、枠Ｇ１１の範囲をカメラ６４から読み出されていた場合には、テレ側へのズーム操作によって、さらに内側の枠Ｇ１２の範囲が撮像画像として読み出されるように設定する。

次に、ステップＳ１０８において、処理部１２３の付加情報取得部２０３は、ＧＰＳセンサー１３５より位置情報（緯度経度情報）を取得する。このことにより、処理部１２３は、ユーザーの位置を取得できる。また、付加情報取得部２０３は、位置情報と合わせて時刻の情報も取得する。

次に、処理部１２３は、カメラ６４の方位方向と仰角情報を取得する（ステップＳ１０９）。すなわち、処理部１２３の付加情報取得部２０３は、地磁気センサー１３３より方位情報を取得する。このことにより、付加情報取得部２０３は、ユーザーが景色を見ている方位を取得することができる。また、付加情報取得部２０３は、加速度センサー１３２より重力の方向を検出することによって、カメラ６４の仰角情報を取得する。

次に、付加情報取得部２０３は、位置情報と方位情報とに基づいて付加情報を取得する（ステップＳ１１０）。付加情報取得部２０３は、例えば、付加情報をネットワーク経由で取得してもよいし、予めフラッシュメモリー１２２に記憶させている付加情報に基づいても取得してもよい。付加情報取得部２０３は、例えば、図１１における「○○山」といった地形情報Ｉ１、及び「雨雲あり」といった気象情報Ｉ２を取得する。

次に、付加情報取得部２０３は、表示する付加情報の表示位置（付加情報を重畳する位置）（Ｘ２，Ｙ２）を算出する（ステップＳ１１１）。すなわち、付加情報取得部２０３は、カメラ６４の方向（方位）と、付加情報の方位との差分に基づいて、付加情報の画面上の位置（Ｘ２，Ｙ２）を算出する。
ここでは、付加情報取得部２０３は、まず、山ＯＢ１における山頂部の画面上の座標（Ｘ１，Ｙ１）を次のように算出する。

例えば、カメラ６４が真北を向いており、山ＯＢ１が真北から１０度東の方角に位置している場合、且つ、カメラ６４の水平方向の画角が３０度である場合について説明する。この場合、カメラ６４の東側（中央から左側）の撮像範囲は、真北から１５度東の範囲となる。すなわち、真北から１０度東に存在する山ＯＢ１は、カメラ６４の撮像画像の中心から左に２／３の位置に存在することになる。ここで、表示パネル６３の横方向（水平方向）の画素数を、例えば、８００画素とした場合に、付加情報取得部２０３は、以下の式（１）により、「○○山」の山頂の位置Ｘ１を算出する。

Ｘ１＝８００÷２×１０／１５≒２６７ ・・・（１）

また、付加情報取得部２０３は、次のように、加速度センサー１３２より取得したカメラ６４の仰角情報、及びネットワークより取得した山ＯＢ１の高さ情報より山頂の高さである位置Ｙ１の値を算出する。
例えば、カメラ６４の仰角が０度、すなわち水平である場合、且つ、カメラ６４から山ＯＢ１までの距離が１０Ｋｍ（キロメートル）、山ＯＢ１の高さが８００ｍ、ユーザー（カメラ６４）が位置している標高が５００ｍである場合に、付加情報取得部２０３は、ＯＢ１の山頂の仰角θ１を以下の式（２）により算出する。

θ１＝ｓｉｎ^−１（（８００−５００）／１００００）＝１．７度 ・・・（２）

ここで、カメラ６４の垂直方向の画角が２０度であり、表示パネル６３の縦方向（垂直方向）の画素数が、例えば、６００画素である場合に、付加情報取得部２０３は、以下の式（３）により、「○○山」の山頂の位置Ｙ１を算出する。

Ｙ１＝６００÷２×１．７／１０ ＝５１ ・・・（３）

すなわち、「○○山」の山頂の位置Ｙ１は、画面の垂直方向の中央から５１画素分上の位置となる。
ここで、地形情報Ｉ１は、山頂位置に表示するのではなく、例えば、左右方向（水平方向）はそのままに、高さ方向を山頂より５０画素ほど離した山ＯＢ１の上空に表示した方が好ましい。そこで、付加情報取得部２０３は、地形情報Ｉ１の表示位置（Ｘ２，Ｙ２）を以下の式（４）及び式（５）により算出する。

Ｘ２＝Ｘ１ ・・・（４）
Ｙ２＝Ｙ１＋５０ ・・・（５）

次に、ズーム制御部２０２は、カメラ６４から設定された変更倍率（表示倍率）に対応する撮像範囲の撮像画像として取得する（ステップＳ１１２）。
次に、表示制御部２０６は、ズーム倍率（変更倍率）が所定の変更倍率より大きいか否か、画像を録画しているか否か、又は画像をＨＭＤ５００或いはサーバー２１０に配信中か否かを判定する（ステップＳ１１３）。
例えば、表示制御部２０６は、ズーム倍率（変更倍率）が１倍より大きいか否かを判定する。ここで、ズーム処理による表示倍率（変更倍率）が、ユーザーが肉眼で観察する場合よりも大きく表示パネル６３に景色が表示される場合には、カメラ６４を保持するユーザーの頭部の振れ（ブレ）などによって表示範囲の揺れが発生する。このような画像（映像）をユーザーが見た場合には、いわゆる映像酔いなどの不快な症状を発症することがある。そこで、表示制御部２０６は、ズーム倍率が１倍より大きい場合（ステップＳ１１３：Ｙｅｓ）に、処理をステップＳ１１４に進め、振れ補正部２０１に対して振れ補正処理（防振処理）を開始させる。また、表示制御部２０６は、表示制御部２０６は、ズーム倍率が１倍以下の場合（ステップＳ１１３：Ｎｏ）に、処理をステップＳ１１９に進める。

また、例えば、表示制御部２０６は、撮像画像をフラッシュメモリー１２２に記憶（記録）させているか否かを判定する。表示制御部２０６は、撮像画像をフラッシュメモリー１２２に記憶（記録）させている場合（ステップＳ１１３：Ｙｅｓ）に、処理をステップＳ１１４に進め、振れ補正部２０１に対して振れ補正処理（防振処理）を開始させる。また、表示制御部２０６は、撮像画像をフラッシュメモリー１２２に記憶（記録）させていない場合（ステップＳ１１３：Ｎｏ）に、処理をステップＳ１１９に進める。

また、例えば、表示制御部２０６は、撮像画像を他の端末、例えばＨＭＤ５００又はサーバー２１０に送信（配信）しているか否かを判定する。表示制御部２０６は、例えば、ＢＴ通信回路１３０、ＷｉＦｉ通信回路１３１、又は３Ｇ／ＬＴＥ通信回路１３８を介して、ＨＭＤ５００又はサーバー２１０に撮像画像を送信（配信）させている場合（ステップＳ１１３：Ｙｅｓ）に、処理をステップＳ１１４に進め、振れ補正部２０１に対して振れ補正処理（防振処理）を開始させる。また、表示制御部２０６は、ＢＴ通信回路１３０、ＷｉＦｉ通信回路１３１、又は３Ｇ／ＬＴＥ通信回路１３８を介して、ＨＭＤ５００又はサーバー２１０に撮像画像を送信（配信）させていない場合（ステップＳ１１３：Ｎｏ）に、処理をステップＳ１１９に進める。
なお、ヘッドマウントディスプレイ１は、表示倍率が１以下の場合、且つ、画像（映像）を他の端末などに送信したり、録画（記録）したりする必要の無い場合には、撮像画像がブレる（揺れる）ことによってユーザーが画像酔いを起こすことはない。そのため、このような場合に、表示制御部２０６は、振れ補正処理（防振処理）を実行させない。

次に、ステップＳ１１４において、処理部１２３は、画像（映像）に振れ補正を行うために、角速度センサー１３４が検出した角速度の値を取得する。すなわち、処理部１２３は、角速度センサー１３４が検出した光軸の変位を所得する。

次に、処理部１２３は、角速度センサー１３４が検出した角速度の値をハイパスフィルタ２０７に通す（ステップＳ１１５）。すなわち、処理部１２３のハイパスフィルタ２０７は、角速度センサー１３４が検出した角速度の値（光軸の変位）のうちの、ユーザーにとって画面のブレが気になる（振れ補正処理が必要な）高周波成分を抽出する。

次に、振れ補正部２０１は、カメラ６４の出力画像（撮像画像）の切り出し補正値（ｄＸ，ｄＹ）を算出する（ステップＳ１１６）。すなわち、振れ補正部２０１は、例えば、ハイパスフィルタ２０７を通過した角速度の値を積分することによって、振れによる撮像画像の変位量（例、ｄＸ、ｄＹ）を算出する。

次に、振れ補正部２０１は、カメラ６４の出力画像（撮像画像）の切り出し位置を補正する（ステップＳ１１７）。すなわち、振れ補正部２０１は、算出した補正値（ｄＸ，ｄＹ）に基づいて、撮像画像の切り出し位置を補正する。
例えば、図１０に示す一例は、カメラ６４が枠Ｇ１２の方向を向いている状態において、ユーザーの頭部の振れが生じて、枠Ｇ１３の方向をカメラ６４が向いてしまった場合を示している。この場合、振れ補正部２０１は、算出した補正値（ｄＸ，ｄＹ）に基づいて、枠Ｇ１３より補正値（ｄＸ，ｄＹ）だけずれた枠Ｇ１２を切り出し画面（撮像画像）として読み出す。このことにより、入出力装置２００は、振れ（揺れ）のない撮像画像を出力する。つまり、ユーザーには、振れ（揺れ）のない撮像画像が供給される。

次に、処理部１２３のＡＲ位置補正部２０４は、付加情報の表示位置を補正する（ステップＳ１１８）。すなわち、ＡＲ位置補正部２０４は、振れ補正部２０１が算出した補正値（ｄＸ，ｄＹ）に基づいて、付加情報を重畳する位置を補正する。ＡＲ位置補正部２０４は、例えば、振れ補正部２０１によって補正された撮像画像の変位と、付加情報を重畳する位置の変位とが一致するように、撮像画像上に付加情報を重畳する位置を補正する。例えば、ＡＲ位置補正部２０４は、上述の補正量（ｄＸ，ｄＹ）に対応する（相関する）補正量を算出し、算出した補正量に基づいて、付加情報を重畳する位置を補正する。

例えば、図１０に示す一例の場合、カメラ６４の方向が上述の（ｄＸ，ｄＹ）だけずれたことにより、地形情報Ｉ１、及び気象情報Ｉ２の方向が画像とずれて表示されてしまうことがある。すなわち、例えば、カメラ６４が枠Ｇ１３の方向を向いてしまった場合には、山ＯＢ１が枠Ｇ１３の範囲外になるため、「○○山」という地形情報Ｉ１は、表示されなくなる。また、枠Ｇ１３において、山ＯＢ２が中央に位置するため、気象情報Ｉ２は、画像（Ｇ１４）の中央に表示されることになる。このような場合に、ＡＲ位置補正部２０４は、適切な位置に付加情報（地形情報Ｉ１及び気象情報Ｉ２）が表示されるように付加情報を重畳する位置を補正する。すなわち、ＡＲ位置補正部２０４は、付加情報（地形情報Ｉ１及び気象情報Ｉ２）を重畳する位置を、上述の補正量（ｄＸ，ｄＹ）だけ補正する。

次に、処理部１２３は、カメラ６４の画像を切り出して表示する（ステップＳ１１９）。すなわち、処理部１２３の表示制御部２０６は、ズーム制御部２０２又は振れ補正部２０１によって切り出されたカメラ６４の撮像画像を画像データとして、画像処理部２０５に出力させる。例えば、画像処理部２０５は、このカメラ６４の撮像画像（画像データ）をデコーダー１２１及びＬＣＤドライバ１２５を介して表示パネル６３に出力し、表示パネル６３に表示させる。

次に、処理部１２３は、表示パネル６３に付加情報を表示する（ステップＳ１２０）。すなわち、処理部１２３の表示制御部２０６は、画像処理部２０５に、ズーム制御部２０２又は振れ補正部２０１によって切り出されたカメラ６４の撮像画像に付加情報を重畳させた画像データを生成させる。画像処理部２０５は、生成した画像データを出力させる。例えば、画像処理部２０５は、この付加情報が重畳された画像データをデコーダー１２１及びＬＣＤドライバ１２５を介して表示パネル６３に出力し、表示パネル６３に表示させる。

なお、表示制御部２０６は、撮像画像をフラッシュメモリー１２２に記憶する場合には、付加情報が重畳された画像データをフラッシュメモリー１２２に記憶（記録）させる。
また、上述のステップＳ１１９とステップＳ１２０との処理において、表示制御部２０６は、撮像画像と付加情報を重畳させた画像データとを個別（２回に分けて）に表示パネル６３に表示させる一例を説明したが、付加情報を重畳させた画像データを一度に表示パネル６３に表示させてもよい。

次に、処理部１２３の表示制御部２０６は、画像を配信するか否かを判定する（ステップＳ１２１）。すなわち、表示制御部２０６は、例えば、メモリー１２７に記憶されている配信するか否かの設定情報に基づいて、上述の撮像画像（画像データ）を、他の端末（例えば、ＨＭＤ５００又はサーバー２１０）に配信（送信）するか否かを判定する。表示制御部２０６は、撮像画像を配信すると判定した場合（ステップＳ１２１：Ｙｅｓ）に、処理をステップＳ１２２に進める。また、表示制御部２０６は、撮像画像を配信しないと判定した場合（ステップＳ１２１：Ｎｏ）に、処理をステップＳ１２３に進める。

次に、ステップＳ１２２において、表示制御部２０６は、交信する端末（例えば、ＨＭＤ５００又はサーバー２１０）に同情報（画像データ）を配信（送信）する。なお、配信する画像は動画でもよいし、静止画でもよい。また、画像データの配信は、ＨＭＤ５００にリアルタイムで動画を表示する他、ＨＭＤ５００又はサーバー２１０に動画又は静止画を記録（記憶）させる場合も含まれる。

次に、ステップＳ１２３において、処理部１２３は、ユーザーによる撮像（例、動画撮像）が終了か否かを判定する。処理部１２３は、撮像が終了である場合（ステップＳ１２３：Ｙｅｓ）に処理を終了させる。また、処理部１２３は、撮像が終了でない場合（ステップＳ１２３：Ｎｏ）に処理をステップＳ１０４に戻し、一連の処理を繰り返す。

以上説明したように、本実施形態における入出力装置２００は、カメラ６４と、角速度センサー１３４と、振れ補正部２０１と、方向検出部（加速度センサー１３２又は地磁気センサー１３３）と、画像処理部２０５と、ＡＲ位置補正部２０４とを備えている。カメラ６４は、画像を撮像し、角速度センサー１３４は、カメラ６４の光軸の変位を検出する。振れ補正部２０１は、角速度センサー１３４が検出した光軸の変位に応じて、カメラ６４が撮像する画像の揺れを補正する。方向検出部（加速度センサー１３２又は地磁気センサー１３３）は、カメラ６４の方向を検出する。画像処理部２０５は、方向検出部によって検出されたカメラ６４の方向に基づく付加情報を、カメラ６４が撮像した撮像画像に重畳した画像データを生成するとともに、生成した画像データを出力する。そして、ＡＲ位置補正部２０４は、振れ補正部２０１によって補正された撮像画像の変位と、付加情報を重畳する位置の変位とが一致するように、付加情報を重畳する位置を補正する。例えば、ＡＲ位置補正部２０４は、角速度センサー１３４が検出した光軸の変位に応じて、付加情報を重畳する位置を補正する。
これにより、本実施形態における入出力装置２００は、例えば、振れ補正処理（防振処理）を実行する場合であっても、正しい位置に付加情報を表示させることができる。したがって、本実施形態における入出力装置２００は、映像酔いなどの不快な症状を発症することを低減することができるので、利便性を向上させることができる。

また、本実施形態では、ＡＲ位置補正部２０４は、光軸の変位量に基づいて、振れ補正部２０１による画像の揺れの補正量に対応する補正量を算出し、算出した補正量に基づいて、付加情報を重畳する位置を補正する。
これにより、本実施形態における入出力装置２００は、付加情報を重畳する位置の補正を、振れ補正部２０１による補正に対応させることができるので、振れ補正処理（防振処理）を実行する場合であっても、正しい位置に付加情報を表示させることができる。

また、本実施形態では、振れ補正部２０１は、ハイパスフィルタ２０７によってフィルタ処理した光軸の変位に応じて、カメラ６４が撮像する画像の揺れを補正し、ＡＲ位置補正部２０４は、ハイパスフィルタ２０７によってフィルタ処理した光軸の変位に応じて、付加情報を重畳する位置を補正する。
これにより、振れ補正部２０１及びＡＲ位置補正部２０４は、光軸の変位のうち、パン操作などによる光軸の変位を除いた、ユーザーの頭の振れなどによる光軸の変位を抽出することが可能になる。そのため、本実施形態における入出力装置２００は、このような振れ補正部２０１の補正対象となる光軸の変位に対して、適切に付加情報を重畳する位置を補正することができる。

また、本実施形態における入出力装置２００は、表示制御部２０６を備えている。表示制御部２０６は、振れ補正部２０１が動作している場合に、ＡＲ位置補正部２０４に対して付加情報を重畳する位置を補正させるとともに、画像処理部２０５に対して振れ補正部２０１によって補正された撮像画像に、ＡＲ位置補正部２０４によって補正された位置に付加情報を重畳した画像データを出力させる。
これにより、振れ補正部２０１が動作している場合に、ＡＲ位置補正部２０４に補正させ、振れ補正部２０１が動作していない場合には、ＡＲ位置補正部２０４に補正させないので、本実施形態における入出力装置２００は、適切に付加情報を重畳する位置を補正することができる。

また、本実施形態における入出力装置２００は、撮像画像の画角を変更することにより、撮像画像に含まれる被写体像の大きさを変更するズーム制御部２０２を備えている。表示制御部２０６は、撮像画像の基準画角に対応する被写体像の大きさに対する、ズーム制御部２０２によって変更される被写体像の大きさの変更倍率が、所定の倍率より大きい場合に、振れ補正部２０１を動作させる。上述の所定の倍率は、肉眼の状態に対応する倍率（例えば、１倍）である。
これにより、本実施形態における入出力装置２００は、例えば、映像酔いなどの不快な症状を発症する場合に、振れ補正処理（防振処理）及び付加情報を重畳する位置の補正を適切に行うことができる。そのため、本実施形態における入出力装置２００は、利便性を向上させることができる。

また、本実施形態では、ズーム制御部２０２における変更倍率の初期値は、肉眼の状態に対応する倍率（例、１倍）に定めされている。
これにより、本実施形態における入出力装置２００は、起動時に、ユーザーが実際の肉眼による視界と同じ倍率で画像が表示されるように制御される。そのため、ユーザーは、カメラ６４が何処を向いているのかを容易に把握することができる。

また、本実施形態における入出力装置２００は、画像処理部２０５が出力する画像データを入出力装置２００（自装置）の外部に送信する送信部（ＢＴ通信回路１３０、ＷｉＦｉ通信回路１３１、又は３Ｇ／ＬＴＥ通信回路１３８）を備えている。表示制御部２０６は、この送信部によって送信させる画像データに対応する撮像画像をカメラ６４が撮像する場合に、振れ補正部２０１を動作させる。
これにより、画像データの送信先の端末装置（例えば、ＨＭＤ５００）において、画像（映像）を見ているユーザーが、映像酔いなどの不快な症状を発症することを低減することができる。したがって、本実施形態における入出力装置２００は、利便性を向上させることができる。

また、本実施形態における入出力装置２００は、画像処理部２０５が出力する画像データを記憶するフラッシュメモリー１２２を備えている。表示制御部２０６は、フラッシュメモリー１２２によって記憶される画像データに対応する撮像画像をカメラ６４が撮像する場合に、振れ補正部２０１を動作させる。
これにより、フラッシュメモリー１２２によって記憶される画像データを見る場合であっても、ユーザーが映像酔いなどの不快な症状を発症することを低減することができる。したがって、本実施形態における入出力装置２００は、利便性を向上させることができる。

また、本実施形態における入出力装置２００は、カメラ６４の方向に基づいて、撮像画像に含まれる対象物に対応する付加情報を取得するとともに、付加情報を重畳する位置を算出する付加情報取得部２０３を備えている。
これにより、本実施形態における入出力装置２００は、付加情報（例、地形情報Ｉ１や気象情報Ｉ２など）を適切に取得することができる。

また、本実施形態における入出力装置２００は、カメラ６４の位置を検出するＧＰＳセンサー１３５を備えている。付加情報取得部２０３は、カメラ６４の方向と、ＧＰＳセンサー１３５によって検出されたカメラ６４の位置とに基づいて、対象物を検出する。
これにより、本実施形態における入出力装置２００は、撮像画像に含まれる対象物を正確に検出することができるので、付加情報（例、地形情報Ｉ１や気象情報Ｉ２など）を正確に取得することができる。

また、本実施形態におけるヘッドマウントディスプレイ１は、入出力装置２００と、画像処理部２０５が出力する画像データを表示する表示パネル６３と、少なくともカメラ６４及び表示パネル６３をユーザーの頭部に装着可能なヘッドバンド４０とを備えている。
上述した入出力装置２００を備えているので、本実施形態におけるヘッドマウントディスプレイ１は、入出力装置２００と同様の効果を得ることができる。すなわち、本実施形態におけるヘッドマウントディスプレイ１は、入出力装置２００と同様に、利便性を向上させることができる。

［第２の実施形態］
次に、第２の実施形態について図面を参照して説明する。
第２の実施形態におけるヘッドマウントディスプレイ１の構成は、第１の実施形態と同様である。本実施形態では、角速度センサー１３４の代わりに、地磁気センサー１３３を用いて、振れ補正処理（防振処理）及び付加情報を重畳する位置の補正処理を行う場合の一例を示している。

図１２は、本実施施形態におけるヘッドマウントディスプレイ１の動作の一例を示すフローチャートである。
図１２において、ステップＳ２０１〜ステップＳ２１３までの処理は、図１１におけるステップＳ１０１〜ステップＳ１１３までの処理と同様であり、ここでは説明を省略する。

ステップＳ２１４において、処理部１２３は、画像（映像）に振れ補正を行うために、地磁気センサー１３３が検出した方位情報の値を取得する。すなわち、処理部１２３は、地磁気センサー１３３が検出した光軸の変位を所得する。

次に、処理部１２３は、地磁気センサー１３３が検出した方位情報の値をハイパスフィルタ２０７に通す（ステップＳ２１５）。すなわち、処理部１２３のハイパスフィルタ２０７は、地磁気センサー１３３が検出した方位情報の値（光軸の変位）のうちの、ユーザーにとって画面のブレが気になる（振れ補正処理が必要な）高周波成分を抽出する。

次に、振れ補正部２０１は、カメラ６４の出力画像（撮像画像）の切り出し補正値（ｄＸ，ｄＹ）を算出する（ステップＳ２１６）。すなわち、振れ補正部２０１は、例えば、ハイパスフィルタ２０７を通過した方位情報の値を積分することによって、振れによる撮像画像の変位量（例、ｄＸ、ｄＹ）を算出する。

続く、ステップＳ２１７〜ステップＳ２２３の処理は、図１１におけるステップＳ１１７〜ステップＳ１２３までの処理と同様であり、ここでは説明を省略する。

以上説明したように、本実施形態では、角速度センサー１３４の代わりに、地磁気センサー１３３を変位検出部として用いて、光軸の変位を検出するようにしたので、本実施形態における入出力装置２００及びヘッドマウントディスプレイ１は、第１の実施形態と同様の効果を得ることができる。すなわち、本実施形態における入出力装置２００及びヘッドマウントディスプレイ１は、第１の実施形態と同様に、利便性を向上させることができる。

［第３の実施形態］
次に、第３の実施形態について図面を参照して説明する。
図１３は、本実施形態におけるヘッドマウントディスプレイ１を示す機能ブロック図である。
本実施形態では、処理部１２３ａがパターン取得部２０８を備え、ＡＲ位置補正部２０４ａがパターン取得部２０８により取得した画像パターンに基づいて補正処理を行う点が、第１の実施形態と異なる。

図１３において、入出力装置２００ａは、処理部１２３ａを備えている。また、処理部１２３ａは、例えば、振れ補正部２０１、ズーム制御部２０２、付加情報取得部２０３、ＡＲ位置補正部２０４ａ、画像処理部２０５、表示制御部２０６、ハイパスフィルタ２０７、及びパターン取得部２０８を備えている。
なお、図１３において、図７と同一の構成については同一の符号を付し、その説明を省略する。

パターン取得部２０８は、撮像画像に含まれている画像パターンであって、付加情報を重畳する位置に対応する画像パターンを取得する。この画像パターンは、例えば、付加情報を重畳する位置を中心とした所定のサイズの部分画像であり、パターン取得部２０８は、例えば、図１０に示すような画像パターンＰ１を取得する。

ＡＲ位置補正部２０４ａは、光軸の変位に応じて振れ補正部２０１によって補正された画像に含まれる画像パターンＰ１を、例えば、パターン認識の手法を用いて検出し、検出した画像パターンＰ１の位置に基づいて、付加情報を重畳する位置を補正する。ＡＲ位置補正部２０４ａは、例えば、付加情報を重畳する位置を、検出した画像パターンＰ１の中心位置に補正する。

次に、本実施形態におけるヘッドマウントディスプレイ１及び入出力装置２００ａの動作について、図面を参照して説明する。
図１４は、本実施施形態におけるヘッドマウントディスプレイ１の動作の一例を示すフローチャートである。
図１４において、ステップＳ３０１〜ステップＳ３１１までの処理は、図１１におけるステップＳ１０１〜ステップＳ１１１までの処理と同様であり、ここでは説明を省略する。

ステップＳ３１２において、処理部１２３ａのパターン取得部２０８は、付加情報の中心点である位置（Ｘ２，Ｙ２）の周辺の画像パターン（例、画像パターンＰ１）を取得する。

次のステップＳ３１３〜ステップＳ３１８までの処理は、図１１におけるステップＳ１１２〜ステップＳ１１５までの処理、ステップＳ１１８及びステップＳ１１９の処理と同様であり、ここでは説明を省略する。なお、ステップＳ３１４において、Ｙｅｓ判定の場合に処理をステップＳ３１５に進め、Ｎｏ判定の場合に処理をステップＳ３１８に進める。

次に、ステップＳ３１９において、処理部１２３ａは、振れ補正部２０１によって補正された撮像画像（画像Ｇ１４）に対して、ステップＳ３１２の処理において取得された画像パターンＰ１と一致する画像の位置を検出し、その中央の部分に付加情報を表示させる。例えば、ＡＲ位置補正部２０４ａは、振れ補正部２０１によって補正された画像に含まれる画像パターンＰ１を検出し、検出した画像パターンＰ１の中心位置に付加情報を重畳する位置を補正する。そして、画像処理部２０５は、振れ補正部２０１によって補正された撮像画像（画像Ｇ１４）におけるＡＲ位置補正部２０４ａが補正した位置に、付加情報を重畳した画像データを出力する。例えば、画像処理部２０５は、この画像データをデコーダー１２１及びＬＣＤドライバ１２５を介して表示パネル６３に出力し、表示パネル６３に表示させる。

続く、ステップＳ３２０〜ステップＳ３２２の処理は、図１１におけるステップＳ１２１〜ステップＳ１２３までの処理と同様であり、ここでは説明を省略する。

以上説明したように、本実施形態における入出力装置２００ａは、撮像画像に含まれている画像パターンであって、付加情報を重畳する位置に対応する画像パターンを取得するパターン取得部２０８を備えている。ＡＲ位置補正部２０４ａは、光軸の変位に応じて振れ補正部２０１によって補正された画像に含まれる画像パターンを検出し、検出した画像パターンの位置に基づいて、付加情報を重畳する位置を補正する。
これにより、本実施形態における入出力装置２００ａは、付加情報が表示される位置の近傍の画像パターンを予め取得することで、カメラ６４の向きが変わっても、付加情報を撮像画像の位置に正しくマッチングして表示することができる。

また、上述の画像パターンは、付加情報を重畳する位置を中心とした所定のサイズの部分画像である。ＡＲ位置補正部２０４ａは、付加情報を重畳する位置を、検出した画像パターンの中心位置に補正する。
これにより、本実施形態における入出力装置２００ａは、簡易な構成により、付加情報を重畳する位置を正確に補正することができる。

このように、本実施形態における入出力装置２００ａ及びヘッドマウントディスプレイ１は、第１の実施形態と同様に、利便性を向上させることができる。

［第４の実施形態］
次に、第４の実施形態について図面を参照して説明する。
第４の実施形態におけるヘッドマウントディスプレイ１の構成は、第３の実施形態と同様である。本実施形態では、ＡＲ位置補正部２０４ａは、画像パターンに基づいて、付加情報を重畳する位置の補正量（ｄｘ２，ｄｙ２）を算出し、算出した補正量（ｄｘ２，ｄｙ２）に基づいて、付加情報を重畳する位置の補正する点が、第３の実施形態と異なる。

図１５は、本実施施形態におけるヘッドマウントディスプレイ１の動作の一例を示すフローチャートである。
図１５において、ステップＳ４０１〜ステップＳ４１８までの処理は、図１４におけるステップＳ３０１〜ステップＳ３１８までの処理と同様であり、ここでは説明を省略する。

ステップＳ４１９において、ＡＲ位置補正部２０４ａは、振れ補正部２０１によって補正された撮像画像（画像Ｇ１４）に対して、ステップＳ４１２の処理において取得された画像パターンＰ１と一致する画像の位置を検出し、画像パターンＰ１に基づいて、付加情報を重畳する位置の補正量（ｄｘ２，ｄｙ２）を算出する。

次に、処理部１２３ａは、付加情報の表示位置を補正して表示パネル６３に表示させる（ステップＳ４２０）。すなわち、ＡＲ位置補正部２０４ａは、振れ補正部２０１が算出した補正値（ｄＸ２，ｄＹ２）に基づいて、付加情報を重畳する位置を補正する。そして、画像処理部２０５は、振れ補正部２０１によって補正された撮像画像（画像Ｇ１４）におけるＡＲ位置補正部２０４ａが補正した位置に、付加情報を重畳した画像データを出力する。例えば、画像処理部２０５は、この画像データをデコーダー１２１及びＬＣＤドライバ１２５を介して表示パネル６３に出力し、表示パネル６３に表示させる。

続く、ステップＳ４２１〜ステップＳ４２３の処理は、図１４におけるステップＳ３２０〜ステップＳ３２２までの処理と同様であり、ここでは説明を省略する。

以上説明したように、本実施形態では、ＡＲ位置補正部２０４ａは、画像パターンＰ１に基づいて、付加情報を重畳する位置の補正量（ｄｘ２，ｄｙ２）を算出する。
これにより、本実施形態における入出力装置２００ａは、第３の実施形態と同様に、付加情報が表示される位置の近傍の画像パターンを予め取得することで、カメラ６４の向きが変わっても、付加情報を撮像画像の位置に正しくマッチングして表示することができる。したがって、本実施形態における入出力装置２００ａ及びヘッドマウントディスプレイ１は、第３の実施形態と同様に、利便性を向上させることができる。

［第５の実施形態］
次に、第５の実施形態について図面を参照して説明する。
図１６は、本実施形態におけるヘッドマウントディスプレイ１を示す機能ブロック図である。
本実施形態では、処理部１２３ｂが、ローパスフィルタ２０９を備え、ＡＲ位置補正部２０４ｂが、ローパスフィルタ２０９によりフィルタ処理した地磁気センサー１３３の方位情報を用いて補正処理を行う点が第１の実施形態と異なる。

図１６において、入出力装置２００ｂは、処理部１２３ｂを備えている。また、処理部１２３ｂは、例えば、振れ補正部２０１、ズーム制御部２０２、付加情報取得部２０３、ＡＲ位置補正部２０４ｂ、画像処理部２０５、表示制御部２０６、ハイパスフィルタ２０７、及びローパスフィルタ２０９を備えている。
なお、図１６において、図７と同一の構成については同一の符号を付し、その説明を省略する。

ローパスフィルタ２０９は、例えば、所定の周波数以下の成分を通過させるフィルタ処理を行うフィルタ回路である。ローパスフィルタ２０９は、例えば、地磁気センサー１３３が検出したカメラ６４の方向（の変化）にフィルタ処理を行い、カメラ６４の方向（の変化）のうちの所定の周波数以下の成分を抽出する。ここで、ローパスフィルタ２０９の特性は、振れ補正部２０１によって補正された撮像画像の変位と、ＡＲ位置補正部２０４ｂによって補正された付加情報の位置の変位とが一致するように設定されている。ここで、ローパスフィルタ２０９の特性には、周波数特性や遅延特性などが含まれる。
なお、ローパスフィルタ２０９は、デジタル信号処理によってフィルタ処理を実現するものであってもよいし、アナログ信号処理によってフィルタ処理を実現するものであってもよい。

ＡＲ位置補正部２０４ｂは、地磁気センサー１３３が検出した検出値（例、方位情報）を、ローパスフィルタ２０９によってフィルタ処理したカメラ６４の方向に基づいて、付加情報を重畳する位置を補正する。

次に、本実施形態におけるヘッドマウントディスプレイ１及び入出力装置２００ｂの動作について、図面を参照して説明する。
図１７は、本実施施形態におけるヘッドマウントディスプレイ１の動作の一例を示すフローチャートである。
図１７において、ステップＳ５０１〜ステップＳ５１７までの処理は、図１１におけるステップＳ１０１〜ステップＳ１１７までの処理と同様であり、ここでは説明を省略する。

ステップＳ５１８において、処理部１２３ｂは、地磁気センサー１３３が検出した検出値をローパスフィルタ２０９によってフィルタ処理させて、付加情報の表示位置を算出する。例えば、ローパスフィルタ２０９は、地磁気センサー１３３が検出した検出値（方位情報）をフィルタ処理してＡＲ位置補正部２０４ｂに供給する。ＡＲ位置補正部２０４ｂは、ローパスフィルタ２０９によってフィルタ処理された方位情報に基づいて、付加情報を重畳する位置を補正した位置（表示位置）として算出する。

続く、ステップＳ５１９〜ステップＳ５２３の処理は、図１１におけるステップＳ１１９〜ステップＳ１２３までの処理と同様であり、ここでは説明を省略する。

次に、図１８を参照して本実施形態におけるヘッドマウントディスプレイ１及び入出力装置２００ｂの動作の一例について説明する。
図１８において、各グラフは、横軸が時間を示し、縦軸が変位を示している。波形Ｗ１は、振れ補正部２０１によって補正する前の撮像画像の変位を示している。この波形Ｗ１は、角速度センサー１３４の検出値の変化に対応する。また、波形Ｗ２は、地磁気センサー１３３が検出した検出値（例、方位情報）の変位を示している。また、波形Ｗ３は、振れ補正部２０１によって補正された後の撮像画像の変位を示している。また、波形Ｗ４は、ＡＲ位置補正部２０４ｂによって補正された後の付加情報を重畳する位置の変位を示している。

また、時刻Ｔ０から時刻Ｔ１までの期間Ｒ０は、ヘッドマウントディスプレイ１が停止している期間を示している。また、時刻Ｔ１から時刻Ｔ２までの期間Ｒ１は、ヘッドマウントディスプレイ１が振動している期間（振れている期間）を示している。また、時刻Ｔ２から時刻Ｔ３までの期間Ｒ２は、ヘッドマウントディスプレイ１にパン操作が行われ、ヘッドマウントディスプレイ１が振動しながら移動している期間を示している。また、時刻Ｔ３から時刻Ｔ４までの期間Ｒ３は、パン操作が終了したがヘッドマウントディスプレイ１がまだ振動している期間を示している。時刻Ｔ４から時刻Ｔ５までの期間Ｒ５は、ヘッドマウントディスプレイ１が再び停止している期間を示している。

図１８に示すように、振れ補正部２０１は、波形Ｗ１により示される角速度センサー１３４の検出値をハイパスフィルタ２０７に通して得られた高周波成分（光軸の変位）に基づいて、電子的に画像の読み出し位置を逐次ずらすことで、細かな画像の揺れ（ブレ）を除去する補正をおこなっている。その結果、振れ補正部２０１は、波形Ｗ３に示すように、変位が滑らかな振れ（ブレ）のない補正された撮像画像を生成し、生成した画像が表示パネル６３に表示される。すなわち、補正された撮像画像の変位は、波形Ｗ３に示すように、ヘッドマウントディスプレイ１が静止した状態から、滑らかにパン操作が行われ、最後にヘッドマウントディスプレイ１が静止したようになっている。
ここで、波形Ｗ３における変位量Ｄ１は、ヘッドマウントディスプレイ１の方向がパン操作によって意図的に変わったことを示している。

これに対して、ＡＲ位置補正部２０４ｂは、上述したステップＳ５１８において説明したように、地磁気センサー１３３の検出値（波形Ｗ２）をローパスフィルタ２０９に通して得られる方位情報に基づいて、付加情報を重畳する位置を補正する。その結果、ＡＲ位置補正部２０４ｂは、波形Ｗ４に示すような付加情報を重畳する位置の変位になるように補正する。ここで、ローパスフィルタ２０９の特性は、例えば、この補正による変位量Ｄ２が上述した波形Ｗ３における変位量Ｄ１に一致するように設定されている。なお、ローパスフィルタ２０９の特性は、例えば、波形Ｗ３の変位方向及び変位量と、波形Ｗ４の変位方向及び変位量とが一致するように定められている。

なお、ズーム制御部２０２による変更倍率が１倍以下である場合には、振れ補正部２０１及びＡＲ位置補正部２０４ｂの補正処理は実行されない。この場合、撮像画像の変位は波形Ｗ１に対応し、付加情報を重畳する位置の変位は波形Ｗ２に対応する。このように、振れ補正部２０１及びＡＲ位置補正部２０４ｂの補正処理は実行されない場合に撮像画像の変位と付加情報を重畳する位置の変位とは一致するので、入出力装置２００ｂは、正しい位置に付加情報を重畳する。

以上説明したように、本実施形態では、振れ補正部２０１が、角速度センサー１３４が検出した検出値をハイパスフィルタ２０７によってフィルタ処理した光軸の変位に応じて、カメラ６４が撮像する画像の揺れを補正する。ＡＲ位置補正部２０４ｂは、地磁気センサー１３３が検出した検出値を、ローパスフィルタ２０９によってフィルタ処理したカメラ６４の方向に基づいて、付加情報を重畳する位置を補正する。ここで、ローパスフィルタ２０９の特性は、振れ補正部２０１によって補正された撮像画像の変位と、ＡＲ位置補正部２０４ｂによって補正された付加情報の位置の変位とが一致するように設定されている。
これにより、本実施形態による入出力装置２００ｂは、図１８の波形Ｗ３及び波形Ｗ４に示すように、例えば、パン操作などを補正から除外して、振れ補正及び付加情報を重畳する位置の補正を適切に行うことができる。なお、本実施形態では、ＡＲ位置補正部２０４ｂは、ローパスフィルタ２０９を用いることにより、補正量を算出する必要がなく、構成を簡略化することができる。したがって、本実施形態による入出力装置２００ｂは、簡易な構成により、映像酔いなどの不快な症状を発症することを低減することができる。
このように、本実施形態による入出力装置２００ｂ及びヘッドマウントディスプレイ１は、上記の各実施形態と同様に、利便性を向上させることができる。

なお、本発明は、上記の各実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。
例えば、上記の各実施形態において、振れ補正部２０１は、電気的な防振技術を用いる形態を説明したが、これに限定されるものではなく、光学的な防振技術を用いる形態であってもよい。例えば、振れ補正部２０１は、カメラ６４が有する光学系又は撮像素子を光軸の変位を打ち消すように操作することにより、防振処理を実現するものであってもよい。例えば、光学系（例、可動レンズ）を用いて防振処理を実現する場合には、可動レンズの移動量と付加情報の表示位置との間に所定の相関がある。この場合、ＡＲ位置補正部２０４は、光軸の変位量に基づいて、振れ補正部２０１による画像の揺れの補正量に対応する補正量をこの相関に基づいて算出し、算出した補正量に基づいて、付加情報を重畳する位置を補正してもよい。

また、上記の各実施形態において、ズーム制御部２０２は、電子的に読み出し範囲を変更する形態を説明したが、例えば、光学的なズームレンズを用いて光学的な撮像倍率を変更する形態であってもよい。

また、上記の第１、第２の実施形態において、ＡＲ位置補正部２０４は、振れ補正部２０１によって算出された補正量（ｄＸ，ｄＹ）を流用する形態を説明したが、独立に付加情報を重畳する位置の補正値を算出してもよい。

また、上記の各実施形態において、付加情報は一例として地形情報と気象情報を重畳させる形態を説明したが、これに限定されるものではない。例えば、付加情報は、特定の場所にある店舗情報および、その店舗情報に関連したネットワーク上の情報などでもよい。また、対象物（被写体）として、撮像画像に含まれる山を用いる一例を説明したが、これに限定されるものではない。対象物は、例えば、建物、人物、動物などでもよい。

また、上記の各実施形態において、入出力装置２００（２００ａ，２００ｂ）をヘッドマウントディスプレイ１に適用する形態を説明したが、これに限定されるものではなく、例えば、カメラ（撮像装置）や携帯電話などの携帯端末において適用してもよい。

上述のヘッドマウントディスプレイ１及び入出力装置２００（２００ａ，２００ｂ）は内部に、コンピュータシステムを有している。そして、上述した入出力装置２００（２００ａ，２００ｂ）の処理過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリー等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。

１…ヘッドマウントディスプレイ、４０…ヘッドバンド、６３…表示パネル、６４…カメラ、１２２…フラッシュメモリー、１２３，１２３ａ，１２３ｂ…処理部、１３０…ＢＴ通信回路、１３１…ＷｉＦｉ通信回路、１３３…地磁気センサー、１３４…角速度センサー、１３５…ＧＰＳセンサー、１３８…３Ｇ／ＬＴＥ通信回路、２００，２００ａ，２００ｂ…情報入出力装置、２０１…振れ補正部、２０２…ズーム制御部、２０３…付加情報取得部、２０４，２０４ａ，２０４ｂ…ＡＲ位置補正部、２０５…画像処理部、２０６…表示制御部、２０７…ハイパスフィルタ、２０８…パターン取得部、２０９…ローパスフィルタ

Claims (12)

1. 画像データと前記画像データに含まれる被写体に関する情報とを表示部に表示させる制御装置であって、
   前記被写体を撮像し、前記画像データを取得する撮像部と、
   前記撮像部の光軸の変位を検出する検出部と、
   前記検出部が検出した前記光軸の変位に基づいて、前記画像データのうち前記表示部に表示する部分を補正する第一補正部と、
   前記被写体に関する情報を前記表示部に表示する表示位置が変化しないように、前記光軸の変位又は前記部分に基づいて前記表示位置を補正する第二補正部と、を備える、
   制御装置。
2. 前記第一補正部は、前記画像データのうち前記表示部に表示する前記部分が変化しないように補正する、
   請求項１に記載の制御装置。
3. 前記第二補正部は、前記第一補正部による補正が行われた場合に、前記表示位置を補正する、
   請求項２に記載の制御装置。
4. 前記第二補正部は、前記第一補正部が行った補正による前記表示位置のずれを補正する、
   請求項１から請求項３の何れか一項に記載の制御装置。
5. 前記第二補正部は、前記光軸の変位による前記第一補正部の補正量に基づいて、前記表示位置を補正する、
   請求項１から請求項４の何れか一項に記載の制御装置。
6. 前記第二補正部は、前記部分に含まれる画像データと、前記被写体を示す画像データと、に基づいて、前記表示位置を補正する、
   請求項１から請求項４の何れか一項に記載の制御装置。
7. 前記第二補正部は、前記部分に含まれる画像データのうち前記被写体を示す画像データを検出した位置に基づいて、前記表示位置を補正する、
   請求項６に記載の制御装置。
8. 前記被写体に関する情報を、前記表示部のうち前記被写体に基づく位置に表示させる表示制御部を備える、
   請求項１から請求項７の何れか一項に記載の制御装置。
9. 前記第一補正部は、前記検出部が検出した前記光軸の変位のうち、所定の周波数以上の前記光軸の変位に基づいて、前記画像データのうち前記表示部に表示させる前記部分を補正する、
   請求項１から請求項８の何れか一項に記載の制御装置。
10. 前記第一補正部は、ハイパスフィルタで処理された前記光軸の変位に基づいて、前記画像データのうち前記表示部に表示させる前記部分を補正する、
    請求項９に記載の制御装置。
11. 前記第一補正部は、前記撮像部の倍率が所定の倍率より大きい場合に、前記画像データのうち前記表示部に表示させる前記部分を補正し、
    前記第二補正部は、前記第一補正部による補正が行われた場合に、前記表示位置を補正する、
    請求項１から請求項１０の何れか一項に記載の制御装置。
12. 画像データと前記画像データに含まれる被写体に関する情報とを表示部に表示させるプログラムであって、
    前記被写体を撮像し、前記画像データを取得する撮像処理と、
    前記撮像処理を行う撮像部の光軸の変位を検出する検出処理と、
    前記検出処理が検出した前記光軸の変位に基づいて、前記画像データのうち前記表示部に表示する部分を補正する第一補正処理と、
    前記被写体に関する情報を前記表示部に表示する表示位置が変化しないように、前記光軸の変位又は前記部分に基づいて前記表示位置を補正する第二補正処理と、をコンピュータに実行させる、
    プログラム。