JP6015223B2 - 電子機器、及び表示装置 - Google Patents

Description

本発明は、電子機器、及び表示装置に関する。

ヘッドマウントディスプレイ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ：ＨＭＤ）には、ユーザーの視界を確保しつつ画面に情報を表示するシースルータイプ（特許文献１参照）と、ユーザーの視界を確保せずに画面に情報を表示する非シースルータイプとがある。

特開平８−３２８５１２号公報

しかしながら、シースルータイプの頭部装着型情報入出力装置（ヘッドマウントディスプレイ）は、明るい屋外で使用された場合、画面の背景が明るいために、画面に表示された情報が見づらく、使い勝手がよくないという問題がある。一方、非シースルータイプの頭部装着型情報入出力装置は、画面によりユーザーの視界が遮られてしまうため、使い勝手がよくないという問題がある。

本発明は、前記の点に鑑みてなされたものであり、使い勝手を向上させることができる電子機器、及び表示装置を提供することを目的とする。

本発明の一態様は、入射する光の透過率が変化する光学素子を有し、操作を指示するための画像を表示する表示部と、前記光学素子が第１の透過率であるときに前記表示部に表示される前記画像と前記第１の透過率と異なる第２の透過率であるときに前記表示部に表示される前記画像の大きさまたは表示される位置のうち少なくとも一方が異なるように前記表示部を制御する制御部とを備える電子機器である。

本発明の一態様は、上記に記載の電子機器と、前記電子機器を頭部に装着する装着部とを備える表示装置である。

本発明によれば、電子機器、及び表示装置は、使い勝手を向上させることができる。

本発明の第１実施形態における、頭部装着型情報入出力装置の斜視図である。 本発明の第１実施形態における、頭部装着型情報入出力装置を背面側から見た斜視図である。 本発明の第１実施形態における、ディスプレイ本体の水平断面図である。 本発明の第１実施形態における、ヘッドバンドの動作説明図である。 本発明の第１実施形態における、頭部装着型情報入出力装置の装着形態（第１表示モード）を示す図である。 本発明の第１実施形態における、頭部装着型情報入出力装置に付属のステレオイヤホンを示す斜視図である。 本発明の第１実施形態における、眼球照明ライトの点灯と消灯を説明するための図である。 本発明の第１実施形態における、表示部の構成及び光学系を説明するための表示部の断面図である。 本発明の第１実施形態における、液晶パネルの構成例を示す図である。 本発明の第１実施形態における、第１〜第３観察状態のそれぞれにおける表示領域の違いを説明するための図である。 本発明の第１実施形態における、第１観察状態での観察範囲と撮像範囲を説明するための図である。 本発明の第１実施形態における、第１観察状態での撮像画像の一例を説明するための図である。 本発明の第１実施形態における、第２観察状態での撮像画像の一例を説明するための図である。 本発明の第１実施形態における、第２観察状態での観察範囲と撮像範囲を説明するための図である。 本発明の第１実施形態における、第３観察状態での撮像画像の一例を説明するための図である。 本発明の第１実施形態における、第３観察状態での観察範囲と撮像範囲を説明するための図である。 本発明の第１実施形態における、撮像素子の画角と選択範囲を説明するための図である。 本発明の第１実施形態における、撮像領域と選択領域を説明するための図である。 本発明の第１実施形態における、選択範囲の選択を機械的に行う機構を説明するための図である。 本発明の第１実施形態における、頭部装着型情報入出力装置の機能ブロック図である。 本発明の第１実施形態における、処理部の機能ブロック図である。 本発明の第１実施形態における、非シースルーモードでのメニュー画面の一例を示す図である。 本発明の第１実施形態における、シースルーモードでのメニュー画面の一例を示す図である。 本発明の第１実施形態における、シースルーモードでユーザーが画面下に視線を振った場合でのメニュー画面の一例を示す図である。 本発明の第１実施形態における、頭部装着型情報入出力装置の動作手順の例を示すフローチャートである。 本発明の第２実施形態における、撮像されたユーザーの眼の例を示す図である。 本発明の第２実施形態における、頭部装着型情報入出力装置の動作手順の例を示すフローチャートである。

［第１実施形態］
以下、本発明の実施形態について図面を参照しながら説明する。頭部装着型情報入出力装置（ヘッドマウントディスプレイ、ＨＭＤ）は、ユーザーの眼を照明するための複数の照明部を、表示部の近傍に備える。頭部装着型情報入出力装置は、これら複数の照明部の点灯状態を、ユーザーと表示部との位置関係に応じて制御する。

この構成により、頭部装着型情報入出力装置は、ユーザーと表示部との位置関係に応じて、点灯させる照明部を選択する。これにより、頭部装着型情報入出力装置は、表示部がユーザーの眼に対して下側、上側又は外側のいずれに配置された場合でも、ユーザーの観察している視線や注視点を、検出することができる。

以下の説明においては、必要に応じてＸＹＺ直交座標系を設定し、このＸＹＺ直交座標系を参照しつつ、頭部装着型情報入出力装置の各部の位置関係について説明する。水平面内の所定方向をＸ軸方向、水平面内においてＸ軸方向と直交する方向をＹ軸方向、Ｘ軸方向及びＹ軸方向のそれぞれと直交する方向（すなわち、鉛直方向）をＺ軸方向とする。また、Ｘ軸、Ｙ軸、及びＺ軸まわりの回転（傾斜）方向をそれぞれ、θＸ、θＹ、及びθＺ方向とする。

図１は、頭部装着型情報入出力装置の斜視図である。図２は、頭部装着型情報入出力装置を背面側から見た斜視図である。図３は、ディスプレイ本体の水平断面図である。図４は、本実施形態に係るヘッドバンドの動作説明図である。図５は、頭部装着型情報入出力装置の装着形態（第１表示モード）を示す図である。

頭部装着型情報入出力装置１は、ディスプレイ本体２０と、ユーザーの頭部に装着されディスプレイ本体２０を支持するヘッドバンド４０と、を備えた単眼式の頭部装着型情報入出力装置である。頭部装着型情報入出力装置１は、図５に示すように、両眼どちらでも使用可能である。図５（Ａ）には、ユーザーが右眼（右目）で表示部６０を見ている状態、図５（Ｂ）には左眼（左目）で見ている状態が示されている。

また、図２に示すように、ディスプレイ本体２０とヘッドバンド４０とは、連結ピン４１を介して着脱可能に構成されている。なお、図１及び図２では、ディスプレイ本体２０の長手方向をＹ軸方向、ヘッドバンド４０がユーザーの頭部を挟持する方向をＸ軸方向としている。

以下、頭部装着型情報入出力装置１の各部の構成について詳細に説明する。
ディスプレイ本体２０は、主要回路を内蔵するとともに操作部や各種インタフェースを備えた装置本体部２１と、装置本体部２１の先端に連結された表示部６０とを有する。

装置本体部２１は、概略板状の筐体２１Ａ（図３参照）を有する。本実施形態では、装置本体部２１においてヘッドバンド４０との接続部が設けられている側の端部（＋Ｙ側の端部）を基端部とし、この基端部と反対側の端部（−Ｙ側の端部）を先端部とする。また、装置本体部２１をヘッドバンド４０に装着した状態で、装置本体部２１のヘッドバンド４０側（＋Ｘ側）を内側、ヘッドバンド４０と反対側（−Ｘ側）を外側とする。

装置本体部２１の外面には、図１に示すように、メインスイッチ２８と、タッチスイッチ３４と、集音マイク２４とが、筐体２１Ａの長手方向に沿って配置されている。
メインスイッチ２８は、ディスプレイ本体２０の電源のオンオフ操作を行うスイッチである。タッチスイッチ３４は、表面に手指等で触れることにより頭部装着型情報入出力装置１の各種操作を行うことができるタッチパネルである。集音マイク２４は、環境音を収集する外部マイクである。

装置本体部２１内面の基端部側に、図２に示すように、耳元スピーカー２３と、オーディオコネクター２６と、連結孔３１を有するヘッドバンドヒンジ３２とが設けられている。装置本体部２１内面の中央部に心拍数センサー１３７が設けられている。装置本体部２１の内側面の先端部には通話マイク３７が設けられている。

耳元スピーカー２３は、ユーザーの耳の近傍に配置される。耳元スピーカー２３からユーザーに音声情報が伝えられる。オーディオコネクター２６は、例えば、図６に示すイヤホンが接続される音声入出力端子である。ヘッドバンドヒンジ３２はヘッドバンド４０とのジョイント部である。通話マイク３７にはユーザーの音声が入力される。

心拍数センサー１３７は、ユーザーの顔の表面に接触させることでユーザーの心拍数を測定するセンサーである。心拍数センサー１３７は、発光ダイオード等を備えた発光部と、ユーザーの皮膚内部で反射した光を検知する受光部とを有する。心拍数センサー１３７は、血流の変化による反射光量の変化を検出することで心拍数をカウントする。心拍数センサー１３７はユーザーの眼の近くに配置されるが、発光部から赤外域の光を射出させる構成とすればユーザーにまぶしさを感じさせることはない。

装置本体部２１の基端部側の側端面には、ＵＳＢコネクター２５と、操作スイッチ３０と、ビデオコネクター２７とが設けられている。
ＵＳＢコネクター２５は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）デバイスの接続端子である。本実施形態では、例えば不図示のリモコン（リモートコントローラー）が接続される。
操作スイッチ３０は、例えば、トラックボールやスティックなどのポインティングデバイスである。操作スイッチ３０は表示部６０に表示される画面に正対するように設けられている。これにより、操作スイッチ３０における操作の左右方向と、上記画面の左右方向とが一致するので、ユーザーは画面を見ながら直感的に操作スイッチ３０を操作することが可能である。
ビデオコネクター２７は映像入出力端子である。

図３に示すように、装置本体部２１には、筐体２１Ａの長手方向に沿って延びる板状の回路基板２９と、バッテリー３３とが内蔵されている。回路基板２９には、図示略の制御回路、電源回路等が実装されており、図示略の配線を介してディスプレイ本体２０の各部と電気的に接続されている。

装置本体部２１の外面に露出するタッチスイッチ３４の内側には、液晶パネルからなる表示パネル３６と、バックライト３５とが配置されている。本実施形態では、表示パネル３６の表示画像がタッチスイッチ３４を透過して表示される。表示パネル３６及びバックライト３５を、有機ＥＬパネルや電気泳動パネルとしてもよい。

ヘッドバンドヒンジ３２は、筐体２１Ａに設けられた凹曲面状の収容部３２ａと、収容部３２ａに嵌合された球状部３２ｂとからなるボールジョイントである。球状部３２ｂは、球面状の側面部と、この側面部を挟むように互いに平行に形成された２つの平面部を有する。連結孔３１は、２つの平面部を垂直に貫くように形成されている。連結孔３１は、軸方向視で六角形状に形成されている。ディスプレイ本体２０とヘッドバンド４０とは、連結孔３１にヘッドバンド４０の連結ピン４１が挿入されることにより連結される。

ヘッドバンドヒンジ３２を備えていることで、ディスプレイ本体２０は、図１に示したＡ方向（ヘッドバンドヒンジ３２を中心とするＸ軸回り）に回動させることができる。本実施形態において、ディスプレイ本体２０の回転可能範囲は２７０°程度とされる。このＸ軸回りの回転動作により、図５（Ａ）に示す右眼で画像を観察する形態と、図５（Ｂ）に示す左眼で画像を観察する形態との切替機能が実現される。

また、ヘッドバンドヒンジ３２は、ボールジョイントであるため、ディスプレイ本体２０は図１に示すＢ方向（ヘッドバンドヒンジ３２を中心とするＺ軸回り）に揺動させることもできる。この揺動操作により、ディスプレイ本体２０のユーザーの眼や耳に対する位置を調整することができる。

ヘッドバンドヒンジ３２近傍の心拍数センサー１３７は、装置本体部２１の内面から突出するように設けられ、頭部装着型情報入出力装置１の装着時に、ユーザーの顔の表面に当接可能とされている。バッテリー３３は、一次電池又は二次電池のいずれでもよい。

表示部６０は、図１及び図２に示すように、装置本体部２１の先端部に連結されている。本実施形態において、表示部６０のヘッドバンド４０側を内側、ヘッドバンド４０と反対側を外側とする。表示部６０は、上面視（Ｚ軸視）において湾曲した形状を有するアーム部材であり、装置本体部２１との連結部から先端側へ向かうに従って内側へ湾曲する形状を有する。表示部６０の内面に、ファインダー開口部６７が設けられている。表示部６０の外面には、カメラ６４が設けられている。また、図２に示すように、ファインダー開口部６７の形状は、長方形である。

表示部６０の筐体面には、眼球照明ライト１６６ａ〜１６６ｄが、ファインダー開口部６７の近傍に備えられている。図２では、眼球照明ライト１６６ａ及び１６６ｂは、ファインダー開口部６７の長辺の一方に沿った位置であって、ファインダー開口部６７の隅の近傍に備えられている。また、眼球照明ライト１６６ｃ及び１６６ｄは、ファインダー開口部６７の長辺の他方に沿った位置であって、ファインダー開口部６７の隅の近傍に備えられている。

眼球照明ライト１６６ａ〜１６６ｄは、例えば赤外線の波長領域の光を放射する発光ダイオード（ＬＥＤ）である。眼球照明ライト１６６ａ〜１６６ｄは、ユーザーと表示部６０との位置関係に応じて、点灯または消灯される。以下では、眼球照明ライト１６６ａ〜１６６ｄを、眼球照明ライト１６６と総称する。

図３に示すように、表示部６０は、ディスプレイヒンジ６１を介して装置本体部２１と連結されている。ディスプレイヒンジ６１は、表示部６０の筐体６０Ａに形成された凹曲面状の収容部６１ａと、装置本体部２１に形成され収容部６１ａに嵌合された球状部６１ｂとからなるボールジョイントである。

装置本体部２１の球状部６１ｂは、装置本体部２１の外面先端部に形成された筐体２１Ａの長手方向に対して斜めに延びる傾斜面２１ａに、傾斜面２１ａの法線方向（図３のＹ’軸方向）に突出するようにして設けられている。

表示部６０は、ディスプレイヒンジ６１の球状部６１ｂに対してＹ’軸回りに自由に回転させることができる。本実施形態では、ディスプレイヒンジ６１が装置本体部２１の傾斜面２１ａに設けられており、表示部６０が内側に湾曲した形状を有している。

また、ディスプレイヒンジ６１がボールジョイントであることから、表示部６０は、Ｙ’軸回りの回転面に対して直交する方向の揺動も可能である。この揺動動作により、ユーザーによるファインダー開口部６７の位置調整が容易になる。表示部６０と装置本体部２１との間隔を大きくすれば、表示部６０の揺動幅を大きくすることができる。

ディスプレイヒンジ６１の球状部６１ｂには、球状部６１ｂを高さ方向（Ｙ’軸方向）に貫通する貫通孔６１ｃが形成されている。貫通孔６１ｃを介して、表示部６０の内部と装置本体部２１の内部とが連通されている。貫通孔６１ｃには、不図示のケーブルが挿通される。回路基板２９と表示部６０の各部とは、挿通されたケーブルを介して、電気的に接続される。

表示部６０の内部には、バックライト６２と、表示パネル６３と、カメラ６４と、プリズム６５と、反射ミラー６６と、前方ライト６８と、前方スピーカー７０と、結像レンズ７１と、撮像素子７２（撮像部）とが設けられている。なお、表示部６０の光学系の構成については、後述する。

カメラ６４は、例えば、５００万画素〜１０００万画素の撮像素子を有し、オートフォーカス動作が可能に構成される。カメラ６４は、その撮像素子の受光面に結像した画像（光学像）を撮像する。カメラ６４は、例えば、ユーザーにとっての正面方向を撮像することができる。なお、撮像された画像は、動画形式または静止画形式のいずれで信号処理されてもよい。

前方ライト６８は、例えば、ＬＥＤライトである。前方ライト６８は、赤、緑、青の各色の発光素子を有し、任意の色を任意のタイミングで発光させることが可能に構成してもよい。前方ライト６８は、発光色や発光タイミングにより外部に対して情報を表示する装置として用いてもよく、カメラ６４で撮影する際の照明装置として用いてもよい。
撮像素子７２は、その受光面に結像した画像（光学像）を撮像する。撮像素子７２は、例えば、ユーザーの顔を撮像することができる。なお、撮像された画像は、動画形式または静止画形式のいずれで信号処理されてもよい。

また、図３では図示を省略したが、本実施形態に係る表示部６０にはレーザー発信器が設けられている。レーザー発信器は、例えば前方ライト６８の近傍に設けることができる。レーザー発信器から射出される例えば赤色レーザー光を前方に照射することで、レーザー光によるポインティング（指標の表示）が可能である。

次に、ヘッドバンド４０について、図２及び図４を参照しつつ説明する。
ヘッドバンド４０は、図２に示すように、ユーザーの頭部を挟持する一対のヘッドパット（装着部材）４６、４７と、第１ヘッドバンド４３と、第２ヘッドバンド４４と、回動機構５６、５７とを備えている。

第１ヘッドバンド４３は、全体として円弧状を成す弾性部材である。第１ヘッドバンド４３の頂部に、第１ヘッドバンド４３を折り曲げるためのジョイント部４３ａが設けられている。第１ヘッドバンド４３の両端には、回動機構５６、５７を構成する軸受部４３ｂ、４３ｃがそれぞれ設けられている。軸受部４３ｂ、４３ｃよりもさらにバンド先端側に、ヘッドパット４６、４７が接続される軸受部４３ｄ、４３ｅが設けられている。

第２ヘッドバンド４４は、全体として円弧状を成す弾性部材である。第２ヘッドバンド４４の頂部には、第２ヘッドバンド４４を折り曲げるためのジョイント部４４ａが設けられている。第２ヘッドバンド４４の両端には、それぞれ回動機構５６、５７を構成する軸部材４４ｂ、４４ｃが設けられている。

また本実施形態において、第２ヘッドバンド４４は、ステンレス等の金属からなるバネ部材４８の表面を樹脂等の柔軟な材料で被覆した構成を有する。この第２ヘッドバンド４４のバネ部材４８においてユーザーの頭部を挟持するバネ力を発生させる。また第２ヘッドバンド４４は第１ヘッドバンド４３と比較して広い幅に形成されている。ジョイント部４４ａの形成部分は他のバンド部分よりもさらに広く形成された標章表示部４９とされている。標章表示部４９には、シールや印刷により製品タグ等が付される。なお、第２ヘッドバンド４４の全体を金属で形成してもよい。

ヘッドパット４６は、板状の支持板４６ａと、支持板４６ａの一面側に設けられた断面アーチ状の弾性部材４６ｂとを有する。支持板４６ａの弾性部材４６ｂと反対側の面に、当該面に垂直な姿勢で概略六角柱状の連結ピン４１が立設されている。連結ピン４１は、第１ヘッドバンド４３の一方の先端に設けられた軸受部４３ｄに軸支されている。これにより、ヘッドパット４６は連結ピン４１回りに回転可能である。

ヘッドパット４７は、板状の支持板４７ａと、支持板４７ａの一方の面に設けられた断面アーチ状の弾性部材４７ｂとを有する。支持板４７ａの弾性部材４７ｂと反対側の面には、軸部材４７ｃが設けられている。軸部材４７ｃは、第１ヘッドバンド４３の先端に設けられた軸受部４３ｅに軸支されている。これにより、ヘッドパット４７は、軸部材４７ｃ回りに回転可能である。

この構成により、第２ヘッドバンド４４は、回動機構５６によって第１ヘッドバンド４３から離れる方向に回動付勢される一方、回動機構５７によって第１ヘッドバンド４３に対して所定角度以内の範囲に回動規制される。これにより、第２ヘッドバンド４４は第１ヘッドバンド４３に対して所定の角度となるように保持される。したがって、回動機構５６、５７は、ヘッドバンド４０における角度保持機構として機能する。

次に、頭部装着型情報入出力装置１におけるヘッドバンドの動作等について、図４、図５を参照しつつ説明する。以下、ユーザーにとっての右側を「ユーザーの右側」と称する。また、ユーザーにとっての左側を「ユーザーの左側」と称する。また、ユーザーにとっての上側を「ユーザーの上側」と称する。また、ユーザーにとっての下側を「ユーザーの下側」と称する。また、ユーザーにとっての時計回り方向を「時計回り方向」と称する。また、ユーザーにとっての反時計回り方向を「反時計回り方向」と称する。

図５に示したように、頭部装着型情報入出力装置１は、図５（Ａ）に示す右眼観察形態と、図５（Ｂ）に示す左眼観察形態を切り替えて使用することができる。ここで、右眼観察形態とは、ユーザーが右眼で表示部６０を観察する形態である。また、左眼観察形態とは、ユーザーが左眼で表示部６０を観察する形態である。以下、図５（Ａ）及び図５（Ｂ）示した形態、すなわち、ユーザーから見てファインダー開口部６７が横長に配置される形態を、第１表示モードと称する。

例えば、右眼観察形態から左眼観察形態へ切り替えるには、まず、ヘッドバンド４０に連結されたディスプレイ本体２０を、ヘッドバンドヒンジ３２（図２を参照）の回転軸回り（図５では、Ａ方向）に１８０°程度回転させる。さらに、ヘッドバンド４０において、回動機構５６及び５７（図４を参照）の軸回りに第２ヘッドバンド４４を揺動させることで、第２ヘッドバンド４４の位置と第１ヘッドバンド４３の位置との前後関係を入れ替える。この操作により、図５（Ｂ）に示すように、ユーザーの左眼側にディスプレイ本体２０が配置され、且つ、第２ヘッドバンド４４がユーザーの後頭部側に配置された左眼観察形態に、頭部装着型情報入出力装置１は切り替えられる。

右眼観察形態では、右眼の近傍にある眼球照明ライト１６６ａ及び１６６ｂが点灯し、眼球照明ライト１６６ｃ及び１６６ｄが消灯する。一方、左眼観察形態では、左眼の近傍にある眼球照明ライト１６６ｃ及び１６６ｄが点灯し、眼球照明ライト１６６ａ及び１６６ｂが消灯する。

本実施形態では、図４に示すように、第１ヘッドバンド４３の円弧高さｒ１を、第２ヘッドバンド４４の円弧高さｒ２よりも小さくしている。これにより、第２ヘッドバンド４４を第１ヘッドバンド４３と交差させるように移動させても、互いに干渉することなく円滑に前後を入れ替えることができる。
図４に示す円弧高さｒ１は、同軸に配置された回動機構５６、５７の回転軸Ｌの中央位置Ｃから第１ヘッドバンド４３までの距離の最大値である。また円弧高さｒ２は、回転軸Ｌの中央位置Ｃから第２ヘッドバンド４４までの距離の最大値である。

なお、第１ヘッドバンド４３の円弧高さｒ１を第２ヘッドバンド４４の円弧高さｒ２よりも大きくし、第２ヘッドバンド４４を第１ヘッドバンド４３の内側で揺動させる構成としてもよい。

図６は、頭部装着型情報入出力装置に付属のステレオイヤホンを示す斜視図である。
ステレオイヤホン１００は、コネクター１０１と、ケーブル１０２と、第１スピーカー１０３と、第２スピーカー１０４と、集音マイク１０５と、複数のクリップ１０６とを有する。

コネクター１０１はケーブル１０２の一方の端部に設けられている。コネクター１０１は、一般的な４極φ３．５ｍｍのミニプラグである。４極の内訳は、集音マイク１０５、第１スピーカー１０３、第２スピーカー１０４、グランド（ＧＮＤ）である。ケーブル１０２は、コネクター１０１の近傍において二分岐され、分岐されたケーブルの先端に第１スピーカー１０３が設けられている。ケーブル１０２の他方の端部には、第２スピーカー１０４と集音マイク１０５とが設けられている。複数のクリップ１０６は、ケーブル１０２上に所定の間隔で配置されている。

ステレオイヤホン１００は、コネクター１０１をディスプレイ本体２０のオーディオコネクター２６に接続して使用される。ステレオイヤホン１００が接続されると、ディスプレイ本体２０の耳元スピーカー２３と、表示部６０の通話マイク３７は無効化される。また表示部６０の前方スピーカー７０も必要に応じて無効化される。そして、ステレオイヤホン１００の第１スピーカー１０３、第２スピーカー１０４、及び集音マイク１０５が有効化される。

ステレオイヤホン１００の第１スピーカー１０３は、ディスプレイ本体２０が配置された側のユーザーの耳に装着され、第２スピーカー１０４は第１スピーカー１０３と反対側の耳に装着される。このとき、ケーブル１０２は、クリップ１０６によって第２ヘッドバンド４４に固定することができる。

また、ステレオイヤホン１００の集音マイク１０５と、ディスプレイ本体２０において筐体２１Ａの外側面に設けられた集音マイク２４とにより、ステレオ録音が可能である。例えば、図５（Ａ）に示すようにディスプレイ本体２０が右眼側に配置されているとすれば、ディスプレイ本体２０の集音マイク２４はユーザーの右側の音を収集し、左耳に装着された集音マイク１０５はユーザーの左側の音を収集する。
また、右眼観察形態では、ステレオイヤホン１００の第１スピーカー１０３から右チャンネルの音声が出力され、第２スピーカー１０４からは左チャンネルの音声が出力される。

一方、図５（Ｂ）に示すように、ユーザーの左眼側にディスプレイ本体２０が配置されている場合には、ディスプレイ本体２０の集音マイク２４が、ユーザーの左側の音を収集し、右耳に装着された集音マイク１０５が、ユーザーの右側の音を収集する。左眼観察形態では、ステレオイヤホン１００の第１スピーカー１０３から、左チャンネルの音声が出力され、第２スピーカー１０４からは、右チャンネルの音声が出力される。

次に、眼球照明ライト１６６ａ〜１６６ｄの点灯と消灯について説明する。
図７は、本実施形態に係る眼球照明ライト１６６の点灯と消灯を説明するための図である。図７（Ａ）は、右眼観察形態における眼球照明ライト１６６の点灯と消灯を説明するための図である。図７（Ｂ）は、左眼観察形態における眼球照明ライト１６６の点灯と消灯を説明するための図である。図７（Ａ）及び図７（Ｂ）において、ユーザーの顔の正面方向を、ＨＺと表記する。

図７（Ａ）に示した例では、表示部６０は、右眼の斜め下に配置されている。また、正面方向ＨＺと表示部６０の画面の法線とは、角度αを成している。頭部装着型情報入出力装置１は、眼球照明ライト１６６ａ〜１６６ｄのうち、ユーザーの眼に近い側の眼球照明ライトを選択し、選択した眼球照明ライトを点灯させる。一方、頭部装着型情報入出力装置１は、選択した以外の眼球照明ライト、すなわち、ユーザーの眼から遠い側の眼球照明ライトを消灯させる。

図７（Ａ）では、眼球照明ライト１６６ａ及び１６６ｂは、正面方向ＨＺから角度α１だけ下側に配置されている。一方、眼球照明ライト１６６ｃ及び１６６ｄは、正面方向ＨＺから角度α２だけ下側に配置されている。ここで、角度α１は、角度αより小さく、角度α２は、角度αより大きい。つまり、眼球照明ライト１６６ａ及び１６６ｂは、眼球照明ライト１６６ｃ及び１６６ｄよりも、ユーザーの右眼の近くに配置されている。

この場合、頭部装着型情報入出力装置１は、眼球照明ライト１６６ａ及び１６６ｂを点灯させ、且つ、眼球照明ライト１６６ｃ及び１６６ｄを消灯させる。この点灯状態で、撮像素子７２は、ユーザーの右眼の周りを撮像する。以下、ユーザーの右眼の周りが撮像された画像を、「右眼の周辺画像」という。

なお、右眼の周辺画像には、右眼の画像、右眉毛の画像、顔の一部（頭、髪の毛等）の画像が含まれてもよい。また、左眼の周辺画像には、左眼の画像、左眉毛の画像、顔の一部（頭、髪の毛等）が含まれてもよい。以下、右眼の周辺画像、及び左眼の周辺画像を、「眼の周辺画像」と総称する。

図７（Ａ）に示した例では、ユーザーの右眼から遠い側の眼球照明ライト１６６ｃ及び１６６ｄは、ユーザーの頬が邪魔になり、ユーザーの右眼を照明できないこともある。したがって、頭部装着型情報入出力装置１は、ユーザーの右眼から遠い側の眼球照明ライト１６６ｃ及び１６６ｄを消灯させる。これにより、頭部装着型情報入出力装置１は、消費電力を低減させることができる。

一方、図７（Ｂ）では、眼球照明ライト１６６ｃ及び１６６ｄは、正面方向ＨＺから角度α３だけ下側に配置されている。一方、眼球照明ライト１６６ｃ及び１６６ｄは、正面方向ＨＺから角度α４だけ下側に配置されている。ここで、角度α３は、角度αより小さく、角度α４は、角度αより大きい。つまり、眼球照明ライト１６６ａ及び１６６ｂは、眼球照明ライト１６６ｃ及び１６６ｄよりも、ユーザーの左眼の近くに配置されている。

この場合、頭部装着型情報入出力装置１は、眼球照明ライト１６６ｃ及び１６６ｄを点灯させ、且つ、眼球照明ライト１６６ａ及び１６６ｂを消灯させる。この点灯状態で、撮像素子７２は、ユーザーの左眼の周りを撮像する。以下、ユーザーの左眼の周りが撮像された画像を、「左眼の周辺画像」という。

図７（Ｂ）に示した例では、ユーザーの左眼から遠い側の眼球照明ライト１６６ａ及び１６６ｂは、ユーザーの頬が邪魔になり、ユーザーの左眼を照明できないこともある。したがって、頭部装着型情報入出力装置１は、ユーザーの左眼から遠い側の眼球照明ライト１６６ａ及び１６６ｂを消灯させる。これにより、頭部装着型情報入出力装置１は、消費電力を低減させることができる。

つまり、頭部装着型情報入出力装置１は、ユーザーの眼と表示部６０との位置関係に応じて、眼球照明ライト１６６ａ〜１６６ｄのうち、ユーザーの眼をより正面から照明することができる眼球照明ライトを点灯させ、それ以外の眼球照明ライトを消灯させる。

次に、表示部６０の構成及び光学系を説明する。
図８は、表示部６０の構成及び光学系を説明するための表示部６０ａの断面図である。表示部６０ａは、バックライト６２、表示パネル６３、第１プリズム６５ａ、第２プリズム６５ｂ、反射ミラー６６、ファインダー開口部６７、結像レンズ７１、撮像素子７２、１／４波長板７５、偏光板９０、凹レンズ９１、１／４波長板９２、液晶９３、偏光板９４、及び、開口部９５を備える。ここで、符号Ｈ、Ｉ、Ｊ、Ｋ、Ｏ及びＴは、それぞれ光線を表す。また、符号Ｓは、ユーザーの眼に反射された光の光束を表す。

光線Ｏは、開口部９５に入射し、偏光板９４を透過して、液晶９３に入射する。ここで、液晶９３に通電されている（オン状態である）場合、液晶９３は、光線Ｏの偏光方向を変化させることで、Ｓ偏光のみを偏光板９４に透過させて、１／４波長板９２に入射させる。また、光線Ｏは、１／４波長板９２により、左回りの偏光となる。

反射ミラー６６は、半透過タイプであり、例えば、５０％の光線を透過させる一方で、５０％の光を反射させる。以下では、反射ミラー６６は、５０％の光線を透過させるものとして説明を続ける。すなわち、光線Ｏは、その５０％が、１／４波長板７５に入射する。なお、凹レンズ９１は、反射ミラー６６を構成する凸レンズとペアとなることで、パワーゼロの平行平板となるようにするための部材である。

１／４波長板７５は、光線ＯをＰ偏光にして、第１プリズム６５ａに入射させる。光線Ｏは、接合面６５ｃをそのまま透過し、第２プリズム６５ｂを透過して、偏光板９０に入射する。偏光板９０は、Ｐ偏光を透過させる。これにより、ユーザーは、視界、すなわち、開口部９５を通して見える範囲を（シースルー）、表示パネル６３から投影された画像とともに観察することができる。

一方、液晶９３に通電されていない（オフ状態である）場合、液晶９３は、光線Ｏの偏光方向を変化させない。このため、光線Ｏは、偏光板９４によりＳ偏光となって、１／４波長板９２に入射する。また、光線Ｏは、１／４波長板９２により、右回りの偏光となる。

反射ミラー６６を透過した光線Ｏは、その５０％が、１／４波長板７５に入射する。１／４波長板７５は、光線ＯをＳ偏光にする。Ｓ偏光になった光線Ｏは、第１プリズム６５ａに入射する。接合面６５ｃの偏光反射膜は、Ｓ偏光を反射する。これにより、ユーザーの眼には、外界からの光が入射しない。つまり、ユーザーは、視界、すなわち、開口部９５を通して見える範囲を観察することができず（非シースルー）、表示パネル６３から投影された画像のみを観察することができる。

このように、表示部６０ａは、液晶９３のオン状態とオフ状態とを切り替えることにより、ユーザーの視界を隠すか否か（非シースルー及びシースルー）を切り替えることができる。なお、表示部６０ａは、液晶９３のオン状態及びオフ状態を、例えば、処理部（図２０を用いて後述する）による制御に応じて実行してもよい。

ユーザーの眼からの光の光束Ｓは、偏光板９０によりＰ偏光のみが透過し、第２プリズム６５ｂ、接合面６５ｃ及び第１プリズム６５ａを透過して、１／４波長板７５に入射する。また、１／４波長板７５は、光束Ｓを左回りの円偏光にして、反射ミラー６６に光束Ｔとして反射させる。また、反射ミラー６６は、光束Ｔを右回りの円偏光にして、１／４波長板７５に透過させることで、光束ＳをＳ偏光にする。また、光束Ｔは、第１プリズム６５ａを透過して、接合面６５ｃに入射する。ここで、接合面６５ｃは、Ｓ偏光を反射して透過させない。これにより、偏光板９０は、反射ミラー６６により拡大されたユーザーの眼の画像を、ユーザー自身に観察させることがない。

結像レンズ７１及び撮像素子７２は、ユーザーの眼の周辺を撮影するため、ファインダー開口部６７に隣接して備えられている。ここで、撮像素子７２は、第２プリズム６５ｂを介さずに、ユーザーの眼の近傍を撮影することができる。

図９は、液晶パネルの構成例を示す図である。液晶９３は、一例として、５個の領域（液晶９３ａ〜液晶９３ｅ）に分割されて、オン状態とオフ状態とを個別に切り替えることができる。ここで、オン状態にされた領域は、光を透過させる。一方、オフ状態にされた領域は、光を透過させずに遮る。

右眼観察形態（図５（Ａ）を参照）では、液晶９３ａは、ユーザーの視界の下側に位置することになる。また、液晶９３ｂは、ユーザーの視界の右側に位置することになる。また、液晶９３ｃは、ユーザーの視界の上側に位置することになる。また、液晶９３ｄは、ユーザーの視界の左側に位置することになる。また、液晶９３ｅｂは、ユーザーの視界の中央に位置することになる。

次に、右眼観察形態で、ファインダー開口部６７を介してユーザーが観察する画像、及び、撮像素子７２により撮像される画像について説明する。
なお、図１１、図１４及び図１６では、光学的に等価になるように、反射ミラー６６（図８を参照）は、凸レンズに置き換えられている。また、図１１、図１４、及び図１６において、一点鎖線ＣＴは、結像レンズ７１の光軸を表している。

以下、表示部６０が、ユーザーの眼から所定距離内に配置されている状態を、「第１観察状態」という。
図１０は、第１〜第３観察状態のそれぞれにおける表示領域の違いを説明するための図である。第１観察状態では、表示部６０がユーザーの眼から所定距離内に配置されているので、表示パネル６３の全表示領域は、ユーザーから観察可能である。したがって、表示パネル６３は、この全表示領域に画像を表示させることができる。すなわち、表示パネル６３の全表示領域が、表示領域Ｓとなる。

以下、表示領域Ｓの横の長さを、Ｓｗと表記する。また。表示領域Ｓの縦の長さを、Ｓｈと表記する。また、以下では、一例として、Ｓｗは８００画素、Ｓｈは６００画素として説明を続ける。また、表示領域Ｔの縦の長さを、Ｔｈと表記する。また、表示領域Ｔの横の長さを、Ｔｗと表記する。また、表示領域Ｕの縦の長さを、Ｕｈと表記する。また、表示領域Ｕの横の長さを、Ｕｗと表記する。

図１１は、第１観察状態での観察範囲と撮像範囲を説明するための図である。観察範囲６７ａにユーザーの眼がある場合、ファインダー開口部６７を介して、ユーザーは、表示パネル６３の全表示領域に相当する表示領域Ｓを観察することができる。また、観察範囲６７ａは、反射ミラー６６（図１１では、凸レンズ）の光軸上では、ファインダー開口部６７から距離Ｐまでの範囲にある。一方、撮像素子７２が撮影することができる撮影範囲６７ｃは、観察範囲６７ａを含んでいる。つまり、撮像素子７２は、観察範囲６７ａにユーザーの眼がない場合でも、撮影範囲６７ｃにユーザーの眼があれば、ユーザーの眼を眉毛なども含めて撮像することができる。

図１２は、第１観察状態での撮像画像の一例を説明するための図である。図１２の略中心には、撮像素子７２によりユーザーの眼が撮像されている。この場合、図７（Ａ）を用いて説明したように、眼球照明ライト１６６ａ及び１６６ｂが点灯している。右眼観察形態の場合、図１２における＋Ｚ側が鉛直上方向、−Ｚ側が鉛直下方向、＋Ｘ側がユーザーの左側、−Ｘ側がユーザーの右側となる。なお、左眼観察形態の場合、表示部６０が１８０度反転されているので、右眼観察形態と比較して、眼の周辺画像は左右上下が反転することになる。

図１２において、符号６０１Ｒは、右眼の画像を示す符号であり、符号６０２Ｒは、右眉毛の画像を示す符号である。符号６０４Ａは、眼球照明ライト１６６ａ（図２を参照）による輝点の画像を示す符号であり、符号６０４Ｂは、眼球照明ライト１６６ｂ（図２を参照）による輝点の画像を示す符号である。また、符号Ｌ４１は、Ｘ軸方向におけるユーザーの眼の幅を示す符号である。例えば、第１観察状態において、撮像素子７２の解像度が、横方向（Ｘ軸方向）に６４０画素である場合、画像における眼の幅Ｌ４１は、３５０画素程度である。

図１２では、ユーザーの眼と眉毛の距離が幅Ｌ４１以下なので、撮像画像には、適切な範囲が撮像されているといえる。このように、ユーザーの眼を下側から撮影することは、有効である。
このように、第１観察状態では、ユーザーが正面を見る際、ファインダー開口部６７が邪魔にならない。また、後述するように、第１観察状態では、撮像素子７２による撮像画像に撮像された眉毛、目元及び眼球の動きに基づいて、頭部装着型情報入出力装置１は、ユーザーの視線方向を検出することができる。

以下、ユーザーの眼が、第１観測状態と比較して表示部６０から離れている状態を、「第２観察状態」という。
次に、第２観察状態について、図１０、図１３、及び図１４を用いて説明する。

図１３は、第２観察状態での撮像画像の一例を説明するための図である。符号６０１Ｒ１は、右眼の画像を示す符号であり、符号６０２Ｒ１は、右眉毛の画像を示す符号である。符号６０４Ｃは、眼球照明ライト１６６ａによる輝点の画像を示す符号であり、符号６０４Ｄは、眼球照明ライト１６６ｂによる輝点の画像を示す符号である。また、符号Ｌ７１は、Ｘ軸方向におけるユーザーの眼の幅を示す符号である。
第２観察状態では、ユーザーの眼が表示部６０から離れているので、第１観察状態よりも、ユーザーの眼の画像が小さく撮像される。撮像画像におけるユーザーの眼の幅Ｌ７１が、第１観察状態でのユーザーの眼の幅Ｌ４１以下（例えば、３００画素以下）である場合、頭部装着型情報入出力装置１は、ユーザーが表示部６０から眼を離していると判定する。

図１４は、第２観察状態での観察範囲と撮像範囲を説明するための図である。図１４では、ユーザーの眼ｅｙｅは、反射ミラー６６（図１４では、凸レンズ）の光軸上で、ファインダー開口部６７から距離Ｐ以上距離Ｐ２以内の位置に在り、第１観察状態での観察範囲６７ｂ（光軸上で、ファインダー開口部６７から距離Ｐ以内）には無い。このため、ユーザーは、表示領域Ｓ（図１０を参照）の一部しか観察することができない。

そこで、第２観察状態では、頭部装着型情報入出力装置１は、縮小率ηで縮小した画像を、表示領域Ｔ（図１０を参照）に表示させる。第２観察状態において、表示領域Ｔに表示される画像の縮小率η（第１観察状態との比率）は、次式（１）により示される。

η ＝ Ｌ７１／Ｌ４１ ・・・（１）

例えば、ユーザーの眼の幅Ｌ４１（図１２を参照）が３５０画素であるのに対して、Ｌ７１（図１３を参照）が２２０画素である場合、頭部装着型情報入出力装置１は、約０．６３倍（＝（Ｌ７１／Ｌ４１）＝（Ｔｈ／Ｓｈ）＝（Ｔｗ／Ｓｗ））に縦横をそれぞれ縮小した画像を、表示パネル６３の表示領域Ｔに表示させる。表示領域Ｔに表示された画像（光学像）の全体は、ファインダー開口部６７の縁に遮られることなく、ユーザーの眼に届く。なお、第２観察状態において、頭部装着型情報入出力装置１は、眼球照明ライト１６６の輝度を、第１観察状態でのその輝度と比較して高くしてもよい。

以下、表示部６０とユーザーの眼との相対位置が、第２観測状態と比較して左右いずれかの方向にずれている状態を、「第３観察状態」という。
次に、第３観察状態について、図１０、図１５、及び図１６を用いて説明する。
図１５は、第３観察状態での撮像画像の一例を説明するための図である。第３観察状態では、第２観察状態と比較して、ユーザーの眼の画像が、一例として、画像の中心付近から右下方向にベクトルＶ１だけずれて撮像されているとする。

符号６０１Ｒ２は、右眼の画像を示す符号であり、符号６０２Ｒ２は、右眉毛の画像を示す符号である。符号６０４Ｅは、眼球照明ライト１６６ａによる輝点の画像を示す符号であり、符号６０４Ｆは、眼球照明ライト１６６ｂによる輝点の画像を示す符号である。また、一点鎖線で示した６０５Ａは、ユーザーの眼の位置がずれていない場合に撮像される眼球の外形画像を表す。また、符号６０５Ｂは、ユーザーの眼が光軸中心にある場合の眼球の画像を表す。

図１６は、第３観察状態での観察範囲と撮像範囲を説明するための図である。図１６では、ユーザーの眼ｅｙｅは、観察範囲６７ｅ内、すなわち、ファインダー開口部６７から距離Ｐ以上離れ、且つ、光軸ＣＴから内側にＶ１のＸ成分量（＝Ｖ１ｘ）だけずれている位置に在る。観察範囲６７ｅに在るユーザーの眼は、第１観察状態での観察範囲６７ｂ（光軸上で、ファインダー開口部６７から距離Ｐ以内）には無いので、表示領域Ｓ（図１０を参照）の一部しか観察することができない。

そこで、第３観察状態では、頭部装着型情報入出力装置１は、ユーザーから表示画像の全体が観察できるように、所定の縮小率（＝（Ｕｈ／Ｓｈ）＝（Ｕｗ／Ｓｗ））で画像を縮小する。また、頭部装着型情報入出力装置１は、この縮小した画像を、表示領域Ｕ（図１０を参照）に表示させる。ここで、頭部装着型情報入出力装置１は、表示領域Ｓ（図１０を参照）における表示領域Ｕの位置を、ユーザーの眼の位置ずれ量及び方向に応じて定める。第３観察状態では、表示領域Ｕは、表示領域Ｓの右上に定められている。

ここで、結像レンズ７１及び撮像素子７２から成る撮像系の記録画素数は、例えば、横６４０画素、縦４８０画素であるとする。また、結像レンズ７１及び撮像素子７２から成る撮像系の画角は、横６０度、縦４５度であるとする。この場合、１画素当たりの画角は、約０．０９４度となる。

したがって、ユーザーの眼の位置の水平方向のずれ量（ベクトルＶ１のＸ成分量）が、例えば、５０画素であれば、ユーザーの眼の位置は、４．７度（＝５０画素×０．０９４度）ほどずれていることになる。表示領域Ｓ（図１０を参照）の水平方向（Ｓｗ：８００画素）の視界角が、例えば、３５度であれば、頭部装着型情報入出力装置１は、表示パネル６３の中心から、１０８画素分（＝Ｓｗ×４．７度÷３５度）だけ、水平方向右に表示領域Ｕの位置を定める。頭部装着型情報入出力装置１は、垂直方向についても同様に、所定画素数だけずらした位置に表示領域Ｕを定める。

図１５及び図１６では、頭部装着型情報入出力装置１は、表示領域Ｕの水平方向Ｕｗが５００画素、縦方向Ｕｈが３７５画素となるまで画像を縮小し、表示領域Ｓの中心から水平方向右に１０８画素、且つ、ベクトルＶ１のｚ成分量（＝Ｖ１ｚ）に対応する前記所定画素数だけ垂直方向上にずらした位置に、表示領域Ｕ（図１０を参照）を定める。表示領域Ｕには、表示領域Ｕと同じ縮小率で縮小された画像が表示される。これにより、ユーザーの眼ｅｙｅが光軸上からずれた場合でも、頭部装着型情報入出力装置１は、画像の全体が見えるよう、その画像を表示することができる。

頭部装着型情報入出力装置１は、撮像画像から、例えば、眼の輪郭の画像を抽出し、抽出した眼の輪郭の画像の位置に基づいて、眼の位置ずれ量及び方向（ベクトルＶ１）を検出する。ここで、眼の位置ずれ量及び方向の検出は、撮像画像から眼球の画像を抽出し、抽出した眼球の輪郭画像のずれ量に基づいて、その眼の位置ずれ量及び方向を検出してもよい。また、頭部装着型情報入出力装置１は、眼球照明ライトＬＥＤ１６６ａ〜１６６ｄ（図２を参照）を適宜点灯させ、それらの眼球照明ライトが投射した光によるスポットを、ユーザーの眼球上で測定することで、ベクトルＶ１を検出するようにしてもよい。

上述したように、ユーザーの眼が表示部６０から離れている、又は、光軸からずれている場合でも、頭部装着型情報入出力装置１では、ユーザーと表示部６０との位置関係に応じて、ユーザーが画像の全領域を観察可能となるように、表示部６０に画像を表示することができる。なお、表示領域を定めるタイミングは、表示画面をシースルーにするか否かの判定を実行するタイミング（後述）の前後のいずれでもよい。

次に、右眼観察形態と左眼観察形態との切り替えに伴う、撮像素子７２の設置角度の調整について説明する。
図１７は、本実施形態に係る撮像素子７２の画角と選択範囲を説明するための図である。図１７（Ａ）は、右眼観察形態における撮像素子７２の画角と選択範囲を説明するための図である。図１７（Ｂ）は、左眼観察形態における撮像素子７２の画角と選択範囲を説明するための図である。なお、図１７（Ａ）及び図１７（Ｂ）では、第１ヘッドバンド４３、第２ヘッドバンド４４、装置本体部２１等は、図示が省略されている。

図１８は、本実施形態に係る撮像領域と選択領域を説明するための図である。図１８（Ａ）は、ヘッドバンドヒンジ３２（図２を参照）が揺動された場合における、撮像素子７２（図３を参照）による撮像領域を説明するための図である。また、図１８（Ｂ）は、撮像領域から選択された選択領域を説明するための図である。ここで、符号Ｐは、撮像素子７２が撮像可能な範囲を示す符号である。また、撮像素子７２は、例えば、４対３のアスペクト比を有する。

右眼観察形態の場合、第１表示モード（図５（Ａ）を参照）では、撮像素子７２は、撮像領域のアスペクトが縦長になるように、表示部６０内に設けられている。この場合、撮像素子７２は、図１７（Ａ）及び図１８（Ｂ）に示すように、符号Ｐで示した領域（以下、「撮像領域Ｐ」という）のうち、符号Ｑで示された領域（以下、「選択領域Ｑ」という）に撮像される範囲のみの画像データを取り込む。これにより、撮像素子７２は、右眼観察形態において、眉毛まで含めて右眼の画像データを適切に取り込むことができる。

一方、左眼観察形態の場合、第１表示モード（図５（Ｂ）を参照）では、撮像素子７２は、撮像領域のアスペクトが縦長になるように、表示部６０内に設けられている。この場合、撮像素子７２は、図１７（Ｂ）及び図１８（Ｂ）に示すように、撮像領域Ｐのうち、符号Ｒで示された領域（以下、「選択領域Ｒ」という）に撮像される範囲のみの画像データを取り込む。これにより、撮像素子７２は、左眼観察形態において、眉毛まで含めて左眼の画像データを適切に取り込むことができる。

また、頭部装着型情報入出力装置１は、右眼観察形態又は左眼観察形態のいずれであるかを、加速度センサーが検出した加速度を示す検出値（後述）の代わりに、撮像素子７２による撮像画像に基づいて適切に判定することができる。

図１９は、本実施形態に係る選択範囲の選択を機械的に行う機構を説明するための図である。撮像素子７２の本体７２ａには、回転軸７２ｂが固定されている。この回転軸７２ｂに対しては、ダイヤル７２ｃが設けられている。ユーザーは、ダイヤル７２ｃを回動可能範囲で回動（図１９では、Ｄ方向）にさせることで、回転軸７２ｂを軸として、撮像素子７２をチルトさせることができる。

結像レンズ７１が上を向く方向にチルトされた場合、選択領域Ｑ（図１８（Ｂ）を参照）は、撮像領域Ｐにおける上側の領域に定められる。これにより、撮像素子７２は、ユーザーの眼及び眉毛を、撮像領域Ｑで撮像することができる。一方、結像レンズ７１の下を向く方向にチルトされた場合、選択領域Ｒ（図１８（Ｂ）を参照）は、撮像領域Ｐの下側の領域に定められる。これにより、撮像素子７２は、ユーザーの眼及び眉毛を、撮像領域Ｒで撮像することができる。

なお、頭部装着型情報入出力装置１は、ダイヤル７２ｃにより、撮像領域Ｑ又は選択領域Ｒの位置を微調節することも可能である。また、撮像素子７２による撮像画像が表示部６０に表示された場合、ユーザーは、表示部６０に表示されている撮像画像を観察しながら、表示部６０と眼の位置関係に応じて、撮像素子７２の撮像領域を選択することができる。この結果、頭部装着型情報入出力装置１は、範囲が適切になるよう撮像された撮像画像を用いて、頭部装着型情報入出力装置１の位置合わせ（後述）、及び注視点検出のためのキャリブレーションの精度を高めることができる。

次に、頭部装着型情報入出力装置１の機能ブロックについて説明する。
図２０は、頭部装着型情報入出力装置１の機能ブロック図である。
頭部装着型情報入出力装置１には、処理部１２３を中心として種々の電気回路が備えられている。処理部１２３は、ＣＰＵ（中央演算装置：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、頭部装着型情報入出力装置１の各種回路と接続されるとともに、頭部装着型情報入出力装置１を総合的に制御する。

バッテリー３３は、電力を電源回路１２０に供給する。
電源回路１２０は、バッテリー３３から供給された電力を、処理部１２３の制御により頭部装着型情報入出力装置１の各部に供給する。

本実施形態の場合、処理部１２３には、エンコーダー１２９及びデコーダー１２１、電源回路１２０、操作スイッチ３０、フラッシュメモリー１２２、ＢＬドライバ１２６、ＢＴ通信回路１３０、ＷｉＦｉ通信回路１３１、加速度センサー１３２、地磁気センサー１３３、前方ライト６８、３Ｇ／ＬＴＥ通信回路１３８、レーザー発信器７３、角速度センサー１３４、ＧＰＳセンサー１３５、温湿度センサー１３６、心拍数センサー１３７、メモリー１２７、メインスイッチ２８、タッチスイッチ３４、眼球照明ライト１６６ａ〜１６６ｄ、及び、ヘッドバンドセンサー１５１が接続されている。

エンコーダー１２９は音声信号及び画像信号を所定方式の音声データ及び画像データにエンコード（符号化）する。エンコーダー１２９には、カメラ６４、撮像素子７２、集音マイク２４、通話マイク３７、オーディオコネクター２６、ビデオコネクター２７が接続されている。

エンコーダー１２９には、集音マイク２４及び通話マイク３７から入力される音声信号、カメラ６４から入力される画像信号、オーディオコネクター２６から入力される音声信号、ビデオコネクター２７から入力される画像信号、及び、眼の周辺画像を撮影する撮像素子７２の画像信号が入力される。エンコーダー１２９に入力された音声信号及び画像信号は音声データ及び画像データにエンコードされた後、処理部１２３に入力される。入力された音声データ及び画像像データは、処理部１２３による再生動作に用いられたり、フラッシュメモリー１２２に記録される。

デコーダー１２１は、音声データ及び画像データを音声信号及び画像信号にデコード（復号化）する。デコーダー１２１には、ＬＣＤドライバ１２５、スピーカーアンプ１６２、オーディオコネクター２６、及びビデオコネクター２７が接続されている。ＬＣＤドライバ１２５は液晶パネル用の駆動制御装置であり、表示パネル３６及び表示パネル６３に接続されている。スピーカーアンプ１６２は音声信号を増幅してスピーカーに出力する装置であり、耳元スピーカー２３及び前方スピーカー７０に接続されている。

画像データを再生する場合、フラッシュメモリー１２２に記録された画像データ、あるいはエンコーダー１２９から入力される画像データは、処理部１２３を介してデコーダー１２１に入力される。デコーダー１２１に入力された画像データは、画像信号にデコードされた後、ＬＣＤドライバ１２５を介して表示パネル３６、６３に供給される。そして、画像信号が入力された表示パネル３６又は表示パネル６３に画像データに基づく画像が表示される。また、デコーダー１２１からビデオコネクター２７に出力される画像信号は、ビデオコネクター２７を介して外部機器に出力される。

また画像の表示に際して、処理部１２３は、必要に応じて表示パネル３６用のバックライト３５、及び表示パネル６３用のバックライト６２を点灯させる。ＢＬドライバ１２６は、バックライト用の駆動制御装置であり、バックライト３５及びバックライト６２に接続されている。処理部１２３は、ＢＬドライバ１２６に駆動信号を送信し、ＢＬドライバ１２６はバックライト３５、６２を個々に点灯させる。

音声データを再生する場合、フラッシュメモリー１２２に記録された音声データ、あるいはエンコーダー１２９から入力される音声データは、処理部１２３を介してデコーダー１２１に入力される。デコーダー１２１に入力された音声データは、音声信号にデコードされた後、スピーカーアンプ１６２を介して耳元スピーカー２３及び前方スピーカー７０のいずれか一方、又は両方に出力される。そして、音声信号を入力された耳元スピーカー２３又は前方スピーカー７０から音声が出力される。また、デコーダー１２１からオーディオコネクター２６に出力される音声信号は、オーディオコネクター２６を介してステレオイヤホン１００に出力される。

本実施形態の場合、耳元スピーカー２３及び前方スピーカー７０は、モノラル音声の使用を想定しており、耳元スピーカー２３及び前方スピーカー７０からは左右の音声信号が合成された音が発せられる。

一方、ステレオイヤホン１００に音声信号が出力される場合、第１スピーカー１０３及び第２スピーカー１０４のそれぞれ左チャンネル又は右チャンネルの音が出力される。ここで、本実施形態の頭部装着型情報入出力装置１は左右両用であるため、装着位置に応じてステレオイヤホン１００への音声信号のチャンネルが切り替わる。すなわち、ディスプレイ本体２０が右眼に装着されている場合には、第１スピーカー１０３に右チャンネル、第２スピーカー１０４に左チャンネルの音が出力される。ディスプレイ本体２０が左眼に装着されている場合には第１スピーカー１０３に左チャンネル、第２スピーカー１０４に右チャンネルの音が出力される。

メモリー１２７には、処理部１２３によって実行される制御プログラムが記憶されている。
全体の電源のオンオフを行うメインスイッチ２８や、画面内でのポインティング操作を行うための操作スイッチ３０、あるいはタッチ操作により各種操作を行うタッチスイッチ３４がユーザーにされると、これらのスイッチから操作に基づく制御信号が処理部１２３へ出力される。処理部１２３は、制御信号により操作を検出し、上記の制御プログラムに規定された動作を実行する。

ＢＴ通信回路１３０は、他の機器とのＢｌｕｅｔｏｏｔｈ（登録商標）通信を行うための通信回路である。ＷｉＦｉ通信回路１３１は、他の機器との無線ＬＡＮ通信（ＩＥＥＥ ８０２．１１）を行うための通信回路である。３Ｇ／ＬＴＥ通信回路１３８は、他の機器との移動通信を行うための通信回路である。

加速度センサー１３２は、頭部装着型情報入出力装置１の傾き検出に用いられる。加速度センサー１３２は、例えば３軸センサーであり、重力加速度を検出する。加速度センサー１３２は、例えば、装置本体部２１内に取り付けられている。

以下、加速度センサー１３２の座標は、地表に直立したユーザーが頭部装着型情報入出力装置１を頭に装着している場合における、ユーザーにとっての上下方向をＺ軸方向、左右方向をＸ軸方向、前後方向をＹ軸方向とする。また、加速度センサー１３２は、右眼観察形態の場合にＺ軸方向の検出値が負値となり、左眼観察形態の場合にＺ軸方向の検出値が正値となるように、取り付けられている。

地磁気センサー１３３は、頭部装着型情報入出力装置１の方角検出に用いられる。角速度センサー（ジャイロセンサー）１３４は、頭部装着型情報入出力装置１の回転検出に用いられる。ＧＰＳセンサー１３５は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）を利用した測位検出に用いられる。温湿度センサー１３６は、環境の温度、湿度の検出に用いられる。心拍数センサー１３７は、ユーザーの頬に接触し、ユーザーの心拍数を検出する。

図２１は、本実施形態に係る処理部１２３の機能ブロック図である。処理部１２３は、入力検出部３０１、制御部３０２、記憶部３０３、眼球照明部３０４、音声調整部３０５、画像切替部３０６、画像表示部３０７、及び送受信部３０８を備えている。図２１では、ＷｉＦｉ通信回路１３１及び３Ｇ／ＬＴＥ通信回路１３８（図２０を参照）を、「通信インタフェース（１３１、１３８）」と総称する。

入力検出部３０１は、タッチスイッチ３４上で行われた操作の種類を判別し、判別した結果に基づく制御信号を、制御部３０２、画像切替部３０６、及び送受信部３０８に出力する。タッチスイッチ３４上で行われた操作の種類とは、発信の指示、及び受信の指示等である。入力検出部３０１は、タッチスイッチ３４上の所定の領域がタッチされた場合、タッチされた領域に基づいて、これらの操作の種類を判別する。

制御部３０２は、加速度センサー１３２が検出した検出値、及び撮像素子７２による撮像画像の少なくとも一方に基づいて、右眼観察形態又は右眼観察形態を判別する。ここで、制御部３０２は、撮像素子７２による撮像画像については、例えば、眉毛と眼との相対位置、瞬きでの瞼の挙動、眉毛の輪郭、眼の輪郭、眼の左右の目尻の下がり方等に基づいて、撮像画像に映っているユーザーの眼が、左右どちらの眼の画像であるか（右眼観察形態又は右眼観察形態）を判別する。

制御部３０２は、判別した結果に基づいて、眼球照明ライト１６６の点灯及び消灯を制御する。また、制御部３０２は、判別した結果に基づいて、オーディオコネクター２６に接続されているステレオイヤホン１００に出力する音声を制御する。また、制御部３０２は、判別した結果に基づいて、表示部６０から投影する画像を制御する。

制御部３０２は、入力検出部３０１が出力する制御信号と、撮像画像とに基づいて、注視点検出のためのキャリブレーション（補正）を行う。制御部３０２は、注視点検出のためのキャリブレーションにより生成した関係式、及び情報を、記憶部３０３に記憶させる。以下、この生成した関係式、及び情報を、「視線に基づいて操作するためのパラメータ」という。

制御部３０２は、表示部６０の配置が適切であるか否かを、撮像画像に基づいて判別する。制御部３０２は、ユーザーの顔に対する表示部６０の相対位置が適切でない場合、表示部６０を適切な方向にずらすようにアナウンスする音声を、音声調整部３０５を介して耳元スピーカー２３から出力させる。

制御部３０２は、ディスプレイ本体２０がヘッドバンド４０に装着されているか否か、すなわち、ディスプレイ本体２０がユーザーの頭部の近傍に装着されているか否かを、ヘッドバンドセンサー１５１からの入力信号に基づいて判定する。

記憶部３０３には、制御部３０２が生成した、視線に基づいて操作するためのパラメータが記憶されている。

眼球照明部３０４は、制御部３０２の制御に基づいて、眼球照明ライト１６６ａ〜１６６ｄを、点灯または消灯させるように駆動する。

音声調整部３０５には、エンコーダー１２９が出力する音声データ（頭部装着型情報入出力装置１のユーザーの音声データ）、送受信部３０８が出力する受信信号が入力される。音声調整部３０５は、送受信部３０８が出力する受信信号から、他の端末のユーザーの音声データ（以下、他端末の音声データともいう）を抽出する。音声調整部３０５は、制御部３０２が出力する装着状態を示す情報に基づいて、エンコーダー１２９が出力する音声データ（頭部装着型情報入出力装置１のユーザーの音声データ）、又は、他の端末のユーザーの音声データに基づく音声を、ステレオイヤホン１００の左右どちらのスピーカーに出力するのかを選択し、左右のスピーカーの各音量等を調整する。

画像切替部３０６は、入力検出部３０１が出力した制御信号に基づき、フラッシュメモリー１２２から読み出した画像データ、またはエンコーダー１２９が出力した画像データを取得する。画像切替部３０６は、取得した画像データの表示モードを、制御部３０２が出力した装着状態を示す情報に基づいて切り替え、切り替えた表示モードで、画像データを画像表示部３０７に出力する。ここで、表示モードとは、例えば、第１表示モード又は第２表示モードである。

画像切替部３０６は、送受信部３０８が出力した受信信号から、画像切替信号を抽出する。画像切替部３０６は、画像切替信号が抽出できた場合、抽出した画像切替信号に基づき、フラッシュメモリー１２２から読み出した画像データ、またはエンコーダー１２９が出力した画像データを、画像表示部３０７に出力する。また、画像切替部３０６は、入力検出部３０１が出力した制御信号に基づき、エンコーダー１２９から出力された画像データ、またはフラッシュメモリー１２２から読み出した画像データの解像度を変換し、変換した画像データを画像表示部３０７に出力する。
画像切替部３０６は、パスワード設定画面、及びメニュー画面等を、制御部３０２の指示に応じて表示パネル６３に表示させる。

画像表示部３０７には、画像切替部３０６が出力した画像データが入力される。画像表示部３０７は、入力されたこれらの画像データに基づき、表示パネル６３に表示する画像データを生成する。画像表示部３０７は、生成した画像データを、送受信部３０８、ビデオコネクター２７、及びＬＣＤドライバ１２５に出力する。

送受信部３０８は、入力検出部３０１が出力した制御信号に基づき、画像表示部３０７が出力した画像データを、通信インタフェース（１３１、１３８）を介して送信する。送受信部３０８は、通信インタフェース（１３１、１３８）を介して受信した受信信号を、画像切替部３０６に出力する。

このように、頭部装着型情報入出力装置（頭部装着型情報入出力装置１）は、画像を表示する表示部６０（表示パネル６３）と、ユーザーの眼の近傍に表示部を保持する保持部と、表示部６０に設けられ、ユーザーの眼の近傍（予め定められた距離内）を照明する複数の照明部（眼球照明ライト１６６）と、ユーザーと表示部６０との位置関係に応じて、複数の照明部の点灯状態を制御する制御部（制御部３０２）と、を備える。

この構成により、ユーザーの視線に基づいて操作するためのパラメータを事前に取得する場合、又は、ユーザーの視線に基づいて操作する場合、表示部６０がユーザーの両眼に対して外側に配置されていても、ユーザーの眼には、光線が照射される。これにより、ユーザーの眼の左側、右側、下側又は上側に表示部を配置された場合でも、頭部装着型情報入出力装置は、ユーザーの視線（ユーザーが観察している画面上の位置）を検出することができる。

なお、ユーザーの眼の近傍に表示部６０を保持する保持部には、ヘッドパット４６、ヘッドバンド４０、連結ピン４１、ディスプレイ本体２０、及び、ディスプレイ本体２０の連結孔３１等が含まれる。

図２２は、非シースルーモードでのメニュー画面の一例を示す図である。非シースルーモードでは、メニュー画面４００の表示内容の一例として、９個のアイコン画像（アイコン画像４７１〜アイコン画像４７９）が、メニュー画面４００の全体に表示される。アイコン画像４７１〜アイコン画像４７９には、プログラム（アプリケーション）が、それぞれ対応付けられている。例えば、アイコン画像４７１は、動画を撮像するプログラムを起動するためのアイコン画像でもよい。

なお、メニュー画面４００は、例えば、処理部１２３（図２０を参照）の制御を司るＯＳ（オペレーティングシステム）により各種設定を実行するためのメニュー画面でもよい。ここで、各種設定を実行するためのメニュー画面とは、例えば、表示パネル６３（図８を参照）の輝度調整及びコントラスト調整、日時設定、スタンバイ状態にするか否かの設定等の各種設定ボタンが表示されている画面である。また、各種設定ボタンは、アイコン画像でもよいし、操作キーの画像でもよい。

また、メニュー画面４００に表示されたアイコン画像に対応付けられたプログラムは、頭部装着型情報入出力装置１（図１を参照）により実行されるプログラムに限られなくてもよい。例えば、当該プログラムは、頭部装着型情報入出力装置１の通信先である他のＨＭＤ又はコンピュータにより実行されるプログラムでもよい。また、当該プログラムは、インターネット等のネットワーク上で実行されるウェブアプリケーション（Ｗｅｂ Ａｐｐｌｉｃａｔｉｏｎ Ｓｏｆｔｗａｒｅ）でもよい。

図２３は、シースルーモードでのメニュー画面の一例を示す図である。シースルーモードでは、非シースルーモードと比較して縮小された９個のアイコン画像（アイコン画像４７１〜アイコン画像４７９）が、例えば、メニュー画面４００の下側（図９に示された液晶９３ａに対応する領域）に表示される。ここで、ユーザーの視界を効果的に確保するため、アイコン画像は、低コントラストに表示されてもよい。

図２４は、シースルーモードでユーザーが画面下に視線を振った場合でのメニュー画面の一例を示す図である。図２４では、アイコン画像４７１〜アイコン画像４７９は、高コントラスト表示されている。また、ユーザーが見ているアイコン画像４７２は、強調表示（例えば、太枠を追加した表示）されている。また、液晶９３の液晶９３ａ（図９を参照）がオフ状態にされることにより、アイコン画像４７１〜アイコン画像４７９の背景は、暗く遮光される。

なお、液晶９３がユーザーの眼の近傍に配置され、且つ、液晶９３とユーザーの眼との間に拡大光学系が配置されていないため、液晶９３の輪郭は、光学特性上、ユーザーには明瞭に見えない。また、右眼観察形態（図５（Ａ）を参照）から、左眼観察形態（図５（Ｂ）を参照）に変更された場合、処理部１２３が、液晶９３aの代わりに液晶９３ｃをオン状態とすることにより、アイコン画像４７１〜アイコン画像４７９の背景は、暗く遮光される。

次に、処理部１２３の動作手順の例を説明する。
図２５は、頭部装着型情報入出力装置の動作手順の例を示すフローチャートである。
（ステップＳ１）処理部１２３（図２０を参照）は、ディスプレイ本体２０（図１を参照）がヘッドバンド４０に装着されているか否か、すなわち、ディスプレイ本体２０がユーザーの頭部の近傍に装着されているか否かを判定する。

ここで、処理部１２３は、ヘッドバンドセンサー１５１からの入力信号に基づいて、ディスプレイ本体２０がユーザーの頭部の近傍に装着されているか否かを判定する。また、処理部１２３は、心拍数センサー１３７により測定されたユーザーの頭部（頬部）の心拍に基づいて、ディスプレイ本体２０がユーザーの頭部の近傍に装着されているか否かを判定してもよい。

ディスプレイ本体２０がユーザーの頭部の近傍に装着されている場合（ステップＳ１：Ｙｅｓ）、処理部１２３は、ステップＳ２に処理を進める。一方、ディスプレイ本体２０がユーザーの頭部の近傍に装着されていない場合（例えば、ユーザーが頭部装着型情報入出力装置１を手で保持している場合）（ステップＳ１：Ｎｏ）、処理部１２３は、ステップＳ１３に処理を進める。

（ステップＳ２）処理部１２３は、ユーザーの視界を確保するため、液晶９３（図９を参照）をシースルーモードにする。具体的には、処理部１２３は、液晶９３の全領域に通電してオン状態にすることで、光束Ｏ（図８を参照）が液晶９３を透過するようにする。

（ステップＳ３）処理部１２３は、ユーザーの周囲環境の明るさが所定値以上であるか否かを、カメラ６４（図２０を参照）の出力レベルに基づいて判定する。ユーザーの周囲環境（例えば、屋外）の明るさが所定値以上である場合（ステップＳ３：Ｙｅｓ）、処理部１２３は、ステップＳ４に処理を進める。一方、ユーザーの周囲環境（例えば、屋内）の明るさが前記所定値以上でない場合（ステップＳ３：Ｎｏ）、処理部１２３は、ステップＳ５に処理を進める。

（ステップＳ４）処理部１２３は、画面の全領域に対応する液晶９３の液晶９３ａ〜液晶９３ｅ（図９を参照）に通電する電圧を、所定電圧だけ下げることで、電圧が下げられた液晶９３における光束Ｏ（図８を参照）の透過率を低下させる。これにより、処理部１２３は、ユーザーの視界を暗くして、メニュー画面を見やすくすることができる。なお、例えば、空だけが明るい場合、処理部１２３は、液晶９３ｃに通電する電圧を所定電圧だけ下げることで、液晶９３ｃにおける光束Ｏの透過率を低下させ、メニュー画面を部分的に暗くしてもよい。

（ステップＳ５）処理部１２３は、シースルーモードでのメニュー画面４００（図２３を参照）を、表示部６０に表示させる。シースルーモードでは、非シースルーモードと比較して縮小されたアイコン画像が、メニュー画面４００の下側に表示される。ここで、ユーザーの視界を効果的に確保するため、アイコン画像は、低コントラストに表示されてもよい。これにより、アイコン画像は、ユーザーの視界を隠すことなく、目障りになることがない。

（ステップＳ６）処理部１２３は、撮像素子７２が撮像したユーザーの眼の画像に基づいて、ユーザーの視線を検出する。また、処理部１２３は、ユーザーの視線がいずれかのアイコン画像上に在るか否か、すなわち、ユーザーがいずれかのアイコン画像を見ているか否かを、ユーザーの視線に基づいて判定する。ユーザーがいずれかのアイコン画像を見ている場合（ステップＳ６：Ｙｅｓ）、処理部１２３は、ステップＳ７に処理を進める。一方、ユーザーがいずれかのアイコン画像も見ていない場合（ステップＳ６：Ｎｏ）、処理部１２３は、ステップＳ１１に処理を進める。

（ステップＳ７）処理部１２３は、ユーザーが見ているアイコン画像４７２（図２４を参照）を、表示部６０（図１を参照）に強調表示させる。ここで、強調表示とは、例えば、太枠を追加した表示である。なお、処理部１２３は、ユーザーが操作スイッチ３０（図２を参照）を操作することにより選択したアイコン画像を、表示部６０に強調表示させてもよい。

（ステップＳ８）処理部１２３は、液晶９３の液晶９３ａ（図９を参照）をオフ状態にすることで、アイコン画像４７１〜アイコン画像４７９の背景を暗くさせる。すなわち、処理部１２３は、アイコン画像４７１〜アイコン画像４７９の背景を、非シースルーにする。また、処理部１２３は、アイコン画像４７１〜アイコン画像４７９を、表示部６０に高コントラスト表示させる。これにより、ユーザーは、アイコン画像４７１〜アイコン画像４７９を見やすくなる。

（ステップＳ９）処理部１２３は、撮像素子７２（図２０を参照）が撮像したユーザーの眼の画像に基づいて、所定時間にユーザーが眼を２回瞬きしたか否かを判定する。ここで、前記所定時間にユーザーが眼を２回瞬きしたことが、ユーザーが見ているアイコン画像に対応するプログラム（アプリケーション）を起動させる指示であることは、予め定められているものとする。前記所定時間にユーザーが眼を２回瞬きした場合（ステップＳ９：Ｙｅｓ）、処理部１２３は、ステップＳ１０に処理を進める。一方、前記所定時間にユーザーが眼を２回瞬きしていない場合（ステップＳ９：Ｎｏ）、処理部１２３は、ステップＳ６に処理を戻す。

（ステップＳ１０）処理部１２３は、ユーザーが見ているアイコン画像に対応するプログラム（アプリケーション）を起動させて実行する。
（ステップＳ１１）処理部１２３は、アイコン画像の強調表示を解除する。
（ステップＳ１２）処理部１２３は、液晶９３の液晶９３ａ（図９を参照）をオン状態にすることで、アイコン画像４７１〜アイコン画像４７９の背景を元に戻す。すなわち、処理部１２３は、アイコン画像４７１〜アイコン画像４７９の背景を、シースルーにする。処理部１２３は、ステップＳ１に処理を戻す。

（ステップＳ１３）処理部１２３は、ユーザーの頭部が急に移動若しくは回転したか否か（ユーザーの周囲で何らかの変化があったか否か）を、加速度センサー１３２（図２０を参照）が検出した加速度を示す検出値に基づいて判定する。また、処理部１２３は、ディスプレイ本体２０（図１を参照）が移動中であるか否かを、ＧＰＳセンサー１３５（図２０を参照）の出力値に基づいて判定する。

ここで、ディスプレイ本体２０が移動中である場合とは、例えば、ヘッドバンド４０から外されたディスプレイ本体２０が、ユーザーの手に持たれている状態、又はポケットなどに入れられている状態で、ユーザーと共に移動中である場合である。この場合、メニュー画面４００（図２２を参照）が非シースルーモードで表示されていることにより、ユーザーの視界が遮られているとしても、ユーザーは、例えば、何らかの緊急の場合に、手に持っているディスプレイ本体２０を視界からすぐに外し、視野を確保することができる。したがって、処理部１２３は、頭部装着型情報入出力装置１の使い勝手を低下させることがない。

ディスプレイ本体２０が移動中である、又は、ユーザーの頭部が急に移動若しくは回転した場合（ステップＳ１３：Ｙｅｓ）、処理部１２３は、ステップＳ２に処理を戻す。一方、ディスプレイ本体２０が移動中でない、且つ、ユーザーの頭部が急に移動若しくは回転していない場合（ステップＳ１３：Ｎｏ）、処理部１２３は、ステップＳ１４に処理を進める。

（ステップＳ１４）処理部１２３は、液晶９３（図９を参照）を非シースルーモードにする。具体的には、処理部１２３は、液晶９３の全領域をオフ状態にすることで、光束Ｏ（図８を参照）が液晶９３を透過しないようにする。
（ステップＳ１５）処理部１２３は、非シースルーモードでのメニュー画面４００（図２２を参照）を、表示部６０に表示させる。非シースルーモードでは、シースルーモードと比較して拡大されたアイコン画像が、メニュー画面４００の全面に表示される。

（ステップＳ１６）処理部１２３は、撮像素子７２が撮像したユーザーの眼の画像に基づいて、ユーザーの視線を検出する。また、処理部１２３は、ユーザーの視線がいずれかのアイコン画像上に在るか否か、すなわち、ユーザーがいずれかのアイコン画像を見ているか否かを、ユーザーの視線に基づいて判定する。ユーザーがいずれかのアイコン画像を見ている場合（ステップＳ１６：Ｙｅｓ）、処理部１２３は、ステップＳ１７に処理を進める。一方、ユーザーがいずれかのアイコン画像も見ていない場合（ステップＳ１６：Ｎｏ）、処理部１２３は、ステップＳ２０に処理を進める。

（ステップＳ１７）処理部１２３は、ユーザーが見ている（選択している）アイコン画像４７２（図２４を参照）を、表示部６０（図１を参照）に強調表示させる。ここで、強調表示とは、例えば、太枠を追加した表示である。

（ステップＳ１８）処理部１２３は、撮像素子７２（図２０を参照）が撮像したユーザーの眼の画像に基づいて、所定時間にユーザーが眼を２回瞬きしたか否かを判定する。ここで、前記所定時間にユーザーが眼を２回瞬きしたことが、ユーザーが見ているアイコン画像に対応するプログラム（アプリケーション）を起動させる指示であることは、予め定められているものとする。前記所定時間にユーザーが眼を２回瞬きした場合（ステップＳ１８：Ｙｅｓ）、処理部１２３は、ステップＳ１９に処理を進める。一方、前記所定時間にユーザーが眼を２回瞬きしていない場合（ステップＳ１８：Ｎｏ）、処理部１２３は、ステップＳ１６に処理を戻す。

（ステップＳ１９）処理部１２３は、ユーザーが見ている（選択した）アイコン画像に対応するプログラム（アプリケーション）を起動させて実行する。
（ステップＳ２０）処理部１２３は、アイコン画像の強調表示を解除する。また、処理部１２３は、ステップＳ１３に処理を戻す。

以上のように、頭部装着型情報入出力装置１は、光の透過率が液晶９３（図９を参照）により可変である画面（ファインダー開口部６７）に、画像を表示する表示部６０と、表示部６０の状態を検出する検出部（例えば、撮像素子７２、カメラ６４、加速度センサー１３２、角速度センサー１３４、ＧＰＳセンサー１３５、心拍数センサー１３７、ヘッドバンドセンサー１５１）と、表示部６０の状態に応じて前記画面の前記透過率を定め、前記透過率を前記所定閾値以上に定めた場合、第１表示パターン（図２３を参照）により前記画面に画像を表示させ、前記透過率を前記所定閾値未満に定めた場合、第２表示パターン（図２２を参照）により前記画面に画像を表示させる処理部１２３と、を備える。

この構成により、処理部１２３は、表示部６０の状態に応じて、前記画面の前記透過率を定める。すなわち、処理部１２３は、頭部装着型情報入出力装置１の使用状態に応じて、シースルーモードと非シースルーモードとを切り替える。また、処理部１２３は、定めた透過率に応じて、画像の表示パターン（表示内容）を切り替える。これにより、頭部装着型情報入出力装置１は、使い勝手を向上させることができる。例えば、頭部装着型情報入出力装置１は、頭部装着型情報入出力装置１の使用状態に応じて、ユーザーの視界を確保しつつ、メニュー画面を表示することができる。

また、表示部６０は、液晶９３（図９を参照）により、前記画面の部分領域毎に、前記透過率が可変であり、処理部１２３は、前記第１表示パターン（図２３を参照）により前記画面に画像を表示させる場合、前記第１表示パターンに対応する前記部分領域における前記透過率を低下させる（図２４を参照）。
この構成により、頭部装着型情報入出力装置１は、画面の部分領域を、非シースルーモードに切り替える。これにより、頭部装着型情報入出力装置１は、見やすいメニュー画面を提供することができる。

また、前記検出部（例えば、撮像素子７２、処理部１２３）は、前記部分領域にユーザーの視線が向けられているか否かを検出し、処理部１２３は、前記部分領域にユーザーの視線が向けられている場合、前記部分領域における、前記透過率、又は前記画像のコントラストを変更する（図２４を参照）。

また、前記検出部（例えば、心拍数センサー１３７）は、表示部６０とユーザーの頭部との位置関係を、表示部６０の状態として検出する。

また、前記検出部（例えば、ヘッドバンドセンサー１５１）は、表示部６０を装着するための装着部（例えば、連結ピン４１）と表示部６０とが結合しているか否かを、表示部６０の状態として検出する。
また、前記検出部（例えば、カメラ６４、加速度センサー１３２、角速度センサー１３４、ＧＰＳセンサー１３５）は、例えば、ユーザーの頭部に装着された表示部６０の移動又は回転を、表示部６０の状態として検出する。

また、頭部装着型情報入出力装置１は、光の透過率が液晶９３（図９を参照）により可変である画面（ファインダー開口部６７）に、画像を表示する表示部６０と、表示部６０の状態を検出する検出部（例えば、ヘッドバンドセンサー１５１、加速度センサー１３２、角速度センサー１３４、及び、ＧＰＳセンサー１３５）と、表示部６０の状態に応じて、前記画面の前記透過率を定める処理部１２３と、を備える。

この構成により、処理部１２３は、表示部６０の状態に応じて前記画面の前記透過率を定める。すなわち、処理部１２３は、頭部装着型情報入出力装置１の使用状態に応じて、シースルーモードと非シースルーモードとを切り替える。これにより、頭部装着型情報入出力装置１は、使い勝手を向上させることができる。例えば、頭部装着型情報入出力装置１は、頭部装着型情報入出力装置１の使用状態に応じて、ユーザーの視界を確保することができる。

また、頭部装着型情報入出力装置１における頭部装着型情報入出力方法であって、光の透過率が液晶９３（図９を参照）により可変である表示部６０の画面（ファインダー開口部６７）に、画像を表示する手順と、表示部６０の状態を検出する手順と、表示部６０の状態に応じて前記画面の前記透過率を定め、前記透過率を前記所定閾値以上に定めた場合、第１表示パターン（図２３を参照）により前記画面に画像を表示させ、前記透過率を前記所定閾値未満に定めた場合、第２表示パターン（図２２を参照）により前記画面に画像を表示させる手順と、を含む。

［第２実施形態］
第２実施形態では、表示部６０とユーザーの眼との位置関係に応じてメニュー画面が変更される点が、第１実施形態と相違する。以下では、第１実施形態との相違点についてのみ説明する。

処理部１２３は、ユーザーの眼の周辺画像に基づいて、表示部６０とユーザーの眼との位置関係を検出し、検出した位置関係に応じて、液晶９３に対してシースルーモード及び非シースルーモードを切り替える。ここで、処理部１２３は、ユーザーの眼と表示部６０との位置関係に基づいて、メニュー画面の表示内容（例えば、アイコン画像の配置）を変更してもよい。また、処理部１２３は、ユーザーの眼と表示部６０との位置関係に基づいて、液晶９３の一部領域又は全領域を、非シースルーモードにさせてもよい。

図２６は、撮像されたユーザーの眼の例を示す図である。図２６（Ａ）には、表示部６０がユーザーの右眼の正面にあり且つ近傍にある場合における、右眼の周辺画像が示されている。処理部１２３は、表示部６０がユーザーの右眼の正面にあるか否かを、右眼の周辺画像に対する画像認識により判定する。また、処理部１２３は、表示部６０がユーザーの右眼の近傍にあるか否かを、右眼の幅Ｌ８１が所定値以上であるか否かに基づいて判定する。表示部６０がユーザーの右眼の正面にあり且つ近傍にある場合、ユーザーの視界が表示部６０に覆われている割合は、相対的に大きい。この場合、液晶９３が非シースルーモードのままでは、ユーザーの視界は確保されない。

また、図２６（Ｂ）には、表示部６０がユーザーの右眼の正面にあり且つ近傍にない場合における、右眼の周辺画像が示されている。処理部１２３は、表示部６０がユーザーの右眼の正面にあるか否かを、右眼の周辺画像に対する画像認識により判定する。また、処理部１２３は、表示部６０がユーザーの右眼の近傍にあるか否かを、右眼の幅Ｌ９１が所定値以上であるか否かに基づいて判定する。表示部６０がユーザーの右眼の正面にあり且つ近傍にない場合、ユーザーの視界が表示部６０に覆われている割合は、相対的に小さい。この場合、液晶９３が非シースルーモードのままでも、ユーザーの視界は確保される。

また、図２６（Ｃ）には、表示部６０がユーザーの右眼の正面でなく下側にある場合における、右眼の周辺画像が示されている。処理部１２３は、表示部６０がユーザーの右眼の正面でなく下側にあるか否かを、右眼の周辺画像に対する画像認識により判定する。また、処理部１２３は、表示部６０がユーザーの右眼の近傍にあるか否かを、右眼の幅Ｌ１０１が所定値以上であるか否かに基づいて判定する。表示部６０がユーザーの右眼の正面でなく下側にある場合、ユーザーの視界が表示部６０に覆われている割合は、相対的に小さい。この場合、液晶９３が非シースルーモードのままでも、ユーザーの視界は確保される。

図２７は、頭部装着型情報入出力装置の動作手順の例を示すフローチャートである。
（ステップＳａ１）処理部１２３は、表示部６０がユーザーの眼の正面にあり且つ近傍にあるか否かを判定する。表示部６０がユーザーの眼の正面にあり且つ近傍にある場合（ステップＳａ１：Ｙｅｓ）、処理部１２３は、ステップＳａ２に処理を進める。一方、表示部６０がユーザーの眼の正面にない又は近傍にない場合（ステップＳａ１：Ｎｏ）、処理部１２３は、ステップＳａ１３に処理を進める。

（ステップＳａ２）処理部１２３は、ユーザーの視界を確保するため、液晶９３（図９を参照）をシースルーモードにする。具体的には、処理部１２３は、液晶９３の全領域に通電してオン状態にすることで、光束Ｏ（図８を参照）が液晶９３を透過するようにする。

（ステップＳａ３）処理部１２３は、カメラ６４（図２０を参照）が撮像した画像に、明るさが所定値以上である画面領域があるか否かを判定する。明るさが所定値以上である画面領域がある場合（ステップＳａ３：Ｙｅｓ）、処理部１２３は、ステップＳａ４に処理を進める。一方、明るさが前記所定値以上である画面領域がない場合（ステップＳａ３：Ｎｏ）、処理部１２３は、ステップＳａ５に処理を進める。

（ステップＳａ４）処理部１２３は、明るさが前記所定値以上である画面領域（例えば、空からの光束が透過する画面領域）に対応する、液晶９３ａ〜液晶９３ｅ（図９を参照）に通電する電圧を、所定電圧だけ下げることで、液晶９３ａ〜液晶９３ｅのうち電圧が下げられた液晶における光束Ｏ（図８を参照）の透過率を低下させる。
ステップＳａ５〜ステップＳａ２０は、図２５に示されたステップＳ５〜ステップＳ２０と同様である。

以上のように、検出部（例えば、撮像素子７２、処理部１２３）は、表示部６０とユーザーの眼との位置関係（例えば、図５、図１７及び図２６を参照）を、表示部６０の状態として検出する。
この構成により、処理部１２３は、表示部６０の状態に応じて、前記画面の前記透過率を定める。すなわち、処理部１２３は、頭部装着型情報入出力装置１の使用状態に応じて、シースルーモードと非シースルーモードとを切り替える。また、処理部１２３は、定めた透過率に応じて、画像の表示パターンを切り替える。これにより、頭部装着型情報入出力装置１は、使い勝手を向上させることができる。例えば、頭部装着型情報入出力装置１は、頭部装着型情報入出力装置１の使用状態に応じて、ユーザーの視界を確保しつつ、メニュー画面を表示することができる。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

例えば、上記の情報出力装置は、頭部装着型以外に適用されてもよい。また、例えば、シースルーモード及び非シースルーモードの切り替えは、ユーザーが手動で操作したタッチスイッチ３４（図２０を参照）を介した操作入力に基づいて、切り替えられてもよい。また、例えば、メニュー画面の表示は、ユーザーが手動で操作したタッチスイッチ３４（図２０を参照）を介した操作入力に基づいて、切り替えられてもよい。

また、例えば、ユーザーの眼の下側に表示部６０が配置されている場合において、処理部１２３は、ユーザーが表示部６０を注視していない場合、液晶９３をシースルーモードとし、一方、ユーザーが表示部６０を注視している場合、ユーザーの視線に応じて、液晶９３の一部領域又は全領域を、非シースルーモードにさせてもよい。

なお、上記に説明した頭部装着型情報入出力装置を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、実行処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピュータシステム内部の揮発性メモリーのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

１…頭部装着型情報入出力装置、２０…ディスプレイ本体、２６…オーディオコネクター、３４…タッチスイッチ、６０…表示部、６３…表示パネル（表示部）、６４…カメラ、７２…撮像素子（撮像部）、１００…イヤホン、１０３…第１スピーカー、１０４…第２スピーカー、１２１…デコーダー、１２３…処理部、１３１…ＷｉＦｉ通信回路、１３２…加速度センサー、１３３…地磁気センサー、１３７…心拍数センサー、１３８…３Ｇ／ＬＴＥ通信回路、１５１…ヘッドバンドセンサー、１６６ａ〜１６６ｈ…眼球照明ライト、３０１…入力検出部、３０２…制御部、３０３…記憶部、３０４…眼球照明部、３０５…音声調整部、３０６…画像切替部、３０７…画像表示部、３０８…送受信部

Claims (8)

1. 入射する光の透過率が変化する光学素子を有し、操作を指示するための画像を表示する表示部と、
   前記光学素子が第１の透過率であるときに前記表示部に表示される前記画像と前記第１の透過率と異なる第２の透過率であるときに前記表示部に表示される前記画像の大きさまたは表示される位置のうち少なくとも一方が異なるように前記表示部を制御する制御部と
   を備える電子機器。
2. 前記制御部は、前記第１の透過率が前記第２の透過率より高いと、前記第１の透過率のときの前記画像が前記第２の透過率のときの前記画像よりも大きくなるように前記表示部を制御する請求項１に記載の電子機器。
3. 前記制御部は、前記第２の透過率が前記第１の透過率より低いと、前記第２の透過率のときの前記画像が前記第１の透過率のときの前記画像よりも小さくなるように前記表示部を制御する請求項１に記載の電子機器。
4. 前記制御部は、前記第１の透過率が前記第２の透過率より高いと、前記第１の透過率のときの前記画像が表示される位置を前記第２の透過率のときの前記画像が表示される位置よりも前記表示部の中央に近い位置にするように前記表示部を制御する請求項１又は請求項２に記載の電子機器。
5. 前記制御部は、前記第２の透過率が前記第１の透過率より低いと、前記第２の透過率のときの前記画像が表示される位置を前記第１の透過率のときの前記画像が表示される位置よりも前記表示部の端に近い位置にするように前記表示部を制御する請求項１又は請求項３に記載の電子機器。
6. 前記画像は、前記操作に対応するアプリケーションの選択を行うためのメニュー画像である請求項１から５のいずれか一項に記載の電子機器。
7. 前記制御部は、前記画像が選択されると前記画像に対応する操作を行うように制御する請求項６に記載の電子機器。
8. 請求項１から７のいずれか一項に記載の電子機器と、
   前記電子機器を頭部に装着する装着部と
   を備える表示装置。