JP6641900B2 - 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム - Google Patents

頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム Download PDF

Info

Publication number
JP6641900B2
JP6641900B2 JP2015217555A JP2015217555A JP6641900B2 JP 6641900 B2 JP6641900 B2 JP 6641900B2 JP 2015217555 A JP2015217555 A JP 2015217555A JP 2015217555 A JP2015217555 A JP 2015217555A JP 6641900 B2 JP6641900 B2 JP 6641900B2
Authority
JP
Japan
Prior art keywords
unit
head
display device
mounted display
image display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015217555A
Other languages
English (en)
Other versions
JP2017092596A (ja
Inventor
薫 千代
薫 千代
高野 正秀
正秀 高野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2015217555A priority Critical patent/JP6641900B2/ja
Priority to US15/016,167 priority patent/US9794684B2/en
Publication of JP2017092596A publication Critical patent/JP2017092596A/ja
Application granted granted Critical
Publication of JP6641900B2 publication Critical patent/JP6641900B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Telephone Set Structure (AREA)
  • Telephone Function (AREA)

Description

本発明は、透過型の頭部装着型表示装置に関する。
従来、使用者の眼前で画像を表示することのできる頭部装着型表示装置が、種々、提案されている。これらの頭部装着型表示装置の一つとして、特許文献1に示すように、位置を調整可能に設けられ、使用者の音声を集音するマイク部を備えたものがある。この頭部装着型表示装置では、マイク部を用いた通話動作を、マイク部の調整位置に応じてオンオフ切り替えることができることから、操作性が向上される。
特開2012−191624号公報
しかしながら、前記従来の頭部装着型表示装置では、通話動作の切り替えの操作性を向上できるだけで、頭部装着型表示装置の主要な動作についての操作性の向上に関しては、十分な工夫がなされていないのが実情であった。そのほか、従来の頭部装着型表示装置においては、セキュリティの向上、省電力化、装置構成のコンパクト化、低コスト化、省資源化、製造の容易化等が望まれていた。
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。
[形態1]
本開示の一形態によれば、画像を表示する画像表示部を備える頭部装着型表示装置が提供される。この形態の頭部装着型表示装置は、音声を電気信号に変換する音声入力部を有し、前記音声入力部の位置を複数のポジションの間で切り換え可能なマイク部と、前記音声入力部が前記複数のポジションのうちのいずれのポジションに位置するかを判定するポジション判定部と、前記判定されたポジションに基づいて、前記音声入力部の動作、および前記画像表示部による表示態様をそれぞれ切り替えるモード切替制御部と、音声を出力する音声出力部と、を備える。前記モード切替制御部は、前記判定されたポジションが、前記複数のポジションの中で使用者の口から一番遠いポジションであるときに、前記音声出力部を動作状態とし、前記画像表示部に所定の画像を表示するモードへの切り替えを行ってよい。
[形態2]
本開示の一形態によれば、画像を表示する画像表示部を備える頭部装着型表示装置が提供される。この形態の頭部装着型表示装置は、音声を電気信号に変換する音声入力部を有し、前記音声入力部の位置を複数のポジションの間で切り換え可能なマイク部と、前記音声入力部が前記複数のポジションのうちのいずれのポジションに位置するかを判定するポジション判定部と、前記判定されたポジションに基づいて、前記音声入力部の動作、および前記画像表示部による表示態様をそれぞれ切り替えるモード切替制御部と、を備える。前記モード切替制御部は、前記ポジション判定部によって判定されたポジションが、所定のポジションであるときに、生体センサーに関わる操作を指示するためのメニュー画面を表示してよい。
(1)本発明の一形態は、画像を表示する画像表示部を備える頭部装着型表示装置である。この頭部装着型表示装置は、音声を電気信号に変換する音声入力部を有し、前記音声入力部の位置を複数のポジションの間で切り換え可能なマイク部と、前記音声入力部が前記複数のポジションのうちのいずれのポジションに位置するかを判定するポジション判定部と、前記判定されたポジションに基づいて、前記音声入力部の動作、および前記画像表示部による表示態様をそれぞれ切り替えるモード切替制御部と、を備える。この形態の頭部装着型表示装置によれば、音声入力部のポジションに応じて、音声入力部の動作、および画像表示部による表示態様が切り替わる。このために、音声入力部を用いた動作だけでなく、頭部装着型表示装置の主要な動作である画像表示部による表示態様も切り替えることができる。したがって、操作性を向上することができるという効果を奏する。
(2)前記形態の頭部装着型表示装置において、前記画像表示部は、外景を透過し得る構成であってもよい。この構成によれば、透過型の部装着型表示装置において、操作性を向上することができる。
(3)前記形態の頭部装着型表示装置において、音声を出力する音声出力部を備え、前記モード切替制御部は、前記判定されたポジションに基づいて、さらに前記音声出力部の動作を切り替えるようにしてもよい。この形態の頭部装着型表示装置によれば、音声入力部のポジションに応じて、音声出力部の動作も切り替わる。したがって、操作性をより向上することができる。
(4)前記形態の頭部装着型表示装置において、前記モード切替制御部は、前記判定されたポジションが、前記複数のポジションの中で使用者の口に一番近いポジションであるときに、前記音声入力部および前記音声出力部をそれぞれ動作状態として外部との通話を可能とする通話モードへの切り替えを行うようにしてもよい。この形態の頭部装着型表示装置によれば、通話モードへの切り替えの操作性を向上することができる。
(5)前記形態の頭部装着型表示装置において、外景の少なくとも一部を撮影するカメラを備え、前記モード切替制御部は、前記通話モードの際の前記画像表示部による表示態様の切り替えとして、前記カメラを用いた撮影のための画面に表示を切り替えるようにしてもよい。この形態の頭部装着型表示装置によれば、通話モードの最中に、簡単な操作で撮影が可能となることから、操作性をより向上することができる。
(6)前記形態の頭部装着型表示装置において、前記モード切替制御部は、前記判定されたポジションが、前記複数のポジションの中で使用者の口から一番遠いポジションであるときに、前記音声出力部を動作状態とし、前記画像表示部に所定の画像を表示するモードへの切り替えを行うようにしてもよい。この形態の頭部装着型表示装置によれば、簡単な操作で画像の閲覧が可能となることから、操作性をより向上することができる。
(7)前記形態の頭部装着型表示装置において、前記モード切替制御部は、前記判定されたポジションが、前記複数のポジションの中の使用者の口に一番近いポジションと前記使用者の口から一番遠いポジションとの間の所定のポジションであるときに、前記音声入力部を動作状態にし、前記音声入力部で取得された音声に応じた操作項目を命令するためのメニュー画面を表示するホームモードへの切り替えを行うようにしてもよい。この形態の頭部装着型表示装置によれば、簡単な操作でメニュー画面を表示することが可能となることから、操作性をより向上することができる。
(8)前記形態の頭部装着型表示装置において、前記ポジション判定部によって判定されたポジションが、所定のポジションであるときに、前記音声入力部を動作状態にし、前記音声入力部で取得された音声に応じた操作項目を命令するためのメニュー画面を表示するホームモードへの切り替えを行うようにしてもよい。この形態の頭部装着型表示装置によれば、簡単な操作でメニュー画面を表示することが可能となることから、操作性をより向上することができる。
(9)前記形態の頭部装着型表示装置において、前記モード切替制御部は、前記ポジション判定部によって判定されたポジションが、所定のポジションであるときに、生体センサーに関わる操作を指示するためのメニュー画面を表示してもよい。この形態の頭部装着型表示装置によれば、簡易な構成によって、生体センサーに関わる操作を指示することが可能となる。
(10)前記形態の頭部装着型表示装置において、前記マイク部は、前記音声入力部が先端に接続されるとともに、前記音声入力部の反対側の端部が、使用者の頭部に装着可能な装着部の所定位置に回動可能に連結されるアームを有していてもよい。この形態の頭部装着型表示装置によれば、簡易な構成によって、音声入力部のポジションを切り替え可能とすることができる。
(11)前記形態の頭部装着型表示装置において、前記マイク部は、前記音声入力部が先端に接続されるとともに、長手方向において伸縮可能なアームを有していてもよい。この形態の頭部装着型表示装置によれば、簡易な構成によって、音声入力部のポジションを切り替え可能とすることができる。
(12)前記形態の頭部装着型表示装置において、前記画像表示部は、使用者の頭部に装着可能な装着部に対して回動可能に設けられ、前記マイク部は、前記画像表示部の所定位置に配置されていてもよい。この形態の頭部装着型表示装置によれば、簡易な構成によって、音声入力部のポジションを切り替え可能とすることができる。
上述した本発明の各形態の有する複数の構成要素はすべてが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな他の構成要素との差し替え、限定内容の一部削除を行なうことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。
例えば、本発明の一形態は、画像表示部と、マイク部と、ポジション判定部と、モード切替制御部と、の4つの要素の内の一つ以上の要素を備えた装置として実現可能である。すなわち、この装置は、画像表示部を有していてもよく、有していなくてもよい。また、装置は、マイク部を有していてもよく、有していなくてもよい。また、装置は、ポジション判定部を有していてもよく、有していなくてもよい。また、装置は、モード切替制御部を有していてもよく、有していなくてもよい。表示部は、例えば、画像を表示するものとしてもよい。マイク部は、例えば、音声を電気信号に変換する音声入力部を有し、音声入力部の位置を複数のポジションの間で切り換え可能なようにしてもよい。ポジション判定部は、例えば、音声入力部が複数のポジションのうちのいずれのポジションに位置するかを判定するようにしてもよい。モード切替制御部は、例えば、前記判定されたポジションに基づいて、音声入力部の動作、および画像表示部による表示態様をそれぞれ切り替えるようにしてもよい。こうした装置は、例えば、頭部装着型表示装置として実現できるが、頭部装着型表示装置以外の他の装置としても実現可能である。このような形態によれば、使用者の操作性の向上や、検出精度の向上、装置構成のコンパクト化、低コスト化、省資源化、製造の容易化等の種々の課題の少なくとも1つを解決することができる。前述した頭部装着型表示装置の各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。
本発明は、頭部装着型表示装置以外の種々の形態で実現することも可能である。例えば、表示装置、頭部装着型表示装置の制御方法、表示装置の制御方法、頭部装着型表示システム、表示システム、頭部装着型表示システムの機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、表示システムの機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体等の形態で実現できる。
本発明の第1実施形態における頭部装着型表示装置の概略構成を示す説明図である。 HMDの構成を機能的に示すブロック図である。 HMDによる拡張現実表示の一例を示す説明図である。 マイクロフォンの回動の様子を示す説明図である。 モード切替処理の手順を示すフローチャートである。 通話モードによるカメラ撮影画面の一例を示す説明図である。 ホームモードによるメニュー画面の一例を示す説明図である。 発話モードによるマイクマークの一例を示す説明図である。 視聴モードによる映像再生画面の一例を示す説明図である。 本発明の第2実施形態におけるワイヤレスイヤホンマイクを示す説明図である。 本発明の第3実施形態におけるHMDの概略構成を示す説明図である。 画像表示部の回動の様子を示す説明図である。 画像表示部のスライド移動の様子を示す説明図である。 左光学像表示部の端部EL付近の内部構成を示す斜視図である。 本発明の第4実施形態におけるHMDの概略構成を示す説明図である。 本発明の第5実施形態におけるHMDにて実行されるモード切替処理を示すフローチャートである。 図16のステップS552,S562,S572,S582で表示されるメニューをまとめて示す説明図である。 変形例におけるHMDの外観の構成を示す説明図である。 変形例におけるHMDの外観の構成を示す説明図である。
A.第1実施形態:
A−1.頭部装着型表示装置の基本構成:
図1は、本発明の第1実施形態における頭部装着型表示装置の概略構成を示す説明図である。頭部装着型表示装置100は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ(Head Mounted Display、HMD)とも呼ばれる。HMD100は、グラスを通過して視認される外界の中に画像が浮かび上がる透過型の頭部装着型表示装置である。
HMD100は、使用者の頭部に装着可能はヘッドフォン部(装着部)90と、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部20と、使用者の頭部に装着された状態において使用者の音声を取得するマイク部30と、画像表示部20、マイク部30、およびヘッドフォン部90を制御する制御部(コントローラー)10と、を備えている。
ヘッドフォン部90は、頭部に沿って装着可能なように湾曲したヘッドバンド91と、ヘッドバンド91の両端に設けられた右左のイヤーカップ92,93とを備える。右側のイヤーカップ92の内部には音響の右チャンネル用のスピーカー94(図2)が設けられており、左側のイヤーカップ93の内部には音響の左チャンネル用のスピーカー95が設けられている。ヘッドバンド91には、画像表示部20が固定した形で取り付けられている。
画像表示部20は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部20は、右保持部21と、右表示駆動部22と、左保持部23と、左表示駆動部24と、右光学像表示部26と、左光学像表示部28と、を含んでいる。右光学像表示部26および左光学像表示部28は、それぞれ、使用者がヘッドバンド91を装着した際に使用者の右および左の眼前に位置する。右光学像表示部26の一端と左光学像表示部28の一端とは、使用者が画像表示部20を装着した際の使用者の眉間に対応する位置で、互いに接続されている。
右保持部21は、右光学像表示部26の他端である端部ERから略水平方向に延び、ヘッドバンド91の右側の端部付近に固定されている。同様に、左保持部23は、左光学像表示部28の他端である端部ELから略水平方向に延び、ヘッドバンド91の左側の端部付近に固定されている。右保持部21および左保持部23は、ヘッドバンド91を頭部に装着した使用者の眼前に光学像表示部26,28が位置するよう、光学像表示部26,28を保持する。
右表示駆動部22は、右保持部21の内側、換言すれば、使用者が画像表示部20を装着した際の使用者の頭部に対向する側に配置されている。また、左表示駆動部24は、左保持部23の内側に配置されている。なお、以降では、右保持部21および左保持部23を区別せず「保持部」として説明する。同様に、右表示駆動部22および左表示駆動部24を区別せず「表示駆動部」として説明し、右光学像表示部26および左光学像表示部28を区別せず「光学像表示部」として説明する。
表示駆動部は、液晶ディスプレイ(Liquid Crystal Display、以下「LCD」と呼ぶ)241、242や投写光学系251、252等を含む(図2参照)。表示駆動部の構成の詳細は後述する。光学部材としての光学像表示部は、導光板261、262(図2参照)と調光板とを含んでいる。導光板261、262は、光透過性の樹脂材料等によって形成され、表示駆動部から出力された画像光を使用者の眼に導く。調光板は、薄板状の光学素子であり、画像表示部20の表側(使用者の眼の側とは反対の側)を覆うように配置されている。調光板は、導光板261、262を保護し、導光板261、262の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、使用者の眼に入る外光量を調整して虚像の視認のしやすさを調整することができる。なお、調光板は省略可能である。
マイク部30は、マイクロフォン31と、アーム32と、を有する。マイクロフォン31は、音声を電気信号に変換する音声入力部であり、アーム32の先端に接続されている。アーム32のマイクロフォン31とは反対側の端部は、連結部33によって、ヘッドフォン部90の右イヤーカップ92の上面92aに連結されている。連結されることで、マイクロフォン31は、使用者の口の前に位置する。なお、連結部33は、アーム32を回動可能に、かつ任意のポジションに固定可能に連結するが、詳細については後述する。
画像表示部20、マイク部30、およびヘッドフォン部90の一体物と、制御部10との間は、接続コード40によって接続される。接続コード40の一端は、ヘッドフォン部90の右イヤーカップ92内に挿入され、必要に応じて分岐され、画像表示部20の左右の表示駆動部22,24、左右のスピーカー94,95や、マイク部30のマイクロフォン31に接続されている。接続コード40の他端は、制御部10に接続されている。接続コード40における右イヤーカップ92と反対側の端部と、制御部10とのそれぞれには、互いに嵌合するコネクター(図示省略)が設けられており、接続コード40のコネクターと制御部10のコネクターとの嵌合/嵌合解除により、上記の一体物と制御部10との間が接続されたり切り離されたりする。接続コード40には、例えば、金属ケーブルや光ファイバーを採用することができる。
制御部10は、HMD100を制御するための装置である。制御部10は、点灯部12と、タッチパッド14と、十字キー16と、電源スイッチ18とを含んでいる。点灯部12は、HMD100の動作状態(例えば、電源のON/OFF等)を、その発光態様によって通知する。点灯部12としては、例えば、LED(Light Emitting Diode)を用いることができる。タッチパッド14は、タッチパッド14の操作面上での接触操作を検出して、検出内容に応じた信号を出力する。タッチパッド14としては、静電式や圧力検出式、光学式といった種々のタッチパッドを採用することができる。十字キー16は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ18は、スイッチのスライド操作を検出することで、HMD100の電源の状態を切り替える。
図2は、HMD100の構成を機能的に示すブロック図である。制御部10は、入力情報取得部110と、記憶部120と、電源130と、無線通信部132と、GPSモジュール134と、CPU140と、インターフェイス180と、送信部(Tx)51および52とを備え、各部は図示しないバスにより相互に接続されている。
入力情報取得部110は、例えば、タッチパッド14や十字キー16、電源スイッチ18などに対する操作入力に応じた信号を取得する。記憶部120は、ROM、RAM、DRAM、ハードディスク等によって構成されている。
電源130は、HMD100の各部に電力を供給する。電源130としては、例えば、リチウムポリマーバッテリー、リチウムイオンバッテリーなどの二次電池を用いることができる。さらに、二次電池に替えて、一次電池や燃料電池でもよいし、無線給電を受けて動作するようにしてもよい。さらには、太陽電池とキャパシターから給電を受けるようにしてもよい。無線通信部132は、無線LANやBluetooth(登録商標)、iBeacon(登録商標)といった所定の無線通信規格に則って、他の機器との間で無線通信を行う。GPSモジュール134は、GPS衛星からの信号を受信することにより、自身の現在位置を検出する。
CPU140は、記憶部120に格納されているコンピュータープログラムを読み出して実行することにより、オペレーティングシステム(ОS)150、画像処理部160、表示制御部162、ポジション判定部164、モード切替制御部166、および音声処理部170として機能する。
画像処理部160は、インターフェイス180や無線通信部132を介して入力されるコンテンツ(映像)に基づいて信号を生成する。そして、画像処理部160は、生成した信号を、接続コード40を介して画像表示部20に供給することで、画像表示部20を制御する。画像表示部20に供給するための信号は、アナログ形式とディジタル形式の場合で異なる。アナログ形式の場合、画像処理部160は、クロック信号PCLKと、垂直同期信号VSyncと、水平同期信号HSyncと、画像データDataとを生成し、送信する。具体的には、画像処理部160は、コンテンツに含まれる画像信号を取得する。取得した画像信号は、例えば動画像の場合、一般的に1秒あたり30枚のフレーム画像から構成されているアナログ信号である。画像処理部160は、取得した画像信号から垂直同期信号VSyncや水平同期信号HSync等の同期信号を分離し、それらの周期に応じて、PLL回路等によりクロック信号PCLKを生成する。画像処理部160は、同期信号が分離されたアナログ画像信号を、A/D変換回路等を用いてディジタル画像信号に変換する。画像処理部160は、変換後のディジタル画像信号を、RGBデータの画像データDataとして、1フレームごとに記憶部120内のDRAMに格納する。
一方、ディジタル形式の場合、画像処理部160は、クロック信号PCLKと、画像データDataとを生成し、送信する。具体的には、コンテンツがディジタル形式の場合、クロック信号PCLKが画像信号に同期して出力されるため、垂直同期信号VSyncおよび水平同期信号HSyncの生成と、アナログ画像信号のA/D変換とが不要となる。なお、画像処理部160は、記憶部120に格納された画像データDataに対して、解像度変換処理や、輝度、彩度の調整といった種々の色調補正処理や、キーストーン補正処理等の画像処理を実行してもよい。
画像処理部160は、生成されたクロック信号PCLK、垂直同期信号VSync、水平同期信号HSyncと、記憶部120内のDRAMに格納された画像データDataとを、送信部51,52を介してそれぞれ送信する。なお、送信部51を介して送信される画像データDataを「右眼用画像データData1」とも呼び、送信部52を介して送信される画像データDataを「左眼用画像データData2」とも呼ぶ。送信部51、52は、制御部10と画像表示部20との間におけるシリアル伝送のためのトランシーバーとして機能する。
表示制御部162は、右表示駆動部22および左表示駆動部24を制御する制御信号を生成する。具体的には、表示制御部162は、制御信号により、右LCD制御部211による右LCD241の駆動ON/OFFや、右バックライト制御部201による右バックライト221の駆動ON/OFF、左LCD制御部212による左LCD242の駆動ON/OFFや、左バックライト制御部202による左バックライト222の駆動ON/OFFなどを個別に制御することにより、右表示駆動部22および左表示駆動部24のそれぞれによる画像光の生成および射出を制御する。表示制御部162は、右LCD制御部211と左LCD制御部212とに対する制御信号を、送信部51および52を介してそれぞれ送信する。同様に、表示制御部162は、右バックライト制御部201と左バックライト制御部202とに対する制御信号を、それぞれ送信する。
ポジション判定部164は、後述するポジションセンサー35と協働して、マイク部30のマイクロフォン31がいずれのポジションに位置するかを判定する。モード切替制御部166は、前記判定されたポジションに基づいて、マイクロフォン31の動作、および画像表示部20による表示態様をそれぞれ切り替える。ポジション判定部164およびモード切替制御部166の構成については、後ほど詳述する。
音声処理部170は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材46に接続された右イヤーカップ92内のスピーカー94および左イヤーカップ93内のスピーカー95に対して供給する。なお、例えば、Dolby(登録商標)システムを採用した場合、音声信号に対する処理がなされ、右左のスピーカー94,95からは、それぞれ、例えば周波数等が変えられた異なる音が出力される。
インターフェイス180は、制御部10に対して、コンテンツの供給元となる種々の外部機器OAを接続するためのインターフェイスである。外部機器ОAとしては、例えば、パーソナルコンピューターPCや携帯電話端末PH、ゲーム端末GM等がある。インターフェイス180としては、例えば、USBインターフェイスや、マイクロUSBインターフェイス、メモリーカード用インターフェイス等を用いることができる。
画像表示部20は、右表示駆動部22と、左表示駆動部24と、右光学像表示部26としての右導光板261と、左光学像表示部28としての左導光板262と、カメラ61(図1も参照)と、9軸センサー66と、を備えている。
カメラ61は、RGBカメラであり、使用者が画像表示部20を装着した際の使用者の鼻根部に対応する位置に配置されている。そのため、カメラ61は、HMD100の所定の向き、すなわち、使用者が画像表示部20を頭部に装着した状態において使用者が向いている方向の外界をカラー撮像する。なお、カメラ61は、RGBカメラに換えて、白黒カメラとすることができる。
9軸センサー66は、加速度(3軸)、角速度(3軸)、地磁気(3軸)を検出するモーションセンサーであり、本実施形態では使用者の眉間に対応する位置に配置されている。9軸センサー66は、画像表示部20に設けられているため、画像表示部20が使用者の頭部に装着されているときには、使用者の頭部の動きを検出する。検出された頭部の動きから画像表示部20の向き、すなわち、使用者の視界が特定される。
右表示駆動部22は、受信部(Rx)53と、光源として機能する右バックライト(BL)制御部201および右バックライト(BL)221と、表示素子として機能する右LCD制御部211および右LCD241と、右投写光学系251とを含んでいる。なお、右バックライト制御部201と、右LCD制御部211と、右バックライト221と、右LCD241とを総称して「画像光生成部」とも呼ぶ。
受信部53は、制御部10と画像表示部20との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部201は、入力された制御信号に基づいて、右バックライト221を駆動する。右バックライト221は、例えば、LEDやエレクトロルミネセンス(EL)等の発光体である。右LCD制御部211は、受信部53を介して入力されたクロック信号PCLKと、垂直同期信号VSyncと、水平同期信号HSyncと、右眼用画像データData1とに基づいて、右LCD241を駆動する。右LCD241は、複数の画素をマトリクス状に配置した透過型液晶パネルである。右LCD241は、マトリクス状に配置された各画素位置の液晶を駆動することによって、右LCD241を透過する光の透過率を変化させることにより、右バックライト221から照射される照明光を、画像を表す有効な画像光へと変調する。
右投写光学系251は、右LCD241から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部26としての右導光板261は、右投写光学系251から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼REに導く。光学像表示部は、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いてもよいし、半透過反射膜を用いてもよい。なお、HMD100が画像光を出射することを、本明細書では「画像を表示する」とも呼ぶ。
左表示駆動部24は、右表示駆動部22と同様の構成を有している。すなわち、左表示駆動部24は、受信部(Rx)54と、光源として機能する左バックライト(BL)制御部202および左バックライト(BL)222と、表示素子として機能する左LCD制御部212および左LCD242と、左投写光学系252とを含んでいる。右LCD241と同様に、左LCD242は、マトリクス状に配置された各画素位置の液晶を駆動することによって、左LCD242を透過する光の透過率を変化させることにより、左バックライト222から照射される照明光を、画像を表す有効な画像光へと変調する。なお、本実施形態ではバックライト方式を採用することとしたが、フロントライト方式や、反射方式を用いて画像光を射出してもよい。
また、制御部10は、マイクロフォン31から出力される音声信号や、後述するポジションセンサー35から出力されるポジション信号などを受信し、これら信号に応じた各種の処理を実行する。ポジションセンサー35からのポジション信号は、制御部10内のポジション判定部164に送られる。
図3は、HMD100による拡張現実表示の一例を示す説明図である。図3では、使用者の視界VRを例示している。上述のようにして、HMD100の使用者の両眼に導かれた画像光が使用者の網膜に結像することにより、使用者は拡張現実(AR)としての画像VIを視認する。図3の例では、画像VIは、HMD100のOSの待ち受け画面である。また、光学像表示部26,28が外界SCからの光を透過することで、使用者は外界SCを視認する。このように、本実施形態のHMDの使用者は、視界VRのうち画像VIが表示された部分については、画像VIと、画像VIの背後に外界SCと、を見ることができる。また、視界VR1のうち画像VIが表示されていない部分については、外界SCだけを見ることができる。
A−2.マイクロフォンの回動:
図4は、マイクロフォン31の回動の様子を示す説明図である。図示は、画像表示部20とマイクロフォン31の軌跡とを右側から見た図である。アーム32(図1)が連結部33周りを回動されることで、マイクロフォン31は、連結部33を中心とする円軌道CO上を段階的に移動することが可能となる。本実施形態では、マイクロフォン31は、円軌道CO上における4つのポジション、すなわち、第1〜第4のポジションP1,P2,P3,P4に移動することが可能となっている。この移動は、使用者による手動によるものであるが、各ポジションP1〜P3には止まりやすく、各ポジションP1〜P3の中間位置には止まりにくいように、機械的な工夫がなされている。なお、ここで言う「ポジション」は、HMD100は使用者と共に移動することから、絶対的な位置ではなく、HMD100の所定の位置(例えば、アーム32の連結部33)に対する相対的な位置である。
第1のポジションP1は、使用者の口の前方の位置であり、第1〜第4のポジションP1〜P4の中では口から一番近い位置である。第3のポジションP3は、使用者の鼻よりも少しだけ上の位置である。第2のポジションP2は、第1のポジションP1と第3のポジションP3との中間の位置である。第4のポジションP4は、使用者の額の前方の位置であり、第1〜第4のポジションP1〜P4の中では口から一番遠い位置である。
図1、図2に示すように、連結部33の付近にポジションセンサー35が設けられており、ポジションセンサー35から出力されるポジション信号に基づいて、制御部10のポジション判定部164(図2)は、マイクロフォン31が第1〜第4のポジションP1〜P4のいずれにあるかを判別している。ポジションセンサー35は、本実施形態では、ロータリタイプの抵抗式のポテンショメータである。なお、ポジションセンサー35は、ポテンショメータに換えて、マグネットを用いたセンサー、ロータリーエンコーダ、光学式のセンサー等とすることもできる。ポジション判定部164の判定結果は,モード切替制御部166に送られる(図2)。ポジション判定部164およびモード切替制御部166は、記憶部120に記憶されている所定のプログラムをCPU140が実行することで、機能的に実現される。所定のプログラムの詳細について、以下に説明する。
A−3.モード切替処理:
図5は、モード切替処理の手順を示すフローチャートである。モード切替処理は、CPU140によって実行されるもので、マイク部30のマイクロフォン31の位置が、前述した第1ないし第4のポジションの間で切り替わったときに、マイクロフォン31の動作や、画像表示部20による虚像としての画像の表示の態様等を変更する処理である。このモード切替処理の開始トリガーは、任意に定めることができる。例えば、HMD100が起動されたこと、換言すれば、電源のONを検出したことを開始トリガーとしてもよい。また、例えば、OS150や、特定のアプリケーションからの処理開始要求を開始トリガーとしてもよい。モード切替処理は、開始後、所定時間毎に繰り返し実行される。
図示するように、処理が開始されると、CPU140は、ポジションセンサー35からポジション信号を取得する(ステップS110)。次いで、CPU140は、ステップS110によって取得されたポジション信号に基づいて、マイクロフォン31が第1〜第4のポジションP1〜P4のうちのいずれのポジションに位置するかを判定する(ステップS120)。
続いて、CPU140は、ステップS120によって判定されたポジションが、前回このモード切替処理を実行したときに判定されたポジションに対して変化があるか否かを判定する(ステップS130)。ここで、変化がないと判定されたときには、「リターン」に抜けて、モード切替処理を一旦終了する。
一方、ステップS130で、変化があると判定された場合には、ステップS120によって判定されたポジションが、第1〜第4のポジションP1〜P4のうちのいずれであるかを判定する(ステップS140)。
ステップS140による判定結果が第1のポジションP1であるときには、CPU140は、通話モードに処理を移行する(ステップS150)。通話モードでは、CPU140は、マイクロフォン31および右左のスピーカー94,95をともに動作状態に移行し(ステップS151)、インターフェイス180(図2)を介して携帯電話端末PH(図2)と通信を行って、携帯電話端末PH内の通話関連の電源をオンにする(ステップS152)。これによって、使用者は、HMD100を装着したまま、マイクロフォン31および右左のスピーカー94,95を使用して電話通話を行うことができる。なお、携帯電話端末PH(図2)を用いた通話に換えて、特定の電話回線を用いた通話、電話網としてインターネットを用いた通話等、種々の回線による通話としてもよい。
通話モードでは、CPU140は、さらに、画像表示部20にカメラ撮影画面を表示させることによって、カメラ61を撮影スタンバイ状態に移行する(ステップS153)。
図6は、通話モードによるカメラ撮影画面の一例を示す説明図である。図示は、図3と同様に、使用者の視界VRを例示するものである。視界VRには、外界SCに重ね合わせて、カメラ撮影画面VAを拡張現実として視認することができる。カメラ撮影画面VAは、操作画面部VA1と、撮影画像表示部VA2とを有する。操作画面部VA1は、使用者によるカメラ操作を受け付ける部分であり、本実施形態では、撮影を実行指示するための撮影ボタンSBを有する。カメラマークMCは、カメラ撮影画面VAであることを示すマークである。使用者は、制御部10のタッチパッド14や十字キー16を操作することによって、操作ボタンSTを押下指示することができる。タッチパッド14や十字キー16に換えて、使用者の視線方向を図示しない視線方向検出部によって検出して、その視線方向から操作ボタンSTが押下指示される構成としてもよい。
また、視界VRの右隅には、電話回線が繋がって、いわゆるオフフック状態にあることを示す電話マークMTが表示されている。これによって、使用者は、電話回線が繋がって、通話が可能なことを、即座に認識することができる。
上記通話モードによれば、使用者は、HMD100を装着したまま、第三者と通話することができ、その通話の最中に、使用者が向いている方向の外界を、カメラ61によって簡単な操作で撮像することができる。例えば、工場で作業しながら第3者の指導を受ける際に、手許の画像を送りたい場合に、通話モードは有効である。図5のステップS153の実行後、「リターン」に抜けて、モード切替処理を一旦終了する。
ステップS140による判定結果が第2のポジションP2(図4参照)であるときには、CPU140は、ホームモードに処理を移行する(ステップS160)。ホームモードでは、CPU140は、マイクロフォン31を動作状態に移行する(ステップS161)とともに、このアプリケーションのメニュー画面を画像表示部20に表示させる(ステップS162)。
図7は、ホームモードによるメニュー画面の一例を示す説明図である。図示は、図3と同様に、使用者の視界VRを例示するものである。視界VRには、外界SCに重ね合わせて、第1ないし第4のメニュー画面VB1,VB2,VB3,VB4を拡張現実として視認することができる。各メニュー画面VB1〜VB4には、カメラ関連、マイク関連等の種類別に区分けされた操作項目が一覧表示されている。操作者は、各メニュー画面VB1〜VB4に記載された操作項目を視認して、所望の操作項目を音声にて命令する。HMD100は、マイクロフォン31によって音声を収集し、その収集された音声を音声認識し、音声認識の結果に応じた操作項目の命令を実行することができる。
第2の操作画面VB2は、複数のカラーボタンCBを有する。各カラーボタンCBは、色づけされている。操作者は、「赤色」、「黄色」というように色を発音することで、各色に対応した操作内容を命令することもできる。
視界VRの右上には、音声認識中であることを示すマイクマークMMが表示されている。これによって、使用者は、視認されるメニュー画面VB1〜VB4の操作項目を音声にて命令できることがわかる。図5のステップS153の実行後、「リターン」に抜けて、モード切替処理を一旦終了する。
図5のステップS140による判定結果が第3のポジションP3(図4参照)であるときには、CPU140は、発話モードに処理を移行する(ステップS170)。発話モードでは、CPU140は、マイクロフォン31を動作状態に移行する(ステップS171)とともに、画像表示部20にマイクマークを表示させる(ステップS172)。
図8は、発話モードによるマイクマークの一例を示す説明図である。図示は、図3と同様に、使用者の視界VRを例示するものである。視界VRには、外界SCに重ね合わせて、マイクを示すマイクマークMMを拡張現実として視認することができる。操作者は、マイクマークMMを視認することで、マイクロフォン31が動作状態であることを知ることができる。工場で作業している第3者に対して命令を音声にて伝える場合に有効である。図5のステップS153の実行後、「リターン」に抜けて、モード切替処理を一旦終了する。
図5のステップS140による判定結果が第4のポジションP4(図4参照)であるときには、CPU140は、視聴モードに処理を移行する(ステップS180)。視聴モードでは、CPU140は、右左のスピーカー94,95を動作状態に移行する(ステップS181)とともに、映像再生画面を画像表示部20に表示させる(ステップS182)。
図9は、視聴モードによる映像再生画面の一例を示す説明図である。図示は、図3と同様に、使用者の視界VRを例示するものである。視界VRには、外界SCに重ね合わせて、映像再生画面VCを拡張現実として視認することができる。映像再生画面VCは、操作画面部VC1と、映像表示部VC2とを有する。操作画面部VC1は、使用者による操作を受け付ける部分であり、映像再生を実行指示するための各種のボタンが備えられている。映像表示部VC2には、再生した映像が表示される。使用者は、制御部10のタッチパッド14や十字キー16を操作することによって、操作画面部VC1内のボタンを押下指示することができる。タッチパッド14や十字キー16に換えて、使用者の視線方向を図示しない視線方向検出部によって検出して、その視線方向から各ボタンが押下指示される構成としてもよい。
視界VRの右上には、視聴中であることを示すスピーカーマークMSが表示されている。上記視聴モードによって、使用者は、映像を簡単な操作で再生することができる。なお、本実施形態の変形例として、視聴モードに換えて、Web検索を行うWebモードとしてもよい。Webモードでは、ステップS182の処理を、Web閲覧画面を画像表示部20に表示させる構成とする。さらに、映像再生やWeb閲覧に換えて、所定の画像を表示させる構成としてもよい。図5に戻って、ステップS153の実行後、「リターン」に抜けて、モード切替処理を一旦終了する。
上記モード切替処理において、ステップS110およびS120の処理を実行するCPU140の機能がポジション判定部164(図2)に対応し、ステップS130ないしS182の処理を実行するCPU140の機能がモード切替制御部166(図2)に対応する。
本実施形態では、使用者は、第2のポジションP2であるホームモードを、マイクロフォン31の基本位置として、通話する際には、アーム32を下げて、マイクロフォン31を第1のポジションP1に切り替える。発話する際には、基本位置からアーム32を1段階上げて、マイクロフォン31を第3のポジションP3に切り替える。視聴する際には、基本位置からアーム32を2段階上げて、マイクロフォン31を第4のポジションP4に切り替える。
以上のように構成された第1実施形態のHMD100によれば、マイク部30のマイクロフォン31のポジションに応じて、マイクロフォン31の動作、および画像表示部20による表示画面が切り替わる。表示画面は、GUI(グラフィカルユーザインタフェース)として機能する。このために、マイクロフォンを用いた動作だけでなく、HMD100の主要な動作である画像表示部20による表示態様も切り替えることができる。したがって、操作性を向上することができるという効果を奏する。
B.第2実施形態:
本発明の第2実施形態を次に説明する。第2実施形態のHMDは、第1実施形態のHMD100と比較して、ヘッドフォン部90とマイク部30に換えてワイヤレスイヤホンマイクを備えることとが相違し、残余の点では同一である。同一の部分については、第1実施形態と同一の符号を付し、その説明を省略する。すなわち、第2実施形態のHMDは、制御部10と、画像表示部20と、ワイヤレスイヤホンマイクと、を備える。なお、第1実施形態における画像表示部20は、ヘッドフォン部90のヘッドバンド91に固定した形で取り付けられていたが、第2実施形態における画像表示部20は、保持部21および左保持部23を眼鏡のテンプル(つる)のようにして、使用者の頭部に保持される。
図10は、ワイヤレスイヤホンマイク290を示す説明図である。ワイヤレスイヤホンマイク290は、箱形の本体部292と、イヤーピース部294とを有する。イヤーピース部294は、本体部292における長手方向の一端側の側面に立設され、音声出力部を内蔵する。本体部292における長手方向の他端側の先端には、音声入力部としてのマイクロフォン296が設けられている。ワイヤレスイヤホンマイク290は、Bluetooth(登録商標)によって制御部10との間で無線通信を行う。Bluetoothに換えて、iBeacon(登録商標)や無線LAN等によるものとしてもよい。
使用者は、イヤーピース部294を耳ERの穴に挿入することによって、ワイヤレスイヤホンマイク290を装着する。図示では、ワイヤレスイヤホンマイク290は、その長手方向が鉛直方向となるように装着されているが、使用者は、装着した状態で、イヤーピース部294を軸として、ワイヤレスイヤホンマイク290を回動させることができる。このために、第2実施形態でも、第1実施形態と同様に、マイクロフォン296は、イヤーピース部294を軸とする円軌道CW上をポジション移動できる。
本体部292には、6軸センサー298が設けられており、6軸センサー298によってワイヤレスイヤホンマイク290の長手方向の向きを検出することができる。6軸センサー298によって検出された向きは、無線通信によって制御部10に送られる。制御部10は、6軸センサー298によって検出された向きからマイクロフォン296のポジションを判定し、第1実施形態のモード切替処理(図5)と同様の処理を行うことによって、マイクロフォン296のポジションに基づいて、マイクロフォン296の動作および画像表示部20による表示態様をそれぞれ切り替える。
以上のように構成された第2実施形態のHMDによれば、第1実施形態と同様に、マイクロフォンを用いた動作だけでなく、画像表示部20による表示態様も切り替えることができる。したがって、第1実施形態と同様に、操作性を向上することができるという効果を奏する。
C.第3実施形態:
図11は、本発明の第3実施形態におけるHMDの概略構成を示す説明図である。第3実施形態におけるHMD300は、使用者の頭部に装着可能な装着帯390と、画像表示部320と、制御部(図示せず)と、を備えている。
装着帯390は、樹脂製の装着基部391と、装着基部391に連結される布製のベルト部392と、を備える。装着基部391は、人の前頭部の形に合った湾曲した形状を有し、ベルト部392によって使用者の頭部の周りに装着される。装着帯390の前方には、ステレオカメラ395が設けられている。ステレオカメラ395は、第1実施形態におけるカメラ61(図1)に替わるものであり、使用者が向いている方向の外界を撮像する。
画像表示部320は、右保持部321と、右表示駆動部322と、左保持部323と、左表示駆動部324と、右光学像表示部326と、左光学像表示部328と、を含んでいる。各部321〜328は、第1実施形態における右保持部21、右表示駆動部22、左保持部23、左表示駆動部24、右光学像表示部26、左光学像表示部28と同一の機能を有する。左保持部323と右光学像表示部326とは、それぞれ、装着基部391に回動可能に連結される。この結果、画像表示部320は、使用者の眼前において回動可能となる。この回動の様子については、後述する。
画像表示部320には、図示しない9軸センサーが設けられている。この9軸センサーは、第1実施形態における9軸センサー66(部2)と同一の機能を有する。また、画像表示部320の左光学像表示部328の左側の枠部分には、マイクロフォン331が設けられている。マイクロフォン331は、第1実施形態におけるマイクロフォン31(図1)と同様に、音声を電気信号に変換する音声入力部として機能する。
図示しない制御部は、第1実施形態における制御部10とほぼ同一の機能を有する。本実施形態のMD300は、さらに、イヤホン(図示せず)を有する。イヤホンは、左右のイヤーピース内に音声出力部を備えるステレオ型のイヤホンであり、制御部に接続されている。イヤホンは、第1実施形態における右左のスピーカー94,95に替わるものである。
図12は、画像表示部320の回動の様子を示す説明図である。図12では左光学像表示部328だけを示し、左側だけを代表して示す。なお、右側については左側と同様である。左保持部323は、連結部393によって装着基部391に連結される。連結部393は、光学像表示部328を、連結部393を中心とする円軌道CO上における第1の位置P11から第2の位置P12(最も跳ね上げた位置)までの間で、任意の位置(回動位置)に移動可能な状態で連結する。この移動は、使用者による手動によるもので、頭部に装着した状態で可能である。移動された光学像表示部328は、上記任意の位置で固定された状態となる。第1の位置P11は、使用者HUの眼前に光学像表示部328が配置される位置である。
円軌道COにおける光学像表示部26、28の回動位置は、角度センサー(図示せず)によって検出することができる。角度センサーは、本実施形態では、ロータリタイプの抵抗式のポテンショメータである。なお、角度センサーは、ポテンショメータに換えて、マグネットを用いたセンサー、ロータリーエンコーダ、光学式のセンサー等とすることもできる。本実施形態では、角度センサーの検出値から、制御部は、光学像表示部328が、第1の位置P11と、第1の位置P11から第2の位置P12までの間の位置と、第2の位置P2との内のいずれにあるかを判定する。
図13は、画像表示部320のスライド移動の様子を示す説明図である。上述したように、画像表示部320は回動するが、さらに、本実施形態のHMD300では、上下方向にも移動し得る構成となっている。詳しくは、右左の光学像表示部326,328は、右左の保持部321,323に対して、上下方向Vにスライドして移動し得る。ここで言う「上下方向V」は、光学像表示部326,328の表示面に沿う方向であり、画像表示部320が第1の位置P11にあるときに、垂直な方向となる。
図14は、左光学像表示部328の端部EL付近の内部構成を示す斜視図である。図14では左側の光学像表示部328の端部EL付近の内部構成を示したが、右側についても左側と同様である。上述した上下方向Vの移動は、左光学像表示部328の端部付近に内蔵されたスライド機構380によって実現される。
スライド機構380は、ガイドレール381と、スライド部材382とを備える。ガイドレール381は、棒状の部材であり、左光学像表示部328側に接続される。スライド部材382は、左保持部323に接続されると共に、ガイドレール381が差し込まれている。スライド部材382の内部の詳細構成については省略するが、スライド部材382は、ガイドレール381に沿って段階的に移動し得る構成となっている。なお、スライド機構380には、図示しない変位センサーが設けられており、変位センサーによって、ガイドレール381に対するスライド部材382の位置を検出することができる。変位センサーとしては、光学式のセンサー、磁気式のセンサー、超音波式のセンサー等、種々のタイプを用いることができる。
スライド機構380の動作によって、右左の光学像表示部326,328は、右左の保持部321,323に対して、上下方向Vにスライドして移動し得る。すなわち、第1の位置P11から第3の位置P13までの間で、任意の位置に移動(スライド移動)し得る。このスライド移動は、使用者による手動によるものである。本実施形態では、変位センサーの検出値から、制御部は、光学像表示部328が、第1の位置P11と、第3の位置P3との内のいずれにあるかを判定する。すなわち、制御部は、上述した角度センサーの検出値と変位センサーの検出値とから、第1の位置P11と、第1の位置P11から第2の位置P12までの間の位置と、第2の位置P12と、第3の位置P13と(以上、4つのポジション)のうちのいずれにあるかを判定することができる。
上記の4つのポジションは、画像表示部320の位置を切り換え得るポジションである。一方、画像表示部320には、マイクロフォン331が固設されている。このため、上記4つのポジションは、マイクロフォン331の位置を切り換え得るポジションであるとも言える。「マイクロフォン331の位置」とは、HMD300の所定の位置(例えば、ステレオカメラ395)に対する相対的な位置である。本実施形態では、第1の位置P11を上記4つのポジションを、第1実施形態における第1〜第4のポジションP1〜P4として、第1実施形態と同様なモード切替処理(図5)を制御部において実行させる。
以上のように構成された第3実施形態のHMD300によれば、画像表示部320を回動させたりスライドさせたりする動作によって、マイクロフォン331のポジションを切り替えることができ、第1実施形態と同様に、マイクロフォン331のポジションに応じて、マイクロフォン331の動作、および画像表示部320による表示画面が切り替わる。このために、HMD300によれば、第1実施形態と同様に、マイクロフォン331を用いた動作だけでなく、画像表示部20による表示態様も切り替えることができ、操作性を向上することができる。
D.第4実施形態:
図15は、本発明の第4実施形態におけるHMDの概略構成を示す説明図である。第4実施形態におけるHMD400は、第1実施形態のHMD100と比較して、マイク部430の構成が相違する。マイク部430は、第1実施形態のマイク部30と比較して、アーム432の先端にマイクロフォン431を接続した点で一致するが、アーム432が伸縮自在になっている点で相違する。アーム432は、複数の異なる内径を有する棒状部分を入れ子式に接続した構造を有しており、マイクロフォン431に近い部分ほど内径が小さくなっている。この構造によって、使用者は、マイクロフォン431を把持して、アーム432を直線方向(アームの長手方向)において伸縮させることができる。
アーム432のマイクロフォン431と反対側の端部は、連結部433によって、画像表示部20の右イヤーカップ92の上面92aに連結されている。連結部433は、第1実施形態とは異なり、アーム432を回動できない状態で固定する。なお、右イヤーカップ92の側面の所定位置には、アーム撮影用カメラ440が設けられている。アーム撮影用カメラ440は、アーム432を撮影する。
連結部433の外側先端には、ミュートボタン434が設けられている。ミュートボタン434は、使用者の操作を受けてオン/オフされる押しボタン式のスイッチであり、スピーカー94,95から音声の出力を一時的に停止させる機能を有する。HMD400における上記の説明以外のハードウェア構成は、第1実施形態のHMD100と同一であるので、同一の構成要素については、図15において、図1と同一の符合を付し、その説明を省略する。
本実施形態の制御部10は、アーム撮影用カメラ440の撮影画像からアーム432の伸縮された全長を求め、この求めた全長に基づいて、マイクロフォン431の位置が第1〜第4のポジションのいずれにあるかを判定する。詳しくは、全長が最長となるマイクロフォン431の位置を第1のポジションと判定し、全長が最短となるマイクロフォン431の位置を第4のポジションと判定する。最長と最短との間において最長側に近い位置となる全長である場合には第2のポジションと判定し、最長と最短との間において最短側に近い位置となる全長である場合には第3のポジションと判定する。その上で、制御部10は、図5のモード切替処理におけるステップS130以後の処理を実行する。
なお、本実施形態では、アーム撮影用カメラ440でアーム432を撮影する構成としたが、これに換えて、マイクロフォン431を撮影する構成としてもよい。さらに、カメラの撮影画像に基づいてマイクロフォン431のポジションを判定する構成に換えて、種々の変位センサーや測長センサーによってアーム432の長さを測定し、その測定結果からマイクロフォン431のポジションを判定する構成としてもよい。
以上のように構成された第4実施形態のHMD400によれば、マイク部430のアーム432を伸縮する動作によって、マイクロフォン431のポジションを切り替えることができ、第1実施形態と同様に、マイクロフォン431のポジションに応じて、マイクロフォン431の動作、および画像表示部320による表示画面が切り替わる。このために、HMD400によれば、第1実施形態と同様に、マイクロフォン431を用いた動作だけでなく、画像表示部20による表示態様も切り替えることができ、操作性を向上することができる。また、本実施形態では、ミュートボタン434が設けられていることから、視聴モード等の音声が出力しているモードにおいて、消音を素早い操作で行うことができる。
さらに、本実施形態の変形例として、左表示駆動部24の内側表面に生体センサー438(図15)を設ける構成としてもよい。生体センサー438は、HMD400の装着時に使用者のこめかみに接触し、心音、体温、脈拍、心拍等を検出する。この変形例では、ホームモードと視聴モードにおいて、生体センサー438の検出結果を表示する。かかる構成によって、マイクロフォン431のポジションに応じて生体センサー438の検出結果を表示することができる。
E.第5実施形態:
図16は、本発明の第5実施形態におけるHMDにて実行されるモード切替処理を示すフローチャートである。第5実施形態のHMDは、第1実施形態のHMD100と比較して、HMDの制御部にて実行されるモード切替処理の内容が相違する。図16に示した本実施形態のモード切替処理は、図5に示した第1実施形態のモード切替処理と比較して、各モードで実行される表示の処理が相違するだけであり、残余のステップについては同一である。すなわち、図17におけるステップS552。S562,S572,S582の処理が第1実施形態とは相違する。
さらに、第1実施形態では、生体センサーが備えられていなかったが、本第5実施形態では、生体センサーが備えられている。この生体センターは、第4実施形態で説明した生体センサー438と同じもので、第4実施形態と同じ位置に設けられている。残余の点については、第1実施形態と同一である。
図17は、ステップS552,S562,S572,S582で表示されるメニューをまとめて示す説明図である。本実施形態では、予め6つのメニューが用意されている。第1のメニューVM1は、電話通話に関わる操作を指示するためのメニューである。第2のメニューVM2は、基本的な操作を指示するためのメニューである。第3のメニューVM3は、マイクロフォン31を用いた通話に関わる操作を指示するためのメニューである。第4のメニューVM4は、映画やビデオなどの視聴に関わる操作を指示するためのメニューである。第5のメニューVM5は、生体センサーに関わる操作を指示するためのメニューである。第5のメニューVM5によれば、生体センサーの有する機能を個別にオン/オフすることができる。第6のメニューVM6は、音声と画像とに関わる操作を指示するためのメニューである。
図16のステップS552,S562,S572,S582では、第1〜第6のメニューVM1〜VM6のうちから選択された1または複数のメニューが表示される。具体的には、次のような表示がなされる。
通話モードを実行するステップS150に含まれるステップS552では、CPUは、第1のメニューVM1と第6のメニューVM6とを表示する。すなわち、通話モードでは、電話通話に関わる第1のメニューVM1と、音声と画像とに関わる第6のメニューVM6とを表示する。
ホームモードを実行するステップS160に含まれるステップS562では、CPUは、第2のメニューVM2と第5のメニューVM5と第6のメニューVM6とを表示する。すなわち、ホームモードでは、基本的な操作に関わる第2のメニューVM2と、生体センサーに関わる第5のメニューVM5と、音声と画像とに関わる第6のメニューVM6とを表示する。
発話モードを実行するステップS170に含まれるステップS572では、CPUは、第3のメニューVM3と第6のメニューVM6とを表示する。すなわち、発話モードでは、マイクロフォン31を用いた通話に関わる第3のメニューVM3と、音声と画像とに関わる第6のメニューVM6とを表示する。
視聴モードを実行するステップS180に含まれるステップS582では、CPUは、第4のメニューVM4と第5のメニューVM5と第6のメニューVM6とを表示する。すなわち、発話モードでは、視聴に関わる第4のメニューVM3と、生体センサーに関わる第5のメニューVM5と、音声と画像とに関わる第6のメニューVM6とを表示する。
すなわち、通話モード、ホームモード、発話モード、および視聴モードのうちのそれぞれでは、それぞれに対応した第1〜第4のメニューVM1〜VM4のうちの一つと、第6のメニューVM6とを表示する。さらに、通話モードと発音モードを以外のモード、すなわち、ホームモードと視聴モードでは、第5のメニューVM5も合わせて表示する。
以上のように構成された第5実施形態のHMDによれば、第1実施形態と同様に、マイクロフォンのポジションに応じて、マイクロフォンの動作、および画像表示部による表示画面が切り替わる。このために、第5実施形態のHMDによれば、第1実施形態と同様に、マイクロフォンを用いた動作だけでなく、画像表示部による表示態様も切り替えることができる。特に、本実施形態では、表示態様としてメニューがモードによって切り替わって表示される。したがって、操作性をより向上することができる。
F.変形例:
なお、この発明は前記第1〜第5実施形態およびそれらの変形例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。
F−1.変形例1:
第1実施形態では、連結部33によってアーム32を回動可能に連結することによって、アーム32の先端のマイクロフォン31の位置が複数のポジションの間で切り換え可能な構成としていた。これに対して、変形例として、連結部を回動しない、単に固定するものとし、アームをフレキシブルアームに換えた構成としてもよい。フレキシブルアームは、湾曲自在で、かつ、形状を維持可能な棒状部材であり、例えば、蛇腹状の金属部材、あるいはプラスチック製である。フレキシブルアームによって、マイクロフォンの位置を多数のポジションの間で切り換えることができる。いずれのポジションに位置するかの判定は、撮像センサーによってマイクロフォンを撮影し、撮影画像からマイクロフォンの向きや位置を検出することによって行われる。かかる構成によっても、第1実施形態と同様な効果を奏することができる。
F−2.変形例2:
各実施形態では、マイクロフォンの取り得るポジションの数を4つとしたが、これに換えて、3つとしてもよい。例えば、図4における第1のポジションP1、第2のポジションP2、および第4のポジションP4としてもよい。また、2つとしてもよい。例えば、図4における第1のポジションP1、および第2のポジションP2としてもよい。さらに、4を上回る数としてもよい。なお、所定のデバイスをオン/オフするだけでは、2つのポジションをとることになるが、3以上の数のポジションとすることで、多さいな制御が可能となる。
F−3.変形例3:
第1実施形態では、マイクロフォンのポジションは、アーム32の連結部33に対するマイクロフォンの相対的な位置であり、第2実施形態では、マイクロフォンのポジションは、イヤーピース部294に対するマイクロフォンの相対的な位置であった。すなわち、マイクロフォンとマイクロフォンを回動する軸と相対的な位置を、マイクロフォンのポジションとした。これに対して、マイクロフォンのポジションを、HMDの別の位置に対する位置としてもよいし、また、HMDを装着する使用者の所定位置(例えば、口)に対するマイクロフォンの位置としてもよい。
F−4.変形例4:
各実施形態では、表示態様の切り替えを、表示画面を別のものに切り替えることとしたが、これに換えて、同じ種類の表示画面において、表示項目の一つを別のものに切り替える構成としてもよい。すなわち、表示画面全体を切り替えるものであってもよいし、表示画面の一部を切り替えるものとしてもよい。
F−5.変形例5:
各実施形態に換えて、モード切替制御部により切り替える表示態様を、音声入力部のポジションを示す画像を表示するものとしてもよい。さらに、光学像表示部26,28を透過して視認される実際の音声入力部に重ね合わせるように、音声入力部の位置から定まるモードの名称(例えば、通話モード、ホームモード等)を表示するようにしてもよい。この構成によれば、操作者は、いずれのモードにあるかを一目瞭然に知ることができる。
F−6.変形例6:
マイク部は、第1実施形態では、画像表示部に連結されたアームにマイクロフォンを接続した構成とし、第2実施形態では、ワイヤレスイヤホンマイクとした。これらに換えて、ヘッドフォンとマイクロフォンとを有するワイヤレスヘッドセットとしてもよい。ワイヤレスヘッドセットは、Bluetooth(登録商標)によって制御部と接続される。また、マイク部は、音声入力部を備えた腕時計型のウェアラブルデバイスや、音声入力部を備えた指輪型のウェアラブルデバイス等としてもよい。これらウェアラブルデバイスは、制御部に対して、Bluetoothや、iBeacon、無線LAN等によって無線接続される。
F−7.その他の変形例:
上記実施形態では、ヘッドマウントディスプレイの構成について例示した。しかし、ヘッドマウントディスプレイの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、各構成部の追加・削除・変換等を行うことができる。
上記実施形態における、制御部と、画像表示部とに対する構成要素の割り振りは、あくまで一例であり、種々の態様を採用可能である。例えば、以下のような態様としてもよい。(i)制御部にCPUやメモリー等の処理機能を搭載、画像表示部には表示機能のみを搭載する態様、(ii)制御部と画像表示部との両方にCPUやメモリー等の処理機能を搭載する態様、(iii)制御部と画像表示部とを一体化した態様(例えば、画像表示部に制御部が含まれ眼鏡型のウェアラブルコンピューターとして機能する態様)、(iv)制御部の代わりにスマートフォンや携帯型ゲーム機を使用する態様、(v)制御部と画像表示部とを無線通信かつワイヤレス給電可能な構成とすることにより接続部(コード)を廃した態様。
上記実施形態では、説明の便宜上、制御部が送信部を備え、画像表示部が受信部を備えるものとした。しかし、上記実施形態の送信部および受信部は、いずれも、双方向通信が可能な機能を備えており、送受信部として機能することができる。また、例えば、図2に示した制御部は、有線の信号伝送路を介して画像表示部と接続されているものとした。しかし、制御部と、画像表示部とは、無線LANや赤外線通信やBluetooth(登録商標)等の無線の信号伝送路を介した接続により接続されていてもよい。
例えば、上記実施形態で示した制御部、画像表示部の構成は任意に変更することができる。具体的には、例えば、制御部からタッチパッドを省略し、十字キーのみで操作する構成としてもよい。また、制御部に操作用スティック等の他の操作用インターフェイスを備えてもよい。また、制御部にはキーボードやマウス等のデバイスを接続可能な構成として、キーボードやマウスから入力を受け付けるものとしてもよい。また、例えば、タッチパッドや十字キーによる操作入力のほか、フットスイッチ(使用者の足により操作するスイッチ)による操作入力を取得してもよい。例えば、画像表示部に赤外線センサー等の視線検知部を設けた上で、使用者の視線を検知し、視線の動きに対応付けられたコマンドによる操作入力を取得してもよい。例えば、カメラを用いて使用者のジェスチャーを検知し、ジェスチャーに対応付けられたコマンドによる操作入力を取得してもよい。ジェスチャー検知の際は、使用者の指先や、使用者の手に付けられた指輪や、使用者の手にする医療器具等を動き検出のための目印にすることができる。フットスイッチや視線による操作入力を取得可能とすれば、使用者が手を離すことが困難である作業においても、入力情報取得部は、使用者からの操作入力を取得することができる。
図18および図19は、変形例におけるHMDの外観の構成を示す説明図である。図18の例の場合、画像表示部20xは、右光学像表示部26に代えて右光学像表示部26xを備え、左光学像表示部28に代えて左光学像表示部28xを備えている。右光学像表示部26xと左光学像表示部28xとは、上記実施形態の光学部材よりも小さく形成され、HMDの装着時における使用者の右眼および左眼の斜め上にそれぞれ配置されている。図19の例の場合、画像表示部20yは、右光学像表示部26に代えて右光学像表示部26yを備え、左光学像表示部28に代えて左光学像表示部28yを備えている。右光学像表示部26yと左光学像表示部28yとは、上記実施形態の光学部材よりも小さく形成され、HMDの装着時における使用者の右眼および左眼の斜め下にそれぞれ配置されている。このように、光学像表示部は使用者の眼の近傍に配置されていれば足りる。また、光学像表示部を形成する光学部材の大きさも任意であり、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のHMDとして実現することもできる。
例えば、ヘッドマウントディスプレイは、両眼タイプの透過型ヘッドマウントディスプレイであるものとしたが、単眼タイプのヘッドマウントディスプレイとしてもよい。また、使用者がヘッドマウントディスプレイを装着した状態において外景の透過が遮断される非透過型ヘッドマウントディスプレイとして構成してもよい。
例えば、画像処理部、表示制御部、音声処理部等の機能部は、CPUがROMやハードディスクに格納されているコンピュータープログラムをRAMに展開して実行することにより実現されるものとして記載した。しかし、これら機能部は、当該機能を実現するために設計されたASIC(Application Specific Integrated Circuit:特定用途向け集積回路)を用いて構成されてもよい。
例えば、上記実施形態では、画像表示部を眼鏡のように装着するヘッドマウントディスプレイであるとしているが、画像表示部が通常の平面型ディスプレイ装置(液晶ディスプレイ装置、プラズマディスプレイ装置、有機ELディスプレイ装置等)であるとしてもよい。この場合にも、制御部と画像表示部との間の接続は、有線の信号伝送路を介した接続であってもよいし、無線の信号伝送路を介した接続であってもよい。このようにすれば、制御部を、通常の平面型ディスプレイ装置のリモコンとして利用することもできる。
また、画像表示部として、第1実施形態のようにヘッドバンドを掛けることによって装着する構成や、第2実施形態のように眼鏡のように装着する構成に代えて、例えば帽子のように装着する画像表示部といった他の形状の画像表示部を採用してもよい。また、スピーカーは、イヤホンに換えてもよく、イヤホンは、耳掛け型やヘッドバンド型を採用してもよい。また、例えば、自動車や飛行機等の車両に搭載されるヘッドアップディスプレイ(HUD、Head-Up Display)として構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。
例えば、上記実施形態では、表示駆動部は、バックライトと、バックライト制御部と、LCDと、LCD制御部と、投写光学系を用いて構成されるものとした。しかし、上記の態様はあくまで例示である。表示駆動部は、これらの構成部と共に、またはこれらの構成部に代えて、他の方式を実現するための構成部を備えていてもよい。例えば、表示駆動部は、有機EL(有機エレクトロルミネッセンス、Organic Electro-Luminescence)のディスプレイと、有機EL制御部と、投写光学系とを備える構成としてもよい。例えば、表示駆動部は、LCDに代えてDMD(デジタル・マイクロミラー・デバイス)等を用いることもできる。例えば、表示駆動部は、RGBの各色光を発生させるための色光源とリレーレンズを含む信号光変調部と、MEMSミラーを含む走査光学系と、これらを駆動する駆動制御回路と、を含むように構成されてもよい。このように、有機ELやDMDやMEMSミラーを用いても、「表示駆動部における射出領域」とは、表示駆動部から画像光が実際に射出される領域であることに変わりはなく、各デバイス(表示駆動部)における射出領域を上記実施形態と同様に制御することによって、上記実施形態と同様の効果を得ることができる。また、例えば、表示駆動部は、画素信号に応じた強度のレーザーを、使用者の網膜へ出射する1つ以上のレーザーを含むように構成されてもよい。この場合、「表示駆動部における射出領域」とは、表示駆動部から画像を表すレーザー光が実際に射出される領域を表す。レーザー(表示駆動部)におけるレーザー光の射出領域を上記実施形態と同様に制御することによって、上記実施形態と同様の効果を得ることができる。
本発明は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
10…制御部(コントローラー)、12…点灯部、14…タッチパッド、16…十字キー、18…電源スイッチ、20…画像表示部、21…右保持部、22…右表示駆動部、23…左保持部、24…左表示駆動部、26…右光学像表示部、28…左光学像表示部、30…マイク部、31…マイクロフォン、32…アーム、33…連結部、40…接続コード、51…送信部、52…送信部、53…受信部、54…受信部、61…カメラ、90…ヘッドフォン部、91…ヘッドバンド、92,93…イヤーカップ、94,95…右スピーカー、100…頭部装着型表示装置(HMD)、110…入力情報取得部、120…記憶部、130…電源、132…無線通信部、140…CPU、160…画像処理部、162…表示制御部、164…ポジション判定部、166…モード切替制御部、170…音声処理部、180…インターフェイス、201…右バックライト制御部、202…左バックライト制御部、211…右LCD制御部、212…左LCD制御部、221…右バックライト、222…左バックライト、241…右LCD、242…左LCD、251…右投写光学系、252…左投写光学系、261…右導光板、262…左導光板、290…ワイヤレスイヤホンマイク、292…本体部、294…イヤーピース部、296…マイクロフォン、298…6軸センサー、300…HMD、320…画像表示部、321…右保持部、322…右表示駆動部、323…左保持部、324…左表示駆動部、326…右光学像表示部、328…左光学像表示部、331…マイクロフォン、380…スライド機構、381…ガイドレール、382…スライド部材、390…装着帯、391…装着基部、392…ベルト部、393…連結部、395…ステレオカメラ、430…マイク部、431…マイクロフォン、432…アーム、433…連結部、434…ミュートボタン、438…生体センサー,440…アーム撮影用カメラ、PC…パーソナルコンピューター、PH…携帯電話端末、GM…ゲーム

Claims (14)

  1. 画像を表示する画像表示部を備える頭部装着型表示装置であって、
    音声を電気信号に変換する音声入力部を有し、前記音声入力部の位置を複数のポジションの間で切り換え可能なマイク部と、
    前記音声入力部が前記複数のポジションのうちのいずれのポジションに位置するかを判定するポジション判定部と、
    前記判定されたポジションに基づいて、前記音声入力部の動作、および前記画像表示部による表示態様をそれぞれ切り替えるモード切替制御部と、
    音声を出力する音声出力部と、を備え、
    前記モード切替制御部は、
    前記判定されたポジションが、前記複数のポジションの中で使用者の口から一番遠いポジションであるときに、前記音声出力部を動作状態とし、前記画像表示部に所定の画像を表示するモードへの切り替えを行う、
    頭部装着型表示装置。
  2. 画像を表示する画像表示部を備える頭部装着型表示装置であって、
    音声を電気信号に変換する音声入力部を有し、前記音声入力部の位置を複数のポジションの間で切り換え可能なマイク部と、
    前記音声入力部が前記複数のポジションのうちのいずれのポジションに位置するかを判定するポジション判定部と、
    前記判定されたポジションに基づいて、前記音声入力部の動作、および前記画像表示部による表示態様をそれぞれ切り替えるモード切替制御部と、
    を備え、
    前記モード切替制御部は、
    前記ポジション判定部によって判定されたポジションが、所定のポジションであるときに、生体センサーに関わる操作を指示するためのメニュー画面を表示する頭部装着型表示装置。
  3. 請求項に記載の頭部装着型表示装置であって、
    音声を出力する音声出力部を備え、
    前記モード切替制御部は、
    前記判定されたポジションに基づいて、さらに前記音声出力部の動作を切り替える、頭部装着型表示装置。
  4. 請求項1または請求項3に記載の頭部装着型表示装置であって、
    前記モード切替制御部は、
    前記判定されたポジションが、前記複数のポジションの中で使用者の口に一番近いポジションであるときに、前記音声入力部および前記音声出力部をそれぞれ動作状態として外部との通話を可能とする通話モードへの切り替えを行う、頭部装着型表示装置。
  5. 請求項4に記載の頭部装着型表示装置であって、
    外景の少なくとも一部を撮影するカメラを備え、
    前記モード切替制御部は、
    前記通話モードの際の前記画像表示部による表示態様の切り替えとして、前記カメラを用いた撮影のための画面に表示を切り替える、頭部装着型表示装置。
  6. 請求項に記載の頭部装着型表示装置であって、
    前記モード切替制御部は、
    前記判定されたポジションが、前記複数のポジションの中で使用者の口から一番遠いポジションであるときに、前記音声出力部を動作状態とし、前記画像表示部に所定の画像を表示するモードへの切り替えを行う、頭部装着型表示装置。
  7. 請求項4から請求項6までのいずれか一項に記載の頭部装着型表示装置であって、
    前記モード切替制御部は、
    前記判定されたポジションが、前記複数のポジションの中の使用者の口に一番近いポジションと前記使用者の口から一番遠いポジションとの間の所定のポジションであるときに、前記音声入力部を動作状態にし、前記音声入力部で取得された音声に応じた操作項目を命令するためのメニュー画面を表示するホームモードへの切り替えを行う、頭部装着型表示装置。
  8. 請求項1または請求項2に記載の頭部装着型表示装置であって、
    前記モード切替制御部は、
    前記ポジション判定部によって判定されたポジションが、所定のポジションであるときに、前記音声入力部を動作状態にし、前記音声入力部で取得された音声に応じた操作項目を命令するためのメニュー画面を表示するホームモードへの切り替えを行う、頭部装着型表示装置。
  9. 請求項1から請求項8までのいずれか一項に記載の頭部装着型表示装置であって、
    前記画像表示部は、外景を透過し得る、頭部装着型表示装置。
  10. 請求項1から請求項9までのいずれか一項に記載の頭部装着型表示装置であって、
    前記マイク部は、
    前記音声入力部が先端に接続されるとともに、前記音声入力部の反対側の端部が、使用者の頭部に装着可能な装着部の所定位置に回動可能に連結されるアーム
    を有する、頭部装着型表示装置。
  11. 請求項1から請求項9までのいずれか一項に記載の頭部装着型表示装置であって、
    前記マイク部は、
    前記音声入力部が先端に接続されるとともに、長手方向において伸縮可能なアーム
    を有する、頭部装着型表示装置。
  12. 請求項1から請求項9までのいずれか一項に記載の頭部装着型表示装置であって、
    前記画像表示部は、使用者の頭部に装着可能な装着部に対して回動可能に設けられ、前記音声入力部は、前記画像表示部の所定位置に配置される、頭部装着型表示装置。
  13. 画像を表示する画像表示部と、音声を電気信号に変換する音声入力部を有し、前記音声入力部の位置を複数のポジションの間で切り換え可能なマイク部と、音声を出力する音声出力部と、を備える頭部装着型表示装置の制御方法であって、
    前記音声入力部が前記複数のポジションのうちのいずれのポジションに位置するかを判定する工程と、
    前記判定されたポジションが、前記複数のポジションの中で使用者の口から一番遠いポジションであるときに、前記音声出力部を動作状態とし、前記画像表示部に所定の画像を表示するモードへの切り替えを行う工程と、
    を備える、頭部装着型表示装置の制御方法。
  14. 画像を表示する画像表示部と、音声を電気信号に変換する音声入力部を有し、前記音声入力部の位置を複数のポジションの間で切り換え可能なマイク部と、音声を出力する音声出力部と、を備える頭部装着型表示装置を制御するためのコンピュータープログラムであって、
    前記音声入力部が前記複数のポジションのうちのいずれのポジションに位置するかを判定する機能と、
    前記判定されたポジションが、前記複数のポジションの中で使用者の口から一番遠いポジションであるときに、前記音声出力部を動作状態とし、前記画像表示部に所定の画像を表示するモードへの切り替えを行う機能と、
    をコンピューターに実現させる、コンピュータープログラム。
JP2015217555A 2015-02-13 2015-11-05 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム Active JP6641900B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015217555A JP6641900B2 (ja) 2015-11-05 2015-11-05 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
US15/016,167 US9794684B2 (en) 2015-02-13 2016-02-04 Head-mounted display device, control method for the same, and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015217555A JP6641900B2 (ja) 2015-11-05 2015-11-05 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム

Publications (2)

Publication Number Publication Date
JP2017092596A JP2017092596A (ja) 2017-05-25
JP6641900B2 true JP6641900B2 (ja) 2020-02-05

Family

ID=58770818

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015217555A Active JP6641900B2 (ja) 2015-02-13 2015-11-05 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム

Country Status (1)

Country Link
JP (1) JP6641900B2 (ja)

Also Published As

Publication number Publication date
JP2017092596A (ja) 2017-05-25

Similar Documents

Publication Publication Date Title
US9794684B2 (en) Head-mounted display device, control method for the same, and computer program
JP6693060B2 (ja) 表示システム、表示装置、表示装置の制御方法、及び、プログラム
US9959591B2 (en) Display apparatus, method for controlling display apparatus, and program
JP6155622B2 (ja) 表示装置、頭部装着型表示装置、表示装置の制御方法、および、頭部装着型表示装置の制御方法
CN106199963B (zh) 显示装置及其控制方法以及计算机程序
JP6550885B2 (ja) 表示装置、表示装置の制御方法、及び、プログラム
JP6380091B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP6488786B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP6094305B2 (ja) 頭部装着型表示装置、および、頭部装着型表示装置の制御方法
JP2018148257A (ja) 頭部装着型表示装置およびその制御方法
JP6600945B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP2019128693A (ja) 頭部装着型表示装置、及び頭部装着型表示装置の制御方法
JP6303274B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
TW201617826A (zh) 顯示裝置、顯示裝置之控制方法及程式
JP2018137505A (ja) 表示装置およびその制御方法
JP2017116562A (ja) 表示装置、表示装置の制御方法、及び、プログラム
JP2017182228A (ja) 入力装置、入力方法、コンピュータープログラム
JP2017120302A (ja) 表示装置、表示システム、表示装置の制御方法、及び、プログラム
JP6638195B2 (ja) 表示装置、表示装置の制御方法、および、プログラム
JP2018042004A (ja) 表示装置、頭部装着型表示装置、及び、表示装置の制御方法
JP6582374B2 (ja) 表示装置およびその制御方法、並びにコンピュータープログラム
JP6766403B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、コンピュータープログラム
JP6641900B2 (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
JP2016033763A (ja) 表示装置、表示装置の制御方法、および、プログラム
JP6451222B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181019

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190816

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190924

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191216

R150 Certificate of patent or registration of utility model

Ref document number: 6641900

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150