JP6565202B2 - 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム - Google Patents

頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム Download PDF

Info

Publication number
JP6565202B2
JP6565202B2 JP2015025930A JP2015025930A JP6565202B2 JP 6565202 B2 JP6565202 B2 JP 6565202B2 JP 2015025930 A JP2015025930 A JP 2015025930A JP 2015025930 A JP2015025930 A JP 2015025930A JP 6565202 B2 JP6565202 B2 JP 6565202B2
Authority
JP
Japan
Prior art keywords
unit
head
display device
voice input
mounted display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015025930A
Other languages
English (en)
Other versions
JP2016149661A (ja
Inventor
薫 千代
薫 千代
高野 正秀
正秀 高野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2015025930A priority Critical patent/JP6565202B2/ja
Priority to US15/016,167 priority patent/US9794684B2/en
Publication of JP2016149661A publication Critical patent/JP2016149661A/ja
Application granted granted Critical
Publication of JP6565202B2 publication Critical patent/JP6565202B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Telephone Function (AREA)

Description

本発明は、透過型の頭部装着型表示装置に関する。
従来、使用者の眼前で画像を表示することのできる頭部装着型表示装置が、種々、提案されている。これらの頭部装着型表示装置の一つとして、特許文献1に示すように、位置を調整可能に設けられ、使用者の音声を集音するマイク部を備えたものがある。この頭部装着型表示装置では、マイク部を用いた通話動作を、マイク部の調整位置に応じてオンオフ切り替えることができることから、操作性が向上される。
特開2012−191624号公報
しかしながら、前記従来の頭部装着型表示装置では、通話動作の切り替えの操作性を向上できるだけで、頭部装着型表示装置の主要な動作についての操作性の向上に関しては、十分な工夫がなされていないのが実情であった。そのほか、従来の頭部装着型表示装置においては、セキュリティの向上、省電力化、装置構成のコンパクト化、低コスト化、省資源化、製造の容易化等が望まれていた。
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の
形態として実現することが可能である。
[形態1]
本開示の一形態によれば、画像を表示する画像表示部を備える頭部装着型表示装置が提供される。この形態の頭部装着型表示装置は、音声を電気信号に変換する音声入力部を有し、前記音声入力部の位置を複数のポジションの間で切り換え可能なマイク部と、前記音声入力部が前記複数のポジションのうちのいずれのポジションに位置するかを判定するポジション判定部と、前記判定されたポジションに基づいて、前記音声入力部の動作、および前記画像表示部による表示態様を、前記音声入力部の動作と前記画像表示部による表示態様との組み合わせであって予め記憶された2以上の組み合わせのうちのいずれかに切り替えるモード切替制御部と、を備える。
(1)本発明の一形態は、画像を表示する画像表示部を備える頭部装着型表示装置である。この頭部装着型表示装置は、音声を電気信号に変換する音声入力部を有し、前記音声入力部の位置を複数のポジションの間で切り換え可能なマイク部と、前記音声入力部が前記複数のポジションのうちのいずれのポジションに位置するかを判定するポジション判定部と、前記判定されたポジションに基づいて、前記音声入力部の動作、および前記画像表示部による表示態様をそれぞれ切り替えるモード切替制御部と、を備える。この形態の頭部装着型表示装置によれば、音声入力部のポジションに応じて、音声入力部の動作、および画像表示部による表示態様が切り替わる。このために、音声入力部を用いた動作だけでなく、頭部装着型表示装置の主要な動作である画像表示部による表示態様も切り替えることができる。したがって、操作性を向上することができるという効果を奏する。
(2)前記形態の頭部装着型表示装置において、前記画像表示部は、外景を透過し得る構成であってもよい。この構成によれば、透過型の部装着型表示装置において、操作性を向上することができる。
(3)前記形態の頭部装着型表示装置において、音声を出力する音声出力部を備え、前記モード切替制御部は、前記判定されたポジションに基づいて、さらに前記音声出力部の動作を切り替えるようにしてもよい。この形態の頭部装着型表示装置によれば、音声入力部のポジションに応じて、音声出力部の動作も切り替わる。したがって、操作性をより向上することができる。
(4)前記形態の頭部装着型表示装置において、前記モード切替制御部は、前記判定されたポジションが、前記複数のポジションの中で使用者の口に一番近いポジションであるときに、前記音声入力部および前記音声出力部をそれぞれ動作状態として外部との通話を可能とする通話モードへの切り替えを行うようにしてもよい。この形態の頭部装着型表示装置によれば、通話モードへの切り替えの操作性を向上することができる。
(5)前記形態の頭部装着型表示装置において、外景の少なくとも一部を撮影するカメラを備え、前記モード切替制御部は、前記通話モードの際の前記画像表示部による表示態様の切り替えとして、前記カメラを用いた撮影のための画面に表示を切り替えるようにしてもよい。この形態の頭部装着型表示装置によれば、通話モードの最中に、簡単な操作で撮影が可能となることから、操作性をより向上することができる。
(6)前記形態の頭部装着型表示装置において、前記モード切替制御部は、前記判定されたポジションが、前記複数のポジションの中で使用者の口から一番遠いポジションであるときに、前記音声出力部を動作状態とし、前記画像表示部に所定の画像を表示するモードへの切り替えを行うようにしてもよい。この形態の頭部装着型表示装置によれば、簡単な操作で画像の閲覧が可能となることから、操作性をより向上することができる。
(7)前記形態の頭部装着型表示装置において、前記モード切替制御部は、前記判定されたポジションが、前記複数のポジションの中の使用者の口に一番近いポジションと前記使用者の口から一番遠いポジションとの間の所定のポジションであるときに、前記音声入力部を動作状態にし、前記音声入力部で取得された音声に応じた操作項目を命令するためのメニュー画面を表示するメニューモードへの切り替えを行うようにしてもよい。この形態の頭部装着型表示装置によれば、簡単な操作でメニュー画面を表示することが可能となることから、操作性をより向上することができる。
(8)前記形態の頭部装着型表示装置において、前記ポジション判定部によって判定されたポジションが、所定のポジションであるときに、前記音声入力部を動作状態にし、前記音声入力部で取得された音声に応じた操作項目を命令するためのメニュー画面を表示するメニューモードへの切り替えを行うようにしてもよい。この形態の頭部装着型表示装置によれば、簡単な操作でメニュー画面を表示することが可能となることから、操作性をより向上することができる。
上述した本発明の各形態の有する複数の構成要素はすべてが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな他の構成要素との差し替え、限定内容の一部削除を行なうことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。
例えば、本発明の一形態は、画像表示部と、マイク部と、ポジション判定部と、モード切替制御部と、の4つの要素の内の一つ以上の要素を備えた装置として実現可能である。すなわち、この装置は、画像表示部を有していてもよく、有していなくてもよい。また、装置は、マイク部を有していてもよく、有していなくてもよい。また、装置は、ポジション判定部を有していてもよく、有していなくてもよい。また、装置は、モード切替制御部を有していてもよく、有していなくてもよい。表示部は、例えば、画像を表示するものとしてもよい。マイク部は、例えば、音声を電気信号に変換する音声入力部を有し、音声入力部の位置を複数のポジションの間で切り換え可能なようにしてもよい。ポジション判定部は、例えば、音声入力部が複数のポジションのうちのいずれのポジションに位置するかを判定するようにしてもよい。モード切替制御部は、例えば、前記判定されたポジションに基づいて、音声入力部の動作、および画像表示部による表示態様をそれぞれ切り替えるようにしてもよい。こうした装置は、例えば、頭部装着型表示装置として実現できるが、頭部装着型表示装置以外の他の装置としても実現可能である。このような形態によれば、使用者の操作性の向上や、検出精度の向上、装置構成のコンパクト化、低コスト化、省資源化、製造の容易化等の種々の課題の少なくとも1つを解決することができる。前述した頭部装着型表示装置の各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。
本発明は、頭部装着型表示装置以外の種々の形態で実現することも可能である。例えば、表示装置、頭部装着型表示装置の制御方法、表示装置の制御方法、頭部装着型表示システム、表示システム、頭部装着型表示システムの機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、表示システムの機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体等の形態で実現できる。
本発明の第1実施形態における頭部装着型表示装置の概略構成を示す説明図である。 HMDの構成を機能的に示すブロック図である。 HMDによる拡張現実表示の一例を示す説明図である。 マイクロフォンの回動の様子を示す説明図である。 モード切替処理の手順を示すフローチャートである。 通話モードによるカメラ撮影画面の一例を示す説明図である。 メニューモードによるメニュー画面の一例を示す説明図である。 発話モードによるマイクマークの一例を示す説明図である。 視聴モードによる映像再生画面の一例を示す説明図である。 ワイヤレスイヤホンマイクを示す説明図である。 変形例におけるHMDの外観の構成を示す説明図である。
A.第1実施形態:
A−1.頭部装着型表示装置の基本構成:
図1は、本発明の第1実施形態における頭部装着型表示装置の概略構成を示す説明図である。頭部装着型表示装置100は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ(Head Mounted Display、HMD)とも呼ばれる。HMD100は、グラスを通過して視認される外界の中に画像が浮かび上がる透過型の頭部装着型表示装置である。
HMD100は、使用者の頭部に装着可能はヘッドフォン部90と、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部20と、使用者の頭部に装着された状態において使用者の音声を取得するマイク部30と、画像表示部20、マイク部30、およびヘッドフォン部90を制御する制御部(コントローラー)10と、を備えている。
ヘッドフォン部90は、頭部に沿って装着可能なように湾曲したヘッドバンド91と、ヘッドバンド91の両端に設けられた右左のイヤーカップ92,93とを備える。右側のイヤーカップ92の内部には音響の右チャンネル用のスピーカー94(図2)が設けられており、左側のイヤーカップ93の内部には音響の左チャンネル用のスピーカー95が設けられている。ヘッドバンド91には、画像表示部20が固定した形で取り付けられている。
画像表示部20は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部20は、右保持部21と、右表示駆動部22と、左保持部23と、左表示駆動部24と、右光学像表示部26と、左光学像表示部28と、を含んでいる。右光学像表示部26および左光学像表示部28は、それぞれ、使用者がヘッドバンド91を装着した際に使用者の右および左の眼前に位置する。右光学像表示部26の一端と左光学像表示部28の一端とは、使用者が画像表示部20を装着した際の使用者の眉間に対応する位置で、互いに接続されている。
右保持部21は、右光学像表示部26の他端である端部ERから略水平方向に延び、ヘッドバンド91の右側の端部付近に固定されている。同様に、左保持部23は、左光学像表示部28の他端である端部ELから略水平方向に延び、ヘッドバンド91の左側の端部付近に固定されている。右保持部21および左保持部23は、ヘッドバンド91を頭部に装着した使用者の眼前に光学像表示部26,28が位置するよう、光学像表示部26,28を保持する。
右表示駆動部22は、右保持部21の内側、換言すれば、使用者が画像表示部20を装着した際の使用者の頭部に対向する側に配置されている。また、左表示駆動部24は、左保持部23の内側に配置されている。なお、以降では、右保持部21および左保持部23を区別せず「保持部」として説明する。同様に、右表示駆動部22および左表示駆動部24を区別せず「表示駆動部」として説明し、右光学像表示部26および左光学像表示部28を区別せず「光学像表示部」として説明する。
表示駆動部は、液晶ディスプレイ(Liquid Crystal Display、以下「LCD」と呼ぶ)241、242や投写光学系251、252等を含む(図2参照)。表示駆動部の構成の詳細は後述する。光学部材としての光学像表示部は、導光板261、262(図2参照)と調光板とを含んでいる。導光板261、262は、光透過性の樹脂材料等によって形成され、表示駆動部から出力された画像光を使用者の眼に導く。調光板は、薄板状の光学素子であり、画像表示部20の表側(使用者の眼の側とは反対の側)を覆うように配置されている。調光板は、導光板261、262を保護し、導光板261、262の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、使用者の眼に入る外光量を調整して虚像の視認のしやすさを調整することができる。なお、調光板は省略可能である。
マイク部30は、マイクロフォン31と、アーム32と、連結部33と、を有する。マイクロフォン31は、音声を電気信号に変換する音声入力部であり、アーム32の先端に接続されている。アーム32のマイクロフォン31とは反対側の端部は、連結部33によって、画像表示部20の右イヤーカップ92の上面92aに連結されている。連結されることで、マイクロフォン31は、使用者の口の前に位置する。なお、連結部33は、アーム32を回動可能に、かつ任意のポジションに固定可能に連結するが、詳細については後述する。
画像表示部20、マイク部30、およびヘッドフォン部90の一体物と、制御部10との間は、接続コード40によって接続される。接続コード40の一端は、ヘッドフォン部90の右イヤーカップ92内に挿入され、必要に応じて分岐され、画像表示部20の左右の表示駆動部22,24、左右のスピーカー94,95や、マイク部30のマイクロフォン31に接続されている。接続コード40の他端は、制御部10に接続されている。接続コード40における右イヤーカップ92と反対側の端部と、制御部10とのそれぞれには、互いに嵌合するコネクター(図示省略)が設けられており、接続コード40のコネクターと制御部10のコネクターとの嵌合/嵌合解除により、上記の一体物と制御部10との間が接続されたり切り離されたりする。接続コード40には、例えば、金属ケーブルや光ファイバーを採用することができる。
制御部10は、HMD100を制御するための装置である。制御部10は、点灯部12と、タッチパッド14と、十字キー16と、電源スイッチ18とを含んでいる。点灯部12は、HMD100の動作状態(例えば、電源のON/OFF等)を、その発光態様によって通知する。点灯部12としては、例えば、LED(Light Emitting Diode)を用いることができる。タッチパッド14は、タッチパッド14の操作面上での接触操作を検出して、検出内容に応じた信号を出力する。タッチパッド14としては、静電式や圧力検出式、光学式といった種々のタッチパッドを採用することができる。十字キー16は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ18は、スイッチのスライド操作を検出することで、HMD100の電源の状態を切り替える。
図2は、HMD100の構成を機能的に示すブロック図である。制御部10は、入力情報取得部110と、記憶部120と、電源130と、無線通信部132と、GPSモジュール134と、CPU140と、インターフェイス180と、送信部(Tx)51および52とを備え、各部は図示しないバスにより相互に接続されている。
入力情報取得部110は、例えば、タッチパッド14や十字キー16、電源スイッチ18などに対する操作入力に応じた信号を取得する。記憶部120は、ROM、RAM、DRAM、ハードディスク等によって構成されている。
電源130は、HMD100の各部に電力を供給する。電源130としては、例えば、リチウムポリマーバッテリー、リチウムイオンバッテリーなどの二次電池を用いることができる。さらに、二次電池に替えて、一次電池や燃料電池でもよいし、無線給電を受けて動作するようにしてもよい。さらには、太陽電池とキャパシターから給電を受けるようにしてもよい。無線通信部132は、無線LANやBluetooth(登録商標)、iBeacon(登録商標)といった所定の無線通信規格に則って、他の機器との間で無線通信を行う。GPSモジュール134は、GPS衛星からの信号を受信することにより、自身の現在位置を検出する。
CPU140は、記憶部120に格納されているコンピュータープログラムを読み出して実行することにより、オペレーティングシステム(ОS)150、画像処理部160、表示制御部162、ポジション判定部164、モード切替制御部166、および音声処理部170として機能する。
画像処理部160は、インターフェイス180や無線通信部132を介して入力されるコンテンツ(映像)に基づいて信号を生成する。そして、画像処理部160は、生成した信号を、接続コード40を介して画像表示部20に供給することで、画像表示部20を制御する。画像表示部20に供給するための信号は、アナログ形式とディジタル形式の場合で異なる。アナログ形式の場合、画像処理部160は、クロック信号PCLKと、垂直同期信号VSyncと、水平同期信号HSyncと、画像データDataとを生成し、送信する。具体的には、画像処理部160は、コンテンツに含まれる画像信号を取得する。取得した画像信号は、例えば動画像の場合、一般的に1秒あたり30枚のフレーム画像から構成されているアナログ信号である。画像処理部160は、取得した画像信号から垂直同期信号VSyncや水平同期信号HSync等の同期信号を分離し、それらの周期に応じて、PLL回路等によりクロック信号PCLKを生成する。画像処理部160は、同期信号が分離されたアナログ画像信号を、A/D変換回路等を用いてディジタル画像信号に変換する。画像処理部160は、変換後のディジタル画像信号を、RGBデータの画像データDataとして、1フレームごとに記憶部120内のDRAMに格納する。
一方、ディジタル形式の場合、画像処理部160は、クロック信号PCLKと、画像データDataとを生成し、送信する。具体的には、コンテンツがディジタル形式の場合、クロック信号PCLKが画像信号に同期して出力されるため、垂直同期信号VSyncおよび水平同期信号HSyncの生成と、アナログ画像信号のA/D変換とが不要となる。なお、画像処理部160は、記憶部120に格納された画像データDataに対して、解像度変換処理や、輝度、彩度の調整といった種々の色調補正処理や、キーストーン補正処理等の画像処理を実行してもよい。
画像処理部160は、生成されたクロック信号PCLK、垂直同期信号VSync、水平同期信号HSyncと、記憶部120内のDRAMに格納された画像データDataとを、送信部51,52を介してそれぞれ送信する。なお、送信部51を介して送信される画像データDataを「右眼用画像データData1」とも呼び、送信部52を介して送信される画像データDataを「左眼用画像データData2」とも呼ぶ。送信部51、52は、制御部10と画像表示部20との間におけるシリアル伝送のためのトランシーバーとして機能する。
表示制御部162は、右表示駆動部22および左表示駆動部24を制御する制御信号を生成する。具体的には、表示制御部162は、制御信号により、右LCD制御部211による右LCD241の駆動ON/OFFや、右バックライト制御部201による右バックライト221の駆動ON/OFF、左LCD制御部212による左LCD242の駆動ON/OFFや、左バックライト制御部202による左バックライト222の駆動ON/OFFなどを個別に制御することにより、右表示駆動部22および左表示駆動部24のそれぞれによる画像光の生成および射出を制御する。表示制御部162は、右LCD制御部211と左LCD制御部212とに対する制御信号を、送信部51および52を介してそれぞれ送信する。同様に、表示制御部162は、右バックライト制御部201と左バックライト制御部202とに対する制御信号を、それぞれ送信する。
ポジション判定部164は、後述するポジションセンサー35と協働して、マイク部30のマイクロフォン31がいずれのポジションに位置するかを判定する。モード切替制御部166は、前記判定されたポジションに基づいて、マイクロフォン31の動作、および画像表示部20による表示態様をそれぞれ切り替える。ポジション判定部164およびモード切替制御部166の構成については、後ほど詳述する。
音声処理部170は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材46に接続された右イヤーカップ92内のスピーカー94および左イヤーカップ93内のスピーカー95に対して供給する。なお、例えば、Dolby(登録商標)システムを採用した場合、音声信号に対する処理がなされ、右左のスピーカー94,95からは、それぞれ、例えば周波数等が変えられた異なる音が出力される。
インターフェイス180は、制御部10に対して、コンテンツの供給元となる種々の外部機器OAを接続するためのインターフェイスである。外部機器ОAとしては、例えば、パーソナルコンピューターPCや携帯電話端末PH、ゲーム端末GM等がある。インターフェイス180としては、例えば、USBインターフェイスや、マイクロUSBインターフェイス、メモリーカード用インターフェイス等を用いることができる。
画像表示部20は、右表示駆動部22と、左表示駆動部24と、右光学像表示部26としての右導光板261と、左光学像表示部28としての左導光板262と、カメラ61(図1も参照)と、9軸センサー66と、を備えている。
カメラ61は、RGBカメラであり、使用者が画像表示部20を装着した際の使用者の鼻根部に対応する位置に配置されている。そのため、カメラ61は、HMD100の所定の向き、すなわち、使用者が画像表示部20を頭部に装着した状態において使用者が向いている方向の外界をカラー撮像する。なお、カメラ61は、RGBカメラに換えて、白黒カメラとすることができる。
9軸センサー66は、加速度(3軸)、角速度(3軸)、地磁気(3軸)を検出するモーションセンサーであり、本実施形態では使用者の眉間に対応する位置に配置されている。9軸センサー66は、画像表示部20に設けられているため、画像表示部20が使用者の頭部に装着されているときには、使用者の頭部の動きを検出する。検出された頭部の動きから画像表示部20の向き、すなわち、使用者の視界が特定される。
右表示駆動部22は、受信部(Rx)53と、光源として機能する右バックライト(BL)制御部201および右バックライト(BL)221と、表示素子として機能する右LCD制御部211および右LCD241と、右投写光学系251とを含んでいる。なお、右バックライト制御部201と、右LCD制御部211と、右バックライト221と、右LCD241とを総称して「画像光生成部」とも呼ぶ。
受信部53は、制御部10と画像表示部20との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部201は、入力された制御信号に基づいて、右バックライト221を駆動する。右バックライト221は、例えば、LEDやエレクトロルミネセンス(EL)等の発光体である。右LCD制御部211は、受信部53を介して入力されたクロック信号PCLKと、垂直同期信号VSyncと、水平同期信号HSyncと、右眼用画像データData1とに基づいて、右LCD241を駆動する。右LCD241は、複数の画素をマトリクス状に配置した透過型液晶パネルである。右LCD241は、マトリクス状に配置された各画素位置の液晶を駆動することによって、右LCD241を透過する光の透過率を変化させることにより、右バックライト221から照射される照明光を、画像を表す有効な画像光へと変調する。
右投写光学系251は、右LCD241から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部26としての右導光板261は、右投写光学系251から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼REに導く。光学像表示部は、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いてもよいし、半透過反射膜を用いてもよい。なお、HMD100が画像光を出射することを、本明細書では「画像を表示する」とも呼ぶ。
左表示駆動部24は、右表示駆動部22と同様の構成を有している。すなわち、左表示駆動部24は、受信部(Rx)54と、光源として機能する左バックライト(BL)制御部202および左バックライト(BL)222と、表示素子として機能する左LCD制御部212および左LCD242と、左投写光学系252とを含んでいる。右LCD241と同様に、左LCD242は、マトリクス状に配置された各画素位置の液晶を駆動することによって、左LCD242を透過する光の透過率を変化させることにより、左バックライト222から照射される照明光を、画像を表す有効な画像光へと変調する。なお、本実施形態ではバックライト方式を採用することとしたが、フロントライト方式や、反射方式を用いて画像光を射出してもよい。
また、制御部10は、マイクロフォン31から出力される音声信号や、後述するポジションセンサー35から出力されるポジション信号などを受信し、これら信号に応じた各種の処理を実行する。ポジションセンサー35からのポジション信号は、制御部10内のポジション判定部164に送られる。
図3は、HMD100による拡張現実表示の一例を示す説明図である。図3では、使用者の視界VRを例示している。上述のようにして、HMD100の使用者の両眼に導かれた画像光が使用者の網膜に結像することにより、使用者は拡張現実(AR)としての画像VIを視認する。図3の例では、画像VIは、HMD100のOSの待ち受け画面である。また、光学像表示部26,28が外界SCからの光を透過することで、使用者は外界SCを視認する。このように、本実施形態のHMDの使用者は、視界VRのうち画像VIが表示された部分については、画像VIと、画像VIの背後に外界SCと、を見ることができる。また、視界VR1のうち画像VIが表示されていない部分については、外界SCだけを見ることができる。
A−2.マイクロフォンの回動:
図4は、マイクロフォン31の回動の様子を示す説明図である。図示は、画像表示部20とマイクロフォン31の軌跡とを右側から見た図である。アーム32(図1)が連結部33周りを回動されることで、マイクロフォン31は、連結部33を中心とする円軌道CO上を段階的に移動することが可能となる。本実施形態では、マイクロフォン31は、円軌道CO上における4つのポジション、すなわち、第1〜第4のポジションP1,P2,P3,P4に移動することが可能となっている。この移動は、使用者による手動によるものであるが、各ポジションP1〜P3には止まりやすく、各ポジションP1〜P3の中間位置には止まりにくいように、機械的な工夫がなされている。なお、ここで言う「ポジション」は、HMD100は使用者と共に移動することから、絶対的な位置ではなく、HMD100の所定の位置(例えば、画像表示部20)に対する相対的な位置である。
第1のポジションP1は、使用者の口の前方の位置であり、第1〜第4のポジションP1〜P4の中では口から一番近い位置である。第3のポジションP3は、使用者の鼻よりも少しだけ上の位置である。第2のポジションP2は、第1のポジションP1と第3のポジションP3との中間の位置である。第4のポジションP4は、使用者の額の前方の位置であり、第1〜第4のポジションP1〜P4の中では口から一番遠い位置である。
図1、図2に示すように、連結部33の付近にポジションセンサー35が設けられており、ポジションセンサー35から出力されるポジション信号に基づいて、制御部10のポジション判定部164(図2)は、マイクロフォン31が第1〜第4のポジションP1〜P4のいずれにあるかを判別している。ポジションセンサー35は、本実施形態では、ロータリタイプの抵抗式のポテンショメータである。なお、ポジションセンサー35は、ポテンショメータに換えて、マグネットを用いたセンサー、ロータリーエンコーダ、光学式のセンサー等とすることもできる。ポジション判定部164の判定結果は,モード切替制御部166に送られる(図2)。ポジション判定部164およびモード切替制御部166は、記憶部120に記憶されている所定のプログラムをCPU140が実行することで、機能的に実現される。所定のプログラムの詳細について、以下に説明する。
A−3.モード切替処理:
図5は、モード切替処理の手順を示すフローチャートである。モード切替処理は、CPU140によって実行されるもので、マイク部30のマイクロフォン31の位置が、前述した第1ないし第4のポジションの間で切り替わったときに、マイクロフォン31の動作や、画像表示部20による虚像としての画像の表示の態様等を変更する処理である。このモード切替処理の開始トリガーは、任意に定めることができる。例えば、HMD100が起動されたこと、換言すれば、電源のONを検出したことを開始トリガーとしてもよい。また、例えば、OS150や、特定のアプリケーションからの処理開始要求を開始トリガーとしてもよい。モード切替処理は、開始後、所定時間毎に繰り返し実行される。
図示するように、処理が開始されると、CPU140は、ポジションセンサー35からポジション信号を取得する(ステップS110)。次いで、CPU140は、ステップS110によって取得されたポジション信号に基づいて、マイクロフォン31が第1〜第4のポジションP1〜P4のうちのいずれのポジションに位置するかを判定する(ステップS120)。
続いて、CPU140は、ステップS120によって判定されたポジションが、前回このモード切替処理を実行したときに判定されたポジションに対して変化があるか否かを判定する(ステップS130)。ここで、変化がないと判定されたときには、「リターン」に抜けて、モード切替処理を一旦終了する。
一方、ステップS130で、変化があると判定された場合には、ステップS120によって判定されたポジションが、第1〜第4のポジションP1〜P4のうちのいずれであるかを判定する(ステップS140)。
ステップS140による判定結果が第1のポジションP1であるときには、CPU140は、通話モードに処理を移行する(ステップS150)。通話モードでは、CPU140は、マイクロフォン31および右左のスピーカー94,95をともに動作状態に移行し(ステップS151)、インターフェイス180(図2)を介して携帯電話端末PH(図2)と通信を行って、携帯電話端末PH内の通話関連の電源をオンにする(ステップS152)。これによって、使用者は、HMD100を装着したまま、マイクロフォン31および右左のスピーカー94,95を使用して電話通話を行うことができる。なお、携帯電話端末PH(図2)を用いた通話に換えて、特定の電話回線を用いた通話、電話網としてインターネットを用いた通話等、種々の回線による通話としてもよい。
通話モードでは、CPU140は、さらに、画像表示部20にカメラ撮影画面を表示させることによって、カメラ61を撮影スタンバイ状態に移行する(ステップS153)。
図6は、通話モードによるカメラ撮影画面の一例を示す説明図である。図示は、図3と同様に、使用者の視界VRを例示するものである。視界VRには、外界SCに重ね合わせて、カメラ撮影画面VAを拡張現実として視認することができる。カメラ撮影画面VAは、操作画面部VA1と、撮影画像表示部VA2とを有する。操作画面部VA1は、使用者によるカメラ操作を受け付ける部分であり、本実施形態では、撮影を実行指示するための撮影ボタンSBを有する。カメラマークMCは、カメラ撮影画面VAであることを示すマークである。使用者は、制御部10のタッチパッド14や十字キー16を操作することによって、操作ボタンSTを押下指示することができる。タッチパッド14や十字キー16に換えて、使用者の視線方向を図示しない視線方向検出部によって検出して、その視線方向から操作ボタンSTが押下指示される構成としてもよい。
また、視界VRの右隅には、電話回線が繋がって、いわゆるオフフック状態にあることを示す電話マークMTが表示されている。これによって、使用者は、電話回線が繋がって、通話が可能なことを、即座に認識することができる。
上記通話モードによれば、使用者は、HMD100を装着したまま、第三者と通話することができ、その通話の最中に、使用者が向いている方向の外界を、カメラ61によって簡単な操作で撮像することができる。例えば、工場で作業しながら第3者の指導を受ける際に、手許の画像を送りたい場合に、通話モードは有効である。図5のステップS153の実行後、「リターン」に抜けて、モード切替処理を一旦終了する。
ステップS140による判定結果が第2のポジションP2(図4参照)であるときには、CPU140は、メニューモードに処理を移行する(ステップS160)。メニューモードでは、CPU140は、マイクロフォン31を動作状態に移行する(ステップS161)とともに、このアプリケーションのメニュー画面を画像表示部20に表示させる(ステップS162)。
図7は、メニューモードによるメニュー画面の一例を示す説明図である。図示は、図3と同様に、使用者の視界VRを例示するものである。視界VRには、外界SCに重ね合わせて、第1ないし第4のメニュー画面VB1,VB2,VB3,VB4を拡張現実として視認することができる。各メニュー画面VB1〜VB4には、カメラ関連、マイク関連等の種類別に区分けされた操作項目が一覧表示されている。操作者は、各メニュー画面VB1〜VB4に記載された操作項目を視認して、所望の操作項目を音声にて命令する。HMD100は、マイクロフォン31によって音声を収集し、その収集された音声を音声認識し、音声認識の結果に応じた操作項目の命令を実行することができる。
第2の操作画面VB2は、複数のカラーボタンCBを有する。各カラーボタンCBは、色づけされている。操作者は、「赤色」、「黄色」というように色を発音することで、各色に対応した操作内容を命令することもできる。
視界VRの右上には、音声認識中であることを示すマイクマークMMが表示されている。これによって、使用者は、視認されるメニュー画面VB1〜VB4の操作項目を音声にて命令できることがわかる。図5のステップS153の実行後、「リターン」に抜けて、モード切替処理を一旦終了する。
図5のステップS140による判定結果が第3のポジションP3(図4参照)であるときには、CPU140は、発話モードに処理を移行する(ステップS170)。発話モードでは、CPU140は、マイクロフォン31を動作状態に移行する(ステップS171)とともに、画像表示部20にマイクマークを表示させる(ステップS172)。
図8は、発話モードによるマイクマークの一例を示す説明図である。図示は、図3と同様に、使用者の視界VRを例示するものである。視界VRには、外界SCに重ね合わせて、マイクを示すマイクマークMMを拡張現実として視認することができる。操作者は、マイクマークMMを視認することで、マイクロフォン31が動作状態であることを知ることができる。工場で作業している第3者に対して命令を音声にて伝える場合に有効である。図5のステップS153の実行後、「リターン」に抜けて、モード切替処理を一旦終了する。
図5のステップS140による判定結果が第4のポジションP4(図4参照)であるときには、CPU140は、視聴モードに処理を移行する(ステップS180)。視聴モードでは、CPU140は、右左のスピーカー94,95を動作状態に移行する(ステップS181)とともに、映像再生画面を画像表示部20に表示させる(ステップS182)。
図9は、視聴モードによる映像再生画面の一例を示す説明図である。図示は、図3と同様に、使用者の視界VRを例示するものである。視界VRには、外界SCに重ね合わせて、映像再生画面VCを拡張現実として視認することができる。映像再生画面VCは、操作画面部VC1と、映像表示部VC2とを有する。操作画面部VC1は、使用者による操作を受け付ける部分であり、映像再生を実行指示するための各種のボタンが備えられている。映像表示部VC2には、再生した映像が表示される。使用者は、制御部10のタッチパッド14や十字キー16を操作することによって、操作画面部VC1内のボタンを押下指示することができる。タッチパッド14や十字キー16に換えて、使用者の視線方向を図示しない視線方向検出部によって検出して、その視線方向から各ボタンが押下指示される構成としてもよい。
視界VRの右上には、視聴中であることを示すスピーカーマークMSが表示されている。上記視聴モードによって、使用者は、映像を簡単な操作で再生することができる。なお、本実施形態の変形例として、視聴モードに換えて、Web検索を行うWebモードとしてもよい。Webモードでは、ステップS182の処理を、Web閲覧画面を画像表示部20に表示させる構成とする。さらに、映像再生やWeb閲覧に換えて、所定の画像を表示させる構成としてもよい。図5に戻って、ステップS153の実行後、「リターン」に抜けて、モード切替処理を一旦終了する。
上記モード切替処理において、ステップS110およびS120の処理を実行するCPU140の機能がポジション判定部164(図2)に対応し、ステップS130ないしS182の処理を実行するCPU140の機能がモード切替制御部166(図2)に対応する。
本実施形態では、使用者は、第2のポジションP2であるホームモードを、マイクロフォン31の基本位置として、通話する際には、アーム32を下げて、マイクロフォン31を第1のポジションP1に切り替える。発話する際には、基本位置からアーム32を1段階上げて、マイクロフォン31を第3のポジションP3に切り替える。視聴する際には、基本位置からアーム32を2段階上げて、マイクロフォン31を第4のポジションP4に切り替える。
以上のように構成された第1実施形態のHMD100によれば、マイク部30のマイクロフォン31のポジションに応じて、マイクロフォン31の動作、および画像表示部20による表示画面が切り替わる。表示画面は、GUI(グラフィカルユーザインタフェース)として機能する。このために、マイクロフォンを用いた動作だけでなく、HMD100の主要な動作である画像表示部20による表示態様も切り替えることができる。したがって、操作性を向上することができるという効果を奏する。
B.第2実施形態:
本発明の第2実施形態を次に説明する。第2実施形態のHMDは、第1実施形態のHMD100と比較して、ヘッドフォン部90とマイク部30に換えてワイヤレスイヤホンマイクを備えることとが相違し、残余の点では同一である。同一の部分については、第1実施形態と同一の符号を付し、その説明を省略する。すなわち、第2実施形態のHMDは、制御部10と、画像表示部20と、ワイヤレスイヤホンマイクと、を備える。なお、第1実施形態における画像表示部20は、ヘッドフォン部90のヘッドバンド91に固定した形で取り付けられていたが、第2実施形態における画像表示部20は、保持部21および左保持部23を眼鏡のテンプル(つる)のようにして、使用者の頭部に保持される。
図10は、ワイヤレスイヤホンマイク290を示す説明図である。ワイヤレスイヤホンマイク290は、箱形の本体部292と、イヤーピース部294とを有する。イヤーピース部294は、本体部292における長手方向の一端側の側面に立設され、音声出力部を内蔵する。本体部292における長手方向の他端側の先端には、音声入力部としてのマイクロフォン296が設けられている。ワイヤレスイヤホンマイク290は、Bluetooth(登録商標)によって制御部10との間で無線通信を行う。Bluetoothに換えて、iBeacon(登録商標)や無線LAN等によるものとしてもよい。
使用者は、イヤーピース部294を耳ERの穴に挿入することによって、ワイヤレスイヤホンマイク290を装着する。図示では、ワイヤレスイヤホンマイク290は、その長手方向が鉛直方向となるように装着されているが、使用者は、装着した状態で、イヤーピース部294を軸として、ワイヤレスイヤホンマイク290を回動させることができる。このために、第2実施形態でも、第1実施形態と同様に、マイクロフォン296は、イヤーピース部294を軸とする円軌道CW上をポジション移動できる。
本体部292には、6軸センサー298が設けられており、6軸センサー298によってワイヤレスイヤホンマイク290の長手方向の向きを検出することができる。6軸センサー298によって検出された向きは、無線通信によって制御部10に送られる。制御部10は、6軸センサー298によって検出された向きからマイクロフォン296のポジションを判定し、第1実施形態のモード切替処理(図5)と同様の処理を行うことによって、マイクロフォン296のポジションに基づいて、マイクロフォン296の動作および画像表示部20による表示態様をそれぞれ切り替える。
以上のように構成された第2実施形態のHMDによれば、第1実施形態と同様に、マイクロフォンを用いた動作だけでなく、画像表示部20による表示態様も切り替えることができる。したがって、第1実施形態と同様に、操作性を向上することができるという効果を奏する。
C.変形例:
なお、この発明は前記第1および第2実施形態およびそれらの変形例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。
C−1.変形例1:
第1実施形態では、連結部33によってアーム32を回動可能に連結することによって、アーム32の先端のマイクロフォン31の位置が複数のポジションの間で切り換え可能な構成としていた。これに対して、変形例として、連結部を回動しない、単に固定するものとし、アームをフレキシブルアームに換えた構成としてもよい。フレキシブルアームは、湾曲自在で、かつ、形状を維持可能な棒状部材であり、例えば、蛇腹状の金属部材、あるいはプラスチック製である。フレキシブルアームによって、マイクロフォンの位置を多数のポジションの間で切り換えることができる。いずれのポジションに位置するかの判定は、撮像センサーによってマイクロフォンを撮影し、撮影画像からマイクロフォンの向きや位置を検出することによって行われる。かかる構成によっても、第1実施形態と同様な効果を奏することができる。
C−2.変形例2:
第1および第2実施形態では、マイクロフォンの取り得るポジションの数を4つとしたが、これに換えて、3つとしてもよい。例えば、図4における第1のポジションP1、第2のポジションP2、および第4のポジションP4としてもよい。また、2つとしてもよい。例えば、図4における第1のポジションP1、および第2のポジションP2としてもよい。さらに、3を上回る数としてもよい。なお、所定のデバイスをオン/オフするだけでは、2つのポジションをとることになるが、3以上の数のポジションとすることで、多さいな制御が可能となる。
C−3.変形例3:
第1実施形態では、マイクロフォンのポジションは、アーム32の連結部33に対するマイクロフォンの相対的な位置であり、第2実施形態では、マイクロフォンのポジションは、イヤーピース部294に対するマイクロフォンの相対的な位置であった。すなわち、マイクロフォンとマイクロフォンを回動する軸と相対的な位置を、マイクロフォンのポジションとした。これに対して、マイクロフォンのポジションを、HMDの使用者の口に対するマイクロフォンの位置としてもよい。
C−4.変形例4:
第1および第2実施形態では、表示態様の切り替えを、表示画面を別のものに切り替えることとしたが、これに換えて、同じ種類の表示画面において、表示項目の一つを別のものに切り替える構成としてもよい。すなわち、表示画面全体を切り替えるものであってもよいし、表示画面の一部を切り替えるものとしてもよい。
C−5.変形例5:
第1および第2実施形態に換えて、モード切替制御部により切り替える表示態様を、音声入力部のポジションを示す画像を表示するものとしてもよい。
C−6.変形例6:
マイク部は、第1実施形態では、画像表示部に連結されたアームにマイクロフォンを接続した構成とし、第2実施形態では、ワイヤレスイヤホンマイクとした。これらに換えて、ヘッドフォンとマイクロフォンとを有するワイヤレスヘッドセットとしてもよい。ワイヤレスヘッドセットは、Bluetooth(登録商標)によって制御部と接続される。また、マイク部は、音声入力部を備えた腕時計型のウェアラブルデバイスや、音声入力部を備えた指輪型のウェアラブルデバイス等としてもよい。これらウェアラブルデバイスは、制御部に対して、Bluetoothや、iBeacon、無線LAN等によって無線接続される。
C−7.その他の変形例:
上記実施形態では、ヘッドマウントディスプレイの構成について例示した。しかし、ヘッドマウントディスプレイの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、各構成部の追加・削除・変換等を行うことができる。
上記実施形態における、制御部と、画像表示部とに対する構成要素の割り振りは、あくまで一例であり、種々の態様を採用可能である。例えば、以下のような態様としてもよい。(i)制御部にCPUやメモリー等の処理機能を搭載、画像表示部には表示機能のみを搭載する態様、(ii)制御部と画像表示部との両方にCPUやメモリー等の処理機能を搭載する態様、(iii)制御部と画像表示部とを一体化した態様(例えば、画像表示部に制御部が含まれ眼鏡型のウェアラブルコンピューターとして機能する態様)、(iv)制御部の代わりにスマートフォンや携帯型ゲーム機を使用する態様、(v)制御部と画像表示部とを無線通信かつワイヤレス給電可能な構成とすることにより接続部(コード)を廃した態様。
上記実施形態では、説明の便宜上、制御部が送信部を備え、画像表示部が受信部を備えるものとした。しかし、上記実施形態の送信部および受信部は、いずれも、双方向通信が可能な機能を備えており、送受信部として機能することができる。また、例えば、図2に示した制御部は、有線の信号伝送路を介して画像表示部と接続されているものとした。しかし、制御部と、画像表示部とは、無線LANや赤外線通信やBluetooth(登録商標)等の無線の信号伝送路を介した接続により接続されていてもよい。
例えば、上記実施形態で示した制御部、画像表示部の構成は任意に変更することができる。具体的には、例えば、制御部からタッチパッドを省略し、十字キーのみで操作する構成としてもよい。また、制御部に操作用スティック等の他の操作用インターフェイスを備えてもよい。また、制御部にはキーボードやマウス等のデバイスを接続可能な構成として、キーボードやマウスから入力を受け付けるものとしてもよい。また、例えば、タッチパッドや十字キーによる操作入力のほか、フットスイッチ(使用者の足により操作するスイッチ)による操作入力を取得してもよい。例えば、画像表示部に赤外線センサー等の視線検知部を設けた上で、使用者の視線を検知し、視線の動きに対応付けられたコマンドによる操作入力を取得してもよい。例えば、カメラを用いて使用者のジェスチャーを検知し、ジェスチャーに対応付けられたコマンドによる操作入力を取得してもよい。ジェスチャー検知の際は、使用者の指先や、使用者の手に付けられた指輪や、使用者の手にする医療器具等を動き検出のための目印にすることができる。フットスイッチや視線による操作入力を取得可能とすれば、使用者が手を離すことが困難である作業においても、入力情報取得部は、使用者からの操作入力を取得することができる。
図11は、変形例におけるHMDの外観の構成を示す説明図である。図11(A)の例の場合、画像表示部20xは、右光学像表示部26に代えて右光学像表示部26xを備え、左光学像表示部28に代えて左光学像表示部28xを備えている。右光学像表示部26xと左光学像表示部28xとは、上記実施形態の光学部材よりも小さく形成され、HMDの装着時における使用者の右眼および左眼の斜め上にそれぞれ配置されている。図11(B)の例の場合、画像表示部20yは、右光学像表示部26に代えて右光学像表示部26yを備え、左光学像表示部28に代えて左光学像表示部28yを備えている。右光学像表示部26yと左光学像表示部28yとは、上記実施形態の光学部材よりも小さく形成され、HMDの装着時における使用者の右眼および左眼の斜め下にそれぞれ配置されている。このように、光学像表示部は使用者の眼の近傍に配置されていれば足りる。また、光学像表示部を形成する光学部材の大きさも任意であり、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のHMDとして実現することもできる。
例えば、ヘッドマウントディスプレイは、両眼タイプの透過型ヘッドマウントディスプレイであるものとしたが、単眼タイプのヘッドマウントディスプレイとしてもよい。また、使用者がヘッドマウントディスプレイを装着した状態において外景の透過が遮断される非透過型ヘッドマウントディスプレイとして構成してもよい。
例えば、画像処理部、表示制御部、音声処理部等の機能部は、CPUがROMやハードディスクに格納されているコンピュータープログラムをRAMに展開して実行することにより実現されるものとして記載した。しかし、これら機能部は、当該機能を実現するために設計されたASIC(Application Specific Integrated Circuit:特定用途向け集積回路)を用いて構成されてもよい。
例えば、上記実施形態では、画像表示部を眼鏡のように装着するヘッドマウントディスプレイであるとしているが、画像表示部が通常の平面型ディスプレイ装置(液晶ディスプレイ装置、プラズマディスプレイ装置、有機ELディスプレイ装置等)であるとしてもよい。この場合にも、制御部と画像表示部との間の接続は、有線の信号伝送路を介した接続であってもよいし、無線の信号伝送路を介した接続であってもよい。このようにすれば、制御部を、通常の平面型ディスプレイ装置のリモコンとして利用することもできる。
また、画像表示部として、第1実施形態のようにヘッドバンドを掛けることによって装着する構成や、第2実施形態のように眼鏡のように装着する構成に代えて、例えば帽子のように装着する画像表示部といった他の形状の画像表示部を採用してもよい。また、スピーカーは、イヤホンに換えてもよく、イヤホンは、耳掛け型やヘッドバンド型を採用してもよい。また、例えば、自動車や飛行機等の車両に搭載されるヘッドアップディスプレイ(HUD、Head-Up Display)として構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。
例えば、上記実施形態では、表示駆動部は、バックライトと、バックライト制御部と、LCDと、LCD制御部と、投写光学系を用いて構成されるものとした。しかし、上記の態様はあくまで例示である。表示駆動部は、これらの構成部と共に、またはこれらの構成部に代えて、他の方式を実現するための構成部を備えていてもよい。例えば、表示駆動部は、有機EL(有機エレクトロルミネッセンス、Organic Electro-Luminescence)のディスプレイと、有機EL制御部と、投写光学系とを備える構成としてもよい。例えば、表示駆動部は、LCDに代えてDMD(デジタル・マイクロミラー・デバイス)等を用いることもできる。例えば、表示駆動部は、RGBの各色光を発生させるための色光源とリレーレンズを含む信号光変調部と、MEMSミラーを含む走査光学系と、これらを駆動する駆動制御回路と、を含むように構成されてもよい。このように、有機ELやDMDやMEMSミラーを用いても、「表示駆動部における射出領域」とは、表示駆動部から画像光が実際に射出される領域であることに変わりはなく、各デバイス(表示駆動部)における射出領域を上記実施形態と同様に制御することによって、上記実施形態と同様の効果を得ることができる。また、例えば、表示駆動部は、画素信号に応じた強度のレーザーを、使用者の網膜へ出射する1つ以上のレーザーを含むように構成されてもよい。この場合、「表示駆動部における射出領域」とは、表示駆動部から画像を表すレーザー光が実際に射出される領域を表す。レーザー(表示駆動部)におけるレーザー光の射出領域を上記実施形態と同様に制御することによって、上記実施形態と同様の効果を得ることができる。
本発明は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
10…制御部(コントローラー)
12…点灯部
14…タッチパッド
16…十字キー
18…電源スイッチ
20…画像表示部
21…右保持部
22…右表示駆動部
23…左保持部
24…左表示駆動部
26…右光学像表示部
28…左光学像表示部
30…マイク部
31…マイクロフォン
32…アーム
33…連結部
40…接続コード
51…送信部
52…送信部
53…受信部
54…受信部
61…カメラ
90…ヘッドフォン部
91…ヘッドバンド
92,93…イヤーカップ
94,95…右スピーカー
100…頭部装着型表示装置(HMD)
110…入力情報取得部
120…記憶部
130…電源
132…無線通信部
140…CPU
160…画像処理部
162…表示制御部
164…ポジション判定部
166…モード切替制御部
170…音声処理部
180…インターフェイス
201…右バックライト制御部
202…左バックライト制御部
211…右LCD制御部
212…左LCD制御部
221…右バックライト
222…左バックライト
241…右LCD
242…左LCD
251…右投写光学系
252…左投写光学系
261…右導光板
262…左導光板
290…ワイヤレスイヤホンマイク290
292…本体部
294…イヤーピース部
296…マイクロフォン
298…6軸センサー
PC…パーソナルコンピューター
PH…携帯電話端末
GM…ゲーム

Claims (10)

  1. 画像を表示する画像表示部を備える頭部装着型表示装置であって、
    音声を電気信号に変換する音声入力部を有し、前記音声入力部の位置を複数のポジションの間で切り換え可能なマイク部と、
    前記音声入力部が前記複数のポジションのうちのいずれのポジションに位置するかを判定するポジション判定部と、
    前記判定されたポジションに基づいて、前記音声入力部の動作、および前記画像表示部による表示態様を、前記音声入力部の動作と前記画像表示部による表示態様との組み合わせであって予め記憶された2以上の組み合わせのうちのいずれかに切り替えるモード切替制御部と、
    を備える頭部装着型表示装置。
  2. 請求項1に記載の頭部装着型表示装置であって、
    前記画像表示部は、外景を透過し得る、頭部装着型表示装置。
  3. 請求項1または請求項2に記載の頭部装着型表示装置であって、
    音声を出力する音声出力部を備え、
    前記モード切替制御部は、
    前記判定されたポジションに基づいて、さらに前記音声出力部の動作を切り替える、頭部装着型表示装置。
  4. 請求項3に記載の頭部装着型表示装置であって、
    前記モード切替制御部は、
    前記判定されたポジションが、前記複数のポジションの中で使用者の口に一番近いポジションであるときに、前記音声入力部および前記音声出力部をそれぞれ動作状態として外部との通話を可能とする通話モードへの切り替えを行う、頭部装着型表示装置。
  5. 請求項4に記載の頭部装着型表示装置であって、
    外景の少なくとも一部を撮影するカメラを備え、
    前記モード切替制御部は、
    前記通話モードの際の前記画像表示部による表示態様の切り替えとして、前記カメラを用いた撮影のための画面に表示を切り替える、頭部装着型表示装置。
  6. 請求項4または請求項5に記載の頭部装着型表示装置であって、
    前記モード切替制御部は、
    前記判定されたポジションが、前記複数のポジションの中で使用者の口から一番遠いポジションであるときに、前記音声出力部を動作状態とし、前記画像表示部に所定の画像を表示するモードへの切り替えを行う、頭部装着型表示装置。
  7. 請求項6に記載の頭部装着型表示装置であって、
    前記モード切替制御部は、
    前記判定されたポジションが、前記複数のポジションの中の使用者の口に一番近いポジションと前記使用者の口から一番遠いポジションとの間の所定のポジションであるときに、前記音声入力部を動作状態にし、前記音声入力部で取得された音声に応じた操作項目を命令するためのメニュー画面を表示するメニューモードへの切り替えを行う、頭部装着型表示装置。
  8. 請求項1または請求項2に記載の頭部装着型表示装置であって、
    前記モード切替制御部は、
    前記ポジション判定部によって判定されたポジションが、所定のポジションであるときに、前記音声入力部を動作状態にし、前記音声入力部で取得された音声に応じた操作項目を命令するためのメニュー画面を表示するメニューモードへの切り替えを行う、頭部装着型表示装置。
  9. 画像を表示する画像表示部と、音声を電気信号に変換する音声入力部を有し、前記音声入力部の位置を複数のポジションの間で切り換え可能なマイク部と、を備える頭部装着型表示装置の制御方法であって、
    前記音声入力部が前記複数のポジションのうちのいずれのポジションに位置するかを判定する工程と、
    前記判定されたポジションに基づいて、前記音声入力部の動作、および前記画像表示部による表示態様を、前記音声入力部の動作と前記画像表示部による表示態様との組み合わせであって予め記憶された2以上の組み合わせのうちのいずれかに切り替える工程と、
    を備える、頭部装着型表示装置の制御方法。
  10. 画像を表示する画像表示部と、音声を電気信号に変換する音声入力部を有し、前記音声入力部の位置を複数のポジションの間で切り換え可能なマイク部と、を備える頭部装着型表示装置を制御するためのコンピュータープログラムであって、
    前記音声入力部が前記複数のポジションのうちのいずれのポジションに位置するかを判定する機能と、
    前記判定されたポジションに基づいて、前記音声入力部の動作、および前記画像表示部による表示態様を、前記音声入力部の動作と前記画像表示部による表示態様との組み合わせであって予め記憶された2以上の組み合わせのうちのいずれかに切り替える機能と、
    をコンピューターに実現させる、コンピュータープログラム。
JP2015025930A 2015-02-13 2015-02-13 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム Active JP6565202B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015025930A JP6565202B2 (ja) 2015-02-13 2015-02-13 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
US15/016,167 US9794684B2 (en) 2015-02-13 2016-02-04 Head-mounted display device, control method for the same, and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015025930A JP6565202B2 (ja) 2015-02-13 2015-02-13 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム

Publications (2)

Publication Number Publication Date
JP2016149661A JP2016149661A (ja) 2016-08-18
JP6565202B2 true JP6565202B2 (ja) 2019-08-28

Family

ID=56688060

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015025930A Active JP6565202B2 (ja) 2015-02-13 2015-02-13 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム

Country Status (1)

Country Link
JP (1) JP6565202B2 (ja)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1020997A (ja) * 1996-07-08 1998-01-23 Canon Inc ディスプレイ装置
JP2002350771A (ja) * 2001-05-25 2002-12-04 Nikon Corp ヘッドマウントディスプレイ装置
TW201419883A (zh) * 2012-11-12 2014-05-16 Powertech Ind Co Ltd 頭戴式耳機裝置
JP6064737B2 (ja) * 2013-03-27 2017-01-25 ブラザー工業株式会社 音声認識装置及び音声認識プログラム

Also Published As

Publication number Publication date
JP2016149661A (ja) 2016-08-18

Similar Documents

Publication Publication Date Title
US9794684B2 (en) Head-mounted display device, control method for the same, and computer program
US9959591B2 (en) Display apparatus, method for controlling display apparatus, and program
JP6155622B2 (ja) 表示装置、頭部装着型表示装置、表示装置の制御方法、および、頭部装着型表示装置の制御方法
CN106199963B (zh) 显示装置及其控制方法以及计算机程序
JP6380091B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP6094305B2 (ja) 頭部装着型表示装置、および、頭部装着型表示装置の制御方法
JP6488786B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
US20160187662A1 (en) Display device, and method of controlling display device
JP2016142887A (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
JP6459380B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP6600945B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP6432197B2 (ja) 表示装置、表示装置の制御方法、および、プログラム
JP6331374B2 (ja) 頭部装着型表示装置
JP2016024208A (ja) 表示装置、表示装置の制御方法、および、プログラム
JP2017116562A (ja) 表示装置、表示装置の制御方法、及び、プログラム
JP6364735B2 (ja) 表示装置、頭部装着型表示装置、表示装置の制御方法、および、頭部装着型表示装置の制御方法
JP6620417B2 (ja) 表示装置およびその制御方法、並びにコンピュータープログラム
JP6582374B2 (ja) 表示装置およびその制御方法、並びにコンピュータープログラム
JP2018042004A (ja) 表示装置、頭部装着型表示装置、及び、表示装置の制御方法
JP2016033763A (ja) 表示装置、表示装置の制御方法、および、プログラム
JP6565202B2 (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
JP6136162B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6304415B2 (ja) 頭部装着型表示装置、および、頭部装着型表示装置の制御方法
JP6641900B2 (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
JP2016034091A (ja) 表示装置、表示装置の制御方法、および、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180913

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181016

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190528

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190624

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190702

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190715

R150 Certificate of patent or registration of utility model

Ref document number: 6565202

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150