JP6492451B2 - 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム - Google Patents

頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム Download PDF

Info

Publication number
JP6492451B2
JP6492451B2 JP2014164246A JP2014164246A JP6492451B2 JP 6492451 B2 JP6492451 B2 JP 6492451B2 JP 2014164246 A JP2014164246 A JP 2014164246A JP 2014164246 A JP2014164246 A JP 2014164246A JP 6492451 B2 JP6492451 B2 JP 6492451B2
Authority
JP
Japan
Prior art keywords
head
display device
mounted display
function
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014164246A
Other languages
English (en)
Other versions
JP2016040865A (ja
Inventor
慎也 鳥井
慎也 鳥井
高野 正秀
正秀 高野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2014164246A priority Critical patent/JP6492451B2/ja
Priority to US14/808,493 priority patent/US9767617B2/en
Publication of JP2016040865A publication Critical patent/JP2016040865A/ja
Priority to US15/630,567 priority patent/US20170287228A1/en
Application granted granted Critical
Publication of JP6492451B2 publication Critical patent/JP6492451B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • G01C21/206Instruments for performing navigational calculations specially adapted for indoor navigation
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Description

本発明は、頭部装着型表示装置およびその制御方法、並びにコンピュータープログラムに関する。
近年、頭部に装着する表示装置である頭部装着型表示装置が知られている。この頭部装着型表示装置は、ヘッドマウントディスプレイ(HMD:Head Mounted Display)とも呼ばれ、使用者がHMDを装着した状態で外景を見ることが可能なシースルー型のものがある。シースルー型HMDは、液晶パネル等の光変調素子によって生成された画像光を、使用者の眼前に配置した光学系等で反射させることによって、使用者の視野領域に外景(実像)とともに、虚像としての画像を表示する(例えば、特許文献1)。
特開2010−139901号公報
従来、シースルー型HMDでは、前記画像を表示する機能を始めとして、様々な機能を搭載するものが提案されている。様々な機能としては、カメラを用いた撮影機能、音声を出力する機能等、種々のものがある。これらの機能を常時動作させて良いか、という点について、十分に検討されていないという課題があった。そのほか、従来の頭部装着型表示装置においては、使用者の利便性の向上や、検出精度の向上、盗撮等の悪意の使用の防止、装置構成のコンパクト化、低コスト化、省資源化、製造の容易化等が望まれていた。
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。
本発明の一形態は、透過型の頭部装着型表示装置である。この頭部装着型表示装置は;画像を表示して前記頭部装着型表示装置を装着した使用者に画像を視認させるとともに、外景を透過し得る画像表示部と;前記頭部装着型表示装置が特定の場所に移動したことを検出する移動検出部と;前記特定の場所への移動が検出されたときに、前記頭部装着型表示装置に搭載された所定の機能の少なくとも一部を変更する処理制御部と;を備える。前記所定の機能は、所定のマーカーを認識するために行うマーカー撮影機能を少なくとも含む撮影機能である。前記処理制御部は、前記特定の場所への移動が検出されたときに、前記撮影機能のうちの前記マーカー撮影機能を許可し、前記撮影機能のうちの前記マーカー撮影機能を除いた撮影機能を禁止する。
この形態の頭部装着型表示装置によれば、使用者に装着された頭部装着型表示装置が特定の場所に移動したことが検出されたときに、頭部装着型表示装置に搭載された所定の機能の少なくとも一部が変更される。このために、特定の場所内において、頭部装着型表示装置に搭載された所定の機能の少なくとも一部が抑制または拡張するといった変更がなされる。したがって、本形態の頭部装着型表示装置によれば、その場にふさわしい機能を、人が機能の設定をいちいち切り替えることなしに、容易に実現できる。また、特定の場所へ移動されるだけで、マーカー撮影機能を除いた撮影機能が禁止されることから、盗撮等の不正な使用を確実に防止することができる。
その他、本発明は、以下の形態としても実現することが可能である。
(1)本発明の一形態は、透過型の頭部装着型表示装置である。この頭部装着型表示装置は;画像を表示して前記頭部装着型表示装置を装着した使用者に画像を視認させるとともに、外景を透過し得る画像表示部と;前記頭部装着型表示装置が特定の場所に移動したことを検出する移動検出部と;前記特定の場所への移動が検出されたときに、前記頭部装着型表示装置に搭載された所定の機能の少なくとも一部を変更する処理制御部と;を備える。この形態の頭部装着型表示装置によれば、使用者に装着された頭部装着型表示装置が特定の場所に移動したことが検出されたときに、頭部装着型表示装置に搭載された所定の機能の少なくとも一部が変更される。このために、特定の場所内において、頭部装着型表示装置に搭載された所定の機能の少なくとも一部が抑制または拡張するといった変更がなされる。したがって、本形態の頭部装着型表示装置によれば、その場にふさわしい機能を、人が機能の設定をいちいち切り替えることなしに、容易に実現できる。
(2)前記形態の頭部装着型表示装置において、前記外景を撮影する外景撮影部を備え、前記移動検出部は、前記外景撮影部によって得られた撮影画像に基づいて、前記特定の場所への移動を検出するようにしてもよい。外景撮影部は頭部装着型表示装置に装着されていることから、使用者の頭部の移動に伴って撮影範囲も確実に移動する。このために、本形態の頭部装着型表示装置によれば、特定の場所への移動を高精度で検出することができる。
(3)前記形態の頭部装着型表示装置において、前記移動検出部は、前記特定の場所を認識するためのマーカーが前記撮影画像内に含まれたときに、前記特定の場所への移動が検出されたものとするようにしてもよい。この形態の頭部装着型表示装置によれば、マーカーを撮影することで、特定の場所への移動を高精度で検出することができる。
(4)前記形態の頭部装着型表示装置において、前記移動検出部は、外部の無線通信端末からの信号に基づいて、前記特定の場所への移動を検出するようにしてもよい。この形態の頭部装着型表示装置によれば、特定の場所への移動を高精度で検出することができる。
(5)前記形態の頭部装着型表示装置において、前記所定の機能は、前記画像表示部に所定の情報を表示させる情報提示機能であるようにしてもよい。この形態の頭部装着型表示装置によれば、画像表示部に所定の情報を表示させる情報提示機能を抑制または拡張することができる。したがって、その場にふさわしい情報提示を容易に行うことができる。
(6)前記形態の頭部装着型表示装置において、前記特定の場所は、展示品または建造物の周辺であり、前記処理制御部は、前記特定の場所への移動が検出されたときに、前記展示品または建造物についての情報を前記画像表示部に表示させるようにしてもよい。この形態の頭部装着型表示装置によれば、展示品または建造物の周辺へ移動したときに、その展示品または建造物についての情報を画像表示により使用者に示すことができる。したがって、展示品または建造物に合った情報提示を容易に行うことができる。
(7)前記形態の頭部装着型表示装置において、前記所定の機能は、所定のマーカーを認識するために行うマーカー撮影機能を少なくとも含む撮影機能であって、前記処理制御部は、前記特定の場所への移動が検出されたときに、前記撮影機能のうちの前記マーカー撮影機能を許可し、前記撮影機能のうちの前記マーカー撮影機能を除いた撮影機能を禁止するようにしてもよい。この形態の頭部装着型表示装置によれば、特定の場所へ移動されるだけで、マーカー撮影機能を除いた撮影機能が禁止されることから、盗撮等の不正な使用を確実に防止することができる。
(8)前記形態の頭部装着型表示装置において、前記処理制御部は、前記特定の場所への移動が検出されたときに、前記所定の機能を停止し、前記特定の場所から他の場所への前記頭部装着型表示装置の移動が検出されたときに、前記所定の機能の停止を解除するようにしてもよい。この形態の頭部装着型表示装置によれば、一旦禁止された所定の処理を自動的に復帰させることができることから、使用者の利便性の向上を図ることができる。
(9)前記形態の頭部装着型表示装置において、前記処理制御部は、前記特定の場所から前記頭部装着型表示装置の脱出が検出されたときに、前記脱出したことを前記使用者に報知するようにしてもよい。この形態の頭部装着型表示装置によれば、特定の場所から脱出したことを使用者は知ることができ、使用者の利便性の向上を図ることができる。
上述した本発明の各形態の有する複数の構成要素はすべてが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな他の構成要素との差し替え、限定内容の一部削除を行なうことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。
例えば、本発明の一形態は、画像表示部と、移動検出部と、処理制御部と、の3つの要素の内の一つ以上または全部の要素を備えた装置として実現可能である。すなわち、この装置は、画像表示部を有していてもよく、有していなくてもよい。また、装置は、移動検出部を有していてもよく、有していなくてもよい。また、装置は、処理制御部を有していてもよく、有していなくてもよい。画像表示部は、例えば、画像を表示して頭部装着型表示装置を装着した使用者に画像を視認させるとともに、外景を透過し得るものとしてもよい。移動検出部は、例えば、頭部装着型表示装置が特定の場所に移動したことを検出してもよい。処理制御部は、例えば、特定の場所への移動が検出されたときに、頭部装着型表示装置に搭載された所定の機能の少なくとも一部を変更してもよい。こうした装置は、例えば、頭部装着型表示装置として実現できるが、頭部装着型表示装置以外の他の装置としても実現可能である。このような形態によれば、使用者の利便性の向上や、検出精度の向上、盗撮等の悪意の使用の防止、装置構成のコンパクト化、低コスト化、省資源化、製造の容易化等の種々の課題の少なくとも1つを解決することができる。前述した頭部装着型表示装置の各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。
本発明は、頭部装着型表示装置以外の種々の形態で実現することも可能である。例えば、表示装置、頭部装着型表示装置および表示装置の制御方法、頭部装着型表示システム、表示装置、頭部装着型表示システムおよび表示装置の機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号等の形態で実現できる。
本発明の第1実施形態における頭部装着型表示装置(HMD)の概略構成を示す説明図である。 HMDの構成を機能的に示すブロック図である。 画像光生成部によって画像光が射出される様子を示す説明図である。 HMDのプラットフォームの説明図である。 美術館におけるHMDの使用の形態を示す説明図である。 ゲートと中央監視装置とを示す説明図である。 入館処理ルーチンの詳細を示すフローチャートである。 順路案内処理ルーチンの詳細を示すフローチャートである。 使用者に視認される順路案内メッセージの一例を示す説明図である。 展示品解説ルーチンの詳細を示すフローチャートである。 使用者に視認される展示品情報の一例を示す説明図である。 変形例におけるHMDの外観の構成を示す説明図である。
A.第1実施形態:
A−1.頭部装着型表示装置の構成:
図1は、本発明の第1実施形態における頭部装着型表示装置の概略構成を示す説明図である。頭部装着型表示装置100は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ(Head Mounted Display、HMD)とも呼ばれる。HMD100は、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型のヘッドマウントディスプレイであり、本実施形態では、美術館案内用として用いられる。
HMD100は、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部20と、画像表示部20を制御する制御部(コントローラー)10とを備えている。
画像表示部20は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部20は、右保持部21と、右表示駆動部22と、左保持部23と、左表示駆動部24と、右光学像表示部26と、左光学像表示部28と、を含んでいる。右光学像表示部26および左光学像表示部28は、それぞれ、使用者が画像表示部20を装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部26の一端と左光学像表示部28の一端とは、使用者が画像表示部20を装着した際の使用者の眉間に対応する位置で、互いに接続されている。
右保持部21は、右光学像表示部26の他端である端部ERから、使用者が画像表示部20を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部23は、左光学像表示部28の他端である端部ELから、使用者が画像表示部20を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部21および左保持部23は、眼鏡のテンプル(つる)のようにして、使用者の頭部に画像表示部20を保持する。
右表示駆動部22は、右保持部21の内側、換言すれば、使用者が画像表示部20を装着した際の使用者の頭部に対向する側に配置されている。また、左表示駆動部24は、左保持部23の内側に配置されている。なお、以降では、右保持部21および左保持部23を区別せず「保持部」として説明する。同様に、右表示駆動部22および左表示駆動部24を区別せず「表示駆動部」として説明し、右光学像表示部26および左光学像表示部28を区別せず「光学像表示部」として説明する。
表示駆動部は、液晶ディスプレイ(Liquid Crystal Display、以下「LCD」と呼ぶ)241、242や投写光学系251、252等を含む(図2参照)。表示駆動部の構成の詳細は後述する。光学部材としての光学像表示部は、導光板261、262(図2参照)と調光板とを含んでいる。導光板261、262は、光透過性の樹脂材料等によって形成され、表示駆動部から出力された画像光を使用者の眼に導く。調光板は、薄板状の光学素子であり、画像表示部20の表側(使用者の眼の側とは反対の側)を覆うように配置されている。調光板は、導光板261、262を保護し、導光板261、262の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、使用者の眼に入る外光量を調整して虚像の視認のしやすさを調整することができる。なお、調光板は省略可能である。
画像表示部20は、さらに、画像表示部20を制御部10に接続するための接続部40を有している。接続部40は、制御部10に接続される本体コード48と、本体コード48が2本に分岐した右コード42および左コード44と、分岐点に設けられた連結部材46と、を含んでいる。連結部材46には、イヤホンプラグ30を接続するためのジャックが設けられている。イヤホンプラグ30からは、右イヤホン32および左イヤホン34が延伸している。
画像表示部20と制御部10とは、接続部40を介して各種信号の伝送を行う。本体コード48における連結部材46とは反対側の端部と、制御部10とのそれぞれには、互いに嵌合するコネクター(図示省略)が設けられており、本体コード48のコネクターと制御部10のコネクターとの嵌合/嵌合解除により、制御部10と画像表示部20とが接続されたり切り離されたりする。右コード42と、左コード44と、本体コード48には、例えば、金属ケーブルや光ファイバーを採用することができる。
制御部10は、HMD100を制御するための装置である。制御部10は、点灯部12と、タッチパッド14と、十字キー16と、電源スイッチ18とを含んでいる。点灯部12は、HMD100の動作状態(例えば、電源のON/OFF等)を、その発光態様によって通知する。点灯部12としては、例えば、LED(Light Emitting Diode)を用いることができる。タッチパッド14は、タッチパッド14の操作面上での接触操作を検出して、検出内容に応じた信号を出力する。タッチパッド14としては、静電式や圧力検出式、光学式といった種々のタッチパッドを採用することができる。十字キー16は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ18は、スイッチのスライド操作を検出することで、HMD100の電源の状態を切り替える。
図2は、HMD100の構成を機能的に示すブロック図である。制御部10は、入力情報取得部110と、記憶部120と、電源130と、無線通信部132と、GPSモジュール134と、CPU140と、インターフェイス180と、送信部(Tx)51および52とを備え、各部は図示しないバスにより相互に接続されている。
入力情報取得部110は、例えば、タッチパッド14や十字キー16、電源スイッチ18などに対する操作入力に応じた信号を取得する。記憶部120は、ROM、RAM、DRAM、ハードディスク等によって構成されている。
電源130は、HMD100の各部に電力を供給する。電源130としては、例えば、リチウムポリマーバッテリー、リチウムイオンバッテリーなどの二次電池を用いることができる。さらに、二次電池に替えて、一次電池や燃料電池でもよいし、無線給電を受けて動作するようにしてもよい。さらには、太陽電池とキャパシターから給電を受けるようにしてもよい。無線通信部132は、無線LANやBluetooth(登録商標)、iBeacon(登録商標)といった所定の無線通信規格に則って、他の機器との間で無線通信を行う。GPSモジュール134は、GPS衛星からの信号を受信することにより、自身の現在位置を検出する。
CPU140は、記憶部120に格納されているコンピュータープログラムを読み出して実行することにより、オペレーティングシステム(ОS)150、画像処理部160、表示制御部162、移動検出部164、処理制御部166、音声処理部170、iBeacon処理部172、として機能する。
画像処理部160は、インターフェイス180や無線通信部132を介して入力されるコンテンツ(映像)に基づいて信号を生成する。そして、画像処理部160は、生成した信号を、接続部40を介して画像表示部20に供給することで、画像表示部20を制御する。画像表示部20に供給するための信号は、アナログ形式とディジタル形式の場合で異なる。アナログ形式の場合、画像処理部160は、クロック信号PCLKと、垂直同期信号VSyncと、水平同期信号HSyncと、画像データDataとを生成し、送信する。具体的には、画像処理部160は、コンテンツに含まれる画像信号を取得する。取得した画像信号は、例えば動画像の場合、一般的に1秒あたり30枚のフレーム画像から構成されているアナログ信号である。画像処理部160は、取得した画像信号から垂直同期信号VSyncや水平同期信号HSync等の同期信号を分離し、それらの周期に応じて、PLL回路等によりクロック信号PCLKを生成する。画像処理部160は、同期信号が分離されたアナログ画像信号を、A/D変換回路等を用いてディジタル画像信号に変換する。画像処理部160は、変換後のディジタル画像信号を、RGBデータの画像データDataとして、1フレームごとに記憶部120内のDRAMに格納する。
一方、ディジタル形式の場合、画像処理部160は、クロック信号PCLKと、画像データDataとを生成し、送信する。具体的には、コンテンツがディジタル形式の場合、クロック信号PCLKが画像信号に同期して出力されるため、垂直同期信号VSyncおよび水平同期信号HSyncの生成と、アナログ画像信号のA/D変換とが不要となる。なお、画像処理部160は、記憶部120に格納された画像データDataに対して、解像度変換処理や、輝度、彩度の調整といった種々の色調補正処理や、キーストーン補正処理等の画像処理を実行してもよい。
画像処理部160は、生成されたクロック信号PCLK、垂直同期信号VSync、水平同期信号HSyncと、記憶部120内のDRAMに格納された画像データDataとを、送信部51、52を介してそれぞれ送信する。なお、送信部51を介して送信される画像データDataを「右眼用画像データData1」とも呼び、送信部52を介して送信される画像データDataを「左眼用画像データData2」とも呼ぶ。送信部51、52は、制御部10と画像表示部20との間におけるシリアル伝送のためのトランシーバーとして機能する。
表示制御部162は、右表示駆動部22および左表示駆動部24を制御する制御信号を生成する。具体的には、表示制御部162は、制御信号により、右LCD制御部211による右LCD241の駆動ON/OFFや、右バックライト制御部201による右バックライト221の駆動ON/OFF、左LCD制御部212による左LCD242の駆動ON/OFFや、左バックライト制御部202による左バックライト222の駆動ON/OFFなどを個別に制御することにより、右表示駆動部22および左表示駆動部24のそれぞれによる画像光の生成および射出を制御する。表示制御部162は、右LCD制御部211と左LCD制御部212とに対する制御信号を、送信部51および52を介してそれぞれ送信する。同様に、表示制御部162は、右バックライト制御部201と左バックライト制御部202とに対する制御信号を、それぞれ送信する。
移動検出部164は、使用者の頭部に装着されたHMD100が予め定めた複数の特定の場所に移動したことを検出する。処理制御部166は、HMD100に搭載された種々の機能の内の所定の機能の少なくとも一部を変更する。所定の機能は一つの機能でも複数の機能であってもよいが、本実施形態では複数の機能である。移動検出部164および処理制御部166の詳細は、後述する。
音声処理部170は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材46に接続された右イヤホン32内の図示しないスピーカーおよび左イヤホン34内の図示しないスピーカーに対して供給する。なお、例えば、Dolby(登録商標)システムを採用した場合、音声信号に対する処理がなされ、右イヤホン32および左イヤホン34からは、それぞれ、例えば周波数等が変えられた異なる音が出力される。
iBeacon処理部172は、iBeacon(登録商標)の技術を用いて、HMD100外部に設けられたBLE(Bluetooth Low Energy)端末からの信号を受信することによって、BLE端末とHMD100との間の距離を求める。
インターフェイス180は、制御部10に対して、コンテンツの供給元となる種々の外部機器OAを接続するためのインターフェイスである。外部機器ОAとしては、例えば、パーソナルコンピューターPCや携帯電話端末、ゲーム端末等がある。インターフェイス180としては、例えば、USBインターフェイスや、マイクロUSBインターフェイス、メモリーカード用インターフェイス等を用いることができる。
画像表示部20は、右表示駆動部22と、左表示駆動部24と、右光学像表示部26としての右導光板261と、左光学像表示部28としての左導光板262と、外景撮影用カメラ61(図1も参照)と、9軸センサー66とを備えている。
外景撮影用カメラ61は、使用者が画像表示部20を装着した際の使用者の眉間に対応する位置に配置されている。そのため、外景撮影用カメラ61は、使用者が画像表示部20を頭部に装着した状態において、使用者が向いている方向の外部の景色である外景を撮像する。外景撮影用カメラ61は、単眼カメラであるが、ステレオカメラであってもよい。
9軸センサー66は、加速度(3軸)、角速度(3軸)、地磁気(3軸)を検出するモーションセンサーである。9軸センサー66は、画像表示部20に設けられているため、画像表示部20が使用者の頭部に装着されているときには、使用者の頭部の動きを検出する。検出された使用者の頭部の動きから画像表示部20の向きが特定される。
右表示駆動部22は、受信部(Rx)53と、光源として機能する右バックライト(BL)制御部201および右バックライト(BL)221と、表示素子として機能する右LCD制御部211および右LCD241と、右投写光学系251とを含んでいる。なお、右バックライト制御部201と、右LCD制御部211と、右バックライト221と、右LCD241とを総称して「画像光生成部」とも呼ぶ。
受信部53は、制御部10と画像表示部20との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部201は、入力された制御信号に基づいて、右バックライト221を駆動する。右バックライト221は、例えば、LEDやエレクトロルミネセンス(EL)等の発光体である。右LCD制御部211は、受信部53を介して入力されたクロック信号PCLKと、垂直同期信号VSyncと、水平同期信号HSyncと、右眼用画像データData1とに基づいて、右LCD241を駆動する。右LCD241は、複数の画素をマトリクス状に配置した透過型液晶パネルである。
右投写光学系251は、右LCD241から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部26としての右導光板261は、右投写光学系251から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼REに導く。光学像表示部は、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。なお、HMD100が画像光を出射することを、本明細書では「画像を表示する」とも呼ぶ。
左表示駆動部24は、右表示駆動部22と同様の構成を有している。すなわち、左表示駆動部24は、受信部(Rx)54と、光源として機能する左バックライト(BL)制御部202および左バックライト(BL)222と、表示素子として機能する左LCD制御部212および左LCD242と、左投写光学系252とを含んでいる。
図3は、画像光生成部によって画像光が射出される様子を示す説明図である。右LCD241は、マトリクス状に配置された各画素位置の液晶を駆動することによって、右LCD241を透過する光の透過率を変化させることにより、右バックライト221から照射される照明光ILを、画像を表わす有効な画像光PLへと変調する。左側についても同様である。なお、図3に示すように、本実施形態ではバックライト方式を採用したが、フロントライト方式や、反射方式を用いて画像光を射出する構成としてもよい。
A−2.頭部装着型表示装置のプラットフォーム:
図4は、HMD100のプラットフォームの説明図である。プラットフォームとは、HMD100にインストールされているアプリケーションを動作させるために必要な、基盤となるハードウェア資源、OS、ミドルウェア等の集合である。本実施形態のプラットフォーム500は、アプリケーション層510と、フレームワーク層520と、ライブラリー層530と、カーネル層540と、ハードウェア層550と、を含んでいる。各層510〜550は、プラットフォーム500に含まれているハードウェア資源、OS、ミドルウェア等を概念的に層分けしている。フレームワーク層520と、ライブラリー層530と、カーネル層540とによって、OS150(図2)の機能が実現される。なお、図4では、説明上必要としない構成要素は図示を省略する。
アプリケーション層510は、OS150上において所定の処理を実行するためのアプリケーションソフトウェアの集合である。アプリケーション層510に含まれている各アプリケーションソフトウェアを、以降「アプリ」または「アプリケーション」とも呼ぶ。アプリケーション層510には、HMD100に予めインストールされているアプリと、HMD100の使用者がインストールしたアプリと、の両方が含まれる。
図4の例では、アプリケーション層510には、美術館案内アプリ511と、ゲームアプリ512と、カメラアプリ513等、が含まれている。美術館案内アプリ511は、美術館見学に好適な案内機能を提供する。ゲームアプリ512は、ゲーム機能を提供する。カメラアプリ513は、撮影機能を提供する。
フレームワーク層520は、アプリケーション層510のアプリケーションソフトウェアに共通する基本的なプログラム構造や、機能セットを実装したプログラムの集合である。本実施形態では、画像処理部フレーム521と、表示制御部フレーム522と、音声処理部フレーム523と、iBeacon処理部フレーム524等、が含まれている。画像処理部フレーム521は、画像処理部160(図2)の機能を実現する。表示制御部フレーム522は、表示制御部162(図2)の機能を実現する。音声処理部フレーム523は、音声処理部170(図2)の機能を実現する。iBeacon処理部フレーム524は、iBeacon処理部172(図2)の機能を実現する。
ライブラリー層530は、特定の機能を実現するためのプログラムを、他のプログラム(例えばアプリケーション層510のアプリ)から使用できるように部品化したライブラリーソフトウェアの集合である。ライブラリー層530に含まれている各ライブラリーソフトウェアを、以降「ライブラリー」とも呼ぶ。ライブラリーは、単独では実行できず、他のプログラムから呼び出される形で実行される。
図4の例では、ライブラリー層530には、ディスプレイライブラリー533と、オーディオライブラリー534と、センサーライブラリー535と、カメラライブラリー536と、HTML(Hyper Text Markup Language)ライブラリー537等、が含まれている。ディスプレイライブラリー533は、右LCD241および左LCD242(図2)を駆動する。オーディオライブラリー534は、右イヤホン32および左イヤホン34(図2)に内蔵されている音声IC(Integrated Circuit)を駆動する。センサーライブラリー535は、9軸センサー66(図2)を駆動すると共に、9軸センサー66による検出値を取得し、検出値をアプリに提供するための情報へ加工する。カメラライブラリー536は、外景撮影用カメラ61(図2)を駆動すると共に、外景撮影用カメラ61による検出値を取得し、検出値から外景画像を生成する。HTMLライブラリー537は、ウェブページ記述用言語で記載されたデータを解釈して画面表示用の文字や画像の配置を計算する。
カーネル層540は、OS150の基本機能を実装したプログラムの集合である。カーネル層540は、ソフトウェア(ライブラリー層530)とハードウェア(ハードウェア層550)とのやり取りを管理し、両者の架け橋として機能する。
図4の例では、カーネル層540には、右LCD241および左LCD242用のLCDドライバー541と、音声IC用の音声ICドライバー542と、9軸センサー66用のセンサードライバー543と、外景撮影用カメラ61に内蔵されている画像センサー用の画像センサードライバー544と、が含まれている。
ハードウェア層550は、HMD100に組み込まれている実際のハードウェア資源である。本実施形態において「ハードウェア資源」とは、HMD100に接続されてHMD100に組み込まれているデバイスを意味する。すなわち、ハードウェア資源には、HMD100のマザーボードに内部的に接続されているデバイス(例えば、9軸センサー66のセンサーデバイス、カメラ61の画像センサーデバイス、タッチパッド14のセンサーデバイス等)と、インターフェイス180を介してHMD100に外部的に接続されているデバイス(例えば、外付けのモーションセンサーデバイス、外付けのUSBデバイス等)と、の両方が含まれる。
図4の例では、ハードウェア層550には、右LCD241および左LCD242としてのLCDデバイス551と、音声ICデバイス552と、9軸センサー66のセンサーデバイス553と、カメラ61の画像センサーデバイス554と、が含まれている。
図4において破線で囲んだライブラリーと、ドライバーと、デバイスとは、それぞれ対応関係にあり、協働して動作する。例えば、センサーライブラリー535と、センサードライバー543と、センサーデバイス553と、は9軸センサー66の機能を実現するために協働して動作する。すなわち、ライブラリー層530のセンサーライブラリー535と、カーネル層540のセンサードライバー543とは、アプリが、ハードウェア資源(ハードウェア層550)としてのセンサーデバイス553を使用するためのプログラム(ソフトウェア)であると言える。なお、1つのハードウェア資源としてのセンサーデバイス553を使用可能とするために、センサーデバイス553に複数のライブラリーが割り当てられる構成としてもよい。
一方、図4において、例えば、ライブラリー層530のHTMLライブラリー537は、ハードウェア資源と対応関係になく、ハードウェア資源に依存しない。このように、HMD100に組み込まれ、ハードウェア資源に依存しないプログラム(ソフトウェア)を、本実施形態では「ソフトウェア資源」とも呼ぶ。ソフトウェア資源としては、フレームワーク層520、ライブラリー層530、カーネル層540の各層に含まれる種々のプログラムが想定される。
A−3.頭部装着型表示装置の使用形態:
図5は、美術館におけるHMD100の使用の形態を示す説明図である。まず、美術館を訪れた者は、受付に行き、入館料金を支払う(シーン1)。この際、受付者は、来訪者の個人認証を行うようにしてもよい。個人認証としては、例えば、免許証、パスポート、健康保険証等の身分証明書の提示を受けることによって行う。
シーン1に続くシーン2では、受付者は、受付を済ませた来訪者に前述したHMD100の貸し出しを行う。なお、この貸し出しに際し、受付者は、HMD100に対して、ハードキーとしてICカード、USBメモリー、SIM等を差し込む。なお、ハードキーに換えてソフトキーとして、OS150のプロダクトキー等を入力するようにしてもよい。なお、個人認証を行なっている場合には、上述した身分証明書の番号等をソフトキーとして入力するようにすることもできる。ソフトキーとしての入力は、タッチパッド14や十字キー16等の入力情報取得部110等を用いて行う。こうして入力されたハードキーまたはソフトキーは、HMD認証キーとしてHMD100の記憶部120に記憶される。受付者は、ハードキーまたはソフトキーの入力を終えたHMD100を来訪者に貸し出す。なお、HMD100は、美術館案内アプリ511(図4)が起動された状態で貸し出される。
シーン2に続くシーン3では、来訪者は、貸し出されたHMD100を頭部に装着して使用する。HMD100を使用中の来訪者を、以下、「使用者」とも呼ぶ。美術館の展示エリア600前にはゲート(入口)610が設けられており、シーン3では、使用者HUはゲート610の前まで進む。ゲート610には、ゲート610を識別するためのマーカーとしてのゲート識別名称GNが記されている。シーン3では、使用者HUは、ゲート識別名称GNの撮影を含めたHMD100の機能を用いてゲート610を開く。この機能の詳細については、後述する。
使用者HUは、開いたゲート610を通過して、展示エリア600内に入る。展示エリア600内には、iBeacon(登録商標)用のBLE端末670が複数、設置されている。展示エリア600内を移動するシーン4では、使用者HUは、BLE端末670との通信を含めたHMD100の機能を用いて順路(案内ルート)の提示を受ける。この機能の詳細についても、後述する。
使用者HUは、展示品680の前に進み、展示品680を鑑賞する(シーン5)。展示品680の周囲には、展示品680を識別するためのマーカーがバーコードBCの形で付設されている。この鑑賞の際に、使用者は、バーコードBCの撮影を含めたHMD100の機能を用いて、目の前の展示品680についての情報の提示を受ける。この機能の詳細についても、後述する。なお、展示品は、展示物であってもよい。
展示品の鑑賞を終えた使用者HUは、図示しないゲート(出口)から展示エリア600の外側に移動し(図示しないシーン6)、受付でHMD100を返却する(図示しないシーン7)。
A−4.ゲートと中央監視装置の構成:
図6は、ゲートと中央監視装置とを示す説明図である。ゲート610は、開き戸タイプのもので、一対のスライドシャッタ612、614と、左収納部616と、右収納部618とを備える。スライドシャッタ612、614は、左収納部616に備えられるシャッタ駆動部(図示せず)と、右収納部618に備えられるシャッタ駆動部(図示せず)とによって開閉される。開いた状態では、左側のスライドシャッタ612は左収納部616に、右側のスライドシャッタ614は右収納部618に収納される。ゲート610は、美術館には複数備えられており、各ゲート610の右収納部618に、各ゲート610を識別するための前述したゲート識別名称(例えば、「ゲートA]、「ゲートB」等)GNが記されている。
中央監視装置650は、ケーブル620によって各ゲート610と接続されている。中央監視装置650は、各ゲート610の開閉を制御するとともに、入館者の管理を行う。中央監視装置650は、CPU652と、ROMやRAM等によって構成される記憶部654と、入出力部656と、無線通信部658と、を備える。
記憶部634は、プログラム記憶部654aと、HMD認証キー記憶部654bと、ゲート情報記憶部654cと、順路情報記憶部654dと、展示品情報記憶部654eと、を備える。プログラム記憶部654aには、各種コンピュータープログラムが予め記憶されている。各種コンピュータープログラムとしては、前述した美術館案内アプリ511が含まれる。HMD認証キー記憶部654bには、HMD100から取り込んだHMD認証キーが記憶される。ゲート情報記憶部654cには、ゲート識別名称GNに対応してゲート610に関する情報が予め記憶されている。順路情報記憶部654dには、展示エリア600の順路を示す情報が予め記憶されている。展示品情報記憶部654eには、展示品680(図5)の識別コードに対応して展示品680についての詳細情報(例えば、技法、時代背景、美術史に関する情報等)が予め記憶されている。
入出力部656は、CPU652からの開閉指令を有線にて各ゲート610のシャッタ駆動部に送る。無線通信部658は、使用者HUが装着したHMD100との間で無線通信を行う。
CPU652は、プログラム記憶部654aに記憶されたコンピュータープログラムを実行することによって、記憶部654に記憶された各種の情報の利用を図りながら、図5のシーン3からシーン5において必要となる機能をHMD100に実現させる。
A−5.シーン3における処理:
図7は、入館処理ルーチンの詳細を示すフローチャートである。入館処理ルーチンは、美術館案内アプリ511(図4)に含まれる複数の処理ルーチンのうちの一つであり、HMD100のCPU140によって、所定時間毎に繰り返し実行される。なお、入館処理ルーチンは、シーン2によるHMD100の貸し出し後、後述するゲートを通過するまでの期間に限って実行される。処理が開始されると、CPU140は、外景撮影用カメラ61を起動して外景を撮影する(ステップS110)。シーン3では、使用者HUはゲート610の前まで進むが、その際に、外景撮影用カメラ61によって外景が自動撮影される。
続いて、CPU140は、ステップS110によって撮影された撮影画像の中にゲート識別名称GN(図6)が含まれるか否かを判定する(ステップS120)。この判定は、文字パターン認識によって撮影画像の中からゲート識別名称GNの文字列が抽出されたときに、ゲート識別名称GNが含まれているものと判定する。
ステップS120で、ゲート識別名称GNが含まれないと判定された場合には、CPU140は、ステップS110に処理を戻して、外景撮影用カメラ61による撮影を継続して、ゲート識別名称GNが撮影されるのを待つ。一方、ステップS120で、ゲート識別名称GNが含まれると判定された場合には、CPU140は、ゲートを開く開指令とともに、撮影画像から取得されたゲート識別名称GNと、シーン2(図5)にてHMD100の記憶部120に記憶されたHMD認証キーとを、無線通信部132を介して中央監視装置650に送信する(ステップS130)。その後、CPU140は、外景撮影用カメラ61の撮影を停止する(ステップS140)。なお、CPU140によって実行されるステップS110からステップS120でYESと判定されるまでの処理が、移動検出部164(図2)に対応している。すなわち、移動検出部164は、特定の場所としてのゲート前にHMD100が移動したことを検出する。なお、換言すれば、特定の場所は展示エリア600であるとして、移動検出部164は、特定の場所としての展示エリア600にHMD100が移動したと捉えることもできる。
中央監視装置650のCPU652は、HMD100から開指令を受信したか否かを判定し(ステップS210)、受信したと判定された場合に、HMD100から開指令とともに送られて来たHMD認証キーを、記憶部654のHMD認証キー記憶部654bに格納する(ステップS220)。これにより、中央監視装置650は、入館者をHMD認証キーの形で登録することができる。その後、CPU652は、HMD100から開指令とともに送られて来たゲート識別名称GNに対応したゲート610を開く処理を行う(ステップS230)。中央監視装置650のゲート情報記憶部654cには、ゲート情報として、各ゲート610のゲート識別名称GNに対応して、各ゲート610を開く開信号の送付先が予め記憶されており、ステップS230では、CPU652は、HMD100から送られて来たゲート識別名称GNに対応した送付先をゲート情報記憶部654cから読み出して、その送付先に開信号を送ることで、ゲート610を開くことを行う。
次いで、CPU652は、無線通信部658を介して入館許可信号をHMD100に送信する(ステップS240)。
その後、HMD100のCPU140は、中央監視装置650から入館許可信号を受信したか否かを判定し(ステップS160)、受信したと判定された場合に、”入館してください”と記されたメッセージ画像を表示する(ステップS170)。すなわち、CPU140は、上記メッセージ画像を画像表示部20に表示させる。
続いて、CPU140は、アプリケーション層510に含まれる音声処理部フレーム523とカメラアプリ513とをロックする(ステップS180)。音声処理部フレーム523は、HMD100の音声の出力の全てを担うために、音声処理部フレーム523がロックされることで、HMD100からの音声の出力は全て消される(ミュートされる)。一方、外景撮影用カメラ61を用いた撮影機能については、カメラアプリ516以外にも、アプリケーション層510に含まれる美術館案内アプリ511によるマーカー認識処理にも含まれる。ステップS190によるカメラアプリ516のロックによれば、カメラアプリ516による撮影は禁止され、美術館案内アプリ511によるマーカー認識処理に従う撮影は禁止されることはない(すなわち、許可される)。
ステップS190の実行後、「リターン」に抜けて、この入館処理ルーチンは一旦終了する。なお、本実施形態では、カメラアプリ516によって提供される撮影機能は外景撮影用カメラ61を用いたものであるが、これに換えて、外景撮影用カメラ61以外に他のカメラを搭載する場合には、カメラアプリ513は他のカメラによって撮影を行う場合もあり得る。この場合には、ステップS180では、カメラアプリ513を禁止することで前記他のカメラによる撮影をも禁止する構成としてもよい。
なお、CPU140によって実行されるステップS170およびS180の処理が、処理制御部166(図2)に対応している。すなわち、処理制御部166は、
i)情報提示機能を拡張することとして、”入館してください”と記されたメッセージ画像を表示し、
ii)音声機能を抑制することとして、音声処理部フレーム523をロックし、
iii)撮影機能を抑制することとして、マーカー認識処理に従う撮影は許可し、カメラアプリ516による撮影機能は禁止する。
ステップS170による”入館してください”とのメッセージ画像を認識した使用者HUは、開いたゲート610を通過して、展示エリア600内に入る。なお、ステップS180による音声処理部フレーム523とカメラアプリ513のロックは、使用者HU、すなわち使用者HUが装着したHMD100が、展示エリア600の外側に移動するまで継続され、外側に移動したシーン6となって初めてロックが解除される。なお、使用者HUが装着したHMD100が特定の場所としての展示エリア600の外側に移動したことが検出されたときには、音声処理部170を動作させて音声を出力したり、例えば”ロックを解除しました”と記されたメッセージ画像を画図表示部20に表示させたりして、ロックされた機能を回復した旨を使用者に報知するようにしてもよい。この構成によれば、使用者の利便性の向上を図ることができる。
以上のように構成された入館処理ルーチンによれば、使用者HUがゲート610の前に移動したとき、すなわち、HMD100がゲート610の前に移動したときに、上記(i)〜(iii)が行われる。このために、本実施形態のHMD100によれば、ゲート610前に移動するだけで、”入館してください”との情報提示機能が実行され、さらには、音声機能が抑制され、カメラアプリ516を使った撮影機能が禁止される。
したがって、HMD100によれば、情報提示によって使用者HUの利便性を高めることができる。また、展示エリア600内でのHMD100からの音声機能を抑制することで、マナーを守ることができる。また、展示エリア600内でのHMD100による撮影を禁止することで、展示品680等が盗撮されることを防止することができる。すなわち、HMD100によれば、展示エリア600内という場にふさわしい機能を、人が機能の設定をいちいち切り替えることなしに、容易に実現できるという効果を奏する。
なお、この順路案内処理ルーチンに従う処理によれば、ゲート610に付されたゲート識別名称GNを撮影することによって、使用者が装着しているHMD100がゲート前に移動したことを検出しているが、これに換えて、各ゲートの形状を予め異なったものとして、ゲートそのものを撮影することによって、撮影画像のゲートの形状からHMDが特定のゲート前に移動したことを検出するようにしてもよい。また、ゲート識別名称GNは、記号、図形、印等、ゲート610を識別するためのマーカーとなり得るものであれば、いずれに換えることもできる。
A−6.シーン4における処理:
図8は、順路案内処理ルーチンの詳細を示すフローチャートである。順路案内処理ルーチンは、美術館案内アプリ511(図4)に含まれる複数の処理ルーチンのうちの一つであり、HMD100のCPU140によって、所定時間毎に繰り返し実行される。この順路案内処理ルーチンでは、iBeacon処理部172を用いる。展示エリア600における順路の各曲がり角や、まっすぐ進む部分が続く場合のその中途部分(以下、「直線中途部分」と呼ぶ)には、BLE端末670(図5)がそれぞれ配置されており、BLE端末670からiBeaconの信号が出力される。iBeaconの信号には、BLE端末670を識別するためのBLE端末識別番号と、BLE端末670までの距離とが少なくとも保持される。
処理が開始されると、HMD100のCPU140は、まず、BLE端末670からiBeaconの信号を感知したか否かを判定する(ステップS310)。CPU140は、iBeaconの信号を感知するまでステップS310の処理を繰り返し実行し、ステップS310で感知されたと判定されると、感知した信号に保持される距離が所定値(例えば、2m)未満であるか否かを判定する(ステップS320)。ここで、距離が所定値未満でないと判定された場合には、ステップS310に処理を戻す。
一方、ステップS320で、距離が所定値未満であると判定された場合には、感知した信号に保持されるBLE端末識別番号に対応した順路情報を取得する処理を行う。中央監視装置650の順路情報記憶部654dには、順路情報として、BLE端末識別番号に対応して、例えば「左に曲がって下さい」、「右に曲がって下さい」、あるいは「まっすぐ進んで下さい」といった情報が記憶されており、ステップS320では、CPU140は、感知した信号に保持されるBLE端末識別番号に対応した順路情報を順路情報記憶部654dから読み出すことによって、上記取得を行う。
その後、CPU140は、ステップS330によって取得した順路情報に応じた順路案内メッセージを表示する(ステップS340)。すなわち、CPU140は、上記順路案内メッセージを画像表示部20に表示させる。
図9は、ステップS340の結果、使用者に視認される順路案内メッセージの一例を示す説明図である。図9では、使用者の視野VRを例示している。視野VRには、図示するように、展示エリア600内の外景SCが含まれている。また、外景SCに重畳して、例えば「左に曲がって下さい」といった順路案内メッセージMS1が表示される。
図8のステップS340の実行後、「リターン」に抜けて、この順路案内処理ルーチンを一旦終了する。CPU140によって実行されるステップS310およびS320の処理が、移動検出部164(図2)に対応している。すなわち、移動検出部164は、特定の場所としての順路の曲がり角の付近や直線中途部分の付近にHMD100が移動したことを検出する。CPU140によって実行されるステップS330およびS340の処理が、処理制御部166(図2)に対応している。すなわち、処理制御部166は、情報提示機能を拡張することとして、順路案内メッセージMS1を表示する。
以上のように構成された順路案内処理ルーチンによれば、HMD100を装着した使用者は、展示エリア600内を移動する際に、順路案内メッセージMSを視野VRの中に認識することができる。このために、本実施形態のHMD100によれば、使用者の利便性に優れている。
なお、この順路案内処理ルーチンに従う処理によれば、iBeaconの技術によって、使用者が装着しているHMD100の移動を検出しているが、これに換えて、Wi−Fiのアクセスポイントを設置する際に登録される位置情報を使って現在位置を推測することでHMDの移動を検出する構成としてもよい。また、LEDを使った可視光通信によってHMDの移動を検出してもよい。要は、外部の無線通信端末からの信号に基づいてHMDの移動を検出するものであれば、どのような無線通信の技術を用いる構成としてもよい。さらに、地磁気を利用して屋内の現在位置を求める技術や、屋内GPSの技術によってHMDの移動を検出する構成としてもよい。また、展示エリア600が屋外であれば、GPSモジュール134を利用して現在位置を特定することでHMDの移動を検出する構成とすることもできる。また、これら技術の一つからHMDの移動を検出する構成に換えて、これら技術のうちの複数を組み合わせてHMDの移動を検出するようにしてもよい。検出場所等によって、それら技術を使い分けるようにしてもよい。
A−7.シーン5における処理:
図10は、展示品解説ルーチンの詳細を示すフローチャートである。展示品解説ルーチンは、美術館案内アプリ511(図4)に含まれる複数の処理ルーチンのうちの一つであり、HMD100のCPU140によって、所定時間毎に繰り返し実行される。処理が開始されると、CPU140は、まず、9軸センサー66にて使用者の頭部の動きを検出することで、使用者が歩行中であるか否かを判定する(ステップS410)。ここで、歩行中であると判定されたときには、使用者は展示品を鑑賞する状態にないとして、「リターン」に抜けて、この展示品解説ルーチンを一旦停止する。一方、ステップ410で、歩行中でないと判定されると、外景撮影用カメラ61を起動して外景を撮影する(ステップS420)。なお、変形例として、ステップS410の歩行中かの判定を行うことなく、直ちに外景の撮影を行う構成としてもよい。
続いて、CPU140は、ステップS420によって撮影された撮影画像の中に展示品識別用のバーコードBCが含まれるか否かを判定する(ステップS430)。ここで、含まれないと判定された場合には、CPU140は、ステップS420に処理を戻して、外景撮影用カメラ61による撮影を継続して、バーコードBCが撮影されるのを待つ。一方、ステップS430で、展示品識別用のバーコードBCが含まれると判定された場合には、バーコードBCを展示品680の識別コードに変換し(ステップS440)、外景撮影用カメラ61の撮影を停止する(ステップS450)。その後、CPU140は、ステップS440によって得られた展示品識別コードに対応した展示品情報を展示品情報記憶部654eから読み出し(ステップS460)、その展示品情報を表示する(ステップS470)。すなわち、CPU140は、展示品情報を画像表示部20に表示させる。なお、展示品情報は、外景に含まれるバーコードBCの位置に基づく位置に表示するようにした。本実施形態では、バーコードBCは、図5に示すように、展示品680の左上に付設されており、展示品情報は、バーコードBCの左方向の位置に表示するようにした。
図11は、ステップS470の結果、使用者に視認される展示品情報の一例を示す説明図である。使用者の視野VRを例示している。視野VRには、展示品680の周囲の外景SCが含まれている。また、外景SCに重畳して展示品情報EXが表示される。展示品情報EXは、技法、時代背景、美術史に関する情報等の展示品についての詳細情報であり、本実施形態では、バーコードBCの左側に表示される。なお、この表示位置は、バーコードBCの左側の位置に限る必要はなく、バーコードBCに対して他の方向の位置であってもよいし、あるいは、展示品の位置をパターン認識によって把握して、展示品に対する所定の相対位置に表示するようにしてもよい。
図10のステップS470の実行後、「リターン」に抜けて、この順路案内処理ルーチンを一旦終了する。なお、CPU140によって実行されるステップS420およびS430の処理が、移動検出部164(図2)に対応している。すなわち、移動検出部164は、特定の場所としての展示品680前にHMD100が移動したことを検出する。CPU140によって実行されるステップS460およびS470の処理が、処理制御部166(図2)に対応している。すなわち、処理制御部166は、情報提示機能を拡張することとして、展示品情報EXを表示する。
以上のように構成された展示品解説ルーチンによれば、HMD100を装着した使用者は、展示品680の前に立つだけで、展示品680の技法や、時代背景、美術史に関する情報等の展示品情報EXを視野VRの中に認識することができる。このために、本実施形態のHMD100によれば、使用者の利便性に優れている。
なお、この展示品解説ルーチンに従う処理によれば、展示品680の周辺に付されたバーコードBCを撮影することによって、使用者が装着しているHMD100が展示品前に移動したことを検出しているが、バーコードBCは、単純ではっきりした白黒の図形や、QRコード(登録商標)等の他の種類のコードに換えてもよい。また、バーコードBCの配置される位置も、展示品680の左上に付設する構成に換えて、展示品680の周囲あるいは周辺であれば、いずれの位置とすることもできる。さらには、展示品680の内側に、電子透かしの形態でコードを配置する構成としてもよい。さらに、展示品680そのものの撮影画像に基づいて、その展示品前に移動したことを検出する構成としてもよい。
B.変形例:
なお、この発明は上記第1実施形態およびその変形例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。
・変形例1:
第1実施形態や変形例では、HMDを使用する場所を美術館としたが、これに換えて、博物館で使用するものとしてもよい。博物館においては、上記実施形態におけるシーン3〜5の形態をそのまま適用することができる。さらに、美術館、博物館以外に、劇場、オペラハウス、映画館、コンサート会場、講習会等で使用する形態としてもよく、それら施設の場合には、例えば、施設に入ったときに、音声処理部アプリ514とカメラアプリ516とがロックされる構成としてもよい。
・変形例2:
上記のHMDの使用される場所は、第1実施形態や変形例1以外に、観光地、会社、デパート、工場、学校、病院、高速道路内、競技場、電車の中、車の中、航空機の中など種々の場所とすることができる。例えば、観光地の場合には、建造物(例えば、神社仏閣、遺跡、城、仏像、塔、等)の周辺へのHMDの移動が例えばGPSによって検出されたときに、前記シーン5の形態のような詳細情報、すなわち、建造物の歴史案内、時代絵巻等を表示するようにしてもよい。例えば、電車の中、車の中、飛行機の中などのパブリックスペースへの移動が検出されたときに、カメラアプリ516がロックされる構成として、盗撮防止を図るようにしてもよい。例えば、パブリックスペースへの移動が検出されたときに、カメラの解像度を制限すること、例えば通常1200万画素のカメラを人の顔を認識出来ないレベルの30万画素の機能に落とようにしてもよい。例えば、会社への移動が検出されたときに、業務用のアプリケーションプログラムのファイルの実行を許可するようにしてもよい。例えば、デパートの場合には、前記シーン4の形態と同様にiBeaconの技術を用いて、所定の売り場前へのHMDの移動が検出されたときに、バーゲン品等のお薦め情報を表示するようにしてもよい。例えば、航空機の中では、妨害電波の基となる携帯電話、無線LANの使用を禁止し、航空機の電子機器への影響の少ないBluetooth、iBeaconを利用可能とするようにしてもよい。また、移動検出部が移動したことを検出する特定の場所を、国のような大きな単位とすることもできる。例えば、HMDが特定の国に移動したことがGPS等によって検出されたときに、その国に応じて定められた機能を変更するようにしてもよい。例えば、使用言語を変更すること、長さ、質量などの使用単位を変更すること、無線機器の出力制限を変更すること等を行うことができる。
・変形例3:
上記実施形態では、処理制御部として、音声機能を抑制することとして、音声処理部フレーム523をロックしていたが、これに換えて、音声の出力レベルを抑える(すなわち、音量を下げる)構成としてもよい。また、情報提示機能を抑制する構成として、表示する案内情報の情報量を少なくする構成等、所定の機能を抑制する構成としてもよい。また、例えば、音声の出力の程度を促進する(すなわち、音量を上げる)構成、表示する案内情報の情報量を多くする構成等、所定の処理の機能を促進する構成としてもよい。
・変形例4:
上記実施形態では、カメラによる撮影機能の変更として、駆動のオン/オフの切り替えであったが、これに換えて、解像度の変更、赤外撮影のオン/オフの切り替え、ビデオ機能のオン/オフの切り替え、カラー/白黒の切り替え、連写のオン/オフの切り替え、分割撮影のオン/オフの切り替え、保存形式(ロウデータ)の切り替え、撮影画像の保存の可否の切り替え、撮影画像に対するパスワードの付与の切り替え、各種フィルタ撮影の切り替え等としてもよい。
・変形例5:
上記実施形態では、情報提示機能の変更として、種々のメッセージを表示する構成としたが、表示の能力を切り替える構成としてもよい。例えば、右表示駆動部22および左表示駆動部24を用いた両眼表示といずれか一方を用いた単眼表示との切り替え、解像度の切り替え、3D表示と2D表示の切り替え、カラー/白黒の切り替え、透過率の切り替え、表示輝度の切り替え、動画フレーム数の切り替え、表示言語の切り替え等としてもよい。また、広告表示のオン/オフの切り替えとしてもよい。
・変形例6:
上記実施形態では、音声機能の変更として、音域の変更、ビットレート(AM放送並み、高品質など)の変更、ドルビーのオン/オフの変更、使える音源の数や種類(シンセサイザ、音声合成)の変更、ステレオ/モノラルの変更、左右いずれか/両方かの変更等、種々の切り替えに適用することができる。また、録音機能の変更として、マイクのオン/オフの変更、録音機能そのもののオン/オフの変更、録音音声の保存の有無の変更、バスワード付与の有無の変更等としてもよい。
・変形例7:
その他、機能の変更として、各種センサーのオン/オフの切り替えとしてもよい。また、機能の変更として、通信機能の変更であってもよい。通信機能の変更としては、通信機能のオン/オフの切り替え、通信速度の切り替え、通信距離の切り替え、接続先ネットワークの範囲の切り替え、自動接続の可否の切り替え等としてもよい。また、プルートゥースやiBeacomのオン/オフの切り替え、ブルートゥースのマルチリンク可否の切り替え、RFタグの読み取り機能のオン/オフの切り替え、メモリーのアクセス範囲の切り替え、外部メモリーへのアクセスの可否の切り替え、ライブラリーやドライバーのアクセス範囲の切り替え等としてもよい。
・変形例8:
上記実施形態では、機能を変更する方法として、アプリケーション層510に含まれる要素、(例えば、カメラアプリ516)を変更したり、フレームワーク層520に含まれる要素、例えば、音声処理部フレーム523)を変更していたが、これらに換えて、ライブラリー層530に含まれる要素を変更したり、カーネル層540に含まれる要素を変更したり、ハードウェア層550に含まれる要素を変更したりしてもよい。
・その他の変形例:
上記実施形態では、ヘッドマウントディスプレイの構成について例示した。しかし、ヘッドマウントディスプレイの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、各構成部の追加・削除・変換等を行うことができる。
上記実施形態における、制御部と、画像表示部とに対する構成要素の割り振りは、あくまで一例であり、種々の態様を採用可能である。例えば、以下のような態様としてもよい。(i)制御部にCPUやメモリー等の処理機能を搭載、画像表示部には表示機能のみを搭載する態様、(ii)制御部と画像表示部との両方にCPUやメモリー等の処理機能を搭載する態様、(iii)制御部と画像表示部とを一体化した態様(例えば、画像表示部に制御部が含まれ眼鏡型のウェアラブルコンピューターとして機能する態様)、(iv)制御部の代わりにスマートフォンや携帯型ゲーム機を使用する態様、(v)制御部と画像表示部とを無線通信かつワイヤレス給電可能な構成とすることにより接続部(コード)を廃した態様。
上記実施形態では、説明の便宜上、制御部が送信部を備え、画像表示部が受信部を備えるものとした。しかし、上記実施形態の送信部および受信部は、いずれも、双方向通信が可能な機能を備えており、送受信部として機能することができる。また、例えば、図2に示した制御部は、有線の信号伝送路を介して画像表示部と接続されているものとした。しかし、制御部と、画像表示部とは、無線LANや赤外線通信やBluetooth(登録商標)等の無線の信号伝送路を介した接続により接続されていてもよい。
例えば、上記実施形態で示した制御部、画像表示部の構成は任意に変更することができる。具体的には、例えば、制御部からタッチパッドを省略し、十字キーのみで操作する構成としてもよい。また、制御部に操作用スティック等の他の操作用インターフェイスを備えても良い。また、制御部にはキーボードやマウス等のデバイスを接続可能な構成として、キーボードやマウスから入力を受け付けるものとしてもよい。また、例えば、タッチパッドや十字キーによる操作入力のほか、フットスイッチ(使用者の足により操作するスイッチ)による操作入力を取得してもよい。例えば、画像表示部に赤外線センサー等の視線検知部を設けた上で、使用者の視線を検知し、視線の動きに対応付けられたコマンドによる操作入力を取得してもよい。例えば、カメラを用いて使用者のジェスチャーを検知し、ジェスチャーに対応付けられたコマンドによる操作入力を取得してもよい。ジェスチャー検知の際は、使用者の指先や、使用者の手に付けられた指輪や、使用者の手にする医療器具等を動き検出のための目印にすることができる。フットスイッチや視線による操作入力を取得可能とすれば、使用者が手を離すことが困難である作業においても、入力情報取得部は、使用者からの操作入力を取得することができる。
図12は、変形例におけるHMDの外観の構成を示す説明図である。図12(A)の例の場合、画像表示部20xは、右光学像表示部26に代えて右光学像表示部26xを備え、左光学像表示部28に代えて左光学像表示部28xを備えている。右光学像表示部26xと左光学像表示部28xとは、上記実施形態の光学部材よりも小さく形成され、HMDの装着時における利用者の右眼および左眼の斜め上にそれぞれ配置されている。図12(B)の例の場合、画像表示部20yは、右光学像表示部26に代えて右光学像表示部26yを備え、左光学像表示部28に代えて左光学像表示部28yを備えている。右光学像表示部26yと左光学像表示部28yとは、上記実施形態の光学部材よりも小さく形成され、HMDの装着時における利用者の右眼および左眼の斜め下にそれぞれ配置されている。このように、光学像表示部は利用者の眼の近傍に配置されていれば足りる。また、光学像表示部を形成する光学部材の大きさも任意であり、光学像表示部が利用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が利用者の眼を完全に覆わない態様のHMDとして実現することもできる。
例えば、ヘッドマウントディスプレイは、両眼タイプの透過型ヘッドマウントディスプレイであるものとしたが、単眼タイプのヘッドマウントディスプレイとしてもよい。また、使用者がヘッドマウントディスプレイを装着した状態において外景の透過が遮断される非透過型ヘッドマウントディスプレイとして構成してもよい。
例えば、画像処理部、表示制御部、音声処理部等の機能部は、CPUがROMやハードディスクに格納されているコンピュータープログラムをRAMに展開して実行することにより実現されるものとして記載した。しかし、これら機能部は、当該機能を実現するために設計されたASIC(Application Specific Integrated Circuit:特定用途向け集積回路)を用いて構成されてもよい。
例えば、上記実施形態では、画像表示部を眼鏡のように装着するヘッドマウントディスプレイであるとしているが、画像表示部が通常の平面型ディスプレイ装置(液晶ディスプレイ装置、プラズマディスプレイ装置、有機ELディスプレイ装置等)であるとしてもよい。この場合にも、制御部と画像表示部との間の接続は、有線の信号伝送路を介した接続であってもよいし、無線の信号伝送路を介した接続であってもよい。このようにすれば、制御部を、通常の平面型ディスプレイ装置のリモコンとして利用することもできる。
また、画像表示部として、眼鏡のように装着する画像表示部に代えて、例えば帽子のように装着する画像表示部といった他の形状の画像表示部を採用してもよい。また、イヤホンは耳掛け型やヘッドバンド型を採用してもよく、省略しても良い。また、例えば、自動車や飛行機等の車両に搭載されるヘッドアップディスプレイ(HUD、Head-Up Display)として構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。
例えば、上記実施形態では、表示駆動部は、バックライトと、バックライト制御部と、LCDと、LCD制御部と、投写光学系を用いて構成されるものとした。しかし、上記の態様はあくまで例示である。表示駆動部は、これらの構成部と共に、またはこれらの構成部に代えて、他の方式を実現するための構成部を備えていても良い。例えば、表示駆動部は、有機EL(有機エレクトロルミネッセンス、Organic Electro-Luminescence)のディスプレイと、有機EL制御部と、投写光学系とを備える構成としても良い。例えば、表示駆動部は、LCDに代えてDMD(デジタル・マイクロミラー・デバイス)等を用いることもできる。例えば、表示駆動部は、RGBの各色光を発生させるための色光源とリレーレンズを含む信号光変調部と、MEMSミラーを含む走査光学系と、これらを駆動する駆動制御回路と、を含むように構成されてもよい。このように、有機ELやDMDやMEMSミラーを用いても、「表示駆動部における射出領域」とは、表示駆動部から画像光が実際に射出される領域であることに変わりはなく、各デバイス(表示駆動部)における射出領域を上記実施形態と同様に制御することによって、上記実施形態と同様の効果を得ることができる。また、例えば、表示駆動部は、画素信号に応じた強度のレーザーを、使用者の網膜へ出射する1つ以上のレーザーを含むように構成されてもよい。この場合、「表示駆動部における射出領域」とは、表示駆動部から画像を表すレーザー光が実際に射出される領域を表す。レーザー(表示駆動部)におけるレーザー光の射出領域を上記実施形態と同様に制御することによって、上記実施形態と同様の効果を得ることができる。
本発明は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
10…制御部(コントローラー)
12…点灯部
14…タッチパッド
16…十字キー
18…電源スイッチ
20…画像表示部
21…右保持部
22…右表示駆動部
23…左保持部
24…左表示駆動部
26…右光学像表示部
28…左光学像表示部
30…イヤホンプラグ
32…右イヤホン
34…左イヤホン
40…接続部
42…右コード
44…左コード
46…連結部材
48…本体コード
51…送信部
52…送信部
53…受信部
54…受信部
61…外景撮影用カメラ
110…入力情報取得部
100…頭部装着型表示装置(HMD)
120…記憶部
130…電源
132…無線通信部
140…CPU
160…画像処理部
162…表示制御部
164…移動検出部
166…処理制御部
170…音声処理部
180…インターフェイス
201…右バックライト制御部
202…左バックライト制御部
211…右LCD制御部
212…左LCD制御部
221…右バックライト
222…左バックライト
241…右LCD
242…左LCD
251…右投写光学系
252…左投写光学系
261…右導光板
262…左導光板
500…プラットフォーム
510…アプリケーション層
511…美術館案内アプリ
512…画像処理部アプリ
513…表示制御部アプリ
514…音声処理部アプリ
515…ゲームアプリ
516…カメラアプリ
520…フレームワーク層
530…ライブラリー層
533…ディスプレイライブラリー
534…オーディオライブラリー
535…センサーライブラリー
536…カメラライブラリー
537…ライブラリー
540…カーネル層
542…音声ICドライバー
543…センサードライバー
544…画像センサードライバー
550…ハードウェア層
552…音声ICデバイス
553…センサーデバイス
554…画像センサーデバイス
600…展示エリア
610…ゲート
612…スライドシャッタ
614…スライドシャッタ
616…左収納部
618…右収納部
620…ケーブル
634…記憶部
650…中央監視装置
652…CPU
654…記憶部
654a…プログラム記憶部
654c…ゲート情報記憶部
654d…順路情報記憶部
654e…展示品情報記憶部
656…入出力部
658…無線通信部
670…BLE端末
680…展示品
PCLK…クロック信号
VSync…垂直同期信号
HSync…水平同期信号
OA…外部機器
PC…パーソナルコンピューター
BC…バーコード
SC…外景
GN…ゲート識別名称
MS…順路案内メッセージ
EX…展示品情報

Claims (10)

  1. 透過型の頭部装着型表示装置であって、
    画像を表示して前記頭部装着型表示装置を装着した使用者に画像を視認させるとともに、外景を透過し得る画像表示部と、
    前記頭部装着型表示装置が特定の場所に移動したことを検出する移動検出部と、
    前記特定の場所への移動が検出されたときに、前記頭部装着型表示装置に搭載された所定の機能の少なくとも一部を変更する処理制御部と、
    を備え、
    前記所定の機能は、所定のマーカーを認識するために行うマーカー撮影機能を少なくとも含む撮影機能であって、
    前記処理制御部は、
    前記特定の場所への移動が検出されたときに、前記撮影機能のうちの前記マーカー撮影機能を許可し、前記撮影機能のうちの前記マーカー撮影機能を除いた撮影機能を禁止する、頭部装着型表示装置。
  2. 請求項1に記載の頭部装着型表示装置であって、
    前記外景を撮影する外景撮影部を備え、
    前記移動検出部は、
    前記外景撮影部によって得られた撮影画像に基づいて、前記特定の場所への移動を検出する、頭部装着型表示装置。
  3. 請求項2に記載の頭部装着型表示装置であって、
    前記移動検出部は、
    前記特定の場所を認識するためのマーカーが前記撮影画像内に含まれたときに、前記特定の場所への移動が検出されたものとする、頭部装着型表示装置。
  4. 請求項1に記載の頭部装着型表示装置であって、
    前記移動検出部は、
    外部の無線通信端末からの信号に基づいて、前記特定の場所への移動を検出する、頭部装着型表示装置。
  5. 請求項1から請求項4までのいずれか一項に記載の頭部装着型表示装置であって、
    前記所定の機能は、前記画像表示部に所定の情報を表示させる情報提示機能を含む、頭部装着型表示装置。
  6. 請求項5に記載の頭部装着型表示装置であって、
    前記特定の場所は、展示品または建造物の周辺であり、
    前記処理制御部は、
    前記特定の場所への移動が検出されたときに、前記展示品または建造物についての情報を前記画像表示部に表示させる、頭部装着型表示装置。
  7. 請求項1から請求項6までのいずれか一項に記載の頭部装着型表示装置であって、
    前記処理制御部は、
    前記特定の場所への移動が検出されたときに、前記所定の機能を停止し、
    前記特定の場所から他の場所への前記頭部装着型表示装置の移動が検出されたときに、前記所定の機能の停止を解除する、頭部装着型表示装置。
  8. 請求項7記載の頭部装着型表示装置であって、
    前記処理制御部は、さらに、前記所定の機能の停止を解除した際に、停止していた前記所定の機能が回復した旨を前記使用者に報知する、頭部装着型表示装置。
  9. 画像を表示して頭部装着型表示装置を装着した使用者に画像を視認させるとともに、外景を透過し得る画像表示部を有する前記頭部装着型表示装置の制御方法であって、
    前記頭部装着型表示装置が特定の場所に移動したことを検出する工程と、
    前記特定の場所への移動が検出されたときに、前記頭部装着型表示装置に搭載された所定の機能の少なくとも一部を変更する工程と、
    を備え、
    前記所定の機能は、所定のマーカーを認識するために行うマーカー撮影機能を少なくとも含む撮影機能であって、
    前記所定の機能の少なくとも一部を変更する工程は、
    前記特定の場所への移動が検出されたときに、前記撮影機能のうちの前記マーカー撮影機能を許可し、前記撮影機能のうちの前記マーカー撮影機能を除いた撮影機能を禁止する、頭部装着型表示装置の制御方法。
  10. 画像を表示して頭部装着型表示装置を装着した使用者に画像を視認させるとともに、外景を透過し得る画像表示部を有する前記頭部装着型表示装置を制御するためのコンピュータープログラムであって、
    コンピューターに、
    前記頭部装着型表示装置が特定の場所に移動したことを検出する機能と、
    前記特定の場所への移動が検出されたときに、前記頭部装着型表示装置に搭載された所定の機能の少なくとも一部を変更する機能と、
    を実現させ、
    前記所定の機能は、所定のマーカーを認識するために行うマーカー撮影機能を少なくとも含む撮影機能であって、
    前記所定の機能の少なくとも一部を変更する機能は、
    前記特定の場所への移動が検出されたときに、前記撮影機能のうちの前記マーカー撮影機能を許可し、前記撮影機能のうちの前記マーカー撮影機能を除いた撮影機能を禁止する、コンピュータープログラム。
JP2014164246A 2014-08-12 2014-08-12 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム Active JP6492451B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014164246A JP6492451B2 (ja) 2014-08-12 2014-08-12 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
US14/808,493 US9767617B2 (en) 2014-08-12 2015-07-24 Head mounted display device, control method thereof, and computer program
US15/630,567 US20170287228A1 (en) 2014-08-12 2017-06-22 Head mounted display device, control method thereof, and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014164246A JP6492451B2 (ja) 2014-08-12 2014-08-12 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム

Publications (2)

Publication Number Publication Date
JP2016040865A JP2016040865A (ja) 2016-03-24
JP6492451B2 true JP6492451B2 (ja) 2019-04-03

Family

ID=55302565

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014164246A Active JP6492451B2 (ja) 2014-08-12 2014-08-12 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム

Country Status (2)

Country Link
US (2) US9767617B2 (ja)
JP (1) JP6492451B2 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016170528A (ja) * 2015-03-11 2016-09-23 株式会社リコー 頭部装着型表示装置及び頭部装着型表示装置における外部機器との接続方法
US10288883B2 (en) * 2016-03-28 2019-05-14 Kyocera Corporation Head-mounted display
JP2017183825A (ja) * 2016-03-28 2017-10-05 京セラ株式会社 ヘッドマウントディスプレイ
JP2017183829A (ja) * 2016-03-28 2017-10-05 京セラ株式会社 ヘッドマウントディスプレイ
JP2017183828A (ja) * 2016-03-28 2017-10-05 京セラ株式会社 ヘッドマウントディスプレイ
JP6802640B2 (ja) * 2016-04-25 2020-12-16 株式会社ゼンリンデータコム ウェアラブル端末、プログラム及び情報処理方法
US20180082482A1 (en) 2016-09-22 2018-03-22 Apple Inc. Display system having world and user sensors
US20180190033A1 (en) * 2016-12-30 2018-07-05 Facebook, Inc. Systems and methods for providing augmented reality effects and three-dimensional mapping associated with interior spaces
JP2018142857A (ja) * 2017-02-28 2018-09-13 セイコーエプソン株式会社 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
JP6972682B2 (ja) * 2017-06-13 2021-11-24 セイコーエプソン株式会社 頭部装着型表示装置、及び、頭部装着型表示装置の制御方法
WO2019087428A1 (ja) * 2017-10-30 2019-05-09 イアフレド株式会社 音響再生装置
JP7056155B2 (ja) * 2018-01-10 2022-04-19 富士フイルムビジネスイノベーション株式会社 情報伝達装置、情報伝達システム及びプログラム
JP2019145009A (ja) * 2018-02-23 2019-08-29 セイコーエプソン株式会社 頭部装着型表示装置、認証システム、及び頭部装着型表示装置の制御方法
JP2021103282A (ja) * 2019-12-26 2021-07-15 セイコーエプソン株式会社 データ処理装置、表示システム、及び、データ処理方法
CN114973982B (zh) * 2022-05-31 2023-10-13 Tcl华星光电技术有限公司 显示面板和拼接面板

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW395121B (en) * 1996-02-26 2000-06-21 Seiko Epson Corp Personal wearing information display device and the display method using such device
US20040233930A1 (en) * 2003-05-19 2004-11-25 Modular Computing & Communications Corporation Apparatus and method for mobile personal computing and communications
US7414529B2 (en) * 2006-08-04 2008-08-19 International Business Machines Corporation Disablement of camera functionality for a portable device
JP2008083289A (ja) * 2006-09-27 2008-04-10 Sony Corp 撮像表示装置、撮像表示方法
JP2010139901A (ja) 2008-12-15 2010-06-24 Brother Ind Ltd ヘッドマウントディスプレイ
JP2010213214A (ja) * 2009-03-12 2010-09-24 Brother Ind Ltd ヘッドマウントディスプレイ
US20100231735A1 (en) * 2009-03-13 2010-09-16 Nokia Corporation Methods, Apparatuses, and Computer Program Products for Facilitating Concurrent Video Recording and Still Image Capture
WO2011106798A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
JP6007712B2 (ja) * 2012-09-28 2016-10-12 ブラザー工業株式会社 ヘッドマウントディスプレイ、それを作動させる方法およびプログラム
US9111383B2 (en) * 2012-10-05 2015-08-18 Elwha Llc Systems and methods for obtaining and using augmentation data and for sharing usage data

Also Published As

Publication number Publication date
US20160049012A1 (en) 2016-02-18
US20170287228A1 (en) 2017-10-05
JP2016040865A (ja) 2016-03-24
US9767617B2 (en) 2017-09-19

Similar Documents

Publication Publication Date Title
JP6492451B2 (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
WO2016051775A1 (en) Head mounted display device adapted to the environment
JP6060512B2 (ja) 頭部装着型表示装置
US9784976B2 (en) Head mounted display, information processing apparatus, image display apparatus, image display system, method for sharing display of head mounted display, and computer program
KR101791494B1 (ko) 두부 장착형 표시 장치 및 두부 장착형 표시 장치의 제어 방법
US20140285521A1 (en) Information display system using head mounted display device, information display method using head mounted display device, and head mounted display device
EP3211602A1 (en) Head-mounted type display device and method for controlling same, and computer program
US10114604B2 (en) Head-mounted display device, control method for head-mounted display device, and computer program
JP2014241523A (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
CN110383140A (zh) 增强现实眼镜
JP6432197B2 (ja) 表示装置、表示装置の制御方法、および、プログラム
CN109085697B (zh) 头部佩戴型显示装置和头部佩戴型显示装置的控制方法
JP6634697B2 (ja) 頭部装着型表示装置
JP2016142887A (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
JP2016057814A (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、情報システム、および、コンピュータープログラム
US20160035137A1 (en) Display device, method of controlling display device, and program
JP2016024208A (ja) 表示装置、表示装置の制御方法、および、プログラム
JP2016033611A (ja) 情報提供システム、表示装置、および、表示装置の制御方法
JP6252002B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP2016091348A (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
JP6476673B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP6500382B2 (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
JP2019020738A (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170612

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180320

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180508

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181030

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190218

R150 Certificate of patent or registration of utility model

Ref document number: 6492451

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150