JP6972682B2 - 頭部装着型表示装置、及び、頭部装着型表示装置の制御方法 - Google Patents
頭部装着型表示装置、及び、頭部装着型表示装置の制御方法 Download PDFInfo
- Publication number
- JP6972682B2 JP6972682B2 JP2017115809A JP2017115809A JP6972682B2 JP 6972682 B2 JP6972682 B2 JP 6972682B2 JP 2017115809 A JP2017115809 A JP 2017115809A JP 2017115809 A JP2017115809 A JP 2017115809A JP 6972682 B2 JP6972682 B2 JP 6972682B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- head
- hmd
- display device
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 88
- 238000012545 processing Methods 0.000 claims description 117
- 238000001514 detection method Methods 0.000 claims description 70
- 230000008569 process Effects 0.000 claims description 51
- 238000003860 storage Methods 0.000 claims description 45
- 230000005540 biological transmission Effects 0.000 claims description 16
- 230000005764 inhibitory process Effects 0.000 claims description 2
- 206010047571 Visual impairment Diseases 0.000 claims 1
- 208000029257 vision disease Diseases 0.000 claims 1
- 230000004393 visual impairment Effects 0.000 claims 1
- 230000006870 function Effects 0.000 description 119
- 238000004891 communication Methods 0.000 description 52
- 230000033001 locomotion Effects 0.000 description 51
- 230000003287 optical effect Effects 0.000 description 30
- 210000003128 head Anatomy 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 230000000694 effects Effects 0.000 description 12
- 238000012790 confirmation Methods 0.000 description 9
- 238000005401 electroluminescence Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 239000003550 marker Substances 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 230000000284 resting effect Effects 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 238000002834 transmittance Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 1
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 229910001416 lithium ion Inorganic materials 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 238000001028 reflection method Methods 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000060 site-specific infrared dichroism spectroscopy Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Description
本発明は上記事情に鑑みてなされたものであり、頭部装着型表示装置に関して、使用場所として想定された場所から離れた状態での使用や持ち去りを抑止することを目的とする。
本発明によれば、頭部装着型表示装置が設定された位置から他の位置に移動された場合等に、頭部装着型表示装置によるデーターの処理を制限できる。このため、予定されていない場所への頭部装着型表示装置の移動について、抑止の効果を得ることができる。従って、頭部装着型表示装置の利用の可否を、使用する場所に関連してコントロールすることができ、例えば頭部装着型表示装置の持ち去りやデーターの不正な利用を抑止する効果が期待できる。
この構成によれば、頭部装着型表示装置の外部の実空間である外景を撮影した撮影画像、或いは、場所に対応付けられたセキュリティー情報を利用して、頭部装着型表示装置の利用をコントロールできる。
この構成によれば、頭部装着型表示装置の外部の実空間である外景を撮影した撮影画像、及び、場所に対応付けられたセキュリティー情報を利用して、頭部装着型表示装置の利用をコントロールできる。
この構成によれば、頭部装着型表示装置の位置に基づいて、頭部装着型表示装置の機能を実現するアプリケーションプログラムの実行をコントロールできる。これによって、多様な機能を有する頭部装着型表示装置の利用を適切にコントロールできる。また、アプリケーションプログラムを単位として実行を制限するため、例えば制限する対象のアプリケーションプログラムを限定するなど、頭部装着型表示装置の機能に関してきめ細かいコントロールを行うことができる。
この構成によれば、頭部装着型表示装置が停止または電源オフ状態となっている間に、設定された場所から移動された場合等に、頭部装着型表示装置の適切でない場所における利用を制限できる。このため、予定されていない場所への頭部装着型表示装置の移動について、より強く抑止する効果が期待できる。
この構成によれば、頭部装着型表示装置が停止または電源オフ状態となっている間に、設定された場所から移動された場合等に、頭部装着型表示装置が有するデーターの利用を制限できる。このため、予定されていない場所におけるデーターの利用を確実に制限でき、データーの不適切な利用を防止する効果が期待できる。
この構成によれば、頭部装着型表示装置の使用状態に基づいてデーターの利用を制限する。このため、データーの不適切な利用を防止する効果が期待できる。
本発明によれば、頭部装着型表示装置が設定された位置から他の位置に移動された場合等に、頭部装着型表示装置によるデーターの処理を制限できる。このため、予定されていない場所への頭部装着型表示装置の移動について、抑止の効果を得ることができる。従って、頭部装着型表示装置の利用方法を、使用する場所に関連してコントロールすることができ、例えば頭部装着型表示装置の持ち去りやデーターの不正な利用を抑止する効果が期待できる。
A−1.頭部装着型表示装置の構成
図1は、本発明を適用した実施形態における頭部装着型表示装置(以下、HMDという)の概略構成を示す説明図である。HMD100は、使用者(ユーザー)の頭部に装着されて使用される表示装置であり、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型のディスプレイである。
図4は、HMD100のプラットフォームの説明図である。プラットフォームとは、HMD100にインストールされているアプリケーションを動作させるために必要な、基盤となるハードウェア資源、OS、ミドルウェア等の集合である。本実施形態のプラットフォーム500は、アプリケーション層510と、フレームワーク層520と、ライブラリー層530と、カーネル層540と、ハードウェア層550と、を含んでいる。各層510〜550は、プラットフォーム500に含まれているハードウェア資源、OS、ミドルウェア等を概念的に層分けしている。フレームワーク層520と、ライブラリー層530と、カーネル層540とによって、OS150(図2)の機能が実現される。なお、図4では、説明上必要としない構成要素は図示を省略する。
記憶部120は、CPU140が実行するOS120a、アプリケーションプログラム120b、設定データー120c、ソーシャルコントロールデーター120d、及び、コンテンツデーター120eを記憶する。また、記憶部120は、外景撮影用カメラ61により撮影された撮影画像データー120f、及び、無線通信部132またはUSBインターフェイス136を介して取得したダウンロード済みデーター120gを記憶する。
図6及び図7はHMD100の動作を示すフローチャートである。図6は起動時におけるHMD100の機能制限に関する動作を示し、図7はHMD100の動作中におけるHMD100の機能制限に関する動作を示す。
CPU140は、記憶部120からOS120aをロードして実行し、OS150の機能を構成する(ステップS12)。
CPU140は、GPSモジュール134を制御して、HMD100の現在位置を算出させ、取得する。
CPU140は、無線通信部132によって外部のビーコン装置(Bluetoothビーコン等)からビーコン信号を受信し、送信元のビーコン装置からの距離を算出することにより、HMD100の位置を求める。
或いは、CPU140は、予め位置が設定されているビーコン装置が送信するビーコン信号を無線通信部132により受信し、送信元のビーコン装置の位置を基準として、HMD100の位置を求める。
或いは、CPU140は、予め位置が設定されているビーコン装置が送信するビーコン信号を無線通信部132により受信した場合に、送信元のビーコン装置の位置を、HMD100の位置として求める。
或いは、CPU140は、無線通信部132により受信した無線信号に含まれるID(例えば、SSID等のネットワークID)を取得し、取得したIDに対応付けられる位置情報を検索し、検索した位置情報を、HMD100の位置とすることができる。この場合、ソーシャルコントロールデーター120dに、HMD100の使用可能位置または使用可能範囲を示す位置情報と、無線信号に含まれるIDとが対応付けて含まれていればよい。また、ソーシャルコントロールデーター120dに、使用可能位置に対応するIDとして、IDのみが含まれる構成であってもよい。
CPU140は、外景撮影用カメラ61により撮影を実行させ、撮影画像を解析する。HMD100は、HMD100の位置の特定に利用可能な画像の画像データー、或いは、画像の特徴量データーを、ソーシャルコントロールデーター120dに含めて記憶部120に記憶する。この画像データーまたは特徴量データーには、位置情報が対応付けられる。CPU140は、ソーシャルコントロールデーター120dの画像データーまたは画像特徴量のデーターと、外景撮影用カメラ61の撮影画像とを比較対照し、位置情報を特定する。この処理によれば、HMD100の周囲の環境を外景撮影用カメラ61で撮影し、撮影画像に写る建築物、道路、設置物、二次元コード、景色等をもとにHMD100の位置を特定できる。例えば、使用可能位置または使用可能範囲に設置される特定の二次元コードを外景撮影用カメラ61により撮影した撮影画像に基づき、HMD100の機能を使用可能とすることができる。
例えば、CPU140は、複数の位置検出の手法を組み合わせてもよい。すなわち、GPSモジュール134でGPS信号に基づき位置を検出する処理と、無線通信部132が無線LAN、Bluetooth、iBeacon等の無線信号に基づき位置を検出する処理とを組合せてもよい。また、9軸センサー66が検出する加速度、角加速度、地磁気等に基づきHMD100の状態検出(電車、自動車、飛行機等に搭乗中、室内にあるか、野外にあるか、地下にあるか等)を行い、状態検出の結果を他の処理の結果と組合せてもよい。
CPU140は、HMD100の動作中に図7の処理を予め設定された周期で、或いは、随時、実行し、位置確認のトリガーの有無を判定する(ステップS31)。位置確認のトリガーは、例えば、設定された時間が経過したこと、タッチパッド14の操作により位置確認が指示されたことである。また、入力情報取得部110が検出した入力操作が予め設定された回数以上行われたこと、GPSモジュール134により設定された距離以上のHMD100の移動が検出されたことを、位置確認のトリガーとしてもよい。また、9軸センサー66により、設定された動作量を超える動作を検出したことを位置確認のトリガーとしてもよい。
位置確認のトリガーが成立したと判定した場合(ステップS31;YES)、CPU140は、ステップS13(図6)の処理を実行し、HMD100の位置を取得する。その後、CPU140は、ステップS14〜S15の処理を実行する。
ここで、CPU140は、ソーシャルコントロールデーター120dに設定された制限の対象に関する処理を実行中であるか否かを判定する(ステップS32)。具体的には、ソーシャルコントロールデーター120dで削除またはロックの対象として設定されたデーターを処理するアプリや、ロックの対象として設定されたアプリ及びライブラリーが実行中であるか否かを判定する。
続いて、HMD100を利用する具体的な適用例を説明する。
図8は、HMD100の機能を利用する適用例として、美術館を訪れた人にHMD100を装着させ、美術館における案内を行う適用例を示す説明図である。適用例1は、美術館のほか、博物館を含む各種展示施設、催事として一時的に行われる展示会、アミューズメント施設等にも同様に適用できる。
CPU140は、外景撮影用カメラ61の撮像画像において識別画像GNを検出したことに基づき、HMD100の位置が設定された使用位置であると判定する(ステップS6のステップS15;YES)。これにより、HMD100の機能を使用可能となり、例えば、案内アプリ513(図4)を使用できる。
順路案内処理ルーチンは、鑑賞支援アプリ514(図4)に含まれる複数の処理ルーチンのうちの一つであり、HMD100のCPU140によって、所定時間毎に繰り返し実行される。この順路案内処理ルーチンでは、通信処理部172を用いる。展示エリア600における順路の各曲がり角や、まっすぐ進む部分が続く場合のその中途部分(以下、「直線中途部分」と呼ぶ)には、BLE端末670がそれぞれ配置されており、BLE端末670からiBeaconの信号が出力される。iBeaconの信号には、BLE端末670を識別するためのBLE端末識別番号と、BLE端末670までの距離とが少なくとも保持される。
図10は、展示品解説ルーチンの詳細を示すフローチャートである。展示品解説ルーチンは、鑑賞支援アプリ514(図4)に含まれる複数の処理ルーチンのうちの一つであり、HMD100のCPU140によって、所定時間毎に繰り返し実行される。処理が開始されると、CPU140は、まず、9軸センサー66にて使用者の頭部の動きを検出することで、使用者が歩行中であるか否かを判定する(ステップS111)。ここで、歩行中であると判定されたときには、使用者は展示品を鑑賞する状態にないとして、この展示品解説ルーチンを一旦終了する。
適用例2として、HMD100を、観光地における観光案内に利用する場合に、本発明を適用する例が挙げられる。
例えば、HMD100を装着する使用者が、観光地等を歩いている状態で、案内アプリ513により、観光スポットに関する情報等を、文字メッセージの表示や画像表示により、表示する例を想定する。表示方法として、AR技術を用いてもよい。表示される情報は、建物の歴史案内、時代絵巻、当時の再現映像表示等)であってもよい。これらの情報は、コンテンツデーター120eに含めてもよい。使用可能範囲として設定された観光地の外にHMD100が位置する場合に、これらの情報またはコンテンツデーター120eを削除し、或いはアクセスを制限することができる。また、これらの情報を含むコンテンツデーター120eを、観光案内の開始時にHMD100に外部からダウンロードし、HMD100が使用可能範囲の外に出た場合に、コンテンツデーター120eを削除してもよい。また、案内アプリ513の実行を制限する構成であってもよい。
適用例3として、HMD100を、スタジアム、映画館、劇場等における鑑賞の支援に用いる例が挙げられる。例えば、HMD100を装着した使用者が、スタジアムの上階席にいる場合、鑑賞支援アプリ514が、HMD100の外景撮影用カメラ61によってズーム撮影した撮影画像を表示する構成としてもよい。この例では、選手の画像、演技者の画像が拡大されて見えるように、ライブ感のある表示をすることができる。また、使用者が、スタジアムのフィールドや劇場の舞台に近い席にいる場合、鑑賞支援アプリ514が、外部のカメラで撮影された撮影画像を無線通信部132により取得して、拡大表示してもよい。
適用例4として、HMD100を、会社、学校、図書館、アミューズメントパーク等における情報提供に用いる例が挙げられる。例えば、会社の従業員がHMD100を装着する使用者である例を想定する。例えば、会社のようなセキュリティーエリアを使用可能範囲とする場合、使用者が所持しているIDカード、ICタグ等を用いて入り口の認証装置で認証された場合に、入場可能になるシステムを想定する。この構成において、認証成功後に、HMD100に対して認証情報が送付され、業務に必要なアプリケーションを含む業務アプリ512が使用可能となり、社内の通信ネットワークにHMD100を接続可能となる。学校、図書館、アミューズメントパーク等の入場処理においても同様に考えることができる。適用例4では、HMD100の位置が、使用可能範囲として設定された会社、学校、図書館、アミューズメントパーク等である場合に、外景撮影用カメラ61の撮影画像データーや、HMD100がダウンロードした撮影画像を消去する構成とすることができる。また、業務アプリ512の実行を禁止する構成とすることができる。
適用例5として、HMD100を、映画館・劇場等における鑑賞支援に用いる例が挙げられる。例えば、外国語の映画や劇の鑑賞中に、翻訳された字幕の表示、字幕の翻訳結果の表示、自国語への吹き替え音声の出力、歌詞の表示、歌詞の説明の表示、ストーリーに関する説明の表示等を、鑑賞支援アプリ514により実行する例が挙げられる。また、使用可能範囲として設定された映画館・劇場等に入場する際に認証を行い、認証後に、鑑賞支援アプリ514の起動及び/または鑑賞支援アプリ514で使用するデーターを含むコンテンツデーター120eへのアクセスを可能とする構成であってもよい。
適用例5では、HMD100の位置が、使用可能範囲として設定された映画館・劇場等でない場合に、鑑賞支援アプリ514の起動及び/または鑑賞支援アプリ514で使用するデーターを含むコンテンツデーター120eへのアクセスを禁止することができる。
適用例6として、HMD100を、生産ライン等の事業所(作業場所)における作業支援に用いる例が挙げられる。HMD100は、業務アプリ512の機能により、作業の詳細手順を表示する。例えば、自転車のメンテナンス作業を行う場合に、部品を外す作業、洗浄・清掃作業、傷の検査作業、部品取り付け作業等のノウハウを含む案内を、画像やテキストの表示により実行する。これらの情報は、コンテンツデーター120eにおいて、例えば作業手順書として含めることができる。
適用例7として、HMD100を、病院において患者である使用者が装着し、使用者に対して病院内での診察案内、待ち時間表示、検査装置、診察室への案内等に利用する例が挙げられる。この例では、HMD100が、案内アプリ513の機能により、外景撮影用カメラ61の撮影画像を利用したルート解析、i−Beacon、光ビーコン、近距離無線通信等による位置検出を行い、検出した位置に対応する経路案内を行うことが想定される。この動作は、例えば、図9に示した動作と同様である。具体的には、診察受付から、診察順に従って、検査場所、診察場所等を案内できる。また、HMD100は、例えば、診察券、カルテ等の情報により連動し、移動情報を取得しても良い。この場合、受付番号と診察受付を連動させて、自動的に診察課に移動できるナビ機能を実現してもよい。
適用例7では、使用可能範囲として設定された病院内の場所では、外景撮影用カメラ61による撮影を、撮影画像に基づくマーカーの認識以外の用途では禁止してもよい。また、HMD100が、使用可能範囲ではない場所にある場合に、案内アプリ513の機能を停止することができる。
適用例8では、HMD100を装着した使用者が自動車や自動二輪車などの車両に乗車する例が挙げられる。この例では、車両の運転場所を、機能の制限がなされる場所として設定する。つまり、車両の運転場所(運転操作を行う場所、運転席)が、使用可能範囲の外として設定される。この場合、運転場所にあるか否かを、HMD100は、外景撮影用カメラ61の撮影画像等により認識する。また、HMD100は、撮影画像等に基づき、HMD100の位置が運転場所であって運転中である場合に、機能を制限してもよい。この場合、機能の制限に伴い、動画視聴、ブラウジング等の実行を制限する。また、HMD100における情報の表示に関し、表示位置や表示サイズを、信号機、車、人物が見えなくなるような状態を避け、表示画像の透過率、大きさの制御等を行ってもよい。また、運転される車両が、特定地域(例えば公園、限られた市街地)などに入った場合は自動運転に切り替わり危険回避のブレーキ以外は自動運転に切り替わる等の制御を行っても良い。
その他の適用例として、使用可能位置または使用可能範囲として、トイレ、電車の優先席、パブリックスペース、山、海上、外国、セキュリティー制約のある職場、学校、飛行機内等を設定する例が挙げられる。この場合、使用可能位置または使用可能範囲に対応する業務アプリ512、案内アプリ513或いは鑑賞支援アプリ514を実行して、HMD100の使用者に利便を提供する構成が考えられる。この場合に、HMD100は、HMD100の場所に対応して機能の実行を制限することで、不適切な機能の使用を防止できる。
また、HMD100の適用範囲、位置、及び機能は上述した各適用例に限定されない。
例えば、上記実施形態において、使用者が表示部を透過して外景を視認する構成は、右導光板261及び左導光板281が外光を透過する構成に限定されない。例えば外景を視認できない状態で画像を表示する表示装置にも適用可能である。具体的には、外景撮影用カメラ61の撮影画像、この撮影画像に基づき生成される画像やCG、予め記憶された映像データーや外部から入力される映像データーに基づく映像等を表示する表示装置に、本発明を適用できる。この種の表示装置としては、外景を視認できない、いわゆるクローズ型の表示装置を含むことができる。また、上記実施形態で説明したように実空間に重ねて画像を表示するAR表示や、撮影した実空間の画像と仮想画像とを組み合わせるMR(Mixed Reality)表示を用いてもよい。或いは、仮想画像を表示するVR(Virtual Reality)表示といった処理を行わない表示装置にも適用できる。例えば、外部から入力される映像データーまたはアナログ映像信号を表示する表示装置も、本発明の適用対象として勿論含まれる。
Claims (8)
- 使用者の頭部に装着される頭部装着型表示装置であって、
画像を表示し、前記画像とともに前記使用者に外景を視認させる透過型の表示部と、
データーを処理するデーター処理を含む処理を実行する処理部と、
前記処理部により処理される前記データーを記憶する記憶部と、
前記頭部装着型表示装置の位置が設定された位置でないことを検出する検出部と、
前記検出部によって前記頭部装着型表示装置の位置が設定された位置でないことを検出した場合に、前記記憶部に記憶された前記データーのうち、前記設定された場所に対応付けられた前記データーの処理を制限する制御部と、
を備え、
前記制御部は、
前記データーの処理を制限する場合に、前記表示部の表示領域の全面に表示を行わせて前記表示部を透過する外景の視認性を低下させる外景視認阻害表示を行い、
さらに、前記外景視認阻害表示と合わせて、前記頭部装着型表示装置の位置が設定された位置でないことを通知する表示を前記表示部に行わせる、頭部装着型表示装置。 - 外景を撮影する外景撮影部を備え、
前記検出部は、前記外景撮影部の撮影画像、及び、前記設定された場所に対応付けられたセキュリティー情報の少なくともいずれかに基づき、前記頭部装着型表示装置の位置が設定された位置でないことを検出する、請求項1記載の頭部装着型表示装置。 - 前記検出部は、前記外景撮影部の撮影画像、及び、前記設定された場所に対応付けられたセキュリティー情報に基づき、前記頭部装着型表示装置の位置が設定された位置でないことを検出する、請求項2記載の頭部装着型表示装置。
- 前記記憶部はアプリケーションプログラムを含む前記データーを記憶し、
前記処理部は前記アプリケーションプログラムを実行することにより、前記頭部装着型表示装置の機能を実行し、
前記制御部は、前記設定された場所に対応付けられた前記アプリケーションプログラムの実行を制限する、請求項1から3のいずれか1項に記載の頭部装着型表示装置。 - 前記制御部は、前記頭部装着型表示装置が停止または電源オフ状態から起動したときに、前記検出部による検出を実行させ、
前記検出部によって前記頭部装着型表示装置の位置が設定された位置でないことを検出した場合、前記記憶部に記憶され前記設定された場所に対応付けられた前記データーに対するアクセスを制限する、請求項1から4のいずれか1項に記載の頭部装着型表示装置。 - 前記制御部は、前記頭部装着型表示装置が停止または電源オフ状態から起動したときに、前記検出部によって前記頭部装着型表示装置の位置が設定された位置でないことを検出した場合、前記記憶部に記憶され前記設定された場所に対応付けられた前記データーを消去する、請求項5記載の頭部装着型表示装置。
- 前記検出部は、前記頭部装着型表示装置の使用状態が設定された使用状態でないことを検出し、
前記制御部は、前記検出部によって前記頭部装着型表示装置の使用状態が設定された使用状態でないことを検出した場合に、前記記憶部に記憶された前記データーのうち、前記設定された場所に対応付けられた前記データーの処理を制限する、請求項1から5のいずれか1項に記載の頭部装着型表示装置。 - 画像を表示し、前記画像とともに使用者に外景を視認させる透過型の表示部を備え、データーを処理するデーター処理を含む処理を実行する処理部と、前記処理部により処理される前記データーを記憶する記憶部と、を有する頭部装着型表示装置の制御方法であって
前記頭部装着型表示装置の位置が設定された位置でないことを検出した場合に、前記記憶部に記憶された前記データーのうち、前記設定された場所に対応付けられた前記データーの処理を制限し、
前記データーの処理を制限する場合に、前記表示部の表示領域の全面に表示を行って前記表示部を透過する外景の視認性を低下させる外景視認阻害表示を行い、
前記外景視認阻害表示と合わせて、前記頭部装着型表示装置の位置が設定された位置でないことを通知する表示を前記表示部により行う、頭部装着型表示装置の制御方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017115809A JP6972682B2 (ja) | 2017-06-13 | 2017-06-13 | 頭部装着型表示装置、及び、頭部装着型表示装置の制御方法 |
US15/993,960 US20180356882A1 (en) | 2017-06-13 | 2018-05-31 | Head mounted display and control method for head mounted display |
CN201810588229.XA CN109085697B (zh) | 2017-06-13 | 2018-06-08 | 头部佩戴型显示装置和头部佩戴型显示装置的控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017115809A JP6972682B2 (ja) | 2017-06-13 | 2017-06-13 | 頭部装着型表示装置、及び、頭部装着型表示装置の制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019004242A JP2019004242A (ja) | 2019-01-10 |
JP6972682B2 true JP6972682B2 (ja) | 2021-11-24 |
Family
ID=64563497
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017115809A Active JP6972682B2 (ja) | 2017-06-13 | 2017-06-13 | 頭部装着型表示装置、及び、頭部装着型表示装置の制御方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20180356882A1 (ja) |
JP (1) | JP6972682B2 (ja) |
CN (1) | CN109085697B (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10962780B2 (en) * | 2015-10-26 | 2021-03-30 | Microsoft Technology Licensing, Llc | Remote rendering for virtual images |
EP3542705B1 (en) * | 2016-12-28 | 2020-07-29 | JVC Kenwood Corporation | Visual function examination device, visual function examination method, and computer program |
JP2020095215A (ja) * | 2018-12-14 | 2020-06-18 | 株式会社ジャパンディスプレイ | 表示装置及びヘルメット |
CN113272766A (zh) * | 2019-01-24 | 2021-08-17 | 麦克赛尔株式会社 | 显示终端、应用程序控制系统和应用程序控制方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4705355B2 (ja) * | 2004-10-04 | 2011-06-22 | 株式会社日立製作所 | 無線タグのデータ表示システム、携帯型コンピュータおよび無線タグのデータ表示方法 |
WO2010029625A1 (ja) * | 2008-09-11 | 2010-03-18 | コニカミノルタホールディングス株式会社 | コンテンツ表示装置及びコンテンツ表示システム |
US8117087B2 (en) * | 2009-09-24 | 2012-02-14 | Avaya Inc. | Customer loyalty, product demonstration, and store/contact center/internet coupling system and method |
US8618932B2 (en) * | 2011-03-18 | 2013-12-31 | Microsoft Corporation | Device location detection |
US9330499B2 (en) * | 2011-05-20 | 2016-05-03 | Microsoft Technology Licensing, Llc | Event augmentation with real-time information |
JP6025425B2 (ja) * | 2012-07-06 | 2016-11-16 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、コンピュータプログラム。 |
US20150081532A1 (en) * | 2013-09-18 | 2015-03-19 | Yolanda Lewis | Venue wi-fi direct system |
JP6492451B2 (ja) * | 2014-08-12 | 2019-04-03 | セイコーエプソン株式会社 | 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム |
KR20170064535A (ko) * | 2014-10-03 | 2017-06-09 | 세이코 엡슨 가부시키가이샤 | 두부 장착형 표시 장치 및 그의 제조 방법, 그리고 컴퓨터 프로그램을 갖는 컴퓨터 판독 가능 기록 매체 |
JP6634697B2 (ja) * | 2015-05-13 | 2020-01-22 | セイコーエプソン株式会社 | 頭部装着型表示装置 |
WO2016187351A1 (en) * | 2015-05-18 | 2016-11-24 | Daqri, Llc | Context-based augmented reality content delivery |
-
2017
- 2017-06-13 JP JP2017115809A patent/JP6972682B2/ja active Active
-
2018
- 2018-05-31 US US15/993,960 patent/US20180356882A1/en not_active Abandoned
- 2018-06-08 CN CN201810588229.XA patent/CN109085697B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
US20180356882A1 (en) | 2018-12-13 |
JP2019004242A (ja) | 2019-01-10 |
CN109085697B (zh) | 2022-01-07 |
CN109085697A (zh) | 2018-12-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9767617B2 (en) | Head mounted display device, control method thereof, and computer program | |
US20170213377A1 (en) | Head mounted display device, control method thereof, and computer program | |
US10705605B2 (en) | Image display system, and control apparatus for head-mounted display and operation method therefor | |
JP6972682B2 (ja) | 頭部装着型表示装置、及び、頭部装着型表示装置の制御方法 | |
US10132633B2 (en) | User controlled real object disappearance in a mixed reality display | |
US8963956B2 (en) | Location based skins for mixed reality displays | |
US9767524B2 (en) | Interaction with virtual objects causing change of legal status | |
US9645394B2 (en) | Configured virtual environments | |
RU2670784C2 (ru) | Ориентация и визуализация виртуального объекта | |
CN105264548B (zh) | 用于生成增强现实体验的难以察觉的标签 | |
JP7047394B2 (ja) | 頭部装着型表示装置、表示システム、及び、頭部装着型表示装置の制御方法 | |
CN104062759A (zh) | 信息显示系统、信息显示方法、以及头戴式显示装置 | |
JP6634697B2 (ja) | 頭部装着型表示装置 | |
WO2019184359A1 (zh) | 服务器、增强现实装置、系统、共享方法及存储介质 | |
CN106537404A (zh) | 根据头戴式装置中的应用认证状态来控制硬件资源的性能或精度 | |
WO2019189768A1 (ja) | 通信方法、通信装置、送信機、およびプログラム | |
JP6500382B2 (ja) | 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム | |
JP2019020738A (ja) | 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム | |
JP2020167521A (ja) | 通信方法、通信装置、送信機、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200514 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210215 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210309 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210430 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211005 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211018 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6972682 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |