JP6972682B2 - 頭部装着型表示装置、及び、頭部装着型表示装置の制御方法 - Google Patents

頭部装着型表示装置、及び、頭部装着型表示装置の制御方法 Download PDF

Info

Publication number
JP6972682B2
JP6972682B2 JP2017115809A JP2017115809A JP6972682B2 JP 6972682 B2 JP6972682 B2 JP 6972682B2 JP 2017115809 A JP2017115809 A JP 2017115809A JP 2017115809 A JP2017115809 A JP 2017115809A JP 6972682 B2 JP6972682 B2 JP 6972682B2
Authority
JP
Japan
Prior art keywords
unit
head
hmd
display device
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017115809A
Other languages
English (en)
Other versions
JP2019004242A (ja
Inventor
秀穂 金子
正秀 高野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2017115809A priority Critical patent/JP6972682B2/ja
Priority to US15/993,960 priority patent/US20180356882A1/en
Priority to CN201810588229.XA priority patent/CN109085697B/zh
Publication of JP2019004242A publication Critical patent/JP2019004242A/ja
Application granted granted Critical
Publication of JP6972682B2 publication Critical patent/JP6972682B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Description

本発明は、頭部装着型表示装置、及び、頭部装着型表示装置の制御方法に関する。
従来、頭部装着型表示装置(Head Mounted Display:HMD)の機能を、頭部装着型表示装置の場所に対応して変更する技術が知られている(例えば、特許文献1参照)。特許文献1記載によれば、頭部装着型表示装置が特定の場所に移動したことが検出されたときに、頭部装着型表示装置に搭載された所定の機能が変更される。
特開2016−40865号公報
頭部装着型表示装置の利点の一つとして、使用者の身体に装着されるという軽快な使用感が挙げられる。特許文献1に開示されたように、使用者が移動する状況で画像等を表示する用途は、頭部装着型表示装置の主な用途の一つである。このような使用状態においては、使用者の意図或いは不注意により、頭部装着型表示装置の使用場所として想定された場所から離れて使用される可能性がある。また、頭部装着型表示装置が、使用場所として想定された場所から持ち去られる可能性もある。
本発明は上記事情に鑑みてなされたものであり、頭部装着型表示装置に関して、使用場所として想定された場所から離れた状態での使用や持ち去りを抑止することを目的とする。
上記課題を解決するため、本発明は、使用者の頭部に装着される頭部装着型表示装置であって、画像を表示する表示部と、データー処理を含む処理を実行する処理部と、前記処理部により処理される前記データーを記憶する記憶部と、前記頭部装着型表示装置の位置が設定された位置でないことを検出する検出部と、前記検出部によって前記頭部装着型表示装置の位置が設定された位置でないことを検出した場合に、前記記憶部に記憶された前記データーのうち、前記設定された場所に対応付けられた前記データーの処理を制限する制御部と、を備える。
本発明によれば、頭部装着型表示装置が設定された位置から他の位置に移動された場合等に、頭部装着型表示装置によるデーターの処理を制限できる。このため、予定されていない場所への頭部装着型表示装置の移動について、抑止の効果を得ることができる。従って、頭部装着型表示装置の利用の可否を、使用する場所に関連してコントロールすることができ、例えば頭部装着型表示装置の持ち去りやデーターの不正な利用を抑止する効果が期待できる。
また、上記構成において、外景を撮影する外景撮影部を備え、前記検出部は、前記外景撮影部の撮影画像、及び、前記設定された場所に対応付けられたセキュリティー情報の少なくともいずれかに基づき、前記頭部装着型表示装置の位置が設定された位置でないことを検出する構成であってもよい。
この構成によれば、頭部装着型表示装置の外部の実空間である外景を撮影した撮影画像、或いは、場所に対応付けられたセキュリティー情報を利用して、頭部装着型表示装置の利用をコントロールできる。
また、上記構成において、前記検出部は、前記外景撮影部の撮影画像、及び、前記設定された場所に対応付けられたセキュリティー情報に基づき、前記頭部装着型表示装置の位置が設定された位置でないことを検出する構成であってもよい。
この構成によれば、頭部装着型表示装置の外部の実空間である外景を撮影した撮影画像、及び、場所に対応付けられたセキュリティー情報を利用して、頭部装着型表示装置の利用をコントロールできる。
また、上記構成において、前記記憶部はアプリケーションプログラムを含む前記データーを記憶し、前記処理部は前記アプリケーションプログラムを実行することにより、前記頭部装着型表示装置の機能を実行し、前記制御部は、前記設定された場所に対応付けられた前記アプリケーションプログラムの実行を制限する構成であってもよい。
この構成によれば、頭部装着型表示装置の位置に基づいて、頭部装着型表示装置の機能を実現するアプリケーションプログラムの実行をコントロールできる。これによって、多様な機能を有する頭部装着型表示装置の利用を適切にコントロールできる。また、アプリケーションプログラムを単位として実行を制限するため、例えば制限する対象のアプリケーションプログラムを限定するなど、頭部装着型表示装置の機能に関してきめ細かいコントロールを行うことができる。
また、上記構成において、前記制御部は、前記頭部装着型表示装置が停止または電源オフ状態から起動したときに、前記検出部による検出を実行させ、前記検出部によって前記頭部装着型表示装置の位置が設定された位置でないことを検出した場合、前記記憶部に記憶され前記設定された場所に対応付けられた前記データーに対するアクセスを制限する構成であってもよい。
この構成によれば、頭部装着型表示装置が停止または電源オフ状態となっている間に、設定された場所から移動された場合等に、頭部装着型表示装置の適切でない場所における利用を制限できる。このため、予定されていない場所への頭部装着型表示装置の移動について、より強く抑止する効果が期待できる。
また、上記構成において、前記制御部は、前記頭部装着型表示装置が停止または電源オフ状態から起動したときに、前記検出部によって前記頭部装着型表示装置の位置が設定された位置でないことを検出した場合、前記記憶部に記憶され前記設定された場所に対応付けられた前記データーを消去する構成であってもよい。
この構成によれば、頭部装着型表示装置が停止または電源オフ状態となっている間に、設定された場所から移動された場合等に、頭部装着型表示装置が有するデーターの利用を制限できる。このため、予定されていない場所におけるデーターの利用を確実に制限でき、データーの不適切な利用を防止する効果が期待できる。
また、上記構成において、前記検出部は、前記頭部装着型表示装置の使用状態が設定された使用状態でないことを検出し、前記制御部は、前記検出部によって前記頭部装着型表示装置の使用状態が設定された使用状態でないことを検出した場合に、前記記憶部に記憶された前記データーのうち、前記設定された場所に対応付けられた前記データーの処理を制限する構成であってもよい。
この構成によれば、頭部装着型表示装置の使用状態に基づいてデーターの利用を制限する。このため、データーの不適切な利用を防止する効果が期待できる。
また、上記課題を解決するため、本発明は、画像を表示する表示部を備え、データー処理を含む処理を実行する処理部と、前記処理部により処理される前記データーを記憶する記憶部と、を有する頭部装着型表示装置の制御方法であって前記頭部装着型表示装置の位置が設定された位置でないことを検出した場合に、前記記憶部に記憶された前記データーのうち、前記設定された場所に対応付けられた前記データーの処理を制限する。
本発明によれば、頭部装着型表示装置が設定された位置から他の位置に移動された場合等に、頭部装着型表示装置によるデーターの処理を制限できる。このため、予定されていない場所への頭部装着型表示装置の移動について、抑止の効果を得ることができる。従って、頭部装着型表示装置の利用方法を、使用する場所に関連してコントロールすることができ、例えば頭部装着型表示装置の持ち去りやデーターの不正な利用を抑止する効果が期待できる。
本発明は、上述した頭部装着型表示装置、及び、頭部装着型表示装置の制御方法以外の種々の形態で実現することも可能である。例えば、上記の制御方法をコンピューターにより実行するためのプログラム、上記プログラムを記録した記録媒体、上記プログラムを配信するサーバー装置、上記プログラムを伝送する伝送媒体、上記プログラムを搬送波内に具現化したデーター信号等の形態で実現できる。
実施形態におけるHMDの概略構成を示す説明図。 HMDの構成を機能的に示すブロック図。 画像光生成部によって画像光が射出される様子を示す説明図。 HMDのプラットフォームの説明図。 記憶部が記憶する情報を示す模式図。 HMDの動作を示すフローチャート。 HMDの動作を示すフローチャート。 美術館におけるHMDの使用の形態を示す説明図。 順路案内処理ルーチンを示すフローチャート。 展示品解説ルーチンの詳細を示すフローチャート。 適用例3におけるHMDの使用場所の例を示す図。 適用例3におけるHMDの表示態様の例を示す図。 適用例6におけるHMDの表示態様の例を示す図。
A.実施形態
A−1.頭部装着型表示装置の構成
図1は、本発明を適用した実施形態における頭部装着型表示装置(以下、HMDという)の概略構成を示す説明図である。HMD100は、使用者(ユーザー)の頭部に装着されて使用される表示装置であり、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型のディスプレイである。
HMD100は、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部20(表示部)と、画像表示部20を制御する制御部(コントローラー)10とを備えている。
画像表示部20は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有する。画像表示部20は、右保持部21と、右表示駆動部22と、左保持部23と、左表示駆動部24と、右光学像表示部26と、左光学像表示部28と、を含んでいる。右光学像表示部26および左光学像表示部28は、それぞれ、使用者が画像表示部20を装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部26の一端と左光学像表示部28の一端とは、使用者が画像表示部20を装着した際の使用者の眉間に対応する位置で、互いに接続されている。
右保持部21は、右光学像表示部26の他端である端部ERから、使用者が画像表示部20を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部23は、左光学像表示部28の他端である端部ELから、使用者が画像表示部20を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部21および左保持部23は、眼鏡のテンプル(つる)のようにして、使用者の頭部に画像表示部20を保持する。
右表示駆動部22は、右保持部21の内側、換言すれば、使用者が画像表示部20を装着した際の使用者の頭部に対向する側に配置されている。また、左表示駆動部24は、左保持部23の内側に配置されている。なお、以降では、右保持部21および左保持部23を区別せず「保持部」として説明する。同様に、右表示駆動部22および左表示駆動部24を区別せず「表示駆動部」として説明し、右光学像表示部26および左光学像表示部28を区別せず「光学像表示部」として説明する。
表示駆動部は、液晶ディスプレイ(以下「LCD」と呼ぶ)241、242や投写光学系251、252等を含む(図2参照)。表示駆動部の構成の詳細は後述する。光学部材としての光学像表示部は、導光板261、262(図2参照)と調光板とを含んでいる。導光板261、262は、光透過性の樹脂材料等によって形成され、表示駆動部から出力された画像光を使用者の眼に導く。調光板は、薄板状の光学素子であり、画像表示部20の表側(使用者の眼の側とは反対の側)を覆うように配置されている。調光板は、導光板261、262を保護し、導光板261、262の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、使用者の眼に入る外光量を調整して虚像の視認のしやすさを調整することができる。なお、調光板は省略可能である。
本実施形態で説明する画像表示部20は、一具体例として右LCD241及び左LCD242を備える構成として説明するが、他の表示方式を採用することも可能である。例えば、有機EL(Electro Luminescence)素子を備える構成とすることができる。この場合、右LCD241、右バックライト221、左LCD242、左バックライト222の代わりに有機ELディスプレイが配置される。ここで、有機EL素子は、OLED(Organic Light Emitting Diode:有機発光ダイオード)であってもよい。
画像表示部20は、さらに、画像表示部20を制御部10に接続するための接続部40を有する。接続部40は、制御部10に接続される本体コード48と、本体コード48が2本に分岐した右コード42および左コード44と、分岐点に設けられた連結部材46と、を含んでいる。連結部材46には、イヤホンプラグ30を接続するためのジャックが設けられている。イヤホンプラグ30からは、右イヤホン32および左イヤホン34が延伸している。
画像表示部20と制御部10とは、接続部40を介して各種信号の伝送を行う。本体コード48における連結部材46とは反対側の端部と、制御部10とのそれぞれには、互いに嵌合するコネクター(図示省略)が設けられる。本体コード48のコネクターと制御部10のコネクターとの嵌合/嵌合解除により、制御部10と画像表示部20とが接続されたり切り離されたりする。右コード42と、左コード44と、本体コード48には、例えば、金属ケーブルや光ファイバーを採用することができる。
制御部10は、HMD100を制御するための装置である。制御部10は、点灯部12と、タッチパッド14と、十字キー16と、電源スイッチ18とを含んでいる。点灯部12は、HMD100の動作状態(例えば、電源のON/OFF等)を、その発光態様によって通知する。点灯部12としては、例えば、LEDを用いることができる。タッチパッド14は、タッチパッド14の操作面上での接触操作を検出して、検出内容に応じた信号を出力する。タッチパッド14としては、静電式や圧力検出式、光学式といった種々のタッチパッドを採用することができる。十字キー16は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ18は、スイッチのスライド操作を検出することで、HMD100の電源の状態を切り替える。
図2は、HMD100の構成を機能的に示すブロック図である。制御部10は、入力情報取得部110と、記憶部120と、電源130と、無線通信部132と、GPSモジュール134と、USBインターフェイス136と、CPU140と、インターフェイス180と、送信部(Tx)51および52とを備える。これらの各部は図示しないバスにより相互に接続される。
入力情報取得部110は、例えば、タッチパッド14や十字キー16、電源スイッチ18などに対する操作入力に応じた信号を取得する。記憶部120は、半導体記憶素子やハードディスク装置等によって構成され、CPU140が実行するプログラムや、CPU140により処理されるデーター等を不揮発的に記憶する。また、記憶部120は、CPU140の動作に伴いプログラムやデーターを一時的に記憶する一時記憶装置を備えてもよく、例えば、RAM、DRAM等を有してもよい。
電源130は、HMD100の各部に電力を供給する。電源130としては、例えば、リチウムポリマーバッテリー、リチウムイオンバッテリーなどの二次電池を用いることができる。さらに、二次電池に替えて、一次電池や燃料電池でもよいし、無線給電を受けて動作するようにしてもよい。さらには、太陽電池とキャパシターから給電を受けるようにしてもよい。
無線通信部132は、無線LAN(WiFi(登録商標)を含む)やBluetooth(登録商標)、iBeacon(登録商標)といった所定の無線通信規格に則って、他の機器との間で無線通信を行う。ここで、無線通信部132は、Bluetooth SMARTデバイスとの間で、BLE(Bluetooth Low Energy)規格に準拠した通信を行うものであってもよい。また、無線通信部132は、NFC(Near Field Communication)通信を実行可能な構成としてもよい。GPSモジュール134は、GPS衛星からの信号を受信することにより、自身の現在位置を検出する。GPSモジュール134は、GPS以外の衛星を利用した測位システム(例えば、GLONASS)や、GPSを補完する衛星(例えば、準天頂衛星みちびき)から送信される信号を利用した測位を行ってもよい。また、GPSモジュール134は、無線通信部132により通信可能な図示しないサーバー装置から、測位を補助するデータ(例えば、A−GPS)を取得して、取得したデーターを利用した測位を行ってもよい。
CPU140(処理部)は、オペレーティングシステム(ОS)150、画像処理部160、表示制御部162、移動検出部164、処理制御部166、音声処理部170、通信処理部172、として機能する。CPU140は、記憶部120に格納されるコンピュータープログラムを読み出して実行することにより、上記の各部として機能する。
画像処理部160は、インターフェイス180や無線通信部132を介して入力されるコンテンツ(映像)に基づいて信号を生成する。画像処理部160は、生成した信号を、接続部40を介して画像表示部20に供給することで、画像表示部20を制御する。画像表示部20に供給するための信号は、アナログ形式とディジタル形式の場合で異なる。アナログ形式の場合、画像処理部160は、クロック信号PCLKと、垂直同期信号VSyncと、水平同期信号HSyncと、画像データーDataとを生成し、送信する。具体的には、画像処理部160は、コンテンツに含まれる画像信号を取得する。取得した画像信号は、例えば動画像の場合、一般的に1秒あたり30枚のフレーム画像から構成されるアナログ信号である。画像処理部160は、取得した画像信号から垂直同期信号VSyncや水平同期信号HSync等の同期信号を分離し、それらの周期に応じて、PLL回路等によりクロック信号PCLKを生成する。画像処理部160は、同期信号が分離されたアナログ画像信号を、A/D変換回路等を用いてディジタル画像信号に変換する。画像処理部160は、変換後のディジタル画像信号を、RGBデーターの画像データーDataとして、1フレームごとに記憶部120内のDRAMに格納する。
一方、ディジタル形式の場合、画像処理部160は、クロック信号PCLKと、画像データーDataとを生成し、送信する。具体的には、コンテンツがディジタル形式の場合、クロック信号PCLKが画像信号に同期して出力されるため、垂直同期信号VSyncおよび水平同期信号HSyncの生成と、アナログ画像信号のA/D変換とが不要となる。なお、画像処理部160は、記憶部120に格納された画像データーDataに対して、解像度変換処理や、輝度、彩度の調整といった種々の色調補正処理や、キーストーン補正処理等の画像処理を実行してもよい。
画像処理部160は、生成されたクロック信号PCLK、垂直同期信号VSync、水平同期信号HSyncと、記憶部120内のDRAMに格納された画像データーDataとを、送信部51、52を介してそれぞれ送信する。なお、送信部51を介して送信される画像データーDataを「右眼用画像データーData1」とも呼び、送信部52を介して送信される画像データーDataを「左眼用画像データーData2」とも呼ぶ。送信部51、52は、制御部10と画像表示部20との間におけるシリアル伝送のためのトランシーバーとして機能する。
表示制御部162は、右表示駆動部22および左表示駆動部24を制御する制御信号を生成する。具体的には、表示制御部162は、制御信号により、右LCD制御部211による右LCD241の駆動ON/OFFや、右バックライト制御部201による右バックライト221の駆動ON/OFFを制御する。また、左LCD制御部212による左LCD242の駆動ON/OFFや、左バックライト制御部202による左バックライト222の駆動ON/OFFなどを個別に制御する。これらの制御により、表示制御部162は、右表示駆動部22および左表示駆動部24のそれぞれによる画像光の生成および射出を制御する。表示制御部162は、右LCD制御部211と左LCD制御部212とに対する制御信号を、送信部51および52を介してそれぞれ送信する。同様に、表示制御部162は、右バックライト制御部201と左バックライト制御部202とに対する制御信号を、それぞれ送信する。
移動検出部164(検出部)は、使用者の頭部に装着されたHMD100が予め定めた複数の特定の場所に移動したことを検出する。具体的には、移動検出部164は、HMD100の位置が、予め設定された位置、または予め設定された範囲内であるか否かを判定する。移動検出部164がHMD100の位置を検出または取得する処理の詳細は、後述する。
処理制御部166(制御部)は、移動検出部164の判定結果に基づいて、HMD100に搭載された種々の機能の内の所定の機能の少なくとも一部を変更する。所定の機能は一つの機能でも複数の機能であってもよいが、本実施形態では複数の機能である。移動検出部164および処理制御部166の詳細は、後述する。
音声処理部170は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材46に接続された右イヤホン32内の図示しないスピーカーおよび左イヤホン34内の図示しないスピーカーに対して供給する。なお、例えば、Dolby(登録商標)システムを採用した場合、音声信号に対する処理がなされ、右イヤホン32および左イヤホン34からは、それぞれ、例えば周波数等が変えられた異なる音が出力される。
通信処理部172は、無線通信部132を介した無線通信、及び、USBインターフェイス136を介した通信を制御する。通信処理部172は、iBeacon(登録商標)の技術、或いは、その他の公知のBluetoothビーコン技術を用いて、HMD100の外部に設けられたBLE端末(例えば、後述するBLE端末670)からの信号を受信する。また、通信処理部172は、無線LAN規格に準拠した通信を実行する。通信処理部172は、受信した信号の受信信号強度等に基づき、BLE端末等の通信相手先の機器とHMD100との間の距離を求めてもよい。
インターフェイス180は、制御部10に対して、コンテンツの供給元となる種々の外部機器OAを接続するためのインターフェイスである。外部機器ОAとしては、例えば、パーソナルコンピューターPCや携帯電話端末、ゲーム端末等がある。インターフェイス180としては、例えば、USBインターフェイスや、マイクロUSBインターフェイス、メモリーカード用インターフェイス等を用いることができる。
画像表示部20は、右表示駆動部22と、左表示駆動部24と、右光学像表示部26としての右導光板261と、左光学像表示部28としての左導光板262と、外景撮影用カメラ61(図1も参照)と、9軸センサー66とを備えている。
外景撮影用カメラ61(外景撮影部)は、使用者が画像表示部20を装着した際の使用者の眉間に対応する位置に配置される。そのため、外景撮影用カメラ61は、使用者が画像表示部20を頭部に装着した状態において、使用者が向いている方向の外部の景色である外景を撮影する。外景撮影用カメラ61は、単眼カメラであるが、ステレオカメラであってもよい。
9軸センサー66は、加速度(3軸)、角速度(3軸)、地磁気(3軸)を検出するモーションセンサーである。9軸センサー66は、画像表示部20に設けられているため、画像表示部20が使用者の頭部に装着されているときには、使用者の頭部の動きを検出する。検出された使用者の頭部の動きから画像表示部20の向きが特定される。
右表示駆動部22は、受信部(Rx)53と、光源として機能する右バックライト(BL)制御部201および右バックライト(BL)221と、表示素子として機能する右LCD制御部211および右LCD241と、右投写光学系251とを含んでいる。なお、右バックライト制御部201と、右LCD制御部211と、右バックライト221と、右LCD241とを総称して「画像光生成部」とも呼ぶ。
受信部53は、制御部10と画像表示部20との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部201は、入力された制御信号に基づいて、右バックライト221を駆動する。右バックライト221は、例えば、LEDやエレクトロルミネセンス(EL)等の発光体である。右LCD制御部211は、受信部53を介して入力されたクロック信号PCLKと、垂直同期信号VSyncと、水平同期信号HSyncと、右眼用画像データーData1とに基づいて、右LCD241を駆動する。右LCD241は、複数の画素をマトリクス状に配置した透過型液晶パネルである。
右投写光学系251は、右LCD241から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部26としての右導光板261は、右投写光学系251から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼REに導く。光学像表示部は、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。なお、HMD100が画像光を出射することを、本明細書では「画像を表示する」とも呼ぶ。
左表示駆動部24は、右表示駆動部22と同様の構成を有する。すなわち、左表示駆動部24は、受信部(Rx)54と、光源として機能する左バックライト(BL)制御部202および左バックライト(BL)222とを含む。また、表示素子として機能する左LCD制御部212および左LCD242と、左投写光学系252を含む。
図3は、画像光生成部によって画像光が射出される様子を示す説明図である。右LCD241は、マトリクス状に配置された各画素位置の液晶を駆動することによって、右LCD241を透過する光の透過率を変化させることにより、右バックライト221から照射される照明光ILを、画像を表わす有効な画像光PLへと変調する。左側についても同様である。なお、図3に示すように、本実施形態ではバックライト方式を採用したが、フロントライト方式や、反射方式を用いて画像光を射出する構成としてもよい。
A−2.頭部装着型表示装置のプラットフォーム
図4は、HMD100のプラットフォームの説明図である。プラットフォームとは、HMD100にインストールされているアプリケーションを動作させるために必要な、基盤となるハードウェア資源、OS、ミドルウェア等の集合である。本実施形態のプラットフォーム500は、アプリケーション層510と、フレームワーク層520と、ライブラリー層530と、カーネル層540と、ハードウェア層550と、を含んでいる。各層510〜550は、プラットフォーム500に含まれているハードウェア資源、OS、ミドルウェア等を概念的に層分けしている。フレームワーク層520と、ライブラリー層530と、カーネル層540とによって、OS150(図2)の機能が実現される。なお、図4では、説明上必要としない構成要素は図示を省略する。
アプリケーション層510は、OS150上において所定の処理を実行するためのアプリケーションソフトウェアの集合である。アプリケーション層510に含まれている各アプリケーションソフトウェアを、以降「アプリ」または「アプリケーション」とも呼ぶ。アプリケーション層510には、HMD100に予めインストールされているアプリ、及び、HMD100の使用者がインストールしたアプリの両方が含まれる。
図4の例では、アプリケーション層510は、カメラアプリ511、業務アプリ512、案内アプリ513、鑑賞支援アプリ514、及び、認証用アプリ515を含む。カメラアプリ511は、撮影機能を提供する。業務アプリ512は、文書作成アプリケーションプログラム、表計算アプリケーションプログラム、プレゼンテーションプログラム、ウェブブラウザー等のアプリケーションの機能を提供する。また、業務アプリ512は、地図表示アプリケーションプログラム、メール作成、編集、送受信等を行うアプリケーションプログラムの機能を提供するものであってもよい。案内アプリ513は、美術館、博物館、アミューズメント施設等の見学及び/または案内に好適な案内機能を提供する。鑑賞支援アプリ514は、劇場や映画館等における観劇に際して情報提供等を行う機能を提供する。認証用アプリ515は、外部の機器においてHMD100を認証するための機能を提供する。
フレームワーク層520は、アプリケーション層510のアプリケーションソフトウェアに共通する基本的なプログラム構造や、機能セットを実装したプログラムの集合である。本実施形態では、画像処理部フレーム521と、表示制御部フレーム522と、音声処理部フレーム523と、通信処理部フレーム524、ソーシャルコントロール部フレーム525等を含む。画像処理部フレーム521は、画像処理部160(図2)の機能を実現する。表示制御部フレーム522は、表示制御部162(図2)の機能を実現する。音声処理部フレーム523は、音声処理部170(図2)の機能を実現する。通信処理部フレーム524は、通信処理部172(図2)の機能を実現する。ソーシャルコントロール部フレーム525は、移動検出部164及び処理制御部166の機能を実現する。
ライブラリー層530は、特定の機能を実現するためのプログラムを、他のプログラム(例えばアプリケーション層510に含まれるアプリ)から使用できるように部品化されたライブラリーソフトウェアの集合である。ライブラリー層530に含まれている各ライブラリーソフトウェアを、以降「ライブラリー」とも呼ぶ。ライブラリーは、単独では実行できず、他のプログラムから呼び出される形で実行される。
図4の例では、ライブラリー層530は、ディスプレイライブラリー533、オーディオライブラリー534、センサーライブラリー535、カメラライブラリー536、外部接続ライブラリー537、及び、GPSライブラリー538を含む。また、ライブラリー層530は、HTML(HyperTextMarkupLanguage)ライブラリー539を含む。ライブラリー層530は、その他のライブラリーを含んでも良い。
ディスプレイライブラリー533は、右LCD241および左LCD242(図2)を駆動する。オーディオライブラリー534は、右イヤホン32および左イヤホン34(図2)に内蔵されている音声IC(IntegratedCircuit)を駆動する。センサーライブラリー535は、9軸センサー66(図2)を駆動すると共に、9軸センサー66による検出値を取得し、検出値をアプリに提供するための情報へ加工する。カメラライブラリー536は、外景撮影用カメラ61(図2)を駆動すると共に、外景撮影用カメラ61による検出値を取得し、検出値から外景画像を生成する。外部接続ライブラリー537は、USBインターフェイス136を制御し、USBインターフェイス136により受信するデーターを取得し、USBインターフェイス136によるデーター送信を実行させる。GPSライブラリー538は、GPSモジュール134を制御して位置検出を実行し、検出した位置を示す位置情報を取得する。HTMLライブラリー539は、ウェブページ記述用言語で記載されたデーターを解釈して画面表示用の文字や画像の配置を計算する。
カーネル層540は、OS150の基本機能を実装したプログラムの集合である。カーネル層540は、ソフトウェア(ライブラリー層530)とハードウェア(ハードウェア層550)とのやり取りを管理し、両者を協働させる機能を有する。すなわち、カーネル層540の機能により、プラットフォーム500は、ハードウェアとソフトウェアとを協働させて、HMD100の機能を実現する。
図4の例では、カーネル層540は、右LCD241および左LCD242を駆動するためのLCDドライバー541を含む。カーネル層540は、音声ICを駆動するための音声ICドライバー542、9軸センサー66を駆動するためのセンサードライバー543、及び、外景撮影用カメラ61に内蔵されている画像センサーを駆動するための画像センサードライバー544を含む。カーネル層540は、USBインターフェイス136を駆動するためのUSBインターフェースドライバー545、及び、GPSモジュール134用のGPSドライバー546を含む。
ハードウェア層550は、HMD100に組み込まれている実際のハードウェア資源である。本実施形態において「ハードウェア資源」とは、HMD100に接続され、或いは、HMD100に組み込まれたデバイスを意味する。
すなわち、ハードウェア資源には、HMD100のマザーボードに内部的に接続されたデバイスを含む。この種のデバイスとしては、例えば、9軸センサー66のセンサーデバイス、外景撮影用カメラ61の画像センサーデバイス、タッチパッド14のセンサーデバイス、USBインターフェイス136、GPSモジュール134等が挙げられる。また、ハードウェア資源は、インターフェイス180を介してHMD100に外部的に接続されるデバイスを含む。この種のデバイスとしては、例えば、外付けのモーションセンサーデバイス、外付けのUSBデバイス等が挙げられる。
図4の例では、ハードウェア層550は、右LCD241および左LCD242としてのLCDデバイス551、音声ICデバイス552、9軸センサー66のセンサーデバイス553、及び、外景撮影用カメラ61の画像センサーデバイス554を含む。また、ハードウェア層550は、USBインターフェイス136に相当するUSBインターフェイス555、及び、GPSモジュール134としてのGPSデバイス556を含む。
図4において破線で囲んだライブラリーと、ドライバーと、デバイスとは、それぞれ対応関係にあり、協働して動作する。例えば、センサーライブラリー535、センサードライバー543、及びセンサーデバイス553は、9軸センサー66の機能を実現するために協働して動作する。すなわち、ライブラリー層530のセンサーライブラリー535と、カーネル層540のセンサードライバー543とは、アプリケーション層510に含まれるアプリが、ハードウェア資源としてのセンサーデバイス553を使用するためのプログラムである。ハードウェア資源とは上述のようにハードウェア層550に含まれるデバイスを指す。また、本実施形態の説明においてプログラムとは、ソフトウェアと同義、或いは対応するものを指す表現である。なお、1つのハードウェア資源としてのセンサーデバイス553を使用可能とするために、センサーデバイス553に複数のライブラリーが割り当てられる構成としてもよい。
例えば、ハードウェア層550は、図4に示す各デバイスに加えて、その他のデバイスを含む構成とすることができる。カーネル層540は、ハードウェア層550に含まれる各デバイスに対応するプログラムを含む構成とすることができる。
一方、図4において、例えば、ライブラリー層530のHTMLライブラリー539は、ハードウェア資源と対応関係になく、ハードウェア資源に依存しない。このように、HMD100に組み込まれ、ハードウェア資源に依存しないプログラム(ソフトウェア)を、本実施形態では「ソフトウェア資源」とも呼ぶ。ソフトウェア資源としては、フレームワーク層520、ライブラリー層530、カーネル層540の各層に含まれる種々のプログラムが想定される。
図5は、記憶部120が記憶する情報を示す模式図である。
記憶部120は、CPU140が実行するOS120a、アプリケーションプログラム120b、設定データー120c、ソーシャルコントロールデーター120d、及び、コンテンツデーター120eを記憶する。また、記憶部120は、外景撮影用カメラ61により撮影された撮影画像データー120f、及び、無線通信部132またはUSBインターフェイス136を介して取得したダウンロード済みデーター120gを記憶する。
OS120aは、CPU140によりロードされて実行され、OS150(図2)を構成する。アプリケーションプログラム120bは、CPU140により実行され、アプリケーション層510(図4)の各アプリを構成する。設定データー120cは、HMD100の動作に関する設定内容を示すデーターを含む。
ソーシャルコントロールデーター120dは、HMD100の位置に基づくHMD100の機能制限の設定に関するデーターを含む。ソーシャルコントロールデーター120dは、HMD100の位置に基づき実行が制限されるアプリ、フレームワーク、ライブラリー、カーネル等に関する設定データーを含む。ソーシャルコントロールデーター120dは、HMD100の位置に基づきアクセス制限や削除の対象となるデーターを指定するデーターを含んでもよい。ソーシャルコントロールデーター120dは、HMD100の機能制限を実行する場合のHMD100の位置に関する設定データーを含む。また、ソーシャルコントロールデーター120dは、HMD100の機能を利用可能とする位置または位置の範囲(使用可能位置、使用可能範囲)を特定するGPS座標等のデーターを含んでも良い。
コンテンツデーター120eは、業務アプリ512、案内アプリ513、及び、鑑賞支援アプリ514の実行時に再生されるコンテンツのデーターであり、音声データー、映像データー、静止画像データー等を含む。
A−3.頭部装着型表示装置の機能制限
図6及び図7はHMD100の動作を示すフローチャートである。図6は起動時におけるHMD100の機能制限に関する動作を示し、図7はHMD100の動作中におけるHMD100の機能制限に関する動作を示す。
CPU140は、HMD100が停止状態(いわゆる省電力のためのスリープ状態、サスペンド状態を含む)または電源オフ状態において、電源がオンに切り替えられると、起動処理を開始する(ステップS11)。
CPU140は、記憶部120からOS120aをロードして実行し、OS150の機能を構成する(ステップS12)。
CPU140は、位置検出処理を実行して、HMD100の位置を取得する(ステップS13)。位置検出処理は、移動検出部164の機能に相当する処理である。ステップS13の動作は、例えば、次に説明する(1)〜(3)の3通りが挙げられる。
(1)GPSモジュールによる位置検出
CPU140は、GPSモジュール134を制御して、HMD100の現在位置を算出させ、取得する。
(2)無線通信部による位置検出
CPU140は、無線通信部132によって外部のビーコン装置(Bluetoothビーコン等)からビーコン信号を受信し、送信元のビーコン装置からの距離を算出することにより、HMD100の位置を求める。
或いは、CPU140は、予め位置が設定されているビーコン装置が送信するビーコン信号を無線通信部132により受信し、送信元のビーコン装置の位置を基準として、HMD100の位置を求める。
或いは、CPU140は、予め位置が設定されているビーコン装置が送信するビーコン信号を無線通信部132により受信した場合に、送信元のビーコン装置の位置を、HMD100の位置として求める。
或いは、CPU140は、無線通信部132により受信した無線信号に含まれるID(例えば、SSID等のネットワークID)を取得し、取得したIDに対応付けられる位置情報を検索し、検索した位置情報を、HMD100の位置とすることができる。この場合、ソーシャルコントロールデーター120dに、HMD100の使用可能位置または使用可能範囲を示す位置情報と、無線信号に含まれるIDとが対応付けて含まれていればよい。また、ソーシャルコントロールデーター120dに、使用可能位置に対応するIDとして、IDのみが含まれる構成であってもよい。
(3)外景撮影用カメラによる位置検出
CPU140は、外景撮影用カメラ61により撮影を実行させ、撮影画像を解析する。HMD100は、HMD100の位置の特定に利用可能な画像の画像データー、或いは、画像の特徴量データーを、ソーシャルコントロールデーター120dに含めて記憶部120に記憶する。この画像データーまたは特徴量データーには、位置情報が対応付けられる。CPU140は、ソーシャルコントロールデーター120dの画像データーまたは画像特徴量のデーターと、外景撮影用カメラ61の撮影画像とを比較対照し、位置情報を特定する。この処理によれば、HMD100の周囲の環境を外景撮影用カメラ61で撮影し、撮影画像に写る建築物、道路、設置物、二次元コード、景色等をもとにHMD100の位置を特定できる。例えば、使用可能位置または使用可能範囲に設置される特定の二次元コードを外景撮影用カメラ61により撮影した撮影画像に基づき、HMD100の機能を使用可能とすることができる。
CPU140は、ステップS13で、上記の(1)〜(3)の処理のいずれかを実行することでHMD100の位置を取得する。また、CPU140は、上記の(1)〜(3)の処理のうち複数の処理を組み合わせて、HMD100の位置を取得してもよい。
CPU140は、上記の(1)〜(3)以外の処理によりHMD100の位置を取得してもよい。
例えば、CPU140は、複数の位置検出の手法を組み合わせてもよい。すなわち、GPSモジュール134でGPS信号に基づき位置を検出する処理と、無線通信部132が無線LAN、Bluetooth、iBeacon等の無線信号に基づき位置を検出する処理とを組合せてもよい。また、9軸センサー66が検出する加速度、角加速度、地磁気等に基づきHMD100の状態検出(電車、自動車、飛行機等に搭乗中、室内にあるか、野外にあるか、地下にあるか等)を行い、状態検出の結果を他の処理の結果と組合せてもよい。
また、CPU140は、HMD100の状態(位置、動作状態、環境状態など)または状態の変化に対応して、位置検出において使用するセンサーを切り替えてもよい。例えば、HMD100が航空機内にある場合は、航空機内において電波障害の可能性から使用が自粛される携帯電話の周波数の無線信号や、無線LANの無線信号を使用せず、航空機の電子機器への影響の少ないBluetooth、iBeaconを利用する方法がある。この場合、CPU140は、HMD100が航空機内に移動した場合、及び、航空機内から外に移動した場合に、切り替えを行うことができる。
また、CPU140は、HMD100が存在する国、地域、或いは、公共の場所と私的な場所など、HMD100の位置の社会的区分(社会的区分に応じた社会的要請)に対応して処理を変更してもよい。例えば、CPU140は、HMD100が処理(表示、音声出力を含む)する言語や計量単位を切り替えてもよい。また、例えば、無線通信部132が送信する無線信号の周波数や送信出力を調整または変更してもよい。また、外景撮影用カメラ61の撮像解像度を、公的な場所では低解像度(例えば、30万画素)に設定し、それ以外の場所では外景撮影用カメラ61の標準的な解像度(例えば、1200万画素)に設定してもよい。
CPU140は、記憶部120に記憶されたソーシャルコントロールデーター120dを参照し(ステップS14)、HMD100の位置が、ソーシャルコントロールデーター120dで設定された位置であるか否かを判定する(ステップS15)。ソーシャルコントロールデーター120dには、HMD100を使用してよい場所が、位置、或いは位置の範囲として予め設定されている。CPU140は、ステップS13で取得したHMD100の位置を、HMD100を使用してよい場所としてソーシャルコントロールデーター120dに予め設定された位置、或いは位置の範囲とを比較する。
HMD100の位置が、ソーシャルコントロールデーター120dに設定された位置に該当する場合、或いは設定された範囲に含まれる場合(ステップS15;YES)、CPU140は、起動処理を継続する(ステップS16)。すなわち、CPU140は、アプリケーション層510を含むOS150の機能、及び、OS150により制御されるHMD100の各ハードウェアの初期化等を行う(ステップS16)。CPU140は、アプリケーション層510の各アプリの実行の指示入力に対する待機状態に移行し(ステップS17)、本処理を終了する。この場合、HMD100は、タッチパッド14の操作等により、カメラアプリ511、業務アプリ512、案内アプリ513、鑑賞支援アプリ514等を実行させることができる。
HMD100の位置が、ソーシャルコントロールデーター120dに設定された位置に該当しない場合、及び、設定された範囲に含まれない場合(ステップS15;NO)、CPU140は、HMD100の所定の機能を制限する処理を実行する。
上述したように、ソーシャルコントロールデーター120dは、HMD100の位置が設定された位置にない場合にHMD100の機能を制限の内容に関するデーターを含む。HMD100の機能の制限として、本実施形態では、アプリが処理するデーターの削除、アプリの実行の制限(ロック)、及び、ライブラリーの利用の制限(ロック)を含む。
詳細には、CPU140は、ソーシャルコントロールデーター120dにおいて、機能制限に伴い削除するデータ(削除対象のデータ)が設定されている場合には、削除対象のデーターの削除を行う(ステップS18)。また、CPU140は、ソーシャルコントロールデーター120dにおいて、機能制限に伴いアクセスを禁止するデータ(ロック対象のデータ)が設定されている場合には、ロック対象のデーターへのアクセスを禁止する(ステップS19)。アクセスが禁止されたデーターは、アプリケーション層510のアプリや、OS150の機能によって読み出し、編集、コピー等を実行できなくなる。
CPU140は、ソーシャルコントロールデーター120dにより、ロックするアプリケーションプログラムについて設定されている場合は、ロック対象のアプリケーションプログラムをロックする(ステップS20)。ロックされたアプリは、OS150の機能により実行開始させることができなくなる。
CPU140は、ソーシャルコントロールデーター120dにより、ロックするライブラリーについて設定されている場合は、ロック対象のライブラリーをロックする(ステップS21)。ロックされたライブラリーは、OS150の機能により呼び出すことができなくなる。
ステップS18〜S21の処理は、ソーシャルコントロールデーター120dに含まれる設定の情報に従って実行される。ソーシャルコントロールデーター120dにおいて、削除対象データーが設定されていない場合、ステップS18の処理は省略される。同様に、ソーシャルコントロールデーター120dでロック対象のデーターが設定されていない場合、ステップS19の処理は省略される。また、ロック対象のアプリが設定されていない場合、ステップS20の処理は省略される。ロック対象のライブラリーが設定されていない場合、ステップS21の処理は省略される。
CPU140は、ステップS18〜S21のいずれかの処理を実行した場合に、実行した処理の内容を報知する(ステップS22)。具体的には、実行した処理の内容、或いは、削除またはロックされたデーター、アプリ、ライブラリーを示す文字や画像を画像表示部20に表示する。また、CPU140は、音声による報知を行ってもよいし、ロックを行ったことのみを報知してもよい。
図6の動作により、HMD100の起動時に、HMD100の位置が、HMD100を使用してよい位置として設定された位置または範囲内でない場合に、データー、アプリ、ライブラリー等の使用を制限できる。また、HMD100が停止した状態で、設定された位置または範囲から移動した場合であっても、HMD100が起動する際に、データー、アプリ、ライブラリー等の使用を制限できる。
例えば、業務アプリ512の実行を制限することにより、HMD100の機能のうち、文書作成、表計算、プレゼンテーションデーターの処理、ウェブブラウジング、地図表示、メール作成、編集、送受信等を実行できなくなる。また、カメラアプリ511の実行の制限あるいはカメラライブラリー536の制限により、外景撮影用カメラ61による撮影を実行できなくなる。また、外部接続ライブラリー537の制限により、外部のデバイスの制御を実行できなくなる。また、無線通信部132による無線通信や、アプリケーション層510のその他のアプリの実行の制限等を行ってもよい。
図6に示す動作は、CPU140が、移動検出部164及び処理制御部166の機能として、実行する動作である。図4においてはソーシャルコントロール部フレーム525の機能に相当する。本発明はこれに限定されず、例えば、カーネル層540が処理制御部166の機能を実行し、HMD100の機能を制限してもよい。また、ハードウェア層550に属する機能制限用のハードウェア(図示略)をHMD100が実装する構成としてもよく、この場合、機能制限用のハードウェアが処理制御部166の機能を実行してもよい。
処理制御部166の機能及び/または移動検出部164を実行する主体として、例えば、HMD100のBIOS(Basic Input Output System)、或いは、BIOSに代えて実装されるUEFI(Unified Extensible Firmware Interface)等が挙げられる。この構成で、BIOSまたはUEFIがパスワード(PIN:Personal Identification Number)によるロック、及びロック解除の機能を有する場合に、移動検出部164の判定結果や移動検出部164が検出する位置情報を、パスワードやPINに代えて用いてもよい。この構成によれば、移動検出部164の判定結果または検出結果が、BIOSまたはUEFIのロック解除のコードとして利用され、BIOSまたはUEFIのロック機能を利用して、HMD100の機能制限を実現できる。
また、スマートフォンやタブレット型コンピューターで知られる遠隔ロック機能と同様に、HMD100に対して遠隔地から通信により機能をロックすることが可能な構成としてもよい。この場合、HMD100の位置を、施設内、ビルディングを特定し得るID、住居表示の番地、ZIPコード、郵便番号、職場と対応付けられたレイアウトMAP等で特定するとよい。このような遠隔ロック機能がHMD100において常時有効とされ、ロック解除のパスワード或いはPINとして、移動検出部164の判定結果や移動検出部164が検出する位置情報を利用可能な構成としてもよい。この場合、遠隔ロック機能を利用して、HMD100の機能制限を実現できる。
また、CPU140が実行する機能の制限は、ステップS18〜S21に示した例に限定されない。例えば、CPU140は、右表示駆動部22及び左表示駆動部24による表示機能を制限してもよい。すなわち、右LCD241、左LCD242への描画の制限、右LCD制御部211及び左LCD制御部212の機能制限等を実行してもよい。具体的には、HMD100の表示領域にブルーバック表示(全面青表示)やレッドバック(全面赤表示)等の表示を行い、右導光板261及び左導光板262を透過する外景の視認性を低下(阻害)させてもよい。この場合、外景の視認性の低下(阻害)の程度は、外景を認識可能であるが使用者に不快感や違和感を与えるような程度としてもよい。また、これらのブルーバック表示やレットバック等の表示は、外景視認阻害表示と呼ぶことができる。外景視認阻害表示と合わせて、使用可能位置から外れたこと、或いは使用可能範囲の外であることを通知する警告表示または報知表示を表示してもよい。警告表示または報知表示の具体的態様は任意であり、文字であってもよいし画像であってもよい。また、警告表示または報知表示は、上記の理由により外景視認阻害表示が行われたことを示す情報を含んでもよく、外景視認阻害表示を解除するための方法を合わせて表示してもよい。例えば、電話番号、メールアドレス、SNSのアカウント、住所等の連絡先や連絡方法等の表示を含んでもよい。また、外景視認阻害表示などの警告表示や報知表示は、HMD100の位置が、使用可能位置から外れたとき、或いは、使用可能範囲の外に出たときに限らず、使用可能位置から外れる位置や使用可能範囲の外に近い位置にHMD100が接近した場合に表示されてもよく、この場合、警告表示や報知表示を、外景視認阻害表示を伴わずに表示してもよい。
図7は、HMD100の動作中に、HMD100の位置に対応して所定の機能を制限する処理を示す。
CPU140は、HMD100の動作中に図7の処理を予め設定された周期で、或いは、随時、実行し、位置確認のトリガーの有無を判定する(ステップS31)。位置確認のトリガーは、例えば、設定された時間が経過したこと、タッチパッド14の操作により位置確認が指示されたことである。また、入力情報取得部110が検出した入力操作が予め設定された回数以上行われたこと、GPSモジュール134により設定された距離以上のHMD100の移動が検出されたことを、位置確認のトリガーとしてもよい。また、9軸センサー66により、設定された動作量を超える動作を検出したことを位置確認のトリガーとしてもよい。
位置確認のトリガーが成立していないと判定した場合(ステップS31;NO)、CPU140は本処理を終了する。
位置確認のトリガーが成立したと判定した場合(ステップS31;YES)、CPU140は、ステップS13(図6)の処理を実行し、HMD100の位置を取得する。その後、CPU140は、ステップS14〜S15の処理を実行する。
HMD100の位置が、ソーシャルコントロールデーター120dに設定された位置に該当する場合、或いは設定された範囲に含まれる場合(ステップS15;YES)、CPU140は、本処理を終了する。
HMD100の位置が、ソーシャルコントロールデーター120dに設定された位置に該当しない場合、及び、設定された範囲に含まれない場合(ステップS15;NO)、CPU140は、HMD100の所定の機能を制限する処理を実行する。
ここで、CPU140は、ソーシャルコントロールデーター120dに設定された制限の対象に関する処理を実行中であるか否かを判定する(ステップS32)。具体的には、ソーシャルコントロールデーター120dで削除またはロックの対象として設定されたデーターを処理するアプリや、ロックの対象として設定されたアプリ及びライブラリーが実行中であるか否かを判定する。
該当する処理を実行中である場合(ステップS32;YES)、CPU140は、該当する処理を停止させ(ステップS33)、ステップS18に移行する。また、該当する処理を実行していない場合(ステップS32;NO)、CPU140は、ステップS18に移行する。CPU140は、ステップS18〜S22の動作を、図6を参照して説明したように実行する。
上記説明では、理解の便宜のために位置確認のトリガーの有無をフロー制御により判定する例を説明したが、本発明の具体的態様はこれに限定されない。例えば、CPU140が位置確認のトリガーの成立を検出した場合に、割り込み制御によって図7のステップS13以後の処理を実行してもよい。
また、CPU140が、ステップS18〜S21の処理を実行する条件として、HMD100の位置と、他の条件とを組み合わせてもよい。例えば、CPU140は、HMD100の位置が、ソーシャルコントロールデーター120dに設定された位置に該当しない場合、及び、設定された範囲に含まれないと判定し、さらに他の条件が成立した場合に、ステップS18〜S21の処理を実行してもよい。他の条件としては、例えば、使用者の生体に関する情報に基づく認証を行ってもよい。具体的には、外景撮影用カメラ61により使用者の顔を撮影して認証する、HMD100により使用者の指紋、掌紋、虹彩等を検出して認証する等が挙げられる。この場合、認証に成功した場合はステップS18〜S21の処理を実行せず、認証に失敗した場合に、ステップS18〜S21の処理を実行する構成とすることができる。
このように、本発明を適用した実施形態に係るHMD100は、使用者の頭部に装着されるHMD100であって、画像を表示する画像表示部20と、データー処理を含む処理を実行するCPU140とを備える。HMD100は、CPU140により処理されるデーターを記憶する記憶部120と、HMD100の位置が設定された位置でないことを検出する移動検出部164とを備える。また、移動検出部164によってHMD100の位置が設定された位置でないことを検出した場合に、記憶部120に記憶されたデーターのうち、設定された場所に対応付けられたデーターの処理を制限する処理制御部166を備える。
本発明の頭部装着型表示装置、及び、頭部装着型表示装置の制御方法を適用したHMD100によれば、HMD100が設定された位置から他の位置に移動された場合等に、HMD100によるデーターの処理を制限できる。このため、予定されていない場所へのHMD100の移動について、抑止の効果を得ることができる。従って、HMD100の利用の可否を、使用する場所に関連してコントロールすることができ、例えばHMD100の持ち去りやデーターの不正な利用を抑止する効果が期待できる。
HMD100は、外景を撮影(撮像)する外景撮影用カメラ61を備える。移動検出部164は、外景撮影用カメラ61の撮影画像(撮像画像)に基づき、HMD100の位置が設定された位置でないことを検出する。これにより、HMD100の外部の実空間である外景を撮影した撮影画像、或いは、場所に対応付けられたセキュリティー情報を利用して、HMD100の利用をコントロールできる。
また、HMD100は、無線通信部132により受信するビーコン信号に基づき、HMD100の位置が設定された位置でないことを検出する。この場合のビーコン信号は、HMD100の使用場所として設定された場所に対応付けられたセキュリティー情報といえる。これにより、HMD100の外部の実空間である外景を撮影した撮影画像、或いは、場所に対応付けられたセキュリティー情報を利用して、HMD100の利用をコントロールできる。
また、移動検出部164が、外景撮影用カメラ61の撮影画像、及び、設定された場所に対応付けられたセキュリティー情報に基づき、HMD100の位置が設定された位置でないことを検出する構成であってもよい。この場合、HMD100の外部の実空間である外景を撮影した撮影画像、及び、場所に対応付けられたセキュリティー情報を利用して、HMD100の利用をコントロールできる。
記憶部120はアプリケーションプログラムを含むデーターを記憶し、CPU140はアプリケーションプログラムを実行することにより、HMD100の機能を実行する。処理制御部166は、設定された場所に対応付けられたアプリケーションプログラムの実行を制限する。これにより、HMD100の位置に基づいて、HMD100の機能を実現するアプリケーションプログラムの実行をコントロールできる。従って、多様な機能を有するHMD100の利用を適切にコントロールできる。また、アプリケーションプログラムを単位として実行を制限するため、例えば制限する対象のアプリケーションプログラムを限定するなど、HMD100の機能に関してきめ細かいコントロールを行うことができる。
処理制御部166は、HMD100が停止または電源オフ状態から起動したときに、図6に示したように、移動検出部164による検出を実行させる。移動検出部164によってHMD100の位置が設定された位置でないことを検出した場合、記憶部120に記憶され設定された場所に対応付けられたデーターに対するアクセスを制限する。これにより、HMD100が停止または電源オフ状態となっている間に、設定された場所から移動された場合等に、HMD100の適切でない場所における利用を制限できる。このため、予定されていない場所へのHMD100の移動について、より強く抑止する効果が期待できる。
処理制御部166は、HMD100が停止または電源オフ状態から起動したときに、移動検出部164によって、HMD100の位置が設定された位置でないことを検出した場合、記憶部120に記憶され設定された場所に対応付けられたデーターを消去する。これにより、HMD100が停止または電源オフ状態となっている間に、設定された場所から移動された場合等に、HMD100が有するデーターの利用を制限できる。このため、予定されていない場所におけるデーターの利用を確実に制限でき、データーの不適切な利用を防止する効果が期待できる。
また、HMD100は、HMD100の使用状態が設定された使用状態でないことを検出可能な構成であってもよい。例えば、HMD100が備える9軸センサー66等のセンサーにより、HMD100の使用状態を検出してもよい。また、ソーシャルコントロールデーター120dにおいて、HMD100の使用状態を判定する条件を設定してもよい。この場合、処理制御部166は、HMD100の使用状態がソーシャルコントロールデーター120dに設定された条件に該当しない場合に、ステップS18〜S21の処理により制限を行ってもよい。これにより、HMD100の使用状態に基づいてデーターの利用を制限することができ、データーの不適切な利用を防止する効果が期待できる。
HMD100の機能を制限することにより、例えば、業務アプリ512で使用される文書データー、表計算アプリケーションプログラムのデーター、プレゼンテーションデーター、ウェブページのデーター、地図データー等の利用を制限できる。また、HMD100により作業支援を行う場合において、作業手順書等のデーターの使用を制限できる。また、例えば、HMD100を無線通信ネットワークに接続して使用する場合に、機能制限によりネットワークへの接続を防止できる。これらの機能やデーターに関する制限を行うことで、データーのセキュリティーを保持し、HMD100の不適切な使用を防止できる。
HMD100の使用可能位置または使用可能範囲(エリア)としては、GPS座標により特定される特定の位置または範囲に限定されない。例えば、HMD100の使用可能位置および使用可能範囲を、座標以外の方法で特定してもよい。例えば、企業の事業所を使用可能範囲としてもよい。また、建物全体、建物における1または複数のフロアー、建物において区画されていない一部、建物において区画された一室、劇場、スタジアム、公園の敷地、都道府県や州等の行政区分を使用可能範囲としてもよい。
また、HMD100の使用可能範囲を、道路の車線により特定してもよい。この場合、HMD100を装着する使用者が搭乗する車両が、道路(一般道路または高速道路)において走行する車線を、移動検出部164が特定する。移動検出部164は、車両の位置が追い越し車線である場合、走行車線である場合、サービスエリアや道の駅など休憩場所である場合等を検出する。この場合に、HMD100の使用可能範囲が、追い越し車線、走行車線、休憩場所等で設定されてもよい。例えば、休憩場所ではHMD100のテレビ視聴機能を有効とし、走行車線または追い越し車線では当該機能を制限してもよい。これらの機能は、HMD100が、車両の運転支援機能(いわゆる自動運転を含む)を実行する制御装置と通信し、或いは、HMD100が運転支援機能を有する場合に適用できる。例えば、運転支援機能に係る表示をHMD100が行う場合に、当該表示機能に関し、車両の位置に対応して当該表示機能を制限する等の処理を行える。その他の例として、駐車場における駐車スペースと通路とを区別して、使用可能範囲を駐車スペースとする等の態様が考えられる。
また、移動検出部164は、HMD100の移動を検出するものとして説明したが、HMD100が移ること、HMD100が所定の地域または区域の外に移動すること、HMD100がエリア外へ移動することを検出するということもできる。
B.HMDの適用例
続いて、HMD100を利用する具体的な適用例を説明する。
B−1.適用例1
図8は、HMD100の機能を利用する適用例として、美術館を訪れた人にHMD100を装着させ、美術館における案内を行う適用例を示す説明図である。適用例1は、美術館のほか、博物館を含む各種展示施設、催事として一時的に行われる展示会、アミューズメント施設等にも同様に適用できる。
まず、美術館を訪れた者は、受付に行き、入館料金を支払う(シーン1)。この際、受付者は、来訪者の個人認証を行うようにしてもよい。個人認証としては、例えば、免許証、パスポート、健康保険証等の身分証明書の提示を受けることによって行う。
シーン1に続くシーン2では、受付者は、受付を済ませた来訪者に前述したHMD100の貸し出しを行う。なお、この貸し出しに際し、受付者は、HMD100に対して、ハードキーとしてICカード、USBメモリー、SIM等を差し込む。なお、ハードキーに換えてソフトキーとして、OS150のプロダクトキー等を入力するようにしてもよい。なお、個人認証を行なっている場合には、上述した身分証明書の番号等をソフトキーとして入力するようにすることもできる。ソフトキーとしての入力は、タッチパッド14や十字キー16等の入力情報取得部110等を用いて行う。こうして入力されたハードキーまたはソフトキーは、HMD認証キーとしてHMD100の記憶部120に記憶される。受付者は、ハードキーまたはソフトキーの入力を終えたHMD100を来訪者に貸し出す。
シーン2に続くシーン3では、来訪者は、貸し出されたHMD100を頭部に装着して使用する。HMD100を使用中の来訪者を、以下、「使用者」とも呼ぶ。美術館の展示エリア600前にはゲート(入口)610が設けられており、シーン3では、使用者HUはゲート610の前まで進む。ゲート610には、ゲート610を識別するためのマーカーとしてのゲート識別名称GNが記されている。シーン3では、使用者HUは、ゲート識別名称GNの撮影を含めたHMD100の機能を用いてゲート610を開く。この機能の詳細については、後述する。
使用者HUは、開いたゲート610を通過して、展示エリア600内に入る。展示エリア600内には、iBeacon)用のBLE端末670が複数、設置されている。展示エリア600内を移動するシーン4では、使用者HUは、BLE端末670との通信を含めたHMD100の機能を用いて順路(案内ルート)の提示を受ける。
使用者HUは、展示品680の前に進み、展示品680を鑑賞する(シーン5)。展示品680の周囲には、展示品680を識別するためのマーカーがバーコードBCの形で付設されている。この鑑賞の際に、使用者は、バーコードBCの撮影を含めたHMD100の機能を用いて、目の前の展示品680についての情報の提示を受ける。この機能の詳細についても、後述する。なお、展示品は、展示物であってもよい。
展示品の鑑賞を終えた使用者HUは、ゲート(出口)690から展示エリア600の外側に移動し(シーン6)、受付でHMD100を返却する(シーン7)。
この適用例1において、HMD100は、シーン2において起動され、ゲート610に設置された二次元コード等の認証用の識別画像GNを外景撮影用カメラ61により撮像する。識別画像GNは文字列であってもよい。
CPU140は、外景撮影用カメラ61の撮像画像において識別画像GNを検出したことに基づき、HMD100の位置が設定された使用位置であると判定する(ステップS6のステップS15;YES)。これにより、HMD100の機能を使用可能となり、例えば、案内アプリ513(図4)を使用できる。
シーン3で、CPU140は、アプリケーション層510に含まれる音声処理部フレーム523とカメラアプリ511とをロックしてもよい。音声処理部フレーム523は、HMD100の音声の出力の全てを担うために、音声処理部フレーム523がロックされることで、HMD100からの音声の出力は全て消される(ミュートされる)。カメラアプリ516のロックを行うことで、カメラアプリ516による撮影は禁止され、展示エリア600における展示品680の撮影を制限できる。また、HMD100が外景撮影用カメラ61以外に他のカメラを搭載する場合には、カメラアプリ511は他のカメラによって撮影を行う場合もあり得る。この場合、カメラアプリ511を禁止することで前記他のカメラによる撮影をも禁止する構成としてもよい。
図9は、順路案内処理ルーチンの詳細を示すフローチャートである。
順路案内処理ルーチンは、鑑賞支援アプリ514(図4)に含まれる複数の処理ルーチンのうちの一つであり、HMD100のCPU140によって、所定時間毎に繰り返し実行される。この順路案内処理ルーチンでは、通信処理部172を用いる。展示エリア600における順路の各曲がり角や、まっすぐ進む部分が続く場合のその中途部分(以下、「直線中途部分」と呼ぶ)には、BLE端末670がそれぞれ配置されており、BLE端末670からiBeaconの信号が出力される。iBeaconの信号には、BLE端末670を識別するためのBLE端末識別番号と、BLE端末670までの距離とが少なくとも保持される。
処理が開始されると、HMD100のCPU140は、まず、BLE端末670からiBeaconの信号を感知したか否かを判定する(ステップS101)。CPU140は、iBeaconの信号を感知するまでステップS101の処理を繰り返し実行し、ステップS101で感知されたと判定されると、感知した信号に保持される距離が所定値(例えば、2m)未満であるか否かを判定する(ステップS102)。ここで、距離が所定値未満でないと判定された場合には、ステップS101に処理を戻す。
一方、ステップS102で、距離が所定値未満であると判定された場合には、感知した信号に保持されるBLE端末識別番号に対応した順路情報を取得する処理を行う(ステップS103)。順路情報は、例えば、展示エリア600に設置された図示しない通信装置(無線LAN装置など)を介して、サーバー装置(図示略)にアクセスすることにより、取得できる。また、コンテンツデーター120eに、BLE端末670に対応する順路情報を含めて、HMD100が記憶していてもよい。この場合、CPU140は、ステップS101で感知した信号に対応する順路情報を、コンテンツデーター120eから取得する。順路情報は、BLE端末識別番号に対応して、例えば「左に曲がって下さい」、「右に曲がって下さい」、あるいは「まっすぐ進んで下さい」といった情報である。
その後、CPU140は、ステップS103によって取得した順路情報に応じた順路案内メッセージを表示する(ステップS104)。すなわち、CPU140は、上記順路案内メッセージを画像表示部20に表示させる。
ステップS104の実行後、CPU140は、図9の順路案内処理ルーチンを一旦終了する。CPU140によって実行されるステップS101およびS102の処理が、移動検出部164(図2)に対応している。すなわち、移動検出部164は、特定の場所としての順路の曲がり角の付近や直線中途部分の付近にHMD100が移動したことを検出する。CPU140によって実行されるステップS103およびS104の処理が、処理制御部166(図2)に対応している。すなわち、処理制御部166は、情報提示機能を拡張することとして、順路案内メッセージを表示する。
このように、HMD100が、展示エリア600において順路案内処理ルーチンを実行することにより、HMD100を装着した使用者は、展示エリア600内を移動する際に、順路案内メッセージを視野の中に認識することができる。このために、本実施形態のHMD100によれば、使用者の利便性に優れている。
なお、この順路案内処理ルーチンに従う処理によれば、iBeaconの技術によって、使用者が装着しているHMD100の移動を検出している。これに限らず、WiFiのアクセスポイントを設置する際に登録される位置情報を使って現在位置を推測することでHMDの移動を検出する構成としてもよい。また、LEDを使った可視光通信によってHMDの移動を検出してもよい。要は、外部の無線通信端末からの信号に基づいてHMDの移動を検出するものであれば、どのような無線通信の技術を用いる構成としてもよい。さらに、地磁気を利用して屋内の現在位置を求める技術や、屋内GPSの技術によってHMDの移動を検出する構成としてもよい。また、展示エリア600が屋外であれば、GPSモジュール134を利用して現在位置を特定することでHMDの移動を検出する構成とすることもできる。また、これら技術の一つからHMDの移動を検出する構成に換えて、これら技術のうちの複数を組み合わせてHMDの移動を検出するようにしてもよい。検出場所等によって、それら技術を使い分けるようにしてもよい。
また、鑑賞支援アプリ514は、シーン5において、展示品の解説を行うこともできる。
図10は、展示品解説ルーチンの詳細を示すフローチャートである。展示品解説ルーチンは、鑑賞支援アプリ514(図4)に含まれる複数の処理ルーチンのうちの一つであり、HMD100のCPU140によって、所定時間毎に繰り返し実行される。処理が開始されると、CPU140は、まず、9軸センサー66にて使用者の頭部の動きを検出することで、使用者が歩行中であるか否かを判定する(ステップS111)。ここで、歩行中であると判定されたときには、使用者は展示品を鑑賞する状態にないとして、この展示品解説ルーチンを一旦終了する。
一方、ステップ111で、歩行中でないと判定されると(ステップS111;NO)、外景撮影用カメラ61を起動して外景を撮影する(ステップS112)。なお、変形例として、ステップS111の判定を行うことなく、直ちにステップS112で外景の撮影を行う構成としてもよい。
続いて、CPU140は、ステップS112によって撮影された撮影画像の中に展示品識別用のバーコードBCが含まれるか否かを判定する(ステップS113)。ここで、含まれないと判定された場合には、CPU140は、ステップS112に処理を戻して、外景撮影用カメラ61による撮影を継続して、バーコードBCが撮影されるのを待つ。一方、ステップS113で、展示品識別用のバーコードBCが含まれると判定された場合には、バーコードBCを展示品680の識別コードに変換し(ステップS114)、外景撮影用カメラ61の撮影を停止する(ステップS115)。その後、CPU140は、ステップS114によって得られた展示品識別コードに対応した展示品情報を展示品情報記憶部654eから読み出し(ステップS116)、その展示品情報を表示する(ステップS117)。すなわち、CPU140は、展示品情報を画像表示部20に表示させる。なお、展示品情報は、外景に含まれるバーコードBCの位置に基づく位置に表示するようにした。展示品情報は、文字、画像、図形等、或いは動画像を含むものとすることができ、これらのデーターはコンテンツデーター120eに含まれる。コンテンツデーター120eは、展示品識別コードに対応付けて、展示品情報を含む構成とすることができる。本実施形態では、バーコードBCは、図5に示すように、展示品680の左上に付設されており、展示品情報は、バーコードBCの左方向の位置に表示するようにしたが、その位置はもちろん任意に変更できる。
ステップS117の実行後、CPU140は、この順路案内処理ルーチンを一旦終了する。なお、CPU140によって実行されるステップS112およびS113の処理が、移動検出部164(図2)に対応している。すなわち、移動検出部164は、特定の場所としての展示品680前にHMD100が移動したことを検出する。CPU140によって実行されるステップS116およびS117の処理が、処理制御部166(図2)に対応している。すなわち、処理制御部166は、情報提示機能を拡張することとして、展示品情報を表示する。
この展示品解説ルーチンによれば、HMD100を装着した使用者は、展示品680の前に立つだけで、展示品680の技法や、時代背景、美術史に関する情報等の展示品情報を視野の中に認識することができる。このために、本実施形態のHMD100によれば、使用者の利便性に優れている。
なお、この展示品解説ルーチンに従う処理によれば、展示品680の周辺に付されたバーコードBCを撮影することによって、使用者が装着しているHMD100が展示品前に移動したことを検出している。これに限らず、バーコードBCは、単純ではっきりした白黒の図形や、QRコード(登録商標)等の他の種類のコードあってもよい。また、バーコードBCの配置される位置も、展示品680の左上に付設する構成に換えて、展示品680の周囲あるいは周辺であれば、いずれの位置とすることもできる。さらには、展示品680の内側に、電子透かしの形態でコードを配置する構成としてもよい。さらに、展示品680そのものの撮影画像に基づいて、その展示品前に移動したことを検出する構成としてもよい。
この適用例では、HMD100の位置が使用可能範囲である展示エリア600(ゲート610からゲート690の間)でない場合に、展示品情報や順路情報に対するアクセスが禁止されるので、これらの情報の不適切な使用を防止できる。また、これらの情報を削除する構成とすれば、より確実に情報の不適切な使用を防止できる。例えば、展示エリア600で使用されたゲート識別名称GNやバーコードBCのデーター、展示品情報や順路情報、施設内で撮影された撮影画像のデーターは、展示エリア600の外で削除される構成とすることができる。また、HMD認証キーとしてHMD100の記憶部120に記憶されるデーターや、課金履歴、支払履歴(例えば電子サイン、網膜認証、脈波認証)などのデーターも、展示エリア600の外においては削除される構成であってもよい。
この適用例のように、HMD100は、HMD100を美術館や劇場などの特定場所で借りるビジネスモデルに対応できる。そして、上述したように、特定場所に入るとカメラアプリ511は使用不可となり、外景撮影用カメラ61によるマーカー(ゲート識別名称GNやバーコードBC)の認証が有効となる。これにより、個人を撮像できなくなりプライバシーの問題をクリアーし、展示品の著作権保護を可能とすることができる。
B−2.適用例2
適用例2として、HMD100を、観光地における観光案内に利用する場合に、本発明を適用する例が挙げられる。
例えば、HMD100を装着する使用者が、観光地等を歩いている状態で、案内アプリ513により、観光スポットに関する情報等を、文字メッセージの表示や画像表示により、表示する例を想定する。表示方法として、AR技術を用いてもよい。表示される情報は、建物の歴史案内、時代絵巻、当時の再現映像表示等)であってもよい。これらの情報は、コンテンツデーター120eに含めてもよい。使用可能範囲として設定された観光地の外にHMD100が位置する場合に、これらの情報またはコンテンツデーター120eを削除し、或いはアクセスを制限することができる。また、これらの情報を含むコンテンツデーター120eを、観光案内の開始時にHMD100に外部からダウンロードし、HMD100が使用可能範囲の外に出た場合に、コンテンツデーター120eを削除してもよい。また、案内アプリ513の実行を制限する構成であってもよい。
B−3.適用例3
適用例3として、HMD100を、スタジアム、映画館、劇場等における鑑賞の支援に用いる例が挙げられる。例えば、HMD100を装着した使用者が、スタジアムの上階席にいる場合、鑑賞支援アプリ514が、HMD100の外景撮影用カメラ61によってズーム撮影した撮影画像を表示する構成としてもよい。この例では、選手の画像、演技者の画像が拡大されて見えるように、ライブ感のある表示をすることができる。また、使用者が、スタジアムのフィールドや劇場の舞台に近い席にいる場合、鑑賞支援アプリ514が、外部のカメラで撮影された撮影画像を無線通信部132により取得して、拡大表示してもよい。
図11及び図12は、適用例3の使用状態を示す図であり、図11は、適用例3におけるHMD100の使用場所に関する具体例を示す図である。図12は、適用例3におけるHMD100の具体的表示態様を示す図である。
図11は、使用者が、多数階層(図11では4層)の観客席SEを有するスタジアムSTでHMD100を装着して使用する例である。この例では、使用者が4階や3階などの上層階にいる場合、フィールドFまでの距離が遠く、フィールドFにいるプレイヤーや、ゲームの細部を視認することは容易ではない。
図12において、符号Aは図11の使用状態においてHMD100を透過して視認される外景の例を示し、符号BはHMD100による表示の一例を示す。
符号Aで示すように、使用者には、HMD100を透過して、フィールドF上のプレイヤーFP、及び、競技に使用されるボールBAが視認される。ここで、HMD100は、符号Bで示すように、鑑賞支援アプリ514の機能によって、ボールBAの近傍を拡大した拡大画像IVを、表示領域に表示する。また、鑑賞支援アプリ514は、使用者が下方を見下ろしてフィールドFを視認していることを、使用者の視線方向やHMD100の姿勢に基づき判定し、視線を遮らないように、表示領域の上部に拡大画像IVを配置する。これにより、使用者は、視野VRにおいて、拡大画像IVに邪魔されずに、プレイヤーFPを見ることができ、拡大画像IVによって、競技に使用されるボールの近傍を拡大して見ることができる。また、拡大画像IVは、外景撮影用カメラ61により撮像された撮像画像から生成される画像であってもよい。或いは、上述したように、鑑賞支援アプリ514が、外部のカメラで撮影された撮影画像を無線通信部132により取得した画像であってもよい。
適用例3では、HMD100の位置が、使用可能範囲として設定されたスタジアム、映画館、劇場等の外である場合に、外景撮影用カメラ61の撮影画像データーや、HMD100がダウンロードした撮影画像を消去する構成とすることができる。また、鑑賞支援アプリ514の実行を禁止する構成とすることができる。
B−4.適用例4
適用例4として、HMD100を、会社、学校、図書館、アミューズメントパーク等における情報提供に用いる例が挙げられる。例えば、会社の従業員がHMD100を装着する使用者である例を想定する。例えば、会社のようなセキュリティーエリアを使用可能範囲とする場合、使用者が所持しているIDカード、ICタグ等を用いて入り口の認証装置で認証された場合に、入場可能になるシステムを想定する。この構成において、認証成功後に、HMD100に対して認証情報が送付され、業務に必要なアプリケーションを含む業務アプリ512が使用可能となり、社内の通信ネットワークにHMD100を接続可能となる。学校、図書館、アミューズメントパーク等の入場処理においても同様に考えることができる。適用例4では、HMD100の位置が、使用可能範囲として設定された会社、学校、図書館、アミューズメントパーク等である場合に、外景撮影用カメラ61の撮影画像データーや、HMD100がダウンロードした撮影画像を消去する構成とすることができる。また、業務アプリ512の実行を禁止する構成とすることができる。
B−5.適用例5
適用例5として、HMD100を、映画館・劇場等における鑑賞支援に用いる例が挙げられる。例えば、外国語の映画や劇の鑑賞中に、翻訳された字幕の表示、字幕の翻訳結果の表示、自国語への吹き替え音声の出力、歌詞の表示、歌詞の説明の表示、ストーリーに関する説明の表示等を、鑑賞支援アプリ514により実行する例が挙げられる。また、使用可能範囲として設定された映画館・劇場等に入場する際に認証を行い、認証後に、鑑賞支援アプリ514の起動及び/または鑑賞支援アプリ514で使用するデーターを含むコンテンツデーター120eへのアクセスを可能とする構成であってもよい。
適用例5では、HMD100の位置が、使用可能範囲として設定された映画館・劇場等でない場合に、鑑賞支援アプリ514の起動及び/または鑑賞支援アプリ514で使用するデーターを含むコンテンツデーター120eへのアクセスを禁止することができる。
B−6.適用例6
適用例6として、HMD100を、生産ライン等の事業所(作業場所)における作業支援に用いる例が挙げられる。HMD100は、業務アプリ512の機能により、作業の詳細手順を表示する。例えば、自転車のメンテナンス作業を行う場合に、部品を外す作業、洗浄・清掃作業、傷の検査作業、部品取り付け作業等のノウハウを含む案内を、画像やテキストの表示により実行する。これらの情報は、コンテンツデーター120eにおいて、例えば作業手順書として含めることができる。
図13は、適用例6におけるHMD100の表示態様の例を示す図である。図13において符号AはHMD100が作業リストを表示した例を示し、符号Bは作業手順を案内する表示を行う例を示す。
図13の例では、符号Aに示すように、業務アプリ512の機能によって、コンテンツデーター120eに含まれる作業手順書で規定される作業の一覧を、作業リストSRとして、表示領域V1に表示できる。作業リストSRは、HMD100を透過して視認される作業対象物OBに重ねて表示され、作業対象物OBに対して行う作業を案内できる。また、作業リストSRにはチェックボックスCHが表示され、既に終了した作業にはチェックボックスCHにチェックマークが表示される。このため、使用者は、各項目の作業の終了状態を容易に知ることができ、作業の進捗状況を知ることが可能となる。
符号Bに示す表示状態では、業務アプリ512の機能により、背景の作業対象物OBに重ねて作業内容の説明Dが表示され、使用者は作業対象物OBに対して行う作業を知ることができる。さらに、符号Bの例では、作業対象物OBにおける作業箇所を示す作業箇所表示Mが、作業対象物OBに重ねてAR(Augmented Reality:拡張現実)表示される。このため、使用者は、作業対象物OBにおける作業箇所を合わせて知ることができる。
適用例6では、HMD100の位置が、使用可能範囲として設定された作業場所でない場合に、作業手順書を含むコンテンツデーター120eがロックされる。このため、作業手順書を見ることができなくなる。また、上述のように、HMD100の電源をオフにして作業場所から移動し、他の場所でHMD100の電源をオンにしても作業手順書を見ることができない。従って、ノウハウ等を含む作業手順書の不適切な使用を防止できる。
適用例6において、作業手順を表示する処理は、業務アプリ512等の専用のアプリケーションに限らず、例えば、一般的な文書ファイルを表示する表示用アプリケーションの機能によって実行されてもよい。
さらに、適用例6において、使用者が装着するHMD100から、他のHMD100に作業手順を引き継ぐ使用態様を実現してもよい。この機能は、例えば業務アプリ512の機能として実現できる。具体的には、2つのHMD100の間で、作業の実行履歴や作業手順に関するデーターを送受信する。これにより、一人の使用者から他の使用者へ、実行途中の作業に関する情報を引き継いで、他の使用者が、業務アプリ512による作業支援を受けながら作業を継続できる。この構成において、一方のHMD100が、使用可能範囲として設定された作業場所でない場所に移動した場合に、引き継ぎの際に送受信されたデーターを、一方または両方のHMD100から削除してもよい。また、作業場所でない場所に移動したHMD100が、作業場所において複数のHMD100の通信を可能とするネットワークに接続できなくなるように、機能を制限してもよい。
B−7.適用例7
適用例7として、HMD100を、病院において患者である使用者が装着し、使用者に対して病院内での診察案内、待ち時間表示、検査装置、診察室への案内等に利用する例が挙げられる。この例では、HMD100が、案内アプリ513の機能により、外景撮影用カメラ61の撮影画像を利用したルート解析、i−Beacon、光ビーコン、近距離無線通信等による位置検出を行い、検出した位置に対応する経路案内を行うことが想定される。この動作は、例えば、図9に示した動作と同様である。具体的には、診察受付から、診察順に従って、検査場所、診察場所等を案内できる。また、HMD100は、例えば、診察券、カルテ等の情報により連動し、移動情報を取得しても良い。この場合、受付番号と診察受付を連動させて、自動的に診察課に移動できるナビ機能を実現してもよい。
適用例7では、使用可能範囲として設定された病院内の場所では、外景撮影用カメラ61による撮影を、撮影画像に基づくマーカーの認識以外の用途では禁止してもよい。また、HMD100が、使用可能範囲ではない場所にある場合に、案内アプリ513の機能を停止することができる。
B−8.適用例8
適用例8では、HMD100を装着した使用者が自動車や自動二輪車などの車両に乗車する例が挙げられる。この例では、車両の運転場所を、機能の制限がなされる場所として設定する。つまり、車両の運転場所(運転操作を行う場所、運転席)が、使用可能範囲の外として設定される。この場合、運転場所にあるか否かを、HMD100は、外景撮影用カメラ61の撮影画像等により認識する。また、HMD100は、撮影画像等に基づき、HMD100の位置が運転場所であって運転中である場合に、機能を制限してもよい。この場合、機能の制限に伴い、動画視聴、ブラウジング等の実行を制限する。また、HMD100における情報の表示に関し、表示位置や表示サイズを、信号機、車、人物が見えなくなるような状態を避け、表示画像の透過率、大きさの制御等を行ってもよい。また、運転される車両が、特定地域(例えば公園、限られた市街地)などに入った場合は自動運転に切り替わり危険回避のブレーキ以外は自動運転に切り替わる等の制御を行っても良い。
B−9.その他の適用例
その他の適用例として、使用可能位置または使用可能範囲として、トイレ、電車の優先席、パブリックスペース、山、海上、外国、セキュリティー制約のある職場、学校、飛行機内等を設定する例が挙げられる。この場合、使用可能位置または使用可能範囲に対応する業務アプリ512、案内アプリ513或いは鑑賞支援アプリ514を実行して、HMD100の使用者に利便を提供する構成が考えられる。この場合に、HMD100は、HMD100の場所に対応して機能の実行を制限することで、不適切な機能の使用を防止できる。
また、HMD100の適用範囲、位置、及び機能は上述した各適用例に限定されない。
なお、この発明は上記実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
例えば、上記実施形態において、使用者が表示部を透過して外景を視認する構成は、右導光板261及び左導光板281が外光を透過する構成に限定されない。例えば外景を視認できない状態で画像を表示する表示装置にも適用可能である。具体的には、外景撮影用カメラ61の撮影画像、この撮影画像に基づき生成される画像やCG、予め記憶された映像データーや外部から入力される映像データーに基づく映像等を表示する表示装置に、本発明を適用できる。この種の表示装置としては、外景を視認できない、いわゆるクローズ型の表示装置を含むことができる。また、上記実施形態で説明したように実空間に重ねて画像を表示するAR表示や、撮影した実空間の画像と仮想画像とを組み合わせるMR(Mixed Reality)表示を用いてもよい。或いは、仮想画像を表示するVR(Virtual Reality)表示といった処理を行わない表示装置にも適用できる。例えば、外部から入力される映像データーまたはアナログ映像信号を表示する表示装置も、本発明の適用対象として勿論含まれる。
また、例えば、画像表示部20に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者の左眼に対応して画像を表示する表示部と、使用者の右眼に対応して画像を表示する表示部とを備えていればよい。また、本発明の表示装置は、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。この場合、使用者の身体に対する位置を位置決めする部分、及び、当該部分に対し位置決めされる部分を装着部とすることができる。
さらに、制御部10と画像表示部20とが一体に構成され、使用者の頭部に装着される構成とすることも可能である。また、制御部10として、ノート型コンピューター、タブレット型コンピューター、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。
また、上記実施形態では、画像表示部20と制御部10とが分離され、接続部40を介して接続された構成を例に挙げて説明したが、制御部10と画像表示部20とが無線通信回線によって接続される構成であってもよい。
また、画像光を使用者の眼に導く光学系として、右導光板261及び左導光板262の一部に、ハーフミラーにより虚像が形成される構成としてもよい。また、右導光板261及び左導光板262の全面または大部分を占める面積を有する表示領域に、画像を表示する構成としてもよい。この場合、画像の表示位置を変化させる動作において、画像を縮小する処理を含めてもよい。また、回折格子、プリズム、ホログラフィー表示部を用いてもよい。
また、ブロック図に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、CPU140が実行するプログラムは、記憶部120に記憶されてもよいし、外部の装置に記憶されたプログラムを取得して実行する構成としてもよい。また、制御部10に形成された構成が重複して画像表示部20に形成されていてもよい。例えば、CPU140と同様のプロセッサーが画像表示部20に配置されてもよいし、制御部10が備えるCPU140と画像表示部20のプロセッサーとが別々に分けられた機能を実行する構成としてもよい。
10…制御部、20…画像表示部(表示部)、26…右光学像表示部、28…左光学像表示部、61…外景撮影用カメラ(外景撮影部)、100…HMD(頭部装着型表示装置)、120…記憶部、120a…OS、120b…アプリケーションプログラム、120c…設定データー、120d…ソーシャルコントロールデーター、120e…コンテンツデーター、120f…撮影画像データー、120g…ダウンロード済みデーター、132…無線通信部、134…GPSモジュール、136…USBインターフェイス、140…CPU(処理部)、150…オペレーティングシステム、160…画像処理部、164…移動検出部(検出部)、166…処理制御部(制御部)、170…音声処理部、172…通信処理部、500…プラットフォーム、510…アプリケーション層、511…カメラアプリ、512…業務アプリ、513…案内アプリ、514…鑑賞支援アプリ、515…認証用アプリ、516…カメラアプリ、520…フレームワーク層、521…画像処理部フレーム、523…音声処理部フレーム、524…通信処理部フレーム、525…ソーシャルコントロール部フレーム、530…ライブラリー層、533…ディスプレイライブラリー、534…オーディオライブラリー、535…センサーライブラリー、536…カメラライブラリー、537…外部接続ライブラリー、538…GPSライブラリー、539…HTMLライブラリー、540…カーネル層、541…LCDドライバー、543…センサードライバー、544…画像センサードライバー、545…USBインターフェースドライバー、546…GPSドライバー、550…ハードウェア層、551…LCDデバイス、553…センサーデバイス、554…画像センサーデバイス、555…USBインターフェイス、556…GPSデバイス、VR…視野。

Claims (8)

  1. 使用者の頭部に装着される頭部装着型表示装置であって、
    画像を表示し、前記画像とともに前記使用者に外景を視認させ透過型の表示部と、
    データーを処理するデーター処理を含む処理を実行する処理部と、
    前記処理部により処理される前記データーを記憶する記憶部と、
    前記頭部装着型表示装置の位置が設定された位置でないことを検出する検出部と、
    前記検出部によって前記頭部装着型表示装置の位置が設定された位置でないことを検出した場合に、前記記憶部に記憶された前記データーのうち、前記設定された場所に対応付けられた前記データーの処理を制限する制御部と、
    を備え
    前記制御部は、
    前記データーの処理を制限する場合に、前記表示部の表示領域の全面に表示を行わせて前記表示部を透過する外景の視認性を低下させる外景視認阻害表示を行い、
    さらに、前記外景視認阻害表示と合わせて、前記頭部装着型表示装置の位置が設定された位置でないことを通知する表示を前記表示部に行わせ頭部装着型表示装置。
  2. 外景を撮影する外景撮影部を備え、
    前記検出部は、前記外景撮影部の撮影画像、及び、前記設定された場所に対応付けられたセキュリティー情報の少なくともいずれかに基づき、前記頭部装着型表示装置の位置が設定された位置でないことを検出する、請求項1記載の頭部装着型表示装置。
  3. 前記検出部は、前記外景撮影部の撮影画像、及び、前記設定された場所に対応付けられたセキュリティー情報に基づき、前記頭部装着型表示装置の位置が設定された位置でないことを検出する、請求項2記載の頭部装着型表示装置。
  4. 前記記憶部はアプリケーションプログラムを含む前記データーを記憶し、
    前記処理部は前記アプリケーションプログラムを実行することにより、前記頭部装着型表示装置の機能を実行し、
    前記制御部は、前記設定された場所に対応付けられた前記アプリケーションプログラムの実行を制限する、請求項1から3のいずれか1項に記載の頭部装着型表示装置。
  5. 前記制御部は、前記頭部装着型表示装置が停止または電源オフ状態から起動したときに、前記検出部による検出を実行させ、
    前記検出部によって前記頭部装着型表示装置の位置が設定された位置でないことを検出した場合、前記記憶部に記憶され前記設定された場所に対応付けられた前記データーに対するアクセスを制限する、請求項1から4のいずれか1項に記載の頭部装着型表示装置。
  6. 前記制御部は、前記頭部装着型表示装置が停止または電源オフ状態から起動したときに、前記検出部によって前記頭部装着型表示装置の位置が設定された位置でないことを検出した場合、前記記憶部に記憶され前記設定された場所に対応付けられた前記データーを消去する、請求項5記載の頭部装着型表示装置。
  7. 前記検出部は、前記頭部装着型表示装置の使用状態が設定された使用状態でないことを検出し、
    前記制御部は、前記検出部によって前記頭部装着型表示装置の使用状態が設定された使用状態でないことを検出した場合に、前記記憶部に記憶された前記データーのうち、前記設定された場所に対応付けられた前記データーの処理を制限する、請求項1から5のいずれか1項に記載の頭部装着型表示装置。
  8. 画像を表示し、前記画像とともに使用者に外景を視認させ透過型の表示部を備え、データーを処理するデーター処理を含む処理を実行する処理部と、前記処理部により処理される前記データーを記憶する記憶部と、を有する頭部装着型表示装置の制御方法であって
    前記頭部装着型表示装置の位置が設定された位置でないことを検出した場合に、前記記憶部に記憶された前記データーのうち、前記設定された場所に対応付けられた前記データーの処理を制限し、
    前記データーの処理を制限する場合に、前記表示部の表示領域の全面に表示を行って前記表示部を透過する外景の視認性を低下させる外景視認阻害表示を行い、
    前記外景視認阻害表示と合わせて、前記頭部装着型表示装置の位置が設定された位置でないことを通知する表示を前記表示部により行う、頭部装着型表示装置の制御方法。
JP2017115809A 2017-06-13 2017-06-13 頭部装着型表示装置、及び、頭部装着型表示装置の制御方法 Active JP6972682B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017115809A JP6972682B2 (ja) 2017-06-13 2017-06-13 頭部装着型表示装置、及び、頭部装着型表示装置の制御方法
US15/993,960 US20180356882A1 (en) 2017-06-13 2018-05-31 Head mounted display and control method for head mounted display
CN201810588229.XA CN109085697B (zh) 2017-06-13 2018-06-08 头部佩戴型显示装置和头部佩戴型显示装置的控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017115809A JP6972682B2 (ja) 2017-06-13 2017-06-13 頭部装着型表示装置、及び、頭部装着型表示装置の制御方法

Publications (2)

Publication Number Publication Date
JP2019004242A JP2019004242A (ja) 2019-01-10
JP6972682B2 true JP6972682B2 (ja) 2021-11-24

Family

ID=64563497

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017115809A Active JP6972682B2 (ja) 2017-06-13 2017-06-13 頭部装着型表示装置、及び、頭部装着型表示装置の制御方法

Country Status (3)

Country Link
US (1) US20180356882A1 (ja)
JP (1) JP6972682B2 (ja)
CN (1) CN109085697B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10962780B2 (en) * 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
EP3542705B1 (en) * 2016-12-28 2020-07-29 JVC Kenwood Corporation Visual function examination device, visual function examination method, and computer program
JP2020095215A (ja) * 2018-12-14 2020-06-18 株式会社ジャパンディスプレイ 表示装置及びヘルメット
CN113272766A (zh) * 2019-01-24 2021-08-17 麦克赛尔株式会社 显示终端、应用程序控制系统和应用程序控制方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4705355B2 (ja) * 2004-10-04 2011-06-22 株式会社日立製作所 無線タグのデータ表示システム、携帯型コンピュータおよび無線タグのデータ表示方法
WO2010029625A1 (ja) * 2008-09-11 2010-03-18 コニカミノルタホールディングス株式会社 コンテンツ表示装置及びコンテンツ表示システム
US8117087B2 (en) * 2009-09-24 2012-02-14 Avaya Inc. Customer loyalty, product demonstration, and store/contact center/internet coupling system and method
US8618932B2 (en) * 2011-03-18 2013-12-31 Microsoft Corporation Device location detection
US9330499B2 (en) * 2011-05-20 2016-05-03 Microsoft Technology Licensing, Llc Event augmentation with real-time information
JP6025425B2 (ja) * 2012-07-06 2016-11-16 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、コンピュータプログラム。
US20150081532A1 (en) * 2013-09-18 2015-03-19 Yolanda Lewis Venue wi-fi direct system
JP6492451B2 (ja) * 2014-08-12 2019-04-03 セイコーエプソン株式会社 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
KR20170064535A (ko) * 2014-10-03 2017-06-09 세이코 엡슨 가부시키가이샤 두부 장착형 표시 장치 및 그의 제조 방법, 그리고 컴퓨터 프로그램을 갖는 컴퓨터 판독 가능 기록 매체
JP6634697B2 (ja) * 2015-05-13 2020-01-22 セイコーエプソン株式会社 頭部装着型表示装置
WO2016187351A1 (en) * 2015-05-18 2016-11-24 Daqri, Llc Context-based augmented reality content delivery

Also Published As

Publication number Publication date
US20180356882A1 (en) 2018-12-13
JP2019004242A (ja) 2019-01-10
CN109085697B (zh) 2022-01-07
CN109085697A (zh) 2018-12-25

Similar Documents

Publication Publication Date Title
US9767617B2 (en) Head mounted display device, control method thereof, and computer program
US20170213377A1 (en) Head mounted display device, control method thereof, and computer program
US10705605B2 (en) Image display system, and control apparatus for head-mounted display and operation method therefor
JP6972682B2 (ja) 頭部装着型表示装置、及び、頭部装着型表示装置の制御方法
US10132633B2 (en) User controlled real object disappearance in a mixed reality display
US8963956B2 (en) Location based skins for mixed reality displays
US9767524B2 (en) Interaction with virtual objects causing change of legal status
US9645394B2 (en) Configured virtual environments
RU2670784C2 (ru) Ориентация и визуализация виртуального объекта
CN105264548B (zh) 用于生成增强现实体验的难以察觉的标签
JP7047394B2 (ja) 頭部装着型表示装置、表示システム、及び、頭部装着型表示装置の制御方法
CN104062759A (zh) 信息显示系统、信息显示方法、以及头戴式显示装置
JP6634697B2 (ja) 頭部装着型表示装置
WO2019184359A1 (zh) 服务器、增强现实装置、系统、共享方法及存储介质
CN106537404A (zh) 根据头戴式装置中的应用认证状态来控制硬件资源的性能或精度
WO2019189768A1 (ja) 通信方法、通信装置、送信機、およびプログラム
JP6500382B2 (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
JP2019020738A (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
JP2020167521A (ja) 通信方法、通信装置、送信機、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200514

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210309

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210430

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211005

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211018

R150 Certificate of patent or registration of utility model

Ref document number: 6972682

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150