JP7271909B2 - 表示装置、及び、表示装置の制御方法 - Google Patents
表示装置、及び、表示装置の制御方法 Download PDFInfo
- Publication number
- JP7271909B2 JP7271909B2 JP2018211050A JP2018211050A JP7271909B2 JP 7271909 B2 JP7271909 B2 JP 7271909B2 JP 2018211050 A JP2018211050 A JP 2018211050A JP 2018211050 A JP2018211050 A JP 2018211050A JP 7271909 B2 JP7271909 B2 JP 7271909B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- user
- display
- detection
- sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 32
- 238000001514 detection method Methods 0.000 claims description 208
- 238000012545 processing Methods 0.000 claims description 89
- 230000033001 locomotion Effects 0.000 claims description 33
- 230000008569 process Effects 0.000 claims description 24
- 210000003205 muscle Anatomy 0.000 claims description 11
- 238000004891 communication Methods 0.000 description 52
- 210000001508 eye Anatomy 0.000 description 52
- 238000011156 evaluation Methods 0.000 description 39
- 238000003384 imaging method Methods 0.000 description 31
- 230000006870 function Effects 0.000 description 29
- 210000003128 head Anatomy 0.000 description 13
- 230000003183 myoelectrical effect Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 210000001747 pupil Anatomy 0.000 description 11
- 239000000758 substrate Substances 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 7
- 230000004459 microsaccades Effects 0.000 description 6
- 230000029058 respiratory gaseous exchange Effects 0.000 description 6
- 238000005259 measurement Methods 0.000 description 5
- 230000005236 sound signal Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 210000004247 hand Anatomy 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000036772 blood pressure Effects 0.000 description 3
- 210000000744 eyelid Anatomy 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 235000012054 meals Nutrition 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 206010027646 Miosis Diseases 0.000 description 2
- 208000006550 Mydriasis Diseases 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000036760 body temperature Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 210000002615 epidermis Anatomy 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 2
- 238000011900 installation process Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000003547 miosis Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 210000003491 skin Anatomy 0.000 description 2
- 206010005746 Blood pressure fluctuation Diseases 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 235000021152 breakfast Nutrition 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 210000001217 buttock Anatomy 0.000 description 1
- 210000000038 chest Anatomy 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 235000012041 food component Nutrition 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 108090000237 interleukin-24 Proteins 0.000 description 1
- 210000002414 leg Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 230000004270 retinal projection Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
Description
図1は、本発明を適用した実施形態に係る表示システム1の概略構成図である。
表示システム1は、HMD(Head Mounted Display)100と、サーバー400とを備え、HMD100とサーバー400とは通信ネットワークNにより通信可能に接続される。HMD100は、表示装置の一例に対応する。
この構成は一例であり、たとえば、HMD100が、光学的に不透過であり、外景を撮像した撮像画像を表示することで、使用者Uに間接的に外景を視認させる、いわゆるビデオシースルー型の表示装置であってもよい。
図2は、HMD100の外観構成を示す図である。
HMD100は、使用者Uが頭部に装着する画像表示部20、及び、画像表示部20を制御するコントローラー10を備える。画像表示部20は、使用者Uの頭部に装着された状態で使用者に虚像を視認させる。コントローラー10は、使用者UがHMD100を操作するための制御装置として機能する。画像表示部20は、表示部の一例に対応する。
右導光板26及び左導光板28の表面に、調光機能を有するシェード、または、電気的に光の透過率を調整可能な電子シェードを設けてもよい。
外側カメラ61は、画像表示部20の前部フレーム27に配設される。外側カメラ61の撮像範囲および撮像方向については後述する。外側カメラ61は、右導光板26及び左導光板28を透過する外光を遮らない位置に設けられる。図2の例では、外側カメラ61が前部フレーム27の端部ER側に配置されているが、端部EL側に配置されてもよく、右導光板26と左導光板28との連結部に配置されてもよい。
接続ケーブル40は、オーディオコネクター46を備え、ステレオヘッドホンを構成する右イヤホン32及び左イヤホン34と、マイク63とを有するヘッドセット30が、オーディオコネクター46に接続される。
電源スイッチ18は、HMD100の電源のオン/オフを切り替えるスイッチである。また、本体11は、コントローラー10を、外部の装置に接続するインターフェイスとして、USB(Universal Serial Bus)コネクター19を備える。
図3に、外側カメラ61の画角、すなわち撮像範囲をCで示す。外側カメラ61は、使用者Uの両眼が向く方向、すなわち使用者Uにとって前方を撮像する。なお、外側カメラ61の実際の画角は一般的なデジタルカメラと同様に上下方向にも拡がる。
なお、以下の説明では、画角Cに対応する外側カメラ61の撮像範囲を、単に撮像範囲とする。
図4は、HMD100を構成する各部の構成を示すブロック図である。
コントローラー10は、プログラムを実行してHMD100を制御するメインプロセッサー125を備える。メインプロセッサー125には、メモリー118及び不揮発性記憶部121が接続される。メインプロセッサー125には、入力装置として操作部170が接続される。メインプロセッサー125には、センサー類として、6軸センサー111、磁気センサー113、及び、GPS受信部115が接続される。
GPS(Global Positioning System)受信部115は、図示しないGPSアンテナを備え、GPS衛星から送信される無線信号を受信する受信機である。GPS受信部115は、GPS信号に基づき、コントローラー10の現在位置の座標を検出または算出する。
センサーハブ193は、画像表示部20が備える各種センサーの検出値を取得してメインプロセッサー125に出力する。FPGA194は、メインプロセッサー125と画像表示部20の各部との間で送受信するデータの処理、及び、インターフェイス197を介した伝送を実行する。
右表示ユニット22は、画像光を発するOLED(Organic Light Emitting Diode)ユニット221を備える。OLEDユニット221が発する画像光は、レンズ群等を含む光学系により、右導光板26に導かれる。左表示ユニット24は、画像光を発するOLEDユニット241を備える。OLEDユニット241が発する画像光は、レンズ群等を含む光学系により、左導光板28に導かれる。
磁気センサー237は、例えば、3軸の地磁気センサーである。
記憶部140は、オペレーティングシステム141、アプリケーションプログラム142、設定データ143、コンテンツデータ144、予定データ145、音声辞書データ146、及び、データセット148を記憶する。図においてはオペレーティングシステムをOSと略記する。
制御部150は、記憶部140が記憶するプログラムを実行することにより、記憶部140が記憶するデータを処理して、HMD100を制御する。
撮像制御部155は、内側カメラ68を制御して撮像を実行させ、撮像画像データを生成し、記憶部140に一時的に記憶する。内側カメラ68が撮像画像データを生成する回路を含むカメラユニットとして構成される場合、撮像制御部155は撮像画像データを内側カメラ68から取得して、記憶部140に一時的に記憶する。
ここで、検出制御部157は、複数のセンサーの検出結果を複合的に処理してもよい。例えば、検出制御部157は、筋電センサー74の検出結果と、6軸センサー111及び/または6軸センサー235の検出結果とに基づき、使用者Uの動きの評価値を求めてもよい。検出制御部157は、6軸センサー111、235の検出結果から使用者Uの動きを特定し、筋電センサー74の検出結果から、使用者Uの筋肉の動作を特定する。検出制御部157は、使用者Uの動きと、使用者Uの筋肉の動作とを比較し、筋力の加え方を判定する。例えば、使用者Uが発揮した筋力が、使用者Uの動きに対して過度に大きい筋力か、適切な筋力か、適切な水準に達しない筋力かを判定する。
また、入力検出部158は、マイク63が集音した音声から検出した心拍数、呼吸数、呼吸の深さ、呼吸の荒さ等を検出し、検出結果を入力としてもよい。また、入力検出部158は、これらの検出結果に基づき使用者Uの身体状態を判定して、入力としてもよい。例えば、入力検出部158は、これらの検出結果や、使用者Uの身体状態の判定結果が、使用者Uの興奮度が高い状態を示している場合に、HMD100が実行している処理や動作に対する拒否の入力を検出してもよい。
入力検出部158は、検出制御部157が内側カメラ68を用いて特定した使用者Uの右眼RE及び左眼LEの視線方向、或いはその変化を入力として検出してもよい。人間の視線が固視微動またはマイクロサッカードと呼ばれる微細な動きを含むことが知られている。マイクロサッカードは人が注意を向けている方向に高頻度で発生する傾向があることも知られている。これを利用して、使用者Uの視野を複数の領域に分割し、各領域におけるマイクロサッカードの出現頻度を求めることにより、使用者Uの意識が向いている方向を特定できる。検出制御部157は、内側カメラ68の撮像画像をもとに、使用者Uの右眼REおよび左眼LEについて、方向別のマイクロサッカードの出現頻度を求め、使用者Uの注視方向を特定する。入力検出部158は、検出制御部157が求めた注視方向を、使用者Uの入力として取得してもよい。
入力検出部158が外側カメラ61の撮像画像から使用者Uのアクション、ジェスチャーによる入力を検出し、環境特定部159が外側カメラ61の撮像画像から環境を特定する処理は、1つの処理部により同時に、平行して、或いは異なるタイミングで実行してもよい。本実施形態で説明する例では、入力検出部158は、外側カメラ61の撮像画像から使用者Uの画像を抽出し、使用者Uによる入力を検出する。また、入力検出部158は、外側カメラ61に撮像画像における背景あるいは使用者Uの周囲の画像の変化に基づき、外側カメラ61が設けられた画像表示部20の動きを算出し、使用者Uの入力を検出する。これに対し、環境特定部159は、外側カメラ61の撮像画像から使用者Uの周囲の画像を抽出し、解析し、環境を特定する。
HMD100において、アプリケーション実行部160が実行するアプリケーションプログラム142は、処理部が実行する処理に相当する。この場合、アプリケーションプログラム142の種類が、処理の種類に相当する。処理の種類とは、アプリケーションプログラム142を特定する情報であってもよいし、アプリケーションプログラム142を分類した場合の種類を指す情報であってもよい。また、アプリケーションプログラム142が複数の機能を有する場合、処理の種類は、アプリケーションプログラム142の機能を指すと解釈してもよい。
また、ライフログに関するアプリケーションプログラム142は、発汗センサー72、発汗センサー72の検出値に基づき、使用者Uのストレスや疲労度の判定を実行し、記録し、判定結果や、判定結果を集計した結果を画像表示部20に表示する。
学習部162は、HMD100の動作中における各種の検出値に基づき、機械学習を行って推定モデル164を生成し、推定モデル164を用いた推定を実行する。
本実施形態の推定モデル164は、情報表示画面301を表示した場合に、使用者Uが指示操作部302を操作するか、指示操作部303を操作するかを推定するモデルであり、機械学習により生成される、いわゆる学習モデルである。
また、例えば、状態変数は、アプリケーション実行部160が実行しようとするアプリケーションプログラム142の種類を含んでもよい。
例えば、評価部167は、推定部165の推定結果と実際の使用者Uの入力とが一致した場合に評価値「True」を出力し、一致しなかった場合に評価値「False」を出力する。データセット148の状態変数には、評価値「True」または「False」がラベルとして対応づけられる。更新部169は、例えば、データセット148から、評価値「True」がラベルされた状態変数を抽出して学習することにより、評価値「True」を出力する確率が高くなるように、推定モデル164を更新する。
この場合、評価部167は、評価値「True」と「False」を出力する代わりに、評価値に対応する報酬を出力する。報酬は、評価値が「True」の場合は高い報酬となり、評価値が「False」の場合は低い報酬となるよう設定される。更新部169は、評価部167が報酬を決定する毎に、推定モデル164を、報酬を反映するように更新する。この場合、環境特定部159は、推定部165が推定を行う毎に、報酬に基づき推定モデル164を更新する。
図7は、HMD100の動作を示すフローチャートである。
アプリケーション実行部160は、検出制御部157が取得した各センサーの検出値、検出制御部157が検出した検出値、及び、入力検出部158が検出した入力に関する情報を取得する(ステップST1)。アプリケーション実行部160は、計時部153が出力する時刻を取得する(ステップST2)。アプリケーション実行部160は、環境特定部159が特定した外部環境に関する特定結果を取得する(ステップST3)。
アプリケーションの実行条件が成立したと判定した場合(ステップST4;YES)、表示制御部152が、条件が成立したアプリケーションプログラム142に関する情報を含む情報表示画面301を表示する(ステップST5)。
評価部167は、ステップST7で推定部165が推定した推定結果と、ステップST10の判定結果とを比較して、推定結果を評価する(ステップST21)。
データセット生成部168は、推定部165が推定に用いた状態変数を取得する(ステップST22)。データセット生成部168は、取得した状態変数と、ステップST21の評価結果とを対応づけたデータセット148を生成する(ステップST23)。
更新部169は、ステップST23で生成されたデータセット148を用いて機械学習を実行し、推定モデル164を更新する(ステップST24)。
アプリケーション実行部160は、ステップST1と同様に、検出制御部157が取得した各センサーの検出値、検出制御部157が検出した検出値、及び、入力検出部158が検出した入力に関する情報を取得する(ステップST41)。アプリケーション実行部160は、ステップST2と同様に、計時部153が出力する時刻を取得する(ステップST42)。アプリケーション実行部160は、ステップST3と同様に、環境特定部159が特定した外部環境に関する特定結果を取得する(ステップST43)。
また、アプリケーションプログラム142の実行の可否を推定した後、使用者Uが入力を行って、推定結果を更新させることが可能であるため、使用者Uが望まない動作が継続されることを防止できる。
さらに、アプリケーションプログラム142の実行の可否を推定した結果に基づいて学習を継続することも可能であるため、より高精度な推定を行うことができる。
そして、使用者Uが入力を急がなければならない状態を解消したり、使用者Uによる操作を待つ状態を解消することも期待でき、HMD100の利便性を損なうことなく、より一層の利便性の向上が期待できる。
上記実施形態は本発明を適用した一態様に過ぎず、種々の態様に変更可能である。
例えば、画像表示部20に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者Uの左眼に対応して画像を表示する表示部と、使用者Uの右眼に対応して画像を表示する表示部とを備えていればよい。また、本発明の表示装置は、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。この場合、使用者Uの身体に対する位置を位置決めする部分、及び、当該部分に対し位置決めされる部分を装着部とすることができる。
Claims (6)
- 使用者の頭部に装着される表示部と、
前記表示部の動きを検出する動きセンサー、前記使用者の筋肉の動きを検出するセンサー、及び、前記使用者の視線を検出する目センサーの少なくともいずれかを含むセンサーにより検出をする検出部と、
前記使用者によるタッチ操作または前記使用者が身体を動かす操作による入力を受け付ける入力部と、
処理を実行する処理部と、
前記処理部が前記処理を実行する条件が成立した場合に、前記処理の実行を指示する第1指示部と前記処理の実行の拒否を指示する第2指示部とが並べて配置された画面を前記表示部に表示させる表示制御部と、を備え、
前記処理部は、前記画面が表示された状態で、前記第1指示部への操作を受け付けた場合に、前記処理を実行し、
前記検出部が検出した前記表示部の動き、前記使用者の筋肉の動き、及び前記使用者の視線の少なくともいずれかを含む検出結果と、前記第1指示部が操作されたか前記第2指示部が操作されたかと、に基づく学習データセットを生成するデータセット生成部を有し、前記検出部の前記検出結果に基づき、推定モデルにより前記第1指示部が操作されるか前記第2指示部が操作されるかを推定し、前記学習データセットに従って前記推定モデルを更新する学習部を備える表示装置。 - 前記学習部は、前記処理の種類及び前記検出部の前記検出結果に基づき、前記推定モデルにより前記処理の実行の可否を推定し、
前記データセット生成部は、前記検出部の前記検出結果と、前記処理の種類と、前記第1指示部が操作されるか前記第2指示部が操作されるかと、に基づき前記学習データセットを生成する、請求項1記載の表示装置。 - 時刻を計時する計時部を備え、
前記処理部は種類の異なる前記処理を実行可能であり、前記処理を実行する条件は、前記処理の種類に対応付けられた時刻である、請求項1または2記載の表示装置。 - 前記表示制御部は、前記表示部に前記画面を表示してから所定の表示時間が経過すると表示を停止させ、
前記表示時間は、前記学習部が前記推定モデルにより推定した結果に応じて決定される、請求項1から3のいずれか1項に記載の表示装置。 - 前記処理部は、前記画面が表示された状態で前記第1指示部及び前記第2指示部の操作を受け付けない場合に、前記推定モデルを用いた推定結果に従って、前記処理の実行の可否を決定する、請求項1から4のいずれか1項に記載の表示装置。
- 使用者の頭部に装着される表示部を備える表示装置の制御方法であって、
前記表示部の動きを検出する動きセンサー、前記使用者の筋肉の動きを検出するセンサー、及び、前記使用者の視線を検出する目センサーの少なくともいずれかを含むセンサーにより検出をする検出ステップと、
前記使用者によるタッチ操作または前記使用者が身体を動かす操作による入力を受け付けるステップと、
処理を実行する条件が成立した場合に、前記処理の実行を指示する第1指示部と前記処理の実行の拒否を指示する第2指示部とが並べて配置された画面を前記表示部に表示する表示ステップと、
前記画面が表示された状態で、前記第1指示部への操作を受け付けた場合に、前記処理を実行する実行ステップと、
前記検出ステップで検出した前記表示部の動き、前記使用者の筋肉の動き、及び前記使用者の視線の少なくともいずれかを含む検出結果に基づき、推定モデルにより前記第1指示部が操作されるか前記第2指示部が操作されるかを推定する推定ステップと、
前記検出結果と前記第1指示部が操作されたか前記第2指示部が操作されたかとに基づく学習データセットを生成するデータセット生成ステップと、
前記学習データセットに従って前記推定モデルを更新する学習ステップと、を含む表示装置の制御方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018211050A JP7271909B2 (ja) | 2018-11-09 | 2018-11-09 | 表示装置、及び、表示装置の制御方法 |
US16/677,827 US11216066B2 (en) | 2018-11-09 | 2019-11-08 | Display device, learning device, and control method of display device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018211050A JP7271909B2 (ja) | 2018-11-09 | 2018-11-09 | 表示装置、及び、表示装置の制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020077271A JP2020077271A (ja) | 2020-05-21 |
JP7271909B2 true JP7271909B2 (ja) | 2023-05-12 |
Family
ID=70551332
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018211050A Active JP7271909B2 (ja) | 2018-11-09 | 2018-11-09 | 表示装置、及び、表示装置の制御方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11216066B2 (ja) |
JP (1) | JP7271909B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220010899A (ko) * | 2020-07-20 | 2022-01-27 | 현대모비스 주식회사 | 차량용 보안해제 장치 및 방법 |
US20230236665A1 (en) * | 2020-07-30 | 2023-07-27 | Hewlett-Packard Development Company, L.P. | Head-mounted display sensor status |
CN112586824A (zh) * | 2020-12-28 | 2021-04-02 | 浙江大学 | 一种用于畜禽养殖场的巡检头盔及巡检方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011113437A (ja) | 2009-11-30 | 2011-06-09 | Brother Industries Ltd | 入力装置、入力方法及び入力プログラム |
JP2013538472A (ja) | 2010-06-10 | 2013-10-10 | クアルコム,インコーポレイテッド | ジェスチャーおよび/または位置に基づく情報のプリフェッチ |
WO2015068440A1 (ja) | 2013-11-08 | 2015-05-14 | ソニー株式会社 | 情報処理装置、制御方法およびプログラム |
WO2017002488A1 (ja) | 2015-06-30 | 2017-01-05 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP2017537370A (ja) | 2014-09-30 | 2017-12-14 | マイクロソフト テクノロジー ライセンシング,エルエルシー | ウェアラブルデバイスおよびモバイルデバイスを介した自然運動ベースの制御 |
JP2018142258A (ja) | 2017-02-28 | 2018-09-13 | オムロン株式会社 | 生産管理装置、方法およびプログラム |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7725419B2 (en) * | 2003-09-05 | 2010-05-25 | Samsung Electronics Co., Ltd | Proactive user interface including emotional agent |
JP2008217716A (ja) | 2007-03-07 | 2008-09-18 | Sharp Corp | 認証装置、画像形成装置、認証システム、認証プログラム、記録媒体および認証方法 |
JP5977922B2 (ja) * | 2011-02-24 | 2016-08-24 | セイコーエプソン株式会社 | 情報処理装置および情報処理装置の制御方法、透過型頭部装着型表示装置 |
US8958631B2 (en) * | 2011-12-02 | 2015-02-17 | Intel Corporation | System and method for automatically defining and identifying a gesture |
US9541986B2 (en) * | 2012-10-08 | 2017-01-10 | Google Inc. | Adaptive screen timeouts based on user preferences, interaction patterns and active applications |
KR101571096B1 (ko) * | 2013-11-11 | 2015-11-23 | 주식회사 시공미디어 | 사용자 적응형 인터페이스 제공 시스템 및 방법 |
US20160341961A1 (en) * | 2015-05-18 | 2016-11-24 | Daqri, Llc | Context-based augmented reality content delivery |
US10514766B2 (en) * | 2015-06-09 | 2019-12-24 | Dell Products L.P. | Systems and methods for determining emotions based on user gestures |
JP6629528B2 (ja) | 2015-06-16 | 2020-01-15 | 株式会社ファイン | 仮想現実表示システム、仮想現実表示方法及びコンピュータプログラム |
US10769551B2 (en) * | 2017-01-09 | 2020-09-08 | International Business Machines Corporation | Training data set determination |
-
2018
- 2018-11-09 JP JP2018211050A patent/JP7271909B2/ja active Active
-
2019
- 2019-11-08 US US16/677,827 patent/US11216066B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011113437A (ja) | 2009-11-30 | 2011-06-09 | Brother Industries Ltd | 入力装置、入力方法及び入力プログラム |
JP2013538472A (ja) | 2010-06-10 | 2013-10-10 | クアルコム,インコーポレイテッド | ジェスチャーおよび/または位置に基づく情報のプリフェッチ |
WO2015068440A1 (ja) | 2013-11-08 | 2015-05-14 | ソニー株式会社 | 情報処理装置、制御方法およびプログラム |
JP2017537370A (ja) | 2014-09-30 | 2017-12-14 | マイクロソフト テクノロジー ライセンシング,エルエルシー | ウェアラブルデバイスおよびモバイルデバイスを介した自然運動ベースの制御 |
WO2017002488A1 (ja) | 2015-06-30 | 2017-01-05 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP2018142258A (ja) | 2017-02-28 | 2018-09-13 | オムロン株式会社 | 生産管理装置、方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
US11216066B2 (en) | 2022-01-04 |
JP2020077271A (ja) | 2020-05-21 |
US20200150758A1 (en) | 2020-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11068050B2 (en) | Method for controlling display of virtual image based on eye area size, storage medium and electronic device therefor | |
US9213405B2 (en) | Comprehension and intent-based content for augmented reality displays | |
US9342610B2 (en) | Portals: registered objects as virtualized, personalized displays | |
KR102179142B1 (ko) | 착용식 식품 영양 피드백 시스템 | |
US9690099B2 (en) | Optimized focal area for augmented reality displays | |
US9105210B2 (en) | Multi-node poster location | |
CN108508629A (zh) | 具有眼睛驱动控制系统的智能接触镜片和方法 | |
JP7271909B2 (ja) | 表示装置、及び、表示装置の制御方法 | |
CN106471419A (zh) | 管理信息显示 | |
CN105009039A (zh) | 使用imu的直接全息图操纵 | |
JP2017507400A (ja) | 注視によるメディア選択及び編集のためのシステム並びに方法 | |
US20190317608A1 (en) | Transmissive head-mounted display apparatus, display control method, and computer program | |
CN110389447B (zh) | 透射型头部佩戴型显示装置、辅助系统、显示控制方法和介质 | |
CN110543233B (zh) | 信息处理设备和非暂时性计算机可读介质 | |
WO2016208261A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
CN109241900B (zh) | 穿戴式设备的控制方法、装置、存储介质及穿戴式设备 | |
JP2018055416A (ja) | 表示装置、頭部装着型表示装置、表示装置の制御方法、及び、プログラム | |
JP2018042004A (ja) | 表示装置、頭部装着型表示装置、及び、表示装置の制御方法 | |
CN109145010B (zh) | 信息查询方法、装置、存储介质及穿戴式设备 | |
US20240087221A1 (en) | Method and apparatus for determining persona of avatar object in virtual space | |
US20220323286A1 (en) | Enabling the visually impaired with ar using force feedback | |
US20240143267A1 (en) | Electronic device for using external device in metaverse and method thereof | |
KR20240036433A (ko) | 가상 공간에 배치되는 아바타 오브젝트의 페르소나를 결정하는 방법 및 장치 | |
JP2020071588A (ja) | 表示装置、及び、表示装置の制御方法 | |
WO2016121049A1 (ja) | 情報表示端末および情報表示方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211028 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220831 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220927 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221121 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230328 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230410 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7271909 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |