JP7403286B2 - 表示装置、表示システム、表示装置の制御方法およびプログラム - Google Patents
表示装置、表示システム、表示装置の制御方法およびプログラム Download PDFInfo
- Publication number
- JP7403286B2 JP7403286B2 JP2019202620A JP2019202620A JP7403286B2 JP 7403286 B2 JP7403286 B2 JP 7403286B2 JP 2019202620 A JP2019202620 A JP 2019202620A JP 2019202620 A JP2019202620 A JP 2019202620A JP 7403286 B2 JP7403286 B2 JP 7403286B2
- Authority
- JP
- Japan
- Prior art keywords
- display device
- state
- display
- display element
- turned
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 12
- 238000003384 imaging method Methods 0.000 claims description 29
- 230000007704 transition Effects 0.000 claims description 9
- 230000010365 information processing Effects 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 14
- 238000001514 detection method Methods 0.000 description 13
- 239000002131 composite material Substances 0.000 description 12
- 230000015572 biosynthetic process Effects 0.000 description 7
- 210000003128 head Anatomy 0.000 description 7
- 238000003786 synthesis reaction Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 230000007774 longterm Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 244000145845 chattering Species 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 201000003152 motion sickness Diseases 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
- G06F1/3228—Monitoring task completion, e.g. by use of idle timers, stop commands or wait commands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
- G06F1/3231—Monitoring the presence, absence or movement of users
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3234—Power saving characterised by the action undertaken
- G06F1/325—Power saving in peripheral device
- G06F1/3262—Power saving in digitizer or tablet
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- Computer Hardware Design (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
Description
画像を表示するための表示素子を有する表示装置であって、
前記表示装置がユーザに装着されている装着状態であるか否かを判定する装着状態判定手段と、
前記表示装置が静止している静止状態であるか又は動いている動き状態であるかを判定する動き状態判定手段と、
前記表示装置が前記装着状態であり且つ前記動き状態である場合、前記表示素子を点灯可能状態に状態遷移させる制御手段と、
を備え、
前記表示装置は、前記表示装置と当該表示装置と接続された情報処理装置とを含むシステムにおける前記情報処理装置の所定のソフトウェアの起動前には第一の動作モードで動作すると共に、前記所定のソフトウェアの起動後には第二の動作モードで動作し、
前記制御手段は、前記点灯可能状態への状態遷移時に、或いは、前記点灯可能状態でユーザ操作を受け付ける入力部を介してユーザ操作が受け付けられたことに応じて、前記表示素子を点灯させ、
前記制御手段は、
前記表示装置が前記第一の動作モードである場合、前記表示素子の点灯時に、当該点灯時から第一の期間が経過した後に前記表示素子を消灯させる第一のタイマを設定し、
前記表示装置が前記第二の動作モードである場合、前記表示素子の点灯時に、当該点灯時から前記第一の期間よりも長い第二の期間が経過した後に前記ユーザへの通知メッセージを出力させるための第二のタイマを設定することを特徴とする。
<システム構成>
図1は、本実施形態における撮像表示装置を含む撮像表示システムを示す図であり、図1(a)がシステムブロック図、図1(b)がシステムの外観および装着例を表した模式図である。図1に示す通り、撮像表示システム1は、頭部装着型の撮像表示装置(以下、HMD)10、画像合成装置(PCWS:PC WorkStation、PCワークステーション)30、及び両者を接続するケーブル20を含む。画像合成装置30は、現実空間と仮想空間とが融合した複合現実(MR)空間の画像(以下、合成画像)を生成してHMD10に提供する。なお、ケーブル20は有線接続の通信経路として図示しているが、無線接続の通信経路を用いても構わない。
図2は、画像処理制御回路100の詳細な構成と各種外部デバイスとの関係、並びに画像処理制御回路100内部または周辺での画像および制御信号の流れの概略を示す模式図である。
ここで、図3を用いて表示制御に関するHMD10の状態を説明する。図3(a)は、IMU120および近接センサ140によって検知されるHMD10の状態を示した図である。IMU120によってHMD10が動いている(動き中(動き状態)、図中α)か、或いは、止まっている(静止中(静止状態))かを検知できる(動き状態判定処理)。また、近接センサ140によってHMD10が装着者の頭部に対してMR体験が可能な状態で装着されている(装着中(装着状態)、図中β)か否か(すなわち非装着状態であるか)を検知できる(装着状態判定処理)。従って、装着中と非装着の状態間を装着検知または解除検知のイベントによって遷移し、また静止中と動き中の状態間を動き検知または静止検知のイベントによって遷移するため、図中I~IVで示す4状態が存在する。これをベン図にしたものが図3(b)である。なお、動き検知および静止検知の発生条件について、意識して体を止めていない限り人間の頭部は微妙に動いているのが自然であることを加味し、閾値やチャタリング防止時間などを実験的に最適化するようにしてもよい。
続いて、図4を用いて、本実施形態のユースケースについて説明する。図中上から下に向かって時間が経過し、区間A~Pまで刻々と状況が変化している。「装着状態」については近接センサ140の出力に基づいて装着か非装着かが決まる。「動き状態」についてはIMU120の出力に基づいて動き中か静止中かが決まる。「表示可否」は、「装着状態」と「動き状態」との論理積によって決まり、装着中且つ動き中のみ表示可(即ち表示素子110a、110bを点灯させてもよい点灯可能状態)となる。
本実施形態に係るシステム構成は、第一実施形態で図1(a)を用いて説明した撮像表示装置以外の基本的な構成については第一実施形態と同様であるため、詳細な説明は省略する。
図6は、本実施形態に係る撮像表示システム1'のシステムブロック図である。第一実施形態における図1(a)との差異は、図1における撮像表示装置10の小型化のため、画像処理制御回路100の大半を分離し、画像処理制御回路400として画像処理装置40に収めて別装置化した点である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (12)
- 画像を表示するための表示素子を有する表示装置であって、
前記表示装置がユーザに装着されている装着状態であるか否かを判定する装着状態判定手段と、
前記表示装置が静止している静止状態であるか又は動いている動き状態であるかを判定する動き状態判定手段と、
前記表示装置が前記装着状態であり且つ前記動き状態である場合、前記表示素子を点灯可能状態に状態遷移させる制御手段と、
を備え、
前記表示装置は、前記表示装置と当該表示装置と接続された情報処理装置とを含むシステムにおける前記情報処理装置の所定のソフトウェアの起動前には第一の動作モードで動作すると共に、前記所定のソフトウェアの起動後には第二の動作モードで動作し、
前記制御手段は、前記点灯可能状態への状態遷移時に、或いは、前記点灯可能状態でユーザ操作を受け付ける入力部を介してユーザ操作が受け付けられたことに応じて、前記表示素子を点灯させ、
前記制御手段は、
前記表示装置が前記第一の動作モードである場合、前記表示素子の点灯時に、当該点灯時から第一の期間が経過した後に前記表示素子を消灯させる第一のタイマを設定し、
前記表示装置が前記第二の動作モードである場合、前記表示素子の点灯時に、当該点灯時から前記第一の期間よりも長い第二の期間が経過した後に前記ユーザへの通知メッセージを出力させるための第二のタイマを設定することを特徴とする表示装置。 - 前記制御手段は、前記第一のタイマのタイムアウトに応じて、前記表示素子を消灯することを特徴とする請求項1に記載の表示装置。
- 前記入力部は、前記表示装置が前記装着状態であり且つ前記動き状態である場合に前記ユーザ操作の受け付けが有効になることを特徴とする請求項1又は2に記載の表示装置。
- 前記制御手段は、ユーザへの通知メッセージの表示中に、前記入力部により前記ユーザ操作が受け付けられた場合、前記通知メッセージの表示を停止することを特徴とする請求項1乃至3の何れか1項に記載の表示装置。
- 前記入力部は、プッシュスイッチであることを特徴とする請求項1乃至4の何れか1項に記載の表示装置。
- 前記入力部は、前記表示装置が備える撮像部の撮像結果に基づいてジェスチャ動作を解析し、前記ジェスチャ動作に基づいて前記ユーザ操作を受け付けることを特徴とする請求項1乃至4の何れか1項に記載の表示装置。
- 前記装着状態判定手段は、前記装着状態であるか、又は、前記表示装置がユーザに装着されていない非装着状態であるかを判定し、
前記制御手段は、前記表示装置が前記装着状態であり且つ前記動き状態である場合、前記表示素子を点灯可能状態にして、前記表示装置が前記非装着状態である又は前記静止状態である場合、前記表示素子を点灯可能状態にしないことを特徴とする請求項1に記載の表示装置。 - 前記点灯可能状態は、前記表示素子を点灯することが許可されている状態であることを特徴とする請求項1乃至7の何れか1項に記載の表示装置。
- 前記表示装置は、前記ユーザの頭部に装着される頭部装着型表示装置であることを特徴とする請求項1乃至8の何れか1項に記載の表示装置。
- 画像を表示するための表示素子を含む表示装置と、当該表示装置と接続された情報処理装置とを有する表示システムであって、
前記表示装置がユーザに装着されている装着状態であるか否かを判定する装着状態判定手段と、
前記表示装置が静止している静止状態であるか又は動いている動き状態であるかを判定する動き状態判定手段と、
前記表示装置が前記装着状態であり且つ前記動き状態である場合、前記表示素子を点灯可能状態に状態遷移させる制御手段と、
を備え、
前記表示装置は、前記情報処理装置の所定のソフトウェアの起動前には第一の動作モードで動作すると共に、前記所定のソフトウェアの起動後には第二の動作モードで動作し、
前記制御手段は、前記点灯可能状態への状態遷移時に、或いは、前記点灯可能状態でユーザ操作を受け付ける入力部を介してユーザ操作が受け付けられたことに応じて、前記表示素子を点灯させ、
前記制御手段は、
前記表示装置が前記第一の動作モードである場合、前記表示素子の点灯時に、当該点灯時から第一の期間が経過した後に前記表示素子を消灯させる第一のタイマを設定し、
前記表示装置が前記第二の動作モードである場合、前記表示素子の点灯時に、当該点灯時から前記第一の期間よりも長い第二の期間が経過した後に前記ユーザへの通知メッセージを出力させるための第二のタイマを設定することを特徴とする表示システム。 - 画像を表示するための表示素子を有する表示装置の制御方法であって、
前記表示装置がユーザに装着されている装着状態であるか否かを判定する工程と、
前記表示装置が静止している静止状態であるか又は動いている動き状態であるかを判定する工程と、
前記表示装置が前記装着状態であり且つ前記動き状態である場合、前記表示素子を点灯可能状態に状態遷移させる工程と、
を有し、
前記表示装置は、前記表示装置と当該表示装置と接続された情報処理装置とを含むシステムにおける前記情報処理装置の所定のソフトウェアの起動前には第一の動作モードで動作すると共に、前記所定のソフトウェアの起動後には第二の動作モードで動作し、
前記制御方法は、
前記点灯可能状態への状態遷移時に、或いは、前記点灯可能状態でユーザ操作を受け付ける入力部を介してユーザ操作が受け付けられたことに応じて、前記表示素子を点灯させる工程と、
前記表示装置が前記第一の動作モードである場合、前記表示素子の点灯時に、当該点灯時から第一の期間が経過した後に前記表示素子を消灯させる第一のタイマを設定する工程と、
前記表示装置が前記第二の動作モードである場合、前記表示素子の点灯時に、当該点灯時から前記第一の期間よりも長い第二の期間が経過した後に前記ユーザへの通知メッセージを出力させるための第二のタイマを設定する工程と、
をさらに有することを特徴とする表示装置の制御方法。 - コンピュータを、請求項1乃至9の何れか1項に記載の表示装置の各手段として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019202620A JP7403286B2 (ja) | 2019-11-07 | 2019-11-07 | 表示装置、表示システム、表示装置の制御方法およびプログラム |
US17/083,371 US20210141227A1 (en) | 2019-11-07 | 2020-10-29 | Display device, display system, method of controlling display device, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019202620A JP7403286B2 (ja) | 2019-11-07 | 2019-11-07 | 表示装置、表示システム、表示装置の制御方法およびプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021076680A JP2021076680A (ja) | 2021-05-20 |
JP2021076680A5 JP2021076680A5 (ja) | 2022-11-10 |
JP7403286B2 true JP7403286B2 (ja) | 2023-12-22 |
Family
ID=75847775
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019202620A Active JP7403286B2 (ja) | 2019-11-07 | 2019-11-07 | 表示装置、表示システム、表示装置の制御方法およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20210141227A1 (ja) |
JP (1) | JP7403286B2 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009171505A (ja) | 2008-01-21 | 2009-07-30 | Nikon Corp | ヘッドマウントディスプレイ |
US20180078183A1 (en) | 2016-09-22 | 2018-03-22 | Apple Inc. | Systems and methods for determining axial orientation and location of a user's wrist |
-
2019
- 2019-11-07 JP JP2019202620A patent/JP7403286B2/ja active Active
-
2020
- 2020-10-29 US US17/083,371 patent/US20210141227A1/en not_active Abandoned
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009171505A (ja) | 2008-01-21 | 2009-07-30 | Nikon Corp | ヘッドマウントディスプレイ |
US20180078183A1 (en) | 2016-09-22 | 2018-03-22 | Apple Inc. | Systems and methods for determining axial orientation and location of a user's wrist |
Also Published As
Publication number | Publication date |
---|---|
JP2021076680A (ja) | 2021-05-20 |
US20210141227A1 (en) | 2021-05-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12086919B2 (en) | Video pipeline | |
US10534428B2 (en) | Image processing device and image processing method, display device and display method, and image display system | |
US5808588A (en) | Shutter synchronization circuit for stereoscopic systems | |
US9411162B2 (en) | Mixed reality presenting system, virtual reality presenting system, display apparatus, information processing apparatus, control method, and program | |
JP2006267604A (ja) | 複合情報表示装置 | |
JP2009031334A (ja) | プロジェクタ及びプロジェクタの投射方法 | |
WO2012133379A1 (ja) | ヘッドマウントディスプレイ,及びその輝度調整方法 | |
JP2007213407A (ja) | 仮想現実画像表示装置 | |
WO2017022769A1 (ja) | ヘッドマウントディスプレイ、表示制御方法及びプログラム | |
US10748340B1 (en) | Electronic device with coordinated camera and display operation | |
JP7403286B2 (ja) | 表示装置、表示システム、表示装置の制御方法およびプログラム | |
JP6806220B2 (ja) | 電子デバイス、及び電子デバイスの制御方法 | |
WO2019093278A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2008113317A (ja) | 遠隔作業支援システム | |
TWI633465B (zh) | 虛擬實境裝置及虛擬實境裝置的操作方法 | |
US11449296B2 (en) | Display system, display method, and program | |
JP2009020180A (ja) | 映像表示装置 | |
WO2021014673A1 (ja) | 映像表示制御装置、方法およびプログラム | |
KR20180055637A (ko) | 전자 장치 및 그의 제어 방법 | |
CN106155283B (zh) | 一种电子设备和信息处理方法 | |
CN108140357B (zh) | 信息处理装置 | |
TW202040214A (zh) | 可於子母畫面模式顯示虛擬場景以及現實場景之頭戴式顯示系統、相關方法以及相關電腦可讀取記錄媒體 | |
JP4612835B2 (ja) | 画像表示装及び画像表示システム | |
US20240119643A1 (en) | Image processing device, image processing method, and computer-readable storage medium | |
US20240098234A1 (en) | Head-Mounted Electronic Device with Reliable Passthrough Video Fallback Capability |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221028 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221028 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230727 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230810 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230914 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231113 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231212 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7403286 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |