TWI811613B - 頭戴式顯示裝置及其控制方法與校正方法 - Google Patents

頭戴式顯示裝置及其控制方法與校正方法 Download PDF

Info

Publication number
TWI811613B
TWI811613B TW110101545A TW110101545A TWI811613B TW I811613 B TWI811613 B TW I811613B TW 110101545 A TW110101545 A TW 110101545A TW 110101545 A TW110101545 A TW 110101545A TW I811613 B TWI811613 B TW I811613B
Authority
TW
Taiwan
Prior art keywords
static object
gaze direction
head
mounted display
user
Prior art date
Application number
TW110101545A
Other languages
English (en)
Other versions
TW202141345A (zh
Inventor
范富誠
陳中榮
Original Assignee
宏達國際電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏達國際電子股份有限公司 filed Critical 宏達國際電子股份有限公司
Publication of TW202141345A publication Critical patent/TW202141345A/zh
Application granted granted Critical
Publication of TWI811613B publication Critical patent/TWI811613B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
    • A61M2021/005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense images, e.g. video
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/33—Controlling, regulating or measuring
    • A61M2205/3306—Optical measuring means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/33—Controlling, regulating or measuring
    • A61M2205/332—Force measuring means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/35—Communication
    • A61M2205/3546—Range
    • A61M2205/3553—Range remote, e.g. between patient's home and doctor's office
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/35—Communication
    • A61M2205/3576—Communication with non implanted data transmission devices, e.g. using external transmitter or receiver
    • A61M2205/3592—Communication with non implanted data transmission devices, e.g. using external transmitter or receiver using telemetric means, e.g. radio or optical transmission
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/50—General characteristics of the apparatus with microprocessors or computers
    • A61M2205/502—User interfaces, e.g. screens or keyboards
    • A61M2205/507—Head Mounted Displays [HMD]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2210/00—Anatomical parts of the body
    • A61M2210/06—Head
    • A61M2210/0612—Eyes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/08—Other bio-electrical signals
    • A61M2230/10—Electroencephalographic signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/60—Muscle strain, i.e. measured on the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/62—Posture
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0693—Calibration of display systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)

Abstract

一種頭戴式顯示裝置及其控制方法與校正方法被提出。 控制方法包括：啟動眼球追蹤動作以獲得使用者的一凝視方向；在顯示畫面上設置至少一設定位置，至少一設定位置用以設置至少一靜態物件；以及依據設定位置以及凝視方向以決定顯示或隱藏靜態物件。

Description

頭戴式顯示裝置及其控制方法與校正方法
本發明是有關於一種頭戴式顯示裝置及其控制方法，且特別是有關於一種可降低發生暈屏幕(cybersickness)現象的頭戴式顯示裝置及其控制方法。
隨著電子科技的進步，人們對於顯示品質的需求，有大幅的提升。有鑑於此，一種可提供虛擬實境/擴增實境的頭戴式顯示裝置被提出。
在頭戴式顯示裝置中，基於所提供的虛擬實境/擴增實境顯示效果，可能讓使用者在視覺上產生空間中移動的速度感。而實際上使用者的內耳中的半規管系統，卻沒有感覺到使用者有效運動。這個視覺上與體感上的感覺衝突，可能讓使用者產生所謂的暈屏幕(cybersickness)現象。在現今的技術領域中，要如何有效的降低暈屏幕現象，為頭戴式顯示裝置的設計者急需處理的問題。
本發明提供一種頭戴式顯示裝置及其控制方法，可提升使用者使用上的舒適度。
本發明的頭戴式顯示裝置的控制方法包括：啟動眼球追蹤動作以獲得使用者的一凝視方向；在顯示畫面上設置至少一設定位置，至少一設定位置用以設置至少一靜態物件；以及，依據設定位置以及凝視方向以決定顯示或隱藏靜態物件。
本發明的頭戴式顯示裝置包括眼球追蹤裝置、顯示器以及控制器。眼球追蹤裝置執行眼球追蹤動作。顯示器產生顯示畫面以及至少一靜態物件。控制器則用以執行上述的控制方法。
基於上述，本發明的頭戴式顯示裝置可依據使用者的凝視方向，在特定的使用者視野範圍外適度的顯示一個或多個靜態物件。透過靜態物件的顯示，可降低使用者發生暈屏幕(cybersickness)現象的可能性，並維持使用者在享受虛擬實境/擴增實境感時的沉浸感。本發明之使用者凝視方向的取得亦可經由腦電圖(Electroencephalography,EEG)、肌電圖(Electromyography,EMG)等方式。
500:頭戴式顯示裝置
510:眼球追蹤裝置
520:控制器
530:顯示器
EP:眼球位置
EYE:眼球
FOV:視野範圍
GP:凝視方向
R1:夾角
REFD:參考方向
RFOV1、RFOV2:參考視野範圍
S110~S130、S410~S460:控制方法的步驟
SO、SO1~SO8:靜態物件
圖1繪示本發明一實施例的頭戴式顯示裝置的控制方法的流程圖。
圖2繪示的本發明實施例的視野範圍的決定方式示意圖。
圖3A以及圖3B繪示本發明另一實施例的頭戴式顯示裝置的控制方法的動作示意圖。
圖4繪示本發明另一實施例的頭戴式顯示裝置的控制方法的示意圖。
圖5繪示本發明一實施例的頭戴式顯示裝置的示意圖。
請參照圖1，圖1繪示本發明一實施例的頭戴式顯示裝置的控制方法的流程圖。在步驟S110中，頭戴式顯示裝置可啟動眼球追蹤動作以獲得使用者的凝視方向。其中，透過眼球追蹤動作，頭戴式顯示裝置可識別出使用者的眼球位置，並且，頭戴式顯示裝置也可識別出使用者的凝視方向。並且，在步驟S120中，頭戴式顯示裝置可在顯示畫面上設定一個或多個的設定位置。在本實施例中，設定位置用來顯示靜態物件。接著，在步驟S130中，頭戴式顯示裝置可依據設定位置以及凝視方向以決定顯示或隱藏對應的靜態物件。
在細節上，可同步參照圖1以及圖2，其中圖2繪示的本發明實施例的視野範圍的決定方式示意圖。在本實施例中，頭戴式顯示裝置是依據用以顯示靜態物件SO的設定位置以及使用者的凝視方向GP來產生視野範圍FOV(此處的視野範為FOV為在以使用者的凝視方向GP向量為中心的錐狀體，並稱為人眼易察覺 之視野範圍)。頭戴式顯示裝置並依據視野範圍的大小，來決定顯示設定位置上的靜態物件SO或是隱藏設定位置上的靜態物件SO。
進一步來說明，本發明實施例中，可以透過眼球追蹤動作來獲取使用者的眼球位置EP。並依據使用者眼球位置EP與顯示畫面上的設定位置來產生參考方向REFD。頭戴式顯示裝置並可進一步計算參考方向REFD與使用者的凝視方向GP間的夾角R1。在本實施例中，頭戴式顯示裝置可採用參考方向REFD與使用者的凝視方向GP間小於180度的夾角R1。
頭戴式顯示裝置可透過計算夾角R1是否小於一個預設值(例如第一預設值)，並作為是否顯示靜態物件SO的依據。例如，在當參考方向REFD與使用者的凝視方向GP間的夾角R1小於上述的第一預設值時，表示使用者可能會在視覺感知上察覺到靜態物件的存在，而由於此靜態物件的位置只由前述方法決定，與使用者目前的頭戴式顯示裝置3D空間位置、3D空間面向、與顯示畫面皆無關係，因此靜態物件將可能會吸引使用者的注意力放在靜態物件上，進而破壞原本頭戴式顯示裝置要創造的虛擬世界的高度沉浸感受。頭戴式顯示裝置可以在設定位置上隱藏靜態物件SO，以避免靜態物件SO的顯示影像被使用者察覺進而破壞虛擬世界的沉浸感。
在另一方面，頭戴式顯示裝置另可透過計算夾角R1是否大於另一個預設值(例如第二預設值)，並作為是否顯示靜態物件 SO的依據。在當參考方向REFD與使用者的凝視方向GP間的夾角R1大於或等於上述的第二預設值時，表示靜態物件SO並未進入使用者的主要視覺感知區域。頭戴式顯示裝置可以在設定位置上顯示靜態物件SO。而透過靜態物件SO的顯示，可以讓使用者在進行虛擬實境/擴增實境的影像體驗時，可以在視覺資訊中增加與當下前庭系統(vestibular system)較一致的訊號，使得人腦在處理統合所有來自各個感官的訊號時，特別是降低分別於前庭系統(vestibular system)與視覺系統(Vision system)所取得的關於當下空間位置之間的感知差異(sensory mismatch)，以降低發生暈屏幕的可能性。進一步說明，使用虛擬頭戴式顯示裝置時，若身體無任何移動而給予使用者往前飛行畫面時，前庭系統的感知為靜止狀態，但視覺系統卻感知為飛行狀態，兩者之間的差異與人腦過去的記憶習慣不符合，將會造成類似中毒的現象，產生諸如嘔吐、噁心等生理反應。
上述的第一臨界值與第二臨界值沒有特定的大小關係，其中第一臨界值與第二臨界值可以相等，或也可以不相等。
附帶一提的，在本實施例中，在一個顯示畫面中，靜態物件SO的數量可以是一個或是多個，沒有固定的限制。另外，多個的靜態物件SO在顯示畫面上的設定位置，也沒有一定的配置規則。例如，多個靜態物件SO的多個設定位置可以以陣列方式平均分布在顯示畫面上，或也可以不均勻的分佈方式來設置在顯示畫面上。另外，單一靜態物件SO可以為一個畫素的大小或大於一個 畫素的大小；其中靜態物件SO於顯示期間，於顯示畫面的位置不隨頭戴式顯示裝置於三維(3D)空間中的移動或旋轉而有所改變。
亦即使用者觀察靜態物件SO的視角約為1/15度。在這樣的狀態下，靜態物件SO即可在顯示狀態下達到降低發生暈屏幕的可能性。
關於靜態物件SO的顏色以及亮度，則可以依據對應的設定位置上，顯示畫面的背景影像來設定。其中，靜態物件SO的顏色、亮度可以透過計算設定位置上顯示畫面中N個畫素的顏色、亮度平均值來設定，N可以為任意的正整數。
另外，多個靜態物件SO在一顯示畫面上，可以具有相同的聚焦深度。並且，分別在不同焦距的平面上的多個靜態物件SO，可以具有相同的尺寸。此外，在執行集中渲染過程中，靜態物件SO不會隨之執行。並且，對應使用者的一眼(左眼或右眼)，靜態物件SO放置的設定位置是不會改變的。
以下請參照圖3A以及圖3B，圖3A以及圖3B繪示本發明另一實施例的頭戴式顯示裝置的控制方法的動作示意圖。在圖3A、3B中，頭戴式顯示裝置在顯示畫面上設定多個設定位置，並分別用以顯示靜態物件SO1~SO8。在圖3A中，頭戴式顯示裝置啟動眼球追蹤動作並獲得使用者眼球的凝視方向。頭戴式顯示裝置另依據使用者眼球的凝視方向以及預設臨界值，來計算出做為參考的視野範圍RFOV1。頭戴式顯示裝置並依據參考視野範圍RFOV1來查找出參考視野範圍RFOV1內的靜態物件，並使參考 視野範圍RFOV1內的靜態物件被隱藏。相對的，參考視野範圍RFOV1外的靜態物件，則可以被顯示。
其中在本實施例中，當靜態物件包括在參考視野範圍RFOV1內時，表示此靜態物件的設定位置與眼球方向，與使用者凝視方向的夾角小於預設臨界值。因此，對應的靜態物件需要被隱藏。
另外，在圖3B中，頭戴式顯示裝置另依據使用者眼球的另一個凝視方向以及預設臨界值，來計算出另一參考視野範圍RFOV2。頭戴式顯示裝置並依據參考視野範圍RFOV1來查找出參考視野範圍RFOV2內的靜態物件(例如靜態物件SO3、SO4)，並使參考視野範圍RFOV2內的靜態物件SO3、SO4變更為被隱藏。同時，其餘的靜態物件SO1~SO2以及SO5~SO8維持被顯示的狀態。
以下請參照圖4，圖4繪示本發明另一實施例的頭戴式顯示裝置的控制方法的示意圖。在步驟S410中，頭戴式顯示裝置啟動眼球追蹤功能，並用以判斷出使用者眼球的位置以及凝視的方向。接著，在步驟S420中，頭戴式顯示裝置在顯示畫面上設定一個或多個設定位置，並依據設定位置來進行靜態物件的顯示動作。在本實施例中，靜態物件的大小可以被預先設定，其顏色、亮度可以依據此時顯示畫面在設定位置上的背景影像來決定。也就是說，多個靜態物件的顏色、亮度可以獨立被設定，並不必要相同。控制器可參考目前要被顯示靜態物件畫素的紅、綠、藍色 (RGB)灰階，以該區域的平均灰階值X增或減一個預設參數P成為X’=X+/-P，X’為該畫素新的RGB灰階設定值，成為該靜態物件的色彩與亮度設定值。
在步驟S430中，頭戴式顯示器可針對每一靜態物件，計算眼球位置以及設定位置的參考方向以及凝視方向間的夾角，並判斷上述的夾角是否小於第一預設值。若被判斷的靜態物件，其所對應的夾角是小於第一臨界值時，則執行步驟S440以隱藏此靜態物件。相對的，若被判斷的靜態物件，其所對應的夾角是不小於第一臨界值時，則執行步驟S470以維持顯示此靜態物件的。
承續步驟S440，在步驟S450中，頭戴式顯示裝置可針對顯示畫面中的被隱藏的靜態物件，當被判斷的靜態物件對應的夾角大於或等於第二預設臨界值時，且這個狀態維持一預設時間長度後，頭戴式顯示裝置可使原先被隱藏的靜態物件變更為被顯示(步驟S460)。相對的，若步驟S450的判斷結果為否，則維持隱藏此靜態物件。其中該第一預設值與該第二預設值亦可由計算當下畫面的動態變化程度與當下頭戴式顯示器的動態變化程度之間的差異而有動態的調整。
值得一提的，步驟S450中，為了避免使用者因視線快速移動，發生上述的夾角短暫產生大於或等於第二預設臨界值的現象而使靜態物件被顯示後又需要快速的被隱藏而造成殘影的現象，本發明實施例設置一預設的時間長度。並透過判斷靜態物件對應的夾角大於或等於第二預設臨界值維持超過一預設時間長度 後，才執行步驟S460以顯示靜態物件，可維持顯示品質。
以下請參照圖5，圖5繪示本發明一實施例的頭戴式顯示裝置的示意圖。頭戴式顯示裝置500包括眼球追蹤裝置510、控制器530以及顯示器520。控制器530耦接至眼球追蹤裝置510以及顯示器520。在本實施例中，眼球追蹤裝置510用以執行眼球追蹤動作，並據以判斷出使用者眼球EYE的位置以及凝視方向；其中該眼球追蹤動作亦可由另一隻眼球追蹤裝置所量測之另一隻眼球的凝視方向、雙眼的瞳距、頭戴式顯示裝置之及時空間定位狀態等計算得出。顯示器520用以提供顯示畫面，並依據設定位置在顯示畫面中顯示一個或多個靜態物件。
在本實施例中，控制器530用以執行如圖1、4所示的控制方法的動作流程，並用以決定靜態物件的每一者是被顯示或是被隱藏。本發明實施例的頭戴式顯示裝置500透過在顯示畫面上提供靜態物件，以讓使用者在進行虛擬實境/擴增實境的體驗過程中降低發生暈屏幕的可能性，並維持虛擬世界體驗的沉浸感。
在本實施例中，顯示器520可以應用任意為本領域具通常知識者所熟知的平面或非平面的顯示器，沒有特定的限制。眼球追蹤裝置510可以具有發光二極體、照相機，及眼球追蹤計算單元。發光二極體用以投射光束至使用者眼球EYE，並在使用者眼球EYE上產生光點，照相機則用以擷取眼球EYE的影像。眼球追蹤裝置510透過眼球EYE上的影像光點的分布狀態，可以計算出眼球EYE的位置以及凝視方向。在本實施例中，眼球EYE的位 置以及凝視方向也可以由控制器530來計算並獲得，沒有一定的限制。
當然，上述關於眼球追蹤裝置510實施方式只是一個說明用的範例，凡本領域通常知識者所熟知的眼球追蹤技術均可用以應用在本發明實施例中，沒有特定的限制。
除了使用眼球追蹤裝置來獲取使用者的視線外，另亦可利用演算法計算分析過去數個顯示畫框(display frame)的畫面內容以判斷使用者最有可能的視線位置，例如主要物體的移動、虛擬實境(VR)手把的雷射指標位置、發出最大音量的位置、新物體的出現的位置、人的手指在VR空間中於畫面的位置等，亦可為以上訊息的綜合判斷(a trained model by using above extracted features)。
除了利用使用者的視線來決定靜態物件的顯示與否外，亦可利用頭戴式顯示裝置的陀螺儀、加速計、磁力計或其他空間定位追蹤的技術所得到的頭戴式顯示裝置的旋轉或移動狀態，如軸向的加速度大小和方向(XYZ)等等，在此可實時綜合計算當下頭戴式顯示裝置的動態空間定位之單一數值指標，當此動態空間定位指標數值大於某個預設臨界值K時，顯示部分或所有靜態物件，小於某個預設臨界值K時，隱藏部分或所有靜態物件。此動態空間定位指標數值亦可用來決定眼球模組的電源開關，當動態空間定位指標數值大於某個預設臨界值P時關閉眼球模組的電源，或降低畫框率(frame rate)、或進入休眠模式，以降低耗電。 此動態空間定位指標亦可用來動態調整靜態物件的大小(所佔像素數量)、顏色等，較佳的作法可能為動態空間定位指標越強，靜態物件的尺寸越大、顏色反差越大、或靜態物件的數量越多。反之，當頭戴式顯示裝置處於靜止時，靜態物件的尺寸越小、顏色反差越小、或靜態物件的數量越少。
關於控制器530的部分，控制器530可以為具運算能力的處理器。或者，控制器530可以是透過硬體描述語言(Hardware Description Language,HDL)或是其他任意本領域具通常知識者所熟知的數位電路的設計方式來進行設計，並透過現場可程式邏輯門陣列(Field Programmable Gate Array,FPGA)、複雜可程式邏輯裝置(Complex Programmable Logic Device,CPLD)或是特殊應用積體電路(Application-specific Integrated Circuit,ASIC)的方式來實現的硬體電路。控制器530亦可位於遠端並透過常見之無線傳輸方法(如WIFI、5G等)取得眼球追蹤模組的資訊，該資訊包含但不限於人眼視線方向，眼球空間位置等。控制器、顯示器、與眼球追蹤模組亦可整合為一裝置，該顯示器內設有光線感測陣列以擷取眼球影像資訊，並使用顯示器內建之控制器或邏輯電路進行人眼視線計算、靜態物件的顯示與否的判斷、與靜態物件的顯示，而眼球追蹤的的照明部分則可於液晶顯示器(LCD)本身的背光源、有機無機的自發光源等來提供。
本發明亦包含一種校正方法並可於使用者配戴頭戴式顯示裝置之後，主動由VR應用程式帶出，或由使用者於設定模塊中 選擇執行。此校正方法主要目的為調整最佳的靜態物件於人眼視野的位置，以達到最佳的降低暈屏幕的效果。蓋因每個人配戴頭戴式顯示裝置後，看到的視野大小有所分別，不同人對於最佳適配的靜態物件位置、大小、形狀、顏色也可能有所不同。第一階段為量測使用者的視野範圍，可為顯示不同數字於不同視野角，透過使用者握持VR手把指向點選、語音回答、眼球追蹤、腦波、或其他人機介面量測此使用者目前的最大視野角，進而用來幫助設定靜態物件的位置。第二階段為播放不同靜態物件位置、大小、形狀、顏色的畫面，其中亦包含左眼或右眼其中一眼的畫面無靜態物件，開始後請使用者正視中心參考點，並請使用者回答是否能夠在視覺上感知到靜態物件的存在。利用以上校正方法找到該使用者的靜態物件參數設定以達最佳的降低暈屏幕效果並且維持最佳的VR沉浸感體驗。該使用者的靜態物件參數設定可儲存並於下次啟用頭戴式顯示裝置時自動載入。本校正方法經適當設計後可與眼球追蹤之校正流程合併進行。另一種快速方法則直接使用該使用者的眼球與該頭戴式顯示裝置於虛擬空間的相關位置參數、該使用者的年齡、性別、戴眼鏡與否的來計算視野角、以計算視野角與較佳的靜態物件的相關設定。
綜上所述，本發明的頭戴式顯示裝置透過在顯示畫面中的一個或多個設定位置上，顯示多個靜態物件。透過靜態物件的顯示，可降低使用者在進行虛擬實境/擴增實境的體驗過程中發生暈屏幕的可能。此外，本發明的頭戴式顯示裝置可依據使用者的 凝視方向，來決定隱藏或顯示每一靜態物件，在維持顯示品質的前提下，達到降低暈屏幕的功效。
S110~S130:控制方法的步驟

Claims (9)

  1. 一種頭戴式顯示裝置的控制方法，包括：啟動一眼球追蹤動作以獲得使用者的一凝視方向；在一顯示畫面上設置至少一設定位置，該至少一設定位置用以設置至少一靜態物件；以及依據該至少一設定位置以及該凝視方向以決定顯示或隱藏該至少一靜態物件，其中依據該至少一設定位置以及該凝視方向以決定顯示或隱藏該靜態物件的步驟包括：依據該凝視方向以及該至少一設定位置以獲得至少一視野範圍；以及隱藏該至少一視野範圍內的該至少一靜態物件，並顯示該至少一視野範圍外的該至少一靜態物件。
  2. 如請求項1所述的控制方法，其中依據該凝視方向以及該至少一設定位置以獲得該至少一視野範圍的步驟包括：依據一眼球位置以及該至少一設定位置以產生至少一參考方向；以及計算該至少一參考方向以及該凝視方向的夾角以獲得該至少一視野範圍，其中該至少一參考方向以及該凝視方向的夾角小於180度。
  3. 如請求項2所述的控制方法，其中依據該至少一設定位置以及該凝視方向以決定顯示或隱藏該至少一靜態物件的步驟包括：當該至少一參考方向以及該凝視方向的夾角小於一第一預設值時，使該至少一靜態物件被隱藏；以及當該至少一靜態物件被隱藏且該至少一參考方向以及該凝視方向的夾角變更為大於或等於一第二預設值時並持續一預設的時間長度後，使該至少一靜態物件變更為被顯示。
  4. 如請求項3所述的控制方法，其中該至少一靜態物件包括一個或一個以上的畫素；其中該靜態物件於顯示期間，於顯示畫面的位置不隨該頭戴式顯示裝置於三維空間中的移動或旋轉而有所改變。
  5. 一種頭戴式顯示裝置，包括：一眼球追蹤裝置，執行一眼球追蹤動作；一顯示器，產生一顯示畫面以及至少一靜態物件；以及一控制器，用以：啟動該眼球追蹤裝置的該眼球追蹤動作以獲得使用者的一凝視方向；在該顯示畫面上設置至少一設定位置，該至少一設定位置用以設置至少一靜態物件；以及依據該至少一設定位置以及該凝視方向以使該顯示器顯示或隱藏該至少一靜態物件，其中依據該凝視方向以及該至少一 設定位置以獲得至少一視野範圍，隱藏該至少一視野範圍內的該至少一靜態物件，並顯示該至少一視野範圍外的該至少一靜態物件，其中該眼球追蹤動作可由該眼球追蹤裝置所量測之另一眼球的凝視方向、雙眼的瞳距、頭戴式顯示裝置之及時空間定位狀態計算得出。
  6. 如請求項5所述的頭戴式顯示裝置，其中該控制器用以：依據一眼球位置以及該至少一設定位置以產生至少一參考方向；以及計算該至少一參考方向以及該凝視方向的夾角以獲得該至少一視野範圍，其中該至少一參考方向以及該凝視方向的夾角小於180度。
  7. 如請求項5所述的頭戴式顯示裝置，其中該控制器用以：當該至少一參考方向以及該凝視方向的夾角小於一第一預設值時，使該至少一靜態物件被隱藏；以及當該至少一靜態物件被隱藏且該至少一參考方向以及該凝視方向的夾角變更為大於或等於一第二預設值時並持續一預設的時間長度後，使該至少一靜態物件變更為被顯示；其中該第一預設值與該第二預設值亦可由計算當下畫面的動態變化程度與當下頭戴式顯示器的動態變化程度之間的差異而有動態的調整。
  8. 一種用於頭戴式顯示裝置之校正方法，包括：量測一使用者的視野範圍，透過該使用者執行複數個方式其中一者以得知該使用者目前的最大視野角，進而用來幫助設定如請求項1的該至少一靜態物件的該至少一設定位置；以及播放不同靜態物件位置、大小、形狀、顏色的畫面；其中開始後請使用者正視中心參考點，並請使用者回答是否能夠在視覺上感知到靜態物件的存在。
  9. 如請求項8所述的校正方法，其中該使用者執行的複數個方式包括下列方式：握持虛擬實境手把指向點選、語音回答、眼球追蹤、腦波、以及其他人機介面量測。
TW110101545A 2020-04-22 2021-01-15 頭戴式顯示裝置及其控制方法與校正方法 TWI811613B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202063013554P 2020-04-22 2020-04-22
US63/013,554 2020-04-22

Publications (2)

Publication Number Publication Date
TW202141345A TW202141345A (zh) 2021-11-01
TWI811613B true TWI811613B (zh) 2023-08-11

Family

ID=78124274

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110101545A TWI811613B (zh) 2020-04-22 2021-01-15 頭戴式顯示裝置及其控制方法與校正方法

Country Status (3)

Country Link
US (1) US11314327B2 (zh)
CN (1) CN113534949B (zh)
TW (1) TWI811613B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI796222B (zh) * 2022-05-12 2023-03-11 國立臺灣大學 以沉浸式虛擬實境設備評估具視覺空間特異性之反應時間評估系統與方法
WO2024058986A1 (en) * 2022-09-12 2024-03-21 Apple Inc. User feedback based on retention prediction

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105718046A (zh) * 2014-12-23 2016-06-29 联发科技股份有限公司 用于眼部追踪的基于移动设备的头戴式显示器
US20180292896A1 (en) * 2017-04-06 2018-10-11 Intel Corporation Head-mounted display device
TW201942646A (zh) * 2018-03-29 2019-11-01 美商豪威科技股份有限公司 顯示裝置及其操作方法
TW202004421A (zh) * 2018-05-17 2020-01-16 日商索尼互動娛樂股份有限公司 用於在ｈｍｄ環境中利用傳至ｇｐｕ之預測及後期更新的眼睛追蹤進行快速注視點渲染

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8881059B2 (en) * 2011-03-15 2014-11-04 Panasonic Intellectual Property Corporation Of America Object control device, object control method, computer-readable recording medium, and integrated circuit
US9977492B2 (en) * 2012-12-06 2018-05-22 Microsoft Technology Licensing, Llc Mixed reality presentation
JP6488786B2 (ja) * 2015-03-17 2019-03-27 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
KR102400383B1 (ko) * 2015-10-23 2022-05-23 삼성전자 주식회사 전자 장치의 센서 데이터 획득 방법 및 이를 사용하는 전자 장치
US11163358B2 (en) * 2016-03-17 2021-11-02 Sony Interactive Entertainment Inc. Spectating virtual (VR) environments associated with VR user interactivity
CN106485790A (zh) * 2016-09-30 2017-03-08 珠海市魅族科技有限公司 一种画面显示的方法以及装置
CN106951153B (zh) * 2017-02-21 2020-11-20 联想(北京)有限公司 一种显示方法及电子设备
CN107479692B (zh) * 2017-07-06 2020-08-28 北京小鸟看看科技有限公司 虚拟现实场景的控制方法、设备及虚拟现实设备
CN108765260A (zh) * 2018-04-03 2018-11-06 北京易讯理想科技有限公司 一种指示屏幕外目标对象方向的方法
WO2020039933A1 (ja) * 2018-08-24 2020-02-27 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
CN110280014B (zh) * 2019-05-21 2022-09-13 西交利物浦大学 一种虚拟现实环境下降低眩晕感的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105718046A (zh) * 2014-12-23 2016-06-29 联发科技股份有限公司 用于眼部追踪的基于移动设备的头戴式显示器
US20180292896A1 (en) * 2017-04-06 2018-10-11 Intel Corporation Head-mounted display device
TW201942646A (zh) * 2018-03-29 2019-11-01 美商豪威科技股份有限公司 顯示裝置及其操作方法
TW202004421A (zh) * 2018-05-17 2020-01-16 日商索尼互動娛樂股份有限公司 用於在ｈｍｄ環境中利用傳至ｇｐｕ之預測及後期更新的眼睛追蹤進行快速注視點渲染

Also Published As

Publication number Publication date
US20210333871A1 (en) 2021-10-28
US11314327B2 (en) 2022-04-26
CN113534949B (zh) 2024-09-17
CN113534949A (zh) 2021-10-22
TW202141345A (zh) 2021-11-01

Similar Documents

Publication Publication Date Title
EP3368170B1 (en) Adjusting image frames based on tracking motion of eyes
US11061240B2 (en) Head-mountable apparatus and methods
US8831278B2 (en) Method of identifying motion sickness
CN114175045B (zh) 利用亮度变化来确定用户特征
CN107949819A (zh) 用于基于眼扫视检测的动态图形渲染的装置和方法
TWI811613B (zh) 頭戴式顯示裝置及其控制方法與校正方法
CN110300994A (zh) 图像处理装置、图像处理方法以及图像系统
JP7001832B2 (ja) 視標追跡システムの画像調整
US20230290014A1 (en) Attention-driven rendering for computer-generated objects
US9805612B2 (en) Interest-attention feedback method for separating cognitive awareness into different left and right sensor displays
JP7181293B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN116569124A (zh) 基于眼睛注视的生物反馈
US11823343B1 (en) Method and device for modifying content according to various simulation characteristics
US20230288985A1 (en) Adjusting image content to improve user experience
US12094378B2 (en) Head-mountable display (HMD) image and foveal region brightness computation
KR20230085614A (ko) 가상 디스플레이를 설정하는 가상현실장치 및 장치의 동작 방법