TWI660201B - 在顯示裝置上呈現影像之方法及呈現影像之顯示裝置 - Google Patents

在顯示裝置上呈現影像之方法及呈現影像之顯示裝置 Download PDF

Info

Publication number
TWI660201B
TWI660201B TW104115461A TW104115461A TWI660201B TW I660201 B TWI660201 B TW I660201B TW 104115461 A TW104115461 A TW 104115461A TW 104115461 A TW104115461 A TW 104115461A TW I660201 B TWI660201 B TW I660201B
Authority
TW
Taiwan
Prior art keywords
display device
image
area
viewer
display
Prior art date
Application number
TW104115461A
Other languages
English (en)
Other versions
TW201600887A (zh
Inventor
席爾凡 塞巴特
羅倫 布朗迪
塞瑞 塔皮耶
沃特 德拉茲克
Original Assignee
法商湯姆生特許公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 法商湯姆生特許公司 filed Critical 法商湯姆生特許公司
Publication of TW201600887A publication Critical patent/TW201600887A/zh
Application granted granted Critical
Publication of TWI660201B publication Critical patent/TWI660201B/zh

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/053—Detail-in-context presentations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N3/00—Scanning details of television systems; Combination thereof with generation of supply voltages
    • H04N3/10—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical
    • H04N3/16—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by deflecting electron beam in cathode-ray tube, e.g. scanning corrections
    • H04N3/22—Circuits for controlling dimensions, shape or centering of picture on screen
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0147—Head-up displays characterised by optical features comprising a device modifying the resolution of the displayed image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Image Processing (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)

Abstract

在顯示裝置(100)上呈現影像之方法，包含對影像應用幾何變換，以修飾影像，故顯示裝置上之影像區，以比影像其餘部份更高像素密度，呈現給觀看者(S18)。

Description

在顯示裝置上呈現影像之方法及呈現影像之顯示裝置
本案一般係關於一種具有像素重分割最適化之顯示裝置。顯示裝置可為使用者隨身顯示裝置，諸如頭戴顯示裝置(HMD)，但不限於此類顯示裝置。
此等HMD裝置主要由顯示模組(例如LCD或OLED)和光件組成。此光件通常設計來修飾光，當做是在離觀看者無限遠，或有限遠但大距離(例如肉眼超焦點距離)所發生(得以適應放在身邊的顯示幕)，並增加視域，以改進浸沒感受。
此等HMD裝置可耦合感測器，諸如慣性測量單位(IMU)，以測量使用者頭部位置。有賴感測器透過顯示提供給使用者的視訊內容，可視其頭部定向而定，因此，使用者可在虛擬世界裡運動，經歷到浸沒感受。
US 2012/0154277 A1揭示追蹤使用者頭部如眼部位置，以決定使用者之焦區，把最適影像之一部份耦合至使用者焦區。然而，US 2012/0154277 A1並未考慮到要在顯示器上呈現影像最佳像素重分割之任何概念。
按照本發明之一要旨，提供一種在顯示裝置上呈現影像之方法。此方法包含對影像應用幾何變換，修飾影像，使顯示裝置上之影像區，以此影像其餘部份更高像素密度呈現給觀看者。
按照本案另一要旨，提供一種呈現影像之顯示裝置。處理器構成對影像應用幾何變換，修飾影像，使顯示裝置上之影像區，以比影像其餘部份更高像素密度，呈現給觀看者。
本案其他目的和優點可利用申請專利範圍特別指出之諸要 件和組合實施和達成。
須知前述一般說明和以下詳述，只供舉例說明用，不限制本案申請專利範圍之內容。
100‧‧‧顯示裝置
105‧‧‧顯示模組
110‧‧‧固定元件
115‧‧‧作動器
120‧‧‧光學組件
125‧‧‧連接構件
130‧‧‧眼睛追蹤感測器
140‧‧‧控制模組
145‧‧‧位置感測器
200‧‧‧控制模組
210‧‧‧I/O介面
220‧‧‧記憶裝置
230‧‧‧處理器
S10‧‧‧接收浸沒內容
S12‧‧‧檢測頭部位置
S14‧‧‧選擇一部份內容顯示
S16‧‧‧決定目視位置
S18‧‧‧藉應用幾何變換修飾內容並將修飾內容呈現在顯示裝置上
S20‧‧‧運動光組件
第1圖表示凹窩周圍視角度位置而定之視覺銳度；第2圖表示本案具體例之一般概覽圖；第3圖表示光學元件施加之畸變；第4圖表示按照本案具體例應用於影像之幾何變換過程；第5圖表示具有與原本系統同樣功能性之透鏡設計；第6圖表示本案具體例HMD系統之全部光學系統；第7圖為以顯示器上視場位置為函數點描之感受視域；第8圖簡略表示本案具體例之顯示裝置，其中第8(a)圖為裝置平面圖，第8(b)圖為裝置前視圖；第9圖為繪示第8圖所示控制模組的組件方塊圖；第10圖為繪示本案具體例顯示裝置所進行過程一實施例之流程圖。
本案上述和其他要旨、特點和優點，由如下參照附圖之說明，即使清楚。
以下說明本案具體例之諸要旨，為解說起見，規範特別組態和細節，俾能徹底瞭解。惟技術專家亦知，本案不需於此呈現之特定細節，亦可實施。
為方便明白本案具體例之構想，以介紹人視覺系統之一些特徵。
第1圖表示視覺銳度，因凹窩週圍的角度位置而定，引用自維基百科有關「正中凹窩」的網頁。凹窩是眼睛的中央區，錐體密度最高。此區只表示幾度而已，視覺銳度最大。此銳度隨視域增加而快速遞減(見第1圖)。意思是即使需要大視域，把浸沒感覺帶給觀看者，周邊視覺還是感知不到細節。
顯示裝置之解像度，有賴分立像素發生影像，是基於此視覺 銳度特徵：視觀察距離而定，像素之所以無法感受，是因其空間頻率超過眼睛的分離能力。
人眼在凹窩區可大致辨視弧角一分鐘所分離之兩點。意即例如42" HD(高清晰度)顯示幕1920×1080像素，寬93cm，可高到166cm距離，在其中央區的像素密度為每度60像素，大致相當於視覺銳度。
茲以關於解像度為1280×800像素之HMD裝置討論為例。 在此實施例中，水平視域大約90°(或110°，視光源而定)，每眼的像素理論值為640(但實際上大概接近500)：500像素分佈於90°以上，表示像素密度低於每度5像素。意即比受重視的Nyquist-Shannon抽樣定理對一弧分鐘的視覺銳度所需，還要低十倍。即使此HMD的下一代應基於具有1920×1080像素之顯示器，解像度在凹窩區仍保留在視覺銳度以下。
相反地，在週顛視覺區的像素密度太高，人眼無法感受，因視覺銳度在視覺週邊會大降。
本案繪圖說明顯示裝置，諸如HMD裝置，增加顯示器一區內之像素密度，隨增加之像素密度，減少其週邊區之此密度。由於眼睛可在顯示器提供的內容運動，此項密度增加不限定在相當於凹窩之極狹窄區，而在運動頭部之前，可應用在相當於平均眼睛運動之區。意即使用者眼光可在高密度資訊區周圍逡巡，端賴提供疏資訊的大視域，享有浸沒感動。
在與慣性測量單位(IMU)耦合之HMD裝置中，使用者可運動頭部，定中於物體或在週邊以低解像度可感受之區，則劇烈提高對此物體或區之解像度。
於現時可用到的HMD裝置，諸如Oculus Rift HMD，由顯示裝置發生的像素，以利用光件以幾乎一定密度，分佈於全視域。因為此光件簡單，會引進強烈正畸變，必須對所要顯示的視域內容應用反逆變形，以訊號處理方式補正。觀看者可感受到具有大視域的視域或圖形浸沒內容，但解像度不良，即使在HMD之中央區。
所謂「形成凹窩」在影像擷取技術領域業已公知。影像可賴凹窩感測器擷取，此處之彩色像素(photosites)密度在感測器中央區較高，或以凹窩透鏡關聯之標準感測器擷取。
凹窩成像也是訊號處理技術領域所周知，涵蓋影像壓縮、影像傳輸，或注視誘發顯示(gaze contingent displays)。為此最後項應用，眼睛追蹤器檢測使用者正在注視所在，在此區動態顯示的資訊(含高頻率之影像部份)，比週邊(只有低頻率、模糊)為多。
本案擬議一系統，構成(或適於)提高顯示器上此區之像素密度，而減少顯示器上此區的週邊區域之像素密度。然而，須知與在有利區顯示細部(高頻率)之凹窩影像不同，模糊資訊(或只有低頻率)顯示在具有一定像素密度之週邊，所擬議系統本身即修飾像素密度。
像素之重分割可利用藉光件所施轉變T，加以修飾。在此情況下，待顯示之內容需利用反逆幾何變換T-1修飾。然後，增加像素密度，即提高感受光度，反之亦然。此項光度修飾需全體或部份，以顯示器或應用於待顯示影像之訊號處理，加以補正。
第2圖代表本案具體概覽圖。
習知光學元件修飾光，似離觀看者無限遠(或有限遠，但很大距離)發生，容許觀看者眼睛包涵。亦可增加顯示器視域，改進觀看者的浸沒感覺。
除習知技術外，本案非技術性具體例擬議，視與中心之距離，令光學元件應用畸變(如第3圖所示)，修飾感受之像素密度。此距離可按照水平軸線為徑向或軸向。如第4圖所示，本案具體例光學元件造成的畸變，提供像素重分割，亦即顯示器上所顯示像素一定密度，變換成修飾之像素密度，其中增加之像素密度，是在視域之中央區感受。
第4圖繪示本發明具體例應用於影像之幾何變換過程。在提供給顯示器之前，輸入影像I利用函數T-1(I)，保存在中央區之細節。此項變換必須相當於本案具體例光學元件所應用之反逆變換函數。可例如利用多項式函數求其近似值。光學元件應用畸變T(I1)，對觀看者提供影像I，在視域中心之中央區(β週圍)具有高密度資訊(見第4圖)。
觀看者所感受像素密度，如第4圖曲線所示。α代表在β週圍的位置，界定像素密度較一定像素密度增減之限制位置。此曲線視光學變換而定，於此做為實施例。所感受之像素密度可例如連續遞減，直到最大視域。
所感受密度為最大值之位置β，於此設在1/2 FOV(視域)。 眼睛動時，此位置會變化，以HMD裝置上的眼睛追蹤系統追蹤。光學元件可左右上下移動，視眼睛追蹤系統輸出訊號之輸出而定，使最大密度區域與指定眼睛之光軸對準。影像訊號按照與修飾光學組態之新T/T-1變換式修飾。當眼睛被跟蹤時，光學元件隨之移動，α值可按光學設計減少，受限於凹窩延伸，但排除視為靜止形態之眼睛運動邊緣。
所擬議解決方案必須與標準實施方式比較，以比較每角度扇區的相對感受像素密度。
第5圖繪示透鏡設計，具有與原有系統同樣的功能性。
光學系統維度定為總視域約95°，物體視場寬2×37.5mm，即顯示幕寬度。第5圖表示光線追蹤軸向視場點、中間視場和邊際視場。系統設計為在影像空間內遠焦，在離最後光表面的馳垂之10mm距離處，光瞳為4mm。邊際視場點處之MTF(調變傳送函數)當然很糟，可由未經準直的紅副光束到達光瞳推知。在影像空間內的感受視域為±29°。
為修飾感受的角度像素密度，需在物體平面附近設置透鏡。那向場透鏡在光軸周圍的顯示中央部份，以影像空間內比外面像素更大的角位密度，映射像素。有此性質之光學表面必須為均勻之非球體。即以轉動對稱之多項式非球體表面，如偏離非球體表面之多項式展開所述。均勻非球體表面模式只用徑向座標之均勻功率，來說明非球面性。表面馳垂度如下： 其中c為曲率，r為透鏡內徑向座標單位，k為錐體常數。向場透鏡需要前面為非球面，以便分別調電視場點之不同位置，又兼需後面為非球面，可供各主光線指向本具體例HMD裝置光學系統之入射光瞳。
第6圖表示本具體例HMD裝置之全體光學系統，改進接近光軸之角位解像度密度。第一透鏡把視場點歪向影像空間內的不同角位密度。其形狀看複雜，但是利用SCHOTT AG的B 270(商標)玻璃製成，可以高容量低成本模製，另外主透鏡也是同樣材料製成，亦需模製，因具有二非球形表面。
透鏡處方如下：表面資料摘要：
表面資料詳細：表面 OBJ 標準
表面 1 均勻非球面
於r^2係數：0
於r^4係數：-6.9859233e-005
於r^6係數：2.4668817e-007
於r^8係數：-3.9883699e-010
於r^10係數：5.5885882e-013
於r^12係數：-6.6854249e-016
於r^14係數：3.6309444e-019
於r^16係數：-1.5338173e-023
表面 2 均勻非球面
於r^2係數：0.0028058026
於r^4係數：-2.6206468e-005
於r^6係數：1.0404351e-008
於r^8係數：1.903396e-011
於r^10係數：-6.34717e-015
於r^12係數：0
於r^14係數：0
於r^16係數：0
表面 STO 標準
表面 4 均勻非球面
於r^2係數：0
於r^4係數：0.00049344985
於r^6係數：-1.8727954e-005
於r^8係數：3.8728936e-007
於r^10係數：-4.8665752e-009
於r^12係數：3.6241717e-011
於r^14係數：-1.4659605e-013
於r^16係數：2.4658053e-016
表面 5 均勻非球面
於r^2係數：0
於r^4係數：0.00019263165
於r^6係數：-4.3484529e-006
於r^8係數：5.3643851e-008
於r^10係數：-3.6869579e-010
於r^12係數：1.4315606e-012
於r^14係數：-2.9346767e-015
於r^16係數：2.4867346e-018
MTF也獲得改進，做為光學元件形態提供的附帶益處。
最後，為證明第6圖所示光學系統具有本案所述功能性，所感受視域可做為顯示器上視場位置之函數點繪，如第7圖所示。由第7圖可見改進系統實際上為一曲線，形狀像第4圖所理論形，造成在光軸方向附近有較高感受之像素密度。
第8圖簡略繪示本案具體例之顯示裝置，其中第8(a)圖為裝置平面圖，第8(b)圖為裝置前視圖。
如第8圖所示，顯示裝置100可含有顯示模組105，可例如為具有光源之LCD(液晶顯示器)，或OLED(有機發光顯示器)。顯示裝置100兩側安裝有固定元件110，諸如眼睛架臂，可分別跨越觀看者耳朵， 協助保持裝置100於定位。另外，固定元件110可為鬆緊帶，保持裝置100在觀看者頭上。
顯示裝置100又含光學組件120，和推動光學組件120用之作動器115。光學組件120可包括二光學元件，其設計如上參照第6圖所述。 光學組件120透過連接構件125連接至作動器115。作動器115安裝於固定元件110，而光學組件120是利用顯示模組105前面的連接構件125支持。 此等作動器115、光學組件120和連接構件125，分別安裝在固定元件110兩側。幸賴作動器115，光學組件120才能上下左右運動，分別如第8(b)圖之箭頭所示。須知光學組件120之各光學元件可另外具有Fresnel透鏡的形式，使光學元件形狀更薄，重量更輕。
顯示裝置100設有眼睛追蹤感測器130，以檢測觀看者眼睛之注視點。眼睛追蹤感測器130可例如安裝於顯示模組105之上部或下部，以防顯示幕可能因感測器130引起的陰影。再者，顯示裝置100設有位置感測器145，諸如慣性測量單位(IMU)，以測量安裝顯示裝置100的觀看者頭部位置。
顯示裝置100又含有控制模組140，以控制顯示模組105、作動器115、眼睛追蹤感測器130和位置感測器145。控制模組140經有線或無線連接於此等元件。控制模組140亦經有線或無線連接至外部裝置(圖上未示)。外部裝置儲存要提供給顯示裝置100之影像或視訊。影像或視訊是由外部裝置提供給控制模組140，再由控制模組140在顯示模組105上呈現感受影像或視訊。
顯示裝置100可有覆罩(圖上未示)，包圍顯示模組105週邊，提供觀看者視域內之暗空間，使觀看者具有更佳浸沒感。
第9圖為方塊圖，說明第8圖所示控制模組之組件。
如第9圖所示，控制模組200包括I/O介面210，和記憶裝置220。介面210和記憶裝置220構成接收和儲存影像或視訊，有待在顯示模組105上呈現(第8圖)。
模組200又包括處理器230。處理器230根據來自眼睛追蹤感測器130的輸入，進行檢測觀看者的眼睛注視點，因應所檢測眼睛注視點，以作動作動器115，呈現顯示模組105上外部裝置所接收影像或視訊， 並因應所檢測觀看者頭部位置，以及位置感測器145之輸入，軸捲顯示模組105上所顯示影像或視訊。
處理器230又應用幾何變換T-1(I)，參照第4圖所述，進行修飾影像或視訊，可增加顯示器105上所檢測眼睛注視點周圍區內影像或視訊之資訊密度。處理器230可又應用光度補正，以補正幾何變換T-1(I)可能造成影像或視訊之光度變化。記憶裝置220亦構成儲存處理器230所要執行之至少一程式，供進行上述過程。
第10圖為一流程圖，說明本案具體例顯示裝置所進行過程之一實施例。
在步驟S10，顯示裝置100之控制模組140；200，從外部裝置(圖上未示)，經由I/O介面210，接收浸沒影像或視訊內容。所接收內容儲存於記憶模組230。浸沒內容可為HMD裝置可得之全部內容，以顯示360°內容(或低於360°，但超過HMD顯示幕所能顯示)，換言之，浸沒內容面積比HMD顯示幕之面積更寬。有賴此浸沒內容，觀看者才能浸沒於HMD裝置上所顯示之虛擬世界，並且可運動頭部選擇全部360°內容中想看到的部份。
在步驟S12，由位置感測器145檢測觀看者頭部位置，再於步驟S14，利用處理器220選擇要在HMD裝置上顯示的360°內容之一部份。 觀看者想看的360°內容之一部份，相當於所檢測頭部位置。
在步驟S16，利用眼睛追蹤感測器130決定，安裝有顯示裝置100的觀看者眼睛之注視位置。所檢測資訊從感測器130輸出至控制模組200之處理器230。根據所檢測資訊，處理器220進行分析，特定顯示模組105上觀看者眼睛之注視位置，換言之，特定觀看者在顯示模組105上正觀看區。須知步驟S16可在步驟S10-S14之間進行。
另外，在步驟S16，內容有趣區域(ROI)之資訊，可用來決定觀看者眼睛注視位置，取代利用眼睛追蹤感測器130檢測。在此情況時，可利用測試使用者，或經由內容加設的元資料，與內容關聯之任何已知專用ROI分析軟體，預先決定內容之ROI區(每一影像或每一視訊框)。內容之ROI可假設為眼睛注視位置，因為觀看者最容易注意到內容之ROI區，所以眼睛注視更加會受到ROI之吸引。
在步驟S18，處理器220讀取記憶模組230內儲存之影像或視訊，並修飾影像或視訊，使具有影像或視訊較高密度資訊區，可形成於顯示器105上特定眼睛注視位置。影像或視訊之修飾可應用幾何變換進行，相當於光學組件120(第4圖)所應用反逆變換函數。然後，處理器220即呈現在顯示裝置105上之修飾影像或視訊內容。
在步驟S20，處理器220控制作動器115，因應顯示器105上特定眼睛注視位置，運動個別光學組件120，使觀看者可透過光學組件120看到顯示器105。例如，可預先建立顯示器105上眼睛注視位置與其光學組件120相對應位置間之關聯，並儲存於記憶模組230內。在此情況下，處理器220按照此關聯，促成作動器115運動光學組件120至一位置，相當於所檢測眼睛注視位置。
由於光學組件120應用畸變T(I1)，可補正對顯示器105上呈現影像或視訊所為之變換，由觀看者透過光學組件120所感受影像或視訊內容，在眼睛注視位置之資訊密度，比在眼睛注視位置週邊為高。
可在顯示器105上呈現影像或視訊內容之際，重複步驟S12至S20，容許因應即時所檢測眼睛注視位置，改變對影像或視訊之密集資訊區(即比內容其餘區內資訊密度更高之影像或視訊內容區)，以及光學組件120位置。
按照具體例，顯示器105上眼睛注視區內可得之資訊密度，可以劇升，在此區內可提供更細節。另方面，由於在週邊視域之視覺銳度低很多，可保存大視域帶給的浸沒感。
另外，影像或視訊上之密集資訊區，與光學組件120之位置會相混，例如，影像或視訊上之密集資訊區，會混入顯示器105上之影像或視訊中央區，而光學組件120之位置，可為相對應位置。在此情況，上述步驟S12和S16可省略。
又另外，在步驟S14，處理器220可修飾從外部裝置直接接收的影像或視訊，在顯示器105上呈現影像和視訊。在此情況，所感受影像或視訊內容，不儲存於記憶模組230。
於此引述的全部實施例和條件語，旨在教學上輔助讀者瞭解內容和發明人提供之構想，以促進技術，可解釋為不限於如此特別引述之 實施例和條件，說明書內此等實施例之組織也不涉及顯示內容之優劣。

Claims (12)

  1. 一種在顯示裝置上呈現影像之方法，包含：對影像之至少一區應用幾何變換，以修飾影像；呈現在顯示裝置上已應用幾何變換過之影像；其中在顯示裝置上呈現之至少一區，是透過應用光學組件應用反逆變換，相當於已對影像應用過之幾何變換，呈現給觀看者，故感受到已應用幾何變換之至少一區，具有像素密度較未應用幾何變換之區為高者。
  2. 如申請專利範圍第1項之方法，其中方法又包含：測定觀看者之眼睛注視位置；因應所測定眼睛注視位置，改變顯示裝置上像素密度較高之影像區，和光學組件之位置者。
  3. 如申請專利範圍第1項之方法，其中顯示裝置上像素密度較高之影像區，係固定在顯示裝置上之預定位置者。
  4. 如申請專利範圍第1項之方法，其中顯示裝置係頭戴式顯示(HMD)裝置者。
  5. 如申請專利範圍第4項之方法，其中內容具有較顯示裝置上可顯示區更寬，而其中方法又包含：檢測觀看者頭部位置；因應所檢測頭部位置，選擇要在顯示裝置上顯示的影像之一部份者。
  6. 一種呈現影像之顯示裝置，至少包括處理器，構成：對影像之至少一區應用幾何變換，以修飾影像；呈現在顯示裝置上已應用幾何變換過之影像；其中在顯示裝置上呈現之至少一區，是透過應用光學組件應用反逆變換，相當於已對影像應用過之幾何變換，呈現給觀看者，故感受到已應用幾何變換之至少一區，具有像素密度較未應用幾何變換之區為高者。
  7. 如申請專利範圍第6項之顯示裝置，其中顯示裝置又包括眼睛追蹤感測器，其中處理器又構成：與眼睛追蹤感測器合作，測定觀看者之眼睛注視位置；因應所測定眼睛注視位置，改變顯示裝置上像素密度較高之影像區，和光學組件之位置者。
  8. 如申請專利範圍第6項之顯示裝置，其中處理器又構成：根據內容加設之有趣區域資訊，測定觀看者之眼睛注視位置；因應所測定眼睛注視位置，改變顯示裝置上像素密度較高之影像區，和光學組件之位置者。
  9. 如申請專利範圍第7項之顯示裝置，其中顯示裝置又包括作動器，以運動光學組件之位置，光學組件之位置係因應所測定眼睛注視位置，藉操作作動器加以改變者。
  10. 如申請專利範圍第6項之顯示裝置，其中顯示裝置上具有較高像素密度之影像區位置，係固定於顯示裝置上之預定位置者。
  11. 如申請專利範圍第6項之顯示裝置，其中顯示裝置係頭戴式顯示(HMD)裝置者。
  12. 如申請專利範圍第11項之顯示裝置，其中顯示裝置又包括位置感測器，以檢測觀看者之頭部位置，其中影像具有比顯示裝置所能顯示區更寬，且其中處理器又構成：與位置感測器合作，檢測觀看者之頭部位置；因應所檢測頭部位置，選擇顯示裝置上所顯示影像之一部份者。
TW104115461A 2014-06-17 2015-05-15 在顯示裝置上呈現影像之方法及呈現影像之顯示裝置 TWI660201B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP14305923.6A EP2958074A1 (en) 2014-06-17 2014-06-17 A method and a display device with pixel repartition optimization
??14305923.6 2014-06-17

Publications (2)

Publication Number Publication Date
TW201600887A TW201600887A (zh) 2016-01-01
TWI660201B true TWI660201B (zh) 2019-05-21

Family

ID=51162628

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104115461A TWI660201B (zh) 2014-06-17 2015-05-15 在顯示裝置上呈現影像之方法及呈現影像之顯示裝置

Country Status (10)

Country Link
US (1) US11593914B2 (zh)
EP (2) EP2958074A1 (zh)
JP (1) JP6684728B2 (zh)
KR (1) KR102503029B1 (zh)
CN (1) CN106461951B (zh)
CA (1) CA2952710C (zh)
MX (1) MX371370B (zh)
RU (1) RU2693329C2 (zh)
TW (1) TWI660201B (zh)
WO (1) WO2015193287A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10054797B2 (en) * 2015-02-12 2018-08-21 Google Llc Combining a high resolution narrow field display and a mid resolution wide field display
CN106293047B (zh) * 2015-06-26 2020-01-10 微软技术许可有限责任公司 通过动态分辨率缩放来减少移动设备的功耗
US10958834B2 (en) 2016-07-22 2021-03-23 Immervision, Inc. Method to capture, store, distribute, share, stream and display panoramic image or video
JP6844210B2 (ja) * 2016-11-16 2021-03-17 凸版印刷株式会社 視覚的顕著性マップ生成装置、視覚的顕著性マップ生成方法及びプログラム
EP3602583A4 (en) 2017-03-22 2020-07-29 Magic Leap, Inc. DISPLAY SYSTEM WITH DYNAMIC FIELD OF VIEW AND VARIABLE FOCUS
JP2020523803A (ja) 2017-05-26 2020-08-06 グーグル エルエルシー 疎サンプリング超解像を用いたニアアイディスプレイ
CN110832442A (zh) * 2017-06-09 2020-02-21 索尼互动娱乐股份有限公司 注视点渲染系统中的优化的阴影和自适应网状蒙皮
US20190079284A1 (en) * 2017-09-08 2019-03-14 Mediatek Inc. Variable DPI Across A Display And Control Thereof
US10521881B1 (en) * 2017-09-28 2019-12-31 Apple Inc. Error concealment for a head-mountable device
US10511842B2 (en) * 2017-10-06 2019-12-17 Qualcomm Incorporated System and method for foveated compression of image frames in a system on a chip
WO2019077614A1 (en) 2017-10-22 2019-04-25 Lumus Ltd. ENHANCED REALITY DEVICE MOUNTED ON THE HEAD AND USING AN OPTICAL BENCH
JP7325408B2 (ja) * 2018-05-15 2023-08-14 ソニーセミコンダクタソリューションズ株式会社 表示装置
IL259518B2 (en) * 2018-05-22 2023-04-01 Lumus Ltd Optical system and method for improving light field uniformity
WO2020123561A1 (en) * 2018-12-10 2020-06-18 Daqri, Llc Adaptive viewports for hypervocal viewport (hvp) displays
MX2021015750A (es) 2019-06-27 2022-01-27 Lumus Ltd Aparato y metodos de seguimiento ocular a partir de la obtencion de imagenes oculares mediante un elemento optico de guia de luz.
CN114175630A (zh) * 2019-07-28 2022-03-11 谷歌有限责任公司 利用注视点网格渲染沉浸式视频内容的方法、系统和介质
EP4042232A4 (en) 2019-12-08 2022-12-28 Lumus Ltd. OPTICAL SYSTEMS WITH COMPACT IMAGE PROJECTOR
CA3163674A1 (en) 2019-12-25 2021-07-01 Lumus Ltd. Optical systems and methods for eye tracking based on redirecting light from eye using an optical arrangement associated with a light-guide optical element
KR20230015353A (ko) * 2020-05-27 2023-01-31 소니그룹주식회사 표시 장치 및 표시 방법
US20240013752A1 (en) * 2020-08-03 2024-01-11 Arizona Board Of Regents On Behalf Of The University Of Arizona Perceptual-driven foveated displays
WO2022130393A1 (en) 2020-12-20 2022-06-23 Lumus Ltd. Image projector with laser scanning over spatial light modulator
US11899215B1 (en) * 2022-07-29 2024-02-13 Htc Corporation Head mounted display, display device and image display method thereof

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120105310A1 (en) * 2010-11-03 2012-05-03 Trex Enterprises Corporation Dynamic foveal vision display

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01252993A (ja) * 1988-04-01 1989-10-09 Nippon Telegr & Teleph Corp <Ntt> 画像表示方法
JPH0638219A (ja) 1992-07-20 1994-02-10 Olympus Optical Co Ltd 映像表示装置
JP2896291B2 (ja) 1993-06-14 1999-05-31 株式会社エイ・ティ・アール通信システム研究所 画像表示装置
JP2638444B2 (ja) * 1993-10-04 1997-08-06 日本電気株式会社 頭部搭載型画像表示装置
JP3283367B2 (ja) * 1993-11-11 2002-05-20 三菱プレシジョン株式会社 潜望鏡映像表示装置
JP3604443B2 (ja) * 1995-02-28 2004-12-22 株式会社島津製作所 テレビジョンシステム
US6734838B1 (en) 1998-05-18 2004-05-11 Dimension Technologies Inc. Enhanced resolution for image generation
JP2000310747A (ja) * 1999-02-26 2000-11-07 Mr System Kenkyusho:Kk 画像観察装置
US20020063807A1 (en) 1999-04-19 2002-05-30 Neal Margulis Method for Performing Image Transforms in a Digital Display System
JP4374708B2 (ja) * 2000-03-30 2009-12-02 株式会社デンソー 網膜走査ディスプレイ装置及び光走査装置
JP2004523795A (ja) 2001-02-21 2004-08-05 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ ビデオ信号を処理する表示システム
US7068813B2 (en) 2001-03-28 2006-06-27 Koninklijke Philips Electronics N.V. Method and apparatus for eye gazing smart display
US20060145945A1 (en) 2002-01-07 2006-07-06 Lewis John R Scanned beam system with distortion compensation
US7495638B2 (en) * 2003-05-13 2009-02-24 Research Triangle Institute Visual display with increased field of view
RU2322771C2 (ru) 2005-04-25 2008-04-20 Святослав Иванович АРСЕНИЧ Стереопроекционная система
US20090309811A1 (en) 2006-10-31 2009-12-17 Bae Systems Plc Image display systems
IL196078A (en) * 2007-12-20 2014-09-30 Raytheon Co Imaging system
US8941559B2 (en) 2010-09-21 2015-01-27 Microsoft Corporation Opacity filter for display device
US9690099B2 (en) 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
CN103380625A (zh) 2011-06-16 2013-10-30 松下电器产业株式会社 头戴式显示器及其位置偏差调整方法
US8749892B2 (en) 2011-06-17 2014-06-10 DigitalOptics Corporation Europe Limited Auto-focus actuator for field curvature correction of zoom lenses
US8817379B2 (en) * 2011-07-12 2014-08-26 Google Inc. Whole image scanning mirror display system
US20130147686A1 (en) * 2011-12-12 2013-06-13 John Clavin Connecting Head Mounted Displays To External Displays And Other Communication Networks
US20130215147A1 (en) 2012-02-17 2013-08-22 Esight Corp. Apparatus and Method for Enhancing Human Visual Performance in a Head Worn Video System
US20130246967A1 (en) * 2012-03-15 2013-09-19 Google Inc. Head-Tracked User Interaction with Graphical Interface
US9720231B2 (en) * 2012-09-26 2017-08-01 Dolby Laboratories Licensing Corporation Display, imaging system and controller for eyewear display device
JP5935640B2 (ja) * 2012-10-01 2016-06-15 ソニー株式会社 情報処理装置、表示制御方法及びプログラム
CN103593051B (zh) * 2013-11-11 2017-02-15 百度在线网络技术（北京）有限公司 头戴式显示设备

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120105310A1 (en) * 2010-11-03 2012-05-03 Trex Enterprises Corporation Dynamic foveal vision display

Also Published As

Publication number Publication date
CN106461951A (zh) 2017-02-22
EP2958074A1 (en) 2015-12-23
MX2016016718A (es) 2017-04-13
KR20170020351A (ko) 2017-02-22
CA2952710A1 (en) 2015-12-23
MX371370B (es) 2020-01-28
CN106461951B (zh) 2020-07-17
RU2693329C2 (ru) 2019-07-02
TW201600887A (zh) 2016-01-01
RU2017101239A (ru) 2018-07-17
US20170132757A1 (en) 2017-05-11
WO2015193287A1 (en) 2015-12-23
JP2017522591A (ja) 2017-08-10
EP3158531B1 (en) 2024-04-24
JP6684728B2 (ja) 2020-04-22
KR102503029B1 (ko) 2023-02-23
CA2952710C (en) 2024-01-02
US11593914B2 (en) 2023-02-28
EP3158531A1 (en) 2017-04-26
RU2017101239A3 (zh) 2018-12-13

Similar Documents

Publication Publication Date Title
TWI660201B (zh) 在顯示裝置上呈現影像之方法及呈現影像之顯示裝置
US10984756B2 (en) Adaptive parameters in image regions based on eye tracking information
US9191658B2 (en) Head-mounted display and position gap adjustment method
US20220222790A1 (en) Gaze Direction-Based Adaptive Pre-Filtering of Video Data
US10129520B2 (en) Apparatus and method for a dynamic “region of interest” in a display system
CN106959759B (zh) 一种数据处理方法及装置
CN108154864B (zh) 显示屏处理方法、第一电子设备以及第二电子设备
KR20200142539A (ko) 동적 포비티드 파이프라인
US11143876B2 (en) Optical axis control based on gaze detection within a head-mountable display
CN111602082A (zh) 用于包括传感器集成电路的头戴式显示器的位置跟踪系统
WO2011136213A1 (ja) 表示装置
WO2019217260A1 (en) Dynamic foveated display
WO2019217262A1 (en) Dynamic foveated rendering
US10771774B1 (en) Display apparatus and method of producing images having spatially-variable angular resolutions
US10083675B2 (en) Display control method and display control apparatus
Hwang et al. Augmented Edge Enhancement on Google Glass for Vision‐Impaired Users