TW202119098A - 顯示系統 - Google Patents

顯示系統 Download PDF

Info

Publication number
TW202119098A
TW202119098A TW109127372A TW109127372A TW202119098A TW 202119098 A TW202119098 A TW 202119098A TW 109127372 A TW109127372 A TW 109127372A TW 109127372 A TW109127372 A TW 109127372A TW 202119098 A TW202119098 A TW 202119098A
Authority
TW
Taiwan
Prior art keywords
image
display
information
background image
gaze
Prior art date
Application number
TW109127372A
Other languages
English (en)
Other versions
TWI827874B (zh
Inventor
蔡育根
楊博森
萬湘庭
丁領億
Original Assignee
宏達國際電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏達國際電子股份有限公司 filed Critical 宏達國際電子股份有限公司
Publication of TW202119098A publication Critical patent/TW202119098A/zh
Application granted granted Critical
Publication of TWI827874B publication Critical patent/TWI827874B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/40—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images giving the observer of a single two-dimensional [2D] image a perception of depth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

顯示系統包括運算裝置以及顯示裝置。運算裝置接收狀態資訊以及顯示影像，依據狀態資訊解析顯示影像以產生注視影像、背景影像以及對應注視影像的定位資訊。顯示裝置耦接運算裝置。顯示裝置用以：偵測使用者的眼球狀態以產生狀態資訊；接收注視影像、背景影像以及定位資訊；以及，放大背景影像以產生放大背景影像，依據定位資訊以結合注視影像至放大背景影像上來產生輸出影像。

Description

顯示系統
本發明是有關於一種顯示系統，且特別是有關於一種可提供虛擬影像顯示效果的顯示系統。
隨著電子科技的進步，使用者對於顯示裝置所能提供的視覺感官的體驗要求，以隨之升高。因此，一種所謂的虛擬實境的顯示技術被提出。
在習知的技術領域中，虛擬實境顯示裝置的硬體開發者，常因為高規格顯示需求，而面臨傳輸頻寬不足及/或處理器運算時間過長的問題。為解決這樣的問題，硬體開發者僅能採用高規格的圖形處理晶片，並提供高規格的資料傳輸配件來解決。然而，這樣的方式常使顯示裝置的成本過高，並降低產品的價格競爭力。
本發明提供一種顯示系統，可以降低顯示影像的圖形處理的負載與計算時間。
本發明的顯示系統包括運算裝置以及顯示裝置。運算裝置接收狀態資訊以及顯示影像，依據狀態資訊解析顯示影像以產生注視影像、背景影像以及對應注視影像的定位資訊。顯示裝置耦接運算裝置。顯示裝置用以：偵測使用者的眼球狀態以產生狀態資訊；接收注視影像、背景影像以及定位資訊；以及，放大背景影像以產生放大背景影像，依據定位資訊以結合注視影像至放大背景影像上來產生輸出影像。
基於上述，本發明透過運算裝置依據狀態資訊將顯示影像拆分為注視影像以及背景影像。並針對注視影像以及背景影像執行不同細緻度的處理。顯示裝置則接收注視影像、背景影像以及定位資訊，並依據定位資訊使注視影像以及背景影像相結合以產生顯示影像。如此一來，不論是在影像處理或是相關資訊的傳輸上，都可以有效的節省頻寬，提供處理的速率並有效節省所需的功耗。
請參照圖1，圖1繪示本發明一實施例的顯示系統的示意圖。顯示系統100可提供虛擬實境（Virtual Reality, VR）的顯示效果，當然，顯示系統100亦可提供擴增實境（Augmented Reality, AR）以及混合實境（Mix Reality）的顯示效果。顯示系統100包括運算裝置110以及顯示裝置120。運算裝置110接收狀態資訊POSE以及顯示影像OIMG。運算裝置110並依據狀態資訊POSE來解析顯示影像OIMG以產生注視影像F、背景影像P以及對應注視影像F的定位資訊I。其中，狀態資訊POSE由顯示裝置120所提供。顯示裝置120可藉由偵測使用者的眼球EYE的眼球狀態以產生狀態資訊POSE。依據狀態資訊POSE，運算裝置110可獲知顯示影像OIMG中使用者凝視的區域以及非凝視的區域，並將顯示影像OIMG，分別對應使用者凝視的區域以及非凝視的區域的影像拆分，以獲得注視影像F以及背景影像P。並且，運算裝置110還依據注視影像F與背景影像P的相對位置關係，來產生對應注視影像F的定位資訊I。
在此請注意，基於注視影像F為使用者注視的影像，位於人眼敏感區。因此，運算裝置110可針對注視影像F進行更細緻與優化的影像處理。而背景影像P非為使用者注視的影像，位於人眼非敏感區。因此，運算裝置110可針對背景影像P進行相對粗略化的影像處理。因此，運算裝置110所產生的注視影像F的解析度，可以高於背景影像P的解析度。
在本實施例中，運算裝置110可組合注視影像F、背景影像P以及定位資訊I為圖像形式的一組合資訊DP。並透過傳送組合資訊DP至顯示裝置120，以將注視影像F、背景影像P以及定位資訊I傳送至顯示裝置120。在此，組合資訊DP的收發動作，可以透過有線或無線的通信方式來進行。
運算裝置110可透過序列的方式，依序傳輸注視影像F、定位資訊I以及背景影像P，以減低傳輸頻寬的需求。
在另一方面，顯示裝置120接收組合資訊DP，並解析出組合資訊DP中的注視影像F、背景影像P以及定位資訊I。顯示裝置120可針對背景影像P進行放大以獲得放大背景影像P’。接著，顯示裝置120依據定位資訊I將注視影像F結合至放大背景影像P’上以產生輸出影像DIMG。
顯示裝置120可依據其中的顯示面板的尺寸，來對背景影像P進行放大。並且，顯示裝置120可依據其中的顯示面板來建立一座標系統。其中，定位資訊I對應注視影像F上的一設定點SP的座標值。
顯示裝置120透過疊加注視影像F與放大背景影像P’上以產生輸出影像DIMG，並將輸出影像DIMG提供至使用者的眼球EYE以產生視覺效果。
由上述的說明可以得知，透過精緻化注視影像F，可以維持使用者的視覺效果。而透過粗略化背景影像P，則可以有效降低圖形處理的運算時間，以及資料傳輸所需的頻寬。因此，在不降低顯示效果的前提下，本實施例的顯示系統100可有效減低資料傳輸所需的頻寬，並減低圖形處理所需的硬體需求。
附帶一提的，在運算裝置110執行組合資訊DP的傳輸動作前，還可針對組合資訊DP進行資料壓縮動作，以進一步降低組合資訊DP的資料傳輸所需的頻寬。
以下請參照圖2，圖2繪示本發明另一實施例的顯示系統的示意圖。顯示系統200包括運算裝置210以及顯示裝置220。運算裝置210有線或無線的耦接至顯示裝置220。運算裝置210包括通信介面2110、處理器2120、繪圖處理器2130以及透鏡校正器2140。在本實施例中，處理器2120可通過通信介面2110接收狀態資訊POSE，並依據狀態資訊POSE來將顯示影像拆分為注視影像F、背景影像P以及定位資訊I。處理器2120可傳送注視影像F、背景影像P以及定位資訊I至繪圖處理器2130以進行影像處理的動作。另外，透鏡校正器2140可依據顯示系統200中的透鏡變異資訊，來針對注視影像F、背景影像P以及定位資訊I進行補償。
在本實施例中，處理器2120可組合注視影像F、背景影像P以及定位資訊I為圖像形式的組合資訊DP。此外，處理器2120可傳輸組合資訊DP至通信介面2110中的無線信號收發器2111，或者，繪圖處理器2130可透過通信介面2110中的傳輸導線，有線的傳輸組合資訊DP至顯示裝置220。
在顯示裝置220部分，顯示裝置220包括介面電路221、眼球追蹤器2221、顯示驅動器2222以及顯示面板2223。介面電路221則包括眼球資訊產生電路2211、無線信號收發電路2212以及橋接電路2213。眼球資訊產生電路2211耦接至眼球追蹤器2221。眼球追蹤器2221用以執行追蹤使用者眼球的位置狀態，以獲得使用者的眼球狀態。眼球資訊產生電路2211則可依據使用者的眼球狀態來產生狀態資訊POSE。在此，眼球追蹤器2221可應用本領域據通常知識者熟知的方式來執行眼球追蹤動作，沒有特定的限制。眼球資訊產生電路2211可以由一晶片來實施，眼球資訊產生電路2211可應用本領域技術人員所知的影像信號處理晶片（Image Signal Processor, ISP）來實施，沒有特定的限制。
此外，橋接電路2213耦接至顯示驅動器2222，並可透過有線的方式耦接至繪圖處理器2130。橋接電路2213可由繪圖處理器2130接收組合資訊DP，並將組合資訊DP轉傳至顯示驅動器2222。在另一方面，橋接電路2213耦接至無線信號收發電路2212。無線信號收發電路2212可與無線信號收發電路2111進行無線通信，以進行資料的收發動作。橋接電路2213也可通過無線信號收發電路2212接收運算裝置210傳出的組合資訊DP，並將組合資訊DP轉傳至顯示驅動器2222。
顯示驅動器2222解碼組合資訊DP以獲得背景影像P、注視影像F以及定位資訊I。顯示驅動器2222放大背景影像P以產生放大背景影像，並依據定位資訊I以結合注視影像F至放大背景影像上來產生顯示驅動信號DSPS。顯示驅動器2222傳輸顯示驅動信號DSPS至顯示面板2223，並驅使顯示面板2223產生輸出影像DIMG。此外，若組合資訊DP為一壓縮後資訊，顯示驅動器2222可先針對組合資訊DP執行解壓縮動作。
在本實施例中，顯示面板2223可以為本領域技術人員熟知的任意形式的顯示面板，沒有固定的限制。
在此請注意，在本實施例中，當顯示裝置220以及運算裝置210間的有線連接有效形成時，無線信號收發電路2212以及無線信號收發電路2111可以被關閉，以節省功率消耗。在此時，顯示裝置220以及運算裝置210間資料傳輸動作，可透過顯示裝置220以及運算裝置210間的資料傳輸導線，以進行組合資訊DP及狀態資訊POSE的傳輸動作。在另一方面，當顯示裝置220以及運算裝置210間的有線連接被切斷時，無線信號收發電路2212以及無線信號收發電路2111可以被開啟。顯示裝置220以及運算裝置210間的組合資訊DP及狀態資訊POSE的傳輸動作，則可透過無線信號收發電路2212以及無線信號收發電路2111來執行。
在本實施例中，無線信號收發電路2212以及無線信號收發電路2111可以透過任意本領域技術人員熟知的無線通信協定來進行無線通信，沒有固定的限制。
以下請參照圖3，圖3繪示本發明實施例的輸出影像的產生方式的示意圖。在圖3中，顯示驅動器可解碼所接收到的組合信號DP，並獲得背景影像P、注視影像F以及定位資訊I。顯示驅動器中可設置儲存裝置（例如隨機存取記憶體），並透過步驟S320以使注視影像F被暫存在隨機存取記憶體中。並且，顯示驅動器中可依據顯示面板的尺寸，透過步驟S310，對背景影像P進行放大，並藉以獲得放大後背景影像P’。
基於顯示面板的尺寸，顯示驅動器可設定一座標系統。在產生放大後背景影像P’後，顯示驅動器可由隨機存取記憶體讀出注視影像F，並依據定位資訊I，來將注視影像F疊合在放大後背景影像P’上的適當位置，並產生輸出影像DIMG。在此，定位資訊I可以用來指示注視影像F上的設定點SP的座標值。在本實施方式中，設定點SP可以設定在注視影像F的四個端點的任一。或者，在本發明其他實施例中，設定點SP也可以設定在注視影像F的幾何中心或其他位置，沒有固定的限制。
綜上所述，本發明依據使用者注視的區域，將顯示影像拆分為注視影像以及背景影像，並依據注視影像的位置產生定位資訊。本發明再透過使注視影像具有一相對高的解析度以維持使用者的視覺品質，並透過使背景影像具有相對低的解析度，以降低圖形處理所需的頻寬。如此一來，本發明的顯示系統，在兼顧顯示品質的前提下，可有效減低圖形處理器的工作量，並降低影像資訊傳輸時所需要的傳輸頻寬，降低所需的功耗，提升顯示系統的效能。
100、200:顯示系統 110、210:運算裝置 120、220:顯示裝置 2110:通信介面 2120:處理器 2130:繪圖處理器 2140:遠端校正器 2111、2212:無線信號收發器 221:介面電路 2213:橋接電路 2221:眼球追蹤器 2222:顯示驅動器 2223:顯示面板 DIMG:輸出影像 DP:組合資訊 EYE:眼球 F:注視影像 I:定位資訊 OIMG:顯示影像 P:背景影像 P’:放大背景影像 POSE:狀態資訊 SP:設定點
圖1繪示本發明一實施例的顯示系統的示意圖。 圖2繪示本發明另一實施例的顯示系統的示意圖。 圖3繪示本發明實施例的輸出影像的產生方式的示意圖。
100:顯示系統
110:運算裝置
120:顯示裝置
DIMG:輸出影像
DP:組合資訊
EYE:眼球
F:注視影像
I:定位資訊
OIMG:顯示影像
P:背景影像
P’:放大背景影像
POSE:狀態資訊
SP:設定點

Claims (12)

  1. 一種顯示系統，包括： 一運算裝置，接收一狀態資訊以及一顯示影像，依據該狀態資訊解析該顯示影像以產生一注視影像、一背景影像以及對應該注視影像的一定位資訊；以及 一顯示裝置，耦接該運算裝置，用以： 偵測一使用者的眼球狀態以產生該狀態資訊； 接收該注視影像、該背景影像以及該定位資訊；以及 放大該背景影像以產生一放大背景影像，依據該定位資訊以結合該注視影像至該放大背景影像上來產生一輸出影像。
  2. 如請求項1所述的顯示系統，其中該運算裝置組合該注視影像、該背景影像以及該定位資訊為圖像形式的一組合資訊，並傳送該組合資訊至該顯示裝置。
  3. 如請求項1所述的顯示系統，其中該運算裝置包括： 一處理器，依據該狀態資訊解析該顯示影像以產生該注視影像、該背景影像以及該定位資訊；以及 一通信介面，傳送該注視影像、該背景影像以及該定位資訊至該顯示裝置。
  4. 如請求項3所述的顯示系統，其中該通信介面透過有線或無線的方式與該顯示裝置進行通信。
  5. 如請求項3所述的顯示系統，其中該運算裝置更包括： 一繪圖處理器，耦接至該處理器，針對該注視影像以及該背景影像進行影像處理；以及 一透鏡校正器，耦接在該處理器以及該繪圖處理器間，依據該顯示器的一透鏡變異資訊以針對該注視影像、該背景影像以及該定位資訊進行補償。
  6. 如請求項1所述的顯示系統，其中該顯示裝置包括： 一眼球追蹤器，用以偵測該使用者的眼球狀態； 一顯示驅動器，放大該背景影像以產生該放大背景影像，依據該定位資訊以結合該注視影像至該放大背景影像上來產生一顯示驅動信號； 一顯示面板，耦接該顯示驅動器，依據該顯示驅動信號以產生該輸出影像；以及 一介面電路，與該運算裝置進行通信，用以接收該注視影像、該背景影像以及該定位資訊。
  7. 如請求項6所述的顯示系統，其中該介面電路透過有線或無線的方式耦接該運算裝置。
  8. 如請求項6所述的顯示系統，其中該介面電路更用以傳送該狀態資訊至該運算裝置。
  9. 如請求項6所述的顯示系統，其中該介面電路包括： 一眼球資訊產生電路，耦接該眼球追蹤器，依據該使用者的眼球狀態以產生該狀態資訊； 一橋接電路，耦接該顯示驅動器，用以提供依據該注視影像、該背景影像以及該定位資訊所形成的一組合資訊；以及 一無線信號收發電路，耦接該眼球資訊產生電路以及該橋接電路，與該運算裝置進行無線通信。
  10. 如請求項9所述的顯示系統，其中該橋接電路以及該眼球資訊產生電路有線耦接至該運算裝置時，該無線信號收發電路被關閉;當該橋接電路、該眼球資訊產生電路與該運算裝置的連接被切斷時，該無線信號收發電路被啟動以執行無線通信。
  11. 如請求項1所述的顯示系統，其中該顯示驅動器依據該定位資訊以設定該注視影像的一設定點的座標值，並依據該設定點的座標值以結合該注視影像至該放大背景影像上來產生該顯示影像。
  12. 如請求項1所述的顯示系統，其中該注視影像的解析度高於該背景影像的解析度。
TW109127372A 2019-11-05 2020-08-12 顯示系統 TWI827874B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201962930586P 2019-11-05 2019-11-05
US62/930,586 2019-11-05

Publications (2)

Publication Number Publication Date
TW202119098A true TW202119098A (zh) 2021-05-16
TWI827874B TWI827874B (zh) 2024-01-01

Family

ID=75750206

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109127372A TWI827874B (zh) 2019-11-05 2020-08-12 顯示系統

Country Status (2)

Country Link
CN (1) CN112783319A (zh)
TW (1) TWI827874B (zh)

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8184069B1 (en) * 2011-06-20 2012-05-22 Google Inc. Systems and methods for adaptive transmission of data
US10495884B2 (en) * 2014-12-14 2019-12-03 Elbit Systems Ltd. Visual perception enhancement of displayed color symbology
US20160210780A1 (en) * 2015-01-20 2016-07-21 Jonathan Paulovich Applying real world scale to virtual content
CN104767992A (zh) * 2015-04-13 2015-07-08 北京集创北方科技有限公司 头戴式显示系统及影像低频宽传输方法
US9837043B1 (en) * 2015-11-20 2017-12-05 Oculus Vr, Llc Methods and systems for rendering images using wirelessly received configuration parameters
US10169846B2 (en) * 2016-03-31 2019-01-01 Sony Interactive Entertainment Inc. Selective peripheral vision filtering in a foveated rendering system
CN105979224A (zh) * 2016-06-23 2016-09-28 青岛歌尔声学科技有限公司 一种头戴显示器、视频输出设备和视频处理方法、系统
US10373592B2 (en) * 2016-08-01 2019-08-06 Facebook Technologies, Llc Adaptive parameters in image regions based on eye tracking information
US10564715B2 (en) * 2016-11-14 2020-02-18 Google Llc Dual-path foveated graphics pipeline
US20180137602A1 (en) * 2016-11-14 2018-05-17 Google Inc. Low resolution rgb rendering for efficient transmission
KR102623391B1 (ko) * 2017-01-10 2024-01-11 삼성전자주식회사 영상 출력 방법 및 이를 지원하는 전자 장치
US10665209B2 (en) * 2017-05-18 2020-05-26 Synaptics Incorporated Display interface with foveal compression
CN107317987B (zh) * 2017-08-14 2020-07-03 歌尔股份有限公司 虚拟现实的显示数据压缩方法和设备、系统
CN107809641B (zh) * 2017-11-13 2020-04-24 北京京东方光电科技有限公司 图像数据传输方法、处理方法及图像处理设备、显示设备
US10949947B2 (en) * 2017-12-29 2021-03-16 Intel Corporation Foveated image rendering for head-mounted display devices
ES2938535T3 (es) * 2018-07-20 2023-04-12 Tobii Ab Representación foveada distribuida basada en la mirada del usuario

Also Published As

Publication number Publication date
TWI827874B (zh) 2024-01-01
CN112783319A (zh) 2021-05-11

Similar Documents

Publication Publication Date Title
US11119319B2 (en) Rendering device, head-mounted display, image transmission method, and image correction method
US11682106B2 (en) Foveated image rendering for head-mounted display devices
US20150130915A1 (en) Apparatus and system for dynamic adjustment of depth for stereoscopic video content
EP3788781A1 (en) Asynchronous time and space warp with determination of region of interest
US20150310665A1 (en) Stabilization plane determination based on gaze location
JP2022550503A (ja) 人工現実デバイス間の時間同期
WO2020003860A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20240345790A1 (en) Independent Display Frame Interpolation Circuit, Method, and Apparatus, Chip, Electronic Device, and Medium
US11003408B2 (en) Image generating apparatus and image generating method
EP4055491A1 (en) Artificial reality system using a multisurface display protocol to communicate surface data
EP4055468A1 (en) Artificial reality system using superframes to communicate surface data
US11763778B2 (en) Reduced vertical blanking regions for display systems that support variable refresh rates
WO2017032074A1 (zh) 音视频播放设备
US20210134250A1 (en) Display system
TWI827874B (zh) 顯示系統
KR20160139318A (ko) 가상 현실 디스플레이 시스템 및 방법
JPWO2018135057A1 (ja) 情報処理装置、情報処理方法、及びプログラム
KR102422036B1 (ko) 낮은 레이턴시 가상 현실을 구동 및 보상하는 표시장치
US20200234506A1 (en) Virtual reality system having adaptive controlling function and controlling method thereof
JP6655751B1 (ja) 映像表示制御装置、方法およびプログラム
TWI626560B (zh) 互動式顯示系統與方法
TWI669940B (zh) 立體影像顯示方法與電子裝置
US12003892B2 (en) Medical image assistance system and medical image assistance method
US11706383B1 (en) Presenting video streams on a head-mountable device
US20240013480A1 (en) Projection of an image in an extended reality device