TWI626560B - 互動式顯示系統與方法 - Google Patents

互動式顯示系統與方法 Download PDF

Info

Publication number
TWI626560B
TWI626560B TW105106969A TW105106969A TWI626560B TW I626560 B TWI626560 B TW I626560B TW 105106969 A TW105106969 A TW 105106969A TW 105106969 A TW105106969 A TW 105106969A TW I626560 B TWI626560 B TW I626560B
Authority
TW
Taiwan
Prior art keywords
picture
head
previous
mounted display
pixel depth
Prior art date
Application number
TW105106969A
Other languages
English (en)
Other versions
TW201732498A (zh
Inventor
呂佳穎
宋侑霖
Original Assignee
宏達國際電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏達國際電子股份有限公司 filed Critical 宏達國際電子股份有限公司
Publication of TW201732498A publication Critical patent/TW201732498A/zh
Application granted granted Critical
Publication of TWI626560B publication Critical patent/TWI626560B/zh

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/395—Arrangements specially adapted for transferring the contents of the bit-mapped memory to the screen
    • G09G5/397—Arrangements specially adapted for transferring the contents of two or more bit-mapped memories to the screen simultaneously, e.g. for mixing or overlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006—Details of the interface to the display terminal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/363—Graphics controllers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0252—Improving the response speed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/16—Determination of a pixel data signal depending on the signal applied in the previous frame
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2350/00—Solving problems of bandwidth in display systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/12—Frame memory handling
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/18—Use of a frame buffer in a display terminal, inclusive of the display panel

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

一種互動式顯示系統與方法，所述互動式顯示系統包括頭戴式顯示器與電子裝置。頭戴式顯示器適於配戴於使用者。電子裝置產生先前畫面與畫面的像素深度資訊，並將先前畫面與畫面的像素深度資訊傳送至頭戴式顯示器，以致使頭戴式顯示器顯示先前畫面。頭戴式顯示器響應於使用者的動作產生目前狀態資訊，並依據目前狀態資訊、先前畫面與畫面的像素深度資訊產生目前畫面。頭戴式顯示器顯示目前畫面。

Description

互動式顯示系統與方法
本發明是有關於一種互動式顯示系統與方法，且特別是有關於一種利用頭戴式顯示器的互動式顯示系統與方法。
隨著科技的進步，互動式顯示系統已漸趨成熟，並也為人們帶來更豐富的影音饗宴。頭戴式顯示器(head-mounted display，簡稱HMD)是互動式顯示系統中的一重要配件，其可提供多個連續的畫面，以帶領使用者進入互動式顯示系統所建構出的虛擬世界。然而，頭戴式顯示器往往受限於有線或是無線連接介面的頻寬限制，進而無法提升其畫面更新率(frame refresh rate)。此外，當畫面更新率太低時，畫面的延遲(latency)也將相對地增加，進而導致頭戴式顯示器無法隨著使用者之頭部的轉動，即時地顯示出對應的畫面。因此，如何提升頭戴式顯示器的畫面更新率，並降低畫面的延遲，已是互動式顯示系統在設計上所面臨的一大課題。
本發明提供一種互動式顯示系統與方法，可利用頭戴式顯示器中的目前狀態資訊、先前畫面與畫面的像素深度資訊產生目前畫面。藉此，將可提升頭戴式顯示器的畫面更新率，並降低畫面的延遲。
本發明的互動式顯示系統，包括頭戴式顯示器與電子裝置。頭戴式顯示器適於配戴於使用者。電子裝置產生先前畫面與畫面的像素深度資訊，並將先前畫面與畫面的像素深度資訊傳送至頭戴式顯示器，以致使頭戴式顯示器顯示先前畫面。頭戴式顯示器響應於使用者的動作產生目前狀態資訊，並依據目前狀態資訊、先前畫面與畫面的像素深度資訊產生目前畫面。此外，頭戴式顯示器顯示目前畫面。
在本發明的一實施例中，上述的頭戴式顯示器包括第一畫面緩衝器、第一深度緩衝器與感測單元。第一畫面緩衝器儲存先前畫面。第一深度緩衝器儲存畫面的像素深度資訊。感測單元感測使用者的動作，以產生第一感測資料。此外，頭戴式顯示器依據第一感測資料計算出目前狀態資訊。
本發明的互動式顯示方法，適用於包括電子裝置與頭戴式顯示器的互動式顯示系統，其中頭戴式顯示器適於配戴於使用者，且互動式顯示方法包括下列步驟。透過電子裝置產生先前畫面與畫面的像素深度資訊。將先前畫面與畫面的像素深度資訊傳送至頭戴式顯示器。透過頭戴式顯示器顯示先前畫面。響應於使用者的動作產生在頭戴式顯示器中的目前狀態資訊。依據頭戴式顯示器中的目前狀態資訊、先前畫面與畫面的像素深度資訊產生目前畫面。透過頭戴式顯示器顯示目前畫面。
基於上述，本發明之互動式顯示系統中的電子裝置將先前畫面與畫面的像素深度資訊傳送至頭戴式顯示器，且頭戴式顯示器可利用目前狀態資訊、先前畫面與畫面的像素深度資訊產生目前畫面。藉此，將可提升頭戴式顯示器的畫面更新率，並降低畫面的延遲。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
圖1為依據本發明一實施例之互動式顯示系統的方塊示意圖。如圖1所示，互動式顯示系統100包括頭戴式顯示器110與電子裝置120。其中，電子裝置120可例如是一個人電腦，且頭戴式顯示器110適於配戴於使用者的頭部。在應用上，頭戴式顯示器110可產生多個連續的畫面。隨著使用者之姿勢的改變，頭戴式顯示器110可即時地調整所顯示的畫面，以帶領使用者進入互動式顯示系統100所建構出的虛擬世界。
圖2為依據本發明一實施例之互動式顯示方法的流程圖，且以下將參照圖1與圖2來說明互動式顯示系統100的運作。如步驟S210所示，電子裝置120可產生先前畫面與畫面的像素深度資訊。再者，如步驟S220所示，電子裝置120可將所產生的先前畫面與畫面的像素深度資訊傳送至頭戴式顯示器110。
進一步來看，頭戴式顯示器110包括第一畫面緩衝器111、第一深度緩衝器(depth buffer或是Z-buffer)112、感測單元113與控制邏輯114。當接收到來自電子裝置120的先前畫面與畫面的像素深度資訊時，如步驟S225所示，頭戴式顯示器110可顯示來自電子裝置120的先前畫面。再者，如步驟S230與步驟S240所示，頭戴式顯示器110可透過第一畫面緩衝器111儲存先前畫面，並可透過第一深度緩衝器112儲存畫面的像素深度資訊。頭戴式顯示器110可透過感測單元113不斷地追蹤或是感測使用者的頭部運動，並據以產生多個感測資料。此外，頭戴式顯示器110可依據感測資料來判別使用者的姿勢，並可依據判別結果自行產生對應的畫面。
舉例來說，如步驟S250所示，頭戴式顯示器110可響應於使用者的動作產生目前狀態資訊。具體而言，當使用者的姿勢產生改變時，如步驟S251所示，感測單元113可感測使用者的動作，並據以產生第一感測資料。此外，如步驟S252所示，頭戴式顯示器110中的控制邏輯114可依據第一感測資料計算出目前狀態資訊。再者，如步驟S260所示，頭戴式顯示器110可依據目前狀態資訊、先前畫面與畫面的像素深度資訊產生目前畫面。具體而言，如步驟S261所示，控制邏輯114可讀取第一畫面緩衝器111中的先前畫面。如步驟S262所示，控制邏輯114更可讀取第一深度緩衝器112中的畫面的像素深度資訊，並依據目前狀態資訊調整畫面的像素深度資訊。如步驟S263所示，控制邏輯114可依據先前畫面與調整後的畫面的像素深度資訊，產生目前畫面。
值得注意的是，在步驟S210中，電子裝置120也可參照頭戴式顯示器110所回傳的先前狀態資訊，來產生先前畫面與畫面的像素深度資訊。舉例來說，在一實施例中，頭戴式顯示器110更包括第一收發器115，且電子裝置120包括圖形處理單元121、處理器122與第二收發器123。
就步驟S210的細部步驟來看，如步驟S211所示，頭戴式顯示器110中的感測單元113可感測使用者的動作以產生第二感測資料，且頭戴式顯示器110中的控制邏輯114可依據第二感測資料計算出先前狀態資訊。如步驟S212所示，頭戴式顯示器110可透過第一收發器115將先前狀態資訊傳送至電子裝置100中的第二收發器123。如步驟S213所示，電子裝置100中的圖形處理單元121可依據先前狀態資訊，來產生先前畫面與畫面的像素深度資訊。此外，電子裝置100可透過第二收發器123將先前畫面與畫面的像素深度資訊傳送至頭戴式顯示器110中的第一收發器115。
換言之，在電子裝置100傳送先前畫面與畫面的像素深度資訊之前，頭戴式顯示器110可響應於使用者的動作回傳先前狀態資訊至電子裝置100，以致使電子裝置100可依據先前狀態資訊來產生先前畫面與畫面的像素深度資訊。值得一提的是，電子裝置100中的圖形處理單元121包括第二畫面緩衝器124與第二深度緩衝器125。圖形處理單元121可透過第二畫面緩衝器124儲存先前畫面，並可透過第二深度緩衝器125儲存畫面的像素深度資訊。此外，在第二收發器123傳送畫面的像素深度資訊之前，電子裝置100可先透過處理器122壓縮畫面的像素深度資訊，以藉此降低畫面的像素深度資訊在頭戴式顯示器110中所耗費的儲存空間。
請繼續參照圖1與圖2。如步驟S270所示，頭戴式顯示器110可顯示目前畫面。換言之，頭戴式顯示器110除了可以顯示來自電子裝置120的先前畫面以外，還可顯示自行所產生的目前畫面。此外，頭戴式顯示器110可偵測或是追蹤使用者的動作，並利用所偵測出的狀態資訊以及儲存在內部的先前畫面與畫面的像素深度資訊來產生目前畫面，因此可大幅縮短畫面的產生時間。如此一來，將可提升頭戴式顯示器110的畫面更新率(frame refresh rate)，並可有效地降低畫面的延遲(latency)。此外，隨著畫面更新率的提升，還可降低頭戴式顯示器110的模糊效應(blur effect)。
舉例來說，在圖1實施例中，互動式顯示系統100是利用第一收發器115與第二收發器123，來建立頭戴式顯示器110與電子裝置120之間的無線連接介面。倘若所述無線連接介面的頻寬可支援的畫面更新率為每秒30張畫面(frame per second，簡稱fps)，則頭戴式顯示器110除了可透過無線連接介面接收來自電子裝置120的30張畫面以外，更可在上述30張畫面之間穿插自行所產生的畫面。藉此，將可大幅地提升頭戴式顯示器110的畫面更新率，例如，頭戴式顯示器110的畫面更新率可提升至每秒90張畫面。
在另一實施例中，也可透過有線連接介面來進行頭戴式顯示器110與電子裝置120之間的傳輸。例如，圖1中的第一收發器115與第二收發器123可分別由一高解析度多媒體介面(High Definition Multimedia Interface，簡稱HDMI)連接器取代，以藉此形成頭戴式顯示器110與電子裝置120之間的有線連接介面。此外，倘若所述有線連接介面的頻寬可支援的畫面更新率為每秒45張畫面，則頭戴式顯示器110除了可透過有線連接介面接收來自電子裝置120的45張畫面以外，更可在上述45張畫面之間穿插自行所產生的畫面。藉此，將可大幅地提升頭戴式顯示器110的畫面更新率。換言之，互動式顯示系統100可在不提升有線或是無線連接介面之頻寬的情況下，提高頭戴式顯示器110的畫面更新率。
綜上所述，本發明之互動式顯示系統中的電子裝置將先前畫面與畫面的像素深度資訊傳送至頭戴式顯示器。此外，頭戴式顯示器可響應於使用者的動作產生目前狀態資訊，並可利用目前狀態資訊、先前畫面與畫面的像素深度資訊來產生目前畫面。藉此，將可提升頭戴式顯示器的畫面更新率，並降低畫面的延遲。此外，隨著畫面更新率的提升，還可降低頭戴式顯示器的模糊效應。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
100‧‧‧互動式顯示系統
110‧‧‧頭戴式顯示器
120‧‧‧電子裝置
111‧‧‧第一畫面緩衝器
112‧‧‧第一深度緩衝器
113‧‧‧感測單元
114‧‧‧控制邏輯
115‧‧‧第一收發器
121‧‧‧圖形處理單元
122‧‧‧處理器
123‧‧‧第二收發器
124‧‧‧第二畫面緩衝器
125‧‧‧第二深度緩衝器
S210~S270、S225、S211~S213、S251、S252、S261~S263‧‧‧圖2流程圖中的各步驟
圖1為依據本發明一實施例之互動式顯示系統的方塊示意圖。 圖2為依據本發明一實施例之互動式顯示方法的流程圖。

Claims (17)

  1. 一種互動式顯示系統，包括：一頭戴式顯示器，適於配戴於一使用者並包括一感測單元，其中該感測單元感測該使用者的一頭部運動以產生一第一感測資料，且該頭戴式顯示器依據該第一感測資料計算出一目前狀態資訊；以及一電子裝置，產生一先前畫面與一畫面的像素深度資訊，並將該先前畫面與該畫面的像素深度資訊傳送至該頭戴式顯示器，以致使該頭戴式顯示器顯示該先前畫面，其中，該頭戴式顯示器儲存來自於該電子裝置的該先前畫面及該畫面的像素深度資訊，並依據該目前狀態資訊、所儲存的該先前畫面與所儲存的該畫面的像素深度資訊產生一目前畫面，且該頭戴式顯示器顯示該目前畫面。
  2. 如申請專利範圍第1項所述的互動式顯示系統，其中該頭戴式顯示器更包括：一第一畫面緩衝器，儲存該先前畫面；以及一第一深度緩衝器，儲存該畫面的像素深度資訊。
  3. 如申請專利範圍第2項所述的互動式顯示系統，其中在該電子裝置傳送該先前畫面與該畫面的像素深度資訊之前，該感測單元產生一第二感測資料，該頭戴式顯示器依據該第二感測資料計算出一先前狀態資訊，並將該先前狀態資訊傳送至該電子裝置，且該電子裝置依據該先前狀態資訊產生該先前畫面與該畫面的像素深度資訊。
  4. 如申請專利範圍第3項所述的互動式顯示系統，其中該互動式顯示系統透過一無線連接介面或是一有線連接介面，來傳送該頭戴式顯示器與該電子裝置之間的該先前狀態資訊、該先前畫面與該畫面的像素深度資訊。
  5. 如申請專利範圍第3項所述的互動式顯示系統，其中該頭戴式顯示器更包括：一第一收發器，將該先前狀態資訊傳送至該電子裝置，並接收來自該電子裝置的該先前畫面與該畫面的像素深度資訊。
  6. 如申請專利範圍第5項所述的互動式顯示系統，其中該電子裝置包括：一圖形處理單元，依據該先前狀態資訊產生該先前畫面與該畫面的像素深度資訊；以及一第二收發器，接收來自該第一收發器的該先前狀態資訊，並將該先前畫面與該畫面的像素深度資訊傳送至該第一收發器。
  7. 如申請專利範圍第6項所述的互動式顯示系統，其中該圖形處理單元透過一第二畫面緩衝器儲存該先前畫面，並透過一第二深度緩衝器儲存該畫面的像素深度資訊。
  8. 如申請專利範圍第6項所述的互動式顯示系統，其中該電子裝置更包括一處理器，且在該第二收發器傳送該畫面的像素深度資訊之前，該處理器壓縮該畫面的像素深度資訊。
  9. 如申請專利範圍第3項所述的互動式顯示系統，其中該頭戴式顯示器更包括一控制邏輯，且該控制邏輯讀取該第一深度緩衝器中的該畫面的像素深度資訊，並依據該目前狀態資訊調整該畫面的像素深度資訊，且該控制邏輯依據該先前畫面與調整後的該畫面的像素深度資訊產生該目前畫面。
  10. 如申請專利範圍第9項所述的互動式顯示系統，其中該頭戴式顯示器透過該控制邏輯計算出該先前狀態資訊與該目前狀態資訊。
  11. 一種互動式顯示方法，適用於包括一電子裝置與一頭戴式顯示器的一互動式顯示系統，其中該頭戴式顯示器適於配戴於一使用者，且該互動式顯示方法包括：透過該電子裝置產生一先前畫面與一畫面的像素深度資訊；將該先前畫面與該畫面的像素深度資訊傳送至該頭戴式顯示器，並將該先前畫面及該畫面的像素深度資訊儲存於該頭戴式顯示器；透過該頭戴式顯示器顯示該先前畫面；透過該頭戴式顯示器的一感測單元感測該使用者的一頭部運動以流生一第一感測資料，並依據該第一感測資料計算該頭戴式顯示器的一目前狀態資訊；依據該頭戴式顯示器中的該目前狀態資訊、所儲存的該先前畫面與所儲存的該畫面的像素深度資訊產生一目前畫面；以及透過該頭戴式顯示器顯示該目前畫面。
  12. 如申請專利範圍第11項所述的互動式顯示方法，其中透過該電子裝置產生該先前畫面與該畫面的像素深度資訊的步驟包括：在將該先前畫面與該畫面的像素深度資訊傳送至該頭戴式顯示器之前，透過該感測單元感測該使用者的動作以產生一第二感測資料，並依據該第二感測資料計算出一先前狀態資訊；將該先前狀態資訊傳送至該電子裝置；以及依據該電子裝置中的該先前狀態資訊產生該先前畫面與該畫面的像素深度資訊。
  13. 如申請專利範圍第12項所述的互動式顯示方法，其中該互動式顯示系統透過一無線連接介面或是一有線連接介面，來傳送該頭戴式顯示器與該電子裝置之間的該先前狀態資訊、該先前畫面與該畫面的像素深度資訊。
  14. 如申請專利範圍第13項所述的互動式顯示方法，其中該無線連接介面包括該頭戴式顯示器中的一第一收發器與該電子裝置中的一第二收發器。
  15. 如申請專利範圍第11項所述的互動式顯示方法，更包括：透過該頭戴式顯示器中的一第一畫面緩衝器，儲存該先前畫面；以及透過該頭戴式顯示器中的一第一深度緩衝器，儲存該畫面的像素深度資訊。
  16. 如申請專利範圍第15項所述的互動式顯示方法，其中依據該頭戴式顯示器中的該目前狀態資訊、所儲存的該先前畫面與所儲存的該畫面的像素深度資訊產生該目前畫面的步驟包括：讀取該第一畫面緩衝器中的該先前畫面；讀取該第一深度緩衝器中的該畫面的像素深度資訊，並依據該目前狀態資訊調整該畫面的像素深度資訊；以及依據該先前畫面與調整後的該畫面的像素深度資訊，產生該目前畫面。
  17. 如申請專利範圍第16項所述的互動式顯示方法，其中該電子裝置包括一圖形處理單元，該圖形處理單元依據來自該頭戴式顯示器的一先前狀態資訊產生該先前畫面與該畫面的像素深度資訊，且該圖形處理單元透過一第二畫面緩衝器儲存該先前畫面，並透過一第二深度緩衝器儲存該畫面的像素深度資訊。
TW105106969A 2016-03-06 2016-03-08 互動式顯示系統與方法 TWI626560B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/062,173 2016-03-06
US15/062,173 US9905203B2 (en) 2016-03-06 2016-03-06 Interactive display system with HMD and method thereof

Publications (2)

Publication Number Publication Date
TW201732498A TW201732498A (zh) 2017-09-16
TWI626560B true TWI626560B (zh) 2018-06-11

Family

ID=57799575

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105106969A TWI626560B (zh) 2016-03-06 2016-03-08 互動式顯示系統與方法

Country Status (4)

Country Link
US (1) US9905203B2 (zh)
EP (1) EP3217256B1 (zh)
CN (1) CN107153518B (zh)
TW (1) TWI626560B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10068553B2 (en) * 2016-09-12 2018-09-04 Intel Corporation Enhanced rendering by a wearable display attached to a tethered computer

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5953014A (en) * 1996-06-07 1999-09-14 U.S. Philips Image generation using three z-buffers
US20090110291A1 (en) * 2007-10-30 2009-04-30 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US20120121163A1 (en) * 2010-11-15 2012-05-17 Samsung Electronics Co., Ltd. 3d display apparatus and method for extracting depth of 3d image thereof
US20130141461A1 (en) * 2011-12-06 2013-06-06 Tom Salter Augmented reality camera registration
US20140087867A1 (en) * 2012-09-26 2014-03-27 Igt Wearable display system and method
US20150379772A1 (en) * 2014-06-30 2015-12-31 Samsung Display Co., Ltd. Tracking accelerator for virtual and augmented reality displays
TW201604587A (zh) * 2014-07-31 2016-02-01 三星電子股份有限公司 穿戴式眼鏡、顯示影像方法以及非暫時性電腦可讀取儲存媒體

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPM701394A0 (en) 1994-07-22 1994-08-18 Monash University A graphical display system
WO2009081335A1 (en) * 2007-12-20 2009-07-02 Koninklijke Philips Electronics N.V. Image encoding method for stereoscopic rendering
JP5047090B2 (ja) * 2008-07-31 2012-10-10 キヤノン株式会社 システム
TWI442264B (zh) * 2012-09-11 2014-06-21 Wistron Corp 互動式虛像顯示器及互動式顯示方法
US20160238852A1 (en) * 2015-02-13 2016-08-18 Castar, Inc. Head mounted display performing post render processing

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5953014A (en) * 1996-06-07 1999-09-14 U.S. Philips Image generation using three z-buffers
US20090110291A1 (en) * 2007-10-30 2009-04-30 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US20120121163A1 (en) * 2010-11-15 2012-05-17 Samsung Electronics Co., Ltd. 3d display apparatus and method for extracting depth of 3d image thereof
US20130141461A1 (en) * 2011-12-06 2013-06-06 Tom Salter Augmented reality camera registration
US20140087867A1 (en) * 2012-09-26 2014-03-27 Igt Wearable display system and method
US20150379772A1 (en) * 2014-06-30 2015-12-31 Samsung Display Co., Ltd. Tracking accelerator for virtual and augmented reality displays
TW201604587A (zh) * 2014-07-31 2016-02-01 三星電子股份有限公司 穿戴式眼鏡、顯示影像方法以及非暫時性電腦可讀取儲存媒體

Also Published As

Publication number Publication date
US9905203B2 (en) 2018-02-27
EP3217256A1 (en) 2017-09-13
CN107153518A (zh) 2017-09-12
EP3217256B1 (en) 2018-11-21
CN107153518B (zh) 2020-06-05
US20170256240A1 (en) 2017-09-07
TW201732498A (zh) 2017-09-16

Similar Documents

Publication Publication Date Title
US10861215B2 (en) Asynchronous time and space warp with determination of region of interest
CN108140262B (zh) 调整虚拟现实内容的视频渲染速率和立体图像的处理
US10559065B2 (en) Information processing apparatus and information processing method
TWI687088B (zh) 適應性交錯影像捲繞的方法、系統以及記錄媒體
WO2020259402A1 (zh) 图像处理方法、装置、终端设备、介质、可穿戴系统
US10499066B2 (en) Method and apparatus for improving efficiency of content delivery based on consumption data relative to spatial data
KR102336997B1 (ko) 서버, 디스플레이장치 및 그 제어방법
US20220222783A1 (en) Systems and methods for frame time smoothing based on modified animation advancement and use of post render queues
TWI626851B (zh) 影像切換裝置、影像切換系統及影像切換方法
JP2020003898A (ja) 情報処理装置、情報処理方法、及びプログラム
TWI626560B (zh) 互動式顯示系統與方法
US20190310818A1 (en) Selective execution of warping for graphics processing
US10506138B2 (en) Driving displays at cinematic frame rates
JP2022536283A (ja) 可変レートリフレッシュディスプレイのためのフレーム再生
TWI754868B (zh) 電子裝置及虛擬實境影片的字幕嵌入方法
TWI669940B (zh) 立體影像顯示方法與電子裝置
US11706383B1 (en) Presenting video streams on a head-mountable device
TW202119098A (zh) 顯示系統
TWM548794U (zh) 頭戴式顯示器及顯示系統
JP2013003593A (ja) 表示装置、表示方法、プログラム、及び集積回路