TWI638310B - 頭戴式顯示系統及其影像顯示方法 - Google Patents

頭戴式顯示系統及其影像顯示方法 Download PDF

Info

Publication number
TWI638310B
TWI638310B TW106131662A TW106131662A TWI638310B TW I638310 B TWI638310 B TW I638310B TW 106131662 A TW106131662 A TW 106131662A TW 106131662 A TW106131662 A TW 106131662A TW I638310 B TWI638310 B TW I638310B
Authority
TW
Taiwan
Prior art keywords
mounted display
image data
head mounted
display
connector
Prior art date
Application number
TW106131662A
Other languages
English (en)
Other versions
TW201915707A (zh
Inventor
劉正熙
何家駒
鍾明吉
Original Assignee
宏達國際電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏達國際電子股份有限公司 filed Critical 宏達國際電子股份有限公司
Application granted granted Critical
Publication of TWI638310B publication Critical patent/TWI638310B/zh
Publication of TW201915707A publication Critical patent/TW201915707A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/162—Interface to dedicated audio devices, e.g. audio drivers, interface to CODECs
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/005—Adapting incoming signals to the display format of the display terminal
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/02—Details of power systems and of start or stop of display operation
    • G09G2330/026—Arrangements or methods related to booting a display
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/02—Graphics controller able to handle multiple formats, e.g. input or output formats
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/12—Use of DVI or HDMI protocol in interfaces along the display data pipeline
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/22—Detection of presence or absence of input display information or of connection or disconnection of a corresponding information source

Abstract

頭戴式顯示系統及其影像顯示方法。頭戴式顯示系統包括頭戴式顯示裝置以及手持式電子裝置。頭戴式顯示裝置具有連接器，頭戴式顯示裝置並依據運動狀態以產生多軸定位資訊。手持式電子裝置透過連接器接收多軸定位資訊並對應多軸定位資訊提供顯示影像資料。頭戴式顯示裝置接收顯示影像資料並依據顯示影像資料執行影像顯示動作。

Description

頭戴式顯示系統及其影像顯示方法
本發明是有關於一種頭戴式顯示系統及其影像顯示方法，且特別是有關於一種一體型（all in one, AIO）的頭戴式顯示系統及其影像顯示方法。
隨著電子產品日新月異的發展，在提供高品質的影音顯示介面，虛擬實境（Virtual Reality, VR）以及擴增實境（Augmented Reality, AR）的顯示效果，已成為新一代顯示裝置追求的目標。
在頭戴式顯示裝置（Head Mounted Display, HMD）中，所謂的一體型（all in one, AIO）的設計，為本技術領域現今的發展趨勢。然而，基於虛擬實境及擴增實境的顯示效果，其所需要的相關於顯示資訊的計算量相當龐大，因此，在一體型的設計架構下，要使影像變換的速度可以跟上使用者的肢體動作的速度，是設計上的一大考驗。另外，在習知的技術領域中，當頭戴式顯示裝置被設計完成後，就只能具有固定的功能及效能，當使用者想要變更（提升）頭戴式顯示裝置的功效時，並不能利用既有的頭戴式顯示裝置進行升級的動作，只能重新購買另一套頭戴式顯示裝置，造成資源的浪費。
本發明提供一種頭戴式顯示系統及其影像顯示方法，可減低影像處理所需的時間，提升顯示的品質。
本發明的頭戴式顯示系統包括頭戴式顯示裝置以及手持式電子裝置。頭戴式顯示裝置具有連接器，頭戴式顯示裝置並依據運動狀態以產生多軸定位資訊。手持式電子裝置透過連接器耦接頭戴式顯示裝置，接收多軸定位資訊並對應多軸定位資訊提供顯示影像資料。其中，頭戴式顯示裝置接收顯示影像資料並依據顯示影像資料執行影像顯示動作。
本發明的影像顯示方法，適用於頭戴式顯示裝置，包括：依據頭戴式顯示裝置的運動狀態以產生多軸定位資訊；透過連接器以提供多軸定位資訊至手持式電子裝置；使手持式電子裝置依據多軸定位資訊提供顯示影像資料；以及，使頭戴式顯示裝置依據顯示影像資料執行影像顯示動作。
基於上述，本發明提供一體型的頭戴式顯示系統，使頭戴式顯示裝置執行多軸定位資訊的計算動作，並配合手持式電子裝置提供對應多軸定位資訊的顯示影像資料，以提供頭戴式顯示裝置進行影像顯示動作。透過分工進行相關資訊的處理動作，頭戴式顯示系統可更快速的完成顯示影像的處理，有效提升其影像的顯示品質。此外，本發明實施例提供模組式的應用端裝置，並透過抽換應用端裝置的機制，可使頭戴式顯示裝置進行升級的動作，降低資源的浪費。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
請參照圖1，圖1繪示本發明一實施例的頭戴式顯示系統的示意圖。頭戴式顯示系統100包括頭戴式顯示裝置110以及手持式電子裝置120。頭戴式顯示裝置110具有連接器111，並透過連接器111與手持式電子裝置120相連接。頭戴式顯示裝置110可針對其運動狀態進行偵測，並依據偵測出的運動狀態來產生多軸定位資訊DOFI。
頭戴式顯示裝置110並將其所產生的多軸定位資訊DOFI透過連接器111傳送給手持式電子裝置120。在手持式電子裝置120接收到多軸定位資訊DOFI後，可依據多軸定位資訊DOFI來產生對應的顯示影像資料CDP，並透過連接器111將顯示影像資料CDP傳送至頭戴式顯示裝置110。如此一來，頭戴式顯示裝置110可依據所接收到的顯示影像資料CDP進行影像顯示動作。
進一步來說明，頭戴式顯示裝置110可針對所獲得的運動狀態進行多自由度（Degree Of Freedom, DOF）方程式計算來產生多軸定位資訊DOFI。其中，多自由度方程式可以為3自由度方程式（3DOF）、6自由度方程式（3DOF）或其他不同自由度且為本領域具常知識者所熟的多自由度方程式。
在另一方面，連接器111可以為C型（Type C）的通用序列匯流排（Universal Serial Bus, USB）連接器，或其他種類可傳輸一般資訊及影像資訊，且為本領域具通常知識者所熟知的連接器。
依據上述的說明可以得知，在本發明實施例中，頭戴式顯示系統100使頭戴式顯示裝置110以及手持式電子裝置120分別進行多軸定位資訊DOFI以及顯示影像資料CDP的計算動作。如此一來，在分工合作的情況下，依據頭戴式顯示裝置110的運動狀態對應產生的顯示影像資料CDP可以更快速的被產生，可有效提升頭戴式顯示裝置110的表現度。
此外，本發明實施例中的手持式電子裝置120可以為智慧型手機，或其他便於攜帶且具備運算能力的電子裝置。透過與手持式電子裝置120搭配，本發明實施例的頭戴式顯示系統100更具行動力，有效提升其使用上的便利程度。
以下請參照圖2，圖2繪示本發明一實施例的頭戴式顯示裝置的實施方式的示意圖。頭戴式顯示裝置200包括應用端裝置210以及連接端裝置220。應用端裝置210以及連接端裝置220相互耦接。應用端裝置210則包括應用處理器211、運動感測器212、聲音編解碼器213以及音源接頭214。應用處理器211用以處理關於頭戴式顯示裝置200執行的應用程式的相關資訊。此外，應用處理器211並耦接至運動感測器212。其中，運動感測器212偵測頭戴式顯示裝置200的運動狀態，包括頭戴式顯示裝置200的姿態、移動距離、轉動角度、移動速度、加速度等相關的各種訊息。應用處理器211則接收運動感測器212所產生的運動狀態，並針對頭戴式顯示裝置200的運動狀態進行運算動作。
應用處理器211另接收多自由度方程式DOFF的相關資訊，並針對頭戴式顯示裝置200的運動狀態進行多自由度方程式DOFF的運算動作，藉以產生多軸定位資訊DOFI。應用處理器211並使多軸定位資訊DOFI被傳送至連接至221，並透過連接器221將多軸定位資訊DOFI傳送至對應的手持式電子裝置。
應用處理器211另耦接至聲音編解碼器213，聲音編解碼器213用以對聲音信號進行編碼或解碼動作，並將經過編碼或解碼後的對聲音信號傳送至音源接頭214或應用處理器211。其中，音源接頭214可連接至外部電子裝置（未繪示），並與外部電子裝置間進行音源信號的傳輸或接收動作。
在此，本發明實施例的聲音編解碼器213以及音源接頭214可應用本領域具通常知識者所熟知的聲音信號的編解碼（codec）電路以及音源接頭（audio jack）來建構，沒有特別的限制。
在另一方面，本發明實施例中，連接端裝置220包括連接器221、影像格式轉換器222以及顯示器223。連接器221耦接至影像格式轉換器222，影像格式轉換器222則耦接至顯示器223以及應用處理器211。當應用處理器211經由連接器221將所產生的多軸定位資訊DOFI提供至手持式電子裝置後，手持式電子裝置可對應接收到的多軸定位資訊DOFI來產生顯示影像資料CDP，並將顯示影像資料CDP經由連接器221傳送至影像格式轉換器222。影像格式轉換器222則針對顯示影像資料CDP進行影像格式轉換動作以產生轉換影像資料XCDP。影像格式轉換器222並提供轉換影像資料XCDP至顯示器223，使顯示器223依據轉換影像資料XCDP執行影像顯示動作。
在此，影像格式轉換器222設定為可轉換多種不同的影像格式，例如顯示串列介面（Display Serial Interface, DSI）格式、顯示埠（Display Port, DP）介面格式等本領域具通常知識者所熟知的顯示資料格式，並將其轉換為高畫質多媒體介面（High Definition Multimedia Interface, HDMI）格式的轉換影像資料XCDP，並使顯示器223執行高畫質的影像顯示動作。
在此，影像格式轉換器222可應用本領域具通常知識者所熟知的影像格式轉換電路來建構，沒有特別的限定。
此外，影像格式轉換器222另耦接至應用處理器211。在當應用處理器211需要進行影像（或圖像）顯示動作時，可將所要顯示的影像、圖像資訊傳送至影像格式轉換器222，並產生高畫質多媒體介面格式的影像資料，以在顯示器223上執行影像顯示動作。
接著請參照圖3，圖3繪示本發明實施例的頭戴式顯示裝置的另一實施方式的示意圖。頭戴式顯示裝置300包括應用端裝置310以及連接端裝置320。應用端裝置310以及連接端裝置320相互耦接。應用端裝置310包括應用處理器311。連接端裝置320包括連接器321、控制器322、運動感測器323、影像格式轉換器324、顯示器325、聲音編解碼器326、信號切換器327以及音源接頭328。在應用端裝置310中，應用處理器311用以處理關於頭戴式顯示裝置300執行的應用程式的相關資訊。而在連接端裝置320中，控制器322耦接運動感測器323、聲音編解碼器326以及信號切換器327。運動感測器323偵測頭戴式顯示裝置300的運動狀態，並將所獲得的運動狀態的相關資訊提供至控制器322。控制器322另接收多自由度方程式DOFF的相關資訊，並針對運動狀態進行多自由度方程式DOFF計算以產生多軸定位資訊DOFI。
控制器322所產生的多軸定位資訊DOFI可透過信號切換器327來傳送至連接器321。其中，信號切換器327耦接在應用處理器311、控制器322以及連接器321間，用來切換並使控制器322與連接器321間進行資料傳輸，或使應用處理器311與連接器321間進行資料傳輸。
控制器322將多軸定位資訊DOFI可透過信號切換器327來傳送至連接器321，並使連接至連接器321的手持式電子裝置接收多軸定位資訊DOFI。手持式電子裝置即可依據多軸定位資訊DOFI來產生對應的顯示影像資料CDP。舉例來說明，手持式電子裝置即可依據多軸定位資訊DOFI，來獲知使用者的視野的觀察到虛擬實境的場景中的影像，並據以產生顯示影像資料CDP。手持式電子裝置並將顯示影像資料CDP透過連接器321傳送至影像格式轉換器324。
影像格式轉換器324耦接至連接器321、應用處理器311以及顯示器325。當影像格式轉換器324接收到顯示影像資料CDP時，可針對顯示影像資料CDP執行影像格式的轉換動作，並產生符合顯示器325要求的影像格式的轉換影像資料XCDP。如此，顯示器325可依據轉換影像資料XCDP進行影像顯示動作。
附帶一提的，影像格式轉換器324也可接收應用處理器311所提供的影像或圖像資料，並使顯示器325進行對應的顯示動作。
請參照圖4，圖4繪示本發明實施例的頭戴式顯示系統的一實施方式的示意圖。在圖4的頭戴式顯示裝置400中，可將包括第一應用處理器411的第一應用端裝置410設置在第一應用模組41A中。並使第一應用模組41A透過連接端裝置430上的連接器432來產生可拆卸式的耦接關係。此外，頭戴式顯示系統400可另設置第二應用模組41B，其中，第二應用模組41B包括具有第二應用處理器421的第二應用端裝置420。在此，第二應用處理器421與第一應用處理器411不相同，且第二應用模組41B也可透過連接端裝置430上的連接器432來產生可拆卸式的耦接關係。
細節上來說明，當第一應用模組41A與連接器432的耦接關係被解除時，第一應用模組41A與連接端裝置430物理性隔離，此時第二應用模組41B可與連接器432建立連接關係。如此一來，可使第二應用處理器421置換第一應用處理器411。
上述的第一應用模組41A、第二應用模組41B例如可以設計成具有金手指連接器的電路板模組，連接器432則為相對應的連接裝置。當然，連接器432與第一應用模組41A、第二應用模組41B的連接型式也可透過其他任意型式的已知的連接結構來實施，沒有固定的限制。
上述的動作可以讓使用者依據其實際的需求來變更頭戴式顯示裝置400中的應用處理器。同樣可以得知，透過置換不同的應用模組，也可使頭戴式顯示裝置400進行升級的動作。
附帶一提的，連接端裝置430另包括連接器431。連接器431用以連接手持式電子裝置（如圖1繪示的手持式電子裝置120）。連接器431可以是C型的通用序列匯流排連接器。
請參照圖5，圖5繪示本發明實施例的頭戴式顯示裝置的再一實施方式的示意圖。頭戴式顯示裝置500包括運動狀態處理器510、連接器520、顯示器530以及聲音編解碼器540。運動狀態處理器510可偵測頭戴式顯示裝置500的運動狀態，並針對運動狀態進行多自由度方程式計算以產生多軸定位資訊DOFI。在本實施例中，運動狀態處理器510可接收不同的多自由度方程式DOFF1、DOFF2，並據以產生多軸定位資訊DOFI。多自由度方程式DOFF1、DOFF2可以分別為3自由度方程式以及6自由度方程式。
運動狀態處理器510並透過連接器520以提供多軸定位資訊DOFI至手持式電子裝置（如圖1中的手持式電子裝置120）。手持式電子裝置則對應多軸定位資訊DOFI來提供顯示影像資料CDP至連接器520。在本實施例中，顯示影像資料CDP可透過連接器520以直接提供至顯示器530，並使顯示器530依據顯示影像資料CDP進行影像顯示動作。或者，顯示影像資料CDP也可透過連接器520以提供至運動狀態處理器510。運動狀態處理器510可針對顯示影像資料CDP進行影像格式的轉換動作，以產生轉換影像資料XCDP。運動狀態處理器510並傳送轉換影像資料XCDP至顯示器530，以使顯示器530依據轉換影像資料XCDP進行影像顯示動作。
附帶一提，運動狀態處理器510並耦接聲音編解碼器540。聲音編解碼器540針對聲音信號進行編碼或解碼動作，並使運動狀態處理器510可以接收聲音信號或執行聲音的播放動作。
請注意，上數多個實施例中的控制器、應用處理器、運動狀態處理器均可以為具運算能力的處理器。或者，控制器、應用處理器、運動狀態處理器可以是透過硬體描述語言（Hardware Description Language, HDL）或是其他任意本領域具通常知識者所熟知的數位電路的設計方式來進行設計，並透過現場可程式邏輯門陣列（Field Programmable Gate Array, FPGA）、複雜可程式邏輯裝置（Complex Programmable Logic Device, CPLD）或是特殊應用積體電路（Application-specific Integrated Circuit, ASIC）的方式來實現的硬體電路。
請參照圖6，圖6繪示本發明一實施例的影像顯示方法的流程圖。其中，步驟S610依據頭戴式顯示裝置的運動狀態以產生多軸定位資訊；步驟S620透過連接器以提供多軸定位資訊至手持式電子裝置；步驟S630則使手持式電子裝置依據多軸定位資訊提供顯示影像資料；以及，在步驟S640中使頭戴式顯示裝置依據顯示影像資料執行影像顯示動作。
關於上述步驟的實施細節，在前述的實施例及實施方式已有詳盡的說明，在此不多贅述。
請參照圖7，圖7繪示本發明實施例的頭戴式顯示系統的動作流程示意圖。其中，頭戴式顯示裝置在步驟S711啟動電源，並在步驟S712執行有無與手持式電子裝置產生連接的連接判斷。同時，手持式電子裝置步驟S721啟動電源，並在步驟S722執行有無與頭戴式顯示裝置產生連接的連接判斷。其中，步驟S712以及步驟S722的連接判斷可以同步進行，而手持式電子裝置與頭戴式顯示裝置可透過例如C型（Type C）的通用序列匯流排來執行。
當步驟S712以及步驟S722皆判斷出手持式電子裝置與頭戴式顯示裝置有相互連接時，頭戴式顯示裝置可在步驟S713啟動多自由度方程式的計算。同時，手持式電子裝置也可在步驟S723啟動虛擬實境的功能。頭戴式顯示裝置可偵測其運動狀態，並針對運動狀態執行多自由度方程式的計算來產生多軸定位資訊（步驟S714）。手持式電子裝置則接收頭戴式顯示裝置產生的多軸定位資訊（步驟S724），並透過執行虛擬實境的功能的應用程式來產生對應多軸定位資訊的顯示影像資料（步驟S725）。
在步驟S726中，手持式電子裝置傳送顯示影像資料至頭戴式顯示裝置。在步驟S715中，頭戴式顯示裝置接收手持式電子裝置所產生的顯示影像資料，並據以進行影像顯示動作。
綜上所述，本發明實施例透過頭戴式顯示裝置以及手持式電子裝置分別執行不同的資訊的處理動作，可快速的完成顯示影像資料的獲取動作，提升頭戴式顯示系統的影像顯示效能。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
100‧‧‧頭戴式顯示系統
110、200、300、400、500‧‧‧頭戴式顯示裝置
120‧‧‧手持式電子裝置
DOFI‧‧‧多軸定位資訊
CDP‧‧‧顯示影像資料
210、310‧‧‧應用端裝置
220、320、430‧‧‧連接端裝置
211、311‧‧‧應用處理器
212、323‧‧‧運動感測器
213、326、540‧‧‧聲音編解碼器
214、328‧‧‧音源接頭
DOFF‧‧‧自由度方程式
111、221、321、432、520‧‧‧連接器
222、324‧‧‧影像格式轉換器
223、325、530‧‧‧顯示器
322‧‧‧控制器
XCDP‧‧‧轉換影像資料
327‧‧‧信號切換器
410‧‧‧第一應用端裝置
411‧‧‧第一應用處理器
41A‧‧‧第一應用模組
420‧‧‧第二應用端裝置
41B‧‧‧第二應用模組
421‧‧‧第二應用處理器
510‧‧‧運動狀態處理器
DOFF1、DOFF2‧‧‧多自由度方程式
S610~S640‧‧‧影像顯示步驟
S711~S726‧‧‧頭戴式顯示系統的動作步驟
圖1繪示本發明一實施例的頭戴式顯示系統的示意圖。 圖2繪示本發明一實施例的頭戴式顯示裝置的實施方式的示意圖。 圖3繪示本發明實施例的頭戴式顯示裝置的另一實施方式的示意圖。 圖4繪示本發明實施例的頭戴式顯示系統的一實施方式的示意圖。 圖5繪示本發明實施例的頭戴式顯示裝置的再一實施方式的示意圖。 圖6繪示本發明一實施例的影像顯示方法的流程圖。 圖7繪示本發明實施例的頭戴式顯示系統的動作流程示意圖。

Claims (14)

  1. 一種頭戴式顯示系統，包括：一頭戴式顯示裝置，具有一連接器，該頭戴式顯示裝置依據一運動狀態以產生一多軸定位資訊；以及一手持式電子裝置，透過該連接器耦接該頭戴式顯示裝置，接收該多軸定位資訊並對應該多軸定位資訊提供一顯示影像資料，其中，該頭戴式顯示裝置接收該顯示影像資料並依據該顯示影像資料執行一影像顯示動作，其中該頭戴式顯示裝置包括：一應用端裝置，包括：一運動感測器，獲得該運動狀態；以及一應用處理器，耦接該運動感測器，針對該運動狀態進行一多自由度方程式計算以產生該多軸定位資訊；以及一連接端裝置，耦接該應用端裝置，具有一顯示器，該連接端裝置具有該連接器以連接該手持式電子裝置，該連接端裝置用以傳輸該多軸定位資訊至該手持式電子裝置，並接收該顯示影像資料且轉換該顯示影像資料的格式以產生轉換影像資料，並使該顯示器依據該轉換影像資料以執行該影像顯示動作。
  2. 如申請專利範圍第1項所述的頭戴式顯示系統，其中該應用端裝置更包括：一聲音編解碼器，耦接該應用處理器，針對一聲音信號進行編碼或解碼動作。
  3. 如申請專利範圍第1項所述的頭戴式顯示系統，其中該連接端裝置更包括：一影像格式轉換器，耦接該連接器，用以轉換該顯示影像資料的格式以產生該轉換影像資料。
  4. 如申請專利範圍第1項所述的頭戴式顯示系統，其中該連接器為C型通用序列匯流排連接器。
  5. 一種頭戴式顯示系統，包括：一頭戴式顯示裝置，具有一連接器，該頭戴式顯示裝置依據一運動狀態以產生一多軸定位資訊；以及一手持式電子裝置，透過該連接器耦接該頭戴式顯示裝置，接收該多軸定位資訊並對應該多軸定位資訊提供一顯示影像資料，其中，該頭戴式顯示裝置接收該顯示影像資料並依據該顯示影像資料執行一影像顯示動作，其中該頭戴式顯示裝置包括：一應用端裝置，具有一第一應用處理器；以及一連接端裝置，耦接該應用端裝置，包括：一運動感測器，獲得該運動狀態；一控制器，耦接該運動感測器，針對該運動狀態進行一多自由度方程式計算以產生該多軸定位資訊；以及 一影像格式轉換器，耦接該連接器，用以轉換該顯示影像資料的格式以產生一轉換影像資料；以及一顯示器，耦接該影像格式轉換器，依據該轉換影像資料以進行該影像顯示動作。
  6. 如申請專利範圍第5項所述的頭戴式顯示系統，其中該連接端裝置更包括：一信號切換器，耦接在該控制器、該應用處理器以及該連接器間，選擇傳送該多軸定位資訊至該連接器，或選擇傳送該轉換影像資料至該應用處理器。
  7. 如申請專利範圍第5項所述的頭戴式顯示系統，其中該連接端裝置更包括：一聲音編解碼器，耦接該控制器，針對一聲音信號進行編碼或解碼動作。
  8. 如申請專利範圍第5項所述的頭戴式顯示系統，其中該應用端裝置設置於一第一應用模組中，該第一應用模組可拆卸式耦接至該連接端裝置。
  9. 如申請專利範圍第8項所述的頭戴式顯示系統，更包括一第二應用模組，該第二應用模組上具有一第二應用處理器，該第二應用模組可拆卸式耦接至該連接端裝置，其中，當該第一應用模組與該連接端裝置物理性隔離時，該該第二應用模組耦接至該連接端裝置，並使該第二應用處理器置換該第一應用處理器。
  10. 如申請專利範圍第5項所述的頭戴式顯示系統，其中該頭戴式顯示裝置包括：一運動狀態處理器，偵測該頭戴式顯示裝置的該運動狀態，並針對該運動狀態進行一多自由度方程式計算以產生該多軸定位資訊；以及一顯示器，耦接該運動狀態處理器，其中，該運動狀態處理器由該連接器接收該顯示影像資料，並使該顯示器依據該顯示影像資料進行該影像顯示動作。
  11. 如申請專利範圍第10項所述的頭戴式顯示系統，其中該頭戴式顯示裝置更包括：一聲音編解碼器，耦接該運動狀態處理器，針對一聲音信號進行編碼或解碼動作。
  12. 如申請專利範圍第10項所述的頭戴式顯示系統，其中該運動狀態處理器更針對該顯示影像資料進行影像格式轉換動作，以產生一轉換影像資料，該顯示器依據該轉換影像資料進行該影像顯示動作。
  13. 一種影像顯示方法，適用於頭戴式顯示裝置，包括：透過該頭戴式顯示裝置的一應用端裝置中的一運動感測器獲得該頭戴式顯示裝置的一運動狀態，並透過該應用端裝置中的一應用處理器針對該運動狀態進行一多自由度方程式計算，以依據該頭戴式顯示裝置的該運動狀態產生一多軸定位資訊； 透過該頭戴式顯示裝置的一連接端裝置的一連接器連接一手持式電子裝置，以提供該多軸定位資訊至該手持式電子裝置；使該手持式電子裝置依據該多軸定位資訊提供一顯示影像資料；透過該連接端裝置接收該顯示影像資料且轉換該顯示影像資料的格式以產生轉換影像資料；以及透過該連接端裝置中的一顯示器依據該轉換影像資料執行一影像顯示動作。
  14. 如申請專利範圍第13項所述的影像顯示方法，其中該連接器為C型通用序列匯流排連接器。
TW106131662A 2017-09-13 2017-09-15 頭戴式顯示系統及其影像顯示方法 TWI638310B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/703,944 US20190079288A1 (en) 2017-09-13 2017-09-13 Head mounted display system and image display method thereof
US15/703,944 2017-09-13

Publications (2)

Publication Number Publication Date
TWI638310B true TWI638310B (zh) 2018-10-11
TW201915707A TW201915707A (zh) 2019-04-16

Family

ID=64797588

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106131662A TWI638310B (zh) 2017-09-13 2017-09-15 頭戴式顯示系統及其影像顯示方法

Country Status (3)

Country Link
US (1) US20190079288A1 (zh)
CN (1) CN109491495A (zh)
TW (1) TWI638310B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI757872B (zh) * 2020-09-16 2022-03-11 宏碁股份有限公司 整合動作感測器的擴增實境系統與擴增實境顯示方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI748299B (zh) * 2019-12-05 2021-12-01 未來市股份有限公司 動作感測資料產生方法和動作感測資料產生系統
CN114253389B (zh) * 2020-09-25 2023-05-23 宏碁股份有限公司 整合动作感测器的增强现实系统与增强现实显示方法
US11748965B2 (en) * 2021-09-28 2023-09-05 Htc Corporation Virtual image display system and virtual image display method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101632033A (zh) * 2007-01-12 2010-01-20 寇平公司 头戴式单眼显示装置
US20120218301A1 (en) * 2010-02-28 2012-08-30 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
US20140285521A1 (en) * 2013-03-22 2014-09-25 Seiko Epson Corporation Information display system using head mounted display device, information display method using head mounted display device, and head mounted display device
TW201716827A (zh) * 2015-09-02 2017-05-16 愛威願景有限公司 眼睛投影系統與方法
TW201723593A (zh) * 2015-09-03 2017-07-01 ３Ｍ新設資產公司 頭戴顯示器

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10133342B2 (en) * 2013-02-14 2018-11-20 Qualcomm Incorporated Human-body-gesture-based region and volume selection for HMD
CN110308561A (zh) * 2014-03-14 2019-10-08 索尼互动娱乐股份有限公司 用于头戴式显示器(hmd)的方法和系统
US9754415B2 (en) * 2014-03-27 2017-09-05 Microsoft Technology Licensing, Llc Display relative motion compensation
US9542718B2 (en) * 2014-12-18 2017-01-10 Intel Corporation Head mounted display update buffer
WO2016175480A1 (en) * 2015-04-30 2016-11-03 Samsung Electronics Co., Ltd. Electronic device, adapter device, and video data processing method thereof
US20170236330A1 (en) * 2016-02-15 2017-08-17 Julie Maria Seif Novel dual hmd and vr device with novel control methods and software
US11181990B2 (en) * 2016-03-18 2021-11-23 Sony Interactive Entertainment Inc. Spectator view tracking of virtual reality (VR) user in VR environments
US10579162B2 (en) * 2016-03-24 2020-03-03 Samsung Electronics Co., Ltd. Systems and methods to correct a vehicle induced change of direction
WO2017201191A1 (en) * 2016-05-17 2017-11-23 Google Llc Methods and apparatus to project contact with real objects in virtual reality environments

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101632033A (zh) * 2007-01-12 2010-01-20 寇平公司 头戴式单眼显示装置
US20120218301A1 (en) * 2010-02-28 2012-08-30 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
US20140285521A1 (en) * 2013-03-22 2014-09-25 Seiko Epson Corporation Information display system using head mounted display device, information display method using head mounted display device, and head mounted display device
TW201716827A (zh) * 2015-09-02 2017-05-16 愛威願景有限公司 眼睛投影系統與方法
TW201723593A (zh) * 2015-09-03 2017-07-01 ３Ｍ新設資產公司 頭戴顯示器

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI757872B (zh) * 2020-09-16 2022-03-11 宏碁股份有限公司 整合動作感測器的擴增實境系統與擴增實境顯示方法

Also Published As

Publication number Publication date
CN109491495A (zh) 2019-03-19
TW201915707A (zh) 2019-04-16
US20190079288A1 (en) 2019-03-14

Similar Documents

Publication Publication Date Title
TWI638310B (zh) 頭戴式顯示系統及其影像顯示方法
JP2019106628A (ja) 画像補正装置、画像補正方法およびプログラム
US10866915B2 (en) Method for increasing the compatibility of displayport
WO2018068675A1 (zh) 一种虚拟现实头盔及实现其双运算平台方法
CN111061363A (zh) 一种虚拟现实系统
TW201423412A (zh) 平板電腦及其控制方法
TW201426689A (zh) 顯示裝置、顯示系統以及具有該顯示系統的電子裝置
TW201810050A (zh) 顯示裝置以及電子裝置切換器
TW202110112A (zh) 用於類比通道恢復的系統及方法
CN105516712A (zh) 一种音视频解码芯片测试平台及方法
TWI463327B (zh) 遠端管理裝置及遠端管理系統
JP5444064B2 (ja) レンズ装置
TWI545501B (zh) 用於電子顯示器之顯示埠集中器、系統及方法
JP2007510331A (ja) メディアアダプターに関連した複数の通信リンクの使用
TW201541257A (zh) 串列匯流排通訊架構
TWM593581U (zh) 電腦裝置
JP2019215782A (ja) データ差し替え装置、端末、およびデータ差し替えプログラム
CN113497883B (zh) 一种图像处理方法及系统、相机模组、图像采集系统
CN210582880U (zh) 一种新型嵌入式ai智能交互轮椅
KR101334746B1 (ko) Ｕｓｂ 커넥터를 통해 입력되는 영상을 디스플레이하는디스플레이 장치 및 그 방법
US20180192041A1 (en) Timing correction method and module for 3d display, and 3d display system using the same
TWI708151B (zh) 具擴充性之電子運算系統
CN211015468U (zh) 电脑装置
KR101092493B1 (ko) 디스플레이 장치의 입력 장치를 이용한 호스트 제어 시스템 및 방법
US20180357977A1 (en) System and method for augmented reality interface to mobile devices