TWI790430B - 擴增實境系統以及利用擴增實境眼鏡顯示虛擬螢幕的方法 - Google Patents

擴增實境系統以及利用擴增實境眼鏡顯示虛擬螢幕的方法 Download PDF

Info

Publication number
TWI790430B
TWI790430B TW109112313A TW109112313A TWI790430B TW I790430 B TWI790430 B TW I790430B TW 109112313 A TW109112313 A TW 109112313A TW 109112313 A TW109112313 A TW 109112313A TW I790430 B TWI790430 B TW I790430B
Authority
TW
Taiwan
Prior art keywords
image
display module
augmented reality
virtual screen
processing circuit
Prior art date
Application number
TW109112313A
Other languages
English (en)
Other versions
TW202138969A (zh
Inventor
黃詠証
高樹國
Original Assignee
宏碁股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏碁股份有限公司 filed Critical 宏碁股份有限公司
Priority to TW109112313A priority Critical patent/TWI790430B/zh
Priority to US17/023,975 priority patent/US11249315B2/en
Publication of TW202138969A publication Critical patent/TW202138969A/zh
Application granted granted Critical
Publication of TWI790430B publication Critical patent/TWI790430B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Abstract

一種擴增實境系統，包括一可攜式電子裝置、一擴增實境眼鏡、以及一處理電路。可攜式電子裝置具有一顯示模組以及一定位組件，其中定位組件設置於顯示模組上。擴增實境眼鏡包含一影像擷取模組，影像擷取模組配置以擷取顯示模組之至少一影像。處理電路配置以根據至少一影像判斷此至少一影像之一影像中心點相對於定位組件之一位置。當處理電路判斷影像中心點之位置由顯示模組內移動而超過定位組件時，處理電路控制擴增實境眼鏡顯示一虛擬螢幕，並且虛擬螢幕由顯示模組之一第一側邊延伸。

Description

擴增實境系統以及利用擴增實境眼鏡顯示虛擬螢幕的方法
本揭露係關於一種擴增實境系統以及方法，特別係關於一種利用擴增實境眼鏡來顯示虛擬螢幕的擴增實境系統以及方法。
隨著科技的發展，平板電腦、桌上型電腦或是筆記型電腦都是非常受歡迎的產品。
一般而言，筆記型電腦只具有單一個顯示螢幕。然而隨著筆記型電腦的效能提升，可以執行的程式也越來越多，因此單一顯示螢幕已經不敷使用者的需求。然而，實體的擴充螢幕是外掛於筆記型電腦的螢幕，增加了重量而降低了筆記型電腦的移動性，並且也增加了使用者的費用。
因此，如何設計出可增加顯示螢幕但不會降低移動性的方案，便是現今值得探討與解決之課題。
有鑑於此，本揭露提出一種擴增實境系統，以解決上述之問題。
本揭露提供了一種擴增實境系統，包括一可攜式電子裝置、一擴增實境眼鏡、以及一處理電路。可攜式電子裝置具有一顯示模組以及一定位組件，其中定位組件設置於顯示模組上。擴增實境眼鏡包含一影像擷取模組，影像擷取模組配置以擷取顯示模組之至少一影像。處理電路配置以根據至少一影像判斷影像之一影像中心點相對於定位組件之一位置。當處理電路判斷影像中心點之位置由顯示模組內移動而超過定位組件時，處理電路控制擴增實境眼鏡顯示一虛擬螢幕，並且虛擬螢幕由顯示模組之一第一側邊延伸。
本揭露提供一種利用擴增實境眼鏡顯示虛擬螢幕的方法，包含：設置一定位組件於一顯示模組上；擷取顯示模組之至少一影像；根據至少一影像判斷至少一影像之一影像中心點相對於定位組件之一位置；以及當影像中心點之位置由顯示模組內移動而超出定位組件時，控制擴增實境眼鏡顯示一虛擬螢幕，其中虛擬螢幕由顯示模組之一側邊延伸。
本揭露提供一種擴增實境系統，包括可攜式電子裝置、擴增實境眼鏡以及擴充裝置。使用者可穿戴擴增實境眼鏡並同時使用可攜式電子裝置。可攜式電子裝置上設置有定位組件，處理電路可根據擴增實境眼鏡上之影像擷取模組所提供的影像判斷使用者的視野範圍的中心點相對於定位組件之位置，並且進一步控制擴增實境眼鏡的光學顯示模組以顯示相對應之虛擬螢幕。
因此，基於本揭露之設計，使用者不需要購買安裝於可攜式電子裝置上的實體螢幕，因此可以維持可攜式電子裝置的移動性，並且可以達成增加擴充螢幕之目的。
為了讓本揭露之目的、特徵、及優點能更明顯易懂，下文特舉實施例，並配合所附圖示做詳細說明。其中，實施例中的各元件之配置係為說明之用，並非用以限制本揭露。且實施例中圖式標號之部分重複，係為了簡化說明，並非意指不同實施例之間的關聯性。以下實施例中所提到的方向用語，例如：上、下、左、右、前或後等，僅是參考附加圖式的方向。因此，使用的方向用語是用來說明並非用來限制本揭露。
請參考第1圖，第1圖為根據本揭露一實施例之一擴增實境系統50之示意圖。擴增實境系統50可包含一可攜式電子裝置100、一擴增實境眼鏡200（augmented reality glasses）以及一擴充裝置300。可攜式電子裝置100可為一筆記型電腦，其包含有一顯示模組102以及一主機模組104。於此實施例中，可攜式電子裝置100可更包含一定位組件150，設置於顯示模組102上。
主機模組104可包含一運算電路1041，例如一中央處理器(Central Processing Unit, CPU)，配置以控制可攜式電子裝置100的操作。中央處理器提供執行作業系統(Operating System，OS)、程式、使用者圖形介面、軟體、模組、應用程式和可攜式電子裝置100之功能所需的處理能力。
於此實施例中，擴增實境眼鏡200是透過擴充裝置300電性連接於主機模組104，並且擴增實境眼鏡200可包含二個鏡片202、一影像擷取模組204、以及一光學顯示模組205。鏡片202可為透明鏡片，而影像擷取模組204是配置以連續地擷取顯示模組102之影像，並將影像訊號傳送給一處理電路200C（第1A圖）。
光學顯示模組205可包含二光學投影機206以及二光學導引元件208。於此實施例中，光學投影機206可為微型投影頭，配置以接收處理電路200C所提供之投影訊號以發出一投影影像至光學導引元件208。光學導引元件208可為一反射稜鏡，配置以將前述投影影像投射到使用者的瞳孔。
要注意的是，光學顯示模組205的實施方式不限於此。舉例來說，在本揭露其他實施例中，鏡片202可為一半反射鏡，並且光學導引元件208是將前述投影影像投射到鏡片202上。
請參考第1圖與第1A圖，第1A圖為根據本揭露一實施例之擴增實境系統50之方塊圖。具體而言，擴增實境眼鏡200可更包含一處理電路200C、一儲存電路200M、一左訊框緩衝器200FL以及一右訊框緩衝器200FR。處理電路200C可為微控制器(Micro-controller Unit，MCU) ，微控制器為一整合晶片，其具有中央處理器、記憶體、定時/計數器、輸入輸出介面等整合於其內，並具有輸入輸出介面簡單且體積小等優點。儲存電路200M例如可為一隨機存取記憶體(Random Access Memory，RAM)、快閃記憶體(flash memory)、唯讀記憶體(Read-Only Memory，ROM)等等。左訊框緩衝器200FL與右訊框緩衝器200FR是分別電性連接於第1圖中左側以及右側的光學投影機206，左訊框緩衝器200FL與右訊框緩衝器200FR是用來暫存處理電路200C提供的影像訊框(frame)，接著再提供給光學投影機206。
擴充裝置300可包含一連接埠301，而處理電路200C可根據影像擷取模組204所提供之影像來判斷影像的中心點相對於定位組件150的位置，並將相關之位置資料透過擴充裝置300的連接埠301傳送給主機模組104。連接埠301可為通用序列匯流排(USB)或是Display port（DP），但不限於此。在其他實施例中， 擴增實境眼鏡200也可利用無線方式（例如WIFI）與主機模組104通訊。
另外，擴增實境眼鏡200上可更設置有一或多個感測元件200S，例如運動感測元件或是6自由度（six degrees of freedom，6DoF）追蹤元件，電性連接於處理電路200C，以使處理電路200C所計算的位置資料更為準確。此外，在其他實施例中，處理電路200C也可整合於運算電路1041中。
請參考第1圖與第2圖，第2圖為根據本揭露一實施例之擴增實境眼鏡200的影像擷取模組204所拍攝之可攜式電子裝置100的一影像。其中，視野範圍FOV代表使用者穿戴擴增實境眼鏡200時的視野範圍，並且中心點CV為使用者的視野中心點，視野範圍FOV之尺寸不限於第2圖中所繪。值得注意的是，如第1圖所示，本揭露之影像擷取模組204是設置於二個鏡片202之間的中心位置，因此影像擷取模組204拍攝的影像中心點重疊於中心點CV。
再者，如第2圖所示，於此實施例中，顯示模組102具有一第一側邊1021、一第二側邊1022以及一第三側邊1023，並且定位組件150包含三個定位元件151、152以及153。定位元件151、152以及153具有條狀結構，並且定位元件151、152以及153是分別設置於第一側邊1021、第二側邊1022以及第三側邊1023。此外，這些定位元件具有不同之顏色。舉例來說，定位元件151可為橘色、定位元件152可為綠色，而定位元件153可為黃色，但不限於此。
影像擷取模組204可擷取可攜式電子裝置100的彩色影像。於是，處理電路200C便可根據影像擷取模組204拍攝的彩色影像來判斷彩色影像之影像中心點（也是使用者的視野範圍FOV的中心點CV）相對於定位組件150之位置（位置資料）。如第2圖所示，中心點CV是位於顯示模組102的一實體螢幕1020的範圍內。接著，處理電路200C會將位置資料傳輸給主機模組104的運算電路1041。
請參考第2圖與第3圖，第3圖為根據本揭露一實施例之使用者向右轉頭時影像擷取模組204所拍攝之另一影像。當使用者向由右轉頭時，如第3圖所示，中心點CV由第2圖之位置移動到第3圖之位置。此時，處理電路200C判斷影像中心點（中心點CV）之位置由顯示模組102內移動而超過（跨過）定位組件150中橘色的定位元件151，並且處理電路200C將此位置資料傳輸給運算電路1041。
接著，運算電路1041收到位置資料後計算出投影資料（包含所要投影的畫面尺寸跟位置），然後便將此投影資料傳送給處理電路200C。處理電路200C根據投影資料控制光學投影機206以及光學導引元件208將一第一虛擬螢幕VS1投射到使用者的視網膜上，如第3圖所示。其中，第一虛擬螢幕VS1是由顯示模組102之第一側邊1021延伸。
具體而言，如第3圖所示，第一側邊1021以及第三側邊1023是沿著顯示模組102的一長軸方向（X軸）排列，並且第一虛擬螢幕VS1是沿著此長軸方向延伸。於此實施例中，第一虛擬螢幕VS1於長軸方向上具有一第一長度L1，顯示模組102的實體螢幕1020於長軸方向上具有一第二長度L2，並第一長度L1小於或等於第二長度L2的二分之一，但不限於此。 在一些實施例中，第二長度L2也可為顯示模組102於長軸方向上之長度。
相反地，當中心點CV由第3圖之位置移動回到第2圖之位置時，處理電路200C判斷中心點CV由顯示模組102外移動越過定位元件151至顯示模組102內。於是，運算電路1041與處理電路200C便可控制擴增實境眼鏡200關閉第一虛擬螢幕VS1。
請參考第2圖與第4圖，第4圖為根據本揭露一實施例之使用者向左轉頭時影像擷取模組204所拍攝之另一影像。當使用者轉頭朝向左方觀看時，中心點CV由第2圖之位置移動到第4圖之位置。此時，處理電路200C判斷影像中心點（中心點CV）由顯示模組102內移動而超過定位組件150中黃色的定位元件153，並且處理電路200C將此位置資料傳輸給運算電路1041。
接著，運算電路1041收到位置資料後計算出投影資料並將此投影資料傳送給處理電路200C。處理電路200C根據投影資料控制光學投影機206以及光學導引元件208將一第二虛擬螢幕VS2投射到使用者的視網膜上，如第4圖所示。其中，第二虛擬螢幕VS2是由顯示模組102之第三側邊1023延伸。
如第4圖所示，第二虛擬螢幕VS2是沿著長軸方向延伸，並且第二虛擬螢幕VS2於長軸方向上的一第三長度L3也小於或等於第二長度L2的二分之一。
請參考第2圖與第5圖，第5圖為根據本揭露一實施例之使用者抬頭時影像擷取模組204所拍攝之另一影像。當使用者抬頭朝向上方觀看時，中心點CV由第2圖之位置移動到第5圖之位置。此時，處理電路200C判斷影像中心點（中心點CV）由顯示模組102內移動而超過定位組件150中綠色的定位元件152，並且處理電路200C將此位置資料傳輸給運算電路1041。
接著，運算電路1041收到位置資料後計算出投影資料並將此投影資料傳送給處理電路200C。處理電路200C根據投影資料控制光學投影機206以及光學導引元件208將一第三虛擬螢幕VS3投射到使用者的視網膜上，如第5圖所示。其中，第三虛擬螢幕VS3是由第二側邊1022延伸。
如第5圖所示，第三虛擬螢幕VS3於Y軸方向上具有一第一高度H1，顯示模組102的實體螢幕1020具有一第二高度H2，並且第一高度H1也小於或等於第二高度H2的二分之一，但不限於此。在一些實施例中，第二高度H2也可為顯示模組102於Y軸方向上之高度。
請參考第6圖，第6圖為根據本揭露一實施例之擴增實境眼鏡200的影像擷取模組204所拍攝之可攜式電子裝置100的另一影像。當使用者的頭傾斜時，視野範圍FOV也會傾斜。於此實施例中，擴增實境眼鏡200可定義有一橫軸方向TX，因此影像擷取模組204所擷取的影像也可具有橫軸方向TX。當中心點CV移動超過定位元件151時，處理電路200C控制第一虛擬螢幕VS1沿著橫軸方向TX延伸。於此實施例中，第一虛擬螢幕VS1與第一側邊1021之間形成有一銳角AG。
請參考第7圖，第7圖為根據本揭露一實施例之影像擷取模組204所拍攝之可攜式電子裝置100的另一影像。當使用者的手HD在視野範圍FOV中做出手勢時，處理電路200C會進一步根據此影像來判斷手勢。舉例來說，如第7圖所示，處理電路200C根據影像判斷手勢朝上，因此處理電路200C與運算電路1041可根據此手勢控制擴增實境眼鏡200顯示第三虛擬螢幕VS3。其餘手勢與虛擬螢幕的作動以此類推。
值得注意的是，第三虛擬螢幕VS3在Y軸方向上的高度不會超出視野範圍FOV。此外，在其他實施例中，處理電路200C與運算電路1041也可根據一滑鼠裝置（圖中未表示）之輸入訊號或者是主機模組104之鍵盤的輸入訊號來控制擴增實境眼鏡200顯示虛擬螢幕。
請參考第8圖，第8圖為根據本揭露另一實施例之顯示模組102與定位組件150之示意圖。於此實施例中，定位組件150包含四個定位元件154～157，分別設置於顯示模組102的四個角落且位於實體螢幕1020外。其中，定位元件154～157可為圓點，而定位元件155具有不同於定位元件154、156與157之標記，例如具有X形標記。在其他實施例中，定位元件155可具有不同於定位元件154、156與157之形狀或顏色。
基於上述定位元件154～157之設計，運算電路1041與處理電路200C便可根據中心點CV的相對位置來決定是否顯示第一虛擬螢幕VS1、第二虛擬螢幕VS2或第三虛擬螢幕VS3。舉例來說，當中心點CV由顯示模組102內移動超過定位元件154與155之連線時，第一虛擬螢幕VS1便會顯示。
值得注意的是，在其他實施例中，定位元件154～157也可為顯示於實體螢幕1020上的像素點，位於實體螢幕1020的四個角落。
此外，在一些實施例中，顯示模組102也可設置有一攝像鏡頭（圖中未表示），配置以拍攝使用者的影像。於是，運算電路1041可比對攝像頭以及影像擷取模組204所擷取的影像，以獲得更精確的位置資料。
接著，請參考第9圖，第9圖為根據本揭露一實施例之利用擴增實境眼鏡200顯示虛擬螢幕的方法S400之流程圖。在步驟S402中，設置定位組件150於顯示模組102上。定位組件150可以由第2圖中的定位元件151～153或第8圖中的定位元件154～157實施，但不限於此。在步驟S404中，藉由影像擷取模組204擷取顯示模組102之至少一影像。
在步驟S406中，處理電路200C根據此至少一影像判斷影像之一影像中心點（中心點CV）相對於定位組件150之一位置。在步驟S408中，當影像中心點的位置由顯示模組102的範圍內移動超出定位組件150時，控制擴增實境眼鏡200顯示一虛擬螢幕，並且此虛擬螢幕是由顯示模組102之一側邊延伸（例如第一側邊1021）。
另外，在步驟S410中，當影像中心點（中心點CV）的位置由顯示模組102外移動至顯示模組102的範圍內時，控制擴增實境眼鏡200關閉此虛擬螢幕。
本揭露提供一種擴增實境系統50，包括可攜式電子裝置100、擴增實境眼鏡200以及擴充裝置300。使用者可穿戴擴增實境眼鏡200並同時使用可攜式電子裝置100。可攜式電子裝置100上設置有定位組件150，處理電路200C可根據擴增實境眼鏡200上之影像擷取模組204所提供的影像判斷使用者的視野範圍FOV的中心點CV相對於定位組件150之位置，並且進一步控制光學顯示模組205以顯示相對應之虛擬螢幕。
因此，基於本揭露之設計，使用者不需要購買安裝於可攜式電子裝置100上的實體螢幕，因此可以維持可攜式電子裝置100的移動性，並且可以達成增加擴充螢幕之目的。
雖然本揭露的實施例及其優點已揭露如上，但應該瞭解的是，任何所屬技術領域中具有通常知識者，在不脫離本揭露之精神和範圍內，當可作更動、替代與潤飾。此外，本揭露之保護範圍並未侷限於說明書內所述特定實施例中的製程、機器、製造、物質組成、裝置、方法及步驟，任何所屬技術領域中具有通常知識者可從本揭露揭示內容中理解現行或未來所發展出的製程、機器、製造、物質組成、裝置、方法及步驟，只要可以在此處所述實施例中實施大抵相同功能或獲得大抵相同結果皆可根據本揭露使用。因此，本揭露之保護範圍包括上述製程、機器、製造、物質組成、裝置、方法及步驟。另外，每一申請專利範圍構成個別的實施例，且本揭露之保護範圍也包括各個申請專利範圍及實施例的組合。
50:擴增實境系統 100:可攜式電子裝置 102:顯示模組 1020:實體螢幕 1021:第一側邊 1022:第二側邊 1023:第三側邊 104:主機模組 1041:運算電路 150:定位組件 151:定位元件 152:定位元件 153:定位元件 154～157:定位元件 200:擴增實境眼鏡 202:鏡片 204:影像擷取模組 205:光學顯示模組 206:光學投影機 208:光學導引元件 200C:處理電路 200M:儲存電路 200FL:左訊框緩衝器 200FR:右訊框緩衝器 200S:感測元件 300:擴充裝置 301:連接埠 AG:銳角 CV:中心點 FOV:視野範圍 H1:第一高度 H2:第二高度 HD:手 L1:第一長度 L2:第二長度 L3:第三長度 TX:橫軸方向 VS1:第一虛擬螢幕 VS2:第二虛擬螢幕 VS3:第三虛擬螢幕 S400:方法 S402、S404、S406、S408、S410:步驟 X:X軸 Y:Y軸
本揭露可藉由之後的詳細說明並配合圖示而得到清楚的了解。要強調的是，按照業界的標準做法，各種特徵並沒有按比例繪製，並且僅用於說明之目的。事實上，為了能夠清楚的說明，因此各種特徵的尺寸可能會任意地放大或者縮小。 第1圖為根據本揭露一實施例之一擴增實境系統50之示意圖。 第1A圖為根據本揭露一實施例之擴增實境系統50之方塊圖。 第2圖為根據本揭露一實施例之擴增實境眼鏡200的影像擷取模組204所拍攝之可攜式電子裝置100的一影像。 第3圖為根據本揭露一實施例之使用者向右轉頭時影像擷取模組204所拍攝之另一影像。 第4圖為根據本揭露一實施例之使用者向左轉頭時影像擷取模組204所拍攝之另一影像。 第5圖為根據本揭露一實施例之使用者抬頭時影像擷取模組204所拍攝之另一影像。 第6圖為根據本揭露一實施例之擴增實境眼鏡200的影像擷取模組204所拍攝之可攜式電子裝置100的另一影像。 第7圖為根據本揭露一實施例之影像擷取模組204所拍攝之可攜式電子裝置100的另一影像。 第8圖為根據本揭露另一實施例之顯示模組102與定位組件150之示意圖。 第9圖為根據本揭露一實施例之利用擴增實境眼鏡200顯示虛擬螢幕的方法S400之流程圖。
50:擴增實境系統
100:可攜式電子裝置
102:顯示模組
104:主機模組
1041:運算電路
150:定位組件
200:擴增實境眼鏡
202:鏡片
204:影像擷取模組
205:光學顯示模組
206:光學投影機
208:光學導引元件
300:擴充裝置
301:連接埠
X:X軸
Y:Y軸

Claims (9)

  1. 一種擴增實境系統，包括：一可攜式電子裝置，具有一顯示模組以及一定位組件，其中該定位組件設置於該顯示模組上；一擴增實境眼鏡，包含一影像擷取模組，該影像擷取模組配置以擷取該顯示模組之至少一影像；以及一處理電路，配置以根據該至少一影像判斷該影像之一影像中心點相對於該定位組件之一位置；其中，當該處理電路判斷該影像中心點之該位置由該顯示模組內移動而超過該定位組件時，該處理電路控制該擴增實境眼鏡顯示一虛擬螢幕，其中該虛擬螢幕由該顯示模組之一第一側邊延伸；其中該顯示模組具有該第一側邊、一第二側邊以及一第三側邊，該定位組件包含三個定位元件，具有條狀結構，該些定位元件分別設置於該第一、第二以及第三側邊，並且該些定位元件具有不同之顏色。
  2. 如請求項1所述之擴增實境系統，其中該第一側邊以及該第三側邊係沿著一長軸方向排列，該虛擬螢幕沿著該長軸方向延伸，該虛擬螢幕於該長軸方向上具有一第一長度，該顯示模組於該長軸方向上具有一第二長度，並且該第一長度小於或等於該第二長度的二分之一。
  3. 如請求項1所述之擴增實境系統，其中該至少一影 像中定義有一橫軸方向，該虛擬螢幕沿著該橫軸方向延伸，並且該虛擬螢幕與該第一側邊之間形成有一銳角。
  4. 如請求項1所述之擴增實境系統，其中該處理電路進一步配置以根據該至少一影像判斷一手勢，並且該處理電路根據該手勢控制該擴增實境眼鏡顯示該虛擬螢幕。
  5. 如請求項1所述之擴增實境系統，其中當該處理電路判斷該影像中心點之該位置由該顯示模組外移動至該顯示模組內時，該處理電路控制該擴增實境眼鏡關閉該虛擬螢幕。
  6. 如請求項1所述之擴增實境系統，其中該擴增實境眼鏡更包含一光學顯示模組，電性連接於該處理電路，並且該光學顯示模組包含：一光學導引元件；以及一光學投影機，配置以根據該處理電路提供之一投影訊號以發出一投影影像至該光學導引元件。
  7. 一種擴增實境系統，包括：一可攜式電子裝置，具有一顯示模組以及一定位組件，其中該定位組件設置於該顯示模組上；一擴增實境眼鏡，包含一影像擷取模組，該影像擷取模組配置以擷取該顯示模組之至少一影像；以及一處理電路，配置以根據該至少一影像判斷該影像之一影像中心點相對於該定位組件之一位置；其中，當該處理電路判斷該影像中心點之該位置由該顯示模組 內移動而超過該定位組件時，該處理電路控制該擴增實境眼鏡顯示一虛擬螢幕，其中該虛擬螢幕由該顯示模組之一第一側邊延伸；其中，該定位組件包含四個定位元件，分別設置於該顯示模組的四個角落，並且該些定位元件之其中一個具有不同於其他三個定位元件之標記、形狀或顏色。
  8. 一種利用擴增實境眼鏡顯示虛擬螢幕的方法，包含：設置一定位組件於一顯示模組上；擷取該顯示模組之至少一影像；根據該至少一影像判斷該至少一影像之一影像中心點相對於該定位組件之一位置；以及當該影像中心點之該位置由該顯示模組內移動而超出該定位組件時，控制該擴增實境眼鏡顯示一虛擬螢幕，其中該虛擬螢幕由該顯示模組之一側邊延伸；其中該顯示模組具有一第一側邊、一第二側邊以及一第三側邊，該定位組件包含三個定位元件，具有條狀結構，該些定位元件分別設置於該第一、第二以及第三側邊，並且該些定位元件具有不同之顏色。
  9. 如請求項8所述之利用擴增實境眼鏡顯示虛擬螢幕的方法，更包含：當該影像中心點之該位置由該顯示模組外移動至該顯示模組內 時，控制該擴增實境眼鏡關閉該虛擬螢幕。
TW109112313A 2020-04-13 2020-04-13 擴增實境系統以及利用擴增實境眼鏡顯示虛擬螢幕的方法 TWI790430B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW109112313A TWI790430B (zh) 2020-04-13 2020-04-13 擴增實境系統以及利用擴增實境眼鏡顯示虛擬螢幕的方法
US17/023,975 US11249315B2 (en) 2020-04-13 2020-09-17 Augmented reality system and method of displaying virtual screen using augmented reality glasses

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109112313A TWI790430B (zh) 2020-04-13 2020-04-13 擴增實境系統以及利用擴增實境眼鏡顯示虛擬螢幕的方法

Publications (2)

Publication Number Publication Date
TW202138969A TW202138969A (zh) 2021-10-16
TWI790430B true TWI790430B (zh) 2023-01-21

Family

ID=78006174

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109112313A TWI790430B (zh) 2020-04-13 2020-04-13 擴增實境系統以及利用擴增實境眼鏡顯示虛擬螢幕的方法

Country Status (2)

Country Link
US (1) US11249315B2 (zh)
TW (1) TWI790430B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022137622A (ja) * 2021-03-09 2022-09-22 キヤノン株式会社 ウェアラブル端末、その制御方法及びプログラム
US20230376161A1 (en) * 2022-05-19 2023-11-23 Microsoft Technology Licensing, Llc Mouse cursor and content migration between 3d space and physical flat displays

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9726896B2 (en) * 2016-04-21 2017-08-08 Maximilian Ralph Peter von und zu Liechtenstein Virtual monitor display technique for augmented reality environments
TW201827888A (zh) * 2017-01-16 2018-08-01 國立台灣大學 眼球凝視運動之影像穿透式擴增實境裝置、頭戴式顯示器及近距離物體之擴增實境方法
TW201907204A (zh) * 2017-05-29 2019-02-16 以色列商愛威願景有限公司 用以在外部場景與虛擬影像之間對位的方法與系統
TWI674562B (zh) * 2018-02-22 2019-10-11 亞東技術學院 擴增實境互動式語言學習裝置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6123365B2 (ja) * 2013-03-11 2017-05-10 セイコーエプソン株式会社 画像表示システム及び頭部装着型表示装置
US10001645B2 (en) * 2014-01-17 2018-06-19 Sony Interactive Entertainment America Llc Using a second screen as a private tracking heads-up display
FR3074331A1 (fr) * 2017-11-28 2019-05-31 Orange Procede d'affichage en realite mixte d'au moins un objet virtuel, terminal et systeme associes

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9726896B2 (en) * 2016-04-21 2017-08-08 Maximilian Ralph Peter von und zu Liechtenstein Virtual monitor display technique for augmented reality environments
TW201827888A (zh) * 2017-01-16 2018-08-01 國立台灣大學 眼球凝視運動之影像穿透式擴增實境裝置、頭戴式顯示器及近距離物體之擴增實境方法
TW201907204A (zh) * 2017-05-29 2019-02-16 以色列商愛威願景有限公司 用以在外部場景與虛擬影像之間對位的方法與系統
TWI674562B (zh) * 2018-02-22 2019-10-11 亞東技術學院 擴增實境互動式語言學習裝置

Also Published As

Publication number Publication date
US20210318541A1 (en) 2021-10-14
US11249315B2 (en) 2022-02-15
TW202138969A (zh) 2021-10-16

Similar Documents

Publication Publication Date Title
US11494003B1 (en) Gesture keyboard method and apparatus
EP3090331B1 (en) Systems with techniques for user interface control
TWI790430B (zh) 擴增實境系統以及利用擴增實境眼鏡顯示虛擬螢幕的方法
TWI714018B (zh) 顯示牆的排版辨識方法以及使用此方法的電子裝置
US10866820B2 (en) Transitioning between 2D and stereoscopic 3D webpage presentation
CN112912936A (zh) 混合现实系统、程序、移动终端装置和方法
US11900058B2 (en) Ring motion capture and message composition system
KR20240047454A (ko) 동시 usb 통신 기능이 있는 시스템 온 칩
US20220044560A1 (en) Roadside sensing method, electronic device, storage medium, and roadside equipment
CN113625866A (zh) 增强现实系统以及利用增强现实眼镜显示虚拟屏幕的方法
JP2015149036A (ja) タッチスクリーンに対する操作精度を向上する方法、電子機器およびコンピュータ・プログラム
TWI408488B (zh) 互動式投影系統及其系統控制方法
US11380071B2 (en) Augmented reality system and display method for anchoring virtual object thereof
JP7342485B2 (ja) 制御装置、方法、プログラム、および情報処理システム
TW201913298A (zh) 可顯示實體輸入裝置即時影像之虛擬實境系統及其控制方法
US11829312B2 (en) Debug access of eyewear having multiple socs
EP4325341A1 (en) Device and method for displaying extended screen of mobile device
TWI757872B (zh) 整合動作感測器的擴增實境系統與擴增實境顯示方法
CN114253389B (zh) 整合动作感测器的增强现实系统与增强现实显示方法
US11979832B2 (en) Eyewear having current consumption optimization of wireless system interface
TWI817830B (zh) 顯示裝置與其顯示方法
JP2020095671A (ja) 認識装置及び認識方法
Tang et al. Projected Mobile Computer