TWI757824B - 擴增實境螢幕系統及擴增實境螢幕顯示方法 - Google Patents

擴增實境螢幕系統及擴增實境螢幕顯示方法 Download PDF

Info

Publication number
TWI757824B
TWI757824B TW109127010A TW109127010A TWI757824B TW I757824 B TWI757824 B TW I757824B TW 109127010 A TW109127010 A TW 109127010A TW 109127010 A TW109127010 A TW 109127010A TW I757824 B TWI757824 B TW I757824B
Authority
TW
Taiwan
Prior art keywords
augmented reality
screen
display
virtual
physical
Prior art date
Application number
TW109127010A
Other languages
English (en)
Other versions
TW202206982A (zh
Inventor
曾惠萍
楊朝光
徐文正
黃志文
譚馳澔
Original Assignee
宏碁股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏碁股份有限公司 filed Critical 宏碁股份有限公司
Priority to TW109127010A priority Critical patent/TWI757824B/zh
Priority to US17/183,488 priority patent/US11328493B2/en
Publication of TW202206982A publication Critical patent/TW202206982A/zh
Application granted granted Critical
Publication of TWI757824B publication Critical patent/TWI757824B/zh
Priority to US17/711,192 priority patent/US11836875B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

一種擴增實境螢幕顯示方法，包含：藉由一擴增實境裝置的一攝相機拍攝一實體標記；藉由一主機接收實體標記，並判斷實體標記的一位置資訊與一旋轉資訊，並透過主機的一處理器由一儲存裝置中擷取出一虛擬畫面；以及藉由處理器依據位置資訊與旋轉資訊，將虛擬畫面經調整後傳送到擴增實境裝置，使擴增裝置將調整後的虛擬畫面投影到擴增實境裝置的一顯示器上，使調整後的虛擬畫面成為一虛擬延伸螢幕，虛擬延伸螢幕與實體標記同時顯示於擴增實境裝置的顯示器上。

Description

擴增實境螢幕系統及擴增實境螢幕顯示方法
本發明是關於一種擴增實境的應用，特別是關於一種擴增實境螢幕及擴增實境螢幕顯示方法。
目前延伸螢幕已經廣泛地應用於工作和日常生活中，例如，一個使用者使用兩個螢幕，藉此可以展開更多視窗。然而，使用者要多個螢幕則需要多買對應數量的螢幕，例如，一個使用者需要三個螢幕，則須購入三個螢幕，螢幕越多，則成本越高。此外，若使用者在配置螢幕的過程中，需要手動地調整螢幕的擺放位置。
因此，如何便利地使用延伸螢幕，讓使用者能看到更廣的顯示範圍，已成為本領域需解決的問題之一。
為了解決上述的問題，本揭露內容之一態樣提供了一種擴增實境螢幕系統。擴增實境螢幕系統包含：一擴增實境裝置以及一主機。擴增實境裝置用以透過一攝相機拍攝一實體標記。主機用以接收實體標記，並判斷實體標記的一位置資訊與一旋轉資訊，並透過主機的一處理器由一儲存裝置中擷取出一虛擬畫面。其中，處理器依據位置資訊與旋轉資訊，將虛擬畫面經調整後傳送到擴增實境裝置，使擴增裝置將調整後的虛擬畫面投影到擴增實境裝置的一顯示器上，使調整後的虛擬畫面成為一虛擬延伸螢幕，虛擬延伸螢幕與實體標記同時顯示於擴增實境裝置的顯示器上。
本揭露內容之另一態樣提供了一種擴增實境螢幕系統。擴增實境螢幕顯示方法包含以下步驟：藉由一擴增實境裝置的一攝相機拍攝一實體標記；藉由一主機接收實體標記，並判斷實體標記的一位置資訊與一旋轉資訊，並透過主機的一處理器由一儲存裝置中擷取出一虛擬畫面；以及藉由處理器依據位置資訊與旋轉資訊，將虛擬畫面經調整後傳送到擴增實境裝置，使擴增裝置將調整後的虛擬畫面投影到擴增實境裝置的一顯示器上，使調整後的虛擬畫面成為一虛擬延伸螢幕，虛擬延伸螢幕與實體標記同時顯示於擴增實境裝置的顯示器上。
本發明所示之擴增實境螢幕系統及擴增實境螢幕顯示方法，提供了配戴擴增實境裝置掃描放在任意處任何角度的實體標記，使用者即可看見虛擬延伸螢幕，且虛擬延伸螢幕的畫面尺寸可依使用者的需求做調整，解決使用實體螢幕帶來的重量、體積、固定畫面尺寸、空間限制、攜帶性不便等等問題。因此，將延伸螢幕虛擬化在擴增實境裝置中顯示，除了可以取代實體延伸螢幕，也能創造了新的使用情境。
以下說明係為完成發明的較佳實現方式，其目的在於描述本發明的基本精神，但並不用以限定本發明。實際的發明內容必須參考之後的權利要求範圍。
必須了解的是，使用於本說明書中的”包含”、”包括”等詞，係用以表示存在特定的技術特徵、數值、方法步驟、作業處理、元件以及/或組件，但並不排除可加上更多的技術特徵、數值、方法步驟、作業處理、元件、組件，或以上的任意組合。
於權利要求中使用如”第一”、"第二"、"第三"等詞係用來修飾權利要求中的元件，並非用來表示之間具有優先權順序，先行關係，或者是一個元件先於另一個元件，或者是執行方法步驟時的時間先後順序，僅用來區別具有相同名字的元件。
請參照第1~3圖，第1圖係依照本發明一實施例繪示擴增實境螢幕系統100之方塊圖。第2圖係依照本發明一實施例繪示擴增實境螢幕顯示方法200之流程圖。第3圖係依照本發明一實施例繪示擴增實境螢幕顯示方法300之示意圖。
如第1圖所示，擴增實境螢幕系統100包含一頭戴式顯示裝置HMD及一主機SR。於一實施例中，主機SR與頭戴式顯示裝置HMD可以由有線/無線方式建立通訊連結。
於一實施例中，擴增實境裝置可以是頭戴式顯示裝置HMD或其他可以同時顯示虛擬影像及實體影像的裝置。為方便敘述，以下以頭戴式顯示裝置HMD為例作說明。
於一實施例中，主機SR可以是筆記型電腦、桌機、或其它具有運算功能的電子裝置。
於一實施例中，主機SR包含處理器10。於一實施例中，處理器10可由體積電路如微控制單元(micro controller)、微處理器(microprocessor)、數位訊號處理器(digital signal processor)、特殊應用積體電路(application specific integrated circuit，ASIC)或一邏輯電路來實施。
於一實施例中，主機SR可包含顯示器PM或是外接顯示器PM。於一實施例中，顯示器PM為耦接於主機SR的實體顯示器。
於一實施例中，主機SR包含一儲存裝置ST，儲存裝置ST可被實作為唯讀記憶體、快閃記憶體、軟碟、硬碟、光碟、隨身碟、磁帶、可由網路存取之資料庫或熟悉此技藝者可輕易思及具有相同功能之儲存媒體。
於一實施例中，使用者USR可以配戴頭戴式顯示裝置HMD，頭戴式顯示裝置HMD中包含一攝相機CAM、一陀螺儀GYR、一紅外線接收器IRR及一顯示器HDP。其中，陀螺儀GYR透過對偏轉、傾斜等動作角速度的測量，可以得知使用者USR配帶頭戴式顯示裝置HMD的視野和方向。
於一實施例中，頭戴式顯示裝置HMD的攝相機CAM用以拍攝並追蹤實體標記MK。
於一實施例中，實體標記MK可以是任何形式的標記，例如是一二進制平方標記(ArUco marker)、一QR碼、一紅外線或一螢幕外觀。
於一實施例中，當擴增實境螢幕系統100預設實體標記MK為QR碼且攝相機CAM拍到QR碼時，攝相機CAM會將拍到的畫面及陀螺儀GYR測量的數值傳給主機SR的處理器10。
於一實施例中，當擴增實境螢幕系統100預設實體標記MK為紅外線且紅外線接收器IRR接收到紅外線時，紅外線接收器IRR會將此時攝相機CAM拍到的畫面及陀螺儀GYR測量的數值傳給主機SR的處理器10。由此可知，透過攝相機CAM或紅外線接收器IRR可以讓頭戴式顯示裝置HMD拍攝到實體標記MK。然而，本案不限於此，只要是能讓頭戴式顯示裝置HMD得知拍攝到實體標記MK的方法皆可應用之。
請一併參照第2~3圖，以下說明擴增實境螢幕顯示方法200的流程，擴增實境螢幕顯示方法200可以使用第1圖中的元件以實現之。於一實施例中，如第3圖所示，目標是讓使用者USR透過頭戴式顯示裝置HMD看到顯示器PM(主機SR的實體顯示器)旁邊顯示虛擬延伸螢幕VIM。
於步驟210中，一頭戴式顯示裝置HMD的一攝相機CAM拍攝一實體標記MK。
於一實施例中，當頭戴式顯示裝置HMD的一攝相機CAM拍攝到實體標記MK，則將拍到的畫面CAF及陀螺儀GYR測量的數值傳給主機SR的處理器10(即第3圖中的步驟S2)。於一實施例中，一攝相機CAM拍到的畫面CAF為二維影像，二維影像中至少包含實體標記MK，在此例中，更包含顯示器PM(實體顯示器)。
於一實施例中，主機SR中可以一直運行一軟體，例如一遊戲軟體，但不顯示遊戲畫面於顯示器PM(實體顯示器)上，遊戲畫面暫存於儲存裝置ST中(此處的儲存裝置以記憶體為例)，顯示器PM上可能用於顯示文字編輯軟體，處理器10收到來自頭戴式顯示裝置HMD所拍攝的實體標記MK後，則由記憶體中擷取出遊戲畫面VIM(即第3圖中的步驟S1)。
於一實施例中，處理器10可以定時(例如每5秒)由記憶體中擷取出遊戲畫面VIM，因此，第3圖中的步驟S1、S2沒有次序之分。
於步驟220中，一主機SR接收實體標記MK，並判斷實體標記MK的一位置資訊與一旋轉資訊，並透過主機SR的一處理器10由一儲存裝置ST中擷取出一虛擬畫面VIM。
於一實施例中，主機SR的處理器20接收到攝相機CAM拍到的畫面CAF為二維影像，由此二維影像中擷取出實體標記MK。處理器20分析此實體標記MK的位置資訊與旋轉資訊。
於一實施例中，位置資訊可以是相對於頭戴式顯示裝置HMD的三軸座標(ax, ay, az)，旋轉資訊可以是相對於頭戴式顯示裝置HMD的三軸旋轉角度(rx, ry, rz)。
於一實施例中，處理器10執行一追蹤演算法，以偵測實體標記MK的位置資訊與旋轉資訊。追蹤演算法可以由已知的標記(marker)追蹤法、視覺慣性里程計(Visual–Inertial Odometry，VIO)演算法、同步定位地圖建造(Simultaneous Localization and Mapping，SLAM)演算法或物件追蹤(object tracking)演算法以追蹤實體標記MK的位置資訊與旋轉資訊。
於步驟230中，處理器10依據位置資訊與旋轉資訊，將虛擬畫面VIM經調整後傳送到頭戴式顯示裝置HMD，頭戴式顯示裝置HMD將調整後的虛擬畫面VIM’投影到頭戴式顯示裝置HMD的一顯示器HDP上，使調整後的虛擬畫面VIM’成為一虛擬延伸螢幕，虛擬延伸螢幕VIM’與實體標記MK同時顯示於頭戴式顯示裝置HMD的顯示器HDP上。
於一實施例中，由於攝相機CAM拍到的畫面CAF為三維影像，從畫面CAF擷取出來的實體標記MK也是三維影像(第3圖S3所示)而處理器10由記憶體中擷取出運算後的虛擬畫面VIM為二維影像，因此要進行二維影像投影到三維影像的校正處理，使頭戴式顯示裝置HMD的顯示器HDP能正確的顯示調整後的虛擬畫面VIM’(如第3圖S4所示)。當使用者USR透過頭戴式顯示裝置HMD的顯示器HDP看到虛擬畫面VIM’與顯示器PM(實體顯示器)兩者，則使用者USR在視覺上會將虛擬畫面VIM’視為虛擬延伸螢幕(如第3圖S5所示)。
於一實施例中，處理器1f0透過一位置投影演算法，藉由位置投影件演算法計算虛擬畫面VIM的每個畫素各自投影到頭戴式顯示裝置HMD的顯示器HDP的一目標座標，以調整虛擬畫面VIM，並將調整後的虛擬畫面VIM’ 傳送到頭戴式顯示裝置HMD，使頭戴式顯示裝置HMD將調整後的虛擬畫面VIM’投影到頭戴式顯示裝置HMD的顯示器HDP上。
以下為將虛擬畫面VIM進行調整，使調整後的虛擬畫面VIM’能夠投影到頭戴式顯示裝置HMD的顯示器HDP的方法。然，下述方法僅為一例，其他的已知轉換方式也可以應用於此。
於一實施例中，處理器10從頭戴式顯示裝置HMD中讀到實體標記MK資訊，實體標記MK資訊包含位置資訊(ax, ay, az)、旋轉資訊(rx, ry, rz)，處理器10也會接收到攝相機CAM的影像資料，每個像素以(cx, cu, cz)作代表。此外，處理器10根據追蹤演算法所得到的實體標記MK資訊(位置資訊及旋轉資訊)，處理器10同時擷取記憶體中的虛擬畫面VIM。
於一實施例中，處理器10將攝相機CAM拍攝到的實體標記MK，以頭戴式顯示裝置HMD內部的光機(projector)為原點作校準，以得到以頭戴式顯示裝置HMD的光機為原點的相對座標。校準(calibration)函式如下： Calibration:
Figure 02_image001
其中，符號M Rotate為攝相機CAM與頭戴式顯示裝置HMD的光機間的相對旋轉矩陣；符號D x – axis、D y -axis及D z -axis為攝相機CAM與頭戴式顯示裝置HMD的光機相對平移(把攝相機CAM的原點以頭戴式顯示裝置HMD的光機作為新原點)的三軸位置。
於一實施例中，處理器10將校準後的資料Xcalib、Ycalib、Zcalib代入單應性矩陣(Homography)進行運算。單應性矩陣是射影幾何中的概念，又稱為射影變換，單應性矩陣將一個射影平面上的點映射到另一個射影平面上，並且把直線映射為直線，具有保線性質。 單應性矩陣函式如下：
Figure 02_image003
藉此可取得射影變換後的座標資料。
於一實施例中，顯示器HDP可以是由一光機(projector)實現之，光機是用來在擴增實境中顯示成像(companion display in AR world)的顯示器。
於一實施例中，由於在穿戴式顯示裝置HMD中，攝相機CAM的視角(field of view，FOV)、解析度與顯示器HDP(或光機)的視角、解析度具有差異，需要以下計算(圈選視角範圍(Corp)及調整解析度(Resize))進行最終成像位置調整：
Figure 02_image005
其中
Figure 02_image007
其中，符號W cam、 H cam分別為攝相機CAM的寬度及高度之解析度，符號W des、 H des分別為虛擬畫面VIM’(即虛擬延伸螢幕)的寬度及高度之解析度。於一實施例中，處理器10將運算後的虛擬延伸螢幕位置(dx, dy)顯示於在頭戴式顯示裝置HMD的顯示器HDP，使用者在擴增實境中，即可看到與實體標記MK有相同轉動角度的虛擬延伸螢幕，處理器10透過對虛擬延伸螢幕位置(dx, dy)進行Crop與Resize矩陣運算可對此虛擬延伸螢幕做裁切和尺寸調整。
請參照第4A~4C、5、6圖，第4A~4C圖係依照本發明一實施例繪示調整視角範圍之示意圖。第5圖係依照本發明一實施例繪示頭戴式顯示裝置HMD的虛擬延伸螢幕之示意圖。第6圖係依照本發明一實施例繪示虛擬延伸螢幕的應用之示意圖。
於一實施例中，如第4A圖所示，處理器10擷取由攝相機CAM拍到的畫面CAF中的一視角範圍FOV0，從視角範圍FOV0中選取一參考點R0，將參考點R0移到畫面CAF中的一邊界(例如第4B圖，參考點R0移到與邊界R1位置重疊，此時將參考點視為R1，將視角範圍視為FOV1)。
接著，處理器10擷取位於畫面CAF內之視角範圍FOV1的一第一特定範圍(例如位於畫面CAF中內的第一特定範圍FOV2，此時指定參考點為R2)，將第一特定範圍FOV2放大至與耦接於主機SR的一實體顯示器PM的解析度一致(如第4C所示，將第一特定範圍FOV2放大到虛擬畫面FOV3的狀態，使第一特定範圍FOV2放大後的解析度與實體顯示器PM的解析度一致，此時指定參考點由R2位移到R2’的位置)，將參考點R2’移動到頭戴式顯示裝置HMD的顯示器HDP上的一目標座標R3(依據前述位置投影演算法，處理器10可以算出攝相機CAM的參考點R0所對應到顯示器HDP的目標位置R3，並在此時將參考點R2’移到目標座標R3)，擷取位於虛擬畫面FOV3內之視角範圍的一第二特定範圍FOV4，將第二特定範圍FOV4的一指定像素P1(例如指定左上角像素P1)對應到實體標記MK的一指定位置(指定位置例如指定MK的左上角像素P1’，將指定像素P1與指定位置P1’重疊)，使畫面CAF的第二特定範圍FOV4成為虛擬延伸螢幕(即調整後的虛擬畫面VIM’)，虛擬延伸螢幕VIM’與實體標記MK同時於顯示頭戴式顯示裝置HMD的顯示器HDP上。
於一實施例中，第二特定範圍FOV4的指定像素P1的位置與實體標記MK的指定位置P1’可以事先被定義。
於一實施例中，當頭戴式顯示裝置HMD暫時性的(例如為5秒內)沒有拍攝到實體標記MK，則虛擬延伸螢幕VIM’可顯示於頭戴式顯示裝置HMD的顯示器HDP上(例如暫時性的顯示3秒)。
於一實施例中，處理器10依據位置資訊與旋轉資訊調整第二特定範圍FOV4，並將調整後的第二特定範圍FOV4視為虛擬延伸螢幕VIM’，處理器10由實體標記MK得知一延伸方向(例如第5圖中，實體標記MK位於實體顯示器PM的正右側，則虛擬延伸螢幕VIM’的延伸方向為往正右側延伸)，處理器10將延伸方向傳送到頭戴式顯示裝置HMD，頭戴式顯示裝置HMD將虛擬延伸螢幕VIM’依據實體標記MK及延伸方向顯示於顯示器HDP上，使得虛擬延伸螢幕VIM’ 與實體顯示器PM並排。
於一實施例中，虛擬延伸螢幕VIM’ 與實體顯示器PM的大小及解析度皆相同，虛擬延伸螢幕VIM’可以動態地顯示不同的畫面。
於一實施例中，處理器10擷取(crop)虛擬畫面VIM中的一視角範圍FOV0，將視角範圍FOV0調整成與實體顯示器PM的大小及解析度一致，再將此調整後的視角範圍FOV0視為虛擬延伸螢幕VIM’，將虛擬延伸螢幕VIM’傳給頭戴式顯示裝置HMD，頭戴式顯示裝置HMD將虛擬延伸螢幕VIM’依據實體標記MK及延伸方向顯示於顯示器HDP上，使得虛擬延伸螢幕VIM’ 與實體顯示器PM並排。
如第6圖所示，透過擴增實境螢幕顯示方法200，只要頭戴式顯示裝置HMD的攝相機CAM拍攝到實體標記MK，頭戴式顯示裝置HMD將包含實體標記MK的影像傳送給主機SR，主機SR可以接收實體標記MK，並實體標記MK產生虛擬延伸螢幕VIM’，並將虛擬延伸螢幕VIM’傳送到頭戴式顯示裝置HMD的顯示器HDP，使用者USR可以透過顯示器HDP看到實體標記MK及將虛擬延伸螢幕VIM’。於一實施例中，如第6圖所示，使用者USR可以透過顯示器HDP看到多個實體標記MK及對應各個實體標記MK的虛擬延伸螢幕VIM’，藉此可以在桌面、牆面、實體顯示器PM旁邊看到延伸螢幕VIM’。
本發明所示之擴增實境螢幕系統及擴增實境螢幕顯示方法，提供了配戴擴增實境裝置掃描放在任意處任何角度的實體標記，使用者即可看見虛擬延伸螢幕，且虛擬延伸螢幕的畫面尺寸可依使用者的需求做調整，解決使用實體螢幕帶來的重量、體積、固定畫面尺寸、空間限制、攜帶性不便等等問題。因此，將延伸螢幕虛擬化在擴增實境裝置中顯示，除了可以取代實體延伸螢幕，也能創造了新的使用情境。
本發明之方法，或特定型態或其部份，可以以程式碼的型態存在。程式碼可以包含於實體媒體，如軟碟、光碟片、硬碟、或是任何其他機器可讀取(如電腦可讀取)儲存媒體，亦或不限於外在形式之電腦程式產品，其中，當程式碼被機器，如電腦載入且執行時，此機器變成用以參與本發明之裝置。程式碼也可以透過一些傳送媒體，如電線或電纜、光纖、或是任何傳輸型態進行傳送，其中，當程式碼被機器，如電腦接收、載入且執行時，此機器變成用以參與本發明之裝置。當在一般用途處理單元實作時，程式碼結合處理單元提供一操作類似於應用特定邏輯電路之獨特裝置。
雖然本發明已以實施方式揭露如上，然其並非用以限定本發明，任何熟習此技藝者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
100：擴增實境螢幕系統 10：處理器 SR：主機 PM：顯示器 HDM：頭戴式顯示裝置 ST：儲存裝置 CAM：攝相機 GYR：陀螺儀 IRR：紅外線接收器 HDP：顯示器 200,300：擴增實境螢幕顯示方法 210~230,S1~S5：步驟 MK：實體標記 VIM：虛擬畫面 VIM’： 調整後的虛擬畫面 USR：使用者 CAF：畫面 R0~R2,R2’：參考點 R3：目標座標 P1,P1’：像素 FOV0, FOV1：視角範圍 FOV2：第一特定範圍 FOV3：虛擬畫面 FOV4：第二特定範圍
第1圖係依照本發明一實施例繪示擴增實境螢幕系統之方塊圖。 第2圖係依照本發明一實施例繪示擴增實境螢幕顯示方法之流程圖。 第3圖係係依照本發明一實施例繪示擴增實境螢幕顯示方法之示意圖。 第4A~4C圖係依照本發明一實施例繪示調整視角範圍之示意圖。 第5圖係依照本發明一實施例繪示頭戴式顯示裝置的虛擬延伸螢幕之示意圖。 第6圖係依照本發明一實施例繪示虛擬延伸螢幕的應用之示意圖。
200：擴增實境螢幕顯示方法 210~230：步驟

Claims (8)

  1. 一種擴增實境螢幕系統，包含：一擴增實境裝置，用以透過一攝相機拍攝一實體標記；以及一主機，用以接收該實體標記，並判斷該實體標記的一位置資訊與一旋轉資訊，並透過該主機的一處理器由一儲存裝置中擷取出一虛擬畫面；其中，該處理器依據該位置資訊與該旋轉資訊，將該虛擬畫面經調整後傳送到該擴增實境裝置，該擴增裝置將調整後的該虛擬畫面投影到該擴增實境裝置的一顯示器上，使調整後的該虛擬畫面成為一虛擬延伸螢幕，該虛擬延伸螢幕與該實體標記同時顯示於該擴增實境裝置的該顯示器上；其中，該處理器擷取由該攝相機拍到的一畫面中的一視角(field of view，FOV)範圍，從該視角範圍中選取一參考點，將該參考點移到該畫面中的一邊界，擷取位於該畫面內之該視角範圍的一第一特定範圍，將該第一特定範圍放大至與耦接於該主機的一實體顯示器的解析度一致，將該參考點移動到該擴增實境裝置的該顯示器上的一目標座標，擷取位於該畫面內之該視角範圍的一第二特定範圍，將該第二特定範圍的一指定像素對應到該實體標記的一指定位置，使該畫面的該第二特定範圍成為該虛擬延伸螢幕。
  2. 如請求項1所述之擴增實境螢幕系統，其中，該處理器執行一追蹤演算法，以偵測該實體標記的該位置資訊與該旋轉資訊。
  3. 如請求項1所述之擴增實境螢幕系統，其中，該處理器透過一位置投影演算法，藉由該位置投影件演算法計算該虛擬畫面的每個畫素各自投影到該擴增實境裝置的該顯示器的該目標座標，以調整該虛擬畫面，將調整後的該虛擬畫面投影到該擴增實境裝置的該顯示器上。
  4. 如請求項1所述之擴增實境螢幕系統，其中，該處理器依據該位置資訊與該旋轉資訊調整該第二特定範圍，並將調整後的該第二特定範圍視為該虛擬延伸螢幕，該處理器由該實體標記得知一延伸方向，並將該延伸方向傳送到該擴增實境裝置，該擴增實境裝置將該虛擬延伸螢幕依據該實體標記及該延伸方向顯示於該擴增實境裝置的該顯示器上。
  5. 一種擴增實境螢幕顯示方法，包含：藉由一擴增實境裝置的一攝相機拍攝一實體標記；藉由一主機接收該實體標記，並判斷該實體標記的一位置資訊與一旋轉資訊，並透過該主機的一處理器由一儲存裝置中擷取出一虛擬畫面；以及藉由該處理器依據該位置資訊與該旋轉資訊，將該虛擬畫面經調整後傳送到該擴增實境裝置，該擴增裝置將調整後的該虛擬畫面投影到該擴增實境裝置的一顯示器上，使調整後的該虛擬畫面成為一虛擬延伸螢幕，該虛擬延伸螢幕與該實體標記同時顯示於該擴增實境裝置的該顯示器上；擷取由該攝相機拍到的一畫面中的一視角(field of view)範圍； 從該視角範圍中選取一參考點；將該參考點移到該畫面中的一邊界；擷取位於該畫面內之該視角範圍的一第一特定範圍；將該第一特定範圍放大至與耦接於該主機的一實體顯示器的解析度一致；將該參考點移動到該擴增實境裝置的該顯示器上的一目標座標；擷取位於該畫面內之該視角範圍的一第二特定範圍；以及將該第二特定範圍的一指定像素對應到該實體標記的一指定位置，使該畫面的該第二特定範圍成為該虛擬延伸螢幕。
  6. 如請求項5所述之擴增實境螢幕顯示方法，更包含：執行一追蹤演算法，以偵測該實體標記的該位置資訊與該旋轉資訊。
  7. 如請求項5所述之擴增實境螢幕顯示方法，更包含：藉由一位置投影演算法，藉由該位置投影件演算法計算該虛擬畫面的每個畫素各自投影到該擴增實境裝置的該顯示器的該目標座標，以調整該虛擬畫面，將調整後的該虛擬畫面投影到該擴增實境裝置的該顯示器上。
  8. 如請求項5所述之擴增實境螢幕顯示方法，更包含：依據該位置資訊與該旋轉資訊調整該第二特定範圍，並將調整後的該第二特定範圍視為該虛擬延伸螢幕；由該實體標記得知一延伸方向；以及 將該虛擬延伸螢幕依據該實體標記及該延伸方向顯示於該擴增實境裝置的該顯示器上。
TW109127010A 2020-08-10 2020-08-10 擴增實境螢幕系統及擴增實境螢幕顯示方法 TWI757824B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW109127010A TWI757824B (zh) 2020-08-10 2020-08-10 擴增實境螢幕系統及擴增實境螢幕顯示方法
US17/183,488 US11328493B2 (en) 2020-08-10 2021-02-24 Augmented reality screen system and augmented reality screen display method
US17/711,192 US11836875B2 (en) 2020-08-10 2022-04-01 Augmented reality screen system and augmented reality screen display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109127010A TWI757824B (zh) 2020-08-10 2020-08-10 擴增實境螢幕系統及擴增實境螢幕顯示方法

Publications (2)

Publication Number Publication Date
TW202206982A TW202206982A (zh) 2022-02-16
TWI757824B true TWI757824B (zh) 2022-03-11

Family

ID=80115254

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109127010A TWI757824B (zh) 2020-08-10 2020-08-10 擴增實境螢幕系統及擴增實境螢幕顯示方法

Country Status (2)

Country Link
US (2) US11328493B2 (zh)
TW (1) TWI757824B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11366514B2 (en) 2018-09-28 2022-06-21 Apple Inc. Application placement based on head position
EP3928192B1 (en) * 2019-09-26 2023-10-18 Apple Inc. Wearable electronic device presenting a computer-generated reality environment
US11250642B1 (en) * 2020-04-14 2022-02-15 Worldpay Limited Methods and systems for displaying virtual objects from an augmented reality environment on a multimedia device
TWI757824B (zh) * 2020-08-10 2022-03-11 宏碁股份有限公司 擴增實境螢幕系統及擴增實境螢幕顯示方法
JP2022137622A (ja) * 2021-03-09 2022-09-22 キヤノン株式会社 ウェアラブル端末、その制御方法及びプログラム
US20240087224A1 (en) * 2022-09-12 2024-03-14 Htc Corporation Remote-control system, remote-controller, and remote-control method
CN116932119B (zh) * 2023-09-15 2024-01-02 深圳市其域创新科技有限公司 虚拟屏幕显示方法、装置、设备及计算机可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103460255A (zh) * 2011-03-29 2013-12-18 高通股份有限公司 用于本地多用户协作的模块化移动连接式微微型投影仪
CN107004044A (zh) * 2014-11-18 2017-08-01 皇家飞利浦有限公司 增强现实设备的用户引导系统和方法、使用

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4332964B2 (ja) * 1999-12-21 2009-09-16 ソニー株式会社 情報入出力システム及び情報入出力方法
JP5158006B2 (ja) * 2009-04-23 2013-03-06 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
US9497501B2 (en) * 2011-12-06 2016-11-15 Microsoft Technology Licensing, Llc Augmented reality virtual monitor
US10408613B2 (en) * 2013-07-12 2019-09-10 Magic Leap, Inc. Method and system for rendering virtual content
RU2643222C2 (ru) * 2013-12-27 2018-01-31 Интел Корпорейшн Устройство, способ и система обеспечения увеличенного дисплея с использованием шлема-дисплея
US9696549B2 (en) * 2014-12-22 2017-07-04 International Business Machines Corporation Selectively pairing an application presented in virtual space with a physical display
KR102471977B1 (ko) * 2015-11-06 2022-11-30 삼성전자 주식회사 복수의 전자장치 사이에서 가상 객체를 표시하는 방법 및 이를 지원하는 전자 장치
WO2018017125A1 (en) * 2016-07-22 2018-01-25 Hewlett-Packard Development Company, L.P. Display of supplemental information
EP3669332A4 (en) * 2017-11-30 2021-04-07 Hewlett-Packard Development Company, L.P. VIRTUAL DASHBOARD IMPLEMENTATIONS BASED ON AUGMENTED REALITY
TWI757824B (zh) * 2020-08-10 2022-03-11 宏碁股份有限公司 擴增實境螢幕系統及擴增實境螢幕顯示方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103460255A (zh) * 2011-03-29 2013-12-18 高通股份有限公司 用于本地多用户协作的模块化移动连接式微微型投影仪
CN107004044A (zh) * 2014-11-18 2017-08-01 皇家飞利浦有限公司 增强现实设备的用户引导系统和方法、使用

Also Published As

Publication number Publication date
TW202206982A (zh) 2022-02-16
US20220230403A1 (en) 2022-07-21
US20220044481A1 (en) 2022-02-10
US11836875B2 (en) 2023-12-05
US11328493B2 (en) 2022-05-10

Similar Documents

Publication Publication Date Title
TWI757824B (zh) 擴增實境螢幕系統及擴增實境螢幕顯示方法
JP6153564B2 (ja) カメラとマーク出力とによるポインティング装置
JP4512584B2 (ja) イメージマッチング速度とブレンディング方法を改善したパノラマ映像提供方法および装置
CN110809786B (zh) 校准装置、校准图表、图表图案生成装置和校准方法
US20160210785A1 (en) Augmented reality system and method for positioning and mapping
WO2018101227A1 (ja) 表示制御装置、ヘッドマウントディスプレイ、表示制御装置の制御方法、および制御プログラム
EP3662662B1 (en) Parallax viewer system for 3d content
KR102539427B1 (ko) 화상 처리장치, 화상 처리방법, 및 기억매체
JP2002259992A (ja) 画像処理装置およびその方法並びにプログラムコード、記憶媒体
JP2020161174A (ja) 情報処理装置および認識支援方法
WO2022019975A1 (en) Systems and methods for reducing a search area for identifying correspondences between images
EP4186025A1 (en) Systems and methods for facilitating the identifying of correspondences between images experiencing motion blur
US20220058887A1 (en) Augmented reality system and anchor display method thereof
TWI680005B (zh) 移動追蹤方法及移動追蹤系統
CN112912936A (zh) 混合现实系统、程序、移动终端装置和方法
CN114371819B (zh) 扩增实境屏幕系统及扩增实境屏幕显示方法
JPWO2005096130A1 (ja) 撮像装置の指示位置検出方法および装置、撮像装置の指示位置検出用プログラム
US20230245332A1 (en) Systems and methods for updating continuous image alignment of separate cameras
KR101915578B1 (ko) 시점 기반 오브젝트 피킹 시스템 및 그 방법
EP4186029A1 (en) Systems and methods for continuous image alignment of separate cameras
JP2018032991A (ja) 画像表示装置、画像表示方法及び画像表示用コンピュータプログラム
US20200342833A1 (en) Head mounted display system and scene scanning method thereof
JP7059829B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN113703161B (zh) 扩增实境系统与其锚定显示方法
TW202309713A (zh) 替換對應於所捕獲影像內實體物件的延展實境環境內合成物件之技術