TWI651657B - 擴增實境系統與方法 - Google Patents

擴增實境系統與方法 Download PDF

Info

Publication number
TWI651657B
TWI651657B TW105134047A TW105134047A TWI651657B TW I651657 B TWI651657 B TW I651657B TW 105134047 A TW105134047 A TW 105134047A TW 105134047 A TW105134047 A TW 105134047A TW I651657 B TWI651657 B TW I651657B
Authority
TW
Taiwan
Prior art keywords
point cloud
coordinate system
content
cloud coordinate
plane
Prior art date
Application number
TW105134047A
Other languages
English (en)
Other versions
TW201816660A (zh
Inventor
劉記顯
Original Assignee
財團法人資訊工業策進會
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人資訊工業策進會 filed Critical 財團法人資訊工業策進會
Priority to TW105134047A priority Critical patent/TWI651657B/zh
Priority to CN201611004019.9A priority patent/CN107978019A/zh
Priority to US15/359,599 priority patent/US9996960B2/en
Publication of TW201816660A publication Critical patent/TW201816660A/zh
Application granted granted Critical
Publication of TWI651657B publication Critical patent/TWI651657B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一種擴增實境系統與方法，包含：分別地在第一與第二實體位置根據第一與第二實體內容的深度資訊建立第一與第二點雲座標系統；基於該第一點雲座標系統產生第一虛擬內容；於該第一點雲座標系統中決定至少一平面；於該至少一平面中決定至少一平面點；計算該至少一平面點從該第一點雲座標系統至該第二點雲座標系統的座標變化；根據該座標變化計算該第一虛擬內容位於該第二點雲座標系統之位置，以於該位置上產生相對應的第二虛擬內容；以及分別地在該第一與該第二實體位置顯示該第一實體及虛擬內容以及該第二實體及虛擬內容。

Description

擴增實境系統與方法
本發明涉及一種擴增實境系統與方法。
擴增實境(Augmented Reality，AR)是一種在實體世界中擴增虛擬內容的技術。擴增實境技術的一種應用是讓使用者可以透過顯示裝置同時觀看到實體世界的實體內容以及虛擬世界的虛擬內容。一般而言，可由一影像擷取裝置(例如相機)來提供實體內容，並由一計算機裝置來提供虛擬內容。由於顯示裝置所顯示的實體內容會隨著影像擷取裝置的移動(包含位置變化及/或方向變化)而變化，故計算機裝置必須也要能夠隨著影像擷取裝置的移動而提供相對應的虛擬內容，藉此維持擴增實境的效果。舉例而言，假設使用者原本面向一花瓶的正面，且顯示裝置原本顯示的是該花瓶的正面以及插在該花瓶上的一束虛擬的花的正面，則當使用者移動到另一位置並面向該花瓶的側面時，顯示裝置必須能夠實時地顯示該花瓶的側面以及該束虛擬的花的側面。
為了讓計算機裝置能夠隨著影像擷取裝置的移動而提供相對應的虛擬內容，傳統的擴增實境技術一般會預先針對影像擷取裝置在各個位置及/或方向對於同一目標所擷取的實體內容建立多個特徵點地圖，而當影像擷取裝置的位置及/或方向產生變化時，傳統的擴增實境技術便 可利用該等特徵點地圖上的特徵點來辨識影像擷取裝置的目前位置及/或目前方向，從而取得影像擷取裝置的位置變化及/或方向變化。如此，隨著影像擷取裝置的移動，傳統的擴增實境技術便可根據影像擷取裝置的位置變化及/或方向變化來提供相對應的虛擬內容。
傳統的擴增實境技術實際上存有不小的限制與不便。例如，必須預先建立多個特徵點地圖(即增加了時間成本)，且影像擷取裝置所擷取的實體內容必須具備足夠多可用的特徵點(即實體內容必須具備較高的空間複雜度)。有鑑於此，如何改善傳統的擴增實境技術的上述問題，將是本發明所屬技術領域中的一項重要目標。
為了達到上述目標，本發明的一個態樣可以是一種擴增實境系統。該擴增實境系統可包含一影像擷取裝置、一深度感測裝置、一計算機裝置與一顯示裝置。該影像擷取裝置可用以在一第一實體位置擷取第一實體內容，以及在一第二實體位置擷取第二實體內容。該深度感測裝置可用以感測該第一實體內容的每一個畫素的一深度以建立一第一點雲座標系統，以及感測該第二實體內容的每一個畫素的一深度以建立一第二點雲座標系統。該計算機裝置可用以基於該第一點雲座標系統產生第一虛擬內容。該計算機裝置還可用以於該第一點雲座標系統中決定至少一平面，且於該至少一平面中決定至少一平面點。該計算機裝置還可用以計算該至少一平面點從該第一點雲座標系統至該第二點雲座標系統的座標變化，以及根據該座標變化計算該第一虛擬內容位於該第二點雲座標系統之位置，以在該位置上產生相對應的第二虛擬內容。該顯示裝置可用以在該第一實體位置顯示 一第一畫面，以及在該第二實體位置顯示一第二畫面。該第一畫面包含該第一實體內容及該第一虛擬內容，且該第二畫面包含該第二實體內容及該第二虛擬內容。
為了達到上述目標，本發明的一個態樣可以是一種擴增實境方法。該擴增實境方法可包含下列步驟：由一影像擷取裝置在一第一實體位置擷取第一實體內容；由一深度感測裝置感測該第一實體內容的每一個畫素的一深度以建立一第一點雲座標系統；由一計算機裝置基於該第一點雲座標系統產生第一虛擬內容；由該顯示裝置在該第一實體位置顯示一第一畫面，該第一畫面包含該第一實體內容與該第一虛擬內容；由該影像擷取裝置在一第二實體位置擷取第二實體內容；由該深度感測裝置感測該第二實體內容的每一個畫素的一深度以針對該第二畫面建立一第二點雲座標系統；由該計算機裝置於該第一點雲座標系統中決定至少一平面；由該計算機裝置於該至少一平面中決定至少一平面點；由該計算機裝置計算該至少一平面點從該第一點雲座標系統至該第二點雲座標系統的座標變化；由該計算機裝置根據該座標變化計算該第一虛擬內容位於該第二點雲座標系統之位置，以在該位置上產生相對應的第二虛擬內容；以及由該顯示裝置在該第二實體位置顯示一第二畫面，該第二畫面包含該第二實體內容與該第二虛擬內容。
綜上所述，隨著影像擷取裝置的移動，本發明可根據影像擷取裝置移動前與移動後所擷取的實體內容的深度資訊分別建立第一點雲座標系統與第二點雲座標系統，並根據該第一點雲座標系統中至少一平面的至少一平面點從該第一點雲座標系統(即先前的點雲座標系統)至該第二點雲座標系統(即目前的點雲座標系統)的座標變化來將基於該第一點雲座標系統所產生的虛擬內容轉移到該第二點雲座標系統中，藉此取得基於該第一點雲座標系統所產生的虛擬內容位於該第二點雲座標系統之位置，然後便可在該位置上產生相對應的虛擬內容。不同於傳統的擴增實境技術，本發明不需要預先建立多個特徵點地圖，也可以讓計算機裝置隨著影像擷取裝置的移動而提供相對應的虛擬內容，故可節省時間成本。另外，本發明只利用到影像擷取裝置所擷取的實體內容中的平面資訊(即第一點雲座標系統中至少一平面的至少一平面點)，故即使影像擷取裝置所擷取的實體內容的空間複雜度不高，仍可以達到相同的效果。換言之，於本發明中，影像擷取裝置所擷取的實體內容不需要具備足夠多可用的特徵點。因此，本發明有效地改善了傳統的擴增實境技術。
以上內容呈現了本發明之摘要說明(涵蓋了本發明解決的問題、採用的手段以及達到的功效)，藉此提供對本發明的基本理解。以上內容並非有意概括本發明的所有態樣。另外，以上內容既不是為了確認本發明的任一或所有態樣的關鍵或必要元件，也不是為了描述本發明的任一或所有態樣的範圍。上述內容之目的僅是以一簡單形式來呈現本發明的部分態樣的某些概念，以作為隨後詳細描述的一個引言。
根據檢附的圖式及以下所述的實施方式，本發明所屬技術領 域中具有通常知識者將可更加瞭解本發明的各種態樣與實施例。
如下所示：
1‧‧‧擴增實境系統
11‧‧‧影像擷取裝置
13‧‧‧深度感測裝置
15‧‧‧計算機裝置
17‧‧‧顯示裝置
21‧‧‧第一實體內容
22‧‧‧第二實體內容
31‧‧‧第一點雲座標系統
311‧‧‧平面
32‧‧‧第二點雲座標系統
41‧‧‧第一虛擬內容
42‧‧‧第二虛擬內容
5‧‧‧擴增實境方法
501-521‧‧‧步驟
61‧‧‧第一畫面
62‧‧‧第二畫面
F1‧‧‧第一視線範圍
F2‧‧‧第二視線範圍
P1‧‧‧第一位置
P2‧‧‧第二位置
X、Y‧‧‧軸線
n1-n4‧‧‧平面點
第1圖根據本發明一或多個實施例例示了一種擴增實境系統的一架構。
第2圖根據本發明一或多個實施例例示了該擴增實境系統在三維空間中移動的一示意圖。
第3圖根據本發明一或多個實施例例示了該擴增實境系統如何產生虛擬內容。
第4圖根據本發明一或多個實施例例示了該擴增實境系統在移動前與移動後所顯示的畫面。
第5圖根據本發明一或多個實施例例示了一種擴增實境方法的一流程圖。
以下所述一或多個實施例並非用以限制本發明只能在所述的環境、應用、結構、流程或步驟方能實施。於圖式中，與本發明非直接相關的元件皆已省略。於圖式中，各元件的尺寸以及各元件之間的比例僅是範例，而非用以限制本發明。除了特別說明之外，在以下內容中，相同(或相近)的元件符號可對應至相同(或相近)的元件。
第1圖根據本發明一或多個實施例例示了一種擴增實境系統的一架構。參照第1圖，一擴增實境系統1可包含一影像擷取裝置11、一深度感測裝置13、一計算機裝置15與一顯示裝置17。擴增實境系統1可以是各種電子裝置，例如但不限於行動電話、筆記型電腦、平板電腦等、桌上型電腦 等。影像擷取裝置11、深度感測裝置13、計算機裝置15與顯示裝置17彼此之間可以是直接電性連接或者是間接電性連接，且彼此之間可傳遞資料。
影像擷取裝置11可以是各種已知能夠用以捕捉影像的裝置，例如各種型態的照相機/攝影機或其一部分。照相機/攝影機包含的主要元件可例如是感光成像元件、成像介質與成像控制結構等。感光成像元件通常是由光學玻璃製成的透鏡組，即鏡頭。成像介質負責捕捉和記錄影像，例如底片、電荷耦合元件(Charge-coupled Device，CCD)、互補式金屬氧化物半導體(Complementary Metal-Oxide-Semiconductor，CMOS)等。控制結構可改變成像或記錄影像的方式以及控制光圈、快門、焦距等參數。根據成像介質的不同，照相機/攝影機可分為底片照相機/攝影機與數位照相機/攝影機，前者是通過光線引起底片上的化學變化來記錄圖像的照相機/攝影機，而後者是利用電子感測器把光學影像轉換成電子數據的照相機/攝影機。
深度感測裝置13可以是各種已知能夠用以感測影像深度的裝置，其可以是獨立於影像擷取裝置11的裝置，也可以是影像擷取裝置11的一個內部裝置。深度感測裝置13一般可由CMOS影像感測器、演算法、輔助感測效果的外部元件(例如主動式紅外線元件)及處理器所組合而成。舉例而言，深度感測裝置13可包含三維掃描儀，用來偵測並分析現實世界中物體或環境的形狀(幾何構造)與外觀資料(如顏色、表面反照率等性質)。三維掃描儀可用以建立物體幾何表面的點雲(point cloud)，這些點可用來插補成物體的表面形狀，而越密集的點雲可以建立更精確的模型(這個過程稱做三維重建)。三維掃描儀可類比為照相機，而兩者不同之處在於照相機所抓 取的是顏色資訊，而三維掃描儀測量的是距離(即深度)。
計算機裝置15可以是各種已知能夠用以進行影像處理的裝置。計算機裝置15可包含例如處理器、微處理器等各種運算元件，以執行各種邏輯運算。計算機裝置15可包含例如記憶體、硬碟等各種儲存元件，以儲存各種資料。計算機裝置15可包含例如滑鼠、鍵盤、使用者介面、螢幕等各種輸入/輸出元件，以接收來自外部的資料以及輸出資料至外部。計算機裝置15可根據軟體、韌體、程式、演算法等所建構的處理流程，透過上述計算元件、儲存元件、輸入/輸出元件等元件，執行各種影像處理。
顯示裝置17可以是各種已知能夠用以進行顯示影像資料的裝置，其可以是獨立於計算機裝置15的裝置，也可以是計算機裝置15的一個內部裝置。舉例而言，顯示裝置17可以是但不限於：陰極射線管(CRT)顯示器、數位光處理(DLP)顯示器、電漿顯示器、液晶顯示器(LCDs)、薄膜電晶體液晶顯示器(TFT-LCDs)、有機發光二極體顯示器(OLEDs)、發光二極體顯示器(LED)、電致發光顯示器(ELDs)、表面傳導電子發射顯示器(SEDs)、場發射顯示器(FEDs)、奈米-發射顯示器(NEDs)等。顯示裝置17也可以是各種類型的觸控式螢幕。於某些實施例，顯示裝置17可以包含投影單元以及顯示單元，其中該顯示單元用以顯示實體內容，而該投影單元用以將虛擬內容投影到該顯示單元上。
以下將以第2-4圖為一範例進一步說明擴增實境系統1，惟此範例並非本發明的限制。第2圖根據本發明一或多個實施例例示了擴增實境系統1在三維空間中移動的一示意圖。第3圖根據本發明一或多個實施例例示了擴增實境系統1如何產生虛擬內容。第4圖根據本發明一或多個實施例 例示了擴增實境系統1在移動前與移動後所顯示的畫面。
參照第2圖，在擴增實境系統1位在第一實體位置P1時，影像擷取裝置11可擷取第一實體內容21。舉例而言，第一實體內容21是影像擷取裝置11從一櫃子的正前方(即第一實體位置P1)朝向該櫃子的正面所擷取的影像，其可表示為在一第一視線範圍F1內包含兩面牆以及一放置在地板上的櫃子的影像。
參照第3圖，在擴增實境系統1位在第一實體位置P1時，深度感測裝置13可感測第一實體內容21的每一個畫素的一深度以建立一第一點雲座標系統31。舉例而言，深度感測裝置13可在一三維空間中，基於第一實體位置P1為原點，即(0,0,0)，來建立第一點雲座標系統31。第一點雲座標系統31可包含複數個點雲，該等點雲分別對應至第一實體內容21的該等畫素，且每一個點雲可表示為三維空間中基於第一實體位置P1為原點的一個三維座標。為了易於說明，第一點雲座標系統31中每一個點雲以方格來表示，每一個方格對應至一個畫素。在三維空間中，每一個方格以(x,y,z)來表示，其中x與y表示相對應的畫素在x-y平面上的位置，而z表示該畫素的深度(進入紙面的方向)。
在建立第一點雲座標系統31後，計算機裝置15可根據第一點雲座標系統31得知第一視線範圍F1中第一實體內容21的每一個畫素相對於第一實體位置P1為原點的三維座標。因此，計算機裝置15可基於第一點雲座標系統31產生第一虛擬內容41，並決定第一虛擬內容41在第一視線範圍F1內的位置。然後，顯示裝置17便可顯示一包含第一實體內容21及第一虛擬內容41的第一畫面61。如第3-4圖所示，於此範例中，假設計算機裝置15將第 一虛擬內容41呈現在第一視線範圍F1內的櫃子的上方。
在建立第一點雲座標系統31後，計算機裝置15還可於第一點雲座標系統31中決定至少一平面311(一或多個平面都可)。由於第一點雲座標系統31與第一實體內容21是相對應的，故計算機裝置15於第一點雲座標系統31中所決定的任一平面311實質上也就是第一實體內容21中的相對應平面。平面311可以是第一實體內容21中的任一個平面，例如：牆、地板、或是櫃子的某一個面。為了便於說明，於本範例中，假設計算機裝置15所決定的平面311是第一實體內容21中的櫃子的正面。
在決定至少一個平面311之後，計算機裝置15還可於每一個平面311中決定至少一平面點。因應不同的需求，計算機裝置15可以使用每一個平面311中的所有平面點，也可以使用每一個平面311中的部分平面點。計算機裝置15可透過一預設的門檻(例如平面點的總數)於該至少一平面311中決定至少一平面點。舉例而言，計算機裝置15可將每一個平面311在區分為複數個子平面，然後根據該預設的門檻，從每一個子平面中選取等量或不等量的平面點來使用。平面點的總數與計算精確度成正比，但與計算時間成反比。為了便於說明，於本範例中，假設計算機裝置15於平面311中決定了4個平面點，即第3圖所示平面點n1、n2、n3與n4。
回到第2圖，在擴增實境系統1位在第二實體位置P2時，例如從第一實體位置P1移動到第二實體位置P2後，影像擷取裝置11可擷取第二實體內容22。第二實體內容22是影像擷取裝置11從該櫃子的左前方(即第二實體位置P2)朝向該櫃子的側面所擷取的影像，其可表示成在一第二視線範圍F2內同樣包含該兩面牆以及該櫃子的影像。於此範例中，第一實體內容21 與第二實體內容22可表示為影像擷取裝置11從不同的位置以及方向朝向同一目標(即該櫃子)所擷取的影像。
參照第3圖，在擴增實境系統1位在第二實體位置P2時，深度感測裝置13可感測第二實體內容22的每一個畫素的一深度以建立一第二點雲座標系統32。舉例而言，深度感測裝置13可在一三維空間中，基於第二實體位置P2為原點，即(0,0,0)，來建立第二點雲座標系統32。第二點雲座標系統32可包含複數個點雲，該等點雲分別對應至第二實體內容22的該等畫素，且每一個點雲可表示為三維空間中基於第二實體位置P2為原點的一個三維座標。如同第一點雲座標系統31，第二點雲座標系統32中每一個點雲也是以方格來表示，每一個方格對應至一個畫素。在三維空間中，每一個方格以(x,y,z)來表示，其中x與y表示相對應的畫素在x-y平面上的位置，而z表示該畫素的深度(進入紙面的方向)。
在建立第二點雲座標系統32後，計算機裝置15可計算平面點n1-n4從第一點雲座標系統31至第二點雲座標系統32的座標變化。舉例而言，計算機裝置15可透過已知的影像辨識技術及/或影像追蹤技術來辨識及/或追蹤平面點n1-n4在第二點雲座標系統32的三維座標，然後透過比較平面點n1-n4分別在第一點雲座標系統31的三維座標與在第二點雲座標系統32的三維座標來計算出平面點n1-n4的座標變化。
在計算出平面點n1-n4的座標變化後，計算機裝置15便可根據該座標變化將第一虛擬內容41從第一點雲座標系統31轉移到第二點雲座標系統32以計算出第一虛擬內容41位於第二點雲座標系統32之位置，然後便可在該位置上產生對應於第一虛擬內容41的第二虛擬內容42。第一虛擬 內容41位於第二點雲座標系統32之該位置可相當於第二點雲座標系統32中的複數座標點。詳言之，由於平面點n1-n4是同一平面311上面的點，故平面點n1-n4彼此之間具有線性關係。透過這樣的線性關係，計算機裝置15便可計算出平面點n1-n4於擴增實境系統1移動前與移動後之間的相對運動關係。
相對運動關係可表示為一轉移矩陣，該矩陣包含三個參數，分別是位移、旋轉以及縮放。轉移矩陣可用以將某一座標系統中的任一三維座標轉移到另一座標系統中所需的參數。換言之，透過上述線性關係，計算機裝置15可計算出平面點n1-n4從第一點雲座標系統31至第二點雲座標系統32的位移、旋轉以及縮放，而根據該位移、該旋轉以及該縮放，計算機裝置15便可將第一虛擬內容41從第一點雲座標系統31相應地轉移到第二點雲座標系統32以計算出第一虛擬內容41位於第二點雲座標系統32之位置，然後便可在該位置上產生第二虛擬內容42。若任一平面點n在第一點雲座標系統31與第二點雲座標系統32之間的座標變化只包含位移、旋轉以及縮放其中之一或一部分，則計算機裝置15可只考慮該位移、該旋轉以及該縮放其中之一或一部分。計算機裝置15在產生第二虛擬內容42的過程中，並不需判斷擴增實境系統1的目前的位置及/或方向，也不需要判斷第二實體位置P2相對於第一實體位置P1的位置變化及/或方向變化。
在產生第二虛擬內容42後，顯示裝置17便可顯示一包含第二實體內容22及第二虛擬內容42的第二畫面62。如第3-4圖所示，第二虛擬內容42就是當擴增實境系統1位在第二實體位置P2時，從該櫃子的左前方(即第二實體位置P2)朝向第一虛擬內容41的側面所觀看到的虛擬影像。
在建立第二點雲座標系統32後，計算機裝置15還可於第二點 雲座標系統32中決定至少一平面，並從該至少一平面中決定至少一平面點。當擴增實境系統1從第二實體位置P2移動到一第三實體位置後，影像擷取裝置11可擷取第三實體內容，且深度感測裝置13可感測該第三實體內容的每一個畫素的一深度以建立一第三點雲座標系統。接著，計算機裝置15可計算該至少一平面點從第二點雲座標系統32至該第三點雲座標系統的座標變化，並根據該座標變化將第二虛擬內容42從第二點雲座標系統32轉移到該第三點雲座標系統以計算出第二虛擬內容42位於該第三點雲座標系統之位置，然後便可在該位置上產生對應於該第二虛擬內容的第三虛擬內容。第二虛擬內容42位於該第三點雲座標系統之位置可相當於該第三點雲座標系統中的複數座標點。然後，顯示裝置17可在該第三實體位置顯示一第三畫面，該第三畫面包含該第三實體內容與該第三虛擬內容。
第5圖根據本發明一或多個實施例例示了一種擴增實境方法的一流程圖。參照第5圖，一擴增實境方法5可包含以下步驟：由一影像擷取裝置在一第一實體位置擷取第一實體內容(標示為501)；由一深度感測裝置感測該第一實體內容的每一個畫素的一深度以建立一第一點雲座標系統(標示為503)；由一計算機裝置基於該第一點雲座標系統產生第一虛擬內容(標示為505)；由該顯示裝置在該第一實體位置顯示一第一畫面，該第一畫面包含該第一實體內容與該第一虛擬內容(標示為507)；由該影像擷取裝置在一第二實體位置擷取第二實體內容(標示為509)；由該深度感測裝置感測該第二實體內容的每一個畫素的一深度以針對該第二畫面建立一第二點雲座標系統(標示為511)；由該計算機裝置於該第一點雲座標系統中決定至少一平面(標示為513)；由該計算機裝置於該至少一平面中決定至少一平面 點(標示為515)；由該計算機裝置計算該至少一平面點從該第一點雲座標系統至該第二點雲座標系統的座標變化(標示為517)；由該計算機裝置根據該座標變化計算該第一虛擬內容位於該第二點雲座標系統之位置，以在該位置上產生相對應的第二虛擬內容(標示為519)；以及由該顯示裝置在該第二實體位置顯示一第二畫面，該第二畫面包含該第二實體內容與該第二虛擬內容(標示為521)。於第5圖中，步驟501-521的呈現順序並非擴增實境方法5的限制條件，且在不超出本發明的精神的前提下可以被調整。舉例而言，可將步驟513和步驟515移動到步驟503之後，且將步驟517移動到步驟511之後。
根據本發明一或多個實施例，該深度感測裝置可以基於該第一實體位置為原點來建立該第一點雲座標系統，以及基於該第二實體位置為原點來建立該第二點雲座標系統。
根據本發明一或多個實施例，該計算機裝置可透過一預設的門檻於該至少一平面中決定該至少一平面點。
根據本發明一或多個實施例，該計算機裝置可根據該座標變化計算該至少一平面點從該第一點雲座標系統至該第二點雲座標系統的位移、旋轉以及縮放，並根據該位移、該旋轉以及該縮放計算該第一虛擬內容位於該第二點雲座標系統之該位置。
根據本發明一或多個實施例，該顯示裝置可包含一投影單元以及一顯示單元，該顯示單元可用以顯示第一實體內容與第二實體內容，且該投影單元可用以將該第一虛擬內容與該第二虛擬內容投影到該顯示單元上。
根據本發明一或多個實施例，擴增實境方法5可應用至擴增實境系統1，並完成擴增實境系統1的全部運作。由於本發明所屬技術領域中具有通常知識者可根據上文針對擴增實境系統1的說明而直接得知擴增實境方法5完成該等運作的相對應步驟，故相關細節於此不再贅述。
綜上所述，隨著影像擷取裝置的移動，本發明可根據影像擷取裝置移動前與移動後所擷取的實體內容的深度資訊分別建立第一點雲座標系統與第二點雲座標系統，並根據該第一點雲座標系統中至少一平面的至少一平面點從該第一點雲座標系統(即先前的點雲座標系統)至該第二點雲座標系統(即目前的點雲座標系統)的座標變化來計算基於該第一點雲座標系統所產生的虛擬內容位於該第二點雲座標系統之位置，然後便可在該位置上產生相對應的虛擬內容。不同於傳統的擴增實境技術，本發明不需要預先建立多個特徵點地圖，也可以讓計算機裝置隨著影像擷取裝置的移動而提供相對應的虛擬內容，故可節省時間成本。另外，本發明只利用到影像擷取裝置所擷取的實體內容中的平面資訊(即第一點雲座標系統中至少一平面的至少一平面點)，故即使影像擷取裝置所擷取的實體內容的空間複雜度不高，仍可以達到相同的效果。換言之，於本發明中，影像擷取裝置所擷取的實體內容不需要具備足夠多可用的特徵點。因此，本發明有效地改善了傳統的擴增實境技術。
上述揭露的各種態樣及實施例並非用以限制本發明。本發明所屬技術領域中具有通常知識者可輕易完成的改變或均等性的安排都落於本發明的範圍內。本發明的範圍以申請專利範圍為準。

Claims (8)

  1. 一種擴增實境系統，包含：一影像擷取裝置，用以在一第一實體位置擷取第一實體內容，以及在一第二實體位置擷取第二實體內容；一深度感測裝置，用以感測該第一實體內容的每一個畫素的一深度以建立一第一點雲座標系統，以及感測該第二實體內容的每一個畫素的一深度以建立一第二點雲座標系統；一計算機裝置，用以基於該第一點雲座標系統產生第一虛擬內容，於該第一點雲座標系統中決定至少一平面，於該至少一平面中決定至少一平面點，計算該至少一平面點從該第一點雲座標系統至該第二點雲座標系統的座標變化，以及根據該座標變化計算該第一虛擬內容位於該第二點雲座標系統之位置，以於該位置上產生相對應的第二虛擬內容；以及一顯示裝置，用以在該第一實體位置顯示一第一畫面，以及在該第二實體位置顯示一第二畫面，該第一畫面包含該第一實體內容及該第一虛擬內容，且該第二畫面包含該第二實體內容及該第二虛擬內容；其中，該計算機裝置根據該座標變化計算該至少一平面點從該第一點雲座標系統至該第二點雲座標系統的位移、旋轉以及縮放，並根據該位移、該旋轉以及該縮放計算該第一虛擬內容位於該第二點雲座標系統之該位置。
  2. 如請求項1所述的擴增實境系統，其中該深度感測裝置是基於該第一實體位置為原點來建立該第一點雲座標系統，以及基於該第二實體位置為原 點來建立該第二點雲座標系統。
  3. 如請求項1所述的擴增實境系統，其中該計算機裝置透過一預設的門檻於該至少一平面中決定該至少一平面點。
  4. 如請求項1所述的擴增實境系統，其中該顯示裝置包含一投影單元以及一顯示單元，該顯示單元用以顯示該第一實體內容與該第二實體內容，且該投影單元用以將該第一虛擬內容與該第二虛擬內容投影到該顯示單元上。
  5. 一種擴增實境方法，包含下列步驟：由一影像擷取裝置在一第一實體位置擷取第一實體內容；由一深度感測裝置感測該第一實體內容的每一個畫素的一深度以建立一第一點雲座標系統；由一計算機裝置基於該第一點雲座標系統產生第一虛擬內容；由一顯示裝置在該第一實體位置顯示一第一畫面，該第一畫面包含該第一實體內容與該第一虛擬內容；由該影像擷取裝置在一第二實體位置擷取第二實體內容；由該深度感測裝置感測該第二實體內容的每一個畫素的一深度以針對一第二畫面建立一第二點雲座標系統；由該計算機裝置於該第一點雲座標系統中決定至少一平面；由該計算機裝置於該至少一平面中決定至少一平面點；由該計算機裝置計算該至少一平面點從該第一點雲座標系統至該第二點雲座標系統的座標變化；由該計算機裝置根據該座標變化計算該第一虛擬內容位於該第二點 雲座標系統之位置，以於該位置上產生第二虛擬內容；以及由該顯示裝置在該第二實體位置顯示該第二畫面，該第二畫面包含該第二實體內容與該第二虛擬內容；其中，該計算機裝置根據該座標變化計算該至少一平面點從該第一點雲座標系統至該第二點雲座標系統的位移、旋轉以及縮放，並根據該位移、該旋轉以及該縮放計算該第一虛擬內容位於該第二點雲座標系統之該位置。
  6. 如請求項5所述的擴增實境方法，其中該深度感測裝置是基於該第一實體位置為原點來建立該第一點雲座標系統，以及基於該第二實體位置為原點來建立該第二點雲座標系統。
  7. 如請求項5所述的擴增實境方法，其中該計算機裝置透過一預設的門檻於該至少一平面中決定該至少一平面點。
  8. 如請求項5所述的擴增實境方法，其中該顯示裝置包含一投影單元以及一顯示單元，該顯示單元用以顯示該第一實體內容與該第二實體內容，且該投影單元用以將該第一虛擬內容與該第二虛擬內容投影到該顯示單元上。
TW105134047A 2016-10-21 2016-10-21 擴增實境系統與方法 TWI651657B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW105134047A TWI651657B (zh) 2016-10-21 2016-10-21 擴增實境系統與方法
CN201611004019.9A CN107978019A (zh) 2016-10-21 2016-11-15 扩增实境系统与方法
US15/359,599 US9996960B2 (en) 2016-10-21 2016-11-22 Augmented reality system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW105134047A TWI651657B (zh) 2016-10-21 2016-10-21 擴增實境系統與方法

Publications (2)

Publication Number Publication Date
TW201816660A TW201816660A (zh) 2018-05-01
TWI651657B true TWI651657B (zh) 2019-02-21

Family

ID=61970357

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105134047A TWI651657B (zh) 2016-10-21 2016-10-21 擴增實境系統與方法

Country Status (3)

Country Link
US (1) US9996960B2 (zh)
CN (1) CN107978019A (zh)
TW (1) TWI651657B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11301198B2 (en) 2019-12-25 2022-04-12 Industrial Technology Research Institute Method for information display, processing device, and display system

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110825280A (zh) * 2018-08-09 2020-02-21 北京微播视界科技有限公司 控制虚拟物体位置移动的方法、装置和计算机可读存储介质
US12039734B2 (en) * 2018-08-21 2024-07-16 Streem, Llc. Object recognition enhancement using depth data
TWI731430B (zh) * 2019-10-04 2021-06-21 財團法人工業技術研究院 資訊顯示方法與資訊顯示系統
CN112162640B (zh) * 2020-10-13 2022-10-25 深圳晶泰科技有限公司 晶体显示方法及系统
US11830213B2 (en) 2020-11-05 2023-11-28 Streem, Llc Remote measurements from a live video stream
CN115220636B (zh) * 2022-07-14 2024-04-26 维沃移动通信有限公司 虚拟操作方法、装置、电子设备及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201205345A (en) * 2010-03-17 2012-02-01 Sony Corp Information processing device, information processing method, and program
TW201429242A (zh) * 2013-01-07 2014-07-16 Ind Tech Res Inst 擴增實境場景中決定個體化深度資訊的系統和方法
TW201606352A (zh) * 2014-07-29 2016-02-16 三星電子股份有限公司 顯示影像用之頭戴顯示裝置及其方法
TW201621799A (zh) * 2014-12-09 2016-06-16 財團法人工業技術研究院 擴增實境方法與系統

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103988226B (zh) * 2011-08-31 2017-09-26 Metaio有限公司 用于估计摄像机运动以及用于确定实境三维模型的方法
TWI544447B (zh) * 2011-11-29 2016-08-01 財團法人資訊工業策進會 擴增實境的方法及系統
CN102568026B (zh) * 2011-12-12 2014-01-29 浙江大学 一种多视点自由立体显示的三维增强现实方法
US9420265B2 (en) 2012-06-29 2016-08-16 Mitsubishi Electric Research Laboratories, Inc. Tracking poses of 3D camera using points and planes
US9996974B2 (en) * 2013-08-30 2018-06-12 Qualcomm Incorporated Method and apparatus for representing a physical scene

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201205345A (en) * 2010-03-17 2012-02-01 Sony Corp Information processing device, information processing method, and program
TW201429242A (zh) * 2013-01-07 2014-07-16 Ind Tech Res Inst 擴增實境場景中決定個體化深度資訊的系統和方法
TW201606352A (zh) * 2014-07-29 2016-02-16 三星電子股份有限公司 顯示影像用之頭戴顯示裝置及其方法
TW201621799A (zh) * 2014-12-09 2016-06-16 財團法人工業技術研究院 擴增實境方法與系統

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11301198B2 (en) 2019-12-25 2022-04-12 Industrial Technology Research Institute Method for information display, processing device, and display system

Also Published As

Publication number Publication date
CN107978019A (zh) 2018-05-01
TW201816660A (zh) 2018-05-01
US9996960B2 (en) 2018-06-12
US20180114349A1 (en) 2018-04-26

Similar Documents

Publication Publication Date Title
TWI651657B (zh) 擴增實境系統與方法
US10977818B2 (en) Machine learning based model localization system
US20220247984A1 (en) System and method for interactive projection
US20180330544A1 (en) Markerless image analysis for augmented reality
US8355565B1 (en) Producing high quality depth maps
US9519968B2 (en) Calibrating visual sensors using homography operators
AU2014240544B2 (en) Translated view navigation for visualizations
US20110267264A1 (en) Display system with multiple optical sensors
WO2017152803A1 (zh) 图像处理方法和设备
US9454260B2 (en) System and method for enabling multi-display input
CN106256124B (zh) 结构化立体
US9213908B2 (en) Method for registering at least one part of a first and second image using a collineation warping function
Kang et al. Two-view underwater 3D reconstruction for cameras with unknown poses under flat refractive interfaces
TW202011353A (zh) 深度資料處理系統的操作方法
US20190253699A1 (en) User Input Device Camera
US9921054B2 (en) Shooting method for three dimensional modeling and electronic device supporting the same
US20200106959A1 (en) Panoramic light field capture, processing, and display
US20140267600A1 (en) Synth packet for interactive view navigation of a scene
Taketomi et al. Camera pose estimation under dynamic intrinsic parameter change for augmented reality
US20190080432A1 (en) Camera-based Transparent Display
WO2023155532A1 (zh) 位姿检测方法及装置、电子设备和存储介质
KR20150082195A (ko) 어노테이션 방법 및 기기
US11770551B2 (en) Object pose estimation and tracking using machine learning
US20210349308A1 (en) System and method for video processing using a virtual reality device
WO2023088127A1 (zh) 室内导航方法、服务器、装置和终端