TW201624424A

TW201624424A - 擴增實境方法與系統

Info

Publication number: TW201624424A
Application number: TW103143813A
Authority: TW
Inventors: 張騰文; 梁哲瑋; 陳思瑋; 陳毅承
Original assignee: 財團法人工業技術研究院
Priority date: 2014-12-16
Filing date: 2014-12-16
Publication date: 2016-07-01
Also published as: TWI518634B; CN105786166A; CN105786166B

Abstract

擴增實境方法，應用於一擴增實境系統。該擴增實境方法包括：於一實體空間中，偵測一實體參考物件、多個環境特徵與一行動裝置的一角度參數與一位移參數；追蹤該實體參考物件以預估該行動裝置在該實體空間中的一實體位置與一實體角度，來進行擴增實境展示；當追蹤不到該實體參考物件時，追蹤該多個環境特徵以預估該行動裝置在該實體空間中的該實體位置與該實體角度，來進行擴增實境展示；以及當追蹤不到該實體參考物件且追蹤不到該多個環境特徵時，根據該行動裝置之該角度參數與該位移參數以預估該行動裝置在該實體空間中的該實體位置與該實體角度，來進行擴增實境展示。

Description

擴增實境方法與系統

本案是有關於一種擴增實境方法與系統。

透過實體宅妝，看屋者能看到屋內傢俱擺置情況，使得房屋成交率能被提高，並藉此瞭解消費者的喜好。自從擴增實境(Augment Reality,AR)被提出後，設計業者/廠商將設計風格及虛擬傢俱上傳到擴增實境開發平台，讓消費者可以在行動裝置上看到虛擬傢俱與實體房屋物件的結合。

故而，如何能夠在不論使用者在實體空間內的任何地點，皆能追蹤到使用者位置與角度進而相應地進行適當的AR展示，是此領域的重點之一。

本案提出一種擴增實境方法與系統，可利用多種方式來追蹤行動裝置之位置與角度，以進行AR展示。

本案係有關於一種擴增實境方法與系統，可根據所偵測到的實體參考物件及/或多個環境特徵及/或該行動裝置之該角度參數與該位移參數，來預估該行動裝置在實體空間中的實體位置與實體角度，來進行擴增實境展示。

根據本案之一實施例提出一種擴增實境方法，應用於一擴增實境系統。該擴增實境方法包括：於一實體空間中，偵測一實體參考物件、多個環境特徵與一行動裝置的一角度參數與一位移參數；追蹤該實體參考物件以預估該行動裝置在該實體空間中的一實體位置與一實體角度，來進行擴增實境展示；當追蹤不到該實體參考物件時，追蹤該多個環境特徵以預估該行動裝置在該實體空間中的該實體位置與該實體角度，來進行擴增實境展示；以及當追蹤不到該實體參考物件且追蹤不到該多個環境特徵時，根據該行動裝置之該角度參數與該位移參數以預估該行動裝置在該實體空間中的該實體位置與該實體角度，來進行擴增實境展示。

根據本案之一實施例提出一種擴增實境系統，包括：一行動裝置，以及一擴增實境平台，耦接至該行動裝置。於一實體空間中，該行動裝置偵測一實體參考物件、多個環境特徵與該行動裝置的一角度參數與一位移參數。該行動裝置追蹤該實體參考物件以預估該行動裝置在該實體空間中的一實體位置與一實體角度，來進行擴增實境展示。當該行動裝置追蹤不到該實體參考物件時，該行動裝置追蹤該多個環境特徵以預估該行動裝置在該實體空間中的該實體位置與該實體角度，來進行擴增實境展示。當該行動裝置追蹤不到該實體參考物件且追蹤不到該多個環境特徵時，根據該行動裝置之該角度參數與該位移參數，該行動裝置預估該行動裝置在該實體空間中的該實體位置與該實體角度，來進行擴增實境展示。

為了對本案之上述及其他方面有更佳的瞭解，下文特舉實施例，並配合所附圖式，作詳細說明如下：

100‧‧‧擴增實境系統

110‧‧‧行動裝置

150‧‧‧AR平台

170‧‧‧網路

111‧‧‧攝影單元

112‧‧‧旋轉感測器

113‧‧‧加速度感測器

114‧‧‧螢幕

115‧‧‧AR應用程式

121‧‧‧AR追蹤模組

122‧‧‧環境特徵追蹤模組

124‧‧‧特徵資料庫

123‧‧‧移動預估模組

152‧‧‧AR內容尺寸模組

151‧‧‧AR編輯模組

220A-220D‧‧‧環境特徵

210‧‧‧實體參考物件

320、320’‧‧‧AR傢俱

230‧‧‧AR傢俱

310‧‧‧實體參考物件

第1圖顯示根據本案一實施例之擴增實境系統之示意圖。

第2A圖至第2E圖繪示依照本案一實施例的預估行動裝置的位置與角度，以進行AR展示之示意圖。

第3A圖與第3B圖顯示依照本案一實施例之AR物件之編輯示意圖。

第4圖顯示根據本案一實施例之擴增實境方法之流程圖。

本說明書的技術用語係參照本技術領域之習慣用語，如本說明書對部分用語有加以說明或定義，該部分用語之解釋係以本說明書之說明或定義為準。本揭露之各個實施例分別具有一或多個技術特徵。在可能實施的前提下，本技術領域具有通常知識者可選擇性地實施任一實施例中部分或全部的技術特徵，或者選擇性地將這些實施例中部分或全部的技術特徵加以組合。

現請參考第1圖，其顯示根據本案一實施例之擴增實境系統之示意圖。如第1圖所示，擴增實境系統100包括：行動裝置110與AR平台150。行動裝置110與AR平台150之間可透過網路170而互相溝通。網路170可以包括有線/無線網路。

行動裝置110包括：攝影單元111、旋轉感測器112、加速度感測器113、螢幕114與AR應用程式115。AR應用程式115安裝於行動裝置110之記憶體(未示出)內。AR應用程式115包括：AR追蹤模組121、環境特徵追蹤模組122、移動預估模組123與特徵資料庫124。AR平台150包括：AR編輯模組151與AR內容尺寸模組152。

攝影單元111用以拍攝實體空間內之實體物件。旋轉感測器112用以感測行動裝置110之角加速度與角動量等角度參數，以感測行動裝置110之角度。旋轉感測器112比如可以是陀螺儀(gyroscope)等。加速度感測器113用以感測行動裝置110之加速度參數/位移參數，以感測行動裝置110之位置。螢幕114用以呈現影像，比如是攝影單元111所拍攝之影像，或者是由AR應用程式115所傳來之AR展示之相關影像。

AR應用程式115用以即時地呈現AR展示於螢幕上114。也就是說，使用者可一面觀看螢幕114，其上可同時呈現由攝影單元111所擷取到的實體影像(比如是實體空間中之實體物件(人、實體參考物件、牆壁等))與由AR應用程式115所傳來之AR展示之相關影像。

如果行動裝置110在移動/轉動的話，則顯示在行動裝置110的螢幕114上的AR配置會隨之移動/轉動(透過AR應用程式115的控制)，以讓使用者在觀看時的視覺感受能貼近目前的情況。

當行動裝置110的攝影單元111能拍攝到實體參考物件時，AR追蹤模組121可據此來計算出行動裝置110在實體空間中的實體位置。實體參考物件通常是擺在地面上的一張平面物件。在初始化時(比如，執行AR應用程式115以初次偵測到此實體參考物件時)，透過此實體參考物件與(選擇性)其他環境特徵，AR應用程式115能夠計算出行動裝置110在此實體空間中的初始實體位置。之後，如果攝影單元111能夠一直拍攝/偵測到實體參考物件的話，AR追蹤模組121可據此來追蹤出行動裝置110在實體空間中的實體位置與實體角度。

當行動裝置110的攝影單元111能拍攝到實體空間中的環境特徵(比如，掛在牆壁上的圖等)時，環境特徵追蹤模組122可據此來計算/追蹤出行動裝置110在實體空間中的實體位置。詳細地說，於AR追蹤模組121計算出行動裝置110在此實體空間中的初始實體位置之後，環境特徵追蹤模組122便可以持續根據環境特徵來計算/追蹤出行動裝置110在實體空間中的實體位置。

進一步說，環境特徵追蹤模組122可依據電腦視覺(computer vision,CV)來找出環境特徵。之後，環境特徵追蹤模組122可持續建立環境特徵地圖(存於特徵資料庫124之中)。如果能一直偵測到實體參考物件的話，則環境特徵追蹤模組122重覆執行上述操作。但如果無法偵測到實體參考物件的話，則環境特徵追蹤模組122可利用演算法(如隨機抽樣一致(RANdom SAmple Consensus,RANSAC)演算法)來找出位置靠近實體參考物件的該些環境特徵。之後，環境特徵追蹤模組122可利用另一演算法(如叠代最近點(Iterative Closest Point,ICP)演算法)來從所找出的位置靠近實體參考物件的該些環境特徵中去除可能是雜訊的一或多環境特徵。藉此，環境特徵追蹤模組122可根據環境特徵來預估出行動裝置110的位置與角度等。

於AR追蹤模組121計算出行動裝置110在此實體空間中的初始實體位置之後，移動預估模組123即可依據旋轉感測器112與加速度感測器113來持續追蹤/預估行動裝置110之位置與角度。

進一步說，移動預估模組123可依據旋轉感測器112所偵測到的行動裝置110的角速度來預估出行動裝置110的角度參數；以及根據加速度感測器113所偵測出的行動裝置110的速度，來預估出行動裝置110的位移參數與位置參數。故而，移動預估模組123能持續追蹤/預估行動裝置110之位置與角度。

以資料優先順序而言，AR追蹤模組121高於環境特徵追蹤模組122，且環境特徵追蹤模組122又高於移動預估模組123。也就是說，在本案一實施例中，如果行動裝置110能夠一直拍攝到實體參考物件的話，則優先採納由AR追蹤模組121所預估/追蹤出的行動裝置110的實體位置，因為其準確度較其他兩個模組122/123為高。一旦行動裝置110拍攝不到實體參考物件的話但能拍攝到足夠多的環境特徵的話，則退而求其次，採納由環境特徵追蹤模組122所預估/追蹤出的行動裝置110的實體位置。如果一旦行動裝置110拍攝不到實體參考物件的話且所拍攝到環境特徵之數量不足以讓環境特徵追蹤模組122來預估/追蹤出的行動裝置110的實體位置的話，則再退而求其次，採納由移動預估模組123所預估/追蹤出的行動裝置110的實體位置。

特徵資料庫124用以儲存所拍攝/偵測出的特徵點(包括實體參考物件與環境特徵)。

AR編輯模組151可根據行動裝置110的AR應用程式115所回傳的資料(比如，實體空間的尺寸等)，來進行AR展示的編輯。比如，如果使用者覺得目前的AR展示並不符合其所需的話(比如，AR展示所對應的實體空間坪數並不符合目前使用者所在的實體空間的坪數，或者使用者想要更換AR風格)，行動裝置110可以回傳給AR平台150，讓AR編輯模組151來進行AR編輯(比如，調整AR虛擬物件的擺放位置、旋轉角度、尺寸等)，以達到客製化目的。

AR內容尺寸模組152計算出AR配置在實體空間中的相對應面積。比如，假設實體參考物件的實體面積為A，AR配置的AR面積為B，AR配置中的AR參考物件的AR面積為C，則此AR配置在實體空間中所佔的實體面積Y=A*B/C。亦即，在進行面積轉換時，將AR參考物件對應於實體參考物件，以求出AR配置經轉換後的實體佔用面積。

舉例但不受限於，以A0大小的物件當成實體參考物件的話，則A=1189(cm)*841(cm)。實體參考物件是指放在實體空間中的參考物件，當AR應用程式115偵測到此實體參考物件時，將此實體參考物件當成參考定位點。通常而言，實體參考物件會擺放在實體空間的中央點。比如，實體空間是客廳的話，則實體參考物件會被擺放在客廳的中央點。

所謂的AR配置通常包括所要放置的AR傢俱之類型、大小、形狀、擺放位置等。比如，在設計適合於客廳的AR配置時，AR配置通常包括常見的AR傢俱，如茶几、電視櫃、沙發等。在設計AR配置時，也會一併設計好此AR配置所對應的AR面積。也就是說，如果有一間房屋包括一個客廳(5坪)、一個餐廳(3坪)、主臥房(5坪)與一般臥房(4坪)的話，在設計AR配置時，會分別設計/產生適合客廳/餐廳/房間的各別AR配置。

在設計AR配置時，亦在AR配置中設置AR參考物件，其預設的虛擬擺放位置同樣位於AR空間的中央點，以對應於實體參考物件。

故而，AR內容尺寸模組152在進行面積轉換時，乃是將AR參考物件的位置對應至實體參考物件的位置，且將AR參考物件的面積依比例縮/放至相同於實體參考物件，再依此比例來縮/放該AR配置的AR面積，以得到該AR配置在實體空間中的相對應面積。

在本案一實施例中，經過AR編輯模組151來調整/編輯AR虛擬物件後，AR平台150可回傳給行動裝置110的AR 應用程式115。據此，AR應用程式115可得到調整後的AR配置，而無法再次進行3D登記(3D registration)。

現將說明本案一實施例如何追蹤/預估行動裝置110之位置與角度。如第2A圖所示，使用者手持著行動裝置110，對準實體參考物件(marker)210拍攝，藉此，AR追蹤模組121可計算出行動裝置110在此實體空間中的初始實體位置。如果當行動裝置110移動至無法拍攝到實體參考物件210的位置的話，如第2B圖所示，則環境特徵追蹤模組122可偵測目前所能拍攝到的環境特徵220A-220D來追蹤/預估行動裝置110之位置與角度，以便讓AR應用程式115能據以在螢幕114上顯示目前位置與角度所對應的AR展示(如AR傢俱230)，如第2C圖所示。

如果當行動裝置110移動至無法拍攝到實體參考物件210且也無法拍攝到環境特徵220A-220D(或者是所拍攝到環境特徵不足以讓環境特徵追蹤模組122來預估/追蹤出的行動裝置110的實體位置)的位置的話，如第2D圖所示，則移動預估模組123可根據旋轉感測器112與加速度感測器113來得知每個時間點的行動裝置110的位移量與角度，進而可得知在每個時刻下的行動裝置110的實體座標。所以，移動預估模組123也可追蹤/預估行動裝置110之位置與角度，以便讓AR應用程式115能據以在螢幕114上顯示對應於目前位置與角度的AR展示，如第2E圖所示。

此外，在本案一實施例中，AR追蹤模組121、環境特徵追蹤模組122與移動預估模組123持續運作的，以持續預估出行動裝置110的位置與角度。

此外，如果在AR展示過程中，使用者覺得AR配置中的AR傢俱不滿意(比如，AR傢俱尺寸不適合)，使用者可透過AR應用程式115將參數回傳給AR平台150，讓設計師透過AR平台150的AR編輯模組151及/或AR內容尺寸模組152來修改/調整AR配置中的AR傢俱，再回傳給使用者。比如，以第3A圖為例，在進行AR展示時，行動裝置110的AR應用程式115可量測此實體空間的面積，以從眾多個預先設計好的AR配置中挑選出適合的面積與所喜歡的AR風格。在此，所謂的AR風格是指，預先設計好的多個AR傢俱的組合。AR應用程式115將使用者所挑選的AR配置顯示於螢幕上，如第3A圖所示。實體參考物件310與AR傢俱320顯示於螢幕上。使用者覺得AR傢俱320的尺寸/顏色不對勁/不喜歡，則使用者可透過AR應用程式115回傳給AR平台150。AR平台150將AR傢俱320修改成AR傢俱320’後回傳給AR應用程式115，並顯示於螢幕114之上，如第3B圖所示。在第3B圖中，AR傢俱320’的顏色/尺寸經過修改。

現請參考第4圖，其顯示根據本案一實施例之擴增實境方法之流程圖。如第4圖所示，在步驟410中，於一實體空間中，偵測一實體參考物件、多個環境特徵與一行動裝置的一角度參數與一位移參數。在步驟420中，追蹤該實體參考物件以預估該行動裝置在該實體空間中的一實體位置與一實體角度，來進行擴增實境展示。在步驟430中，當追蹤不到該實體參考物件時，追蹤該多個環境特徵以預估該行動裝置在該實體空間中的該實體位置與該實體角度，來進行擴增實境展示。在步驟440中，當追蹤不到該實體參考物件且追蹤不到該多個環境特徵時，根據該行動裝置之該角度參數與該位移參數，預估該行動裝置在該實體空間中的該實體位置與該實體角度，來進行擴增實境展示。

綜上所述，在本案實施例中，由於可利用多種方式來預估行動裝置之位置與角度，故而，即便當行動裝置移動到偵測不到實體參考物件(通常放置於房間中央處)時，仍可依環境特徵，及/或，加速度/旋轉感測器來預估行動裝置之位置與角度，進而使得AR展示不因行動裝置之移動而有所失真。

綜上所述，雖然本案已以實施例揭露如上，然其並非用以限定本案。本案所屬技術領域中具有通常知識者，在不脫離本案之精神和範圍內，當可作各種之更動與潤飾。因此，本案之保護範圍當視後附之申請專利範圍所界定者為準。

410~440‧‧‧步驟

Claims

一種擴增實境方法，應用於一擴增實境系統，該擴增實境方法包括：於一實體空間中，偵測一實體參考物件、多個環境特徵與一行動裝置的一角度參數與一位移參數；追蹤該實體參考物件以預估該行動裝置在該實體空間中的一實體位置與一實體角度，來進行擴增實境展示；當追蹤不到該實體參考物件時，追蹤該多個環境特徵以預估該行動裝置在該實體空間中的該實體位置與該實體角度，來進行擴增實境展示；以及當追蹤不到該實體參考物件且追蹤不到該多個環境特徵時，根據該行動裝置之該角度參數與該位移參數，預估該行動裝置在該實體空間中的該實體位置與該實體角度，來進行擴增實境展示。
如申請專利範圍第1項所述之擴增實境方法，更包括：利用初次偵測該實體參考物件以計算出該行動裝置在該實體空間中的一初始實體位置；以及如果一直偵測到該實體參考物件的話，據以追蹤出該行動裝置在該實體空間中的該實體位置與實體角度，來進行擴增實境展示。
如申請專利範圍第1項所述之擴增實境方法，其中，偵測該多個環境特徵的該步驟包括：依據電腦視覺來找出該多個環境特徵；持續建立與儲存一環境特徵地圖；如果無法偵測到該實體參考物件的話，找出位置靠近實體參考物件的該多個環境特徵；從所找出的該多個環境特徵中去除可能是雜訊的一或多個環境特徵；以及根據所餘留的該多個環境特徵來預估該行動裝置的該實體位置與該實體角度，來進行擴增實境展示。
如申請專利範圍第1項所述之擴增實境方法，其中，偵測該行動裝置的該角度參數與該位移參數的該步驟包括：利用一旋轉感測器來偵測該行動裝置的該角度參數；以及利用一加速度感測器來偵測該行動裝置的該位移參數。
如申請專利範圍第1項所述之擴增實境方法，更包括：該行動裝置回傳給一擴增實境平台，以進行擴增實境展示的編輯；以及於該擴增實境平台進行編輯後，回傳給該行動裝置進行擴增實境展示。
如申請專利範圍第1項所述之擴增實境方法，更包括：將一擴增實境配置中的一擴增實境參考物件對應於該實體參考物件；將該擴增實境參考物件的面積依一比例縮/放至尺寸相同於該實體參考物件；以及依該比例來縮/放該擴增實境配置的一擴增實境面積，以得到該擴增實境配置在該實體空間中的相對應面積。
一種擴增實境系統，包括：一行動裝置，以及一擴增實境平台，耦接至該行動裝置，其中，於一實體空間中，該行動裝置偵測一實體參考物件、多個環境特徵與該行動裝置的一角度參數與一位移參數；該行動裝置追蹤該實體參考物件以預估該行動裝置在該實體空間中的一實體位置與一實體角度，來進行擴增實境展示；當該行動裝置追蹤不到該實體參考物件時，該行動裝置追蹤該多個環境特徵以預估該行動裝置在該實體空間中的該實體位置與該實體角度，來進行擴增實境展示；以及當該行動裝置追蹤不到該實體參考物件且追蹤不到該多個環境特徵時，根據該行動裝置之該角度參數與該位移參數，該行動裝置預估該行動裝置在該實體空間中的該實體位置與該實體角度，來進行擴增實境展示。
如申請專利範圍第7項所述之擴增實境系統，其中，該行動裝置利用初次偵測該實體參考物件以計算出該行動裝置在該實體空間中的一初始實體位置；以及如果該行動裝置一直偵測到該實體參考物件的話，該行動裝置據以追蹤出該行動裝置在該實體空間中的該實體位置與實體角度，來進行擴增實境展示。
如申請專利範圍第7項所述之擴增實境系統，其中，該行動裝置依據電腦視覺來找出該多個環境特徵；該行動裝置持續建立與儲存一環境特徵地圖；如果該行動裝置無法偵測到該實體參考物件的話，該行動裝置找出位置靠近實體參考物件的該多個環境特徵；該行動裝置從所找出的該多個環境特徵中去除可能是雜訊的一或多個環境特徵；以及根據所餘留的該多個環境特徵，該行動裝置預估該實體位置與該實體角度，來進行擴增實境展示。
如申請專利範圍第7項所述之擴增實境系統，其中，該行動裝置利用一旋轉感測器來偵測該行動裝置的該角度參數；以及該行動裝置利用一加速度感測器來偵測該行動裝置的該位移參數。
如申請專利範圍第7項所述之擴增實境系統，其中，該行動裝置回傳給該擴增實境平台，以進行擴增實境展示的編輯；以及於該擴增實境平台進行編輯後，該擴增實境平台回傳給該行動裝置進行擴增實境展示。
如申請專利範圍第7項所述之擴增實境系統，其中：該行動裝置將一擴增實境配置中的一擴增實境參考物件對應於該實體參考物件；該行動裝置將該擴增實境參考物件的面積依一比例縮/放至尺寸相同於該實體參考物件；以及依該比例來縮/放該擴增實境配置的一擴增實境面積，該行動裝置得到該擴增實境配置在該實體空間中的相對應面積。