TWI740275B - 擴增實境物件顯示裝置及擴增實境物件顯示方法 - Google Patents

擴增實境物件顯示裝置及擴增實境物件顯示方法 Download PDF

Info

Publication number
TWI740275B
TWI740275B TW108141944A TW108141944A TWI740275B TW I740275 B TWI740275 B TW I740275B TW 108141944 A TW108141944 A TW 108141944A TW 108141944 A TW108141944 A TW 108141944A TW I740275 B TWI740275 B TW I740275B
Authority
TW
Taiwan
Prior art keywords
product
processor
augmented reality
dimensional
display
Prior art date
Application number
TW108141944A
Other languages
English (en)
Other versions
TW202121342A (zh
Inventor
瑪 帝
林道通
許恕維
Original Assignee
國立臺北大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立臺北大學 filed Critical 國立臺北大學
Priority to TW108141944A priority Critical patent/TWI740275B/zh
Publication of TW202121342A publication Critical patent/TW202121342A/zh
Application granted granted Critical
Publication of TWI740275B publication Critical patent/TWI740275B/zh

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

本揭露提出一種擴增實境物件顯示裝置及擴增實境物件顯示方法。擴增實境物件顯示裝置包括：影像感測器；顯示器；以及處理器，耦接到影像感測器及顯示器。處理器透過影像感測器獲得對應產品的產品影像，產品包括物件的圖形與紋路。處理器根據圖形與紋路來偵測物件的多個關鍵點並判斷對應關鍵點的目標物件。處理器獲得對應目標物件的三維模型，並呈現對應被識別物件的三維動畫。顯示器顯示對應三維物件的三維動畫。

Description

擴增實境物件顯示裝置及擴增實境物件顯示方法
本揭露是有關於一種擴增實境物件顯示裝置及擴增實境物件顯示方法，且特別是有關於一種能即時顯示產品上的物件圖形與紋路對應的三維動畫的擴增實境物件顯示裝置及擴增實境物件顯示方法。
現有的擴增實境(Augmented Reality，AR)可應用於遊戲以達到新穎的遊戲體驗，或應用於穿戴式裝置上以分析生活場景進而獲得場景中的詳細資訊。然而，目前擴增實境並未應用於藝文領域上以提供使用者更好的藝文產品觀看體驗。
有鑑於此，本揭露提供一種擴增實境物件顯示裝置及擴增實境物件顯示方法，能即時顯示產品上的物件圖形與紋路對應的三維動畫。
本揭露提出一種擴增實境物件顯示裝置包括：影像感測器；顯示器；以及處理器，耦接到影像感測器及顯示器。處理器透過影像感測器獲得對應產品的產品影像，產品包括物件的圖形與紋路。處理器根據圖形與紋路來偵測物件的多個關鍵點並判斷對應關鍵點的目標物件。處理器獲得對應目標物件的三維模型，並根據三維模型呈現對應物件的三維動畫。顯示器顯示產品及對應物件的三維動畫。
本揭露提出一種擴增實境物件顯示方法，適用於擴增實境物件顯示裝置。擴增實境物件顯示裝置包括影像感測器、顯示器、及處理器耦接到影像感測器及顯示器。擴增實境物件顯示方法包括：藉由處理器透過影像感測器獲得對應產品的產品影像，產品包括物件的圖形與紋路；藉由處理器根據圖形與紋路來偵測物件的多個關鍵點並判斷對應關鍵點的目標物件；藉由處理器獲得對應目標物件的三維模型，並根據三維模型呈現對應物件的三維動畫；以及藉由顯示器顯示產品及對應物件的三維動畫。
基於上述，本揭露的擴增實境物件顯示裝置及擴增實境物件顯示方法可提供使用者拍攝產品的產品影像，並根據產品上的物件圖形與紋路偵測多個關鍵點以判斷對應的目標物件，並進一步在顯示器上同時顯示產品及對應物件的三維動畫。
為讓本揭露的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
圖1為根據本揭露一實施例的擴增實境物件顯示裝置的方塊圖。圖2為根據本揭露一實施例利用擴增實境物件顯示裝置擷取產品影像的示意圖。
請參照圖1及圖2，本揭露一實施例的擴增實境物件顯示裝置100包括影像感測器110、處理器120及顯示器130。處理器120耦接到影像感測器110及顯示器130。擴增實境物件顯示裝置100例如是智慧型手機或平板電腦等類似裝置。處理器120例如是中央處理器(Central Processing Unit，CPU)、微處理器控制單元(Microprocessor Control Unit，MCU)或其他類似元件。影像感測器110例如是互補式金屬氧化物半導體(Complementary Metal Oxide Semiconductor，CMOS)影像感測器、电荷耦合器件(Charge Coupled Device，CCD)影像感測器或其他類似元件。
在一實施例中，使用者可利用擴增實境物件顯示裝置100開啟應用程式對產品210進行拍攝，使擴增實境物件顯示裝置100的處理器120透過影像感測器110獲得對應產品210的產品影像230，其中產品210包括物件220的圖形與紋路。舉例來說，產品210例如是瓷器、玻璃或其他藝術品且產品210上具有例如動物、植物或其他物體的彩繪、雕刻等。處理器120可根據物件220的圖形與紋路來偵測物件220的多個關鍵點並判斷對應關鍵點的目標物件。處理器120可獲得對應目標物件的三維模型，並根據三維模型呈現(render)對應物件的三維動畫240。顯示器130顯示產品210及對應物件220的三維動畫240。如此一來，使用者只要將相機朝向產品210拍攝即可看到物件220的三維動畫240栩栩如生地與產品210同時呈現在顯示器130上。
在一實施例中，顯示器130所顯示的物件220的三維動畫240大小相關於物件220在三維座標中的座標值。舉例來說，當產品210為杯子且物件220為鳥時，鳥站在杯子前緣的動畫大小會比鳥站在杯子後緣的動畫大小來得大。另一方面，處理器120也可獲得產品210的三維座標資訊，因此鳥的三維動畫240也可飛進飛出杯子，或至少部分隱藏於杯子之後。
[儲存產品物件影像]
在一實施例中，擴增實境物件顯示裝置100可包括記憶體裝置(未繪示於圖中)耦接到處理器120。記憶體裝置例如是快閃記憶體或其他類似元件。記憶體裝置可儲存對應產品210及/或物件220的二維及/或三維影像檔案及對應物件220的三維模型。
[影像關鍵點偵測]
在一實施例中，處理器120可先設定產品影像230的興趣區域(Region of Interest，ROI)，並在興趣區域中偵測物件220的關鍵點。處理器120可利用演算法(例如，ORB演算法)進行關鍵點的二進制偵測與描述。透過先設定興趣區域再進行關鍵點偵測，可提升關鍵點偵測速度，進而增加每秒幀率(Frame Per Second，FPS)。舉例來說，興趣區域可預設為產品影像230中央的正方型或長方形且興趣區域的面積大幅小於產品影像230的面積。使用者有較高機率會將相機對準物件220進行拍攝，如此可提升物件220的關鍵點偵測速度。
為了計算三維物件所需資料，下列步驟可預先被執行：
(1) 從不同視角擷取物件220的多個影像。
(2) 找出所有擷取影像的關鍵點與描述子。
(3) 利用所有影像形成影像對(image pair)。舉例來說，若有10個影像則形成90個影像對(10*10 - 10)。
(4) 針對每個影像對：進行特徵匹配，過濾出好的匹配，從匹配點找出每個影像對的基本矩陣(essential matrix)，使用匹配點來恢復相機相對移/轉動(relative camera pose)，以及使用三角交叉(triangulation)來計算匹配點的三維座標。
(5) 藉由合併每個影像對計算出的三維雲(3D cloud)來計算物件三維雲：利用具有最大數量的三維點的影像對三維雲來初始化物件雲(object cloud)，找出下一個影像對與物件三維雲有最多的三維共同點，找出物件三維雲與影像對雲的共同三維點之間的仿射三維轉換(Affine3D transform)，利用演算法(例如，隨機抽樣一致演算法，RANSAC)過濾差異較大的部份(outlier)，利用演算法(例如，萊文貝格－馬誇特演算法，LM)過濾差異較大的部份，以及重覆上述步驟直到所有影像對被處理。
透過上述步驟(1)-(5)，本揭露可透過從不同視角拍攝的物件影像或照片來計算物件220的多個關鍵點的三維座標及多個描述子，以提供用於擴增實境偵測的所有需要資料。
可以了解的是，上述關鍵點描述子是用於特徵匹配，且關鍵點三維座標是用於計算物件在三維空間中的移/轉動(pose)。擴增實境系統可根據關鍵點描述子及關鍵點三維座標的資訊來偵測物件位置。
[影像關鍵點比對]
在一實施例中，處理器120可在關鍵點偵測之後進一步進行關鍵點比對，以關鍵點二進制描述子進行比對。處理器120可對關鍵點比對進行優化，例如在未偵測到對應物件220的目標時採取快速比對模式從已儲存的物件樣本中尋找目標，若有偵測到對應物件220的目標則使用較高精確度的比對模式(例如，增加取樣數量等等)。為了維持三維旋轉比對不變性並提高物件220在三維旋轉下的比對精準度，處理器120可比對物件220的多個關鍵點及多個描述子與目標物件的多個第二關鍵點及多個第二描述子，以判斷目標物件對應物件220得多個關鍵點，其中目標物件的每個第二描述子由多個第三描述子連接而成，且每個第三描述子對應目標物件在三維空間中的不同視角。舉例來說，在建立目標物件資料庫時可將目標物件模板圖像創建四個子模板，分別在三維空間中向左旋轉50度、向右旋轉50度、向下旋轉50度、向上旋轉50度並將四個子模板的四個描述子連接成一個描述子，如此可增加描述子的多元變化性。
[三維物件關鍵點與二維影像關鍵點之投影對應]
在一實施例中，當處理器120判斷產品影像230存在物件220時，處理器120根據該產品影像中的關鍵點(例如，二維影像關鍵點)及成功通過上述影像關鍵點比對的目標物件的多個第二關鍵點(例如，三維模板點)計算物件220的三維座標及旋轉角度，並對三維座標及旋轉角度進行平滑化運算。例如，處理器120可使用無痕卡爾曼濾波器對物件220的三維位置座標與旋轉角度進行平滑化運算，以改善偵測到的物件220由於攝影機震動或其他輸入雜訊影響所產生的抖動現象。
[三維物件座標轉換]
在一實施例中，處理器120可透過三維物件座標轉換模組，使用數學公式(例如，平面、立方體或圓柱等)將物件220及/或產品210的關鍵點的座標轉換成三維座標，以利在擴增實境系統中將三維動畫240呈現在正確的位置。
[使用者介面]
在一實施例中，擴增實境物件顯示裝置100的應用程式可透過使用者設定介面建立一個標準化的操作流程，讓系統設計者或使用者可以簡易操作。舉例來說，使用者設定介面可包括以下功能：將物件模板影像及物件三維模型添加到軟體的系統配置項目中、創建目標物件、以及將模板圖像對應到目標物件等。
圖3為根據本揭露一實施例的擴增實境物件顯示方法的流程圖。
請參照圖3，在步驟S301中，藉由處理器透過影像感測器獲得對應產品的產品影像，產品包括物件的圖形與紋路。
在步驟S302中，藉由處理器根據圖形與紋路來偵測物件的多個關鍵點並判斷對應關鍵點的目標物件。
在步驟S303中，藉由處理器獲得對應目標物件的三維模型，並根據三維模型呈現對應物件的三維動畫。
在步驟S304中，藉由顯示器顯示產品及對應物件的三維動畫。
綜上所述，本揭露的擴增實境物件顯示裝置及擴增實境物件顯示方法可提供使用者拍攝產品的產品影像，並根據產品上的物件圖形與紋路偵測多個關鍵點以判斷對應的目標物件，並進一步在顯示器上同時顯示產品及對應物件的三維動畫。
雖然本揭露已以實施例揭露如上，然其並非用以限定本揭露，任何所屬技術領域中具有通常知識者，在不脫離本揭露的精神和範圍內，當可作些許的更動與潤飾，故本揭露的保護範圍當視後附的申請專利範圍所界定者為準。
100:擴增實境物件顯示裝置 110:影像感測器 120:處理器 130:顯示器 210:產品 220:物件 230:產品影像 240:三維動畫 S301~S304:擴增實境物件顯示方法的步驟
圖1為根據本揭露一實施例的擴增實境物件顯示裝置的方塊圖。 圖2為根據本揭露一實施例利用擴增實境物件顯示裝置擷取產品影像的示意圖。 圖3為根據本揭露一實施例的擴增實境物件顯示方法的流程圖。
100:擴增實境物件顯示裝置
210:產品
220:物件
230:產品影像
240:三維動畫

Claims (8)

  1. 一種擴增實境物件顯示裝置，包括：一影像感測器；一顯示器；以及一處理器，耦接到該影像感測器及該顯示器，其中該處理器透過該影像感測器獲得對應一產品的一產品影像，該產品包括一物件的一圖形與紋路，該處理器根據該圖形與紋路來偵測該物件的多個關鍵點並判斷對應該些關鍵點的一目標物件，該處理器獲得對應該目標物件的一三維模型，並根據該三維模型呈現對應該物件的一三維動畫，當該處理器根據該目標物件的該三維模型對應該產品的一三維座標值判斷該產品部分遮蔽該目標物件時，該顯示器顯示部分該三維動畫，當該處理器根據該目標物件的該三維模型對應該產品的該三維座標值判斷該產品完全遮蔽該目標物件時，該顯示器不顯示該三維動畫，其中該處理器比對該物件的該些關鍵點及多個描述子與該目標物件的多個第二關鍵點及多個第二描述子，以判斷該目標物件對應該些關鍵點，其中該目標物件的每個該些第二描述子由多個第三描述子連接而成，且每個該些第三描述子對應該目標物件在一三維空間中的不同視角。
  2. 如申請專利範圍第1項所述的擴增實境物件顯示裝置，其中該處理器設定該產品影像的一興趣區域，並在該興趣區域中偵測該物件的該些關鍵點。
  3. 如申請專利範圍第1項所述的擴增實境物件顯示裝置，其中當該處理器判斷該產品影像存在該物件時，該處理器根據該產品影像中的該些關鍵點及該目標物件的多個第二關鍵點計算該物件的一三維座標及一旋轉角度，並對該三維座標及該旋轉角度進行一平滑化操作。
  4. 如申請專利範圍第1項所述的擴增實境物件顯示裝置，其中該顯示器所顯示的該物件的該三維動畫大小相關於該物件在一三維座標中的一座標值。
  5. 一種擴增實境物件顯示方法，適用於一擴增實境物件顯示裝置，該擴增實境物件顯示裝置包括一影像感測器、一顯示器、及一處理器耦接到該影像感測器及該顯示器，該擴增實境物件顯示方法包括：藉由該處理器透過該影像感測器獲得對應一產品的一產品影像，該產品包括一物件的一圖形與紋路；藉由該處理器根據該圖形與紋路來偵測該物件的多個關鍵點並判斷對應該些關鍵點的一目標物件；藉由該處理器獲得對應該目標物件的一三維模型，並根據該三維模型呈現對應該物件的一三維動畫；以及當該處理器根據該目標物件的該三維模型對應該產品的一三 維座標值判斷該產品部分遮蔽該目標物件時，該顯示器顯示部分該三維動畫，當該處理器根據該目標物件的該三維模型對應該產品的該三維座標值判斷該產品完全遮蔽該目標物件時，該顯示器不顯示該三維動畫，其中該處理器比對該物件的該些關鍵點及多個描述子與該目標物件的多個第二關鍵點及多個第二描述子，以判斷該目標物件對應該些關鍵點，其中該目標物件的每個該些第二描述子由多個第三描述子連接而成，且每個該些第三描述子對應該目標物件在一三維空間中的不同視角。
  6. 如申請專利範圍第5項所述的擴增實境物件顯示方法，其中該處理器設定該產品影像的一興趣區域，並在該興趣區域中偵測該物件的該些關鍵點。
  7. 如申請專利範圍第5項所述的擴增實境物件顯示方法，其中當該處理器判斷該產品影像存在該物件時，該處理器根據該產品影像中的該些關鍵點及該目標物件的多個第二關鍵點計算該物件的一三維座標及一旋轉角度，並對該三維座標及該旋轉角度進行一平滑化操作。
  8. 如申請專利範圍第5項所述的擴增實境物件顯示方法，其中該顯示器所顯示的該物件的該三維動畫大小相關於該物件在一三維座標中的一座標值。
TW108141944A 2019-11-19 2019-11-19 擴增實境物件顯示裝置及擴增實境物件顯示方法 TWI740275B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW108141944A TWI740275B (zh) 2019-11-19 2019-11-19 擴增實境物件顯示裝置及擴增實境物件顯示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW108141944A TWI740275B (zh) 2019-11-19 2019-11-19 擴增實境物件顯示裝置及擴增實境物件顯示方法

Publications (2)

Publication Number Publication Date
TW202121342A TW202121342A (zh) 2021-06-01
TWI740275B true TWI740275B (zh) 2021-09-21

Family

ID=77516923

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108141944A TWI740275B (zh) 2019-11-19 2019-11-19 擴增實境物件顯示裝置及擴增實境物件顯示方法

Country Status (1)

Country Link
TW (1) TWI740275B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103871073A (zh) * 2012-12-18 2014-06-18 华为技术有限公司 一种基于增强现实的目标跟踪方法、设备及系统
CN105338117A (zh) * 2015-11-27 2016-02-17 亮风台（上海）信息科技有限公司 用于生成ar应用和呈现ar实例的方法、设备与系统
CN106843493A (zh) * 2017-02-10 2017-06-13 深圳前海大造科技有限公司 一种图像追踪方法及应用该方法的扩增实境实现方法
CN106874865A (zh) * 2017-02-10 2017-06-20 深圳前海大造科技有限公司 一种基于图像识别的扩增实境实现方法
CN108492381A (zh) * 2018-03-30 2018-09-04 三盟科技股份有限公司 一种将实物颜色转换成3d模型贴图的方法及系统
TWI639960B (zh) * 2017-06-27 2018-11-01 行政院原子能委員會核能硏究所 擴增實境系統及其方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103871073A (zh) * 2012-12-18 2014-06-18 华为技术有限公司 一种基于增强现实的目标跟踪方法、设备及系统
CN105338117A (zh) * 2015-11-27 2016-02-17 亮风台（上海）信息科技有限公司 用于生成ar应用和呈现ar实例的方法、设备与系统
CN106843493A (zh) * 2017-02-10 2017-06-13 深圳前海大造科技有限公司 一种图像追踪方法及应用该方法的扩增实境实现方法
CN106874865A (zh) * 2017-02-10 2017-06-20 深圳前海大造科技有限公司 一种基于图像识别的扩增实境实现方法
TWI639960B (zh) * 2017-06-27 2018-11-01 行政院原子能委員會核能硏究所 擴增實境系統及其方法
CN108492381A (zh) * 2018-03-30 2018-09-04 三盟科技股份有限公司 一种将实物颜色转换成3d模型贴图的方法及系统

Also Published As

Publication number Publication date
TW202121342A (zh) 2021-06-01

Similar Documents

Publication Publication Date Title
US9855496B2 (en) Stereo video for gaming
WO2022021980A1 (zh) 虚拟对象的控制方法、装置、电子设备及存储介质
WO2020207191A1 (zh) 虚拟物体被遮挡的区域确定方法、装置及终端设备
US10832039B2 (en) Facial expression detection method, device and system, facial expression driving method, device and system, and storage medium
CN111243093B (zh) 三维人脸网格的生成方法、装置、设备及存储介质
TWI659335B (zh) 圖形處理方法和裝置、虛擬實境系統和計算機儲存介質
US11715224B2 (en) Three-dimensional object reconstruction method and apparatus
CN104380338B (zh) 信息处理器以及信息处理方法
AU2020278951A1 (en) Image-based localization
WO2020029554A1 (zh) 增强现实多平面模型动画交互方法、装置、设备及存储介质
US11398044B2 (en) Method for face modeling and related products
WO2021082801A1 (zh) 增强现实处理方法及装置、系统、存储介质和电子设备
CN113474816A (zh) 弹性动态投影映射系统和方法
WO2022174594A1 (zh) 基于多相机的裸手追踪显示方法、装置及系统
CN110310325B (zh) 一种虚拟测量方法、电子设备及计算机可读存储介质
TWI740275B (zh) 擴增實境物件顯示裝置及擴增實境物件顯示方法
JPWO2020262261A5 (zh)
CN111369651A (zh) 三维表情动画生成方法及系统
CN110827411A (zh) 自适应环境的增强现实模型显示方法、装置、设备及存储介质
TWI460683B (zh) The way to track the immediate movement of the head
WO2024087917A1 (zh) 位姿确定方法及装置、计算机可读存储介质和电子设备
US20240096041A1 (en) Avatar generation based on driving views
TWI785332B (zh) 基於光標籤的場景重建系統
WO2023160072A1 (zh) 增强现实ar场景中的人机交互方法、装置和电子设备
Setyati et al. Face tracking implementation with pose estimation algorithm in augmented reality technology