TWI815021B - 用於擴增實境之深度計算裝置及深度計算方法 - Google Patents

用於擴增實境之深度計算裝置及深度計算方法 Download PDF

Info

Publication number
TWI815021B
TWI815021B TW109122789A TW109122789A TWI815021B TW I815021 B TWI815021 B TW I815021B TW 109122789 A TW109122789 A TW 109122789A TW 109122789 A TW109122789 A TW 109122789A TW I815021 B TWI815021 B TW I815021B
Authority
TW
Taiwan
Prior art keywords
augmented reality
depth
image
real object
depth calculation
Prior art date
Application number
TW109122789A
Other languages
English (en)
Other versions
TW202203156A (zh
Inventor
林均達
Original Assignee
萬達人工智慧科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 萬達人工智慧科技股份有限公司 filed Critical 萬達人工智慧科技股份有限公司
Priority to TW109122789A priority Critical patent/TWI815021B/zh
Publication of TW202203156A publication Critical patent/TW202203156A/zh
Application granted granted Critical
Publication of TWI815021B publication Critical patent/TWI815021B/zh

Links

Images

Landscapes

  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一種深度計算裝置與深度計算方法被揭露於此。該深度計算裝置用於計算一擴增實境環境中代表一真實物件的一二維位置的一擴增實境二維座標所對應的一深度值。該深度計算裝置透過一擴增實境開發套件產生相應於一影像之一深度圖。該影像包含該真實物件。該深度計算裝置還對該深度圖中與該擴增實境二維座標相對應的一像素進行一深度轉換,以計算出該深度值。該擴增實境環境運行於一擴增實境平台之上。

Description

用於擴增實境之深度計算裝置及深度計算方法
本揭露是關於一種深度計算裝置及深度計算方法。更具體而言,本揭露是關於一種用於擴增實境之深度計算裝置及深度計算方法。
擴增實境(Augmented Reality,AR)技術旨在令真實世界之真實物件可與虛擬物件於擴增實境裝置所呈現之一擴增實境環境(AR environment)中進行即時互動。為將該真實物件成功地融入該擴增實境環境中,運行該擴增實境環境之計算裝置須針對該真實物件進行即時的座標轉換,而當中又以相關於該真實物件之深度資訊之運算最為複雜。
具體而言,在傳統之擴增實境深度計算技術中,於進行所述座標轉換時可首先透過一攝影機獲取關於該真實物件之一影像(或是一段影片當中之一幀),並藉由分析該影像而獲得該真實物件相對於該攝影機之一平面座標資訊;接著可透過實作一擴增實境開發套件(例如但不限於:蘋果公司提供之「ARKit」)所包含之特定函式而獲取關於該影像之一深度圖,進而獲得該真實物件之深度資訊。然而,在由該擴增實境開發套件的相關函式所產生的深度圖中,因其深度資訊之刻度與該擴增實境環境中的深度刻度不同,以至於通常無法於該擴增實境環境中適當地呈現出該真實物件與該虛擬物件的前後關係,進而無法於該擴增實境環境中使該真實物件與該虛擬物件進行準確的互動。有鑑於此,提供一種產生可匹配該擴增實境環境之深度刻度之深度資訊之深度計算方法是相當重要的。
為了至少解決上述技術問題,本揭露提供一種深度計算裝置。該深度計算裝置可用於計算一擴增實境環境中代表一真實物件的一二維位置的一擴增實境二維座標所對應的一深度值。該擴增實境環境可運行於一擴增實境平台之上。該計算裝置可包含一儲存器及與該儲存器電性連接之一處理器。該儲存器可用以儲存包含該真實物件之一影像與一擴增實境開發套件。該處理器可用以透過該擴增實境開發套件產生相應於該影像之一深度圖。此外,該處理器還可用以對該深度圖中與該擴增實境二維座標相對應的一像素進行一深度轉換,以計算出該深度值。
為了至少解決上述技術問題,本揭露還提供一種深度計算方法。該深度計算方法可用於計算一擴增實境環境中代表一真實物件的一二維位置的一擴增實境二維座標所對應的一深度值。該擴增實境環境可運行於一擴增實境平台之上。該深度計算方法可包含: 由一深度計算裝置,透過一擴增實境開發套件產生相應於一影像之一深度圖,該影像包含該真實物件;以及 由該深度計算裝置,對該深度圖中與該擴增實境二維座標相對應的一像素進行一深度轉換,以計算出該深度值。
如上所述,除了透過該擴增實境開發套件產生該深度圖之外,該深度計算裝置還針對該深度圖的一或多個像素進行深度轉換,以產生符合該擴增實境環境之深度刻度的一或多個深度值。透過這樣的深度轉換,可於該擴增實境環境中更適當地呈現出該真實物件與該虛擬物件的前後關係,進而於該擴增實境環境中使該真實物件與該虛擬物件進行更準確的互動。
以上內容並非為了限制本發明,而只是概括地敘述了本發明可解決的技術問題、可採用的技術手段以及可達到的技術功效,俾使本發明所屬技術領域中具有通常知識者初步地瞭解本發明。根據檢附的圖式及以下的實施方式所記載的內容,本發明所屬技術領域中具有通常知識者能理解所請求保護之發明之特徵。
以下所述各種實施例並非用以限制本發明只能在所述的環境、應用、結構、流程或步驟方能實施。於圖式中,與本發明的實施例非直接相關的元件皆已省略。於圖式中,各元件的尺寸以及各元件之間的比例僅是範例,而非用以限制本發明。除了特別說明之外,在以下內容中,相同(或相近)的元件符號可對應至相同(或相近)的元件。在可被實現的情況下,如未特別說明,以下所述的每一個元件的數量是指一個或多個。
第1圖例示了根據本發明的一或多個實施例的深度計算裝置。第1圖所示內容僅是為了說明本發明的實施例,而非為了限制本發明的保護範圍。
參照第1圖,一深度計算裝置1可包含一儲存器11以及與儲存器11電性連接之一處理器12。深度計算裝置1可以是例如但不限於一智慧型手機、一平板電腦、一頭戴式虛擬實境裝置、一虛擬實境眼鏡等可攜式裝置,且能夠用以計算一擴增實境環境中代表一真實物件的一二維位置的一擴增實境二維座標所對應的一深度值。該擴增實境環境可運行於一擴增實境平台之上,而透過於例如但不限於「Unity」、「Unreal Engine」、「Godot」、「Google Flutter」等開發框架上實作與擴增實境相關之諸多功能(例如:透過由「Unity」提供之「AR Foundation」應用程式開發介面)可建立該擴增實境平台。
儲存器11可用以儲存深度計算裝置1所產生的資料或由外部傳入的資料。儲存器11可包含第一級記憶體(又稱主記憶體或內部記憶體),且處理器12可直接讀取儲存在第一級記憶體內的指令集,並在需要時執行這些指令集。儲存器11可選擇性地包含第二級記憶體(又稱外部記憶體或輔助記憶體),且此記憶體可透過資料緩衝器將儲存的資料傳送至第一級記憶體。舉例而言,第二級記憶體可以是但不限於:硬碟、光碟等。儲存器11可選擇性地包含第三級記憶體,亦即,可直接插入或自電腦拔除的儲存裝置,例如隨身硬碟。在某些實施例中,儲存器11還可選擇性地包含一雲端儲存單元。
儲存器11可用以儲存一影像21與一擴增實境開發套件22。於某些實施例中,儲存器11還可額外儲存一影像辨識模型23。影像21可以是由外部傳入深度計算裝置1的影像,亦可以是由深度計算裝置1自行產生的影像。例如,在某些實施例中,深度計算裝置1還可包含與儲存器11及處理器12電性連接之一攝影機模組(未繪出),而影像21可以是由該攝影機模組所拍攝的靜止影像,或是一影片當中的任一幀。影像21當中可至少包含做為前景之一真實物件,且該真實物件可以是例如但不限於現實世界中的人類、其他動物、植物、或是透過現有之影像辨識技術所能辨識出的任何真實物件的局部或整體。舉例而言,該真實物件可以是人的一手部。因不需要由該攝影機模組提供深度資訊,故該攝影機模組可以是不提供深度資訊攝影機模組(即,非深度攝影機)。
擴增實境開發套件22包含了可應用於擴增實境環境的諸多擴增實境功能(例如:人形切割(human segmentation)、深度估測(depth estimation)),例如但不限於蘋果公司所提供的「ARKit」、谷歌公司所提供的「ARCore」等擴增實境開發套件。
處理器12可以是具備訊號處理功能的微處理器(microprocessor)或微控制器(microcontroller)等。微處理器或微控制器是一種可程式化的特殊積體電路,其具有運算、儲存、輸出/輸入等能力,且可接受並處理各種編碼指令,藉以進行各種邏輯運算與算術運算,並輸出相應的運算結果。處理器12可被編程以在深度計算裝置1中執行各種運算或程式。
第2A圖例示了根據本發明的一或多個實施例的深度計算流程。第2A圖所示內容僅是為了說明本發明的實施例,而非為了限制本發明的保護範圍。
參照第1圖及第2A圖,處理器12可首先利用擴增實境開發套件22所提供的深度估測功能產生相應於影像21之一深度圖221。如何透過已知的擴增實境開發套件產生影像21之深度圖221之具體細節已為本發明所屬技術領域中具有通常知識者所知,故不贅述。
於獲得深度圖221後,處理器12可針對深度圖221進行深度轉換。具體而言,處理器12可針對深度圖221中與任一擴增實境二維座標232相對應的一像素進行深度轉換25,以計算出與擴增實境二維座標232相對應的一深度值DV。擴增實境二維座標232為該擴增實境環境中代表該真實物件的某一特定點的二維座標(例如,X-Y平面座標),而與擴增實境二維座標232相對應的該像素則為影像21中代表該真實物件的同一特定點的像素位置。可由一外部裝置及/或由一使用者決定且輸入該擴增實境二維座標232至深度計算裝置1,以便計算與其相對應的深度值DV。
在某些實施例中,擴增實境開發套件22所產生的深度圖221是以紅色來呈現深度,而在深度轉換25的過程中,處理器21可將深度圖221中任一像素位置的一紅色值乘上一距離微調參數、一距離係數以及一距離常數,以將該紅色值轉換為深度值DV。可以根據經驗法則來決定距離微調參數、一距離係數以及一距離常數,在某些較佳的實施例中,該距離微調參數、該距離係數以及該距離常數三者的乘積可以是「0.6」,但不以此為限。在該距離微調參數、該距離係數以及該距離常數三者的乘積為「0.6」的情況下,該三者之數值可分別為「1」、「0.01」以及「60」但不以此為限。
第2B圖例示了根據本發明的一或多個實施例的另一深度計算流程。第2B圖所示內容僅是為了說明本發明的實施例,而非為了限制本發明的保護範圍。
不同於第2A圖,在第2B圖中,深度計算裝置1可直接計算出影像21中的真實物件的任一像素位置在擴增實境環境中的擴增實境二維座標232。具體而言,透過儲存器11所儲存的一影像辨識模型23,處理器12可辨識出影像21中的真實物件。影像辨識模型23是一種基於機器學習而產生的模型,而根據不同的設計,可用以在影像21中辨識各種人物或物體。舉例而言,影像辨識模型23可以是基於蘋果公司提供的「Core ML」框架、基於「Tensorflow」框架、甚至是基於各家雲端服務平台所推出之機器學習框架等等所實作出的影像辨識模型。以基於「Core ML」所產生之影像辨識模型23為例,處理器12可利用影像辨識模型23產生相應於影像21之一黑白影像,並且可針對該黑白影像進行一逐像素檢查流程,以確認該黑白影像中之白色像素之座標。該白色像素可做為影像21中的該真實物件的一像素範圍。影像辨識模型23還可選擇該白色像素其中之一之座標做為代表該真實物件於影像21中的像素位置的一影像座標231,且影像座標231以一二維座標來表示(例如,X-Y平面座標)。
在某些實施例中,由於影像座標231未必可直接應用於該擴增實境環境中(亦即,影像座標231之數值在該擴增實境環境中所對應的位置可能與在影像21中不同),故處理器12可進一步針對影像座標231進行一二維座標轉換24,以將影像座標231轉換為擴增實境二維座標232。
於獲得深度圖221及擴增實境二維座標232後,處理器12便可針對深度圖221中與擴增實境二維座標232相對應的一像素的深度值進行深度轉換25,以計算出深度值DV。深度值DV可代表該真實物件在該擴增實境環境中的深度,且其刻度與該擴增實境環境中所採用的深度刻度一致。於計算出深度值DV後,處理器12可根據深度值DV以及擴增實境二維座標232計算該真實物件在該擴增實境環境中的一擴增實境三維座標(即,在該擴增實境環境中的平面位置與深度)。當要在該擴增實境環境中建立一虛擬物件時,處理器12可根據該真實物件的該擴增實境三維座標以及該虛擬物件的一擴增實境三維座標,決定是否要在該擴增實境環境中呈現出該真實物件遮擋該虛擬物件,或呈現該虛擬物件遮擋該真實物件。舉例而言,當該真實物件是一手指,且該虛擬物件是一顆皮球,處理器12可根據該手指的擴增實境三維座標以及該皮球的擴增實境三維座標,決定在該擴增實境環境中是該手指遮擋該皮球,還是該皮球遮擋該手指,或者該皮球與該手指彼此互不遮擋。另外,處理器12可根據該真實物件的該擴增實境三維座標以及該虛擬物件的該擴增實境三維座標,決定是否要在該擴增實境環境中呈現出該真實物件與該虛擬物件發生觸碰,並據以產生一觸碰事件。舉例而言,當該真實物件是一手指,且該虛擬物件是一按鍵,處理器12可根據該手指的擴增實境三維座標以及該按鍵的擴增實境三維座標,決定是否要在該擴增實境環境中呈現出該手指點擊了該按鍵。
本揭露所稱的擴增實境可以適用在各種真實環境,例如餐廳、大廳、接待室、房間等等,而此時影像21中的背景即可以是餐廳、大廳、接待室、房間等等。
第3圖例示了根據本發明的一或多個實施例的深度計算方法。第3圖所示內容僅是為了說明本發明的實施例,而非為了限制本發明。
參照第3圖,一深度計算方法3可包含以下步驟: 由一深度計算裝置,透過一擴增實境開發套件產生相應於一影像之一深度圖,該影像包含該真實物件(標示為301);以及 由該深度計算裝置,對該深度圖中與一擴增實境環境中代表一真實物件的一二維位置的一擴增實境二維座標相對應的一像素進行一深度轉換,以計算出該擴增實境二維座標所對應的一深度值(標示為302)。
在某些實施例中,深度計算方法3還可包含以下步驟: 由該深度計算裝置,透過一影像辨識模型計算該真實物件於該影像中之一影像座標,並基於該影像座標決定該擴增實境二維座標。
在某些實施例中,於深度計算方法3中計算該影像座標的該步驟還可進一步包含以下步驟: 由該深度計算裝置,使用該影像辨識模型產生相應於該影像之一黑白影像; 由該深度計算裝置,使用該影像辨識模型而針對該黑白影像進行一逐像素檢查流程,以確認該黑白影像中之至少一白色像素之座標;以及 由該深度計算裝置,選擇該至少一白色像素其中之一之座標作為該影像座標。
在某些實施例中,深度計算方法3還可包含以下步驟: 由該深度計算裝置,根據該深度值以及該擴增實境二維座標計算該真實物件在該擴增實境環境中的一擴增實境三維座標;以及 由該深度計算裝置,根據該真實物件在該擴增實境環境中的該擴增實境三維座標與一虛擬物件在該擴增實境環境中的一擴增實境三維座標,判斷是否在該擴增實境環境中呈現該真實物件與該虛擬物件其中之一者遮擋其中之另一者。
在某些實施例中,深度計算方法3還可包含以下步驟: 由該深度計算裝置,根據該深度值以及該擴增實境二維座標計算該真實物件在該擴增實境環境中的一擴增實境三維座標;以及 由該深度計算裝置,根據該真實物件在該擴增實境環境中的該擴增實境三維座標與一虛擬物件在該擴增實境環境中的一擴增實境三維座標,判斷是否在該擴增實境環境中呈現該真實物件碰觸該虛擬物件。
在某些實施例中,關於深度計算方法3,該深度轉換可以是將該像素的一紅色像素值乘上一距離微調參數、一距離係數以及一距離常數,且在某些實施例中,該距離微調參數可為「1」,該距離係數可為「0.01」,且該距離常數可為「60」。
深度計算方法3的每一個實施例本質上都會與深度計算裝置1的某一個實施例相對應。因此,即使上文未針對深度計算方法3的每一個實施例進行詳述,本發明所屬技術領域中具有通常知識者仍可根據上文針對深度計算裝置1的說明而直接瞭解深度計算方法3的未詳述的實施例,於此不再贅述。
雖然本文揭露了多個實施例,但該等實施例並非用以限制本發明,且在不脫離本發明的精神和範圍的情況下,該等實施例的等效物或方法(例如,對上述實施例進行修改及/或合併)亦是本發明的一部分。本發明的保護範圍以申請專利範圍所界定的內容為準。
1:深度計算裝置 11:儲存器 12:處理器 21:影像 22:擴增實境開發套件 221:深度圖 23:影像辨識模型 231:影像座標 232:擴增實境二維座標 24:二維座標轉換 25:深度轉換 3:深度計算方法 301、302:步驟 DV:深度值
第1圖例示了根據本發明的一或多個實施例的深度計算裝置。 第2A圖例示了根據本發明的一或多個實施例的深度計算流程。 第2B圖例示了根據本發明的一或多個實施例的另一深度計算流程。 第3圖例示了根據本發明的一或多個實施例的深度計算方法。
無。
3:深度計算方法
301、302:步驟

Claims (12)

  1. 一種深度計算裝置,用於計算一擴增實境環境中代表一真實物件的一二維位置的一擴增實境二維座標所對應的一深度值,該擴增實境環境運行於一擴增實境平台之上,該計算裝置包含:一儲存器,用以儲存包含該真實物件之一影像與一擴增實境開發套件;以及一處理器,與該儲存器電性連接,且用以:透過該擴增實境開發套件產生相應於該影像之一深度圖;以及對該深度圖中與該擴增實境二維座標相對應的一像素進行一深度轉換,以計算出該深度值;其中該深度轉換是將該像素的一紅色值乘上一距離微調參數、一距離係數以及一距離常數。
  2. 如請求項1所述之深度計算裝置,其中該儲存器還用以儲存一影像辨識模型,且該處理器還用以透過該影像辨識模型計算該真實物件於該影像中之一影像座標,並基於該影像座標決定該擴增實境二維座標。
  3. 如請求項2所述之深度計算裝置,其中,為了計算該影像座標,該處理器還用以:使用該影像辨識模型產生相應於該影像之一黑白影像;使用該影像辨識模型針對該黑白影像進行一逐像素檢查流程,以確認該黑白影像中之至少一白色像素之座標;以及選擇該至少一白色像素其中之一之座標作為該影像座標。
  4. 如請求項1所述之深度計算裝置,其中該處理器還根據該深度值以及該擴增實境二維座標計算該真實物件在該擴增實境環境中的一擴增實境三維座標,並且根據該真實物件在該擴增實境環境中的該擴增實境三維座標與一虛擬物件在該擴增實境環境中的一擴增實境三維座標,判斷是否在該擴增實境環境中呈現該真實物件與該虛擬物件其中之一者遮擋其中之另一者。
  5. 如請求項1所述之深度計算裝置,其中該處理器還根據該深度值以及該擴增實境二維座標計算該真實物件在該擴增實境環境中的一擴增實境三維座標,並且根據該真實物件在該擴增實境環境中的該擴增實境三維座標與一虛擬物件在該擴增實境環境中的一擴增實境三維座標,判斷是否在該擴增實境環境中呈現該真實物件碰觸該虛擬物件。
  6. 如請求項1所述之深度計算裝置,其中該距離微調參數為1,該距離係數為0.01,且該距離常數為60。
  7. 一種深度計算方法,用於計算一擴增實境環境中代表一真實物件的一二維位置的一擴增實境二維座標所對應的一深度值,該擴增實境環境運行於一擴增實境平台之上,該深度計算方法包含:由一深度計算裝置,透過一擴增實境開發套件產生相應於一影像之一深度圖,該影像包含該真實物件;以及由該深度計算裝置,對該深度圖中與該擴增實境二維座標相對應的一像素進行一深度轉換,以計算出該深度值;其中該深度轉換是將該像素的一紅色值乘上一距離微調參數、一距離係數以及一距離常數。
  8. 如請求項7所述之深度計算方法,還包含:由該深度計算裝置,透過一影像辨識模型計算該真實物件於該影像中之一影像座標,並基於該影像座標決定該擴增實境二維座標。
  9. 如請求項8所述之深度計算方法,計算該影像座標的該步驟還包含:由該深度計算裝置,使用該影像辨識模型產生相應於該影像之一黑白影像;由該深度計算裝置,使用該影像辨識模型而針對該黑白影像進行一逐像素檢查流程,以確認該黑白影像中之至少一白色像素之座標;以及由該深度計算裝置,選擇該至少一白色像素其中之一之座標作為該影像座標。
  10. 如請求項7所述之深度計算方法,還包含:由該深度計算裝置,根據該深度值以及該擴增實境二維座標計算該真實物件在該擴增實境環境中的一擴增實境三維座標;以及由該深度計算裝置,根據該真實物件在該擴增實境環境中的該擴增實境三維座標與一虛擬物件在該擴增實境環境中的一擴增實境三維座標,判斷是否在該擴增實境環境中呈現該真實物件與該虛擬物件其中之一者遮擋其中之另一者。
  11. 如請求項7所述之深度計算方法,還包含:由該深度計算裝置,根據該深度值以及該擴增實境二維座標計算該真實物件在該擴增實境環境中的一擴增實境三維座標;以及 由該深度計算裝置,根據該真實物件在該擴增實境環境中的該擴增實境三維座標與一虛擬物件在該擴增實境環境中的一擴增實境三維座標,判斷是否在該擴增實境環境中呈現該真實物件碰觸該虛擬物件。
  12. 如請求項7所述之深度計算方法,其中該距離微調參數為1,該距離係數為0.01,且該距離常數為60。
TW109122789A 2020-07-06 2020-07-06 用於擴增實境之深度計算裝置及深度計算方法 TWI815021B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW109122789A TWI815021B (zh) 2020-07-06 2020-07-06 用於擴增實境之深度計算裝置及深度計算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109122789A TWI815021B (zh) 2020-07-06 2020-07-06 用於擴增實境之深度計算裝置及深度計算方法

Publications (2)

Publication Number Publication Date
TW202203156A TW202203156A (zh) 2022-01-16
TWI815021B true TWI815021B (zh) 2023-09-11

Family

ID=80787670

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109122789A TWI815021B (zh) 2020-07-06 2020-07-06 用於擴增實境之深度計算裝置及深度計算方法

Country Status (1)

Country Link
TW (1) TWI815021B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102129708A (zh) * 2010-12-10 2011-07-20 北京邮电大学 增强现实环境中快速多层次虚实遮挡处理方法
TW201928883A (zh) * 2017-12-25 2019-07-16 宏達國際電子股份有限公司 三維模型重建方法、電子裝置及非暫態電腦可讀取記錄媒體
US20190371073A1 (en) * 2017-02-01 2019-12-05 Pcms Holdings, Inc. System and method for augmented reality content delivery in pre-captured environments
CN110857591A (zh) * 2018-08-22 2020-03-03 莱卡地球系统公开股份有限公司 建筑任务参考

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102129708A (zh) * 2010-12-10 2011-07-20 北京邮电大学 增强现实环境中快速多层次虚实遮挡处理方法
US20190371073A1 (en) * 2017-02-01 2019-12-05 Pcms Holdings, Inc. System and method for augmented reality content delivery in pre-captured environments
TW201928883A (zh) * 2017-12-25 2019-07-16 宏達國際電子股份有限公司 三維模型重建方法、電子裝置及非暫態電腦可讀取記錄媒體
CN110857591A (zh) * 2018-08-22 2020-03-03 莱卡地球系统公开股份有限公司 建筑任务参考

Also Published As

Publication number Publication date
TW202203156A (zh) 2022-01-16

Similar Documents

Publication Publication Date Title
WO2020228644A1 (zh) 基于ar场景的手势交互方法及装置、存储介质、通信终端
WO2020207191A1 (zh) 虚拟物体被遮挡的区域确定方法、装置及终端设备
JP2022515620A (ja) 人工知能による画像領域の認識方法、モデルのトレーニング方法、画像処理機器、端末機器、サーバー、コンピュータ機器及びコンピュータプログラム
TW201814438A (zh) 基於虛擬實境場景的輸入方法及裝置
WO2022000755A1 (zh) 机器人及其行动控制方法、装置和计算机可读存储介质
US11308655B2 (en) Image synthesis method and apparatus
CN110163942B (zh) 一种图像数据处理方法和装置
WO2021018214A1 (zh) 虚拟对象处理方法及装置、存储介质和电子设备
CN106325509A (zh) 三维手势识别方法及系统
WO2021082801A1 (zh) 增强现实处理方法及装置、系统、存储介质和电子设备
WO2023071964A1 (zh) 数据处理方法, 装置, 电子设备及计算机可读存储介质
JP7443647B2 (ja) キーポイント検出及びモデル訓練方法、装置、デバイス、記憶媒体、並びにコンピュータプログラム
WO2022116678A1 (zh) 目标物体位姿确定方法、装置、存储介质及电子设备
CN110573992B (zh) 使用增强现实和虚拟现实编辑增强现实体验
CN112766027A (zh) 图像处理方法、装置、设备及存储介质
CN116917949A (zh) 根据单目相机输出来对对象进行建模
TW202309834A (zh) 模型重建方法及電子設備和電腦可讀儲存介質
US11188787B1 (en) End-to-end room layout estimation
TWI815021B (zh) 用於擴增實境之深度計算裝置及深度計算方法
WO2022150252A1 (en) Three-dimensional scan registration with deformable models
CN113191462A (zh) 信息获取方法、图像处理方法、装置及电子设备
WO2023160072A1 (zh) 增强现实ar场景中的人机交互方法、装置和电子设备
CN114721562B (zh) 用于数字对象的处理方法、装置、设备、介质及产品
KR102472568B1 (ko) 포즈 정보와 뎁스 정보를 기초로 증강 현실을 제공하기 위한 3차원 맵을 구성하기 위한 장치 및 이를 위한 방법
WO2023103884A1 (zh) 对象模型建立方法、装置、电子设备及存储介质