TWI739268B - 基於2d影像標記資訊的3d影像標記方法及3d影像標記裝置 - Google Patents

基於2d影像標記資訊的3d影像標記方法及3d影像標記裝置 Download PDF

Info

Publication number
TWI739268B
TWI739268B TW109100525A TW109100525A TWI739268B TW I739268 B TWI739268 B TW I739268B TW 109100525 A TW109100525 A TW 109100525A TW 109100525 A TW109100525 A TW 109100525A TW I739268 B TWI739268 B TW I739268B
Authority
TW
Taiwan
Prior art keywords
image
module
generate
objects
point
Prior art date
Application number
TW109100525A
Other languages
English (en)
Other versions
TW202124190A (zh
Inventor
楊宗賢
許博鈞
鄭致灝
黃柏勝
詹智翔
Original Assignee
財團法人工業技術研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院 filed Critical 財團法人工業技術研究院
Priority to CN202010101417.2A priority Critical patent/CN113051986A/zh
Publication of TW202124190A publication Critical patent/TW202124190A/zh
Application granted granted Critical
Publication of TWI739268B publication Critical patent/TWI739268B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本發明揭露一種三維(3D)影像標記裝置及標記法。3D影像標記裝置包括一點雲分群模組、一投影模組、一整合模組及一點雲還原模組。點雲分群模組用以根據一3D未標記影像及一分群演算法將3D未標記影像的多個點進行分群，以產生具有一或多個第一點群的一3D分群影像。投影模組用以根據3D分群影像產生具有一或多個第一物件的一第一二維(2D)影像，其中各第一點群對應於第一物件的其中之一。整合模組用以根據一或多個2D已標記影像的一或多個物件框標記第一2D影像的第一物件，以產生一第二2D影像。點雲還原模組用以根據第二2D影像產生一3D已標記影像。

Description

基於2D影像標記資訊的3D影像標記方法及3D影像標 記裝置
本發明是有關於一種基於2D影像標記資訊的3D影像標記方法及3D影像標記裝置。
隨著自駕車產業的蓬勃發展，對於3D影像的標記技術受到重視。現有技術中，針對三維(3D)影像的標記普遍仍停留在手動標記的階段，難以半自動化。然而，相較於二維(2D)影像而言，3D影像的人為手動標記的成本遠高於2D影像。因此，如何以低成本進行3D影像的標記是業界努力的目標之一。
本發明的一方面揭露一種三維(3D)影像標記裝置。3D影像標記裝置包括一點雲分群模組、一投影模組、一整合模組及一點雲還原模組。點雲分群模組用以根據一3D未標記影像及一分群演算法將3D未標記影像的多個點進行分群，以產生具有一或多個第一點群的一3D分群影像。投影模組用以根據3D分群影像產 生具有一或多個第一物件的一第一二維(2D)影像，其中各第一點群對應於第一物件的其中之一。整合模組用以根據一或多個2D已標記影像的一或多個物件框標記第一2D影像的第一物件，以產生一第二2D影像。點雲還原模組用以根據第二2D影像產生一3D已標記影像。
本發明的另一方面揭露一種三維(3D)影像標記方法。3D影像標記方法由一處理器執行時，致使處理器：執行一點雲分群模組，以根據一3D未標記影像及一分群演算法將該3D未標記影像的多個點進行分群，以產生具有一或多個第一點群的一3D分群影像；執行一投影模組，以根據3D分群影像產生具有一或多個第一物件的一第一二維(2D)影像，其中各第一點群對應於第一物件的其中之一；執行一整合模組，以根據一或多個2D已標記影像的一或多個物件框標記第一2D影像的第一物件，以產生一第二2D影像；以及執行一點雲還原模組，以根據第二2D影像產生一3D已標記影像。
為了對本發明之上述及其他方面有更佳的瞭解，下文特舉實施例，並配合所附圖式詳細說明如下：
10:3D影像標記裝置
102:點雲分群模組
104:投影模組
106:整合模組
108:點雲還原模組
3D-IMG-unlab:3D未標記影像
3D-IMG-clus:3D分群影像
3D-IMG-lab:3D已標記影像
2D-IMG-lab:2D已標記影像
2D-IMG1:第一2D影像
2D-IMG2:第二2D影像
S201~S207:步驟
第1圖繪示根據本發明一實施例的基於2D影像標記資訊的3D影像標記裝置的方塊圖。
第2圖繪示根據本發明一實施例的基於2D影像標記資訊的3D影像標記方法的流程圖。
為了敘述的簡潔，在本文的描述中，「三維」將會被簡稱為「3D」，而「二維」將會被簡稱為「2D」。
現有技術中，3D影像透過投影轉換成的2D影像無法直接使用現有的標記軟體或人工智能來進行自動化或半自動化標記。另一方面，3D影像中兩個物件的前後關係會因轉換至2D影像而遺失(例如前方物件覆蓋到後方物件)。若將一張以原始2D影像進行標記的2D影像的物件框直接套用來標記3D影像所轉換的2D影像，之後再將其轉換回3D影像會造成前方物件與後方物件所對應到的點雲無法分辨而標記混亂。本發明提出的3D影像標記裝置及標記方法可解決上述問題。
請參照第1圖，第1圖繪示根據本發明一實施例的基於2D影像標記資訊的3D影像標記裝置的方塊圖。3D影像標記裝置10包括一點雲分群模組102、一投影模組104、一整合模組106及一點雲還原模組108。
在一實施例中，點雲分群模組102、投影模組104、整合模組106及點雲還原模組108可藉由計算機可讀指令的組合實現，並儲存於3D影像標記裝置10的一非暫時性記憶體(未繪示)中。當用以實現點雲分群模組102、投影模組104、整合模組106及點雲還原模組108的計算機指令的組合由一處理單元(未繪示)執行時，可致使處理單元執行用以實現點雲分群模組102、投影模組104、整合模組106及點雲還原模組108的功能的操作。
點雲分群模組102用以接收一3D未標記影像3D-IMG-unlab，並根據一分群演算法將3D未標記影像3D-IMG-unlab的多個點分群為一或多個第一點群，以產生一3D分群影像3D-IMG-clus。
投影模組104用以將3D分群影像3D-IMG-clus中的第一點群投影至一二維平面，以產生一第一2D影像2D-IMG1。
整合模組106用以接收第一2D影像2D-IMG1及一或多個2D已標記影像2D-IMG-lab，並根據第一2D影像2D-IMG1及2D已標記影像2D-IMG-lab產生一第二2D影像2D-IMG2。
點雲還原模組108用以根據第二2D影像2D-IMG2產生一3D已標記影像3D-IMG-lab。
為了更清楚理解本發明，以下請參照第2圖繪示的根據本發明一實施例的3D影像標記方法的流程圖。3D影像標記方法可應用於3D影像標記裝置10，並由處理單元執行。
S201中，執行一點雲分群模組，接收一3D未標記影像，並根據一分群演算法將3D未標記影像3D-IMG-unlab的多個點分群為一或多個第一點群，以產生一3D分群影像3D-IMG-clus。在一實施例中，3D未標記影像3D-IMG-unlab可以來自一3D原始影像資料庫。在另一實施例中，3D未標記影像3D-IMG-unlab可以來自一或多個3D攝影機，例如光達(LiDAR)或雷達等。當3D未標記影像3D-IMG-unlab來自多個3D攝影機時，此些3D攝影機拍攝的多個3D原始影像在經過時間及空間對齊 之後產生對應於一特定時間及一特定空間的3D未標記影像3D-IMG-unlab，並將3D未標記影像3D-IMG-unlab提供給點雲分群模組102。在一實施例中，每一個點可包括一空間資訊(例如三維座標)。在另一個實施例中，每一個點可包括空間資訊及一色彩資訊(例如RGB值)。在一實施例中，分群演算法可採用本領域常用的演算法，例如是基於點與點之間的距離的分群演算法。在另一實施例中，分群演算法是基於點的密度的分群演算法。藉由基於點的密度的分群演算法可以將一個聚集在一起的多個點中屬於前方物件(距離攝影機較近的物件)的點與屬於後方物件(距離攝影機較遠的物件)的點有效地分開並分配到不同的第一點群。每個第一點群可包括一或多個點。在一實施例中，每個第一點群可代表一個物件。在另一實施例中，每個第一點群可代表一個實際物件的多個碎片(piece)的其中之一，例如三個第一點群可分別代表一個人(實際物件)的頭、上半身及下半身(三個碎片)，當三第一點群組合在一起時可代表為一個「人」的實際物件。
S203中，執行一投影模組，將3D分群影像3D-IMG-clus中的第一點群投影至一二維平面，以產生一第一2D影像2D-IMG1。在一實施例中，投影模組104可使用近點球面投影法來產生第一2D影像2D-IMG1。在另一實施例中，投影模組104可使用本領域中常用的投影方法來產生第一2D影像2D-IMG1。第一2D影像2D-IMG1包括由3D分群影像3D-IMG-clus中的第一點群投影所形成的一或多個第一物件。也 就是說，經過投影模組所產生的第一2D影像2D-IMG1是具有3D資訊的2D影像。
S205中，執行一整合模組，根據第一2D影像2D-IMG1及一或多個2D已標記影像2D-IMG-lab產生一第二2D影像2D-IMG2。2D已標記影像2D-IMG-lab與3D未標記影像3D-IMG-unlab是對應於相同的特定時間及特定空間。在一實施例中，2D已標記影像2D-IMG-lab是來自一2D已標記影像資料庫。在另一實施例中，2D已標記影像2D-IMG-lab是來自一或多個2D攝影機。當2D已標記影像2D-IMG-lab來自多個2D攝影機時，2D攝影機例如以不同角度(例如30度、60度及120度)拍攝的2D影像經過校正及標記後產生2D已標記影像2D-IMG-lab，並提供給整合模組106。每個2D已標記影像2D-IMG-lab可包括一或多個物件框。每個物件框具有一物件類別，例如「人」、「汽車」或「機車」等。整合模組106會根據2D已標記影像2D-IMG-lab的物件框來標記第一2D影像2D-IMG1以產生第二2D影像2D-IMG2。在一實施例中，對於第一2D影像2D-IMG1中的每一個第一物件，整合模組106會判斷該第一物件是否有落於已標記影像2D-IMG-lab的其中一個物件框對應到的一範圍。若是，以對應的物件框的物件類別標記該第一物件；若否，則不標記。藉由上述方式可以為第一2D影像2D-IMG1中的有對應到已標記影像2D-IMG-lab的物件框的每一個第一物件決定一個物件類別。也就是說，第二2D影像2D-IMG2中，有對應到已標記影像 2D-IMG-lab的物件框的每一個第一物件會具有與對應的已標記影像2D-IMG-lab的物件框相同的物件類別，而未對應到已標記影像2D-IMG-lab的物件框的第一物件則保持不具有物件類別的狀態。
S207中，執行一點雲還原模組，根據第二2D影像2D-IMG2產生一3D已標記影像3D-IMG-lab。在一實施例中，對於第二2D影像2D-IMG2中的每一個第一物件，點雲還原模組108可根據該第一物件的物件類別(如果存在)來標記對應於該第一物件的3D分群影像3D-IMG-clus的第一點群中所包含的所有點，以產生3D已標記影像3D-IMG-lab。
在一實施例中，於步驟S205與S207之間，更可包括一手動輔助標記的步驟。藉由手動輔助標記的步驟可對第一2D影像2D-IMG1中未對應到已標記影像2D-IMG-lab的物件框的第一物件進行標記，來降低第二2D影像2D-IMG中未標記的第一物件的數量。
本發明提出的3D影像標記裝置及3D影像標記方法，可以在將3D未標記影像透過投影轉換為第一2D影像之前，藉由點雲分群模組將3D未標記影像中的點進行分群，以產生3D分群影像，3D分群影像中每一個第一點群對應到第一2D影像中的一個第一物件，藉由第一點群與第一物件之間的對應關係保留住第一點群之間的位置關係。接著以2D已標記影像的物件框來對第一2D影像的第一物件進行標記以產生第二2D影像。此第二2D影像中的 第一物件因經過標記而具有物件類別。之後再將第二2D影像中的第一物件的物件類別套用到3D分群影像中對應的第一點群中的所有點。如此一來，所產生的已標記3D影像就不會受到3D點因經過投影後物件前後關係遺失的影響。
在一個實際應用中，本發明提出的3D影像標記裝置及3D影像標記方法可以用來根據2D已標記影像資料庫及3D未標記影像資料庫建立一個3D已標記影像資料庫。在另一個實際應用中，本發明提出的3D影像標記裝置及3D影像標記方法可以配置於自駕車上，並根據經過即時標記的2D攝影機提供的2D影像來即時標記3D攝影機提供的3D影像。
綜上所述，雖然本發明已以實施例揭露如上，然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾。因此，本發明之保護範圍當視後附之申請專利範圍所界定者為準。
10:3D影像標記裝置
102:點雲分群模組
104:投影模組
106:整合模組
108:點雲還原模組
3D-IMG-unlab:3D未標記影像
3D-IMG-clus:3D分群影像
3D-IMG-lab:3D已標記影像
2D-IMG-lab:2D已標記影像
2D-IMG1:第一2D影像
2D-IMG2:第二2D影像

Claims (10)

  1. 一種三維(3D)影像標記裝置，包括：一點雲分群模組，用以根據一3D未標記影像及一分群演算法將該3D未標記影像的複數個點進行分群，以產生具有一或多個第一點群的一3D分群影像；一投影模組，用以根據該3D分群影像產生具有一或多個第一物件的一第一二維(2D)影像，其中各該第一點群對應於該一或多個第一物件的其中之一；一整合模組，用以根據一或多個2D已標記影像的一或多個物件框標記該第一2D影像的該一或多個第一物件，以產生一第二2D影像；以及一點雲還原模組，用以根據該第二2D影像產生一3D已標記影像。
  2. 如申請專利範圍第1項所述之3D影像標記裝置，其中該分群演算法係基於3D影像的點密度的分群演算法。
  3. 如申請專利範圍第1項所述之3D影像標記裝置，其中對於該第一2D影像中的各該第一物件，該整合模組判斷該第一物件是否落於該一或多個已標記影像的該一或多個物件框的其中之一對應到的一範圍，若是，以對應的該物件框的一物件類別標記該第一物件，若否，則不標記該第一物件，藉以產生該第二2D影像。
  4. 如申請專利範圍第3項所述之3D影像標記裝置，其中對於該第二2D影像中具有該物件類別的各該第一物件，該點雲還原模組根據該第一物件的該物件類別標記該3D分群影像中對應於該第一物件的該第一點群中所包含的所有點。
  5. 如申請專利範圍第1項所述之3D影像標記裝置，其中各該第一點群對應於一實際物件的一碎片。
  6. 一種三維(3D)影像標記方法，由一處理器執行時，致使該處理器：執行一點雲分群模組，以根據一3D未標記影像及一分群演算法將該3D未標記影像的複數個點進行分群，以產生具有一或多個第一點群的一3D分群影像；執行一投影模組，以根據該3D分群影像產生具有一或多個第一物件的一第一二維(2D)影像，其中各該第一點群對應於該一或多個第一物件的其中之一；執行一整合模組，以根據一或多個2D已標記影像的一或多個物件框標記該第一2D影像的該一或多個第一物件，以產生一第二2D影像；以及執行一點雲還原模組，以根據該第二2D影像產生一3D已標記影像。
  7. 如申請專利範圍第6項所述之3D影像標記方法，其中該分群演算法係基於3D影像的點密度的分群演算法。
  8. 如申請專利範圍第6項所述之3D影像標記方法，其中對於該第一2D影像中的各該第一物件，該整合模組判斷該第一物件是否落於該一或多個已標記影像的該一或多個物件框的其中之一對應到的一範圍，若是，以對應的該物件框的一物件類別標記該第一物件，若否，則不標記該第一物件，藉以產生該第二2D影像。
  9. 如申請專利範圍第8項所述之3D影像標記方法，其中對於該第二2D影像中具有該物件類別的各該第一物件，該點雲還原模組根據該第一物件的該物件類別標記該3D分群影像中對應於該第一物件的該第一點群中所包含的所有點。
  10. 如申請專利範圍第6項所述之3D影像標記方法，其中各該第一點群對應於一實際物件的一碎片。
TW109100525A 2019-12-27 2020-01-08 基於2d影像標記資訊的3d影像標記方法及3d影像標記裝置 TWI739268B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010101417.2A CN113051986A (zh) 2019-12-27 2020-02-19 基于2d图像标记信息的3d图像标记方法及3d图像标记装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/728,358 2019-12-27
US16/728,358 US11100702B2 (en) 2019-12-27 2019-12-27 3D image labeling method based on labeling information of 2D image and 3D image labeling device

Publications (2)

Publication Number Publication Date
TW202124190A TW202124190A (zh) 2021-07-01
TWI739268B true TWI739268B (zh) 2021-09-11

Family

ID=76546483

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109100525A TWI739268B (zh) 2019-12-27 2020-01-08 基於2d影像標記資訊的3d影像標記方法及3d影像標記裝置

Country Status (3)

Country Link
US (1) US11100702B2 (zh)
JP (1) JP7084444B2 (zh)
TW (1) TWI739268B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI774543B (zh) * 2021-08-31 2022-08-11 財團法人車輛研究測試中心 障礙物偵測方法
TWI786860B (zh) * 2021-10-01 2022-12-11 中華電信股份有限公司 基於點雲的物件偵測裝置和物件偵測方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140010407A1 (en) * 2012-07-09 2014-01-09 Microsoft Corporation Image-based localization
CN106776996A (zh) * 2016-12-02 2017-05-31 百度在线网络技术（北京）有限公司 用于测试高精度地图的准确性的方法和装置
WO2018222756A1 (en) * 2017-05-30 2018-12-06 Ptc Inc. Object initiated communication
TW201937405A (zh) * 2018-02-26 2019-09-16 財團法人工業技術研究院 物件標示系統及方法
US20190355169A1 (en) * 2018-05-18 2019-11-21 Samsung Electronics Co., Ltd. Semantic mapping for low-power augmented reality using dynamic vision sensor

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8170306B2 (en) * 2007-04-25 2012-05-01 Siemens Aktiengesellschaft Automatic partitioning and recognition of human body regions from an arbitrary scan coverage image
TWI489394B (zh) 2008-03-03 2015-06-21 Videoiq Inc 用於追蹤、索引及搜尋之物件匹配
KR101907081B1 (ko) * 2011-08-22 2018-10-11 삼성전자주식회사 3차원 점군의 물체 분리 방법
US20130125069A1 (en) * 2011-09-06 2013-05-16 Lubomir D. Bourdev System and Method for Interactive Labeling of a Collection of Images
WO2017132636A1 (en) * 2016-01-29 2017-08-03 Pointivo, Inc. Systems and methods for extracting information about objects from scene information
US10430641B2 (en) 2017-03-08 2019-10-01 GM Global Technology Operations LLC Methods and systems for object tracking using bounding boxes
US10262234B2 (en) 2017-04-24 2019-04-16 Baidu Usa Llc Automatically collecting training data for object recognition with 3D lidar and localization
US10699165B2 (en) 2017-10-30 2020-06-30 Palo Alto Research Center Incorporated System and method using augmented reality for efficient collection of training data for machine learning
TWI657407B (zh) 2017-12-07 2019-04-21 財團法人資訊工業策進會 利用遞歸神經網路的三維點雲追蹤裝置及方法
JP6826023B2 (ja) 2017-12-13 2021-02-03 Kddi株式会社 点群から対象を特定する対象識別装置、プログラム及び方法
US10275689B1 (en) 2017-12-21 2019-04-30 Luminar Technologies, Inc. Object identification and labeling tool for training autonomous vehicle controllers
DE102017223658A1 (de) 2017-12-22 2019-06-27 Robert Bosch Gmbh LIDAR-Vorrichtung (100) zur Erfassung eines Objekts
US11455784B2 (en) * 2018-02-06 2022-09-27 Vatbox, Ltd. System and method for classifying images of an evidence
US10657388B2 (en) 2018-03-13 2020-05-19 Honda Motor Co., Ltd. Robust simultaneous localization and mapping via removal of dynamic traffic participants
EP3779871A4 (en) 2018-04-05 2021-05-19 Koito Manufacturing Co., Ltd. ARITHMETIC PROCESSING DEVICE, OBJECT IDENTIFICATION SYSTEM, OBJECT IDENTIFICATION METHOD, AUTOMOTIVE, AND VEHICLE LIGHTING APPARATUS
US10839530B1 (en) * 2018-09-04 2020-11-17 Apple Inc. Moving point detection
US10983217B2 (en) * 2018-11-30 2021-04-20 Huawei Technologes Co. Ltd. Method and system for semantic label generation using sparse 3D data

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140010407A1 (en) * 2012-07-09 2014-01-09 Microsoft Corporation Image-based localization
CN106776996A (zh) * 2016-12-02 2017-05-31 百度在线网络技术（北京）有限公司 用于测试高精度地图的准确性的方法和装置
WO2018222756A1 (en) * 2017-05-30 2018-12-06 Ptc Inc. Object initiated communication
TW201937405A (zh) * 2018-02-26 2019-09-16 財團法人工業技術研究院 物件標示系統及方法
US20190355169A1 (en) * 2018-05-18 2019-11-21 Samsung Electronics Co., Ltd. Semantic mapping for low-power augmented reality using dynamic vision sensor

Also Published As

Publication number Publication date
TW202124190A (zh) 2021-07-01
US11100702B2 (en) 2021-08-24
JP2021108091A (ja) 2021-07-29
JP7084444B2 (ja) 2022-06-14
US20210201566A1 (en) 2021-07-01

Similar Documents

Publication Publication Date Title
US11978243B2 (en) System and method using augmented reality for efficient collection of training data for machine learning
US20210374972A1 (en) Panoramic video data processing method, terminal, and storage medium
JP2018028899A (ja) 画像レジストレーションの方法及びシステム
Petersen et al. Real-time modeling and tracking manual workflows from first-person vision
TWI739268B (zh) 基於2d影像標記資訊的3d影像標記方法及3d影像標記裝置
JP2013050947A (ja) 物体姿勢推定方法、物体姿勢推定装置、物体推定姿勢精緻化方法、およびコンピューター可読媒体
JP2016500975A (ja) 結合された深度キューに基づく平面視画像からの深度マップの生成
JP6293386B2 (ja) データ処理装置、データ処理方法及びデータ処理プログラム
CN111160291B (zh) 基于深度信息与cnn的人眼检测方法
Rambach et al. Learning 6dof object poses from synthetic single channel images
CN110197149B (zh) 耳部关键点检测方法、装置、存储介质及电子设备
CN102982524B (zh) 玉米果穗有序图像的拼接方法
Ku et al. Improving 3d object detection for pedestrians with virtual multi-view synthesis orientation estimation
CN110248165B (zh) 标签显示方法、装置、设备及存储介质
JP6086491B2 (ja) 画像処理装置およびそのデータベース構築装置
CN111931741B (zh) 嘴部关键点的标注方法、装置、电子设备及存储介质
Tybusch et al. Color-based and recursive fiducial marker for augmented reality
JP6341540B2 (ja) 情報端末装置、方法及びプログラム
CN113051986A (zh) 基于2d图像标记信息的3d图像标记方法及3d图像标记装置
CN113033426A (zh) 动态对象标注方法、装置、设备和存储介质
Gui et al. Recursive Cross-View: Use Only 2D Detectors to Achieve 3D Object Detection without 3D Annotations
US20230316640A1 (en) Image processing apparatus, image processing method, and storage medium
TWI696980B (zh) 使用深度引擎和數位訊號處理器的互動影像處理方法、裝置及媒體
Lee et al. Occlusion-Robust and Efficient 6D Pose Estimation with Scene-Level Segmentation Refinement and 3D Partial-to-6D Full Point Cloud Transformation
CN117671027A (zh) 一种宽基线全景图像拼接系统的非限制场景在线标定方法