TWI744610B - 場景重建系統、方法以及非暫態電腦可讀取媒體 - Google Patents

場景重建系統、方法以及非暫態電腦可讀取媒體 Download PDF

Info

Publication number
TWI744610B
TWI744610B TW108106880A TW108106880A TWI744610B TW I744610 B TWI744610 B TW I744610B TW 108106880 A TW108106880 A TW 108106880A TW 108106880 A TW108106880 A TW 108106880A TW I744610 B TWI744610 B TW I744610B
Authority
TW
Taiwan
Prior art keywords
map
electronic device
image
confidence
physical environment
Prior art date
Application number
TW108106880A
Other languages
English (en)
Other versions
TW201937922A (zh
Inventor
林政憲
卓柏全
李彥融
楊宏毅
Original Assignee
宏達國際電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏達國際電子股份有限公司 filed Critical 宏達國際電子股份有限公司
Publication of TW201937922A publication Critical patent/TW201937922A/zh
Application granted granted Critical
Publication of TWI744610B publication Critical patent/TWI744610B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00249—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a photographic apparatus, e.g. a photographic printer or a projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Abstract

一種場景重建系統、場景重建方法以及非暫態電腦可讀取媒體，場景重建系統包含第一電子裝置以及第二電子裝置。第一電子裝置包含第一相機單元、第一處理器以及第一通訊單元，第一處理器用以從第一影像中辨識至少一第一物體以建立第一地圖。第二電子裝置包含第二相機單元、第二處理器以及第二通訊單元。第二處理器用以從第二影像中辨識至少一第二物體以建立的第二地圖，並計算對應於第二地圖的複數個信心值。第二通訊單元用以根據複數個信心值傳送位置資訊至第一通訊單元。

Description

場景重建系統、方法以及非暫態電腦可讀取媒體
本案是有關於一種系統、方法以及非暫態電腦可讀取媒體，且特別是有關於一種用於在混合實境系統中重建場景的系統、方法以及非暫態電腦可讀取媒體。
場景重建在擴增實境(augmented reality,AR)以及混合實境(mixed reality,MR)系統中是個重要的議題，然而，場景重建通常仰賴使用者手動掃描或是安裝多個固定式的感測器。在場景更新時，手動掃描的方式就會發生問題。由於視線死角的問題，安裝多個固定式的感測器的方式在重建場景時，將只能更新部分的區域。因此，本領域中需要一種利用移動傳感式感測器來支援混合實境中的場景重建系統。
依據本揭示文件之第一實施態樣，其揭示一種場景重建系統，場景重建系統包含第一電子裝置以及第二電子裝置。第一電子裝置位於物理環境，其包含第一相機單元、第一處理器以及第一通訊單元。第一處理器與第一相機單元以及第一通訊單元電性耦接。第一相機單元用以拍攝物理環境的第一影像，第一處理器用以從第一影像中辨識至少一第一物體以建立物理環境的第一地圖。第二電子裝置位於物理環境，其包含第二相機單元、第二處理器以及第二通訊單元。第二處理器與第二相機單元以及第二通訊單元電性耦接。第二相機單元用以擷取物理環境的第二影像。第二處理器用以從第二影像中辨識至少一第二物體以建立物理環境的第二地圖，並計算對應於第二地圖的複數個信心值。第二通訊單元用以根據複數個信心值傳送位置資訊至第一電子裝置，其中，第一相機單元用以拍攝與位置資訊對應的物理環境的第三影像，以及第一通訊單元更用以傳送第三影像至第二通訊單元。第二處理器用以從第三影像辨識至少一第三物體，並根據至少一第三物體重建第二地圖。
依據本揭示文件之第二實施態樣，其揭示一種場景重建方法，場景重建方法包含：藉由第一電子裝置拍攝物理環境的第一影像，藉由第二電子裝置拍攝物理環境的第二影像；藉由第一電子裝置從第一影像中辨識至少一第一物體以建立物理環境的第一地圖；藉由第二電子裝置從第二影像中辨識至少一第二物體以建立物理環境的第二地圖，並計算對應於第二地圖的複數個信心值；藉由第二電子裝置根據複 數個信心值傳送位置資訊至第一電子裝置，並藉由第一電子裝置拍攝與位置資訊對應的物理環境的第三影像；藉由第一電子裝置傳送第三影像至第二通訊單元，以及藉由第二電子裝置從第三影像辨識至少一第三物體；以及藉由第二電子裝置根據至少一第三物體重建第二地圖。
依據本揭示文件之第三實施態樣，其揭示一種非暫態電腦可讀取媒體，非暫態電腦可讀取媒體包含至少一指令程序，由第一處理器以及第二處理器執行至少一指令程序以實行場景重建方法，其包含：藉由第一電子裝置拍攝物理環境的第一影像，藉由第二電子裝置拍攝物理環境的第二影像；藉由第一電子裝置從第一影像中辨識至少一第一物體以建立物理環境的第一地圖；藉由第二電子裝置從第二影像中辨識至少一第二物體以建立物理環境的第二地圖，並計算對應於第二地圖的複數個信心值；藉由第二電子裝置根據複數個信心值傳送位置資訊至第一電子裝置，並藉由第一電子裝置拍攝與位置資訊對應的物理環境的第三影像；藉由第一電子裝置傳送第三影像至第二通訊單元，以及藉由第二電子裝置從第三影像辨識至少一第三物體；以及藉由第二電子裝置根據至少一第三物體重建第二地圖。
100:場景重建系統
110、120:電子裝置
111、121:相機單元
112、122:處理器
113、123:通訊單元
200:場景重建方法
F1、F2、F3:影像
PE:物理環境
O1、O2、O3、O4:物體
M1、M2:地圖
F1P1~F1P9、F2P1~F2P11、F3P1~F3P6:特徵點
S210~S270、S251~S253、S251~S254:步驟
為讓本發明之上述和其他目的、特徵、優點與實施例能更明顯易懂，所附圖式之說明如下：第1圖係根據本案之一些實施例所繪示之場景重建系 統的方塊圖；第2圖係根據本案之一些實施例所繪示之場景重建方法的流程圖；第3A圖係根據本案之一些實施例所繪示之物理環境的示意圖；第3B圖係根據本案之一些實施例所繪示之影像的示意圖；第3C圖係根據本案之一些實施例所繪示之影像的示意圖；第4A圖係根據本案之一些實施例所繪示之影像的特徵點的示意圖；第4B圖係根據本案之一些實施例所繪示之地圖的示意圖；第5A圖係根據本案之一些實施例所繪示之影像的特徵點的示意圖；第5B圖係根據本案之一些實施例所繪示之地圖的示意圖；第6圖係根據本案之一些實施例所繪示之步驟S250的流程圖；第7圖係根據本案之一些實施例所繪示之影像的示意圖；第8圖係根據本案之一些實施例所繪示之步驟S250的流程圖；第9A圖係根據本案之一些實施例所繪示之影像的特徵 點的示意圖；以及第9B圖係根據本案之一些實施例所繪示之地圖的示意圖。
以下揭示提供許多不同實施例或例證用以實施本發明的不同特徵。特殊例證中的元件及配置在以下討論中被用來簡化本揭示。所討論的任何例證只用來作解說的用途，並不會以任何方式限制本發明或其例證之範圍和意義。此外，本揭示在不同例證中可能重複引用數字符號且/或字母，這些重複皆為了簡化及闡述，其本身並未指定以下討論中不同實施例且/或配置之間的關係。
請參閱第1圖。第1圖係根據本案之一些實施例所繪示之場景重建系統100的方塊圖。如第1圖所繪示，場景重建系統100電子裝置110及120。電子裝置110及120位於物理環境中，並且電子裝置110及120與彼此通信。於一實施例中，電子裝置110可以是裝載擴增實境(AR)系統之一裝置、具有內向外相機的虛擬實境(VR)系統或混合實境(MR)系統之一裝置，例如頭戴式裝置(head-mounted device，HMD)或穿戴式裝置。電子裝置120可以實作為與電子裝置110進行通訊的固定式感測器、移動式感測器、智慧型手機或頭戴式裝置。
電子裝置110包含相機單元111、處理器112以及通訊單元113，處理器112電性連接至相機單元111以及通 訊單元113。電子裝置120包含相機單元121、處理器122以及通訊單元123，處理器122電性連接至相機單元121以及通訊單元123。處理器112及122可以實施為中央處理單元、控制電路及/或圖形處理單元。於一些實施例中，處理器112及122可以實施為雲端伺服器，相機單元111可包含位於頭戴式裝置前側的一相機元件，相機單元121可包含位於移動裝置或頭戴式裝置上的一相機元件。於一些實施例中，相機單元111及121可包含一雙攝相機模組及/或一深度相機。於一些實施例中，通訊單元113及123可包含一WiFi收發信機、WiFi-Direct收發信機、藍芽收發信機、BLE收發信機、Zigbee收發信機、及/或任何適用的無線通訊收發信機。
於一實施例中，電子裝置110更包含顯示器(未示於第1圖)，當使用者穿戴電子裝置110時，顯示器將會覆蓋使用者的視域，並且顯示器係用於向使用者顯示混合實境場景或擴增實境場景。
請參閱第2圖。第2圖係根據本案之一些實施例所繪示之場景重建方法200的流程圖。於一實施例中，場景重建方法200可用以產生物理環境的三維地圖，並利用從另一電子裝置接收的額外資訊來重建三維地圖。在本揭露中，電子裝置120可用來協助電子裝置110重建場景。
請一併參考第1圖及第2圖，如第2圖所示之實施例，場景重建方法200首先執行步驟S210藉由相機單元111拍攝物理環境的影像F1，藉由相機單元121拍攝物理環境的影像F2。請參閱第3A圖，第3A圖係根據本案之一些實 施例所繪示之物理環境PE的示意圖。於此實施例中，物理環境PE包含物體O1(例如，桌子)、物體O2(例如，椅子)、物體O3(例如，花瓶)以及物體O4(例如，櫥櫃)。
請參閱第3B圖，第3B圖係根據本案之一些實施例所繪示之影像F1的示意圖。於此實施例中，相機單元111用以拍攝物理環境PE的影像F1，並且影像F1包含物體O1、物體O2的部分以及物體O3。請參閱第3C圖，第3C圖係根據本案之一些實施例所繪示之影像F2的示意圖。於此實施例中，相機單元121用以拍攝物理環境PE的影像F2，並且影像F2包含物體O1、物體O3以及物體O4。值得注意的是，相機單元111用以隨時間拍攝物理環境的影像，為了簡潔起見，第3B圖僅示出一張影像。出於相似的原因，相機單元121用以隨時間拍攝物理環境的影像，為了簡潔起見，第3C圖僅示出一張影像。
接著，場景重建方法200執行步驟S220藉由處理器112從影像F1中辨識至少一第一物體以建立物理環境PE的地圖M1，並計算對應於地圖M1的複數個信心值。在此情況中，地圖M1是物理環境PE的三維地圖，在建立地圖M1之前，處理器112用以辨識影像F1。舉例而言，處理器112可以利用深度類神經網路演算法(Deep Neural Network，DNN)辨識影像F1中的物體或支持向量機(Support Vector Machines，SVM)分類影像F1的影像資料。於另一實施例中，處理器112可以利用同步定位與地圖構建(Simultaneous Localization and Mapping，SLAM) 技術來建立物理環境的地圖。
以SLAM技術為例，處理器112用以從影像F1提取出特徵點。請參閱第4A圖，第4A圖係根據本案之一些實施例所繪示之影像F1的特徵點的示意圖。於前述實施例中，處理器112用以根據由相機單元111拍攝的影像F1提取出物體O1的特徵點F1P1、F1P2、F1P3及F1P4、物體O3的特徵點F1P5、F1P6及F1P7、以及物體O2的特徵點F1P8及F1P9。特徵點F1P1~F1P9皆包含描述符以及特徵點F1P1~F1P9在影像F1中的二維(2D)座標。一般而言，特徵點的描述符可以表示為例如角落、斑點、邊緣、直線、紋理、顏色等特徵，然而本揭露不限於此。
請參閱第4B圖，第4B圖係根據本案之一些實施例所繪示之地圖M1的示意圖。於一實施例中，處理器112用以根據特徵點F1P1~F1P9建立地圖M1(z軸的座標可以透過多視角感測器或深度感測器獲得)。如第4B圖所示，特徵點F1P1~F1P4可以被辨識為物體O1，並且當物體O1被辨識出時，處理器112用以在地圖M1上渲染物體O1的模型(例如，桌子的模型)。特徵點F1P5~F1P7可以被辨識為物體O3，並且當物體O3被辨識出時，處理器112用以在地圖M1上渲染物體O3的模型(例如，花瓶的模型)。然而，特徵點F1P8及F1P9無法被辨識為物體O2，由於特徵點的數量或影像F2中物體O2的視野不足，使得處理器112無法在地圖M1上渲染物體O2的模型。因此，地圖M1包含物體O1及O3。
於另一實施例中，如果利用類神經網路演算法 或支持向量機辨識影像F1，物體O2也無法被辨識為椅子。因為物體O2沒有完全出現在影像F1中(影像F1僅提供缺乏區別特徵點的物體O2的角度)，或物體O2和相機單元111之間的距離太遠(由於物體O2的區域在影像F1中太小，導致物體O2無法被辨識)，因此僅使用影像F1難以將物體O2辨識為椅子。
接著，處理器112用以計算與地圖M1對應的複數個信心值。根據前述的實施例，如果辨識方法利用SLAM技術，藉由特徵點的數量可以獲得信心值。如果辨識方法利用類神經網路演算法或支持向量機，藉由分類(例如，桌子、椅子、窗戶、花瓶、櫥櫃、瓶子等)的機率可以獲得信心值。於此情況中，每個信心值對應至地圖M1的每個像素，並且物體O2的區域將是具有較低信心值的區域。
接著，場景重建方法200執行步驟S230藉由處理器122從影像F2中辨識至少一第二物體以建立物理環境PE的地圖M2。在此情況中，地圖M2是物理環境PE的三維地圖，在建立地圖M2之前，處理器122用以辨識影像F2。辨識方法與前述實施例相似，以SLAM技術為例，處理器122用以從影像F2提取出特徵點。請參閱第5A圖，第5A圖係根據本案之一些實施例所繪示之影像F2的特徵點的示意圖。於前述實施例中，處理器122用以根據由相機單元121拍攝的影像F2提取出物體O1的特徵點F2P1、F2P2、F2P3及F2P4、物體O3的特徵點F2P5、F2P6及F2P7、以及物體O4的特徵點F2P8、F2P9、F2P10及F2P11。
請參閱第5B圖，第5B圖係根據本案之一些實施例所繪示之地圖M2的示意圖。出於相似的原因，處理器112用以根據特徵點F2P1~F2P11建立地圖M2。如第5B圖所示，特徵點F2P1~F2P4可以被辨識為物體O1，特徵點F2P5~F2P7可以被辨識為物體O3，以及特徵點F2P8~F2P11可以被辨識為物體O4。
接著，場景重建方法200執行步驟S240藉由處理器112匹配地圖M1及地圖M2以對準地圖M1的座標系統以及地圖M2的座標系統。於一實施例中，處理器112用以匹配特徵點F1P1~F1P9以及特徵點F2P1~F2P11，如果特徵點F2P1~F2P11的部分與特徵點F1P1~F1P9的部分匹配，將地圖M2的坐標系統轉換至地圖M1的坐標系統。
接著，在此情況中，特徵點F1P1~F1P7與特徵點F2P1~F2P7匹配，因此電子裝置120的座標系統被映射至電子裝置110的座標系統。在步驟S240執行之後，電子裝置110及120可以利用已匹配的特徵點(例如，特徵點F1P1~F1P7及F2P1~F2P7)來描述物體在物理環境PE中的相對位置。舉例而言，物體O2在地圖M2中並未存在，然而，當電子裝置110的座標系統與電子裝置120的座標系統匹配後，如果電子裝置110傳送物體O2的相對位置至電子裝置120，電子裝置120可以根據地圖M2的座標系統計算物體O2的位置。
接著，值得注意的是，物體O4在地圖M1中並未存在，電子裝置120並不會傳送物體O4的資訊至電子裝置 110。因此，電子裝置110並不會在地圖M1上渲染物體O4的模型(例如，櫥櫃的模型)，電子裝置110的訊息不需要完全與電子裝置120分享，反之亦然。
接著，場景重建方法200執行步驟S250藉由電子裝置110根據複數個信心值傳送位置資訊至電子裝置120，並藉由電子裝置120拍攝與位置資訊對應的物理環境PE的影像F3。於一實施例中，位置資訊包含由複數個信心值組成的信心地圖，以及該信心地圖的每一像素對應於地圖M1的每一像素。步驟S250更包含步驟S251~S253，請一併參考第6圖，第6圖係根據本案之一些實施例所繪示之步驟S250的流程圖。如第6圖所示的實施例，場景重建方法200進一步執行步驟S251藉由電子裝置120判斷信心地圖的每一像素是否小於門檻值。於一實施例中，信心地圖被傳送至電子裝置120並且電子裝置120用以判斷信心地圖的信心值小於門檻值的區域。
接著，場景重建方法200進一步執行步驟S252如果信心地圖的區域小於門檻值，藉由電子裝置120辨識地圖M2中與信心地圖的區域對應的物體。如第4B圖所示，物體O2無法被辨識，因此物體O2的區域將是具有較低信心值的區域。當電子裝置120用以判斷信心值是否小於門檻值時，對應於物體O2的區域的信心值將被判定為小於門檻值。
接著，場景重建方法200進一步執行步驟S253藉由電子裝置120移動至物理環境PE中物體的位置，並拍攝影像F3。請參考第7圖，第7圖係根據本案之一些實施例所 繪示之影像F3的示意圖。如第7圖所示，電子裝置120用以移動至物體O2的附近，並且用以在移動地同時以不同角度拍攝包含物體O2的影像F3。值得注意的是，相機單元123用以隨時間拍攝物理環境PE的影像，然而，第7圖僅示出影像F3的一個視野，並且電子裝置120用以拍攝物體O2的多個影像以獲得物體O2更詳細的資訊。
於另一實施例中，位置資訊包含物理環境PE中的至少一位置。步驟S250更包含步驟S251~S254，請一併參考第8圖，第8圖係根據本案之一些實施例所繪示之步驟S250的流程圖。如第8圖所示的實施例，場景重建方法200進一步執行步驟S251藉由電子裝置110判斷信心地圖的每一像素是否小於門檻值。
接著，場景重建方法200進一步執行步驟S252如果信心地圖的區域小於門檻值，藉由電子裝置110辨識地圖M1中與信心地圖的區域對應的物體。如第4B圖所示，物體O2無法被辨識，因此物體O2的區域將是具有較低信心值的區域。當電子裝置110用以判斷信心值是否小於門檻值時，對應於物體O2的區域的信心值將被判定為小於門檻值。
接著，場景重建方法200進一步執行步驟S253藉由電子裝置110傳送物理環境PE中物體的至少一位置至電子裝置120，以及步驟S254藉由電子裝置120移動至物理環境PE中物體的位置，並拍攝影像F3。於此實施例中，藉由電子裝置110計算物體O2的至少一位置，電子裝置120用以移動至物體O2的附近，並且如第7圖所示，用以在移動地 同時以不同角度拍攝包含物體O2的影像F3。值得注意的是，物體O2的至少一位置可以理解為物體O2的座標或對應於物體O2的區域的座標。
接著，場景重建方法200執行步驟S260藉由電子裝置120傳送影像F3至電子裝置110，以及藉由電子裝置110從影像F3辨識至少一第三物體，以及步驟S270藉由電子裝置110根據至少一第三物體重建地圖M1。請參考第9A圖，第9A圖係根據本案之一些實施例所繪示之影像F3的特徵點的示意圖。於前述實施例中，處理器112用以根據由相機單元111拍攝的影像F3提取出物體O2的特徵點F3P1、F3P2、F3P3、F3P4、F3P5及F3P6。
請參閱第9B圖，第9B圖係根據本案之一些實施例所繪示之地圖M1的示意圖。於一實施例中，處理器112用以根據特徵點F3P1~F3P6重建地圖M1，並辨識物體O2的區域。因此，地圖M1包含物體O1、物體O2以及物體O3。於另一實施例中，如果利用類神經網路演算法或支持向量機辨識影像F3，也可以辨識出物體O2。因為藉由電子裝置120獲得物體O2的完整資訊，類神經網路演算法或支持向量機的判斷也可以更準確。
接於另一實施例中，電子裝置110可以被實施為聯網汽車，電子裝置110可以被實施為車輛外部的其他電子裝置或聯網汽車。如果用戶在路上駕駛汽車，在某些情況下駕駛員視線的部分將會被遮擋。在此情況下，車輛的中央處理單元(例如，處理器112)可以建立車輛周圍的物理環境 的地圖。如果，駕駛員視線的部分被遮擋，盲區被指稱為信心度低的區域。在此情況下，車輛的中央處理單元(例如，處理器112)可以傳送位置資訊(包含信心圖或盲區的位置)至其他的聯網汽車或物聯網(IoT)裝置(例如，監視器)。因此，其他的聯網汽車或其他的物聯網裝置可以提供盲區的視野來支援駕駛員，然而本案並不限於此。
另一實施例揭露一種非暫態電腦可讀取媒體，非暫態電腦可讀取媒體儲存指令程序以執行如第2圖所示的場景重建方法200。
根據前述的實施例，場景重建系統、場景重建方法以及非暫態電腦可讀取媒體能夠計算對應於地圖的複數個信心值，傳送位置訊息至其他裝置，由其他裝置拍攝對應於物理環境的位置訊息的第三影像，並根據第三影像重建地圖。於一些實施態樣中，頭戴式顯示裝置能夠根據物理環境的更完整的資訊重建地圖。
另外，上述例示包含依序的示範步驟，但該些步驟不必依所顯示的順序被執行。以不同順序執行該些步驟皆在本揭示內容的考量範圍內。在本揭示內容之實施例的精神與範圍內，可視情況增加、取代、變更順序及/或省略該些步驟。
雖然本案已以實施方式揭示如上，然其並非用以限定本案，任何熟習此技藝者，在不脫離本案之精神和範圍內，當可作各種之更動與潤飾，因此本案之保護範圍當視後附之申請專利範圍所界定者為準。
100‧‧‧場景重建系統
110、120‧‧‧電子裝置
111、121‧‧‧相機單元
112、122‧‧‧處理器
113、123‧‧‧通訊單元

Claims (16)

  1. 一種場景重建系統，包含：一第一電子裝置，位於一物理環境，該第一電子裝置包含：一第一相機單元，用以拍攝該物理環境的一第一影像；一第一處理器，與該第一相機單元耦接，並用以從該第一影像中辨識至少一第一物體以建立該物理環境的一第一地圖；以及一第一通訊單元，與該第一處理器耦接；以及一第二電子裝置，位於該物理環境，該第二電子裝置包含：一第二相機單元，用以拍攝該物理環境的一第二影像；一第二處理器，與該第二相機單元耦接，用以從該第二影像中辨識至少一第二物體以建立該物理環境的一第二地圖，計算對應於該第二地圖的複數個信心值，並根據該複數個信心值和一門檻值之比較結果決定一位置資訊；以及一第二通訊單元，與該第二處理器耦接，用以傳送該位置資訊至該第一電子裝置；其中，該第一相機單元用以拍攝與該位置資訊對應的該物理環境的一第三影像，以及該第一通訊單元更用以傳送該第三影像至該第二通訊單元；第二處理器用以從該第 三影像辨識至少一第三物體，並根據該至少一第三物體重建該第二地圖。
  2. 如請求項1所述的場景重建系統，其中，該第二處理器更用以執行以下步驟：匹配從該第一影像提取的複數個第一特徵點與從該第二影像提取的複數個第二特徵點；以及如果該複數個第二特徵點的部分與該複數個第一特徵點的部分匹配，將該第一地圖的第一坐標系統轉換至該第二地圖的第二坐標系統。
  3. 如請求項1所述的場景重建系統，其中，該位置資訊包含由該複數個信心值組成的一信心地圖，以及該信心地圖的每一像素對應於該第二地圖的每一像素。
  4. 如請求項3所述的場景重建系統，其中，該第一處理器更用以執行以下步驟：判斷該信心地圖的每一像素的信心值是否小於該門檻值；以及如果該信心地圖的一區域的信心值小於該門檻值，辨識該第一地圖中與該信心地圖的該區域對應的一物體，以及移動至該物理環境中該物體的位置，並拍攝該第三影像。
  5. 如請求項1所述的場景重建系統，其中，該 位置資訊包含該物理環境中的至少一位置。
  6. 如請求項5所述的場景重建系統，其中，該第二處理器更用以執行以下步驟：判斷一信心地圖的每一像素的信心值是否小於該門檻值，其中該信心地圖係由該複數個信心值組成；以及如果該信心地圖的一區域的信心值小於該門檻值，辨識該第二地圖中與該信心地圖的該區域對應的一物體，以及傳送該物理環境中該物體的該至少一位置至該第一電子裝置。
  7. 如請求項6所述的場景重建系統，其中，如果該信心地圖的該區域的信心值小於該門檻值，該第一處理器更用以執行以下步驟：移動至該物理環境中該物體的該至少一位置，並拍攝該第三影像。
  8. 如請求項2所述的場景重建系統，其中，藉由該複數個第二特徵點的數量來計算該複數個信心值。
  9. 一種場景重建方法，包含：藉由一第一電子裝置拍攝該物理環境的一第一影像，藉由一第二電子裝置拍攝該物理環境的一第二影像；藉由該第一電子裝置從該第一影像中辨識至少一第一 物體以建立該物理環境的一第一地圖；藉由該第二電子裝置從該第二影像中辨識至少一第二物體以建立該物理環境的一第二地圖，並計算對應於該第二地圖的複數個信心值；藉由該第二電子裝置根據該複數個信心值和一門檻值之比較結果傳送一位置資訊至該第一電子裝置，並藉由該第一電子裝置拍攝與該位置資訊對應的該物理環境的一第三影像；藉由該第一電子裝置傳送該第三影像至該第二通訊單元，以及藉由該第二電子裝置從該第三影像辨識至少一第三物體；以及藉由該第二電子裝置根據該至少一第三物體重建該第二地圖。
  10. 如請求項9所述的場景重建方法，更包含：匹配從該第一影像提取的複數個第一特徵點與從該第二影像提取的複數個第二特徵點；以及如果該複數個第二特徵點的部分與該複數個第一特徵點的部分匹配，將該第一地圖的第一坐標系統轉換至該第二地圖的第二坐標系統。
  11. 如請求項9所述的場景重建方法，其中，該位置資訊包含由該複數個信心值組成的一信心地圖，以及該信心地圖的每一像素對應於該第二地圖的每一像素。
  12. 如請求項11所述的場景重建方法，更包含：藉由該第一電子裝置判斷該信心地圖的每一像素的信心值是否小於該門檻值；以及如果該信心地圖的一區域的信心值小於該門檻值，藉由該第一電子裝置辨識該第一地圖中與該信心地圖的該區域對應的一物體，以及藉由該第一電子裝置移動至該物理環境中該物體的位置，並拍攝該第三影像。
  13. 如請求項9所述的場景重建方法，其中，該位置資訊包含該物理環境中的至少一位置。
  14. 如請求項13所述的場景重建方法，更包含：藉由該第二電子裝置判斷一信心地圖的每一像素的信心值是否小於該門檻值，其中該信心地圖係由該複數個信心值組成；以及如果該信心地圖的一區域的信心值小於該門檻值，藉由該第二電子裝置辨識該第二地圖中與該信心地圖的該區域對應的一物體，藉由該第二電子裝置傳送該物理環境中該物體的該至少一位置至該第一電子裝置，以及藉由該第一電子裝置移動至該物理環境中該物體的 該至少一位置，並拍攝該第三影像。
  15. 如請求項10所述的場景重建方法，其中，藉由該複數個第二特徵點的數量來計算該複數個信心值。
  16. 一種非暫態電腦可讀取媒體，包含至少一指令程序，由一第一處理器以及一第二處理器執行該至少一指令程序以實行一種場景重建方法，其包含：藉由一第一電子裝置拍攝該物理環境的一第一影像，藉由一第二電子裝置拍攝該物理環境的一第二影像；藉由該第一電子裝置從該第一影像中辨識至少一第一物體以建立該物理環境的一第一地圖；藉由該第二電子裝置從該第二影像中辨識至少一第二物體以建立該物理環境的一第二地圖，並計算對應於該第二地圖的複數個信心值；藉由該第二電子裝置根據該複數個信心值和一門檻值之比較結果傳送一位置資訊至該第一電子裝置，並藉由該第一電子裝置拍攝與該位置資訊對應的該物理環境的一第三影像；藉由該第一電子裝置傳送該第三影像至該第二通訊單元，以及藉由該第二電子裝置從該第三影像辨識至少一第三物體；以及藉由該第二電子裝置根據該至少一第三物體重建該 第二地圖。
TW108106880A 2018-03-01 2019-02-27 場景重建系統、方法以及非暫態電腦可讀取媒體 TWI744610B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862636859P 2018-03-01 2018-03-01
US62/636,859 2018-03-01

Publications (2)

Publication Number Publication Date
TW201937922A TW201937922A (zh) 2019-09-16
TWI744610B true TWI744610B (zh) 2021-11-01

Family

ID=67822359

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108106880A TWI744610B (zh) 2018-03-01 2019-02-27 場景重建系統、方法以及非暫態電腦可讀取媒體

Country Status (3)

Country Link
US (1) US10915781B2 (zh)
CN (1) CN110225238B (zh)
TW (1) TWI744610B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI757658B (zh) * 2018-11-14 2022-03-11 宏達國際電子股份有限公司 影像處理系統及影像處理方法
JP7269126B2 (ja) * 2019-07-31 2023-05-08 ファナック株式会社 撮像検出データの転送システム
GB2592040B (en) * 2020-02-13 2022-10-12 Advanced Risc Mach Ltd Method and System for Providing Augmented Reality Displays
US11514790B2 (en) * 2020-03-26 2022-11-29 Gm Cruise Holdings Llc Collaborative perception for autonomous vehicles
CN112683262A (zh) * 2020-11-30 2021-04-20 浙江商汤科技开发有限公司 定位方法及装置、电子设备和存储介质
US11651557B2 (en) * 2021-01-12 2023-05-16 Ford Global Technologies, Llc Systems and methods of using mixed reality for interacting with a display system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102884492A (zh) * 2010-03-01 2013-01-16 李汶基 增强现实的指向装置
US20140043436A1 (en) * 2012-02-24 2014-02-13 Matterport, Inc. Capturing and Aligning Three-Dimensional Scenes
US20150356738A1 (en) * 2014-06-09 2015-12-10 Samsung Electronics Co., Ltd. Method and apparatus for generating images
CN107025662A (zh) * 2016-01-29 2017-08-08 成都理想境界科技有限公司 一种实现增强现实的方法、服务器、终端及系统

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8884984B2 (en) * 2010-10-15 2014-11-11 Microsoft Corporation Fusing virtual content into real content
KR101361537B1 (ko) 2011-11-25 2014-02-13 주식회사 미르기술 적외선패턴조사부를 구비하는 비전검사장치
CN103139480A (zh) 2013-02-28 2013-06-05 华为终端有限公司 一种图像采集方法及装置
US20140323148A1 (en) * 2013-04-30 2014-10-30 Qualcomm Incorporated Wide area localization from slam maps
US20150123966A1 (en) 2013-10-03 2015-05-07 Compedia - Software And Hardware Development Limited Interactive augmented virtual reality and perceptual computing platform
US20150193982A1 (en) * 2014-01-03 2015-07-09 Google Inc. Augmented reality overlays using position and orientation to facilitate interactions between electronic devices
US10127706B2 (en) * 2016-01-12 2018-11-13 Esight Corp. Language element vision augmentation methods and devices
US10043238B2 (en) * 2016-01-21 2018-08-07 International Business Machines Corporation Augmented reality overlays based on an optically zoomed input
US10055895B2 (en) 2016-01-29 2018-08-21 Snap Inc. Local augmented reality persistent sticker objects
KR20170136750A (ko) 2016-06-02 2017-12-12 삼성전자주식회사 전자 장치 및 그의 동작 방법
KR20180014492A (ko) 2016-08-01 2018-02-09 삼성전자주식회사 영상 표시 방법 및 이를 지원하는 전자 장치
US20180189955A1 (en) * 2017-01-02 2018-07-05 Eyal Moshe Augumented reality (ar) method and system enhanced through efficient edge detection of image objects
US10038894B1 (en) * 2017-01-17 2018-07-31 Facebook, Inc. Three-dimensional scene reconstruction from set of two dimensional images for consumption in virtual reality
US11024092B2 (en) * 2017-02-01 2021-06-01 Pcms Holdings, Inc. System and method for augmented reality content delivery in pre-captured environments
CN107360364B (zh) 2017-06-28 2019-10-18 维沃移动通信有限公司 一种图像拍摄方法、终端及计算机可读存储介质
US10785443B2 (en) * 2017-12-18 2020-09-22 Streem, Inc. Augmented reality video stream synchronization across a network
US10482674B1 (en) * 2018-06-27 2019-11-19 Beijing Jingdong Shangke Information Technology Co., Ltd. System and method for mobile augmented reality

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102884492A (zh) * 2010-03-01 2013-01-16 李汶基 增强现实的指向装置
US20140043436A1 (en) * 2012-02-24 2014-02-13 Matterport, Inc. Capturing and Aligning Three-Dimensional Scenes
US20150356738A1 (en) * 2014-06-09 2015-12-10 Samsung Electronics Co., Ltd. Method and apparatus for generating images
CN107025662A (zh) * 2016-01-29 2017-08-08 成都理想境界科技有限公司 一种实现增强现实的方法、服务器、终端及系统

Also Published As

Publication number Publication date
US10915781B2 (en) 2021-02-09
CN110225238A (zh) 2019-09-10
CN110225238B (zh) 2021-06-01
TW201937922A (zh) 2019-09-16
US20190325251A1 (en) 2019-10-24

Similar Documents

Publication Publication Date Title
TWI744610B (zh) 場景重建系統、方法以及非暫態電腦可讀取媒體
US11830141B2 (en) Systems and methods for 3D facial modeling
US10885398B2 (en) Joint 3D object detection and orientation estimation via multimodal fusion
US9269003B2 (en) Diminished and mediated reality effects from reconstruction
CN113874870A (zh) 基于图像的定位
CN109683699B (zh) 基于深度学习实现增强现实的方法、装置及移动终端
CN111194449A (zh) 用于人脸活体检测的系统和方法
WO2017161660A1 (zh) 增强现实设备、系统、图像处理方法及装置
JP2018028899A (ja) 画像レジストレーションの方法及びシステム
CN109344804A (zh) 一种激光点云数据的识别方法、装置、设备和介质
US9747516B2 (en) Keypoint detection with trackability measurements
WO2023016271A1 (zh) 位姿确定方法、电子设备及可读存储介质
JP2020525958A (ja) 画像処理システム及び画像処理方法
US10150415B2 (en) Method and apparatus for detecting a pedestrian by a vehicle during night driving
US10634918B2 (en) Internal edge verification
US20190156511A1 (en) Region of interest image generating device
US11282180B1 (en) Object detection with position, pose, and shape estimation
US10586394B2 (en) Augmented reality depth sensing using dual camera receiver
US11748998B1 (en) Three-dimensional object estimation using two-dimensional annotations
US20230098910A1 (en) Method for tracking head mounted display device and head mounted display system
WO2018222122A1 (en) Methods for perspective correction, computer program products and systems
CN108597036B (zh) 虚拟现实环境危险感知方法及装置
CN113128428B (zh) 基于深度图预测的活体检测方法和相关设备
US11417063B2 (en) Determining a three-dimensional representation of a scene
US10642349B2 (en) Information processing apparatus