TWI709943B - 深度估計裝置、自動駕駛車輛及其深度估算方法 - Google Patents

深度估計裝置、自動駕駛車輛及其深度估算方法 Download PDF

Info

Publication number
TWI709943B
TWI709943B TW107142123A TW107142123A TWI709943B TW I709943 B TWI709943 B TW I709943B TW 107142123 A TW107142123 A TW 107142123A TW 107142123 A TW107142123 A TW 107142123A TW I709943 B TWI709943 B TW I709943B
Authority
TW
Taiwan
Prior art keywords
sensor data
depth
algorithm
sensor
segmentation
Prior art date
Application number
TW107142123A
Other languages
English (en)
Other versions
TW202014990A (zh
Inventor
泗得 蔣
賴威豪
梁珮蓉
Original Assignee
財團法人工業技術研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院 filed Critical 財團法人工業技術研究院
Priority to CN201910115287.5A priority Critical patent/CN111105449B/zh
Publication of TW202014990A publication Critical patent/TW202014990A/zh
Application granted granted Critical
Publication of TWI709943B publication Critical patent/TWI709943B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本揭露涉及一種深度估計裝置，包括：第一類型感測器，用於產生第一感測器資料；第二類型感測器，用於產生第二感測器資料；以及處理器，耦合到第一類型感測器以及第二類型感測器，且至少配置成用以：通過使用兩階段的分割演算法處理第一感測器資料以產生第一分割結果和第二分割結果；同步第一分割結果的參數及第二感測器資料的參數，以產生同步後第二感測器資料；通過使用兩階段的深度估計演算法來融合第一分割結果、同步後第二感測器資料以及第二分割結果，以產生第一深度結果以及第二深度結果。

Description

深度估計裝置、自動駕駛車輛及其深度估算方法
本揭露涉及一種由自動駕駛車輛使用的深度估計裝置、一種使用所述深度估計裝置的自動駕駛車輛及其深度估計方法。
在自動駕駛車輛的發展過程中，感測裝置是未來自動駕駛車輛的重要組成部分。可集成各種感測裝置，以在任何類型的環境中提供更可靠的感測資料和更精確的周圍資訊。當進行同步資料採集的過程時，儘管各種物體檢測技術能可靠且準確地檢測特定物體，但是在不同環境內的多樣化感測模態下感測器性能會不一致，可能會破壞大多數同時使用的現有次優集成（sub-optimally）的檢測技術的性能。
由於當前檢測性能會受限於硬體的限制，因此檢測技術將遇到各種困難。例如，由於資料採樣率（sampling rate）低，物體在高速的情況下可能發生不可靠的檢測結果。由於是在最低維度坐標系統中操作，若對檢測結果使用統一的規範則可能導致將不屬於物體的一部分的像素包括為所檢測到的物體。並且由於是在最低資料解析度下的操作，精細路徑規劃可能會因此而錯過所檢測到的物體。
請參照圖1，圖1A示出了可用於生成深度圖的各種感測器。這種感測器可以包括但不限於光檢測與測距（light detection and ranging，LiDAR，又稱「光達」），立體攝影機（stereo camera）和飛行時間（time of flight，ToF）攝影機。更詳細地，表1示出了可以產生自動駕駛車輛的周圍環境的深度資訊的各種感測裝置之間的特性的比較。表1中所示的數值僅出於示例性目的示出，因為具體的數值可以基於設計考量而變化。
Figure 107142123-A0304-0001
 表1
根據表1以及先前的詳細闡述，用於深度感測的現有技術的感測器可以通過光達感測器來實現，相較於其他感測器（如立體攝影機或ToF攝影機），光達感測器具有360度視野、最遠的檢測範圍以及最高的深度準確度。然而，基於幾個因素，光達感測器的資料解析度和採樣率會被限制。
例如，用於獲取深度體積的光束的數量會被限制。圖1B示出了低解析度光達資料和高解析度光達資料之間的比較。低解析度光達資料例如是由具有較少數量激光束（例如，16個光束）的光達所採用的投射點雲量，而高解析度光達資料則例如是由具有較多數量激光束（例如64個光束）的光達所採用的投射點雲量。在當前版本的各種光達傳感器（transducer）中，權衡關係很明顯，例如，更實惠的光達將具有較少數量的光束（即，圖1B中所繪示的16個光束的光達），並且較少數量的光束的光達會產生較少數量的點/秒，但是較少數量的光束的光達消耗的電力較少。通過這些權衡，存在一些可能的影響，這些影響包括，例如，當物體加速時所能獲取的相應的點雲較少（如圖1B所繪示），因而難以識別具有稀疏點雲的物體。
在各種光達傳感器的當前版本中，權衡關係可能是顯而易見的，例如，較近的物體可能具有較多的點雲，而較小尺寸的物體可能具有較少的點雲。通過這些權衡，存在一些可能的影響，這些影響包括，例如，對於有意義的分析而言，較小尺寸物體的點雲數量是極低的，因而會困難於識別較小尺寸物體，並且當物體加速時可能會獲得的相應的點雲較少。
基於上述權衡關係，通過從稀疏點雲到稠密點雲的轉換來提高檢測可靠性的深度高採樣率方法是必要的。可以通過深度高採樣率技術來實現一些目標。舉例來說，由於每個像素可以採用深度值作為深度結果，且由於檢測結果可以更精細地分割而不是僅使用邊界框（bounding box），因而可以實現更精確的路徑規劃。此外，通過使用稠密深度圖-檢測演算法可以實現更好的檢測準確度，因物體的相對位置，大小或速度（即加速度）而可以更準確地檢測物體。整個系統可以是負擔得起的系統，因為深度高採樣率可以利用從低成本光達所獲得的稠密深度圖而並非利用從高端光達獲得的深度圖。
因此，本揭露涉及一種由自動駕駛車輛使用的深度估計裝置、一種使用所述深度估計裝置的自動駕駛車輛及其深度估計方法。
在示範性實施例中的一個中，本揭露涉及一種深度估計裝置，所述深度估計裝置應包含（不限於）：第一類型感測器，用於產生第一感測器資料；第二類型感測器，用於產生第二感測器資料；以及處理器，耦接至所述第一類型感測器以及所述第二類型感測器，且至少配置成用於：通過使用第一分割演算法來處理所述第一感測器資料，以產生第一分割結果，以及通過使用第二分割演算法來處理所述第一感測器資料，以產生第二分割結果；通過使用資料校準演算法來同步所述第一分割結果的參數及所述第二感測器資料的參數，以產生包括多個片段的同步後第二感測器資料，其中所述多個片段中的部分片段包括多個點雲；通過使用第一深度估計演算法來融合所述第一分割結果以及所述同步後第二感測器資料，以產生第一深度結果；以及通過使用第二深度估計演算法來融合所述第二分割結果與所述第一深度結果，以產生第二深度結果。
在示範性實施例中的一個中，本揭露涉及一種自動駕駛車輛，所述自動駕駛車輛包含（不限於）深度估計裝置，其包含：第一類型感測器，用於產生第一感測器資料；第二類型感測器，用於產生第二感測器資料；以及處理器，耦接至所述第一類型感測器以及所述第二類型感測器，且至少配置成用於：通過使用第一分割演算法來處理所述第一感測器資料，以產生第一分割結果，以及通過使用第二分割演算法來處理所述第一感測器資料，以產生第二分割結果；通過使用資料校準演算法來同步所述第一分割結果的參數及所述第二感測器資料的參數，以產生包括多個片段的同步後第二感測器資料，其中所述多個片段中的部分片段包括多個點雲；通過使用第一深度估計演算法來融合所述第一分割結果以及所述同步後第二感測器資料，以產生第一深度結果；以及通過使用第二深度估計演算法來融合所述第二分割結果與所述第一深度結果，以產生第二深度結果。
在示範性實施例中的一個中，本揭露涉及一種由自動駕駛車輛使用的深度估計方法，所述方法應包含（不限於）：通過使用第一類型感測器來產生第一感測器資料；通過使用第二類型感測器來產生第二感測器資料；通過使用第一分割演算法來處理所述第一感測器資料，以產生第一分割結果，以及通過使用第二分割演算法來處理所述第一感測器資料，以產生第二分割結果；通過使用資料校準演算法來同步所述第一分割結果的參數及所述第二感測器資料的參數，以產生包括多個片段的同步後第二感測器資料，其中所述多個片段中的部分片段包括多個點雲；通過使用第一深度估計演算法來融合所述第一分割結果以及所述同步後第二感測器資料，以產生第一深度結果；以及通過使用第二深度估計演算法來融合所述第二分割結果與所述第一深度結果，以產生第二深度結果。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
現在將詳細參考本揭露的當前示範性實施例，附圖中示出了所述示範性實施例的實例。只要有可能，相同的參考標號在圖式和描述中用以指代相同或相似部分。
本揭露提供自動駕駛車輛的架構，以估計自動駕駛車輛的特定視野（field of view， FOV）的深度圖，並且將從深度估計裝置，使用所述深度估計裝置的自動駕駛車輛以及深度估算方法的角度來說明所述架構。所述裝置可設置在自動駕駛車輛內，所述自動駕駛車輛可以在而無需人為干預的情況下自動操作，因此估計車輛的高分辨率深度圖（high-resolution depth map）以執行感測和控制功能將至關重要。所述裝置應包括（但不限於）具有重疊FOV的多個不同感測裝置集合，例如：成像裝置集合，具有用於從周圍擷取二維（two dimensional；2D）彩色（RGB）資料的一個或多個影像感測器；光達感測器集合，具有用於從周圍擷取三維（three dimensional；3D）點雲體積（point clouds volume）的一個或多個光達傳感器；以及處理單元，至少配置成為執行影像校正演算法，遮擋修正演算法，資料校準演算法，一組分割演算法，以及一組深度估計演算法，用以使每種類型的感測器產生高解析度深度圖。基於所提供的架構，可以增加深度圖的解析度，以便提升高解析度深度圖的準確度。圖2到圖5以其它細節闡明所提供的深度估計架構。
圖2示出根據本揭露的示範性實施例中的一個的深度估計裝置的硬體方塊圖。深度估計裝置200應包括（但不限於）第一類型感測器210，第二類型感測器220和處理器230。第一類型感測器210可以是成像感測器，例如將指定FOV內的可見光捕獲到2D影像中的彩色影像感測器。第二類型感測器202可以是成像感測器或測距感測器，例如從指定FOV內取樣反射訊號並相應地重構建3D體積的光達感測器。處理器230將至少配置為通過使用第一分割演算法來處理第一感測器資料以產生第一分割結果，以及通過使用第二分割演算法來處理第一感測器資料以產生第二分割結果。
處理器230將隨後被配置為通過使用資料校準演算法來同步第一分割結果的參數及第二感測器資料的參數，以產生包括多個片段的同步後第二感測器資料，其中多個片段中的一部分可包括多個點雲。需要注意的是，在其他實施例中，可以是多個片段中的每一個片段均包括多個點雲，本領域具通常知識者可以依據實際情況及要求來自動調整。接著，處理器230將被配置為通過使用第一深度估計演算法來融合第一分割結果和同步後第二感測器資料以產生第一深度結果。最後，處理器230將被配置為通過使用第二深度估計演算法來融合第二分割結果和第一深度結果以產生第二深度結果。以此方式，本發明通過兩階段的分割演算法、資料校準演算法以及兩階段的深度估計演算法來提升深度圖的解析度。
圖3示出根據本揭露的示範性實施例中的一個的使用深度估計裝置的自動駕駛車輛。自動駕駛車輛300應包括（但不限於）如圖2所示的深度估計裝置200。
圖4示出是根據本揭露的示範性實施例中的一個使用深度估計裝置的深度估計方法的步驟的流程圖。在步驟S410中，深度估計裝置將通過使用第一類型感測器產生第一感測器資料。在步驟S420中，深度估計裝置將通過使用第二類型感測器產生第二感測器資料。在步驟S412中，深度估計裝置將通過使用第一分割演算法來處理第一感測器資料以產生第一分割結果，以及通過使用第二分割演算法來處理第一感測器資料以產生第二分割結果。
詳細來說明，通過使用第一分割演算法（即步驟S412）來處理第一感測器資料的步驟包括：基於第一感測器資料的顏色資訊，通過使用第一分割演算法來處理第一感測器資料。此外，通過使用第二分割演算法來處理第一感測器資料的步驟（即步驟S412）包括：基於第一感測器資料的物體資訊，通過使用第二分割演算法來處理第一感測器資料。
在步驟S421中，深度估計裝置將通過使用資料校準演算法來同步第一分割結果的參數及第二感測器資料的參數，以生成包括多個片段的同步後第二感測器資料，其中多個片段中一部分的片段可以包括多個點雲。需要注意的是，在其他實施例中，可以是多個片段中的每一個片段均包括多個點雲，本領域技術人員可以依據實際情況及要求自動地進行調整。在步驟S422中，深度估計裝置將通過使用第一深度估計演算法來融合第一分割結果和同步後第二感測器資料以產生第一深度結果。最後，深度估計裝置將在步驟S430中通過使用第二深度估計演算法來融合第二分割結果與第一深度結果，以產生第二深度結果。
圖5~圖15B用一些示範性實施例和實例闡明所提供的深度估計架構。圖5示出根據本揭露的示範性實施例中的一個的深度估計架構的詳細方塊圖。圖6A~圖6F示出根據本揭露的示範性實施例中的一個的深度估計方法的一個實施實例。請同步參照圖5及圖6A~圖6F，待描述的架構將包括深度估計裝置，其利用多種類型的感測裝置（例如是圖6A中所示的彩色攝影機視場和光達傳感器視場）以通過針對重疊FOV（如圖6B所示）上的每種類型的感測裝置使用多個演算法來執行深度估計，其中彩色攝影機的FOV的距離是100米，並且光達感測器的FOV角度是360度。多種類型的感測裝置可包括第一類型感測器（例如是圖5中所示的彩色攝影機陣列501）以及第二類型感測器（例如是圖5中所示的光達傳感器陣列502）。
具體而言，在彩色影像資料步驟S510中，彩色攝影機陣列501在自動駕駛車輛的視場內拍攝圖像並對應地產生第一感測器資料（例如是彩色影像資料）。在深度體積資料步驟S520中，光達傳感器陣列502還採用自動駕駛車輛周圍的點雲體積並相應地產生第二感測器資料（例如是深度體積資料），其中深度體積資料是稀疏深度資料（如圖6D所繪示）。詳細來說明，稀疏/稠密等術語是指影像的解析度。處理器耦接至彩色攝影機陣列501和光達傳感器陣列502，並且處理器至少配置成用於處理彩色影像資料以及深度體資料。進一步來說明，在影像校正步驟S511中，處理器將通過使用影像校正演算法來處理彩色影像資料，以去除彩色影像資料的空間失真，並且處理器將產生校正後第一感測器資料（例如，圖6C所繪示的校正後彩色影像資料）。
在基於顏色的分割步驟S512a中，處理器將通過使用第一分割演算法以基於校正後彩色影像資料的顏色資訊來處理校正後彩色影像資料（如圖6C所繪示），以產生第一分割結果。在基於物體的分割步驟S512b中，處理器將通過使用第二分割演算法以基於校正後彩色影像資料的物體資訊來處理校正後彩色影像資料，以產生第二分割結果。換句話說，處理器將基於校正後彩色影像資料的顏色資訊來分割校正後彩色影像，以產生第一分割結果，並且第一分割結果中包括多個片段。此外，處理器將基於校正後彩色影像資料的物體資訊來對校正後彩色影像進行分割，以產生第二分割結果。
需要注意的是，在其他實施例中，處理器也可以在彩色影像資料步驟S510中，直接以彩色攝影機陣列501所產生的第一感測器資料（即彩色影像資料）進行基於顏色的分割步驟S512a以及基於物體的分割步驟S512b，亦即圖5的繪示僅用以作為示範性實施例，並不用以限制本發明。
在資料校準步驟S521中，處理器將通過使用資料校準演算法來同步第一分割結果的參數及第二感測器資料的參數，以產生同步後第二感測器資料。另外，同步後第二感測器資料包括多個片段，其中多個片段中一部分的片段可以包括多個點雲，並且同步後第二感測器資料為稀疏深度資料（如圖6E所繪示）。需要注意的是，在其他實施例中，也可以是多個片段的每個片段均包括多個點雲，本領域具通常知識者可以依據實際情況及要求自動地調整。接著，處理器將通過使用第一深度估計演算法來融合第一分割結果與同步後第二感測器資料，以在顏色導向的深度估計步驟S522中產生第一深度結果。
換句話說，處理器將基於校正後彩色影像資料的顏色資訊將同步後第二感測器資料映射到第一分割結果，以產生第一深度結果。在物體導向的深度估計步驟S530中，處理器隨後通過使用第二深度估計演算法來融合第二分割結果與第一深度結果，以生成第二深度結果（例如是圖6F中所繪示的高解析度深度圖）。也就是說，處理器會基於校正後彩色影像資料的顏色資訊來融合第二分割結果與第一深度結果，以產生第二深度結果（即高解析度深度圖），其中高解析度深度圖為稠密深度資料。如此一來，本揭露便可藉由彩色攝影機陣列501、光達傳感器陣列502以及處理器，以透過影像校正演算法，兩階段的分割演算法，資料校準演算法和兩階段的深度估計演算法來改善深度圖的分辨率。
圖7示出根據本揭露的示範性實施例中的一個的深度估計架構的詳細方塊圖。在本實施例中，多種類型的感測裝置可包括第一類型感測器（例如是彩色攝影機陣列701）和第二類型感測器（例如是光達傳感器陣列702）。在彩色影像資料步驟S710中，彩色攝影機陣列701會拍攝自動駕駛車輛附近的影像並相應地產生第一感測器資料（例如是彩色影像資料）。在深度體積資料步驟S720中，光達傳感器陣列702在自動駕駛車輛附近拍攝影像並對應地產生第二感測器資料（例如是深度體積資料），其中深度體積資料為稀疏深度資料。處理器耦接至彩色攝影機陣列701以及光達傳感器陣列702，並且處理器至少被配置為處理彩色影像資料及深度體積資料。
在詳細描述中，圖8A示出根據本揭露的示範性實施例中的一個的影像校正演算法。請同步參照圖7及圖8A，處理器將通過使用影像校正演算法（即，圖7及圖8A中所繪示的影像校正步驟S711）來處理彩色影像資料，以去除彩色影像資料的空間失真，處理器將在校正後彩色影像資料步驟S711a中產生校正後第一感測器資料（例如是校正後彩色影像資料）。具體而言，處理器將去除由透鏡效應所引起的彩色影像資料（例如，圖8A中所示的2D-30Hz彩色影像（C'））的空間失真。舉例來說，在2D-30Hz彩色影像（C'）中的背板是彎曲的（即失真現象），而處理器將會移除2D-30Hz彩色影像（C'）的空間失真，並利用部分轉換矩陣703產生校正後第一感測器資料（例如，圖8A中所繪示的2D-30Hz彩色影像（C）），其中2D-30Hz彩色影像（C）中的背板已變成平面的。
接著，圖8B示出根據本揭露的示範性實施例中的一個的第一分割演算法。圖8C示出根據本揭露的示範性實施例中的一個的第二分割演算法。請同步參照圖7、圖8B及圖8C，處理器將基於校正後彩色影像資料的顏色資訊，通過使用第一分割演算法（即，圖7和圖8B所繪示的基於顏色的分割步驟S712a）處理校正後彩色影像資料，以產生第一分割結果。具體來說，處理器將分析校正後彩色影像資料（例如，圖8B中所繪示的2D-30Hz彩色影像（C））並基於2D-30Hz彩色影像（C）的顏色資訊來辨識2D-30Hz彩色影像（C）中相類似的平面，其中顏色資訊包括色調（即顏色），飽和度（即顏色強度）和色值（即亮度）。
處理器接著將基於顏色資訊以將2D-30Hz彩色影像（C）中的所有像素分類為區域方面的片段。處理器將分割2D-30Hz彩色影像（C）以產生包括多個片段的第一分割結果（即，圖8B中所繪示的基於顏色的分割圖（Sc ））。亦即2D-30Hz彩色影像（C）中的所有像素會基於顏色資訊而被分割為不同區域。第一分割結果（即，基於顏色的分割圖（Sc ））被表示為多個片段SEG。而每個片段SEG依賴來自2D-30Hz彩色影像（C）中具有類似分類限定的彩色像素集。附帶一提的，第一分割演算法可例如是簡單的線性迭代分群（simple linear iterative clustering，SLIC）技術。
與此同時，處理器將基於校正後彩色影像資料的物體資訊，通過使用第二分割演算法（即圖7和圖8C所繪示的基於物體的分割步驟S712b）來處理校正後彩色影像資料，以產生第二分割結果（例如，圖8C中所繪示的基於物體的分割圖（So ））。具體來說，處理器將基於物體資訊，以將修正後彩色影像中的所有像素（例如，圖8C中所示的2D-30Hz彩色影像（C））分類為區域方面的片段。物體導向圖可幫助識別在先前分割方案中最初未定義的整個上下區域，並且物體導向圖可提高圖2中所繪示的顏色導向的深度估計步驟S722的準確度。
接著，處理器將基於2D-30Hz彩色影像（C）的物體資訊來分割2D-30Hz彩色影像（C），以產生第二分割結果（即，圖8C中所繪示的基於物體的分割圖（So ）。）。詳細來說明，2D-30Hz彩色影像（C）中的所有像素會基於物體資訊在不同區域上被分割，其中物體資訊包括車輛，交通錐，機車，行人，天空，道路和其他常見物體類型。第二分割結果（即，基於物體的分割圖（So ））被表示為多個物體片段。每個物體片段依賴來自2D-30Hz彩色影像（C）的用以表示類似的物體的彩色像素組。第二分段演算法則例如是全卷積網絡（fully convolutional network，FCN）技術。
需要說明的是，在其他實施例中，處理器也可以在彩色影像資料步驟S710中，直接對彩色攝影機陣列701產生的第一感測器資料（即彩色影像資料）執行基於顏色的分割步驟S712a以及基於物體的分割步驟S712b，在此並不加以限制，圖7的繪示僅用以作為示範性實施例，並不用以限制本發明。
圖9A~圖9C示出根據本揭露的示範性實施例中的一個的資料校準演算法。請同步參照圖7及圖9A~圖9C，處理器將通過使用資料校準演算法來同步第一分割結果的參數及第二感測器資料的參數，以產生同步後第二感測器資料，其中資料校準演算法包括空間校準步驟S721a（如圖7和圖9A所繪示）和時間校準步驟S721b（如圖7和圖9B~圖9C所繪示）。詳細來說明，資料校準演算法包括：通過使用轉換矩陣703來校準第二感測器資料的空間參數以產生校準後第二感測器資料，並且通過使用時間校準演算法來校準第一分割結果的時間參數和校準後第二感測器資料的時間參數。
具體來說明，處理器將通過使用轉換矩陣703（如圖7及圖9所繪示）來校準第二感測器資料（例如，圖9A中所繪示的3D-20Hz稀疏點雲（L））的空間參數。換句話說，處理器將第二感測器資料從3D資料轉換為具有轉換矩陣703的2D資料，並通過針孔成像原理來產生校準後第二感測器資料（即圖9A中所繪示的2D-20Hz稀疏點雲（
Figure 02_image003
）。詳細來說明，基於深度的預處理將需要具有360度的FOV和採樣率為頻率fL（例如是20Hz）的一個或多個主動式3D深度感測器（即，光達傳感器陣列702）。為了使基於深度的感測器（即，光達傳感器陣列702）和基於色彩的感測器（即，彩色攝影機陣列701）之間的資料同步，則應該使稀疏3D點雲體積資料的空間資訊或坐標系統（例如是
Figure 02_image005
）與來自基於色彩的感測器的稠密2D彩色影像（例如是
Figure 02_image007
）同步。
第二感測器資料（例如是圖9A中所繪示的3D-20Hz稀疏點雲（L））的映射僅在位於2D-30Hz 彩色影像（C）的FOV中的點雲上執行。並且資料校準演算法會使用轉換矩陣703的旋轉矩陣作為：
Figure 107142123-A0304-0002
此外，基於平移矩陣以進一步替換獲取的點：
Figure 107142123-A0304-0003
之後，根據可用的攝影機內部參數來轉換獲取的點，其中內部參數可使用影像校正來獲取：
Figure 107142123-A0304-0004
最後，處理獲取的點以取得原始點雲資料的所需二維呈現：
Figure 107142123-A0304-0005
此外，處理器將通過使用時間校準演算法來校準第一分割結果的時間參數（即，圖8B中所繪示的基於顏色的分割圖（Sc ））與校準後第二感測器資料的時間參數（即，圖9A中所繪示的2D-20Hz稀疏點雲（
Figure 02_image003
）），以產生同步後第二感測器資料。時間校準演算法包括：使第一分割結果的採樣率與校準後第二感測器資料的採樣率同步。詳細來說明，光達傳感器陣列702的採樣率會小於彩色攝影機陣列701的採樣率。
通常，光達傳感器陣列702會具有頻率fL（例如是20Hz）的採樣率，而彩色攝影機陣列701的採樣率則可達到頻率fC（例如是30Hz）。此條件表示需要透過同步技術來將光達傳感器陣列702的資料從20Hz上採樣到30Hz。因此，處理器將會同步第一分割結果的採樣率和校準後第二感測器資料的採樣率。
圖9B中繪示時間校準演算法的插值技術。依據圖9B的繪示，光達傳感器陣列702每50毫秒（ms）可拍攝一個點雲體積，因此光達傳感器陣列702可以分別在時間0ms、50ms、100ms、150ms、200ms、250ms和300ms處（如圖9B所繪示）拍攝點雲體積。而彩色攝影機陣列701則可以每33ms拍攝一張影像，因此彩色攝影機陣列701可以在時間0ms、33ms、67ms、100ms、133ms、167ms、200ms、233ms、267ms和300ms處（如圖9B所示）拍攝影像。處理器可以直接同步在相同時間（即，0ms、100ms、200ms、300ms）所拍攝的影像。
接著，處理器將對光達傳感器陣列702的前兩個資料執行插值技術。換句話說，處理器將處理光達傳感器陣列702在不同的時間點所拍攝的的資料。處理器將使用光達傳感器陣列702在時間0ms和50ms所拍攝的影像，以產生光達傳感器陣列702在時間67ms的影像。處理器然後將使用光達傳感器陣列702在時間67ms和100ms所拍攝的影像，以產生光達傳感器陣列702在時間133ms的影像，並依此類推，以產生在時間167ms的影像，在時間233ms的影像，在時間267 ms的影像。在這之後，處理器將根據自動駕駛車輛的時間差和自動駕駛車輛的動量開始對基於顏色的分割圖（Sc ）和3D-20Hz稀疏點雲（L）進行同步。
如圖9C所繪示，處理器將考慮自動駕駛車輛和周圍物體的運動可能性來執行插值技術。詳細來說明，在時間校準演算法的插值技術中，處理器將識別在具有新獲取的點雲體積
Figure 02_image017
的每個畫面（例如，畫面t-1，畫面t）中，校準後第二感測器資料（即，如圖9A所繪示的2D-20Hz稀疏點雲（
Figure 02_image003
））中的每個片段（例如，片段SEG）中點雲的設置（例如，點Pt1~Pt2），其中t表示影像資料的時間索引，並且只有一部分的片段會包括多個點雲。換句話說，每個片段SEG是表示為具有多個點雲的片段的其中之一。需要注意的是，在其他實施例中，也可以是多個片段中的每一個片段均包括多個點雲，本領域技術人員可以根據實際情況和要求自動地調整。處理器將濾除與片段SEG中的點不相同的點（例如點Pout），因為點Pout和片段SEG是位於不同的物體上。處理器然後通過找到成對點雲之間的最小歐基里德距離（Euclidean Distance），將
Figure 02_image019
中的每個點雲（例如，點Pt3，Pt4）與
Figure 02_image021
中的每個點雲（例如點Pt1，Pt2）配對為：
Figure 107142123-A0304-0006
其中，
Figure 02_image025
和
Figure 02_image027
表示每個片段SEG中每個點雲值的深度和反射比值。
在第一個分割結果（即基於顏色的分割圖（Sc ））的片段SEG中的每一對點雲中，於t-1時間的新點雲體積（即點Pt5，Pt6）被預測為：
Figure 107142123-A0304-0007
 其中
Figure 107142123-A0304-0008
Figure 02_image037
與
Figure 02_image039
則表示基於色彩的感測器（即，彩色攝影機陣列701）和基於深度的感測器（即，光達傳感器陣列702）的確切時戳。
據此，從同步後第二感測器資料的體積資料重新映射最初獲取或人工產生的所有點雲，採樣率應該已經從頻率fL（即20Hz）被同步至頻率fC（即30Hz）。
圖10A~圖10C示出根據本揭露的示範性實施例中的一個的遮擋修正演算法。請同步參照圖7和圖10A~圖10C，其中在通過使用第一深度估計演算法來融合第一分割結果和同步後第二感測器資料，以產生第一深度結果（即，顏色導向的深度估計步驟S722）的步驟之前，處理器更用以：通過使用遮擋修正演算法（即遮擋修正步驟S740）來處理同步後第二感測器資料，其中遮擋修正演算法包括：掃描所有片段；識別多個片段中的每個片段的多個點雲的設置，以在多個片段中的各部分片段中找到被遮擋點以及多個非被遮擋點；以多個片段中的各部分片段中的多個非被遮擋點的平均深度值，替換被遮擋點的深度值。
詳細地說，圖10A示出本揭露的示範性實施例中的一個的彩色攝影機陣列701和光達傳感器陣列702的設置位置。在本實施例中，第一類型感測器具有比第二類型感測器低的設置位置，例如，彩色攝影機陣列701的設置位置是被設置在車輛V100的引擎蓋上，而光達傳感器陣列702的設置位置則是被設置在車輛V100的車頂上。據此，光達傳感器陣列702的FOV可以大於彩色攝影機陣列701的FOV，因此，光達傳感器陣列702可以拍攝到被另一物體（例如物體OB2）所遮擋的物體（例如物體OB1）的點雲體積，其中物體OB2比物體OB1更靠近車輛V100。換句話說，由於物體OB2的遮擋，彩色攝影機陣列701無法拍攝到物體OB1的影像。遮擋修正將會修正物體OB2的深度之外的點雲，如圖10A所繪示。
因此，處理器將被配置為通過使用遮擋修正演算法來處理同步後第二感測器資料。關於遮擋修正演算法的細節，處理器將以第一分割結果（即，圖10B中所繪示的基於顏色的分割圖（Sc ））來處理同步後第二感測器資料（即，如圖10B所繪示的2D-30Hz稀疏點雲（
Figure 02_image003
）），以產生2D-30Hz稀疏點雲（
Figure 02_image041
）（如圖10B所繪示）。
詳細來說明，處理器將通過掃描視窗SW1（如圖10C所繪示）來掃描2D-30Hz稀疏點雲（
Figure 02_image041
）中的所有片段。舉例來說，片段SEG是2D-30Hz稀疏點雲（
Figure 02_image041
）中多個片段的其中之一。處理器便會識別多個片段中的每個片段的多個點雲的設置，以找到被遮擋點（例如，片段SEG中的被遮擋點P100）以及多個非被遮擋點（例如，片段SEG中的其他點）。接著，處理器將以掃描視窗SW1中的多個片段的各部分片段中的多個非被遮擋點的平均深度值，來替換被遮擋點P100的深度值。如此一來，被遮擋點P100可以被修正爲非被遮擋點，並且處理器將在修正後深度體積資料步驟S740a中產生同步後第二感測器資料（即，修正後同步後第二感測器資料），其中修正後同步後第二感測器資料是稀疏深度資料。
在使第二感測器資料的空間參數及時間參數，與第一分割結果的空間參數及時間參數同步之後，執行深度估計演算法。在此以兩階段的演算法來執行深度估計演算法，第一深度估計演算法（即，顏色導向的深度估計）和第二深度估計演算法（即，物體導向的深度估計）。圖11A~圖11B示出根據本揭露的示範性實施例中的一個的第一深度估計演算法。請同步參照圖7和圖11A~圖11B，在顏色導向的深度估計步驟S722中，處理器將通過使用第一深度估計演算法來融合第一分割結果和同步後第二感測器資料，以產生第一深度結果（如圖7和圖11A~圖11B所繪示）。
詳細來說明，第一深度估計演算法包括：計算所述多個片段的各所述部分片段中的所述多個點雲的平均深度值，並以所述多個片段中各所述部分片段對應的所述平均深度值填充所述多個片段中各所述部分片段的深度值。更具體來說，處理器將計算同步後第二感測器資料（例如圖10B中所繪示的2D-30Hz稀疏點雲（
Figure 02_image043
）中具有多個點雲的各部分片段（例如，片段SEG）中的多個點雲（即，圖11A中所繪示的片段SEG中的點雲）的平均深度值。
處理器然後將以所述多個片段中各所述部分片段對應的所述平均深度值填充所述多個片段中各所述部分片段（即，圖11A中所繪示的片段SEG）的深度值，以產生第一深度結果（即，圖11B中所繪示的高解析度深度圖（D））。如此一來，處理器可以通過使用第一深度估計演算法來融合第一分割結果（即，圖11B中所繪示的基於顏色的分割圖（Sc ））和同步後第二感測器資料（即，圖11B所繪示的2D-30Hz稀疏點雲（
Figure 02_image041
）），以產生第一深度結果（即，圖11B中所繪示的高解析度深度圖（D））。
圖12A~圖12B示出根據本揭露的示範性實施例中的一個的第二深度估計演算法。請同步參照圖7及圖12A~圖12B，在物體導向的深度估計步驟S730（如圖7及圖12A~圖12B所繪示）中，處理器將通過使用第二深度估計演算法來融合第二分割結果與第一深度結果，以產生第二深度結果。詳細來說明，第二深度估計演算法包括識別多個片段的設置以找到未定義深度值區域；掃描多個片段，以找到與未定義深度值區域相近的多個片段的最小深度值；並且以最小深度值來填充未定義區域的深度值。
具體來說明，處理器將通過掃描視窗SW2來識別多個片段的設置，以找到未定義深度值區域（例如，圖12A中所繪示的影像中的物體OBS的片段），其中物體OBS包括多個片段SEG。然後處理器將掃描多個片段（即，圖12A中所繪示的影像中與未定義深度區域UNR相近的片段）以找到未定義深度區域UNR相近的多個片段的最小深度值。處理器將以最小深度值（如圖12A所繪示）來填充未定義深度值區域UNR的深度值，以產生第二深度結果（例如，圖12B中所繪示的高解析度深度圖（D'））。
如此一來，處理器可以通過使用第二深度估計演算法來融合第二分割結果（即，圖12B中所繪示的基於物體的分割圖（So ））與第一深度結果（即，圖12B中所繪示的高解析度深度圖（D）），以產生第二深度結果（即，圖12B中所繪示的高解析度深度圖（D'）），其中第二深度結果為稠密深度資料。據此，本公開藉由彩色攝影機陣列701，光達傳感器陣列702和處理器，以通過影像校正演算法，兩階段的分割演算法，資料校準演算法和兩階度的深度估計演算法來改善深度圖的解析度。
圖13A~圖13C示出根據本揭露的示範性實施例中的一個的深度估計方法的另一實施實例。自動駕駛車輛V1310包括深度估計裝置1300。深度估計裝置1300包括前右光達1302a，前左光達1302b，前攝影機1301以及處理單元1303。前右光達1302a、前左光達1302b以及前攝影機1301耦接至處理單元1303，其中處理單元1303例如是具有Intel Core i7 @ 2.4GHz 4GB 隨機存取記憶體（random access memory，RAM）和NVidia GeForce 940M 2GB 視訊記憶體（video RAM，VRAM），並且在Ubuntu 16.04 LTS上運行的個人計算機。
請同步參照圖13A~圖13C，深度估計裝置1300可以準確地估計同步後第二感測器資料（即，圖13B中所繪示的具有彩色影像的2D-20Hz稀疏光達）的稠密深度值，並可估計第二深度結果的稠密深度值（即，圖13C中所繪示的2D-30Hz高解析度深度圖）。此外，上述實施例所實現的平均複雜度可達到每秒26.232畫面（frame per second，FPS）（或每畫面38.122ms）。通過對顏色導向和物體導向的估計（例如是邊界框區域）來應用有限的計算區域，可以簡單地減少深度估計裝置1300的複雜度。換句話說，處理單元1303將被配置至少用以執行影像校正演算法以產生校正後第一感測器資料，執行兩階段的分割演算法以產生第一分割結果和第二分割結果，執行資料校準演算法以產生同步後第二感測器資料，並執行兩階段的深度估計演算法以產生第一深度結果（即，圖13B中所繪示的具有彩色影像的2D-20Hz稀疏光達）和第二深度結果（即，圖13C中所繪示的2D-30Hz高解析度深度圖）。
需要注意的是，深度估計裝置1300與圖2、圖5或圖7實施例中所繪示的深度估計裝置相同或相類似，在此不重複贅述。
圖14A~圖14E示出根據本揭露的示範性實施例中的一個的深度估計方法的另一實施實例。自動駕駛車輛V1410包括深度估計裝置1400。深度估計裝置1400包括第一類型感測器（例如，立體攝影機1401）、第二類型感測器（例如，威力登雷射掃描器1402）、全球定位系統（Global Positioning System，GPS）1404和處理器1403。威力登雷射掃描器1402、立體攝像機1401以及GPS 1404耦接至處理器1403，其中處理器1403例如是具有Intel Core i7 @ 2.4GHz 4GB 隨機存取記憶體和NVidia GeForce 940M 2GB 視訊記憶體，並且在Ubuntu 16.04 LTS上運行的個人計算機。
由立體攝像機1401所拍攝的影像如圖14B所繪示。由威力登雷射掃描器1402所拍攝的影像如圖14C所繪示。詳細來說名，處理器1403將被配置為至少用以執行影像校正演算法以產生校正後第一感測器資料，執行兩階段的分割演算法以產生第一分割結果和第二分割結果，執行資料校準演算法以產生同步後第二感測器資料，並執行兩階段的深度估計演算法以產生第一深度結果（如圖14D所繪示）和第二深度結果，其中第二深度結果為稠密高解析度深度圖（如圖14E所示）。
需要注意的是，深度估計裝置1400與圖2、圖5或圖7實施例中所繪示的深度估計裝置相同或相類似，在此不重複贅述。
綜上所述，本揭露提供適合用於自動駕駛車輛的深度估計裝置。具體地說，本揭露的目的可包含：通過使用所提供的兩階段的分割的來改善來自各感測器的深度圖的解析度，通過考慮影像的特性來設計所提供的兩階段的分割，並且提供基於顏色資訊和物體資訊的兩階段的深度估計。通過這種方式，可以提高深度估計的準確性。
本申請所揭露的實施例的詳細描述中使用的元件、動作或指令不應解釋為對本揭露來說絕對關鍵或必要的，除非明確地如此描述。而且，如本文中所使用，不定冠詞“一（a/an）”可以包含一個以上專案。如果意圖表示只有一個專案，那麼能夠使用術語“單個”或類似語言。此外，如本文中所使用，在多個項目和/或多個項目種類的列表之前的術語“中的任一個”意圖包含所述項目和/或項目種類個別地或結合其它項目和/或其它項目種類“中的任一個”、“中的任何組合”、“中的任何多個”和/或“中的多個的任何組合”。此外，如本文中所使用，術語“集合”意圖包含任何數目個專案，包含零個。此外，如本文中所使用，術語“數目”意圖包含任何數目，包含零。
本領域的技術人員將顯而易見，在不脫離本揭露的範圍或精神的情況下，可對所揭露的實施例的結構作出各種修改和變化。鑒於前述內容，意圖本揭露涵蓋屬於隨附權利要求書和其等效物的範圍內的本揭露的修改及變化。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
200、1300、1400:深度估計裝置210:第一類型感測器220:第二類型感測器230:處理器300、V1310、V1410:自動駕駛車輛S410、S412、S420、S421、S422、S430:步驟501、701:彩色攝影機陣列502、702:光達傳感器陣列S510、S710:彩色影像資料步驟S511、S711:影像校正步驟S512a、S712a:基於顏色的分割步驟S512b、S712b:基於物體的分割步驟S520、S720:深度體積資料步驟S521:資料校準步驟S522、S722:顏色導向的深度估計步驟S530、S730:物體導向的深度估計步驟703:轉換矩陣S711a:校正後彩色影像資料步驟S721a:空間校準步驟S721b:時間校準步驟S740:遮擋修正步驟S740a:修正後深度體積資料步驟SEG:片段Pt1~Pt6、Pout:點t、t-1、t+1:時間OB1、OB2、OBS:物體V100:車輛SW1、SW2:掃描視窗P100:被遮擋點UNR:未定義深度值區域1301:前攝影機1302a:前右光達1302b:前左光達1303:處理單元1401:立體攝影機1402:威力登雷射掃描器1403:處理器1404:全球定位系統
圖1A示出了可用於產生深度圖的各種感測器。 圖1B示出了低解析度光達資料和高解析度光達資料之間的比較。 圖2示出根據本揭露的示範性實施例中的一個的深度估計裝置的硬體方塊圖。 圖3示出根據本揭露的示範性實施例中的一個的使用深度估計裝置的自動駕駛車輛。 圖4示出是根據本揭露的示範性實施例中的一個使用深度估計裝置的深度估計方法的步驟的流程圖。 圖5示出根據本揭露的示範性實施例中的一個的深度估計架構的詳細方塊圖。 圖6A~圖6F示出根據本揭露的示範性實施例中的一個的深度估計方法的一個實施實例。 圖7示出根據本揭露的示範性實施例中的一個的深度估計架構的詳細方塊圖。 圖8A示出根據本揭露的示範性實施例中的一個的影像校正演算法。 圖8B示出根據本揭露的示範性實施例中的一個的第一分割演算法。 圖8C示出根據本揭露的示範性實施例中的一個的第二分割演算法。 圖9A~圖9C示出根據本揭露的示範性實施例中的一個的資料校準演算法。 圖10A~圖10C示出根據本揭露的示範性實施例中的一個的遮擋修正演算法。 圖11A~圖11B示出根據本揭露的示範性實施例中的一個的第一深度估計演算法。 圖12A~圖12B示出根據本揭露的示範性實施例中的一個的第二深度估計演算法。 圖13A~圖13C示出根據本揭露的示範性實施例中的一個的深度估計方法的另一實施實例。 圖14A~圖14E示出根據本揭露的示範性實施例中的一個的深度估計方法的另一實施實例。
S410、S412、S420、S421、S422、S430:步驟

Claims (19)

  1. 一種深度估計裝置，包括：第一感測器，用於產生第一感測器資料；第二感測器，用於產生第二感測器資料；以及處理器，耦接至所述第一感測器以及所述第二感測器，且至少配置成用於：通過使用第一分割演算法來處理所述第一感測器資料，以產生第一分割結果，以及通過使用第二分割演算法來處理所述第一感測器資料，以產生第二分割結果；通過使用資料校準演算法來同步所述第一分割結果的參數及所述第二感測器資料的參數，以產生包括多個片段的同步後第二感測器資料，其中所述多個片段中的部分片段包括多個點雲；通過使用第一深度估計演算法來融合所述第一分割結果以及所述同步後第二感測器資料，以產生第一深度結果；以及通過使用第二深度估計演算法來融合所述第二分割結果與所述第一深度結果，以產生第二深度結果，其中所述處理器至少配置成用於通過使用所述第一分割演算法來處理所述第一感測器資料包括基於所述第一感測器資料的顏色資訊，通過使用所述第一分割演算法來處理所述第一感測器資料，以及 所述處理器至少配置成用於通過使用所述第二分割演算法來處理所述第一感測器資料包括基於所述第一感測器資料的物體資訊，通過使用所述第二分割演算法來處理所述第一感測器資料。
  2. 如申請專利範圍第1項所述的深度估計裝置，其中在通過使用所述第一深度估計演算法來融合所述第一分割結果以及所述同步後第二感測器資料，以產生所述第一深度結果的步驟之前，所述處理器進一步配置成用於：通過使用遮擋修正演算法來處理所述同步後第二感測器資料，其中所述遮擋修正演算法包括：掃描所有片段；識別各所述多個片段中的所述多個點雲的設置，以在所述多個片段中的各所述部分片段中找到被遮擋點以及多個非被遮擋點；以及以所述多個片段中的各所述部分片段中的所述多個非被遮擋點的平均深度值，替換所述被遮擋點的深度值。
  3. 如申請專利範圍第1項所述的深度估計裝置，其中所述第一深度估計演算法包括：計算所述多個片段的各所述部分片段中的所述多個點雲的平均深度值；以及以所述多個片段中各所述部分片段對應的所述平均深度值填充所述多個片段中各所述部分片段的深度值。
  4. 如申請專利範圍第1項所述的深度估計裝置，其中所述第二深度估計演算法包括：識別所述多個片段，以找到未定義深度值區域；掃描所述多個片段，以找到與所述未定義深度值區域相近的多個片段的最小深度值；以及以所述最小深度值填充所述未定義區域的深度值。
  5. 如申請專利範圍第1項所述的深度估計裝置，其中所述資料校準演算法包括：通過使用轉換矩陣來校準所述第二感測器資料的空間參數，以產生校準後第二感測器資料；以及通過使用時間校準演算法來校準所述第一分割結果的時間參數以及所述校準後第二感測器資料的時間參數，以產生同步後第二感測器資料。
  6. 如申請專利範圍第5項所述的深度估計裝置，其中所述時間校準演算法包括：同步所述第一分割結果的採樣率以及所述校準後第二感測器資料的採樣率。
  7. 如申請專利範圍第1項所述的深度估計裝置，其中所述第一感測器的設置位置低於所述第二感測器的設置位置。
  8. 如申請專利範圍第1項所述的深度估計裝置，其中所述第一感測器包括攝影機，並且所述第二感測器包括光達感測器。
  9. 如申請專利範圍第1項所述的深度估計裝置，其中在通過使用第一分割演算法來處理所述第一感測器資料，以產生第一分割結果，以及通過使用第二分割演算法來處理所述第一感測器資料，以產生第二分割結果的步驟之前，所述處理器進一步配置成用於：通過使用影像校正演算法來處理所述第一感測器資料，以去除所述第一感測器資料的空間失真。
  10. 一種自動駕駛車輛，包括：深度估計裝置，包括：第一感測器，用於產生第一感測器資料；第二感測器，用於產生第二感測器資料；以及處理器，耦接至所述第一感測器以及所述第二感測器，且至少配置成用於：通過使用第一分割演算法來處理所述第一感測器資料，以產生第一分割結果，以及通過使用第二分割演算法來處理所述第一感測器資料，以產生第二分割結果；通過使用資料校準演算法來同步所述第一分割結果的參數及所述第二感測器資料的參數，以產生包括多個片段的同步後第二感測器資料，其中所述多個片段中的部分片段包括多個點雲；通過使用第一深度估計演算法來融合所述第一分割結果以及所述同步後第二感測器資料，以產生第一深度結果；以及通過使用第二深度估計演算法來融合所述第二分割結果與所 述第一深度結果，以產生第二深度結果，其中所述處理器至少配置成用於通過使用所述第一分段演算法來處理所述第一感測器資料包括基於所述第一感測器資料的顏色資訊，通過使用所述第一分割演算法來處理所述第一感測器資料，以及所述處理器至少配置成用於通過使用所述第二分割演算法來處理所述第一感測器資料包括基於所述第一感測器資料的物體資訊，通過使用所述第二分割演算法來處理所述第一感測器資料。
  11. 如申請專利範圍第10項所述的自動駕駛車輛，其中在通過使用所述第一深度估計演算法來融合所述第一分割結果以及所述同步後第二感測器資料，以產生所述第一深度結果的步驟之前，所述處理器進一步配置成用於：通過使用遮擋修正演算法來處理所述同步後第二感測器資料，其中所述遮擋修正演算法包括：掃描所有片段；識別各所述多個片段中的所述多個點雲的設置，以在所述多個片段中的各所述部分片段中找到被遮擋點以及多個非被遮擋點；以及以所述多個片段中的各所述部分片段中的所述多個非被遮擋點的平均深度值，替換所述被遮擋點的深度值。
  12. 一種由自動駕駛車輛使用的深度估計方法，所述方法包括：通過使用第一感測器來產生第一感測器資料；通過使用第二感測器來產生第二感測器資料；通過使用第一分割演算法來處理所述第一感測器資料，以產生第一分割結果，以及通過使用第二分割演算法來處理所述第一感測器資料，以產生第二分割結果；通過使用資料校準演算法來同步所述第一分割結果的參數及所述第二感測器資料的參數，以產生包括多個片段的同步後第二感測器資料，其中所述多個片段中的部分片段包括多個點雲；通過使用第一深度估計演算法來融合所述第一分割結果以及所述同步後第二感測器資料，以產生第一深度結果；以及通過使用第二深度估計演算法來融合所述第二分割結果與所述第一深度結果，以產生第二深度結果，其中通過使用所述第一分割演算法來處理所述第一感測器資料的步驟包括基於所述第一感測器資料的顏色資訊，通過使用所述第一分割演算法來處理所述第一感測器資料，以及通過使用所述第二分割演算法來處理所述第一感測器資料的步驟包括基於所述第一感測器資料的物體資訊，通過使用所述第二分割演算法來處理所述第一感測器資料。
  13. 如申請專利範圍第12項所述的深度估計方法，其中在通過使用所述第一深度估計演算法來融合所述第一分割結果以及 所述同步後第二感測器資料，以產生所述第一深度結果的步驟之前，所述深度估計方法更包括：通過使用遮擋修正演算法來處理所述同步後第二感測器資料，其中所述遮擋修正演算法包括：掃描所有片段；識別各所述多個片段中的所述多個點雲的設置，以在所述多個片段中的各所述部分片段中找到被遮擋點以及多個非被遮擋點；以及以所述多個片段中的各所述部分片段中的所述多個非被遮擋點的平均深度值，替換所述被遮擋點的深度值。
  14. 如申請專利範圍第12項所述的深度估計方法，其中所述第一深度估計演算法包括：計算所述多個片段的各所述部分片段中的所述多個點雲的平均深度值；以及以所述多個片段中各所述部分片段對應的所述平均深度值填充所述多個片段中各所述部分片段的深度值。
  15. 如申請專利範圍第12項所述的深度估計方法，其中所述第二深度估計演算法包括：識別所述多個片段，以找到未定義深度值區域；掃描所述多個片段，以找到與所述未定義深度值區域相近的多個片段的最小深度值；以及 以所述最小深度值填充所述未定義區域的深度值。
  16. 如申請專利範圍第12項所述的深度估計方法，其中所述資料校準演算法包括：通過使用轉換矩陣來校準所述第二感測器資料的空間參數，以產生校準後第二感測器資料；以及通過使用時間校準演算法來校準所述第一分割結果的時間參數以及所述校準後第二感測器資料的時間參數，以產生同步後第二感測器資料。
  17. 如申請專利範圍第16項所述的深度估計方法，其中所述時間校準演算法包括：同步所述第一分割結果的採樣率以及所述校準後第二感測器資料的採樣率。
  18. 如申請專利範圍第12項所述的深度估計方法，其中其中所述第一感測器的設置位置低於所述第二感測器的設置位置。
  19. 如申請專利範圍第12項所述的深度估計方法，其中在通過使用第一分割演算法來處理所述第一感測器資料，以產生第一分割結果，以及通過使用第二分割演算法來處理所述第一感測器資料，以產生第二分割結果的步驟之前，所述深度估計方法更包括：通過使用影像校正演算法來處理所述第一感測器資料，以去除所述第一感測器資料的空間失真。
TW107142123A 2018-10-09 2018-11-26 深度估計裝置、自動駕駛車輛及其深度估算方法 TWI709943B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910115287.5A CN111105449B (zh) 2018-10-09 2019-02-14 深度估计装置、自动驾驶车辆及其深度估计方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/154,738 2018-10-09
US16/154,738 US10699430B2 (en) 2018-10-09 2018-10-09 Depth estimation apparatus, autonomous vehicle using the same, and depth estimation method thereof

Publications (2)

Publication Number Publication Date
TW202014990A TW202014990A (zh) 2020-04-16
TWI709943B true TWI709943B (zh) 2020-11-11

Family

ID=70052214

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107142123A TWI709943B (zh) 2018-10-09 2018-11-26 深度估計裝置、自動駕駛車輛及其深度估算方法

Country Status (3)

Country Link
US (1) US10699430B2 (zh)
JP (1) JP6744900B2 (zh)
TW (1) TWI709943B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11244464B2 (en) * 2018-03-09 2022-02-08 Samsung Electronics Co., Ltd Method and apparatus for performing depth estimation of object
US20200137380A1 (en) * 2018-10-31 2020-04-30 Intel Corporation Multi-plane display image synthesis mechanism
US11507789B2 (en) * 2019-05-31 2022-11-22 Lg Electronics Inc. Electronic device for vehicle and method of operating electronic device for vehicle
US11151798B1 (en) * 2019-11-13 2021-10-19 Apple Inc. Depth rate up-conversion
CN111860425B (zh) * 2020-07-30 2021-04-09 清华大学 一种深度多模态跨层交叉融合方法、终端设备及存储介质
TWI812888B (zh) * 2020-10-14 2023-08-21 財團法人工業技術研究院 影像辨識方法及影像辨識系統
TWI802827B (zh) * 2020-12-01 2023-05-21 財團法人國家實驗研究院 校正異常點雲資料之方法
CN112632201B (zh) * 2020-12-12 2022-05-13 武汉中海庭数据技术有限公司 一种交通道路拓扑网构建方法及装置
CN112686204B (zh) * 2021-01-12 2022-09-02 昆明理工大学 一种基于稀疏像素点跟踪的视频测流方法及装置
US11909950B1 (en) * 2021-09-21 2024-02-20 Amazon Technologies, Inc. Three-dimensional (3D) sensor performance evaluation
WO2023162497A1 (ja) * 2022-02-22 2023-08-31 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法及び画像処理プログラム
TWI830363B (zh) * 2022-05-19 2024-01-21 鈺立微電子股份有限公司 用於提供三維資訊的感測裝置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI225222B (en) * 2003-10-22 2004-12-11 Leadtek Research Inc Robust face detection algorithm for real-time video sequence
TWI430150B (zh) * 2009-10-09 2014-03-11 Egalax Empia Technology Inc 二維度感測資訊分析的方法與裝置
TWI509560B (zh) * 2012-08-31 2015-11-21 Egalax Empia Technology Inc 影像分割的方法與裝置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2184713A1 (en) 2008-11-04 2010-05-12 Koninklijke Philips Electronics N.V. Method and device for generating a depth map
CN102687515B (zh) 2010-10-27 2015-07-15 杜比国际公司 三维图像插补装置、三维摄像装置以及三维图像插补方法
US20130095920A1 (en) 2011-10-13 2013-04-18 Microsoft Corporation Generating free viewpoint video using stereo imaging
US9514522B2 (en) * 2012-08-24 2016-12-06 Microsoft Technology Licensing, Llc Depth data processing and compression
JP5818773B2 (ja) 2012-11-22 2015-11-18 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
CN104346608B (zh) 2013-07-26 2017-09-08 株式会社理光 稀疏深度图稠密化方法和装置
US9275078B2 (en) * 2013-09-05 2016-03-01 Ebay Inc. Estimating depth from a single image
US9778363B2 (en) 2013-10-24 2017-10-03 Massachusetts Institute Of Technology Methods and apparatus for coded time-of-flight camera
JP6351238B2 (ja) 2013-11-15 2018-07-04 キヤノン株式会社 画像処理装置、撮像装置および距離補正方法
US20150381972A1 (en) 2014-06-30 2015-12-31 Microsoft Corporation Depth estimation using multi-view stereo and a calibrated projector
WO2017014691A1 (en) 2015-07-17 2017-01-26 Heptagon Micro Optics Pte. Ltd. Generating a distance map based on captured images of a scene
US10282591B2 (en) 2015-08-24 2019-05-07 Qualcomm Incorporated Systems and methods for depth map sampling
CN106162147B (zh) 2016-07-28 2018-10-16 天津大学 基于双目Kinect深度相机系统的深度恢复方法
US9972067B2 (en) 2016-10-11 2018-05-15 The Boeing Company System and method for upsampling of sparse point cloud for 3D registration
CN107767357B (zh) 2017-09-14 2021-04-09 北京工业大学 一种基于多方向字典的深度图像超分辨率方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI225222B (en) * 2003-10-22 2004-12-11 Leadtek Research Inc Robust face detection algorithm for real-time video sequence
TWI430150B (zh) * 2009-10-09 2014-03-11 Egalax Empia Technology Inc 二維度感測資訊分析的方法與裝置
TWI509560B (zh) * 2012-08-31 2015-11-21 Egalax Empia Technology Inc 影像分割的方法與裝置
TWI579797B (zh) * 2012-08-31 2017-04-21 禾瑞亞科技股份有限公司 影像分割的處理器

Also Published As

Publication number Publication date
TW202014990A (zh) 2020-04-16
US10699430B2 (en) 2020-06-30
US20200111225A1 (en) 2020-04-09
JP6744900B2 (ja) 2020-08-19
JP2020061114A (ja) 2020-04-16

Similar Documents

Publication Publication Date Title
TWI709943B (zh) 深度估計裝置、自動駕駛車輛及其深度估算方法
Zhu et al. The multivehicle stereo event camera dataset: An event camera dataset for 3D perception
CN110799918B (zh) 车辆用的方法、设备和计算机可读存储介质、车辆
CN110390719B (zh) 基于飞行时间点云重建设备
CN112346073B (zh) 一种动态视觉传感器与激光雷达数据融合方法
EP3614171B1 (en) Image processing method, computer-readable storage medium, and electronic apparatus
WO2017080108A1 (zh) 飞行装置、飞行控制系统及方法
KR102151815B1 (ko) 카메라 및 라이다 센서 융합을 이용한 객체 검출 방법 및 그를 위한 장치
US10839539B2 (en) System and method for active stereo depth sensing
JP7205613B2 (ja) 画像処理装置、画像処理方法及びプログラム
WO2016199244A1 (ja) 物体認識装置及び物体認識システム
JP2014529727A (ja) 自動シーン較正
GB2475104A (en) Detecting movement of 3D objects using a TOF camera
GB2562037A (en) Three-dimensional scene reconstruction
CN112889272B (zh) 深度图像获取方法、深度图像获取装置及电子装置
JP2018195241A (ja) 情報処理装置、情報処理方法、及びプログラム
Hahne et al. Depth imaging by combining time-of-flight and on-demand stereo
CN115836324A (zh) 具有远程相机对准的双相机hmd
CN109242900B (zh) 焦平面定位方法、处理装置、焦平面定位系统及存储介质
WO2022195954A1 (ja) センシングシステム
CN111105449B (zh) 深度估计装置、自动驾驶车辆及其深度估计方法
EP4071578A1 (en) Light source control method for vision machine, and vision machine
TWI837854B (zh) 深度處理系統及其操作方法
US20240054667A1 (en) High dynamic range viewpoint synthesis
KR102525563B1 (ko) 다중 라이다 및 카메라 센서를 이용한 영상 획득 방법 및 이를 수행하는 컴퓨팅 장치