TWI755765B - 視覺與深度座標系的校正系統、校正方法及校正裝置 - Google Patents

視覺與深度座標系的校正系統、校正方法及校正裝置 Download PDF

Info

Publication number
TWI755765B
TWI755765B TW109121082A TW109121082A TWI755765B TW I755765 B TWI755765 B TW I755765B TW 109121082 A TW109121082 A TW 109121082A TW 109121082 A TW109121082 A TW 109121082A TW I755765 B TWI755765 B TW I755765B
Authority
TW
Taiwan
Prior art keywords
coordinate
coordinate system
coordinate group
calibration
group
Prior art date
Application number
TW109121082A
Other languages
English (en)
Other versions
TW202201039A (zh
Inventor
蕭佩琪
姜皇成
Original Assignee
中強光電股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中強光電股份有限公司 filed Critical 中強光電股份有限公司
Priority to TW109121082A priority Critical patent/TWI755765B/zh
Priority to US17/349,895 priority patent/US11494941B2/en
Publication of TW202201039A publication Critical patent/TW202201039A/zh
Application granted granted Critical
Publication of TWI755765B publication Critical patent/TWI755765B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本發明提供一種視覺與深度座標系的校正系統、校正方法及校正裝置。所述校正方法用於取得視覺感測器與深度感測器之間的座標系轉換關係，包括：(a)建立校正板的四個端點在世界座標系的第一座標組；(b)透過視覺感測器擷取所述校正板的影像，並建立所述校正板的四個端點在二維座標系的第二座標組；(c)根據所述第一座標組與所述第二座標組建立所述校正板的四個端點在三維座標系的第三座標組；以及(d)將第三座標組轉換為對應深度感測器的第四座標組，以根據所述深度感測器所產生的至少三個目標掃描點獲得座標系轉換關係。

Description

視覺與深度座標系的校正系統、校正方法及校正裝置
本發明是有關於一種影像校正技術，且特別是有關於一種用於視覺感測器與深度感測器之間的座標系轉換關係的視覺與深度座標系的校正系統、校正方法及校正裝置。
現今自駕車等自駕技術領域蓬勃發展，因而廣泛了使用視覺感測器與深度感測器來取代人類駕駛對於環境的感知、辨識與定位。常見的視覺感測器例如，彩色相機、單色相機、近紅外光相機。視覺感測器的特徵在於其成本較低且類似於人類的視覺，因此利於物體辨識的用途，然而，其容易受環境與光源的影響而使探測距離不穩定。常見的深度感測器所使用的測距技術例如，結構光、飛行時間測距法(Time of Flight,ToF)、光學雷達(light detection and ranging,LiDAR)(亦稱為光達或雷射雷達)、毫米波雷達 (millimeter wave radar)等測距技術。深度感測器的特徵在於其相對於視覺感測器較不容易受天氣、環境與光源的影響，因此能蒐集穩定的深度資訊，並且對於同步定位與地圖建構(Simultaneous Localization and Mapping,SLAM)、即時避障、立體物體識別等方面具有優勢。然而，其成本較高。據此，實務上的應用為同時搭配視覺感測器與深度感測器以達到截長補短、各司其職的功用。
承上，在視覺感測器與深度感測器的實務應用中，由於視覺感測器與深度感測器會以各自原點為基準成為一個座標系統，若要整合視覺感測器與深度感測器，必須要標定兩者座標系之間的關係，亦即，取得視覺感測器座標系轉換至深度感測器座標系或深度感測器座標系轉換至視覺感測器座標系的座標系轉換關係，所述座標系轉換關係包含旋轉與平移關係，且亦稱為外部參數。
為了更精準地獲得視覺感測器座標系與深度感測器座標系之間的轉換關係，校正所述外部參數的方法陸續被提出。傳統及現有的方法大致可分為兩類：使用標的物的方法與不使用標的物的方法。
舉例而言，使用標的物的方法例如，利用棋盤格校正板來校正單線雷射雷達與視覺感測器(例如，相機)之間的外部參數，透過棋盤格校正板可計算所述棋盤格校正板在相機座標系中的法向量，此些法向量與落在棋盤格校正板上的雷射點之間能形成可作為外部參數的幾何約束，進而透過蒐集多個棋盤格校正板 的位姿來求解外部參數。此外，其他方法則例如是使用不同的標的物來進行校正，例如，箱子、圓孔或三面體。然而，使用特定標的物的方法在實際應用上仍存在許多限制，即，標的物本身要易於被視覺感測器所辨識，標的物本身範圍要夠大且好擺置才能讓視覺感測器與深度感測器皆能偵測到，且標的物要易於製作，否則此些使用標的物的方法皆難以被應用。
另外，不使用標的物的方法例如，在不依賴任何場景或標的物的情況下，只利用雷達回波強度與相機影像灰階之間的互信訊息，從外部參數初始值開始，不斷地優化視覺感測器與深度感測器之間的外部參數。然而，此種方法在實作上存在盲點，易導致外部參數的初始值影響最終結果甚鉅且不容易估測所述外部參數的初始值。此外，由於拍攝校正時使用的場景標準不一致，不同物體材質的雷達回波強度不同，且其與視覺感測器中的灰階並無絕對的關係，因此可能造成最終校正無法收斂。
有鑑於此，本發明提供一種校正方法、校正裝置及視覺與深度座標系的校正系統，可用以解決上述問題。
本發明提供一種校正方法，用於取得視覺感測器與深度感測器之間的座標系轉換關係，所述校正方法包括：(a)建立校正板的四個端點在世界座標系的第一座標組；(b)透過視覺感測器擷取所述校正板的影像，並建立所述校正板的四個端點在二維座標 系的第二座標組；(c)根據所述第一座標組與所述第二座標組建立所述校正板的四個端點在三維座標系的對應視覺感測器的第三座標組；以及(d)將所述第三座標組轉換為對應所述深度感測器的第四座標組，以根據所述深度感測器所產生的至少三個目標掃描點獲得座標系轉換關係。
在本發明的一實施例中，上述的建立所述校正板的所述四個端點在所述二維座標系的所述第二座標組之後的步驟，更包括：根據所述第一座標組與所述第二座標組的幾何對應關係及所述視覺感測器的內部參數，取得所述第一座標組至所述第二座標組之間的第一轉換關係，其中根據所述第一座標組與所述第二座標組建立所述校正板的所述四個端點在所述三維座標系的所述第三座標組的步驟，包括：根據所述第一轉換關係，將所述第一座標組轉換為所述第三座標組。
在本發明的一實施例中，上述的將所述第三座標組轉換為對應所述深度感測器的所述第四座標組的步驟，包括：根據一第二轉換關係，將所述第三座標組轉換為所述第四座標組，其中所述第二轉換關係為所述視覺感測器的座標系轉換至所述深度感測器的座標系的對應關係。
在本發明的一實施例中，上述的至少三個目標掃描點位於所述第四座標組中的所述四個端點所形成的四邊形內。
在本發明的一實施例中，上述的將所述第三座標組轉換為對應所述深度感測器的所述第四座標組，以根據所述深度感測 器所產生的所述至少三個目標掃描點取得所述座標系轉換關係的步驟，包括：計算所述深度感測器所產生的掃描點與所述第四座標組中的所述四個端點所形成的四個三角形面積的總和；將所述四個三角形面積的總和與所述四邊形面積的差值小於一誤差值的掃描點作為目標掃描點，以求解所述第二轉換關係。
在本發明的一實施例中，上述的校正板為平板，且所述校正板的位姿在所述視覺感測器與所述深度感測器的可視範圍內，該校正方法更包括：(e)取得所述校正板的另一位姿，並判斷位姿計數值是否大於或等於目標值，其中倘若所述位姿計數值大於或等於所述目標值，執行步驟(f)，倘若所述位姿計數值小於所述目標值，計數所述位姿計數值，並對所述具有另一位姿的校正板重新執行步驟(a)；以及(f)由所述目標值的數量的位姿所對應的多個目標掃描點來求解所述座標系轉換關係。
在本發明的一實施例中，上述的座標系轉換關係包括所述視覺感測器的座標系轉換至所述深度感測器的座標系的對應關係、旋轉角與平移。
本發明提供一種視覺與深度座標系的校正系統，包括：視覺感測器、深度感測器以及處理器。所述視覺感測器用以擷取校正板的影像，所述深度感測器用以產生多個掃描點，以及所述處理器耦接所述視覺感測器與所述深度感測器，用以取得所述視覺感測器與所述深度感測器之間的座標系轉換關係。所述處理器經配置以執行下列步驟：(a)建立所述校正板的四個端點在世界座 標系的第一座標組；(b)根據所述校正板的影像，建立所述校正板的所述四個端點在二維座標系的第二座標組；(c)根據所述第一座標組與所述第二座標組建立所述校正板的所述四個端點在三維座標系的對應該視覺感測器的第三座標組；以及(d)將所述第三座標組轉換為對應所述深度感測器的第四座標組，以根據所述至少三個目標掃描點獲得所述座標系轉換關係。
在本發明的一實施例中，上述的建立該校正板的所述四個端點在所述二維座標系的所述第二座標組之後的操作中，所述處理器經配置以：根據所述第一座標組與所述第二座標組的幾何對應關係及所述視覺感測器的內部參數，取得所述第一座標組至所述第二座標組之間的第一轉換關係，其中在根據所述第一座標組與所述第二座標組建立所述校正板的所述四個端點在所述三維座標系的所述第三座標組的操作中，所述處理器經配置以：根據所述第一轉換關係，將所述第一座標組轉換為所述第三座標組。
在本發明的一實施例中，上述的在將所述第三座標組轉換為對應所述深度感測器的所述第四座標組的操作中，所述處理器經配置以：根據第二轉換關係，將所述第三座標組轉換為所述第四座標組，其中所述第二轉換關係為所述視覺感測器的座標系轉換至所述深度感測器的座標系的對應關係。
在本發明的一實施例中，上述的至少三個目標掃描點位於所述第四座標組中的所述四個端點所形成的四邊形內。
在本發明的一實施例中，上述的在將所述第三座標組轉 換為對應所述深度感測器的所述第四座標組，以根據所述深度感測器於所述校正板上產生的所述至少三個目標掃描點取得所述座標系轉換關係的操作中，所述處理器經配置以：計算所述掃描點與所述第四座標組中的所述四個端點所形成的四個三角形面積的總和；以及將所述四個三角形面積的總和與所述四邊形面積的差值小於一誤差值的掃描點作為目標掃描點，以求解所述第二轉換關係。
在本發明的一實施例中，上述的校正板為平板，且所述校正板的位姿在所述視覺感測器與所述深度感測器的可視範圍內，其中，所述處理器更經配置以：(e)取得所述校正板的另一位姿，並判斷位姿計數值是否大於或等於目標值，其中倘若所述位姿計數值大於或等於所述目標值，執行步驟(f)，倘若所述位姿計數值小於所述目標值，計數所述位姿計數值，並對所述具有另一位姿的校正板重新執行步驟(a)；以及(f)由所述目標值的數量的位姿所對應的多個目標掃描點來求解所述座標系轉換關係。
在本發明的一實施例中，上述的座標系轉換關係包括所述視覺感測器的座標系轉換至所述深度感測器的座標系的對應關係、旋轉角與平移。
本發明提供一種校正裝置，包括：儲存電路與處理器。儲存電路儲存由視覺感測器所擷取的校正板的影像以及儲存由深度感測器產生於校正板上的多個掃描點，處理器，耦接儲存電路，存取該些影像與該些掃描點以執行下列步驟：(a)建立所述校 正板的四個端點在世界座標系的第一座標組；(b)根據所述校正板的影像，建立所述校正板的所述四個端點在二維座標系的第二座標組；(c)根據所述第一座標組與所述第二座標組建立所述校正板的所述四個端點在三維座標系的對應所述視覺感測器的第三座標組；以及(d)將所述第三座標組轉換為對應深度感測器的第四座標組，以根據至少三個目標掃描點獲得所述座標系轉換關係。
在本發明的一實施例中，上述的在建立所述校正板的所述四個端點在所述二維座標系的所述第二座標組之後的操作中，所述處理器用以：根據所述第一座標組與所述第二座標組的幾何對應關係及所述視覺感測器的內部參數，取得所述第一座標組至所述第二座標組之間的第一轉換關係，其中在根據所述第一座標組與所述第二座標組建立所述校正板的所述四個端點在所述視覺感測器三維座標系的所述第三座標組的操作中，所述處理器用以：根據所述第一轉換關係，將所述第一座標組轉換為所述第三座標組。
在本發明的一實施例中，上述的在將所述第三座標組轉換為對應所述深度感測器的所述第四座標組的操作中，所述處理器用以：根據第二轉換關係，將所述第三座標組轉換為所述第四座標組，其中所述第二轉換關係為所述視覺感測器的座標系轉換至所述深度感測器的座標系的對應關係。
在本發明的一實施例中，上述的至少三個目標掃描點位於所述第四座標組中的所述四個端點所形成的四邊形內。
在本發明的一實施例中，上述的在將所述第三座標組轉換為對應所述深度感測器的所述第四座標組，以根據所述第四座標組與所述深度感測器於所述校正板上產生的所述至少三個目標掃描點取得所述座標系轉換關係的操作中，所述處理器用以：計算所述掃描點與所述第四座標組中的所述四個端點所形成的四個三角形面積的總和；以及將所述四個三角形面積的總和與所述四邊形面積的差值小於一誤差值的掃描點作為目標掃描點，以求解所述第二轉換關係。
在本發明的一實施例中，上述的校正板為平板，且所述校正板的位姿在所述視覺感測器與所述深度感測器的可視範圍內，其中，所述處理器更用以：(e)取得所述校正板的另一位姿，並判斷位姿計數值是否大於或等於目標值，其中倘若所述位姿計數值大於或等於所述目標值，執行步驟(f)，倘若所述位姿計數值小於所述目標值，計數所述位姿計數值，並對所述具有另一位姿的校正板重新執行步驟(a)；以及(f)由所述目標值的數量的位姿所對應的多個目標掃描點來求解所述座標系轉換關係。
在本發明的一實施例中，上述的座標系轉換關係包括所述視覺感測器的座標系轉換至所述深度感測器的座標系的對應關係、旋轉角與平移。
基於上述，本發明提出使用任何一平板作為校正標的物的校正方法，且可藉深度感測器於此平板上之掃描點所形成之約束面積來確保所取得之視覺感測器與深度感測器之間的座標系轉 換關係的準確度。由此不僅提升了所述座標系轉換關係之校正結果的穩定性，亦可使得座標系轉換關係的校正方法並不受限於使用例如棋盤格校正板等特定標的物的限制，且能廣泛應用在不同深度感測器與視覺感測器的座標系轉換校正上。
100:視覺與深度座標系的校正系統
110:處理器
120:視覺感測器
130:深度感測器
140:校正板
10:校正裝置
20:儲存電路
S301~S307、S601~S605:步驟
W1、W2、W3、W4、c1、c2、c3、c4、P1、P2、P3、P4:座標
p1、p2、p3、p4:端點
p、p’:點
h:長度
w:寬度
a、b、c:邊長
圖1是根據本發明一實施例所繪示之視覺與深度座標系的校正系統的方塊圖。
圖2是根據本發明一實施例所繪示之校正裝置的方塊圖。
圖3是根據本發明之一實施例所繪示的校正方法的流程圖。
圖4是根據本發明之一實施例所繪示的視覺與深度座標系的校正系統中座標系轉換的示意圖。
圖5A~圖5C是根據本發明之一實施例所繪示的取得目標掃描點之方法的示意圖。
圖6是根據本發明之另一實施例所繪示的校正方法的流程圖。
圖1是根據本發明一實施例所繪示之視覺與深度座標系的校正系統的方塊圖。圖2是根據本發明一實施例所繪示之校正裝置的方塊圖。必須了解的是，圖1與圖2的範例僅是為了方便 說明，並不用以限制本發明。
請參照圖1，視覺與深度座標系的校正系統100包括處理器110、視覺感測器120、深度感測器130以及校正板140，其中處理器110耦接至視覺感測器120以及深度感測器130，而校正板140設置於視覺感測器120與深度感測器130之感測範圍內。特別是，在本發明實施例中所使用的校正板140為一平板。在本實施例中，視覺與深度座標系的校正系統100可以是設置於室內環境、室外環境等任何場景，並達到取得視覺感測器120與深度感測器130之間的座標系轉換關係的目的。
處理器110可透過無線或有線的方式耦接至視覺感測器120與深度感測器130，並且用以取得視覺感測器120與深度感測器130之間的座標系轉換關係。在此，處理器110可為一般用途處理器、特殊用途處理器、傳統的處理器、數位訊號處理器、多個微處理器(microprocessor)、一個或多個結合數位訊號處理器核心的微處理器、控制器、微控制器、特殊應用集成電路(Application Specific Integrated Circuit，ASIC)、場可程式閘陣列電路(Field Programmable Gate Array，FPGA)、任何其他種類的積體電路、狀態機、基於進階精簡指令集機器(Advanced RISC Machine，ARM)的處理器以及類似品。在本實施例中，處理器110用以執行本發明的校正方法以取得視覺感測器120與深度感測器130之間的座標系轉換關係。
視覺感測器120用以擷取校正板140的影像，並且包括 具有透鏡以及感光元件的攝像鏡頭。感光元件用以感測進入透鏡的光線強度，進而產生影像。感光元件可以例如是電荷耦合元件(charge coupled device，CCD)、互補性氧化金屬半導體(complementary metal-oxide semiconductor，CMOS)元件或其他元件，本發明不在此設限。例如，視覺感測器120可以是彩色相機、單色相機、近紅外光相機等的相機。
深度感測器130用以產生多個掃描點以偵測其前方的深度資訊，其可藉由主動發出光源、超音波、雷射等作為訊號來計算前方的深度資訊。例如，深度感測器130可利用結構光、飛行時間測距法、光學雷達、毫米波雷達等測距技術來偵測深度資訊。然而，本發明並不限制深度感測器130所使用的測距方法，且基於單線雷射雷達、多線雷射雷達、動態雷射點、面型深度影像等的深度感測器皆可應用於本實施例的視覺與深度座標系的校正系統100中。
在本發明一實施例中，視覺與深度座標系的校正系統100中的處理器110可以實作為具備運算處理功能的校正裝置，但不限於此。具體而言，請參照圖2，在不同的實施例中，校正裝置10可以是智慧型手機、平板電腦、個人電腦、筆記型電腦或其他具備運算處理功能的裝置，但不限於此。如圖2所示，校正裝置10可包括處理器110及儲存電路20。處理器110係耦接至儲存電路20。儲存電路20例如是任意型式的固定式或可移動式隨機存取記憶體(Random Access Memory，RAM)、唯讀記憶體(Read-Only Memory，ROM)、快閃記憶體(Flash memory)、硬碟或其他類似裝置或這些 裝置的組合。
在本發明的實施例中，校正裝置10可應用於在任何場景下的視覺與深度座標系的校正系統100中。校正裝置10的儲存電路20用以儲存由視覺感測器120所擷取的校正板140的影像以及儲存由深度感測器130產生於校正板上的多個掃描點。處理器110可存取儲存電路20中記錄的影像與掃描點，並執行本發明提出的校正方法，其細節詳述如下。
請參照圖3與圖4，圖3是根據本發明之一實施例所繪示的校正方法的流程圖，圖4是根據本發明之一實施例所繪示的視覺與深度座標系的校正系統中座標系轉換的示意圖。本實施例的方法可由圖1及圖2之校正裝置10中的處理器110執行，以下即搭配圖1所示的元件及圖4的座標系轉換示意圖來說明圖3各步驟的細節。
首先，在執行步驟S301之前，如圖4所示，校正板140會被設置於視覺感測器120與深度感測器130之間，並使得校正板140的位姿在視覺感測器120與深度感測器130可視範圍內(亦即，感測範圍內)。在此，所述位姿(posture)例如包括位置(position)與姿勢(pose)。值得注意的是，在本發明實施例中，所欲求得的視覺感測器120與深度感測器130之間的座標系轉換關係(亦稱為外部參數)包括視覺感測器120的座標系轉換至深度感測器130的座標系的對應關係、旋轉角與平移。更詳細地說，物體在空間中具有六個自由度，即沿著X、Y、Z三個直角座標軸方向的移動自由度 (即，平移)和繞著此三個座標軸的旋轉自由度(即，旋轉角)。因此，藉由取得此六個自由度可確定物體的位置。
在步驟S301中，處理器110會建立校正板140的四個端點在世界座標系(World Coordinate System,WCS)的第一座標組。具體而言，世界座標系為一個固定的座標系統，其將世界空間或模型空間作為一個整體，並可用X、Y及Z三方向軸定義。例如，圖4中的校正板140的平面與X-Y平面一致，並且假設校正板140的長度為h，寬度為w。因此，在步驟S301中，藉由測量校正板140的實際物理尺寸，可取得校正板140的四個端點在世界座標系的座標W1[0,0,0]、座標W2[0,h,0]、座標W3[w,h,0]、座標W4[w,0,0]，在此，此四個世界座標系中的座標即為第一座標組。
接著，在步驟S303中，處理器110會使用視覺感測器120所擷取的校正板140的影像，並根據此校正板140的影像，來建立校正板140的四個端點在二維座標系的第二座標組。舉例而言，在此是利用霍夫變換(Hough Transformation)來辨別找出校正板140的影像中的特徵，例如，找出校正板140的邊緣的直線特徵，兩兩線的交點即為校正板140的四個端點。由此，可偵測出校正板140的四個端點的二維影像座標c1、座標c2、座標c3、座標c4，在此，此四個二維座標系中的座標即為第二座標組。
在步驟S303之後，處理器110會根據第一座標組與第二座標組的幾何對應關係及視覺感測器120的內部參數(intrinsic parameter)，取得第一座標組轉換至第二座標組之間的第一轉換關 係。在此，幾何對應關係為求解三維座標點至二維座標點的PnP(Perspective-n-Point)轉換方法，而視覺感測器120的內部參數例如為焦距資訊，其包括鏡頭焦距與鏡心位置等資訊。例如，鏡頭焦距為(fx,fy)及鏡心位置為(cy,cx)的視覺感測器120的內部參數矩陣為K=[fx,0,cx；0,fy,cy；0,0,1]，並且內部參數及其矩陣可於步驟S301之前透過用以校正鏡頭扭曲或變形等的校正程序來獲得。由於世界座標系中的第一座標組與二維座標系中的第二座標組符合三維-二維對應匹配之PnP轉換方法的幾何對應關係，因此，透過將內部參數矩陣K代入PnP轉換方法，即可求得如圖4中所示的轉換關係
Figure 109121082-A0305-02-0017-14
(亦稱為第一轉換關係
Figure 109121082-A0305-02-0017-15
)，其中索引值i為大於0的正整數，且代表在此校正方法中所使用的第i個校正板的位姿，而W→C表示為由世界座標系(World coordinate system)轉換至視覺感測器座標系(Camera coordinate system)。
在步驟S305中，處理器110會根據第一座標組與第二座標組建立校正板140的四個端點在三維座標系的對應視覺感測器的第三座標組。在此步驟中，處理器110是根據上述第一轉換關係
Figure 109121082-A0305-02-0017-16
，將世界座標系中的第一座標組：座標W1[0,0,0]、座標W2[0,h,0]、座標W3[w,h,0]、座標W4[w,0,0]分別轉換為三維座標系中的座標C1 i 、座標C2 i 、座標C3 i 與座標C4 i (未繪示)。在此，此四個三維座標系中的座標即為對應視覺感測器的第三座標組。
在步驟S307中，處理器110將視覺感測器第三座標組轉換為對應深度感測器130的第四座標組，在此，處理器110是根 據至少三個目標掃描點來計算視覺感測器120與深度感測器130之間的座標係轉換關係。具體而言，處理器110是根據一轉換關係π C→D (亦稱為第二轉換關係π C→D )，將第三座標組轉換為第四座標組，其中C→D表示為由視覺感測器座標系(Camera coordinate system)轉換至深度感測器座標系(Depth coordinate system)。亦即，將三維座標系中的座標C1 i 、座標C2 i 、座標C3 i 與座標C4 i 轉換為對應深度感測器的座標系的座標P1 i 、座標P2 i 、座標P3 i 與座標P4 i (即，如圖4所示的座標P1、座標P2、座標P3與座標P4)，類似地，索引值i表示為在此校正方法中所使用的第i個校正板的位姿。在此，此四個深度感測器的座標系中的座標即為第四座標組。特別是，第二轉換關係π C→D 即為視覺感測器的座標系轉換至深度感測器的座標系的對應關係，因此，此轉換關係π C→D 亦是本發明校正方法中所要求得的座標系轉換關係。
承上，在步驟S307中，處理器110根據第四座標組與深度感測器130於校正板140上的至少三個目標掃描點取得視覺感測器120與深度感測器130之間的座標系轉換關係的步驟中，取得目標掃描點的方法將參考圖5A~圖5C來進行說明。圖5A~圖5C是根據本發明之一實施例所繪示的取得目標掃描點之方法的示意圖。
具體而言，深度感測器130會於視覺與深度座標系的校正系統100中產生多個掃描點P i (j),j=1,....,N i ，其中N代表深度感測器130所產生的N個掃描點，索引值i代表在此校正方法中所 使用的第i個校正板的位姿，而處理器110會計算上述第二轉換關係(即，座標系轉換關係)，並確保落在校正板140上的目標掃描點落在校正板140的四個端點所形成的四邊形內。在本發明實施例中，是利用掃描點與校正板140的四個端點來形成約束面積，所述約束面積的約束條件為校正板140的四個端點圍成的面積必須與任一掃描點P i (j)與四個端點形成的四個三角形的面積總和相等。
更詳細地說，請參照圖5A，為了快速地取得校正板140的四個端點圍成的面積，在本發明實施例中，是將校正板140的四個端點所形成的四邊形視為兩個三角形，並分別求得兩個三角形的面積。如圖5A所示，透過下列的海倫方程式(Heron's formula)(1)可快速地求得具有三個端點p1、p2、p3，且邊長分別為a、b、c的三角形的面積。
A(p1,p2,p3)=(s(s-a)(s-b)(s-c))1/2,s=(a+b+c)/2 方程式(1)
接著，請參照圖5B與圖5C，圖5B與圖5C的四個端點p1、p2、p3、p4所形成的四邊形的面積，可透過兩個三角形的面積總和來取得，即以上述的方程式(1)來取得，並表示為A(p1,p2,p3)+A(p1,p3,p4)。在圖5B的情況下，倘若任一點p是落在此四個端點p1、p2、p3、p4所形成的四邊形內，則如方程式(2)所示，四個端點p1、p2、p3、p4所形成的四邊形的面積，會與點p分別與端點p1、p2、p3、p4形成的四個三角形的面積總和相同。
A(p1,p2,p3)+A(p1,p3,p4)=A(p1,p2,p)+A(p2,p3,p)+ A(p3,p4,p)+A(p1,p4,p) 方程式(2)
此外，在圖5C的情況下，倘若任一點p’是落在此四個端點p1、p2、p3、p4所形成的四邊形之外，則如方程式(3)所示，點p’分別與端點p1、p2、p3、p4形成的四個三角形的面積總和，會大於四個端點p1、p2、p3、p4所形成的四邊形的面積。
A(p1,p2,p3)+A(p1,p3,p4)<A(p1,p2,p’)+A(p2,p3,p’)+A(p3,p4,p’)+A(p1,p4,p’) 方程式(3)
基於上述的取得目標掃描點的方法，在本發明實施例中，如圖4所示，處理器110所取得的校正板140的四個端點所形成的四邊形的面積可表示為A(P1,P2,P3)+A(P1,P2,P4)，而任一掃描點P(未繪示)分別與上述四邊形的四個頂點所形成的四個三角形的面積總和可表示為A(P1,P2,P)+A(P2,P3,P)+A(P3,P4,P)+A(P1,P4,P)，並且可定義出以下目標方程式(4)。
Cover(P1,P2,P3,P4,P)={[A(P1,P2,P3)+A(P1,P2,P4)]-[A(P1,P2,P)+A(P2,P3,P)+A(P3,P4,P)+A(P1,P4,P)]}2 方程式(4)
由於考量到視覺感測器與深度感測器中存在雜訊的情況，處理器110要求解的第二轉換關係(即，座標系轉換關係)是能使目標掃描點與四個頂點的四個三角形的面積總和與四邊形面積的差值小於誤差值。換言之，兩者(即，A(P1,P2,P3)+A(P1,P3,P4)與A(P1,P2,P)+A(P2,P3,P)+A(P3,P4,P)+A(P1,P4,P))的面積差異必須越小越好，亦即，Cover(P1,P2,P3,P4,P)的數值越小越好。 需注意的是，在本發明使用多個校正板進行校正的實施例中，目標方程式亦可表示為Cover(P1 i ,P2 i ,P3 i ,P4 i ,P i (j))，其中索引值i代表在此校正方法中所使用的第i個校正板的位姿。
值得一提的是，透過本發明利用約束面積來取得目標掃描點之方法的約束力，相較於傳統的校正板上的雷射點與校正板上法向量之間約束力強，由此能確保所取得的掃描點是落在校正板140所形成的四邊形內，且並不限於掃描點的形式。據此，可廣泛應用到單線雷射雷達、多線雷射雷達、動態雷射點、面型深度影像等的深度感測器。
請再回到圖3中的步驟S307中，在處理器110取得至少三個目標掃描點後，即可根據步驟S301~步驟S305中所獲得的第一座標組中的四個端點(即，座標W1[0,0,0]、座標W2[0,h,0]、座標W3[w,h,0]、座標W4[w,0,0])、第一轉換關係
Figure 109121082-A0305-02-0021-13
與至少三個目標掃描點P i (j)來取得視覺感測器120與深度感測器130之間的第二轉換關係(即，座標系轉換關係)。綜上，本發明的實施例，透過處理器110將對應視覺感測器120的第三座標組先以未知的第二轉換關係形成對應深度感測器130的第四座標組，並將掃描點與第四座標組所形成的約束面積來取得至少三個目標掃描點，進而根據至少三個目標掃描點可列舉至少三個方程式來求解第二轉換關係，以獲得視覺感測器120與深度感測器130之間的座標系轉換關係。
特別是，在本發明的實施例中，為了提高所取得的視覺感 測器120與深度感測器130之間座標系轉換關係的準確度，會對多個具有不同位姿的校正板進行圖3的步驟S301~步驟S307的校正方法，以求得外部參數的最佳解。圖6是根據本發明之另一實施例所繪示的校正方法的流程圖。以下將參照圖6來說明對於多個校正板執行本發明之校正方法的步驟。
請參照圖6，圖6中的步驟S301~S307是相同於圖3中的步驟S301~S307，因此，在此不在贅述。舉例而言，在本發明實施例中，處理器110在取得對應於具有第1個位姿的校正板140的至少三個目標掃描點之後(步驟S307)，會在步驟S601，取得校正板140的另一個位姿(亦稱為第2個位姿)，並判斷位姿計數值是否大於或等於目標值。例如，在此範例中，假設目標值為30，而對應具有第1個位姿的校正板的位姿計數值為1，因此，處理器110會判斷位姿計數值小於所述目標值，並且在步驟S603中計數位姿計數值，即，將目前的位姿計數值加1使其成為2，並對所取得的具有第2個位姿的校正板140重新執行步驟S301。也就是說，在此實施例中，由於目標值為30，因此處理器110至少會蒐集30個具有不同位姿的校正板的位姿資訊，並以其為對象進行本發明的校正方法。值得注意的是，本發明並不加以限制所述目標值的大小，例如，在另一實施例中，目標值可被設為大於30或小於30，且所述目標值亦可根據校正結果的準確度與實際需求來設定，例如，在一實施例中，藉由擺設越多的校正板位姿可使得所欲求得的外部參數的誤差值越小。或者，在另一實施例中，亦可根據不同場 景下的視覺與深度座標系的校正系統100來設定所述目標值。
承上，在步驟S601中，當處理器110判斷位姿計數值大於或等於目標值時，在步驟S605中，處理器110會以目標值的數量的位姿所對應的多個目標掃描點來求解座標系轉換關係。例如，在上述範例中，處理器110會以30個位姿所對應的多個目標掃描點來求解座標系轉換關係。具體而言，處理器110會根據第一座標組中的四個端點(即，座標W1[0,0,0]、座標W2[0,h,0]、座標W3[w,h,0]、座標W4[w,0,0])、第一轉換關係
Figure 109121082-A0305-02-0023-3
與i個位姿所對應的目標掃描點P i (j)(例如，i=30)來取得視覺感測器120與深度感測器130之間的座標系轉換關係。舉例而言，在本發明實施例中是使用萊文貝格-馬夸特方法(Levenberg-Marquardt algorithm)來提供非線性最佳化的數值解，以求得視覺感測器120的座標系轉換至深度感測器130的座標系的對應關係(π C→D )*、旋轉角r *=(
Figure 109121082-A0305-02-0023-4
,
Figure 109121082-A0305-02-0023-5
,
Figure 109121082-A0305-02-0023-6
)與平移t *=(
Figure 109121082-A0305-02-0023-17
,
Figure 109121082-A0305-02-0023-18
,
Figure 109121082-A0305-02-0023-9
)。其中所求得之對應關係(π C→D )*的非線性方程式如以下方程式(5)所示。
Figure 109121082-A0305-02-0023-1
值得注意的是，在本發明的另一實施例中，處理器110可更根據羅德里格旋轉公式(Rodrigues' rotation formula)將旋轉角r *=(
Figure 109121082-A0305-02-0023-10
,
Figure 109121082-A0305-02-0023-11
,
Figure 109121082-A0305-02-0023-12
)轉換為旋轉矩陣R*，進而根據轉矩陣R*取得深度感測器130的座標系轉換至視覺感測器120的座標系對應關係方程式(6)。
Figure 109121082-A0305-02-0024-2
綜上所述，本發明的視覺與深度座標系的校正系統、校正方法與校正裝置並不限制所使用的深度感測器的類型或者校正標的物的類型，並透過使用一般平板做為校正板，即可對其四個端點在世界座標系、視覺感測器的二維與三維座標系以及深度感測器的座標系中的座標進行轉換，進而取得視覺感測器與深度感測器之間的座標系轉換關係(即，外部參數)的校正結果。基此，使得取得外部參數之校正方法更具彈性，且可廣泛地應用於單線雷射雷達、多線雷射雷達、動態雷射點、面型深度影像等的深度感測器，達到有效地提升校正過程的效能、校正方法的利用性與校正結果的穩定性。此外，由於本發明的校正方法能夠透過約束面積來確保所取得之深度感測器的掃描點是落在校正板的四個端點中，因此藉由使用落在校正板的四個端點中的目標掃描點來取得外部參數，不僅可提升校正結果的準確性，可更透過本發明以多個不同位姿的校正板為對象來進行校正的方法，減少校正結果的誤差。基此，確保視覺與深度座標系的校正系統中的外部參數校正品質。
惟以上所述者，僅為本發明之較佳實施例而已，當不能以此限定本發明實施之範圍，即大凡依本發明申請專利範圍及發明說明內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。另外本發明的任一實施例或申請專利範圍不須達成本發明所揭露之全部目的或優點或特點。此外，摘要部分和標題僅是用來輔助專利文件搜尋之用，並非用來限制本發明之權利範圍。此 外，本說明書或申請專利範圍中提及的“第一”、“第二”等用語僅用以命名元件(element)的名稱或區別不同實施例或範圍，而並非用來限制元件數量上的上限或下限。
S301~S307：步驟

Claims (21)

  1. 一種校正方法，用於取得一視覺感測器與一深度感測器之間的一座標系轉換關係，該校正方法包括： (a)建立一校正板的四個端點在一世界座標系的一第一座標組； (b)透過該視覺感測器擷取該校正板的影像，並建立該校正板的該四個端點在一二維座標系的一第二座標組； (c)根據該第一座標組與該第二座標組建立該校正板的該四個端點在一三維座標系中對應該視覺感測器的一第三座標組；以及 (d)將該第三座標組轉換為對應該深度感測器的一第四座標組，以根據該深度感測器所產生的至少三個目標掃描點獲得該座標系轉換關係。
  2. 如請求項1所述的校正方法，其中建立該校正板的該四個端點在該二維座標系的該第二座標組之後的步驟，更包括： 根據該第一座標組與該第二座標組的一幾何對應關係及該視覺感測器的一內部參數，取得該第一座標組轉換至該第二座標組之間的一第一轉換關係， 其中根據該第一座標組與該第二座標組建立該校正板的該四個端點在該三維座標系的該第三座標組的步驟，包括： 根據該第一轉換關係，將該第一座標組轉換為該第三座標組。
  3. 如請求項1所述的校正方法，其中將該第三座標組轉換為對應該深度感測器的該第四座標組的步驟，包括： 根據一第二轉換關係，將該第三座標組轉換為該第四座標組，其中該第二轉換關係為該視覺感測器的座標系轉換至該深度感測器的座標系的一對應關係。
  4. 如請求項3所述的校正方法，其中該至少三個目標掃描點位於該第四座標組中的該四個端點所形成的一四邊形內。
  5. 如請求項4所述的校正方法，其中將該第三座標組轉換為對應該深度感測器的該第四座標組，以根據該深度感測器所產生的該至少三個目標掃描點獲得該座標系轉換關係的步驟，包括： 計算該深度感測器所產生的掃描點與該第四座標組中的該四個端點所形成的四個三角形面積的總和； 將該四個三角形面積的總和與該四邊形面積的差值小於一誤差值的掃描點作為目標掃描點，以求解該第二轉換關係。
  6. 如請求項2所述的校正方法，其中該校正板為一平板，且該校正板的位姿在該視覺感測器與該深度感測器的一可視範圍內，該校正方法更包括： (e)取得該校正板的另一位姿，並判斷一位姿計數值是否大於或等於一目標值，其中倘若該位姿計數值大於或等於該目標值，執行步驟(f)，倘若該位姿計數值小於該目標值，計數該位姿計數值，並對該具有另一位姿的校正板重新執行步驟(a)；以及 (f)由該目標值的數量的位姿所對應的多個目標掃描點來求解該座標系轉換關係。
  7. 如請求項6所述的校正方法，其中該座標系轉換關係包括該視覺感測器的座標系轉換至該深度感測器的座標系的一對應關係、一旋轉角與一平移。
  8. 一種視覺與深度座標系的校正系統，包括： 一視覺感測器，用以擷取一校正板的影像， 一深度感測器，用以產生多個掃描點，以及 一處理器，耦接該視覺感測器與該深度感測器，用以取得該視覺感測器與該深度感測器之間的一座標系轉換關係，該處理器經配置以執行下列步驟： (a)建立該校正板的四個端點在一世界座標系的一第一座標組； (b)根據該校正板的影像，建立該校正板的該四個端點在一二維座標系的一第二座標組； (c)根據該第一座標組與該第二座標組建立該校正板的該四個端點在一三維座標系中對應該視覺感測器的一第三座標組；以及 (d)將該第三座標組轉換為對應該深度感測器的一第四座標組，以根據至少三個目標掃描點獲得該座標系轉換關係。
  9. 如請求項8所述的視覺與深度座標系的校正系統，其中，在建立該校正板的該四個端點在該二維座標系的該第二座標組之後的操作中，該處理器經配置以： 根據該第一座標組與該第二座標組的一幾何對應關係及該視覺感測器的一內部參數，取得該第一座標組轉換至該第二座標組之間的一第一轉換關係， 其中在根據該第一座標組與該第二座標組建立該校正板的該四個端點在該三維座標系的該第三座標組的操作中，該處理器經配置以： 根據該第一轉換關係，將該第一座標組轉換為該第三座標組。
  10. 如請求項8所述的視覺與深度座標系的校正系統，其中在將該第三座標組轉換為對應該深度感測器的該第四座標組的操作中，該處理器經配置以： 根據一第二轉換關係，將該第三座標組轉換為該第四座標組，其中該第二轉換關係為該視覺感測器的座標系轉換至該深度感測器的座標系的一對應關係。
  11. 如請求項10所述的視覺與深度座標系的校正系統，其中該至少三個目標掃描點位於該第四座標組中的該四個端點所形成的一四邊形內。
  12. 如請求項11所述的視覺與深度座標系的校正系統，其中在將該第三座標組轉換為對應該深度感測器的該第四座標組，以根據該深度感測器於該校正板上產生的該至少三個目標掃描點獲得該座標系轉換關係的操作中，該處理器經配置以： 計算該些掃描點與該第四座標組中的該四個端點所形成的四個三角形面積的總和；以及 將該四個三角形面積的總和與該四邊形面積的差值小於一誤差值的掃描點作為目標掃描點，以求解該第二轉換關係。
  13. 如請求項9所述的視覺與深度座標系的校正系統，其中該校正板為一平板，且該校正板的位姿在該視覺感測器與該深度感測器的一可視範圍內， 其中，該處理器更經配置以： (e)取得該校正板的另一位姿，並判斷一位姿計數值是否大於或等於一目標值，其中倘若該位姿計數值大於或等於該目標值，執行步驟(f)，倘若該位姿計數值小於該目標值，計數該位姿計數值，並對該具有另一位姿的校正板重新執行步驟(a)；以及 (f)由該目標值的數量的位姿所對應的多個目標掃描點來求解該座標系轉換關係。
  14. 如請求項13所述的視覺與深度座標系的校正系統，其中該座標系轉換關係包括該視覺感測器的座標系轉換至該深度感測器的座標系的一對應關係、一旋轉角與一平移。
  15. 一種校正裝置，包括： 一儲存電路，儲存由一視覺感測器所擷取的一校正板的影像以及儲存由一深度感測器產生於該校正板上的多個掃描點；以及 一處理器，耦接該儲存電路，存取該些影像與該些掃描點以執行下列步驟： (a)建立該校正板的四個端點在一世界座標系的一第一座標組； (b)根據該校正板的影像，建立該校正板的該四個端點在一二維座標系的一第二座標組； (c)根據該第一座標組與該第二座標組建立該校正板的該四個端點在一三維座標系中對應該視覺感測器的一第三座標組；以及 (d)將該第三座標組轉換為對應一深度感測器的一第四座標組，以根據至少三個目標掃描點獲得該座標系轉換關係。
  16. 如請求項15所述的校正裝置，其中在建立該校正板的該四個端點在該二維座標系的該第二座標組之後的操作中，該處理器用以： 根據該第一座標組與該第二座標組的一幾何對應關係及該視覺感測器的一內部參數，取得該第一座標組轉換至該第二座標組之間的一第一轉換關係， 其中在根據該第一座標組與該第二座標組建立該校正板的該四個端點在該三維座標系的該第三座標組的操作中，該處理器用以： 根據該第一轉換關係，將該第一座標組轉換為該第三座標組。
  17. 如請求項15所述的校正裝置，其中在將該第三座標組轉換為對應該深度感測器的該第四座標組的操作中，該處理器用以： 根據一第二轉換關係，將該第三座標組轉換為該第四座標組，其中該第二轉換關係為該視覺感測器的座標系轉換至該深度感測器的座標系的一對應關係。
  18. 如請求項17所述的校正裝置，其中該至少三個目標掃描點位於該第四座標組中的該四個端點所形成的一四邊形內。
  19. 如請求項18所述的校正裝置，其中在將該第三座標組轉換為對應該深度感測器的該第四座標組，以根據該深度感測器於該校正板上產生的該至少三個目標掃描點取得該座標系轉換關係的操作中，該處理器用以： 計算該些掃描點與該第四座標組中的該四個端點所形成的四個三角形面積的總和；以及 將該四個三角形面積的總和與該四邊形面積的差值小於一誤差值的掃描點作為目標掃描點，以求解該第二轉換關係。
  20. 如請求項16所述的校正裝置，其中該校正板為一平板，且該校正板的位姿在該視覺感測器與該深度感測器的一可視範圍內， 其中，該處理器更用以： (e)取得該校正板的另一位姿，並判斷一位姿計數值是否大於或等於一目標值，其中倘若該位姿計數值大於或等於該目標值，執行步驟(f)，倘若該位姿計數值小於該目標值，計數該位姿計數值，並對該具有另一位姿的校正板重新執行步驟(a)；以及 (f)由該目標值的數量的位姿所對應的多個目標掃描點來求解該座標系轉換關係。
  21. 如請求項20所述的校正裝置，其中該座標系轉換關係包括該視覺感測器的座標系轉換至該深度感測器的座標系的一對應關係、一旋轉角與一平移。
TW109121082A 2020-06-22 2020-06-22 視覺與深度座標系的校正系統、校正方法及校正裝置 TWI755765B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW109121082A TWI755765B (zh) 2020-06-22 2020-06-22 視覺與深度座標系的校正系統、校正方法及校正裝置
US17/349,895 US11494941B2 (en) 2020-06-22 2021-06-16 Calibration system for calibrating visual coordinate system and depth coordinate system, calibration method and calibration device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109121082A TWI755765B (zh) 2020-06-22 2020-06-22 視覺與深度座標系的校正系統、校正方法及校正裝置

Publications (2)

Publication Number Publication Date
TW202201039A TW202201039A (zh) 2022-01-01
TWI755765B true TWI755765B (zh) 2022-02-21

Family

ID=79023791

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109121082A TWI755765B (zh) 2020-06-22 2020-06-22 視覺與深度座標系的校正系統、校正方法及校正裝置

Country Status (2)

Country Link
US (1) US11494941B2 (zh)
TW (1) TWI755765B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105205858A (zh) * 2015-09-18 2015-12-30 天津理工大学 一种基于单个深度视觉传感器的室内场景三维重建方法
TWI607412B (zh) * 2016-09-10 2017-12-01 財團法人工業技術研究院 多維度尺寸量測系統及其方法
TW201817215A (zh) * 2016-10-19 2018-05-01 財團法人工業技術研究院 影像掃描系統及其方法
WO2019203840A1 (en) * 2018-04-19 2019-10-24 Hewlett-Packard Development Company, L.P. Three-dimensional calibration target
US20200098133A1 (en) * 2016-12-21 2020-03-26 Huawei Technologies Co., Ltd. Image Processing Method and Apparatus
TWI696804B (zh) * 2019-01-09 2020-06-21 阿丹電子企業股份有限公司 體積量測裝置及體積量測方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103049912B (zh) 2012-12-21 2015-03-11 浙江大学 一种基于任意三面体的雷达-相机系统外部参数标定方法
JP6514681B2 (ja) * 2013-03-15 2019-05-15 ウーバー テクノロジーズ，インコーポレイテッド ロボット用多重知覚ステレオ視のための方法、システム、および装置
TWI489082B (zh) 2013-12-24 2015-06-21 Univ Nat Taiwan Science Tech 用於校正雷射量測裝置的方法及其系統
TWI577970B (zh) 2015-11-19 2017-04-11 Object coordinate fusion correction method and calibration plate device thereof
US10746858B2 (en) * 2017-08-17 2020-08-18 Uatc, Llc Calibration for an autonomous vehicle LIDAR module
CN111492403A (zh) * 2017-10-19 2020-08-04 迪普迈普有限公司 用于生成高清晰度地图的激光雷达到相机校准
EP3525000B1 (en) * 2018-02-09 2021-07-21 Bayerische Motoren Werke Aktiengesellschaft Methods and apparatuses for object detection in a scene based on lidar data and radar data of the scene
US11067693B2 (en) * 2018-07-12 2021-07-20 Toyota Research Institute, Inc. System and method for calibrating a LIDAR and a camera together using semantic segmentation
CN109343061B (zh) * 2018-09-19 2021-04-02 百度在线网络技术（北京）有限公司 传感器标定方法、装置、计算机设备、介质和车辆
WO2020067751A1 (ko) * 2018-09-28 2020-04-02 재단법인대구경북과학기술원 이종 센서 간의 데이터 융합 장치 및 방법
US11762071B2 (en) * 2018-11-21 2023-09-19 Texas Instruments Incorporated Multi-mode multi-sensor calibration
US11482008B2 (en) * 2019-07-05 2022-10-25 Nvidia Corporation Directing board repositioning during sensor calibration for autonomous vehicles
US11146783B2 (en) * 2019-08-16 2021-10-12 GM Cruise Holdings, LLC Partial calibration target detection for improved vehicle sensor calibration
US10838049B1 (en) * 2019-12-17 2020-11-17 The Boeing Company Calibration procedure for establishing an extrinsic relationship between lidar and camera sensors
GB2594111B (en) * 2019-12-18 2023-06-07 Motional Ad Llc Camera-to-LiDAR calibration and validation
US20210215505A1 (en) * 2020-01-13 2021-07-15 Ford Global Technologies, Llc Vehicle sensor calibration
CN113847930A (zh) * 2020-06-28 2021-12-28 图森有限公司 多传感器校准系统
US11960276B2 (en) * 2020-11-19 2024-04-16 Tusimple, Inc. Multi-sensor collaborative calibration system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105205858A (zh) * 2015-09-18 2015-12-30 天津理工大学 一种基于单个深度视觉传感器的室内场景三维重建方法
TWI607412B (zh) * 2016-09-10 2017-12-01 財團法人工業技術研究院 多維度尺寸量測系統及其方法
TW201817215A (zh) * 2016-10-19 2018-05-01 財團法人工業技術研究院 影像掃描系統及其方法
US20200098133A1 (en) * 2016-12-21 2020-03-26 Huawei Technologies Co., Ltd. Image Processing Method and Apparatus
WO2019203840A1 (en) * 2018-04-19 2019-10-24 Hewlett-Packard Development Company, L.P. Three-dimensional calibration target
TWI696804B (zh) * 2019-01-09 2020-06-21 阿丹電子企業股份有限公司 體積量測裝置及體積量測方法

Also Published As

Publication number Publication date
TW202201039A (zh) 2022-01-01
US20210398319A1 (en) 2021-12-23
US11494941B2 (en) 2022-11-08

Similar Documents

Publication Publication Date Title
CN109035309B (zh) 基于立体视觉的双目摄像头与激光雷达间的位姿配准方法
CN112396664B (zh) 一种单目摄像机与三维激光雷达联合标定及在线优化方法
Gaspar et al. Constant resolution omnidirectional cameras
JP6573419B1 (ja) 位置決め方法、ロボット及びコンピューター記憶媒体
CN104574406B (zh) 一种360度全景激光与多个视觉系统间的联合标定方法
US20110141306A1 (en) Image capturing device, method of searching for occlusion region, and program
CN107084680B (zh) 一种基于机器单目视觉的目标深度测量方法
Ruchay et al. Fusion of information from multiple Kinect sensors for 3D object reconstruction
JP2010276433A (ja) 撮像装置、画像処理装置及び距離計測装置
CN111340888B (zh) 一种无需白图像的光场相机检校方法及系统
JP6282377B2 (ja) ３次元形状計測システムおよびその計測方法
CN113160328A (zh) 一种外参标定方法、系统、机器人和存储介质
US20220128671A1 (en) Dynamic self-calibrating of auxiliary camera of laser scanner
Itami et al. An improved method for the calibration of a 2-D LiDAR with respect to a camera by using a checkerboard target
JP2015049200A (ja) 計測装置、方法及びプログラム
Lin et al. Depth measurement based on stereo vision with integrated camera rotation
WO2022218161A1 (zh) 用于目标匹配的方法、装置、设备及存储介质
CN115359130A (zh) 雷达和相机的联合标定方法、装置、电子设备及存储介质
US20240087167A1 (en) Compensation of three-dimensional measuring instrument having an autofocus camera
TWI755765B (zh) 視覺與深度座標系的校正系統、校正方法及校正裝置
EP4089637B1 (en) Hybrid feature matching between intensity image and color image
EP3988895B1 (en) Compensation of three-dimensional measuring instrument having an autofocus camera
JP2005275789A (ja) 三次元構造抽出方法
Chen et al. A structured-light-based panoramic depth camera
Li et al. Extrinsic calibration between a stereoscopic system and a LIDAR with sensor noise models