KR102021202B1 - 다중 센서의 단일 3차원 좌표계 통합을 위한 캘리브레이션 방법 - Google Patents

다중 센서의 단일 3차원 좌표계 통합을 위한 캘리브레이션 방법 Download PDF

Info

Publication number
KR102021202B1
KR102021202B1 KR1020170173753A KR20170173753A KR102021202B1 KR 102021202 B1 KR102021202 B1 KR 102021202B1 KR 1020170173753 A KR1020170173753 A KR 1020170173753A KR 20170173753 A KR20170173753 A KR 20170173753A KR 102021202 B1 KR102021202 B1 KR 102021202B1
Authority
KR
South Korea
Prior art keywords
sensor
positions
calibration
coordinate system
extraction step
Prior art date
Application number
KR1020170173753A
Other languages
English (en)
Other versions
KR20190072734A (ko
Inventor
이선영
민경원
손행선
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020170173753A priority Critical patent/KR102021202B1/ko
Publication of KR20190072734A publication Critical patent/KR20190072734A/ko
Application granted granted Critical
Publication of KR102021202B1 publication Critical patent/KR102021202B1/ko

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/04Monitoring the functioning of the control system
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01DMEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D18/00Testing or calibrating apparatus or arrangements provided for in groups G01D1/00 - G01D15/00
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0043Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0057Frequency analysis, spectral techniques or transforms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062Adapting control system settings
    • B60W2050/0075Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/0083Setting, resetting, calibration
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • B60W2420/408
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/42Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/52Radar, Lidar
    • B60W2550/10
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00Special features of vehicle units
    • B60Y2400/30Sensors

Abstract

다종/다수의 센서를 이동체에 탑재할 때, 높은 정확도와 조밀도로 하나의 좌표계로 신속하게 통합할 수 있는 캘리브레이션 방법이 제공된다. 본 발명의 실시예에 따른 캘리브레이션 방법은 기준 센서를 통해 검출된 객체의 위치들을 추출하는 제1 추출단계; 캘리브레이션 대상이 되는 제1 센서를 통해 검출된 객체의 위치들을 추출하는 제2 추출단계; 및 제1 추출단계를 통해 추출된 객체의 위치들과 제2 추출단계를 통해 추출된 객체의 위치들을 이용하여, 제1 센서의 좌표계를 기준 센서의 좌표계로 변환하기 위한 제1 변환행렬을 계산하는 단계;를 포함한다.
이에 의해, 자율 이동체와 같은 다수의 센서가 사용되는 어플리케이션에서 이종 또는 동일 센서 간의 캘리브레이션 수행을 위해 복잡한 캘리브레이션용 체크 보드를 이용하지 않고 일반 객체의 이동을 통해 높은 정확도와 조밀도로 캘리브레이션이 가능하다.

Description

다중 센서의 단일 3차원 좌표계 통합을 위한 캘리브레이션 방법{Calibration Method for Integrating a Single Three-dimensional Coordinate System of Multiple Sensors}
본 발명은 센서 캘리브레이션 기술에 관한 것으로, 더욱 상세하게는 다종/다수의 센서들의 좌표계들을 하나의 단일 좌표계로 통합하기 위한 캘리브레이션 방법에 관한 것이다.
자율주행 자동차와 같은 시스템에서 이동체의 자율적인 주행을 위해 차량 주변에 존재하는 객체들을 탐지 또는 인식하여 하나의 통합 좌표계로 정보를 변환하는 것이 필요하다.
만약, 시스템이 전방 또는 측방에 카메라 센서를 장착하고 전방에 레이더를 장착하여 차량 주변의 객체 정보를 수집할 경우, 각 센서에 연결되는 개별 ECU(Electronic Control Unit)에서 검지하여 전송하는 객체 정보들을 이용하게 된다.
이때, 각 센서 ECU들은 각자 기준의 독립적인 좌표계를 사용하여 정보를 출력한다. 차량에 부착된 모든 센서들로부터 전송받은 정보들을 하나의 좌표계로 통합하여 사용하기 위해 캘리브레이션 과정을 거친다. 캘리브레이션 과정에서는, 거리 정보를 알기 위해 스테레오 카메라, 레이저 거리계 또는 라이다와 같은 센서들을 사용한다.
스테레오 카메라는 기하하적 관계를 알고 있는 두 대의 카메라로부터 동시에 영상을 취득하여 정합 과정을 거쳐 카메라에서 대상체까지의 거리를 계산한다. 영상 센서를 이용하기 때문에 환경을 자세하게 모델링이 가능하다. 그러나 카메라 간의 부정확한 기하학적 관계 추정으로 모델링의 오차가 직접적으로 반영되어 원거리에서 거리 오차가 크게 발생하는 단점이 있다.
레이저 거리계나 라이다를 이용하는 경우는 레이저 신호를 송신하여 물체에서 반사되어 온 신호를 수신하여 원거리에서도 높은 정확도를 갖지만 정해진 각도 간격의 레이저를 사용하는 특성 때문에 목표 환경까지의 거리가 멀수록 센서 정보의 정밀도가 떨어지는 문제가 있다.
기존에는 각종 센서 간의 위치 정보 정합을 위한 캘리브레이션을 위해 각 센서 간의 각 점(카메라는 pixel, 라이다는 point of cloud)에 대해 1:1 매핑을 하거나 기하학적 모델링을 통한 캘리브레이션을 수행하였으나 센서 간의 정밀도 차이로 인해 정확도가 높지 않은 문제가 있다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 다종/다수의 센서를 이동체에 탑재할 때, 높은 정확도와 조밀도로 하나의 좌표계로 신속하게 통합할 수 있는 캘리브레이션 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 캘리브레이션 방법은 기준 센서를 통해 검출된 객체의 위치들을 추출하는 제1 추출단계; 캘리브레이션 대상이 되는 제1 센서를 통해 검출된 객체의 위치들을 추출하는 제2 추출단계; 및 제1 추출단계를 통해 추출된 객체의 위치들과 제2 추출단계를 통해 추출된 객체의 위치들을 이용하여, 제1 센서의 좌표계를 기준 센서의 좌표계로 변환하기 위한 제1 변환행렬을 계산하는 단계;를 포함한다.
본 발명에 따른 캘리브레이션 방법은 캘리브레이션 대상이 되는 제2 센서를 통해 검출된 객체의 위치들을 추출하는 제3 추출단계; 및 제1 추출단계를 통해 추출된 객체의 위치들과 제3 추출단계를 통해 추출된 객체의 위치들을 이용하여, 제2 센서의 좌표계를 기준 센서의 좌표계로 변환하기 위한 제2 변환행렬을 계산하는 단계;를 더 포함할 수 있다.
객체는, 센서들로부터의 거리가 가변되며 이동하는 것일 수 있다.
객체는, 센서들과 이루는 각도가 가변되며 이동하는 것일 수 있다.
객체는, 캘리브레이션용 체크 보드가 아닐 수 있다.
기준 센서는, 제1 센서와 제2 센서의 캘리브레이션을 위해, 차량에 임시로 설치되는 센서일 수 있다.
기준 센서의 검출 영역은, 제1 센서의 객체 검출 영역 중 적어도 일부와 제2 센서의 검출 영역 중 적어도 일부를 포함하는 것일 수 있다.
기준 센서는, 제1 센서와 제2 센서 보다 거리 정확도가 높은 센서일 수 있다.
기준 센서는, 제1 센서와 제2 센서의 후방에 설치되는 것일 수 있다.
한편, 본 발명의 다른 실시예에 따른, 캘리브레이션 시스템은 기준 센서를 통해 검출된 객체의 위치들을 추출하는 제1 추출부; 캘리브레이션 대상이 되는 제1 센서를 통해 검출된 객체의 위치들을 추출하는 제2 추출부; 및 제1 추출부를 통해 추출된 객체의 위치들과 제2 추출부를 통해 추출된 객체의 위치들을 이용하여, 제1 센서의 좌표계를 기준 센서의 좌표계로 변환하기 위한 제1 변환행렬을 계산하는 연산부;를 포함한다.
한편, 본 발명의 또다른 실시예에 따른, 캘리브레이션 방법은 기준 센서가, 객체를 검출하는 단계; 캘리브레이션 대상이 되는 제1 센서가, 객체를 검출하는 단계; 캘리브레이션 시스템이, 기준 센서가 검출한 객체의 위치들을 추출하는 제1 추출단계; 캘리브레이션 시스템이, 제1 센서를 통해 검출된 객체의 위치들을 추출하는 제2 추출단계; 및 캘리브레이션 시스템이, 제1 추출단계를 통해 추출된 객체의 위치들과 제2 추출단계를 통해 추출된 객체의 위치들을 이용하여, 제1 센서의 좌표계를 기준 센서의 좌표계로 변환하기 위한 제1 변환행렬을 계산하는 단계;를 포함한다.
한편, 본 발명의 또다른 실시예에 따른, 센서 시스템은 객체를 검출하는 기준 센서; 캘리브레이션 대상이 되며, 객체를 검출하는 제1 센서; 및 기준 센서를 통해 검출된 객체의 위치들을 추출하고, 제1 센서를 통해 검출된 객체의 위치들을 추출하며, 추출된 객체의 위치들을 이용하여 제1 센서의 좌표계를 기준 센서의 좌표계로 변환하기 위한 제1 변환행렬을 계산하는 캘리브레이션 시스템;을 포함한다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 자율 이동체와 같은 다수의 센서가 사용되는 어플리케이션에서 이종 또는 동일 센서 간의 캘리브레이션 수행을 위해 복잡한 캘리브레이션용 체크 보드를 이용하지 않고 일반 객체의 이동을 통해 높은 정확도와 조밀도로 캘리브레이션이 가능하다.
또한, 본 발명의 실시예들에 따르면, 각 센서별로 별도의 캘리브레이션 방법을 적용하지 않고 검출(인식)된 개별 센서의 좌표와 기준 센서의 좌표만을 이용하여 모든 센서 간의 캘리브레이션 수행이 가능하여, 캘리브레이션 복잡도를 낮추어 캘리브레이션 속도를 높일 수 있게 된다.
도 1은 차량에서의 센서 배치 상황을 예시한 도면
도 2는 통합 좌표계 구성을 위한 변환행렬 구성의 개념도,
도 3은 본 발명의 일 실시예에 따른 캘리브레이션 방법의 개념 설명에 제공되는 도면,
도 4 및 도 5는, 캘리브레이션 위한 객체의 이동 방법을 나타낸 도면들, 그리고,
도 6은 본 발명의 다른 실시예에 따른 다중 센서의 단일 3차원 좌표계 통합을 위한 캘리브레이션 시스템의 블럭도이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
본 발명의 실시예에서는, 다종/다수로 구현되는 다중 센서의 단일 3차원 좌표계 통합을 위한 캘리브레이션 방법을 제시한다.
본 발명의 실시예에 따른 캘리브레이션 방법은, 무인, 자율 이동체에서 다종/다수의 센서 기반의 주변 상황 인식 시스템으로부터 입력되는 다양한 객체 탐지 정보들을 효율적으로 활용/처리하고자, 하나의 좌표계 또는 맵으로 통합하기 위한 여러 센서 간의 캘리브레이션 방법을 제시한다.
카메라, 라이다 등의 센서 사이의 각 점(카메라는 pixel, 라이다는 point of cloud)에 대해 1:1 매핑 또는 기하학적 모델링 통한 기존의 캘리브레이션과 달리, 본 발명의 실시예에 따른 캘리브레이션 방법은, 각 센서의 검출 결과(인식 결과)를 기반으로 각 센서의 좌표에 대한 변환 행렬을 계산하여 캘리브레이션을 수행한다.
또한, 본 발명의 실시예에 따른 캘리브레이션 방법은, 기준 센서를 중심으로 각 센서 간의 변환 행렬을 캘리브레이션 단계에서 수행하고 이후에는 변환 행렬을 이용하여 개별 센서의 좌표를 기준 센서의 좌표계로 변환/통합하여 사용한다.
도 1은 차량에서의 센서 배치 상황을 예시한 도면이다. 도 1에 도시된 차량에서의 센서 배치는, 본 발명의 실시예에 따른 좌표계 통합을 위한 캘리브레이션 방법의 설명을 위해 든 일 예에 해당한다. 도 1에 도시된 바와 다른 방식으로 센서들이 배치된 상황에서도 본 발명의 기술적 사상이 적용될 수 있음에 유념하여야 한다.
도 1에서는, 차량 전방의 객체를 인식하기 위해 차량 실내의 룸미러 위치에 전방 카메라가 배치되고, 차량의 양 측방에 대한 객체 인식을 위해 사이드 미러에 측방 카메라들이 장착된다.
라이다는 차량에 영구 배치되는 센서가 아니라, 캘리브레이션을 위해 차량의 상부에 임시로 장착되는 센서이다. 차량에 배치된 카메라들의 각기 다른 객체 검출영역들을 모두 포함할 수 있도록, 도 1에 도시된 바와 같이, 라이다는 카메라들 보다 후방에 위치시킨다.
본 발명의 실시예에서는, 차량에 구비된 다양한 센서들 중에서 가장 높은 거리 정확도를 보이는 라이다를 기준 좌표계로 이용하여 좌표계 통합을 위한 캘리브레이션을 수행한다.
좌표계 통합을 위한 캘리브레이션은 서로 다른 센서 간의 좌표계 통합을 위해 변환 행렬 M을 구하는 과정이다. 만약 도 1과 같이 4개의 센서가 차량에 탑재되어 있다고 가정하면, 도 2에 도시된 바와 같이 캘리브레이션 과정을 통해 기준 센서의 좌표계로 통합을 위한 3종의 변환행렬 M1, M2, M3를 구하여야 한다.
캘리브레이션을 위해 본 발명의 실시예에서는 라이다를 이용하여 차량의 헤딩을 Z축, 차량의 lateral 방향을 X축으로 하는 좌표계를 사용한다.
본 발명의 실시예에 따른 캘리브레이션 방법에서는, 도 3에 도시된 바와 같이, 객체를 이동시키면서 카메라에서 센싱된 영상 정보로부터 객체의 검출 좌표를 구하고, 라이다에서 획득하는 객체 검출 좌표를 이용하여 변환행렬 M을 계산한다.
도 3의 하부에 나타난 바와 같이, 변환행렬 M을 구하기 위해서는 최소 12개의 측정 데이터가 필요하며, 많은 측정 데이터를 이용할수록 변환행렬이 정확하게 된다.
도 3의 변환 식에서 (Xc, Yc, Zc)는 카메라에서 검출되는 객체의 좌표계 값이고, (Xw, Yw, Zw)는 라이다에서 검출되는 객체의 좌표계 값이다. 그리고, 변환행렬 M을 구성하는 r11, r12, r13, r21, r22, r23, r31, r32, r33은 회전변환에 의해 구해지는 행렬의 요소이고, tx, ty, tz는 평행이동를 나타내는 행렬의 요소이다.
차량에 구비된 다수의 센서들 중에서 전방 카메라의 캘리브레이션을 위한 절차는 다음과 같다.
먼저, 라이다를 도 4에 도시된 바와 같이, 차량의 차축 중심에 위치시키고, 물체를 차량에서 가까운 1의 위치에서 차량에서 먼 2의 위치로 일정 간격씩 이동시킨다. 이때, 라이다는 물체의 위치가 차량 기준으로 polar 좌표계상의 0도 각도에 위치하도록 배치한다.
그리고, 전방 카메라에 대한 캘리브레이션을 위해 객체를 도 5에 도시된 바와 같이, 센서들로부터의 거리와 센서들과 이루는 각도가 가변하도록 이동시키면서 카메라에서 검출한 좌표 정보와 라이다에서 검출한 객체 좌표 정보를 이용하여 전방 카메라에 대한 변환행렬 M1을 계산한다.
각 센서의 데이터 출력 시점 및 동기화에 어려움이 있으므로 캘리브레이션을 위해 이동하는 객체가 각 위치에서 잠시 정지하여 좌표 정확한 좌표 정보를 수집해야 한다.
이후, 동일한 방법으로, 차량에 구비된 측방 카메라들 각각에 대해서도 캘리브레이션을 수행하여, 변환행렬 M2, M3을 계산한다.
도 6은 본 발명의 다른 실시예에 따른 다중 센서의 단일 3차원 좌표계 통합을 위한 캘리브레이션 시스템의 블럭도이다.
본 발명의 실시예에 따른 캘리브레이션 시스템은 다중 센서의 단일 3차원 좌표계 통합을 위해, 도 6에 도시된 바와 같이, 센서 인터페이스부(110), 데이터 수신부(120), 객체 검출부(130) 및 캘리브레이션부(140)를 포함한다.
센서 인터페이스부(110)는 차량에 영구 설치된 센서들 중 어느 하나와 기준 좌표계를 제공하기 위해 임시 설치된 센서로부터 신호를 입력받는 센서 인터페이스들을 포함한다.
센서 인터페이스부(110)를 통해 신호가 입력되는 센서는 캘리브레이션 순서에 따라 순차적으로 변경된다.
데이터 수신부(120)는 센서 인터페이스들을 통해 입력되는 센서 신호들의 데이터 포맷을 정해진 공통 포맷으로 변환하는 데이터 포맷 변환부들을 포함한다.
객체 검출부(130)는 데이터 포맷 변환부들로부터 전달되는 센서 데이터에서 객체를 인식하여, 객체의 위치를 검출하기 위한 객체 인식 및 위치 추출부들을 포함한다.
또한, 객체 검출부(130)는 센서 데이터들의 시간 동기화를 위한 타임 스탬프 생성기를 포함한다. 카메라 기준 좌표(Xc, Yc, Zc)와 라이다 기준 좌표(Xw, Yw, Zw)를 동일 시점에 로깅하여 사용하기 위함이다.
캘리브레이션부(140)는 객체 인식 및 위치 추출부들에 의한 객체 위치 검출 결과들을 이용하여, 센서의 캘리브레이션을 위한 변환행렬 M을 계산하는 M 연산기들을 포함한다.
M 연산기들에 의해 계산된 변환행렬들은 캘리브레이션 시스템에 저장되어 활용된다.
지금까지, 다중 센서의 단일 3차원 좌표계 통합을 위한 캘리브레이션 방법 및 시스템에 대해 바람직한 실시예들을 들어 상세히 설명하였다.
본 발명의 실시예에 따른 캘리브레이션 방법 및 시스템에서는, 다종/다수의 센서를 이동체에 탑재할 때, 높은 정확도와 높은 조밀도를 동시에 갖는 하나의 좌표계를 생성하기 위해 카메라와 라이다를 이용한 캘리브레이션을 상정하였다.
하지만, 캘리브레이션 대상이 되는 카메라는 설명의 편의를 위해 든 일 예에 해당한다. 다른 종류의 센서를 캘리브레이션 하는 경우에도 본 발명의 실시예가 적용될 수 있다.
나아가, 캘리브레이션의 기준이 되는 라이다 역시 설명의 편의를 위해 든 일 예에 해당한다. 다른 종류의 센서를 기준 센서로 활용하는 경우에도 본 발명의 실시예가 적용될 수 있다.
본 발명의 실시예에 따른 캘리브레이션 방법 및 시스템에 의해, 자율 이동체와 같은 다수의 센서가 사용되는 어플리케이션에서 이종 또는 동일 센서 간의 캘리브레이션 수행을 위해 복잡한 캘리브레이션용 보드를 이용하지 않고 일반 객체의 이동을 통한 캘리브레이션이 가능하고, 각 센서별로 별도의 캘리브레이션 방법을 적용하지 않고 검출(인식)된 개별 센서의 좌표와 기준 센서의 좌표만을 이용하여 모든 센서 간의 캘리브레이션 수행이 가능하여 캘리브레이션 복잡도를 낮출수 있다.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110 : 센서 인터페이스부
120 : 데이터 수신부
130 : 객체 검출부
140 : 캘리브레이션부

Claims (12)

  1. 기준 센서를 통해 검출된 객체의 위치들을 추출하는 제1 추출단계;
    캘리브레이션 대상이 되는 제1 센서를 통해 검출된 객체의 위치들을 추출하는 제2 추출단계;
    캘리브레이션 대상이 되는 제2 센서를 통해 검출된 객체의 위치들을 추출하는 제3 추출단계; 및
    제1 추출단계를 통해 추출된 객체의 위치들과 제2 추출단계를 통해 추출된 객체의 위치들을 이용하여, 제1 센서의 좌표계를 기준 센서의 좌표계로 변환하기 위한 제1 변환행렬을 계산하는 단계;
    제1 추출단계를 통해 추출된 객체의 위치들과 제3 추출단계를 통해 추출된 객체의 위치들을 이용하여, 제2 센서의 좌표계를 기준 센서의 좌표계로 변환하기 위한 제2 변환행렬을 계산하는 단계;를 포함하고,
    기준 센서는,
    제1 센서와 제2 센서의 캘리브레이션을 위해 차량에 임시로 설치되는 센서로, 제1 센서와 제2 센서 보다 거리 정확도가 높은 센서인 것을 특징으로 하는 캘리브레이션 방법.
  2. 삭제
  3. 청구항 1에 있어서,
    객체는,
    센서들로부터의 거리가 가변되며 이동하는 것을 특징으로 하는 캘리브레이션 방법.
  4. 청구항 3에 있어서,
    객체는,
    센서들과 이루는 각도가 가변되며 이동하는 것을 특징으로 하는 캘리브레이션 방법.
  5. 청구항 4에 있어서,
    객체는,
    캘리브레이션용 체크 보드가 아닌 것을 특징으로 하는 캘리브레이션 방법.
  6. 삭제
  7. 청구항 1에 있어서,
    기준 센서의 검출 영역은,
    제1 센서의 객체 검출 영역 중 적어도 일부와 제2 센서의 검출 영역 중 적어도 일부를 포함하는 것을 특징으로 하는 캘리브레이션 방법.
  8. 삭제
  9. 청구항 7에 있어서,
    기준 센서는,
    제1 센서와 제2 센서의 후방에 설치되는 것을 특징으로 하는 캘리브레이션 방법.
  10. 기준 센서를 통해 검출된 객체의 위치들을 추출하는 제1 추출부;
    캘리브레이션 대상이 되는 제1 센서를 통해 검출된 객체의 위치들을 추출하는 제2 추출부;
    캘리브레이션 대상이 되는 제2 센서를 통해 검출된 객체의 위치들을 추출하는 제3 추출부; 및
    제1 추출부를 통해 추출된 객체의 위치들과 제2 추출부를 통해 추출된 객체의 위치들을 이용하여 제1 센서의 좌표계를 기준 센서의 좌표계로 변환하기 위한 제1 변환행렬을 계산하고, 제1 추출부를 통해 추출된 객체의 위치들과 제3 추출부를 통해 추출된 객체의 위치들을 이용하여 제2 센서의 좌표계를 기준 센서의 좌표계로 변환하기 위한 제2 변환행렬을 계산하는 연산부;를 포함하고,
    기준 센서는,
    제1 센서와 제2 센서의 캘리브레이션을 위해 차량에 임시로 설치되는 센서로, 제1 센서와 제2 센서 보다 거리 정확도가 높은 센서인 것을 특징으로 하는 캘리브레이션 시스템.
  11. 기준 센서가, 객체를 검출하는 단계;
    캘리브레이션 대상이 되는 제1 센서가, 객체를 검출하는 단계;
    캘리브레이션 대상이 되는 제2 센서가, 객체를 검출하는 단계;
    캘리브레이션 시스템이, 기준 센서가 검출한 객체의 위치들을 추출하는 제1 추출단계;
    캘리브레이션 시스템이, 제1 센서를 통해 검출된 객체의 위치들을 추출하는 제2 추출단계;
    캘리브레이션 시스템이, 제2 센서를 통해 검출된 객체의 위치들을 추출하는 제3 추출단계; 및
    캘리브레이션 시스템이, 제1 추출단계를 통해 추출된 객체의 위치들과 제2 추출단계를 통해 추출된 객체의 위치들을 이용하여, 제1 센서의 좌표계를 기준 센서의 좌표계로 변환하기 위한 제1 변환행렬을 계산하는 단계;
    캘리브레이션 시스템이, 제1 추출단계를 통해 추출된 객체의 위치들과 제3 추출단계를 통해 추출된 객체의 위치들을 이용하여, 제2 센서의 좌표계를 기준 센서의 좌표계로 변환하기 위한 제2 변환행렬을 계산하는 단계;를 포함하고,
    기준 센서는,
    제1 센서와 제2 센서의 캘리브레이션을 위해 차량에 임시로 설치되는 센서로, 제1 센서와 제2 센서 보다 거리 정확도가 높은 센서인 것을 특징으로 하는 캘리브레이션 방법.
  12. 객체를 검출하는 기준 센서;
    캘리브레이션 대상이 되며, 객체를 검출하는 제1 센서;
    캘리브레이션 대상이 되며, 객체를 검출하는 제2 센서; 및
    기준 센서를 통해 검출된 객체의 위치들을 추출하고, 제1 센서를 통해 검출된 객체의 위치들을 추출하며, 제2 센서를 통해 검출된 객체의 위치들을 추출하고, 추출된 객체의 위치들을 이용하여 제1 센서의 좌표계를 기준 센서의 좌표계로 변환하기 위한 제1 변환행렬과 제2 센서의 좌표계를 기준 센서의 좌표계로 변환하기 위한 제2 변환행렬을 계산하는 캘리브레이션 시스템;을 포함하고,
    기준 센서는,
    제1 센서와 제2 센서의 캘리브레이션을 위해 차량에 임시로 설치되는 센서로, 제1 센서와 제2 센서 보다 거리 정확도가 높은 센서인 것을 특징으로 하는 센서 시스템.
KR1020170173753A 2017-12-18 2017-12-18 다중 센서의 단일 3차원 좌표계 통합을 위한 캘리브레이션 방법 KR102021202B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170173753A KR102021202B1 (ko) 2017-12-18 2017-12-18 다중 센서의 단일 3차원 좌표계 통합을 위한 캘리브레이션 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170173753A KR102021202B1 (ko) 2017-12-18 2017-12-18 다중 센서의 단일 3차원 좌표계 통합을 위한 캘리브레이션 방법

Publications (2)

Publication Number Publication Date
KR20190072734A KR20190072734A (ko) 2019-06-26
KR102021202B1 true KR102021202B1 (ko) 2019-09-11

Family

ID=67104971

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170173753A KR102021202B1 (ko) 2017-12-18 2017-12-18 다중 센서의 단일 3차원 좌표계 통합을 위한 캘리브레이션 방법

Country Status (1)

Country Link
KR (1) KR102021202B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021182793A1 (ko) * 2020-03-12 2021-09-16 주식회사 멀티플아이 단일 체커보드를 이용하는 이종 센서 캘리브레이션 방법 및 장치
US11587256B2 (en) 2019-12-05 2023-02-21 Electronics And Telecommunications Research Institute Apparatus for autonomous driving and method and system for calibrating sensor thereof

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110501036A (zh) * 2019-08-16 2019-11-26 北京致行慕远科技有限公司 传感器参数的标定检查方法及装置
KR102615478B1 (ko) * 2019-10-24 2023-12-19 현대모비스 주식회사 자동차용 센서 통합 모듈
KR102276597B1 (ko) * 2019-11-28 2021-07-14 한국전자기술연구원 벡터맵을 이용한 라이다 데이터 범위 최적화를 위한 차량 제어 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012253758A (ja) * 2011-06-01 2012-12-20 Harman Becker Automotive Systems Gmbh 車両視覚システムの較正方法および車両視覚システム
KR101473736B1 (ko) * 2013-12-20 2014-12-18 국방과학연구소 폐루프 기반의 다중 센서 캘리브레이션 장치 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012253758A (ja) * 2011-06-01 2012-12-20 Harman Becker Automotive Systems Gmbh 車両視覚システムの較正方法および車両視覚システム
KR101473736B1 (ko) * 2013-12-20 2014-12-18 국방과학연구소 폐루프 기반의 다중 센서 캘리브레이션 장치 및 그 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11587256B2 (en) 2019-12-05 2023-02-21 Electronics And Telecommunications Research Institute Apparatus for autonomous driving and method and system for calibrating sensor thereof
WO2021182793A1 (ko) * 2020-03-12 2021-09-16 주식회사 멀티플아이 단일 체커보드를 이용하는 이종 센서 캘리브레이션 방법 및 장치

Also Published As

Publication number Publication date
KR20190072734A (ko) 2019-06-26

Similar Documents

Publication Publication Date Title
KR102021202B1 (ko) 다중 센서의 단일 3차원 좌표계 통합을 위한 캘리브레이션 방법
KR102054455B1 (ko) 이종 센서 간의 캘리브레이션 장치 및 방법
US10436884B2 (en) Calibration of laser and vision sensors
EP3469306B1 (en) Geometric matching in visual navigation systems
CN109211298A (zh) 一种传感器标定方法和装置
CN109059902A (zh) 相对位姿确定方法、装置、设备和介质
JP2020527500A (ja) オンボードセンサの外部パラメータを較正する方法及び装置
KR20180044279A (ko) 깊이 맵 샘플링을 위한 시스템 및 방법
KR102145557B1 (ko) 이종 센서 간의 데이터 융합 장치 및 방법
JP2017529616A (ja) モバイルプラットフォームの制御方法およびシステム
CN110470333B (zh) 传感器参数的标定方法及装置、存储介质和电子装置
JP2020534198A (ja) 移動可能物体の制御方法、機器およびシステム
KR20160077684A (ko) 객체 추적 장치 및 방법
EP4213128A1 (en) Obstacle detection device, obstacle detection system, and obstacle detection method
CN113658241A (zh) 单目结构光的深度恢复方法、电子设备及存储介质
CN112668603A (zh) 产生识别传感器数据中的对象的识别模型用的训练数据的方法和设备、训练方法和操控方法
JP2023004964A (ja) センサキャリブレーション方法及び装置
CN111753901B (zh) 一种数据融合方法、装置、系统及计算机设备
KR20220027359A (ko) 자율주행을 위한 높이 맵 격자간격 조정방법
KR101392222B1 (ko) 표적 윤곽을 추출하는 레이저 레이더, 그것의 표적 윤곽 추출 방법
KR102325121B1 (ko) 맵 정보과 영상 매칭을 통한 실시간 로봇 위치 예측 방법 및 로봇
KR101853652B1 (ko) 어라운드뷰 생성 방법 및 이를 수행하는 장치
JP7092741B2 (ja) 自己位置推定方法
Vaida et al. Automatic extrinsic calibration of LIDAR and monocular camera images
CN114879168A (zh) 一种激光雷达与imu标定方法及系统

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant