KR20190072734A - 다중 센서의 단일 3차원 좌표계 통합을 위한 캘리브레이션 방법 - Google Patents
다중 센서의 단일 3차원 좌표계 통합을 위한 캘리브레이션 방법 Download PDFInfo
- Publication number
- KR20190072734A KR20190072734A KR1020170173753A KR20170173753A KR20190072734A KR 20190072734 A KR20190072734 A KR 20190072734A KR 1020170173753 A KR1020170173753 A KR 1020170173753A KR 20170173753 A KR20170173753 A KR 20170173753A KR 20190072734 A KR20190072734 A KR 20190072734A
- Authority
- KR
- South Korea
- Prior art keywords
- sensor
- positions
- calibration
- coordinate system
- extracting
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000000605 extraction Methods 0.000 claims abstract description 24
- 239000011159 matrix material Substances 0.000 claims abstract description 23
- 230000009466 transformation Effects 0.000 claims description 18
- 238000001514 detection method Methods 0.000 claims description 14
- 230000001131 transforming effect Effects 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000010354 integration Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/04—Monitoring the functioning of the control system
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D18/00—Testing or calibrating apparatus or arrangements provided for in groups G01D1/00 - G01D15/00
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
- B60W2050/0057—Frequency analysis, spectral techniques or transforms
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0062—Adapting control system settings
- B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
- B60W2050/0083—Setting, resetting, calibration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/408—Radar; Laser, e.g. lidar
-
- B60W2420/42—
-
- B60W2420/52—
-
- B60W2550/10—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
- B60Y2400/00—Special features of vehicle units
- B60Y2400/30—Sensors
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
다종/다수의 센서를 이동체에 탑재할 때, 높은 정확도와 조밀도로 하나의 좌표계로 신속하게 통합할 수 있는 캘리브레이션 방법이 제공된다. 본 발명의 실시예에 따른 캘리브레이션 방법은 기준 센서를 통해 검출된 객체의 위치들을 추출하는 제1 추출단계; 캘리브레이션 대상이 되는 제1 센서를 통해 검출된 객체의 위치들을 추출하는 제2 추출단계; 및 제1 추출단계를 통해 추출된 객체의 위치들과 제2 추출단계를 통해 추출된 객체의 위치들을 이용하여, 제1 센서의 좌표계를 기준 센서의 좌표계로 변환하기 위한 제1 변환행렬을 계산하는 단계;를 포함한다.
이에 의해, 자율 이동체와 같은 다수의 센서가 사용되는 어플리케이션에서 이종 또는 동일 센서 간의 캘리브레이션 수행을 위해 복잡한 캘리브레이션용 체크 보드를 이용하지 않고 일반 객체의 이동을 통해 높은 정확도와 조밀도로 캘리브레이션이 가능하다.
이에 의해, 자율 이동체와 같은 다수의 센서가 사용되는 어플리케이션에서 이종 또는 동일 센서 간의 캘리브레이션 수행을 위해 복잡한 캘리브레이션용 체크 보드를 이용하지 않고 일반 객체의 이동을 통해 높은 정확도와 조밀도로 캘리브레이션이 가능하다.
Description
본 발명은 센서 캘리브레이션 기술에 관한 것으로, 더욱 상세하게는 다종/다수의 센서들의 좌표계들을 하나의 단일 좌표계로 통합하기 위한 캘리브레이션 방법에 관한 것이다.
자율주행 자동차와 같은 시스템에서 이동체의 자율적인 주행을 위해 차량 주변에 존재하는 객체들을 탐지 또는 인식하여 하나의 통합 좌표계로 정보를 변환하는 것이 필요하다.
만약, 시스템이 전방 또는 측방에 카메라 센서를 장착하고 전방에 레이더를 장착하여 차량 주변의 객체 정보를 수집할 경우, 각 센서에 연결되는 개별 ECU(Electronic Control Unit)에서 검지하여 전송하는 객체 정보들을 이용하게 된다.
이때, 각 센서 ECU들은 각자 기준의 독립적인 좌표계를 사용하여 정보를 출력한다. 차량에 부착된 모든 센서들로부터 전송받은 정보들을 하나의 좌표계로 통합하여 사용하기 위해 캘리브레이션 과정을 거친다. 캘리브레이션 과정에서는, 거리 정보를 알기 위해 스테레오 카메라, 레이저 거리계 또는 라이다와 같은 센서들을 사용한다.
스테레오 카메라는 기하하적 관계를 알고 있는 두 대의 카메라로부터 동시에 영상을 취득하여 정합 과정을 거쳐 카메라에서 대상체까지의 거리를 계산한다. 영상 센서를 이용하기 때문에 환경을 자세하게 모델링이 가능하다. 그러나 카메라 간의 부정확한 기하학적 관계 추정으로 모델링의 오차가 직접적으로 반영되어 원거리에서 거리 오차가 크게 발생하는 단점이 있다.
레이저 거리계나 라이다를 이용하는 경우는 레이저 신호를 송신하여 물체에서 반사되어 온 신호를 수신하여 원거리에서도 높은 정확도를 갖지만 정해진 각도 간격의 레이저를 사용하는 특성 때문에 목표 환경까지의 거리가 멀수록 센서 정보의 정밀도가 떨어지는 문제가 있다.
기존에는 각종 센서 간의 위치 정보 정합을 위한 캘리브레이션을 위해 각 센서 간의 각 점(카메라는 pixel, 라이다는 point of cloud)에 대해 1:1 매핑을 하거나 기하학적 모델링을 통한 캘리브레이션을 수행하였으나 센서 간의 정밀도 차이로 인해 정확도가 높지 않은 문제가 있다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 다종/다수의 센서를 이동체에 탑재할 때, 높은 정확도와 조밀도로 하나의 좌표계로 신속하게 통합할 수 있는 캘리브레이션 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 캘리브레이션 방법은 기준 센서를 통해 검출된 객체의 위치들을 추출하는 제1 추출단계; 캘리브레이션 대상이 되는 제1 센서를 통해 검출된 객체의 위치들을 추출하는 제2 추출단계; 및 제1 추출단계를 통해 추출된 객체의 위치들과 제2 추출단계를 통해 추출된 객체의 위치들을 이용하여, 제1 센서의 좌표계를 기준 센서의 좌표계로 변환하기 위한 제1 변환행렬을 계산하는 단계;를 포함한다.
본 발명에 따른 캘리브레이션 방법은 캘리브레이션 대상이 되는 제2 센서를 통해 검출된 객체의 위치들을 추출하는 제3 추출단계; 및 제1 추출단계를 통해 추출된 객체의 위치들과 제3 추출단계를 통해 추출된 객체의 위치들을 이용하여, 제2 센서의 좌표계를 기준 센서의 좌표계로 변환하기 위한 제2 변환행렬을 계산하는 단계;를 더 포함할 수 있다.
객체는, 센서들로부터의 거리가 가변되며 이동하는 것일 수 있다.
객체는, 센서들과 이루는 각도가 가변되며 이동하는 것일 수 있다.
객체는, 캘리브레이션용 체크 보드가 아닐 수 있다.
기준 센서는, 제1 센서와 제2 센서의 캘리브레이션을 위해, 차량에 임시로 설치되는 센서일 수 있다.
기준 센서의 검출 영역은, 제1 센서의 객체 검출 영역 중 적어도 일부와 제2 센서의 검출 영역 중 적어도 일부를 포함하는 것일 수 있다.
기준 센서는, 제1 센서와 제2 센서 보다 거리 정확도가 높은 센서일 수 있다.
기준 센서는, 제1 센서와 제2 센서의 후방에 설치되는 것일 수 있다.
한편, 본 발명의 다른 실시예에 따른, 캘리브레이션 시스템은 기준 센서를 통해 검출된 객체의 위치들을 추출하는 제1 추출부; 캘리브레이션 대상이 되는 제1 센서를 통해 검출된 객체의 위치들을 추출하는 제2 추출부; 및 제1 추출부를 통해 추출된 객체의 위치들과 제2 추출부를 통해 추출된 객체의 위치들을 이용하여, 제1 센서의 좌표계를 기준 센서의 좌표계로 변환하기 위한 제1 변환행렬을 계산하는 연산부;를 포함한다.
한편, 본 발명의 또다른 실시예에 따른, 캘리브레이션 방법은 기준 센서가, 객체를 검출하는 단계; 캘리브레이션 대상이 되는 제1 센서가, 객체를 검출하는 단계; 캘리브레이션 시스템이, 기준 센서가 검출한 객체의 위치들을 추출하는 제1 추출단계; 캘리브레이션 시스템이, 제1 센서를 통해 검출된 객체의 위치들을 추출하는 제2 추출단계; 및 캘리브레이션 시스템이, 제1 추출단계를 통해 추출된 객체의 위치들과 제2 추출단계를 통해 추출된 객체의 위치들을 이용하여, 제1 센서의 좌표계를 기준 센서의 좌표계로 변환하기 위한 제1 변환행렬을 계산하는 단계;를 포함한다.
한편, 본 발명의 또다른 실시예에 따른, 센서 시스템은 객체를 검출하는 기준 센서; 캘리브레이션 대상이 되며, 객체를 검출하는 제1 센서; 및 기준 센서를 통해 검출된 객체의 위치들을 추출하고, 제1 센서를 통해 검출된 객체의 위치들을 추출하며, 추출된 객체의 위치들을 이용하여 제1 센서의 좌표계를 기준 센서의 좌표계로 변환하기 위한 제1 변환행렬을 계산하는 캘리브레이션 시스템;을 포함한다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 자율 이동체와 같은 다수의 센서가 사용되는 어플리케이션에서 이종 또는 동일 센서 간의 캘리브레이션 수행을 위해 복잡한 캘리브레이션용 체크 보드를 이용하지 않고 일반 객체의 이동을 통해 높은 정확도와 조밀도로 캘리브레이션이 가능하다.
또한, 본 발명의 실시예들에 따르면, 각 센서별로 별도의 캘리브레이션 방법을 적용하지 않고 검출(인식)된 개별 센서의 좌표와 기준 센서의 좌표만을 이용하여 모든 센서 간의 캘리브레이션 수행이 가능하여, 캘리브레이션 복잡도를 낮추어 캘리브레이션 속도를 높일 수 있게 된다.
도 1은 차량에서의 센서 배치 상황을 예시한 도면
도 2는 통합 좌표계 구성을 위한 변환행렬 구성의 개념도,
도 3은 본 발명의 일 실시예에 따른 캘리브레이션 방법의 개념 설명에 제공되는 도면,
도 4 및 도 5는, 캘리브레이션 위한 객체의 이동 방법을 나타낸 도면들, 그리고,
도 6은 본 발명의 다른 실시예에 따른 다중 센서의 단일 3차원 좌표계 통합을 위한 캘리브레이션 시스템의 블럭도이다.
도 2는 통합 좌표계 구성을 위한 변환행렬 구성의 개념도,
도 3은 본 발명의 일 실시예에 따른 캘리브레이션 방법의 개념 설명에 제공되는 도면,
도 4 및 도 5는, 캘리브레이션 위한 객체의 이동 방법을 나타낸 도면들, 그리고,
도 6은 본 발명의 다른 실시예에 따른 다중 센서의 단일 3차원 좌표계 통합을 위한 캘리브레이션 시스템의 블럭도이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
본 발명의 실시예에서는, 다종/다수로 구현되는 다중 센서의 단일 3차원 좌표계 통합을 위한 캘리브레이션 방법을 제시한다.
본 발명의 실시예에 따른 캘리브레이션 방법은, 무인, 자율 이동체에서 다종/다수의 센서 기반의 주변 상황 인식 시스템으로부터 입력되는 다양한 객체 탐지 정보들을 효율적으로 활용/처리하고자, 하나의 좌표계 또는 맵으로 통합하기 위한 여러 센서 간의 캘리브레이션 방법을 제시한다.
카메라, 라이다 등의 센서 사이의 각 점(카메라는 pixel, 라이다는 point of cloud)에 대해 1:1 매핑 또는 기하학적 모델링 통한 기존의 캘리브레이션과 달리, 본 발명의 실시예에 따른 캘리브레이션 방법은, 각 센서의 검출 결과(인식 결과)를 기반으로 각 센서의 좌표에 대한 변환 행렬을 계산하여 캘리브레이션을 수행한다.
또한, 본 발명의 실시예에 따른 캘리브레이션 방법은, 기준 센서를 중심으로 각 센서 간의 변환 행렬을 캘리브레이션 단계에서 수행하고 이후에는 변환 행렬을 이용하여 개별 센서의 좌표를 기준 센서의 좌표계로 변환/통합하여 사용한다.
도 1은 차량에서의 센서 배치 상황을 예시한 도면이다. 도 1에 도시된 차량에서의 센서 배치는, 본 발명의 실시예에 따른 좌표계 통합을 위한 캘리브레이션 방법의 설명을 위해 든 일 예에 해당한다. 도 1에 도시된 바와 다른 방식으로 센서들이 배치된 상황에서도 본 발명의 기술적 사상이 적용될 수 있음에 유념하여야 한다.
도 1에서는, 차량 전방의 객체를 인식하기 위해 차량 실내의 룸미러 위치에 전방 카메라가 배치되고, 차량의 양 측방에 대한 객체 인식을 위해 사이드 미러에 측방 카메라들이 장착된다.
라이다는 차량에 영구 배치되는 센서가 아니라, 캘리브레이션을 위해 차량의 상부에 임시로 장착되는 센서이다. 차량에 배치된 카메라들의 각기 다른 객체 검출영역들을 모두 포함할 수 있도록, 도 1에 도시된 바와 같이, 라이다는 카메라들 보다 후방에 위치시킨다.
본 발명의 실시예에서는, 차량에 구비된 다양한 센서들 중에서 가장 높은 거리 정확도를 보이는 라이다를 기준 좌표계로 이용하여 좌표계 통합을 위한 캘리브레이션을 수행한다.
좌표계 통합을 위한 캘리브레이션은 서로 다른 센서 간의 좌표계 통합을 위해 변환 행렬 M을 구하는 과정이다. 만약 도 1과 같이 4개의 센서가 차량에 탑재되어 있다고 가정하면, 도 2에 도시된 바와 같이 캘리브레이션 과정을 통해 기준 센서의 좌표계로 통합을 위한 3종의 변환행렬 M1, M2, M3를 구하여야 한다.
캘리브레이션을 위해 본 발명의 실시예에서는 라이다를 이용하여 차량의 헤딩을 Z축, 차량의 lateral 방향을 X축으로 하는 좌표계를 사용한다.
본 발명의 실시예에 따른 캘리브레이션 방법에서는, 도 3에 도시된 바와 같이, 객체를 이동시키면서 카메라에서 센싱된 영상 정보로부터 객체의 검출 좌표를 구하고, 라이다에서 획득하는 객체 검출 좌표를 이용하여 변환행렬 M을 계산한다.
도 3의 하부에 나타난 바와 같이, 변환행렬 M을 구하기 위해서는 최소 12개의 측정 데이터가 필요하며, 많은 측정 데이터를 이용할수록 변환행렬이 정확하게 된다.
도 3의 변환 식에서 (Xc, Yc, Zc)는 카메라에서 검출되는 객체의 좌표계 값이고, (Xw, Yw, Zw)는 라이다에서 검출되는 객체의 좌표계 값이다. 그리고, 변환행렬 M을 구성하는 r11, r12, r13, r21, r22, r23, r31, r32, r33은 회전변환에 의해 구해지는 행렬의 요소이고, tx, ty, tz는 평행이동를 나타내는 행렬의 요소이다.
차량에 구비된 다수의 센서들 중에서 전방 카메라의 캘리브레이션을 위한 절차는 다음과 같다.
먼저, 라이다를 도 4에 도시된 바와 같이, 차량의 차축 중심에 위치시키고, 물체를 차량에서 가까운 1의 위치에서 차량에서 먼 2의 위치로 일정 간격씩 이동시킨다. 이때, 라이다는 물체의 위치가 차량 기준으로 polar 좌표계상의 0도 각도에 위치하도록 배치한다.
그리고, 전방 카메라에 대한 캘리브레이션을 위해 객체를 도 5에 도시된 바와 같이, 센서들로부터의 거리와 센서들과 이루는 각도가 가변하도록 이동시키면서 카메라에서 검출한 좌표 정보와 라이다에서 검출한 객체 좌표 정보를 이용하여 전방 카메라에 대한 변환행렬 M1을 계산한다.
각 센서의 데이터 출력 시점 및 동기화에 어려움이 있으므로 캘리브레이션을 위해 이동하는 객체가 각 위치에서 잠시 정지하여 좌표 정확한 좌표 정보를 수집해야 한다.
이후, 동일한 방법으로, 차량에 구비된 측방 카메라들 각각에 대해서도 캘리브레이션을 수행하여, 변환행렬 M2, M3을 계산한다.
도 6은 본 발명의 다른 실시예에 따른 다중 센서의 단일 3차원 좌표계 통합을 위한 캘리브레이션 시스템의 블럭도이다.
본 발명의 실시예에 따른 캘리브레이션 시스템은 다중 센서의 단일 3차원 좌표계 통합을 위해, 도 6에 도시된 바와 같이, 센서 인터페이스부(110), 데이터 수신부(120), 객체 검출부(130) 및 캘리브레이션부(140)를 포함한다.
센서 인터페이스부(110)는 차량에 영구 설치된 센서들 중 어느 하나와 기준 좌표계를 제공하기 위해 임시 설치된 센서로부터 신호를 입력받는 센서 인터페이스들을 포함한다.
센서 인터페이스부(110)를 통해 신호가 입력되는 센서는 캘리브레이션 순서에 따라 순차적으로 변경된다.
데이터 수신부(120)는 센서 인터페이스들을 통해 입력되는 센서 신호들의 데이터 포맷을 정해진 공통 포맷으로 변환하는 데이터 포맷 변환부들을 포함한다.
객체 검출부(130)는 데이터 포맷 변환부들로부터 전달되는 센서 데이터에서 객체를 인식하여, 객체의 위치를 검출하기 위한 객체 인식 및 위치 추출부들을 포함한다.
또한, 객체 검출부(130)는 센서 데이터들의 시간 동기화를 위한 타임 스탬프 생성기를 포함한다. 카메라 기준 좌표(Xc, Yc, Zc)와 라이다 기준 좌표(Xw, Yw, Zw)를 동일 시점에 로깅하여 사용하기 위함이다.
캘리브레이션부(140)는 객체 인식 및 위치 추출부들에 의한 객체 위치 검출 결과들을 이용하여, 센서의 캘리브레이션을 위한 변환행렬 M을 계산하는 M 연산기들을 포함한다.
M 연산기들에 의해 계산된 변환행렬들은 캘리브레이션 시스템에 저장되어 활용된다.
지금까지, 다중 센서의 단일 3차원 좌표계 통합을 위한 캘리브레이션 방법 및 시스템에 대해 바람직한 실시예들을 들어 상세히 설명하였다.
본 발명의 실시예에 따른 캘리브레이션 방법 및 시스템에서는, 다종/다수의 센서를 이동체에 탑재할 때, 높은 정확도와 높은 조밀도를 동시에 갖는 하나의 좌표계를 생성하기 위해 카메라와 라이다를 이용한 캘리브레이션을 상정하였다.
하지만, 캘리브레이션 대상이 되는 카메라는 설명의 편의를 위해 든 일 예에 해당한다. 다른 종류의 센서를 캘리브레이션 하는 경우에도 본 발명의 실시예가 적용될 수 있다.
나아가, 캘리브레이션의 기준이 되는 라이다 역시 설명의 편의를 위해 든 일 예에 해당한다. 다른 종류의 센서를 기준 센서로 활용하는 경우에도 본 발명의 실시예가 적용될 수 있다.
본 발명의 실시예에 따른 캘리브레이션 방법 및 시스템에 의해, 자율 이동체와 같은 다수의 센서가 사용되는 어플리케이션에서 이종 또는 동일 센서 간의 캘리브레이션 수행을 위해 복잡한 캘리브레이션용 보드를 이용하지 않고 일반 객체의 이동을 통한 캘리브레이션이 가능하고, 각 센서별로 별도의 캘리브레이션 방법을 적용하지 않고 검출(인식)된 개별 센서의 좌표와 기준 센서의 좌표만을 이용하여 모든 센서 간의 캘리브레이션 수행이 가능하여 캘리브레이션 복잡도를 낮출수 있다.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110 : 센서 인터페이스부
120 : 데이터 수신부
130 : 객체 검출부
140 : 캘리브레이션부
120 : 데이터 수신부
130 : 객체 검출부
140 : 캘리브레이션부
Claims (12)
- 기준 센서를 통해 검출된 객체의 위치들을 추출하는 제1 추출단계;
캘리브레이션 대상이 되는 제1 센서를 통해 검출된 객체의 위치들을 추출하는 제2 추출단계; 및
제1 추출단계를 통해 추출된 객체의 위치들과 제2 추출단계를 통해 추출된 객체의 위치들을 이용하여, 제1 센서의 좌표계를 기준 센서의 좌표계로 변환하기 위한 제1 변환행렬을 계산하는 단계;를 포함하는 것을 특징으로 하는 캘리브레이션 방법.
- 청구항 1에 있어서,
캘리브레이션 대상이 되는 제2 센서를 통해 검출된 객체의 위치들을 추출하는 제3 추출단계; 및
제1 추출단계를 통해 추출된 객체의 위치들과 제3 추출단계를 통해 추출된 객체의 위치들을 이용하여, 제2 센서의 좌표계를 기준 센서의 좌표계로 변환하기 위한 제2 변환행렬을 계산하는 단계;를 더 포함하는 것을 특징으로 하는 캘리브레이션 방법.
- 청구항 2에 있어서,
객체는,
센서들로부터의 거리가 가변되며 이동하는 것을 특징으로 하는 캘리브레이션 방법.
- 청구항 3에 있어서,
객체는,
센서들과 이루는 각도가 가변되며 이동하는 것을 특징으로 하는 캘리브레이션 방법.
- 청구항 4에 있어서,
객체는,
캘리브레이션용 체크 보드가 아닌 것을 특징으로 하는 캘리브레이션 방법.
- 청구항 2에 있어서,
기준 센서는,
제1 센서와 제2 센서의 캘리브레이션을 위해, 차량에 임시로 설치되는 센서인 것을 특징으로 하는 캘리브레이션 방법.
- 청구항 6에 있어서,
기준 센서의 검출 영역은,
제1 센서의 객체 검출 영역 중 적어도 일부와 제2 센서의 검출 영역 중 적어도 일부를 포함하는 것을 특징으로 하는 캘리브레이션 방법.
- 청구항 7에 있어서,
기준 센서는,
제1 센서와 제2 센서 보다 거리 정확도가 높은 센서인 것을 특징으로 하는 캘리브레이션 방법.
- 청구항 7에 있어서,
기준 센서는,
제1 센서와 제2 센서의 후방에 설치되는 것을 특징으로 하는 캘리브레이션 방법.
- 기준 센서를 통해 검출된 객체의 위치들을 추출하는 제1 추출부;
캘리브레이션 대상이 되는 제1 센서를 통해 검출된 객체의 위치들을 추출하는 제2 추출부; 및
제1 추출부를 통해 추출된 객체의 위치들과 제2 추출부를 통해 추출된 객체의 위치들을 이용하여, 제1 센서의 좌표계를 기준 센서의 좌표계로 변환하기 위한 제1 변환행렬을 계산하는 연산부;를 포함하는 것을 특징으로 하는 캘리브레이션 시스템.
- 기준 센서가, 객체를 검출하는 단계;
캘리브레이션 대상이 되는 제1 센서가, 객체를 검출하는 단계;
캘리브레이션 시스템이, 기준 센서가 검출한 객체의 위치들을 추출하는 제1 추출단계;
캘리브레이션 시스템이, 제1 센서를 통해 검출된 객체의 위치들을 추출하는 제2 추출단계; 및
캘리브레이션 시스템이, 제1 추출단계를 통해 추출된 객체의 위치들과 제2 추출단계를 통해 추출된 객체의 위치들을 이용하여, 제1 센서의 좌표계를 기준 센서의 좌표계로 변환하기 위한 제1 변환행렬을 계산하는 단계;를 포함하는 것을 특징으로 하는 캘리브레이션 방법.
- 객체를 검출하는 기준 센서;
캘리브레이션 대상이 되며, 객체를 검출하는 제1 센서; 및
기준 센서를 통해 검출된 객체의 위치들을 추출하고, 제1 센서를 통해 검출된 객체의 위치들을 추출하며, 추출된 객체의 위치들을 이용하여 제1 센서의 좌표계를 기준 센서의 좌표계로 변환하기 위한 제1 변환행렬을 계산하는 캘리브레이션 시스템;을 포함하는 것을 특징으로 하는 센서 시스템.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170173753A KR102021202B1 (ko) | 2017-12-18 | 2017-12-18 | 다중 센서의 단일 3차원 좌표계 통합을 위한 캘리브레이션 방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170173753A KR102021202B1 (ko) | 2017-12-18 | 2017-12-18 | 다중 센서의 단일 3차원 좌표계 통합을 위한 캘리브레이션 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20190072734A true KR20190072734A (ko) | 2019-06-26 |
KR102021202B1 KR102021202B1 (ko) | 2019-09-11 |
Family
ID=67104971
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020170173753A KR102021202B1 (ko) | 2017-12-18 | 2017-12-18 | 다중 센서의 단일 3차원 좌표계 통합을 위한 캘리브레이션 방법 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102021202B1 (ko) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110501036A (zh) * | 2019-08-16 | 2019-11-26 | 北京致行慕远科技有限公司 | 传感器参数的标定检查方法及装置 |
KR20210048889A (ko) * | 2019-10-24 | 2021-05-04 | 현대모비스 주식회사 | 자동차용 센서 통합 모듈 |
KR20210066957A (ko) * | 2019-11-28 | 2021-06-08 | 한국전자기술연구원 | 벡터맵을 이용한 라이다 데이터 범위 최적화를 위한 차량 제어 장치 및 방법 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210071193A (ko) | 2019-12-05 | 2021-06-16 | 한국전자통신연구원 | 자율 주행 장치, 센서 캘리브레이션 시스템 및 방법 |
WO2021182793A1 (ko) * | 2020-03-12 | 2021-09-16 | 주식회사 멀티플아이 | 단일 체커보드를 이용하는 이종 센서 캘리브레이션 방법 및 장치 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012253758A (ja) * | 2011-06-01 | 2012-12-20 | Harman Becker Automotive Systems Gmbh | 車両視覚システムの較正方法および車両視覚システム |
KR101473736B1 (ko) * | 2013-12-20 | 2014-12-18 | 국방과학연구소 | 폐루프 기반의 다중 센서 캘리브레이션 장치 및 그 방법 |
-
2017
- 2017-12-18 KR KR1020170173753A patent/KR102021202B1/ko active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012253758A (ja) * | 2011-06-01 | 2012-12-20 | Harman Becker Automotive Systems Gmbh | 車両視覚システムの較正方法および車両視覚システム |
KR101473736B1 (ko) * | 2013-12-20 | 2014-12-18 | 국방과학연구소 | 폐루프 기반의 다중 센서 캘리브레이션 장치 및 그 방법 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110501036A (zh) * | 2019-08-16 | 2019-11-26 | 北京致行慕远科技有限公司 | 传感器参数的标定检查方法及装置 |
KR20210048889A (ko) * | 2019-10-24 | 2021-05-04 | 현대모비스 주식회사 | 자동차용 센서 통합 모듈 |
KR20210066957A (ko) * | 2019-11-28 | 2021-06-08 | 한국전자기술연구원 | 벡터맵을 이용한 라이다 데이터 범위 최적화를 위한 차량 제어 장치 및 방법 |
Also Published As
Publication number | Publication date |
---|---|
KR102021202B1 (ko) | 2019-09-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102021202B1 (ko) | 다중 센서의 단일 3차원 좌표계 통합을 위한 캘리브레이션 방법 | |
KR102054455B1 (ko) | 이종 센서 간의 캘리브레이션 장치 및 방법 | |
EP3469306B1 (en) | Geometric matching in visual navigation systems | |
CN109211298A (zh) | 一种传感器标定方法和装置 | |
CN109059902A (zh) | 相对位姿确定方法、装置、设备和介质 | |
KR101672732B1 (ko) | 객체 추적 장치 및 방법 | |
JP6943988B2 (ja) | 移動可能物体の制御方法、機器およびシステム | |
KR102145557B1 (ko) | 이종 센서 간의 데이터 융합 장치 및 방법 | |
CN113658241B (zh) | 单目结构光的深度恢复方法、电子设备及存储介质 | |
KR101995223B1 (ko) | 보행자 검출 시스템 및 모듈, 방법, 컴퓨터프로그램 | |
US11954918B2 (en) | Object detection device, object detection method, and storage medium | |
CN113111513B (zh) | 传感器配置方案确定方法、装置、计算机设备及存储介质 | |
JP2023004964A (ja) | センサキャリブレーション方法及び装置 | |
JP2019075037A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
CN116182905A (zh) | 激光雷达和组合惯导的时空外参标定方法、装置及系统 | |
WO2022256976A1 (zh) | 稠密点云真值数据的构建方法、系统和电子设备 | |
KR102325121B1 (ko) | 맵 정보과 영상 매칭을 통한 실시간 로봇 위치 예측 방법 및 로봇 | |
KR101853652B1 (ko) | 어라운드뷰 생성 방법 및 이를 수행하는 장치 | |
CN113203424B (zh) | 多传感器的数据融合方法、装置及相关设备 | |
JP7092741B2 (ja) | 自己位置推定方法 | |
CN115131756A (zh) | 一种目标检测方法及装置 | |
CN114879168A (zh) | 一种激光雷达与imu标定方法及系统 | |
CN113792645A (zh) | 一种融合图像和激光雷达的ai眼球 | |
KR101207462B1 (ko) | 영상 정보와 거리-각도 정보를 이용한 센서 보정 시스템 | |
Shojaeipour et al. | Robot path obstacle locator using webcam and laser emitter |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |