KR20180131033A - 카메라와 레이더의 캘리브레이션 장치 및 방법 - Google Patents

카메라와 레이더의 캘리브레이션 장치 및 방법 Download PDF

Info

Publication number
KR20180131033A
KR20180131033A KR1020170067508A KR20170067508A KR20180131033A KR 20180131033 A KR20180131033 A KR 20180131033A KR 1020170067508 A KR1020170067508 A KR 1020170067508A KR 20170067508 A KR20170067508 A KR 20170067508A KR 20180131033 A KR20180131033 A KR 20180131033A
Authority
KR
South Korea
Prior art keywords
position information
camera
radar
marker
information
Prior art date
Application number
KR1020170067508A
Other languages
English (en)
Other versions
KR102016636B1 (ko
Inventor
송찬호
손국진
이진희
김희강
김영덕
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Priority to KR1020170067508A priority Critical patent/KR102016636B1/ko
Publication of KR20180131033A publication Critical patent/KR20180131033A/ko
Application granted granted Critical
Publication of KR102016636B1 publication Critical patent/KR102016636B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

소정 지점에 위치한 마커에 대해 측정된 카메라의 제 1 위치 정보를 획득하고, 상기 소정 지점에 위치한 마커에 대해 측정된 레이더의 제 2 위치 정보를 획득하는 위치 정보 획득부; 및 상기 제 1 위치 정보와 제 2 위치 정보를 좌표쌍으로 하여 상기 카메라의 기준 좌표계와 상기 레이더의 기준 좌표계 사이의 변환 관계를 산출하는 제어부를 포함하는 것을 특징으로 하는 본 발명의 일 실시예에 따른 캘리브레이션 장치가 개시된다.

Description

카메라와 레이더의 캘리브레이션 장치 및 방법{CALIBRATION APPARATUS AND METHOD OF CAMERA AND RADER}
본 발명은 캘리브레이션 분야에 관한 것이다. 보다 구체적으로, 본 발명은 카메라와 레이더의 기준 좌표계 사이의 변환 관계를 산출하는 캘리브레이션 장치 및 방법에 관한 것이다.
자율주행 차량, 교통감시시스템 등에서는 차량의 사고 및 교통 상황 파악을 위하여 차량 탐지 기술이 요구된다. 이를 위하여 주로 레이더, 카메라 등의 센서들이 사용되고 있다.
레이더와 카메라 각각의 내부 기준 좌표계를 통해 오브젝트(예를 들어, 차량)의 위치 정보를 측정하는 것이 가능한데, 이 때 레이더와 카메라의 내부 기준 좌표계 각각은 서로 상이하기 때문에 특정 오브젝트에 대해 측정한 레이더의 위치 정보와 동일 오브젝트에 대해 측정한 카메라의 위치 정보는 서로 상이하게 된다.
레이더는 주로 x축 방향(예를 들어, 차량이 진행하는 방향)의 데이터를 측정하는데 용이하지만, y축 방향(예를 들어, x축 방향에 수직하는 방향)의 데이터를 측정하는 데에는 부정확한 면이 존재한다.
반면에, 카메라는 x축 방향 및 y축 방향의 데이터를 측정하는데 적합한 측면이 있지만, 오브젝트의 속도, 가속도 등의 정보를 획득하기는 어렵다.
따라서, 카메라에 의해 측정된 데이터들과 레이더에 의해 측정된 데이터들을 융합하여 사용자에게 오브젝트에 대한 정확한 정보를 제공하여 주는 것이 중요한데, 앞서 설명한 바와 같이, 카메라의 기준 좌표계와 레이더의 기준 좌표계가 서로 상이하다는 점에서 이들 기준 좌표계 사이의 변환 관계를 산출하는 과정이 요구된다.
(1) M. Wang, L. Jiang, W. Lu, and Q. Ma, 2017, "Detection and Tracking of Vehicles Based on Video and 2D Radar Information," in Proceedings of the Second International Conference on Intelligent Transportation, pp. 205~214: Springer. (2) D. Gao, J. Duan, X. Yang, and B. Zheng, 2010, "A method of spatial calibration for camera and radar," in Intelligent Control and Automation (WCICA), 2010 8th World Congress on, pp. 6211~6215: IEEE.
본 발명의 일 실시예에 따른 카메라와 레이더의 캘리브레이션 장치 및 방법은 카메라의 기준 좌표계와 레이더의 기준 좌표계 사이의 변환 관계를 정확하게 산출하는 것을 목적으로 한다.
또한, 본 발명의 일 실시예에 따른 카메라와 레이더의 캘리브레이션 장치 및 방법은 변환 관계 산출을 위해 필요로 하는 측정치들을 사용자의 수동 측정 없이 획득함으로써 보다 간편하게 변환 관계를 산출하는 것을 목적으로 한다.
본 발명의 일 실시예에 따른 캘리브레이션 장치는,
소정 지점에 위치한 마커에 대해 측정된 카메라의 제 1 위치 정보를 획득하고, 상기 소정 지점에 위치한 마커에 대해 측정된 레이더의 제 2 위치 정보를 획득하는 위치 정보 획득부; 및 상기 제 1 위치 정보와 제 2 위치 정보를 좌표쌍으로 하여 상기 카메라의 기준 좌표계와 상기 레이더의 기준 좌표계 사이의 변환 관계를 산출하는 제어부를 포함할 수 있다.
상기 마커는 적어도 4개 이상의 소정 지점에 위치한 상태에서 상기 카메라 및 레이더에 의해 위치 정보가 측정되며, 상기 제어부는, 적어도 4개 이상의 좌표쌍을 이용하여 상기 변환 관계를 산출할 수 있다.
상기 위치 정보 획득부는, 상기 마커를 촬영한 마커 이미지에 대해 기 설정된 모듈을 이용하여 상기 제 1 위치 정보 중 z축 좌표를 획득할 수 있다.
상기 제 1 위치 정보는,
Figure pat00001
이고, 상기 제 2 위치 정보는,
Figure pat00002
이되, 상기 제 1 위치 정보는 하기의 행렬 A로, 상기 제 2 위치 정보는 하기의 행령 B로 변경되며,
Figure pat00003
,
Figure pat00004
, (
Figure pat00005
) 하기 수학식 1에 따라 산출되는 공분산 행렬 C를 특이값 분해를 함으로써, 상기 변환 관계를 산출할 수 있다.
[수학식 1]
C = B·AT
상기 제어부는, 상기 변환 관계 도출 후, 상기 레이더에 의해 감지되는 오브젝트의 x축 상의 좌표 정보와 상기 카메라에 의해 감지되는 오브젝트의 y축 상의 좌표 정보를 이용하여 상기 오브젝트의 최종 위치 정보를 획득할 수 있다.
본 발명의 일 실시예에 따른 카메라와 레이더의 캘리브레이션 장치 및 방법은 카메라의 기준 좌표계와 레이더의 기준 좌표계 사이의 변환 관계를 정확하게 산출할 수 있다.
또한, 본 발명의 일 실시예에 따른 카메라와 레이더의 캘리브레이션 장치 및 방법은 변환 관계 산출을 위해 필요로 하는 데이터들을 사용자의 수동 측정 없이 획득함으로써 보다 간편하게 변환 관계를 산출할 수 있다.
다만, 본 발명의 일 실시예에 따른 카메라와 레이더의 캘리브레이션 장치 및 방법이 달성할 수 있는 효과는 이상에서 언급한 것들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 종래 기술에 따른 캘리브레이션 방법을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 캘리브레이션 장치를 도시하는 예시적인 도면이다.
도 3은 본 발명의 일 실시예에 따른 캘리브레이션 방법을 설명하기 위한 순서도이다.
도 4는 변환 관계 산출을 위해 필요한 위치 정보를 획득하는데 이용되는 마커를 도시하는 예시적인 도면이다.
도 5는 마커에 대해 획득된 제 1 위치 정보와 제 2 위치 정보를 도시하는 도면이다.
도 6은 여러 지점에 위치하는 마커에 대해 획득된 제 1 위치 정보와 제 2 위치 정보를 도시하는 도면이다.
도 7은 본 발명의 일 실시예에 따른 캘리브레이션 장치의 구성을 도시하는 블록도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고, 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명은 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제 1, 제 2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.
또한, 본 명세서에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.
또한, 본 명세서에서 '~부(유닛)', '모듈' 등으로 표현되는 구성요소는 2개 이상의 구성요소가 하나의 구성요소로 합쳐지거나 또는 하나의 구성요소가 보다 세분화된 기능별로 2개 이상으로 분화될 수도 있다. 또한, 이하에서 설명할 구성요소 각각은 자신이 담당하는 주기능 이외에도 다른 구성요소가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성요소 각각이 담당하는 주기능 중 일부 기능이 다른 구성요소에 의해 전담되어 수행될 수도 있음은 물론이다.
이하에서는, 도면을 참조하여 본 발명의 기술적 사상에 따른 예시적인 실시예들에 대해 설명한다.
도 1은 종래 기술에 따른 캘리브레이션 방법을 설명하기 위한 도면이다.
종래 기술에 따르면, 단일 카메라-2D 레이더 간의 변환 관계를 도출하기 위하여 카메라, 레이더가 설치된 각도 α, β와 카메라-레이더 센서간의 물리적 거리를 기반으로 변환 관계를 산출하였다. 레이더 데이터
Figure pat00006
는
Figure pat00007
(변환 관계식)에 의하여 카메라 좌표계에서 표현된다.
그러나, 종래 기술에서는 변환 관계 계산을 위해서 센서를 설치할 때 기준 각도, 센서간 거리 등 수동적 측정이 변환 관계 계산을 위하여 필요하다. 이러한 수동적 측정은 사용자가 직접 진행하는 것이기 때문에, 오차를 발생시킬 수 있다.
또한, 종래 기술은 변환 관계를 계산할 때, 병진 벡터(Translation vector) 정보로 사용하기 위하여, 카메라-레이더 센서간 물리적 거리를 측정하였다. 하지만, 센서에서 내부 좌표계가 어디에 위치하고 있는지 알기 힘들기 때문에 센서간 물리적 거리는 센서 좌표계 간의 거리(Translation)와 항상 같다고 할 수 없다.
결국, 종래 기술에 따라 산출되는 변환 관계는 부정확할 가능성이 높기 때문에 카메라 데이터와 레이더 데이터를 융합하는 경우, 사용자에게 오히려 부정확한 정보를 줄 수 있는 위험이 있다.
도 2는 본 발명의 일 실시예에 따른 캘리브레이션 장치(100)를 도시하는 예시적인 도면이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 캘리브레이션 장치(100)는 카메라(10) 및 레이더(20)와 연결되어 카메라(10)로부터 카메라(10)에 의해 측정된 데이터(예를 들어, 영상)를 획득하고, 레이더(20)로부터 레이더(20)에 의해 측정된 데이터(예를 들어, 오브젝트의 위치 정보, 속도 정보 등)를 획득한다. 구현예에 따라서는, 캘리브레이션 장치(100)는 카메라(10)에 의해 측정된 데이터 및 레이더(20)에 의해 측정된 데이터를 외부 서버로부터 수신할 수도 있다.
캘리브레이션 장치(100)는 카메라(10) 및 레이더(20)와 네트워크를 통해 연결될 수 있는데, 이 때, 네트워크는 유선 네트워크 및 무선 네트워크 중 적어도 하나를 포함할 수 있다.
본 발명의 일 실시예에 따른 캘리브레이션 장치(100)는 자율주행 차량과 같은 차량의 내부나, 교통 감시국의 PC, 서버 등에 구현될 수 있으나, 본 발명의 일 실시예에 따른 캘리브레이션 장치(100)는 카메라(10)에 의해 측정된 데이터와 레이더(20)에 의해 측정된 데이터를 이용하여 변환 관계(T)를 산출할 수 있는 다양한 장치에 구현될 수 있다.
카메라(10)는 제 1 영역(15)을 촬영하고, 촬영된 영상을 캘리브레이션 장치(100)(또는 외부 서버)로 전송한다. 레이더(20)는 제 2 영역(25)을 감시하고, 감시 데이터를 캘리브레이션 장치(100)(또는 외부 서버)로 전송한다. 도 2는 제 1 영역(15)과 제 2 영역(25)이 일부에서 서로 중첩되는 것으로 도시하였지만, 구현예에 따라서는 제 1 영역(15)과 제 2 영역(25)은 동일 영역에 해당할 수도 있다.
도 2에 도시된 바와 같이, 카메라(10)의 기준 좌표계(a)와 레이더(20)의 기준 좌표계(b)는 서로 상이하기 때문에 제 1 영역(15)과 제 2 영역(25)의 중첩 영역에 오브젝트가 위치하더라도 카메라(10)에서 바라본 오브젝트의 위치 정보와 레이더(20)에서 바라본 오브젝트의 위치 정보는 서로 다를 수 있다.
본 발명의 일 실시예에서는 제 1 영역(15)과 제 2 영역(25)의 중첩 영역에 마커(marker)를 위치시킴으로써 카메라(10)에서 바라본 제 1 위치 정보와 레이더(20)에서 바라본 제 2 위치 정보를 획득하고, 이들을 좌표쌍으로 하여 변환 관계(T)를 산출할 수 있는데, 이에 대해서는 도 3을 참조하여 상세히 설명한다.
도 3은 본 발명의 일 실시예에 따른 캘리브레이션 방법을 설명하기 위한 순서도이다.
S310 단계에서, 캘리브레이션 장치(100)는 마커에 대해 측정된 카메라(10)의 제 1 위치 정보를 획득한다. 제 1 위치 정보는 카메라(10)의 기준 좌표계(a)를 중심으로 측정된 마커의 x축 상의 좌표, y축 상의 좌표 및 z축 상의 좌표를 의미할 수 있다.
도 4는 위치 정보를 획득하는데 이용되는 마커를 도시하고 있는데, 마커는 예를 들어, AR(Augmented reality) 마커를 포함할 수 있다. AR 마커를 이용하는 이유는 카메라(10)에 의해 촬영된 이미지(2차원 정보)로부터 카메라(10)의 기준 좌표계(a)를 기준으로 한 AR 마커의 3차원 위치 정보를 획득하기 위함이다. 이미지로부터 카메라(10)의 기준 좌표계(a) 기준(이미지상의 소정 위치)의 마커의 x축(예를 들어, 오브젝트가 진행하는 방향의 축) 상의 좌표와 y축(예를 들어, x축 방향에 수직인 수평축으로서, 오브젝트의 폭 방향의 축) 상의 좌표를 측정하는 것은 가능하나, 오브젝트의 z축(예를 들어, x축 방향과 y축 방향의 수직인 수직축으로서, 오브젝트의 높이 방향의 축) 상의 좌표를 측정하기 위해 캘리브레이션 장치(100)는 OpenCV 라이브러리의 ARUCO 모듈을 이용할 수 있다.
AR 마커의 3차원 위치 정보를 획득하는 방법을 구체적으로 설명하면 다음과 같다.
카메라(10)에 의해 촬영된 AR 마커에 대한 2차원 이미지로부터 AR 마커의 2차원 좌표(u,v)가 측정될 수 있으며, 측정된 2차원 좌표(u,v)를 바탕으로 AR 마커의 3차원 위치(X,Y,Z)를 측정하기 위하여 하기의 수학식 1을 고려할 수 있다.
[수학식 1]
Figure pat00008
상기 수학식 1은 하기의 수학식 2로 표현될 수 있는데,
[수학식 2]
Figure pat00009
수학식 2에서 AR 마커 이미지의 2차원 촤표를
Figure pat00010
, 3차원 좌표를
Figure pat00011
라 한다. s는 스케일링 펙터(scaling factor)이며 1로 설정된다. M은 카메라(10)의 내부 파라미터(Intrinsic parameter) 행렬이며, W는 3차원 변환관계를 표현하는 회전 행렬과 병진 벡터로 구성된 외부 파라미터(Extrinsic parameter)이다. 본 발명의 일 실시예에서는 내부 파라미터 M을 계산하기 위하여 체스보드를 사용하는 기존의 카메라 캘리브레이션 방법 (Zhang, Z. (1999). Flexible camera calibration by viewing a plane from unknown orientations. In Computer Vision, 1999. The Proceedings of the Seventh IEEE International Conference on (Vol. 1, pp. 666-673). IEEE.)을 이용하였다.
카메라(10)의 외부 파라미터는 카메라(10)의 2D 좌표계와 3D 좌표계 간 변환관계(Transformation)에 해당하며, 단일 카메라에서 정확한 외부 파라미터를 계산하기 위해서는 이미지 좌표에서 인식되는 대상의 3차원 모델 정보(예를 들어, AR 마커의 크기 및 ID값)가 설정되어야 하는데, 이를 위하여 OpenCV ARUCO 모듈에서 제공하는 AR 마커를 사용하여 카메라(10)에서 좌표가 인식될 수 있도록 하였고, Pnp 알고리즘(Perspective n-Point)을 사용하여 외부 파라미터 (Extrinsic parameter)를 산출하였다.
카메라의 내부 파라미터 M와 외부 파라미터 W가 산출되면, 내부 파라미터와 외부 파라미터 및 AR 마커의 2차원 좌표(u, v)를 수학식 2에 대입하여 AR 마커의 3차원 좌표(X, Y, Z)를 산출할 수 있다.
다시 도 3을 보면, S320 단계에서, 캘리브레이션 장치(100)는 마커에 대해 측정된 레이더(20)의 제 2 위치 정보를 획득한다. 제 2 위치 정보는 레이더(20)의 기준 좌표계(b)를 중심으로 측정된 마커의 x축 상의 좌표, y축 상의 좌표 및 z축 상의 좌표를 의미할 수 있다. 도 5는 카메라(10)의 기준 좌표계(a)를 기준으로 한 마커의 제 1 위치 정보(x1, y1, z1)와 제 2 위치 정보(x'1, y'1, z'1)를 도시하고 있다. 캘리브레이션 장치(100)는 여러 지점에 위치하는 마커에 대해 제 1 위치 정보들과 제 2 위치 정보들을 획득할 수 있는데, 이는 도 6에 도시되어 있다.
S330 단계에서, 캘리브레이션 장치(100)는 제 1 위치 정보와 제 2 위치 정보를 좌표쌍으로 이용하여 카메라(10)의 기준 좌표계(a)와 레이더(20)의 기준 좌표계(b) 사이의 변환 관계(T)를 산출한다.
마커는 서로 다른 적어도 4개 이상의 지점에 위치하여 카메라(10) 및 레이더(20)에 의해 감지될 수 있는데, 이에 따라 제 1 위치 정보와 제 2 위치 정보의 좌표쌍 역시 적어도 4개 이상이 존재할 수 있다.
제 1 위치 정보는 하기의 수학식 1로, 제 2 위치 정보는 하기의 수학식 2로 표현될 수 있다.
[수학식 1]
Figure pat00012
[수학식 2]
Figure pat00013
상기 제 1 위치 정보는 하기의 행렬 A로, 제 2 위치 정보는 하기의 행렬 B로 변경될 수 있다.
Figure pat00014
Figure pat00015
상기 행렬 A, B에서
Figure pat00016
이다.
또한,
Figure pat00017
은
Figure pat00018
과
Figure pat00019
사이의 거리,
Figure pat00020
은
Figure pat00021
과
Figure pat00022
사이의 거리를 나타낸다.
다음으로, 행렬 A와 행렬 B를 이용하여 공분산 C는 하기의 수학식 3으로 계산된다.
[수학식 3]
C = B·AT
공분산 C를 특이값 분해를 하면 하기의 수학식 4와 같이 도출된다.
[수학식 4]
Figure pat00023
상기 수학식 4에서
Figure pat00024
와
Figure pat00025
는 직교 회전 행렬이고,
Figure pat00026
는 스케일링 행렬이다.
직교 회전 행렬
Figure pat00027
와
Figure pat00028
을 하기의 수학식 5에 적용하여 회전 행렬 R을 획득할 수 있고, 회전 행렬 R을 하기의 수학식 6에 적용하여 병진 벡터 t를 획득할 수 있다.
[수학식 5]
Figure pat00029
[수학식 6]
Figure pat00030
회전 행렬 R과 병진 벡터 t가 획득되면, 변환 관계 T는 하기의 수학식 7로 산출될 수 있다.
[수학식 7]
T = R·t
이상과 같이, 카메라(10)의 기준 좌표계(a)와 레이더(20)의 기준 좌표계(b) 사이의 변환 관계(T)가 획득되면, 카메라(10)의 기준 좌표계(a) 기준의 오브젝트의 좌표 정보를 레이더(20)의 기준 좌표계(b) 기준의 좌표 정보로 변환할 수 있고, 반대로, 레이더(20)의 기준 좌표계(b) 기준의 오브젝트의 좌표 정보를 카메라(10)의 기준 좌표계(a) 기준의 좌표 정보로 변환할 수 있다.
앞서 설명한 바와 같이, 레이더(20)는 x축 방향(예를 들어, 차량이 진행하는 방향)의 데이터를 측정하는데 정확성이 있지만, y축 방향(예를 들어, x축 방향에 수직하는 수평축 방향)의 데이터를 측정하는 데에는 부정확한 면이 존재한다. 반면에, 카메라(10)는 x축 방향 및 y축 방향의 데이터를 측정하는데 적합한 측면이 있지만, 오브젝트의 속도, 가속도 등의 정보를 획득하기는 어렵다.
따라서, 본 발명의 일 실시예에 따른 캘리브레이션 장치(100)는 변환 관계 도출 후, 레이더(20)에 의해 감지되는 오브젝트의 x축 상의 좌표 정보와 카메라(10)에 의해 감지되는 오브젝트의 y축 상의 좌표 정보를 이용하여 상기 오브젝트의 최종 위치 정보를 획득할 수 있다. 예를 들어, 레이더(20)에 의해 감지되는 오브젝트의 x축 상의 좌표 정보에 변환 관계를 적용하여 카메라(10) 기준의 오브젝트의 x축 상의 좌표 정보를 획득하고, 획득한 x축 상의 좌표 정보와 카메라(10)에 의해 감지되는 오브젝트의 y축 상의 좌표 정보를 오브젝트의 최종 위치 정보로 획득할 수 있다.
또한, 카메라(10)에 의해 촬영되는 영상 내 오브젝트에 대해, 레이더(20)에 의해 감지된 속도 정보를 영상에 표시함으로써 사용자로 하여금 영상 내 오브젝트가 어느 속도로 주행하고 있는지의 정보를 알려줄 수도 있다.
도 7은 본 발명의 일 실시예에 따른 캘리브레이션 장치(100)의 구성을 도시하는 블록도이다.
도 7을 참조하면, 본 발명의 일 실시예에 따른 캘리브레이션 장치(100)는 통신부(710), 제어부(730), 메모리(750) 및 디스플레이(770)를 포함할 수 있다. 통신부(710), 제어부(730) 및 메모리(750)는 적어도 하나의 프로세서로 구현될 수 있으며, 메모리(750)에 저장된 프로그램에 따라 동작할 수 있다.
통신부(710)는 카메라(10)와 레이더(20)로부터 또는 외부 서버로부터 카메라(10)에 의해 측정된 데이터(예를 들어, 영상)와 레이더(20)에 의해 측정된 데이터(예를 들어, 오브젝트의 위치 정보, 속도 정보 등)를 획득한다.
제어부(730)의 위치 정보 획득부(735)는 통신부(710)를 통해 획득한 데이터들로부터 카메라(10) 기준의 마커의 제 1 위치 정보 및 레이더(20) 기준의 마커의 제 2 위치 정보를 획득한다.
그리고, 제어부(730)는 제 1 위치 정보와 제 2 위치 정보를 좌표쌍으로 하여 레이더(20)의 기준 좌표계(b)와 카메라(10)의 기준 좌표계(a) 사이의 변환 관계를 산출한다. 산출된 변환 관계는 메모리(750)에 저장될 수 있다.
카메라(10)에 의해 촬영되는 영상은 디스플레이(770)에 표시될 수 있는데, 제어부(730)는 레이더(20)에 의해 측정된 데이터에 변환 관계를 적용한 후, 디스플레이(770)에 표시되는 영상 내에 오브젝트의 속도 정보 등을 표시할 수도 있다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 작성된 프로그램은 매체에 저장될 수 있다.
상기 매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함할 수 있으나, 이에 한정되는 것은 아니다.
첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
100: 캘리브레이션 장치
710: 통신부
730: 제어부
735: 위치 정보 획득부
750: 메모리
770: 디스플레이

Claims (5)

  1. 소정 지점에 위치한 마커에 대해 측정된 카메라의 제 1 위치 정보를 획득하고, 상기 소정 지점에 위치한 마커에 대해 측정된 레이더의 제 2 위치 정보를 획득하는 위치 정보 획득부; 및
    상기 제 1 위치 정보와 제 2 위치 정보를 좌표쌍으로 하여 상기 카메라의 기준 좌표계와 상기 레이더의 기준 좌표계 사이의 변환 관계를 산출하는 제어부를 포함하는 것을 특징으로 하는 카메라와 레이더의 캘리브레이션 장치.
  2. 제1항에 있어서,
    상기 마커는 적어도 4개 이상의 소정 지점에 위치한 상태에서 상기 카메라 및 레이더에 의해 위치 정보가 측정되며,
    상기 제어부는,
    적어도 4개 이상의 좌표쌍을 이용하여 상기 변환 관계를 산출하는 것을 특징으로 하는 카메라와 레이더의 캘리브레이션 장치.
  3. 제1항에 있어서,
    상기 위치 정보 획득부는,
    상기 마커를 촬영한 마커 이미지에 대해 기 설정된 모듈을 이용하여 상기 제 1 위치 정보 중 z축 좌표를 획득하는 것을 특징으로 하는 카메라와 레이더의 캘리브레이션 장치.
  4. 제1항에 있어서,
    상기 제 1 위치 정보는,
    Figure pat00031
    이고,
    상기 제 2 위치 정보는,
    Figure pat00032
    이되,
    상기 제 1 위치 정보는 하기의 행렬 A로, 상기 제 2 위치 정보는 하기의 행령 B로 변경되며,
    Figure pat00033
    ,
    Figure pat00034
    ,
    (
    Figure pat00035
    )
    하기 수학식 1에 따라 산출되는 공분산 행렬 C를 특이값 분해를 함으로써,
    [수학식 1]
    C = B·AT
    상기 변환 관계를 산출하는 것을 특징으로 하는 카메라와 레이더의 캘리브레이션 장치.
  5. 제1항에 있어서,
    상기 제어부는,
    상기 변환 관계 도출 후, 상기 레이더에 의해 감지되는 오브젝트의 x축 상의 좌표 정보와 상기 카메라에 의해 감지되는 오브젝트의 y축 상의 좌표 정보를 이용하여 상기 오브젝트의 최종 위치 정보를 획득하는 것을 특징으로 하는 카메라와 레이더의 캘리브레이션 장치.

KR1020170067508A 2017-05-31 2017-05-31 카메라와 레이더의 캘리브레이션 장치 및 방법 KR102016636B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170067508A KR102016636B1 (ko) 2017-05-31 2017-05-31 카메라와 레이더의 캘리브레이션 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170067508A KR102016636B1 (ko) 2017-05-31 2017-05-31 카메라와 레이더의 캘리브레이션 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20180131033A true KR20180131033A (ko) 2018-12-10
KR102016636B1 KR102016636B1 (ko) 2019-09-02

Family

ID=64670862

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170067508A KR102016636B1 (ko) 2017-05-31 2017-05-31 카메라와 레이더의 캘리브레이션 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102016636B1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020122693A (ja) * 2019-01-30 2020-08-13 住友電気工業株式会社 電波センサ状態の評価装置、電波センサシステム、電波センサの評価方法、コンピュータプログラム、及び電波センサの調整方法
CN112907681A (zh) * 2021-02-26 2021-06-04 北京中科慧眼科技有限公司 基于毫米波雷达与双目相机的联合标定方法和系统
CN114509762A (zh) * 2022-02-15 2022-05-17 南京慧尔视智能科技有限公司 一种数据处理方法、装置、设备及介质
US11520024B2 (en) 2019-12-24 2022-12-06 Nio Technology (Anhui) Co., Ltd. Automatic autonomous vehicle and robot LiDAR-camera extrinsic calibration
CN116071431A (zh) * 2021-11-03 2023-05-05 北京三快在线科技有限公司 一种标定方法、装置、存储介质及电子设备
CN116485917A (zh) * 2023-06-19 2023-07-25 擎翌(上海)智能科技有限公司 拍摄装置与雷达装置的联合标定方法、系统、设备及介质
US11726189B2 (en) 2019-12-09 2023-08-15 Nio Technology (Anhui) Co., Ltd. Real-time online calibration of coherent doppler lidar systems on vehicles
US11892560B2 (en) 2020-02-03 2024-02-06 Nio Technology (Anhui) Co., Ltd High precision multi-sensor extrinsic calibration via production line and mobile station

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111122128B (zh) * 2020-01-03 2022-04-19 浙江大华技术股份有限公司 一种球形摄像机的标定方法及装置
KR102118125B1 (ko) 2020-01-15 2020-06-09 주식회사 사라다 레이더와 카메라를 이용한 영상 관제 장치 및 방법
KR102612658B1 (ko) 2023-07-19 2023-12-12 주식회사 아이티코어스 레이더와 카메라 좌표 정합 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010091426A (ja) * 2008-10-08 2010-04-22 Toyota Central R&D Labs Inc 距離計測装置及びプログラム
JP2012058076A (ja) * 2010-09-09 2012-03-22 3D Media Co Ltd ３次元計測装置及び３次元計測方法
KR101379787B1 (ko) * 2013-05-02 2014-03-31 서울과학기술대학교 산학협력단 구멍을 가진 구조물을 이용한 카메라와 레이저 거리 센서의 보정 장치 및 보정 방법
US20160176487A1 (en) * 2014-12-19 2016-06-23 William C. Stone System and Method for Automated Rendezvous, Docking and Capture of Autonomous Underwater Vehicles

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010091426A (ja) * 2008-10-08 2010-04-22 Toyota Central R&D Labs Inc 距離計測装置及びプログラム
JP2012058076A (ja) * 2010-09-09 2012-03-22 3D Media Co Ltd ３次元計測装置及び３次元計測方法
KR101379787B1 (ko) * 2013-05-02 2014-03-31 서울과학기술대학교 산학협력단 구멍을 가진 구조물을 이용한 카메라와 레이저 거리 센서의 보정 장치 및 보정 방법
US20160176487A1 (en) * 2014-12-19 2016-06-23 William C. Stone System and Method for Automated Rendezvous, Docking and Capture of Autonomous Underwater Vehicles

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
(1) M. Wang, L. Jiang, W. Lu, and Q. Ma, 2017, "Detection and Tracking of Vehicles Based on Video and 2D Radar Information," in Proceedings of the Second International Conference on Intelligent Transportation, pp. 205~214: Springer.
(2) D. Gao, J. Duan, X. Yang, and B. Zheng, 2010, "A method of spatial calibration for camera and radar," in Intelligent Control and Automation (WCICA), 2010 8th World Congress on, pp. 6211~6215: IEEE.

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020122693A (ja) * 2019-01-30 2020-08-13 住友電気工業株式会社 電波センサ状態の評価装置、電波センサシステム、電波センサの評価方法、コンピュータプログラム、及び電波センサの調整方法
US11726189B2 (en) 2019-12-09 2023-08-15 Nio Technology (Anhui) Co., Ltd. Real-time online calibration of coherent doppler lidar systems on vehicles
US11520024B2 (en) 2019-12-24 2022-12-06 Nio Technology (Anhui) Co., Ltd. Automatic autonomous vehicle and robot LiDAR-camera extrinsic calibration
US11892560B2 (en) 2020-02-03 2024-02-06 Nio Technology (Anhui) Co., Ltd High precision multi-sensor extrinsic calibration via production line and mobile station
CN112907681A (zh) * 2021-02-26 2021-06-04 北京中科慧眼科技有限公司 基于毫米波雷达与双目相机的联合标定方法和系统
CN116071431A (zh) * 2021-11-03 2023-05-05 北京三快在线科技有限公司 一种标定方法、装置、存储介质及电子设备
CN114509762A (zh) * 2022-02-15 2022-05-17 南京慧尔视智能科技有限公司 一种数据处理方法、装置、设备及介质
CN116485917A (zh) * 2023-06-19 2023-07-25 擎翌(上海)智能科技有限公司 拍摄装置与雷达装置的联合标定方法、系统、设备及介质
CN116485917B (zh) * 2023-06-19 2023-09-22 擎翌(上海)智能科技有限公司 拍摄装置与雷达装置的联合标定方法、系统、设备及介质

Also Published As

Publication number Publication date
KR102016636B1 (ko) 2019-09-02

Similar Documents

Publication Publication Date Title
KR102016636B1 (ko) 카메라와 레이더의 캘리브레이션 장치 및 방법
US20210012520A1 (en) Distance measuring method and device
US10636168B2 (en) Image processing apparatus, method, and program
JP5036260B2 (ja) 位置姿勢算出方法及び装置
JP4757142B2 (ja) 撮影環境校正方法及び情報処理装置
US20170132806A1 (en) System and method for augmented reality and virtual reality applications
CN108810473B (zh) 一种在移动平台上实现gps映射摄像机画面坐标的方法及系统
JP2016057108A (ja) 演算装置、演算システム、演算方法およびプログラム
CA2573728A1 (en) Method and apparatus for machine-vision
US9584768B2 (en) Information processing apparatus, information processing method and computer-readable storage medium
Xia et al. Global calibration of non-overlapping cameras: State of the art
JP2016048172A (ja) 画像処理装置、画像処理方法、およびプログラム
CN105894511A (zh) 标定靶设置方法、装置及停车辅助系统
KR20160070874A (ko) 모바일 기기를 이용한 위치기반 시설물 관리 시스템
CN112631431B (zh) Ar眼镜的位姿确定方法、装置及设备、存储介质
Núnez et al. Data Fusion Calibration for a 3D Laser Range Finder and a Camera using Inertial Data.
JP2017096813A (ja) キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム
KR20200065875A (ko) 랜드마크를 활용한 주행차로 인식 방법 및 시스템
CN113137973A (zh) 一种图像语义特征点真值确定方法及装置
CN111492409B (zh) 用于增强现实远程协助的三维交互的装置和方法
WO2018134866A1 (ja) カメラ校正装置
CN105741260A (zh) 行动定位装置及其定位方法
CN108322698B (zh) 基于多摄像机和惯性测量单元融合的系统和方法
WO2021111613A1 (ja) ３次元地図作成装置、３次元地図作成方法、及び３次元地図作成プログラム
JP5230354B2 (ja) 位置特定装置及び異動建物検出装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant