KR20180127671A - Method of automatic calibration of AVM system - Google Patents
Method of automatic calibration of AVM system Download PDFInfo
- Publication number
- KR20180127671A KR20180127671A KR1020170062669A KR20170062669A KR20180127671A KR 20180127671 A KR20180127671 A KR 20180127671A KR 1020170062669 A KR1020170062669 A KR 1020170062669A KR 20170062669 A KR20170062669 A KR 20170062669A KR 20180127671 A KR20180127671 A KR 20180127671A
- Authority
- KR
- South Korea
- Prior art keywords
- coordinates
- image
- vehicle
- panel
- markers
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 239000011159 matrix material Substances 0.000 claims abstract description 45
- 230000009466 transformation Effects 0.000 claims abstract description 45
- 239000003550 marker Substances 0.000 claims abstract description 9
- 238000012937 correction Methods 0.000 claims description 59
- 238000013507 mapping Methods 0.000 claims description 12
- 230000001131 transforming effect Effects 0.000 claims description 8
- YTAHJIFKAKIKAV-XNMGPUDCSA-N [(1R)-3-morpholin-4-yl-1-phenylpropyl] N-[(3S)-2-oxo-5-phenyl-1,3-dihydro-1,4-benzodiazepin-3-yl]carbamate Chemical compound O=C1[C@H](N=C(C2=C(N1)C=CC=C2)C1=CC=CC=C1)NC(O[C@H](CCN1CCOCC1)C1=CC=CC=C1)=O YTAHJIFKAKIKAV-XNMGPUDCSA-N 0.000 claims description 2
- 230000036544 posture Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 201000003373 familial cold autoinflammatory syndrome 3 Diseases 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G06T5/006—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 AVM 시스템의 자동 캘리브레이션 방법에 관한 것으로, 더욱 상세하게는, 마커와 체커가 구비된 캘리브레이션 패널을 이용하여 캘리브레이션에 적합한 원근 변환 행렬을 자동으로 산출하고, 산출된 원근 변환 행렬로 촬영된 영상을 캘리브레이션하여 왜곡이 없는 영상을 획득할 수 있는 AVM 시스템의 자동 캘리브레이션 방법을 제공하는 데 있다.The present invention relates to an automatic calibration method of an AVM system, and more particularly, to a method of automatically calibrating an AVM system by using a calibration panel equipped with a marker and a checker to automatically calculate a perspective transformation matrix suitable for calibration, And an automatic calibration method of an AVM system capable of acquiring a distortion-free image.
일반적으로, AVM(Around View Monitoring) 시스템은 차량에 4개의 카메라를 설치하여, 운전자에게 차량의 전둘레 영상을 운전자에게 보여줌으로써 차량 주변의 사각지대를 모니터링할 수 있는 시스템이다.In general, the AVM (Around View Monitoring) system is a system that can monitor the blind spot around the vehicle by installing four cameras on the vehicle and showing the driver the frontal images of the vehicle to the driver.
이런 AVM 시스템은 차량의 전방, 양측방 및 후방에 설치되는 4개의 카메라에서 촬영된 영상을 합성하여 운전자에게 정확한 버드 뷰(bird view) 영상을 제공한다.Such an AVM system synthesizes images taken from four cameras installed on the front, sides, and rear of the vehicle to provide an accurate bird view image to the driver.
한국 공개특허공보 제10-2016-0097596호(특허문헌 1)에는 차량의 전방 영상, 후방 영상, 좌측방 영상 및 우측방 영상을 포함하는 주변 영상을 생성하는 카메라부; 상기 차량의 자세별 보정 데이터를 저장하는 메모리; 상기 차량의 차고를 감지하는 센싱부; 및 상기 센싱부를 통해 감지한 차고 감지값에 기초하여 상기 차량의 자세를 산출하고, 상기 산출된 자세에 대응하는 보정 데이터를 상기 메모리로부터 획득하며, 상기 획득한 보정 데이터를 이용하여 상기 주변 영상을 보정한 후, 보정된 상기 주변 영상을 합성하여 AVM 영상을 생성하는 제어부;를 포함하는 AVM 영상 보정 시스템이 개시되어 있다. Korean Patent Laid-Open No. 10-2016-0097596 (Patent Document 1) discloses a camera module for generating a peripheral image including a forward image, a rear image, a left image, and a right image of a vehicle; A memory for storing correction data for the attitude of the vehicle; A sensing unit for sensing the height of the vehicle; And calculating a posture of the vehicle on the basis of the sensed height sensed by the sensing unit, acquiring correction data corresponding to the calculated posture from the memory, and correcting the peripheral image using the acquired correction data And a control unit for synthesizing the corrected peripheral images to generate an AVM image.
특허문헌 1의 AVM 영상 보정 시스템은 차량이 취할 수 있는 복수개의 자세 각각에 대한 공차 보정 데이터를 미리 저장함으로써, 차량의 자세가 달라지더라도 각 자세에 대응하는 공차 보정 데이터를 통해 차량의 전방 영상, 후방 영상, 좌측방 영상 및 우측방 영상을 보정하여 실제에 부합하는 AVM 영상을 제공할 수 있다는 장점이 있으나, AVM 영상 보정에 대한 신뢰성을 더욱 증대시킬 수 있는 시스템 및 캘리브레이션 방법에 대한 기술 개발은 지속적으로 이루어져야 한다.The AVM image correction system of
본 발명은 상기와 같은 점을 감안하여 안출된 것으로, 그 목적은 마커와 체커가 구비된 캘리브레이션 패널을 이용하여 캘리브레이션에 적합한 원근 변환 행렬을 자동으로 산출하고, 산출된 원근 변환 행렬로 촬영된 영상을 캘리브레이션하여 왜곡이 없는 영상을 획득할 수 있는 AVM 시스템의 자동 캘리브레이션 방법을 제공하는데 있다.The object of the present invention is to provide a method and apparatus for automatically calculating a perspective transformation matrix suitable for calibration using a calibration panel provided with a marker and a checker, And to provide an automatic calibration method of an AVM system capable of acquiring distortion-free images.
상술된 목적을 달성하기 위한, 본 발명의 일 실시예에 의한 AVM 시스템의 자동 캘리브레이션 방법은, a) 다수의 정방형 격자 무늬가 배치되고, 동심원 무늬의 제1 및 제2마커가 상기 다수의 정방형 격자 무늬 상측에 이격되어 배치되고, 상기 제1 및 제2마커의 동심원 무늬보다 크기가 상대적으로 작은 동심원 무늬의 제3 및 제4마커가 상기 다수의 정방형 격자 무늬의 하측에 이격되어 배치된 캘리브레이션 패널을 차량의 카메라로 촬영하는 단계; b) 상기 촬영된 캘리브레이션 패널의 영상에서 상기 제1 내지 제4마커의 중심원의 중심의 영상 좌표를 추출하는 단계; c) 상기 제1 내지 제4마커의 중심원의 중심의 영상 좌표에 대하여 렌즈 왜곡 보정 데이터로 렌즈 왜곡 보정하여 상기 제1 내지 제4마커의 중심원의 중심의 보정 좌표를 획득하는 단계; d) 상기 제1 내지 제4마커의 중심원의 중심의 보정 좌표를 상기 제1 내지 제4마커의 중심원의 중심의 영상 좌표에 매핑하여 제1원근 변환 행렬을 산출하는 단계; e) 상기 제1 내지 제4마커의 중심원의 중심의 영상 좌표를 상기 제1 내지 제4마커의 중심원의 중심의 보정 좌표에 매핑하여 제1원근 역변환 행렬을 산출하는 단계; f) 상기 산출된 제1원근 역변환 행렬을 이용하여, 상기 제1패널의 각 모서리에 가장 근접된 정방형 격자 무늬의 교차점으로 정의된 체커들의 물리좌표를 역변환하여 상기 체커들의 제1보정 좌표를 산출하는 단계; g) 상기 산출된 체커들의 제1보정 좌표를 상기 렌즈 왜곡 보정 데이터를 이용하여 제1복원 영상 좌표로 변환하는 단계; h) 코너 서브픽스(Corner subpix) 방법을 이용하여 상기 제1복원 영상 좌표를 초기값으로 상기 체커들의 좌표를 획득하는 단계; i) 상기 제1복원 영상 좌표와 상기 획득된 체커들의 좌표의 제1평균 거리 오차를 계산하는 단계; j) 상기 계산된 제1평균 거리 오차가 허용 범위에 있는지를 판단하는 단계; k) 상기 계산된 제1평균 거리 오차가 허용 범위 내에 있는 경우, 상기 촬영된 캘리브레이션 패널의 영상을 상기 렌즈 왜곡 보정 데이터로 렌즈 왜곡 보정하는 단계; 및 l) 상기 산출된 제1원근 변환 행렬을 이용하여 상기 렌즈 왜곡 보정된 캘리브레이션 패널의 영상을 변환하는 단계;를 포함하는 것을 특징으로 한다.In order to achieve the above object, an automatic calibration method of an AVM system according to an embodiment of the present invention includes the steps of: a) arranging a plurality of square grid patterns, wherein first and second concentric grid- And a third and a fourth markers of concentric circles having a size smaller than that of the concentric circles of the first and second markers are disposed on the lower side of the plurality of square plaques, Photographing with a camera of a vehicle; b) extracting image coordinates of a center of a center circle of the first to fourth markers from the image of the taken calibration panel; c) correcting lens distortion of the center coordinates of the centers of the first through fourth markers with lens distortion correction data to obtain correction coordinates of the center of the center circle of the first through fourth markers; d) calculating a first perspective transformation matrix by mapping correction coordinates of a center of a center circle of the first to fourth markers to image coordinates of a center of a center circle of the first to fourth markers; e) calculating a first perspective inverse transformation matrix by mapping the image coordinates of the center of the center circle of the first to fourth markers to the correction coordinates of the center of the center circle of the first to fourth markers; f) calculating first correction coordinates of the checkers by inversely transforming the physical coordinates of the checkers defined as the intersections of the square grid patterns closest to the respective edges of the first panel using the calculated first perspective inverse transformation matrix step; g) converting the first corrected coordinates of the calculated checkers into first restored image coordinates using the lens distortion correction data; h) obtaining the coordinates of the checkers using the first restored image coordinate as an initial value using a corner subpix method; i) calculating a first average distance error between the coordinates of the first restored image and the coordinates of the obtained checkers; j) determining whether the calculated first mean distance error is in an allowable range; k) correcting the image of the photographed calibration panel by the lens distortion correction data with the lens distortion correction data when the calculated first mean distance error is within an allowable range; And (1) transforming the image of the calibration panel corrected for the lens distortion using the calculated first perspective transformation matrix.
여기서, 제1 및 제2마커의 동심원 무늬보다 크기가 제3 및 제4마커의 동심원 무늬보다 크게 설계된 것은 제1 및 제2마커가 제3 및 제4마커 보다 카메라로부터 상대적으로 먼 위치에 있기 때문에 안정적인 영상 인식을 위한 것이다.The size of the concentric circles of the first and second markers is designed to be larger than the concentric circles of the third and fourth markers because the first and second markers are located farther away from the camera than the third and fourth markers It is for stable image recognition.
또한, 본 발명은 상기 j)단계에서, 상기 계산된 평균 거리 오차가 허용 범위 내에 있지 않은 경우, m) 상기 체커들의 영상 좌표를 상기 렌즈 왜곡 보정 데이터로 렌즈 왜곡 보정하여 상기 체커들의 제2보정 좌표를 획득하는 단계; n) 상기 획득된 체커들의 제2보정 좌표를 상기 체커들의 영상 좌표에 매핑하여 제2원근 변환 행렬을 산출하는 단계; o) 상기 산출된 제2원근 변환 행렬을 산출하는 단계; p) 상기 제1 내지 제4마커의 중심원의 중심의 영상 좌표를 상기 제1 내지 제4마커의 중심원의 중심의 보정 좌표에 매핑하여 제2원근 역변환 행렬을 산출하는 단계; q) 상기 산출된 제2원근 역변환 행렬을 이용하여, 상기 추출된 체커들의 영상 좌표를 역변환하여 상기 체커들의 제3보정 좌표를 산출하는 단계; r) 상기 산출된 체커들의 제3보정 좌표를 상기 렌즈 왜곡 보정 데이터를 이용하여 제2복원 영상 좌표로 변환하는 단계; s) 코너 서브픽스(Corner subpix) 방법을 이용하여 상기 제2복원 영상 좌표를 초기값으로 상기 체커들의 제2좌표를 획득하는 단계; t) 상기 복원 영상 좌표와 상기 획득된 체커들의 제2좌표의 제2평균 거리 오차를 계산하는 단계; 및 u) 상기 계산된 제1평균 거리 오차가 제2평균 거리 오차보다 작은 경우, 상기 촬영된 캘리브레이션 패널의 영상을 상기 렌즈 왜곡 보정 데이터로 렌즈 왜곡 보정하고, 상기 산출된 제1원근 변환 행렬을 이용하여 상기 렌즈 왜곡 보정된 캘리브레이션 패널의 영상을 변환하는 단계;를 수행하는 것을 특징으로 한다.The method may further include, in the step j), if the calculated average distance error is not within the allowable range, m) performing lens distortion correction on the image coordinates of the checkers with the lens distortion correction data, ; n) calculating a second perspective transformation matrix by mapping the second corrected coordinates of the obtained checkers to the image coordinates of the checkers; o) calculating the calculated second perspective transformation matrix; p) calculating a second perspective inverse transformation matrix by mapping the image coordinates of the centers of the center circles of the first to fourth markers to the correction coordinates of the center of the center circle of the first to fourth markers; q) calculating third correction coordinates of the checkers by inverse transforming the image coordinates of the extracted checkers using the calculated second perspective inverse transformation matrix; r) converting the third corrected coordinates of the calculated checkers into second restored image coordinates using the lens distortion correction data; obtaining a second coordinate of the checkers using the second reconstructed image coordinate as an initial value using a s-Corner subpix method; t) calculating a second average distance error between the restored image coordinate and a second coordinate of the obtained checkers; And u) if the calculated first mean distance error is smaller than a second mean distance error, correcting the image of the taken calibration panel with the lens distortion correction data, and using the calculated first perspective transformation matrix And converting the image of the calibration panel corrected for the lens distortion.
여기서, 상기 u)단계에서, 상기 계산된 제1평균 거리 오차가 제2평균 거리 오차보다 작지 않은 경우, 상기 촬영된 캘리브레이션 패널의 영상을 상기 렌즈 왜곡 보정 데이터로 렌즈 왜곡 보정하고, 상기 산출된 제2원근 변환 행렬을 이용하여 상기 렌즈 왜곡 보정된 캘리브레이션 패널의 영상을 변환하는 단계를 수행하는 것을 특징으로 한다.In the step u), if the calculated first mean distance error is not smaller than the second mean distance error, the image of the photographed calibration panel is subjected to lens distortion correction with the lens distortion correction data, And transforming the image of the calibration panel corrected by the lens distortion using a two-perspective transformation matrix.
그리고, 본 발명은 상기 b)단계와 c)단계 사이에, 상기 촬영된 캘리브레이션 패널의 영상에서 상기 검정색의 중심원을 갖는 제1 및 제3마커가 상기 제1패널의 좌측에 위치되었는지 여부를 판단하는 단계; 및 상기 제1 및 제3마커가 상기 제1패널의 좌측에 위치되지 않은 경우 상기 카메라가 차량의 정위치에 설치되어 있지 않은 것으로 인식하여 상기 촬영된 캘리브레이션 패널의 영상을 90°식 회전시켜 상기 제1 및 제3마커가 상기 제1패널의 좌측에 위치시키는 단계;를 더 포함하는 것을 특징으로 한다.The present invention further includes, between steps b) and c), determining whether first and third markers having a center circle of black in the image of the taken calibration panel are located on the left side of the first panel ; And when the first and third markers are not located on the left side of the first panel, recognizing that the camera is not installed in a proper position of the vehicle, the image of the taken calibration panel is rotated 90 degrees, 1 and the third marker on the left side of the first panel.
아울러, 본 발명은 상기 a)단계 전에, 상기 캘리브레이션 패널에 상기 차량을 위치시켜, 상기 차량의 카메라와 상기 캘리브레이션 패널을 정렬하는 단계를 더 수행하는 것을 특징으로 한다.Further, the present invention is characterized in that before the step a), the step of positioning the vehicle on the calibration panel further comprises aligning the camera of the vehicle and the calibration panel.
여기에서, 상기 캘리브레이션 패널은, 상기 제1패널에 연결되어 있고 다수의 장방형 무늬가 등간격으로 배치된 사각형 제2패널을 더 포함하고, 상기 제2패널의 다수의 장방형 무늬에는 상기 다수의 장방형 무늬에서 상기 제1패널 방향으로 돌출되고, 다수의 장방형 무늬의 가운데 위치된 제2차량 정렬 무늬, 상기 제2차량 정렬 무늬로부터 이격된 좌측에 위치된 제1차량 정렬 무늬 및 상기 제2차량 정렬 무늬로부터 이격된 좌측에 위치된 제3차량 정렬 무늬를 포함하며, 상기 차량의 카메라와 상기 캘리브레이션 패널을 정렬하는 단계에서, 상기 차량 전방 또는 후방에 설치되는 카메라와 상기 차량의 전방 또는 후방에 위치된 캘리브레이션 패널을 정렬하기 위하여, 차량의 앞범퍼 센터 및 뒷범퍼 센터를 상기 제2차량 정렬 무늬에 일치시키고, 상기 차량 좌측에 설치되는 카메라와 상기 차량의 좌측에 위치된 캘리브레이션 패널을 정렬하기 위하여, 차량의 좌측 앞바퀴 센터를 상기 제1차량 정렬 무늬에 일치시키고, 상기 차량 우측에 설치되는 카메라와 상기 차량의 우측에 위치된 캘리브레이션 패널을 정렬하기 위하여, 차량의 우측 앞바퀴 센터를 상기 제3차량 정렬 무늬에 일치시키는 것을 특징으로 한다.The calibration panel may further include a second rectangular panel connected to the first panel and having a plurality of rectangular patterns arranged at regular intervals, and the plurality of rectangular patterns of the second panel may include a plurality of rectangular patterns A second vehicle alignment pattern projecting in the direction of the first panel and positioned in the middle of the plurality of rectangular patterns, a first vehicle alignment pattern located on the left side spaced apart from the second vehicle alignment pattern, and a second vehicle alignment pattern projecting from the second vehicle alignment pattern And a third vehicle alignment pattern located on a left side of the vehicle, wherein, in the step of aligning the camera of the vehicle and the calibration panel, a camera installed in front of or behind the vehicle and a calibration panel A front bumper center and a rear bumper center of the vehicle are aligned with the second vehicle alignment pattern, The left front wheel center of the vehicle is aligned with the first vehicle alignment pattern so as to align the camera installed on the left side of the vehicle with the calibration panel positioned on the left side of the vehicle, And the right front wheel center of the vehicle is aligned with the third vehicle alignment pattern to align the calibration panel.
또한, 본 발명은 상기 제1 내지 제4마커는 2개의 원형링이 중심원의 외측에 연이어 위치된 동심원 무늬로 이루어지고, 상기 제1 내지 제4마커 각각은 2개의 원형링의 폭이 '1'인 경우 중심원의 지름은 '3'으로 설정되며, 상기 제1 내지 제4마커 각각이 좌측에서 우측으로 연결되는 선상에서 2개의 원형링, 중심원, 2개의 원형링이 위치되어 만들어지는 2개의 원형링의 폭, 중심원 지름, 2개의 원형링의 폭은 1:1:3:1:1의 비율을 가지는 것을 특징으로 한다.Further, in the present invention, each of the first to fourth markers is composed of a concentric circular pattern in which two circular rings are arranged on the outer side of the center circle, and each of the first to fourth markers has a width of '1 ', The diameter of the central circle is set to' 3 ', and two circular rings, a center circle, and two circular rings are placed on the line connecting the first to fourth markers from left to right And the width of the two circular rings is 1: 1: 3: 1: 1.
아울러, 본 발명은 상기 d)단계와 e)단계 사이에, 상기 촬영된 캘리브레이션 패널의 영상에서 색상 또는 밝기값을 검출하여 상기 차량의 외관에 의해 가려지는 부분을 검출하는 단계를 더 포함하는 것을 특징으로 한다.The present invention further includes a step of detecting a portion covered by the appearance of the vehicle by detecting a color or a brightness value in the image of the taken calibration panel between steps d) and e) .
본 발명에 의하면, 4개의 마커와 체커가 구비된 캘리브레이션 패널을 이용하여 캘리브레이션에 적합한 원근 변환 행렬을 자동으로 산출하고, 이 산출된 원근 변환 행렬로 촬영된 영상을 캘리브레이션함으로써, 왜곡이 없는 영상을 획득하여 캘리브레이션의 신뢰성을 향상시킬 수 있는 장점이 있다.According to the present invention, a perspective transformation matrix suitable for calibration is automatically calculated using a calibration panel having four markers and checkers, and an image captured with the calculated perspective transformation matrix is calibrated to acquire a distortion-free image Thereby improving the reliability of the calibration.
본 발명에 의하면, 동심원 무늬를 가지는 제1 내지 제4마커를 사용하여 촬영된 캘리브레이션 패널의 영상으로부터 제1 내지 제4마커의 중심원의 중심의 영상 좌표를 신속하고 정확하게 추출할 수 있는 효과가 있다.According to the present invention, it is possible to quickly and accurately extract the image coordinates of the center of the center circle of the first to fourth markers from the image of the calibration panel photographed using the first to fourth markers having the concentric circles .
본 발명에 의하면, 차종에 상관 없이(차량의 외관 형상에 영향을 받지 않게)간단한 절차로 신속하고 정확한 캘리브레이션을 수행함으로써, 출고된 차량에 AVM 시스템을 설치한 후, 설치된 AVM 시스템의 카메라를 캘리브레이션하는 애프터마켓용으로 활용할 수 있는 이점이 있다.According to the present invention, an AVM system is installed in a vehicle that has been shipped, by performing a quick and accurate calibration in a simple procedure (regardless of the appearance of the vehicle) irrespective of the vehicle type, and then the camera of the installed AVM system is calibrated There is an advantage that can be used for aftermarket.
도 1은 본 발명에 따른 AVM(Around View Monitoring) 시스템의 자동 캘리브레이션 방법의 플로우챠트,
도 2는 도 1의 AVM 시스템의 자동 캘리브레이션 방법에서 A단계를 수행하는 방법의 플로우챠트,
도 3은 본 발명에 따라 적용된 캘리브레이션 패널의 상면도,
도 4는 본 발명에 따른 캘리브레이션 방법에서 제1평균 거리 오차를 설명하기 위한 도면,
도 5는 본 발명에 따른 캘리브레이션 방법에서 제2평균 거리 오차를 설명하기 위한 도면,
도 6은 본 발명에 따른 AVM 시스템의 구성 블록도,
도 7은 본 발명에 따른 캘리브레이션 방법에서 캘리브레이션 패널에 차량을 위치시키는 방법을 설명하기 위한 상면도,
도 8은 본 발명에 따라 4카메라에서 촬영된 캘리브레이션 전의 영상,
도 9는 본 발명에 따라 4카메라에서 촬영된 캘리브레이션 후의 영상이다.1 is a flowchart of an automatic calibration method of an AVM (Around View Monitoring) system according to the present invention,
FIG. 2 is a flowchart of a method of performing step A in the automatic calibration method of the AVM system of FIG. 1;
3 is a top view of a calibration panel applied in accordance with the present invention,
4 is a diagram for explaining a first average distance error in the calibration method according to the present invention,
5 is a view for explaining a second average distance error in the calibration method according to the present invention,
6 is a block diagram of an AVM system according to the present invention.
7 is a top view for explaining a method of positioning a vehicle on a calibration panel in the calibration method according to the present invention,
FIG. 8 is a diagram showing an image before calibration taken by four cameras according to the present invention,
9 is an image after calibration performed by four cameras according to the present invention.
이하, 첨부된 도면들을 참조하여 본 발명의 실시를 위한 구체적인 내용을 설명하도록 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명에 따른 AVM(Around View Monitoring) 시스템의 자동 캘리브레이션 방법의 플로우챠트이다.1 is a flowchart of an automatic calibration method of an AVM (Around View Monitoring) system according to the present invention.
본 발명에 따른 AVM 시스템의 자동 캘리브레이션 방법은 먼저, 캘리브레이션 패널을 차량의 카메라로 촬영한다(S100).In the automatic calibration method of the AVM system according to the present invention, first, the calibration panel is photographed by a camera of a vehicle (S100).
캘리브레이션 패널은 도 3에 도시된 바와 같이, 다수의 정방형 격자 무늬가 배치되고, 동심원 무늬의 제1 및 제2마커가 상기 다수의 정방형 격자 무늬 상측에 이격되어 배치되고, 상기 제1 및 제2마커의 동심원 무늬보다 크기가 상대적으로 작은 동심원 무늬의 제3 및 제4마커가 상기 다수의 정방형 격자 무늬의 하측에 이격되어 배치되며, 상기 제1 및 제3마커는 다수의 정방형 격자 무늬의 좌측에 배치되며 중심원 무늬의 중심원이 검정색이고, 상기 제3 및 제4마커는 다수의 정방형 격자 무늬의 우측에 배치되며 중심원 무늬의 중심원이 흰색인 사각형 제1패널 및 상기 제1패널에 연결되어 있고 다수의 장방형 무늬가 등간격으로 배치된 사각형 제2패널로 이루어진다.As shown in FIG. 3, the calibration panel is provided with a plurality of square grid patterns, first and second concentric circular markers arranged on the upper side of the plurality of square grid patterns, and the first and second markers And third and fourth markers of a concentric circle pattern having a size smaller than that of the concentric circle pattern of the plurality of square grid patterns are disposed on the lower side of the plurality of square grid patterns, Wherein the center circle of the central circular pattern is black, the third and fourth markers are disposed on the right side of the plurality of square plaid patterns and the center circle of the central circular pattern is white, And a second rectangular panel having a plurality of rectangular patterns arranged at regular intervals.
카메라는 AVM 시스템을 구현하기 위하여 차량에 설치된 카메라로, 차량의 소정 위치에 설치된 복수의 카메라 중 하나이다.A camera is a camera installed in a vehicle to implement an AVM system, and is one of a plurality of cameras installed at a predetermined position of the vehicle.
그후, 상기 촬영된 캘리브레이션 패널의 영상에서 상기 제1 내지 제4마커의 중심원의 중심의 영상 좌표를 추출한다(S110).Then, image coordinates of the centers of the center circles of the first to fourth markers are extracted from the image of the photographed calibration panel (S110).
여기서, 상기 제1 내지 제4마커의 중심원의 중심의 영상 좌표는 예컨대, 도 3의 제1패널에서, 제3마커의 중심원의 중심에 대한 영상 좌표를 추출하는 것과 같이 제1,제2, 제4마커의 중심원의 중심의 영상 좌표를 추출한다.Here, the image coordinates of the centers of the center circles of the first to fourth markers can be obtained, for example, by extracting the image coordinates of the center of the center circle of the third marker in the first panel of Fig. 3, , The image coordinates of the center of the center circle of the fourth marker are extracted.
이어서, 상기 제1 내지 제4마커의 중심원의 중심의 영상 좌표에 대하여 렌즈 왜곡 보정 데이터로 렌즈 왜곡 보정하여 상기 제1 내지 제4마커의 중심원의 중심의 보정 좌표를 획득한다(S120).Next, correction coordinates of the centers of the center circles of the first to fourth markers are obtained by performing lens distortion correction on the image coordinates of the centers of the center circles of the first to fourth markers with the lens distortion correction data (S120).
계속, 상기 제1 내지 제4마커의 중심원의 중심의 보정 좌표를 상기 제1 내지 제4마커의 중심원의 중심의 영상 좌표에 매핑하여 제1원근 변환 행렬을 산출한다(S130).
Subsequently, a first perspective transformation matrix is calculated by mapping the correction coordinates of the center of the center circle of the first to fourth markers to the image coordinates of the center of the center circle of the first to fourth markers (S130).
본 발명에서는 'S120'단계 및 'S130'단계 사이에, 차량에 카메라가 정위치(AVM 시스템을 위한 적합한 영상을 촬영할 수 있는 차량에서의 카메라 설치 위치(적합한 설치 상태도 포함))에 설치되었는지를 판단하고 이 판단에 의해 촬영된 캘리브레이션 패널의 영상을 정위치에서 설치된 카메라에서 촬영된 영상이 되도록 회전시켜 보정하는 단계를 더 포함할 수 있다.Between steps 'S120' and 'S130', it is determined whether the camera is installed in the vehicle at a predetermined position (including a proper installation state) in a vehicle capable of shooting a proper image for the AVM system And rotating the image of the calibration panel photographed by the determination so as to be an image photographed by the installed camera at the correct position.
즉, 'S120'단계 및 'S130'단계 사이에, 상기 촬영된 캘리브레이션 패널의 영상에서 상기 검정색의 중심원을 갖는 제1 및 제3마커가 상기 제1패널의 좌측에 위치되었는지 여부를 판단하는 단계; 및 상기 제1 및 제3마커가 상기 제1패널의 좌측에 위치되지 않은 경우 상기 카메라가 차량의 정위치에 설치되어 있지 않은 것으로 인식하여 상기 촬영된 캘리브레이션 패널의 영상을 90°식 회전(90°, 180°, 270°로 회전)시켜 상기 제1 및 제3마커가 상기 제1패널의 좌측에 위치시키는 단계;를 더 포함한다.
That is, between the steps 'S120' and 'S130', it is determined whether or not the first and third markers having the center circle of the black in the image of the taken calibration panel are positioned on the left side of the first panel ; And when the first and third markers are not positioned on the left side of the first panel, the camera recognizes that the camera is not installed in a proper position of the vehicle and rotates the image of the taken calibration panel 90 degrees , 180 °, and 270 °) so that the first and third markers are positioned on the left side of the first panel.
그다음, 상기 제1 내지 제4마커의 중심원의 중심의 영상 좌표를 상기 제1 내지 제4마커의 중심원의 중심의 보정 좌표에 매핑하여 제1원근 역변환 행렬을 산출한다(S140).Then, a first perspective inverse transformation matrix is calculated by mapping the image coordinates of the center of the center circle of the first to fourth markers to the correction coordinates of the center of the center circle of the first to fourth markers (S140).
이어, 상기 산출된 원근 역변환 행렬을 이용하여, 상기 제1패널의 각 모서리에 가장 근접된 정방형 격자 무늬의 교차점으로 정의된 체커들의 물리좌표를 역변환하여 상기 체커들의 제1보정 좌표를 산출한다(S150). Subsequently, the first corrected coordinates of the checkers are calculated by inversely transforming the physical coordinates of the checkers defined as the intersections of the square grid patterns closest to the respective corners of the first panel using the calculated inverse perspective transformation matrix (S150 ).
여기서, 체커들의 물리좌표는 캘리브레이션 패널의 제1패널이 가지고 있는 지오메트리(geometry)에 의해 정의된다.Here, the physical coordinates of the checkers are defined by the geometry of the first panel of the calibration panel.
연이어, 상기 산출된 체커들의 제1보정 좌표를 상기 렌즈 왜곡 보정 데이터를 이용하여 제1복원 영상 좌표로 변환한다(S160). Subsequently, the first corrected coordinates of the calculated checkers are converted into first restored image coordinates using the lens distortion correction data (S160).
다음으로, 코너 서브픽스(Corner subpix) 방법을 이용하여 상기 제1복원 영상 좌표를 초기값으로 상기 체커들의 제1좌표를 획득한다(S170). Next, the first coordinates of the checkers are obtained using the first restored image coordinate as an initial value using a corner subpix method (S170).
여기서, 'S170'단계는 OpenCV(Open Source Computer Vision) 프로그램의 카메라 캘리브레이션의 함수 중 코너 서브픽스 함수(cv2.cornerSubPix)에 제1복원 영상 좌표를 적용하여 체커들의 제1좌표를 획득하는 것이다.Here, 'S170' is to obtain the first coordinates of the checkers by applying the first restored image coordinates to the corner subpix function (cv2.cornerSubPix) among the functions of the camera calibration of the OpenCV (Open Source Computer Vision) program.
이러한 코너 서브픽스 방법은 제1복원 영상 좌표 주변으로 일정한 크기 영역으로 정의된 윈도우 안에 세부픽셀들의 밝기 그래디언트(gradient)를 계산해서 밝기 그래디언트의 최소점(즉, 체커들의 제1좌표)을 수치해석적으로 찾아내는 방법이다.The corner subpixel method calculates a brightness gradient of detail pixels in a window defined by a predetermined size region around a first reconstructed image coordinate to calculate a minimum point of the brightness gradient (i.e., a first coordinate of the checkers) .
'S170'단계에서는 이미 알려진 OpenCV 프로그램의 코너 서브픽스 방법을 이용하는 것이며, 코너 서브픽스 방법은 'S170'단계를 구현하기 위한 수단으로만 사용되는 것으로, 'S170'단계는 제1복원 영상 좌표를 초기값으로 캘리브레이션 패널 상의 체커들의 물리좌표에 근접된 제1좌표를 획득하는 것이다.The corner subpix method of the already known OpenCV program is used in step 'S170', and the corner subpix method is used only as a means for implementing step 'S170'. In step 'S170' Value to obtain a first coordinate close to the physical coordinates of the checkers on the calibration panel.
즉, 도 4에 도시된 바와 같이, 'S150'단계에서 산출된 원근 역변환 행렬을 이용하여 체커들의 물리좌표(A점의 좌표)(제1패널의 모서리(100a)에 가장 근접된 정방형 격자 무늬의 교차점인 체커의 좌표)를 역변환하면 체커들의 제1보정 좌표가 산출되고, 'S160'단계에서 산출된 체커들의 제1보정 좌표를 렌즈 왜곡 보정 데이터를 이용하여 변환하면 제1복원 영상 좌표(B점의 좌표)가 된다.4, the physical coordinates of the checkers (the coordinates of the point A) (the square grid pattern closest to the
그리고, 'S170'단계에서 코너 서브픽스 방법을 이용하여 제1복원 영상 좌표를 초기값으로 체커들의 제1좌표(C점의 좌표)를 획득하는 것이다.In step 'S170', the first coordinates (coordinates of point C) of the checkers are obtained by using the first restored image coordinate as an initial value using the corner sub-pixel method.
그후, 상기 제1복원 영상 좌표와 상기 획득된 체커들의 제1좌표의 제1평균 거리 오차를 계산한다(S180). Then, a first average distance error between the first restored image coordinates and the first coordinates of the obtained checkers is calculated (S180).
여기서, 도 4를 참조하면, 제1평균 거리 오차는 제1복원 영상 좌표(B의 좌표)와 획득된 체커들의 제1좌표(C의 좌표) 사이의 거리 'd1'이 된다.Referring to FIG. 4, the first average distance error is a distance 'd1' between the coordinates of the first restored image (coordinates of B) and the first coordinates (coordinates of C) of the obtained checkers.
계속하여, 상기 계산된 제1평균 거리 오차가 허용 범위 내에 있는지를 판단한다(S190). Subsequently, it is determined whether the calculated first mean distance error is within an allowable range (S190).
여기서, 허용 범위란 산출된 제1원근 변환 행렬이 적합한 것인지를 판단하기 위한 것으로, 계산된 제1평균 거리 오차는 작아야 적합한 것이며, 허용 범위는 후술하는 'S210'단계에서 변환된 캘리브레이션 패널의 영상에서 왜곡이 존재하지 않는 상태를 만족할 수 있는 제1평균 거리 오차 범위이다.Here, the allowable range is for determining whether the calculated first perspective transformation matrix is appropriate, and the calculated first average distance error is appropriate if it is small. The allowable range is a range from the image of the calibration panel converted in the step " S210 " Is a first average distance error range that can satisfy a state in which distortion does not exist.
다음으로, 상기 계산된 제1평균 거리 오차가 허용 범위 내에 있는 경우, 상기 촬영된 캘리브레이션 패널의 영상을 상기 렌즈 왜곡 보정 데이터로 렌즈 왜곡 보정한다(S200). Next, when the calculated first mean distance error is within the allowable range, the image of the taken calibration panel is corrected with the lens distortion correction data (S200).
이어서, 상기 산출된 제1원근 변환 행렬을 이용하여 상기 렌즈 왜곡 보정된 캘리브레이션 패널의 영상을 변환한다(S210).Subsequently, the image of the calibration panel corrected by the lens distortion is converted using the calculated first perspective transformation matrix (S210).
따라서, 본 발명은 4개의 마커와 체커가 구비된 캘리브레이션 패널을 이용하여 원근 변환 행렬을 자동으로 산출하고, 이 산출된 원근 변환 행렬로 촬영된 영상을 캘리브레이션함으로써, 왜곡이 없는 영상을 획득할 수 있는 것이다.Therefore, according to the present invention, a perspective transformation matrix is automatically calculated using a calibration panel provided with four markers and checkers, and an image captured by the calculated perspective transformation matrix is calibrated to obtain a distortion-free image will be.
본 발명은 4개의 마커와 체커가 구비된 캘리브레이션 패널을 이용하여 캘리브레이션에 적합한 원근 변환 행렬을 자동으로 산출하고, 이 산출된 원근 변환 행렬로 촬영된 영상을 캘리브레이션함으로써, 왜곡이 없는 영상을 획득하여 캘리브레이션의 신뢰성을 향상시킬 수 있는 것이다.
The present invention automatically calculates a perspective transformation matrix suitable for calibration using a calibration panel having four markers and checkers and calibrates an image photographed with the calculated perspective transformation matrix to obtain a distortion- It is possible to improve the reliability of the apparatus.
한편, 본 발명에서는 'S100'단계 전에, 캘리브레이션 패널에 차량을 위치시켜, 차량의 카메라와 캘리브레이션 패널과 정렬시키는 단계를 더 수행할 수 있고, 이 정렬 단계는 후술된 도 3 및 도 7의 설명에서 세부적인 방법을 기술한다.
In the present invention, it is further possible to position the vehicle on the calibration panel and align it with the camera and the calibration panel of the vehicle before step S100, Describe the detailed method.
도 2는 도 1의 AVM 시스템의 자동 캘리브레이션 방법에서 A단계를 수행하는 방법의 플로우챠트이다.2 is a flow chart of a method for performing step A in the automatic calibration method of the AVM system of FIG.
도 1의 A단계는 우선, 상기 계산된 제1평균 거리 오차가 허용 범위 내에 있지 않은 경우, 상기 체커들의 영상 좌표를 상기 렌즈 왜곡 보정 데이터로 렌즈 왜곡 보정하여 상기 체커들의 제2보정 좌표를 획득한다(S300).In step A of FIG. 1, if the calculated first mean distance error is not within the allowable range, the image coordinates of the checkers are corrected by lens distortion correction using the lens distortion correction data to obtain second correction coordinates of the checkers (S300).
다음, 상기 획득된 체커들의 제2보정 좌표를 상기 체커들의 영상 좌표에 매핑하여 제2원근 변환 행렬을 산출한다(S310).Next, the second perspective transformation matrix is calculated by mapping the second correction coordinates of the obtained checkers to the image coordinates of the checkers (S310).
이어서, 상기 제1 내지 제4마커의 중심원의 중심의 영상 좌표를 상기 제1 내지 제4마커의 중심원의 중심의 보정 좌표에 매핑하여 제2원근 역변환 행렬을 산출한다(S320).Subsequently, a second perspective inverse transformation matrix is calculated by mapping the image coordinates of the center of the center circle of the first to fourth markers to the correction coordinates of the center of the center circle of the first to fourth markers (S320).
그후, 상기 산출된 원근 역변환 행렬을 이용하여, 상기 추출된 체커들의 영상 좌표를 역변환하여 상기 체커들의 제3보정 좌표를 산출한다(S330). Thereafter, the third corrected coordinates of the checkers are calculated by inverse transforming the image coordinates of the extracted checkers using the calculated perspective inverse transformation matrix (S330).
계속, 상기 산출된 체커들의 제3보정 좌표를 상기 렌즈 왜곡 보정 데이터를 이용하여 제2복원 영상 좌표로 변환한다(S340).Subsequently, the third corrected coordinates of the calculated checkers are converted into second restored image coordinates using the lens distortion correction data (S340).
연이어, 코너 서브픽스(Corner subpix) 방법을 이용하여 상기 제2복원 영상 좌표를 초기값으로 상기 체커들의 제2좌표를 획득한다(S350). In operation S350, the second coordinates of the checkers are acquired using the second restored image coordinate as an initial value by using a corner subpix method.
다음으로, 상기 제2복원 영상 좌표와 상기 획득된 체커들의 제2좌표의 제2평균 거리 오차를 계산한다(S360). Next, a second average distance error between the second restored image coordinates and the second coordinates of the obtained checkers is calculated (S360).
그다음, 도 1의 방법에서 계산된 제1평균 거리 오차가 제2평균 거리 오차보다 작은지 여부를 판단한다(S370).Then, it is determined whether the first average distance error calculated in the method of FIG. 1 is smaller than the second average distance error (S370).
이때, 도 5를 참조하면, 제2평균 거리 오차는 제2복원 영상 좌표(D의 좌표)와 획득된 체커들의 제1좌표(E의 좌표) 사이의 거리 'd2'이 된다.Referring to FIG. 5, the second average distance error is a distance 'd2' between the coordinates of the second restored image (coordinates of D) and the first coordinates (coordinates of E) of the obtained checkers.
그러므로, 도 4의 제1복원 영상 좌표(B의 좌표)와 획득된 체커들의 제1좌표(C의 좌표) 사이의 거리인 제1평균 거리 오차 'd1'와 제2복원 영상 좌표(D의 좌표)와 획득된 체커들의 제1좌표(E의 좌표) 사이의 거리인 제2평균 거리 오차 'd2'를 비교하여 'S370'단계를 수행하는 것이다.Therefore, the first average distance error 'd1', which is the distance between the first restored image coordinates (the coordinates of B) of FIG. 4 and the first coordinates (C coordinates of the obtained checkers) and the second restored image coordinates ) Is compared with a second average distance error 'd2', which is a distance between the first coordinates (coordinates of E) of the obtained checkers, to perform step 'S370'.
여기에서, 상기 계산된 제1평균 거리 오차가 제2평균 거리 오차보다 작은 경우, 상기 촬영된 캘리브레이션 패널의 영상을 상기 렌즈 왜곡 보정 데이터로 렌즈 왜곡 보정(S381)하고, 도 1의 방법에서 산출된 제1원근 변환 행렬을 이용하여 상기 렌즈 왜곡 보정된 캘리브레이션 패널의 영상을 변환한다(S382).Here, if the calculated first mean distance error is smaller than the second mean distance error, the captured image of the calibration panel is subjected to lens distortion correction (S381) with the lens distortion correction data (S381) The image of the calibration panel corrected by the lens distortion is converted using the first perspective transformation matrix (S382).
그리고, 상기 계산된 제1평균 거리 오차가 제2평균 거리 오차보다 작지 않은 경우, 상기 촬영된 캘리브레이션 패널의 영상을 상기 렌즈 왜곡 보정 데이터로 렌즈 왜곡 보정(S391)하고, 도 2의 방법에서 산출된 제2원근 변환 행렬을 이용하여 상기 렌즈 왜곡 보정된 캘리브레이션 패널의 영상을 변환한다(S392).
If the calculated first mean distance error is not smaller than the second mean distance error, the image of the taken calibration panel is corrected for the lens distortion correction using the lens distortion correction data (S391) The image of the calibration panel corrected by the lens distortion is converted using the second perspective transformation matrix (S392).
도 3은 본 발명에 따라 적용된 캘리브레이션 패널의 상면도이다.3 is a top view of a calibration panel applied in accordance with the present invention.
도 3을 참조하면, 캘리브레이션 패널은 사각형상으로 제1패널과 제2패널로 구성되고, 제2패널은 제1패널에 연결되어 있다.Referring to FIG. 3, the calibration panel includes a first panel and a second panel in a rectangular shape, and the second panel is connected to the first panel.
제1패널은 다수의 정방형 격자 무늬가 배치되고, 동심원 무늬의 제1 및 제2마커(110,120)가 상기 다수의 정방형 격자 무늬 상측에 이격되어 배치되고, 상기 제1 및 제2마커(110,120)의 동심원 무늬보다 크기가 상대적으로 작은 동심원 무늬의 제3 및 제4마커(130,140)가 상기 다수의 정방형 격자 무늬의 하측에 이격되어 배치되며, 상기 제1 및 제3마커(110,130)는 다수의 정방형 격자 무늬의 좌측에 배치되며 중심원 무늬의 중심원이 검정색이고, 상기 제3 및 제4마커(130,140)는 다수의 정방형 격자 무늬의 우측에 배치되며 중심원 무늬의 중심원이 흰색으로 구성된다.The first panel is provided with a plurality of square grid patterns and the first and second
여기서, 제1 내지 제4마커(110,120,130,140)는 중심원과 2개의 원형링이 구성되고, 2개의 원형링이 중심원의 외측에 연이어 위치된 동심원 무늬로 이루어진다.Here, the first to
이때, 상기 제1 내지 제4마커(110,120,130,140) 각각은 2개의 원형링의 폭이 '1'인 경우 중심원의 지름은 '3'으로 설정되며, 상기 제1 내지 제4마커(110,120,130,140) 각각이 좌측에서 우측으로 연결되는 선상에서 2개의 원형링, 중심원, 2개의 원형링이 위치되어 만들어지는 2개의 원형링의 폭, 중심원 지름, 2개의 원형링의 폭은 1:1:3:1:1의 비율을 가지는 것을 특징으로 한다.
In this case, each of the first to
한편, 도 1의 캘리브레이션 방법의 'S110'단계에서, 제1 내지 제4마커(110,120,130,140)의 중심원의 중심의 영상 좌표를 추출하기 위해, 촬영된 캘리브레이션 패널의 영상의 상측에서 하측으로 스캔하고 좌측에서 우측으로 스캔한다.1, in order to extract the image coordinates of the center of the center circle of the first to
그러므로, 본 발명에서는 상술한 바와 같이 1:1:3:1:1의 비율을 가지는 동심원 무늬를 가지는 제1 내지 제4마커(110,120,130,140)를 사용하여 촬영된 캘리브레이션 패널의 영상으로부터 제1 내지 제4마커(110,120,130,140)의 중심원의 중심의 영상 좌표를 신속하고 정확하게 추출할 수 있는 이점이 있다. Therefore, in the present invention, as described above, the images of the calibration panel photographed using the first to
그리고, 제1패널의 각 모서리에 가장 근접된 정방형 격자 무늬의 교차점으로 정의된 체커들은 '151,152,153,154'이다.The checkers defined as the intersections of the square grid patterns closest to each corner of the first panel are '151,152,153,154'.
또한, 작은 동심원 무늬의 제3 및 제4마커가 위치된 제1패널 영역에 제2패널이 연결되고, 제2패널에는 등간격으로 배치된 다수의 장방형 무늬(160)가 형성되어 있다.In addition, a second panel is connected to the first panel area where the third and fourth markers of the small concentric circles are located, and a plurality of
제2패널의 다수의 장방형 무늬(160)에는 정렬된 다수의 장방형 무늬(160)에서 제1패널 방향으로 돌출되고, 다수의 장방형 무늬(160)의 가운데 위치된 제2차량 정렬 무늬(162), 상기 제2차량 정렬 무늬(162)로부터 이격된 좌측에 위치된 제1차량 정렬 무늬(161) 및 상기 제2차량 정렬 무늬(162)로부터 이격된 좌측에 위치된 제3차량 정렬 무늬(163)를 포함할 수 있다.A plurality of
즉, 제1 내지 제3차량 정렬 무늬(161,162,163)는 차량 우측에 설치되는 우측카메라, 차량 좌측에 설치되는 좌측카메라, 차량 전/후에 설치되는 전/후카메라의 촬영 기준을 맞추기 위해 차량의 앞바퀴의 중심과 차량 전/후 범퍼 중심에 정렬시키기 위한 것이다.
In other words, the first to third
도 6은 본 발명에 따른 AVM 시스템의 구성 블록도이다.6 is a block diagram of the AVM system according to the present invention.
도 6을 참조하면, 본 발명에 따른 AVM 시스템은 제1 내지 제4카메라(211,212,213,214), 영상처리유닛(220), 제어부(230) 및 디스플레이(240)를 포함한다.Referring to FIG. 6, the AVM system according to the present invention includes first to
제1 내지 제4카메라(211,212,213,214)는 차량의 앞 범퍼, 뒷 범퍼, 좌측면, 우측면에 설치되고, 영상처리유닛(220)은 제1 내지 제4카메라(211,212,213,214)에서 촬영된 영상을 보정하고 합성하여 각 카메라로부터 획득된 차량 전둘레의 영상이 합성되어 차량을 위에서 내려다 보는 것과 같은 차량 주변 영상을 디스플레이(240)로 출력한다.The first to
제어부(230)는 도 1 및 도 2의 AVM 시스템의 자동 캘리브레이션 방법의 알고리즘을 구현하기 위한 기능(추출, 획득, 산출, 판단 등) 및 영상처리유닛(220) 제어 기능을 구비하여, 제1 내지 제4카메라(211,212,213,214)에서 촬영된 캘리브레이션 패널 영상 및 물리적인 캘리브레이션 패널로 원근 변환 행렬을 산출하고 산출된 원근 변환 행렬이 적합한지를 확인하고, 확인된 원근 변환 행렬로 캘리브레이션함으로써, AVM 시스템에서 왜곡이 없는 영상을 획득할 수 있도록 하는 것이다.
The
도 7은 본 발명에 따른 캘리브레이션 방법에서 캘리브레이션 패널에 차량을 위치시키는 방법을 설명하기 위한 상면도이다.7 is a top view for explaining a method of positioning a vehicle on a calibration panel in the calibration method according to the present invention.
캘리브레이션 패널이 차량의 4개의 카메라의 촬영 위치에 대응되도록, 소정의 영역에 캘리브레이션 패널을 위치시킨 후, 차량을 이동하여 카메라가 캘리브레이션 패널을 촬영할 수 있도록 한다.After positioning the calibration panel in a predetermined area such that the calibration panel corresponds to the photographing position of the four cameras of the vehicle, the camera is moved so that the camera can photograph the calibration panel.
이때, 하나의 캘리브레이션 패널을 위치시킨 후 차량을 이동하여 카메라와 캘리브레이션 패널과의 정렬을 수행하고, 하나의 카메라에 대한 캘리브레이션을 수행할 수도 있고, 도 7과 같이, 4개의 제1 내지 제4캘리브레이션 패널(101,102,103,104)이 놓여진 상태에서 차량을 이동하여 4개의 카메라 각각에 대한 캘리브레이션을 순차적으로 또는 동시에 일괄 수행할 수도 있다.At this time, after one calibration panel is positioned, the vehicle is moved to perform alignment between the camera and the calibration panel, and calibration for one camera may be performed. Alternatively, as shown in FIG. 7, four first to fourth calibrations It is also possible to move the vehicle in a state in which the
도 7을 참조하면, 제1캘리브레이션 패널(101)은 차량 전방에 위치되고, 제3캘리브레이션 패널(103)은 차량 후방에 위치되며, 제2캘리브레이션 패널(102)은 차량 좌측에 위치되고, 제4캘리브레이션 패널(104)은 차량 우측에 위치된다.7, the
이와 같이 위치된 제1 내지 제4캘리브레이션 패널(101,102,103,104) 사이 공간에 차량을 이동시켜 차량과 제1 내지 제4캘리브레이션 패널(101,102,103,104)을 정렬한다.The vehicle and the first to fourth calibration panels (101, 102, 103, 104) are aligned by moving the vehicle to the space between the first to fourth calibration panels (101, 102, 103, 104)
즉, 차량의 전방 및 후방에 위치된 제1 및 제3캘리브레이션 패널(101,103)은 차량 길이(length) 및 폭(width)을 이용하여 차량의 센터(앞범퍼 센터 및 뒷범퍼 센터)를 제1 및 제3캘리브레이션 패널(101,103)의 다수의 장방형 무늬(160)의 중앙에 위치된 제2차량 정렬 무늬(162)에 일치시킨다.That is, the first and
그리고, 차량의 좌측 및 우측에 위치된 제2 및 제4캘리브레이션 패널(102,104)은 차량의 프론트 오버행(front overhang)을 이용하여 차량의 좌측 및 우측 앞바퀴(171,172) 센터를 제2 및 제4캘리브레이션 패널(102,104)의 다수의 장방형 무늬(160)에 위치된 제1 및 제3차량 정렬 무늬(161,163)에 일치시킨다.The second and
따라서, 본 발명은 상술한 캘리브레이션 방법으로, 도 8과 같은 제1 내지 제4카메라에서 촬영된 캘리브레이션 전 영상(310,320,330,340)을 도 9과 같은 캘리브레이션 후 영상(310a,320a,330a,340a)으로 보정함으로서, 4대의 카메라에서 촬영된 영상간 정합이 잘 이루어질 수 있도록 왜곡없는 미세 보정을 자동적으로 수행할 수 있는 것이다. Therefore, the present invention can correct the
한편, 전술한 AVM 시스템의 자동 캘리브레이션 방법에서 도 1의 S140단계 및 S150단계 사이, 또는 도 2의 S320단계 및 S330단계 사이에, 촬영된 패널의 영상에서 영역 인식용 눈금(패널의 흑, 백 패턴(다수의 정방형 격자 무늬)이 일정하게 나타나는 영역으로 정의함)이 존재할 위치의 색상 또는 밝기값을 검출하여 차량의 외관에 의해 가려지는 부분을 검출하는 단계를 더 포함할 수 있다.On the other hand, in the above-described automatic calibration method of the AVM system, between the steps S140 and S150 of FIG. 1, or between the steps S320 and S330 of FIG. 2, (A plurality of square-shaped plaques) are uniformly displayed on a display screen of the vehicle, and detecting a portion covered by the appearance of the vehicle.
즉, 촬영된 패널의 영상에서 차량에서 먼 위치부터 가까운 위치까지의 패널 영역을 1㎝ 간격으로 영역 인식용 눈금이 존재할 것으로 기대되는 위치의 픽셀의 밝기를 검사하는 것이다.That is, the brightness of a pixel at a position where the area recognition scale is expected to exist is checked at intervals of 1 cm from the panel area from the far position to the nearest position in the image of the photographed panel.
이때, AVM 시스템은 영역 인식용 눈금이 나타나지 않는 영역이 존재하면(흑, 백 패턴이 일정하게 나타나지 않는 영역이 존재하면), 그 영역 인식용 눈금이 나타나는 영역을 차량의 형상(번호판, 범퍼 등)에 방해받지 않고 보이는 영역으로 판단하고, 영역 인식용 눈금이 나타나지 않는 영역에서 차량까지의 영역을 차량 영역으로 간주하여 탑뷰 영상에서 흑색으로 표시한다.At this time, in the AVM system, if there is an area where the area recognition scale does not appear (if there is an area where the black and white patterns are not constantly present), the area where the area recognition scale appears appears as a shape of the vehicle (license plate, The area from the area where the area recognition scale is not visible to the vehicle is regarded as the vehicle area and is displayed in black on the top view image.
상술한 검출 단계를 활용하여, 도 8과 도 9의 탑뷰 영상에서 차량과 패널 사이에는 흑색으로 표시된 것이다.
Using the above-described detection step, the top view image of Figs. 8 and 9 is displayed in black between the vehicle and the panel.
이상에서는 본 발명을 특정의 바람직한 실시예를 예를 들어 도시하고 설명하였으나, 본 발명은 상기한 실시예에 한정되지 아니하며 본 발명의 정신을 벗어나지 않는 범위 내에서 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변경과 수정이 가능할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is clearly understood that the same is by way of illustration and example only and is not to be construed as limited to the embodiments set forth herein. Various changes and modifications may be made by those skilled in the art.
100a: 모서리 101,102,103,104: 캘리브레이션 패널
110,120,130,140: 마커 151,152,153,154: 체커
160: 장방형 무늬 161,162,163: 차량 정렬 무늬
171,172: 앞바퀴 211,212,213,214: 카메라
220: 영상처리유닛 230: 제어부
240: 디스플레이 310,320,330,340: 캘리브레이션 전 영상
310a,320a,330a,340a: 캘리브레이션 후 영상100a:
110, 120, 130, 140:
160: a
171, 172:
220: image processing unit 230:
240:
310a, 320a, 330a, 340a: After calibration image
Claims (8)
b) 상기 촬영된 캘리브레이션 패널의 영상에서 상기 제1 내지 제4마커의 중심원의 중심의 영상 좌표를 추출하는 단계;
c) 상기 제1 내지 제4마커의 중심원의 중심의 영상 좌표에 대하여 렌즈 왜곡 보정 데이터로 렌즈 왜곡 보정하여 상기 제1 내지 제4마커의 중심원의 중심의 보정 좌표를 획득하는 단계;
d) 상기 제1 내지 제4마커의 중심원의 중심의 보정 좌표를 상기 제1 내지 제4마커의 중심원의 중심의 영상 좌표에 매핑하여 제1원근 변환 행렬을 산출하는 단계;
e) 상기 제1 내지 제4마커의 중심원의 중심의 영상 좌표를 상기 제1 내지 제4마커의 중심원의 중심의 보정 좌표에 매핑하여 제1원근 역변환 행렬을 산출하는 단계;
f) 상기 산출된 제1원근 역변환 행렬을 이용하여, 상기 제1패널의 각 모서리에 가장 근접된 정방형 격자 무늬의 교차점으로 정의된 체커들의 물리좌표를 역변환하여 상기 체커들의 제1보정 좌표를 산출하는 단계;
g) 상기 산출된 체커들의 제1보정 좌표를 상기 렌즈 왜곡 보정 데이터를 이용하여 제1복원 영상 좌표로 변환하는 단계;
h) 코너 서브픽스(Corner subpix) 방법을 이용하여 상기 제1복원 영상 좌표를 초기값으로 상기 체커들의 좌표를 획득하는 단계;
i) 상기 제1복원 영상 좌표와 상기 획득된 체커들의 좌표의 제1평균 거리 오차를 계산하는 단계;
j) 상기 계산된 제1평균 거리 오차가 허용 범위에 있는지를 판단하는 단계;
k) 상기 계산된 제1평균 거리 오차가 허용 범위 내에 있는 경우, 상기 촬영된 캘리브레이션 패널의 영상을 상기 렌즈 왜곡 보정 데이터로 렌즈 왜곡 보정하는 단계; 및
l) 상기 산출된 제1원근 변환 행렬을 이용하여 상기 렌즈 왜곡 보정된 캘리브레이션 패널의 영상을 변환하는 단계;를 포함하는 것을 특징으로 하는 AVM 시스템의 자동 캘리브레이션 방법.a) a plurality of square grid patterns are arranged, and first and second concentric circular markers are arranged on the upper side of the plurality of square grid patterns, and the size of the first and second markers is smaller than that of the concentric circles of the first and second markers Photographing a calibration panel in which a third and a fourth marker of a concentric circle pattern are arranged on the lower side of the plurality of square grid patterns by using a camera of a vehicle;
b) extracting image coordinates of a center of a center circle of the first to fourth markers from the image of the taken calibration panel;
c) correcting lens distortion of the center coordinates of the centers of the first through fourth markers with lens distortion correction data to obtain correction coordinates of the center of the center circle of the first through fourth markers;
d) calculating a first perspective transformation matrix by mapping correction coordinates of a center of a center circle of the first to fourth markers to image coordinates of a center of a center circle of the first to fourth markers;
e) calculating a first perspective inverse transformation matrix by mapping the image coordinates of the center of the center circle of the first to fourth markers to the correction coordinates of the center of the center circle of the first to fourth markers;
f) calculating first correction coordinates of the checkers by inversely transforming the physical coordinates of the checkers defined as the intersections of the square grid patterns closest to the respective edges of the first panel using the calculated first perspective inverse transformation matrix step;
g) converting the first corrected coordinates of the calculated checkers into first restored image coordinates using the lens distortion correction data;
h) obtaining the coordinates of the checkers using the first restored image coordinate as an initial value using a corner subpix method;
i) calculating a first average distance error between the coordinates of the first restored image and the coordinates of the obtained checkers;
j) determining whether the calculated first mean distance error is in an allowable range;
k) correcting the image of the photographed calibration panel by the lens distortion correction data with the lens distortion correction data when the calculated first mean distance error is within an allowable range; And
and converting the image of the calibration panel corrected for the lens distortion using the calculated first perspective transformation matrix.
상기 j)단계에서, 상기 계산된 평균 거리 오차가 허용 범위 내에 있지 않은 경우,
m) 상기 체커들의 영상 좌표를 상기 렌즈 왜곡 보정 데이터로 렌즈 왜곡 보정하여 상기 체커들의 제2보정 좌표를 획득하는 단계;
n) 상기 획득된 체커들의 제2보정 좌표를 상기 체커들의 영상 좌표에 매핑하여 제2원근 변환 행렬을 산출하는 단계;
o) 상기 산출된 제2원근 변환 행렬을 산출하는 단계;
p) 상기 제1 내지 제4마커의 중심원의 중심의 영상 좌표를 상기 제1 내지 제4마커의 중심원의 중심의 보정 좌표에 매핑하여 제2원근 역변환 행렬을 산출하는 단계;
q) 상기 산출된 제2원근 역변환 행렬을 이용하여, 상기 추출된 체커들의 영상 좌표를 역변환하여 상기 체커들의 제3보정 좌표를 산출하는 단계;
r) 상기 산출된 체커들의 제3보정 좌표를 상기 렌즈 왜곡 보정 데이터를 이용하여 제2복원 영상 좌표로 변환하는 단계;
s) 코너 서브픽스(Corner subpix) 방법을 이용하여 상기 제2복원 영상 좌표를 초기값으로 상기 체커들의 제2좌표를 획득하는 단계;
t) 상기 복원 영상 좌표와 상기 획득된 체커들의 제2좌표의 제2평균 거리 오차를 계산하는 단계; 및
u) 상기 계산된 제1평균 거리 오차가 제2평균 거리 오차보다 작은 경우, 상기 촬영된 캘리브레이션 패널의 영상을 상기 렌즈 왜곡 보정 데이터로 렌즈 왜곡 보정하고, 상기 산출된 제1원근 변환 행렬을 이용하여 상기 렌즈 왜곡 보정된 캘리브레이션 패널의 영상을 변환하는 단계;를 수행하는 것을 특징으로 하는 AVM 시스템의 자동 캘리브레이션 방법.The method according to claim 1,
In the step j), if the calculated average distance error is not within the permissible range,
m) correcting the image coordinates of the checkers by the lens distortion correction data to obtain second correction coordinates of the checkers;
n) calculating a second perspective transformation matrix by mapping the second corrected coordinates of the obtained checkers to the image coordinates of the checkers;
o) calculating the calculated second perspective transformation matrix;
p) calculating a second perspective inverse transformation matrix by mapping the image coordinates of the centers of the center circles of the first to fourth markers to the correction coordinates of the center of the center circle of the first to fourth markers;
q) calculating third correction coordinates of the checkers by inverse transforming the image coordinates of the extracted checkers using the calculated second perspective inverse transformation matrix;
r) converting the third corrected coordinates of the calculated checkers into second restored image coordinates using the lens distortion correction data;
obtaining a second coordinate of the checkers using the second reconstructed image coordinate as an initial value using a s-Corner subpix method;
t) calculating a second average distance error between the restored image coordinate and a second coordinate of the obtained checkers; And
u) if the calculated first mean distance error is smaller than the second mean distance error, corrects the image of the photographed calibration panel by the lens distortion correction data with the lens distortion correction data, and uses the calculated first perspective transformation matrix And converting the image of the calibration panel to the lens distortion-corrected image.
상기 u)단계에서, 상기 계산된 제1평균 거리 오차가 제2평균 거리 오차보다 작지 않은 경우, 상기 촬영된 캘리브레이션 패널의 영상을 상기 렌즈 왜곡 보정 데이터로 렌즈 왜곡 보정하고, 상기 산출된 제2원근 변환 행렬을 이용하여 상기 렌즈 왜곡 보정된 캘리브레이션 패널의 영상을 변환하는 단계를 수행하는 것을 특징으로 하는 AVM 시스템의 자동 캘리브레이션 방법.3. The method of claim 2,
If the calculated first mean distance error is not smaller than the second mean distance error in the step (u), corrects the image of the photographed calibration panel to the lens distortion correction data using the lens distortion correction data, Wherein the step of converting the image of the calibration panel is performed by using the transformation matrix.
상기 b)단계와 c)단계 사이에,
상기 촬영된 캘리브레이션 패널의 영상에서 상기 검정색의 중심원을 갖는 제1 및 제3마커가 상기 제1패널의 좌측에 위치되었는지 여부를 판단하는 단계; 및
상기 제1 및 제3마커가 상기 제1패널의 좌측에 위치되지 않은 경우 상기 카메라가 차량의 정위치에 설치되어 있지 않은 것으로 인식하여 상기 촬영된 캘리브레이션 패널의 영상을 90°식 회전시켜 상기 제1 및 제3마커가 상기 제1패널의 좌측에 위치시키는 단계;를 더 포함하는 것을 특징으로 하는 AVM 시스템의 자동 캘리브레이션 방법.The method according to claim 1,
Between the steps b) and c)
Determining whether the first and third markers having the center circle of the black color are located on the left side of the first panel in the image of the taken calibration panel; And
When the first and third markers are not located on the left side of the first panel, recognizing that the camera is not installed in a proper position of the vehicle, the image of the taken calibration panel is rotated 90 degrees, And placing a third marker on the left side of the first panel.
상기 a)단계 전에,
상기 캘리브레이션 패널에 상기 차량을 위치시켜, 상기 차량의 카메라와 상기 캘리브레이션 패널을 정렬하는 단계를 더 수행하는 것을 특징으로 하는 AVM 시스템의 자동 캘리브레이션 방법.The method according to claim 1,
Before the step a)
Further comprising: positioning the vehicle on the calibration panel to align the camera and the calibration panel of the vehicle.
상기 캘리브레이션 패널은,
상기 제1패널에 연결되어 있고 다수의 장방형 무늬가 등간격으로 배치된 사각형 제2패널을 더 포함하고,
상기 제2패널의 다수의 장방형 무늬에는 상기 다수의 장방형 무늬에서 상기 제1패널 방향으로 돌출되고, 다수의 장방형 무늬의 가운데 위치된 제2차량 정렬 무늬, 상기 제2차량 정렬 무늬로부터 이격된 좌측에 위치된 제1차량 정렬 무늬 및 상기 제2차량 정렬 무늬로부터 이격된 좌측에 위치된 제3차량 정렬 무늬를 포함하며,
상기 차량의 카메라와 상기 캘리브레이션 패널을 정렬하는 단계에서,
상기 차량 전방 또는 후방에 설치되는 카메라와 상기 차량의 전방 또는 후방에 위치된 캘리브레이션 패널을 정렬하기 위하여, 차량의 앞범퍼 센터 및 뒷범퍼 센터를 상기 제2차량 정렬 무늬에 일치시키고,
상기 차량 좌측에 설치되는 카메라와 상기 차량의 좌측에 위치된 캘리브레이션 패널을 정렬하기 위하여, 차량의 좌측 앞바퀴 센터를 상기 제1차량 정렬 무늬에 일치시키고,
상기 차량 우측에 설치되는 카메라와 상기 차량의 우측에 위치된 캘리브레이션 패널을 정렬하기 위하여, 차량의 우측 앞바퀴 센터를 상기 제3차량 정렬 무늬에 일치시키는 것을 특징으로 하는 AVM 시스템의 자동 캘리브레이션 방법.6. The method of claim 5,
Wherein the calibration panel comprises:
Further comprising a rectangular second panel connected to the first panel and having a plurality of rectangular patterns arranged at regular intervals,
Wherein a plurality of rectangular patterns of the second panel protrude in the direction of the first panel from the plurality of rectangular patterns and are arranged in the middle of the plurality of rectangular patterns, And a third vehicle alignment pattern located on the left side spaced from the second vehicle alignment pattern,
In aligning the camera and the calibration panel of the vehicle,
A front bumper center and a rear bumper center of the vehicle are aligned with the second vehicle alignment pattern in order to align the camera installed in the front or rear of the vehicle and the calibration panel positioned in front of or behind the vehicle,
The left front wheel center of the vehicle is aligned with the first vehicle alignment pattern to align the camera installed on the left side of the vehicle and the calibration panel positioned on the left side of the vehicle,
Wherein the right front wheel center of the vehicle is aligned with the third vehicle alignment pattern to align the camera installed on the right side of the vehicle with the calibration panel positioned on the right side of the vehicle.
상기 제1 내지 제4마커는 2개의 원형링이 중심원의 외측에 연이어 위치된 동심원 무늬로 이루어지고,
상기 제1 내지 제4마커 각각은 2개의 원형링의 폭이 '1'인 경우 중심원의 지름은 '3'으로 설정되며, 상기 제1 내지 제4마커 각각이 좌측에서 우측으로 연결되는 선상에서 2개의 원형링, 중심원, 2개의 원형링이 위치되어 만들어지는 2개의 원형링의 폭, 중심원 지름, 2개의 원형링의 폭은 1:1:3:1:1의 비율을 가지는 것을 특징으로 하는 AVM 시스템의 자동 캘리브레이션 방법.The method according to claim 1,
Wherein the first to fourth markers are formed by concentric circular patterns in which two circular rings are successively positioned on the outer side of the center circle,
The diameter of the center circle is set to '3' when the widths of the two circular rings are '1', and each of the first to fourth markers is set on the line connecting from the left to the right It has a ratio of 1: 1: 3: 1: 1, the width of two circular rings, the center circle diameter, and the width of two circular rings formed by placing two circular rings, center circle and two circular rings. The automatic calibration method of the AVM system.
상기 d)단계와 e)단계 사이에, 상기 촬영된 캘리브레이션 패널의 영상에서 색상 또는 밝기값을 검출하여 상기 차량의 외관에 의해 가려지는 부분을 검출하는 단계를 더 포함하는 것을 특징으로 하는 AVM 시스템의 자동 캘리브레이션 방법.
The method according to claim 1,
Further comprising a step of detecting a color or brightness value in an image of the taken calibration panel and a portion blocked by the appearance of the vehicle between steps d) and e) Automatic calibration method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170062669A KR101926258B1 (en) | 2017-05-22 | 2017-05-22 | Method of automatic calibration of AVM system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170062669A KR101926258B1 (en) | 2017-05-22 | 2017-05-22 | Method of automatic calibration of AVM system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180127671A true KR20180127671A (en) | 2018-11-30 |
| KR101926258B1 KR101926258B1 (en) | 2019-02-26 |
Family
ID=64560886
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170062669A KR101926258B1 (en) | 2017-05-22 | 2017-05-22 | Method of automatic calibration of AVM system |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101926258B1 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110517325A (en) * | 2019-08-29 | 2019-11-29 | 的卢技术有限公司 | The vehicle body surrounding objects localization method and system of a kind of coordinate transform and coordinate transform |
| CN111890255A (en) * | 2020-07-29 | 2020-11-06 | 苏州华兴源创科技股份有限公司 | Crimping method and crimping system |
| CN113156369A (en) * | 2021-04-26 | 2021-07-23 | 哈尔滨工程大学 | Marine acoustic phase center calibration method |
| CN113538283A (en) * | 2021-07-22 | 2021-10-22 | 浙江赫千电子科技有限公司 | Distortion correction method for images shot by redundant fisheye cameras |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009168461A (en) * | 2008-01-10 | 2009-07-30 | Panasonic Corp | Camera calibration device |
| KR100948886B1 (en) * | 2009-06-25 | 2010-03-24 | 주식회사 이미지넥스트 | Tolerance compensating apparatus and method for automatic vehicle-mounted camera |
| KR20160097596A (en) | 2015-02-09 | 2016-08-18 | 현대모비스 주식회사 | System for compensating around view monitoring image and controlling method therof |
-
2017
- 2017-05-22 KR KR1020170062669A patent/KR101926258B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009168461A (en) * | 2008-01-10 | 2009-07-30 | Panasonic Corp | Camera calibration device |
| KR100948886B1 (en) * | 2009-06-25 | 2010-03-24 | 주식회사 이미지넥스트 | Tolerance compensating apparatus and method for automatic vehicle-mounted camera |
| KR20160097596A (en) | 2015-02-09 | 2016-08-18 | 현대모비스 주식회사 | System for compensating around view monitoring image and controlling method therof |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110517325A (en) * | 2019-08-29 | 2019-11-29 | 的卢技术有限公司 | The vehicle body surrounding objects localization method and system of a kind of coordinate transform and coordinate transform |
| CN111890255A (en) * | 2020-07-29 | 2020-11-06 | 苏州华兴源创科技股份有限公司 | Crimping method and crimping system |
| CN111890255B (en) * | 2020-07-29 | 2021-10-01 | 苏州华兴源创科技股份有限公司 | Crimping method and crimping system |
| CN113156369A (en) * | 2021-04-26 | 2021-07-23 | 哈尔滨工程大学 | Marine acoustic phase center calibration method |
| CN113156369B (en) * | 2021-04-26 | 2021-10-29 | 哈尔滨工程大学 | Marine acoustic phase center calibration method |
| CN113538283A (en) * | 2021-07-22 | 2021-10-22 | 浙江赫千电子科技有限公司 | Distortion correction method for images shot by redundant fisheye cameras |
| CN113538283B (en) * | 2021-07-22 | 2024-04-30 | 浙江赫千电子科技有限公司 | Distortion correction method for images shot by redundant fisheye cameras |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101926258B1 (en) | 2019-02-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10504242B2 (en) | Method and device for calibrating dual fisheye lens panoramic camera, and storage medium and terminal thereof | |
| US9978146B2 (en) | Data-processing system and method for calibration of a vehicle surround view system | |
| JP3983573B2 (en) | Stereo image characteristic inspection system | |
| US10089538B2 (en) | Vehicle 360° surround view system having corner placed cameras, and system and method for calibration thereof | |
| KR101926258B1 (en) | Method of automatic calibration of AVM system | |
| KR101892595B1 (en) | The surroundview system camera automatic calibration-only extrinsic parameters | |
| EP3644281A1 (en) | Calibration device, calibration chart, chart pattern generation device, and calibration method | |
| US20090299684A1 (en) | Method for calibrating cameras installed on vehicle | |
| KR101583663B1 (en) | Method for generating calibration indicator of camera for vehicle | |
| CN112907675B (en) | Calibration method, device, system, equipment and storage medium of image acquisition equipment | |
| US10771776B2 (en) | Apparatus and method for generating a camera model for an imaging system | |
| JP4681432B2 (en) | In-vehicle peripheral image display device | |
| CN112489136B (en) | Calibration method, position determination device, electronic equipment and storage medium | |
| EP2707838A1 (en) | Camera calibration using an easily produced 3d calibration pattern | |
| WO2012154874A1 (en) | Display screen for camera calibration | |
| TW201403553A (en) | Method of automatically correcting bird's eye images | |
| CN107808398B (en) | Camera parameter calculation device, calculation method, program, and recording medium | |
| KR20150101806A (en) | System and Method for Monitoring Around View using the Grid Pattern Automatic recognition | |
| KR101597163B1 (en) | Method and camera apparatus for calibration of stereo camera | |
| CN115797461A (en) | Flame space positioning system calibration and correction method based on binocular vision | |
| CN116051652A (en) | Parameter calibration method, electronic equipment and storage medium | |
| KR20170001765A (en) | Top view creating method for camera installed on vehicle and AVM system | |
| JP3666348B2 (en) | Distance recognition device | |
| KR101697229B1 (en) | Automatic calibration apparatus based on lane information for the vehicle image registration and the method thereof | |
| KR20200063898A (en) | Multi-camera calibration method for generating around view monitoring |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |