KR102477510B1 - Device and method for calibrating images captured by camera of vehicle - Google Patents

Device and method for calibrating images captured by camera of vehicle Download PDF

Info

Publication number
KR102477510B1
KR102477510B1 KR1020200183455A KR20200183455A KR102477510B1 KR 102477510 B1 KR102477510 B1 KR 102477510B1 KR 1020200183455 A KR1020200183455 A KR 1020200183455A KR 20200183455 A KR20200183455 A KR 20200183455A KR 102477510 B1 KR102477510 B1 KR 102477510B1
Authority
KR
South Korea
Prior art keywords
vehicle
calibration
image
markers
marker
Prior art date
Application number
KR1020200183455A
Other languages
Korean (ko)
Other versions
KR20220092071A (en
Inventor
김관진
박재홍
Original Assignee
주식회사 와이즈오토모티브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 와이즈오토모티브 filed Critical 주식회사 와이즈오토모티브
Priority to KR1020200183455A priority Critical patent/KR102477510B1/en
Publication of KR20220092071A publication Critical patent/KR20220092071A/en
Application granted granted Critical
Publication of KR102477510B1 publication Critical patent/KR102477510B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

차량용 배터리의 연결 구조가 개시된다. 배터리 연결 구조는 차량의 동작을 수행하도록 구성되는 구동 장치, 구동 장치와 연결되고, 구동 장치로 전기 에너지를 공급하도록 구성되는 제1배터리, 구동 장치를 제어하도록 구성되는 제어기, 제어기와 연결되고, 제어기로 전기 에너지를 공급하도록 구성되는 제2배터리 및 제2배터리에 연결된 필터 회로를 포함하고, 제1배터리 및 구동 장치는 제1전류 경로를 형성하고, 제2배터리 및 제어기는 제2전류 경로를 형성하고, 필터 회로는 제1전류 경로와 제2전류 경로 사이에 배치된다.A connection structure of a vehicle battery is disclosed. The battery connection structure includes a driving device configured to operate the vehicle, a first battery connected to the driving device and configured to supply electrical energy to the driving device, a controller configured to control the driving device, and a controller connected to the controller. A second battery configured to supply electrical energy to the second battery and a filter circuit connected to the second battery, wherein the first battery and the driving device form a first current path, and the second battery and the controller form a second current path. and the filter circuit is disposed between the first current path and the second current path.

Description

차량의 카메라들에 의해 촬영된 영상을 정합하기 위한 장치 및 방법{DEVICE AND METHOD FOR CALIBRATING IMAGES CAPTURED BY CAMERA OF VEHICLE}DEVICE AND METHOD FOR CALIBRATING IMAGES CAPTURED BY CAMERA OF VEHICLE

본 발명은 영상을 정합하기 위한 장치 및 차량에 관한 것으로, 특히, 차량의 카메라들에 의해 촬영된 영상을 정합하기 위한 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and a vehicle for registering images, and more particularly, to an apparatus and method for registering images taken by cameras of a vehicle.

차량 영상 기술의 발달에 따라, 차량에는 다수의 카메라가 탑재되고 있다. 어라운드 뷰 모니터(Around View Monitor)는 차량에 탑재된 복수의 카메라들을 이용하여, 차량 주변의 영상을 생성한다. 이 때, 실제와 비슷한 차량 주변의 영상을 생성하기 위해서는 차량에 탑재된 복수의 카메라들 각각에 의해 생성된 영상 사이의 정합(calibration)이 필요하다. 이러한 정합이 없는 경우, 각 카메라로부터 생성된 영상 사이에는 불일치(misfit)가 발생하고, 이에 따라 최종 주변 영상에 결함이 발생하는 문제가 있다.With the development of vehicle imaging technology, a plurality of cameras are mounted on vehicles. An around view monitor uses a plurality of cameras installed in a vehicle to generate images around the vehicle. At this time, in order to generate an image of the surroundings of the vehicle similar to the real one, calibration between images generated by each of a plurality of cameras mounted on the vehicle is required. If there is no such matching, misfit occurs between images generated from each camera, and thus, a defect occurs in a final surrounding image.

한편, 각 영상에 대한 정합을 위해서는 정합을 위한 마커(mark)가 배치된 사전에 마련된 영역에 차량을 주차시키고, 차량에 탑재된 카메라로 마커들을 포함하는 주변 영상을 촬영한다. 이후, 영상 내의 마커의 위치들이 사전에 정해진 위치에 오도록 영상 정합을 수행한다. 이 때, 주차된 차량의 위치에 오차가 발생하는 경우 최종 정합 영상에 오차가 발생하므로, 차량을 미리 지정된 정확히 주차하는 데 많은 시간 및 노력이 필요할 뿐만 아니라, 차량의 주차 위치가 변경되는 경우 변경된 위치에 맞추어 마커의 위치를 조절하는 것 또한 많은 시간 및 노력이 필요하다.Meanwhile, in order to match each image, the vehicle is parked in a pre-prepared area where markers for matching are arranged, and a camera mounted in the vehicle captures a surrounding image including the markers. Thereafter, image matching is performed so that positions of markers in an image come to predetermined positions. At this time, when an error occurs in the position of the parked vehicle, an error occurs in the final matched image, so it takes a lot of time and effort to accurately park the vehicle as specified in advance, and when the parking position of the vehicle is changed, the changed position It also requires a lot of time and effort to adjust the position of the marker according to the pattern.

본 발명이 해결하고자 하는 과제는, 차량의 카메라들에 의해 촬영된 영상을 정합하기 위한 장치 및 방법을 제공하는 것에 있다. An object to be solved by the present invention is to provide an apparatus and method for matching images taken by cameras of a vehicle.

또한, 본 발명이 해결하고자 하는 과제는, 차량이 영상 정합을 위한 미리 지정된 주차 영역에 정확히 주차되지 않더라도, 차량의 실제 주차 위치를 반영하여 차량의 카메라들로부터 생성된 영상을 정합할 수 있는 장치 및 방법을 제공하는 것에 있다.In addition, a problem to be solved by the present invention is an apparatus capable of matching images generated from cameras of a vehicle by reflecting the actual parking position of the vehicle even if the vehicle is not accurately parked in a pre-designated parking area for image matching, and It's about providing a way.

본 발명의 실시 예들에 따른 차량에 설치된 카메라들에 대한 캘리브레이션을 수행하기 위한 캘리브레이션 장치는, 카메라들에 의해 촬영된 마커들과 연관된 영상을 수신하도록 구성되는 영상 수신부, 차량이 기준 위치에 주차되었을 때의 마커들의 정합 위치를 나타내는 기준 마커 위치 정보를 저장하도록 구성되는 저장부 및 영상과 기준 마커 위치 정보를 이용하여 카메라들에 대한 캘리브레이션을 수행하도록 구성되는 프로세서를 포함하고, 프로세서는, 기준 위치와 차량이 주차된 현재 위치 사이의 맵핑을 정의하는 변환 함수를 계산하고, 변환 함수를 이용하여 기준 마커 위치 정보를 보정함으로써 보정된 기준 마커 위치 정보를 생성하고, 영상과 보정된 기준 마커 위치 정보를 이용하여, 카메라들에 대한 캘리브레이션을 수행하여 캘리브레이션 데이터를 생성한다.A calibration apparatus for calibrating cameras installed in a vehicle according to embodiments of the present invention includes an image receiver configured to receive images associated with markers captured by the cameras, when the vehicle is parked at a reference position. A processor configured to calibrate cameras using a storage unit configured to store fiducial marker positional information indicating matching positions of markers of and a processor configured to calibrate cameras using images and fiducial marker positional information, the processor comprising: a reference position and a vehicle A conversion function defining the mapping between the parked current positions is calculated, corrected reference marker position information is generated by correcting the reference marker position information using the transform function, and corrected reference marker position information is generated using the image and the corrected reference marker position information. , Calibration is performed on the cameras to generate calibration data.

본 발명의 실시 예들에 따른 캘리브레이션 장치는, 캘리브레이션에 사용되는 기준 마커 위치 정보를 차량의 위치를 이용하여 보정하고, 보정된 기준 마커 위치 정보를 이용하여 차량에 탑재된 카메라들에 대한 캘리브레이션을 수행할 수 있다. 이에 따라, 차량이 기준 위치(예컨대, 기준 캘리브레이션 영역)에 있지 않더라도, 캘리브레이션을 쉽게 수행할 수 있는 효과가 있다.A calibration apparatus according to embodiments of the present invention corrects reference marker position information used for calibration using a vehicle position, and performs calibration for cameras mounted in a vehicle using the corrected reference marker position information. can Accordingly, there is an effect of easily performing calibration even when the vehicle is not in a reference position (eg, a reference calibration area).

특히, 본 발명의 실시 예들에 따른 캘리브레이션 장치는 차량이 주차된 현재 위치와 기준 위치 사이의 변환을 정의하는 변환 함수를 계산하고, 계산된 변환 함수를 이용하여 기준 마커 위치 정보를 변환하고, 변환된 기준 마커 위치 정보를 이용하여 캘리브레이션을 수행할 수 있다. 이에 따라, 차량을 기준 위치에 정확히 주차하기 위해 소요되는 시간이 감소될 수 있을 뿐만 아니라, 차량의 현재 위치에 대한 기준 마커 위치 정보를 일일이 계산하기 위한 시간이 감소될 수 있다.In particular, the calibration apparatus according to embodiments of the present invention calculates a conversion function defining a conversion between the current location where the vehicle is parked and the reference location, converts reference marker location information using the calculated conversion function, and converts the converted Calibration may be performed using reference marker location information. Accordingly, not only can the time required to accurately park the vehicle at the reference position reduced, but also the time required to individually calculate reference marker positional information with respect to the current position of the vehicle can be reduced.

도 1은 차량에 탑재된 복수의 카메라를 이용한 어라운드(또는 서라운드) 뷰 에서의 부정합을 나타낸다.
도 2 내지 도 3은 본 발명의 실시 예들에 따른 캘리브레이션 방법을 나타낸다.
도 4는 기준 위치가 아닌 위치에 주차된 차량을 나타낸다.
도 5는 본 발명의 실시 예들에 따른 캘리브레이션 시스템을 나타낸다.
도 6 내지 도 10은 본 발명의 실시 예들에 따른 캘리브레이션 장치의 동작 방법을 설명하기 위한 도면이다.
도 10은 본 발명의 실시 예들에 따른 캘리브레이션 장치의 작동 방법을 나타내는 플로우 차트이다.
도 12 내지 도 14는 본 발명의 실시 예들에 따른 변환 함수를 계산하기 위한 방법이다.1 shows a mismatch in an around (or surround) view using a plurality of cameras mounted on a vehicle.
2 to 3 show a calibration method according to embodiments of the present invention.
4 shows a vehicle parked at a location other than the reference location.
5 shows a calibration system according to embodiments of the present invention.
6 to 10 are diagrams for explaining an operating method of a calibration device according to embodiments of the present invention.
10 is a flowchart illustrating a method of operating a calibration device according to embodiments of the present invention.
12 to 14 are methods for calculating a conversion function according to embodiments of the present invention.

본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다.In order to clearly describe the present invention, parts irrelevant to the description are omitted, and the same reference numerals are assigned to the same or similar components throughout the specification.

다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련 기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.Although not defined differently, all terms including technical terms and scientific terms used herein have the same meaning as commonly understood by those of ordinary skill in the art to which the present invention belongs. Terms defined in commonly used dictionaries are additionally interpreted as having meanings consistent with related technical literature and currently disclosed content, and are not interpreted in ideal or very formal meanings unless defined.

이하, 첨부한 도면을 참조하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.Hereinafter, with reference to the accompanying drawings, embodiments of the present invention will be described in detail so that those skilled in the art can easily carry out the present invention. However, the present invention may be implemented in many different forms and is not limited to the embodiments described herein.

도 1은 차량에 탑재된 복수의 카메라를 이용한 어라운드(또는 서라운드) 뷰 에서의 부정합을 나타낸다. 도 1을 참조하면, 차량(1)은 주차선 내에 주차되어 있다. 차량(1)에는 복수의 카메라들이 탑재될 수 있고, 복수의 카메라들 각각은 자신이 설치된 위치에서 자신의 시야각에 해당하는 영상들을 촬영할 수 있다. 복수의 카메라들에 의해 생성된 영상을 합성함으로써, 차량(1) 주변을 나타내는 어라운드 뷰 영상(3)이 생성될 수 있다. 1 shows a mismatch in an around (or surround) view using a plurality of cameras mounted on a vehicle. Referring to FIG. 1 , a vehicle 1 is parked within a parking line. A plurality of cameras may be mounted on the vehicle 1 , and each of the plurality of cameras may capture images corresponding to an angle of view of the vehicle 1 at a location where the camera is installed. By synthesizing images generated by a plurality of cameras, an around-view image 3 representing the surroundings of the vehicle 1 can be generated.

이 때, 차량(1)에 탑재된 카메라들 각각에 의해 생성된 영상은 서로 다른 좌표계에서 획득된 영상이므로, 영상들 각각의 좌표계들을 서로 일치시키지 않는 경우(즉, 카메라들 각각의 광축 등과 같은 카메라들의 파라미터들을 고려한 보정이 없거나 혹은 보정이 정확히 이루어지지 않은 경우), 카메라들 각각의 영상 간에 불일치(misfit) 구간(2)이 발생될 수 있다.At this time, since the images generated by each of the cameras mounted on the vehicle 1 are images obtained in different coordinate systems, when the coordinate systems of the images do not coincide with each other (ie, the optical axis of each camera, etc.) If there is no correction considering the parameters of , or if the correction is not accurately performed), a misfit section 2 may occur between images of each camera.

따라서, 카메라들 각각의 영상 간에 불일치 구간(2)이 없는(즉, 정합된(registered)) 영상을 얻기 위해서는 카메라 영상들의 좌표계들을 서로 일치시키는 보정이 필요하다. 이와 같은 보정을 캘리브레이션(calibration)이라 한다.Therefore, in order to obtain an image without the inconsistency section 2 between the images of each camera (ie, registered), it is necessary to correct the coordinate systems of the camera images to match each other. Such correction is called calibration.

도 2 내지 도 3은 본 발명의 실시 예들에 따른 캘리브레이션 방법을 나타낸다. 도 2를 참조하면, 차량(100)은 주차 구역(PZ)에 주차된다. 주차 구역(PZ)은 주차선들(PL)로 구획될 수 있다. 2 to 3 show a calibration method according to embodiments of the present invention. Referring to FIG. 2 , the vehicle 100 is parked in a parking area PZ. The parking area PZ may be divided into parking lines PL.

차량(100)은 모터와 같은 구동 장치에 의해 발생된 구동력에 따라 노면 상을 주행하는 장치일 수 있다. 실시 예들에 따라, 차량(100)은 자동차, 오토바이, 버스, 트레일러, 굴삭기, 휠로더, 포크레인, 크레인 또는 트럭 등일 수 있으나, 본 발명의 실시 예들이 이에 한정되는 것은 아니다.The vehicle 100 may be a device that travels on a road surface according to a driving force generated by a driving device such as a motor. According to embodiments, the vehicle 100 may be a car, motorcycle, bus, trailer, excavator, wheel loader, excavator, crane, or truck, but embodiments of the present invention are not limited thereto.

카메라(110)는 차량(100) 주변을 촬영하고, 영상을 생성할 수 있다. 실시 예들에 따라, 카메라(110)는 차량(100)에 탑재될 수 있다. 예컨대, 카메라(110)는 복수일 수 있고, 복수의 카메라들(110)은 차량(100)의 전방, 후방, 좌측 및 우측 등에 배치되어, 차량(100) 주변에 대한 영상을 생성할 수 있다.The camera 110 may photograph the surroundings of the vehicle 100 and generate an image. According to example embodiments, the camera 110 may be mounted on the vehicle 100 . For example, there may be a plurality of cameras 110, and the plurality of cameras 110 may be disposed in the front, rear, left, and right sides of the vehicle 100 to generate an image of the surroundings of the vehicle 100.

캘리브레이션을 위해, 차량(100)은 주차 구역(PZ) 내에 주차된다. 이 때, 차량(100)은 주차 구역(PZ) 내의 기준 캘리브레이션 영역에 주차될 수 있다. 기준 캘리브레이션 영역에 주차되었을 때의 차량(100)의 위치(및 자세; position)를 기준 위치라고 할 수 있다. 이 때, 차량(100)의 위치는 차량(100)의 물리적인 위치(location) 뿐만 아니라, 차량의 방향 또는 자세를 포함하는 개념일 수 있다.For calibration, the vehicle 100 is parked in a parking area PZ. At this time, the vehicle 100 may be parked in a reference calibration area within the parking area PZ. The position (and posture) of the vehicle 100 when parked in the reference calibration area may be referred to as the reference position. In this case, the location of the vehicle 100 may be a concept including not only the physical location of the vehicle 100 but also the direction or posture of the vehicle.

주차 구역(PZ) 주변에는 마커들(MK)이 배치될 수 있다. 캘리브레이션은 마커들(MK)을 이용하여 수행될 수 있다. 마커들(MK)은 어라운드 뷰 영상의 정합을 위해 지면에 설치된 물체 또는 지면에 표시된 도형일 수 있다. 어라운드 뷰 영상의 경계면에 위치한 마커들의 형태 또는 위치를 통해, 어라운드 뷰 영상의 정합을 판단할 수 있다.Markers MK may be disposed around the parking area PZ. Calibration may be performed using markers MK. The markers MK may be objects installed on the ground or figures displayed on the ground for matching around view images. Matching of the around-view image may be determined through shapes or positions of markers located on the boundary of the around-view image.

구체적으로, 차량(100)의 카메라들(110)을 이용하여 마커들(MK) 주변을 촬영하면, 캡쳐된 마커들(MK)이 표시된 영상이 생성된다. 이 때, 카메라들(110)에 의해 생성된 영상 내에서의 캡쳐된 마커들(MK)의 영상 내 위치(즉, 픽셀 위치)를 조절함으로써(예컨대, 소프트웨어적으로 또는 하드웨어적으로), 카메라들(110)에 대한 캘리브레이션을 수행할 수 있다. Specifically, when the surroundings of the markers MK are photographed using the cameras 110 of the vehicle 100, an image displaying the captured markers MK is generated. At this time, by adjusting (eg, software or hardware) positions (eg, pixel positions) of the markers MK captured in the image generated by the cameras 110, the cameras 110 Calibration can be performed for (110).

실시 예들에 따라, 차량(100)이 기준 위치에 있을 때 마커들(MK)의 실제 위치에 대응하는 기준 마커 위치 정보가 저장될 수 있다. 이 때, 기준 마커 위치 정보는 기준 위치에 위치한 차량(100)의 기준 좌표계(RC)를 기준으로 한 마커들(MK)의 위치일 수 있다. 예컨대, 기준 마커 위치 정보는 기준 좌표계(RC)를 기준으로 한 마커들(MK)의 좌표일 수 있다. 한편, 기준 좌표계(RC)는 기준 위치에서의 차량(100)의 중심점(O)을 중심으로 하고, 차량의 가로 및 세로와 평행한 직교 좌표계일 수 있으나, 이에 한정되는 것은 아니다.According to embodiments, when the vehicle 100 is in the reference position, reference marker position information corresponding to the actual positions of the markers MK may be stored. In this case, the reference marker position information may be positions of the markers MK based on the reference coordinate system RC of the vehicle 100 located at the reference position. For example, the reference marker location information may be coordinates of the markers MK based on the reference coordinate system RC. Meanwhile, the reference coordinate system RC may be a Cartesian coordinate system centered on the center point O of the vehicle 100 at the reference position and parallel to the horizontal and vertical directions of the vehicle, but is not limited thereto.

이 때, 카메라들(110)에 의해 생성된 영상 내의 캡쳐된 마커들(MK)의 위치를 마커들(MK)의 실제 위치에 맵핑(또는 매칭)시킴으로써, 카메라들(110)에 대한 캘리브레이션을 수행할 수 있다. 상기 기준 마커 위치 정보는 사전에 계산될 수 있다. 예컨대, 상기 맵핑은 특정 범위에서 정의되는 함수의 형태일 수 있으나, 유한한 값들을 갖는 룩업 테이블(look-up table (LUT))의 형태일 수도 있다.At this time, the cameras 110 are calibrated by mapping (or matching) the positions of the markers MK captured in the image generated by the cameras 110 to the actual positions of the markers MK. can do. The fiducial marker location information may be calculated in advance. For example, the mapping may be in the form of a function defined in a specific range, but may also be in the form of a look-up table (LUT) having finite values.

한편, 실시 예들에 따라, 카메라(110)에 대한 캘리브레이션은 영상 내의 캡쳐된 마커들(CMK)의 형상을, 마커들(MK)의 실제 형상(즉, 기준 마커 형상)에 맵핑시킴으로써 이루어질 수도 있다. 다만, 설명의 편의상, 본 명세서에서는 영상 내의 캡쳐된 마커들(MK)의 위치와 마커들(MK)의 실제 위치를 맵핑시키는 과정을 통해 캘리브레이션이 이루어짐을 가정하고 설명한다.Meanwhile, according to embodiments, calibration of the camera 110 may be performed by mapping the shapes of the markers CMK captured in the image to the actual shapes (ie, reference marker shapes) of the markers MK. However, for convenience of description, in this specification, it is assumed and described that calibration is performed through a process of mapping the positions of the markers MK captured in an image and the actual positions of the markers MK.

도 3을 참조하면, 카메라(110)에 의해 촬영된 영상이 나타나 있다. 카메라(110)에 의해 촬영된 영상에는 캡쳐된 마커들(CMK)이 표시될 수 있다.Referring to FIG. 3 , an image captured by the camera 110 is shown. The captured markers CMK may be displayed on the image captured by the camera 110 .

한편, 캡쳐된 마커들(CMK)과 함께 표시된 마커들(MK)은 마커들(MK)의 실제 위치를 나타내는 것으로서, 실제 영상에 표시되지 않을 수도 있다. 다만, 설명의 편의상 마커들(MK)을 캡쳐된 마커들(CMK)과 함께 도시하였다.Meanwhile, the markers MK displayed together with the captured markers CMK indicate actual positions of the markers MK, and may not be displayed on the actual image. However, for convenience of description, the markers MK are shown together with the captured markers CMK.

이 때, 캡쳐된 마커들(CMK)의 위치를 마커들(MK)의 실제 위치에 맵핑시킴으로써 카메라(110)의 캘리브레이션이 수행될 수 있다. 예컨대, 제1캡쳐된 마커(CMK1)의 영상 내 위치를 제1마커(MK)의 실제 위치에 맵핑시키고, 제2캡쳐된 마커(CMK2)의 영상 내 위치를 제2마커(MK2)의 실제 위치에 맵핑시킴으로써 카메라(110)에 대한 캘리브레이션이 수행될 수 있다. 이러한 작업을 차량(100)의 카메라들(110)에 대해 수행함으로써 정합된 어라운드 뷰 영상을 획득할 수 있다.At this time, calibration of the camera 110 may be performed by mapping the positions of the captured markers CMK to actual positions of the markers MK. For example, the position of the first captured marker CMK1 in the image is mapped to the actual position of the first marker MK, and the position of the second captured marker CMK2 in the image is mapped to the actual position of the second marker MK2. Calibration of the camera 110 may be performed by mapping to . By performing this operation on the cameras 110 of the vehicle 100, a matched around view image may be obtained.

상술한 바와 같이, 차량(100)의 카메라들(110)에 대한 캘리브레이션에는 마커들(MK)의 실제 위치에 대한 정보가 요구된다. 이 때, 기준 마커 위치 정보는 기준 위치의 차량(100)을 중심으로 한 마커들(MK)의 위치 정보를 나타내므로, 차량(100)의 주차 위치가 달라지면 위치 정보에 대한 보정이 필요하다.As described above, information on actual positions of the markers MK is required for calibration of the cameras 110 of the vehicle 100 . At this time, since the reference marker position information represents position information of the markers MK centered on the vehicle 100 at the reference position, correction of the position information is required when the parking position of the vehicle 100 changes.

따라서, 복수의 차량들에 대한 캘리브레이션을 수행하는 경우, 동일한 기준 마커 위치 정보를 사용하여 캘리브레이션을 수행하기 위해서는 복수의 차량들의 주차 위치가 고정되어야 한다. 만약, 일부 차량의 주차 위치가 달라지는 경우, 주차 위치가 달라진 차량들에 대해서는 다른 기준 마커 위치 정보를 사용하여 캘리브레이션을 수행해야 한다. 이 때문에, 일반적으로는 차량을 주차 구역(PZ) 내의 기준 캘리브레이션 영역(예컨대, 주차 구역(PZ)의 중앙)에 위치하고 캘리브레이션을 수행한다.Accordingly, when performing calibration for a plurality of vehicles, the parking positions of the plurality of vehicles must be fixed in order to perform calibration using the same reference marker location information. If the parking positions of some vehicles are changed, calibration should be performed using other fiducial marker position information for the vehicles whose parking positions are changed. For this reason, in general, the vehicle is positioned in a reference calibration area (eg, the center of the parking area PZ) in the parking area PZ and calibration is performed.

도 4는 기준 위치가 아닌 위치에 주차된 차량을 나타낸다. 도 4를 참조하면, 차량(100)은 기준 위치가 아닌 위치에 주차될 수 있다. 예컨대, 차량(100)은 주차 구역(PZ) 내의 기준 캘리브레이션 영역 밖에 주차될 수 있다. 이 때, 차량(100)의 위치를 현재 위치라 지칭한다.4 shows a vehicle parked at a location other than the reference location. Referring to FIG. 4 , the vehicle 100 may be parked at a location other than the reference location. For example, the vehicle 100 may be parked outside the reference calibration area within the parking area PZ. At this time, the location of the vehicle 100 is referred to as the current location.

이 경우, 차량(100)이 기준 캘리브레이션 영역에 주차되지 않으므로, 차량(100)의 위치가 기준 위치와 달라지게 되고, 그 결과, 차량(100)의 좌표계가 변경될 수 있다. 예컨대, 차량(100)의 좌표계가 기준 좌표계(RC)로부터 현재 좌표계(CC)로 바뀔 수 있다. In this case, since the vehicle 100 is not parked in the reference calibration area, the position of the vehicle 100 is different from the reference position, and as a result, the coordinate system of the vehicle 100 may be changed. For example, the coordinate system of the vehicle 100 may change from the reference coordinate system RC to the current coordinate system CC.

이에 따라, 기준 위치의 차량(100)에서의 마커들(MK)의 위치를 나타내는 기준 마커 위치 정보에 대한 보정이 필요하다. 예컨대, 현재 위치의 차량(100)에서의 마커들(MK)의 실제 위치를 다시 측정(또는 계산)해야 하고, 이는 많은 시간이 소요되는 문제가 있다. 또한, 차량(100)의 운행에 따른 오차가 발생할 수 있어, 차량(100)을 기준 캘리브레이션 위치에 정확히 주차하는 것 또한 현실적으로 어려움이 있다. 특히, 차량(100)이 대형 차량인 경우, 이러한 문제점은 더 심화될 수 있다.Accordingly, it is necessary to correct positional information of reference markers indicating positions of the markers MK in the vehicle 100 at the reference position. For example, the actual positions of the markers MK in the vehicle 100 at the current position must be measured (or calculated) again, which takes a lot of time. In addition, since an error may occur according to the operation of the vehicle 100, it is practically difficult to accurately park the vehicle 100 at the reference calibration position. In particular, when the vehicle 100 is a large vehicle, this problem may be further intensified.

본 발명의 실시 예들에 따르면, 차량(100)의 위치를 이용하여 기준 마커 위치 정보를 보정하고, 보정된 기준 마커 위치 정보를 이용하여 카메라(110)에 대한 캘리브레이션을 수행할 수 있다. 이에 따라, 차량(100)의 위치가 기준 위치와 일치하지 않더라도, 캘리브레이션을 쉽게 수행할 수 있는 효과가 있다.According to example embodiments of the present invention, reference marker position information may be corrected using the position of the vehicle 100, and calibration of the camera 110 may be performed using the corrected reference marker position information. Accordingly, even if the position of the vehicle 100 does not match the reference position, there is an effect of easily performing calibration.

도 5는 본 발명의 실시 예들에 따른 캘리브레이션 시스템을 나타낸다. 도 5를 참조하면, 캘리브레이션 시스템(10)은 차량(100) 및 캘리브레이션 장치(200)를 포함하고, 캘리브레이션 장치(200)는 차량(100)에 대한 캘리브레이션을 수행할 수 있다. 즉, 캘리브레이션 장치(200)는 차량(100)의 카메라들(110)에 의해 촬영된 영상을 정합하기 위한 장치일 수 있다.5 shows a calibration system according to embodiments of the present invention. Referring to FIG. 5 , the calibration system 10 includes a vehicle 100 and a calibration device 200 , and the calibration device 200 may perform calibration on the vehicle 100 . That is, the calibration device 200 may be a device for matching images taken by the cameras 110 of the vehicle 100 .

차량(100)은 모터와 같은 구동 장치에 의해 발생된 구동력에 따라 노면 상을 주행하는 장치일 수 있다. 실시 예들에 따라, 차량(100)은 자동차, 오토바이, 버스, 트레일러, 굴삭기, 휠로더, 포크레인, 크레인 또는 트럭 등일 수 있으나, 본 발명의 실시 예들이 이에 한정되는 것은 아니다.The vehicle 100 may be a device that travels on a road surface according to a driving force generated by a driving device such as a motor. According to embodiments, the vehicle 100 may be a car, motorcycle, bus, trailer, excavator, wheel loader, excavator, crane, or truck, but embodiments of the present invention are not limited thereto.

차량(100)은 운전자의 제어 또는 차량(100)의 제어에 따라 주행할 수 있다. 또한, 차량(100)은 운전자의 제어 또는 차량(100)의 제어에 따라 조향 동작, 가속 동작, 감속 동작, 변속 동작 및 시동 온/오프 동작을 수행할 수 있다.The vehicle 100 may drive according to the driver's control or the vehicle 100's control. In addition, the vehicle 100 may perform a steering operation, an acceleration operation, a deceleration operation, a shift operation, and a starting on/off operation according to the driver's control or the control of the vehicle 100 .

차량(100)은 카메라(110), 컨트롤러(120), 구동 장치(130), 메모리(140) 및 출력 장치(150)를 포함할 수 있다.The vehicle 100 may include a camera 110 , a controller 120 , a driving device 130 , a memory 140 and an output device 150 .

카메라(110)는 차량(100) 주변을 촬영하고, 영상을 생성할 수 있다. 실시 예들에 따라, 카메라(110)는 차량(100)에 탑재될 수 있다. 예컨대, 카메라(110)는 복수일 수 있고, 복수의 카메라들(110)은 차량(100)의 전방, 후방, 좌측 및 우측 등에 배치되어, 차량(100) 주변에 대한 영상을 생성할 수 있다.The camera 110 may photograph the surroundings of the vehicle 100 and generate an image. According to example embodiments, the camera 110 may be mounted on the vehicle 100 . For example, there may be a plurality of cameras 110, and the plurality of cameras 110 may be disposed in the front, rear, left, and right sides of the vehicle 100 to generate an image of the surroundings of the vehicle 100.

컨트롤러(120)는 차량(100)의 전반적인 작동을 제어할 수 있다. 실시 예들에 따라, 컨트롤러(120)는 차량(100)을 제어하기 위한 일련의 연산들 또는 판단들을 수행할 수 있는 장치를 의미할 수 있다. 예컨대, 컨트롤러(120)는 차량(100)을 제어하기 위한 프로그램이 실행되는 프로세서일 수 있다. 예컨대, 컨트롤러(120)는 ECU(electronic controller unit), MCU(micro controller unit) 또는 DSP(digital signal processor) 일 수 있으나, 본 발명의 실시 예들이 이에 한정되는 것은 아니다.The controller 120 may control overall operation of the vehicle 100 . According to embodiments, the controller 120 may refer to a device capable of performing a series of calculations or decisions for controlling the vehicle 100 . For example, the controller 120 may be a processor on which a program for controlling the vehicle 100 is executed. For example, the controller 120 may be an electronic controller unit (ECU), a micro controller unit (MCU), or a digital signal processor (DSP), but embodiments of the present invention are not limited thereto.

출력 장치(130)는 데이터를 시각적으로 출력할 수 있는 장치일 수 있다. 실시 예들에 따라, 출력 장치(130)는 영상을 표시하도록 구성되는 디스플레이 장치일 수 있다. 예컨대, 출력 장치(130)는 LCD(liquid crystal display), LED(light emitting diode) 디스플레이, OLED(organic LED) 디스플레이 또는 QLED(quantum dot LED) 디스플레이일 수 있으나, 이에 한정되는 것은 아니다.The output device 130 may be a device capable of visually outputting data. According to embodiments, the output device 130 may be a display device configured to display an image. For example, the output device 130 may be a liquid crystal display (LCD), light emitting diode (LED) display, organic LED (OLED) display, or quantum dot LED (QLED) display, but is not limited thereto.

메모리(140)는 차량(100)의 작동에 필요한 데이터를 저장하도록 구성될 수 있다. 실시 예들에 따라, 메모리(140)는 카메라(110)에 의해 생성된 영상을 이용하여 어라운드 뷰 영상을 생성하기 위한 캘리브레이션 데이터를 저장할 수 있다.The memory 140 may be configured to store data required for operation of the vehicle 100 . According to example embodiments, the memory 140 may store calibration data for generating an around view image using an image generated by the camera 110 .

구동 장치(150)는 차량(100)의 동작을 수행하는 장치일 수 있다. 실시 예들에 따라, 구동 장치(150)는 컨트롤러(120)의 제어에 따라, 차량(100)의 이동, 정지, 이동 재시작, 조향, 가속, 감속, 주차, 점멸, 경보 등을 수행할 수 있다.The driving device 150 may be a device that performs an operation of the vehicle 100 . According to embodiments, the driving device 150 may perform movement, stop, movement restart, steering, acceleration, deceleration, parking, flashing, alarming, etc. of the vehicle 100 under the control of the controller 120 .

예컨대, 구동 장치(150)는 모터, 조향 장치, 변속 장치 또는 브레이크 등을 포함할 수 있으나, 본 발명의 실시 예들이 이에 한정되는 것은 아니다.For example, the driving device 150 may include a motor, a steering device, a transmission device, or a brake, but embodiments of the present invention are not limited thereto.

본 발명의 실시 예들에 따르면, 차량(100)은 카메라(110)로부터 생성된 차량(100)의 전방 영상, 후방 영상, 좌측 영상 및 우측 영상을 이용하여, 차량(100)의 어라운드 뷰 영상을 생성하고, 어라운드 뷰 영상을 생성할 수 있다. 이 때, 차량(100)은 저장된 캘리브레이션 데이터를 이용하여, 어라운드 뷰 영상을 생성할 수 있다.According to embodiments of the present invention, the vehicle 100 generates an around view image of the vehicle 100 by using a front image, a rear image, a left image, and a right image of the vehicle 100 generated by the camera 110. and generate an around view image. At this time, the vehicle 100 may generate an around view image using the stored calibration data.

실시 예들에 따라, 컨트롤러(120)는 카메라(110)로부터 출력된 영상을 처리하고, 처리된 영상을 출력 장치(130)로 전송할 수 있다. 예컨대, 컨트롤러(120)는 복수의 카메라들(110)로부터 출력된 차량(100)의 전방 영상, 후방 영상, 좌측 영상 및 우측 영상을 이용하여, 차량(100)의 어라운드 뷰 영상을 생성하고, 생성된 어라운드 뷰 영상을 출력 장치(130)로 전송할 수 있다. 이에 따라, 차량(100)은 차량(100) 주변의 어라운드 뷰 영상을 표시할 수 있다.According to embodiments, the controller 120 may process an image output from the camera 110 and transmit the processed image to the output device 130 . For example, the controller 120 generates and generates an around view image of the vehicle 100 using front, rear, left, and right images of the vehicle 100 output from the plurality of cameras 110 . The rendered around view image may be transmitted to the output device 130 . Accordingly, the vehicle 100 may display an around view image around the vehicle 100 .

캘리브레이션 장치(200)는 차량(100)의 어라운드 뷰 영상을 생성하기 위한 캘리브레이션 데이터를 생성할 수 있다. 본 발명의 실시 예들에 따르면, 캘리브레이션 장치(200)는 차량(100)이 기준 캘리브레이션 영역에 정확히 주차되지 않더라도, 차량(100)의 위치를 이용하여 기준 마커 위치 정보를 보정하고, 보정된 기준 마커 위치 정보를 이용하여 카메라(110)에 대한 캘리브레이션을 수행할 수 있다. 이에 따라, 차량(100)의 위치가 기준 위치와 일치하지 않더라도, 캘리브레이션을 쉽게 수행할 수 있는 효과가 있다.The calibration device 200 may generate calibration data for generating an around view image of the vehicle 100 . According to embodiments of the present invention, the calibration device 200 corrects reference marker position information using the position of the vehicle 100 even if the vehicle 100 is not accurately parked in the reference calibration area, and returns the corrected reference marker position Calibration of the camera 110 may be performed using the information. Accordingly, even if the position of the vehicle 100 does not match the reference position, there is an effect of easily performing calibration.

캘리브레이션 장치(200)는 통신부(210), 프로세서(220) 및 저장부(230)를 포함할 수 있다.The calibration device 200 may include a communication unit 210 , a processor 220 and a storage unit 230 .

통신부(210)는 차량(100)과 데이터를 주고받을 수 있다. 예컨대, 통신부(210)는 카메라(110)에 의해 생성된 영상을 수신할 수 있다. 또한, 통신부(210)는 차량(100)의 자세 및 위치에 대한 정보를 수신할 수 있다.The communication unit 210 may exchange data with the vehicle 100 . For example, the communication unit 210 may receive an image generated by the camera 110 . Also, the communication unit 210 may receive information about the posture and position of the vehicle 100 .

실시 예들에 따라, 통신부(210)는 무선 통신 프로토콜 또는 유선 통신 프로토콜을 이용하여 데이터를 전송하거나 수신할 수 있다. 예컨대, 상기 무선 통신 프로토콜은 무선랜(Wireless LAN (WLAN)), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband (Wibro)), 와이맥스(World Interoperability for Microwave Access (Wimax)), GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution (LTE)), LTE-A(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service (WMBS)), 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra-Wideband), 지그비(ZigBee), 인접 자장 통신(Near Field Communication (NFC)), 초음파 통신(Ultra Sound Communication (USC)), 가시광 통신 (Visible Light Communication (VLC)), 와이 파이(Wi-Fi), 와이 파이 다이렉트(Wi-Fi Direct) 등을 포함할 수 있다. 또한, 유선 통신 프로토콜은 유선 LAN(Local Area Network), 유선 WAN(Wide Area Network), 전력선 통신(Power Line Communication (PLC)), USB 통신, 이더넷(Ethernet), 시리얼 통신(serial communication), 광/동축 케이블 통신 등을 포함할 수 있으며, 이제 제한되는 것이 아닌, 다른 장치와의 통신 환경을 제공할 수 있는 프로토콜은 모두 포함될 수 있다.According to embodiments, the communication unit 210 may transmit or receive data using a wireless communication protocol or a wired communication protocol. For example, the wireless communication protocol is Wireless LAN (WLAN), Digital Living Network Alliance (DLNA), Wireless Broadband (Wibro), World Interoperability for Microwave Access (Wimax), Global System (GSM) for mobile communication), CDMA (Code Division Multi Access), CDMA2000 (Code Division Multi Access 2000), EV-DO (Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA (Wideband CDMA), HSDPA (High Speed Downlink) Packet Access), High Speed Uplink Packet Access (HSUPA), IEEE 802.16, Long Term Evolution (LTE), Long Term Evolution-Advanced (LTE-A), Wireless Mobile Broadband Service ( WMBS)), Bluetooth, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra-Wideband (UWB), ZigBee, Near Field Communication (NFC), It may include Ultra Sound Communication (USC), Visible Light Communication (VLC), Wi-Fi, Wi-Fi Direct, and the like. In addition, wired communication protocols include wired LAN (Local Area Network), wired WAN (Wide Area Network), power line communication (PLC), USB communication, Ethernet, serial communication, optical/ It may include coaxial cable communication and the like, and any protocol capable of providing a communication environment with other devices may be included, which is not now limited.

프로세서(220)는 캘리브레이션 장치(200)의 전반적인 동작을 제어할 수 있다. 실시 예들에 따라, 프로세서(220)는 통신부(210)에 의해 수신된 영상을 이용하여 차량(100)의 카메라(110)에 대한 캘리브레이션을 수행할 수 있다. 이 때, 프로세서(220)는 수신된 영상에 대한 왜곡 보정을 먼저 수행하고, 왜곡 보정된 영상을 기초로 캘리브레이션을 수행할 수 있다.The processor 220 may control overall operations of the calibration device 200 . According to example embodiments, the processor 220 may calibrate the camera 110 of the vehicle 100 using the image received by the communication unit 210 . At this time, the processor 220 may first perform distortion correction on the received image and perform calibration based on the distortion-corrected image.

또한, 프로세서(220)는 차량(100)의 위치를 이용하여 기준 마커 위치 정보를 보정하고, 보정된 기준 마커 위치 정보를 이용하여 카메라(110)에 대한 캘리브레이션을 수행하고, 캘리브레이션을 위한 캘리브레이션 데이터를 생성할 수 있다. In addition, the processor 220 corrects fiducial marker location information using the location of the vehicle 100, performs calibration on the camera 110 using the calibrated fiducial marker location information, and provides calibration data for calibration. can create

저장부(230)는 캘리브레이션 장치(200)의 작동에 필요한 데이터를 저장하도록 구성될 수 있다. 실시 예들에 따라, 저장부(230)는 마커들(MK)에 대한 기준 마커 위치 정보, 차량(100)의 기준 자세 및 기준 위치에 대한 정보를 저장하도록 구성될 수 있다. 또한, 저장부(230)는 카메라(110)로부터 생성된 영상을 저장할 수 있다.The storage unit 230 may be configured to store data required for operation of the calibration device 200 . According to example embodiments, the storage unit 230 may be configured to store reference marker location information for the markers MK, information on the reference posture and reference position of the vehicle 100 . Also, the storage unit 230 may store an image generated by the camera 110 .

저장부(230)는 캘리브레이션 장치(200)에 의한 캘리브레이션 동작에 필요한 프로그램(예컨대, 캘리브레이션 프로그램)을 저장할 수 있다. 저장부(230)에 저장된 캘리브레이션 프로그램이 프로세서(220)에 의해 실행됨에 따라, 캘리브레이션 장치(200)는 캘리브레이션 동작을 수행할 수 있다.The storage unit 230 may store a program (eg, a calibration program) required for a calibration operation by the calibration device 200 . As the calibration program stored in the storage unit 230 is executed by the processor 220, the calibration device 200 may perform a calibration operation.

도 6 내지 도 10은 본 발명의 실시 예들에 따른 캘리브레이션 장치의 동작 방법을 설명하기 위한 도면이다.6 to 10 are diagrams for explaining an operating method of a calibration device according to embodiments of the present invention.

도 6을 참조하면, 주차 구역(PZ) 내의 기준 캘리브레이션 영역 밖에 주차된 차량(100), 차량(100) 주변의 마커들(MK) 및 차량(100)에 의해 캡쳐된 마커들(CMK)이 나타나 있다.설명의 편의상 주차 구역(PZ)은 표시하지 않았으며, 마커들(MK) 중 일부만 도시하였다. Referring to FIG. 6, a vehicle 100 parked outside the reference calibration area in the parking area PZ, markers MK around the vehicle 100, and markers CMK captured by the vehicle 100 are displayed. For convenience of description, the parking area PZ is not displayed, and only some of the markers MK are shown.

차량(100)의 카메라(110)에 대한 캘리브레이션을 위해서는, 캡쳐된 마커들(CMK)의 위치를 마커들(MK)의 실제 위치에 맵핑시켜야 한다. 한편, 차량(100)의 좌표계가 현재 좌표계(CC)로 바뀌게 되므로, 현재 좌표계(CC)에 대한 마커들(MK)의 실제 위치가 필요하며, 이에 따라 기준 좌표계(RC)에서 도출된 기준 마커 위치 정보에 대한 보정이 필요하다.For calibration of the camera 110 of the vehicle 100, the positions of the captured markers CMK must be mapped to the actual positions of the markers MK. Meanwhile, since the coordinate system of the vehicle 100 is changed to the current coordinate system CC, the actual positions of the markers MK with respect to the current coordinate system CC are required, and accordingly, the positions of the reference markers derived from the reference coordinate system RC. Information needs to be corrected.

예컨대, 도 7을 참조하면, 마커(MK)의 실제 위치가 동일하더라도, 좌표계에 따라 위치 정보가 바뀔 수 있다. 도 7에 도시된 바와 같이, 기준 좌표계(RC)에서의 마커(MK)의 좌표는 (x1, y1)인 반면, 현재 좌표계(CC)에서의 마커(MK)의 좌표는 (x2, y2)일 수 있다. 즉, (x1, y1)으로부터 (x2, y2)의 보정이 필요하다.For example, referring to FIG. 7 , even if the actual location of the marker MK is the same, the location information may change according to the coordinate system. As shown in FIG. 7, the coordinates of the marker MK in the reference coordinate system RC are (x 1 , y 1 ), whereas the coordinates of the marker MK in the current coordinate system CC are (x 2 , y 2 ). That is, it is necessary to correct (x 2 , y 2 ) from (x 1 , y 1 ).

도 8을 참조하면, 캘리브레이션 장치(200)(또는 프로세서(220))는 차량(100)의 기준 위치에서의 기준 좌표계를, 차량(100)이 주차된 현재 위치에서의 현재 좌표계로 변환시키기 위한 변환 함수(T)를 결정할 수 있다. 실시 예들에 따라, 변환 함수(T)는 선형 변환, 회전 변환 및 아핀 변환 중 적어도 하나의 조합으로 구성될 수 있으나, 이에 한정되는 것은 아니다. 예컨대, 변환 함수(T)는 행렬(matrix) 형태일 수 있으나, 본 발명의 실시 예들이 이에 한정되는 것은 아니다.Referring to FIG. 8 , the calibration device 200 (or the processor 220) converts the reference coordinate system at the reference position of the vehicle 100 into the current coordinate system at the current position where the vehicle 100 is parked. A function (T) can be determined. According to embodiments, the transformation function T may include a combination of at least one of a linear transformation, a rotational transformation, and an affine transformation, but is not limited thereto. For example, the transform function T may be in the form of a matrix, but embodiments of the present invention are not limited thereto.

실시 예들에 따라, 캘리브레이션 장치(200)는 차량(100)의 현재 위치를 판단하고, 판단된 현재 위치와 기준 위치를 비교함으로써 변환 함수(T)를 계산할 수 있다. 예컨대, 캘리브레이션 장치(200)는 현재 위치의 차량(100)과 주차 구역(PZ) 사이의 거리에 기초하여, 차량(100)의 현재 위치를 판단하고, 현재 위치와 기준 위치를 이용하여 변환 함수(T)를 계산할 수 있다.According to embodiments, the calibration device 200 may determine the current position of the vehicle 100 and calculate the conversion function T by comparing the determined current position with the reference position. For example, the calibration device 200 determines the current location of the vehicle 100 based on the distance between the vehicle 100 at the current location and the parking area PZ, and uses the current location and the reference location to generate a conversion function ( T) can be calculated.

또한, 실시 예들에 따라, 캘리브레이션 장치(200)는 현재 위치의 차량(100)에서 촬영된 영상의 마커들의 위치와, 기준 위치의 차량(100)에서 촬영된 영상의 마커들의 위치를 비교하여 변환 함수(T)를 계산할 수 있다. 또한, 실시 예들에 따라, 캘리브레이션 장치(200)는 현재 위치의 차량(100)과 주차 구역(PZ) 사이의 거리에 기초하여 변환 함수(T)를 계산할 수 있다.In addition, according to embodiments, the calibration device 200 compares the positions of markers of the image captured from the vehicle 100 at the current location with the positions of markers of the image captured from the vehicle 100 at the reference location to obtain a conversion function (T) can be calculated. Also, according to embodiments, the calibration apparatus 200 may calculate the conversion function T based on the distance between the vehicle 100 at the current location and the parking area PZ.

그러나, 본 발명의 실시 예들이 변환 함수(T)를 도출하는 구체적인 방식에 의해 한정되는 것은 아니다.However, embodiments of the present invention are not limited by a specific method of deriving the transform function (T).

도 9를 참조하면, 캘리브레이션 장치(200)는 변환 함수(T)를 이용하여, 기준 마커 위치를 보정할 수 있다. 실시 예들에 따라, 캘리브레이션 장치(200)는 기준 마커 위치에 대해 변환 함수(T)를 적용함으로써, 기준 마커 위치를 보정하고, 보정된 기준 마커 위치를 계산할 수 있다. 예컨대, 캘리브레이션 장치(200)는 기준 마커 위치를 변환 함수(T)에 의해 정의되는 변환에 따라 변환함으로써, 보정된 기준 마커 위치를 계산할 수 있다.Referring to FIG. 9 , the calibration apparatus 200 may calibrate the position of the fiducial marker using the conversion function T. According to embodiments, the calibration apparatus 200 may correct the position of the fiducial marker and calculate the corrected position of the fiducial marker by applying the conversion function T to the position of the fiducial marker. For example, the calibration apparatus 200 may calculate the corrected fiducial marker position by transforming the fiducial marker position according to a transform defined by the conversion function T.

변환 함수(T)는 기준 위치와 현재 위치 사이의 맵핑을 정의하는 함수일 수 있다. 실시 예들에 따라, 변환 함수(T)는 차량(100)의 위치를 기준 위치로부터 현재 위치로 변환하기 위한 함수에 대응한다. 원래의 기준 마커 위치는 차량(100)이 기준 위치에 있을 때, 카메라들(110)이 정합된 경우의 마커들(MK)의 영상 내 위치를 나타낸다. 따라서, 변환 함수(T)를 이용하여 원래의 기준 마커 위치를 변환하는 경우, 변환 함수(T)에 따라 변환된 기준 마커 위치는, 결과적으로, 차량(100)이 현재 위치에 있을 때, 카메라들(110)이 정합된 경우의 마커들(MK)의 영상 내 위치에 대응하게 된다. 즉, 변환된 기준 마커 위치는 차량(100)이 현재 위치에 있는 경우, 캘리브레이션에 사용될 수 있는 기준 마커 위치를 나타낼 수 있다.The conversion function T may be a function defining a mapping between a reference position and a current position. According to embodiments, the conversion function T corresponds to a function for converting the position of the vehicle 100 from a reference position to a current position. The position of the original reference marker indicates the position of the markers MK in the image when the cameras 110 are matched when the vehicle 100 is at the reference position. Therefore, when the original fiducial marker position is converted using the conversion function T, the fiducial marker position converted according to the conversion function T is, consequently, when the vehicle 100 is at the current position, the cameras (110) corresponds to the position in the image of the markers MK when they are matched. That is, the converted position of the reference marker may represent a position of a reference marker that can be used for calibration when the vehicle 100 is in the current position.

도 10을 참조하면, 캘리브레이션 장치(200)는 보정된 기준 마커 위치에 기초하여, 카메라(110)에 대한 캘리브레이션을 수행할 수 있다. 실시 예들에 따라, 캘리브레이션 장치(200)는 영상 내의 캡쳐된 마커들(CMK)의 위치와 보정된 기준 마커 위치를 매칭시킴으로써(즉, 일치시키는) 캘리브레이션을 수행할 수 있다.Referring to FIG. 10 , the calibration apparatus 200 may calibrate the camera 110 based on the corrected position of the fiducial marker. According to embodiments, the calibration apparatus 200 may perform calibration by matching (ie matching) the locations of the captured markers CMK in the image with the corrected fiducial marker locations.

실시 예들에 따라, 캘리브레이션 장치(200)는 카메라(110)에 의해 생성된 영상 내의 캡쳐된 마커들(CMK)의 위치를, 보정된 기준 마커 위치로 보정하기 위한 보정 데이터(즉, 캘리브레이션 데이터)를 생성할 수 있다. 예컨대, 캘리브레이션 장치(200)는 카메라(110)에 의해 생성된 영상 내의 캡쳐된 마커들(CMK)의 위치를, 보정된 기준 마커 위치와 소정의 범위 이내에 위치하도록 하는 캘리브레이션 데이터를 생성할 수 있다. 예컨대, 캘리브레이션 장치(200)는 카메라(110)에 의해 생성된 영상 내의 캡쳐된 마커들(CMK)의 위치를, 보정된 기준 마커 위치와 가장 가까운 위치로 변환하기 위한 캘리브레이션 데이터를 생성할 수 있다.According to embodiments, the calibration device 200 provides correction data (ie, calibration data) for calibrating the positions of the markers CMK captured in the image generated by the camera 110 to the corrected reference marker positions. can create For example, the calibration device 200 may generate calibration data to position the positions of the markers CMK captured in the image generated by the camera 110 within a predetermined range from the position of the corrected reference marker. For example, the calibration apparatus 200 may generate calibration data for converting the position of the markers CMK captured in the image generated by the camera 110 to a position closest to the position of the calibrated fiducial marker.

캘리브레이션 장치(200)는 생성된 캘리브레이션 데이터를 저장부(230)에 저장할 수 있다. 실시 예들에 따라, 캘리브레이션 장치(200)는 통신부(210)를 이용하여 생성된 캘리브레이션 데이터를 차량(100)으로 전송할 수 있다. 예컨대, 캘리브레이션 데이터는 차량(100)의 메모리(140)에 저장되어, 컨트롤러(120)에 의해 리드될 수 있다. 컨트롤러(120)는 리드된 캘리브레이션 데이터를 이용하여, 카메라(110)에 의해 생성된 영상을 이용하여 어라운드 뷰 영상을 생성하고, 생성된 어라운드 뷰 영상을 출력 장치(150)로 전송할 수 있다.The calibration device 200 may store the generated calibration data in the storage unit 230 . According to embodiments, the calibration device 200 may transmit the generated calibration data to the vehicle 100 using the communication unit 210 . For example, calibration data may be stored in the memory 140 of the vehicle 100 and read by the controller 120 . The controller 120 may generate an around view image using the image generated by the camera 110 using the read calibration data, and transmit the generated around view image to the output device 150 .

즉, 본 발명의 실시 예들에 따르면, 기준 캘리브레이션 영역에 차량(100)이 정확히 주차되지 않더라도, 차량(100)의 현재 위치에 따라 변환된 기준 마커 위치를 이용하여 카메라(110)에 대한 캘리브레이션을 수행할 수 있다. 이에 따라, 기준 캘리브레이션 영역에 차량(100)을 정확히 주차하지 않더라도, 캘리브레이션을 쉽게 수행할 수 있는 효과가 있다.That is, according to embodiments of the present invention, even if the vehicle 100 is not accurately parked in the reference calibration area, the camera 110 is calibrated using the position of the reference marker converted according to the current position of the vehicle 100. can do. Accordingly, there is an effect of easily performing calibration even if the vehicle 100 is not accurately parked in the reference calibration area.

도 11은 본 발명의 실시 예들에 따른 캘리브레이션 장치의 작동 방법을 나타내는 플로우 차트이다. 도 11을 참조하여 설명될 작동 방법은 컴퓨팅 장치(예컨대, 프로세서(220))에 의해 수행될 수 있다. 예컨대, 프로세서(220)는 캘리브레이션 장치의 작동 방법을 수행하기 위한 명령어들을 포함하는 프로그램을 실행할 수 있고, 상기 프로그램의 실행에 따라 캘리브레이션 동작을 수행할 수 있다. 이 때, 상기 프로그램은 컴퓨팅 장치에 의해 판독가능한 비일시적인 저장 매체에 저장될 수 있다.11 is a flowchart illustrating a method of operating a calibration device according to embodiments of the present invention. An operating method to be described with reference to FIG. 11 may be performed by a computing device (eg, the processor 220). For example, the processor 220 may execute a program including instructions for performing a method of operating a calibration device, and may perform a calibration operation according to the execution of the program. In this case, the program may be stored in a non-transitory storage medium readable by a computing device.

캘리브레이션 장치(200)는 카메라들(110)로부터 영상을 수신할 수 있다(S110). 실시 예들에 따라, 캘리브레이션 장치(200)는 카메라들(110)에 의해 촬영되고, 마커들(MK)과 연관된 영상을 수신할 수 있다. 예컨대, 캘리브레이션 장치(200)는 유선 통신 또는 무선 통신에 따라, 영상을 수신할 수 있다.The calibration device 200 may receive images from the cameras 110 (S110). According to example embodiments, the calibration apparatus 200 may receive images captured by the cameras 110 and associated with the markers MK. For example, the calibration apparatus 200 may receive an image through wired communication or wireless communication.

캘리브레이션 장치(200)는 기준 마커 위치를 저장할 수 있다(S120). 실시 예들에 따라, 캘리브레이션 장치(200)는 차량(100)이 기준 캘리브레이션 영역에 주차되었을 때, 마커들의 영상 내에서의 정합된 위치를 나타내는 기준 마커 위치를 저장할 수 있다. 상기 기준 마커 위치는 차량(100)의 위치에 따라 달라질 수 있다.The calibration device 200 may store the position of the reference marker (S120). According to example embodiments, when the vehicle 100 is parked in the reference calibration area, the calibration apparatus 200 may store positions of reference markers indicating matched positions of markers in the image. The location of the reference marker may vary according to the location of the vehicle 100 .

캘리브레이션 장치(200)는 차량(100)의 기준 위치를 현재 위치로 변환하기 위한 변환 함수(T)를 계산할 수 있다(S130). 실시 예들에 따라, 캘리브레이션 장치(200)는 기준 위치에서의 차량(100)의 각 부분들의 좌표, 각 부분들의 길이, 각 부분들의 각도를, 현재 위치에서의 차량(100)의 각 부분들의 좌표, 각 부분들의 길이, 각 부분들의 각도로 변환하기 위한 변환 함수(T)를 계산할 수 있다.The calibration device 200 may calculate a conversion function T for converting the reference position of the vehicle 100 into the current position (S130). According to embodiments, the calibration device 200 may determine the coordinates of each part of the vehicle 100 at the reference position, the length of each part, and the angle of each part, the coordinates of each part of the vehicle 100 at the current position, A conversion function (T) for converting the length of each part and the angle of each part can be calculated.

실시 예들에 따라, 캘리브레이션 장치(200)는 차량(100)의 현재 위치를 판단하고, 판단된 현재 위치와 기준 위치를 비교함으로써 변환 함수(T)를 계산할 수 있다. 이 때, 차량(100)의 위치(기준 위치 및 현재 위치)는 차량(100)의 중심점의 위치 및 차량(100)의 중심선의 방향에 의해 정의될 수 있다.According to embodiments, the calibration device 200 may determine the current position of the vehicle 100 and calculate the conversion function T by comparing the determined current position with the reference position. At this time, the location (reference location and current location) of the vehicle 100 may be defined by the location of the center point of the vehicle 100 and the direction of the center line of the vehicle 100 .

즉, 캘리브레이션 장치(200)는 차량(100)의 현재 위치에서의 중심점의 위치 및 중심선의 방향을 결정하고, 현재 위치에서의 중심점의 위치 및 중심선의 방향과 기준 위치에서의 중심점의 위치 및 중심선의 방향에 기초하여, 변환 함수(T)를 계산할 수 있다. That is, the calibration device 200 determines the location of the center point and the direction of the center line at the current location of the vehicle 100, and determines the location of the center point and the direction of the center line at the current location and the location of the center point and the center line at the reference location. Based on the direction, a transform function (T) can be calculated.

예컨대, 캘리브레이션 장치(200)는 현재 위치의 차량(100)과 주차 구역(PZ) 사이의 거리에 기초하여, 차량(100)의 현재 위치를 판단하고, 현재 위치와 기준 위치를 이용하여 변환 함수(T)를 계산할 수 있다.For example, the calibration device 200 determines the current location of the vehicle 100 based on the distance between the vehicle 100 at the current location and the parking area PZ, and uses the current location and the reference location to generate a conversion function ( T) can be calculated.

또한, 실시 예들에 따라, 캘리브레이션 장치(200)는 현재 위치의 차량(100)에서 촬영된 영상의 마커들의 위치, 길이 및 각도 중 적어도 하나와, 기준 위치의 차량(100)에서 촬영된 영상의 마커들의 위치, 길이 및 각도 중 적어도 하나를 이용하여 변환 함수(T)를 계산할 수 있다. In addition, according to embodiments, the calibration apparatus 200 may determine at least one of positions, lengths, and angles of markers of an image captured from the vehicle 100 at a current location and markers of an image captured from the vehicle 100 at a reference location. The conversion function T may be calculated using at least one of the positions, lengths, and angles of the .

또한, 실시 예들에 따라, 캘리브레이션 장치(200)는 현재 위치의 차량(100)에서 촬영된 영상의 마커와 차량(100) 사이를 연결하는 선분의 길이 및 각도와, 기준 위치의 차량(100)에서 촬영된 영상의 마커와 차량(100) 사이를 연결하는 선분의 길이 및 각도에 기초하여 변환 함수(T)를 계산할 수 있다. In addition, according to embodiments, the calibration device 200 calculates the length and angle of a line segment connecting the marker of the image captured in the vehicle 100 at the current location and the vehicle 100, and the vehicle 100 at the reference location. A conversion function T may be calculated based on the length and angle of a line segment connecting the marker of the captured image and the vehicle 100 .

캘리브레이션 장치(200)는 변환 함수(T)에 기초하여, 기준 마커 위치를 보정할 수 있다(S140). 실시 예들에 따라, 캘리브레이션 장치(200)는 기준 마커 위치에 변환 함수(T)를 적용함으로써, 기준 마커 위치를 변환 함수(T)에 의해 정의되는 변환에 따라 변환할 수 있다.The calibration apparatus 200 may calibrate the position of the fiducial marker based on the conversion function T (S140). According to embodiments, the calibration apparatus 200 may transform the fiducial marker position according to a transform defined by the transform function T by applying the transform function T to the reference marker position.

캘리브레이션 장치(200)는 변환된 기준 마커 위치에 기초하여, 카메라들(110)에 대한 캘리브레이션을 수행할 수 있다(S150). 실시 예들에 따라, 캘리브레이션 장치(200)는 영상 내의 캡쳐된 마커들(CMK)의 위치와 보정된 기준 마커 위치를 매칭시킴으로써(즉, 일치시키는) 캘리브레이션을 수행할 수 있다. The calibration apparatus 200 may perform calibration of the cameras 110 based on the converted fiducial marker position (S150). According to embodiments, the calibration apparatus 200 may perform calibration by matching (ie matching) the locations of the captured markers CMK in the image with the corrected fiducial marker locations.

한편, 캘리브레이션 장치(200)는 카메라들(110)의 영상을 이용하여 캘리브레이션을 수행하기 전에, 카메라들(110)의 영상에 대한 왜곡 보정을 수행할 수 있다.Meanwhile, the calibration apparatus 200 may perform distortion correction on the images of the cameras 110 before performing calibration using the images of the cameras 110 .

도 12 내지 도 14는 본 발명의 실시 예들에 따른 변환 함수를 계산하기 위한 방법이다. 한편, 도 12 내지 도 14를 참조하여 설명되는 변환 함수의 계산 방법은 예시적인 것이며, 본 발명의 실시 예들이 도 12 내지 도 14를 참조하여 설명되는 계산 방법에 한정되는 것은 아니다.12 to 14 are methods for calculating a conversion function according to embodiments of the present invention. Meanwhile, the conversion function calculation method described with reference to FIGS. 12 to 14 is exemplary, and embodiments of the present invention are not limited to the calculation methods described with reference to FIGS. 12 to 14 .

도 12를 참조하면, 캘리브레이션 장치(200)는 카메라(110)에 의해 생성된 영상으로부터 마커(MK)를 인식하고, 인식된 마커(MK)의 위치, 길이 및 각도 중 적어도 하나에 기초하여 변환 함수(T)를 계산할 수 있다.Referring to FIG. 12 , the calibration apparatus 200 recognizes a marker MK from an image generated by the camera 110, and converts a conversion function based on at least one of the position, length, and angle of the recognized marker MK. (T) can be calculated.

실시 예들에 따라, 캘리브레이션 장치(200)는 차량(100)이 기준 위치에 있을 때 촬영된 영상과, 차량(100)이 현재 위치에 있을 때 촬영된 영상을 비교함으로써, 마커(MK)의 위치, 길이 및 각도 중 적어도 하나의 변화를 판단하고, 판단된 위치, 길이 및 각도 중 적어도 하나의 변화에 기초하여 변환 함수(T)를 계산할 수 있다.According to embodiments, the calibration device 200 compares an image taken when the vehicle 100 is at the reference position with an image taken when the vehicle 100 is at the current position, thereby determining the position of the marker MK, A change in at least one of the length and angle may be determined, and a conversion function T may be calculated based on the determined change in at least one of the position, length, and angle.

예컨대, 캘리브레이션 장치(200)는 차량(100)이 기준 위치에 있을 때의 마커의 위치((x1, y1), (x2, y2)), 길이(d(x,y)) 및 각도(a) 중 적어도 하나와, 차량(100)이 현재 위치에 있을 때의 마커의 위치((x'1, y'1), (x'2, y'2)), 길이(d(x',y')) 및 각도(a')를 비교함으로써, 위치, 길이 및 각도의 변화를 계산하고, 계산된 변화에 기초하여 변환 함수(T)를 계산할 수 있다.For example, the calibration device 200 determines the position ((x 1 , y 1 ), (x 2 , y 2 )), length (d(x,y)) of the marker when the vehicle 100 is at the reference position, and At least one of the angles a, the position of the marker when the vehicle 100 is at the current position ((x' 1 , y' 1 ), (x' 2 , y' 2 )), the length (d(x By comparing ',y') and the angle a', it is possible to calculate the change in position, length and angle, and calculate the transformation function T based on the calculated change.

도 13을 참조하면, 캘리브레이션 장치(200)는 카메라(110)에 의해 생성된 영상으로부터 마커(MK)를 인식하고, 인식된 마커(MK)와 차량(100)(예컨대, 차체) 사이를 연결하는 선분의 길이 및 각도 변화에 기초하여 변환 함수(T)를 계산할 수 있다.Referring to FIG. 13 , the calibration device 200 recognizes a marker MK from an image generated by a camera 110 and connects the recognized marker MK with the vehicle 100 (eg, a vehicle body). A transformation function (T) can be calculated based on the length and angle change of the line segment.

실시 예들에 따라, 캘리브레이션 장치(200)는 차량(100)이 기준 위치에 있을 때 촬영된 영상과, 차량(100)이 현재 위치에 있을 때 촬영된 영상을 비교함으로써, 마커(MK)와 차량(100) 사이를 연결하는 선분의 길이 및 각도 변화를 판단하고, 판단된 길이 및 각도 변화에 기초하여 변환 함수(T)를 계산할 수 있다. 이 때, 상기 선분은 차량(100) 상의 소정의 점과 마커(MK) 상의 소정의 점 사이를 잇는 선분일 수 있다.According to embodiments, the calibration device 200 compares an image captured when the vehicle 100 is in the reference position with an image captured when the vehicle 100 is in the current position, thereby determining the marker MK and the vehicle ( 100), it is possible to determine the change in the length and angle of the line segment connecting the segments, and calculate the conversion function (T) based on the determined change in length and angle. In this case, the line segment may be a line segment connecting a predetermined point on the vehicle 100 and a predetermined point on the marker MK.

예컨대, 캘리브레이션 장치(200)는 차량(100)이 기준 위치에 있을 때의 마커(MK)와 차량(100) 사이를 연결하는 선분(L)의 길이 및 각도와, 차량(100)이 현재 위치에 있을 때의 마커(MK)와 차량(100) 사이를 연결하는 선분(L')의 길이 및 각도를 비교함으로써, 상기 선분의 길이 및 각도의 변화를 계산하고, 계산된 변화에 기초하여 변환 함수(T)를 계산할 수 있다. 한편, 이 때, 현재 위치에서의 촬영된 화면을 소정의 각도만큼 회전시킨 후, 회전시킨 영상으로부터 차량(100)이 현재 위치에 있을 때의 마커(MK)와 차량(100) 사이를 연결하는 선분(L')의 길이 및 각도를 결정할 수 있다. 예컨대, 차량(100)이 현재 위치에 있을 때의 마커(MK)와, 기준 위치에 있을 때의 마커(MK)가 동일한 방향이 되도록, 영상을 회전할 수 있다.For example, the calibration device 200 determines the length and angle of the line segment L connecting the marker MK when the vehicle 100 is at the reference position and the vehicle 100, and the vehicle 100 at the current position. By comparing the length and angle of the line segment L′ connecting between the marker MK and the vehicle 100 when present, a change in the length and angle of the line segment is calculated, and based on the calculated change, a conversion function ( T) can be calculated. Meanwhile, at this time, after rotating the screen captured at the current position by a predetermined angle, a line segment connecting the marker MK when the vehicle 100 is at the current position and the vehicle 100 from the rotated image The length and angle of (L') can be determined. For example, the image may be rotated so that the marker MK when the vehicle 100 is at the current location and the marker MK when the vehicle 100 is at the reference location are in the same direction.

도 14를 참조하면, 캘리브레이션 장치(200)는 차량(100)과 주차 구역(PZ) 사이의 거리를 이용하여, 변환 함수(T)를 계산할 수 있다.Referring to FIG. 14 , the calibration apparatus 200 may calculate the conversion function T using the distance between the vehicle 100 and the parking area PZ.

실시 예들에 따라, 캘리브레이션 장치(200)는 차량(100)상의 임의의 지점들 각각으로부터 주차 구역(PZ) 사이의 거리들을 이용하여 현재 차량(100)의 주차 구역(PZ)에 대한 상대적인 위치를 결정하고, 결정된 현재 위치와 기준 위치를 비교함으로써 변환 함수(T)를 계산할 수 있다. According to embodiments, the calibration device 200 determines a relative position of the current vehicle 100 with respect to the parking area PZ by using distances between the parking area PZ from each of arbitrary points on the vehicle 100 And, a conversion function (T) can be calculated by comparing the determined current position and the reference position.

예컨대, 캘리브레이션 장치(200)는 차량(100)의 현재 위치에서의 차량(100) 상의 6개의 지점들로부터 주차 구역(PZ) 사이의 거리들 각각을 입력받고, 입력된 거리들 각각을 이용하여 차량(100)의 현재 위치를 결정할 수 있다. 이 때, 6개의 지점들은 차량(100)에 탑재된 카메라들(110)의 위치를 의미할 수 있으나, 이에 한정되는 것은 아니다. For example, the calibration device 200 receives each of the distances between the parking zones PZ from six points on the vehicle 100 at the current location of the vehicle 100, and uses each of the input distances to calculate the vehicle The current location of (100) can be determined. In this case, the six points may mean the positions of the cameras 110 mounted on the vehicle 100, but are not limited thereto.

결정된 차량(100)의 현재 위치와 저장된 기준 위치를 비교하고, 비교 결과에 따라 차량(100)의 기준 위치를 현재 위치로 변환하기 위한 변환 함수(T)를 계산할 수 있다. The determined current position of the vehicle 100 and the stored reference position may be compared, and a conversion function T for converting the reference position of the vehicle 100 into the current position may be calculated according to the comparison result.

이상과 같이 실시 예들이 비록 한정된 실시 예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with limited examples and drawings, those skilled in the art can make various modifications and variations from the above description. For example, the described techniques may be performed in an order different from the method described, and/or components of the described system, structure, device, circuit, etc. may be combined or combined in a different form than the method described, or other components may be used. Or even if it is replaced or substituted by equivalents, appropriate results can be achieved.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents of the claims are within the scope of the following claims.

10: 캘리브레이션 시스템 100: 차량
110: 카메라 PZ: 주차 구역
PL: 주차선 MK: 마커들
CMK: 캡쳐된 마커들 120: 컨트롤러
130: 구동 장치 140: 메모리
150: 출력 장치 200: 캘리브레이션 장치
210: 통신부 220: 프로세서
230: 저장부10: calibration system 100: vehicle
110: camera PZ: parking area
PL: parking lines MK: markers
CMK: Captured Markers 120: Controller
130: driving device 140: memory
150: output device 200: calibration device
210: communication unit 220: processor
230: storage unit

Claims (9)

차량에 설치된 카메라들에 대한 캘리브레이션을 수행하기 위한 캘리브레이션 장치에 있어서,
상기 카메라들에 의해 촬영된 마커들과 연관된 영상을 수신하도록 구성되는 영상 수신부;
상기 차량이 기준 위치에 주차되었을 때의 마커들의 정합 위치를 나타내는 기준 마커 위치 정보를 저장하도록 구성되는 저장부; 및
상기 영상과 상기 기준 마커 위치 정보를 이용하여 상기 카메라들에 대한 캘리브레이션을 수행하도록 구성되는 프로세서를 포함하고,
상기 프로세서는,
상기 기준 위치와 상기 차량이 주차된 현재 위치사이의 맵핑을 정의하는 변환 함수를 계산하고,
상기 변환 함수를 이용하여 상기 기준 마커 위치 정보를 보정함으로써 보정된 기준 마커 위치 정보를 생성하고,
상기 영상과 상기 보정된 기준 마커 위치 정보를 이용하여, 상기 카메라들에 대한 캘리브레이션을 수행하여 캘리브레이션 데이터를 생성하고,
상기 프로세서는,
상기 차량의 현재 위치를 결정하고, 상기 차량의 현재 위치와 상기 기준 위치를 서로 비교함으로써 상기 변환 함수를 계산하되, 상기 차량의 현재 위치에서의 중심점의 위치 및 중심선의 방향을 결정하고, 상기 차량의 상기 현재 위치에서의 중심점의 위치 및 중심선의 방향과, 상기 차량의 상기 기준 위치에서의 중심점의 위치 및 중심선의 방향에 기초하여, 상기 변환 함수를 계산하고,
상기 프로세서는,
상기 기준 마커 위치 정보를 상기 계산된 변환 함수에 의해 정의되는 변환에 따라 변환시킴으로써, 보정된 기준 마커 위치 정보를 생성하는,
캘리브레이션 장치.In the calibration device for performing calibration for cameras installed in a vehicle,
an image receiver configured to receive images associated with the markers photographed by the cameras;
a storage unit configured to store reference marker positional information indicating matched positions of markers when the vehicle is parked at the reference position; and
A processor configured to calibrate the cameras using the image and the fiducial marker location information;
the processor,
Calculate a conversion function defining a mapping between the reference position and the current position at which the vehicle is parked;
correcting the fiducial marker position information using the conversion function to generate corrected fiducial marker position information;
Calibration is performed on the cameras using the image and the corrected fiducial marker position information to generate calibration data;
the processor,
Determine the current position of the vehicle, calculate the conversion function by comparing the current position of the vehicle and the reference position with each other, determine the position of the center point and the direction of the center line at the current position of the vehicle, Calculate the conversion function based on the position of the center point and the direction of the center line at the current position and the position of the center point and the direction of the center line at the reference position of the vehicle;
the processor,
generating corrected fiducial marker position information by transforming the fiducial marker position information according to a transformation defined by the calculated conversion function;
calibration device. 제1항에 있어서, 상기 프로세서는,
상기 영상 내의 캡쳐된 마커들의 위치와 상기 보정된 기준 마커 위치 정보를 매칭시킴으로써 상기 캘리브레이션을 수행하는,
캘리브레이션 장치.The method of claim 1, wherein the processor,
Performing the calibration by matching the positions of the captured markers in the image with the corrected fiducial marker position information.
calibration device. 제2항에 있어서, 상기 프로세서는,
상기 영상 내의 캡쳐된 마커들의 위치를 상기 보정된 기준 마커 위치 정보로부터 소정의 범위 이내의 위치로 변경시킴으로써 상기 캘리브레이션을 수행하는,
캘리브레이션 장치.The method of claim 2, wherein the processor,
Performing the calibration by changing the positions of the captured markers in the image to positions within a predetermined range from the corrected reference marker position information.
calibration device. 삭제delete 제1항에 있어서,
상기 저장부는, 상기 차량이 주차된 주차 구역으로부터 상기 차량의 복수의 지점으로부터의 거리들을 저장하고,
상기 프로세서는,
상기 주차 구역으로부터 상기 차량의 복수의 지점으로부터의 거리들을 이용하여, 상기 차량의 현재 위치를 결정하는,
캘리브레이션 장치.According to claim 1,
The storage unit stores distances from a plurality of points of the vehicle from a parking area where the vehicle is parked,
the processor,
determining a current location of the vehicle using distances from the plurality of points of the vehicle from the parking area;
calibration device. 삭제delete 제1항에 있어서, 상기 프로세서는,
상기 현재 위치의 차량에서 촬영된 영상 내의 마커들의 위치, 길이 및 각도 중 적어도 하나와, 상기 기준 위치의 차량에서 촬영된 영상내의 마커들의 위치, 길이 및 각도 중 적어도 하나를 이용하여, 상기 변환 함수를 계산하는,
캘리브레이션 장치.The method of claim 1, wherein the processor,
Using at least one of the positions, lengths, and angles of markers in the image taken from the vehicle at the current location, and at least one of the positions, lengths, and angles of markers in the image taken from the vehicle at the reference location, the conversion function is obtained. calculating,
calibration device. 제1항에 있어서, 상기 프로세서는,
상기 현재 위치의 차량에서 촬영된 영상 내의 마커와 상기 차량 사이를 연결하는 선분의 길이 및 각도와, 상기 기준 위치의 상기 차량에서 촬영된 영상의 마커와 상기 차량 사이를 연결하는 선분의 길이 및 각도에 기초하여 상기 변환 함수를 계산하는,
캘리브레이션 장치.
The method of claim 1, wherein the processor,
The length and angle of a line segment connecting between the vehicle and the marker in the image captured from the vehicle at the current location, and the length and angle of a line segment connecting the vehicle and the marker of the image captured from the vehicle at the reference location Calculating the conversion function based on
calibration device.
 삭제delete
KR1020200183455A 2020-12-24 2020-12-24 Device and method for calibrating images captured by camera of vehicle KR102477510B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200183455A KR102477510B1 (en) 2020-12-24 2020-12-24 Device and method for calibrating images captured by camera of vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200183455A KR102477510B1 (en) 2020-12-24 2020-12-24 Device and method for calibrating images captured by camera of vehicle

Publications (2)

Publication Number Publication Date
KR20220092071A KR20220092071A (en) 2022-07-01
KR102477510B1 true KR102477510B1 (en) 2022-12-14

Family

ID=82397175

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200183455A KR102477510B1 (en) 2020-12-24 2020-12-24 Device and method for calibrating images captured by camera of vehicle

Country Status (1)

Country Link
KR (1) KR102477510B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009014481A (en) * 2007-07-04 2009-01-22 Ihi Corp Distance measuring device and its calibration method
KR101847812B1 (en) * 2016-11-15 2018-04-11 주식회사 와이즈오토모티브 Calibration apparatus and method

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101949358B1 (en) * 2016-04-04 2019-02-18 엘지전자 주식회사 Apparatus for providing around view and Vehicle including the same

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009014481A (en) * 2007-07-04 2009-01-22 Ihi Corp Distance measuring device and its calibration method
KR101847812B1 (en) * 2016-11-15 2018-04-11 주식회사 와이즈오토모티브 Calibration apparatus and method

Also Published As

Publication number Publication date
KR20220092071A (en) 2022-07-01

Similar Documents

Publication Publication Date Title
US10726579B1 (en) LiDAR-camera calibration
US10904503B2 (en) Image processing device, information generation device, and information generation method
US10663966B2 (en) Vehicle motion control system and method
WO2017159382A1 (en) Signal processing device and signal processing method
WO2015029934A1 (en) Camera calibration device, camera calibration system, and camera calibration method
US20150103172A1 (en) Image processing apparatus and method
CN108933936A (en) Method and apparatus for camera calibration
US11202046B2 (en) Image processor, imaging device, and image processing system
EP3585045B1 (en) Information processing device, information processing method, and program
CN110766761B (en) Method, apparatus, device and storage medium for camera calibration
WO2016129552A1 (en) Camera parameter adjustment device
KR102124298B1 (en) Rear Cross Traffic-Quick Look
KR20170124232A (en) Around view monitoring system and method for compensating camera tolerance there of
KR20190064774A (en) A method of correcting cameras and device thereof
KR102477510B1 (en) Device and method for calibrating images captured by camera of vehicle
US11807256B2 (en) Dynamic calibration of vehicle sensors
WO2019116746A1 (en) Image processing device, image processing method and image capturing device
US11097670B2 (en) Method for calibrating image data of an imaging system for a vehicle combination
JP7316620B2 (en) Systems and methods for image normalization
CN109644241B (en) Image processing apparatus and image processing method
JP2011008459A (en) In-vehicle camera device
KR102513762B1 (en) Apparatus and method for generating side mirror virtual image
KR102445635B1 (en) Method of detecting stopline of vehicle
WO2023035124A1 (en) Image processing method and apparatus
CN117611666A (en) Object position estimation with calibrated sensors

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right