KR101847812B1 - Calibration apparatus and method - Google Patents
Calibration apparatus and method Download PDFInfo
- Publication number
- KR101847812B1 KR101847812B1 KR1020160151869A KR20160151869A KR101847812B1 KR 101847812 B1 KR101847812 B1 KR 101847812B1 KR 1020160151869 A KR1020160151869 A KR 1020160151869A KR 20160151869 A KR20160151869 A KR 20160151869A KR 101847812 B1 KR101847812 B1 KR 101847812B1
- Authority
- KR
- South Korea
- Prior art keywords
- bird
- pattern
- image
- marker
- normal
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- H04N5/2257—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Optics & Photonics (AREA)
- Image Processing (AREA)
Abstract
Description
본 발명은 조감도 이미지 생성 시, 조감도 이미지 생성에 이용되는 룩업 테이블의 캘리브레이션 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for calibrating a look-up table used for creating a bird's-eye image at the time of bird's-eye image generation.
일반적으로, 차량은 차체에 장비한 엔진 등의 원동기를 동력원으로 하여 도로 등을 주행하며 사람이나 화물을 운반하거나 각종 작업을 수행하는 장치이고, 차량의 운전자는 주행 방향을 주시하면서 차량을 안전하게 운전한다.2. Description of the Related Art Generally, a vehicle is a device that drives a motor vehicle such as an engine installed in a vehicle body to drive a road or the like and carries a person or a freight or perform various operations. A driver of the vehicle safely drives the vehicle while observing the driving direction .
하지만, 차량이 주차를 하는 등 후진하는 경우에 있어서는, 차량의 운전자는 차량의 후방인 주행 방향을 주시하기가 어렵다. 따라서, 차량의 후방을 디스플레이하기 위한 장치로서, 차량의 뒤에 설치된 카메라로부터의 이미지를 모니터에 그대로 출력하는 디스플레이 장치가 알려져 있다. However, when the vehicle is parked, the driver of the vehicle is hard to watch the running direction, which is the rear of the vehicle. Therefore, as a device for displaying the rear side of a vehicle, there is known a display device that outputs an image from a camera installed behind the vehicle to the monitor as it is.
또한, 차량에 설치된 카메라로부터 촬영된 카메라 이미지를 이용하여 조감도 이미지를 생성하고, 생성된 조감도 이미지를 디스플레이 장치를 통해 출력하는 기술이 존재한다. 이러한 조감도 이미지는 차량의 주차 또는 운전 중 운전자의 편의를 돕기 위해 사용되고 있고, 조감도 이미지의 생성을 위해서는 카메라 이미지의 시점 변경에 이용되는 룩업 테이블이 요구된다.There is also a technology for generating a bird's-eye image using a camera image captured from a camera installed in a vehicle, and outputting the generated bird's-eye image through a display device. Such a bird's-eye image is used to facilitate the driver's convenience during parking or driving of the vehicle, and a lookup table used for changing the viewpoint of the camera image is required for generating the bird's-eye image.
다만, 애프터마켓 환경의 경우, 카메라는 차량이 출고된 이후 설치되어야 한다. 즉, 애프터마켓 환경의 경우, 카메라는 차량의 종류 또는 모델에 따라 그 설치 위치 및 방향이 달라질 수 있고, 해당 위치 및 방향으로 설치를 하더라도 설치 과정에서 오차 등이 발생할 수 있다. 이에 따라, 동일한 룩업 테이블로 모든 차량에 대한 조감도 이미지를 생성하는 것은 현실적으로 불가능하고, 카메라 이미지를 기반으로 생성된 조감도 이미지 내에는 왜곡 등이 존재할 가능성이 높다. 이러한 왜곡은 운전자에게 불편함을 주게 되므로, 이러한 룩업 테이블의 캘리브레이션을 통해 정상적인 조감도 이미지를 제공할 수 있는 새로운 기법이 요구된다.However, in the aftermarket environment, the camera must be installed after the vehicle has been shipped. That is, in the aftermarket environment, the installation position and direction of the camera may vary depending on the type or model of the vehicle, and an error may occur in the installation process even if the camera is installed in the location and direction. Accordingly, it is practically impossible to generate a bird's-eye image for all vehicles with the same look-up table, and there is a high possibility that distortion or the like exists in the bird's-eye image generated based on the camera image. Since this distortion causes discomfort to the driver, there is a need for a new technique capable of providing a normal bird's-eye image through calibration of such a look-up table.
본 발명은 애프터마켓 환경에서 운전자에게 정상적인 카메라 이미지 및 조감도 이미지를 제공할 수 있는 캘리브레이션 장치 및 방법을 제공하는데 그 목적이 있다.It is an object of the present invention to provide a calibration apparatus and method that can provide a normal camera image and a bird's-eye view image to an operator in an aftermarket environment.
상기와 같은 과제를 해결하기 위한 본 발명의 조감도 이미지 생성에 이용되는 룩업 테이블의 캘리브레이션 장치는 복수의 기준 마커들과 복수의 기준 패턴들을 포함하는 캘리브레이션 패널이 촬영된 카메라 이미지를 획득하는 이미지 획득부; 카메라 이미지 내에서 기준 마커를 탐색하고, 기준 마커의 좌표를 추출하는 기준 마커 탐색부; 기준 마커의 좌표를 근거로 카메라 이미지를 시점 변환함으로써, 카메라 이미지에 대한 조감도 이미지를 생성하는 조감도 이미지 생성부; 조감도 이미지 내에서 기준 패턴을 추출하는 기준 패턴 추출부; 조감도 이미지 내에서 추출한 기준 패턴과 정상 조감도 이미지 내의 정상 패턴을 비교하는 패턴 비교부; 및 기준 패턴과 정상 패턴 간의 차이가 최소가 되도록 기준 마커의 좌표를 조정하는 마커 좌표 조정부를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided an apparatus for calibrating a look-up table used for generating a bird's-eye view image, comprising: an image obtaining unit for obtaining a camera image of a calibration panel including a plurality of reference markers and a plurality of reference patterns; A fiducial marker searching unit for searching fiducial markers in the camera image and extracting coordinates of fiducial markers; A bird's-eye view image generating unit for generating a bird's-eye view image for a camera image by performing a viewpoint conversion of a camera image based on coordinates of a reference marker; A reference pattern extracting unit for extracting a reference pattern in the bird's-eye image; A pattern comparing unit for comparing a reference pattern extracted in the bird's-eye image with a normal pattern in the normal bird's-eye view image; And a marker coordinate adjuster for adjusting the coordinates of the reference marker so that the difference between the reference pattern and the normal pattern is minimized.
또한, 복수의 기준 패턴들은 상기 복수의 기준 마커들을 꼭짓점으로 연결한 패턴 영역 내에 위치할 수 있다.In addition, the plurality of reference patterns may be located in a pattern region connected to the plurality of reference markers by a vertex.
또한, 기준 패턴은 수직선을 기준으로 좌우가 대칭되고, 수평선을 기준으로 상하가 대칭될 수 있다.In addition, the reference pattern is symmetrical on the left and right with respect to the vertical line, and the upper and lower sides may be symmetrical with respect to the horizontal line.
또한, 마커 좌표 조정부는 조감도 이미지 내에서 복수의 기준 마커들 중 하나의 기준 마커의 좌표를 서브 픽셀 단위로 조정하고, 기준 패턴 추출부는 기준 마커의 좌표가 조정된 조감도 이미지 내에서 기준 패턴을 추출할 수 있다.The marker coordinate adjuster adjusts the coordinates of one of the plurality of reference markers in the bird's-eye image in the subpixel unit, and the reference pattern extractor extracts the reference pattern within the bird's-eye image in which the coordinates of the reference marker are adjusted .
또한, 패턴 비교부는 기준 마커의 좌표가 조정된 조감도 이미지 내에서 추출한 기준 패턴과 상기 정상 패턴을 비교하고, 마커 좌표 조정부는 기준 패턴과 정상 패턴 간 차이가 가장 적은 좌표로 기준 마커의 좌표를 결정할 수 있다.The pattern comparison unit compares the reference pattern extracted in the bird's-eye image with the coordinate of the reference marker adjusted and the normal pattern. The marker coordinate adjustment unit can determine the coordinates of the reference marker with the smallest difference between the reference pattern and the normal pattern have.
또한, 마커 좌표 조정부는 하나의 기준 마커씩 기준 마커의 좌표 조정 과정을 수행할 수 있다.In addition, the marker coordinate adjustment unit can perform the coordinate adjustment process of the reference marker by one reference marker.
또한, 패턴 비교부는 조감도 이미지를 복수의 서브 영역들로 구분하고, 좌표 조정 과정이 이루어지는 기준 마커가 속한 서브 영역을 선택하며, 선택한 서브 영역 내의 기준 패턴들과, 정상 조감도 이미지 내에서 상기 선택한 서브 영역에 해당하는 정상 서브 영역 내의 정상 패턴들을 비교할 수 있다.In addition, the pattern comparing unit may divide the bird's-eye view image into a plurality of sub-regions, select a sub-region to which a reference marker for performing the coordinate adjustment belongs, and search the reference patterns in the selected sub- The normal patterns in the normal sub-areas corresponding to the normal sub-areas can be compared.
또한, 본 발명의 일 실시예에 따른 캘리브레이션 장치는 기준 패턴과 정상 패턴 간의 차이가 최소인 복수의 기준 마커들의 좌표 조정값들을 근거로 룩업 테이블에 대한 캘리브레이션을 수행하는 캘리브레이션부를 더 포함할 수 있다.The calibration apparatus may further include a calibration unit that performs calibration on the lookup table based on coordinate adjustment values of a plurality of reference markers having a minimum difference between the reference pattern and the normal pattern.
상기와 같은 과제를 해결하기 위한 본 발명의 조감도 이미지 생성에 이용되는 룩업 테이블의 캘리브레이션 방법은 이미지 획득부에 의해, 복수의 기준 마커들과 복수의 기준 패턴들을 포함하는 캘리브레이션 패널이 촬영된 카메라 이미지를 획득하는 단계; 기준 마커 탐색부에 의해, 카메라 이미지 내에서 기준 마커를 탐색하고, 기준 마커의 좌표를 추출하는 단계; 조감도 이미지 생성부에 의해, 추출된 기준 마커의 좌표를 근거로 카메라 이미지를 시점 변환함으로써, 카메라 이미지에 대한 조감도 이미지를 생성하는 단계; 기준 패턴 추출부에 의해, 조감도 이미지 내에서 기준 패턴을 추출하는 단계; 패턴 비교부에 의해, 조감도 이미지 내에서 추출한 기준 패턴과 정상 조감도 이미지 내의 정상 패턴을 비교하는 단계; 및 마커 좌표 조정부에 의해, 기준 패턴과 정상 패턴 간의 차이가 최소가 되도록 기준 마커의 좌표를 조정하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a method of calibrating a lookup table used in generating a bird's-eye image of the present invention, the method comprising: acquiring a camera image captured by a calibration panel including a plurality of reference markers and a plurality of reference patterns, Obtaining; Searching a fiducial marker in the camera image by the fiducial marker searching unit and extracting coordinates of the fiducial marker; Generating a bird's eye image for a camera image by performing a viewpoint conversion of a camera image based on the coordinates of the extracted reference marker by the bird's-eye view image generating unit; Extracting a reference pattern in the bird's-eye view image by the reference pattern extracting unit; Comparing the reference pattern extracted in the bird's-eye view image with the normal pattern in the normal bird's-eye view image by the pattern comparison unit; And adjusting the coordinates of the reference marker such that the difference between the reference pattern and the normal pattern is minimized by the marker coordinate adjusting unit.
또한, 복수의 기준 패턴들은 복수의 기준 마커들을 꼭짓점으로 연결한 패턴 영역 내에 위치할 수 있다.In addition, the plurality of reference patterns may be located in a pattern region connected with a plurality of reference markers by vertexes.
또한, 기준 패턴은 수직선을 기준으로 좌우가 대칭되고, 수평선을 기준으로 상하가 대칭될 수 있다.In addition, the reference pattern is symmetrical on the left and right with respect to the vertical line, and the upper and lower sides may be symmetrical with respect to the horizontal line.
또한, 조감도 이미지 내의 기준 마커의 좌표를 조정하는 단계는 상기 조감도 이미지 내에서 복수의 기준 마커들 중 하나의 기준 마커의 좌표를 서브 픽셀 단위로 조정함으로써 이루어지고, 조감도 이미지 내에서 기준 패턴을 추출하는 단계는 기준 마커의 좌표가 조정된 조감도 이미지 내에서 기준 패턴을 추출하는 단계를 포함할 수 있다.In addition, the step of adjusting the coordinates of the reference marker in the bird's-eye image may be performed by adjusting the coordinates of one of the plurality of reference markers in the bird's-eye image in units of subpixels, The step may include extracting a reference pattern within the bird's-eye image in which the coordinates of the reference marker are adjusted.
또한, 조감도 이미지 내에서 추출한 기준 패턴과 정상 조감도 이미지 내의 정상 패턴을 비교하는 단계는 기준 마커의 좌표가 조정된 조감도 이미지 내에서 추출한 기준 패턴과 상기 정상 패턴을 비교하는 단계를 포함하고, 조감도 이미지 내의 기준 마커의 좌표를 조정하는 단계는 기준 패턴과 정상 패턴 간 차이가 가장 적은 좌표로 상기 기준 마커의 좌표를 결정하는 단계를 포함할 수 있다.The step of comparing the reference pattern extracted in the bird's-eye image with the normal pattern in the normal bird's-eye image includes comparing the reference pattern extracted in the bird's-eye image with the coordinates of the reference marker to the normal pattern, Adjusting the coordinates of the fiducial markers may include determining coordinates of the fiducial markers with the smallest difference between the reference pattern and the normal pattern.
또한, 조감도 이미지 내의 기준 마커의 좌표를 조정하는 단계는 하나의 기준 마커씩 상기 기준 마커의 좌표 조정 과정을 수행할 수 있다.In addition, the step of adjusting the coordinates of the fiducial markers in the bird's-eye image may perform the coordinate adjustment of the fiducial markers by one fiducial marker.
또한, 조감도 이미지 내에서 추출한 기준 패턴과 정상 조감도 이미지 내의 정상 패턴을 비교하는 단계는 조감도 이미지를 복수의 서브 영역들로 구분하는 단계; 좌표 조정 과정이 이루어지는 기준 마커가 속한 서브 영역을 선택하는 단계; 및 선택한 서브 영역 내의 기준 패턴들과, 정상 조감도 이미지 내에서 상기 선택한 서브 영역에 해당하는 정상 서브 영역 내의 정상 패턴들을 비교하는 단계를 포함할 수 있다.In addition, the step of comparing the reference pattern extracted from the bird's-eye image with the normal pattern within the normal bird's-eye view image may include the steps of: dividing the bird's-eye view image into a plurality of subareas; Selecting a sub-region to which a fiducial marker to which a coordinate adjustment process is to be performed belongs; And comparing the reference patterns in the selected sub-area with the normal patterns in the normal sub-area corresponding to the selected sub-area in the normal bird's-eye view image.
또한, 본 발명의 일 실시예에 따른 캘리브레이션 방법은 캘리브레이션부에 의해, 기준 패턴과 정상 패턴 간의 차이가 최소인 복수의 기준 마커들의 좌표 조정값들을 근거로 룩업 테이블에 대한 캘리브레이션을 수행하는 단계를 더 포함할 수 있다.According to another aspect of the present invention, there is provided a method of calibrating a lookup table based on coordinate adjustment values of a plurality of reference markers having a minimum difference between a reference pattern and a normal pattern, .
본 발명의 일 실시예에 따른 캘리브레이션 장치 및 방법에 따르면, 룩업 테이블의 캘리브레이션을 통해 애프터마켓 환경에서도 정상적인 조감도 이미지를 제공할 수 있는 효과가 있다.According to the calibration apparatus and method according to an embodiment of the present invention, a normal bird's-eye image can be provided even in an aftermarket environment through calibration of a lookup table.
또한, 본 발명의 일 실시예에 따른 캘리브레이션 장치 및 방법에 따르면, 탑뷰 생성용 룩업 테이블을 만드는 기준이 되는 기준 마커의 좌표를 서브 픽셀 단위로 찾을 수 있어서 더 정확한 룩업 테이블을 생성할 수 있다.In addition, according to the calibration apparatus and method according to an exemplary embodiment of the present invention, the coordinates of a reference marker, which is a reference for creating a lookup table for generating a top view, can be found in units of subpixels, and a more accurate lookup table can be generated.
또한, 본 발명의 일 실시예에 따른 캘리브레이션 장치 및 방법에 따르면, 차량의 제원(예를 들어, 바퀴와 범퍼간 거리)과 캘리브레이션 패널의 크기를 알기 때문에, 카메라를 통해 인식한 캘리브레이션 패널에서 기준 마커의 위치가 실물 좌표계에서 어느 위치에 있는지 알 수 있고, 이에 따라 보다 정확한 캘리브레이션이 가능해지는 장점이 있다.Further, according to the calibration apparatus and method according to the embodiment of the present invention, since the specification of the vehicle (for example, the distance between the wheel and the bumper) and the size of the calibration panel are known, It is possible to know which position in the real world coordinate system the position of the object is located in, thereby enabling more accurate calibration.
도 1은 본 발명의 일 실시예에 따른 캘리브레이션 장치에 대한 개념도이다.
도 2는 본 발명의 일 실시예에 따른 캘리브레이션 장치에 대한 블록도이다.
도 3, 도 4a 내지 도 4d, 도 5a 내지 도 5d, 도 6a 내지 도 6d 및 도 7 내지 도 9는 본 발명의 일 실시예에 따른 캘리브레이션 장치를 통한 캘리브레이션 방법을 설명하기 위한 개념도이다.
도 10는 본 발명의 일 실시예에 따른 캘리브레이션 방법에 대한 흐름도이다.1 is a conceptual diagram of a calibration apparatus according to an embodiment of the present invention.
2 is a block diagram of a calibration apparatus according to an embodiment of the present invention.
FIGS. 3, 4A to 4D, 5A to 5D, 6A to 6D, and 7 to 9 are conceptual diagrams illustrating a calibration method using a calibration apparatus according to an embodiment of the present invention.
10 is a flowchart of a calibration method according to an embodiment of the present invention.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.The present invention will now be described in detail with reference to the accompanying drawings. Hereinafter, a repeated description, a known function that may obscure the gist of the present invention, and a detailed description of the configuration will be omitted. Embodiments of the present invention are provided to more fully describe the present invention to those skilled in the art. Accordingly, the shapes and sizes of the elements in the drawings and the like can be exaggerated for clarity.
이하, 본 발명의 실시예에 따른 캘리브레이션 장치(100)에 대하여 설명하도록 한다. Hereinafter, a
도 1은 본 발명의 일 실시예에 따른 캘리브레이션 장치(100)에 대한 개념도이다. 도 1에 도시된 것처럼, 본 발명의 일 실시예에 따른 캘리브레이션 장치(100)는 바닥에 놓인 캘리브레이션 패널(200)을 촬영한 카메라 이미지를 근거로 캘리브레이션을 수행할 수 있다. 여기서, 캘리브레이션 패널(200)은 최적의 캘리브레이션을 수행하기 위한 가이드부(241, 242)를 포함할 수 있고, 해당 가이드부(241, 242) 상에 차량의 바퀴가 위치하도록 유도할 수 있다. 차량이 상기 가이드부(241, 242) 상에 위치한 후, 카메라(11)를 통한 촬영이 이루어지고, 카메라(11)를 통해 촬영된 카메라 이미지에는 캘리브레이션 패널(200)이 포함되게 된다. 또한, 캘리브레이션 패널(200)은 바닥면과 캘리브레이션 패널(200)의 구분을 위해 미리 설정된 색으로 이루어지는 것이 바람직하다. 일반적으로 주차장 등은 녹색 등으로 바닥이 처리되어 있고, 골목길이나 도로 등의 경우 바닥면이 회색이나 붉은색으로 존재한다. 이에 따라, 캘리브레이션 패널(200)은 일반적으로 바닥면에 존재할 수 있는 색상과 캘리브레이션 패널(200) 간의 구분을 위해 제 1 색(예를 들어, 황색)으로 이루어질 수 있다.1 is a conceptual diagram of a
또한, 캘리브레이션 패널(200)은 복수의 기준 마커(211, 212, 213, 214)들과, 복수의 기준 패턴(231, 232, 233, 234)들을 포함할 수 있다. 또한, 복수의 기준 마커(211, 212, 213, 214)들을 꼭지점으로 연결하면 패턴 영역(220)이 형성될 수 있는데, 여기서 복수의 기준 패턴(231, 232, 233, 234)들은 패턴 영역(220) 내에 위치된다. 또한, 캘리브레이션 패널(200) 내부에 존재하는 기준 마커(211, 212, 213, 214) 및 기준 패턴(211, 212, 213, 214)은 제 2 색으로 이루어질 수 있다. 즉, 캘리브레이션 패널(200)의 베이스 부분과, 마커 및 패턴은 색상 구분이 용이하도록 서로 다른 색으로 이루어지는 것이 바람직하다.The
또한, 각 기준 패턴(231, 232, 233, 234)은 다각형, 원형 또는 타원형의 형상을 가질 수 있다. 이하의 설명에서 기준 패턴(231, 232, 233, 234)은 사각형의 형상, 구체적으로 마름모의 형상을 갖는 것으로 언급되나 이는 예시일 뿐이고, 수직선을 기준으로 좌우가 대칭되고, 수평선을 기준으로 상하가 대칭되는 형상이라면 다른 형상으로 적용되는 것도 가능하다. Each of the
만약, 카메라(11)에 적용된 렌즈에 왜곡이 존재하거나, 카메라의 설치 위치 또는 방향이 올바르게 설치되지 않은 경우, 카메라(11)를 통해 촬영된 카메라 이미지를 근거로 생성된 조감도 이미지에는 적어도 일부 영역에 왜곡 또는 일그러짐이 발생하게 된다. 즉, 상하 및 좌우가 대칭된 패턴을 촬영함으로써 조감도 이미지가 생성되면, 조감도 이미지 내에 존재하는 왜곡 또는 일그러짐의 위치가 어느 곳에 존재하는 지 알 수 있게 된다. 또한, 정상 패턴의 형상은 미리 알고 있기에, 조감도 이미지에 존재하는 기준 패턴과, 정상 패턴 간 비교를 수행하면 상술한 왜곡 또는 일그러짐의 위치 파악이 가능해지고, 파악된 위치에 대한 처리를 통해 교정을 수행하는 것이 가능하다. 이에 따라, 본 발명의 일 실시예에 따른 캘리브레이션 패널(200)은 수직선을 기준으로 좌우가 대칭되고, 수평선을 기준으로 상하가 대칭되는 복수의 기준 패턴(231, 232, 233, 234)들을 포함하여 구성되어, 조감도 이미지 내에 왜곡 또는 일그러짐 등이 포함되는지의 여부를 판단하는데 이용될 수 있다.If the lens applied to the
이렇게, 본 발명의 일 실시예에 따른 캘리브레이션 장치(100)는 위에서 언급한 특성을 갖는 캘리브레이션 패널(200)을 촬영하고, 조감도 이미지를 분석함으로써 캘리브레이션 과정을 수행한다. 구체적으로, 본 발명의 일 실시예에 따른 캘리브레이션 장치(100)는 카메라 이미지 내에서 복수의 기준 마커(211, 212, 213, 214)들을 탐색하고, 복수의 기준 마커들의 좌표를 추출함으로써 조감도 이미지를 생성하고, 조감도 이미지에서 복수의 기준 패턴(231, 232, 233, 234)들을 추출하며, 기준 패턴과 정상 패턴의 차이가 최소가 되도록 카메라 이미지 내에서 기준 마커의 좌표를 이동시키면서 캘리브레이션을 수행하는 것을 특징으로 한다. 이제, 도 2를 참조로 본 발명의 일 실시예에 따른 캘리브레이션 장치(100)에 대한 구체적인 설명이 이루어진다.In this way, the
도 2는 본 발명의 일 실시예에 따른 캘리브레이션 장치(100)에 대한 블록도이다. 여기서, 본 발명의 일 실시예에 따른 캘리브레이션 장치(100)는 캘리브레이션 모드에 진입할 경우 동작될 수 있고, 캘리브레이션 패널(200)을 촬영한 영역이 포함된 조감도 이미지를 분석함으로써, 캘리브레이션 과정을 수행하는 것을 특징으로 한다. 구체적으로, 본 발명의 일 실시예에 따른 캘리브레이션 장치(100)는 카메라 이미지를 근거로 조감도 이미지를 생성하고, 조감도 이미지 내에서 탐색한 기준 패턴과 정상 패턴을 비교함으로써 왜곡 또는 일그러짐 존재 여부를 판단하며, 기준 패턴과 정상 패턴 간 차이가 최소가 되도록 캘리브레이션을 수행하는 것을 특징으로 한다. 2 is a block diagram of a
이를 위해, 본 발명의 일 실시예에 따른 캘리브레이션 장치(100)는 저장부(110), 이미지 획득부(120), 조감도 이미지 생성부(130), 기준 마커 탐색부(140), 기준 패턴 추출부(150), 패턴 비교부(160), 마커 좌표 조정부(170) 및 캘리브레이션부(180)를 포함하는 것을 특징으로 한다. 아래의 설명에서, 캘리브레이션 장치(100)는 복수의 구성들로 구성되는 것으로 설명되나 이는 예시일 뿐이고, 하나의 CPU, ECU 또는 GPU와 같이 하나의 처리 장치를 통해 해당 기능들이 구현되는 것도 가능하다. The
저장부(110)는 차량에 장착된 카메라(11)를 통해 촬영된 카메라 이미지가 저장될 수 있다. 또한, 저장부(110)는 아래에서 설명되는 카메라 이미지를 조감도 이미지로 변환하기 위한 룩업 테이블을 더 구비할 수 있다.The
이미지 획득부(120)는 저장부(110)에 저장된 카메라 이미지를 획득하는 기능을 한다. 여기서, 카메라 이미지에는 캘리브레이션 패널이 촬영된 영역이 존재하는 카메라 이미지로서, 본 발명의 일 실시예에 따른 캘리브레이션 장치(100)는 이러한 캘리브레이션 패널이 촬영된 영역을 분석함으로써 캘리브레이션을 수행하는 것을 특징으로 한다. 또한, 이미지 획득부(120)는 렌즈 왜곡이 존재하는 경우, 해당 카메라 이미지에 대한 왜곡 보정을 더 수행할 수 있다.The
기준 마커 탐색부(140)는 이미지 획득부 (130)를 통해 획득된 또는 왜곡이 보정된 카메라 이미지 내에서 기준 마커를 탐색하는 기능을 한다. 구체적으로, 기준 마커 탐색부(140)는 카메라 이미지 내에서 기준 마커의 위치를 탐색하고, 기준 마커의 좌표값들을 추출한다. 여기서, 카메라 이미지 내에 존재하는 기준 마커의 좌표값들은 아래에서 설명되는 것처럼 조감도 이미지의 조정을 위해 사용될 수 있다.The fiducial
조감도 이미지 생성부(130)는 기준 마커 탐색부(140)를 통해 추출된 기준 마커들의 좌표를 이용하여, 이미지 획득부(120)를 통해 획득한 카메라 이미지를 조감도 이미지로 변환하는 기능을 한다. 구체적으로, 조감도 이미지 생성부(130)는 기준 마커 탐색부(140)를 통해 추출된 기준 마커들의 좌표를 이용하여, 획득한 카메라 이미지를 시점 변환함으로써 조감도 이미지를 생성하는 기능을 한다. 예를 들어, 조감도 이미지는 저장부(110)에 저장된 룩업 테이블을 근거로 투시 변환을 이용하여 생성될 수 있다. 구체적으로, 조감도 이미지 생성부(130)는 지면상의 이미지의 위치 데이터가 카메라의 위치(R)로부터 초점 거리(f)를 갖는 스크린 평면(T)상으로 투영되는 방식으로 투시 변환을 실행할 수 있다.The bird's-eye view
보다 상세하게 설명하면, 카메라(11)가 Z-축상의 포인트(R)(0,0,H)에 위치되어, 내려다보는 각도(
즉, 상기 수학식 1을 이용함으로써, 투영된 영상을(조감도 이미지를 보여주는) 근거로 조감도 이미지를 생성할 수 있다. 다만, 조감도 이미지를 생성하는 방법은 상기 방식 외에 다른 다양한 방법으로 구현될 수 있고, 본 발명의 일 실시예에 따른 조감도 이미지 생성부(130)를 통해 이루어지는 조감도 이미지 생성 방법은 상기 방식으로 제한되지 않는다.That is, by using Equation (1), the bird's-eye image can be generated based on the projected image (showing the bird's-eye view image). However, the method of generating the bird's-eye image may be implemented by various methods other than the above method, and the bird's-eye image generating method through the bird's-eye
기준 패턴 추출부(150)는 조감도 이미지 생성부(130)를 통해 생성한 조감도 이미지 내에서 기준 패턴을 추출하는 기능을 한다. 앞서 언급한 것처럼, 기준 패턴은 캘리브레이션 패널 내에 복수개가 존재할 수 있고, 각 기준 패턴은 상하 및 좌우가 대칭된 형태를 가질 수 있다.The reference
패턴 비교부(160)는 기준 패턴 추출부(150)를 통해 추출한 기준 패턴과 저장부(110)에 저장된 정상 패턴을 비교하는 기능을 한다. 여기서, 정상 패턴은 정상 조건에서 생성된 캘리브레이션 패널에 대한 조감도 이미지에서의 패턴을 나타낸다. 즉, 조감도 이미지 생성부(130)를 통해 생성된 조감도 이미지에 왜곡이 존재하지 않는다면, 조감도 이미지 내에 존재하는 기준 패턴들의 형상은 정상 패턴의 형상과 동일할 것이다. 이에 따라, 패턴 비교부(160)는 기준 패턴과 정상 조감도 이미지 내의 정상 패턴 간의 비교를 수행하고, 이들 패턴들의 형상이 동일할 경우 차량에 장착된 카메라의 렌즈, 설치 각도, 설치 방향 및 조감도 이미지의 생성에 필요한 룩업 테이블 모두를 정상으로 판단할 수 있다. 반대로, 기준 패턴과 정상 조감도 이미지 내의 정상 패턴 간 차이가 존재한다면 카메라의 렌즈, 설치 각도, 설치 방향 및 조감도 이미지의 생성에 필요한 룩업 테이블 중 적어도 하나에 이상이 있는 것으로 판단할 수 있다.The
마커 좌표 조정부(170)는 기준 패턴과 정상 패턴 간의 차이가 최소가 되도록 카메라 이미지 내의 기준 마커의 좌표를 조정하는 기능을 한다. 카메라 이미지 내에서 기준 마커 탐색부(140)를 통해 기준 마커의 좌표가 정상적으로 도출된다면 위의 설명과 같이 조감도 이미지에 포함된 기준 패턴의 형상과 정상 패턴의 형상은 동일할 것이다. 다만, 기준 마커 탐색부(140)를 통해 기준 마커들의 좌표가 올바르지 않게 도출될 경우, 조감도 이미지가 올바르지 않게 도출된 기준 마커들의 좌표를 이용하는 점에 기인하여, 조감도 이미지 생성부(130)를 통해 생성된 조감도 이미지에 왜곡이 발생할 것이다. 이에 따라, 마커 좌표 조정부(170)는 기준 패턴과 정상 패턴 간의 차이가 최소가 되도록 기준 마커의 좌표를 조정하는 기능을 수행한다.The marker coordinate
여기서, 마커 좌표 조정부(170)는 조감도 이미지 내에서 복수의 기준 마커들의 좌표를 서브 픽셀 단위로 조정함으로써 조감도 이미지를 교정하는 기능을 한다. 또한, 마커 좌표 조정부(170)를 통해 이루어지는 기준 마커의 좌표 조정은 복수개의 기준 마커들의 좌표를 동시에 조정하는 것이 아닌, 하나의 기준 마커 단위로 좌표 조정을 수행하는 것을 특징으로 한다.Here, the marker coordinate
즉, 캘리브레이션 패널 내에 4개의 기준 마커가 존재하는 상황을 가정하면, 기준 패턴의 형상과 정상 패턴 간의 형상에 차이가 있을 때, 4개의 기준 마커들 중 제 1 기준 마커의 좌표값을 조정하게 된다. 여기서, 제 1 기준 마커의 좌표값을 조정하게 되면, 조감도 이미지 내에서 제 1 기준 마커의 좌표값의 변경에 따라 기준 패턴의 형상은 변경된다. That is, assuming that there are four reference markers in the calibration panel, when there is a difference between the shape of the reference pattern and the shape of the normal pattern, the coordinate value of the first reference marker among the four reference markers is adjusted. Here, when the coordinate value of the first reference marker is adjusted, the shape of the reference pattern is changed in accordance with the change of the coordinate value of the first reference marker in the bird's-eye image.
그 후, 기준 패턴 추출부(150)에서 제 1 기준 마커의 좌표값이 조정된 조감도 이미지에서 기준 패턴들을 추출하고, 패턴 비교부(160)를 통해 기준 패턴과 정상 패턴 간 비교 과정이 수행된다. 여기서, 좌표 조정의 경우 서브 픽셀 단위로 이루어지므로, 하나의 기준 마커 당 좌표 과정 및 패턴 비교 과정은 복수회가 이루어질 수 있고, 패턴 비교를 통해 해당 기준 마커의 최적의 좌표값을 찾는 과정이 수행된다. 이렇게 최적의 좌표값이 결정되면, 다음 기준 마커 즉, 제 2 기준 마커에 대해서도 동일한 과정이 수행되고, 모든 기준 마커(즉, 제 1 기준 마커부터 제 4 기준 마커까지)에 대한 과정 수행이 완료될 때까지 교정 과정이 반복된다.Thereafter, the reference
또한, 마커 좌표 조정부(170)는 복수의 기준 마커들의 좌표를 동시에 조정하는 것이 아닌 하나의 기준 마커 단위로 좌표를 조정하는데, 이는 복수의 기준 마커들의 좌표를 동시에 조정하게 되면, 좌표 조정 및 패턴 비교에 필요한 연산량이 기하급수적으로 증가하게 되기 때문이다. 이에 따라, 마커 좌표 조정부(170)는 최적의 연산을 위해 하나의 기준 마커 단위로 조정을 수행한다.In addition, the marker coordinate
캘리브레이션부(180)는 기준 패턴과 정상 패턴 간의 차이가 최소가 될 때, 조감도 이미지 내에서 복수의 기준 마커들의 좌표 조정값들을 근거로 룩업 테이블에 대한 캘리브레이션을 수행하는 기능을 한다. 물론, 캘리브레이션부(180)는 기존에 생성된 룩업 테이블을 단순히 수정하는 것이 아닌, 상기 좌표 조정값들을 근거로 룩업 테이블을 새롭게 생성하는 것도 가능하다. 이에 따라, 카메라 이미지를 근거로 촬영된 조감도 이미지에 발생할 수 있는 왜곡 또는 일그러짐 현상이 해소될 수 있다. 캘리브레이션부(180)를 수정된 또는 생성된 룩업 테이블은 저장부(110)에 전달되어, 차후 조감도 이미지 생성 시 활용될 수 있다. 이제, 도 3 내지 도 9를 참조로 본 발명의 일 실시예에 따른 캘리브레이션 장치를 통한 캘리브레이션 방법에 대해 설명된다.The
도 3, 도 4a 내지 도 4d, 도 5a 내지 도 5d, 도 6a 내지 도 6d 및 도 7 내지 도 9는 본 발명의 일 실시예에 따른 캘리브레이션 장치를 통한 캘리브레이션 방법을 설명하기 위한 개념도이고, 도 3은 정상적인 환경에서 생성된 정상 조감도 이미지의 일 예시를 나타낸다. 상술한 것처럼, 캘리브레이션을 위해서는 조감도 이미지 내에 캘리브레이션 패널이 포함되어야 하고, 캘리브레이션 패널 내부에는 복수의 기준 마커들과 복수의 기준 패턴들이 포함된 것을 특징으로 한다. 여기서, 기준 패턴의 경우 상하 및 좌우가 대칭된 형상을 갖는다. FIGS. 3, 4A to 4D, 5A to 5D, 6A to 6D, and 7 to 9 are conceptual diagrams for explaining a calibration method using a calibration apparatus according to an embodiment of the present invention. Shows an example of a normal bird's-eye image generated in a normal environment. As described above, in order to perform calibration, a calibration panel must be included in the bird's-eye image, and a plurality of reference markers and a plurality of reference patterns are included in the calibration panel. Here, in the case of the reference pattern, the upper and lower sides and the left and right sides have a symmetrical shape.
이에 따라 정상 환경에서 생성된 정상 조감도 이미지 내부에는 복수의 정상 마커(n_rm1, n_rm2, n_rm3, n_rm4)들과, 복수의 정상 패턴(n_rp1, n_rp2, n_rp3, n_rp4)들이 포함되고, 도 3에 도시된 것처럼 복수의 정상 패턴(n_rp1, n_rp2, n_rp3, n_rp4)들의 형상은 좌우 및 상하가 대칭된 형상을 갖는다. 만약, 캘리브레이션을 위해 생성된 조감도 이미지에 어떠한 오류도 존재하지 않는다면, 조감도 이미지 내부에 포함된 기준 마커와 기준 패턴들의 형상 및 좌표는 도 3에 도시된 정상 조감도 이미지 내부에 포함된 정상 마커와 정상 패턴들의 형상 및 좌표와 동일하거나, 거의 유사해야 한다.Accordingly, a plurality of normal markers (n_rm 1 , n_rm 2 , n_rm 3 , n_rm 4 ) and a plurality of normal patterns (n_rp 1 , n_rp 2 , n_rp 3 , n_rp 4 ) are included in the normal bird's- , And the shape of the plurality of normal patterns (n_rp 1 , n_rp 2 , n_rp 3 , n_rp 4 ) as shown in FIG. 3 has a symmetrical shape in left and right and up and down. If there is no error in the bird's-eye image generated for the calibration, the shape and coordinates of the reference markers and reference patterns included in the bird's-eye image are the same as the normal markers included in the normal bird's- The shape and the coordinates of the two or more of them.
이제, 도 4a 내지 도 4d를 참조로 카메라 이미지 내에서 기준 마커들의 좌표를 올바르게 찾았을 때, 본 발명의 일 실시예에 따른 캘리브레이션 장치(100)를 통한 동작에 대한 설명이 이루어진다.Now, with reference to FIGS. 4A-4D, when the coordinates of the fiducial markers in the camera image are correctly found, a description is given of the operation through the
도 4a는 차량에 장착된 카메라를 통해 본 발명의 일 실시예에 따른 캘리브레이션 패널이 촬영된 일 예시를 나타낸다. 위에서 설명된 것처럼, 차량에 장착된 카메라에는 렌즈에 왜곡이 존재할 수 있으므로, 본 발명의 일 실시예에 따른 캘리브레이션 장치(100)는 왜곡 보정을 수행할 수 있고, 이에 따라 도 4b에 도시된 것처럼 왜곡이 보정된 카메라 이미지를 획득할 수 있다. 4A shows an example of a calibration panel taken through a camera mounted on a vehicle according to an embodiment of the present invention. As described above, the camera mounted on the vehicle may have distortion in the lens, so that the
그 후, 본 발명의 일 실시예에 따른 캘리브레이션 장치(100)는 카메라 이미지 내에서 복수의 기준 마커(rm11, rm12, rm13, rm14)들을 탐색하고, 복수의 기준 마커(rm11, rm12, rm13, rm14)들의 좌표값들을 추출한다. 이러한 복수의 기준 마커(rm11, rm12, rm13, rm14)들의 좌표값 추출이 완료되면, 본 발명의 일 실시예에 따른 캘리브레이션 장치(100)는 복수의 기준 마커(rm11, rm12, rm13, rm14)들의 좌표값들을 근거로 카메라 이미지를 시점 변환함으로써 조감도 이미지를 생성할 수 있다(도 4c 참조).The
본 예시의 경우, 본 발명의 일 실시예에 따른 캘리브레이션 장치(100)가 카메라 이미지 내에서 복수의 기준 마커(rm11, rm12, rm13, rm14)의 좌표에 해당하는 지점(m_rm11, m_rm12, m_rm13, m_rm14)의 좌표값들을 추출한 상황을 가정하므로, 도 4c에 도시된 바와 같이, 기준 패턴(rp11, rp12, rp13, rp14)의 형상은 도 4을 참조로 언급된 정상 패턴의 형상과 동일하다. 또한, 복수의 기준 마커(rm11, rm12, rm13, rm14)들의 좌표값들이 올바르게 추출될 경우, 도 4d에 도시된 것처럼 기준 패턴(rp11, rp12, rp13, rp14)의 형상은 모두 동일할 수 있다. 이제, 조감도 이미지 생성부(130)를 통해 생성된 조감도 이미지가 왜곡이 존재할 때, 본 발명의 일 실시예에 따른 캘리브레이션 장치(100)를 통해 캘리브레이션을 수행하는 방법에 대해 설명된다. 즉, 도 5a에 도시된 것처럼 왜곡이 보정된 카메라 이미지 또는 카메라 이미지에서 복수의 기준 마커(rm21, rm22, rm23, rm24)들 중 네 번째 기준 마커(rm24)의 좌표값이 지점(m_rm24)에 대해 추출된 상황을 가정한다. 이 경우, 본 발명의 일 실시예에 따른 캘리브레이션 장치(100)는 기준 마커(rm21, rm22, rm23, rm24)들 중 네 번째 기준 마커(rm24)의 좌표값이 올바르지 않게 추출된 점에 기인하여, 도 5b에 도시된 것처럼 왜곡이 존재하는 조감도 이미지를 생성하게 된다.In this example, the
즉, 도 5b에 도시된 것처럼 조감도 이미지 내에서 기준 패턴(rp11, rp12, rp13, rp14)의 형상은 정상 패턴과의 형상과는 차이가 발생하고, 도 5c에 도시된 것처럼 각 기준 패턴의 크기 및 형상은 모두 상이하게 된다. 즉, 조감도 이미지 내에 왜곡이 존재할 경우, 조감도 이미지 내에서 캘리브레이션 패널 그 자체에도 왜곡이 존재할 뿐만 아니라, 캘리브레이션 패널에 포함된 기준 패턴들에도 왜곡이 존재하게 된다. That is, as shown in FIG. 5B, the shapes of the reference patterns rp 11 , rp 12 , rp 13 , and rp 14 in the bird's-eye image are different from those of the normal pattern, The size and shape of the pattern are all different. That is, when there is a distortion in the bird's-eye image, not only distortion exists in the calibration panel itself in the bird's-eye image, but also distortion exists in the reference patterns included in the calibration panel.
이렇게 왜곡 또는 일그러짐이 발생한 것으로 판단된 경우, 본 발명의 일 실시예에 따른 캘리브레이션 장치(100)는 도 5d에 도시된 것처럼 하나의 기준 마커 단위로 기준 마커의 좌표값들을 조정하는 과정을 수행한다. If it is determined that distortion or distortion has occurred, the
구체적으로, 본 발명의 일 실시예에 따른 캘리브레이션 장치(100)는 조감도 이미지 내에서 하나의 기준 마커씩 복수의 기준 마커들의 좌표를 서브 픽셀 단위로 조정함으로써 조감도 이미지를 교정하는 기능을 한다. 앞서 설명한 바와 같이, 조감도 이미지 내에서 기준 마커의 좌표를 조정하게 되면, 조감도 이미지 내에서 기준 마커의 위치만 변경되는 것이 아닌, 기준 마커의 위치 변경에 따라 캘리브레이션 패널의 형상도 일부 변경되게 된다. 이에 따라, 본 발명의 일 실시예에 따른 캘리브레이션 장치(100)는 하나의 기준 마커 단위로 좌표 조정을 수행하고 기준 마커의 최적의 좌표값을 찾는다.Specifically, the
또한, 기준 마커의 좌표값 교정을 수행할 때, 교정 방향은 특정 하나의 방향이 아닌 복수의 방향에 대해 이루어질 수 있다. 본 예시의 경우 왜곡이 우측 상단과 좌측 하단 방향만으로 가정되었으나, 실제 환경에서는 다양한 왜곡이 발생할 수 있기에 교정 방향을 특정한 하나의 방향만으로 설정하기가 어렵다. 이에 따라, 본 발명의 일 실시예에 따른 캘리브레이션 장치(100)는 복수의 방향으로 서브픽셀 단위로 교정을 수행해보고, 정상 패턴과 기준 패턴이 가장 유사할 때의 좌표값을 활용하는 것을 특징으로 한다. 이렇게 각 기준 마커의 좌표값의 교정이 이루어지면, 아래에서 도 7을 참조로 설명되는 바와 같이 조감도 이미지에 존재하는 왜곡을 제거할 수 있다. 또한, 본 예시의 경우 4개의 기준 마커들 중 하나의 기준 마커에 대해서만 좌표값이 올바르지 않게 추출된 상황을 가정하였으나, 본 발명의 일 실시예에 따른 캘리브레이션 장치(100)는 도 6a 내지 도 6d에 도시된 것처럼 2개의 기준 마커들에 대해 좌표값이 올바르지 않게 추출되더라도 상술한 캘리브레이션 과정을 수행할 수 있다.Further, when the coordinate value calibration of the fiducial markers is performed, the calibration direction can be made for a plurality of directions other than a specific one direction. In this example, distortion is assumed to be only in the upper right and lower left directions. However, since various distortions may occur in a real environment, it is difficult to set the direction of the correction to only one specific direction. Accordingly, the
즉, 도 6a에 도시된 것처럼 카메라 이미지에 존재하는 4개의 기준 마커(rm31, rm32, rm33, rm34)들 기준 마커들 중 2개의 기준 마커(rm32, rm34)들의 좌표값이 지점(rm32, rm34)에 대해 추출된 상황을 가정한다. 이 경우, 생성되는 조감도 이미지는 도 6b 및 도 6c에 도시된 것처럼 도 5b에 도시된 조감도 이미지에 비해 왜곡이 더 발생한다. That is, as shown in FIG. 6A, the coordinate values of two reference markers (rm 32 , rm 34 ) among the reference markers (rm 31 , rm 32 , rm 33 , rm 34 ) Assume a situation extracted for points (rm 32 , rm 34 ). In this case, the generated bird's-eye image generates more distortion than the bird's-eye image shown in Fig. 5B as shown in Figs. 6B and 6C.
하지만, 복수의 기준 마커들 중 2개의 기준 마커의 좌표값을 올바르지 않게 추출하더라도, 본 발명의 일 실시예에 따른 캘리브레이션 장치(100)는 도 6d에 도시된 것처럼 하나의 기준 마커씩 복수의 기준 마커들의 좌표를 서브 픽셀 단위로 조정함으로써 조감도 이미지를 교정하는 과정을 거치게 된다. 이에 따라, 2개 이상의 기준 마커들의 좌표값을 올바르지 않게 도출하더라도, 결과적으로는 도 5a 내지 도 5d에 도시된 예시와 마찬가지로 도 7에 도시된 것처럼 왜곡이 보정된 조감도 이미지를 획득할 수 있게 된다.However, even if the coordinate values of two fiducial markers among the plurality of fiducial markers are incorrectly extracted, the
또한, 위의 설명에서 기준 패턴과 정상 패턴 간의 비교는 복수의 패턴들 전체에 대해 이루어지는 것으로 설명되었다. 다만, 본 발명의 일 실시예에 따른 캘리브레이션 장치(100)는 기준 마커의 좌표값을 조정할 때 하나의 기준 마커 단위로 좌표값을 조정하는 것을 특징으로 한다. 여기서, 하나의 기준 마커에 대한 좌표값을 조정할 때, 조정된 기준 마커의 좌표 쪽의 경우 기준 패턴의 형상에 변화가 크지만, 다른 기준 마커들이 위치한 쪽의 기준 마커의 형상에는 그 변화가 적다. 이에 따라, 본 발명의 일 실시예에 따른 캘리브레이션 장치(100)는 패턴 비교 시, 전체 패턴 단위가 아닌 도 8에 도시된 것처럼 조감도 이미지 내의 캘리브레이션 패널을 복수의 서브 영역들로 구분하고, 서브 영역 단위로 패턴 비교를 수행하는 것을 생각해 볼 수 있다. Also, in the above description, the comparison between the reference pattern and the normal pattern has been described as being performed for all of a plurality of patterns. However, the
즉, 본 발명의 일 실시예에 따른 캘리브레이션 장치(100)는 도 8에 도시된 것처럼, 조감도 이미지에서 캘리브레이션 패널을 복수의 서브 영역(sa1, sa2, sa3, sa4)들로 구분하고, 좌표 조정 과정이 이루어지는 기준 마커가 속한 서브 영역을 선택하며, 선택한 서브 영역 내의 기준 패턴들과, 정상 조감도 이미지 내에서 상기 선택한 서브 영역에 해당하는 정상 서브 영역 내의 정상 패턴들을 비교할 수 있다. 이렇게, 서브 영역 단위로 패턴 비교를 수행한다면, 패턴 비교를 위해 필요한 처리량이 감소하게 되므로, 처리 효율을 높일 수 있다.That is, the
도 9는 룩업 테이블의 캘리브레이션을 위해 캘리브레이션 모드에 진입할 때 운전자에게 제공되는 출력 화면의 예시를 나타내는 개념도이다. 도 9에 도시된 바와 같이, 캘리브레이션 모드에 진입하면 카메라를 통해 촬영되는 카메라 이미지가 운전자에게 제공될 수 있다. 여기서, 캘리브레이션을 위해서는 캘리브레이션의 정확도를 높이기 위해 카메라 이미지 또는 조감도 이미지 내에서 캘리브레이션 패널의 위치가 출력 화면의 중앙에 오는 것이 바람직하다. 이에 따라, 본 발명의 일 실시예에 따른 캘리브레이션 장치(100)는 영상 분석을 통해 카메라 이미지 내에서 캘리브레이션 패널의 위치를 확인하고, 캘리브레이션 패널의 위치가 출력 화면의 중앙에 오도록 운전자를 유도할 수 있다. 9 is a conceptual diagram showing an example of an output screen provided to the driver when entering the calibration mode for calibration of the look-up table. As shown in FIG. 9, when entering the calibration mode, a camera image photographed through the camera can be provided to the driver. Here, for calibration, it is preferable that the position of the calibration panel in the camera image or the bird's-eye image comes to the center of the output screen in order to increase the accuracy of the calibration. Accordingly, the
예를 들어, 캘리브레이션 패널의 위치가 출력 화면 중앙에 위치하지 않을 경우, 본 발명의 일 실시예에 따른 캘리브레이션 장치는 알림 메시지를 통해 운전자의 차량의 움직임을 유도하고, 캘리브레이션 패널의 위치가 출력 화면 중앙에 위치할 때, 위에서 설명한 캘리브레이션 과정을 수행할 수 있다. 물론, 도 1을 참조로 설명한 것처럼, 캘리브레이션 패널에는 차량의 바퀴가 놓일 가이드부를 포함하므로, 차량 바퀴가 상기 가이드부에 놓이도록 운전자를 유도하는 것도 가능하다.For example, when the position of the calibration panel is not located at the center of the output screen, the calibration device according to an embodiment of the present invention induces the driver's movement of the vehicle through the notification message, The above-described calibration process can be performed. Of course, as described with reference to Fig. 1, since the calibration panel includes the guide portion on which the wheels of the vehicle are to be placed, it is also possible to guide the driver such that the vehicle wheels are placed on the guide portion.
또한, 본 발명의 일 실시예에 따른 캘리브레이션 장치(100)는 차량 바퀴가 가이드부에 놓이지 않고, 조감도 이미지 내에서 캘리브레이션 패널이 조감도 이미지의 하부와 각도를 형성하면서 놓인 상황에서도 상술한 캘리브레이션을 수행할 수 있다. 즉, 본 발명의 일 실시예에 따른 캘리브레이션 장치(100)는 조감도 이미지 내에서 복수의 기준 마커들을 연결한 선분 중 장변 또는 단변과 조감도 이미지를 이루는 변들 간 각도를 측정하고, 해당 각도를 고려하여 캘리브레이션을 수행하는 것도 생각해볼 수 있다.In addition, the
도 10는 본 발명의 일 실시예에 따른 캘리브레이션 방법에 대한 흐름도이다. 이제, 도 10을 참조로 본 발명의 일 실시예에 따른 캘리브레이션 방법에 대한 설명이 이루어진다. 또한, 아래에서는 위에서 언급된 부분과 중복되는 사항은 생략하여 그 설명이 이루어진다.10 is a flowchart of a calibration method according to an embodiment of the present invention. A description will now be given of a calibration method according to an embodiment of the present invention with reference to FIG. Further, in the following description, the redundant description is omitted.
S110 단계는 캘리브레이션 모드에 진입하는 단계이다. 여기서, 캘리브레이션 모드 진입은 별도의 입력부를 통해 이루어지거나, 또는 차량에 포함된 입력 장치들을 통해 특정 명령을 입력할 시 이루어질 수 있다. 캘리브레이션 모드에 진입이 되면, 이하에서 설명되는 캘리브레이션 과정들이 수행될 수 있다.Step S110 is a step for entering the calibration mode. Here, the entry into the calibration mode may be performed through a separate input unit, or may be performed when inputting a specific command through input devices included in the vehicle. When entering the calibration mode, the calibration procedures described below can be performed.
S120 단계는 이미지 획득부에 의해, 복수의 기준 마커들과 복수의 기준 패턴들을 포함하는 캘리브레이션 패널이 촬영된 카메라 이미지를 획득하는 단계이다. 여기서, 운전자 또는 사용자는 차량에 장착된 카메라를 통해 캘리브레이션 패널을 촬영하고, 이렇게 촬영된 카메라 이미지는 저장부에 저장되는데, S120 단계는 저장부에 저장된 카메라 이미지를 획득하는 단계이다. 또한, 도 1을 참조로 설명한 바와 같이, 캘리브레이션 패널에는 복수의 기준 마커들과 복수의 기준 패턴들이 포함될 수 있고, 여기서 복수의 기준 패턴들은 복수의 기준 마커들을 꼭짓점으로 연결한 패턴 영역 내에 위치할 수 있다. 또한, 기준 패턴은 아래에서 설명되는 패턴 비교를 위해 수직선을 기준으로 좌우가 대칭되고, 수평선을 기준으로 상하가 대칭되는 형태를 가질 수 있다. 여기서, 캘리브레이션 패널에 대한 설명은 위에서 도 1을 참조로 상세히 언급하였으므로, 중복되는 설명은 생략한다.S130 단계는 기준 마커 탐색부에 의해, 상기 카메라 이미지 내에서 기준 마커를 탐색하고, 기준 마커의 좌표값을 추출하는 단계이다.Step S120 is a step of obtaining, by the image obtaining unit, a camera image in which a calibration panel including a plurality of reference markers and a plurality of reference patterns is photographed. Here, the driver or the user photographs the calibration panel through the camera mounted on the vehicle, and the camera image thus captured is stored in the storage unit. In step S120, the camera image stored in the storage unit is acquired. Also, as described with reference to FIG. 1, the calibration panel may include a plurality of reference markers and a plurality of reference patterns, wherein the plurality of reference patterns may be positioned within a pattern area connected by a plurality of reference markers have. In addition, the reference pattern may have a shape in which the left and right are symmetrical with respect to the vertical line for the pattern comparison described below, and the up and down are symmetrical with respect to the horizontal line. The description of the calibration panel has been described in detail with reference to FIG. 1, and thus a duplicate description will be omitted. In step S130, the reference marker search unit searches for a reference marker in the camera image, .
S140 단계는 조감도 이미지 생성부에 의해, S130 단계를 통해 추출된 기준 마커의 좌표값을 이용하여 카메라 이미지를 시점 변환함으로써, 카메라 이미지에 대한 조감도 이미지를 생성하는 단계이다. 구체적으로, S140 단계는 저장부에 저장된 룩업 테이블을 이용하여 카메라 이미지의 시점을 변환함으로써 조감도 이미지를 생성하는 단계이다.In step S140, the bird's-eye view image generating unit generates a bird's-eye view image for the camera image by performing a viewpoint conversion of the camera image using the coordinate values of the reference markers extracted in step S130. Specifically, the step S140 is a step of generating a bird's-eye image by converting a viewpoint of a camera image using a lookup table stored in a storage unit.
S150 단계는 기준 패턴 추출부에 의해, 조감도 이미지 내에서 기준 패턴을 추출하는 단계이다. 위에서 설명된 바와 같이 기준 패턴은 캘리브레이션 패널 내에 복수개가 존재할 수 있고, 각 기준 패턴은 상하 및 좌우가 대칭된 형태를 가질 수 있다.Step S150 is a step of extracting a reference pattern in the bird's-eye view image by the reference pattern extracting unit. As described above, a plurality of reference patterns may exist in the calibration panel, and each reference pattern may have a symmetrical shape of up, down, left, and right.
S160 단계는 패턴 비교부에 의해, 기준 마커들의 좌표값들이 최적인지 판단하는 단계이다. 앞서 설명한 것처럼 본 발명의 일 실시예에 따른 캘리브레이션 방법은 기준 패턴과 정상 패턴 간의 차이가 최소가 되도록 기준 마커들의 좌표를 조정하는 것을 특징으로 한다. 이를 위해, S160 단계는 조감도 이미지 내에서 추출한 기준 패턴과 정상 조감도 이미지 내의 정상 패턴을 비교하는 단계를 포함할 수 있고, 이러한 비교 결과를 근거로 상술한 판단을 수행할 수 있다.In step S160, the pattern comparison unit determines whether the coordinate values of the reference markers are optimal. As described above, the calibration method according to an embodiment of the present invention is characterized in that the coordinates of the reference markers are adjusted so that the difference between the reference pattern and the normal pattern is minimized. For this, the step S160 may include comparing the reference pattern extracted in the bird's-eye image with the normal pattern in the normal bird's-eye image, and the above-described determination may be performed based on the comparison result.
S160 단계를 통한 판단 결과 현재 기준 마커들의 좌표값들이 최적인 것으로 판단되면 이하에서 설명되는 기준 마커의 좌표 조정 과정이 필요 없다고 판단하고, 제어는 S180 단계로 전달된다. 그렇지 않은 경우, 제어는 S170 단계로 전달된다.As a result of the determination in step S160, if it is determined that the coordinate values of the current fiducial markers are optimal, it is determined that the coordinate adjustment process of the fiducial marker described below is not necessary, and control is passed to step S180. Otherwise, control is passed to step S170.
S170 단계는 마커 좌표 조정부에 의해수행되는 단계로서, 조감도 이미지 내의 기준 마커의 좌표를 조정하는 단계이다. 앞서 설명한 것처럼, S170 단계는 조감도 이미지 내에서 복수의 기준 마커들 중 하나의 기준 마커의 좌표를 서브 픽셀 단위로 조정함으로써 이루어지고, 조정이 완료되면 제어는 S150 단계로 전달되어 기준 마커의 좌표가 조정된 조감도 이미지 내에서 기준 패턴을 추출하는 단계가 수행된다.Step S170 is a step performed by the marker coordinate adjusting unit, which adjusts the coordinates of the reference marker in the bird's-eye image. As described above, step S170 is performed by adjusting the coordinates of one reference marker among a plurality of reference markers in the bird's-eye image in units of subpixels. When the adjustment is completed, control is passed to step S150, A step of extracting a reference pattern within the bird's-eye view image is performed.
그 후, S160 단계에서, 통해 기준 마커의 좌표가 조정된 조감도 이미지 내에서 추출한 기준 패턴과 상기 정상 패턴을 비교함으로써, 현재 기준 마커들의 좌표값들이 최적인지 판단하는 단계가 수행된다. 판단 결과, 현재 기준 마커들의 좌표값들이 최적이 아닌 것으로 판단된 경우, 제어는 S170 단계로 전달되어 기준 마커의 좌표를 조정하는 과정이 반복 수행된다. 앞서 설명한 것처럼, S150 단계 내지 S170 단계는 하나의 기준 마커 단위로 반복되어 이루어지므로, 최적의 좌표를 찾을 때까지 반복되며, 제 1 기준 마커의 최적의 좌표가 결정되면, 제 2 기준 마커에 대해서도 동일한 과정이 반복적으로 수행된다. 이에 대한 설명은 위에서 상세히 언급하였으므로, 중복되는 설명은 생략한다.Thereafter, in step S160, a step of determining whether the coordinate values of the current reference markers are optimal by comparing the reference pattern extracted in the bird's-eye image with the coordinate of the reference marker adjusted through the normal pattern is performed. If it is determined that the coordinate values of the current fiducial markers are not optimal as a result of the determination, control passes to step 170 and the coordinates of the fiducial marker are adjusted repeatedly. As described above, since steps S150 to S170 are repeated in units of one fiducial marker, they are repeated until the optimum coordinates are found. If the optimal coordinates of the first fiducial markers are determined, the same is also true for the second fiducial markers The process is repeated. The description thereof has been given above in detail, so that redundant description is omitted.
S180 단계는 캘리브레이션부에 의해, 기준 패턴과 정상 패턴 간의 차이가 최소일 때, 조감도 이미지 내에서 복수의 기준 마커들의 좌표 조정값들을 근거로 상기 룩업 테이블에 대한 캘리브레이션을 수행하는 단계이다.Step S180 is a step of performing calibration for the lookup table based on the coordinate adjustment values of a plurality of reference markers in the bird's-eye image, when the difference between the reference pattern and the normal pattern is minimum by the calibration unit.
또한, 위에서 설명한 것처럼, S160 단계를 통해 이루어지는 패턴 비교 과정은 복수의 기준 패턴들과 복수의 정상 패턴들 전체로서 이루어질 수도 있으나, 설정에 따라 조감도 이미지 내에서 캘리브레이션 패널 부분을 복수의 서브 영역들로 구분하고, 해당 서브 영역간 비교를 통해 패턴 비교를 수행하는 방식도 가능하다. 즉, S160 단계는 조감도 이미지 내의 캘리브레이션 패널을 복수의 서브 영역들로 구분하는 단계, 좌표 조정 과정이 이루어지는 기준 마커가 속한 서브 영역을 선택하는 단계, 그리고 선택한 서브 영역 내의 기준 패턴들과, 정상 조감도 이미지 내에서 상기 선택한 서브 영역에 해당하는 정상 서브 영역 내의 정상 패턴들을 비교하는 단계를 포함하여 구성될 수 있다.In addition, as described above, the pattern comparison process performed in step S160 may be performed as a plurality of reference patterns and a plurality of normal patterns as a whole, but the calibration panel portion may be divided into a plurality of sub regions in the bird's- And the pattern comparison is performed through comparison between the sub regions. That is, in step S160, the calibration panel in the bird's-eye image is divided into a plurality of sub-areas, a sub-area to which a reference marker is to be adjusted is selected, And comparing the normal patterns in the normal sub-area corresponding to the selected sub-area within the normal sub-area.
이상에서와 같이 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.As described above, an optimal embodiment has been disclosed in the drawings and specification. Although specific terms have been employed herein, they are used for purposes of illustration only and are not intended to limit the scope of the invention as defined in the claims or the claims. Therefore, those skilled in the art will appreciate that various modifications and equivalent embodiments are possible without departing from the scope of the present invention. Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.
100 : 캘리브레이션 장치 110 : 저장부
120 : 이미지 획득부 130 : 조감도 이미지 생성부
140 : 기준 마커 탐색부 150 : 기준 패턴 추출부
160 : 패턴 비교부 170 : 마커 좌표 조정부
180 : 캘리브레이션부100: Calibration device 110:
120: image obtaining unit 130: bird's-eye view image generating unit
140: Reference marker search unit 150: Reference pattern extraction unit
160: Pattern comparator 170: Marker coordinate adjuster
180: Calibration section
Claims (16)
복수의 기준 마커들과 복수의 기준 패턴들을 포함하는 캘리브레이션 패널이 촬영된 카메라 이미지를 획득하는 이미지 획득부;
상기 카메라 이미지 내에서 기준 마커를 탐색하고, 상기 기준 마커의 좌표를 추출하는 기준 마커 탐색부;
상기 기준 마커의 좌표를 근거로 상기 카메라 이미지를 시점 변환함으로써, 상기 카메라 이미지에 대한 조감도 이미지를 생성하는 조감도 이미지 생성부;
상기 조감도 이미지 내에서 기준 패턴을 추출하는 기준 패턴 추출부;
상기 조감도 이미지 내에서 추출한 기준 패턴과 정상 조감도 이미지 내의 정상 패턴을 비교하는 패턴 비교부; 및
상기 기준 패턴과 상기 정상 패턴 간의 차이가 최소가 되도록, 상기 기준 마커의 좌표를 조정하는 마커 좌표 조정부를 포함하고,
상기 마커 좌표 조정부는 상기 조감도 이미지 내에서 복수의 기준 마커들 중 하나의 기준 마커의 좌표를 서브 픽셀 단위로 조정하고, 상기 기준 패턴 추출부는 기준 마커의 좌표가 조정된 조감도 이미지 내에서 기준 패턴을 추출하는 것을 특징으로 하는 캘리브레이션 장치.A calibration apparatus of a lookup table used for generating a bird's-eye image,
An image obtaining unit that obtains a camera image taken by a calibration panel including a plurality of fiducial markers and a plurality of reference patterns;
A reference marker searching unit searching for a reference marker in the camera image and extracting coordinates of the reference marker;
A bird's-eye view image generating unit for generating a bird's-eye view image of the camera image by performing a viewpoint conversion of the camera image based on coordinates of the reference marker;
A reference pattern extracting unit for extracting a reference pattern in the bird's-eye image;
A pattern comparing unit comparing a reference pattern extracted in the bird's-eye image with a normal pattern in the normal bird's-eye view image; And
And a marker coordinate adjuster for adjusting coordinates of the reference marker so that a difference between the reference pattern and the normal pattern is minimized,
Wherein the marker coordinate adjuster adjusts the coordinates of one of the plurality of reference markers in the bird's-eye image in units of subpixels, and the reference pattern extractor extracts a reference pattern within the bird's-eye image in which coordinates of the reference markers are adjusted, And the calibration device.
상기 복수의 기준 패턴들은 상기 복수의 기준 마커들을 꼭짓점으로 연결한 패턴 영역 내에 위치하는 것을 특징으로 하는 캘리브레이션 장치.The method according to claim 1,
Wherein the plurality of reference patterns are located in a pattern region connected to the plurality of reference markers by a vertex.
상기 기준 패턴은 수직선을 기준으로 좌우가 대칭되고, 수평선을 기준으로 상하가 대칭되는 특징으로 하는 캘리브레이션 장치.3. The method of claim 2,
Wherein the reference pattern is horizontally symmetrical with respect to a vertical line, and the upper and lower sides are symmetrical with respect to a horizontal line.
상기 패턴 비교부는 기준 마커의 좌표가 조정된 조감도 이미지 내에서 추출한 기준 패턴과 상기 정상 패턴을 비교하고, 상기 마커 좌표 조정부는 상기 기준 패턴과 상기 정상 패턴 간 차이가 가장 적은 좌표로 상기 기준 마커의 좌표를 결정하는 것을 특징으로 하는 캘리브레이션 장치.The method according to claim 1,
Wherein the pattern comparator compares the reference pattern extracted in the bird's-eye image with the coordinate of the reference marker and the normal pattern, and the marker coordinate adjuster adjusts the coordinates of the reference marker with the coordinates having the smallest difference between the reference pattern and the normal pattern Of the calibration signal.
상기 마커 좌표 조정부는 하나의 기준 마커씩 상기 기준 마커의 좌표 조정 과정을 수행하는 것을 특징으로 하는 캘리브레이션 장치.The method according to claim 1,
Wherein the marker coordinate adjustment unit performs coordinate adjustment of the reference marker by one reference marker.
상기 패턴 비교부는 상기 조감도 이미지 내의 캘리브레이션 패널을 복수의 서브 영역들로 구분하고, 상기 좌표 조정 과정이 이루어지는 기준 마커가 속한 서브 영역을 선택하며, 선택한 서브 영역 내의 기준 패턴들과, 정상 조감도 이미지 내에서 상기 선택한 서브 영역에 해당하는 정상 서브 영역 내의 정상 패턴들을 비교하는 것을 특징으로 하는 캘리브레이션 장치.The method according to claim 6,
The pattern comparison unit may divide the calibration panel in the bird's-eye image into a plurality of sub-areas, select a sub-area to which the reference marker is to be adjusted, And comparing normal patterns within a normal sub-region corresponding to the selected sub-region.
상기 기준 패턴과 정상 패턴 간의 차이가 최소인 복수의 기준 마커들의 좌표 조정값들을 근거로 상기 룩업 테이블에 대한 캘리브레이션을 수행하는 캘리브레이션부를 더 포함하는 것을 특징으로 하는 캘리브레이션 장치.The method according to claim 1,
And a calibration unit for performing calibration on the lookup table based on coordinate adjustment values of a plurality of reference markers having a minimum difference between the reference pattern and the normal pattern.
이미지 획득부에 의해, 복수의 기준 마커들과 복수의 기준 패턴들을 포함하는 캘리브레이션 패널이 촬영된 카메라 이미지를 획득하는 단계;
기준 마커 탐색부에 의해, 상기 카메라 이미지 내에서 기준 마커를 탐색하고, 상기 기준 마커의 좌표를 추출하는 단계;
조감도 이미지 생성부에 의해, 추출된 기준 마커의 좌표를 근거로 상기 카메라 이미지를 시점 변환함으로써, 상기 카메라 이미지에 대한 조감도 이미지를 생성하는 단계;
기준 패턴 추출부에 의해, 상기 조감도 이미지 내에서 기준 패턴을 추출하는 단계;
패턴 비교부에 의해, 상기 조감도 이미지 내에서 추출한 기준 패턴과 정상 조감도 이미지 내의 정상 패턴을 비교하는 단계; 및
마커 좌표 조정부에 의해, 상기 기준 패턴과 상기 정상 패턴 간의 차이가 최소가 되도록, 상기 기준 마커의 좌표를 조정하는 단계를 포함하고,
상기 조감도 이미지 내의 기준 마커의 좌표를 조정하는 단계는 상기 조감도 이미지 내에서 복수의 기준 마커들 중 하나의 기준 마커의 좌표를 서브 픽셀 단위로 조정함으로써 이루어지고,
상기 조감도 이미지 내에서 기준 패턴을 추출하는 단계는,
기준 마커의 좌표가 조정된 조감도 이미지 내에서 기준 패턴을 추출하는 단계를 포함하는 것을 특징으로 하는 캘리브레이션 방법.A calibration method of a look-up table used for generating a bird's-eye image,
Acquiring, by the image acquiring unit, a camera image photographed by a calibration panel including a plurality of reference markers and a plurality of reference patterns;
Searching a fiducial marker in the camera image by the fiducial marker searching unit and extracting coordinates of the fiducial marker;
Generating a bird's-eye view image for the camera image by performing a viewpoint conversion of the camera image based on the coordinates of the extracted reference marker by the bird's-eye view image generating unit;
Extracting a reference pattern in the bird's-eye view image by the reference pattern extraction unit;
Comparing the reference pattern extracted in the bird's-eye view image with the normal pattern in the normal bird's-eye view image by the pattern comparison unit; And
Adjusting the coordinates of the fiducial markers so that the difference between the reference pattern and the normal pattern is minimized by the marker coordinate adjustment unit,
Wherein adjusting the coordinates of the fiducial markers in the bird's-eye image is performed by adjusting the coordinates of one fiducial marker among a plurality of fiducial markers in the bird's-eye image in units of subpixels,
The step of extracting the reference pattern in the bird's-
And extracting a reference pattern within the bird's-eye image in which the coordinates of the reference markers are adjusted.
상기 복수의 기준 패턴들은 상기 복수의 기준 마커들을 꼭짓점으로 연결한 패턴 영역 내에 위치하는 것을 특징으로 하는 캘리브레이션 방법.10. The method of claim 9,
Wherein the plurality of reference patterns are located in a pattern region connected to the plurality of reference markers by apexes.
상기 기준 패턴은 수직선을 기준으로 좌우가 대칭되고, 수평선을 기준으로 상하가 대칭되는 특징으로 하는 캘리브레이션 방법.11. The method of claim 10,
Wherein the reference pattern is symmetrical left and right with respect to a vertical line, and the upper and lower sides are symmetrical with respect to a horizontal line.
상기 조감도 이미지 내에서 추출한 기준 패턴과 정상 조감도 이미지 내의 정상 패턴을 비교하는 단계는 기준 마커의 좌표가 조정된 조감도 이미지 내에서 추출한 기준 패턴과 상기 정상 패턴을 비교하는 단계를 포함하고,
상기 조감도 이미지 내의 기준 마커의 좌표를 조정하는 단계는 상기 기준 패턴과 상기 정상 패턴 간 차이가 가장 적은 좌표로 상기 기준 마커의 좌표를 결정하는 단계를 포함하는 것을 특징으로 하는 캘리브레이션 방법.10. The method of claim 9,
Wherein comparing the reference pattern extracted in the bird's-eye image with the normal pattern in the normal bird's-eye image includes comparing the reference pattern extracted in the bird's-eye image with the coordinates of the reference marker adjusted and the normal pattern,
Wherein the step of adjusting the coordinates of the fiducial markers in the bird's-eye image comprises determining coordinates of the fiducial markers with the smallest difference between the reference pattern and the normal pattern.
상기 조감도 이미지 내의 기준 마커의 좌표를 조정하는 단계는 하나의 기준 마커씩 상기 기준 마커의 좌표 조정 과정을 수행하는 것을 특징으로 하는 캘리브레이션 방법.10. The method of claim 9,
Wherein the step of adjusting the coordinates of the fiducial markers in the bird's-eye image comprises performing a coordinate adjustment of the fiducial markers by one fiducial marker.
상기 조감도 이미지 내에서 추출한 기준 패턴과 정상 조감도 이미지 내의 정상 패턴을 비교하는 단계는,
상기 조감도 이미지 내의 캘리브레이션 패널을 복수의 서브 영역들로 구분하는 단계;
상기 좌표 조정 과정이 이루어지는 기준 마커가 속한 서브 영역을 선택하는 단계; 및
선택한 서브 영역 내의 기준 패턴들과, 정상 조감도 이미지 내에서 상기 선택한 서브 영역에 해당하는 정상 서브 영역 내의 정상 패턴들을 비교하는 단계를 포함하는 것을 특징으로 하는 캘리브레이션 방법.15. The method of claim 14,
Comparing the reference pattern extracted in the bird's-eye image with the normal pattern in the normal bird's-eye view image,
Dividing a calibration panel in the bird's-eye image into a plurality of sub-areas;
Selecting a sub-region to which a reference marker for performing the coordinate adjustment process belongs; And
Comparing the reference patterns in the selected sub-area with the normal patterns in the normal sub-area corresponding to the selected sub-area in the normal bird's-eye view image.
캘리브레이션부에 의해, 상기 기준 패턴과 정상 패턴 간의 차이가 최소인 복수의 기준 마커들의 좌표 조정값들을 근거로 상기 룩업 테이블에 대한 캘리브레이션을 수행하는 단계를 더 포함하는 것을 특징으로 하는 캘리브레이션 방법.10. The method of claim 9,
Further comprising the step of calibrating the lookup table based on the coordinate adjustment values of a plurality of reference markers having a minimum difference between the reference pattern and the normal pattern by the calibration unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160151869A KR101847812B1 (en) | 2016-11-15 | 2016-11-15 | Calibration apparatus and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160151869A KR101847812B1 (en) | 2016-11-15 | 2016-11-15 | Calibration apparatus and method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101847812B1 true KR101847812B1 (en) | 2018-04-11 |
Family
ID=61975875
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160151869A KR101847812B1 (en) | 2016-11-15 | 2016-11-15 | Calibration apparatus and method |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101847812B1 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112184827A (en) * | 2019-07-01 | 2021-01-05 | 威达斯高级驾驶辅助设备有限公司 | Method and apparatus for calibrating multiple cameras |
| CN112399172A (en) * | 2019-08-13 | 2021-02-23 | 威达斯高级驾驶辅助设备有限公司 | Method and apparatus for calibrating multiple cameras |
| CN113379834A (en) * | 2021-06-29 | 2021-09-10 | 深圳中科飞测科技股份有限公司 | Calibration method, device and equipment for detection equipment and computer readable storage medium |
| KR20220092071A (en) * | 2020-12-24 | 2022-07-01 | 주식회사 와이즈오토모티브 | Device and method for calibrating images captured by camera of vehicle |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101245529B1 (en) | 2009-03-17 | 2013-03-21 | 주식회사 만도 | Camera calibration method |
| JP5573618B2 (en) * | 2010-11-12 | 2014-08-20 | 富士通株式会社 | Image processing program and image processing apparatus |
-
2016
- 2016-11-15 KR KR1020160151869A patent/KR101847812B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101245529B1 (en) | 2009-03-17 | 2013-03-21 | 주식회사 만도 | Camera calibration method |
| JP5573618B2 (en) * | 2010-11-12 | 2014-08-20 | 富士通株式会社 | Image processing program and image processing apparatus |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112184827A (en) * | 2019-07-01 | 2021-01-05 | 威达斯高级驾驶辅助设备有限公司 | Method and apparatus for calibrating multiple cameras |
| CN112184827B (en) * | 2019-07-01 | 2024-06-04 | Nc&有限公司 | Method and device for calibrating multiple cameras |
| CN112399172A (en) * | 2019-08-13 | 2021-02-23 | 威达斯高级驾驶辅助设备有限公司 | Method and apparatus for calibrating multiple cameras |
| CN112399172B (en) * | 2019-08-13 | 2024-06-04 | Nc&有限公司 | Method and device for calibrating multiple cameras |
| KR20220092071A (en) * | 2020-12-24 | 2022-07-01 | 주식회사 와이즈오토모티브 | Device and method for calibrating images captured by camera of vehicle |
| KR102477510B1 (en) * | 2020-12-24 | 2022-12-14 | 주식회사 와이즈오토모티브 | Device and method for calibrating images captured by camera of vehicle |
| CN113379834A (en) * | 2021-06-29 | 2021-09-10 | 深圳中科飞测科技股份有限公司 | Calibration method, device and equipment for detection equipment and computer readable storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101847812B1 (en) | Calibration apparatus and method | |
| KR102022388B1 (en) | Calibration system and method using real-world object information | |
| JP3868876B2 (en) | Obstacle detection apparatus and method | |
| US6801244B2 (en) | Obstacle detection apparatus and method | |
| JP5632762B2 (en) | POSITIONING INFORMATION FORMING DEVICE, DETECTING DEVICE, AND POSITIONING INFORMATION FORMING METHOD | |
| US8737689B2 (en) | Environment recognition device and environment recognition method | |
| JP2021508027A (en) | Systems and methods for positioning vehicles under poor lighting conditions | |
| EP1640212B1 (en) | Monitoring system for monitoring surroundings of vehicle | |
| US20120069153A1 (en) | Device for monitoring area around vehicle | |
| US9430865B2 (en) | Real-time dynamic non-planar projection apparatus and method | |
| US8855367B2 (en) | Environment recognition device and environment recognition method | |
| JP6187671B2 (en) | Self-position calculation device and self-position calculation method | |
| US7616806B2 (en) | Position detecting apparatus and method of correcting data therein | |
| KR20200126365A (en) | Surround view system with adjusted projection plane | |
| JPH0425741A (en) | Optical axis adjusting method for headlight | |
| JP2011254128A (en) | Plane view generating device and plane view generating method | |
| JP6983334B2 (en) | Image recognition device | |
| JP4767052B2 (en) | Optical axis deviation detector | |
| US20110169954A1 (en) | Maneuvering assisting apparatus | |
| JP6620175B2 (en) | Distance calculation device and vehicle control device | |
| JP2016183890A (en) | Self-position calculation device and self-position calculation method | |
| JP6855254B2 (en) | Image processing device, image processing system, and image processing method | |
| JP2020021188A (en) | Automobile attitude estimation device | |
| JP6492974B2 (en) | Self-position calculation device and self-position calculation method | |
| CN110852278B (en) | Ground identification line recognition method, ground identification line recognition equipment and computer-readable storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |