KR20140136810A - Image correction apparatus and method - Google Patents
Image correction apparatus and method Download PDFInfo
- Publication number
- KR20140136810A KR20140136810A KR20130057339A KR20130057339A KR20140136810A KR 20140136810 A KR20140136810 A KR 20140136810A KR 20130057339 A KR20130057339 A KR 20130057339A KR 20130057339 A KR20130057339 A KR 20130057339A KR 20140136810 A KR20140136810 A KR 20140136810A
- Authority
- KR
- South Korea
- Prior art keywords
- correction amount
- line
- image
- roll
- pitch
- Prior art date
Links
- 238000003702 image correction Methods 0.000 title claims abstract description 12
- 238000000034 method Methods 0.000 title claims description 32
- 238000000605 extraction Methods 0.000 claims abstract description 21
- 238000006243 chemical reaction Methods 0.000 claims abstract description 16
- 239000000284 extract Substances 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 abstract description 7
- 238000001514 detection method Methods 0.000 abstract description 6
- 238000012544 monitoring process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 2
- 230000032683 aging Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
- B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
Description
본 발명은 영상 교정 장치 및 영상 교정 방법에 관한 것으로써, 구체적으로는 차량용 어라운드 뷰 모니터링(AVM, Around View Monitoring) 시스템에서 카메라에 의해서 획득된 영상을 자동으로 교정하는 장치 및 방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a video correction apparatus and a video correction method, and more particularly, to an apparatus and method for automatically correcting an image obtained by a camera in an AVM (Around View Monitoring) system.
최근의 자동차 기술은 운전자 편의와 안전을 향상시키기 위한 방법으로 다양한 편의 시설과 이를 작동하고 제어하기 위한 장치 및 시스템이 개발되고 있으며, 특히 영상 카메라 시스템은 자동차의 광범위한 영역에서 사용되고 있다. 예를 들면, 자동차의 외부에 카메라를 설치하고 이를 이용하여 운전석 계기판의 디스플레이를 통하여 운전자가 차량 주변의 외부 영상을 확인하거나 차량 주변의 사물 및 차선 등을 인식하고 운전자에게 경고하는 등의 다양한 시스템이 개발되어 적용되고 있다. Recently, the automobile technology has been developed to improve driver convenience and safety. Various facilities and apparatus and systems for operating and controlling the same have been developed. In particular, a video camera system is used in a wide range of automobiles. For example, by installing a camera outside the automobile and using it, a variety of systems are available, such as a driver checking an external image around the vehicle, recognizing objects and lanes around the vehicle, and alerting the driver through the display of the driver's instrument panel Developed and applied.
이들 중 어라운드 뷰 모니터링 시스템은, 차량 외곽에 복수 개의 카메라를 설치하고 차량 주변을 촬영하여 운전자로 하여금 주행 및 주차를 원할히 하도록 지원하는 기능을 수행한다. 이러한 어라운드 뷰 모니터링 시스템의 출력 영상은, 복수의 카메라에서 촬영된 영상들이 영상 처리 과정을 거쳐서 차량의 위에서 보는 것과 같은 하나의 버드뷰(Bird View) 영상으로 합성되어 최종적으로 디스플레이된다.Among these, the surrounding view monitoring system installs a plurality of cameras on the outside of the vehicle and photographs the surroundings of the vehicle, thereby performing a function of assisting the driver in driving and parking. The output image of the surround view monitoring system is synthesized into a single Bird View image as seen from the top of the vehicle through the image processing process and finally displayed.
어라운드 뷰 모니터링 시스템의 출력 영상이 운전자에게 주차 지원이나 차량 주변 정보를 정확히 인식시키기 위한 목적으로 사용되기 위해서는 각 카메라 영상들이 높은 정밀도로 합성되어야 하고 이를 위해서는 카메라를 차량에 장착할 때, 높은 설치 정밀도를 가져야 한다. 따라서, 차량의 생산 공정에서 카메라의 설치 위치를 물리적으로 교정하거나 소프트웨어적으로 영상 합성을 위한 변환 파라미터 값을 교정하는 작업이 필수적이다. In order for the output image of the surround view monitoring system to be used for the purpose of accurately grasping the parking support or the vehicle surroundings information to the driver, each camera image must be synthesized with high precision. For this purpose, Should have. Therefore, it is indispensable to physically correct the installation position of the camera in the production process of the vehicle or to correct the conversion parameter value for image synthesis by software.
이러한 교정 작업을 소프트웨어적으로 해결하기 위한 선행 기술로는 카메라 설치 공차로 인하여 영상이 오정렬 되더라도 수정된 영상이 생성되도록 ECU에서 영상 처리를 수행하여 영상을 변환 시키기 위한 카메라 교정 방법들이 제시되어 있다. 이들 방법들은 카메라의 삼차원 직교 좌표계인 3개의 축을 중심으로 한 회전에 대응되는 롤(roll), 피치(pitch),요(yaw)에 해당하는 오차량을 순차적으로 계산한 후, 이를 교정하기 위한 카메라 투영 파라미터를 구하고 이에 대응되는 카메라의 회전 행렬을 연산하여 영상을 변환시킴으로써 오정렬을 교정한다. As a prior art for solving such a correction work by software, there have been proposed camera calibration methods for converting an image by performing image processing in an ECU so that a corrected image is generated even if the image is misaligned due to a camera installation tolerance. These methods sequentially calculate an error corresponding to a roll, a pitch, and a yaw corresponding to a rotation about three axes of a three-dimensional Cartesian coordinate system of the camera, The projection parameters are obtained and the rotation matrix of the corresponding camera is calculated to transform the image, thereby correcting the misalignment.
그러나 이 경우 교정 작업을 작업자가 디스플레이 화면을 보면서 수동 조정으로 수행하거나 교정 작업을 위한 별도의 타깃 장치나 마크 또는 설비를 차량 주변에 대하여 사전 설정된 위치에 설치하는 등의 추가적인 작업들을 요구하는 문제를 가진다. 이러한 추가적인 요구사항들은 차량 조립 라인이나 차고지에서 교정 작업을 행하기에는 많은 시간과 노동력이 필요하며 결과적으로 차량 서비스의 비용을 증가시킬 수 있다.
However, in this case, there is a problem that the correction work is required to be performed manually by the operator while viewing the display screen, or requires additional tasks such as installing a separate target apparatus, mark, or equipment for the calibration work at a predetermined position around the vehicle . These additional requirements may require a significant amount of time and labor to perform calibration work on a vehicle assembly line or in a garage and, as a result, may increase the cost of vehicle service.
하기 선행기술문헌에 기재된 특허문헌은, 차량 탑재 카메라의 교정 방법 및 교정 프로그램을 제공하기 위한 발명으로써, 격자 형상의 영상을 획득하여 각 방향에 대한 오차 보정량을 산출하는 본 발명의 기술적 사항을 개시하고 있지 않다.
The patent document described in the following prior art documents discloses a technique for providing a calibration method and a calibration program for a camera mounted on a vehicle and discloses a technical matter of the present invention for obtaining a grid image and calculating an error correction amount in each direction It is not.
본 발명의 일 실시예에 따른 영상 교정 장치 및 영상 교정 방법은 전술한 문제점을 해결하기 위하여 다음과 같은 해결과제를 목적으로 한다. According to an aspect of the present invention, there is provided a video correction apparatus and a video correction method, which solve the above-described problems.
본 발명의 일 실시형태의 목적은 차량 조립 라인이나 차량 정비소 등에서 비교적 신속하고 간단하며 자동적으로 카메라 영상의 교정을 수행하기 위한 방법을 제공함을 목적으로 한다.It is an object of one embodiment of the present invention to provide a method for performing calibration of a camera image relatively quickly, simply and automatically in a vehicle assembly line or a vehicle repair shop.
본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당해 기술분야에 있어서의 통상의 지식을 가진 자에게 명확하게 이해되어 질 수 있을 것이다.
The solution to the problem of the present invention is not limited to those mentioned above, and other solutions not mentioned can be clearly understood by those skilled in the art from the following description.
본 발명의 일 실시예에 따른 영상 교정 장치는, 지면에 형성되고, 직교좌표계의 X축과 평행한 복수개의 가로 라인 및 상기 복수개의 가로 라인과 직교하는 복수개의 세로 라인을 포함하는 격자 형상을 촬영하여 영상을 획득하는 영상 획득부, 상기 영상에서 직선성분을 추출하는 직선 검출부, 상기 직선성분 중 복수개의 특징부를 추출하는 특징 추출부, 상기 복수개의 특징부에 기초하여 보정량을 산출하는 보정량 산출부 및 상기 보정량에 기초하여 상기 영상의 교정을 수행하는 영상 변환부를 포함한다. The image correcting apparatus according to an embodiment of the present invention includes a plurality of horizontal lines formed on the ground and parallel to the X axis of the rectangular coordinate system and a plurality of vertical lines orthogonal to the plurality of horizontal lines, A straight line detecting unit for extracting a straight line component from the image, a feature extracting unit for extracting a plurality of features from the straight line component, a correction amount calculating unit for calculating a correction amount based on the plurality of features, And an image converting unit for performing the correction of the image based on the correction amount.
상기 특징 추출부는 상기 직선성분 중 상기 복수개의 가로 라인에 대응되는 성분으로부터 제 1라인 및 제 2라인을 추출하는 롤(Roll) 특징 추출부 및 상기 직선성분 중 상기 복수개의 세로 라인에 대응되는 성분으로부터 제 3라인 및 제 4라인을 추출하는 피치(Pitch) 특징 추출부를 포함할 수 있다. Wherein the feature extracting unit includes a roll feature extracting unit for extracting a first line and a second line from the components corresponding to the plurality of horizontal lines among the straight line components and a feature extracting unit for extracting, from a component corresponding to the plurality of vertical lines, And a pitch characteristic extracting unit for extracting the third line and the fourth line.
상기 보정량 산출부는, 상기 제 1라인 및 상기 제 2라인을 기초로 롤(Roll) 방향의 보정량을 산출하는 롤(Roll) 보정량 산출부, 상기 제 3라인 및 상기 제 4라인을 기초로 피치(Pitch) 방향의 보정량을 산출하는 피치(Pitch) 보정량 산출부; 및 상기 롤(Roll) 보정량 산출부 및 상기 피치(Pitch) 보정량 산출부에 의해서 교정된 직선성분에 포함된 제 5라인 및 상기 직교좌표계의 X축이 이루는 각도에 기초하여 요(Yaw) 방향의 보정량을 산출하는 요(Yaw) 보정량 산출부를 포함하며, 상기 교정된 직선성분은 상기 직선성분이 상기 롤(Roll) 보정량 산출부 및 상기 피치(Pitch) 보정량 산출부에 의해서 교정된 것일 수 있다. Wherein the correction amount calculating unit includes a roll correction amount calculating unit for calculating a correction amount in the roll direction based on the first line and the second line, a roll correction amount calculating unit for calculating, based on the third line and the fourth line, A pitch correction amount calculation unit for calculating a correction amount in the direction of the pitch; And a correction amount calculating unit for calculating a correction amount in the Yaw direction based on an angle formed by the roll correction amount calculating unit and the pitch correction amount calculating unit and an angle formed by the fifth line included in the linear component corrected by the pitch correction amount calculating unit and the X axis of the rectangular coordinate system, And the corrected straight line component may be a straight line component corrected by the roll correction amount calculating section and the pitch correction amount calculating section.
상기 롤(Roll) 보정량 산출부는, 상기 제 1라인의 길이 및 상기 제 2라인의 길이의 차에 의해 롤(Roll) 방향의 보정량을 산출하고, 상기 피치(Pitch) 보정량 산출부는, 상기 제 3라인의 길이 및 상기 제 4라인의 길이의 차에 의해 피치(Pitch) 방향의 보정량을 산출하는 것도 가능하다.
The roll correction amount calculating unit calculates a correction amount in the roll direction by a difference between the length of the first line and the length of the second line, and the pitch correction amount calculating unit calculates the correction amount of the roll, It is also possible to calculate the amount of correction in the pitch direction by the difference between the length of the first line and the length of the fourth line.
본 발명의 다른 실시예에 따른 영상 교정 방법은, 지면에 형성되고, 직교좌표계의 X축과 평행한 복수개의 가로 라인 및 상기 복수개의 가로 라인과 직교하는 복수개의 세로 라인을 포함하는 격자 형상을 촬영하여 영상을 획득하는 영상 획득 단계, 상기 영상의 윤곽선에서 직선성분을 추출하는 직선 검출 단계, 상기 직선성분을 기초로 롤(Roll) 방향의 보정량을 산출하는 롤(Roll) 교정 단계, 상기 직선성분을 기초로 피치(Pitch) 방향의 보정량을 산출하는 피치(Pitch) 교정 단계 및 상기 직선성분, 상기 롤(Roll) 방향의 보정량 및 상기 피치(Pitch) 방향의 보정량을 기초로 요(Yaw) 방향의 보정량을 산출하는 요(Yaw) 교정 단계를 포함한다. According to another aspect of the present invention, there is provided a method of correcting an image, comprising the steps of: capturing a grid shape including a plurality of horizontal lines parallel to the X-axis of a rectangular coordinate system and a plurality of vertical lines orthogonal to the plurality of horizontal lines, A straight line detecting step of extracting a straight line component from a contour of the image, a roll correcting step of calculating a correction amount of a roll direction based on the straight line component, A pitch correction step of calculating a correction amount in the pitch direction based on the amount of correction in the yaw direction based on the linear component, the correction amount in the roll direction, and the correction amount in the pitch direction, And a yaw calibration step of calculating a yaw calibration value.
상기 롤(Roll) 교정 단계는, 상기 직선성분 중 상기 복수개의 가로 라인에 대응되는 성분으로부터 제 1라인 및 제 2라인을 추출하는 롤(Roll) 방향 특징 추출 단계 및 상기 제 1라인 및 상기 제 2라인을 기초로 롤(Roll) 방향의 보정량을 산출하는 롤(Roll) 보정량 산출 단계를 포함하는 것이 가능하다. The roll calibration step may include a roll direction feature extraction step of extracting a first line and a second line from the components corresponding to the plurality of horizontal lines in the straight line component, It is possible to include a roll correction amount calculating step of calculating a correction amount of the roll direction based on the line.
상기 롤(Roll) 보정량 산출 단계는, 상기 제 1라인의 길이 및 상기 제 2라인의 길이의 차에 의해 롤(Roll) 방향의 보정량을 산출하는 것이 바람직하다. It is preferable that the roll correction amount calculating step calculates the correction amount in the roll direction by the difference between the length of the first line and the length of the second line.
상기 피치(Pitch) 교정 단계는, 상기 직선성분 중 상기 복수개의 가로 라인에 대응되는 성분으로부터 제 3라인 및 제 4라인을 추출하는 피치(Pitch) 방향 특징 추출 단계 및 상기 제 3라인 및 상기 제 4라인을 기초로 피치(Pitch) 방향의 보정량을 산출하는 피치(Pitch) 보정량 산출 단계를 포함하는 것이 가능하다. The pitch calibration step may include a pitch direction feature extraction step of extracting a third line and a fourth line from the components corresponding to the plurality of horizontal lines in the straight line component, It is possible to include a pitch correction amount calculating step of calculating a correction amount of the pitch direction based on the line.
상기 피치(Pitch) 보정량 산출 단계는, 상기 제 3라인의 길이 및 상기 제 4라인의 길이의 차에 의해 피치(Pitch) 방향의 보정량을 산출하는 것이 바람직하다. It is preferable that the pitch correction amount calculating step calculates the correction amount in the pitch direction by the difference between the length of the third line and the length of the fourth line.
상기 요(Yaw) 교정단계는, 상기 롤(Roll) 보정량 산출부 및 상기 피치(Pitch) 보정량 산출부에 의해서 교정된 직선성분에 포함된 제 5라인 및 상기 직교좌표계의 X축이 이루는 각도에 기초하여 요(Yaw) 방향의 보정량을 산출하는 것이 바람직하다. The yaw correction step may be based on an angle formed by the roll correction amount calculating unit and the fifth line included in the straight line component corrected by the pitch correction amount calculating unit and the X axis of the rectangular coordinate system. It is preferable to calculate the correction amount in the yaw direction.
상기 요(Yaw) 교정단계 이후에, 상기 롤(Roll) 방향의 보정량, 상기 피치(Pitch) 방향의 보정량 및 상기 요(Yaw) 방향의 보정량을 미리 설정된 기준치와 각각 비교하는 영상 변환 판단 단계 및 상기 롤(Roll) 방향의 보정량, 상기 피치(Pitch) 방향의 보정량 및 상기 요(Yaw) 방향의 보정량 중 적어도 하나가 상기 기준치 이상인 경우 상기 보정량을 기초로 변환된 영상을 출력하는 영상 변환 단계를 더 포함하는 것이 가능하다.
An image conversion determination step of comparing the correction amount of the roll direction, the correction amount of the pitch direction, and the correction amount of the yaw direction with the preset reference values after the yaw correction step, Further comprising an image conversion step of outputting a converted image based on the correction amount when at least one of a correction amount in a roll direction, a correction amount in a pitch direction, and a correction amount in a yaw direction is equal to or greater than the reference value It is possible to do.
본 발명은 자동차 조립 라인이나 차고지 등에서 비교적 신속하고 정밀하게 카메라 오장착에 의한 영상 왜곡을 영상 변환에 의하여 교정할 수 있다. 또한 자동차 주변에 별도의 마크나 시설물을 고정된 위치에 설치할 필요가 없으며, 교정을 위하여 사용자가 출력 화면에서 보정 좌표를 선택하거나 설정하는 등의 수동적인 업무를 수행하지 않아도 된다는 장점을 가진다. 따라서 교정을 위한 전문 인력을 요구하지 않으므로 차량 서비스의 비용을 줄일 수 있다. The present invention is capable of correcting image distortion due to camera misalignment relatively quickly and precisely by image conversion in an automobile assembly line or a car garage. In addition, there is no need to install a separate mark or facility around the automobile in a fixed position, and the user does not have to perform passive tasks such as selecting or setting correction coordinates on the output screen for calibration. Therefore, the cost of vehicle service can be reduced since no professional manpower for calibration is required.
나아가, 차량 노후나 사고에 의하여 카메라 장착 위치의 변화가 있을 경우에도 차량 정비소 등에서도 격자형 직선을 가진 차량을 주차할 수 있는 공간만 있다면 간단하게 출력 영상의 교정이 가능하다는 장점을 갖는다. Further, even if there is a change in the camera mounting position due to a vehicle aging or an accident, it is possible to easily calibrate the output image only if there is a space for parking a vehicle having a grid-like straight line at a car repair shop.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당해 기술분야에 있어서의 통상의 지식을 가진 자에게 명확하게 이해되어질 수 있을 것이다.The effects of the present invention are not limited to those mentioned above, and other effects not mentioned may be clearly understood by those skilled in the art from the following description.
도 1은 본 발명의 일 실시예에 따른 영상 교정 장치의 블록도이다.
도 2는 본 발명을 설명하기 위한 좌표계를 도시한 도면이다.
도 3은 본 발명의 영상 획득부에서의 격자 형상의 영상을 획득하는 방법을 설명하기 위한 도면이다.
도 4a 내지 4c는 본 발명의 특징 추출부 및 보정량 산출부의 기능을 설명하기 위해 도시된 도면이다.
도 5는 본 발명의 다른 실시예에 따른 영상 교정 방법을 설명하기 위한 플로우차트이다. 1 is a block diagram of a video correction apparatus according to an embodiment of the present invention.
2 is a diagram showing a coordinate system for explaining the present invention.
3 is a diagram for explaining a method of acquiring a grid image in the image acquiring unit of the present invention.
4A to 4C are diagrams for explaining the functions of the feature extraction unit and the correction amount calculation unit of the present invention.
5 is a flowchart illustrating a method of correcting an image according to another embodiment of the present invention.
본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.It is noted that the technical terms used herein are used only to describe specific embodiments and are not intended to limit the invention. It is also to be understood that the technical terms used herein are to be interpreted in a sense generally understood by a person skilled in the art to which the present invention belongs, Should not be construed to mean, or be interpreted in an excessively reduced sense. Further, when a technical term used herein is an erroneous technical term that does not accurately express the spirit of the present invention, it should be understood that technical terms that can be understood by a person skilled in the art are replaced. In addition, the general terms used in the present invention should be interpreted according to a predefined or prior context, and should not be construed as being excessively reduced.
또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.Also, the singular forms "as used herein include plural referents unless the context clearly dictates otherwise. In the present application, the term "comprising" or "comprising" or the like should not be construed as necessarily including the various elements or steps described in the specification, Or may be further comprised of additional components or steps.
또한, 본 명세서에서 사용되는 구성요소에 대한 접미사 "모듈", "유닛" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.Also, suffixes "module", "unit" and "part" for the components used in the present specification are given or mixed in consideration of ease of specification, and each component having its own distinct meaning or role no.
또한, 본 명세서에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
Furthermore, terms including ordinals such as first, second, etc. used in this specification can be used to describe various elements, but the elements should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings, wherein like reference numerals refer to like or similar elements throughout the several views, and redundant description thereof will be omitted.
또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail. It is to be noted that the accompanying drawings are only for the purpose of facilitating understanding of the present invention, and should not be construed as limiting the scope of the present invention with reference to the accompanying drawings.
이하 도 1 내지 도 4를 참조하여 본 발명의 일 실시예에 따른 영상 교정 장치에 대하여 구체적으로 살펴보기로 한다. 본 명세서에서의 영상 교정 장치는 도 1에 도시된 바와 같이 영상 획득부(100), 직선 검출부(200), 특징 추출부(300), 보정량 산출부(400) 및 영상 변환부(500)를 포함한다. Hereinafter, a video correction apparatus according to an embodiment of the present invention will be described in detail with reference to FIGS. 1 to 4. FIG. 1, the image correction apparatus includes an
각 구성에 대해 구체적으로 살펴보기 전에, 본 발명에서 정의되는 카메라의 방위에 대해서 설명하도록 하겠다. 도 2에 도시된 바와 같이 카메라의 방위는 일반적으로 3차원 직교 좌표계의 축을 중심으로 카메라를 회전시킴으로써 얻어질 수 있다. 직교 좌표계의 X축, Y축 및 Z축을 중심으로 하는 회전각의 변위는 각각 롤(Roll), 피치(Pitch) 및 요(Yaw)로 표현된다. 본 발명에 장착되는 카메라의 방위와 관련해서는 도3에 도시된 바와 같이 카메라가 바라보는 방향을 직교 좌표계의 X축, X축과 수직하고 지면에 평행한 방향을 직교 좌표계의 Y축, X축 및 Y축에 수직한 방향을 Z축으로 정의하도록 하겠다.
Before discussing each configuration in detail, the orientation of the camera defined in the present invention will be described. As shown in Fig. 2, the orientation of the camera can generally be obtained by rotating the camera about an axis of a three-dimensional Cartesian coordinate system. The displacements of the rotational angles about the X, Y, and Z axes of the Cartesian coordinate system are represented by Roll, Pitch, and Yaw, respectively. With respect to the orientation of the camera mounted on the present invention, as shown in FIG. 3, the direction in which the camera looks is perpendicular to the X-axis and the X-axis of the orthogonal coordinate system, and the direction parallel to the ground is defined as the Y- The direction perpendicular to the Y axis is defined as the Z axis.
영상 획득부(100)는 지면에 형성되고, 직교좌표계의 X축과 평행한 복수개의 가로 라인 및 상기 복수개의 가로 라인과 직교하는 복수개의 세로 라인을 포함하는 격자 형상을 촬영하여 영상을 획득한다. 구체적으로, 차량 조립 라인에서 어라운드 뷰 모니터링(AVM: Around View Monitoring) 시스템을 위한 카메라가 장착된 후, 차량은 공차 보정을 위하여 격자 형상이 페인팅 된 위치에 정렬된다. 이 때 카메라가 정위치 및 정방향으로 배치된다면 정상적으로 합성된 영상이 출력되지만, 그렇지 않다면 오차가 발생한 회전축에 따라 오정렬되거나 왜곡된 영상이 출력될 것이다.
The
직선 검출부(200)는 영상 획득부(100)에 의해서 영상에서 직선성분을 추출하는 영상 처리 과정을 수행한다. 이때 캐니 윤곽선 검출(Canny Edge Detection) 알고리즘을 적용하여 영상의 윤곽선을 검출하는 것도 가능할 것이다. 또한 영상으로부터 직선을 추출하기 위한 방법으로는 허프 변환(Hough Transform)에 의하여 수행이 가능하다. 상기 알고리즘들은 통상적으로 사용 가능한 영상 처리 알고리즘이기에 본 명세서에서는 이에 대한 자세한 설명은 생략하도록 하겠다.
The straight
특징 추출부(300)는 직선성분 중 보정량을 산출하기 위한 복수개의 특징부를 추출한다. 특징 추출부(300)는 구체적으로 상기 직선성분 중 상기 복수개의 가로 라인에 대응되는 성분으로부터 제 1라인(L1) 및 제 2라인(L2)을 추출하는 롤(Roll) 특징 추출부(310) 및 상기 직선성분 중 상기 복수개의 세로 라인에 대응되는 성분으로부터 제 3라인(L3) 및 제 4라인(L4)을 추출하는 피치(Pitch) 특징 추출부(320)로 구성된다. The feature extraction unit (300) extracts a plurality of feature portions for calculating correction amounts among straight line components. The
롤(Roll) 특징 추출부(310)에 대해서 도 4(a)를 참조하여 설명하면, 먼저 영상에서 검출된 직선 성분에서 직교좌표계의 Y축에 평행한 복수개의 세로 라인과 대응되는 직선 중 최외곽에 있는 두개의 직선 ly1 및 ly2를 선택한다. 이후 ly1와 ly2간을 연결하고 격자 형상의 가로 라인에 대응되는 제 1라인(L1) 및 제 2라인(L2)을 롤(Roll) 방향의 오차 보정을 위한 특징부로 추출한다. Referring to FIG. 4A, the roll
피치(Pitch) 특징 추출부(320)에 대해서 도 4(b)를 참조하여 설명하면, 먼저 영상에서 검출된 직선 성분에서 직교좌표계의 X축에 평행한 복수개의 가로 라인과 대응되는 직선 중 최외곽에 있는 두개의 직선 lx1 및 lx2를 선택한다. 이후 lx1과 lx2간을 연결하고 격자 형상의 세로 라인에 대응되는 제 3라인(L3) 및 제4라인(L4)을 피치(Pitch) 방향의 오차 보정을 위한 특징부로 추출한다.
Referring to FIG. 4 (b), the pitch
보정량 산출부(400)는 상기 복수개의 특징부에 기초하여 보정량을 산출한다. 보정량 산출부(400)는 구체적으로 롤(Roll) 보정량 산출부(410), 피치(Pitch) 보정량 산출부(420) 및 요(Yaw) 보정량 산출부(430)로 구성된다. The correction
롤(Roll) 보정량 산출부(410)는 롤(Roll) 특징 추출부(310)에서 추출된 제 1라인(L1) 및 제 2라인(L2)을 기초로 롤(Roll) 방향의 보정량을 산출한다. 직교 좌표계의 X축을 중심으로 하는 회전인 롤(Roll)에서 카메라 장착의 공차가 발생한 경우, 카메라가 지면을 응시하는 각도의 변화로 인하여 입력 영상의 지면 기울기에 변화가 발생한다. 따라서 제 1라인(L1)과 제 2라인(L2)의 길이에 차이가 발생하게 되며, 이러한 제 1라인(L1)의 길이 및 제 2라인(L2)의 길이의 차에 의해 롤(Roll) 방향의 보정량을 산출할 수 있다.The roll correction
피치(Pitch) 보정량 산출부(420)는 피치(Pitch) 특징 추출부(320)에서 추출된 제 3라인(L3) 및 제 4라인(L4)을 기초로 피치(Pitch) 방향의 보정량을 산출한다. 직교 좌표계의 Y축을 중심으로 하는 회전인 피치(Pitch)에서 카메라 장착의 공차가 발생한 경우, 롤(Roll) 방향의 특징부와 마찬가지로 제 3라인(L3)과 제 4라인(L4)의 길이에 차이가 발생하게 되며, 이러한 제 3라인(L3)의 길이 및 제 4라인(L4)의 길이의 차에 의해 피치(Pitch) 방향의 보정량을 산출할 수 있다. The pitch correction
요(Yaw) 보정량 산출부(430)는 롤(Roll) 보정량 산출부(410) 및 상기 피치(Pitch) 보정량 산출부(420)에 의해서 교정된 직선성분에 포함된 제 5라인(L5)을 먼저 추출한다. 따라서 요(Yaw) 방향의 보정량 산출은 롤(Roll) 방향의 보정량 산출 및 피치(Pitch) 방향의 보정량 산출 이후에 이루어지게 된다. 이후 도 4(c)에 도시된 바와 같이 제 5라인(L5)과 직교좌표계의 X축이 이루는 각도(θ)에 기초하여 요(Yaw) 방향의 보정량을 산출한다. 경우에 따라서는 제 5라인(L5)과 직교좌표계의 Y축이 이루는 각도에 기초하여 요(Yaw) 방향의 보정량을 산출하는 것도 가능할 것이다.
The yaw correction
영상 변환부(500)는 보정량 산출부(400)로부터 산출된 보정량에 기초하여 상기 영상의 교정을 수행한다. 구체적으로, 상기 보정량에 기초하여 회전 파라미터를 설정한 후, 상기 회전 파라미터에 기초하여 영상을 변환한다. The
롤(Roll)의 오차를 교정하는 경우, 제 1라인(L1)과 제 2라인(L2)의 차이값이 양수이면 롤(Roll) 회전각 변위가 양의 방향으로 공차가 발생한 것으로 판단하고 X축에 대한 음의 회전 파라미터 값을 설정한다. 반대로 제 1라인(L1)과 제 2라인(L2)의 차이값이 음수이면 롤(Roll) 회전각 변위가 음의 방향으로 공차가 발생한 것으로 판단하고 X축에 대한 양의 회전 파라미터 값을 설정한다. 교정 시간을 신속하게 하기 위해서 롤(Roll) 회전각의 1° 변화에 따른 제 1라인(L1)과 제 2라인(L2)의 변화량을 미리 설정하는 것도 가능하다. In the case of correcting the roll error, if the difference between the first line L1 and the second line L2 is positive, it is determined that the roll rotation angular displacement has occurred in the positive direction, Lt; RTI ID = 0.0 > parameter < / RTI > On the contrary, if the difference between the first line L1 and the second line L2 is negative, it is determined that the roll rotation angle displacement has a tolerance in the negative direction, and a positive rotation parameter value for the X axis is set . It is also possible to set in advance the amount of change of the first line L1 and the second line L2 in accordance with the change of 1 DEG of the roll rotation angle in order to speed up the calibration time.
피치(Pitch)의 오차를 교정하는 경우, 롤(Roll)의 오차를 교정하는 것과 마찬가지로 Y축에 대한 회전 파라미터 값을 설정한다.When calibrating the pitch error, set the rotation parameter value for the Y axis as well as correcting the roll error.
요(Yaw)의 오차를 교정하는 경우, 회전 파라미터 값은 롤(Roll) 및 피치(Pitch)의 오차를 교정하는 경우와 같이 별도의 연산을 통한 회전 파라미터 값을 설정하는 것이 아니라, 요(Yaw) 보정량 산출부의 출력을 그대로 이용할 수 있다. 즉, 요(Yaw) 보정량 산출부에 의해 산출된 요(Yaw) 보정량 θ가 0°를 기준으로 허용 오차 범위를 벗어난다면 장착 공차가 발생한 것으로 판단한다. 또한 산출된 요(Yaw) 보정량 θ가 1° 내지 90°라면 Z축에 대한 음의 파라미터 값을 설정하고, 90° 내지 180°라면 Z축에 대한 양의 파라미터 값을 설정한다.
In the case of correcting the yaw error, the rotation parameter value is not set as a rotation parameter value by a separate operation as in the case of correcting the error of the roll and the pitch, The output of the correction amount calculating section can be used as it is. That is, if the yaw correction amount? Calculated by the yaw correction amount calculating unit is out of the tolerance range based on 0 degree, it is determined that the mounting tolerance has occurred. If the calculated yaw correction amount [theta] is 1 [deg.] To 90 [deg.], A negative parameter value is set for the Z axis, and if it is 90 [deg.] To 180 [
이하에서는 도 5를 중심으로 본 발명의 다른 실시예에 따른 영상 보정 방법에 대해서 살펴보도록 하겠다. Hereinafter, an image correction method according to another embodiment of the present invention will be described with reference to FIG.
본 발명의 다른 실시예에 따른 영상 보정 방법은 구체적으로 영상 획득 단계(S100), 직선 검출 단계(S200), 롤(Roll) 교정 단계(S300), 피치(Pitch) 교정 단계(S400), 요(Yaw) 교정 단계(S500), 영상 변환 판단 단계(S600) 및 영상 변환 단계(S700)를 포함한다.
The image correction method according to another exemplary embodiment of the present invention includes an image acquisition step S100, a straight line detection step S200, a roll correction step S300, a pitch correction step S400, Yaw) correction step S500, an image conversion determination step S600, and an image conversion step S700.
영상 획득 단계(S100)는 지면에 형성되고, 직교좌표계의 X축과 평행한 복수개의 가로 라인 및 상기 복수개의 가로 라인과 직교하는 복수개의 세로 라인을 포함하는 격자 형상을 촬영하여 영상을 획득하는 단계이다. 직선 검출 단계(S200)는 상기 영상의 윤곽선에서 직선성분을 추출하는 단계이다. 영상 획득 단계(S100) 및 직선 검출 단계(S200)에 대한 구체적인 내용은 상술한 영상 획득부(100) 및 직선 검출부(200)에 대한 설명과 동일하다.
The image acquiring step S100 is a step of acquiring an image by photographing a grid shape formed on the ground and including a plurality of horizontal lines parallel to the X axis of the rectangular coordinate system and a plurality of vertical lines orthogonal to the plurality of horizontal lines to be. The linear detection step S200 is a step of extracting a linear component from the contour of the image. The details of the image acquiring step (S100) and the straight line detecting step (S200) are the same as those of the image acquiring unit (100) and the straight line detecting unit (200).
롤(Roll) 교정 단계(S300), 피치(Pitch) 교정 단계(S400) 및 요(Yaw) 교정 단계(S500)에 대한 구체적인 내용은 상술한 본 발명의 일 실시예에 따른 영상 보정 장치의 특징 추출부(300) 및 보정량 산출부(400)에 대한 설명과 동일하다. 다만 본 발명의 다른 실시예에 따른 영상 보정 방법은 도 5에 도시된 바와 같이 롤(Roll) 교정 단계(S300), 피치(Pitch) 교정 단계(S400) 및 요(Yaw) 교정 단계(S500)가 순차적으로 진행된다.
The details of the roll calibration step S300, the pitch calibration step S400 and the yaw calibration step S500 are the same as those of the feature extraction of the image correction device according to the embodiment of the present invention (300) and the correction amount calculation unit (400). 5, the image correction method according to another exemplary embodiment of the present invention includes a roll calibration step S300, a pitch calibration step S400, and a yaw calibration step S500 Progresses sequentially.
요(Yaw) 교정단계(S500) 이후에는 롤(Roll) 방향의 보정량, 상기 피치(Pitch) 방향의 보정량 및 상기 요(Yaw) 방향의 보정량을 미리 설정된 기준치와 각각 비교하는 영상 변환 판단 단계(S600)를 더 포함할 수 있다. 상기 세 방향의 보정량이 모두 미리 설정된 기준치보다 작은 경우에는 카메라의 장착 오차가 없다고 판단하고 영상 교정을 종료한다. 반대로 상기 세 방향의 보정량 중 적어도 하나가 상기 기준치 이상인 경우에는 상기 보정량을 기초로 영상을 변환한다. 이러한 영상 변환 단계(S700)는 상술한 영상 변환부(500)에서 이루어지며, 구체적인 내용은 영상 변환부(500)에서 상술한 설명과 동일하다. 다만, 변환된 영상은 다시 영상 입력부(100)에 피드백되어 다시 영상 획득 단계(S100)로 진입하여 보정량을 산출함으로써, 모든 축에 대한 보정량이 허용 오차 범위를 만족할 때까지 영상 교정을 계속 수행하게 하는 것도 가능하다.
After the Yaw calibration step S500, an image conversion determination step S600 for comparing the correction amount of the roll direction, the correction amount of the pitch direction, and the correction amount of the yaw direction with preset reference values, ). If all of the correction amounts in the three directions are smaller than a preset reference value, it is determined that there is no mounting error of the camera, and the image correction is terminated. Conversely, when at least one of the correction amounts in the three directions is equal to or greater than the reference value, the image is converted based on the correction amount. The image conversion step S700 is performed by the
본 명세서에서 설명되는 실시예와 첨부된 도면은 본 발명에 포함되는 기술적 사상의 일부를 예시적으로 설명하는 것에 불과하다. 따라서 본 명세서에 개시된 실시예들은 본 발명의 기술적 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이므로, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것이 아님은 자명하다. The embodiments and the accompanying drawings described in the present specification are merely illustrative of some of the technical ideas included in the present invention. Therefore, it is to be understood that the embodiments disclosed herein are not intended to limit the scope of the present invention but to limit the scope of the present invention.
본 발명의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당해 기술분야에 있어서의 통상의 지식을 가진 자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시 예는 모두 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
It will be understood by those of ordinary skill in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims and their equivalents. It should be interpreted.
100: 영상 획득부 200: 직선 검출부
300: 특징 추출부 310: 롤(Roll) 특징 추출부
320: 피치(Pitch) 특징 추출부 400: 보정량 산출부
410: 롤(Roll) 보정량 산출부 420: 피치(Pitch) 보정량 산출부
430: 요(Yaw) 보정량 산출부 500: 영상 변환부
L1: 제 1라인 L2: 제 2라인
L3: 제 3라인 L4: 제 4라인
L5: 제 5라인 θ: 요(Yaw) 보정량
S100: 영상 획득 단계
S200: 직선 검출 단계
S300: 롤(Roll) 교정 단계
S310: 롤(Roll) 방향 특징 추출 단계
S320: 롤(Roll) 보정량 산출 단계
S400: 피치(Pitch) 교정 단계
S410: 피치(Pitch) 방향 특징 추출 단계
S420: 피치(Pitch) 보정량 산출 단계
S500: 요(Yaw) 교정 단계
S600: 영상 변환 판단 단계
S700: 영상 변환 단계100: image acquisition unit 200: linear detection unit
300: Feature extraction unit 310: Roll feature extraction unit
320: Pitch feature extraction unit 400:
410: Roll correction amount calculating unit 420: Pitch correction amount calculating unit
430 Yaw correction amount calculating unit 500:
L1: first line L2: second line
L3: third line L4: fourth line
L5: fifth line [theta]: Yaw correction amount
S100: Image acquisition step
S200: Straight line detection step
S300: Roll calibration step
S310: Roll direction feature extraction step
S320: Roll correction amount calculating step
S400: Pitch calibration step
S410: Pitch direction feature extraction step
S420: Pitch correction amount calculating step
S500: Yaw calibration step
S600: image conversion judgment step
S700: Image conversion step
Claims (11)
상기 영상에서 직선성분을 추출하는 직선 검출부;
상기 직선성분 중 복수개의 특징부를 추출하는 특징 추출부;
상기 복수개의 특징부에 기초하여 보정량을 산출하는 보정량 산출부; 및
상기 보정량에 기초하여 상기 영상의 교정을 수행하는 영상 변환부;
를 포함하는 영상 교정 장치.
An image acquiring unit which is formed on the ground and photographs a grid shape including a plurality of horizontal lines parallel to the X axis of the orthogonal coordinate system and a plurality of vertical lines orthogonal to the plurality of horizontal lines to obtain an image;
A linear detector for extracting a linear component from the image;
A feature extraction unit for extracting a plurality of features from the linear components;
A correction amount calculating unit for calculating a correction amount based on the plurality of features; And
An image converting unit for performing the correction of the image based on the correction amount;
The image correction device comprising:
상기 특징 추출부는,
상기 직선성분 중 상기 복수개의 가로 라인에 대응되는 성분으로부터 제 1라인 및 제 2라인을 추출하는 롤(Roll) 특징 추출부; 및
상기 직선성분 중 상기 복수개의 세로 라인에 대응되는 성분으로부터 제 3라인 및 제 4라인을 추출하는 피치(Pitch) 특징 추출부;
를 포함하는 영상 교정 장치.
The method according to claim 1,
The feature extraction unit may extract,
A roll feature extracting unit for extracting a first line and a second line from the components corresponding to the plurality of horizontal lines among the linear components; And
A pitch feature extraction unit for extracting a third line and a fourth line from the components corresponding to the plurality of vertical lines among the linear components;
The image correction device comprising:
상기 보정량 산출부는,
상기 제 1라인 및 상기 제 2라인을 기초로 롤(Roll) 방향의 보정량을 산출하는 롤(Roll) 보정량 산출부;
상기 제 3라인 및 상기 제 4라인을 기초로 피치(Pitch) 방향의 보정량을 산출하는 피치(Pitch) 보정량 산출부; 및
상기 롤(Roll) 보정량 산출부 및 상기 피치(Pitch) 보정량 산출부에 의해서 교정된 직선성분에 포함된 제 5라인 및 상기 직교좌표계의 X축이 이루는 각도에 기초하여 요(Yaw) 방향의 보정량을 산출하는 요(Yaw) 보정량 산출부;
를 포함하는 영상 교정 장치.
3. The method of claim 2,
Wherein the correction-
A roll correction amount calculating unit for calculating a correction amount in a roll direction based on the first line and the second line;
A pitch correction amount calculating unit for calculating a correction amount in a pitch direction based on the third line and the fourth line; And
A correction amount in the Yaw direction based on an angle formed by the roll correction amount calculating section and the fifth line included in the straight line component corrected by the pitch correction amount calculating section and the X axis of the rectangular coordinate system, A yaw correction amount calculating unit for calculating a yaw correction amount;
The image correction device comprising:
상기 롤(Roll) 보정량 산출부는,
상기 제 1라인의 길이 및 상기 제 2라인의 길이의 차에 의해 롤(Roll) 방향의 보정량을 산출하고,
상기 피치(Pitch) 보정량 산출부는,
상기 제 3라인의 길이 및 상기 제 4라인의 길이의 차에 의해 피치(Pitch) 방향의 보정량을 산출하는 영상 교정 장치.
The method of claim 3,
The roll correction amount calculating unit may calculate,
A correction amount in the roll direction is calculated by a difference between the length of the first line and the length of the second line,
The pitch correction amount calculating unit may calculate,
And calculates a correction amount in a pitch direction by a difference between the length of the third line and the length of the fourth line.
상기 영상의 윤곽선에서 직선성분을 추출하는 직선 검출 단계;
상기 직선성분을 기초로 롤(Roll) 방향의 보정량을 산출하는 롤(Roll) 교정 단계;
상기 직선성분을 기초로 피치(Pitch) 방향의 보정량을 산출하는 피치(Pitch) 교정 단계; 및
상기 직선성분, 상기 롤(Roll) 방향의 보정량 및 상기 피치(Pitch) 방향의 보정량을 기초로 요(Yaw) 방향의 보정량을 산출하는 요(Yaw) 교정 단계;
를 포함하는 영상 교정 방법.
An image acquiring step of acquiring an image by photographing a grid shape formed on the ground and including a plurality of horizontal lines parallel to the X-axis of the rectangular coordinate system and a plurality of vertical lines orthogonal to the plurality of horizontal lines;
A straight line detecting step of extracting a straight line component from an outline of the image;
A roll calibration step of calculating a correction amount in a roll direction based on the linear component;
A pitch correction step of calculating a correction amount in a pitch direction based on the linear component; And
A yaw calibration step of calculating a correction amount in a yaw direction based on the straight line component, the correction amount in the roll direction, and the correction amount in the pitch direction;
The method comprising the steps of:
상기 롤(Roll) 교정 단계는,
상기 직선성분 중 상기 복수개의 가로 라인에 대응되는 성분으로부터 제 1라인 및 제 2라인을 추출하는 롤(Roll) 방향 특징 추출 단계; 및
상기 제 1라인 및 상기 제 2라인을 기초로 롤(Roll) 방향의 보정량을 산출하는 롤(Roll) 보정량 산출 단계;
를 포함하는 영상 교정 방법.
6. The method of claim 5,
The roll calibration step may include:
A roll direction feature extraction step of extracting a first line and a second line from the components corresponding to the plurality of horizontal lines among the linear components; And
A roll correction amount calculating step of calculating a correction amount in a roll direction based on the first line and the second line;
The method comprising the steps of:
상기 롤(Roll) 보정량 산출 단계는,
상기 제 1라인의 길이 및 상기 제 2라인의 길이의 차에 의해 롤(Roll) 방향의 보정량을 산출하는 영상 교정 방법.
The method according to claim 6,
The roll correction amount calculating step may include:
And a correction amount in a roll direction is calculated by a difference between a length of the first line and a length of the second line.
상기 피치(Pitch) 교정 단계는,
상기 직선성분 중 상기 복수개의 가로 라인에 대응되는 성분으로부터 제 3라인 및 제 4라인을 추출하는 피치(Pitch) 방향 특징 추출 단계; 및
상기 제 3라인 및 상기 제 4라인을 기초로 피치(Pitch) 방향의 보정량을 산출하는 피치(Pitch) 보정량 산출 단계;
를 포함하는 영상 교정 방법.
6. The method of claim 5,
The pitch calibration step may include:
Extracting a third line and a fourth line from the components corresponding to the plurality of horizontal lines among the linear components; And
A pitch correction amount calculating step of calculating a correction amount in a pitch direction based on the third line and the fourth line;
The method comprising the steps of:
상기 피치(Pitch) 보정량 산출 단계는,
상기 제 3라인의 길이 및 상기 제 4라인의 길이의 차에 의해 피치(Pitch) 방향의 보정량을 산출하는 영상 교정 방법.
9. The method of claim 8,
Wherein the step of calculating the pitch correction amount includes:
The correction amount of the pitch direction is calculated by the difference between the length of the third line and the length of the fourth line.
상기 요(Yaw) 교정단계는,
상기 롤(Roll) 보정량 산출부 및 상기 피치(Pitch) 보정량 산출부에 의해서 교정된 직선성분에 포함된 제 5라인 및 상기 직교좌표계의 X축이 이루는 각도에 기초하여 요(Yaw) 방향의 보정량을 산출하는 영상 교정 방법.
6. The method of claim 5,
The yaw calibration step may include:
A correction amount in the Yaw direction based on an angle formed by the roll correction amount calculating section and the fifth line included in the straight line component corrected by the pitch correction amount calculating section and the X axis of the rectangular coordinate system, Producing video correction method.
상기 요(Yaw) 교정단계 이후에,
상기 롤(Roll) 방향의 보정량, 상기 피치(Pitch) 방향의 보정량 및 상기 요(Yaw) 방향의 보정량을 미리 설정된 기준치와 각각 비교하는 영상 변환 판단 단계; 및
상기 롤(Roll) 방향의 보정량, 상기 피치(Pitch) 방향의 보정량 및 상기 요(Yaw) 방향의 보정량 중 적어도 하나가 상기 기준치 이상인 경우 상기 보정량을 기초로 변환된 영상을 출력하는 영상 변환 단계;
를 더 포함하는 영상 교정 방법.
6. The method of claim 5,
After the Yaw calibration step,
An image conversion determining step of comparing the correction amount of the roll direction, the correction amount of the pitch direction, and the correction amount of the yaw direction with preset reference values, respectively; And
An image converting step of outputting a converted image based on the correction amount when at least one of a correction amount in the roll direction, a correction amount in the pitch direction, and a correction amount in the yaw direction is equal to or greater than the reference value;
The method further comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130057339A KR101973408B1 (en) | 2013-05-21 | 2013-05-21 | Image correction apparatus and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130057339A KR101973408B1 (en) | 2013-05-21 | 2013-05-21 | Image correction apparatus and method |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20140136810A true KR20140136810A (en) | 2014-12-01 |
KR101973408B1 KR101973408B1 (en) | 2019-04-29 |
Family
ID=52456941
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020130057339A KR101973408B1 (en) | 2013-05-21 | 2013-05-21 | Image correction apparatus and method |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101973408B1 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009267602A (en) * | 2008-04-23 | 2009-11-12 | Alpine Electronics Inc | Vehicle periphery monitoring apparatus, and setting correcting method of camera installing position and posture information which is applicable thereto |
US20110116243A1 (en) | 2009-11-19 | 2011-05-19 | Samsung Electronics Co., Ltd. | Noise reduction apparatus of mobile terminal |
KR20110116243A (en) * | 2009-03-31 | 2011-10-25 | 아이신세이끼가부시끼가이샤 | Calibration device, method, and program for onboard camera |
JP2012015576A (en) * | 2010-06-29 | 2012-01-19 | Clarion Co Ltd | Image calibration method and device |
-
2013
- 2013-05-21 KR KR1020130057339A patent/KR101973408B1/en active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009267602A (en) * | 2008-04-23 | 2009-11-12 | Alpine Electronics Inc | Vehicle periphery monitoring apparatus, and setting correcting method of camera installing position and posture information which is applicable thereto |
KR20110116243A (en) * | 2009-03-31 | 2011-10-25 | 아이신세이끼가부시끼가이샤 | Calibration device, method, and program for onboard camera |
US20110116243A1 (en) | 2009-11-19 | 2011-05-19 | Samsung Electronics Co., Ltd. | Noise reduction apparatus of mobile terminal |
JP2012015576A (en) * | 2010-06-29 | 2012-01-19 | Clarion Co Ltd | Image calibration method and device |
Also Published As
Publication number | Publication date |
---|---|
KR101973408B1 (en) | 2019-04-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2017135081A1 (en) | Vehicle-mounted camera calibration system | |
JP4690476B2 (en) | Car camera calibration system | |
KR101265012B1 (en) | Calibration device, method, and program for onboard camera | |
JP4751939B2 (en) | Car camera calibration system | |
JP6034775B2 (en) | Camera calibration device | |
US8452568B2 (en) | Method for calibrating cameras installed on vehicle | |
US8520067B2 (en) | Method for calibrating a measuring system | |
JP6334734B2 (en) | Data processing system and method for calibration of vehicle surround view system | |
JP5124147B2 (en) | Camera calibration apparatus and method, and vehicle | |
JP4681856B2 (en) | Camera calibration method and camera calibration apparatus | |
JP4803449B2 (en) | On-vehicle camera calibration device, calibration method, and vehicle production method using this calibration method | |
JP4803450B2 (en) | On-vehicle camera calibration device and vehicle production method using the device | |
JP5811327B2 (en) | Camera calibration device | |
JP5081313B2 (en) | Car camera calibration system | |
WO2015029934A1 (en) | Camera calibration device, camera calibration system, and camera calibration method | |
US20130002861A1 (en) | Camera distance measurement device | |
JP5240527B2 (en) | Car camera calibration apparatus, method, and program | |
JP2014064224A (en) | Calibration method and device for camera | |
CN112529966B (en) | On-line calibration method of vehicle-mounted looking-around system and vehicle-mounted looking-around system thereof | |
KR102470772B1 (en) | Apparatus and method for automatically calibrating integrated sensor of autonomous vehicle | |
CN115797467B (en) | Method, device, equipment and storage medium for detecting calibration result of vehicle camera | |
CN115066313B (en) | Workpiece mounting method for machining device, workpiece mounting support system, and storage medium | |
WO2013145880A1 (en) | Camera calibration device | |
CN114993266B (en) | Positioning device and positioning system | |
CN202111802U (en) | Calibration device for monitoring apparatus with multiple image sensors |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |