KR102326184B1 - Calibration apparatus and method of rear view camera - Google Patents

Calibration apparatus and method of rear view camera Download PDF

Info

Publication number
KR102326184B1
KR102326184B1 KR1020170159173A KR20170159173A KR102326184B1 KR 102326184 B1 KR102326184 B1 KR 102326184B1 KR 1020170159173 A KR1020170159173 A KR 1020170159173A KR 20170159173 A KR20170159173 A KR 20170159173A KR 102326184 B1 KR102326184 B1 KR 102326184B1
Authority
KR
South Korea
Prior art keywords
angle
lane
viewpoint
lookup table
image
Prior art date
Application number
KR1020170159173A
Other languages
Korean (ko)
Other versions
KR20190061136A (en
Inventor
진문용
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020170159173A priority Critical patent/KR102326184B1/en
Publication of KR20190061136A publication Critical patent/KR20190061136A/en
Application granted granted Critical
Publication of KR102326184B1 publication Critical patent/KR102326184B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/26Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • G06K9/00798
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 후방카메라의 캘리브레이션 장치 및 방법이 개시된다. 본 발명의 후방카메라의 캘리브레이션 장치는, 차량 제어장치로부터 차량상태를 입력받는 차량상태 입력부; 후방영상의 시점을 변환하기 위한 룩업테이블을 저장하는 시점변환 룩업테이블; 및 차량상태 입력부로부터 차량상태를 입력받아 캘리브레이션을 위한 거동조건이 만족되면 후방카메라로부터 후방영상을 입력받아 시점변환 룩업테이블을 통해 톱뷰로 시점을 변환하여 좌우 차선간 각도를 기반으로 피치각을 보정하고, 프론트뷰로 시점을 변환하여 좌우 차선각도 차이값을 기반으로 롤각을 보정하며, 차선 수직각도를 기반으로 요각을 보정하는 제어부;를 포함하는 것을 특징으로 한다. The present invention discloses an apparatus and method for calibrating a rear camera. A rear camera calibration apparatus of the present invention includes: a vehicle state input unit for receiving a vehicle state input from a vehicle control device; a viewpoint conversion lookup table for storing a lookup table for converting a viewpoint of a rear image; And when the vehicle state is input from the vehicle state input unit and the behavior condition for calibration is satisfied, the rear image is input from the rear camera, the viewpoint is converted to the top view through the viewpoint conversion lookup table, and the pitch angle is corrected based on the angle between the left and right lanes. , a control unit that converts the viewpoint to the front view to correct the roll angle based on the difference between the left and right lane angles, and corrects the yaw angle based on the vertical angle of the lane.

Description

후방카메라의 캘리브레이션 장치 및 방법{CALIBRATION APPARATUS AND METHOD OF REAR VIEW CAMERA}Reversing camera calibration device and method {CALIBRATION APPARATUS AND METHOD OF REAR VIEW CAMERA}

본 발명은 후방카메라의 캘리브레이션 장치 및 방법에 관한 것으로서, 보다 상세하게는 차량의 등속도 직진주행 중 후방카메라의 영상을 분석하여 영상 왜곡보정을 수행하는 후방카메라의 캘리브레이션 장치 및 방법에 관한 것이다. The present invention relates to an apparatus and method for calibrating a rear camera, and more particularly, to an apparatus and method for calibrating a rear camera for performing image distortion correction by analyzing an image of a rear camera while driving in a straight line at a constant speed of a vehicle.

일반적으로, 어라운드 뷰 모니터링(AVM: Around View Monitoring) 시스템은 차량의 전방, 후방, 좌측 및 우측 카메라로부터 획득된 주변 영상을 하나의 영상으로 융합하여 제공함으로써 운전자로 하여금 주변 상황을 인지할 수 있도록 하는 시스템을 말한다. AVM 시스템은 차량의 사각지대 영상, 및 주차 시의 후방 영상을 운전자에게 제공하는 등의 편의성을 제공하여 운전자를 보조하는 운전 지원 시스템으로 보급되는 추세에 있다.In general, an Around View Monitoring (AVM) system provides a system that provides a single image with surrounding images acquired from front, rear, left and right cameras of a vehicle so that the driver can recognize the surrounding situation. say the system The AVM system tends to be popularized as a driving support system that assists the driver by providing convenience, such as providing the driver with an image of a blind spot of a vehicle and a rear image when parking.

차량에 장착된 복수의 카메라로부터 획득된 영상을 하나의 영상으로 융합하기 위해서는 카메라의 내부 파라미터(광중심 및 초점거리 등) 및 외부 파라미터(설치위치 및 설치각도 등)가 제공되어야 하며, 내부 파라미터는 불변하므로 캘리브레이션을 통해 한 번 획득한 값을 지속적으로 활용할 수 있으나, 외부 파라미터는 외부 충격에 의해 쉽게 변경될 수 있어 지속적인 보정 작업이 필요하다. In order to fuse images obtained from a plurality of cameras mounted on a vehicle into one image, internal parameters (light center and focal length, etc.) and external parameters (installation position and installation angle, etc.) of the camera must be provided, and the internal parameters are Since it is invariant, the value obtained once through calibration can be continuously used, but external parameters can be easily changed by external shocks, so continuous correction is required.

외부 파라미터 중 설치 위치는 카메라를 교체해도 설치 지그(JIG)로 인해 크게 변경이 없으나, 설치 각도는 외란의 영향에 민감하며 설치 각도 상의 오차는 각 카메라로부터 획득된 영상이 상호 융합되지 않는 문제점을 야기한다.Among the external parameters, the installation position does not change significantly due to the installation jig even if the camera is replaced. do.

종래에는 지면에 특정 캘리브레이션 패턴이 그려진 보정장에서 숙련공이 별도의 장비를 이용하여 카메라의 캘리브레이션을 수행하였다. 이러한 방식은 캘리브레이션 패턴 상의 특정 마커의 상대적인 위치를 미리 정확하게 알 수 있어 정밀한 결과를 얻을 수 있는 장점이 있으나, 주로 차량이 출하되는 공장 등 일정 넓이 이상의 면적을 갖는 공간이 요구되는 공간적 제약을 수반하며, 숙련공에 의해 별도의 장비를 이용하여 수행되는 점에서 운전자의 시간 및 비용이 소모되기 때문에, 캘리브레이션 작업의 편의성을 향상시키기 위한 시스템이 요청된다.Conventionally, in a calibration field in which a specific calibration pattern is drawn on the ground, a skilled worker performs the calibration of the camera using separate equipment. This method has the advantage of obtaining precise results by accurately knowing the relative position of a specific marker on the calibration pattern in advance, but it is mainly accompanied by a spatial constraint that requires a space having an area of more than a certain area, such as a factory where vehicles are shipped, Since the time and cost of the operator are consumed in that the operation is performed by a skilled worker using separate equipment, a system for improving the convenience of the calibration operation is required.

본 발명의 배경기술은 대한민국 공개특허공보 제10-2011-0055412호(2011.05.25. 공개, 캘리브레이션 장치)에 개시되어 있다.Background art of the present invention is disclosed in Korean Patent Publication No. 10-2011-0055412 (published on May 25, 2011, calibration device).

본 발명은 상기와 같은 문제점들을 개선하기 위하여 안출된 것으로, 일 측면에 따른 본 발명의 목적은 차량의 등속도 직진주행 중 후방카메라의 영상을 분석하여 영상 왜곡보정을 수행하는 후방카메라의 캘리브레이션 장치 및 방법을 제공하는 것이다. The present invention has been devised to improve the above problems, and an object of the present invention according to one aspect is to analyze the image of the rear camera during constant speed straight driving of a vehicle and perform image distortion correction by analyzing the image of the rear camera, and to provide a way

본 발명의 일 측면에 따른 후방카메라의 캘리브레이션 장치는, 차량 제어장치로부터 차량상태를 입력받는 차량상태 입력부; 후방영상의 시점을 변환하기 위한 룩업테이블을 저장하는 시점변환 룩업테이블; 및 차량상태 입력부로부터 차량상태를 입력받아 캘리브레이션을 위한 거동조건이 만족되면 후방카메라로부터 후방영상을 입력받아 시점변환 룩업테이블을 통해 톱뷰로 시점을 변환하여 좌우 차선간 각도를 기반으로 피치각을 보정하고, 프론트뷰로 시점을 변환하여 좌우 차선각도 차이값을 기반으로 롤각을 보정하며, 차선 수직각도를 기반으로 요각을 보정하는 제어부;를 포함하는 것을 특징으로 한다. A rear camera calibration apparatus according to an aspect of the present invention includes: a vehicle state input unit for receiving a vehicle state input from a vehicle control device; a viewpoint conversion lookup table for storing a lookup table for converting a viewpoint of a rear image; And when the vehicle state is input from the vehicle state input unit and the behavior condition for calibration is satisfied, the rear image is input from the rear camera, the viewpoint is converted to the top view through the viewpoint conversion lookup table, and the pitch angle is corrected based on the angle between the left and right lanes. , a control unit that converts the viewpoint to the front view to correct the roll angle based on the difference between the left and right lane angles, and corrects the yaw angle based on the vertical angle of the lane.

본 발명에서 제어부는 차량상태로부터 차속과, 요각 또는 조향각을 기반으로 차속이 설정속도 이상이고, 가속도가 설정가속도 이하이며, 요각 또는 조향각이 설정각 이하인 상태가 설정시간 유지되는 경우 거동조건의 만족상태로 판단하는 것을 특징으로 한다. In the present invention, based on the vehicle speed and the yaw angle or steering angle, the control unit satisfies the behavior condition when the vehicle speed is greater than the set speed, the acceleration is less than the set acceleration, and the yaw or steering angle is less than the set angle is maintained for a set time based on the vehicle speed and the yaw angle or steering angle. It is characterized by judging by

본 발명에서 시점변환 룩업테이블은, 후방영상을 프론트뷰로 시점을 변환하기 위한 프론트뷰 룩업테이블과 후방영상을 톱뷰로 시점을 변환하기 위한 톱뷰 룩업테이블을 포함하는 것을 특징으로 한다. In the present invention, the viewpoint conversion lookup table includes a front view lookup table for converting a viewpoint from a rear image to a front view and a top view lookup table for converting a viewpoint from a rear image to a top view.

본 발명에서 제어부는, 후방영상에 대해 시점변환 룩업테이블을 통해 톱뷰로 시점을 변환하거나, 프론트뷰로 시점을 변환하는 시점변환부; 시점변환부를 통해 시점이 변환된 톱뷰 영상이나 프론트뷰 영상에서 차선을 검출하는 차선검출부; 차선검출부에서 톱뷰 영상으로부터 검출한 좌우 차선간 각도를 기반으로 평행차선 여부를 판단하여 시점변환 룩업테이블의 피치각을 업데이트하는 피치각 보정부; 차선검출부에서 프론트뷰 영상으로부터 검출한 좌우 차선의 소실점을 기준으로 좌우 차선각도의 차이값을 통해 시점변환 룩업테이블의 롤각을 업데이트하는 롤각 보정부; 및 차선검출부에서 톱뷰 영상으로부터 검출한 차선이 수직선을 기준으로 틀어진 수직각도를 기반으로 시점변환 룩업테이블의 요각을 업데이트하는 요각 보정부;를 포함하는 것을 특징으로 한다. In the present invention, the control unit includes: a viewpoint converting unit for converting a viewpoint to a top view or converting a viewpoint to a front view through a viewpoint transformation lookup table for the rear image; a lane detection unit for detecting a lane in the top view image or the front view image in which the viewpoint is converted through the viewpoint converting unit; a pitch angle correcting unit that determines whether there are parallel lanes based on the angle between the left and right lanes detected from the top view image by the lane detection unit and updates the pitch angle of the viewpoint conversion lookup table; a roll angle correcting unit that updates the roll angle of the viewpoint conversion lookup table based on the difference between the left and right lane angles based on the vanishing point of the left and right lanes detected by the lane detection unit from the front view image; and a yaw angle correction unit for updating the yaw angle of the viewpoint conversion lookup table based on the vertical angle at which the lane detected from the top view image by the lane detection unit is deviated from the vertical line.

본 발명에서 차선검출부는, 검출된 차선의 위치 및 방향의 통계적 특성을 분석하여 오 검출된 차선을 제거하여 유효한 차선을 검출하는 것을 특징으로 한다. In the present invention, the lane detection unit is characterized in that the effective lane is detected by removing the erroneously detected lane by analyzing statistical characteristics of the position and direction of the detected lane.

본 발명의 다른 측면에 따른 후방카메라의 캘리브레이션 방법은, 제어부가 차량상태 입력부로부터 차량상태를 입력받아 캘리브레이션을 위한 차량의 거동조건 여부를 판단하는 단계; 제어부가 차량의 거동조건이 만족된 경우 후방카메라로부터 후방영상을 입력받는 단계; 제어부가 입력된 후방영상에 대해 시점변환 룩업테이블을 기반으로 톱뷰 영상으로 시점을 변환하여 차선을 검출하는 단계; 제어부가 톱뷰 영상으로부터 검출된 좌우 차선간 각도를 기반으로 피치각의 왜곡여부를 판단하여 피치각을 보정하는 단계; 제어부가 피치각의 왜곡여부를 판단하여 정상인 경우 후방영상에 대해 시점변환 룩업테이블을 기반으로 프론트뷰 영상으로 시점을 변환하여 차선을 검출하는 단계; 제어부가 프론트뷰 영상으로부터 검출된 좌우 차선각도의 차이값을 기반으로 롤각의 왜곡여부를 판단하여 롤각을 보정하는 단계; 및 제어부가 롤각 왜곡여부를 판단하여 정상인 경우 차선의 수직각도를 기반으로 요각의 왜곡여부를 판단하여 요각을 보정하는 단계;를 포함하는 것을 특징으로 한다. A method of calibrating a rear camera according to another aspect of the present invention includes the steps of: a control unit receiving a vehicle state from a vehicle state input unit and determining whether a behavior condition of the vehicle for calibration is present; receiving, by the controller, a rear image from the rear camera when the vehicle behavior condition is satisfied; detecting a lane by the controller converting a viewpoint into a top-view image based on a viewpoint transformation lookup table for the input rear image; correcting the pitch angle by determining, by the controller, whether the pitch angle is distorted based on the angle between the left and right lanes detected from the top view image; detecting, by the controller, whether the pitch angle is distorted, and if normal, converting a viewpoint into a front view image based on a viewpoint transformation lookup table for the rear image to detect a lane; correcting the roll angle by determining, by the controller, whether the roll angle is distorted based on the difference between the left and right lane angles detected from the front view image; and correcting the yaw angle by determining whether the roll angle is distorted by the control unit and determining whether the yaw angle is distorted based on the vertical angle of the lane if it is normal.

본 발명에서 거동조건을 판단하는 단계는, 제어부가 차량상태로부터 입력된 차속과, 요각 또는 조향각을 기반으로 차속이 설정속도 이상이고, 가속도가 설정가속도 이하이며, 요각 또는 조향각이 설정각 이하인 상태가 설정시간 유지되는지 판단하는 것을 특징으로 한다. In the present invention, the step of determining the behavior condition includes, by the controller, based on the vehicle speed input from the vehicle state and the yaw or steering angle, the vehicle speed is greater than or equal to the set speed, the acceleration is less than or equal to the set acceleration, and the yaw or steering angle is less than or equal to the set angle. It is characterized in that it is determined whether the set time is maintained.

본 발명에서 차선을 검출하는 단계는, 제어부가 검출된 차선의 위치 및 방향의 통계적 특성을 분석하여 오 검출된 차선을 제거하여 유효한 차선을 검출하는 것을 특징으로 한다. In the detecting of the lane in the present invention, the control unit analyzes the statistical characteristics of the position and direction of the detected lane and removes the erroneously detected lane to detect an effective lane.

본 발명에서 피치각의 왜곡여부를 판단하여 피치각을 보정하는 단계는, 제어부가 좌우 차선간 각도를 기반으로 평행차선 여부를 판단하여 평행을 위한 피치각을 반영하여 시점변환 룩업테이블을 업데이트하는 것을 특징으로 한다. In the present invention, the step of correcting the pitch angle by determining whether the pitch angle is distorted is that the control unit determines whether there are parallel lanes based on the angle between the left and right lanes and reflects the pitch angle for parallelism to update the viewpoint transformation lookup table. characterized.

본 발명에서 롤각의 왜곡여부를 판단하여 롤각을 보정하는 단계는, 제어부가 좌우 차선의 소실점을 기준으로 좌우 차선각도의 차이값이 설정 차이값 이하인지 판단하여 차이값을 롤각에 반영하여 시점변환 룩업테이블을 업데이트하는 것을 특징으로 한다. In the present invention, in the step of correcting the roll angle by determining whether the roll angle is distorted, the control unit determines whether the difference between the left and right lane angles is equal to or less than the set difference value based on the vanishing point of the left and right lanes, and reflects the difference to the roll angle to change the viewpoint. It is characterized by updating the table.

본 발명에서 요각의 왜곡여부를 판단하여 요각을 보정하는 단계는, 제어부가 수직선을 기준으로 틀어진 차선의 수직각도를 계산하여 설정각도 이하인지 판단하여 차선의 수직각도를 요각에 반영하여 시점변환 룩업테이블을 업데이트하는 것을 특징으로 한다. In the present invention, in the step of correcting the yaw angle by determining whether the yaw angle is distorted, the control unit calculates the vertical angle of the deviated lane based on the vertical line, determines whether the angle is less than or equal to the set angle, and reflects the vertical angle of the lane to the yaw angle. is characterized in that it is updated.

본 발명의 일 측면에 따른 후방카메라의 캘리브레이션 장치 및 방법은 차량의 등속도 직진주행 중 후방카메라의 영상을 분석하여 영상 왜곡보정을 수행함으로써 외부 파라미터가 변하더라도 자동으로 보정이 가능하여 후진시 캘리브레이션 수행을 위한 부하를 줄일 수 있을 뿐만 아니라 공정시 후방카메라의 장착이 잘못된 경우에도 보정 가능하여 편의성을 향상시킬 수 있다. The apparatus and method for calibrating a rear camera according to an aspect of the present invention perform image distortion correction by analyzing the image of the rear camera during constant speed straight driving of a vehicle, so that even if an external parameter is changed, it can be automatically corrected, so calibration is performed when reversing. In addition to reducing the load for the camera, it can be corrected even if the rear camera is incorrectly installed during the process, thereby improving convenience.

도 1은 본 발명의 일 실시예에 따른 후방카메라의 캘리브레이션 장치를 나타낸 블록 구성도이다.
도 2는 본 발명의 일 실시예에 따른 후방카메라의 캘리브레이션 장치에서 시점변환된 영상을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 후방카메라의 캘리브레이션 장치에서 차량에 설치된 후방카메라를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 후방카메라의 캘리브레이션 장치에서 후방영상에 대한 시점변환된 영상을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 후방카메라의 캘리브레이션 장치에서 피치각 보정상태를 나타낸 예시도이다.
도 6은 본 발명의 일 실시예에 따른 후방카메라의 캘리브레이션 장치에서 롤각 보정상태를 나타낸 예시도이다.
도 7는 본 발명의 일 실시예에 따른 후방카메라의 캘리브레이션 장치에서 요각 보정상태를 나타낸 예시도이다.
도 8은 본 발명의 일 실시예에 따른 후방카메라의 캘리브레이션 방법을 설명하기 위한 흐름도이다.
1 is a block diagram illustrating an apparatus for calibrating a rear camera according to an embodiment of the present invention.
2 is a view for explaining a viewpoint-converted image in the calibration apparatus of the rear camera according to an embodiment of the present invention.
3 is a view showing a rear camera installed in a vehicle in the apparatus for calibrating the rear camera according to an embodiment of the present invention.
4 is a view showing a viewpoint-converted image of the rear image in the apparatus for calibrating the rear camera according to an embodiment of the present invention.
5 is an exemplary view showing a pitch angle correction state in the apparatus for calibrating the rear camera according to an embodiment of the present invention.
6 is an exemplary view showing a roll angle correction state in the calibration apparatus of the rear camera according to an embodiment of the present invention.
7 is an exemplary diagram illustrating a yaw angle correction state in the apparatus for calibrating a rear camera according to an embodiment of the present invention.
8 is a flowchart illustrating a method of calibrating a rear camera according to an embodiment of the present invention.

이하, 첨부된 도면들을 참조하여 본 발명에 따른 후방카메라의 캘리브레이션 장치 및 방법을 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.Hereinafter, an apparatus and method for calibrating a rear camera according to the present invention will be described with reference to the accompanying drawings. In this process, the thickness of the lines or the size of the components shown in the drawings may be exaggerated for clarity and convenience of explanation. In addition, the terms to be described later are terms defined in consideration of functions in the present invention, which may vary according to the intention or custom of the user or operator. Therefore, definitions of these terms should be made based on the content throughout this specification.

도 1은 본 발명의 일 실시예에 따른 후방카메라의 캘리브레이션 장치를 나타낸 블록 구성도이고, 도 2는 본 발명의 일 실시예에 따른 후방카메라의 캘리브레이션 장치에서 시점변환된 영상을 설명하기 위한 도면이며, 도 3은 본 발명의 일 실시예에 따른 후방카메라의 캘리브레이션 장치에서 차량에 설치된 후방카메라를 나타낸 도면이고, 도 4는 본 발명의 일 실시예에 따른 후방카메라의 캘리브레이션 장치에서 후방영상에 대한 시점변환된 영상을 나타낸 도면이며, 도 5는 본 발명의 일 실시예에 따른 후방카메라의 캘리브레이션 장치에서 피치각 보정상태를 나타낸 예시도이고, 도 6은 본 발명의 일 실시예에 따른 후방카메라의 캘리브레이션 장치에서 롤각 보정상태를 나타낸 예시도이며, 도 7는 본 발명의 일 실시예에 따른 후방카메라의 캘리브레이션 장치에서 요각 보정상태를 나타낸 예시도이다. 1 is a block diagram illustrating an apparatus for calibrating a rear camera according to an embodiment of the present invention. , FIG. 3 is a view showing a rear camera installed in a vehicle in the apparatus for calibrating the rear camera according to an embodiment of the present invention, and FIG. 4 is a viewpoint for the rear image in the apparatus for calibrating the rear camera according to an embodiment of the present invention It is a view showing a converted image, and FIG. 5 is an exemplary view showing a pitch angle correction state in a calibration apparatus of a rear camera according to an embodiment of the present invention, and FIG. 6 is a rear view camera calibration according to an embodiment of the present invention. It is an exemplary view showing the roll angle correction state in the apparatus, and FIG. 7 is an exemplary view showing the yaw angle correction state in the rear camera calibration apparatus according to an embodiment of the present invention.

도 1에 도시된 바와 같이 본 발명의 일 실시예에 따른 후방카메라의 캘리브레이션 장치는, 차량상태 입력부(20), 시점변환 룩업테이블(40) 및 제어부(30)를 포함한다. As shown in FIG. 1 , the apparatus for calibrating a rear view camera according to an embodiment of the present invention includes a vehicle state input unit 20 , a viewpoint conversion lookup table 40 , and a control unit 30 .

차량상태 입력부(20)는 차량 제어장치(미도시)로부터 차량상태를 입력받아 제어부(30)에 제공함으로서 제어부(30)에서 자동 캘리브레이션을 위한 거동조건을 판단할 수 있도록 한다. The vehicle state input unit 20 receives the vehicle state from a vehicle control device (not shown) and provides it to the controller 30 so that the controller 30 can determine a behavior condition for automatic calibration.

여기서 차량상태 입력부(20)는 차량 제어장치와 CAN 통신으로 연결되어 차속과, 요각 또는 조향각을 입력받을 수 있다. Here, the vehicle state input unit 20 may be connected to the vehicle control device through CAN communication to receive a vehicle speed, a yaw angle, or a steering angle.

시점변환 룩업테이블(40)은 도 2의 (가)에 도시된 바와 같이 후방영상에 대해 시점을 톱뷰(Top view) 시점으로 변환하여 도 2의 (나)에 도시된 바와 같은 톱뷰 영상을 생성하기 위한 톱뷰 룩업테이블과, 프론트뷰(Front view) 시점으로 변환하여 도 2의 (다)에 도시된 바와 같은 프론트뷰 영상을 생성하기 위한 프론트뷰 룩업테이블을 포함한다. The viewpoint conversion lookup table 40 converts the viewpoint to a top view viewpoint for the rear image as shown in (A) of FIG. 2 to generate a top view image as shown in (B) of FIG. and a front view lookup table for generating a front view image as shown in (c) of FIG. 2 by converting to a front view viewpoint.

초기 후방카메라(10)는 도 3에 도시된 바와 같이 차량 출고시 피치각, 롤각, 요각이 초기 설정되어 출하된다. 그러나, 타이어 공기압 변화, 트렁크 짐, 승객탑승, 카메라 틀어짐 등으로 인한 차량 외부 환경변화가 일어날 경우 초기에 설정된 영상은 왜곡이 일어나게 되며 여러 어플리케이션에서 에러를 발생시킬 수 있다. The initial rear camera 10 is shipped with a pitch angle, a roll angle, and a yaw angle initially set when the vehicle is shipped as shown in FIG. 3 . However, when a change in the external environment of the vehicle occurs due to a change in tire pressure, trunk load, passenger boarding, camera misalignment, etc., the initially set image is distorted and may cause errors in various applications.

따라서, 제어부(30)는 차량상태 입력부(20)로부터 차량상태를 입력받아 캘리브레이션을 위한 거동조건이 만족되면 후방카메라(10)로부터 후방영상을 입력받아 시점변환 룩업테이블(40)을 통해 톱뷰로 시점을 변환하여 좌우 차선 간 각도를 기반으로 피치각을 보정하고, 프론트뷰로 시점을 변환하여 좌우 차선각도 차이값을 기반으로 롤각을 보정하며, 차선 수직각도를 기반으로 요각을 보정한다. Accordingly, the control unit 30 receives the vehicle state from the vehicle state input unit 20 and, when the behavior condition for calibration is satisfied, receives the rear image from the rear camera 10 and views it as a top view through the viewpoint conversion lookup table 40 . to correct the pitch angle based on the angle between the left and right lanes, convert the viewpoint to the front view to correct the roll angle based on the difference between the left and right lane angles, and correct the yaw angle based on the vertical angle of the lane.

여기서 제어부(30)는 자동 캘리브레이션을 위한 거동조건으로 등속도 직진주행 상태를 판단하기 위해 차량상태로부터 차속과, 요각 또는 조향각을 기반으로 차속이 설정속도 이상이고, 가속도가 설정가속도 이하이며, 요각 또는 조향각이 설정각 이하인 상태가 설정시간 유지되는 경우 등속도 직진주행 상태로 판단할 수 있다. Here, the control unit 30 determines the constant speed straight driving state as a behavior condition for automatic calibration. Based on the vehicle speed and the yaw or steering angle from the vehicle state, the vehicle speed is greater than or equal to the set speed, and the acceleration is less than or equal to the set acceleration, yaw or When the state in which the steering angle is less than the set angle is maintained for the set time, it may be determined as a constant speed straight driving state.

이는 차량의 주행 시 후방카메라(10)로부터 입력되는 후방영상이 도 4에 도시된 바와 같이 가속 상태와 감속 상태에서는 차량이 앞이나 뒤로 기울어지면서 차선이 평행하게 보이지 않게 된다. 따라서 본 실시예에서는 등속도 직진주행 상태를 거동조건으로 판단하게 된다. As shown in FIG. 4 , the rear image input from the rear camera 10 when the vehicle is driving is in the acceleration state and the deceleration state, the vehicle is tilted forward or backward, and the lanes are not seen in parallel. Therefore, in the present embodiment, the constant speed straight running state is determined as the behavior condition.

또한 제어부(30)는 시점변환부(31), 차선검출부(32), 피치각 보정부(33), 롤각 보정부(34) 및 요각 보정부(35)를 포함할 수 있다. Also, the control unit 30 may include a viewpoint converting unit 31 , a lane detecting unit 32 , a pitch angle correcting unit 33 , a roll angle correcting unit 34 , and a yaw angle correcting unit 35 .

시점변환부(31)는 도 2에 도시된 바와 같이 후방영상에 대해 시점변환 룩업테이블(40)을 통해 톱뷰 영상으로 시점을 변환하거나, 프론트뷰 영상으로 시점을 변환한다. As shown in FIG. 2 , the viewpoint converting unit 31 converts the viewpoint into a top view image through the viewpoint transformation lookup table 40 for the rear image, or converts the viewpoint into a front view image.

차선검출부(32)는 시점변환부(31)를 통해 시점이 변환된 톱뷰 영상이나 프론트뷰 영상에서 차선을 검출한다. The lane detection unit 32 detects a lane in the top view image or the front view image in which the viewpoint is converted through the viewpoint conversion unit 31 .

여기서 차선검출부(32)는 검출된 차선의 위치 및 방향의 통계적 특성을 분석하여 오 검출된 차선을 제거하여 유효한 차선을 검출할 수 있다. Here, the lane detection unit 32 may analyze the statistical characteristics of the position and direction of the detected lane and remove the erroneously detected lane to detect an effective lane.

예를 들어, 영상을 분석하여 차선을 검출할 경우 검출된 차선에는 오 검출된 차선이 존재할 수밖에 없기 때문에 오 검출된 차선을 제거할 필요성이 있다. 차량이 차로를 따라 주행하는 환경이라면 검출된 차선의 위치 및 방향의 변화는 제한적이게 되며, 검출된 차선의 대부분이 주행 차로의 차선이라면 차선의 위치 및 방향 특성은 군집을 이루게 되므로, 차선의 위치 및 방향의 통계적 특성을 분석하여 군집에서 벗어난 오류, 즉 오 검출된 차선을 제거할 수 있다.For example, when a lane is detected by analyzing an image, it is necessary to remove the erroneously detected lane because there is inevitably a erroneously detected lane in the detected lane. If the vehicle is driven along the lane, the change in the position and direction of the detected lane is limited, and if most of the detected lane is the lane of the driving lane, the characteristics of the position and direction of the lane form a cluster. By analyzing the statistical characteristics of the direction, it is possible to remove an out-of-cluster error, that is, an erroneously detected lane.

피치각 보정부(33)는 차선검출부(32)에서 톱뷰 영상으로부터 검출한 좌우 차선간 각도를 기반으로 평행차선 여부를 판단하여 시점변환 룩업테이블(40)의 피치각을 업데이트하여 보정한다. The pitch angle correction unit 33 determines whether there are parallel lanes based on the angle between the left and right lanes detected from the top view image by the lane detection unit 32 and updates and corrects the pitch angle of the viewpoint conversion lookup table 40 .

예를 들어, 도 5에 도시된 바와 같이 톱뷰 영상으로부터 차선을 검출할 때 (가)는 피치각이 +3도 틀어져 왜곡된 상태이고, (나)는 -3도 틀어져 왜곡된 상태로써 좌우 차선이 평행을 이루지 못한다. 따라서 피치각 보정부(33)는 (다)에 도시된 바와 같이 평행을 이루도록 좌우 차선 간 각도를 피치각에 적용하여 시점변환 룩업테이블(40)을 업데이트할 수 있다. For example, as shown in FIG. 5 , when detecting a lane from the top view image, (A) is a distorted state because the pitch angle is shifted by +3 degrees, and (B) is a distorted state because the pitch angle is shifted by -3 degrees, and the left and right lanes are distorted. can't be parallel Accordingly, the pitch angle corrector 33 may update the viewpoint conversion lookup table 40 by applying the angle between the left and right lanes to the pitch angle to achieve parallelism as shown in (c).

롤각 보정부(34)는 차선검출부(32)에서 프론트뷰 영상으로부터 검출한 좌우 차선각도의 차이값을 통해 시점변환 룩업테이블(40)의 롤각을 업데이트하여 보정한다. The roll angle corrector 34 updates and corrects the roll angle of the viewpoint conversion lookup table 40 based on the difference between the left and right lane angles detected from the front view image by the lane detection unit 32 .

예를 들어, 롤각 보정부(34)는 도 6에 도시된 바와 같이 차선이 서로 만나는 소실점을 기준으로 수직선을 그어 좌우 차선각도의 차이값을 계산할 수 있다. 이때 (가)는 롤각이 +5도로 틀어져 왜곡된 상태이고, (나)는 롤각이 -5도 틀어져 왜곡된 상태로 좌우 차선각도의 차이값이 설정 차이값인 0도를 벗어난다. 따라서 롤각 보정부(34)는 (다)에 도시된 바와 같이 좌우 차선각도의 차이값인 5도를 롤각에 반영하여 시점변환 룩업테이블(40)을 업데이트할 수 있다. For example, the roll angle corrector 34 may calculate the difference between the left and right lane angles by drawing a vertical line based on the vanishing point where the lanes meet each other as shown in FIG. 6 . At this time, (A) is a distorted state due to a +5 degree roll angle, and (B) is a distorted state due to a -5 degree roll angle. Accordingly, the roll angle correcting unit 34 may update the viewpoint conversion lookup table 40 by reflecting 5 degrees, which is the difference between the left and right lane angles, to the roll angle as shown in (c).

요각 보정부(35)는 차선검출부(32)에서 톱뷰 영상으로부터 수직선을 기준으로 검출한 차선의 틀어진 수직각도를 기반으로 시점변환 룩업테이블(40)의 요각을 업데이트하여 보정한다. The yaw angle correction unit 35 updates and corrects the yaw angle of the viewpoint conversion lookup table 40 based on the wrong vertical angle of the lane detected by the lane detection unit 32 based on the vertical line from the top view image.

예를 들어, 요각 보정부(35)는 도 7에 도시된 바와 같이 수직선을 기준으로 틀어진 차선의 수직각도인 요각을 계산할 수 있다. 이때 (가)는 요각이 +5도 틀어져 왜곡된 상태이고, (나)는 요각이 -5도 틀어져 왜곡된 상태로 차선의 수직선을 기준으로 수직각도가 설정각도인 0도를 벗어난다. 따라서 요각 보정부(35)는 (다)에 도시된 바와 같이 틀어진 차선의 수직각도를 요각에 반영하여 시점변환 룩업테이블(40)을 업데이트할 수 있다. For example, as shown in FIG. 7 , the yaw angle correcting unit 35 may calculate a yaw angle that is a vertical angle of a lane that is misaligned with respect to a vertical line. In (A), the yaw angle is distorted by +5 degrees, and in (B), the yaw angle is distorted by -5 degrees, and the vertical angle with respect to the vertical line of the lane deviates from the set angle of 0 degrees. Accordingly, the yaw angle correction unit 35 may update the viewpoint transformation lookup table 40 by reflecting the vertical angle of the deviated lane to the yaw angle as shown in (c).

이와 같이 제어부(30)는 차량의 주행 중 등속도 직진주행 상태일 경우 자동으로 후방카메라(10)의 후방영상을 보정한 후 출력부(50)를 통해 영상인식 어플리케이션 및 주차보조 디스플레이로 출력한다. As such, the control unit 30 automatically corrects the rear image of the rear camera 10 when the vehicle is driving at a constant speed while driving and outputs it to the image recognition application and the parking assistance display through the output unit 50 .

상술한 바와 같이, 본 발명의 실시예에 의한 후방카메라의 캘리브레이션 장치에 따르면, 차량의 등속도 직진주행 중 후방카메라의 영상을 분석하여 영상 왜곡보정을 수행함으로써 외부 파라미터가 변하더라도 자동으로 보정이 가능하여 후진시 캘리브레이션 수행을 위한 부하를 줄일 수 있을 뿐만 아니라 공정시 후방카메라의 장착이 잘못된 경우에도 보정 가능하여 편의성을 향상시킬 수 있다. As described above, according to the apparatus for calibrating the rear camera according to the embodiment of the present invention, the image of the rear camera is analyzed and the image of the rear camera is analyzed while the vehicle is traveling straight at a constant speed, so that even if an external parameter is changed, automatic correction is possible. In this way, it is possible to reduce the load for performing calibration when reversing, and to improve convenience because it is possible to correct even if the rear camera is incorrectly installed during the process.

도 8은 본 발명의 일 실시예에 따른 후방카메라의 캘리브레이션 방법을 설명하기 위한 흐름도이다. 8 is a flowchart illustrating a method of calibrating a rear camera according to an embodiment of the present invention.

도 8에 도시된 바와 같이 본 발명의 일 실시예에 따른 후방카메라의 캘리브레이션 방법에서는 먼저, 제어부(30)가 차량상태 입력부(20)로부터 주행 중 차량의 차량상태를 입력받는다(S10). As shown in FIG. 8 , in the method of calibrating the rear view camera according to an embodiment of the present invention, first, the controller 30 receives the vehicle state of the vehicle while driving from the vehicle state input unit 20 ( S10 ).

S10 단계에서 차량상태를 입력받은 제어부(30)는 자동 캘리브레이션을 위한 차량의 거동조건인 등속도 직진주행 상태인지 판단한다(S12). The control unit 30 receiving the vehicle state input in step S10 determines whether the vehicle is in a constant speed straight driving state, which is a behavior condition of the vehicle for automatic calibration (S12).

여기서 제어부(30)는 자동 캘리브레이션을 위한 거동조건으로 등속도 직진주행 상태를 판단하기 위해 차량상태로부터 차속과, 요각 또는 조향각을 기반으로 차속이 설정속도 이상이고, 가속도가 설정가속도 이하이며, 요각 또는 조향각이 설정각 이하인 상태가 설정시간 유지되는 경우 등속도 직진주행 상태로 판단할 수 있다. Here, the control unit 30 determines the constant speed straight driving state as a behavior condition for automatic calibration. Based on the vehicle speed and the yaw or steering angle from the vehicle state, the vehicle speed is greater than or equal to the set speed, and the acceleration is less than or equal to the set acceleration, yaw or When a state in which the steering angle is equal to or less than the set angle is maintained for the set time, it may be determined as a constant speed straight driving state.

S12 단계에서 등속도 직진주행 상태가 아닌 경우에는 도 4에 도시된 바와 같이 가속 상태와 감속 상태로써 차선이 왜곡될 수 있어 캘리브레이션을 수행하지 않고 종료한다. In step S12, if the constant speed straight driving state is not performed, as shown in FIG. 4 , the lane may be distorted due to the acceleration state and the deceleration state, and thus the calibration is not performed.

반면 S12 단계에서 등속도 직진주행 상태인 경우, 제어부(30)는 후방카메라(10)로부터 후방영상을 입력받는다(S14). On the other hand, if the constant speed straight driving state in step S12, the control unit 30 receives the rear image from the rear camera 10 (S14).

S14 단계에서 후방영상을 입력받은 후 제어부(30)는 후방영상을 시점변환 룩업테이블(40)을 이용하여 도 2의 (나)에 도시된 바와 같이 톱뷰 영상으로 시점을 변환한다(S16). After receiving the rear image in step S14, the controller 30 converts the rear image into a top view image by using the viewpoint conversion lookup table 40 as shown in (B) of FIG. 2 (S16).

S16 단계에서 톱뷰 영상으로 시점을 변환한 후 제어부(30)는 톱뷰 영상으로부터 차선을 검출한다(S18). After converting the viewpoint to the top view image in step S16, the controller 30 detects a lane from the top view image (S18).

여기서 차선을 검출할 때 제어부(30)는 검출된 차선의 위치 및 방향의 통계적 특성을 분석하여 오 검출된 차선을 제거하여 유효한 차선을 검출할 수 있다. Here, when detecting a lane, the controller 30 may analyze the statistical characteristics of the position and direction of the detected lane and remove the erroneously detected lane to detect an effective lane.

예를 들어, 영상을 분석하여 차선을 검출할 경우 검출된 차선에는 오 검출된 차선이 존재할 수밖에 없기 때문에 오 검출된 차선을 제거할 필요성이 있다. 차량이 차로를 따라 주행하는 환경이라면 검출된 차선의 위치 및 방향의 변화는 제한적이게 되며, 검출된 차선의 대부분이 주행 차로의 차선이라면 차선의 위치 및 방향 특성은 군집을 이루게 되므로, 차선의 위치 및 방향의 통계적 특성을 분석하여 군집에서 벗어난 오류, 즉 오 검출된 차선을 제거할 수 있다.For example, when a lane is detected by analyzing an image, it is necessary to remove the erroneously detected lane because there is inevitably a erroneously detected lane in the detected lane. If the vehicle is driven along the lane, the change in the position and direction of the detected lane is limited, and if most of the detected lane is the lane of the driving lane, the characteristics of the position and direction of the lane form a cluster. By analyzing the statistical characteristics of the direction, it is possible to remove an out-of-cluster error, that is, an erroneously detected lane.

S18 단계에서 차선을 검출한 후 제어부(30)는 톱뷰 영상으로부터 검출된 좌우 차선 간 각도를 계산한다(S20). After detecting the lane in step S18, the controller 30 calculates the angle between the left and right lanes detected from the top view image (S20).

S20 단계에서 좌우 차선 간 각도를 계산한 후 제어부(30)는 좌우 차선 간 각도를 비교하여 차선이 평행차선을 이루는지 판단한다(S22). After calculating the angle between the left and right lanes in step S20, the controller 30 compares the angle between the left and right lanes to determine whether the lanes form parallel lanes (S22).

S22 단계에서 평행차선을 이루지 않는 경우 좌우 차선 간 각도로 피치각을 보정하여 시점변환 룩업테이블(40)을 업데이트할 수 있다(S24). If parallel lanes are not formed in step S22, the viewpoint conversion lookup table 40 may be updated by correcting the pitch angle with the angle between the left and right lanes (S24).

예를 들어, 도 5에 도시된 바와 같이 톱뷰 영상으로부터 차선을 검출할 때 (가)는 피치각이 +3도 틀어져 왜곡된 상태이고, (나)는 -3도 틀어져 왜곡된 상태로써 좌우 차선이 평행을 이루지 못한다. 따라서 제어부(30)는 (다)에 도시된 바와 같이 평행을 이루도록 좌우 차선 간 각도를 피치각에 적용하여 시점변환 룩업테이블(40)을 업데이트할 수 있다. For example, as shown in FIG. 5 , when detecting a lane from the top view image, (A) is a distorted state because the pitch angle is shifted by +3 degrees, and (B) is a distorted state because the pitch angle is shifted by -3 degrees, and the left and right lanes are distorted. can't be parallel Accordingly, the control unit 30 may update the viewpoint transformation lookup table 40 by applying the angle between the left and right lanes to the pitch angle to achieve parallelism as shown in (c).

S22 단계에서 톱뷰 영상으로부터 검출한 차선이 평행차선을 이루는지 판단하여 평행차선을 이루는 경우, 제어부(30)는 후방영상을 시점변환 룩업테이블(40)을 이용하여 도 2의 (다)에 도시된 바와 같이 프론트뷰 영상으로 시점을 변환한다(S26). In step S22, when it is determined whether the lane detected from the top view image forms a parallel lane and forms a parallel lane, the control unit 30 converts the rear image to the viewpoint transformation lookup table 40 as shown in (c) of FIG. As shown, the viewpoint is converted into a front view image (S26).

S26 단계에서 프론트뷰 영상으로 시점을 변환한 후 제어부(30)는 프론트뷰 영상으로부터 차선을 검출한다(S28). After the viewpoint is converted into the front view image in step S26, the controller 30 detects a lane from the front view image (S28).

여기서도 차선을 검출할 때 제어부(30)는 검출된 차선의 위치 및 방향의 통계적 특성을 분석하여 오 검출된 차선을 제거하여 유효한 차선을 검출할 수 있다. Here again, when detecting a lane, the controller 30 may analyze the statistical characteristics of the position and direction of the detected lane and remove the erroneously detected lane to detect an effective lane.

S28 단계에서 차선을 검출한 후 제어부(30)는 프론트뷰 영상으로부터 검출된 좌우 차선의 소실점을 기준으로 좌우 차선각도의 차이값을 계산한다(S30). After detecting the lane in step S28, the controller 30 calculates a difference value between the angles of the left and right lanes based on the vanishing point of the left and right lanes detected from the front view image (S30).

S30 단계에서 좌우 차선각도의 차이값을 계산한 후 제어부(30)는 좌우 차선각도 차이값을 비교하여 설정 차이값 이하인지 판단한다(S32). After calculating the difference between the left and right lane angles in step S30 , the controller 30 compares the difference between the left and right lane angles to determine whether the difference is equal to or less than a set difference value ( S32 ).

본 실시예에서는 좌우 차선각도의 차이값이 0인지 판단할 수 있다. 즉, 좌우 차선각도가 동일한지 판단할 수 있다. In the present embodiment, it may be determined whether the difference between the left and right lane angles is 0. That is, it may be determined whether the left and right lane angles are the same.

S32 단계에서 좌우 차선각도가 동일하지 않은 경우 좌우 차선각도의 차이값을 롤각에 반영하여 시점변환 룩업테이블(40)을 업데이트할 수 있다(S34). When the left and right lane angles are not the same in step S32, the viewpoint conversion lookup table 40 may be updated by reflecting the difference between the left and right lane angles in the roll angle (S34).

예를 들어, 제어부(30)는 도 6에 도시된 바와 같이 차선이 서로 만나는 소실점을 기준으로 수직선을 그어 좌우 차선각도의 차이값을 계산할 수 있다. 이때 (가)는 롤각이 +5도로 틀어져 왜곡된 상태이고, (나)는 롤각이 -5도 틀어져 왜곡된 상태로 좌우 차선각도의 차이값이 설정 차이값인 0도를 벗어난다. 따라서 제어부(30)는 (다)에 도시된 바와 같이 좌우 차선각도의 차이값인 5도를 롤각에 반영하여 시점변환 룩업테이블(40)을 업데이트할 수 있다. For example, as shown in FIG. 6 , the controller 30 may calculate a difference value between left and right lane angles by drawing a vertical line based on a vanishing point where lanes meet each other. At this time, (A) is a distorted state because the roll angle is twisted by +5 degrees, and (B) is a distorted state because the roll angle is twisted by -5 degrees. Accordingly, as shown in (c), the control unit 30 may update the viewpoint conversion lookup table 40 by reflecting 5 degrees, which is the difference between the left and right lane angles, to the roll angle.

S32 단계에서 좌우 차선각도의 차이값이 0인 경우 즉 롤각 왜곡여부를 판단하여 정상인 경우, 제어부(30)는 톱뷰 영상에서 수직선 기준으로 틀어진 차선의 수직각도를 계산한다(S36). In step S32, if the difference between the left and right lane angles is 0, that is, if it is normal by determining whether the roll angle is distorted, the control unit 30 calculates the vertical angle of the lane that is distorted based on the vertical line in the top view image (S36).

S36 단계에서 차선의 수직각도를 계산한 후 제어부(30)는 차선의 수직각도가 설정각도 이하인지 판단한다(S38). After calculating the vertical angle of the lane in step S36, the controller 30 determines whether the vertical angle of the lane is equal to or less than a set angle (S38).

본 실시예에서는 수직각도가 0인지 판단할 수 있다. 즉, 수직상태인지 판단할 수 있다. In this embodiment, it may be determined whether the vertical angle is 0. That is, it can be determined whether the state is vertical.

S38 단계에서 차선 수직각도가 설정각도 이하인지 판단하여 이하인 경우, 제어부(30)는 차선의 수직각도를 요각에 반영하여 시점변환 룩업테이블(40)을 업데이트할 수 있다(S40). In step S38 , it is determined whether the vertical angle of the lane is equal to or less than the set angle, and when it is equal to or less, the controller 30 may update the viewpoint conversion lookup table 40 by reflecting the vertical angle of the lane to the yaw angle ( S40 ).

예를 들어, 제어부(30)는 도 7에 도시된 바와 같이 수직선을 기준으로 틀어진 차선의 수직각도인 요각을 계산할 수 있다. 이때 (가)는 요각이 +5도 틀어져 왜곡된 상태이고, (나)는 요각이 -5도 틀어져 왜곡된 상태로 차선의 수직선을 기준으로 수직각도가 설정각도인 0도를 벗어난다. 따라서 제어부(30)는 (다)에 도시된 바와 같이 틀어진 차선의 수직각도를 요각에 반영하여 시점변환 룩업테이블(40)을 업데이트할 수 있다. For example, as shown in FIG. 7 , the controller 30 may calculate a yaw angle that is a vertical angle of a lane that is twisted with respect to a vertical line. In (A), the yaw angle is distorted by +5 degrees, and in (B), the yaw angle is distorted by -5 degrees, and the vertical angle with respect to the vertical line of the lane deviates from the set angle of 0 degrees. Accordingly, the controller 30 may update the viewpoint transformation lookup table 40 by reflecting the vertical angle of the deviated lane to the yaw angle as shown in (c).

상술한 바와 같이, 본 발명의 실시예에 의한 후방카메라의 캘리브레이션 방법에 따르면, 차량의 등속도 직진주행 중 후방카메라의 영상을 분석하여 영상 왜곡보정을 수행함으로써 외부 파라미터가 변하더라도 자동으로 보정이 가능하여 후진시 캘리브레이션 수행을 위한 부하를 줄일 수 있을 뿐만 아니라 공정시 후방카메라의 장착이 잘못된 경우에도 보정 가능하여 편의성을 향상시킬 수 있다. As described above, according to the calibration method of the rear camera according to the embodiment of the present invention, the image of the rear camera is analyzed and the image of the rear camera is analyzed while the vehicle is traveling straight at a constant speed, so that even if an external parameter is changed, automatic correction is possible. In this way, it is possible to reduce the load for performing calibration when reversing, and to improve convenience because it is possible to correct even if the rear camera is incorrectly installed during the process.

본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. Although the present invention has been described with reference to the embodiment shown in the drawings, this is merely exemplary, and it is understood that various modifications and equivalent other embodiments are possible by those of ordinary skill in the art. will understand

따라서 본 발명의 진정한 기술적 보호범위는 아래의 청구범위에 의해서 정하여져야 할 것이다.Therefore, the true technical protection scope of the present invention should be defined by the following claims.

10 : 후방카메라 20 : 차량상태 입력부
30 : 제어부 31 : 시점변환부
32 : 차선검출부 33 : 피치각 보정부
34 : 롤각 보정부 35 : 요각 보정부
40 : 시점변환 룩업테이블 50 : 출력부
10: rear camera 20: vehicle state input unit
30: control unit 31: viewpoint conversion unit
32: lane detection unit 33: pitch angle correction unit
34: roll angle correction unit 35: yaw angle correction unit
40: viewpoint transformation lookup table 50: output unit

Claims (11)

차량 제어장치로부터 차량상태를 입력받는 차량상태 입력부;
후방영상의 시점을 변환하기 위한 룩업테이블을 저장하는 시점변환 룩업테이블; 및
상기 차량상태 입력부로부터 상기 차량상태를 입력받아 캘리브레이션을 위한 거동조건이 만족되면 후방카메라로부터 상기 후방영상을 입력받아 상기 시점변환 룩업테이블을 통해 톱뷰로 시점을 변환하여 좌우 차선간 각도를 기반으로 피치각을 보정하고, 프론트뷰로 시점을 변환하여 좌우 차선각도 차이값을 기반으로 롤각을 보정하며, 차선 수직각도를 기반으로 요각을 보정하는 제어부;를 포함하되,
상기 제어부는, 상기 후방영상에 대해 상기 시점변환 룩업테이블을 통해 상기 톱뷰로 시점을 변환하거나, 상기 프론트뷰로 시점을 변환하는 시점변환부;
상기 시점변환부를 통해 시점이 변환된 상기 톱뷰 영상이나 상기 프론트뷰 영상에서 차선을 검출하는 차선검출부; 및
상기 차선검출부에서 상기 프론트뷰 영상으로부터 검출한 좌우 차선의 소실점을 기준으로 좌우 차선각도의 차이값을 통해 상기 시점변환 룩업테이블의 롤각을 업데이트하는 롤각 보정부;를 포함하는 것을 특징으로 하는 후방카메라의 캘리브레이션 장치.
a vehicle state input unit receiving a vehicle state input from the vehicle control device;
a viewpoint conversion lookup table for storing a lookup table for converting a viewpoint of a rear image; and
When the vehicle state is input from the vehicle state input unit and the behavior condition for calibration is satisfied, the rear image is received from the rear camera and the viewpoint is converted into a top view through the viewpoint conversion lookup table, and the pitch angle is based on the angle between the left and right lanes. and a control unit that corrects the angle of the roll based on the difference between the left and right lane angles by changing the viewpoint to the front view, and corrects the yaw angle based on the vertical angle of the lane.
The control unit may include: a viewpoint converting unit for converting a viewpoint to the top view or converting a viewpoint to the front view through the viewpoint transformation lookup table for the rear image;
a lane detection unit configured to detect a lane in the top view image or the front view image in which the viewpoint is converted through the viewpoint converting unit; and
A roll angle correction unit for updating the roll angle of the viewpoint conversion lookup table based on the difference between the left and right lane angles based on the vanishing point of the left and right lanes detected from the front view image by the lane detection unit; calibration device.
제 1항에 있어서, 상기 제어부는 상기 차량상태로부터 차속과, 요각 또는 조향각을 기반으로 상기 차속이 설정속도 이상이고, 가속도가 설정가속도 이하이며, 상기 요각 또는 상기 조향각이 설정각 이하인 상태가 설정시간 유지되는 경우 상기 거동조건의 만족상태로 판단하는 것을 특징으로 하는 후방카메라의 캘리브레이션 장치.
The set time according to claim 1, wherein the control unit is based on the vehicle speed and the yaw angle or the steering angle from the vehicle state, wherein the vehicle speed is greater than or equal to the set speed, the acceleration is less than or equal to the set acceleration, and the yaw or the steering angle is equal to or less than the set angle. When maintained, the calibration device of the rear camera, characterized in that it is determined as a satisfactory state of the behavior condition.
제 1항에 있어서, 상기 시점변환 룩업테이블은, 상기 후방영상을 상기 프론트뷰로 시점을 변환하기 위한 프론트뷰 룩업테이블과 상기 후방영상을 상기 톱뷰로 시점을 변환하기 위한 톱뷰 룩업테이블을 포함하는 것을 특징으로 하는 후방카메라의 캘리브레이션 장치.
The method of claim 1, wherein the viewpoint conversion lookup table comprises a front view lookup table for converting the viewpoint from the rear image to the front view and a top view lookup table for converting the viewpoint from the rear image to the top view. A calibration device for the rear camera.
제 1항에 있어서, 상기 제어부는,
상기 차선검출부에서 상기 톱뷰 영상으로부터 검출한 좌우 차선간 각도를 기반으로 평행차선 여부를 판단하여 상기 시점변환 룩업테이블의 피치각을 업데이트하는 피치각 보정부; 및
상기 차선검출부에서 상기 톱뷰 영상으로부터 검출한 차선이 수직선을 기준으로 틀어진 수직각도를 기반으로 상기 시점변환 룩업테이블의 요각을 업데이트하는 요각 보정부;를 더 포함하는 것을 특징으로 하는 후방카메라의 캘리브레이션 장치.
According to claim 1, wherein the control unit,
a pitch angle correcting unit configured to update a pitch angle of the viewpoint conversion lookup table by determining whether there are parallel lanes based on the angle between the left and right lanes detected by the lane detection unit from the top view image; and
A yaw angle correction unit for updating the yaw angle of the viewpoint conversion lookup table based on a vertical angle at which the lane detected from the top view image by the lane detection unit is distorted with respect to the vertical line;
제 1항에 있어서, 상기 차선검출부는, 검출된 차선의 위치 및 방향의 통계적 특성을 분석하여 오 검출된 차선을 제거하여 유효한 차선을 검출하는 것을 특징으로 하는 후방카메라의 캘리브레이션 장치.
The apparatus of claim 1 , wherein the lane detection unit detects an effective lane by removing the erroneously detected lane by analyzing statistical characteristics of the position and direction of the detected lane.
제어부가 차량상태 입력부로부터 차량상태를 입력받아 캘리브레이션을 위한 차량의 거동조건 여부를 판단하는 단계;
상기 제어부가 상기 차량의 상기 거동조건이 만족된 경우 후방카메라로부터 후방영상을 입력받는 단계;
상기 제어부가 입력된 상기 후방영상에 대해 시점변환 룩업테이블을 기반으로 톱뷰 영상으로 시점을 변환하여 차선을 검출하는 단계;
상기 제어부가 상기 톱뷰 영상으로부터 검출된 좌우 차선간 각도를 기반으로 피치각의 왜곡여부를 판단하여 상기 피치각을 보정하는 단계;
상기 제어부가 상기 피치각의 왜곡여부를 판단하여 정상인 경우 상기 후방영상에 대해 상기 시점변환 룩업테이블을 기반으로 프론트뷰 영상으로 시점을 변환하여 차선을 검출하는 단계; 및
상기 제어부가 상기 프론트뷰 영상으로부터 검출된 좌우 차선각도의 차이값을 기반으로 롤각의 왜곡여부를 판단하여 상기 롤각을 보정하는 단계;를 포함하되,
상기 롤각의 왜곡여부를 판단하여 상기 롤각을 보정하는 단계는, 상기 제어부가 좌우 차선의 소실점을 기준으로 좌우 차선각도의 차이값이 설정 차이값 이하인지 판단하여 상기 차이값을 상기 롤각에 반영하여 상기 시점변환 룩업테이블을 업데이트하는 것을 특징으로 하는 후방카메라의 캘리브레이션 방법.
determining, by the control unit, whether the vehicle state is a behavior condition for calibration by receiving the vehicle state from the vehicle state input unit;
receiving, by the controller, a rear image from a rear camera when the behavior condition of the vehicle is satisfied;
detecting a lane by converting a viewpoint into a top-view image based on a viewpoint transformation lookup table for the rear image input by the controller;
correcting the pitch angle by determining, by the controller, whether the pitch angle is distorted based on the angle between the left and right lanes detected from the top view image;
detecting, by the control unit, whether the pitch angle is distorted, and converting a viewpoint to a front view image based on the viewpoint transformation lookup table for the rear image when normal, and detecting a lane; and
Compensating the roll angle by determining whether the roll angle is distorted based on the difference between the left and right lane angles detected from the front view image, by the control unit;
In the step of correcting the roll angle by determining whether the roll angle is distorted, the control unit determines whether the difference between the left and right lane angles is equal to or less than a set difference value based on the vanishing point of the left and right lanes, and reflects the difference to the roll angle. A calibration method of a rear camera, characterized in that updating a viewpoint conversion lookup table.
제 6항에 있어서, 상기 거동조건을 판단하는 단계는, 상기 제어부가 상기 차량상태로부터 입력된 차속과, 요각 또는 조향각을 기반으로 상기 차속이 설정속도 이상이고, 가속도가 설정가속도 이하이며, 상기 요각 또는 상기 조향각이 설정각 이하인 상태가 설정시간 유지되는지 판단하는 것을 특징으로 하는 후방카메라의 캘리브레이션 방법.
The yaw angle of claim 6 , wherein the determining of the behavior condition comprises: the controller based on the vehicle speed input from the vehicle state and the yaw or steering angle, wherein the vehicle speed is greater than or equal to a set speed, and the acceleration is less than or equal to the set acceleration, and the yaw angle Alternatively, the calibration method of the rear camera, characterized in that it is determined whether the state in which the steering angle is equal to or less than a set angle is maintained for a set time.
제 6항에 있어서, 상기 차선을 검출하는 단계는, 상기 제어부가 검출된 차선의 위치 및 방향의 통계적 특성을 분석하여 오 검출된 차선을 제거하여 유효한 차선을 검출하는 것을 특징으로 하는 후방카메라의 캘리브레이션 방법.
The calibration of the rear camera according to claim 6, wherein, in the detecting of the lane, the control unit detects an effective lane by removing the erroneously detected lane by analyzing statistical characteristics of the position and direction of the detected lane. Way.
제 6항에 있어서, 상기 피치각의 왜곡여부를 판단하여 상기 피치각을 보정하는 단계는, 상기 제어부가 좌우 차선간 각도를 기반으로 평행차선 여부를 판단하여 평행을 위한 상기 피치각을 반영하여 상기 시점변환 룩업테이블을 업데이트하는 것을 특징으로 하는 후방카메라의 캘리브레이션 방법.
The method of claim 6, wherein the correcting of the pitch angle by determining whether the pitch angle is distorted comprises: the controller determines whether a parallel lane is based on an angle between left and right lanes and reflects the pitch angle for parallelism A calibration method of a rear camera, characterized in that updating a viewpoint conversion lookup table.
삭제delete 제어부가 차량상태 입력부로부터 차량상태를 입력받아 캘리브레이션을 위한 차량의 거동조건 여부를 판단하는 단계;
상기 제어부가 상기 차량의 상기 거동조건이 만족된 경우 후방카메라로부터 후방영상을 입력받는 단계;
상기 제어부가 입력된 상기 후방영상에 대해 시점변환 룩업테이블을 기반으로 톱뷰 영상으로 시점을 변환하여 차선을 검출하는 단계;
상기 제어부가 상기 톱뷰 영상으로부터 검출된 좌우 차선간 각도를 기반으로 피치각의 왜곡여부를 판단하여 상기 피치각을 보정하는 단계;
상기 제어부가 상기 피치각의 왜곡여부를 판단하여 정상인 경우 상기 후방영상에 대해 상기 시점변환 룩업테이블을 기반으로 프론트뷰 영상으로 시점을 변환하여 차선을 검출하는 단계;
상기 제어부가 상기 프론트뷰 영상으로부터 검출된 좌우 차선각도의 차이값을 기반으로 롤각의 왜곡여부를 판단하여 상기 롤각을 보정하는 단계; 및
상기 제어부가 상기 롤각 왜곡여부를 판단하여 정상인 경우 차선의 수직각도를 기반으로 요각의 왜곡여부를 판단하여 상기 요각을 보정하는 단계;를 포함하되,
상기 요각의 왜곡여부를 판단하여 상기 요각을 보정하는 단계는, 상기 제어부가 수직선을 기준으로 틀어진 차선의 수직각도를 계산하여 설정각도 이하인지 판단하여 차선의 상기 수직각도를 상기 요각에 반영하여 상기 시점변환 룩업테이블을 업데이트하는 것을 특징으로 하는 후방카메라의 캘리브레이션 방법.
determining, by the control unit, whether the vehicle state is a behavior condition for calibration by receiving the vehicle state from the vehicle state input unit;
receiving, by the controller, a rear image from a rear camera when the behavior condition of the vehicle is satisfied;
detecting a lane by converting a viewpoint into a top-view image based on a viewpoint transformation lookup table for the rear image input by the controller;
correcting the pitch angle by determining, by the controller, whether the pitch angle is distorted based on the angle between the left and right lanes detected from the top view image;
detecting, by the control unit, whether the pitch angle is distorted, and converting a viewpoint to a front view image based on the viewpoint transformation lookup table for the rear image when normal, and detecting a lane;
correcting the roll angle by determining, by the controller, whether the roll angle is distorted based on the difference between the left and right lane angles detected from the front view image; and
Compensating the yaw angle by determining whether the roll angle is distorted by the control unit and determining whether the yaw angle is distorted based on the vertical angle of the lane if normal
In the step of correcting the yaw angle by determining whether the yaw angle is distorted, the control unit calculates the vertical angle of the lane that is distorted based on the vertical line, determines whether it is less than or equal to a set angle, and reflects the vertical angle of the lane to the yaw angle to reflect the time point A method for calibrating a rear view camera, comprising updating a conversion lookup table.
KR1020170159173A 2017-11-27 2017-11-27 Calibration apparatus and method of rear view camera KR102326184B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170159173A KR102326184B1 (en) 2017-11-27 2017-11-27 Calibration apparatus and method of rear view camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170159173A KR102326184B1 (en) 2017-11-27 2017-11-27 Calibration apparatus and method of rear view camera

Publications (2)

Publication Number Publication Date
KR20190061136A KR20190061136A (en) 2019-06-05
KR102326184B1 true KR102326184B1 (en) 2021-11-15

Family

ID=66845435

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170159173A KR102326184B1 (en) 2017-11-27 2017-11-27 Calibration apparatus and method of rear view camera

Country Status (1)

Country Link
KR (1) KR102326184B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102617175B1 (en) * 2022-08-04 2023-12-27 주식회사 라온텍 Display device capable of compensating image distortion and image distortion compensating method thereof

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008182652A (en) 2007-01-26 2008-08-07 Sanyo Electric Co Ltd Camera posture estimation device, vehicle, and camera posture estimating method
JP2010245628A (en) * 2009-04-01 2010-10-28 Mitsubishi Electric Corp Camera calibration device
JP2011215063A (en) 2010-04-01 2011-10-27 Tottori Univ Camera attitude parameter estimation device
JP2016070814A (en) * 2014-09-30 2016-05-09 クラリオン株式会社 Camera calibration device and camera calibration system

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101968349B1 (en) * 2012-12-20 2019-04-11 울산대학교 산학협력단 Method for detecting lane boundary by visual information

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008182652A (en) 2007-01-26 2008-08-07 Sanyo Electric Co Ltd Camera posture estimation device, vehicle, and camera posture estimating method
JP2010245628A (en) * 2009-04-01 2010-10-28 Mitsubishi Electric Corp Camera calibration device
JP2011215063A (en) 2010-04-01 2011-10-27 Tottori Univ Camera attitude parameter estimation device
JP2016070814A (en) * 2014-09-30 2016-05-09 クラリオン株式会社 Camera calibration device and camera calibration system

Also Published As

Publication number Publication date
KR20190061136A (en) 2019-06-05

Similar Documents

Publication Publication Date Title
US9986173B2 (en) Surround-view camera system (VPM) online calibration
JP4595833B2 (en) Object detection device
US10780882B2 (en) Lane keeping controller
JP6787102B2 (en) Object detection device, object detection method
US8489353B2 (en) Methods and systems for calibrating vehicle vision systems
EP3308353B1 (en) Vehicle diagnosis and camera adjustment using a detection of camera inclination angles
US20160037032A1 (en) Method for detecting mounting posture of in-vehicle camera and apparatus therefor
CN107685730B (en) Lane keeping system for autonomous vehicles in windy conditions using vehicle roll
US20120057757A1 (en) Lane line estimating apparatus
US9619894B2 (en) System and method for estimating vehicle dynamics using feature points in images from multiple cameras
US20100332050A1 (en) Vehicle travel support device, vehicle, and vehicle travel support program
US20140180543A1 (en) Vehicle control device
JP5513327B2 (en) Lane estimation device
KR101268473B1 (en) Auto correction method for reference vanishing point and image recognition device using that
US20160159394A1 (en) Vehicle steering control apparatus and method for lane keeping
US10750166B2 (en) Abnormality detection apparatus
KR102326184B1 (en) Calibration apparatus and method of rear view camera
KR20220075353A (en) A device for controlling the steering angle of an autonomous vehicle
KR102325334B1 (en) Auto calibration apparatus for vihicle sensor and method thereof
KR102227850B1 (en) Method for adjusting output video of rear camera for vehicles
US11097670B2 (en) Method for calibrating image data of an imaging system for a vehicle combination
JP6322024B2 (en) Outside monitoring device
JP5979023B2 (en) Vehicle imaging device
CN111462244B (en) On-line calibration method, system and device for vehicle-mounted looking-around system
WO2019092913A1 (en) Road surface area detection device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant