KR20160123411A - Camera apparatus for vehicle, calibration system and method thereof - Google Patents

Camera apparatus for vehicle, calibration system and method thereof Download PDF

Info

Publication number
KR20160123411A
KR20160123411A KR1020150052956A KR20150052956A KR20160123411A KR 20160123411 A KR20160123411 A KR 20160123411A KR 1020150052956 A KR1020150052956 A KR 1020150052956A KR 20150052956 A KR20150052956 A KR 20150052956A KR 20160123411 A KR20160123411 A KR 20160123411A
Authority
KR
South Korea
Prior art keywords
camera
avm
vehicle
calibration
vehicle camera
Prior art date
Application number
KR1020150052956A
Other languages
Korean (ko)
Inventor
장재환
김경원
한재현
강용규
Original Assignee
주식회사 만도
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 만도 filed Critical 주식회사 만도
Priority to KR1020150052956A priority Critical patent/KR20160123411A/en
Publication of KR20160123411A publication Critical patent/KR20160123411A/en

Links

Images

Classifications

    • H04N5/217—
    • H04N5/2178—
    • H04N5/225—
    • H04N5/2257—

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

The present invention relates to a camera device for a vehicle, and a calibration system and method thereof. The calibration system comprises: a relationship constant calculating unit calculating a relationship constant between an AVM camera and a camera for a vehicle using a relative location and angle between the AVM camera and the camera device for the vehicle during initial calibration; an AVM calibration module calibrating the AVM camera when predetermined conditions are satisfied; and a camera calibration module calibrating the camera for the vehicle using the relationship constant between the AVM camera and the camera for the vehicle. Accordingly, when the vehicle starts to drive, if necessary, the calibration system can calibrate the camera for the vehicle, and can use a calibration result of the AVM camera, thereby easily calibrating the camera for the vehicle, and accurately calibrating the camera for the vehicle before driving.

Description

차량용 카메라 장치, 및 그의 캘리브레이션 시스템과 방법{CAMERA APPARATUS FOR VEHICLE, CALIBRATION SYSTEM AND METHOD THEREOF}≪ Desc / Clms Page number 1 > CAMERA APPARATUS FOR VEHICLE, CALIBRATION SYSTEM AND METHOD THEREOF,

본 발명은 차량용 카메라 장치, 및 그의 캘리브레이션 시스템과 방법에 관한 것으로서, 보다 상세하게는, 차량의 주행 시작시 AVM 카메라의 캘리브레이션이 이루어지면, AVM 카메라의 캘리브레이션 정보와, 생산공정에서 산출된 AVM 카메라와 차량용 카메라와의 관계를 나타내는 관계 매트릭스를 이용하여 차량용 카메라의 캘리브레이션을 수행하도록 함으로써, 주행 전에 차량용 카메라가 정확하게 캘리브레이션되도록 하는 차량용 카메라 장치, 및 그의 캘리브레이션 시스템과 방법에 관한 것이다. The present invention relates to a vehicle camera apparatus and a calibration system and method thereof, and more particularly, to a vehicle camera apparatus and a calibration system thereof. More particularly, when an AVM camera is calibrated at the start of a vehicle, calibration information of the AVM camera, The present invention relates to a vehicle camera apparatus and a calibration system therefor and a method of calibrating a vehicle camera so that the vehicle camera is accurately calibrated before driving by allowing the calibration of the vehicle camera to be performed using a relational matrix representing the relationship with the vehicle camera.

최근 차량에는 이미지 센서 기반 카메라들이 장착되어 사용되고 있으며, 이러한 카메라들은 차량의 전후방 등에 장착되어 차량의 주위를 촬영하고, 촬영된 영상은 모니터를 통해 디스플레이된다. 이렇게 촬영된 영상은 운전자에게 이미지 정보를 제공하는 단순 기능으로 사용되거나, 감지된 결과를 이용하여 차량의 운행을 자동 제어하거나 운전자에게 위험을 경고하는 다양한 시스템과 연계되어 사용되고 있다.In recent years, cameras based on image sensors have been used in vehicles, and these cameras are mounted on the front and rear of the vehicle to photograph the surroundings of the vehicle, and the photographed images are displayed on the monitor. The captured images are used as a simple function of providing image information to the driver, or are used in connection with various systems that automatically control the operation of the vehicle using the sensed result or warn the driver of the danger.

이러한 시스템으로는 적응 순항 제어(ACC: Active Cruise Control) 기술, 차선변경보조 (Lane Change Assistance) 기술, 차선이탈경보 (Lane Departure Warning) 기술, 전방충돌경고 (FCW: Forward Collision Warning) 기술, 및 주차보조 (Parking Assistance) 기술 등이 있다.These systems include Active Cruise Control (ACC), Lane Change Assistance, Lane Departure Warning, Forward Collision Warning (FCW), and Parking And parking assistance technology.

이들 시스템에서는 카메라로부터의 영상에서 차량, 보행자, 차선 등을 감지한 결과를 사용하여 미리 설정된 제어를 수행하며, 시스템이 정확하게 동작하기 위해서는 실제 이미지와 촬영된 영상이 동일해야 한다. In these systems, a preset control is performed using a result of detecting a vehicle, a pedestrian, a lane, etc. from an image from the camera. In order for the system to operate correctly, the actual image and the captured image must be the same.

생산공정에서는 기본적으로 카메라의 캘리브레이션 공정이 수행되며, 캘리브레이션을 통해 실제 이미지와 카메라에서 촬영된 영상 간의 차이를 최소화할 수 있다. 이때, 카메라의 캘리브레이션은 운전자가 탑승하는 상태를 기준으로 이루어진다. 따라서, 차량에 운전자보다 체중이 무거운 사람이 탑승하거나 트렁크에 짐을 많이 실거나 타이어 공기압이 변화하여, 차량이 일측으로 기울어지거나 차량 전방이 들리게 되면, 카메라의 위치나 각도가 변경되기 때문에 실제 이미지와 촬영된 영상간에 차이가 발생할 수 있다. In the production process, the calibration process of the camera is performed basically, and the difference between the actual image and the image captured by the camera can be minimized through calibration. At this time, the calibration of the camera is performed on the basis of the condition that the driver boarded. Therefore, when the vehicle is loaded with a heavy user than the driver, the load is heavy on the trunk, the tire air pressure changes, and the vehicle tilts to one side or the front of the vehicle, the position and angle of the camera are changed. A difference may occur between the images.

이렇게 차량의 사용 중 카메라의 위치 또는 각도 변경에 따른 영상 차이를 보정하기 위해, 자율 보정 기법이 일반적으로 사용되고 있다. 자율 보정 기법은, 주행 중 카메라로부터 입력되는 영상에서 차선 정보를 추출하고, 인식된 차선이 평행이 되는 시점의 카메라 각도를 구함으로써 캘리브레이션을 수행하도록 한다. In order to correct the image difference due to the camera position or angle change during use of the vehicle, an autocorrelation technique is generally used. The autocorrelation technique extracts lane information from an image input from a camera during driving and performs calibration by obtaining a camera angle at a time when the recognized lane becomes parallel.

그런데, 이러한 보정 방법은, 차량이 일정 시간 이상 주행을 한 다음에야 보정이 가능하므로, 보정이 이루어지기 전까지는 촬영된 영상과 실제 이미지가 다를 수 밖에 없고, 차선이 없는 골목길이나 시골길 등에서는 보정이 불가능하다는 단점이 있다. 또한, 노면의 상태에 따라 차량이 심하게 흔들리는 경우, 보정이 부정확해질 수 있다. However, since the correction method can be performed only after the vehicle has traveled for a predetermined time or longer, the photographed image and the actual image must be different until the correction is made. In the case of an alleyway or a country road where there is no lane, It is impossible. Further, if the vehicle is severely shaken depending on the road surface condition, the correction may become inaccurate.

이에 따라, 차량의 운행 초기에 캘리브레이션이 가능하도록 함으로써, 차선이 없거나 차량이 심하게 흔들리는 경우를 배제하여 정확한 보정이 가능하도록 하는 보정 방법을 구현할 필요가 있다. Accordingly, it is necessary to implement a correction method that enables accurate correction by eliminating the case where there is no lane or the vehicle is severely shaken by enabling calibration at the beginning of the vehicle operation.

본 발명은, 차량의 주행 시작시 AVM 카메라의 캘리브레이션을 수행하고, AVM 카메라의 캘리브레이션 정보와, AVM 카메라와 차량용 카메라와의 상대적인 위치 및 각도관계를 이용하여, 차량용 카메라의 캘리브레이션을 수행하도록 함으로써, 주행 전에 차량용 카메라가 정확하게 캘리브레이션되는 차량용 카메라 캘리브레이션 시스템 및 방법을 제안한다. The present invention carries out the calibration of the AVM camera at the start of running of the vehicle and performs the calibration of the vehicle camera using the calibration information of the AVM camera and the relative position and angle relationship between the AVM camera and the vehicle camera, A car camera calibration system and method are proposed in which a car camera is accurately calibrated.

상기 목적은, 최초 캘리브레이션시 AVM 카메라와 차량용 카메라의 상대적인 위치와 각도를 이용하여 상기 AVM 카메라와 상기 차량용 카메라 간의 관계상수를 산출하는 산출단계; 소정 조건에 부합되면, 상기 AVM 카메라의 캘리브레이션을 수행하는 AVM 조정단계; 및 상기 AVM 카메라의 캘리브레이션이 완료되면, 상기 AVM 카메라와 상기 차량용 카메라 간의 관계상수를 이용하여 상기 차량용 카메라를 캘리브레이션하는 카메라 조정단계;를 포함하는 것을 특징으로 하는 차량용 카메라 캘리브레이션 방법에 의해 달성될 수 있다. The object of the present invention can be achieved by a method comprising: calculating a relation constant between an AVM camera and a vehicle camera using a relative position and an angle of an AVM camera and a vehicle camera at an initial calibration; An AVM calibration step of performing calibration of the AVM camera when a predetermined condition is satisfied; And a camera calibration step of calibrating the vehicle camera using a relation constant between the AVM camera and the vehicle camera when the calibration of the AVM camera is completed .

상기 목적은, 최초 캘리브레이션시 AVM 카메라와 차량용 카메라의 상대적인 위치와 각도를 이용하여 상기 AVM 카메라와 상기 차량용 카메라 간의 관계상수를 산출하는 관계상수 산출부; 소정 조건에 부합되면, 상기 AVM 카메라의 캘리브레이션을 수행하는 AVM 캘리브레이션 모듈; 및 상기 AVM 카메라의 캘리브레이션이 완료되면, 상기 AVM 카메라와 상기 차량용 카메라 간의 관계상수를 이용하여 상기 차량용 카메라를 캘리브레이션하는 카메라 캘리브레이션 모듈;을 포함하는 것을 특징으로 하는 차량용 카메라 캘리브레이션 시스템에 의해서도 달성될 수 있다. The object of the present invention can be achieved by a video camera comprising: a relational constant calculator for calculating a relational constant between an AVM camera and a vehicle camera using a relative position and angle of an AVM camera and a vehicle camera; An AVM calibration module for performing calibration of the AVM camera when a predetermined condition is satisfied; And a camera calibration module for calibrating the vehicle camera using a relation constant between the AVM camera and the vehicle camera when the calibration of the AVM camera is completed .

상기 목적은, 주차공간에서 AVM 카메라의 캘리브레이션을 수행하는 AVM 조정단계; 및 상기 AVM 카메라의 캘리브레이션이 완료되면, 상기 AVM 카메라와 차량용 카메라 간의 상대적인 위치와 각도 관계를 이용하여 상기 차량용 카메라를 캘리브레이션하는 카메라 조정단계;를 포함하는 것을 특징으로 하는 차량용 카메라 캘리브레이션 방법에 의해서도 달성될 수 있다. The above object may be achieved by an AVM adjusting step of performing an AVM camera calibration in a parking space; And a camera calibration step of calibrating the vehicle camera using the relative position and angle relationship between the AVM camera and the vehicle camera when the calibration of the AVM camera is completed. .

상기 목적은, AVM 영상을 생성하기 위해 차량의 주변을 촬영하는 AVM 카메라를 포함하는 AVM 카메라 유닛; 상기 차량의 일측에 장착되는 차량용 카메라를 포함하는 차량용 카메라 유닛; 및 상기 차량이 주차공간에 위치하면, 상기 AVM 카메라의 캘리브레이션을 수행하도록 상기 AVM 카메라 유닛을 제어하고, 상기 AVM 카메라의 캘리브레이션이 완료되면, 상기 AVM 카메라와 상기 차량용 카메라 간의 상대적인 위치와 각도 관계를 이용하여 상기 차량용 카메라의 캘리브레이션을 제어하는 제어부;을 포함하는 차량용 카메라 장치에 의해서도 달성될 수 있다. The object is achieved by an AVM camera unit including an AVM camera for photographing a periphery of a vehicle to generate an AVM image; A vehicle camera unit including a vehicle camera mounted on one side of the vehicle; And controlling the AVM camera unit to perform the calibration of the AVM camera when the vehicle is located in the parking space. When the calibration of the AVM camera is completed, the relative position and the angle relationship between the AVM camera and the vehicle camera are utilized And a controller for controlling the calibration of the vehicle camera.

본 발명에 따르면, 차량의 운행 시작시 AVM 카메라의 캘리브레이션을 수행하고, 필요한 경우 AVM 카메라의 캘리브레이션 결과를 이용하여 차량용 카메라를 캘리브레이션하므로, 차량용 카메라의 캘리브레이션을 간편하고 정확하게 수행할 수 있다. According to the present invention, the calibration of the AVM camera is performed at the start of the vehicle operation and, if necessary, the calibration of the vehicle camera is performed using the calibration result of the AVM camera, so that the calibration of the vehicle camera can be performed simply and accurately.

도 1은 본 발명에 따른 차량용 카메라 캘리브레이션 시스템의 구성블록도.
도 2는 차량에 장착된 복수의 AVM 카메라 및 전방 카메라의 위치를 나타낸 예시도,
도 3은 로테이션 매트릭스의 x, y, z 축 방향 각도를 표시한 카메라의 개략적 사시도,
도 4(a)는 캘리브레이션 수행 전 AVM 영상, 도 4(b)는 캘리브레이션 수행 후 AVM 영상,
도 5는 본 발명에 따른 차량용 카메라 캘리브레이션 시스템에서 차량용 카메라가 캘리브레이션 되는 과정을 보인 흐름도,
도 6은 본 발명의 다른 실시예에 따른 차량용 카메라 장치의 구성블록도이다. BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a block diagram of a configuration of a vehicle camera calibration system according to the present invention; FIG.
2 is an exemplary view showing the positions of a plurality of AVM cameras and a front camera mounted on a vehicle,
FIG. 3 is a schematic perspective view of the camera showing angles in the x, y and z axes of the rotation matrix,
4 (a) shows an AVM image before calibration, FIG. 4 (b) shows an AVM image after calibration,
FIG. 5 is a flowchart illustrating a process of calibrating a vehicle camera in a vehicle camera calibration system according to the present invention.
6 is a block diagram of a configuration of a camera device for a vehicle according to another embodiment of the present invention.

이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성 요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.Hereinafter, some embodiments of the present invention will be described in detail with reference to exemplary drawings. It should be noted that, in adding reference numerals to the constituent elements of the drawings, the same constituent elements are denoted by the same reference symbols as possible even if they are shown in different drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.

또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.In describing the components of the present invention, terms such as first, second, A, B, (a), and (b) may be used. These terms are intended to distinguish the constituent elements from other constituent elements, and the terms do not limit the nature, order or order of the constituent elements. When a component is described as being "connected", "coupled", or "connected" to another component, the component may be directly connected to or connected to the other component, It should be understood that an element may be "connected," "coupled," or "connected."

도 1은 본 발명의 일 실시예에 따른 차량용 카메라 캘리브레이션 시스템의 구성블록도이고, 도 2는 차량에 장착된 복수의 AVM 카메라의 위치를 나타낸 예시도이다. FIG. 1 is a block diagram illustrating a configuration of a vehicle camera calibration system according to an embodiment of the present invention, and FIG. 2 is an exemplary view showing the positions of a plurality of AVM cameras mounted on a vehicle.

본 발명에 따른 차량용 카메라 캘리브레이션 시스템은, 생산공정에서 AVM (Around View Monitering) 카메라와 차량용 카메라의 캘리브레이션이 완료되면, AVM 카메라(110)와 차량용 카메라 간의 관계상수를 산출하고, 추후에 AVM 카메라(110)를 캘리브레이션하면, AVM 카메라(110)의 캘리브레이션 정보와 관계상수를 이용하여 차량용 카메라를 캘리브레이션하도록 한다. The vehicle camera calibration system according to the present invention calculates the relationship constant between the AVM camera 110 and the vehicle camera when the calibration of the AVM (Around View Monitoring) camera and the vehicle camera is completed in the production process, ), The vehicle camera is calibrated using the calibration information of the AVM camera 110 and the relational constant.

본 차량용 카메라 캘리브레이션 시스템은, AVM 카메라(110)와 차량용 카메라 간의 관계상수를 산출하는 관계상수 산출부(10), AVM 카메라(110)의 캘리브레이션을 수행하는 AVM 캘리브레이션 모듈(20), 차량용 카메라의 캘리브레이션을 수행하는 카메라 캘리브레이션 모듈(30)을 포함할 수 있다.The vehicle camera calibration system includes a relation constant calculating unit 10 for calculating a relation constant between the AVM camera 110 and the vehicle camera, an AVM calibration module 20 for performing calibration of the AVM camera 110, And a camera calibration module 30 for performing the camera calibration.

후술할 실시예에서는 차량용 카메라로서 전방 카메라(160)를 선택하고, AVM 카메라(110) 중 전방에 설치된 AVM 카메라(110)와의 관계를 이용하여 전방 카메라(160)를 캘리브레이션하는 과정을 예로 들어 설명할 것이다. 그러나, 본 발명은 이에 한정되지 아니하며, AVM 카메라(110) 중 후방이나 측부에 설치된 AVM 카메라(110)와, 후방 또는 측부에 설치된 차량용 카메라와의 관계를 설정하고, 이를 이용하여 후방 또는 측부에 설치된 차량용 카메라를 캘리브레이션할 수도 있음은 물론이다. A process of calibrating the front camera 160 by selecting the front camera 160 as a vehicle camera and using the relationship with the AVM camera 110 installed in front of the AVM camera 110 will be described as an example will be. However, the present invention is not limited to this. The relationship between the AVM camera 110 installed on the rear side or the side of the AVM camera 110 and the vehicle camera installed on the rear side or the side side is set, It is needless to say that the vehicle camera may be calibrated.

관계상수 산출부(10)는, 생산공정에서 AVM 카메라(110)와 전방 카메라(160)에 대한 최초 캘리브레이션이 완료되면, 캘리브레이션 결과 얻어진 AVM 카메라(110)의 캘리브레이션 정보와 전방 카메라(160)의 캘리브레이션 정보를 이용하여 AVM 카메라(110)와 전방 카메라(160)의 관계상수를 산출한다. When the initial calibration of the AVM camera 110 and the front camera 160 is completed in the production process, the relation constant calculation unit 10 calculates the relationship between the calibration information of the AVM camera 110 obtained as a result of the calibration and the calibration information of the front camera 160 The relationship between the AVM camera 110 and the front camera 160 is calculated using the information.

AVM 카메라(110)는 차량의 둘레를 모두 촬영하기 위해서 복수개가 마련되며, 도 2에 도시된 바와 같이, 차량의 전방 그릴, 양쪽 사이드 미러, 후방 트렁크에 장착되어 있다. 이 중, 관계상수 산출부(10)에서는 전방 그릴에 장착된 AVM 카메라(110)를 이용하여 전방 카메라(160)와의 상대적인 위치와 각도를 나타내는 관계상수를 산출한다. 전방 그릴에 장착된 AVM 카메라(110)는 전방 카메라(160)와 위치도 가깝고 동일한 방향을 촬영하도록 장착되기 때문에 관계상수가 다른 AVM 카메라(110)를 이용하는 것보다 간단한 형태로 산출될 수 있다. 이하에서 기술하는 AVM 카메라(110)는 별도의 언급이 없는 한 전방 그릴에 장착된 AVM 카메라(110)를 지칭한다. The AVM camera 110 is provided with a plurality of cameras for photographing the entire circumference of the vehicle, and is mounted on the front grill, both side mirrors and rear trunk of the vehicle, as shown in Fig. The relationship constant calculating unit 10 calculates a relation constant indicating a relative position and an angle with respect to the front camera 160 by using the AVM camera 110 mounted on the front grill. Since the AVM camera 110 mounted on the front grill is positioned close to the front camera 160 and is mounted to photograph the same direction, the relationship constant can be calculated in a simpler form than using the AVM camera 110 having a different relation. The AVM camera 110 described below refers to the AVM camera 110 mounted on the front grille unless otherwise noted.

생산공정에서 AVM 카메라(110)의 최초 캘리브레이션이 완료되면, AVM 카메라(110)의 프로젝션 매트릭스 (Projection Matrix) PA가 생성된다. 프로젝션 매트릭스는 로테이션 매트릭스 (Rotation Matrix) R과 트랜스레이션 매트릭스 (Translation Matrix) T로 구성되며, 여기서, 로테이션 매트릭스는 AVM 카메라(110)의 x, y, z 방향 각각에 대한 각도를 나타내고, 트랜스레이션 매트릭스는 지면으로부터 AVM 카메라(110)까지의 x, y, z 방향 각각에 대한 거리를 나타낸다. 도 3에 도시된 바와 같이, 로테이션 매트릭스의 x 축 방향 각도는 피치(Pitch), y 축 방향 각도는 요(Yaw), z 축 방향 각도는 롤(Roll)이라 한다. When the initial calibration of the AVM camera 110 is completed in the production process, a projection matrix P A of the AVM camera 110 is generated. The projection matrix is composed of a rotation matrix R and a translation matrix T where the rotation matrix represents angles of the AVM camera 110 in the x, y and z directions, respectively, Represents the distances in the x, y, and z directions from the ground to the AVM camera 110, respectively. As shown in Fig. 3, the x-axis direction angle of the rotation matrix is referred to as a pitch, the y-axis direction angle is referred to as yaw, and the z-axis direction angle is referred to as a roll.

차량용 카메라는 AVM 카메라(110) 이외에 차량의 전후방 또는 양측부에 설치된 카메라를 지칭한다. 이러한 차량용 카메라 중 전방 카메라(160)는 차량의 전방 윈드쉴드에 장착되어 있으며, 차량의 전방을 촬영하여 차선이나 선행차량 등을 판별하기 위한 전방 영상을 생성할 수 있다. The vehicle camera refers to a camera installed in the front, rear, or both sides of the vehicle in addition to the AVM camera 110. The front camera 160 of the vehicle camera is mounted on the front windshield of the vehicle, and can capture the front of the vehicle and generate a forward image for discriminating the lane or the preceding vehicle.

생산공정에서 전방 카메라(160)의 최초 캘리브레이션이 완료되면, AVM 카메라(110)와 마찬가지로, 전방 카메라(160)에 대한 프로젝션 매트릭스 PF가 생성된다. When the initial calibration of the front camera 160 in the production process is completed, a projection matrix P F for the front camera 160 is generated similarly to the AVM camera 110. [

이렇게 초기에 AVM 카메라(110)와 전방 카메라(160)의 캘리브레이션은 다양한 방법으로 이루어질 수 있으며, 본 발명은 초기 캘리브레이션 방법에 관한 방법이 아니므로, 초기 캘리브레이션 과정에 대해서는 상세히 설명하지 아니한다. The initial calibration of the AVM camera 110 and the front camera 160 may be performed in various ways. Since the present invention is not related to the initial calibration method, the initial calibration process will not be described in detail.

관계상수 산출부(10)는, AVM 카메라(110)의 프로젝션 매트릭스 PA와 전방 카메라(160)의 프로젝션 매트릭스 PF를 이용하여 AVM 카메라(110)와 전방 카메라(160) 간의 관계 매트릭스인 X를 산출한다. The relational constant calculation unit 10 calculates a relation matrix X between the AVM camera 110 and the front camera 160 using the projection matrix P A of the AVM camera 110 and the projection matrix P F of the front camera 160 .

관계상수 산출부(10)는 AVM 카메라(110)와 전방 카메라(160) 간의 관계는 다음의 수학식 1로 정의할 수 있으며, 이러한 수학식 1에서 AVM 카메라(110)와 전방 카메라(160) 간의 관계 매트릭스 X를 산출한다. The relation constant calculating unit 10 may define the relationship between the AVM camera 110 and the front camera 160 by the following Equation 1. In Equation (1), between the AVM camera 110 and the front camera 160 And calculates a relation matrix X.

[수학식 1] [Equation 1]

Figure pat00001
Figure pat00001

관계상수 산출부(10)는, 관계 매트릭스 X를 구하기 전에 수학식 1 양변의 매트릭스 사이즈를 맞추기 위해, AVM 카메라(110)의 프로젝션 매트릭스 PA의 트랜스포즈 매트릭스 (Transpose Matrix)인 PA T를 양변에 곱하여 다음의 수학식 2를 생성한다. The relationship constant calculating unit 10 calculates the relationship matrix P A T of the projection matrix P A of the AVM camera 110 to satisfy the matrix size of both sides of Equation 1 before the relation matrix X is obtained, To generate the following equation (2).

[수학식 2]&Quot; (2) "

Figure pat00002
Figure pat00002

그런 다음, 관계상수 산출부(10)는, PA TPA의 역행렬을 양변에 곱하여 관계 매트릭스 X를 산출한다. Then, the relational constant calculator 10 calculates the relational matrix X by multiplying both sides by the inverse matrix of P A T P A.

[수학식 3] &Quot; (3) "

Figure pat00003
Figure pat00003

이렇게 산출된 관계 매트릭스 X는 카메라 캘리브레이션 모듈(30)로 제공되어 추후 전방 카메라(160)의 캘리브레이션에 사용된다. The relationship matrix X thus calculated is provided to the camera calibration module 30 and used for the calibration of the forward camera 160 in the future.

AVM 캘리브레이션 모듈(20)은, 미리 설정된 소정 조건에 도달하면, AVM 카메라(110)의 캘리브레이션을 수행할 수 있다. 이때, AVM 캘리브레이션 모듈(20)은 전방 그릴에 장착된 AVM 카메라(110) 뿐만 아니라, 사이드 미러와 뒷 범퍼 또는 트렁크에 장착된 AVM 카메라(110)에 대해서도 캘리브레이션을 수행할 수 있다. The AVM calibration module 20 can perform the calibration of the AVM camera 110 when a preset predetermined condition is reached. At this time, the AVM calibration module 20 can perform calibration for not only the AVM camera 110 mounted on the front grill but also the AVM camera 110 mounted on the side mirrors, the rear bumper, or the trunk.

AVM 캘리브레이션 모듈(20)은, 각 AVM 카메라(110)에서 촬영된 영상을 처리하여 하나의 영상으로 형성하는 AVM 영상처리부(21), AVM 영상처리부(21)에서 처리된 영상에서 주차선을 인식하는 주차선 인식부(23), 주차선 인식부(23)에서 감지된 주차선을 이용하여 각 AVM 카메라(110)를 캘리브레이션하는 AVM 캘리브레이션부(25)를 포함할 수 있다. The AVM calibration module 20 includes an AVM image processing unit 21 for processing images photographed by the respective AVM cameras 110 and forming the images into one image, an AVM image processing unit 21 for recognizing a parking line in an image processed by the AVM image processing unit 21, An AVM calibration unit 25 for calibrating each AVM camera 110 using the parking line recognition unit 23 and the parking line recognized by the parking line recognition unit 23. [

이러한 각 AVM 카메라(110)의 캘리브레이션이 필요한 경우는 차량이 일측으로 기울어 각 AVM 카메라(110)에서 촬영된 영상이 실제 이미지와 다를 가능성이 있는 경우로서, 예를 들면, 차량에 무거운 짐을 실거나 몸무게가 많이 나가는 사람이 차량에 탑승하거나 타이어 공기압이 변하여 차가 일측으로 기우는 경우 등을 들 수 있다. 각 AVM 카메라(110)의 캘리브레이션은 필요에 따라 어느 때나 수행될 수 있으나, 주행 중 발생하는 진동이나 흔들림에 의한 변수를 제거하기 위해서, 차량의 엔진이 구동된 후, 주행을 시작하기 전에 캘리브레이션을 수행하는 것이 바람직하다. When it is necessary to calibrate each AVM camera 110, there is a possibility that the image taken by each AVM camera 110 is different from the actual image when the vehicle is inclined to one side. For example, when the vehicle is loaded with a heavy load, A case in which a person having a large amount of traffic is aboard a vehicle or a tire air pressure is changed and a car tilts to one side. Calibration of each AVM camera 110 may be performed at any time as necessary. However, in order to remove a variable caused by vibration or shaking that occurs during driving, calibration is performed before the vehicle starts running after the engine of the vehicle is driven .

이에 따라, AVM 캘리브레이션 모듈(20)은, 차량의 엔진이 구동되어 차량이 운행을 시작하려고 하면, 각 AVM 카메라(110)에서 촬영된 영상을 이용하여 차량이 일측으로 기울졌는지를 판단하고, 차량이 일측으로 기울어진 경우 캘리브레이션을 실시한다. Accordingly, the AVM calibration module 20 judges whether the vehicle has tilted to one side by using the image photographed by each AVM camera 110 when the vehicle engine is started and the vehicle starts to run, Calibrate if tilted to one side.

먼저 AVM 영상처리부(21)에서는 각 AVM 카메라(110)에서 촬영된 영상들을 하나의 AVM 영상으로 형성하고, 주차선 인식부(23)에서는 AVM 영상에서 주차선을 감지한다. AVM 카메라(110)의 캘리브레이션이 차량의 운행이 시작될 때 이루어지기 때문에, 차량이 주차장에 주차되어 있는 상태인 경우가 대부분일 것이므로, AVM 카메라(110)의 캘리브레이션을 위해 주차선을 인식하는 것이 바람직하다. 그러나 주차선 이외에도 주변 물체나 표식을 이용할 수도 있음은 물론이다. First, in the AVM image processing unit 21, the images photographed by the AVM cameras 110 are formed into one AVM image, and the parking line recognizing unit 23 detects the parking lines in the AVM image. It is preferable to recognize the parking line for the calibration of the AVM camera 110 since the calibration of the AVM camera 110 is performed when the vehicle starts to be operated, . However, besides parking lines, it is also possible to use nearby objects or markings.

주차선 인식부(23)에서 감지된 주차선에 대한 정보는 AVM 캘리브레이션부(25)로 전달된다. AVM 캘리브레이션부(25)에서는 상호 마주보는 주차선이 상호 평행한지 확인하여 캘리브레이션이 필요한지 여부를 판단한다. 즉, AVM 캘리브레이션부(25)는 차량의 전방과 후방에서 감지되는 한 쌍의 주차선이 상호 평행한지와, 차량의 양측부에서 감지되는 한 쌍의 주차선이 상호 평행한지를 확인하고, 두 쌍의 주차선이 상호 평행하지 아니하면, 캘리브레이션을 수행한다. The information on the parking line detected by the parking line recognizing unit 23 is transmitted to the AVM calibration unit 25. [ The AVM calibration unit 25 determines whether the parking lines facing each other are parallel to each other to determine whether calibration is necessary. That is, the AVM calibration unit 25 checks whether a pair of parking lines sensed in the front and rear of the vehicle are parallel to each other and whether a pair of parking lines sensed on both sides of the vehicle are parallel to each other, Is not parallel to each other, the calibration is performed.

이때, 두 쌍의 주차선이 상호 평행하더라도 주차선이 평행사변형 꼴로 형성된다면, 캘리브레이션이 필요하다. 이렇게 주차선이 평행사변형 꼴로 형성된 경우를 파악하기 위해, AVM 캘리브레이션부(25)는 두 쌍의 주차선이 상호 평행하더라도 상호 이웃하는 주차선이 이루는 각이 직각을 이루지 않는 경우에는 캘리브레이션을 실시한다. 즉, AVM 캘리브레이션부(25)는, 도 4(a)에 도시된 바와 같이, 주차선이 직사각형을 형성하지 않는 경우에는 캘리브레이션을 실시하여, 도 4(b)에 도시된 바와 같이, 주차선이 직사각형을 형성하도록 한다. At this time, even if the two pairs of parking lines are parallel to each other, calibration is necessary if the parking lines are formed in parallelograms. In order to understand the case where the parking lines are formed in parallelograms, the AVM calibration unit 25 carries out calibration when the angles formed by neighboring parking lines do not form a right angle even though two pairs of parking lines are parallel to each other. That is, the AVM calibration unit 25 performs calibration when the parking line does not form a rectangle as shown in Fig. 4 (a), and the AVM calibration unit 25 carries out the calibration as shown in Fig. 4 (b) To form a rectangle.

한편, 주차선이 차량의 양측에만 그려져 있는 경우, AVM 캘리브레이션부(25)에서는 양측의 주차선이 상호 평행한지를 확인하여 캘리브레이션을 수행하고, 차량의 양측과 전방, 차량의 양측과 후방에만 그려져 있는 경우, AVM 캘리브레이션부(25)는 상호 이웃하는 주차선들이 만나는 각도가 90도인지 여부를 확인하여 캘리브레이션을 수행할 수 있다. On the other hand, when the parking line is drawn only on both sides of the vehicle, the AVM calibration unit 25 confirms that the parking lines on both sides are parallel to each other, performs calibration, In this case, the AVM calibration unit 25 can perform calibration by confirming whether or not the angle at which neighboring parking lines meet is 90 degrees.

AVM 캘리브레이션부(25)에서 AVM 카메라(110)의 캘리브레이션을 실시하면, AVM 카메라(110)의 프로젝션 매트릭스의 파라미터가 변경되며, 이에 따라 새로운 프로젝션 매트릭스가 생성된다. 이렇게 캘리브레이션된 AVM 카메라(110)의 프로젝션 매트릭스인 보정 AVM 프로젝션 매트릭스를 PA'로 표시하기로 한다. When the AVM calibration unit 25 performs calibration of the AVM camera 110, the parameters of the projection matrix of the AVM camera 110 are changed, and a new projection matrix is generated accordingly. The corrected AVM projection matrix, which is the projection matrix of the AVM camera 110 thus calibrated, is represented by P A '.

카메라 캘리브레이션 모듈(30)은, AVM 카메라(110)의 캘리브레이션 결과를 이용하여 전방 카메라(160)에 대한 새로운 프로젝션 매트릭스를 산출하는 매트릭스 산출부(31)와, 매트릭스 산출부(31)에서 산출된 새로운 전방 카메라(160) 프로젝션 매트릭스를 이용하여 전방 카메라(160)를 캘리브레이션하는 카메라 캘리브레이션부(33)를 포함할 수 있다. The camera calibration module 30 includes a matrix calculation unit 31 that calculates a new projection matrix for the front camera 160 using the calibration result of the AVM camera 110, And a camera calibration unit 33 for calibrating the front camera 160 using a front camera 160 projection matrix.

매트릭스 산출부(31)는, AVM 카메라(110)의 캘리브레이션이 완료되면, AVM 카메라(110)의 캘리브레이션 결과인 보정 AVM 프로젝션 매트릭스를 이용하여 전방 카메라(160) 프로젝션 매트릭스의 파라미터를 조절할 수 있다. 캘리브레이션에 의해 AVM 카메라(110)의 각도가 조절되더라도 AVM 카메라(110)와 전방 카메라(160) 간의 관계인 관계 매트릭스X에는 변함이 없기 때문에, AVM 카메라(110)에서 캘리브레이션한 결과를 이용하면 전방 카메라(160)의 캘리브레이션을 실시할 수 있다. The matrix calculator 31 may adjust the parameter of the front camera 160 projection matrix using the corrected AVM projection matrix which is the result of the calibration of the AVM camera 110 when the calibration of the AVM camera 110 is completed. Even if the angle of the AVM camera 110 is adjusted by the calibration, there is no change in the relationship matrix X that is the relationship between the AVM camera 110 and the front camera 160. Therefore, if the result of the calibration performed by the AVM camera 110 is used, 160 can be calibrated.

이에 따라, 매트릭스 산출부(31)는, AVM 캘리브레이션 모듈(20)에서 생성된 보정 AVM 프로젝션 매트릭스 PA'와, 관계 매트릭스 X를 이용하여 보정 카메라 프로젝션 매트릭스 PF'를 다음의 수학식 4를 이용하여 산출할 수 있다. Accordingly, the matrix calculating unit 31 calculates the corrected camera projection matrix P F 'using the corrected AVM projection matrix P A ' generated by the AVM calibration module 20 and the relational matrix X using the following equation (4) Can be calculated.

[수학식 4] &Quot; (4) "

Figure pat00004
Figure pat00004

이렇게 매트릭스 산출부(31)에서 보정 카메라 프로젝션 매트릭스 PF'를 산출하면, 카메라 캘리브레이션부(33)에서는 보정 카메라 프로젝션 매트릭스 PF'를 이용하여 전방 카메라(160)의 x, y, z축 방향 각도를 조절함으로써, 전방 카메라(160)를 캘리브레이션할 수 있다. When the corrected camera projection matrix P F 'is calculated by the matrix calculation unit 31, the camera calibration unit 33 calculates the corrected camera projection matrix P F ' using the corrected camera projection matrix P F ' The front camera 160 can be calibrated.

이러한 구성에 의한 본 발명의 차량용 카메라 캘리브레이션 시스템에 의해 전방 카메라(160)가 캘리브레이션 되는 과정을 도 5를 참조하여 설명하면 다음과 같다. The process of calibrating the front camera 160 by the camera calibration system for a vehicle according to the present invention will now be described with reference to FIG.

생산공정에서 AVM 카메라(110)와 전방 카메라(160)의 캘리브레이션이 최초로 이루어지면, 관계상수 산출부(10)에서는 AVM 카메라(110)와 전방 카메라(160) 간의 관계를 나타내는 관계 매트릭스 X를 산출한다(S500). 관계 매트릭스 X에 대한 정보는, 카메라 캘리브레이션 모듈(30)로 전달된다. When the AVM camera 110 and the front camera 160 are first calibrated in the production process, the relationship constant calculating unit 10 calculates a relational matrix X indicating the relationship between the AVM camera 110 and the front camera 160 (S500). Information about the relationship matrix X is passed to the camera calibration module 30. [

차량의 엔진이 가동되면(S510), 각 AVM 카메라(110)에서는 차량 주변을 촬영하고(S520), AVM 캘리브레이션 모듈(20)의 AVM 영상처리부(21)에서는 각 AVM 카메라(110)에서 촬영된 영상을 처리하여 하나의 AVM 영상을 생성한다(S530). AVM 캘리브레이션 모듈(20)의 주차선 인식부(23)에서는 AVM 영상에서 주차선을 감지하고(S540), 감지된 결과를 AVM 캘리브레이션부(25)로 전달한다. When the engine of the vehicle is activated in step S510, the AVM camera 110 captures the surroundings of the vehicle in step S520. In the AVM image processing unit 21 of the AVM calibration module 20, To generate one AVM image (S530). The parking line recognizing part 23 of the AVM calibration module 20 detects a parking line in the AVM image at step S540 and transmits the sensed result to the AVM calibration part 25. [

AVM 캘리브레이션부(25)에서는 주차선이 직사각형인지 여부를 판단하고(S550), 직사각형이면 캘리브레이션을 수행하지 아니하고, 직사각형이 아니면, 캘리브레이션을 수행하여 주차선이 직사각형이 되도록 한다(S560). 이러한 캘리브레이션에 의해 보정 AVM 프로젝션 매트릭스가 생성된다(S570). The AVM calibration unit 25 determines whether the parking line is a rectangle (S550). If the rectangle is not rectangular, the calibration is performed to make the parking line rectangle (S560). By this calibration, a corrected AVM projection matrix is generated (S570).

카메라 캘리브레이션 모듈(30)의 매트릭스 산출부(31)에서는 보정 AVM 프로젝션 매트릭스 PA'와, 관계 매트릭스 X를 이용하여 보정 카메라 프로젝션 매트릭스 PF'를 산출한다(S580). 그런 다음, 카메라 캘리브레이션부(33)에서는 보정 카메라 프로젝션 매트릭스 PF'를 이용하여 전방 카메라(160)를 캘리브레이션한다(S590). The matrix calculation unit 31 of the camera calibration module 30 calculates the corrected camera projection matrix P F 'using the corrected AVM projection matrix P A ' and the relational matrix X (S580). Then, the camera calibration unit 33 calibrates the front camera 160 using the corrected camera projection matrix P F '(S590).

도 6은 본 발명의 다른 실시예에 따른 차량용 카메라 장치의 구성블록도이다. 6 is a block diagram of a configuration of a camera device for a vehicle according to another embodiment of the present invention.

본 실시예에 따른 차량용 카메라 장치는, 차량의 사용 중 AVM 카메라(110)의 캘리브레이션이 수행되면, 캘리브레이션에 의해 생성된 AVM 카메라(110)의 보정 AVM 프로젝션 매트릭스 PF'와, 생산공정에서 산출된 AVM 카메라(110)와 차량용 카메라 간의 관계 매트릭스 X를 이용하여 전방 카메라(160)를 캘리브레이션하도록 한다. When the calibration of the AVM camera 110 is performed while the vehicle is in use, the vehicle camera apparatus according to the present embodiment calculates the corrected AVM projection matrix P F 'of the AVM camera 110 generated by the calibration, The front camera 160 is calibrated using the relational matrix X between the AVM camera 110 and the vehicle camera.

본 차량용 카메라 장치는, AVM 카메라(110)를 포함하는 AVM 카메라 유닛(100), 전방 카메라(160)를 포함하는 차량용 카메라 유닛(150), AVM 카메라(110)와 전방 카메라(160)의 캘리브레이션을 제어하는 제어부(140)를 포함할 수 있다. This vehicle camera apparatus includes an AVM camera unit 100 including an AVM camera 110, a vehicle camera unit 150 including a front camera 160, a calibration of the AVM camera 110 and the front camera 160 And a control unit 140 for controlling the control unit 140.

AVM 카메라 유닛(100)은, 복수의 AVM 카메라(110), 각 AVM 카메라(110)에서 촬영된 영상을 처리하는 AVM 영상처리부(115), 주차선 인식부(120), AVM 캘리브레이션부(125)를 포함할 수 있다.The AVM camera unit 100 includes a plurality of AVM cameras 110, an AVM image processing unit 115 for processing images photographed by the AVM cameras 110, a parking line recognizing unit 120, an AVM calibration unit 125, . ≪ / RTI >

AVM 카메라(110)는 차량의 둘레를 모두 촬영하기 위해서 복수개가 마련되며, 차량의 전방 그릴, 양쪽 사이드 미러, 후방 트렁크에 장착되어 있다. The AVM camera 110 is provided with a plurality of cameras for photographing the entire periphery of the vehicle, and is mounted on the front grille, both side mirrors, and rear trunk of the vehicle.

AVM 영상처리부(115)는, 통상시에는 차량의 주행 시작시나 운전자의 선택 입력에 따라 각 AVM 카메라(110)에서 촬영된 영상을 처리하여 하나의 영상을 형성한 다음, 영상을 차량내에 설치된 디스플레이 패널이나 내비게이션 등의 모니터에 표시할 수 있다. 또한, AVM 영상처리부(115)는, AVM 카메라(110)의 캘리브레이션이 실행되는 경우, 각 AVM 카메라(110)에서 촬영된 영상을 처리하여 하나의 영상으로 형성한 다음, 주차선 인식부(120)로 제공함으로써, AVM 카메라(110)의 캘리브레이션이 이루어지도록 한다. The AVM image processing unit 115 processes an image photographed by each AVM camera 110 at the start of driving of the vehicle or according to a selection input of a driver to form one image and then displays the image on a display panel Or on a monitor such as a navigation system. When the AVM camera 110 is calibrated, the AVM image processing unit 115 processes the images photographed by the AVM cameras 110 to form a single image, So that the AVM camera 110 is calibrated.

주차선 인식부(120)는, AVM 영상처리부(115)에서 제공된 AVM 영상에서 주차선을 감지할 수 있다. 주차선 인식부(120)에서 인식된 주차선에 대한 정보와 AVM 영상은 AVM 캘리브레이션부(125)로 전달될 수 있다. The parking line recognizing unit 120 can detect a parking line in the AVM image provided by the AVM image processing unit 115. [ The information on the parking line recognized by the parking line recognizing unit 120 and the AVM image may be transmitted to the AVM calibration unit 125. [

AVM 캘리브레이션부(125)에서는, 주차선 인식부(120)에서 인식된 주차선을 이용하여 캘리브레이션을 수행할 수 있다. AVM 캘리브레이션부(125)는, 주차선이 직사각형을 형성하지 않는 경우에는 캘리브레이션을 실시하여 주차선이 직사각형을 형성하도록 보정한다. AVM 캘리브레이션부(125)는, 주차선 인식부(120)에서 사방의 주차선이 인식되지 않은 경우에도 캘리브레이션을 수행하며, 이에 대해서는 상술한 실시예에서 설명하였으므로, 반복되는 설명은 생략하기로 한다. In the AVM calibration unit 125, the calibration can be performed using the parking line recognized by the parking line recognition unit 120. When the parking line does not form a rectangle, the AVM calibration unit 125 calibrates so that the parking line forms a rectangle. The AVM calibration unit 125 performs calibration even when the parking line recognizing unit 120 does not recognize four parking lines and has been described in the above embodiment, and thus a repeated description thereof will be omitted.

이러한 AVM 캘리브레이션부(125)는, AVM 카메라(110)의 프로젝션 매트릭스 PA에 대한 정보를 가지고 있다. 이에 따라, AVM 캘리브레이션부(125)에서 AVM 카메라(110)의 캘리브레이션을 실시하면, AVM 카메라(110)의 프로젝션 매트릭스의 파라미터가 변경되고, AVM 캘리브레이션부(125)는 새로운 AVM 프로젝션 매트릭스를 생성할 수 있다. 이렇게 캘리브레이션된 AVM 카메라(110)의 프로젝션 매트릭스를 보정 AVM 프로젝션 매트릭스 PA'라 한다. The AVM calibration unit 125 has information on the projection matrix P A of the AVM camera 110. Accordingly, when the AVM calibration unit 125 performs the calibration of the AVM camera 110, the parameters of the projection matrix of the AVM camera 110 are changed, and the AVM calibration unit 125 can generate a new AVM projection matrix have. The projection matrix of the AVM camera 110 thus calibrated is referred to as a corrected AVM projection matrix P A '.

제어부(140)는, AVM 카메라(110)의 캘리브레이션 조건에 도달하면, AVM 카메라 유닛(100)을 제어하여 AVM 카메라(110)의 캘리브레이션이 수행되도록 제어하고, AVM 카메라(110)의 캘리브레이션 결과에 따라, 전방 카메라(160)의 캘리브레이션이 수행되도록 제어할 수 있다. The control unit 140 controls the AVM camera unit 100 to perform the calibration of the AVM camera 110 when the calibration condition of the AVM camera 110 is reached and in accordance with the calibration result of the AVM camera 110 , So that the calibration of the front camera 160 can be performed.

AVM 카메라(110)의 캘리브레이션은, 사람의 탑승이나 짐의 적재로 인해 차량이 기울어지는 경우에 이루어질 수 있다. 제어부(140)는, 주차공간에서 차량의 엔진이 구동될 때마다 주행 시작 전에, AVM 카메라(110)의 캘리브레이션을 수행하도록 제어할 수도 있고, 엔진 구동 후 센서 등에 의해 차량이 기울었다고 판단될 경우에 AVM 카메라(110)의 캘리브레이션을 수행하도록 제어할 수도 있다. The calibration of the AVM camera 110 may be performed when the vehicle is tilted due to the loading of a person or the load. The control unit 140 may control to perform calibration of the AVM camera 110 every time the engine of the vehicle is driven in the parking space before the start of the driving or when it is determined by the sensor etc. that the vehicle has been tilted The AVM camera 110 may be controlled to perform the calibration.

제어부(140)는, 생산공정에서 AVM 카메라(110)와 전방 카메라(160)에 대한 최초 캘리브레이션시 산출된 AVM 카메라(110)와 전방 카메라(160)의 관계 매트릭스X에 대한 정보를 가지고 있다. 관계 매트릭스인 X는, 상술한 수학식 1 내지 3에 나타난 바와 같이, AVM 카메라(110)의 프로젝션 매트릭스 PA와 전방 카메라(160)의 프로젝션 매트릭스 PF를 이용하여 산출될 수 있다. The control unit 140 has information about the relationship matrix X between the AVM camera 110 and the front camera 160 calculated during the initial calibration of the AVM camera 110 and the front camera 160 in the production process. The relationship matrix X can be calculated using the projection matrix P A of the AVM camera 110 and the projection matrix P F of the front camera 160 as shown in Equations 1 to 3 above.

제어부(140)는, AVM 캘리브레이션부(125)에 의해 AVM 카메라(110)의 캘리브레이션이 완료되면, AVM 캘리브레이션부(125)로부터 보정 AVM 프로젝션 매트릭스 PA'에 대한 정보를 제공받으며, 보정 AVM 프로젝션 매트릭스 PA'를 이용하여 전방 카메라(160) 프로젝션 매트릭스의 파라미터를 조절할 수 있다. 캘리브레이션에 의해 AVM 카메라(110)의 각도가 조절되거나 AVM 카메라(110)에서 촬영된 영상이 보정되더라도 AVM 카메라(110)와 전방 카메라(160) 간의 관계인 관계 매트릭스 X에는 변함이 없기 때문에, AVM 카메라(110)에서 캘리브레이션한 결과를 이용하면 전방 카메라(160)의 캘리브레이션을 실시할 수 있다.The control unit 140 receives information on the corrected AVM projection matrix P A 'from the AVM calibration unit 125 when the AVM camera 110 has been calibrated by the AVM calibration unit 125, P A 'can be used to adjust the parameters of the front camera 160 projection matrix. Even if the angle of the AVM camera 110 is adjusted by the calibration or the image photographed by the AVM camera 110 is corrected, the relationship matrix X, which is the relationship between the AVM camera 110 and the front camera 160, The front camera 160 can be calibrated using the result of the calibration of the front camera 160. FIG.

즉, 제어부(140)는, AVM 캘리브레이션 모듈(20)에서 생성된 보정 AVM 프로젝션 매트릭스 PA'와, 관계 매트릭스 X를 이용하여 보정 카메라 프로젝션 매트릭스 PF'를 산출할 수 있다. That is, the control unit 140 can calculate the corrected camera projection matrix P F 'using the corrected AVM projection matrix P A ' generated by the AVM calibration module 20 and the relational matrix X.

제어부(140)는, 산출된 보정 카메라 프로젝션 매트릭스 PF'를 차량용 카메라 유닛(150)으로 전달하여 카메라 구동부(165) 및/또는 카메라 캘리브레이션부(175)에서 전방 카메라(160)에 대한 캘리브레이션이 이루어지도록 한다. The control unit 140 transmits the calculated corrected camera projection matrix P F 'to the vehicle camera unit 150 so that the front camera 160 is calibrated in the camera driving unit 165 and / or the camera calibration unit 175 Respectively.

차량용 카메라 유닛(150)은, 전방 카메라(160)을 포함하는 복수의 차량용 카메라(미도시)와, 각 차량용 카메라에서 촬영된 영상을 처리하는 카메라 영상처리부(170)와, 제어부(140)으로부터의 제어에 따라 전방 카메라(160)를 x축, y축, z축을 중심으로 회전시키는 카메라 구동부(165)와, 제어부(140)으로부터의 제어에 따라 전방 카메라(160)에서 촬영된 영상을 캘리브레이션하는 카메라 캘리브레이션부(175)를 포함할 수 있다. The vehicle camera unit 150 includes a plurality of vehicle cameras (not shown) including a front camera 160, a camera image processor 170 that processes images photographed by the respective cameras for a vehicle, A camera driver 165 that rotates the front camera 160 around the x axis, the y axis, and the z axis according to the control of the control unit 140, a camera 160 that calibrates an image photographed by the front camera 160 under the control of the controller 140, And a calibration unit 175.

카메라 영상처리부(170)는, 각 차량용 카메라에서 촬영된 영상을 입력받아 차량내 디스플레이 패널이나 내비게이션 등에 표시할 수 있는 상태로 처리할 수 있다. 일반적으로 후방 카메라는 차량이 후진할 때 작동하며, 카메라 영상처리부(170)는 차량의 후진시 후방 카메라에서 촬영된 후방 영상을 처리할 수 있다. 전방 카메라(160)에서는 차량의 운행 중 차량의 전방을 촬영하며, 카메라 영상처리부(170)는 차량의 전방 영상을 처리할 수 있다. The camera image processing unit 170 can process the images captured by the respective vehicle cameras in a state in which they can be displayed on an in-vehicle display panel, a navigation system, or the like. In general, the rear camera is operated when the vehicle is reversing, and the camera image processor 170 can process the rear image captured by the rear camera when the vehicle is reversed. The front camera 160 photographs the front of the vehicle while the vehicle is in operation, and the camera image processor 170 processes the forward image of the vehicle.

카메라 구동부(165)는, 전방 카메라(160)를 x축, y축, z축 방향으로 회전시킬 수 있으며, 구동모터, 벨트 등 다양한 장비를 구성하여 마련될 수 있다. 카메라 구동부(165)는 제어부(140)으로부터의 제어신호에 의해 구동된다. 제어부(140)에서는 AVM 카메라(110)의 캘리브레이션이 완료되면, AVM 카메라(110)와 전방 카메라(160)의 위치 및 각도 관계에 따라, 전방 카메라(160)의 x축, y축, z축 각도를 조절할 수 있다. 즉, 카메라 구동부(165)는 제어부(140)으로부터 보정 카메라 프로젝션 매트릭스 PF'를 제공받으며, 보정 카메라 프로젝션 매트릭스 PF'에 포함된 피치, 요, 롤 값을 이용하여 전방 카메라(160)를 x축, y축, z축으로 회전시켜 전방 카메라(160)를 캘리브레이션할 수 있다. The camera driving unit 165 may rotate the front camera 160 in the x-axis, y-axis, and z-axis directions, and may be provided with various devices such as a driving motor and a belt. The camera driver 165 is driven by a control signal from the controller 140. When the calibration of the AVM camera 110 is completed, the controller 140 controls the x-axis, the y-axis, and the z-axis angle of the front camera 160 according to the position and angle relationship between the AVM camera 110 and the front camera 160 Can be adjusted. That is, the camera driving unit 165 for correcting the camera projection matrix P F front camera 160 by using the pitch, yaw, and roll values included in ", the correction camera projection matrix P F receives provide" from the control unit (140) x Axis, the y-axis, and the z-axis, so that the front camera 160 can be calibrated.

카메라 캘리브레이션부(175)는, AVM 카메라(110)의 캘리브레이션 결과에 따라 전방 카메라(160)에서 촬영된 영상을 캘리브레이션할 수 있다. 카메라 캘리브레이션부(175)는 제어부(140)로부터 보정 카메라 프로젝션 매트릭스 PF'를 제공받으며, 이에 기초하여 전방 영상을 캘리브레이션한다. The camera calibration unit 175 may calibrate an image photographed by the front camera 160 according to a result of the calibration of the AVM camera 110. [ The camera calibration unit 175 receives the corrected camera projection matrix P F 'from the control unit 140, and calibrates the forward image based thereon.

한편, 카메라 구동부(165)는, x축, y축, z축 중 일부 축만 회전시키도록 구성될 수도 있으며, 이 경우, 전방 카메라(160)를 캘리브레이션할 때, 일부 축에 대해서만 캘리브레이션이 가능하다. 또한, 카메라 구동부(165)는 x축, y축, z축을 모두 회전시킬 수 있는 구성인 경우에도 x축, y축, z축 중 일부 축에 대해서만 캘리브레이션을 수행할 수도 있다. 이렇게 카메라 구동부(165)에서 일부 축에 대해서만 캘리브레이션을 수행하는 경우, 캘리브레이션이 수행되지 않은 나머지 축에 대해서는 카메라 캘리브레이션부(175)에서 소프트웨어적으로 캘리브레이션을 수행할 수 있다. 이에 따라, 카메라 구동부(165)를 이용한 하드웨어적인 방법과, 카메라 캘리브레이션부(175)를 이용한 소프트웨어적인 방법을 혼용하여 전방 카메라(160)를 캘리브레이션할 수도 있다. Meanwhile, the camera driver 165 may be configured to rotate only some of the x, y, and z axes. In this case, when the front camera 160 is calibrated, calibration is possible for only some of the axes. In addition, the camera driving unit 165 may perform calibration only for some of the x-, y-, and z-axes even when the camera is capable of rotating all the x-, y-, and z-axes. In the case where the camera driver 165 performs the calibration for only some of the axes, the camera calibration unit 175 may perform the software calibration for the remaining axes that are not calibrated. Accordingly, the front camera 160 may be calibrated using a combination of a hardware method using the camera driver 165 and a software method using the camera calibration unit 175.

이렇게 하드웨어적인 방법과 소프트웨어적인 방법을 혼용하여 전방 카메라(160)를 캘리브레이션할 때, 제어부(140)는, 카메라 구동부(165)와 카메라 캘리브레이션부(175) 각각에서 캘리브레이션할 축을 지정할 수 있다. 예를 들어, 제어부(140)는, 카메라 구동부(165)에서 x축과 y축에 대해 캘리브레이션하고, 카메라 캘리브레이션부(175)에서는 y축에 대해 캘리브레이션하도록 지정할 수 있다. When the front camera 160 is calibrated using a combination of a hardware method and a software method, the control unit 140 can designate an axis to be calibrated in the camera driving unit 165 and the camera calibration unit 175, respectively. For example, the control unit 140 may designate to calibrate the x-axis and the y-axis in the camera driver 165 and the y-axis in the camera calibration unit 175.

이러한 구성에 의한 차량용 카메라 장치에서 전방 카메라(160)를 캘리브레이션하는 과정은 도 5에 도시된 캘리브레이션 과정과 거의 동일하다. 다만, 본 차량용 카메라 장치에서는 관계 매트릭스 X에 대한 정보를 이미 제어부(140)에서 가지고 있다. The process of calibrating the front camera 160 in the vehicle camera apparatus according to this configuration is almost the same as the calibration process shown in Fig. However, in this vehicle camera apparatus, the control unit 140 already has information on the relational matrix X. FIG.

이에 따라, 차량의 엔진이 가동되면, 제어부(140)는 AVM 카메라(110)를 구동시켜 각 AVM 카메라(110)에서 차량 주변을 촬영하도록 함으로써, 캘리브레이션 과정을 시작하며, 도 5의 S510 내지 S580 과정을 거쳐 보정 카메라 프로젝션 매트릭스 PF'를 산출하게 된다. Accordingly, when the engine of the vehicle is activated, the control unit 140 starts the calibration process by driving the AVM camera 110 so that each AVM camera 110 photographs the surroundings of the vehicle, and the processes of S510 to S580 of FIG. 5 The corrected camera projection matrix P F 'is calculated.

그런 다음, 제어부(140)는 보정 카메라 프로젝션 매트릭스 PF'를 카메라 구동부(165)와 카메라 캘리브레이션부(175) 중 적어도 일측에 제공하여 전방 카메라(160)를 캘리브레이션한다. Then, the control unit 140 provides the corrected camera projection matrix P F 'to at least one of the camera driver 165 and the camera calibration unit 175 to calibrate the front camera 160.

제어부(140)에서 카메라 구동부(165)에만 보정 카메라 프로젝션 매트릭스 PF'를 제공하면, 전방 카메라(160)는 하드웨어적으로 캘리브레이션이 수행되고, 제어부(140)에서 카메라 캘리브레이션부(175)에만 보정 카메라 프로젝션 매트릭스 PF'를 제공하면, 전방 카메라(160)에서 촬영된 전방 영상이 보정되므로, 전방 카메라(160)는 소프트웨어적으로 캘리브레이션이 수행된다. 만약, 카메라 구동부(165)와 카메라 캘리브레이션부(175) 양측에 보정 카메라 프로젝션 매트릭스 PF'를 제공하는 경우, 캘리브레이션 중 일부는 하드웨어적으로 수행되고 나머지는 소프트웨어적으로 수행될 수 있다. If the control unit 140 provides the corrected camera projection matrix P F 'only to the camera driving unit 165, the front camera 160 is calibrated by hardware, and only the camera calibration unit 175 is calibrated by the control unit 140, Providing the projection matrix P F 'corrects the front image photographed by the front camera 160, so that the front camera 160 is calibrated by software. If a corrected camera projection matrix P F 'is provided on both sides of the camera driver 165 and the camera calibration unit 175, some of the calibration may be performed in hardware and the remainder may be performed in software.

이와 같이, 본 발명에서는 차량의 사용중 AVM 카메라(110)의 캘리브레이션시 보정 AVM 프로젝션 매트릭스 PA'가 생성되면, 보정 AVM 프로젝션 매트릭스 PA'와, 최초 캘리브레이션시 산출된 AVM 카메라(110)와 차량용 카메라 간의 관계 매트릭스 X를 이용하여, 차량용 카메라의 보정 카메라 프로젝션 매트릭스 PF'를 산출한다. 그런 다음, 보정 카메라 프로젝션 매트릭스 PF'를 이용하여 차량용 카메라를 하드웨어적 및/또는 소프트웨어적으로 캘리브레이션할 수 있도록 한다. 이에 따라, AVM 카메라(110)의 캘리브레이션 결과를 이용하여 차량용 카메라를 캘리브레이션하므로, 차량용 카메라를 캘리브레이션하는 과정이 간편해진다. 또한, 차량이 흔들리지 않는 운행 시작시에 주차선을 이용하여 차량용 카메라를 캘리브레이션하므로, 차량용 카메라의 캘리브레이션을 정확하게 수행할 수 있다. As described above, in the present invention, when the corrected AVM projection matrix P A 'is generated during the calibration of the AVM camera 110 during use of the vehicle, the corrected AVM projection matrix P A ', the AVM camera 110 calculated at the initial calibration, , The corrected camera projection matrix P F 'of the vehicle camera is calculated. The corrected camera projection matrix P F 'may then be used to enable hardware and / or software calibration of the vehicle camera. Accordingly, since the vehicle camera is calibrated using the calibration result of the AVM camera 110, the process of calibrating the vehicle camera is simplified. In addition, since the vehicle camera is calibrated using the parking line at the start of the operation in which the vehicle is not shaken, the calibration of the vehicle camera can be accurately performed.

전술한 실시예에서 언급한 표준내용 또는 표준문서들은 명세서의 설명을 간략하게 하기 위해 생략한 것으로 본 명세서의 일부를 구성한다. 따라서, 위 표준내용 및 표준문서들의 일부의 내용을 본 명세서에 추가하거나 청구범위에 기재하는 것은 본 발명의 범위에 해당하는 것으로 해석되어야 한다. The standard content or standard documents referred to in the above-mentioned embodiments constitute a part of this specification, for the sake of simplicity of description of the specification. Therefore, it is to be understood that the content of the above standard content and portions of the standard documents are added to or contained in the scope of the present invention.

이상의 설명은 본 발명의 기술사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술사상의 범위가 한정되는 것은 아니다. 본 발명의 보호범위는 아래의 청구범위에 의하여 해석되어야하며, 그와 동등한 범위내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The foregoing description is merely illustrative of the technical idea of the present invention, and various changes and modifications may be made by those skilled in the art without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are intended to illustrate rather than limit the scope of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of equivalents thereof should be construed as falling within the scope of the present invention.

10 : 관계상수 산출부 20 : AVM 캘리브레이션 모듈
21 : AVM 영상처리부 23 : 주차선 인식부
25 : AVM 캘리브레이션부 30 : 카메라 캘리브레이션 모듈
31 : 매트릭스 산출부 33 : 카메라 캘리브레이션부 10: Relation constant calculation section 20: AVM calibration module
21: AVM image processing unit 23: parking line recognition unit
25: AVM calibration section 30: camera calibration module
31: matrix calculation unit 33: camera calibration unit

Claims (18)

최초 캘리브레이션시 AVM 카메라와 차량용 카메라의 상대적인 위치와 각도를 이용하여 상기 AVM 카메라와 상기 차량용 카메라 간의 관계상수를 산출하는 산출단계;
소정 조건에 부합되면, 상기 AVM 카메라의 캘리브레이션을 수행하는 AVM 조정단계; 및
상기 AVM 카메라의 캘리브레이션이 완료되면, 상기 AVM 카메라와 상기 차량용 카메라 간의 관계상수를 이용하여 상기 차량용 카메라를 캘리브레이션하는 카메라 조정단계;를 포함하는 것을 특징으로 하는 차량용 카메라 캘리브레이션 방법. A calculation step of calculating a relation constant between the AVM camera and the vehicle camera using the relative positions and angles of the AVM camera and the vehicle camera in the initial calibration;
An AVM calibration step of performing calibration of the AVM camera when a predetermined condition is satisfied; And
And a camera calibration step of calibrating the vehicle camera using a relation constant between the AVM camera and the vehicle camera when the calibration of the AVM camera is completed. 제1항에 있어서,
상기 산출단계는, 복수의 AVM 카메라 중 선택된 AVM 카메라에 대해 생성되는 프로젝션 매트릭스와, 상기 차량용 카메라에 대해 생성되는 프로젝션 매트릭스를 이용하여, 상기 선택된 AVM 카메라와 상기 차량용 카메라 간의 관계 매트릭스를 산출하는 단계인 것을 특징으로 하는 차량용 카메라 캘리브레이션 방법. The method according to claim 1,
Wherein the calculating step includes a step of calculating a relation matrix between the selected AVM camera and the vehicle camera using a projection matrix generated for a selected AVM camera among a plurality of AVM cameras and a projection matrix generated for the vehicle camera Wherein the camera calibration method comprises the steps of: 제1항에 있어서,
상기 AVM 조정단계는,
상기 AVM 카메라에서 촬영된 주차선을 인식하는 단계;
상호 마주보는 주차선이 평행하도록 상기 AVM 카메라의 프로젝션 매트릭스의 파라미터를 조절하는 단계;를 포함하는 것을 특징으로 하는 차량용 카메라 캘리브레이션 방법. The method according to claim 1,
Wherein the AVM adjustment step comprises:
Recognizing a parking line photographed by the AVM camera;
Adjusting a parameter of the projection matrix of the AVM camera such that mutually opposing parking lines are parallel to each other. 제3항에 있어서,
상기 AVM 카메라의 프로젝션 매트릭스의 파라미터를 조절하는 단계는, 상기 촬영된 주차선이 직사각형을 이루도록 상기 파라미터를 조절하는 단계인 것을 특징으로 하는 차량용 카메라 캘리브레이션 방법. The method of claim 3,
Wherein adjusting the parameter of the projection matrix of the AVM camera is a step of adjusting the parameter so that the photographed parking line becomes a rectangle. 제2항에 있어서,
상기 카메라 조정단계는,
상기 AVM 카메라의 프로젝션 매트릭스의 파라미터가 조절되면, 복수의 AVM 카메라중 선택된 AVM 카메라와 상기 차량용 카메라 간의 관계 매트릭스를 이용하여 상기 차량용 카메라의 프로젝션 매트릭스의 파라미터를 조절하는 단계;
조절된 상기 차량용 카메라의 프로젝션 매트릭스의 파라미터를 이용하여 상기 차량용 카메라를 캘리브레이션하는 단계;를 포함하는 것을 특징으로 하는 차량용 카메라 캘리브레이션 방법. 3. The method of claim 2,
Wherein the camera adjusting step comprises:
Adjusting a parameter of the projection matrix of the vehicle camera using a relational matrix between the selected AVM camera and the vehicle camera when the parameter of the projection matrix of the AVM camera is adjusted;
And calibrating the vehicle camera using the parameters of the projection matrix of the vehicle camera adjusted. 제1항에 있어서,
상기 AVM 조정단계와 상기 카메라 조정단계는,
차량의 구동시마다 이루어지며, 복수의 AVM 카메라 중 선택된 AVM 카메라는 상기 차량용 카메라는 동일한 방향을 촬영하도록 설치된 것을 특징으로 하는 차량용 카메라 캘리브레이션 방법. The method according to claim 1,
Wherein the AVM adjustment step and the camera adjustment step comprise:
Wherein the at least one AVM camera is installed at every driving of the vehicle, and the AVM camera selected from among the plurality of AVM cameras is installed so as to photograph the same direction of the vehicle camera. 최초 캘리브레이션시 AVM 카메라와 차량용 카메라의 상대적인 위치와 각도를 이용하여 상기 AVM 카메라와 상기 차량용 카메라 간의 관계상수를 산출하는 관계상수 산출부;
소정 조건에 부합되면, 상기 AVM 카메라의 캘리브레이션을 수행하는 AVM 캘리브레이션 모듈; 및
상기 AVM 카메라의 캘리브레이션이 완료되면, 상기 AVM 카메라와 상기 차량용 카메라 간의 관계상수를 이용하여 상기 차량용 카메라를 캘리브레이션하는 카메라 캘리브레이션 모듈;을 포함하는 것을 특징으로 하는 차량용 카메라 캘리브레이션 시스템. A relational constant calculating unit for calculating a relational constant between the AVM camera and the vehicle camera using the relative positions and angles of the AVM camera and the vehicle camera in the initial calibration;
An AVM calibration module for performing calibration of the AVM camera when a predetermined condition is satisfied; And
And a camera calibration module for calibrating the vehicle camera using a relation constant between the AVM camera and the vehicle camera when the calibration of the AVM camera is completed. 제7항에 있어서,
상기 관계상수 산출부는, 상기 AVM 카메라에 대해 생성되는 프로젝션 매트릭스와, 상기 차량용 카메라에 대해 생성되는 프로젝션 매트릭스를 이용하여, 복수의 AVM 카메라 중 선택된 AVM 카메라와 상기 차량용 카메라 간의 관계 매트릭스를 산출하는 것을 특징으로 하는 차량용 카메라 캘리브레이션 시스템. 8. The method of claim 7,
Wherein the relational constant calculator calculates a relation matrix between the AVM camera selected from a plurality of AVM cameras and the vehicle camera using a projection matrix generated for the AVM camera and a projection matrix generated for the vehicle camera A camera calibration system. 제7항에 있어서,
상기 AVM 캘리브레이션 모듈은,
상기 AVM 카메라에서 촬영된 주차선을 인식하는 주차선 인식부;
상호 마주보는 주차선이 평행하도록 상기 AVM 카메라의 프로젝션 매트릭스의 파라미터를 조절하는 AVM 캘리브레이션부;를 포함하는 것을 특징으로 하는 차량용 카메라 캘리브레이션 시스템. 8. The method of claim 7,
The AVM calibration module includes:
A parking line recognizing unit for recognizing a parking line photographed by the AVM camera;
And an AVM calibration unit for adjusting parameters of a projection matrix of the AVM camera so that mutually opposing parking lines are parallel to each other. 제9항에 있어서,
상기 AVM 캘리브레이션부는, 상기 주차선이 직사각형을 형성하도록 상기 파라미터를 조절하는 것을 특징으로 하는 차량용 카메라 캘리브레이션 시스템. 10. The method of claim 9,
Wherein the AVM calibration unit adjusts the parameter so that the parking line forms a rectangle. 제7항에 있어서,
상기 카메라 캘리브레이션 모듈은,
캘리브레이션된 상기 AVM 카메라의 프로젝션 매트릭스의 파라미터와, 복수의 AVM 카메라 중 선택된 AVM 카메라와 상기 차량용 카메라 간의 관계 매트릭스를 이용하여 상기 차량용 카메라의 프로젝션 매트릭스의 파라미터를 조절하는 매트릭스 조절부;
상기 매트릭스 조절부에서 조절된 파라미터에 따라 상기 차량용 카메라를 캘리브레이션하는 카메라 캘리브레이션부;를 포함하는 것을 특징으로 하는 차량용 카메라 캘리브레이션 시스템. 8. The method of claim 7,
Wherein the camera calibration module comprises:
A matrix adjustment unit for adjusting parameters of the projection matrix of the vehicle camera using the parameters of the projection matrix of the AVM camera calibrated and the relational matrix between the AVM camera and the vehicle camera selected from among the plurality of AVM cameras;
And a camera calibration unit for calibrating the vehicle camera according to the parameter adjusted by the matrix adjustment unit. 주차공간에서 AVM 카메라의 캘리브레이션을 수행하는 AVM 조정단계; 및
상기 AVM 카메라의 캘리브레이션이 완료되면, 상기 AVM 카메라와 차량용 카메라 간의 상대적인 위치와 각도 관계를 이용하여 상기 차량용 카메라를 캘리브레이션하는 카메라 조정단계;를 포함하는 것을 특징으로 하는 차량용 카메라 캘리브레이션 방법. An AVM adjustment step of performing an AVM camera calibration in a parking space; And
And a camera calibration step of calibrating the vehicle camera using the relative position and angle relationship between the AVM camera and the vehicle camera when the calibration of the AVM camera is completed. 제12항에 있어서,
상기 카메라 조정단계는,
상기 차량용 카메라의 x축 방향 각도, y축 방향 각도, z축 방향 각도 중 적어도 하나를 기구적으로 조절하는 단계인 것을 특징으로 하는 차량용 카메라 캘리브레이션 방법. 13. The method of claim 12,
Wherein the camera adjusting step comprises:
Wherein the step of mechanically adjusting at least one of the x-axis direction angle, the y-axis direction angle, and the z-axis direction angle of the vehicle camera is performed. 제12항에 있어서,
상기 카메라 조정단계는,
상기 차량용 카메라의 x축, y축, z축 방향 각도 중 적어도 하나를 기구적으로 조절하는 기구적 조절단계와,
상기 기구적 조절단계에서 조절되지 않은 상기 차량용 카메라의 x축 방향 각도, y축 방향 각도, z축 방향 각도 중 나머지 각도에 대해서는, 상기 차량용 카메라에서 촬영된 영상을 보정하는 단계를 포함하는 것을 특징으로 하는 차량용 카메라 캘리브레이션 방법. 13. The method of claim 12,
Wherein the camera adjusting step comprises:
A mechanical adjustment step of mechanically adjusting at least one of an x-axis, a y-axis, and a z-axis angle of the vehicle camera;
And correcting the image photographed by the vehicle camera with respect to the remaining angles of the x-axis direction angle, the y-axis direction angle, and the z-axis direction angle of the vehicle camera which are not adjusted in the mechanical adjustment step The method comprising: 제12항에 있어서,
상기 카메라 조정단계는,
상기 AVM 카메라와 차량용 카메라 간의 상대적인 위치와 각도 관계를 이용하여 상기 차량용 카메라에서 촬영된 영상을 보정하는 단계를 포함하는 것을 특징으로 하는 차량용 카메라 캘리브레이션 방법. 13. The method of claim 12,
Wherein the camera adjusting step comprises:
And correcting the image photographed by the vehicle camera using the relative position and angle relationship between the AVM camera and the vehicle camera. AVM 영상을 생성하기 위해 차량의 주변을 촬영하는 AVM 카메라를 포함하는 AVM 카메라 유닛;
상기 차량의 일측에 장착되는 차량용 카메라를 포함하는 차량용 카메라 유닛; 및
상기 차량이 주차공간에 위치하면, 상기 AVM 카메라의 캘리브레이션을 수행하도록 상기 AVM 카메라 유닛을 제어하고, 상기 AVM 카메라의 캘리브레이션이 완료되면, 상기 AVM 카메라와 상기 차량용 카메라 간의 상대적인 위치와 각도 관계를 이용하여 상기 차량용 카메라의 캘리브레이션을 제어하는 제어부;을 포함하는 차량용 카메라 장치. An AVM camera unit including an AVM camera for photographing the periphery of the vehicle to generate an AVM image;
A vehicle camera unit including a vehicle camera mounted on one side of the vehicle; And
Wherein the control unit controls the AVM camera unit to perform calibration of the AVM camera when the vehicle is located in the parking space, and when the calibration of the AVM camera is completed, using the relative position and angle relationship between the AVM camera and the vehicle camera And a control unit for controlling the calibration of the vehicle camera. 제16항에 있어서,
상기 차량용 카메라는,
상기 차량용 카메라의 x축, y축, z축 방향 회전을 조절하는 카메라 구동부를 포함하며;
상기 제어부는 상기 카메라 구동부를 작동시켜 상기 차량용 카메라의 x축, y축, z축 방향 각도를 조절하여 캘리브레이션하는 것을 특징으로 하는 차량용 카메라 장치. 17. The method of claim 16,
The vehicle camera includes:
A camera driver for adjusting rotation of the vehicle camera in the x-axis, y-axis, and z-axis directions;
Wherein the control unit operates the camera driving unit to calibrate the angle of the x-axis, the y-axis, and the z-axis of the vehicle camera. 제16항에 있어서,
상기 차량용 카메라는,
상기 차량용 카메라에서 촬영된 영상을 캘리브레이션하는 카메라 캘리브레이션부를 포함하며;
상기 제어부는 상기 차량용 카메라에서 촬영된 영상을 상기 AVM 카메라와 상기 차량용 카메라 간의 상대적인 위치와 각도 관계를 이용하여 캘리브레이션하도록 상기 카메라 캘리브레이션부를 제어하는 것을 특징으로 하는 차량용 카메라 장치. 17. The method of claim 16,
The vehicle camera includes:
And a camera calibration unit for calibrating an image photographed by the vehicle camera;
Wherein the control unit controls the camera calibration unit to calibrate an image photographed by the vehicle camera using a relative position and an angle relationship between the AVM camera and the vehicle camera.
KR1020150052956A 2015-04-15 2015-04-15 Camera apparatus for vehicle, calibration system and method thereof KR20160123411A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150052956A KR20160123411A (en) 2015-04-15 2015-04-15 Camera apparatus for vehicle, calibration system and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150052956A KR20160123411A (en) 2015-04-15 2015-04-15 Camera apparatus for vehicle, calibration system and method thereof

Publications (1)

Publication Number Publication Date
KR20160123411A true KR20160123411A (en) 2016-10-26

Family

ID=57251762

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150052956A KR20160123411A (en) 2015-04-15 2015-04-15 Camera apparatus for vehicle, calibration system and method thereof

Country Status (1)

Country Link
KR (1) KR20160123411A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180065758A (en) * 2016-12-08 2018-06-18 현대모비스 주식회사 Apparatus for generating top-view image and method thereof
KR20190110311A (en) 2018-03-20 2019-09-30 주식회사 만도 Apparatus for calibrating for around view camera and method thereof

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180065758A (en) * 2016-12-08 2018-06-18 현대모비스 주식회사 Apparatus for generating top-view image and method thereof
KR20210130688A (en) * 2016-12-08 2021-11-01 현대모비스 주식회사 Apparatus for generating top-view image and method thereof
KR20190110311A (en) 2018-03-20 2019-09-30 주식회사 만도 Apparatus for calibrating for around view camera and method thereof

Similar Documents

Publication Publication Date Title
JP7161410B2 (en) System and method for identifying camera pose in scene
EP2990265B1 (en) Vehicle control apparatus
JP4832321B2 (en) Camera posture estimation apparatus, vehicle, and camera posture estimation method
WO2011090163A1 (en) Parameter determination device, parameter determination system, parameter determination method, and recording medium
KR102554594B1 (en) Wide area surround view monitoring apparatus for vehicle and control method thereof
CN108886606B (en) Mounting angle detection device, mounting angle calibration device, and mounting angle detection method for in-vehicle camera
JP6744236B2 (en) Image display
WO2015029443A1 (en) Turning angle correction method, turning angle correction device, image-capturing device, and turning angle correction system
CN107249934B (en) Method and device for displaying vehicle surrounding environment without distortion
JP2010018201A (en) Driver assistant device, driver assistant method, and driver assistant processing program
KR102057021B1 (en) Panel transformation
JP6393653B2 (en) Vehicle visual recognition device
JP2013187562A (en) Posterior sight support device for vehicle
JP2010033106A (en) Driver support device, driver support method, and driver support processing program
JP7000383B2 (en) Image processing device and image processing method
CN110378836B (en) Method, system and equipment for acquiring 3D information of object
KR102653816B1 (en) Method for representing an environmental region of a motor vehicle with virtual, elongated distance markers in an image, computer program product as well as display system
KR102124298B1 (en) Rear Cross Traffic-Quick Look
JP6669182B2 (en) Occupant monitoring device
CN109345591A (en) A kind of vehicle itself attitude detecting method and device
JP6450530B2 (en) In-vehicle camera mounting angle adjustment processing, mounting angle detection device
WO2016042733A1 (en) Electronic mirror device
JP4501708B2 (en) Driver's face orientation determination device
KR20160123411A (en) Camera apparatus for vehicle, calibration system and method thereof
JP2018107573A (en) Visual confirmation device for vehicle

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application