KR20130115717A - Vehicle installed camera extrinsic parameter estimation method and apparatus, and calibration plate using thereof - Google Patents
Vehicle installed camera extrinsic parameter estimation method and apparatus, and calibration plate using thereof Download PDFInfo
- Publication number
- KR20130115717A KR20130115717A KR1020120038284A KR20120038284A KR20130115717A KR 20130115717 A KR20130115717 A KR 20130115717A KR 1020120038284 A KR1020120038284 A KR 1020120038284A KR 20120038284 A KR20120038284 A KR 20120038284A KR 20130115717 A KR20130115717 A KR 20130115717A
- Authority
- KR
- South Korea
- Prior art keywords
- camera
- triangle
- pattern
- vehicle
- patterns
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000012937 correction Methods 0.000 abstract description 5
- 230000002093 peripheral effect Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 8
- 238000009434 installation Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/101—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using cameras with adjustable capturing direction
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Mathematical Physics (AREA)
- Transportation (AREA)
- Closed-Circuit Television Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
본 발명은 차량에 설치된 카메라 외부 파라미터 추정 방법 및 장치, 그리고에 관한 그에 사용되는 교정판에 관한 것으로 보다 자세하게는, 삼각형 패턴을 이용하여 차량에 설치된 카메라의 외부 파라미터를 추정하는 방법 및 장치, 그리고 그에 사용되는 교정판에 관한 것이다.The present invention relates to a method and apparatus for estimating camera external parameters installed in a vehicle, and to a calibration plate used therein, and more particularly, to a method and apparatus for estimating external parameters of a camera installed in a vehicle using a triangular pattern. It relates to the calibration plate used.
최근 자동차 산업의 발달로 인하여 1가구 1자동차 시대라고 할 정도로 자동차의 보급은 상용화되었고, 차량의 안전도 향상과 운전자의 편의를 도모하기 위해 다양한 첨단 전자 기술이 자동차에 적용되고 있다.Due to the recent development of the automobile industry, the spread of automobiles has been commercialized to the extent that it is one household and one automobile age. Various advanced electronic technologies are applied to automobiles in order to improve the safety of the vehicles and to provide the convenience of the driver.
이러한 첨단 전자 기술 중 자동차의 주변 환경을 촬영하여 표시함으로써 운전자가 자동차의 주변 환경을 육안을 통해 편리하게 확인할 수 있는 차량 주변 영상 표시 시스템(Around View Monitoring, AVM)이 있다. 차량 주변 영상 표시 시스템은 자동차의 전방, 후방, 좌측 및 우측에 각각 설치된 카메라를 통해 주변 환경을 촬영하고, 촬영된 영상을 기초로 중복 영역을 자연스럽게 보이도록 보정 처리하여 자동차의 주변 환경을 화면에 표시한다. 이에 따라 운전자는 표시된 주변 환경을 통해 자동차의 주변 상황을 정확하게 인식할 수 있고, 사이드 미러나 백 미러를 보지 않고도 편리하게 주차를 할 수 있다.Among these advanced electronic technologies, there is Around View Monitoring (AVM), which enables the driver to easily check the surrounding environment of the vehicle through the naked eye by photographing and displaying the surrounding environment of the vehicle. The vehicle surroundings image display system captures the surrounding environment through a camera installed in each of the front, rear, left and right sides of the vehicle, corrects the overlapping area to look natural based on the captured image, do. Accordingly, the driver can accurately recognize the surroundings of the vehicle through the displayed surrounding environment, and can conveniently park the vehicle without viewing the side mirrors or the rearview mirror.
한편 차량 주변 영상 시스템에서 서로 다른 카메라에서 촬영된 영상을 하나의 화면에 자연스럽게 표시하거나, 특히 3D 영상으로 구현하기 위해서는 전방, 후방, 좌측 및 우측에 각각 설치된 카메라의 위치 및 자세, 즉 카메라 외부 파라미터를 알아야 한다.On the other hand, in the vehicle surroundings imaging system, in order to display the images photographed by different cameras on a single screen naturally, or in particular to realize 3D images, the position and attitude of the cameras installed on the front, rear, left and right sides, You should know.
종래에는 격자 무늬의 사각형 패턴을 차량으로부터 정해진 위치에 설치하고 촬영된 영상을 기초로 카메라 외부 파라미터를 추정하는 방법이 제시되고 있으나, 이러한 방법에서는 격자 무늬 사각형 패턴과 차량이 미리 정해진 위치에 정확하게 놓이도록 조정하는 번거로운 절차가 필요하였다. 그리고 격자 무늬의 사각형 패턴은 처리해야 할 제어점의 개수가 많아서 카메라 외부 파라미터를 추정 프로세스에 많은 부하가 소요되는 문제가 있었다.Conventionally, a method has been proposed in which a rectangular pattern of lattice pattern is set at a predetermined position from a vehicle and a camera external parameter is estimated based on the photographed image. In this method, however, the lattice pattern and the vehicle are accurately positioned at predetermined positions A cumbersome procedure to adjust was required. In addition, since the number of control points to be processed is large in the square pattern of the lattice pattern, there is a problem that a lot of load is required to estimate the camera external parameter.
따라서 본 발명이 해결하고자 하는 과제는 삼각형 패턴을 이용하여 차량에 설치된 카메라의 외부 파라미터를 추정하는 방법 및 장치, 그리고 그에 사용되는 교정판을 제공하는 것이다.Accordingly, an object of the present invention is to provide a method and apparatus for estimating external parameters of a camera installed in a vehicle using a triangle pattern, and a calibration plate used therefor.
이러한 기술적 과제를 해결하기 위한 본 발명의 실시예에 따른 카메라 외부 파라미터 추정 방법은, 차량에 설치된 복수 개의 카메라가, 상기 차량 전방의 지면에 위치한 제1 교정판에 표시된 제1 및 제2 삼각형 패턴과 상기 차량 후방의 지면에 위치한 제2 교정판에 표시된 제3 및 제4 삼각형 패턴 중에서 2개의 삼각형 패턴을 포함하는 영상을 각각 촬영하는 단계, 상기 복수 개의 카메라에 의해 촬영된 영상에 포함된 2개의 삼각형 패턴의 변의 길이를 이용하여 상기 복수 개의 카메라 각각의 틸트 각도, 롤 각도 및 상기 지면에서의 높이에 대응하는 제2 위치 좌표값을 추정하는 단계를 포함한다.In accordance with another aspect of the present invention, a camera external parameter estimation method includes a plurality of cameras installed in a vehicle, including first and second triangle patterns displayed on a first calibration plate located on the ground in front of the vehicle. Photographing an image including two triangular patterns among the third and fourth triangular patterns displayed on the second calibration plate located on the ground behind the vehicle; two triangles included in the images photographed by the plurality of cameras Estimating a second position coordinate value corresponding to the tilt angle, the roll angle, and the height of the ground of each of the plurality of cameras using the length of the sides of the pattern.
상기 복수 개의 카메라는 상기 차량의 전방, 우측, 후방 및 좌측에 각각 설치되는 전방 카메라, 우측 카메라, 후방 카메라 및 좌측 카메라를 포함하고, 상기 제1 삼각형 패턴은 상기 차량의 전방 좌측, 상기 제2 삼각형 패턴은 상기 차량의 전방 우측, 상기 제3 삼각형 패턴은 상기 차량의 후방 우측, 상기 제4 삼각형 패턴은 후방 좌측에 위치하고, 상기 제1 및 제2 삼각형 패턴의 밑변은 서로 평행하게 상기 차량 전방을 향하도록 상기 제1 교정판에 표시되고, 상기 제3 및 제4 삼각형 패턴의 밑변은 서로 평행하게 상기 차량 후방을 향하도록 상기 제2 교정판에 표시될 수 있다.The plurality of cameras includes a front camera, a right camera, a rear camera, and a left camera respectively installed at the front, right, rear, and left sides of the vehicle, and the first triangle pattern is a front left side of the vehicle and the second triangle. The pattern is located at the front right side of the vehicle, the third triangle pattern is located at the rear right side of the vehicle, and the fourth triangle pattern is located at the rear left side, and the bottom sides of the first and second triangle patterns face the vehicle front in parallel with each other. The first calibration plate may be displayed on the first calibration plate, and the bottom sides of the third and fourth triangle patterns may be displayed on the second calibration plate to face the rear of the vehicle in parallel with each other.
상기 제1 및 제2 교정판 중앙에 중심 패턴이 표시되고, 상기 제1 내지 제4 삼각형 패턴은 소정 폭을 가지는 정삼각형 패턴이며, 상기 중심 패턴은 + 자 모양이고, 상기 제1 및 제2 교정판은 흰색이고, 상기 제1 내지 제4 삼각형 패턴과 상기 중심 패턴은 검정색일 수 있다.A center pattern is displayed at the center of the first and second calibration plates, and the first to fourth triangle patterns are equilateral triangle patterns having a predetermined width, and the center patterns are + -shaped, and the first and second calibration plates are Is white and the first to fourth triangle patterns and the center pattern may be black.
상기 복수 개의 카메라 각각에 대해 틸트 각도, 롤 각도 및 제1 위치 좌표값을 추정하는 단계는, 상기 전방 카메라에 의해 촬영된 영상에 포함된 제1 및 제2 삼각형 패턴에서 각각 3개씩 6개의 정점(頂點)을 추출하는 단계, 상기 전방 카메라의 틸트 각도, 롤 각도 및 제1 위치 좌표값을 변화시키면서 상기 추출된 6개의 정점의 좌표를 세계 좌표로 변환하는 단계, 상기 변환된 세계 좌표를 이용하여 상기 제1 및 제2 삼각형 패턴의 변의 길이를 구하는 단계, 그리고 상기 제1 및 제2 삼각형 패턴의 실제 길이와 상기 구해진 제1 및 제2 삼각형 패턴의 변의 길이의 차이를 최소화하는 틸트 각도, 롤 각도 및 제1 위치 좌표값을 상기 전방 카메라의 틸트 각도, 롤 각도 및 제1 위치 좌표값으로 추정하는 단계를 포함할 수 있다.The estimating of the tilt angle, the roll angle and the first position coordinate value for each of the plurality of cameras may include six vertices (three vertices each of three in the first and second triangle patterns included in the image photographed by the front camera). Iv) extracting, converting the extracted coordinates of the six vertices into world coordinates while changing the tilt angle, roll angle, and first position coordinate value of the front camera, using the converted world coordinates Obtaining the lengths of the sides of the first and second triangle patterns, and the tilt angle, the roll angle, and minimizing the difference between the actual lengths of the first and second triangle patterns and the lengths of the sides of the obtained first and second triangle patterns; And estimating a first position coordinate value as a tilt angle, a roll angle, and a first position coordinate value of the front camera.
상기 방법은, 상기 제1 삼각형 패턴에 대해 상기 전방 카메라에서 촬영된 영상에서 추출된 3개의 정점(頂點)과 상기 좌측 카메라에서 촬영된 영상에서 추출된 3개의 정점의 대응점들 사이의 거리를 이용하여 구해지는 제1 위치 오차, 상기 제2 삼각형 패턴에 대해 상기 전방 카메라에서 촬영된 영상에서 추출된 3개의 정점과 상기 우측 카메라에서 촬영된 영상에서 추출된 3개의 정점의 대응점들 사이의 거리를 이용하여 구해지는 제2 위치 오차, 상기 제3 삼각형 패턴에 대해 상기 후방 카메라에서 촬영된 영상에서 추출된 3개의 정점과 상기 우측 카메라에서 촬영된 영상에서 추출된 3개의 정점의 대응점들 사이의 거리를 이용하여 구해지는 제3 위치 오차, 그리고 상기 제4 삼각형 패턴에 대해 상기 후방 카메라에서 촬영된 영상에서 추출된 3개의 정점과 상기 좌측 카메라에서 촬영된 영상에서 추출된 3개의 정점의 대응점들 사이의 거리를 이용하여 구해지는 제4 위치 오차를 구하는 단계, 그리고 상기 제1 내지 제4 위치 오차를 이용하여 상기 전방 카메라, 상기 우측 카메라, 상기 후방 카메라 및 상기 좌측 카메라에 대한 팬 각도, 상기 지면과 평행한 가상 평면에서의 상기 각 카메라의 위치에 대응하는 제2 위치 좌표값 및 제3 위치 좌표값을 추정하는 단계를 더 포함할 수 있다.The method may be configured by using a distance between three vertices extracted from an image photographed by the front camera and three corresponding vertices extracted from an image photographed by the left camera with respect to the first triangle pattern. Using the first position error, the distance between the three vertices extracted from the image captured by the front camera and the corresponding points of the three vertices extracted from the image captured by the right camera, for the second triangle pattern Using the second position error obtained, the distance between the three vertices extracted from the image photographed by the rear camera and the corresponding points of the three vertices extracted from the image photographed by the right camera for the third triangular pattern Three vertices and images extracted from the image photographed by the rear camera with respect to the third position error obtained and the fourth triangle pattern. Obtaining a fourth position error obtained by using a distance between corresponding points of three vertices extracted from an image photographed by a left camera, and using the first to fourth position errors, the front camera and the right camera And estimating a pan angle with respect to the rear camera and the left camera, a second position coordinate value and a third position coordinate value corresponding to the position of each camera in a virtual plane parallel to the ground. have.
상기 제1 내지 제4 위치 오차를 최소화하는 값으로 상기 전방 카메라, 상기 우측 카메라, 상기 후방 카메라 및 상기 좌측 카메라의 팬 각도, 제2 위치 좌표값 및 제3 위치 좌표값이 추정될 수 있다.A pan angle, a second position coordinate value, and a third position coordinate value of the front camera, the right camera, the rear camera, and the left camera may be estimated as values that minimize the first to fourth position errors.
본 발명의 실시예에 따른 카메라 외부 파라미터 추정 장치는, 상기 차량 전방의 지면에 위치한 제1 교정판에 표시된 제1 및 제2 삼각형 패턴과 상기 차량 후방의 지면에 위치한 제2 교정판에 표시된 제3 및 제4 삼각형 패턴 중에서 2개의 삼각형 패턴을 상기 차량에 설치된 복수 개의 카메라가 각각 촬영한 영상을 입력받는 영상 입력부, 상기 복수 개의 카메라에 의해 촬영된 영상에 포함된 2개의 삼각형 패턴의 변의 길이를 이용하여 상기 복수 개의 카메라 각각의 틸트 각도, 롤 각도 및 상기 지면에서의 높이에 대응하는 제2 위치 좌표값을 추정하는 카메라 외부 파라미터 추정부를 포함한다.Camera external parameter estimation apparatus according to an embodiment of the present invention, the first and second triangular pattern displayed on the first calibration plate located on the ground in front of the vehicle and the third calibration plate displayed on the second calibration plate located on the ground behind the vehicle And an image input unit configured to receive an image photographed by each of a plurality of cameras installed in the vehicle, from among a fourth triangle pattern, and a length of sides of two triangle patterns included in images photographed by the plurality of cameras. And an external parameter estimator for estimating a second position coordinate value corresponding to a tilt angle, a roll angle, and a height on the ground of each of the plurality of cameras.
본 발명의 실시예에 따른 교정판은, 중앙에 + 자 모양으로 표시되는 중심 패턴, 그리고 상기 중심 패턴을 기준으로 서로 대칭되며 일정한 폭을 가지는 정삼각형으로 밑변이 서로 평행하게 표시되는 제1 및 제2 삼각형 패턴을 포함하고, 상기 중심 패턴과 상기 제1 및 제2 삼각형 패턴은 검정색으로 흰색 배경에 표시된다.The calibration plate according to the embodiment of the present invention includes a center pattern displayed in the center in a + shape, and first and second symmetrical bases having a constant width and symmetrical to each other based on the center pattern. The triangular pattern includes the central pattern and the first and second triangular patterns in black on a white background.
상기 제1 및 제2 삼각형 패턴의 외변의 길이는 100cm, 내변의 길이는 50cm이며, 상기 중심 패턴으로부터 각각 100cm 떨어지게 위치하며, 상기 중심 패턴은 가로 세로 길이가 30cm인 +자 모양일 수 있다.The length of the outer side of the first and second triangle pattern is 100cm, the length of the inner side is 50cm, and are located 100cm away from the center pattern, respectively, the center pattern may be a + -shaped with a vertical length of 30cm.
본 발명에 의하면, 차량에 설치된 카메라의 외부 파라미터를 정확하게 추정할 수 있다. 아울러 교정 패턴으로 삼각형 패턴을 이용함으로써 차량과 교정 패턴이 미리 정해진 위치에 반드시 정확하게 놓이도록 조정할 필요가 없어 비교적 간편하게 카메라 외부 파라미터를 추정할 수 있는 장점이 있다.According to the present invention, the external parameters of the camera installed in the vehicle can be accurately estimated. In addition, by using the triangular pattern as the calibration pattern, it is not necessary to adjust the calibration pattern so that the vehicle and the calibration pattern are accurately located at predetermined positions, which is advantageous in that the camera external parameters can be estimated relatively easily.
도 1은 본 발명의 실시예에 따른 외부 파라미터 추정 장치를 포함하는 차량 주변 영상 표시 시스템을 설명하기 위한 블록도이다.
도 2는 본 발명의 실시예에 따른 카메라의 설치 위치 및 삼각형 패턴이 표시된 교정판의 배치를 설명하기 위한 개략도이다.
도 3은 도 2의 교정판을 보다 자세히 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 차량 설치 카메라의 외부 파라미터를 설명하기 위해 제공되는 개략도이다.
도 5는 본 발명의 실시예에 따른 삼각형 패턴이 표시된 보정판을 포함한 전방 카메라 입력 영상의 일 예를 예시한 도면이다.
도 6은 본 발명의 실시예에 따른 카메라 외부 파라미터를 추정하는 방법을 설명하기 위해 제공되는 흐름도이다.
도 7은 본 발명의 실시예에 따른 전방, 후방, 좌측, 우측 카메라에서 촬영된 영상에서 각각 추출된 정점을 함께 나타낸 도면이다.
도 8은 본 발명의 실시예에 따른 카메라 외부 파라미터 중에서 팬 각도, X좌표 및 Y 좌표를 추정하는 방법을 설명하기 위해 제공되는 흐름도이다.1 is a block diagram for explaining a vehicle peripheral image display system including an external parameter estimating apparatus according to an embodiment of the present invention.
2 is a schematic view for explaining an arrangement of a calibration plate on which a camera is installed and a triangular pattern according to an embodiment of the present invention.
3 is a view illustrating the calibration plate of FIG. 2 in more detail.
4 is a schematic diagram provided to explain external parameters of a vehicular installation camera according to an embodiment of the present invention.
5 is a diagram illustrating an example of a front camera input image including a correction plate displaying a triangular pattern according to an embodiment of the present invention.
6 is a flowchart provided to explain a method of estimating a camera external parameter according to an embodiment of the present invention.
FIG. 7 is a diagram illustrating vertices extracted from images captured by front, rear, left, and right cameras according to an exemplary embodiment of the present invention.
8 is a flowchart provided to explain a method of estimating a pan angle, an X coordinate, and a Y coordinate among camera external parameters according to an embodiment of the present invention.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention.
도 1은 본 발명의 실시예에 따른 외부 파라미터 추정 장치를 포함하는 차량 주변 영상 표시 시스템을 설명하기 위한 블록도이다.1 is a block diagram for explaining a vehicle peripheral image display system including an external parameter estimating apparatus according to an embodiment of the present invention.
도 1을 참고하면, 차량 주변 영상 표시 시스템은 4개의 카메라(210, 220, 230, 240), 주변 영상 생성 장치(300) 및 표시 장치(400)를 포함하며, 외부 파라미터 추정 장치(100)를 더 포함할 수 있다. 물론, 주변 영상 생성 장치(300)와 외부 파라미터 추정 장치(100)를 일체의 형태로 구현할 수 있다.1, the vehicle peripheral image display system includes four
차량 주변 영상 표시 시스템은 차량에 설치된 4개의 카메라(210, 220, 230, 240)를 통해 촬영된 영상을 처리하여 생성된 주변 영상을 화면 상에 표시함으로써, 차량의 주변 상황을 운전자가 확인할 수 있도록 하는 시스템이다. 차량 주변 영상 표시 시스템은 차량 주변 영상을 가상 시점에서 바라본 3D 영상으로 제공할 수 있다. 이를 위해 차량에 설치된 4개의 카메라(210, 220, 230, 240)의 자세 및 위치에 대한 외부 파라미터를 알아야 한다.The vehicle peripheral image display system processes images photographed through the four
4개의 카메라(210, 220, 230, 240)는 각각 차량의 전방, 후방, 좌측 및 우측에 설치되고, 광각 렌즈, 어안 렌즈 등과 같이 화각이 큰 렌즈를 구비할 수 있다. 카메라(210, 220, 230, 240)는 렌즈를 통해 3차원의 피사체를 2차원의 영상으로 촬영하고, 촬영된 영상을 외부 파라미터 추정 장치(100), 주변 영상 생성 장치(300) 등에 제공할 수 있다.Each of the four
외부 파라미터 추정 장치(100)는 4개의 카메라(210, 220, 230, 240)에서 제공받은 영상에서 삼각형 패턴을 이루는 정점(頂點)을 추출하고, 추출된 정점을 이용하여 카메라(210, 220, 230, 240)의 외부 파라미터를 추정할 수 있다. 외부 파라미터 추정 방법에 대해서는 아래에서 자세히 설명한다.The external
주변 영상 생성 장치(300)는 4개의 카메라(210, 220, 230, 240)에서 제공받은 영상을 이용하여, 차량 주행 상황 또는 사용자 선택에 따라 정해지는 소정의 가상 시점을 가지는 가상 카메라에 대한 가상 시점 영상을 생성하여 표시 장치(400)에 출력할 수 있다. 이를 위해 주변 영상 생성 장치(300)는 카메라(210, 220, 230, 240)에서 제공받은 입력 영상을 3D 모델 면에 맵핑시켜서 텍스처 맵(texture map)을 구할 수 있는데, 이는 외부 파라미터 추정 장치(100)에서 구해진 카메라 외부 파라미터를 기초로 구해지는 카메라별 프로젝션 모델이 이용될 수 있다. 그리고 입력 영상을 3D 모델 면에 맵핑하는 과정에서 서로 다른 카메라에서 촬영된 입력 영상을 자연스럽게 보이도록 하기 위해서 가중 블렌딩(weighted blending) 기법 등이 이용될 수 있다. 그리고 주변 영상 생성 장치(300)는 소정의 가상 시점이 정해지면 해당 가상 시점을 가지는 가상 카메라의 프로젝션 모델을 이용하여 텍스처 맵으로부터 가상 시점 영상을 생성하여 출력할 수 있다.The peripheral
표시 장치(400)는 생성된 주변 영상을 액정 표시 장치(Liquid Crystal Display, LCD), 유기 전기 발광 다이오드(Organic Light Emitting Diode, OLED) 등의 표시 모듈에 표시한다. 물론, 차량 내에 설치된 자동 항법 장치(도시하지 않음) 등이 주변 영상을 제공받아 화면에 표시할 수도 있다.The
한편 4개의 카메라(210, 220, 230, 240)의 렌즈 왜곡 등을 보정하는 작업 및 각 카메라별 프로젝션 모델을 구하는 작업 등이 필요할 수 있는데, 이는 일반적으로 알려진 공지된 기술을 이용할 수 있으므로 자세한 설명은 생략한다.On the other hand, it may be necessary to correct the lens distortion of the four
그러면 본 발명의 일 실시예에 따른 삼각형 패턴을 이용하여 차량에 설치된 카메라의 외부 파라미터를 추정하는 방법에 대해 자세히 설명한다.A method of estimating an external parameter of a camera installed in a vehicle using the triangular pattern according to an embodiment of the present invention will now be described in detail.
도 2는 본 발명의 실시예에 따른 카메라의 설치 위치 및 삼각형 패턴이 표시된 교정판의 배치를 설명하기 위한 개략도이다.2 is a schematic view for explaining an arrangement of a calibration plate on which a camera is installed and a triangular pattern according to an embodiment of the present invention.
도 1 및 도 2를 참고하면, 차량(V)의 전방, 후방, 좌측 및 우측에 각각 카메라(210, 220, 230, 240)가 설치될 수 있다. 카메라(210, 220, 230, 240)가 설치되는 위치를 보다 상세하게 설명하면, 전방에 설치된 카메라(210)는 차량(V)의 본 넷 중심에 설치되고, 좌측 및 우측에 설치된 카메라(230, 240)는 각각 차량(V)의 양 사이드 미러의 가장 자리 또는 아래 쪽에 위치하도록 설치될 수 있다. 또한 후방에 설치된 카메라(220)는 후방 범퍼 위쪽의 중앙에 설치될 수 있다. 카메라의 높이와 각도에 의해 촬영되는 영상의 스케일, 화질 등이 상이하기 때문에 전방 및 후방에 설치된 카메라(210, 220)의 높이는 서로 동일하게 하는 것이 바람직하며, 마찬가지로 좌측 및 우측에 설치된 카메라(230, 240)의 높이도 서로 동일하게 하는 것이 바람직하다. 이와 같이 카메라(210, 220, 230, 240)의 설치 높이를 동일하게 함으로써 주변 영상 생성 시 중복 영역에서 차선 폭의 넓이가 동일하게 표현되지 않고 주변 사물의 크기가 이질적으로 나타나는 현상을 최소화시킬 수 있다. 또한, 좌측 및 우측에 설치된 카메라(230, 240)는 지면 방향의 수직선을 기준으로 170°이상이 촬영될 수 있도록 설치된다. 여기서 각 카메라(210, 220, 230, 240)의 설치 위치는 차량의 종류에 따라 상이할 수 있고, 차량의 디자인에 의해 설치 상의 제약이 발생할 수도 있다.Referring to FIGS. 1 and 2,
일반적으로 광각 카메라는 렌즈 주변부의 광량이 부족하여 화질의 저하가 발생하고, 렌즈의 중심부보다 주변부에 왜곡이 많이 발생할 수 있다. 또한, 카메라를 통해 촬영된 영상을 시점 변환할 때 주변부의 영상은 화질이 심하게 저하된다. 따라서 카메라 렌즈의 중심부 영역에 형성된 영상을 사용하기 위해 전방 및 후방에 설치된 카메라(210, 220)는 광축이 지평선과 평행하도록, 좌측 및 우측에 설치된 카메라(230, 240)는 광축이 지면과 수직이 되도록 설치될 수 있다. 또한, 차량(V)의 전후방 및 좌우측면으로부터 약 1.5m 떨어진 범위까지 촬영될 수 있도록 카메라(210, 220, 230, 240)의 설치 높이를 결정하고, 이때 카메라(210, 220, 230, 240)는 지면에 대한 수직축으로부터 약 30° 내지 60°정도까지 촬영될 수 있도록 설치될 수 있다. 위에서 설명한 카메라의 설치 위치는 바람직한 예에 대해 설명한 것으로 본 발명에 따른 카메라 외부 파라미터 추정 장치(100)는 반드시 카메라(210, 220, 230, 240)가 해당 위치에 정확하게 설치되어야 하는 것은 아니다.Generally, the wide angle camera is insufficient in the amount of light around the lens, resulting in deterioration in image quality and distortion in the periphery of the lens. In addition, when the image captured through the camera is converted into a viewpoint, the image quality of the peripheral portion is seriously degraded. Therefore, the
한편 교정판(PL1, PL2)은 각각 삼각형 패턴(TP1, TP2, TP3, TP4)이 2개씩 양 측에 위치하고, 중심부에 중심 패턴(CP1, CP2)이 위치하도록 구현될 수 있다. 동일한 교정판(PL1)에 표시되는 삼각형 패턴(TP1, TP2)은 서로 밑변이 평행하게 표시되는 것이 바람직하다. 삼각형 패턴(TP3, TP4)도 마찬가지로 교정판(PL2)에 서로 밑변이 평행하게 표시될 수 있다. 중심 패턴(CP1, CP2)은 도 2에 예시한 것과 같이 ‘+’자 형태로 표시될 수 있으나, 이에 한정되지는 않으며 ‘I’자 형태나,‘|’자 형태로 표시될 수도 있다.The calibration plates PL1 and PL2 may be implemented such that two triangular patterns TP1, TP2, TP3, and TP4 are located at both sides, and the center patterns CP1 and CP2 are located at the center thereof. The triangular patterns TP1 and TP2 displayed on the same calibration plate PL1 are preferably displayed in parallel with each other. Similarly, the triangular patterns TP3 and TP4 may be displayed on the calibration plate PL2 in parallel with each other. The center patterns CP1 and CP2 may be displayed in a '+' shape as illustrated in FIG. 2. However, the center patterns CP1 and CP2 may be displayed in an 'I' shape or a '|' shape.
한편 교정판(PL1, PL2)은 카메라(210, 220, 230, 240)에서 촬영된 각 영상에 삼각형 패턴(TP1, TP2, TP3, TP4)이 2개씩 포함되도록 차량(V)의 전방과 후방에 일정 거리를 두고 하나씩 배치될 수 있다. 그리고 삼각형 패턴(TP1, TP2, TP3, TP4)의 밑변이 차량(V)의 전방과 후방을 향하도록 배치하는 것이 바람직하나, 반드시 이에 한정되는 것은 아니다.On the other hand, the calibration plates PL1 and PL2 are disposed at the front and rear of the vehicle V such that two triangle patterns TP1, TP2, TP3, and TP4 are included in each image photographed by the
이에 의해 전방에 설치된 카메라(210)에서 촬영된 영상에는 삼각형 패턴(TP1, TP2)이 포함되고, 후방에 설치된 카메라(220)에서 촬영된 영상에는 삼각형 패턴(TP3, TP4)이 포함되며, 좌측에 설치된 카메라(230)에서 촬영된 영상에는 삼각형 패턴(TP1, TP4)이 포함되고, 우측에 설치된 카메라(240)에서 촬영된 영상에는 삼각형 패턴(TP2, TP3)이 포함되도록 차량(V)과 일정 거리를 두고 교정판(PL1, PL2)이 설치될 수 있다. 교정판(PL1, PL2)은 대략적으로 차량(V)의 전방과 후방에 각각 일정 거리 떨어져서 설치되면 되고, 반드시 정확한 미리 정해진 위치에 설치되어야 하는 것은 아니다. 승용차의 경우 차량(V)의 전후방으로부터 대략 30~50cm 떨어져서 교정판(PL1, PL2)이 설치되는 것이 바람직하다. 한편 교정판(PL1, PL2)은 차량(V)이 위치한 지면에 평행하게 놓여야 한다.As a result, the image photographed by the
뒤에서 자세히 설명하겠으나 교정판(PL1, PL2)은 중심 패턴(CP1, CP2)을 이용하여 되도록이면 중심부가 차량(V)의 진행 방향 축에 대해 위치하도록 놓이는 것이 바람직하다.As will be described in detail later, it is preferable that the calibration plates PL1 and PL2 are positioned so that the central part is located with respect to the axis of travel direction of the vehicle V using the center patterns CP1 and CP2.
도 3을 참고하여 교정판(PL1, PL2)에 표시된 삼각형 패턴(TP1, TP2, TP3, TP4)과 중심 패턴(CP1, CP2)에 대해 보다 자세히 설명한다.Referring to FIG. 3, the triangular patterns TP1, TP2, TP3, and TP4 and the center patterns CP1 and CP2 displayed on the calibration plates PL1 and PL2 will be described in more detail.
도 3은 도 2의 교정판을 보다 자세히 나타낸 도면이다.3 is a view illustrating the calibration plate of FIG. 2 in more detail.
도 3을 참고하면, 삼각형 패턴(TP1, TP2, TP3, TP4)은 도 3에 예시한 것과 같이 흰색의 교정판(PL1, PL2)에 일정한 폭을 가지는 검정색의 정삼각형 패턴으로 표시될 수 있는데, 테두리 내부의 흰색으로 표시되는 삼각형의 크기가 외부 삼각형의 크기의 0.4 ~ 0.8 이 되도록 구현할 수 있다. 이는 주변의 유사한 삼각 패턴으로부터 자동으로 교정판(PL1, PL2)에 표시된 삼각형 패턴을 자동으로 정확하게 추출하기 위한 것이다. Referring to FIG. 3, the triangular patterns TP1, TP2, TP3, and TP4 may be displayed as black equilateral triangle patterns having a predetermined width on the white calibration plates PL1 and PL2, as illustrated in FIG. 3. It can be implemented so that the size of the triangle represented by the inner white is 0.4 to 0.8 of the size of the outer triangle. This is for automatically and accurately extracting the triangular pattern displayed on the calibration plates PL1 and PL2 from the surrounding similar triangular patterns.
승용차를 기준으로 삼각형 패턴(TP1, TP2, TP3, TP4)의 외변의 길이(L1)는 100cm, 내변의 길이(L2)는 50cm로 하고, 교정판(PL1, PL2)의 중심부에 가까운 정점(頂點)(P1, P4)이 교정판(PL1, PL2)의 중심축으로부터 각각 100cm 떨어지게 위치하도록 삼각형 패턴(TP1, TP2, TP3, TP4)이 교정판(PL1, PL2)에 위치시키는 것이 바람직하다. 중심 패턴(CP1, CP2)은 가로 세로 길이가 30cm인‘+’자 형태로 교정판(PL1, PL2)의 정중앙에 표시하는 것이 바람직하다.The length L1 of the outer side of the triangular patterns TP1, TP2, TP3, and TP4 is 100 cm and the length of the inner side L2 of 50 cm, and the vertex close to the center of the calibration plates PL1 and PL2. It is preferable that the triangle patterns TP1, TP2, TP3, and TP4 be positioned on the calibration plates PL1 and PL2 such that P1 and P4 are located 100 cm apart from the central axes of the calibration plates PL1 and PL2, respectively. The center patterns CP1 and CP2 are preferably displayed at the center of the calibration plates PL1 and PL2 in a '+' shape having a horizontal length of 30 cm.
도 4는 본 발명의 실시예에 따른 차량 설치 카메라의 외부 파라미터를 설명하기 위해 제공되는 개략도이다.4 is a schematic diagram provided to explain external parameters of a vehicular installation camera according to an embodiment of the present invention.
도 4를 참고하면, 차량(V)에 설치된 카메라(210, 220, 230, 240)의 외부 파라미터는 3차원 공간 좌표(x,y,z)와, 카메라(210, 220, 230, 240)의 팬, 틸트, 롤 각도(θ, ψ, Φ)를 포함할 수 있다.Referring to FIG. 4, external parameters of the
3차원 공간 좌표(x,y,z) 중에서, 좌표(z)는 차량(V)이 위치한 지면(G)으로부터의 높이에 대응될 수 있으며, 도 4(a)에 예시한 것과 같이 전방 카메라(210), 좌측 카메라(230), 후방 카메라(220)의 높이는 각각 zF, zL, zB가 될 수 있다. 그리고 좌표(x)와 좌표(y)는 차량(V)이 위치한 지면(G)에 평행한 가상 평면 상에서의 위치에 대응될 수 있으며, 도 4(b)에 예시한 것과 같이 차량(V)의 중심부(O)를 좌표 기준으로 할 수 있다. Of the three-dimensional spatial coordinates (x, y, z), the coordinate z may correspond to the height from the ground (G) where the vehicle V is located, and as shown in FIG. 210, the heights of the
한편 팬 각도(θ)는 카메라(210, 220, 230, 240)의 헤드 방향이 차량(V)의 진행방향과 이루는 각도로 정의될 수 있고, 도 4(b)에 예시한 것과 같이 카메라(210, 220, 230, 240)의 팬 각도는 각각 θF, θB, θL, θR의 값을 가질 수 있다. Meanwhile, the fan angle θ may be defined as an angle at which the head directions of the
틸트 각도(ψ)는 지면(G)과 이루는 각도로 정의될 수 있으며, 도 4(a)에 예시한 것과 같이 전방 카메라(210), 후방 카메라(220)의 틸트 각도는 각각 ψF, ψB의 값을 가질 수 있다.The tilt angle ψ may be defined as an angle formed with the ground G. As illustrated in FIG. 4A, the tilt angles of the
롤 각도(Φ)는 카메라 헤드 방향 축을 기준으로 한 카메라(210, 220, 230, 240)의 회전 각도로 정의될 수 있으며, 도 4(a)에 예시한 것과 같이 좌측 카메라(230)의 롤 각도는 ΦL의 값을 가질 수 있다.The roll angle Φ may be defined as the rotation angle of the
도 5는 본 발명의 실시예에 따른 삼각형 패턴이 표시된 교정판을 포함한 전방 카메라 입력 영상의 일 예를 예시한 도면이고, 도 6은 본 발명의 실시예에 따른 카메라 외부 파라미터를 추정하는 방법을 설명하기 위해 제공되는 흐름도이다.5 is a diagram illustrating an example of a front camera input image including a calibration plate displaying a triangular pattern according to an embodiment of the present invention, and FIG. 6 illustrates a method of estimating camera external parameters according to an embodiment of the present invention. Is a flow chart provided for this purpose.
도 5를 참고하면, 전방 카메라(210)에 의해 촬영되어 입력된 영상은 2개의 삼각형 패턴(TP1, TP2)이 포함될 수 있다. 삼각형 패턴(TP1, TP2)이 실제는 변의 길이가 A인 정삼각형이더라도, 전방 카메라(210)의 렌즈 왜곡, 틸트 각도(ψ), 롤 각도(Φ) 및 높이(z)에 의해 입력 영상에서 삼각형 패턴의 변의 길이(a1, a2, a3, a4, a5, a6)는 서로 다르게 된다.Referring to FIG. 5, the image captured and input by the
그런데 전방 카메라(210)에 의한 입력 영상에서 렌즈 왜곡을 미리 알려진 방법으로 보정하고, 차량(V)의 상방에서 지면(G)을 내려다보는 방향(탑뷰)의 가상 시점을 가지는 가상 카메라의 영상으로 변환하면 삼각형 패턴(TP1, TP2)이 변의 길이(a1, a2, a3, a4, a5, a6)는 서로 동일하게 된다.The lens distortion of the input image by the
이를 참고로 전방 카메라(210)에서 입력되는 영상에 대해 아래와 같은 작업을 수행하면 전방 카메라(210)의 틸트 각도(ψ), 롤 각도(Φ) 및 높이(z)를 추정할 수 있다.The tilt angle?, The roll angle? And the height z of the
도 6은 본 발명의 실시예에 따른 카메라 외부 파라미터 중에서 틸트 각도, 롤 각도 및 높이를 추정하는 방법을 설명하기 위해 제공되는 흐름도이다.6 is a flowchart provided to explain a method of estimating tilt angle, roll angle, and height among camera external parameters according to an embodiment of the present invention.
도 6을 참고하면, 먼저 외부 파라미터 추정 장치(100)는 전방 카메라(210)에 의한 입력 영상에 대해 렌즈 왜곡을 보정한다(S510). 이후 전방 카메라(210)에 의해 촬영된 영상에 포함된 삼각형 패턴(TP1, TP2)에서 각각 3개씩 6개의 정점(頂點)(P1, P2, P3, P4, P5, P6)을 추출한다(S520).Referring to FIG. 6, first, the external
다음으로 외부 파라미터 추정 장치(100)는 전방 카메라(210)의 틸트 각도(ψ), 롤 각도(Φ) 및 높이(z)를 변화시키면서 추출된 6개의 정점(P1, P2, P3, P4, P5, P6)의 좌표를 세계 좌표로 변환한다(S530). 여기서 세계 좌표는 임의의 기준점 또는 차량(V)의 중심이 위치한 지면(G) 상의 점(O)을 좌표 기준점으로 할 수 있다.Next, the external
외부 파라미터 추정 장치(100)는 단계(S530)에서 구해지는 6개의 정점(P1, P2, P3, P4, P5, P6)의 세계 좌표를 이용하여 삼각형 패턴(TP1, TP2)의 변의 길이(a1, a2, a3, a4, a5, a6)를 구한다(S540).The external
마지막으로 삼각형 패턴의 실제 변의 길이(A)와 단계(S540)에서 구해지는 삼각형 패턴의 변의 길이(a1, a2, a3, a4, a5, a6)의 차이의 크기를 최소화하는 틸트 각도(ψ), 롤 각도(Φ) 및 높이(z)를 전방 카메라(210)의 틸트 각도(ψF), 롤 각도(ΦF) 및 높이(zF)로 추정할 수 있다(S550). 단계(S550)에서 다음 수학식 1에 의해 구해지는 값, f(ψ, Φ, z)를 최소화하는 틸트 각도(ψF), 롤 각도(ΦF) 및 높이(zF)를 구하면 된다.Finally, the tilt angle (ψ) to minimize the magnitude of the difference between the length (A) of the actual side of the triangle pattern and the length (a1, a2, a3, a4, a5, a6) of the side of the triangle pattern obtained in step S540, The roll angle Φ and the height z may be estimated as the tilt angle φ F , the roll angle Φ F and the height z F of the front camera 210 (S550). The tilt angle? F , the roll angle? F , and the height z F that minimize the value f (?,?, Z) obtained by the following equation 1 can be obtained in step S550.
위에서 설명한 방법과 동일하게 나머지 후방 카메라(220), 우측 카메라(230) 및 좌측 카메라(240)의 틸트 각도(ψ), 롤 각도(Φ) 및 높이(z)를 추정할 수 있다.The tilt angle?, The roll angle? And the height z of the remaining
다음으로 카메라(210, 220, 230, 240)의 위치 좌표(x, y) 및 팬 각도(θ)를 추정하는 방법에 대해 설명한다.Next, a method for estimating the position coordinates (x, y) and the pan angle (?) Of the
도 7은 본 발명의 실시예에 따른 전방, 후방, 좌측, 우측 카메라에서 촬영된 영상에서 각각 추출된 정점을 함께 나타낸 도면이다.FIG. 7 is a diagram illustrating vertices extracted from images captured by front, rear, left, and right cameras according to an exemplary embodiment of the present invention.
도 7을 참고하면, 정점(P1F, P2F, P3F)은 전방 좌측 삼각형 패턴(TP1)에 대해 전방 카메라(210)에서 촬영된 영상에서 추출된 3개의 정점이며, 정점(P4F, P5F, P6F)은 전방 우측 삼각형 패턴(TP2)에 대해 전방 카메라(210)에서 촬영된 영상에서 추출된 3개의 정점이다. 그리고 정점(P4R, P5R P6R)은 전방 우측 삼각형 패턴(TP2)에 대해 우측 카메라(230)에서 촬영된 영상에서 추출된 3개의 정점이며, 정점(P7R, P8R, P9R)은 후방 우측 삼각형 패턴(TP3)에 대해 우측 카메라(230)에서 촬영된 영상에서 추출된 3개의 정점이다. 그리고 정점(P7B, P8B P9B)은 후방 우측 삼각형 패턴(TP3)에 대해 후방 카메라(220)에서 촬영된 영상에서 추출된 3개의 정점이며, 정점(P10B, P11B, P12B)은 후방 좌측 삼각형 패턴(TP4)에 대해 후방 카메라(220)에서 촬영된 영상에서 추출된 3개의 정점이다. 마지막으로 정점(P10L, P11L, P12L)은 후방 좌측 삼각형 패턴(TP4)에 대해 좌측 카메라(230)에서 촬영된 영상에서 추출된 3개의 정점이고, 정점(P1L, P2L, P3L)은 전방 좌측 삼각형 패턴(TP1)에 대해 좌측 카메라(240)에서 촬영된 영상에서 추출된 3개의 정점이다.Referring to FIG. 7, the vertices P1 F , P2 F and P3 F are three vertices extracted from the image photographed by the
도 8은 본 발명의 실시예에 따른 카메라 외부 파라미터 중에서 팬 각도, X좌표 및 Y 좌표를 추정하는 방법을 설명하기 위해 제공되는 흐름도이다.8 is a flowchart provided to explain a method of estimating a pan angle, an X coordinate, and a Y coordinate among camera external parameters according to an embodiment of the present invention.
도 8을 참고하면, 먼저 각 카메라(210, 220, 230, 240)에서 촬영된 영상에서 렌즈 왜곡 보정 후 추출된 정점들에 대해서 세계 좌표를 구할 수 있다(S710). 단계(S710)에서 카메라(210, 220, 230, 240)의 틸트 각도(ψ), 롤 각도(Φ) 및 높이(z)는 앞에서 설명한 방법에 의해 추정된 값을 이용하고, 위치 좌표(x, y) 및 팬 각도(θ)는 미리 정해진 초기값으로 설정한다. 예를 들어, 전방 카메라(210)의 팬 각도(θ)는 0°로 설정하고, 좌측 카메라(240)는 90°, 후방 카메라(220)는 180°, 우측 카메라(230)는 270°로 설정할 수 있으며, 위치 좌표(x, y)는 차량 중심(O)을 좌표 기준점으로 하여 카메라(210, 220, 230, 240)가 정확하게 설치된 경우를 고려한 값을 초기값으로 설정할 수 있다. 카메라(210, 220, 230, 240)가 미리 정해진 기준 위치 및 자세로 정확하게 설치된 경우 단계(S710)에서 구해지는 정점(P1F, P2F, P3F)과 정점(P1L, P2L, P3L)의 대응점의 세계 좌표는 서로 일치하여 위치 오차가 없을 것이다. 그러나 실제로는 카메라 장착 과정 또는 운행 과정 등에서 오차가 발생할 수 있으므로 대응점들 사이에 위치 오차가 발생할 수 있다. 여기서 위치 오차는 세계 좌표를 기준으로 대응점들 사이의 거리로 정의할 수 있다.Referring to FIG. 8, first, world coordinates may be obtained for vertices extracted after lens distortion correction from images photographed by the
이후 외부 파라미터 추정 장치(100)는 카메라(210, 220, 230, 240)의 위치 좌표(x, y) 및 팬 각도(θ)를 변화시키면서 대응점들 사이에 위치 오차를 구한다(S720).The external
마지막으로 대응점들 사이의 위치 오차를 최소화하는 값으로 카메라(210, 220, 230, 240)의 위치 좌표(x, y) 및 팬 각도(θ)를 추정할 수 있다(S730). 단계(S730)에서 다음 수학식 2에 의해 구해지는 값, f(θF,θB,θL,θR,xF,xB,xL,xR,yF,yB,yL,yR)를 최소화시키는 위치 좌표(x, y) 및 팬 각도(θ)를 구하면 된다.Finally, the position coordinates (x, y) and fan angle (?) Of the
여기서 Di는 서로 다른 카메라에서 촬영된 영상에서 추출된 정점들 중에서 대응점들 사이의 거리를 의미한다. 예를 들어 D1은 정점(P1F)과 정점(P1L) 사이의 거리를 의미한다.Here, Di is the distance between corresponding points among the vertices extracted from images captured by different cameras. For example, D1 means the distance between the vertex (P1 F ) and the vertex (P1 L ).
이와 같은 방법으로 각 카메라(210, 220, 230, 240)의 상대적인 외부 파라미터를 추정할 수 있으며, 카메라(210, 220, 230, 240) 중에서 하나의 절대적 위치 및 자세를 알면 나머지 카메라들의 절대적 위치 및 자세를 구할 수 있다. 물론 카메라(210, 220, 230, 240) 중에서 하나의 위치를 세계 좌표의 기준점으로 할 경우는 자연스럽게 나머지 카메라들의 절대적 위치 및 자세를 구할 수도 있다.In this way, the relative external parameters of the
앞서 설명한 것과 같이 본 발명에 따른 방법은 카메라(210, 220, 230, 240)의 틸트 각도(ψ), 롤 각도(Φ), 높이(z), 위치 좌표(x, y) 및 팬 각도(θ)를 바꿔가면서 수학식 1 및 수학식 2를 최소화하는 값을 구하는 과정을 통해 카메라(210, 220, 230, 240)의 외부 파라미터를 추정하게 된다. 따라서 교정판(PL1, PL2)의 중심부가 가급적 차량(V)의 진행 방향 축에 위치하게 하고, 삼각형 패턴(TP1, TP2, TP3, TP4)의 밑변이 차량(V)의 전방과 후방을 향하도록 배치할 경우 트라이얼(trial)&에러(error)를 통해 외부 파라미터를 추정하는데 이용되는 미리 정해진 초기값부터 수학식 1 및 수학식 2를 최소화하는 값을 구하는데 필요한 연산량이 줄어들 수 있는 효과가 있다. 물론 반드시 교정판(PL1, PL2)이 위에서 설명한 방식대로 놓이지 않더라도 카메라(210, 220, 230, 240)의 외부 파라미터를 추정할 수 있음은 앞에서 설명한 바와 같다.As described above, the method according to the present invention is characterized in that the tilting angle (?), The roll angle (?), The height (z), the position coordinates (x, y) 220, 230, and 240 through a process of minimizing Equations (1) and (2) while changing the parameters of the
본 발명의 실시예는 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터로 읽을 수 있는 매체를 포함한다. 이 매체는 지금까지 설명한 카메라 외부 파라미터 추정 방법을 실행시키기 위한 프로그램을 기록한다. 이 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이러한 매체의 예에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 자기 매체, CD 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(Floptical Disk)와 자기-광 매체, 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치 등이 있다. 또는 이러한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.Embodiments of the present invention include a computer-readable medium having program instructions for performing various computer-implemented operations. This medium records a program for executing the camera external parameter estimation method described so far. The medium may include program instructions, data files, data structures, etc., alone or in combination. Examples of such media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD and DVD, programmed instructions such as Floptical Disk and magneto-optical media, ROM, And a hardware device configured to store and execute the program. Or such medium may be a transmission medium, such as optical or metal lines, waveguides, etc., including a carrier wave that transmits a signal specifying a program command, data structure, or the like. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.Although the preferred embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements of those skilled in the art using the basic concepts of the present invention defined in the following claims are also provided. It belongs to the scope of right.
Claims (14)
상기 복수 개의 카메라에 의해 촬영된 영상에 포함된 2개의 삼각형 패턴의 변의 길이를 이용하여 상기 복수 개의 카메라 각각의 틸트 각도, 롤 각도 및 상기 지면에서의 높이에 대응하는 제2 위치 좌표값을 추정하는 단계
를 포함하는 카메라 외부 파라미터 추정 방법.A plurality of cameras installed in the vehicle may include one of the first and second triangle patterns displayed on the first calibration plate located on the ground in front of the vehicle and the third and fourth triangle patterns displayed on the second calibration plate located on the ground behind the vehicle. Photographing an image including two triangle patterns,
Estimating a second position coordinate value corresponding to a tilt angle, a roll angle, and a height on the ground of each of the plurality of cameras by using lengths of sides of two triangle patterns included in images captured by the plurality of cameras. step
Camera external parameter estimation method comprising a.
상기 복수 개의 카메라는 상기 차량의 전방, 우측, 후방 및 좌측에 각각 설치되는 전방 카메라, 우측 카메라, 후방 카메라 및 좌측 카메라를 포함하고,
상기 제1 삼각형 패턴은 상기 차량의 전방 좌측, 상기 제2 삼각형 패턴은 상기 차량의 전방 우측, 상기 제3 삼각형 패턴은 상기 차량의 후방 우측, 상기 제4 삼각형 패턴은 후방 좌측에 위치하고,
상기 제1 및 제2 삼각형 패턴의 밑변은 서로 평행하게 상기 차량 전방을 향하도록 상기 제1 교정판에 표시되고, 상기 제3 및 제4 삼각형 패턴의 밑변은 서로 평행하게 상기 차량 후방을 향하도록 상기 제2 교정판에 표시되는 카메라 외부 파라미터 추정 방법.The method of claim 1,
The plurality of cameras include a front camera, a right camera, a rear camera and a left camera, which are respectively installed on the front, right, rear and left sides of the vehicle,
The first triangle pattern is located at the front left side of the vehicle, the second triangle pattern is located at the front right side of the vehicle, the third triangle pattern is located at the rear right side of the vehicle, and the fourth triangle pattern is located at the rear left side.
The bottom sides of the first and second triangle patterns are marked on the first calibration plate to face the front of the vehicle in parallel with each other, and the bottom sides of the third and fourth triangle patterns face the rear of the vehicle in parallel with each other. Camera external parameter estimation method displayed on the second calibration plate.
상기 제1 및 제2 교정판 중앙에 중심 패턴이 표시되고,
상기 제1 내지 제4 삼각형 패턴은 소정 폭을 가지는 정삼각형 패턴이며,
상기 중심 패턴은 + 자 모양이고,
상기 제1 및 제2 교정판은 흰색이고, 상기 제1 내지 제4 삼각형 패턴과 상기 중심 패턴은 검정색인 카메라 외부 파라미터 추정 방법.3. The method of claim 2,
A center pattern is displayed at the center of the first and second calibration plates.
The first to fourth triangle patterns are regular triangle patterns having a predetermined width,
The central pattern is + shaped,
And the first and second calibration plates are white, and the first to fourth triangle patterns and the center pattern are black.
상기 복수 개의 카메라 각각에 대해 틸트 각도, 롤 각도 및 제1 위치 좌표값을 추정하는 단계는,
상기 전방 카메라에 의해 촬영된 영상에 포함된 제1 및 제2 삼각형 패턴에서 각각 3개씩 6개의 정점(頂點)을 추출하는 단계,
상기 전방 카메라의 틸트 각도, 롤 각도 및 제1 위치 좌표값을 변화시키면서 상기 추출된 6개의 정점의 좌표를 세계 좌표로 변환하는 단계,
상기 변환된 세계 좌표를 이용하여 상기 제1 및 제2 삼각형 패턴의 변의 길이를 구하는 단계, 그리고
상기 제1 및 제2 삼각형 패턴의 실제 길이와 상기 구해진 제1 및 제2 삼각형 패턴의 변의 길이의 차이를 최소화하는 틸트 각도, 롤 각도 및 제1 위치 좌표값을 상기 전방 카메라의 틸트 각도, 롤 각도 및 제1 위치 좌표값으로 추정하는 단계를 포함하는 카메라 외부 파라미터 추정 방법.4. The method of claim 3,
Estimating the tilt angle, the roll angle and the first position coordinate value for each of the plurality of cameras,
Extracting six vertices from each of the first and second triangle patterns included in the image photographed by the front camera;
Converting the extracted coordinates of the six vertices into world coordinates while changing the tilt angle, roll angle, and first position coordinate values of the front camera;
Obtaining lengths of sides of the first and second triangle patterns using the converted world coordinates, and
A tilt angle, a roll angle and a first position coordinate value which minimizes a difference between the actual length of the first and second triangle patterns and the lengths of the sides of the obtained first and second triangle patterns are determined by the tilt angle and the roll angle of the front camera. And estimating with the first position coordinate value.
상기 제1 삼각형 패턴에 대해 상기 전방 카메라에서 촬영된 영상에서 추출된 3개의 정점(頂點)과 상기 좌측 카메라에서 촬영된 영상에서 추출된 3개의 정점의 대응점들 사이의 거리를 이용하여 구해지는 제1 위치 오차, 상기 제2 삼각형 패턴에 대해 상기 전방 카메라에서 촬영된 영상에서 추출된 3개의 정점과 상기 우측 카메라에서 촬영된 영상에서 추출된 3개의 정점의 대응점들 사이의 거리를 이용하여 구해지는 제2 위치 오차, 상기 제3 삼각형 패턴에 대해 상기 후방 카메라에서 촬영된 영상에서 추출된 3개의 정점과 상기 우측 카메라에서 촬영된 영상에서 추출된 3개의 정점의 대응점들 사이의 거리를 이용하여 구해지는 제3 위치 오차, 그리고 상기 제4 삼각형 패턴에 대해 상기 후방 카메라에서 촬영된 영상에서 추출된 3개의 정점과 상기 좌측 카메라에서 촬영된 영상에서 추출된 3개의 정점의 대응점들 사이의 거리를 이용하여 구해지는 제4 위치 오차를 구하는 단계, 그리고
상기 제1 내지 제4 위치 오차를 이용하여 상기 전방 카메라, 상기 우측 카메라, 상기 후방 카메라 및 상기 좌측 카메라에 대한 팬 각도, 상기 지면과 평행한 가상 평면에서의 상기 각 카메라의 위치에 대응하는 제2 위치 좌표값 및 제3 위치 좌표값을 추정하는 단계를 더 포함하는 카메라 외부 파라미터 추정 방법.5. The method of claim 4,
The first triangular pattern is obtained by using a distance between three vertices extracted from the image photographed by the front camera and corresponding points of the three vertices extracted from the image photographed by the left camera. A second position obtained by using a position error and a distance between three vertices extracted from an image photographed by the front camera and corresponding points of three vertices extracted from an image photographed by the right camera with respect to the second triangle pattern; A third error obtained by using a position error and a distance between three vertices extracted from an image photographed by the rear camera and a corresponding vertex extracted from an image photographed by the right camera with respect to the third triangle pattern; Three vertices extracted from the image captured by the rear camera with respect to the position error and the fourth triangle pattern, and the left camera. Obtaining a fourth position error determined by the distance between corresponding points of the three vertices extracted from the photographed video in, and
A second pan angle corresponding to the front camera, the right camera, the rear camera, and the left camera using the first to fourth position errors, and a second position corresponding to the position of each camera in a virtual plane parallel to the ground; Estimating a position coordinate value and a third position coordinate value.
상기 제1 내지 제4 위치 오차를 최소화하는 값으로 상기 전방 카메라, 상기 우측 카메라, 상기 후방 카메라 및 상기 좌측 카메라의 팬 각도, 제2 위치 좌표값 및 제3 위치 좌표값이 추정되는 카메라 외부 파라미터 추정 방법.The method of claim 5,
Camera external parameter estimation in which the pan angle, the second position coordinate value and the third position coordinate value of the front camera, the right camera, the rear camera, and the left camera are estimated to minimize the first to fourth position errors. Way.
상기 복수 개의 카메라에 의해 촬영된 영상에 포함된 2개의 삼각형 패턴의 변의 길이를 이용하여 상기 복수 개의 카메라 각각의 틸트 각도, 롤 각도 및 상기 지면에서의 높이에 대응하는 제2 위치 좌표값을 추정하는 카메라 외부 파라미터 추정부
를 포함하는 카메라 외부 파라미터 추정 장치.Two triangular patterns of the first and second triangular patterns displayed on the first calibration plate located on the ground in front of the vehicle and the third and fourth triangular patterns displayed on the second calibration plate located on the ground behind the vehicle are applied to the vehicle. Image input unit for receiving an image taken by each of the plurality of installed cameras,
Estimating a second position coordinate value corresponding to a tilt angle, a roll angle, and a height on the ground of each of the plurality of cameras by using lengths of sides of two triangle patterns included in images captured by the plurality of cameras. Camera external parameter estimator
Camera external parameter estimation device comprising a.
상기 복수 개의 카메라는 상기 차량의 전방, 우측, 후방 및 좌측에 각각 설치되는 전방 카메라, 우측 카메라, 후방 카메라 및 좌측 카메라를 포함하고,
상기 제1 삼각형 패턴은 상기 차량의 전방 좌측, 상기 제2 삼각형 패턴은 상기 차량의 전방 우측, 상기 제3 삼각형 패턴은 상기 차량의 후방 우측, 상기 제4 삼각형 패턴은 후방 좌측에 위치하고,
상기 제1 및 제2 삼각형 패턴의 밑변은 서로 평행하게 상기 차량 전방을 향하도록 상기 제1 교정판에 표시되고, 상기 제3 및 제4 삼각형 패턴의 밑변은 서로 평행하게 상기 차량 후방을 향하도록 상기 제2 교정판에 표시되는 카메라 외부 파라미터 추정 장치.8. The method of claim 7,
The plurality of cameras include a front camera, a right camera, a rear camera and a left camera, which are respectively installed on the front, right, rear and left sides of the vehicle,
The first triangle pattern is located at the front left side of the vehicle, the second triangle pattern is located at the front right side of the vehicle, the third triangle pattern is located at the rear right side of the vehicle, and the fourth triangle pattern is located at the rear left side.
The bottom sides of the first and second triangle patterns are marked on the first calibration plate to face the front of the vehicle in parallel with each other, and the bottom sides of the third and fourth triangle patterns face the rear of the vehicle in parallel with each other. Camera external parameter estimation device displayed on the second calibration plate.
상기 제1 및 제2 교정판 중앙에 중심 패턴이 표시되고,
상기 제1 내지 제4 삼각형 패턴은 소정 폭을 가지는 정삼각형 패턴이며,
상기 중심 패턴은 + 자 모양이고,
상기 제1 및 제2 교정판은 흰색이고, 상기 제1 내지 제4 삼각형 패턴과 상기 중심 패턴은 검정색인 카메라 외부 파라미터 추정 장치.9. The method of claim 8,
A center pattern is displayed at the center of the first and second calibration plates.
The first to fourth triangle patterns are regular triangle patterns having a predetermined width,
The central pattern is + shaped,
And the first and second calibration plates are white, and the first to fourth triangle patterns and the center pattern are black.
상기 카메라 외부 파라미터 추정부는,
상기 전방 카메라에 의해 촬영된 영상에 포함된 제1 및 제2 삼각형 패턴에서 각각 3개씩 6개의 정점(頂點)을 추출하고, 상기 전방 카메라의 틸트 각도, 롤 각도 및 제1 위치 좌표값을 변화시키면서 상기 추출된 6개의 정점의 좌표를 세계 좌표로 변환하며, 상기 변환된 세계 좌표를 이용하여 상기 제1 및 제2 삼각형 패턴의 변의 길이를 구하고, 상기 제1 및 제2 삼각형 패턴의 실제 길이와 상기 구해진 제1 및 제2 삼각형 패턴의 변의 길이의 차이를 최소화하는 틸트 각도, 롤 각도 및 제1 위치 좌표값을 상기 전방 카메라의 틸트 각도, 롤 각도 및 제1 위치 좌표값으로 추정하는 카메라 외부 파라미터 추정 장치.The method of claim 9,
The camera external parameter estimator,
Extracting six vertices from each of the first and second triangle patterns included in the image photographed by the front camera, each of three vertices, and changing the tilt angle, roll angle, and first position coordinate values of the front camera. The coordinates of the six extracted vertices are converted into world coordinates, and the lengths of the sides of the first and second triangle patterns are obtained using the converted world coordinates, and the actual lengths of the first and second triangle patterns are determined. Camera external parameter estimation for estimating the tilt angle, roll angle and first position coordinate values minimizing the difference in the lengths of the sides of the obtained first and second triangle patterns as the tilt angle, roll angle and first position coordinate values of the front camera. Device.
상기 카메라 외부 파라미터 추정부는,
상기 제1 삼각형 패턴에 대해 상기 전방 카메라에서 촬영된 영상에서 추출된 3개의 정점(頂點)과 상기 좌측 카메라에서 촬영된 영상에서 추출된 3개의 정점의 대응점들 사이의 거리를 이용하여 구해지는 제1 위치 오차, 상기 제2 삼각형 패턴에 대해 상기 전방 카메라에서 촬영된 영상에서 추출된 3개의 정점과 상기 우측 카메라에서 촬영된 영상에서 추출된 3개의 정점의 대응점들 사이의 거리를 이용하여 구해지는 제2 위치 오차, 상기 제3 삼각형 패턴에 대해 상기 후방 카메라에서 촬영된 영상에서 추출된 3개의 정점과 상기 우측 카메라에서 촬영된 영상에서 추출된 3개의 정점의 대응점들 사이의 거리를 이용하여 구해지는 제3 위치 오차, 그리고 상기 제4 삼각형 패턴에 대해 상기 후방 카메라에서 촬영된 영상에서 추출된 3개의 정점과 상기 좌측 카메라에서 촬영된 영상에서 추출된 3개의 정점의 대응점들 사이의 거리를 이용하여 구해지는 제4 위치 오차를 구하고, 상기 제1 내지 제4 위치 오차를 이용하여 상기 전방 카메라, 상기 우측 카메라, 상기 후방 카메라 및 상기 좌측 카메라에 대한 팬 각도, 상기 지면과 평행한 가상 평면에서의 상기 각 카메라의 위치에 대응하는 제2 위치 좌표값 및 제3 위치 좌표값을 추정하는 카메라 외부 파라미터 추정 장치.11. The method of claim 10,
The camera external parameter estimator,
The first triangular pattern is obtained by using a distance between three vertices extracted from the image photographed by the front camera and corresponding points of the three vertices extracted from the image photographed by the left camera. A second position obtained by using a position error and a distance between three vertices extracted from an image photographed by the front camera and corresponding points of three vertices extracted from an image photographed by the right camera with respect to the second triangle pattern; A third error obtained by using a position error and a distance between three vertices extracted from an image photographed by the rear camera and a corresponding vertex extracted from an image photographed by the right camera with respect to the third triangle pattern; Three vertices extracted from the image captured by the rear camera with respect to the position error and the fourth triangle pattern, and the left camera. The fourth position error is obtained by using the distance between the corresponding points of the three vertices extracted from the image captured by the, and the front camera, the right camera, the rear camera using the first to fourth position errors And a second position coordinate value and a third position coordinate value corresponding to a pan angle with respect to the left camera, a position of each camera in a virtual plane parallel to the ground.
상기 카메라 외부 파라미터 추정부는,
상기 제1 내지 제4 위치 오차를 최소화하는 값으로 상기 전방 카메라, 상기 우측 카메라, 상기 후방 카메라 및 상기 좌측 카메라의 팬 각도, 제2 위치 좌표값 및 제3 위치 좌표값을 추정하는 카메라 외부 파라미터 추정 방법.In claim 11,
The camera external parameter estimator,
Camera external parameter estimation for estimating the pan angle, the second position coordinate value, and the third position coordinate value of the front camera, the right camera, the rear camera, and the left camera to a value which minimizes the first to fourth position errors. Way.
상기 중심 패턴을 기준으로 서로 대칭되며 일정한 폭을 가지는 정삼각형으로 밑변이 서로 평행하게 표시되는 제1 및 제2 삼각형 패턴을 포함하고,
상기 중심 패턴과 상기 제1 및 제2 삼각형 패턴은 검정색으로 흰색 배경에 표시되는 것을 특징으로 하는 교정판.A center pattern with a + -shape in the center, and
Comprising a first and second triangular pattern symmetrical with each other based on the center pattern and a regular triangle having a constant width and the base is displayed in parallel with each other,
And the center pattern and the first and second triangular patterns are displayed in black on a white background.
상기 제1 및 제2 삼각형 패턴의 외변의 길이는 100cm, 내변의 길이는 50cm이며, 상기 중심 패턴으로부터 각각 100cm 떨어지게 위치하며,
상기 중심 패턴은 가로 세로 길이가 30cm인 +자 모양인 것을 특징으로 하는 교정판.The method of claim 13,
The length of the outer side of the first and second triangle pattern is 100cm, the length of the inner side is 50cm, respectively located 100cm away from the center pattern,
The center pattern is a calibration plate, characterized in that the + -shaped with a vertical length of 30cm.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120038284A KR101331893B1 (en) | 2012-04-13 | 2012-04-13 | Vehicle Installed Camera Extrinsic Parameter Estimation Method and Apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120038284A KR101331893B1 (en) | 2012-04-13 | 2012-04-13 | Vehicle Installed Camera Extrinsic Parameter Estimation Method and Apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20130115717A true KR20130115717A (en) | 2013-10-22 |
KR101331893B1 KR101331893B1 (en) | 2013-11-26 |
Family
ID=49635118
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020120038284A KR101331893B1 (en) | 2012-04-13 | 2012-04-13 | Vehicle Installed Camera Extrinsic Parameter Estimation Method and Apparatus |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101331893B1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109427077A (en) * | 2017-08-29 | 2019-03-05 | 安波福电子(苏州)有限公司 | It is a kind of for demarcating the processor of automobile viewing system |
KR101972134B1 (en) * | 2017-10-31 | 2019-05-03 | 화남전자 주식회사 | Deformation Preventing Triangle Marker for Auto Calibration of Construction Equipment |
KR102035586B1 (en) * | 2018-05-17 | 2019-10-23 | 화남전자 주식회사 | Method for Automatic Finding a Triangle from Camera Images and System Therefor |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008187566A (en) | 2007-01-31 | 2008-08-14 | Sanyo Electric Co Ltd | Camera calibration apparatus and method and vehicle |
KR100948886B1 (en) * | 2009-06-25 | 2010-03-24 | 주식회사 이미지넥스트 | Tolerance compensating apparatus and method for automatic vehicle-mounted camera |
JP5299231B2 (en) * | 2009-11-17 | 2013-09-25 | 富士通株式会社 | Calibration device |
KR101265710B1 (en) * | 2011-10-13 | 2013-05-20 | 주식회사 이미지넥스트 | Vehicle Installed Camera Extrinsic Parameter Estimation Method and Apparatus |
-
2012
- 2012-04-13 KR KR1020120038284A patent/KR101331893B1/en active IP Right Grant
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109427077A (en) * | 2017-08-29 | 2019-03-05 | 安波福电子(苏州)有限公司 | It is a kind of for demarcating the processor of automobile viewing system |
CN109427077B (en) * | 2017-08-29 | 2021-10-12 | 安波福电子(苏州)有限公司 | Processor for calibrating automobile all-round looking system |
KR101972134B1 (en) * | 2017-10-31 | 2019-05-03 | 화남전자 주식회사 | Deformation Preventing Triangle Marker for Auto Calibration of Construction Equipment |
KR102035586B1 (en) * | 2018-05-17 | 2019-10-23 | 화남전자 주식회사 | Method for Automatic Finding a Triangle from Camera Images and System Therefor |
Also Published As
Publication number | Publication date |
---|---|
KR101331893B1 (en) | 2013-11-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101265711B1 (en) | 3d vehicle around view generating method and apparatus | |
KR101265667B1 (en) | Device for 3d image composition for visualizing image of vehicle around and method therefor | |
CN109741455B (en) | Vehicle-mounted stereoscopic panoramic display method, computer readable storage medium and system | |
JP5455124B2 (en) | Camera posture parameter estimation device | |
EP2285109B1 (en) | Vehicle image processor, and vehicle image processing system | |
EP1701306B1 (en) | Driving support system | |
JP5369465B2 (en) | VEHICLE IMAGE PROCESSING DEVICE, VEHICLE IMAGE PROCESSING METHOD, AND VEHICLE IMAGE PROCESSING PROGRAM | |
CN112183241B (en) | Target detection method and device based on monocular image | |
CN111739101B (en) | Device and method for eliminating dead zone of vehicle A column | |
CN102163331A (en) | Image-assisting system using calibration method | |
CN110555407B (en) | Pavement vehicle space identification method and electronic equipment | |
US9135745B2 (en) | Image processing method and system using the same | |
CN102158684A (en) | Self-adapting scene image auxiliary system with image enhancement function | |
KR101265710B1 (en) | Vehicle Installed Camera Extrinsic Parameter Estimation Method and Apparatus | |
CN101122464A (en) | GPS navigation system road display method, device and apparatus | |
KR20180020274A (en) | Panel conversion | |
US20160037154A1 (en) | Image processing system and method | |
JP2011254128A (en) | Plane view generating device and plane view generating method | |
KR101331893B1 (en) | Vehicle Installed Camera Extrinsic Parameter Estimation Method and Apparatus | |
KR20180021822A (en) | Rear Cross Traffic - QuickLux | |
KR101398068B1 (en) | Vehicle Installed Camera Extrinsic Parameter Estimation Method and Apparatus | |
KR101351911B1 (en) | Apparatus and method for processing image of camera | |
KR102079332B1 (en) | 3D Vehicle Around View Generating Method and System | |
CN113313813A (en) | Vehicle-mounted 3D panoramic all-around viewing system capable of actively early warning | |
KR101398069B1 (en) | Homography estimation method and system for surround view monitoring |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20161108 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20171113 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20181115 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20191106 Year of fee payment: 7 |