KR20200063898A - Multi-camera calibration method for generating around view monitoring - Google Patents

Multi-camera calibration method for generating around view monitoring Download PDF

Info

Publication number
KR20200063898A
KR20200063898A KR1020180150165A KR20180150165A KR20200063898A KR 20200063898 A KR20200063898 A KR 20200063898A KR 1020180150165 A KR1020180150165 A KR 1020180150165A KR 20180150165 A KR20180150165 A KR 20180150165A KR 20200063898 A KR20200063898 A KR 20200063898A
Authority
KR
South Korea
Prior art keywords
camera
calibration
cameras
images
vehicle
Prior art date
Application number
KR1020180150165A
Other languages
Korean (ko)
Other versions
KR102173315B1 (en
Inventor
이형준
엄태정
박성령
하수영
정명환
Original Assignee
아진산업(주)
오토아이티(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아진산업(주), 오토아이티(주) filed Critical 아진산업(주)
Priority to KR1020180150165A priority Critical patent/KR102173315B1/en
Publication of KR20200063898A publication Critical patent/KR20200063898A/en
Application granted granted Critical
Publication of KR102173315B1 publication Critical patent/KR102173315B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

The present invention relates to a multi-camera correction method for generating an around-view of a vehicle, to automatically perform an image-camera matching operation. According to the present invention, the multi-camera correction method can comprise: a first step of acquiring n images, which are generated by simultaneously capturing at least k (k is a natural number equal to or greater than two) among j (j is a natural number equal to or greater than two) correction plates disposed at each of view angle overlapping points of cameras and having difference image patterns, through n (n is a natural number equal to or greater than two) cameras distributed and installed in the vehicle; a second step of identifying and analyzing the type of the k correction plates included in each of the images to identify and match the cameras corresponding to the images respectively; a third step of extracting i (i is a natural number equal to or greater than two) feature points from the k correction plates included in the images respectively, and acquiring and storing a correction value minimizing a distance error between the feature points by each camera; and a fourth step of extracting i (i is a natural number equal to or greater than two) matching point pairs based on the correction plate simultaneously included in two image acquired through a reference camera and a correction camera while sequentially selecting two adjacent cameras of the n cameras as the reference camera and the correction camera, and additionally acquiring and storing a correction value minimizing a position error between the i matching point pairs by each camera.

Description

차량 어라운드 뷰 생성을 위한 다중 카메라 교정 방법{Multi-camera calibration method for generating around view monitoring}Multi-camera calibration method for generating around view monitoring}

본 발명은 차량 어라운드 뷰 생성을 위한 다중 카메라 교정 방법에 관한 것으로, 특히 서로 상이한 이미지 패턴을 가지는 교정판을 이용하여 영상-카메라 매칭 동작을 자동 수행하고, 보다 신속 정확하게 카메라 교정 값을 획득할 수 있도록 하는 차량 어라운드 뷰 생성을 위한 다중 카메라 교정 방법에 관한 것이다. The present invention relates to a multi-camera calibration method for generating a vehicle around view, in particular, an image-camera matching operation is automatically performed using a calibration plate having different image patterns, and a camera calibration value can be obtained more quickly and accurately. It relates to a multi-camera calibration method for generating a vehicle around view.

최근 자동차 산업의 발달로 인하여 1가구 1자동차 시대라고 할 정도로 자동차의 보급은 상용화되었고, 차량의 안전도 향상과 운전자의 편의를 도모하기 위해 다양한 첨단 전자 기술이 자동차에 적용되고 있다.Due to the recent development of the automobile industry, the spread of automobiles has been commercialized to the extent of 1 household, 1 automobile, and various advanced electronic technologies have been applied to automobiles in order to improve vehicle safety and promote driver convenience.

이러한 첨단 전자 기술 중 자동차의 주변 환경을 촬영하여 표시함으로써, 운전자가 자동차의 주변 환경을 육안으로 편리하게 확인할 수 있는 차량 어라운드 뷰 영상 제공 장치(Around View Monitoring, AVM)가 있다. Among these advanced electronic technologies, there is a vehicle around view image providing device (AVM) that allows a driver to conveniently check the surrounding environment of a vehicle by visually photographing and displaying the surrounding environment of the vehicle.

차량 주변영상 표시 시스템은 자동차의 전방, 후방, 좌측 및 우측에 각각 설치된 카메라를 통해 주변 환경을 촬영하고, 촬영된 영상을 기초로 중복 영역을 자연스럽게 보이도록 보정 처리하여 차량 어라운드 뷰 영상을 생성한 후, 이를 자동차에 구비된 디스플레이 장치에 제공하도록 한다. The vehicle surrounding image display system captures the surrounding environment through cameras installed on the front, rear, left, and right sides of the car, and generates a vehicle around view image by correcting the overlapped area to look natural based on the captured image. , To provide it to a display device provided in a vehicle.

이에 따라 운전자는 표시된 주변 환경을 통해 자동차의 주변 상황을 정확하게 인식할 수 있고, 사이드 미러나 백 미러를 보지 않고도 편리하게 주차를 할 수 있다.Accordingly, the driver can accurately recognize the surroundings of the vehicle through the displayed surrounding environment, and can conveniently park without looking at the side mirror or rearview mirror.

한편 차량 주변 영상 시스템에서 서로 다른 카메라에서 촬영된 영상을 하나의 화면에 자연스럽게 표시하거나, 특히 3D 영상으로 구현하기 위해서는 전방, 후방, 좌측 및 우측에 각각 설치된 카메라의 위치 및 자세, 즉 카메라 교정 값을 알아야 한다.On the other hand, in a video system around a vehicle, the position and posture of the cameras installed on the front, rear, left, and right sides, that is, the camera calibration values, are displayed in a natural way to display images taken from different cameras on one screen, or in particular to implement 3D images. You should know.

종래에는 격자무늬의 사각형 패턴을 차량으로부터 정해진 위치에 설치하고 촬영된 영상을 기초로 카메라 교정 값을 추정하는 방법이 제시되고 있으나, 이러한 방법에서는 격자무늬 사각형 패턴과 차량이 미리 정해진 위치에 정확하게 놓이도록 조정하는 번거로운 절차가 필요하였다. Conventionally, a method of installing a square pattern of a grid pattern at a predetermined position from a vehicle and estimating a camera calibration value based on the captured image has been proposed, but in such a method, the grid pattern and the vehicle are accurately positioned at a predetermined position. A cumbersome procedure for coordination was required.

그리고 격자 무늬의 사각형 패턴은 처리해야 할 제어점의 개수가 많아서 카메라 교정 값을 추정하는 프로세스에 많은 부하가 소요되는 문제가 있었다.In addition, the square pattern of the plaid has a problem in that the number of control points to be processed is high, so that the process of estimating the camera calibration value takes a lot of load.

또한 차량에 설치된 다수의 카메라와 영상(카메라 채널)을 일대일 매칭시키는 과정을 사용자가 수동으로 수행해야 하는 번거로움이 있었다. In addition, there is a hassle that the user has to manually perform the process of one-to-one matching of multiple cameras and images (camera channels) installed in the vehicle.

국내공개특허 제10-2015-0125767호(공개일자 : 2015.11.10.)Domestic Publication No. 10-2015-0125767 (Publication date: 2015.11.10.)

이에 상기와 같은 문제점을 해결하기 위한 것으로서, 서로 상이한 이미지 패턴을 가지는 교정판을 이용하여 영상-카메라 매칭 동작을 자동 수행할 수 있도록 하는 차량 어라운드 뷰 생성을 위한 다중 카메라 교정 방법을 제공하고자 한다. In order to solve the above problems, it is intended to provide a multi-camera calibration method for generating a vehicle-around view that can automatically perform an image-camera matching operation using a calibration plate having different image patterns.

또한 처리 부하를 최소화시키면서 보다 정확한 카메라 교정 값을 획득할 수 있는 교정판 이미지를 제안할 수 있도록 하는 차량 어라운드 뷰 생성을 위한 다중 카메라 교정 방법을 제공하고자 한다. In addition, it is intended to provide a multi-camera calibration method for generating a vehicle-around view that can propose a calibration plate image capable of obtaining a more accurate camera calibration value while minimizing the processing load.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned will be clearly understood by those skilled in the art from the following description.

상기 과제를 해결하기 위한 수단으로서, 본 발명의 일 실시 형태에 따르면 차량에 분산 설치된 n(n은 2 이상의 자연수)개의 카메라를 통해 카메라 시야각 중복 지점 각각에 배치되며 서로 상이한 이미지 패턴을 가지는 j(j는 2 이상의 자연수)개의 교정판 중 적어도 k(k는 2 이상의 자연수)개가 동시 촬영되는 n개의 영상을 획득하는 제1 단계; 상기 영상 각각에 포함되는 k개 교정판의 종류를 식별 및 분석하여, 상기 영상 각각에 대응되는 카메라를 식별 및 매칭하는 제2 단계; 상기 영상 각각에 포함되는 k개 교정판에서 i(i는 2 이상의 자연수)개의 특징점을 추출하고, 특징점간 거리 오차를 최소화시키는 교정 값을 카메라별로 획득 및 저장하는 제3 단계; 및 상기 n개의 카메라 중 인접 배치된 2개의 카메라를 기준 카메라와 교정 카메라로 순차 선택하면서, 상기 기준 카메라와 상기 교정 카메라를 통해 획득된 2 개의 영상에 동시 포함되는 교정판을 기반으로 i(i는 2개 이상의 자연수)개의 대응점쌍을 추출하고, 상기 i개의 대응점쌍간 위치 오차를 최소화시키는 교정 값을 카메라별로 추가 획득 및 저장하는 제4단계를 포함하는 차량 어라운드 뷰 생성을 위한 다중 카메라 교정 방법을 제공할 수 있다. As a means for solving the above problems, according to an embodiment of the present invention, j (j is disposed at each of the overlapping points of a camera viewing angle through n (n is a natural number of 2 or more) cameras distributed in a vehicle and has different image patterns. A first step of acquiring n images in which at least k (k is a natural number of 2 or more) out of two or more natural correction plates; A second step of identifying and analyzing the types of k calibration plates included in each of the images to identify and match cameras corresponding to each of the images; A third step of extracting i (i is a natural number of 2 or more) feature points from the k calibration plates included in each of the images, and acquiring and storing calibration values for each camera to minimize the distance error between the feature points; And while sequentially selecting two adjacent cameras among the n cameras as a reference camera and a calibration camera, based on a calibration plate simultaneously included in the two images obtained through the reference camera and the calibration camera, i(i is Providing a multi-camera calibration method for generating a vehicle around view, including a fourth step of extracting two or more natural number pairs of corresponding points and additionally acquiring and storing a correction value for each camera to minimize the position error between the i pairs of corresponding points. can do.

상기 j개의 교정판 각각은 마커가 삽입된 도형으로 구현되며, 상기 도형의 형상 및 크기는 동일하나, 상기 마커의 형상, 배치 위치, 색상 중 적어도 하나가 서로 상이한 것을 특징으로 한다. Each of the j calibration plates is implemented as a figure in which a marker is inserted, and the shape and size of the figure are the same, but at least one of the shape, placement position, and color of the marker is different from each other.

상기 도형은 차량 전장 방향에 대응되는 세로폭이 차량 전폭 방향에 대응되는 가로폭 보다 긴 마름모 형상으로 구현될 수 있는 것을 특징으로 한다. The figure is characterized in that the vertical width corresponding to the vehicle length direction can be realized in a rhombus shape longer than the horizontal width corresponding to the vehicle width direction.

상기 제2 단계는 상기 j개의 교정판 각각의 이미지 패턴과 배치 위치를 저장하는 단계; 상기 j개의 교정판 각각의 이미지 패턴을 기반으로 상기 영상 각각에 포함되는 k개 교정판의 종류를 식별하는 단계; 및 상기 k개 교정판의 배치 위치를 기반으로 상기 영상 각각을 제공하는 카메라를 추정하고, 상기 카메라 추정 결과에 따라 상기 영상 각각에 대응되는 카메라를 매칭하는 단계를 포함하는 것을 특징으로 한다. The second step may include storing image patterns and placement positions of each of the j calibration plates; Identifying the types of k calibration plates included in each of the images based on the image pattern of each of the j calibration plates; And estimating a camera providing each of the images based on the position of the k calibration plates, and matching cameras corresponding to each of the images according to the camera estimation result.

상기 제3 단계는 틸트 각도, 롤 각도, Z 좌표를 교정 값으로 획득 및 저장하는 것을 특징으로 한다. The third step is characterized in that the tilt angle, roll angle, and Z coordinates are obtained and stored as correction values.

상기 제4 단계는 상기 n개의 카메라 중 어느 하나를 기준 카메라로 설정하고, 상기 기준 카메라의 현재 위치 좌표(X,Y) 및 팬 각도(θ)을 상기 기준 카메라의 교정 값으로 추가 획득 및 저장하는 단계; 상기 기준 카메라에 시계 방향 또는 반시계 방향으로 인접 배치된 카메라를 교정 카메라로 설정하는 단계; 상기 기준 카메라와 상기 교정 카메라를 통해 획득된 2 개의 영상에 동시 포함되는 교정판을 기반으로 i(i는 2개 이상의 자연수)개의 대응점쌍을 추출하는 단계; 상기 i개의 대응점쌍간 위치 오차를 최소화시키는 상기 교정 카메라의 위치 좌표(X,Y) 및 팬 각도(θ)를 상기 교정 카메라의 교정 값으로 추가 획득 및 저장하는 단계; 및 상기 교정 카메라를 새로운 기준 카메라로 재설정하는 단계를 포함하는 것을 특징으로 한다. In the fourth step, any one of the n cameras is set as a reference camera, and the current position coordinates (X,Y) and pan angle θ of the reference camera are additionally acquired and stored as correction values of the reference camera. step; Setting a camera disposed adjacent to the reference camera clockwise or counterclockwise as a calibration camera; Extracting i (i is a natural number of 2 or more) pairs of corresponding points based on a calibration plate simultaneously included in the reference camera and two images acquired through the calibration camera; Additionally acquiring and storing the position coordinates (X,Y) and pan angle (θ) of the calibration camera to minimize the position error between the pair of i corresponding points as calibration values of the calibration camera; And resetting the calibration camera to a new reference camera.

본 발명은 형상, 배치 위치, 색상 중 적어도 하나가 가변되는 마커가 삽입되는 도형 이미지로 구현되는 교정판을 이용하여 카메라 각각이 촬영한 영상에 포함된 교정판 종류를 식별 및 분석함으로써, 사용자 개입없이 영상-카메라 매칭 동작을 자동 수행할 수 있도록 한다. The present invention identifies and analyzes the types of calibration plates included in the images captured by the cameras by using a calibration plate embodied as a graphic image in which a marker in which at least one of shape, arrangement position, and color is changed is inserted, without user intervention. It is possible to automatically perform the video-camera matching operation.

또한 차량 카메라의 경우, 차량 전장이 차량 전폭보다 긴 특성으로 인해 차량 측방에서 획득한 교정판에 더 심한 왜곡이 발생함을 고려하여, 교정판의 도형 이미지가 차량 전장 방향에 대응되는 세로폭이 차량 전폭 방향에 대응되는 가로폭 보다 긴 마름모 형상으로 구현되도록 한다. 그 결과, 교정 값 산출을 위한 처리 부하를 최소화시키면서 보다 정확한 카메라 교정 값을 획득할 수 있게 된다. In addition, in the case of a vehicle camera, in consideration of the fact that the vehicle plate has a longer distortion than the vehicle's full width, more severe distortion is generated in the calibration plate obtained from the side of the vehicle, so that the vertical image corresponding to the vehicle's overall length is taken into account in the figure of the calibration plate. It should be implemented in a rhombus shape longer than the width corresponding to the width direction. As a result, it is possible to obtain a more accurate camera calibration value while minimizing the processing load for calculating the calibration value.

도 1은 본 발명의 일 실시예에 따른 차량 어라운드 뷰 영상 제공 장치를 설명하기 위한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 카메라의 설치 위치 및 교정판의 배치를 설명하기 위한 개략도이다.
도 3은 본 발명의 일 실시예에 따른 교정판 구현 예들을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 차량 설치 카메라의 교정 값을 설명하기 위해 제공되는 개략도이다.
도 5는 본 발명의 일 실시예에 따른 카메라 촬영 영상들의 일 예를 예시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 영상-카메라 매칭 방법을 설명하기 위해 제공되는 흐름도이다.
도 7은 본 발명의 실시예에 따른 전방 카메라에 의해 촬영된 영상의 일 예를 예시한 도면이다.
도 8은 도 7의 영상을 이용하여 카메라 각각의 교정 값 중 틸트 각도, 롤 각도 및 높이를 추정하는 방법을 설명하기 위해 제공되는 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 전방 카메라에서 촬영한 영상과 우측 카메라에서 촬영한 영상에 동시 포함되는 교정판을 도시한 도면이다.
도 10은 본 발명의 일 실시예에 따른 카메라 교정 값 중에서 팬 각도, X좌표 및 Y 좌표를 추정하는 방법을 설명하기 위해 제공되는 흐름도이다.1 is a block diagram illustrating a vehicle around view image providing apparatus according to an embodiment of the present invention.
2 is a schematic view for explaining the installation position of the camera and the arrangement of the calibration plate according to an embodiment of the present invention.
3 is a view for explaining a calibration plate implementation examples according to an embodiment of the present invention.
4 is a schematic diagram provided to explain a calibration value of a vehicle-mounted camera according to an embodiment of the present invention.
5 is a diagram illustrating an example of camera photographed images according to an embodiment of the present invention.
6 is a flowchart provided to describe a video-camera matching method according to an embodiment of the present invention.
7 is a diagram illustrating an example of an image photographed by a front camera according to an embodiment of the present invention.
8 is a flowchart provided to explain a method of estimating a tilt angle, a roll angle, and a height among calibration values of each camera using the image of FIG. 7.
FIG. 9 is a diagram illustrating a calibration plate included in an image captured by a front camera and an image captured by a right camera according to an embodiment of the present invention.
10 is a flowchart provided to explain a method of estimating a pan angle, an X coordinate, and a Y coordinate among camera calibration values according to an embodiment of the present invention.

본 발명의 목적 및 효과, 그리고 그것들을 달성하기 위한 기술적 구성들은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.The objectives and effects of the present invention, and technical configurations for achieving them, will be clarified with reference to embodiments described below in detail together with the accompanying drawings. In describing the present invention, when it is determined that a detailed description of known functions or configurations may unnecessarily obscure the subject matter of the present invention, the detailed description will be omitted.

그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다.In addition, terms to be described later are terms defined in consideration of functions in the present invention, which may vary according to a user's or operator's intention or practice.

그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다. 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms. Only the present embodiments are provided to make the disclosure of the present invention complete, and to fully inform the person of ordinary skill in the art to which the present invention pertains, the scope of the present invention being defined by the scope of the claims. It just works. Therefore, the definition should be made based on the contents throughout this specification.

도 1은 본 발명의 일 실시예에 따른 차량 어라운드 뷰 영상 제공 장치를 설명하기 위한 블록도이다.1 is a block diagram illustrating a vehicle around view image providing apparatus according to an embodiment of the present invention.

도 1을 참고하면, 차량 어라운드 뷰 영상 제공 장치는 n(n은 2 이상의 자연수)개의 카메라(110, 120, 130, 140), 영상-카메라 매칭부(200), 교정부(300) 및 AVM 영상 제공부(400) 등을 포함할 수 있다. 다만, 이하에서는 설명의 편이를 위해, 4개의 카메라를 이용하는 경우에 한해 설명하기로 한다.Referring to FIG. 1, a vehicle around view image providing apparatus includes n (n is a natural number of 2 or more) cameras 110, 120, 130, 140, an image-camera matching unit 200, a calibration unit 300, and an AVM image It may include a provision unit 400. However, hereinafter, for convenience of description, only four cameras are used.

차량 어라운드 뷰 영상 제공 장치는 차량에 분산 설치된 n개의 카메라(110, 120, 130, 140)를 통해 촬영된 영상을 합성하여 하나의 차량 어라운드 뷰 영상으로 생성하고, 이를 화면에 표시함으로써, 차량의 주변 상황을 운전자가 확인할 수 있도록 하는 시스템이다. 차량 어라운드 뷰 영상 제공 장치는 차량 주변 영상을 가상 시점에서 바라본 3D 영상으로 제공할 수 있다. 이를 위해 차량에 설치된 n개의 카메라(110, 120, 130, 140)의 자세 및 위치에 대한 교정 값을 알아야 한다.The vehicle around view image providing apparatus synthesizes images captured through n cameras 110, 120, 130, and 140 distributed in the vehicle, generates a vehicle around view image, and displays it on the screen, thereby displaying the vehicle around the vehicle. It is a system that allows the driver to check the situation. The vehicle around view image providing apparatus may provide an image around the vehicle as a 3D image viewed from a virtual viewpoint. To this end, it is necessary to know the correction values for the posture and position of the n cameras 110, 120, 130, and 140 installed in the vehicle.

예를 들어, n개의 카메라(110, 120, 130, 140) 각각은 차량의 사방면에 분산 설치되고, 광각 렌즈, 어안 렌즈 등과 같이 화각이 큰 렌즈를 구비하고, 이러한 렌즈를 통해 3차원의 피사체를 2차원의 영상으로 촬영 및 제공하도록 한다. For example, each of the n cameras 110, 120, 130, and 140 is distributedly installed on all sides of the vehicle, and includes a lens having a large angle of view, such as a wide-angle lens, a fish-eye lens, and the like, to provide a three-dimensional object through these lenses. To be taken and provided as a two-dimensional image.

그리고 n개의 카메라(110, 120, 130, 140)의 카메라 시야각 중복 지점 각각에 서로 상이한 이미지 패턴을 가지는 j(j는 2 이상의 자연수)개의 교정판을 배치한 후, n개의 카메라(110, 120, 130, 140)를 통해 j개의 교정판 중 적어도 k(k는 2 이상의 자연수)개가 동시 촬영되는 n개의 영상을 획득 및 제공하도록 한다. Then, after arranging j (j is a natural number of 2 or more) calibration plates having different image patterns at each of the overlapping points of the camera viewing angles of the n cameras 110, 120, 130, and 140, the n cameras 110, 120, 130, 140) to acquire and provide n images of at least k (k is a natural number of 2 or more) out of j calibration plates.

이하에서는 설명의 편이를 위해, 차량의 전방, 후방, 우측, 좌측에 4개의 카메라를 분산 설치하고, 차량의 전방 좌측, 전방 우측, 후방 좌측, 후방 우측에 서로 상이한 이미지 패턴을 가지는 4개의 교정판을 배치함으로써, 4개의 카메라 각각이 4개의 교정판 중 2개가 동시 촬영되는 4개의 영상을 획득 및 제공하는 경우에 한하여 설명하기로 한다. Hereinafter, for convenience of description, four cameras are distributedly installed on the front, rear, right, and left sides of the vehicle, and four calibration plates having different image patterns on the front left, front right, rear left, and rear right sides of the vehicle. By arranging, each of the four cameras will be described only in the case of acquiring and providing four images in which two of the four calibration plates are simultaneously photographed.

영상-카메라 매칭부(200)는 영상 각각에 포함되는 2개 교정판의 종류를 식별 및 분석하여, 영상(또는 카메라 채널) 각각에 대응되는 카메라 각각을 매칭하고, 이들 정보를 저장하도록 한다. The image-camera matching unit 200 identifies and analyzes types of two calibration plates included in each image, matches each camera corresponding to each image (or camera channel), and stores these information.

교정부(300)는 4개의 영상 각각에 포함되는 2개의 교정판을 식별 및 추출하고, 이들의 상대적 위치 및 형상을 기반으로 4개의 카메라(110~140) 각각의 교정 값(특히, 외부 파라메터)을 추정할 수 있다. The calibration unit 300 identifies and extracts two calibration plates included in each of the four images, and calibrates each of the four cameras 110 to 140 (especially external parameters) based on their relative positions and shapes. Can be estimated.

이는 영상 각각에 포함되는 2개의 교정판에서 i(i는 2 이상의 자연수)개의 특징점을 추출한 후, 특정점간 거리 오차를 최소화시키는 틸트 각도, 롤 각도, Z 좌표를 획득하여, 카메라 각각의 교정 값으로 저장하는 제1 교정부(310), 및 4개의 카메라 중 인접 배치된 2 개의 카메라를 기준 카메라와 교정 카메라로 순차 선택하면서, 기준 카메라와 교정 카메라를 통해 획득된 2 개의 영상에 동시 포함되는 h(h는 1이상의 자연수)개의 교정판을 식별 및 분석하여 i(i는 2개 이상의 자연수)개의 대응점쌍을 추출한 후, i개의 대응점쌍간 위치 오차를 최소화시키는 팬 각도, X좌표, Y 좌표를 저장하는 제2 교정부(320) 등을 포함하여 구현될 수 있다. This is obtained by extracting i (i is a natural number greater than or equal to 2) feature points from the two calibration plates included in each image, and then obtaining the tilt angle, roll angle, and Z coordinate to minimize the distance error between specific points, as the calibration values of each camera. The first calibration unit 310 to store, while sequentially selecting two adjacent cameras among the four cameras as the reference camera and the calibration camera, h(2) simultaneously included in the two images acquired through the reference camera and the calibration camera h is a natural number of 1 or more) to identify and analyze the calibration plate, i (i is a natural number of 2 or more) to extract pairs of corresponding points, and then store pan angles, X coordinates, and Y coordinates that minimize the positional error between the pairs of i corresponding points. It may be implemented, including a second calibration unit 320.

AVM 영상 제공부(400)는 영상-카메라 매칭부(200)의 영상-카메라 매칭 결과를 기반으로 4개의 카메라(110~140) 각각이 제공하는 영상을 식별한다. 그리고 교정부(300)에 의해 획득된 카메라 각각의 교정값을 기반으로 이들 영상을 합성하여 차량 주행 상황 또는 사용자 선택에 따라 정해지는 소정의 가상 시점을 가지는 가상 카메라에 대한 가상 시점 영상을 생성하여 화면 표시하도록 한다. 이를 위해 AVM 영상 제공부(400)는 4개의 카메라(110~140)가 제공하는 영상들을 3D 모델 면에 맵핑시켜서 텍스처 맵(texture map)을 구할 수 있는데, 이는 교정부(300)에서 구해진 카메라 교정 값을 기초로 구해지는 카메라별 프로젝션 모델이 이용될 수 있다. The AVM image providing unit 400 identifies an image provided by each of the four cameras 110 to 140 based on the image-camera matching result of the image-camera matching unit 200. Then, these images are synthesized based on the calibration values of each camera acquired by the calibration unit 300 to generate a virtual viewpoint image for a virtual camera having a predetermined virtual viewpoint determined according to a vehicle driving situation or a user's selection, and a screen is generated. Mark it. To this end, the AVM image providing unit 400 may obtain a texture map by mapping the images provided by the four cameras 110 to 140 to the 3D model surface, which is a camera calibration obtained from the calibration unit 300 A projection model for each camera obtained based on a value may be used.

그리고 입력 영상을 3D 모델 면에 맵핑하는 과정에서 서로 다른 카메라에서 촬영된 입력 영상을 자연스럽게 보이도록 하기 위해서 가중 블렌딩(weighted blending) 기법 등이 이용될 수 있다. 그리고 AVM 영상 제공부(400)는 소정의 가상 시점이 정해지면 해당 가상 시점을 가지는 가상 카메라의 프로젝션 모델을 이용하여 텍스처 맵으로부터 가상 시점 영상을 생성하여 출력할 수 있다.Also, in the process of mapping the input image to the 3D model surface, a weighted blending technique may be used to make the input image captured by different cameras look natural. The AVM image providing unit 400 may generate and output a virtual viewpoint image from a texture map using a projection model of a virtual camera having a corresponding virtual viewpoint when a predetermined virtual viewpoint is determined.

한편 4개의 카메라(110~140)의 렌즈 왜곡 등을 보정하는 작업 및 각 카메라별 프로젝션 모델을 구하는 작업 등이 필요할 수 있는데, 이는 일반적으로 알려진 공지된 기술을 이용할 수 있으므로 자세한 설명은 생략한다.On the other hand, it may be necessary to correct the lens distortion of the four cameras 110 to 140, and to obtain a projection model for each camera, etc. This is because generally known techniques can be used, so detailed description is omitted.

그러면 본 발명의 일 실시예에 따른 교정판을 이용하여 차량에 설치된 카메라의 교정 값을 추정하는 방법에 대해 자세히 설명한다.Then, a method of estimating a calibration value of a camera installed in a vehicle using a calibration plate according to an embodiment of the present invention will be described in detail.

도 2는 본 발명의 일 실시예에 따른 카메라의 설치 위치 및 교정판의 배치를 설명하기 위한 개략도이다.2 is a schematic view for explaining the installation position of the camera and the arrangement of the calibration plate according to an embodiment of the present invention.

도 2를 참고하면, 차량(V)의 전방, 후방, 좌측 및 우측에 각각 카메라(110, 120, 130, 140)가 설치될 수 있다. 카메라(110, 120, 130, 140)가 설치되는 위치를 보다 상세하게 설명하면, 전방에 설치된 카메라(110)는 차량(V)의 본 넷 중심에 설치되고, 좌측 및 우측에 설치된 카메라(130, 140)는 각각 차량(V)의 양 사이드 미러의 가장 자리 또는 아래 쪽에 위치하도록 설치될 수 있다. 또한 후방에 설치된 카메라(120)는 후방 범퍼 위쪽의 중앙에 설치될 수 있다. 카메라의 높이와 각도에 의해 촬영되는 영상의 스케일, 화질 등이 상이하기 때문에 전방 및 후방에 설치된 카메라(110, 120)의 높이는 서로 동일하게 하는 것이 바람직하며, 마찬가지로 좌측 및 우측에 설치된 카메라(130, 140)의 높이도 서로 동일하게 하는 것이 바람직하다. 이와 같이 카메라(110, 120, 130, 140)의 설치 높이를 동일하게 함으로써 주변 영상 생성 시 중복 영역에서 차선 폭의 넓이가 동일하게 표현되지 않고 주변 사물의 크기가 이질적으로 나타나는 현상을 최소화시킬 수 있다. 또한, 좌측 및 우측에 설치된 카메라(130, 140)는 지면 방향의 수직선을 기준으로 170°이상이 촬영될 수 있도록 설치된다. 여기서 각 카메라(110, 120, 130, 140)의 설치 위치는 차량의 종류에 따라 상이할 수 있고, 차량의 디자인에 의해 설치 상의 제약이 발생할 수도 있다.Referring to FIG. 2, cameras 110, 120, 130, and 140 may be installed on the front, rear, left, and right sides of the vehicle V, respectively. In more detail, where the cameras 110, 120, 130, and 140 are installed, the camera 110 installed in the front is installed at the center of the net of the vehicle V, and the cameras 130 installed at the left and right sides, 140) may be installed to be located at the edge or the bottom of each side mirror of the vehicle (V), respectively. In addition, the camera 120 installed at the rear may be installed at the center above the rear bumper. Since the scale, image quality, etc. of the image photographed by the height and angle of the cameras are different, it is preferable that the heights of the cameras 110 and 120 installed in the front and rear are the same, and the cameras 130 installed in the left and right sides are similar. It is preferable to make the heights of 140) the same. In this way, by setting the installation heights of the cameras 110, 120, 130, and 140 the same, it is possible to minimize the phenomenon that the width of the lane width is not expressed equally in the overlapping area when the surrounding images are generated, and the size of the surrounding objects is heterogeneous. . In addition, the cameras 130 and 140 installed on the left and right sides are installed so that 170° or more can be photographed based on a vertical line in the ground direction. Here, the installation positions of the cameras 110, 120, 130, and 140 may be different depending on the type of vehicle, and installation restrictions may occur due to the design of the vehicle.

일반적으로 광각 카메라는 렌즈 주변부의 광량이 부족하여 화질의 저하가 발생하고, 렌즈의 중심부보다 주변부에 왜곡이 많이 발생할 수 있다. 또한, 카메라를 통해 촬영된 영상을 시점 변환할 때 주변부의 영상은 화질이 심하게 저하된다. 따라서 카메라 렌즈의 중심부 영역에 형성된 영상을 사용하기 위해 전방 및 후방에 설치된 카메라(110, 120)는 광축이 지평선과 평행하도록, 좌측 및 우측에 설치된 카메라(130, 140)는 광축이 지면과 수직이 되도록 설치될 수 있다. 또한, 차량(V)의 전후방 및 좌우측면으로부터 약 1.5m 떨어진 범위까지 촬영될 수 있도록 카메라(110, 120, 130, 140)의 설치 높이를 결정하고, 이때 카메라(110, 120, 130, 140)는 지면에 대한 수직축으로부터 약 30° 내지 60°정도까지 촬영될 수 있도록 설치될 수 있다. 위에서 설명한 카메라의 설치 위치는 바람직한 예에 대해 설명한 것으로 본 발명에 따른 카메라 교정부(300)는 반드시 카메라(110, 120, 130, 140)가 해당 위치에 정확하게 설치되어야 하는 것은 아니다.In general, a wide-angle camera may cause a deterioration in image quality due to insufficient amount of light in the periphery of the lens, and may cause more distortion in the periphery than the center of the lens. In addition, when converting an image captured through a camera into a viewpoint, the image quality of the peripheral part is deteriorated significantly. Therefore, in order to use the image formed in the central region of the camera lens, the cameras 110 and 120 installed at the front and rear are parallel to the horizon, and the cameras 130 and 140 installed at the left and right are perpendicular to the ground. It can be installed as much as possible. In addition, the installation height of the cameras 110, 120, 130, and 140 is determined so as to be photographed to a range of about 1.5 m away from the front and rear and left and right sides of the vehicle V. At this time, the cameras 110, 120, 130, 140 Can be installed so that it can be taken from about 30° to about 60° from the vertical axis with respect to the ground. The installation position of the camera described above has been described for a preferred example, and the camera calibration unit 300 according to the present invention does not necessarily require the cameras 110, 120, 130, 140 to be accurately installed in the corresponding position.

그리고 교정판은 카메라(110, 120, 130, 140)의 카메라 시야각 중복 지점 각각에 배치되도록 하여, 적어도 두 개의 카메라가 하나의 교정판을 동시 촬영할 수 있도록 한다. 즉, 적어도 두 개의 카메라가 동시 촬영한 교정판을 매개로 하여 해당 카메라들의 상대적 위치값을 파악할 수 있도록 한다. In addition, the calibration plate is disposed at each of the overlapping points of the camera viewing angles of the cameras 110, 120, 130, and 140, so that at least two cameras can simultaneously photograph one calibration plate. That is, it is possible to grasp the relative position values of the corresponding cameras through a calibration plate simultaneously photographed by at least two cameras.

이에 도 2에서와 같이, 차량의 전방, 후방, 좌측, 우측에 4개의 카메라(110~140)가 설치되는 경우, 이들의 카메라 시야각 중복 지점인 전방 좌측, 전방 우측, 후방 우측, 후방 좌측 각각에 4개의 교정판(CP1~CP4)이 배치될 수 있을 것이다. Accordingly, as shown in FIG. 2, when four cameras 110 to 140 are installed at the front, rear, left, and right sides of the vehicle, the front left, front right, rear right, and rear left of each of the camera viewing angle overlap points Four calibration plates CP1 to CP4 may be arranged.

계속하여, 도 2 및 도 3에서와 같이 본 발명의 4개의 교정판 각각은 서로 상이한 이미지 패턴을 가지도록 한다. 4개의 교정판 각각은 마커가 삽입된 도형 이미지로 구현되며, 도형 이미지의 형상 및 크기는 동일하나, 마커의 형상, 배치 위치, 색상 중 적어도 하나는 서로 상이할 수 있다. Subsequently, as shown in FIGS. 2 and 3, each of the four proof plates of the present invention has a different image pattern. Each of the four proof plates is implemented as a graphic image in which a marker is inserted, and the shape and size of the graphic image are the same, but at least one of the shape, placement position, and color of the marker may be different from each other.

예를 들어, 도 3의 (a)와 같이, 4개의 교정판 각각이 검은색 마름모 형태의 도형에, 흰색 마름모 형태의 마크가 상측, 우측, 하측, 좌측으로 편중되어 삽입되는 형태로 구현될 수 있을 것이다. 또한, 도 3의 (b)와 같이 마크의 색상을 흰색 대신에 빨간색 등으로 표시할 수도 있도록 한다.For example, as shown in (a) of FIG. 3, each of the four calibration plates may be embodied in a shape of a black rhombus and a mark in a white rhombus biased toward the top, right, bottom, and left sides. There will be. In addition, it is also possible to display the color of the mark as red instead of white as shown in FIG. 3(b).

그리고 도 3의 (c)와 같이, 4개의 교정판 각각이 검은색 마름모 형태의 도형에, 흰색 마름모, 흰색 세모, 흰색 네모, 흰색 원 형태의 마크가 각각 삽입되는 형태로 구현될 수 있을 것이다. And, as shown in Figure 3 (c), each of the four calibration plates may be embodied as a black rhombus shape, a white rhombus, a white triangle, a white square, and a white circle mark, respectively.

또한 도 3의 (d)와 같이, 4개의 교정판 각각이 검은색 마름모 형태의 도형에, 흰색 마름모, 빨간색 마름모, 파란색 마름모, 노란색 마름모 형태의 마크가 각각 삽입되는 형태로 구현될 수 있을 것이다. In addition, as shown in (d) of FIG. 3, each of the four calibration plates may be embodied in a shape of a black rhombus, a white rhombus, a red rhombus, a blue rhombus, and a yellow rhombus.

또 다르게는 도3의 (e)와 같이, 4개의 교정판 각각이 검은색 마름모 형태의 도형에, 흰색 마름모, 빨간색 마름모, 파란색 마름모, 노란색 마름모 형태의 마크가 상측, 우측, 하측, 좌측으로 편중되어 삽입되는 형태로 구현될 수 있을 것이다. Alternatively, as shown in Fig. 3(e), each of the four corrective plates has a black rhombus shape, a white rhombus, a red rhombus, a blue rhombus, and a yellow rhombus mark to the upper, right, lower, and left sides. It can be implemented in the form of being inserted.

다만, 본 발명의 교정판의 도형은 다양한 형태로 구현될 수 있으나, 마름모 형태로 구현되는 것이 가장 바람직하다. However, the shape of the calibration plate of the present invention can be implemented in various forms, it is most preferably implemented in a rhombus form.

이는 광각 카메라 또는 어안 카메라와 같이 화각이 큰 렌즈를 통해 촬영 영상을 획득하는 경우, 영상 중심에서 가장자리로 갈 때 모양이 영상 중심 쪽으로 찌그러지는 방사 왜곡이 발생하기 때문이다. 특히, 차량 전장이 차량 전폭보다 긴 특성으로 인해 차량 측방에서 획득한 교정판에 더 심한 왜곡이 발생하게 된다. This is because when a captured image is acquired through a lens having a large angle of view, such as a wide-angle camera or a fish-eye camera, radiation distortion occurs in which the shape is distorted toward the center of the image when going from the center of the image to the edge. In particular, due to the characteristics of the vehicle's overall length longer than the vehicle's full width, more distortion is generated in the calibration plate obtained from the vehicle side.

따라서 본 발명에서는 방사 왜곡에 의한 형상의 찌그러짐을 고려하여, 교정판의 도형이 차량 전장 방향에 대응되는 세로폭이 차량 전폭 방향에 대응되는 가로폭 보다 긴 마름모 형상으로 구현되도록 한다. Therefore, in the present invention, in consideration of the distortion of the shape due to radiation distortion, the shape of the calibration plate is implemented in a rhombus shape longer than the horizontal width corresponding to the vehicle full-width direction.

도 4는 본 발명의 일 실시예에 따른 차량 설치 카메라의 교정 값을 설명하기 위해 제공되는 개략도이다.4 is a schematic diagram provided to explain a calibration value of a vehicle-mounted camera according to an embodiment of the present invention.

도 4를 참고하면, 차량(V)에 설치된 카메라(110, 120, 130, 140)의 교정 값은 3차원 공간 좌표(x,y,z)와, 카메라(110, 120, 130, 140)의 팬, 틸트, 롤 각도(θ, ψ, Φ)를 포함할 수 있다.Referring to FIG. 4, the calibration values of the cameras 110, 120, 130, and 140 installed in the vehicle V include three-dimensional spatial coordinates (x,y,z) and cameras 110, 120, 130, and 140. Pan, tilt, and roll angles (θ, ψ, Φ) may be included.

3차원 공간 좌표(x,y,z) 중에서, 좌표(z)는 차량(V)이 위치한 지면(G)으로부터의 높이에 대응될 수 있으며, 도 4의 (a)에 예시한 것과 같이 전방 카메라(110), 좌측 카메라(130), 후방 카메라(120)의 높이는 각각 ZF, ZL, ZB가 될 수 있다. 그리고 좌표(X)와 좌표(Y)는 차량(V)이 위치한 지면(G)에 평행한 가상 평면 상에서의 위치에 대응될 수 있으며, 도 4의 (b)에 예시한 것과 같이 차량(V)의 중심부(O)를 좌표 기준으로 할 수 있다.Among the three-dimensional spatial coordinates (x,y,z), the coordinates z may correspond to the height from the ground G on which the vehicle V is located, and the front camera as illustrated in FIG. 4A. The heights of the 110, the left camera 130, and the rear camera 120 may be Z F , Z L , Z B , respectively. And the coordinates (X) and the coordinates (Y) can correspond to the position on the virtual plane parallel to the ground (G) where the vehicle (V) is located, and the vehicle (V) as illustrated in Figure 4 (b) The center (O) of can be used as a reference.

한편 팬 각도(θ)는 카메라(110, 120, 130, 140)의 헤드 방향이 차량(V)의 진행방향과 이루는 각도로 정의될 수 있고, 도 4의 (b)에 예시한 것과 같이 카메라(110, 120, 130, 140)의 팬 각도는 각각 θF, θB, θL, θR의 값을 가질 수 있다.On the other hand, the pan angle θ may be defined as an angle in which the head direction of the cameras 110, 120, 130, 140 is formed with the traveling direction of the vehicle V, and as illustrated in (b) of FIG. 4 ( The fan angles of 110, 120, 130, and 140) may have values of θ F , θ B , θ L , and θ R , respectively.

틸트 각도(ψ)는 지면(G)과 이루는 각도로 정의될 수 있으며, 도 4(a)에 예시한 것과 같이 전방 카메라(110), 후방 카메라(120)의 틸트 각도는 각각 ψF, ψB의 값을 가질 수 있다.The tilt angle ψ may be defined as an angle formed with the ground G, and as illustrated in FIG. 4(a), the tilt angles of the front camera 110 and the rear camera 120 are ψ F and ψ B , respectively. It can have the value of

롤 각도(Φ)는 카메라 헤드 방향 축을 기준으로 한 카메라(110, 120, 130, 140)의 회전 각도로 정의될 수 있으며, 도 4의 (a)에 예시한 것과 같이 좌측 카메라(130)의 롤 각도는 ΦL의 값을 가질 수 있다.The roll angle Φ may be defined as the rotation angle of the cameras 110, 120, 130, 140 based on the axis of the camera head direction, and the roll of the left camera 130 as illustrated in FIG. 4(a). The angle may have a value of Φ L.

도 5는 본 발명의 일 실시예에 따른 카메라 촬영 영상들의 일 예를 예시한 도면이다. 5 is a diagram illustrating an example of camera photographed images according to an embodiment of the present invention.

도 5를 참고하면, 차량 전방에 설치된 전방 카메라(110)에서 촬영된 영상에는 차량의 전방 좌측과 전방 우측에 배치된 2개의 교정판(CP1, CP2)이 존재하고, 차량 우측에 설치된 우측 카메라(140)에서 촬영된 영상에는 차량의 전방 우측과 후방 우측에 배치된 교정판(CP2, CP3)이 존재하고, 후방에 설치된 후방 카메라(120)에서 촬영된 영상에는 차량의 후방 우측과 후방 좌측에 배치된 교정판(CP3, CP4)이 존재하고, 좌측에 설치된 좌측 카메라(130)에서 촬영된 영상에는 차량의 후방 좌측과 전방 좌측에 배치된 교정판(CP4, CP1)이 존재하게 된다. Referring to FIG. 5, in the image photographed by the front camera 110 installed in front of the vehicle, there are two calibration plates CP1 and CP2 disposed on the front left and front right sides of the vehicle, and the right camera installed on the right side of the vehicle ( In the image captured in 140), there are calibration plates CP2 and CP3 disposed in the front right and rear right of the vehicle, and in the image photographed in the rear camera 120 installed in the rear, they are disposed in the rear right and rear left of the vehicle. The calibration plates CP3 and CP4 are present, and the images captured by the left camera 130 installed on the left have the calibration plates CP4 and CP1 disposed on the rear left and front left of the vehicle.

이에 본 발명은 각각의 영상에 포함된 교정판의 종류를 식별함으로써, 각각의 영상을 제공하는 카메라가 무엇인지를 역추적하고, 이를 기반으로 영상과 카메라간 1:1 매칭 동작을 자동으로 수행할 수 있게 된다. Accordingly, according to the present invention, by identifying the type of the calibration plate included in each image, backtracking what camera provides each image, and automatically perform a 1:1 matching operation between the image and the camera based on this. It becomes possible.

즉, 전방 카메라와 교정판(CP1, CP2)을 촬영한 영상1을 매칭시키고, 우측 카메라와 교정판(CP2, CP3)을 촬영한 영상2을 매칭시키고, 후방 카메라와 교정판(CP3, CP4)을 촬영한 영상3을 매칭시키고, 좌측 카메라와 교정판(CP4, CP1)을 촬영한 영상4을 매칭하도록 한다. That is, the front camera and the calibration plate (CP1, CP2) of the image 1 is matched, the right camera and the calibration plate (CP2, CP3) of the image 2 is matched, and the rear camera and the calibration plate (CP3, CP4) are matched. Match the image 3 captured, and match the left camera and the image 4 taken with the calibration plates (CP4, CP1).

도 6은 본 발명의 일 실시예에 따른 영상-카메라 매칭 방법을 설명하기 위해 제공되는 흐름도이다.6 is a flowchart provided to describe a video-camera matching method according to an embodiment of the present invention.

먼저, 본 발명은 4개의 교정판 각각의 이미지 패턴와 배치 위치를 사전 저장한다(S1).First, the present invention pre-stores the image pattern and placement position of each of the four proof plates (S1).

그리고 차량의 전방, 후방, 좌측, 우측에 4개의 카메라(110~140)를 통해 이들의 카메라 시야각 중복 지점인 전방 좌측, 전방 우측, 후방 우측, 후방 좌측 각각에 4개의 교정판(CP1~CP4)을 촬영하도록 한다(S2).In addition, through four cameras 110 to 140 on the front, rear, left, and right sides of the vehicle, four calibration plates (CP1 to CP4) are provided for each of the front left, front right, rear right, and rear left points, which are overlapping points of their camera viewing angles. Take a picture (S2).

그리고 4개의 카메라(110~140) 각각을 통해 촬영된 4개의 영상 각각에 포함되는 2개의 교정판 이미지를 추출한 후, 추출된 교정판 이미지와 단계 S1을 통해 획득된 교정판 이미지를 비교 분석하여, 4개의 영상 각각에 포함되는 2개의 교정판 종류를 식별하도록 한다(S3).Then, after extracting two calibration plate images included in each of the four images taken through each of the four cameras 110 to 140, the extracted calibration plate image and the calibration plate image obtained through step S1 are compared and analyzed, Two types of calibration plates included in each of the four images are identified (S3).

그리고 차량의 전방 좌측과 전방 우측에 배치된 2개의 교정판이 포함되는 영상은 전방 카메라에 의해 획득되는 영상1임을 확인하고, 차량의 전방 우측 및 후방 우측에 배치된 2개의 교정판이 포함되는 영상은 우측 카메라에 의해 획득되는 영상2임을 확인하고, 차량의 후방 우측 및 후방 좌측에 배치된 2개의 교정판이 포함되는 영상은 후방 카메라에 의해 획득되는 영상3임을 확인하고, 차량의 후방 좌측 및 전방 좌측에 배치된 2개의 교정판이 포함되는 영상은 좌측 카메라에 의해 획득되는 영상4임을 확인하고, 이들 관계를 영상과 카메라의 매칭 정보로써 획득 및 저장하도록 한다(S4). In addition, it is confirmed that the image including the two calibration plates disposed on the front left and front right sides of the vehicle is image 1 acquired by the front camera, and the image containing the two calibration plates disposed on the front right and rear right sides of the vehicle is right. Confirming that it is an image 2 acquired by the camera, and confirming that the image including two calibration plates disposed on the rear right and rear left sides of the vehicle is an image 3 acquired by the rear camera, and is disposed on the rear left and front left sides of the vehicle It is confirmed that the images including the two corrected editions are images 4 obtained by the left camera, and these relationships are acquired and stored as matching information between the images and the camera (S4).

도 7은 본 발명의 실시예에 따른 전방 카메라에 의해 촬영된 영상의 일 예를 예시한 도면이다. 7 is a diagram illustrating an example of an image photographed by a front camera according to an embodiment of the present invention.

만약, 도 5에서와 같이, 차량의 전방 좌측, 전방 우측, 후방 우측, 후방 좌측에 4개의 교정판(CP1, CP2, CP3, CP4)이 배치된 경우, 전방 카메라(110)에 의해 촬영되어 입력된 영상에는 차량의 전방 좌측과 전방 우측에 배치된 2개의 교정판(CP1, CP2)이 포함되게 된다. If, as shown in FIG. 5, four calibration plates (CP1, CP2, CP3, CP4) are disposed on the front left, front right, rear right, and rear left of the vehicle, they are captured and input by the front camera 110. The image will include two calibration plates CP1 and CP2 disposed on the front left and front right sides of the vehicle.

2개의 교정판(CP1, CP2)이 실제는 변의 길이가 동일한 마름모이더라도, 전방 카메라(110)의 렌즈 왜곡, 틸트 각도(ψ), 롤 각도(Φ) 및 높이(Z)에 의해 입력 영상에서 2개의 교정판(CP1, CP2)의 변의 길이(d11, d12, d13, d14, d21, d22, d23, d24)는 서로 다르게 된다.Even though the two calibration plates CP1 and CP2 are actually rhombuses having the same side length, 2 are input images by the lens distortion, tilt angle ψ, roll angle Φ, and height Z of the front camera 110. The lengths d11, d12, d13, d14, d21, d22, d23, d24 of the sides of the dog calibration plates CP1, CP2 are different from each other.

그런데 전방 카메라(110)에 의한 입력 영상에서 렌즈 왜곡을 미리 알려진 방법으로 보정하고, 차량(V)의 상방에서 지면(G)을 내려다보는 방향(탑뷰)의 가상 시점을 가지는 가상 카메라의 영상으로 변환하면 2개의 교정판(CP1, CP2)의 변의 길이(d11, d12, d13, d14, d21, d22, d23, d24)는 서로 동일하게 된다.However, in the input image by the front camera 110, lens distortion is corrected by a known method, and converted to an image of a virtual camera having a virtual viewpoint in a direction (top view) overlooking the ground G from above the vehicle V. When the lengths of the sides of the two calibration plates CP1 and CP2 are d11, d12, d13, d14, d21, d22, d23, d24, they are the same.

이를 참고로 전방 카메라(110)에서 입력되는 영상에 대해 아래와 같은 작업을 수행하면 전방 카메라(110)의 틸트 각도(ψ), 롤 각도(Φ) 및 높이(Z)를 추정할 수 있다.Referring to this, if the following operations are performed on the image input from the front camera 110, the tilt angle ψ, roll angle Φ, and height Z of the front camera 110 can be estimated.

도 8은 도 7의 영상을 이용하여 카메라 각각의 교정 값 중 틸트 각도, 롤 각도 및 높이를 추정하는 방법을 설명하기 위해 제공되는 흐름도이다.8 is a flowchart provided to explain a method of estimating a tilt angle, a roll angle, and a height among calibration values of each camera using the image of FIG. 7.

도 8을 참고하면, 먼저 교정부(300)는 전방 카메라(110)에 의한 입력 영상에 대해 렌즈 왜곡을 보정한다(S11). Referring to FIG. 8, first, the correction unit 300 corrects lens distortion for an input image by the front camera 110 (S11).

이후 전방 카메라(110)에 의해 촬영된 영상에 포함된 2개의 교정판(CP1, CP2)에서 각각 4개씩 8개의 특징점(n11, n12, n13, n14, n21, n22, n23, n24)을 추출한다(S12).Thereafter, eight feature points (n11, n12, n13, n14, n21, n22, n23, n23, n24) are extracted from the two calibration plates CP1 and CP2 included in the image photographed by the front camera 110, respectively. (S12).

다음으로 교정부(300)는 전방 카메라(110)의 틸트 각도(ψ), 롤 각도(Φ) 및 높이(Z)를 변화시키면서 추출된 8개의 특징점(n11, n12, n13, n14, n21, n22, n23, n24)의 좌표를 세계 좌표로 변환한다(S13). 여기서 세계 좌표는 임의의 기준점 또는 차량(V)의 중심이 위치한 지면(G) 상의 점(O)을 좌표 기준점으로 할 수 있다.Next, the calibration unit 300 changes the eight feature points (n11, n12, n13, n14, n21, n22) extracted while changing the tilt angle (ψ), roll angle (Φ), and height (Z) of the front camera 110 , n23, n24) to world coordinates (S13). Here, the world coordinate may be an arbitrary reference point or a point O on the ground G where the center of the vehicle V is located as a coordinate reference point.

교정부(300)는 단계(S12)에서 구해지는 8개의 특징점(n11, n12, n13, n14, n21, n22, n23, n24)의 세계 좌표를 이용하여 2개 교정판(CP1, CP2) 각각의 변의 길이(d11, d12, d13, d14, d21, d22, d23, d24)를 구한다(S14).The calibration unit 300 uses the world coordinates of the eight feature points (n11, n12, n13, n14, n21, n22, n23, n24) obtained in step S12 to each of the two calibration plates CP1 and CP2. The lengths of the sides (d11, d12, d13, d14, d21, d22, d23, d24) are obtained (S14).

마지막으로, 기 설정된 변의 길이와 단계(S14)에서 구해지는 변의 길이(d11, d12, d13, d14, d21, d22, d23, d24)간 차이 총합이 최소화하는 틸트 각도(ψ), 롤 각도(Φ) 및 높이(Z)를 전방 카메라(110)의 틸트 각도(ψF), 롤 각도(ΦF) 및 높이(ZF)로 추정하고, 이의 정보를 저장하도록 한다(S15). Finally, the tilt angle (ψ) and the roll angle (Φ) that the sum of the differences between the lengths of the predetermined sides and the lengths of the sides (d11, d12, d13, d14, d21, d22, d23, d24) obtained in step S14 are minimized ) And the height Z are estimated as the tilt angle ψF, the roll angle ΦF, and the height ZF of the front camera 110 and store the information (S15).

이러한 방법은 나머지 후방 카메라(120), 좌측 카메라(130) 및 우측 카메라(140)에 대해서도 동일하게 수행되며, 그 결과 후방 카메라(120), 좌측 카메라(130) 및 우측 카메라(140) 각각에 대한 틸트 각도(ψ), 롤 각도(Φ) 및 높이(Z)를 추정할 수 있게 된다. This method is also performed for the remaining rear camera 120, the left camera 130, and the right camera 140, and as a result, for each of the rear camera 120, the left camera 130 and the right camera 140. It is possible to estimate the tilt angle ψ, roll angle Φ, and height Z.

다음으로 카메라(110, 120, 130, 140)의 위치 좌표(X, Y) 및 팬 각도(θ)를 추정하는 방법에 대해 설명한다.Next, a method of estimating the position coordinates (X, Y) and the pan angle (θ) of the cameras 110, 120, 130, and 140 will be described.

도 9는 본 발명의 일 실시예에 따른 전방 카메라에서 촬영한 영상과 우측 카메라에서 촬영한 영상에 동시 포함되는 교정판을 도시한 도면이다. FIG. 9 is a diagram illustrating a correction plate included in an image captured by a front camera and an image captured by a right camera according to an embodiment of the present invention.

도 9를 참고하면, 전방 카메라(110)에서 촬영한 영상과 우측 카메라(140)에서 촬영한 영상에는 전방 카메라(110)와 우측 카메라(140)의 시야각 중복 지점에 배치된 교정판2(CP2)가 동시 포함됨을 알 수 있다. Referring to FIG. 9, an image captured by the front camera 110 and an image captured by the right camera 140 include a calibration plate 2 (CP2) disposed at overlapping viewing angles of the front camera 110 and the right camera 140. It can be seen that is included simultaneously.

전방 카메라(110)에 의해 획득된 교정판 이미지로부터 4개의 특징점(n21,n22,n23,n24)이 추출 가능하고, 우측 카메라(140)에 의해 획득된 교정판 이미지로부터 4개의 특징점(n31,n32,n33,n34)이 추출 가능하며, n21과 n31, n22과 n32, n23과 n33, n24과 n34는 대응관계를 가지게 된다. 즉, 4개의 대응점쌍((n21,n31), (n22,n32), (n23,n33), (n24,n34))이 획득될 수 있다. Four feature points (n21,n22,n23,n24) can be extracted from the calibration plate image obtained by the front camera 110, and four feature points (n31,n32) from the calibration plate image obtained by the right camera 140 ,n33,n34) can be extracted, and n21 and n31, n22 and n32, n23 and n33, n24 and n34 have a corresponding relationship. That is, four pairs of corresponding points ((n21,n31), (n22,n32), (n23,n33), (n24,n34)) can be obtained.

도 10은 본 발명의 일 실시예에 따른 카메라 교정 값 중에서 팬 각도, X좌표 및 Y 좌표를 추정하는 방법을 설명하기 위해 제공되는 흐름도이다.10 is a flowchart provided to explain a method of estimating a pan angle, an X coordinate, and a Y coordinate among camera calibration values according to an embodiment of the present invention.

도 10을 참고하면, 교정부(300)는 4개의 카메라 중 한 카메라를 기준 카메라로 선택하고, 이의 시계 방향(또는 반시계 방향)으로 인접 배치된 카메라를 교정 카메라로 선택하도록 한다. 그리고 기준 카메라의 현재 위치 좌표(X,Y) 및 팬 각도(θ)를 기준 카메라의 교정값으로 설정하도록 한다(S21). 예를 들어, 전방 카메라를 기준 카메라로 선택하고, 이의 시계 방향으로 인접된 우측 카메라를 교정 카메라로 선택하도록 한다. Referring to FIG. 10, the calibration unit 300 selects one of four cameras as a reference camera, and selects a camera disposed adjacent in its clockwise direction (or counterclockwise direction) as a calibration camera. Then, the current position coordinates (X, Y) and the pan angle (θ) of the reference camera are set as calibration values of the reference camera (S21). For example, the front camera is selected as the reference camera, and the right camera adjacent in the clockwise direction is selected as the calibration camera.

그리고 기준 카메라와 교정 카메라를 통해 획득된 영상1과 영상2 각각에 대한 렌즈 왜곡을 보정한 후, 영상1과 영상2에 동시 포함되는 교정판을 식별하도록 한다(S22). 단계 S22에서, 단계 S1에서 사전 저장한 4개의 교정판 각각의 이미지 패턴을 기반으로 영상1에 포함된 교정판1과 교정판2를 식별하고, 영상2에 포함된 교정판2과 교정판 3을 식별하도록 한다. 교정판 식별 결과를 기반으로 교정판2가 영상 1과 영상2에 동시 포함됨을 확인 및 통보하도록 한다. Then, after correcting the lens distortion for each of the images 1 and 2 obtained through the reference camera and the calibration camera, the correction plates included in the images 1 and 2 are identified (S22). In step S22, the calibration plate 1 and the calibration plate 2 included in the image 1 are identified based on the image pattern of each of the four calibration plates previously stored in the step S1, and the calibration plate 2 and the calibration plate 3 included in the image 2 are Identify it. Based on the results of the identification of the calibration plate, it should be confirmed and notified that the calibration plate 2 is simultaneously included in the image 1 and image 2.

영상1에 포함된 교정판2로부터 4개의 특징점(n21,n22,n23,n24)을 추출하고, 영상 2에 포함된 교정판2로부터 4개의 특징점(n31,n32,n33,n34)을 추출한 후, 특징점 위치 기반으로 4개의 대응점 쌍을 획득하도록 한다(S23). 예를 들어, 마크와의 거리가 가장 가까운 영상 1의 특징점(n11)과 영상 2의 특징점(n21)을 대응점쌍으로 설정한 후, 이들을 기준으로 시계 방향(또는 반시계 방향)으로 다음의 대응점쌍을 검색 및 설정하도록 한다. After extracting four feature points (n21,n22,n23,n24) from calibration plate 2 included in image 1, and extracting four feature points (n31,n32,n33,n34) from calibration plate 2 included in image 2, Four pairs of corresponding points are acquired based on the location of the feature points (S23). For example, after setting the feature point n11 of the image 1 having the closest distance to the mark and the feature point n21 of the image 2 as a pair of corresponding points, the next pair of corresponding points in the clockwise direction (or counterclockwise) based on them Search and set.

그리고 4개의 대응점 쌍들에 대한 세계 좌표를 구하도록 한다(S24). 단계 S24에서 기준 카메라(110)와 교정 카메라(140)의 틸트 각도(ψ), 롤 각도(Φ) 및 높이(Z)는 앞에서 설명한 방법에 의해 추정된 값을 이용하고, 위치 좌표(X, Y) 및 팬 각도(θ)는 미리 정해진 초기값으로 설정한다. 예를 들어, 전방 카메라(110)의 팬 각도(θ)는 0°로 설정하고, 우측 카메라(140)는 90°, 후방 카메라(120)는 180°, 좌측 카메라(130)는 270°로 설정할 수 있으며, 위치 좌표(x,y)는 차량 중심(O)을 좌표 기준점으로 하여 카메라(110, 120, 130, 140)가 정확하게 설치된 경우를 고려한 값을 초기값으로 설정할 수 있다. 카메라(110, 120, 130, 140)가 기 설정된 카메라 각각의 설치 위치 및 자세로 정확하게 설치된 경우 단계 S25에서 구해지는 4개의 대응점 쌍의 세계 좌표는 서로 일치하여 위치 오차가 없을 것이다. 그러나 실제로는 카메라 장착 과정 또는 운행 과정 등에서 오차가 발생할 수 있으므로 대응점들 사이에 위치 오차가 발생할 수 있다. 여기서 위치 오차는 세계 좌표를 기준으로 대응점들 사이의 거리로 정의할 수 있다.Then, the world coordinates for the four pairs of corresponding points are obtained (S24). In step S24, the tilt angle ψ, roll angle Φ, and height Z of the reference camera 110 and the calibration camera 140 use values estimated by the above-described method, and the position coordinates (X, Y) ) And the fan angle θ are set to a predetermined initial value. For example, the pan angle θ of the front camera 110 is set to 0°, the right camera 140 is set to 90°, the rear camera 120 is set to 180°, and the left camera 130 is set to 270°. The position coordinates (x,y) may be set as the initial value by considering the case where the cameras 110, 120, 130, and 140 are correctly installed using the vehicle center O as the coordinate reference point. When the cameras 110, 120, 130, and 140 are correctly installed in the installation positions and postures of each of the preset cameras, the world coordinates of the four pairs of corresponding points obtained in step S25 will match each other and there will be no position error. However, in reality, an error may occur in a camera installation process or a driving process, and thus a position error may occur between corresponding points. Here, the position error may be defined as a distance between corresponding points based on world coordinates.

이후 교정부(300)는 기준 카메라(110)의 위치 좌표(X, Y) 및 팬 각도(θ)는 고정시킨 후, 교정 카메라(140)의 위치 좌표(X, Y) 및 팬 각도(θ)만을 변화시키면서 대응점쌍들간 위치 오차를 구한다. 그리고 대응점쌍들간 위치 오차가 최소화될 때의 교정 카메라(140)의 위치 좌표(X, Y) 및 팬 각도(θ)를 획득 및 저장하도록 한다(S25). Thereafter, the calibration unit 300 fixes the position coordinates (X, Y) and the pan angle (θ) of the reference camera 110, and then corrects the position coordinates (X, Y) and the pan angle (θ) of the calibration camera 140. The position error between pairs of corresponding points is obtained by changing the bay. Then, the position coordinates (X, Y) and the pan angle (θ) of the calibration camera 140 when the position error between the pair of corresponding points is minimized is acquired and stored (S25).

그리고 교정 카메라(140)를 기준 카메라로 재설정한 후, 단계 S21로 재진입하는 과정을 반복 수행하되, 카메라 모두에 대한 교정 값이 획득되었으면 동작 종료한다(S26). Then, after resetting the calibration camera 140 to the reference camera, the process of re-entry to step S21 is repeatedly performed, and if the calibration values for all cameras are obtained, the operation ends (S26).

이와 같이 본 발명에 따른 방법은 교정 카메라(140)의 위치 좌표(X, Y) 및 팬 각도(θ)는 두 카메라의 상대적 위치값에 관련된 외부 파라메타임을 고려하여, 4개의 카메라 중 인접되는 2 개 카메라를 기준 카메라와 교정 카메라로 순차 선택하면서, 이들 카메라가 동시 촬영한 교정판을 통해 다수의 대응점쌍을 획득하고, 이들의 위치 오차를 기반으로 카메라 각각의 위치 좌표(X, Y) 및 팬 각도(θ)를 추출할 수 있도록 한다. As described above, the method according to the present invention considers that the position coordinates (X, Y) and the pan angle (θ) of the calibration camera 140 are external parameters related to the relative position values of the two cameras, and two of the four cameras are adjacent. By sequentially selecting the cameras as a reference camera and a calibration camera, these cameras acquire multiple pairs of corresponding points through a calibration plate photographed at the same time, and the position coordinates (X, Y) and pan angle of each camera based on their position errors. Let (θ) be extracted.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and those skilled in the art to which the present invention pertains may make various modifications and variations without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are not intended to limit the technical spirit of the present invention, but to explain, and the scope of the technical spirit of the present invention is not limited by these embodiments. The scope of protection of the present invention should be interpreted by the claims below, and all technical spirits within the equivalent range should be interpreted as being included in the scope of the present invention.

Claims (6)

차량에 분산 설치된 n(n은 2 이상의 자연수)개의 카메라를 통해 카메라 시야각 중복 지점 각각에 배치되며 서로 상이한 이미지 패턴을 가지는 j(j는 2 이상의 자연수)개의 교정판 중 적어도 k(k는 2 이상의 자연수)개가 동시 촬영되는 n개의 영상을 획득하는 제1 단계;
상기 영상 각각에 포함되는 k개 교정판의 종류를 식별 및 분석하여, 상기 영상 각각에 대응되는 카메라를 식별 및 매칭하는 제2 단계;
상기 영상 각각에 포함되는 k개 교정판에서 i(i는 2 이상의 자연수)개의 특징점을 추출하고, 특징점간 거리 오차를 최소화시키는 교정 값을 카메라별로 획득 및 저장하는 제3 단계; 및
상기 n개의 카메라 중 인접 배치된 2개의 카메라를 기준 카메라와 교정 카메라로 순차 선택하면서, 상기 기준 카메라와 상기 교정 카메라를 통해 획득된 2 개의 영상에 동시 포함되는 교정판을 기반으로 i(i는 2개 이상의 자연수)개의 대응점쌍을 추출하고, 상기 i개의 대응점쌍간 위치 오차를 최소화시키는 교정 값을 카메라별로 추가 획득 및 저장하는 제4단계를 포함하는 차량 어라운드 뷰 생성을 위한 다중 카메라 교정 방법. At least k (k is a natural number of 2 or more) out of j (j is a natural number of 2 or more) calibration plates having different image patterns and are located at each of the overlapping points of the camera's viewing angle through n cameras distributed in the vehicle (n is a natural number of 2 or more) ) A first step of acquiring n images simultaneously photographed;
A second step of identifying and analyzing types of k calibration plates included in each of the images to identify and match cameras corresponding to each of the images;
A third step of extracting i (i is a natural number of 2 or more) feature points from the k calibration plates included in each of the images, and acquiring and storing a correction value for each camera to minimize a distance error between the feature points; And
While sequentially selecting two adjacent cameras among the n cameras as a reference camera and a calibration camera, i (i is 2 based on a calibration plate simultaneously included in the two images acquired through the reference camera and the calibration camera) And a fourth step of extracting and storing a correction value for minimizing the positional error between the i pairs of pairs, and extracting and storing the corresponding pair of points. 제1항에 있어서, 상기 j개의 교정판 각각은
마커가 삽입된 도형으로 구현되며, 상기 도형의 형상 및 크기는 동일하나, 상기 마커의 형상, 배치 위치, 색상 중 적어도 하나가 서로 상이한 것을 특징으로 하는 차량 어라운드 뷰 생성을 위한 다중 카메라 교정 방법. The method of claim 1, wherein each of the j calibration plates
A multi-camera calibration method for vehicle around view generation, characterized in that at least one of a shape, an arrangement position, and a color of the marker is different from each other, although the shape and size of the shape are the same as the shape in which the marker is inserted. 제2항에 있어서, 상기 도형은
차량 전장 방향에 대응되는 세로폭이 차량 전폭 방향에 대응되는 가로폭 보다 긴 마름모 형상으로 구현될 수 있는 것을 특징으로 하는 차량 어라운드 뷰 생성을 위한 다중 카메라 교정 방법. The method of claim 2, wherein the figure
Multi-camera calibration method for generating a vehicle around view, characterized in that the vertical width corresponding to the vehicle full-length direction can be implemented in a rhombus shape longer than the horizontal width corresponding to the vehicle full-width direction. 제1항에 있어서, 상기 제2 단계는
상기 j개의 교정판 각각의 이미지 패턴과 배치 위치를 저장하는 단계;
상기 j개의 교정판 각각의 이미지 패턴을 기반으로 상기 영상 각각에 포함되는 k개 교정판의 종류를 식별하는 단계; 및
상기 k개 교정판의 배치 위치를 기반으로 상기 영상 각각을 제공하는 카메라를 추정하고, 상기 카메라 추정 결과에 따라 상기 영상 각각에 대응되는 카메라를 매칭하는 단계를 포함하는 것을 특징으로 하는 차량 어라운드 뷰 생성을 위한 다중 카메라 교정 방법. The method of claim 1, wherein the second step
Storing an image pattern and a placement position of each of the j calibration plates;
Identifying the types of k calibration plates included in each of the images based on the image pattern of each of the j calibration plates; And
And estimating a camera providing each of the images based on an arrangement position of the k calibration plates, and matching a camera corresponding to each of the images according to the camera estimation result. Multi-camera calibration method for. 제1항에 있어서, 상기 제3 단계는
틸트 각도, 롤 각도, Z 좌표를 교정 값으로 획득 및 저장하는 것을 특징으로 하는 차량 어라운드 뷰 생성을 위한 다중 카메라 교정 방법. The method of claim 1, wherein the third step
A multi-camera calibration method for vehicle around view generation, characterized in that tilt angle, roll angle, and Z coordinates are obtained and stored as calibration values. 제5항에 있어서, 상기 제4 단계는
상기 n개의 카메라 중 어느 하나를 기준 카메라로 설정하고, 상기 기준 카메라의 현재 위치 좌표(X,Y) 및 팬 각도(θ)을 상기 기준 카메라의 교정 값으로 추가 획득 및 저장하는 단계;
상기 기준 카메라에 시계 방향 또는 반시계 방향으로 인접 배치된 카메라를 교정 카메라로 설정하는 단계;
상기 기준 카메라와 상기 교정 카메라를 통해 획득된 2 개의 영상에 동시 포함되는 교정판을 기반으로 i(i는 2개 이상의 자연수)개의 대응점쌍을 추출하는 단계;
상기 i개의 대응점쌍간 위치 오차를 최소화시키는 상기 교정 카메라의 위치 좌표(X,Y) 및 팬 각도(θ)를 상기 교정 카메라의 교정 값으로 추가 획득 및 저장하는 단계; 및
상기 교정 카메라를 새로운 기준 카메라로 재설정하는 단계를 포함하는 것을 특징으로 하는 차량 어라운드 뷰 생성을 위한 다중 카메라 교정 방법. The method of claim 5, wherein the fourth step
Setting any one of the n cameras as a reference camera, and additionally obtaining and storing the current position coordinates (X,Y) and pan angle (θ) of the reference cameras as calibration values of the reference cameras;
Setting a camera disposed adjacent to the reference camera clockwise or counterclockwise as a calibration camera;
Extracting i (i is a natural number of two or more) pairs of corresponding points based on a calibration plate simultaneously included in the reference camera and two images obtained through the calibration camera;
Additionally acquiring and storing the position coordinates (X,Y) and pan angle (θ) of the calibration camera, which minimize the position error between the pair of i corresponding points, as calibration values of the calibration camera; And
And resetting the calibration camera to a new reference camera.
KR1020180150165A 2018-11-28 2018-11-28 Multi-camera calibration method for generating around view monitoring KR102173315B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180150165A KR102173315B1 (en) 2018-11-28 2018-11-28 Multi-camera calibration method for generating around view monitoring

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180150165A KR102173315B1 (en) 2018-11-28 2018-11-28 Multi-camera calibration method for generating around view monitoring

Publications (2)

Publication Number Publication Date
KR20200063898A true KR20200063898A (en) 2020-06-05
KR102173315B1 KR102173315B1 (en) 2020-11-03

Family

ID=71089136

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180150165A KR102173315B1 (en) 2018-11-28 2018-11-28 Multi-camera calibration method for generating around view monitoring

Country Status (1)

Country Link
KR (1) KR102173315B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114550490A (en) * 2022-02-22 2022-05-27 北京信路威科技股份有限公司 Parking space statistical method and system for parking lot, computer equipment and storage medium
WO2022225937A1 (en) * 2021-04-19 2022-10-27 Argo AI, LLC Context aware verification for sensor pipelines

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008187564A (en) * 2007-01-31 2008-08-14 Sanyo Electric Co Ltd Camera calibration apparatus and method, and vehicle
KR20150125767A (en) 2014-04-30 2015-11-10 아진산업(주) Method for generating calibration indicator of camera for vehicle

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008187564A (en) * 2007-01-31 2008-08-14 Sanyo Electric Co Ltd Camera calibration apparatus and method, and vehicle
KR20150125767A (en) 2014-04-30 2015-11-10 아진산업(주) Method for generating calibration indicator of camera for vehicle

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022225937A1 (en) * 2021-04-19 2022-10-27 Argo AI, LLC Context aware verification for sensor pipelines
US11967122B2 (en) 2021-04-19 2024-04-23 Argo AI, LLC Context aware verification for sensor pipelines
CN114550490A (en) * 2022-02-22 2022-05-27 北京信路威科技股份有限公司 Parking space statistical method and system for parking lot, computer equipment and storage medium
CN114550490B (en) * 2022-02-22 2023-12-22 北京信路威科技股份有限公司 Parking space statistics method, system, computer equipment and storage medium of parking lot

Also Published As

Publication number Publication date
KR102173315B1 (en) 2020-11-03

Similar Documents

Publication Publication Date Title
US20080181488A1 (en) Camera calibration device, camera calibration method, and vehicle having the calibration device
US9978146B2 (en) Data-processing system and method for calibration of a vehicle surround view system
KR101249791B1 (en) Image generating method for around view of vehicle
KR101892595B1 (en) The surroundview system camera automatic calibration-only extrinsic parameters
JP7255718B2 (en) Information processing device, recognition support method, and computer program
EP3644281A1 (en) Calibration device, calibration chart, chart pattern generation device, and calibration method
US8406511B2 (en) Apparatus for evaluating images from a multi camera system, multi camera system and process for evaluating
WO2010109730A1 (en) Camera calibrator
US20170163949A1 (en) Apparatus using a projector, method, and storage medium
US8179448B2 (en) Auto depth field capturing system and method thereof
US10902271B2 (en) Recognizing a raised object on the basis of perspective images
JP5959311B2 (en) Data deriving apparatus and data deriving method
KR101583663B1 (en) Method for generating calibration indicator of camera for vehicle
US20170337700A1 (en) Registering cameras with virtual fiducials
JP6956051B2 (en) Image processing equipment, driving support system, image processing method and program
JP2010109451A (en) Vehicle surrounding monitoring device, and vehicle surrounding monitoring method
KR102173315B1 (en) Multi-camera calibration method for generating around view monitoring
JP2014165810A (en) Parameter acquisition device, parameter acquisition method and program
WO2015056826A1 (en) Camera image processing apparatus and method
KR20180127671A (en) Method of automatic calibration of AVM system
KR102083522B1 (en) Apparatus for generating around view monitoring
CN111260538B (en) Positioning and vehicle-mounted terminal based on long-baseline binocular fisheye camera
US20180061135A1 (en) Image display apparatus and image display method
CN116051652A (en) Parameter calibration method, electronic equipment and storage medium
KR101489468B1 (en) camera image calibration apparatus and method based on homography calculation

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant