KR102566120B1 - Apparatus and method for evaluating a surround-view image for a vehicle - Google Patents
Apparatus and method for evaluating a surround-view image for a vehicle Download PDFInfo
- Publication number
- KR102566120B1 KR102566120B1 KR1020190063184A KR20190063184A KR102566120B1 KR 102566120 B1 KR102566120 B1 KR 102566120B1 KR 1020190063184 A KR1020190063184 A KR 1020190063184A KR 20190063184 A KR20190063184 A KR 20190063184A KR 102566120 B1 KR102566120 B1 KR 102566120B1
- Authority
- KR
- South Korea
- Prior art keywords
- camera
- overlapping area
- specific target
- unit
- surround
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/02—Diagnosis, testing or measuring for television systems or their details for colour television signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
차량용 서라운드 뷰 영상 평가 장치 및 방법이 개시된다. 본 발명의 차량용 서라운드 뷰 영상 평가 장치 및 방법은, 적어도 2개 이상의 카메라를 포함하여, 차량용 서라운드 뷰(surround view) 영상 생성을 위한 차량 주변 영상을 촬영하는 카메라부; 카메라부에서 촬영한 영상으로 조감도를 생성하는 영상처리부; 및 카메라부의 제1카메라의 조감도 영상의 중첩영역 내 특정대상을 설정하여 특정대상의 특징 데이터를 검출하고, 제1카메라의 중첩영역을 포함하는 제2카메라의 중첩영역 내 특정대상을 설정하여 특정대상의 특징 데이터를 검출하며, 제1카메라 및 제2카메라 각각의 중첩영역 내 특정대상의 특징 데이터를 비교하여 그 차이를 통해 제1카메라와 제2카메라 영상 간의 정합성을 평가하는 제어부;를 포함하는 것을 특징으로 한다.An apparatus and method for evaluating a surround view image for a vehicle are disclosed. An apparatus and method for evaluating a surround view image for a vehicle of the present invention includes at least two cameras and a camera unit for capturing an image around the vehicle for generating a surround view image for a vehicle; An image processing unit for generating a bird's eye view with an image captured by the camera unit; and detecting feature data of the specific object by setting a specific target within an overlapping area of the bird's eye view image of the first camera of the camera unit, and setting a specific target within an overlapping area of the second camera including the overlapping area of the first camera to set a specific target Detecting the feature data of the first camera and the second camera, respectively, compares the feature data of a specific target within the overlapping area, and evaluates the matching between the first camera and the second camera image through the difference; to be characterized
Description
본 발명은 차량용 서라운드 뷰 영상 평가 장치 및 방법에 관한 것으로서, 보다 상세하게는 차량용 서라운드 뷰 영상의 중첩영역에서의 정보에 기초하여 서라운드 뷰 영상의 정합성을 평가하는 차량용 서라운드 뷰 영상 평가 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for evaluating a surround-view image for a vehicle, and more particularly, to an apparatus and method for evaluating a surround-view image for a vehicle for evaluating the consistency of a surround-view image based on information in an overlapping region of the surround-view image for a vehicle. will be.
최근 출시되는 차량들은 사각지대(blind spot)로 인한 사고를 막고, 운전자 편의를 위해 후방 센서나 후방 카메라와 같은 ECU(Electronic Control Unit)를 장착하고 있다. 그러나 후방 카메라나 센서만으로는 차량 주변을 완벽하게 파악할 수 없다. 이러한 ECU는 운전자의 안전운전에 많은 도움을 주고 있으나, 운전자의 시야에서 벗어난 사각지대는 여전히 존재한다.Recently released vehicles are equipped with ECUs (Electronic Control Units) such as rear sensors or rear cameras to prevent accidents caused by blind spots and for driver convenience. However, it is not possible to fully grasp the surroundings of the vehicle with only the rear camera or sensors. Although these ECUs help the driver to drive safely, there are still blind spots out of the driver's field of vision.
이러한 이유로 차량에 여러 대의 카메라를 장착하여 차량 주변상황을 운전자에게 영상으로 제공하는 SVM(Surround View Monitor) 시스템에 대한 연구가 활발히 진행되고 있다.For this reason, research on a Surround View Monitor (SVM) system, which provides images of the vehicle's surroundings to the driver by mounting multiple cameras on the vehicle, is being actively conducted.
이와 같은 서라운드 뷰 모니터 시스템은 차의 앞뒤와 옆면에 부착된 카메라를 통해 차 주위 공간을 차내에서 볼 수 있는 모니터로, 주차를 편하게 하기 위하여 개발된 장치이며, 즉 일반적으로 차량의 전, 후, 좌, 우 사방의 주변 상황에 대한 영상을 획득하여 운전자에게 제공함으로써 운전자가 차량의 주변상황을 쉽게 파악할 수 있도록 한다.Such a surround view monitor system is a monitor that allows you to view the space around the vehicle from inside the vehicle through cameras attached to the front, rear and side surfaces of the vehicle, and is a device developed to facilitate parking. In this case, the image of the surrounding situation in all directions is obtained and provided to the driver so that the driver can easily grasp the surrounding situation of the vehicle.
또한 차량용 서라운드 뷰는 차량에 설치된 카메라가 촬영한 차량 주변의 영상을 합성하여 생성한 차량 외부 환경의 조감도 등의 영상이다. 각 카메라의 영상을 하나의 서라운드 뷰로 합성하기 위해서는 정밀한 카메라 설치 정보가 필요하다. In addition, the vehicle surround view is an image such as a bird's-eye view of the environment outside the vehicle generated by synthesizing images around the vehicle taken by a camera installed in the vehicle. In order to synthesize images from each camera into a single surround view, precise camera installation information is required.
다만 실제 기술 적용 시에는 이상적인 카메라 설치 정보를 알 수 없고 차량 및 카메라의 공차 등이 존재하기 때문에 서라운드 뷰 합성 시 각 카메라 영상 간의 경계부에서 정합 오차가 발생한다. 이러한 정합 오차는 하나의 서라운드 뷰의 성능 평가 지표로서 사용될 수 있다.However, when the actual technology is applied, since the ideal camera installation information is not known and there is a tolerance between the vehicle and the camera, a matching error occurs at the boundary between each camera image during surround view synthesis. This matching error may be used as a performance evaluation index of one surround view.
그러나 종래 정합성(정합 오차) 평가 방법은 차량으로부터 일정 거리 떨어진 영상 간 경계부에 존재하는 차선 등의 표식이 서라운드 뷰 영상에서 어긋난 정도를 확인한다. 따라서 서라운드 뷰의 경계부를 어떻게 설계하느냐에 따라 평가 결과가 달라질 수 있는 문제가 있다. 또한 종래의 방식은 차량을 정합성 평가용 표식이 있는 장소에 위치해야 하거나 대형 평가용 표식을 정해진 위치에 설치해야 하는 문제가 있다.However, in the conventional matching (matching error) evaluation method, the extent to which a mark such as a lane existing at a boundary between images at a predetermined distance from the vehicle is misaligned in the surround view image is checked. Therefore, there is a problem in that evaluation results may vary depending on how the boundary of the surround view is designed. In addition, the conventional method has a problem in that the vehicle must be located at a place where there is a mark for evaluation of conformity or a large mark for evaluation must be installed at a predetermined location.
본 발명의 배경기술로는 대한민국 등록특허공보 제10-1603609호(공고일 : 2016.03.28.공고)인 "차량용 어라운드 뷰 모니터링 시스템 및 이의 방법"이 있다.As the background art of the present invention, Korean Patent Registration No. 10-1603609 (published on March 28, 2016), "Around View Monitoring System for Vehicles and Method thereof" is provided.
본 발명의 일 측면에 따르면, 본 발명은 상기와 같은 문제점들을 개선하기 위하여 창안된 것으로, 차량용 서라운드 뷰 영상의 중첩영역에서의 정보에 기초하여 서라운드 뷰 영상의 정합성을 평가하는 차량용 서라운드 뷰 영상 평가 장치 및 방법을 제공하는 것을 목적으로 한다.According to one aspect of the present invention, the present invention was invented to improve the above problems, and a vehicle surround-view image evaluation apparatus for evaluating the consistency of a surround-view image based on information in an overlapping area of the vehicle surround-view image. and to provide a method.
본 발명의 일 측면에 따른 차량용 서라운드 뷰 영상 평가 장치는, 적어도 2개 이상의 카메라를 포함하여, 차량용 서라운드 뷰(surround view) 영상 생성을 위한 차량 주변 영상을 촬영하는 카메라부; 상기 카메라부에서 촬영한 영상으로 조감도를 생성하는 영상처리부; 및 상기 카메라부의 제1카메라의 조감도 영상의 중첩영역 내 특정대상을 설정하여 상기 특정대상의 특징 데이터를 검출하고, 상기 제1카메라의 중첩영역을 포함하는 제2카메라의 중첩영역 내 특정대상을 설정하여 상기 특정대상의 특징 데이터를 검출하며, 상기 제1카메라 및 제2카메라 각각의 중첩영역 내 특정대상의 특징 데이터를 비교하여 그 차이를 통해 상기 제1카메라와 제2카메라 영상 간의 정합성을 평가하는 제어부;를 포함하는 것을 특징으로 한다.An apparatus for evaluating a surround view image for a vehicle according to an aspect of the present invention includes at least two or more cameras, including a camera unit for capturing an image around the vehicle for generating a surround view image for a vehicle; an image processing unit for generating a bird's eye view using the image captured by the camera unit; and setting a specific target within an overlapping area of the bird's eye view image of the first camera of the camera unit to detect feature data of the specific target, and setting a specific target within an overlapping area of the second camera including the overlapping area of the first camera. to detect the feature data of the specific target, compare the feature data of the specific target in the overlapping area of each of the first camera and the second camera, and evaluate the matching between the first and second camera images through the difference It is characterized in that it includes; control unit.
본 발명에서, 상기 제어부는, 상기 제1카메라 및 제2카메라의 조감도 영상의 중첩영역 내 특정대상의 영상 내 위치를 각각 검출하여, 상기 제1카메라 및 제2카메라 각각의 중첩영역 내 특정대상의 위치의 차이를 산출하는 에러 계산부;를 포함하는 것을 특징으로 한다.In the present invention, the control unit detects the position in the image of the specific target within the overlapping area of the bird's eye view images of the first camera and the second camera, respectively, to determine the location of the specific target within the overlapping area of the first camera and the second camera It is characterized in that it includes; an error calculation unit that calculates the difference in position.
본 발명에서, 상기 제어부는, 상기 에러 계산부에서 산출된 차이에 기초하여 중첩영역을 갖는 제1카메라와 제2카메라 영상 간의 정합성을 평가하는 정합성 평가부;를 포함하고, 상기 정합성 평가부는, 상기 제1카메라 및 제2카메라 영상에서 검출한 특정대상의 위치 차이값을 서라운드 뷰 정합성 평가 지표로 이용하는 것을 특징으로 한다.In the present invention, the control unit includes a consistency evaluation unit that evaluates consistency between images of a first camera and a second camera having an overlapping area based on the difference calculated by the error calculation unit, wherein the consistency evaluation unit comprises the It is characterized in that a position difference value of a specific object detected from images of the first camera and the second camera is used as a surround view consistency evaluation index.
본 발명에서, 상기 정합성 평가부는, 상기 제1카메라 및 제2카메라 영상에서 특정대상을 복수 개 설정한 경우, 복수 개의 특정대상의 위치 차이값의 총합, 평균, MSE(Mean Square Error, 평균 제곱 오차) 및 SSIM(Structural Similarity Index, 구조적 유사 지수) 중 적어도 하나 이상의 산술 계산 결과를 해당 중첩영역의 서라운드 뷰 정합성 평가 지표로 이용하는 것을 특징으로 한다.In the present invention, the consistency evaluation unit, when a plurality of specific targets are set in the images of the first camera and the second camera, the sum of the position difference values of the plurality of specific targets, the average, MSE (Mean Square Error, Mean Square Error) ) and SSIM (Structural Similarity Index), a result of at least one arithmetic calculation is used as a surround view consistency evaluation index of the corresponding overlapping area.
본 발명에서, 상기 제어부는, 상기 카메라부의 조감도 영상의 중첩영역에 출력되는 기 설정된 보정패턴을 인식하는 보정 패턴 인식부;를 포함하는 것을 특징으로 한다.In the present invention, the controller may include a correction pattern recognition unit for recognizing a preset correction pattern output to an overlapping area of a bird's eye view image of the camera unit.
본 발명에서, 상기 보정 패턴 인식부는, 상기 카메라부의 제1카메라의 조감도 영상의 중첩영역에 출력되는 기 설정된 보정패턴의 영상 내 위치 및 크기를 검출하며, 보정패턴 내 적어도 한 개 이상의 특정대상을 설정하는 것을 특징으로 한다.In the present invention, the correction pattern recognizing unit detects the position and size in the image of the preset correction pattern output to the overlapping area of the bird's eye view image of the first camera of the camera unit, and sets at least one specific target in the correction pattern. It is characterized by doing.
본 발명에서, 상기 제어부는, 상기 카메라부의 제1카메라의 조감도 영상의 중첩영역 내 출력되는 기 설정된 보정패턴과 상기 제1카메라의 중첩영역을 포함하는 제2카메라의 중첩영역 내 출력되는 기 설정된 보정패턴을 비교하여 상기 제1카메라와 제2카메라의 보정패턴 간의 크기 차이 및 위치 차이를 산출하고, 상기 제1카메라와 제2카메라의 영상의 보정패턴 내 특정대상의 위치 차이를 산출하는 것을 특징으로 한다.In the present invention, the control unit may include a preset correction pattern output within an overlapping area of a bird's eye view image of a first camera of the camera unit and a preset correction output within an overlapping area of a second camera including an overlapping area of the first camera. Comparing the patterns to calculate the size difference and position difference between the correction patterns of the first camera and the second camera, and calculating the position difference of the specific target in the correction pattern of the images of the first camera and the second camera do.
본 발명에서, 상기 제어부는, 상기 제1카메라 및 제2카메라 영상에서 검출한 보정패턴의 크기 차이값과 위치 차이값의 합, 평균, MSE(Mean Square Error, 평균 제곱 오차) 및 SSIM(Structural Similarity Index, 구조적 유사 지수) 중 적어도 하나 이상의 산술 계산 결과를 해당 중첩영역의 서라운드 뷰 정합성 평가 지표로 이용하는 것을 특징으로 한다.In the present invention, the control unit calculates the sum of the size difference value and the position difference value of the correction pattern detected from the images of the first camera and the second camera, average, MSE (Mean Square Error), and SSIM (Structural Similarity) Index, structural similarity index) is characterized in that the arithmetic calculation result of at least one of them is used as an evaluation index for surround view consistency of the corresponding overlapping area.
본 발명에서, 상기 제어부는, 상기 제1카메라 및 제2카메라 영상에서 검출한 보정패턴 내 특정대상을 복수 개 설정한 경우, 복수 개의 특정대상의 위치 차이값의 총합, 평균, MSE(Mean Square Error, 평균 제곱 오차) 및 SSIM(Structural Similarity Index, 구조적 유사 지수) 중 적어도 하나 이상의 산술 계산 결과를 해당 중첩영역의 서라운드 뷰 정합성 평가 지표로 이용하는 것을 특징으로 한다. In the present invention, the control unit, when a plurality of specific objects in the correction pattern detected from the images of the first camera and the second camera are set, the sum, average, and MSE (Mean Square Error) of the position difference values of the plurality of specific objects , Mean Square Error) and SSIM (Structural Similarity Index), a result of at least one arithmetic calculation is used as a surround view consistency evaluation index of the corresponding overlapping area.
본 발명의 다른 측면에 따른 차량용 서라운드 뷰 영상 평가 방법은, 제어부가 차량용 서라운드 뷰(surround view) 영상 생성을 위해, 카메라부의 적어도 2개 이상의 카메라를 통해 촬영한 차량 주변 영상으로 생성된 조감도를 입력받는 단계; 상기 제어부가 상기 카메라부의 제1카메라의 조감도 영상의 중첩영역 내 특정대상을 설정하여 상기 특정대상의 특징 데이터를 검출하고, 상기 제1카메라의 중첩영역을 포함하는 제2카메라의 중첩영역 내 특정대상을 설정하여 상기 특정대상의 특징 데이터를 검출하는 단계; 및 상기 제어부가 상기 제1카메라 및 제2카메라 각각의 중첩영역 내 특정대상의 특징 데이터를 비교하여 그 차이를 통해 상기 제1카메라와 제2카메라 영상 간의 정합성을 평가하는 단계;를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, a vehicle surround view image evaluation method includes a control unit receiving a bird's eye view generated from images around the vehicle captured through at least two or more cameras of a camera unit in order to generate a vehicle surround view image. step; The control unit sets a specific target within an overlapping area of a bird's eye view image of a first camera of the camera unit, detects feature data of the specific target, and detects characteristic data of the specific target within an overlapping area of the second camera including the overlapping area of the first camera. Setting a to detect feature data of the specific target; and comparing feature data of a specific object within an overlapping area of each of the first camera and the second camera, and evaluating, by the control unit, matching between the images of the first camera and the second camera through the difference. to be
본 발명은, 상기 제어부가 상기 제1카메라 및 제2카메라의 조감도 영상의 중첩영역 내 특정대상의 영상 내 위치를 각각 검출하여, 상기 제1카메라 및 제2카메라 각각의 중첩영역 내 특정대상의 위치의 차이를 산출하는 단계;를 더 포함하는 것을 특징으로 한다.In the present invention, the control unit detects the position of a specific target within the overlapping region of the bird's eye view images of the first camera and the second camera, respectively, and the position of the specific target within the overlapping region of the first camera and the second camera, respectively. It is characterized in that it further comprises; calculating the difference of.
본 발명의 상기 정합성을 평가하는 단계에서, 상기 제어부는, 상기 제1카메라 및 제2카메라 영상에서 검출한 특정대상의 위치 차이값을 서라운드 뷰 정합성 평가 지표로 이용하되, 상기 제1카메라 및 제2카메라 영상에서 특정대상을 복수 개 설정한 경우, 복수 개의 특정대상의 위치 차이값의 총합, 평균, MSE(Mean Square Error, 평균 제곱 오차) 및 SSIM(Structural Similarity Index, 구조적 유사 지수) 중 적어도 하나 이상의 산술 계산 결과를 해당 중첩영역의 서라운드 뷰 정합성 평가 지표로 이용하는 것을 특징으로 한다.In the step of evaluating the consistency of the present invention, the control unit uses the position difference value of the specific target detected from the images of the first camera and the second camera as a surround view consistency evaluation index, When a plurality of specific objects are set in the camera image, at least one of the sum, average, MSE (Mean Square Error) and SSIM (Structural Similarity Index) of the position difference values of the plurality of specific objects It is characterized in that the arithmetic calculation result is used as an evaluation index for surround view consistency of the corresponding overlapping area.
본 발명은, 상기 제어부가 상기 카메라부의 조감도 영상의 중첩영역에 출력되는 기 설정된 보정패턴을 인식하는 단계;를 더 포함하는 것을 특징으로 한다.The present invention is characterized by further comprising the step of recognizing, by the control unit, a preset correction pattern output to an overlapping area of the bird's eye view image of the camera unit.
본 발명의 상기 보정패턴을 인식하는 단계에서, 상기 제어부는, 상기 카메라부의 제1카메라의 조감도 영상의 중첩영역에 출력되는 기 설정된 보정패턴의 영상 내 위치 및 크기를 검출하며, 보정패턴 내 적어도 한 개 이상의 특정대상을 설정하는 것을 특징으로 한다.In the step of recognizing the correction pattern of the present invention, the control unit detects the position and size in the image of the preset correction pattern output to the overlapping area of the bird's eye view image of the first camera of the camera unit, and at least one in the correction pattern. It is characterized by setting more than one specific target.
본 발명에서, 상기 제어부는, 상기 카메라부의 제1카메라의 조감도 영상의 중첩영역 내 출력되는 기 설정된 보정패턴과 상기 제1카메라의 중첩영역을 포함하는 제2카메라의 중첩영역 내 출력되는 기 설정된 보정패턴을 비교하여 상기 제1카메라와 제2카메라의 보정패턴 간의 크기 차이 및 위치 차이를 산출하고, 상기 제1카메라와 제2카메라의 영상의 보정패턴 내 특정대상의 위치 차이를 산출하는 것을 특징으로 한다.In the present invention, the control unit may include a preset correction pattern output within an overlapping area of a bird's eye view image of a first camera of the camera unit and a preset correction output within an overlapping area of a second camera including an overlapping area of the first camera. Comparing the patterns to calculate the size difference and position difference between the correction patterns of the first camera and the second camera, and calculating the position difference of the specific target in the correction pattern of the images of the first camera and the second camera do.
본 발명에서, 상기 제어부는, 상기 제1카메라 및 제2카메라 영상에서 검출한 보정패턴의 크기 차이값과 위치 차이값의 합, 평균, MSE(Mean Square Error, 평균 제곱 오차) 및 SSIM(Structural Similarity Index, 구조적 유사 지수) 중 적어도 하나 이상의 산술 계산 결과를 해당 중첩영역의 서라운드 뷰 정합성 평가 지표로 이용하고, 상기 제1카메라 및 제2카메라 영상에서 검출한 보정패턴 내 특정대상을 복수 개 설정한 경우, 복수 개의 특정대상의 위치 차이값의 총합, 평균, MSE 및 SSIM 중 적어도 하나 이상의 산술 계산 결과를 해당 중첩영역의 서라운드 뷰 정합성 평가 지표로 이용하는 것을 특징으로 한다.In the present invention, the control unit calculates the sum of the size difference value and the position difference value of the correction pattern detected from the images of the first camera and the second camera, average, MSE (Mean Square Error), and SSIM (Structural Similarity) Index, structural similarity index) is used as an evaluation index for the surround view consistency of the overlapping area, and a plurality of specific targets in the correction pattern detected from the images of the first camera and the second camera are set , the sum of the position difference values of a plurality of specific objects, the average, MSE, and SSIM, and at least one arithmetic calculation result is used as a surround view consistency evaluation index of the corresponding overlapping area.
본 발명의 일 실시예에 따른 차량용 서라운드 뷰 영상 평가 장치 및 방법은, 차량용 서라운드 뷰 영상의 중첩영역에서의 정보에 기초하여 정합 오차에 따른 서라운드 뷰 영상 평가 지표를 생성하고, 상기 서라운드 뷰 영상 평가 지표를 통해 서라운드 뷰 영상의 정합성을 평가함으로써, 평가자에게 안정적인 평가 결과와 평가 편리성을 제공할 수 있다.An apparatus and method for evaluating a surround-view image for a vehicle according to an embodiment of the present invention generates a surround-view image evaluation index according to a matching error based on information in an overlapping area of the surround-view image for a vehicle, and the evaluation index for the surround-view image for the vehicle By evaluating the consistency of the surround view image through , it is possible to provide stable evaluation results and evaluation convenience to the evaluator.
또한, 본 발명의 일 실시예에 따른 차량용 서라운드 뷰 영상 평가 장치 및 방법은, 차량 및 서라운드 뷰 종류와 관계없이 안정적이고, 정략적인 평가 결과를 획득할 수 있도록 함으로써, 평가 용이성을 확보할 수 있고, 차량을 평가 표식이 있는 장소에 배치하거나 대형 평가 표식을 설치하는 등의 작업을 하지 않고 설치에 용이한 평가 표식만을 설치함으로써 평가 작업의 편리성을 증대시킬 수 있고, 평가 표식이 설치된 장소를 설치 및 운영하는 비용을 감축할 수 있는 효과가 있다.In addition, the apparatus and method for evaluating a surround view image for a vehicle according to an embodiment of the present invention enable stable and quantitative evaluation results to be obtained regardless of the type of vehicle and surround view, thereby ensuring ease of evaluation, It is possible to increase the convenience of evaluation work by installing only evaluation markers that are easy to install without having to place vehicles in places with evaluation markers or install large evaluation markers. It has the effect of reducing operating costs.
도 1은 본 발명의 일 실시예에 따른 차량용 서라운드 뷰 영상 평가 장치를 나타낸 블록구성도이다.
도 2는 본 발명의 일 실시예에 따른 차량용 서라운드 뷰 영상 평가 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 차량용 서라운드 뷰 영상 평가 장치 및 방법의 중첩영역 형상의 예시도이다.
도 4는 본 발명의 일 실시예에 따른 차량용 서라운드 뷰 영상 평가 장치 및 방법을 설명하기 위한 예시도이다.1 is a block configuration diagram illustrating an apparatus for evaluating a surround view image for a vehicle according to an embodiment of the present invention.
2 is a flowchart illustrating a method for evaluating a surround view image for a vehicle according to an embodiment of the present invention.
3 is an exemplary view of an overlapping region shape of an apparatus and method for evaluating a surround view image for a vehicle according to an embodiment of the present invention.
4 is an exemplary diagram for explaining an apparatus and method for evaluating a surround view image for a vehicle according to an embodiment of the present invention.
이하, 첨부된 도면들을 참조하여 본 발명의 일 실시예에 따른 차량용 서라운드 뷰 영상 평가 장치 및 방법을 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. Hereinafter, an apparatus and method for evaluating a surround view image for a vehicle according to an embodiment of the present invention will be described with reference to the accompanying drawings. In this process, the thickness of lines or the size of components shown in the drawings may be exaggerated for clarity and convenience of explanation.
또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In addition, terms to be described later are terms defined in consideration of functions in the present invention, which may vary according to the intention or custom of a user or operator. Therefore, definitions of these terms will have to be made based on the content throughout this specification.
또한, 본 명세서에서 설명된 구현은, 예컨대, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호로 구현될 수 있다. 단일 형태의 구현의 맥락에서만 논의(예컨대, 방법으로서만 논의)되었더라도, 논의된 특징의 구현은 또한 다른 형태(예컨대, 장치 또는 프로그램)로도 구현될 수 있다. 장치는 적절한 하드웨어, 소프트웨어 및 펌웨어 등으로 구현될 수 있다. 방법은, 예컨대, 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그래밍가능한 로직 디바이스 등을 포함하는 프로세싱 디바이스를 일반적으로 지칭하는 프로세서 등과 같은 장치에서 구현될 수 있다. 프로세서는 또한 최종-사용자 사이에 정보의 통신을 용이하게 하는 컴퓨터, 셀 폰, 휴대용/개인용 정보 단말기(personal digital assistant: "PDA") 및 다른 디바이스 등과 같은 통신 디바이스를 포함한다.Further, implementations described herein may be implemented in, for example, a method or process, an apparatus, a software program, a data stream, or a signal. Even if discussed only in the context of a single form of implementation (eg, discussed only as a method), the implementation of features discussed may also be implemented in other forms (eg, an apparatus or program). The device may be implemented in suitable hardware, software and firmware. The method may be implemented in an apparatus such as a processor, which is generally referred to as a processing device including, for example, a computer, microprocessor, integrated circuit or programmable logic device or the like. Processors also include communication devices such as computers, cell phones, personal digital assistants ("PDAs") and other devices that facilitate communication of information between end-users.
도 1은 본 발명의 일 실시예에 따른 차량용 서라운드 뷰 영상 평가 장치를 나타낸 블록구성도이고, 도 3은 본 발명의 일 실시예에 따른 차량용 서라운드 뷰 영상 평가 장치 및 방법의 중첩영역 형상의 예시도이며, 도 4는 본 발명의 일 실시예에 따른 차량용 서라운드 뷰 영상 평가 장치 및 방법을 설명하기 위한 예시도로서, 이를 참조하여 차량용 서라운드 뷰 영상 평가 장치를 설명하면 다음과 같다.1 is a block configuration diagram showing an apparatus for evaluating a surround-view image for a vehicle according to an embodiment of the present invention, and FIG. 3 is an exemplary view of an overlapping region shape of an apparatus and method for evaluating a surround-view image for a vehicle according to an embodiment of the present invention. 4 is an exemplary diagram for explaining an apparatus and method for evaluating a surround-view image for a vehicle according to an embodiment of the present invention. The apparatus for evaluating a surround-view image for a vehicle will be described with reference to this.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 차량용 서라운드 뷰 영상 평가 장치는, 카메라부(10), 영상저장부(20), 영상처리부(30) 및 제어부(40)를 포함한다.As shown in FIG. 1 , an apparatus for evaluating a surround view image for a vehicle according to an embodiment of the present invention includes a
먼저, SVM(Surround View Monitor)에서 실제 기술 적용 시에는 이상적인 카메라 설치 정보를 알 수 없고 차량 및 카메라의 공차 등이 존재하기 때문에 서라운드 뷰 합성 시 각 카메라 영상 간의 경계부에서 정합 오차가 발생한다. 이에 본 실시예에서는 상기 정합 오차를 이용하여 서라운드 뷰의 성능 평가 지표를 구성하는 것을 특징으로 한다.First, when SVM (Surround View Monitor) is applied in practice, ideal camera installation information is not known and there is a tolerance between the vehicle and the camera, so a matching error occurs at the boundary between each camera image during surround view synthesis. Accordingly, in the present embodiment, a performance evaluation index of a surround view is configured using the matching error.
카메라부(10)는 적어도 2개 이상의 카메라를 포함하여, 차량용 서라운드 뷰(surround view) 영상 생성을 위한 차량 주변 영상을 촬영하는 것으로, 적어도 2개 이상의 카메라가 차량 전방향에 일정 간격으로 설치될 수 있다. The
본 실시예에서는 카메라부(10)가 제1카메라 및 제2카메라를 포함할 수 있으며, 제1카메라는 임의로 선정될 수 있으며, 제2카메라는 상기 제1카메라의 중첩영역을 포함하는 카메라를 의미할 수 있다. 그리고 카메라부(10)의 모든 카메라는 최소 1개의 다른 카메라와 공통으로 보이는 영역(중첩영역)이 영상 내에 존재하도록 설치될 수 있다. In this embodiment, the
영상저장부(20)는 카메라부(10)에서 촬영된 영상을 저장하는 것으로, 저장된 영상을 영상처리부(30) 및 제어부(40)에 제공할 수 있다.The
영상처리부(30)는 카메라부(10)에서 촬영한 영상으로 조감도를 생성하여 제어부(40)에 제공할 수 있다. 본 실시예에서, 조감도 생성에 사용되는 카메라 설치 정보는 평가의 대상이 될 수 있으며, 카메라 설치 정보는 차량에 카메라가 설치된 위치와 각도를 포함할 수 있다.The
제어부(40)는 카메라부(10)의 제1카메라의 조감도 영상의 중첩영역 내 특정대상을 설정하여 상기 특정대상의 특징 데이터를 검출하는 것으로, 에러 계산부(44) 및 정합성 평가부(46)를 포함하여, 제1카메라의 중첩영역을 포함하는 제2카메라의 중첩영역 내 특정대상을 설정하여 상기 특정대상의 특징 데이터를 검출한다. 그리고 제어부(40)는 제1카메라 및 제2카메라 각각의 중첩영역 내 특정대상의 특징 데이터를 비교하여 그 차이를 통해 상기 제1카메라와 제2카메라 영상 간의 정합성을 평가할 수 있다.The
이때, 에러 계산부(44)는 제1카메라 및 제2카메라의 조감도 영상의 중첩영역 내 특정대상의 영상 내 위치를 각각 검출하여, 상기 제1카메라 및 제2카메라 각각의 중첩영역 내 특정대상의 위치의 차이를 산출한다.At this time, the
그리고 정합성 평가부(46)는 에러 계산부(44)에서 산출된 차이에 기초하여 중첩영역을 갖는 제1카메라와 제2카메라 영상 간의 정합성을 평가하는 것으로, 상기 제1카메라 및 제2카메라 영상에서 검출한 특정대상의 위치 차이값을 서라운드 뷰 정합성 평가 지표로 이용할 수 있다. Further, the
이때, 정합성 평가부(46)는 제1카메라 및 제2카메라 영상에서 특정대상을 복수 개 설정한 경우, 복수 개의 특정대상의 위치 차이값의 총합, 평균, MSE(Mean Square Error, 평균 제곱 오차) 및 SSIM(Structural Similarity Index, 구조적 유사 지수) 중 적어도 하나 이상의 산술 계산 결과를 해당 중첩영역의 서라운드 뷰 정합성 평가 지표로 이용할 수 있다. In this case, when a plurality of specific targets are set in the images of the first camera and the second camera, the
즉, 본 실시예에서는 카메라부(10)의 조감도 영상의 중첩영역 내 특정 보정패턴 없이, natural background에서도 성능 평가를 수행할 수 있다.That is, in this embodiment, performance evaluation can be performed even in a natural background without a specific correction pattern within the overlapping area of the bird's eye view image of the
한편 제어부(40)는 카메라부(10)의 제1카메라의 조감도 영상의 중첩영역 내에 출력되는 기 설정된 보정패턴을 인식하는 보정 패턴 인식부(42)를 더 포함하며, 보정 패턴 인식부(42)는 카메라부(10)의 제1카메라의 조감도 영상의 중첩영역에 출력되는 기 설정된 보정패턴의 영상 내 위치 및 크기를 검출하고, 보정패턴 내 적어도 한 개 이상의 특정대상을 설정할 수 있다. Meanwhile, the
이때, 에러 계산부(44)는 카메라부(10)의 제1카메라의 조감도 영상의 중첩영역 내 출력되는 기 설정된 보정패턴과 상기 제1카메라의 중첩영역을 포함하는 제2카메라의 중첩영역 내 출력되는 기 설정된 보정패턴을 비교하여 상기 제1카메라와 제2카메라의 보정패턴 간의 크기 차이 및 위치 차이를 산출하고, 상기 제1카메라와 제2카메라의 영상의 보정패턴 내 특정대상의 위치 차이를 산출할 수 있다. At this time, the
그리고 정합성 평가부(46)는 제1카메라 및 제2카메라 영상에서 검출한 보정패턴의 크기 차이값과 위치 차이값의 합, 평균, MSE(Mean Square Error, 평균 제곱 오차) 및 SSIM(Structural Similarity Index, 구조적 유사 지수) 중 적어도 하나 이상의 산술 계산 결과를 해당 중첩영역의 서라운드 뷰 정합성 평가 지표로 이용할 수 있다. In addition, the
또한, 정합성 평가부(46)는 제1카메라 및 제2카메라 영상에서 검출한 보정패턴 내 특정대상을 복수 개 설정한 경우, 복수 개의 특정대상의 위치 차이값의 총합, 평균, MSE(Mean Square Error, 평균 제곱 오차) 및 SSIM(Structural Similarity Index, 구조적 유사 지수) 중 적어도 하나 이상의 산술 계산 결과를 해당 중첩영역의 서라운드 뷰 정합성 평가 지표로 이용할 수 있다.In addition, the
보다 구체적으로, 도 3 및 도 4에 도시된 바를 참조하면, 제어부(40)는 제1카메라의 조감도 영상의 중첩영역(b)에 존재하는 보정패턴의 영상 내 위치 및 크기 또는 보정패턴 내 특정대상(a)의 영상 내 위치를 검출하고, 공통의 중첩영역을 갖는 제2카메라의 중첩영역에서도 상기 과정을 반복한다. 이때 보정패턴 내 특정대상은 한정되지 않으며 영상 내에서 분별 가능한 특정한 형태일 수 있다. More specifically, referring to FIGS. 3 and 4 , the
그리고 도 3에 도시된 바와 같이, 제어부(40)는 제1카메라의 영상에서 검출한 보정패턴의 위치 또는 크기(PS1)와 제2카메라의 카메라 영상에서 검출한 보정패턴의 위치 또는 크기(PS1′)를 비교한다. 그리고 제어부(40)는 제1카메라의 영상에서 검출한 보정패턴 내 특정대상의 위치(P1)와 제2카메라의 영상에서 검출한 보정패턴 내 특정대상의 위치(P1′)를 비교한다. And as shown in FIG. 3, the
상기의 비교 과정에서 도출된 크기 또는 위치 차이를 사용하여 중첩영역을 갖는 두 카메라 영상 간의 정합성을 평가할 수 있다.The matching between the two camera images having an overlapping area can be evaluated using the size or position difference derived in the above comparison process.
즉 제어부(40)는 보정패턴의 크기 및 위치를 비교한 경우, 두 영상에서 검출한 보정패턴의 크기 차이를 
또한 제어부(40)는 보정패턴 내 특정대상의 위치를 비교한 경우, 두 영상에서 검출한 특정대상의 위치 차이를 
또한 본 실시예에서는, 차량에 3개 이상의 카메라가 설치되어 중첩영역이 2개 이상 존재할 경우, 각 중첩영역별로 서라운드 뷰 정합성 평가 지표를 생성할 수 있고, 2개 이상의 중첩영역으로 구성된 서라운드 뷰는 중첩영역들의 서라운드 뷰 정합성 평가 지표 값들의 총합, 평균, MSE 및 SSIM 중 적어도 하나 이상의 산술 계산 결과를 해당 중첩영역의 서라운드 뷰 정합성 평가 지표로 생성할 수도 있다.In addition, in this embodiment, when three or more cameras are installed in a vehicle and two or more overlapping areas exist, a surround view consistency evaluation index can be generated for each overlapping area, and the surround views composed of two or more overlapping areas overlap. A result of arithmetic calculation of at least one of the sum, average, MSE, and SSIM of the surround-view consistency evaluation index values of the regions may be generated as the surround-view consistency evaluation index of the corresponding overlapping region.
도 2는 본 발명의 일 실시예에 따른 차량용 서라운드 뷰 영상 평가 방법을 설명하기 위한 흐름도로서, 이를 참조하여 차량용 서라운드 뷰 영상 평가 방법을 설명하면 다음과 같다.2 is a flowchart illustrating a method for evaluating a surround-view image for a vehicle according to an embodiment of the present invention. Referring to this flowchart, the method for evaluating a surround-view image for a vehicle will be described as follows.
도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 차량용 서라운드 뷰 영상 평가 방법은, 제어부(40)가 차량용 서라운드 뷰(surround view) 영상 생성을 위해, 카메라부(10)의 적어도 2개 이상의 카메라를 통해 촬영한 차량 주변 영상을 캡쳐하고(S10), 영상처리부(30)를 통해 상기 캡쳐한 영상으로 조감도를 생성한다(S20).As shown in FIG. 2 , in the vehicle surround view image evaluation method according to an embodiment of the present invention, the
이때, 카메라부(10)는 적어도 2개 이상의 카메라를 포함하여, 차량용 서라운드 뷰(surround view) 영상 생성을 위한 차량 주변 영상을 촬영하는 것으로, 적어도 2개 이상의 카메라가 차량 전방향에 일정 간격으로 설치될 수 있다. At this time, the
본 실시예에서는 카메라부(10)가 제1카메라 및 제2카메라를 포함할 수 있으며, 제1카메라는 임의로 선정될 수 있으며, 제2카메라는 상기 제1카메라의 중첩영역을 포함하는 카메라를 의미할 수 있다. 그리고 카메라부(10)의 모든 카메라는 최소 1개의 다른 카메라와 공통으로 보이는 영역(중첩영역)이 영상 내에 존재하도록 설치될 수 있다. In this embodiment, the
그리고 제어부(40)는 카메라부(10)의 제1카메라의 조감도 영상의 중첩영역 내에 출력되는 기 설정된 보정패턴을 인식한다(S30).Then, the
이때, 제어부(40)는 카메라부(10)의 제1카메라의 조감도 영상의 중첩영역에 출력되는 기 설정된 보정패턴의 영상 내 위치 및 크기를 검출하고, 보정패턴 내 적어도 한 개 이상의 특정대상을 설정할 수 있다. At this time, the
그 다음 제어부(40)는 카메라부(10)의 제1카메라의 영상의 중첩영역 내 데이터와 제2카메라의 영상의 중첩영역 내 데이터를 비교하여 에러 계산을 수행한다(S40).Next, the
즉 제어부(40)는 카메라부(10)의 제1카메라의 조감도 영상의 중첩영역 내 출력되는 기 설정된 보정패턴과 상기 제1카메라의 중첩영역을 포함하는 제2카메라의 중첩영역 내 출력되는 기 설정된 보정패턴을 비교하여 상기 제1카메라와 제2카메라의 보정패턴 간의 크기 차이 및 위치 차이를 산출하고, 상기 제1카메라와 제2카메라의 영상의 보정패턴 내 특정대상의 위치 차이를 산출할 수 있다.That is, the
그리고 제어부(40)는 제1카메라 및 제2카메라 영상에서 검출한 보정패턴의 크기 차이값과 위치 차이값의 합, 평균, MSE(Mean Square Error, 평균 제곱 오차) 및 SSIM(Structural Similarity Index, 구조적 유사 지수) 중 적어도 하나 이상의 산술 계산 결과를 해당 중첩영역의 서라운드 뷰 정합성 평가 지표로 이용할 수 있다. In addition, the
또한, 제어부(40)는 제1카메라 및 제2카메라 영상에서 검출한 보정패턴 내 특정대상을 복수 개 설정한 경우, 복수 개의 특정대상의 위치 차이값의 총합, 평균, MSE(Mean Square Error, 평균 제곱 오차) 및 SSIM(Structural Similarity Index, 구조적 유사 지수) 중 적어도 하나 이상의 산술 계산 결과를 해당 중첩영역의 서라운드 뷰 정합성 평가 지표로 이용할 수 있다. 즉 이러한 서라운드 뷰 정합성 평가 지표를 이용하여 결과를 도출할 수 있다.In addition, when a plurality of specific targets are set in the correction pattern detected from the images of the first camera and the second camera, the
한편, 본 실시예에서는 카메라부(10)의 조감도 영상의 중첩영역 내 특정 보정패턴 없이, natural background에서도 성능 평가를 수행할 수 있다.Meanwhile, in the present embodiment, performance evaluation may be performed even in a natural background without a specific correction pattern within an overlapping region of a bird's eye view image of the
즉, 제어부(40)는 카메라부(10)의 제1카메라의 조감도 영상의 중첩영역 내 특정대상을 설정하여 상기 특정대상의 특징 데이터를 검출하는 것으로, 제1카메라의 중첩영역을 포함하는 제2카메라의 중첩영역 내 특정대상을 설정하여 상기 특정대상의 특징 데이터를 검출한다. 그리고 제어부(40)는 제1카메라 및 제2카메라 각각의 중첩영역 내 특정대상의 특징 데이터를 비교하여 그 차이를 통해 상기 제1카메라와 제2카메라 영상 간의 정합성을 평가할 수 있다.That is, the
이때, 제어부(40)는 제1카메라 및 제2카메라의 조감도 영상의 중첩영역 내 특정대상의 영상 내 위치를 각각 검출하여, 상기 제1카메라 및 제2카메라 각각의 중첩영역 내 특정대상의 위치의 차이를 산출한다. 그리고 제어부(40)는 상기 산출된 차이에 기초하여 중첩영역을 갖는 제1카메라와 제2카메라 영상 간의 정합성을 평가하는 것으로, 상기 제1카메라 및 제2카메라 영상에서 검출한 특정대상의 위치 차이값을 서라운드 뷰 정합성 평가 지표로 이용할 수 있다. At this time, the
이때, 제어부(40)는 제1카메라 및 제2카메라 영상에서 특정대상을 복수 개 설정한 경우, 복수 개의 특정대상의 위치 차이값의 총합, 평균, MSE(Mean Square Error, 평균 제곱 오차) 및 SSIM(Structural Similarity Index, 구조적 유사 지수) 중 적어도 하나 이상의 산술 계산 결과를 해당 중첩영역의 서라운드 뷰 정합성 평가 지표로 이용할 수 있다. At this time, when a plurality of specific objects are set in the images of the first camera and the second camera, the
상술한 바와 같이, 본 발명의 일 실시예에 따른 차량용 서라운드 뷰 영상 평가 장치 및 방법은, 차량용 서라운드 뷰 영상의 중첩영역에서의 정보에 기초하여 정합 오차에 따른 서라운드 뷰 영상 평가 지표를 생성하고, 상기 서라운드 뷰 영상 평가 지표를 통해 서라운드 뷰 영상의 정합성을 평가함으로써, 평가자에게 안정적인 평가 결과와 평가 편리성을 제공할 수 있다.As described above, an apparatus and method for evaluating a surround view image for a vehicle according to an embodiment of the present invention generates a surround view image evaluation index according to a matching error based on information in an overlapping area of a surround view image for a vehicle, and By evaluating the consistency of the surround-view image through the surround-view image evaluation index, stable evaluation results and evaluation convenience can be provided to the evaluator.
또한, 본 발명의 일 실시예에 따른 차량용 서라운드 뷰 영상 평가 장치 및 방법은, 차량 및 서라운드 뷰 종류와 관계없이 안정적이고, 정략적인 평가 결과를 획득할 수 있도록 함으로써, 평가 용이성을 확보할 수 있고, 차량을 평가 표식이 있는 장소에 배치하거나 대형 평가 표식을 설치하는 등의 작업을 하지 않고 설치에 용이한 평가 표식만을 설치함으로써 평가 작업의 편리성을 증대시킬 수 있고, 평가 표식이 설치된 장소를 설치 및 운영하는 비용을 감축할 수 있는 효과가 있다.In addition, the apparatus and method for evaluating a surround view image for a vehicle according to an embodiment of the present invention enable stable and quantitative evaluation results to be obtained regardless of the type of vehicle and surround view, thereby ensuring ease of evaluation, It is possible to increase the convenience of evaluation work by installing only evaluation markers that are easy to install without having to place vehicles in places with evaluation markers or install large evaluation markers. It has the effect of reducing operating costs.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.The present invention has been described with reference to the embodiments shown in the drawings, but this is only exemplary, and those skilled in the art can make various modifications and equivalent other embodiments. will understand
따라서 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다.Therefore, the true technical protection scope of the present invention should be determined by the claims below.
10 : 카메라부
20 : 영상저장부
30 : 영상처리부
40 : 제어부
42 : 보정 패턴 인식부
44 : 에러 계산부
46 : 정합성 평가부10: camera unit
20: image storage unit
30: image processing unit
40: control unit
42: correction pattern recognition unit
44: error calculation unit
46: consistency evaluation unit
Claims (16)
상기 카메라부에서 촬영한 영상으로 조감도를 생성하는 영상처리부; 및
상기 카메라부의 제1카메라의 조감도 영상의 중첩영역 내 특정대상을 설정하여 상기 특정대상의 특징 데이터를 검출하고, 상기 제1카메라의 중첩영역을 포함하는 제2카메라의 중첩영역 내 특정대상을 설정하여 상기 특정대상의 특징 데이터를 검출하며, 상기 제1카메라 및 제2카메라 각각의 중첩영역 내 특정대상의 특징 데이터를 비교하여 그 차이를 통해 상기 제1카메라와 제2카메라 영상 간의 정합성을 평가하는 제어부;를 포함하고,
상기 제어부는,
상기 카메라부의 조감도 영상의 중첩영역에 출력되는 기 설정된 보정패턴을 인식하는 보정 패턴 인식부;를 포함하고,
상기 보정 패턴 인식부는,
상기 카메라부의 제1카메라의 조감도 영상의 중첩영역에 출력되는 기 설정된 보정패턴의 영상 내 위치 및 크기를 검출하며, 보정패턴 내 적어도 한 개 이상의 특정대상을 설정하는 것을 특징으로 하는 차량용 서라운드 뷰 영상 평가 장치.
A camera unit including at least two or more cameras to capture an image around the vehicle for generating a surround view image for a vehicle;
an image processing unit for generating a bird's eye view using the image captured by the camera unit; and
By setting a specific target within the overlapping area of the bird's eye view image of the first camera of the camera unit to detect feature data of the specific target, and by setting a specific target within the overlapping area of the second camera including the overlapping area of the first camera A control unit that detects feature data of the specific target, compares feature data of the specific target within an overlapping area of each of the first camera and the second camera, and evaluates the matching between the images of the first camera and the second camera through the difference. including;
The control unit,
A correction pattern recognition unit recognizing a preset correction pattern output to an overlapping area of a bird's eye view image of the camera unit;
The correction pattern recognition unit,
Detecting a position and size in an image of a preset correction pattern output to an overlapping area of a bird's eye view image of the first camera of the camera unit, and setting at least one specific target in the correction pattern. Device.
상기 제어부는,
상기 제1카메라 및 제2카메라의 조감도 영상의 중첩영역 내 특정대상의 영상 내 위치를 각각 검출하여, 상기 제1카메라 및 제2카메라 각각의 중첩영역 내 특정대상의 위치의 차이를 산출하는 에러 계산부;를 포함하는 것을 특징으로 하는 차량용 서라운드 뷰 영상 평가 장치.
According to claim 1,
The control unit,
Error calculation for calculating the difference in the position of the specific target within the overlapping region of the first camera and the second camera by detecting the position in the image of the specific target within the overlapping region of the bird's eye view images of the first camera and the second camera, respectively. A surround view image evaluation apparatus for a vehicle comprising a; unit.
상기 제어부는,
상기 에러 계산부에서 산출된 차이에 기초하여 중첩영역을 갖는 제1카메라와 제2카메라 영상 간의 정합성을 평가하는 정합성 평가부;를 포함하고,
상기 정합성 평가부는,
상기 제1카메라 및 제2카메라 영상에서 검출한 특정대상의 위치 차이값을 서라운드 뷰 정합성 평가 지표로 이용하는 것을 특징으로 하는 차량용 서라운드 뷰 영상 평가 장치.
According to claim 2,
The control unit,
A consistency evaluation unit that evaluates consistency between images of a first camera and a second camera having an overlapping area based on the difference calculated by the error calculation unit;
The consistency evaluation unit,
A vehicle surround-view image evaluation apparatus, characterized in that using a position difference value of a specific target detected from the images of the first camera and the second camera as a surround-view consistency evaluation index.
상기 카메라부에서 촬영한 영상으로 조감도를 생성하는 영상처리부; 및
상기 카메라부의 제1카메라의 조감도 영상의 중첩영역 내 특정대상을 설정하여 상기 특정대상의 특징 데이터를 검출하고, 상기 제1카메라의 중첩영역을 포함하는 제2카메라의 중첩영역 내 특정대상을 설정하여 상기 특정대상의 특징 데이터를 검출하며, 상기 제1카메라 및 제2카메라 각각의 중첩영역 내 특정대상의 특징 데이터를 비교하여 그 차이를 통해 상기 제1카메라와 제2카메라 영상 간의 정합성을 평가하는 제어부;를 포함하고,
상기 제어부는,
상기 특정대상의 위치 차이에 기초하여 중첩영역을 갖는 제1카메라와 제2카메라 영상 간의 정합성을 평가하는 정합성 평가부;를 포함하고,
상기 정합성 평가부는,
상기 제1카메라 및 제2카메라 영상에서 특정대상을 복수 개 설정한 경우, 복수 개의 특정대상의 위치 차이값의 총합, 평균, MSE(Mean Square Error, 평균 제곱 오차) 및 SSIM(Structural Similarity Index, 구조적 유사 지수) 중 적어도 하나 이상의 산술 계산 결과를 해당 중첩영역의 서라운드 뷰 정합성 평가 지표로 이용하는 것을 특징으로 하는 차량용 서라운드 뷰 영상 평가 장치.
A camera unit including at least two or more cameras to take an image around the vehicle for generating a surround view image for a vehicle;
an image processing unit for generating a bird's eye view using the image captured by the camera unit; and
By setting a specific target within the overlapping area of the bird's eye view image of the first camera of the camera unit to detect feature data of the specific target, and by setting a specific target within the overlapping area of the second camera including the overlapping area of the first camera A control unit that detects feature data of the specific target, compares feature data of the specific target within an overlapping area of each of the first camera and the second camera, and evaluates matching between images of the first camera and the second camera through a difference therebetween. including;
The control unit,
A consistency evaluation unit that evaluates consistency between images of a first camera and a second camera having an overlapping area based on the positional difference of the specific target;
The consistency evaluation unit,
When a plurality of specific objects are set in the images of the first camera and the second camera, the sum of the position difference values of the plurality of specific objects, the average, MSE (Mean Square Error) and SSIM (Structural Similarity Index) An vehicular surround-view image evaluation apparatus characterized in that a result of arithmetic calculation of at least one of the similarity index) is used as a surround-view consistency evaluation index of a corresponding overlapping region.
상기 제어부는,
상기 카메라부의 제1카메라의 조감도 영상의 중첩영역 내 출력되는 기 설정된 보정패턴과 상기 제1카메라의 중첩영역을 포함하는 제2카메라의 중첩영역 내 출력되는 기 설정된 보정패턴을 비교하여 상기 제1카메라와 제2카메라의 보정패턴 간의 크기 차이 및 위치 차이를 산출하고, 상기 제1카메라와 제2카메라의 영상의 보정패턴 내 특정대상의 위치 차이를 산출하는 것을 특징으로 하는 차량용 서라운드 뷰 영상 평가 장치.
According to claim 1,
The control unit,
The first camera unit compares a preset correction pattern output in an overlapping area of the bird's eye view image of the first camera with a preset correction pattern output in an overlapping area of a second camera including the overlapping area of the first camera. A size difference and a positional difference between the correction patterns of the first camera and the second camera are calculated, and a positional difference of a specific target in the correction pattern of the images of the first camera and the second camera is calculated.
상기 제어부는,
상기 제1카메라 및 제2카메라 영상에서 검출한 보정패턴의 크기 차이값과 위치 차이값의 합, 평균, MSE(Mean Square Error, 평균 제곱 오차) 및 SSIM(Structural Similarity Index, 구조적 유사 지수) 중 적어도 하나 이상의 산술 계산 결과를 해당 중첩영역의 서라운드 뷰 정합성 평가 지표로 이용하는 것을 특징으로 하는 차량용 서라운드 뷰 영상 평가 장치.
According to claim 7,
The control unit,
At least among the sum of the size difference value and the position difference value of the correction pattern detected from the images of the first camera and the second camera, average, MSE (Mean Square Error), and SSIM (Structural Similarity Index) An apparatus for evaluating a surround-view image for a vehicle, characterized in that one or more arithmetic calculation results are used as a surround-view consistency evaluation index of a corresponding overlapping area.
상기 제어부는,
상기 제1카메라 및 제2카메라 영상에서 검출한 보정패턴 내 특정대상을 복수 개 설정한 경우, 복수 개의 특정대상의 위치 차이값의 총합, 평균, MSE(Mean Square Error, 평균 제곱 오차) 및 SSIM(Structural Similarity Index, 구조적 유사 지수) 중 적어도 하나 이상의 산술 계산 결과를 해당 중첩영역의 서라운드 뷰 정합성 평가 지표로 이용하는 것을 특징으로 하는 차량용 서라운드 뷰 영상 평가 장치.
According to claim 7,
The control unit,
When a plurality of specific objects are set in the correction pattern detected from the images of the first camera and the second camera, the sum of the position difference values of the plurality of specific objects, the average, MSE (Mean Square Error) and SSIM ( A vehicle surround-view image evaluation device, characterized in that for using at least one arithmetic calculation result of a structural similarity index (Structural Similarity Index) as a surround-view consistency evaluation index of a corresponding overlapping area.
상기 제어부가 상기 카메라부의 조감도 영상의 중첩영역에 출력되는 기 설정된 보정패턴을 인식하는 단계;
상기 제어부가 상기 카메라부의 제1카메라의 조감도 영상의 중첩영역 내 특정대상을 설정하여 상기 특정대상의 특징 데이터를 검출하고, 상기 제1카메라의 중첩영역을 포함하는 제2카메라의 중첩영역 내 특정대상을 설정하여 상기 특정대상의 특징 데이터를 검출하는 단계; 및
상기 제어부가 상기 제1카메라 및 제2카메라 각각의 중첩영역 내 특정대상의 특징 데이터를 비교하여 그 차이를 통해 상기 제1카메라와 제2카메라 영상 간의 정합성을 평가하는 단계;를 포함하고,
상기 보정패턴을 인식하는 단계에서, 상기 제어부는,
상기 카메라부의 제1카메라의 조감도 영상의 중첩영역에 출력되는 기 설정된 보정패턴의 영상 내 위치 및 크기를 검출하며, 보정패턴 내 적어도 한 개 이상의 특정대상을 설정하는 것을 특징으로 하는 차량용 서라운드 뷰 영상 평가 방법.
receiving, by a control unit, a bird's eye view generated from images around the vehicle captured through at least two or more cameras of a camera unit, in order to generate a surround view image for a vehicle;
Recognizing, by the controller, a preset correction pattern output to an overlapping area of a bird's eye view image of the camera unit;
The control unit sets a specific target within an overlapping area of a bird's eye view image of a first camera of the camera unit, detects feature data of the specific target, and detects characteristic data of the specific target within an overlapping area of the second camera including the overlapping area of the first camera. Setting a to detect feature data of the specific target; and
Comprising, by the control unit, comparing feature data of a specific target within an overlapping area of each of the first camera and the second camera and evaluating the matching between the images of the first camera and the second camera through the difference,
In the step of recognizing the correction pattern, the control unit,
Detecting a position and size in an image of a preset correction pattern output to an overlapping area of a bird's eye view image of the first camera of the camera unit, and setting at least one specific target in the correction pattern. method.
상기 제어부가 상기 제1카메라 및 제2카메라의 조감도 영상의 중첩영역 내 특정대상의 영상 내 위치를 각각 검출하여, 상기 제1카메라 및 제2카메라 각각의 중첩영역 내 특정대상의 위치의 차이를 산출하는 단계;를 더 포함하는 것을 특징으로 하는 차량용 서라운드 뷰 영상 평가 방법.
According to claim 10,
The control unit detects a location of a specific target within an overlapping region of bird's-eye view images of the first and second cameras, respectively, and calculates a difference in the position of the specific target within the overlapping region of the first and second cameras. A method for evaluating a surround view image for a vehicle, further comprising the step of:
상기 제어부가 상기 카메라부의 제1카메라의 조감도 영상의 중첩영역 내 특정대상을 설정하여 상기 특정대상의 특징 데이터를 검출하고, 상기 제1카메라의 중첩영역을 포함하는 제2카메라의 중첩영역 내 특정대상을 설정하여 상기 특정대상의 특징 데이터를 검출하는 단계; 및
상기 제어부가 상기 제1카메라 및 제2카메라 각각의 중첩영역 내 특정대상의 특징 데이터를 비교하여 그 차이를 통해 상기 제1카메라와 제2카메라 영상 간의 정합성을 평가하는 단계;를 포함하고,
상기 정합성을 평가하는 단계에서, 상기 제어부는,
상기 제1카메라 및 제2카메라 영상에서 검출한 특정대상의 위치 차이값을 서라운드 뷰 정합성 평가 지표로 이용하되, 상기 제1카메라 및 제2카메라 영상에서 특정대상을 복수 개 설정한 경우, 복수 개의 특정대상의 위치 차이값의 총합, 평균, MSE(Mean Square Error, 평균 제곱 오차) 및 SSIM(Structural Similarity Index, 구조적 유사 지수) 중 적어도 하나 이상의 산술 계산 결과를 해당 중첩영역의 서라운드 뷰 정합성 평가 지표로 이용하는 것을 특징으로 하는 차량용 서라운드 뷰 영상 평가 방법.
receiving, by a control unit, a bird's eye view generated from images around the vehicle captured through at least two or more cameras of a camera unit, in order to generate a surround view image for a vehicle;
The control unit sets a specific target within an overlapping area of a bird's eye view image of a first camera of the camera unit, detects feature data of the specific target, and detects characteristic data of the specific target within an overlapping area of the second camera including the overlapping area of the first camera. Setting a to detect feature data of the specific target; and
Comprising, by the control unit, comparing feature data of a specific target within an overlapping area of each of the first camera and the second camera and evaluating the matching between the images of the first camera and the second camera through the difference,
In the step of evaluating the consistency, the control unit,
The position difference value of the specific target detected from the images of the first camera and the second camera is used as a surround view consistency evaluation index, but when a plurality of specific targets are set in the images of the first camera and the second camera, a plurality of specific targets are set. Using the arithmetic calculation result of at least one of the sum of the position difference values of the objects, the average, MSE (Mean Square Error), and SSIM (Structural Similarity Index) as an evaluation index for the surround view consistency of the overlapping area Vehicle surround view image evaluation method, characterized in that.
상기 제어부는, 상기 카메라부의 제1카메라의 조감도 영상의 중첩영역 내 출력되는 기 설정된 보정패턴과 상기 제1카메라의 중첩영역을 포함하는 제2카메라의 중첩영역 내 출력되는 기 설정된 보정패턴을 비교하여 상기 제1카메라와 제2카메라의 보정패턴 간의 크기 차이 및 위치 차이를 산출하고, 상기 제1카메라와 제2카메라의 영상의 보정패턴 내 특정대상의 위치 차이를 산출하는 것을 특징으로 하는 차량용 서라운드 뷰 영상 평가 방법.
According to claim 10,
The control unit compares a preset correction pattern output in an overlapping area of a bird's eye view image of a first camera of the camera unit with a preset correction pattern output in an overlapping area of a second camera including an overlapping area of the first camera, A size difference and a position difference between the correction patterns of the first camera and the second camera are calculated, and a position difference of a specific target in the correction pattern of the images of the first camera and the second camera is calculated. Video evaluation method.
상기 제어부는, 상기 제1카메라 및 제2카메라 영상에서 검출한 보정패턴의 크기 차이값과 위치 차이값의 합, 평균, MSE(Mean Square Error, 평균 제곱 오차) 및 SSIM(Structural Similarity Index, 구조적 유사 지수) 중 적어도 하나 이상의 산술 계산 결과를 해당 중첩영역의 서라운드 뷰 정합성 평가 지표로 이용하고, 상기 제1카메라 및 제2카메라 영상에서 검출한 보정패턴 내 특정대상을 복수 개 설정한 경우, 복수 개의 특정대상의 위치 차이값의 총합, 평균, MSE 및 SSIM 중 적어도 하나 이상의 산술 계산 결과를 해당 중첩영역의 서라운드 뷰 정합성 평가 지표로 이용하는 것을 특징으로 하는 차량용 서라운드 뷰 영상 평가 방법.According to claim 15,
The control unit calculates the sum, average, MSE (Mean Square Error) and SSIM (Structural Similarity Index) of the size difference value and position difference value of the correction patterns detected from the images of the first camera and the second camera. Index) is used as an evaluation index for the surround view consistency of the corresponding overlapping area, and a plurality of specific targets are set in the correction pattern detected from the images of the first camera and the second camera. A method for evaluating a surround view image for a vehicle, characterized in that a result of arithmetic calculation of at least one of the sum, average, MSE, and SSIM of position difference values of objects is used as a surround view consistency evaluation index for a corresponding overlapping area.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190063184A KR102566120B1 (en) | 2019-05-29 | 2019-05-29 | Apparatus and method for evaluating a surround-view image for a vehicle |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190063184A KR102566120B1 (en) | 2019-05-29 | 2019-05-29 | Apparatus and method for evaluating a surround-view image for a vehicle |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200137214A KR20200137214A (en) | 2020-12-09 |
| KR102566120B1 true KR102566120B1 (en) | 2023-08-11 |
Family
ID=73787023
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190063184A KR102566120B1 (en) | 2019-05-29 | 2019-05-29 | Apparatus and method for evaluating a surround-view image for a vehicle |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102566120B1 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102384940B1 (en) * | 2020-12-23 | 2022-04-08 | 주식회사 텔레칩스 | Apparatus for detecting malfunction of cameras and method thereof |
| CN113012458A (en) * | 2021-02-07 | 2021-06-22 | 启迪云控(上海)汽车科技有限公司 | Multi-point road side perception target state monitoring management method and system |
| KR102681491B1 (en) | 2022-09-30 | 2024-07-05 | (주)스페이스인사이트 | All around view System for vehicle |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140247352A1 (en) * | 2013-02-27 | 2014-09-04 | Magna Electronics Inc. | Multi-camera dynamic top view vision system |
| KR101614247B1 (en) | 2015-05-20 | 2016-04-29 | 주식회사 와이즈오토모티브 | Apparatus for displaying image matching region of panorama image |
| US20160300113A1 (en) * | 2015-04-10 | 2016-10-13 | Bendix Commercial Vehicle Systems Llc | Vehicle 360° surround view system having corner placed cameras, and system and method for calibration thereof |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102441209B1 (en) * | 2016-03-28 | 2022-09-07 | 한국자동차연구원 | Method and Apparatus for Assessing an Image Match of an Around View Image for an Around View Monitor System |
-
2019
- 2019-05-29 KR KR1020190063184A patent/KR102566120B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140247352A1 (en) * | 2013-02-27 | 2014-09-04 | Magna Electronics Inc. | Multi-camera dynamic top view vision system |
| US20160300113A1 (en) * | 2015-04-10 | 2016-10-13 | Bendix Commercial Vehicle Systems Llc | Vehicle 360° surround view system having corner placed cameras, and system and method for calibration thereof |
| KR101614247B1 (en) | 2015-05-20 | 2016-04-29 | 주식회사 와이즈오토모티브 | Apparatus for displaying image matching region of panorama image |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200137214A (en) | 2020-12-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102566120B1 (en) | Apparatus and method for evaluating a surround-view image for a vehicle | |
| US10922561B2 (en) | Object recognition device and vehicle travel control system | |
| JP3759429B2 (en) | Obstacle detection apparatus and method | |
| US9986173B2 (en) | Surround-view camera system (VPM) online calibration | |
| WO2016117507A1 (en) | Section-line recognition device | |
| US8160300B2 (en) | Pedestrian detecting apparatus | |
| JP3656056B2 (en) | Interrupting vehicle detection device and method | |
| US6697146B2 (en) | Range finder for finding range by image realization | |
| CN108376384B (en) | Method and device for correcting disparity map and storage medium | |
| CN112184827B (en) | Method and device for calibrating multiple cameras | |
| JP2016053748A (en) | Driving support device and driving support method | |
| JP6243758B2 (en) | Vehicle periphery monitoring device, vehicle periphery monitoring method, and program | |
| JP3868915B2 (en) | Forward monitoring apparatus and method | |
| JP6577595B2 (en) | Vehicle external recognition device | |
| US11373327B2 (en) | Image processing device and method that determine a stop position in a parking frame using images from two cameras | |
| JP5045628B2 (en) | Lane departure prevention device | |
| KR102629639B1 (en) | Apparatus and method for determining position of dual camera for vehicle | |
| US20180060671A1 (en) | Image processing device, imaging device, equipment control system, equipment, image processing method, and recording medium storing program | |
| JP7064400B2 (en) | Object detection device | |
| JP2018073049A (en) | Image recognition device, image recognition system, and image recognition method | |
| JP6683079B2 (en) | Road edge detection device | |
| JP4995555B2 (en) | Image processing device | |
| JP6477246B2 (en) | Road marking detection device and road marking detection method | |
| KR102681321B1 (en) | Performance evaluation apparatus for highway driving assist system that calculates distance using dual cameras and method thereof | |
| KR102597238B1 (en) | Apparatus and method for evaluating lane keeping assist system using dual camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |