KR20200137214A - Apparatus and method for evaluating a surround-view image for a vehicle - Google Patents
Apparatus and method for evaluating a surround-view image for a vehicle Download PDFInfo
- Publication number
- KR20200137214A KR20200137214A KR1020190063184A KR20190063184A KR20200137214A KR 20200137214 A KR20200137214 A KR 20200137214A KR 1020190063184 A KR1020190063184 A KR 1020190063184A KR 20190063184 A KR20190063184 A KR 20190063184A KR 20200137214 A KR20200137214 A KR 20200137214A
- Authority
- KR
- South Korea
- Prior art keywords
- camera
- image
- overlapping area
- vehicle
- correction pattern
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/02—Diagnosis, testing or measuring for television systems or their details for colour television signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H04N5/23238—
-
- H04N5/247—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Abstract
Description
본 발명은 차량용 서라운드 뷰 영상 평가 장치 및 방법에 관한 것으로서, 보다 상세하게는 차량용 서라운드 뷰 영상의 중첩영역에서의 정보에 기초하여 서라운드 뷰 영상의 정합성을 평가하는 차량용 서라운드 뷰 영상 평가 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for evaluating a surround view image for a vehicle, and more particularly, to an apparatus and method for evaluating a surround view image for a vehicle to evaluate the consistency of a surround view image based on information in an overlapping area of the vehicle surround view image. will be.
최근 출시되는 차량들은 사각지대(blind spot)로 인한 사고를 막고, 운전자 편의를 위해 후방 센서나 후방 카메라와 같은 ECU(Electronic Control Unit)를 장착하고 있다. 그러나 후방 카메라나 센서만으로는 차량 주변을 완벽하게 파악할 수 없다. 이러한 ECU는 운전자의 안전운전에 많은 도움을 주고 있으나, 운전자의 시야에서 벗어난 사각지대는 여전히 존재한다.Recently released vehicles are equipped with an ECU (Electronic Control Unit) such as a rear sensor or a rear camera for driver convenience to prevent accidents due to blind spots. However, it is not possible to fully understand the surroundings of the vehicle with only the rear camera or sensor. These ECUs help the driver a lot in safe driving, but there are still blind spots out of sight of the driver.
이러한 이유로 차량에 여러 대의 카메라를 장착하여 차량 주변상황을 운전자에게 영상으로 제공하는 SVM(Surround View Monitor) 시스템에 대한 연구가 활발히 진행되고 있다.For this reason, research on a Surround View Monitor (SVM) system that provides an image of a vehicle surrounding situation to a driver by mounting multiple cameras on a vehicle is being actively conducted.
이와 같은 서라운드 뷰 모니터 시스템은 차의 앞뒤와 옆면에 부착된 카메라를 통해 차 주위 공간을 차내에서 볼 수 있는 모니터로, 주차를 편하게 하기 위하여 개발된 장치이며, 즉 일반적으로 차량의 전, 후, 좌, 우 사방의 주변 상황에 대한 영상을 획득하여 운전자에게 제공함으로써 운전자가 차량의 주변상황을 쉽게 파악할 수 있도록 한다.Such a surround view monitor system is a monitor that allows you to view the space around the vehicle inside the vehicle through cameras attached to the front and rear and side surfaces of the vehicle, and is a device developed to facilitate parking. In addition, by acquiring images of the surrounding situation in all directions and providing it to the driver, the driver can easily grasp the surrounding situation of the vehicle.
또한 차량용 서라운드 뷰는 차량에 설치된 카메라가 촬영한 차량 주변의 영상을 합성하여 생성한 차량 외부 환경의 조감도 등의 영상이다. 각 카메라의 영상을 하나의 서라운드 뷰로 합성하기 위해서는 정밀한 카메라 설치 정보가 필요하다. In addition, the vehicle surround view is an image such as a bird's-eye view of the external environment of the vehicle generated by synthesizing images around the vehicle captured by a camera installed in the vehicle. In order to combine the images of each camera into one surround view, precise camera installation information is required.
다만 실제 기술 적용 시에는 이상적인 카메라 설치 정보를 알 수 없고 차량 및 카메라의 공차 등이 존재하기 때문에 서라운드 뷰 합성 시 각 카메라 영상 간의 경계부에서 정합 오차가 발생한다. 이러한 정합 오차는 하나의 서라운드 뷰의 성능 평가 지표로서 사용될 수 있다.However, when the actual technology is applied, the ideal camera installation information is not known and there are tolerances between the vehicle and the camera, so when the surround view is synthesized, a matching error occurs at the boundary between each camera image. This matching error can be used as an index for evaluating the performance of one surround view.
그러나 종래 정합성(정합 오차) 평가 방법은 차량으로부터 일정 거리 떨어진 영상 간 경계부에 존재하는 차선 등의 표식이 서라운드 뷰 영상에서 어긋난 정도를 확인한다. 따라서 서라운드 뷰의 경계부를 어떻게 설계하느냐에 따라 평가 결과가 달라질 수 있는 문제가 있다. 또한 종래의 방식은 차량을 정합성 평가용 표식이 있는 장소에 위치해야 하거나 대형 평가용 표식을 정해진 위치에 설치해야 하는 문제가 있다.However, the conventional method of evaluating the matching (matching error) checks the degree to which a mark such as a lane existing at a boundary between images distant from a vehicle is deviated from a surround view image. Therefore, there is a problem in that the evaluation result may vary depending on how the boundary of the surround view is designed. In addition, the conventional method has a problem in that the vehicle must be located at a place where there is a conformity evaluation mark or a large evaluation mark must be installed at a predetermined position.
본 발명의 배경기술로는 대한민국 등록특허공보 제10-1603609호(공고일 : 2016.03.28.공고)인 "차량용 어라운드 뷰 모니터링 시스템 및 이의 방법"이 있다.As a background technology of the present invention, there is a “around view monitoring system for vehicles and a method thereof” of Korean Patent Publication No. 10-1603609 (announcement date: 2016.03.28. Announcement).
본 발명의 일 측면에 따르면, 본 발명은 상기와 같은 문제점들을 개선하기 위하여 창안된 것으로, 차량용 서라운드 뷰 영상의 중첩영역에서의 정보에 기초하여 서라운드 뷰 영상의 정합성을 평가하는 차량용 서라운드 뷰 영상 평가 장치 및 방법을 제공하는 것을 목적으로 한다.According to an aspect of the present invention, the present invention was devised to improve the above problems, and a surround view image evaluation apparatus for a vehicle that evaluates the consistency of a surround view image based on information in an overlapped area of the surround view image for a vehicle. And to provide a method.
본 발명의 일 측면에 따른 차량용 서라운드 뷰 영상 평가 장치는, 적어도 2개 이상의 카메라를 포함하여, 차량용 서라운드 뷰(surround view) 영상 생성을 위한 차량 주변 영상을 촬영하는 카메라부; 상기 카메라부에서 촬영한 영상으로 조감도를 생성하는 영상처리부; 및 상기 카메라부의 제1카메라의 조감도 영상의 중첩영역 내 특정대상을 설정하여 상기 특정대상의 특징 데이터를 검출하고, 상기 제1카메라의 중첩영역을 포함하는 제2카메라의 중첩영역 내 특정대상을 설정하여 상기 특정대상의 특징 데이터를 검출하며, 상기 제1카메라 및 제2카메라 각각의 중첩영역 내 특정대상의 특징 데이터를 비교하여 그 차이를 통해 상기 제1카메라와 제2카메라 영상 간의 정합성을 평가하는 제어부;를 포함하는 것을 특징으로 한다.An apparatus for evaluating a surround view image for a vehicle according to an aspect of the present invention includes: a camera unit including at least two cameras to capture an image around a vehicle for generating a surround view image for a vehicle; An image processing unit for generating a bird's eye view from the image captured by the camera unit; And setting a specific object within the overlapping area of the first camera's bird's eye view image of the camera unit to detect feature data of the specific target, and setting a specific target within the overlapping area of the second camera including the overlapping area of the first camera. To detect the feature data of the specific object, compare the feature data of the specific object within the overlapping area of each of the first camera and the second camera, and evaluate the consistency between the first camera and the second camera image through the difference. It characterized in that it includes;
본 발명에서, 상기 제어부는, 상기 제1카메라 및 제2카메라의 조감도 영상의 중첩영역 내 특정대상의 영상 내 위치를 각각 검출하여, 상기 제1카메라 및 제2카메라 각각의 중첩영역 내 특정대상의 위치의 차이를 산출하는 에러 계산부;를 포함하는 것을 특징으로 한다.In the present invention, the control unit detects a position in an image of a specific object within an overlapping area of the aerial view images of the first camera and the second camera, respectively, and It characterized in that it comprises a; error calculation unit for calculating the difference in position.
본 발명에서, 상기 제어부는, 상기 에러 계산부에서 산출된 차이에 기초하여 중첩영역을 갖는 제1카메라와 제2카메라 영상 간의 정합성을 평가하는 정합성 평가부;를 포함하고, 상기 정합성 평가부는, 상기 제1카메라 및 제2카메라 영상에서 검출한 특정대상의 위치 차이값을 서라운드 뷰 정합성 평가 지표로 이용하는 것을 특징으로 한다.In the present invention, the control unit includes; a consistency evaluation unit for evaluating the consistency between the image of the first camera and the second camera having an overlapping area based on the difference calculated by the error calculation unit, the consistency evaluation unit, the It is characterized in that the position difference value of the specific object detected from the first camera and the second camera image is used as a surround view consistency evaluation index.
본 발명에서, 상기 정합성 평가부는, 상기 제1카메라 및 제2카메라 영상에서 특정대상을 복수 개 설정한 경우, 복수 개의 특정대상의 위치 차이값의 총합, 평균, MSE(Mean Square Error, 평균 제곱 오차) 및 SSIM(Structural Similarity Index, 구조적 유사 지수) 중 적어도 하나 이상의 산술 계산 결과를 해당 중첩영역의 서라운드 뷰 정합성 평가 지표로 이용하는 것을 특징으로 한다.In the present invention, the consistency evaluation unit, when a plurality of specific objects are set in the first and second camera images, the sum, average, mean square error (MSE) of the position difference values of the plurality of specific objects ) And at least one of Structural Similarity Index (SSIM) and the result of arithmetic calculation of at least one of the Structural Similarity Index (SSIM) as a surround view consistency evaluation index of a corresponding overlapped region.
본 발명에서, 상기 제어부는, 상기 카메라부의 조감도 영상의 중첩영역에 출력되는 기 설정된 보정패턴을 인식하는 보정 패턴 인식부;를 포함하는 것을 특징으로 한다.In the present invention, the control unit includes a correction pattern recognition unit for recognizing a preset correction pattern output on an overlapping area of the bird's eye view image of the camera unit.
본 발명에서, 상기 보정 패턴 인식부는, 상기 카메라부의 제1카메라의 조감도 영상의 중첩영역에 출력되는 기 설정된 보정패턴의 영상 내 위치 및 크기를 검출하며, 보정패턴 내 적어도 한 개 이상의 특정대상을 설정하는 것을 특징으로 한다.In the present invention, the correction pattern recognition unit detects the position and size in the image of the preset correction pattern output to the overlapping area of the bird's eye view image of the first camera of the camera unit, and sets at least one specific object in the correction pattern Characterized in that.
본 발명에서, 상기 제어부는, 상기 카메라부의 제1카메라의 조감도 영상의 중첩영역 내 출력되는 기 설정된 보정패턴과 상기 제1카메라의 중첩영역을 포함하는 제2카메라의 중첩영역 내 출력되는 기 설정된 보정패턴을 비교하여 상기 제1카메라와 제2카메라의 보정패턴 간의 크기 차이 및 위치 차이를 산출하고, 상기 제1카메라와 제2카메라의 영상의 보정패턴 내 특정대상의 위치 차이를 산출하는 것을 특징으로 한다.In the present invention, the control unit includes a preset correction pattern output in an overlapping area of a bird's eye view image of the first camera of the camera unit and a preset correction output in an overlapping area of the second camera including the overlapping area of the first camera Comparing the patterns to calculate a size difference and a position difference between the correction pattern of the first camera and the second camera, and calculating a position difference of a specific object in the correction pattern of the image of the first camera and the second camera. do.
본 발명에서, 상기 제어부는, 상기 제1카메라 및 제2카메라 영상에서 검출한 보정패턴의 크기 차이값과 위치 차이값의 합, 평균, MSE(Mean Square Error, 평균 제곱 오차) 및 SSIM(Structural Similarity Index, 구조적 유사 지수) 중 적어도 하나 이상의 산술 계산 결과를 해당 중첩영역의 서라운드 뷰 정합성 평가 지표로 이용하는 것을 특징으로 한다.In the present invention, the control unit includes a sum, average, mean square error (MSE), and structural similarity (SSIM) of the size difference value and the position difference value of the correction pattern detected from the first and second camera images. Index and structural similarity index) at least one arithmetic calculation result is used as a surround view consistency evaluation index of the overlapped region.
본 발명에서, 상기 제어부는, 상기 제1카메라 및 제2카메라 영상에서 검출한 보정패턴 내 특정대상을 복수 개 설정한 경우, 복수 개의 특정대상의 위치 차이값의 총합, 평균, MSE(Mean Square Error, 평균 제곱 오차) 및 SSIM(Structural Similarity Index, 구조적 유사 지수) 중 적어도 하나 이상의 산술 계산 결과를 해당 중첩영역의 서라운드 뷰 정합성 평가 지표로 이용하는 것을 특징으로 한다. In the present invention, when a plurality of specific objects in the correction pattern detected from the first camera and the second camera are set, the control unit includes a sum, average, and mean square error (MSE) of the position difference values of the plurality of specific objects. , Mean squared error) and SSIM (Structural Similarity Index, Structural Similarity Index), at least one arithmetic calculation result is used as a surround view consistency evaluation index of a corresponding overlapped region.
본 발명의 다른 측면에 따른 차량용 서라운드 뷰 영상 평가 방법은, 제어부가 차량용 서라운드 뷰(surround view) 영상 생성을 위해, 카메라부의 적어도 2개 이상의 카메라를 통해 촬영한 차량 주변 영상으로 생성된 조감도를 입력받는 단계; 상기 제어부가 상기 카메라부의 제1카메라의 조감도 영상의 중첩영역 내 특정대상을 설정하여 상기 특정대상의 특징 데이터를 검출하고, 상기 제1카메라의 중첩영역을 포함하는 제2카메라의 중첩영역 내 특정대상을 설정하여 상기 특정대상의 특징 데이터를 검출하는 단계; 및 상기 제어부가 상기 제1카메라 및 제2카메라 각각의 중첩영역 내 특정대상의 특징 데이터를 비교하여 그 차이를 통해 상기 제1카메라와 제2카메라 영상 간의 정합성을 평가하는 단계;를 포함하는 것을 특징으로 한다.In the vehicle surround view image evaluation method according to another aspect of the present invention, in order to generate a vehicle surround view image, a control unit receives a bird's-eye view generated as an image around a vehicle photographed through at least two cameras of the camera unit. step; The control unit detects feature data of the specific target by setting a specific target within the overlapping area of the first camera's bird's eye view image of the camera unit, and the specific target within the overlapping area of the second camera including the overlapping area of the first camera Detecting feature data of the specific object by setting And comparing, by the control unit, feature data of a specific object in an overlapped area of each of the first camera and the second camera, and evaluating the consistency between the first camera and the second camera image through the difference. To do.
본 발명은, 상기 제어부가 상기 제1카메라 및 제2카메라의 조감도 영상의 중첩영역 내 특정대상의 영상 내 위치를 각각 검출하여, 상기 제1카메라 및 제2카메라 각각의 중첩영역 내 특정대상의 위치의 차이를 산출하는 단계;를 더 포함하는 것을 특징으로 한다.In the present invention, the control unit detects the position of the specific object in the overlapping area of the first camera and the second camera, respectively, and the position of the specific target in the overlapping area of each of the first and second cameras. It characterized in that it further comprises; calculating the difference of.
본 발명의 상기 정합성을 평가하는 단계에서, 상기 제어부는, 상기 제1카메라 및 제2카메라 영상에서 검출한 특정대상의 위치 차이값을 서라운드 뷰 정합성 평가 지표로 이용하되, 상기 제1카메라 및 제2카메라 영상에서 특정대상을 복수 개 설정한 경우, 복수 개의 특정대상의 위치 차이값의 총합, 평균, MSE(Mean Square Error, 평균 제곱 오차) 및 SSIM(Structural Similarity Index, 구조적 유사 지수) 중 적어도 하나 이상의 산술 계산 결과를 해당 중첩영역의 서라운드 뷰 정합성 평가 지표로 이용하는 것을 특징으로 한다.In the step of evaluating the consistency of the present invention, the control unit uses the position difference value of the specific object detected from the first camera and the second camera image as a surround view consistency evaluation index, and the first camera and the second camera When multiple specific objects are set in the camera image, at least one of the sum, average, MSE (Mean Square Error) and SSIM (Structural Similarity Index) of the position difference values of the plurality of specific objects It is characterized in that the arithmetic calculation result is used as a surround view consistency evaluation index of a corresponding overlapped region.
본 발명은, 상기 제어부가 상기 카메라부의 조감도 영상의 중첩영역에 출력되는 기 설정된 보정패턴을 인식하는 단계;를 더 포함하는 것을 특징으로 한다.The present invention further comprises a step of recognizing, by the control unit, a preset correction pattern output on an overlapping area of the aerial view image of the camera unit.
본 발명의 상기 보정패턴을 인식하는 단계에서, 상기 제어부는, 상기 카메라부의 제1카메라의 조감도 영상의 중첩영역에 출력되는 기 설정된 보정패턴의 영상 내 위치 및 크기를 검출하며, 보정패턴 내 적어도 한 개 이상의 특정대상을 설정하는 것을 특징으로 한다.In the step of recognizing the correction pattern of the present invention, the control unit detects the position and size in the image of the preset correction pattern output on the overlapping area of the first camera's bird's eye view image of the camera unit, and at least one in the correction pattern. It is characterized in that more than one specific object is set.
본 발명에서, 상기 제어부는, 상기 카메라부의 제1카메라의 조감도 영상의 중첩영역 내 출력되는 기 설정된 보정패턴과 상기 제1카메라의 중첩영역을 포함하는 제2카메라의 중첩영역 내 출력되는 기 설정된 보정패턴을 비교하여 상기 제1카메라와 제2카메라의 보정패턴 간의 크기 차이 및 위치 차이를 산출하고, 상기 제1카메라와 제2카메라의 영상의 보정패턴 내 특정대상의 위치 차이를 산출하는 것을 특징으로 한다.In the present invention, the control unit includes a preset correction pattern output in an overlapping area of a bird's eye view image of the first camera of the camera unit and a preset correction output in an overlapping area of the second camera including the overlapping area of the first camera Comparing the patterns to calculate a size difference and a position difference between the correction pattern of the first camera and the second camera, and calculating a position difference of a specific object in the correction pattern of the image of the first camera and the second camera. do.
본 발명에서, 상기 제어부는, 상기 제1카메라 및 제2카메라 영상에서 검출한 보정패턴의 크기 차이값과 위치 차이값의 합, 평균, MSE(Mean Square Error, 평균 제곱 오차) 및 SSIM(Structural Similarity Index, 구조적 유사 지수) 중 적어도 하나 이상의 산술 계산 결과를 해당 중첩영역의 서라운드 뷰 정합성 평가 지표로 이용하고, 상기 제1카메라 및 제2카메라 영상에서 검출한 보정패턴 내 특정대상을 복수 개 설정한 경우, 복수 개의 특정대상의 위치 차이값의 총합, 평균, MSE 및 SSIM 중 적어도 하나 이상의 산술 계산 결과를 해당 중첩영역의 서라운드 뷰 정합성 평가 지표로 이용하는 것을 특징으로 한다.In the present invention, the control unit includes a sum, average, mean square error (MSE), and structural similarity (SSIM) of the size difference value and the position difference value of the correction pattern detected from the first and second camera images. Index, structural similarity index), using at least one arithmetic calculation result as a surround view consistency evaluation index of the overlapped area, and setting a plurality of specific targets in the correction pattern detected from the first and second camera images , Using the result of arithmetic calculation of at least one of the sum, average, MSE, and SSIM of position difference values of a plurality of specific objects as a surround view consistency evaluation index of a corresponding overlapped region.
본 발명의 일 실시예에 따른 차량용 서라운드 뷰 영상 평가 장치 및 방법은, 차량용 서라운드 뷰 영상의 중첩영역에서의 정보에 기초하여 정합 오차에 따른 서라운드 뷰 영상 평가 지표를 생성하고, 상기 서라운드 뷰 영상 평가 지표를 통해 서라운드 뷰 영상의 정합성을 평가함으로써, 평가자에게 안정적인 평가 결과와 평가 편리성을 제공할 수 있다.An apparatus and method for evaluating a surround view image for a vehicle according to an exemplary embodiment of the present invention generate a surround view image evaluation index according to a matching error based on information in an overlapping area of the surround view image for a vehicle, and the surround view image evaluation index By evaluating the consistency of the surround view image, it is possible to provide a stable evaluation result and evaluation convenience to the evaluator.
또한, 본 발명의 일 실시예에 따른 차량용 서라운드 뷰 영상 평가 장치 및 방법은, 차량 및 서라운드 뷰 종류와 관계없이 안정적이고, 정략적인 평가 결과를 획득할 수 있도록 함으로써, 평가 용이성을 확보할 수 있고, 차량을 평가 표식이 있는 장소에 배치하거나 대형 평가 표식을 설치하는 등의 작업을 하지 않고 설치에 용이한 평가 표식만을 설치함으로써 평가 작업의 편리성을 증대시킬 수 있고, 평가 표식이 설치된 장소를 설치 및 운영하는 비용을 감축할 수 있는 효과가 있다.In addition, the apparatus and method for evaluating a surround view image for a vehicle according to an exemplary embodiment of the present invention can secure ease of evaluation by enabling a stable and regular evaluation result to be obtained regardless of the type of vehicle and surround view, It is possible to increase the convenience of evaluation work by installing only the evaluation mark that is easy to install without performing tasks such as placing the vehicle in a place with the evaluation mark or installing a large evaluation mark. There is an effect that can reduce operating costs.
도 1은 본 발명의 일 실시예에 따른 차량용 서라운드 뷰 영상 평가 장치를 나타낸 블록구성도이다.
도 2는 본 발명의 일 실시예에 따른 차량용 서라운드 뷰 영상 평가 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 차량용 서라운드 뷰 영상 평가 장치 및 방법의 중첩영역 형상의 예시도이다.
도 4는 본 발명의 일 실시예에 따른 차량용 서라운드 뷰 영상 평가 장치 및 방법을 설명하기 위한 예시도이다.1 is a block diagram illustrating an apparatus for evaluating a surround view image for a vehicle according to an embodiment of the present invention.
2 is a flowchart illustrating a method for evaluating a surround view image for a vehicle according to an exemplary embodiment of the present invention.
3 is an exemplary diagram of a shape of an overlapping region of an apparatus and method for evaluating a surround view image for a vehicle according to an exemplary embodiment of the present invention.
4 is an exemplary diagram illustrating an apparatus and method for evaluating a surround view image for a vehicle according to an exemplary embodiment of the present invention.
이하, 첨부된 도면들을 참조하여 본 발명의 일 실시예에 따른 차량용 서라운드 뷰 영상 평가 장치 및 방법을 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. Hereinafter, an apparatus and method for evaluating a surround view image for a vehicle according to an embodiment of the present invention will be described with reference to the accompanying drawings. In this process, the thickness of the lines or the size of components shown in the drawings may be exaggerated for clarity and convenience of description.
또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In addition, terms to be described later are terms defined in consideration of functions in the present invention and may vary according to the intention or custom of users or operators. Therefore, definitions of these terms should be made based on the contents throughout the present specification.
또한, 본 명세서에서 설명된 구현은, 예컨대, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호로 구현될 수 있다. 단일 형태의 구현의 맥락에서만 논의(예컨대, 방법으로서만 논의)되었더라도, 논의된 특징의 구현은 또한 다른 형태(예컨대, 장치 또는 프로그램)로도 구현될 수 있다. 장치는 적절한 하드웨어, 소프트웨어 및 펌웨어 등으로 구현될 수 있다. 방법은, 예컨대, 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그래밍가능한 로직 디바이스 등을 포함하는 프로세싱 디바이스를 일반적으로 지칭하는 프로세서 등과 같은 장치에서 구현될 수 있다. 프로세서는 또한 최종-사용자 사이에 정보의 통신을 용이하게 하는 컴퓨터, 셀 폰, 휴대용/개인용 정보 단말기(personal digital assistant: "PDA") 및 다른 디바이스 등과 같은 통신 디바이스를 포함한다.In addition, the implementation described herein may be implemented in, for example, a method or process, an apparatus, a software program, a data stream or a signal. Although discussed only in the context of a single form of implementation (eg, only as a method), the implementation of the discussed features may also be implemented in other forms (eg, an apparatus or program). The device may be implemented with appropriate hardware, software and firmware. The method may be implemented in an apparatus such as a processor, which generally refers to a processing device including, for example, a computer, microprocessor, integrated circuit or programmable logic device, or the like. Processors also include communication devices such as computers, cell phones, personal digital assistants ("PDAs") and other devices that facilitate communication of information between end-users.
도 1은 본 발명의 일 실시예에 따른 차량용 서라운드 뷰 영상 평가 장치를 나타낸 블록구성도이고, 도 3은 본 발명의 일 실시예에 따른 차량용 서라운드 뷰 영상 평가 장치 및 방법의 중첩영역 형상의 예시도이며, 도 4는 본 발명의 일 실시예에 따른 차량용 서라운드 뷰 영상 평가 장치 및 방법을 설명하기 위한 예시도로서, 이를 참조하여 차량용 서라운드 뷰 영상 평가 장치를 설명하면 다음과 같다.1 is a block diagram showing an apparatus for evaluating a surround view image for a vehicle according to an exemplary embodiment of the present invention, and FIG. 3 is an exemplary view of an overlapped region shape of an apparatus and method for evaluating a surround view image for a vehicle according to an exemplary embodiment of the present invention. 4 is an exemplary diagram for explaining an apparatus and method for evaluating a surround view image for a vehicle according to an embodiment of the present invention. Referring to this, the apparatus for evaluating a surround view image for a vehicle will be described as follows.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 차량용 서라운드 뷰 영상 평가 장치는, 카메라부(10), 영상저장부(20), 영상처리부(30) 및 제어부(40)를 포함한다.As shown in FIG. 1, a vehicle surround view image evaluation apparatus according to an embodiment of the present invention includes a
먼저, SVM(Surround View Monitor)에서 실제 기술 적용 시에는 이상적인 카메라 설치 정보를 알 수 없고 차량 및 카메라의 공차 등이 존재하기 때문에 서라운드 뷰 합성 시 각 카메라 영상 간의 경계부에서 정합 오차가 발생한다. 이에 본 실시예에서는 상기 정합 오차를 이용하여 서라운드 뷰의 성능 평가 지표를 구성하는 것을 특징으로 한다.First, in SVM (Surround View Monitor), when the actual technology is applied, the ideal camera installation information is not known, and there are tolerances between the vehicle and the camera, so a matching error occurs at the boundary between each camera image during surround view synthesis. Accordingly, in the present embodiment, a performance evaluation index of a surround view is constructed using the matching error.
카메라부(10)는 적어도 2개 이상의 카메라를 포함하여, 차량용 서라운드 뷰(surround view) 영상 생성을 위한 차량 주변 영상을 촬영하는 것으로, 적어도 2개 이상의 카메라가 차량 전방향에 일정 간격으로 설치될 수 있다. The
본 실시예에서는 카메라부(10)가 제1카메라 및 제2카메라를 포함할 수 있으며, 제1카메라는 임의로 선정될 수 있으며, 제2카메라는 상기 제1카메라의 중첩영역을 포함하는 카메라를 의미할 수 있다. 그리고 카메라부(10)의 모든 카메라는 최소 1개의 다른 카메라와 공통으로 보이는 영역(중첩영역)이 영상 내에 존재하도록 설치될 수 있다. In this embodiment, the
영상저장부(20)는 카메라부(10)에서 촬영된 영상을 저장하는 것으로, 저장된 영상을 영상처리부(30) 및 제어부(40)에 제공할 수 있다.The
영상처리부(30)는 카메라부(10)에서 촬영한 영상으로 조감도를 생성하여 제어부(40)에 제공할 수 있다. 본 실시예에서, 조감도 생성에 사용되는 카메라 설치 정보는 평가의 대상이 될 수 있으며, 카메라 설치 정보는 차량에 카메라가 설치된 위치와 각도를 포함할 수 있다.The
제어부(40)는 카메라부(10)의 제1카메라의 조감도 영상의 중첩영역 내 특정대상을 설정하여 상기 특정대상의 특징 데이터를 검출하는 것으로, 에러 계산부(44) 및 정합성 평가부(46)를 포함하여, 제1카메라의 중첩영역을 포함하는 제2카메라의 중첩영역 내 특정대상을 설정하여 상기 특정대상의 특징 데이터를 검출한다. 그리고 제어부(40)는 제1카메라 및 제2카메라 각각의 중첩영역 내 특정대상의 특징 데이터를 비교하여 그 차이를 통해 상기 제1카메라와 제2카메라 영상 간의 정합성을 평가할 수 있다.The
이때, 에러 계산부(44)는 제1카메라 및 제2카메라의 조감도 영상의 중첩영역 내 특정대상의 영상 내 위치를 각각 검출하여, 상기 제1카메라 및 제2카메라 각각의 중첩영역 내 특정대상의 위치의 차이를 산출한다.At this time, the
그리고 정합성 평가부(46)는 에러 계산부(44)에서 산출된 차이에 기초하여 중첩영역을 갖는 제1카메라와 제2카메라 영상 간의 정합성을 평가하는 것으로, 상기 제1카메라 및 제2카메라 영상에서 검출한 특정대상의 위치 차이값을 서라운드 뷰 정합성 평가 지표로 이용할 수 있다. In addition, the
이때, 정합성 평가부(46)는 제1카메라 및 제2카메라 영상에서 특정대상을 복수 개 설정한 경우, 복수 개의 특정대상의 위치 차이값의 총합, 평균, MSE(Mean Square Error, 평균 제곱 오차) 및 SSIM(Structural Similarity Index, 구조적 유사 지수) 중 적어도 하나 이상의 산술 계산 결과를 해당 중첩영역의 서라운드 뷰 정합성 평가 지표로 이용할 수 있다. At this time, when a plurality of specific objects are set in the first camera and the second camera image, the
즉, 본 실시예에서는 카메라부(10)의 조감도 영상의 중첩영역 내 특정 보정패턴 없이, natural background에서도 성능 평가를 수행할 수 있다.That is, in the present embodiment, performance evaluation may be performed even on a natural background without a specific correction pattern within the overlapping area of the bird's eye view image of the
한편 제어부(40)는 카메라부(10)의 제1카메라의 조감도 영상의 중첩영역 내에 출력되는 기 설정된 보정패턴을 인식하는 보정 패턴 인식부(42)를 더 포함하며, 보정 패턴 인식부(42)는 카메라부(10)의 제1카메라의 조감도 영상의 중첩영역에 출력되는 기 설정된 보정패턴의 영상 내 위치 및 크기를 검출하고, 보정패턴 내 적어도 한 개 이상의 특정대상을 설정할 수 있다. Meanwhile, the
이때, 에러 계산부(44)는 카메라부(10)의 제1카메라의 조감도 영상의 중첩영역 내 출력되는 기 설정된 보정패턴과 상기 제1카메라의 중첩영역을 포함하는 제2카메라의 중첩영역 내 출력되는 기 설정된 보정패턴을 비교하여 상기 제1카메라와 제2카메라의 보정패턴 간의 크기 차이 및 위치 차이를 산출하고, 상기 제1카메라와 제2카메라의 영상의 보정패턴 내 특정대상의 위치 차이를 산출할 수 있다. At this time, the
그리고 정합성 평가부(46)는 제1카메라 및 제2카메라 영상에서 검출한 보정패턴의 크기 차이값과 위치 차이값의 합, 평균, MSE(Mean Square Error, 평균 제곱 오차) 및 SSIM(Structural Similarity Index, 구조적 유사 지수) 중 적어도 하나 이상의 산술 계산 결과를 해당 중첩영역의 서라운드 뷰 정합성 평가 지표로 이용할 수 있다. And the
또한, 정합성 평가부(46)는 제1카메라 및 제2카메라 영상에서 검출한 보정패턴 내 특정대상을 복수 개 설정한 경우, 복수 개의 특정대상의 위치 차이값의 총합, 평균, MSE(Mean Square Error, 평균 제곱 오차) 및 SSIM(Structural Similarity Index, 구조적 유사 지수) 중 적어도 하나 이상의 산술 계산 결과를 해당 중첩영역의 서라운드 뷰 정합성 평가 지표로 이용할 수 있다.In addition, when a plurality of specific objects in the correction pattern detected from the first and second camera images are set, the
보다 구체적으로, 도 3 및 도 4에 도시된 바를 참조하면, 제어부(40)는 제1카메라의 조감도 영상의 중첩영역(b)에 존재하는 보정패턴의 영상 내 위치 및 크기 또는 보정패턴 내 특정대상(a)의 영상 내 위치를 검출하고, 공통의 중첩영역을 갖는 제2카메라의 중첩영역에서도 상기 과정을 반복한다. 이때 보정패턴 내 특정대상은 한정되지 않으며 영상 내에서 분별 가능한 특정한 형태일 수 있다. More specifically, referring to the bars shown in FIGS. 3 and 4, the
그리고 도 3에 도시된 바와 같이, 제어부(40)는 제1카메라의 영상에서 검출한 보정패턴의 위치 또는 크기(PS1)와 제2카메라의 카메라 영상에서 검출한 보정패턴의 위치 또는 크기(PS1′)를 비교한다. 그리고 제어부(40)는 제1카메라의 영상에서 검출한 보정패턴 내 특정대상의 위치(P1)와 제2카메라의 영상에서 검출한 보정패턴 내 특정대상의 위치(P1′)를 비교한다. And, as shown in Figure 3, the
상기의 비교 과정에서 도출된 크기 또는 위치 차이를 사용하여 중첩영역을 갖는 두 카메라 영상 간의 정합성을 평가할 수 있다.Using the difference in size or position derived in the above comparison process, it is possible to evaluate the consistency between two camera images having an overlapping area.
즉 제어부(40)는 보정패턴의 크기 및 위치를 비교한 경우, 두 영상에서 검출한 보정패턴의 크기 차이를 
또한 제어부(40)는 보정패턴 내 특정대상의 위치를 비교한 경우, 두 영상에서 검출한 특정대상의 위치 차이를 
또한 본 실시예에서는, 차량에 3개 이상의 카메라가 설치되어 중첩영역이 2개 이상 존재할 경우, 각 중첩영역별로 서라운드 뷰 정합성 평가 지표를 생성할 수 있고, 2개 이상의 중첩영역으로 구성된 서라운드 뷰는 중첩영역들의 서라운드 뷰 정합성 평가 지표 값들의 총합, 평균, MSE 및 SSIM 중 적어도 하나 이상의 산술 계산 결과를 해당 중첩영역의 서라운드 뷰 정합성 평가 지표로 생성할 수도 있다.In addition, in this embodiment, when three or more cameras are installed in the vehicle and there are two or more overlapping areas, a surround view consistency evaluation index may be generated for each overlapping area, and a surround view composed of two or more overlapping areas is overlapped. A result of arithmetic calculation of at least one of the sum, average, MSE, and SSIM of surround view consistency evaluation index values of the regions may be generated as a surround view consistency evaluation index of the overlapped region.
도 2는 본 발명의 일 실시예에 따른 차량용 서라운드 뷰 영상 평가 방법을 설명하기 위한 흐름도로서, 이를 참조하여 차량용 서라운드 뷰 영상 평가 방법을 설명하면 다음과 같다.FIG. 2 is a flowchart illustrating a method of evaluating a surround view image for a vehicle according to an exemplary embodiment of the present invention, and a method of evaluating a surround view image for a vehicle will be described with reference to this.
도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 차량용 서라운드 뷰 영상 평가 방법은, 제어부(40)가 차량용 서라운드 뷰(surround view) 영상 생성을 위해, 카메라부(10)의 적어도 2개 이상의 카메라를 통해 촬영한 차량 주변 영상을 캡쳐하고(S10), 영상처리부(30)를 통해 상기 캡쳐한 영상으로 조감도를 생성한다(S20).As shown in FIG. 2, in the method for evaluating a surround view image for a vehicle according to an exemplary embodiment of the present invention, in order for the
이때, 카메라부(10)는 적어도 2개 이상의 카메라를 포함하여, 차량용 서라운드 뷰(surround view) 영상 생성을 위한 차량 주변 영상을 촬영하는 것으로, 적어도 2개 이상의 카메라가 차량 전방향에 일정 간격으로 설치될 수 있다. At this time, the
본 실시예에서는 카메라부(10)가 제1카메라 및 제2카메라를 포함할 수 있으며, 제1카메라는 임의로 선정될 수 있으며, 제2카메라는 상기 제1카메라의 중첩영역을 포함하는 카메라를 의미할 수 있다. 그리고 카메라부(10)의 모든 카메라는 최소 1개의 다른 카메라와 공통으로 보이는 영역(중첩영역)이 영상 내에 존재하도록 설치될 수 있다. In this embodiment, the
그리고 제어부(40)는 카메라부(10)의 제1카메라의 조감도 영상의 중첩영역 내에 출력되는 기 설정된 보정패턴을 인식한다(S30).In addition, the
이때, 제어부(40)는 카메라부(10)의 제1카메라의 조감도 영상의 중첩영역에 출력되는 기 설정된 보정패턴의 영상 내 위치 및 크기를 검출하고, 보정패턴 내 적어도 한 개 이상의 특정대상을 설정할 수 있다. At this time, the
그 다음 제어부(40)는 카메라부(10)의 제1카메라의 영상의 중첩영역 내 데이터와 제2카메라의 영상의 중첩영역 내 데이터를 비교하여 에러 계산을 수행한다(S40).Then, the
즉 제어부(40)는 카메라부(10)의 제1카메라의 조감도 영상의 중첩영역 내 출력되는 기 설정된 보정패턴과 상기 제1카메라의 중첩영역을 포함하는 제2카메라의 중첩영역 내 출력되는 기 설정된 보정패턴을 비교하여 상기 제1카메라와 제2카메라의 보정패턴 간의 크기 차이 및 위치 차이를 산출하고, 상기 제1카메라와 제2카메라의 영상의 보정패턴 내 특정대상의 위치 차이를 산출할 수 있다.That is, the
그리고 제어부(40)는 제1카메라 및 제2카메라 영상에서 검출한 보정패턴의 크기 차이값과 위치 차이값의 합, 평균, MSE(Mean Square Error, 평균 제곱 오차) 및 SSIM(Structural Similarity Index, 구조적 유사 지수) 중 적어도 하나 이상의 산술 계산 결과를 해당 중첩영역의 서라운드 뷰 정합성 평가 지표로 이용할 수 있다. In addition, the
또한, 제어부(40)는 제1카메라 및 제2카메라 영상에서 검출한 보정패턴 내 특정대상을 복수 개 설정한 경우, 복수 개의 특정대상의 위치 차이값의 총합, 평균, MSE(Mean Square Error, 평균 제곱 오차) 및 SSIM(Structural Similarity Index, 구조적 유사 지수) 중 적어도 하나 이상의 산술 계산 결과를 해당 중첩영역의 서라운드 뷰 정합성 평가 지표로 이용할 수 있다. 즉 이러한 서라운드 뷰 정합성 평가 지표를 이용하여 결과를 도출할 수 있다.In addition, when a plurality of specific objects in the correction pattern detected from the first camera and the second camera are set, the
한편, 본 실시예에서는 카메라부(10)의 조감도 영상의 중첩영역 내 특정 보정패턴 없이, natural background에서도 성능 평가를 수행할 수 있다.Meanwhile, in the present exemplary embodiment, performance evaluation may be performed even on a natural background without a specific correction pattern within the overlapping area of the bird's eye view image of the
즉, 제어부(40)는 카메라부(10)의 제1카메라의 조감도 영상의 중첩영역 내 특정대상을 설정하여 상기 특정대상의 특징 데이터를 검출하는 것으로, 제1카메라의 중첩영역을 포함하는 제2카메라의 중첩영역 내 특정대상을 설정하여 상기 특정대상의 특징 데이터를 검출한다. 그리고 제어부(40)는 제1카메라 및 제2카메라 각각의 중첩영역 내 특정대상의 특징 데이터를 비교하여 그 차이를 통해 상기 제1카메라와 제2카메라 영상 간의 정합성을 평가할 수 있다.That is, the
이때, 제어부(40)는 제1카메라 및 제2카메라의 조감도 영상의 중첩영역 내 특정대상의 영상 내 위치를 각각 검출하여, 상기 제1카메라 및 제2카메라 각각의 중첩영역 내 특정대상의 위치의 차이를 산출한다. 그리고 제어부(40)는 상기 산출된 차이에 기초하여 중첩영역을 갖는 제1카메라와 제2카메라 영상 간의 정합성을 평가하는 것으로, 상기 제1카메라 및 제2카메라 영상에서 검출한 특정대상의 위치 차이값을 서라운드 뷰 정합성 평가 지표로 이용할 수 있다. At this time, the
이때, 제어부(40)는 제1카메라 및 제2카메라 영상에서 특정대상을 복수 개 설정한 경우, 복수 개의 특정대상의 위치 차이값의 총합, 평균, MSE(Mean Square Error, 평균 제곱 오차) 및 SSIM(Structural Similarity Index, 구조적 유사 지수) 중 적어도 하나 이상의 산술 계산 결과를 해당 중첩영역의 서라운드 뷰 정합성 평가 지표로 이용할 수 있다. At this time, when a plurality of specific objects are set in the first camera and the second camera image, the
상술한 바와 같이, 본 발명의 일 실시예에 따른 차량용 서라운드 뷰 영상 평가 장치 및 방법은, 차량용 서라운드 뷰 영상의 중첩영역에서의 정보에 기초하여 정합 오차에 따른 서라운드 뷰 영상 평가 지표를 생성하고, 상기 서라운드 뷰 영상 평가 지표를 통해 서라운드 뷰 영상의 정합성을 평가함으로써, 평가자에게 안정적인 평가 결과와 평가 편리성을 제공할 수 있다.As described above, in the apparatus and method for evaluating a surround view image for a vehicle according to an exemplary embodiment of the present invention, a surround view image evaluation index according to a matching error is generated based on information in an overlapped area of the vehicle surround view image, and the By evaluating the consistency of the surround view image through the surround view image evaluation index, it is possible to provide the evaluator with a stable evaluation result and evaluation convenience.
또한, 본 발명의 일 실시예에 따른 차량용 서라운드 뷰 영상 평가 장치 및 방법은, 차량 및 서라운드 뷰 종류와 관계없이 안정적이고, 정략적인 평가 결과를 획득할 수 있도록 함으로써, 평가 용이성을 확보할 수 있고, 차량을 평가 표식이 있는 장소에 배치하거나 대형 평가 표식을 설치하는 등의 작업을 하지 않고 설치에 용이한 평가 표식만을 설치함으로써 평가 작업의 편리성을 증대시킬 수 있고, 평가 표식이 설치된 장소를 설치 및 운영하는 비용을 감축할 수 있는 효과가 있다.In addition, the apparatus and method for evaluating a surround view image for a vehicle according to an exemplary embodiment of the present invention can secure ease of evaluation by enabling a stable and regular evaluation result to be obtained regardless of the type of vehicle and surround view, It is possible to increase the convenience of evaluation work by installing only the evaluation mark that is easy to install without performing tasks such as placing the vehicle in a place with the evaluation mark or installing a large evaluation mark. There is an effect that can reduce operating costs.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.Although the present invention has been described with reference to the embodiments shown in the drawings, this is only illustrative, and those of ordinary skill in the field to which the technology pertains, various modifications and other equivalent embodiments are possible. I will understand.
따라서 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다.Therefore, the true technical protection scope of the present invention should be determined by the following claims.
10 : 카메라부
20 : 영상저장부
30 : 영상처리부
40 : 제어부
42 : 보정 패턴 인식부
44 : 에러 계산부
46 : 정합성 평가부10: camera unit
20: image storage unit
30: image processing unit
40: control unit
42: correction pattern recognition unit
44: error calculation unit
46: consistency evaluation unit
Claims (16)
상기 카메라부에서 촬영한 영상으로 조감도를 생성하는 영상처리부; 및
상기 카메라부의 제1카메라의 조감도 영상의 중첩영역 내 특정대상을 설정하여 상기 특정대상의 특징 데이터를 검출하고, 상기 제1카메라의 중첩영역을 포함하는 제2카메라의 중첩영역 내 특정대상을 설정하여 상기 특정대상의 특징 데이터를 검출하며, 상기 제1카메라 및 제2카메라 각각의 중첩영역 내 특정대상의 특징 데이터를 비교하여 그 차이를 통해 상기 제1카메라와 제2카메라 영상 간의 정합성을 평가하는 제어부;를 포함하는 차량용 서라운드 뷰 영상 평가 장치.
A camera unit for capturing an image around a vehicle for generating a surround view image for a vehicle, including at least two cameras;
An image processing unit for generating a bird's eye view from the image captured by the camera unit; And
By setting a specific object in the overlapping area of the first camera's bird's eye view image of the camera unit to detect feature data of the specific target, and setting a specific target in the overlapping area of the second camera including the overlapping area of the first camera A control unit that detects the feature data of the specific object, compares the feature data of the specific object in the overlapping area of each of the first camera and the second camera, and evaluates the consistency between the first camera and the second camera image through the difference A vehicle surround view image evaluation device comprising a.
상기 제어부는,
상기 제1카메라 및 제2카메라의 조감도 영상의 중첩영역 내 특정대상의 영상 내 위치를 각각 검출하여, 상기 제1카메라 및 제2카메라 각각의 중첩영역 내 특정대상의 위치의 차이를 산출하는 에러 계산부;를 포함하는 것을 특징으로 하는 차량용 서라운드 뷰 영상 평가 장치.
The method of claim 1,
The control unit,
Error calculation for calculating the difference between the position of the specific object in the overlapping area of the first and second cameras by detecting the position of the specific object in the image overlapping area of the bird's eye view image of the first camera and the second camera, respectively Unit; vehicle surround view image evaluation apparatus comprising a.
상기 제어부는,
상기 에러 계산부에서 산출된 차이에 기초하여 중첩영역을 갖는 제1카메라와 제2카메라 영상 간의 정합성을 평가하는 정합성 평가부;를 포함하고,
상기 정합성 평가부는,
상기 제1카메라 및 제2카메라 영상에서 검출한 특정대상의 위치 차이값을 서라운드 뷰 정합성 평가 지표로 이용하는 것을 특징으로 하는 차량용 서라운드 뷰 영상 평가 장치.
The method of claim 2,
The control unit,
Including; a consistency evaluation unit for evaluating the consistency between the image of the first camera and the second camera having an overlapping region based on the difference calculated by the error calculation unit,
The consistency evaluation unit,
A surround view image evaluation apparatus for a vehicle, characterized in that using the position difference value of the specific object detected from the first camera and the second camera image as a surround view consistency evaluation index.
상기 정합성 평가부는,
상기 제1카메라 및 제2카메라 영상에서 특정대상을 복수 개 설정한 경우, 복수 개의 특정대상의 위치 차이값의 총합, 평균, MSE(Mean Square Error, 평균 제곱 오차) 및 SSIM(Structural Similarity Index, 구조적 유사 지수) 중 적어도 하나 이상의 산술 계산 결과를 해당 중첩영역의 서라운드 뷰 정합성 평가 지표로 이용하는 것을 특징으로 하는 차량용 서라운드 뷰 영상 평가 장치.
The method of claim 3,
The consistency evaluation unit,
When a plurality of specific objects are set in the first and second camera images, the sum, average, MSE (Mean Square Error), and SSIM (Structural Similarity Index), structural A surround view image evaluation apparatus for a vehicle, characterized in that using at least one arithmetic calculation result of the similarity index) as a surround view consistency evaluation index of a corresponding overlapped region.
상기 제어부는,
상기 카메라부의 조감도 영상의 중첩영역에 출력되는 기 설정된 보정패턴을 인식하는 보정 패턴 인식부;를 포함하는 것을 특징으로 하는 차량용 서라운드 뷰 영상 평가 장치.
The method of claim 1,
The control unit,
And a correction pattern recognition unit for recognizing a preset correction pattern output on an overlapping area of the bird's eye view image of the camera unit.
상기 보정 패턴 인식부는,
상기 카메라부의 제1카메라의 조감도 영상의 중첩영역에 출력되는 기 설정된 보정패턴의 영상 내 위치 및 크기를 검출하며, 보정패턴 내 적어도 한 개 이상의 특정대상을 설정하는 것을 특징으로 하는 차량용 서라운드 뷰 영상 평가 장치.
The method of claim 5,
The correction pattern recognition unit,
A surround view image evaluation for a vehicle, characterized in that the camera unit detects the position and size in the image of the preset correction pattern output to the overlapping area of the first camera's bird's eye view image, and sets at least one specific object in the correction pattern. Device.
상기 제어부는,
상기 카메라부의 제1카메라의 조감도 영상의 중첩영역 내 출력되는 기 설정된 보정패턴과 상기 제1카메라의 중첩영역을 포함하는 제2카메라의 중첩영역 내 출력되는 기 설정된 보정패턴을 비교하여 상기 제1카메라와 제2카메라의 보정패턴 간의 크기 차이 및 위치 차이를 산출하고, 상기 제1카메라와 제2카메라의 영상의 보정패턴 내 특정대상의 위치 차이를 산출하는 것을 특징으로 하는 차량용 서라운드 뷰 영상 평가 장치.
The method of claim 6,
The control unit,
The first camera by comparing a preset correction pattern output in the overlapping area of the first camera's bird's eye view image of the camera unit with a preset correction pattern output in the overlapping area of the second camera including the overlapping area of the first camera. And calculating a size difference and a position difference between the correction pattern of the second camera and the second camera, and calculating a position difference of a specific object in the correction pattern of the image of the first camera and the second camera.
상기 제어부는,
상기 제1카메라 및 제2카메라 영상에서 검출한 보정패턴의 크기 차이값과 위치 차이값의 합, 평균, MSE(Mean Square Error, 평균 제곱 오차) 및 SSIM(Structural Similarity Index, 구조적 유사 지수) 중 적어도 하나 이상의 산술 계산 결과를 해당 중첩영역의 서라운드 뷰 정합성 평가 지표로 이용하는 것을 특징으로 하는 차량용 서라운드 뷰 영상 평가 장치.
The method of claim 7,
The control unit,
At least one of the sum, average, MSE (Mean Square Error), and SSIM (Structural Similarity Index) of the size difference value and the position difference value of the correction pattern detected from the first and second camera images An apparatus for evaluating a surround view image for a vehicle, characterized in that using the results of one or more arithmetic calculations as an index for evaluating a surround view consistency of a corresponding overlapped region.
상기 제어부는,
상기 제1카메라 및 제2카메라 영상에서 검출한 보정패턴 내 특정대상을 복수 개 설정한 경우, 복수 개의 특정대상의 위치 차이값의 총합, 평균, MSE(Mean Square Error, 평균 제곱 오차) 및 SSIM(Structural Similarity Index, 구조적 유사 지수) 중 적어도 하나 이상의 산술 계산 결과를 해당 중첩영역의 서라운드 뷰 정합성 평가 지표로 이용하는 것을 특징으로 하는 차량용 서라운드 뷰 영상 평가 장치.
The method of claim 7,
The control unit,
When a plurality of specific objects in the correction pattern detected from the first and second camera images are set, the sum, average, MSE (Mean Square Error) and SSIM ( A surround view image evaluation apparatus for a vehicle, characterized in that using at least one arithmetic calculation result of a Structural Similarity Index and a structural similarity index) as a surround view consistency evaluation index of a corresponding overlapped region.
상기 제어부가 상기 카메라부의 제1카메라의 조감도 영상의 중첩영역 내 특정대상을 설정하여 상기 특정대상의 특징 데이터를 검출하고, 상기 제1카메라의 중첩영역을 포함하는 제2카메라의 중첩영역 내 특정대상을 설정하여 상기 특정대상의 특징 데이터를 검출하는 단계; 및
상기 제어부가 상기 제1카메라 및 제2카메라 각각의 중첩영역 내 특정대상의 특징 데이터를 비교하여 그 차이를 통해 상기 제1카메라와 제2카메라 영상 간의 정합성을 평가하는 단계;를 포함하는 차량용 서라운드 뷰 영상 평가 방법.
Receiving, by the controller, a bird's-eye view generated as an image around the vehicle captured through at least two or more cameras of the camera unit to generate a surround view image for the vehicle;
The control unit detects feature data of the specific target by setting a specific target within the overlapping area of the first camera's bird's eye view image of the camera unit, and the specific target within the overlapping area of the second camera including the overlapping area of the first camera Detecting feature data of the specific object by setting And
Comprising, by the control unit, comparing feature data of a specific object in an overlapped area of each of the first and second cameras, and evaluating the consistency between the first and second camera images through the difference. Video evaluation method.
상기 제어부가 상기 제1카메라 및 제2카메라의 조감도 영상의 중첩영역 내 특정대상의 영상 내 위치를 각각 검출하여, 상기 제1카메라 및 제2카메라 각각의 중첩영역 내 특정대상의 위치의 차이를 산출하는 단계;를 더 포함하는 것을 특징으로 하는 차량용 서라운드 뷰 영상 평가 방법.
The method of claim 10,
The control unit detects each position in the image of the specific object in the overlapping area of the bird's eye view image of the first camera and the second camera, and calculates the difference in the position of the specific object in the overlapping area of each of the first and second cameras. A method for evaluating a surround view image for a vehicle, further comprising:
상기 정합성을 평가하는 단계에서, 상기 제어부는,
상기 제1카메라 및 제2카메라 영상에서 검출한 특정대상의 위치 차이값을 서라운드 뷰 정합성 평가 지표로 이용하되, 상기 제1카메라 및 제2카메라 영상에서 특정대상을 복수 개 설정한 경우, 복수 개의 특정대상의 위치 차이값의 총합, 평균, MSE(Mean Square Error, 평균 제곱 오차) 및 SSIM(Structural Similarity Index, 구조적 유사 지수) 중 적어도 하나 이상의 산술 계산 결과를 해당 중첩영역의 서라운드 뷰 정합성 평가 지표로 이용하는 것을 특징으로 하는 차량용 서라운드 뷰 영상 평가 방법.
The method of claim 11,
In the step of evaluating the consistency, the control unit,
The position difference value of the specific object detected from the first camera and the second camera image is used as a surround view consistency evaluation index, but when a plurality of specific objects are set in the first and second camera images, a plurality of specific objects Using the result of arithmetic calculation of at least one of the total, mean, MSE (Mean Square Error, Mean Square Error) and SSIM (Structural Similarity Index) of the target position difference value as a surround view consistency evaluation index of the overlapped area. A method for evaluating a surround view image for a vehicle, characterized in that.
상기 제어부가 상기 카메라부의 조감도 영상의 중첩영역에 출력되는 기 설정된 보정패턴을 인식하는 단계;를 더 포함하는 것을 특징으로 하는 차량용 서라운드 뷰 영상 평가 방법.
The method of claim 10,
And recognizing, by the control unit, a preset correction pattern output on an overlapping area of the bird's eye view image of the camera unit.
상기 보정패턴을 인식하는 단계에서, 상기 제어부는,
상기 카메라부의 제1카메라의 조감도 영상의 중첩영역에 출력되는 기 설정된 보정패턴의 영상 내 위치 및 크기를 검출하며, 보정패턴 내 적어도 한 개 이상의 특정대상을 설정하는 것을 특징으로 하는 차량용 서라운드 뷰 영상 평가 방법.
The method of claim 13,
In the step of recognizing the correction pattern, the control unit,
A surround view image evaluation for a vehicle, characterized in that the camera unit detects the position and size in the image of the preset correction pattern output to the overlapping area of the first camera's bird's eye view image, and sets at least one specific object in the correction pattern. Way.
상기 제어부는, 상기 카메라부의 제1카메라의 조감도 영상의 중첩영역 내 출력되는 기 설정된 보정패턴과 상기 제1카메라의 중첩영역을 포함하는 제2카메라의 중첩영역 내 출력되는 기 설정된 보정패턴을 비교하여 상기 제1카메라와 제2카메라의 보정패턴 간의 크기 차이 및 위치 차이를 산출하고, 상기 제1카메라와 제2카메라의 영상의 보정패턴 내 특정대상의 위치 차이를 산출하는 것을 특징으로 하는 차량용 서라운드 뷰 영상 평가 방법.
The method of claim 14,
The control unit compares a preset correction pattern output in an overlapping area of a bird's eye view image of the first camera of the camera unit and a preset correction pattern output in an overlapping area of a second camera including the overlapping area of the first camera. A surround view for a vehicle, comprising calculating a size difference and a position difference between the correction pattern of the first camera and the second camera, and calculating a position difference of a specific object in the correction pattern of the image of the first camera and the second camera. Video evaluation method.
상기 제어부는, 상기 제1카메라 및 제2카메라 영상에서 검출한 보정패턴의 크기 차이값과 위치 차이값의 합, 평균, MSE(Mean Square Error, 평균 제곱 오차) 및 SSIM(Structural Similarity Index, 구조적 유사 지수) 중 적어도 하나 이상의 산술 계산 결과를 해당 중첩영역의 서라운드 뷰 정합성 평가 지표로 이용하고, 상기 제1카메라 및 제2카메라 영상에서 검출한 보정패턴 내 특정대상을 복수 개 설정한 경우, 복수 개의 특정대상의 위치 차이값의 총합, 평균, MSE 및 SSIM 중 적어도 하나 이상의 산술 계산 결과를 해당 중첩영역의 서라운드 뷰 정합성 평가 지표로 이용하는 것을 특징으로 하는 차량용 서라운드 뷰 영상 평가 방법.The method of claim 15,
The control unit includes the sum, average, MSE (Mean Square Error) and SSIM (Structural Similarity Index, structural similarity) of the size difference value and the position difference value of the correction pattern detected from the first and second camera images. Index), when using the result of arithmetic calculation of at least one or more as a surround view consistency evaluation index of the overlapped area, and setting a plurality of specific targets in the correction pattern detected from the first and second camera images, A method for evaluating a surround view image for a vehicle, comprising using a result of arithmetic calculation of at least one of a sum, an average, an MSE, and an SSIM of a target position difference value as a surround view consistency evaluation index of a corresponding overlapped region.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190063184A KR102566120B1 (en) | 2019-05-29 | 2019-05-29 | Apparatus and method for evaluating a surround-view image for a vehicle |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190063184A KR102566120B1 (en) | 2019-05-29 | 2019-05-29 | Apparatus and method for evaluating a surround-view image for a vehicle |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200137214A true KR20200137214A (en) | 2020-12-09 |
| KR102566120B1 KR102566120B1 (en) | 2023-08-11 |
Family
ID=73787023
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190063184A KR102566120B1 (en) | 2019-05-29 | 2019-05-29 | Apparatus and method for evaluating a surround-view image for a vehicle |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102566120B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113012458A (en) * | 2021-02-07 | 2021-06-22 | 启迪云控(上海)汽车科技有限公司 | Multi-point road side perception target state monitoring management method and system |
| KR102384940B1 (en) * | 2020-12-23 | 2022-04-08 | 주식회사 텔레칩스 | Apparatus for detecting malfunction of cameras and method thereof |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140247352A1 (en) * | 2013-02-27 | 2014-09-04 | Magna Electronics Inc. | Multi-camera dynamic top view vision system |
| KR101614247B1 (en) * | 2015-05-20 | 2016-04-29 | 주식회사 와이즈오토모티브 | Apparatus for displaying image matching region of panorama image |
| US20160300113A1 (en) * | 2015-04-10 | 2016-10-13 | Bendix Commercial Vehicle Systems Llc | Vehicle 360° surround view system having corner placed cameras, and system and method for calibration thereof |
| KR20170111504A (en) * | 2016-03-28 | 2017-10-12 | 자동차부품연구원 | Method and Apparatus for Assessing an Image Match of an Around View Image for an Around View Monitor System |
-
2019
- 2019-05-29 KR KR1020190063184A patent/KR102566120B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140247352A1 (en) * | 2013-02-27 | 2014-09-04 | Magna Electronics Inc. | Multi-camera dynamic top view vision system |
| US20160300113A1 (en) * | 2015-04-10 | 2016-10-13 | Bendix Commercial Vehicle Systems Llc | Vehicle 360° surround view system having corner placed cameras, and system and method for calibration thereof |
| KR101614247B1 (en) * | 2015-05-20 | 2016-04-29 | 주식회사 와이즈오토모티브 | Apparatus for displaying image matching region of panorama image |
| KR20170111504A (en) * | 2016-03-28 | 2017-10-12 | 자동차부품연구원 | Method and Apparatus for Assessing an Image Match of an Around View Image for an Around View Monitor System |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102384940B1 (en) * | 2020-12-23 | 2022-04-08 | 주식회사 텔레칩스 | Apparatus for detecting malfunction of cameras and method thereof |
| CN113012458A (en) * | 2021-02-07 | 2021-06-22 | 启迪云控(上海)汽车科技有限公司 | Multi-point road side perception target state monitoring management method and system |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102566120B1 (en) | 2023-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113486796B (en) | Unmanned vehicle position detection method, unmanned vehicle position detection device, unmanned vehicle position detection equipment, storage medium and vehicle | |
| JP6141079B2 (en) | Image processing system, image processing apparatus, control method therefor, and program | |
| EP3641298B1 (en) | Method and device for capturing target object and video monitoring device | |
| US10268904B2 (en) | Vehicle vision system with object and lane fusion | |
| US10152816B2 (en) | Top-view image generating apparatus and method | |
| KR102566120B1 (en) | Apparatus and method for evaluating a surround-view image for a vehicle | |
| EP4068205A1 (en) | Method for tracking object within video frame sequence, automatic parking method, and apparatus therefor | |
| JP2017059003A5 (en) | ||
| US6697146B2 (en) | Range finder for finding range by image realization | |
| KR101660254B1 (en) | recognizing system of vehicle number for parking crossing gate | |
| JP2016053748A (en) | Driving support device and driving support method | |
| JP2009157581A (en) | Pedestrian detection device | |
| US20200242391A1 (en) | Object detection apparatus, object detection method, and computer-readable recording medium | |
| CN108376384B (en) | Method and device for correcting disparity map and storage medium | |
| WO2017090097A1 (en) | Outside recognition device for vehicle | |
| KR20210147405A (en) | Electronic device for performing object detection and operation mtehod thereof | |
| US20180060671A1 (en) | Image processing device, imaging device, equipment control system, equipment, image processing method, and recording medium storing program | |
| CN115578706A (en) | Lane line correction method and device, vehicle control unit and readable storage medium | |
| US11373327B2 (en) | Image processing device and method that determine a stop position in a parking frame using images from two cameras | |
| CN113643359A (en) | Target object positioning method, device, equipment and storage medium | |
| US11157755B2 (en) | Image processing apparatus | |
| JP6398294B2 (en) | Traveling lane recognition device and traveling lane recognition method | |
| JP2018073049A (en) | Image recognition device, image recognition system, and image recognition method | |
| JP6683079B2 (en) | Road edge detection device | |
| JP4995555B2 (en) | Image processing device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |