KR102441209B1 - Method and Apparatus for Assessing an Image Match of an Around View Image for an Around View Monitor System - Google Patents

Method and Apparatus for Assessing an Image Match of an Around View Image for an Around View Monitor System Download PDF

Info

Publication number
KR102441209B1
KR102441209B1 KR1020160037080A KR20160037080A KR102441209B1 KR 102441209 B1 KR102441209 B1 KR 102441209B1 KR 1020160037080 A KR1020160037080 A KR 1020160037080A KR 20160037080 A KR20160037080 A KR 20160037080A KR 102441209 B1 KR102441209 B1 KR 102441209B1
Authority
KR
South Korea
Prior art keywords
image
reference line
around
line
evaluating
Prior art date
Application number
KR1020160037080A
Other languages
Korean (ko)
Other versions
KR20170111504A (en
Inventor
노형주
송광열
이정우
임동준
Original Assignee
한국자동차연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국자동차연구원 filed Critical 한국자동차연구원
Priority to KR1020160037080A priority Critical patent/KR102441209B1/en
Publication of KR20170111504A publication Critical patent/KR20170111504A/en
Application granted granted Critical
Publication of KR102441209B1 publication Critical patent/KR102441209B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H04N5/2257—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Analysis (AREA)

Abstract

AVM 시스템 어라운드 영상 정합성 평가 방법및 장치를 개시한다.
본 실시예는 차량의 주변에 직선을 두고 차량에 장착된 전, 후, 좌우의 광각 카메라 또는 이와 상응하는 시스템을 이용하여 촬영된 AVM 영상 내의 직선에 대한 일치성, 기울어짐, 구부러짐을 평가하고, 컬러 유사도를 이용하여 컬러 정합도를 평가하는 AVM 시스템 어라운드 영상 정합성 평가 방법및 장치를 제공한다.Disclosed are a method and apparatus for evaluating AVM system-around image consistency.
This embodiment evaluates the consistency, inclination, and bending of straight lines in the AVM image taken using front, rear, left and right wide-angle cameras or a corresponding system mounted on the vehicle with a straight line around the vehicle, Provided are an AVM system-around image consistency evaluation method and apparatus for evaluating color matching using color similarity.

Description

AVM 시스템 어라운드 영상 정합성 평가방법 및 장치{Method and Apparatus for Assessing an Image Match of an Around View Image for an Around View Monitor System}AVM system around image consistency evaluation method and apparatus {Method and Apparatus for Assessing an Image Match of an Around View Image for an Around View Monitor System}

본 실시예는 AVM 시스템 어라운드 영상 정합성 평가방법 및 장치에 관한 것이다.This embodiment relates to an AVM system around image consistency evaluation method and apparatus.

이하에 기술되는 내용은 단순히 본 실시예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.The content described below merely provides background information related to the present embodiment and does not constitute the prior art.

차량의 영상 시스템의 발전으로 인해 주차보조시스템제품(Parking Assistance System) 또는 주차된 차량에 대해 그 주변 상황을 원격 모니터링 하는 시스템 등이 개발되고 있다. 이러한 시스템들에는 차량의 주변 영상을 모니터링 하기 위해 AVM(Around View Monitor) 시스템이 이용되고 있다. AVM 시스템은 뿐만 아니라 향후 자율주행 기술 등의 개발에 필요한 차선이탈감지(LDWS, Lane departure warning system)나 차선유지장치(LKAS, Lane keeping assist system)에 사용될 수 있다. With the development of an image system of a vehicle, a parking assistance system product or a system for remotely monitoring the surrounding situation of a parked vehicle is being developed. In these systems, an Around View Monitor (AVM) system is used to monitor images around the vehicle. The AVM system may also be used for a lane departure warning system (LDWS) or a lane keeping assist system (LKAS) required for future development of autonomous driving technology, etc.

이러한 AVM 시스템은 전방, 후방, 양측방의 광각 카메라를 이용하여 차량의 위에서 보는 것처럼 탑뷰영상(또는 버드뷰영상)을 만들어주는 시스템으로, 차량의 전방, 후방, 양측방 등 4장의 영상을 합치는 작업을 통하여 만들어진다. This AVM system is a system that creates a top-view image (or bird-view image) as seen from above of a vehicle using wide-angle cameras from front, rear, and both sides. is made through

영상 합치기 작업을 통해 얻어진 AVM영상은 그 경계에서 서로 잘 정합되어 연결되어야 하는데, 정합성이 좋지 않으면 좋은 품질의 AVM 영상을 얻을 수 없으며, 정합성이 좋지 않은 AVM 영상은 오히려 운전에 방해가 될 수도 있다. The AVM images obtained through the image merging operation should be well matched and connected at the boundary. If the consistency is not good, a good quality AVM image cannot be obtained.

한편, AVM의 성능을 평가함에 있어서는 AVM 영상의 정합성을 평가하는 것이 중요하며, 이를 위해서, AVM 영상의 정합성을 평가할 수 있는 알고리즘 및 방법이 필요하다.On the other hand, in evaluating the performance of the AVM, it is important to evaluate the consistency of the AVM image, and for this purpose, an algorithm and method for evaluating the consistency of the AVM image are required.

등록번호 KR 1113679 B1에는 카메라 시스템의 영상 보정 방법이 개시되어 있다. Registration number KR 1113679 B1 discloses an image correction method of a camera system.

본 실시예는 차량의 주변에 직선을 두고 차량에 장착된 전, 후, 좌우의 광각 카메라 또는 이와 상응하는 시스템을 이용하여 촬영된 AVM 영상 내의 직선에 대한 일치성, 기울어짐, 구부러짐을 평가하고, 컬러 유사도를 이용하여 컬러 정합도를 평가하는 AVM 시스템 어라운드 영상 정합성 평가방법 및 장치를 제공하는데 주된 목적이 있다. This embodiment evaluates the consistency, inclination, and bending of straight lines in the AVM image taken using front, rear, left and right wide-angle cameras or a corresponding system mounted on the vehicle with a straight line around the vehicle, A primary object of the present invention is to provide an AVM system-around image consistency evaluation method and apparatus for evaluating color matching using color similarity.

본 실시예의 일 측면에 의하면, 차량의 전방영상, 좌측영상, 우측영상, 및 후방영상을 이용하여 어라운드 영상을 생성하는 AVM 시스템의 상기 어라운드 영상에 대한 정합성을 평가하는 방법에 있어서, 바닥에 전후방으로 직선적으로 길게 형성되며 서로 이격되어 위치하는 제1기준선 및 제2기준선에 대해, 상기 제1기준선 및 제2기준선의 전방부를 포함하는 전방영상과, 상기 제1기준선의 중앙부를 포함하는 좌측영상과, 상기 제2기준선의 중앙부를 포함하는 우측영상과, 상기 제1기준선 및 제2기준선의 후방부를 포함하는 후방영상을 획득하고, 상기 전방영상, 좌측영상, 우측영상, 및 후방영상을 결합하여 어라운드 영상을 얻는 단계; 및 상기 어라운드 영상에 있어서, 상기 전방영상, 좌측영상, 우측영상, 및 후방영상의 경계부에서의 상기 제1기준선 및 제2기준선의 매칭오차를 평가하는 매칭오차 평가단계, 상기 어라운드 영상에 대해 상기 제1기준선 및 제2기준선의 기울어짐을 평가하는 기울어짐 평가단계, 상기 어라운드 영상에 대해 상기 제1기준선 및 제2기준선의 구부러짐을 평가하는 구부러짐 평가단계 및 상기 어라운드 영상에 있어서, 상기 전방영상, 좌측영상, 우측영상 및 후방영상의 컬러 정합도를 평가하는 컬러 정합도 평가단계 중 적어도 하나를 포함하는 AVM 시스템 어라운드 영상 정합성 평가방법을 제공한다.According to an aspect of this embodiment, in the method for evaluating the consistency of the around image of an AVM system that generates an around image using a front image, a left image, a right image, and a rear image of a vehicle, For the first and second reference lines formed in a straight line and spaced apart from each other, a front image including front portions of the first and second reference lines, and a left image including a central portion of the first reference line; A right image including a central portion of the second reference line and a rear image including a rear portion of the first and second reference lines are acquired, and the front image, left image, right image, and rear image are combined to obtain an around image to obtain; and a matching error evaluation step of evaluating a matching error of the first reference line and the second reference line at the boundary of the front image, the left image, the right image, and the rear image in the around image; A tilt evaluation step of evaluating the inclination of the first and second reference lines, a bending evaluation step of evaluating the bending of the first and second reference lines with respect to the around image, and in the around image, the front image and the left image , AVM system-around image consistency evaluation method comprising at least one of the color matching evaluation step of evaluating the color matching of the right image and the rear image.

또한, 본 실시예의 다른 측면에 의하면, 차량의 전방영상, 좌측영상, 우측영상, 및 후방영상을 이용하여 어라운드 영상을 생성하는 AVM 시스템의 상기 어라운드 영상에 대한 정합성을 평가하는 장치에 있어서, 바닥에 전후방으로 직선적으로 길게 형성되며 서로 이격되어 위치하는 제1기준선 및 제2기준선에 대해, 상기 제1기준선 및 제2기준선의 전방부를 포함하는 전방영상과, 상기 제1기준선의 중앙부를 포함하는 좌측영상과, 상기 제2기준선의 중앙부를 포함하는 우측영상과, 상기 제1기준선 및 제2기준선의 후방부를 포함하는 후방영상을 획득하고, 상기 전방영상, 좌측영상, 우측영상, 및 후방영상을 결합하여 어라운드 영상을 얻는 어라운드 영상 획득부; 및 상기 어라운드 영상에 있어서, 상기 전방영상, 좌측영상, 우측영상, 및 후방영상의 경계부에서의 상기 제1기준선 및 제2기준선의 매칭오차를 평가하는 매칭오차 평가부, 상기 어라운드 영상에 대해 상기 제1기준선 및 제2기준선의 기울어짐을 평가하는 기울어짐 평가부, 상기 어라운드 영상에 대해 상기 제1기준선 및 제2기준선의 구부러짐을 평가하는 구부러짐 평가부 및 상기 어라운드 영상에 있어서, 상기 전방영상, 좌측영상, 우측영상, 및 후방영상의 컬러 정합도를 평가하는 컬러 정합도 평가부 중 적어도 하나를 포함하는 AVM 시스템 어라운드 영상 정합성 평가장치를 제공한다.Further, according to another aspect of this embodiment, in the apparatus for evaluating the consistency of the around image of the AVM system that generates the around image using the front image, the left image, the right image, and the rear image of the vehicle, For the first and second reference lines that are formed in a straight line in the front and rear and are spaced apart from each other, a front image including the front portions of the first and second reference lines, and a left image including the central portion of the first reference line and a right image including the central portion of the second reference line, and a rear image including the rear portion of the first and second reference lines, and combining the anterior image, the left image, the right image, and the rear image an around image acquisition unit for obtaining an around image; and a matching error evaluator for evaluating a matching error between the first and second reference lines at the boundary between the front image, the left image, the right image, and the rear image in the around image; A tilt evaluation unit for evaluating the inclination of the first and second reference lines, a bending evaluation unit for evaluating the bending of the first and second reference lines with respect to the around image, and in the around image, the front image and the left image It provides an AVM system around image consistency evaluation apparatus including at least one of a color matching evaluation unit for evaluating the color matching of the , right image, and the rear image.

이상에서 설명한 바와 같이 본 실시예에 의하면, AVM 시스템 어라운드 영상 정합성 평가장치는 어라운드 영상의 제1기준선과 제2기준선의 매칭오차를 평가하여 어라운드 영상이 틀어짐 없이 연결되었는지 확인할 수 있는 효과가 있다. As described above, according to the present embodiment, the AVM system around image consistency evaluation apparatus evaluates the matching error between the first and second reference lines of the around image to determine whether the around images are connected without being distorted.

또한, 본 실시예에 의하면, AVM 시스템 어라운드 영상 정합성 평가장치는 어라운드 영상의 제1기준선과 제2기준선의 기울어짐을 평가하여 어라운드 영상이 틀어짐 없이 연결되었는지 확인할 수 있는 효과가 있다. In addition, according to the present embodiment, the apparatus for evaluating the consistency of the AVM system around images evaluates the inclination of the first and second reference lines of the around images, thereby confirming whether the around images are connected without being distorted.

또한, 본 실시예에 의하면, AVM 시스템 어라운드 영상 정합성 평가장치는 어라운드 영상의 제1기준선과 제2기준선의 구부러짐을 평가하여 어라운드 영상이 틀어짐 없이 연결되었는지 확인할 수 있는 효과가 있다. Also, according to the present embodiment, the AVM system around image consistency evaluation apparatus has an effect of evaluating whether the around images are connected without being distorted by evaluating the curvature of the first and second reference lines of the around image.

또한, 본 실시예에 의하면, AVM 시스템 어라운드 영상 정합성 평가장치는 어라운드 영상의 컬러 정합도를 평가하여 어라운드 영상이 틀어짐 없이 연결되었는지 확인할 수 있는 효과가 있다. Also, according to the present embodiment, the AVM system around image consistency evaluation apparatus is effective in determining whether the around images are connected without being distorted by evaluating the color matching of the around images.

도 1은 본 실시예에 따른 AVM 시스템 어라운드 영상 정합성 평가장치를 개략적으로 나타낸 도면이다.
도 2는 본 실시예에 따른 AVM 시스템 어라운드 영상 정합성 평가장치의 동작을 개략적으로 나타낸 도면이다.
도 3은 본 실시예에 따른 AVM 시스템 어라운드 영상 정합성 평가장치 중 매칭오차 평가부의 동작을 개략적으로 나타낸 도면이다.
도 4는 본 실시예에 따른 AVM 시스템 어라운드 영상 정합성 평가장치 중 기울어짐 평가부의 동작을 개략적으로 나타낸 도면이다.
도 5는 본 실시예에 따른 AVM 시스템 어라운드 영상 정합성 평가장치 중 구부러짐 평가부의 동작을 개략적으로 나타낸 도면이다.
도 6은 본 실시예에 따른 AVM 시스템 어라운드 영상 정합성 평가장치 중 컬러 정합도 평가부의 동작을 개략적으로 나타낸 도면이다.
도 7은 본 실시예에 따른 AVM 시스템 어라운드 영상 정합성 평가장치의 동작을 나타낸 순서도이다.1 is a diagram schematically illustrating an AVM system-around image consistency evaluation apparatus according to the present embodiment.
2 is a diagram schematically illustrating an operation of an AVM system around image consistency evaluation apparatus according to the present embodiment.
3 is a diagram schematically illustrating an operation of a matching error evaluator in the AVM system around image coherence evaluation apparatus according to the present embodiment.
4 is a diagram schematically illustrating an operation of a tilt evaluation unit in the AVM system around image consistency evaluation apparatus according to the present embodiment.
FIG. 5 is a diagram schematically illustrating an operation of a bending evaluation unit among the apparatus for evaluating the consistency of an AVM system around image according to the present embodiment.
6 is a diagram schematically illustrating an operation of a color matching evaluation unit in the AVM system around image consistency evaluation apparatus according to the present embodiment.
7 is a flowchart illustrating the operation of the AVM system around image consistency evaluation apparatus according to the present embodiment.

이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.Hereinafter, some embodiments of the present invention will be described in detail with reference to exemplary drawings. In adding reference numerals to the components of each drawing, it should be noted that the same components are given the same reference numerals as much as possible even though they are indicated on different drawings. In addition, in describing the present invention, if it is determined that a detailed description of a related known configuration or function may obscure the gist of the present invention, the detailed description thereof will be omitted.

또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 '포함', '구비'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 '…부', '모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.In addition, in describing the components of the present invention, terms such as first, second, A, B, (a), (b), etc. may be used. These terms are only for distinguishing the elements from other elements, and the essence, order, or order of the elements are not limited by the terms. Throughout the specification, when a part 'includes' or 'includes' a certain component, this means that other components may be further included, rather than excluding other components, unless otherwise stated. . In addition, the '... Terms such as 'unit' and 'module' mean a unit that processes at least one function or operation, which may be implemented as hardware or software or a combination of hardware and software.

도 1은 본 실시예에 따른 AVM 시스템 어라운드 영상 정합성 평가장치를 개략적으로 나타낸 도면이다.1 is a diagram schematically illustrating an AVM system-around image consistency evaluation apparatus according to the present embodiment.

본 실시예에 따른 AVM 시스템 어라운드 영상 정합성 평가장치(100)는 어라운드 영상 획득부(110), 매칭오차 평가부(120), 기울어짐 평가부(130), 구부러짐 평가부(140) 및 컬러 정합도 평가부(150)를 포함한다.The AVM system around image consistency evaluation apparatus 100 according to the present embodiment includes the around image acquisition unit 110 , the matching error evaluation unit 120 , the tilt evaluation unit 130 , the bending evaluation unit 140 , and the color matching degree. It includes an evaluation unit 150 .

어라운드 영상 획득부(110)는 바닥에 전후방으로 직선적으로 길게 형성되며 서로 이격되어 위치하는 제1기준선 및 제2기준선에 대해, 상기 제1기준선 및 제2기준선의 전방부를 포함하는 전방영상과, 상기 제1기준선의 중앙부를 포함하는 좌측영상과, 상기 제2기준선의 중앙부를 포함하는 우측영상과, 상기 제1기준선 및 제2기준선의 후방부를 포함하는 후방영상을 획득하고, 상기 전방영상, 좌측영상, 우측영상, 및 후방영상을 결합하여 어라운드 영상을 얻는다. 여기서, 상기 제1 기준선 및 제2 기준선은 설정 폭을 가지는 흰색 라인이며, 상기 바닥은 녹색이다. The around image acquisition unit 110 is formed in a straight line forward and backward on the floor, and with respect to the first and second reference lines spaced apart from each other, a front image including a front portion of the first and second reference lines, and the A left image including a central portion of a first reference line, a right image including a central portion of the second reference line, and a rear image including a rear portion of the first and second reference lines are acquired, and the front image and the left image are obtained. , a right image, and a rear image are combined to obtain an around image. Here, the first reference line and the second reference line are white lines having a set width, and the bottom is green.

매칭오차 평가부(120)는 상기 어라운드 영상에 있어서, 상기 전방영상, 좌측영상, 우측영상, 및 후방영상의 경계부에서의 상기 제1기준선 및 제2기준선의 매칭오차를 평가한다. 매칭오차 평가부(120)는 전방영상, 좌측영상, 우측영상, 및 후방영상을 결합한 어라운드 영상에서 각각의 영상 경계부에서 제1기준선과 제2기준선의 매칭오차를 평가한다.The matching error evaluation unit 120 evaluates a matching error between the first and second reference lines at the boundary between the front image, the left image, the right image, and the rear image in the around image. The matching error evaluation unit 120 evaluates a matching error between the first reference line and the second reference line at each image boundary in the around image in which the front image, the left image, the right image, and the rear image are combined.

기울어짐 평가부(130)는 상기 어라운드 영상에 대해 상기 제1기준선 및 제2기준선의 기울어짐을 평가한다. 기울어짐 평가부(130)는 전방영상, 좌측영상, 우측영상, 및 후방영상을 결합한 어라운드 영상에 포함된 제1기준선과 제2기준선의 기울어짐을 일반적으로 사용되는 기울기 공식을 이용하여 평가한다. The tilt evaluation unit 130 evaluates the tilt of the first reference line and the second reference line with respect to the around image. The inclination evaluation unit 130 evaluates the inclination of the first and second reference lines included in the around image combining the front image, the left image, the right image, and the rear image using a generally used gradient formula.

구부러짐 평가부(140)는 상기 어라운드 영상에 대해 상기 제1기준선 및 제2기준선의 구부러짐을 평가한다. 구부러짐 평가부(140)는 전방영상, 좌측영상, 우측영상, 및 후방영상을 결합한 어라운드 영상에 포함된 제1기준선과 제2기준선의 구부러짐을 평가한다.The bending evaluation unit 140 evaluates the bending of the first reference line and the second reference line with respect to the around image. The bending evaluation unit 140 evaluates the bending of the first reference line and the second reference line included in the around image combining the front image, the left image, the right image, and the rear image.

컬러 정합도 평가부(150)는 상기 어라운드 영상에 있어서, 상기 전방영상, 좌측영상, 우측영상, 및 후방영상의 컬러 정합도를 평가한다. 컬러 정합도 평가부(150)는 Lab컬러를 사용하여 컬러 정합도를 평가한다. 여기서, Lab 컬러는 기존의 RGB(Red-Green-Blue)나 CMYK(Cyan-Magenta-Yellow-Black)가 가지고 있는 가시 파장의 일부분으로 구성됨으로써 발생하는 표현범위의 한계를 벗어나 가시파장 스펙트럼의 모든 색상을 표현할 수 있다.The color matching evaluation unit 150 evaluates the color matching of the front image, the left image, the right image, and the rear image in the around image. The color matching evaluation unit 150 evaluates the color matching by using Lab colors. Here, Lab color is all the colors of the visible wavelength spectrum beyond the limit of the expression range caused by being composed of a part of the visible wavelength of the existing RGB (Red-Green-Blue) or CMYK (Cyan-Magenta-Yellow-Black). can be expressed

도 2는 본 실시예에 따른 AVM 시스템 어라운드 영상 정합성 평가장치의 동작을 개략적으로 나타낸 도면이다.2 is a diagram schematically illustrating an operation of an AVM system-around image consistency evaluation apparatus according to the present embodiment.

AVM 시스템 어라운드 영상 정합성 평가장치(100)는 어라운드 영상을 취득한다. AVM 시스템 어라운드 영상 정합성 평가장치(100)는 바닥에 전후방으로 직선적으로 길게 형성되며 서로 이격되어 위치하는 제1기준선 및 제2기준선에 대해, 상기 제1기준선 및 제2기준선의 전방부를 포함하는 전방영상과, 상기 제1기준선의 중앙부를 포함하는 좌측영상과, 상기 제2기준선의 중앙부를 포함하는 우측영상과, 상기 제1기준선 및 제2기준선의 후방부를 포함하는 후방영상을 획득하고, 상기 전방영상, 좌측영상, 우측영상, 및 후방영상을 결합하여 어라운드 영상인 AVM 정합영상을 취득한다.The AVM system around image consistency evaluation apparatus 100 acquires an around image. The AVM system around image consistency evaluation apparatus 100 is a front image including a front portion of the first and second reference lines for the first and second reference lines that are formed in a straight line in the front and rear directions on the floor and are spaced apart from each other. and a left image including a central portion of the first reference line, a right image including a central portion of the second reference line, and a rear image including a rear portion of the first and second reference lines, and the front image , a left image, a right image, and a rear image are combined to obtain an AVM registered image that is an around image.

AVM 시스템 어라운드 영상 정합성 평가장치(100)는 어라운드 영상에 포함된 직선의 경계를 추출한다. AVM 시스템 어라운드 영상 정합성 평가장치(100)는 직선의 조건에 따라서 부분 직선으로 분할한다. AVM 시스템 어라운드 영상 정합성 평가장치(100)는 분할된 직선의 기울기들을 계산한다. AVM 시스템 어라운드 영상 정합성 평가장치(100)는 직선 간의 사잇각을 계산한다. AVM 시스템 어라운드 영상 정합성 평가장치(100)는 AVM 영상의 구부러짐의 정보를 출력한다. The AVM system around image consistency evaluation apparatus 100 extracts the boundary of a straight line included in the around image. The AVM system around image consistency evaluation apparatus 100 divides the image into partial straight lines according to the conditions of the straight lines. The AVM system around image consistency evaluation apparatus 100 calculates inclinations of the divided straight line. The AVM system around image consistency evaluation apparatus 100 calculates an angle between straight lines. The AVM system around image consistency evaluation apparatus 100 outputs information on the distortion of the AVM image.

AVM 시스템 어라운드 영상 정합성 평가장치(100)는 어라운드 영상에 포함된 직선의 경계를 추출한다. AVM 시스템 어라운드 영상 정합성 평가장치(100)는 직선 경계의 전체적인 기울어짐을 계산한다. 여기서, 기울어짐을 일반적으로 사용되는 기울기 공식을 이용하여 계산한다. AVM 시스템 어라운드 영상 정합성 평가장치(100)는 AVM영상의 기울어짐의 정보를 출력한다.The AVM system around image consistency evaluation apparatus 100 extracts the boundary of a straight line included in the around image. The AVM system around image consistency evaluation apparatus 100 calculates the overall inclination of the straight line boundary. Here, the inclination is calculated using a generally used gradient formula. The AVM system around image consistency evaluation apparatus 100 outputs information on the inclination of the AVM image.

AVM 시스템 어라운드 영상 정합성 평가장치(100)는 어라운드 영상에 포함된 직선의 경계를 추출한다. AVM 시스템 어라운드 영상 정합성 평가장치(100)는 AVM 어라운드 영상의 매칭 정합도를 계산한다. AVM 시스템 어라운드 영상 정합성 평가장치(100)는 상기 매칭 정합도를 mm단위로 환산한다. AVM 시스템 어라운드 영상 정합성 평가장치(100)는 AVM 어라운드 영상의 매칭 오차를 출력한다. The AVM system around image consistency evaluation apparatus 100 extracts the boundary of a straight line included in the around image. The AVM system around image consistency evaluation apparatus 100 calculates a matching degree of matching of the AVM around image. The AVM system around image consistency evaluation apparatus 100 converts the matching degree of matching in mm units. The AVM system around image consistency evaluation apparatus 100 outputs a matching error of the AVM around image.

AVM 시스템 어라운드 영상 정합성 평가장치(100)는 AVM 영상내의 부분 영역의 좌표를 취득한다. AVM 시스템 어라운드 영상 정합성 평가장치(100)는 부분 영역들의 컬러를 변환한다. AVM 시스템 어라운드 영상 정합성 평가장치(100)는 부분 영역들의 평균 컬러를 계산한다. AVM 시스템 어라운드 영상 정합성 평가장치(100)는 부분 영역들의 컬러 정합도를 계산한다. AVM 시스템 어라운드 영상 정합성 평가장치(100)는 AVM 영상의 컬러 정합도를 출력한다.The AVM system around image consistency evaluation apparatus 100 acquires coordinates of a partial region in the AVM image. The AVM system around image consistency evaluation apparatus 100 converts colors of partial regions. The AVM system around image consistency evaluation apparatus 100 calculates an average color of partial regions. The AVM system around image consistency evaluation apparatus 100 calculates color matching of partial regions. The AVM system around image consistency evaluation apparatus 100 outputs the color matching degree of the AVM image.

도 3은 본 실시예에 따른 AVM 시스템 어라운드 영상 정합성 평가장치 중 매칭오차 평가부의 동작을 개략적으로 나타낸 도면이다.3 is a diagram schematically illustrating an operation of a matching error evaluator in the AVM system around image coherence evaluation apparatus according to the present embodiment.

매칭오차 평가부(120)는 상기 전방영상, 좌측영상, 우측영상, 및 후방영상을 결합하여 획득한 어라운드 영상에 포함된 제1기준선 및 제2기준선이 어라운드 영상이 틀어짐에 따라 하나의 직선으로 표현되지 않는 경우 상기 제1기준선 및 상기 제2기준선의 픽셀 오차인 매칭 오차를 계산하여 어라운드 영상의 정합도를 평가한다.The matching error evaluation unit 120 expresses the first and second reference lines included in the around image obtained by combining the front image, the left image, the right image, and the rear image as a single straight line as the around image is distorted. If not, a matching error, which is a pixel error between the first reference line and the second reference line, is calculated to evaluate the degree of matching of the around image.

매칭오차 평가부(120)는 상기 전방영상의 제1 기준선과 상기 좌측영상의 제1 기준선에 대해 좌측 또는 우측의 최외곽 경계픽셀들을 추출한다. 매칭오차 평가부(120)는 추출한 경계픽셀들 중 상기 전방영상 제1 기준선의 상기 최외곽 경계픽셀과 상기 좌측영상 제1 기준선의 상기 최외곽 경계 픽셀 사이의 좌우방향 거리를 계산한다.The matching error evaluator 120 extracts the left or right outermost boundary pixels with respect to the first reference line of the front image and the first reference line of the left image. The matching error evaluation unit 120 calculates a left-right distance between the outermost boundary pixel of the first reference line of the front image and the outermost boundary pixel of the first reference line of the left image among the extracted boundary pixels.

매칭오차 평가부(120)는 상기 전방영상의 제2 기준선과 상기 우측영상의 제2 기준선에 대해 좌측 또는 우측의 최외곽 경계픽셀들을 추출한다. 매칭오차 평가부(120)는 추출한 경계픽셀들 중 상기 전방영상 제2 기준선의 상기 최외곽 경계픽셀과 상기 우측영상 제2 기준선의 상기 최외곽 경계 픽셀 사이의 좌우방향 거리를 계산한다.The matching error evaluation unit 120 extracts the left or right outermost boundary pixels with respect to the second reference line of the front image and the second reference line of the right image. The matching error evaluation unit 120 calculates a left-right distance between the outermost boundary pixel of the second reference line of the front image and the outermost boundary pixel of the second reference line of the right image among the extracted boundary pixels.

매칭오차 평가부(120)는 상기 후방영상의 제1 기준선과 상기 좌측영상의 제1 기준선에 대해 좌측 또는 우측의 최외곽 경계픽셀들을 추출한다. 매칭오차 평가부(120)는 추출한 경계픽셀들 중 상기 후방영상 제1 기준선의 상기 최외곽 경계픽셀과 상기 좌측영상 제1 기준선의 상기 최외곽 경계픽셀 사이의 좌우방향 거리를 계산성한다.The matching error evaluation unit 120 extracts the left or right outermost boundary pixels with respect to the first reference line of the rear image and the first reference line of the left image. The matching error evaluation unit 120 calculates a left-right distance between the outermost boundary pixel of the first reference line of the back image and the outermost boundary pixel of the first reference line of the left image among the extracted boundary pixels.

매칭오차 평가부(120)는 상기 후방영상의 제2 기준선과 상기 우측영상의 제2 기준선에 대해 좌측 또는 우측의 최외곽 경계픽셀들을 추출한다. 매칭오차 평가부(120)는 추출한 경계픽셀들 중 상기 후방영상 제2 기준선의 상기 최외곽 경계픽셀과 상기 우측영상 제2 기준선의 상기 최외곽 경계픽셀 사이의 좌우방향 거리를 계산한다.The matching error evaluation unit 120 extracts the left or right outermost boundary pixels with respect to the second reference line of the rear image and the second reference line of the right image. The matching error evaluation unit 120 calculates a left-right distance between the outermost boundary pixel of the second reference line of the rear image and the outermost boundary pixel of the second reference line of the right image among the extracted boundary pixels.

도 4는 본 실시예에 따른 AVM 시스템 어라운드 영상 정합성 평가장치 중 기울어짐 평가부의 동작을 개략적으로 나타낸 도면이다.4 is a diagram schematically illustrating an operation of a tilt evaluation unit in the AVM system around image consistency evaluation apparatus according to the present embodiment.

기울어짐 평가부(130)는 상기 어라운드 영상 속의 상기 제1 기준선의 픽셀들에 대한 직선 방정식을 구하여 얻어진 직선의 기울기인 제1 기준선 기울기와 상기 어라운드 영상 속의 상기 제2 기준선의 픽셀들에 대한 직선 방정식을 구하여 얻어진 직선의 기울기인 제2 기준선 기울기를 이용하여 평가한다.The tilt evaluation unit 130 calculates a linear equation for a first reference line slope, which is a slope of a straight line obtained by obtaining a straight line equation for pixels of the first reference line in the around image, and a linear equation for pixels of the second reference line in the around image. It is evaluated using the second reference line slope, which is the slope of the straight line obtained by obtaining .

기울어짐 평가부(130)는 상기 제1 기준선 기울기와 상기 제2 기준선 기울기를 상기 어라운드 영상의 X축을 기준으로 기울기를 평가할 수 있다. The tilt evaluation unit 130 may evaluate the inclination of the first reference line and the second reference line based on the X-axis of the around image.

기울어짐 평가부(130)는 상기 제1 기준선 기울기 및 상기 제2 기준선 기울기를 일반적으로 사용되는 직선 방정식을 이용하여 구할 수 있으며, 이는 반드시 하나의 방법에 한정되는 것이 아니라 다양한 방법으로 구할 수 있다.The tilt evaluation unit 130 may obtain the first reference line slope and the second reference line slope using a generally used linear equation, which is not necessarily limited to one method, but may be obtained by various methods.

도 5는 본 실시예에 따른 AVM 시스템 어라운드 영상 정합성 평가장치 중 구부러짐 평가부의 동작을 개략적으로 나타낸 도면이다.FIG. 5 is a diagram schematically illustrating an operation of a bending evaluation unit among the apparatus for evaluating the consistency of an AVM system around image according to the present embodiment.

구부러짐 평가부(140)는 상기 어라운드 영상 속의 상기 제1 기준선의 우측 또는 좌측의 에지선을 추출하고 그 추출된 에지들 사이의 상대 기울기 각도와 상기 어라운드 영상 속의 상기 제2 기준선의 우측 또는 좌측의 에지선을 추출하고 그 추출된 에지들 사이의 상대 기울기 각도를 이용하여 평가한다.The bending evaluation unit 140 extracts an edge line on the right or left side of the first reference line in the around image, and a relative inclination angle between the extracted edges and an edge on the right or left side of the second reference line in the around image. A line is extracted and evaluated using the relative inclination angle between the extracted edges.

여기서, 구부러짐 평가부(140)에 대한 상세한 설명을 하기 위하여 도 5에 근거하여 [표 1]의 내용을 살펴보면 다음과 같다.Here, in order to provide a detailed description of the bending evaluation unit 140, the contents of [Table 1] will be described with reference to FIG. 5 .

항목Item 값value 구부러짐 정도degree of bending 좌측 라인left line 분할된 라인의 수number of split lines 22 선분 L1의 각도angle of line segment L1 9090 선분 L2의 각도angle of line segment L2 89.689.6 0.4(L1의 각도-L2의 각도)0.4 (angle of L1 - angle of L2) 우측 라인right line 분할된 라인의 수number of split lines 33 선분 R1의 각도angle of line segment R1 90.590.5 선분 R2의 각도angle of line segment R2 87.787.7 2.8(R1의 각도-R2의 각도)2.8 (angle of R1 - angle of R2) 선분 R3의 각도angle of line segment R3 89.789.7 -2.0(R2의 각도-R3의 각도)-2.0 (angle of R2 - angle of R3)

[표 1]에 도시된 내용에 따라, 구부러짐 평가부(140)는 상기 어라운드 영상 속의 상기 제1 기준선의 좌측의 에지선을 추출하는데 여기서, 제1 에지선(L1) 및 제2 에지선(L2)이 추출되는 경우, 제1 에지선의 각도와 상기 제2 에지선의 각도를 측정한다. 여기서, 상기 제1 에지선의 각도는 90도이고, 제2 에지선의 각도는 89.6도이다. 따라서, 제1 기준선의 좌측 에지선 제1 에지선과 제2 에지선의 구부러짐 정조는 0.4(제1 에지선의 각도 - 제2 에지선의 각도)이다.According to the contents shown in [Table 1], the bending evaluation unit 140 extracts an edge line on the left side of the first reference line in the around image, where the first edge line L1 and the second edge line L2 are ) is extracted, the angle of the first edge line and the angle of the second edge line are measured. Here, the angle of the first edge line is 90 degrees, and the angle of the second edge line is 89.6 degrees. Accordingly, the left edge line of the first reference line The bending consistency of the first edge line and the second edge line is 0.4 (angle of the first edge line - the angle of the second edge line).

[표 1]에 도시된 내용에 따라, 구부러짐 평가부(140)는 상기 어라운드 영상 속의 상기 제2 기준선의 우측의 에지선을 추출하는데 여기서, 제3 에지선, 제4 에지선 및 제5 에지선이 추출되는 경우, 상기 제3 에지선의 각도, 상기 제4 에지선의 각도 및 제5 에지선의 각도를 측정한다. 여기서, 상기 제3 에지선의 각도는 90.5도이고, 제4 에지선의 각도는 87.7도이고, 제5 에지선의 각도는 89.7도이다. 따라서, 제2 기준선의 우측 에지선 제3 에지선과 제4 에지선의 구부러짐 정도는 2.8(제3 에지선의 각도 - 제4 에지선의 각도)이고, 제4 에지선과 제5 에지선의 구부러짐 정도는 -2.0(제4 에지선의 각도 - 제5 에지선의 각도)이다.According to the contents shown in [Table 1], the bending evaluation unit 140 extracts an edge line to the right of the second reference line in the around image, wherein the third edge line, the fourth edge line, and the fifth edge line When this is extracted, the angle of the third edge line, the angle of the fourth edge line, and the angle of the fifth edge line are measured. Here, the angle of the third edge line is 90.5 degrees, the angle of the fourth edge line is 87.7 degrees, and the angle of the fifth edge line is 89.7 degrees. Accordingly, the degree of bending of the third edge line and the fourth edge line of the right edge line of the second reference line is 2.8 (angle of the third edge line - angle of the fourth edge line), and the degree of bending of the fourth edge line and the fifth edge line is -2.0 ( angle of the fourth edge line minus the angle of the fifth edge line).

도 6은 본 실시예에 따른 AVM 시스템 어라운드 영상 정합성 평가장치 중 컬러 정합도 평가부의 동작을 개략적으로 나타낸 도면이다.6 is a diagram schematically illustrating an operation of a color matching evaluation unit in the AVM system around image consistency evaluation apparatus according to the present embodiment.

컬러 정합도 평가부(150)는 상기 전방영상과 상기 좌측영상이 만나는 접선을 기준으로 각각의 영상정보에서 상기 접선과 근접한 일정부분의 컬러 값의 평균을 추출하여 제1 평균 컬러값을 생성한다.The color matching evaluation unit 150 generates a first average color value by extracting the average of the color values of a portion close to the tangent from each image information based on a tangent line where the front image and the left image meet.

또한, 컬러 정합도 평가부(150)는 상기 좌측영상과 상기 후방영상이 만나는 접선을 기준으로 각각의 영상정보에서 상기 접선과 근접한 일정부분의 컬러 값의 평균을 추출하여 제2 평균 컬러값을 생성한다. In addition, the color matching evaluation unit 150 generates a second average color value by extracting the average of the color values of a portion close to the tangent from each image information based on the tangent where the left image and the rear image meet. do.

또한, 컬러 정합도 평가부(150)는 상기 전방영상과 상기 우측영상이 만나는 접선을 기준으로 각각의 영상정보에서 상기 접선과 근접한 일정부분의 컬러 값의 평균을 추출하여 제3 평균 컬러값을 생성한다.In addition, the color matching evaluation unit 150 generates a third average color value by extracting the average of the color values of a portion close to the tangent from each image information based on the tangent line where the front image and the right image meet. do.

또한, 컬러 정합도 평가부(150)는 상기 우측영상과 상기 후방영상이 만나는 접선을 기준으로 각각의 영상정보에서 상기 접선과 근접한 일정부분의 컬러 값의 평균을 추출하여 제4 평균 컬러값을 생성한다.In addition, the color matching evaluation unit 150 generates a fourth average color value by extracting the average of the color values of a certain portion close to the tangent from each image information based on the tangent where the right image and the rear image meet. do.

여기서, 컬러 정합도 평가부(150)는 상기 제1 평균 컬러값, 제2 평균 컬러값, 제3 평균 컬러값 및 제4 평균 컬러값을 이용한 컬러의 정합도를 아래의 [수학식 1]을 이용하여 구한다. Here, the color matching evaluation unit 150 calculates the color matching using the first average color value, the second average color value, the third average color value, and the fourth average color value by using [Equation 1] below. save it using

Figure 112016029712013-pat00001
Figure 112016029712013-pat00001

(

Figure 112016029712013-pat00002
: 컬러의 정합도, L: 명도(밝기), a: 녹색에서 적색의 보색, b: 황색에서 청색의 보색을 의미한다.)(
Figure 112016029712013-pat00002
: color matching, L: brightness (brightness), a: green to red complementary color, b: yellow to blue complementary color)

[수학식 1]에서 "L"은 밝기를 나타내는 명도를 의미하고, a는 녹색에서 적색의 보색을 의미하며 음수 쪽으로 가면 녹색을 띄게 되고, 양수 쪽으로 가면 적색을 띄게 된다. 또한, b는 황색에서 청색의 보색을 의미하며 음수 쪽으로 가면 청색을 띄게 되고, 양수 쪽으로 가면 황색을 띄게 된다.In [Equation 1], "L" means brightness representing brightness, and a means a complementary color of green to red. In addition, b denotes a complementary color from yellow to blue, and when it goes to a negative number, it becomes blue, and when it goes toward a positive number, it becomes yellow.

컬러 정합도 평가부(150)는 모니터의 종류에 따라 같은 색상이 다른 색으로 보이는 경우가 있기 때문에 이런 점을 보완하기 위하여 Lab컬러를 이용하여 정확한 색상의 차이를 파악하여 상기 어라운드 영상에서의 컬러 정합도를 측정한다. The color matching evaluation unit 150 identifies the exact color difference using Lab color to compensate for this, because the same color may appear as a different color depending on the type of monitor. measure the degree

도 7은 본 실시예에 따른 AVM 시스템 어라운드 영상 정합성 평가장치의 동작을 나타낸 순서도이다.7 is a flowchart illustrating the operation of the AVM system around image consistency evaluation apparatus according to the present embodiment.

AVM 시스템 어라운드 영상 정합성 평가장치(100)는 전방, 후방, 좌측 및 우측에 설치된 4대의 광각의 카메라로부터 획득한 영상을 이용하여 어라운드 영상을 얻는다(S510). AVM 시스템 어라운드 영상 정합성 평가장치(100)는 바닥에 전후방으로 직선적으로 길게 형성되며 서로 이격되어 위치하는 제1기준선 및 제2기준선에 대해, 상기 제1기준선 및 제2기준선의 전방부를 포함하는 전방영상과, 상기 제1기준선의 중앙부를 포함하는 좌측영상과, 상기 제2기준선의 중앙부를 포함하는 우측영상과, 상기 제1기준선 및 제2기준선의 후방부를 포함하는 후방영상을 획득하고, 상기 전방영상, 좌측영상, 우측영상, 및 후방영상을 결합하여 어라운드 영상을 얻는다. The AVM system around image consistency evaluation apparatus 100 obtains an around image by using images obtained from four wide-angle cameras installed on the front, rear, left and right sides (S510). The AVM system around image consistency evaluation apparatus 100 is a front image including a front portion of the first and second reference lines for the first and second reference lines that are formed in a straight line in the front and rear directions on the floor and are spaced apart from each other. and a left image including a central portion of the first reference line, a right image including a central portion of the second reference line, and a rear image including a rear portion of the first and second reference lines, and the front image , a left image, a right image, and a rear image are combined to obtain an around image.

AVM 시스템 어라운드 영상 정합성 평가장치(100)는 상기 어라운드 영상에 있어서, 상기 전방영상, 좌측영상, 우측영상, 및 후방영상의 경계부에서의 상기 제1기준선 및 제2기준선의 매칭오차를 평가한다(S520). AVM 시스템 어라운드 영상 정합성 평가장치(100)는 제1 기준선 및 제2 기준선의 최외곽 경계픽셀들을 추출하여 매칭오차를 평가한다.AVM system around image consistency evaluation device 100 In the around image, a matching error between the first reference line and the second reference line at the boundary between the front image, the left image, the right image, and the rear image is evaluated ( S520 ). The AVM system around image consistency evaluation apparatus 100 extracts the outermost boundary pixels of the first reference line and the second reference line to evaluate the matching error.

AVM 시스템 어라운드 영상 정합성 평가장치(100)는 상기 어라운드 영상에 대해 상기 제1기준선 및 제2기준선의 기울어짐을 평가한다(S530). AVM 시스템 어라운드 영상 정합성 평가장치(100)는 상기 제1 기준선 및 제2 기준선의 픽셀들에 대한 직선 방정식을 구하여 얻어진 직선의 기울기인 제1 기준선 기울기 및 제2 기준선 기울기를 이용하여 기울기를 평가한다. The AVM system around image consistency evaluation apparatus 100 evaluates the inclination of the first reference line and the second reference line with respect to the around image (S530). The AVM system around image consistency evaluation apparatus 100 evaluates the slope using the first baseline slope and the second reference line slope, which are the slopes of the straight lines obtained by calculating the linear equations for the pixels of the first and second reference lines.

AVM 시스템 어라운드 영상 정합성 평가장치(100)는 상기 어라운드 영상에 대해 상기 제1기준선 및 제2기준선의 구부러짐을 평가한다(S540). AVM 시스템 어라운드 영상 정합성 평가장치(100)는 상기 제1 기준선 및 제2 기준선의 우측 또는 좌측의 에지선을 추출하고 그 추출된 에지들 사이의 상대 기울기 각도를 이용하여 구부러짐을 평가한다.The AVM system around image consistency evaluation apparatus 100 evaluates the curvature of the first and second reference lines with respect to the around image (S540). The AVM system around image consistency evaluation apparatus 100 extracts the right or left edge lines of the first and second reference lines, and evaluates the bending by using a relative inclination angle between the extracted edges.

AVM 시스템 어라운드 영상 정합성 평가장치(100)는 상기 어라운드 영상에 있어서, 상기 전방영상, 좌측영상, 우측영상 및 후방영상의 컬러 정합도를 평가한다(S550). AVM 시스템 어라운드 영상 정합성 평가장치(100)는 전방영상, 좌측영상, 우측영상 및 후방영상이 접하는 접선과 근접한 일정부분의 컬러 값의 평균을 추출하여 컬러 정합도를 평가한다. The AVM system around image consistency evaluation apparatus 100 evaluates color matching of the front image, the left image, the right image, and the rear image in the around image ( S550 ). The AVM system around image consistency evaluation apparatus 100 evaluates color matching by extracting the average of the color values of a certain portion close to the tangent between the front image, the left image, the right image, and the rear image.

AVM 시스템 어라운드 영상 정합성 평가장치(100)는 단계 530 내지 540 중 적어도 하나의 단계를 수행한다. The AVM system around image consistency evaluation apparatus 100 performs at least one of steps 530 to 540 .

도 7에서는 단계 S710 내지 단계 S750을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 7에 기재된 순서를 변경하여 실행하거나 단계 S710 내지 단계 S750 중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 7은 시계열적인 순서로 한정되는 것은 아니다.Although it is described that steps S710 to S750 are sequentially executed in FIG. 7, this is merely illustrative of the technical idea of this embodiment, and those of ordinary skill in the art to which this embodiment belongs. Since it will be possible to apply various modifications and variations to executing by changing the order described in FIG. 7 or executing one or more of steps S710 to S750 in parallel within a range that does not deviate from the essential characteristics, FIG. 7 is a time series sequence It is not limited.

이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하면, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of this embodiment, and various modifications and variations will be possible without departing from the essential characteristics of the present embodiment by those of ordinary skill in the art to which this embodiment belongs. Accordingly, the present embodiments are intended to explain rather than limit the technical spirit of the present embodiment, and the scope of the technical spirit of the present embodiment is not limited by these embodiments. If the protection scope of the present embodiment should be interpreted by the claims below, all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present embodiment.

100: AVM 시스템 어라운드 영상 정합성 평가장치
110: 어라운드 영상 획득부
120: 매칭오차 평가부
130: 기울어짐 평가부
140: 구부러짐 평가부
150: 컬러 정합도 평가부100: AVM system around video consistency evaluation device
110: around image acquisition unit
120: matching error evaluation unit
130: tilt evaluation unit
140: bending evaluation unit
150: color matching evaluation unit

Claims (8)

차량의 전방영상, 좌측영상, 우측영상, 및 후방영상을 이용하여 어라운드 영상을 생성하는 AVM 시스템의 상기 어라운드 영상에 대한 정합성을 평가하는 방법에 있어서,
바닥에 전후방으로 직선적으로 길게 형성되며 상기 차량을 사이에 두고 서로 이격되어 위치하며 설정 폭을 갖는 제1기준선 및 제2기준선에 대해, 상기 제1기준선 및 제2기준선의 전방부를 포함하는 전방영상과, 상기 제1기준선의 중앙부를 포함하는 좌측영상과, 상기 제2기준선의 중앙부를 포함하는 우측영상과, 상기 제1기준선 및 제2기준선의 후방부를 포함하는 후방영상을 획득하고, 상기 전방영상, 좌측영상, 우측영상, 및 후방영상을 결합하여 어라운드 영상을 얻는 단계; 및
상기 어라운드 영상에 있어서, 상기 전방영상, 좌측영상, 우측영상, 및 후방영상의 경계부에서의 상기 제1기준선 및 제2기준선의 각 폭 방향에 있어 매칭오차를 평가하는 매칭오차 평가단계를 포함하고, 상기 어라운드 영상에 대해 상기 제1기준선 및 제2기준선의 기울어짐을 평가하는 기울어짐 평가단계, 상기 어라운드 영상에 대해 상기 제1기준선 및 제2기준선의 구부러짐을 평가하는 구부러짐 평가단계 및 상기 어라운드 영상에 있어서, 상기 전방영상, 좌측영상, 우측영상 및 후방영상의 컬러 정합도를 평가하는 컬러 정합도 평가단계 중 적어도 하나
를 포함하는 AVM 시스템 어라운드 영상 정합성 평가방법.A method for evaluating the consistency of an AVM system for generating an around image using a front image, a left image, a right image, and a rear image of a vehicle for the around image,
A front image including a front portion of the first reference line and the second reference line for the first and second reference lines that are formed in a straight line in the front and rear on the floor, are spaced apart from each other with the vehicle therebetween, and have a set width; , a left image including a central portion of the first reference line, a right image including a central portion of the second reference line, and a rear image including a rear portion of the first and second reference lines are obtained, the front image; combining a left image, a right image, and a rear image to obtain an around image; and
In the around image, a matching error evaluation step of evaluating a matching error in each width direction of the first reference line and the second reference line at the boundary of the front image, the left image, the right image, and the rear image, A tilt evaluation step of evaluating the inclination of the first and second reference lines with respect to the around image, a bending evaluation step of evaluating the bending of the first and second reference lines with respect to the around image, and in the around image , at least one of a color matching evaluation step of evaluating the color matching of the front image, the left image, the right image, and the rear image
AVM system around image consistency evaluation method comprising a. 제1항에 있어서,
상기 매칭오차 평가단계는,
상기 전방영상의 제1 기준선과 상기 좌측영상의 제1 기준선에 대해 좌측 또는 우측의 최외곽 경계픽셀들을 추출하고, 상기 전방영상 제1 기준선의 상기 최외곽 경계픽셀과 상기 좌측영상 제1 기준선의 상기 최외곽 경계 픽셀 사이의 좌우방향 거리를 계산하는 단계;
상기 전방영상의 제2 기준선과 상기 우측영상의 제2 기준선에 대해 좌측 또는 우측의 최외곽 경계픽셀들을 추출하고, 상기 전방영상 제2 기준선의 상기 최외곽 경계픽셀과 상기 우측영상 제2 기준선의 상기 최외곽 경계 픽셀 사이의 좌우방향 거리를 계산하는 단계;
상기 후방영상의 제1 기준선과 상기 좌측영상의 제1 기준선에 대해 좌측 또는 우측의 최외곽 경계픽셀들을 추출하고, 상기 후방영상 제1 기준선의 상기 최외곽 경계픽셀과 상기 좌측영상 제1 기준선의 상기 최외곽 경계픽셀 사이의 좌우방향 거리를 계산하는 단계; 및
상기 후방영상의 제2 기준선과 상기 우측영상의 제2 기준선에 대해 좌측 또는 우측의 최외곽 경계픽셀들을 추출하고, 상기 후방영상 제2 기준선의 상기 최외곽 경계픽셀과 상기 우측영상 제2 기준선의 상기 최외곽 경계픽셀 사이의 좌우방향 거리를 계산하는 단계
를 포함하는 AVM 시스템 어라운드 영상 정합성 평가방법.According to claim 1,
The matching error evaluation step is,
The left or right outermost boundary pixels are extracted with respect to the first reference line of the front image and the first reference line of the left image, and the outermost boundary pixels of the first reference line of the front image and the first reference line of the left image are extracted. calculating a left-right distance between the outermost boundary pixels;
The left or right outermost boundary pixels are extracted with respect to the second reference line of the front image and the second reference line of the right image, and the outermost boundary pixels of the second reference line of the front image and the second reference line of the right image are extracted. calculating a left-right distance between the outermost boundary pixels;
The left or right outermost boundary pixels are extracted with respect to the first reference line of the rear image and the first reference line of the left image, and the outermost boundary pixels of the first reference line of the rear image and the first reference line of the left image are extracted. calculating a left-right distance between outermost boundary pixels; and
The left or right outermost boundary pixels are extracted with respect to the second reference line of the rear image and the second reference line of the right image, and the outermost boundary pixels of the second reference line of the rear image and the second reference line of the right image are extracted. Calculating the left-right distance between the outermost boundary pixels
AVM system around image consistency evaluation method comprising a. 제1항에 있어서,
상기 기울어짐 평가단계는,
상기 어라운드 영상 속의 상기 제1 기준선의 픽셀들에 대한 직선 방정식을 구하여 얻어진 직선의 기울기인 제1 기준선 기울기와 상기 어라운드 영상 속의 상기 제2 기준선의 픽셀들에 대한 직선 방정식을 구하여 얻어진 직선의 기울기인 제2 기준선 기울기를 이용하여 평가하는 것을 특징으로 하는 AVM 시스템 어라운드 영상 정합성 평가방법.According to claim 1,
The tilt evaluation step is,
The first reference line slope, which is the slope of a straight line obtained by calculating the linear equation for the pixels of the first reference line in the around image, and the second which is the slope of the straight line obtained by calculating the linear equation for the pixels of the second reference line in the around image. 2 AVM system-around image consistency evaluation method, characterized in that it is evaluated using the baseline slope. 제1항에 있어서,
상기 구부러짐 평가단계는,
상기 어라운드 영상 속의 상기 제1 기준선의 우측 또는 좌측의 에지선을 추출하고 그 추출된 에지들 사이의 상대 기울기 각도와 상기 어라운드 영상 속의 상기 제2 기준선의 우측 또는 좌측의 에지선을 추출하고 그 추출된 에지들 사이의 상대 기울기 각도를 이용하여 평가하는 것을 특징으로 하는 AVM 시스템 어라운드 영상 정합성 평가방법.According to claim 1,
The bending evaluation step is,
Extracting an edge line on the right or left side of the first reference line in the around image, extracting a relative inclination angle between the extracted edges, and an edge line on the right or left side of the second reference line in the around image, and extracting the extracted An AVM system-around image consistency evaluation method, characterized in that the evaluation is performed using a relative inclination angle between edges. 제1항에 있어서,
상기 컬러 정합도 평가단계는,
상기 전방영상과 상기 좌측영상이 만나는 접선을 기준으로 각각의 영상정보에서 상기 접선과 근접한 일정부분의 컬러 값의 평균을 추출하여 제1 평균 컬러값을 생성하는 단계;
상기 좌측영상과 상기 후방영상이 만나는 접선을 기준으로 각각의 영상정보에서 상기 접선과 근접한 일정부분의 컬러 값의 평균을 추출하여 제2 평균 컬러값을 생성하는 단계;
상기 전방영상과 상기 우측영상이 만나는 접선을 기준으로 각각의 영상정보에서 상기 접선과 근접한 일정부분의 컬러 값의 평균을 추출하여 제3 평균 컬러값을 생성하는 단계; 및
상기 우측영상과 상기 후방영상이 만나는 접선을 기준으로 각각의 영상정보에서 상기 접선과 근접한 일정부분의 컬러 값의 평균을 추출하여 제4 평균 컬러값을 생성하는 단계를 포함하는 AVM 시스템 어라운드 영상 정합성 평가방법.According to claim 1,
The color matching evaluation step is,
generating a first average color value by extracting an average of color values of a certain portion adjacent to the tangent from each image information based on a tangent line where the front image and the left image meet;
generating a second average color value by extracting an average of color values of a certain portion adjacent to the tangent from each image information based on a tangent line where the left image and the rear image meet;
generating a third average color value by extracting an average of color values of a certain portion adjacent to the tangent from each image information based on a tangent line where the front image and the right image meet; and
AVM system-around image consistency evaluation comprising the step of generating a fourth average color value by extracting the average of the color values of a portion close to the tangent from each image information based on the tangent line where the right image and the rear image meet Way. 제5항에 있어서,
상기 컬러 정합도 평가단계는,
상기 제1 평균 컬러값, 제2 평균 컬러값, 제3 평균 컬러값 및 제4 평균 컬러값을 아래의 수식
Figure 112016029712013-pat00003

(
Figure 112016029712013-pat00004
: 컬러의 정합도, L: 명도(밝기), a: 녹색에서 적색의 보색, b: 황색에서 청색의 보색을 의미)
을 사용하는 것을 특징으로 하는 AVM 시스템 어라운드 영상 정합성 평가방법.6. The method of claim 5,
The color matching evaluation step is,
The first average color value, the second average color value, the third average color value, and the fourth average color value are expressed by the following equations.
Figure 112016029712013-pat00003

(
Figure 112016029712013-pat00004
: Color matching, L: Brightness (brightness), a: Green to red complementary color, b: Yellow to blue complementary color)
AVM system around image consistency evaluation method, characterized in that using the. 제1항에 있어서,
상기 제1 기준선 및 제2 기준선은 흰색 라인이며, 상기 바닥은 녹색인 것을 특징으로 하는 AVM 시스템 어라운드 영상 정합성 평가방법.According to claim 1,
The first and second reference lines are white lines, and the bottom is green. 차량의 전방영상, 좌측영상, 우측영상, 및 후방영상을 이용하여 어라운드 영상을 생성하는 AVM 시스템의 상기 어라운드 영상에 대한 정합성을 평가하는 장치에 있어서,
바닥에 전후방으로 직선적으로 길게 형성되며 상기 차량을 사이에 두고 서로 이격되어 위치하며 설정 폭을 갖는 제1기준선 및 제2기준선에 대해, 상기 제1기준선 및 제2기준선의 전방부를 포함하는 전방영상과, 상기 제1기준선의 중앙부를 포함하는 좌측영상과, 상기 제2기준선의 중앙부를 포함하는 우측영상과, 상기 제1기준선 및 제2기준선의 후방부를 포함하는 후방영상을 획득하고, 상기 전방영상, 좌측영상, 우측영상, 및 후방영상을 결합하여 어라운드 영상을 얻는 어라운드 영상 획득부; 및
상기 어라운드 영상에 있어서, 상기 전방영상, 좌측영상, 우측영상, 및 후방영상의 경계부에서의 상기 제1기준선 및 제2기준선의 각 폭 방향에 있어 매칭오차를 평가하는 매칭오차 평가부를 포함하고, 상기 어라운드 영상에 대해 상기 제1기준선 및 제2기준선의 기울어짐을 평가하는 기울어짐 평가부, 상기 어라운드 영상에 대해 상기 제1기준선 및 제2기준선의 구부러짐을 평가하는 구부러짐 평가부 및 상기 어라운드 영상에 있어서, 상기 전방영상, 좌측영상, 우측영상, 및 후방영상의 컬러 정합도를 평가하는 컬러 정합도 평가부 중 적어도 하나
를 포함하는 AVM 시스템 어라운드 영상 정합성 평가장치.An apparatus for evaluating the consistency of an AVM system for generating an around image using a front image, a left image, a right image, and a rear image of a vehicle with respect to the around image,
A front image including a front portion of the first reference line and the second reference line for the first and second reference lines that are formed in a straight line in the front and rear on the floor, are spaced apart from each other with the vehicle therebetween, and have a set width; , a left image including a central portion of the first reference line, a right image including a central portion of the second reference line, and a rear image including a rear portion of the first and second reference lines are obtained, the front image; an around image acquisition unit for obtaining an around image by combining the left image, the right image, and the rear image; and
In the around image, a matching error evaluation unit for evaluating a matching error in each width direction of the first reference line and the second reference line at the boundary of the front image, the left image, the right image, and the rear image; A tilt evaluation unit for evaluating the inclination of the first reference line and the second reference line with respect to the around image, a bending evaluation unit for evaluating the bending of the first reference line and the second reference line with respect to the around image, and the around image, At least one of a color matching evaluation unit for evaluating the color matching of the front image, the left image, the right image, and the rear image
AVM system around image consistency evaluation device comprising a.
KR1020160037080A 2016-03-28 2016-03-28 Method and Apparatus for Assessing an Image Match of an Around View Image for an Around View Monitor System KR102441209B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160037080A KR102441209B1 (en) 2016-03-28 2016-03-28 Method and Apparatus for Assessing an Image Match of an Around View Image for an Around View Monitor System

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160037080A KR102441209B1 (en) 2016-03-28 2016-03-28 Method and Apparatus for Assessing an Image Match of an Around View Image for an Around View Monitor System

Publications (2)

Publication Number Publication Date
KR20170111504A KR20170111504A (en) 2017-10-12
KR102441209B1 true KR102441209B1 (en) 2022-09-07

Family

ID=60140444

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160037080A KR102441209B1 (en) 2016-03-28 2016-03-28 Method and Apparatus for Assessing an Image Match of an Around View Image for an Around View Monitor System

Country Status (1)

Country Link
KR (1) KR102441209B1 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102031635B1 (en) * 2017-12-07 2019-10-14 (주)캠시스 Collision warning device and method using heterogeneous cameras having overlapped capture area
KR102016630B1 (en) 2018-12-11 2019-08-30 주식회사 리트빅 method of providing SVM video based on color calibration by use of colored chessboards
KR102566120B1 (en) * 2019-05-29 2023-08-11 현대모비스 주식회사 Apparatus and method for evaluating a surround-view image for a vehicle
KR102469815B1 (en) 2022-02-14 2022-11-23 주식회사 리트빅 3D AVM system by use of Deep Learning
KR102612066B1 (en) 2022-08-03 2023-12-08 주식회사 리트빅 method of correcting distortion in 3D SVM video by use of atypical 3D projection screen
KR102583959B1 (en) 2022-09-02 2023-09-27 주식회사 리트빅 method of correcting distortion in 3D SVM video by use of adjustment of video composition portion of boundary line corresponding to 3D viewpoint

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100948886B1 (en) 2009-06-25 2010-03-24 주식회사 이미지넥스트 Tolerance compensating apparatus and method for automatic vehicle-mounted camera
KR101113679B1 (en) * 2010-05-24 2012-02-14 기아자동차주식회사 Image correction method for a camera system

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101249791B1 (en) * 2011-05-23 2013-04-03 아진산업(주) Image generating method for around view of vehicle
KR101371893B1 (en) * 2012-07-05 2014-03-07 현대자동차주식회사 Apparatus and method for detecting object using image around vehicle
KR101504335B1 (en) * 2013-07-29 2015-03-23 인하대학교 산학협력단 Device, method and vehicle for providing around view

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100948886B1 (en) 2009-06-25 2010-03-24 주식회사 이미지넥스트 Tolerance compensating apparatus and method for automatic vehicle-mounted camera
KR101113679B1 (en) * 2010-05-24 2012-02-14 기아자동차주식회사 Image correction method for a camera system

Also Published As

Publication number Publication date
KR20170111504A (en) 2017-10-12

Similar Documents

Publication Publication Date Title
KR102441209B1 (en) Method and Apparatus for Assessing an Image Match of an Around View Image for an Around View Monitor System
US10255509B2 (en) Adaptive lane marker detection for a vehicular vision system
US9892493B2 (en) Method, apparatus and system for performing geometric calibration for surround view camera solution
TWI613905B (en) Anomaly image detecting device, image processing system including abnormal image detecting device, and vehicle equipped with image processing system
US9533618B2 (en) Method, apparatus and system for processing a display from a surround view camera solution
KR102227843B1 (en) Operating method of lane departure warning system
US8077199B2 (en) Target position identifying apparatus
KR101676656B1 (en) Apparatus and method for detecting obstacle
US20140341467A1 (en) Method for brightness equalization of various images
US10719949B2 (en) Method and apparatus for monitoring region around vehicle
US9336449B2 (en) Vehicle recognition device
US10937201B2 (en) Method and device for generating a vehicle environment view for a vehicle
JP6633624B2 (en) Image processing apparatus, image processing method, and image processing program
US20180181819A1 (en) Demarcation line recognition device
KR20210130688A (en) Apparatus for generating top-view image and method thereof
CN114339185A (en) Image colorization for vehicle camera images
US11100342B2 (en) Image processing device and image processing method
US20160035107A1 (en) Moving object detection
US20120128211A1 (en) Distance calculation device for vehicle
CN104038752A (en) Multi-view video histogram color correcting method based on three-dimensional Gaussian mixed model
US10489890B2 (en) Image-processing apparatus, image-processing method, and image-processing program
US9041778B2 (en) Image processing device and method of processing image
JP6960827B2 (en) Road surface area detector
US20160196474A1 (en) Image processing apparatus and lane partition line recognition system including the same
WO2015182771A1 (en) Image capturing device, image processing device, image processing method, and computer program

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant