KR20230153207A - Method and System for Accuracy Improvement under Multi-sized Object Detection - Google Patents

Method and System for Accuracy Improvement under Multi-sized Object Detection Download PDF

Info

Publication number
KR20230153207A
KR20230153207A KR1020220073297A KR20220073297A KR20230153207A KR 20230153207 A KR20230153207 A KR 20230153207A KR 1020220073297 A KR1020220073297 A KR 1020220073297A KR 20220073297 A KR20220073297 A KR 20220073297A KR 20230153207 A KR20230153207 A KR 20230153207A
Authority
KR
South Korea
Prior art keywords
point
transform
image
points
perspective
Prior art date
Application number
KR1020220073297A
Other languages
Korean (ko)
Inventor
정용화
백화평
손승욱
안한세
유혜정
유승현
Original Assignee
고려대학교 세종산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 세종산학협력단 filed Critical 고려대학교 세종산학협력단
Publication of KR20230153207A publication Critical patent/KR20230153207A/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/0093—Geometric image transformation in the plane of the image for image warping, i.e. transforming by individually repositioning each pixel
    • G06T3/18—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/006—Geometric correction
    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Abstract

다양한 크기의 객체 탐지 정확도 개선 방법 및 시스템이 제시된다. 본 발명에서 제안하는 다양한 크기의 객체 탐지 정확도 개선 방법은 자동차 자율주행 시 설정부가 카메라로부터 촬영된 영상을 획득하여 원본 영상을 정의하고, 상기 원본 영상에 대한 원근변환을 위해 시점변환이 필요한 복수의 포인트를 지정하는 단계, 원근변환 영상 생성부가 상기 시점변환이 필요한 복수의 포인트를 사용하여 원근변환 기법을 통해 객체크기 보정을 위한 원근변환 영상을 생성하는 단계, 원근변환 영상 생성부가 상기 원근변환 영상을 역변환하여 역 원근변환 영상을 생성하는 단계, SSIM(Structural Similarity Index Measure) 측정부가 상기 원본 영상 및 역 원근변환 영상 대한 SSIM 값을 측정하는 단계 및 설정부가 상기 측정된 SSIM 값에 따라 상기 시점변환이 필요한 복수의 포인트 중 두 개의 위 포인트(Transform_point_3, Transform_point_4)를 재조정하는 단계를 포함한다. A method and system for improving object detection accuracy of various sizes are presented. The method for improving the detection accuracy of objects of various sizes proposed in the present invention is that when a car is autonomously driving, the setting unit acquires images taken from a camera, defines an original image, and determines a plurality of points that require viewpoint conversion for perspective conversion on the original image. A step of specifying, a perspective transformation image generator generating a perspective transformation image for object size correction through a perspective transformation technique using a plurality of points requiring viewpoint transformation, a perspective transformation image generation unit inversely converting the perspective transformation image. generating an inverse perspective image, a Structural Similarity Index Measure (SSIM) measuring unit measuring SSIM values for the original image and the inverse perspective conversion image, and a setting unit measuring a plurality of viewpoints requiring the viewpoint conversion according to the measured SSIM value. It includes the step of readjusting two of the points (Transform_point_3, Transform_point_4).

Description

다양한 크기의 객체 탐지 정확도 개선 방법 및 시스템{Method and System for Accuracy Improvement under Multi-sized Object Detection}Method and System for Accuracy Improvement under Multi-sized Object Detection}

본 발명은 다양한 크기의 객체 탐지 정확도 개선 방법 및 시스템에 관한 것이다.The present invention relates to a method and system for improving object detection accuracy of various sizes.

일반적으로 자율주행 자동차(Autonomous Car)는 운전자가 차량을 운전하지 않아도 스스로 움직이는 자동차를 의미한다. 이러한 자율주행 자동차는 다양한 센서 및 카메라가 구비되는 바, 예를 들면, RADAR(Radio Detection and Ranging), LIDAR(Light Detection and Ranging), 3D 형상인식센서, 카메라, 레이저 센서, 다축 모션센서 등이 장착된다. In general, an autonomous car refers to a car that moves on its own without a driver driving the vehicle. These self-driving cars are equipped with various sensors and cameras, for example, RADAR (Radio Detection and Ranging), LIDAR (Light Detection and Ranging), 3D shape recognition sensor, camera, laser sensor, multi-axis motion sensor, etc. do.

Radar는 차량 및 도로 시설물 감지용이며 2.4GHz 근거리 레이더와, 77-78GHz 중장거리 레이더가 주로 사용된다. 전후방 충돌경보, 충돌방지 시스템 등에 주로 사용된다. Lidar는 레이저 펄스를 지표면과 장애물에 조사하여 반사돼 돌아오는 광 에너지를 분석하여 주변의 3차원 정보를 인식한다. 3D 형상인식센서는 LED와 인식픽셀이 적용된 이미지 센서 카메라로서, 전방위 충돌방지, 차선이탈방지, 주차 지원 등에 사용된다. 카메라는 렌즈를 통해 들어온 빛을 디지털 신호로 변환하며, 어라운드 뷰, 후방 카메라뿐만 아니라 AEB(Autonomous Emergency Braking), LKA(Lane Keeping Assistance) 등에 적용된다. 레이더는 트랜스미터에서 라디오 전파가 송출되어 장애물에 반사된 후 리시버로 수신되는 원리를 이용한 센서로서, 거리, 속도, 각도 등을 파악하는데 적용된다. 다축 모션센서는 차량의 병진이나 회전을 감지하는 센서로서 ABS, ESP 등 자동차의 자세 제어에 사용된다. 도로상의 이상객체(Foreign Object and Debris; FOD)는 차량이 도로를 주행하는 동안 주행을 방해하고 안전사고를 유발할 수 있는 다양한 객체를 의미한다. 예를 들면, 이상객체는, 포유류로는 인간, 고라니, 멧돼지, 개, 고양이 등을 포함하고, 객체는 자갈, 바위 등 도로위의 낙석, 타이어 조각, 범퍼 조각, 램프 조각 등 각종 차량 파편, 볼트, 너트, 피스 등 각종 차량 화물 부품, 캔, 플라스틱 비닐, 펫트병, 유리병 등 생활 쓰레기, 블랙 아이스, 물웅덩이, 포트홀 등의 자연 현상을 의미한다. Radar is for detecting vehicles and road facilities, and 2.4GHz short-range radar and 77-78GHz mid-to-long-range radar are mainly used. It is mainly used in front and rear collision warning and collision prevention systems. Lidar radiates laser pulses to the ground surface and obstacles and analyzes the reflected light energy to recognize three-dimensional information around it. The 3D shape recognition sensor is an image sensor camera equipped with LEDs and recognition pixels, and is used for omnidirectional collision prevention, lane departure prevention, and parking assistance. The camera converts the light coming through the lens into a digital signal, and is applied not only to the around view and rear camera, but also to AEB (Autonomous Emergency Braking) and LKA (Lane Keeping Assistance). Radar is a sensor that uses the principle that radio waves are transmitted from a transmitter, reflected by obstacles, and then received by a receiver, and is applied to determine distance, speed, angle, etc. A multi-axis motion sensor is a sensor that detects the translation or rotation of a vehicle and is used to control the vehicle's posture, such as ABS and ESP. Foreign Objects and Debris (FOD) on the road refers to various objects that can interfere with driving and cause safety accidents while a vehicle is driving on the road. For example, abnormal objects include mammals such as humans, elk, wild boars, dogs, cats, etc., and objects include gravel, rocks, fallen stones on the road, various vehicle debris such as tire fragments, bumper fragments, lamp fragments, etc., and bolts. , various vehicle cargo parts such as nuts and pieces, household waste such as cans, plastic vinyl, PET bottles, and glass bottles, and natural phenomena such as black ice, puddles, and potholes.

그리고, 이러한 다양한 센서들에 의하여 얻어진 도로 정보는 제어부에 의하여 분석됨으로써 위험 및 장애여부가 판단될 수 있고, 또한 이러한 빅데이터는 5G 등의 통신망을 통하여 중앙 관제소 등으로 전송될 수 있다. 그러나, 이러한 종래의 자율주행 자동차는 전방 장애물을 감지하고, 인식하는데 시간이 오래 걸리고 부정확한 문제점이 있다. In addition, the road information obtained by these various sensors can be analyzed by the control unit to determine whether there are risks or obstacles, and this big data can be transmitted to the central control center through a communication network such as 5G. However, these conventional self-driving cars have the problem of taking a long time and being inaccurate in detecting and recognizing front obstacles.

또한, 자동차의 자율 주행에서 움직이는 자동차 내에서 촬영하는 영상의 움직임이 일정하지 않는 다는 것을 고려할 때(예를 들어, 정지, 가속), 도로내의 움직이는 자동차들을 빠르고 정확하게 탐지하기 위해 정확한 자동차 자동 탐지 기술의 필요성이 증가하고 있다.In addition, considering that in autonomous driving of a car, the movement of images captured within a moving car is not constant (e.g. stopping, accelerating), accurate automatic car detection technology is needed to quickly and accurately detect moving cars on the road. The need is increasing.

한국 등록특허 제10-1915893호 (2018.10.31)Korean Patent No. 10-1915893 (2018.10.31)

본 발명이 이루고자 하는 기술적 과제는 도로내의 움직이는 자동차들을 빠르고 정확하게 탐지하기 위한 다양한 크기의 객체 탐지 정확도 개선 방법 및 시스템을 제공하는데 있다. 더욱 상세하게는, 자율주행에서 사용되는 영상에 대하여 객체크기의 차이를 보정하기 위해 보정할 위치를 자동으로 찾는 객체 탐지 정확도 개선 방법 및 시스템을 제공한다. The technical task to be achieved by the present invention is to provide a method and system for improving object detection accuracy of various sizes to quickly and accurately detect moving cars on the road. More specifically, we provide a method and system for improving object detection accuracy that automatically finds positions to be corrected to correct differences in object size for images used in autonomous driving.

일 측면에 있어서, 본 발명에서 제안하는 다양한 크기의 객체 탐지 정확도 개선 방법은 자동차 자율주행 시 설정부가 카메라로부터 촬영된 영상을 획득하여 원본 영상을 정의하고, 상기 원본 영상에 대한 원근변환을 위해 시점변환이 필요한 복수의 포인트를 지정하는 단계, 원근변환 영상 생성부가 상기 시점변환이 필요한 복수의 포인트를 사용하여 원근변환 기법을 통해 객체크기 보정을 위한 원근변환 영상을 생성하는 단계, 원근변환 영상 생성부가 상기 원근변환 영상을 역변환하여 역 원근변환 영상을 생성하는 단계, SSIM(Structural Similarity Index Measure) 측정부가 상기 원본 영상 및 역 원근변환 영상 대한 SSIM 값을 측정하는 단계 및 설정부가 상기 측정된 SSIM 값에 따라 상기 시점변환이 필요한 복수의 포인트 중 두 개의 위 포인트(Transform_point_3, Transform_point_4)를 재조정하는 단계를 포함한다. In one aspect, the method for improving the accuracy of detecting objects of various sizes proposed in the present invention is that when a car is autonomously driving, the setting unit acquires images taken from a camera, defines an original image, and performs viewpoint conversion for perspective conversion on the original image. A step of specifying a plurality of necessary points, a perspective conversion image generating unit generating a perspective conversion image for object size correction through a perspective conversion technique using the plurality of points requiring viewpoint conversion, a perspective conversion image generating unit generating an inverse perspective image by inversely converting the perspective image, a Structural Similarity Index Measure (SSIM) measuring unit measuring SSIM values for the original image and the inverse perspective conversion image, and a setting unit measuring the SSIM value according to the measured SSIM value. It includes the step of readjusting the two points (Transform_point_3, Transform_point_4) among the plurality of points that require viewpoint transformation.

상기 자동차 자율주행 시 설정부가 카메라로부터 촬영된 영상을 획득하여 원본 영상을 정의하고, 상기 원본 영상에 대한 원근변환을 위해 시점변환이 필요한 복수의 포인트를 지정하는 단계는 상기 원본 영상에 포함된 도로의 양쪽 끝을 시점변환이 필요한 두 개의 아래 포인트(Transform_point_1, Transform_point_2)로 지정하는 단계, 상기 원본 영상에 포함된 도로와 하늘의 교차 지점의 높이를 시점변환이 필요한 두 개의 위 포인트(Transform_point_3, Transform_point_4)의 높이 값(y)으로 지정하는 단계 및 상기 원본 영상에 포함된 도로와 하늘의 교차 지점의 너비를 시점변환이 필요한 두 개의 위 포인트(Transform_point_3, Transform_point_4)의 너비 값(x)으로 지정하는 단계를 포함한다. When the car is autonomously driving, the setting unit acquires the captured image from the camera, defines the original image, and specifies a plurality of points that require viewpoint conversion for perspective conversion of the original image. A step of designating both ends as the two lower points (Transform_point_1, Transform_point_2) that require viewpoint transformation, and the height of the intersection point between the road and the sky included in the original image as the two upper points (Transform_point_3, Transform_point_4) that require viewpoint transformation. It includes the step of specifying the height value (y) and the step of specifying the width of the intersection point between the road and the sky included in the original image as the width value (x) of the two upper points (Transform_point_3, Transform_point_4) that require viewpoint transformation. do.

상기 설정부가 상기 측정된 SSIM 값에 따라 상기 시점변환이 필요한 복수의 포인트 중 두 개의 위 포인트(Transform_point_3, Transform_point_4)를 재조정하는 단계는 상기 원본 영상 및 역 원근변환 영상 간의 유사성을 측정하여 객체의 거리에 따른 왜곡의 정도를 나타내는 상기 SSIM 값에 따라 객체크기를 보정하기 위해 상기 시점변환이 필요한 복수의 포인트를 자동으로 찾음으로써 객체 탐지 정확도를 개선한다. The step of the setting unit readjusting two upper points (Transform_point_3, Transform_point_4) among the plurality of points requiring viewpoint transformation according to the measured SSIM value measures the similarity between the original image and the inverse perspective transformation image to determine the distance of the object. Object detection accuracy is improved by automatically finding a plurality of points where the viewpoint conversion is required to correct the object size according to the SSIM value indicating the degree of distortion.

상기 측정된 SSIM 값이 원근변환에 대한 왜곡이 최소화되기 위한 미리 정해진 기준 값보다 낮은 경우, 상기 시점변환이 필요한 복수의 포인트 중 하나의 위 포인트(Transform_point_3)의 x 좌표를 1 감소시키고, 또 다른 하나의 위 포인트(Transform_point_4)의 x 좌표를 1 증가시킨다. If the measured SSIM value is lower than a predetermined reference value to minimize distortion for perspective transformation, the x coordinate of one of the plurality of points requiring viewpoint transformation (Transform_point_3) is decreased by 1, and another one Increase the x coordinate of the above point (Transform_point_4) by 1.

상기 측정된 SSIM 값이 원근변환에 대한 왜곡이 최소화되기 위한 미리 정해진 기준 값보다 높아질 때까지 두 개의 위 포인트(Transform_point_3, Transform_point_4)를 재조정하는 단계를 반복한다. The step of readjusting the two above points (Transform_point_3, Transform_point_4) is repeated until the measured SSIM value is higher than a predetermined reference value to minimize distortion for perspective transformation.

또 다른 일 측면에 있어서, 본 발명에서 제안하는 다양한 크기의 객체 탐지 정확도 개선 시스템은 자동차 자율주행 시 카메라로부터 촬영된 영상을 획득하여 원본 영상을 정의하고, 상기 원본 영상에 대한 원근변환을 위해 시점변환이 필요한 복수의 포인트를 지정하는 설정부, 상기 시점변환이 필요한 복수의 포인트를 사용하여 원근변환 기법을 통해 객체크기 보정을 위한 원근변환 영상을 생성하고, 상기 원근변환 영상을 역변환하여 역 원근변환 영상을 생성하는 원근변환 영상 생성부 및 상기 원본 영상 및 역 원근변환 영상 대한 SSIM 값을 측정하는 SSIM 측정부를 포함하고, 상기 설정부는 상기 측정된 SSIM 값에 따라 상기 시점변환이 필요한 복수의 포인트 중 두 개의 위 포인트(Transform_point_3, Transform_point_4)를 재조정한다.In another aspect, the system for improving the accuracy of detecting objects of various sizes proposed in the present invention acquires images captured from cameras during autonomous driving of a car, defines an original image, and performs viewpoint conversion for perspective conversion on the original image. A setting unit that specifies the plurality of points required, generates a perspective transformation image for object size correction through a perspective transformation technique using the plurality of points requiring viewpoint transformation, and inversely transforms the perspective transformation image to create an inverse perspective transformation image. It includes a perspective conversion image generator that generates a perspective conversion image generation unit and an SSIM measurement unit that measures SSIM values for the original image and the inverse perspective conversion image, and the setting unit determines two of the plurality of points requiring the viewpoint conversion according to the measured SSIM value. Readjust the above points (Transform_point_3, Transform_point_4).

본 발명의 실시예들에 따르면 자동차의 자율 주행에서 움직이는 자동차 내에서 촬영하는 영상의 움직임이 일정하지 않는 다는 것을 고려하여 제안하는 다양한 크기의 객체 탐지 정확도 개선 방법 및 시스템을 통해 도로내의 움직이는 자동차들을 빠르고 정확하게 탐지할 수 있다. 자율주행에서 사용되는 영상에 대하여 객체크기의 차이를 보정하기 위해 보정할 위치를 자동으로 찾음으로써 객체 탐지 정확도를 개선할 수 있다. 또한, 본 발명의 실시예들에 따르면 많은 비용을 들이지 않아도 되는 쉬운 알고리즘을 이용하여 객체 크기가 보정이 되기 때문에 탐지 정확도는 기존보다 개선되고 수행시간에는 별다른 차이가 없어 빠르게 움직이는 자율주행의 환경에서도 실시간으로 수행될 수 있다.According to embodiments of the present invention, taking into account the fact that the movement of images captured within a moving car is not constant in autonomous driving of a car, a method and system for improving the accuracy of object detection of various sizes is proposed to quickly and quickly detect moving cars on the road. It can be detected accurately. Object detection accuracy can be improved by automatically finding a position to correct for differences in object size for images used in autonomous driving. In addition, according to embodiments of the present invention, the object size is corrected using an easy algorithm that does not require a lot of cost, so the detection accuracy is improved compared to the existing one, and there is no significant difference in execution time, so it can be used in real time even in a fast-moving autonomous driving environment. It can be performed as:

도 1은 본 발명의 일 실시예에 따른 다양한 크기의 객체 탐지 정확도 개선 방법을 설명하기 위한 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 다양한 크기의 객체 탐지 정확도 개선 시스템의 구성을 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 자율주행 자동차의 카메라 설치 위치를 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 영상의 원근변환 지점 재조정 알고리즘을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 자율주행 자동차의 카메라를 통해 촬영된 원근변환 전 영상을 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 영상의 원근변환 지점을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 원근변환이 적용된 영상을 나타내는 도면이다. 1 is a flowchart illustrating a method for improving the detection accuracy of objects of various sizes according to an embodiment of the present invention.
Figure 2 is a diagram showing the configuration of a system for improving object detection accuracy of various sizes according to an embodiment of the present invention.
Figure 3 is a diagram showing the camera installation location of a self-driving car according to an embodiment of the present invention.
Figure 4 is a diagram for explaining a perspective transformation point readjustment algorithm of an image according to an embodiment of the present invention.
Figure 5 is a diagram showing an image before perspective conversion captured through a camera of a self-driving car according to an embodiment of the present invention.
Figure 6 is a diagram for explaining perspective conversion points of an image according to an embodiment of the present invention.
Figure 7 is a diagram showing an image to which perspective transformation has been applied according to an embodiment of the present invention.

본 발명은 영상에서 시점변환을 실행할 지점을 자동으로 파악하는 영상처리기술에 관한 것으로 다양한 크기의 객체 탐지 정확도를 개선하기 위한 방법 및 시스템을 제공하고자 한다. The present invention relates to image processing technology that automatically identifies the point at which viewpoint conversion will be performed in an image, and seeks to provide a method and system for improving the accuracy of detecting objects of various sizes.

자동차의 자율 주행에 있어서 움직이는 자동차 내에서 촬영하는 영상은 자동차의 정지 또는 가속으로 인해 움직임이 일정하지 않다. 따라서, 이와 같이 움직임이 일정하지 않은 도로내의 움직이는 자동차들을 빠르고 정확하게 탐지하기 위해 정확한 자동차 자동 탐지 기술의 필요성이 증가하고 있다. In autonomous driving of a car, the movement of images captured inside a moving car is not constant due to the car stopping or accelerating. Accordingly, the need for accurate automatic vehicle detection technology is increasing to quickly and accurately detect moving cars on roads where the movement is not constant.

그러나 지속적으로 발전하는 합성 곱 신경망 기반 객체 탐지 기술을 적용하여도 카메라 시점에서 거리가 먼 자동차는 촬영된 영상에서 거리가 가까운 자동차보다 크기가 작게 표현되고 이는 객체 탐지기가 크기가 작은 객체를 탐지하는 데 어려움이 있어 정확히 탐지하는데 한계가 있다. However, even with the application of continuously evolving convolutional neural network-based object detection technology, cars that are farther away from the camera's viewpoint are represented as smaller in size than cars that are closer in the captured video, which makes it difficult for object detectors to detect small objects. Due to difficulties, there are limits to accurate detection.

본 발명에서는 이러한 어려움을 극복하기 위하여 자율주행에서 사용되는 영상에 대하여 객체크기의 차이를 보정하기 위해 보정할 위치를 자동으로 찾는 방법을 제안한다. 이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.In order to overcome these difficulties, the present invention proposes a method to automatically find a position to correct for differences in object size in images used in autonomous driving. Hereinafter, embodiments of the present invention will be described in detail with reference to the attached drawings.

도 1은 본 발명의 일 실시예에 따른 다양한 크기의 객체 탐지 정확도 개선 방법을 설명하기 위한 흐름도이다. 1 is a flowchart illustrating a method for improving the detection accuracy of objects of various sizes according to an embodiment of the present invention.

제안하는 다양한 크기의 객체 탐지 정확도 개선 방법은 초기화 단계(110), 시점변환이 필요한 복수의 포인트를 지정하는 단계(120), 원근변환 영상을 생성하는 단계(130), 역 원근변환 영상을 생성하는 단계(140), SSIM 값을 측정하는 단계(150), 시점변환이 필요한 복수의 포인트 중 두 개의 위 포인트(Transform_point_3, Transform_point_4)를 재조정하는 단계 및 최적화 단계(170)를 포함한다. The proposed method of improving object detection accuracy of various sizes includes an initialization step (110), a step of specifying a plurality of points requiring viewpoint conversion (120), a step of generating a perspective conversion image (130), and a step of generating an inverse perspective conversion image. It includes a step 140, a step 150 of measuring the SSIM value, a step of readjusting two of the points (Transform_point_3, Transform_point_4) among a plurality of points requiring viewpoint transformation, and an optimization step 170.

본 발명의 실시예에서는 시간과 정확도가 적절하게 어울리는 가성비가 좋은 탐지기인 YOLOv4를 사용하였다. YOLOv4가 객체탐지를 진행할 때 객체들의 크기 차이를 줄이기 위해 시점변환 기법을 사용하여 카메라부터 거리가 먼 크기가 작게 보이는 객체의 크기를 보정한다. 시점변환에서 필요한 지점은 총 네 개의 점이며 이 네 개의 지점에 따라 시점 변환이 수행된 영상의 왜곡이 생긴다. 그러므로 지정된 네 개의 지점에 따라 시점 변환 된 영상의 왜곡이 달라지기 때문에 이를 측정하기 위해 원본과의 유사성을 측정하여 왜곡이 얼마나 되었는지 표현하는 SSIM값을 사용한다. 본 발명의 실시예에 따른 영상들은 Argoverse에서 제공하는 동영상 데이터를 사용한다. In an embodiment of the present invention, YOLOv4, a cost-effective detector with an appropriate combination of time and accuracy, was used. When YOLOv4 performs object detection, it uses a viewpoint transformation technique to reduce the size difference between objects and corrects the size of objects that appear small and are far from the camera. A total of four points are required for viewpoint conversion, and distortion of the image on which viewpoint conversion has been performed occurs depending on these four points. Therefore, since the distortion of the viewpoint-converted image varies depending on the four designated points, the SSIM value, which expresses the amount of distortion by measuring similarity to the original, is used to measure this. Videos according to an embodiment of the present invention use video data provided by Argoverse.

먼저, 초기화 단계(110)에서 SSIM 값(SSIM_val)을 0으로 초기화 한다. First, in the initialization step 110, the SSIM value (SSIM_val) is initialized to 0.

단계(120)에서, 자동차 자율주행 시 설정부가 카메라로부터 촬영된 영상을 획득하여 원본 영상(source_image)을 정의하고, 상기 원본 영상에 대한 원근변환을 위해 시점변환이 필요한 복수의 포인트를 지정한다. In step 120, when the car is autonomously driving, the setting unit acquires an image captured from a camera, defines an original image (source_image), and designates a plurality of points that require viewpoint conversion for perspective conversion on the original image.

본 발명의 실시예에 따르면, 상기 원본 영상에 포함된 도로의 양쪽 끝을 시점변환이 필요한 두 개의 아래 포인트(Transform_point_1, Transform_point_2)로 지정하다. According to an embodiment of the present invention, both ends of the road included in the original image are designated as two lower points (Transform_point_1, Transform_point_2) that require viewpoint transformation.

본 발명의 실시예에 따르면, 상기 원본 영상에 포함된 도로와 하늘의 교차 지점의 높이를 시점변환이 필요한 두 개의 위 포인트(Transform_point_3, Transform_point_4)의 높이 값(y)으로 지정한다. According to an embodiment of the present invention, the height of the intersection point between the road and the sky included in the original image is designated as the height value (y) of the two upper points (Transform_point_3, Transform_point_4) that require viewpoint transformation.

본 발명의 실시예에 따르면, 상기 원본 영상에 포함된 도로와 하늘의 교차 지점의 너비를 시점변환이 필요한 두 개의 위 포인트(Transform_point_3, Transform_point_4)의 너비 값(x)으로 지정한다. 이때, 시점변환이 필요한 두 개의 위 포인트(Transform_point_3, Transform_point_4)의 너비 값(x)을 상기 원본 영상의 너비의 중간 값으로 초기화 한다. According to an embodiment of the present invention, the width of the intersection point between the road and the sky included in the original image is designated as the width value (x) of the two upper points (Transform_point_3, Transform_point_4) that require viewpoint transformation. At this time, the width value (x) of the two upper points (Transform_point_3, Transform_point_4) that require viewpoint transformation is initialized to the middle value of the width of the original image.

단계(130)에서, 원근변환 영상 생성부가 상기 시점변환이 필요한 복수의 포인트(Transform_point_1, Transform_point_2, Transform_point_3, Transform_point_4)를 사용하여 원근변환 기법을 통해 객체크기 보정을 위한 원근변환 영상(transform_image)을 생성한다. In step 130, the perspective transformation image generator generates a perspective transformation image (transform_image) for object size correction through a perspective transformation technique using a plurality of points (Transform_point_1, Transform_point_2, Transform_point_3, Transform_point_4) requiring viewpoint transformation. .

단계(140)에서, 원근변환 영상 생성부가 상기 원근변환 영상을 역변환하여 역 원근변환 영상(Transform_image_inverse)을 생성한다. In step 140, the perspective transformation image generator inversely transforms the perspective transformation image to generate an inverse perspective transformation image (Transform_image_inverse).

단계(150)에서, SSIM(Structural Similarity Index Measure) 측정부가 상기 원본 영상 및 역 원근변환 영상 대한 SSIM 값(SSIM_val)을 측정한다. In step 150, the SSIM (Structural Similarity Index Measure) measurement unit measures SSIM values (SSIM_val) for the original image and the inverse perspective transformation image.

단계(160)에서, 설정부가 상기 측정된 SSIM 값에 따라 상기 시점변환이 필요한 복수의 포인트 중 두 개의 위 포인트(Transform_point_3, Transform_point_4)를 재조정한다. In step 160, the setting unit readjusts two of the points (Transform_point_3, Transform_point_4) among the plurality of points requiring viewpoint transformation according to the measured SSIM value.

본 발명의 실시예에 따르면, 상기 원본 영상 및 역 원근변환 영상 간의 유사성을 측정하여 객체의 거리에 따른 왜곡의 정도를 나타내는 상기 SSIM 값에 따라 객체크기를 보정하기 위해 상기 시점변환이 필요한 복수의 포인트를 자동으로 찾음으로써 객체 탐지 정확도를 개선한다. According to an embodiment of the present invention, a plurality of points require the viewpoint transformation to measure the similarity between the original image and the inverse perspective transformation image and correct the object size according to the SSIM value indicating the degree of distortion according to the distance of the object. Improves object detection accuracy by automatically finding.

상기 측정된 SSIM 값이 원근변환에 대한 왜곡이 최소화되기 위한 미리 정해진 기준 값(Distortion_thresh)보다 낮은 경우, 상기 시점변환이 필요한 복수의 포인트 중 하나의 위 포인트(Transform_point_3)의 x 좌표를 1 감소시키고, 또 다른 하나의 위 포인트(Transform_point_4)의 x 좌표를 1 증가시킨다. If the measured SSIM value is lower than a predetermined reference value (Distortion_thresh) to minimize distortion for perspective transformation, decrease the x-coordinate of the point (Transform_point_3) above one of the plurality of points requiring viewpoint transformation by 1, Increase the x coordinate of another upper point (Transform_point_4) by 1.

상기 측정된 SSIM 값이 원근변환에 대한 왜곡이 최소화되기 위한 미리 정해진 기준 값보다 높아질 때까지 두 개의 위 포인트(Transform_point_3, Transform_point_4)를 재조정하는 단계를 반복한다. The step of readjusting the two above points (Transform_point_3, Transform_point_4) is repeated until the measured SSIM value is higher than a predetermined reference value to minimize distortion for perspective transformation.

최적화 단계(170)에서, 상기 측정된 SSIM 값이 원근변환에 대한 왜곡이 최소화되기 위한 미리 정해진 기준 값보다 높아지면, 해당 원근변환 영상을 반환한다. In the optimization step 170, if the measured SSIM value is higher than a predetermined reference value for minimizing distortion for perspective transformation, the corresponding perspective transformation image is returned.

도 2는 본 발명의 일 실시예에 따른 다양한 크기의 객체 탐지 정확도 개선 시스템의 구성을 나타내는 도면이다. Figure 2 is a diagram showing the configuration of a system for improving object detection accuracy of various sizes according to an embodiment of the present invention.

제안하는 다양한 크기의 객체 탐지 정확도 개선 시스템(200)은 설정부(210), 원근 변환 영상 생성부(220) 및 SSIM 값 측정부(230)를 포함한다. The proposed system for improving object detection accuracy of various sizes (200) includes a setting unit (210), a perspective transformation image generating unit (220), and an SSIM value measuring unit (230).

본 발명의 실시예에 따른 설정부(210)는 먼저, SSIM 값(SSIM_val)을 0으로 초기화 한다. The setting unit 210 according to an embodiment of the present invention first initializes the SSIM value (SSIM_val) to 0.

본 발명의 실시예에 따른 설정부(210)는 자동차 자율주행 시 카메라로부터 촬영된 영상을 획득하여 원본 영상(source_image)을 정의하고, 상기 원본 영상에 대한 원근변환을 위해 시점변환이 필요한 복수의 포인트를 지정한다. The setting unit 210 according to an embodiment of the present invention acquires an image captured from a camera when a car is autonomously driving, defines an original image (source_image), and determines a plurality of points that require viewpoint conversion for perspective conversion on the original image. Specify .

본 발명의 실시예에 따르면, 상기 원본 영상에 포함된 도로의 양쪽 끝을 시점변환이 필요한 두 개의 아래 포인트(Transform_point_1, Transform_point_2)로 지정하다. According to an embodiment of the present invention, both ends of the road included in the original image are designated as two lower points (Transform_point_1, Transform_point_2) that require viewpoint transformation.

본 발명의 실시예에 따르면, 상기 원본 영상에 포함된 도로와 하늘의 교차 지점의 높이를 시점변환이 필요한 두 개의 위 포인트(Transform_point_3, Transform_point_4)의 높이 값(y)으로 지정한다. According to an embodiment of the present invention, the height of the intersection point between the road and the sky included in the original image is designated as the height value (y) of the two upper points (Transform_point_3, Transform_point_4) that require viewpoint transformation.

본 발명의 실시예에 따르면, 상기 원본 영상에 포함된 도로와 하늘의 교차 지점의 너비를 시점변환이 필요한 두 개의 위 포인트(Transform_point_3, Transform_point_4)의 너비 값(x)으로 지정한다. 이때, 시점변환이 필요한 두 개의 위 포인트(Transform_point_3, Transform_point_4)의 너비 값(x)을 상기 원본 영상의 너비의 중간 값으로 초기화 한다. According to an embodiment of the present invention, the width of the intersection point between the road and the sky included in the original image is designated as the width value (x) of the two upper points (Transform_point_3, Transform_point_4) that require viewpoint transformation. At this time, the width value (x) of the two upper points (Transform_point_3, Transform_point_4) that require viewpoint transformation is initialized to the middle value of the width of the original image.

본 발명의 실시예에 따른 원근 변환 영상 생성부(220)는 상기 시점변환이 필요한 복수의 포인트(Transform_point_1, Transform_point_2, Transform_point_3, Transform_point_4)를 사용하여 원근변환 기법을 통해 객체크기 보정을 위한 원근변환 영상(transform_image)을 생성한다. The perspective transformation image generator 220 according to an embodiment of the present invention uses a plurality of points (Transform_point_1, Transform_point_2, Transform_point_3, Transform_point_4) that require viewpoint transformation to produce a perspective transformation image for object size correction through a perspective transformation technique ( transform_image).

본 발명의 실시예에 따른 원근 변환 영상 생성부(220)는 상기 원근변환 영상을 역변환하여 역 원근변환 영상(Transform_image_inverse)을 생성한다. The perspective transformation image generator 220 according to an embodiment of the present invention inversely transforms the perspective transformation image to generate an inverse perspective transformation image (Transform_image_inverse).

단계(150)에서, SSIM(Structural Similarity Index Measure) 측정부가 상기 원본 영상 및 역 원근변환 영상 대한 SSIM 값(SSIM_val)을 측정한다. In step 150, the SSIM (Structural Similarity Index Measure) measurement unit measures SSIM values (SSIM_val) for the original image and the inverse perspective transformation image.

본 발명의 실시예에 따른 설정부(210)는 상기 측정된 SSIM 값에 따라 상기 시점변환이 필요한 복수의 포인트 중 두 개의 위 포인트(Transform_point_3, Transform_point_4)를 재조정한다. The setting unit 210 according to an embodiment of the present invention readjusts two of the points (Transform_point_3, Transform_point_4) among the plurality of points requiring viewpoint transformation according to the measured SSIM value.

본 발명의 실시예에 따르면, 상기 원본 영상 및 역 원근변환 영상 간의 유사성을 측정하여 객체의 거리에 따른 왜곡의 정도를 나타내는 상기 SSIM 값에 따라 객체크기를 보정하기 위해 상기 시점변환이 필요한 복수의 포인트를 자동으로 찾음으로써 객체 탐지 정확도를 개선한다. According to an embodiment of the present invention, a plurality of points require the viewpoint transformation to measure the similarity between the original image and the inverse perspective transformation image and correct the object size according to the SSIM value indicating the degree of distortion according to the distance of the object. Improves object detection accuracy by automatically finding.

상기 측정된 SSIM 값이 원근변환에 대한 왜곡이 최소화되기 위한 미리 정해진 기준 값(Distortion_thresh)보다 낮은 경우, 상기 시점변환이 필요한 복수의 포인트 중 하나의 위 포인트(Transform_point_3)의 x 좌표를 1 감소시키고, 또 다른 하나의 위 포인트(Transform_point_4)의 x 좌표를 1 증가시킨다. If the measured SSIM value is lower than a predetermined reference value (Distortion_thresh) to minimize distortion for perspective transformation, decrease the x-coordinate of the point (Transform_point_3) above one of the plurality of points requiring viewpoint transformation by 1, Increase the x coordinate of another upper point (Transform_point_4) by 1.

상기 측정된 SSIM 값이 원근변환에 대한 왜곡이 최소화되기 위한 미리 정해진 기준 값보다 높아질 때까지 두 개의 위 포인트(Transform_point_3, Transform_point_4)를 재조정하는 단계를 반복한다. The step of readjusting the two above points (Transform_point_3, Transform_point_4) is repeated until the measured SSIM value is higher than a predetermined reference value to minimize distortion for perspective transformation.

본 발명의 실시예에 따른 설정부(210)는 상기 측정된 SSIM 값이 원근변환에 대한 왜곡이 최소화되기 위한 미리 정해진 기준 값보다 높아지면, 해당 원근변환 영상을 반환한다. The setting unit 210 according to an embodiment of the present invention returns the corresponding perspective conversion image when the measured SSIM value is higher than a predetermined reference value for minimizing distortion for perspective conversion.

도 3은 본 발명의 일 실시예에 따른 자율주행 자동차의 카메라 설치 위치를 나타내는 도면이다. Figure 3 is a diagram showing the camera installation location of a self-driving car according to an embodiment of the present invention.

도 3과 같이, 제안하는 다양한 크기의 객체 탐지 정확도 개선 시스템은 자동차 자율주행 시 설정부가 카메라로부터 촬영된 영상을 획득하여 원본 영상(source_image)을 정의한다. As shown in Figure 3, the proposed system for improving object detection accuracy of various sizes defines the original image (source_image) by acquiring images captured by the setup unit from the camera when the car is autonomously driving.

본 발명의 실시예에서는 시간과 정확도가 적절하게 어울리는 가성비가 좋은 탐지기인 YOLOv4를 사용하였다. YOLOv4가 객체탐지를 진행할 때 객체들의 크기 차이를 줄이기 위해 시점변환 기법을 사용하여 카메라부터 거리가 먼 크기가 작게 보이는 객체의 크기를 보정한다. 시점변환에서 필요한 지점은 총 네 개의 점이며 이 네 개의 지점에 따라 시점 변환이 수행된 영상의 왜곡이 생긴다. 그러므로 지정된 네 개의 지점에 따라 시점 변환 된 영상의 왜곡이 달라지기 때문에 이를 측정하기 위해 원본과의 유사성을 측정하여 왜곡이 얼마나 되었는지 표현하는 SSIM값을 사용한다. 본 발명의 실시예에 따른 영상들은 Argoverse에서 제공하는 동영상 데이터를 사용한다. In an embodiment of the present invention, YOLOv4, a cost-effective detector with an appropriate combination of time and accuracy, was used. When YOLOv4 performs object detection, it uses a viewpoint transformation technique to reduce the size difference between objects and corrects the size of objects that appear small and are far from the camera. A total of four points are required for viewpoint conversion, and distortion of the image on which viewpoint conversion has been performed occurs depending on these four points. Therefore, since the distortion of the viewpoint-converted image varies depending on the four designated points, the SSIM value, which expresses the amount of distortion by measuring similarity to the original, is used to measure this. Videos according to an embodiment of the present invention use video data provided by Argoverse.

도 4는 본 발명의 일 실시예에 따른 영상의 원근변환 지점 재조정 알고리즘을 설명하기 위한 도면이다. Figure 4 is a diagram for explaining a perspective transformation point readjustment algorithm of an image according to an embodiment of the present invention.

자동차 자율주행 시 설정부가 카메라로부터 촬영된 원본 영상(source_image) 및 원근변환에 대한 왜곡이 최소화되기 위한 미리 정해진 기준 값(Distortion_thresh)을 입력으로 받는다. When driving an automobile autonomously, the setting unit receives as input the original image captured from the camera (source_image) and a predetermined reference value (Distortion_thresh) to minimize distortion for perspective conversion.

초기화 단계에서는 상기 원본 영상에 대한 원근변환을 위해 시점변환이 필요한 복수의 포인트를 지정하고, SSIM 값(SSIM_val)을 0으로 초기화 한다. In the initialization step, a plurality of points requiring viewpoint conversion are designated for perspective conversion of the original image, and the SSIM value (SSIM_val) is initialized to 0.

도 5는 본 발명의 일 실시예에 따른 자율주행 자동차의 카메라를 통해 촬영된 원근변환 전 영상을 나타내는 도면이다. Figure 5 is a diagram showing an image before perspective conversion captured through a camera of a self-driving car according to an embodiment of the present invention.

본 발명의 실시예에 따르면, 상기 원본 영상에 포함된 도로의 양쪽 끝을 시점변환이 필요한 두 개의 아래 포인트(Transform_point_1(511), Transform_point_2(512))로 지정하다. According to an embodiment of the present invention, both ends of the road included in the original image are designated as two lower points (Transform_point_1 (511), Transform_point_2 (512)) that require viewpoint transformation.

본 발명의 실시예에 따르면, 상기 원본 영상에 포함된 도로와 하늘의 교차 지점의 높이를 시점변환이 필요한 두 개의 위 포인트(Transform_point_3(521), Transform_point_4(522))의 높이 값(y)으로 지정한다. According to an embodiment of the present invention, the height of the intersection point between the road and the sky included in the original image is designated as the height value (y) of the two upper points (Transform_point_3 (521), Transform_point_4 (522)) that require viewpoint transformation. do.

본 발명의 실시예에 따르면, 상기 원본 영상에 포함된 도로와 하늘의 교차 지점의 너비를 시점변환이 필요한 두 개의 위 포인트(Transform_point_3(521), Transform_point_4(522))의 너비 값(x)으로 지정한다. 이때, 시점변환이 필요한 두 개의 위 포인트(Transform_point_3(521), Transform_point_4(522))의 너비 값(x)을 상기 원본 영상의 너비의 중간 값으로 초기화 한다. According to an embodiment of the present invention, the width of the intersection point between the road and the sky included in the original image is designated as the width value (x) of the two upper points (Transform_point_3 (521), Transform_point_4 (522)) that require viewpoint transformation. do. At this time, the width value (x) of the two above points (Transform_point_3 (521), Transform_point_4 (522)) that require viewpoint transformation is initialized to the middle value of the width of the original image.

이후, 원근변환 영상 생성부가 상기 시점변환이 필요한 복수의 포인트(Transform_point_1, Transform_point_2, Transform_point_3, Transform_point_4)를 사용하여 원근변환 기법을 통해 객체크기 보정을 위한 원근변환 영상(transform_image)을 생성하고, 원근변환 영상 생성부가 상기 원근변환 영상을 역변환하여 역 원근변환 영상(Transform_image_inverse)을 생성한다. Afterwards, the perspective transformation image generator generates a perspective transformation image (transform_image) for object size correction through a perspective transformation technique using a plurality of points (Transform_point_1, Transform_point_2, Transform_point_3, Transform_point_4) requiring viewpoint transformation, and the perspective transformation image. The generation unit inversely transforms the perspective transformation image and generates an inverse perspective transformation image (Transform_image_inverse).

본 발명의 실시예에 따른 원근 변환은 이동, 회전, 크기 변화뿐 아니라 다양한 형태로 왜곡된 이미지를 원래 형태의 이미지로 복원할 수 있는 알고리즘이다. 이러한 원근변환 알고리즘은 카메라 촬영 등으로 왜곡된 영상을 원래대로 복원하는데 사용될 수 있다. Perspective transformation according to an embodiment of the present invention is an algorithm that can restore an image distorted in various forms to its original form as well as movement, rotation, and size change. This perspective conversion algorithm can be used to restore images distorted by camera shooting, etc. to their original state.

본 발명의 실시예에 따르면, SSIM(Structural Similarity Index Measure) 측정부가 상기 원본 영상 및 역 원근변환 영상 대한 SSIM 값(SSIM_val)을 측정한다. According to an embodiment of the present invention, the SSIM (Structural Similarity Index Measure) measurement unit measures the SSIM value (SSIM_val) for the original image and the inverse perspective conversion image.

이후, 본 발명의 실시예에 따른 설정부가 상기 측정된 SSIM 값에 따라 상기 시점변환이 필요한 복수의 포인트 중 두 개의 위 포인트(Transform_point_3, Transform_point_4)를 재조정한다. Thereafter, the setting unit according to an embodiment of the present invention readjusts two of the points (Transform_point_3, Transform_point_4) among the plurality of points requiring viewpoint transformation according to the measured SSIM value.

도 6은 본 발명의 일 실시예에 따른 영상의 원근변환 지점을 설명하기 위한 도면이다. Figure 6 is a diagram for explaining perspective conversion points of an image according to an embodiment of the present invention.

본 발명의 실시예에 따르면, 상기 원본 영상 및 역 원근변환 영상 간의 유사성을 측정하여 객체의 거리에 따른 왜곡의 정도를 나타내는 상기 SSIM 값에 따라 객체크기를 보정하기 위해 상기 시점변환이 필요한 복수의 포인트를 자동으로 찾음으로써 객체 탐지 정확도를 개선한다. According to an embodiment of the present invention, a plurality of points require the viewpoint transformation to measure the similarity between the original image and the inverse perspective transformation image and correct the object size according to the SSIM value indicating the degree of distortion according to the distance of the object. Improves object detection accuracy by automatically finding.

상기 측정된 SSIM 값이 원근변환에 대한 왜곡이 최소화되기 위한 미리 정해진 기준 값(Distortion_thresh)보다 낮은 경우, 상기 시점변환이 필요한 복수의 포인트 중 하나의 위 포인트(Transform_point_3)(611)의 x 좌표를 1 감소시키고, 또 다른 하나의 위 포인트(Transform_point_4)(612)의 x 좌표를 1 증가시킨다. If the measured SSIM value is lower than the predetermined reference value (Distortion_thresh) to minimize distortion for perspective transformation, the x coordinate of the point (Transform_point_3) 611 above one of the plurality of points requiring viewpoint transformation is 1. Decrease and increase the x coordinate of another upper point (Transform_point_4) (612) by 1.

상기 측정된 SSIM 값이 원근변환에 대한 왜곡이 최소화되기 위한 미리 정해진 기준 값보다 높아질 때까지 두 개의 위 포인트(Transform_point_3)(611), Transform_point_4)(612))를 재조정하는 단계를 반복한다. The step of readjusting the two above points (Transform_point_3) 611 and Transform_point_4) 612 is repeated until the measured SSIM value is higher than a predetermined reference value for minimizing distortion for perspective transformation.

도 7은 본 발명의 일 실시예에 따른 원근변환이 적용된 영상을 나타내는 도면이다. Figure 7 is a diagram showing an image to which perspective transformation has been applied according to an embodiment of the present invention.

상기 측정된 SSIM 값이 원근변환에 대한 왜곡이 최소화되기 위한 미리 정해진 기준 값보다 높아지면, 도 7에 도시된 바와 같이 해당 원근변환 영상(Transform_image)을 출력으로 반환한다. If the measured SSIM value is higher than a predetermined reference value for minimizing distortion for perspective transformation, the corresponding perspective transformation image (Transform_image) is returned as output, as shown in FIG. 7.

이와 같이, 본 발명의 실시예들에 따르면 자동차의 자율 주행에서 움직이는 자동차 내에서 촬영하는 영상의 움직임이 일정하지 않는 다는 것을 고려하여 제안하는 다양한 크기의 객체 탐지 정확도 개선 방법 및 시스템을 통해 도로내의 움직이는 자동차들을 빠르고 정확하게 탐지할 수 있다. 자율주행에서 사용되는 영상에 대하여 객체크기의 차이를 보정하기 위해 보정할 위치를 자동으로 찾음으로써 객체 탐지 정확도를 개선할 수 있다. 또한, 본 발명의 실시예들에 따르면 많은 비용을 들이지 않아도 되는 쉬운 알고리즘을 이용하여 객체 크기가 보정이 되기 때문에 탐지 정확도는 기존보다 개선되고 수행시간에는 별다른 차이가 없어 빠르게 움직이는 자율주행의 환경에서도 실시간으로 수행될 수 있다. As such, according to embodiments of the present invention, taking into account the fact that the movement of images captured in a moving car during autonomous driving of a car is not constant, the proposed method and system for improving the accuracy of detecting objects of various sizes are used to detect moving objects on the road. Cars can be detected quickly and accurately. Object detection accuracy can be improved by automatically finding a position to correct for differences in object size for images used in autonomous driving. In addition, according to embodiments of the present invention, the object size is corrected using an easy algorithm that does not require a lot of cost, so the detection accuracy is improved compared to the existing one, and there is no significant difference in execution time, so it can be used in real time even in a fast-moving autonomous driving environment. It can be performed as:

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.　 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.　 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.　 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다.　 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The device described above may be implemented with hardware components, software components, and/or a combination of hardware components and software components. For example, devices and components described in embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA), etc. , may be implemented using one or more general-purpose or special-purpose computers, such as a programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions. A processing device may execute an operating system (OS) and one or more software applications that run on the operating system. Additionally, a processing device may access, store, manipulate, process, and generate data in response to the execution of software. For ease of understanding, a single processing device may be described as being used; however, those skilled in the art will understand that a processing device includes multiple processing elements and/or multiple types of processing elements. It can be seen that it may include. For example, a processing device may include a plurality of processors or one processor and one controller. Additionally, other processing configurations, such as parallel processors, are possible.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.　 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다.　 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.Software may include a computer program, code, instructions, or a combination of one or more of these, which may configure a processing unit to operate as desired, or may be processed independently or collectively. You can command the device. Software and/or data may be used on any type of machine, component, physical device, virtual equipment, computer storage medium or device to be interpreted by or to provide instructions or data to a processing device. It can be embodied in . Software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer-readable recording media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.　 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.　 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.　 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.　 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.　 The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc., singly or in combination. Program instructions recorded on the medium may be specially designed and configured for the embodiment or may be known and available to those skilled in the art of computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -Includes optical media (magneto-optical media) and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, etc. Examples of program instructions include machine language code, such as that produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter, etc.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with limited examples and drawings, various modifications and variations can be made by those skilled in the art from the above description. For example, the described techniques are performed in a different order than the described method, and/or components of the described system, structure, device, circuit, etc. are combined or combined in a different form than the described method, or other components are used. Alternatively, appropriate results may be achieved even if substituted or substituted by an equivalent.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents of the claims also fall within the scope of the claims described below.

Claims (10)

자동차 자율주행 시 설정부가 카메라로부터 촬영된 영상을 획득하여 원본 영상을 정의하고, 상기 원본 영상에 대한 원근변환을 위해 시점변환이 필요한 복수의 포인트를 지정하는 단계;
원근변환 영상 생성부가 상기 시점변환이 필요한 복수의 포인트를 사용하여 원근변환 기법을 통해 객체크기 보정을 위한 원근변환 영상을 생성하는 단계;
원근변환 영상 생성부가 상기 원근변환 영상을 역변환하여 역 원근변환 영상을 생성하는 단계;
SSIM(Structural Similarity Index Measure) 측정부가 상기 원본 영상 및 역 원근변환 영상 대한 SSIM 값을 측정하는 단계; 및
설정부가 상기 측정된 SSIM 값에 따라 상기 시점변환이 필요한 복수의 포인트 중 두 개의 위 포인트(Transform_point_3, Transform_point_4)를 재조정하는 단계
를 포함하는 객체 탐지 정확도 개선 방법. When a car is autonomously driving, a setting unit acquires an image captured from a camera, defines an original image, and designates a plurality of points that require viewpoint conversion for perspective conversion of the original image;
A perspective conversion image generator generating a perspective conversion image for object size correction through a perspective conversion technique using a plurality of points requiring viewpoint conversion;
A perspective transformation image generating unit inversely transforming the perspective transformation image to generate an inverse perspective transformation image;
A Structural Similarity Index Measure (SSIM) measurement unit measuring SSIM values for the original image and the inverse perspective conversion image; and
A step where the setting unit readjusts two of the points (Transform_point_3, Transform_point_4) among the plurality of points requiring viewpoint transformation according to the measured SSIM value.
Method for improving object detection accuracy including. 제1항에 있어서,
상기 자동차 자율주행 시 설정부가 카메라로부터 촬영된 영상을 획득하여 원본 영상을 정의하고, 상기 원본 영상에 대한 원근변환을 위해 시점변환이 필요한 복수의 포인트를 지정하는 단계는,
상기 원본 영상에 포함된 도로의 양쪽 끝을 시점변환이 필요한 두 개의 아래 포인트(Transform_point_1, Transform_point_2)로 지정하는 단계;
상기 원본 영상에 포함된 도로와 하늘의 교차 지점의 높이를 시점변환이 필요한 두 개의 위 포인트(Transform_point_3, Transform_point_4)의 높이 값(y)으로 지정하는 단계; 및
상기 원본 영상에 포함된 도로와 하늘의 교차 지점의 너비를 시점변환이 필요한 두 개의 위 포인트(Transform_point_3, Transform_point_4)의 너비 값(x)으로 지정하는 단계
를 포함하는 객체 탐지 정확도 개선 방법. According to paragraph 1,
When the car is autonomously driving, the setting unit acquires the image captured from the camera, defines the original image, and specifies a plurality of points that require viewpoint conversion for perspective conversion of the original image,
Designating both ends of the road included in the original image as two lower points (Transform_point_1, Transform_point_2) requiring viewpoint transformation;
Specifying the height of the intersection point between the road and the sky included in the original image as the height value (y) of the two upper points (Transform_point_3, Transform_point_4) requiring viewpoint transformation; and
A step of specifying the width of the intersection point between the road and the sky included in the original image as the width value (x) of the two upper points (Transform_point_3, Transform_point_4) that require viewpoint transformation.
Method for improving object detection accuracy including. 제2항에 있어서,
상기 설정부가 상기 측정된 SSIM 값에 따라 상기 시점변환이 필요한 복수의 포인트 중 두 개의 위 포인트(Transform_point_3, Transform_point_4)를 재조정하는 단계는,
상기 원본 영상 및 역 원근변환 영상 간의 유사성을 측정하여 객체의 거리에 따른 왜곡의 정도를 나타내는 상기 SSIM 값에 따라 객체크기를 보정하기 위해 상기 시점변환이 필요한 복수의 포인트를 자동으로 찾음으로써 객체 탐지 정확도를 개선하는
객체 탐지 정확도 개선 방법. According to paragraph 2,
The step of the setting unit readjusting two of the points (Transform_point_3, Transform_point_4) among the plurality of points requiring viewpoint transformation according to the measured SSIM value,
Object detection accuracy by measuring the similarity between the original image and the inverse perspective conversion image and automatically finding a plurality of points that require the viewpoint conversion to correct the object size according to the SSIM value, which indicates the degree of distortion according to the distance of the object. to improve
How to improve object detection accuracy. 제3항에 있어서,
상기 측정된 SSIM 값이 원근변환에 대한 왜곡이 최소화되기 위한 미리 정해진 기준 값보다 낮은 경우,
상기 시점변환이 필요한 복수의 포인트 중 하나의 위 포인트(Transform_point_3)의 x 좌표를 1 감소시키고, 또 다른 하나의 위 포인트(Transform_point_4)의 x 좌표를 1 증가시키는
객체 탐지 정확도 개선 방법. According to paragraph 3,
If the measured SSIM value is lower than a predetermined reference value to minimize distortion for perspective conversion,
Decrease the x coordinate of one upper point (Transform_point_3) among the plurality of points requiring viewpoint transformation by 1, and increase the x coordinate of another upper point (Transform_point_4) by 1.
How to improve object detection accuracy. 제4항에 있어서,
상기 측정된 SSIM 값이 원근변환에 대한 왜곡이 최소화되기 위한 미리 정해진 기준 값보다 높아질 때까지 두 개의 위 포인트(Transform_point_3, Transform_point_4)를 재조정하는 단계를 반복하는
객체 탐지 정확도 개선 방법. According to paragraph 4,
Repeating the step of readjusting the two upper points (Transform_point_3, Transform_point_4) until the measured SSIM value is higher than a predetermined reference value to minimize distortion for perspective transformation.
How to improve object detection accuracy. 자동차 자율주행 시 카메라로부터 촬영된 영상을 획득하여 원본 영상을 정의하고, 상기 원본 영상에 대한 원근변환을 위해 시점변환이 필요한 복수의 포인트를 지정하는 설정부;
상기 시점변환이 필요한 복수의 포인트를 사용하여 원근변환 기법을 통해 객체크기 보정을 위한 원근변환 영상을 생성하고, 상기 원근변환 영상을 역변환하여 역 원근변환 영상을 생성하는 원근변환 영상 생성부; 및
상기 원본 영상 및 역 원근변환 영상 대한 SSIM 값을 측정하는 SSIM 측정부
를 포함하고,
상기 설정부는,
상기 측정된 SSIM 값에 따라 상기 시점변환이 필요한 복수의 포인트 중 두 개의 위 포인트(Transform_point_3, Transform_point_4)를 재조정하는
객체 탐지 정확도 개선 시스템. A setting unit that acquires an image captured from a camera when the car is autonomously driving, defines an original image, and specifies a plurality of points that require viewpoint conversion for perspective conversion of the original image;
a perspective transformation image generator that generates a perspective transformation image for object size correction using a perspective transformation technique using a plurality of points requiring viewpoint transformation, and inversely transforms the perspective transformation image to generate an inverse perspective transformation image; and
SSIM measurement unit that measures SSIM values for the original image and inverse perspective conversion image
Including,
The settings section,
Readjusting the two points (Transform_point_3, Transform_point_4) among the plurality of points requiring viewpoint transformation according to the measured SSIM value.
Object detection accuracy improvement system. 제6항에 있어서,
상기 설정부는,
상기 원본 영상에 포함된 도로의 양쪽 끝을 시점변환이 필요한 두 개의 아래 포인트(Transform_point_1, Transform_point_2)로 지정하고,
상기 원본 영상에 포함된 도로와 하늘의 교차 지점의 높이를 시점변환이 필요한 두 개의 위 포인트(Transform_point_3, Transform_point_4)의 높이 값(y)으로 지정하고,
상기 원본 영상에 포함된 도로와 하늘의 교차 지점의 너비를 시점변환이 필요한 두 개의 위 포인트(Transform_point_3, Transform_point_4)의 너비 값(x)으로 지정하는
를 포함하는 객체 탐지 정확도 개선 시스템. According to clause 6,
The settings section,
Designate both ends of the road included in the original image as the two points below (Transform_point_1, Transform_point_2) that require viewpoint transformation,
The height of the intersection point between the road and the sky included in the original image is designated as the height value (y) of the two upper points (Transform_point_3, Transform_point_4) that require viewpoint transformation,
The width of the intersection point between the road and the sky included in the original image is specified as the width value (x) of the two upper points (Transform_point_3, Transform_point_4) that require viewpoint transformation.
Object detection accuracy improvement system including. 제7항에 있어서,
상기 설정부는,
상기 원본 영상 및 역 원근변환 영상 간의 유사성을 측정하여 객체의 거리에 따른 왜곡의 정도를 나타내는 상기 SSIM 값에 따라 객체크기를 보정하기 위해 상기 시점변환이 필요한 복수의 포인트를 자동으로 찾음으로써 객체 탐지 정확도를 개선하는
객체 탐지 정확도 개선 시스템. In clause 7,
The settings section,
Object detection accuracy by measuring the similarity between the original image and the inverse perspective conversion image and automatically finding a plurality of points that require the viewpoint conversion to correct the object size according to the SSIM value, which indicates the degree of distortion according to the distance of the object. to improve
Object detection accuracy improvement system. 제8항에 있어서,
상기 설정부는,
상기 측정된 SSIM 값이 원근변환에 대한 왜곡이 최소화되기 위한 미리 정해진 기준 값보다 낮은 경우,
상기 시점변환이 필요한 복수의 포인트 중 하나의 위 포인트(Transform_point_3)의 x 좌표를 1 감소시키고, 또 다른 하나의 위 포인트(Transform_point_4)의 x 좌표를 1 증가시키는
객체 탐지 정확도 개선 시스템. According to clause 8,
The settings section,
If the measured SSIM value is lower than a predetermined reference value to minimize distortion for perspective conversion,
Decrease the x coordinate of one upper point (Transform_point_3) among the plurality of points requiring viewpoint transformation by 1, and increase the x coordinate of another upper point (Transform_point_4) by 1.
Object detection accuracy improvement system. 제9항에 있어서,
상기 설정부는,
상기 측정된 SSIM 값이 원근변환에 대한 왜곡이 최소화되기 위한 미리 정해진 기준 값보다 높아질 때까지 두 개의 위 포인트(Transform_point_3, Transform_point_4)를 재조정하는 단계를 반복하는
객체 탐지 정확도 개선 시스템.According to clause 9,
The settings section,
Repeating the step of readjusting the two upper points (Transform_point_3, Transform_point_4) until the measured SSIM value is higher than a predetermined reference value to minimize distortion for perspective transformation.
Object detection accuracy improvement system.
KR1020220073297A 2022-04-28 2022-06-16 Method and System for Accuracy Improvement under Multi-sized Object Detection KR20230153207A (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20220052502 2022-04-28
KR1020220052502 2022-04-28

Publications (1)

Publication Number Publication Date
KR20230153207A true KR20230153207A (en) 2023-11-06

Family

ID=88748672

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220073297A KR20230153207A (en) 2022-04-28 2022-06-16 Method and System for Accuracy Improvement under Multi-sized Object Detection

Country Status (1)

Country Link
KR (1) KR20230153207A (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101915893B1 (en) 2017-05-11 2018-11-06 고려대학교 세종산학협력단 Kinect-based Object Detection Method at Wall-Floor Junction Using Region Growing Technique

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101915893B1 (en) 2017-05-11 2018-11-06 고려대학교 세종산학협력단 Kinect-based Object Detection Method at Wall-Floor Junction Using Region Growing Technique

Similar Documents

Publication Publication Date Title
US10690770B2 (en) Navigation based on radar-cued visual imaging
EP3447528B1 (en) Automated driving system that merges heterogenous sensor data
US10209712B2 (en) Predicting and responding to cut in vehicles and altruistic responses
KR102585219B1 (en) Device and method to control speed of vehicle
CN110389586B (en) System and method for ground and free space exploration
US10402665B2 (en) Systems and methods for detecting traffic signs
US20120081542A1 (en) Obstacle detecting system and method
US9829570B2 (en) System and method of detecting preceding vehicle by using sensor
KR20170127036A (en) Method and apparatus for detecting and assessing road reflections
US11698675B2 (en) Autonomous vehicle visual based communication
US20220128995A1 (en) Velocity estimation and object tracking for autonomous vehicle applications
EP4204267A1 (en) Point cloud segmentation using a coherent lidar for autonomous vehicle applications
US11598877B2 (en) Object recognition device and vehicle control system
US20230038842A1 (en) Association of camera images and radar data in autonomous vehicle applications
KR102589617B1 (en) driver assistance apparatus
US11648963B2 (en) Driving control apparatus for automated driving vehicle, stop target, and driving control system
KR20230153207A (en) Method and System for Accuracy Improvement under Multi-sized Object Detection
CN115144849A (en) Sensor fusion for object avoidance detection
JP7111634B2 (en) OBJECT DETECTION DEVICE, OBJECT DETECTION SYSTEM AND OBJECT DETECTION METHOD IN VEHICLE
RU2814813C1 (en) Device and method for tracking objects
RU2809334C1 (en) Unmanned vehicle and method for controlling its motion
RU2806452C1 (en) Device and method for identifying objects
EP3705906A2 (en) Multiple vertical layer light detection and ranging system, auto-parking assistance, and computer vision lane detection and keeping
RU2775817C2 (en) Method and system for training machine learning algorithm for detecting objects at a distance
US20230046274A1 (en) Identification of spurious radar detections in autonomous vehicle applications