KR102597896B1 - Vehicle Center Point Prediction Method - Google Patents

Vehicle Center Point Prediction Method Download PDF

Info

Publication number
KR102597896B1
KR102597896B1 KR1020230062991A KR20230062991A KR102597896B1 KR 102597896 B1 KR102597896 B1 KR 102597896B1 KR 1020230062991 A KR1020230062991 A KR 1020230062991A KR 20230062991 A KR20230062991 A KR 20230062991A KR 102597896 B1 KR102597896 B1 KR 102597896B1
Authority
KR
South Korea
Prior art keywords
road
center point
area
vehicle
setting
Prior art date
Application number
KR1020230062991A
Other languages
Korean (ko)
Inventor
박영기
김용유
이국진
조익현
사재민
Original Assignee
주식회사 싸인텔레콤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 싸인텔레콤 filed Critical 주식회사 싸인텔레콤
Priority to KR1020230062991A priority Critical patent/KR102597896B1/en
Application granted granted Critical
Publication of KR102597896B1 publication Critical patent/KR102597896B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Abstract

도로 인프라 카메라의 촬영영상에서 3D 좌표 산출을 위한 차량 중심점 예측 방법은 도로의 영역을 설정하는 단계, 객체의 전면부를 포함하는 전체를 검출하는 단계, 검출된 객체 전체를 이용하여 객체육면체를 생성하는 단계, 생성된 객체육면체를 이용하여 객체의 중심좌표를 산출하는 단계를 포함한다.The vehicle center point prediction method for calculating 3D coordinates from images taken by road infrastructure cameras includes the steps of setting the area of the road, detecting the entire object including the front part, and creating an object cube using the entire detected object. , including calculating the center coordinates of the object using the created object cube.

Description

차량 중심점 예측 방법{Vehicle Center Point Prediction Method}Vehicle Center Point Prediction Method}

본 발명은 차량 중심점 예측 방법에 관한 것으로, 보다 상세하게는 자율주행시 차량의 위치를 정확히 파악할 수 있는 차량 중심점 예측 방법에 관한 것이다.The present invention relates to a method for predicting the center point of a vehicle, and more specifically, to a method for predicting the center point of a vehicle that can accurately determine the location of a vehicle during autonomous driving.

자율협력주행은 부족한 서라운드 센서의 성능(거리, 화각, 환경조건 등)을 보조하는 수단으로 복잡한 환경에서 일부 인지 및 판단시스템을 도로에 설치된 인프라 센서의 정보를 제공받아 보강하는 방향으로 연구가 추진되고 있다.Autonomous cooperative driving is a means of supporting the insufficient performance of surround sensors (distance, angle of view, environmental conditions, etc.), and research is being promoted to reinforce some cognitive and judgment systems in complex environments by receiving information from infrastructure sensors installed on the road. there is.

인공지능 카메라에서 객체를 검출하는데 쓰이는 신경망은 대부분 경계상자(Bounding Box) 형태의 검출 결과를 반환한다(세그멘테이션(Segmentation) 기술 등도 존재하나, 실시간성이 떨어져 활용되지는 않고 있음.)Most neural networks used to detect objects in artificial intelligence cameras return detection results in the form of a bounding box (Segmentation technology also exists, but is not used due to lack of real-time performance.)

그러나 이러한 경우 경계상자(Bounding Box)의 중심점이 항상 객체의 실제 중심점과 일치하는 것은 아니다. 이러한 것들이 카메라의 설치 각도에 따라 객체의 위치를 정확하게 파악하는데 방해가 되는 주요 요인이다. 이에 의해 자율주행을 위한 객체의 검출위치가 정확하지 않는 경우로 인한 문제가 발생할 수 있다.However, in this case, the center point of the bounding box does not always match the actual center point of the object. These are major factors that interfere with accurately determining the location of an object depending on the camera's installation angle. As a result, problems may occur when the detection position of an object for autonomous driving is not accurate.

또한, 3D 객체 인식 신경망/기술도 존재하지만 연산량이 높아서 실시간성이 요구되는 엣지 환경에 적용하기에 애매하며, 2D영상으로 3D영상을 추정하는 데는 연산량적인 측면에서 어려움이 있다.In addition, 3D object recognition neural networks/technology also exist, but the high computational amount makes them difficult to apply in edge environments that require real-time, and there are difficulties in estimating 3D images from 2D images in terms of computational amount.

따라서 본 발명의 목적은 2D영상에서 3D 형태를 추측하여 객체의 중심점의 위치를 정확히 파악할 수 있는 차량 중심점 예측 방법을 제공하는 것이다.Therefore, the purpose of the present invention is to provide a vehicle center point prediction method that can accurately determine the location of the center point of an object by guessing the 3D shape from a 2D image.

상기 목적을 달성하기 위한 본 발명에 따른 도로 인프라 카메라의 촬영영상에서 3D 좌표 산출을 위한 차량 중심점 예측 방법은 도로의 영역을 설정하는 단계; 객체의 전면부를 포함하는 전체를 검출하는 단계; 검출된 상기 객체 전체를 이용하여 객체육면체를 생성하는 단계; 및 생성된 상기 객체육면체를 이용하여 상기 객체의 중심좌표를 산출하는 단계를 포함한다. 도로 영역에서 검출된 객체의 전체 영역을 이용하여 객체를 포함하는 육면체를 추정할 수 있으며 추정된 육면체를 이용하여 객체의 중심좌표를 산출할 수 있으므로 이를 이용하여 자율주행의 안전성이 향상될 수 있다.To achieve the above object, a vehicle center point prediction method for calculating 3D coordinates from images captured by a road infrastructure camera according to the present invention includes the steps of setting a road area; detecting the entire object including the front part; generating an object cube using all of the detected objects; and calculating the center coordinates of the object using the created object cube. The entire area of the object detected in the road area can be used to estimate the cube containing the object, and the center coordinates of the object can be calculated using the estimated cube, so the safety of autonomous driving can be improved by using this.

2D영상을 가지고 3D영상을 추정하는 데는 어려움이 있는데, 도로 상황/인프라 CCTV의 경우에는 카메라의 화각이 고정되어 있기 때문에 기존의 도로에 대한 방향성이나 도로 영역 등의 추가정보를 사용할 수 있어, 기존 2D 객체인식 기술만 가지고도 3D 형태를 추측, 중심을 추정할 수 있어 연산량적인 측면에서의 이점이 있다. There is difficulty in estimating 3D images from 2D images, but in the case of road situation/infrastructure CCTV, since the camera's angle of view is fixed, additional information such as directionality of the existing road or road area can be used, It is possible to guess the 3D shape and estimate the center using only object recognition technology, which is advantageous in terms of computational volume.

여기서, 상기 도로의 영역을 설정하는 단계는, 직선 도로에서는 직사각형 형태의 관심영역을 설정하는 단계; 및 상기 관심영역의 각 윗변과 아랫변의 중점을 이어 해당 도로의 이동방향의 상기 도로 인프라 카메라의 촬영영상 내의 도로의 기울기 벡터를 산출하는 단계를 포함하면 객체를 검출하기 위한 도로의 영역을 정확하게 파악할 수 있어 바람직하다.Here, setting the area of the road includes setting a rectangular area of interest on a straight road; And calculating the slope vector of the road in the captured image of the road infrastructure camera in the moving direction of the road by connecting the midpoints of the upper and lower sides of the area of interest, so that the area of the road for detecting the object can be accurately identified. It is desirable.

그리고 상기 도로의 영역을 설정하는 단계는, 곡선 도로에서는 도로의 좌변과 우변을 분리하여 관심영역을 설정하는 단계; 및 상기 관심영역 각변의 중점을 샘플링하여 2차함수로 커브피팅을 진행하는 단계 및 도로의 중심점 라인을 산출하는 단계를 포함하면 도로의 중심라인을 산출하여 객체의 위치를 추정하는데 도움이 될 수 있어 바람직하다.And the step of setting the area of the road includes: setting an area of interest by separating the left and right sides of the road in a curved road; And including the step of sampling the midpoints of each side of the region of interest and performing curve fitting with a quadratic function and calculating the center point line of the road, it can be helpful in estimating the location of the object by calculating the center line of the road. desirable.

여기서, 상기 객체의 전면부를 포함하는 전체를 검출하는 단계는, 상기 객체 전체를 박스화하여 검출하는 단계; 및 상기 객체 전면의 특정부분을 포함하는 전면부를 박스화하여 검출하는 단계; 상기 전면부가 검출된 상기 객체 전체에 포함되는지 여부를 판단하는 단계를 포함하면 객체의 육면체를 추정하기 위해서 객체의 전면부를 이용하며, 전면부를 박스화하여 객체의 입체화를 할 수 있어 바람직하다.Here, the step of detecting the entire object, including the front part, includes boxing and detecting the entire object; and boxing and detecting a front portion including a specific portion of the front of the object. If the step of determining whether the front part is included in the entire detected object is desirable, the front part of the object can be used to estimate the object's hexahedron, and the front part can be boxed to make the object three-dimensional.

그리고 산출된 상기 객체의 중심좌표를 이용하여 상기 도로 인프라 카메라의 촬영영상을 입체화하는 단계를 포함하면 입체화된 객체 및 객체의 위치를 이용할 수 있으므로 자율주행시 안전성이 현저하게 증가할 수 있어 바람직하다.Also, including the step of stereoscopically capturing images from the road infrastructure camera using the calculated center coordinates of the object is desirable because the three-dimensional object and its location can be used to significantly increase safety during autonomous driving.

본 발명에 따르면 도로 영역에서 검출된 객체의 전체 영역을 이용하여 객체를 포함하는 육면체를 추정할 수 있으며 추정된 육면체를 이용하여 객체의 중심좌표를 산출할 수 있으므로 이를 이용하여 자율주행의 안전성이 향상될 수 있는 효과가 있다.According to the present invention, the entire area of the object detected in the road area can be used to estimate the cube containing the object, and the center coordinates of the object can be calculated using the estimated cube, thereby improving the safety of autonomous driving. There is a possible effect.

또한, 2D영상을 가지고 3D영상을 추정하는 데는 어려움이 있는데, 도로 상황/인프라 CCTV의 경우에는 카메라의 화각이 고정되어 있기 때문에 기존의 도로에 대한 방향성이나 도로 영역 등의 추가정보를 사용할 수 있어, 기존 2D 객체인식 기술만 가지고도 3D 형태를 추측, 중심을 추정할 수 있어 연산량적인 측면에서의 이점이 있는 효과가 있다.In addition, it is difficult to estimate 3D images from 2D images, but in the case of road situation/infrastructure CCTV, the camera's angle of view is fixed, so additional information such as the directionality of the existing road or road area can be used. It is possible to guess the 3D shape and estimate the center using only existing 2D object recognition technology, which has the effect of providing an advantage in terms of computational volume.

또한, 객체를 검출하기 위한 도로의 영역을 정확하게 파악할 수 있고, 도로의 중심라인을 산출하여 객체의 위치를 추정하는데 도움이 될 수 있는 효과가 있다.In addition, the area of the road for detecting an object can be accurately identified, and the center line of the road can be calculated to help estimate the location of the object.

또한, 객체의 육면체를 추정하기 위해서 객체의 전면부를 이용하며, 전면부를 박스화하여 객체의 입체화를 할 수 있고, 입체화된 객체 및 객체의 위치를 이용할 수 있으므로 자율주행시 안전성이 현저하게 증가할 수 있는 효과가 있다.In addition, the front part of the object is used to estimate the object's hexahedron, and the front part can be boxed to make the object three-dimensional. Since the three-dimensional object and its location can be used, safety during autonomous driving can be significantly increased. It works.

도 1은 본 발명에 따른 차량 중심점 예측 방법의 흐름도이다.
도 2는 변형 가능한 차량 중심점 예측 방법의 흐름도이다.
도 3은 객체에 대한 경계상자(Bounding Box) 형태의 검출 예시도이다.
도 4는 직선도로와 곡선도로의 도로 영역을 설정하는 예시도이다.
도 5는 객체의 전체와 전면부를 검출하는 예시도이다.
도 6은 객체에 대한 3차원 육면체 추정 및 중점 추정 예시도이다.1 is a flowchart of a vehicle center point prediction method according to the present invention.
Figure 2 is a flowchart of a deformable vehicle center point prediction method.
Figure 3 is an example of detection in the form of a bounding box for an object.
Figure 4 is an example diagram of setting road areas of a straight road and a curved road.
Figure 5 is an example diagram of detecting the entire object and the front part.
Figure 6 is an example of 3D cube estimation and midpoint estimation for an object.

이하, 첨부된 도면들을 참조하면서 본 발명의 바람직한 실시 예에 따른 차량 중심점 예측 방법을 상세히 설명한다.Hereinafter, a vehicle center point prediction method according to a preferred embodiment of the present invention will be described in detail with reference to the attached drawings.

도 1은 본 발명에 따른 차량 중심점 예측 방법의 흐름도이고, 도 2는 변형 가능한 차량 중심점 예측 방법의 흐름도이며, 도 3은 객체에 대한 경계상자(Bounding Box) 형태의 검출 예시도이고, 도 4는 직선도로와 곡선도로의 도로 영역을 설정하는 예시도이며, 도 5는 객체의 전체와 전면부를 검출하는 예시도이고, 도 6은 객체에 대한 3차원 육면체 추정 및 중점 추정 예시도이다.Figure 1 is a flowchart of a vehicle center point prediction method according to the present invention, Figure 2 is a flowchart of a deformable vehicle center point prediction method, Figure 3 is an example of detection in the form of a bounding box for an object, and Figure 4 is This is an example diagram of setting the road area of a straight road and a curved road. Figure 5 is an example diagram of detecting the entire and front part of an object, and Figure 6 is an example diagram of three-dimensional hexahedron estimation and midpoint estimation for the object.

도 1 내지 도 6을 참조하여 차량 중심점 예측 방법을 설명한다.A vehicle center point prediction method will be described with reference to FIGS. 1 to 6 .

도 1은 본 발명에 따른 차량 중심점 예측 방법의 흐름도이다.1 is a flowchart of a vehicle center point prediction method according to the present invention.

도로의 영역을 설정한다(S1).Set the road area (S1).

객체의 전면부를 포함하는 전체를 검출한다(S2).The entire object, including the front part, is detected (S2).

검출된 객체 전체를 이용하여 객체육면체를 생성한다(S3).An object cube is created using all detected objects (S3).

생성된 객체육면체를 이용하여 객체의 중심좌표를 산출한다(S4).The center coordinates of the object are calculated using the created object cube (S4).

도 2는 변형 가능한 차량 중심점 예측 방법의 흐름도이다.Figure 2 is a flowchart of a deformable vehicle center point prediction method.

직선 도로에서는 직사각형 형태의 관심영역을 설정한다(S11).On a straight road, a rectangular area of interest is set (S11).

관심영역의 각 윗변과 아랫변의 중점을 이어 해당 도로의 이동방향의 도로 인프라 카메라의 촬영영상 내의 도로의 기울기 벡터를 산출한다(S12).By connecting the midpoints of the upper and lower sides of the area of interest, the slope vector of the road in the image captured by the road infrastructure camera in the direction of movement of the relevant road is calculated (S12).

곡선 도로에서는 도로의 좌변과 우변을 분리하여 관심영역을 설정한다(S13).In a curved road, the area of interest is set by separating the left and right sides of the road (S13).

관심영역 각변의 중점을 샘플링하여 2차함수로 커브피팅을 진행한다(S14).The midpoint of each side of the region of interest is sampled and curve fitting is performed using a quadratic function (S14).

도로의 중심점 라인을 산출한다(S15).Calculate the center point line of the road (S15).

객체 전체를 박스화하여 검출한다(S16).The entire object is boxed and detected (S16).

객체 전면의 특정부분을 포함하는 전면부를 박스화하여 검출한다(S17).The front part including a specific part of the front of the object is boxed and detected (S17).

전면부가 검출된 객체 전체에 포함되는지 여부를 판단한다(S18).It is determined whether the front part is included in the entire detected object (S18).

검출된 객체 전체를 이용하여 객체육면체를 생성한다(S19).An object cube is created using all detected objects (S19).

생성된 객체육면체를 이용하여 객체의 중심좌표를 산출한다(S20).The center coordinates of the object are calculated using the created object cube (S20).

산출된 객체의 중심좌표를 이용하여 도로 인프라 카메라의 촬영영상을 입체화한다(S21).The image captured by the road infrastructure camera is converted into three dimensions using the calculated center coordinates of the object (S21).

도 4는 직선도로와 곡선도로의 도로 영역을 설정하는 예시도이다.Figure 4 is an example diagram of setting road areas of a straight road and a curved road.

도로의 영역 설정 기능은 크게 직선도로와 곡선 도로로 분류한다. The road area setting function is broadly classified into straight roads and curved roads.

도 4 (a) 직선 도로에서는 직사각형 형태의 비율(RoI)을 설정하며, 각 윗변과 아랫변의 중점을 이어 해당 도로의 이동방향, 즉 2D 영상 내의 도로의 기울기 벡터를 산출한다.Figure 4 (a) For a straight road, the ratio (RoI) of the rectangular shape is set, and the moving direction of the road, that is, the slope vector of the road in the 2D image, is calculated by connecting the midpoints of each upper and lower side.

도 4 (b) 곡선 도로에서는 도로의 좌변과 우변을 분리하여 영역을 설정하며, 각 변의 중점을 샘플링하여 2차함수로 커브피팅을 진행, 도로의 중심점 라인을 구한다.Figure 4 (b) In a curved road, an area is set by separating the left and right sides of the road, and the midpoint of each side is sampled and curve fitting is performed using a quadratic function to obtain the center point line of the road.

도 5는 객체의 전체와 전면부를 검출하는 예시도이다.Figure 5 is an example diagram of detecting the entire object and the front part.

도로 인프라 카메라에 적용될 수 있는 신경망은 반드시 실시간성이 요구된다. 따라서 경계상자(Bounding Box) 형태의 결과를 내는 신경망을 활용하여 객체 검출 작업을 시작한다.Neural networks that can be applied to road infrastructure cameras necessarily require real-time performance. Therefore, we start the object detection task using a neural network that produces results in the form of a bounding box.

도 5 (a) 이 때, 일반적인 차량의 검출 이외에 헤드램프를 포함하는 전면부를 추가로 검출한다. 해당 검출 정보는 함께 검출된 차량 전체의 경계상자(Bounding Box)에 포함되는지 여부를 판단하여, 하나의 묶음으로 설정한다.Figure 5 (a) At this time, in addition to detecting the general vehicle, the front part including the headlamp is additionally detected. The detection information is set as one bundle by determining whether it is included in the bounding box of all vehicles detected together.

도 5 (b) 관심영역 각변의 중점을 샘플링하여 2차함수로 커브피팅을 진행한 후 도로의 중심점 라인을 산출한다.Figure 5 (b) After sampling the midpoint of each side of the region of interest and performing curve fitting with a quadratic function, the center point line of the road is calculated.

도 6은 객체에 대한 3차원 육면체 추정 및 중점 추정 예시도이다.Figure 6 is an example of 3D cube estimation and midpoint estimation for an object.

도 6 (a) 객체 전체를 경계상자(Bounding Box)로 검출하고, 객체의 전면부/후면부도 경계상자(Bounding Box)로 검출하며, 도로의 중심라인을 산출한다.Figure 6 (a) The entire object is detected as a bounding box, the front/back part of the object is also detected as a bounding box, and the center line of the road is calculated.

도 6 (b) 도 6 (a)의 3가지 정보를 바탕으로 객체에 대한 육면체를 추정한다. 그리고 해당 육면체의 바닥면 한 가운데를 객체의 중심으로 좌표로 산출, 2D->3D 캘리브레이션 결과 산출에 활용한다.Figure 6 (b) The cube for the object is estimated based on the three pieces of information in Figure 6 (a). Then, the coordinates of the center of the bottom surface of the relevant cube are calculated as the center of the object and used to calculate 2D->3D calibration results.

상기의 실시 예 이외의 변형 가능한 실시 예를 설명한다.Modifiable embodiments other than the above embodiments will be described.

자율주행시 도 6 (b)의 해당 육면체의 바닥면 영역을 활용하여 객체 간의 거리를 유지하거나 하는 등의 자료로 활용할 수 있다.During autonomous driving, the bottom surface area of the corresponding cube in Figure 6 (b) can be used as data to maintain the distance between objects.

또한, 자율주행시 도 6 (b)의 추정된 육면체보다 크게 육면체를 생성하여 활용함으로써 더욱 안전하게 자율주행이 이루어지도록 할 수도 있다.Additionally, during autonomous driving, it is possible to make autonomous driving safer by creating and utilizing a cube larger than the estimated cube in FIG. 6(b).

상기의 차량 중심점 예측 방법으로 인하여, 도로 영역에서 검출된 객체의 전체 영역을 이용하여 객체를 포함하는 육면체를 추정할 수 있으며 추정된 육면체를 이용하여 객체의 중심좌표를 산출할 수 있으므로 이를 이용하여 자율주행의 안전성이 향상될 수 있다.Due to the vehicle center point prediction method described above, the cube containing the object can be estimated using the entire area of the object detected in the road area, and the center coordinates of the object can be calculated using the estimated cube, so autonomous Driving safety can be improved.

또한, 2D영상을 가지고 3D영상을 추정하는 데는 어려움이 있는데, 도로 상황/인프라 CCTV의 경우에는 카메라의 화각이 고정되어 있기 때문에 기존의 도로에 대한 방향성이나 도로 영역 등의 추가정보를 사용할 수 있어, 기존 2D 객체인식 기술만 가지고도 3D 형태를 추측, 중심을 추정할 수 있어 연산량적인 측면에서의 이점이 있다.In addition, it is difficult to estimate 3D images from 2D images, but in the case of road situation/infrastructure CCTV, the camera's angle of view is fixed, so additional information such as the directionality of the existing road or road area can be used. It is possible to guess the 3D shape and estimate the center using only existing 2D object recognition technology, which has an advantage in terms of computational volume.

또한, 객체를 검출하기 위한 도로의 영역을 정확하게 파악할 수 있고, 도로의 중심라인을 산출하여 객체의 위치를 추정하는데 도움이 될 수 있다.In addition, the area of the road for detecting an object can be accurately identified, and calculating the center line of the road can be helpful in estimating the location of the object.

또한, 객체의 육면체를 추정하기 위해서 객체의 전면부를 이용하며, 전면부를 박스화하여 객체의 입체화를 할 수 있고, 입체화된 객체 및 객체의 위치를 이용할 수 있으므로 자율주행시 안전성이 현저하게 증가할 수 있다.In addition, the front part of the object is used to estimate the cube of the object, the front part can be boxed to make the object three-dimensional, and the three-dimensional object and its location can be used, so safety during autonomous driving can be significantly increased. .

Claims (5)

도로 인프라 카메라의 촬영영상에서 3D 좌표 산출을 위한 차량 중심점 예측 방법에 있어서,
도로의 영역을 설정하는 단계;
객체의 전면부를 포함하는 전체를 검출하는 단계;
검출된 상기 객체 전체를 이용하여 객체육면체를 생성하는 단계; 및
생성된 상기 객체육면체를 이용하여 상기 객체의 중심좌표를 산출하는 단계를 포함하며,
상기 도로의 영역을 설정하는 단계는,
직선 도로에서는 직사각형 형태의 관심영역을 설정하는 단계; 및
상기 관심영역의 각 윗변과 아랫변의 중점을 이어 해당 도로의 이동방향의 상기 도로 인프라 카메라의 촬영영상 내의 도로의 기울기 벡터를 산출하는 단계를 포함하는 것을 특징으로 하는 차량 중심점 예측 방법.
In the vehicle center point prediction method for calculating 3D coordinates from images captured by road infrastructure cameras,
Setting the area of the road;
detecting the entire object, including the front part;
generating an object cube using all of the detected objects; and
Comprising the step of calculating the center coordinates of the object using the created object cube,
The step of setting the area of the road is,
Setting a rectangular area of interest on a straight road; and
A method for predicting the center point of a vehicle, comprising the step of calculating a slope vector of a road in an image captured by the road infrastructure camera in the moving direction of the road by connecting the midpoints of the upper and lower sides of the region of interest.
 삭제delete 제1 항에 있어서,
상기 도로의 영역을 설정하는 단계는,
곡선 도로에서는 도로의 좌변과 우변을 분리하여 관심영역을 설정하는 단계; 및
상기 관심영역 각변의 중점을 샘플링하여 2차함수로 커브피팅을 진행하는 단계 및
도로의 중심점 라인을 산출하는 단계를 포함하는 것을 특징으로 하는 차량 중심점 예측 방법.
According to claim 1,
The step of setting the area of the road is,
In a curved road, setting an area of interest by separating the left and right sides of the road; and
Sampling the midpoints of each side of the region of interest and performing curve fitting with a quadratic function;
A method for predicting the center point of a vehicle, comprising the step of calculating the center point line of the road.
 제1 항에 있어서,
상기 객체의 전면부를 포함하는 전체를 검출하는 단계는,
상기 객체 전체를 박스화하여 검출하는 단계; 및
상기 객체 전면의 특정부분을 포함하는 전면부를 박스화하여 검출하는 단계;
상기 전면부가 검출된 상기 객체 전체에 포함되는지 여부를 판단하는 단계를 포함하는 것을 특징으로 하는 차량 중심점 예측 방법.
According to claim 1,
The step of detecting the entire object, including the front part,
boxing and detecting the entire object; and
boxing and detecting a front portion including a specific portion of the front of the object;
A vehicle center point prediction method comprising the step of determining whether the front part is included in the entire detected object.
 제1 항에 있어서,
산출된 상기 객체의 중심좌표를 이용하여 상기 도로 인프라 카메라의 촬영영상을 입체화하는 단계를 포함하는 것을 특징으로 하는 차량 중심점 예측 방법.
According to claim 1,
A method for predicting the center point of a vehicle, comprising the step of converting the captured image of the road infrastructure camera into three dimensions using the calculated center coordinates of the object.
KR1020230062991A 2023-05-16 2023-05-16 Vehicle Center Point Prediction Method KR102597896B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230062991A KR102597896B1 (en) 2023-05-16 2023-05-16 Vehicle Center Point Prediction Method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230062991A KR102597896B1 (en) 2023-05-16 2023-05-16 Vehicle Center Point Prediction Method

Publications (1)

Publication Number Publication Date
KR102597896B1 true KR102597896B1 (en) 2023-11-03

Family

ID=88745351

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230062991A KR102597896B1 (en) 2023-05-16 2023-05-16 Vehicle Center Point Prediction Method

Country Status (1)

Country Link
KR (1) KR102597896B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220021125A (en) * 2020-08-13 2022-02-22 건국대학교 산학협력단 Ai based collision recognition method and device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220021125A (en) * 2020-08-13 2022-02-22 건국대학교 산학협력단 Ai based collision recognition method and device

Similar Documents

Publication Publication Date Title
US11093763B2 (en) Onboard environment recognition device
KR101411668B1 (en) A calibration apparatus, a distance measurement system, a calibration method, and a computer readable medium recording a calibration program
EP2858008B1 (en) Target detecting method and system
JP5926228B2 (en) Depth detection method and system for autonomous vehicles
JP5075672B2 (en) Object detection apparatus and method
Wedel et al. Realtime depth estimation and obstacle detection from monocular video
US10776637B2 (en) Image processing device, object recognizing device, device control system, image processing method, and computer-readable medium
KR102507248B1 (en) Egomotion estimation system and method thereof
KR101551026B1 (en) Method of tracking vehicle
WO2008020598A1 (en) Subject number detecting device and subject number detecting method
CN111611853A (en) Sensing information fusion method and device and storage medium
JP3729025B2 (en) Pedestrian detection device
Yamaguchi et al. Moving obstacle detection using monocular vision
US11514683B2 (en) Outside recognition apparatus for vehicle
CN112261390B (en) Vehicle-mounted camera equipment and image optimization device and method thereof
KR20180098945A (en) Method and apparatus for measuring speed of vehicle by using fixed single camera
JPH09297849A (en) Vehicle detector
JP4123138B2 (en) Vehicle detection method and vehicle detection device
Kohara et al. Obstacle detection based on occupancy grid maps using stereovision system
EP2922027B1 (en) Disparity deriving apparatus, method and carrier medium
KR102597896B1 (en) Vehicle Center Point Prediction Method
JP5903901B2 (en) Vehicle position calculation device
KR100926287B1 (en) Method for distance estimation and apparatus for the same using a disparity and a perspective
Bourzeix et al. Speed estimation using stereoscopic effect
JP6546898B2 (en) Three-dimensional space identification apparatus, method, and program

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant