KR102249769B1 - 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법 - Google Patents

2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법 Download PDF

Info

Publication number
KR102249769B1
KR102249769B1 KR1020190161567A KR20190161567A KR102249769B1 KR 102249769 B1 KR102249769 B1 KR 102249769B1 KR 1020190161567 A KR1020190161567 A KR 1020190161567A KR 20190161567 A KR20190161567 A KR 20190161567A KR 102249769 B1 KR102249769 B1 KR 102249769B1
Authority
KR
South Korea
Prior art keywords
pixel
autonomous driving
image
estimating
equation
Prior art date
Application number
KR1020190161567A
Other languages
English (en)
Inventor
김재승
임도영
Original Assignee
주식회사 모빌테크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 모빌테크 filed Critical 주식회사 모빌테크
Priority to KR1020190161567A priority Critical patent/KR102249769B1/ko
Priority to US17/282,925 priority patent/US20230143687A1/en
Priority to PCT/KR2020/016486 priority patent/WO2021112462A1/ko
Application granted granted Critical
Publication of KR102249769B1 publication Critical patent/KR102249769B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/006—Geometric correction
    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Abstract

본 발명은 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법에 관한 것으로, 보다 상세하게는 모노카메라(Mono camera)를 이용하여 자율주행에 필요한 정보를 효율적으로 획득할 수 있도록 한 것이다.
특히, 본 발명은 자율주행에서 요구하는 고정밀GPS수신기나 스테레오카메라 등과 같은 고가의 장비를 사용하지 않으면서도, 충분한 신뢰성을 갖는 정보를 실시간으로 획득할 수 있다.
결과적으로, 본 발명은 GPS를 사용하지 않으면서도, 자율주행을 위한 의미정보 인식, 자율주행 자동차의 위치를 추정, 차간거리계산 등과 같은 ADAS, 로컬라이제이션 등에 널리 활용될 수 있으며, 더 나아가 대응된 데이터를 가지고 소프트웨어를 개발하여, 동일한 기능을 수행할 수 있는 카메라를 개발할 수 있다.
따라서, 자율주행 분야, 자율주행용 객체 인식 분야, 자율주행 차량 위치추적 분야는 물론 이와 유사 내지 연관된 분야에서 신뢰성 및 경쟁력을 향상시킬 수 있다.

Description

2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법{Estimation method of 3D coordinate value for each pixel of 2D image and autonomous driving information estimation method using the same}
본 발명은 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법에 관한 것으로서, 보다 상세하게는 모노카메라(Mono camera)를 이용하여 자율주행에 필요한 정보를 효율적으로 획득할 수 있도록 한 것이다.
특히, 본 발명은 자율주행에서 요구하는 고정밀GPS수신기나 스테레오카메라 등과 같은 고가의 장비를 사용하지 않으면서도, 충분한 신뢰성을 갖는 정보를 실시간으로 획득할 수 있는 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법에 관한 것이다.
차량의 무인자율화(자율주행차량)는 크게 주위 환경을 인식하는 단계(인지영역)와, 인식된 환경으로부터 주행경로를 계획하는 단계(판단영역), 그리고 계획된 경로를 따라 주행하는 단계(제어영역)로 구성될 수 있다.
특히, 인지영역의 경우 자율주행을 위해 가장 처음 수행되는 기반 기술이며, 이러한 인지영역에서의 기술이 정확히 이루어져야만 다음 단계인 판단영역 및 제어영역에서도 정확한 수행이 가능하게 된다.
인지영역에서의 기술로는, GPS를 이용하여 차량의 정확한 위치를 파악하는 기술과, 카메라를 통해 획득된 영상정보를 통해 주위환경에 대한 정보를 획득하는 기술 등이 있다.
먼저, 자율주행에서 GPS를 이용한 차량의 위치에 대한 오차범위는 최소한 차선의 간격보다 작아야 하며, 오차범위가 작을수록 실시간 자율주행에 효율적으로 사용할 수 있으나, 이와 같이 오차범위가 작은 고정밀의 GPS수신기는 그 가격이 매우 고가일 수 밖에 없다.
이를 해결하기 위한 기술 중 하나로, 하기의 선행기술문헌인 대한민국 등록특허공보 제10-1765746호 '다중 저가형 GPS를 이용한 농업용 무인 트랙터의 자율주행용 위치 추정방법 및 시스템'(이하 '선행기술1'이라고 한다)은, 기하학적 구조를 기반으로 복수 개의 GPS위치정보를 상호 보완함으로써, 복수 개의 저가형 GPS를 이용하여 정밀한 위치데이터를 확보할 수 있도록 한 것이다.
그러나, 선행기술1에서는 GPS수신기를 복수 개로 운용해야 하므로, 그 개수만큼 가격이 상승할 수 밖에 없음은 당연하다.
또한, 복수 개의 GPS수신기를 연동해야 하므로, 장치의 구성이나 데이터처리 프로세스 들이 복잡해질 수 밖에 없으며, 이러한 복잡성은 기기의 신뢰성을 저하시키는 요인이 될 수 있다.
다음으로, 주위환경에 대한 정보의 획득에 관한 기술로, 하기의 선행기술문헌인 대한민국 공개특허공보 제10-2018-0019309호 '스테레오 카메라 기반의 자율 주행 방법 및 그 장치'(이하 '선행기술2'이라고 한다)는, 차량의 주행상태(주로, 주행속도)에 따라 스테레오 카메라를 구성하는 두 카메라의 간격을 조절하여 깊이측정 영역을 조정하도록 한 것이다.
이와 같이 스테레오 카메라를 이용하는 기술 또한, 그 장치가 고가일 뿐만 아니라, 장치의 구성이나 데이터처리의 복잡성을 수반하므로, 앞서 설명한 인용발명1의 문제점과 유사한 문제점을 가지고 있다.
또한, 인용발명2와 같은 기술에서는 영상처리되는 데이터의 양에 따라 정밀도가 좌우되는데, 실시간 데이터 처리를 위해서는 데이터의 양을 감소시킬 수 밖에 없기 때문에, 그 정밀도에서 한계가 발생한다는 단점이 있다.
대한민국 등록특허공보 제10-1765746호 '다중 저가형 GPS를 이용한 농업용 무인 트랙터의 자율주행용 위치 추정방법 및 시스템' 대한민국 공개특허공보 제10-2018-0019309호 '스테레오 카메라 기반의 자율 주행 방법 및 그 장치'
상기와 같은 문제점을 해결하기 위해서, 본 발명은 모노카메라(Mono camera)를 이용하여 자율주행에 필요한 정보를 효율적으로 획득할 수 있도록 할 수 있는 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법을 제공하는데 목적이 있다.
보다 구체적으로, 본 발명은 핀홀 카메라 모델(Pinhole camera model)에 의한 모델링과 선형보간법을 이용하여, 모노카메라에서 촬영된 영상의 픽셀별 3차원 좌표값을 실시간으로 추정함으로써, 자율주행에서 요구되는 객체(차량 등)와의 상대적 위치와, 자율주행용 의미정보(차선 등)를 실시간으로 추정할 수 있는 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법을 제공하는데 목적이 있다.
또한, 자율주행에서 요구하는 고정밀의 GPS수신기나 스테레오카메라 등과 같은 고가의 장비를 사용하지 않으면서도, 충분한 신뢰성을 갖는 정보를 실시간으로 획득할 수 있는 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법을 제공하는데 목적이 있다.
상기와 같은 목적을 달성하기 위해서, 본 발명에 따른 2차원 영상의 픽셀별 3차원 좌표값 추정 방법은, 지면과 평행하게 설치된 모노카메라(Mono camera)의 높이를 입력받는 카메라높이 입력단계; 상기 모노카메라의 수직시야각, 방위각 및 분해능 중 적어도 하나를 설정하는 기준값 설정단계; 및 상기 입력된 모노카메라의 높이 및 설정된 기준값에 기초하여, 상기 모노카메라에 의해 촬영된 2차원 영상의 지면에 대한 픽셀들 중 적어도 일부의 픽셀에 대한 3차원 좌표값 추정하는 픽셀좌표 추정단계;를 포함한다.
또한, 상기 픽셀좌표 추정단계는, 핀홀 카메라 모델(Pinhole camera model)을 이용한 3차원 포인트를 생성하여 3차원 좌표값을 추정하는 모델링과정;을 포함할 수 있다.
또한, 상기 픽셀좌표 추정단계는, 상기 모델링과정 이후에, 상기 모노카메라의 렌즈에 의한 왜곡을 보정하는 렌즈왜곡 보정과정;을 더 포함할 수 있다.
또한, 상기 픽셀좌표 추정단계 이후에, 상기 2차원 영상의 픽셀 중 3차원 좌표값에 대응되지 않은 픽셀에 대하여, 선형보간법을 이용하여 3차원 좌표값에 대응된 픽셀로부터 해당 픽셀의 3차원 좌표값을 추정하는 미대응픽셀좌표 추정단계;를 더 포함할 수 있다.
또한, 본 발명에 따른 2차원 영상의 픽셀별 3차원 좌표값 추정 방법을 이용한 자율주행정보 추정 방법은, 모노카메라(Mono camera)에 의해 촬영된 2차원 영상을 획득하는 2차원영상 획득단계; 상기 2차원 영상의 각 픽셀과 3차원 좌표계를 매칭시키는 좌표계 매칭단계; 및 상기 2차원 영상에 포함된 객체까지의 거리를 추정하는 객체거리 추정단계;를 포함한다.
또한, 상기 좌표계 매칭단계는, 상기의 2차원 영상의 픽셀별 3차원 좌표값 추정 방법을 포함하며, 상기 객체거리 추정단계는, 상기 2차원 영상에 포함된 객체를 확인하고, 픽셀별로 대응된 3차원 좌표값에 기초하여, 해당 객체까지의 방향 및 거리를 추정하는 객체위치 산출과정;을 포함할 수 있다.
또한, 상기 객체위치 산출과정은, 상기 2차원 영상에 포함된 객체의 지면에 해당하는 픽셀에 대응된 3차원 좌표값을 이용하여 해당 객체까지의 거리를 추정할 수 있다.
또한, 본 발명에 따른 2차원 영상의 픽셀별 3차원 좌표값 추정 방법을 이용한 자율주행정보 추정 방법은, 모노카메라(Mono camera)에 의해 촬영된 2차원 영상을 획득하는 2차원영상 획득단계; 상기 2차원 영상의 각 픽셀과 3차원 좌표계를 매칭시키는 좌표계 매칭단계; 및 상기 2차원 영상의 지면에 포함된 자율주행용 의미정보의 3차원 좌표값을 추정하는 의미정보위치 추정단계;를 포함한다.
또한, 상기 좌표계 매칭단계는, 청구항 제4항의 2차원 영상의 픽셀별 3차원 좌표값 추정 방법을 포함하며, 상기 의미정보 추정단계 이후에, 상기 자율주행용 의미정보의 3차원 좌표값에 기초하여, 자율주행용 정밀도로지도(High Definition map, HD-map) 상에서 해당 차량의 위치를 확인하는 로컬라이제이션(Localization) 단계;를 더 포함할 수 있다.
또한, 상기 로컬라이제이션 단계는, 자율주행용 정밀도로지도(HD-map) 상에서, 해당 자율주행용 의미정보를 확인하는 의미정보 확인과정; 및 상기 자율주행용 정밀도로지도 상에서, 해당 자율주행용 의미정보와의 상대적 위치를 적용하여 현재 차량의 위치를 확인하는 차량위치 확인과정;을 포함할 수 있다.
상기와 같은 해결수단에 의해, 본 발명은 모노카메라(Mono camera)를 이용하여 자율주행에 필요한 정보를 효율적으로 획득할 수 있도록 할 수 있는 장점이 있다.
보다 구체적으로, 본 발명은 핀홀 카메라 모델(Pinhole camera model)에 의한 모델링과 선형보간법을 이용하여, 모노카메라에서 촬영된 영상의 픽셀별 3차원 좌표값을 실시간으로 추정함으로써, 자율주행에서 요구되는 객체(차량 등)와의 상대적 위치와, 자율주행용 의미정보(차선 등)를 실시간으로 추정할 수 있는 장점이 있다.
특히, 단순히 촬영된 영상만을 이용하는 경우, 영상처리를 통해 영상 내의 객체를 인식하고, 해당 객체까지의 거리를 추정하는 하는데, 이때 요구되는 거리의 정확도가 높아질수록 처리해야 할 데이터의 양이 매우 크게 증가하므로, 실시간으로 데이터를 처리하는데 한계가 있다.
이에 반해, 본 발명에서는 촬영된 영상의 지면을 기준으로 각 픽셀별 3차원 좌표값을 추정하므로, 영상분석에 필요한 데이터를 최소화할 수 있으며, 실시간 데이터처리가 가능하다는 장점이 있다.
이에, 본 발명은 자율주행에서 요구하는 고정밀GPS수신기나 스테레오카메라 등과 같은 고가의 장비를 사용하지 않으면서도, 충분한 신뢰성을 갖는 정보를 실시간으로 획득할 수 있는 장점이 있다.
또한, 본 발명은 초당 수백만 개의 포인트가 들어오는 고가의 고정밀라이다에 비해 데이터 처리 시간을 월등히 줄일 수 있는 장점이 있다.
또한, 차량이 움직이면서 측정되는 라이다의 데이터는 상대 속도에 따른 오차와 차량의 흔들림으로 발생하는 오차가 발생하기 때문에 정밀도 역시 떨어지게 되는 반면, 본 발명은 정적인 상태(촬영된 영상)에서의 2차원 영상에 3차원의 상대좌표를 대응시키는 것이기 때문에 정밀도가 높다는 장점이 있다.
더불어, 스테레오 카메라의 뎁스(Depth)를 이용한 거리 계산은 이미지의 특징점(Feature) 혹은 경계선(Boundary)과 같이 주변과 구분할 수 있는 픽셀을 통해 거리를 추정할 수 있기 때문에 제약이 따른다는 단점과 더불어, 삼각 측량(Triangulation)을 이용한 거리 계산이기 때문에 정확한 값을 나타내기엔 무리가 있는 반면, 본 발명에서는 지면을 기준으로 하여 3차원 좌표값을 추정하는 기술이므로, 상당히 신뢰할만한 오차 범위 내로 거리를 계산할 수 있다는 장점이 있다.
이와 같이, 본 발명은 GPS를 사용하지 않으면서도, 객체와 자율주행을 위한 의미정보의 인식을 통해 자율주행 자동차의 현재 위치를 추정, 차간 거리 계산과 같은 ADAS(Advanced Driver Assistance System, 첨단 운전자 지원 시스템), 로컬라이제이션(Localization) 등에 널리 활용될 수 있으며, 더 나아가 대응된 데이터(Corresponded data)를 가지고 소프트웨어를 개발하여 동일한 기능을 수행할 수 있는 카메라를 개발할 수 있는 장점이 있다.
따라서, 자율주행 분야, 자율주행용 객체 인식 분야, 자율주행 차량 위치추적 분야는 물론 이와 유사 내지 연관된 분야에서 신뢰성 및 경쟁력을 향상시킬 수 있다.
도 1은 본 발명에 의한 2차원 영상의 픽셀별 3차원 좌표값 추정 방법의 일 실시예를 나타내는 흐름도이다.
도 2 내지 도 4는 도 1의 각 단계를 구체적으로 설명하기 위한 도면이다.
도 5는 도 1의 다른 일 실시예를 나타내는 흐름도이다.
도 6은 본 발명에 의한 2차원 영상의 픽셀별 3차원 좌표값 추정 방법을 이용한 자율주행정보 추정 방법의 일 실시예를 나타내는 흐름도이다.
도 7 및 도 8은 도 3에 나타난 단계'S300'을 설명하는 도면이다.
도 9 내지 도 12는 도 3에 나타난 단계'S400'을 설명하는 도면이다.
도 13은 본 발명에 의한 2차원 영상의 픽셀별 3차원 좌표값 추정 방법을 이용한 자율주행정보 추정 방법의 다른 일 실시예를 나타내는 흐름도이다.
도 14 및 도 15는 도 13을 설명하는 도면이다.
도 13은 본 발명에 의한 2차원 영상의 픽셀별 3차원 좌표값 추정 방법을 이용한 자율주행정보 추정 방법의 또 다른 일 실시예를 나타내는 흐름도이다.
도 17 및 도 18은 도 16을 설명하는 도면이다.
본 발명에 따른 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법에 대한 예는 다양하게 적용할 수 있으며, 이하에서는 첨부된 도면을 참조하여 가장 바람직한 실시 예에 대해 설명하기로 한다.
도 1은 본 발명에 의한 2차원 영상의 픽셀별 3차원 좌표값 추정 방법의 일 실시예를 나타내는 흐름도이고, 도 2 내지 도 4는 도 1의 각 단계를 구체적으로 설명하기 위한 도면이다.
도 1을 참조하면, 2차원 영상의 픽셀별 3차원 좌표값 추정 방법은 카메라높이 입력단계(S110), 기준값 설정단계(S120) 및 픽셀좌표 추정단계(S130)를 포함한다.
카메라높이 입력단계(S110)는 도 2에 나타난 바와 같이 지면과 평행하게 설치된 모노카메라(Mono camera)의 높이(h)를 입력받는 과정으로, 모노카메라가 설치된 차량의 운전자(사용자)가 입력하거나, 모노카메라의 일측에 거리측정센서를 구성하여 지면까지의 거리를 자동으로 측정할 수 있으며, 이외에도 당업자의 요구에 따라 다양한 방식으로 모노카메라의 높이를 측정 및 입력할 수 있다.
기준값 설정단계(S120)는 도 2 및 도 3에 나타난 바와 같이 모노카메라의 수직시야각(θ), 방위각(φ) 및 분해능 중 적어도 하나를 설정하는 과정으로, 주로 사용하는 값을 미리 설정하거나 사용자에 의해 입력 및 변경할 수 있음은 물론이다.
픽셀좌표 추정단계(S130)는 앞서 입력된 모노카메라의 높이 및 설정된 기준값에 기초하여, 모노카메라에 의해 촬영된 2차원 영상의 지면에 대한 픽셀들 중 적어도 일부의 픽셀에 대한 3차원 좌표값 추정하는 과정으로, 이하에서 구체적으로 설명하기로 한다.
먼저, 도 2를 참조하면, 모노카메라의 높이(h)와 수직시야각(Vertical angle, θ)에 따른 지면까지의 거리(d)는 수학식 1과 같이 나타낼 수 있다.
(수학식 1)
Figure 112019126329052-pat00001
그리고, 도 3에 나타난 바와 같이 방위각(Azimuth, φ)과 분해능에 의해, 지면에 생성되는 3차원 포인트의 3차원 좌표가 결정될 수 있다. 여기서, 3차원 포인트는 모노카메라의 시점에서 지면에 표시되는 점으로, 본 발명에서는 2차원 영상의 픽셀에 대응될 수 있다.
예를 들어, 지면에 대한 3차원 포인트 X, Y, Z는 거리 d, 모노카메라의 높이 h, 수직시야각 θ, 방위각 φ은 수학식 2와 같이 나타낼 수 있다.
(수학식 2)
Figure 112019126329052-pat00002
이후, 핀홀 카메라 모델(Pinhole camera model)을 이용한 3차원 포인트를 생성하여 3차원 좌표값을 추정할 수 있다.
도 4는 핀홀 카메라 모델을 이용하여 지면에 대한 2차원 영상의 픽셀과, 3차원 포인트의 관계 및 대응되는 모습을 표현한 것으로, 롤(Roll), 피치(Pitch), 요(Yaw)에 대한 각각의 로테이션 매트릭스(Rotation matrix) Rx, Ry, Rz는 수학식 3과 같이 표현할 수 있다.
(수학식 3)
Figure 112019126329052-pat00003
Figure 112019126329052-pat00004
Figure 112019126329052-pat00005
그리고, 모노카메라 시점의 3차원 좌표계를 2차원 영상의 좌표계로 변환해주는 로테이션 매트릭스 R은 수학식 4와 같이 나타낼 수 있다.
(수학식 4)
Figure 112019126329052-pat00006
마지막으로, 3차원 좌표계의 포인트 X, Y, Z를 카메라 시점의 2차원 영상의 좌표계의 포인트로 변환하기 위해서는 식 5와 같은 3차원 좌표계 포인트에 로테이션 매트릭스 R을 곱해준다.
(수학식 5)
Figure 112019126329052-pat00007
이와 같이, 도 5에 나타난 모델링과정(S131)을 거치게 되면, 이후에 모노카메라의 렌즈에 의한 왜곡을 보정하는 렌즈왜곡 보정과정(S132)을 수행할 수 있다.
일반적으로, 카메라의 렌즈는 완벽한 곡률이 아니기 때문에 상의 왜곡이 발생하게 되며, 정확한 위치를 추정하기 위해서는 이러한 왜곡을 보정하는 캘리브레인션(Calibration)을 거치게 된다.
모노카메라의 캘리브레이션을 통해 모노카메라의 외부 파라미터(Extrinsic parameter)를 계산하면, 레이디얼 디스토션 계수(Radial distortion coefficients) k1, k2, k3, k4, k5, k6와 탄젠셜 디스토션 계수(Tangential distortion coefficients) p1, p2를 구할 수 있다.
이러한 외부 파라미터를 이용하여 수학식 6과 같은 과정을 전개한다.
(수학식 6)
Figure 112019126329052-pat00008
Figure 112019126329052-pat00009
(여기서, r2=x'2+y'2)
앞서 구한 두 점 x", y"과, 모노카메라 내부 파라미터인 초점 거리(Focal length) fx, fy와, 주점(Principal point) cx, cy를 이용하여 구한 영상 좌표계 u, v와의 관계식은 수학식 7과 같다.
(수학식 7)
Figure 112019126329052-pat00010
이와 같은 과정으로, 모노카메라의 높이와 핀홀 카메라 모델을 이용하면 지면에 해당하는 픽셀과 3차원 포인트를 계산할 수 있다.
이하에서는, 실제 모노카메라에 의해 촬영된 영상을 이용하여, 앞서 설명한 과정들을 설명하기로 한다.
도 6은 본 발명에 의한 2차원 영상의 픽셀별 3차원 좌표값 추정 방법을 이용한 자율주행정보 추정 방법의 일 실시예를 나타내는 흐름도이고, 도 7 내지 도 12는 도 3에 나타난 단계'S130'이후의 각 단계들을 설명하는 도면이다.
먼저, 도 7 및 도 8은 픽셀좌표 추정단계(S130)에서 앞서 설명한 과정을 거쳐, 2차원 영상의 지면에 해당하는 픽셀에 3차원 포인트를 나타낸 것으로, 확대부분을 통해 알 수 있듯이, 각 포인트와 포인트 사이가 비어있음 알 수 있다.
도 6을 참조하면, 픽셀좌표 추정단계(S130) 이후에 도 7 및 도 8의 확대부분과 같이 2차원 영상의 픽셀 중 3차원 포인트의 좌표값에 대응되지 않은 픽셀에 대하여, 선형보간법을 이용하여 3차원 포인트의 좌표값에 대응된 픽셀로부터 해당 픽셀의 3차원 좌표값을 추정하게 되면(S140), 도 9 내지 도 12에 나타난 바와 같이 3차원 포인트가 표시될 수 있다.
여기서, 도 9 및 도 10은 좌우방향으로 선형보간법을 적용한 것이고, 도 11 및 도 12는 좌우방향으로 선형보간법을 적용한 이후 전후방향으로 선형보간법을 적용한 것이다.
이와 같은 과정을 거친 데이터들은, 이후 객체위치 산출단계(S151)나 로컬라이제이션(Localization) 단계(S152) 등에서 활용이 가능하며, 이하에서 이를 보다 구체적으로 살펴보기로 한다.
도 13은 본 발명에 의한 2차원 영상의 픽셀별 3차원 좌표값 추정 방법을 이용한 자율주행정보 추정 방법의 다른 일 실시예를 나타내는 흐름도이고, 도 14 및 도 15는 도 13을 설명하는 도면이다.
도 13을 참조하면, 본 발명에 의한 자율주행정보 추정 방법은 2차원영상 획득단계(S210), 좌표계 매칭단계(S220) 및 객체거리 추정단계(S230)을 포함한다.
구체적으로 살펴보면, 2차원영상 획득단계(S210)에서 모노카메라(Mono camera)에 의해 촬영된 2차원 영상을 획득하고, 좌표계 매칭단계(S220)에서 2차원 영상의 각 픽셀과 3차원 좌표계를 매칭시키며, 객체거리 추정단계(S230)에서 2차원 영상에 포함된 객체까지의 거리를 추정한다.
이때, 좌표계 매칭단계(S220)는 앞서 설명한 도 6의 단계 'S110' 내지 'S140'의 과정을 거쳐 2차원 영상의 픽셀별 3차원 좌표값 추정할 수 있다.
이후 객체거리 추정단계(S230)에서는, 도 14에 나타난 바와 같이 2차원 영상에 포함된 객체(차량)를 확인하고, 픽셀별로 대응된 3차원 좌표값에 기초하여, 해당 객체까지의 방향 및 거리를 추정하는 객체위치 산출과정을 수행할 수 있다.
구체적으로, 객체위치 산출과정은 2차원 영상에 포함된 객체의 지면(차량이 위치한 지면)에 해당하는 픽셀에 대응된 3차원 좌표값을 이용하여 해당 객체까지의 거리를 추정할 수 있다.
도 14는 본 발명에 의해 전방의 차량까지 추정한 거리를 나타낸 것으로, 도 14에 나타난 바와 같이 전방의 차량을 인식한 바운딩 박스(Bounding box)의 양쪽 끝 하단부분의 픽셀, 바운딩 박스의 폭과 높이를 이용하여 추정된 해당 차량까지의 거리는 7.35m이다.
그리고, 동일 상황에서 라이다(LiDAR)를 이용하여 측정된 거리는 도 15에 나타난 바와 같이 약 7.24m로, 도 14와는 약 0.11m의 오차가 발생하기는 하지만, 객체가 위치한 지면으로만 추정하게 되면 정확도가 더 향상될 수 있다.
도 13은 본 발명에 의한 2차원 영상의 픽셀별 3차원 좌표값 추정 방법을 이용한 자율주행정보 추정 방법의 또 다른 일 실시예를 나타내는 흐름도이고, 도 17 및 도 18은 도 16을 설명하는 도면이다.
도 16을 참조하면, 본 발명에 의한 자율주행정보 추정 방법은 2차원영상 획득단계(S310), 좌표계 매칭단계(S320) 및 의미정보위치 추정단계(S330)을 포함한다.
구체적으로 살펴보면, 2차원영상 획득단계(S310)에서 모노카메라(Mono camera)에 의해 촬영된 2차원 영상을 획득하고, 좌표계 매칭단계(S320)에서 2차원 영상의 각 픽셀과 3차원 좌표계를 매칭시키며, 의미정보위치 추정단계(S330)에서 2차원 영상의 지면에 포함된 자율주행용 의미정보의 3차원 좌표값을 추정한다.
이때, 좌표계 매칭단계(S320)는 앞서 설명한 도 6의 단계 'S110' 내지 'S140'의 과정을 거쳐 2차원 영상의 픽셀별 3차원 좌표값 추정할 수 있다.
그리고, 의미정보위치 추정단계(S330) 이후에, 자율주행용 의미정보의 3차원 좌표값에 기초하여, 자율주행용 정밀도로지도(High Definition map, HD-map) 상에서 해당 차량(모노카메라가 탑재된 차량)의 위치를 확인하는 로컬라이제이션(Localization) 단계(S340)를 더 포함할 수 있다.
특히, 로컬라이제이션(Localization) 단계(S340)는 자율주행용 정밀도로지도(HD-map) 상에서, 해당 자율주행용 의미정보를 확인하는 의미정보 확인과정과, 자율주행용 정밀도로지도 상에서, 해당 자율주행용 의미정보와의 상대적 위치를 적용하여 현재 차량의 위치를 확인하는 차량위치 확인과정을 수행할 수 있다.
다시 말해, 도 17에 나타난 바와 같이 2차원 영상의 지면에 포함된 자율주행용 의미정보(예를 들어, 차선)의 3차원 좌표값을 추정하게 되면(S330), 도 18에 나타난 바와 같이 정밀도로지도(HD-map) 상에서 해당 의미정보를 확인하고, 확인된 의미정보와의 상대적인 방향과 거리를 이용하여 해당 차량(모노카메라가 설치된 차량)의 위치를 파악할 수 있다(S340).
이상에서 본 발명에 의한 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법에 대하여 설명하였다. 이러한 본 발명의 기술적 구성은 본 발명이 속하는 기술분야의 당업자가 본 발명의 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.
그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 한정적인 것이 아닌 것으로서 이해되어야 한다.

Claims (10)

  1. 모노카메라(Mono camera)에 의해 촬영된 2차원 영상을 획득하는 2차원영상 획득단계;
    상기 2차원 영상의 각 픽셀과 3차원 좌표계를 매칭시키는 좌표계 매칭단계;
    상기 2차원 영상에 포함된 객체까지의 거리를 추정하는 객체거리 추정단계; 및
    상기 2차원 영상의 지면에 포함된 자율주행용 의미정보의 3차원 좌표값을 추정하는 의미정보위치 추정단계;를 포함하며,
    상기 좌표계 매칭단계는,
    지면과 평행하게 설치된 모노카메라(Mono camera)의 높이를 입력받는 카메라높이 입력단계;
    상기 모노카메라의 수직시야각, 방위각 및 분해능을 설정하는 기준값 설정단계; 및
    상기 입력된 모노카메라의 높이 및 설정된 기준값에 기초하여, 상기 모노카메라에 의해 촬영된 2차원 영상의 지면에 대한 픽셀들 중 적어도 일부의 픽셀에 대한 3차원 좌표값 추정하는 픽셀좌표 추정단계;를 포함하며,
    상기 픽셀좌표 추정단계는,
    핀홀 카메라 모델(Pinhole camera model)을 이용한 3차원 포인트를 생성하여 3차원 좌표값을 추정하는 모델링과정; 및
    상기 모델링과정 이후에, 상기 모노카메라의 렌즈에 의한 왜곡을 보정하는 렌즈왜곡 보정과정;를 포함하며
    상기 픽셀좌표 추정단계 이후에, 상기 2차원 영상의 픽셀 중 3차원 좌표값에 대응되지 않은 픽셀에 대하여, 선형보간법을 이용하여 3차원 좌표값에 대응된 픽셀로부터 해당 픽셀의 3차원 좌표값을 추정하는 미대응픽셀좌표 추정단계;를 더 포함하며,
    상기 모노카메라의 높이(h)와 수직시야각(Vertical angle, θ)에 따른 지면까지의 거리(d)는 수학식 1에 의해 결정되며,
    (수학식 1)
    Figure 112021033653221-pat00029

    지면에 대한 3차원 포인트 X, Y, Z는 거리 d, 모노카메라의 높이 h, 수직시야각 θ, 방위각 φ에 따라 수학식 2에 의해 결정되며,
    (수학식 2)
    Figure 112021033653221-pat00030

    상기 모델링과정에 있어서, 롤(Roll), 피치(Pitch), 요(Yaw)에 대한 각각의 로테이션 매트릭스(Rotation matrix) Rx, Ry, Rz는 각각 수학식 3 에 의해 결정되며,
    (수학식 3)
    Figure 112021033653221-pat00031

    Figure 112021033653221-pat00032

    Figure 112021033653221-pat00033

    상기 객체거리 추정단계는,
    상기 2차원 영상에 포함된 객체를 확인하고, 픽셀별로 대응된 3차원 좌표값에 기초하여, 해당 객체까지의 방향 및 거리를 추정하는 객체위치 산출과정;을 포함하며,
    상기 객체위치 산출과정은,
    상기 2차원 영상에 포함된 객체의 지면에 해당하는 픽셀에 대응된 3차원 좌표값을 이용하여 해당 객체까지의 거리를 추정하고,
    상기 의미정보위치 추정단계 이후에,
    상기 자율주행용 의미정보의 3차원 좌표값에 기초하여, 자율주행용 정밀도로지도(High Definition map, HD-map) 상에서 해당 차량의 위치를 확인하는 로컬라이제이션(Localization) 단계;를 더 포함하며,
    상기 로컬라이제이션 단계는,
    자율주행용 정밀도로지도(HD-map) 상에서, 해당 자율주행용 의미정보를 확인하는 의미정보 확인과정; 및
    상기 자율주행용 정밀도로지도 상에서, 해당 자율주행용 의미정보와의 상대적 위치를 적용하여 현재 차량의 위치를 확인하는 차량위치 확인과정;을 포함하는 것을 특징으로 하는 2차원 영상의 픽셀별 3차원 좌표값 추정 방법을 이용한 자율주행정보 추정 방법.
  2. 제1항에 있어서,
    상기 모노카메라 시점의 3차원 좌표계는 로테이션 매트릭스인 수학식 4에 따라 2차원 영상의 좌표계로 변환되는,
    (수학식 4)
    Figure 112021033653221-pat00034

    2차원 영상의 픽셀별 3차원 좌표값 추정 방법을 이용한 자율주행정보 추정 방법.
  3. 제2항에 있어서,
    상기 3차원 좌표계의 포인트 X, Y, Z는 수학식 5에 따라 카메라 시점의 2차원 영상의 좌표계의 포인트로 변환되는,
    (수학식 5)
    Figure 112021033653221-pat00035

    2차원 영상의 픽셀별 3차원 좌표값 추정 방법을 이용한 자율주행정보 추정 방법.
  4. 제3항에 있어서,
    상기 렌즈왜곡 보정과정은,
    모노카메라의 렌즈에 따른 왜곡을 보정하기 위한 캘리브레이션을 포함하며,
    상기 캘리브레이션을 통한 외부 파라미터는 레이디얼 디스토션 계수(Radial distortion coefficients) k1, k2, k3, k4, k5, k6와 탄젠셜 디스토션 계수(Tangential distortion coefficients) p1, p2 를 포함하며,
    영상 좌표계 u, v는, 수학식 6 및 7에 의해 결정되는,
    (수학식 6)
    Figure 112021501216451-pat00036

    Figure 112021501216451-pat00037

    (여기서, r2=x'2+y'2)
    (수학식 7)
    Figure 112021501216451-pat00038

    (여기서, fx, fy 는 모노카메라 내부 파라미터인 초점 거리(Focal length)이며, cx, cy 는 주점(Principal point)이다.)
    2차원 영상의 픽셀별 3차원 좌표값 추정 방법을 이용한 자율주행정보 추정 방법.
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
KR1020190161567A 2019-12-06 2019-12-06 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법 KR102249769B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020190161567A KR102249769B1 (ko) 2019-12-06 2019-12-06 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법
US17/282,925 US20230143687A1 (en) 2019-12-06 2020-11-20 Method of estimating three-dimensional coordinate value for each pixel of two-dimensional image, and method of estimating autonomous driving information using the same
PCT/KR2020/016486 WO2021112462A1 (ko) 2019-12-06 2020-11-20 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190161567A KR102249769B1 (ko) 2019-12-06 2019-12-06 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법

Publications (1)

Publication Number Publication Date
KR102249769B1 true KR102249769B1 (ko) 2021-05-12

Family

ID=75919060

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190161567A KR102249769B1 (ko) 2019-12-06 2019-12-06 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법

Country Status (3)

Country Link
US (1) US20230143687A1 (ko)
KR (1) KR102249769B1 (ko)
WO (1) WO2021112462A1 (ko)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115393479A (zh) * 2022-10-28 2022-11-25 山东捷瑞数字科技股份有限公司 一种基于三维引擎的车轮转动控制方法
KR20230003803A (ko) 2021-06-30 2023-01-06 주식회사 모빌테크 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법
KR20230026609A (ko) 2021-08-17 2023-02-27 김배훈 자율 주행용 차량의 근접 거리 측정 장치 및 방법
KR102506812B1 (ko) 2021-08-27 2023-03-07 김배훈 자율 주행용 차량
KR20230040150A (ko) 2021-09-15 2023-03-22 김배훈 자율 주행용 차량
KR20230040149A (ko) 2021-09-15 2023-03-22 김배훈 카메라 탑재용 프레임을 구비하는 자율 주행 차량
KR20230040431A (ko) 2021-09-15 2023-03-23 김배훈 어레이 카메라 시스템
KR102540676B1 (ko) * 2022-09-05 2023-06-07 콩테크 주식회사 카메라이미지를 이용하여 객체의 위치를 도출하는 방법 및 그 시스템
KR20230119912A (ko) 2022-02-08 2023-08-16 김배훈 백업카메라를 활용한 자율 주행 차량의 거리 측정 장치
KR20230119911A (ko) 2022-02-08 2023-08-16 김배훈 자율 주행 차량의 거리 측정 시스템 및 방법

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11144050A (ja) * 1997-11-06 1999-05-28 Hitachi Ltd 画像歪補正方法及び装置
JP2001236505A (ja) * 2000-02-22 2001-08-31 Atsushi Kuroda 座標推定方法、座標推定装置および座標推定システム
JP2006277293A (ja) * 2005-03-29 2006-10-12 Dainippon Printing Co Ltd 回転体の三次元情報復元装置
KR100640761B1 (ko) * 2005-10-31 2006-11-01 전자부품연구원 단일카메라 기반의 영상 특징점의 3차원 위치 검출방법
JP2009093611A (ja) * 2007-10-11 2009-04-30 Mwtec Software Gmbh 三次元オブジェクト認識のためのシステムおよび方法
JP2009186353A (ja) * 2008-02-07 2009-08-20 Fujitsu Ten Ltd 物体検出装置および物体検出方法
JP2011095112A (ja) * 2009-10-29 2011-05-12 Tokyo Electric Power Co Inc:The 三次元位置測定装置、飛翔体のマッピングシステム、およびコンピュータプログラム
JP2015528109A (ja) * 2012-07-04 2015-09-24 クレアフォーム・インコーポレイテッドＣｒｅａｆｏｒｍ Ｉｎｃ． ３ｄ走査および位置決めシステム
KR101765746B1 (ko) 2015-09-25 2017-08-08 서울대학교산학협력단 다중 저가형 gps를 이용한 농업용 무인 트랙터의 자율주행용 위치 추정방법 및 시스템
JP2017156311A (ja) * 2016-03-04 2017-09-07 株式会社アプライド・ビジョン・システムズ ３次元計測装置、３次元計測システム、３次元計測方法及びプログラム
KR20180019309A (ko) 2016-08-16 2018-02-26 삼성전자주식회사 스테레오 카메라 기반의 자율 주행 방법 및 그 장치
KR101916467B1 (ko) * 2012-10-30 2018-11-07 현대자동차주식회사 Ａｖｍ 시스템의 장애물 검출 장치 및 방법

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11144050A (ja) * 1997-11-06 1999-05-28 Hitachi Ltd 画像歪補正方法及び装置
JP2001236505A (ja) * 2000-02-22 2001-08-31 Atsushi Kuroda 座標推定方法、座標推定装置および座標推定システム
JP2006277293A (ja) * 2005-03-29 2006-10-12 Dainippon Printing Co Ltd 回転体の三次元情報復元装置
KR100640761B1 (ko) * 2005-10-31 2006-11-01 전자부품연구원 단일카메라 기반의 영상 특징점의 3차원 위치 검출방법
JP2009093611A (ja) * 2007-10-11 2009-04-30 Mwtec Software Gmbh 三次元オブジェクト認識のためのシステムおよび方法
JP2009186353A (ja) * 2008-02-07 2009-08-20 Fujitsu Ten Ltd 物体検出装置および物体検出方法
JP2011095112A (ja) * 2009-10-29 2011-05-12 Tokyo Electric Power Co Inc:The 三次元位置測定装置、飛翔体のマッピングシステム、およびコンピュータプログラム
JP2015528109A (ja) * 2012-07-04 2015-09-24 クレアフォーム・インコーポレイテッドＣｒｅａｆｏｒｍ Ｉｎｃ． ３ｄ走査および位置決めシステム
KR101916467B1 (ko) * 2012-10-30 2018-11-07 현대자동차주식회사 Ａｖｍ 시스템의 장애물 검출 장치 및 방법
KR101765746B1 (ko) 2015-09-25 2017-08-08 서울대학교산학협력단 다중 저가형 gps를 이용한 농업용 무인 트랙터의 자율주행용 위치 추정방법 및 시스템
JP2017156311A (ja) * 2016-03-04 2017-09-07 株式会社アプライド・ビジョン・システムズ ３次元計測装置、３次元計測システム、３次元計測方法及びプログラム
KR20180019309A (ko) 2016-08-16 2018-02-26 삼성전자주식회사 스테레오 카메라 기반의 자율 주행 방법 및 그 장치

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230003803A (ko) 2021-06-30 2023-01-06 주식회사 모빌테크 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법
KR20230026609A (ko) 2021-08-17 2023-02-27 김배훈 자율 주행용 차량의 근접 거리 측정 장치 및 방법
KR102506812B1 (ko) 2021-08-27 2023-03-07 김배훈 자율 주행용 차량
KR20230040150A (ko) 2021-09-15 2023-03-22 김배훈 자율 주행용 차량
KR20230040149A (ko) 2021-09-15 2023-03-22 김배훈 카메라 탑재용 프레임을 구비하는 자율 주행 차량
KR20230040431A (ko) 2021-09-15 2023-03-23 김배훈 어레이 카메라 시스템
KR20230119912A (ko) 2022-02-08 2023-08-16 김배훈 백업카메라를 활용한 자율 주행 차량의 거리 측정 장치
KR20230119911A (ko) 2022-02-08 2023-08-16 김배훈 자율 주행 차량의 거리 측정 시스템 및 방법
KR102540676B1 (ko) * 2022-09-05 2023-06-07 콩테크 주식회사 카메라이미지를 이용하여 객체의 위치를 도출하는 방법 및 그 시스템
CN115393479A (zh) * 2022-10-28 2022-11-25 山东捷瑞数字科技股份有限公司 一种基于三维引擎的车轮转动控制方法

Also Published As

Publication number Publication date
WO2021112462A1 (ko) 2021-06-10
US20230143687A1 (en) 2023-05-11

Similar Documents

Publication Publication Date Title
KR102249769B1 (ko) 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법
US11632536B2 (en) Method and apparatus for generating three-dimensional (3D) road model
US10671862B2 (en) Method and system for detecting obstacles by autonomous vehicles in real-time
JP6760114B2 (ja) 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム
US20170019657A1 (en) Stereo auto-calibration from structure-from-motion
CN108692719B (zh) 物体检测装置
Jeong et al. The road is enough! Extrinsic calibration of non-overlapping stereo camera and LiDAR using road information
EP3032818B1 (en) Image processing device
JP2016029564A (ja) 対象検出方法及び対象検出装置
KR102103944B1 (ko) 모노카메라를 이용한 자율주행 차량의 거리 및 위치 추정 방법
JP6552448B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
US20240095960A1 (en) Multi-sensor calibration system
US20230138487A1 (en) An Environment Model Using Cross-Sensor Feature Point Referencing
KR101076406B1 (ko) 장애물체 위치 및 속도 추정 장치 및 방법
CN114413958A (zh) 无人物流车的单目视觉测距测速方法
KR102490521B1 (ko) 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법
KR102195040B1 (ko) 이동식 도면화 시스템 및 모노카메라를 이용한 도로 표지 정보 수집 방법
US20230351687A1 (en) Method for detecting and modeling of object on surface of road
CN114494466B (zh) 外参标定方法、装置及设备、存储介质
US20230104937A1 (en) Absolute scale depth calculation device, absolute scale depth calculation method, and computer program product
US11532100B2 (en) Method for environmental acquisition, data processing unit
WO2022133986A1 (en) Accuracy estimation method and system
CN113593026A (zh) 车道线标注辅助地图生成方法、装置和计算机设备
US20230421739A1 (en) Robust Stereo Camera Image Processing Method and System
EP4345750A1 (en) Position estimation system, position estimation method, and program

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant