KR102195040B1 - 이동식 도면화 시스템 및 모노카메라를 이용한 도로 표지 정보 수집 방법 - Google Patents

이동식 도면화 시스템 및 모노카메라를 이용한 도로 표지 정보 수집 방법 Download PDF

Info

Publication number
KR102195040B1
KR102195040B1 KR1020190076922A KR20190076922A KR102195040B1 KR 102195040 B1 KR102195040 B1 KR 102195040B1 KR 1020190076922 A KR1020190076922 A KR 1020190076922A KR 20190076922 A KR20190076922 A KR 20190076922A KR 102195040 B1 KR102195040 B1 KR 102195040B1
Authority
KR
South Korea
Prior art keywords
image
mono camera
autonomous driving
data
vehicle
Prior art date
Application number
KR1020190076922A
Other languages
English (en)
Inventor
김재승
김지성
Original Assignee
주식회사 모빌테크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 모빌테크 filed Critical 주식회사 모빌테크
Priority to KR1020190076922A priority Critical patent/KR102195040B1/ko
Application granted granted Critical
Publication of KR102195040B1 publication Critical patent/KR102195040B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/006—Geometric correction
    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images

Abstract

본 발명은 모노카메라를 이용한 자율주행 차량의 거리 및 위치 추정 방법에 관한 것으로, 보다 상세하게는 이동식 도면화 시스템(Mobile Mapping System, MMS)과 더불어 모노카메라(Mono camera)와 라이다(LiDAR) 등를 이용하여 자율주행에 필요한 정보를 효율적으로 획득할 수 있도록 한 것이다.
특히, 본 발명은 MMS에서 수집된 데이터를 이용하여, 딥러닝 기반에서 연속된 사진으로부터 충분한 신뢰성을 갖는 도로상의 표지 정보를 실시간으로 획득할 수 있다.
또한, 본 발명은 모노카메라에서 촬영된 영상과 라이다에 의해 수집된 정보를 이용하여, 지면상에서 특정 위치까지의 거리를 정확히 계산할 수 있도록 함으로써, 자율주행에서 요구되는 객체(자율주행용 객체, 대상객체)와 차량 간의 상대적 위치를 실시간으로 추정할 수 있다.
따라서, 자율주행 분야, 도로 표지 정보 수집 분야, 자율주행용 객체 인식 분야, 자율주행 차량 위치추적 분야는 물론 이와 유사 내지 연관된 분야에서 신뢰성 및 경쟁력을 향상시킬 수 있다.

Description

이동식 도면화 시스템 및 모노카메라를 이용한 도로 표지 정보 수집 방법{Method for collecting road signs information using MMS and mono camera}
본 발명은 이동식 도면화 시스템 및 모노카메라를 이용한 도로 표지 정보 수집 방법에 관한 것으로서, 보다 상세하게는 이동식 도면화 시스템(Mobile Mapping System, MMS)과 더불어 모노카메라(Mono camera)와 라이다(LiDAR) 등를 이용하여 자율주행에 필요한 정보를 효율적으로 획득할 수 있도록 한 것이다.
특히, 본 발명은 MMS에서 수집된 데이터를 이용하여, 딥러닝 기반에서 연속된 사진으로부터 충분한 신뢰성을 갖는 도로상의 표지 정보를 실시간으로 획득할 수 있는 이동식 도면화 시스템 및 모노카메라를 이용한 도로 표지 정보 수집 방법에 관한 것이다.
차량의 무인자율화(자율주행차량)는 크게 주위 환경을 인식하는 단계(인지영역)와, 인식된 환경으로부터 주행경로를 계획하는 단계(판단영역), 그리고 계획된 경로를 따라 주행하는 단계(제어영역)로 구성될 수 있다.
특히, 인지영역의 경우 자율주행을 위해 가장 처음 수행되는 기반 기술이며, 이러한 인지영역에서의 기술이 정확히 이루어져야만 다음 단계인 판단영역 및 제어영역에서도 정확한 수행이 가능하게 된다.
인지영역에서의 기술로는, GPS를 이용하여 차량의 정확한 위치를 파악하는 기술과, 카메라를 통해 획득된 영상정보를 통해 주위환경에 대한 정보를 획득하는 기술 등이 있다.
먼저, 자율주행에서 GPS를 이용한 차량의 위치에 대한 오차범위는 최소한 차선의 간격보다 작아야 하며, 오차범위가 작을수록 실시간 자율주행에 효율적으로 사용할 수 있으나, 이와 같이 오차범위가 작은 고정밀의 GPS수신기는 그 가격이 매우 고가일 수 밖에 없다.
이를 해결하기 위한 기술 중 하나로, 하기의 선행기술문헌인 대한민국 등록특허공보 제10-1765746호 '다중 저가형 GPS를 이용한 농업용 무인 트랙터의 자율주행용 위치 추정방법 및 시스템'(이하 '선행기술1'이라고 한다)은, 기하학적 구조를 기반으로 복수 개의 GPS위치정보를 상호 보완함으로써, 복수 개의 저가형 GPS를 이용하여 정밀한 위치데이터를 확보할 수 있도록 한 것이다.
그러나, 선행기술1에서는 GPS수신기를 복수 개로 운용해야 하므로, 그 개수만큼 가격이 상승할 수 밖에 없음은 당연하다.
또한, 복수 개의 GPS수신기를 연동해야 하므로, 장치의 구성이나 데이터처리 프로세스 들이 복잡해질 수 밖에 없으며, 이러한 복잡성은 기기의 신뢰성을 저하시키는 요인이 될 수 있다.
다음으로, 주위환경에 대한 정보의 획득에 관한 기술로, 하기의 선행기술문헌인 대한민국 공개특허공보 제10-2018-0019309호 '스테레오 카메라 기반의 자율 주행 방법 및 그 장치'(이하 '선행기술2'이라고 한다)는, 차량의 주행상태(주로, 주행속도)에 따라 스테레오 카메라를 구성하는 두 카메라의 간격을 조절하여 깊이측정 영역을 조정하도록 한 것이다.
이와 같이 스테레오 카메라를 이용하는 기술 또한, 그 장치가 고가일 뿐만 아니라, 장치의 구성이나 데이터처리의 복잡성을 수반하므로, 앞서 설명한 인용발명1의 문제점과 유사한 문제점을 가지고 있다.
또한, 인용발명2와 같은 기술에서는 영상처리되는 데이터의 양에 따라 정밀도가 좌우되는데, 실시간 데이터 처리를 위해서는 데이터의 양을 감소시킬 수 밖에 없기 때문에, 그 정밀도에서 한계가 발생한다는 단점이 있다.
대한민국 등록특허공보 제10-1765746호 '다중 저가형 GPS를 이용한 농업용 무인 트랙터의 자율주행용 위치 추정방법 및 시스템' 대한민국 공개특허공보 제10-2018-0019309호 '스테레오 카메라 기반의 자율 주행 방법 및 그 장치'
상기와 같은 문제점을 해결하기 위해서, 본 발명은 이동식 도면화 시스템(Mobile Mapping System, MMS)과 더불어 모노카메라(Mono camera)와 라이다(LiDAR) 등를 이용하여 자율주행에 필요한 정보를 효율적으로 획득할 수 있는 이동식 도면화 시스템 및 모노카메라를 이용한 도로 표지 정보 수집 방법에 관한 것이다.
특히, 본 발명은 MMS에서 수집된 데이터를 이용하여, 딥러닝 기반에서 연속된 사진으로부터 충분한 신뢰성을 갖는 도로상의 표지 정보를 실시간으로 획득할 수 있는 이동식 도면화 시스템 및 모노카메라를 이용한 도로 표지 정보 수집 방법에 관한 것이다.
또한, 본 발명은 모노카메라에서 촬영된 영상과 라이다에 의해 수집된 정보를 이용하여, 지면상에서 특정 위치까지의 거리를 정확히 계산할 수 있도록 함으로써, 자율주행에서 요구되는 객체(자율주행용 객체, 대상객체)와 차량 간의 상대적 위치를 실시간으로 추정할 수 있는 이동식 도면화 시스템 및 모노카메라를 이용한 도로 표지 정보 수집 방법에 관한 것이다.
상기와 같은 목적을 달성하기 위해서, 본 발명에 따른 이동식 도면화 시스템 및 모노카메라를 이용한 도로 표지 정보 수집 방법은, 모노카메라(Mono camera)에 의해 촬영된 2차원 영상이미지와, 3차원 라이다(LiDAR)에 의해 측정된 지면데이터를 획득하는 로데이터 획득단계; 상기 로데이터를 매칭시킨 후, 대상객체가 위치한 픽셀에 매칭된 좌표값에 의해 해당 객체까지의 거리를 추정하는 객체거리 추정단계; 및 이동식 도면화 시스템에서 수집된 데이터를 이용하여, 딥러닝 기반으로 해당 객체의 표지정보를 확인하는 표지정보 확인단계;를 포함한다.
또한, 상기 로데이터 획득단계는, 상기 모노카메라에 의해 영상을 촬영하는 영상촬영과정; 및 촬영된 영상에 대하여, 상기 모노카메라의 렌즈에 의한 왜곡을 보정하는 렌즈왜곡 보정과정;을 포함할 수 있다.
또한, 상기 객체거리 추정단계는, 상기 영상이미지와 지면데이터를 중첩시키는 데이터 중첩과정; 상기 지면데이터와 중첩되는 픽셀의 경우, 해당 지면데이터를 해당 픽셀의 라이다좌표값으로 설정하는 직접매칭과정; 및 상기 지면데이터와 중첩되지 않는 픽셀의 경우, 상기 지면데이터로부터 선형보간법을 이용하여 추정하여 라이다좌표값을 설정하는 확장매칭과정;을 포함할 수 있다.
상기와 같은 해결수단에 의해, 본 발명은 이동식 도면화 시스템(Mobile Mapping System, MMS)과 더불어 모노카메라(Mono camera)와 라이다(LiDAR) 등를 이용하여 자율주행에 필요한 정보를 효율적으로 획득할 수 있는 장점이 있다.
특히, 본 발명은 MMS에서 수집된 데이터를 이용하여, 딥러닝 기반에서 연속된 사진으로부터 충분한 신뢰성을 갖는 도로상의 표지 정보를 실시간으로 획득할 수 있는 장점이 있다.
더불어, 본 발명은 모노카메라(Mono camera)와 라이다(LiDAR)를 이용하여 자율주행에 필요한 정보를 효율적으로 획득할 수 있도록 할 수 있는 장점이 있다.
보다 구체적으로, 본 발명은 모노카메라에서 촬영된 영상과 라이다에 의해 수집된 정보를 이용하여, 지면상에서 특정 위치까지의 거리를 정확히 계산할 수 있도록 함으로써, 자율주행에서 요구되는 객체(자율주행용 객체, 대상객체)와 차량 간의 상대적 위치를 실시간으로 추정할 수 있는 장점이 있다.
특히, 단순히 촬영된 영상만을 이용하는 경우, 영상처리를 통해 영상 내의 객체를 인식하고, 해당 객체까지의 거리를 추정하는 하는데, 이때 요구되는 거리의 정확도가 높아질수록 처리해야 할 데이터의 양이 매우 크게 증가하므로, 실시간으로 데이터를 처리하는데 한계가 있다.
이에 반해, 본 발명에서는 촬영된 영상 중 지면의 영역에 대한 정보만을 요구하므로, 영상분석에 필요한 데이터를 최소화할 수 있으며, 실시간 데이터처리가 가능하다는 장점이 있다.
이에, 본 발명은 자율주행에서 요구하는 고정밀GPS수신기나 스테레오카메라 등과 같은 고가의 장비를 사용하지 않으면서도, 충분한 신뢰성을 갖는 정보를 실시간으로 획득할 수 있는 장점이 있다.
또한, 본 발명은 초당 수백만 개의 포인트가 들어오는 고가의 고정밀라이다에 비해 데이터 처리 시간을 월등히 줄일 수 있는 장점이 있다.
또한, 차량이 움직이면서 측정되는 라이다의 데이터는 상대 속도에 따른 오차와 차량의 흔들림으로 발생하는 오차가 발생하기 때문에 정밀도 역시 떨어지게 되는 반면, 본 발명은 정적인 상태(촬영된 영상)에서의 2차원 이미지와 3차원 상대 좌표를 대응시키는 것이기 때문에 정밀도가 높다는 장점이 있다.
더불어, 스테레오 카메라의 뎁스(Depth)를 이용한 거리 계산은 이미지의 특징점(Feature) 혹은 경계선(Boundary)과 같이 주변과 구분할 수 있는 픽셀을 통해 거리를 추정할 수 있기 때문에 제약이 따른다는 단점과 더불어, 삼각 측량(Triangulation)을 이용한 거리 계산이기 때문에 정확한 값을 나타내기엔 무리가 있는 반면, 본 발명에서는 지면에 위치한 객체에 대한 기술이므로, 상당히 신뢰할만한 오차 범위 내로 거리를 계산할 수 있다는 장점이 있다.
이와 같이, 본 발명은 GPS를 사용하지 않으면서도, 자율주행을 위한 의미정보(자율주행용 객체 등) 인식을 통해 자율주행 자동차의 현재 위치를 추정, 차간 거리 계산과 같은 ADAS(Advanced Driver Assistance System, 첨단 운전자 지원 시스템) 등의 널리 활용될 수 있으며, 더 나아가 대응된 데이터(Corresponded data)를 가지고 소프트웨어를 개발하여 동일한 기능을 수행할 수 있는 카메라를 개발할 수 있는 장점이 있다.
따라서, 자율주행 분야, 도로 표지 정보 수집 분야, 자율주행용 객체 인식 분야, 자율주행 차량 위치추적 분야는 물론 이와 유사 내지 연관된 분야에서 신뢰성 및 경쟁력을 향상시킬 수 있다.
도 1은 본 발명에 의한 이동식 도면화 시스템 및 모노카메라를 이용한 도로 표지 정보 수집 방법의 일 실시예를 나타내는 흐름도이다.
도 2는 도 1의 단계 'S110'의 구체적인 일 실시예를 나타내는 흐름도이다.
도 3은 도 1의 단계 'S120'의 구체적인 일 실시예를 나타내는 흐름도이다.
도 4 내지 도 5는 도 1의 과정을 설명하는 이미지이다.
도 6은 본 발명에 의한 모노카메라를 이용한 자율주행 차량의 위치 추정 방법의 일 실시예를 나타내는 흐름도이다.
도 7은 도 6의 단계 'S210'의 구체적인 일 실시예를 나타내는 흐름도이다.
본 발명에 따른 이동식 도면화 시스템 및 모노카메라를 이용한 도로 표지 정보 수집 방법에 대한 예는 다양하게 적용할 수 있으며, 특히 차량에 탑재되는 자율주행시스템이나 자율주행을 위한 영상처리장치, 영상처리모듈, 차량제어장치, 자율주행모듈, 디지털맵 매핑모듈 등에서 활용될 수 있다.
이에, 본 발명은 자율주행용 정밀도로지도(HD-map)를 활용하는 다양한 시스템이나 장치에서 수행될 수 있으며, 이하에서는 첨부된 도면을 참조하여 가장 바람직한 실시 예에 대해 설명하기로 한다.
또한, 이동식 도면화 시스템(Mobile Mapping System)은 카메라, 레이더, 레이저, 라이다 등의 여러 원격 감지 시스템과, INS와 같은 항법센서를 이용하여 공간 데이터를 수집하는 시스템을 말하며, 당업자의 요구에 따라 동일 내지 유사한 기능을 수행하는 다양한 구성들로 변경할 수 있음은 물론이다.
도 1은 본 발명에 의한 이동식 도면화 시스템 및 모노카메라를 이용한 도로 표지 정보 수집 방법의 일 실시예를 나타내는 흐름도이다.
도 1을 참조하면, 본 발명의 이동식 도면화 시스템 및 모노카메라를 이용한 도로 표지 정보 수집 방법은 로데이터(Raw data) 획득단계(S110), 객체거리 추정단계(S120) 및 표지정보 확인단계(S130)를 포함한다.
먼저, 로데이터 획득단계(S110)에서는 모노카메라(Mono camera)에 의해 촬영된 2차원 영상이미지(2차원이미지)를 획득할 수 있다.
이때, 2차원 영상이미지(2차원이미지)는 도 4의 (a)와 같이 하부의 일정영역에 지면이 촬영된 이미지를 말한다.
이에, 본 발명에서는 영상처리과정에서 촬영된 영상이미지 전체를 영상처리하여 분석하는 것이 아니라, 하부의 지면부분만을 대상영역으로 추출하므로, 영상처리에 요구되는 데이터량을 대폭적으로 감소시킬 수 있다.
이후, 도 4의 (b)에 나타난 바와 같이 해당 차량을 중심으로 3차원 라이다(LiDAR)에 의해 측정된 지면데이터를 획득할 수 있다.
객체거리 추정단계(S120)에서는 앞서 획득된 영상이미지의 2차원 픽셀과 3차원 라이다의 좌표계를 매칭시키는 과정을 거치치면서, 도 5의 (a)에 나타난 바와 같이 영상이미지와 지면데이터를 매칭시킬 수 있다.
그리고, 영상이미지의 지면에 대상객체(자율주행용 객체)가 위치한 경우, 대상객체가 위치한 픽셀에 매칭된 라이다좌표값에 의해 해당 객체까지의 거리를 추정한다.
따라서, 획득된 영상이미지를 처리하는 데이터의 양을 최소화하면서도, 지면상에 위치한 대상객체까지의 거리를 신속하고 정확하게 산출할 수 있다.
마지막으로, 표지정보 확인단계(S130)에서는 이동식 도면화 시스템에서 수집된 데이터를 이용하여, 딥러닝 기반으로 해당 객체의 표지정보를 확인할 수 있다.
도 2는 도 1의 단계 'S110'의 구체적인 일 실시예를 나타내는 흐름도이다.
도 2를 참조하면, 로데이터 획득단계(S110)는 영상이미지 획득과정을 포함하며, 영상이미지 획득과정은 영상촬영과정(S111) 및 렌즈왜곡 보정과정(S112)을 포함할 수 있다.
일반적으로, 렌즈에 의해 촬영된 영상은 렌즈의 중심에서 가장자리로 갈수록 왜곡이 심하게 발생하게 되므로, 라이다와 같이 3차원 정보를 수집하는 기기와 매칭시키기 위해서는 왜곡된 부분을 보정하는 과정을 필요로 한다.
이에, 모노카메라에 의해 특정 방향에 대한 영상을 촬영하게 되면(S111), 촬영된 영상에 대하여, 모노카메라의 렌즈에 의한 왜곡을 보정하는 과정을 거치게 된다(S112).
이러한 영상의 보정과정은 해당 모노카메라 자체에서 수행이 가능할 수 있으며, 이 경우 모노카메라에서 촬영된 영상을 영상처리하는 과정에서의 연산처리에 대한 부하를 감소시킬 수 있다.
한편 라이다의 경우, 레이저채널의 개수 등에 의해 해상도가 결정되는데, 앞서 설명한 바와 같이 라이다에 의해 획득된 데이터의 양이 많아지면 이로 인해 연산처리에 상당한 부하가 발생할 수 있으며, 이는 실시간으로 데이터를 처리하는데 바람직하지 못한 상황을 발생시킬 수 있다.
이하에서는, 이를 해결하는 방법에 대해 살펴보기로 한다.
도 3은 도 1의 단계 'S120'의 구체적인 일 실시예를 나타내는 흐름도이다.
도 3을 참조하면, 객체거리 추정단계(120)는 좌표계 매칭과정을 포함하며, 좌표계매칭과정은 데이터 중첩과정(S121), 직접매칭과정(S122) 및 확장매칭과정(S123)을 포함할 수 있다.
예를 들어, 도 5의 (a)에 나타난 바와 같이 영상이미지와 지면데이터를 중첩시키게 되면(S121), 영상이미지의 픽셀 중에서 지면데이터가 존재하는 픽셀은 정확한 위치를 알 수 있다.
다시 말해, 영상이미지의 픽셀 중 지면데이터와 중첩되는 픽셀의 경우, 해당 지면데이터를 해당 픽셀의 라이다좌표값으로 설정할 수 있다(S122).
그러나, 도 5의 (a)에 나타난 지면데이터 사이의 픽셀들은 라이다에 의해서는 정확한 위치를 알 수 없다.
이에, 본 발명은 영상이미지의 픽셀 중 지면데이터와 중첩되지 않는 픽셀의 경우, 지면데이터로부터 확장하여 추정하는 방법으로 해당 픽셀의 라이다좌표값을 설정할 수 있다(S123).
예를 들어, 확장매칭과정(S133)에서, 지면데이터와 중첩되지 않는 픽셀의 경우, 인접한 지면데이터로부터 선형보간법을 이용하여 해당 픽셀의 좌표값을 추정하여 설정할 수 있다. 여기서, 선형보간법은 두 지점의 값을 알고 있는 경우, 두 지점 사이에 위치한 값을 추정하기 위하여 선형적으로 계산하는 방법을 말한다.
이와 같은 과정을 통해, 도 5의 (b)와 같이 2차원 영상이미지의 지면영역에 대한 모든 픽셀의 라이다좌표값을 알아낼 수 있다.
이하에서는, 앞서 살펴본 바와 같이 라이다좌표값을 이용하여 확인한 대상객체(자율주행용 객체)와의 거리와 방향을 이용하여, 자율주행용 정밀도로지도(HD-map)와 같은 디지털맵 상에서 현재 차량의 위치를 알아내는 방법에 대해 살펴보기로 한다.
도 6은 본 발명에 의한 모노카메라를 이용한 자율주행 차량의 위치 추정 방법의 일 실시예를 나타내는 흐름도이다.
도 6을 참조하면, 본 발명의 모노카메라를 이용한 자율주행 차량의 위치 추정 방법은, 상대위치 산출단계(S210), 대상객체 확인단계(S220) 및 차량위치 확인단계(S230)를 포함한다.
상대위치 산출단계(S210)는 모노카메라(Mono camera)에 의해 촬영된 2차원 영상이미지(2차원이미지)를 영상처리하여 자율주행용 객체(대상객체)와의 상대적 위치를 산출할 수 있다.
대상객체 확인단계(S220)에서는, 자율주행용 정밀도로지도(HD-map) 상에서 해당 자율주행용 객체 및 객체의 위치를 확인할 수 있다.
이후, 차량위치 확인단계(S230)에서는, 자율주행용 정밀도로지도 상에서 해당 자율주행용 객체와의 상대적 위치를 적용함으로써, 자율주행용 정밀도로지도 상에서 현재 차량의 위치를 확인할 수 있다.
이하에서, 보다 구체적으로 살펴보기로 한다.
도 7은 도 6의 단계 'S210'의 구체적인 일 실시예를 나타내는 흐름도이다.
도 7을 참조하면, 상대위치 산출단계(S210)는 2차원이미지 획득과정(S211), 객체위치 산출과정(S212) 및 차량위치 산출과정(S213)을 포함할 수 있다.
예를 들어, 라이다로부터 특정 위치까지의 거리 및 방향정보를 획득할 수 있는 경우, 상대위치 산출단계(S210)에서, 모노카메라를 이용하여 특정 방향의 2차원 영상이미지인 2차원이미지를 획득하면(S211), 2차원이미지에 포함된 자율주행용 객체를 확인하고, 차량으로부터 해당 자율주행용 객체까지의 방향 및 거리를 추정한 후(S212), 자율주행용 객체를 기준으로 차량의 상대적 위치를 추정할 수 있다(S213).
다른 예로, 라이다로부터 특정 위치까지의 거리정보만을 획득할 수 있는 경우 또는 거리정보와 방향정보를 획득한 후 방향정보를 제외한 거리정보만을 이용하는 경우, 상대위치 산출단계(S210)에서, 모노카메라를 이용하여 특정 방향의 2차원 영상이미지인 2차원이미지를 획득하면(S211), 2차원이미지에 포함된 자율주행용 객체를 확인하고, 적어도 3개의 자율주행용 객체까지의 거리를 추정한 후(S212), 상기 자율주행용 객체들을 기준으로 차량의 상대적 위치를 추정할 수 있다(S213).
보다 구체적으로, 객체위치 산출과정(S212)에서, 앞서 도 1 내지 도 5를 참조하여 살펴본 바와 같이, 2차원이미지의 픽셀별로 3차원 라이다(LiDAR)에 의해 측정된 지면데이터를 매칭하고, 지면데이터가 매칭된 픽셀의 라이다좌표값에 기초하여 해당 자율주행용 객체까지의 거리 및 방향 중 적어도 하나를 추정할 수 있다.
그리고, 상기 2차원이미지와 지면데이터를 중첩시킨 후, 상기 지면데이터와 중첩되는 픽셀은 해당 지면데이터를 해당 픽셀의 라이다좌표값으로 설정하고, 상기 지면데이터와 중첩되지 않는 픽셀은 상기 지면데이터로부터 추정하여 라이다좌표값을 설정할 수 있다.
만약, 지면데이터와 중첩되지 않는 픽셀의 경우, 인접한 지면데이터로부터 선형보간법을 이용하여 해당 픽셀의 좌표값을 추정하여 설정할 수 있다.
따라서, 본 발명은 데이터의 연산처리량을 최소화하면서도 정확한 거리 및 위치의 추정이 가능하도록 함으로써, 실시간으로 데이터를 처리해야 하는 자율주행 분야에서 최적의 방법을 제공할 수 있다.
이에, 본 발명은 자율주행에서 요구하는 고정밀의 GPS수신기나 스테레오카메라 등과 같은 고가의 장비를 사용하지 않으면서도, 충분한 신뢰성을 갖는 정보를 실시간으로 획득할 수 있다.
이상에서 본 발명에 의한 이동식 도면화 시스템 및 모노카메라를 이용한 도로 표지 정보 수집 방법에 대하여 설명하였다. 이러한 본 발명의 기술적 구성은 본 발명이 속하는 기술분야의 당업자가 본 발명의 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.
그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 한정적인 것이 아닌 것으로서 이해되어야 한다.

Claims (3)

  1. 모노카메라(Mono camera)에 의해 촬영된 2차원 영상이미지와, 3차원 라이다(LiDAR)에 의해 측정된 지면데이터를 획득하는 로데이터 획득단계;
    상기 로데이터를 매칭시킨 후, 대상객체가 위치한 픽셀에 매칭된 좌표값에 의해 해당 객체까지의 거리를 추정하는 객체거리 추정단계;
    이동식 도면화 시스템에서 수집된 데이터를 이용하여, 딥러닝 기반으로 해당 객체의 표지정보를 확인하는 표지정보 확인단계; 및
    차량의 현재위치를 확인하는 차량위치 확인단계;를 포함하고,
    상기 로데이터 획득단계는,
    촬영된 영상 이미지 중 지면부분만 대상영역으로 추출하고,
    상기 객체거리 추정단계는,
    상기 지면부분에 대한 2차원 픽셀과 라이다에 의해 측정된 지면데이터를 매칭하며,
    상기 차량위치 확인단계는,
    모노카메라를 이용하여 특정 방향의 2차원 영상이미지인 2차원이미지를 획득하고 2차원이미지에 포함된 자율주행용 객체를 확인하며, 차량으로부터 해당 자율주행용 객체까지의 방향 및 거리를 추정하고, 자율주행용 객체를 기준으로 차량의 상대적 위치를 추정하여 차량의 현재위치를 추정하는 것을 특징으로 하는 이동식 도면화 시스템 및 모노카메라를 이용한 도로 표지 정보 수집 방법.
  2. 제 1항에 있어서,
    상기 로데이터 획득단계는,
    상기 모노카메라에 의해 영상을 촬영하는 영상촬영과정; 및
    촬영된 영상에 대하여, 상기 모노카메라의 렌즈에 의한 왜곡을 보정하는 렌즈왜곡 보정과정;을 포함하는 이동식 도면화 시스템 및 모노카메라를 이용한 도로 표지 정보 수집 방법.
  3. 제 1항에 있어서,
    상기 객체거리 추정단계는,
    상기 영상이미지와 지면데이터를 중첩시키는 데이터 중첩과정;
    상기 지면데이터와 중첩되는 픽셀의 경우, 해당 지면데이터를 해당 픽셀의 라이다좌표값으로 설정하는 직접매칭과정; 및
    상기 지면데이터와 중첩되지 않는 픽셀의 경우, 상기 지면데이터로부터 선형보간법을 이용하여 추정하여 라이다좌표값을 설정하는 확장매칭과정;을 포함하는 것을 특징으로 하는 이동식 도면화 시스템 및 모노카메라를 이용한 도로 표지 정보 수집 방법.
KR1020190076922A 2019-06-27 2019-06-27 이동식 도면화 시스템 및 모노카메라를 이용한 도로 표지 정보 수집 방법 KR102195040B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190076922A KR102195040B1 (ko) 2019-06-27 2019-06-27 이동식 도면화 시스템 및 모노카메라를 이용한 도로 표지 정보 수집 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190076922A KR102195040B1 (ko) 2019-06-27 2019-06-27 이동식 도면화 시스템 및 모노카메라를 이용한 도로 표지 정보 수집 방법

Publications (1)

Publication Number Publication Date
KR102195040B1 true KR102195040B1 (ko) 2020-12-28

Family

ID=74086924

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190076922A KR102195040B1 (ko) 2019-06-27 2019-06-27 이동식 도면화 시스템 및 모노카메라를 이용한 도로 표지 정보 수집 방법

Country Status (1)

Country Link
KR (1) KR102195040B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102336523B1 (ko) * 2021-04-27 2021-12-08 주식회사 모빌테크 점군 데이터를 이용하여 맵 정보를 향상 시키는 지도 제작 시스템
GB2601837A (en) * 2020-12-10 2022-06-15 Motional Ad Llc Merging LIDAR information and camera information

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100859001B1 (ko) * 2007-03-26 2008-09-18 주식회사 아이닉스 영상 왜곡 보정방법 및 보정장치
KR20100111543A (ko) * 2009-04-07 2010-10-15 주식회사 만도 차량 인식 방법 및 장치
KR20140004413A (ko) * 2012-07-02 2014-01-13 현대모비스 주식회사 안전운전 지원 장치 및 방법
KR101765746B1 (ko) 2015-09-25 2017-08-08 서울대학교산학협력단 다중 저가형 gps를 이용한 농업용 무인 트랙터의 자율주행용 위치 추정방법 및 시스템
KR20180019309A (ko) 2016-08-16 2018-02-26 삼성전자주식회사 스테레오 카메라 기반의 자율 주행 방법 및 그 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100859001B1 (ko) * 2007-03-26 2008-09-18 주식회사 아이닉스 영상 왜곡 보정방법 및 보정장치
KR20100111543A (ko) * 2009-04-07 2010-10-15 주식회사 만도 차량 인식 방법 및 장치
KR20140004413A (ko) * 2012-07-02 2014-01-13 현대모비스 주식회사 안전운전 지원 장치 및 방법
KR101765746B1 (ko) 2015-09-25 2017-08-08 서울대학교산학협력단 다중 저가형 gps를 이용한 농업용 무인 트랙터의 자율주행용 위치 추정방법 및 시스템
KR20180019309A (ko) 2016-08-16 2018-02-26 삼성전자주식회사 스테레오 카메라 기반의 자율 주행 방법 및 그 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2601837A (en) * 2020-12-10 2022-06-15 Motional Ad Llc Merging LIDAR information and camera information
KR102336523B1 (ko) * 2021-04-27 2021-12-08 주식회사 모빌테크 점군 데이터를 이용하여 맵 정보를 향상 시키는 지도 제작 시스템

Similar Documents

Publication Publication Date Title
CA3028653C (en) Methods and systems for color point cloud generation
KR102249769B1 (ko) 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법
EP3332218B1 (en) Methods and systems for generating and using localisation reference data
US11915099B2 (en) Information processing method, information processing apparatus, and recording medium for selecting sensing data serving as learning data
US9846812B2 (en) Image recognition system for a vehicle and corresponding method
KR102103944B1 (ko) 모노카메라를 이용한 자율주행 차량의 거리 및 위치 추정 방법
CN108692719B (zh) 物体检测装置
US8059887B2 (en) System and method for providing mobile range sensing
JP2018124787A (ja) 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム
JP6552448B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
US10872246B2 (en) Vehicle lane detection system
US10996337B2 (en) Systems and methods for constructing a high-definition map based on landmarks
WO2019208101A1 (ja) 位置推定装置
WO2018142533A1 (ja) 位置姿勢推定装置および位置姿勢推定方法
US20230138487A1 (en) An Environment Model Using Cross-Sensor Feature Point Referencing
CN111353453B (zh) 用于车辆的障碍物检测方法和装置
KR102195040B1 (ko) 이동식 도면화 시스템 및 모노카메라를 이용한 도로 표지 정보 수집 방법
WO2022133986A1 (en) Accuracy estimation method and system
US20230421739A1 (en) Robust Stereo Camera Image Processing Method and System
EP4345750A1 (en) Position estimation system, position estimation method, and program
AU2018102199A4 (en) Methods and systems for color point cloud generation
EP3742329A1 (en) Lane tracking in three dimensions using digital terrain model

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant