KR101706455B1 - 도로표지판 검출 기반 주행 차로 추정 방법 및 장치 - Google Patents

도로표지판 검출 기반 주행 차로 추정 방법 및 장치 Download PDF

Info

Publication number
KR101706455B1
KR101706455B1 KR1020150085351A KR20150085351A KR101706455B1 KR 101706455 B1 KR101706455 B1 KR 101706455B1 KR 1020150085351 A KR1020150085351 A KR 1020150085351A KR 20150085351 A KR20150085351 A KR 20150085351A KR 101706455 B1 KR101706455 B1 KR 101706455B1
Authority
KR
South Korea
Prior art keywords
road sign
camera
area
end point
actual road
Prior art date
Application number
KR1020150085351A
Other languages
English (en)
Other versions
KR20160123203A (ko
Inventor
정호기
서재규
조계환
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Publication of KR20160123203A publication Critical patent/KR20160123203A/ko
Application granted granted Critical
Publication of KR101706455B1 publication Critical patent/KR101706455B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G06K9/00791—
    • G06K9/00798—

Abstract

본 발명은 도로표지판 검출 기반 주행 차로 추정 방법 및 장치를 개시한다. 본 발명의 일 실시예에 따르면, 카메라로부터 취득된 영상의 미리 설정된 관심영역 내에서 도로표지판 후보영역을 추출하는 단계; 상기 추출된 도로표지판 후보 영역에 대한 검증을 통해 실제 도로표지판 영역을 결정하는 단계; 상기 결정된 실제 도로표지판 영역이 좌측 또는 우측 방향인지 여부를 결정하는 단계; 상기 결정된 방향에 대해 상기 실제 도로표지판 영역의 하단 끝점의 3차원 위치를 계산하는 단계; 및 상기 계산된 하단 끝점의 3차원 위치를 이용하여 진행 중인 차로의 위치를 추정하는 단계를 포함하는 주행 차로 추정 방법이 제공된다.

Description

도로표지판 검출 기반 주행 차로 추정 방법 및 장치{Road sign detection-based driving lane estimation method and apparatus}
본 발명은 도로표지판 검출 기반 주행 차로 추정 방법 및 장치에 관한 것이다.
첨단운전자보조시스템 및 자율주행을 위해서는 자차의 위치를 정확히 추정하는 것이 필수적이다. 특히, 자차가 주행하고 있는 차로를 정확히 알아내는 것은 정확한 길안내, 정밀한 교통 상황 분석, 통신을 통한 전방 상황 경고 등의 다양한 응용에 사용될 수 있기 때문에 매우 중요한 기술이다.
GPS 등의 위성항법 기반 방식은 고층 건물, 지하 차도 등이 빈번한 도심지역에서는 오차가 수십 미터까지 발생하기 때문에 주행차로를 알아내는 용도로는 적합하지 않다.
그리고 IMU 등의 관성 항법 기반 방식은 차량의 운동을 계속적으로 누적하는 방식을 사용하기 때문에 시간이 흐름에 따라 위치 오차가 지속적으로 증가한다는 한계를 갖는다.
정밀지도를 사용하는 방법은 고가의 장비로 미리 생성해 놓은 대용량의 정밀지도가 반드시 필요하고, 노면 표시가 타차에 의해 가려지는 경우에는 사용하기 어렵다는 한계를 갖는다.
상기한 종래기술의 문제점을 해결하기 위해, 본 발명은 전파항법, 관성 항법, 정밀지도 기반 방식의 한계점을 해결할 수 있는 도로표지판 검출 기반 주행 차로 추정 방법 및 장치를 제안하고자 한다.
상기 목적을 달성하기 위해 본 발명의 일 실시예에 따르면, 카메라로부터 취득된 영상의 미리 설정된 관심영역 내에서 도로표지판 후보 영역을 추출하는 단계; 상기 추출된 도로표지판 후보 영역에 대한 검증을 통해 실제 도로표지판 영역을 결정하는 단계; 상기 결정된 실제 도로표지판 영역이 좌측 또는 우측 방향인지 여부를 결정하는 단계; 상기 결정된 방향에 대해 상기 실제 도로표지판 영역의 하단 끝점의 3차원 위치를 계산하는 단계; 및 상기 계산된 하단 끝점의 3차원 위치를 이용하여 진행 중인 차로의 위치를 추정하는 단계를 포함하는 주행 차로 추정 방법이 제공된다.
상기 차로의 위치를 추정하는 단계는, 상기 계산된 하단 끝점의 3차원 위치를 차도의 끝 위치로 근사화하는 단계; 및 상기 카메라와 상기 하단 끝점까지의 횡방향 거리를 표준 차로 폭으로 나누는 단계를 포함할 수 있다.
상기 실제 도로표지판 영역을 결정하는 단계는, 상기 도로표지판 후보 영역의 밝기 및 색상 정보를 사용하여 상기 도로표지판 후보 영역의 특성을 기술해주는 특징을 추출하는 단계; 및 상기 추출된 특징을 이용하여 상기 도로표지판 후보 영역이 상기 실제 도로표지판 영역인지 여부를 결정하는 단계를 포함할 수 있다.
상기 하단 끝점은, 상기 실제 도로표지판 영역이 우측 방향이면 우하단 끝점이며, 상기 실제 도로표지판 영역이 좌측 방향이면 좌하단 끝점일 수 있다.
상기 하단 끝점의 3차원 위치를 계산하는 단계는, 설치 규정에 따른 도로표지판의 지면으로부터의 높이, 상기 카메라의 지면으로부터의 높이, 픽셀 단위의 초점 거리, 상기 카메라의 주점의 세로 좌표 및 상기 영상에 포함된 상기 실제 도로표지판 영역의 하단 끝점의 세로 좌표 중 적어도 하나를 이용하여 상기 카메라와 상기 실제 도로표지판 영역까지의 거리를 계산하는 단계; 및 상기 카메라와 상기 실제 도로표지판 영역까지의 거리, 상기 영상에 포함된 상기 실제 도로표지판 영역의 하단 끝점의 가로 좌표, 상기 카메라 주점의 가로 좌표 및 상기 픽셀 단위의 초점 거리 중 적어도 하나를 이용하여 상기 실제 도로표지판 영역의 하단 끝점으로부터 상기 카메라가 부착된 자차까지의 횡방향 거리를 계산하는 단계를 포함할 수 있다.
상기 관심영역은 카메라의 설치 상태를 나타내는 카메라 외부 변수와 설치 규정에 의한 도로표지판의 설치 높이 정보를 이용하여 설정될 수 있다.
본 발명의 다른 측면에 따르면, 카메라로부터 취득된 영상에서 도로표지판 영역을 추출하는 단계; 상기 추출된 도로표지판 영역이 좌측 또는 우측 방향인지 여부를 결정하는 단계; 상기 결정된 방향, 카메라와 상기 도로표지판과의 거리 및 도로표지판 설치 규정을 이용하여 상기 도로표지판 영역의 하단 끝점의 3차원 위치를 계산하는 단계; 및 상기 계산된 하단 끝점의 3차원 위치를 이용하여 진행 중인 차로의 위치를 추정하는 단계를 포함하는 주행 차로 추정 방법이 제공된다.
본 발명의 또 다른 측면에 따르면, 상기한 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체가 제공된다.
본 발명의 또 다른 측면에 따르면, 주행 차로 추정 장치로서, 프로세서; 및 상기 프로세서에 연결된 메모리를 포함하며, 상기 메모리는, 카메라로부터 취득된 영상의 미리 설정된 관심영역 내에서 도로표지판 후보 영역을 추출하고, 상기 추출된 도로표지판 후보 영역에 대한 검증을 통해 도로표지판 영역을 결정하고, 상기 결정된 도로표지판 영역이 좌측 또는 우측 방향인지 여부를 결정하고, 상기 결정된 방향에 대해 하단 끝점의 3차원 위치를 계산하고, 상기 계산된 하단 끝점의 3차원 위치를 이용하여 진행 중인 차로의 위치를 추정하도록 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 주행 차로 추정 장치가 제공된다.
본 발명에 따르면, 혼잡한 도심지역에서 자차의 주행 차로를 인식할 수 있게 됨으로 다음과 같은 효과들이 발생할 것으로 기대된다.
첫째, 내비게이션 측면에서는 현재 주행 차로 정보와 목적지까지의 경로를 기반으로 보다 정확하고 편리한 길 안내를 수행할 수 있다. 예를 들어 전방에서 우회전을 해야 하는 상황에서 자차가 1차선에 있는 경우 빠른 시점에 차선을 변경하도록 유도할 수 있다.
둘째, 첨단운전지원시스템과 자율주행 측면에서는 주행 차로 정보를 기반으로 파악된 사전 정보를 사용하여 효율적인 주변 환경 인식 및 차량 제어 지원을 수행할 수 있다. 즉, 주행 차로 상황에 따라 존재할 수 있는 장애물의 종류가 달라짐으로 이러한 사전 정보를 기반으로 인식할 대상을 선택할 수 있으며, 차로에 따라 자차의 운동이 달라짐으로 이를 기반으로 제어를 효율화할 수 있다.
셋째, 지능형교통시스템 측면에서는 개별 차량에서 취합한 정보를 사용하여 도로 상황을 분석할 때 도로 수준이 아닌 차로 수준으로 실시할 수 있게 되어 보다 정밀한 분석이 가능해진다.
넷째, 차량 간 통신 측면에서는 전방에 상황의 정밀한 위치 정보를 전달할 수 있게 되어 효율적인 정보 공유가 가능해진다. 예를 들어 2차선에서 사고가 발생한 경우 해당 차선에 존재하는 차량과 다른 차선에 존재하는 차량에게 다른 수준의 경고를 제공할 수 있게 된다.
도 1은 본 발명의 바람직한 일 실시예에 따른 주행 차로 추정 과정의 순서도이다.
도 2는 본 실시예에 따른 전반 주행 환경 촬영 영상을 나타낸 도면이다.
도 3은 본 실시예에 따른 도로표지판 인식을 위한 관심영역의 일예를 나타낸 도면이다.
도 4는 본 실시예에 따른 도로표지판 후보 영역을 추출한 결과를 나타낸 도면이다.
도 5는 본 실시예에 따른 도로표지판 후보 영역 검증을 통해 도로표지판이 확실하다고 검증된 결과의 예를 나타낸다.
도 6은 도로표지판의 좌/우 위치를 분류한 결과의 예를 보여준다.
도 7의 본 실시예에 따른 파란색 원들은 도로표지판 하단 끝점 검출 결과의 예를 보여준다.
도 8은 도로표지판의 구조를 나타낸 도면이다.
도 9는 카메라와 도로표지판의 측면도를 나타낸 도면이다.
도 10의 (a)는 도로표지판과 카메라를 하늘에서 바라본 조감도이고, 도 10의 (b)은 좌측 그림에 점선으로 표시된 삼각형을 자세히 표시한 것이다.
도 11은 제안된 방법으로 차로 추정을 수행한 결과를 보여준다.
도 12는 본 발명의 바람직한 일 실시예에 따른 주행 차로 추정 장치를 도시한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
본 발명에서는 도심지역에 빈번하게 존재하는 도로표지판을 기반으로 자차가 주행하고 있는 차로를 추정하는 방법 및 장치를 제안한다.
구체적으로는 카메라를 사용하여 전방 주행 환경을 촬영하고 컴퓨터비전 및 패턴인식 기술을 사용하여 도로표지판을 검출하여 표지판의 위치를 인식한다. 그 후, 교통 법규에 의해 정해진 표지판의 설치 정보를 활용하여 도로표지판의 3차원 위치를 계산함으로써 도로 끝으로부터 카메라까지의 거리를 추정하게 된다. 마지막으로 추정된 자차의 횡방향 위치를 표준 차로 폭으로 나눠줌으로써 자차가 주행하고 있는 차로를 추정한다.
제안된 방법은 전파항법과 다르게 도로표지판이 존재하는 상황에서는 고층 빌딩 및 고가도로 유무와 관계없이 동작할 수 있고, 관성 항법과 다르게 시간에 따라 오차가 누적되는 한계도 갖지 않으며, 정밀지도 기반 방식에 비해 대용량의 정밀지도가 전혀 필요하지 않는다는 장점을 갖는다. 또한, 도로표지판은 노면표시와 다르게 공중에 존재하므로 전방에 차량이 존재하는 상황에서도 대부분은 전방 카메라에 촬영된다는 특징이 있다.
이와 같은 장점들로 인하여 본 발명은 기존에 기 장착되어 있는 차선유지용 전방 카메라 혹은 블랙박스 카메라에 쉽게 적용이 가능하다.
도 1은 본 발명의 바람직한 일 실시예에 따른 주행 차로 추정 과정의 순서도이다.
도 1에 도시된 과정은 차선유지용 전방 카메라 또는 블랙박스 카메라에 연결되며, 프로세서 및 메모리를 갖는 컴퓨팅 장치(주행 차로 추정 장치)에서 수행될 수 있다.
도 1을 참조하면, 본 실시예에 따른 장치는 카메라에서 촬영된 영상을 취득한다(단계 100).
도 2는 본 실시예에 따른 전반 주행 환경 촬영 영상을 나타낸 도면이다.
이후, 촬영된 영상의 미리 설정된 관심영역 내에서 도로표지판 후보를 추출한다(단계 102).
관심영역은 카메라의 설치 상태를 나타내는 카메라 외부 변수와 설치 규정에 의한 도로표지판의 설치 높이 정보를 이용하여 설정될 수 있다.
도 3은 본 실시예에 따른 도로표지판 인식을 위한 관심영역의 일예를 나타낸 도면이며, 도로표지판이 위치할 수 있는 영역이 관심영역(300)으로 설정된 예를 나타낸 것이다.
도로표지판 후보 추출은 Viola-Jones, HOG-SVM(Histogram of Oriented Gradient-Support Vector Machine) 등과 같은 특징을 학습하여 사용하는 기법, chamfer matching 등과 같은 template을 사용하여 유사도를 측정하는 기법, 색상 정보를 사용하는 기법 등의 다양한 방식이 이용될 수 있다.
도 4는 본 실시예에 따른 도로표지판 후보 영역을 추출한 결과를 나타낸 도면이다.
도 4에 도시된 바와 같이, 관심영역 내에서 복수의 도로표지판 후보 영역(400)이 추출될 수 있다.
도로표지판 후보 영역 추출 방법은 정답을 포함하면서 최대한 적은 오검출이 발생하도록 설계된다.
다음으로 도로표지판 후보 영역 검증 과정이 수행된다(단계 104).
추출된 도로표지판 후보 영역들은 오검출을 포함하고 있기 때문에 이들의 진위 여부를 한 번 더 판단해 주는 도로표지판 후보 영역 검증 과정을 거치게 된다.
이러한 후보 검증 과정을 통해 실제 도로표지판 영역이 결정된다.
도로표지판 후보 검증 과정은 특징 추출 단계와 분류 단계로 구성된다.
특징 추출 단계에서는 후보 영역의 밝기 및 색상 정보를 사용하여 해당 영역의 특성을 기술해주는 특징을 추출하며, 이 단계에는 HOG, LBP(Local binary pattern) 등의 다양한 특징 추출 방법이 사용될 수 있다.
분류 단계에서는 후보 영역이 도로표지판인지 여부를 판단하는 작업을 수행하며, 이 단계에는 SVM, Neural network 등의 다양한 분류 방법들이 사용될 수 있다.
도 5는 본 실시예에 따른 도로표지판 후보 영역 검증을 통해 도로표지판이 확실하다고 검증된 결과의 예를 나타낸다.
다음으로, 도로표지판 좌/우 위치 분류 과정이 수행된다(단계 106).
차도를 향한 끝 부분을 검출하기 위해서는 인식된 도로표지판이 도로 좌측에 설치된 것인지 우측에 설치된 것인지를 인식해야 한다.
좌측에 설치된 경우에는 좌하단 끝점의 위치를, 우측에 설치된 경우에는 우하단 끝점의 위치를 검출해야 하기 때문이다.
하지만 인식된 도로표지판 영역 내부의 정보는 해당 도로표지판의 설치 위치에 대한 정보를 포함하지 않는다.
따라서 인식된 도로표지판 영역 내부만이 아니라 외부 영역도 포함시켜 도로표지판 영역의 좌/우 설치 위치를 인식하게 된다. 예를 들어, 도로표지판 영역의 폭과 높이를 20%씩 크게 한 영역의 영상을 사용한다. 도로표지판 외부 영역은 표지판이 설치된 구조물 등의 정보를 포함하기 때문에 좌/우 설치 위치를 인식하는데 중요한 정보를 제공한다.
이 단계에서도 도로표지판 후보 검증 단계에서 설명하였던 다양한 특징 추출 방법들과 특징 분류 방법들이 사용될 수 있다. 도 6은 도로표지판의 좌/우 위치를 분류한 결과의 예를 보여준다.
도로표지판 좌/우 위치 분류 과정 이후, 도로표지판 영역의 하단 끝점을 검출한다(단계 108).
도로표지판의 차도를 향한 끝 부분은 하단 끝점을 의미한다.
좌측에 위치한 표지판의 경우 좌 하단 끝점을 검출하고, 우측에 위치한 표지판의 경우 우 하단 끝점을 검출한다.
해당 위치를 검출하기 위해서는 에지(edge) 검출 결과에 Hough transform, RANSAC 등의 직선 추정 방법을 적용하여 직선 검출 결과를 조합하는 방식, L 형태의 template을 사용하여 chamfer matching으로 유사도를 판단하는 방식 등의 다양한 접근법이 사용될 수 있다.
도 7의 본 실시예에 따른 파란색 원들은 도로표지판 하단 끝점 검출 결과의 예를 보여준다.
도심에 설치된 도로표지판은 대부분 도 8과 같은 편지식과 현수식이며, 이들의 높이는 규정에 의해 도로면으로부터 500cm로 고정되어 있다. 본 발명에서는 이와 같은 사전 정보를 사용하여 표지판 하단 끝점의 3차원 위치를 계산한다.
도 9는 카메라와 도로표지판의 측면도를 나타낸 도면이다.
도 9의 (a)는 도로표지판과 자차에 부착된 카메라를 측면에서 바라본 도면이다. 여기에서 카메라의 광축이 지면과 평행하다는 가정을 사용한다. 만일 광축과 지면이 평행하지 않은 경우에는 카메라 외부 변수를 활용해서 평행하게 변경할 수 있다.
도 9에서 Hp는 표지판의 높이, Hc는 카메라의 높이, Z는 카메라에서 표지판까지의 종방향 거리를 나타낸다.
도 9의 (b)는 (a)의 점선으로 표시된 삼각형을 자세히 표시한 것이다.
도 9의 (b)에서 v는 영상에 촬영된 표지판 하단 끝점의 세로 좌표를 의미하고, ov는 카메라 주점(pricipal point)의 세로 좌표를 의미하며, f는 픽셀 단위의 초점거리를 의미한다.
도 9의 (b)에서 Hp는 규정에 의해 500cm로 고정되고, Hc, ov, f는 카메라 칼리브레이션 과정을 통해 미리 측정 가능하며, v는 앞서 설명한 방법으로 도로표지판의 하단 끝점을 검출하여 알 수 있다. 따라서 카메라로부터 도로표지판까지의 거리 Z는 하단의 수식으로 계산 가능하다.
Figure 112015058199710-pat00001
도 10의 (a)는 도로표지판과 카메라를 하늘에서 바라본 조감도이다.
도 10의 (a)에서 X는 카메라에서 도로표지판 하단 끝점까지의 횡방향 거리를 나타낸다.
도 10의 (b)은 좌측 그림에 점선으로 표시된 삼각형을 자세히 표시한 것이다. 도 10의 (b)에서 u는 영상에 촬영된 도로표지판 하단 끝점의 가로 좌표를 의미하고, ou는 카메라 주점의 가로 좌표를 의미한다. 따라서 도로표지판 끝점으로부터 카메라가 부착된 자차까지의 횡방향 거리는 아래의 수식으로 계산할 수 있게 된다.
Figure 112015058199710-pat00002
이와 같은 과정을 통해 도로표지판 하단 끝점의 3차원 위치를 추정할 수 있게 된다.
하단 끝점의 3차원 위치를 추정한 이후, 주행 차로 추정 과정이 수행된다(단계 110)
도로표지판 끝점은 규정에 의해 도 8과 같이 차도 끝에서 10~20cm 이내에 설치되도록 강제된다.
따라서 도로표지판 끝점의 위치를 차도의 끝 위치로 근사화할 수 있다. 이를 근거로 카메라와 도로표지판 끝점까지의 횡방향 거리를 표준 차로 폭으로 나눠줌으로써 자차가 진행 중인 차로의 위치를 추정할 수 있게 된다.
예를 들어 카메라가 차량 중앙에 설치되어 있는 상황에서 카메라와 도로표지판 끝점까지의 횡방향 거리가 7m로 측정되었고 표준 차로 폭이 3m라면, 차량의 위치는 7/3의 올림인 3차로가 된다.
도 11은 제안된 방법으로 차로 추정을 수행한 결과를 보여준다. 상단의 예에서는 카메라와 차도 끝 위치까지의 거리가 10.2m로 추정되었으며, 이를 기준으로 좌측으로부터 4차선으로 주행 차선이 인식되었다. 하단의 예에서는 카메라와 차도 끝 위치까지의 거리가 4.1m로 추정되었으며, 이를 기준으로 현재 차선이 우측 차로변으로부터 2차선 정도 떨어져 있음이 인식되었다.
도 12는 본 발명의 바람직한 일 실시예에 따른 주행 차로 추정 장치를 도시한 도면이다.
도 12에 도시된 바와 같이, 본 실시예에 따른 장치는 프로세서(1200) 및 메모리(1202)를 포함할 수 있다.
여기서, 프로세서(1200)는 컴퓨터 프로그램을 실행할 수 있는 CPU(central processing unit)나 그밖에 가상 머신 등을 포함할 수 있다.
메모리(1202)는 고정식 하드 드라이브나 착탈식 저장 장치와 같은 불휘발성 저장 장치를 포함할 수 있다. 착탈식 저장 장치는 컴팩트 플래시 유닛, USB 메모리 스틱 등을 포함할 수 있다. 메모리(1202)는 각종 랜덤 액세스 메모리와 같은 휘발성 메모리도 포함할 수 있다.
이와 같은 메모리(1202)에는 프로세서(200)에 의해 실행 가능한 프로그램 명령어들이 저장된다.
본 발명의 바람직한 일 실시예에 따르면, 메모리(1202)에는 카메라로부터 취득된 영상의 미리 설정된 관심영역 내에서 도로표지판 후보를 추출하고, 추출된 후보에 대한 검증을 통해 도로표지판 영역을 결정하고, 결정된 도로표지판 영역이 좌측 또는 우측 방향인지 여부를 결정하고, 결정된 방향에 대해 하단 끝점의 3차원 위치를 계산하고, 계산된 하단 끝점의 3차원 위치를 차도의 끝 위치로 근사화하고, 카메라와 도로표지판의 끝점까지의 횡방향 거리를 표준 차로 폭으로 나누어 진행 중인 차로의 위치를 추정하도록 프로세서(1200)에 의해 실행되는 프로그램의 명령어들이 저장된다.
본 발명은 GPS, IMU를 사용하는 기존 방법의 한계를 극복할 수 있으며, 차로 추정을 위해 정밀 지도를 사용하지 않아도 된다는 실용적 측면의 장점을 갖는다. 또한, 기존의 GPS, IMU, 정밀지도를 사용하는 방법과 융합하여 사용될 수도 있다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (11)

  1. 카메라로부터 취득된 영상의 미리 설정된 관심영역 내에서 도로표지판 후보 영역을 추출하는 단계;
    상기 추출된 도로표지판 후보 영역에 대한 검증을 통해 실제 도로표지판 영역을 결정하는 단계;
    상기 결정된 실제 도로표지판 영역이 좌측 또는 우측 방향인지 여부를 결정하는 단계;
    상기 결정된 방향에 대해 상기 실제 도로표지판 영역의 하단 끝점의 3차원 위치를 계산하는 단계; 및
    상기 계산된 하단 끝점의 3차원 위치를 이용하여 진행 중인 차로의 위치를 추정하는 단계를 포함하되,
    상기 하단 끝점의 3차원 위치를 계산하는 단계는,
    설치 규정에 따른 도로표지판의 지면으로부터의 높이, 상기 카메라의 지면으로부터의 높이, 픽셀 단위의 초점 거리, 상기 카메라의 주점의 세로 좌표 및 상기 영상에 포함된 상기 실제 도로표지판 영역의 하단 끝점의 세로 좌표 중 적어도 하나를 이용하여 상기 카메라와 상기 실제 도로표지판 영역까지의 거리를 계산하는 단계; 및
    상기 카메라와 상기 실제 도로표지판 영역까지의 거리, 상기 영상에 포함된 상기 실제 도로표지판 영역의 하단 끝점의 가로 좌표, 상기 카메라 주점의 가로 좌표 및 상기 픽셀 단위의 초점 거리 중 적어도 하나를 이용하여 상기 실제 도로표지판 영역의 하단 끝점으로부터 상기 카메라가 부착된 자차까지의 횡방향 거리를 계산하는 단계를 포함하고,
    상기 차로의 위치를 추정하는 단계는,
    상기 계산된 하단 끝점의 3차원 위치를 차도의 끝 위치로 근사화하는 단계; 및
    상기 카메라와 상기 하단 끝점까지의 횡방향 거리를 표준 차로 폭으로 나누는 단계를 포함하되,
    상기 하단 끝점은,
    상기 실제 도로표지판 영역이 우측 방향이면 우하단 끝점이며,
    상기 실제 도로표지판 영역이 좌측 방향이면 좌하단 끝점인 주행 차로 추정 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 실제 도로표지판 영역을 결정하는 단계는,
    상기 도로표지판 후보 영역의 밝기 및 색상 정보를 사용하여 상기 도로표지판 후보 영역의 특성을 기술해주는 특징을 추출하는 단계; 및
    상기 추출된 특징을 이용하여 상기 도로표지판 후보 영역이 상기 실제 도로표지판 영역인지 여부를 결정하는 단계를 포함하는 주행 차로 추정 방법.
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 관심영역은 카메라의 설치 상태를 나타내는 카메라 외부 변수와 설치 규정에 의한 도로표지판의 설치 높이 정보를 이용하여 설정되는 주행 차로 추정 방법.
  7. 삭제
  8. 제1항에 따른 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체.
  9. 주행 차로 추정 장치로서,
    프로세서; 및
    상기 프로세서에 연결된 메모리를 포함하며,
    상기 메모리는,
    카메라로부터 취득된 영상의 미리 설정된 관심영역 내에서 도로표지판 후보 영역을 추출하고,
    상기 추출된 도로표지판 후보 영역에 대한 검증을 통해 실제 도로표지판 영역을 결정하고,
    상기 결정된 실제 도로표지판 영역이 좌측 또는 우측 방향인지 여부를 결정하고,
    상기 결정된 방향에 대해 하단 끝점의 3차원 위치 계산을 위해, 설치 규정에 따른 도로표지판의 지면으로부터의 높이, 상기 카메라의 지면으로부터의 높이, 픽셀 단위의 초점 거리, 상기 카메라의 주점의 세로 좌표 및 상기 영상에 포함된 상기 실제 도로표지판 영역의 하단 끝점의 세로 좌표 중 적어도 하나를 이용하여 상기 카메라와 상기 결정된 도로표지판 영역까지의 거리를 계산하고,
    상기 카메라와 상기 실제 도로표지판 영역까지의 거리, 상기 영상에 포함된 상기 실제 도로표지판 영역의 하단 끝점의 가로 좌표, 상기 카메라 주점의 가로 좌표 및 상기 픽셀 단위의 초점 거리 중 적어도 하나를 이용하여 상기 실제 도로표지판 영역의 하단 끝점으로부터 상기 카메라가 부착된 자차까지의 횡방향 거리를 계산하고,
    상기 계산된 하단 끝점의 3차원 위치를 차도의 끝 위치로 근사화하고,
    상기 카메라와 상기 하단 끝점까지의 횡방향 거리를 표준 차로 폭으로 나누어 진행 중인 차로의 위치를 추정하도록 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하고,
    상기 하단 끝점은 상기 실제 도로표지판 영역이 우측 방향이면 우하단 끝점이며, 상기 실제 도로표지판 영역이 좌측 방향이면 좌하단 끝점인 주행 차로 추정 장치.







  10. 삭제
  11. 삭제
KR1020150085351A 2015-04-15 2015-06-16 도로표지판 검출 기반 주행 차로 추정 방법 및 장치 KR101706455B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20150053234 2015-04-15
KR1020150053234 2015-04-15

Publications (2)

Publication Number Publication Date
KR20160123203A KR20160123203A (ko) 2016-10-25
KR101706455B1 true KR101706455B1 (ko) 2017-02-27

Family

ID=57446299

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150085351A KR101706455B1 (ko) 2015-04-15 2015-06-16 도로표지판 검출 기반 주행 차로 추정 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101706455B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109144097B (zh) * 2018-08-15 2021-04-06 广州极飞科技有限公司 障碍物或地面识别及飞行控制方法、装置、设备及介质
KR102249100B1 (ko) * 2019-12-10 2021-05-06 한국교통대학교산학협력단 차량 측위 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006010328A (ja) * 2004-06-22 2006-01-12 Equos Research Co Ltd 車両位置特定装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101405193B1 (ko) * 2012-10-26 2014-06-27 현대자동차 주식회사 차로 인식 방법 및 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006010328A (ja) * 2004-06-22 2006-01-12 Equos Research Co Ltd 車両位置特定装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
한국자동차공학회논문집, V.22 NO.3, PP.50-59*

Also Published As

Publication number Publication date
KR20160123203A (ko) 2016-10-25

Similar Documents

Publication Publication Date Title
CN107843267B (zh) 施工路段无人驾驶车辆的路径生成方法及装置
JP7349792B2 (ja) 車両走行のための情報を提供する方法
KR102595897B1 (ko) 차선 결정 방법 및 장치
US10118614B2 (en) Detailed map format for autonomous driving
US11670087B2 (en) Training data generating method for image processing, image processing method, and devices thereof
EP3581890A2 (en) Method and device for positioning
US7894632B2 (en) Apparatus and method of estimating center line of intersection
US9652980B2 (en) Enhanced clear path detection in the presence of traffic infrastructure indicator
CN111801711A (zh) 图像标注
JP5941091B2 (ja) 車線ベースの位置特定
KR102441075B1 (ko) 노면표시기반 차량의 위치추정 방법 및 장치
US11703344B2 (en) Landmark location estimation apparatus and method, and computer-readable recording medium storing computer program programmed to perform method
CN111091037A (zh) 用于确定驾驶信息的方法和设备
KR20210137893A (ko) 차량 위치 결정 방법 및 시스템
JP2023068010A (ja) 自己位置推定装置
Kühnl et al. Visual ego-vehicle lane assignment using spatial ray features
KR101706455B1 (ko) 도로표지판 검출 기반 주행 차로 추정 방법 및 장치
CN108154119B (zh) 基于自适应跟踪框分割的自动驾驶处理方法及装置
US20210048819A1 (en) Apparatus and method for determining junction
JP5888275B2 (ja) 道路端検出システム、方法およびプログラム
US20230221140A1 (en) Roadmap generation system and method of using
CN115597577A (zh) 车辆在停车设施中的自定位
JP6718025B2 (ja) 車両周辺の小物体領域を識別する装置及び方法
US20230186638A1 (en) Device for determining a topography of a vehicle environment, vehicle and method
KR102603877B1 (ko) 차량의 정밀 측위 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200102

Year of fee payment: 4