KR101558285B1 - 주행 차로 인식 장치 및 그것의 주행 차로 인식 방법 - Google Patents

주행 차로 인식 장치 및 그것의 주행 차로 인식 방법 Download PDF

Info

Publication number
KR101558285B1
KR101558285B1 KR1020140060406A KR20140060406A KR101558285B1 KR 101558285 B1 KR101558285 B1 KR 101558285B1 KR 1020140060406 A KR1020140060406 A KR 1020140060406A KR 20140060406 A KR20140060406 A KR 20140060406A KR 101558285 B1 KR101558285 B1 KR 101558285B1
Authority
KR
South Korea
Prior art keywords
vehicle
lane
driving lane
vector component
dimensional
Prior art date
Application number
KR1020140060406A
Other languages
English (en)
Inventor
박순용
최성인
최창원
백승해
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020140060406A priority Critical patent/KR101558285B1/ko
Application granted granted Critical
Publication of KR101558285B1 publication Critical patent/KR101558285B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0057—Frequency analysis, spectral techniques or transforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/06—Direction of travel
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60—Traffic rules, e.g. speed limits or right of way

Abstract

본 발명은 주행 차로 인식 장치에 관한 것이다. 주행 차로 인식 장치는 차량에 결합되고, 차량 주행 방향의 3차원 정보를 획득하는 3차원 센서, 3차원 정보로부터 도로의 측면에 위치한 교통 표지판을 추출하는 표지판 추출부, 교통 표지판의 위치를 검출하는 표지판 위치 검출부, 및 차량으로부터 검출된 교통 표지판의 위치로의 벡터 성분을 기준으로 차량이 주행 중인 주행 차로를 검출하는 주행 차로 검출부를 포함한다.

Description

주행 차로 인식 장치 및 그것의 주행 차로 인식 방법{DRIVING LANE RECOGNITION APPARATUS AND METHOD FOR RECOGNIZING DRIVING LANE THEREOF}
본 발명은 주행 시스템에 관한 것으로, 주행 중인 차량의 주행 차선 번호를 인식할 수 있는 주행 차로 인식 장치 및 그것의 주행 차로 인식 방법에 관한 것이다.
최근에는 차량에서 안전 주행과 자율 주행 등과 같은 차량 주행 기술의 발전을 위해 많은 연구 개발이 이루어지고 있다. 이와 같이, 안전 주행과 자율 주행을 위해 차량은 차량 주변의 다양한 정보를 필요로 한다.
이러한 정보들 중에서도 차량이 현재 주행하고 있는 주행 차로에 대한 정보는 안전 주행 또는 자율 주행을 위해서 매우 중요한 정보들 중 하나이다. 따라서, 주행 중인 차량의 주행 차로 정보 즉, 주행 차선의 차선 번호를 정확히 인식해야 할 필요성이 있었다.
본 발명의 목적은 차량의 주행 차선의 차선 번호를 인식할 수 있는 주행 차로 인식 장치 및 그것의 주행 차로 인식 방법을 제공함에 있다.
본 발명의 주행 차로 인식 장치는 차량에 결합되고, 차량 주행 방향의 3차원 정보를 획득하는 3차원 센서, 상기 3차원 정보로부터 도로의 측면에 위치한 교통 표지판을 추출하는 표지판 추출부, 상기 교통 표지판의 위치를 검출하는 표지판 위치 검출부, 및 상기 차량으로부터 상기 검출된 교통 표지판의 위치로의 벡터 성분을 기준으로 상기 차량이 주행 중인 주행 차로를 검출하는 주행 차로 검출부를 포함한다.
이 실시예에 있어서, 상기 3차원 센서는 스테레오 비전 카메라를 포함한다.
이 실시예에 있어서, 상기 주행 차로 검출부는 상기 벡터 성분으로부터 상기 차량의 위치를 기준으로 상기 주행 방향에 수직한 방향의 벡터 성분을 검출하고, 상기 검출된 벡터 성분으로부터 상기 차량과 끝차선 간의 거리 계산을 통해 상기 주행 차로를 검출한다.
이 실시예에 있어서, 벡터 성분은 도로의 평면을 기준으로 하는 2차원 벡터이다.
이 실시예에 있어서, 상기 주행 차로 검출부는 상기 차량과 끝차선 간의 거리를 차로폭으로 나누어 상기 주행 차로를 검출한다.
이 실시예에 있어서, 상기 주행 차로 검출부는 상기 수직한 벡터 성분으로부터 상기 끝차선과 교통 표지판과의 거리에 대응되는 벡터 성분을 제거하여 상기 차량과 끝차선 간의 거리를 계산한다.
이 실시예에 있어서, 상기 주행 차로 검출부는 상기 벡터 성분을 추출하기 위해 상기 3차원 정보인 3차원 영상을 2차원 영상으로 변환한다.
본 발명의 주행 차로 인식 장치의 주행 차로 인식 방법은 차량의 주행 방향에 대한 3차원 정보를 획득하는 단계, 상기 3차원 정보로부터 도로의 측면에 위치한 교통 표지판을 추출하는 단계, 상기 추출된 교통 표지판의 위치를 검출하는 단계, 상기 차량으로부터 상기 검출된 교통 표지판의 위치로의 벡터 성분을 검출하는 단계, 상기 벡터 성분을 기준으로 상기 차량이 주행 중인 주행 차로를 검출하는 단계를 포함한다.
이 실시예에 있어서, 벡터 성분은 도로의 평면을 기준으로 하는 2차원 벡터이다.
이 실시예에 있어서, 상기 주행 차로를 검출하는 단계는 상기 벡터 성분으로부터 상기 차량의 위치를 기준으로 상기 주행 방향에 수직한 방향의 벡터 성분을 검출하는 단계, 상기 검출된 벡터 성분으로부터 상기 차량과 끝차선 간의 거리 계산하는 단계, 및 상기 주행 차로 인식부는 상기 차량과 끝차선 간의 거리를 차로폭으로 나누어 상기 주행 차로을 검출하는 단계를 포함한다.
이 실시예에 있어서, 상기 주행 차로는 상기 수직한 벡터 성분으로부터 상기 끝차선과 교통 표지판과의 거리에 대응되는 벡터 성분을 제거하여 상기 차량과 끝차선 간의 거리에 의해 계산된다.
이 실시예에 있어서, 상기 주행 차로를 검출하는 단계는 상기 벡터 성분을 추출하기 위해 상기 3차원 정보인 3차원 영상을 2차원 영상으로 변환하는 단계를 포함한다.
본 발명의 주행 차로 인식 장치는 주행 중인 도로의 측면에 위치한 교통 표지판을 기준으로 주행 차선을 측정함에 따라 차량의 주행 차로를 인식할 수 있다.
도 1은 본 발명의 실시예에 따른 주행 차로 인식 장치가 장착된 차량을 예시적으로 도시한 도면,
도 2는 본 발명의 실시예에 따라 주행 차로 인식 장치를 도시한 도면,
도 3은 도 2의 주행 차로 인식 장치가 부착된 차량이 주행 중인 도로의 2차원 평면을 예시적으로 도시한 도면,
도 4는 도 2에 도시된 주행 차로 인식 장치의 동작을 예시적으로 도시한 순서도,
도 5는 도 2에 도시된 표지판 추출부를 예시적으로 도시한 도면,
도 6은 도 5에 도시된 이미지 추출부에서의 이미지 추출 동작을 예시적으로 도시한 도면,
도 7은 도 5에 도시된 컬러 이진화부에서 컬러 분할 동작을 예시적으로 도시한 도면,
도 8은 도 5에 도시된 템플릿 매칭부에서 관리하는 다양한 템플릿들을 예시적으로 도시한 도면,
도 9는 본 발명에 따른 교통 표지판을 추적하는 동작을 예시적으로 도시한 순서도,
도 10은 본 발명의 실시예에 따른 표지판 크기를 예측하는 동작을 예시적으로 도시한 도면, 및
도 11은 본 발명의 실시예에 따른 교통 표지판을 구분하여 검출하는 동작을 예시적으로 설명하기 위한 도면이다.
이하, 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기의 설명에서는 본 발명에 따른 동작을 이해하는데 필요한 부분만이 설명되며 그 이외 부분의 설명은 본 발명의 요지를 모호하지 않도록 하기 위해 생략될 것이라는 것을 유의하여야 한다.
도 1은 본 발명의 실시예에 따른 주행 차로 인식 장치가 장착된 차량을 예시적으로 도시한 도면이다.
도 1을 참조하면, 주행 차로 인식 장치(100)는 차량(101)에 부착된다. 이때, 차량(101)이 다섯 개의 차로들(1, 2, 3, 4, 5)로 구분된 도로를 주행 중에 있다. 중심차선(21)과 끝차선(25) 사이에 차로들(1, 2, 3, 4, 5)을 구분하기 위한 차선들(22, 23, 24, 25)이 위치한다.
주행 차로 인식 장치(100)는 차선의 위치를 파악하기 위해, 차량(101)의 전방을 스캔하는 3차원 센서를 포함한다. 예를 들어, 3차원 센서는 3차원 영상을 획득할 수 있는 스테레오 비전 카메라를 포함한다. 주행 차로 인식 장치(100)는 3차원 센서를 통해 획득된 정보의 분석을 통해 도로의 측면에 위치한 교통 표지판(10)의 3차원 위치를 측정할 수 있다.
이때, 주행 차로 인식 장치(100)는 교통 표지판(10)의 3차원 위치를 기준으로 현재 차량(101)이 주행 중인 차선을 인식할 수 있다. 교통 표지판(10)은 대부분 끝차선(25) 부근에 일정 간격으로 위치한다. 이를 이용하여 주행 차로 인식 장치(100)는 현재 주행 중인 세 번째 주행 차로(3)를 주행 중임을 출력할 수 있다.
도로의 좌측에 차량의 주행 방향인 Z축, 차량의 주행 방향을 기준으로 수직한 방향인 X축, Z축과 X축에 수직한 Y축이 도시되어 있다.
이와 같이, 본 발명의 주행 차로 인식 장치(100)는 기존의 차선 인식 장치들과 달리 고정된 위치에 존재하는 교통 표지판(10)을 기준으로 현재 주행 중인 주행 차로를 인식할 수 있다.
도 2는 본 발명의 실시예에 따라 주행 차로 인식 장치를 도시한 도면이다.
도 2를 참조하면, 주행 차로 인식 장치(100)는 3차원 센서(110), 표지판 추출부(120), 표지판 위치 검출부(130), 주행 차로 검출부(140)를 포함한다. 여기서, 주행 차로 인식 장치(100)는 차량(101)에 결합되거나 차량에 포함될 수 있다.
3차원 센서(110)는 주행 중인 차량의 전방에 대한 3차원 정보를 획득한다. 예를 들어, 3차원 센서(110)는 3차원 정보가 3차원 영상일 경우, 스테레오 비전 카메라를 포함할 수 있다. 하기에서, 스테레오 비전 카메라는 3차원 정보(즉, 3차원 영상)를 획득하기 위해 예시적으로 설명되지만, 스테레오 비전 카메라를 포함한 다른 다양한 센서들을 사용하여 3차원 정보를 획득할 수 있다.
이를 통해, 3차원 센서(110)는 일정 시간 간격 또는 연속적으로 주행 중인 차량(101)의 전방에 대한 3차원 정보를 획득할 수 있다. 카메라(110)는 3차원 정보를 표지판 추출부(120)로 출력한다.
표지판 추출부(120)는 3차원 정보를 수신하고, 수신된 3차원 정보로부터 교통 표지판을 추출한다. 3차원 정보에 포함된 교통 표지판은 주행 중인 도로의 측면에 위치하고 있으며, 3차원 정보의 분석을 통해 교통 표지판을 추출할 수 있다. 표지판 추출부(120)는 추출된 교통 표지판 정보를 표지판 위치 검출부(130)로 출력한다.
표지판 위치 검출부(130)는 추출된 교통 표지판의 위치를 결정한다. 표지판 위치 검출부(130)는 검출된 표지판 위치에 대한 정보를 주행 차로 인식부(140)로 출력한다.
주행 차로 검출부(140)는 차량과 교통 표지판과의 벡터 성분을 계산한다. 주행 차로 검출부(140)는 계산된 벡터 성분을 기준으로 차량의 주행 방향에 수직 방향인 X축 방향(도 1에 도시)의 성분을 이용하여 차량의 주행 차로를 검출할 수 있다.
도 3은 도 2의 주행 차로 인식 장치가 부착된 차량이 주행 중인 도로의 2차원 평면을 예시적으로 도시한 도면이다.
도 3을 참조하면, 3차원 센서(110)로부터 획득된 3차원 정보를 이용하여 표지판 추출부(120)는 교통 표지판(10)을 추출할 수 있다.
표지판 위치 검출부(130)는 표지판 추출부(120)를 통해 추출된 교통 표지판(10)을 기준으로 표지판의 위치를 검출할 수 있다.
주행 차로 검출부(140)는 표지판 위치 검출부(130)를 통해 교통 표지판(10)의 위치를 검출한다. 이를 위해, 주행 차로 검출부(140)는 차량(101)과 교통 표지판(10)과의 벡터 성분을 검출할 수 있다.
주행 차로 검출부(140)는 첫 번째 위치에서 제 1 벡터(V1)를 획득할 수 있고, 두 번째 위치에서 제 2 벡터(V2)를 획득할 수 있다. 차량(101)의 이동에 따라 벡터 성분들(V1, V2)은 서로 다른 값을 가질 수 있다. 하지만, 차량(11)의 진행 방향(Z축 방향)을 기준으로 수직한 방향(X축 방향)의 벡터 성분(x11, x12)은 서로 동일한 값을 갖는다.
따라서, 주행 차로 검출부(140)는 차량(101)과 교통 표지판(10) 사이의 벡터 성분(V1, V2)을 검출한다. 주행 차로 검출부(140)는 검출된 벡터 성분을 기준으로 주행 방향(Z축 방향)에 수직한 벡터 성분(x11, x12)을 검출한다.
만약, 끝차선(26)을 기준으로 교통 표지판(10)이 이격된 거리 성분(x13)은 일정하다고 가정한다. 주행 차로 인식의 정확도를 높이기 위해, 주행 차로 검출부(140)는 차량(101)과 교통 표지판(10) 사이의 X축 방향의 성분(x12)에서 거리 성분(x13)을 제거할 수 있다. 이를 통해, 주행 차로 검출부(140)는 차량(101)과 끝차선(26) 간의 거리(x14)를 정확히 측정할 수 있다.
주행 차로 검출부(140)는 차선의 폭(x15)에 대한 정보와 주행 중인 도로의 차선 정보(예를 들면, GPS 모듈, 네비게이션 등)를 획득할 수 있다. 예를 들면, 주행 차로 검출부(140)는 전체 차선 개수에서 차량의 우측에 위치한 차선의 개수(x14/x15의 모듈로 연산 등을 통해 획득할 수 있음)를 제거하여 주행 차로를 검출할 수 있다.
여기서, 검출된 정보는 차량 또는 차량 내부의 다른 기기로 전달되어, 안전 주행 또는 자율 주행을 위한 정보로 활용될 수 있다.
도 4는 도 2에 도시된 주행 차로 인식 장치의 동작을 예시적으로 도시한 순서도이다.
도 4를 참조하면, 3차원 센서(100)는 3차원 정보, 일예로, 3차원 영상(스테레오 비전 영상)을 획득한다(210단계). 3차원 센서(100)는 촬영된 3차원 정보를 표지판 추출부(120)로 출력한다.
표지판 추출부(120)는 3차원 정보로부터 교통 표지판을 검출한다(220단계). 표지판 추출부(120)는 도로의 측면에 위치하는 교통 표지판을 검출한다. 표지판 추출부(120)는 도로의 상단에 유입된 교통 표지판에 대해서는 검출하지 않는다. 즉, 표지판 추출부(120)는 일정 높이 이상에 위치한 교통 표지판들(예를 들면, 현수식, 문형식, 복합식 교통 표지판들)은 검출 대상에서 제외한다. 표지판 추출부(120)는 3차원 영상에서 획득한 객체들을 기준으로 교통 표지판의 형상과 유사한 템플릿들과 비교를 통해 교통 표지판을 추출할 수 있다. 표지판 추출부(120)는 추출된 교통 표지판을 표지판 위치 검출부(130)로 출력한다.
표지판 위치 검출부(130)는 3차원 정보로부터 추출된 교통 표지판의 위치를 검출한다(230단계). 표지판 위치 검출부(130)는 검출된 교통 표지판의 위치를 주행 차로 검출부(140)로 출력한다.
주행 차로 검출부(140)는 차량과 교통 표지판 간의 벡터 성분을 검출한다(240단계). 예를 들어, 벡터 성분은 3차원 정보로부터 획득될 수 있다.
주행 차로 검출부(140)는 벡터 성분을 기준으로 주행 차로를 검출한다(250단계). 이때, 주행 차로 검출부(140)는 차량과 교통 표지판 간의 벡터 성분으로부터 차량의 주행 방향에 수직한 방향(X축 방향(일예로, 차선의 폭에 대응되는 방향))의 벡터 성분을 검출한다. 이후, 주행 차로 검출부(140)는 X축 방향의 벡터 성분을 차로폭으로 나누어 주행 차로를 검출할 수 있다.
주행 차로 검출부(140)는 차로폭에 대한 정보를 저장하거나 외부로부터 수신할 수 있다. 이때 차로폭을 하기의 표 1에 예시적으로 나타내었다.
Figure 112014047320072-pat00001
예를 들면, 주행 차로 검출부(140)는 차로폭은 고속도로에서는 약 3.5m, 일반도로에서는 3.25m로 설정하여 사용하도록 할 수도 있다.
주행 차로 검출부(140) 또는 주행 차로 인식 장치(100)는 주행 차로 검출 동작을 종료할지의 여부를 확인한다(260단계). 만약, 차량이 도로를 이탈, 차량의 주행 중지, 차량 주행 종료, 사용자 종료 요청 등에 의해 주행 차로 검출 동작이 종료될 수 있다.
확인결과, 주행 차로 검출을 종료하는 경우, 주행 차로 검출부(140) 또는 주행 차로 인식 장치(100)는 종료 동작한다.
확인결과, 주행 차로 검출을 종료하지 않는 경우, 주행 차로 검출부(140) 또는 주행 차로 인식 장치(100)는 210단계로 진행하여 3차원 정보의 획득 동작을 반복하여 수행한다.
도 5는 도 2에 도시된 표지판 추출부를 예시적으로 도시한 도면이다.
도 5를 참조하면, 표지판 추출부(120)는 이미지 추출부(121), 컬러 이진화부(color binarization unit)(122), 템플릿 매칭부(template matching unit)(123), 서포트 벡터 머신(SVM: Support Vector Machine)(124), 스테레오 매칭부(stereo matching unit)(125), 및 트래커 업데이트부(traker update unit)(126)를 포함한다.
여기서는, 설명의 편의를 위하여 3차원 센서를 3차원 영상을 촬영하는 스테레오 비전 카메라인 경우를 가정하여 설명하기로 한다.
이미지 추출부(121)는 3차원 센서로부터 촬영된 스테레오 비전 영상, 즉 3차원 영상(예를 들어, 좌영상 또는 우영상)을 수신한다. 이미지 추출부(121)는 트래커 업데이트부(126)의 제어에 따라 이전 영상에서 검출된 교통 표지판을 추적할 수 있다. 이미지 추출부(121)는 교통 표지판 검출을 위한 3차원 영상을 컬러 이진화부(122)로 출력한다.
컬러 이진화부(122)는 수신된 3차원 영상을 색상 정보를 이용하여 이진화한다. 예를 들어, 컬러 이진화부(122)는 에이치에스브이(Hue Saturation Value, 이하 'HSV'라 칭하기로 함) 채널, 즉 색상채도값 채널을 이용하여 후보 영역을 추출한다. 컬러 이진화부(122)는 2진화된 후보 영역의 영상을 템플릿 매칭부(123)로 출력한다.
템플릿 매칭부(123)는 후보 영역에 포함된 객체를 추출할 수 있다. 템플릿 매칭부(123)는 색상 정보를 이용하여 획득된 후보 영역의 영상에서 교통 표지판(또는, 공사 표지판)의 형태(예를 들어, 원, 삼각형, 역삼각형 등)를 갖는 객체를 추출한다. 템플릿 매칭부(123)는 교통 표지판의 검출을 위해, 교통 표지판의 형태를 갖는 도형(원, 삼각형, 역삼각형 등)의 템플릿을 생성하고 추출할 수도 있다.
템플링 매칭부(123)는 템플릿들과 객체의 비교를 통해 템플릿에 대응되는 교통 표지판을 검출하면, 스테레오 매칭부(125)로 검출된 정보를 스테레오 매칭부로 출력한다.
이와 달리, 템플링 매칭부(123)는 템플릿들과 객체의 비교를 통해 템플릿에 대응되는 교통 표지판을 검출하지 못하면, 서포트 벡터 머신(124)으로 추출된 객체를 출력한다.
서포트 벡터 머신(124)은 수신된 객체들을 안전 운행 정보, 고정 장애물, 및 기타 배경 등으로 구분한다. 또한, 서포트 벡터 머신(124)은 교통 표지판 또는 공사 표지판과 같은 데이터를 포지티브(positve) 데이터로 관리하고, 도로 배경 데이터를 네거티브(negative) 데이터로 관리할 수 있다. 서포트 벡터 머신(124)은 교통 표지판 추출을 위한 객체 정보를 스테레오 매칭부(124)로 제공한다.
스테레오 매칭부(125)는 3차원 좌표를 획득하고, 3차원 좌표가 획득된 교통 표지판 정보를 트래커 업데이트부(126)로 출력한다. 스테레오 매칭부(125)는 서포트 벡터 머신(124)을 통해 수신된 교통 표지판에 관련된 객체 정보를 이용하여 교통 표지판을 구분할 수도 있다.
트래커 업데이트부(126)는 3차원 위치가 검출된 교통 표지판의 위치를 추적하기 위한 정보를 이미지 추출부(121)로 피드백한다. 트래커 업데이트부(126)는 3차원 위치가 검출된 표지판과 표지판의 3차원 위치 정보를 표지판 위치 검출부(130)로 출력한다.
도 6은 도 5에 도시된 이미지 추출부에서의 이미지 추출 동작을 예시적으로 도시한 도면이다.
도 6을 참조하면, 이미지 추출부(121)는 차량의 주행에 따라 획득된 영상 내에서 교통 표지판이 존재할 수 있는 중심부분의 일정 영역(ROI)(310, 320)만을 추출할 수 있다. 이를 통해, 영상의 이진화 동작과 객체 추출 시 추출되는 객체의 수가 감소되어 주행 차로 인식 속도를 향상시킬 수도 있다.
한편, 검출된 객체에 대해서는 이미지 추출부(121)는 추적 알고리즘을 통해 검출된 객체(310)를 추출하면, 일정 영역(ROI)(320)을 벗어나더라도 지속적인 검출을 할 수 있다.
도 7은 도 5에 도시된 컬러 이진화부에서 컬러 분할 동작을 예시적으로 도시한 도면이다.
도 7을 참조하면, (410)에서, 컬러 이진화부(122)는 HSV 채널을 사용하여 후보 영역을 검출할 수 있다. 이를 위한 HSV 채널을 도시한다.
(420)에서, 컬러 이진화부(122)는 색상 정보를 이용하여 객체를 추출한다. 이때, 추출된 객체는 교통 표지판과 공사 표지판 등은 유채색이며, 컬러 이진화부(122)에서 대부분의 배경을 분리할 수 있다.
(430)에서, 컬러 이진화부(122)에서 영역의 넓이가 일정 수준 이하인 경우는 잡음으로 간주하여 제거한다.
이와 같이, 컬러 이진화부(122)는 컬러 분할을 할 때, 인접한 물체의 구분에 일예로, 캐니(Canny) 알고리즘을 사용할 수 있다.
도 8은 도 5에 도시된 템플릿 매칭부에서 관리하는 다양한 템플릿들을 예시적으로 도시한 도면이다.
도 8을 참조하면, 템플릿들(510~580)은 동그라미, 삼각형, 오각형, 역삼각형, 마름모, 직사각형과 같은 다양한 형태를 가지고 있다. 이러한 템플릿들은 예시적으로 도시된 것으로, 도로의 측면에 위치할 수 있는 교통 표지판들의 다른 다양한 형태들을 더 포함할 수 있다.
도 9는 본 발명에 따른 교통 표지판을 추적하는 동작을 예시적으로 도시한 순서도이다.
도 9를 참조하면, 스테레오 매칭부(125)는 스테레오 매칭을 통해 3차원 영상(좌 영상과 우 영상)을 매칭한다(610단계).
스테레오 매칭부(125)는 현재 프레임의 3차원 위치를 결정한다(620단계). 스테레오 매칭부(125)는 지면 기반 시차 정보를 이용하여 좌우 영상의 기하 정보를 계산한다. 이후, 스테레오 매칭부는 영상 내 물체 간의 이미 계산된 스테레오 정보 정보를 이용하여 3차원 위치를 계산한다.
스테레오 매칭부(125)는 3차원 위치 정보로 객체의 크기를 계산하여 다음 프레임에서 추출될 3차원 위치를 예측한다(630단계). 스테레오 매칭부(125)는 특징점을 이용한 카메라 모션 추정을 통해 특정 프레임에서 추출된 객체가 다음 프레임에서 3차원 위치와 영상에서 나올 위치를 예측할 수 있다. 예측 이후, 템플릿 매칭부(123)는 3차원 정보를 사용하여 객체의 크기를 계산하고, 다음 프레임에서 추출될 객체 영상의 크기를 예측하고, 템플릿 매칭으로 위치 보정을 할 수 있다.
스테레오 매칭부(125)는 3차원 위치를 2차원 위치로 프로젝션(projection)할 수 있다(640단계).
스테레오 매칭부(125)는 2차원 위치를 개선(refinement)한다.
이후, 스테레오 매칭부(125)는 다음 프레임(즉, 다음 영상)을 수신한다. 그리고, 스테레오 매칭부(125)는 수신된 다음 프레임에 대해 스테레오 매칭을 위해 610단계로 진행한다.
도 10은 본 발명의 실시예에 따른 표지판 크기를 예측하는 동작을 예시적으로 도시한 도면이다.
도 10을 참조하면, 차량에 부착된 카메라의 중심점들(P1, P2)이 도시된다. 차량의 이동에 따라 카메라의 중심점은 P1에서 P2로 이동한다. 여기서, 실제 표지판(710)의 크기가 W로 표기되어 있다.
이때, 카메라의 이미지 플레인(720, 730) 각각은 카메라의 중심점들(P1, P2)을 기준으로 f만큼 각각 이격되어 위치할 수 있다.
여기서, 템플릿 매칭을 통해 모션 추정을 통해 예측한 모션 추정 정보를 보정할 수 있다.
템플릿 매칭을 위해서는 교통 표지판의 폭(W)과 높이(H)에 대한 정보를 필요로 한다. 표지판의 크기 예측은 하기의 수학식 1을 통해 계산될 수 있다.
Figure 112014047320072-pat00002
여기서, D(D1, D2)는 깊이(depth)를 나타내고, f는 카메라의 중심점과 이미지 플레인 간의 이격 거리(즉, 초점 거리(focal length))이다. 또한, w는 이미지 플레인 상의 교통 표지판(721 또는 731)의 폭을 나타내고, h는 이미지 플레이 상 교통 표지판(721 또는 731)의 높이를 나타낸다.
도 11은 본 발명의 실시예에 따른 교통 표지판을 구분하여 검출하는 동작을 예시적으로 설명하기 위한 도면이다.
도 11을 참조하면, 주행 차로 인식 장치(800)는 차량에 부착될 수 있고, 현재 차량이 2차선에 위치한다고 가정한다. 즉, 차선(801, 802, 803, 804, 805)들 중에서 차선들(802, 803) 사이의 2차선을 주행한다고 가정한다.
주행 차로 인식 장치(800)는 획득된 3차원 영상으로부터 교통 표지판들(810, 820)의 위치를 측정할 수 있다. 주행 차로 인식 장치(800)는 카메라의 촬영 영역(830) 내에서 교통 표지판들(810, 820)을 검출하고, 검출된 교통 표지판들(810, 820)의 위치를 측정한다. 이를 통해, 제 1 교통 표지판(810)은 x축, y축, 및 z축으로 기준으로 (9.5, 1.1, 15.7)로 측정된다. 또한, 제 2 교통 표지판(820)은 x축, y축, 및 z축으로 기준으로 (8.5, 4.5, 21.0)로 측정된다.
이때, 주행 차로 인식 장치(800)에서 제 1 교통 표지판(810)은 주행 차로 인식에 적합하다고 판단할 수 있고, 제 2 교통 표지판(820)은 주행 차로 인식에 부적합하다고 판단할 수 있다.
이를 위해, y축의 값 등을 미리 제한하고, y축 값이 미리 설정된 값(일예로, 5m 등)을 초과하는 교통 표지판에 대해서, 주행 차로 인식 장치(800)는 차로 인식을 위한 교통 표지판으로 인식하지 않을 수 있다.
만약, 차량에 장착된 카메라의 높이가 2m라고 가정하면, 주행 차로 인식 장치(800)는 y축 값이 3m 이상인 교통 표지판은 제외할 수 있다.
이를 통해, 본 발명의 주행 차로 인식 장치는 차량에 탑재된 3차원 센서(일예로, 스테레오 카메라 등)를 이용하여 차량 위치를 기준으로 표지판의 3차원 위치를 측정합니다. 이후, 차량과 표지판의 X 방향의 거리를 획득하고, 획득된 X 방향의 거리를 차선의 폭으로 나누어 차량의 현재 주행 차로를 결정합니다. 이를 통해, 본 발명의 주행 차로 인식 장치는 도로폭 정보와 현재 도로의 차선 수의 정보를 이용하여 주행 차로를 인식할 수 있습니다.
따라서, 본 발명에서 스테레오 비전 센서로 표지판의 3차원 위치 측정은 설명의 편의를 위하여 예시적으로 설명된 것으로, 표지판의 3차원 위치 측정에 스테레오 비전 센서를 포함한 다른 다양한 3차원 센서들을 사용할 수도 있습니다.
한편, 본 발명의 상세한 설명에서는 구체적인 실시 예에 관하여 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 상술한 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구범위뿐만 아니라 이 발명의 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 주행 차선 인식 장치 101: 차량
110: 3차원 센서 120: 표지판 검출부
130; 표지판 위치 검출부 140: 주행 차로 검출부
121: 이미지 추출부 122: 컬러 이진화부
123: 템플릿 매칭부 124: 서포트 벡터 머신
125: 스테레오 매칭부 126: 트래커 업데이트부

Claims (12)

  1. 차량에 결합되고, 차량 주행 방향의 3차원 정보를 획득하는 3차원 센서;
    상기 3차원 정보로부터 도로의 측면에 위치한 교통 표지판을 추출하는 표지판 추출부;
    상기 교통 표지판의 위치를 검출하는 표지판 위치 검출부; 및
    상기 차량으로부터 상기 검출된 교통 표지판의 위치로의 벡터 성분을 산출하고, 산출한 벡터 성분으로부터 상기 차량의 주행 방향에 수직한 방향의 벡터 성분을 검출하고, 상기 수직한 방향의 벡터 성분으로부터 상기 차량이 주행 중인 주행 차로를 검출하는 주행 차로 검출부를 포함하는 주행 차로 인식 장치.
  2. 제 1 항에 있어서,
    상기 3차원 센서는 스테레오 비전 카메라를 포함하는 주행 차로 인식 장치.
  3. 제 1 항에 있어서,
    상기 주행 차로 검출부는 상기 수직한 방향의 벡터 성분으로부터 상기 차량과 끝차선 간의 거리 계산을 통해 상기 주행 차로를 검출하는 주행 차로 인식 장치.
  4. 제 1 항에 있어서,
    상기 벡터 성분은 도로의 평면을 기준으로 하는 2차원 벡터인 주행 차로 인식 장치.
  5. 제 3 항에 있어서,
    상기 주행 차로 검출부는 상기 차량과 끝차선 간의 거리를 차로폭으로 나누어 상기 주행 차로를 검출하는 주행 차로 인식 장치.
  6. 제 5 항에 있어서,
    상기 주행 차로 검출부는 상기 수직한 방향의 벡터 성분으로부터 상기 끝차선과 교통 표지판과의 거리에 대응되는 벡터 성분을 제거하여 상기 차량과 끝차선 간의 거리를 계산하는 주행 차로 인식 장치.
  7. 제 1 항에 있어서,
    상기 주행 차로 검출부는 상기 벡터 성분을 산출하기 위해 상기 3차원 정보인 3차원 영상을 2차원 영상으로 변환하는 주행 차로 인식 장치.
  8. 주행 차로 인식 장치의 주행 차로 인식 방법에 있어서,
    차량의 주행 방향에 대한 3차원 정보를 획득하는 단계;
    상기 3차원 정보로부터 도로의 측면에 위치한 교통 표지판을 추출하는 단계;
    상기 추출된 교통 표지판의 위치를 검출하는 단계;
    상기 차량으로부터 상기 검출된 교통 표지판의 위치로의 벡터 성분을 검출하는 단계; 및
    상기 벡터 성분을 기준으로 상기 차량이 주행 중인 주행 차로를 검출하는 단계를 포함하고,
    상기 주행 차로를 검출하는 단계는
    상기 벡터 성분으로부터 상기 차량의 주행 방향에 수직한 방향의 벡터 성분을 검출하는 단계;를 포함하는 주행 차로 인식 방법.
  9. 제 8 항에 있어서,
    상기 벡터 성분은 도로의 평면을 기준으로 하는 2차원 벡터인 주행 차로 인식 방법.
  10. 제 8 항에 있어서,
    상기 주행 차로를 검출하는 단계는
    상기 수직한 방향의 벡터 성분으로부터 상기 차량과 끝차선 간의 거리를 계산하는 단계; 및
    상기 차량과 끝차선 간의 거리를 차로폭으로 나누어 상기 주행 차로를 검출하는 단계를 더 포함하는 주행 차로 인식 방법.
  11. 제 10 항에 있어서,
    상기 주행 차로는 상기 수직한 방향의 벡터 성분으로부터 상기 끝차선과 교통 표지판과의 거리에 대응되는 벡터 성분을 제거하여 상기 차량과 끝차선 간의 거리를 계산함으로써 검출되는 주행 차로 인식 방법.
  12. 제 8 항에 있어서,
    상기 주행 차로를 검출하는 단계는
    상기 벡터 성분을 검출하기 위해 상기 3차원 정보인 3차원 영상을 2차원 영상으로 변환하는 단계를 더 포함하는 주행 차로 인식 방법.
KR1020140060406A 2014-05-20 2014-05-20 주행 차로 인식 장치 및 그것의 주행 차로 인식 방법 KR101558285B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140060406A KR101558285B1 (ko) 2014-05-20 2014-05-20 주행 차로 인식 장치 및 그것의 주행 차로 인식 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140060406A KR101558285B1 (ko) 2014-05-20 2014-05-20 주행 차로 인식 장치 및 그것의 주행 차로 인식 방법

Publications (1)

Publication Number Publication Date
KR101558285B1 true KR101558285B1 (ko) 2015-10-13

Family

ID=54348356

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140060406A KR101558285B1 (ko) 2014-05-20 2014-05-20 주행 차로 인식 장치 및 그것의 주행 차로 인식 방법

Country Status (1)

Country Link
KR (1) KR101558285B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200065875A (ko) * 2018-11-30 2020-06-09 한국교통대학교산학협력단 랜드마크를 활용한 주행차로 인식 방법 및 시스템
US11971257B2 (en) 2020-11-19 2024-04-30 Samsung Electronics Co., Ltd. Method and apparatus with localization

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200065875A (ko) * 2018-11-30 2020-06-09 한국교통대학교산학협력단 랜드마크를 활용한 주행차로 인식 방법 및 시스템
KR102174729B1 (ko) * 2018-11-30 2020-11-05 한국교통대학교산학협력단 랜드마크를 활용한 주행차로 인식 방법 및 시스템
US11971257B2 (en) 2020-11-19 2024-04-30 Samsung Electronics Co., Ltd. Method and apparatus with localization

Similar Documents

Publication Publication Date Title
US20200293058A1 (en) Data processing method, apparatus and terminal
KR102109941B1 (ko) 라이다 센서 및 카메라를 이용한 객체 검출 방법 및 그를 위한 장치
CN107272021B (zh) 使用雷达和视觉定义的图像检测区域的对象检测
JP4650079B2 (ja) 物体検出装置、および方法
EP3188118B1 (en) Object detecting device
US10331961B2 (en) Detecting device, detecting method, and program
US20180136332A1 (en) Method and system to annotate objects and determine distances to objects in an image
EP3624002A2 (en) Training data generating method for image processing, image processing method, and devices thereof
KR102441075B1 (ko) 노면표시기반 차량의 위치추정 방법 및 장치
EP2779025A2 (en) Method and system for detecting road edge
KR20170104287A (ko) 주행 가능 영역 인식 장치 및 그것의 주행 가능 영역 인식 방법
KR102604298B1 (ko) 랜드마크 위치 추정 장치와 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능한 기록매체
KR102428765B1 (ko) 터널 조명을 이용한 자율주행 차량 항법 시스템
JP2017083245A (ja) 建築限界判定装置
JPWO2017145634A1 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
TW201433774A (zh) 車輛規格測量處理裝置、車輛規格測量方法及記錄媒體
JP2018048949A (ja) 物体識別装置
KR101738034B1 (ko) 개선된 차선 인식 방법
KR101558285B1 (ko) 주행 차로 인식 장치 및 그것의 주행 차로 인식 방법
KR20200087296A (ko) 라이다 센서 데이터 기반 장애물 검출 3차원 뷰어 시스템
KR101568683B1 (ko) 영상 분석을 이용한 차간 거리 추정 방법 및 그 장치
JP2005156199A (ja) 車両検知方法及び車両検知装置
CN111126363B (zh) 自动驾驶车辆的物体识别方法及装置
JP2020034321A (ja) 地図データ生成装置
KR20160125803A (ko) 영역 추출 장치, 물체 탐지 장치 및 영역 추출 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180920

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190917

Year of fee payment: 5