KR101512598B1 - 차선 검출을 이용한 차량 검출 방법 및 이를 수행하는 장치 - Google Patents

차선 검출을 이용한 차량 검출 방법 및 이를 수행하는 장치 Download PDF

Info

Publication number
KR101512598B1
KR101512598B1 KR20140110394A KR20140110394A KR101512598B1 KR 101512598 B1 KR101512598 B1 KR 101512598B1 KR 20140110394 A KR20140110394 A KR 20140110394A KR 20140110394 A KR20140110394 A KR 20140110394A KR 101512598 B1 KR101512598 B1 KR 101512598B1
Authority
KR
South Korea
Prior art keywords
lane
vehicle
area
detecting
detected
Prior art date
Application number
KR20140110394A
Other languages
English (en)
Inventor
금창훈
정찬성
김회율
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR20140110394A priority Critical patent/KR101512598B1/ko
Application granted granted Critical
Publication of KR101512598B1 publication Critical patent/KR101512598B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

차선 검출을 이용한 차량 검출 방법 및 장치에 관한 기술이 개시된다. 차량 검출 방법은 적어도 하나의 카메라로부터 획득한 영상에서 차선을 검출하는 단계, 차선 검출 결과를 이용하여 차량의 전방 또는 후방에 차로 영역을 설정하는 단계 및 차로 영역을 다수의 행으로 구분하고, 구분된 행 각각을 구성하는 픽셀에 대하여 행의 위치 변화에 따른 픽셀의 변화량을 산출함으로써 차량의 전방 또는 후방에 위치하는 차량의 밑면을 검출하는 단계를 포함한다. 따라서, 차량의 주행 환경에 상관없이 전방 및 후방에 위치하는 차량과의 거리를 신속하고 정확하게 검출할 수 있다.

Description

차선 검출을 이용한 차량 검출 방법 및 이를 수행하는 장치{METHOD FOR DETECTING VEHICLE USING LANE DETECTION AND APPARATUS FOR PERFORMING THE METHOD}
본 발명은 차량 검출에 관한 것으로, 더욱 상세하게는 도로를 주행하는 차량에서 차선 검출을 이용하여 다른 차량을 검출하는 방법 및 이를 수행하는 장치에 관한 것이다.
전방 충돌 경보/방지 시스템은 주행 중인 차량에서 전방의 차량을 검출하는 알고리즘을 이용하여 차량 간 충돌을 방지 또는 예방하는 기술이다.
전방 충돌 경보/방지를 위해 차량을 검출하는 방법은 그림자, 대칭성, 색상, 에지 등의 단서를 개별 또는 복합적으로 사용하고 있다.
그림자를 이용한 차량 검출 방법은 낮에 차량이 도로 위에 존재하면 차량 아래의 도로 영역에 그림자가 존재하기 때문에 이 그림자를 검출하여 영상에서 차량 영역을 검출할 수 있다.
색상을 이용한 차량 검출 방법은 밤 시간대의 경우에 어두운 조명 환경으로 인해 차량의 다른 특징 정보의 확인이 힘든 경우, 상대적으로 두드러지게 보이는 후미등의 색상 정보를 이용하여 차량을 검출할 수 있다.
대칭성을 이용한 차량 검출 방법은 차량은 좌우가 비슷한 모양을 가지고 있기 때문에 좌우 밝기 값과 기울기 정보가 비슷하다는 가정을 두고 이를 비교하여 차량을 검출한다.
에지를 이용한 차량 검출 방법은 차량은 항상 세로 방향과 가로 방향에 대한 에지 성분이 많으므로, 이러한 특성을 이용하여 영상에서 차량 영역을 제한하고 후보 영역을 생성한 후, 차량을 검출할 수 있다.
다만, 그림자를 이용한 차량 검출 방법은 그림자가 생기지 않는 환경에 적합하지 않고, 색상을 이용한 차량 검출 방법은 낮에 활용하기 어렵다는 점에서 차량의 주행 환경에 따라 차량 검출 성능에 영향을 끼친다는 한계가 있다.
또한, 상술한 종래의 차량 검출 기술들은 차량에서 획득한 영상의 전체 영역에 대한 연산을 통해 차량을 검출하기 때문에 차량 검출 속도가 떨어진다는 문제가 있다.
특히, 주행 중 차량 간 충돌은 전방뿐만 아니라 후방에서도 발생할 수 있으므로 차량의 전방과 후방에 위치하는 차량을 모두 검출할 수 있는 차량 검출 기술이 요구되는 추세이다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 차량의 주행 환경에 상관없이 전방 또는 후방에 위치하는 차량과의 거리를 신속하고 정확하게 검출할 수 있는 차선 검출을 이용한 차량 검출 방법을 제공하는데 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은, 차량에 설치된 적어도 하나의 카메라를 이용하여 차량의 밑면을 검출함으로써 전방 또는 후방에 위치하는 차량을 동시에 검출할 수 있는 차선 검출을 이용한 차량 검출 장치를 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 일 측면에 따른 차량 검출 방법은, 적어도 하나의 카메라가 설치된 차량에서 수행되며, 적어도 하나의 카메라로부터 획득한 영상에서 차선을 검출하는 단계, 차선 검출 결과를 이용하여 차량의 전방 또는 후방에 차로 영역을 설정하는 단계 및 차로 영역을 다수의 행(row)으로 구분하고, 구분된 행 각각을 구성하는 픽셀(pixel)에 대하여 행의 위치 변화에 따른 픽셀의 변화량을 산출함으로써 차량의 전방 또는 후방에 위치하는 차량의 밑면을 검출하는 단계를 포함한다.
여기에서, 차로 영역을 설정하는 단계는 차선 검출 결과를 확인하여 좌측 차선 및 우측 차선이 모두 검출된 경우, 차량으로부터 좌측 차선과 우측 차선 사이의 영역을 차로 영역으로 설정할 수 있다.
여기에서, 차로 영역을 설정하는 단계는 차선 검출 결과를 확인하여 좌측 차선 또는 우측 차선 중 어느 하나의 차선만이 검출되는 경우, 검출된 차선을 기준으로 미리 설정된 차선 너비만큼 이동한 위치에 가상의 차선을 생성하여 차량으로부터 검출된 차선과 가상의 차선 사이의 영역을 차로 영역으로 설정할 수 있다.
여기에서, 차로 영역을 설정하는 단계는 차선 검출 결과를 확인하여 좌측 차선 및 우측 차선이 모두 미검출되는 경우, 미리 설정된 차선 너비에 부합하도록 차량이 위치하는 지점을 기준으로 가상의 좌측 차선 및 가상의 우측 차선을 생성하여 차량으로부터 가상의 좌측 차선과 가상의 우측 차선 사이의 영역을 차로 영역으로 설정할 수 있다.
여기에서, 차량의 밑면을 검출하는 단계는 행의 위치 변화에 따른 픽셀의 변화량을 이진화하여 미리 설정된 값 이상으로 변화하는 행의 위치를 차량 밑면 후보로 추출할 수 있다.
여기에서, 차량의 밑면을 검출하는 단계는 행의 위치 변화에 따른 픽셀의 변화량을 이진화하여 미리 설정된 각도에 근접하는 행의 위치를 차량 밑면 후보로 추출할 수 있다.
여기에서, 차량의 밑면을 검출하는 단계는 차량 밑면 후보의 너비를 측정하고, 측정된 너비를 비교하여 너비가 가장 큰 행의 위치를 차량의 밑면으로 검출할 수 있다.
또한, 상기 목적을 달성하기 위한 본 발명의 다른 측면에 따른 차량 검출 장치는, 적어도 하나의 카메라가 설치된 차량에 구현되며 적어도 하나의 카메라로부터 획득한 영상에서 차선을 검출하는 차선 검출부, 차선 검출 결과를 이용하여 차량의 전방 또는 후방에 차로 영역을 설정하는 차로 영역 설정부 및 차로 영역을 다수의 행(row)으로 구분하고, 구분된 행 각각을 구성하는 픽셀(pixel)에 대하여 행의 위치 변화에 따른 픽셀의 변화량을 산출함으로써 차량의 전방 또는 후방에 위치하는 차량의 밑면을 검출하는 차량 밑면 검출부를 포함한다.
상술한 바와 같은 본 발명의 실시예에 따른 차선 검출을 이용한 차량 검출 방법 및 장치에 따르면, 차량의 주행 환경에 상관없이 전방 또는 후방에 위치하는 차량과의 거리를 신속하고 정확하게 검출할 수 있다.
또한, 차량에 설치된 적어도 하나의 카메라를 이용하여 차량의 밑면을 검출함으로써 전방 또는 후방에 위치하는 차량을 동시에 검출할 수 있다.
도 1은 본 발명의 실시예에 따른 차선 검출을 이용한 차량 검출 방법을 설명하는 흐름도이다.
도 2는 본 발명의 실시예에 따른 차선 검출 결과를 이용하여 차량의 전방에 차로 영역을 설정하는 것을 설명하는 예시도이다.
도 3은 본 발명의 실시예에 따른 차선 검출 결과를 이용하여 차량의 후방에 차로 영역을 설정하는 것을 설명하는 예시도이다.
도 4는 본 발명의 실시예에 따른 차로 영역에서 차량의 전방에 위치하는 차량의 밑면을 검출하는 것을 설명하는 예시도이다.
도 5는 본 발명의 실시예에 따른 차로 영역에서 차량의 후방에 위치하는 차량의 밑면을 검출하는 것을 설명하는 예시도이다.
도 6은 본 발명의 실시예에 따른 차선 검출을 이용한 차량 검출 장치를 나타내는 블록도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 실시예에 따른 차선 검출을 이용한 차량 검출 방법을 설명하는 흐름도이다.
또한, 도 2는 본 발명의 실시예에 따른 차선 검출 결과를 이용하여 차량의 전방에 차로 영역을 설정하는 것을 설명하는 예시도이고, 도 3은 본 발명의 실시예에 따른 차선 검출 결과를 이용하여 차량의 후방에 차로 영역을 설정하는 것을 설명하는 예시도이다.
도 1을 참조하면, 차선 검출을 이용한 차량 검출 방법은 적어도 하나의 카메라가 설치된 차량에서 수행될 수 있다.
종래의 차량 검출 기술은 차량의 그림자, 대칭성, 색상 및 에지를 이용함으로써 주행 중인 차량에서 전방의 차량을 검출하였다.
다만, 이와 같은 종래의 차량 검출 방법은 주행 중인 차량 주변의 기상 환경 또는 노면 상태와 같이 차량의 주행 환경에 따라 전방의 차량이 검출되는 정확도가 상이하며, 차량에서 획득한 영상의 전체 영역에 대한 연산을 통해 차량을 검출하기 때문에 차량의 검출 속도가 현저하게 떨어진다는 점에서 한계가 있다.
특히, 주행 중에는 전방뿐만 아니라 후방에서도 차량 간 충돌이 발생할 수 있다는 점에서 전방과 후방에 위치하는 차량을 모두 검출할 수 있어야 한다.
따라서, 본 발명에서는 전방 및 후방에 위치하는 차량을 보다 신속하고 정확하게 검출하기 위해 차선 검출 결과를 이용하여 설정된 차로 영역에서 차량의 밑면을 검출함으로써 전방 또는 후방에 위치하는 차량을 검출하는 방법을 제안한다.
본 발명에 따른 차선 검출을 이용한 차량 검출 방법은 적어도 하나의 카메라로부터 획득한 영상에서 차선을 검출하는 단계(S100), 차선 검출 결과를 이용하여 차량의 전방 또는 후방에 차로 영역을 설정하는 단계(S200) 및 차로 영역에서 차량의 전방 또는 후방에 위치하는 차량의 밑면을 검출하는 단계(S300)를 포함할 수 있다.
먼저, 적어도 하나의 카메라로부터 촬영된 영상을 획득하여 차선을 검출할 수 있다(S100).
이 때, 적어도 하나의 카메라는 차량의 전후좌우에 설치되어 차량의 주행 환경을 모니터링하는 어안렌즈(fish-eye lens) 카메라를 의미할 수 있으나 이에 한정되는 것은 아니다.
즉, 차량의 전방에 설치되는 카메라로부터 차량의 진행 방향에 대한 AVM(Around View Monitoring) 영상을 획득할 수 있고, 차량의 후방에 설치되는 카메라로부터 차량의 진행 방향과 반대되는 방향에 대한 AVM 영상을 획득할 수 있다.
특히, 차량의 좌우에 설치되는 카메라로부터 차량이 주행 중인 노면을 촬영한 AVM 영상을 획득함으로써, 기상 상황, 조명 등에 따라 차량의 전방 또는 후방에 설치된 카메라로부터 획득한 영상을 통해 파악할 수 없는 차선을 보다 정확히 검출할 수 있다.
그리하여, 차선이 흰색 또는 노란색으로 표시된다는 점을 기반으로 노면과 차선 간의 색상 차를 이용하거나 차선의 종류와 형태를 기반으로 미리 구축한 차선 모델을 이용하여 노면과 차선을 분리함으로써 영상에서 차선을 검출할 수 있으나 이에 한정되는 것은 아니다.
차선 검출 결과를 이용하여 차량의 전방 또는 후방에 차로 영역을 설정할 수 있다(S200).
이 때, 차선은 차량의 좌측에 표시되는 좌측 차선과 차량의 우측에 표시되는 우측 차선의 쌍을 의미하므로, 영상에서 좌측 차선과 우측 차선이 모두 검출되어야 하나, 노면의 상태나 차량이 주행 중인 도로의 종류 또는 환경에 따라 영상에서 차선이 검출되는 결과가 상이할 수 있다.
즉, 영상에서 좌측 차선 및 우측 차선 중 어느 하나의 차선만 검출되거나 좌측 차선 및 우측 차선이 모두 검출 또는 미검출될 수 있다.
따라서, 차로 영역을 설정하기 위해서는 먼저, 차선 검출 결과를 확인하여 좌측 차선 및 우측 차선의 검출 여부에 따라 가상의 차선을 생성할 수 있다.
차선 검출 결과를 확인하여 영상에서 좌측 차선 및 우측 차선이 모두 검출되는 경우, 가상의 차선을 생성하지 않는다.
반면, 좌측 차선 또는 우측 차선 중 어느 하나의 차선만이 검출되는 경우, 검출된 차선을 기준으로 미리 설정된 차선 너비만큼 이동한 위치에 가상의 차선을 생성할 수 있다.
또한, 좌측 차선 및 우측 차선이 모두 미검출되는 경우, 미리 설정된 차선 너비에 부합하도록 차량이 위치하는 지점을 기준으로 가상의 좌측 차선 및 가상의 우측 차선을 생성할 수 있다.
여기에서, 미리 설정된 차선 너비는 도로 교통법 시행 규칙 제15조(차로의 설치)에 기재된 내용에 기반하여 300㎝로 설정될 수 있으나 이에 한정되는 것은 아니다.
예를 들어, 좌측 차선 또는 우측 차선 중 좌측 차선은 검출되었으나 우측 차선이 미검출된 경우, 검출된 좌측 차선을 기준으로 미리 설정된 차선 너비 300㎝만큼 우측 방향으로 이동한 위치에 검출된 좌측 차선과 동일한 각도를 가지는 가상의 우측 차선을 생성할 수 있다.
또한, 좌측 차선 및 우측 차선이 모두 미검출되는 경우 차량이 위치하는 지점을 기준으로 차선 간의 거리가 미리 설정된 차선 너비 300㎝에 부합하도록 가상의 좌측 차선과 가상의 우측 차선을 생성할 수 있다.
차선 검출 결과를 확인하여 좌측 차선 및 우측 차선의 검출 여부에 따라 가상의 차선이 생성되면, 차량으로부터 좌측 차선과 우측 차선 사이의 영역을 차로 영역으로 설정할 수 있다.
보다 구체적으로, 도 2 및 도 3에 도시된 바와 같이 차량의 전방 및 후방에 차로 영역을 설정할 수 있다.
예를 들어, 차량의 전방을 촬영한 영상에서 차선 검출 결과를 확인한 후 도 2 (a)와 같이 좌측 차선(21)과 우측 차선(23)에 대한 연장선을 표시하면, 좌측 차선(21)과 우측 차선(23)의 연장선이 만나는 소실점(vanishing point)(25)이 생성될 수 있다. 그리하여, 도 2 (b)와 같이 영상을 촬영한 차량과 가까운 위치(영상의 아랫부분)으로부터 소실점(25)까지의 영역 중에서 좌측 차선(21)과 우측 차선(23) 사이의 영역을 차량의 전방에 대한 차로 영역(27)으로 설정할 수 있다.
이와 마찬가지로, 차량의 후방을 촬영한 영상에서 차선 검출 결과를 확인한 후 도 3 (a)와 같이 좌측 차선(21)과 우측 차선(23)에 대한 연장선을 표시하면, 좌측 차선(21)과 우측 차선(23)의 연장선이 만나는 소실점(25)이 생성될 수 있다. 그리하여, 도 3 (b)와 같이 영상을 촬영한 차량과 가까운 위치(영상의 아랫부분)으로부터 소실점(25)까지의 영역 중에서 좌측 차선(21)과 우측 차선(23) 사이의 영역을 차량의 후방에 대한 차로 영역(27)으로 설정할 수 있다.
이와 같이 차량의 전방 또는 후방에 차로 영역이 설정되면, 차로 영역에서 차량의 전방 또는 후방에 위치하는 차량의 밑면을 검출할 수 있다(S300).
차로 영역에서 차량의 전방 또는 후방에 위치하는 차량의 밑면을 검출하는 것은 이하에서 구체적으로 설명하도록 한다.
도 4는 본 발명의 실시예에 따른 차로 영역에서 차량의 전방에 위치하는 차량의 밑면을 검출하는 것을 설명하는 예시도이고, 도 5는 본 발명의 실시예에 따른 차로 영역에서 차량의 후방에 위치하는 차량의 밑면을 검출하는 것을 설명하는 예시도이다.
도 4 및 도 5를 참조하면, 차로 영역을 다수의 행(row)으로 구분하고, 행 각각을 구성하는 픽셀(pixel)에 대하여 행의 위치 변화에 따른 픽셀의 변화량을 산출함으로써 차량의 전방 또는 후방에 위치하는 차량의 밑면을 검출할 수 있다.
예를 들어, 차량의 전방에 차로 영역이 설정되면, 도 4 (a)에 도시된 바와 같이 차로 영역을 R1, R2 …… Rn와 같이 다수의 행으로 구분할 수 있다. 여기에서, 행 각각은 다수의 픽셀(pixel)로 구성될 수 있다.
그리하여, 행 각각을 구성하는 픽셀에 대하여 행의 위치 변화에 따른 픽셀의 변화량을 산출할 수 있다.
Figure 112014080107319-pat00001
수학식 1을 참조하면, 행의 위치 변화에 따른 픽셀의 변화량 즉, 픽셀의 기울기를 산출할 수 있다. 이 때, 수학식 1은 픽셀의 기울기를 산출하기 위해 3×3 크기의 소벨 연산자를 이용하였으나 이에 한정되는 것은 아니다.
여기에서, 획득한 영상이 2차원임을 가정하면, Gx는 2차원 영상에서 x방향에 대한 기울기, Gy는 y방향에 대한 기울기이고, *는 2차원 컨볼루션(convolution) 연산자를 의미할 수 있다.
Figure 112014080107319-pat00002
수학식 2를 참조하면, 수학식 1을 통해 산출된 픽셀의 기울기에 대한 크기 G와 각도 θ를 산출할 수 있다.
Figure 112014080107319-pat00003
그리하여, 픽셀의 기울기 크기와 각도를 수학식 3을 이용하여 이진화할 수 있다. 여기에서, Tg 및 Ta는 기울기의 크기 G와 각도 θ의 문턱치 값을 의미하며, 미리 설정될 수 있다.
즉, 픽셀의 기울기 크기 G와 미리 설정된 값 Tg을 비교하여 Tg보다 크거나, 수직인 각도 90°와 픽셀의 기울기 각도 θ 간의 각도 차이를 산출한 후 각도 차이의 절대값과 미리 설정된 각도 Ta를 비교하여 픽셀의 기울기 각도 θ가 수직에 근접하면, 픽셀을 1로 이진화할 수 있다. 또한, 이에 해당되지 않는 다른 픽셀은 0으로 이진화한다.
그리하여, 도 4 (b)와 같이 1로 이진화된 픽셀을 녹색으로 표시하고, 0으로 이진화된 다른 픽셀을 적색으로 표시하여 녹색이 지속적으로 나타나는 행의 위치 A와 B를 차량 밑면 후보로써 추출할 수 있다.
추출된 차량 밑면 후보 A와 B 각각의 너비를 측정하고, 측정된 너비를 비교하여 도 4 (c)와 같이 너비가 큰 B를 전방에 위치하는 차량의 밑면(40)으로 최종 검출할 수 있다.
이와 마찬가지로, 차량의 후방에 차로 영역이 설정되면, 도 5 (a)에 도시된 바와 같이 차로 영역을 R1, R2 …… Rn와 같이 다수의 픽셀(pixel)로 구성된 다수의 행으로 구분할 수 있다.
행 각각을 구성하는 픽셀에 대하여 행의 위치 변화에 따른 픽셀의 변화량을 산출한 후, 행 각각에 포함된 픽셀이 미리 설정된 값 이상으로 변화하거나 미리 설정된 각도에 근접하는 경우 1로, 이에 해당되지 않는 픽셀은 0으로 이진화할 수 있다.
그리하여, 도 5 (b)와 같이 1로 이진화된 픽셀을 녹색으로 표시하고, 0으로 이진화된 다른 픽셀을 적색으로 표시하여 녹색이 지속적으로 나타나는 행의 위치 A와 B를 차량 밑면 후보로써 추출할 수 있다.
추출된 차량 밑면 후보 A와 B 각각의 너비를 측정하고, 측정된 너비를 비교하여 도 5 (c)와 같이 너비가 큰 B를 후방에 위치하는 차량의 밑면(40)으로 최종 검출할 수 있다.
다만, 여기에서는 행 각각을 구성하는 모든 픽셀에 대한 기울기를 산출함으로써 차량의 밑면을 검출하나, 이에 한정되지 않고 행 각각을 구성하는 다수의 픽셀 중에서 임의의 픽셀을 지정하여 행의 위치 변화에 따른 픽셀의 변화량을 산출함으로써 차량의 밑면을 검출할 수 있다.
Figure 112014080107319-pat00004
그리하여, 수학식 4를 참조하면, 행 내에서 픽셀 P0, P1, P2이 지정될 수 있다. 즉, P0는 해당 행에서 좌측 차선 상의 픽셀 P(Ll)과 우측 차선 위의 픽셀 P(Lr) 사이의 중심점으로 가정할 수 있다. 이를 기반으로 P1과 P2는 P0의 좌우에 일정 간격으로 위치할 수 있다.
그리하여, 픽셀 P0, P1, P2에 대해서만 기울기를 산출하고, 이를 이진화하여 세 픽셀이 모두 1로 이진화되는 경우 해당 행의 위치를 차량 밑면 후보로 추출할 수 있다.
차량 밑면 후보 중에서 최종적으로 차량의 밑면을 검출하기 위해서는 P1과 P2사이에 위치하는 모든 픽셀을 이진화하여 현재 행의 위치가 차량의 밑면인지를 확인할 수 있다.
Figure 112014080107319-pat00005
즉, 수학식 5를 참조하면, 현재 행의 위치가 차량의 밑면이 맞는지 여부를 확인할 수 있다. 여기에서, pr은 P1과 P2사이에 위치하는 픽셀들이며 I(pr)은 pr을 이진화한 값을 의미할 수 있다.
그리하여, J 값이 1인 경우 현재 행의 위치를 차량의 밑면으로 설정할 수 있으며, 1이 아닌 경우 차량 밑면 후보로 추출된 다른 행의 위치가 차량의 밑면인지 확인할 수 있다.
도 6은 본 발명의 실시예에 따른 차선 검출을 이용한 차량 검출 장치를 나타내는 블록도이다.
도 6을 참조하면, 차선 검출을 이용한 차량 검출 장치(100)는 차선 검출부(110), 차로 영역 설정부(120) 및 차량 밑면 검출부(130)를 포함할 수 있다.
이 때, 차량 검출 장치(100)는 적어도 하나의 카메라(10)가 설치된 차량에 구현될 수 있다.
차선 검출부(110)는 적어도 하나의 카메라로부터 촬영된 영상을 획득하여 차선을 검출할 수 있다.
이 때, 적어도 하나의 카메라는 차량의 전후좌우에 설치되어 차량의 주행 환경을 모니터링하는 어안렌즈(fish-eye lens) 카메라를 의미할 수 있으나 이에 한정되는 것은 아니다.
그리하여, 차선이 흰색 또는 노란색으로 표시된다는 점을 기반으로 노면과 차선 간의 색상 차를 이용하거나 차선의 종류와 형태를 기반으로 미리 구축한 차선 모델을 이용하여 노면과 차선을 분리함으로써 영상에서 차선을 검출할 수 있으나 이에 한정되는 것은 아니다.
차로 영역 설정부(120)는 차선 검출 결과를 이용하여 차량의 전방 또는 후방에 차로 영역을 설정할 수 있다.
이 때, 차선은 차량의 좌측에 표시되는 좌측 차선과 차량의 우측에 표시되는 우측 차선의 쌍을 의미하므로, 영상에서 좌측 차선과 우측 차선이 모두 검출되어야 하나, 노면의 상태나 차량이 주행 중인 도로의 종류 또는 환경에 따라 영상에서 차선이 검출되는 결과가 상이할 수 있다.
즉, 영상에서 좌측 차선 및 우측 차선 중 어느 하나의 차선만 검출되거나 좌측 차선 및 우측 차선이 모두 검출 또는 미검출될 수 있다.
따라서, 차로 영역 설정부(120)는 차선 검출 결과를 확인하여 좌측 차선 및 우측 차선의 검출 여부에 따라 가상의 차선을 생성할 수 있다.
차선 검출 결과를 확인하여 영상에서 좌측 차선 및 우측 차선이 모두 검출되는 경우, 가상의 차선을 생성하지 않는다.
반면, 좌측 차선 또는 우측 차선 중 어느 하나의 차선만이 검출되는 경우, 검출된 차선을 기준으로 미리 설정된 차선 너비만큼 이동한 위치에 가상의 차선을 생성할 수 있다.
또한, 좌측 차선 및 우측 차선이 모두 미검출되는 경우, 미리 설정된 차선 너비에 부합하도록 차량이 위치하는 지점을 기준으로 가상의 좌측 차선 및 가상의 우측 차선을 생성할 수 있다.
여기에서, 미리 설정된 차선 너비는 도로 교통법 시행 규칙 제15조(차로의 설치)에 기재된 내용에 기반하여 300㎝로 설정될 수 있으나 이에 한정되는 것은 아니다.
이와 같이, 차선 검출 결과를 확인하여 좌측 차선 및 우측 차선의 검출 여부에 따라 가상의 차선이 생성되면, 차량으로부터 좌측 차선과 우측 차선 사이의 영역을 차로 영역으로 설정할 수 있다.
차량 밑면 검출부(130)는 차량의 전방 또는 후방에 차로 영역이 설정되면, 차로 영역에서 차량의 전방 또는 후방에 위치하는 차량의 밑면을 검출할 수 있다.
보다 구체적으로, 차량 밑면 검출부(130)는 차로 영역을 다수의 행으로 구분하고, 구분된 행 각각에 포함되는 픽셀에 대하여 행의 위치 변화에 따른 픽셀의 변화량을 산출할 수 있다.
여기에서, 산출된 행의 위치 변화에 따른 픽셀의 변화량을 이진화하여 미리 설정된 값 이상으로 변화하거나 미리 설정된 각도에 근접하는 행의 위치를 차량 밑면 후보로 추출할 수 있다.
그리하여, 추출된 차량 밑면 후보 각각의 너비를 측정하고, 측정된 너비를 비교하여 너비가 가장 큰 차량 밑면 후보를 차량의 밑면으로 검출할 수 있다.
상술한 바와 같은 본 발명의 실시예에 따른 차선 검출을 이용한 차량 검출 방법 및 장치에 따르면, 차량의 주행 환경에 상관없이 전방 또는 후방에 위치하는 차량과의 거리를 신속하고 정확하게 검출할 수 있다.
또한, 차량에 설치된 적어도 하나의 카메라를 이용하여 차량의 밑면을 검출함으로써 전방 또는 후방에 위치하는 차량을 동시에 검출할 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10: 카메라 21: 좌측 차선
23: 우측 차선 25: 소실점
27: 차로 영역 40: 차량의 밑면
100: 차량 검출 장치 110: 차선 검출부
120: 차로 영역 설정부 130: 차량 밑면 검출부

Claims (8)

  1. 적어도 하나의 카메라가 설치된 차량에서 수행되는 차량 검출 방법에 있어서,
    상기 적어도 하나의 카메라로부터 획득한 영상에서 차선을 검출하는 단계;
    상기 차선 검출 결과를 이용하여 상기 차량의 전방 또는 후방에 차로 영역을 설정하는 단계; 및
    상기 설정된 차로 영역을 다수의 행(row)으로 구분하고, 상기 구분된 행 각각을 구성하는 픽셀(pixel)에 대하여 상기 행의 위치 변화에 따른 상기 픽셀의 변화량을 산출함으로써 상기 차량의 전방 또는 후방에 위치하는 차량의 밑면을 검출하는 단계를 포함하는 차량 검출 방법.
  2. 청구항 1에 있어서,
    상기 차로 영역을 설정하는 단계는,
    상기 차선 검출 결과를 확인하여 좌측 차선 및 우측 차선이 모두 검출된 경우, 상기 차량으로부터 상기 좌측 차선과 상기 우측 차선 사이의 영역을 상기 차로 영역으로 설정하는 것을 특징으로 하는 차량 검출 방법.
  3. 청구항 2에 있어서,
    상기 차로 영역을 설정하는 단계는,
    상기 차선 검출 결과를 확인하여 상기 좌측 차선 또는 상기 우측 차선 중 어느 하나의 차선만이 검출되는 경우, 검출된 차선을 기준으로 미리 설정된 차선 너비만큼 이동한 위치에 가상의 차선을 생성하여 상기 차량으로부터 상기 검출된 차선과 상기 가상의 차선 사이의 영역을 상기 차로 영역으로 설정하는 것을 특징으로 하는 차량 검출 방법.
  4. 청구항 3에 있어서,
    상기 차로 영역을 설정하는 단계는,
    상기 차선 검출 결과를 확인하여 상기 좌측 차선 및 상기 우측 차선이 모두 미검출되는 경우, 상기 미리 설정된 차선 너비에 부합하도록 상기 차량이 위치하는 지점을 기준으로 가상의 좌측 차선 및 가상의 우측 차선을 생성하여 상기 차량으로부터 상기 가상의 좌측 차선과 상기 가상의 우측 차선 사이의 영역을 상기 차로 영역으로 설정하는 것을 특징으로 하는 차량 검출 방법.
  5. 청구항 1에 있어서,
    상기 차량의 밑면을 검출하는 단계는,
    상기 행의 위치 변화에 따른 상기 픽셀의 변화량을 이진화하여 미리 설정된 값 이상으로 변화하는 상기 행의 위치를 차량 밑면 후보로 추출하는 것을 특징으로 하는 차량 검출 방법.
  6. 청구항 5에 있어서,
    상기 차량의 밑면을 검출하는 단계는,
    상기 행의 위치 변화에 따른 상기 픽셀의 변화량을 이진화하여 미리 설정된 각도에 근접하는 상기 행의 위치를 차량 밑면 후보로 추출하는 것을 특징으로 하는 차량 검출 방법.
  7. 청구항 6에 있어서,
    상기 차량의 밑면을 검출하는 단계는,
    상기 추출된 차량 밑면 후보의 너비를 측정하고, 상기 측정된 너비를 비교하여 상기 너비가 가장 큰 상기 차량 밑면 후보를 상기 차량의 밑면으로 검출하는 것을 특징으로 하는 차량 검출 방법.
  8. 적어도 하나의 카메라가 설치된 차량에 구현되는 차량 검출 장치에 있어서,
    상기 적어도 하나의 카메라로부터 획득한 영상에서 차선을 검출하는 차선 검출부;
    상기 차선 검출 결과를 이용하여 상기 차량의 전방 또는 후방에 차로 영역을 설정하는 차로 영역 설정부; 및
    상기 설정된 차로 영역을 다수의 행(row)으로 구분하고, 상기 구분된 행 각각을 구성하는 픽셀(pixel)에 대하여 상기 행의 위치 변화에 따른 상기 픽셀의 변화량을 산출함으로써 상기 차량의 전방 또는 후방에 위치하는 차량의 밑면을 검출하는 차량 밑면 검출부를 포함하는 차량 검출 장치.
KR20140110394A 2014-08-25 2014-08-25 차선 검출을 이용한 차량 검출 방법 및 이를 수행하는 장치 KR101512598B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20140110394A KR101512598B1 (ko) 2014-08-25 2014-08-25 차선 검출을 이용한 차량 검출 방법 및 이를 수행하는 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20140110394A KR101512598B1 (ko) 2014-08-25 2014-08-25 차선 검출을 이용한 차량 검출 방법 및 이를 수행하는 장치

Publications (1)

Publication Number Publication Date
KR101512598B1 true KR101512598B1 (ko) 2015-04-15

Family

ID=53034718

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20140110394A KR101512598B1 (ko) 2014-08-25 2014-08-25 차선 검출을 이용한 차량 검출 방법 및 이를 수행하는 장치

Country Status (1)

Country Link
KR (1) KR101512598B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090074927A (ko) * 2008-01-03 2009-07-08 전남대학교산학협력단 차량검출방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090074927A (ko) * 2008-01-03 2009-07-08 전남대학교산학협력단 차량검출방법

Similar Documents

Publication Publication Date Title
US20210264176A1 (en) Hazard detection from a camera in a scene with moving shadows
CN105922991B (zh) 基于生成虚拟车道线的车道偏离预警方法及系统
EP3057063B1 (en) Object detection device and vehicle using same
US9771080B2 (en) Road surface gradient detection device
US9697421B2 (en) Stereoscopic camera apparatus
US9690993B2 (en) Method and device for analyzing trafficability
US9912933B2 (en) Road surface detection device and road surface detection system
US9898669B2 (en) Traveling road surface detection device and traveling road surface detection method
US9349070B2 (en) Vehicle external environment recognition device
US9594966B2 (en) Obstacle detection device and obstacle detection method
CN107750213B (zh) 前方车辆碰撞报警装置及报警方法
Kum et al. Lane detection system with around view monitoring for intelligent vehicle
CN107491065B (zh) 利用障碍物的地面边界信息检测物体的侧面的方法和装置
US10984263B2 (en) Detection and validation of objects from sequential images of a camera by using homographies
CN105849585A (zh) 物体识别装置
KR101268282B1 (ko) 차량용 내비게이션의 차선 이탈 알림 시스템 및 방법
KR102100047B1 (ko) 차선 끝점 검출 알고리즘을 이용한 차량 위치 인식 시스템 및 상기 차선 끝점 검출 알고리즘의 성능을 평가하는 방법
US20170358089A1 (en) Object identifying apparatus
KR101998584B1 (ko) 차선 검출 장치 및 차선 검출 방법
KR101263158B1 (ko) 차량의 검출 방법 및 장치
JP2018036225A (ja) 状態推定装置
KR101512598B1 (ko) 차선 검출을 이용한 차량 검출 방법 및 이를 수행하는 장치
US9519833B2 (en) Lane detection method and system using photographing unit
JP6378547B2 (ja) 車外環境認識装置
US11216678B2 (en) Vehicle exterior environment recognition apparatus and vehicle exterior environment recognition method

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
LAPS Lapse due to unpaid annual fee