KR101191308B1 - 지능형 운송 시스템의 도로 및 차선 검출 시스템 및 방법 - Google Patents

지능형 운송 시스템의 도로 및 차선 검출 시스템 및 방법 Download PDF

Info

Publication number
KR101191308B1
KR101191308B1 KR1020100051245A KR20100051245A KR101191308B1 KR 101191308 B1 KR101191308 B1 KR 101191308B1 KR 1020100051245 A KR1020100051245 A KR 1020100051245A KR 20100051245 A KR20100051245 A KR 20100051245A KR 101191308 B1 KR101191308 B1 KR 101191308B1
Authority
KR
South Korea
Prior art keywords
lane
color
road
region
information
Prior art date
Application number
KR1020100051245A
Other languages
English (en)
Other versions
KR20110131678A (ko
Inventor
정차근
Original Assignee
태성전장주식회사
호서대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 태성전장주식회사, 호서대학교 산학협력단 filed Critical 태성전장주식회사
Priority to KR1020100051245A priority Critical patent/KR101191308B1/ko
Publication of KR20110131678A publication Critical patent/KR20110131678A/ko
Application granted granted Critical
Publication of KR101191308B1 publication Critical patent/KR101191308B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/1006—Beam splitting or combining systems for splitting or combining different wavelengths
    • G02B27/1013—Beam splitting or combining systems for splitting or combining different wavelengths for colour or multispectral image sensors, e.g. splitting an image into monochromatic image components on respective sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0112—Head-up displays characterised by optical features comprising device for genereting colour display

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 지능형 운송 시스템을 위한 도로 및 차선 검출 시스템에 있어서, 칼라 정보를 센싱 출력하는 칼라센서 모듈 블록; 상기 칼라 정보를 HSI 칼라 공간으로 변환하는 칼라 공간 변환 블록; 분류된 HSI 칼라 정보로부터 칼라 영역을 분류하기 위한 칼라 영역 분할 블록; 칼라 정보로 부터 수평 소실선과 에지와 같은 특징부를 추출하는 도로 및 차선 특징 추출 블록; HSI 칼라 정보와, 수평 소실선 정보, 에지 정보 등을 통해 차선에 해당하는 관심 영역을 설정하고, 관심 영역을 이용하여 차선 영역과 도로 영역의 모델을 최적화하는 도로 및 차선 모델 최적화 블록; 및 이전 설정된 차선 영역과 도로 영역이 저장된 메모리 블록을 포함하는 것을 특징으로 하는 지능형 운송 시스템을 위한 도로 및 차선 검출 시스템 및 방법을 제공한다.

Description

지능형 운송 시스템의 도로 및 차선 검출 시스템 및 방법{ROAD AND LANE DETECTION SYSTEM FOR INTELLIGENT TRANSPORTATION SYSTEM AND METHOD THEREFOR}
본 발명은 지능형 운송 시스템을 위한 도로 및 차선 검출 시스템 및 방법에 관한 것으로, 칼라 정보의 분류와 파라볼릭 차선 모델에 의한 도로 및 차선 검출 방법에 관한 것이다.
지능형 운송 시스템(Intelligent Transportation System : 이하, 'ITS'라 함)은 도로와 차량 등 기존 교통의 구성 요소에 첨단 전자, 정보, 통신 기술을 적용시켜 교통시설을 효율적으로 운영하고, 통행자에게 유용한 정보를 제공함으로써, 안전하고, 편리한 통행과 전체 교통체계의 효율성을 기하도록 하는 교통부분의 정보화 사업이다. 즉, 도로와 차량 등 하드웨어 중심의 기반시설에 통신, 전자, 제어, 컴퓨팅기술 등의 소프트웨어 기술을 결합하여 교통 네트워크와 정보통신 네트워크 간의 통합 시스템을 의미한다.
최근에는 IT 기술의 진전과, ITS 시스템의 개선으로 인해 지능형 스마트 차량을 위한 연구가 획기적으로 발전하고 있다. 이와 더불어 지능형 로봇을 포함한 반도체, LCD와 같은 평판디스플레이, LED 등의 제조기술을 뒷받침하기 위한 제조장비의 자동화와 더불어 이송 시스템의 자동화 기술은 주요 핵심 연구 과제의 하나로 인식되고 있다.
이와 같은, ITS의 실현을 위한 많은 연구가 진행되어 부분적인 수준에서 실용화가 진행되고 있다. 그러나 안전성과 효율성을 갖춘 자율 주행 시스템의 스마트 지능형 차량을 구현하기 위해서는 다양한 색상의 도로나 차선인식뿐만 아니라 각종 형태의 교통신호, 교차로, 선행차량, 보행자나 정지 또는 이동 중인 장애물 등에 대한 높은 신뢰성을 갖는 검출기능이 필요하다.
스마트 ITS를 위한 주요 과제는 다양한 형태나 칼라 성분을 갖는 도로 및 차선의 검출과 추종, 주행차량 주변의 장애물 검출 등을 위한 최적 센서의 개발과 센서 융합처리 기술, 다양한 센서들의 신호를 효율적인 활용이 되도록 최적 신호처리 알고리즘의 개발이 필요하다.
도 1은 종래의 ITS 시스템을 설명하기 위한 블록도이다.
도 1에 도시된 바와 같이 종래의 ITS 시스템은 센서 모듈 블록(10)과, 도로 및 차선의 특징부 추출 블록(20)과, 도로 및 차선의 모델 매칭과 추종 블록(30)을 구비한다.
센서 모듈 블록(10)은 비전 센서, 레이더(Radar) 또는 LIDAR(Light Detection and Ranging) 센서, GPS를 사용하여, 차선이나 장애물 검출을 하고, 이에 따른 정보를 출력한다. 도로 및 차선의 특징부 추출 블록(20)에서는 센서 모듈 블록(10)의 출력 센서 신호 즉, 비전센서나, RADAR 센서의 신호로부터 에지(edge), 움직임 정보 또는 텍스처(texture)와 같은 정보를 검출한다. 도로 및 차선의 모델 매칭(model matching)과 추종 블록(30)에서는 특정 정보를 기반으로 차선의 위치를 추정하는 기능을 수행한다. 이를 통해 지능형 차량 시스템 제어를 수행하기 위한 최종 정보를 출력한다.
이러한 종래의 시스템에서 도로 및 차선의 특징부 추출 블록(20)은 신호의 세기(intensity)에 기반한 것으로 비전센서와 같은 센서 출력을 100% 활용하지 못하는 단점이 있다.
더욱이 도로 및 차선의 검출을 수행함과 동시에 차선을 자동으로 추종하고, 주행차량 주변의 장애물을 검출하기 위해서는 비전센서 이외에 레이더 센서, LIDAR 센서, GPS에 의한 네비게이션 시스템과의 매칭이나 복합 센서의 융합 등의 방법을 사용하고 있다. 하지만, 기존의 시스템들은 다양한 도로나, 차선 그리고, 주변 환경의 변화 등을 충분히 반영한 효율적이고 잡음에 강한 시스템이 되지 못하는 실정이다. 따라서, 현재까지 이러한 기존에 제안된 시스템들이 실용화단계에 이르지 못하는 단점이 있었다.
일반적으로 비전센서 기반의 센싱 시스템은 저렴한 비용으로 많은 정보추출이 가능하고 기존의 다양한 비전처리 기법을 활용할 수 있는 장점이 있어, 기존의 지능형 차량을 위한 방법으로 널리 사용되고 있다. 또한, 도로 및 차선 검출의 경우 다양한 환경을 고려해서 정확한 차선의 위치를 검출하기 위해 에지기반의 방법, 주파수 성분의 변화에 기반한 방법 및 도로의 적응적 탬플릿(template) 매칭 방법 등 많은 방법이 제안되었다. 하지만, 이러한 방법들은 모두 제한적인 정보를 사용함으로 인해 장점 뿐만 아니라 문제점도 포함하고 있다. 따라서, 현재 시스템에 응용하는데는 그 한계가 있다.
칼라 정보는 물체의 세그맨테이션과 인식, 특정 물체의 검출과 추적 그리고 얼굴인식 등 다양한 분야의 비전 시스템에 이용된다.
특히 칼라정보는 물체의 스케일 변화, 해상도, 회전, 폐색(occlusion) 발생 등 물체의 기하학적 변화에 비교적 강인한 특성이 있다. 따라서, 물체의 로컬리제이션(localization), 분할과 추적 등을 위한 핵심정보로 이용되고 있다. 이러한 칼라 정보는 도로 및 차선의 추출과 같은 문제에 대해서는 도로 및 차선의 기하학적 정보에 비해 많은 강점을 가질 수 있으나, 현재, 충분한 칼라정보를 활용하고 있지 못하다.
이와 같이 실제도로의 모든 차선 패턴이나 도로조건(환경)에 강한 차선 검출 연구가 진행되어 제한적인 기능을 중심으로 실용화 단계에 이르고 있다. 하지만, 이러한 기능을 실시간 처리를 위해서는 차선 및 도로 조건의 물리적인 제한 등 범용성에 한계가 있다.
카메라를 사용하는 경우, 영상에서 차선이 존재하는 영역은 일정한 범위에 한정된다. 하지만, 기존 방법의 경우, 차선이 한정된 상황을 고려하지 않고, 영상 전체를 대상으로 차선 검출을 수행함으로 인해 많은 처리 시간이 소요되는 단점이 있다. 또한, 에지방향성에 대한 통계적인 성질을 충분히 이용하지 않기 때문에 잡음 등에 민감하게 반응하는 문제가 있다.
따라서, 본 발명은 상기의 제반 문제를 해결하기 위하여 창출된 것으로, 실제도로의 차선형태나 색상변화 그리고 도로의 환경변화 등을 반영한 차선검출 및 추종 시스템 즉, 칼라정보를 기반으로 한 새로운 차선검출 및 추종 시스템 및 방법을 제공한다.
여기서, 밝기변화, 그림자 등 명도변화에 대한 영향을 줄여 이미지 센서의 촬상조건에 따른 감도변화의 영향을 완화시키기 위해 카메라에서 출력되는 RGB 칼라정보의 문제를 개선하기 위해 HSI(Hue Saturation Intensity) 칼라공간으로 변환시킨다. 또한, 최적의 평균변화율에 따라 도로 및 차선의 칼라영역을 추출할 수 있도록 반복 알고리즘에 의한 칼라분류 방법을 적용해서 차선의 관심영역과 도로영역을 추출한다. 그리고, 차선의 관심 영역을 대상으로 에지의 크기 및 방향성 성분의 검출하고 이를 이용해서 파라볼릭 차선 모델을 기반으로 한 모델 매칭을 방법을 사용해서 최종적인 차선을 검출한다. 그리고, 실제 환경에서는 도로 및 차선이 급격하게 변화되지 않고 완만한 변화율을 유지하는 특성을 이용하기 위해 메모리 장치에 이전의 처리결과를 저장해서 활용함으로써, 도로 및 차선 검출의 신뢰성을 높일 수 있는 지능형 운송 시스템을 위한 도로 및 차선 검출 시스템 및 방법을 제공한다.
본 발명에 따른 지능형 운송 시스템을 위한 도로 및 차선 검출 시스템에 있어서, 칼라 정보를 센싱 출력하는 칼라센서 모듈 블록과, 상기 칼라 정보를 HSI 칼라 공간으로 변환하는 칼라 공간 변환 블록과, 분류된 HSI 칼라 정보로부터 칼라 영역을 분류하기 위한 칼라 영역 분할 블록과, 칼라 정보로부터 수평 소실선과 에지와 같은 특징부를 추출하는 도로 및 차선 특징 추출 블록과, HSI 칼라 정보와, 수평 소실선 정보, 에지 정보 등을 통해 차선에 해당하는 관심 영역을 설정하고, 관심 영역을 이용하여 차선 영역과 도로 영역의 모델을 최적화하는 도로 및 차선 모델 최적화 블록 및 이전 설정된 차선 영역과 도로 영역이 저장된 메모리 블록을 포함하는 것을 특징으로 하는 지능형 운송 시스템을 위한 도로 및 차선 검출 시스템을 제공한다.
상기 칼라 센서 모듈 블록은 비전센서, 레이더 또는 LIDAR 센서 및 GPS를 사용하여 차선이나 장애물을 센싱 출력하는 것을 특징으로 한다.
상기 칼라 영역 분할 블록은 HSI 칼라 공간으로 변환된 칼라 정보로 부터 칼라 영역을 분할하되, 각 영역의 칼라 확률분포가 가우시안 분포 함수를 갖는 것으로 하고, 각 영역에서의 마할라노비스(Mahalanobis) 거리가 최소가 되도록 반복 연산하여 최적화하는 것을 특징으로 한다.
상기 칼라 영역 분할 블록은 샘플
Figure 112010035012983-pat00001
의 이동에 따른 마할라노비스 거리 함수의 변화로부터 하기 수학식
Figure 112010035012983-pat00002
(xk는 Dk에 속한 HSI 칼라 성분, Uk는 영역의 평균값, Nk는 영역의 화소수, T는 전자 행렬)의 조건에 만족하는 경우에만 샘플
Figure 112010035012983-pat00003
를 영역 Dk에서 Dj로 이동시켜 영역간의 칼라 동질성이 유지되는 칼라영역을 분류하고, 이를 반복함으로써 최적의 칼라 영역을 분류하는 것을 특징으로 한다.
상기 도로 및 차선 특징 추출 블록은 카메라 및 차선의 기하학적 좌표계를 이용하여 수평 소실선 정보를 검출하는 수평 소실선 검출부와, 소벨 연산자에 의한 1차 미분으로 차선의 에지 성분을 검출하는 에지 검출부를 포함하는 것을 특징으로 한다.
상기 도로 및 차선 모델 최적화 블록은 수평 소실선과 칼라 영역 분류 결과를 이용하여 도로와 차선에 해당하는 블록 형태의 관심 영역을 검출하는 관심영역 검출부와, 관심 영역에서 차선 이외의 정보를 제거하여 처리 속도와 검출 성능을 향상시키는 아웃라이어 제거부와, 직선 및 곡선의 차선 형상을 반영하기 위해 파라볼릭 차선 모델을 적용한 모델 매칭부를 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 센서를 통해 도로 및 차선에 해당하는 칼라 정보를 센싱하는 단계와, 상기 칼라 정보를 HSI 칼라 공간 정보로 변환하는 단계와, 칼라공간의 변환에 따른 반복 연산에 의한 최적화 방법의 사용으로 도로 및 차선의 칼라영역을 분류하고, 카메라 및 차선의 기하학적 좌표계의 해석을 통해 수평소실선을 추정하는 단계와, 칼라 영역의 분류와 수평 소실선에 관한 정보로부터 도로 및 차선과 관련 없는 정보를 제거하여 전체 도로 영역을 분류하는 단계와, 전체 도로 영역에서 흰색(White), 노란색(Yellow), 파란색(Blue), 빨강색(Red) 등 차선으로 분류된 칼라영역을 기반으로 에지 영역을 검출하고, 검출된 에지 등의 특징 정보를 기준으로 차선에 해당하는 관심 영역을 설정하는 단계와, 상기 관심 영역을 대상으로 파라볼릭 차선 모델의 파라미터를 추정해서 차선을 검출하는 단계를 포함하는 것을 특징으로 하는 지능형 운송 시스템을 위한 도로 및 차선 검출 방법을 제공한다.
상술한 바와 같이 본 발명은 칼라공간의 변환에 의한 반복 연산에 의한 최적화 방법의 사용으로 도로 및 차선의 칼라영역을 분할하는 것이 가능하다. 또한, 잡음제거와 동시에 에지성분을 강조하고 에지 방향성 성분을 검출할 수 있도록 함으로서 차선검출을 위한 특징정보의 신뢰성 및 효율성을 높일 수 있고, 칼라영역의 정보, 잡음에 강인한 특징정보, 이전 처리결과의 활용 등으로 신뢰성 높은 관심영역의 검출이 가능해 계산량의 감소 및 처리 시스템의 간소화할 수 있으며, 차선 모델에의 매칭 방법을 적용함으로서 직선 및 곡선 차선 등 다양한 차선에의 대응이 가능할 수 있다.
도 1은 종래의 ITS 시스템을 설명하기 위한 블록도.
도 2는 본 발명의 일 실시예에 따른 지능형 운송 시스템을 위한 도로 및 차선 검출 시스템의 블록도.
도 3은 일 실시예에 따른 최적의 칼라 영역을 분류하기 위한 알고리즘.
도 4는 일 실시예에 따른 도로 및 차선 특징 추출 블록 및 모델 최적화 블록의 개념도.
도 5는 일 실시예에 따른 지능형 운송 시스템을 위한 도로 및 차선 검출 방법을 설명하기 위한 흐름도.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 더욱 상세히 설명하기로 한다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 도면상에서 동일 부호는 동일한 요소를 지칭한다.
도 2는 본 발명의 일 실시예에 따른 지능형 운송 시스템을 위한 도로 및 차선 검출 시스템의 블록도이다. 도 3은 일 실시예에 따른 최적의 칼라 영역을 분류하기 위한 알고리즘이다.
도 2를 참조하면, 본 실시예의 지능형 운송 시스템을 위한 도로 및 차선 검출 시스템은 칼라센서 모듈 블록(100)과, 칼라 공간 변환 블록(200)과, 도로 및 차선 특징 추출 블록(300)과, 칼라 영역 분할 블록(400)과, 도로 및 차선 모델 최적화 블록(500) 및 메모리 블록(600)을 포함한다.
칼라 센서 모듈 블록(100)은 비전 센서, 레이더 또는 LIDAR 센서, GPS를 사용하여, 차선이나 장애물 검출하고, 이를 출력한다. 즉, 칼라 센서 모듈 블록(100)은 센서를 통해 칼라 정보를 입력받고, 이에 따른 정보를 출력한다.
칼라는 지능형 차량을 위한 차선검출 및 장애물 인식에서 중요한 정보로 사용된다. 즉, 도로 및 차선의 경우 사용되는 색상이 White(W), Black(B), Yellow(Y), Blue(B) 또는 Red(R) 등으로 매우 제한되어 있어 칼라정보의 효율적인 이용으로 차선의 검출과 추종, 주행차량 주변의 장애물 검출 성능을 크게 개선시키는 것이 가능하다.
임의의 물체에 대한 칼라정보는 명도(illumination), 물체 고유의 반사특성, 촬상의 기하학적 특성, 센서의 고유 특성 등에 좌우되고, 주위 밝기(ambient light)나 물체의 부분적인 움직임 등의 요인에도 영향을 크게 받을 뿐만 아니라 사용하는 카메라의 광학적 특성에 따라 동일한 촬상조건에서도 상이한 칼라를 갖는다. 이를 해결하기 위해, 칼라 표준화(color normalization) 및 칼라 불변성(color constancy) 등의 파라미터를 제어하는 방법이 제안되고 있다.
RGB 칼라공간에서의 칼라는 조도에 따른 촬상 센서 파라미터의 변화, 센서의 반사 특성 등에 매우 민감하게 반응하므로 도로 및 차선의 다양한 환경 변화에 효율적인 대응이 어렵다. 외부 환경변화에 보다 안정적인 칼라공간에서의 칼라 표현을 도출하기 위해서는 적합한 칼라 공간의 변환이 필요하다. 기계(Machine) 비전에서 칼라의 핵심정보(color cue) 사용이 갖는 주요 과제는 조명 변화(lighting changes)에 의해 발생되는 칼라값의 변화로부터 발생하는 칼라 불변성(color constancy) 문제이다.
이는 특히 RGB 칼라공간에서 크게 부각되는 문제로, 실외 환경에서 칼라는 촬상시간, 구름의 상태나 양, 대기조건, 그림자 등의 주변조건 등에 따라 가변된다.
따라서 변화 가능한 조합의 수가 너무 많으므로, 칼라의 변화는 실제 구별되는 2개의 칼라 사이의 차이보다 서로 다른 값을 가질 확률이 많다. 상이한 조명조건에서 표면 칼라를 가능한 동등하게 하기 위해 흰색 조정의 방법이 제안되어 있으나 모든 조명조건을 보상할 수 없고 칼라공간에서의 흰색이 카메라의 촬상시점에 고정되어 있어야 하는 것이 필요하므로 현실적이지 못하다.
본 실시예에서는 칼라 센서 모듈 블록(100)의 출력 정보를 HSI(Hue Saturation Intensity) 칼라 공간으로 변환하는 칼라 공간 변환 블록(200)을 구비한다.
이를 통해 칼라 영역 분할 블록(400)은 칼라공간의 변환에 의한 반복 연산에 의한 최적화 방법의 사용으로 도로 및 차선의 칼라영역을 분할하는 것이 가능하게 된다.
디스플레이 장치 등과 같은 하드웨어에 적합한 RGB 칼라공간과 달리 HSI 칼라공간은 인간의 색인지에 기반한 칼라모델로서 한정된 범위의 색상(H), 채도(S), 명도(I) 값으로 물체의 모든 칼라를 표현한다. 따라서 명도변화의 영향을 일정하게 제한할 수 있으며, 색상과 밝기를 분리시켜 표현할 수 있어 모든 칼라에 대한 칼라모델의 적응화 과정을 완화시킬 수 있는 특징을 갖는다.
HSI 칼라공간에서 H는 0 내지 360°의 범위를 갖고 구체적인 칼라를 나타내고, S는 0 내지 1(원의 반지름에 해당)의 값을 가지면서 칼라의 포화도를 나타낸다. 명도는 Z축에 해당하고 I는 0 내지 1의 범위에서 변화하고 0은 검정색(black), 1은 흰색(white)의 값이다. RGB 칼라공간에서 HSI 칼라공간으로의 칼라변환은 다음의 식 (1)과 같다.
Figure 112010035012983-pat00004
상기 수학식에서 B>G이면 H = 360°-H이다.
본 실시예에서는 상기의 칼라 공간 변환 블록(200)에 의해 HSI 칼라공간으로 변환된 칼라정보로부터 칼라영역을 분류하기 위해 칼라 영역 분할 블록(400)을 구비한다.
칼라 영역 분할 블록(400)은 각 영역의 칼라 확률분포가 가우시안 분포함수를 갖는 것으로 가정하고, 영역에서의 마할라노비스(Mahalanobis) 거리가 최소가 되도록 반복연산에 의한 최적화 방법을 적용한다. 여기서, 최적화 방법은 적당히 분할된 초기영역을 대상으로 마할라노비스 거리가 줄어드는 방향으로 영역간의 칼라 샘플을 이동시켜 영역내에서의 칼라 확률분포가 최대가 되도록 해서 칼라 영역의 분할을 수행한다.
이를 위해 먼저 다음의 수학식 2와 같이 메트릭 함수로 주어진 평가함수 Je를 정의한다.
Figure 112010035012983-pat00005
여기서 R은 사전에 분류된 칼라 영역의 개수이고 Jk는 다음의 수학식 3으로 주어지는 마할라노비스 거리함수이다.
Figure 112010035012983-pat00006
수학식 3에서 xk는 영역 Dk에 속한 HSI 칼라 성분으로
Figure 112010035012983-pat00007
로 주어지는 벡터이고, T는 전치행렬을 나타낸다. μk는 영역 Dk의 평균값으로 그 영역에서의 화소수가 Nk라 하면 하기 수학식 4와 같다.
Figure 112010035012983-pat00008
Figure 112010035012983-pat00009
(X=H, S, I의 각각을 나타내는 HSI 칼라 샘플)
상기 식에서
Figure 112010035012983-pat00010
는 수학식 5와 같이 그 영역에서의 칼라성분간 공분산(covariance) 이다.
Figure 112010035012983-pat00011
여기서, 동질의(homogeneous) 칼라성분만으로 구성된 최적의 칼라영역을 분류하기 위해 임의의 영역 Dk에 속한 샘플
Figure 112010035012983-pat00012
를 새로운 영역 Dj로 이동하는 경우 영역간 평가함수 Je의 변화는 다음과 같은 것을 유도할 수 있다. 먼저 새로운 칼라 샘플
Figure 112010035012983-pat00013
의 추가에 의해 영역 Dj에서의 평균, 공분산 및 마할라노비스 거리함수의 변화는 각각 하기 수학식들과 같다.
평균은 수학식 6과 같다.
Figure 112010035012983-pat00014
공분산의 변화는 수학식 7과 같다
Figure 112010035012983-pat00015
표준(Criterion)의 변화는 수학식 8과 같다.
Figure 112010035012983-pat00016
다음으로 샘플
Figure 112010035012983-pat00017
가 다른 영역으로 이동한 영역 Dk에서의 각 함수의 변화는 다음과 같다.
평균의 변화는 수학식 9와 같다.
Figure 112010035012983-pat00018
공분산의 변화는 수학식 10과 같다.
Figure 112010035012983-pat00019
표준의 변화는 수학식 11과 같다.
Figure 112010035012983-pat00020
샘플
Figure 112010035012983-pat00021
의 이동에 따른 마할라노비스 거리함수의 변화로부터 다음 수학식 12의 조건을 만족하는 경우에만 샘플
Figure 112010035012983-pat00022
를 영역 Dk에서 Dj로 이동시킴으로서 영역간 칼라의 동질성이 유지되는 칼라영역을 분류할 수 있다.
Figure 112010035012983-pat00023
이상의 과정을 반복함으로서 최적의 칼라영역을 분류할 수 있다.
이러한 반복 과정은 도 3에 도시된 알고리즘을 이용하여 실시될 수 있다.
도 4는 일 실시예에 따른 도로 및 차선 특징 추출 블록 및 모델 최적화 블록의 개념도이다.
도 4를 참조하면, 도로 및 차선 특징 추출 블록(300)은 수평 소실선 검출부(310)와, 에지 검출부(320)를 구비한다.
도로 및 차선 모델 최적화 블록(400)은 관심영역(ROI) 검출부(410)와, 아웃라이어(outlier)제거부(420)와, 모델 매칭부(430)를 구비한다.
도로 및 차선 특징 추출 블록(300)의 수평 소실선 검출부(310)는 카메라 및 차선의 기하학적 좌표계를 이용하여 수평 소실선을 검출한다.
수평 소실선은 공간좌표계 내부의 평행선의 투사과정으로 영상평면에 만들어지는 수평선으로, 그 교차점을 수평소실선(vanishing point)이라 한다. 지능형 차량을 위한 차선 검출에서 수평소실선은 영역을 한정시켜보다 정확한 차선 검출에 활용되고 있다.
이는 2D 영상에서 3D 정보의 하나인 평행선 추출을 통해 3D 기하학적 구조 해석에 사용되어 왔다. 수평소실선의 검출 문제는 지상좌표계의 평행선이 영상평면 내에 생성한 교차점을 검출하는 문제에 해당되고, 이를 검출하는 방법으로 허프(Hough) 변환이나 가우시안(Gaussian) 함수에 의한 투표법(voting), 통계적인 접근법, 라인 클러스터링 등이 연구되어 왔다.
본 실시예에서는 이보다 간단한 방법으로 카메라 및 차선의 기하학적 좌표계의 해석을 통해 수평소실선을 추정한다.
즉, 차선은 평탄한 평면(flat plane)으로 가정한다. 또한 영상 센싱을 위한 카메라는 차선진행 방향으로 H의 높이로 차량에 고정되어 있는 것으로 한다. 지상좌표계를 (X, Y, Z), 카메라좌표계를 (Xc, Yc, Zc) 그리고 촬상된 영상평면의 좌표계를 (u, v)라 하면, 지상좌표계와 카메라 좌표계의 관계는 수학식 13의 관계를 갖는다.
Figure 112010035012983-pat00024
여기서 각도(angle) φ는 지평면에 대한 카메라 경사각 (tilted angle)이고, 는 F카메라 시선(line of sight)이 차선의 지상면과의 교차점까지의 거리로서
Figure 112010035012983-pat00025
가 되는 것을 알 수 있다. 핀 홀(pin-hole) 카메라에서 영상평면으로의 투시 투영(perspective projection)을 가정하면, 영상평면 좌표계 (u, v)와 Z=0인 차선의 지상평면(flat plane)의 좌표계 (X, Y, Z)의 관계는 하기 수학식 14와 같다.
Figure 112010035012983-pat00026
여기서, f는 카메라의 초점 거리이다. 따라서 구하고자 하는 수평소실선의 위치 vo는 수학식 15와 같이 도출된다.
Figure 112010035012983-pat00027
관심영역 검출부(410)는 차선 검출에서 관심 영역을 추출하여 계산량의 삭감 및 검출 결과의 성능을 개선할 수 있다. 관심 영역 검출부(410)는 수평 소실선과 칼라 영역 분류 결과를 이용하여 도로와 차선에 해당하는 블록 형태의 관심 영역을 검출할 수 있다.
실제의 도로 영상을 대상으로 한 차선검출에 있어 수평소실선 이상의 영역에는 차선이 존재하지 않으므로 영상처리의 필요성이 없고, 실제 차선의 연속성과 완만한 변화 특성을 고려함과 동시에 직전 영상의 결과를 반영한 경우 현 영상에서의 차선은 직전 영상 차선의 좌우측 일정한 영역 안에 존재하게 된다. 또한 차량에 일정한 높이로 고정된 카메라의 특성으로부터 차량에 인접한 차선은 직선으로 근사시킬 수 있고, 수평 소실선 부근에 비해 비교적 두꺼운 차선폭을 갖는다.
수평소실선과 칼라 영역 분류에 관한 결과로부터 개략적인 도로와 차선의 영역을 검출할 수 있다. 이를 바탕으로 보다 세분화된 차선의 관심영역을 추출하기 위해 차선의 기하학적 구조를 사용한다. 즉 칼라영역 분류의 결과에 따라 주행차량에 인접한 영역을 대상으로 직전 프레임에서 왼쪽 차선이 수평 소실선과 수평선(x-축)과 각기 이루는 각(angle)을 θ라 하면, θ1과 θ2는 각각 최적의 관심영역을 결정하기 위한 각도가 된다. 차선에 해당하는 칼라영역으로부터 높이가 h인 작은 블록으로 관심영역을 고정시키게 되면 i번째 블록의 폭 wi는 수학식 16과 같이 계산된다.
Figure 112010035012983-pat00028
비록 관심영역에 해당하는 각 블록의 크기는 카메라의 공간해상도와 차량의 이동속도 등에 따라 가변되어야 하지만, 수학식 16으로부터 차량에 인접한 블록의 폭은 넓고, 수평소실선에 근접할수록 블록의 폭이 좁아져 고정된 카메라에 촬상된 차선의 특성을 잘 반영할 수 있다.
이와 같은 블록 형태의 관심영역을 사용함으로서 다양한 차선의 패턴이나 직선 또는 곡선 등의 도로형상에 유연하게 대응할 있으며, 차선이 검출영역을 벗어나는 경우를 최소화하기 위함이다. 또한 실제 도로에서는 차선이외에 방향안내 표시나 제한속도 표기 등의 다양한 주행 안내 정보나 횡단보도, 4거리 등과 같이 차선이외에 다양한 마킹이 존재한다. 기존의 알고리즘에 의한 차선 검출에서 이들 주행안내 정보가 차선으로 오인식될 가능성이 크다. 그러나 제안방법에서와 같이 관심영역 기반의 차선 검출을 수행함으로서 도 4에서 도시한 아웃라이어 제거부(420)에서 차선 이외의 정보를 제거함으로서 처리속도와 검출성능을 높일 수 있다. 아웃라이어 제거부(420)는 처리 속도와 검출 성능을 향상시키기 위해 관심 영역 즉, 차선 이외의 정보를 제거한다.
도로 및 차선 특징 추출부(300)의 에지 검출부(320)는 소벨(Sobel) 연산자에 의한 1차 미분으로 차선의 에지 성분을 검출한다. 물론 이외의 에지 검출 방법으로는 캐니(Canny) 연산자와 같은 2차 미분에 의한 제로 교차점 또는 스티어러블(Steerable) 필터 등이 사용될 수 있다. 본 실시예에서는 간단한 연산으로 영상의 변화 및 방향성 정보를 충분히 추출할 수 있는 소벨 연산자에 의한 1차 미분으로 차선의 에지 성분을 검출한다. 에지 이미지는 관심영역 내부의 화소를 대상으로 처리한다.
소벨 연산자에 의한 1차 미분성분의 크기 G(x,y)와 그 방향성분 θ(x,y)에 대해, 차선으로 인식할 수 없는 잡음성 에지 이미지의 제거는 관심영역 내부의 에지성분의 크기(intensity)의 평균값 Gave을 계산하고, 이를 기준으로 다음의 수학식 17과 같이 처리한다.
Figure 112010035012983-pat00029
여기서 Ntot는 관심영역에서의 G(x,y) 화소의 전체 개수이고, Ω는 관심영역을 나타낸다.
관심영역에서의 에지 g(x,y)는 하기 수학식 18과 같다.
Figure 112010035012983-pat00030
상기의 수식과 같이 처리함으로서 영상의 휘도변화를 반영한 기준치 처리로 다양한 태양광 조명조건 변화의 영향을 줄일 수 있다.
영상의 촬상과정에 혼입된 부가성 가우시안(Gaussian) 잡음 제거를 위해 저역통과필터(LPF; Low Pass Filter)에 의한 전처리 과정이 필요하다. 이와 같이 잡음제거를 위해 LPF를 적용하면 잡음성분의 제거뿐만 아니라 차선과 같은 유용한 에지 정보까지 소실되는 문제가 발생한다. 특히 실제의 차도에서의 차선은 선명하지 않거나 여러 원인으로 차선의 구별이 명확하지 않은 경우가 많다. 따라서 단순한 LPF의 적용은 차선검출의 결과에 큰 영향을 미치게 된다.
이를 해결하기 위해 본 실시예에서는 라플라시안(Laplacian) 필터함수를 사용해서 차선의 에지 보강을 수행했다. 입력영상에 라플라시안
Figure 112010035012983-pat00031
를 적용하면 고주파 성분은 강조되고 저주파 성분은 줄어드는 효과를 갖는다. 이때
Figure 112010035012983-pat00032
으로 정의되는 함수이고, 이를 이용해서 에지를 보강한 신호 E(x,y)는 수학식 19와 같이 주어진다.
Figure 112010035012983-pat00033
이에, 좌우측의 관심영역 전체에 대해 에지의 방향성 θ(x,y)의 평균
Figure 112010035012983-pat00034
과
Figure 112010035012983-pat00035
, 그리고 분산 σTL, σTR각 차선의 관심영역 내 블록별 평균
Figure 112010035012983-pat00036
, 분산 σiL, σiR을 구해서 에지의 클러스터링을 수행한다.
좌측 차선을 대상으로 i번째 블록에서의 평균과 분산의 차이를 하기 수학식과 같이 정의한다.
평균 에지 방향 차(Average edge orientation difference)는 수학식 20과 같다.
Figure 112010035012983-pat00037
에지 방향 변화량 차(Edge orientation variance difference)는 수학식 21과 같다.
Figure 112010035012983-pat00038
이들의 분포에 따라 서로 다르게 처리함으로서 각 영역에서의 차선 이외의 에지 성분의 제거와 강인한 차선 검출을 가능하게 한다.
이때,
Figure 112010035012983-pat00039
이고
Figure 112010035012983-pat00040
이면 동일방향의 차선을 갖는 영역으로 처리한다.
Figure 112010035012983-pat00041
이고
Figure 112010035012983-pat00042
이면 동일방향의 차선 이외에 차선과 다른 에지 성분이 혼입되어 있는 영역으로 인식하고
Figure 112010035012983-pat00043
보다 큰 방향성의 에지성분을 제거한다.
Figure 112010035012983-pat00044
이고
Figure 112010035012983-pat00045
이면 곡선 등과 같이 차선의 방향이 변화되는 영역으로 처리한다.
Figure 112010035012983-pat00046
이고
Figure 112010035012983-pat00047
이면 곡선과 같이 차선의 방향이 변화되는 영역임과 동시에 차선 이외의 에지 성분이 혼입되어 있는 영역으로 인식하고
Figure 112010035012983-pat00048
보다 큰 방향성의 에지성분을 제거한다.
또한, 본 실시예의 모델 매칭부(430)는 비교적 간단한 계산으로 직선 및 곡선의 차선 형상을 반영할 수 있도록 하기 위해 파라볼릭(parabolic) 차선 모델을 적용한다. 물론 이외에 직선 및 곡선의 차선, 연속 또는 불연속선 등 다양한 형태나 형상을 갖는 차선을 검출하기 위해 직선 또는 2차 함수에 의한 곡선, 나선형 곡선(clothoid) 함수 등 많은 차선모델이 사용될 수 있다.
본 실시예에서는 수학식 22와 같은 간단한 파라메타 파라볼릭 레인 모델(parametric parabolic lane model)을 기반으로 검출 시스템의 복잡도를 줄이면서 잡음에 강인한 차선을 검출한다.
Figure 112010035012983-pat00049
주행차량의 인접한 차선은 일반적으로 직선에 가깝고 멀리 떨어진 경우에는 직선 또는 곡선 등 다양한 차선형태를 가지므로 이를 구분하기 위해 주행차량을 기준으로 일정한 기준값 xm을 설정해서 기준값 xm에서 수평소실선까지는 곡선의 영역으로, 주행차량에서 기준값 xm까지는 직선의 차선으로 가정하고 차선과 관련없는 정보가 제거된 관심영역에서 모델 매칭을 수행해 차선을 검출한다.
상기 수학식 22의 파라볼릭 차선모델의 파라미터 a,b,c 등의 최적값을 구하기 위해 하기 수학식 23과 같은 최소평균자승에러(Minimum Mean Square Error : MMSE)의 평가함수를 설정하고 그 최소값을 계산한다.
Figure 112010035012983-pat00050
상기 수학식 23에서 Mni과 (yn,xn)은 주행차량 부근의 직선차선에 해당하는 관심영역의 에지크기 g(x,y)와 그 좌표값을 나타낸 것이고, Mfj와 (yf,xf)는 멀리 떨어진 관심영역에서의 에지크기 성분 g(x,y)와 그 좌표를 나타낸 것이다. 수학식 23으로부터 MMSE를 구하면 파라볼릭 차선 모델의 파라미터 a, b, c는 하기 수학식 24와 같이 도출된다.
Figure 112010035012983-pat00051
Figure 112010035012983-pat00052
Figure 112010035012983-pat00053
Figure 112010035012983-pat00054
상기에서 설명한 과정을 통해 도로 및 차선의 검출 과정은 다음과 같다.
도 5는 일 실시예에 따른 지능형 운송 시스템을 위한 도로 및 차선 검출 방법을 설명하기 위한 흐름도이다.
도 5를 참조하면, 칼라공간의 변환에 따른 반복 연산에 의한 최적화 방법의 사용으로 도로 및 차선의 칼라영역을 분할(또는 분류)한다. 이어서, 카메라 및 차선의 기하학적 좌표계의 해석을 통해 수평소실선을 추정한다(S110).
이어서, 칼라 영역의 분류와 수평 소실선에 관한 정보로부터 도로 및 차선과 관련 없는 정보를 제거하여 전체 도로 영역을 분류한다(S120).
이어서, 전체 도로 영역에서 흰색(White), 노란색(Yellow), 파란색(Blue), 빨강색(Red) 등 차선으로 분류된 칼라영역을 기반으로 에지 영역을 검출하고(S130), 검출된 에지 등의 특징 정보를 기준으로 차선에 해당하는 관심 영역을 설정한다(S150). 이때, 관심 영역을 전체 도로 영역에서 제외시키고, 나머지 부분을 도로 영역으로 분류한다. 이를 통해 잡음제거와 동시에 에지성분을 강조하고 에지 방향성 성분을 검출할 수 있도록 함으로써 차선검출을 위한 특징정보의 신뢰성 및 효율성을 높일 수 있다.
상기의 관심 영역을 대상으로 파라볼릭 차선 모델의 파라미터를 추정해서 차선을 검출한다(S160). 그리고, 관심영역에서 차선 이외에 영역을 도로 영역으로 분류하고, 앞서 분류한 도로 영역에 부가시켜 최종의 도로 및 차선을 검출한다.
이를 통해 칼라영역의 정보, 잡음에 강인한 특징정보, 이전 처리결과의 활용 등으로 신뢰성 높은 관심영역의 검출이 가능해 계산량의 감소 및 처리 시스템의 간소화가 가능하여 실시간 처리를 할 수 있다. 또한, 차선 모델에의 매칭 방법을 적용함으로서 직선 및 곡선 차선 등 다양한 차선에의 대응이 가능하다.
10 : 센서 모듈 블록
20 : 도로 및 차선 특징부 추출 블록
30 : 도로 및 차선 모델 매칭과 추출 블록
100 : 칼라 센서 모듈
200 : 칼라 공간 변환 블록
300 : 도로 및 차선 특징 추출 블록
310 : 수평 소실선 검출부
320 : 에지 검출부
400 : 칼라 영역 분할 블록
410 : 관심 영역 검출부
420 : 아웃라이어 제거부
430 : 모델 매칭부
500 : 도로 및 차선 모델 최적화 블록
600 : 메모리 블록

Claims (7)

  1. 지능형 운송 시스템을 위한 도로 및 차선 검출 시스템에 있어서,
    칼라 정보를 센싱 출력하는 칼라센서 모듈 블록;
    상기 칼라 정보를 HSI 칼라 공간으로 변환하는 칼라 공간 변환 블록;
    분류된 HSI 칼라 정보로부터 칼라 영역을 분류하기 위한 칼라 영역 분할 블록;
    칼라 정보로 부터 수평 소실선과 에지와 같은 특징부를 추출하는 도로 및 차선 특징 추출 블록;
    HSI 칼라 정보와, 수평 소실선 정보 및 에지 정보를 통해 차선에 해당하는 관심 영역을 설정하고, 관심 영역을 이용하여 차선 영역과 도로 영역의 모델을 최적화하는 도로 및 차선 모델 최적화 블록; 및
    이전 설정된 차선 영역과 도로 영역이 저장된 메모리 블록을 포함하는 것을 특징으로 하는 지능형 운송 시스템을 위한 도로 및 차선 검출 시스템.
  2. 제1항에 있어서,
    상기 칼라 센서 모듈 블록은 비전센서, 레이더(Radar) 또는 LIDAR 센서를 사용하거나 GPS를 사용하여 차선이나 장애물을 센싱 출력하는 것을 특징으로 하는 지능형 운송 시스템을 위한 도로 및 차선 검출 시스템.
  3. 제1항에 있어서,
    상기 칼라 영역 분할 블록은 HSI 칼라 공간으로 변환된 칼라 정보로부터 칼라 영역을 분할하되, 각 영역의 칼라 확률분포가 가우시안 분포 함수를 갖는 것으로 하고, 각 영역에서의 마할라노비스(Mahalanobis) 거리가 최소가 되도록 반복 연산하여 최적화하는 것을 특징으로 하는 지능형 운송 시스템을 위한 도로 및 차선 검출 시스템.
  4. 제1항에 있어서,
    상기 칼라 영역 분할 블록은 샘플
    Figure 112010035012983-pat00055
    의 이동에 따른 마할라노비스 거리 함수의 변화로부터 하기 수학식
    Figure 112010035012983-pat00056

    (xk는 Dk에 속한 HSI 칼라 성분, Uk는 영역의 평균값, Nk는 영역의 화소수, T는 전자 행렬)의 조건에 만족하는 경우에만 샘플
    Figure 112010035012983-pat00057
    를 영역 Dk에서 Dj로 이동시켜 영역간의 칼라 동질성이 유지되는 칼라영역을 분류하고, 이를 반복함으로 인해 최적의 칼라 영역을 분류하는 것을 특징으로 하는 지능형 운송 시스템을 위한 도로 및 차선 검출 시스템.
  5. 제1항에 있어서,
    상기 도로 및 차선 특징 추출 블록은 카메라 및 차선의 기하학적 좌표계를 이용하여 수평 소실선 정보를 검출하는 수평 소실선 검출부와, 소벨 연산자에 의한 1차 미분으로 차선의 에지 성분을 검출하는 에지 검출부를 포함하는 것을 특징으로 하는 지능형 운송 시스템을 위한 도로 및 차선 검출 시스템.
  6. 제1항에 있어서,
    상기 도로 및 차선 모델 최적화 블록은 수평 소실선과 칼라 영역 분류 결과를 이용하여 도로와 차선에 해당하는 블록 형태의 관심 영역을 검출하는 관심영역 검출부와, 관심 영역에서 차선 이외의 정보를 제거하여 처리 속도와 검출 성능을 향상시키는 아웃라이어 제거부와, 직선 및 곡선의 차선 형상을 반영하기 위해 파라볼릭 차선 모델을 적용한 모델 매칭부를 포함하는 것을 특징으로 하는 지능형 운송 시스템을 위한 도로 및 차선 검출 시스템.
  7. 센서를 통해 도로 및 차선에 해당하는 칼라 정보를 센싱하는 단계;
    상기 칼라 정보를 HSI 칼라 공간 정보로 변환하는 단계;
    칼라공간의 변환에 따른 반복 연산에 의한 최적화 방법의 사용으로 도로 및 차선의 칼라영역을 분류하고, 카메라 및 차선의 기하학적 좌표계의 해석을 통해 수평소실선을 추정하는 단계;
    칼라 영역의 분류와 수평 소실선에 관한 정보로부터 도로 및 차선과 관련 없는 정보를 제거하여 전체 도로 영역을 분류하는 단계;
    전체 도로 영역에서 흰색(White), 노란색(Yellow), 파란색(Blue) 및 빨강색(Red)의 차선으로 분류된 칼라영역을 기반으로 에지 영역을 검출하고, 검출된 에지 등의 특징 정보를 기준으로 차선에 해당하는 관심 영역을 설정하는 단계;
    상기 관심 영역을 대상으로 파라볼릭 차선 모델의 파라미터를 추정해서 차선을 검출하는 단계를 포함하는 것을 특징으로 하는 지능형 운송 시스템을 위한 도로 및 차선 검출 방법.
KR1020100051245A 2010-05-31 2010-05-31 지능형 운송 시스템의 도로 및 차선 검출 시스템 및 방법 KR101191308B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100051245A KR101191308B1 (ko) 2010-05-31 2010-05-31 지능형 운송 시스템의 도로 및 차선 검출 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100051245A KR101191308B1 (ko) 2010-05-31 2010-05-31 지능형 운송 시스템의 도로 및 차선 검출 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20110131678A KR20110131678A (ko) 2011-12-07
KR101191308B1 true KR101191308B1 (ko) 2012-10-16

Family

ID=45500011

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100051245A KR101191308B1 (ko) 2010-05-31 2010-05-31 지능형 운송 시스템의 도로 및 차선 검출 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101191308B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101372425B1 (ko) 2012-05-29 2014-03-11 (주)엠아이웨어 차선 마킹 검출 시스템
KR101958931B1 (ko) * 2017-10-24 2019-07-02 인천대학교 산학협력단 레이더 검출 데이터를 이용한 도로 상태 식별 장치 및 이의 동작 방법
FR3106918A1 (fr) 2020-01-30 2021-08-06 Renault S.A.S Procédé et dispositif de reconstruction des voies
KR20230004146A (ko) 2021-06-30 2023-01-06 주식회사 케이티 영상 데이터로부터 검출 영역을 설정하는 영역 설정 장치, 방법 및 컴퓨터 프로그램

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101305388B1 (ko) * 2012-04-20 2013-09-06 한국과학기술연구원 카메라를 이용한 차선 인식 장치 및 방법
KR101383467B1 (ko) * 2013-02-14 2014-04-08 한국산업기술대학교산학협력단 비전 기반의 차선 모델 생성을 이용한 적응적 차선 추적 방법
KR101517695B1 (ko) * 2013-11-06 2015-05-04 인하공업전문대학산학협력단 주행 중 과속방지턱 탐지 시스템 및 그 방법
KR101498114B1 (ko) * 2013-11-28 2015-03-05 현대모비스 주식회사 보행자를 검출하는 영상 처리 장치 및 그 방법
CN109543587B (zh) * 2018-11-16 2020-04-24 中南大学 一种高温熔融流体流速检测方法及系统
KR102200195B1 (ko) * 2019-06-04 2021-01-08 (주) 루리텍 거리 측정 카메라의 거리 측정 오차 보정 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR200407699Y1 (ko) 2005-08-17 2006-02-02 최동화 졸음운전방지 및 무단 차선이탈 방지장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR200407699Y1 (ko) 2005-08-17 2006-02-02 최동화 졸음운전방지 및 무단 차선이탈 방지장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101372425B1 (ko) 2012-05-29 2014-03-11 (주)엠아이웨어 차선 마킹 검출 시스템
KR101958931B1 (ko) * 2017-10-24 2019-07-02 인천대학교 산학협력단 레이더 검출 데이터를 이용한 도로 상태 식별 장치 및 이의 동작 방법
FR3106918A1 (fr) 2020-01-30 2021-08-06 Renault S.A.S Procédé et dispositif de reconstruction des voies
KR20230004146A (ko) 2021-06-30 2023-01-06 주식회사 케이티 영상 데이터로부터 검출 영역을 설정하는 영역 설정 장치, 방법 및 컴퓨터 프로그램

Also Published As

Publication number Publication date
KR20110131678A (ko) 2011-12-07

Similar Documents

Publication Publication Date Title
KR101191308B1 (ko) 지능형 운송 시스템의 도로 및 차선 검출 시스템 및 방법
Diaz-Cabrera et al. Robust real-time traffic light detection and distance estimation using a single camera
Kastrinaki et al. A survey of video processing techniques for traffic applications
US8379926B2 (en) Vision based real time traffic monitoring
Jung et al. A lane departure warning system using lateral offset with uncalibrated camera
Berriel et al. Ego-lane analysis system (elas): Dataset and algorithms
Huang et al. Lane detection based on inverse perspective transformation and Kalman filter
Luvizon et al. Vehicle speed estimation by license plate detection and tracking
US20100104137A1 (en) Clear path detection using patch approach
US20120207340A1 (en) Method for automated tire detection and recognition
Ding et al. Fast lane detection based on bird’s eye view and improved random sample consensus algorithm
WO2008020544A1 (en) Vehicle detection device, vehicle detection method, and vehicle detection program
KR20110001427A (ko) 관심영역 추출에 의한 차선 고속검출 방법
Panev et al. Road curb detection and localization with monocular forward-view vehicle camera
Xia et al. Vehicles overtaking detection using RGB-D data
Fries et al. Monocular template-based vehicle tracking for autonomous convoy driving
Chang et al. Real-time vision-based preceding vehicle tracking and recognition
Barua et al. An Efficient Method of Lane Detection and Tracking for Highway Safety
Al Okaishi et al. Real-time traffic light control system based on background updating and edge detection
Dai et al. A driving assistance system with vision based vehicle detection techniques
Deshpande et al. Vehicle classification
Tourani et al. Challenges of video-based vehicle detection and tracking in intelligent transportation systems
Liu et al. Notice of retraction: Sharp curve lane detection for autonomous driving
Ortega et al. Perspective multiscale detection of vehicles for real-time forward collision avoidance systems
Wen et al. Road boundary detection in complex urban environment based on low-resolution vision

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150203

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160106

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170103

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180103

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190102

Year of fee payment: 8