KR101558756B1 - 카메라 영상정보와 센서정보를 융합하여 차선을 인지하는 차선 감지 방법 및 장치 - Google Patents

카메라 영상정보와 센서정보를 융합하여 차선을 인지하는 차선 감지 방법 및 장치 Download PDF

Info

Publication number
KR101558756B1
KR101558756B1 KR1020140043212A KR20140043212A KR101558756B1 KR 101558756 B1 KR101558756 B1 KR 101558756B1 KR 1020140043212 A KR1020140043212 A KR 1020140043212A KR 20140043212 A KR20140043212 A KR 20140043212A KR 101558756 B1 KR101558756 B1 KR 101558756B1
Authority
KR
South Korea
Prior art keywords
lane
roi
information
vehicle
detecting
Prior art date
Application number
KR1020140043212A
Other languages
English (en)
Inventor
권수림
오영철
유병용
최태성
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020140043212A priority Critical patent/KR101558756B1/ko
Application granted granted Critical
Publication of KR101558756B1 publication Critical patent/KR101558756B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/50—Barriers

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 카메라 영상정보와 레이더나 레이저스캐너와 같은 센서의 정보를 이용한 도로 가장자리나 가드레일, 대항차량 등을 인지하여, 정확히 차선에 대한 관심영역(ROI)을 동적으로 설정하면서, 차선 인지 처리 속도를 향상시키고 정확한 차선 추정이 가능한 차선 감지 방법 및 장치에 관한 것이다.

Description

카메라 영상정보와 센서정보를 융합하여 차선을 인지하는 차선 감지 방법 및 장치{Lane Detecting Method and Apparatus for Estimating Lane Based on Camera Image and Sensor Information}
본 발명은 차선 감지 방법 및 장치에 관한 것으로서, 특히, 카메라 영상정보와 레이더나 레이저스캐너와 같은 센서의 정보를 융합하여 차량 주행 도로의 차선을 인지할 수 있는 차선 감지 방법 및 장치에 관한 것이다.
기존 영상 기반 차선 인지 방법은 차량 전방 주행 도로에 대한 영상의 관심영역 안에 존재하는 직선 성분을 추출하는 방법으로, 도로 가장자리나 가드레일, 대항차량 등에 존재하는 직선을 차선으로 인식할 수 있어 정확도가 떨어지는 상황이 발생할 수 있다.
또한, 영상기반으로 차선을 찾는 경우 처리 속도가 느려질 수 있기 때문에 관심영역을 축소하는 경우 처리 성능이 떨어질 수 있어, 관심영역의 축소에 의한 정확도 향상과 처리 성능 간에 상반 관계(trade-off 관계)가 존재한다.
국내등록특허 제10-1339255호 (2013년12월09일 공고)
따라서, 본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은, 카메라 영상정보와 레이더나 레이저스캐너와 같은 센서의 정보를 이용한 도로 가장자리나 가드레일, 대항차량 등을 인지하여, 정확히 차선에 대한 관심영역(ROI)을 동적으로 설정하면서, 차선 인지 처리 속도를 향상시키고 정확한 차선 추정이 가능한 차선 감지 방법 및 장치를 제공하는 데 있다.
먼저, 본 발명의 특징을 요약하면, 상기의 목적을 달성하기 위한 본 발명의일면에 따른 차량 운행 중 주행 도로의 차선을 감지하기 위한 차선 감지 장치는, 자차 전방에 대한 오브젝트 감지 정보로부터 전방 오브젝트 정보를 실시간 추정하는 오브젝트 추정부; 상기 전방 오브젝트 정보에 따라 전방 오브젝트의 존재 여부를 반영하여, 자차 전방에 대한 카메라 영상 정보로부터 전방 차선에 대한 횡방향 및 종방향의 관심영역(ROI)을 소정의 주기 마다 동적으로 설정하는 동적 ROI 설정부; 상기 관심영역 내의 차선 에지를 판단하여 자차에 대한 상대적인 위치별 차선 정보를 검출하고 소정의 주기 마다 업데이트하는 차선 추출부; 및 자차의 이동 위치에 따라 상기 차선 정보를 이용한 도로 모델링을 수행하는 차선 정보 제공부를 포함한다.
상기 오브젝트 감지 정보는 레이더 또는 레이저스캐너를 이용한 감지 신호를 포함하고, 상기 전방 오브젝트 정보는 오브젝트 거리 정보 또는 오브젝트 위치 정보를 포함할 수 있다.
상기 동적 ROI 설정부는, 횡방향으로 자차의 이동 거리를 산출하여 상기 관심영역의 횡방향 관심영역(ROI)의 업데이트를 수행하되, 상기 전방 오브젝트로서 주행 차선 옆의 가드레일이나 다른 장애물을 포함하는 오브젝트가 제외되도록 횡방향 관심영역(ROI)의 업데이트를 수행할 수 있다.
상기 동적 ROI 설정부는, 카메라의 시야 거리를 기준으로 결정된 상기 관심영역의 종방향 관심영역(ROI)의 업데이트를 수행하되, 상기 전방 오브젝트로서 전방의 선행 차량 또는 대항차량을 포함하는 오브젝트가 제외되도록 종방향 관심영역(ROI)의 업데이트를 수행할 수 있다.
상기 차선 추출부는 카메라 영상 정보에서 분석된 휘도와 차선 곡률이나 기울기를 반영하여 추정한 차선 위치를 이용하여 상기 차선 정보를 검출할 수 있다.
그리고, 본 발명의 다른 일면에 따른 차량에서 주행 도로의 차선을 감지하기 위한 차선 감지 방법은, 자차 전방에 대한 오브젝트 감지 정보로부터 전방 오브젝트 정보를 실시간 추정하는 단계; 상기 전방 오브젝트 정보에 따라 전방 오브젝트의 존재 여부를 반영하여, 자차 전방에 대한 카메라 영상 정보로부터 전방 차선에 대한 횡방향 및 종방향의 관심영역(ROI)을 소정의 주기 마다 동적으로 설정하는 단계; 상기 관심영역 내의 차선 에지를 판단하여 자차에 대한 상대적인 위치별 차선 정보를 검출하고 소정의 주기 마다 업데이트하는 단계; 및 자차의 이동 위치에 따라 상기 차선 정보를 이용한 도로 모델링을 수행하는 단계를 포함한다.
본 발명의 차선 감지 방법 및 장치에 따르면, 카메라 영상정보와 레이더나 레이저스캐너와 같은 센서의 정보를 이용한 도로 가장자리의 가드레일, 대항차량 등을 인지하여 정확히 전방 차선에 대한 관심영역(ROI)에 반영하고 차선을 추정함으로써, 종래 보다 차선 인지 처리 속도를 향상시키고 차선을 더 정확하게 추정할 수 있다.
또한, 본 발명의 차선 감지 방법 및 장치에 따르면, 차선을 더 정확하게 인지할 수 있기 때문에 차후 차선 기반 자율 주행 시스템에서 차선 유지 자율주행, 차선 변경 자율 주행 등을 위하여 대항 차량을 판단하거나 위험도 판단 등에서 좀 더 정확한 처리가 가능하게 한다.
또한, 이외에도 차선 이탈 경고 시스템, 차선 유지 시스템 등 차선 정보가 필요한 다양한 시스템에 활용되어 정확한 차선 정보를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 차선을 인지하는 차선 감지 장치를 설명하기 위한 도면이다.
도 2는 도 1의 차선 감지 장치의 차선을 인지 방식의 개념을 설명하기 위한 도면이다.
도 3은 도 1의 차선 감지 장치의 동작 설명을 위한 흐름도이다.
도 4는 도 3에서 관심영역(ROI)을 설명하기 위한 도면이다.
도 5는 도 3에서 관심영역(ROI)의 종방향 기준을 설명하기 위한 도면이다.
도 6은 종래의 기술과 본 발명의 차선 추출의 정확성을 비교하여 설명하기 위한 도면이다.
이하에서는 첨부된 도면들을 참조하여 본 발명에 대해서 자세히 설명한다. 이때, 각각의 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타낸다. 또한, 이미 공지된 기능 및/또는 구성에 대한 상세한 설명은 생략한다. 이하에 개시된 내용은, 다양한 실시 예에 따른 동작을 이해하는데 필요한 부분이 중점적으로 설명하며, 그 설명의 요지를 흐릴 수 있는 요소들에 대한 설명은 생략한다. 또한 도면의 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시될 수 있다. 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니며, 따라서 각각의 도면에 그려진 구성요소들의 상대적인 크기나 간격에 의해 여기에 기재되는 내용들이 제한되는 것은 아니다.
도 1은 본 발명의 일 실시예에 따른 차선을 인지하는 차선 감지 장치(100)를 설명하기 위한 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 차선 감지 장치(100)는, 차선 기반 자율 주행 시스템, 차선 이탈 경고 시스템, 차선 유지 시스템 등에 적용되어 차량 운행 중 주행 도로의 차선을 감지하기 위하여, 오브젝트 추정부(110), 동적 ROI 설정부(120), 차선 추출부(130), 및 차선정보 제공부(140)를 포함할 수 있다. 이외에도, 동적 ROI 설정부(120)에 자차 전방에 대한 영상 정보를 제공하기 위한 카메라가 더 포함될 수도 있다. 다만, 자차 전방을 향하도록 차량 지붕 위나 앞면 유리 내외 등 적절한 위치에 설치될 수 있는 카메라는 차선 감지 장치(100)와 별도로 제작되고 설치되어 외부 기기로서 동작하여 차선 감지 장치(100)의 동적 ROI 설정부(120)에 자차 전방에 대한 영상 정보를 제공할 수도 있다.
위와 같은 본 발명의 일 실시예에 따른 차선 감지 장치(100)의 각부 구성요소들은 하드웨어, 소프트웨어, 또는 이들의 결합으로 이루질 수 있다. 예를 들어, 소프트웨어 형태의 소정의 응용 프로그램이 소정의 메모리에 저장되고 실행되어, 위와 같은 차선 감지 장치(100)의 각부 구성요소들과 연동하여 해당 기능을 수행하거나 보조할 수 있다.
오브젝트 추정부(110)는 자차 전방에 대한 오브젝트 감지 정보로부터 전방 오브젝트 정보를 실시간 추정한다. 오브젝트 감지 정보는 레이더 또는 레이저스캐너를 이용한 감지 신호로서, 입사파 또는 입사빔에 대한 반사파 또는 반사빔 간의 시간 차이에 따른 해당 거리 또는 위치를 나타내는 신호일 수 있다. 전방 오브젝트 정보는 자차 전방의 장애물(예, 도로 끝차선 옆의 가드레일이나 다른 장애물, 선행차량, 대항차량 등)에 대한 정보로서, 오브젝트 거리 정보(자차로부터 오브젝트까지의 거리 정보) 또는 오브젝트 위치 정보(예, 자차로부터 오브젝트까지의 상대적인 위치정보(좌표))등일 수 있다.
동적 ROI 설정부(120)는 오브젝트 추정부(110)로부터의 상기 전방 오브젝트 정보에 따라 전방 오브젝트의 존재 여부를 반영하여, 자차 전방에 대한 카메라 영상 정보로부터 전방 차선에 대한 횡방향 및 종방향의 관심영역(ROI)을 소정의 주기 마다 동적으로 설정한다(하기의 도 4, 5 설명 참조).
차선 추출부(130)는 동적 ROI 설정부(120)가 설정하는 상기 관심영역 내의 차선 에지(edge)를 판단하여 자차에 대한 상대적인 위치별 차선 정보를 검출하고 소정의 주기 마다 업데이트한다.
차선정보 제공부(140)는 자차의 이동 위치에 따라 차선 추출부(130)가 검출하는 상기 차선 정보를 이용한 도로 모델링을 수행한다. 차선정보 제공부(140)는 도로 모델링을 통하여 전방 도로에 대하여 소정의 함수 y=f(x) 형태로 차선정보를 제공할 수 있다.
이와 같은 본 발명의 차선 감지 장치(100)에서는, 위와 같이 카메라 영상정보와 레이더나 레이저스캐너와 같은 센서의 정보를 이용한 도로 가장자리의 가드레일이나 다른 장애물, 선행차량, 대항차량 등을 인지하여, 도 2와 같이 정확히 전방 차선에 대한 관심영역(ROI)에 반영하고 차선을 추정함으로써, 종래 보다 차선 인지 처리 속도를 향상시키고 차선을 더 정확하게 추정할 수 있도록 하였다. 또한, 차선을 더 정확하게 인지하여 차선정보 y=f(x)를 제공함으로써, 차후 차선 기반 자율 주행 시스템에서 차선 유지 자율주행, 차선 변경 자율 주행 등을 위하여 대항 차량을 판단하거나 위험도 판단 등에서 좀 더 정확한 처리가 가능하게 하였다. 여기서, 선행차량은 자차와 동일 차선에서 주행하는 전방의 차량을 예로 들어 설명하지만, 이에 한정되는 것은 아니며 좌우 옆차선의 선행 차량을 포함할 수도 있으며, 대항차량은 자차의 주행 차선(예, 1차선)과 반대 차선(예, 반대 차선의 1차선)에서 다가오는 전방 차량을 예로 들어 설명하지만, 반대 차선에서 다가오는 자차 앞쪽의 모든 차량을 포함할 수 있다.
이하 이와 같은 본 발명의 일 실시예에 따른 차선 감지 장치(100)의 동작에 대하여 도 2의 흐름도를 참조하여 좀 더 자세히 설명한다.
먼저, 오브젝트 추정부(110)는 자차 전방에 대한 레이더 또는 레이저스캐너를 이용한 감지 신호 등 오브젝트 감지 정보로부터 전방 오브젝트 정보를 실시간 추정하여 메모리(도시되지 않음)에 저장하고 이를 다음 단계 등에서 이용할 수 있다(S110). 예를 들어, 레이더 또는 레이저스캐너를 이용한 전자기파 또는 레이저빔 등의 입사파와 반사파의 시간 차이에 따른 해당 거리 또는 위치를 나타내는 주기적인(예, 수~수십msec) 신호를 통하여, 오브젝트 추정부(110)는 도로 끝차선 옆의 가드레일이나 다른 장애물, 선행차량, 대항차량 등 자차 전방의 장애물의 존재 여부를 판단할 수 있으며, 수신하는 각각의 오브젝트 감지 정보에 기초하여 오브젝트 거리 정보(자차로부터 오브젝트까지의 거리 정보) 또는 오브젝트 위치 정보(예, 자차로부터 오브젝트까지의 상대적인 위치정보(좌표)) 등 전방 오브젝트 정보를 추정할 수 있다.
오브젝트 추정부(110)가 위와 같이 전방 오브젝트 정보를 추정하면, 동적 ROI 설정부(120)는 오브젝트 추정부(110)로부터의 상기 전방 오브젝트 정보에 따라 전방 오브젝트의 존재 여부를 반영하여, 자차 전방에 대한 카메라 영상 정보로부터 전방 차선에 대한 횡방향 및 종방향의 관심영역(ROI)을 소정의 주기(t) 마다(예, 영상 프레임 간 간격, 또는 수~수십msec) 동적으로 설정한다(S120).
도 4와 같이, 동적 ROI 설정부(120)는 카메라 영상 정보로부터 휘도 등을 분석하여 전방의 주행 양측 차선을 추출할 수 있으며, 각 양측 차선에 대하여 횡방향(가로) 및 종방향(세로)의 관심영역(ROI)을 설정하되, 관심영역(ROI)에 주행 도로 끝차선 옆의 가드레일이나 다른 장애물, 선행차량, 대항차량 등이 포함되지 않도록 전방 오브젝트 정보에 따른 전방 오브젝트의 존재를 반영한다.
예를 들어, 동적 ROI 설정부(120)는 주기(t) 마다 횡방향(X)으로 자차의 좌우 이동 거리(vxt)를 산출하여, [수학식1]과 같이(k는 소정의 계수) 이전 주기에서의 횡방향(X) 위치(Xn -1)에 반영함으로써, 횡방향 관심영역(ROIX)이 횡방향 최소값(ROIXmin)(예, 차선 등 횡방향 소정의 중심(X=0)에서 볼 때 좌측으로 가장 먼 값)과 최대값(ROIXmax)(예, 차선 등 횡방향 소정의 중심(X=0)에서 볼 때 우측으로 가장 먼 값) 사이의 폭이 되도록 횡방향 관심영역(ROIX)의 업데이트를 수행할 수 있다. [수학식1]에서는 자차가 좌측으로 이동할 때의 이동 거리(-vxt)를 반영한 예이며, 우측으로 이동 시에는 그 대신에 이동 거리(+vxt)를 반영할 수 있다. 여기서, 예를 들어, 횡방향(X) 이동 거리(vxt)는 자차 이동 거리 중 횡방향 성분을 분석하여 산출될 수 있다. 이때, 차량의 CAN(Controller Area Network) 신호나 자이로 센서, 관성센서, 지자기 센서, 또는 GPS(Global Positioning System) 등 측위 시스템을 어느 하나 이상 조합하여 획득되는 신호로부터의 자차의 속도 정보 또는 자차 헤딩(heading) 정보(북쪽을 기준으로 하는 시계방향으로의 자차의 주행 방향을 나타내는 각도 등의 정보)가 이용될 수 있다.
[수학식1]
Figure 112014034540274-pat00001
Figure 112014034540274-pat00002
Figure 112014034540274-pat00003
다만, 동적 ROI 설정부(120)는 전방 오브젝트로서 주행 차선 옆의 오브젝트(예, 도로 끝차선 옆의 가드레일(guardrail)이나 기타 다른 장애물)이 포함되지 않도록 [수학식2]와 같이 횡방향(X) 업데이트를 수행한다. 즉, [수학식1]과 같이 횡방향 최소값(ROIXmin)을 결정하였으나, 그 보다 작은 거리 내에 가드레일(guardrail)이나 기타 다른 장애물이 존재하면 [수학식2]와 같이 해당 가드레일(guardrail)이나 기타 다른 장애물까지의 거리를 횡방향 최소값(ROIXmin)으로 결정할 수 있다. 또한, [수학식1]과 같이 횡방향 최대값(ROIXmax)을 결정하였으나, 그 보다 작은 거리 내에 가드레일(guardrail)이나 기타 다른 장애물이 존재하면 [수학식2]와 같이 해당 가드레일(guardrail)이나 기타 다른 장애물까지의 거리를 횡방향 최대값(ROIXmax)으로 결정할 수 있다.
[수학식2]
Figure 112014034540274-pat00004
Figure 112014034540274-pat00005
또한, 동적 ROI 설정부(120)는 주기(t) 마다 종방향(Y)으로 자차의 전후 이동 거리를 산출하여, 종방향 관심영역(ROIY)의 업데이트를 수행할 수 있다. 이때, 도 5와 같이, 지면(ground plane)을 향하여 영상 정보를 획득하는 카메라의 수직 방향(v) 시야 거리의 이동 거리 변화에 대하여 [수학식1]과 유사한 방식으로, 이전 주기에서의 종방향(Y) 위치(예, Yn -1)에 반영함으로써, 종방향 관심영역(ROIY)이 종방향 최소값(ROIYmin)(예, 종방향 소정의 중심(Y=0)에서 볼 때 후방측으로 가장 먼 값)과 최대값(ROIYmax)(예, 종방향 소정의 중심(Y=0)에서 볼 때 전방측으로 가장 먼 값) 사이의 폭이 되도록 종방향 관심영역(ROIY)의 업데이트를 수행할 수 있다.
여기서, 카메라의 수직 방향(v) 시야 거리는, [수학식3]과 같이 지상 좌표계(X,Y,Z)에서의 각 성분을 변환 후, 변환 성분(XC,YC,ZC)을 [수학식4]과 같이 다시 카메라의 영상 획득면에 해당하는 초점거리(f) 상의 영상면 좌표계(u,v) 상의 거리 중 수직 방향(v)의 거리로서, 이는 카메라의 초점거리(f), 틸트 각도(Φ), 주행 거리(Y), 미리 설정된 카메라로부터 지면까지의 장착 거리(F)로부터 산출될 수 있다.
[수학식3]
Figure 112014034540274-pat00006
[수학식4]
Figure 112014034540274-pat00007
다만, 동적 ROI 설정부(120)는 전방 오브젝트로서 주행 차선 앞의 오브젝트(예, 선행 차량, 대항 차량 등)이 포함되지 않도록 [수학식5]와 같이 종방향(Y) 업데이트를 수행한다. 즉, 카메라의 수직 방향(v) 시야 거리의 변화에 기초한 종방향 최소값(ROIYmin)을 결정하였으나, 그 보다 작은 거리 내에 선행 차량, 대항 차량 등이 존재하면 [수학식5]와 같이 해당 선행 차량, 대항 차량 등 장애물(obstacle)을 포함하는 오브젝트까지의 거리를 종방향 최소값(ROIYmin)으로 결정할 수 있다. 또한, 카메라의 수직 방향(v) 시야 거리의 변화에 기초한 종방향 최대값(ROIYmax)을 결정하였으나, 그 보다 작은 거리 내에 선행 차량, 대항 차량 등이 존재하면 [수학식5]와 해당 선행 차량, 대항 차량 장애물(obstacle)을 포함하는 오브젝트까지의 거리를 종방향 최대값(ROIYmax)으로 결정할 수 있다.
[수학식5]
Figure 112014034540274-pat00008
Figure 112014034540274-pat00009
이와 같이 동적 ROI 설정부(120)가 관심영역(ROI)을 설정하면, 차선 추출부(130)는 동적 ROI 설정부(120)가 설정하는 관심영역(ROI) 내의 차선 에지(edge)를 판단하여 자차에 대한 상대적인 위치별 차선 정보(예, 위치 좌표)를 검출하고 소정의 주기 마다 업데이트한다(S130).
예를 들어, 차선 추출부(130)는 관심영역(ROI) 내의 카메라 영상 정보에서 휘도를 분석하여 차선 에지를 판단할 수 있으며, 이외에도 차선 곡률이나 기울기(또는 주행 방향에 대한 각도 등)를 반영하여 일정 거리까지 연장된 차선을 추정할 수 있고, 이와 같이 분석된 휘도와 차선 곡률이나 기울기를 반영하여 추정한 차선 위치를 이용하여 자차에 대한 상대적인 위치별 차선 정보(예, 위치 좌표)를 검출할 수 있다. 또한, 차선 추출부(130)는 소정의 필터링 알고리즘을 이용하여 차선 정보를 필터링하여 차선 정보를 보정할 수 있으며, Perspective Mapping 방식 등을 이용하여 자차로부터 차선까지의 실제 거리(또는 위치)를 도출하여 차선 정보를 제공할 수 있다.
이와 같이 차선 추출부(130)가 차선 정보(예, 위치 좌표)를 검출하면, 차선정보 제공부(140)는 자차의 이동 위치에 따라 차선 추출부(130)가 검출하는 상기 차선 정보를 이용해 도로 모델링을 수행한다(S140). 차선정보 제공부(140)는 도로 모델링을 통하여 전방 도로에 대하여 소정의 함수 y=f(x) 형태로 차선정보를 제공할 수 있다.
예를 들어, [수학식6]과 같이 상대적 위치별(i) 시간 인덱스(t)에 대한 소정의 함수에 의해 결정되는 위치 정보가 해당 차선 정보 It ,i가 되며, 이와 같이 산출된 차선 정보 It ,i에 대한 소정의 다항식 함수 f(It ,i)를 이용하여 상대적 위치별(i) 시간 인덱스(t)에 대하여 복수의 위치들에 대하여 합산하면 커브 피팅 방식 등으로 일정 거리에 대하여 차선 정보 I를 산출할 수 있다.
[수학식6]
Figure 112014034540274-pat00010
이와 같은 도로 모델링 방식에 따라 차선정보 제공부(140)는 자차로부터의 전방으로 상대적 위치(또는 거리)(x)에 따른 차선 위치값을 나타내는 소정의 다항식 함수 형태로 전방차선정보 y=f(x)를 제공할 수 있다.
도 6을 참조하면, 본 발명의 차선 감지 방식에 따라, 도 6의 상부 그림처럼 선행차량이나 대항차량을 제외한 관심영역(ROI)의 설정으로 종래 기술보다 좀 더 실제에 가까운 차선 정보를 제공할 수 있음을 확인하였으며, 또한, 도 6의 하부 그림처럼 종래기술에서는 관심영역에 포함될 수 있는 가드레일 등 기타 장애물을 관심영역(ROI)에서 제거함으로써, 가드레일 등이 차선으로 감지되는 오류를 제거할 수 있음을 확인하였다.
상술한 바와 같이, 본 발명의 차선 감지 장치(100)에서는, 위와 같이 카메라 영상정보와 레이더나 레이저스캐너와 같은 센서의 정보를 이용한 도로 가장자리의 가드레일, 대항차량 등을 인지하여 정확히 전방 차선에 대한 관심영역(ROI)에 반영하고 차선을 추정함으로써, 종래 보다 차선 인지 처리 속도를 향상시키고 차선을 더 정확하게 추정할 수 있다. 또한, 차선을 더 정확하게 인지할 수 있기 때문에 차후 차선 기반 자율 주행 시스템에서 차선 유지 자율주행, 차선 변경 자율 주행 등을 위하여 위험도 판단 등에서 좀 더 정확한 처리가 가능하게 한다. 이외에도 차선 이탈 경고 시스템, 차선 유지 시스템 등 차선 정보가 필요한 다양한 시스템에 활용되어 정확한 차선 정보를 제공할 수 있다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
오브젝트 추정부(110)
동적 ROI 설정부(120)
차선 추출부(130)
차선정보 제공부(140)

Claims (6)

  1. 차량 운행 중 주행 도로의 차선을 감지하기 위한 차선 감지 장치에 있어서,
    자차 전방에 대한 오브젝트 감지 정보로부터 전방 오브젝트 정보를 실시간 추정하는 오브젝트 추정부;
    상기 전방 오브젝트 정보에 따라 전방 오브젝트의 존재 여부를 반영하여, 자차 전방에 대한 카메라 영상 정보로부터 전방 차선에 대한 횡방향 및 종방향의 관심영역(ROI)을 소정의 주기 마다 동적으로 설정하는 동적 ROI 설정부;
    상기 관심영역 내의 차선 에지를 판단하여 자차에 대한 상대적인 위치별 차선 정보를 검출하고 소정의 주기 마다 업데이트하는 차선 추출부; 및
    자차의 이동 위치에 따라 상기 차선 정보를 이용한 도로 모델링을 수행하는 차선 정보 제공부를 포함하고,
    상기 동적 ROI 설정부는 횡방향으로 자차의 이동 거리를 산출하여 상기 관심영역의 횡방향 관심영역(ROI)의 업데이트를 수행하되, 상기 전방 오브젝트로서 주행 차선 옆의 가드레일이나 다른 장애물을 포함하는 오브젝트가 제외되도록 횡방향 관심영역(ROI)의 업데이트를 수행하는 것을 특징으로 하는 차선 감지 장치.
  2. 제1항에 있어서,
    상기 오브젝트 감지 정보는 레이더 또는 레이저스캐너를 이용한 감지 신호를 포함하고, 상기 전방 오브젝트 정보는 오브젝트 거리 정보 또는 오브젝트 위치 정보를 포함하는 것을 특징으로 하는 차선 감지 장치.
  3. 삭제
  4. 제1항에 있어서,
    상기 동적 ROI 설정부는, 카메라의 시야 거리를 기준으로 결정된 상기 관심영역의 종방향 관심영역(ROI)의 업데이트를 수행하되, 상기 전방 오브젝트로서 전방의 선행 차량 또는 대항차량을 포함하는 오브젝트가 제외되도록 종방향 관심영역(ROI)의 업데이트를 수행하는 것을 특징으로 하는 차선 감지 장치.
  5. 제1항에 있어서,
    상기 차선 추출부는 카메라 영상 정보에서 분석된 휘도와 차선 곡률이나 기울기를 반영하여 추정한 차선 위치를 이용하여 상기 차선 정보를 검출하는 것을 특징으로 하는 차선 감지 장치.
  6. 차량에서 주행 도로의 차선을 감지하기 위한 차선 감지 방법에 있어서,
    자차 전방에 대한 오브젝트 감지 정보로부터 전방 오브젝트 정보를 실시간 추정하는 단계;
    상기 전방 오브젝트 정보에 따라 전방 오브젝트의 존재 여부를 반영하여, 자차 전방에 대한 카메라 영상 정보로부터 전방 차선에 대한 횡방향 및 종방향의 관심영역(ROI)을 소정의 주기 마다 동적으로 설정하되, 상기 횡방향으로 자차의 이동 거리를 산출하여 상기 관심영역의 횡방향 관심영역(ROI)의 업데이트를 수행하되, 상기 전방 오브젝트로서 주행 차선 옆의 가드레일이나 다른 장애물을 포함하는 오브젝트가 제외되도록 횡방향 관심영역(ROI)의 업데이트를 수행하는 단계;
    상기 관심영역 내의 차선 에지를 판단하여 자차에 대한 상대적인 위치별 차선 정보를 검출하고 소정의 주기 마다 업데이트하는 단계; 및
    자차의 이동 위치에 따라 상기 차선 정보를 이용한 도로 모델링을 수행하는 단계
    를 포함하는 것을 특징으로 하는 차선 감지 방법.

KR1020140043212A 2014-04-10 2014-04-10 카메라 영상정보와 센서정보를 융합하여 차선을 인지하는 차선 감지 방법 및 장치 KR101558756B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140043212A KR101558756B1 (ko) 2014-04-10 2014-04-10 카메라 영상정보와 센서정보를 융합하여 차선을 인지하는 차선 감지 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140043212A KR101558756B1 (ko) 2014-04-10 2014-04-10 카메라 영상정보와 센서정보를 융합하여 차선을 인지하는 차선 감지 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101558756B1 true KR101558756B1 (ko) 2015-10-07

Family

ID=54344141

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140043212A KR101558756B1 (ko) 2014-04-10 2014-04-10 카메라 영상정보와 센서정보를 융합하여 차선을 인지하는 차선 감지 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101558756B1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170089330A (ko) * 2016-01-26 2017-08-03 주식회사 만도 구조물 위치 정보를 이용한 주변 차선 인식 방법 및 시스템
KR20170122143A (ko) * 2016-04-26 2017-11-03 현대자동차주식회사 후속차량 인식 장치 및 그 방법
CN109389026A (zh) * 2017-08-09 2019-02-26 三星电子株式会社 车道检测方法和设备
US10279806B2 (en) 2016-10-20 2019-05-07 Hyundai Motor Company Lane estimating apparatus and method
CN110422168A (zh) * 2019-08-08 2019-11-08 智邮开源通信研究院(北京)有限公司 车道识别系统、方法及自动驾驶汽车
CN110979318A (zh) * 2019-11-20 2020-04-10 苏州智加科技有限公司 车道信息获取方法、装置、自动驾驶车辆及存储介质
CN112829753A (zh) * 2019-11-22 2021-05-25 驭势（上海）汽车科技有限公司 基于毫米波雷达的护栏估计方法、车载设备和存储介质
CN112906428A (zh) * 2019-11-19 2021-06-04 英业达科技有限公司 影像侦测区域取得方法及空间使用情况的判定方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
우상균 외 1인. DYNAMIC ROI를 이용한 실시간 차선 인식 알고리즘. 한국자동차공학회 2004년 추계학술대회논문집, pp. 1142~1146.*

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170089330A (ko) * 2016-01-26 2017-08-03 주식회사 만도 구조물 위치 정보를 이용한 주변 차선 인식 방법 및 시스템
KR102501234B1 (ko) * 2016-01-26 2023-02-21 주식회사 에이치엘클레무브 구조물 위치 정보를 이용한 주변 차선 인식 방법 및 시스템
KR20170122143A (ko) * 2016-04-26 2017-11-03 현대자동차주식회사 후속차량 인식 장치 및 그 방법
US10279806B2 (en) 2016-10-20 2019-05-07 Hyundai Motor Company Lane estimating apparatus and method
CN109389026A (zh) * 2017-08-09 2019-02-26 三星电子株式会社 车道检测方法和设备
CN109389026B (zh) * 2017-08-09 2023-10-17 三星电子株式会社 车道检测方法和设备
CN110422168B (zh) * 2019-08-08 2020-06-16 智邮开源通信研究院(北京)有限公司 车道识别系统、方法及自动驾驶汽车
CN110422168A (zh) * 2019-08-08 2019-11-08 智邮开源通信研究院(北京)有限公司 车道识别系统、方法及自动驾驶汽车
CN112906428A (zh) * 2019-11-19 2021-06-04 英业达科技有限公司 影像侦测区域取得方法及空间使用情况的判定方法
CN112906428B (zh) * 2019-11-19 2023-04-25 英业达科技有限公司 影像侦测区域取得方法及空间使用情况的判定方法
CN110979318B (zh) * 2019-11-20 2021-06-04 苏州智加科技有限公司 车道信息获取方法、装置、自动驾驶车辆及存储介质
CN110979318A (zh) * 2019-11-20 2020-04-10 苏州智加科技有限公司 车道信息获取方法、装置、自动驾驶车辆及存储介质
CN112829753A (zh) * 2019-11-22 2021-05-25 驭势（上海）汽车科技有限公司 基于毫米波雷达的护栏估计方法、车载设备和存储介质
CN112829753B (zh) * 2019-11-22 2022-06-28 驭势（上海）汽车科技有限公司 基于毫米波雷达的护栏估计方法、车载设备和存储介质

Similar Documents

Publication Publication Date Title
KR101558756B1 (ko) 카메라 영상정보와 센서정보를 융합하여 차선을 인지하는 차선 감지 방법 및 장치
US11348266B2 (en) Estimating distance to an object using a sequence of images recorded by a monocular camera
KR102558055B1 (ko) 차선의 추정 방법
US11193782B2 (en) Vehicle position estimation apparatus
WO2018177026A1 (zh) 确定道路边沿的装置和方法
JP5441549B2 (ja) 道路形状認識装置
US9313462B2 (en) Vehicle with improved traffic-object position detection using symmetric search
US9129523B2 (en) Method and system for obstacle detection for vehicles using planar sensor data
EP3324152A1 (en) Own-position estimating device and own-position estimating method
JP2019517089A (ja) 地面マーキングを認識するための画像処理方法、および地面マーキングを検出するためのシステム
KR102283773B1 (ko) 라이더 스캔 데이터의 누적에 의한 자율주행 자동차의 위치인식 시스템 및 그 방법
WO2003001473A1 (en) Vision-based collision threat detection system_
EP3282389B1 (en) Image processing apparatus, image capturing apparatus, moving body apparatus control system, image processing method, and program
Shunsuke et al. GNSS/INS/on-board camera integration for vehicle self-localization in urban canyon
CN110968086B (zh) 一种车辆进站控制方法及系统
JP6806891B2 (ja) 情報処理装置、制御方法、プログラム及び記憶媒体
JP2016057750A (ja) 自車走行レーン推定装置及びプログラム
US11151729B2 (en) Mobile entity position estimation device and position estimation method
US11420632B2 (en) Output device, control method, program and storage medium
WO2019065970A1 (ja) 車両用外界認識装置
WO2018212302A1 (ja) 自己位置推定装置、制御方法、プログラム及び記憶媒体
KR20150063852A (ko) 전방차량의 횡방향 거리 결정 방법 및 이를 이용한 헤드 업 디스플레이 장치
JP2018205142A (ja) 位置推定装置
JP6604052B2 (ja) 走路境界推定装置及び走路境界推定方法
KR101573610B1 (ko) 카메라 영상정보와 차량정보를 융합하여 전후방 차선을 인지하는 차선 감지 방법 및 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180928

Year of fee payment: 4