KR20200027215A - 차선 끝점 검출 알고리즘을 이용한 차량 위치 인식 시스템 및 상기 차선 끝점 검출 알고리즘의 성능을 평가하는 방법 - Google Patents

차선 끝점 검출 알고리즘을 이용한 차량 위치 인식 시스템 및 상기 차선 끝점 검출 알고리즘의 성능을 평가하는 방법 Download PDF

Info

Publication number
KR20200027215A
KR20200027215A KR1020180105246A KR20180105246A KR20200027215A KR 20200027215 A KR20200027215 A KR 20200027215A KR 1020180105246 A KR1020180105246 A KR 1020180105246A KR 20180105246 A KR20180105246 A KR 20180105246A KR 20200027215 A KR20200027215 A KR 20200027215A
Authority
KR
South Korea
Prior art keywords
lane
vehicle
end point
coordinate system
bird
Prior art date
Application number
KR1020180105246A
Other languages
English (en)
Other versions
KR102100047B1 (ko
Inventor
정호기
장은석
Original Assignee
한국교통대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국교통대학교산학협력단 filed Critical 한국교통대학교산학협력단
Priority to KR1020180105246A priority Critical patent/KR102100047B1/ko
Publication of KR20200027215A publication Critical patent/KR20200027215A/ko
Application granted granted Critical
Publication of KR102100047B1 publication Critical patent/KR102100047B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06K9/00798—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/14—Yaw
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/28—Wheel speed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

차선 끝점 검출 알고리즘을 이용한 차량 위치 인식 시스템은, GPS 신호를 수신하는 GPS 수신기와, 상기 GPS 신호에 기초하여 현재 차량의 위치에 해당하는 디지털 지도를 수신하는 디지털 지도 수신부와, 상기 차량에 설치되고, 상기 차량의 전방 또는 후방을 촬영하는 카메라와, 상기 카메라에 의해 촬영된 영상에서 상기 차선 끝점 검출 알고리즘을 이용하여 차선의 끝점을 검출하는 차선 끝점 검출부와, 상기 검출된 차선의 끝점과 상기 디지털 지도에 저장된 차선의 끝점을 일치시켜 상기 차량의 위치를 측정하는 프로세서를 포함한다.

Description

차선 끝점 검출 알고리즘을 이용한 차량 위치 인식 시스템 및 상기 차선 끝점 검출 알고리즘의 성능을 평가하는 방법{METHOD FOR POSITION RECOGNITION OF VEHICLE USING LANE-END-POINT DETECTION ALGORITHM AND METHOD FOR EVALUATING PERFORMANCE OF THE SAME}
본 발명의 개념에 따른 실시 예는 차량 위치 인식 시스템 및 차선 끝점 검출 알고리즘의 성능을 평가하는 방법에 관한 것이다.
최근 첨단 운전자보조 시스템(advanced driver assistance systems(ADAS)) 분야에서 차량 정밀 측위는 필수적인 요소로 인식되며, 단안 카메라에서 검출한 랜드마크의 상대 위치와 정밀 지도상의 전역 위치를 매칭하여 차량의 정밀 전역 위치를 추정하는 연구가 활발히 진행되고 있다.
이러한 연구에 사용되는 랜드마크 중 차선은 차선 이탈 경고 시스템(lane departure warning system(LDWS)), LKAS(lane keeping assistant system) 등을 통해 대중적으로 활용되고 있다. 이러한 차선은 차량 정밀 측위를 위한 활용도가 매우 높아 가장 보편적으로 사용되는 랜드마크이다.
한국공개공보 제10-2015-0068196호에는 차선을 이루는 시작점과 끝점을 검출함으로써 신속하고 정확하게 차선을 검출하기 위한 차선 검출 방법이 개시되어 있다. 그러나, 차선은 정밀한 횡방향 위치 정보를 제공한다는 장점을 갖는 반면 종방향 위치 정보를 충분히 제공하지 못한다는 한계를 가진다.
한편, 차선 끝점 검출 알고리즘의 정상 작동 여부와 신뢰도를 검증하기 위해서는 성능 평가를 거쳐야 하며, 이를 위해 인식률 평가가 필요하다. 차선 끝점 검출 알고리즘과 같은 영상 기반 알고리즘은 인식 결과 영상을 육안으로 직접 관찰하는 인식률 평가 방법을 주로 사용한다. 이는 평가자가 경험적으로 결과 영상의 다양한 변수들을 고려하게 되므로 신뢰도가 높은 인식률 평가가 가능하기 때문이다. 하지만 육안 평가 방법은 평가 대상의 규모에 따라 필요한 인적, 시간적 제약이 존재한다.
한국공개공보 제10-2015-0068196호
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 차량 위치 인식 시스템은 차선 끝점 검출 알고리즘을 이용하여 차량의 위치를 인식하는 것을 목적으로 한다.
본 발명의 두 번째 목적은 상기 차선 끝점 검출 알고리즘의 성능을 자동으로 평가하는 것이다.
상기와 같은 목적을 달성하기 위한 본 발명의 차선 끝점 검출 알고리즘을 이용한 차량 위치 인식 시스템은 GPS 신호를 수신하는 GPS 수신기와, 상기 GPS 신호에 기초하여 현재 차량의 위치에 해당하는 디지털 지도를 수신하는 디지털 지도 수신부와, 상기 차량에 설치되고, 상기 차량의 전방 또는 후방을 촬영하는 카메라와, 상기 카메라에 의해 촬영된 영상에서 상기 차선 끝점 검출 알고리즘을 이용하여 차선의 끝점을 검출하는 차선 끝점 검출부와, 상기 검출된 차선의 끝점과 상기 디지털 지도에 저장된 차선의 끝점을 일치시켜 상기 차량의 위치를 측정하는 프로세서를 포함한다.
상기 차선 끝점 검출 알고리즘은, 주행 차로의 좌측 차선과 우측 차선으로 예상되는 영역에 게이팅을 설정하고, 탑-햇 필터(top-hat filter)를 통과시켜 차선 후보점들을 추출하고, 상기 차선 후보점들에 RANSAC(random sample consensus)을 적용하여 상기 좌측 차선과 상기 우측 차선 각각에 2개의 직선을 추출하고, 쌍 스코어(pair score)를 이용하여 추출된 직선 중에서 최적의 차선 한쌍을 최종 차선으로 검출한다.
상기 쌍 스코어는 상기 카메라의 광축과 검출된 차선 사이의 평행도, 검출된 차선의 폭과 도로 규정 사이의 일치, 검출된 차선의 두 라인들 사이의 평행도, 및 상기 RANSAC 결과에 대한 일치 수를 기초로 계산된다.
상기 차선 끝점 검출 알고리즘은, 검출된 차선을 따라 상기 차선의 프로파일을 생성하고, 상기 프로파일의 최대값과 최소값 각각이 특정 값이 되도록 클리핑(clipping)하고, 상기 프로파일의 에지를 검출하여 차선 끝점 후보들을 생성하고, 각 후보들의 조감도를 생성하고, 생성된 조감도에서 상기 차선 끝점 후보들을 HOG-SVM 알고리즘을 통해 검증한다.
상기 시스템은 상기 차량이 주행 중인 노면의 수직방향 축에 대한 회전 각속도를 측정하는 요 레이트(yaw rate) 센서와, 상기 차량의 차축과 휠 사이에 장착되고, 상기 휠의 회전 속도를 측정하는 휠 속도 센서를 더 포함하고, 상기 프로세서는 상기 요 레이트 센서와 상기 휠 속도 센서를 이용하여 상기 차량의 위치의 변화를 추정하고, 상기 검출된 차선의 끝점과 상기 디지털 지도에 저장된 차선의 끝점을 일치시켜 상기 차량의 위치를 확률적으로 추정한다.
상기 두 번째 목적을 달성하기 위한 본 발명의 차선 끝점 검출 알고리즘의 성능을 평가하는 방법은, GPS 신호를 수신하는 단계와, 상기 GPS 신호에 기초하여 현재 차량의 위치에 해당하는 디지털 지도를 수신하는 단계와, 상기 차량의 전방 또는 후방을 촬영하는 단계와, 촬영된 영상에서 차선 끝점 검출 알고리즘을 이용하여 차선의 끝점을 검출하는 단계와, 상기 검출된 차선의 끝점과 상기 디지털 지도에 저장된 차선의 끝점을 일치시켜 상기 차량의 위치를 측정하는 단계를 포함하고, 상기 검출된 차선의 끝점과 지상 실측 정보 사이의 오차를 구분하는 임계치를 설정함에 있어, 조감도 좌표계 상의 환산 거리를 영상 좌표계의 수직 방향과 수평 방향으로 나누어 분석한다.
상기 영상 좌표계의 수직 방향 최대 오차에 대한 조감도 좌표계 상의 수직 방향 환산 거리를 계산하고, 상기 영상 좌표계의 수평 방향 최대 오차에 대한 조감도 좌표계 상의 수평 방향 환산 거리를 계산하고, 상기 수직 방향 환산 거리와 상기 수형 방향 환산 거리에 기초하여 조감도 좌표계 상의 임계치를 계산한다.
상기 조감도 좌표계 상의 임계치는 하기의 수학식을 만족한다.
[수학식]
Figure pat00001
Figure pat00002
는 조감도 좌표계 상의 임계치를 의미하고, MaxError LONGITUDINAL 는 조감도 좌표계 상의 수직 방향 환산 거리를 의미하고, MaxError LATERAL 는 조감도 좌표계 상의 수평 방향 환산 거리를 의미한다.
상기한 바와 같은 본 발명의 차량 위치 인식 시스템은 차선 끝점을 이용하여 차량의 위치를 측정하므로 차선 끝점의 종방향 정보와 횡방향 정보를 모두 이용할 수 있는 효과가 있다.
또한, 상기한 바와 같은 본 발명의 차선 끝점 검출 알고리즘의 성능을 평가하는 방법은 육안 방식이 아닌 자동화함으로써 평가에 소요되는 자원을 절약할 수 있는 효과가 있다.
도 1은 본 발명의 실시 예에 따른 차량 위치 인식 시스템의 블록도이다.
도 2는 본 발명의 실시 예에 따른 차선 끝점 검출 알고리즘을 설명하기 위한 플로우차트이다.
도 3은 본 발명의 실시 예에 따른 차선 검출 방법을 설명하기 위한 도면이다.
도 4와 도 5는 본 발명의 실시 예에 따른 차선 끝점 인식 방법을 설명하기 위한 도면이다.
도 6은 평가 대상으로 지정한 차선 끝점의 각 유형과 인식 결과를 나타낸다.
도 7은 영상의 원근감 효과를 나타낸다.
도 8은 조감도 상의 고정 임계치를 나타낸다.
도 9는 종방향과 횡방향에서 다른 원근감 효과를 나타낸다.
도 10은 GT와 인식된 차선의 끝점의 오차를 구분하는 임계치를 계산하는 방법을 나타낸다.
도 11은 수직 방향 최대 픽셀 오차를 나타낸다.
도 12는 본 발명의 실시 예에 따른 종방향 최대 오차를 나타내는 그래프이다.
도 13은 수평 방향 최대 픽셀 오차를 나타낸다.
도 14는 본 발명의 실시 예에 따른 횡방향 최대 오차를 나타내는 그래프이다.
도 15는 본 발명의 실시 예에 따른 최종 임계치를 나타내는 그래프이다.
본 발명은 차선 끝점을 활용하여 차량의 정밀 측위를 수행하는 차량 위치 인식 시스템과, 차선 끝점 검출 방법의 성능을 평가하는 자동으로 평가하는 방법에 관한 것이다.
본 명세서에서는 고속도로 상황에서의 차량 위치 인식 시스템과 성능 평가 시스템에 관하여 설명하였으나, 본 발명의 기술적 사상이 이에 한정되는 것은 아니고, 통상의 기술자가 쉽게 설계 변경 가능한 범위 내에서 시내 상황 등 다양한 상황에 적용가능 할 것이다.
이하에서는 본 발명에 따른 실시예 및 도면을 참조하여, 본 발명을 더욱 상술한다.
<<차량 위치 인식 시스템>>
도 1은 본 발명의 실시 예에 따른 차량 위치 인식 시스템의 블록도이다. 도 1을 참조하면, 차량 위치 인식 시스템(10)은 GPS(global positioning system) 수신기(100), 디지털 지도 수신부(200), 카메라(300), 차선 끝점 검출부(400), 요 레이트(yaw rate) 센서(500), 휠(wheel) 속도 센서(600), 및 프로세서(700)를 포함한다.
GPS 수신기(100)는 차량에 설치되고, GPS(global positioning system) 신호를 수신하는 역할을 한다.
디지털 지도 수신부(200)는 상기 GPS 신호에 의해 현재 차량의 위치에 해당하는 디지털 지도를 서버로부터 수신할 수 있다. 단, 메모리에 저장된 지도를 사용할 수도 있다.
카메라(300)는 차량에 설치되고, 전방을 촬영하거나 후방을 촬영할 수 있다.
차선 끝점 검출부(400)는 카메라(500)에 의해 촬영된 영상에서 차선 끝점 검출 알고리즘을 이용하여 차선의 끝점을 검출할 수 있다. 차선 끝점 검출 알고리즘은 도 2 내지 도 6을 참조하여 상세히 설명될 것이다.
요 레이트 센서(500)는 차량이 주행 중인 노면의 수직방향 축에 대한 회전 각속도를 측정할 수 있다.
휠 속도 센서(600)는 차량의 차축과 휠 사이에 장착되고, 상기 휠의 회전 속도를 측정할 수 있다.
프로세서(700)는 요 레이트 센서(500)와 휠 속도 센서(600)를 이용하여 짧은 시간 동안의 차량 위치의 변화를 추정할 수 있다. 그러나, 시간이 지속됨에 따라 오차가 누적된다는 한계를 가진다.
따라서, GPS와 디지털 지도, 차선 끝점을 활용하여 차량의 위치를 확률적으로 추정하는 방법을 사용할 수 있다. 이와 같은 위치 인식 방법은 파티클 필터(particle filter)로 구현할 수 있다.
구체적으로 프로세서(700)는 GPS 수신기(100), 디지털 지도 수신부(200), 및 카메라(300)를 이용하여 차량 위치 분포를 보정할 수 있다. 예컨대, 프로세서(700)는 카메라(300)를 통해 인식한 주변 환경으로부터 획득한 차량의 상대 위치 정보를 디지털 지도에 미리 저장된 환경 정보와 매칭하여 전역 위치를 예측할 수 있다.
특히, 프로세서(400)는 차선 끝점 검출부(600)에 의해 추출된 차선의 끝점과 디지털 지도에 저장된 차선의 끝점을 일치시킴으로써 차량의 위치를 측정할 수 있다.
도 2는 본 발명의 실시 예에 따른 차선 끝점 검출 알고리즘을 설명하기 위한 플로우차트이다. 도 2를 참조하면, 차선 끝점 검출 알고리즘은 차선 인식 및 이를 기반으로 한 차선 끝점 인식 과정으로 구성된다.
차선 인식
도 3의 (a)에 도시된 바와 같이, 차선을 검출하기 위해 주행 차로의 좌측 차선과 우측 차선으로 예상되는 영역에 게이팅(또는 관심영역)을 지정한다(S110).
도 3의 (b)에 도시된 바와 같이, 영상의 각 행 별 밝기 값에 탑-햇 필터(Top-Hat Filter)를 통과시켜 차선 후보점들을 추출한다(S120). 필터 응답은 기준 픽셀의 좌측과 우측의 일정 범위의 밝기 값 평균의 차이로 차선인지 여부를 판별하는데, 해당 연산을 간소화하기 위해 밝기 값의 수평 적분 이미지(horizontal integral image)를 사용하여 밝기 값의 평균 계산에 사용되는 반복적인 덧셈을 생략한다.
도 3의 (c)에 도시된 바와 같이, 탑-햇 필터를 통해 추출한 차선 후보점들에 RANSAC(random sample consensus)을 적용하여 좌측 차선과 우측 차선 각각에 2개의 직선을 추출한다(S130). 이 때, 4개의 차선 쌍들 중에서 쌍 스코어(pair score)를 계산하여 최적의 차선 한 쌍을 최종 차선으로 검출한다(S140).
표 1은 쌍 스코어를 나타낸다. 각 스코어는 0~1의 범위로 정규화된다. 이때, 전면, 폭, 평행은 영상 좌표계가 아닌 조감도 좌표계 상에서 평가된다.
스코어 관련 인덱스
전면(Heading) 카메라의 광축과 검출된 차선 사이의 평행도
폭(Width) 검출된 차선 폭과 도로 규정 사이의 일치
평행(Parallel) 검출된 차선의 두 라인들 사이의 평행도
일치(Consensus) RANSAC 결과에 대한 일치 수
여기서, RANSAC 결과에 대한 일치 수란, RANSAC을 적용하여 핏팅(fitting)된 직선에 대하여, 특정 오차 거리 범위 이내에 위치한 특징점들의 개수를 의미하며, RANSAC 결과에 대한 일치 수가 많을수록 좋다.좌측 차선과 우측 차선이 검출되면, 두 차선의 소실점(vanishing point)을 계산하고, 직전 영상의 소실점과 위치 오차가 임계치 이하인 상황이 3회 이상 연속되어야 최종적으로 유효한 차선으로 검출한다(S150).
차선 끝점 인식
차선이 검출되면, 검출된 차선을 따라 차선의 프로파일을 생성한다(S160). 도 4의 (a)에 도시된 바와 같이, 검출된 차선을 따라가면서, 검출된 차선 위치의 점과 좌/우측 인접한 픽셀을 포함한 총 3-pixel의 탑-햇 응답(top-hat response) 중에서 최대값을 모아 각 행 별 탑-햇 프로파일(top-hat profile)을 생성한다.
이 때, 프로파일의 최대값과 최소값 각각이 특정 값(예컨대, 40과 0)이 되도록 클리핑(clipping)하고, 메디안 필터(median filter)를 사용하여 스무딩(smooting)한다. 이를 통해 차선 끝점 이외의 구간에서 발생하거나 크기가 작은 에지들이 후보로 검출되는 것을 방지한다.
도 4의 (b)에 도시된 바와 같이, 프로파일의 에지를 검출하여 차선 끝점 후보를 생성한다(S170). 구체적으로, 각 탑-햇 프로파일을 미분한 후 그 절대값이 임계치 이상인 로컬 피크(local peak)들을 탐색하여 에지로 검출한다. 검출된 에지들에 비-최대값 억제(non-maximum suppression(NMS))를 적용하여 간소화한 후 최종 차선 끝점 후보로 사용한다. NMS의 신뢰성은 피크의 크기로 적용하고, 탐색 영역은 도로 내 점선의 다양한 길이를 고려하여 1m 반경으로 설정할 수 있다.
다음, 각 후보들의 조감도를 생성하고(S180), 생성된 조감도에서 상기 차선 끝점 후보들을 HOG((Histogram of Oriented Gradients)-SVM(support vector machine)을 통해 검증한다(S190).
구체적으로, 도 5의 (a)에 도시된 바와 같이, 각 차선 끝점 후보들의 위치를 중심으로 주변 픽셀의 밝기 값을 포함한 1m×2m 크기의 조감도를 형성한 후, HOG 특징들을 추출한다. 도 5의 (b)에 도시된 바와 같이, 추출된 특징들은 각각 2-분류 선형 서포트 벡터 머신(2-class linear SVM)을 적용하여 학습한다. 학습한 SVM 파라메터들을 이용하여 각 특징의 SVM 스코어를 도출하고, 도출된 스코어가 양수일 경우 최종 차선 끝점으로 인식한다.
SVM 스코어는 [수학식 1]과 같이 계산되고, 표 2는 각 파라메터들을 나타낸다.
[수학식 1]
Figure pat00003
파라메터들 크기
HOG: HOG 특징 벡터 1 × n
sv: 서포트 벡터(support vector) m × n
coef: 라그랑지 곱수 m × 1
b: 훈련된 바이어스(trained bias 스칼라(scalar)
HOG 특징 벡터의 크기인 n은 1,980이며, 서포트 벡터의 개수 m은 평균 410개이다. [수학식 1]의
Figure pat00004
연산은 많은 곱하기 연산을 필요로 한다. 본 명세서에서 사용된 2-분류 선형-SVM의 학습된 파라메터인
Figure pat00005
와
Figure pat00006
는 고정된 값을 가지므로, 두 행렬 곱은 알고리즘의 초기 단계에서 미리 계산할 수 있다. 이런 방법을 적용하여 [수학식 2]와 표 3과 같이 스코어링 함수의 연산량을 약 99% 단축할 수 있다.[수학식 2]
Figure pat00007
파라메터들 크기
HOG: HOG 특징 벡터 1 × n
w:
Figure pat00008
 n × 1
b: 훈련된 바이어스(trained bias) 스칼라(scalar)
<<성능 평가 방법>>
차선 끝점 검출 알고리즘을 평가하기 위해 지상 실측 정보(ground truth(GT))와 인식된 차선 끝점의 매칭 여부를 판별해야 한다. GT란, 영상에서 차선 끝점에 해당하는 부분을 레이블링 한 것을 의미한다. 도 6은 평가 대상으로 지정한 차선 끝점의 각 유형과 인식 결과를 나타낸다. 도 6을 참조하면, LWB는 왼쪽 차선의 위쪽 끝점, LBW는 왼쪽 차선의 아래쪽 끝점, RWB는 오른쪽 차선의 위쪽 끝점, RBW는 오른쪽 차선의 아래쪽 끝점을 나타낸다.
종래에는 GT와 차선끝점 검출결과를 동일 영상에 출력하여 육안으로 관찰하였으며, 서로의 유형이 일치하고 두 점 사이의 거리가 해당 차선의 폭 이하로 간주되면 정인식으로 분류하였다. 육안 성능 평가는 평가자가 인식된 차선 끝점과 GT를 반복적으로 비교하는 과정에서 경험적으로 알고리즘의 검출 특성과 영상의 원근감(perspective) 효과 등 다양한 변수들을 고려하게 되므로 신뢰도가 높은 방법이다. 그러나, 평가 과정에서의 인적, 시간적 비용이 크기 때문에 평가 DB의 규모에 따라 제약이 존재한다.
차선 끝점 검출 알고리즘을 평가하기 위한 성능 평가 시스템을 자동화하기 위해 인식률 평가 기준을 설정해야 한다. 이를 위해 GT와 인식된 차선 끝점의 오차를 구분하는 임계치를 설정해야 한다. 차선 끝점 검출 알고리즘에서 인식 결과와 GT는 영상 좌표계 상의 픽셀 값으로 표현되는데, 이를 통해 두 점 사이의 오차를 계산할 수 있다.
그러나, 영상 좌표계는 원근감 효과로 인해 각 픽셀마다 조감도 좌표계 상의 환산 거리가 일정하지 않으므로 고정 임계치를 적용하기 어렵다. 도 7은 영상의 원근감 효과를 나타낸다. 도 7을 참조하면, 동일한 픽셀 간격이라도 픽셀의 위치에 따라 조감도 좌표계 상의 환산 거리가 다르게 나타난다.
도 8은 조감도 상의 고정 임계치를 나타낸다. 도 8을 참조하면, 영상의 원근감 효과를 고려하기 위해 두 점의 픽셀 오차를 조감도 좌표계 상의 거리 오차로 환산하여 고정 임계치를 적용할 수 있다. 예컨대, 고속도로 차선 폭(width) 최대 규격(20cm)을 기준으로 마진(margin)을 추가하여
Figure pat00009
로 임계치를 설정할 수 있다.
그러나, 영상의 단일 선분을 조감도 상의 다양한 선분의 투영으로 해석할 수 있으므로 조감도 좌표계 상의 고정 임계치를 적용할 경우 육안 성능 평가와 상이한 결과를 보일 수 있다.
도 9는 종방향과 횡방향에서 다른 원근감 효과를 나타낸다. 도 9를 참조하면, 가상의 차선 끝점의 픽셀 위치 a를 기준으로 b까지의 픽셀 오차
Figure pat00010
가 가질 수 있는 종방향 환산 거리
Figure pat00011
와 횡방향 환산 거리
Figure pat00012
가 도시되어 있다. 따라서, 동일한 픽셀 오차에 대한 조감도 좌표계 상의 종방향 환산 거리와 횡방향 환산 거리가 서로 다르다.
따라서, 인식된 차선 끝점과 GT 사이의 오차가 갖는 조감도 좌표계 상의 환산 거리를 영상 좌표계의 수직방향과 수평방향으로 나누어 분석한 후 인식률 평가 기준을 설정할 필요가 있다.
도 10은 GT와 인식된 차선의 끝점의 오차를 구분하는 임계치를 계산하는 방법을 나타낸다. 도 10을 참조하면, 임계치를 계산하는 방법은
영상 좌표계의 수직 방향 최대 오차에 대한 조감도 좌표계 상의 수직 방향 환산 거리를 계산하고(S210), 상기 영상 좌표계의 수평 방향 최대 오차에 대한 조감도 좌표계 상의 수평 방향 환산 거리를 계산하고(S220), 상기 수직 방향 환산 거리와 상기 수평 방향 환산 거리에 기초하여 조감도 좌표계 상의 임계치를 계산 한다(S230).
수직 방향 환산 거리 분석
차선 끝점 검출 알고리즘의 인식 결과는 영상의 각 행 별 탑-햇 응답(top-hat response)을 기반으로 하기 때문에 영상 좌표계의 수직 방향으로 1 픽셀 간격의 해상도를 가지며, 수동 획득한 GT 또한 동일한 수직 방향 해상도를 가진다.
수직 방향 최대 픽셀 오차를 정인식의 경우 육안 성능 평가에서 일반적으로 허용하는 1 픽셀로 가정한다. 도 11과 같이 1 픽셀 오차가 발생할 경우 GT와 인식 결과가 갖는 근사화 오차에 의해 두 점의 실제 수직 방향 위치가 갖는 오차는 최대 약 2 픽셀 간격까지 나타날 수 있다. 영상 상의 한 점에 해당하는 조감도 좌표계 상의 점은 영상과 지표면 사이 호모그라피(homography)로 구할 수 있기 때문에, 영상 상의 두 점에 해당하는 조감도 좌표계 상의 두 점 사이 거리를 구할 수 있다. 호모그라피는 카메라 보정(calibration)을 통해 미리 구할 수 있다. GT로부터 수직 방향 2 픽셀 간격이 갖는 환산 거리는 도 12의 점선 그래프와 같다. 조감도 좌표계 상의 GT 대응점(이하, GT 대응점이라 함)이 카메라로부터 근거리에 위치한 경우 정인식된 차선 끝점의 최대 오차가 10cm 이하의 매우 짧은 거리로 가정된다.
도 12는 종방향 최대 오차를 나타내는 그래프이다. 도 12를 참조하면, 그래프의 가로축은 GT 대응점과 카메라 사이의 종방향 거리 즉, 카메라의 광축과 평행한 방향으로 카메라와 GT 대응점 사이의 거리를 의미한다.
그러나, 고속도로의 경우, 차선의 최대 폭 규격(20cm)을 고려할 때, 도 8과 같이 마진을 추가하지 않더라도 10cm 반경의 정인식 최대 거리 오차가 발생할 수 있다. 따라서, 종방향 정인식 거리 오차의 최소값을 10cm로 가정하고 이를 토대로 도 12의 점선 그래프에 클리핑을 적용할 수 있다. 최종적으로 설정한 정인식 차선 끝점과 GT 대응점의 종방향 최대 오차가 가질 수 있는 환산 거리는 도 12의 실선과 같다.
수평 방향 환산 거리 분석
인식된 차선 끝점의 수평 방향 픽셀 값은 인식된 차선으로부터 계산된 직선의 방정식에 차선 프로파일의 에지인 수평 방향 픽셀 값을 대입하여 계산된 값으로, 검출 직전의 각도와 수평 방향 픽셀 해상도에 따른 오차를 내포한다. GT의 수평 방향 해상도는 수직 방향과 동일하게 1 픽셀 간격을 가지며, 이를 토대로 정인식의 경우 발생 가능한 수평 방향 최대 픽셀 오차 또한 1 픽셀로 가정한다. 도 13과 같이 1 픽셀 수평 방향 오차가 발생할 경우, 두 점의 실제 수평 방향 위치가 갖는 오차는 최대 약 2픽셀 간격까지 나타날 수 있다.
또한 도 8을 토대로 횡방향 정인식 거리 오차의 최소값을 10cm로 가정하였으며, 도 14의 점선 그래프 즉, GT로부터 수평 방향 2 픽셀 간격이 갖는 조감도 좌표계 상의 환산 거리를 토대로 2 픽셀 간격 이하의 수평 방향 오차는 차선 끝점 검출 알고리즘의 최대 검출 거리인 19m 내에서 항상 10cm 미만의 환산 거리를 갖는 것을 알 수 있다. 따라서, 정인식 차선 끝점과 GT 대응점의 횡방향 최대 오차가 가질 수 있는 환산 거리는 도 14의 실선과 같이 10cm 로 설정된다.
조감도 좌표계 상의 임계치 설정
정인식된 차선 끝점의 종방향 최대 오차의 환산 거리(MaxError LONGITUDINAL )와 횡방향 최대 오차의 환산 거리(MaxError LATERAL )를 이용하여 [수학식 3]과 같이 유클리드 거리 값으로 계산하여 조감도 좌표계 상의 임계치(
Figure pat00013
)를 설정할 수 있다.
[수학식 3]
Figure pat00014
최종적으로 설정한 임계치는 GT 대응점과 카메라 사이의 종방향 거리에 따라 다르게 적용되며 도 15의 실선과 같다.
본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
10; 차량 위치 인식 시스템
100; GPS 수신기
200; 디지털 지도 수신부
300; 카메라
400; 차선 끝점 검출부
500; 요 레이트 센서
600; 휠 속도 센서
700; 프로세서

Claims (8)

  1. GPS 신호를 수신하는 GPS 수신기;
    상기 GPS 신호에 기초하여 현재 차량의 위치에 해당하는 디지털 지도를 수신하는 디지털 지도 수신부;
    상기 차량에 설치되고, 상기 차량의 전방 또는 후방을 촬영하는 카메라;
    상기 카메라에 의해 촬영된 영상에서 차선 끝점 검출 알고리즘을 이용하여 차선의 끝점을 검출하는 차선 끝점 검출부; 및
    상기 검출된 차선의 끝점과 상기 디지털 지도에 저장된 차선의 끝점을 일치시켜 상기 차량의 위치를 측정하는 프로세서;를 포함하는 차량 위치 인식 시스템.
  2. 제1항에 있어서, 상기 차선 끝점 검출 알고리즘은,
    주행 차로의 좌측 차선과 우측 차선으로 예상되는 영역에 게이팅을 설정하고,
    탑-햇 필터(top-hat filter)를 통과시켜 차선 후보점들을 추출하고,
    상기 차선 후보점들에 RANSAC(random sample consensus)을 적용하여 상기 좌측 차선과 상기 우측 차선 각각에 2개의 직선을 추출하고,
    쌍 스코어(pair score)를 이용하여 추출된 직선 중에서 최적의 차선 한쌍을 최종 차선으로 검출하는 차량 위치 인식 시스템.
  3. 제2항에 있어서,
    상기 쌍 스코어는 상기 카메라의 광축과 검출된 차선 사이의 평행도, 검출된 차선의 폭과 도로 규정 사이의 일치, 검출된 차선의 두 라인들 사이의 평행도, 및 상기 RANSAC 결과에 대한 일치 수를 기초로 계산되는 것을 특징으로 하는 차량 위치 인식 시스템.
  4. 제2항에 있어서, 상기 차선 끝점 검출 알고리즘은,
    검출된 차선을 따라 상기 차선의 프로파일을 생성하고,
    상기 프로파일의 최대값과 최소값 각각이 특정 값이 되도록 클리핑(clipping)하고,
    상기 프로파일의 에지를 검출하여 차선 끝점 후보들을 생성하고,
    각 후보들의 조감도를 생성하고,
    생성된 조감도에서 상기 차선 끝점 후보들을 HOG-SVM 알고리즘을 통해 검증하는 것을 특징으로 하는 차량 위치 인식 시스템.
  5. 제1항에 있어서,
    상기 차량이 주행 중인 노면의 수직방향 축에 대한 회전 각속도를 측정하는 요 레이트(yaw rate) 센서; 및
    상기 차량의 차축과 휠 사이에 장착되고, 상기 휠의 회전 속도를 측정하는 휠 속도 센서;를 더 포함하고,
    상기 프로세서는 상기 요 레이트 센서와 상기 휠 속도 센서를 이용하여 상기 차량의 위치의 변화를 추정하고, 상기 검출된 차선의 끝점과 상기 디지털 지도에 저장된 차선의 끝점을 일치시켜 상기 차량의 위치를 확률적으로 추정하는 것을 특징으로 하는 차량 위치 인식 시스템.
  6. GPS 신호를 수신하는 단계;
    상기 GPS 신호에 기초하여 현재 차량의 위치에 해당하는 디지털 지도를 수신하는 단계;
    상기 차량의 전방 또는 후방을 촬영하는 단계;
    촬영된 영상에서 차선 끝점 검출 알고리즘을 이용하여 차선의 끝점을 검출하는 단계; 및
    상기 검출된 차선의 끝점과 상기 디지털 지도에 저장된 차선의 끝점을 일치시켜 상기 차량의 위치를 측정하는 단계;를 포함하고,
    상기 검출된 차선의 끝점과 지상 실측 정보 사이의 오차를 구분하는 임계치를 설정함에 있어, 조감도 좌표계 상의 환산 거리를 영상 좌표계의 수직 방향과 수평 방향으로 나누어 분석하는 것을 특징으로 하는 차선 끝점 검출 알고리즘의 성능을 평가하는 방법.
  7. 제6항에 있어서,
    상기 영상 좌표계의 수직 방향 최대 오차에 대한 조감도 좌표계 상의 수직 방향 환산 거리를 계산하고, 상기 영상 좌표계의 수평 방향 최대 오차에 대한 조감도 좌표계 상의 수평 방향 환산 거리를 계산하고, 상기 수직 방향 환산 거리와 상기 수평 방향 환산 거리에 기초하여 조감도 좌표계 상의 임계치를 계산하는 것을 특징으로 하는 차선 끝점 검출 알고리즘의 성능을 평가하는 방법.
  8. 제7항에 있어서,
    상기 조감도 좌표계 상의 임계치는 하기의 수학식을 만족하는 것을 특징으로 하는 차선 끝점 검출 알고리즘의 성능을 평가하는 방법.
    [수학식]
    Figure pat00015

    Figure pat00016
    는 조감도 좌표계 상의 임계치를 의미하고, MaxError LONGITUDINAL 는 조감도 좌표계 상의 수직 방향 환산 거리를 의미하고, MaxError LATERAL 는 조감도 좌표계 상의 수평 방향 환산 거리를 의미한다.
KR1020180105246A 2018-09-04 2018-09-04 차선 끝점 검출 알고리즘을 이용한 차량 위치 인식 시스템 및 상기 차선 끝점 검출 알고리즘의 성능을 평가하는 방법 KR102100047B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180105246A KR102100047B1 (ko) 2018-09-04 2018-09-04 차선 끝점 검출 알고리즘을 이용한 차량 위치 인식 시스템 및 상기 차선 끝점 검출 알고리즘의 성능을 평가하는 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180105246A KR102100047B1 (ko) 2018-09-04 2018-09-04 차선 끝점 검출 알고리즘을 이용한 차량 위치 인식 시스템 및 상기 차선 끝점 검출 알고리즘의 성능을 평가하는 방법

Publications (2)

Publication Number Publication Date
KR20200027215A true KR20200027215A (ko) 2020-03-12
KR102100047B1 KR102100047B1 (ko) 2020-04-10

Family

ID=69803048

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180105246A KR102100047B1 (ko) 2018-09-04 2018-09-04 차선 끝점 검출 알고리즘을 이용한 차량 위치 인식 시스템 및 상기 차선 끝점 검출 알고리즘의 성능을 평가하는 방법

Country Status (1)

Country Link
KR (1) KR102100047B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113147782A (zh) * 2020-12-28 2021-07-23 上海汽车工业(集团)总公司 智能驾驶车辆自车参考轨迹筛选方法和筛选系统
KR20220063716A (ko) * 2020-11-10 2022-05-17 한국교통대학교산학협력단 차량의 정밀 측위 방법 및 장치
CN115147794A (zh) * 2022-06-30 2022-10-04 小米汽车科技有限公司 车道线确定方法、装置、车辆、介质及芯片

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150068196A (ko) 2013-12-11 2015-06-19 삼성테크윈 주식회사 차선 검출 시스템 및 차선 검출 방법
KR20180065758A (ko) * 2016-12-08 2018-06-18 현대모비스 주식회사 탑-뷰 영상 생성 장치 및 그 방법
KR20180080828A (ko) * 2017-01-05 2018-07-13 서울대학교산학협력단 라이더 맵 매칭 기반 차선레벨 차량 위치정보 인지 방법, 이를 수행하기 위한 기록 매체 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150068196A (ko) 2013-12-11 2015-06-19 삼성테크윈 주식회사 차선 검출 시스템 및 차선 검출 방법
KR20180065758A (ko) * 2016-12-08 2018-06-18 현대모비스 주식회사 탑-뷰 영상 생성 장치 및 그 방법
KR20180080828A (ko) * 2017-01-05 2018-07-13 서울대학교산학협력단 라이더 맵 매칭 기반 차선레벨 차량 위치정보 인지 방법, 이를 수행하기 위한 기록 매체 및 장치

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220063716A (ko) * 2020-11-10 2022-05-17 한국교통대학교산학협력단 차량의 정밀 측위 방법 및 장치
CN113147782A (zh) * 2020-12-28 2021-07-23 上海汽车工业(集团)总公司 智能驾驶车辆自车参考轨迹筛选方法和筛选系统
CN113147782B (zh) * 2020-12-28 2024-05-14 上海汽车工业(集团)总公司 智能驾驶车辆自车参考轨迹筛选方法和筛选系统
CN115147794A (zh) * 2022-06-30 2022-10-04 小米汽车科技有限公司 车道线确定方法、装置、车辆、介质及芯片
CN115147794B (zh) * 2022-06-30 2023-08-29 小米汽车科技有限公司 车道线确定方法、装置、车辆、介质及芯片

Also Published As

Publication number Publication date
KR102100047B1 (ko) 2020-04-10

Similar Documents

Publication Publication Date Title
US9846812B2 (en) Image recognition system for a vehicle and corresponding method
CN108243623B (zh) 基于双目立体视觉的汽车防碰撞预警方法和系统
WO2018177026A1 (zh) 确定道路边沿的装置和方法
US10032278B2 (en) Vehicle position estimation device, method and computer readable recording medium
CN108692719B (zh) 物体检测装置
US8395659B2 (en) Moving obstacle detection using images
US9898669B2 (en) Traveling road surface detection device and traveling road surface detection method
KR102100047B1 (ko) 차선 끝점 검출 알고리즘을 이용한 차량 위치 인식 시스템 및 상기 차선 끝점 검출 알고리즘의 성능을 평가하는 방법
KR101035761B1 (ko) 차선 인식을 위한 영상 처리 방법 및 시스템
KR20100111543A (ko) 차량 인식 방법 및 장치
CN110341621B (zh) 一种障碍物检测方法及装置
Petrovai et al. A stereovision based approach for detecting and tracking lane and forward obstacles on mobile devices
CN108399360B (zh) 一种连续型障碍物检测方法、装置及终端
EP3333829B1 (en) Step detection device and step detection method
Zaarane et al. Vehicle to vehicle distance measurement for self-driving systems
JP5097681B2 (ja) 地物位置認識装置
Vajak et al. A rethinking of real-time computer vision-based lane detection
KR101568683B1 (ko) 영상 분석을 이용한 차간 거리 추정 방법 및 그 장치
CN105021573A (zh) 用于基于跟踪的视距估计的方法和设备
CN113989765A (zh) 一种轨道障碍物的检测方法、检测装置及可读存储介质
KR102003387B1 (ko) 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체
EP3438933B1 (en) Environment recognition device
JP2023068009A (ja) 地図情報作成方法
EP3333828A1 (en) Step detection device and step detection method
Oniga et al. A fast ransac based approach for computing the orientation of obstacles in traffic scenes

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant