KR20040034243A - 차선 인식 방법 및 시스템 - Google Patents

차선 인식 방법 및 시스템 Download PDF

Info

Publication number
KR20040034243A
KR20040034243A KR1020020064336A KR20020064336A KR20040034243A KR 20040034243 A KR20040034243 A KR 20040034243A KR 1020020064336 A KR1020020064336 A KR 1020020064336A KR 20020064336 A KR20020064336 A KR 20020064336A KR 20040034243 A KR20040034243 A KR 20040034243A
Authority
KR
South Korea
Prior art keywords
lane
slope
image
parameter
curvature
Prior art date
Application number
KR1020020064336A
Other languages
English (en)
Other versions
KR100472823B1 (ko
Inventor
장경영
박종웅
Original Assignee
학교법인 한양학원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 학교법인 한양학원 filed Critical 학교법인 한양학원
Priority to KR10-2002-0064336A priority Critical patent/KR100472823B1/ko
Publication of KR20040034243A publication Critical patent/KR20040034243A/ko
Application granted granted Critical
Publication of KR100472823B1 publication Critical patent/KR100472823B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Optimization (AREA)
  • Signal Processing (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 차선 이탈, 추돌 경보 및 방지 시스템에서의 영상좌표상의 차선의 휨 및 오르막을 인식하는 방법 및 차선인식시스템에 관한 것으로, 구체적으로 (a) 주행중인 차로의 차선을 포함한 영상을 입력받는 단계; (b) 입력받은 영상을 이용하여 영상좌표상의 차선의 각 위치에서의 제1기울기를 출력하는 단계; (c) 실좌표상의 차선의 곡률과 관계되는 곡률파라미터를 소정 범위 내에서 변화시켜가면서, 곡률파라미터를 포함하고 영상좌표상에서의 차선의 모양을 나타내는 영상좌표상의 차선의 곡선방정식을 이용하여 영상좌표상의 차선의 각 위치에서의 제2기울기를 출력하는 단계; (d) 영상좌표상의 차선의 각 위치에서의 제1기울기와 제2기울기를 서로 비교하여, 제1기울기 및 제2기울기의 차이가 가장 적게 나는 곡률파라미터를 검출하는 단계; 및 (e) 검출된 곡률파라미터를 포함하는 영상좌표상에서의 차선의 곡선방정식을 이용하여 차선을 인식하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 따르면 종래의 인공망 학습과정이나, 카메라보정, 차선과 카메라간의 관계를 나타내는 데이터획득 등 영상좌표상의 도로 영상을 실좌표계로 변환하는 선행 작업 없이 차선의 휨 및 오르막을 정확하게 인식할 수 있게 된다.

Description

차선 인식 방법 및 시스템{Method for detecting lane and system therefor}
본 발명은 차선 이탈, 추돌 경보 및 방지 시스템에서의 영상좌표상의 차선의 휨 및 오르막을 인식하는 방법 및 차선인식시스템에 관한 것이다.
교통사고에 대한 미국의 GES(General Estimation System)와 FARS(Fatal Accident Reporting System)의 자료에 따르면, 전체 교통 사고의 40%가량이 단독 차량의 차선 이탈로 인한 것이고, 13,000여명의 인명 피해와 1,000억불의 재산 피해를 입었다고 한다. 또한 이는 모든 교통 지체 현상의 16.5%에 해당하는 것으로 나와 있다.
이러한 사회적 손실을 줄이기 위해, 유럽의 PROMETHEUS, 미국의 IVSH, 일본의 ARTS와 ASV와 같은 국가적 ITS 사업의 부문사업 중 AVS(Advanced Vehicle System)가 큰 연구과제로 설정이 되어 있으며, 이를 통해 차선 이탈, 추돌 경보 및 방지 시스템이 연구되고 있다.
차선 이탈, 추돌 경보 및 방지 시스템은 자차나 선행차의 움직임을 추정하는 것만으로는 곡선 차선을 인식할 수 없기 때문에, 자차 앞의 차선을 인식하는 것이 기본적으로 선행되어야 하며, 이를 통해 운전중인 차량의 차선 내 움직임을 감지할 수 있어야 한다.
지금까지 진행된 차선 인식 기술은 차선의 국부적인 부분들에 대해서만 차선인식을 하여 차선인식 에러가 많았다. 그래서 전방 도로의 전체차선에 대한 차선 인식 기법도 있으나, 이러한 방식은 인식한 영상좌표의 차선포인트들을 포물선으로 모델되는 3차원 실좌표상의 도로로 맵핑하는 방식을 이용하여 차선을 인식하므로, 이를 위해서는 카메라와 도로와의 관계를 나타낼 수 있는 데이터를 이용하여 차선 인식 과정 중에 계속적으로 영상 좌표상의 차선 포인트들을 3차원 실 좌표로 맵핑하여야 하고 맵핑 과정 중에 발생된 에러가 맵핑된 도로영상에 개입될 수도 있어부정확한 도로 영상에서 차선을 인식 할 수 있는 단점이 있다. 또한 상기한 방식으로는 도로의 오르막을 인식할 수 없는 문제점도 있다.
상기한 문제를 해결하기 위해서 본 발명에서는 종래의 인공망 학습과정이나, 카메라보정, 차선과 카메라간의 관계를 나타내는 데이터획득 등 영상좌표상의 도로 영상을 실좌표계로 변환하는 선행 작업없이 차선의 휨 및 오르막을 인식하는 방법을 제공하는 것을 목적으로 한다.
또한, 상기한 문제를 해결하기 위해서 본 발명에서는 상기한 방법을 실시할 수 있는 차선인식시스템을 제공하는 것을 목적으로 한다.
도 1은 본 발명의 구성을 도시한 블록선도
도 2는 본 발명을 실시하기 위한 방법을 도시한 흐름도
도 3 및 도 4는 본 발명에서 입력된 영상의 차선의 기울기를 산출하기 위한 마스크를 도시한 도면
도 5 및 도 6은 마스크를 이용한 영상의 차선의 기울기를 산출하는 예를 설명하기 위한 도면
도 7은 본 발명의 수학식을 설명하기 위한 도면
도 8은 본 발명에 의한 차선 인식의 결과를 실제 도로와 비교하기 위한 도면
도 9는 본 발명에서 mf에 따라 곡선방정식에 따른 곡선이 변화하는 모양을 도시한 도면
도 10은 본 발명에서 차선근방영역을 설정한 상태를 도시한 도면
상기한 목적을 달성하기 위해서 본 발명은 (a) 주행중인 차로의 차선을 포함한 영상을 입력받는 단계; (b) 상기 입력받은 영상을 이용하여 영상좌표상의 차선의 각 위치에서의 제1기울기를 출력하는 단계; (c) 실좌표상의 차선의 곡률과 관계되는 곡률파라미터를 소정 범위 내에서 변화시켜가면서, 상기 곡률파라미터를 포함하고 영상좌표상에서의 차선의 모양을 나타내는 영상좌표상의 차선의 곡선방정식을 이용하여 영상좌표상의 차선의 각 위치에서의 제2기울기를 출력하는 단계; (d) 영상좌표상의 차선의 각 위치에서의 상기 제1기울기와 상기 제2기울기를 서로 비교하여, 상기 제1기울기 및 상기 제2기울기의 차이가 가장 적게 나는 곡률파라미터를 검출하는 단계; 및 (e) 상기 검출된 곡률파라미터를 포함하는 상기 영상좌표상에서의 차선의 곡선방정식을 이용하여 차선을 인식하는 단계;를 포함하는 것을 특징으로 하는 차선인식방법을 제공한다.
또한, 상기한 목적을 달성하기 위해서 본 발명은 (a) 주행중인 차로의 차선을 포함한 영상을 입력받는 단계; (b) 상기 입력받은 영상을 이용하여 영상좌표상의 차선의 각 위치에서의 제1기울기를 출력하는 단계; (c) 실좌표상의 차로의 오르막의 기울기와 관계되는 기울기파라미터 및 실좌표상의 차선의 곡률과 관계되는 곡률파라미터를 각각 소정 범위 내에서 변화시켜가면서, 상기 기울기파라미터 및 상기 곡률파라미터를 포함하고 영상좌표상에서의 차선의 모양을 나타내는 영상좌표상의 차선의 곡선방정식을 이용하여 영상좌표상의 차선의 각 위치에서의 제2기울기를 출력하는 단계; (d) 영상좌표상의 차선의 각 위치에서의 상기 제1기울기와 상기 제2기울기를 서로 비교하여, 상기 제1기울기 및 상기 제2기울기의 차이가 가장 적게 나는 기울기파라미터 및 곡률파라미터를 검출하는 단계; 및 (e) 상기 검출된 기울기파라미터 및 곡률파라미터를 포함하는 상기 영상좌표상에서의 차선의 곡선방정식을 이용하여 차선을 인식하는 단계;를 포함하는 것을 특징으로 하는 차선인식방법을 제공한다.
상기 차선인식방법에서, 상기 (e) 단계는 상기 차선의 곡선방정식에 의한 곡선에서 소정 범위 벗어난 부분까지 차선으로 인식하는 것이 바람직하다.
또한, 상기 차선인식방법에서, 상기 (b) 단계는 상기 입력된 영상에 소정의 화소값을 갖는 마스크를 씌워서 산출된 값을 이용하여 상기 제1기울기를 산출하는 것이 바람직하다.
상기 차선인식방법에서, 상기 차선의 곡선방정식은 영상좌표상에서의 차선의변곡점을 중심으로 원거리에 위치한 원거리 곡선방정식과 근거리에 위치한 근거리 곡선방정식으로 구성되며, 상기 근거리 곡선방정식 및 상기 원거리 곡선방정식은 상기 근거리 곡선의 시작 부분에서의 점근선인 근거리점근선의 기울기, 상기 원거리 곡선의 끝 부분에서의 점근선인 원거리점근선의 기울기 및 차선의 소실점의 좌표로 표현되는 것이 바람직하다.
또한, 상기한 목적을 달성하기 위해서 본 발명은 주행중인 차로의 차선을 포함한 영상을 촬영하여 입력하는 영상입력수단; 상기 입력받은 영상을 이용하여 영상좌표상의 차선의 각 위치에서의 제1기울기를 출력하는 제1기울기출력수단; 실좌표상의 차선의 곡률과 관계되는 곡률파라미터를 소정 범위 내에서 변화시켜가면서, 상기 곡률파라미터를 포함하고 영상좌표상에서의 차선의 모양을 나타내는 영상좌표상의 차선의 곡선방정식을 이용하여 영상좌표상의 차선의 각 위치에서의 제2기울기를 출력하는 제2기울기출력수단; 영상좌표상의 차선의 각 위치에서의 상기 제1기울기와 상기 제2기울기를 서로 비교하여, 상기 제1기울기 및 상기 제2기울기의 차이가 가장 적게 나는 곡률파라미터를 검출하는 곡률파라미터검출수단; 및 상기 검출된 곡률파라미터를 포함하는 상기 영상좌표상에서의 차선의 곡선방정식을 이용하여 차선을 인식하는 차선인식수단;을 포함하는 것을 특징으로 하는 차선인식시스템을 제공한다.
또한, 상기한 목적을 달성하기 위해서 본 발명은 주행중인 차로의 차선을 포함한 영상을 촬영하여 입력하는 영상입력수단; 상기 입력받은 영상을 이용하여 영상좌표상의 차선의 각 위치에서의 제1기울기를 출력하는 제1기울기산출수단; 실좌표상의 차로의 오르막의 기울기와 관계되는 기울기파라미터 및 실좌표상의 차선의 곡률과 관계되는 곡률파라미터를 각각 소정 범위 내에서 변화시켜가면서, 상기 기울기파라미터 및 상기 곡률파라미터를 포함하고 영상좌표상에서의 차선의 모양을 나타내는 영상좌표상의 차선의 곡선방정식을 이용하여 영상좌표상의 차선의 각 위치에서의 제2기울기를 출력하는 제2기울기산출수단; 영상좌표상의 차선의 각 위치에서의 상기 제1기울기와 상기 제2기울기를 서로 비교하여, 상기 제1기울기 및 상기 제2기울기의 차이가 가장 적게 나는 기울기파라미터 및 곡률파라미터를 검출하는 파라미터검출수단; 및 상기 검출된 기울기파라미터 및 곡률파라미터를 포함하는 상기 영상좌표상에서의 차선의 곡선방정식을 이용하여 차선을 인식하는 차선인식수단;을 포함하는 것을 특징으로 하는 차선인식시스템을 제공한다.
상기 차선인식수단은 상기 차선의 곡선방정식에 의한 곡선에서 소정 범위 벗어난 부분까지 차선으로 인식하는 것이 바람직하다.
또한, 상기한 목적을 달성하기 위해서 본 발명은 상기한 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
이하 본 발명의 바람직한 실시예를 도면을 참조하여 상세히 설명한다.
도 1은 본 발명의 차선인식시스템의 구성을 나타낸 블록선도이다. 본 발명의 차선인식시스템은 차선의 휨과 오르막의 기울기를 모두 검출할 수도 있고, 차선의 휨만을 검출할 수도 있다. 차선의 휨만을 검출하는 시스템의 경우 차선의 휨과 오르막의 기울기를 모두 검출하는 시스템에 비하여 오르막의 검출하는 구성 부분만이 생략된 것이므로, 여기서는 차선의 휨 및 오르막의 기울기를 모두 검출하는 차선인식시스템에 대해서만 설명한다.
본 발명의 차선인식시스템은 영상입력수단(101), 제1기울기출력수단(102), 제2기울기출력수단(103), 파라미터검출수단(104) 및 차선인식수단(105)을 포함하여 구성된다.
영상입력수단(101)은 주행중인 차로의 차선을 포함한 영상을 촬영하여 촬영된 영상을 본 발명의 차선인식시스템에 입력한다. 영상입력수단(101)은 카메라의 영상을 디지털로 변환하는 디지털 변환기인 것이 바람직하며 차량에 부착되어 전방의 도로를 촬영하게 된다.
제1기울기출력수단(102)은 영상입력수단(101)으로부터 입력받은 영상을 마스크를 씌우는 등의 방식으로 영상좌표상의 차선의 각 위치에서의 기울기를 산출하여 출력한다. 즉, 제1기울기출력수단(102)은 실제 도로에서의 차선의 기울기가 아닌 입력된 영상에 나타난 차선의 기울기를 측정한다. 구체적인 동작방식은 본 발명의 방법을 설명하면서 자세히 설명한다.
제2기울기출력수단(103)은 실좌표상의 차로의 오르막의 기울기와 관계되는 기울기파라미터 및 실좌표상의 차선의 곡률과 관계되는 곡률파라미터를 각각 소정 범위 내에서 변화시켜가면서, 상기 기울기파라미터 및 상기 곡률파라미터를 포함하고 영상좌표상에서의 차선의 모양을 나타내는 영상좌표상의 차선의 곡선방정식을 이용하여 영상좌표상의 차선의 각 위치에서의 기울기를 출력한다.
즉, 제2기울기출력수단(103)은 기울기파라미터와 곡률파라미터를 소정의 범위 내에서 변화시켜가면서 대입하여 본 발명의 차선의 곡선방정식을 변화시켜 파라미터들의 변화 범위 내에서 영상좌표상의 차선의 각 위치에서의 산출될 수 있는 가능한 모든 기울기를 산출하여 출력한다.
파라미터검출수단(104)은 영상좌표상의 차선의 각 위치마다 제1기울기출력수단(102)으로부터 출력된 입력 영상에 나타난 차선의 기울기(제1기울기)와 제2기울기출력수단(103)으로부터 출력된 소정의 범위 내에서 차선의 곡선방정식으로부터 산출가능한 모든 기울기(제2기울기)를 비교하여 전체적으로 가장 기울기의 차이가 적게 나도록 하는 기울기파라미터와 곡률파라미터를 검출한다.
차선인식수단(105)은 파라미터검출수단(104)으로부터 검출된 기울기파라미터와 곡률파라미터를 포함하는 영상좌표상의 차선의 곡선방정식을 이용하여 차선을 인식한다.
이때, 인식되는 차선은 파라미터검출수단(104)으로부터 검출된 기울기파라미터와 곡률파라미터를 포함하는 영상좌표상의 차선의 곡선방정식에 의해 그려지는 곡선만을 차선으로 인식할 수도 있으나, 오차가 발생할 가능성을 줄이기 위해 상기 곡선보다 조금 더 옆의 관심영역까지 차선으로 인식하는 것이 바람직하다.
인식된 차선에 대한 정보는 차선 이탈, 추돌 경보 및 방지 시스템 등에서 사용되어진다.
차선의 곡선방정식에 대한 구체적인 내용은 도 2를 설명하면서 자세히 설명한다. 도 2는 본 발명을 실시하기 위한 방법을 도시한 흐름도이다. 본 발명은 다음과 같은 방법으로 실시될 수 있다.
먼저, 차량 등에 부착된 카메라 등의 영상입력수단(101)으로 차량 등이 달리고 있는 차선을 포함하는 영상을 촬영하여 입력받는다(201).
입력받은 영상에 포함된 차선의 기울기는 제1기울기출력수단(102)을 통하여 측정된다(202). 영상좌표상의 차선의 기울기의 측정은 도 3 및 도 4에 도시된 마스크를 도로의 원래 영상에 씌워서 산출하는 것이 바람직하다.
영상 미분을 이용한 기울기의 x 요소를 Gx, y 요소를 Gy라고 할 때 도 3은 Gy마스크를, 도 4는 Gx마스크를 나타내며 도 5와 도 6은 마스크를 이용한 예를 나타낸 것이다.
차선의 기울기는 다음과 같은 수학식을 통하여 구하여 진다.
여기서 α(x, y)는 차선의 기울기의 법선방향을 나타낸다. 따라서, 차선의 기울기가 된다.
도 5의 경우를 살펴보면, 차선의 법선방향의 기울기는
Gy= (2 ×25 + 100)-(18 + 2 ×99 + 100) = -166
Gx= (100 + 2 ×100 + 100) -18 = 382
가 되고, 도 6의 경우 차선의 법선방향의 기울기는
Gy= (2 ×25 + 100)-(18 + 2 ×99 + 100) = -166
Gx= 18 - (100 + 2 ×100 + 100) = -382
가 된다.
한편, 제2기울기출력수단(103)을 통해서는 실좌표상의 차로의 오르막의 기울기와 관계되는 기울기파라미터 및 실좌표상의 차선의 곡률과 관계되는 곡률파라미터를 각각 소정 범위 내에서 변화시켜가면서, 상기 기울기파라미터 및 상기 곡률파라미터를 포함하고 영상좌표상에서의 차선의 모양을 나타내는 영상좌표상의 차선의 곡선방정식을 이용하여 산출된 영상좌표상의 차선의 각 위치에서의 제2기울기가 출력된다(203).
제2기울기를 구하는 구체적인 과정은 다음과 같다.
영상좌표상의 차선모델을 구하기 위해서, 우선 도로 상의 차선의 수학적 모델을 정의한다. 도로에 있는 차선은 2차 포물선에 근사될 수가 있고, 실좌표계상에서 다음과 같은 수학식으로 표현된다.
여기서, yr축은 실좌표계에서 카메라의 광축과 차선의 방향이 평행할 때의 차선의 방향을 나타내고, xr축은 도로 평면에서 yr축에 수직인 방향을 나타내고, A는 차선의 곡률이고, B는 차선의 각 지점에서의 차선의 기울기, C는 차선의 xr축과의 교점을 나타낸다.
상기와 같은 실 도로상의 모델을 실 좌표계와 카메라 좌표계, 그리고 컴퓨터 프레임 좌표계간의 관계를 정립하여 영상좌표계(x, y)에서의 모델로 변환하면 다음과 같은 수학식으로 표현된다.
상기 식에서 [수학식 3]은 도 7에서 근거리곡선(705), 즉 도로 영상에서 카메라에 가까운 차선을 나타내고, [수학식 4]는 도 7에서의 원거리곡선(706), 즉 도로 영상에서 카메라에 먼, 소실점에 가까운 차선을 나타낸다. 근거리곡선(705)와원거리곡선(706)은 영상좌표상에서 차선의 변곡점(704)를 중심으로 서로 연결되어 있다.
한편, [수학식 3]과 [수학식 4]에서 사용된 파라미터 a, b, c, d, e간의 관계를 살펴보기 위해 실좌표계와 영상좌표계와의 관계, 카메라의 영향 등을 고려하여 각 파라미터를 정의하면 다음과 같다.
여기서, 사용된 파라미터의 정의는 다음과 같다.
Cx, Cy: 컴퓨터 프레임 메모리의 중심
이고, 여기서
dx, dy: 인접 CCD 센서 셀 간의 중심거리
Ncx, Ncy: CCD 센서의 셀 수
Nfx, Nfy: 이미지의 수평, 수직 분해능
Tz: 좌표계에서 카메라의 영상좌표계로의 변환시 z축 ??항으로의 이동
lambda : 카메라 렌즈의 초점거리
상기 수학식을 이용하여 사용된 파라미터 간의 관계를 살펴보면 다음과 같다.
여기서,으로 상기 파라미터들 중에서 유일하게 실제 도로상의 곡률 A가 포함되어 있다. 따라서, 상기 파라미터들 중 a, b, c 및 d는 실제 도로의 곡률에 상관없이 정해지는 파라미터이고 e만이 도로의 곡률에 따라 변경되는 파라미터이다.
한편, 상기 수학식에 따르면 [수학식 3]은 다음의 [수학식 13]으로, [수학식 4]는 다음의 [수학식 14]로 표현된다.
상기 식은 차량에 설치된 카메라의 광축이 노면에 평행하다는 가정 하에 유도되었다. 그리고, 이때는 입력 영상의 차선의 소실점이 영상좌표상의 y축의 중심에 오게 되므로 Cy는 차선의 소실점의 y좌표를 의미하게 된다.
그러나, 실제적으로 카메라를 노면에 정확히 평행하게 맞추는 것은 그리 쉽지 않아 카메라가 노면을 향해 약간 기울어져 있는 경우가 많으며, 또한 카메라가 노면에 평행하게 설치되더라도 차량의 피치운동으로 외란이 발생하여 일정하게 고정되어 있지 못하는 경우가 많이 발생한다.
이러한 외란이 포함되면, 이상적인 차선의 소실점이 Cy는 외란이 포함된 도로 영상에서 구한 차선의 소실점 v로 대체될 수 있다. 따라서, [수학식 13]과 [수학식 14]는 다음과 같이 표현될 수 있다.
상기 수학식에 의해 표현된 근거리곡선(705)와 원거리곡선(706)의 점근선인 근거리점근선(701)와 원거리점근선(702)을 살펴보면 다음과 같다.
근거리점근선(701)을 y = mnx + nn, 원거리점근선(702)을 y = mfx + nf라고 하면, 기울기 m 및 y 절편 n은 다음의 수학식을 통하여 구할 수 있다.
이를 [수학식 15]에 적용하여 보면 근거리점근선(701)의 방정식은 다음과 같이 표현된다.
근거리점근선(701)은 소실점(707)을 통과하므로 (u, v)를 대입하면
로 나타내어질 수 있다.
이를 [수학식 15] 및 [수학식 16]에 대입하면 근거리곡선(705)과 원거리곡선(706)은
로 표현된다.
a를 m`라 하고, |a|를 m``라고 하면 [수학식 17] 및 [수학식 18]에 의해
이 되고, 이에 따라 근거리곡선(705)과 원거리곡선(706)은 각각
[수학식 25] 및 [수학식26]에서 근거리점근선(701)의 기울기 mn은 도 7에서두 개의 포인트 (x1, y1)(708), (x2, y2)(709)를 찾고 차선의 위치와 기울기를 계산하여 구한다. 상기 두 개의 포인트(708, 709)는 자차 앞 5m ∼ 20m 사이의 근거리 영역에 위치한 포인트로 이 영역에서는 차선 마크의 정보가 양호하고, 차선을 직선으로 간주할 수 있을 정도이므로 근거리점근선(701)의 기울기를 구할 수 있다. 구체적으로 근거리 영역에서 그레이 레벨의 변화가 급히 변화하는 에지 성분을 찾고, 이 에지 성분을 이진화를 시켜서, 에지 성분들을 그룹화시킨다. 이렇게 그룹화된 에지 그룹들 중에서 차선 에지 그룹을 선택하여 찾으면 구할 수 있다.
또한, 자차 앞 5m ∼ 20m 사이의 근거리 영역에 위치한 차선 에지 그룹에 해당하는 포인트 중 어느 하나의 포인트에서 도 3 및 도 4와 같은 마스크를 이용하여 기울기를 산출하여 이를 근거리점근선(701)의 기울기로 산출할 수도 있다.
차선의 소실점(707)은 좌우 근거리차선의 위치와 기울기를 구해서 좌우 근거리 차선의 교점으로부터 구한다.
상기와 같은 방식으로 [수학식 25] 및 [수학식26]의 각 파라미터들을 구하면 구해지지 않는 파라미터는 원거리점근선(702)의 기울기 mf와 k만이 남는다. 이 중 k는 도로의 곡률인 A를 포함하는 도로의 곡률에 따라 변화되는 곡률파라미터이고, mf는 도로의 오르막의 기울기에 따라 변화되는 기울기파라미터이다. 도로의 오르막의 기울기가 0인 경우, 즉 도로가 오르막이 없는 경우에 mf= 0이 된다.
상기 두 파라미터의 값을 변화시켜 가면서 각 위치에서의 곡선의 기울기를 구하여 이를 실제 입력된 영상에 나타난 기울기와 비교를 하여 가장 차이가 적게나는 곡률파라미터를 구하면 된다.
[수학식 25] 또는 [수학식 26]으로 표현되는 곡선의 각 위치에서의 기울기는 다음과 같은 수학식으로 표현된다.
여기서 beta (xj)는 j 위치에서의 [수학식 25] 또는 [수학식 26]으로 표현되는 곡선의 기울기를 나타낸다. 여기서 j는 도 10에 표시된 차선 근방 영역 내의 각 지점의 위치를 나타낸다.
파라미터 mf와 k의 변화범위를 무한한 범위로 할 수는 없기 때문에 소정 범위 내로 한정하여 변화시키는 것이 필요하다. 그러나, 변화의 범위는 사용자가 임의로 지정할 수 있으며 변화의 기본단위가 얼마나 세밀한지 등에 의해 좀 더 정확한 차선인식이 가능한지가 결정되지만 변화의 기본단위에 의해 본 발명의 기술적 사상이 변경되는 것은 아니다.
파라미터검출수단(104)은 단계(202)에서 제1기울기출력수단(102)로부터 출력되는 영상좌표상의 차선의 각 위치에서의 기울기와 단계(203)에서 제2기울기출력수단(103)으로부터 출력되는 [수학식 27]로 표현되는 차선의 기울기를 파라미터를 변경해 가면서 비교하여 영상에 나타난 차선과 곡선방정식에 의해 표현되는 차선을 가장 유사하게 만드는 파라미터를 검출한다(204).
구체적인 방법은 다음과 같다.
먼저 곡률파라미터 k를 k = εi 로 치환하고, ε= 25로 고정시킨다. i를 -40에서 40까지 1만큼씩 변경시켜 i에 따른 각 위치에서의 곡선방정식에 의한 차선의 기울기 β를 구하고 영상에 잡힌 차선의 기울기와의 차를 구한다.
즉, 동일한 i에서 각 위치에서의 차선의 곡선방정식에 의한 차선의 각 위치에서의 기울기와 영상에 나타난 차선의 각 위치에서의 기울기의 차를 다음과 같은 방식으로 산출한다.
상기 수학식의 결과를 이용하고 다음과 같은 방식을 통하여 Vj 및 Mj를 정의한다.
Vj= 1
else Vj= 0
여기서, Ni는 i(i는 -40 ~ 40의 정수)번째 곡률파라미터를 갖는 곡선방정식에 의해 나타나는 차선 내에서의 에지포인트의 개수를 의미하고, δ는 설계자에 의해 정해지는 임의의 상수로서 본 실시예에서는 15로 지정한다.
이때, Mi의 값이 최대가 되는 곡률파라미터 k를 검출한다.
이상의 과정에서는 도로의 오르막의 기울기에 관계되는 원거리점근선(702)의 기울기 mf, 즉 기울기파라미터는 어느 하나의 수로 고정시킨 상태에서 곡률파라미터를 검출하였으나, 오르막에 의한 차선의 변화도 고려하여야 보다 정확한 결과를 얻을 수 있으므로 기울기파라미터를 변화시켜가면서 상기와 같은 과정을 반복하여 최종적인 파라미터들을 검출한다.
즉, 오르막이 없는 평평한 도로에서는 mf= 0이 되지만, 오르막이 있는 경우에는 유한한 값을 갖게 되므로, 오르막의 정도에 따라 [수학식 25] 및 [수학식 26]에 의해 표현되는 차선의 모양, 즉 차선의 각 위치에서의 기울기의 모양을 변화시키게 되므로 이를 고려하여 연산을 수행하여야 한다. 도 9a 내지 도 9f는 mf에 따라 차선의 곡선방정식에 의한 곡선이 어떻게 나타나는가를 도시한 것이다.
어느 하나의 mf에 대하여 i를 소정 범위 내에서 변경시켜가면서 상기와 같은 [수학식 28] 및 [수학식 29]의 연산을 수행하고, mf의 값을 조금씩 변경하면서 각 i에 대한 [수학식 28] 및 [수학식 29]의 연산을 반복하여 수행하면서 Mi를 산출하고 최종적으로 가장 큰 Mi의 값이 나오는 mf의 값과 i(또는 k)값을 산출한다.
파라미터를 검출하였으면, 검출된 파라미터를 포함하는 [수학식 25] 및 [수학식 26]에 의한 차선의 곡선 방정식을 이용하여 차선을 인식한다(205). 도 8a는 실제 차선의 곡률을 나타낸 것이고, 도 8b는 본 발명의 방법에 의하여 차선의 곡률을 인식한 결과를 도시한 것이다. 도면에서 보듯이 실제 차선과 본 발명에 의해 인식한 차선이 비교적 정확하게 일치하는 것을 알 수 있다.
[수학식 25] 및 [수학식 26]에 의한 차선의 곡선 방정식에 의해 나타나는 곡선만을 차선으로 인식할 수도 있지만, 차선 모델을 영상에 매칭시킬 경우, 실제 도로 모양이 포물선으로 가정한 실좌표계의 차선 모델과 정확히 일치하지 않을 수도 있고, 근거리에서 구한 근거리점근선의 오차량을 고려할 때 영상 좌표상의 차선모델은 차선 영상과 정확하게 일치하지 않을 수도 있다.
따라서, 축차적으로 변화되는 차선모델 주위로 일정영역을 차선근방영역으로 설정하여 이 영역까지를 차선으로 인식하는 것이 바람직하다. 도 10a 내지 도 10c는 이러한 차선근방영역을 설정하여 차선으로 인식한 것을 나타낸 것이다.
곡선(1001)은 [수학식 25]에 의해 상기한 방법에 의해 인식된 차선의 모양이고, 곡선(1002)는 다음의 [수학식 30]에 의해 인식되는 곡선이고, 곡선(1003)은 [수학식 31]에 의해 인식되는 곡선이다.
여기서 mstep은 차선근방영역의 범위를 결정하는 인자 값으로 설계자에 의해 임의로 지정될 수 있다. 나머지 차선근방영역을 설정하는 곡선을 나타내는 곡선방정식도 [수학식 30] 및 [수학식 31]과 같은 방식으로 mstep을 이용하여 설정된다.
본 발명의 상기 방법은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상 설명한 바와 같이, 본 발명에 따르면 종래의 인공망 학습과정이나, 카메라보정, 차선과 카메라간의 관계를 나타내는 데이터획득 등 영상좌표상의 도로 영상을 실좌표계로 변환하는 선행 작업 없이 차선의 휨 및 오르막을 정확하게 인식할 수 있게 되며, 따라서 LDW(Lane Departure Warning), LKA(Lane Keeping Assistance), CW(Collision Warning), ICC(Intelligent Cruise Control) 등에 폭넓게 사용될 수 있다.

Claims (10)

  1. (a) 주행중인 차로의 차선을 포함한 영상을 입력받는 단계;
    (b) 상기 입력받은 영상을 이용하여 영상좌표상의 차선의 각 위치에서의 제1기울기를 출력하는 단계;
    (c) 실좌표상의 차선의 곡률과 관계되는 곡률파라미터를 소정 범위 내에서 변화시켜가면서, 상기 곡률파라미터를 포함하고 영상좌표상에서의 차선의 모양을 나타내는 영상좌표상의 차선의 곡선방정식을 이용하여 영상좌표상의 차선의 각 위치에서의 제2기울기를 출력하는 단계;
    (d) 영상좌표상의 차선의 각 위치에서의 상기 제1기울기와 상기 제2기울기를 서로 비교하여, 상기 제1기울기 및 상기 제2기울기의 차이가 가장 적게 나는 곡률파라미터를 검출하는 단계; 및
    (e) 상기 검출된 곡률파라미터를 포함하는 상기 영상좌표상에서의 차선의 곡선방정식을 이용하여 차선을 인식하는 단계;를 포함하는 것을 특징으로 하는 차선인식방법.
  2. (a) 주행중인 차로의 차선을 포함한 영상을 입력받는 단계;
    (b) 상기 입력받은 영상을 이용하여 영상좌표상의 차선의 각 위치에서의 제1기울기를 출력하는 단계;
    (c) 실좌표상의 차로의 오르막의 기울기와 관계되는 기울기파라미터 및 실좌표상의 차선의 곡률과 관계되는 곡률파라미터를 각각 소정 범위 내에서 변화시켜가면서, 상기 기울기파라미터 및 상기 곡률파라미터를 포함하고 영상좌표상에서의 차선의 모양을 나타내는 영상좌표상의 차선의 곡선방정식을 이용하여 영상좌표상의 차선의 각 위치에서의 제2기울기를 출력하는 단계;
    (d) 영상좌표상의 차선의 각 위치에서의 상기 제1기울기와 상기 제2기울기를 서로 비교하여, 상기 제1기울기 및 상기 제2기울기의 차이가 가장 적게 나는 기울기파라미터 및 곡률파라미터를 검출하는 단계; 및
    (e) 상기 검출된 기울기파라미터 및 곡률파라미터를 포함하는 상기 영상좌표상에서의 차선의 곡선방정식을 이용하여 차선을 인식하는 단계;를 포함하는 것을 특징으로 하는 차선인식방법.
  3. 제1항 또는 제2항에 있어서, 상기 (e) 단계는 상기 차선의 곡선방정식에 의한 곡선에서 소정 범위 벗어난 부분까지 차선으로 인식하는 것을 특징으로 하는 차선인식방법.
  4. 제1항 또는 제2항에 있어서, 상기 (b) 단계는 상기 입력된 영상에 소정의 화소값을 갖는 마스크를 씌워서 산출된 값을 이용하여 상기 제1기울기를 산출하는 것을 특징으로 하는 차선인식방법.
  5. 제1항 또는 제2항에 있어서, 상기 차선의 곡선방정식은 영상좌표상에서의 차선의 변곡점을 중심으로 원거리에 위치한 원거리 곡선방정식과 근거리에 위치한 근거리 곡선방정식으로 구성되는 것을 특징으로 하는 차선인식방법.
  6. 제5항에 있어서, 상기 근거리 곡선방정식 및 상기 원거리 곡선방정식은 상기 근거리 곡선의 시작 부분에서의 점근선인 근거리점근선의 기울기, 상기 원거리 곡선의 끝 부분에서의 점근선인 원거리점근선의 기울기 및 차선의 소실점의 좌표로 표현되는 것을 특징으로 하는 차선인식방법.
  7. 주행중인 차로의 차선을 포함한 영상을 촬영하여 입력하는 영상입력수단;
    상기 입력받은 영상을 이용하여 영상좌표상의 차선의 각 위치에서의 제1기울기를 출력하는 제1기울기출력수단;
    실좌표상의 차선의 곡률과 관계되는 곡률파라미터를 소정 범위 내에서 변화시켜가면서, 상기 곡률파라미터를 포함하고 영상좌표상에서의 차선의 모양을 나타내는 영상좌표상의 차선의 곡선방정식을 이용하여 영상좌표상의 차선의 각 위치에서의 제2기울기를 출력하는 제2기울기출력수단;
    영상좌표상의 차선의 각 위치에서의 상기 제1기울기와 상기 제2기울기를 서로 비교하여, 상기 제1기울기 및 상기 제2기울기의 차이가 가장 적게 나는 곡률파라미터를 검출하는 곡률파라미터검출수단; 및
    상기 검출된 곡률파라미터를 포함하는 상기 영상좌표상에서의 차선의 곡선방정식을 이용하여 차선을 인식하는 차선인식수단;을 포함하는 것을 특징으로 하는 차선인식시스템.
  8. 주행중인 차로의 차선을 포함한 영상을 촬영하여 입력하는 영상입력수단;
    상기 입력받은 영상을 이용하여 영상좌표상의 차선의 각 위치에서의 제1기울기를 출력하는 제1기울기산출수단;
    실좌표상의 차로의 오르막의 기울기와 관계되는 기울기파라미터 및 실좌표상의 차선의 곡률과 관계되는 곡률파라미터를 각각 소정 범위 내에서 변화시켜가면서, 상기 기울기파라미터 및 상기 곡률파라미터를 포함하고 영상좌표상에서의 차선의 모양을 나타내는 영상좌표상의 차선의 곡선방정식을 이용하여 영상좌표상의 차선의 각 위치에서의 제2기울기를 출력하는 제2기울기산출수단;
    영상좌표상의 차선의 각 위치에서의 상기 제1기울기와 상기 제2기울기를 서로 비교하여, 상기 제1기울기 및 상기 제2기울기의 차이가 가장 적게 나는 기울기파라미터 및 곡률파라미터를 검출하는 파라미터검출수단; 및
    상기 검출된 기울기파라미터 및 곡률파라미터를 포함하는 상기 영상좌표상에서의 차선의 곡선방정식을 이용하여 차선을 인식하는 차선인식수단;을 포함하는 것을 특징으로 하는 차선인식시스템.
  9. 제7항 또는 제8항에 있어서, 상기 차선인식수단은 상기 차선의 곡선방정식에 의한 곡선에서 소정 범위 벗어난 부분까지 차선으로 인식하는 것을 특징으로 하는 차선인식시스템.
  10. 제1항 또는 제2항에 기재된 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR10-2002-0064336A 2002-10-21 2002-10-21 차선 인식 방법 및 시스템 KR100472823B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2002-0064336A KR100472823B1 (ko) 2002-10-21 2002-10-21 차선 인식 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2002-0064336A KR100472823B1 (ko) 2002-10-21 2002-10-21 차선 인식 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20040034243A true KR20040034243A (ko) 2004-04-28
KR100472823B1 KR100472823B1 (ko) 2005-03-08

Family

ID=37333601

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2002-0064336A KR100472823B1 (ko) 2002-10-21 2002-10-21 차선 인식 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR100472823B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100723834B1 (ko) * 2005-06-17 2007-05-31 한국전자통신연구원 차량항법시스템에서 차량위치를 보정하기 위한 장치 및방법
KR100886605B1 (ko) * 2004-06-02 2009-03-05 도요타 지도샤（주） 표시선 검출기
KR101035761B1 (ko) * 2006-07-06 2011-05-20 포항공과대학교 산학협력단 차선 인식을 위한 영상 처리 방법 및 시스템
WO2013022159A1 (en) * 2011-08-05 2013-02-14 Lg Electronics Inc. Traffic lane recognizing apparatus and method thereof
WO2013022153A1 (en) * 2011-08-05 2013-02-14 Lg Electronics Inc. Apparatus and method for detecting lane
US9020700B2 (en) 2012-09-27 2015-04-28 Electronics And Telecommunications Research Institute Lane tracking apparatus and method using camera direction control
CN109900254A (zh) * 2019-03-28 2019-06-18 合肥工业大学 一种单目视觉的路面坡度计算方法及其计算装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101188105B1 (ko) 2011-02-11 2012-10-09 팅크웨어(주) 영상 정보를 이용한 증강 현실 제공 장치 및 방법
KR102519666B1 (ko) 2018-10-15 2023-04-07 삼성전자주식회사 이미지 변환 장치 및 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08167092A (ja) * 1994-12-14 1996-06-25 Fujitsu Ten Ltd 車載用画像処理装置
EP0740163B1 (en) * 1995-04-25 2005-12-14 Matsushita Electric Industrial Co., Ltd. Local positioning apparatus for detecting a local position of an automobile on a road
KR19980060082A (ko) * 1996-12-31 1998-10-07 박병재 커브길 주행시 자동차 속도 제어 장치 및 그 방법
KR100391442B1 (ko) * 2000-12-27 2003-07-12 현대자동차주식회사 차선 이탈 방지용 영상 처리방법

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100886605B1 (ko) * 2004-06-02 2009-03-05 도요타 지도샤（주） 표시선 검출기
KR100723834B1 (ko) * 2005-06-17 2007-05-31 한국전자통신연구원 차량항법시스템에서 차량위치를 보정하기 위한 장치 및방법
KR101035761B1 (ko) * 2006-07-06 2011-05-20 포항공과대학교 산학협력단 차선 인식을 위한 영상 처리 방법 및 시스템
WO2013022159A1 (en) * 2011-08-05 2013-02-14 Lg Electronics Inc. Traffic lane recognizing apparatus and method thereof
WO2013022153A1 (en) * 2011-08-05 2013-02-14 Lg Electronics Inc. Apparatus and method for detecting lane
US9020700B2 (en) 2012-09-27 2015-04-28 Electronics And Telecommunications Research Institute Lane tracking apparatus and method using camera direction control
CN109900254A (zh) * 2019-03-28 2019-06-18 合肥工业大学 一种单目视觉的路面坡度计算方法及其计算装置

Also Published As

Publication number Publication date
KR100472823B1 (ko) 2005-03-08

Similar Documents

Publication Publication Date Title
EP1944734B1 (en) Distance correcting apparatus of surrounding monitoring system and vanishing point correcting apparatus thereof
CN108692719B (zh) 物体检测装置
WO2018196391A1 (zh) 一种车载摄像机的外部参数标定方法及装置
WO2018142900A1 (ja) 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム
US6807287B1 (en) Road profile prediction
US20020134151A1 (en) Apparatus and method for measuring distances
Park et al. A lane-curve detection based on an LCF
CN111443704B (zh) 用于自动驾驶系统的障碍物定位方法及装置
US20030103649A1 (en) Road white line recognition apparatus and method
KR102113068B1 (ko) 수치지도 및 도로정밀지도 구축 자동화를 위한 방법
JP2008082870A (ja) 画像処理プログラム及びこれを用いた路面状態計測システム
US20040061712A1 (en) Stereoscopic image processing apparatus and the method of processing stereoscopic images
KR100472823B1 (ko) 차선 인식 방법 및 시스템
JP2017181476A (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
JP2021033510A (ja) 運転支援装置
WO2021063756A1 (en) Improved trajectory estimation based on ground truth
CN110413942B (zh) 车道线方程筛选方法及其筛选模块
CN116386000A (zh) 基于高精地图和单目摄像头测量障碍物距离的方法、系统
JP2009139324A (ja) 車両用走行路面検出装置
CN113869440A (zh) 图像处理方法、装置、设备、介质及程序产品
KR102565603B1 (ko) 긴급 제동 시스템의 성능평가 장치 및 방법
JP3503543B2 (ja) 道路構造認識方法、距離測定方法及び距離測定装置
CN115656991A (zh) 车辆外参标定方法、装置、设备以及存储介质
JPH1055446A (ja) 物体認識装置
JP2005148784A (ja) 路面走行レーン検出装置

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130111

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20131230

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20150105

Year of fee payment: 11

LAPS Lapse due to unpaid annual fee