KR101976392B1 - 차선 인식 시스템 - Google Patents

차선 인식 시스템 Download PDF

Info

Publication number
KR101976392B1
KR101976392B1 KR1020120136006A KR20120136006A KR101976392B1 KR 101976392 B1 KR101976392 B1 KR 101976392B1 KR 1020120136006 A KR1020120136006 A KR 1020120136006A KR 20120136006 A KR20120136006 A KR 20120136006A KR 101976392 B1 KR101976392 B1 KR 101976392B1
Authority
KR
South Korea
Prior art keywords
lane
information
module
recognition
tracking
Prior art date
Application number
KR1020120136006A
Other languages
English (en)
Other versions
KR20140068475A (ko
Inventor
박상범
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020120136006A priority Critical patent/KR101976392B1/ko
Priority to CN201310430573.3A priority patent/CN103847736B/zh
Publication of KR20140068475A publication Critical patent/KR20140068475A/ko
Application granted granted Critical
Publication of KR101976392B1 publication Critical patent/KR101976392B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/10—Path keeping
    • B60Y2300/12—Lane keeping

Abstract

본 발명은 차선 인식 시스템에 관한 것으로서, 차량이 주행하는 도로의 정보를 인지하여 획득하는 검출부와; 상기 검출부에 의하여 얻어진 도로 정보를 처리하는 영상 처리부를 포함하며, 상기 영상 처리부는 상기 검출부를 이용하여 얻어진 상기 도로 정보로부터 차선 정보를 인식하여 검출하는 차선 인식 모듈과; 상기 차선 정보 검출 전에 상기 차선 인식 모듈로부터 검출되어 누적된 축적 차선 정보를 트래킹(tracking)하여 추정된 차선 추적 정보를 얻는 차선 추적 모듈과; 상기 차선 인식 모듈에서 얻어진 상기 차선 정보가 비주기적인 불안정 상태로 인식되는 경우 상기 차선 인식 모듈에서 얻어지는 상기 차선 정보와, 상기 차선 추적 모듈에서 얻어진 차선 추적 정보를 이용한 상기 차선 정보의 보간된 결과(interpolated result)를 통해 상기 차선 정보의 유효성을 판단하는 차선 인식 이력 관리 모듈을 포함한다. 이에 따라, 누적된 차선 정보를 트래킹하여 추정된 차선 추적 정보를 이용하여 검출된 차선 정보에 대하여 보간된 결과(interpolated result)를 얻게 함으로써 검출된 차선 정보의 안정성과 신뢰도를 높일 수 있다.

Description

차선 인식 시스템{SYSTEM BY DETECTION OF LANE MARKING}
본 발명은 차선 인식 시스템에 관한 것이다. 더욱 상세하게는 차선 인식 결과에 따른 차선의 이력 정보를 기반으로 차선을 추적하고, 차선 정보의 유효성 판단시 추적된 결과를 기반으로 인식된 차선 정보의 신뢰성을 높인 차선 인식 시스템에 관한 것이다.
차선 유지 제어 시스템(Lane Keeping Assist System, 이하, LKAS라 한다)은 운전자의 안전을 위해 필수적인 시스템이다. 이러한 시스템은 통상적으로, 차선을 검출하고 차량의 주행 상태를 감지하여 차량이 검출된 차선을 이탈하지 않도록 차선 유지 제어를 수행하거나, 차선 이탈을 경고할 수 있도록 구성된다.
차선은, 차량의 윈드쉴드와 룸미러 사이에 장착된 카메라 센서를 통해 전방의 도로 이미지를 획득하고, 획득된 도로 이미지를 LKAS 카메라 시스템에서 영상 처리하여 검출할 수 있다. 그리고 차량의 주행 상태는 차량에 장착된 각종 센서 및 ECU(Electronic Control Unit)로부터 얻은 정보를 통해 감지될 수 있다.
아울러, 차량의 차선 유지 제어를 위해서는, 검출된 차선 대비 차량의 횡방향 위치(lateral offset), 도로의 곡률(curvature), 검출된 차선과 차량 중심선이 이루는 각(heading angle) 등과 같은 정보들이 활용될 수 있다.
차량이 차선을 벗어나려고 하는 경우, LKAS는 차량의 조향 액츄에이터인 MDPS(Motor Driven Power System)를 통해 조향을 제어하여, 해당 차량이 차선을 유지하여 주행하도록 제어하게 된다.
또한, 차선 이탈을 경고할 수 있는 차선 이탈 경보 시스템(LDWS : Lane Departure Warning System, 이하 LDWS라 한다)은 차량에 부착된 카메라로부터 전방 도로 영상을 감지하여 현재 달리고 있는 차선을 파악한 후, 만약 운전자가 부주의나 졸음 운전 등으로 차선을 이탈하려고 하면 경보음이 울리도록 하여 주는 안전장치이다.
그리고 이러한 상기 도로의 차선을 식별하는데 있어서, (1) 차선의 명도에 해당하는 특정 값을 가지는 영역을 검출하는 방법 (2) 이치화 후 특정명도를 검출하는 가우시안 검출법 (3) 등고선 추적법 (4) 미리 입력된 차선 패턴 영상과 현재 입력된 차선 영상을 비교하여 패턴일치 정도에 따라 차선 유무를 판정하는 방법 등이 사용될 수 있다.
이러한 알고리즘들은 카메라에서 보내지는 영상정보를 이용한 차선이탈 판단 또는 차선 위치 추적 시스템에 있어서 차선정보에 의한 판단을 가능하게 하는 핵심적인 요소라 할 수 있다.
한편, 종래의 한국공개특허공보 제10-2001-0069603호인 '차선이탈 경보장치의 차선 경계선 추출 향상을 위한 방법'은 차선이탈 경보장치의 차선인식을 위해 카메라에서 입력된 도로 주행 영상에서 차선영역의 경계선을 추출하는 알고리즘에 관한 것이다.
그러나, 영상 센서를 이용하여 전방의 물체(차선, 차량 등)를 인식하고자 할 때 물체가 존재하여 정상적으로 인식하는 상황과, 물체가 존재하지 않음에도 물체를 인식한다고 하는 오인식 상황을 구별하기 어려운 문제가 있다.
뿐만 아니라, 차선이 흐릿하거나, 눈/비 등 환경적 영향을 받는 경우와 같이 차선을 인식하는데 있어서 불안정하게 인식되는 경우 차선 인식 시스템도 불안정하게 된다.
따라서, 차선을 인식하는 센서의 불안정성이 차선 인식 시스템의 불안정성으로 연결되는 것을 방지하기 위하여, 즉 센서가 불안정하게 차선의 정보를 획득하더라도 차선 인식 시스템이 안정적으로 작동할 수 있도록 로직 형태의 범퍼가 제시되고 있다.
이러한 경우 차선 인식 시스템을 안정적으로 구동시킬 것인가라는 문제와 차선 인식 시스템이 주변 환경 변화에 기민하게 대처할 것인가라는 두 가지 상충된 문제의 트레이드-오프(trade-off) 관계를 적절히 해결해야 한다.
따라서, 도 1에 도시된 바와 같이, 시간 다이어그램(Timing Diagram)을 제공하여 차선 인식 여부를 나타내는 'RECOGNITION OF LANE MARKING'을 관찰한다.
여기서, 'YES'는 차선이 인식되는 상황을 나타내고, 'NO'는 차선이 인식되지 않은 상황을 나타낸다. 그리고, 차선 인식 시스템의 관찰 주기인 t1은 차선이 인식되었다가 차선이 인식이 되지 않는 상황(하향 에지로 표현되며, Positive→Negative로 변화하는 순간을 의미한다)을 관찰하는 주기이다.
관찰 주기(t1) 내에 하향 에지가 발생되면, 도 1에 도시된 바와 같이, 카운터(COUNTER) 변수가 증가하며, 특정 값(도 1에서는 3회를 예로 들었음) 이상 하향 에지가 발생되면 차선 인식 시스템 구동 여부를 나타내는 자동 조향 제어(AUTOMATED STEERING CONTROL)를 OFF 시킨다.
다시 차선이 검출된다고 하더라도 차선 인식의 불안정에 의해 차선 인식 시스템의 구동이 멈췄기 때문에, 또다시 시스템이 불안정해 질 수도 있다는 전제로 즉시 시스템을 구동시키지 않고 구동 지연 주기(t0) 동안 지연시킨 후 관찰 주기(t1) 동안 안정된 차선 검출 성능을 나타내는 경우 자동 조향 제어(AUTOMATED STEERING CONTROL)를 ON 시킨다. 이러한, 범퍼는 차선을 인식하는 센서가 불안정하게 동작할 수밖에 없는 상황에서도 자동 조향 제어(AUTOMATED STEERING CONTROL)는 안정적으로 OFF되어 센서 레벨에서 채터링(chattering)이 발생되더라도 상기 채터링에 의한 영향이 차량을 조향하는데 미치지 않도록 한다.
그러나 현재 많은 제어 분야에서 시스템을 구동함에 있어 주기성(週期性)을 요구하고 있는 추세이며, 주기성을 가지는 동작이 안정적인 제어 성능을 이끌어낼 수 있기 때문에 차선 인식을 이용하는 시스템 구동에서 가장 중요한 요소 중 하나는 주기성이라 할 수 있다. 하지만, 상술 된 종래의 기술들과 같이 영상 센서를 이용하는 시스템의 경우 그 주기성을 보장하기 어려운 문제가 있다.
따라서, 차선 인식에 대한 신뢰성을 판단하지 않고, 단순히 차선 인식 여부만을 차선 인식 시스템 구동 조건으로 결정하게 되면 영상 센서를 이용하여 차선 등을 인식함에 있어 발생하는 오인식은 차선 인식 시스템의 오동작으로 직접 연결되게 된다.
물론, 차선 인식 성능과 차선 인식 시스템 구동을 독립적으로 보았을 때 종래기술들은 차선 인식 시스템 로직을 간결하게 구성할 수 있는 장점이 있다. 그러나, 영상 센서의 특성상 다양한 후처리 로직(logic)이 영상 센서의 고질적 불안정성을 해소시 킬 수 있다는 관점에서 봤을 때 종래 기술들은 영상 센서를 적용하였을 때의 한계 상황에 대한 현저한 대처 능력이 떨어진다고 할 수 있다.
본 발명은 상술한 종래 기술의 문제점을 해결하기 위한 것으로서, 차선 인식이 불안정하게 얻어지는 도로의 상황에서, 카메라 등과 같은 영상 입력 센서 등을 통하여 얻어진 도로의 영상 프레임으로부터 얻어지는 차선 정보를 트래킹(tracking)하여 추정함으로써, 차선 정보의 인식 결과의 안정성과 신뢰성을 높인 차선 인식 시스템을 제공하는 것을 그 목적으로 한다.
본 발명의 다른 목적은 차선 정보의 유효성 판단에 의해 송출되는 시스템 활성화(system activation) 신호를 기반으로 하여, 차량의 도로 주행 중 차선을 유지하기 위한 차선 유지 제어 신호가 유효한지를 판단하고, 그에 따라 차선 유지 제어 시스템 또는 차선 이탈 경보 시스템에 최종 차선 유지 제어 신호를 송출하는 차선 인식 시스템을 제공하는 것을 그 목적으로 한다.
상기 목적은 본 발명에 따라, 차량이 주행하는 도로의 정보를 인지하여 획득하는 검출부와; 상기 검출부에 의하여 얻어진 도로 정보를 처리하는 영상 처리부를 포함하며, 상기 영상 처리부는 상기 검출부를 이용하여 얻어진 상기 도로 정보로부터 차선 정보를 인식하여 검출하는 차선 인식 모듈과; 상기 차선 정보 검출 전에 상기 차선 인식 모듈로부터 검출되어 누적된 축적 차선 정보를 트래킹(tracking)하여 추정된 차선 추적 정보를 얻는 차선 추적 모듈과; 상기 차선 인식 모듈에서 얻어진 상기 차선 정보가 비주기적인 불안정 상태로 인식되는 경우 상기 차선 인식 모듈에서 얻어지는 상기 차선 정보와, 상기 차선 추적 모듈에서 얻어진 차선 추적 정보를 이용한 상기 차선 정보의 보간된 결과(interpolated result)를 통해 상기 차선 정보의 유효성을 판단하는 차선 인식 이력 관리 모듈을 포함하는 것을 특징으로 하는 차선 인식 시스템에 의하여 달성된다.
여기서, 상기 차선 인식 이력 관리 모듈은 상기 차선 인식 모듈에서 얻어지는 상기 차선 정보와, 상기 차선 추적 모듈에서 얻어진 차선 추적 정보를 이용한 상기 차선 정보의 보간된 결과(interpolated result)를 통해 얻어진 차선 이력 정보를 축적하는 것을 특징으로 한다.
또한, 상기 차선 인식 모듈에서의 상기 차선 정보는 기 설정된 영역(이하, 관심 영역이라 한다) 내에서만 검출되며, 상기 관심 영역은 상기 차선 추적 모듈의 상기 차선 추적 정보를 통해 결정되는 것을 특징으로 한다.
또한, 상기 차선 추적 모듈은, 상기 차선 인식 모듈에서 검출되는 상기 차선 정보와 상기 차선 정보에 상응하는 상기 차선 추적 정보를 기반으로 하여, 상기 차선 정보와 상기 차량 간의 거리가 기 설정된 거리 내로 진입하는 경우 주행 중인 상기 차량의 차선 유지를 위한 차선 유지 제어 신호를 송출하는 것을 특징으로 한다.
한편, 본 발명에 따른 차선 인식 시스템은 상기 차선 인식 이력 관리 모듈의 상기 차선 정보의 유효성 판단에 의한 상기 차선 인식 이력 관리 모듈로부터 수신되는 차선 유지 제어 시스템 활성화(Lane Keeping Assist System Activation) 신호를 기반으로 하여, 상기 차선 추적 모듈로부터 수신되는 상기 차선 유지 제어 신호가 유효한지를 판단하여 최종 차선 유지 제어 신호를 송출하는 제어부를 더 포함하는 것을 특징으로 한다.
상기와 같은 구성을 갖는 본 발명의 차선 인식 시스템은, 불안정한 차선 정보의 빈도수를 측정하여 차선 유지 제어 시스템에 지연시간을 적용하는 종래 기술과 달리, 누적된 차선 정보를 트래킹하여 추정된 차선 추적 정보를 이용하여 검출된 차선 정보에 대하여 보간된 결과(interpolated result)를 얻게 함으로써 검출된 차선 정보의 안정성과 신뢰도를 높일 수 있다.
도 1은 종래의 기술을 나타내는 시간 다이어그램(Timing Diagram)이고,
도 2는 본 발명에 따른 차선 인식 시스템을 나타내는 블록 다이어그램이다.
이하, 본 발명의 기술적 과제에 관한 해결 방안을 명확화하기 위해 첨부도면을 참조하여 본 발명의 바람직한 실시 예들을 상세하게 설명한다. 다만, 본 발명을 설명함에 있어서 관련 공지기술에 관한 설명이 오히려 본 발명의 요지를 불명료하게 하는 경우 그에 관한 설명은 생략하기로 한다. 또한, 후술하는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 설계자, 제조자 등의 의도 또는 관례 등에 따라 달라질 수 있을 것이다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 또한, 명세서 전체에 걸쳐서 동일한 도면번호(참조번호)로 표시된 부분은 동일한 요소들을 나타낸다.
이하, 본 발명에 따른 차선 인식 시스템(1)에 대하여 살펴보기로 한다.
도 2를 참조하여 살펴보면, 본 발명에 따른 차선 인식 시스템(1)은 검출부(100), 영상 처리부(200) 및 제어부(300)를 포함한다.
검출부(100)는 차량이 주행하는 도로의 정보를 인지하여 획득한다.
일 예로, 검출부(100)는 차량의 윈드쉴드와 룸미러 사이에 장착된 카메라 센서와 같은 영상 입력 센서를 이용하여 차량이 주행하는 전방의 도로 이미지를 획득하는 차선 인식 알고리즘을 이용할 수 있다. 여기서, 영상 입력 센서로는 전방 상황을 인지할 수 있는 화각과 120dB 이상의 넓은 동적 범위(Wide Dynamic Range; WDR)를 갖는 센서가 사용될 수 있다.
영상 처리부(200)는 검출부(100)에 의하여 얻어진 도로 정보를 처리한다. 그리고, 영상 처리부(200)로는 소수점(floating point) 연산을 지원하는 칩셋을 포함한 신호 처리 전용 프로세서가 사용될 수 있다.
도 2에 도시된 바와 같이, 영상 처리부(200)는 차선 인식 모듈(210), 차선 추적 모듈(230) 및 차선 인식 이력 관리 모듈(250)을 포함할 수 있다.
차선 인식 모듈(210)은 검출부(100)로부터 얻어진 도로 정보로부터 차선 정보를 인식하여 검출한다.
차선 인식 모듈(210)에서의 상기 차선 정보는 기 설정된 영역(이하, 관심 영역(ROI;Region Of Interest)이라 한다) 내에서만 검출될 수도 있다.
여기서, 관심 영역(ROI)은 검출부(100)를 통하여 얻어지는 다음 도로의 영상에서 차선이 출현할 가능성이 높은 영역을 의미한다. 또한, 관심 영역을 설정함으로써 차선 인식 모듈(210)은 상기 관심 영역에 대하여 우선적인 차선 정보를 검출하기 때문에 즉, 차선 정보의 인식 범위를 한정하기 때문에, 상기 차선 정보의 인식시 주위 환경 요소에 의한 영향을 적게 받기 때문에 효율적이며 신뢰성이 높은 차선 정보를 신속하게 검출할 수 있다.
그리고, 차선 인식 모듈(210)은 차선 정보를 인식하는데 있어서 상기 관심 영역 내에 존재하는 차선을 인식/검출하는 차선 인식 알고리즘이 이용할 수 있다.
한편, 차선 추적 모듈(230)은 차선 인식 모듈(210)에 의한 차선 정보 검출 전에 차선 인식 모듈(210)로부터 검출되어 누적된 축적 차선 정보를 트래킹(tracking)하여 추정된 차선 추적 정보를 얻는다.
그리고, 차선 추적 모듈(230)에서는 상기 차선 추적 정보를 얻기 위해서, 차선 추적 알고리즘이 이용될 수 있다.
즉, 차선 추적 모듈(230)은 차선 추적 알고리즘을 이용하여 현재 도로 영상이 입력되기 전 축적된 도로 영상들의 차선 정보를 기반으로 차선의 이동 방향인 무빙 벡터(moving vector)를 추정하여 다음 도로 영상에서 출력될 차선의 변위를 결정한다. 또한, 무빙 벡터(moving vector)를 이용한 추정 이외에도 상기 차선의 변위를 결정하는데 있어서, 칼만 필터(kalman filter) 등이 적용될 수 있음은 물론이다.
그리고, 차선 추적 모듈(230)은 차선의 변위를 기반으로 다음 도로 영상에서 차선이 출현할 빈도수가 높은 영역을 관심 영역으로 지정하며, 차선 인식 모듈(210)에서 관심 영역으로 활용할 수 있도록 차선 인식 모듈(210)에 관심 영역에 대한 정보를 제공한다. 그리고, 상기 관심 영역을 지정함에 있어서, 상술 된 이동 방향을 기반으로 하는 알고리즘 이외에도 예측(prediction) 등의 기법을 적용할 수 있다.
이와 더불어, 차선 추적 모듈(230)의 상기 차선 추적 알고리즘은 현재 검출된 차선 정보가 차선 추적 정보의 유효 변위를 벗어나는 경우 외부 잡음에 의한 오동작으로 판단할 수 있는 근거를 제공한다.
또한, 차선 추적 모듈(230)은 차선 인식 모듈(210)에서 검출되는 차선 정보와 상기 차선 정보에 상응하는 차선 추적 모듈(230)의 차선 추적 정보를 기반으로 하여, 차선과 차량 간의 거리가 기 설정된 거리 내로 진입하는 경우 주행 중인 차량의 차선 유지를 위한 차선 유지 제어 신호를 송출한다.
그리고, 차선 유지 제어 신호 송출과 관련된 판단은 차선 추적 모듈(230)에서 이용하는 차선 이탈 경보 알고리즘에 의하여 이루어질 수 있다.
또한, 상기 차선 정보는 픽셀(pixel) 단위로 추출되는 값으로 실제 차량과 차선과의 물리적 거리를 결정하기 위해서, 상기 차선 이탈 경보 알고리즘은 카메라 좌표계와 도로 좌표계와의 관계를 정의할 수 있다.
상기 관계는 차량에 장착된 카메라의 위치 정보와 카메라 렌즈, 센서 등의 고유 요소 정보(factor)를 기반으로 결정되어 질 수 있으며, 이러한 과정을 카메라 캘리브레이션(cailbration)이라 한다.
상기 카메라 캘리브레이션을 통해 결정된 카메라 좌표계와 도로 좌표계를 통해 도로 영상 내 검출된 차선이 실제 차량과 얼만큼, 어떤 방향으로 떨어진 위치에 존재하는지를 결정하고, 이를 기반으로 차량이 차선을 벗어났는지에 대해 판단한다.
한편, 차선 인식 이력 관리 모듈(250)은, 차선 인식 모듈(210)에서 얻어진 차선 정보가 비주기적인 불안정 상태로 인식되는 경우, 차선 추적 정보를 이용하여 차선 인식 모듈(210)의 차선 정보에 대한 보간된 결과(interpolated result)를 얻는다.
여기서, 차선 정보가 비주기적인 불안정 상태라 함은 차선이 주위 환경에 의하여 흐릿해지거나 소멸되어 비주기적으로 인식되는 상태, 눈 또는 비와 같은 환경적 영향에 의하여 차선이 비주기적으로 인식되어 지는 상태, 주변 잡음이나 악(惡)의 환경 등으로 급작스런 이상 검출(Impulsive false detection)이 발생되어 비주기적으로 인식되는 상태 또는 타 차량의 그림자 등의 영향에 의하여 차선 인식이 불명료한 상태 등을 의미한다.
따라서, 차선 정보가 국부적(局部的)인 불안정 상태로 인식되는 경우, 차선 추적 모듈(230)은 누적된 차선 정보로부터 트래킹하여 추정된 차선 추적 정보를 산출한다. 그리고, 차선 인식 이력 관리 모듈(250)은 상기 차선 추적 정보를 이용하여 차선 인식 모듈(210)에 의하여 검출된 차선 정보의 보간된 결과(interpolated result)를 얻게 함으로써, 검출된 차선 정보의 안정성과 신뢰도를 높일 수 있다.
또한, 차선 인식 이력 관리 모듈(250)은 차선 인식 모듈(210)에서 얻어진 차선 정보가 국부적인 불안정 상태로 인식되는 경우 차선 인식 모듈(210)에서 얻어지는 상기 차선 정보와, 차선 추적 모듈(230)에서 얻어진 차선 추적 정보를 이용한 상기 차선 정보의 보간된 결과(interpolated result)를 통해 최종으로 차선 정보의 유효성을 판단한다.
그리고, 차선 인식 이력 관리 모듈(250)은 차선 인식 모듈(210)에서 검출된 차선 정보와 차선 추적 모듈(230)의 차선 추적 정보를 누적한다.
차선 인식 이력 관리 모듈(250)에서는 차선 이력 관리 알고리즘이 이용될 수 있다.
차선 인식 이력 관리 모듈(250)의 상기 차선 이력 관리 알고리즘은 실시간 검출된 차선 인식 모듈(210)의 차선 정보와 추적을 통해 검출된 차선 추적 모듈(230)의 차선 추적 정보를 누적한다.
누적된 상기 차선 정보는 예측 가능한 범위 내에서 즉, 기 설정된 변위 단위로 적용될 수 있을 것이다. 하지만, 외부 잡음이나 악의 조건 등으로 인해 오검출이 발생될 경우 차선 인식 모듈(210)의 차선 정보는 상기 기 설정된 변위를 벗어날 것이다. 이러한 경우 차선 인식 이력 관리 모듈(250)은 실시간 검출된 차선 정보가 무효함으로 판단한다.
그리고, 실시간 검출된 차선 정보가 무효하다고 판단될 경우, 차선 추적 모듈(230)의 차선 추적 정보를 활용하게 된다. 여기서, 차선 추적 모듈(230)의 차선 추적 정보는 입력된 유효한 차선 정보들이 얼만큼 축적되어있는지에 따라 정확도가 틀려질 수 있다.
따라서, 차선 인식 이력 관리 모듈(250)의 상기 차선 이력 관리 알고리즘은 상술 된 바와 같이, 차선 추적 모듈(230)의 차선 추적 정보를 이용하여 결정된 차선 정보의 유효성을 판단하고, 상기 차선 정보가 유효하다고 판단되면 차선 유지 제어 시스템 활성화(Lane Keeping Assist System Activation) 신호를 송출한다. 또한, 본 발명에 따른 차선 인식 시스템(1)이 차선 이탈 경보 시스템과 연계되는 경우 차선 이탈 경보 시스템을 위한 시스템 활성화(System Activation) 신호를 송출할 수도 있다.
만일 유효하지 않다고 판단되면, 차선 추적 모듈(230)의 차선 추적 정보의 활용을 멈추고 초기화를 수행한다. 그리고, 일정 시간 동안 차선 정보가 차선 인식모듈(210)에 의해 정상적으로 검출되고, 그에 따라 획득된 차선 추적 모듈(230)의 차선 추적 정보를 이용하여 차선 정보의 유효성을 다시 판단한다.
여기서, 상기 초기화를 수행하면 이전에 검출된 차선들에 대한 정보가 없어지고, 본 발명에 따른 차선 인식 시스템(1)이 초기 구동하듯이 관심 영역과 차선 초기 위치들이 갱신(reset)된다.
제어부(300)는 차선 인식 이력 관리 모듈(250)의 차선 정보의 유효성 판단에 의한 차선 인식 이력 관리 모듈(250)로부터 수신되는 차선 유지 제어 시스템 활성화(Lane Keeping Assist System Activation) 신호를 기반으로 하여, 차선 추적 모듈(230)로부터 수신되는 차선 유지 제어 신호가 유효한지를 판단하여 최종 차선 유지 제어 신호를 송출한다.
따라서, 차선 유지 제어 시스템(LKAS) 또는 차선 이탈 경보 시스템은 최종 차선 유지 제어 신호를 수신하여 차량을 제어하거나 차선 이탈 경보 신호를 송출하게 된다.
여기서, 제어부(300)로서 시스템 구동 제어 모듈(310)이 이용될 수 있으며, 또한, 시스템 구동 제어 모듈(310)로서 CAN, UART 등 외부 I/O(Input / Output)와 타이머(timer) 등이 포함된 제어용 프로세서가 이용될 수 있다.
종합해보면, 본 발명에 따른 차선 인식 시스템(1)은 차선 정보가 기 설정된 프레임 수(5 in this proposed method/system)와 비교하여 상기 기 설정된 프레임 수(5 in this proposed method/system) 안에서 차선이 검출된 프레임 수가 소정의 제한된 프레임 수(3 in this proposed method/system)를 초과하는 경우 차선 유지 제어 시스템(LKAS)을 구동시킨다. 그리고, 상기 소정의 제한된 프레임 수(3 in this proposed method/system)를 초과하지 않는 경우 기 설정된 프레임 동안 차선 추적 모듈(230)이 상술 된 역할을 수행함으로써 본 발명에 따른 차선 인식 시스템(1)의 안정성과 신뢰도를 높일 수 있다.
본 발명에 따른 다양한 실시 예들은, 당해 기술 분야는 물론 관련 기술 분야에서 본 명세서에 언급된 내용 이외의 다른 여러 기술적 과제들을 해결할 수 있음은 물론이다.
지금까지 본 발명에 대해 실시 예들을 참고하여 설명하였다. 그러나 당업자라면 본 발명의 본질적인 기술적 사상으로부터 벗어나지 않는 범위에서 본 발명이 변형된 형태로 구현될 수 있음을 자명하게 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 즉, 본 발명의 진정한 기술적 범위는 첨부된 특허청구범위에 나타나 있으며, 그와 균등범위 내에 있는 모든 차이점은 본 발명에 포함되는 것으로 해석되어야 할 것이다.
1 : 본 발명에 따른 차선 인식 시스템
100 : 검출부 200 : 영상 처리부
300 : 제어부

Claims (5)

  1. 차량이 주행하는 도로의 정보를 인지하여 획득하는 검출부와;
    상기 검출부에 의하여 얻어진 도로 정보를 처리하는 영상 처리부를 포함하며,
    상기 영상 처리부는
    상기 검출부를 이용하여 얻어진 상기 도로 정보로부터 차선 정보를 인식하여 검출하는 차선 인식 모듈과;
    상기 차선 정보 검출 전에 상기 차선 인식 모듈로부터 검출되어 누적된 축적 차선 정보를 트래킹(tracking)하여 추정된 차선 추적 정보를 얻는 차선 추적 모듈과;
    상기 차선 인식 모듈에서 얻어진 상기 차선 정보가 비주기적인 불안정 상태로 인식되는 경우 상기 차선 인식 모듈에서 얻어지는 상기 차선 정보와, 상기 차선 추적 모듈에서 얻어진 차선 추적 정보를 이용한 상기 차선 정보의 보간된 결과(interpolated result)를 통해 상기 차선 정보의 유효성을 판단하는 차선 인식 이력 관리 모듈을 포함하는 것을 특징으로 하는 차선 인식 시스템.
  2. 제1항에 있어서,
    상기 차선 인식 이력 관리 모듈은
    상기 차선 인식 모듈에서 얻어지는 상기 차선 정보와, 상기 차선 추적 모듈에서 얻어진 차선 추적 정보를 이용한 상기 차선 정보의 보간된 결과(interpolated result)를 통해 얻어진 차선 이력 정보를 축적하는 것을 특징으로 하는 차선 인식 시스템.
  3. 제1항 또는 제2항에 있어서,
    상기 차선 인식 모듈에서의 상기 차선 정보는 기 설정된 영역(이하, 관심 영역이라 한다) 내에서만 검출되며,
    상기 관심 영역은 상기 차선 추적 모듈의 상기 차선 추적 정보를 통해 결정되는 것을 특징으로 하는 차선 인식 시스템.
  4. 제3항에 있어서,
    상기 차선 추적 모듈은,
    상기 차선 인식 모듈에서 검출되는 상기 차선 정보와 상기 차선 정보에 상응하는 상기 차선 추적 정보를 기반으로 하여, 상기 차선 정보와 상기 차량 간의 거리가 기 설정된 거리 내로 진입하는 경우 주행 중인 상기 차량의 차선 유지를 위한 차선 유지 제어 신호를 송출하는 것을 특징으로 하는 차선 인식 시스템.
  5. 제4항에 있어서,
    상기 차선 인식 이력 관리 모듈의 상기 차선 정보의 유효성 판단에 의한 상기 차선 인식 이력 관리 모듈로부터 수신되는 차선 유지 제어 시스템 활성화(Lane Keeping Assist System Activation) 신호를 기반으로 하여, 상기 차선 추적 모듈로부터 수신되는 상기 차선 유지 제어 신호가 유효한지를 판단하여 최종 차선 유지 제어 신호를 송출하는 제어부를 더 포함하는 것을 특징으로 하는 차선 인식 시스템.
KR1020120136006A 2012-11-28 2012-11-28 차선 인식 시스템 KR101976392B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120136006A KR101976392B1 (ko) 2012-11-28 2012-11-28 차선 인식 시스템
CN201310430573.3A CN103847736B (zh) 2012-11-28 2013-09-18 车道线识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120136006A KR101976392B1 (ko) 2012-11-28 2012-11-28 차선 인식 시스템

Publications (2)

Publication Number Publication Date
KR20140068475A KR20140068475A (ko) 2014-06-09
KR101976392B1 true KR101976392B1 (ko) 2019-05-09

Family

ID=50855987

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120136006A KR101976392B1 (ko) 2012-11-28 2012-11-28 차선 인식 시스템

Country Status (2)

Country Link
KR (1) KR101976392B1 (ko)
CN (1) CN103847736B (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104036279B (zh) * 2014-06-12 2017-04-05 北京联合大学 一种智能车行进控制方法及系统
CN103991449B (zh) * 2014-06-12 2017-01-18 北京联合大学 一种车辆行进控制方法及系统
EP3596271A1 (en) * 2017-03-15 2020-01-22 3M Innovative Properties Company Pavement marking system for lane identification
KR102043089B1 (ko) 2018-02-12 2019-11-11 경북대학교 산학협력단 차선 검출 방법, 이를 수행하기 위한 장치 및 기록매체
CN114475434B (zh) * 2020-11-11 2023-08-04 广州汽车集团股份有限公司 一种倒车外后视镜控制调节方法及其系统、存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3352528B2 (ja) 1994-05-20 2002-12-03 マツダ株式会社 自動車の走行路推定装置
JP3400092B2 (ja) 1994-05-17 2003-04-28 マツダ株式会社 自動車の走行路推定装置
JP2004310522A (ja) 2003-04-08 2004-11-04 Toyota Motor Corp 車両用画像処理装置
JP3885818B2 (ja) 2005-05-27 2007-02-28 トヨタ自動車株式会社 車両逸脱判定装置
JP4707823B2 (ja) 2000-11-24 2011-06-22 富士重工業株式会社 車線変位補正システムおよび車線変位補正方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5359666A (en) * 1988-09-28 1994-10-25 Honda Giken Kogyo Kabushiki Kaisha Driving way judging device and method
JPH09205645A (ja) * 1996-01-29 1997-08-05 Fujitsu Ten Ltd 前方環境認識装置
JP2005351783A (ja) * 2004-06-11 2005-12-22 Matsushita Electric Ind Co Ltd ソケット
KR101163446B1 (ko) * 2009-03-18 2012-07-18 기아자동차주식회사 가상 차선을 이용하는 차선 이탈 경보 방법 및 그에 따른 시스템
JP5747482B2 (ja) * 2010-03-26 2015-07-15 日産自動車株式会社 車両用環境認識装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3400092B2 (ja) 1994-05-17 2003-04-28 マツダ株式会社 自動車の走行路推定装置
JP3352528B2 (ja) 1994-05-20 2002-12-03 マツダ株式会社 自動車の走行路推定装置
JP4707823B2 (ja) 2000-11-24 2011-06-22 富士重工業株式会社 車線変位補正システムおよび車線変位補正方法
JP2004310522A (ja) 2003-04-08 2004-11-04 Toyota Motor Corp 車両用画像処理装置
JP3885818B2 (ja) 2005-05-27 2007-02-28 トヨタ自動車株式会社 車両逸脱判定装置

Also Published As

Publication number Publication date
KR20140068475A (ko) 2014-06-09
CN103847736A (zh) 2014-06-11
CN103847736B (zh) 2016-07-06

Similar Documents

Publication Publication Date Title
US9223311B2 (en) Vehicle driving support control apparatus
JP6174975B2 (ja) 周囲環境認識装置
JP5939357B2 (ja) 移動軌跡予測装置及び移動軌跡予測方法
US10276040B2 (en) Method for tracking a target vehicle approaching a motor vehicle by means of a camera system of the motor vehicle, camera system and motor vehicle
US11136046B2 (en) Method and system of vehicle alarm that alarm area is changed by visible distance, and vision system for vehicle
EP2482250B1 (en) Object detection device
JP4558758B2 (ja) 車両用障害物認識装置
US10127460B2 (en) Lane boundary line information acquiring device
KR101976392B1 (ko) 차선 인식 시스템
JP6468136B2 (ja) 走行支援装置及び走行支援方法
US9965690B2 (en) On-vehicle control device
CN107209998B (zh) 车道线识别装置以及车道线识别方法
US9594965B2 (en) Lane boundary lane recognition device and computer-readable storage medium storing program for recognizing lane boundary lines on roadway
US10983521B2 (en) Vehicle controller, vehicle control method, and non-transitory storage medium storing vehicle control program
JP6411933B2 (ja) 車両状態判定装置
JP6087240B2 (ja) 車両周辺監視装置
KR20130006752A (ko) 차선 인식 장치 및 그 방법
US9030560B2 (en) Apparatus for monitoring surroundings of a vehicle
JP5957315B2 (ja) 車載用車線認識装置
KR102203947B1 (ko) 차선 유지 보조 시스템 및 그의 차선 유지 제어 방법
JP6429101B2 (ja) 画像判定装置、画像処理装置、画像判定プログラム、画像判定方法、移動体
KR102601353B1 (ko) 초음파 센서의 높이 보상장치 및 그 방법
KR20220107652A (ko) 모바일 단말기를 이용한 보행자 충돌 경고 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant