KR102453782B1

KR102453782B1 - 자율주행을 위한 차선검출 방법.

Info

Publication number: KR102453782B1
Application number: KR1020160171324A
Authority: KR
Inventors: 박민우
Original assignee: 현대자동차주식회사
Priority date: 2016-12-15
Filing date: 2016-12-15
Publication date: 2022-10-11
Also published as: KR20180069282A

Abstract

본 발명은 저속 주행시 곡선차로 내 적용 가능한 개선된 자율주행을 위한 차선검출 방법에 관한 것으로서, 특히 학습기반 어프로치와 영상인식을 융합하여 차선의 오검출이 적은 자율주행을 위한 차선검출 방법에 관한 것이다. 본 발명은 차선 검출 알고리즘에 있어서, 주행 중인 차량의 입력 영상을 전처리한 후 영상의 시점을 하늘에서 보는 아이피앰(IPM : Inverse Perspective Mapping) 영상으로 변환하여 입력 영상을 실시간으로 데이터화하는 제1 단계; 차량의 운전자가 기 설정된 주기 동안 주행하여 수집된 학습 정보와 아이피앰 영상을 비교하여 학습기반 차선 후보 영역을 검출하는 제2 단계; 및 학습기반 차선 후보 영역에서 노이즈를 제거하고 DA(Different Accumulation)를 적용하여 영상기반 차선 후보 영역을 검출하는 제3 단계;를 포함하는 자율주행을 위한 차선검출 방법을 제공한다.
본 발명에 따르면, 학습기반 어프로치와 영상기반 어프로치를 융합하여 적용함으로써 노면 상태에 강인한 차선 검출이 가능한 이점이 있다.

Description

자율주행을 위한 차선검출 방법.{METHOD OF DETECTING TRAFFIC LANE FOR AUTOMATED DRIVING}

본 발명은 고속도로와 시내도로 모두에서 안정적인 자율주행을 수행하기 위하여 개선된 강건한 차선검출 방법에 관한 것으로서, 특히 학습기반 어프로치와 영상인식 기반의 어프로치를 융합하여 차선의 오검출을 감소시킨 자율주행을 위한 차선검출 방법에 관한 것이다.

최근 IT 기술이 급속도로 발전하면서 비전시스템과 융합한 지능형 자동차에 대한 관심이 높아지고 있다. 특히 교통 사고의 위험을 줄이는 차선이탈 정보, 차선유지, 충돌 경보 시스템과 같은 첨단 안전 자동차 기술은 지능형 자동차 기술의 기반 기술로서 다양한 연구 및 기술 개발에 많은 인력과 재원이 투입되고 있다.

이와 관련, 종래의 한국공개특허들은 스마트 크루즈 컨트롤(SCC;Smart Cruise Control)과 LKAS(Lane Keeping Assist System)를 적용하는데, 이는 차량의 제어 방향이 완전히 다르기 때문에 필요에 따라서는 두 기능의 동시 작동이 가능하다. 하지만, SCC와 LKAS를 동시에 작동시킨다 하더라도 각각이 지닌 고유의 기능, 즉 SCC는 운전자 차량을 기준으로 종방향 위협에 대한 대응을, LKAS는 횡방향 차선 이탈에 대한 기능만을 개별적으로 제공할 뿐이므로 종합적인 상황 대처가 어려운 문제가 있다.

종래의 기술은 SSC의 종방향 제어와 LKAS를 통한 횡방향 제어를 결합하여 자율주행과 유사한 형태의 제어가 가능하지만, Level 4~5의 완전 자율주행에서는 기존 ADAS 기술 대비 좀 더 강인한 기능들이 필요하고, 이를 위해서는 기존 영상인식 기반의 차선 인식 대비 더 정확한 차선인식 알고리즘을 필요하다.

또한 측방센서를 이용한 위험 감지 및 경보 기능이 작동되어 횡방향 위험 회피가 가능하다 해도, 종/횡방향의 종합적인 제어를 통하여 사람이 직접 수동으로 회피 운전을 하는 듯한 위험 회피 기능을 제공하는 것은 현실적으로 불가능하다.

또한 상술한 방식의 영상인식 기반의 어프로치만을 사용하는 경우, 차량 외부 환경의 변화 및 카메라로부터 입력되는 영상 화질에 따라 오검출이 나타나는 문제점이 있다.

본 발명은 영상인식 기반의 어프로치만을 사용하는 경우 발생되는 오검출을 감소시키는 자율주행을 위한 차선검출 방법을 제공하는 것을 목적으로 한다.

또한, 본 발명은 차선 후보군을 설정하고 실제 차선이 존재하는 ROI(Region Of Interest)를 차선의 진행 방향에 따라 설정함으로서 보다 효과적으로 오검출을 제거하는 차선인식 방법을 제공하는 것을 다른 목적으로 한다.

상기 목적을 달성하기 위하여 본 발명은, 차선 검출 알고리즘에 있어서, 주행 중인 차량의 입력 영상을 전처리한 후 영상의 시점을 하늘에서 보는 아이피앰(IPM : Inverse Perspective Mapping) 영상으로 변환하여 입력 영상을 실시간으로 데이터화하는 제1 단계; 차량의 운전자가 기 설정된 주기 동안 주행하여 수집된 학습 정보와 아이피앰 영상을 비교하여 학습기반 차선 후보 영역을 검출하는 제2 단계; 및 학습기반 차선 후보 영역에서 노이즈를 제거하고 DA(Different Accumulation)를 적용하여 영상기반 차선 후보 영역을 검출하는 제3 단계;를 포함하는 자율주행을 위한 차선검출 방법을 제공하는 것을 특징으로 한다.

바람직하게, 제1 단계는, 아이피앰 영상을 기 설정된 기준값을 근거로 근거리 영역과 원거리 영역으로 나누는 과정; 및 근거리 영역은 제2 단계에서 처리하고 원거리 영역은 기 설정된 관심 영역(ROI : Region of Interest)에서 처리하는 과정;을 포함하고, 근거리 영역을 학습기반 차선 후보 영역에서 처리하여 오검출 영역을 감소시킬 수 있다.

바람직하게, DA(Different Accumulation)가 적용된 DA 이미지의 밝기값(Intensity)과 칼라이미지의 RGB값에 해당 픽셀의 MCT(Modified Census Transform)값을 융합하여 오프라인에서 미리 학습하는 과정;을 더 포함할 수 있다.

바람직하게, 제3 단계는, DA(Different Accumulation)가 적용된 DA 이미지를 생성하는 과정; 미디언 필터링(Median filtering)을 통해 노이즈를 제거하는 과정; 및 Angle 기반 필터링을 통해 에지(Edge)를 검출하는 과정;을 포함할 수 있다.

바람직하게, 제3 단계 이후, 차량의 노면 정보와 색상을 이용하여 최종 차선 후보군을 필터링하는 단계; 및 일정 범위에 대하여 ROI를 설정하여 ROI기반으로 영상기반 차선 후보 영역을 재검출하는 단계;를 더 포함할 수 있다.

바람직하게, 최종 차선 후보군에 대한 차선 Fitting을 수행하여 직전 또는 곡선의 커브 방정식을 산출하여 차선을 검출하는 단계;를 더 포함할 수 있다.

전술한 바와 같은 구성을 갖는 본 발명에 따르면, 학습기반 어프로치와 영상기반 어프로치를 융합하여 적용함으로써 노면 상태에 강인한 차선 검출이 가능한 이점이 있다.

또한 본 발명은, 근거리 차선 후보군을 사용하여 원거리 영상에 대해서 효과적인 ROI를 생성함으로서 전체적인 계산량을 줄여 오검출 감소를 하는 이점이 있다.

도 1은 본 발명의 실시예에 따른 자율주행을 위한 차선검출 방법의 순서도를 나타낸다.
도 2a 및 도 2b는 본 발명의 실시예에 따른 자율주행을 위한 차선검출 방법의 블록도 및 처리 순서도를 나타낸다. 도 1을 참조하면,
도 3a는 본 발명의 실시예에 따른 학습기반 및 영상기반 차선 후보 영역의 설정을 통해 차선 후보군을 검출하는 과정을 나타낸다.
도 3b는 종래의 영상처리 단독의 차선후보군 검출의 예를 나타낸다.
도 4a는 본 발명의 실시예에 따른 ROI 설정의 과정을 나타낸다.
도 4b는 본 발명의 실시예에 따라 ROI영역 내에서 최종적인 차선을 검출한 결과를 나타낸다.
도 5는 본 발명의 실시예에 따라 영상 내 curve fitting 전 최종 차선 검출 후보군 영상을 나타낸다.
도 6은 본 발명의 실시예에 따라 영상 내 curve fitting 후 최종 차선 검출 후보군 영상을 3차원 월드 좌표계 상에 가시화한 모습을 나타낸다.

이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명을 상세히 설명한다. 다만, 본 발명이 예시적 실시 예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일 참조부호는 실질적으로 동일한 기능을 수행하는 부재를 나타낸다.

본 발명의 목적 및 효과는 하기의 설명에 의해서 자연스럽게 이해되거나 보다 분명해 질 수 있으며, 하기의 기재만으로 본 발명의 목적 및 효과가 제한되는 것은 아니다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다.

도 1은 본 발명의 실시예에 따른 자율주행을 위한 차선검출 방법의 순서도를 나타낸다. 본 발명은 제1 단계(S10) 내지 제3 단계(S50)를 포함할 수 있다.

제1 단계(S10)는, 차선 검출 알고리즘에 있어서, 주행 중인 차량의 입력 영상을 바이래터럴 필터링(Bilateral Filtering)하여 입력 영상을 전처리한 후 영상의 시점을 하늘에서 보는 아이피앰(IPM : minuteInverse Perspective Mapping) 영상으로 변환하여 입력 영상을 실시간으로 데이터화하는 과정이다.

제2 단계(S30)는, 차량의 운전자가 기 설정된 주기 동안 주행하여 수집된 학습 정보와 아이피앰 영상을 비교하여 학습기반 차선 후보 영역을 검출하는 과정이다.

제3 단계(S50)는, 학습기반 차선 후보 영역에서 노이즈를 제거하고 DA(Different Accumulation)를 적용하여 영상기반 차선 후보 영역을 검출하는 과정이다.

도 2a 및 도2b는 본 발명의 실시예에 따른 자율주행을 위한 차선검출 방법의 블록도 및 처리 순서도를 나타낸다. 도 2a를 참조하면, Input Image부터 Lanes의 출력까지를 제1 단계(S10) 내지 제2 단계(S30)로, 도2b는 제3 단계(S50)로 블록도와 매칭시켜 표현하고 있다.

제1 단계(S10)는, 아이피앰 영상을 기 설정된 기준값을 근거로 근거리 영역과 원거리 영역으로 나누는 과정; 및 근거리 영역은 제2 단계에서 처리하고 원거리 영역은 기 설정된 관심 영역(ROI : Region of Interest)에서 처리하는 과정;을 포함하고, 근거리 영역을 학습기반 차선 후보 영역에서 처리하여 오검출 영역을 감소시킬 수 있다.

근거리 영역과 원거리 영역으로 나누는 과정은, 스마트폰이나 전면카메라 등으로부터 입력받은 Input Image를 영상 처리부 또는 영상 전처리부를 통해 전방 도로 영상을 획득으로 시작된다. 이렇게 획득된 영상을 일정한 크기로 구획하여 영역을 세분화시킬 수 있다. 일정 크기로 구획하거나 전체 영상 이미지의 (%) 단위로도 구획이 가능하며, 특정 수치로 한정되는 것은 아니다.

근거리 영역은 제2 단계에서 처리하고 원거리 영역은 기 설정된 관심 영역(ROI : Region of Interest)에서 처리하는 과정은, 각 구획된 영역을 세분화하여 처리하는 과정이다.

근거리 영역과 원거리 영역으로 나누는 목적은 오검출을 최소화하기 위한 후의 과정을 수월하게 하기 위한 과정이며, 근거리 영역은 학습기반 차선 후보 검출로 입력되고, 원거리 영역은 설정된 ROI 영역으로부터 다시 세부적으로 추출될 수 있다.

도 3a는 본 발명의 실시예에 따른 학습기반 및 영상기반 차선 후보 영역의 설정을 통해 차선 후보군을 검출하는 과정을 나타낸다. 본 발명의 실시예인 도 3a에 앞서 도 3b를 먼저 설명하면, 도 3b는 종래의 영상처리 단독의 차선후보군 검출의 예를 나타낸다.

도 3b의 경우, 기존의 학습기반이 아닌 영상기반의 검출기법으로 검출한 것으로 운전자의 운전 습관이 반영되지 않은 검출 결과 화면을 나타낸다. 이 경우 차선의 검출 외에도 노이즈가 다량 검출되는 결과를 확인할 수 있다.

본 발명의 도 3a를 살펴보면, 도 3a는 상술한 제2 단계의 실시된 화면으로 제2 단계는, DA(Different Accumulation)가 적용된 DA 이미지의 밝기값(Intensity)과 칼라이미지의 RGB값을 융합하여 오프라인에서 미리 학습하는 과정;을 더 포함할 수 있다.

학습기반 차선 후보군은 기능부(multiple feature)(101)와 검출부(Adaboost Classification)(102)를 통해 이루어질 수 있다. 기능부(101)는 입력 영상의 근거리 영역에서 DA 이미지의 밝기값(Intensity)과 칼라이미지의 RGB값에 해당 픽셀의 MCT(Modified Census Transform)값을 적용하여 생성된 복합 특징정보를 기반으로 특징을 추출하여 학습시키고, 검출부에서는 기존의 운전자가 주행시 입력받는 데이터를 기반으로 차선이 있는 영역을 미리 학습된 학습기를 사용하여 후보군으로 검출할 수 있다.

본 발명의 실시예에 따른 학습기반 차선 후보 영역은, 근거리 영역에서 추출된 차량 후보 영역에서 차선 후보를 추출하고 이를 벡터화한 뒤 산출될 수 있다. 또한,벡터가 가르키는 방향에서 원거리 차선에 대한 후보 영역을 다시 추출하는 과정에서 차량의 현재 속도, 횡방향 제어 결과 및 이전 프레임에서 자차와 좌/우측 차선과의 정보들이 ROI 영역을 특정하기 위해 추가적으로 사용될 수 있다.

제3 단계(S50)는, DA(Different Accumulation)가 적용된 DA 이미지를 생성하는 과정; 미디언 필터링(Median filtering)을 통해 노이즈를 제거하는 과정; 및 Angle 기반 필터링을 통해 에지(Edge)를 검출하는 과정;을 포함할 수 있다. 학습된 검출기를 사용하여 차선 후보 영역이 검출되면, 이를 통해 노이즈를 제거하여 추정된 차선 후보군을 검출할 수 있다.

이에 더하여 최종 차선 후보군이 선정되면 outlier filtering을 통해 노면 정보 및 색상 등을 통해 필터링을 할 수 있는 과정도 포함할 수 있다.

도 4a는 본 발명의 실시예에 따른 ROI 설정의 과정을 나타낸다. 도 4a를 참조하면, 근거리 또는 원거리 영역에 따른 클러스터링 된 차선 후보에 대해 ROI의 설정이 가능하다. 이 경우 상술한 제1 단계(S10) 및 제2 단계(S30)에서 변환된 입력 영상에서 차선이 이루는 근거리 영역의 벡터를 검출할 수 있다.

원거리 영역의 벡터는 위 벡터를 이용하여 아이피앰 영상의 원거리 부분에서 ROI를 추출하고 이렇게 추출된 영상에서 다시 DA를 수행하여 차선 특징점을 산출하는 과정을 거칠 수 있다. 원거리 영역의 벡터는 위의 차선 특징점을 산출한 이후, 이를 그룹핑하고 벡터화한 뒤, 노이즈의 필터링을 통해 검출될 수 있다.

원거리 후보 영역은, 상술한 근거리 영역의 벡터와 원거리 영역의 벡터들을 구성하는 특징점들로부터 최종적인 차선의 피팅을 통해 산출될 수 있다.

도 4b는 본 발명의 실시예에 따라 ROI영역 내에서 최종적인 차선을 검출한 결과를 나타낸다. 차량 진행 방향에 따라 설정된 영상에서 벡터를 검출할 수 있고, 이 벡터를 기반으로 차선 후보로 지정된 영역에서 각 차선을 검출할 수 있다. 벡터를 적용하여 차선에 대한 노이즈 문제점을 개선시킬 수 있다.

도 5 및 도 6은 본 발명의 실시예에 따라 영상 내 curve fitting 전 최종 차선 검출 후보군 영상과 curve fitting 후 최종 차선 검출 후보군 영상을 3차원 월드 좌표계 상에 가시화한 모습을 나타낸다.

제3 단계 이후, 차량의 노면 정보와 색상을 이용하여 최종 차선 후보군을 필터링하는 단계; 및 일정 범위에 대하여 ROI를 설정하여 ROI기반으로 영상기반 차선 후보 영역을 재검출하는 단계;를 더 포함할 수 있다.

또한 최종 차선 후보군에 대한 차선 Fitting을 수행하여 직전 또는 곡선의 커브 방정식을 산출하여 차선을 검출하는 단계;를 더 포함하여 곡선차로 내에서도 주행 차선의 검출을 할 수 있는 기능을 제공할 수 있다.

이상에서 대표적인 실시예를 통하여 본 발명을 상세하게 설명하였으나, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리 범위는 설명한 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 특허청구범위와 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태에 의하여 정해져야 한다.

10 : 학습기반 차선후보검출 모듈 30 : 영상처리기반 차선후보검출 모듈
50 : ROI 검출부
101 : 기능부 102 : 검출부
301 : DA 이미지부 302 : 노이즈제거부
303 : 에지 검출부 304 : 각도 필터부
305 : 클러스터링부 306 : 출력 필터부
307 : 후보 검출부
501 : ROI 영역부 502 : 벡터 검출부
503 : ROI 계산부

Claims

차선 검출 알고리즘에 있어서,
주행 중인 차량의 입력 영상을 전처리한 후 영상의 시점을 하늘에서 보는 아이피앰(IPM : Inverse Perspective Mapping) 영상으로 변환하여 상기 입력 영상을 실시간으로 데이터화하는 제1 단계;
상기 차량의 운전자가 기 설정된 주기 동안 주행하여 수집된 학습 정보와 상기 아이피앰 영상을 비교하여 학습기반 차선 후보 영역을 검출하는 제2 단계; 및
상기 학습기반 차선 후보 영역에서 노이즈를 제거하고 DA(Different Accumulation)를 적용하여 영상기반 차선 후보 영역을 검출하는 제3 단계;를 포함하는 자율주행을 위한 차선검출 방법.
제 1 항에 있어서,
상기 제1 단계는,
상기 아이피앰 영상을 기 설정된 기준값을 근거로 근거리 영역과 원거리 영역으로 나누는 과정; 및
상기 근거리 영역은 상기 제2 단계에서 처리하고 상기 원거리 영역은 기 설정된 관심 영역(ROI : Region of Interest)에서 처리하는 과정;을 포함하고,
상기 근거리 영역을 상기 학습기반 차선 후보 영역에서 처리하여 오검출 영역을 감소시키는 것을 특징으로 하는 자율주행을 위한 차선검출 방법.
제 1 항에 있어서, 상기 제2 단계는,
상기 DA(Different Accumulation)가 적용된 DA 이미지의 밝기값(Intensity)과 칼라이미지의 RGB값에 해당 픽셀의 MCT(Modified Census Transform)값을 융합하여 오프라인에서 미리 학습하는 과정;을 더 포함하는 것을 특징으로 하는 자율주행을 위한 차선검출 방법.
제 1 항에 있어서, 상기 제3 단계는,
상기 DA(Different Accumulation)가 적용된 DA 이미지를 생성하는 과정;
미디언 필터링(Median filtering)을 통해 노이즈를 제거하는 과정; 및
Angle 기반 필터링을 통해 에지(Edge)를 검출하는 과정;을 포함하는 것을 특징으로 하는 자율주행을 위한 차선검출 방법.
제 1 항에 있어서,
상기 제3 단계 이후,
상기 차량의 노면 정보와 색상을 이용하여 최종 차선 후보군을 필터링하는 단계; 및
일정 범위에 대하여 ROI를 설정하여 상기 ROI기반으로 상기 영상기반 차선 후보 영역을 재검출하는 단계;를 더 포함하는 자율주행을 위한 차선검출 방법.
제 5 항에 있어서,
상기 최종 차선 후보군에 대한 차선 Fitting을 수행하여 직전 또는 곡선의 커브 방정식을 산출하여 차선을 검출하는 단계;를 더 포함하는 것을 특징으로 하는 자율주행을 위한 차선검출 방법.