KR20200031994A

KR20200031994A - Cnn 기반 차선 검출을 위한 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치

Info

Publication number: KR20200031994A
Application number: KR1020190105480A
Authority: KR
Inventors: 김계현; 김용중; 김인수; 김학경; 남운현; 부석훈; 성명철; 여동훈; 유우주; 장태웅; 정경중; 제홍모; 조호진
Original assignee: 주식회사 스트라드비젼
Priority date: 2018-09-15
Filing date: 2019-08-27
Publication date: 2020-03-25
Also published as: KR102309705B1; CN110909588B; EP3623991A1; US10311338B1; JP2020047272A; JP6865342B2; EP3623991B1; CN110909588A

Abstract

본 발명은 적어도 하나의 차선을 검출하기 위한 CNN의 학습 방법에 관한 것으로, (a) 이미지에 컨벌루션 연산을 적용하여 차선 후보 정보를 생성하는 단계; (b) 이미지 내의 픽셀에 대한 정보와 이에 대응하는 제1 데이터에 대한 정보를 포함하는 제1 픽셀 데이터 맵을 생성하되, 제1 데이터로부터 나온 메인 서브세트(Main Subset)는 다이렉트 리그레션(Direct Regression)을 이용해 픽셀로부터 이에 대응하는 가장 근접한 제1 차선 후보 사이의 거리 값을 포함하고, 픽셀에 대한 정보와 이에 대응하는 제2 데이터에 대한 정보를 포함하는 제2 픽셀 데이터 맵을 생성하되, 제2 데이터로부터 나온 메인 서브세트는 다이렉트 리그레션을 이용해 픽셀로부터 이에 대응하는 가장 근접한 제2 차선 후보 사이의 거리 값을 포함하는 단계; (c) 제1 픽셀 데이터 맵 및 제2 픽셀 데이터 맵을 인퍼런스(Inference)하여 차선을 검출하는 단계;를 포함하는 것을 특징으로 하는 방법이 제공된다.

Description

CNN 기반 차선 검출을 위한 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치{LEARNING METHOD, LEARNING DEVICE FOR DETECTING LANES ON THE BASIS OF CNN AND TESTING METHOD, TESTING DEVICE USING THE SAME}

본 발명은 적어도 하나의 차선을 검출하기 위한 CNN의 학습 방법에 관한 것으로, 보다 상세하게는; 상기 차선을 검출하기 위한 상기 CNN의 학습 방법에 있어서, (a) 적어도 하나의 트레이닝 이미지가 획득되면, 상기 트레이닝 이미지에 컨벌루션 연산을 적어도 한 번 적용하거나 타 장치로 하여금 적용하도록 지원하여 적어도 하나의 특징 맵을 생성하도록 하며, 상기 특징 맵을 이용하여 생성된 세그멘테이션 스코어를 참조로 하여 추정되는 차선 후보에 대한 정보를 나타내는 차선 후보 정보를 생성하거나 타 장치로 하여금 생성하도록 지원하는 단계; (b) 상기 트레이닝 이미지 내의 각각의 픽셀에 대한 정보와 이에 대응하는 제1 데이터에 대한 정보를 포함하는 제1 픽셀 데이터 맵을 생성하거나 타 장치로 하여금 생성하도록 지원하며, 상기 제1 데이터에서 선택된 적어도 하나의 메인 서브세트(Main Subset)는 다이렉트 리그레션(Direct Regression)을 이용해 상기 트레이닝 이미지의 행 방향과 평행한 제1방향을 따라 상기 픽셀 각각의 위치 각각으로부터 이에 대응하는 가장 근접한 제1 차선 후보 사이의 거리를 각각 계산하여 생성된 각각의 값을 포함하고, 상기 픽셀 각각에 대한 정보와 이에 대응하는 제2 데이터에 대한 정보를 포함하는 제2 픽셀 데이터 맵을 생성하거나 타 장치로 하여금 생성하도록 지원하며, 상기 제2 데이터에서 선택된 적어도 하나의 메인 서브세트는 상기 다이렉트 리그레션을 이용해 상기 트레이닝 이미지의 상기 행 방향과 평행한 제2 방향을 따라 상기 픽셀 각각의 위치 각각으로부터 이에 대응하는 가장 근접한 제2 차선 후보 사이의 거리를 각각 계산하여 생성된 각각의 값을 포함하는 단계; (c) 상기 제1 픽셀 데이터 맵 및 상기 제2 픽셀 데이터 맵을 인퍼런스(Inference)하여 상기 차선을 검출하거나 타 장치로 하여금 검출하도록 지원하는 단계;를 포함하는 것을 특징으로 하는 학습 방법 및 학습 장치 그리고 이를 이용하는 테스트 방법 및 테스트 장치에 관한 것이다.

딥러닝은 사물이나 데이터를 군집화하거나 분류하는 데 사용하는 기술이다. 예를 들어 컴퓨터는 사진만으로 개와 고양이를 구분하지 못한다. 하지만 사람은 아주 쉽게 구분할 수 있다. 이를 위해 '기계학습(Machine Learning)'이라는 방법이 고안됐다. 많은 데이터를 컴퓨터에 입력하고 비슷한 것끼리 분류하도록 하는 기술이다. 저장된 개 사진과 비슷한 사진이 입력되면, 이를 개 사진이라고 컴퓨터가 분류하도록 한 것이다.

데이터를 어떻게 분류할 것인가를 놓고 이미 많은 기계학습 알고리즘이 등장했다. '의사결정나무'나 '베이지안망', '서포트벡터머신(SVM)', '인공신경망' 등이 대표적이다. 이 중 딥러닝은 인공신경망의 후예다.

딥 컨벌루션 뉴럴 네트워크(Deep Convolutional Neural Networks; Deep CNN)는 딥 러닝 분야에서 일어난 놀라운 발전의 핵심이다. CNN은 글자 인식 문제를 풀기 위해 90년대에 이미 사용되었지만, 현재처럼 널리 쓰이게 된 것은 최근의 연구 결과 덕분이다. 이러한 딥 CNN은 2012년 ImageNet 이미지 분류 시합에서 다른 경쟁자들을 이기고 우승을 차지했다. 그리고 나서 컨벌루션 뉴럴 네트워크는 기계 학습(Machine Learning) 분야에서 매우 유용한 툴이 되었다.

도 1은 종래 기술에 따라 딥 CNN을 이용해 사진에서 획득하고자 하는 다양한 출력의 예를 나타낸다.

분류(Classification)는 사진에서 식별하고자 하는 클래스(class)의 종류, 예들 들어, 도 1에 도시된 바와 같이, 획득된 객체가 사람인지, 양인지, 개인지 종류를 식별하는 방법이며, 검출(Detection)은 모든 객체를 찾고, 찾은 객체를 바운딩 박스(Bounding Box)에 둘러싸인 형태로 표시하는 방법이고, 세그멘테이션(segmentation)은 사진에서 특정 객체의 영역을 다른 객체와 구분하는 방법이다. 최근 딥러닝(Deep learning) 기술이 각광을 받으면서 분류, 검출 및 세그멘테이션 기술도 딥러닝을 많이 사용한다.

도 2는 CNN 을 이용한 기존의 차선 검출 방법을 간략하게 나타낸 도이고, 도 3은 일반적인 CNN 세그멘테이션 프로세스를 간략하게 나타낸 도이다.

우선, 도 3을 참조하면, 기존의 차선 검출 방법에서는, 학습 장치가, 입력 이미지를 입력 받아, 복수의 컨벌루션 레이어에서 컨벌루션 연산과 ReLU 등의 비선형 연산을 여러 번 수행하여 특징 맵을 획득하고 복수의 디컨벌루션 레이어에서 디컨벌루션 연산을 여러 번 수행하고 마지막 특징 맵에서 소프트맥스(SoftMax) 연산을 수행하여 세그멘테이션 결과를 얻는다.

또한, 도 2를 참조하면, 참조번호 210은 입력 이미지를 나타내고, 참조번호 220은 세그멘테이션 결과를 나타내며, 참조번호 230은 라인 피팅(Line Fitting)을 통해 얻은 차선을 나타낸다. 기존의 차선 검출 방법에 따른 세그멘테이션 결과(220)는 도 2의 220에 도시된 바와 같이 차선(Lane)과 배경, 2가지로 구성된다. 이러한 세그멘테이션 결과는 확률 예측 값(Probability Estimation)으로 나온다. 이렇게 선택된 후보 픽셀 중에서 차선일 확률이 높은 픽셀만 샘플링하여 차선 후보를 찾은 후, 찾은 차선 후보를 바탕으로 차선 모델 함수를 이용해 차선(230)을 최종적으로 결정한다.

그러나 이러한 종래의 차선 검출 방법은 세그멘테이션 결과만을 기반으로 하는 문제점이 있다. 일반적으로 세그멘테이션 결과 자체는 차선에 대해 정확한 검출을 하기 어려운 문제가 있다. 이러한 문제를 해결하기 위해, 세그멘테이션 결과에 대해 후처리(Post-Processing)을 통해 라인 피팅을 수행하는 방법을 사용하고 있다. 하지만, 세그멘테이션 결과가 부정확하다면, 라인 피팅을 통해서도 정확한 차선을 검출하는 것이 쉽지 않다는 문제가 있다.

본 발명은 상술한 모든 문제점을 해결하고자 하는 것을 목적으로 한다.

본 발명은 입력 이미지에 대해 좀 더 정확한 세그멘테이션 결과를 얻을 수 있도록 하는 학습 방법을 제공하는 것을 다른 목적으로 한다.

본 발명은 차선 후보의 대응 픽셀 각각으로부터 우측 방향으로의 거리에 대한 그래디언트(Gradient)와 차선 후보의 대응 픽셀 각각으로부터 좌측 방향으로의 거리에 대한 그래디언트에 대한 추가 정보를 바탕으로 세그멘테이션 결과를 얻음으로써, 더 정확한 차선 검출을 할 수 있도록 하는 것을 또 다른 목적으로 한다.

본 발명의 일 태양에 따르면, 적어도 하나의 차선을 검출하기 위한 CNN의 학습 방법에 있어서, (a) 적어도 하나의 트레이닝 이미지가 획득되면, 학습 장치가, 상기 트레이닝 이미지에 컨벌루션 연산을 적어도 한 번 적용하거나 타 장치로 하여금 적용하도록 지원하여 적어도 하나의 특징 맵을 생성하도록 하며, 상기 특징 맵을 이용하여 생성된 세그멘테이션 스코어를 참조로 하여 추정되는 차선 후보에 대한 정보를 나타내는 차선 후보 정보를 생성하거나 타 장치로 하여금 생성하도록 지원하는 단계; (b) 상기 학습 장치가, 상기 트레이닝 이미지 내의 각각의 픽셀에 대한 정보와 이에 대응하는 제1 데이터에 대한 정보를 포함하는 제1 픽셀 데이터 맵을 생성하거나 타 장치로 하여금 생성하도록 지원하며, 상기 제1 데이터에서 선택된 적어도 하나의 메인 서브세트(Main Subset)는 다이렉트 리그레션(Direct Regression)을 이용해 상기 트레이닝 이미지의 행 방향과 평행한 제1방향을 따라 상기 픽셀 각각의 위치 각각으로부터 이에 대응하는 가장 근접한 제1 차선 후보 사이의 거리를 각각 계산하여 생성된 각각의 값을 포함하고, 상기 픽셀 각각에 대한 정보와 이에 대응하는 제2 데이터에 대한 정보를 포함하는 제2 픽셀 데이터 맵을 생성하거나 타 장치로 하여금 생성하도록 지원하며, 상기 제2 데이터에서 선택된 적어도 하나의 메인 서브세트는 상기 다이렉트 리그레션을 이용해 상기 트레이닝 이미지의 상기 행 방향과 평행한 제2 방향을 따라 상기 픽셀 각각의 위치 각각으로부터 이에 대응하는 가장 근접한 제2 차선 후보 사이의 거리를 각각 계산하여 생성된 각각의 값을 포함하는 단계; (c) 상기 학습 장치가, 상기 제1 픽셀 데이터 맵 및 상기 제2 픽셀 데이터 맵을 인퍼런스(Inference)하여 상기 차선을 검출하거나 타 장치로 하여금 검출하도록 지원하는 단계;를 포함하는 것을 특징으로 한다.

일 실시예에서, 상기 제1 픽셀 데이터 맵 및 상기 제2 픽셀 데이터 맵에서 소정 임계치 미만의 값을 갖는 상기 픽셀의 제1 부분에 대한 정보를 참조로 하여 상기 차선을 검출하는 것을 특징으로 한다.

일 실시예에서, 상기 (a) 단계에서, 상기 세그멘테이션 스코어를 참조로 하여 차선 후보가 없는 특정 행이 적어도 하나 존재한다고 판단될 때, 상기 학습 장치가, 상기 특정 행 또는 상기 특정 행보다 상부에 존재하는 적어도 하나의 픽셀에는 제1 값을 할당하거나 타 장치로 하여금 할당하도록 지원하고 상기 특정 행의 하부에 존재하는 적어도 하나의 픽셀에는 제2 값을 할당하거나 타 장치로 하여금 할당하도록 지원하여 제3 픽셀 데이터 맵을 생성하도록 하고, 상기 (c) 단계에서는, 상기 제1 픽셀 데이터 맵, 상기 제2 픽셀 데이터 맵 및 상기 제3 픽셀 데이터 맵을 인퍼런스하여 상기 차선을 검출하는 것을 특징으로 한다.

일 실시예에서, (i) 상기 제1 픽셀 데이터 맵 및 상기 제2 픽셀 데이터 맵에서 소정 임계치 미만의 값을 갖는 상기 픽셀의 제1 부분과 (ii) 상기 제3 픽셀 데이터 맵에서 상기 특정 행의 하부에 존재하는 상기 픽셀의 제2 부분과의 교집합에 대한 정보를 참조하여 상기 차선을 검출하는 것을 특징으로 한다.

일 실시예에서, 상기 제1 값은 배경을 의미하는 0으로 설정되는 것을 특징으로 한다.

일 실시예에서, 상기 학습 방법은 (d) 상기 학습 장치가, 상기 제1 픽셀 데이터 맵에 대응하는 적어도 하나의 제1 GT를 참조로 적어도 하나의 제1 로스를 산출하는 프로세스, 상기 제2 픽셀 데이터 맵에 대응하는 적어도 하나의 제2 GT를 참조로 적어도 하나의 제2 로스를 산출하는 프로세스, 상기 제3 픽셀 데이터 맵에 대응하는 적어도 하나의 제3 GT를 참조로 적어도 하나의 제3 로스를 산출하는 프로세스, 및 상기 제1 로스, 상기 제2 로스 및 상기 제3 로스를 백프로파게이션(Backpropagation)하는 프로세스를 수행하거나 타 장치로 하여금 수행하도록 지원하여 상기 CNN의 파라미터를 학습하는 단계;를 더 포함하는 것을 특징으로 한다.

일 실시예에서, 상기 다이렉트 리그레션(Direct Regression)으로 상기 각각의 거리를 계산하여 생성된 상기 각각의 값은, 상기 픽셀 각각의 상기 위치 각각으로부터 이에 대응하는 가장 근접한 제1 차선 후보까지의 상기 제1 방향으로의 픽셀 거리 각각 및 상기 픽셀 각각의 상기 위치 각각으로부터 이에 대응하는 가장 근접한 제2 차선 후보까지의 상기 제2 방향으로의 픽셀 거리 각각 중 하나를 나타내는 것을 특징으로 한다.

일 실시예에서, 거리에 대한 계산이 필요하지 않는, 상기 제1 데이터의 상기 메인 서브세트 외의 상기 제1 데이터의 보완적인 서브세트는 무한대 값이 할당되는 것을 특징으로 한다.

본 발명의 다른 태양에 따르면, 적어도 하나의 차선을 검출하기 위한 CNN의 테스트 방법에 있어서, (a) 학습 장치가 (i) 적어도 하나의 트레이닝 이미지에 컨벌루션 연산을 적어도 한 번 적용하여 적어도 하나의 학습용 특징 맵을 생성하도록 하며, 상기 학습용 특징 맵을 이용하여 생성된 학습용 세그멘테이션 스코어를 참조로 하여 추정되는 차선 후보에 대한 정보를 나타내는 학습용 차선 후보 정보를 생성하는 프로세스, (ii) 상기 트레이닝 이미지 내의 각각의 픽셀에 대한 정보와 이에 대응하는 학습용 제1 데이터에 대한 정보를 포함하는 학습용 제1 픽셀 데이터 맵을 생성하되, 상기 학습용 제1 데이터에서 선택된 적어도 하나의 메인 서브세트(Main Subset)는 다이렉트 리그레션(Direct Regression)을 이용해 상기 트레이닝 이미지의 행 방향과 평행한 제1방향을 따라 상기 픽셀 각각의 위치 각각으로부터 이에 대응하는 가장 근접한 학습용 제1 차선 후보 사이의 거리를 각각 계산하여 생성된 각각의 값을 포함하고, 상기 픽셀 각각에 대한 정보와 이에 대응하는 학습용 제2 데이터에 대한 정보를 포함하는 학습용 제2 픽셀 데이터 맵을 생성하되, 상기 학습용 제2 데이터에서 선택된 적어도 하나의 메인 서브세트는 상기 다이렉트 리그레션을 이용해 상기 트레이닝 이미지의 상기 행 방향과 평행한 제2 방향을 따라 상기 픽셀 각각의 상기 위치 각각으로부터 이에 대응하는 가장 근접한 학습용 제2 차선 후보 사이의 거리를 각각 계산하여 생성된 각각의 값을 포함하는 프로세스, (iii) 상기 학습용 제1 픽셀 데이터 맵 및 상기 학습용 제2 픽셀 데이터 맵을 인퍼런스(Inference)하여 상기 차선을 검출하는 프로세스, 및 (iv) 상기 학습용 제1 픽셀 데이터 맵에 대응하는 적어도 하나의 제1 GT를 참조로 적어도 하나의 제1 로스를 산출하고, 상기 학습용 제2 픽셀 데이터 맵에 대응하는 적어도 하나의 제2 GT를 참조로 적어도 하나의 제2 로스를 산출하고, 상기 제1 로스 및 상기 제2 로스를 백프로파게이션(Backpropagation)하여 상기 CNN의 적어도 하나의 파라미터를 학습하는 프로세스를 수행한 상태에서, 테스트 장치가 적어도 하나의 테스트 이미지를 획득하거나 타 장치로 하여금 획득하도록 지원하는 단계; (b) 상기 테스트 장치가, 상기 테스트 이미지에 컨벌루션 연산을 적어도 한 번 적용하거나 타 장치로 하여금 적용하도록 지원하여 적어도 하나의 테스트용 특징 맵을 생성하도록 하며, 상기 테스트용 특징 맵을 이용하여 생성된 테스트용 세그멘테이션 스코어를 참조로 하여 추정되는 차선 후보에 대한 정보를 나타내는 테스트용 차선 후보 정보를 생성하거나 타 장치로 하여금 생성하도록 지원하는 단계; (c) 상기 테스트 장치가, 상기 테스트 이미지 내의 각각의 픽셀에 대한 정보와 이에 대응하는 테스트용 제1 데이터에 대한 정보를 포함하는 테스트용 제1 픽셀 데이터 맵을 생성하거나 타 장치로 하여금 생성하도록 지원하되, 상기 테스트용 제1 데이터에서 선택된 적어도 하나의 메인 서브세트(Main Subset)는 상기 다이렉트 리그레션(Direct Regression)을 이용해 상기 제1방향을 따라 상기 픽셀 각각의 위치 각각으로부터 이에 대응하는 가장 근접한 테스트용 제1 차선 후보 사이의 거리를 각각 계산하여 생성된 각각의 값을 포함하고, 상기 픽셀 각각에 대한 정보와 이에 대응하는 테스트용 제2 데이터에 대한 정보를 포함하는 테스트용 제2 픽셀 데이터 맵을 생성하거나 타 장치로 하여금 생성하도록 지원하되, 상기 테스트용 제2 데이터에서 선택된 적어도 하나의 메인 서브세트는 상기 다이렉트 리그레션을 이용해 상기 제2 방향을 따라 상기 픽셀 각각의 상기 위치 각각으로부터 이에 대응하는 가장 근접한 테스트용 제2 차선 후보 사이의 거리를 각각 계산하여 생성된 각각의 값을 포함하는 단계; 및 (d) 상기 테스트 장치가, 상기 테스트용 제1 픽셀 데이터 맵 및 상기 테스트용 제2 픽셀 데이터 맵을 인퍼런스(Inference)하여 상기 차선을 검출하거나 타 장치로 하여금 검출하도록 지원하는 단계;를 포함하는 것을 특징으로 한다.

일 실시예에서, 상기 테스트용 제1 픽셀 데이터 맵 및 상기 테스트용 제2 픽셀 데이터 맵에서 소정 임계치 미만의 값을 갖는 상기 픽셀의 제1 부분에 대한 정보를 참조로 하여 상기 차선을 검출하는 것을 특징으로 한다.

일 실시예에서, 상기 (b) 단계에서, 상기 테스트용 세그멘테이션 스코어를 참조로 하여 차선 후보가 없는 특정 행이 적어도 하나 존재한다고 판단될 때, 상기 테스트 장치가 상기 특정 행 또는 상기 특정 행보다 상부에 존재하는 적어도 하나의 픽셀에는 제1 값을 할당하거나 타 장치로 하여금 할당하도록 지원하고 상기 특정 행의 하부에 존재하는 적어도 하나의 픽셀에는 제2 값을 할당하거나 타 장치로 하여금 할당하도록 지원하여 테스트용 제3 픽셀 데이터 맵을 생성하도록 하고, 상기 (d) 단계에서는, 상기 테스트용 제1 픽셀 데이터 맵, 상기 테스트용 제2 픽셀 데이터 맵 및 상기 테스트용 제3 픽셀 데이터 맵을 인퍼런스하여 상기 차선을 검출하는 것을 특징으로 한다.

일 실시예에서, (i) 상기 테스트용 제1 픽셀 데이터 맵 및 상기 테스트용 제2 픽셀 데이터 맵에서 소정 임계치 미만의 값을 갖는 상기 픽셀의 제1 부분과 (ii) 상기 테스트용 제3 픽셀 데이터 맵에서 상기 특정 행의 하부에 존재하는 상기 픽셀의 제2 부분과의 교집합에 대한 정보를 참조하여 상기 차선을 검출하는 것을 특징으로 한다.

일 실시예에서, 상기 다이렉트 리그레션(Direct Regression)으로 상기 각각의 거리를 계산하여 생성된 상기 각각의 값은, 상기 픽셀 각각의 상기 위치 각각으로부터 이에 대응하는 가장 근접한 테스트용 제1 차선 후보까지의 상기 제1 방향으로의 픽셀 거리 각각 및 상기 픽셀 각각의 상기 위치 각각으로부터 이에 대응하는 가장 근접한 테스트용 제2 차선 후보까지의 상기 제2 방향으로의 픽셀 거리 각각 중 하나를 나타내는 것을 특징으로 한다.

일 실시예에서, 거리에 대한 계산이 필요하지 않는, 상기 테스트용 제1 데이터의 상기 메인 서브세트 외의 상기 테스트용 제1 데이터의 보완적인 서브세트에는 무한대 값이 할당되는 것을 특징으로 한다.

본 발명의 또 다른 태양에 따르면, 적어도 하나의 차선을 검출하기 위한 CNN의 학습 장치에 있어서, 적어도 하나의 트레이닝 이미지를 획득하기 위한 통신부; 및 (I) 상기 트레이닝 이미지에 컨벌루션 연산을 적어도 한 번 적용하거나 타 장치로 하여금 적용하도록 지원하여 적어도 하나의 특징 맵을 생성하도록 하며, 상기 특징 맵을 이용하여 생성된 세그멘테이션 스코어를 참조로 하여 추정되는 차선 후보에 대한 정보를 나타내는 차선 후보 정보를 생성하거나 타 장치로 하여금 생성하도록 지원하는 프로세스, (II) 상기 트레이닝 이미지 내의 각각의 픽셀에 대한 정보와 이에 대응하는 제1 데이터에 대한 정보를 포함하는 제1 픽셀 데이터 맵을 생성하거나 타 장치로 하여금 생성하도록 지원하되, 상기 제1 데이터에서 선택된 적어도 하나의 메인 서브세트(Main Subset)는 다이렉트 리그레션(Direct Regression)을 이용해 상기 트레이닝 이미지의 행 방향과 평행한 제1방향을 따라 상기 픽셀 각각의 위치 각각으로부터 이에 대응하는 가장 근접한 제1 차선 후보 사이의 거리를 각각 계산하여 생성된 각각의 값을 포함하고, 상기 픽셀 각각에 대한 정보와 이에 대응하는 제2 데이터에 대한 정보를 포함하는 제2 픽셀 데이터 맵을 생성하거나 타 장치로 하여금 생성하도록 지원하되, 상기 제2 데이터에서 선택된 적어도 하나의 메인 서브세트는 상기 다이렉트 리그레션을 이용해 상기 트레이닝 이미지의 상기 행 방향과 평행한 제2 방향을 따라 상기 픽셀 각각의 위치 각각으로부터 이에 대응하는 가장 근접한 제2 차선 후보 사이의 거리를 각각 계산하여 생성된 각각의 값을 포함하는 프로세스, 및 (III) 상기 제1 픽셀 데이터 맵 및 상기 제2 픽셀 데이터 맵을 인퍼런스(Inference)하여 상기 차선을 검출하거나 타 장치로 하여금 검출하도록 지원하는 프로세스를 수행하는 프로세서;를 포함하는 것을 특징으로 한다.

일 실시예에서, 상기 (I) 프로세스에서, 상기 세그멘테이션 스코어를 참조로 하여 차선 후보가 없는 특정 행이 적어도 하나 존재한다고 판단될 때, 상기 프로세서가 상기 특정 행 또는 상기 특정 행보다 상부에 존재하는 적어도 하나의 픽셀에는 제1 값을 할당하거나 타 장치로 하여금 할당하도록 지원하고 상기 특정 행의 하부에 존재하는 적어도 하나의 픽셀에는 제2 값을 할당하거나 타 장치로 하여금 할당하도록 지원하여 제3 픽셀 데이터 맵을 생성하도록 하고, 상기 (III) 프로세스에서는, 상기 제1 픽셀 데이터 맵, 상기 제2 픽셀 데이터 맵 및 상기 제3 픽셀 데이터 맵을 인퍼런스하여 상기 차선을 검출하는 것을 특징으로 한다.

일 실시예에서, 상기 프로세서는, (IV) 상기 제1 픽셀 데이터 맵에 대응하는 적어도 하나의 제1 GT를 참조로 적어도 하나의 제1 로스를 산출하는 프로세스, 상기 제2 픽셀 데이터 맵에 대응하는 적어도 하나의 제2 GT를 참조로 적어도 하나의 제2 로스를 산출하는 프로세스, 상기 제3 픽셀 데이터 맵에 대응하는 적어도 하나의 제3 GT를 참조로 적어도 하나의 제3 로스를 산출하는 프로세스, 및 상기 제1 로스, 상기 제2 로스 및 상기 제3 로스를 백프로파게이션(Backpropagation)하는 프로세스를 수행하거나 타 장치로 하여금 수행하도록 지원하여 상기 CNN의 파라미터를 학습하는 프로세스를 더 수행하는 것을 특징으로 한다.

일 실시예에서, 거리에 대한 계산이 필요하지 않는, 상기 제1 데이터의 상기 메인 서브세트 외의 상기 제1 데이터의 보완적인 서브세트에는 무한대 값이 할당되는 것을 특징으로 한다.

본 발명의 또 다른 태양에 따르면, 적어도 하나의 차선을 검출하기 위한 CNN의 테스트 장치에 있어서, 학습 장치가 (i) 적어도 하나의 트레이닝 이미지에 컨벌루션 연산을 적어도 한 번 적용하여 적어도 하나의 학습용 특징 맵을 생성하도록 하며, 상기 학습용 특징 맵을 이용하여 생성된 학습용 세그멘테이션 스코어를 참조로 하여 추정되는 차선 후보에 대한 정보를 나타내는 학습용 차선 후보 정보를 생성하는 프로세스, (ii) 상기 트레이닝 이미지 내의 각각의 픽셀에 대한 정보와 이에 대응하는 학습용 제1 데이터에 대한 정보를 포함하는 학습용 제1 픽셀 데이터 맵을 생성하되, 상기 학습용 제1 데이터에서 선택된 적어도 하나의 메인 서브세트(Main Subset)는 다이렉트 리그레션(Direct Regression)을 이용해 상기 트레이닝 이미지의 행 방향과 평행한 제1방향을 따라 상기 픽셀 각각의 위치 각각으로부터 이에 대응하는 가장 근접한 학습용 제1 차선 후보 사이의 거리를 각각 계산하여 생성된 각각의 값을 포함하고, 상기 픽셀 각각에 대한 정보와 이에 대응하는 학습용 제2 데이터에 대한 정보를 포함하는 학습용 제2 픽셀 데이터 맵을 생성하되, 상기 학습용 제2 데이터에서 선택된 적어도 하나의 메인 서브세트는 상기 다이렉트 리그레션을 이용해 상기 트레이닝 이미지의 상기 행 방향과 평행한 제2 방향을 따라 상기 픽셀 각각의 상기 위치 각각으로부터 이에 대응하는 가장 근접한 학습용 제2 차선 후보 사이의 거리를 각각 계산하여 생성된 각각의 값을 포함하는 프로세스, (iii) 상기 학습용 제1 픽셀 데이터 맵 및 상기 학습용 제2 픽셀 데이터 맵을 인퍼런스(Inference)하여 상기 차선을 검출하는 프로세스, 및 (iv) 상기 제1 픽셀 데이터 맵에 대응하는 적어도 하나의 제1 GT를 참조로 적어도 하나의 제1 로스를 산출하고, 상기 제2 픽셀 데이터 맵에 대응하는 적어도 하나의 제2 GT를 참조로 적어도 하나의 제2 로스를 산출하고, 상기 제1 로스 및 상기 제2 로스를 백프로파게이션(Backpropagation)하여 상기 CNN의 적어도 하나의 파라미터를 학습하는 프로세스를 수행한 상태에서, 적어도 하나의 테스트 이미지를 획득하거나 타 장치로 하여금 획득하도록 지원하기 위한 통신부; 및 (I) 상기 테스트 이미지에 컨벌루션 연산을 적어도 한 번 적용하거나 타 장치로 하여금 적용하도록 지원하여 적어도 하나의 테스트용 특징 맵을 생성하도록 하며, 상기 테스트용 특징 맵을 이용하여 생성된 테스트용 세그멘테이션 스코어를 참조로 하여 추정되는 차선 후보에 대한 정보를 나타내는 테스트용 차선 후보 정보를 생성하거나 타 장치로 하여금 생성하도록 지원하는 프로세스; (II) 상기 테스트 이미지 내의 각각의 픽셀에 대한 정보와 이에 대응하는 테스트용 제1 데이터에 대한 정보를 포함하는 테스트용 제1 픽셀 데이터 맵을 생성하거나 타 장치로 하여금 생성하도록 지원하되, 상기 테스트용 제1 데이터에서 선택된 적어도 하나의 메인 서브세트(Main Subset)는 상기 다이렉트 리그레션(Direct Regression)을 이용해 상기 테스트 이미지의 행 방향과 평행한 상기 제1방향을 따라 상기 픽셀 각각의 위치 각각으로부터 이에 대응하는 가장 근접한 테스트용 제1 차선 후보 사이의 거리를 각각 계산하여 생성된 각각의 값을 포함하고, 상기 픽셀 각각에 대한 정보와 이에 대응하는 테스트용 제2 데이터에 대한 정보를 포함하는 테스트용 제2 픽셀 데이터 맵을 생성하거나 타 장치로 하여금 생성하도록 지원하되, 상기 테스트용 제2 데이터에서 선택된 적어도 하나의 메인 서브세트는 상기 다이렉트 리그레션을 이용해 상기 테스트 이미지의 상기 행 방향과 평행한 상기 제2 방향을 따라 상기 픽셀 각각의 상기 위치 각각으로부터 이에 대응하는 가장 근접한 테스트용 제2 차선 후보 사이의 거리를 각각 계산하여 생성된 각각의 값을 포함하는 프로세스; 및 (III) 상기 테스트용 제1 픽셀 데이터 맵 및 상기 테스트용 제2 픽셀 데이터 맵을 인퍼런스(Inference)하여 상기 차선을 검출하거나 타 장치로 하여금 검출하도록 지원하는 프로세스;를 수행하는 프로세서;를 포함하는 것을 특징으로 한다.

일 실시예에서, 상기 (II) 프로세스에서, 상기 테스트용 세그멘테이션 스코어를 참조로 하여 차선 후보가 없는 특정 행이 적어도 하나 존재한다고 판단될 때, 상기 프로세서가 상기 특정 행 또는 상기 특정 행보다 상부에 존재하는 적어도 하나의 픽셀에는 제1 값을 할당하거나 타 장치로 하여금 할당하도록 지원하고 상기 특정 행의 하부에 존재하는 적어도 하나의 픽셀에는 제2 값을 할당하거나 타 장치로 하여금 할당하도록 지원하여 테스트용 제3 픽셀 데이터 맵을 생성하도록 하고, 상기 (III) 프로세스에서는, 상기 테스트용 제1 픽셀 데이터 맵, 상기 테스트용 제2 픽셀 데이터 맵 및 상기 테스트용 제3 픽셀 데이터 맵을 인퍼런스하여 상기 차선을 검출하는 것을 특징으로 한다.

본 발명에 따르면, 차선 검출을 2단계 세그멘테이션 프로세스를 통해 처리하여 보다 정확하게 세그멘테이션 결과를 생성할 수 있는 효과가 있다.

본 발명에 따르면, 오른쪽 방향으로 각각의 대응하는 차선 후보의 픽셀로부터의 거리에 대한 그래디언트(Gradient)와 왼쪽 방향으로 각각의 대응하는 차선 후보의 픽셀로부터의 거리에 대한 그래디언트에 대한 추가 정보를 바탕으로 세그멘테이션 결과를 생성하기에, 더 정확하게 차선을 검출할 수 있는 다른 효과가 있다.

본 발명의 실시예의 설명에 이용되기 위하여 첨부된 아래 도면들은 본 발명의 실시예들 중 단지 일부일 뿐이며, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자(이하 “통상의 기술자”)에게 있어서는 발명적 작업이 이루어짐 없이 이 도면들에 기초하여 다른 도면들이 얻어질 수 있다.
도 1은 종래의 CNN을 이용해 사진으로부터 생성된 다양한 출력의 예를 간략하게 나타낸다.
도 2는 종래의 CNN을 이용한 기존의 차선 검출 방법을 간략하게 나타낸 도이다.
도 3은 종래의 CNN을 이용한 일반적인 세그멘테이션의 종래의 프로세스를 간략하게 나타낸 도이다.
도 4는 본 발명에 따른 CNN 기반 차선 검출 과정을 간략하게 나타낸 흐름도이다.
도 5는 본 발명에 따른 3가지 픽셀 데이터 맵을 이용한 차선 검출 과정을 예시적으로 나타낸다.
도 6a 내지 도 6c는 본 발명에 따른 3가지 픽셀 데이터 맵의 예를 나타낸다.
도 7a 및 도 7b는 본 발명에 따른 차선 검출 방법을 통해 얻은 세그멘테이션 결과의 예를 나타낸다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다.

또한, 본 발명의 상세한 설명 및 청구항들에 걸쳐, “포함하다”라는 단어 및 그것의 변형은 다른 기술적 특징들, 부가물들, 구성요소들 또는 단계들을 제외하는 것으로 의도된 것이 아니다. 통상의 기술자에게 본 발명의 다른 목적들, 장점들 및 특성들이 일부는 본 설명서로부터, 그리고 일부는 본 발명의 실시로부터 드러날 것이다. 아래의 예시 및 도면은 실례로서 제공되며, 본 발명을 한정하는 것으로 의도된 것이 아니다.

더욱이 본 발명은 본 명세서에 표시된 실시예들의 모든 가능한 조합들을 망라한다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

본 발명에서 언급하는 각종 이미지는 포장 또는 비포장 도로 관련 이미지를 포함할 수 있으며, 이 경우 도로 환경에서 등장할 수 있는 물체(가령, 자동차, 사람, 동물, 식물, 물건, 건물, 비행기나 드론과 같은 비행체, 기타 장애물)를 상정할 수 있을 것이나, 반드시 이에 한정되는 것은 아니며, 본 발명에서 언급하는 각종 이미지는 도로와 상관 없는 이미지(가령, 비포장도로, 골목길, 공터, 바다, 호수, 강, 산, 숲, 사막, 하늘, 실내와 관련된 이미지)일 수도 있으며, 이 경우, 비포장도로, 골목길, 공터, 바다, 호수, 강, 산, 숲, 사막, 하늘, 실내 환경에서 등장할 수 있는 물체(가령, 자동차, 사람, 동물, 식물, 물건, 건물, 비행기나 드론과 같은 비행체, 기타 장애물)를 상정할 수 있을 것이나, 반드시 이에 한정되는 것은 아니다.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

도 4는 본 발명에 따른 CNN 기반으로 적어도 하나의 차선을 검출하는 프로세스를 간략하게 나타낸 흐름도이며, 도 5는 본 발명에 따른 3가지 픽셀 데이터 맵을 이용한 차선 검출 과정을 예시적으로 나타내고, 도 6a 내지 도 6c는 본 발명에 따른 3가지 픽셀 데이터 맵의 예를 나타낸다.

도 4 내지 도 6c를 참조하면, 본 발명에 따른 CNN 기반 차선 검출 방법을 설명하면 다음과 같다.

우선, 학습 장치는 S41 단계에서, 트레이닝 이미지로서 적어도 하나의 입력 이미지를 획득하거나 타 장치로 하여금 획득하도록 지원하고, 트레이닝 이미지에 대해 적어도 한 번 컨벌루션 연산을 수행하여 특징 맵을 획득하고, 이 특징 맵을 이용하여 적어도 하나의 세그멘테이션 스코어(Segmentation Score)를 생성하고, 이 세그멘테이션 스코어를 참조로 추정된 차선 후보에 대한 정보를 나타내는 차선 후보 정보를 생성한다. 이 세그멘테이션 스코어는 스코어 맵(Score Map) 형태로 생성될 수 있고, 이 스코어 맵에서 소정 임계치보다 큰 스코어를 갖는 픽셀은 차선 후보로 결정될 수 있을 것이다. 참고로, “이 특징 맵을 이용하여 세그멘테이션 스코어가 생성된다”는 의미는 특징 맵에 대하여 적어도 한 번 디컨벌루션 연산을 수행하여 세그멘테이션 스코어가 생성된다는 것을 나타내지만, 이에 한정되는 것은 아니다.

그런 다음, S42 단계에서, 학습 장치가 트레이닝 이미지 내의 각각의 픽셀에 대한 정보 및 그에 대응하는 제1 데이터에 대한 정보를 포함하는 제1 픽셀 데이터 맵을 생성하거나 타 장치로 하여금 생성하도록 지원하되, 상기 제1 데이터로부터 선택된 적어도 하나의 메인 서브세트(Main Subset)는 픽셀 각각의 위치로부터 트레이닝 이미지의 행 방향에 평행한 제1 방향(가령, 수평 왼쪽 방향)으로 가장 근접한 제1 차선 후보까지의 각각의 거리를 다이렉트 리그레션(Direct Regression)을 이용해 계산하여 생성된 각각의 값을 포함한다. 다이렉트 리그레션으로 계산하여 계산된 각각의 거리로부터 생성된 상기 각각의 값은 픽셀 각각의 위치로부터 그에 대응하여 제1 방향으로 가장 근접한 제1 차선 후보까지의 각각의 픽셀 간격 중 하나를 나타낸다.

우선, 도 6a에 대해서는 뒤에서 설명할 것인데, 그 이유는 본 발명의 가장 중요한 프로세스가 도 6b 및 도 6c에 대한 것이므로 먼저 설명하는 것이 바람직하기 때문이며, 또 다른 이유는, 도 6a의 프로세스가 필수적이지는 않기 때문이다. 만약 도 6a의 프로세스가 수행된다면, 도 6a의 과정이 수행된 후 도 6b 및 도 6c의 과정을 수행할 수 있으나, 반드시 이에 한정되는 것은 아니다.

도 6b를 참조하면, 0으로 표시된 픽셀은 S41 단계에서 차선 후보(601)로 판단된 픽셀이다. 따라서 제1 픽셀 데이터 맵(603)에서는 차선 후보(601)에 대응하는 픽셀 각각은 자신으로부터의 거리가 0이기 때문에 0으로 표시가 된다. 그리고 차선 후보(601)로부터 우측으로 1픽셀 떨어져 있는 픽셀은, 자신의 위치를 기준으로 좌측으로 1픽셀 거리에 차선 후보(601)의 픽셀이 존재하므로 '1'을 제1 데이터 값으로 할당 받는다.

그리고 차선 후보(601)로부터 우측으로 2픽셀 떨어져 있는 픽셀은, 자신의 위치를 기준으로 좌측으로 2픽셀 거리에 차선 후보(601)의 픽셀이 존재하므로 '2'을 제1 데이터 값으로 할당 받고, 그리고 차선 후보(601)로부터 우측으로 3픽셀 떨어져 있는 픽셀은, 자신의 위치를 기준으로 좌측으로 3픽셀 거리에 차선 후보(601)의 픽셀이 존재하므로 '3'을 제1 데이터 값으로 할당 받는다. 이런 식으로 모든 픽셀에 대해 제1 데이터 값을 할당하여 제1 픽셀 데이터 맵(603)을 생성한다.

다만, 차선 후보(601)의 픽셀로부터 소정 임계치보다 멀리 떨어져 있는 픽셀의 경우, 가장 근접한 차선 후보(601)까지의 거리를 다이렉트 리그레션으로 계산하는 것이 무의미하기 때문에 해당 거리 값을 계산하는 것보다는 편의상 무한대(∞)로 표시된다. 따라서, 도 6b 에 표시된 바와 같이, 제1 픽셀 데이터 맵(603)에서는 차선 후보(601)의 왼쪽에 있는 픽셀은 모두 무한대(∞)로 표시되었다. 물론, 특정 차선 후보의 왼쪽에 있는 픽셀이더라도, 다른 차선 후보의 오른쪽에 있고 그 거리가 소정 임계치 미만에 있다면 상기 다른 차선 후보로부터의 거리가 제1 데이터로 할당될 것이다.

도 5를 참조하면 차선 후보가 여러 차선을 포함하는 경우, 다이렉트 리그레션으로 계산된 가장 가까운 차선 후보까지의 거리만 표시되기 때문에 각 픽셀은 제1 데이터 값으로 1개의 값만 갖게 된다. 이에 따라, 도 5의 제1 픽셀 데이터 맵(503)은 각 행 별로 다수의 차선 후보를 갖기 때문에, 각 행 별로 각 차선 후보로부터 오른쪽으로 멀어질수록 제1 데이터 값이 증가하다가 다른 차선 후보에 다다르면 다시 0에서 제1 데이터 값이 증가하는 형태를 갖게 된다. CNN 연산 결과 생성된 제1 픽셀 데이터 맵(503)은 가장 근접한 왼쪽 차선까지 각각의 거리를 나타내는 제1 데이터를 포함하고, 도 5에서는 그 거리 값을 제1 데이터 값 각각으로 표시하기 보다는 그래디언트로 표시하였다.

그런 다음, S43 단계에서, 학습 장치가 트레이닝 이미지 내의 픽셀 각각에 대한 정보와 그에 대응하는 제2 데이터에 대한 정보를 생성하거나 타 장치로 하여금 생성하도록 지원하고, 제2 데이터로부터 선택된 적어도 하나의 메인 서브세트는 픽셀 각각의 위치 각각으로부터 픽셀에 대응하는 가장 근접한 제2 차선 후보까지 트레이닝 이미지의 행 방향과 평행한 (즉, 수평 방향) 제2 방향(가령, 오른쪽 방향)으로의 거리 각각을 다이렉트 리그레션으로 계산하여 계산된 각각의 값을 포함한다. 다이렉트 리그레션으로 계산하여 계산된 각각의 거리로부터 생성된 각각의 값은 픽셀 각각의 위치 각각으로부터 이에 대응하는 가장 근접한 제2 차선 후보까지 제2 방향으로의 픽셀 거리 각각 중 하나를 나타낸다.

도 6c를 참조하면, 0으로 표시된 픽셀은 S41 단계에서 차선 후보(601)로 판단된 픽셀일 수 있다. 따라서 제2 픽셀 데이터 맵(604)에서도 차선 후보(601)에 대응하는 픽셀 각각은 자신과의 거리가 0이기 때문에 0으로 표시가 된다. 그리고 차선 후보(601)로부터 좌측으로 1픽셀 떨어져 있는 픽셀은, 자신의 위치를 기준으로 우측으로 1픽셀 떨어진 위치에 차선 후보(601)의 픽셀이 존재하므로 '1'을 제2 데이터 값으로 할당한다.

그리고 차선 후보(601)로부터 좌측으로 2픽셀 떨어져 있는 픽셀은, 자신의 위치를 기준으로 우측으로 2픽셀 거리에 차선 후보(601)의 픽셀이 존재하므로 '2'을 제2 데이터 값으로 할당하고, 그리고 차선 후보(601)로부터 좌측으로 3픽셀 떨어져 있는 픽셀은, 자신의 위치를 기준으로 우측으로 3픽셀 거리에 차선 후보(601)의 픽셀이 존재하므로 '3'을 제2 데이터 값으로 할당한다. 이런 식으로 모든 픽셀에 대해 제2 데이터 값을 할당하여 제2 픽셀 데이터 맵(604)을 생성한다.

제2 픽셀 데이터 맵(604)에서도, 차선 후보의 픽셀로부터 소정 임계치보다 멀리 떨어져 있는 픽셀은 가장 근접한 제2 차선 후보(601)까지의 거리를 다이렉트 리그레션으로 계산하여 계산된 값을 구하는 것이 무의미하기 때문에 해당 거리 값을 계산하는 것보다는 모두 무한대(∞)로 표시하였다. 물론, 특정 차선 후보의 오른쪽에 있는 픽셀이더라도, 다른 차선 후보의 왼쪽에 있고 상기 다른 차선 후보로부터의 거리가 소정 임계치 미만이면 상기 다른 차선 후보로부터의 거리가 제2 데이터로 할당될 것이다.

다시 도 5를 참조하면 차선 후보가 여러 차선을 포함하는 경우, 가장 가까운 차선 후보까지의 거리를 다이렉트 리그레션으로 계산하여 계산된 값만 표시되기 때문에 각각의 픽셀은 제2 데이터 값으로 1개만 갖게 된다. 이에 따라, 도 5의 제2 픽셀 데이터 맵(504)은 각각의 행 별로 다수의 차선 후보를 갖기 때문에, 각각의 행 별로 각각의 차선 후보로부터 왼쪽으로 진행할수록 제2 데이터 값이 증가하다가 다른 차선 후보를 만다면 다시 0에서 제2 데이터 값이 증가하는 형태를 갖게 된다. 도 5의 CNN 연산 결과 생성된 제2 픽셀 데이터 맵(504)은 가장 가까운 오른쪽 차선까지의 거리 각각을 나타내며, 도 5에서는 그 값을 제2 데이터 값 각각으로 표시하기 보다는 그래디언트로 표시하였다.

S44 단계에서는, 세그멘테이션 스코어 즉, S41 단계에서 산출한 스코어 맵을 참조로, 차선 후보가 존재하지 않는 특정 행이 적어도 하나 있을 때, 학습 장치가 상기 특정 행 또는 상기 특정 행보다 상부의 행에 존재하는 적어도 하나의 픽셀에 대해 제1 값을 할당하거나 타 장치로 하여금 할당하도록 지원하고, 상기 특정 행의 하부에 존재하는 적어도 하나의 픽셀에 대해서는 제2 값을 할당하거나 타 장치로 하여금 할당하도록 지원하여 제3 픽셀 데이터 맵을 생성하도록 한다. 한편, S42 단계 내지 S44 단계는 출현 순서대로 진행될 수도 있고, S44 단계가 먼저 수행된 후, S42 및 S43 단계가 수행될 수도 있으며, S44 단계를 생략하고 S42 단계와 S43 단계만 수행될 수도 있다. 또한, S42 단계와 S43 단계는 동시에 수행될 수도 있고, 어느 한 단계를 먼저 수행할 수도 있을 것이다.

도 6a를 참조하면, 차선 후보(601)로 판단된 픽셀에는 제2 값(즉, '1')이 할당된다. 아울러, 차선 후보(601)의 픽셀을 포함하는 행의 모든 픽셀에는 상기 제2 값(즉, '1')이 할당된다. 그리고 차선 후보(601)의 픽셀이 존재하지 않은 특정 행 및 그 특정 행의 상부의 행에 위치하는 픽셀에 대해서는 모두 제1 값(즉, '0')이 할당되어 제3 픽셀 데이터 맵(602)이 생성된다. 여기서 제1 값은 배경을 의미하는 '0'이 된다.

일반적으로 도로 주행 시 도로의 차선은 운전자의 관점에서 볼 때 이미지 상의 특정 행 이하에만 존재하고 그 이상에는 하늘이나 산 등의 배경만이 존재한다. 따라서, 차선 검출 시 차선 후보 픽셀이 존재하지 않은 행은 모두 배경으로 간주될 것이다. 이에 따라, 도 6a의 제3 픽셀 데이터 맵(602)은 차선 후보(601)의 픽셀이 존재하지 않은 특정 행 및 그 특정 행의 상부에 존재하는 행은 모두 배경으로 처리하고, 그 하부 행에 해당하는 픽셀만 차선일 확률이 있는 픽셀로 처리하여 생성된다.

도 5를 참조하면 세그멘테이션 스코어 맵 또는 이를 변형해 생성한 다른 세그멘테이션 스코어 맵을 참조하여, 특정 행 상부에 존재하는 차선 후보가 없는 행을 배경으로 처리하여 수평 스코어 맵(Horizontal Score Map) 즉, 제3 픽셀 데이터 맵(502)이 생성될 수 있다.

S45 단계에서는, 제1 픽셀 데이터 맵 및 제2 픽셀 데이터 맵을 인퍼런스(Inference)하여 상기 차선을 검출하거나, 제1 픽셀 데이터 맵, 제2 픽셀 데이터 맵 및 제3 픽셀 데이터 맵을 인퍼런스하여 상기 차선을 검출한다.

예를 들어, 제1 픽셀 데이터 맵 및 제2 픽셀 데이터 맵에서 소정 임계치 미만의 값을 갖는 픽셀의 제1 부분을 바탕으로 상기 차선을 검출할 수도 있고, (i) 픽셀의 제1 부분과 (ii) 제3 픽셀 데이터 맵 내의 특정 행의 하부에 존재하는 픽셀의 제2 부분(즉, 제2 값이 할당되는 픽셀)과의 교집합에 대한 정보를 참조하여 상기 차선을 검출할 수도 있다.

일 예로, 픽셀의 제2 부분(즉, 제3 픽셀 데이터 맵 내의 제2 값을 갖는 픽셀) 중, 제1 픽셀 데이터 맵과 제2 픽셀 데이터 맵에서 제1 데이터와 제2 데이터가 3 이하인 픽셀만을 선택하여 적어도 하나의 세그멘테이션 결과(505)를 생성하고, 상기 세그멘테이션 결과(505)를 바탕으로 차선을 검출할 수 있다. 도 5의 세그멘테이션 결과(505)는 제1 픽셀 데이터 맵(503)이나 제2 픽셀 데이터 맵(504)과 같이 그래디언트로 표시하지는 않았지만, 세그멘테이션 결과(505)는 차선 후보(601)의 픽셀로부터 행 방향으로(즉, 왼쪽으로 및/또는 오른쪽으로) 소정 범위(예를 들어 3픽셀)내의 그래디언트 값을 가지는 픽셀을 포함할 수 있다.

도 5를 참조하면, 본 발명에 따라 입력 이미지(501)에 대하여 일련의 연산을 적용하면, 3개의 결과 즉, 수평 스코어 맵을 나타내는 제3 픽셀 데이터 맵(502), 가장 가까운 왼쪽 차선까지의 거리를 나타내는 제1 픽셀 데이터 맵(503) 및 가장 가까운 오른쪽 차선까지의 거리를 나타내는 제2 픽셀 데이터 맵(504)을 생성할 수 있다.

만일 CNN이 학습 장치에 사용된다면, 제1 픽셀 데이터 맵(503)에 대응하는 적어도 하나의 제1 GT를 참조로 적어도 하나의 제1 로스를 생성하는 프로세스, 제2 픽셀 데이터 맵(504)에 대응하는 적어도 하나의 제2 GT를 참조로 적어도 하나의 제2 로스를 생성하는 프로세스, 제3 픽셀 데이터 맵(502)에 대응하는 적어도 하나의 제3 GT를 참조로 적어도 하나의 제3 로스를 생성하는 프로세스 및 제1 로스, 제2 로스 및 제3 로스를 백프로파게이션(Backpropagation)하여 CNN의 파라미터를 학습하거나 최적화하는 프로세스를 더 수행한다.

도 7a 및 도 7b는 본 발명에 따른 차선 검출 방법을 통해 생성된 세그멘테이션 결과의 예를 나타낸다.

도 7a에서 입력 이미지(701)가 획득되어 본 발명에 따라 CNN에 입력되고, 3개의 결과를 인퍼런스하여 세그멘테이션 결과(즉, 세그멘테이션 출력(702))이 생성될 수 있다. 도 7b에서 확인할 수 있듯이, 행 방향으로 차선 후보의 픽셀로부터 소정 범위 내의 픽셀 각각이 이에 대응하는 스코어를 갖는 세그멘테이션 결과를 생성할 수 있고, 이에 따라, S41 단계를 통해서 얻은 부정확한 세그멘테이션 스코어 값이 다이렉트 리그레션에 의해 보다 정확한 세그멘테이션 결과로 개선될 수 있다.

CNN이 테스트 장치에 사용되는 경우에도 위에서 설명한 학습 프로세스에서 이용했던 차선 검출 방법의 프로세스가 그대로 적용된다. 즉, CNN의 파라미터를 학습하거나 최적화하기 위해 상기 차선 검출 프로세스가 이용되고, 이를 통해 나온 파라미터를 테스트 장치에 적용하여 적어도 하나의 테스트 이미지에서 차선을 검출하게 된다.

참고로 이하의 설명에서 혼동을 피하기 위해 “학습용”이란 문구는 앞서 설명한 학습 프로세스와 관련된 용어에 대해 추가되고, “테스트용”이란 문구는 테스트 프로세스와 관련된 용어에 대해 추가된다.

즉, 본 발명에 따른 CNN을 이용한 차선 검출 테스트 방법은, 학습 장치가 (i) 트레이닝 이미지에 컨벌루션 연산을 적용하여 학습용 특징 맵을 생성하도록 하며, 학습용 특징 맵을 이용하여 생성된 학습용 세그멘테이션 스코어를 참조로 하여 추정되는 차선 후보에 대한 정보를 나타내는 학습용 차선 후보 정보를 생성하고, (ii) 트레이닝 이미지 내의 각각의 픽셀에 대한 정보와 이에 대응하는 학습용 제1 데이터에 대한 정보를 포함하는 학습용 제1 픽셀 데이터 맵을 생성하되, 학습용 제1 데이터에서 선택된 적어도 하나의 메인 서브세트(Main Subset)는 다이렉트 리그레션(Direct Regression)을 이용해 트레이닝 이미지의 행 방향과 평행한 제1방향을 따라 픽셀 각각의 위치 각각으로부터 이에 대응하는 가장 근접한 학습용 제1 차선 후보 사이의 거리를 각각 계산하여 생성된 각각의 값을 포함하고, 픽셀 각각에 대한 정보와 이에 대응하는 학습용 제2 데이터에 대한 정보를 포함하는 학습용 제2 픽셀 데이터 맵을 생성하되, 학습용 제2 데이터에서 선택된 적어도 하나의 메인 서브세트는 다이렉트 리그레션을 이용해 트레이닝 이미지의 행 방향과 평행한 제2 방향을 따라 픽셀 각각의 위치 각각으로부터 이에 대응하는 가장 근접한 학습용 제2 차선 후보 사이의 거리를 각각 계산하여 생성된 각각의 값을 포함하고, (iii) 학습용 제1 픽셀 데이터 맵 및 학습용 제2 픽셀 데이터 맵을 인퍼런스(Inference)하여 차선을 검출하며, 및 (iv) 제1 픽셀 데이터 맵에 대응하는 적어도 하나의 제1 GT를 참조로 적어도 하나의 제1 로스를 산출하고, 제2 픽셀 데이터 맵에 대응하는 적어도 하나의 제2 GT를 참조로 적어도 하나의 제2 로스를 산출하고, 제1 로스 및 제2 로스를 백프로파게이션(Backpropagation)하여 CNN의 적어도 하나의 파라미터를 학습하는 프로세스를 수행한 상태에서, 학습 장치로 학습된 CNN의 파라미터를 이용하는 테스트 장치가 테스트 이미지를 획득하는 단계를 포함한다.

그런 다음, (i) 테스트 이미지에 컨벌루션 연산을 적용하여 테스트용 특징 맵을 생성하고, 테스트용 특징 맵을 이용하여 생성된 테스트용 세그멘테이션 스코어를 참조로 하여 추정되는 차선 후보에 대한 정보를 나타내는 테스트용 차선 후보 정보를 생성하고; (ii) 테스트 이미지 내의 각각의 픽셀에 대한 정보와 이에 대응하는 테스트용 제1 데이터에 대한 정보를 포함하는 테스트용 제1 픽셀 데이터 맵을 생성하되, 테스트용 제1 데이터에서 선택된 적어도 하나의 메인 서브세트(Main Subset)는 다이렉트 리그레션(Direct Regression)을 이용해 제1방향을 따라 픽셀 각각의 위치 각각으로부터 이에 대응하는 가장 근접한 테스트용 제1 차선 후보 사이의 거리를 각각 계산하여 생성된 각각의 값을 포함하고, 픽셀 각각에 대한 정보와 이에 대응하는 테스트용 제2 데이터에 대한 정보를 포함하는 테스트용 제2 픽셀 데이터 맵을 생성하되, 테스트용 제2 데이터에서 선택된 적어도 하나의 메인 서브세트는 다이렉트 리그레션을 이용해 제2 방향을 따라 픽셀 각각의 위치 각각으로부터 이에 대응하는 가장 근접한 테스트용 제2 차선 후보 사이의 거리를 각각 계산하여 생성된 각각의 값을 포함하고 (iii) 테스트용 세그멘테이션 결과가 생성되고 테스트용 제1 픽셀 데이터 맵 및 테스트용 제2 픽셀 데이터 맵을 인퍼런스(Inference)하여 차선을 검출한다.

본 발명 기술분야의 통상의 기술자에게 이해될 수 있는 바로서, 위에서 설명된 이미지, 예컨대 트레이닝 이미지, 테스트 이미지와 같은 이미지 데이터의 송수신이 학습 장치 및 테스트 장치의 통신부들에 의하여 이루어질 수 있으며, 특징 맵과 연산을 수행하기 위한 데이터가 학습 장치 및 테스트 장치의 프로세서(및/또는 메모리)에 의하여 보유/유지될 수 있고, 컨벌루션 연산, 디컨벌루션 연산, 로스 값 연산 과정이 주로 학습 장치 및 테스트 장치의 프로세서에 의하여 수행될 수 있으나, 본 발명이 이에 한정되지는 않을 것이다.

이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims

적어도 하나의 차선을 검출하기 위한 CNN의 학습 방법에 있어서,
(a) 적어도 하나의 트레이닝 이미지가 획득되면, 학습 장치가, 상기 트레이닝 이미지에 컨벌루션 연산을 적어도 한 번 적용하거나 타 장치로 하여금 적용하도록 지원하여 적어도 하나의 특징 맵을 생성하도록 하며, 상기 특징 맵을 이용하여 생성된 세그멘테이션 스코어를 참조로 하여 추정되는 차선 후보에 대한 정보를 나타내는 차선 후보 정보를 생성하거나 타 장치로 하여금 생성하도록 지원하는 단계;
(b) 상기 학습 장치가, 상기 트레이닝 이미지 내의 각각의 픽셀에 대한 정보와 이에 대응하는 제1 데이터에 대한 정보를 포함하는 제1 픽셀 데이터 맵을 생성하거나 타 장치로 하여금 생성하도록 지원하며, 상기 제1 데이터에서 선택된 적어도 하나의 메인 서브세트(Main Subset)는 다이렉트 리그레션(Direct Regression)을 이용해 상기 트레이닝 이미지의 행 방향과 평행한 제1방향을 따라 상기 픽셀 각각의 위치 각각으로부터 이에 대응하는 가장 근접한 제1 차선 후보 사이의 거리를 각각 계산하여 생성된 각각의 값을 포함하고, 상기 픽셀 각각에 대한 정보와 이에 대응하는 제2 데이터에 대한 정보를 포함하는 제2 픽셀 데이터 맵을 생성하거나 타 장치로 하여금 생성하도록 지원하며, 상기 제2 데이터에서 선택된 적어도 하나의 메인 서브세트는 상기 다이렉트 리그레션을 이용해 상기 트레이닝 이미지의 상기 행 방향과 평행한 제2 방향을 따라 상기 픽셀 각각의 위치 각각으로부터 이에 대응하는 가장 근접한 제2 차선 후보 사이의 거리를 각각 계산하여 생성된 각각의 값을 포함하는 단계;
(c) 상기 학습 장치가, 상기 제1 픽셀 데이터 맵 및 상기 제2 픽셀 데이터 맵을 인퍼런스(Inference)하여 상기 차선을 검출하거나 타 장치로 하여금 검출하도록 지원하는 단계;
를 포함하는 것을 특징으로 하는 방법.
제1 항에 있어서,
상기 제1 픽셀 데이터 맵 및 상기 제2 픽셀 데이터 맵에서 소정 임계치 미만의 값을 갖는 상기 픽셀의 제1 부분에 대한 정보를 참조로 하여 상기 차선을 검출하는 것을 특징으로 하는 방법.
제1 항에 있어서,
상기 (a) 단계에서,
상기 세그멘테이션 스코어를 참조로 하여 차선 후보가 없는 특정 행이 적어도 하나 존재한다고 판단될 때, 상기 학습 장치가, 상기 특정 행 또는 상기 특정 행보다 상부에 존재하는 적어도 하나의 픽셀에는 제1 값을 할당하거나 타 장치로 하여금 할당하도록 지원하고 상기 특정 행의 하부에 존재하는 적어도 하나의 픽셀에는 제2 값을 할당하거나 타 장치로 하여금 할당하도록 지원하여 제3 픽셀 데이터 맵을 생성하도록 하고,
상기 (c) 단계에서는,
상기 제1 픽셀 데이터 맵, 상기 제2 픽셀 데이터 맵 및 상기 제3 픽셀 데이터 맵을 인퍼런스하여 상기 차선을 검출하는 것을 특징으로 하는 방법.
제3 항에 있어서,
(i) 상기 제1 픽셀 데이터 맵 및 상기 제2 픽셀 데이터 맵에서 소정 임계치 미만의 값을 갖는 상기 픽셀의 제1 부분과 (ii) 상기 제3 픽셀 데이터 맵에서 상기 특정 행의 하부에 존재하는 상기 픽셀의 제2 부분과의 교집합에 대한 정보를 참조하여 상기 차선을 검출하는 것을 특징으로 하는 방법.
제3 항에 있어서,
상기 제1 값은 배경을 의미하는 0으로 설정되는 것을 특징으로 하는 방법.
제3 항에 있어서,
상기 학습 방법은
(d) 상기 학습 장치가, 상기 제1 픽셀 데이터 맵에 대응하는 적어도 하나의 제1 GT를 참조로 적어도 하나의 제1 로스를 산출하는 프로세스, 상기 제2 픽셀 데이터 맵에 대응하는 적어도 하나의 제2 GT를 참조로 적어도 하나의 제2 로스를 산출하는 프로세스, 상기 제3 픽셀 데이터 맵에 대응하는 적어도 하나의 제3 GT를 참조로 적어도 하나의 제3 로스를 산출하는 프로세스, 및 상기 제1 로스, 상기 제2 로스 및 상기 제3 로스를 백프로파게이션(Backpropagation)하는 프로세스를 수행하거나 타 장치로 하여금 수행하도록 지원하여 상기 CNN의 파라미터를 학습하는 단계;
를 더 포함하는 것을 특징으로 하는 방법.
제1 항에 있어서,
상기 다이렉트 리그레션(Direct Regression)으로 상기 각각의 거리를 계산하여 생성된 상기 각각의 값은, 상기 픽셀 각각의 상기 위치 각각으로부터 이에 대응하는 가장 근접한 제1 차선 후보까지의 상기 제1 방향으로의 픽셀 거리 각각 및 상기 픽셀 각각의 상기 위치 각각으로부터 이에 대응하는 가장 근접한 제2 차선 후보까지의 상기 제2 방향으로의 픽셀 거리 각각 중 하나를 나타내는 것을 특징으로 하는 방법.
제1 항에 있어서,
거리에 대한 계산이 필요하지 않는, 상기 제1 데이터의 상기 메인 서브세트 외의 상기 제1 데이터의 보완적인 서브세트는 무한대 값이 할당되는 것을 특징으로 하는 방법.
적어도 하나의 차선을 검출하기 위한 CNN의 테스트 방법에 있어서,
(a) 학습 장치가 (i) 적어도 하나의 트레이닝 이미지에 컨벌루션 연산을 적어도 한 번 적용하여 적어도 하나의 학습용 특징 맵을 생성하도록 하며, 상기 학습용 특징 맵을 이용하여 생성된 학습용 세그멘테이션 스코어를 참조로 하여 추정되는 차선 후보에 대한 정보를 나타내는 학습용 차선 후보 정보를 생성하는 프로세스, (ii) 상기 트레이닝 이미지 내의 각각의 픽셀에 대한 정보와 이에 대응하는 학습용 제1 데이터에 대한 정보를 포함하는 학습용 제1 픽셀 데이터 맵을 생성하되, 상기 학습용 제1 데이터에서 선택된 적어도 하나의 메인 서브세트(Main Subset)는 다이렉트 리그레션(Direct Regression)을 이용해 상기 트레이닝 이미지의 행 방향과 평행한 제1방향을 따라 상기 픽셀 각각의 위치 각각으로부터 이에 대응하는 가장 근접한 학습용 제1 차선 후보 사이의 거리를 각각 계산하여 생성된 각각의 값을 포함하고, 상기 픽셀 각각에 대한 정보와 이에 대응하는 학습용 제2 데이터에 대한 정보를 포함하는 학습용 제2 픽셀 데이터 맵을 생성하되, 상기 학습용 제2 데이터에서 선택된 적어도 하나의 메인 서브세트는 상기 다이렉트 리그레션을 이용해 상기 트레이닝 이미지의 상기 행 방향과 평행한 제2 방향을 따라 상기 픽셀 각각의 상기 위치 각각으로부터 이에 대응하는 가장 근접한 학습용 제2 차선 후보 사이의 거리를 각각 계산하여 생성된 각각의 값을 포함하는 프로세스, (iii) 상기 학습용 제1 픽셀 데이터 맵 및 상기 학습용 제2 픽셀 데이터 맵을 인퍼런스(Inference)하여 상기 차선을 검출하는 프로세스, 및 (iv) 상기 학습용 제1 픽셀 데이터 맵에 대응하는 적어도 하나의 제1 GT를 참조로 적어도 하나의 제1 로스를 산출하고, 상기 학습용 제2 픽셀 데이터 맵에 대응하는 적어도 하나의 제2 GT를 참조로 적어도 하나의 제2 로스를 산출하고, 상기 제1 로스 및 상기 제2 로스를 백프로파게이션(Backpropagation)하여 상기 CNN의 적어도 하나의 파라미터를 학습하는 프로세스를 수행한 상태에서, 테스트 장치가 적어도 하나의 테스트 이미지를 획득하거나 타 장치로 하여금 획득하도록 지원하는 단계;
(b) 상기 테스트 장치가, 상기 테스트 이미지에 컨벌루션 연산을 적어도 한 번 적용하거나 타 장치로 하여금 적용하도록 지원하여 적어도 하나의 테스트용 특징 맵을 생성하도록 하며, 상기 테스트용 특징 맵을 이용하여 생성된 테스트용 세그멘테이션 스코어를 참조로 하여 추정되는 차선 후보에 대한 정보를 나타내는 테스트용 차선 후보 정보를 생성하거나 타 장치로 하여금 생성하도록 지원하는 단계;
(c) 상기 테스트 장치가, 상기 테스트 이미지 내의 각각의 픽셀에 대한 정보와 이에 대응하는 테스트용 제1 데이터에 대한 정보를 포함하는 테스트용 제1 픽셀 데이터 맵을 생성하거나 타 장치로 하여금 생성하도록 지원하되, 상기 테스트용 제1 데이터에서 선택된 적어도 하나의 메인 서브세트(Main Subset)는 상기 다이렉트 리그레션(Direct Regression)을 이용해 상기 제1방향을 따라 상기 픽셀 각각의 위치 각각으로부터 이에 대응하는 가장 근접한 테스트용 제1 차선 후보 사이의 거리를 각각 계산하여 생성된 각각의 값을 포함하고, 상기 픽셀 각각에 대한 정보와 이에 대응하는 테스트용 제2 데이터에 대한 정보를 포함하는 테스트용 제2 픽셀 데이터 맵을 생성하거나 타 장치로 하여금 생성하도록 지원하되, 상기 테스트용 제2 데이터에서 선택된 적어도 하나의 메인 서브세트는 상기 다이렉트 리그레션을 이용해 상기 제2 방향을 따라 상기 픽셀 각각의 상기 위치 각각으로부터 이에 대응하는 가장 근접한 테스트용 제2 차선 후보 사이의 거리를 각각 계산하여 생성된 각각의 값을 포함하는 단계; 및
(d) 상기 테스트 장치가, 상기 테스트용 제1 픽셀 데이터 맵 및 상기 테스트용 제2 픽셀 데이터 맵을 인퍼런스(Inference)하여 상기 차선을 검출하거나 타 장치로 하여금 검출하도록 지원하는 단계;
를 포함하는 것을 특징으로 하는 방법.
제9 항에 있어서,
상기 테스트용 제1 픽셀 데이터 맵 및 상기 테스트용 제2 픽셀 데이터 맵에서 소정 임계치 미만의 값을 갖는 상기 픽셀의 제1 부분에 대한 정보를 참조로 하여 상기 차선을 검출하는 것을 특징으로 하는 방법.
제9 항에 있어서,
상기 (b) 단계에서,
상기 테스트용 세그멘테이션 스코어를 참조로 하여 차선 후보가 없는 특정 행이 적어도 하나 존재한다고 판단될 때, 상기 테스트 장치가 상기 특정 행 또는 상기 특정 행보다 상부에 존재하는 적어도 하나의 픽셀에는 제1 값을 할당하거나 타 장치로 하여금 할당하도록 지원하고 상기 특정 행의 하부에 존재하는 적어도 하나의 픽셀에는 제2 값을 할당하거나 타 장치로 하여금 할당하도록 지원하여 테스트용 제3 픽셀 데이터 맵을 생성하도록 하고,
상기 (d) 단계에서는,
상기 테스트용 제1 픽셀 데이터 맵, 상기 테스트용 제2 픽셀 데이터 맵 및 상기 테스트용 제3 픽셀 데이터 맵을 인퍼런스하여 상기 차선을 검출하는 것을 특징으로 하는 방법.
제11 항에 있어서,
(i) 상기 테스트용 제1 픽셀 데이터 맵 및 상기 테스트용 제2 픽셀 데이터 맵에서 소정 임계치 미만의 값을 갖는 상기 픽셀의 제1 부분과 (ii) 상기 테스트용 제3 픽셀 데이터 맵에서 상기 특정 행의 하부에 존재하는 상기 픽셀의 제2 부분과의 교집합에 대한 정보를 참조하여 상기 차선을 검출하는 것을 특징으로 하는 방법.
제9 항에 있어서,
상기 다이렉트 리그레션(Direct Regression)으로 상기 각각의 거리를 계산하여 생성된 상기 각각의 값은, 상기 픽셀 각각의 상기 위치 각각으로부터 이에 대응하는 가장 근접한 테스트용 제1 차선 후보까지의 상기 제1 방향으로의 픽셀 거리 각각 및 상기 픽셀 각각의 상기 위치 각각으로부터 이에 대응하는 가장 근접한 테스트용 제2 차선 후보까지의 상기 제2 방향으로의 픽셀 거리 각각 중 하나를 나타내는 것을 특징으로 하는 방법.
제9 항에 있어서,
거리에 대한 계산이 필요하지 않는, 상기 테스트용 제1 데이터의 상기 메인 서브세트 외의 상기 테스트용 제1 데이터의 보완적인 서브세트에는 무한대 값이 할당되는 것을 특징으로 하는 방법.
적어도 하나의 차선을 검출하기 위한 CNN의 학습 장치에 있어서,
적어도 하나의 트레이닝 이미지를 획득하기 위한 통신부; 및
(I) 상기 트레이닝 이미지에 컨벌루션 연산을 적어도 한 번 적용하거나 타 장치로 하여금 적용하도록 지원하여 적어도 하나의 특징 맵을 생성하도록 하며, 상기 특징 맵을 이용하여 생성된 세그멘테이션 스코어를 참조로 하여 추정되는 차선 후보에 대한 정보를 나타내는 차선 후보 정보를 생성하거나 타 장치로 하여금 생성하도록 지원하는 프로세스, (II) 상기 트레이닝 이미지 내의 각각의 픽셀에 대한 정보와 이에 대응하는 제1 데이터에 대한 정보를 포함하는 제1 픽셀 데이터 맵을 생성하거나 타 장치로 하여금 생성하도록 지원하되, 상기 제1 데이터에서 선택된 적어도 하나의 메인 서브세트(Main Subset)는 다이렉트 리그레션(Direct Regression)을 이용해 상기 트레이닝 이미지의 행 방향과 평행한 제1방향을 따라 상기 픽셀 각각의 위치 각각으로부터 이에 대응하는 가장 근접한 제1 차선 후보 사이의 거리를 각각 계산하여 생성된 각각의 값을 포함하고, 상기 픽셀 각각에 대한 정보와 이에 대응하는 제2 데이터에 대한 정보를 포함하는 제2 픽셀 데이터 맵을 생성하거나 타 장치로 하여금 생성하도록 지원하되, 상기 제2 데이터에서 선택된 적어도 하나의 메인 서브세트는 상기 다이렉트 리그레션을 이용해 상기 트레이닝 이미지의 상기 행 방향과 평행한 제2 방향을 따라 상기 픽셀 각각의 위치 각각으로부터 이에 대응하는 가장 근접한 제2 차선 후보 사이의 거리를 각각 계산하여 생성된 각각의 값을 포함하는 프로세스, 및 (III) 상기 제1 픽셀 데이터 맵 및 상기 제2 픽셀 데이터 맵을 인퍼런스(Inference)하여 상기 차선을 검출하거나 타 장치로 하여금 검출하도록 지원하는 프로세스를 수행하는 프로세서;
를 포함하는 것을 특징으로 하는 장치.
제15 항에 있어서,
상기 제1 픽셀 데이터 맵 및 상기 제2 픽셀 데이터 맵에서 소정 임계치 미만의 값을 갖는 상기 픽셀의 제1 부분에 대한 정보를 참조로 하여 상기 차선을 검출하는 것을 특징으로 하는 장치.
제15 항에 있어서,
상기 (I) 프로세스에서,
상기 세그멘테이션 스코어를 참조로 하여 차선 후보가 없는 특정 행이 적어도 하나 존재한다고 판단될 때, 상기 프로세서가 상기 특정 행 또는 상기 특정 행보다 상부에 존재하는 적어도 하나의 픽셀에는 제1 값을 할당하거나 타 장치로 하여금 할당하도록 지원하고 상기 특정 행의 하부에 존재하는 적어도 하나의 픽셀에는 제2 값을 할당하거나 타 장치로 하여금 할당하도록 지원하여 제3 픽셀 데이터 맵을 생성하도록 하고,
상기 (III) 프로세스에서는,
상기 제1 픽셀 데이터 맵, 상기 제2 픽셀 데이터 맵 및 상기 제3 픽셀 데이터 맵을 인퍼런스하여 상기 차선을 검출하는 것을 특징으로 하는 장치.
제17 항에 있어서,
(i) 상기 제1 픽셀 데이터 맵 및 상기 제2 픽셀 데이터 맵에서 소정 임계치 미만의 값을 갖는 상기 픽셀의 제1 부분과 (ii) 상기 제3 픽셀 데이터 맵에서 상기 특정 행의 하부에 존재하는 상기 픽셀의 제2 부분과의 교집합에 대한 정보를 참조하여 상기 차선을 검출하는 것을 특징으로 하는 장치.
제17 항에 있어서,
상기 제1 값은 배경을 의미하는 0으로 설정되는 것을 특징으로 하는 장치.
제17 항에 있어서,
상기 프로세서는,
(IV) 상기 제1 픽셀 데이터 맵에 대응하는 적어도 하나의 제1 GT를 참조로 적어도 하나의 제1 로스를 산출하는 프로세스, 상기 제2 픽셀 데이터 맵에 대응하는 적어도 하나의 제2 GT를 참조로 적어도 하나의 제2 로스를 산출하는 프로세스, 상기 제3 픽셀 데이터 맵에 대응하는 적어도 하나의 제3 GT를 참조로 적어도 하나의 제3 로스를 산출하는 프로세스, 및 상기 제1 로스, 상기 제2 로스 및 상기 제3 로스를 백프로파게이션(Backpropagation)하는 프로세스를 수행하거나 타 장치로 하여금 수행하도록 지원하여 상기 CNN의 파라미터를 학습하는 프로세스
를 더 수행하는 것을 특징으로 하는 장치.
제15 항에 있어서,
상기 다이렉트 리그레션(Direct Regression)으로 상기 각각의 거리를 계산하여 생성된 상기 각각의 값은, 상기 픽셀 각각의 상기 위치 각각으로부터 이에 대응하는 가장 근접한 제1 차선 후보까지의 상기 제1 방향으로의 픽셀 거리 각각 및 상기 픽셀 각각의 상기 위치 각각으로부터 이에 대응하는 가장 근접한 제2 차선 후보까지의 상기 제2 방향으로의 픽셀 거리 각각 중 하나를 나타내는 것을 특징으로 하는 장치.
제15 항에 있어서,
거리에 대한 계산이 필요하지 않는, 상기 제1 데이터의 상기 메인 서브세트 외의 상기 제1 데이터의 보완적인 서브세트에는 무한대 값이 할당되는 것을 특징으로 하는 장치.
적어도 하나의 차선을 검출하기 위한 CNN의 테스트 장치에 있어서,
학습 장치가 (i) 적어도 하나의 트레이닝 이미지에 컨벌루션 연산을 적어도 한 번 적용하여 적어도 하나의 학습용 특징 맵을 생성하도록 하며, 상기 학습용 특징 맵을 이용하여 생성된 학습용 세그멘테이션 스코어를 참조로 하여 추정되는 차선 후보에 대한 정보를 나타내는 학습용 차선 후보 정보를 생성하는 프로세스, (ii) 상기 트레이닝 이미지 내의 각각의 픽셀에 대한 정보와 이에 대응하는 학습용 제1 데이터에 대한 정보를 포함하는 학습용 제1 픽셀 데이터 맵을 생성하되, 상기 학습용 제1 데이터에서 선택된 적어도 하나의 메인 서브세트(Main Subset)는 다이렉트 리그레션(Direct Regression)을 이용해 상기 트레이닝 이미지의 행 방향과 평행한 제1방향을 따라 상기 픽셀 각각의 위치 각각으로부터 이에 대응하는 가장 근접한 학습용 제1 차선 후보 사이의 거리를 각각 계산하여 생성된 각각의 값을 포함하고, 상기 픽셀 각각에 대한 정보와 이에 대응하는 학습용 제2 데이터에 대한 정보를 포함하는 학습용 제2 픽셀 데이터 맵을 생성하되, 상기 학습용 제2 데이터에서 선택된 적어도 하나의 메인 서브세트는 상기 다이렉트 리그레션을 이용해 상기 트레이닝 이미지의 상기 행 방향과 평행한 제2 방향을 따라 상기 픽셀 각각의 상기 위치 각각으로부터 이에 대응하는 가장 근접한 학습용 제2 차선 후보 사이의 거리를 각각 계산하여 생성된 각각의 값을 포함하는 프로세스, (iii) 상기 학습용 제1 픽셀 데이터 맵 및 상기 학습용 제2 픽셀 데이터 맵을 인퍼런스(Inference)하여 상기 차선을 검출하는 프로세스, 및 (iv) 상기 제1 픽셀 데이터 맵에 대응하는 적어도 하나의 제1 GT를 참조로 적어도 하나의 제1 로스를 산출하고, 상기 제2 픽셀 데이터 맵에 대응하는 적어도 하나의 제2 GT를 참조로 적어도 하나의 제2 로스를 산출하고, 상기 제1 로스 및 상기 제2 로스를 백프로파게이션(Backpropagation)하여 상기 CNN의 적어도 하나의 파라미터를 학습하는 프로세스를 수행한 상태에서, 적어도 하나의 테스트 이미지를 획득하거나 타 장치로 하여금 획득하도록 지원하기 위한 통신부; 및
(I) 상기 테스트 이미지에 컨벌루션 연산을 적어도 한 번 적용하거나 타 장치로 하여금 적용하도록 지원하여 적어도 하나의 테스트용 특징 맵을 생성하도록 하며, 상기 테스트용 특징 맵을 이용하여 생성된 테스트용 세그멘테이션 스코어를 참조로 하여 추정되는 차선 후보에 대한 정보를 나타내는 테스트용 차선 후보 정보를 생성하거나 타 장치로 하여금 생성하도록 지원하는 프로세스; (II) 상기 테스트 이미지 내의 각각의 픽셀에 대한 정보와 이에 대응하는 테스트용 제1 데이터에 대한 정보를 포함하는 테스트용 제1 픽셀 데이터 맵을 생성하거나 타 장치로 하여금 생성하도록 지원하되, 상기 테스트용 제1 데이터에서 선택된 적어도 하나의 메인 서브세트(Main Subset)는 상기 다이렉트 리그레션(Direct Regression)을 이용해 상기 테스트 이미지의 행 방향과 평행한 상기 제1방향을 따라 상기 픽셀 각각의 위치 각각으로부터 이에 대응하는 가장 근접한 테스트용 제1 차선 후보 사이의 거리를 각각 계산하여 생성된 각각의 값을 포함하고, 상기 픽셀 각각에 대한 정보와 이에 대응하는 테스트용 제2 데이터에 대한 정보를 포함하는 테스트용 제2 픽셀 데이터 맵을 생성하거나 타 장치로 하여금 생성하도록 지원하되, 상기 테스트용 제2 데이터에서 선택된 적어도 하나의 메인 서브세트는 상기 다이렉트 리그레션을 이용해 상기 테스트 이미지의 상기 행 방향과 평행한 상기 제2 방향을 따라 상기 픽셀 각각의 상기 위치 각각으로부터 이에 대응하는 가장 근접한 테스트용 제2 차선 후보 사이의 거리를 각각 계산하여 생성된 각각의 값을 포함하는 프로세스; 및 (III) 상기 테스트용 제1 픽셀 데이터 맵 및 상기 테스트용 제2 픽셀 데이터 맵을 인퍼런스(Inference)하여 상기 차선을 검출하거나 타 장치로 하여금 검출하도록 지원하는 프로세스;를 수행하는 프로세서;
를 포함하는 것을 특징으로 하는 장치.
제23 항에 있어서,
상기 테스트용 제1 픽셀 데이터 맵 및 상기 테스트용 제2 픽셀 데이터 맵에서 소정 임계치 미만의 값을 갖는 상기 픽셀의 제1 부분에 대한 정보를 참조로 하여 상기 차선을 검출하는 것을 특징으로 하는 장치.
제23 항에 있어서,
상기 (II) 프로세스에서,
상기 테스트용 세그멘테이션 스코어를 참조로 하여 차선 후보가 없는 특정 행이 적어도 하나 존재한다고 판단될 때, 상기 프로세서가 상기 특정 행 또는 상기 특정 행보다 상부에 존재하는 적어도 하나의 픽셀에는 제1 값을 할당하거나 타 장치로 하여금 할당하도록 지원하고 상기 특정 행의 하부에 존재하는 적어도 하나의 픽셀에는 제2 값을 할당하거나 타 장치로 하여금 할당하도록 지원하여 테스트용 제3 픽셀 데이터 맵을 생성하도록 하고,
상기 (III) 프로세스에서는,
상기 테스트용 제1 픽셀 데이터 맵, 상기 테스트용 제2 픽셀 데이터 맵 및 상기 테스트용 제3 픽셀 데이터 맵을 인퍼런스하여 상기 차선을 검출하는 것을 특징으로 하는 장치.
제25 항에 있어서,
(i) 상기 테스트용 제1 픽셀 데이터 맵 및 상기 테스트용 제2 픽셀 데이터 맵에서 소정 임계치 미만의 값을 갖는 상기 픽셀의 제1 부분과 (ii) 상기 테스트용 제3 픽셀 데이터 맵에서 상기 특정 행의 하부에 존재하는 상기 픽셀의 제2 부분과의 교집합에 대한 정보를 참조하여 상기 차선을 검출하는 것을 특징으로 하는 장치.
제23 항에 있어서,
상기 다이렉트 리그레션(Direct Regression)으로 상기 각각의 거리를 계산하여 생성된 상기 각각의 값은, 상기 픽셀 각각의 상기 위치 각각으로부터 이에 대응하는 가장 근접한 테스트용 제1 차선 후보까지의 상기 제1 방향으로의 픽셀 거리 각각 및 상기 픽셀 각각의 상기 위치 각각으로부터 이에 대응하는 가장 근접한 테스트용 제2 차선 후보까지의 상기 제2 방향으로의 픽셀 거리 각각 중 하나를 나타내는 것을 특징으로 하는 장치.
제23 항에 있어서,
거리에 대한 계산이 필요하지 않는, 상기 테스트용 제1 데이터의 상기 메인 서브세트 외의 상기 테스트용 제1 데이터의 보완적인 서브세트에는 무한대 값이 할당되는 것을 특징으로 하는 장치.