KR20210132496A - 영상 기반 차선 검출 및 주행 차로 인식 방법 및 장치 - Google Patents

영상 기반 차선 검출 및 주행 차로 인식 방법 및 장치 Download PDF

Info

Publication number
KR20210132496A
KR20210132496A KR1020200050966A KR20200050966A KR20210132496A KR 20210132496 A KR20210132496 A KR 20210132496A KR 1020200050966 A KR1020200050966 A KR 1020200050966A KR 20200050966 A KR20200050966 A KR 20200050966A KR 20210132496 A KR20210132496 A KR 20210132496A
Authority
KR
South Korea
Prior art keywords
lane
artificial intelligence
intelligence model
image
lane information
Prior art date
Application number
KR1020200050966A
Other languages
English (en)
Inventor
박민규
윤주홍
이민호
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020200050966A priority Critical patent/KR20210132496A/ko
Priority to US17/137,832 priority patent/US11847837B2/en
Publication of KR20210132496A publication Critical patent/KR20210132496A/ko

Links

Images

Classifications

    • G06K9/00798—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G06K9/48—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

직선이나 곡선 등의 선분 형태가 아닌 면 형태로 표현되는 차선 정보를 학습/예측하는 인공지능 모델을 이용한 영상 기반 차선 검출 방법 및 장치가 제공된다. 본 발명의 실시예에 따른 차선 검출 장치는 차량의 전방 영상을 획득하는 획득부; 및 획득부를 통해 획득되는 영상을 인공지능 모델에 입력하여 도로 상의 차선 정보를 검출하는 프로세서;를 포함하고, 인공지능 모델은, 입력 영상으로부터 면 형태로 표현되는 차선 정보를 검출할 수 있도록 학습된 것일 수 있다.
이에 의해, 직선이나 곡선 등의 선분 형태가 아닌 면 형태로 표현되는 차선 정보를 학습/예측하는 인공지능 모델을 이용하여, 차선 영역과 비차선 영역 간의 극심한 데이터 불균형을 해소할 수 있게 된다.

Description

영상 기반 차선 검출 및 주행 차로 인식 방법 및 장치{Image-based lane detection and ego-lane recognition method and apparatus}
본 발명은 인공지능 관련 기술에 관한 것으로, 더욱 상세하게는 인공지능 모델을 이용하여, 차량의 전방 영상에서 차선을 검출하고 차량의 주행 차로를 인식하기 위한 방법 및 장치에 관한 것이다.
차량의 차선이탈경고(Lande Departure Warning), 차선유지보조시스템(Lane Keeping Assist System), 적응형순항제어(Adaptive Cruise Control)와 같은 자율주행에서의 필수 기능에서 최우선 전제가 되는 것은 차선 검출이다.
인공지능 기술의 발달로 딥러닝을 기반으로 한 차선 검출 알고리즘이 빈번하게 활용되고 있다. 이는 차선에 대한 실측 정보(ground truth)를 곡선 또는 직선 형태로 취득하고, 차선 영역인지 아닌지를 딥러닝 모델에 대해 학습하는 접근 방법을 가진다. 이에 따른 차선 정보 획득 결과를 도 1에 예시하였다.
하지만, 이 방법은 차선 영역 보다 차선이 아닌 비차선 영역에 해당하는 픽셀의 양이 압도적으로 많기 때문에 학습 데이터가 불균형하고, 이에 따라 예측성능이 저하되는 문제가 있다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 직선이나 곡선 등의 선분 형태가 아닌 면 형태로 표현되는 차선 정보를 학습/예측하는 인공지능 모델을 이용한 영상 기반 차선 검출 방법 및 장치를 제공함에 있다.
또한, 본 발명의 다른 목적은, 면 형태로 표현되는 차선 정보를 학습/예측하는 인공지능 모델을 기반으로 차량의 주행 차로를 인식하는 방법 및 장치를 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 차선 검출 장치는 차량의 전방 영상을 획득하는 획득부; 및 획득부를 통해 획득되는 영상을 인공지능 모델에 입력하여 도로 상의 차선 정보를 검출하는 프로세서;를 포함하고, 인공지능 모델은, 입력 영상으로부터 면 형태로 표현되는 차선 정보를 검출할 수 있도록 학습된 것일 수 있다.
인공지능 모델에 의해 검출되는 차선 정보는, 선분 형태로 표현되지 않는 것일 수 있다.
차선 정보는, 차로들의 경계들로 표현되는 것일 수 있다.
인공지능 모델은, 입력 영상의 도로 영역 전부에 대해 차선 정보를 표현하는 것일 수 있다.
인공지능 모델은, 입력 영상에서 특징들을 추출할 수 있도록 학습된 제1 네트워크; 제1 네트워크에 의해 추출된 특징들로부터 차선 정보를 검출할 수 있도록 학습된 제2 네트워크;를 포함할 수 있다.
인공지능 모델은, 검출된 차선들 중 차량의 주행 차로를 인식할 수 있도록 학습된 것일 수 있다.
본 발명에 따른 차선 검출 장치는 제1 네트워크에 의해 추출된 특징들로부터 주행 차로를 인식할 수 있도록 학습된 제3 네트워크;를 더 포함할 수 있다.
인공지능 모델의 역전파 학습에 이용되는 손실 함수는, 입력 영상의 픽셀이 주행 차로인지 아니면 주행 차로의 주변 차로인지 계산하는 함수 및 이웃하는 픽셀이 동일한 라벨을 갖을 가능성이 높아지도록 강제하는 함수를 포함할 수 있다.
인공지능 모델의 역전파 학습에 이용되는 손실 함수는, 차선이 존재하는지 여부를 계산하는 함수를 더 포함할 수 있다.
본 발명의 다른 측면에 따르면, 차량의 전방 영상을 획득하는 단계; 및 획득단계를 통해 획득되는 영상을 인공지능 모델에 입력하여 도로 상의 차선 정보를 검출하는 단계;를 포함하고, 인공지능 모델은, 입력 영상으로부터 면 형태로 표현되는 차선 정보를 검출할 수 있도록 학습된 것을 특징으로 하는 차선 검출 방법이 제공된다.
본 발명의 또다른 측면에 따르면, 차량의 전방 영상을 인공지능 모델에 입력하여 도로 상의 차선 정보를 검출하는 프로세서; 및 프로세서에 의해 검출된 차선 정보를 출력하는 출력부;를 포함하고, 인공지능 모델은, 입력 영상으로부터 면 형태로 표현되는 차선 정보를 검출할 수 있도록 학습된 것을 특징으로 하는 차선 검출 장치가 제공된다.
본 발명의 또다른 측면에 따르면, 차량의 전방 영상을 인공지능 모델에 입력하여 도로 상의 차선 정보를 검출하는 단계; 및 검출 단계에서 검출된 차선 정보를 출력하는 단계;를 포함하고, 인공지능 모델은, 입력 영상으로부터 면 형태로 표현되는 차선 정보를 검출할 수 있도록 학습된 것을 특징으로 하는 차선 검출 방법이 제공된다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 직선이나 곡선 등의 선분 형태가 아닌 면 형태로 표현되는 차선 정보를 학습/예측하는 인공지능 모델을 이용하여, 차선 영역과 비차선 영역 간의 극심한 데이터 불균형을 해소할 수 있게 된다.
이에 의해, 도로 상의 차선 정보 검출과 주행 차로 인식을 높은 성능으로 수행할 수 있게 되며, 차선이 끊겨 있는 경우에도 정확한 차선 검출 및 차로 인식이 가능해진다.
도 1은 종래의 차선 검출 기술의 설명에 제공되는 도면,
도 2는 본 발명의 실시예에 적용가능한 인공지능 모델의 학습 영상의 설명에 제공되는 도면,
도 3은 본 발명의 실시예에 적용가능한 인공지능 모델의 차선 검출 및 주행 차로 인식 결과를 예시한 도면,
도 4는 본 발명의 실시예에 따른 차선 검출 및 주행 차로 인식 장치의 블럭도,
도 5는 본 발명의 실시예에 적용가능한 인공지능 모델의 구조를 도시한 도면,
도 6은 본 발명의 실시예에 따른 방법 및 장치에 따른 차선 검출 및 주행 차로 인식 결과들을 예시한 도면이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
본 발명의 실시예에서는 인공지능 모델을 이용하여, 차량의 전방 영상을 기반으로 도로 상의 차선을 검출함과 동시에 차량의 주행 차로를 인식하는 방법을 제시한다.
전방 영상의 채널에 대한 제한은 없기에, 단채널의 전방 영상은 물론 다채널의 전방 영상으로부터 차선 검출 및 차선 인식이 가능하다. 또한, 검출 가능한 차선의 개수에 대해서도 제한은 없다.
나아가, 인공지능 모델에 대한 제한도 없다. 딥러닝 모델은 물론이고 그 밖의 다른 뉴럴 네트워크, 나아가 다른 종류의 인공지능 모델을 학습시켜 차선 검출 및 차선 인식이 가능하다.
본 발명의 실시예에 적용가능한 인공지능 모델은, 차량 전방 영상으로부터 선분 형태가 아닌 면 형태로 표현되는 차선 정보를 검출/예측할 수 있도록 학습된다.
이를 위해, 본 발명의 실시예에 적용가능한 인공지능 모델은, 도 2의 좌측에 도시된 바와 같이 차선 정보가 선분 형태로 표현된 영상을 도 2의 우측에 도시된 바와 같이 차선 정보가 면 형태, 즉, 차선 정보가 차로들의 경계들로 표현된 영상으로 변환하여, 학습 영상으로 활용한다.
도시된 바를 통해 알 수 있듯이, 이와 같은 형태의 학습 영상에는 차량 전방 영상의 도로 영역 전부에 대해 차선 정보가 표현되어 있게 된다. 따라서, 차선 정보를 선분 형태로 표현한 학습 영상과 같이 차선 영역과 비차선 영역 간 픽셀수의 극심한 불균형에 따른 예측 성능 저하를 막을 수 있다.
본 발명의 실시예에 적용가능한 인공지능 모델은, 차량 전방 영상으로부터 차선 정보를 검출함에 있어, 검출 결과로 차선과 같은 선분 형태가 아닌 차로와 같은 면 형태로 표현되는 차선 정보를 출력하게 된다. 출력되는 차선 정보에 표현된 차로들의 경계들은 차선으로 취급할 수 있다.
나아가, 본 발명의 실시예에 적용가능한 인공지능 모델은 차량의 주행 차로를 인식할 수 있도록 학습된다. 이에 따라, 본 발명의 실시예에 적용가능한 인공지능 모델은 차량의 주행 차로를 인식하여 다른 차로와 다른 색상으로 표현할 수 있다.
도 3에는 본 발명의 실시예에 적용가능한 인공지능 모델로 실제의 차량 전방 영상으로부터 면 형태의 차선 정보를 검출한 결과를 예시하였다.
도 3에 도시된 바와 같이, 본 발명의 실시예에 적용가능한 인공지능 모델은, 입력되는 차량 전방 영상으로부터 차선과 같은 선분 형태가 아닌 차로와 같은 면 형태로 표현되는 차선 정보를 검출함을 알 수 있다. 즉, 차선 정보는 3개의 선분이 아닌 2개의 면(차로)으로 표현되어 있다.
또한, 주행 차로(ego-lane)는 녹색으로 나타내고, 주행 차로의 좌측 차로는 파란색으로 나타내었음을 확인할 수 있다.
전술한 인공지능 모델이 적용된 차선 검출 및 주행 차로 인식 장치의 하드웨어 구성을 도 4에 도시하였다. 도 4는 본 발명의 실시예에 따른 차선 검출 및 주행 차로 인식 장치의 블럭도이다.
본 발명의 실시예에 따른 차선 검출 및 주행 차로 인식 장치는, 도시된 바와 같이, 카메라(110), 프로세서(120), 출력부(130) 및 저장부(140)를 포함하여 구성된다.
카메라(110)는 차량에 부착되어, 차량의 전방을 촬영하여 영상을 생성하는 영상 획득 수단이다. 카메라(110)는 단일 카메라로 구현하여도 무방하지만, 그 밖의 다른 타입의 카메라로 구현하는 것을 배제하지 않는다.
프로세서(120)는 카메라(110)를 통해 획득된 차량 전방 영상을 입력받아 도로 상의 차선을 검출하고 현재 주행 차로를 인식할 수 있도록 학습된 전술한 인공지능 모델을 실행시키는 GPU(Graphic Processing Unit)들과 CPU(Central Processing Unit)들로 구성된다.
출력부(130)는 인공지능 모델에 의한 추정/예측 결과를 도시되지 않은 다른 구성, 이를 테면, 네비게이션, ECU(Elecrtonic Control Unit), 디스플레이, 통신 모듈 등으로 전달하는 수단이다.
저장부(140)는 본 발명의 실시예에 따른 차선 검출 및 주행 차로 인식 장치가 동작함에 있어 필요한 저장 공간을 제공한다.
프로세서(120)에 의해 실행되는 인공지능 모델의 기능에 대해서는 상세히 전술한 바 있다. 도 5에는 이 인공지능 모델의 구조를 도시하였다. 도시된 바와 같이, 인공지능 모델은 인코더 네트워크(210), 잠재 공간(Latent Space)(220), 디코더 네트워크(230) 및 MLP(Multi-Layer Perceptron)(240)를 포함하여 구성된다.
인코더 네트워크(210)는 카메라(110)에 의해 생성된 차량 전방 영상에서 특징(Feature)들을 추출하여 잠재 공간(220)을 구성할 수 있도록 학습된 네트워크이다.
디코더 네트워크(230)는 인코더 네트워크(210)에 의해 구성된 잠재 공간(220)의 특징들로부터 차선 정보를 검출할 수 있도록 학습된 네트워크이다.
MLP(240)는 인코더 네트워크(210)에 의해 구성된 잠재 공간(220)의 특징들로부터 주행 차로 정보를 인식할 수 있도록 학습된 네트워크이다.
인공지능 모델의 구성에 대해서는 필요에 따른 변경이 가능하다. 이를 테면, 주행 차로를 인식할 필요가 없을 경우에는 MLP(240)를 생략하는 것이 가능하고, 학습이 끝난 뒤에 차선 정보 검출 없이 주행 차로 인식만을 수행하고자 하는 경우에는 디코더 네트워크(230)를 생략할 수 있다.
인공지능 모델의 역전파 학습에 이용되는 손실 함수(L)는 다음의 수식과 같이 3개의 서브 함수들(Ldata, Lsmooth, Lexist)로 구성된다. λ1은 두 번째 서브 함수 Lsmooth의 가중치이고, λ2은 세 번째 서브 함수 Lexist의 가중치이다.
L = Ldata + λ1Lsmooth + λ2Lexist
첫 번째 서브 함수 Ldata는 데이터 함수로, 예측된 픽셀이 주행 차로인지 아니면 왼쪽/오른쪽 차로인지를 0 또는 1 값으로 계산하는 손실 함수이다. 본 발명의 실시예에 적용되는 인공지능 모델은 차선 정보가 면 형태의 차로로 표현되므로, 데이터 함수에 의해 면 형태의 실측 정보를 이용하여 손실이 구해진다.
두 번째 서브 함수 Lsmooth는 아래의 수식으로 표현할 수 있는 평탄화 함수로, 이웃하는 픽셀이 동일한 라벨을 갖을 가능성이 높아지도록 강제하는 함수이다.
Figure pat00001
이에 의해 예측 값이 자주 변화하는 것을 막아 일관성 있는 예측 값이 나올 수 있게 된다.
세 번째 서브 함수 Lexist는 차선이 존재하는지 여부를 0 또는 1값으로 계산하는 손실 함수이다. 이를 테면, 인공지능 모델로 인식할 수 있는 최대 차로 개수가 7개인 경우, 2차선까지 존재하면 "1100000"로 계산되고, 5차선까지 존재하면 "1111100"로 계산된다.
위에서 제시한 손실 함수(L)는 예시적인 것으로 변형이 가능하다. 이를 테면, 세 번째 서브 함수 Lexist를 생략하고 다음의 수식과 같이 손실 함수를 정의할 수도 있다.
L = Ldata + λLsmooth
지금까지, 차선 검출 및 주행 차로 인식 방법 및 장치에 대해 바람직한 실시예를 들어 상세히 설명하였다.
본 발명의 실시예에 따른 방법 및 장치에 따른 차선 검출 및 주행 차로 인식 결과들을 도 6에 예시하였다.
위 실시예에서 인공지능 모델을 통해 학습/예측하는 정보로 차선 정보와 주행 차로 정보를 상정하였다. 하지만, 이와 관련한 정보를 더 학습/예측하도록 구현하는 것이 가능하다.
예를 들어, 차선이 점선 타입의 차선인지 아니면 실선 타입의 차선인지 학습/예측하고, 차선이 백색 차선인지 아니면 황색 타입의 차선인지 학습/예측하도록 인공지능 모델을 구현하는 경우에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다.
본 발명의 실시예에 따른 차선 검출 및 주행 차로 인식 방법 및 장치는, 차선이탈경고(Lande Departure Warning), 차선유지보조시스템(Lane Keeping Assist System), 적응형순항제어(Adaptive Cruise Control)를 위해, 운전자보조시스템(Advanced Driver Assistance System) 또는 자율주행시스템(Autonomous Driving System)에 탑재될 수 있다.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110 : 카메라
120 : 프로세서
130 : 출력부
140 : 저장부
210 : 인코더 네트워크
220 : 잠재 공간(Latent Space)
230 : 디코더 네트워크(230)
240 : MLP(Multi-Layer Perceptron)

Claims (12)

  1. 차량의 전방 영상을 획득하는 획득부; 및
    획득부를 통해 획득되는 영상을 인공지능 모델에 입력하여 도로 상의 차선 정보를 검출하는 프로세서;를 포함하고,
    인공지능 모델은,
    입력 영상으로부터 면 형태로 표현되는 차선 정보를 검출할 수 있도록 학습된 것을 특징으로 하는 차선 검출 장치.
  2. 청구항 1에 있어서,
    인공지능 모델에 의해 검출되는 차선 정보는,
    선분 형태로 표현되지 않는 것을 특징으로 하는 차선 검출 장치.
  3. 청구항 2에 있어서,
    차선 정보는,
    차로들의 경계들로 표현되는 것을 특징으로 하는 차선 검출 장치.
  4. 청구항 1에 있어서,
    인공지능 모델은,
    입력 영상의 도로 영역 전부에 대해 차선 정보를 표현하는 것을 특징으로 하는 차선 검출 장치.
  5. 청구항 1에 있어서,
    인공지능 모델은,
    입력 영상에서 특징들을 추출할 수 있도록 학습된 제1 네트워크;
    제1 네트워크에 의해 추출된 특징들로부터 차선 정보를 검출할 수 있도록 학습된 제2 네트워크;를 포함하는 것을 특징으로 하는 차선 검출 장치.
  6. 청구항 5에 있어서,
    인공지능 모델은,
    검출된 차선들 중 차량의 주행 차로를 인식할 수 있도록 학습된 것을 특징으로 하는 차선 검출 장치.
  7. 청구항 6에 있어서,
    제1 네트워크에 의해 추출된 특징들로부터 주행 차로를 인식할 수 있도록 학습된 제3 네트워크;를 더 포함하는 것을 특징으로 하는 차선 검출 장치.
  8. 청구항 6에 있어서,
    인공지능 모델의 역전파 학습에 이용되는 손실 함수는,
    입력 영상의 픽셀이 주행 차로인지 아니면 주행 차로의 주변 차로인지 계산하는 함수 및 이웃하는 픽셀이 동일한 라벨을 갖을 가능성이 높아지도록 강제하는 함수를 포함하는 것을 특징으로 하는 차선 검출 장치.
  9. 청구항 8에 있어서,
    인공지능 모델의 역전파 학습에 이용되는 손실 함수는,
    차선이 존재하는지 여부를 계산하는 함수를 더 포함하는 것을 특징으로 하는 차선 검출 장치.
  10. 차량의 전방 영상을 획득하는 단계; 및
    획득단계를 통해 획득되는 영상을 인공지능 모델에 입력하여 도로 상의 차선 정보를 검출하는 단계;를 포함하고,
    인공지능 모델은,
    입력 영상으로부터 면 형태로 표현되는 차선 정보를 검출할 수 있도록 학습된 것을 특징으로 하는 차선 검출 방법.
  11. 차량의 전방 영상을 인공지능 모델에 입력하여 도로 상의 차선 정보를 검출하는 프로세서; 및
    프로세서에 의해 검출된 차선 정보를 출력하는 출력부;를 포함하고,
    인공지능 모델은,
    입력 영상으로부터 면 형태로 표현되는 차선 정보를 검출할 수 있도록 학습된 것을 특징으로 하는 차선 검출 장치.
  12. 차량의 전방 영상을 인공지능 모델에 입력하여 도로 상의 차선 정보를 검출하는 단계; 및
    검출 단계에서 검출된 차선 정보를 출력하는 단계;를 포함하고,
    인공지능 모델은,
    입력 영상으로부터 면 형태로 표현되는 차선 정보를 검출할 수 있도록 학습된 것을 특징으로 하는 차선 검출 방법.
KR1020200050966A 2020-04-27 2020-04-27 영상 기반 차선 검출 및 주행 차로 인식 방법 및 장치 KR20210132496A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200050966A KR20210132496A (ko) 2020-04-27 2020-04-27 영상 기반 차선 검출 및 주행 차로 인식 방법 및 장치
US17/137,832 US11847837B2 (en) 2020-04-27 2020-12-30 Image-based lane detection and ego-lane recognition method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200050966A KR20210132496A (ko) 2020-04-27 2020-04-27 영상 기반 차선 검출 및 주행 차로 인식 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20210132496A true KR20210132496A (ko) 2021-11-04

Family

ID=78222465

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200050966A KR20210132496A (ko) 2020-04-27 2020-04-27 영상 기반 차선 검출 및 주행 차로 인식 방법 및 장치

Country Status (2)

Country Link
US (1) US11847837B2 (ko)
KR (1) KR20210132496A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230140741A (ko) 2022-03-30 2023-10-10 한국기술교육대학교 산학협력단 적응형 임계값을 활용한 차선인식 장치 및 방법
KR102671285B1 (ko) 2023-11-22 2024-06-03 (주)에스유엠 가상시점 변환 기반 AVM(Around View Monitor) 영상 차선인지 시스템 및 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210132496A (ko) * 2020-04-27 2021-11-04 한국전자기술연구원 영상 기반 차선 검출 및 주행 차로 인식 방법 및 장치

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8537338B1 (en) * 2011-08-24 2013-09-17 Hrl Laboratories, Llc Street curb and median detection using LIDAR data
US10417506B2 (en) * 2015-11-19 2019-09-17 The Regents Of The University Of California Embedded surround vision-based driver assistance for safe zone estimation
US10102434B2 (en) * 2015-12-22 2018-10-16 Omnivision Technologies, Inc. Lane detection system and method
EP3491358A4 (en) * 2016-07-31 2019-07-31 Netradyne, Inc. DETERMINING THE CAUSES OF TRANSPORT EVENTS AND PROMOTING GOOD DRIVING BEHAVIOR
GB201616097D0 (en) * 2016-09-21 2016-11-02 Univ Oxford Innovation Ltd Segmentation of path proposals
WO2019094843A1 (en) * 2017-11-10 2019-05-16 Nvidia Corporation Systems and methods for safe and reliable autonomous vehicles
GB201804082D0 (en) * 2018-03-14 2018-04-25 Five Ai Ltd Image annotation
US10725475B2 (en) * 2018-04-09 2020-07-28 Toyota Jidosha Kabushiki Kaisha Machine learning enhanced vehicle merging
GB201809345D0 (en) * 2018-06-07 2018-07-25 Five Ai Ltd Image segmentation
US20200074233A1 (en) * 2018-09-04 2020-03-05 Luminar Technologies, Inc. Automatically generating training data for a lidar using simulated vehicles in virtual space
CN112714913A (zh) * 2018-09-26 2021-04-27 法弗人工智能有限公司 结构注释
US11630197B2 (en) * 2019-01-04 2023-04-18 Qualcomm Incorporated Determining a motion state of a target object
WO2020163390A1 (en) * 2019-02-05 2020-08-13 Nvidia Corporation Driving lane perception diversity and redundancy in autonomous driving applications
US11003945B2 (en) * 2019-05-22 2021-05-11 Zoox, Inc. Localization using semantically segmented images
US11295161B2 (en) * 2019-05-22 2022-04-05 Zoox, Inc. Localization using semantically segmented images
US10997435B2 (en) * 2019-08-08 2021-05-04 Nvidia Corporation Leveraging obstacle and lane detections to determine lane assignments for objects in an environment
WO2021037350A1 (en) * 2019-08-28 2021-03-04 Toyota Motor Europe Method and system for processing a plurality of images so as to detect lanes on a road
US11798187B2 (en) * 2020-02-12 2023-10-24 Motive Technologies, Inc. Lane detection and distance estimation using single-view geometry
KR20210132496A (ko) * 2020-04-27 2021-11-04 한국전자기술연구원 영상 기반 차선 검출 및 주행 차로 인식 방법 및 장치
JP2022014729A (ja) * 2020-07-07 2022-01-20 株式会社デンソー 悪環境判定装置、悪環境判定方法
DE102021214509A1 (de) * 2021-12-16 2023-06-22 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Steuerung einer abstandsabhängigen Geschwindigkeitsregelanlage

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230140741A (ko) 2022-03-30 2023-10-10 한국기술교육대학교 산학협력단 적응형 임계값을 활용한 차선인식 장치 및 방법
KR102671285B1 (ko) 2023-11-22 2024-06-03 (주)에스유엠 가상시점 변환 기반 AVM(Around View Monitor) 영상 차선인지 시스템 및 방법

Also Published As

Publication number Publication date
US20210334553A1 (en) 2021-10-28
US11847837B2 (en) 2023-12-19

Similar Documents

Publication Publication Date Title
US20200272835A1 (en) Intelligent driving control method, electronic device, and medium
KR20210132496A (ko) 영상 기반 차선 검출 및 주행 차로 인식 방법 및 장치
US10068140B2 (en) System and method for estimating vehicular motion based on monocular video data
KR20190026116A (ko) 객체 인식 방법 및 장치
Levinson et al. Traffic light mapping, localization, and state detection for autonomous vehicles
WO2018085749A1 (en) System and method for learning random-walk label propagation for weakly-supervised semantic segmentation
US11900626B2 (en) Self-supervised 3D keypoint learning for ego-motion estimation
EP3182331A1 (en) Method and system to detect objects using block based histogram of oriented gradients
EP3690731A2 (en) Method and device for attention-driven resource allocation by using reinforcement learning and v2x communication to thereby achieve safety of autonomous driving
US11113563B2 (en) Apparatus for detecting object and method thereof
CN112069879B (zh) 一种目标人物跟随方法、计算机可读存储介质及机器人
EP3428878A1 (en) Image recognition system
CN112654998B (zh) 一种车道线检测方法和装置
JP4937844B2 (ja) 歩行者検出装置
CN113780243A (zh) 行人图像识别模型的训练方法、装置、设备以及存储介质
JP6992099B2 (ja) 情報処理装置、車両、車両の制御方法、プログラム、情報処理サーバ、情報処理方法
JP2023529239A (ja) マルチモーダルエゴセントリック将来予測のためのコンピュータ実装方法
KR20180113294A (ko) 곡률 반경을 이용하여 차선을 검출하는 장치 및 방법
US20220180646A1 (en) Lane detection system and method for a vehicle
EP4332910A1 (en) Behavior detection method, electronic device, and computer readable storage medium
KR101673716B1 (ko) 차량의 주행차선인지 장치 및 방법
KR102426479B1 (ko) 오브젝트 결정 모델을 갱신하는 방법 및 장치
CN113590980B (zh) 训练神经网络的方法、预测轨迹的方法及装置
EP4372312A1 (en) Method and computing system for processing digital map data, and method of providing or updating digital map data of a navigation device
CN111936942B (zh) 用于控制执行器的方法、计算机系统和计算机程序