KR20220150899A

KR20220150899A - 차선 마커 검출

Info

Publication number: KR20220150899A
Application number: KR1020227030109A
Authority: KR
Inventors: 승우 유; 희수 명; 희석 이
Original assignee: 퀄컴 인코포레이티드
Priority date: 2020-03-12
Filing date: 2021-03-12
Publication date: 2022-11-11
Also published as: US20210287018A1; US11600080B2; EP4118568A1; CN115210777A; BR112022017554A2; WO2021183974A1; JP2023517055A

Abstract

본 개시의 특정 양태들은 입력 이미지를 수신하는 단계; 입력 이미지를 차선 마커 검출 모델에 제공하는 단계; 차선 마커 검출 모델의 공유 차선 마커 부분으로 입력 이미지를 처리하는 단계; 복수의 차선 마커 표현을 생성하기 위해 차선 마커 검출 모델의 복수의 차선 마커-특정 표현 레이어로 차선 마커 검출 모델의 공유 차선 마커 부분의 출력을 처리하는 단계; 및 복수의 차선 마커 표현에 기초하여 복수의 차선 마커를 출력하는 단계를 포함하는 차선 마커 검출 방법을 제공한다.

Description

차선 마커 검출

관련 출원들에 대한 상호참조

본 출원은, 2020년 3월 12일자로 출원된 미국 특허 가출원 제 62/988,795호에 대한 혜택 및 우선권을 주장하는, 2021년 3월 12일자로 출원된 미국 특허 출원 제17/200,592호에 대한 우선권을 주장하며, 이들 출원들의 각각의 전체 내용은 참조에 의해 본원에 원용된다.

도입

본 개시의 양태들은 빠르고 견고한 차선 검출을 위한 시스템 및 방법에 관한 것이다.

최신 차량에는, 특히, 지원 및 자율 주행 기능을 위한 차선 검출을 포함될 수 있는 고급 운전자 지원 시스템이 점점 더 많이 장착되고 있다. 차선 검출을 위한 기존 기술은 느리고 상당한 수동 환경 설정이 필요하며, 많은 주행 시나리오에 걸친 견고성이 부족하다. 이렇게 하여, 기존의 차선 검출 시스템은 최신 차량에 적합하지 않다.

따라서, 빠르고 견고한 차선 검출을 제공하는 시스템 및 방법이 필요하다.

발명의 개요

특정 양태들은 하기를 포함하는 차선 마커 검출 방법을 제공한다: 입력 이미지를 수신하는 단계; 입력 이미지를 차선 마커 검출 모델에 제공하는 단계; 차선 마커 검출 모델의 공유 차선 마커 부분으로 입력 이미지를 처리하는 단계; 복수의 차선 마커 표현을 생성하기 위해 차선 마커 검출 모델의 복수의 차선 마커-특정 표현 레이어로 차선 마커 검출 모델의 공유 차선 마커 부분의 출력을 처리하는 단계; 및 복수의 차선 마커 표현에 기초하여 복수의 차선 마커를 출력하는 단계.

다른 양태들은 전술한 방법 및 여기에 설명된 것들을 수행하도록 구성된 처리 시스템; 처리 시스템의 하나 이상의 프로세서에 의해 실행될 때, 처리 시스템으로 하여금 전술한 방법 및 여기에 설명된 것들을 수행하게 하는 명령들을 포함하는 비일시적 컴퓨터 판독 가능 매체; 전술한 방법 및 여기에 추가로 설명된 것들을 수행하기 위한 코드를 포함하는 컴퓨터 판독 가능 저장 매체에 구체화된 컴퓨터 프로그램 제품; 및 전술한 방법 및 여기에 추가로 설명된 것들을 수행하는 수단을 포함하는 처리 시스템을 제공한다.

첨부된 도면은 하나 이상의 양태 중 특정 양태를 도시하고 따라서 본 개시의 범위를 제한하는 것으로 간주되어서는 안된다.
도 1 은 도로 상의 차선 마커의 예를 도시한다.
도 2 는 예시적인 고급 운전자 지원 시스템 또는 자율 주행 시스템의 양태를 도시한다.
도 3 은 예시적인 차선 마커 검출 모델 아키텍처의 양태를 도시한다.
도 4 는 차선 마커 검출 모델에서 레이어를 압축(또는 "스퀴징") 하는 데 사용될 수 있는 수평 축소 모듈의 예를 도시한다.
도 5 는 차선 마커를 검출하기 위한 방법의 예를 도시한다.
도 6 은 본 명세서에 기술된 바와 같이 차선 마커를 검출하도록 구성될 수 있는 처리 시스템의 예를 도시한다.
이해를 용이하게 하기 위하여, 동일한 도면 부호들이, 가능한 경우, 도면들에 공통되는 동일한 요소들을 표기하기 위하여, 사용되었다. 일 양태의 엘리먼트들 및 피처들은 추가 기재없이도 다른 양태들에 유익하게 통합될 수도 있음이 고려된다.

상세한 설명

본 명세서에 개시된 시스템 및 방법은 다양한 애플리케이션에서 빠르고 견고한 차선 검출을 가능하게 한다. 예를 들어, 여기에 개시된 시스템 및 방법은 지원 및 자율 주행 기능을 갖는 차량에서 실시간으로 차선 마커의 정확하고 견고한 위치 파악 (localization) 을 가능하게 할 수 있다.

일반적으로, 차선 마커는 도로 상에 차선이 존재하는 곳와 같은 정보를 전달하는 도로 표면 상의 디바이스 또는 재료이다. 차선 표시의 예는, 몇 가지만 말하자면, 도장된 교통선, 도장된 횡단보도, 도장된 주차 공간, 장애인 주차 공간, 반사 마커, 연석, 홈통, Botts' 도트 및 럼블 스트립을 포함한다.

차선 마커는 자율 차량 내비게이션에 사용될 수 있다. 예를 들어, 차량은 고급 운전자 지원 시스템 (ADAS) 또는 고수준 자율 주행 시스템 (SDS) 을 포함할 수 있다. 이러한 시스템은 대부분 컴퓨터 비전 기술의 동시 개선을 기반으로 널리 채택되고 있다.

차선 마커 검출, 차량 검출 추적, 장애물 검출, 장면 이해 및 의미론적 분할 (semantic segmentation) 과 같은 ADAS 및 SDS 시스템과 관련된 많은 구성 요소가 있지만, 차선 검출은 카메라 인식 및 포지셔닝의 핵심 구성 요소이다. 예를 들어, 차선 검출은 차량을 자기 차선 (차량이 위치한 차선, 주 차선 (host lane) 이라고도 함) 내에 유지하는 데 그리고 차량이 자기 차선의 왼쪽 또는 오른쪽으로 차선을 변경하는 것을 지원하는 데 필요하다.

대부분의 종래의 차선 마커 검출 방법은 2 스테이지 의미론적 분할 접근 방식을 기반으로 한다. 이러한 접근 방식의 첫 번째 스테이지에서, 망은 이미지에 있는 각 픽셀을 차선 또는 차선이 아닌 이진 레이블에 할당하는 픽셀 수준 분류를 수행하도록 설계된다. 그러나, 각 픽셀 분류에서, 픽셀 간의 종속성 또는 구조를 고려하지 않으므로, 검출된 선의 고유성 또는 직선성과 같은 제약을 명시적으로 부과하기 위해 두 번째 스테이지에서 추가 후처리가 수행된다. 후처리는 조건부 랜덤 필드, 추가 망 또는 RANSAC (random sample consensus) 와 같은 정교한 컴퓨터 비전 기술을 사용하여 적용될 수 있지만, 이러한 후처리 기술은 높은 계산적 복잡성을 요구하고 일반적으로 차선 마커 검출 시스템으로의 신중하고 수동의 통합을 필요로 한다. 그래서, 2 스테이지 의미론적 분할 접근 방식은 다양한 애플리케이션에 배치하기 어렵다.

현재 차선 마커 검출 방법의 또 다른 문제는 전력 소비이다. 이미지 스트림에서 각각의 이미지를 처리하려면 많은 컴퓨팅 성능이 필요할 수 있으며, 이는 자동차 컨텍스트에서 항상 사용 가능하거나 실용적이지는 않다. 특히, 전기차의 경우, 온보드 시스템의 소비 전력이 중요한 고려사항이다.

대조적으로, 여기에 설명된 양태는 비용이 많이 드는 후처리 단계 없이 차선 마커 정점 (vertex) 을 직접 예측하는 효율적인 종단간 (end-to-end) 아키텍처에 관한 것이다. 보다 구체적으로, 여기에 설명된 양태에서, 차선 마커 검출 문제는 이미지에서 왼쪽에서 오른쪽으로 퍼지는 차선 마커의 구조적 형상이 단일 모델에서 레이어의 두 서브세트로 모델링되는 행별 분류 작업으로 고려된다. 모델 레이어의 제 1 서브세트는 모든 차선의 공유 표현을 위한 수평 구성 요소를 압축 및 모델링하도록 구성되고, 모델 레이어의 제 2 서브세트는 차선 마커 정점을 직접 출력하기 위해 공유 표현을 기반으로 각 차선을 모델링하도록 구성된다. 일부 양태에서, 타겟 차선 마커 포지션은 argmax 함수에 의해 런타임에 효율적으로 얻어진다.

따라서, 여기에 설명된 양태는 복잡한 후처리 없이 차선 검출을 위한 종래의 접근 방식을 유리하게 개선하여, 사용 중일 때 계산 전력, 계산 시간 및 전력 사용량을 줄인다. 그래서, 여기에 설명된 양태들은 더 많은 애플리케이션 및 컨텍스트에서 유리하게 배치될 수 있다.

도로 상의 차선 마커의 예

도 1 은 도로 (104) 상의 차선 마커 (102) 의 예를 도시한다. 이 예에서, 차선 마커 (102) 는 도로 (104) 상의 도장된 스트립이지만, 다른 예에서 차선 마커는 임의의 종류의 인식 가능한 차선 분할일 수 있다. 차선 마커 (102) 는 차선 마커 검출 시스템에 의해 검출될 수 있고 차량에서 고급 운전자 지원 시스템 및 반자율적 및 자율적 자율 주행 시스템을 위한 차선을 결정하는 데 사용될 수 있다.

전자식 차선 마커 검출 시스템의 예

도 2 는 예시적인 고급 운전자 지원 시스템 또는 자율 주행 시스템 (200) 의 양태를 도시한다. 시스템 (200) 은 매핑 알고리즘(들) (218) 에 의해 제공되는 것과 같은 에지 처리 능력 뿐만 아니라 로컬 센서와 함께 작동하도록 구성될 수 있다.

이 양태에서, 시스템 (200) 은 하나 이상의 카메라 (202), GPS (Global Positioning System) (204), 관성 측정 유닛 (IMU) (206), 센서 동기화 보드 (208), 및 하나 이상의 프로세서 (220) 를 포함한다. 이 예에서, 프로세서(들) (220) 은 센서 드라이버 모듈 (210), 포지셔닝 엔진 (212), 인식 엔진(214), 및 데이터 집계 및 접속성 모듈 (216) 을 포함한다. 프로세서(들) (220) 은 일반적으로 무선 또는 유선 망을 통해 하나 이상의 디바이스와 통신할 수 있다.

일부 양태에서, 카메라(들) (202), GPS 수신기 (204), 및 IMU (206) 와 같은 프론트-엔드 센서는 컨슈머 등급 (consumer-grade) 센서일 수 있다. 센서 동기화 보드 (208) 는 모든 센서의 타임 스탬프를 제어하는 내장형 마이크로컨트롤러를 포함할 수 있다. 일부 양태에서, 센서 동기화 보드 (208) 는 10 마이크로초 미만의 타이밍 에러를 갖는 타임 스탬프들을 생성할 수 있다.

카메라(들) (202), GPS (204), 및 IMU (206) 의 출력은 포지셔닝 엔진(212) 및 인식 엔진 (214) 양자 모두에 공급될 수 있다. 인식 엔진 (214) 은 들어오는 비디오 스트림에서 주요 랜드마크 (예를 들어, 차선 마커) 를 검출하고 이미지 프레임에서 정확하게 이들을 위치 파악하도록 구성된다. 포지셔닝 엔진 (212) 은 GPS 신호, 관성 센서 판독치 및 카메라 비디오 입력을 관련시킴으로써 예를 들어 6 자유도에서 카메라 포즈의 정확한 추정치를 제공하도록 구성된다.

포지셔닝 엔진 (212) 및 인식 엔진 (214) 의 출력은 집계되어 데이터 집계 및 접속성 모듈 (216) 을 통해 클라우드 처리 시스템과 같은 에지 처리 서비스로 전송될 수 있다. 일부 양태에서, 맵핑 알고리즘 (218) 은 글로벌 프레임에서 랜드마크들의 위치 추정치를 생성할 수 있고, 여기서 글로벌 프레임은 전체 맵 또는 맵의 대부분을 포함한다.

차선 마커 검출 모델 아키텍처

종래의 분할 기반 차선 검출 기술과 달리, 여기에 설명된 양태들은 이미지 입력 데이터에서 차선 마커 포지션을 직접 인식한다. 더 구체적으로, 입력 이미지

, (h 는 이미지 데이터의 높이 (예: 픽셀 단위), w 는 이미지 데이터의 너비 (예: 픽셀 단위), 그리고 c 는 이미지에서의 채널 수) 가 주어지면, 목적은 정점

의 차선 마커

세트를 찾는 것이고, 여기서

는 일반적으로 미리 정의된 이미지에서의 차선 수이고, K 는 정점의 총 수이다.

여기에 설명된 방법은 이미지에서 차선 마커의 수평 위치 세트를 찾아 전술한 목적의 복잡성을 줄인다. 구체적으로, 차선 마커에 대한 행별 표현은 이미지를 행으로 나누고 차선 마커 검출 작업을 행별 포지션 분류 문제 또는 회귀 문제로 선택된 손실 함수에 따라, 컨볼루션 신경망을 사용하여, 해결하는 것에 의해 결정된다. 행별 표현에서, 가능한 총 정점 수 K 는 이미지 높이 h 로 제한된다. 일부 양태에서, 망은 아래에서 더 자세히 설명되는 바와 같이 차선의 위치를 식별하기 위해 행별 회귀를 수행할 수 있다.

본 명세서에서 논의된 차선 마커 검출 모델 (예를 들어, 컨볼루션 신경망 모델) 은 3개의 예측을 출력한다: (1) 차선 정점의 수평 위치

; (2) 정점별 존재 신뢰도

및 (3) 차선 마커별 존재 신뢰도

. 이러한 모델 출력으로부터, 각 차선 마커

는 다음 식으로 얻을 수 있다:

(식 1)

여기서

는 차선 마커와 연관된 정점의 세트

이고

및

는 각각 정점별 존재 신뢰도와 차선별 존재 신뢰도의 임계치이다.

도 3은 도 2에서 인지 엔진 (214) 에 의해 구현될 수 있는 것과 같은 예시적인 차선 마커 검출 모델 아키텍처의 양태를 도시한다. 차선 마커 검출 모델은 입력 이미지 데이터 (예를 들어, 이미지 301) 에서 차선 마커의 위치를 예측하도록 훈련된 심층 신경망으로 구성될 수 있으며, 이는 이후 차선 표현 (예를 들어, 출력 이미지 (321) 에서 322) 을 예측하는 데 사용될 수 있다.

다음 논의에서, 차선 표현은 일반적으로 도로 상의 주행 차선의 경계를 나타낼 수 있다. 예를 들어, 차량이 주행하고 있는 현재 또는 자기 차선은 왼쪽과 오른쪽의 차선을 경계 짓는 두 개의 표현 경계를 포함할 수 있다. 유사하게, 현재 차선의 왼쪽 차선은 자신의 두 표현 경계를 포함할 수 있으며, 이는 일부 경우에 공유 경계 표현을 포함할 수 있다. 예를 들어, 현재 차선의 왼쪽 경계 표현은 현재 차선의 왼쪽 차선의 오른쪽 경계 표현을 나타낼 수 있다.

이 예에서, 모델 아키텍처 (300) 는 3개의 인트라 모델 스테이지 (302A-C) 로 구성된다. 제 1 스테이지 (302A) 는 이미지에서 차선 마커의 정보를 인코딩하도록 구성된 인코더-디코더 스타일 분할 망 (304) 을 포함한다. 종래의 이미지 분할과 달리, 이 예에서 인코더-디코더 스타일 분할 망 (304) 은 계산적 복잡성을 유리하게 감소시키기 위해 입력 이미지 (301) 의 공간 해상도의 절반을 복구하도록 구성된다. 다시 말해, 이 예에서 입력 이미지 (301) 는 128 높이 x 512 너비 x 3 채널 (예: 적색, 녹색, 청색) 의 입력 해상도를 포함하고 인코더-디코더 스타일 분할 망 (304) 의 출력은 128 높이 x 256 너비 x 3 채널이다. 특히, 이러한 해상도, 및 도 3에 도시된 다른 해상도는 예시일 뿐이고 다른 것도 가능하다. 또한, 다른 양태는 다른 종류의 신경망 블록을 포함하는 다른 이미지 데이터 압축 기술을 위해 인코더-디코더 망을 생략할 수 있다.

제 2 스테이지 (302B) 는 모든 잠재적인 차선 마커 표현에 의해 공유되는 레이어를 포함하고 공유 축소 레이어로 지칭될 수 있으며, 이는 이 예에서 3개의 레이어 (306, 308, 310) 를 포함한다. 제 2 스테이지 (302B) 에서, 공유 차선 마커 표현의 수평 (h) 차원은 수직 차원을 변경하지 않고서 수평 축소 모듈 (HRM) 을 사용하여 각 연속 레이어에서 점진적으로 압축 (또는 "스퀴징") 된다. 예시적인 HRM 은 도 4에 관하여 설명된다. 이러한 형태의 압축 연산은 예를 들어 각 차선의 최종 피쳐에서 각 열 (너비) 에 하나의 차선 정점만 존재하도록 HRM이 공간 너비 구성 요소를 연속적으로 스퀴징하기 때문에 자연스러운 방식으로 행별 표현으로 이어진다.

제 3 스테이지 (302C) 는 차선-특정 축소 레이어를 포함하고, 이는 이 예에서 레이어 (314, 316, 318, 320) 을 포함한다. 제 3 스테이지 (302C) 에서, 차선-특정 축소 레이어는 316 과 같은 단일 벡터 차선 마커 표현을 생성하기 위해 차선-특정 HRM을 사용하여 차선 마커 표현을 추가로 압축한다.

특히, 스테이지 (302B) 에서의 공유 표현 및 스테이지 (302C) 에서의 차선-특정 표현은 전체 모델의 성능을 조정할 수 있게 한다. 계산적 효율성을 위해, 스테이지 (302B) 에서 차선에 걸쳐 축소 레이어의 제 1 서브세트가 공유된 후, 스테이지 (302C) 에서 차선별 축소 레이어의 제 2 서브세트가 공유된다. 스테이지 (302C) 에서 각 차선 마커 표현에 대해 전용 축소 레이어를 사용하면 각 차선 마커 표현이 서로 다른 고유한 공간 및 형상 특성을 갖기 때문에 전체 모델의 성능이 향상된다. 더 많은 공유 레이어를 사용하면, 추가 계산적 비용을 절약할 수 있지만, 각 차선의 정확도가 떨어질 수 있다. 그래서, 애플리케이션을 위해 성능을 조정할 수 있다.

스테이지 (302C) 는 각 차선-특정 표현

에 대해 두 개의 분기를 포함한다 (이 중 6개는 도 3에서 예로서 표현되어 있음): 최종 압축 레이어 (316) 에 대해 분류 및 신뢰도 회귀를 수행하도록 구성된 행별 정점 위치 분기 (320) 및 정점별 신뢰도 분기 (318). 이 양태에서, 최종 (및 완전히) 압축된 레이어 (316) 는 수직 차원에서만 공간 해상도와 채널 수를 타겟 수평 해상도

(예:

) 에 따라 갖는다. 분류 분기 (320) 는 차선 마커

의 수평 포지션

을 예측하고, 이는 예측된 점점을

로 설정할 수 있다. 신뢰도 (318) 분기는 정점 신뢰도

를 예측하고, 이는 차선 마커의 각 정점

이 존재하는지 여부에 관한 것이다.

마지막으로, 차선 마커 존재 신뢰도 레이어 (312) 는 공유 HRM 후 신뢰도

를 생성한다. 차선 마커 존재는 의미론적 차선 마커 (예: 현재 차선 왼쪽 마커, 현재 차선 오른쪽 마커, 1개 차선 왼쪽 왼쪽 마커, 1개 차선 왼쪽 오른쪽 마커, 1개 차선 오른쪽 왼쪽 마커, 1개 차선 오른쪽 오른쪽 마커 등) 이 이미지 데이터에서 검출되는지 여부에 관한 것이다.

도 4 는 도 3에 논의된 바처럼 레이어를 압축 (또는 "스퀴징") 하는 데 사용될 수 있는 수평 축소 모듈 (400) 의 예를 도시한다.

수평 차선 마커 표현을 효과적으로 압축하기 위해, 잔여 레이어가 수평 축소 모델 (400) 에서 활용된다. 특히,

컨볼루션 (convolution) 을 갖는 수평 평균 풀링 (pooling) 레이어가 수평 구성 요소를 다운샘플링하기 위해 스킵 접속 (402) 에 추가된다. 풀 연산은 더 깊은 레이어가 더 많은 공간 컨텍스트를 수집 (하여 분류를 개선) 하고 컴퓨터의 계산을 줄일 수 있게 하지만, 여전히 픽셀 정밀도를 줄이는 단점이 있다. 따라서,

의 엘리먼트의 수평적 표현을 효과적으로 유지하고 향상시키기 위해, 입력 텐서 (X) 가 잔여 분기 (404) 에서 형상의 텐서

로 재배열된다. 이 연산은 수평 픽셀 언셔플(unshuffle) 레이어로 지칭될 수 있다. 입력 텐서의 표현을 재배열하여, 공간 정보를 채널 차원으로 효율적으로 이동시킬 수 있다.

입력 텐서를 재배열한 후, 증가된 채널 차원성

을 다시 원래 채널 차원

으로 감소시키기 위해 블록 (406) 에서의 컨볼루션 연산이 적용될 수 있고, 이는 계산적 부담을 줄일 뿐만 아니라 픽셀 언셔플 레이어로부터 차선 마커 공간 정보를 효과적으로 압축하는 데 도움이 된다.

다음으로, 잔여 분기 (404) 의 출력은 410 에서 스킵 접속 (402) 과 결합되고, 결합된 결과는 다음으로 이 예에서 ReLU (412) 와 같은 활성화 함수에 제공된다.

차선 마커 간의 구별을 더욱 개선하기 위해, 어텐션 메커니즘 (attention mechanism) 이 SE (Squeeze and Excitation) 블록 (408) 을 통해 추가될 수 있다. SE 블록은 전체 수신 필드에서 정보를 집계하여 결정 프로세스에 글로벌 정보를 포함하는 데 도움이 되며 픽셀 언셔플 레이어에 의해 인코딩된 공간 정보가 있는 채널별 피쳐 응답을 재교정한다.

따라서, 수평 축소 모듈 (400) 은 압축된 수평 표현 출력,

을 생성하기 위해 공간 차선 마커 정보를 유리하게 압축한다.

차선 마커 검출 모델을 위한 훈련 방법의 예

하나의 예에서, 훈련 목적은 다음에 의해 주어지는 총 손실 L 을 최적화하는 것이다:

식 중

및

는 각각 차선 마커 정점 위치, 차선 마커 정점 신뢰도 및 차선 마커별 신뢰도에 대한 손실이고,

및

는 훈련의 미세 조정을 허용하는 마지막 두 손실에 대한 가중치이다.

차선 마커 정점 위치 손실 (

) 에 대해, 차선 마커 검출은 차선 마커의 수평 포지션에 대한 행별 분류로서 공식화되기 때문에, 분류를 위한 모든 손실 함수는, 몇 가지 예를 들자면, 교차 엔트로피, KL (Kullback-Leibler)-발산 (divergence) 및 PL (piecewise-linear probability)-손실을 포함한, 차선 마커 정점 분기를 훈련하는 데 사용할 수 있다.

수직 포지션

에서 차선 마커

에 대한 교차 엔트로피 손실

은

채널을 갖는 그라운드 트루스 (ground truth) 위치

및 예측 로짓 (logit)

을 사용하여 계산될 수 있다.

KL-발산 손실

을 사용하여 차선 마커 정점 위치 분기를 훈련하기 위해, 차선 마커 포지션의 뾰족한 피크의 타겟 분포는

및

를 갖는 라플라스 분포

로 만들 수 있고, 다음으로, 다음을 갖는 추정된 분포

와 비교된다:

및

.

PL 손실의 경우, 차선 마커 포지션 확률은 구분적 선형 확률 분포 (piecewise-linear probability distribution) 로 모델링될 수 있다. 입력 이미지의 경우, 총 차선 마커 정점 위치 손실은

에 의해 주어지고, 여기서

는 차선 마커

가

에서 정점을 갖는 경우 1로 설정하고 그렇지 않은 경우 0 으로 설정하여 그라운드 트루스가 존재하는지 여부를 나타낸다.

차선 마커 정점 신뢰도 손실의 경우, 차선 마커 정점 존재는 이진 분류 문제이므로, 그라운드 트루스 존재

와 차선 마커

의 각각의

위치에서의 단일 스칼라 값 예측 사이 이진 교차 엔트로피 손실

을 사용하여 훈련된다. 전체 이미지에 대한 손실은 다음과 같이 계산된다:

차선 마커 레이블 손실의 경우, 이진 교차 엔트로피 손실

은 차선 마커 레벨 존재 예측을 훈련하기 위해 추가될 수 있다. 손실은 예측된

-차원 벡터 및 그라운드 트루스에서 각 차선

의 존재를 사용하여 계산된다. 그러면 총 손실은

로서 계산된다.

차선 마커 검출 모델을 사용한 추론

추론 시간에, 추정된 정점 포지션은 (예를 들어, 위에서 설명된 것으로부터 처럼) 선택된 손실 함수에 기초하여 예측될 수 있다. 특히, 교차 엔트로피 또는 PL 손실 손실이 사용되는 경우, 차선 마커 정점은 argmax 함수를 사용하여 선택될 수 있다. KL-발산 손실이 대신 사용된다면, 추정된 정점은 softargmax을 사용하여 추출될 수 있다. 각 차선 마커 정점의 존재를 고려하기 위해, 정점 및 차선별 존재 분기의 시그모이드 (sigmoid) 출력을 사용하여 위의 등식 1에 따라 낮은 신뢰도 포지션을 거부할 수 있다.

차선 마커를 검출하기 위한 방법의 예

도 5 는 차선 마커를 검출하기 위한 방법 (500) 의 예를 도시한다.

방법 (500) 은 단계 (502) 에서 시작하여 입력 이미지를 수신한다. 일부 예에서, 입력 이미지는, 도 3에 관하여 설명된 것과 같은, h 수직 픽셀, w 수평 픽셀, 및 c 채널을 포함한다. 입력 이미지는 일반적으로 정지 이미지, 비디오 스트림 내 이미지 스트림의 이미지 또는 프레임 등일 수 있다.

다음으로, 방법 (500) 은 단계 (504) 로 진행하여 도 3에 관하여 위에서 설명된 모델과 같은 차선 마커 검출 모델에 입력 이미지를 제공한다.

다음으로, 방법 (500) 은 단계 (506) 로 진행하여 도 3에서 302B 에 관하여 위에서 설명된 것과 같은 차선 마커 검출 모델의 공유 차선 마커 부분으로 입력 이미지를 처리한다. 일부 경우에, 차선 마커 검출 모델의 공유 차선 마커 부분으로 입력 이미지를 처리하는 것은 차선 마커 검출 모델의 복수의 공유 차선 마커 표현 레이어를 통해 입력 이미지를 처리하는 것을 포함한다.

다음으로 방법 (500) 는 단계 (508) 로 진행하여 도 3 에서 302C 에 관하여 위에서 설명된 것과 같은 복수의 차선 마커 표현을 생성하기 위해 차선 마커 검출 모델의 복수의 차선 마커-특정 표현 레이어로 차선 마커 검출 모델의 공유 차선 마커 부분의 출력을 처리한다. 일부 양태에서, 각각의 차선 마커-특정 표현 레이어는 복수의 차선 마커 표현들 중 하나의 차선 마커 표현과 연관되고, 각각의 차선 마커 표현은 복수의 차선 마커-특정 표현 레이어들의 서브세트와 연관될 수 있다.

다음으로 방법 (500) 은 단계 (510) 로 진행하여 복수의 차선 마커 표현에 기초하여 복수의 차선 마커를 출력한다.

방법 (500) 의 일부 양태에서, 복수의 차선 마커 (예를 들어,

) 를 출력하는 것은 복수의 차선 마커의 각각의 차선 마커에 대해 다음을 포함한다: 차선 마커 검출 모델의 제 1 출력 레이어를 사용하여 차선 정점 (예를 들어,

) 의 수평 위치를 예측하는 것; 차선 마커 검출 모델의 제 2 출력 레이어를 사용하여 정점별 존재 신뢰도 (예를 들어,

) 를 예측하는 것; 및 차선 마커 검출 모델의 제 3 출력 레이어를 사용하여 차선 마커별 존재 신뢰도 (예를 들어,

) 를 예측하는 것.

방법 (500) 의 일부 양태에서, 복수의 차선 마커를 출력하는 것은 하기 표현을 사용하여 각각의 차선 마커

를 예측하는 것을 더 포함한다:

여기서

는 각각의 차선 마커

와 연관된 정점의 세트

이다.

일부 양태에서, 방법 (500) 은 인코더-디코더 분할 망을 사용하여 입력 이미지를 압축하는 것을 더 포함한다.

방법 (500) 의 일부 양태에서, 각각의 저마다의 차선 마커-특정 표현에 대한 최종 차선 마커-특정 표현 레이어는 h 수직 픽셀, 1 수평 픽셀, 및 c 채널의 크기를 포함한다.

일부 양태에서, 방법 (500) 은 도 3 및 도 4에 관하여 위에서 설명된 것과 같은, 차선 마커 검출 모델의 공유 차선 마커 부분에서 입력 데이터를 압축하기 위해 하나 이상의 수평 축소 모듈들을 사용하는 것을 더 포함한다.

일부 양태에서, 방법 (500) 은 도 3 및 도 4에 관하여 위에서 설명된 것과 같은, 차선 마커 검출 모델의 복수의 차선 마커 특정 표현 레이어에서 입력 데이터를 압축하기 위해 하나 이상의 추가 수평 축소 모듈들을 사용하는 것을 더 포함한다.

일부 양태에서, 방법 (500) 은 도 3에 도시된 것 (예: 322) 와 같은 복수의 차선 표현들을 출력 이미지 상에 표시하는 것을 더 포함한다.

방법 (500) 은 하나의 예시적인 방법이고 다른 것도 가능하다는 점에 유의한다. 특히, 다른 예는 여기에 설명된 다양한 양태와 일치하는 방법 (500) 과 비교하여 더 적은 수의, 추가의 및/또는 대안적인 단계를 포함할 수 있다.

처리 시스템 예

도 6 은, 예를 들어, 도 5 의 방법 (500) 에 관하여, 본 명세서에 기술된 바와 같이 차선 마커를 검출하도록 구성될 수 있는 처리 시스템 (600) 의 예를 도시한다.

처리 시스템 (600) 은 일부 예에서 멀티 코어 CPU일 수 있는 중앙 처리 유닛 (CPU) (602) 를 포함한다. CPU (602) 에서 실행되는 명령들은 예를 들어 CPU (602) 와 연관된 프로그램 메모리로부터 로딩될 수도 있거나, 또는 메모리 파티션 (624) 으로부터 로딩될 수도 있다.

처리 시스템 (600) 은 또한 그래픽 처리 유닛 (GPU) (604), 디지털 신호 프로세서 (DSP) (606), 신경 처리 유닛 (NPU) (608), 멀티미디어 처리 유닛(610), 및 무선 접속성 구성 요소 (612) 와 같은 특정 기능에 맞춰진 추가 처리 구성 요소를 포함한다. 일부 예에서, CPU (602), GPU (604), DSP (606), 및 NPU(608) 중 하나 이상은 도 2 의 프로세서 (202) 로서 작용할 수 있다.

608 과 같은 NPU 는 일반적으로 인공 신경망 (ANN), 심층 신경망 (DNN), 랜덤 포레스트 (RF) 등과 같은 기계 학습 알고리즘을 실행하기 위한 모든 필요한 제어 및 산술 로직을 구현하도록 구성된 전문적인 회로이다. NPU 는 때때로 대안적으로 신경 신호 프로세서 (NSP), 텐서 처리 유닛 (TPU), 신경망 프로세서 (NNP), 지능 처리 유닛 (IPU), 비전 처리 유닛 (VPU) 또는 그래프 처리 유닛으로 지칭될 수 있다.

608 과 같은 NPU는 이미지 분류, 기계 번역, 객체 검출 및 기타 다양한 예측 모델과 같은 일반적인 기계 학습 작업의 성능을 가속화하도록 구성된다. 일부 예에서, 복수의 NPU는 SoC (system on chip) 와 같은 단일 칩에서 인스턴스화될 수 있는 반면, 다른 예에서는 전용 신경망 가속기의 일부일 수 있다.

NPU 는 훈련 또는 추론에 최적화되거나 또는 일부 경우에 둘 사이의 성능을 균형잡도록 구성될 수 있다. 훈련과 추론 양자 모두를 수행할 수 있는 NPU의 경우, 두 작업은 여전히 일반적으로 독립적으로 수행될 수 있다.

훈련을 가속화하도록 설계된 NPU 는 일반적으로, 새로운 모델의 최적화를 가속화하도록 구성되고, 이는 기존 데이터 세트 (종종 레이블화 또는 태그화됨) 를 입력하고, 데이터 세트에 대해 반복한 다음, 모델 성능을 향상시키기 위해 가중치 (weight) 와 바이어스 (bias) 와 같은 모델 파라미터를 조정하는 것을 수반하는 고도로 계산 집약적인 작업이다. 일반적으로, 잘못된 예측을 기반으로 하는 최적화에는 모델의 레이어를 통해 다시 전파하고 예측 에러를 줄이기 위해 기울기를 결정하는 것을 수반한다. 일부 실시형태에서, NPU (608) 는 도 3 의 모델 아키텍처 (300) 의 다양한 양태를 훈련하도록 구성될 수 있다.

추론을 가속화하도록 설계된 NPU는 일반적으로 완전한 모델 상에서 작동하도록 구성된다. 따라서 이러한 NPU 는 새로운 데이터 조각을 입력하고 이를 이미 훈련된 모델을 통해 빠르게 처리하여 모델 출력 (예: 추론) 을 생성하도록 구성될 수 있다. 일부 실시형태에서, NPU (608) 는 도 3 의 모델 아키텍처 (300) 의 다양한 양태를 처리하도록 구성될 수 있다.

일 구현에서, NPU (608) 는 CPU (602), GPU (604), 및/또는 DSP (606) 중 하나 이상의 일부이다.

일부 실시예에서, 무선 접속성 구성 요소 (612) 은 예를 들어, 3세대(3G) 접속성, 4세대(4G) 접속성(예를 들어, 4G LTE), 5세대 접속성(예를 들어, 5G 또는 NR), Wi-Fi 접속성, Bluetooth 접속성 및 기타 무선 데이터 송신 표준을 위한 하위 구성 요소를 포함할 수 있다. 무선 접속성 처리 구성 요소 (612) 는 하나 이상의 안테나 (614) 에 추가로 접속된다.

처리 시스템 (600) 은 또한 임의의 방식의 센서와 연관된 하나 이상의 센서 프로세서 (616), 임의의 방식의 이미지 센서와 연관된 하나 이상의 이미지 신호 프로세서 (ISP) (618), 및/또는 위성 기반 포지셔닝 시스템 구성 요소 (예: GPS 또는 GLONASS) 및 관성 포지셔닝 시스템 구성 요소를 포함할 수 있는 내비게이션 프로세서 (620) 를 포함할 수 있다. 일부 예에서, 센서 (616) 는 도 2의 카메라 (202) 및 IMU (206) 를 포함할 수 있다. 일부 예에서, 내비게이션 프로세서 (620) 는 도 2 의 GPS (204) 를 포함할 수 있다.

처리 시스템 (600) 은 또한 스크린, 터치 감지 표면 (터치 감지 디스플레이 포함), 물리적 버튼, 스피커, 마이크로폰 등과 같은 하나 이상의 입력 및/또는 출력 디바이스 (622) 를 포함할 수 있다.

일부 실시예에서, 처리 시스템 (600) 의 프로세서 중 하나 이상은 ARM 또는 RISC-V 명령 세트에 기초할 수 있다.

처리 시스템 (600) 은 또한 동적 랜덤 액세스 메모리, 플래시 기반 정적 메모리 등과 같은 하나 이상의 정적 및/또는 동적 메모리를 나타내는 메모리 (624) 를 포함한다. 이 예에서, 메모리 (624) 는 처리 시스템 (600) 의 전술한 프로세서들 중 하나 이상에 의해 실행될 수 있는 컴퓨터 실행 가능 구성 요소를 포함한다.

이 예에서 메모리 (624) 는 다음을 포함한다 (예를 들어, 차선 마커 검출 모델에 의해 처리될 입력 데이터를 수신하기 위한) 수신 구성 요소 (624A), (예를 들어, 여기에 설명된 차선 마커 검출 모델의 다양한 양태를 처리하기 위한) 처리 구성 요소 (624B), (예를 들어, 수평 축소 모듈에 의한 것과 같은 데이터 압축을 위한) 압축 구성 요소 (624C), (예를 들어, 여기에 설명된 차선 마커 검출 모델의 다양한 출력과 같은) 예측 (또는 출력) 구성 요소(624D), (예를 들어, 차선 마커 검출 모델을 훈련하기 위한) 훈련 구성 요소 (624E), 추론 구성 요소 (624F), (예를 들어, 입력 데이터를 인코딩하기 위한) 인코딩 구성 요소 (624G), (예를 들어, 인코딩된 데이터를 디코딩하기 위한) 디코딩 구성 요소 (624H), (예를 들어, 차선 마커 및 기타 정보를 표시하기 위한) 표시 구성 요소 (624I), 및 (예를 들어, 여기에 기재된 바와 같은 차선 마커 검출 모델을 위한 파라미터를 포함하는) 모델 파라미터 (624J). 도시된 구성 요소 및 도시되지 않은 다른 것들은 여기에 설명된 방법의 다양한 양태를 수행하도록 구성될 수 있다.

예를 들어, 수신 구성 요소 (624A) 는 입력 이미지 데이터와 같은 입력 데이터를 수신하도록 구성될 수 있다.

특히, 다른 실시형태에서, 처리 시스템 (600) 이 서버 컴퓨터 등인 경우와 같은, 처리 시스템 (600) 의 양태는 생략될 수 있다. 예를 들어, 멀티미디어 구성 요소 (610), 무선 접속성 (612), 센서 (616), ISP (618), 및/또는 내비게이션 구성 요소 (620) 는 다른 실시형태에서 생략될 수 있다. 또한, 처리 시스템 (600) 의 양태들은 분산될 수 있다.

도 6 은 단지 하나의 예이고, 다른 예에서, 더 적은 수의, 추가의 및/또는 대안적인 구성 요소를 갖는 대안의 처리 시스템이 사용될 수도 있다.

실시예 조항

구현 실시예들이 다음의 넘버링된 조항들에 기재된다:

조항 1: 방법으로서, 다음을 포함하는 방법: 입력 이미지를 수신하는 단계; 입력 이미지를 차선 마커 검출 모델에 제공하는 단계; 차선 마커 검출 모델의 공유 차선 마커 부분으로 입력 이미지를 처리하는 단계; 복수의 차선 마커 표현을 생성하기 위해 차선 마커 검출 모델의 복수의 차선 마커-특정 표현 레이어로 차선 마커 검출 모델의 공유 차선 마커 부분의 출력을 처리하는 단계; 및 복수의 차선 마커 표현에 기초하여 복수의 차선 마커를 출력하는 단계.

조항 2: 조항 1에 있어서, 차선 마커 검출 모델의 공유 차선 마커 부분으로 입력 이미지를 처리하는 단계는 차선 마커 검출 모델의 복수의 공유 차선 마커 표현 레이어를 통해 입력 이미지를 처리하는 단계를 포함한다.

조항 3: 제 1 항 또는 제 2 항에 있어서, 상기 복수의 차선 마커를 출력하는 단계는 상기 복수의 차선 마커 중 각각의 차선 마커에 대해, 하기를 포함한다: 차선 마커 검출 모델의 제 1 출력 레이어를 사용하여 차선 정점의 수평 위치를 예측하는 단계; 차선 마커 검출 모델의 제 2 출력 레이어를 사용하여 정점별 존재 신뢰도를 예측하는 단계; 및 차선 마커 검출 모델의 제 3 출력 레이어를 사용하여 차선 마커별 존재 신뢰도를 예측하는 단계.

조항 4: 조항 3에 있어서, 복수의 차선 마커

를 예측하는 단계는

에 따라 각각의 차선 마커

를 예측하는 단계를 더 포함하고, 여기서

는 각각의 차선 마커

와 연관된 정점의 세트

이고,

는 정점별 존재 신뢰도이고,

는 차선별 존재 신뢰도 임계치이다.

조항 5: 제 1 항 내지 제 4 항 중 어느 한 항에 있어서, 인코더-디코더 분할 망을 사용하여 입력 이미지를 압축하는 단계를 더 포함한다.

조항 6: 제 1 항 내지 제 5 항 중 어느 한 항에 있어서, 각각의 개별 차선 마커-특정 표현에 대한 최종 차선 마커-특정 표현 레이어는 h 수직 픽셀, 1 수평 픽셀, 및 c 채널의 크기를 포함한다.

조항 7: 제 1 항 내지 제 6 항 중 어느 한 항에 있어서, 차선 마커 검출 모델의 공유 차선 마커 부분에서 입력 데이터를 압축하기 위해 하나 이상의 수평 축소 모듈을 사용하는 단계를 더 포함한다.

조항 8: 조항 7에 있어서, 차선 마커 검출 모델의 복수의 차선 마커 특정 표현 레이어에서 입력 데이터를 압축하기 위해 하나 이상의 추가 수평 축소 모듈을 사용하는 단계를 더 포함한다.

조항 9: 제 1 항 내지 제 7 항 중 어느 한 항에 있어서, 복수의 차선 표현을 출력 이미지 상에 표시하는 단계를 더 포함한다.

조항 10: 차선 마커 검출 모델을 훈련하는 방법으로서,

에 의해 주어진 총 손실 L 을 최소화하는 단계를 포함하고,

은 차선 마커 정점 위치 손실 구성 요소이고,

는 차선 마커 정점 신뢰도 손실 구성 요소이고,

는 차선 마커별 신뢰도 손실 구성 요소이고,

는 제 1 손실 조정 파라미터이고,

는 제 2 손실 조정 파라미터이다.

조항 11: 처리 시스템으로서, 컴퓨터 실행가능 명령을 포함하는 메모리; 컴퓨터 실행 가능 명령을 실행하고 처리 시스템으로 하여금 제 10 항 중 어느 하나에 따른 방법을 수행하게 하도록 구성된 하나 이상의 프로세서를 포함하는, 처리 시스템.

조항 12: 제 1 항 내지 제 10 항 중 어느 한 항에 따른 방법을 수행하는 수단을 포함하는, 처리 시스템.

조항 13: 처리 시스템의 하나 이상의 프로세서에 의해 실행될 때, 처리 시스템으로 하여금 제 1 항 내지 제 10 항 중 어느 한 항에 따른 방법을 수행하게 하는 컴퓨터 실행 가능 명령들을 포함하는 비일시적 컴퓨터 판독 가능 매체.

조항 14: 제 1 항 내지 제 10 항 중 어느 한 항에 따른 방법을 수행하기 위한 코드를 포함하는 컴퓨터 판독가능 저장 매체 상에 구체화된 컴퓨터 프로그램 제품.

추가적인 고려사항들

이전의 설명은 당업자가 본 명세서에서 설명된 다양한 양태들을 실시하는 것을 가능하게 하기 위해 제공된다. 여기에 논의된 예들은 청구항들에 기재된 범위, 적용가능성, 또는 양태들을 한정하는 것은 아니다. 이들 양태들에 대한 다양한 수정들이 당업자에게 쉽게 분명해질 것이고, 본원에 정의된 일반 원리들은 다른 양태들에 적용될 수도 있다. 예를 들어, 본 개시의 범위로부터 벗어나지 않으면서 논의된 엘리먼트들의 기능 및 배열에서 변경들이 이루어질 수도 있다. 다양한 예들은 다양한 절차들 또는 구성 요소들을 적절하게 생략, 치환, 또는 부가할 수도 있다. 예를 들어, 설명된 방법들은 설명된 것과 상이한 순서로 수행될 수도 있으며, 다양한 단계들이 부가, 생략, 또는 결합될 수도 있다. 또한, 일부 예들에 관하여 설명된 특징들은 기타 예들에서 결합될 수도 있다. 예를 들어, 본 명세서에 기술된 임의의 수의 양태들을 이용하여 장치가 구현될 수도 있거나 또는 방법이 실시될 수도 있다. 또한, 본 개시의 범위는 여기에 제시된 본 개시의 다양한 양태들 외에 또는 이에 추가하여 다른 구조, 기능성, 또는 구조 및 기능성을 이용하여 실시되는 그러한 장치 또는 방법을 커버하도록 의도된다. 본 명세서에 개시된 본 개시의 임의의 양태는 청구항의 하나 이상의 엘리먼트에 의해 구체화될 수도 있다는 것이 이해되어야 한다.

본 명세서에서 사용된 바와 같이, 단어 "예시적인" 은 예, 예증, 또는 예시로서 작용함을 의미하도록 사용된다. 본 명세서에서 "예시적인" 으로서 설명된 임의의 양태가 반드시 다른 양태들에 비해 유리하거나 또는 바람직한 것으로서 해석되어야 하는 것은 아니다.

본원에 사용된, 항목들의 리스트 "중 적어도 하나" 를 나타내는 어구는, 단일 멤버들을 포함한 그러한 아이템들의 임의의 조합을 나타낸다. 예로서, "a, b, 또는 c 중 적어도 하나" 는 a, b, c, a-b, a-c, b-c, 및 a-b-c 뿐만 아니라 동일한 엘리먼트의 배수들과의 임의의 조합 (예컨대, a-a, a-a-a, a-a-b, a-a-c, a-b-b, a-c-c, b-b, b-b-b, b-b-c, c-c, 및 c-c-c 또는 a, b, 및 c 의 임의의 다른 순서화) 을 커버하도록 의도된다.

본 명세서에서 사용된 바와 같이, 용어 "결정하는 것" 은 광범위하게 다양한 행위들을 포괄한다. 예를 들어, "결정하는 것" 은 계산하는 것, 컴퓨팅하는 것, 처리하는 것, 도출하는 것, 조사하는 것, 룩업하는 것 (예를 들어, 테이블, 데이터베이스 또는 다른 데이터 구조에서 룩업하는 것), 확인하는 것 등을 포함할 수도 있다. 또한, "결정하는 것" 은 수신하는 것 (예를 들어, 정보를 수신하는 것), 액세스하는 것 (예를 들어, 메모리 내의 데이터에 액세스하는 것) 등을 포함할 수도 있다. 또한, "결정하는 것" 은 해결하는 것, 선택하는 것, 선정하는 것, 확립하는 것 등을 포함할 수도 있다.

본 명세서에 개시된 방법들은 그 방법들을 달성하기 위한 하나 이상의 단계 또는 행위들을 포함한다. 그 방법 단계들 및/또는 행위들은 청구항들의 범위로부터 일탈함 없이 서로 교환될 수도 있다. 즉, 단계들 또는 행위들의 특정 순서가 명시되지 않으면, 특정 단계들 및/또는 행위들의 순서 및/또는 사용은 청구항들의 범위로부터 벗어나지 않으면서 수정될 수도 있다. 또한, 위에 설명된 다양한 방법 동작들은 대응하는 기능들을 수행 가능한 임의의 적합한 수단에 의해 수행될 수도 있다. 그 수단은, 회로, 주문형 집적 회로 (ASIC), 또는 프로세서를 포함하지만 이들에 제한되지는 않는 다양한 하드웨어 및/또는 소프트웨어 구성 요소(들) 및/또는 모듈(들)을 포함할 수도 있다. 일반적으로, 도면들에 예시된 동작들이 있는 경우에, 그 동작들은 유사한 넘버링을 가진 대응하는 상대의 기능식 (means-plus-function) 구성 요소들을 가질 수도 있다.

다음의 청구항들은 본 명세서에 나타낸 양태들에 제한되도록 의도되지 않으며, 청구항들의 표현과 일치하는 전체 범위가 수여되어야 한다. 청구항 내에서, 단수의 엘리먼트에 대한 언급은 특별히 그렇게 언급되지 않는 한 "하나 및 하나만" 을 의미하는 것이 아니라 오히려 "하나 이상" 을 의미하는 것으로 의도된다. 특별히 달리 언급되지 않으면, 용어 "일부"는 하나 이상을 나타낸다. 어떠한 청구항 엘리트도 구절 "하는 수단" 을 사용하여 명시적으로 기재되지 않으면, 또는 방법 청구항의 경우, 그 엘리먼트가 구절 "하는 단계" 를 사용하여 기재되지 않으면, 35 U.S.C.§112(f) 의 규정 하에서 해석되지 않아야 한다. 당업자에게 공지되거나 나중에 공지되게 될 본 개시 전반에 걸쳐 설명된 다양한 양태들의 엘리먼트들에 대한 모든 구조적 및 기능적 균등물들은 참조에 의해 본 명세서에 명시적으로 원용되며 청구항들에 의해 포괄되는 것으로 의도된다. 더욱이, 본 명세서에 개시된 어떤 것도, 그러한 개시가 청구항들에 명시적으로 기재되는지 여부에 상관 없이, 공중에 바쳐지는 것으로 의도되지 않는다.

Claims

입력 이미지를 수신하는 단계;
상기 입력 이미지를 차선 마커 검출 모델에 제공하는 단계;
상기 차선 마커 검출 모델의 공유 차선 마커 부분으로 상기 입력 이미지를 처리하는 단계;
복수의 차선 마커 표현들을 생성하기 위해 상기 차선 마커 검출 모델의 복수의 차선 마커-특정 표현 레이어들로 상기 차선 마커 검출 모델의 상기 공유 차선 마커 부분의 출력을 처리하는 단계; 및
상기 복수의 차선 마커 표현들에 기초하여 복수의 차선 마커들을 출력하는 단계
를 포함하는, 방법.
제 1 항에 있어서,
상기 차선 마커 검출 모델의 상기 공유 차선 마커 부분으로 상기 입력 이미지를 처리하는 단계는 상기 차선 마커 검출 모델의 복수의 공유 차선 마커 표현 레이어들을 통해 상기 입력 이미지를 처리하는 단계를 포함하는, 방법.
제 1 항에 있어서,
상기 복수의 차선 마커들을 출력하는 단계는 상기 복수의 차선 마커들 중 각각의 차선 마커에 대해,
상기 차선 마커 검출 모델의 제 1 출력 레이어를 사용하여 차선 정점의 수평 위치를 예측하는 단계;
상기 차선 마커 검출 모델의 제 2 출력 레이어를 사용하여 정점별 존재 신뢰도를 예측하는 단계; 및
상기 차선 마커 검출 모델의 제 3 출력 레이어를 사용하여 차선 마커별 존재 신뢰도를 예측하는 단계
를 포함하는, 방법.
제 3 항에 있어서,
상기 복수의 차선 마커를 출력하는 단계는

에 따라 각각의 차선 마커
를 예측하는 단계를 더 포함하고:, 식 중
는 각각의 차선 마커
와 연관된 정점의 세트
이고
는 정점별 존재 신뢰도이고,
는 차선별 존재 신뢰도 임계치인, 방법.
제 1 항에 있어서,
인코더-디코더 분할 망을 사용하여 상기 입력 이미지를 압축하는 단계를 더 포함하는, 방법.
제 1 항에 있어서,
각각의 개별 차선 마커-특정 표현에 대한 최종 차선 마커-특정 표현 레이어는 h 수직 픽셀, 1 수평 픽셀, 및 c 채널의 크기를 포함하는, 방법.
제 1 항에 있어서,
상기 차선 마커 검출 모델의 상기 공유 차선 마커 부분에서 입력 데이터를 압축하기 위해 하나 이상의 수평 축소 모듈들을 사용하는 단계를 더 포함하는, 방법.
제 7 항에 있어서,
상기 차선 마커 검출 모델의 상기 복수의 차선 마커 특정 표현 레이어들에서 입력 데이터를 압축하기 위해 하나 이상의 추가 수평 축소 모듈들을 사용하는 단계를 더 포함하는, 방법.
제 1 항에 있어서,
복수의 차선 표현들을 출력 이미지 상에 표시하는 단계를 더 포함하는, 방법.
처리 시스템으로서,
컴퓨터 실행가능 명령들을 포함하는 메모리; 및
하나 이상의 프로세서들을 포함하고,
상기 하나 이상의 프로세서들은 상기 컴퓨터 실행가능 명령들을 실행하고 상기 처리 시스템으로 하여금
입력 이미지를 수신하게 하고;
상기 입력 이미지를 차선 마커 검출 모델에 제공하게 하고;
상기 차선 마커 검출 모델의 공유 차선 마커 부분으로 상기 입력 이미지를 처리하게 하고;
복수의 차선 마커 표현들을 생성하기 위해 상기 차선 마커 검출 모델의 복수의 차선 마커-특정 표현 레이어들로 상기 차선 마커 검출 모델의 상기 공유 차선 마커 부분의 출력을 처리하게 하고;
상기 복수의 차선 마커 표현들에 기초하여 복수의 차선 마커들을 출력하게 하도록 구성된, 처리 시스템.
제 10 항에 있어서,
상기 차선 마커 검출 모델의 상기 공유 차선 마커 부분으로 상기 입력 이미지를 처리하기 위해, 상기 하나 이상의 프로세서들은 또한, 상기 처리 시스템으로 하여금, 상기 차선 마커 검출 모델의 복수의 공유 차선 마커 표현 레이어들을 통해 상기 입력 이미지를 처리하게 하도록 구성된, 처리 시스템.
제 10 항에 있어서,
상기 복수의 차선 마커들을 출력하기 위해, 상기 하나 이상의 프로세서들은 또한, 상기 처리 시스템으로 하여금 상기 복수의 차선 마커들의 각각의 차선 마커에 대해:
상기 차선 마커 검출 모델의 제 1 출력 레이어를 사용하여 차선 정점의 수평 위치를 예측하게 하고;
상기 차선 마커 검출 모델의 제 2 출력 레이어를 사용하여 정점별 존재 신뢰도를 예측하게 하고;
상기 차선 마커 검출 모델의 제 3 출력 레이어를 사용하여 차선 마커별 존재 신뢰도를 예측하게 하도록 구성된, 처리 시스템.
제 12 항에 있어서,
상기 복수의 차선 마커들을 출력하는 것은

에 따라 각각의 차선 마커
를 예측하는 것을 더 포함하고:, 식 중
는 각각의 차선 마커
와 연관된 정점의 세트
이고
는 정점별 존재 신뢰도이고,
는 차선별 존재 신뢰도 임계치인, 처리 시스템.
제 10 항에 있어서,
상기 하나 이상의 프로세서들은 또한 상기 처리 시스템으로 하여금 인코더-디코더 분할 망을 사용하여 상기 입력 이미지를 압축하게 하도록 구성된, 처리 시스템.
제 10 항에 있어서,
각각의 개별 차선 마커-특정 표현에 대한 최종 차선 마커-특정 표현 레이어는 h 수직 픽셀, 1 수평 픽셀, 및 c 채널의 크기를 포함하는, 처리 시스템.
제 10 항에 있어서,
상기 하나 이상의 프로세서들은 또한, 상기 처리 시스템으로 하여금, 상기 차선 마커 검출 모델의 공유 차선 마커 부분에서 입력 데이터를 압축하기 위해 하나 이상의 수평 축소 모듈들을 사용하게 하도록 구성된, 처리 시스템.
제 16 항에 있어서,
상기 하나 이상의 프로세서들은 또한, 상기 처리 시스템으로 하여금, 상기 차선 마커 검출 모델의 상기 복수의 차선 마커-특정 표현 레이어들에서 입력 데이터를 압축하기 위해 하나 이상의 추가 수평 축소 모듈들을 사용하게 하도록 구성된, 처리 시스템.
제 10 항에 있어서,
상기 하나 이상의 프로세서들은 또한 상기 처리 시스템으로 하여금 복수의 차선 표현들을 출력 이미지 상에 표시하게 하도록 구성된, 처리 시스템.
처리 시스템의 하나 이상의 프로세서들에 의해 실행될 때, 상기 처리 시스템으로 하여금 방법을 수행하게 하는 명령들을 포함하는 비일시적 컴퓨터 판독 가능 저장 매체로서, 상기 방법은
입력 이미지를 수신하는 단계;
상기 입력 이미지를 차선 마커 검출 모델에 제공하는 단계;
상기 차선 마커 검출 모델의 공유 차선 마커 부분으로 상기 입력 이미지를 처리하는 단계;
복수의 차선 마커 표현들을 생성하기 위해 상기 차선 마커 검출 모델의 복수의 차선 마커-특정 표현 레이어들로 상기 차선 마커 검출 모델의 상기 공유 차선 마커 부분의 출력을 처리하는 단계; 및
상기 복수의 차선 마커 표현들에 기초하여 복수의 차선 마커들을 출력하는 단계
를 포함하는, 비일시적 컴퓨터 판독 가능 저장 매체.
제 19 항에 있어서,
상기 차선 마커 검출 모델의 상기 공유 차선 마커 부분으로 상기 입력 이미지를 처리하는 단계는 상기 차선 마커 검출 모델의 복수의 공유 차선 마커 표현 레이어들을 통해 상기 입력 이미지를 처리하는 단계를 포함하는, 비일시적 컴퓨터 판독 가능 저장 매체.
제 19 항에 있어서,
상기 복수의 차선 마커들을 출력하는 단계는 상기 복수의 차선 마커들 중 각각의 차선 마커에 대해,
상기 차선 마커 검출 모델의 제 1 출력 레이어를 사용하여 차선 정점의 수평 위치를 예측하는 단계;
상기 차선 마커 검출 모델의 제 2 출력 레이어를 사용하여 정점별 존재 신뢰도를 예측하는 단계; 및
상기 차선 마커 검출 모델의 제 3 출력 레이어를 사용하여 차선 마커별 존재 신뢰도를 예측하는 단계
를 포함하는, 비일시적 컴퓨터 판독 가능 저장 매체.
제 21 항에 있어서,
상기 복수의 차선 마커들을 출력하는 단계는
에 따라 각각의 차선 마커
를 예측하는 단계를 더 포함하고, 식 중
는 각각의 차선 마커
와 연관된 정점의 세트
이고
는 정점별 존재 신뢰도이고,
는 차선별 존재 신뢰도 임계치인, 비일시적 컴퓨터 판독 가능 저장 매체.
제 19 항에 있어서,
상기 방법은 인코더-디코더 분할 망을 사용하여 상기 입력 이미지를 압축하는 단계를 더 포함하는, 비일시적 컴퓨터 판독 가능 저장 매체.
제 19 항에 있어서,
각각의 개별 차선 마커-특정 표현에 대한 최종 차선 마커-특정 표현 레이어는 h 수직 픽셀, 1 수평 픽셀, 및 c 채널의 크기를 포함하는, 비일시적 컴퓨터 판독 가능 저장 매체.
제 19 항에 있어서,
상기 방법은 상기 차선 마커 검출 모델의 상기 공유 차선 마커 부분에서 입력 데이터를 압축하기 위해 하나 이상의 수평 축소 모듈들을 사용하는 단계를 더 포함하는, 비일시적 컴퓨터 판독 가능 저장 매체.
제 25 항에 있어서,
상기 방법은 상기 차선 마커 검출 모델의 상기 복수의 차선 마커-특정 표현 레이어들에서 입력 데이터를 압축하기 위해 하나 이상의 추가 수평 축소 모듈들을 사용하는 단계를 더 포함하는, 비일시적 컴퓨터 판독 가능 저장 매체.
제 19 항에 있어서,
상기 방법은 복수의 차선 표현들을 출력 이미지 상에 표시하는 단계를 더 포함하는, 비일시적 컴퓨터 판독 가능 저장 매체.
처리 시스템으로서,
입력 이미지를 수신하는 수단;
상기 입력 이미지를 차선 마커 검출 모델에 제공하는 수단;
상기 차선 마커 검출 모델의 공유 차선 마커 부분으로 상기 입력 이미지를 처리하는 수단;
복수의 차선 마커 표현들을 생성하기 위해 상기 차선 마커 검출 모델의 복수의 차선 마커-특정 표현 레이어들로 상기 차선 마커 검출 모델의 상기 공유 차선 마커 부분의 출력을 처리하는 수단; 및
상기 복수의 차선 마커 표현들에 기초하여 복수의 차선 마커들을 출력하는 수단
을 포함하는, 처리 시스템.