KR20210078530A - 차선 속성 검출방법, 장치, 전자장치 및 가독 저장 매체 - Google Patents

Abstract

본 발명은 차선 속성 검출방법, 장치, 전자장치 및 가독 저장매체를 제공하며, 상기 방법은 차량에 장착된 차량 탑재 장치가 수집한 노면 이미지를 획득하는 단계; 상기 노면 이미지를 신경망에 입력하여, 상기 신경망을 통해 상기 노면 이미지에 대응하는 M개의 확률맵을 출력하는 단계, 상기 M개의 확률맵은 N1개의 차도 유형 확률맵과 N2개의 노변 유형 확률맵을 포함하며, 그 중 상기 N1개의 차도 유형 확률맵은 노면 이미지 중의 화소점이 각각 N1개의 차도 유형에 속할 확률을 나타내고, 상기 N2개의 노변 유형 확률맵은 노면 이미지 중의 화소점이 각각 N2개의 노변 유형에 속할 확률을 나타내며; 상기 차도 유형 확률맵과 노변 유형 확률맵에 따라, 상기 노면 이미지 중의 차선 속성을 확정하는 단계를 포함한다.

Description

차선 속성 검출방법, 장치, 전자장치 및 가독 저장 매체

본 발명은 2018년 11월 21일 중국 특허국에 출원번호가 CN 201811393443.6이고, 출원명칭이 "차선 속성 검출방법, 장치, 전자장치 및 가독 저장 매체"인 중국 특허 출원의 우선권을 청구하였으며, 그 내용 전부는 인용을 통해 본 발명에 결합시켰다.

본 발명의 실시예는 컴퓨터 기술에 관한 것으로서, 특히 차선 속성 검출방법, 장치, 전자장치 및 가독 저장 매체에 관한 것이다.

주행 보조와 자율주행은 지능형 주행 분야의 두 가지의 중요한 기술로서, 주행 보조 또는 자율 주행을 통해, 차량 간의 간격을 최소한으로 감소시키고, 교통 사고의 발생을 감소시켜, 운전자의 심신의 부담을 경감시킬 수 있기 때문에, 지능형 주행 분야에서 중요한 역할을 발휘하고 있다. 주행 보조 기술과 자율주행 기술에서는 차선 속성의 검출이 필요하며, 즉 예를 들어 백색 실선, 백색 점선과 같은 노면 상의 차선의 유형을 검출해야 한다. 차선 속성의 검출 결과를 기초로, 차량이 교통법규에 따라 정확하게 주행하도록 할 수 있으며, 예를 들어 교통법규는 실선에서 차선 변경을 하지 못하게 되어 있으므로, 차선 속성 검출을 통해 노면에 백색 실선이 있음이 확인되면, 차량에 차선 변경 행위가 발생하지 않도록 제어해야 한다.

따라서, 차선 속성 검출은 주행 보조와 자율주행에 대한 의미가 크며, 어떻게 정확하고 효과적으로 차선 속성을 검출할 것인가는 연구할 가치가 있는 중요한 과제이다.

본 발명의 실시예는 차선 속성 검출 기술방안을 제공한다.

본 발명의 실시예는 일 측면으로, 차선 속성 검출방법을 제공하며, 이는

차량에 장착된 차량 탑재 장치가 수집한 노면 이미지를 획득하는 단계;

상기 노면 이미지를 신경망에 입력하여, 상기 신경망을 통해 상기 노면 이미지에 대응하는 M개의 확률맵을 출력하는 단계, 상기 M개의 확률맵은 N1개의 차도 유형 확률맵과 N2개의 노변 유형 확률맵을 포함하며, 그 중 상기 N1개의 차도 유형 확률맵은 노면 이미지 중의 화소점이 각각 N1개의 차도 유형에 속할 확률을 나타내고, 상기 N2개의 노변 유형 확률맵은 노면 이미지 중의 화소점이 각각 N2개의 노변 유형에 속할 확률을 나타내며, N1과 N2는 각각 양의 정수이고, M은 N1과 N2의 합보다 크거나 같은 정수이며;

상기 차도 유형 확률맵과 노변 유형 확률맵에 따라, 상기 노면 이미지 중의 차선 속성을 확정하는 단계;를 포함한다.

본 발명의 실시예는 다른 측면으로, 차선 속성 검출장치를 제공하며, 이는

차량에 장착된 차량 탑재 장치가 수집한 노면 이미지를 획득하기 위한 제1 획득모듈;

상기 노면 이미지를 신경망에 입력하여, 상기 신경망을 통해 상기 노면 이미지에 대응하는 M개의 확률맵을 출력하기 위한 제2 획득모듈, 상기 M개의 확률맵은 N1개의 차도 유형 확률맵과 N2개의 노변 유형 확률맵을 포함하며, 그 중 상기 N1개의 차도 유형 확률맵은 노면 이미지 중의 화소점이 각각 N1개의 차도 유형에 속할 확률을 나타내고, 상기 N2개의 노변 유형 확률맵은 노면 이미지 중의 화소점이 각각 N2개의 노변 유형에 속할 확률을 나타내며, N1과 N2는 각각 양의 정수이고, M은 N1과 N2의 합보다 크거나 같은 정수이며;

상기 차도 유형 확률맵과 노변 유형 확률맵에 따라, 상기 노면 이미지 중의 차선 속성을 확정하기 위한 제1 확정모듈;을 포함한다.

본 발명의 실시예는 또 다른 측면으로, 주행 제어방법을 제공하며, 이는

주행 제어장치가 상기 어느 하나의 실시예에 따른 차선 속성 검출 방법을 이용하여 획득한 노면 이미지의 차선 속성 검출 결과를 획득하는 단계;

상기 주행 제어장치가 상기 차선 속성 검출 결과에 따라 안내 메시지를 출력하거나 및/또는 차량에 대해 지능형 주행 제어를 수행하는 단계;를 포함한다.

본 발명의 실시예는 또 다른 측면으로, 주행 제어장치를 제공하며, 이는

상기 어느 하나의 실시예에 따른 차선 속성 검출 방법을 이용하여 획득되는 노면 이미지의 차선 속성 검출 결과를 획득하기 위한 획득모듈;

상기 차선 속성 검출 결과에 따라 안내 메시지를 출력하거나 및/또는 차량에 대해 지능형 주행 제어를 수행하기 위한 주행 제어모듈;을 포함한다.

본 발명의 실시예는 또 다른 측면으로, 전자장치를 제공하며, 이는

프로그램 명령을 저장하기 위한 메모리;

상기 메모리 중의 프로그램 명령을 호출 및 실행하여, 상기 어느 하나의 실시예의 측면에 따른 상기 방법을 실행하기 위한 프로세서;를 포함한다.

본 발명의 실시예는 또 다른 측면으로, 노면 이미지를 획득하기 위해 통신 연결되는 카메라, 상기 어느 하나의 실시예에 따른 전자장치 및 상기 어느 하나의 실시예에 따른 주행 제어장치를 포함하는 지능형 주행 시스템을 제공한다.

본 발명의 실시예는 또 다른 측면으로, 상기 제1 측면에 따른 상기 방법 단계를 실행하기 위한 컴퓨터 프로그램이 저장되는 가독 저장매체를 제공한다.

본 발명의 실시예가 제공하는 차선 속성 검출방법, 장치, 전자장치 및 가독 저장 매체는 차선 유형 및 노변 유형 표시 정보를 포함하는 노면 훈련 이미지로 훈련한 신경망을 이용하여 노면 이미지 중 각 화소점이 해당 차도 유형 또는 노변 유형에 속하는 확률맵을 획득하고, 차도 유형 확률맵 및 노변 유형 확률맵에 따라 노면 이미지 중의 차선 속성을 확정함으로써, 차선 속성의 자동적이고 정확한 검출을 구현한다. 본 발명의 실시예는 복잡도가 비교적 높은 상황에서도 정확한 차선 속성 검출 결과를 획득할 수 있다. 또한, 본 발명의 실시예 중 노변 유형을 하나의 차선 속성으로 삼기 때문에, 차도 표시선이 표시되어 있는 구조화된 노면 환경에서 차선 유형을 정확하게 검출할 수 있을 뿐만 아니라, 차선 표시선이 결실되었거나 또는 차도 표시선이 표시되어 있지 않은 상황, 예를 들어 시골 도로에서 주행하는 상황에서도 노변 유형 등을 정확하게 검출할 수 있다.

이하 첨부도면과 실시예를 통해, 본 발명의 기술방안에 대해 좀 더 상세히 설명한다.

본 출원의 실시예의 기술방안을 보다 명확하게 설명하기 위하여, 이하 실시예에 대해 기재 시 사용해야 할 첨부도면에 대해 간단히 소개한다. 이하 첨부도면은 본 출원의 일부 실시예일뿐, 본 분야의 보통 기술자에게 있어서, 창조적인 노동을 기울이지 않은 전제하에 이러한 도면을 근거로 다른 도면을 더 획득할 수도 있음은 자명하다.
도 1은 본 발명의 실시예가 제공하는 차선 속성 검출방법의 장면 개략도이다.
도 2는 본 발명의 실시예가 제공하는 차선 속성 검출방법의 일 실시예의 흐름도이다.
도 3은 본 발명의 실시예가 제공하는 차선 속성 검출방법의 다른 일 실시예의 흐름도이다.
도 4는 본 발명의 실시예가 제공하는 차선 속성 검출방법의 또 다른 일 실시예의 흐름도이다.
도 5는 상기 구현예에 대응되는 컨볼루션 신경망의 구조도이다.
도 6은 본 발명의 실시예가 제공하는 차선 속성 검출방법의 또 다른 일 실시예의 흐름도이다.
도 7은 본 발명의 실시예가 제공하는 차선 속성 검출방법의 또 다른 일 실시예의 흐름도이다.
도 8은 본 발명의 실시예가 제공하는 차선 속성 검출 장치의 일 실시예의 모듈 구조도이다.
도 9는 본 발명의 실시예가 제공하는 차선 속성 검출 장치의 다른 일 실시예의 모듈 구조도이다.
도 10은 본 발명의 실시예가 제공하는 차선 속성 검출 장치의 또 다른 일 실시예의 모듈 구조도이다.
도 11은 본 발명의 실시예가 제공하는 차선 속성 검출 장치의 또 다른 일 실시예의 모듈 구조도이다.
도 12는 본 발명의 실시예가 제공하는 차선 속성 검출 장치의 또 다른 일 실시예의 모듈 구조도이다.
도 13은 본 발명의 실시예가 제공하는 차선 속성 검출 장치의 또 다른 일 실시예의 모듈 구조도이다.
도 14는 본 발명의 실시예가 제공하는 차선 속성 검출 장치의 또 다른 일 실시예의 모듈 구조도이다.
도 15는 본 발명의 실시예가 제공하는 차선 속성 검출 장치의 또 다른 일 실시예의 모듈 구조도이다.
도 16은 본 발명의 실시예가 제공하는 차선 속성 검출 장치의 또 다른 일 실시예의 모듈 구조도이다.
도 17은 본 발명의 실시예가 제공하는 전자장치의 실체 블록도이다.
도 18은 본 발명의 실시예가 제공하는 주행 제어방법의 흐름도이다.
도 19는 본 발명의 실시예가 제공하는 주행 제어 장치의 구조도이다.
도 20은 본 발명의 실시예가 제공하는 지능형 주행 시스템의 개략도이다.
도 21은 본 발명의 전자장치의 일 응용 실시예의 구조도이다.

본 발명의 실시예의 목적, 기술방안과 장점이 더욱 명확해지도록, 이하 본 출원의 실시예 중의 첨부도면을 결합하여, 본 출원의 실시예 중의 기술방안에 대해 명확하고 완전하게 설명한다. 물론, 설명하는 실시예는 본 출원의 일부 실시예일뿐 전체 실시예가 아님은 자명하다. 본 출원의 실시예를 바탕으로, 본 분야의 보통 기술자가 창조적인 노동을 하지 않는 전제하에 획득한 모든 기타 실시예는 모두 본 출원의 보호범위에 속한다.

별도의 설명이 없는 한, 이러한 실시예에 기재되는 부재와 단계의 상대적인 배치, 숫자 표현식과 수치는 본 발명의 범위를 제한하지 않는다는 점에 유의한다.

또한, 본 발명의 실시예에서, "다수"는 2개 또는 2개 이상을 가리키는 것일 수 있고, "적어도 하나"는 하나, 2개 또는 2개 이상을 가리키는 것일 수 있음을 이해하여야 한다.

당업자라면, 본 발명의 실시예 중의 "제1", "제2" 등 용어가 단지 상이한 단계, 장치 또는 모듈 등을 구별하기 위한 것이지, 임의의 특정한 기술적 의미를 대표하는 것도 아니고, 이들 간의 필연적인 논리 순서를 대표하는 것도 아님을 이해할 수 있을 것이다.

또한, 본 발명의 실시예에서 언급하는 어떤 부재, 데이터와 구조는 명확하게 한정하거나 또는 전후 본문 중에서 상반되는 가르침을 제공하지 않는 한, 일반적으로 하나 또는 다수로 이해될 수 있다는 점에 유의해야 한다.

또한, 본 발명의 각 실시예에 대한 설명에서 각 실시예 간의 상이한 부분에 치중하여 강조하였고, 동일하거나 유사한 부분은 서로 참조할 수 있으며, 간결함을 위하여 일일이 중복설명을 하지 않았음에 유의한다.

이와 동시에, 설명의 편의를 위하여, 도면에 도시된 각 부분의 크기는 결코 실제 비율 관계대로 제작된 것이 아님을 알아야 한다.

이하 적어도 하나의 예시적 실시예에 대한 기재는 실제로는 단지 설명적인 것일 뿐이며, 본 발명 및 그 응용 또는 사용에 대해 어떠한 제한을 두기 위한 것이 아니다.

관련 분야의 보통 기술자가 이미 알고 있는 기술, 방법과 장치에 대해서는 상세히 토론하지 않을 수 있으나, 단 적절한 경우, 상기 기술, 방법과 장치는 명세서 중의 일부분으로 간주되어야 한다.

유사한 부호와 알파벳은 아래의 도면에서 유사한 항목을 표시하였으며, 따라서, 일단 어느 항목이 하나의 도면에서 정의되었다면, 이후의 도면에서는 그에 대해 추가적으로 토론할 필요가 없다는 점에 유의한다.

또한, 본 발명 중의 용어 "및/또는"은 단지 관련 대상의 연관 관계를 설명하는 것일 뿐이며, 3종 관계가 존재할 수 있음을 나타낸다. 예를 들어, A 및/또는 B는 A가 단독으로 존재하거나, A와 B가 동시에 존재하거나, B가 단독으로 존재하는 3가지 상황을 나타낼 수 있다. 또한, 본 발명 중, 부호 "/"는 일반적으로 전후의 관련 대상이 "또는"의 관계인 것을 나타낸다.

본 발명의 실시예는 단말장치, 컴퓨터 시스템, 서버, 차량 탑재 장치 등 전자장치에 응용될 수 있으며, 다양한 다른 범용 또는 전용 컴퓨팅 시스템 환경 또는 구성과 함께 조작될 수 있다. 단말장치, 컴퓨터 시스템, 서버, 차량 탑재 장치 등 전자장치와 함께 사용되기에 적합한 잘 알려진 단말장치, 컴퓨팅 시스템, 환경 및/또는 구성의 예는 개인용 컴퓨터 시스템, 서버 컴퓨터 시스템, 씬 클라이언트(thin client), 식 클라이언트(thick client), 핸드헬드 또는 랩탑 장치, 마이크로프로세서 기반의 시스템, 셋톱박스, 프로그래머블 소비자 전자제품, 네트워크 개인용 컴퓨터, 소형 컴퓨터 시스템, 대형 컴퓨터 시스템, 차량 탑재 장치 및 상기 임의의 시스템을 포함한 분산형 클라우드 컴퓨팅 기술 환경, 등등을 포함하되, 이에 한정되지 않는다.

단말장치, 컴퓨터 시스템, 서버, 차량 탑재 장치 등 전자장치는 컴퓨터 시스템에 의해 실행되는 컴퓨터 시스템 실행 가능 명령(예컨대 프로그램 모듈)의 일반 컨텍스트(general context)에서 기재할 수 있다. 통상적으로, 프로그램 모듈은, 루틴(routine), 프로그램, 타겟 프로그램, 컴포넌트, 논리, 데이터 구조 등등을 포함할 수 있으며, 이들은 특정한 임무를 실행하거나 또는 특정한 추상적 데이터 유형을 구현한다. 컴퓨터 시스템/서버는 분산형 클라우드 컴퓨팅 환경에서 실시될 수 있으며, 분산형 클라우드 컴퓨팅 환경 중, 임무는 통신 네트워크를 통해 연결되는 원격 처리 장치에 의해 실행되는 것이다. 분산형 클라우드 컴퓨팅 환경에서, 프로그램 모듈은 저장장치를 포함한 로컬 또는 원격 컴퓨팅 시스템 저장 매체에 위치할 수 있다.

도 1은 본 발명의 실시예가 제공하는 차선 속성 검출 방법의 하나의 장면 개략도이다. 도 1에 도시된 바와 같이, 상기 방법은 차량 탑재 장치가 장착된 차량에 적용될 수 있다. 여기서, 상기 차량 탑재 장치는 차량에 장착될 수 있는 카메라 또는 주행 기록장치 등 촬영 기능을 구비한 장치일 수 있다. 차량이 노면에 위치 시, 차량 상의 차량 탑재 장치를 통해 노면 이미지를 수집하고, 본 발명의 실시예의 방법에 기초하여 차량이 소재하는 노면 상의 차선 속성을 검출함으로써, 차선 속성의 검출 결과를 주행 보조 또는 자율주행에 응용할 수 있다.

도 2는 본 발명의 실시예가 제공하는 차선 속성 검출 방법의 일 실시예의 흐름도로서, 도 2에 도시된 바와 같이, 상기 방법은 이하 단계를 포함한다:

S201: 차량에 장착된 차량 탑재 장치가 수집한 노면 이미지를 획득하는 단계.

선택적으로, 차량에 장착된 차량 탑재 장치는 차량이 주행하는 노면 상의 노면 이미지를 실시간으로 수집할 수 있으며, 나아가, 지속적으로 차량 탑재 장치가 수집한 노면 이미지를 컨볼루션 신경망에 입력하여 부단히 업데이트되는 차선 속성 검출 결과를 획득할 수 있다.

일 선택적 구현예에서, 상기 S201은 메모리에 저장된 해당 명령을 호출하는 프로세서에 의해 실행될 수도 있고, 프로세서에 의해 작동하는 제1 획득모듈(801)을 통해 실행될 수도 있다.

S202: 상기 노면 이미지를 신경망에 입력하여, 상기 신경망을 통해 상기 노면 이미지에 대응하는 M개의 확률맵을 출력하는 단계. 상기 M개의 확률맵은 N1개의 차도 유형 확률맵과 N2개의 노변 유형 확률맵을 포함하며, 그 중 상기 N1개의 차도 유형 확률맵은 노면 이미지 중의 화소점이 각각 N1개의 차도 유형에 속할 확률을 나타내고, 상기 N2개의 노변 유형 확률맵은 노면 이미지 중의 화소점이 각각 N2개의 노변 유형에 속할 확률을 나타낸다.

여기서, N1과 N2는 모두 양의 정수이고, M은 N1과 N2의 합보다 크거나 같은 정수이다.

선택적으로, 상기 신경망은 컨볼루션 신경망을 포함하되 이에 한정되지 않는다.

선택적으로, 상기 신경망은 미리 차도 유형, 노변 유형 및/또는 비차선 표시정보를 포함하는 노면 훈련 이미지세트를 이용하여 감독 훈련시켜 획득된다. 상기 노면 훈련 이미지세트는 다량의 훈련용 이미지를 포함한다. 각각의 훈련용 이미지는 실제 노면 이미지를 수집하고 표시를 진행하는 과정을 거쳐 획득된다. 선택적으로, 먼저 주간, 야간, 우천 시, 터널 등 다양한 장면에서의 실제 노면 이미지를 수집하고, 나아가, 각각의 실제 노면 이미지에 대해 화소급의 표시를 실시할 수 있다. 즉 실제 노면 이미지 중 화소점의 유형을 차도 유형, 노변 유형 또는 비차선 표시 정보로 표시함으로써 훈련용 이미지를 획득한다. 신경망은 풍부한 장면의 수집을 통한 훈련 이미지의 감독 훈련에 의해 획득되기 때문에, 훈련이 완료된 후의 신경망은 일부 간단한 장면, 예를 들어 기후 조건과 빛이 조사되는 조건이 모두 비교적 양호한 주간 장면에서 정확한 차선 속성 검출 결과를 획득할 수 있을 뿐만 아니라, 복잡도가 비교적 높은 장면, 예를 들어 우천 시, 야간, 터널 등의 장면에서도 정확한 차선 속성 검출 결과를 획득할 수 있다.

선택적으로, 상기 N1개의 차도 유형은 백색 점선, 백색 실선, 이중 백색 점선, 이중 백색 실선, 백색 점선과 실선, 백색 실선과 점선, 황색 점선, 황색 실선, 이중 황색 점선, 이중 황색 실선, 황색 점선과 실선, 황색 실선과 점선, 지그재그 실선 등 중의 어느 하나 또는 다수를 포함할 수 있으나, 이에 한정되지 않는다.

선택적으로, 상기 N2개의 노변 유형은 좌측 노변, 우측 노변, 좌측 펜스, 우측 펜스 등 중의 어느 하나 또는 다수를 포함할 수 있으나, 이에 한정되지 않는다.

선택적으로, 상기 N1개의 차도 유형 확률맵과 N2개의 노변 유형 확률맵 이외에, 상기 M개의 확률맵에는 M-N1-N2개의 배경 확률맵이 더 포함될 수 있으며, 상기 M-N1-N2개의 배경 확률맵은 노면 이미지 중의 화소점이 배경 유형에 속할 확률을 나타낸다.

선택적으로, 상기 배경 유형은 차량이 주행하는 노면 상의 차도 유형과 노변 유형을 제외한 노면 배경일 수 있다. 예시적으로, 차선 이외의 노면, 노면 상의 자동차 등은 모두 비차선 범주에 속한다.

일종의 구현예로서, 상기 M은 18일 수 있고, 상기 N1은 13일 수 있으며, 상기 N2는 4일 수 있다. 상응하게, 상기 신경망은 18개의 확률맵을 출력할 수 있으며, 여기서, 상기 18개의 확률맵 중 13개의 차도 유형 확률맵은 각각 13종 차도 유형에 대응된다. 즉 상기 13개의 차도 유형 확률맵은 13종의 차도 유형과 일일이 대응된다. 상기 18개의 확률맵 중 4개의 노변 유형 확률맵은 각각 4종 노변 유형에 대응되며, 즉 상기 4종 노변 유형 확률맵은 4종의 노변 유형과 일일이 대응된다. 이밖에, 상기 18개 확률맵 중 나머지 1개의 확률맵은 배경 유형에 대응된다.

상기 예시 중의 차도 유형, 노변 유형과 배경 유형은 예컨대 하기 표 1에 도시된 바와 같을 수 있으며, 번호는 각각 0부터 17까지이다.

노면배경	백색 점선	백색실선	이중 백색점선	이중백색실선	백색복선(좌측점선우측실선)	백색복선(좌측실선우측점선)	황색점선	황색실선
0	1 2		3 4		5	6	7	8
이중황색점선	이중황색실선	황색점선(좌측점선우측실선)	황색점선(좌측실선우측점선)	지그재그실선	좌측노변	우측노변	좌측펜스	우측펜스
9	10	11	12	13 14		15 16		17

상기 표 1에 표시된 번호를 사용한다고 가정하면, 상기 18개의 확률맵은 각각 확률맵 0, 확률맵 1, 확률맵 2, 확률맵 17까지 순차적으로 유추한다. 즉 확률맵과 차도 유형, 노변 유형 및 배경 유형의 대응관계는 하기 표 2와 같을 수 있다.

확률맵	확률맵 0	확률맵 1	확률맵 2	…	확률맵 17
차선 속성	노면 배경	백색 점선	백색 실선	…	우측 펜스

즉 상기 신경망이 출력하는 확률맵 1은 백색 점선의 차도 유형에 대응되고, 확률맵 2는 백색 실선의 차도 유형에 대응되며, 이와 같이 유추한다.설명해두어야 할 점으로, 상기 표 1은 단지 확률맵과 차도 유형, 노변 유형 및 배경 유형의 대응관계의 일종의 예시일 뿐이며, 실시 과정에서, 확률맵과 차도 유형의 대응 관계는 필요에 따라 자유롭게 설치할 수 있으며, 본 발명의 실시예는 이에 대해 제한을 두지 않는다.

또한, 예시적으로, 상기 표 1에 나타낸 대응관계에 기초하여, 확률맵 1은 노면 이미지 중의 각 화소점이 백색 점선의 차도 유형에 속할 확률을 나타낼 수 있다. 가령 노면 이미지를 200*200 크기의 매트릭스로 표시할 경우, 상기 매트릭스를 상기 신경망에 입력한 후, 200*200 크기의 매트릭스를 출력할 수 있으며, 여기서, 매트릭스 중의 각 원소의 값이 바로 해당 화소점이 백색 점선의 차도 유형에 속할 확률이다. 예를 들어, 신경망이 출력한 200*200 크기의 매트릭스 중, 제1행 제1열의 값이 0.4라면, 노면 이미지 중 제1행 제1열의 화소점이 백색 점선의 차도 유형에 속할 확률이 0.4임을 설명한다. 이에 따라, 신경망이 출력하는 매트릭스는 차도 유형 확률맵의 형식으로 표시될 수 있다.

일 선택적 구현예에서, 상기 S202는 메모리에 저장된 해당 명령을 호출하는 프로세서에 의해 실행될 수도 있고, 프로세서에 의해 작동하는 제2 획득모듈(802)을 통해 실행될 수도 있다.

S203: 상기 차도 유형 확률맵과 노변 유형 확률맵에 따라, 상기 노면 이미지 중의 차선 속성을 확정하는 단계.

상기 단계를 거친 후, 노면 이미지 중 각 화소점이 각 차도 유형 및 노변 유형에 속할 확률을 확정할 수 있으며, 이러한 확률에 기초하여 노면 이미지 중의 차선 속성을 확정할 수 있다.

선택적으로, 신경망이 출력하는 N1개의 차도 유형 확률맵은 각각 노면 상의 N1 종류의 차도 유형에 대응되고, 출력되는 N2개의 노변 유형 확률맵은 각각 노면 상의 N2 종류의 노변 유형에 대응되며, 각 확률맵에 대하여, 사전 설정 조건에 따라 그 중 일부 화소점을 선택하여, 이러한 화소점에 대해 이러한 화소점이 속한 차도 유형 또는 노변 유형을 확정할 수 있다.

일 선택적 구현예에서, 상기 S203은 메모리에 저장된 해당 명령을 호출하는 프로세서에 의해 실행될 수도 있고, 프로세서에 의해 작동하는 제1 확정모듈(803)을 통해 실행될 수도 있다.

본 실시예에서, 차도 유형 및 노변 유형 표시 정보를 포함하는 노면 훈련 이미지로 훈련하여 획득된 신경망을 사용하여 노면 이미지 중의 각 화소점이 해당 차도 유형 또는 노변 유형에 속할 확률맵을 획득하고, 차도 유형 확률맵 및 노변 유형 확률맵에 따라 노면 이미지 중의 차선 속성을 확정함으로써, 차선 속성의 자동적인 정확한 검출을 구현할 수 있다. 본 발명의 실시예는 복잡도가 비교적 높은 장면에서도 정확한 차선 속성 검출 결과를 획득할 수 있다. 또한, 본 발명의 실시예에서는 노변 유형을 하나의 차선 속성으로 삼기 때문에, 차도 표시선이 표시된 구조화된 노면 장면에서 차도의 유형을 정확하게 검출할 수 있을 뿐만 아니라, 차선 표시선이 결실되었거나 또는 차도 표시선이 표시되어 있지 않은 장면, 예를 들어 시골 도로에서 주행하는 장면에서도 노변 유형 등을 정확하게 검출할 수 있다.

또한, 전술한 바와 같이, 신경망이 출력하는 확률맵에는 차도 유형 확률맵과 노변 유형 확률맵 이외에, 배경 확률맵이 더 포함될 수 있으며, 상기 배경 확률맵을 이용하여, 노면 이미지 분할의 정확성을 향상시킬 수 있고, 나아가 차선 속성 검출의 정확성을 높일 수 있다.

선택적으로, 전술한 바와 같이, 상기 M개의 확률맵 중의 N1개의 차도 유형 확률맵은 노면 상의 N1개의 차도 유형에 대응된다.

선택적으로, L번째의 차도 유형 확률맵에 확률값이 사전 설정 임계치보다 크거나 같은 다수의 화소점이 포함되는 경우, 확률값이 사전 설정값보다 크거나 같은 다수의 화소점에 따라 상기 다수의 화소점이 속한 차도 유형을 확정하며, 여기서, 상기 L번째 차도 유형 확률맵은 상기 N1개의 차도 유형 확률맵 중의 어느 하나의 차도 유형 확률맵이다.

먼저, 노면 이미지를 신경망에 입력한 후, 신경망이 출력하는 L번째 차도 유형 확률맵에서, 각각의 화소점은 모두 하나의 확률값을 가지며, 예를 들어 확률값이 사전 설정값보다 크거나 같으면, 상기 화소점은 L번째 차도 유형에 속할 확률이 비교적 크다는 것을 설명한다.

따라서, L번째 차도 유형 확률맵으로부터 확률값이 사전 설정값보다 크거나 같은 다수의 화소점을 선택한 후, 이러한 선택된 화소점에 대해 최대 연결 도메인 계산을 할 수 있으며, 이에 따라 최대 연결 도메인을 기준으로 차선 피팅을 수행함으로써 하나의 차선을 피팅하며, 또한 상기 차선 유형은 L번째 차도 유형 확률맵에 대응되는 차도 유형이다.

예시적으로, 상기 사전 설정 임계치는 예컨대 0.5일 수 있다.

일 구현예에서, L번째 차도 유형 확률맵에 3개의 화소점의 확률값이 포함되며, 그 중, 화소점 A의 확률값은 0.5이고, 화소점 B의 확률값은 0.6이며, 화소점 C의 확률값은 0.2라고 가정하면, 즉 화소점 A와 화소점 B의 확률값이 사전 설정 임계치보다 크므로, 화소점 A와 화소점 B를 통해 하나의 차선을 피팅할 수 있으며, 또한 상기 차선의 유형은 L번째 차도 유형 확률맵에 대응되는 차도 유형이다.

다른 상황에서, L번째 차도 유형 확률맵이 확률값이 사전 설정 임계치보다 크거나 같은 다수의 화소점을 포함하는 조건을 만족시키지 못한다면, 현재 노면 이미지에 L번째 차도 유형 확률맵에 대응되는 차도 유형이 존재하지 않는다는 것을 설명한다.

선택적으로, 전술한 바와 같이, 상기 M개의 확률맵 중의 N2개의 차도 유형 확률맵은 노면 상의 N2개의 노변 유형에 대응된다.

선택적으로, S번째의 노변 유형 확률맵에 확률값이 사전 설정 임계치보다 크거나 같은 다수의 화소점이 포함되는 경우, 확률값이 사전 설정값보다 크거나 같은 다수의 화소점에 따라 상기 다수의 화소점이 속한 노변 유형을 확정하며, 여기서, 상기 S번째 노변 유형 확률맵은 상기 N2개의 차도 유형 확률맵 중의 어느 하나의 노변 유형 확률맵이다.

먼저, 노면 이미지를 신경망에 입력한 후, 신경망이 출력하는 S번째 노변 유형 확률맵에서, 각각의 화소점은 모두 하나의 확률값을 가지며, 확률값이 사전 설정값보다 크거나 같으면, 상기 화소점은 S번째 노변 유형에 속할 확률이 비교적 크다는 것을 설명한다.

따라서, S번째 노변 유형 확률맵으로부터 확률값이 사전 설정값보다 크거나 같은 다수의 화소점을 선택한 후, 이러한 선택된 화소점에 대해 최대 연결 도메인 계산을 할 수 있으며, 이에 따라 최대 연결 도메인을 기준으로 노변 피팅을 수행함으로써 하나의 노변을 피팅하며, 또한 상기 노변 유형은 S번째 노변 유형 확률맵에 대응되는 노변 유형이다.

예시적으로, 상기 사전 설정 임계치는 예컨대 0.5일 수 있다.

일 구현예에서, S번째 노변 유형 확률맵에 3개 화소점의 확률값이 포함되며, 그 중 화소점 D의 확률값은 0.5이고, 화소점 E의 확률값은 0.6이며, 화소점 F의 확률값은 0.2라고 가정하면, 화소점 D와 화소점 E의 확률값이 사전 설정 임계치보다 크므로, 화소점 D와 화소점 E를 통해 하나의 노변을 피팅할 수 있으며, 또한 상기 노변의 유형은 제S번째 노변 유형 확률맵에 대응되는 노변 유형이다.

다른 상황에서, S번째 노변 유형 확률맵이 확률값이 사전 설정값보다 크거나 같은 다수의 화소점의 조건을 만족시키지 못한다면, 현재 노면 이미지에 S번째 노변 유형 확률맵에 대응되는 노변 유형이 존재하지 않는다는 것을 설명한다.

구체적인 실시 과정에서, 동일한 화소점의 다수의 확률맵 중에서의 확률값이 모두 사전 설정 임계치보다 크거나 같은 상황이 존재할 수 있으며, 이러한 경우, 하기 방식에 따라 처리할 수 있다.

선택적으로, 상기 M개 확률맵 중의 다수의 확률맵에 대응되는 제1 화소점의 확률값이 모두 사전 설정 임계치보다 크거나 같은 경우, 상기 제1 화소점을 제1 확률맵에 대응하는 유형으로 확정 시의 화소점으로 삼으며, 그 중, 상기 제1 확률맵은 상기 다수의 확률값 중 최대 확률값에 대응하는 확률맵이다.

여기서, 상기 다수의 확률맵은 다수의 차도 유형 확률맵을 포함할 수도 있고, 다수의 노변 유형 확률맵을 포함할 수도 있으며, 차도 유형 확률맵도 포함하고 노변 유형 확률맵도 포함하는 것일 수 있다.

예시적으로, 상기 사전 설정 임계치가 0.5이고, 신경망은 총 4개의 확률맵을 출력하며, 상기 4개의 확률맵 중의 첫 번째 확률맵과 두 번째 확률맵은 차도 유형 확률맵이고, 세 번째 확률맵과 네 번째 확률맵은 노변 유형 확률맵이며, 상기 제1 화소점의 첫 번째 확률맵 중에서의 확률값은 0.5이고, 두 번째 확률맵 중에서의 확률값은 0.6이며, 세 번째 확률맵 중에서의 확률은 0.7이고, 네 번째 차선 확률맵 중에서의 확률은 0.2라고 가정하면, 즉 제1 화소점이 첫 번째, 두 번째, 세 번째 확률맵에 있을 확률은 모두 사전 설정 임계치보다 크거나 같으며, 이때, 제1 화소점이 세 번째 확률맵에 대응하는 유형에 속한다고 판단할 수 있다.

상기 처리를 통해 노이즈를 효과적으로 제거하는 목적을 달성할 수 있으며, 하나의 화소점이 다수의 차선 속성에 속하는 상황의 발생을 피할 수 있다.

다른 일 실시예에서, 전술한 바와 같이, 상기 M개의 확률맵 중의 M-N1-N2개의 배경 확률맵은 노면 배경에 대응된다.

선택적으로, R번째 배경 확률맵에 확률값이 사전 설정 임계치보다 크거나 같은 다수의 화소점이 포함되는 경우, 확률값이 사전 설정 임계치보다 큰 다수의 화소점에 따라 상기 다수의 화소점이 속하는 배경 유형을 확정하며, 그 중 상기 R번째 배경 확률맵은 상기 M-N1-N2개의 배경 확률맵 중의 어느 하나의 배경 확률맵이다.

먼저, 노면 이미지를 신경망에 입력한 후, 신경망이 출력한 R번째 배경 확률맵 중에서, 각 화소점은 모두 하나의 확률값을 가지며, 확률값이 사전 설정 임계치보다 크거나 같다면, 상기 화소점이 노면 배경에 속할 확률이 비교적 크다는 것을 설명한다.

나아가, S번째 배경 확률맵으로부터 확률값이 사전 설정 임계치보다 크거나 같은 다수의 화소점을 선택한 후, 이러한 선택된 화소점에 대해 예컨대 최대 연결 도메인을 구하는 계산을 수행함으로써, S번째 배경 확률맵에 대응되는 노면 배경을 획득할 수 있다.

또한, 상기 실시예를 통해 노면 이미지 중의 차선 속성을 확정한 후, 선택적으로, 상기 노면 이미지 중의 화소점이 속한 차선 속성에 따라, 상기 노면 이미지 중의 화소점의 형상과 색상을 조정할 수 있다.

도 3은 본 발명의 실시예가 제공하는 차선 속성 검출방법의 또 다른 일 실시예의 흐름도로서, 도 3에 도시된 바와 같이, 상기 방법은 이하 단계를 더 포함한다:

S301: 상기 M개의 확률맵에 대해 융합 처리를 수행하여 하나의 목표 확률맵을 획득하는 단계.

상기 M개의 확률맵은 각각 하나의 차도 유형, 노변 유형 또는 배경 유형에 대응되며, 상기 M개의 확률맵을 사용하여 각각 해당 유형의 차선, 노변 및 노면 배경을 피팅한 후, 상기 M개의 확률맵을 하나의 목표 확률맵으로 융합할 수 있다. 상기 목표 확률맵에는 해당 유형의 차선, 노변 및 노면 배경의 정보가 포함된다.

일 선택적 구현예에서, 상기 S301은 메모리에 저장된 해당 명령을 호출하는 프로세서에 의해 실행될 수도 있고, 프로세서에 의해 작동하는 융합모듈(804)을 통해 실행될 수도 있다.

S302: 상기 목표 확률맵 중 제2 확률맵에 대응하는 화소점의 화소값을 상기 제2 확률맵에 대응하는 사전 설정 화소값으로 조정하는 단계.

여기서, 상기 제2 확률맵은 상기 M개의 확률맵 중의 어느 하나의 확률맵이다.

선택적으로, 상기 M개의 확률맵은 각각 하나의 차도 유형, 노변 유형 또는 노면 배경에 대응되며, 차도 유형을 예로 들면, 백색 실선의 차도 유형은 "실선"의 형상과 "백색"이라는 색상을 지니며, 따라서, 제2 확률맵에 대응하는 화소점의 화소값의 조정을 통해, 제2 확률맵에 대응하는 화소점이 백색 실선의 표시 효과를 나타내도록 할 수 있다.

여기서, 상기 제2 확률맵에 대응하는 화소점이란 제2 확률맵 중 확률값이 사전 설정값보다 크거나 같으면서, 또한 이를 기초로 차선, 노변 또는 노면 배경을 피팅할 수 있는 화소점을 말한다.

일 선택적 구현예에서, 상기 S302는 메모리에 저장된 해당 명령을 호출하는 프로세서에 의해 실행될 수도 있고, 프로세서에 의해 작동하는 조정모듈(805)을 통해 실행될 수도 있다.

본 실시예에서, 노면 이미지 중 제2 확률맵에 대응하는 다수의 화소점의 형상 및 색상을 조정하여 차량 내부에 위치한 사용자가 노면 상의 차도 유형, 노변 유형 및 노면 배경을 보다 직관적이고도 분명하게 관찰할 수 있도록 함으로써, 사용자의 느낌을 향상시킬 수 있다.

상기 실시예를 기초로, 본 실시예는 신경망을 통해 상기 M개의 확률맵을 획득하는 과정에 관한 것이다.

도 4는 본 발명의 실시예가 제공하는 차선 속성 검출방법의 또 다른 일 실시예의 흐름도로서, 도 4에 도시된 바와 같이, 신경망을 통해 M개의 확률맵을 획득하는 과정은 다음과 같다:

S401: 상기 신경망의 적어도 하나의 컨볼루션층을 통해 상기 노면 이미지의 M개 채널의 저층 특징 정보를 추출하는 단계.

선택적으로, 컨볼루션층을 통해 노면 이미지의 해상도를 축소시키고, 노면 이미지의 저층 특징을 남겨둘 수 있다.

예시적으로, 노면 이미지의 저층 특징 정보는 이미지 중의 에지 정보, 직선 정보 및 곡선 정보 등을 포함할 수 있다.

선택적으로, 상기 노면 이미지의 M개의 채널은 각각 하나의 차도 유형, 노변 유형 또는 노면 배경에 대응된다.

일 선택적 구현예에서, 상기 S401은 메모리에 저장된 해당 명령을 호출하는 프로세서에 의해 실행될 수도 있고, 프로세서에 의해 작동하는 제1 획득모듈(8021)을 통해 실행될 수도 있다.

S402: 상기 신경망의 적어도 하나의 잔류 네트워크 유닛을 통해 상기 M개 채널의 저층 특징 정보를 기초로 상기 노면 이미지의 M개 채널의 고층 특징 정보를 추출하는 단계.

선택적으로, 잔류 네트워크 유닛을 통해 추출된 노면 이미지의 M개 채널의 고층 특징 정보는 의미 특징, 윤곽, 전체적인 구조 등을 포함한다.

일 선택적 구현예에서, 상기 S402는 메모리에 저장된 해당 명령을 호출하는 프로세서에 의해 실행될 수도 있고, 프로세서에 의해 작동하는 제2 획득모듈(8022)을 통해 실행될 수도 있다.

S403: 상기 신경망의 적어도 하나의 업샘플링층을 통해 상기 M개 채널의 고층 특징 정보에 대해 업샘플링을 수행하여, 상기 노면 이미지와 같은 크기의(즉 크기가 동일한) M개의 확률맵을 획득하는 단계.

선택적으로, 업샘플링층의 업샘플링 처리를 통해, 이미지를 신경망에 입력되는 이미지의 원래 크기로 복원시킬 수 있다.

본 단계에서, M개 채널의 고층 특징 정보에 대해 업샘플링 처리를 수행한 후, 신경망에 입력된 노면 이미지와 같은 크기의 M개의 확률맵을 획득할 수 있다.

일 선택적 구현예에서, 상기 S403은 메모리에 저장된 해당 명령을 호출하는 프로세서에 의해 실행될 수도 있고, 프로세서에 의해 작동하는 제3 획득모듈(8023)을 통해 실행될 수도 있다.

설명해두어야 할 점으로, 본 발명의 실시예의 상기 저층 특징 정보와 고층 특징 정보는 하나의 특정 신경망에서의 상대적인 개념이다. 예를 들어, 심층 신경망에서, 심도가 비교적 얕은 네트워크층에서 추출된 특징은 심도가 비교적 깊은 네트워크층에서 추출된 특징과 상대적이며, 전자에서 추출된 것은 저층 특징 정보에 속하고, 후자에서 추출된 것은 즉 고층 특징 정보에 속한다.

또한, 선택적으로, 신경망 중 상기 업샘플링층 이후, 정규화층을 더 포함할 수 있으며, 정규화층을 통해 상기 M개의 확률맵을 출력한다.

예시적으로, 업샘플링 처리를 거친 후 노면 이미지의 특징맵을 획득하며, 상기 특징맵 중의 각 화소점의 취득값에 대해 정규화 처리를 수행하여, 특징맵 중의 각 화소점의 취득값이 0 내지 1 범위 이내가 되도록 함으로써, M개의 확률맵을 획득한다.

예시적으로, 일종의 정규화 방법은 먼저 특징맵 중 화소점 취득값의 최대치를 확정한 다음, 각 화소점의 취득값을 상기 최대값으로 나누어, 특징맵 중 각 화소점의 취득값이 0 내지 1의 범위 이내가 되도록 하는 것이다.

설명해두어야 할 점으로, 본 발명의 실시예는 상기 단계 S401과 S402의 실행 순서에 대해 제한을 두지 않으며, 즉 먼저 S401을 실행한 다음 S402를 실행하거나, 또는 먼저 S402를 실행한 다음 S401을 실행해도 된다.

상기 실시예를 기초로, 본 실시예는 상기 신경망의 구축 훈련 과정에 관한 것이다.

선택적으로, 전술한 실시예를 바탕으로 알 수 있듯이, 본 발명의 실시예와 관련된 신경망은 컨볼루션 신경망이며, 컨볼루션 신경망은 컨볼루션층, 잔류 네트워크 유닛, 업샘플링층 및 정규화층을 포함할 수 있다. 그 중, 컨볼루션층과 잔류 네트워크 유닛의 선후 순서는 필요에 따라 자유롭게 설정할 수 있고, 이밖에, 각 층의 수량 역시 필요에 따라 자유롭게 설정할 수 있다.

일종의 선택적인 방식에서, 상기 컨볼루션 신경망에는 연결되는 6-10 중 임의의 수량의 컨볼루션층, 연결되는 7-12 중 임의의 수량의 잔류 네트워크 유닛 및 1-4 중 임의의 수량의 업샘플링층을 포함할 수 있다.

상기 특정 구조를 갖는 컨볼루션 신경망을 차선 속성 검출에 사용 시, 여러 장면 또는 복잡한 장면의 차선 속성 검출 요구를 만족시킬 수 있으며, 이에 따라 검출 결과의 강건성이 더욱 우수해진다.

일종의 구현예에서, 상기 컨볼루션 신경망에는 연결되는 8개의 컨볼루션층, 연결되는 9개의 잔류 네트워크 유닛 및 연결되는 2개의 업샘플링층을 포함할 수 있다.

도 5는 상기 구현예에 대응되는 컨볼루션 신경망의 구조도로서, 도 5에 도시된 바와 같이, 노면 이미지를 입력 후, 먼저 상기 컨볼루션 신경망의 연속되는 8개의 컨볼루션층을 거치고, 상기 연속되는 8개의 컨볼루션층 이후, 연속되는 9개의 잔류 네트워크 유닛을 포함하며, 상기 연속되는 9개의 잔류 네트워크 유닛 이후, 연속되는 2개의 업샘플링층을 포함하고, 상기 연속되는 2개의 업샘플링층 이후는 정규화층으로서, 즉 최종적으로 정규화층을 통해 확률맵을 출력한다.

예시적으로, 각각의 상기 잔류 네트워크 유닛에는 256개의 여파기가 포함될 수 있으며, 각층마다 128개의 3*3 및 128개의 1*1 크기의 여파기를 포함한다.

선택적으로, 신경망을 사용하여 노면 이미지에 대응하는 확률맵을 확정하기 전, 상기 노면 훈련 이미지세트를 사용하여 상기 신경망에 대해 훈련을 실시할 수 있다.

도 6은 본 발명의 실시예가 제공하는 차선 속성 검출방법의 또 다른 일 실시예의 흐름도로서, 도 6에 도시된 바와 같이, 상기 신경망의 훈련 과정은 다음과 같을 수 있다:

S601: 상기 노면 훈련 이미지세트에 포함된 훈련용 이미지를 상기 신경망에 입력하여, 상기 훈련용 이미지의 예측 차도 유형 확률맵 또는 예측 노변 유형 확률맵을 획득하는 단계.

여기서, 상기 예측 차도 유형 확률맵 또는 예측 노변 유형 확률맵은 바로 신경망이 현재 출력한 차도 유형 확률맵 또는 노변 유형 확률맵이다.

S602: 상기 예측 차도 유형 확률맵 또는 예측 노변 유형 확률맵에 포함된 확률값이 사전 설정 임계치보다 크거나 같은 다수의 화소점에 따라, 상기 다수의 화소점이 속한 예측 차도 유형 또는 예측 노변 유형을 확정하는 단계.

구체적인 과정은 상기 차도 유형 확률맵과 노변 유형 확률맵에 따라 노면 이미지 중의 차선을 확정하는 부분을 참조하면 되므로, 여기서는 중복 설명을 생략한다.

S603: 상기 훈련용 이미지의 예측 차도 유형과 상기 훈련용 이미지의 차도 유형 실제맵 중의 차도 유형 간의 제1 손실, 및/또는, 상기 훈련용 이미지의 예측 노변 유형과 상기 훈련용 이미지의 노변 유형 실제맵 중의 노변 유형 간의 제2 손실을 획득하는 단계, 여기서, 상기 차도 유형 실제맵은 상기 훈련용 이미지의 차도 유형 표시 정보를 기초로 획득되고, 상기 노변 유형 실제맵은 상기 훈련용 이미지의 노변 유형 표시 정보를 기초로 획득된다.

선택적으로, 손실 함수의 적용을 통해, 예측 차도 유형과 차도 유형 실제맵의 노변 유형, 및 예측 노변 유형과 노변 유형 실제맵의 노변 유형 간의 손실을 계산할 수 있다.

S604: 상기 제1 손실 및/또는 제2 손실에 따라 상기 신경망의 네트워크 파라미터를 조정하는 단계.

선택적으로, 신경망의 네트워크 파라미터는 컨볼루션 커널의 크기, 가중치 정보 등을 포함할 수 있다.

본 단계에서, 기울기 역전파 방식을 통해 상기 손실을 신경망에서 반대 방향으로 역전송하여, 신경망의 네트워크 파라미터를 조정할 수 있다.

일 선택적 구현예에서, 상기 S601-S604는 메모리에 저장된 해당 명령을 호출하는 프로세서에 의해 실행될 수도 있고, 프로세서에 의해 작동하는 훈련모듈을 통해 실행될 수도 있다.

본 단계를 거친 후, 한 번의 훈련 과정이 완료되며, 새로운 신경망이 획득된다.

나아가, 상기 새로운 신경망에 기초하여, 상기 예측 차도 유형 확률맵과 차도 유형 실제맵 중의 차도 유형 간의 제1 손실이 사전 설정된 손실 범위 내에 있고, 및/또는 예측 노변 유형 확률맵과 노변 유형 실제맵 중의 노변 유형 간의 제2 손실이 사전 설정된 손실 범위 내에 있을 때까지 상기 단계 S601-S604를 반복 실행하며, 이때 훈련이 완료된 컨볼루션 신경망을 획득하게 된다.

예시적으로, 한 번에 한 프레임씩 훈련용 이미지를 이용하여 신경망에 대해 훈련을 실시하거나, 또는 한 번에 여러 프레임의 훈련용 이미지를 이용하여 신경망을 훈련시킬 수도 있다.

상기 실시예를 기초로, 본 실시예는 상기 훈련용 이미지를 생성하는 과정에 관한 것이다.

도 7은 본 발명의 실시예가 제공하는 차선 속성 검출방법의 또 다른 일 실시예의 흐름도로서, 도 7에 도시된 바와 같이, 상기 신경망을 훈련하기 전, 이하 단계를 더 포함한다:

S701: 다수의 장면에서의 노면 이미지를 수집하는 단계.

S702: 상기 다수의 장면에서의 노면 이미지에 대해 차선 속성을 표시한 후 획득된 이미지를 상기 훈련용 이미지로 삼는 단계.

여기서, 상기 다수의 장면은 우천 장면, 안개 장면, 직선 도로 장면, 굽은 도로 장면, 터널 장면, 강한 빛이 조사되는 장면 및 야간 장면 등의 장면 중의 적어도 2개 장면의 임의의 하나 또는 다수를 포함할 수 있으나, 이에 한정되지 않는다.

선택적으로 미리 차량 상의 카메라 등 차량 탑재 장치를 사용하여 각각 상기 각 장면에서 노면 이미지를 수집할 수 있으며, 나아가, 수동 표시 등 방식을 통해 수집된 노면 이미지 상의 차도 유형, 노변 유형을 표시함으로써 각 장면에서의 훈련용 이미지를 획득할 수 있다.

일 선택적 구현예에서, 상기 S701-S702는 메모리에 저장된 해당 명령을 호출하는 프로세서에 의해 실행될 수도 있고, 프로세서에 의해 작동하는 수집모듈(806)을 통해 실행될 수도 있다.

상기 과정을 통해 획득된 훈련용 이미지는 실제 중의 각 장면을 커버하며, 따라서 이러한 훈련용 이미지를 사용하여 훈련된 신경망은 각종 장면 하에서의 차선 속성 검출에 대해 모두 양호한 강건성을 지닐 뿐만 아니라, 검출 시간이 짧고, 검출 결과의 정확성이 높다.

일종의 선택적 실시방식으로서, 상기 단계 S202는 노면 이미지를 신경망에 입력하기 전, 먼저 상기 노면 이미지에 대해 왜곡 제거 처리를 수행함으로써, 신경망 출력 결과의 정확성을 더욱 향상시킬 수 있다.

상기 각 실시예를 기초로, 또한, 노면 이미지 중의 차선 속성을 확정한 후, 상기 노면 이미지 중의 차도 유형 및 노변 유형을 세계좌표계에 매핑하여, 세계좌표계에서의 차도 유형 정보 및 노변 유형 정보를 획득할 수도 있다.

선택적으로, 노면 이미지 중 하나의 특정 차도 유형에 속하는 다수의 화소점에 대하여, 각각 이러한 화소점을 세계좌표계에 매핑시켜, 이러한 화소점의 세계좌표계에서의 좌표를 획득하며, 획득된 세계좌표계에서의 좌표에 대응되는 차도 유형이 바로 상기 특정 차도 유형이다.

도 8은 본 발명의 실시예가 제공하는 차선 속성 검출장치의 일 실시예의 모듈 구조도로서, 상기 실시예의 차선 속성 검출장치는 본 발명의 상기 각 차선 속성 검출방법의 실시예를 구현하는데 응용될 수 있다. 도 8에 도시된 바와 같이, 상기 장치는

차량에 장착되는 차량탑재 장치가 수집한 노면 이미지를 획득하기 위한 제1 획득모듈(801);

상기 노면 이미지를 신경망에 입력하여, 상기 신경망을 통해 상기 노면 이미지에 대응하는 M개의 확률맵을 출력하기 위한 제2 획득모듈(802), 상기 M개의 확률맵은 N1개의 차도 유형 확률맵과 N2개의 노변 유형 확률맵을 포함하며, 그 중 상기 N1개의 차도 유형 확률맵은 노면 이미지 중의 화소점이 각각 N1개의 차도 유형에 속할 확률을 나타내고, 상기 N2개의 노변 유형 확률맵은 노면 이미지 중의 화소점이 각각 N2개의 노변 유형에 속할 확률을 나타내며, N1과 N2는 각각 양의 정수이고, M은 N1과 N2의 합보다 크거나 같은 정수이며;

상기 차도 유형 확률맵과 노변 유형 확률맵에 따라, 상기 노면 이미지 중의 차선 속성을 확정하기 위한 제1 확정모듈(803)을 포함한다.

상기 장치는 전술한 방법의 실시예를 구현하기 위한 것이며, 그 구현 원리와 기술효과가 유사하므로, 여기서는 중복 설명을 생략한다.

또 다른 실시예에서, 상기 N1개의 차도 유형은 백색 점선, 백색 실선, 이중 백색 점선, 이중 백색 실선, 백색 점선과 실선, 백색 실선과 점선, 황색 점선, 황색 실선, 이중 황색 점선, 이중 황색 실선, 황색 점선과 실선, 황색 실선과 점선, 지그재그 실선 등 중의 어느 하나 또는 다수를 포함할 수 있으나, 이에 한정되지 않는다.

또 다른 실시예에서, 상기 N2개의 노변 유형은 좌측 노변, 우측 노변, 좌측 펜스, 우측 펜스 등 중의 어느 하나 또는 다수를 포함할 수 있으나, 이에 한정되지 않는다.

또 다른 실시예에서, 상기 M은 N1과 N2의 합보다 큰 정수이고, 상기 M개의 확률맵에는 M-N1-N2개의 배경 확률맵이 더 포함될 수 있으며, 상기 M-N1-N2개의 배경 확률맵은 노면 이미지 중의 화소점이 배경 유형에 속할 확률을 나타낸다.

도 9는 본 발명의 실시예가 제공하는 차선 속성 검출장치의 또 다른 일 실시예의 모듈 구조도로서, 도 9에 도시된 바와 같이, 제1 확정모듈(803)은,

L번째의 차도 유형 확률맵에 확률값이 사전 설정 임계치보다 크거나 같은 다수의 화소점이 포함된 경우, 확률값이 사전 설정값보다 크거나 같은 다수의 화소점에 따라 상기 다수의 화소점이 속한 차도 유형을 확정하기 위한 제1 확정유닛(8031)을 포함하며, 여기서, 상기 제L번째 차도 유형 확률맵은 상기 N1개의 차도 유형 확률맵 중의 어느 하나의 차도 유형 확률맵이다.

도 10은 본 발명의 실시예가 제공하는 차선 속성 검출장치의 또 다른 일 실시예의 모듈 구조도로서, 도 10에 도시된 바와 같이, 제1 확정모듈(803)은 또한,

S개의 노변 유형 확률맵에 확률값이 사전 설정 임계치보다 크거나 같은 다수의 화소점이 포함된 경우, 확률값이 사전 설정값보다 크거나 같은 다수의 화소점에 따라 상기 다수의 화소점이 속한 노변 유형을 확정하기 위한 제2 확정유닛(8032)을 더 포함하며, 여기서, 상기 S번째 노변 유형 확률맵은 상기 N2개의 차도 유형 확률맵 중의 어느 하나의 노변 유형 확률맵이다.

도 11은 본 발명의 실시예가 제공하는 차선 속성 검출장치의 또 다른 일 실시예의 모듈 구조도로서, 도 11에 도시된 바와 같이, 제1 확정모듈(803)은 또한,

상기 M개 확률맵 중의 다수의 확률맵에 대응되는 제1 화소점의 확률값이 모두 사전 설정 임계치보다 크거나 같을 경우, 상기 제1 화소점을 제1 확률맵에 대응되는 유형을 확정 시의 화소점으로 삼기 위한 제3 확정유닛(8033)을 더 포함하며, 여기서, 상기 제1 확률맵은 상기 다수의 확률값 중 최대 확률값에 대응되는 확률맵이다.

도 12는 본 발명의 실시예가 제공하는 차선 속성 검출장치의 또 다른 일 실시예의 모듈 구조도로서, 도 12에 도시된 바와 같이,

상기 M개의 확률맵에 대해 융합 처리를 수행하여 목표 확률맵을 획득하기 위한 융합모듈(804);

상기 목표 확률맵 중 제2 확률맵에 대응되는 화소점의 화소값을 상기 제2 확률맵에 대응되는 사전 설정 화소값으로 조정하기 위한 조정모듈(805)을 더 포함하며, 여기서, 상기 제2 확률맵은 상기 M개의 확률맵 중의 어느 하나의 확률맵이다.

도 13은 본 발명의 실시예가 제공하는 차선 속성 검출장치의 또 다른 일 실시예의 모듈 구조도로서, 도 13에 도시된 바와 같이, 제2 획득모듈(802)은,

상기 신경망의 적어도 하나의 컨볼루션층을 통해 상기 노면 이미지의 M개 채널의 저층 특징 정보를 추출하기 위한 제1 획득유닛(8021);

상기 신경망의 적어도 하나의 잔류 네트워크 유닛을 통해 상기 M개 채널의 저층 특징 정보에 기초하여 상기 노면 이미지의 M개 채널의 고층 특징 정보를 추출하기 위한 제2 획득유닛(8022);

상기 신경망의 적어도 하나의 업샘플링층을 통해 상기 M개 채널의 고층 특징 정보에 대해 업샘플링 처리를 수행하여 상기 노면 이미지와 같은 크기의 M개의 확률맵을 획득하기 위한 제3 획득유닛(8023)을 포함한다.

또 다른 일 실시예에서, 상기 적어도 하나의 컨볼루션층은 연결되는 6-10 중의 임의의 수량의 컨볼루션층을 포함하고, 상기 적어도 하나의 잔류 네트워크 유닛은 연결되는 7-12 중의 임의의 수량의 잔류 네트워크 유닛을 포함하며, 상기 적어도 하나의 업샘플링층은 연결되는 1-4 중의 임의의 수량의 업샘플링층을 포함한다.

도 14는 본 발명의 실시예가 제공하는 차선 속성 검출장치의 또 다른 일 실시예의 모듈 구조도로서, 도 14에 도시된 바와 같이,

차도 유형, 노변 유형 및/또는 비차선 표시 정보를 포함하는 노면 훈련 이미지세트를 이용하여 감독 훈련시켜 상기 신경망을 획득하기 위한 훈련모듈(미도시)을 더 포함한다.

선택적으로, 상기 훈련모듈은, 상기 노면 훈련 이미지세트에 포함된 훈련용 이미지를 상기 신경망에 입력하여, 상기 훈련용 이미지의 예측 차도 유형 확률맵 또는 예측 노변 유형 확률맵을 획득하고; 상기 예측 차도 유형 확률맵 또는 상기 예측 노변 유형 확률맵에 포함된 확률값이 사전 설정 임계치보다 크거나 같은 다수의 화소점에 따라, 상기 다수의 화소점이 속한 예측 차도 유형 또는 예측 노변 유형을 확정하며; 상기 훈련용 이미지의 예측 차도 유형과 상기 훈련용 이미지의 차도 유현 실제맵 중의 차도 유형 간의 제1 손실, 및/또는, 상기 훈련용 이미지의 예측 노변 유형과 상기 훈련용 이미지의 노변 유형 실제맵 중의 노변 유형 간의 제2 손실을 획득하며, 여기서, 상기 차도 유형 실제맵은 상기 훈련용 이미지의 차도 유형의 표시 정보에 기초하여 획득되고, 상기 노변 유형 실제맵은 상기 훈련용 이미지의 노변 유형의 표시 정보에 기초하여 획득되며; 상기 제1 손실 및/또는 상기 제2 손실에 따라 상기 신경망의 네트워크 파라미터를 조정하기 위한 것이다.

선택적으로, 도 14에 도시된 바와 같이,

다수의 장면에서의 노면 이미지를 수집하고, 상기 다수의 장면에서의 노면 이미지에 대해 차선 속성을 표시한 후 획득된 이미지를 상기 훈련용 이미지로 삼기 위한 수집모듈(806)을 더 포함한다.

여기서, 상기 다수 장면은 우천 장면, 안개 장면, 직선도로 장면, 굽은 도로 장면, 터널 장면, 강한 광선이 조사되는 장면 및 야간 장면 중의 적어도 2개의 장면의 하나 또는 다수를 포함할 수 있다.

도 15는 본 발명의 실시예가 제공하는 차선 속성 검출장치 실시예 8의 모듈 구조도로서, 도 15에 도시된 바와 같이,

상기 노면 이미지에 대해 왜곡 제거 처리를 수행하기 위한 사전처리모듈(807)을 더 포함한다.

도 16은 본 발명의 실시예가 제공하는 차선 속성 검출장치 실시예 9의 모듈 구조도로서, 도 16에 도시된 바와 같이,

상기 노면 이미지 중의 차도 유형 및 노변 유형을 세계좌표계에 매핑하여, 세계좌표계에서의 차도 유형 정보 및 노변 유형 정보를 획득하기 위한 매핑모듈(808)을 더 포함한다.

도 17은 본 발명의 실시예가 제공하는 전자장치의 실체 블록도로서, 도 17에 도시된 바와 같이, 상기 전자장치(1700)는

프로그램 명령을 저장하기 위한 메모리(1701);

상기 제1 측면의 상기 방법 단계를 실행하도록, 메모리(1701) 중의 프로그램 명령을 호출하여 실행하기 위한 프로세서(1702)를 포함한다.

도 18은 본 발명의 실시예가 제공하는 주행 제어방법의 흐름도로서, 상기 실시예를 기초로, 본 발명의 실시예는 주행 제어방법을 더 제공하여, 이는 이하 단계를 포함한다:

S1801: 주행제어장치가 노면 이미지의 차선 속성 검출 결과를 획득하는 단계.

일 선택적 구현예에서, 상기 S1801은 메모리에 저장된 해당 명령을 호출하는 프로세서에 의해 실행될 수도 있고, 프로세서에 의해 작동되는 제3 획득모듈 (1901)을 통해 실행될 수도 있다.

S1802: 주행 제어장치가 상기 차선 속성 검출 결과에 따라 안내 메시지를 출력하거나 및/또는 차량에 대해 지능형 주행 제어를 수행한다.

일 선택적 구현예에서, 상기 S1802는 메모리에 저장된 해당 명령을 호출하는 프로세서에 의해 실행될 수도 있고, 프로세서에 의해 작동되는 주행 제어모듈(1902)을 통해 실행될 수도 있다.

본 실시예의 실행 주체는 주행제어장치이며, 본 실시예의 주행제어장치와 상기 실시예의 상기 전자장치는 동일한 장치에 위치할 수도 있고, 상이한 장치에 단독으로 설치될 수도 있다. 그 중 본 실시예의 주행제어장치와 상기 전자장치 사이는 통신 연결된다.

여기서, 노면 이미지의 차선 속성 검출 결과는 상기 실시예의 차선 속성 검출 방법을 통해 획득되며, 구체적인 과정은 상기 실시예의 기재를 참조하면 되므로, 여기서는 중복 설명을 생략한다.

선택적으로, 전자장치는 상기 차선 속성 검출방법을 실행하여, 노면 이미지의 차선 속성 검출 결과를 획득하고, 노면 이미지의 차선 속성 검출 결과를 출력한다. 주행제어장치는 노면 이미지의 차선 속성 검출 결과를 획득하고, 노면 이미지의 차선 속성 검출 결과에 따라 안내 메시지를 출력하거나 및/또는 차량에 대해 지능형 주행제어를 수행한다.

여기서, 안내 메시지는 차선 이탈 사전경보 안내, 또는 차선 유지 안내 등을 포함할 수 있다.

본 실시예의 지능형 주행은 주행 보조, 자율주행 및/또는 주행 보조와 자율주행 간의 주행모드 변환을 포함한다.

상기 지능형 주행 제어는 제동, 주행속도 변경, 주행방향 변경, 차선 유지, 램프 상태 변경, 주행모드 변환 등을 포함할 수 있으며, 여기서, 주행모드 변환은 주행 보조와 자율주행 간의 변환, 예를 들어 주행 보조를 자율주행으로 변환하는 것일 수 있다.

본 실시예가 제공하는 주행 제어방법은, 주행제어장치가 노면 이미지의 차선 속성 검출 결과를 획득하고, 노면 이미지의 차선 속성 검출 결과에 따라 안내 메시지를 출력하거나 및/또는 차량에 대해 지능형 주행 제어를 수행하는 단계를 통해, 지능형 주행의 안전성과 신뢰성을 향상시킨다.

도 19는 본 발명의 실시예가 제공하는 주행제어장치의 구조도로서, 상기 실시예의 주행제어장치는 본 발명의 상기 각 주행제어방법의 실시예를 구현하기 위한 것일 수 있다. 도 10에 도시된 바와 같이, 상기 실시예를 기초로, 본 발명의 실시예의 주행제어장치(1900)는,

상기 차선 속성 검출 방법을 이용하여 획득되는 노면 이미지의 차선 속성 검출 결과를 획득하기 위한 제3 획득모듈(1901);

상기 차선 속성 검출 결과에 따라 안내 메시지를 출력하거나 및/또는 차량에 대해 지능형 주행 제어를 수행하기 위한 주행 제어모듈(1902)을 포함한다.

본 발명의 실시예의 주행제어장치는 상기 방법의 실시예의 기술방안을 실행하기 위한 것일 수 있으며, 그 구현원리와 기술효과가 유사하므로, 여기서는 중복 설명을 생략한다.

도 20은 본 발명의 실시예가 제공하는 지능형 주행 시스템의 개략도로서, 도 20에 도시된 바와 같이, 본 실시예의 지능형 주행 시스템(2000)은 통신 연결되는 카메라(2001), 전자장치(1700) 및 주행제어장치(1900)를 포함하며, 그 중, 전자장치(1700)는 도 17에 도시된 바와 같고, 주행제어장치(1900)는 도 19에 도시된 바와 같으며, 카메라(2001)는 노면 이미지를 촬영하기 위한 것이다.

선택적으로, 도 20에 도시된 바와 같이, 실제 사용 시, 카메라(2001)가 노면 이미지를 촬영하고, 노면 이미지를 전자장치(1700)로 전송하며, 전자장치(1700)는 노면 이미지를 수신한 후, 상기 차선 속성 검출 방법에 따라 노면 이미지를 처리하여 노면 이미지의 차선 속성 검출 결과를 획득한다. 이어서, 전자장치(1700)는 획득된 노면 이미지의 차선 속성 검출 결과를 주행제어장치(1900)로 전송하며, 주행제어장치(1900)는 노면 이미지의 차선 속성 검출 결과에 따라 안내 메시지를 출력하거나 및/또는 차량에 대해 지능형 주행 제어를 수행한다.

도 21은 본 발명의 전자장치의 일 응용 실시예의 구조도이다. 이하 도 21을 참고하면, 본 발명의 실시예를 구현하기 위한 단말장치 또는 서버에 적용되는 전자장치의 구조도를 도시한 것이다. 도 21에 도시된 바와 같이, 상기 전자장치는 하나 또는 다수의 프로세서, 통신부 등을 포함하고, 하나 또는 다수의 프로세서는 예를 들어 하나 또는 다수의 중앙처리장치(CPU)(2101), 및/또는 하나 또는 다수의 이미지 처리장치(GPU)(2113) 등을 포함하며, 프로세서는 리드 온리 메모리(ROM)(2102)에 저장된 실행 가능한 명령 또는 저장부분(2108)으로부터 랜덤 액세서 메모리(RAM)(2103)에 로드된 실행 가능한 명령에 따라 각종 적당한 동작과 처리를 실행할 수 있다. 통신부(2112)는 네트워크 카드를 포함할 수 있으나 이에 한정되지 않으며, 네트워크 카드는 IB(Infiniband) 네트워크 카드를 포함할 수 있으나 이에 한정되지 않고, 프로세서는 리드 온리 메모리(2102) 및/또는 랜덤 액세스 메모리(2103)와 통신하여 실행 가능한 명령을 실행시키고, 버스(2104)를 통해 통신부(2112)와 연결될 수 있으며, 통신부(2112)를 통해 다른 목표 장치와 통신함으로써 본 발명의 실시예가 제공하는 어느 하나의 차선 속성 검출 또는 어느 하나의 주행 제어방법에 대응하는 조작을 완수한다.

이밖에, RAM(2103)에는 장치의 조작에 필요한 각종 프로그램과 데이터가 더 저장될 수 있다. CPU(2101), ROM(2102) 및 RAM(2103)은 버스(2104)를 통해 서로 연결된다. RAM(2103)이 있는 경우, ROM(2102)은 선택적 모듈이다. RAM(2103)은 실행 가능한 명령을 저장하거나, 또는 연산 시 ROM(2102)에 실행 가능한 명령을 입력하며, 실행 가능한 명령을 통해 프로세서(2101)가 본 발명의 상기 어느 하나의 방법에 대응하는 조작을 실행한다. 입/출력(I/O) 인터페이스(2105) 역시 버스(2104)에 연결된다. 통신부(2112)는 집적되어 설치될 수도 있고, 다수의 서브모듈(예컨대 다수의 IB 네트워크 카드)를 구비하도록 설치되어 버스에 연결될 수도 있다.

키보드, 마우스 등의 입력부분(2106); 음극선관(CRT), 액정디스플레이(LCD) 등 및 스피커 등을 포함하는 출력부분(2107); 하드디스크 등을 포함하는 저장부분(2108); 및 LAN카드, 모뎀 등의 네트워크 인터페이스 카드를 포함하는 통신부분(2109)이 I/O 인터페이스(2105)에 연결된다. 통신부분(2109)은 인터넷과 같은 네트워크를 통해 통신 처리를 실행하며, 드라이버(2110) 역시 필요에 따라 I/O 인터페이스(2105)에 연결된다. 분리형 매체(2111), 예를 들어 자기디스크, 광디스크, 광자기 디스크, 반도체 메모리 등등은 이들로부터 읽어 들인 컴퓨터 프로그램을 필요에 따라 저장부분(2108)에 장착할 수 있도록, 필요한 경우 드라이버(2110)에 장착된다.

설명해두어야 할 점으로, 도 21에 도시된 구조는 단지 선택적인 구현방식일 뿐이며, 구체적인 실천 과정에서, 실제 필요에 따라 상기 도 21의 부품 수량과 유형을 선택, 삭감, 증가 또는 교체할 수 있다. 상이한 기능부재의 설치에 있어서, 분리 설치 또는 집적 설치 등의 구현방식을 채택할 수 있으며, 예를 들어 GPU와 CPU를 분리 설치하거나 또는 GPU를 CPU에 집적시키고, 통신부는 분리 설치할 수도 있고, CPU 또는 GPU에 집적 설치할 수도 있는 등등이다. 이러한 교체 가능한 구현방식은 모두 본 발명이 공개하는 보호범위에 포함된다.

특히, 본 발명의 실시예에 따르면, 본문에서 흐름도를 참고하여 기재한 과정은 컴퓨터 소프트웨어 프로그램으로 구현될 수 있다. 예를 들어, 본 발명의 실시예는 유형적으로 기계 가독 매체에 속하는 컴퓨터 프로그램을 갖는 컴퓨터 프로그램 제품을 포함하고, 컴퓨터 프로그램은 흐름도에 도시된 방법을 실행하기 위한 프로그램 코드를 포함하며, 프로그램 코드는 본 발명의 어느 하나의 실시예가 제공하는 방법 단계를 실행하는데 대응되는 명령을 포함할 수 있다.

본 발명의 실시예가 제공하는 어느 하나의 방법은 단말장치와 서버 등을 포함하되 이에 한정되지 않는 데이터 처리 능력을 가진 임의의 적당한 장치를 통해 실행될 수 있다. 또는, 본 발명의 실시예가 제공하는 어느 하나의 방법은 프로세서에 의해 실행될 수 있으며, 프로세서는 메모리에 저장된 해당 명령을 호출하여 본 발명의 실시예에서 언급된 어느 하나의 방법을 실행할 수 있으며, 본 발명의 실시예는 중복 설명을 생략한다.

본 분야의 보통 기술자라면, 상기 방법의 실시예의 전부 또는 일부 단계의 구현이 프로그램 명령과 관련된 하드웨어를 통해 완수될 수 있음을 이해할 수 있을 것이며, 전술한 프로그램은 컴퓨터 가독 액세스 저장 매체에 저장될 수 있다. 상기 프로그램을 실행 시, 상기 방법의 실시예를 포함한 단계를 실행하며, 전술한 저장 매체는 ROM, RAM, 자기디스크 또는 광디스크 등 각종 프로그램 코드를 저장할 수 있는 매체를 포함한다.

다양한 방식으로 본 발명의 방법과 장치를 구현할 수 있으며, 예를 들어, 소프트웨어, 하드웨어, 펌웨어 또는 소프트웨어, 하드웨어, 펌웨어의 임의의 조합을 통해 본 발명의 방법과 장치를 구현할 수 있다. 상기 방법의 단계에 사용되는 상기 순서는 단지 설명을 위한 것일 뿐이며, 기타 방식으로 특별히 설명하지 않는 한, 본 발명의 방법의 단계는 위에서 선택적으로 기재된 순서에 한정되지 않는다. 또한, 일부 실시예에서, 본 발명이 기록 매체에 기록되는 프로그램으로 실시될 수도 있으며, 이러한 프로그램은 본 발명에 따른 방법을 구현하기 위한 기계 가독 명령을 포함한다. 따라서, 본 발명은 본 발명에 따른 방법을 실행하기 위한 프로그램을 저장하는 기록매체를 더 포함한다.

마지막으로, 이상의 내용은 단지 본 발명의 기술방안을 설명하기 위한 것이지 이를 제한하기 위한 것이 아니며, 비록 전술한 각 실시예를 참조하여 본 발명에 대해 상세히 설명하였으나, 본 분야의 보통 기술자라면, 전술한 각 실시예에 기재된 기술방안을 수정하거나 또는 그 중 일부 또는 전체 기술 특징에 대해 등가의 교체를 할 수 있으며, 이러한 수정 또는 교체는 결코 해당 기술방안의 본질이 본 발명의 각 실시예의 기술방안의 범위를 벗어나게 하지 않는다는 점을 이해하여야 한다.

Claims (35)

1. 차선 속성 검출 방법에 있어서,
   차량에 장착된 차량 탑재 장치가 수집한 노면 이미지를 획득하는 단계;
   상기 노면 이미지를 신경망에 입력하여, 상기 신경망을 통해 상기 노면 이미지에 대응하는 M개의 확률맵을 출력하는 단계, 상기 M개의 확률맵은 N1개의 차도 유형 확률맵과 N2개의 노변 유형 확률맵을 포함하며, 그 중 상기 N1개의 차도 유형 확률맵은 노면 이미지 중의 화소점이 각각 N1개의 차도 유형에 속할 확률을 나타내고, 상기 N2개의 노변 유형 확률맵은 노면 이미지 중의 화소점이 각각 N2개의 노변 유형에 속할 확률을 나타내며, N1과 N2는 각각 양의 정수이고, M은 N1과 N2의 합보다 크거나 같은 정수이며;
   상기 차도 유형 확률맵과 노변 유형 확률맵에 따라, 상기 노면 이미지 중의 차선 속성을 확정하는 단계;를 포함하는 것을 특징으로 하는 차선 속성 검출 방법.
2. 제1항에 있어서,
   상기 N1개의 차도 유형은 백색 점선, 백색 실선, 이중 백색 점선, 이중 백색 실선, 백색 점선과 실선, 백색 실선과 점선, 황색 점선, 황색 실선, 이중 황색 점선, 이중 황색 실선, 황색 점선과 실선, 황색 실선과 점선, 지그재그 실선 등 중의 어느 하나 또는 다수를 포함하는 것을 특징으로 하는 방법.
3. 제1항 또는 제2항에 있어서,
   상기 N2개의 노변 유형은 좌측 노변, 우측 노변, 좌측 펜스, 우측 펜스 등 중의 어느 하나 또는 다수를 포함하는 것을 특징으로 하는 방법.
4. 제1항 내지 제3항 중의 어느 한 항에 있어서,
   상기 M은 N1과 N2의 합보다 큰 정수이고, 상기 M개의 확률맵은 M-N1-N2개의 배경 확률맵을 더 포함하며, 상기 M-N1-N2개의 배경 확률맵은 상기 노면 이미지 중의 화소점이 배경 유형에 속할 확률을 나타내는 것을 특징으로 하는 방법.
5. 제1항 내지 제4항 중의 어느 한 항에 있어서,
   상기 차도 유형 확률맵과 상기 노변 유형 확률맵에 따라, 상기 노면 이미지 중의 차선 속성을 확정하는 단계는,
   L번째 차도 유형 확률맵에 확률값이 사전 설정 임계치보다 크거나 같은 다수의 화소점이 포함된 경우, 확률값이 사전 설정 임계치보다 크거나 같은 다수의 확률점에 따라 상기 다수의 화소점이 속한 차도 유형을 확정하는 단계를 포함하며,
   상기 L번째 차도 유형 확률맵은 상기 N1개의 차도 유형 확률맵 중의 어느 하나의 차도 유형 확률맵인 것을 특징으로 하는 방법.
6. 제1항 내지 제5항 중의 어느 한 항에 있어서,
   상기 차도 유형 확률맵과 상기 노변 유형 확률맵에 따라, 상기 노면 이미지 중의 차선 속성을 확정하는 단계는,
   S번째 노변 유형 확률맵에 확률값이 사전 설정 임계치보다 크거나 같은 다수의 화소점이 포함된 경우, 확률값이 사전 설정 임계치보다 크거나 같은 다수의 확률점에 따라 상기 다수의 화소점이 속한 노변 유형을 확정하는 단계를 포함하며,
   상기 S번째 노변 유형 확률맵은 상기 N2개의 차도 유형 확률맵 중의 어느 하나의 노변 유형 확률맵인 것을 특징으로 하는 방법.
7. 제1항 내지 제6항 중의 어느 한 항에 있어서,
   상기 차도 유형 확률맵과 상기 노변 유형 확률맵에 따라, 상기 노면 이미지 중의 차선 속성을 확정하는 단계는,
   상기 M개의 확률맵 중의 다수의 확률맵에 대응되는 제1 화소점의 확률값이 모두 사전 설정 임계치보다 크거나 같은 경우, 상기 제1 화소점을 제1 확률맵에 대응되는 유형으로 확정 시의 화소점으로 삼는 단계를 포함하며,
   상기 제1 확률맵은 상기 다수의 확률값 중 최대 확률값에 대응되는 확률맵인 것을 특징으로 하는 방법.
8. 제1항 내지 제7항 중의 어느 한 항에 있어서,
   상기 M개의 확률맵에 대해 융합 처리를 수행하여 목표 확률맵을 획득하는 단계;
   상기 목표 확률맵 중 제2 확률맵에 대응하는 화소점의 화소값을 상기 제2 확률맵에 대응하는 사전 설정 화소값으로 조정하는 단계를 더 포함하며,
   상기 제2 확률맵은 상기 M개의 확률맵 중의 어느 하나의 확률맵인 것을 특징으로 하는 방법.
9. 제1항 내지 제8항 중의 어느 한 항에 있어서,
   상기 신경망을 통해 상기 노면 이미지에 대응하는 M개의 확률맵을 출력하는 단계는,
   상기 신경망의 적어도 하나의 컨볼루션층을 통해 상기 노면 이미지의 M개 채널의 저층 특징 정보를 추출하는 단계;
   상기 신경망의 적어도 하나의 잔류 네트워크(residual network) 유닛을 통해 상기 M개 채널의 저층 특징 정보를 기초로 상기 노면 이미지의 M개 채널의 고층 특징 정보를 추출하는 단계;
   상기 신경망의 적어도 하나의 업샘플링층을 통해 상기 M개 채널의 고층 특징 정보에 대해 업샘플링 처리를 수행하여, 상기 노면 이미지와 같은 크기의 M개의 확률맵을 획득하는 단계;를 포함하는 것을 특징으로 하는 방법.
10. 제9항에 있어서,
    상기 적어도 하나의 컨볼루션층은 연결되는 6-10 중 임의의 수량의 컨볼루션층을 포함하고, 상기 적어도 하나의 잔류 네트워크 유닛은 연결되는 7-12 중 임의의 수량의 잔류 네트워크 유닛을 포함하며, 상기 적어도 하나의 업샘플링층은 연결되는 1-4 중 임의의 수량의 업샘플링층을 포함하는 것을 특징으로 하는 방법.
11. 제1항 내지 제10항 중의 어느 한 항에 있어서,
    상기 신경망은 차량 유형, 노변 유형 및/또는 비차선 표시 정보를 포함하는 노면 훈련 이미지세트를 이용하여 감독 훈련시켜 획득되는 것을 특징으로 하는 방법.
12. 제11항에 있어서,
    차도 유형, 노변 유형 및/또는 비차선 표시 정보를 포함하는 노면 훈련 이미지세트를 이용하여 감독 훈련시켜 상기 신경망을 획득하는 단계는,
    상기 노면 훈련 이미지세트에 포함된 훈련용 이미지를 상기 신경망에 입력하여, 상기 훈련용 이미지의 예측 차도 유형 확률맵 또는 예측 노변 유형 확률맵을 획득하는 단계;
    상기 예측 차도 유형 확률맵 또는 예측 노변 유형 확률맵에 포함된 확률값이 사전 설정 임계치보다 크거나 같은 다수의 화소점에 따라, 상기 다수의 화소점이 속한 예측 차도 유형 또는 예측 노변 유형을 확정하는 단계;
    상기 훈련용 이미지의 예측 차도 유형과 상기 훈련용 이미지의 차도 유형 실제맵 중의 차도 유형 간의 제1 손실, 및/또는, 상기 훈련용 이미지의 예측 노변 유형과 상기 훈련용 이미지의 노변 유형 실제맵 중의 노변 유형 간의 제2 손실을 획득하는 단계, 여기서, 상기 차도 유형 실제맵은 상기 훈련용 이미지의 차도 유형 표시 정보를 기초로 획득되고, 상기 노변 유형 실제맵은 상기 훈련용 이미지의 노변 유형 표시 정보를 기초로 획득되며;
    상기 제1 손실 및/또는 제2 손실에 따라 상기 신경망의 네트워크 파라미터를 조정하는 단계;를 포함하는 것을 특징으로 하는 방법.
13. 제11항 또는 제12항에 있어서,
    차도 유형, 노변 유형 및/또는 비차선 표시 정보를 포함하는 노면 훈련 이미지세트를 이용하여 감독 훈련시켜 상기 신경망을 획득하기 전,
    다수의 장면에서의 노면 이미지를 수집하는 단계;
    상기 다수의 장면에서의 노면 이미지에 대해 차선 속성을 표시한 후 획득된 이미지를 상기 훈련용 이미지로 삼는 단계;를 더 포함하며,
    상기 다수의 장면은 우천 장면, 안개 장면, 직선 도로 장면, 굽은 도로 장면, 터널 장면, 강한 빛이 조사되는 장면 및 야간 장면 등의 장면 중의 적어도 2개 장면의 임의의 하나 또는 다수를 포함하는 것을 특징으로 하는 방법.
14. 제1항 내지 제13항 중의 어느 한 항에 있어서,
    상기 노면 이미지를 신경망에 입력하기 전,
    상기 노면 이미지에 대해 왜곡(distortion) 제거 처리를 수행하는 단계를 더 포함하는 것을 특징으로 하는 방법.
15. 제1항 내지 제14항 중의 어느 한 항에 있어서,
    상기 노면 이미지 중의 차도 유형 및 노변 유형을 세계좌표계(world coordinate system)에 매핑하여, 세계좌표계에서의 차도 유형 정보 및 노변 유형 정보를 획득하는 단계를 더 포함하는 것을 특징으로 하는 방법.
16. 차선 속성 검출장치에 있어서,
    차량에 장착된 차량 탑재 장치가 수집한 노면 이미지를 획득하기 위한 제1 획득모듈;
    상기 노면 이미지를 신경망에 입력하여, 상기 신경망을 통해 상기 노면 이미지에 대응하는 M개의 확률맵을 출력하기 위한 제2 획득모듈, 상기 M개의 확률맵은 N1개의 차도 유형 확률맵과 N2개의 노변 유형 확률맵을 포함하며, 그 중 상기 N1개의 차도 유형 확률맵은 노면 이미지 중의 화소점이 각각 N1개의 차도 유형에 속할 확률을 나타내고, 상기 N2개의 노변 유형 확률맵은 노면 이미지 중의 화소점이 각각 N2개의 노변 유형에 속할 확률을 나타내며, N1과 N2는 각각 양의 정수이고, M은 N1과 N2의 합보다 크거나 같은 정수이며;
    상기 차도 유형 확률맵과 노변 유형 확률맵에 따라, 상기 노면 이미지 중의 차선 속성을 확정하기 위한 제1 확정모듈;을 포함하는 것을 특징으로 하는 차선 속성 검출장치.
17. 제16항에 있어서,
    상기 N1개의 차도 유형은 백색 점선, 백색 실선, 이중 백색 점선, 이중 백색 실선, 백색 점선과 실선, 백색 실선과 점선, 황색 점선, 황색 실선, 이중 황색 점선, 이중 황색 실선, 황색 점선과 실선, 황색 실선과 점선, 지그재그 실선 등 중의 어느 하나 또는 다수를 포함하는 것을 특징으로 하는 장치.
18. 제16항 또는 제17항에 있어서,
    상기 N2개의 노변 유형은 좌측 노변, 우측 노변, 좌측 펜스, 우측 펜스 등 중의 어느 하나 또는 다수를 포함하는 것을 특징으로 하는 장치.
19. 제16항 내지 제18항 중의 어느 한 항에 있어서,
    상기 M은 N1과 N2의 합보다 큰 정수이고, 상기 M개의 확률맵은 M-N1-N2개의 배경 확률맵을 더 포함하며, 상기 M-N1-N2개의 배경 확률맵은 상기 노면 이미지 중의 화소점이 배경 유형에 속할 확률을 나타내는 것을 특징으로 하는 장치.
20. 제16항 내지 제19항 중의 어느 한 항에 있어서,
    상기 제1 확정모듈은
    L번째의 차도 유형 확률맵에 확률값이 사전 설정 임계치보다 크거나 같은 다수의 화소점이 포함된 경우, 확률값이 사전 설정값보다 크거나 같은 다수의 화소점에 따라 상기 다수의 화소점이 속한 차도 유형을 확정하기 위한 제1 확정유닛을 포함하며,
    상기 제L번째 차도 유형 확률맵은 상기 N1개의 차도 유형 확률맵 중의 어느 하나의 차도 유형 확률맵인 것을 특징으로 하는 장치.
21. 제16항 내지 제20항 중의 어느 한 항에 있어서,
    상기 제1 확정모듈은 또한,
    S개의 노변 유형 확률맵에 확률값이 사전 설정 임계치보다 크거나 같은 다수의 화소점이 포함된 경우, 확률값이 사전 설정값보다 크거나 같은 다수의 화소점에 따라 상기 다수의 화소점이 속한 노변 유형을 확정하기 위한 제2 확정유닛을 더 포함하며,
    상기 S번째 노변 유형 확률맵은 상기 N2개의 차도 유형 확률맵 중의 어느 하나의 노변 유형 확률맵인 것을 특징으로 하는 장치.
22. 제16항 내지 제21항 중의 어느 한 항에 있어서,
    상기 제1 확정모듈은 또한,
    상기 M개 확률맵 중의 다수의 확률맵에 대응되는 제1 화소점의 확률값이 모두 사전 설정 임계치보다 크거나 같을 경우, 상기 제1 화소점을 제1 확률맵에 대응되는 유형을 확정 시의 화소점으로 삼기 위한 제3 확정유닛을 더 포함하며,
    상기 제1 확률맵은 상기 다수의 확률값 중 최대 확률값에 대응되는 확률맵인 것을 특징으로 하는 장치.
23. 제16항 내지 제22항 중의 어느 한 항에 있어서,
    상기 M개의 확률맵에 대해 융합 처리를 수행하여 목표 확률맵을 획득하기 위한 융합모듈;
    상기 목표 확률맵 중 제2 확률맵에 대응되는 화소점의 화소값을 상기 제2 확률맵에 대응되는 사전 설정 화소값으로 조정하기 위한 조정모듈을 더 포함하며,
    상기 제2 확률맵은 상기 M개의 확률맵 중의 어느 하나의 확률맵인 것을 특징으로 하는 장치.
24. 제16항 내지 제23항 중의 어느 한 항에 있어서,
    제2 획득모듈은,
    상기 신경망의 적어도 하나의 컨볼루션층을 통해 상기 노면 이미지의 M개 채널의 저층 특징 정보를 추출하기 위한 제1 획득유닛;
    상기 신경망의 적어도 하나의 잔류 네트워크 유닛을 통해 상기 M개 채널의 저층 특징 정보에 기초하여 상기 노면 이미지의 M개 채널의 고층 특징 정보를 추출하기 위한 제2 획득유닛;
    상기 신경망의 적어도 하나의 업샘플링층을 통해 상기 M개 채널의 고층 특징 정보에 대해 업샘플링 처리를 수행하여 상기 노면 이미지와 같은 크기의 M개의 확률맵을 획득하기 위한 제3 획득유닛;을 포함하는 것을 특징으로 하는 장치.
25. 제24항에 있어서,
    상기 적어도 하나의 컨볼루션층은 연결되는 6-10 중 임의의 수량의 컨볼루션층을 포함하고, 상기 적어도 하나의 잔류 네트워크 유닛은 연결되는 7-12 중 임의의 수량의 잔류 네트워크 유닛을 포함하며, 상기 적어도 하나의 업샘플링층은 연결되는 1-4 중 임의의 수량의 업샘플링층을 포함하는 것을 특징으로 하는 장치.
26. 제16항 내지 제25항 중의 어느 한 항에 있어서,
    차도 유형, 노변 유형 및/또는 비차선 표시 정보를 포함하는 노면 훈련 이미지세트를 이용하여 감독 훈련시켜 상기 신경망을 획득하기 위한 훈련모듈을 더 포함하는 것을 특징으로 하는 장치.
27. 제26항에 있어서,
    상기 훈련모듈은,
    상기 노면 훈련 이미지세트에 포함된 훈련용 이미지를 상기 신경망에 입력하여, 상기 훈련용 이미지의 예측 차도 유형 확률맵 또는 예측 노변 유형 확률맵을 획득하고;
    상기 예측 차도 유형 확률맵 또는 상기 예측 노변 유형 확률맵에 포함된 확률값이 사전 설정 임계치보다 크거나 같은 다수의 화소점에 따라, 상기 다수의 화소점이 속한 예측 차도 유형 또는 예측 노변 유형을 확정하며;
    상기 훈련용 이미지의 예측 차도 유형과 상기 훈련용 이미지의 차도 유현 실제맵 중의 차도 유형 간의 제1 손실, 및/또는, 상기 훈련용 이미지의 예측 노변 유형과 상기 훈련용 이미지의 노변 유형 실제맵 중의 노변 유형 간의 제2 손실을 획득하며, 여기서, 상기 차도 유형 실제맵은 상기 훈련용 이미지의 차도 유형의 표시 정보에 기초하여 획득되고, 상기 노변 유형 실제맵은 상기 훈련용 이미지의 노변 유형의 표시 정보에 기초하여 획득되며;
    상기 제1 손실 및/또는 상기 제2 손실에 따라 상기 신경망의 네트워크 파라미터를 조정하기 위한 것임을 특징으로 하는 장치.
28. 제26항 또는 제27항에 있어서,
    다수의 장면에서의 노면 이미지를 수집하고, 상기 다수의 장면에서의 노면 이미지에 대해 차선 속성을 표시한 후 획득된 이미지를 상기 훈련용 이미지로 삼기 위한 수집모듈을 더 포함하며,
    상기 다수 장면은 우천 장면, 안개 장면, 직선도로 장면, 굽은 도로 장면, 터널 장면, 강한 광선이 조사되는 장면 및 야간 장면 중의 적어도 2개의 장면의 임의의 하나 또는 다수를 포함하는 것을 특징으로 하는 장치.
29. 제16항 내지 제28항 중의 어느 한 항에 있어서,
    상기 노면 이미지에 대해 왜곡 제거 처리를 수행하기 위한 사전처리모듈을 더 포함하는 것을 특징으로 하는 장치.
30. 제16항 내지 제29항 중의 어느 한 항에 있어서,
    상기 노면 이미지 중의 차도 유형 및 노변 유형을 세계좌표계(world coordinate system)에 매핑시켜, 세계좌표계에서의 차도 유형 정보 및 노변 유형 정보를 획득하기 위한 매핑모듈을 더 포함하는 것을 특징으로 하는 장치.
31. 주행 제어방법에 있어서,
    주행제어장치가 제1항 내지 제15항 중의 어느 한 항에 따른 차선 속성 검출방법을 이용하여 획득한 노면 이미지의 차선 속성 검출결과를 획득하는 단계;
    상기 주행 제어장치가 상기 차선 속성 검출 결과에 따라 안내 메시지를 출력하거나 및/또는 차량에 대해 지능형 주행 제어를 수행하는 단계;를 포함하는 것을 특징으로 하는 주행 제어방법.
32. 주행 제어장치에 있어서,
    제1항 내지 제15항 중의 어느 한 항에 따른 차선 속성 검출방법을 이용하여 획득한 노면 이미지의 차선 속성 검출결과를 획득하기 위한 제3 획득모듈;
    상기 차선 속성 검출 결과에 따라 안내 메시지를 출력하거나 및/또는 차량에 대해 지능형 주행 제어를 수행하기 위한 주행 제어모듈;을 포함하는 것을 특징으로 하는 주행 제어장치.
33. 전자장치에 있어서,
    프로그램 명령을 저장하기 위한 메모리;
    제1항 내지 제15항 중의 어느 한 항에 따른 방법 단계를 실행시키도록, 상기 메모리 중의 프로그램 명령을 호출하고 실행시키기 위한 프로세서;를 포함하는 것을 특징으로 하는 전자장치.
34. 지능형 주행 시스템에 있어서,
    노면 이미지를 획득하기 위해 통신 연결되는 카메라, 제33항에 따른 전자장치 및 제32항에 따른 주행 제어장치를 포함하는 것을 특징으로 하는 지능형 주행 시스템.
35. 가독 저장 매체에 있어서,
    상기 가독 저장 매체에 제1항 내지 제15항 중의 어느 한 항에 따른 방법 단계를 실행하기 위한 컴퓨터 프로그램이 저장되는 것을 특징으로 하는 가독 저장 매체.

Images