KR20210018493A - 차선 속성 검출 - Google Patents

차선 속성 검출 Download PDF

Info

Publication number
KR20210018493A
KR20210018493A KR1020217000803A KR20217000803A KR20210018493A KR 20210018493 A KR20210018493 A KR 20210018493A KR 1020217000803 A KR1020217000803 A KR 1020217000803A KR 20217000803 A KR20217000803 A KR 20217000803A KR 20210018493 A KR20210018493 A KR 20210018493A
Authority
KR
South Korea
Prior art keywords
attribute
lane
value
probability map
point
Prior art date
Application number
KR1020217000803A
Other languages
English (en)
Inventor
야수 장
페이원 린
광량 청
젠핑 스
Original Assignee
베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 filed Critical 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Publication of KR20210018493A publication Critical patent/KR20210018493A/ko

Links

Images

Classifications

    • G06K9/00798—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06K9/46—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7753—Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mathematical Optimization (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Geometry (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)

Abstract

본 발명의 실시예는 차선 속성 검출 방법, 장치, 전자 디바이스 및 스마트 디바이스를 제공하는바, 당해 방법은 스마트 디바이스에 장착된 화상 수집 장치가 수집한 노면 화상을 취득하는 단계; 상기 노면 화상에 기반하여 확률 맵을 확정하는 단계; 및 상기 확률 맵에 기반하여 상기 노면 화상 중의 차선 속성을 확정하는 단계를 포함하고, 상기 확률 맵은 색 속성 확률 맵, 선형 속성 확률 맵 및 가장자리 속성 확률 맵 중 적어도 두 종류를 포함하며, 각 색 속성 확률 맵은 상기 노면 화상 중의 점이 당해 종류의 색에 속하는 확률을 나타내고, 각 선형 속성 확률 맵은 상기 노면 화상 중의 점이 당해 종류의 선형에 속하는 확률을 나타내며, 각 가장자리 속성 확률 맵은 상기 노면 화상 중의 점이 당해 종류의 가장자리에 속하는 확률을 나타낸다.

Description

차선 속성 검출
본 발명의 실시예는 컴퓨터 기술에 관한 것으로, 특히 차선 속성 검출 방법, 장치, 전자 디바이스 및 스마트 디바이스에 관한 것이다.
보조 운전과 자율 운전은 스마트 운전 분야의 두 가지 중요한 기술인바, 보조 운전 또는 자율 운전을 통해 차량 간의 간격을 감소시키고, 교통 사고의 발생을 감소시키며, 운전자의 부담을 경감할 수 있기 때문에, 스마트 운전 분야에서 중요한 역할을 하고 있다. 보조 운전 기술과 자율 운전 기술에서는 차선 속성 검출을 실행할 필요가 있으며, 차선 속성 검출을 통해 백색 실선, 백색 파선 등 노면 상의 차선의 종류를 식별한다. 차선 속성의 검출 결과에 기반하여 경로 계획, 경로 오프셋 경고, 교통 흐름 분석 등을 실행할 수 있으며, 또한 정밀한 네비게이션에 참조를 제공할 수 있다.
따라서, 차선 속성 검출은 보조 운전과 자율 운전에 있어서 매우 중요한바, 어떻게 정확하고 효율적인 차선 속성 검출을 실행할지는 연구할 가치가 있는 중요한 과제가 되고 있다.
본 발명의 실시예는 차선 속성 검출의 기술 방안을 제공한다.
본 발명의 실시예의 제1 양태에 따르면, 차선 속성 검출 방법을 제공하는바, 당해 방법은,
스마트 디바이스에 장착된 화상 수집 장치가 수집한 노면 화상을 취득하는 단계; 상기 노면 화상에 기반하여 확률 맵을 확정하는 단계; 및 상기 확률 맵에 기반하여 상기 노면 화상 중의 차선 속성을 확정하는 단계를 포함하고, 상기 확률 맵은 색 속성 확률 맵, 선형 속성 확률 맵 및 가장자리 속성 확률 맵 중 적어도 두 종류를 포함하며, 여기서 색 속성 확률 맵은 N1개 있고, 선형 속성 확률 맵은 N2개 있으며, 가장자리 속성 확률 맵은 N3개 있고, N1, N2 및 N3은 모두 0보다 큰 정수이며, 각 색 속성 확률 맵은 상기 노면 화상 중의 각 점이 당해 색 속성 확률 맵에 대응하는 색에 속하는 확률을 나타내고, 각 선형 속성 확률 맵은 상기 노면 화상 중의 각 점이 당해 선형 속성 확률 맵에 대응하는 선형에 속하는 확률을 나타내며, 각 가장자리 속성 확률 맵은 상기 노면 화상 중의 각 점이 당해 가장자리 속성 확률 맵에 대응하는 가장자리에 속하는 확률을 나타낸다.
본 발명의 실시예의 제2 양태에 따르면, 차선 속성 검출 장치를 제공하는바, 당해 장치는
스마트 디바이스에 장착된 화상 수집 장치가 수집한 노면 화상을 취득하기 위한 제1 취득 모듈； 상기 노면 화상에 기반하여 확률 맵을 확정하기 위한 제1 확정 모듈； 및 상기 확률 맵에 기반하여 상기 노면 화상 중의 차선 속성을 확정하기 위한 제2 확정 모듈을 구비하고, 상기 확률 맵은 색 속성 확률 맵, 선형 속성 확률 맵 및 가장자리 속성 확률 맵 중 적어도 두 종류를 포함하며, 여기서 색 속성 확률 맵은 N1개 있고, 선형 속성 확률 맵은 N2개 있으며, 가장자리 속성 확률 맵은 N3개 있고, N1, N2 및 N3은 모두 0보다 큰 정수이며, 각 색 속성 확률 맵은 상기 노면 화상 중의 각 점이 당해 색 속성 확률 맵에 대응하는 색에 속하는 확률을 나타내고, 각 선형 속성 확률 맵은 상기 노면 화상 중의 각 점이 당해 선형 속성 확률 맵에 대응하는 선형에 속하는 확률을 나타내며, 각 가장자리 속성 확률 맵은 상기 노면 화상 중의 각 점이 당해 가장자리 속성 확률 맵에 대응하는 가장자리에 속하는 확률을 나타낸다.
본 발명의 실시예의 제3 양태에 따르면, 전자 디바이스를 제공하는바, 당해 전자 디바이스는,
프로그램 명령을 기억하기 위한 메모리; 및 상기 메모리 내의 프로그램 명령을 호출하여 실행함으로써, 상기 제1 양태에 기재된 방법의 단계를 실행하기 위한 프로세서를 구비한다.
본 발명의 실시예의 제4 양태에 따르면, 스마트 디바이스에 사용되는 스마트 운전 방법을 제공하는바, 당해 방법은,
노면 화상을 취득하는 단계; 상기 제1 양태에 기재된 상기 차선 속성 검출 방법을 사용하여, 취득된 노면 화상 중의 차선 속성을 검출하는 단계; 및 검출하여 얻은 차선 속성에 기반하여 프롬프트 정보를 출력하거나 또는 상기 스마트 디바이스에 대해 주행 제어를 실행하는 단계를 포함한다.
본 발명의 실시예의 제5 양태에 따르면, 스마트 디바이스를 제공하는바, 당해 디바이스는,
노면 화상을 취득하기 위한 화상 수집 장치; 프로그램 명령을 기억하며, 기억된 프로그램 명령이 실행될 시, 상기 제1 양태에 기재된 상기 차선 속성 검출 방법이 실현되는 메모리; 및 상기 화상 수집 장치가 취득한 노면 화상에 기반하여, 상기 메모리에 기억된 프로그램 명령을 실행함으로써, 상기 노면 화상 중의 차선 속성을 검출하고, 검출하여 얻은 차선 속성에 기반하여, 프롬프트 정보를 출력하거나 또는 스마트 디바이스에 대해 주행 제어를 실행하기 위한 프로세서를 구비한다.
본 발명의 실시예의 제6 양태에 따르면, 비휘발성 판독 가능 기억 매체를 제공하는바, 상기 판독 가능 기억 매체에는 컴퓨터 프로그램이 기억되어 있으며, 상기 컴퓨터 프로그램이 상기 제1 양태에 기재된 방법의 단계를 실행한다.
본 발명의 실시예에 의해 제공되는 차선 속성 검출 방법, 장치, 전자 디바이스 및 스마트 디바이스에 따르면, 차선 속성을 색, 선형 및 가장자리와 같은 세 종류의 차원으로 구분하고, 얻어진 노면 화상의 각 점의 이러한 세 종류의 차원의 세 종류의 속성 확률 맵을 이용하고, 이러한 세 종류의 속성 확률 맵 중 적어도 두 종류에 기반하여, 노면 화상 중의 차선 속성을 확정할 수 있다. 상기 과정에서 얻어진 세 종류의 속성 확률 맵은 각각 하나의 차원의 차선 속성에 관한 것이기 때문에, 노면 화상에 기반하여 각 확률 맵을 확정하는 것을 단일 태스크의 검출을 실행하는 것으로 간주할 수 있으므로, 태스크 검출의 복잡도를 경감했다. 이어서 각 태스크의 검출 결과에 기반하여 노면 화상 중의 차선 속성을 확정하는바, 즉 각 검출 결과를 융합시킴으로써 차선 속성을 얻게 된다. 따라서, 차선 속성의 종류가 비교적 많을 경우 또는 차선의 속성을 정밀하게 확정할 필요가 있을 경우, 본 발명의 실시예에 의해 제공되는 차선 속성 검출 방법은 차선 속성을 검출할 때 서로 다른 속성을 각각 검출하고, 검출 결과를 융합시키는 방식을 사용함으로써, 차선 속성을 예측하는 정확성과 견고성을 향상시켰다. 따라서, 상기 방법을 복잡도가 비교적 높은 장면에 적용할 경우, 더욱 정확한 차선 속성 검출 결과를 얻을 수 있다.
도 1은 본 발명에 일 실시예에 의해 제공되는 차선 속성 검출 방법의 장면의 모식도이다.
도 2는 본 발명에 일 실시예에 의해 제공되는 차선 속성 검출 방법의 흐름의 모식도이다.
도 3은 본 발명의 다른 일 실시예에 의해 제공되는 차선 속성 검출 방법의 흐름의 모식도이다.
도 4는 본 발명의 또 다른 일 실시예에 의해 제공되는 차선 속성 검출 방법의 흐름의 모식도이다.
도 5는 본 발명에 일 실시예에 의해 제공되는 차선 속성 검출을 실행하기 위한 신경망의 트레이닝 방법의 흐름의 모식도이다.
도 6은 본 발명에 일 실시예에 의해 제공되는 컨볼루션 신경망의 구성의 모식도이다.
도 7은 본 발명에 일 실시예에 의해 제공되는 차선 속성 검출을 실행하기 위한 신경망이 노면 화상 처리를 실행하는 흐름의 모식도이다.
도 8은 본 발명에 일 실시예에 의해 제공되는 차선 속성 검출 장치의 모듈의 구성도이다.
도 9는 본 발명의 다른 일 실시예에 의해 제공되는 차선 속성 검출 장치의 모듈의 구성도이다.
도 10은 본 발명에 일 실시예에 의해 제공되는 전자 디바이스의 구성의 모식도이다.
도 11은 본 발명에 일 실시예에 의해 제공되는 스마트 디바이스의 구성의 모식도이다.
도 12는 본 발명에 일 실시예에 의해 제공되는 스마트 운전 방법의 흐름의 모식도이다.
이하, 본 발명의 목적, 기술 방안 및 이점을 더욱 명확히 하기 위하여 본 발명의 실시예의 도면을 참조하여 본 발명의 실시예의 기술 방안을 명확하게 또한 완전히 서술하는바, 서술하는 실시예는 본 발명의 일부 실시예에 불과할 뿐, 전부의 실시예가 아님은 당연한 것이다. 당업자가 본 발명의 실시예에 기반하여 발명적인 노력을 하지 않고 얻은 모든 다른 실시예는 모두 본 발명이 보호하는 범위에 속한다.
도 1은 본 발명의 실시예에 의해 제공되는 차선 속성 검출 방법의 장면의 모식도이다. 도 1에 나타낸 바와 같이, 당해 방법은 화상 수집 장치(110)가 장착되어 있는 차량(120)에 적용될 수 있다. 여기서 당해 화상 수집 장치(110)는 차량(120)에 장착되어 있는 촬영 기능을 가지는 디바이스일 수 있는바, 예를 들면, 카메라, 드라이빙 리코더 등 디바이스일 수 있다. 차량이 노면 위로 위치하여 있을 때, 차량 상의 화상 수집 장치를 이용하여 노면 화상을 수집하고, 본 발명에 의해 제공되는 방법을 이용하여 차량이 위치하여 있는 노면 상의 차선 속성을 검출하고, 또한, 얻어진 검출 결과가 보조 운전 또는 자율 운전에 적용되도록 한다. 예를 들면, 경로 계획, 경로 오프셋 경고, 교통 흐름 분석 등을 실행한다.
일부 예에 있어서, 본 발명에 의해 제공되는 차선 속성 검출 방법은 로봇 또는 블라인드 안내 디바이스 등 도로 식별을 실행할 필요가 있는 스마트 디바이스에도 적용된다.
도 2는 본 발명의 실시예에 의해 제공되는 차선 속성 검출 방법의 흐름의 모식도이며, 도 2에 나타낸 바와 같이, 당해 방법은 단계S201∼S203을 포함한다.
S201에 있어서, 스마트 디바이스에 장착된 화상 수집 장치가 수집한 노면 화상을 취득한다.
스마트 디바이스가 차량인 예를 제시하면, 차량 상에 장착된 화상 수집 장치는 차량이 주행하고 있는 노면 상의 노면 화상을 실시간으로 수집할 수 있다. 또한, 후속의 단계를 통하여 지속적으로 화상 수집 장치에 의해 수집된 노면 화상에 기반하여 부단히 갱신되는 차선 속성 검출 결과를 얻을 수 있다.
S202에 있어서, 상기 노면 화상에 기반하여 확률 맵을 확정한다.
여기서, 상기 확률 맵은 색 속성 확률 맵, 선형 속성 확률 맵 및 가장자리 속성 확률 맵 중 적어도 두 종류를 포함한다.
상기 색 속성 확률 맵은 N1개 있고, 각 색 속성 확률 맵은 하나의 색에 대응하며, N1종류의 색 속성 확률 맵은 N1개의 색에 대응한다. 상기 선형 속성 확률 맵은 N2개 있으며, 각 선형 속성 확률 맵은 하나의 선형에 대응하며, N2개의 선형 속성 확률 맵은 N2종류의 선형에 대응한다. 상기 가장자리 속성 확률 맵은 N3개 있고, 각각 가장자리 속성 확률 맵은 하나의 가장자리에 대응하며, N세 종류의 가장자리 속성 확률 맵은 N3개의 가장자리에 대응한다. 여기서 각 색 속성 확률 맵은 상기 노면 화상 중의 각 점이 대응하는 당해 종류의 색에 속하는 확률을 나타내고, 각 선형 속성 확률 맵은 상기 노면 화상 중의 각 점이 대응하는 당해 종류의 선형에 속하는 확률을 나타내며, 각 가장자리 속성 확률 맵은 상기 노면 화상 중의 각 점이 대응하는 당해 종류의 가장자리에 속하는 확률을 나타낸다. 여기서 N1, N2 및 N3은 모두 0보다 큰 정수다.
일부 예에 있어서, 신경망을 이용하여 상기 확률 맵을 확정할 수 있다. 구체적으로, 상기 노면 화상을 신경망에 입력하고, 신경망에 의해 상기 확률 맵이 출력된다. 여기서, 상기 신경망은 컨볼루션 신경망을 포함할 수 있지만, 이에 한정되지 않는다.
본 발명의 실시예에 있어서, 차선의 속성을 색, 선형 및 가장자리와 같은 세 종류의 차원에 따라 분할하고, 신경망을 이용하여 노면 화상의 각 점의 각각의 상기 세 종류의 차원 중 적어도 두 종류의 차원에서의 확률 맵을 예측한다.
일 예에 있어서, 색의 차원인 경우, 상기 N1개의 색은 백색, 황색 및 청색 중 적어도 하나를 포함할 수 있다. 색의 차원인 경우, 이러한 세 가지 색 이외에, 무 차선 및 기타 색과 같은 두 가지의 결과를 더 포함할 수도 있는바, 즉 무 차선 및 기타 색도 각각 하나의 색으로 설정한다. 여기서, 무 차선은 노면 화상의 점이 차선에 속하지 않음을 나타내고, 기타 색은 노면 화상의 점의 색이 백색, 황색 및 청색 이외의 색인 것을 나타낸다.
표 1은 상기 색 차원의 색 종류의 예이며, 표 1에 나타낸 바와 같이, 색의 차원은 다섯 가지 색 종류를 포함할 수 있으며, N1의 값은 5이다.
종류 번호 0 1 2 3 4
종류 명칭 무 차선 기타 색 백색 황색 청색
일 예에 있어서, 선형의 차원인 경우, 상기 N2개의 선형은 파선, 실선, 이중 파선, 이중 실선, 파선 실선 이중 선, 실선 파선 이중 선, 삼중 파선 및 파실파 삼중 선(파선 실선 및 파선으로 이루어진 삼중 선) 중 적어도 하나를 포함할 수 있다. 선형의 차원인 경우, 이러한 선형 이외에, 무 차선 및 기타 선형과 같은 두 가지 결과를 더 포함할 수도 있는바, 즉 무 차선 및 기타 선형도 각각 하나의 선형으로 설정한다. 여기서 무 차선은 노면 화상의 점이 차선에 속하지 않음을 나타내고, 기타 선형은 노면 화상의 점의 선형이 상기 선형 이외의 선형인 것을 나타낸다. 상기 파선 실선 이중 선의 경우 왼쪽에서부터 오른쪽으로의 방향에서 첫 번째 선이 파선이고, 두 번째 선이 실선이며, 이에 따라 상기 실선 파선 이중 선은 왼쪽에서부터 오른쪽으로의 방향에서 첫 번째 선이 실선이며, 두 번째 선이 파선이다.
표 2는 상기 선형 차원에서의 선형의 예이며, 표 2에 나타낸 바와 같이, 선형의 차원은 열 가지 선형을 포함할 수 있으며, N2의 값은 10이다.
종류 번호 0 1 2 3 4 5 6 7 8 9
종류 명칭 무 차선 기타 선형 파선 실선 이중 파선 이중 실선 파선 실선 이중 선 실선 파선 이중 선 삼중 파선 파실파 삼중 선
일 예에 있어서, 가장자리의 차원인 경우, 상기 N3개의 가장자리는 연석 형 가장자리, 울타리 형 가장자리, 벽 또는 화단형 가장자리, 가상 가장자리 및 비 가장자리 중 적어도 하나를 포함할 수 있다. 여기서 비 가장자리는 노면 화상의 점이 가장자리에 속하지 않고, 차선에 속하는 것을 나타낸다. 가장자리의 차원인 경우, 이러한 가장자리 종류 이외에, 무 차선 및 기타 가장자리와 같은 두 가지 결과를 더 포함할 수도 있는바, 즉 무 차선 및 기타 가장자리도 각각 하나의 가장자리로 설정한다. 여기서 무 차선은 노면 화상의 점이 차선에도 속하지 않고 가장자리에도 속하지 않음을 나타내며, 기타 가장자리는 노면 화상의 점이 상기 가장자리 종류 이외의 가장자리 종류에 속하는 것을 나타낸다.
표 3은 상기 가장자리 차원의 가장자리의 예이며, 표 3에 나타낸 바와 같이, 가장자리의 차원은 일곱 가지 가장자리 종류를 포함할 수 있으며, N3의 값은 7이다.
종류 번호 0 1 2 3 4 5 6
종류 명칭 무 차선 비 가장자리 기타 가장자리 연석 형 가장자리 울타리 형 가장자리 벽 또는 화단형 가장자리 가상 가장자리
상기 표 1, 표 2 및 표 3에 나타낸 각 속성의 종류를 예로 들면, 본 단계에 있어서, 노면 화상을 신경망에 입력한 후, 신경망을 통해 5개의 색 속성 확률 맵, 10개의 선형 속성 확률 맵 및 7개의 가장자리 속성 확률 맵을 출력할 수 있다. 여기서 5개의 색 속성 확률 맵 중 각 색 속성 확률 맵은 노면 화상 중의 각 점이 상기 표 1내에 하나의 색에 속하는 확률을 나타내고, 10개의 선형 속성 확률 맵 중 각 선형 속성 확률 맵은 노면 화상 중의 각 점이 상기 표 2내에 하나의 선형에 속하는 확률을 나타내며, 7개의 가장자리 속성 확률 맵 중 각 가장자리 속성 확률 맵은 노면 화상 중의 각 점이 상기 표 3 중 하나의 가장자리에 속하는 확률을 나타낸다.
색 속성을 예로 들면, 상기 표 1에 나타낸 번호를 사용하며, 5개의 색 속성 확률 맵이 각각 확률 맵0, 확률 맵1, 확률 맵2, 확률 맵3 및 확률 맵4라고 가정한다. 그러면, 색 속성 확률 맵과 표 1 내의 색 종류의 대응 관계, 표 4에 나타낸 바와 같을 수 있다.
색 속성 확률 맵 확률 맵0 확률 맵1 확률 맵2 확률 맵3 확률 맵4
색 종류 무 차선 기타 색 백색 황색 청색
또한, 상기 표 4에 나타낸 대응 관계에 기반하여 예시적으로 확률 맵2는 노면 화상 중의 각 점이 백색에 속하는 확률을 나타낼 수 있다. 노면 화상을 200*200 사이즈의 매트릭스를 사용하여 나타낸다고 가정하면, 당해 매트릭스를 상기 신경망에 입력한 후, 다른 하나의 200*200 크기의 매트릭스를 출력할 수 있고, 여기서 출력된 매트릭스 중 각 요소의 값이 노면 화상 상의 대응하는 위치의 점이 백색에 속하는 확률이다. 예를 들면, 신경망이 출력한 200*200크기의 매트릭스에서 첫 행 첫 열의 요소의 값이 0.4이면, 노면 화상 중의 첫 행 첫 열의 점이 백색 종류에 속하는 확률이 0.4인 것을 나타낸다. 또한, 신경망에 의해 출력된 매트릭스는 색 속성 확률 맵의 형식으로 나타낼 수 있다.
S203에 있어서, 상기 확률 맵에 기반하여 상기 노면 화상 중의 차선 속성을 확정한다.
본 발명의 실시예에 있어서, 색 속성 확률 맵, 선형 속성 확률 맵 및 가장자리 속성 확률 맵은 세 가지 확률 맵에 속하고, 여기서의 하나의 확률 맵을 사용할 경우, 당해 종류의 확률 맵 중 복수 확률 맵을 동시에 사용하는 것일 수 있음을 설명할 필요가 있다. 예를 들면, 색 속성 확률 맵을 사용할 경우, N1개의 색 속성 확률 맵을 동시에 사용하여 노면 화상의 색 속성을 확정할 수 있다.
선택 가능한 일 형태에 있어서, 상기 확률 맵은 상기 색 속성 확률 맵, 상기 선형 속성 확률 맵 및 상기 가장자리 속성 확률 맵 중의 두 종류일 수 있는바, 즉 상기 색 속성 확률 맵, 상기 선형 속성 확률 맵 및 상기 가장자리 속성 확률 맵 중의 두 종류를 사용하여 노면 화상 중의 차선 속성을 확정할 수 있다.
이러한 형태에 있어서, 노면 화상 중의 차선 속성을 확정할 경우, 차선 속성의 수량은 사용하는 두 가지 확률 맵에 대응하는 속성 수량의 조합의 수량이며, 각 차선 속성은 사용하는 두 가지 확률 맵 중의 각 속성의 세트다.
예시적으로, 색 속성 확률 맵과 선형 속성 확률 맵을 사용하여 노면 화상 중의 차선 속성을 확정하고, 색 속성 확률 맵이 N1개 있으며, 선형 속성 확률 맵이 N2개 있으면, 확정하는 노면 화상 중의 차선 속성의 수량은 N1*N2이다. 여기서 하나의 차선 속성은 하나의 색 속성과 하나의 선형 속성의 세트인바, 즉 하나의 차선 속성은 하나의 색 속성과 하나의 선형 속성을 포함한다. 예를 들면, 특정 차선 속성이 백색 파선인 것은 백색과 파선의 세트인 것이다.
선택 가능한 다른 일 형태에 있어서, 상기 확률 맵은 상기 색 속성 확률 맵, 상기 선형 속성 확률 맵 및 상기 가장자리 속성 확률 맵 중 세 종류일 수 있는바, 즉 상기 색 속성 확률 맵, 상기 선형 속성 확률 맵 및 상기 가장자리 속성 확률 맵을 동시에 사용하여, 노면 화상 중의 차선 속성을 확정할 수 있다.
이러한 형태에 있어서, 노면 화상 중의 차선 속성을 확정할 경우, 차선 속성의 수량은 사용하는 세 종류의 확률 맵에 대응하는 속성 수량의 조합의 수량이며, 각 차선 속성은 사용하는 세 종류의 확률 맵 중의 각 속성의 조합이다.
예시적으로, 색 속성 확률 맵이 N1개 있고, 선형 속성 확률 맵이 N2개 있으며, 가장자리 속성 확률 맵이 N3개 있으면, 확정하는 노면 화상 중의 차선 속성의 수량은 N1*N2*N3이다. 여기서 하나의 차선 속성은 하나의 색 속성, 하나의 선형 속성 및 하나의 가장자리 속성의 조합인바, 즉 하나의 차선 속성은 하나의 색 속성, 하나의 선형 속성 및 하나의 가장자리 속성을 포함한다. 예를 들면, 특정 차선 속성이 백색 파선의 차선인 것은 백색, 파선 및 비 가장자리의 조합이다.
상기 N1*N2*N3은 본 발명의 실시예가 지원할 수 있는 모든 조합이며, 구체적인 실시 과정에서 특정 조합이 실제의 사용 과정에서 출현하지 않을 가능성이 있음을 설명할 필요가 있다.
상기 복수의 종류의 형태의 구체적인 실시 과정을 다음의 실시예로 상세하게 설명한다.
본 실시예에 있어서, 차선 속성을 색, 선형 및 가장자리와 같은 세 종류의 차원으로 구분하고, 또한, 노면 화상의 각 점의 이러한 세 종류의 차원의 세 종류의 속성 확률 맵을 얻을 수 있고, 이러한 세 종류의 속성 확률 맵 중 적어도 두 종류에 기반하여 노면 화상 중의 차선 속성을 확정할 수 있다. 상기 과정에서 얻어진 세 종류의 속성 확률 맵은 각각 하나의 차원의 차선 속성에 관한 것이기 때문에, 노면 화상에 기반하여 각 확률 맵을 확정하는 것을 단일 태스크의 검출을 실행하는 것으로 간주할 수 있으므로, 태스크 검출의 복잡도를 경감했다. 이어서 각 태스크의 검출 결과에 기반하여 노면 화상 중의 차선 속성을 확정하는바, 즉 각 검출 결과를 결합시켜 차선 속성을 얻을 필요가 있다. 따라서, 차선 속성의 종류가 비교적 많을 경우 또는 차선의 속성을 정밀하게 확정할 필요가 있을 경우, 본 발명의 실시예에 의해 제공되는 차선 속성 검출 방법은 차선 속성을 검출할 때 서로 다른 속성을 각각 검출하고, 검출 결과를 결합시키는 방식을 사용함으로써, 차선 속성을 예측하는 정확성과 견고성을 향상시켰다. 상기 과정을 복잡도가 비교적 높은 장면에 적용할 경우, 더욱 정확한 차선 속성 검출 결과를 얻을 수 있다. 또한 본 발명에 있어서, 가장자리를 하나의 속성 차원으로 설정함으로써, 본 발명은 차선 표기 선이 표기되어 있는 구조화된 노면 장면에서 차선 종류 등을 정확하게 검출할 수 있을 뿐 아니라, 차선 표기 선이 없거나 또는 차선 표기 선이 표기되지 않은 장면, 예를 들면 지방 도로 주행 장면에서도 본 실시예의 방법에 따라 각 종류의 가장자리 종류 등을 정확하게 검출할 수 있다.
상기 실시예를 기초로 하여, 본 실시예는 확률 맵을 사용하여 노면 화상 중의 차선 속성을 확정하는 과정을 구체적으로 서술한다.
선택 가능한 일 형태에 있어서, 상기 색 속성 확률 맵, 상기 선형 속성 확률 맵 및 상기 가장자리 속성 확률 맵 중의 두 종류를 사용하여 노면 화상 중의 차선 속성을 확정할 수 있다.
일 예에 있어서, 상기 단계S203에서 이용한 확률 맵은 제1 속성 확률 맵과 제2 속성 확률 맵을 포함하고, 제1 속성 확률 맵과 제2 속성 확률 맵은 색 속성 확률 맵, 선형 속성 확률 맵 및 가장자리 속성 확률 맵 중의 두 종류이며, 제1 속성 확률 맵은 제2 속성 확률 맵과 서로 다르다.
도 3은 본 발명의 다른 일 실시예에 의해 제공되는 차선 속성 검출 방법의 흐름의 모식도이며, 도 3에 나타낸 바와 같이, 상기 확률 맵이 제1 속성 확률 맵과 제2 속성 확률 맵을 포함할 경우, 상기 단계S203에서 확률 맵에 기반하여 노면 화상 중의 차선 속성을 확정하는 과정은 이하의 단계를 포함한다.
S301에 있어서, 상기 노면 화상 중의 하나의 차선의 위치에서의 각 점에 대해, 당해 점의 L개의 제1 속성 확률 맵에서의 대응하는 위치의 각 확률 값을 확정한다.
S302에 있어서, 당해 점에 대해, 확률 값이 가장 큰 제1 속성 확률 맵에 대응하는 제1 속성의 값을 당해 점의 제1 속성의 값으로 설정한다.
S303에 있어서, 상기 노면 화상 중의 당해 하나의 차선의 위치에서의 각 점의 제1 속성의 값에 기반하여 당해 하나의 차선의 제1 속성의 값을 확정한다.
상기 단계S301 앞에, 먼저 상기 노면 화상에 대해 사전 처리를 실행하여, 노면 화상 중의 차선을 얻을 수 있다. 예를 들면, 노면 화상을 특정의 이미 트레이닝된 신경망에 입력하여, 당해 신경망에 의해 당해 노면 화상 중의 차선 결과가 출력될 수 있다. 또 예를 들면, 노면 화상을 특정의 이미 트레이닝된 시맨틱 분할 네트워크에 입력하여, 당해 시맨틱 분할 네트워크에 의해 당해 노면 화상 중의 차선 분할 결과가 출력될 수 있다. 이어서 도 3에 나타낸 방법을 사용하여, 차선에 대해 속성 처리를 실행하여 차선의 속성을 계산한다. 이렇게 하여 차선 식별의 정확성을 향상시킨다.
상기 단계S301∼S303은 노면 화상 중의 하나의 차선의 제1 속성의 값을 확정할 수 있다. 여기서 제1 속성은 제1 속성 확률 맵에 대응하는 속성이며, 예시적으로 제1 속성 확률 맵이 색 속성 확률 맵이면, 제1 속성은 색 속성이며, 제1 속성의 값은 백색, 황색, 청색, 기타 색 등일 수 있다.
신경망을 사용하여 확률 맵을 얻는 예를 제시하면, 당해 과정에서 노면 화상을 신경망에 입력한 후, 신경망이 L개의 제1 속성 확률 맵을 출력할 수 있고, 노면 화상 중의 하나의 차선 중의 하나의 점에 대해, 각 제1 속성 확률 맵은 모두 하나의 대응하는 위치의 확률 값을 가지며, 확률 값이 클수록 당해 점이 당해 확률 맵에 대응하는 속성에 속하는 확률이 큰 것을 의미하는바, 따라서 당해 점에 대해, L개의 제1 속성 확률 맵에서의 대응하는 위치의 확률 값과 비교하여, 확률 값이 가장 큰 제1 속성 확률 맵에 대응하는 제1 속성의 값을 당해 점의 제1 속성의 값으로 설정할 수 있다.
예시적으로, 제1 속성 확률 맵이 색 속성 확률 맵이고, 제1 속성이 색 속성이며, L이 5이며, 즉 5개의 색 속성 확률 맵을 포함하고, 각각 상기 표 4에 나타낸 확률 맵0, 확률 맵1, 확률 맵2, 확률 맵3 및 확률 맵4라고 가정하면, 각 확률 맵은 하나의 색 속성에 대응한다. 노면 화상 중의 하나의 차선 중의 하나의 점의 확률 맵1에서의 확률 값이 가장 크다고 가정하면, 당해 점의 색 속성의 값을 확률 맵1에 대응하는 색 속성으로 확정할 수 있다.
상기 방법을 사용하여 노면 화상 중의 하나의 차선의 위치에서의 각 점의 제1 속성의 값을 얻을 수 있고, 이에 기초하여, 각 점의 제1 속성의 값에 기반하여 당해 하나의 차선의 제1 속성의 값을 확정할 수 있다.
예를 들면, 당해 하나의 차선의 위치에서의 각 점의 제1 속성의 값이 서로 다르면, 당해 하나의 차선의 위치에서의 제1 속성의 값이 동일한 점의 수량이 가장 많은 점의 제1 속성의 값을 당해 하나의 차선의 제1 속성의 값으로 설정할 수 있다.
예시적으로, 제1 속성이 색 속성이고, 당해 하나의 차선 중의 각 점 중에서 제1 속성의 값이 백색인 점의 수량이 모든 점의 수량의 80%를 차지하고, 제1 속성의 값이 황색인 점의 수량이 모든 점의 수량의 17%를 차지하고, 제1 속성의 값이 기타 색인 점의 수량이 모든 점의 수량의 3%를 차지한다고 가정하면, 백색을 당해 하나의 차선의 제1 속성의 값으로 설정할 수 있는바, 즉 색 속성의 값으로 설정할 수 있다.
또 예를 들면, 당해 하나의 차선의 위치에서의 각 점의 제1 속성의 값이 동일하면, 당해 하나의 차선의 위치에서의 점의 제1 속성의 값을 당해 하나의 차선의 제1 속성의 값으로 설정할 수 있다.
예시적으로, 제1 속성이 색 속성이며, 당해 하나의 차선 위치에서의 모든 점의 제1 속성의 값이 모두 황색이라고 가정하면, 황색을 당해 하나의 차선의 제1 속성의 값으로 설정할 수 있는바, 즉 색 속성의 값으로 설정할 수 있다.
S304에 있어서, 상기 노면 화상 중의 하나의 차선의 위치에서의 각 점에 대해, 당해 점의 S개의 제2 속성 확률 맵에서의 대응하는 위치의 각 확률 값을 확정한다.
S305에 있어서, 당해 점에 대해, 확률 값이 가장 큰 제2 속성 확률 맵에 대응하는 제2 속성의 값을 당해 점의 제2 속성의 값으로 설정한다.
S306에 있어서, 상기 노면 화상 중의 당해 하나의 차선의 위치에서의 각 점의 제2 속성의 값에 기반하여 당해 하나의 차선의 제2 속성의 값을 확정한다.
상기 단계S304∼S306은 노면 화상 중의 하나의 차선의 제2 속성의 값을 확정할 수 있다. 여기서 제2 속성은 제2 속성 확률 맵에 대응하는 속성인바, 예시적으로 제2 속성 확률 맵이 선형 속성 확률 맵이면, 제2 속성은 선형 속성이고, 제2 속성의 값은 실선, 파선, 이중 실선, 이중 파선 등일 수 있다.
신경망을 사용하여 확률 맵을 얻는 예를 제시하면, 당해 과정에서 노면 화상을 신경망에 입력한 후, 신경망은 S개의 제2 속성 확률 맵을 출력할 수 있고, 노면 화상 중의 하나의 차선 중의 하나의 점에 대해, 각 제2 속성 확률 맵은 모두 하나의 대응하는 확률 값을 가지며, 확률 값이 클수록 당해 점이 당해 확률 맵에 대응하는 속성에 속하는 확률이 큰 것을 의미하고, 따라서 당해 점에 대해, S개의 제2 속성 확률 맵에서의 대응하는 위치의 확률 값을 비교하여, 확률 값이 가장 큰 제2 속성 확률 맵에 대응하는 제2 속성의 값을 당해 점의 제2 속성의 값으로 설정할 수 있다.
예시적으로, 제2 속성 확률 맵이 선형 속성 확률 맵이고, 제2 속성이 선형 속성이며, S가 10, 즉 10개의 선형 속성 확률 맵을 포함한다고 가정하면, 각 확률 맵은 하나의 선형 속성에 대응한다. 노면 화상 중의 하나의 차선 중의 하나의 점이 첫 번째 선형 속성 확률 맵에서의 확률 값이 가장 크다고 가정하면, 당해 점의 선형 속성의 값을 첫 번째 선형 속성 확률 맵에 대응하는 선형 속성으로 확정할 수 있다.
상기 방법을 사용하여 노면 화상 중의 하나의 차선의 위치에서의 각 점의 제2 속성의 값을 얻을 수 있고, 이에 기초하여, 각 점의 제2 속성의 값에 기반하여 당해 하나의 차선의 제2 속성의 값을 확정할 수 있다.
예를 들면, 당해 하나의 차선의 위치에서의 각 점의 제2 속성의 값이 서로 다르면, 당해 하나의 차선의 위치에서의 제2 속성의 값이 동일한 점의 수량이 가장 많은 점의 제2 속성의 값을 당해 하나의 차선의 제2 속성의 값으로 설정할 수 있다.
예시적으로, 제2 속성이 선형 속성이며, 당해 하나의 차선 중의 각 점 중에서 제2 속성의 값이 실선인 점의 수량이 모든 점의 수량의 81%를 차지하고, 제2 속성의 값이 파선인 점의 수량이 모든 점의 수량의 15%를 차지하며, 제2 속성의 값이 기타 선형인 점의 수량이 모든 점의 수량의 4%를 차지한다고 가정하면, 실선을 당해 하나의 차선의 제2 속성의 값으로 설정할 수 있는바, 즉 선형 속성의 값으로 설정할 수 있다.
또 예를 들면, 당해 하나의 차선의 위치에서의 각 점의 제2 속성의 값이 동일하면, 당해 하나의 차선의 위치에서의 점의 제2 속성의 값을 당해 하나의 차선의 제2 속성의 값으로 설정할 수 있다.
예시적으로, 제2 속성이 선형 속성이며, 당해 하나의 차선 위치에서의 모든 점의 제2 속성의 값이 모두 실선이라고 가정하면, 실선을 당해 하나의 차선의 제2 속성의 값으로 설정할 수 있는바, 즉 선형 속성의 값으로 설정할 수 있다.
상기 단계S301∼S303은 순서에 따라 실행되고, 상기 단계S304∼S306도 순서에 따라 실행되지만, 본 발명의 실시예는 S301∼S303 및 S304∼S306의 실행 순서에 대해 한정하지 않는바, 먼저 S301∼S303을 실행하고 나서 S304∼S306을 실행할 수도 있고, 먼저 S304∼S306을 실행하고 나서 S301∼S303을 실행할 수도 있으며, S301∼S303 및 S304∼S306을 병렬로 실행할 수도 있음을 설명할 필요가 있다.
상기 단계S301∼S306에 있어서, 제1 속성 확률 맵은 L개이며, 제2 속성 확률 맵은 S개이다. 상술한 바와 같이, 색 속성 확률 맵은 N1개 있고, 선형 속성 확률 맵은 N2개 있으며, 가장자리 속성 확률 맵은 N3개 있다. 그러면, L, S와 전술한 N1, N2, N3의 관계는 아래와 같다.
제1 속성 확률 맵이 색 속성 확률 맵이면, L은 N1과 같고, 제1 속성은 색 속성이다. 제1 속성 확률 맵이 선형 속성 확률 맵이면, L은 N2와 같고, 제1 속성은 선형 속성이다. 제1 속성 확률 맵이 가장자리 속성 확률 맵이면, L은 N3과 같고, 제1 속성은 가장자리 속성이다. 제2 속성 확률 맵이 색 속성 확률 맵이면, S는 N1과 같고, 제2 속성은 색 속성이다. 제2 속성 확률 맵이 선형 속성 확률 맵이면, S는 N2와 같고, 제2 속성은 선형 속성이다. 제2 속성 확률 맵이 가장자리 속성 확률 맵이면, S는 N3과 같고, 제2 속성은 가장자리 속성이다.
제1 속성 확률 맵이 제2 속성 확률 맵과 서로 다르기 때문에, 제1 속성 확률 맵이 색 속성 확률 맵이면, 제2 속성 확률 맵은 선형 속성 확률 맵 또는 가장자리 속성 확률 맵일 수 있으며, 제1 속성 확률 맵이 선형 속성 확률 맵이면, 제2 속성 확률 맵은 색 속성 확률 맵 또는 가장자리 속성 확률 맵일 수 있으며, 제1 속성 확률 맵이 가장자리 속성 확률 맵이면, 제2 속성 확률 맵은 색 속성 확률 맵 또는 선형 속성 확률 맵일 수 있음에 주의할 필요가 있다.
S307에 있어서, 당해 하나의 차선의 제1 속성의 값과 당해 하나의 차선의 제2 속성의 값을 조합시킨다.
S308에 있어서, 조합시킨 후의 속성 값을 당해 하나의 차선 속성 값으로 설정한다.
예를 들면, 하나의 차선의 제1 속성의 값과 제2 속성의 값을 얻은 후, 제1 속성의 값과 제2 속성의 값에 대해 조합 처리를 실행함으로써, 조합시킨 후의 속성 값을 당해 하나의 차선 속성 값으로 설정할 수 있다. 조합 처리 방식은 예를 들면 제2 속성의 값을 제1 속성의 값 뒤에 추가하는 것 또는 제1 속성의 값을 제2 속성의 값 뒤에 추가하는 것일 수 있다.
예시적으로, 제1 속성이 색 속성이고, 제2 속성이 선형 속성이며, 전술한 단계를 통하여 노면 화상 중의 특정의 하나의 차선의 제1 속성의 값이 백색이고, 제2 속성의 값이 실선이라고 가정하면, 제2 속성의 값을 제1 속성의 값 뒤에 추가하여, "백색 실선"을 얻는바, "백색 실선"이 당해 하나의 차선 속성 값이다.
일 예에 있어서, 상기 색 속성 확률 맵, 상기 선형 속성 확률 맵 및 상기 가장자리 속성 확률 맵을 동시에 사용하여 노면 화상 중의 차선 속성을 확정할 수 있다.
이러한 형태에 있어서, 상기 단계S203에서 이용한 확률 맵은 전술한 제1 속성 확률 맵과 제2 속성 확률 맵 이외에, 제3 속성 확률 맵을 더 포함한다. 여기서 당해 제3 속성 확률 맵은 색 속성 확률 맵, 선형 속성 확률 맵 및 가장자리 속성 확률 맵 중 하나이며, 또한 당해 제3 속성 확률 맵, 상기 제2 속성 확률 맵 및 상기 제1 속성 확률 맵은 그 속성이 모두 서로 다른 확률 맵이다.
도 4는 본 발명의 또 다른 일 실시예에 의해 제공되는 차선 속성 검출 방법의 흐름의 모식도이며, 도 4에 나타낸 바와 같이, 상기 확률 맵이 제1 속성 확률 맵과 제2 속성 확률 맵도 포함하고, 또한 제3 속성 확률 맵도 포함할 경우, 상기 단계S307에서 제1 속성의 값과 제2 속성의 값을 조합시키기 전에 이하의 단계를 실행할 수 있다.
S401에 있어서, 상기 노면 화상 중의 하나의 차선의 위치에서의 각 점에 대해, 당해 점의 U개의 제3 속성 확률 맵에서의 대응하는 위치의 각 확률 값을 확정한다.
S402에 있어서, 당해 점에 대해, 확률 값이 가장 큰 제3 속성 확률 맵에 대응하는 제3 속성의 값을 당해 점의 제3 속성의 값으로 설정한다.
S403에 있어서, 상기 노면 화상 중의 당해 하나의 차선의 위치에서의 각 점의 제3 속성의 값에 기반하여 당해 하나의 차선의 제3 속성의 값을 확정한다.
상기 단계S401∼S403은 노면 화상 중의 하나의 차선의 제3 속성의 값을 확정할 수 있다. 여기서 제3 속성은 제3 속성 확률 맵에 대응하는 속성이며, 예시적으로 제3 속성 확률 맵이 가장자리 속성 확률 맵이면, 제3 속성은 가장자리 속성이며, 제3 속성의 값은 연석 형 가장자리, 울타리 형 가장자리, 가상 가장자리 등일 수 있다.
신경망을 사용하여 확률 맵을 얻는 예를 제시하면, 당해 과정에서 노면 화상을 신경망에 입력한 후, 신경망은 U개의 제3 속성 확률 맵을 출력할 수 있고, 노면 화상 중의 하나의 차선 중의 하나의 점에 대해, 각 제3 속성 확률 맵은 모두 하나의 대응하는 확률 값을 가지며, 확률 값이 클수록 당해 점이 당해 확률 맵에 대응하는 속성에 속하는 확률이 큰 것을 의미하고, 따라서 당해 점에 대해, U개의 제3 속성 확률 맵에서의 대응하는 위치의 확률 값을 비교하여, 확률 값이 가장 큰 제3 속성 확률 맵에 대응하는 제3 속성의 값을 당해 점의 제3 속성의 값으로 설정할 수 있다.
예시적으로, 제3 속성 확률 맵이 가장자리 속성 확률 맵이고, 제3 속성이 가장자리 속성이며, U가 7, 즉 7개의 가장자리 속성 확률 맵을 포함한다고 가정하면, 각 확률 맵은 하나의 가장자리 속성에 대응한다. 노면 화상 중의 하나의 차선 중의 하나의 점의 일곱 번째 가장자리 속성 확률 맵에서의 확률 값이 가장 크다고 가정하면, 당해 점의 가장자리 속성의 값을 일곱 번째 가장자리 속성 확률 맵에 대응하는 가장자리 속성으로 확정할 수 있다.
상기 방법을 사용하여 노면 화상 중의 하나의 차선의 위치에서의 각 점의 제3 속성의 값을 얻을 수 있고, 이에 기초하여, 각 점의 제3 속성의 값에 기반하여 당해 하나의 차선의 제3 속성의 값을 확정할 수 있다.
예를 들면, 당해 하나의 차선의 위치에서의 각 점의 제3 속성의 값이 서로 다르면, 당해 하나의 차선의 위치에서의 제3 속성의 값이 동일한 점의 수량이 가장 많은 점의 제3 속성의 값을 당해 하나의 차선의 제3 속성의 값으로 설정할 수 있다.
예시적으로, 제3 속성이 가장자리 속성이고, 당해 하나의 차선 중의 각 점 중에서 제3 속성의 값이 연석 형 가장자리인 점의 수량이 모든 점의 수량의 82%를 차지하고, 제3 속성의 값이 가상 가장자리인 점의 수량이 모든 점의 수량의 14%를 차지하며, 제3 속성의 값이 비 가장자리인 점의 수량이 모든 점의 수량의 4%를 차지한다고 가정하면, 연석 형 가장자리를 당해 하나의 차선의 제3 속성의 값으로 설정할 수 있는바, 즉 가장자리 속성의 값으로 설정할 수 있다.
또 예를 들면, 당해 하나의 차선의 위치에서의 각 점의 제3 속성의 값이 동일하면, 당해 하나의 차선의 위치에서의 점의 제3 속성의 값을 당해 하나의 차선의 제3 속성의 값으로 설정할 수 있다.
예시적으로, 제3 속성이 가장자리 속성이고, 당해 하나의 차선 위치에서의 모든 점의 제3 속성의 값이 모두 연석 형 가장자리라고 가정하면, 연석 형 가장자리를 당해 하나의 차선의 제3 속성의 값으로 설정할 수 있는바, 즉 가장자리 속성의 값으로 설정할 수 있다.
구체적인 실시 과정에서 상기 단계S401∼S403은 순서에 따라 실행되지만, 본 발명의 실시예는 S401∼S403, S301∼S303 및 S304∼S306의 실행 순서에 대해 한정하지 않는다. 예시적으로, 먼저 S301∼S303을 실행하고 나서 S304∼S306을 실행하고, 그 후에 S401∼S403을 실행할 수도 있고, 먼저 S304∼S306을 실행하고 나서 S301∼S303을 실행하고, 그 후에 S401∼S403을 실행할 수도 있으며, 먼저 S401∼S403을 실행하고 나서 S304∼S306을 실행하고, 그 후에 S301∼S303을 실행할 수도 있고, S301∼S303, S304∼S306 및 S401∼S403을 병렬로 실행할 수도 있음을 설명할 필요가 있다.
상기 단계S401∼S403에 있어서, 제3 속성 확률 맵은 U개이며, 상술한 바와 같이, 색 속성 확률 맵은 N1개 있고, 선형 속성 확률 맵은 N2개 있으며, 가장자리 속성 확률 맵은 N3개 있다. 그러면, U와 전술한 N1, N2, N3의 관계는 아래와 같다.
제3 속성 확률 맵이 색 속성 확률 맵이면, U는 N1과 같고, 제3 속성은 색 속성이다. 제3 속성 확률 맵이 선형 속성 확률 맵이면, U는 N2와 같고, 제3 속성은 선형 속성이다. 제3 속성 확률 맵이 가장자리 속성 확률 맵이면, U는 N3과 같고, 제3 속성은 가장자리 속성이다.
일 예에 있어서, 상기 확률 맵이 제1 속성 확률 맵, 제2 속성 확률 맵 및 제3 속성 확률 맵을 포함할 경우, 상기 단계S307에서 하나의 차선의 제1 속성의 값과 제2 속성의 값을 조합시킬 때, 구체적으로, 당해 하나의 차선의 제1 속성의 값, 당해 하나의 차선의 제2 속성의 값 및 당해 하나의 차선의 제3 속성의 값을 조합시킬 수 있다.
예시적으로, 조합 처리 방식은 예를 들면, 제3 속성의 값을 제2 속성의 값과 제1 속성의 값 뒤에 추가하는 것 또는 제3 속성의 값을 제2 속성의 값과 제1 속성의 값 앞에 추가할 수 있다.
예시적으로, 제1 속성이 색 속성이고, 제2 속성이 선형 속성이며, 제3 속성이 가장자리 속성이고, 전술한 방식을 통하여 노면 화상 중의 특정의 하나의 차선의 제1 속성의 값이 백색이며, 제2 속성의 값이 실선이고, 제3 속성의 값이 비 가장자리라고 가정하면, 제3 속성의 값을 제2 속성과 제1 속성의 뒤에 추가하여, "백색 실선의 비 가장자리"를 얻을 수 있고, 상술한 바와 같이, 비 가장자리는 가장자리에 속하지 않고, 차선에 속하는 것을 나타내므로, 따라서 당해 예에서 얻어진 차선 속성은 백색 실선의 차선이다.
상기와 같이, 확률 맵에 기반하여 노면 화상 중의 차선 속성을 확정하는 과정을 설명했다. 상술한 바와 같이, 당해 확률 맵은 신경망에 의해 얻을 수 있는바, 노면 화상을 신경망에 입력하고, 신경망에 의해 상기 확률 맵이 출력될 수 있다.
이하, 실시예를 통해 상기 실시예에 관한 신경망의 트레이닝 및 사용 과정을 설명한다.
상기 신경망을 사용하기 전에, 상기 신경망에 대해 사전에 색 종류, 선형 종류 및 가장자리 종류의 라벨 정보를 포함하는 노면 트레이닝 화상 세트를 사용하여 감독 트레이닝을 실행할 수 있다. 당해 노면 트레이닝 화상 세트는, 대량의 트레이닝용 화상을 포함한다. 각 트레이닝용 화상은 실제의 노면 화상을 수집하여 라벨 붙임을 실행하는 과정에서 얻은 것이다. 일 예에 있어서, 먼저 낮, 밤, 비, 터널, 직선 도로, 커브, 강한 빛 등의 복수의 종류의 장면에서의 복수 장의 실제 노면 화상을 수집하고, 또한 각 장의 실제 노면 화상에 대해 픽셀 수준의 라벨 붙임을 실행하는바, 즉 실제로 노면 화상 중의 각 픽셀 점의 종류를 색 종류, 선형 종류 및 가장자리 종류의 라벨 정보로 라벨 붙임함으로써, 트레이닝 화상 세트를 얻는다. 신경망의 파라미터는 풍부한 장면에서 수집한 트레이닝 화상 세트를 이용하여 감독 트레이닝을 실행하여 얻어진 것이며, 따라서 트레이닝된 후 신경망은 몇 가지 간단한 장면 예를 들면 날씨 조건과 빛의 조건이 모두 비교적 좋은 낮의 장면에서 정확한 차선 속성 검출 결과를 얻는 것일 수 있을 뿐 아니라, 복잡도가 비교적 높은 장면 예를 들면 비, 밤, 터널, 커브, 강한 빛 등의 장면에서도 정확한 차선 속성 검출 결과를 얻을 수 있다.
상기 과정에 관한 트레이닝을 통한 화상 세트는 실제의 각종 장면을 커버하며, 따라서 트레이닝 화상 세트를 사용하여 트레이닝된 신경망은 각 종류의 장면에서의 차선 속성 검출에서 모두 좋은 견고성을 가지며, 검출 시간이 짧고 검출 결과의 정확성이 높다.
노면 트레이닝 화상 세트를 취득한 후, 다음의 과정에 따라 상기 신경망을 트레이닝할 수 있다.
도 5는 본 발명의 실시예에 의해 제공되는 차선 속성 검출을 실행하기 위한 신경망을 트레이닝하는 방법의 흐름의 모식도이며, 도 5에 나타낸 바와 같이, 상기 신경망의 트레이닝 과정은 이하의 단계를 포함할 수 있다.
S501에 있어서, 신경망이 입력된 트레이닝용 화상에 대해 처리를 실행하고, 트레이닝용 화상의 예측 색 속성 확률 맵, 예측 선형 속성 확률 맵 및 예측 가장자리 속성 확률 맵을 출력한다.
여기서, 상기 트레이닝용 화상은 상기 노면 트레이닝 화상 세트에 포함되어 있다.
여기서, 상기 예측 색 속성 확률 맵, 예측 선형 속성 확률 맵 및 예측 가장자리 속성 확률 맵은 신경망의 현재 실제로 출력하는 예측 색 속성 확률 맵, 예측 선형 속성 확률 맵 및 예측 가장자리 속성 확률 맵이다.
S502에 있어서, 상기 트레이닝용 화상 중의 하나의 차선의 위치에서의 각 점에 대해, 당해 점의 색 속성의 값, 선형 속성의 값 및 가장자리 속성의 값을 각각 확정한다.
S503에 있어서, 상기 트레이닝용 화상 중의 당해 하나의 차선의 위치에서의 각 점의 색 속성의 값, 선형 속성의 값 및 가장자리 속성의 값에 각각 기반하여 당해 하나의 차선 예측 색 종류, 예측 선형 종류 및 예측 가장자리 종류를 확정한다.
여기서 예측 색 종류란 신경망이 출력한 확률 맵에 의해 얻어진 차선의 색 속성의 값을 가리키고, 예측 선형 종류란 신경망이 출력한 확률 맵에 의해 얻어진 차선의 선형 속성의 값을 가리키고, 예측 가장자리 종류란 신경망이 출력한 확률 맵에 의해 얻어진 차선의 가장자리 속성의 값을 가리킨다.
상기 단계S502∼S503에 있어서, 색, 선형, 가장자리의 차원에 따라 각각 처리하여, 트레이닝용 화상 중의 하나의 차선의 예측 색 종류, 예측 선형 종류 및 예측 가장자리 종류를 확정할 수 있다.
여기서 트레이닝용 화상 중의 하나의 차선의 위치에서의 각 점의 색 속성의 값을 확정하는 구체적인 방법 및 각 점의 색 속성의 값에 기반하여 차선의 예측 색 종류를 확정하는 구체적인 방법은, 전술한 단계S301∼S303, 단계S304∼S306 또는 단계S401∼S403을 참조하면 되는바, 여기에서는 다시 반복적으로 설명하지 않는다.
트레이닝용 화상 중의 하나의 차선의 위치에서의 각 점의 선형 속성의 값을 확정하는 구체적인 방법 및 각 점의 선형 속성의 값에 기반하여 차선의 예측 선형을 확정하는 구체적인 방법은, 전술한 단계S301∼S303, 단계S304∼S306 또는 단계S401∼S403을 참조하면 되는바, 여기에서는 다시 반복적으로 설명하지 않는다.
신경망은 하나의 차선의 위치에서의 각 점의 선형 속성 또는 가장자리 속성을 확정할 경우, 노면 화상 전체를 이용하여 차선이 파선일지 실선일지를 판단하고, 이어서 차선상의 점이 파선인지 실선인지의 확률을 얻는다. 왜냐 하면, 신경망이 노면 화상으로부터 추출한 특징 맵 중의 각 픽셀 점이 노면 화상 중의 넓은 영역의 정보를 집약하기 때문에 차선의 선형 또는 가장자리 종류를 판단할 수 있기 때문이다.
트레이닝용 화상 중의 하나의 차선의 위치에서의 하나의 점의 가장자리 속성의 값을 확정하는 구체적인 방법 및 각 점의 가장자리 속성의 값에 기반하여 차선의 예측 가장자리 종류를 확정하는 구체적인 방법은, 전술한 단계S301∼S303, 단계S304∼S306 또는 단계S401∼S403을 참조하면 되는바, 여기에서는 다시 반복적으로 설명하지 않는다.
S504에 있어서, 상기 트레이닝용 화상의 차선 예측 색 종류와 상기 트레이닝용 화상의 차선 색 종류의 진실한 값(Ground-truth) 맵 중의 색 종류 사이의 제1 손실 값, 상기 트레이닝용 화상의 차선 예측 선형과 상기 트레이닝용 화상의 차선 선형 진실한 값 맵 중의 선형 사이의 제2 손실 값 및 상기 트레이닝용 화상의 차선 예측 가장자리 종류와 상기 트레이닝용 화상의 차선 가장자리 종류의 진실한 값 맵 중의 가장자리 종류 사이의 제3 손실 값을 취득한다.
여기서, 상기 색 종류의 진실한 값 맵은 논리 대수의 방식을 통해 트레이닝용 화상의 색을 나타내고, 상기 색 종류의 진실한 값 맵은 상기 트레이닝용 화상의 색 종류의 라벨 정보에 기반하여 얻어진 것이다. 상기 선형의 진실한 값 맵은 논리 대수의 방식을 통해 트레이닝용 화상의 선형을 나타내고, 상기 선형의 진실한 값 맵은 상기 트레이닝용 화상의 선형 라벨 정보에 기반하여 얻어진 것이다. 상기 가장자리 종류의 진실한 값 맵은 논리 대수의 방식을 통해 트레이닝용 화상 가장자리 종류를 나타내고, 상기 가장자리 종류의 진실한 값 맵은 상기 트레이닝용 화상 가장자리 종류 라벨 정보에 기반하여 얻어진 것이다.
일 예에 있어서, 손실 함수를 사용하여 예측 색 종류와 색 종류의 진실한 값 맵의 색 종류 사이의 제1 손실 값, 예측 선형과 선형의 진실한 값 맵의 선형 사이의 제2 손실 값 및 예측 가장자리 종류와 가장자리 종류의 진실한 값 맵 중의 가장자리 종류 사이의 제3 손실 값을 계산할 수 있다.
S505에 있어서, 상기 제1 손실 값, 제2 손실 값 및 제3 손실 값에 기반하여 상기 신경망 네트워크 파라미터 값을 조정한다.
예를 들면, 신경망 네트워크 파라미터는, 컨볼루션 커널의 사이즈, 무게 정보 등을 포함할 수 있다.
본 단계에 있어서, 경사 역방향 전파의 방식을 통해 상기 손실 값을 신경망으로 역방향 백 전파함으로써, 신경망 네트워크 파라미터 값을 조정한다.
본 단계를 거친 후에는, 일 회의 트레이닝의 반복 과정이 완료되어 새로운 신경망의 파라미터 값을 얻는다.
일 예에 있어서, 상기 제1 손실 값이 소정의 손실 범위 내에 들어갈 때까지, 또한, 제2 손실 값이 소정의 손실 범위 내에 들어갈 때까지, 또한, 제3 손실 값이 소정의 손실 범위 내에 들어갈 때까지, 당해 새로운 신경망의 파라미터 값에 기반하여 반복적으로 상기 단계S501∼S504를 실행하는바, 이 때 얻어진 신경망의 파라미터 값이 최적화 후의 파라미터 값이며, 당해 신경망의 트레이닝이 종료된다.
다른 일 예에 있어서, 상기 제1 손실 값, 제2 손실 값 및 제3 손실 값의 합의 값이 다른 하나의 소정의 손실 범위 내에 들어갈 때까지, 당해 새로운 신경망의 파라미터 값에 기반하여 반복적으로 상기 단계S501∼S504을 실행하는바, 이 때 얻어진 신경망의 파라미터 값이 최적화 후의 파라미터 값이며, 당해 신경망의 트레이닝이 종료된다.
다른 일 예에 있어서, 또한 경사 강하 알고리즘 또는 기타 신경망 분야에서의 일반적인 알고리즘을 통해 당해 신경망의 트레이닝을 종료할지 여부를 판단할 수 있다.
예시적으로, 일 회에 한 장의 트레이닝 화상을 사용하여 신경망을 트레이닝할 수도 있고, 일 회에 복수 장의 트레이닝 화상을 사용하여 신경망을 트레이닝할 수도 있다.
일 예에 있어서, 상기 신경망은 컨볼루션 신경망일 수도 있으며, 당해 컨볼루션 신경망은 컨볼루션 층, 레지 듀얼 네트워크 유닛, 업 샘플링 층 및 정규화 층을 포함할 수 있다. 여기서 컨볼루션 층과 레지 듀얼 네트워크 유닛의 전후 순서는 필요에 따라 유연하게 설정할 수 있고, 또한 각 층의 수량도 필요에 따라 유연하게 설정할 수 있다.
예를 들면, 상기 컨볼루션 신경망은 접속된 6∼10개의 컨볼루션 층, 접속된 7∼12개의 레지 듀얼 네트워크 유닛 및 1∼4개의 업 샘플링 층을 포함할 수 있다. 당해 특정의 구성을 가지는 컨볼루션 신경망을 차선 속성 검출로 사용할 경우, 복수의 장면 또는 복잡한 장면에서의 차선 속성 검출의 수요를 만족시키는바, 검출 결과의 견고성이 더욱 좋아지도록 한다.
일 예에 있어서, 상기 컨볼루션 신경망은 접속된 8개의 컨볼루션 층, 접속된 9개의 레지 듀얼 네트워크 유닛 및 접속된 2개의 업 샘플링 층을 포함할 수 있다.
도 6은 본 발명에 일 실시예에 의해 제공되는 컨볼루션 신경망의 구성의 모식도이며, 도 6에 나타낸 바와 같이, 노면 화상 입력(610) 후, 먼저 당해 컨볼루션 신경망의 연속된 8개의 컨볼루션 층(620)을 거치고, 당해 연속된 8개의 컨볼루션 층(620)의 뒤에 연속된 9개의 레지 듀얼 네트워크 유닛(630)를 포함하며, 당해 연속된 9개의 레지 듀얼 네트워크 유닛(630)의 뒤에 연속된 2개의 업 샘플링 층(640)을 포함하고, 당해 연속된 2개의 업 샘플링 층(640)의 뒤에 정규화 층(650)이 있으며, 최종적으로 정규화 층(650)에 의해 확률 맵이 출력된다.
예시적으로, 각 상기 레지 듀얼 네트워크 유닛(630)는 256개의 필터를 포함할 수 있으며, 각 층은 128개의 3*3과 128개의 1*1의 사이즈 필터를 포함할 수 있다.
상기 과정을 통하여 신경망의 트레이닝이 완료된 후 신경망을 사용하여 전술한 확률 맵을 출력할 때 이하의 과정에 따라 출력할 수 있다.
도 7은 본 발명의 실시예에 의해 제공되는 차선 속성 검출을 실행하기 위한 신경망이 노면 화상 처리를 실행하는 흐름의 모식도이며, 도 7에 나타낸 바와 같이, 신경망을 이용하여 상기 확률 맵을 취득하는 과정은 이하의 단계를 포함한다.
S701에 있어서, 상기 신경망의 적어도 하나의 컨볼루션 층을 이용하여 상기 노면 화상의 M개 채널의 하위 레벨 특징 정보를 추출한다.
여기서 M은 단계S202에서 얻어진 확률 맵의 수량이다. 일 예에 있어서, 확률 맵이 색 속성 확률 맵과 선형 속성 확률 맵을 포함하면, M은 N1과 N2의 합이다. 다른 일 예에 있어서, 확률 맵이 색 속성 확률 맵, 선형 속성 확률 맵 및 가장자리 속성 확률 맵을 포함하면, M은 N1과 N2와 N3의 합이다.
컨볼루션 층을 이용하여 노면 화상의 해상도를 저하시켜, 노면 화상의 하위 레벨 특징을 남길 수 있다. 예시적으로, 노면 화상의 하위 레벨 특징 정보는, 화상 중의 가장자리 정보, 직선 정보 및 곡선 정보 등을 포함할 수 있다.
확률 맵이 색 속성 확률 맵, 선형 속성 확률 맵 및 가장자리 속성 확률 맵을 포함하는 예를 제시하면, 상기 노면 화상의 M개 채널의 중의 각 채널은 하나의 색 속성, 하나의 선형 속성 또는 하나의 가장자리 속성에 대응한다.
S702에 있어서, 상기 신경망의 적어도 하나의 레지 듀얼 네트워크 유닛를 이용하여 상기 M개 채널의 하위 레벨 특징 정보에 기반하여 상기 노면 화상의 M개 채널의 상위 레벨 특징 정보를 추출한다.
레지 듀얼 네트워크 유닛를 이용하여 추출한 노면 화상의 M개 채널의 상위 레벨 특징 정보는 시맨틱 특징, 윤곽, 전체적 구조 등을 포함한다.
S703에 있어서, 상기 신경망의 적어도 하나의 업 샘플링 층을 이용하여 상기 M개 채널의 상위 레벨 특징 정보에 대해 업 샘플링 처리를 실행하여, 상기 노면 화상과 같은 크기의 M개의 확률 맵을 얻는다.
업 샘플링 층의 업 샘플링 처리를 통하여, 화상을 신경망에 입력한 화상의 원래의 크기로 복원할 수 있다. 본 단계에 있어서, M개 채널의 상위 레벨 특징 정보에 대해 업 샘플링 처리를 실행한 후, 신경망에 입력한 노면 화상과 같은 크기의 M개의 확률 맵을 얻을 수 있다.
본 발명의 실시예에 기재된 하위 레벨 특징 정보와 상위 레벨 특징 정보는, 하나의 특정 신경망에서의 상대적인 개념인 것을 설명할 필요가 있다. 예를 들면, 심도 신경망에 있어서, 심도가 비교적 얕은 네트워크 층에 의해 추출된 특징은 심도가 비교적 깊은 네트워크 층에 의해 추출된 특징과 비교하면, 전자에 의해 추출된 것이 하위 레벨 특징 정보에 속하고, 후자에 의해 추출된 것이 상위 레벨 특징 정보에 속한다.
일 예에 있어서, 신경망에서 상기 업 샘플링 층의 뒤에 정규화 층을 더 포함할 수 있으며, 정규화 층을 이용하여 상기 M개의 확률 맵을 출력한다.
예시적으로, 업 샘플링 처리를 통과한 후에 얻어진 노면 화상의 특징 맵의 경우, 당해 특징 맵 중의 각 픽셀 점의 값에 대해 정규화 처리를 실행함으로써, 특징 맵 중의 각 픽셀 점의 값이 0로부터 1의 범위 내 들어가도록 하여, M개의 확률 맵을 얻는다.
예시적으로, 정규화 방법은 먼저 특징 맵 중의 픽셀 점의 값의 최대치를 확정하고, 그 후 각 픽셀 점의 값을 당해 최대치에서 제산함으로써, 특징 맵 중의 각 픽셀 점의 값이 0로부터 1의 범위 내에 들어가도록 한다.
본 발명의 실시예는 상기 단계S701과 S702의 실행 순서에 대해 한정하지 않는바, 즉 먼저 S701을 실행하고 나서 S702을 실행할 수도 있고, 먼저 S702을 실행하고 나서 S701을 실행할 수도 있음을 설명할 필요가 있다.
선택적인 1실시 형태로서, 상기 단계S202에서 노면 화상을 신경망에 입력하기 전에, 먼저 상기 노면 화상에 대해 왜곡 제거 처리를 실행함으로써, 신경망 출력 결과의 정확성을 더욱 향상시킬 수 있다.
도 8은 본 발명의 실시예에 의해 제공되는 차선 속성 검출 장치의 모듈의 구성도이며, 도 8에 나타낸 바와 같이, 당해 장치는 제1 취득 모듈(801), 제1 확정 모듈(802) 및 제2 확정 모듈(803)을 구비한다.
제1 취득 모듈(801)은 스마트 디바이스에 장착된 화상 수집 장치가 수집한 노면 화상을 취득한다.
제1 확정 모듈(802)은 상기 노면 화상에 기반하여 확률 맵을 확정하고, 상기 확률 맵은 색 속성 확률 맵, 선형 속성 확률 맵 및 가장자리 속성 확률 맵 중 적어도 두 종류를 포함하며, 여기서 색 속성 확률 맵은 N1개 있고, 선형 속성 확률 맵은 N2개 있으며, 가장자리 속성 확률 맵은 N3개 있고, 여기서 N1, N2 및 N3은 모두 0보다 큰 정수이며, 각 색 속성 확률 맵은 상기 노면 화상 중의 각 점이 당해 종류의 색에 속하는 확률을 나타내고, 각 선형 속성 확률 맵은 상기 노면 화상 중의 각 점이 당해 종류의 선형에 속하는 확률을 나타내며, 각 가장자리 속성 확률 맵은 상기 노면 화상 중의 각 점이 당해 종류의 가장자리에 속하는 확률을 나타낸다.
제2 확정 모듈(803)은 상기 확률 맵에 기반하여 상기 노면 화상 중의 차선 속성을 확정한다.
다른 일 실시예에 있어서, 상기 N1개의 색 속성 확률 맵에 대응하는 색은 백색, 황색 및 청색 중 적어도 하나를 포함한다.
다른 일 실시예에 있어서, 상기 N2개의 선형 속성 확률 맵에 대응하는 선형은 파선, 실선, 이중 파선, 이중 실선, 파선 실선 이중 선, 실선 파선 이중 선, 삼중 파선 및 파실파 삼중 선 중 적어도 하나를 포함한다.
다른 일 실시예에 있어서, 상기 N3개의 가장자리 속성 확률 맵에 대응하는 가장자리는 연석 형 가장자리, 울타리 형 가장자리, 벽 또는 화단형 가장자리, 가상 가장자리 및 비 가장자리 중 적어도 하나를 포함한다.
다른 일 실시예에 있어서, 상기 확률 맵은 제1 속성 확률 맵과 제2 속성 확률 맵을 포함하고, 상기 제1 속성 확률 맵과 상기 제2 속성 확률 맵은 색 속성 확률 맵, 선형 속성 확률 맵 및 가장자리 속성 확률 맵 중의 두 종류이며, 또한 상기 제1 속성 확률 맵과 상기 제2 속성 확률 맵은 서로 다르다.
제2 확정 모듈(803)은 구체적으로 상기 노면 화상 중의 하나의 차선의 위치에서의 각 점에 대해, 당해 점의 L개의 상기 제1 속성 확률 맵에서의 대응하는 위치의 각 확률 값을 확정하고, 당해 점에 대해, 확률 값이 가장 큰 제1 속성 확률 맵에 대응하는 제1 속성의 값을 당해 점의 제1 속성의 값으로 설정하며, 상기 노면 화상 중의 당해 하나의 차선의 위치에서의 각 점의 제1 속성의 값에 기반하여 당해 하나의 차선의 제1 속성의 값을 확정하고, 상기 노면 화상 중의 당해 하나의 차선의 위치에서의 각 점에 대해, 당해 점의 S개의 상기 제2 속성 확률 맵에서의 대응하는 위치의 각 확률 값을 확정하며, 당해 점에 대해, 확률 값이 가장 큰 제2 속성 확률 맵에 대응하는 제2 속성의 값을 당해 점의 제2 속성의 값으로 설정하고, 상기 노면 화상 중의 당해 하나의 차선의 위치에서의 각 점의 제2 속성의 값에 기반하여, 당해 하나의 차선의 제2 속성의 값을 확정하고, 당해 하나의 차선의 제1 속성의 값과 당해 하나의 차선의 제2 속성의 값을 조합시키고, 조합시킨 후의 속성 값을 당해 하나의 차선 속성 값으로 설정하며, 여기서 제1 속성 확률 맵이 색 속성 확률 맵이면, L은 N1과 같고, 제1 속성은 색 속성이며, 제1 속성 확률 맵이 선형 속성 확률 맵이면, L은 N2와 같고, 제1 속성은 선형 속성이며, 제1 속성 확률 맵이 가장자리 속성 확률 맵이면, L은 N3과 같고, 제1 속성은 가장자리 속성이며, 제2 속성 확률 맵이 색 속성 확률 맵이면, S는 N1과 같고, 제2 속성은 색 속성이며, 제2 속성 확률 맵이 선형 속성 확률 맵이면, S는 N2와 같고, 제2 속성은 선형 속성이며, 제2 속성 확률 맵이 가장자리 속성 확률 맵이면, S는 N3과 같고, 제2 속성은 가장자리 속성이다.
다른 일 실시예에 있어서, 제2 확정 모듈(803)이 상기 노면 화상 중의 당해 하나의 차선의 위치에서의 각 점의 제1 속성에 기반하여 당해 하나의 차선의 제1 속성의 값을 확정하는 것은, 당해 하나의 차선의 위치에서의 각 점의 제1 속성의 값이 서로 다른 것에 대응하여, 당해 하나의 차선의 위치에서의 제1 속성의 값이 동일한 점의 수량이 가장 많은 점의 제1 속성의 값을 당해 하나의 차선의 제1 속성의 값으로 설정하는 것을 포함한다.
다른 일 실시예에 있어서, 제2 확정 모듈(803)이 상기 노면 화상 중의 당해 하나의 차선의 위치에서의 각 점의 제1 속성에 기반하여 당해 하나의 차선의 제1 속성의 값을 확정하는 것은, 당해 하나의 차선의 위치에서의 각 점의 제1 속성의 값이 동일한 것에 대응하여, 당해 하나의 차선의 위치에서의 점의 제1 속성의 값을 당해 하나의 차선의 제1 속성의 값으로 설정하는 것을 포함한다.
다른 일 실시예에 있어서, 제2 확정 모듈(803)이 상기 노면 화상 중의 당해 하나의 차선의 위치에서의 각 점의 제2 속성의 값에 기반하여 당해 하나의 차선의 제2 속성의 값을 확정하는 것은, 당해 하나의 차선의 위치에서의 각 점의 제2 속성의 값이 서로 다른 것에 대응하여, 당해 하나의 차선의 위치에서의 제2 속성의 값이 동일한 점의 수량이 가장 많은 점의 제2 속성의 값을 당해 하나의 차선의 제2 속성의 값으로 설정하는 것을 포함한다.
다른 일 실시예에 있어서, 제2 확정 모듈(803)이 상기 노면 화상 중의 당해 하나의 차선의 위치에서의 각 점의 제2 속성의 값에 기반하여 당해 하나의 차선의 제2 속성의 값을 확정하는 것은, 당해 하나의 차선의 위치에서의 각 점의 제2 속성의 값이 동일한 것에 대응하여, 당해 하나의 차선의 위치에서의 점의 제2 속성의 값을 당해 하나의 차선의 제2 속성의 값으로 설정하는 것을 포함한다.
다른 일 실시예에 있어서, 상기 확률 맵은 제3 속성 확률 맵을 더 포함하고, 상기 제3 속성 확률 맵은 색 속성 확률 맵, 선형 속성 확률 맵 및 가장자리 속성 확률 맵 중 하나이며, 또한 상기 제3 속성 확률 맵, 상기 제2 속성 확률 맵 및 상기 제1 속성 확률 맵은 그 속성이 모두 서로 다른 확률 맵이다.
제2 확정 모듈(803)은 또한 당해 하나의 차선의 상기 제1 속성의 값과 당해 하나의 차선의 상기 제2 속성의 값을 조합시키기 전에, 상기 노면 화상 중의 당해 하나의 차선의 위치에서의 각 점에 대해, 당해 점의 U개의 상기 제3 속성 확률 맵에서의 대응하는 위치의 각 확률 값을 확정하고, 당해 점에 대해, 확률 값이 가장 큰 제3 속성 확률 맵에 대응하는 제3 속성의 값을 당해 점의 제3 속성의 값으로 설정하며, 상기 노면 화상 중의 당해 하나의 차선의 위치에서의 각 점의 제3 속성의 값에 기반하여 당해 하나의 차선의 제3 속성의 값을 확정하고, 여기서 제3 속성 확률 맵이 색 속성 확률 맵이면, U는 N1과 같고, 제3 속성은 색 속성이며, 제3 속성 확률 맵이 선형 속성 확률 맵이면, U는 N2와 같고, 제3 속성은 선형 속성이며, 제3 속성 확률 맵이 가장자리 속성 확률 맵이면, U는 N3과 같고, 제3 속성은 가장자리 속성이며, 제2 확정 모듈(803)이 당해 하나의 차선의 제1 속성의 값과 당해 하나의 차선의 제2 속성의 값을 조합시키는 것은, 당해 하나의 차선의 제1 속성의 값, 당해 하나의 차선의 제2 속성의 값 및 당해 하나의 차선의 제3 속성의 값을 조합시키는 것을 포함한다.
다른 일 실시예에 있어서, 제2 확정 모듈(803)이 상기 노면 화상 중의 당해 하나의 차선의 위치에서의 각 점의 제3 속성의 값에 기반하여 당해 하나의 차선의 제3 속성의 값을 확정하는 것은, 당해 하나의 차선의 위치에서의 각 점의 제3 속성의 값이 서로 다른 것에 대응하여, 당해 하나의 차선의 위치에서의 제3 속성의 값이 동일한 점의 수량이 가장 많은 점의 제3 속성의 값을 당해 하나의 차선의 제3 속성의 값으로 설정하는 것을 포함한다.
다른 일 실시예에 있어서, 제2 확정 모듈(803)이 상기 노면 화상 중의 당해 하나의 차선의 위치에서의 각 점의 제3 속성의 값에 기반하여 당해 하나의 차선의 제3 속성의 값을 확정하는 것은, 당해 하나의 차선의 위치에서의 각 점의 제3 속성의 값이 동일한 것에 대응하여, 당해 하나의 차선의 위치에서의 점의 제3 속성의 값을 당해 하나의 차선의 제3 속성의 값으로 설정하는 것을 포함한다.
다른 일 실시예에 있어서, 제1 확정 모듈(802)은 구체적으로 상기 노면 화상을 신경망에 입력하고, 신경망이 상기 확률 맵을 출력하며, 여기서, 상기 신경망은 색 종류, 선형 종류 및 가장자리 종류의 라벨 정보를 포함하는 노면 트레이닝 화상 세트를 사용하여 감독 트레이닝하여 얻어진 것이다.
도 9는 본 발명의 실시예에 의해 제공되는 차선 속성 검출 장치의 모듈의 구성도이며, 도 9에 나타낸 바와 같이, 상기 노면 화상에 대해 왜곡 제거 처리를 실행하기 위한 전처리 모듈(804)을 더 구비한다.
상기 장치의 각 모듈의 분할은 단지 논리적인 기능의 분할에 불과할 뿐, 실제로 실현할 때 전부 또는 일부를 하나의 물리적 실체에 통합시킬 수도 있고, 물리적으로 분리시킬 수도 있음을 이해해야 하는 것을 설명할 필요가 있다. 또한 이러한 모듈은 모두 소프트웨어가 처리 요소에 의해 호출되는 형식으로 실현될 수도 있고, 모두 하드웨어의 형식으로 실현될 수도 있으며, 일부의 모듈이 처리 요소에 의해 소프트웨어를 호출하는 형식으로 실현되고, 일부의 모듈이 하드웨어의 형식으로 실현될 수도 있다. 예를 들면, 확정 모듈은 단독적으로 확립된 처리 요소일 수도 있고, 상기 장치가 특정 칩에 통합되어 실현될 수도 있으며, 다른 한편, 프로그램 코드의 형식으로 상기 장치의 메모리에 기억될 수도 있고, 상기 장치가 특정 처리 요소에 의해 상기 확정 모듈의 기능을 호출되어 실행될 수도 있다. 기타 모듈의 실현도 마찬가지다. 한편, 이러한 모듈은 전부 또는 일부가 통합될 수도 있고, 독립적으로 실현될 수도 있다. 여기에 기재되는 처리 요소는 신호 처리 능력을 가지는 집적 회로일 수도 있다. 실현 과정에 있어서, 상기 방법의 각 단계 또는 상기 각 모듈은 프로세서 요소 중의 하드웨어의 집적 논리 회로 또는 소프트웨어 형식의 명령에 의해 완성될 수 있다.
예를 들면, 상기 이러한 모듈은 상기 방법을 실시하는 하나 또는 복수의 집적 회로로 구성될 수도 있으며, 예를 들면, 하나 또는 복수의 특정 집적 회로(application specific integrated circuit, ASIC), 하나 또는 복수의 마이크로 프로세서(digital signal processor, DSP) 또는 하나 또는 복수의 현장 프로그래밍 가능 게이트 어레이(field programmable gate array, FPGA) 등일 수도 있다. 또한 예를 들면, 상기 특정 모듈이 처리 요소에 의해 프로그램 코드를 호출하는 형식으로 실현될 경우, 당해 처리 요소는 범용 프로세서일 수 있는바, 예를 들면, 중앙 처리 유닛(central processing unit, CPU) 또는 다른 프로그램 코드를 호출할 수 있는 프로세서일 수 있다. 또한 예를 들면, 이러한 모듈은 하나로 통합되어 시스템 온 칩(system-on-a-chip, SOC)의 형식으로 실현될 수도 있다.
상기 실시예는 소프트웨어, 하드웨어, 펌웨어 또는 그 임의의 조합을 통해 전부 또는 일부가 실현될 수 있다. 소프트웨어를 사용하여 실현할 경우, 컴퓨터 프로그램 제품의 형식을 통해 전부 또는 일부가 실현될 수 있다. 상기 컴퓨터 프로그램 제품은 하나 또는 복수의 컴퓨터 명령을 포함한다. 컴퓨터 상에 상기 컴퓨터 프로그램 명령을 로드하여 실행할 때, 본 발명의 실시예에 기재된 흐름 또는 기능의 전부 또는 일부가 실현된다. 상기 컴퓨터는 대형 기계(슈퍼 컴퓨터), 전용 컴퓨터, 컴퓨터 네트워크 또는 다른 프로그램 가능한 장치일 수 있다. 상기 컴퓨터 명령은 컴퓨터 판독 가능 기억 매체에 기억될 수 있거나 또는 하나의 컴퓨터 판독 가능 기억 매체로부터 다른 하나의 컴퓨터 판독 가능 기억 매체에 전송될 수 있다. 예를 들면, 상기 컴퓨터 명령은 하나의 웹 사이트, 컴퓨터, 서버 또는 데이터 센터로부터, 유선(예를 들면, 동축 케이블, 광 섬유, 디지털 유저 회선(DSL)) 또는 무선(예를 들면, 적외선, 무선, 마이크로파 등) 방식을 통해 또 하나의 웹 사이트, 컴퓨터, 서버 또는 데이터 센터에 전송될 수 있다. 상기 컴퓨터 판독 가능 기억 매체는 컴퓨터에 의해 액세스될 수 있는 어떠한 이용 가능한 매체 또는 하나 또는 복수의 이용 가능한 매체가 통합된 서버, 데이터 센터 등을 포함하는 데이터 기억 디바이스일 수 있다. 상기 이용 가능한 매체는 자기 매체(예를 들면, 플로피 디스크, 하드 디스크, 자기 테이프), 광학매체(예를 들면, DVD) 또는 반도체매체(예를 들면, 솔리드 스테이트 디스크solid state disk(SSD)) 등일 수 있다.
도 10은 본 발명의 실시예에 의해 제공되는 전자 디바이스의 구성의 모식도이다. 도 10에 나타낸 바와 같이, 당해 전자 디바이스(1000)는 프로세서(1001), 메모리(1002), 통신 인터페이스(1003) 및 시스템 버스(1004)를 구비할 수 있다. 상기 메모리(1002)와 상기 통신 인터페이스(1003)는 상기 시스템 버스(1004)을 통하여 상기 프로세서(1001)와 접속되어 상호간의 통신을 완성한다. 상기 메모리(1002)는 컴퓨터 실행 명령을 기억하고, 상기 통신 인터페이스(1003)는 기타 디바이스와 통신을 실행한다. 상기 프로세서(1001)에 의해 상기 컴퓨터 명령이 실행될 때, 본 발명의 실시예에 의해 제공되는 차선 속성 검출 방법이 실현된다.
당해 도 10에 언급된 시스템 버스는 주변 부품 상호 접속 표준(peripheral component interconnect, PCI) 버스 또는 확장 산업 표준 구성(extended industry standard architecture, EISA) 버스 등일 수 있다. 상기 시스템 버스는 주소 버스, 데이터 버스, 제어 버스 등으로 나뉠 수 있다. 용이하게 표현하기 위하여, 도면에서는 하나의 굵은 선만으로 나타냈지만, 하나의 버스 또는 하나의 종류의 버스만이 존재하는 것을 의미하지 않는다. 통신 인터페이스는 데이터베이스 액세스 장치와 기타 디바이스(예를 들면, 클라이언트, 판독/기입 라이브러리 및 판독 전용 라이브러리) 사이의 통신을 실현한다. 메모리는 랜덤 액세스 메모리(random access memory, RAM)을 포함할 수 있으며, 비휘발성 메모리(non-volatile memory)을 더 포함할 수 있고, 예를 들면 적어도 하나의 디스크 메모리를 포함한다.
상기 프로세서는 중앙 처리 유닛CPU, 네트워크 프로세서(network processor, NP)등을 포함하는 범용 프로세서일 수도 있고, 디지털 신호 프로세서DSP, 전용 집적 회로ASIC, 현장 프로그래밍 가능 게이트 어레이FPGA 또는 다른 프로그래밍 가능 논리 장치, 별도의 게이트 또는 트랜지스터 논리 장치, 별도의 하드웨어 컴포넌트일 수도 있다.
도 11은 본 발명의 실시예에 의해 제공되는 스마트 디바이스의 구성의 모식도이며, 도 11에 나타낸 바와 같이, 본 실시예의 스마트 디바이스(1100)는 화상 수집 장치(1101), 프로세서(1102) 및 메모리(1103)를 구비한다.
구체적으로, 도 11에 나타낸 바와 같이, 실제로 사용할 때 화상 수집 장치(1101)는 노면 화상을 촬영하여, 노면 화상을 프로세서(1102)에 송신하고, 프로세서(1102)는 메모리(1103)를 호출하여 메모리(1103) 내의 프로그램 명령을 실행하고, 취득된 노면 화상 중의 차선 속성을 검출하며, 검출하여 얻은 차선 속성에 기반하여 프롬프트 정보를 출력하거나 또는 상기 스마트 디바이스에 대해 주행 제어를 실행한다.
본 실시예의 스마트 디바이스는 도로상에서 주행할 수 있는 스마트 디바이스이며, 예를 들면, 스마트 운전 차량, 로봇, 블라인드 안내 디바이스 등이며, 여기서 스마트 운전 차량은 자율 운전 차량 또는 보조 운전 시스템을 가지는 차량일 수 있다.
여기서 프롬프트 정보는 차선 오프셋 경고 프롬프트, 차선 유지 프롬프트, 주행 속도 변경, 주행 방향 변경, 차선 유지, 조명 상태 변경 등을 포함할 수 있다.
상기 주행 제어는 제동, 주행 속도 변경, 주행 방향 변경, 차선 유지, 조명 상태 변경, 운전 모드 전환 등을 포함할 수 있으며, 여기서 운전 모드 전환은 보조 운전과 자율 운전 사이의 전환일 수 있는바, 예를 들면, 보조 운전으로부터 자율 운전으로의 전환이다.
도 12는 본 발명의 실시예에 의해 제공되는 스마트 운전 방법의 흐름의 모식도이며, 상기 실시예를 기초로 하여, 본 발명의 실시예는 상기 도 11에 기재된 스마트 디바이스에 사용되는 스마트 운전 방법을 더 제공하는바, 도 12에 나타낸 바와 같이, 당해 방법은 이하의 단계를 포함한다.
S1201에 있어서, 노면 화상을 취득한다.
S1202에 있어서, 상기 방법의 실시예에 기재된 상기 차선 속성 검출 방법을 사용하여, 취득된 노면 화상 중의 차선 속성을 검출한다.
S1203에 있어서, 검출하여 얻은 차선 속성에 기반하여 프롬프트 정보를 출력하거나 또는 스마트 디바이스에 대해 주행 제어를 실행한다.
본 실시예의 실행 주체는 이동할 수 있는 스마트 디바이스이며, 예를 들면, 스마트 운전 차량, 로봇, 블라인드 안내 디바이스 등이며, 여기서 스마트 운전 차량은 자율 운전 차량 또는 보조 운전 시스템을 가지는 차량일 수 있다.
본 실시예의 스마트 운전은 보조 운전, 자율 운전 및/또는 보조 운전과 자율 운전 사이의 운전 모드 전환을 포함한다.
여기서 노면 화상의 차선 속성 검출 결과는 상기 실시예의 차선 속성 검출 방법을 통해 얻을 수 있으며, 구체적인 과정은 상기 실시예의 서술을 참조하면 되는바, 여기에서는 다시 반복적으로 설명하지 않는다.
구체적으로, 스마트 디바이스는 상기 차선 속성 검출 방법을 실행하고, 노면 화상의 차선 속성 검출 결과를 얻고, 노면 화상의 차선 속성 검출 결과에 기반하여 프롬프트 정보를 출력하거나 및/또는 이동 제어를 실행한다.
여기서 프롬프트 정보는 차선 오프셋 경고 프롬프트, 차선 유지 프롬프트, 주행 속도 변경, 주행 방향 변경, 차선 유지, 조명 상태 변경 등을 포함할 수 있다.
상기 주행 제어는 제동, 주행 속도 변경, 주행 방향 변경, 차선 유지 등을 포함할 수 있다.
본 실시예에 의해 제공되는 운전 제어 방법에 따르면, 스마트 디바이스가 노면 화상의 차선 속성 검출 결과를 취득하고, 노면 화상의 차선 속성 검출 결과에 기반하여 프롬프트 정보를 출력하거나 또는 스마트 디바이스의 주행 제어를 실행함으로써, 스마트 디바이스의 안전성과 신뢰성을 더욱 향상시켰다.
선택적으로, 본 발명의 실시예는 비휘발성 기억 매체를 더 제공하는바, 상기 기억 매체에는 명령이 기억되어 있으며, 당해 명령이 컴퓨터에서 운행되면 컴퓨터가 본 발명의 실시예에 의해 제공되는 차선 속성 검출 방법을 실행한다.
선택적으로, 본 발명의 실시예는 명령을 운행하는 칩을 더 제공하는바, 상기 칩은 본 발명의 실시예에 의해 제공되는 차선 속성 검출 방법을 실행한다.
본 발명의 실시예는 프로그램 제품을 더 제공하는바, 상기 프로그램 제품은 컴퓨터 프로그램을 포함하고, 상기 컴퓨터 프로그램은 기억 매체에 기억되어 있으며, 적어도 하나의 프로세서는 상기 기억 매체로부터 상기 컴퓨터 프로그램을 읽어낼 수 있고, 상기 적어도 하나의 프로세서에 의해 상기 컴퓨터 프로그램이 실행될 때 본 발명의 실시예에 의해 제공되는 차선 속성 검출 방법이 실현된다.
본 발명의 실시예에 있어서, "적어도 하나"는 하나 또는 복수를 가리키고, "복수"는 2개 이상을 가리킨다. "및/또는"은 관련 대상의 관련 관계를 서술하며, 세 종류의 관계의 존재를 나타내는바, 예를 들면 A 및/또는 B는 A가 단독적으로 존재하는 것, A와 B가 동시에 존재하는 것 및 B가 단독적으로 존재하는 것을 나타낼 수 있고, 여기서 A와 B는 단수 또는 복수일 수 있다. 문자 "/"은 일반적으로, 전후의 관련 대상의 사이가 "또는"의 관계인 것을 나타낸다. 공식에 있어서, 문자 "/"은 전후의 관련 대상의 사이가 "나눗셈"의 관계인 것을 나타낸다. "이하의 적어도 1항(개)" 또는 유사한 표현은 이러한 항목 중 임의의 조합을 나타내며, 단일인 항목(개) 또는 복수 항목(개)이 임의의 조합을 포함한다. 예를 들면, a, b 또는 c 중의 적어도 1항(개)은 a, b, c, a-b, a-c, b-c 또는 a-b-c를 나타내고, 여기서 a, b, c는 단수 또는 복수일 수 있다.
본 발명의 실시예에서 언급된 각 종류의 숫자는 단지 서술의 편의를 위하여 구분한 것이며, 본 발명의 실시예의 범위를 한정하지 않음을 이해할 수 있다.
본 발명의 실시예에 있어서, 상기 각 과정의 순서 기호의 크기는 실행 순서의 전후를 의미하지 않는다. 각 과정의 실행 순서는 그 기능과 내부 논리에 의해 결정될 것이며, 본 발명의 실시예의 실시 과정에 대한 어떠한 제한도 구성하지 않음을 이해할 수 있다.
마지막으로 설명해야할 것은 이상의 각 실시예는 단지 본 발명의 기술 방안을 설명하기 위하여 사용될 뿐, 이를 한정하려는 것이 아니다. 전술한 각 실시예를 참조하여 본 발명을 상세하게 설명했지만, 당업자는 여전히 전술한 각 실시예에 기재된 기술 방안을 수정하거나 또는 그 중의 일부 또는 전부의 기술적 특징에 대해 동등한 치환을 실행할 수 있지만, 이러한 수정 또는 치환은 대응하는 기술 방안의 본질이 본 발명의 각 실시예의 기술 방안의 범위를 일탈하게 하지 않음을 이해해야 한다.

Claims (32)

  1. 차선 속성 검출 방법에 있어서,
    스마트 디바이스에 장착된 화상 수집 장치가 수집한 노면 화상을 취득하는 단계;
    상기 노면 화상에 기반하여 확률 맵을 확정하는 단계; 및
    상기 확률 맵에 기반하여 상기 노면 화상 중의 차선 속성을 확정하는 단계를 포함하고,
    상기 확률 맵은 색 속성 확률 맵, 선형 속성 확률 맵 및 가장자리 속성 확률 맵 중 적어도 두 종류를 포함하며,
    상기 색 속성 확률 맵은 N1개 있고, 상기 선형 속성 확률 맵은 N2개 있으며, 상기 가장자리 속성 확률 맵은 N3개 있고, 여기서 N1, N2 및 N3은 모두 0보다 큰 정수이며,
    각 상기 색 속성 확률 맵은 상기 노면 화상 중의 각 점이 당해 색 속성 확률 맵에 대응하는 색에 속하는 확률을 나타내고,
    각 상기 선형 속성 확률 맵은 상기 노면 화상 중의 각 점이 당해 선형 속성 확률 맵에 대응하는 선형에 속하는 확률을 나타내며,
    각 상기 가장자리 속성 확률 맵은 상기 노면 화상 중의 각 점이 당해 가장자리 속성 확률 맵에 대응하는 가장자리에 속하는 확률을 나타내는
    것을 특징으로 하는 차선 속성 검출 방법.
  2. 제1항에 있어서,
    상기 N1개의 색 속성 확률 맵에 대응하는 색은 백색, 황색 및 청색 중 적어도 하나를 포함하는
    것을 특징으로 하는 차선 속성 검출 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 N2개의 선형 속성 확률 맵에 대응하는 선형은 파선, 실선, 이중 파선, 이중 실선, 파선 실선 이중 선, 실선 파선 이중 선, 삼중 파선 및 파실파 삼중 선 중 적어도 하나를 포함하는
    것을 특징으로 하는 차선 속성 검출 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 N3개의 가장자리 속성 확률 맵에 대응하는 가장자리는 연석 형 가장자리, 울타리 형 가장자리, 벽 또는 화단형 가장자리, 가상 가장자리 및 비 가장자리 중 적어도 하나를 포함하는
    것을 특징으로 하는 차선 속성 검출 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 확률 맵은 제1 속성 확률 맵과 제2 속성 확률 맵을 포함하고, 상기 제1 속성 확률 맵과 상기 제2 속성 확률 맵은 상기 색 속성 확률 맵, 상기 선형 속성 확률 맵 및 상기 가장자리 속성 확률 맵 중의 두 종류이며, 또한 상기 제1 속성 확률 맵과 상기 제2 속성 확률 맵은 서로 다르고,
    상기 확률 맵에 기반하여 상기 노면 화상 중의 상기 차선 속성을 확정하는 단계는
    상기 노면 화상 중의 하나의 차선의 위치에서의 각 점에 대해, 당해 점의 L개의 상기 제1 속성 확률 맵에서의 대응하는 위치의 각 확률 값을 확정하는 단계;
    당해 점에 대해, 확률 값이 가장 큰 제1 속성 확률 맵에 대응하는 제1 속성의 값을 당해 점의 제1 속성의 값으로 설정하는 단계;
    상기 노면 화상 중의 당해 하나의 차선의 위치에서의 각 점의 제1 속성의 값에 기반하여 당해 하나의 차선의 제1 속성의 값을 확정하는 단계;
    상기 노면 화상 중의 당해 하나의 차선의 위치에서의 각 점에 대해, 당해 점의 S개의 상기 제2 속성 확률 맵에서의 대응하는 위치의 각 확률 값을 확정하는 단계;
    당해 점에 대해, 확률 값이 가장 큰 제2 속성 확률 맵에 대응하는 제2 속성의 값을 당해 점의 제2 속성의 값으로 설정하는 단계;
    상기 노면 화상 중의 당해 하나의 차선의 위치에서의 각 점의 제2 속성의 값에 기반하여 당해 하나의 차선의 제2 속성의 값을 확정하는 단계;
    당해 하나의 차선의 상기 제1 속성의 값과 당해 하나의 차선의 상기 제2 속성의 값을 조합시키는 단계; 및
    조합시킨 후의 속성 값을 당해 하나의 차선 속성 값으로 설정하는 단계를 포함하되,
    상기 제1 속성 확률 맵이 상기 색 속성 확률 맵이면, L은 N1과 같고, 상기 제1 속성은 색 속성이며, 상기 제1 속성 확률 맵이 상기 선형 속성 확률 맵이면, L은 N2와 같고, 상기 제1 속성은 선형 속성이며, 상기 제1 속성 확률 맵이 상기 가장자리 속성 확률 맵이면, L은 N3과 같고, 제1 속성은 가장자리 속성이며, 상기 제2 속성 확률 맵이 상기 색 속성 확률 맵이면, S는 N1과 같고, 상기 제2 속성은 상기 색 속성이며, 상기 제2 속성 확률 맵이 상기 선형 속성 확률 맵이면, S는 N2와 같고, 상기 제2 속성은 상기 선형 속성이며, 상기 제2 속성 확률 맵이 상기 가장자리 속성 확률 맵이면, S는 N3과 같고, 상기 제2 속성은 상기 가장자리 속성인
    것을 특징으로 하는 차선 속성 검출 방법.
  6. 제5항에 있어서,
    상기 노면 화상 중의 당해 하나의 차선의 위치에서의 각 점의 상기 제1 속성에 기반하여 당해 하나의 차선의 상기 제1 속성의 값을 확정하는 단계는
    당해 하나의 차선의 위치에서의 각 점의 상기 제1 속성의 값이 서로 다른 것에 대응하여, 당해 하나의 차선의 위치에서의 각 점 중의 제1 속성의 값이 동일한 점의 수량이 가장 많은 점의 상기 제1 속성의 값을 당해 하나의 차선의 상기 제1 속성의 값으로 설정하는 단계를 포함하는
    것을 특징으로 하는 차선 속성 검출 방법.
  7. 제5항 또는 제6항에 있어서,
    상기 노면 화상 중의 당해 하나의 차선의 위치에서의 각 점의 상기 제1 속성에 기반하여 당해 하나의 차선의 상기 제1 속성의 값을 확정하는 단계는
    당해 하나의 차선의 위치에서의 각 점의 상기 제1 속성의 값이 동일한 것에 대응하여, 당해 하나의 차선의 위치에서의 점의 상기 제1 속성의 값을 당해 하나의 차선의 상기 제1 속성의 값으로 설정하는 단계를 포함하는
    것을 특징으로 하는 차선 속성 검출 방법.
  8. 제5항 내지 제7항 중 어느 한 항에 있어서,
    상기 노면 화상 중의 당해 하나의 차선의 위치에서의 각 점의 상기 제2 속성의 값에 기반하여 당해 하나의 차선의 상기 제2 속성의 값을 확정하는 단계는
    당해 하나의 차선의 위치에서의 각 점의 상기 제2 속성의 값이 서로 다른 것에 대응하여, 당해 하나의 차선의 위치에서의 각 점 중의 제2 속성의 값이 동일한 점의 수량이 가장 많은 점의 상기 제2 속성의 값을 당해 하나의 차선의 상기 제2 속성의 값으로 설정하는 단계를 포함하는
    것을 특징으로 하는 차선 속성 검출 방법.
  9. 제5항 내지 제8항 중 어느 한 항에 있어서,
    상기 노면 화상 중의 당해 하나의 차선의 위치에서의 각 점의 상기 제2 속성의 값에 기반하여 당해 하나의 차선의 상기 제2 속성의 값을 확정하는 단계는
    당해 하나의 차선의 위치에서의 각 점의 상기 제2 속성의 값이 동일한 것에 대응하여, 당해 하나의 차선의 위치에서의 점의 상기 제2 속성의 값을 당해 하나의 차선의 상기 제2 속성의 값으로 설정하는 단계를 포함하는
    것을 특징으로 하는 차선 속성 검출 방법.
  10. 제5항 내지 제9항 중 어느 한 항에 있어서,
    상기 확률 맵은 제3 속성 확률 맵을 더 포함하고, 상기 제3 속성 확률 맵은 상기 색 속성 확률 맵, 상기 선형 속성 확률 맵 및 상기 가장자리 속성 확률 맵 중 하나이며, 또한 상기 제3 속성 확률 맵, 상기 제2 속성 확률 맵 및 상기 제1 속성 확률 맵은 그 속성이 모두 서로 다른 확률 맵이며,
    당해 하나의 차선의 상기 제1 속성의 값과 당해 하나의 차선의 상기 제2 속성의 값을 조합시키는 단계 앞에, 상기 차선 속성 검출 방법은,
    상기 노면 화상 중의 당해 하나의 차선의 위치에서의 각 점에 대해, 당해 점의 U개의 상기 제3 속성 확률 맵에서의 대응하는 위치의 각 확률 값을 확정하는 단계;
    당해 점에 대해, 확률 값이 가장 큰 제3 속성 확률 맵에 대응하는 제3 속성의 값을 당해 점의 제3 속성의 값으로 설정하는 단계; 및
    상기 노면 화상 중의 당해 하나의 차선의 위치에서의 각 점의 제3 속성의 값에 기반하여 당해 하나의 차선의 제3 속성의 값을 확정하는 단계를 더 포함하고,
    여기서, 상기 제3 속성 확률 맵이 상기 색 속성 확률 맵이면, U는 N1과 같고, 상기 제3 속성은 상기 색 속성이며, 상기 제3 속성 확률 맵이 상기 선형 속성 확률 맵이면, U는 N2와 같고, 상기 제3 속성은 상기 선형 속성이며, 상기 제3 속성 확률 맵이 상기 가장자리 속성 확률 맵이면, U는 N3과 같고, 상기 제3 속성은 상기 가장자리 속성이며,
    당해 하나의 차선의 상기 제1 속성의 값과 당해 하나의 차선의 상기 제2 속성의 값을 조합시키는 단계는
    당해 하나의 차선의 상기 제1 속성의 값, 당해 하나의 차선의 상기 제2 속성의 값 및 당해 하나의 차선의 상기 제3 속성의 값을 조합시키는 단계를 포함하는
    것을 특징으로 하는 차선 속성 검출 방법.
  11. 제10항에 있어서,
    상기 노면 화상 중의 당해 하나의 차선의 위치에서의 각 점의 상기 제3 속성의 값에 기반하여 당해 하나의 차선의 상기 제3 속성의 값을 확정하는 단계는
    당해 하나의 차선의 위치에서의 각 점의 상기 제3 속성의 값이 서로 다른 것에 대응하여, 당해 하나의 차선의 위치에서의 각 점 중의 제3 속성의 값이 동일한 점의 수량이 가장 많은 점의 상기 제3 속성의 값을 당해 하나의 차선의 상기 제3 속성의 값으로 설정하는 단계를 포함하는
    것을 특징으로 하는 차선 속성 검출 방법.
  12. 제10항 또는 제11항에 있어서,
    상기 노면 화상 중의 당해 하나의 차선의 위치에서의 각 점의 상기 제3 속성의 값에 기반하여 당해 하나의 차선의 상기 제3 속성의 값을 확정하는 단계는
    당해 하나의 차선의 위치에서의 각 점의 상기 제3 속성의 값이 동일한 것에 대응하여, 당해 하나의 차선의 위치에서의 점의 상기 제3 속성의 값을 당해 하나의 차선의 상기 제3 속성의 값으로 설정하는 단계를 포함하는
    것을 특징으로 하는 차선 속성 검출 방법.
  13. 제1항 내지 제12항 중 어느 한 항에 있어서,
    상기 노면 화상에 기반하여 상기 확률 맵을 확정하는 단계는
    상기 노면 화상을 신경망에 입력하고, 신경망이 상기 확률 맵을 출력하는 단계를 포함하되,
    상기 신경망은 색 종류, 선형 종류 및 가장자리 종류의 라벨 정보를 포함하는 노면 트레이닝 화상 세트를 사용하여 감독 트레이닝하여 얻은 것임
    을 특징으로 하는 차선 속성 검출 방법.
  14. 제13항에 있어서,
    상기 노면 화상을 상기 신경망에 입력하기 전에,
    상기 차선 속성 검출 방법은,
    상기 노면 화상에 대해 왜곡 제거 처리를 실행하는 단계를 더 포함하는
    것을 특징으로 하는 차선 속성 검출 방법.
  15. 차선 속성 검출 장치에 있어서,
    스마트 디바이스에 장착된 화상 수집 장치가 수집한 노면 화상을 취득하기 위한 제1 취득 모듈；
    상기 노면 화상에 기반하여 확률 맵을 확정하기 위한 제1 확정 모듈；
    상기 확률 맵에 기반하여 상기 노면 화상 중의 차선 속성을 확정하기 위한 제2 확정 모듈을 구비하고,
    상기 확률 맵은 색 속성 확률 맵, 선형 속성 확률 맵 및 가장자리 속성 확률 맵 중 적어도 두 종류를 포함하며,
    상기 색 속성 확률 맵은 N1개 있고, 상기 선형 속성 확률 맵은 N2개 있으며, 상기 가장자리 속성 확률 맵은 N3개 있고, 여기서 N1, N2 및 N3은 모두 0보다 큰 정수이며,
    각 상기 색 속성 확률 맵은 상기 노면 화상 중의 각 점이 당해 색 속성 확률 맵에 대응하는 색에 속하는 확률을 나타내고,
    각 상기 선형 속성 확률 맵은 상기 노면 화상 중의 각 점이 당해 선형 속성 확률 맵에 대응하는 선형에 속하는 확률을 나타내며,
    각 상기 가장자리 속성 확률 맵은 상기 노면 화상 중의 각 점이 당해 가장자리 속성 확률 맵에 대응하는 가장자리에 속하는 확률을 나타내는
    것을 특징으로 하는 차선 속성 검출 장치.
  16. 제15항에 있어서,
    상기 N1개의 색 속성 확률 맵에 대응하는 색은 백색, 황색 및 청색 중 적어도 하나를 포함하는
    것을 특징으로 하는 차선 속성 검출 장치.
  17. 제15항 또는 제16항에 있어서,
    상기 N2개의 선형 속성 확률 맵에 대응하는 선형은 파선, 실선, 이중 파선, 이중 실선, 파선 실선 이중 선, 실선 파선 이중 선, 삼중 파선 및 파실파 삼중 선 중 적어도 하나를 포함하는
    것을 특징으로 하는 차선 속성 검출 장치.
  18. 제15항 내지 제17항 중 어느 한 항에 있어서,
    상기 N3개의 가장자리 속성 확률 맵에 대응하는 가장자리는 연석 형 가장자리, 울타리 형 가장자리, 벽 또는 화단형 가장자리, 가상 가장자리 및 비 가장자리 중 적어도 하나를 포함하는
    것을 특징으로 하는 차선 속성 검출 장치.
  19. 제15항 내지 제18항 중 어느 한 항에 있어서,
    상기 확률 맵은 제1 속성 확률 맵과 제2 속성 확률 맵을 포함하고, 상기 제1 속성 확률 맵과 상기 제2 속성 확률 맵은 상기 색 속성 확률 맵, 상기 선형 속성 확률 맵 및 상기 가장자리 속성 확률 맵 중의 두 종류이며, 또한 상기 제1 속성 확률 맵과 상기 제2 속성 확률 맵은 서로 다르고,
    상기 제2 확정 모듈은,
    상기 노면 화상 중의 하나의 차선의 위치에서의 각 점에 대해, 당해 점의 L개의 상기 제1 속성 확률 맵에서의 대응하는 위치의 각 확률 값을 확정하고,
    당해 점에 대해, 확률 값이 가장 큰 제1 속성 확률 맵에 대응하는 제1 속성의 값을 당해 점의 제1 속성의 값으로 설정하며,
    상기 노면 화상 중의 당해 하나의 차선의 위치에서의 각 점의 제1 속성의 값에 기반하여 당해 하나의 차선의 제1 속성의 값을 확정하고,
    상기 노면 화상 중의 당해 하나의 차선의 위치에서의 각 점에 대해, 당해 점의 S개의 상기 제2 속성 확률 맵에서의 대응하는 위치의 각 확률 값을 확정하며,
    당해 점에 대해, 확률 값이 가장 큰 제2 속성 확률 맵에 대응하는 제2 속성의 값을 당해 점의 제2 속성의 값으로 설정하고,
    상기 노면 화상 중의 당해 하나의 차선의 위치에서의 각 점의 제2 속성의 값에 기반하여 당해 하나의 차선의 제2 속성의 값을 확정하며,
    당해 하나의 차선의 상기 제1 속성의 값과 당해 하나의 차선의 상기 제2 속성의 값을 조합시키고,
    조합시킨 후의 속성 값을 당해 하나의 차선 속성 값으로 설정하며,
    여기서, 상기 제1 속성 확률 맵이 상기 색 속성 확률 맵이면, L은 N1과 같고, 상기 제1 속성은 색 속성이며, 상기 제1 속성 확률 맵이 상기 선형 속성 확률 맵이면, L은 N2와 같고, 상기 제1 속성은 선형 속성이며, 상기 제1 속성 확률 맵이 상기 가장자리 속성 확률 맵이면, L은 N3과 같고, 제1 속성은 가장자리 속성이며, 상기 제2 속성 확률 맵이 상기 색 속성 확률 맵이면, S는 N1과 같고, 상기 제2 속성은 상기 색 속성이며, 상기 제2 속성 확률 맵이 상기 선형 속성 확률 맵이면, S는 N2와 같고, 상기 제2 속성은 상기 선형 속성이며, 상기 제2 속성 확률 맵이 상기 가장자리 속성 확률 맵이면, S는 N3과 같고, 상기 제2 속성은 상기 가장자리 속성인
    것을 특징으로 하는 차선 속성 검출 장치.
  20. 제19항에 있어서,
    상기 제2 확정 모듈이 상기 노면 화상 중의 당해 하나의 차선의 위치에서의 각 점의 상기 제1 속성에 기반하여 당해 하나의 차선의 상기 제1 속성의 값을 확정하는 것은,
    당해 하나의 차선의 위치에서의 각 점의 상기 제1 속성의 값이 서로 다른 것에 대응하여, 당해 하나의 차선의 위치에서의 제1 속성의 값이 동일한 점의 수량이 가장 많은 점의 상기 제1 속성의 값을 당해 하나의 차선의 상기 제1 속성의 값으로 설정하는 것을 포함하는
    것을 특징으로 하는 차선 속성 검출 장치.
  21. 제19항 또는 제20항에 있어서,
    상기 제2 확정 모듈이 상기 노면 화상 중의 당해 하나의 차선의 위치에서의 각 점의 상기 제1 속성에 기반하여 당해 하나의 차선의 상기 제1 속성의 값을 확정하는 것은,
    당해 하나의 차선의 위치에서의 각 점의 상기 제1 속성의 값이 동일한 것에 대응하여, 당해 하나의 차선의 위치에서의 점의 상기 제1 속성의 값을 당해 하나의 차선의 상기 제1 속성의 값으로 설정하는 것을 포함하는
    것을 특징으로 하는 차선 속성 검출 장치.
  22. 제19항 내지 제21항 중 어느 한 항에 있어서,
    상기 제2 확정 모듈이 상기 노면 화상 중의 당해 하나의 차선의 위치에서의 각 점의 상기 제2 속성의 값에 기반하여 당해 하나의 차선의 상기 제2 속성의 값을 확정하는 것은,
    당해 하나의 차선의 위치에서의 각 점의 상기 제2 속성의 값이 서로 다른 것에 대응하여, 당해 하나의 차선의 위치에서의 제2 속성의 값이 동일한 점의 수량이 가장 많은 점의 상기 제2 속성의 값을 당해 하나의 차선의 상기 제2 속성의 값으로 설정하는 것을 포함하는
    것을 특징으로 하는 차선 속성 검출 장치.
  23. 제19항 내지 제22항 중 어느 한 항에 있어서,
    상기 제2 확정 모듈이 상기 노면 화상 중의 당해 하나의 차선의 위치에서의 각 점의 상기 제2 속성의 값에 기반하여 당해 하나의 차선의 상기 제2 속성의 값을 확정하는 것은,
    당해 하나의 차선의 위치에서의 각 점의 상기 제2 속성의 값이 동일한 것에 대응하여, 당해 하나의 차선의 위치에서의 점의 상기 제2 속성의 값을 당해 하나의 차선의 상기 제2 속성의 값으로 설정하는 것을 포함하는
    것을 특징으로 하는 차선 속성 검출 장치.
  24. 제19항 내지 제23항 중 어느 한 항에 있어서,
    상기 확률 맵은 제3 속성 확률 맵을 더 포함하고, 상기 제3 속성 확률 맵은 상기 색 속성 확률 맵, 상기 선형 속성 확률 맵 및 상기 가장자리 속성 확률 맵 중 하나이며, 또한 상기 제3 속성 확률 맵, 상기 제2 속성 확률 맵 및 상기 제1 속성 확률 맵은 그 속성이 모두 서로 다른 확률 맵이며,
    상기 제2 확정 모듈은 또한,
    당해 하나의 차선의 상기 제1 속성의 값과 당해 하나의 차선의 상기 제2 속성의 값을 조합시키기 전에, 상기 노면 화상 중의 당해 하나의 차선의 위치에서의 각 점에 대해, 당해 점의 U개의 상기 제3 속성 확률 맵에서의 대응하는 위치의 각 확률 값을 확정하고,
    당해 점에 대해, 확률 값이 가장 큰 제3 속성 확률 맵에 대응하는 제3 속성의 값을 당해 점의 제3 속성의 값으로 설정하며,
    상기 노면 화상 중의 당해 하나의 차선의 위치에서의 각 점의 제3 속성의 값에 기반하여 당해 하나의 차선의 제3 속성의 값을 확정하되,
    상기 제3 속성 확률 맵이 상기 색 속성 확률 맵이면, U는 N1과 같고, 상기 제3 속성은 상기 색 속성이며, 상기 제3 속성 확률 맵이 상기 선형 속성 확률 맵이면, U는 N2와 같고, 상기 제3 속성은 상기 선형 속성이며, 상기 제3 속성 확률 맵이 상기 가장자리 속성 확률 맵이면, U는 N3과 같고, 상기 제3 속성은 상기 가장자리 속성이며,
    상기 제2 확정 모듈이 당해 하나의 차선의 상기 제1 속성의 값과 당해 하나의 차선의 상기 제2 속성의 값을 조합시키는 것은,
    당해 하나의 차선의 상기 제1 속성의 값, 당해 하나의 차선의 상기 제2 속성의 값 및 당해 하나의 차선의 상기 제3 속성의 값을 조합시키는 것을 포함하는
    것을 특징으로 하는 차선 속성 검출 장치.
  25. 제24항에 있어서,
    상기 제2 확정 모듈이 상기 노면 화상 중의 당해 하나의 차선의 위치에서의 각 점의 상기 제3 속성의 값에 기반하여 당해 하나의 차선의 상기 제3 속성의 값을 확정하는 것은,
    당해 하나의 차선의 위치에서의 각 점의 상기 제3 속성의 값이 서로 다른 것에 대응하여, 당해 하나의 차선의 위치에서의 제3 속성의 값이 동일한 점의 수량이 가장 많은 점의 상기 제3 속성의 값을 당해 하나의 차선의 상기 제3 속성의 값으로 설정하는 것을 포함하는
    것을 특징으로 하는 차선 속성 검출 장치.
  26. 제24항 또는 25항에 있어서,
    상기 제2 확정 모듈이 상기 노면 화상 중의 하나의 차선의 위치에서의 각 점의 제3 속성의 값에 기반하여 당해 하나의 차선의 제3 속성의 값을 확정하는 것은,
    당해 하나의 차선의 위치에서의 각 점의 상기 제3 속성의 값이 동일한 것에 대응하여, 당해 하나의 차선의 위치에서의 점의 상기 제3 속성의 값을 당해 하나의 차선의 상기 제3 속성의 값으로 설정하는 것을 포함하는
    것을 특징으로 하는 차선 속성 검출 장치.
  27. 제15항 내지 제26항 중 어느 한 항에 있어서,
    상기 제1 확정 모듈은,
    상기 노면 화상을 신경망에 입력하고, 신경망이 상기 확률 맵을 출력하되,
    상기 신경망은 색 종류, 선형 종류 및 가장자리 종류의 라벨 정보를 포함하는 노면 트레이닝 화상 세트를 사용하여 감독 트레이닝하여 얻은 것임
    을 특징으로 하는 차선 속성 검출 장치.
  28. 제27항에 있어서,
    상기 노면 화상에 대해 왜곡 제거 처리를 실행하기 위한 전처리 모듈을 더 구비하는
    것을 특징으로 하는 차선 속성 검출 장치.
  29. 전자 디바이스에 있어서,
    프로그램 명령을 기억하기 위한 메모리; 및
    상기 메모리 내의 상기 프로그램 명령을 호출하여 실행함으로써, 제1항 내지 제14항 중 어느 한 항에 기재된 방법의 단계를 실행하기 위한 프로세서를 구비하는
    것을 특징으로 하는 전자 디바이스.
  30. 스마트 디바이스에 사용되는 스마트 운전 방법에 있어서,
    노면 화상을 취득하는 단계;
    제1항 내지 제14항 중 어느 한 항에 기재된 상기 차선 속성 검출 방법을 사용하여, 취득한 상기 노면 화상 중의 차선 속성을 검출하는 단계; 및
    검출하여 얻은 상기 차선 속성에 기반하여 프롬프트 정보를 출력하거나 또는 상기 스마트 디바이스에 대해 주행 제어를 실행하는 단계를 포함하는
    것을 특징으로 하는 스마트 운전 방법.
  31. 스마트 디바이스에 있어서,
    노면 화상을 취득하기 위한 화상 수집 장치;
    프로그램 명령을 기억하며, 기억된 프로그램 명령이 실행될 시, 제1항 내지 제14항 중 어느 한 항에 기재된 상기 차선 속성 검출 방법이 실현되는 메모리; 및
    상기 화상 수집 장치가 취득한 상기 노면 화상에 기반하여 상기 메모리에 기억된 상기 프로그램 명령을 실행함으로써, 상기 노면 화상 중의 차선 속성을 검출하고, 검출하여 얻은 차선 속성에 기반하여 프롬프트 정보를 출력하거나 또는 스마트 디바이스에 대해 주행 제어를 실행하기 위한 프로세서를 구비하는
    것을 특징으로 하는 스마트 디바이스.
  32. 컴퓨터 프로그램이 기억되어 있는 비휘발성 판독 가능 기억 매체에 있어서,
    상기 컴퓨터 프로그램이 제1항 내지 제14항 중 어느 한 항에 기재된 방법의 단계를 실행하는
    것을 특징으로 하는 비휘발성 판독 가능 기억 매체.
KR1020217000803A 2019-06-25 2020-02-20 차선 속성 검출 KR20210018493A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910556260.X 2019-06-25
CN201910556260.XA CN112131914B (zh) 2019-06-25 2019-06-25 车道线属性检测方法、装置、电子设备及智能设备
PCT/CN2020/076036 WO2020258894A1 (zh) 2019-06-25 2020-02-20 车道线属性检测

Publications (1)

Publication Number Publication Date
KR20210018493A true KR20210018493A (ko) 2021-02-17

Family

ID=73849445

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217000803A KR20210018493A (ko) 2019-06-25 2020-02-20 차선 속성 검출

Country Status (6)

Country Link
US (1) US20210117700A1 (ko)
JP (1) JP7119197B2 (ko)
KR (1) KR20210018493A (ko)
CN (1) CN112131914B (ko)
SG (1) SG11202013052UA (ko)
WO (1) WO2020258894A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112396044B (zh) * 2021-01-21 2021-04-27 国汽智控(北京)科技有限公司 车道线属性信息检测模型训练、车道线属性信息检测方法
CN112818792A (zh) 2021-01-25 2021-05-18 北京百度网讯科技有限公司 车道线检测方法、装置、电子设备及计算机存储介质
US11776282B2 (en) * 2021-03-26 2023-10-03 Here Global B.V. Method, apparatus, and system for removing outliers from road lane marking data

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11211659A (ja) * 1998-01-23 1999-08-06 Nagoya Denki Kogyo Kk 路面状態判別方法およびその装置
JP2001263479A (ja) 2000-03-17 2001-09-26 Equos Research Co Ltd 車両制御装置、車両制御方法及びそのプログラムを記録した記録媒体
JP5083658B2 (ja) 2008-03-26 2012-11-28 本田技研工業株式会社 車両用車線認識装置、車両、及び車両用車線認識プログラム
JP2010060371A (ja) * 2008-09-02 2010-03-18 Omron Corp 物体検出装置
BR112012002884A2 (pt) * 2009-08-12 2017-12-19 Koninl Philips Electronics Nv sistema de formação de imagens médicas para gerar dados de um objeto de características de uma região de interesse de um objeto, método para a geração de dados de um objeto de características de uma região de interesse de um objeto, elemento de programa de computador para controlar um aparelho e meio que pode ser lido por computador
KR101279712B1 (ko) * 2011-09-09 2013-06-27 연세대학교 산학협력단 실시간 차선 검출 장치 및 방법과 이에 관한 기록매체
CN102862574B (zh) 2012-09-21 2015-08-19 上海永畅信息科技有限公司 基于智能手机实现车辆主动安全的方法
JP5983238B2 (ja) * 2012-09-25 2016-08-31 日産自動車株式会社 車線境界線検出装置及び車線境界線検出方法
CN104376297B (zh) * 2013-08-12 2017-06-23 株式会社理光 道路上的线型指示标志的检测方法和装置
KR101738034B1 (ko) * 2015-07-09 2017-05-22 현대자동차주식회사 개선된 차선 인식 방법
CN105260699B (zh) * 2015-09-10 2018-06-26 百度在线网络技术（北京）有限公司 一种车道线数据的处理方法及装置
CN108216229B (zh) * 2017-09-08 2020-01-10 北京市商汤科技开发有限公司 交通工具、道路线检测和驾驶控制方法及装置
CN109670376B (zh) * 2017-10-13 2021-05-25 神州优车股份有限公司 车道线识别方法及系统
US10628671B2 (en) * 2017-11-01 2020-04-21 Here Global B.V. Road modeling from overhead imagery
CN107945168B (zh) * 2017-11-30 2021-12-10 上海联影医疗科技股份有限公司 一种医学图像的处理方法及医学图像处理系统
CN108052904B (zh) * 2017-12-13 2021-11-30 辽宁工业大学 车道线的获取方法及装置
CN108009524B (zh) * 2017-12-25 2021-07-09 西北工业大学 一种基于全卷积网络的车道线检测方法
CN108875603B (zh) * 2018-05-31 2021-06-04 上海商汤智能科技有限公司 基于车道线的智能驾驶控制方法和装置、电子设备
CN109147368A (zh) * 2018-08-22 2019-01-04 北京市商汤科技开发有限公司 基于车道线的智能驾驶控制方法装置与电子设备
CN109635816B (zh) * 2018-10-31 2021-04-06 百度在线网络技术（北京）有限公司 车道线生成方法、装置、设备以及存储介质
CN109740469B (zh) * 2018-12-24 2021-01-22 百度在线网络技术（北京）有限公司 车道线检测方法、装置、计算机设备和存储介质
CN109657632B (zh) * 2018-12-25 2022-05-06 重庆邮电大学 一种车道线检测识别方法

Also Published As

Publication number Publication date
US20210117700A1 (en) 2021-04-22
SG11202013052UA (en) 2021-01-28
CN112131914B (zh) 2022-10-21
JP7119197B2 (ja) 2022-08-16
WO2020258894A1 (zh) 2020-12-30
JP2021532449A (ja) 2021-11-25
CN112131914A (zh) 2020-12-25

Similar Documents

Publication Publication Date Title
CN109087510B (zh) 交通监测方法及装置
KR20210018493A (ko) 차선 속성 검출
CN112528878A (zh) 检测车道线的方法、装置、终端设备及可读存储介质
WO2022134996A1 (en) Lane line detection method based on deep learning, and apparatus
CN107688772A (zh) 保单信息录入的方法、装置、计算机设备及存储介质
CN111898491B (zh) 一种车辆逆向行驶的识别方法、装置及电子设备
CN111027539A (zh) 一种基于空间位置信息的车牌字符分割方法
WO2021185121A1 (zh) 模型生成方法、目标检测方法、装置、设备及存储介质
CN115239644B (zh) 混凝土缺陷识别方法、装置、计算机设备和存储介质
CN112651441A (zh) 细粒度非机动车特征检测方法、存储介质及计算机设备
CN111079634B (zh) 车辆行驶中检测障碍物的方法、装置、系统及车辆
CN113945222B (zh) 道路信息的识别方法、装置、电子设备、车辆及介质
CN117975418A (zh) 一种基于改进rt-detr的交通标识检测方法
CN112699711A (zh) 车道线检测方法、装置、存储介质及电子设备
CN112446375A (zh) 车牌识别方法、装置、设备及存储介质
CN110796129A (zh) 一种文本行区域检测方法及装置
CN113158922A (zh) 基于yolo神经网络的车流量统计方法、装置及设备
CN116721396A (zh) 车道线检测方法、设备及存储介质
CN111462490A (zh) 一种基于多级子区划分的路网可视化方法及装置
CN116343148A (zh) 车道线检测方法、装置、车辆及存储介质
CN113408514B (zh) 一种基于深度学习检测路侧停车场泊位的方法及装置
CN114495049A (zh) 识别车道线的方法和装置
CN114359859A (zh) 一种含遮挡的目标物处理方法、装置及存储介质
CN114119953A (zh) 快速车牌定位和矫正方法、存储介质及设备
CN116246241A (zh) 目标物的检测方法及装置、车辆、处理器以及电子设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application