KR20220004939A - 차선 검출 방법, 장치, 전자기기, 저장 매체 및 차량 - Google Patents
차선 검출 방법, 장치, 전자기기, 저장 매체 및 차량 Download PDFInfo
- Publication number
- KR20220004939A KR20220004939A KR1020210179925A KR20210179925A KR20220004939A KR 20220004939 A KR20220004939 A KR 20220004939A KR 1020210179925 A KR1020210179925 A KR 1020210179925A KR 20210179925 A KR20210179925 A KR 20210179925A KR 20220004939 A KR20220004939 A KR 20220004939A
- Authority
- KR
- South Korea
- Prior art keywords
- key frame
- frame image
- lane
- feature map
- image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000001514 detection method Methods 0.000 claims abstract description 196
- 230000003287 optical effect Effects 0.000 claims description 38
- 238000012549 training Methods 0.000 claims description 37
- 238000009826 distribution Methods 0.000 claims description 33
- 230000008859 change Effects 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 15
- 238000013140 knowledge distillation Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 7
- 238000006073 displacement reaction Methods 0.000 claims description 5
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 238000013135 deep learning Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 101000822695 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C1 Proteins 0.000 description 1
- 101000655262 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C2 Proteins 0.000 description 1
- 101000655256 Paraclostridium bifermentans Small, acid-soluble spore protein alpha Proteins 0.000 description 1
- 101000655264 Paraclostridium bifermentans Small, acid-soluble spore protein beta Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
본 출원은 차선 검출 방법, 장치, 전자기기, 저장 매체, 프로그램 제품 및 차량을 개시하며, 인공지능, 자율 주행, 지능형 교통, 및 딥 러닝에 적용될 수 있다. 구체적인 구현 방안은, 차선을 포함하는 비디오 스트림을 획득하고, 비디오 스트림으로부터 소정 간격의 프레임 수량에 따라 키 프레임 이미지를 추출하되, 인접한 키 프레임 이미지 사이의 것은 비 키 프레임 이미지가 되며, 키 프레임 이미지에 대하여, 키 프레임 이미지의 특징맵을 기초로 차선 검출을 수행하고, 비 키 프레임 이미지에 대하여, 비 키 프레임 이미지의 이전 프레임의 키 프레임 이미지의 특징맵 및 비 키 프레임 이미지를 기초로 차선 검출을 수행하는 것이며, 본 실시예에서, 이전 프레임의 키 이미지의 특징맵을 결합하여 비 키 프레임 이미지의 특징맵을 결정하고, 차선 검출을 수행함으로써, 차선 검출의 유연성과 다양성을 구현하며, 차선 검출 효율을 향상시킬 수 있다.
Description
본 출원은 컴퓨터 기술 및 이미지 처리 기술에 관한 것으로, 특히 차선 검출 방법, 장치, 전자기기, 저장 매체, 프로그램 제품 및 차량에 관한 것이며, 인공지능, 자율 주행, 지능형 교통, 및 딥 러닝에 적용될 수 있다.
차량의 보급 및 차량 자동화 기술의 발전에 따라 차량 주행의 안전성과 신뢰성을 향상시키는 것은 차량 제공자와 차량 사용자의 공통된 추구이며, 차선 검출은 차량 주행의 안전성과 신뢰성을 구현하기 위한 하나의 중요한 요소이다.
종래의 기술에서 일반적으로 사용하는 차선 검출 방법에 따르면, 트레이닝 과정에서, 트레이닝 샘플을 수집하고, 트레이닝 샘플을 기반으로 기본 네트워크 모델에 대해 트레이닝하여, 차선 검출 모델을 획득하며; 응용 과정에서, 수집된 각 프레임의 이미지에 대하여, 모두 트레이닝된 차선 검출 모델을 기반으로 각 프레임의 이미지의 특징맵을 결정하고, 차선 검출 모델을 기반으로 특징맵에 대해 차선 검출을 수행할 수 있다.
하지만, 각 프레임의 이미지에 대해 모두 차선 검출 모델을 통해 특징맵을 결정하여야 하므로, 검출 효율이 보다 낮고, 원가가 보다 높은 문제를 초래할 수 있다.
본 출원은 차선 검출 효율을 향상시키기 위한 차선 검출 방법, 장치, 전자기기, 저장 매체, 프로그램 제품 및 차량을 제공한다.
본 출원의 제1 측면에 따르면, 차선 검출 방법을 제공하며, 상기 방법은,
차선을 포함하는 비디오 스트림을 획득하고, 상기 비디오 스트림으로부터 소정 간격의 프레임 수량에 따라 키 프레임 이미지를 추출하되, 인접한 키 프레임 이미지 사이의 것은 비 키 프레임 이미지가 되는 단계; 및,
상기 키 프레임 이미지에 대하여, 상기 키 프레임 이미지의 특징맵을 기초로 차선 검출을 수행하고; 상기 비 키 프레임 이미지에 대하여, 상기 비 키 프레임 이미지의 이전 프레임의 키 프레임 이미지의 특징맵 및 상기 비 키 프레임 이미지를 기초로 차선 검출을 수행하는 단계;를 포함한다.
본 출원의 다른 측면에 따르면, 차선 검출 장치를 제공하며, 상기 장치는,
차선을 포함하는 비디오 스트림을 획득하는 획득 모듈;
상기 비디오 스트림으로부터 소정 간격의 프레임 수량에 따라 키 프레임 이미지를 추출하되, 인접한 키 프레임 이미지 사이의 것은 비 키 프레임 이미지가 되는 추출 모듈; 및,
상기 키 프레임 이미지에 대하여, 상기 키 프레임 이미지의 특징맵을 기초로 차선 검출을 수행하고; 상기 비 키 프레임 이미지에 대하여, 상기 비 키 프레임 이미지의 이전 프레임의 키 프레임 이미지의 특징맵 및 상기 비 키 프레임 이미지를 기초로 차선 검출을 수행하는 검출 모듈;을 포함한다.
본 출원의 다른 측면에 따르면 전자기기를 제공하며, 상기 전자기기는,
적어도 하나의 프로세서; 및
상기 적어도 하나의 프로세서와 통신 연결되는 메모리;를 포함하되, 여기서,
상기 메모리에 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되고, 상기 명령은 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 적어도 하나의 프로세서가 상술한 실시예에 따른 방법을 수행할 수 있도록 한다.
본 출원의 다른 측면에 따르면, 컴퓨터 명령이 저장된 비일시적 컴퓨터 판독 가능 저장 매체를 제공하며, 여기서, 상기 컴퓨터 명령은 컴퓨터가 상술한 실시예에 따른 방법을 수행하도록 한다.
본 출원의 다른 측면에 따르면, 컴퓨터 프로그램을 제공하는 바, 상기 컴퓨터 프로그램은 컴퓨터 판독 가능 저장 매체에 저장되고, 상기 컴퓨터 프로그램은 프로세서에 의해 실행될 경우, 상술한 실시예에 따른 방법을 구현한다.
본 출원의 다른 측면에 따르면, 이미지 수집 장치와 상술한 실시예에 따른 차선 검출 장치를 포함하는 차량을 제공하되, 여기서,
상기 이미지 수집 장치는 차선을 포함하는 비디오 스트림을 수집한다.
본 부분에 기재되는 내용은 본 출원의 실시예의 핵심 또는 중요 특징을 특정하려는 목적이 아니며, 본 출원의 범위를 한정하는 것도 아닌 것으로 이해하여야 한다. 본 출원의 기타 특징은 아래의 명세서로부터 쉽게 이해할 수 있다.
첨부되는 도면은 본 방안을 더 충분히 이해하도록 제공되는 것으로서, 본 출원에 대한 한정은 아니다. 여기서,
도 1은 본 출원의 제1 실시예에 따른 도면이다.
도 2는 본 출원의 제2 실시예에 따른 도면이다.
도 3은 본 출원의 제3 실시예에 따른 도면이다.
도 4는 본 출원의 실시예에 따른 차선 검출 원리를 나타내는 도면이다.
도 5는 본 출원의 제4 실시예에 따른 도면이다.
도 6은 본 출원의 제5 실시예에 따른 도면이다.
도 7은 본 출원의 제6 실시예에 따른 도면이다.
도 8은 본 출원의 제7 실시예에 따른 도면이다.
도 9는 본 출원의 제8 실시예에 따른 도면이다.
도 10은 본 출원의 제9 실시예에 따른 도면이다.
도 11은 본 출원의 제10 실시예에 따른 도면이다.
도 12는 본 출원의 제11 실시예에 따른 도면이다.
도 1은 본 출원의 제1 실시예에 따른 도면이다.
도 2는 본 출원의 제2 실시예에 따른 도면이다.
도 3은 본 출원의 제3 실시예에 따른 도면이다.
도 4는 본 출원의 실시예에 따른 차선 검출 원리를 나타내는 도면이다.
도 5는 본 출원의 제4 실시예에 따른 도면이다.
도 6은 본 출원의 제5 실시예에 따른 도면이다.
도 7은 본 출원의 제6 실시예에 따른 도면이다.
도 8은 본 출원의 제7 실시예에 따른 도면이다.
도 9는 본 출원의 제8 실시예에 따른 도면이다.
도 10은 본 출원의 제9 실시예에 따른 도면이다.
도 11은 본 출원의 제10 실시예에 따른 도면이다.
도 12는 본 출원의 제11 실시예에 따른 도면이다.
아래 첨부 도면을 결부하여 본 출원의 예시적인 실시예에 대해 설명하되, 여기에는 이해를 돕기 위한 본 출원의 실시예의 다양한 세부 사항이 포함되며, 이들은 단지 예시적인 것으로 간주되어야 한다. 따라서, 본 분야의 통상적인 지식을 가진 자라면, 본 출원의 범위와 정신을 벗어나지 않으면서 여기에 설명되는 실시예에 대해 다양한 변경과 수정이 이루어질 수 있음을 이해하여야 한다. 마찬가지로, 명확성과 간결성을 위하여, 공지된 기능 및 구조에 대한 설명은 아래의 설명에서 생략된다.
도 1은 본 출원의 제1 실시예에 따른 도면이다. 도 1에 도시된 차선 검출 방법의 응용 시나리오에서, 차량(101)이 도로(102) 상에서 주행하고, 차량(101)이 주행하는 과정에서, 주행 안전성과 신뢰성 등을 확보하기 위하여, 도로(102) 상의 차선(103)에 대해 검출할 수 있다.
관련 기술에서, 일반적으로 두가지 방식을 사용하여 차선을 검출하는 바, 하나의 방식에 따르면, 차량(101) 상에 이미지 수집 장치(미도시, 이미지 수집 장치는 카메라 및 레이더 등일 수 있음)를 설치할 수 있고, 이미지 수집 장치로 차선을 포함하는 이미지를 수집하며, 차량(101)은 차선을 포함하는 이미지에 대해 좌표 연산을 수행하여, 차선에 대한 검출을 구현할 수 있다.
다른 하나의 방식에 따르면, 차량(101)이 차선 검출 모델을 미리 트레이닝하고 저장하며, 마찬가지로, 차량(101) 상에 이미지 수집 장치를 설치할 수 있고(미도시, 이미지 수집 장치는 카메라와 레이더 등일 수 있음), 이미지 수집 장치로 차선을 포함하는 이미지를 수집하며, 차량(101)은 차선 검출 모델을 기반으로 차선을 포함하는 이미지에 대해 차선 검출 조작을 수행할 수 있다.
하지만, 만약 첫번째 방식을 사용하여 차선을 검출하면, 한편으로는, 연산량이 상대적으로 크고, 과정이 보다 번잡하며, 정확성이 보다 낮고; 만약 두 번째 방식을 사용하여 차선을 검출하면, 수집된 이미지 각각에 대하여, 모두 차선 검출 모델을 통해 특징 추출 및 컨벌루션 등의 처리를 수행하여야 하므로, 검출 효율이 보다 낮은 문제를 초래할 수 있다.
본 출원의 발명자는 진보적인 노력을 거쳐, 본 출원의 발명 사상에 이르게 되었다. 즉, 차선을 포함하는 비디오 스트림은 키 프레임 이미지 및 비 키 프레임 이미지를 포함할 수 있고, 키 프레임 이미지는 소정 간격의 프레임 수량을 기반으로 추출되며, 비 키 프레임 이미지에 대하여, 키 프레임 이미지의 특징맵을 결합하여 차선 검출을 구현할 수 있다.
이러한 발명 사상을 기반으로, 본 출원은 컴퓨터 기술 및 이미지 처리 기술 중의 자율 주행, 지능형 교통, 및 딥 러닝 기술분야에 적용되어 차선 검출 효율을 향상시키는 기술 효과를 달성하는 차선 검출 방법, 장치, 전자기기, 저장 매체, 프로그램 제품 및 차량을 제공한다.
도 2는 본 출원의 제2 실시예를 나타내는 도면이다. 도 2에 도시된 바와 같이, 본 출원의 실시예의 차선 검출 방법은 아래의 단계들을 포함한다.
S201에서, 차선을 포함하는 비디오 스트림을 획득하고, 비디오 스트림으로부터 소정 간격의 프레임 수량에 따라 키 프레임 이미지를 추출하되, 인접한 키 프레임 이미지 사이의 것은 비 키 프레임 이미지가 된다.
예시적으로, 본 실시예의 수행 주체는 차선 검출 장치일 수 있고, 차선 검출 장치는 차량일 수 있으며, 구체적으로 차량에 설치된 컴퓨터, 서버, 프로세서, 차량용 단말기, 및 칩(예컨대 차량 네트워크 칩) 등일 수 있으며, 본 실시예는 한정하지 않는다.
일부 실시예에서, 차선 검출 장치는 차선을 포함하는 비디오 스트림을 획득한 후, 추출된 각 프레임 이미지를 기초로 차선 검출을 수행하도록, 비디오 스트림 중의 각 프레임 이미지를 추출할 수 있으며, 구체적으로 소정 간격의 프레임 수량을 미리 설정하고, 소정 간격의 프레임 수량을 기초로 추출된 이미지를 키 프레임 이미지로 지칭하며, 추출된 다른 이미지는 비 키 프레임 이미지라고 지칭할 수 있다.
예를 들어, 소정 간격의 프레임 수량이 10 프레임이면, 차선 검출 장치가 10 프레임 간격으로 매번 추출한 이미지가 바로 키 프레임 이미지이다.
특별히 설명하면, 상술한 예시 중의 소정 간격의 프레임 수량은 단지 예시적인 설명일 뿐, 소정 간격의 프레임 수량에 대한 한정으로 이해하여서는 안되며, 소정 간격의 프레임 수량은 차선 검출 장치에서 수요, 과거 이력, 및 시험 등에 따라 설정할 수 있으며, 본 실시예에서는 한정하지 않는다.
이하, 본 실시예의 차선 검출 방법이 도 1에 도시된 응용 시나리오에 적용되며, 차선 검출 장치가 차량에 설치된 차량용 단말기인 예를 들어, 상기 단계에 대해 하기와 같이 설명한다.
차량 상에 카메라(다른 이미지 수집 장치일 수도 있음)가 설치되고, 카메라는 차선을 포함하는 비디오 스트림을 수집하며, 비디오 스트림을 차량용 단말기로 전송하고, 차량용 단말기는 소정 간격의 프레임 수량(예컨대 10 프레임)를 간격으로 비디오 스트림으로부터 키 프레임 이미지를 추출하며, 추출된 다른 이미지를 비 키 프레임 이미지로 사용하며, 즉 인접한 키 프레임 이미지 사이의 것은 바로 비 키 프레임이다.
S202에서, 키 프레임 이미지에 대하여, 키 프레임 이미지의 특징맵을 기초로 차선 검출을 수행한다.
S203에서, 비 키 프레임 이미지에 대하여, 비 키 프레임 이미지의 이전 프레임의 키 프레임 이미지의 특징맵 및 비 키 프레임 이미지를 기초로 차선 검출을 수행한다.
본 실시예에서, 이미지를 서로 다른 두 가지 상이한 타입의 이미지로 나눌 수 있으며, 하나의 타입은 키 프레임 이미지이고, 다른 하나의 타입은 비 키 프레임 이미지이다. 또한, 상이한 타입의 이미지에 대하여, 차선 검출 장치는 상이한 방법으로 구현할 수 있으며, 즉 키 프레임 이미지에 대하여, 일 방법을 사용하여 차선 검출을 수행하고, 비 키 프레임 이미지에 대하여, 다른 방법을 사용하여 차선 검출을 수행한다.
예를 들어, 키 프레임 이미지에 대하여, 차선 검출 장치는 키 프레임 이미지의 특징맵을 기초로 차선 검출을 수행할 수 있다.
구체적으로, 차선 검출 장치는 키 프레임 이미지의 특징맵을 결정할 수 있으며, 키 프레임 이미지의 특징맵은 키 프레임 이미지의 색상 특징, 텍스처 특징, 형상 특징 및 공간 간계 특징을 나타낸다.
비 키 프레임 이미지에 대하여, 차선 검출 장치는 비 키 프레임 이미지의 이전 프레임의 키 프레임 이미지를 결정하고, 이전 프레임의 키 프레임 이미지의 특징맵을 결정하며, 비 키 프레임 이미지와 이전 프레임의 키 프레임 이미지의 특징맵을 기초로 차선 검출을 수행할 수 있다.
상술한 분석에 따르면, 본 실시예에서, 두 가지 상이한 방법을 사용하여 두 가지 상이한 타입의 이미지에 대해 차선 검출을 수행하는바, 구체적으로 키 프레임 이미지에 대하여, 키 프레임 이미지의 특징맵을 기초로 차선 검출을 수행하고, 비 키 프레임 이미지에 대하여, 이전 프레임의 키 프레임 이미지의 특징맵 및 비 키 프레임 이미지를 기초로 차선 검출을 수행하여, 상술한 관련 기술에서, 차선 검출의 연산량이 크고 효율이 보다 낮은 문제점을 방지하고, 차선 검출의 유연성과 다양성을 구현할 수 있으며, 이전 프레임의 키 프레임 이미지의 특징맵을 결합하여 차선 검출을 수행함으로써, 각 프레임의 이미지가 모두 차선 검출 모델에 의해 대응되는 특징 추출 및 컨벌루션 연산이 수행되는 것을 방지하여, 차선 검출 효율을 향상시키는 기술효과를 알 수 있다.
도 3은 본 출원의 제3 실시예에 따른 도면이고, 도 3에 도시된 바와 같이, 본 출원의 실시예의 차선 검출 방법은 아래의 단계들을 포함한다.
S301에서, 차선을 포함하는 비디오 스트림을 획득하고, 비디오 스트림으로부터 소정 간격의 프레임 수량에 따라 키 프레임 이미지를 추출하되, 인접한 키 프레임 이미지 사이의 것은 비 키 프레임 이미지가 된다.
예시적으로, S301에 대한 설명은 S201을 참조할 수 있으며, 여기서는 반복되는 설명을 생략한다.
S302에서, 키 프레임 이미지에 대하여, 키 프레임 이미지의 특징맵을 기초로 차선 검출을 수행한다.
예시적으로, S302에 대한 설명은 상술한 예시 중, 차선 검출 장치가 키 프레임 이미지에 대해 검출하는 것을 참조할 수 있으며, 여기서는 반복되는 설명을 생략한다.
도 4는 본 출원의 실시예의 차선 검출 원리를 나타내는 도면이고, 도 4에 도시된 바와 같이, 본 실시예에서, 비디오 스트림은 두 가지 타입의 이미지를 포함하며, 하나의 타입은 키 프레임 이미지이고, 다른 하나의 타입은 비 키 프레임 이미지이며, 키 프레임 이미지에 대하여, 차선 검출 장치는 키 프레임 이미지를 기반으로 키 프레임 이미지의 특징맵을 결정하고, 키 프레임 이미지의 특징맵을 결정한 후, 키 프레임 이미지의 특징맵을 기초로 차선 검출을 수행할 수 있다.
또한 도 4에 도시된 원리도에서, 차선 확률 예측 방식을 기반으로, 키 프레임 이미지를 결합하여 차선에 대한 검출을 구현할 수 있다.
S303에서, 비 키 프레임 이미지에 대하여, 이전 프레임의 키 프레임 이미지와 비 키 프레임 이미지 사이의 위치 변화 정보를 결정한다.
일부 실시예에서, 위치 변화 정보는 각각의 픽셀점의 위치 이동 정보를 포함하고, S303은, 이전 프레임의 키 프레임 이미지와 비 키 프레임 이미지를 광학 흐름 추정 네트워크 모델로 입력하여, 이전 프레임의 키 프레임 이미지와 비 키 프레임 이미지 사이의 광학 흐름도를 획득하는 단계;를 포함할 수 있다.
여기서, 광학 흐름도는 이전 프레임의 키 프레임 이미지 대비 시 비 키 프레임 이미지의 각각의 픽셀점의 위치 이동 정보를 나타낸다.
예를 들어, 상술한 예시 및 도 4에 도시된 원리도를 결합하면, 차선 검출 장치는 비 키 프레임 이미지와 이전 프레임의 키 프레임 이미지 사이의 광학 흐름도를 연산할 수 있으며, 구체적으로 트레이닝하여 생성된 광학 흐름 추정 네트워크 모델을 기반으로 구현할 수 있다.
본 실시예에서, 각각의 픽셀점의 위치 이동 정보를 나타내는 광학 흐름도를 결정함으로써, 결정된 위치 변화 정보의 신뢰성 및 정확성을 향상시키는 기술효과를 얻을 수 있다.
일부 실시예에서, 광학 흐름 추정 네트워크 모델을 생성하는 방법은 아래의 단계들을 포함한다.
단계1에서, 트레이닝 샘플 세트를 수집하되, 트레이닝 샘플 세트는 차선의 상대적 변위가 존재하는 제1 샘플 이미지와 제2 샘플 이미지를 포함한다.
트레이닝 샘플 세트는 기본 네트워크 모델에 대해 트레이닝하여, 광학 흐름 추정 네트워크 모델을 생성하는데 사용된다. 또한, 트레이닝 샘플 세트는 샘플 이미지를 포함하고, 샘플 이미지는 제1 샘플 이미지와 제2 샘플 이미지를 포함할 수 있으며, 제1 샘플 이미지와 제2 샘플 이미지는 모두 차선을 포함하는 이미지이고, 제1 샘플 이미지 중의 차선과 제2 샘플 이미지 중의 차선은 상대적 변위가 존재한다.
특별히 설명하면, 본 실시예는 제1 샘플 이미지와 제2 샘플 이미지의 수량에 대해 한정하지 않으며, 구체적으로는 차선 검출 장치에서 수요, 과거 이력 및 시험 등에 따라 설정할 수 있다. 또한 일부 실시예에서, 트레이닝하여 광학 흐름 추정 네트워크 모델을 생성하는 수행 주체는 클라우드 서버와 같은 차선 검출 장치 이외의 다른 장치일 수 있다.
단계2에서, 트레이닝 샘플 세트, 및 제1 샘플 이미지와 제2 샘플 이미지 사이의 광학 흐름 필드를 트레이닝 라벨로 사용하여, 기본 네트워크 모델에 대해 트레이닝을 수행하여, 광학 흐름 추정 네트워크 모델을 획득한다.
예시적으로, 광학 흐름 필드는 이미지 중 모든 픽셀점으로 이루어진 2차원 순간 속도 필드를 나타내며, 즉, 광학 흐름 필드는 예컨대 픽셀점이 제1 샘플 이미지로부터 제2 샘플 이미지까지 이동될 때의 움직임 정보와 같은 이미지 중 각 픽셀점의 움직임 정보를 포함한다.
상기 단계2는 다음과 같이 구체적으로 이해할 수 있다. 즉, 제1 샘플 이미지와 제2 샘플 이미지를 모두 기본 네트워크 모델로 입력하고, 기본 네트워크 모델은 제1 샘플 이미지와 제2 샘플 이미지 사이의 예측 움직임 정보를 출력하며, 예측 움직임 정보와 광학 흐름 필드(기설정된 표준값에 해당됨) 사이의 손실 함수를 결정하고, 손실 함수를 기반으로 기본 네트워크 모델의 파라미터를 조정하는바, 예를 들어, 손실 함수가 기설정 수요를 만족하거나, 또는 , 반복 횟수가 기설정 반복 횟수 임계값에 도달하는 광학 흐름 추정 네트워크 모델이 얻어질 때까지, 기본 네트워크 모델의 컨벌루션 커널의 계수에 대해 조정한다.
특별히 설명하면, 본 실시예에서, 차선을 포함하는 제1 샘플 이미지와 제2 샘플 이미지를 기초로 트레이닝하여 광학 흐름 추정 네트워크 모델을 획득함으로써, 광학 흐름 추정 네트워크 모델을 기반으로 위치 변화 정보를 결정할 경우, 위치 변화 정보의 결정 효율과 신뢰성을 향상시키는 기술효과를 달성할 수 있다.
S304에서, 위치 변화 정보와 이전 프레임의 키 프레임 이미지의 특징맵을 기초로, 비 키 프레임 이미지의 특징맵을 결정하고, 비 키 프레임 이미지의 특징맵을 기초로 차선 검출을 수행한다.
상술한 예시와 도 4에 도시된 원리도를 결합하면, 차선 검출 장치는 광학 흐름도와 이전 프레임의 키 프레임 이미지의 특징맵을 기초로 비 키 프레임 이미지의 특징맵을 결정하고, 비 키 프레임 이미지의 특징맵을 결정한 후, 비 키 프레임 이미지의 특징맵을 기초로 차선 검출을 수행할 수 있다.
도 4에 도시된 원리도에서, 차선 확률 예측 방식에 따라, 비 키 프레임 이미지를 결합하여 차선에 대한 검출을 구현할 수 있다.
특별히 설명하면, 상술한 관련 기술에 대한 기재를 참조하면, 관련 기술에서, 각 프레임의 이미지에 대하여, 모두 차선 검출 모델을 통과하여야 하며, 차선 검출 모델로 각 프레임의 이미지에 대해 특징 추출, 컨벌루션 연산 등의 조작을 수행해야 하므로, 차선 검출 효율이 보다 낮은 문제점이 발생할 수 있으나, 본 실시예에서는 네트워크 추정 방식을 결합하여 비 키 프레임 이미지의 특징맵을 획득함으로써, 시간을 절약하여, 비 키 프레임 이미지의 특징맵의 결정 효율을 향상시키고, 나아가 차선 검출 효율을 향상시키는 기술효과를 달성한다.
일부 실시예에서, S304는 아래의 단계들을 포함할 수 있다.
단계1에서, 위치 변화 정보를 기초로, 비 키 프레임 이미지의 특징맵에서 이전 프레임의 키 프레임 이미지의 각 픽셀점의 위치 정보를 결정한다.
예시적으로, 만약 위치 변화 정보가 횡좌표의 위치 변화 정보(ux)와 종좌표의 위치 변화 정보(uy)를 포함하고; 각 픽셀점의 이전 프레임의 키 프레임 이미지의 특징맵에서의 횡좌표가 (x1)이고, 종좌표가 (y1)이면; 각 픽셀점의 비 키 프레임 이미지의 특징맵에서의 횡좌표는 (x2=x1+ux)이고, 종좌표는 (y2=y1+uy)이다.
여기서, 상술한 좌표는 이미지 좌표계를 기반으로 한다.
단계2에서, 위치 정보와 이전 프레임의 키 프레임 이미지의 특징맵을 기초로, 비 키 프레임 이미지의 특징맵을 생성한다.
예시적으로, 위치 정보 즉 횡좌표(x2=x1+ux), 종좌표(y2=y1+uy)를 결정한 후, 차선 검출 장치는 상기 위치 정보와 이전 프레임의 키 프레임 이미지의 특징맵을 기초로, 상기 위치 정보에 대응되는 특징맵(즉, 비 키 프레임 이미지의 특징맵)을 결정할 수 있다.
본 실시예에서, 위치 변화 정보를 기초로 위치 정보를 결정하고, 위치 정보를 기초로 비 키 프레임 이미지의 특징맵을 결정함으로써, 비 키 프레임 이미지의 특징맵 결정 효율을 향상시키며, 연산 비용을 절약하고, 따라서 차선 검출 효율을 향상시키는 기술효과를 달성한다.
도 5는 본 출원의 제4 실시예에 따른 도면이고, 도 5에 도시된 바와 같이, 본 출원의 실시예의 차선 검출 방법은 아래의 단계들을 포함한다.
S501에서, 차선을 포함하는 비디오 스트림을 획득하고, 비디오 스트림으로부터 소정 간격의 프레임 수량에 따라 키 프레임 이미지를 추출하되, 인접한 키 프레임 이미지 사이의 것은 비 키 프레임 이미지가 된다.
예시적으로, S501에 대한 설명은 단계 S201을 참조할 수 있으며, 여기서는 반복되는 설명을 생략한다.
S502에서, 키 프레임 이미지를 기설정된 차선 검출 모델로 입력하여, 키 프레임 이미지의 특징맵을 획득하고, 키 프레임 이미지의 특징맵을 기초로 차선 검출을 수행한다.
여기서, 차선 검출 모델은 주간 시나리오의 차선 샘플 이미지와 야간 시나리오의 차선 샘플 이미지를 기초로, 지식 증류 처리를 수행하여 생성된 것이다.
본 실시예에서, 차선 검출 장치는 차선 검출 모델을 기반으로 키 프레임 이미지에 대하여 차선 검출을 수행하고, 또한 본 실시예에서, 차선 검출 모델은 관련 기술의 차선 검출 모델과 본질적인 구별점이 존재한다.
예를 들어, 관련 기술에서, 차선 검출 모델은 샘플 이미지를 기초로 기본 네트워크 모델에 대해 트레이닝하여 생성되지만, 본 실시예에서, 한편으로는, 샘플 이미지 자체에 대해 개선하는바, 구체적으로, 수집한 샘플 이미지에는 주간 시나리오의 차선 샘플 이미지와 야간 시나리오의 차선 샘플 이미지가 포함되고, 주간 시나리오의 차선 샘플 이미지가 주간일 때의 차선을 포함하는 샘플 이미지이고, 야간 시나리오의 차선 샘플 이미지는 야간일 때의 차선을 포함하는 샘플 이미지이다.
일부 실시예에서, 야간 시나리오의 차선 샘플 이미지를 획득하는 방법은,
차선 검출 모델이 트레이닝 시의 주간 시나리오의 차선 샘플 이미지를 기초로 생성적 적대 신경망(Generative Adversarial Networks, GAN)에 대해 트레이닝하여, 주간 시나리오로부터 야간 시나리오로 스타일 마이그레이션되는 생성적 적대 신경망을 생성하고, 수집된 주간 시나리오의 차선 샘플 이미지와 주간 시나리오로부터 야간 시나리오로 스타일 마이그레이션되는 생성적 적대 신경망을 기초로, 야간 시나리오의 차선 샘플 이미지를 생성한다.
본 실시예에서, 주간 시나리오의 차선 샘플 이미지와 야간 시나리오의 차선 샘플 이미지를 기초로 트레이닝하여 차선 검출 모델을 생성함으로써, 상이한 시나리오에 대한 차선 검출 모델의 차선 검출을 향상시켜, 차선 검출의 정확성과 신뢰성을 향상시키는 기술효과를 달성한다.
다른 한편, 본 실시예에 따른 차선 검출 모델은 지식 증류 처리를 수행하여 획득된 것으로, 즉, 대형 모델이 소형 모델을 지도하여 학습 트레이닝하는 방법을 통해 차선 검출 모델을 획득함으로써, 차선 검출 모델의 검출 효율을 향상시키는 기술효과를 달성할 수 있다.
일부 실시예에서, 차선 검출 장치가 지식 증류 처리를 기반으로 차선 검출 모델을 획득하는 방법은 하기와 같은 단계들을 포함할 수 있다.
단계1에서, 주간 시나리오의 차선 샘플 이미지와 야간 시나리오의 차선 샘플 이미지를 모두 지식 증류 처리를 위한 레지듀얼 네트워크 모델과 경량급 네트워크 모델에 각각 입력하여, 레지듀얼 네트워크 모델로부터 출력되는 제1 차선 인식 결과, 및 경량급 네트워크 모델로부터 출력되는 제2 차선 인식 결과를 획득한다.
상기 단계는, 주간 시나리오의 차선 샘플 이미지와 야간 시나리오의 차선 샘플 이미지를 모두 레지듀얼 네트워크 모델로 입력하여, 제1 차선 인식 결과를 획득하고; 주간 시나리오의 차선 샘플 이미지와 야간 시나리오의 차선 샘플 이미지를 모두 경량급 네트워크 모델로 입력하여, 제2 차선 인식 결과를 획득하는 것으로 이해할 수 있다.
상술한 예시를 결합하면, 레지듀얼 네트워크 모델은 지식 증류 처리에 의한 대형 네트워크 모델로 이해할 수 있고, 경량급 네트워크 모델은 지식 증류 처리에 의한 소형 네트워크 모델로 이해할 수 있으며, 레지듀얼 네트워크 모델을 통해 소형 경량급 네트워크 모델이 학습 트레이닝하도록 지도한다.
일부 실시예에서, 레지듀얼 네트워크 모델은 resnet 50을 선택할 수 있고, 경량급 네트워크 모델은 셔플넷(shufflenet)을 선택할 수 있다.
단계2에서, 제1 차선 인식 결과와 제2 차선 인식 결과를 기초로, 경량급 네트워크 모델을 반복하여, 차선 검출 모델을 획득한다.
제1 차선 인식 결과와 제2 차선 인식 결과를 획득한 후, 두 결과를 기초로 경량급 네트워크 모델에 대해 반복하여, 예컨대 shufflenet에 대해 반복하여, 경량급 네트워크 모델을 기본 네트워크 모델로 하는 차선 검출 모델을 획득함으로써, 응용 과정에서 차선 검출 모델의 효율을 향상시키는바, 즉 차선 검출 모델을 기반으로 차선에 대해 검출하는 효율을 향상시키는 기술효과를 달성할 수 있다.
일부 실시예에서, 제1 차선 인식 결과는 차선의 확률 분포를 나타내고, 제2 차선 인식 결과는 차선의 확률 분포를 나타내며, 단계2는 아래와 같은 서브 단계들을 포함할 수 있다.
서브 단계1에서, 제1 차선 인식 결과와 제2 차선 인식 결과 사이의 상대적 엔트로피 정보를 결정한다.
여기서, 상대적 엔트로피 정보는 차선의 확률 분포 사이의 차이의 비대칭성 측정 정보를 나타낸다.
예시적으로, 차선 검출 장치는 제1 차선 인식 결과에 대응되는 확률 분포(제2 차선 인식 결과에 대응되는 확률 분포와 구분하기 위하여, 아래에서는 제1 확률 분포라고 지칭함)와 제2 차선 인식 결과에 대응되는 확률 분포(마찬가지로, 제1 차선 인식 결과에 대응되는 확률 분포와 구분하기 위하여, 아래에서는 제2 확률 분포로 지칭함) 사이의 KL(Kullback-Leibler divergence) 분산을 연산할 수 있으며, 상기 KL 분산은 제1 확률 분포와 제2 확률 분포 사이의 차이의 비대칭성 측정 정보를 나타낸다.
예시적으로, 차선 검출 장치는 식 1을 기반으로 상대적 엔트로피 정보 
을 연산할 수 있다.
[식 1]
여기서, 
는 레지듀얼 네트워크 모델로부터 출력되는 제1 확률 분포이고, 
는 경량급 네트워크 모델로부터 출력되는 제2 확률 분포이다.
서브 단계2에서, 제1 차선 인식 결과와 제2 차선 인식 결과 사이의 손실 정보를 결정한다.
여기서, 손실 정보는 차선의 확률 분포 사이의 거리 정보를 나타낸다.
예시적으로, 차선 검출 장치는 제1 확률 분포와 제2 확률 분포 사이의 손실 정보(Wasserstein loss)를 산출할 수 있으며, 상기 Wasserstein loss는 제1 확률 분포와 제2 확률 분포 사이의 거리 정보를 나타낸다.
예시적으로, 차선 검출 장치는 식 2를 기반으로 상대적 엔트로피 정보 
를 연산할 수 있다.
[식 2]
여기서, 
는 경량급 네트워크 모델로부터 출력되는 제2 확률 분포가 분포
를 따르는 것이고, 
는 경량급 네트워크 모델의 예측값(즉, 제2 확률 분포)과 실제값(기설정된 값) 사이의 차이 정보이다.
서브 단계3에서, 상대적 엔트로피 정보와 손실 정보를 기초로, 경량급 네트워크 모델에 대해 반복하여, 차선 검출 모델을 획득한다.
예시적으로, 차선 검출 장치는 상대적 엔트로피 정보와 손실 정보를 기초로 경량급 네트워크 모델을 조정하기 위한 조정 폭을 결정하고, 조정 폭을 기초로 경량급 네트워크 모델에 대해 조정하며, 구체적으로 경량급 네트워크 모델의 컨벌루션 커널의 계수 등에 대해 조정하여, 차선 검출 모델을 획득할 수 있다.
특별히 설명하면, 본 실시예에서, 상대적 엔트로피 정보와 손실 정보를 결정하고, 상기 두 차원의 정보를 기초로 경량급 네트워크 모델에 대해 최적화 반복을 수행하여, 차선 검출 모델을 획득함으로써, 차선 검출 모델의 정확성과 신뢰성을 향상시킬 수 있으며, 차선 검출 모델을 기반으로 차선 검출을 수행할 때의 효율을 향상시키는 기술효과를 달성할 수 있다.
S503에서, 비 키 프레임 이미지에 대하여, 비 키 프레임 이미지의 이전 프레임의 키 프레임 이미지의 특징맵 및 비 키 프레임 이미지를 기초로 차선 검출을 수행한다.
예시적으로, S503에 대한 설명은 S203에 대한 설명 또는, S303 및S304에 대한 설명을 참조할 수 있으며, 여기서는 반복되는 설명을 생략한다.
특별히 설명하면, 일부 실시예에서, 차선 확률 예측은 차선 검출 모델의 일부분일 수 있고, 이때 키 프레임 이미지에 대하여, 차선 검출 장치는 키 프레임 이미지를 차선 검출 모델로 입력하며, 차선 검출 모델을 기반으로 특징 추출을 수행하여, 키 프레임 이미지의 특징맵을 획득하고, 키 프레임 이미지 특징맵에 대해 차선 확률 예측을 수행하여, 키 프레임 이미지에 대한 차선 검출을 구현할 수 있으며; 비 키 프레임 이미지에 대하여, 키 프레임 이미지와 비 키 프레임 이미지를 기초로 광학 흐름도를 결정하고, 키 프레임 이미지의 특징맵과 광학 흐름도를 기초로 비 키 프레임 이미지의 특징맵을 결정하며, 차선 검출 모델 중의 차선 확률 예측을 기반으로 비 키 프레임 이미지의 특징맵에 대해 차선 검출을 수행할 수 있다.
일 예시에서, 차선 검출 장치가 비디오 스트림에 대해 차선 검출을 수행하여, 차선 검출 결과를 획득한 후, 차선 검출 장치는 차선 검출 결과를 기초로 차량 주행을 제어할 수 있다.
다른 일 예시에서, 차선 검출 장치가 비디오 스트림에 대해 차선 검출을 수행하여, 차선 검출 결과를 획득한 후, 차선 검출 장치는 차선 검출 결과를 차량에 설치된 제어 장치로 전송하고, 제어 장치에서 차선 검출 결과를 기초로 차량 주행을 제어할 수 있다.
도 6은 본 출원의 제5 실시예에 따른 도면이고, 도 6에 도시된 바와 같이, 본 출원의 실시예 따른 차선 검출 장치(600)는,
차선을 포함하는 비디오 스트림을 획득하는 획득 모듈(601);
비디오 스트림으로부터 소정 간격의 프레임 수량에 따라 키 프레임 이미지를 추출하되, 인접한 키 프레임 이미지 사이의 것은 비 키 프레임 이미지가 되는 추출 모듈(602); 및,
키 프레임 이미지에 대하여, 키 프레임 이미지의 특징맵을 기초로 차선 검출을 수행하고; 비 키 프레임 이미지에 대하여, 비 키 프레임 이미지의 이전 프레임의 키 프레임 이미지의 특징맵 및 비 키 프레임 이미지를 기초로 차선 검출을 수행하는 검출 모듈(603);을 포함한다.
도 7은 본 출원의 제6 실시예에 따른 도면이고, 도 7에 도시된 바와 같이, 제5 실시예의 기초 상에서, 검출 모듈(603)은,
이전 프레임의 키 프레임 이미지와 비 키 프레임 이미지 사이의 위치 변화 정보를 결정하는 위치 결정 서브 모듈(6031);
위치 변화 정보와 이전 프레임의 키 프레임 이미지의 특징맵을 기초로, 비 키 프레임 이미지의 특징맵을 결정하는 제1 특징맵 결정 서브 모듈(6032); 및,
비 키 프레임 이미지의 특징맵을 기초로 차선 검출을 수행하는 제1 검출 서브 모듈(6033);을 포함한다.
일부 실시예에서, 위치 변화 정보는 각 픽셀점의 위치 이동 정보를 포함하고; 위치 결정 서브 모듈(6031)은, 이전 프레임의 키 프레임 이미지와 비 키 프레임 이미지를 광학 흐름 추정 네트워크 모델로 입력하여, 이전 프레임의 키 프레임 이미지와 상기 비 키 프레임 이미지 사이의 광학 흐름도를 획득하되; 여기서, 광학 흐름도는 이전 프레임의 키 프레임 이미지 대비 시 비 키 프레임 이미지의 각 픽셀점의 위치 이동 정보를 나타낸다.
도 8은 본 출원의 제7 실시예에 따른 도면이고, 도 8에 도시된 바와 같이, 제6 실시예의 기초 상에서, 차선 검출 장치(600)는,
트레이닝 샘플 세트를 수집하되, 트레이닝 샘플 세트는 차선의 상대적 변위가 존재하는 제1 샘플 이미지와 제2 샘플 이미지를 포함하는 수집 모듈(604); 및,
트레이닝 샘플 세트, 및 제1 샘플 이미지와 제2 샘플 이미지 사이의 광학 흐름 필드를 트레이닝 라벨로 사용하여, 기본 네트워크 모델에 대해 트레이닝을 수행하여, 광학 흐름 추정 네트워크 모델을 획득하는 제1 트레이닝 모듈(605);을 더 포함한다.
일부 실시예에서, 제1 특징맵 결정 서브 모듈(6032)은, 위치 변화 정보를 기초로, 비 키 프레임 이미지의 특징맵에서 이전 프레임의 키 프레임 이미지의 각 픽셀점의 위치 정보를 결정하고, 위치 정보와 이전 프레임의 키 프레임 이미지의 특징맵을 기초로, 비 키 프레임 이미지의 특징맵을 생성한다.
도 9는 본 출원의 제8 실시예를 나타내는 도면이고, 도 9에 도시된 바와 같이, 제5 실시예의 기초 상에서, 검출 모듈(603)은,
키 프레임 이미지를 기설정된 차선 검출 모델로 입력하여, 키 프레임 이미지의 특징맵을 획득하는 제2 특징맵 결정 서브 모듈(6034); 및,
키 프레임 이미지의 특징맵을 기초로 차선 검출을 수행하는 제2 검출 서브 모듈(6035);을 포함한다.
여기서, 차선 검출 모델은 주간 시나리오의 차선 샘플 이미지와 야간 시나리오의 차선 샘플 이미지를 기초로, 지식 증류 처리를 수행하여 생성된 것이다.
도 10은 본 출원의 제9 실시예에 따른 도면이고, 도 10에 도시된 바와 같이, 제8 실시예의 기초 상에서, 차선 검출 장치(600)는,
주간 시나리오의 차선 샘플 이미지와 야간 시나리오의 차선 샘플 이미지를 모두 지식 증류 처리를 위한 레지듀얼 네트워크 모델과 경량급 네트워크 모델로 각각 입력하여, 레지듀얼 네트워크 모델로부터 출력되는 제1 차선 인식 결과, 및 경량급 네트워크 모델로부터 출력되는 제2 차선 인식 결과를 획득하는 입력 모듈(606); 및,
제1 차선 인식 결과와 제2 차선 인식 결과를 기초로, 경량급 네트워크 모델에 대해 반복하여, 차선 검출 모델을 획득하는 제2 트레이닝 모듈(607);을 더 포함한다.
도 11은 본 출원의 제10 실시예에 따른 도면이고, 도 11에 도시된 바와 같이, 제9 실시예의 기초 상에서, 제1 차선 인식 결과는 차선의 확률 분포를 나타내고, 제2 차선 인식 결과는 차선의 확률 분포를 나타내며; 제2 트레이닝 모듈(607)은,
제1 차선 인식 결과와 제2 차선 인식 결과 사이의 상대적 엔트로피 정보를 결정하고, 제1 차선 인식 결과와 제2 차선 인식 결과 사이의 손실 정보를 획정하되; 여기서, 상대적 엔트로피 정보는 차선의 확률 분포 사이의 차이의 비대칭성 측정 정보를 나타내고, 손실 정보는 차선의 확률 분포 사이의 거리 정보를 나타내는 차이 결정 서브 모듈(6071); 및,
상대적 엔트로피 정보와 손실 정보를 기초로, 경량급 네트워크 모델에 대해 반복하여, 차선 검출 모델을 획득하는 반복 서브 모듈(6072);을 포함한다.
본 출원의 실시예에 따르면, 본 출원은 전자기기와 판독 가능 저장 매체를 더 제공한다.
도 12는 본 출원의 실시예를 수행할 수 있는 예시적 전자기기(1200)를 나타내는 블록도이다. 전자기기는 랩톱 컴퓨터, 데스크톱 컴퓨터, 워크 스테이션, 개인 정보 단말기, 서버, 블레이드 서버, 대형 컴퓨터, 및 다른 적절한 컴퓨터와 같은 다양한 형태의 디지털 컴퓨터를 의미한다. 전자기기는 개인 디지털 처리, 셀룰러폰, 스마트 폰, 웨어러블 기기 및 다른 유사한 컴퓨팅 장치와 같은 다양한 형태의 모바일 장치를 의미할 수도 있다. 본문에 개시된 부재, 이들의 연결 및 관계, 및 이들의 기능은 단지 예시적인 것으로, 본문에 설명 및/또는 요구된 본 출원의 구현을 한정하려는 의도가 아니다.
도 12에 도시된 바와 같이, 전자기기(1200)는 읽기 전용 메모리(1202, ROM)에 저장된 컴퓨터 프로그램 또는 저장 유닛(1208)으로부터 랜덤 액세스 메모리(1203, RAM)에 로딩된 컴퓨터 프로그램에 따라, 다양한 적절한 동작 및 처리를 수행할 수 있는 컴퓨팅 유닛(1201)을 포함한다. RAM(1203)에는 또한 기기(1200)의 동작에 필요한 다양한 프로그램과 데이터가 저장될 수 있다. 컴퓨팅 유닛(1201), ROM(1202) 및 RAM(1203)은 버스(1204)를 통해 서로 연결된다. 입력/출력(I/O) 인터페이스(1205)도 버스(1204)에 연결된다.
키보드, 마우스 등과 같은 입력 유닛(1206); 다양한 유형의 디스플레이, 스피커 등과 같은 출력 유닛(1207); 자기 디스크, 광 디스크 등과 같은 저장 유닛(1208); 및 네트워크 카드, 모뎀, 무선 통신 트랜시버 등과 같은 통신 유닛(1209)을 포함하는 기기(1200)의 복수의 부재는 I/O 인터페이스(1205)에 연결된다. 통신 유닛(1209)은 기기(1200)가 인터넷과 같은 컴퓨터 네트워크 및/또는 다양한 통신 네트워크를 통해 다른 기기와 정보/데이터를 교환하는 것을 허용한다.
컴퓨팅 유닛(1201)은 처리 및 컴퓨팅 기능을 갖는 다양한 범용 및/또는 전용 처리 컴포넌트일 수 있다. 컴퓨팅 유닛(1201)의 일부 예시는 중앙 처리 유닛(CPU), 그래픽 처리 유닛(GPU), 다양한 전용 인공지능(AI) 컴퓨팅 칩, 기계 학습 모델 알고리즘을 실행하는 다양한 컴퓨팅 유닛, 디지털 신호 프로세서(DSP), 및 임의의 적절한 프로세서, 컨트롤러, 마이크로 컨트롤러 등을 포함하지만 이에 한정되는 것은 아니다. 컴퓨팅 유닛(1201)은 차선 검출 방법과 같이 상술한 각각의 방법 및 처리를 수행한다. 예를 들어, 일부 실시예에서, 차선 검출 방법은 저장 유닛(1208)과 같은 기계 판독 가능 매체에 유형적으로 포함되는 컴퓨터 소프트웨어 프로그램으로 구현될 수 있다. 일부 실시예에서, 컴퓨터 프로그램의 일부 또는 전부는 ROM(1202) 및/또는 통신 유닛(1209)을 통해 기기(1200)에 로딩되거나 및/또는 설치될 수 있다. 컴퓨터 프로그램이 RAM(1203)에 로딩되어 컴퓨팅 유닛(1201)에 의해 실행될 경우, 상술한 차선 검출 방법의 하나 또는 복수의 단계를 수행할 수 있다. 대안적으로, 다른 실시예에서, 컴퓨팅 유닛(1201)은 다른 임의의 적절한 방식(예를 들어, 펌웨어에 의함)을 통해 차선 검출 방법을 수행하도록 구성될 수 있다.
본문에서 이상 서술된 시스템 및 기술의 다양한 실시형태는 디지털 전자 회로 시스템, 집적 회로 시스템, 필드 프로그래머블 어레이(FPGA), 전용 집적 회로(ASIC), 전용 표준 제품(ASSP), 시스텝 온 칩(SOC), 복합 프로그래머블 논리 소자, 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 조합에서 구현될 수 있다. 이러한 다양한 실시형태는 하나 또는 복수의 컴퓨터 프로그램에서 구현되는 것을 포함할 수 있고, 상기 하나 또는 복수의 컴퓨터 프로그램은 적어도 하나의 프로그래머블 프로세서를 포함하는 프로그래머블 시스템에서 실행 및/또는 해석될 수 있으며, 상기 프로그래머블 프로세서는 전용 또는 범용 프로그래머블 프로세서일 수 있고, 저장 시스템, 적어도 하나의 입력장치, 및 적어도 하나의 출력장치로부터 데이터와 명령을 수신할 수 있으며, 데이터와 명령을 상기 저장 시스템, 상기 적어도 하나의 입력장치, 및 상기 적어도 하나의 출력장치로 전송한다.
본 출원의 방법을 실시하기 위한 프로그램 코드는 하나 또는 복수의 프로래밍 언어의 임의의 조합으로 작성될 수 있다. 이러한 프로그램 코드는 범용 컴퓨터, 전용 컴퓨터 또는 다른 프로그래머블 데이터 처리 장치의 프로세서 또는 컨트롤러에 제공되어, 프로그램 코드가 프로세서 또는 컨트롤러에 의해 실행될 경우 흐름도 및/또는 블록도에서 규정하는 기능/동작이 실시될 수 있도록 한다. 프로그램 코드는 완전히 기계에서 실행되거나, 부분적으로 기계에서 실행될 수 있으며, 독립형 소프트웨어 패키지로서 부분적으로 기계에서 실행되고 부분적으로 원격 기계에서 실행되거나 완전히 원격 기계 또는 서버에서 실행될 수도 있다.
본 출원의 컨텍스트에서, 기계 판독 가능 매체는 명령 실행 시스템, 장치 또는 기기에 의해 사용되거나 명령 실행 시스템, 장치 또는 기기와 결합되어 사용되는 프로그램을 포함하거나 저장할 수 있는 유형의 매체일 수 있다. 기계 판독 가능 매체는 기계 판독 가능 신호 매체이거나 기계 판독 가능 저장 매체일 수 있다. 기계 판독 가능 매체는 전자적, 자기적, 광학적, 전자기적, 적외선, 또는 반도체 시스템, 장치 또는 기기, 또는 상술한 내용의 임의의 적절한 조합을 포함할 수 있지만 이에 한정되는 것은 아니다. 기계 판독 가능 저장 매체의 더 구체적인 예시는 하나 또는 복수의 와이어를 기반으로 하는 전기적 연결, 휴대형 컴퓨터 디스크, 하드 디스크, 랜덤 액세스 메모리(RAM), 읽기 전용 메모리(ROM), 소거 가능 및 프로그래머블 읽기 전용 메모리(EPROM 또는 플래쉬 메모리), 광섬유, 휴대용 컴팩트 읽기 전용 메모리(CD-ROM), 광학 저장 기기, 자기 저장 기기, 또는 상술한 내용의 임의의 적절한 조합을 포함한다.
사용자와의 인터랙션을 제공하기 위하여, 컴퓨터에서 여기에 설명된 시스템 및 기술을 구현할 수 있고, 상기 컴퓨터는 사용자에게 정보를 표시하기 위한 표시장치(예를 들어, CRT(캐소드레이 튜브) 또는 LCD(액정 디스플레이) 모니터); 및 키보드와 포인팅 장치(예를 들어, 마우스 또는 트랙볼)를 구비하며, 사용자는 상기 키보드와 상기 포인팅 장치를 통해 입력하여 컴퓨터에 제공할 수 있다. 다른 종류의 장치는 사용자와의 인터랙션을 제공할 수도 있는데 예를 들어, 사용자에게 제공되는 피드백은 임의의 형태의 센싱 피드백(예를 들어, 시각적 피드백, 청각적 피드백, 또는 촉각적 피드백)일 수 있고; 임의의 형태(사운드 입력, 음성 입력 또는 촉각 입력)을 통해 사용자로부터의 입력을 수신할 수 있다.
여기에 설명되는 시스템과 기술은 백엔드 부재를 포함하는 컴퓨팅 시스템(예를 들어, 데이터 서버로 사용됨), 또는 미들웨어 부재를 포함하는 컴퓨팅 시스템(예를 들어, 애플리케이션 서버), 또는 프론트 엔드 부재를 포함하는 컴퓨팅 시스템(예를 들어, 그래픽 유저 인터페이스 또는 인터넷 브라우저를 구비하는 사용자 컴퓨터, 사용자는 상기 그래픽 유저 인터페이스 또는 상기 웹 브라우저를 통해 여기에 설명되는 시스템 및 기술의 실시형태와 인터랙션할 수 있음), 또는 이러한 백엔드 부재, 미들웨어 부재, 또는 프론트 엔드 부재의 임의의 조합을 포함하는 컴퓨팅 시스템에서 구현될 수 있다. 임의의 형태 또는 매체의 디지털 데이터 통신(예를 들어, 통신 네트워크)을 통해 시스템의 부재를 서로 연결시킬 수 있다. 통신 네트워크의 예시로서, 근거리 통신망(LAN), 광역 통신망(WAN), 인터넷 및 블록 체인 네트워크를 포함한다.
컴퓨터 시스템은 클라이언트와 서버를 포함할 수 있다. 클라이언트와 서버는 일반적으로 서로 멀리 떨어져 있으며, 일반적으로 통신 네트워크를 통해 인터랙션한다. 상응한 컴퓨터에서 실행되며 서로 클라이언트 - 서버 관계를 가지는 컴퓨터 프로그램을 통해 클라이언트와 서버의 관계를 생성한다. 서버는 클라우드 컴퓨팅 서버 또는 클라우드 호스트로도 지칭되는 클라우드 서버일 수 있고, 클라우드 컴퓨팅 서비스 시스템 중의 일 호스트 제품으로서, 기존의 물리 호스트와 VPS 서비스 ("Virtual Private Server", 또는 "VPS"로 약칭)에서 존재하는 관리 상의 어려움이 크고, 서비스 확장이 약한 결함을 해결한다. 서버는 분산형 시스템의 서버, 또는 블록 체인이 결합된 서버일 수도 있다.
본 출원의 실시예의 다른 측면에 따르면, 본 출원의 실시예는 컴퓨터 판독 가능 저장매체에 저장된 컴퓨터 프로그램을 더 제공하며, 상기 컴퓨터 프로그램은 프로세서에 의해 실행될 경우 상술한 어느 일 실시예에 따른 방법을 구현하는 바, 예컨대 도 2, 도 3, 및 도 5 중 어느 하나의 실시예에 따른 방법을 구현한다.
본 출원의 실시예의 다른 측면에 따르면, 본 출원의 실시예는 이미지 수집 장치와 상술한 어느 일 실시예에 따른 차선 검출 장치(예를 들어 도 6 내지 도 11 중 어느 일 실시예에 따른 차선 검출 장치를 포함함);을 포함하는 차량을 더 제공하며, 여기서,
이미지 수집 장치는 차선을 포함하는 비디오 스트림을 수집한다.
예시적으로, 차량에는 차선 검출 장치와 이미지 수집 장치가 설치될 수 있고, 이미지 수집 장치는 차선을 포함하는 비디오 스트림을 수집하며, 비디오 스트림을 차선 검출 장치로 전송하고, 차선 검출 장치는 상술한 어느 일 실시예에 따른 차선 검출 방법을 수행하여(예를 들어 2, 도 3및 도 5 중 어느 일 실시예에 따른 차선 검출 방법을 수행함), 차선에 대한 검출을 구현한다.
일부 실시예에서, 차량에는 컨트롤러가 설치될 수 있고, 차선 검출 장치는 차선 검출 결과를 컨트롤러로 전송하여, 컨트롤러가 차선 검출 결과를 기반으로 차량 주행을 제어할 수 있다.
상술한 다양한 형태의 프로세스를 사용하여 단계를 재배열, 추가 또는 삭제할 수 있다는 것을 이해하여야 한다. 예를 들어, 본 출원에 기재된 각 단계는 병렬, 순차적 또는 상이한 순서로 수행될 수 있고, 본 출원에 개시된 기술적 해결수단이 원하는 결과를 달성할 수만 있으면, 본문에서는 이에 대해 한정하지 않는다.
상기 구체적인 실시형태는 본 출원의 보호범위에 대한 한정이 아니다. 본 분야의 기술 자라면, 설계 요구와 기타 요소에 따라, 다양한 수정, 조합, 서브 조합 및 대체를 수행할 수 있음을 이해하여야 한다. 본 출원의 사상과 원칙 내에서 이루어진 모든 수정, 동등한 교체 및 개선 등은 모두 본 출원의 보호 범위 내에 포함되어야 한다.
Claims (20)
- 차선을 포함하는 비디오 스트림을 획득하는 단계;
상기 비디오 스트림으로부터 소정 간격의 프레임 수량에 따라 키 프레임 이미지를 추출하되, 인접한 키 프레임 이미지 사이의 것은 비 키 프레임 이미지가 되는 단계;
상기 키 프레임 이미지에 대하여, 상기 키 프레임 이미지의 특징맵을 기초로 차선 검출을 수행하는 단계; 및,
상기 비 키 프레임 이미지에 대하여, 상기 비 키 프레임 이미지의 이전 프레임의 키 프레임 이미지의 특징맵 및 상기 비 키 프레임 이미지를 기초로 차선 검출을 수행하는 단계를 포함하는 차선 검출 방법. - 제1항에 있어서, 상기 비 키 프레임 이미지에 대하여, 상기 비 키 프레임 이미지의 이전 프레임의 키 프레임 이미지의 특징맵 및 상기 비 키 프레임 이미지를 기초로 차선 검출을 수행하는 단계는,
상기 이전 프레임의 키 프레임 이미지와 상기 비 키 프레임 이미지 사이의 위치 변화 정보를 결정하는 단계; 및,
상기 위치 변화 정보와 상기 이전 프레임의 키 프레임 이미지의 특징맵을 기초로, 상기 비 키 프레임 이미지의 특징맵을 결정하고, 상기 비 키 프레임 이미지의 특징맵을 기초로 차선 검출을 수행하는 단계를 포함하는 차선 검출 방법. - 제2항에 있어서, 상기 위치 변화 정보는 각 픽셀점의 위치 이동 정보를 포함하고; 상기 이전 프레임의 키 프레임 이미지와 상기 비 키 프레임 이미지 사이의 위치 변화 정보를 결정하는 단계는,
상기 이전 프레임의 키 프레임 이미지와 상기 비 키 프레임 이미지를 광학 흐름 추정 네트워크 모델로 입력하여, 상기 이전 프레임의 키 프레임 이미지와 상기 비 키 프레임 이미지 사이의 광학 흐름도를 획득하는 단계를 포함하되; 상기 광학 흐름도는 상기 이전 프레임의 키 프레임 이미지 대비 시 상기 비 키 프레임 이미지의 각 픽셀점의 위치 이동 정보를 나타내는 차선 검출 방법. - 제3항에 있어서, 상기 차선 검출 방법은,
트레이닝 샘플 세트를 수집하되, 상기 트레이닝 샘플 세트는 차선의 상대적 변위가 존재하는 제1 샘플 이미지와 제2 샘플 이미지를 포함하는 단계; 및,
상기 트레이닝 샘플 세트, 및 상기 제1 샘플 이미지와 상기 제2 샘플 이미지 사이의 광학 흐름 필드를 트레이닝 라벨로 사용하여, 기본 네트워크 모델에 대해 트레이닝을 수행하여, 상기 광학 흐름 추정 네트워크 모델을 획득하는 단계를 더 포함하는 차선 검출 방법. - 제2항에 있어서, 상기 위치 변화 정보와 상기 이전 프레임의 키 프레임 이미지의 특징맵을 기초로, 상기 비 키 프레임 이미지의 특징맵을 결정하는 단계는,
상기 위치 변화 정보를 기초로, 상기 비 키 프레임 이미지의 특징맵에서 상기 이전 프레임의 키 프레임 이미지의 각 픽셀점의 위치 정보를 결정하는 단계; 및,
상기 위치 정보 및 상기 이전 프레임의 키 프레임 이미지의 특징맵을 기초로, 상기 비 키 프레임 이미지의 특징맵을 생성하는 단계를 포함하는 차선 검출 방법. - 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 키 프레임 이미지에 대하여, 상기 키 프레임 이미지의 특징맵을 기초로 차선 검출을 수행하는 단계는,
상기 키 프레임 이미지를 기설정된 차선 검출 모델로 입력하여, 상기 키 프레임 이미지의 특징맵을 획득하고, 상기 키 프레임 이미지의 특징맵을 기초로 차선 검출을 수행하는 단계를 포함하되,
상기 차선 검출 모델은 주간 시나리오의 차선 샘플 이미지와 야간 시나리오의 차선 샘플 이미지를 기초로, 지식 증류 처리를 수행하여 생성된 것인 차선 검출 방법. - 제6항에 있어서, 상기 키 프레임 이미지를 기설정된 차선 검출 모델로 입력하여, 상기 키 프레임 이미지의 특징맵을 획득하고, 상기 키 프레임 이미지의 특징맵을 기초로 차선 검출을 수행하는 단계 이전에, 상기 차선 검출 방법은,
상기 주간 시나리오의 차선 샘플 이미지와 야간 시나리오의 차선 샘플 이미지를 모두 지식 증류 처리를 위한 레지듀얼 네트워크 모델과 경량급 네트워크 모델로 각각 입력하여, 상기 레지듀얼 네트워크 모델로부터 출력되는 제1 차선 인식 결과, 및 상기 경량급 네트워크 모델로부터 출력되는 제2 차선 인식 결과를 획득하는 단계; 및,
상기 제1 차선 인식 결과와 상기 제2 차선 인식 결과를 기반으로, 상기 경량급 네트워크 모델에 대해 반복하여, 상기 차선 검출 모델을 획득하는 단계를 더 포함하는 차선 검출 방법. - 제7항에 있어서,
상기 제1 차선 인식 결과는 차선의 확률 분포를 나타내고, 상기 제2 차선 인식 결과는 차선의 확률 분포를 나타내며; 상기 제1 차선 인식 결과와 상기 제2 차선 인식 결과를 기초로, 상기 경량급 네트워크 모델에 대해 반복하여, 상기 차선 검출 모델을 획득하는 단계는,
상기 제1 차선 인식 결과와 상기 제2 차선 인식 결과 사이의 상대적 엔트로피 정보를 결정하고, 상기 제1 차선 인식 결과와 상기 제2 차선 인식 결과 사이의 손실 정보를 결정하되; 상기 상대적 엔트로피 정보는 차선의 확률 분포 사이의 차이의 비대칭성 측정 정보를 나타내고, 상기 손실 정보는 차선의 확률 분포 사이의 거리 정보를 나타내는 단계; 및,
상기 상대적 엔트로피 정보 및 상기 손실 정보를 기초로, 상기 경량급 네트워크 모델에 대해 반복하여, 상기 차선 검출 모델을 획득하는 단계를 포함하는 차선 검출 방법. - 차선을 포함하는 비디오 스트림을 획득하는 획득 모듈;
상기 비디오 스트림으로부터 소정 간격의 프레임 수량에 따라 키 프레임 이미지를 추출하되, 인접한 키 프레임 이미지 사이의 것은 비 키 프레임 이미지가 되는 추출 모듈; 및,
상기 키 프레임 이미지에 대하여, 상기 키 프레임 이미지의 특징맵을 기초로 차선 검출을 수행하고; 상기 비 키 프레임 이미지에 대하여, 상기 비 키 프레임 이미지의 이전 프레임의 키 프레임 이미지의 특징맵 및 상기 비 키 프레임 이미지를 기초로 차선 검출을 수행하는 검출 모듈을 포함하는 차선 검출 장치. - 제9항에 있어서, 상기 검출 모듈은,
상기 이전 프레임의 키 프레임 이미지와 상기 비 키 프레임 이미지 사이의 위치 변화 정보를 결정하는 위치 결정 서브 모듈;
상기 위치 변화 정보와 상기 이전 프레임의 키 프레임 이미지의 특징맵을 기초로, 상기 비 키 프레임 이미지의 특징맵을 결정하는 제1 특징맵 결정 서브 모듈; 및,
상기 비 키 프레임 이미지의 특징맵을 기초로 차선 검출을 수행하는 제1 검출 서브 모듈을 포함하는 차선 검출 장치. - 제10항에 있어서,
상기 위치 변화 정보는 각 픽셀점의 위치 이동 정보를 포함하고; 상기 위치 결정 서브 모듈은, 상기 이전 프레임의 키 프레임 이미지와 상기 비 키 프레임 이미지를 광학 흐름 추정 네트워크 모델로 입력하여, 상기 이전 프레임의 키 프레임 이미지와 상기 비 키 프레임 이미지 사이의 광학 흐름도를 획득하되; 상기 광학 흐름도는 상기 이전 프레임의 키 프레임 이미지 대비 시 상기 비 키 프레임 이미지의 각 픽셀점의 위치 이동 정보를 나타내는 차선 검출 장치. - 제11항에 있어서, 상기 차선 검출 장치는,
트레이닝 샘플 세트를 수집하되, 상기 트레이닝 샘플 세트는 차선의 상대적 변위가 존재하는 제1 샘플 이미지와 제2 샘플 이미지를 포함하는 수집 모듈; 및,
상기 트레이닝 샘플 세트, 및 상기 제1 샘플 이미지와 상기 제2 샘플 이미지 사이의 광학 흐름 필드를 트레이닝 라벨로 사용하여, 기본 네트워크 모델에 대해 트레이닝을 수행하여, 상기 광학 흐름 추정 네트워크 모델을 획득하는 제1 트레이닝 모듈을 더 포함하는 차선 검출 장치. - 제10항에 있어서,
상기 제1 특징맵 결정 서브 모듈은, 상기 위치 변화 정보를 기초로, 상기 비 키 프레임 이미지의 특징맵에서 상기 이전 프레임의 키 프레임 이미지의 각 픽셀점의 위치 정보를 결정하고, 상기 위치 정보 및 상기 이전 프레임의 키 프레임 이미지의 특징맵을 기초로, 상기 비 키 프레임 이미지의 특징맵을 생성하는 차선 검출 장치. - 제9항 내지 제13항 중 어느 한 항에 있어서, 상기 검출 모듈은,
상기 키 프레임 이미지를 기설정된 차선 검출 모델로 입력하여, 상기 키 프레임 이미지의 특징맵을 획득하는 제2 특징맵 결정 서브 모듈; 및,
상기 키 프레임 이미지의 특징맵을 기초로 차선 검출을 수행하는 제2 검출 서브 모듈을 포함하되,
여기서, 상기 차선 검출 모델은 주간 시나리오의 차선 샘플 이미지와 야간 시나리오의 차선 샘플 이미지를 기초로, 지식 증류 처리를 수행하여 생성된 것인 차선 검출 장치. - 제14항에 있어서, 상기 차선 검출 장치는,
상기 주간 시나리오의 차선 샘플 이미지와 야간 시나리오의 차선 샘플 이미지를 모두 지식 증류 처리를 위한 레지듀얼 네트워크 모델과 경량급 네트워크 모델에 각각 입력하여, 상기 레지듀얼 네트워크 모델로부터 출력되는 제1 차선 인식 결과, 및 상기 경량급 네트워크 모델로부터 출력되는 제2 차선 인식 결과를 획득하는 입력 모듈; 및,
상기 제1 차선 인식 결과와 상기 제2 차선 인식 결과를 기초로, 상기 경량급 네트워크 모델에 대해 반복하여, 상기 차선 검출 모델을 획득하는 제2 트레이닝 모듈을 더 포함하는 차선 검출 장치. - 제15항에 있어서,
상기 제1 차선 인식 결과는 차선의 확률 분포를 나타내고, 상기 제2 차선 인식 결과는 차선의 확률 분포를 나타내며; 상기 제2 트레이닝 모듈은,
상기 제1 차선 인식 결과와 상기 제2 차선 인식 결과 사이의 상대적 엔트로피 정보를 결정하고, 상기 제1 차선 인식 결과와 상기 제2 차선 인식 결과 사이의 손실 정보를 결정하되; 상기 상대적 엔트로피 정보는 차선의 확률 분포 사이의 차이의 비대칭성 측정 정보를 나타내고, 상기 손실 정보는 차선의 확률 분포 사이의 거리 정보를 나타내는 차이 결정 서브 모듈; 및,
상기 상대적 엔트로피 정보 및 상기 손실 정보를 기초로, 상기 경량급 네트워크 모델에 대해 반복하여, 상기 차선 검출 모델을 획득하는 반복 서브 모듈을 포함하는 차선 검출 장치. - 전자기기에 있어서,
적어도 하나의 프로세서; 및,
상기 적어도 하나의 프로세서와 통신 연결되는 메모리를 포함하되,
상기 메모리에 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되고, 상기 명령은 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 적어도 하나의 프로세서가 제1항 내지 제5항 중 어느 한 항에 따른 차선 검출 방법을 수행할 수 있도록 하는 전자기기. - 컴퓨터 명령이 저장된 비일시적 컴퓨터 판독 가능 저장 매체에 있어서,
상기 컴퓨터 명령은 상기 컴퓨터가 제1항 내지 제5항 중 어느 한 항에 따른 차선 검출 방법을 수행하도록 하는 저장 매체. - 컴퓨터 판독 가능 저장매체에 저장된 컴퓨터 프로그램에 있어서, 상기 컴퓨터 프로그램은 프로세서에 의해 실행될 경우, 제1항 내지 제5항 중 어느 한 항에 따른 차선 검출 방법을 구현하는 컴퓨터 프로그램.
- 이미지 수집 장치 및 제9항 내지 제13항 중 어느 한 항에 따른 차선 검출 장치를 포함하되,
상기 이미지 수집 장치는 차선을 포함하는 비디오 스트림을 수집하는 차량.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011488643.7A CN112560684B (zh) | 2020-12-16 | 2020-12-16 | 车道线检测方法、装置、电子设备、存储介质以及车辆 |
| CN202011488643.7 | 2020-12-16 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220004939A true KR20220004939A (ko) | 2022-01-12 |
Family
ID=75064235
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210179925A KR20220004939A (ko) | 2020-12-16 | 2021-12-15 | 차선 검출 방법, 장치, 전자기기, 저장 매체 및 차량 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11967132B2 (ko) |
| EP (1) | EP3937077B1 (ko) |
| JP (1) | JP7273129B2 (ko) |
| KR (1) | KR20220004939A (ko) |
| CN (1) | CN112560684B (ko) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113449692A (zh) * | 2021-07-22 | 2021-09-28 | 成都纵横自动化技术股份有限公司 | 一种基于无人机的地图车道信息更新方法及其系统 |
| CN114120281A (zh) * | 2021-11-29 | 2022-03-01 | 上海商汤临港智能科技有限公司 | 一种车道线跟踪方法、装置、计算机设备和存储介质 |
| CN114216471A (zh) * | 2021-12-01 | 2022-03-22 | 北京百度网讯科技有限公司 | 电子地图确定方法、装置、电子设备及存储介质 |
| CN115049995B (zh) * | 2022-02-22 | 2023-07-04 | 阿波罗智能技术(北京)有限公司 | 一种车道线检测方法、装置、电子设备及存储介质 |
| CN115115822B (zh) * | 2022-06-30 | 2023-10-31 | 小米汽车科技有限公司 | 车端图像处理方法、装置、车辆、存储介质及芯片 |
| CN116228834B (zh) * | 2022-12-20 | 2023-11-03 | 阿波罗智联(北京)科技有限公司 | 图像深度获取方法、装置、电子设备及存储介质 |
Family Cites Families (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9053372B2 (en) * | 2012-06-28 | 2015-06-09 | Honda Motor Co., Ltd. | Road marking detection and recognition |
| US10275892B2 (en) * | 2016-06-09 | 2019-04-30 | Google Llc | Multi-view scene segmentation and propagation |
| US11761790B2 (en) * | 2016-12-09 | 2023-09-19 | Tomtom Global Content B.V. | Method and system for image-based positioning and mapping for a road network utilizing object detection |
| US10630962B2 (en) * | 2017-01-04 | 2020-04-21 | Qualcomm Incorporated | Systems and methods for object location |
| US10740613B1 (en) * | 2017-04-20 | 2020-08-11 | Digimarc Corporation | Hybrid feature point/watermark-based augmented reality |
| US10794710B1 (en) * | 2017-09-08 | 2020-10-06 | Perceptin Shenzhen Limited | High-precision multi-layer visual and semantic map by autonomous units |
| CN107895492A (zh) * | 2017-10-24 | 2018-04-10 | 河海大学 | 一种基于传统视频的高速公路智能分析方法 |
| US10657390B2 (en) * | 2017-11-27 | 2020-05-19 | Tusimple, Inc. | System and method for large-scale lane marking detection using multimodal sensor data |
| CN108122249A (zh) | 2017-12-20 | 2018-06-05 | 长沙全度影像科技有限公司 | 一种基于gan网络深度学习模型的光流估计方法 |
| CN108242062B (zh) | 2017-12-27 | 2023-06-30 | 北京纵目安驰智能科技有限公司 | 基于深度特征流的目标跟踪方法、系统、终端及介质 |
| CN111209777A (zh) | 2018-11-21 | 2020-05-29 | 北京市商汤科技开发有限公司 | 车道线检测方法、装置、电子设备及可读存储介质 |
| CN111209780A (zh) * | 2018-11-21 | 2020-05-29 | 北京市商汤科技开发有限公司 | 车道线属性检测方法、装置、电子设备及可读存储介质 |
| CN111316288A (zh) * | 2019-02-28 | 2020-06-19 | 深圳市大疆创新科技有限公司 | 道路结构信息的提取方法、无人机及自动驾驶系统 |
| CN109978756B (zh) * | 2019-03-18 | 2021-03-09 | 腾讯科技（深圳）有限公司 | 目标检测方法、系统、装置、存储介质和计算机设备 |
| CN110135302B (zh) | 2019-04-30 | 2021-08-31 | 百度在线网络技术（北京）有限公司 | 训练车道线识别模型的方法、装置、设备和存储介质 |
| US20200372792A1 (en) * | 2019-05-24 | 2020-11-26 | E-Motion Inc. | Crowdsourced realtime traffic images and videos |
| CN110427800A (zh) * | 2019-06-17 | 2019-11-08 | 平安科技（深圳）有限公司 | 视频物体加速检测方法、装置、服务器及存储介质 |
| CN110443173B (zh) * | 2019-07-26 | 2021-08-20 | 华中科技大学 | 一种基于帧间关系的视频实例分割方法及系统 |
| KR102327185B1 (ko) * | 2019-12-24 | 2021-11-17 | 한국도로공사 | 정밀도로지도 갱신을 위한 객체 변화 탐지 시스템 및 그 방법 |
| KR102305328B1 (ko) * | 2019-12-24 | 2021-09-28 | 한국도로공사 | 카메라 기반의 자동화된 정밀도로지도 생성 시스템 및 방법 |
| CN111178245B (zh) * | 2019-12-27 | 2023-12-22 | 佑驾创新(北京)技术有限公司 | 车道线检测方法、装置、计算机设备和存储介质 |
| CN112541437A (zh) * | 2020-12-15 | 2021-03-23 | 北京百度网讯科技有限公司 | 车辆定位方法、装置、电子设备及存储介质 |
| US11875580B2 (en) * | 2021-10-04 | 2024-01-16 | Motive Technologies, Inc. | Camera initialization for lane detection and distance estimation using single-view geometry |
| US20230154157A1 (en) * | 2021-11-16 | 2023-05-18 | Qualcomm Incorporated | Saliency-based input resampling for efficient object detection |
| CN114018274B (zh) * | 2021-11-18 | 2024-03-26 | 阿波罗智能技术(北京)有限公司 | 车辆定位方法、装置及电子设备 |
| CN114323033B (zh) * | 2021-12-29 | 2023-08-29 | 北京百度网讯科技有限公司 | 基于车道线和特征点的定位方法、设备及自动驾驶车辆 |
-
2020
- 2020-12-16 CN CN202011488643.7A patent/CN112560684B/zh active Active
-
2021
- 2021-06-21 US US17/352,871 patent/US11967132B2/en active Active
- 2021-06-24 EP EP21181451.2A patent/EP3937077B1/en active Active
- 2021-11-26 JP JP2021191751A patent/JP7273129B2/ja active Active
- 2021-12-15 KR KR1020210179925A patent/KR20220004939A/ko not_active Application Discontinuation
Also Published As
| Publication number | Publication date |
|---|---|
| US20210312195A1 (en) | 2021-10-07 |
| EP3937077A1 (en) | 2022-01-12 |
| EP3937077B1 (en) | 2023-05-24 |
| US11967132B2 (en) | 2024-04-23 |
| JP7273129B2 (ja) | 2023-05-12 |
| CN112560684A (zh) | 2021-03-26 |
| JP2022028870A (ja) | 2022-02-16 |
| CN112560684B (zh) | 2023-10-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20220004939A (ko) | 차선 검출 방법, 장치, 전자기기, 저장 매체 및 차량 | |
| CN113264066B (zh) | 障碍物轨迹预测方法、装置、自动驾驶车辆及路侧设备 | |
| EP4116462A2 (en) | Method and apparatus of processing image, electronic device, storage medium and program product | |
| US11810319B2 (en) | Image detection method, device, storage medium and computer program product | |
| CN113920307A (zh) | 模型的训练方法、装置、设备、存储介质及图像检测方法 | |
| CN110675635B (zh) | 相机外参的获取方法、装置、电子设备及存储介质 | |
| US20220222951A1 (en) | 3d object detection method, model training method, relevant devices and electronic apparatus | |
| US20210312650A1 (en) | Method and apparatus of training depth estimation network, and method and apparatus of estimating depth of image | |
| US20220351398A1 (en) | Depth detection method, method for training depth estimation branch network, electronic device, and storage medium | |
| WO2022237821A1 (zh) | 生成交通标志线地图的方法、设备和存储介质 | |
| JP2022050311A (ja) | 車両の車線変更を検出するための方法、装置、電子機器、記憶媒体、路側機、クラウド制御プラットフォーム、及びコンピュータプログラム | |
| EP4020387A2 (en) | Target tracking method and device, and electronic apparatus | |
| EP4123595A2 (en) | Method and apparatus of rectifying text image, training method and apparatus, electronic device, and medium | |
| US20230104225A1 (en) | Method for fusing road data to generate a map, electronic device, and storage medium | |
| CN114186007A (zh) | 高精地图生成方法、装置、电子设备和存储介质 | |
| CN116188893A (zh) | 基于bev的图像检测模型训练及目标检测方法和装置 | |
| KR20220004604A (ko) | 장애물의 검출 방법, 전자 기기, 노변 기기 및 클라우드 컨트롤 플랫폼 | |
| CN113177980A (zh) | 用于自动驾驶的目标对象速度确定方法、装置及电子设备 | |
| CN114429631B (zh) | 三维对象检测方法、装置、设备以及存储介质 | |
| CN113920273B (zh) | 图像处理方法、装置、电子设备和存储介质 | |
| CN114581869A (zh) | 确定目标对象位置的方法、装置、电子设备和存储介质 | |
| CN114119990A (zh) | 用于图像特征点匹配的方法、装置及计算机程序产品 | |
| CN116051925B (zh) | 训练样本采集方法、装置、设备以及存储介质 | |
| KR102463890B1 (ko) | 위치 정보를 생성하는 방법, 장치, 기기, 매체 및 프로그램 | |
| CN112683216B (zh) | 用于生成车辆长度信息的方法、装置、路侧设备和云控平台 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal |