KR20190088387A - 차도선을 검출하기 위한 방법, 장치 및 매체 - Google Patents

차도선을 검출하기 위한 방법, 장치 및 매체 Download PDF

Info

Publication number
KR20190088387A
KR20190088387A KR1020180132472A KR20180132472A KR20190088387A KR 20190088387 A KR20190088387 A KR 20190088387A KR 1020180132472 A KR1020180132472 A KR 1020180132472A KR 20180132472 A KR20180132472 A KR 20180132472A KR 20190088387 A KR20190088387 A KR 20190088387A
Authority
KR
South Korea
Prior art keywords
image
line
detected
generate
original image
Prior art date
Application number
KR1020180132472A
Other languages
English (en)
Other versions
KR102379287B1 (ko
Inventor
시옹 두안
샨펑 랑
왕 조우
먀오 얀
이페이 잔
창지에 마
용강 진
Original Assignee
바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 filed Critical 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드
Publication of KR20190088387A publication Critical patent/KR20190088387A/ko
Application granted granted Critical
Publication of KR102379287B1 publication Critical patent/KR102379287B1/ko

Links

Images

Classifications

    • G06K9/00798—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06K9/40—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 개시의 예시적 실시예들에 의하면, 차도선을 검출하기 위한 방법, 장치 및 매체를 제공한다. 차도선 검출 모델을 생성하기 위한 방법은, 원본 이미지에서 차도선을 검출하여, 검출된 차도선에 관련된 제1 이미지를 생성하는 단계와, 원본 이미지를 기반으로 생성한 주석된 차도선에 관련된 제2 이미지를 획득하는 단계와, 제1 이미지와 제2 이미지를 기반으로, 검출된 차도선이 정확한지 여부를 지시하는 적어도 하나의 표기를 생성하는 단계와, 제1 이미지와 적어도 하나의 표기를 기반으로, 차도선을 자동으로 인식하기 위한 분류기 모델을 트레이닝하는 단계를 포함한다. 이러한 방식을 통해, 간결하고 효과적인 방식으로 차도선 검출을 구현할 수 있다.

Description

차도선을 검출하기 위한 방법, 장치 및 매체{METHOD, APPARATUS AND MEDIUM FOR DETECTING LANE LINE}
본 개시의 실시예들은 주로 이미지 검출 기술 분야에 관한 것으로, 보다 구체적으로는 차도선을 검출하기 위한 방법, 장치 및 매체에 관한 것이다.
현재에, 고정밀 지도와 자율 주행 기술의 연구 개발은 각광을 받고 있다. 종래의 전자 지도에 비해, 고정밀 지도의 절대 좌표 정밀도는 더욱 높고, 이에 포함되는 도로 정보는 더욱 풍부하다. 정밀 지도의 발전은 자율 주행의 구현을 촉진시키며, 예를 들어, 고정밀 지도는 자율 주행의 안전성과 신뢰성을 향상시킬 수 있다.
고정밀 지도와 자율 주행에 있어서, 고정밀 지도와 도로 감지의 수요를 위해, 차량은 도로 중의 차도선을 검출하여야 하고, 예를 들어, 차량용 카메라로 촬상된 도로 정보로부터 차도선 상의 차도선 포인트들의 정확한 위치 좌표들을 추출하여야 한다. 그러나, 환경에 광선 간섭이 존재하므로, 단지 종래의 컴퓨터 비전 알고리즘만을 이용하여 차도선 포인트들을 잘 추출해내지 못하게 된다. 또한, 단지 예컨대 회선 신경망만을 이용하는 심층 학습 알고리즘을 사용하여 차도선 포인트들에 대한 분류를 진행할 경우, 차도선 위치의 정확성을 확정하기 어렵게 된다.
본 개시의 예시적 실시예들에 의하면, 차도선을 검출하기 위한 방안을 제공한다.
본 개시의 제1 양태에 있어서, 차도선 검출 모델을 생성하기 위한 방법을 제공한다. 해당 방법은, 원본 이미지에서 차도선을 검출하여, 검출된 차도선에 관련된 제1 이미지를 생성하는 단계와, 원본 이미지를 기반으로 생성한 주석된 차도선에 관련된 제2 이미지를 획득하는 단계를 포함한다. 해당 방법은, 제1 이미지와 제2 이미지를 기반으로, 검출된 차도선이 정확한지 여부를 지시하는 적어도 하나의 표기를 생성하는 단계와, 제1 이미지와 적어도 하나의 표기를 기반으로, 차도선을 자동으로 인식하기 위한 분류기 모델을 트레이닝하는 단계를 더 포함한다.
본 개시의 제2 양태에 있어서, 차도선을 검출하기 위한 방법을 제공한다. 해당 방법은, 원본 이미지에서 차도선을 검출하여, 검출된 차도선에 관련된 제1 이미지를 생성하는 단계를 포함한다. 해당 방법은, 제1 이미지를 본 개시의 제1 양태에 따른 분류기 모델에 입력하여, 차도선을 자동으로 인식하는 단계를 더 포함한다.
본 개시의 제3 양태에 있어서, 차도선 검출 모델을 생성하기 위한 장치를 제공한다. 해당 장치는, 원본 이미지에서 차도선을 검출하여, 검출된 차도선에 관련된 제1 이미지를 생성하도록 구축된 제1 이미지 생성 모듈과, 원본 이미지를 기반으로 생성한 주석된 차도선에 관련된 제2 이미지를 획득하도록 구축된 제2 이미지 획득 모듈과, 제1 이미지와 제2 이미지를 기반으로, 검출된 차도선이 정확한지 여부를 지시하는 적어도 하나의 표기를 생성하도록 구축된 표기 생성 모듈과, 제1 이미지와 적어도 하나의 표기를 기반으로, 차도선을 자동으로 인식하기 위한 분류기 모델을 트레이닝하도록 구축된 모델 트레이닝 모듈을 포함한다.
본 개시의 제4 양태에 있어서, 차도선을 검출하기 위한 장치를 제공하며, 해당 장치는, 원본 이미지에서 차도선을 검출하여, 검출된 차도선에 관련된 제1 이미지를 생성하도록 구축된 제1 이미지 생성 모듈과, 제1 이미지를 본 개시의 제1 양태에 따른 분류기 모델에 입력하여, 차도선을 자동으로 인식하도록 구축된 모델 적용 모듈을 포함한다.
본 개시의 제5 양태에 있어서, 하나 또는 다수의 프로세서와, 하나 또는 다수의 프로그램을 저장하기 위한 저장 장치를 포함하되, 하나 또는 다수의 프로그램이 하나 또는 다수의 프로세서에 의해 실행될 경우, 하나 또는 다수의 프로세서가 본 개시의 제1 양태에 따른 방법을 구현하도록 하는 기기를 제공한다.
본 개시의 제6 양태에 있어서, 하나 또는 다수의 프로세서와, 하나 또는 다수의 프로그램을 저장하기 위한 저장 장치를 포함하되, 하나 또는 다수의 프로그램이 하나 또는 다수의 프로세서에 의해 실행될 경우, 하나 또는 다수의 프로세서가 본 개시의 제2 양태에 따른 방법을 구현하도록 하는 기기를 제공한다.
본 개시의 제7 양태에 있어서, 컴퓨터 프로그램이 저장되되, 해당 프로그램은 프레세서에 의해 실행될 경우 본 개시의 제1 양태에 따른 방법을 구현하는 컴퓨터 판독 가능한 매체를 제공한다.
본 개시의 제8 양태에 있어서, 컴퓨터 프로그램이 저장되되, 해당 프로그램은 프레세서에 의해 실행될 경우 본 개시의 제2 양태에 따른 방법을 구현하는 컴퓨터 판독 가능한 매체를 제공한다.
발명의 내용 부분에서 설명한 내용은 본 개시의 실시예들의 관건적이거나 중요한 특징을 한정하고자 하는 것이 아니며, 본 개시의 범위를 한정하기 위한 것이 아님을 이해하여야 한다. 본 개시의 기타 특징들은 아래의 설명을 통해 용이하게 이해할 수 있을 것이다.
본 개시의 각 실시예의 전술한 및 기타의 특징, 이점 및 방면들은 첨부된 도면들을 결부하고 아래의 상세한 설명을 참조함으로써 더욱 명확해질 것이다. 첨부된 도면들에 있어서, 동일하거나 유사한 도면 부호는 동일하거나 유사한 요소를 표시하며, 첨부된 도면들에 있어서:
도1은 본 개시의 다수의 실시예들이 구현될 수 있는 예시적 환경의 개략도를 나타낸다.
도2A 내지 도2C는 각각 본 개시의 일부의 실시예들에 따른 원본 이미지, 제1 이미지와 제2 이미지의 개략도를 나타낸다.
도3은 본 개시의 일부의 실시예들에 따른 차도선 검출 모델을 생성하기 위한 과정의 흐름도를 나타낸다.
도4는 본 개시의 일부의 실시예들에 따른 제1 이미지를 생성하는 과정의 흐름도를 나타낸다.
도5는 본 개시의 일부의 실시예들에 따른 적어도 하나의 표기를 생성하는 과정의 흐름도를 나타낸다.
도6은 본 개시의 일부의 실시예들에 따른 차도선을 검출하기 위한 과정의 흐름도를 나타낸다.
도7은 본 개시의 실시예들에 따른 차도선 검출 모델을 생성하기 위한 장치의 개략적 블록도를 나타낸다.
도8은 본 개시의 실시예들에 따른 차도선을 검출하기 위한 장치의 개략적 블록도를 나타낸다.
도9는 본 개시의 다수의 실시예들을 실시할 수 있는 컴퓨팅 기기의 블록도를 나타낸다.
도10A과 도10B는 각각 이미지 블록과 제2 이미지가 매칭되는 것과 매칭되지 않는 것의 개략도를 나타낸다.
아래에 첨부된 도면들을 참조하여 본 개시의 실시예들에 대한 보다 상세한 설명을 진행하기로 한다. 첨부된 도면들에는 본 개시의 일부의 실시예들이 표시되나, 본 개시는 각종의 형식으로 실현될 수 있음을 이해하여야 하고, 본 개시가 본원에 진술된 실시예들에 한정되는 것으로 해석하여서는 아니된다. 반대로, 이러한 실시예들은 본 개시의 더욱 명확하고 완정한 이해를 위해 제공된다. 본 개시의 첨부된 도면들과 실시예들은 단지 예시적인 작용으로 이용될 뿐, 본 개시의 보호 범위를 한정하기 위한 것이 아님을 이해하여야 한다.
본 개시의 실시예들을 설명함에 있어서, 용어 "포함" 및 이와 유사한 용어는 개방적인 포함으로 이해하여야 하며, 즉, "... 포함하나, 이에 한정되지 않는다"로 이해하여야 한다. 용어 "기반으로"는 "적어도 부분적으로 ... 기반으로"로 이해하여야 한다. 용어 "일 실시예" 또는 "해당 실시예는" "적어도 하나의 실시예"로 이해하어야 한다. 용어 "제1", "제2" 등은 상이하거나 동일한 대상물을 지시할 수 있다. 아래에는 기타의 명확한 정의 및 함축적인 정의가 포함될 수 있다.
앞서 언급한 바와 같이, 종래의 방안에 있어서, 단지 종래의 컴퓨터 비전 알고리즘을 통해 또는 단지 심층 학습을 통해 도로 중의 차도선을 검출한다. 단지 종래의 컴퓨터 비전 알고리즘을 이용하는 방안은 정확성이 상대적으로 낮으며, 고정밀 지도 및 자율 주행의 요구를 만족시키기에 충분하지 못하다. 특히 환경에 광선 간섭(예컨대, 강한 광조)이 존재하거나 차도선이 상대적으로 복잡한 경우에, 도로 중의 차도선을 정확하게 검출하지 못하게 된다.
또한, 심층 학습을 직접적으로 이용하는 방안은 보편성이 상대적으로 좋지 못하다. 심층 학습을 이용하는 방안은 예컨대 단대단 회선 신경망을 기반으로 하므로, 해당 방안은 트레이닝 데이터의 다양성에 의존하고, 모델 복잡도가 높고, 연산 속도가 늦은 등의 문제를 구비하므로, 해당 방안이 모든 경우에(예컨대, 고성능 그래픽 처리 장치(GPU)의 지원이 결핍한 컴퓨팅 기기 상에서) 도로 중의 차도선을 검출하는 것에 적합하지 못하게 된다.
상술한 문제점들 및 기타의 잠재적인 문제점들 중의 하나 또는 다수의 문제점들을 적어도 부분적으로 해결하기 위해, 본 개시의 예시적 실시예들은 차도선을 검출하기 위한 방안을 제출한다. 해당 방안에 있어서, 컴퓨터 비전 알고리즘과 심층 학습을 상호 결합시켜 차도선을 자동으로 인식한다. 차도선 검출 모델을 생성하는 과정(트레이닝 과정으로도 지칭됨)에 있어서, 검출된 차도선에 관련된 이미지(아래에, 제1 이미지로 지칭됨) 및 주석된 차도선에 관련된 이미지(아래에, 제2 이미지로 지칭됨)를 기반으로 검출된 차도선이 정확한지 여부를 확정하고, 검출된 차도선이 정확한지 여부를 지시하는 적어도 하나의 표기를 생성한다. 이어서, 해당 모델 생성 과정에, 제1 이미지와 적어도 하나의 표기를 기반으로 차도선을 자동으로 인식하기 위한 분류기 모델을 트레이닝한다.
차도선을 검출하기 위한 과정(적용 과정으로도 지칭됨)에, 검출된 차도선에 관련된 제1 이미지를 상술한 바와 같은 트레이닝된 분류기 모델에 입력함으로써, 차도선의 자동 인식을 구현한다. 해당 방식을 통해, 본 개시의 방안은 컴퓨터 비전 알고리즘의 간결성과 심층 학습의 강력한 일반화 능력을 동시에 구비한다. 이로써, 간결하고 효과적인 방식으로 차도선 검출을 구현함으로써, 고정밀 지도와 자율 주행의 성능을 향상시킬 수 있다.
본원에 사용된 바와 같이, 용어 "모델"은 트레이닝 데이터로부터 상응한 입력과 출력 사이의 관련성을 습득할 수 있으며, 이로써 트레이닝이 완료된 이후 주어진 입력을 상대로 하여 대응되는 출력을 생성할 수 있다. "모델"은 "신경망", "학습 모델" 또는 "학습 네트워크"로 지칭될 수도 있음을 이해하여야 한다.
아래에, 차도선을 예로 들어 본 개시의 실시예들에 대해 토론을 진행하나, 본 개시의 방안은 기타 유형의 도로 정보(예컨대, 속도 제한 표지 등)를 검출하는 것에 유사하게 적용될 수 있음을 이해하여야 한다.
아래에 첨부된 도면들을 참조하여 본 개시의 실시예들에 대한 구체적인 설명을 진행하기로 한다.
도1은 본 개시의 다수의 실시예들이 구현될 수 있는 예시적 환경(100)의 개략도를 나타낸다. 해당 예시적 환경(100)에 있어서, 컴퓨팅 기기(120)로 차도선 검출 모델(130)을 생성한다. 컴퓨팅 기기(120)는 트레이닝 데이터를 기반으로 차도선 검출 모델(130)을 생성할 수 있다.
차도선 검출 모델(130)을 생성할 수 있기 위해, 상응한 트레이닝 데이터를 수집할 필요가 존재한다. 수집 객체(110)는 상응한 트레이닝 데이터를 수집하고, 수집된 트레이닝 데이터를 컴퓨팅 기기(120)에 제공할 수 있다. 예를 들어, 수집 객체(110)는 카메라와 같은 수집 장치를 구비하는 차량, 이동형 로봇 등일 수 있다. 일부의 실시예들에 있어서, 컴퓨팅 기기(120)는 수집 객체(110) 상에 구현될 수 있다. 대안으로, 컴퓨팅 기기(120)는 수집 객체(110)와 떨어져 있을 수 있으며, 유선 또는 무선 연결을 통해 수집 객체(110)와 통신을 진행할 수 있다.
트레이닝 데이터는 원본 이미지를 포함할 수 있다. 도2A는 본 개시의 일부의 실시예들에 따른 원본 이미지(200A)의 개략도를 나타낸다. 도시된 바와 같이, 원본 이미지(200A)는 도로 정보에 관련된 이미지일 수 있다. 예를 들어, 원본 이미지(200A)는 주행 과정에 수집 객체(110)가 수집한 도로 정보를 포함하는 이미지일 수 있다. 대안으로, 원본 이미지(200A)는 도로 정보와 무관할 수 있다.
컴퓨팅 기기(120)는 원본 이미지(200A)에서 차도선을 검출하여, 검출된 차도선에 관련된 제1 이미지를 생성할 수 있다. 일부의 실시예들에 있어서, 컴퓨팅 기기(120)는 컴퓨터 비전 알고리즘을 통해 차도선을 검출하고, 원본 이미지(200A) 상에 검출된 차도선을 표시함으로써, 제1 이미지(200B)를 생성할 수 있다.
일부의 실시예들에 있어서, 컴퓨팅 기기(120)는 검출된 차도선 상의 차도선 포인트들로 검출된 차도선을 표시할 수 있다. 차도선 포인트들은 하나 또는 다수의 픽셀들을 포함할 수 있다. 예를 들어, 컴퓨팅 기기(120)는 원본 이미지(200A) 상의 검출된 차도선 상의 차도선 포인트들에 대응되는 픽셀들의 색상을 변화시켜 검출된 차도선을 표시함으로써, 제1 이미지(200B)를 생성할 수 있다. 구체적으로, 컴퓨팅 기기(120)는 원본 이미지(200A) 상의 검출된 차도선 상의 차도선 포인트들에 대응되는 픽셀들의 색상을 원본 이미지(200A)에 나타나지 않았거나 상대적으로 적게 나타나는 색상으로 변화시켜, 원본 이미지(200A) 중의 기타 그래픽 요소와 구분되게 검출된 차도선을 표시할 수 있다.
도2B는 본 개시의 일부의 실시예들에 따른 제1 이미지(200B)의 개략도를 나타낸다. 도시된 바와 같이, 제1 이미지(200B)는 원본 이미지(200A) 상에서 차도선 포인트들로 검출된 차도선을 표시한 이미지이다.
또한, 컴퓨팅 기기(120)는 원본 이미지(200A)를 기반으로 생성한 주석된 차도선에 관련된 제2 이미지를 획득할 수 있다. 제2 이미지는 원본 이미지(200A) 상에서 차도선을 주석하여 생성한 이미지일 수 있다. 일부의 실시예들에 있어서, 해당 주석 조작은 사용자에 의해 완료될 수 있다. 대안으로, 해당 주석 조작은 사용자의 조작이 없이 컴퓨팅 기기(120)에 의해 자동으로 완료될 수 있다.
도2C는 본 개시의 일부의 실시예들에 따른 제2 이미지(200C)의 개략도를 나타낸다. 도시된 바와 같이, 제2 이미지(200C)는 원본 이미지(200A) 상에서 점선으로 차도선을 주석한 이미지이다. 명확성의 목적을 위해, 도2C는 실제 차도선과 점선으로 주석된 차도선이 중첩되지 않은 것으로 나타냈으나, 실제 차도선과 점선으로 주석된 차도선이 중첩될 수 있음을 이해하여야 한다. 일부의 실시예들에 있어서, 처리를 단순화시키기 위해, 제2 이미지(200C)는 차도선을 명확히 주석하도록 단지 차도선에 관련된 정보를 보류함으로써, 검출된 차도선이 정확한지 여부를 확정하는 기초로 이용하기에 더욱 적합할 수 있다. 예를 들어, 제2 이미지(200C)에서, 차도선과 기타 그래픽 요소를 서로 구분하기 용이한 색상으로 설정할 수 있다. 구체적으로, 차도선을 백색으로 설정하고, 기타 그래픽 요소를 흑색으로 설정할 수 있다.
컴퓨팅 기기(120)는 제1 이미지(200B)와 제2 이미지(200C)를 기반으로, 검출된 차도선이 정확한지 여부를 지시하는 적어도 하나의 표기를 생성할 수 있다. 일부의 실시예들에 있어서, 컴퓨팅 기기(120)는 제1 이미지(200B)와 제2 이미지(200C)에 대해 비교를 진행하여, 제1 이미지(200B)와 제2 이미지(200C)가 매칭되는지 여부를 기반으로, 검출된 차도선이 정확한지 여부를 확정하고, 검출된 차도선이 정확한지 여부를 지시하는 적어도 하나의 표기를 생성할 수 있다.
다른 일부의 실시예들에 있어서, 컴퓨팅 기기(120)는 검출된 차도선의 위치가 제2 이미지(200C) 상에서 주석된 차도선의 위치가 매칭되는지 여부를 확정함으로써, 검출된 차도선이 정확한지 여부를 확정하고, 검출된 차도선이 정확한지 여부를 지시하는 적어도 하나의 표기를 생성할 수 있다. 예를 들어, 컴퓨팅 기기(120)는 제1 이미지(200B) 상에서 검출된 차도선 상의 차도선 포인트들의 픽셀의 좌표와 제2 이미지(200C) 상에서 주석된 차도선의 픽셀의 좌표가 위치 매칭되는지 여부를 확정할 수 있다.
이어서, 컴퓨팅 기기(120)는 제1 이미지(200B)와 적어도 하나의 표기를 기반으로, 차도선을 자동으로 인식하기 위한 분류기 모델(140)을 트레이닝할 수 있다. 분류기 모델(140)의 트레이닝 과정에, 컴퓨팅 기기(120)는 제1 이미지(200B)와 적어도 하나의 표기를 기반으로 분류기 모델(140)을 수정할 수 있으며, 이로써 트레이닝된 분류기 모델(140)은 제1 이미지(200B) 상의 검출된 차도선이 정확한지 여부를 정확하게 확정할 수 있다.
트레이닝된 분류기 모델(140)을 적용하여 차도선을 검출하는 과정에, 컴퓨팅 기기(120)는 검출하고자 하는 원본 이미지(200A)에서 차도선을 검출하여, 검출된 차도선에 관련된 제1 이미지(200B)를 생성할 수 있다. 수집 객체(110)는 상응한 트레이닝 데이터를 수집하고, 수집된 트레이닝 데이터를 컴퓨팅 기기(120)에 제공할 수 있다. 수집 객체(110), 검출하고자 하는 원본 이미지(200A), 및 제1 이미지(200B)를 생성하는 방식은 상술한 바와 같은 수집 객체(110), 원본 이미지(200A) 및 제1 이미지(200B)를 생성하는 방식은 유사하며, 따라서 여기서 이에 대한 설명을 생략하기로 한다.
이어서, 컴퓨팅 기기(120)는 제1 이미지(200B)를 트레이닝된 분류기 모델(140)에 입력할 수 있다. 트레이닝된 분류기 모델(140)은 제1 이미지(200B) 상의 검출된 차도선이 정확한지 여부를 확정하여 차도선을 자동으로 인식할 수 있다.
컴퓨터 비전 알고리즘과 심층 학습은 결합되므로, 본 개시의 방안은 환경에 광선 간섭(예컨대, 강한 광조) 또는 차도선이 존재하는 상대적으로 복잡한 경우에 도로 중의 차도선을 정확하게 검출할 수 있을 뿐만 아니라, 강력한 그래픽 처리 능력을 구비하지 않은 컴퓨팅 기기 상에서 도로 중의 차도선을 검출하는 것에 적합할 수도 있다.
차도선 검출 모델 생성 과정
도3은 본 개시의 실시예들에 따른 차도선 검출 모델을 생성하기 위한 과정(300)의 흐름도를 나타낸다. 과정(300)은 컴퓨팅 기기(120)에 의해 구현될 수 있다. 블록(310)에서, 컴퓨팅 기기(120)는 원본 이미지(200A)에서 차도선을 검출하여, 검출된 차도선에 관련된 제1 이미지(200B)를 생성한다. 블록(310)은 이미지 처리 과정으로 지칭될 수도 있다. 아래에, 도4를 결부하여 블록(310)에 대한 상세한 설명을 진행하기로 한다.
블록(320)에서, 컴퓨팅 기기(120)는 원본 이미지(200A)를 기반으로 생성한 주석된 차도선에 관련된 제2 이미지(200C)를 획득한다. 상술한 바와 같이, 제2 이미지(200C)는 원본 이미지(200A) 상에서 차도선을 주석하여 생성한 이미지일 수 있다. 일부의 실시예들에 있어서, 해당 주석 조작은 사용자에 의해 완료될 수 있다. 대안으로, 해당 주석 조작은 사용자의 참여가 없이 자동으로 완료될 수 있다.
블록(330)에서, 컴퓨팅 기기(120)는 제1 이미지(200B)와 제2 이미지(200C)를 기반으로, 검출된 차도선이 정확한지 여부를 지시하는 적어도 하나의 표기를 생성한다. 블록(330)은 표기 생성 과정으로 지칭될 수도 있다. 아래에, 도5를 결부하여 블록(330)에 대한 상세한 설명을 진행하기로 한다.
블록(340)에서, 컴퓨팅 기기(120)는 제1 이미지(200B)와 적어도 하나의 표기를 기반으로, 차도선을 자동으로 인식하기 위한 분류기 모델을 트레이닝한다. 상술한 바와 같이, 분류기 모델(140)의 트레이닝 과정에, 컴퓨팅 기기(120)는 제1 이미지(200B)와 적어도 하나의 표기를 기반으로 분류기 모델(140)을 수정할 수 있으며, 이로써 트레이닝된 분류기 모델(140)은 제1 이미지(200B) 상의 검출된 차도선이 정확한지 여부를 정확하게 확정할 수 있다. 생성된 차도선 검출 모델은 컴퓨터 비전 알고리즘의 혜택을 받아 간결성과 실시간성을 구비할 뿐만 아니라, 심층 학습의 혜택을 받아 정확성과 강인성을 구비할 수 있다.
이미지 처리 과정
도4는 본 개시의 일부의 실시예들에 따른 제1 이미지(200B)를 생성하는 과정(400)의 흐름도를 나타낸다. 과정(400)은 상술한 과정(300) 중의 블록(310)의 일 예시적 구현으로 간주될 수 있음을 이해하여야 한다. 블록(410)에서, 컴퓨팅 기기(120)는 수집 객체(110)로부터 원본 이미지(200A)를 획득한다.
블록(415)에서, 컴퓨팅 기기(120)는 원본 이미지(200A)에 대해 역원근 변환을 진행하여, 역원근 변환된 이미지를 생성한다. 현실 세계에서 평행선은 원근법에 의해 이미지에서 거리에 따라 교차선으로 변화하게 됨을 이해할 수 있을 것이다. 해당 원근법을 기반으로, 도로 상의 2갈래의 차도선의 간격은 원본 이미지(200A)의 말단에서 작아지며, 이는 차도선을 검출하기에 불리하게 된다. 따라서, 원본 이미지(200A)에 대한 원근 효과의 영향을 상쇄하기 위해, 컴퓨팅 기기(120)는 원본 이미지(200A)에 대해 역원근 변환을 진행하여, 차도선을 검출하기에 적합한 역원근 변환된 이미지를 생성할 수 있다.
블록(420)에서, 컴퓨팅 기기(120)는 역원근 변환된 이미지에 대해 그레이 스케일링을 진행하여 그레이 스케일링된 이미지를 생성한다. 일부의 실시예들에 있어서, 컴퓨팅 기기(120)는 원본 이미지(200A)에 대해 그레이 스케일링을 진행하여 그레이 스케일링된 이미지를 생성할 수 있다. 이미지에 대한 그레이 스케일링은 이미지의 색상을 제거하고, 단지 이미지의 밝기만을 보류함으로써, 이미지 크기를 감소 시킬 수 있다.
블록(425)에서, 컴퓨팅 기기(120)는 그레이 스케일링된 이미지에 대해 노이즈 감소를 진행하여, 노이즈 감소된 이미지를 생성한다. 일부의 실시예들에 있어서, 컴퓨팅 기기(120)는 원본 이미지(200A)에 대해 노이즈 감소를 진행하여 노이즈 감소된 이미지를 생성할 수 있다. 이미지에 대한 노이즈 감소는 이미지 중의 노이즈 포인트들을 제거함으로써, 이미지가 보다 평활하게 할 수 있다. 예를 들어, 노이즈 감소는 가우스 필터링, 평균값 필터링 등의 알고리즘을 통해 구현될 수 있다.
블록(430)에서, 컴퓨팅 기기(120)는 노이즈 감소된 이미지에 대해 이원화를 진행하여 이진값 이미지를 생성한다. 일부의 실시예들에 있어서, 컴퓨팅 기기(120)는 원본 이미지(200A)에 대해 이원화를 진행하여 이진값 이미지를 생성할 수 있다. 다른 일부의 실시예들에 있어서, 컴퓨팅 기기(120)는 그레이 스케일링된 이미지에 대해 이원화를 진행하여 이진값 이미지를 생성할 수 있다. 이미지에 대한 이원화는 이미지 중의 픽셀의 밝기값을 0 또는 255로 설정함으로써, 이미지 크기를 감소시키고, 차도선을 검출하는 것에 더욱 적합하도록 할 수 있다.
블록(435)에서, 컴퓨팅 기기(120)는 이진값 이미지 상에서 윤곽 검출(에지 검출로도 지칭됨)을 적용하여 차도선의 윤곽을 생성한다. 일부의 실시예들에 있어서, 컴퓨팅 기기(120)는 원본 이미지(200A) 상에서 윤곽 검출을 적용하여 차도선의 윤곽을 생성한다. 이미지에 대한 윤곽 검출은 차도선의 중요한 구조적 속성을 보류하고, 중요하지 않거나 관련되지 않는 정보를 제거함으로써, 이미지 크기를 진일보로 감소시키고, 차도선을 검출하는 것에 더욱 적합하도록 할 수 있다.
블록(440)에서, 컴퓨팅 기기(120)는 생성된 차도선의 윤곽에 대해 곡선 피팅을 진행하여 차도선을 표시하는 곡선을 생성한다. 차도선의 윤곽에 대한 곡선 피팅은 차도선의 윤곽 상의 오프셋 포인트들을 제거할 수 있다. 일부의 실시예들에 있어서, 컴퓨팅 기기(120)는 생성된 곡선에 대해 분절을 진행할 수 있다. 예를 들어, 컴퓨팅 기기(120)는 해당 곡선을 40개의 픽셀 길이의 곡선 세그먼트들로 분절할 수 있다. 일부의 실시예들에 있어서, 곡선 세그먼트들은 검출된 차도선 포인트들에 대응될 수 있다. 예를 들어, 일부의 실시예들에 있어서, 곡선 세그먼트들은 하나의 검출된 차도선 포인트에 대응될 수 있다. 다른 일부의 실시예들에 있어서, 곡선 세그먼트들은 검출된 차도선 포인트들의 집합에 대응될 수 있으며, 이러한 방식을 통해, 전체적인 곡선이 아닌 곡선 세그먼트들을 기반으로 이미지에 대해 후속적인 처리를 진행함으로써, 각 이미지 처리에 필요한 컴퓨팅을 감소시킬 수 있다.
블록(445)에서, 컴퓨팅 기기(120)는 곡선을 원본 이미지에 매핑시켜 제1 이미지를 생성한다. 예를 들어, 상술한 바와 같이, 컴퓨팅 기기(120)는 원본 이미지(200A) 상의 검출된 차도선 상의 차도선 포인트들에 대응되는 픽셀들의 색상을 변화시켜 검출된 차도선을 표시함으로써, 제1 이미지(200B)를 생성할 수 있다. 구체적으로, 컴퓨팅 기기(120)는 원본 이미지(200A) 상의 검출된 차도선 상의 차도선 포인트들에 대응되는 픽셀들의 색상을 원본 이미지(200A)에 나타나지 않았거나 상대적으로 적게 나타나는 색상으로 변화시켜, 원본 이미지(200A) 중의 기타 그래픽 요소와 구분되게 검출된 차도선을 표시할 수 있다.
비록 과정(400) 중의 각 동작은 특정의 순서로 설명되었으나, 각 동작은 설명된 순서와 다른 순서로 실행되거나, 병렬로 실행되거나, 실행을 생략할 수 있음을 유의하여야 한다. 예를 들어, 일부의 실시예들에 있어서, 컴퓨팅 기기(120)는 원본 이미지(200A)에 대해 그레이 스케일링을 진행한 이후, 생성된 그레이 스케일 그래픽에 대해 역원근 변환을 진행할 수 있다. 다른 일부의 실시예들에 있어서, 컴퓨팅 기기(120)는 이미지에 대해 노이즈 감소를 진행하지 않을 수 있다.
이러한 방식을 통해, 제1 이미지(200B)를 간단하고 효율적으로 생성할 수 있다. 또한, 제1 이미지(200B)가 원본 이미지(200A)와 검출된 차도선 양자의 정보를 포함하므로, 환경에 광선 간섭 또는 차도선이 존재하는 상대적으로 복잡하여 차도선을 정확하게 검출하지 못하는 경우에도, 원본 이미지(200A)의 도움으로 검출된 차도선을 보충시킴으로써, 정확성을 향상시킬 수 있다.
표기 생성 과정
도5는 본 개시의 일부의 실시예들에 따른 적어도 하나의 표기를 생성하는 과정(500)의 흐름도를 나타낸다. 과정(500)은 상술한 과정(300) 중의 블록(330)의 일 예시적 구현으로 간주될 수 있음을 이해하여야 한다. 블록(510)에서, 컴퓨팅 기기(120)는 제1 이미지(200B)와 제2 이미지(200C)에 대해 비교를 진행하여, 제1 이미지(200B)와 제2 이미지(200C)가 매칭되는지 여부를 확정한다. 일부의 실시예들에 있어서, 컴퓨팅 기기(120)는 제1 이미지(200B)와 제2 이미지(200C)에 대해 비교를 진행하여, 제1 이미지(200B)와 제2 이미지(200C) 사이의 유사도를 획득할 수 있다. 유사도가 기정의 역치를 초과할 경우, 컴퓨팅 기기(120)는 제1 이미지(200B)와 제2 이미지(200C)가 매칭되는 것으로 확정할 수 있다.
대안으로, 컴퓨팅 기기(120)는 제1 이미지(200A) 상의 검출된 차도선의 위치와 제2 이미지(200C) 상에서 주석된 차도선의 위치에 대해 비교를 진행하여, 제1 이미지(200B)와 제2 이미지(200C)가 매칭되는지 여부를 확정할 수 있다. 구체적으로, 컴퓨팅 기기(120)는 제1 이미지(200B) 상에서 검출된 차도선 상의 차도선 포인트들의 픽셀의 좌표와 제2 이미지(200C) 상에서 주석된 차도선의 픽셀의 좌표에 대해 비교를 진행할 수 있다. 검출된 차도선 상의 차도선 포인트들의 픽셀의 좌표와 주석된 차도선의 픽셀의 좌표가 중첩되는(즉, 대응되는 좌표가 동일한) 수량이 기정의 역치를 초과할 경우, 컴퓨팅 기기(120)는 제1 이미지(200B)와 제2 이미지(200C)가 매칭되는 것으로 확정할 수 있다.
다른 일부의 실시예들에 있어서, 원본 이미지(200A) 상에서 차도선을 표시하는 곡선의 위치와 제1 이미지(200B) 상에서 검출된 차도선의 위치가 대응되므로, 컴퓨팅 기기(120)는 원본 이미지(200A) 상에서 차도선을 표시하는 곡선의 위치와 제2 이미지(200C) 상에서 주석된 차도선의 위치에 대해 비교를 진행할 수 있다.
일부의 실시예들에 있어서, 컴퓨팅 기기(120)는 제1 이미지(200B)를 제1 세트의 이미지 블록들로 분할할 수 있으며, 여기서, 각 이미지 블록은 검출된 차도선의 일부분을 포함한다. 예를 들어, 일부의 실시예들에 있어서, 상술한 바와 같이, 차도선을 표시하는 곡선에 대해 분절을 진행할 경우, 원본 이미지(200A) 상에서 곡선 세그먼트들의 위치와 제1 이미지(200B) 상에서 검출된 차도선의 일부분의 위치가 대응되므로, 컴퓨팅 기기(120)는 곡선 세그먼트들에 대응되는 검출된 차도선의 일부분을 기반으로 제1 이미지(200B)를 제1 세트의 이미지 블록들로 분할할 수 있다. 상술한 바와 같이, 일부의 실시예들에 있어서, 곡선 세그먼트들은 검출된 차도선 포인트들에 대응될 수 있다. 이러한 경우에, 상술한 분할 방법을 컴퓨팅 기기(120)가 검출된 차도선 포인트들을 기반으로 제1 이미지(200B)를 제1 세트의 이미지 블록들로 분할하는 것으로 이해할 수 있다.
예를 들어, 컴퓨팅 기기(120)는 제1 이미지(200B) 상에서 검출된 차도선의 일부분의 위치를 중심으로, 검출된 차도선의 일부분을 둘러싸는 이미지 블록들(부분도라고도 지칭됨)을 생성할 수 있다. 예를 들어, 곡선 세그먼트는 40개의 픽셀 길이를 구비할 경우, 대응되는 검출된 차도선의 일부분(예컨대, 차도선 포인트들의 집합)도 40개의 픽셀 길이를 구비하며, 컴퓨팅 기기(120)는 해당 검출된 차도선의 일부분을 중심으로, 해당 검출된 차도선의 일부분의 주위의 픽셀들을 선택하여, 예컨대 64X64 픽셀의 이미지 블록을 생성할 수 있다.
다른 일부의 실시예들에 있어서, 컴퓨팅 기기(120)는 제2 이미지(200C)를 제2 세트의 이미지 블록들로 분할할 수 있으며, 여기서, 각 이미지 블록은 주석된 차도선의 일부분을 포함한다. 이러한 경우에, 컴퓨팅 기기(120)는 제1 세트의 이미지 블록들과 제2 세트의 이미지 블록들 중의 대응되는 이미지 블록들에 대해 비교를 진행하여 대응되는 이미지 블록들이 매칭되는지 여부를 확정할 수 있다. 대안으로, 컴퓨팅 기기(120)는 제1 세트의 이미지 블록들 중의 각 이미지 블록이 포함하는 검출된 차도선의 일부분의 위치와 제2 세트의 이미지 블록들 중의 대응되는 이미지 블록들이 포함하는 주석된 차도선의 일부분의 위치에 대해 비교를 진행할 수 있다.
예를 들어, 컴퓨팅 기기(120)는 제1 세트의 이미지 블록들 중의 각 이미지 블록이 포함하는 검출된 차도 포인트들의 픽셀의 좌표와 제2 세트의 이미지 블록들 중의 대응되는 이미지 블록들이 포함하는 주석된 차도선의 픽셀의 좌표에 대해 비교를 진행할 수 있다. 각 이미지 블록에 대해, 해당 이미지 블록이 포함하는 검출된 차도선 포인트들의 픽셀의 좌표와 주석된 차도선의 픽셀의 좌표가 중첩되는(즉, 대응되는 좌표가 동일한) 수량이 기정의 역치를 초과할 경우, 컴퓨팅 기기(120)는 해당 이미지 블록과 제2 이미지(200C)가 매칭되는 것으로 확정할 수 있다.
도10A는 이미지 블록(1000A)과 제2 이미지(200C)가 매칭되는 개략도를 나타낸다. 도시된 바와 같이, 이미지 블록(1000A)이 포함하는 검출된 차도선 포인트들(1010A)이 주석된 차도선(1020A) 내에 위치하게 되므로, 컴퓨팅 기기(120)는 해당 이미지 블록과 제2 이미지(200C)가 매칭되는 것으로 확정할 수 있다. 이러한 경우에, 이미지 블록(1000A)을 분류기 모델의 양성 샘플로 할 수 있다.
도10B는 이미지 블록(1000B)과 제2 이미지(200C)가 매칭되지 않는 개략도를 나타낸다. 도시된 바와 같이, 비록 이미지 블록(1000B)은 검출된 차도선 포인트들(1010B)을 포함하나, 이미지 블록(1000B)이 포함하는 검출된 차도선 포인트들(1010B)이 주석된 차도선(1020B) 밖에 위치하므로, 컴퓨팅 기기(120)는 해당 이미지 블록과 제2 이미지(200C)가 매칭되지 않는 것으로 확정할 수 있다. 이러한 경우에, 이미지 블록(1000B)을 분류기 모델의 음성 샘플로 할 수 있다.
대안으로, 상술한 바와 같이, 원본 이미지(200A) 상에서 차도선을 표시하는 곡선의 위치와 제1 이미지(200B) 상에서 검출된 차도선의 위치가 대응되므로, 컴퓨팅 기기(120)는 제1 세트의 이미지 블록들 중의 이미지 블록에 대응되는 곡선 세그먼트들의 위치와 제2 세트의 이미지 블록들 중의 대응되는 이미지 블록들이 포함하는 주석된 차도선의 일부분의 위치에 대해 비교를 진행할 수 있다.
다른 일부의 실시예들에 있어서, 컴퓨팅 기기(120)는 제2 이미지(200C)를 분할하지 않을 수 있으며, 직접적으로 제1 세트의 이미지 블록들을 각각 제2 이미지(200C)와 비교를 진행할 수 있다. 대안으로, 컴퓨팅 기기(120)는 직접적으로 제1 세트의 이미지 블록들 중의 각 이미지 블록이 포함하는 검출된 차도선의 일부분을 각각 제2 이미지(200C)와 비교를 진행할 수 있다. 예를 들어, 컴퓨팅 기기(120)는 직접적으로 제1 세트의 이미지 블록들 중의 각 이미지 블록이 포함하는 검출된 차도 포인트들의 픽셀의 좌표를 각각 제2 이미지(200C)와 비교를 진행할 수 있다. 대안으로, 상술한 바와 같이, 원본 이미지(200A) 상에서 차도선을 표시하는 곡선의 위치와 제1 이미지(200B) 상에서 검출된 차도선의 위치가 대응되므로, 컴퓨팅 기기(120)는 직접적으로 제1 세트의 이미지 블록들 중의 이미지 블록에 대응되는 곡선 세그먼트들의 위치를 각각 제2 이미지(200C)와 비교를 진행할 수 있다.
제1 이미지(200B)와 제2 이미지(200C)가 매칭되는 것으로 확정될 경우, 블록(520)에서, 컴퓨팅 기기(120)는 검출된 차도선이 정확함을 지시하는 적어도 하나의 표기를 생성한다. 예를 들어, 해당 표기는 제1 이미지(200B)는 분류기 모델(140)의 양성 샘플인지 아니면 음성 샘플인지를 지시할 수 있다. 양성 샘플은 제1 이미지(200B)가 차도선으로 검출됨을 표시한다. 음성 샘플은 제1 이미지(200B)가 차도선으로 검출되지 않음을 표시한다. 일부의 실시예들에 있어서, 제1 이미지(200B)를 제1 세트의 이미지 블록들로 분할할 경우, 컴퓨팅 기기(120)는 제1 세트의 이미지 블록들 중의 매칭되는 이미지 블록들을 상대로 하여, 해당 이미지 블록이 포함하는 차도선의 상응한 부분이 정확함을 지시하는 표기를 생성할 수 있다.
아니면, 블록(530)에서, 컴퓨팅 기기(120)는 검출된 차도선이 정확하지 않음을 지시하는 적어도 하나의 표기를 생성한다. 일부의 실시예들에 있어서, 제1 이미지(200B)를 제1 세트의 이미지 블록들로 분할할 경우, 컴퓨팅 기기(120)는 제1 세트의 이미지 블록들 중의 매칭되지 않는 이미지 블록들을 상대로 하여, 해당 이미지 블록이 포함하는 차도선의 상응한 부분이 정확하지 않음을 지시하는 표기를 생성할 수 있다. 이러한 방식을 통해, 검출된 차도선이 정확한지 여부를 지시하는 적어도 하나의 표기를 간단하고 효율적으로 생성함으로써, 분류기 모델을 트레이닝하는 것을 지원할 수 있다.
차도선 검출 과정
앞서 도3 내지 도5를 결부하여 차도선 검출 모델을 생성하기 위한 과정의 흐름도에 대한 설명을 진행하였다. 아래에, 도6을 결부하여 차도선을 검출하기 위한 과정(600)의 흐름도에 대한 설명을 진행하기로 한다. 블록(610)에서, 원본 이미지(200A)에서 차도선을 검출하여, 검출된 차도선에 관련된 제1 이미지(200B)를 생성한다. 블록(610)의 동작은 상술한 블록(310)의 동작과 유사하므로, 여기서 이에 대한 상세한 설명을 생략하기로 한다.
블록(620)에서, 제1 이미지(200B)를 트레이닝된 분류기 모델에 입력하여, 차도선을 자동으로 인식한다. 상술한 바와 같이, 트레이닝 과정에 이미 제1 이미지(200B) 및 제1 이미지(200B) 상의 검출된 차도선이 정확한지 여부를 지시하는 적어도 하나의 표기를 이용하여 분류기 모델을 트레이닝함으로써, 분류기 모델에서 제1 이미지(200B)와 대응되는 표기 사이의 관련성을 생성하였으므로, 적용 과정에 분류기 모델은 제1 이미지(200B) 및 해당 관련성을 기반으로 제1 이미지(200B)에 대응되는 표기를 생성하여, 제1 이미지(200B) 상의 검출된 차도선이 정확한지 여부를 지시함으로써, 차도선을 자동으로 인식할 수 있다. 이러한 방식을 통해, 컴퓨터 비전 알고리즘과 심층 학습은 결합되므로, 간결하고 효과적인 방식으로 차도선 검출을 구현함으로써, 고정밀 지도와 자율 주행의 성능을 향상시킬 수 있다.
도7은 본 개시의 실시예들에 따른 차도선 검출 모델을 생성하기 위한 장치(700)의 개략적 블록도를 나타낸다. 도7에 도시된 바와 같이, 장치(700)는, 원본 이미지에서 차도선을 검출하여, 검출된 차도선에 관련된 제1 이미지를 생성하도록 구축된 제1 이미지 생성 모듈(710)과, 원본 이미지를 기반으로 생성한 주석된 차도선에 관련된 제2 이미지를 획득하도록 구축된 제2 이미지 획득 모듈(720)과, 제1 이미지와 제2 이미지를 기반으로, 검출된 차도선이 정확한지 여부를 지시하는 적어도 하나의 표기를 생성하도록 구축된 표기 생성 모듈(730)과, 제1 이미지와 적어도 하나의 표기를 기반으로, 차도선을 자동으로 인식하기 위한 분류기 모델을 트레이닝하도록 구축된 모델 트레이닝 모듈(740)을 포함한다.
일부의 실시예들에 있어서, 제1 이미지 생성 모듈(710)은, 상기 원본 이미지에 대해 역원근 변환을 진행하도록 구축된 역원근 변환 모듈과, 역원근 변환된 상기 원본 이미지에서 상기 차도선을 검출하여 상기 제1 이미지를 생성하도록 구축된 역원근 변환 후 이미지 생성 모듈을 포함한다.
일부의 실시예들에 있어서, 제1 이미지 생성 모듈(710)은, 상기 원본 이미지에 대해 그레이 스케일링을 진행하여 그레이 스케일링된 상기 원본 이미지를 생성하도록 구축된 그레이 스케일링 모듈과, 그레이 스케일링된 상기 원본 이미지에 대해 이원화를 진행하여 이진값 이미지를 생성하도록 구축된 이원화 모듈과, 상기 이진값 이미지에서 상기 차도선을 검출하여 상기 제1 이미지를 생성하도록 구축된 이원화 후 이미지 생성 모듈을 포함한다.
일부의 실시예들에 있어서, 제1 이미지 생성 모듈(710)은, 상기 원본 이미지에 대해 노이즈 감소를 진행하여 노이즈 감소된 이미지를 생성하도록 구축된 노이즈 감소 모듈과, 상기 노이즈 감소된 이미지에서 상기 차도선을 검출하여 상기 제1 이미지를 생성하도록 구축된 노이즈 감소 후 이미지 생성 모듈을 포함한다.
일부의 실시예들에 있어서, 제1 이미지 생성 모듈(710)은, 상기 원본 이미지에 윤곽 검출을 적용하여 상기 차도선의 윤곽을 생성하도록 구축된 윤곽 검출 모듈과, 상기 윤곽을 기반으로 상기 제1 이미지를 생성하도록 구축된 윤곽 검출 후 이미지 생성 모듈을 포함한다.
일부의 실시예들에 있어서, 제1 이미지 생성 모듈(710)은, 상기 윤곽에 대해 곡선 피팅을 진행하여 상기 차도선을 표시하는 곡선을 생성하도록 구축된 곡선 피팅 모듈과, 상기 곡선을 상기 원본 이미지에 매핑시켜 상기 제1 이미지를 생성하도록 구축된 곡선 피팅 후 이미지 생성 모듈을 포함한다.
일부의 실시예들에 있어서, 표기 생성 모듈(730)은, 상기 제1 이미지를 각기 상기 검출된 차도선의 일부분을 포함하는 제1 세트의 이미지 블록들로 분할하도록 구축된 제1 이미지 분할 모듈과, 상기 제2 이미지를 각기 상기 주석된 차도선의 일부분을 포함하는 제2 세트의 이미지 블록들로 분할하도록 구축된 제2 이미지 분할 모듈과, 상기 제1 세트의 이미지 블록들과 상기 제2 세트의 이미지 블록들 중의 대응되는 이미지 블록들에 대해 비교를 진행하여, 상기 검출된 차도선의 다수의 부분들을 상대로 하는 각기 상기 검출된 차도선의 상응한 부분이 정확한지 여부를 지시하는 다수의 표기들을 생성하도록 구축된 국부적 표기 생성 모듈을 포함한다.
도8은 본 개시의 실시예들에 따른 차도선을 검출하기 위한 장치(800)의 개략적 블록도를 나타낸다. 도8에 도시된 바와 같이, 장치(800)는, 원본 이미지에서 차도선을 검출하여, 검출된 차도선에 관련된 제1 이미지를 생성하도록 구축된 제1 이미지 생성 모듈(810)과, 제1 이미지를 트레이닝된 분류기 모델에 입력하여, 차도선을 자동으로 인식하도록 구축된 모델 적용 모듈(820)을 포함한다.
도9는 본 개시의 실시예를 실시할 수 있는 예시적 기기(900)의 개략적 블록도를 나타낸다. 기기(900)는 도1의 컴퓨팅 기기(120)를 구현하도록 이용될 수 있다. 도시된 바와 같이, 기기(900)는, 중앙 처리 유닛(901; CPU)을 포함하되, CPU(901)는 읽기 전용 메모리(902; ROM)에 저장된 컴퓨터 프로그램 명령 또는 저장 유닛(908)으로부터 랜덤 액세스 메모리(903; RAM)에 로딩된 컴퓨터 프로그램 명령에 따라 각종의 적당한 동작과 처리를 실행할 수 있다. RAM(903)에는 기기(900)의 작동에 필요한 각종의 프로그램 및 데이터가 더 저장될 수 있다. CPU(901), ROM(902) 및 RAM(903)은 버스(904)를 통해 서로 연결된다. 입력/출력(I/O) 인터페이스(905)도 버스(904)에 연결된다.
기기(900) 중의 I/O 인터페이스(905)에 연결되는 다수의 부재들로서, 키보드, 마우스 등과 같은 입력 유닛(906)과, 각종 유형의 표시 장치, 스피커 등과 같은 출력 유닛(907)과, 자기 디스크, 콤팩트 디스크 등과 같은 저장 유닛(908)과, 랜카드, 모뎀, 무선 통신 송수신기 등과 같은 통신 유닛(909)이 포함된다. 통신 유닛(909)은 기기(900)가 인터넷과 같은 컴퓨터 네트워크 및/또는 각종의 전기 통신망을 통해 기타의 기기와 정보/데이터를 교환하는 것을 허용한다.
중앙 처리 유닛(901)은 전술한 각 방법과 처리, 예컨대 과정(300, 400, 500) 및/또는 과정(600)을 실행한다. 예를 들어, 일부의 실시예들에 있어서, 과정(300, 400, 500) 및/또는 과정(600)은 컴퓨터 소프트웨어 프로그램으로 구현될 수 있으며, 이는 기계 판독 가능한 매체(예컨대 저장 유닛(908))에 유형적으로 포함된다. 일부의 실시예들에 있어서, 컴퓨터 프로그램의 일부 또는 전부는 ROM(902) 및/또는 통신 유닛(909)을 경유하여 기기(900) 상에 로딩 및/또는 설치될 수 있다. 컴퓨터 프로그램이 RAM(903)에 로딩되고 CPU(901)에 의해 실행될 경우, 전술한 과정(300, 400, 500) 및/또는 과정(600)의 하나 또는 다수의 단계를 실행할 수 있다. 선택 가능하게, 기타의 실시예에 있어서, CPU(901)는 기타의 임의의 적당한 방식을 통해 (예컨대, 펌웨어의 도움으로) 과정(300, 400, 500) 및/또는 과정(600)을 실행하도록 구축될 수 있다.
본원에 설명된 이상의 기능들은 적어도 부분적으로 하나 또는 다수의 하드웨어 로직 부재로 실행될 수 있다. 예를 들어, 사용 가능한 모범적인 유형의 하드웨어 로직 부재는, 필드 프로그래머블 게이트 어레이(FPGA), 주문형 집적 회로(ASIC), 주문형 표준 제품(ASSP), 시스템-온-칩 시스템(SOC), 복합프로그래머블 로직 소자(CPLD) 등을 포함하나, 이에 한정되지 않는다.
본 개시의 방법을 실시하기 위한 프로그램 코드는 하나 또는 다수의 프로그래머블 언어들의 임의의 조합을 이용하여 프로그래밍될 수 있다. 이러한 프로그램 코드는 범용 컴퓨터, 주문형 컴퓨터 또는 기타의 프로그래머블 데이터 처리 장치의 프로세서 또는 제어 장치에 제공될 수 있으며, 프로그램 코드가 프로세서 또는 제어 장치에 의해 실행될 경우, 흐름도 및/또는 블록도에 규정된 기능/조작들이 실시되도록 한다. 프로그램 코드는 완전히 기계 상에서 실행되거나, 부분적으로 기계 상에서 실행되거나, 독립적인 소프트웨어 패키지로서 부분적으로 기계 상에서 실행되고 부분적으로 원격 기계 상에서 실행되거나, 또는 완전히 원격 기계 또는 서비스 상에서 실행될 수 있다.
본 개시의 맥락에 있어서, 기계 판독 가능한 매체는 유형의 매체일 수 있으며, 명령 실행 시스템, 장치 또는 기기에 의해 사용되거나, 또는 명령 실행 시스템, 장치 또는 기기와 결합하여 사용되는 프로그램을 포함하거나 저장할 수 있다. 기계 판독 가능한 매체는 기계 판독 가능한 신호 매체 또는 기계 판독 가능한 저장 매체일 수 있다. 기계 판독 가능한 매체는 전자, 자기, 광학, 전자기, 적외선 또는 반도체 시스템, 장치 또는 기기, 또는 전술한 내용들의 임의의 적합한 조합을 포함할 수 있으나, 이에 한정되지 않는다. 기계 판독 가능한 저장 매체의 보다 구체적인 예시는 하나 또는 다수의 와이어 기반의 전기적 연결, 휴대용 컴퓨터 디스크, 하드 디스크, 랜덤 액세스 메모리(RAM), 읽기 전용 메모리(ROM), 소거 및 프로그램 가능한 읽기 전용 메모리(EPROM 또는 플래시 메모리), 광섬유, 휴대용 콤팩트 디스크 읽기 전용 메모리(CD-ROM), 광학 저장 장치, 자기 저장 장치 또는 전술한 내용들의 임의의 적합한 조합을 포함할 수 있으나, 이에 한정되지 않는다.
또한, 특정된 순서를 이용하여 각 조작을 설명하였으나, 이는 이러한 조작들이 도시된 특정된 순서 또는 순차 순서로 실행되는 것을 요구하거나, 원하는 결과를 실현하기 위해 도시된 모든 조작들이 실행되어야 하는 것을 요구하는 것으로 이해하여서는 아니된다. 일정한 환경에 있어서, 멀티 태스킹과 병렬 처리는 유리할 수 있다. 마찬가지로, 앞선 토론에는 여러가지 구체적인 구현들의 세부사항들이 포함되나, 이들은 본 개시의 범위에 대한 한정으로 해석하여서는 아니된다. 별도의 실시예의 맥락에 설명된 일부의 특징들은 조합의 방식으로 단일의 구현에 구현될 수 있다. 반대로, 단일의 구현의 맥락에 설명된 각종의 특징들도 별도로 또는 임의의 적당한 서브 조합의 방식으로 다수의 구현들에 구현될 수도 있다.
구조 특징 및/또는 방법 로직 동작에 특정된 언어를 이용하여 본 주제를 설명하였으나, 특허청구범위에 한정된 주제는 반드시 전술한 특정된 특징 또는 동작들에 한정되어야 하는 것이 아님을 이해하여야 한다. 반대로, 전술한 특정된 특징 또는 동작들은 단지 특허청구범위를 구현하는 예시적 형식이다.

Claims (20)

  1. 원본 이미지에서 차도선을 검출하여, 검출된 차도선에 관련된 제1 이미지를 생성하는 단계와,
    상기 원본 이미지를 기반으로 생성한 주석된 차도선에 관련된 제2 이미지를 획득하는 단계와,
    상기 제1 이미지와 상기 제2 이미지를 기반으로, 상기 검출된 차도선이 정확한지 여부를 지시하는 적어도 하나의 표기를 생성하는 단계와,
    상기 제1 이미지와 상기 적어도 하나의 표기를 기반으로, 상기 차도선을 자동으로 인식하기 위한 분류기 모델을 트레이닝하는 단계를 포함하는 차도선 검출 모델을 생성하기 위한 방법.
  2. 제1항에 있어서,
    상기 제1 이미지를 생성하는 단계는,
    상기 원본 이미지에 대해 역원근 변환을 진행하는 단계와,
    역원근 변환된 상기 원본 이미지에서 상기 차도선을 검출하여 상기 제1 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 차도선 검출 모델을 생성하기 위한 방법.
  3. 제1항에 있어서,
    상기 제1 이미지를 생성하는 단계는,
    상기 원본 이미지에 대해 그레이 스케일링을 진행하여 그레이 스케일링된 상기 원본 이미지를 생성하는 단계와,
    그레이 스케일링된 상기 원본 이미지에 대해 이원화를 진행하여 이진값 이미지를 생성하는 단계와,
    상기 이진값 이미지에서 상기 차도선을 검출하여 상기 제1 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 차도선 검출 모델을 생성하기 위한 방법.
  4. 제1항에 있어서,
    상기 제1 이미지를 생성하는 단계는,
    상기 원본 이미지에 대해 노이즈 감소를 진행하여 노이즈 감소된 이미지를 생성하는 단계와,
    상기 노이즈 감소된 이미지에서 상기 차도선을 검출하여 상기 제1 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 차도선 검출 모델을 생성하기 위한 방법.
  5. 제1항에 있어서,
    상기 제1 이미지를 생성하는 단계는,
    상기 원본 이미지에 윤곽 검출을 적용하여 상기 차도선의 윤곽을 생성하는 단계와,
    상기 윤곽을 기반으로 상기 제1 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 차도선 검출 모델을 생성하기 위한 방법.
  6. 제5항에 있어서,
    상기 윤곽을 기반으로 상기 제1 이미지를 생성하는 단계는,
    상기 윤곽에 대해 곡선 피팅을 진행하여 상기 차도선을 표시하는 곡선을 생성하는 단계와,
    상기 곡선을 상기 원본 이미지에 매핑시켜 상기 제1 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 차도선 검출 모델을 생성하기 위한 방법.
  7. 제1항에 있어서,
    상기 적어도 하나의 표기를 생성하는 단계는,
    상기 제1 이미지를 각기 상기 검출된 차도선의 일부분을 포함하는 제1 세트의 이미지 블록들로 분할하는 단계와,
    상기 제2 이미지를 각기 상기 주석된 차도선의 일부분을 포함하는 제2 세트의 이미지 블록들로 분할하는 단계와,
    상기 제1 세트의 이미지 블록들과 상기 제2 세트의 이미지 블록들 중의 대응되는 이미지 블록들에 대해 비교를 진행하여, 상기 검출된 차도선의 다수의 부분들을 상대로 하는 각기 상기 검출된 차도선의 상응한 부분이 정확한지 여부를 지시하는 다수의 표기들을 생성하는 단계를 포함하는 것을 특징으로 하는 차도선 검출 모델을 생성하기 위한 방법.
  8. 원본 이미지에서 차도선을 검출하여, 검출된 차도선에 관련된 제1 이미지를 생성하는 단계와,
    상기 제1 이미지를 제1항 내지 제7항에 따른 분류기 모델에 입력하여, 상기 차도선을 자동으로 인식하는 단계를 포함하는 차도선을 검출하기 위한 방법.
  9. 원본 이미지에서 차도선을 검출하여, 검출된 차도선에 관련된 제1 이미지를 생성하도록 구축된 제1 이미지 생성 모듈과,
    상기 원본 이미지를 기반으로 생성한 주석된 차도선에 관련된 제2 이미지를 획득하도록 구축된 제2 이미지 획득 모듈과,
    상기 제1 이미지와 상기 제2 이미지를 기반으로, 상기 검출된 차도선이 정확한지 여부를 지시하는 적어도 하나의 표기를 생성하도록 구축된 표기 생성 모듈과,
    상기 제1 이미지와 상기 적어도 하나의 표기를 기반으로, 상기 차도선을 자동으로 인식하기 위한 분류기 모델을 트레이닝하도록 구축된 모델 트레이닝 모듈을 포함하는 차도선 검출 모델을 생성하기 위한 장치.
  10. 제9항에 있어서,
    상기 제1 이미지 생성 모듈은,
    상기 원본 이미지에 대해 역원근 변환을 진행하도록 구축된 역원근 변환 모듈과,
    역원근 변환된 상기 원본 이미지에서 상기 차도선을 검출하여 상기 제1 이미지를 생성하도록 구축된 역원근 변환 후 이미지 생성 모듈을 포함하는 것을 특징으로 하는 차도선 검출 모델을 생성하기 위한 장치.
  11. 제9항에 있어서,
    상기 제1 이미지 생성 모듈은,
    상기 원본 이미지에 대해 그레이 스케일링을 진행하여 그레이 스케일링된 상기 원본 이미지를 생성하도록 구축된 그레이 스케일링 모듈과,
    그레이 스케일링된 상기 원본 이미지에 대해 이원화를 진행하여 이진값 이미지를 생성하도록 구축된 이원화 모듈과,
    상기 이진값 이미지에서 상기 차도선을 검출하여 상기 제1 이미지를 생성하도록 구축된 이원화 후 이미지 생성 모듈을 포함하는 것을 특징으로 하는 차도선 검출 모델을 생성하기 위한 장치.
  12. 제9항에 있어서,
    상기 제1 이미지 생성 모듈은,
    상기 원본 이미지에 대해 노이즈 감소를 진행하여 노이즈 감소된 이미지를 생성하도록 구축된 노이즈 감소 모듈과,
    상기 노이즈 감소된 이미지에서 상기 차도선을 검출하여 상기 제1 이미지를 생성하도록 구축된 노이즈 감소 후 이미지 생성 모듈을 포함하는 것을 특징으로 하는 차도선 검출 모델을 생성하기 위한 장치.
  13. 제9항에 있어서,
    상기 제1 이미지 생성 모듈은,
    상기 원본 이미지에 윤곽 검출을 적용하여 상기 차도선의 윤곽을 생성하도록 구축된 윤곽 검출 모듈과,
    상기 윤곽을 기반으로 상기 제1 이미지를 생성하도록 구축된 윤곽 검출 후 이미지 생성 모듈을 포함하는 것을 특징으로 하는 차도선 검출 모델을 생성하기 위한 장치.
  14. 제13항에 있어서,
    상기 제1 이미지 생성 모듈은,
    상기 윤곽에 대해 곡선 피팅을 진행하여 상기 차도선을 표시하는 곡선을 생성하도록 구축된 곡선 피팅 모듈과,
    상기 곡선을 상기 원본 이미지에 매핑시켜 상기 제1 이미지를 생성하도록 구축된 곡선 피팅 후 이미지 생성 모듈을 포함하는 것을 특징으로 하는 차도선 검출 모델을 생성하기 위한 장치.
  15. 제9항에 있어서,
    상기 표기 생성 모듈은,
    상기 제1 이미지를 각기 상기 검출된 차도선의 일부분을 포함하는 제1 세트의 이미지 블록들로 분할하도록 구축된 제1 이미지 분할 모듈과,
    상기 제2 이미지를 각기 상기 주석된 차도선의 일부분을 포함하는 제2 세트의 이미지 블록들로 분할하도록 구축된 제2 이미지 분할 모듈과,
    상기 제1 세트의 이미지 블록들과 상기 제2 세트의 이미지 블록들 중의 대응되는 이미지 블록들에 대해 비교를 진행하여, 상기 검출된 차도선의 다수의 부분들을 상대로 하는 각기 상기 검출된 차도선의 상응한 부분이 정확한지 여부를 지시하는 다수의 표기들을 생성하도록 구축된 국부적 표기 생성 모듈을 포함하는 것을 특징으로 하는 차도선 검출 모델을 생성하기 위한 장치.
  16. 원본 이미지에서 차도선을 검출하여, 검출된 차도선에 관련된 제1 이미지를 생성하도록 구축된 제1 이미지 생성 모듈과,
    상기 제1 이미지를 제1항 내지 제7항에 따른 분류기 모델에 입력하여, 상기 차도선을 자동으로 인식하도록 구축된 모델 적용 모듈을 포함하는 차도선을 검출하기 위한 장치.
  17. 하나 또는 다수의 프로세서와,
    하나 또는 다수의 프로그램을 저장하기 위한 저장 장치를 포함하되,
    상기 하나 또는 다수의 프로그램이 상기 하나 또는 다수의 프로세서에 의해 실행될 경우, 상기 하나 또는 다수의 프로세서가 제1항 내지 제7항 중의 임의의 한 항의 방법을 구현하도록 하는 기기.
  18. 하나 또는 다수의 프로세서와,
    하나 또는 다수의 프로그램을 저장하기 위한 저장 장치를 포함하되,
    상기 하나 또는 다수의 프로그램이 상기 하나 또는 다수의 프로세서에 의해 실행될 경우, 상기 하나 또는 다수의 프로세서가 제8항의 방법을 구현하도록 하는 기기.
  19. 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능한 저장 매체에 있어서,
    상기 프로그램은 프로세서에 의해 실행될 경우 제1항 내지 제7항 중의 임의의 한 항의 방법을 구현하는 컴퓨터 판독 가능한 저장 매체.
  20. 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능한 저장 매체에 있어서,
    상기 프로그램은 프로세서에 의해 실행될 경우 제8항의 방법을 구현하는 컴퓨터 판독 가능한 저장 매체.
KR1020180132472A 2017-12-29 2018-10-31 차도선을 검출하기 위한 방법, 장치 및 매체 KR102379287B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201711485383.6 2017-12-29
CN201711485383.6A CN108229386B (zh) 2017-12-29 2017-12-29 用于检测车道线的方法、装置和介质

Publications (2)

Publication Number Publication Date
KR20190088387A true KR20190088387A (ko) 2019-07-26
KR102379287B1 KR102379287B1 (ko) 2022-03-25

Family

ID=62647366

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180132472A KR102379287B1 (ko) 2017-12-29 2018-10-31 차도선을 검출하기 위한 방법, 장치 및 매체

Country Status (5)

Country Link
US (1) US10846543B2 (ko)
EP (1) EP3506156A1 (ko)
JP (1) JP7073247B2 (ko)
KR (1) KR102379287B1 (ko)
CN (1) CN108229386B (ko)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108256446B (zh) * 2017-12-29 2020-12-11 百度在线网络技术（北京）有限公司 用于确定道路中的车道线的方法、装置和设备
CN110858405A (zh) * 2018-08-24 2020-03-03 北京市商汤科技开发有限公司 车载摄像头的姿态估计方法、装置和系统及电子设备
US10223614B1 (en) * 2018-09-04 2019-03-05 StradVision, Inc. Learning method, learning device for detecting lane through classification of lane candidate pixels and testing method, testing device using the same
US11068724B2 (en) * 2018-10-11 2021-07-20 Baidu Usa Llc Deep learning continuous lane lines detection system for autonomous vehicles
CN109470254B (zh) * 2018-10-31 2020-09-08 百度在线网络技术（北京）有限公司 地图车道线的生成方法、装置、系统及存储介质
CN113748315B (zh) * 2018-12-27 2024-06-07 北京嘀嘀无限科技发展有限公司 用于自动车道标记的系统
CN110135302B (zh) * 2019-04-30 2021-08-31 百度在线网络技术（北京）有限公司 训练车道线识别模型的方法、装置、设备和存储介质
CN112215041B (zh) * 2019-07-11 2024-05-31 广州汽车集团股份有限公司 一种端到端车道线检测方法及其系统
CN110516550B (zh) * 2019-07-26 2022-07-05 电子科技大学 一种基于fpga的车道线实时检测方法
CN110796003B (zh) * 2019-09-24 2022-04-26 成都旷视金智科技有限公司 车道线检测方法、装置及电子设备
CN112785595B (zh) * 2019-11-07 2023-02-28 北京市商汤科技开发有限公司 目标属性检测、神经网络训练及智能行驶方法、装置
CN111114544A (zh) * 2019-11-25 2020-05-08 福瑞泰克智能系统有限公司 一种补偿车道线确定方法、装置、可移动设备及存储介质
CN111583341B (zh) * 2020-04-30 2023-05-23 中远海运科技股份有限公司 云台像机移位检测方法
CN111597995B (zh) * 2020-05-15 2023-04-28 汇智机器人科技(深圳)有限公司 一种车道标记线检测方法、系统、以及存储介质
US20220042258A1 (en) * 2020-08-07 2022-02-10 LimnTech LLC Machine learning based roadway striping apparatus and method
WO2022123713A1 (ja) 2020-12-10 2022-06-16 三菱電機株式会社 運転支援制御装置および運転支援制御方法
US11636693B2 (en) * 2021-01-20 2023-04-25 Qualcomm Incorporated Robust lane-boundary association for road map generation
CN112733793A (zh) * 2021-01-22 2021-04-30 北京嘀嘀无限科技发展有限公司 检测公交车道的方法、装置、电子设备和存储介质
CN113192001B (zh) * 2021-03-19 2022-04-19 易思维（杭州）科技有限公司 曲线状待测物视觉检测结果的显示方法
CN116071284A (zh) * 2021-10-25 2023-05-05 北京图森智途科技有限公司 交通标志物检测方法和交通标志物检测模型的训练方法
TWI832591B (zh) * 2022-11-30 2024-02-11 鴻海精密工業股份有限公司 車道線檢測方法、電腦設備及儲存介質

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130012810A (ko) * 2011-07-26 2013-02-05 현대모비스 주식회사 차선 인식 신뢰도 향상 시스템 및 그 방법
KR20130095967A (ko) * 2012-02-21 2013-08-29 영남대학교 산학협력단 차선 인식 방법 및 장치
KR20140103441A (ko) * 2013-02-18 2014-08-27 주식회사 만도 시선 유도 반사체를 이용한 차선 인식 방법 및 시스템

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4414959B2 (ja) * 2005-11-16 2010-02-17 アイシン精機株式会社 駐車支援装置
US8098889B2 (en) * 2007-01-18 2012-01-17 Siemens Corporation System and method for vehicle detection and tracking
JP5014237B2 (ja) * 2008-04-23 2012-08-29 本田技研工業株式会社 レーンマーカ認識装置、車両、及びレーンマーカ認識用プログラム
US8751154B2 (en) * 2008-04-24 2014-06-10 GM Global Technology Operations LLC Enhanced clear path detection in the presence of traffic infrastructure indicator
US8965700B2 (en) * 2008-10-02 2015-02-24 Certusview Technologies, Llc Methods and apparatus for generating an electronic record of environmental landmarks based on marking device actuations
KR101163446B1 (ko) * 2009-03-18 2012-07-18 기아자동차주식회사 가상 차선을 이용하는 차선 이탈 경보 방법 및 그에 따른 시스템
CN102275558B (zh) * 2010-06-12 2013-01-23 财团法人车辆研究测试中心 双视觉前车安全警示装置及其方法
CN103582907B (zh) * 2011-06-13 2016-07-20 日产自动车株式会社 车载用图像识别装置及车道识别方法
CN103688299A (zh) * 2011-07-25 2014-03-26 本田技研工业株式会社 车辆的驾驶辅助装置
US8589071B2 (en) * 2011-08-15 2013-11-19 Honeywell International Inc. Aircraft vision system including a runway position indicator
US8935057B2 (en) * 2012-01-17 2015-01-13 LimnTech LLC Roadway mark data acquisition and analysis apparatus, systems, and methods
US9298991B2 (en) * 2012-01-17 2016-03-29 LimnTech LLC GPS-based machine vision roadway mark locator, inspection apparatus, and marker
US9784843B2 (en) * 2012-01-17 2017-10-10 Limn Tech LLC Enhanced roadway mark locator, inspection apparatus, and marker
CN105074793A (zh) * 2013-03-15 2015-11-18 凯利普公司 用于车辆路径规划和交通管理的车道级车辆导航
JP6142784B2 (ja) * 2013-11-27 2017-06-07 株式会社デンソー 運転支援装置
EP4254383A3 (en) * 2014-08-18 2023-12-20 Mobileye Vision Technologies Ltd. Recognition and prediction of lane constraints
EP3256815A1 (en) * 2014-12-05 2017-12-20 Apple Inc. Autonomous navigation system
JP6485732B2 (ja) * 2014-12-10 2019-03-20 株式会社リコー 情報提供装置、情報提供方法及び情報提供用制御プログラム
CN105774901B (zh) * 2014-12-26 2019-01-29 比亚迪股份有限公司 车道保持控制系统及方法及车辆
CN104657727B (zh) * 2015-03-18 2018-01-02 厦门麦克玛视电子信息技术有限公司 一种车道线的检测方法
CN104766058B (zh) * 2015-03-31 2018-04-27 百度在线网络技术（北京）有限公司 一种获取车道线的方法和装置
EP3098753A1 (en) * 2015-05-28 2016-11-30 Tata Consultancy Services Limited Lane detection
CN105069415B (zh) * 2015-07-24 2018-09-11 深圳市佳信捷技术股份有限公司 车道线检测方法和装置
CN105046235B (zh) * 2015-08-03 2018-09-07 百度在线网络技术（北京）有限公司 车道线的识别建模方法和装置、识别方法和装置
US9721472B2 (en) * 2015-09-22 2017-08-01 Ford Global Technologies, Llc Formulating lane level routing plans
CN105574527B (zh) * 2015-12-14 2019-03-29 北京工业大学 一种基于局部特征学习的快速物体检测方法
CN105631880B (zh) * 2015-12-31 2019-03-22 百度在线网络技术（北京）有限公司 车道线分割方法和装置
CN105654067A (zh) * 2016-02-02 2016-06-08 北京格灵深瞳信息技术有限公司 一种车辆检测方法及装置
CN105760835B (zh) * 2016-02-17 2018-03-06 银河水滴科技（北京）有限公司 一种基于深度学习的步态分割与步态识别一体化方法
CN105930791B (zh) * 2016-04-19 2019-07-16 重庆邮电大学 基于ds证据理论的多摄像头融合的路面交通标志识别方法
US10007854B2 (en) * 2016-07-07 2018-06-26 Ants Technology (Hk) Limited Computer vision based driver assistance devices, systems, methods and associated computer executable code
US10102435B2 (en) * 2016-08-10 2018-10-16 Omnivision Technologies, Inc. Lane departure warning system and associated methods
KR101896778B1 (ko) * 2016-10-06 2018-09-07 현대자동차주식회사 아웃사이드 미러를 이용한 차선 표시 장치 및 그 방법
KR102524851B1 (ko) * 2016-10-31 2023-04-25 모빌아이 비젼 테크놀로지스 엘티디. 차로 병합 및 차로 분리의 항법을 위한 시스템 및 방법
CN106529493B (zh) * 2016-11-22 2019-12-20 北京联合大学 一种基于透视图的鲁棒性多车道线检测方法
CN106778551B (zh) * 2016-11-30 2020-07-31 南京理工大学 一种高速路段及城市道路车道线识别方法
CN108168566B (zh) * 2016-12-07 2020-09-04 北京三快在线科技有限公司 道路确定方法、装置及电子设备
EP3555800A4 (en) * 2016-12-16 2020-08-19 Hitachi Automotive Systems, Ltd. ROAD RECOGNITION USING ROAD SIGN INFORMATION
JP6583252B2 (ja) * 2016-12-27 2019-10-02 トヨタ自動車株式会社 運転支援装置
CN106778668B (zh) * 2016-12-30 2019-08-09 明见（厦门）技术有限公司 一种联合ransac和cnn的鲁棒的车道线检测方法
CN106874905B (zh) * 2017-01-12 2019-06-11 中南大学 一种基于自学习色彩聚类的自然场景文本检测的方法
CN106874712B (zh) * 2017-01-13 2019-01-29 天津大学 一种基于池化时间序列特征表示的细胞分裂事件识别方法
JP6494121B2 (ja) * 2017-03-01 2019-04-03 本田技研工業株式会社 車線変更推定装置、車線変更推定方法、およびプログラム
CN107045629B (zh) * 2017-04-19 2020-06-26 南京理工大学 一种多车道线检测方法
US10210411B2 (en) * 2017-04-24 2019-02-19 Here Global B.V. Method and apparatus for establishing feature prediction accuracy
CN107392103B (zh) * 2017-06-21 2020-06-26 海信集团有限公司 路面车道线的检测方法及装置、电子设备
US10296795B2 (en) * 2017-06-26 2019-05-21 Here Global B.V. Method, apparatus, and system for estimating a quality of lane features of a roadway
TWI657950B (zh) * 2017-07-19 2019-05-01 緯創資通股份有限公司 指示物件的輔助辨識裝置與其之輔助識別及顯示方法
US11009884B2 (en) * 2017-09-29 2021-05-18 Direct Current Capital LLC Method for calculating nominal vehicle paths for lanes within a geographic region
JP7000822B2 (ja) * 2017-12-06 2022-01-19 株式会社アイシン 周辺監視装置
US10782419B2 (en) * 2017-12-07 2020-09-22 Westinghouse Air Brake Technologies Corporation Method to determine clearance of an obstacle
US10169678B1 (en) * 2017-12-21 2019-01-01 Luminar Technologies, Inc. Object identification and labeling tool for training autonomous vehicle controllers
WO2019168869A1 (en) * 2018-02-27 2019-09-06 Nvidia Corporation Real-time detection of lanes and boundaries by autonomous vehicles

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130012810A (ko) * 2011-07-26 2013-02-05 현대모비스 주식회사 차선 인식 신뢰도 향상 시스템 및 그 방법
KR20130095967A (ko) * 2012-02-21 2013-08-29 영남대학교 산학협력단 차선 인식 방법 및 장치
KR20140103441A (ko) * 2013-02-18 2014-08-27 주식회사 만도 시선 유도 반사체를 이용한 차선 인식 방법 및 시스템

Also Published As

Publication number Publication date
JP7073247B2 (ja) 2022-05-23
CN108229386A (zh) 2018-06-29
KR102379287B1 (ko) 2022-03-25
US10846543B2 (en) 2020-11-24
CN108229386B (zh) 2021-12-14
EP3506156A1 (en) 2019-07-03
JP2019135643A (ja) 2019-08-15
US20190205664A1 (en) 2019-07-04

Similar Documents

Publication Publication Date Title
KR20190088387A (ko) 차도선을 검출하기 위한 방법, 장치 및 매체
KR102210715B1 (ko) 도로 중의 차도선을 확정하기 위한 방법, 장치 및 기기
CN109470254B (zh) 地图车道线的生成方法、装置、系统及存储介质
US10970566B2 (en) Lane line detection method and apparatus
CN108388641B (zh) 一种基于深度学习的交通设施地图生成方法与系统
CN110458095B (zh) 一种有效手势的识别方法、控制方法、装置和电子设备
JP6875365B2 (ja) 電子地図における交差点を認識するための方法及び装置
CN112668696A (zh) 一种基于嵌入式深度学习的无人机电网巡检方法和系统
Zhao et al. A cooperative vehicle-infrastructure based urban driving environment perception method using a DS theory-based credibility map
CN108279016B (zh) Had地图的平滑处理方法和装置、导航系统及自动驾驶系统
CN110135302B (zh) 训练车道线识别模型的方法、装置、设备和存储介质
CN108197567B (zh) 用于图像处理的方法、装置和计算机可读介质
EP3620945A1 (en) Obstacle distribution simulation method, device and terminal based on multiple models
EP4105600A2 (en) Method for automatically producing map data, related apparatus and computer program product
CN111008576B (zh) 行人检测及其模型训练、更新方法、设备及可读存储介质
CN110059637B (zh) 一种人脸对齐的检测方法及装置
CN115205391A (zh) 一种三维激光雷达和视觉融合的目标预测方法
CN113688935A (zh) 高精地图的检测方法、装置、设备以及存储介质
US20230021027A1 (en) Method and apparatus for generating a road edge line
CN114186007A (zh) 高精地图生成方法、装置、电子设备和存储介质
CN113409340A (zh) 语义分割模型训练方法、语义分割方法、装置及电子设备
CN113420692A (zh) 生成方向识别模型的方法、装置、设备、介质及程序产品
WO2022247628A1 (zh) 一种数据标注方法及相关产品
CN116343143A (zh) 目标检测方法、存储介质、路侧设备及自动驾驶系统
CN116001802A (zh) 一种车辆控制方法及装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X601 Decision of rejection after re-examination
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL NUMBER: 2021101000315; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20210205

Effective date: 20210721

E902 Notification of reason for refusal
GRNO Decision to grant (after opposition)
GRNT Written decision to grant