KR102143108B1 - 차선 인식 모델링 방법, 장치, 저장 매체 및 기기, 및 인식 방법, 장치, 저장 매체 및 기기 - Google Patents

차선 인식 모델링 방법, 장치, 저장 매체 및 기기, 및 인식 방법, 장치, 저장 매체 및 기기 Download PDF

Info

Publication number
KR102143108B1
KR102143108B1 KR1020187005239A KR20187005239A KR102143108B1 KR 102143108 B1 KR102143108 B1 KR 102143108B1 KR 1020187005239 A KR1020187005239 A KR 1020187005239A KR 20187005239 A KR20187005239 A KR 20187005239A KR 102143108 B1 KR102143108 B1 KR 102143108B1
Authority
KR
South Korea
Prior art keywords
image
lane
filtering
model
recognition
Prior art date
Application number
KR1020187005239A
Other languages
English (en)
Other versions
KR20180034529A (ko
Inventor
베이 허
지후이 하오
Original Assignee
바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 filed Critical 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드
Publication of KR20180034529A publication Critical patent/KR20180034529A/ko
Application granted granted Critical
Publication of KR102143108B1 publication Critical patent/KR102143108B1/ko

Links

Images

Classifications

    • G06K9/00798—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2137—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on criteria of topology preservation, e.g. multidimensional scaling or self-organising maps
    • G06F18/21375—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on criteria of topology preservation, e.g. multidimensional scaling or self-organising maps involving differential geometry, e.g. embedding of pattern manifold
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4084—Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 개시의 실시예는 차선 인식 모델링 방법 및 장치, 인식 방법 및 장치를 개시한다. 상기 차선 인식 모델링 방법은, 2차원 필터링을 기반으로, 화상으로부터 차선의 화상 영역을 인식하는 단계(S11); 인식된 화상 영역을 이용하여, 모델 트레이닝 데이터를 구축하는 단계(S12); 상기 모델 트레이닝 데이터를 이용하여, 컨볼루션 신경망 기반의 차선 인식 모델을 트레이닝하는 단계(S13);를 포함한다. 본 발명의 실시예에서 제공하는 차선 인식 모델링 방법 및 장치, 인식 방법 및 장치는 차선에 대해 검출을 진행하는 검출 정확도를 향상시킨다.

Description

차선 인식 모델링 방법, 장치, 저장 매체 및 기기, 및 인식 방법, 장치, 저장 매체 및 기기
본 특허 출원은 2015년 8월 3일에 제출한 출원인이 바이두 온라인 네트워크 테크놀러지 (베이징) 유한회사이고 발명의 명칭이 “차선 인식 모델링 방법 및 장치, 인식 방법 및 장치”인 제201510482990.1호 중국 특허 출원의 우선권을 주장하는 바, 상기 중국 특허 출원의 모든 내용은 참조로서 본원 출원에 원용된다.
본 개시의 실시예는 위치 기반의 서비스 기술 분야에 관한 것으로, 특히는 차선 인식 모델링 방법, 장치, 저장 매체 및 기기, 및 인식 방법, 장치, 저장 매체 및 기기에 관한 것이다.
여러가지 위치 기반의 서비스 기술에 있어서, 차선의 위치, 유형, 너비, 색상 및 수량에 대한 검출은 자동/보조 운전, 지도 네비게이션 및 지리적 기초 데이터 생성에 대해 모두 중요한 의의를 갖고있다.
기존의 차선 검출은 기본적으로, 원본 화상에 대해 변두리 검출을 진행하고, 검출된 결과에 대해 이진화 처리를 진행하고, 이진화 처리에 대해 Hough 변환, 임의의 Hough 변환 또는 ransac 알고리즘을 적용하여 차선을 추출하고, 마지막으로 추출된 차선에 대해 미세화 처리를 진행하는 과정을 따른다. 상술한 방법은 화상이 선명하고 차선이 기타 물체에 의해 가려져 있지 않을 경우, 차선에 대한 인식 정확도가 비교적 높다. 그러나, 화상 중의 차선 변두리가 아주 명확하지 않거나 차선이 기타 물체에 의해 가려져 있을 경우, 기존의 검출 방법의 검출 정확도가 떨어진다.
상술한 기술적 문제에 대해, 본 개시의 실시예는 차선에 대해 검출을 진행하는 검출 정확도를 향상시키기 위한 차선 인식 모델링 방법, 장치, 저장 매체 및 기기 및 인식 방법, 장치, 저장 매체 및 기기를 제공한다.
제1 양태에 있어서, 본 개시의 실시예는 차선 인식 모델링 방법을 제공하며, 상기 방법은,
2차원 필터링을 기반으로, 화상으로부터 차선의 화상 영역을 인식하는 단계;
인식된 화상 영역을 이용하여, 모델 트레이닝 데이터를 구축하는 단계; 및
상기 모델 트레이닝 데이터를 이용하여, 컨볼루션 신경망 기반의 차선 인식 모델을 트레이닝하는 단계;를 포함한다.
제2 양태에 있어서, 본 개시의 실시예는 차선 인식 모델링 장치를 더 제공하며, 상기 장치는,
2차원 필터링을 기반으로, 화상으로부터 차선의 화상 영역을 인식하기 위한 인식 모듈;
인식된 화상 영역을 이용하여, 모델 트레이닝 데이터를 구축하기 위한 구축 모듈; 및
상기 모델 트레이닝 데이터를 이용하여, 컨볼루션 신경망 기반의 차선 인식 모델을 트레이닝하기 위한 트레이닝 모듈;을 포함한다.
제3 양태에 있어서, 본 개시의 실시예는 차선 인식 방법을 제공하며, 상기 방법은,
2차원 필터링을 기반으로, 화상으로부터 차선의 화상 영역을 인식하는 단계;
차선의 화상 영역이 인식된 화상을 컨볼루션 신경망 기반의 차선 인식 모델에 입력하여, 상기 모델의 출력 확율을 획득하는 단계; 및
입력한 화상 중의 차선을 인식하도록, 상기 출력 확율에 기반하여 모델 재구축을 진행하는 단계;를 포함한다.
제4 양태에 있어서, 본 개시의 실시예는 차선 인식 장치를 더 제공하며, 상기 장치는,
2차원 필터링을 기반으로, 화상으로부터 차선의 화상 영역을 인식하기 위한 영역 인식 모듈;
차선의 화상 영역이 인식된 화상을 컨볼루션 신경망 기반의 차선 인식 모델에 입력하여, 상기 모델의 출력 확율을 획득하기 위한 확율 산출 모듈; 및
입력한 화상 중의 차선을 인식하도록, 상기 출력 확율에 기반하여 모델 재구축을 진행하기 위한 모델 재구축 모듈;을 포함한다.
제5 양태에 있어서, 본 개시의 실시예는 하나 또는 다수의 컴퓨터 실행 가능한 명령어를 포함하는 저장 매체를 제공하며, 상기 컴퓨터 실행 가능한 명령어가 컴퓨터 프로세서에 의해 실행될 경우 차선 인식 모델링 방법을 실행하도록 구성되며, 상기 방법은,
2차원 필터링을 기반으로, 화상으로부터 차선의 화상 영역을 인식하는 단계;
인식된 화상 영역을 이용하여, 모델 트레이닝 데이터를 구축하는 단계;
상기 모델 트레이닝 데이터를 이용하여, 컨볼루션 신경망 기반의 차선 인식 모델을 트레이닝하는 단계;를 포함한다.
제6 양태에 있어서, 본 개시의 실시예는 기기를 제공하며, 상기 기기는,
하나 또는 다수의 프로세서;
저장 장치; 및
하나 또는 다수의 프로그램;을 포함하되, 상기 하나 또는 다수의 프로그램은 상기 저장 장치에 저장되며, 상기 하나 또는 다수의 프로세서에 의해 실행될 경우,
2차원 필터링을 기반으로, 화상으로부터 차선의 화상 영역을 인식하고,
인식된 화상 영역을 이용하여, 모델 트레이닝 데이터를 구축하고,
상기 모델 트레이닝 데이터를 이용하여, 컨볼루션 신경망 기반의 차선 인식 모델을 트레이닝하는 조작을 실행한다.
제7 양태에 있어서, 본 개시의 실시예는 하나 또는 다수의 컴퓨터 실행 가능한 명령어를 포함하는 저장 매체를 제공하며, 상기 컴퓨터 실행 가능한 명령어가 컴퓨터 프로세서에 의해 실행될 경우 차선 인식 방법을 실행하도록 구성되며, 상기 방법은,
2차원 필터링을 기반으로, 화상으로부터 차선의 화상 영역을 인식하는 단계;
차선의 화상 영역이 인식된 화상을 컨볼루션 신경망 기반의 차선 인식 모델에 입력하여, 상기 모델의 출력 확율을 획득하는 단계; 및
입력한 화상 중의 차선을 인식하도록, 상기 출력 확율에 기반하여 모델 재구축을 진행하는 단계;를 포함한다.
제8 양태에 있어서, 본 개시의 실시예는 기기를 제공하며, 상기 기기는,
하나 또는 다수의 프로세서;
저장 장치; 및
하나 또는 다수의 프로그램;을 포함하되, 상기 하나 또는 다수의 프로그램은 상기 저장 장치에 저장되며, 상기 하나 또는 다수의 프로세서에 의해 실행될 경우,
2차원 필터링을 기반으로, 화상으로부터 차선의 화상 영역을 인식하고,
차선의 화상 영역이 인식된 화상을 컨볼루션 신경망 기반의 차선 인식 모델에 입력하여, 상기 모델의 출력 확율을 획득하고,
입력한 화상 중의 차선을 인식하도록, 상기 출력 확율에 기반하여 모델 재구축을 진행하는 조작을 실행한다.
본 개시의 실시예에서 제공하는 기술적 해결 방안에 있어서, 2차원 필터링을 기반으로, 화상으로부터 차선의 화상 영역을 인식하고, 차선의 화상 영역이 인식된 화상을 컨볼루션 신경망 기반의 차선 인식 모델에 입력하여, 상기 모델의 출력 확율을 획득하고, 입력한 화상 중의 차선을 인식하도록, 상기 출력 확율에 기반하여 모델 재구축을 진행함으로써, 종합적인 고려화상 중의 차선 화상 영역에 나타날 가능성이 존재하는 각종 이상 상황, 차선에 대해 검출을 진행하는 검출 정확도를 향상시킨다.
본 개시의 실시예들 중의 기술적 해결방안을 더욱 명확하게 설명하기 위하여, 실시예에 대한 아래의 설명에 필요한 첨부된 도면들에 대한 간단한 개요를 진행하기로 한다. 물론, 아래의 설명 중의 첨부된 도면들은 오직 본 개시의 일부 실시예들일 뿐이며, 해당 기술분야의 당업자들은 진보성 노동이 없이도 이러한 첨부된 도면들에 대한 변형 및 대체를 진행할 수 있다.
도1은 본 개시의 제1 실시예에서 제공하는 차선 인식 모델링 방법의 흐름도이다.
도2는 본 개시의 제2 실시예에서 제공하는 차선 인식 모델링 방법의 흐름도이다.
도3은 본 개시의 제3 실시예에서 제공하는 차선 인식 모델링 방법 중의 인식 단계의 흐름도이다.
도4는 본 개시의 제4 실시예에서 제공하는 차선 인식 모델링 방법 중의 구축 단계의 흐름도이다.
도5는 본 개시의 제4 실시예에서 제공하는 관심 영역의 예시도이다.
도6은 본 개시의 제5 실시예에서 제공하는 차선 인식 방법의 흐름도이다.
도7a는 본 개시의 제5 실시예에서 제공하는 대량으로 가려진 정경에서의 차선 인식의 인식 결과도이다.
도7b는 본 개시의 제5 실시예에서 제공하는 음영의 정경에서의 차선 인식의 인식 결과도이다.
도7c는 본 개시의 제5 실시예에서 제공하는 휘도가 변화하는 정경에서의 차선 인식의 인식 결과도이다.
도7d는 본 개시의 제5 실시예에서 제공하는 지면 표기에 의해 방해되는 정경에서의 차선 인식의 인식 결과도이다.
도8은 본 개시의 제6 실시예에서 제공하는 차선 인식 방법의 흐름도이다.
도9는 본 개시의 제7 실시예에서 제공하는 차선 인식 모델링 장치의 구성도이다.
도10은 본 개시의 제8 실시예에서 제공하는 차선 인식 장치의 구성도이다.
도11은 본 개시의 제10 실시예에서 제공하는 차선 인식 모델링 방법을 실행하는 기기의 하드웨어 구조 개략도이다.
도12는 본 개시의 제12 실시예에서 제공하는 차선 인식 방법을 실행하는 기기의 하드웨어의 예시적 구성도이다.
이하, 첨부된 도면 및 실시예를 결부하여 본 개시에 대한 진일보로 상세한 설명을 진행하기로 한다. 여기에 설명된 구체적인 실시예는 단지 본 개시를 해석하기 위한 것일 뿐, 본 개시를 한정하기 위한 것이 아님을 이해하여야 한다. 또한, 첨부된 도면에는 단지 본 개시에 관련된 부분만 도시되었을 뿐, 모든 구성을 도시한 것이 아님을 설명하고자 한다.
제1 실시예
본 실시예는 차선 인식 모델링 방법의 일 기술적 해결방안을 제공한다. 상기 차선 인식 모델링 방법은 차선 인식 모델링 장치로 실행된다. 또한, 상기 차선 인식 모델링 장치는 개인용 컴퓨터, 스테이션, 또는 서버 등 컴퓨팅 기기에 집적될 수 있다.
도1을 참조하면, 상기 차선 인식 모델링 방법은 아래와 같은 단계들을 포함한다.
S11에서, 2차원 필터링을 기반으로, 화상으로부터 차선의 화상 영역을 인식한다.
상기 화상은 행차 도로 상에서 실제로 수집한, 차선을 포함하는 화상 데이터이다. 기존의 차선 인식 방법은 대부분 적응성이 부족하고 인식 정확도가 높지 않은 문제가 존재한다. 구체적으로, 일단 화상의 수집 환경에 변화가 존재하면, 예컨대, 화상 중의 차선이 대량으로 기타 물체에 의해 가려지거나, 화상 중에 대랑의 음영 영역이 나타날 경우, 화상 중의 차선의 인식 결과에 대해 거짓 경보 또는 잘못된 판단이 발생하게 된다.
차선 인식의 적응성 및 정확도를 향상시키기 위해, 본 실시예는 차선의 인식 모델의 트레이닝 방법, 즉, 차선 인식 모델링 방법을 제공한다. 상기 차선 인식 모델링 방법을 통해, 화상 중의 차선을 정확하게 인식하기 위한 컨볼루션 신경망을 트레이닝할 수 있다. 또한, 상기 컨볼루션 신경망은 화상의 정경 변화에 적응할 수 있을 뿐만 아니라, 적응 범위가 더욱 광범위하다.
구체적으로, 화상에 대한 필터링을 통해, 차선의 화상 영역을 강화시키고, 강화된 이후에 따라, 상기 차선의 화상 영역을 획득한다. 보다 구체적으로, 상기 화상에 대해 필터링을 진행하기 위한 hat-like 필터링 커널을 구축하고, 상기 hat-like 필터링 커널이 화상에 대한 필터링을 통해 차선의 화상 영역을 강화시키고, 강화된 화상 영역에 따라 상기 차선에 대응되는 연결 영역을 획득하고, 마지막으로 상기 연결 영역의 경계에 대해 직선 피팅을 진행하여, 차선의 화상 영역에 대한 인식을 완료한다.
S12에서, 인식된 화상 영역을 이용하여, 모델 트레이닝 데이터를 구축한다.
상기 차선의 화상 영역에 대한 인식을 완료한 이후, 상기 차선의 화상 영역을 기반으로, 차선 인식 모델을 트레이닝하기 위한 모델 트레이닝 데이터를 구축한다.
구체적으로, 상기 차선의 화상 영역을 밖으로 확장시키고, 확장된 화상 영역을 관심 영역으로 할 수 있다. 상기 관심 영역은 즉 상기 차선 인식 모델을 트레이닝하기 위한 트레이닝 데이터이다.
S13에서, 상기 모델 트레이닝 데이터를 이용하여, 컨볼루션 신경망 기반의 차선 인식 모델을 트레이닝한다.
본 발명에 있어서, 상기 차선 인식 모델은 컨볼루션 신경망 기반의 차선 인식 모델이다. 상기 컨볼루션 신경망은 여러개의 회귀층 및 서브 샘플링층을 포함한다. 상기 회귀층의 수량은 상기 서브 샘플링층의 수량과 동일하다. 상기 컨볼루션 신경망은 여러개의 완전 연결층을 더 포함한다. 상기 컨볼루션 신경망에 입력된 화상을 획득한 이후, 상기 컨볼루션 신경망은 상기 화상이 실제 차선에 해당되는 확율
Figure 112018018615453-pct00001
의 값, 즉, 상기 차선 인식 모델의 출력 확율의 값을 제공할 수 있다.
본 실시예는, 2차원 필터링을 기반으로, 화상으로부터 차선의 화상 영역을 인식하고 , 인식된 화상 영역을 이용하여, 모델 트레이닝 데이터를 구축하고, 상기 모델 트레이닝 데이터를 이용하여, 컨볼루션 신경망 기반의 차선 인식 모델을 트레이닝함으로써, 화상 중의 차선 화상 영역에 나타날 가능성이 존재하는 각종 이상 상황에 대한 종합적인 고려를 실현하고, 차선에 대해 검출을 진행하는 검출 정확도를 향상시킨다.
제2 실시예
본 실시예는 본 개시의 상술한 실시예를 기초로, 차선 인식 모델링 방법의 일 기술적 해결 방안을 진일보로 제공한다. 본 기술적 해결 방안에 있어서, 2차원 필터링을 기반으로, 배경 화상으로부터 차선의 화상 영역을 인식하기 이전에, 원본 화상에 대해 역투영 변환을 진행하여, 상기 원본 화상의 광축 방향을 지면에 수직되는 방향으로 조정하는 단계를 더 포함한다.
도2를 참조하면, 상기 차선 인식 모델링 방법은 아래와 같은 단계들을 포함한다.
S21에서, 원본 화상에 대해 역투영 변환을 진행하여, 상기 원본 화상의 광축 방향을 지면에 수직되는 방향으로 조정한다.
통상적으로 도로의 노면 화상을 수집함에 있어서, 화상을 수집하기 위한 카메라의 광축은 노면에 대체적으로 평행되는 방향에서 화상을 수집하는 것을 이해하여야 한다. 컨볼루션 신경망에 입력된 차선 화상의 특징을 보다 일치하게 하고, 차선에 대해 인식을 진행하는 인식 정확도를 향상시키기 위하여, 화상을 수집할 때의 광축과 노면이 수직되지 않은 화상에 대해 역투영 변환을 진행하여야 한다.
상기 역투영 변환은 역 투시 매핑으로 지칭될 수도 있으며, 카메라로 획득한 2차원 화상 중의 픽셀 포인트를 하나의 3차원 공간에 매핑시키도록 구성된다. 보다 구체적으로, 화상을 수집할 때의 카메라의 피치각(pitch angle), 편주각(yaw angle) 및 롤링각(roll angle)은 각각 α, β 및 γ이고, 카메라의 수직 방향 및 수평 방향에서의 초점 거리는 각각 fu, fv이고, 카메라의 광심 좌표점의 횡좌표 및 종좌표는 각각 cu, cv이고, 정규화 파라미터는 s로 가정할 경우, 등식 (1)에 따라 역투영 변환을 진행하면:
Figure 112018018615453-pct00002
여기서, (u,v)는 픽셀 포인트가 2차원 화상에서의 위치 좌표이고, (xw,yw,zw)는 픽셀 포인트가 변환된 3차원 공간에서의 위치 좌표이다.
S22에서, 2차원 필터링을 기반으로, 화상으로부터 차선의 화상 영역을 인식한다.
S23에서, 인식된 화상 영역을 이용하여, 모델 트레이닝 데이터를 구축한다.
S24에서, 상기 모델 트레이닝 데이터를 이용하여, 컨볼루션 신경망 기반의 차선 인식 모델을 트레이닝한다.
본 실시예는, 2차원 필터링을 기반으로, 화상으로부터 차선의 화상 영역을 인식하기 이전에, 원본 화상에 대해 역투영 변환을 진행하여, 상기 원본 화상의 광축 방향을 지면에 수직되는 방향으로 조정함으로써, 상기 컨볼루션 신경망에 입력된 화상이 컨볼루션 신경망에 입력되기 이전에 광축 방향의 일체화를 진행하여, 화상 중의 차선에 대한 인식 정확도를 향상시킨다.
제3 실시예
본 실시예는 본 개시의 상술한 실시예를 기초로, 차선 인식 모델링 방법 중의 인식 단계의 일 기술적 해결 방안을 진일보로 제공한다. 본 기술적 해결 방안에 있어서, 2차원 필터링을 기반으로, 화상으로부터 차선의 화상 영역을 인식하는 단계는, 상이한 너비 파라미터 및 높이 파라미터를 가지는 hat-like 필터링 커널을 이용하여, 배경 화상에 대해 필터링을 진행하고, 화상의 테두리가 가장 선명한 하나의 화상을 필터링 결과 화상으로 선택하는 단계; 상기 필터링 결과 화상에 대해 이진화를 진행하여 적어도 하나의 연결 영역을 형성하는 단계; 및 개선된 ransac 알고리즘을 이용하여 상기 연결 영역에 대해 경계 선형 적합을 진행하는 단계;를 포함한다.
도3을 참조하면, 2차원 필터링을 기반으로, 화상으로부터 차선의 화상 영역을 인식하는 단계는, 아래와 같은 단계들을 포함한다.
S31에서, 너비 파라미터 및 높이 파라미터가 상이한 hat-like 필터링 커널을 이용하여, 배경 화상에 대해 필터링을 진행하고, 화상의 테두리가 가장 선명한 하나의 화상을 필터링 결과 화상으로 선택한다.
상기 hat-like 필터링 커널이 필터링 조작은 아래와 같은 수학식으로 제공된다.
Figure 112018018615453-pct00003
여기서, I(x,y)는 필터링 이후의 픽셀 포인트의 계조값이고, I(u,v)는 필터링 이전의 픽셀 포인트의 계조값이고, w는 필터링 과정에서의 너비 파라미터이고, h는 필터링 과정에서의 높이 파라미터이다. 이상적인 정황하에, 파라미터w와 차선 자체의 너비가 동일하고, 파라미터h와 차선 자체의 높이가 동일하다.
카메라의 촬영 파라미터의 변화 및 차선 자체의 크기의 차이로 인하여, 상이한 차선에 대해 상이한 너비 파라미터 및 높이 파라미터를 가지는 hat-like 필터링 커널을 적용하여야 한다. 따라서, 본 실시예에 있어서, 상이한 너비 파라미터 및 높이 파라미터를 가지는 일 세트의 hat-like 필터링 커널을 이용하여 화상에 대해 각각 필터링을 진행하고, 이어서 필터링 결과로부터 화상 강화 효과가 가장 선명한 하나의 화상을 찾아내어, 해당 화상을 필터링 결과 화상으로 한다.
S32에서, 상기 필터링 결과 화상에 대해 이진화를 진행하여 적어도 하나의 연결 영역을 형성한다.
hat-like 필터링 커널의 화상 강화 처리를 거쳤으므로, 상기 필터링 결과 화상 중의 차선에 대응되는 영역과 화상의 기타 영역에 보다 현저한 차이가 존재한다. 이때, 상기 필터링 결과 화상에 대해 이진화를 진행할 경우, 이진화 결과의 믿음성이 더욱 높다.
상기 필터링 결과 화상에 대해 이진화 처리를 진행하는 조작은 구체적으로, 픽셀의 계조값이 기정 계조 역치보다 높은 픽셀을 상기 연결 영역 내의 픽셀로 하고, 픽셀의 계조값이 기정 계조 역치보다 낮거나 같은 픽셀을 상기 연결 영역 밖의 픽셀로 한다. 상술한 조작에 따라, 상기 필터링 결과 화상 내에 적어도 하나의 연결 영역을 형성한다. 통상적으로, 상기 연결 영역이 화상 중의 차선의 대체적인 위치 영역을 표지한다.
S33에서, 개선된 ransac 알고리즘을 이용하여 상기 연결 영역에 대해 경계 선형 적합을 진행한다.
필터링과 이진화 처리를 거친 이후, 상기 차선 인식 모델을 트레이닝하기 위한 화상 내부에 여러개의 연결 영역을 형성한다. 화상 중에 휘도가 불균일한 현상이 나타나거나, 차선이 기타 물체에 의해 가려질 수 있으므로, 획득한 연결 영역의 실제 경계가 직선이 아닐 가능성이 존재한다. 따라서, 본 실시예는 개선된 ransac 알고리즘을 이용하여 연결 영역의 경계에 대해 직선 피팅을 진행할 수 있다.
Ransac(Random sample consensus, 랜덤 샘플 컨센서스) 알고리즘은 이상 데이터를 포함한 일 세트의 샘플 데이터 집합에 따라 데이터의 수학 모델 파라미터를 산출하여 유효한 샘플 데이터를 획득하는 알고리즘이다. 기존의 ransac 알고리즘은 직선 피팅을 진행할 때, 직선의 샘플 포인트를 피팅하는 응답 강도를 고려하지 않는다. 즉, 기존의 ransac 알고리즘에 있어서, 모든 샘플 포인트는 동일한 지위를 구비한다. 전통적인 ransac 알고리즘에 비해, 본 실시예에서 제공하는 ransac 알고리즘은 상이한 샘플 포인트의 응답 강도를 해당 샘플 포인트의 가중 파라미터로 하여, 각 샘플 포인트에 대해 가중을 진행하고, 이어서 가중된 수치에 대해 직선 피팅을 진행한다.
구체적으로, 상기 연결 영역의 경계에서 여러개의 샘플 포인트를 선택하고, 이러한 샘플의 계조값을 그들 자체의 가중 파라미터로 하여 현재 모델이 포함한 내부 포인트의 수량을 산출할 수 있다. 이로써, 다수의 반복 산출을 통해 본 실시예에서 제공하는 개선된 ransac 알고리즘에 따라 피팅된 직선을 획득할 수 있다.
본 실시예는, 너비 파라미터 및 높이 파라미터가 상이한 hat-like 필터링 커널을 이용하여, 배경 화상에 대해 필터링을 진행하고, 화상의 테두리가 가장 선명한 하나의 화상을 필터링 결과 화상으로 선택하고, 상기 필터링 결과 화상에 대해 이진화를 진행하여 적어도 하나의 연결 영역을 형성하고, 개선된 ransac 알고리즘을 이용하여 상기 연결 영역에 대해 경계 선형 적합을 진행함으로써, 차선의 화상 영역에 대한 정확한 인식을 실현한다.
제4 실시예
본 실시예는 본 개시의 상술한 실시예를 기초로, 차선 인식 모델링 방법 중의 구축 단계의 흐름도를 진일보로 제공한다. 본 기술적 해결 방안에 있어서, 인식된 화상 영역을 이용하여, 모델 트레이닝 데이터를 구축하는 단계는, 상기 연결 영역에 대해 확장을 진행하여, 화상 상의 관심 영역을 형성하는 단계; 및 상기 관심 영역을 포함하는 화상을 상기 모델 트레이닝 데이터로 하는 단계;를 포함한다.
도4를 참조하면, 인식된 화상 영역을 이용하여, 모델 트레이닝 데이터를 구축하는 단계는 아래와 같은 단계들을 포함한다.
S41에서, 상기 연결 영역에 대해 확장을 진행하여, 화상 상의 관심 영역을 형성한다.
경계선 피팅이 진행된 연결 영역에 대해 경계의 확장을 진행한다. 구체적으로, 너비 방향에서 상기 연결 영역에 대해 기정된 수량의 픽셀 포인트만큼 확장을 진행하고, 이어서, 높이 방향에서 상기 연결 영역에 대해 기정된 수량의 픽셀 포인트만큼 확장을 진행할 수 있다. 이로써, 확장된 관심 영역을 형성한다.
S42에서, 상기 관심 영역을 포함하는 화상을 상기 모델 트레이닝 데이터로 한다.
도5는 상기 관심 영역의 일 예시를 나타낸다. 도5를 참조하면, 해당 예시에 있어서, 실선(51)으로 한정된 영역이 바로 상기 관심 영역이다.
상기 차선에 대응되는 연결 영역에 대해 확장을 진행하고, 확장된 관심 영역을 모델 트레이닝의 트레이닝 데이터로 하는 것은, 트레이닝 데이터로 하여금 인식될 목표 화상을 포함할 뿐만 아니라, 일부 배경 화상 정보를 더 포함하게 함으로써, 이러한 배경 화상 정보를 상기 차선의 전후 문맥으로 하여, 트레이닝된 차선 인식 모델의 인식 정확도를 향상시킴에 도움되기 위한 것이다.
본 실시예는, 상기 연결 영역에 대해 확장을 진행하여, 화상 상의 관심 영역을 형성하고, 상기 관심 영역을 포함하는 화상을 상기 모델 트레이닝 데이터로 함으로써, 모델 트레이닝 데이터에 대한 구축을 실현하여, 구축된 트레이닝 데이터에 따라 차선 인식 모델에 대해 모델링을 진행할 수 있도록 한다.
제5 실시예
본 실시예는 차선 인식 방법의 일 기술적 해결 방안을 제공한다. 본 개시의 상술한 실시예에서 소개한 차선 인식 모델링 방법과의 차이점으로, 상기 차선 인식 모델링 방법은 차선 인식 모델에 대해 모델링을 진행하고, 본 실시예에서 제공하는 차선 인식 방법은 상술한 실시예에서 구축한 차선 인식 모델을 이용하여 화상으로부터 차선을 인식하는 것에 차이점이 있다.
도6을 참조하면, 상기 차선 인식 방법은 아래와 같은 단계들을 포함한다.
S61에서, 2차원 필터링을 기반으로, 화상으로부터 차선의 화상 영역을 인식한다.
본 실시예에 있어서, 본 발명의 제3 실시예에서 설명한 방식을 이용하여 화상으로부터 차선의 화상 영역을 인식한다. 즉, 먼저 hat-like 필터링 커널을 이용하여 화상에 대해 필터링을 진행하고, 필터링 이후의 화상에 대해 이진화 처리를 진행하고, 마지막으로 개선된 ransac 알고리즘을 이용하여 이진화된 연결 영역의 경계에 대해 직선 피팅을 진행함으로써, 차선의 화상 영역에 대한 인식을 진행한다.
S62에서, 차선의 화상 영역이 인식된 화상을 컨볼루션 신경망 기반의 차선 인식 모델에 입력하여, 상기 모델의 출력 확율을 획득한다.
차선의 화상 영역이 인식된 화상을 상기 컨볼루션 신경망에 입력하여, 입력된 화상을 획득한 이후, 상기 컨볼루션 신경망으로 상기 화상에 대해 산출을 진행하여, 상기 화상 중의 이미 인식된 각 차선의 화상 영역이 실제 차선의 화상 영역에 해당되는 확율
Figure 112018018615453-pct00004
을 출력한다.
S63에서, 입력한 화상 중의 차선을 인식하도록, 상기 출력 확율에 기반하여 모델 재구축을 진행한다.
본 실시예에 있어서, 딥 검색 기술에 따라 입력한 화상 중의 차선을 인식하도록 모델 재구축을 진행한다. 구체적으로, 가능한 차선을 k세트로 분할하고, 각 세트의 차선 중의 각 차선의 길이 가중치, 상호간의 각도 차이 가중치 및 거리 차이 가중치를 산출한다. 여기서, 차선의 길이 가중치
Figure 112018018615453-pct00005
는 등식 (3)으로 제공된다.
Figure 112018018615453-pct00006
여기서, H와li는 각각 차선의 높이와 너비를 표시한다.
제i 차선과 제j 차선 사이의 각도 차이 가중치
Figure 112018018615453-pct00007
는 등식 (4)으로 제공된다.
Figure 112018018615453-pct00008
여기서,
Figure 112018018615453-pct00009
는 제i 차선의 각도를 표시하고,
Figure 112018018615453-pct00010
는 제j 차선의 각도를 표시하고,
Figure 112018018615453-pct00011
는 각도 차이 역치를 표시한다.
제i 차선과 제j 차선 사이의 거리 차이 가중치
Figure 112018018615453-pct00012
는 등식 (5)으로 제공된다.
Figure 112018018615453-pct00013
여기서,
Figure 112018018615453-pct00014
는 거리 최대 역치를 표시하고,
Figure 112018018615453-pct00015
는 거리 최소 역치를 표시한다.
여기서, 상술한 3가지 파라미터와 모델의 출력 확율은 즉 실제 차선에 해당되는 확율이고, 함께 모델 재구축의 목표 함수를 구성한다.
Figure 112018018615453-pct00016
등식 (6)이 나타낸 목표 함수의 값이 제일 큰 일 세트의 차선이 실제 차선으로 시인될 수 있다.
상술한 차선 인식 방법을 이용하여, 샘플 화상의 상이한 촬영 정경의 변화에 적응될 수 있다. 도7a는 몇가지 특수한 정경에서 촬영된 샘플 화상을 나타낸다. 도7b는 음영이 포함된 정경에서의 샘플 화상을 나타낸다. 도7c는 휘도가 변화하는 정경에서의 샘플 화상을 나타낸다. 도7d는 지면 표기에 의해 방해되는 정경에서의 샘플 화상을 나타낸다. 본 실시예에서 제공하는 차선 인식 방법은 이러한 샘플 화상들에 대해 차선의 인식을 진행하여, 샘플 화상 중의 차선을 모두 정확하게 인식해낼 수 있다. 도7a 내지 도7d 중의 실선(71, 72, 73, 74)으로 한정된 영역은 즉 인식된 차선이다.
본 실시예는, 2차원 필터링을 기반으로, 화상으로부터 차선의 화상 영역을 인식하고, 차선의 화상 영역이 인식된 화상을 컨볼루션 신경망 기반의 차선 인식 모델에 입력하여, 상기 모델의 출력 확율을 획득하고, 입력한 화상 중의 차선을 인식하도록, 상기 출력 확율에 기반하여 모델 재구축을 진행함으로써, 화상을 입력하는 상이한 변화에 적응되어 인식 정확도를 향상시킬 수 있다.
제6 실시예
본 실시예는 본 개시의 제5 실시예를 기초로, 차선 인식 방법의 일 기술적 해결 방안을 진일보로 제공한다. 본 기술적 해결 방안에 있어서, 2차원 필터링을 기반으로, 화상으로부터 차선의 화상 영역을 인식하기 이전에, 원본 화상에 대해 역투영 변환을 진행하여, 상기 원본 화상의 광축 방향을 지면에 수직되는 방향으로 조정하는 단계;를 더 포함한다.
도8을 참조하면, 상기 차선 인식 방법은 아래와 같은 단계들을 포함한다.
S81에서, 원본 화상에 대해 역투영 변환을 진행하여, 상기 원본 화상의 광축 방향을 지면에 수직되는 방향으로 조정한다.
모델의 트레이닝 과정과 유사하게, 차선을 인식하여야 하는 샘플 화상에서, 촬영시 광축이 지면의 화상에 수직되지 않는 경우가 나타날 수도 있다. 이러한 경우에 있어서, 원본 화상에 대해서도 역투영 변환을 진행하여야 한다. 구체적인 역투영 변환 과정은 본 발명의 제2 실시예 중의 설명을 참조할 수 있다.
S82에서, 2차원 필터링을 기반으로, 화상으로부터 차선의 화상 영역을 인식한다.
S83에서, 차선의 화상 영역이 인식된 화상을 컨볼루션 신경망 기반의 차선 인식 모델에 입력하여, 상기 모델의 출력 확율을 획득한다.
S84에서, 입력한 화상 중의 차선을 인식하도록, 상기 출력 확율에 기반하여 모델 재구축을 진행한다.
본 실시예는 2차원 필터링을 기반으로, 화상으로부터 차선의 화상 영역을 인식하기 이전에, 원본 화상에 대해 역투영 변환을 진행하여, 상기 원본 화상의 광축 방향을 지면에 수직되는 방향으로 조정함으로써, 차선을 인식하여야 하는 화상이 컨볼루션 신경망에 입력되기 이전에 광축 방향의 일체화를 진행하여, 화상 중의 차선에 대한 인식 정확도를 향상시킨다.
제7 실시예
본 실시예는 차선 인식 모델링 장치의 일 기술적 해결 방안을 제공한다. 도9를 참조하면, 상기 차선 인식 모델링 장치는 인식 모듈(92), 구축 모듈(93) 및 트레이닝 모듈(94)을 포함한다.
상기 인식 모듈(92)은 2차원 필터링을 기반으로, 화상으로부터 차선의 화상 영역을 인식하도록 구성된다.
상기 구축 모듈(93)은 인식된 화상 영역을 이용하여, 모델 트레이닝 데이터를 구축하도록 구성된다.
상기 트레이닝 모듈(94)은 상기 모델 트레이닝 데이터를 이용하여, 컨볼루션 신경망 기반의 차선 인식 모델을 트레이닝하도록 구성된다.
나아가, 상기 차선 인식 모델링 장치는 변환 모듈(91)을 더 포함한다.
상기 변환 모듈(91)은 2차원 필터링을 기반으로, 배경 화상으로부터 차선의 화상 영역을 인식하기 이전에, 원본 화상에 대해 역투영 변환을 진행하여, 상기 원본 화상의 광축 방향을 지면에 수직되는 방향으로 조정하도록 구성된다.
나아가, 상기 변환 모듈(91)은 구체적으로 아래와 같은 수학식에 따라 상기 원본 화상에 대해 역투영 변환을 진행한다.
Figure 112018018615453-pct00017
여기서, α, β, γ는 각각 카메라의 피치각, 편주각 및 롤링각이고, fu, fv는 카메라의 수직 방향 및 수평 방향에서의 초점 거리이고, cu, cv는 카메라의 광심 좌표점의 횡좌표 및 종좌표이고, u, v는 각각 변환 전의 화상의2차원 평면 내의 좌표점의 횡좌표 및 종좌표를 표시하고, xw, yw 및 zw는 각각 변환 후의 3차원 공간 중의 상기 좌표점의 3차원 좌표를 표시하며, s는 정규화 파라미터이다.
나아가, 상기 인식 모듈(92)은, 필터링 유닛, 이진화 유닛 및 적합 유닛을 포함한다.
상기 필터링 유닛은 상이한 너비 파라미터 및 높이 파라미터를 가지는 hat-like 필터링 커널을 이용하여, 배경 화상에 대해 필터링을 진행하고, 화상의 테두리가 가장 선명한 하나의 화상을 필터링 결과 화상으로 선택하도록 구성된다.
상기 이진화 유닛은 상기 필터링 결과 화상에 대해 이진화를 진행하여 적어도 하나의 연결 영역을 형성하도록 구성된다.
상기 적합 유닛은 개선된 ransac 알고리즘을 이용하여 상기 연결 영역에 대해 경계 선형 적합을 진행하도록 구성된다.
나아가, 상기 구축 모듈(93)은, 확장 유닛 및 데이터 획득 유닛을 포함한다.
상기 확장 유닛은 상기 연결 영역에 대해 확장을 진행하여, 화상 상의 관심 영역을 형성하도록 구성된다.
상기 데이터 획득 유닛은 상기 관심 영역을 포함하는 화상을 상기 모델 트레이닝 데이터로 하도록 구성된다.
제8 실시예
본 실시예는 차선 인식 장치의 일 기술적 해결 방안을 제공한다. 도10을 참조하면, 상기 차선 인식 장치는 영역 인식 모듈(102), 확율 산출 모듈(103) 및 모델 재구축 모듈(104)을 포함한다.
상기 영역 인식 모듈(102)은 2차원 필터링을 기반으로, 화상으로부터 차선의 화상 영역을 인식하도록 구성된다.
상기 확율 산출 모듈(103)은 차선의 화상 영역이 인식된 화상을 컨볼루션 신경망 기반의 차선 인식 모델에 입력하여, 상기 모델의 출력 확율을 획득하도록 구성된다.
상기 모델 재구축 모듈(104)은 입력한 화상 중의 차선을 인식하도록, 상기 출력 확율에 기반하여 모델 재구축을 진행하도록 구성된다.
나아가, 상기 차선 인식 장치는 역투영 변환 모듈(101)을 더 포함한다.
상기 역투영 변환 모듈(101)은 2차원 필터링을 기반으로, 화상으로부터 차선의 화상 영역을 인식하기 이전에, 원본 화상에 대해 역투영 변환을 진행하여, 상기 원본 화상의 광축 방향을 지면에 수직되는 방향으로 조정하도록 구성된다.
나아가, 상기 모델 재구축 모듈(104)은 구체적으로,
아래와 같은 수학식에 따라 모델 재구축을 진행한다.
Figure 112018018615453-pct00018
여기서,
Figure 112018018615453-pct00019
및
Figure 112018018615453-pct00020
는 각각 제i 차선의 길이 및 실제 차선에 해당되는 확율을 표시하고,
Figure 112018018615453-pct00021
,
Figure 112018018615453-pct00022
는 각각 제i 차선 및 제j 차선의 각도의 유사도 및 거리 원근의 제약 관계를 표시한다.
제9 실시예
본 개시의 실시예는 컴퓨터 실행 가능한 명령어를 포함하는 저장 매체를 제공하며, 상기 컴퓨터 실행 가능한 명령어가 컴퓨터 프로세서에 의해 실행할 경우 차선 인식 모델링 방법을 실행하며, 상기 방법은,
2차원 필터링을 기반으로, 화상으로부터 차선의 화상 영역을 인식하는 단계;
인식된 화상 영역을 이용하여, 모델 트레이닝 데이터를 구축하는 단계; 및
상기 모델 트레이닝 데이터를 이용하여, 컨볼루션 신경망 기반의 차선 인식 모델을 트레이닝하는 단계;를 포함한다.
상술한 저장 매체가 상기 방법을 실행할 경우, 2차원 필터링을 기반으로, 배경 화상으로부터 차선의 화상 영역을 인식하기 이전에,
원본 화상에 대해 역투영 변환을 진행하여, 상기 원본 화상의 광축 방향을 지면에 수직되는 방향으로 조정하는 단계;를 더 포함한다.
상술한 저장 매체가 상기 방법을 실행할 경우, 원본 화상에 대해 역투영 변환을 진행하여, 상기 원본 화상의 광축 방향을 지면에 수직되는 방향으로 조정하는 단계는,
아래와 같은 수학식에 따라 상기 원본 화상에 대해 역투영 변환을 진행하는 단계;를 포함한다.
Figure 112018018615453-pct00023
여기서, α, β, γ는 각각 카메라의 피치각, 편주각 및 롤링각이고, fu, fv는 카메라의 수직 방향 및 수평 방향에서의 초점 거리이고, cu, cv는 카메라의 광심 좌표점의 횡좌표 및 종좌표이고, u, v는 각각 변환 전의 화상의 2차원 평면 내의 좌표점의 횡좌표 및 종좌표를 표시하고, xw, yw 및 zw는 각각 변환 후의 3차원 공간 중의 상기 좌표점의 3차원 좌표를 표시하며, s는 정규화 파라미터이다.
상술한 저장 매체가 상기 방법을 실행할 경우, 2차원 필터링을 기반으로, 화상으로부터 차선의 화상 영역을 인식하는 단계는,
상이한 너비 파라미터 및 높이 파라미터를 가지는 hat-like 필터링 커널을 이용하여, 배경 화상에 대해 필터링을 진행하고, 화상의 테두리가 가장 선명한 하나의 화상을 필터링 결과 화상으로 선택하는 단계;
상기 필터링 결과 화상에 대해 이진화를 진행하여 적어도 하나의 연결 영역을 형성하는 단계; 및
개선된 ransac 알고리즘을 이용하여 상기 연결 영역에 대해 경계 선형 적합을 진행하는 단계;를 포함한다.
상술한 저장 매체가 상기 방법을 실행할 경우, 인식된 화상 영역을 이용하여, 모델 트레이닝 데이터를 구축하는 단계는,
상기 연결 영역에 대해 확장을 진행하여, 화상 상의 관심 영역을 형성하는 단계; 및
상기 관심 영역을 포함하는 화상을 상기 모델 트레이닝 데이터로 하는 단계;를 포함한다.
제10 실시예
도11은 본 개시의 제10 실시예에서 제공하는 차선 인식 모델링 방법을 실행하는 장치의 하드웨어 구조 개략도이다. 도11을 참조하면, 해당 장치는
하나 또는 다수의 프로세서(1110)(도11에서 하나의 프로세서(1110)를 예로 듬);
저장 장치(1120); 및 하나 또는 다수의 모듈;을 포함한다.
상기 장치는 입력 장치(1130) 및 출력 장치(1140)를 더 포함할 수 있다. 상기 장치 중의 프로세서(1110), 저장 장치(1120), 입력 장치(1130) 및 출력 장치(1140)는 버스로 연결되거나 기타 방식으로 연결될 수 있으며, 도11에는 버스로 연결된 것이 예시된다.
저장 장치(1120)는 컴퓨터 판독 가능한 저장 매체로서, 소프트웨어 프로그램, 컴퓨터 실행 가능한 명령어 및 모듈을 저장할 수 있으며, 예컨대 본 발명의 실시예 중의 네비게이션 그래프의 도화 방법에 대응되는 프로그램 명령어/모듈(예를 들면, 도 9에 도시된 변환 모듈(91), 인식 모듈(92), 구축 모듈(93) 및 트레이닝 모듈(94))을 저장할 수 있다. 프로세서(1110)는 저장 장치(1120)에 저장된 소프트웨어 프로그램, 명령어 및 모듈을 실행하여 서버의 각종 기능 응용 및 데이터 처리를 실행하며, 즉, 상술한 방법 실시예 중의 차선 인식 모델링 방법을 실현한다.
저장 장치(1120)는 프로그램 저장 영역 및 데이터 저장 영역을 포함할 수 있으며, 여기서, 프로그램 저장 영역은 운영 체제, 적어도 하나의 기능에 필요한 애플리케이션을 저장할 수 있으며, 데이터 저장 영역은 단말기 장치의 사용에 따라 작성되는 데이터 등을 저장할 수 있다. 또한, 저장 장치(1120)는 고속 랜덤 액세스 저장 장치를 포함할 수 있고, 비 휘발성 저장 장치를 포함할 수도 있으며, 예를 들어, 적어도 하나의 자기 디스크 저장 장치, 플래시 저장 장치 또는 기타 비 휘발성 솔리드 저장 장치를 포함할 수 있다. 일부 실시예에 있어서, 저장 장치(1120)는 프로세서(1110)에 대해 원격으로 설치된 저장 장치를 더 포함할 수 있으며, 이러한 원격 저장 장치는 통신망을 통해 단말기 장치에 연결될 수 있다. 상기 통신망의 예에는 인터넷, 인트라넷, 근거리 통신망, 이동 통신망 및 이들의 조합 등이 포함되나, 이에 한정되지 않는다.
입력 장치(1130)는 입력된 숫자 및 문자 정보를 수신하고, 단말기 장치의 사용자 설정 및 기능 제어에 관련된 키 시그널 입력을 생성하도록 구성된다. 출력 장치(1140)는 표시 스크린 등 표시 장치를 포함할 수 있다.
상기 하나 또는 다수의 모듈은 상기 저장 장치(1120)에 저장되며, 상기 하나 또는 다수의 프로세서(1110)에 의해 실행될 경우,
2차원 필터링을 기반으로, 화상으로부터 차선의 화상 영역을 인식하는 동작,
인식된 화상 영역을 이용하여, 모델 트레이닝 데이터를 구축하는 동작,
상기 모델 트레이닝 데이터를 이용하여, 컨볼루션 신경망 기반의 차선 인식 모델을 트레이닝하는 동작;을 실행한다.
나아가, 2차원 필터링을 기반으로, 배경 화상으로부터 차선의 화상 영역을 인식하는 동작 이전에,
원본 화상에 대해 역투영 변환을 진행하여, 상기 원본 화상의 광축 방향을 지면에 수직되는 방향으로 조정하는 동작을 더 포함한다.
나아가, 원본 화상에 대해 역투영 변환을 진행하여, 상기 원본 화상의 광축 방향을 지면에 수직되는 방향으로 조정하는 동작은,
아래와 같은 수학식에 따라 상기 원본 화상에 대해 역투영 변환을 진행하는 동작을 포함하되,
Figure 112018018615453-pct00024
α, β, γ는 각각 카메라의 피치각, 편주각 및 롤링각이고, fu, fv는 카메라의 수직 방향 및 수평 방향에서의 초점 거리이고, cu, cv는 카메라의 광심 좌표점의 횡좌표 및 종좌표이고, u, v는 각각 변환 전의 화상의 2차원 평면 내의 좌표점의 횡좌표 및 종좌표를 표시하고, xw, yw 및 zw는 각각 변환 후의 3차원 공간 중의 상기 좌표점의 3차원 좌표를 표시하며, s는 정규화 파라미터이다.
나아가, 2차원 필터링을 기반으로, 화상으로부터 차선의 화상 영역을 인식하는 동작은,
상이한 너비 파라미터 및 높이 파라미터를 가지는 hat-like 필터링 커널을 이용하여, 배경 화상에 대해 필터링을 진행하고, 화상의 테두리가 가장 선명한 하나의 화상을 필터링 결과 화상으로 선택하는 동작;
상기 필터링 결과 화상에 대해 이진화를 진행하여 적어도 하나의 연결 영역을 형성하는 동작; 및
개선된 ransac 알고리즘을 이용하여 상기 연결 영역에 대해 경계 선형 적합을 진행하는 동작;을 포함한다.
나아가, 인식된 화상 영역을 이용하여, 모델 트레이닝 데이터를 구축하는 동작은,
상기 연결 영역에 대해 확장을 진행하여, 화상 상의 관심 영역을 형성하는 동작; 및
상기 관심 영역을 포함하는 화상을 상기 모델 트레이닝 데이터로 하는 동작;을 포함한다.
제11 실시예
본 개시의 실시예는 컴퓨터 실행 가능한 명령어를 포함하는 저장 매체를 제공하고, 상기 컴퓨터 실행 가능한 명령어는 컴퓨터 프로세서에 의해 실행될 경우 차선 인식 방법 을 실행하며, 상기 방법은,
2차원 필터링을 기반으로, 화상으로부터 차선의 화상 영역을 인식하는 단계;
차선의 화상 영역이 인식된 화상을 컨볼루션 신경망 기반의 차선 인식 모델에 입력하여, 상기 모델의 출력 확율을 획득하는 단계; 및
입력한 화상 중의 차선을 인식하도록, 상기 출력 확율에 기반하여 모델 재구축을 진행하는 단계;를 포함한다.
상기 저장 매체가 상기 방법을 실행할 경우, 2차원 필터링을 기반으로, 화상으로부터 차선의 화상 영역을 인식하는 단계 이전에,
원본 화상에 대해 역투영 변환을 진행하여, 상기 원본 화상의 광축 방향을 지면에 수직되는 방향으로 조정하는 단계;를 더 포함한다.
상기 저장 매체가 상기 방법을 실행할 경우, 입력한 화상 중의 차선을 인식하도록, 상기 출력 확율에 기반하여 모델 재구축을 진행하는 단계는,
아래와 같은 수학식에 따라 모델 재구축을 진행하는 단계;를 더 포함하되,
Figure 112018018615453-pct00025
여기서,
Figure 112018018615453-pct00026
및
Figure 112018018615453-pct00027
는 각각 제i 차선의 길이 및 실제 차선에 해당되는 확율을 표시하고,
Figure 112018018615453-pct00028
,
Figure 112018018615453-pct00029
는 각각 제i 차선 및 제j 차선의 각도 유사도 및 거리 원근의 제약 관계를 표시한다.
제12 실시예
도12는 본 개시의 제12 실시예에서 제공하는 차선 인식 방법을 실행하는 장치의 하드웨어 구조 개략도이다. 도12를 참조하면, 해당 장치는,
하나 또는 다수의 프로세서(1210)(도12에서 하나의 프로세서(1210)를 예로 듬);
저장 장치(1220); 및 하나 또는 다수의 모듈;을 포함한다.
상기 장치는 입력 장치(1230) 및 출력 장치(1240)를 더 포함할 수 있다. 상기 장치 중의 프로세서(1210), 저장 장치(1220), 입력 장치(1230) 및 출력 장치(1240)는 버스로 연결되거나 기타 방식으로 연결될 수 있으며, 도12에는 버스로 연결된 것이 예시된다.
저장 장치(1220)는 컴퓨터 판독 가능한 저장 매체로서, 소프트웨어 프로그램, 컴퓨터 실행 가능한 명령어 및 모듈을 저장할 수 있으며, 예컨대 본 개시의 실시예 중의 차선 인식 방법에 대응되는 프로그램 명령어/모듈(예를 들면, 도 10에 도시된 역투영 변환 모듈(101), 영역 인식 모듈(102), 확율 산출 모듈(103) 및 모델 재구축 모듈(104))을 저장할 수 있다. 프로세서(1210)는 저장 장치(1220)에 저장된 소프트웨어 프로그램, 명령어 및 모듈을 실행하여 서버의 각종 기능 응용 및 데이터 처리를 실행하며, 즉, 상술한 방법 실시예 중의 차선 인식 방법을 실현한다.
저장 장치(1220)는 프로그램 저장 영역 및 데이터 저장 영역을 포함할 수 있으며, 여기서, 프로그램 저장 영역은 운영 체제, 적어도 하나의 기능에 필요한 애플리케이션을 저장할 수 있으며, 데이터 저장 영역은 단말기 장치의 사용에 따라 작성되는 데이터 등을 저장할 수 있다. 또한, 저장 장치(1220)는 고속 랜덤 액세스 저장 장치를 포함할 수 있고, 비 휘발성 저장 장치를 포함할 수도 있으며, 예를 들어, 적어도 하나의 자기 디스크 저장 장치, 플래시 저장 장치 또는 기타 비 휘발성 솔리드 저장 장치를 포함할 수 있다. 일부 실시예에 있어서, 저장 장치(1220)는 프로세서(1210)에 대해 원격으로 설치된 저장 장치를 더 포함할 수 있으며, 이러한 원격 저장 장치는 통신망을 통해 단말기 장치에 연결될 수 있다. 상기 통신망의 예에는 인터넷, 인트라넷, 근거리 통신망, 이동 통신망 및 이들의 조합 등이 포함되나, 이에 한정되지 않는다.
입력 장치(1230)는 입력된 숫자 및 문자 정보를 수신하고, 단말기 장치의 사용자 설정 및 기능 제어에 관련된 키 시그널 입력을 생성하도록 구성된다. 출력 장치(1240)는 표시 스크린 등 표시 장치를 포함할 수 있다.
상기 하나 또는 다수의 모듈은 상기 저장 장치(1220)에 저장되며, 상기 하나 또는 다수의 프로세서(1210)에 의해 실행될 경우,
2차원 필터링을 기반으로, 화상으로부터 차선의 화상 영역을 인식하는 동작;
차선의 화상 영역이 인식된 화상을 컨볼루션 신경망 기반의 차선 인식 모델에 입력하여, 상기 모델의 출력 확율을 획득하는 동작; 및
입력한 화상 중의 차선을 인식하도록, 상기 출력 확율에 기반하여 모델 재구축을 진행하는 동작;을 실행한다.
나아가, 2차원 필터링을 기반으로, 화상으로부터 차선의 화상 영역을 인식하는 동작 이전에,
원본 화상에 대해 역투영 변환을 진행하여, 상기 원본 화상의 광축 방향을 지면에 수직되는 방향으로 조정하는 동작을 더 포함한다.
나아가, 입력한 화상 중의 차선을 인식하도록, 상기 출력 확율에 기반하여 모델 재구축을 진행하는 동작은,
아래와 같은 수학식에 따라 모델 재구축을 진행하는 동작을 더 포함하되,
Figure 112018018615453-pct00030
여기서,
Figure 112018018615453-pct00031
및
Figure 112018018615453-pct00032
는 각각 제i 차선의 길이 및 실제 차선에 해당되는 확율을 표시하고,
Figure 112018018615453-pct00033
,
Figure 112018018615453-pct00034
는 각각 제i 차선 및 제j 차선의 각도 유사도 및 거리 원근의 제약 관계를 표시한다.
실시예들에 대한 이상의 설명으로부터 해당 기술분야에서의 당업자는 본 발명이 소프트웨어 및 필수의 범용 하드웨어에 의존하여 구현될 수 있을 뿐만 아니라, 하드웨어로 구현될 수도 있으며, 대다수의 경우 전자가 더욱 바람직한 실시예임을 명확히 이해할 수 있을 것이다. 이러한 이해를 기반으로, 본 발명의 기술적 방안은 본질적으로 또는 선행 기술에 기여되는 부분은 소프트웨어 제품의 형식으로 구현되며, 해당 컴퓨터 소프트웨어 제품은 예컨대 컴퓨터 플로피 디스켓, 판독 전용 메모리(Read-Only Memory, ROM), 랜덤 액세스 메모리(Random Access Memory, RAM), 플래시(FLASH), 하드 드라이버 또는 콤팩트디스크 등과 같은 컴퓨터 판독 가능한 저장 매체에 저장될 수 있으며, 컴퓨터 장치(개인 컴퓨터, 서버 또는 네트워크 기기 등일 수 있음)로 하여금 본 발명의 각 실시예에 기재된 방법을 수행하도록 하는 다수의 명령을 포함한다.
상기 차선 인식 모델링 장치 및 차선 인식 장치의 실시예에 있어서, 포함된 각 유닛 및 모듈은 오직 기능 로직에 따라 분류되나, 상응한 기능을 실현할 수만 있다면 상기 분류에 한정되지 않는다. 또한, 각 기능 유닛의 구체적인 명칭도 오직 상호 구분의 편의를 위한 것일 뿐, 본 발명의 보호 범위를 한정하기 위한 것이 아니다.
상술한 내용은 오직 본 발명의 구체적인 실시예일 뿐이고, 본 발명의 보호 범위는 이에 한정되지 않는다. 해당 기술분야의 임의의 당업자는 본 발명이 개시한 기술적 범위 내에서 용이하게 생각해 낼 수 있는 변화 또는 대체 방식은 모두 본 발명의 보호 범위에 포함되어야 한다. 따라서, 본 발명의 보호 범위는 첨부된 특허 청구범위에 의해 정의되어야 한다.

Claims (20)

  1. 차선 인식 모델링 방법에 있어서,
    2차원 필터링을 기반으로, 화상으로부터 차선의 화상 영역을 인식하는 단계;
    인식된 화상 영역을 이용하여, 모델 트레이닝 데이터를 구축하는 단계; 및
    상기 모델 트레이닝 데이터를 이용하여, 컨볼루션 신경망 기반의 차선 인식 모델을 트레이닝하는 단계;를 포함하고,
    2차원 필터링을 기반으로, 화상으로부터 차선의 화상 영역을 인식하는 단계 이전에,
    원본 화상에 대해 역투영 변환을 진행하여, 상기 원본 화상의 광축 방향을 지면에 수직되는 방향으로 조정하는 단계;를 더 포함하고,
    원본 화상에 대해 역투영 변환을 진행하여, 상기 원본 화상의 광축 방향을 지면에 수직되는 방향으로 조정하는 단계는,
    아래와 같은 수학식에 따라 상기 원본 화상에 대해 역투영 변환을 진행하는 단계;를 포함하되,
    Figure 112019098040757-pct00035

    α, β, γ는 각각 카메라의 피치각, 편주각 및 롤링각이고, fu, fv는 카메라의 수직 방향 및 수평 방향에서의 초점 거리이고, cu, cv는 카메라의 광심 좌표점의 횡좌표 및 종좌표이고, u, v는 각각 변환 전의 화상의 2차원 평면 내의 좌표점의 횡좌표 및 종좌표를 표시하고, xw, yw 및 zw는 각각 변환 후의 3차원 공간 중의 상기 좌표점의 3차원 좌표를 표시하며, s는 정규화 파라미터인 것을 특징으로 하는 차선 인식 모델링 방법.
  2. 제1항에 있어서,
    2차원 필터링을 기반으로, 화상으로부터 차선의 화상 영역을 인식하는 단계는,
    상이한 너비 파라미터 및 높이 파라미터를 가지는 hat-like 필터링 커널을 이용하여, 화상에 대해 필터링을 진행하고, 화상의 테두리가 가장 선명한 하나의 화상을 필터링 결과 화상으로 선택하는 단계;
    상기 필터링 결과 화상에 대해 이진화를 진행하여 적어도 하나의 연결 영역을 형성하는 단계; 및
    개선된 ransac 알고리즘을 이용하여 상기 연결 영역에 대해 경계 선형 적합을 진행하는 단계;를 포함하는 것을 특징으로 하는 차선 인식 모델링 방법.
  3. 제2항에 있어서,
    인식된 화상 영역을 이용하여, 모델 트레이닝 데이터를 구축하는 단계는,
    상기 연결 영역에 대해 확장을 진행하여, 화상 상의 관심 영역을 형성하는 단계; 및
    상기 관심 영역을 포함하는 화상을 상기 모델 트레이닝 데이터로 하는 단계;를 포함하는 것을 특징으로 하는 차선 인식 모델링 방법.
  4. 차선 인식 모델링 장치에 있어서,
    2차원 필터링을 기반으로, 화상으로부터 차선의 화상 영역을 인식하기 위한 인식 모듈;
    인식된 화상 영역을 이용하여, 모델 트레이닝 데이터를 구축하기 위한 구축 모듈; 및
    상기 모델 트레이닝 데이터를 이용하여, 컨볼루션 신경망 기반의 차선 인식 모델을 트레이닝하기 위한 트레이닝 모듈;을 포함하고,
    2차원 필터링을 기반으로, 화상으로부터 차선의 화상 영역을 인식하기 전에, 원본 화상에 대해 역투영 변환을 진행하여, 상기 원본 화상의 광축 방향을 지면에 수직되는 방향으로 조정하기 위한 변환 모듈;을 더 포함하고,
    상기 변환 모듈은 구체적으로,
    아래와 같은 수학식에 따라 상기 원본 화상에 대해 역투영 변환을 진행하도록 구성되되,
    Figure 112019098040757-pct00036

    여기서, α, β, γ는 각각 카메라의 피치각, 편주각 및 롤링각이고, fu, fv는 카메라의 수직 방향 및 수평 방향에서의 초점 거리이고, cu, cv는 카메라의 광심 좌표점의 횡좌표 및 종좌표이고, u, v는 각각 변환 전의 화상의 2차원 평면 내의 좌표점의 횡좌표 및 종좌표를 표시하고, xw, yw 및 zw는 각각 변환 후의 3차원 공간 중의 상기 좌표점의 3차원 좌표를 표시하며, s는 정규화 파라미터인 것을 특징으로 하는 차선 인식 모델링 장치.
  5. 제4항에 있어서,
    상기 인식 모듈은,
    상이한 너비 파라미터 및 높이 파라미터를 가지는 hat-like 필터링 커널을 이용하여, 화상에 대해 필터링을 진행하고, 화상의 테두리가 가장 선명한 하나의 화상을 필터링 결과 화상으로 선택하기 위한 필터링 유닛;
    상기 필터링 결과 화상에 대해 이진화를 진행하여 적어도 하나의 연결 영역을 형성하기 위한 이진화 유닛; 및
    개선된 ransac 알고리즘을 이용하여 상기 연결 영역에 대해 경계 선형 적합을 진행하기 위한 적합 유닛;을 포함하는 것을 특징으로 하는 차선 인식 모델링 장치.
  6. 제5항에 있어서,
    상기 구축 모듈은,
    상기 연결 영역에 대해 확장을 진행하여, 화상 상의 관심 영역을 형성하기 위한 확장 유닛; 및
    상기 관심 영역을 포함하는 화상을 상기 모델 트레이닝 데이터로 하기 위한 데이터 획득 유닛;을 포함하는 것을 특징으로 하는 차선 인식 모델링 장치.
  7. 차선 인식 방법에 있어서,
    2차원 필터링을 기반으로, 화상으로부터 차선의 화상 영역을 인식하는 단계;
    차선의 화상 영역이 인식된 화상을 컨볼루션 신경망 기반의 차선 인식 모델에 입력하여, 상기 모델의 출력 확율을 획득하는 단계; 및
    입력한 화상 중의 차선을 인식하도록, 상기 출력 확율에 기반하여 모델 재구축을 진행하는 단계;를 포함하고,
    2차원 필터링을 기반으로, 화상으로부터 차선의 화상 영역을 인식하는 단계 이전에,
    원본 화상에 대해 역투영 변환을 진행하여, 상기 원본 화상의 광축 방향을 지면에 수직되는 방향으로 조정하는 단계;를 더 포함하고,
    입력한 화상 중의 차선을 인식하도록, 상기 출력 확율에 기반하여 모델 재구축을 진행하는 단계는,
    아래와 같은 수학식에 따라 모델 재구축을 진행하는 단계;를 더 포함하되,
    Figure 112019098040757-pct00037

    여기서,
    Figure 112019098040757-pct00038
    및
    Figure 112019098040757-pct00039
    는 각각 제i 차선의 길이 및 실제 차선에 해당되는 확율을 표시하고,
    Figure 112019098040757-pct00040
    ,
    Figure 112019098040757-pct00041
    는 각각 제i 차선 및 제j 차선의 각도 유사도 및 거리 원근의 제약 관계를 표시하는 것을 특징으로 하는 차선 인식 방법.
  8. 차선 인식 장치에 있어서,
    2차원 필터링을 기반으로, 화상으로부터 차선의 화상 영역을 인식하기 위한 영역 인식 모듈;
    차선의 화상 영역이 인식된 화상을 컨볼루션 신경망 기반의 차선 인식 모델에 입력하여, 상기 모델의 출력 확율을 획득하기 위한 확율 산출 모듈; 및
    입력한 화상 중의 차선을 인식하도록, 상기 출력 확율에 기반하여 모델 재구축을 진행하기 위한 모델 재구축 모듈;을 포함하고,
    2차원 필터링을 기반으로, 화상으로부터 차선의 화상 영역을 인식하기 전에, 원본 화상에 대해 역투영 변환을 진행하여, 상기 원본 화상의 광축 방향을 지면에 수직되는 방향으로 조정하기 위한 역투영 변환 모듈;을 더 포함하고,
    상기 모델 재구축 모듈은 구체적으로,
    아래와 같은 수학식에 따라 모델 재구축을 진행하되,
    Figure 112019098040757-pct00042

    여기서,
    Figure 112019098040757-pct00043
    및
    Figure 112019098040757-pct00044
    는 각각 제i 차선의 길이 및 실제 차선에 해당되는 확율을 표시하고,
    Figure 112019098040757-pct00045
    ,
    Figure 112019098040757-pct00046
    는 각각 제i 차선 및 제j 차선의 각도 유사도 및 거리 원근의 제약 관계를 표시하는 것을 특징으로 하는 차선 인식 장치.
  9. 컴퓨터 실행 가능한 명령어를 포함하는 저장 매체에 있어서,
    상기 컴퓨터 실행 가능한 명령어가 컴퓨터 프로세서에 의해 실행될 경우 차선 인식 모델링 방법을 실행하며, 상기 방법은,
    2차원 필터링을 기반으로, 화상으로부터 차선의 화상 영역을 인식하는 단계;
    인식된 화상 영역을 이용하여, 모델 트레이닝 데이터를 구축하는 단계; 및
    상기 모델 트레이닝 데이터를 이용하여, 컨볼루션 신경망 기반의 차선 인식 모델을 트레이닝하는 단계;를 포함하고,
    2차원 필터링을 기반으로, 화상으로부터 차선의 화상 영역을 인식하는 단계 이전에,
    원본 화상에 대해 역투영 변환을 진행하여, 상기 원본 화상의 광축 방향을 지면에 수직되는 방향으로 조정하는 단계;를 더 포함하고,
    원본 화상에 대해 역투영 변환을 진행하여, 상기 원본 화상의 광축 방향을 지면에 수직되는 방향으로 조정하는 단계는,
    아래와 같은 수학식에 따라 상기 원본 화상에 대해 역투영 변환을 진행하는 단계;를 포함하되,
    Figure 112019098040757-pct00062

    α, β, γ는 각각 카메라의 피치각, 편주각 및 롤링각이고, fu, fv는 카메라의 수직 방향 및 수평 방향에서의 초점 거리이고, cu, cv는 카메라의 광심 좌표점의 횡좌표 및 종좌표이고, u, v는 각각 변환 전의 화상의 2차원 평면 내의 좌표점의 횡좌표 및 종좌표를 표시하고, xw, yw 및 zw는 각각 변환 후의 3차원 공간 중의 상기 좌표점의 3차원 좌표를 표시하며, s는 정규화 파라미터인 것을 특징으로 하는 저장 매체.
  10. 기기에 있어서,
    하나 또는 다수의 프로세서;
    저장 장치; 및
    하나 또는 다수의 프로그램;을 포함하되, 상기 하나 또는 다수의 프로그램은 상기 저장 장치에 저장되고, 상기 하나 또는 다수의 프로세서에 의해 실행될 경우,
    2차원 필터링을 기반으로, 화상으로부터 차선의 화상 영역을 인식하는 동작,
    인식된 화상 영역을 이용하여, 모델 트레이닝 데이터를 구축하는 동작,
    상기 모델 트레이닝 데이터를 이용하여, 컨볼루션 신경망 기반의 차선 인식 모델을 트레이닝하는 동작;을 실행하고,
    2차원 필터링을 기반으로, 화상으로부터 차선의 화상 영역을 인식하는 동작 이전에,
    원본 화상에 대해 역투영 변환을 진행하여, 상기 원본 화상의 광축 방향을 지면에 수직되는 방향으로 조정하는 동작;을 더 포함하고,
    원본 화상에 대해 역투영 변환을 진행하여, 상기 원본 화상의 광축 방향을 지면에 수직되는 방향으로 조정하는 동작은,
    아래와 같은 수학식에 따라 상기 원본 화상에 대해 역투영 변환을 진행하는 동작;을 포함하되,
    Figure 112019098040757-pct00063

    α, β, γ는 각각 카메라의 피치각, 편주각 및 롤링각이고, fu, fv는 카메라의 수직 방향 및 수평 방향에서의 초점 거리이고, cu, cv는 카메라의 광심 좌표점의 횡좌표 및 종좌표이고, u, v는 각각 변환 전의 화상의 2차원 평면 내의 좌표점의 횡좌표 및 종좌표를 표시하고, xw, yw 및 zw는 각각 변환 후의 3차원 공간 중의 상기 좌표점의 3차원 좌표를 표시하며, s는 정규화 파라미터인 것을 특징으로 하는 기기.
  11. 컴퓨터 실행 가능한 명령어를 포함하는 저장 매체에 있어서,
    상기 컴퓨터 실행 가능한 명령어가 컴퓨터 프로세서에 의해 실행될 경우 차선 인식 방법을 실행하며, 상기 방법은,
    2차원 필터링을 기반으로, 화상으로부터 차선의 화상 영역을 인식하는 단계;
    차선의 화상 영역이 인식된 화상을 컨볼루션 신경망 기반의 차선 인식 모델에 입력하여, 상기 모델의 출력 확율을 획득하는 단계; 및
    입력한 화상 중의 차선을 인식하도록, 상기 출력 확율에 기반하여 모델 재구축을 진행하는 단계;를 포함하고,
    2차원 필터링을 기반으로, 화상으로부터 차선의 화상 영역을 인식하는 단계 이전에,
    원본 화상에 대해 역투영 변환을 진행하여, 상기 원본 화상의 광축 방향을 지면에 수직되는 방향으로 조정하는 단계;를 더 포함하고,
    입력한 화상 중의 차선을 인식하도록, 상기 출력 확율에 기반하여 모델 재구축을 진행하는 단계는,
    아래와 같은 수학식에 따라 모델 재구축을 진행하는 단계;를 더 포함하되,
    Figure 112019098040757-pct00064

    여기서,
    Figure 112019098040757-pct00065
    및
    Figure 112019098040757-pct00066
    는 각각 제i 차선의 길이 및 실제 차선에 해당되는 확율을 표시하고,
    Figure 112019098040757-pct00067
    ,
    Figure 112019098040757-pct00068
    는 각각 제i 차선 및 제j 차선의 각도 유사도 및 거리 원근의 제약 관계를 표시하는 것을 특징으로 하는 저장 매체.
  12. 기기에 있어서,
    하나 또는 다수의 프로세서;
    저장 장치; 및
    하나 또는 다수의 프로그램;을 포함하되, 상기 하나 또는 다수의 프로그램은 상기 저장 장치에 저장되고, 상기 하나 또는 다수의 프로세서에 의해 실행될 경우,
    2차원 필터링을 기반으로, 화상으로부터 차선의 화상 영역을 인식하고,
    차선의 화상 영역이 인식된 화상을 컨볼루션 신경망 기반의 차선 인식 모델에 입력하여, 상기 모델의 출력 확율을 획득하고,
    입력한 화상 중의 차선을 인식하도록, 상기 출력 확율에 기반하여 모델 재구축을 진행하고,
    2차원 필터링을 기반으로, 화상으로부터 차선의 화상 영역을 인식하기 전에,
    원본 화상에 대해 역투영 변환을 진행하여, 상기 원본 화상의 광축 방향을 지면에 수직되는 방향으로 조정하는 것을 더 포함하고,
    입력한 화상 중의 차선을 인식하도록, 상기 출력 확율에 기반하여 모델 재구축을 진행하는 것은,
    아래와 같은 수학식에 따라 모델 재구축을 진행하는 것을 더 포함하되,
    Figure 112019098040757-pct00069

    여기서,
    Figure 112019098040757-pct00070
    및
    Figure 112019098040757-pct00071
    는 각각 제i 차선의 길이 및 실제 차선에 해당되는 확율을 표시하고,
    Figure 112019098040757-pct00072
    ,
    Figure 112019098040757-pct00073
    는 각각 제i 차선 및 제j 차선의 각도 유사도 및 거리 원근의 제약 관계를 표시하는 것을 특징으로 하는 기기.
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
KR1020187005239A 2015-08-03 2015-12-31 차선 인식 모델링 방법, 장치, 저장 매체 및 기기, 및 인식 방법, 장치, 저장 매체 및 기기 KR102143108B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201510482990.1A CN105046235B (zh) 2015-08-03 2015-08-03 车道线的识别建模方法和装置、识别方法和装置
CN201510482990.1 2015-08-03
PCT/CN2015/100175 WO2017020528A1 (zh) 2015-08-03 2015-12-31 车道线的识别建模方法、装置、存储介质和设备及识别方法、装置、存储介质和设备

Publications (2)

Publication Number Publication Date
KR20180034529A KR20180034529A (ko) 2018-04-04
KR102143108B1 true KR102143108B1 (ko) 2020-08-10

Family

ID=54452764

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187005239A KR102143108B1 (ko) 2015-08-03 2015-12-31 차선 인식 모델링 방법, 장치, 저장 매체 및 기기, 및 인식 방법, 장치, 저장 매체 및 기기

Country Status (6)

Country Link
US (1) US10699134B2 (ko)
EP (1) EP3321842B1 (ko)
JP (1) JP6739517B2 (ko)
KR (1) KR102143108B1 (ko)
CN (1) CN105046235B (ko)
WO (1) WO2017020528A1 (ko)

Families Citing this family (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105046235B (zh) 2015-08-03 2018-09-07 百度在线网络技术（北京）有限公司 车道线的识别建模方法和装置、识别方法和装置
CN105426861B (zh) * 2015-12-02 2019-05-21 百度在线网络技术（北京）有限公司 车道线确定方法及装置
US9494438B1 (en) * 2015-12-15 2016-11-15 Honda Motor Co., Ltd. System and method for verifying map data for a vehicle
CN105654064A (zh) * 2016-01-25 2016-06-08 北京中科慧眼科技有限公司 车道线检测方法和装置及高级驾驶辅助系统
CN107220580B (zh) * 2016-03-22 2022-08-09 敦泰电子有限公司 基于投票决策和最小二乘法的图像识别随机取样一致算法
CN106415602B (zh) * 2016-08-25 2019-12-03 深圳市锐明技术股份有限公司 一种成对车道线的检测方法和装置
CN106529505A (zh) * 2016-12-05 2017-03-22 惠州华阳通用电子有限公司 一种基于图像视觉的车道线检测方法
CN108241829A (zh) * 2016-12-23 2018-07-03 乐视汽车（北京）有限公司 车辆行驶图像识别方法
CN108268813B (zh) * 2016-12-30 2021-05-07 北京文安智能技术股份有限公司 一种车道偏离预警方法、装置及电子设备
CN106845424B (zh) * 2017-01-24 2020-05-05 南京大学 基于深度卷积网络的路面遗留物检测方法
CN108509826B (zh) * 2017-02-27 2022-03-01 千寻位置网络有限公司 一种遥感影像的道路识别方法及其系统
CN107092862A (zh) * 2017-03-16 2017-08-25 浙江零跑科技有限公司 一种基于卷积神经网络的车道边缘检测方法
KR102499398B1 (ko) * 2017-08-09 2023-02-13 삼성전자 주식회사 차선 검출 방법 및 장치
CN109426800B (zh) * 2017-08-22 2021-08-13 北京图森未来科技有限公司 一种车道线检测方法和装置
CN109426824B (zh) * 2017-08-28 2021-05-25 阿里巴巴（中国）有限公司 道路交通标线的识别方法和装置
DE102017216802A1 (de) * 2017-09-22 2019-03-28 Continental Teves Ag & Co. Ohg Verfahren und vorrichtung zum erkennen von fahrspuren, fahrerassistenzsystem und fahrzeug
CN109726615A (zh) * 2017-10-30 2019-05-07 北京京东尚科信息技术有限公司 一种道路边界的识别方法和装置
CN108090456B (zh) * 2017-12-27 2020-06-19 北京初速度科技有限公司 识别车道线模型的训练方法、车道线识别方法及装置
CN108229386B (zh) * 2017-12-29 2021-12-14 百度在线网络技术（北京）有限公司 用于检测车道线的方法、装置和介质
CN108491811A (zh) * 2018-03-28 2018-09-04 中山大学 一种基于fpga的超低功耗实时车道线检测的方法
CN110348273B (zh) * 2018-04-04 2022-05-24 北京四维图新科技股份有限公司 神经网络模型训练方法、系统及车道线识别方法、系统
CN108615358A (zh) * 2018-05-02 2018-10-02 安徽大学 一种道路拥堵检测方法及装置
CN108694386B (zh) * 2018-05-15 2021-08-10 华南理工大学 一种基于并联卷积神经网络的车道线检测方法
CN108960183B (zh) * 2018-07-19 2020-06-02 北京航空航天大学 一种基于多传感器融合的弯道目标识别系统及方法
CN110795961B (zh) * 2018-08-01 2023-07-18 新疆万兴信息科技有限公司 一种车道线检测方法、装置、电子设备及介质
CN110796606B (zh) * 2018-08-01 2023-07-07 新疆万兴信息科技有限公司 一种确定IPM matrix参数的方法、装置、电子设备及介质
DE102018214697A1 (de) * 2018-08-30 2020-03-05 Continental Automotive Gmbh Fahrbahnkartierungsvorrichtung
CN109117825B (zh) * 2018-09-04 2020-01-17 百度在线网络技术（北京）有限公司 车道线处理方法和装置
CN109446886B (zh) * 2018-09-07 2020-08-25 百度在线网络技术（北京）有限公司 基于无人车的障碍物检测方法、装置、设备以及存储介质
CN109389046B (zh) * 2018-09-11 2022-03-29 昆山星际舟智能科技有限公司 用于自动驾驶的全天候物体识别与车道线检测方法
US10311338B1 (en) * 2018-09-15 2019-06-04 StradVision, Inc. Learning method, learning device for detecting lanes on the basis of CNN and testing method, testing device using the same
DE102018216413A1 (de) * 2018-09-26 2020-03-26 Robert Bosch Gmbh Vorrichtung und Verfahren zur automatischen Bildverbesserung bei Fahrzeugen
CN109389650B (zh) * 2018-09-30 2021-01-12 京东方科技集团股份有限公司 一种车载相机的标定方法、装置、车辆和存储介质
US11068724B2 (en) * 2018-10-11 2021-07-20 Baidu Usa Llc Deep learning continuous lane lines detection system for autonomous vehicles
KR102483649B1 (ko) 2018-10-16 2023-01-02 삼성전자주식회사 차량 위치 결정 방법 및 차량 위치 결정 장치
CN109345547B (zh) * 2018-10-19 2021-08-24 天津天地伟业投资管理有限公司 基于深度学习多任务网络的交通车道线检测方法及装置
CN109376674B (zh) * 2018-10-31 2024-09-06 北京小米移动软件有限公司 人脸检测方法、装置及存储介质
CN109598268B (zh) * 2018-11-23 2021-08-17 安徽大学 一种基于单流深度网络的rgb-d显著目标检测方法
CN111368605B (zh) * 2018-12-26 2023-08-25 易图通科技（北京）有限公司 车道线提取方法及装置
CN113748315B (zh) * 2018-12-27 2024-06-07 北京嘀嘀无限科技发展有限公司 用于自动车道标记的系统
US11087173B2 (en) 2018-12-27 2021-08-10 Beijing Didi Infinity Technology And Development Co., Ltd. Using image pre-processing to generate a machine learning model
US10990815B2 (en) 2018-12-27 2021-04-27 Beijing Didi Infinity Technology And Development Co., Ltd. Image pre-processing in a lane marking determination system
WO2020139357A1 (en) * 2018-12-27 2020-07-02 Didi Research America, Llc Using image pre-processing to generate a machine learning model
US11023745B2 (en) * 2018-12-27 2021-06-01 Beijing Didi Infinity Technology And Development Co., Ltd. System for automated lane marking
CN109685850B (zh) * 2018-12-29 2024-05-28 百度在线网络技术（北京）有限公司 一种横向定位方法及车载设备
CN109740554A (zh) * 2019-01-09 2019-05-10 宽凳（北京）科技有限公司 一种道路边缘线识别方法及系统
US10346693B1 (en) * 2019-01-22 2019-07-09 StradVision, Inc. Method and device for attention-based lane detection without post-processing by using lane mask and testing method and testing device using the same
CN109816050A (zh) * 2019-02-23 2019-05-28 深圳市商汤科技有限公司 物体位姿估计方法及装置
CN110163109B (zh) * 2019-04-23 2021-09-17 浙江大华技术股份有限公司 一种车道线标注方法及装置
CN110413942B (zh) * 2019-06-04 2023-08-08 上海汽车工业(集团)总公司 车道线方程筛选方法及其筛选模块
CN110569730B (zh) * 2019-08-06 2022-11-15 福建农林大学 一种基于U-net神经网络模型的路面裂缝自动识别方法
CN112446230B (zh) * 2019-08-27 2024-04-09 中车株洲电力机车研究所有限公司 车道线图像的识别方法及装置
CN110525436A (zh) * 2019-08-27 2019-12-03 中国第一汽车股份有限公司 车辆换道控制方法、装置、车辆和存储介质
CN112686080A (zh) * 2019-10-17 2021-04-20 北京京东乾石科技有限公司 进行车道线检测的方法和装置
CN112926354A (zh) * 2019-12-05 2021-06-08 北京超星未来科技有限公司 一种基于深度学习的车道线检测方法及装置
CN111126209B (zh) * 2019-12-09 2024-06-14 博泰车联网科技(上海)股份有限公司 车道线检测方法及相关设备
CN111192216B (zh) * 2019-12-31 2023-04-21 武汉中海庭数据技术有限公司 一种车道线平滑处理方法及系统
CN111191619B (zh) * 2020-01-02 2023-09-05 北京百度网讯科技有限公司 车道线虚线段的检测方法、装置、设备和可读存储介质
US11798187B2 (en) * 2020-02-12 2023-10-24 Motive Technologies, Inc. Lane detection and distance estimation using single-view geometry
CN111310737B (zh) * 2020-03-26 2023-10-13 山东极视角科技股份有限公司 一种车道线检测方法及装置
EP4130668A4 (en) * 2020-04-18 2023-05-31 Huawei Technologies Co., Ltd. METHOD FOR DETERMINING AN ABNORMAL LANE LINE RECOGNITION EVENT, AND LANE LINE RECOGNITION APPARATUS AND SYSTEM
CN111539401B (zh) * 2020-07-13 2020-10-23 平安国际智慧城市科技股份有限公司 基于人工智能的车道线检测方法、装置、终端及存储介质
CN112434585A (zh) * 2020-11-14 2021-03-02 武汉中海庭数据技术有限公司 一种车道线的虚实识别方法、系统、电子设备及存储介质
CN112902987B (zh) * 2021-02-02 2022-07-15 北京三快在线科技有限公司 一种位姿修正的方法及装置
CN113011293B (zh) * 2021-03-05 2022-09-30 郑州天迈科技股份有限公司 一种行道线参数实时提取方法
CN113537002B (zh) * 2021-07-02 2023-01-24 安阳工学院 一种基于双模神经网络模型的驾驶环境评估方法及装置
CN113298050B (zh) * 2021-07-21 2021-11-19 智道网联科技(北京)有限公司 车道线识别模型训练方法、装置及车道线识别方法、装置
CN113344929B (zh) * 2021-08-09 2021-11-05 深圳智检慧通科技有限公司 一种焊点视觉检测识别方法、可读存储介质及设备
CN114758310B (zh) * 2022-06-13 2022-10-28 山东博昂信息科技有限公司 一种基于高速监控相机的车道线检测方法、系统及装置
CN115240435A (zh) * 2022-09-21 2022-10-25 广州市德赛西威智慧交通技术有限公司 一种基于ai技术的车辆违章行驶检测方法、装置
CN116580373B (zh) * 2023-07-11 2023-09-26 广汽埃安新能源汽车股份有限公司 一种车道线优化方法、装置、电子设备和存储介质
CN117114141B (zh) * 2023-10-20 2024-02-27 安徽蔚来智驾科技有限公司 模型训练的方法、评估方法、计算机设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013079937A (ja) * 2011-09-30 2013-05-02 Honda Research Inst Europe Gmbh 路面分析

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08202877A (ja) 1995-01-31 1996-08-09 Toyota Motor Corp 画像認識装置
GB9804112D0 (en) * 1998-02-27 1998-04-22 Lucas Ind Plc Road profile prediction
US7375728B2 (en) * 2001-10-01 2008-05-20 University Of Minnesota Virtual mirror
US7774113B2 (en) * 2002-04-10 2010-08-10 Trw Limited Cameras to determine vehicle heading
WO2004029659A2 (en) * 2002-06-14 2004-04-08 Honda Giken Kogyo Kabushiki Kaisha Pedestrian detection and tracking with night vision
JP4328692B2 (ja) * 2004-08-11 2009-09-09 国立大学法人東京工業大学 物体検出装置
US7831098B2 (en) * 2006-11-07 2010-11-09 Recognition Robotics System and method for visual searching of objects using lines
US8098889B2 (en) * 2007-01-18 2012-01-17 Siemens Corporation System and method for vehicle detection and tracking
JP5014237B2 (ja) * 2008-04-23 2012-08-29 本田技研工業株式会社 レーンマーカ認識装置、車両、及びレーンマーカ認識用プログラム
US8751154B2 (en) * 2008-04-24 2014-06-10 GM Global Technology Operations LLC Enhanced clear path detection in the presence of traffic infrastructure indicator
US8855917B2 (en) * 2008-10-16 2014-10-07 Csr Technology Inc. System and method for use of a vehicle back-up camera as a dead-reckoning sensor
CN102201167B (zh) * 2010-04-07 2013-03-06 宫宁生 基于视频的汽车车道自动识别方法
WO2012145819A1 (en) * 2011-04-25 2012-11-01 Magna International Inc. Image processing method for detecting objects using relative motion
KR101295077B1 (ko) * 2011-12-28 2013-08-08 전자부품연구원 다양한 도로 상황에서의 차선 검출 및 추적 장치
US9576214B1 (en) * 2012-01-23 2017-02-21 Hrl Laboratories, Llc Robust object recognition from moving platforms by combining form and motion detection with bio-inspired classification
US9053372B2 (en) * 2012-06-28 2015-06-09 Honda Motor Co., Ltd. Road marking detection and recognition
JP6056319B2 (ja) * 2012-09-21 2017-01-11 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
WO2014070448A1 (en) * 2012-10-31 2014-05-08 Tk Holdings, Inc. Vehicular path sensing system and method
US20150276400A1 (en) * 2013-03-13 2015-10-01 Electronic Scripting Products, Inc. Reduced homography for ascertaining conditioned motion of an optical apparatus
US9821813B2 (en) * 2014-11-13 2017-11-21 Nec Corporation Continuous occlusion models for road scene understanding
CN104598892B (zh) * 2015-01-30 2018-05-04 广东威创视讯科技股份有限公司 一种危险驾驶行为预警方法及系统
CN104657727B (zh) * 2015-03-18 2018-01-02 厦门麦克玛视电子信息技术有限公司 一种车道线的检测方法
CN104766058B (zh) * 2015-03-31 2018-04-27 百度在线网络技术（北京）有限公司 一种获取车道线的方法和装置
KR102267562B1 (ko) * 2015-04-16 2021-06-22 한국전자통신연구원 무인자동주차 기능 지원을 위한 장애물 및 주차구획 인식 장치 및 그 방법
CN104809449B (zh) * 2015-05-14 2018-09-21 重庆大学 适用于高速公路视频监控系统的车道虚线分界线自动检测方法
US10062010B2 (en) * 2015-06-26 2018-08-28 Intel Corporation System for building a map and subsequent localization
CN105046235B (zh) * 2015-08-03 2018-09-07 百度在线网络技术（北京）有限公司 车道线的识别建模方法和装置、识别方法和装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013079937A (ja) * 2011-09-30 2013-05-02 Honda Research Inst Europe Gmbh 路面分析

Also Published As

Publication number Publication date
EP3321842A4 (en) 2018-08-15
KR20180034529A (ko) 2018-04-04
US20180225527A1 (en) 2018-08-09
CN105046235B (zh) 2018-09-07
CN105046235A (zh) 2015-11-11
JP2018523875A (ja) 2018-08-23
EP3321842A1 (en) 2018-05-16
JP6739517B2 (ja) 2020-08-12
WO2017020528A1 (zh) 2017-02-09
EP3321842B1 (en) 2020-04-29
US10699134B2 (en) 2020-06-30

Similar Documents

Publication Publication Date Title
KR102143108B1 (ko) 차선 인식 모델링 방법, 장치, 저장 매체 및 기기, 및 인식 방법, 장치, 저장 매체 및 기기
US9576367B2 (en) Object detection method and device
CN104299244B (zh) 基于单目相机的障碍物检测方法及装置
CN109598794B (zh) 三维gis动态模型的构建方法
EP3321887A1 (en) Urban road recognition method, apparatus, storage medium and device based on laser point cloud
CN112631266A (zh) 一种移动机器人感知障碍信息的方法、装置
JP6111745B2 (ja) 車輌検知方法及び装置
CN109977968B (zh) 一种深度学习分类后比较的sar变化检测方法
CN113240734B (zh) 一种基于鸟瞰图的车辆跨位判断方法、装置、设备及介质
CN105335952A (zh) 匹配代价计算方法和装置、以及视差值计算方法和设备
JP2018124963A (ja) 画像処理装置、画像認識装置、画像処理プログラム、及び画像認識プログラム
CN109523570A (zh) 运动参数计算方法及装置
CN110636248B (zh) 目标跟踪方法与装置
US20220164595A1 (en) Method, electronic device and storage medium for vehicle localization
CN117726880A (zh) 一种基于单目摄像头的交通锥桶3d实时检测方法、系统、设备及介质
CN117367404A (zh) 基于动态场景下slam的视觉定位建图方法及系统
CN113836251B (zh) 一种认知地图构建方法、装置、设备及介质
WO2018143278A1 (ja) 画像処理装置、画像認識装置、画像処理プログラム、及び画像認識プログラム
CN112433193B (zh) 一种基于多传感器的模位置定位方法及系统
WO2022021209A9 (zh) 电子地图生成方法、装置、计算机设备和存储介质
EP3076370B1 (en) Method and system for selecting optimum values for parameter set for disparity calculation
CN118658015B (en) Map resource identification method, system and storage medium based on deep learning
Hui et al. Vision-HD: road change detection and registration using images and high-definition maps
KR102643538B1 (ko) 자율주행 환경에서 이종 센서 데이터 간 오토 캘리브레이션 방법, 장치 및 컴퓨터프로그램
Hu et al. Vision‐based position computation from in‐vehicle video log images for road sign inventory

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant