KR20200091781A - 자율주행 자동차의 레벨 4를 충족시키기 위해 필요한 hd 지도와의 콜라보레이션을 지원하는 임베딩 로스 및 소프트맥스 로스를 이용하여 적어도 하나의 차선을 가지는 이미지를 세그멘테이션하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치 - Google Patents

자율주행 자동차의 레벨 4를 충족시키기 위해 필요한 hd 지도와의 콜라보레이션을 지원하는 임베딩 로스 및 소프트맥스 로스를 이용하여 적어도 하나의 차선을 가지는 이미지를 세그멘테이션하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치 Download PDF

Info

Publication number
KR20200091781A
KR20200091781A KR1020190119515A KR20190119515A KR20200091781A KR 20200091781 A KR20200091781 A KR 20200091781A KR 1020190119515 A KR1020190119515 A KR 1020190119515A KR 20190119515 A KR20190119515 A KR 20190119515A KR 20200091781 A KR20200091781 A KR 20200091781A
Authority
KR
South Korea
Prior art keywords
softmax
learning
scores
loss
segmentation
Prior art date
Application number
KR1020190119515A
Other languages
English (en)
Other versions
KR102252155B1 (ko
Inventor
김계현
김용중
김인수
김학경
남운현
부석훈
성명철
여동훈
유우주
장태웅
정경중
제홍모
조호진
Original Assignee
주식회사 스트라드비젼
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 스트라드비젼 filed Critical 주식회사 스트라드비젼
Publication of KR20200091781A publication Critical patent/KR20200091781A/ko
Application granted granted Critical
Publication of KR102252155B1 publication Critical patent/KR102252155B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G06K9/00798—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Automation & Control Theory (AREA)
  • Probability & Statistics with Applications (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

자율주행 자동차의 레벨 4를 충족시키기 위해 필요한 HD 지도와의 콜라보레이션 지원에 사용되는 적어도 하나의 차선을 가지는 이미지를 세그멘테이션하는 학습 방법에 있어서, 학습 장치가, (a) 입력 이미지에 컨벌루션 연산 적용하도록 하여 특징 맵을 생성하고, 디컨벌루션 연산을 적용하도록 하여 입력 이미지 상의 각각의 픽셀에 대한 세그멘테이션 스코어를 생성하도록 하는 단계; (b) 소프트맥스 연산을 세그멘테이션 스코어에 적용하도록 하여 소프트맥스 스코어를 생성하도록 하는 단계; (c) (I) 소프트맥스 스코어에 대하여 다항 로지스틱 로스 연산(Multinomial Logistic Loss Operation)을 적용하도록 하여 소프트맥스 로스와 임베딩 로스를 생성하도록 하되, 임베딩 로스는 차선 각각의 세그멘테이션 스코어의 각각의 평균 중 다른 차선 간의 평균의 차이는 커지도록 하고 차선 각각의 세그멘테이션 스코어의 분산 중 각각의 동일 차선 내부의 분산은 작아지도록 하는 CNN 모듈을 학습하는데 사용되며, (II) 소프트맥스 및 임베딩 로스를 백프로파게이션 하는 단계;를 포함하는 것을 특징으로 하는 방법을 제공한다.

Description

자율주행 자동차의 레벨 4를 충족시키기 위해 필요한 HD 지도와의 콜라보레이션을 지원하는 임베딩 로스 및 소프트맥스 로스를 이용하여 적어도 하나의 차선을 가지는 이미지를 세그멘테이션하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치{LEARNING METHOD AND LEARNING DEVICE FOR SEGMENTING AN IMAGE HAVING ONE OR MORE LANES BY USING EMBEDDING LOSS TO SUPPORT COLLABORATION WITH HD MAPS REQUIRED TO SATISFY LEVEL 4 OF AUTONOMOUS VEHICLES AND SOFTMAX LOSS, AND TESTING METHOD AND TESTING DEVICE USING THE SAME}
본 발명은 자율주행 자동차의 레벨 4를 충족시키기 위해 필요한 HD 지도와의 콜라보레이션을 지원하는데 사용되는 적어도 하나의 차선을 가지는 이미지를 세그멘테이션하는 학습 방법에 관한 것으로, 보다 상세하게는, 상기 차선을 가지는 상기 입력 이미지를 세그멘테이션 하는 상기 학습 방법에 있어서, (a) 상기 입력 이미지가 획득되면, 학습 장치가, CNN(Convolutional Neural Network) 모듈로 하여금 상기 입력 이미지에 대하여 컨벌루션 연산을 적어도 한 번 적용하도록 하여 특징 맵을 생성하고 상기 특징 맵에 대하여 디컨벌루션 연산을 적어도 한 번 적용하도록 하여 상기 입력 이미지 상의 각각의 픽셀에 대한 각각의 세그멘테이션 스코어(Segmentation Score)를 생성하도록 하는 단계; (b) 상기 학습 장치가, 상기 CNN 모듈로 하여금, 상기 각각의 세그멘테이션 스코어에 대하여 소프트맥스 연산(Softmax Operation)을 적어도 한 번 적용하도록 하여 각각의 소프트맥스 스코어를 생성하도록 하는 단계; (c) 상기 학습 장치가, 상기 CNN 모듈로 하여금, (I) (i) 상기 소프트맥스 스코어 각각에 대하여 다항 로지스틱 로스 연산(Multinomial Logistic Loss Operation)을 적어도 한 번 적용하도록 하여 각각의 소프트맥스 로스를 생성하도록 하고, (ii) 상기 소프트맥스 스코어 각각에 대하여 픽셀 임베딩 연산(Pixel Embedding Operation)을 적어도 한 번 적용하도록 하여, 상기 차선 각각의 상기 세그멘테이션 스코어의 각각의 평균 중 다른 차선 간의 평균의 차이는 커지도록 하고 상기 차선 각각의 상기 세그멘테이션 스코어의 분산 중 각각의 동일 차선 내부의 분산은 작아지도록 상기 CNN 모듈의 학습을 유도하는 각각의 임베딩 로스를 생성한 후, (II) 각각의 상기 소프트맥스 로스 및 각각의 상기 임베딩 로스를 이용한 백프로파게이션을 통해 상기 CNN 모듈의 적어도 하나의 파라미터를 학습하도록 하는 단계;를 포함하는 것을 특징으로 하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치에 관한 것이다.
딥 컨벌루션 뉴럴 네트워크(Deep Convolutional Neural Network; Deep CNN)는 딥 러닝 분야에서 일어난 놀라운 발전의 핵심이다. CNN은 글자 인식 문제를 풀기 위해 90년대에 이미 사용되었지만, 현재처럼 널리 쓰이게 된 것은 최근의 연구 결과 덕분이다. 이러한 딥 CNN은 2012년 ImageNet 이미지 분류 시합에서 다른 경쟁자들을 이기고 우승을 차지했다. 그리고 나서 컨벌루션 뉴럴 네트워크는 기계 학습(Machine Learning) 분야에서 매우 유용한 툴이 되었다.
한편, 이미지 세그멘테이션(Image Segmentation)은 입력 이미지(트레이닝 이미지 또는 테스트 이미지)를 수신하여 라벨(Label) 이미지를 출력 이미지로 생성하는 방법이다. 최근 딥러닝(Deep Learning) 기술이 각광을 받으면서 이미지 세그멘테이션에도 딥러닝 기술을 많이 사용하는 추세다.
세그멘테이션이 수행될 때, 이미지 상의 각각의 클러스터 내에서 픽셀 수의 분포가 불균형하면, 픽셀 수가 작은 부분이 흐릿해지는 경우가 많다. 픽셀 수의 분포가 불균형한 대표적인 경우로 자율주행 자동차에서 사용되는 이미지가 있다. 이 경우, 특정 차선이 점선이거나 이미지 내에서 원거리 영역에 존재하면, 차선의 해당 부분의 픽셀 수가 적어 세그멘테이션 할 때, 픽셀 수가 적은 부분이 차선이 아닌 것으로 잘못 판단되는 문제점이 존재한다.
본 발명은 상술한 문제점을 해결하는 것을 목적으로 한다.
본 발명은 소프트맥스 로스와 임베딩 로스를 백프로파게이션하여, 픽셀 수가 적은 부분도 세그멘테이션 결과 상에서 진하게 출력되고, 서로 다른 차선을 구분하는 것이 더욱 용이하게 되도록 세그멘테이션 스코어를 출력하는 하는 것을 다른 목적으로 한다.
상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한 본 발명의 특징적인 구성은 하기와 같다.
본 발명의 일 태양에 따르면, 적어도 하나의 차선을 가진 입력 이미지를 세그멘테이션 하는 학습 방법에 있어서, (a) 상기 입력 이미지가 획득되면, 학습 장치가, CNN(Convolutional Neural Network) 모듈로 하여금 상기 입력 이미지에 대하여 컨벌루션 연산을 적어도 한 번 적용하도록 하여 특징 맵을 생성하고 상기 특징 맵에 대하여 디컨벌루션 연산을 적어도 한 번 적용하도록 하여 상기 입력 이미지 상의 각각의 픽셀에 대한 각각의 세그멘테이션 스코어(Segmentation Score)를 생성하도록 하는 단계; (b) 상기 학습 장치가, 상기 CNN 모듈로 하여금, 상기 각각의 세그멘테이션 스코어에 대하여 소프트맥스 연산(Softmax Operation)을 적어도 한 번 적용하도록 하여 각각의 소프트맥스 스코어를 생성하도록 하는 단계; (c) 상기 학습 장치가, 상기 CNN 모듈로 하여금, (I) (i) 상기 소프트맥스 스코어 각각에 대하여 다항 로지스틱 로스 연산(Multinomial Logistic Loss Operation)을 적어도 한 번 적용하도록 하여 각각의 소프트맥스 로스를 생성하도록 하고, (ii) 상기 소프트맥스 스코어 각각에 대하여 픽셀 임베딩 연산(Pixel Embedding Operation)을 적어도 한 번 적용하도록 하여, 상기 차선 각각의 상기 세그멘테이션 스코어의 각각의 평균 중 다른 차선 간의 평균의 차이는 커지도록 하고 상기 차선 각각의 상기 세그멘테이션 스코어의 분산 중 각각의 동일 차선 내부의 분산은 작아지도록 상기 CNN 모듈의 학습을 유도하는 각각의 임베딩 로스를 생성한 후, (II) 각각의 상기 소프트맥스 로스 및 각각의 상기 임베딩 로스를 이용한 백프로파게이션을 통해 상기 CNN 모듈의 적어도 하나의 파라미터를 학습하도록 하는 단계;를 포함하는 것을 특징으로 한다.
일 실시예에서,
Figure pat00001
상기 임베딩 로스 각각은 상기 수식을 통해 산출되고, 상기 입력 이미지가 상기 차선 및 적어도 하나의 배경 부분을 갖는 복수 개의 클러스터를 포함한다고 하면,
Figure pat00002
는 상기 입력 이미지 상의 상기 차선 및 상기 배경 부분을 포함하는 상기 클러스터의 개수,
Figure pat00003
는 각각의 상기 클러스터 안의 픽셀의 개수,
Figure pat00004
는 각각의 상기 클러스터에 포함된 픽셀 각각에 대응하는 소프트맥스 스코어의 각각의 평균,
Figure pat00005
는 각각의 상기 픽셀에 대응하는 상기 소프트맥스 스코어 및 각각의 상기 픽셀에 대응하는 상기
Figure pat00006
를 참조하여 산출된 분산 중 최대값,
Figure pat00007
는 서로 다른 클러스터에 대응하는
Figure pat00008
간의 차이 중 최소값을 의미하는 것을 특징으로 한다.
일 실시예에서, 각각의 상기 다항 로지스틱 로스는 다음의 수식을 이용해 산출되고,
Figure pat00009
이 때, s는 상기 입력 이미지 한 개에 포함되는 상기 픽셀의 개수, l은 제i 픽셀이 이에 대응하는 GT 라벨 상에서 어떤 클러스터에 속하는지를 나타내는 원핫인코딩(One-Hot-Encoding) 벡터, P(i)는 상기 픽셀 각각에 대응하는 각각의 소프트맥스 스코어를 의미하는 것을 특징으로 한다.
본 발명의 다른 태양에 따르면, 적어도 하나의 차선을 가진 테스트 이미지를 세그멘테이션 하는 테스트 방법에 있어서, (a) 학습 장치가, (1) CNN(Convolutional Neural Network) 모듈로 하여금 트레이닝 이미지 에 대하여 컨벌루션 연산을 적어도 한 번 적용하도록 하여 학습용 특징 맵을 생성한 후, 상기 학습용 특징 맵에 대하여 디컨벌루션 연산을 적어도 한 번 적용하도록 하여 상기 트레이닝 이미지 상의 각각의 픽셀에 대한 학습용 세그멘테이션 스코어(Segmentation Score) 각각을 생성하도록 하고; (2) 상기 CNN 모듈로 하여금 상기 학습용 세그멘테이션 스코어 각각에 대하여 소프트맥스 연산(Softmax Operation)을 적어도 한 번 적용하도록 하여 학습용 소프트맥스 스코어 각각을 생성하도록 하고; (3) 상기 CNN 모듈로 하여금, (I) (i) 상기 학습용 소프트맥스 스코어 각각에 대하여 다항 로지스틱 로스 연산 (Multinomial Logistic Loss Operation)을 적어도 한 번 적용하도록 하여 소프트맥스 로스 각각을 생성하도록 하고, (ii) 상기 학습용 소프트맥스 스코어 각각에 대하여 픽셀 임베딩 연산(Pixel Embedding Operation)을 적어도 한 번 적용하도록 하여, 상기 차선 각각의 상기 학습용 세그멘테이션 스코어의 각각의 평균 중 다른 차선 간의 평균의 차이는 커지도록 하고 상기 차선 각각의 상기 학습용 세그멘테이션 스코어의 분산 중 각각의 동일 차선 내부의 분산은 작아지도록 상기 CNN 모듈의 학습을 유도하는 각각의 임베딩 로스를 생성한 후, (II) 각각의 상기 소프트맥스 로스 및 각각의 상기 임베딩 로스를 이용한 백프로파게이션을 통해 상기 CNN 모듈의 적어도 하나의 파라미터를 학습하도록; 한 상태에서, 상기 테스트 이미지가 획득되면, 테스트 장치가, 상기 CNN 모듈로 하여금 상기 테스트 이미지에 대하여 컨벌루션 연산을 적어도 한 번 적용하도록 하여 테스트용 특징 맵을 생성한 후, 상기 테스트용 특징 맵에 대하여 디컨벌루션 연산을 적용하도록 하여 상기 테스트 이미지 상의 각각의 픽셀에 대한 테스트용 세그멘테이션 스코어 각각을 생성하도록 하는 단계; 및 (b) 상기 테스트 장치가, 상기 CNN 모듈로 하여금 상기 테스트용 세그멘테이션 스코어 각각에 대하여 소프트맥스 연산을 적용하도록 하여 테스트용 소프트맥스 스코어 각각을 생성하도록 하는 단계;를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 태양에 따르면, 적어도 하나의 차선을 가진 입력 이미지를 세그멘테이션 하는 학습 장치에 있어서, 인스트럭션을 저장하는 적어도 하나의 메모리; 및 (I) CNN(Convolutional Neural Network) 모듈로 하여금 상기 입력 이미지에 대하여 컨벌루션 연산을 적어도 한 번 적용하도록 하여 특징 맵을 생성하고 상기 특징 맵에 대하여 디컨벌루션 연산을 적어도 한 번 적용하도록 하여 상기 입력 이미지 상의 각각의 픽셀에 대한 각각의 세그멘테이션 스코어(Segmentation Score)를 생성하도록 하는 프로세스, (II) 상기 CNN 모듈로 하여금 상기 각각의 세그멘테이션 스코어에 대하여 소프트맥스 연산(Softmax Operation)을 적어도 한 번 적용하도록 하여 각각의 소프트맥스 스코어를 생성하도록 하는 프로세스, (III) 상기 CNN 모듈로 하여금 (1) (i) 상기 소프트맥스 스코어 각각에 대하여 다항 로지스틱 로스 연산(Multinomial Logistic Loss Operation)을 적어도 한 번 적용하도록 하여 각각의 소프트맥스 로스를 생성하도록 하고, (ii) 상기 소프트맥스 스코어 각각에 대하여 픽셀 임베딩 연산(Pixel Embedding Operation)을 적어도 한 번 적용하도록 하여, 상기 차선 각각의 상기 세그멘테이션 스코어의 각각의 평균 중 다른 차선 간의 평균의 차이는 커지도록 하고 상기 차선 각각의 상기 세그멘테이션 스코어의 분산 중 각각의 동일 차선 내부의 분산은 작아지도록 상기 CNN 모듈의 학습을 유도하는 각각의 임베딩 로스를 생성한 후, (2) 각각의 상기 소프트맥스 로스 및 각각의 상기 임베딩 로스를 이용한 백프로파게이션을 통해 상기 CNN 모듈의 적어도 하나의 파라미터를 학습하도록 하는 프로세스를 수행하기 위한 상기 인스트럭션을 실행하도록 구성된 적어도 하나의 프로세서;를 포함하는 것을 특징으로 한다.
일 실시예에서,
Figure pat00010
상기 임베딩 로스 각각은 상기 수식을 통해 산출되고, 상기 입력 이미지가 상기 차선 및 적어도 하나의 배경 부분을 갖는 복수 개의 클러스터를 포함한다고 하면,
Figure pat00011
는 상기 입력 이미지 상의 상기 차선 및 상기 배경 부분을 포함하는 상기 클러스터의 개수,
Figure pat00012
는 각각의 상기 클러스터 안의 픽셀의 개수,
Figure pat00013
는 각각의 상기 클러스터에 포함된 픽셀 각각에 대응하는 소프트맥스 스코어의 각각의 평균,
Figure pat00014
는 각각의 상기 픽셀에 대응하는 상기 소프트맥스 스코어 및 각각의 상기 픽셀에 대응하는 상기
Figure pat00015
를 참조하여 산출된 분산 중 최대값,
Figure pat00016
는 서로 다른 클러스터에 대응하는
Figure pat00017
간의 차이 중 최소값을 의미하는 것을 특징으로 한다.
일 실시예에서, 각각의 상기 다항 로지스틱 로스는 다음의 수식을 이용해 산출되고,
Figure pat00018
이 때, s는 상기 입력 이미지 한 개에 포함되는 상기 픽셀의 개수, l은 제i 픽셀이 이에 대응하는 GT 라벨 상에서 어떤 클러스터에 속하는지를 나타내는 원핫인코딩(One-Hot-Encoding) 벡터, P(i)는 상기 픽셀 각각에 대응하는 각각의 소프트맥스 스코어를 의미하는 것을 특징으로 한다.
본 발명의 또 다른 태양에 따르면, 적어도 하나의 차선을 가진 테스트 이미지를 세그멘테이션 하는 테스트 장치에 있어서, 인스트럭션을 저장하는 적어도 하나의 메모리; 및 학습 장치가, (1) CNN(Convolutional Neural Network) 모듈로 하여금 트레이닝 이미지에 대하여 컨벌루션 연산을 적어도 한 번 적용하도록 하여 학습용 특징 맵을 생성한 후, 상기 학습용 특징 맵에 대하여 디컨벌루션 연산을 적어도 한 번 적용하도록 하여 상기 트레이닝 이미지 상의 각각의 픽셀에 대한 학습용 세그멘테이션 스코어(Segmentation Score) 각각을 생성하도록 하고, (2) 상기 CNN 모듈로 하여금 상기 학습용 세그멘테이션 스코어 각각에 대하여 소프트맥스 연산(Softmax Operation)을 적어도 한 번 적용하도록 하여 학습용 소프트맥스 스코어 각각을 생성하도록 하고, (3) 상기 CNN 모듈로 하여금, (3-1) (i) 상기 학습용 소프트맥스 스코어 각각에 대하여 다항 로지스틱 로스 연산(Multinomial Logistic Loss Operation)을 적어도 한 번 적용하도록 하여 소프트맥스 로스 각각을 생성하도록 하고, (ii) 상기 학습용 소프트맥스 스코어 각각에 대하여 픽셀 임베딩 연산(Pixel Embedding Operation)을 적어도 한 번 적용하도록 하여, 상기 차선 각각의 상기 학습용 세그멘테이션 스코어의 각각의 평균 중 다른 차선 간의 평균의 차이는 커지도록 하고 상기 차선 각각의 상기 학습용 세그멘테이션 스코어의 분산 중 각각의 동일 차선 내부의 분산은 작아지도록 상기 CNN 모듈의 학습을 유도하는 각각의 임베딩 로스를 생성한 후, (3-2) 각각의 상기 소프트맥스 로스 및 각각의 상기 임베딩 로스를 이용한 백프로파게이션을 통해 상기 CNN 모듈의 적어도 하나의 파라미터를 학습하도록 한 상태에서, (I) 상기 CNN 모듈로 하여금 상기 테스트 이미지에 대하여 컨벌루션 연산을 적용하도록 하여 테스트용 특징 맵을 생성한 후, 상기 테스트용 특징 맵에 대하여 디컨벌루션 연산을 적용하도록 하여 상기 테스트 이미지 상의 각각의 픽셀에 대한 테스트용 세그멘테이션 스코어 각각을 생성하도록 하는 프로세스, 및 (II) 상기 CNN 모듈로 하여금 상기 테스트용 세그멘테이션 스코어 각각에 대하여 소프트맥스 연산을 적용하도록 하여 테스트용 소프트맥스 스코어 각각을 생성하도록 하는 프로세스를 수행하기 위한 상기 인스트럭션을 실행하도록 구성된 적어도 하나의 프로세서;를 포함하는 것을 특징으로 한다.
본 발명은, 동일한 차선에 속한 픽셀 사이의 세그멘테이션 스코어 간에 차이는 작게 하고 상이한 차선에 속한 픽셀 사이의 세그멘테이션 스코어 간에 차이는 크게 함으로써 최적화된 세그멘테이션 결과를 얻을 수 있는 효과가 있다.
본 발명의 실시예의 설명에 이용되기 위하여 첨부된 아래 도면들은 본 발명의 실시예들 중 단지 일부일 뿐이며, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자(이하 "통상의 기술자")에게 있어서는 발명적 작업이 이루어짐 없이 이 도면들에 기초하여 다른 도면들이 얻어질 수 있다.
도 1은 본 발명에 따른 학습 장치를 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따라 임베딩 로스 값 및 소프트맥스 로스 값을 백프로파게이션하여 CNN(Convolutional Neural Network)을 학습하는 프로세스를 나타낸 도면이다.
도 3은 본 발명에 따른 클러스터 내의 픽셀 수가 불균형한 경우를 나타낸 도면이다.
도 4a는 종래 기술에 따라 도 3의 이미지가 세그멘테이션된 경우의 세그멘테이션 스코어를 나타낸 도면이다.
도 4b는 본 발명의 일 실시예에 따라 도 3의 이미지가 세그멘테이션된 경우의 세그멘테이션 스코어를 나타낸 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
또한, 본 발명의 상세한 설명 및 청구항들에 걸쳐, "포함하다"라는 단어 및 그것의 변형은 다른 기술적 특징들, 부가물들, 구성요소들 또는 단계들을 제외하는 것으로 의도된 것이 아니다. 통상의 기술자에게 본 발명의 다른 목적들, 장점들 및 특성들이 일부는 본 설명서로부터, 그리고 일부는 본 발명의 실시로부터 드러날 것이다. 아래의 예시 및 도면은 실례로서 제공되며, 본 발명을 한정하는 것으로 의도된 것이 아니다.
본 발명에서 언급하는 각종 이미지는 포장 또는 비포장 도로 관련 이미지를 포함할 수 있으며, 이 경우 도로 환경에서 등장할 수 있는 물체(가령, 자동차, 사람, 동물, 식물, 물건, 건물, 비행기나 드론과 같은 비행체, 기타 장애물)를 상정할 수 있을 것이나, 반드시 이에 한정되는 것은 아니며, 본 발명에서 언급하는 각종 이미지는 도로와 상관 없는 이미지(가령, 비포장도로, 골목길, 공터, 바다, 호수, 강, 산, 숲, 사막, 하늘, 실내와 관련된 이미지)일 수도 있으며, 이 경우, 비포장도로, 골목길, 공터, 바다, 호수, 강, 산, 숲, 사막, 하늘, 실내 환경에서 등장할 수 있는 물체(가령, 자동차, 사람, 동물, 식물, 물건, 건물, 비행기나 드론과 같은 비행체, 기타 장애물)를 상정할 수 있을 것이나, 반드시 이에 한정되는 것은 아니다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명에 따른 학습 장치를 나타낸 도면이다.
도 1을 참조하면, 학습 장치(100)은 CNN 모듈(200)을 포함할 수 있다. 그리고 다양한 데이터는 통신부(110)에 의해 수신되거나 전송되며, 상기 CNN 모듈(200)의 다양한 프로세스는 프로세서(120)에 의해 이루어질 수 있다. 다만, 도 1에서는 통신부(110), 프로세서(120) 및 CNN 모듈(200)의 구체적인 연결 관계를 생략하였다. 또한, 학습 장치는 다음의 프로세스를 수행하기 위한 컴퓨터 판독 가능한 인스트럭션(Instruction)을 저장할 수 있는 메모리(115)를 더 포함할 수 있다. 일 실시예에 따르면, 프로세서, 메모리, 매체 등은 통합 프로세서(Integrated Processor)로 통합될 수 있다.
도 2는 본 발명에 따른 임베딩 로스 값 및 소프트맥스 로스 값을 백프로파게이션하여 CNN(Convolutional Neural Network)을 학습하는 프로세스를 나타낸 도면이다.
도 2를 참조하면, 통신부(110)를 통해 입력 이미지가 획득되면, CNN 모듈(200)은 기설정된 뉴럴 네트워크 연산을 통해 입력 이미지에 대한 세그멘테이션 스코어를 출력할 수 있다.
구체적으로, CNN 모듈(200)은 인코딩 레이어(210) 및 디코딩 레이어(220)를 포함할 수 있다. 인코딩 레이어(210)는 입력 이미지에 대하여 컨벌루션 연산을 적어도 한 번 적용하여 적어도 하나의 인코디드 특징 맵을 생성하도록 하고, 디코딩 레이어(220)는 인코딩 레이어(210)에서 출력된 특정 인코디드 특징 맵에 대하여 디컨벌루션 연산을 적어도 한 번 적용하여 적어도 하나의 디코디드 특징 맵을 생성하도록 할 수 있다. 특정 특징 맵은 인코딩 레이어(210)에서 최종적으로 출력된 인코디드 특징 맵일 수 있으나 이에 한정되는 것은 아니다.
CNN 모듈(200)은 특정 디코디드 특징 맵이 세그멘테이션 스코어 각각을 포함할 수도 있고, 특정 디코디드 특징 맵에 대해 컨벌루션 연산을 적어도 한 번 적용한 결과가 세그멘테이션 스코어 각각을 포함할 수도 있다. 또한, 특정 디코디드 특징 맵은 디코딩 레이어(220)에서 최종적으로 출력된 디코디드 특징 맵일 수 있으나, 이에 한정되는 것은 아니다.
학습 장치(100)는, CNN 모듈로 하여금, 소프트맥스 레이어(230)에서, 출력된 세그멘테이션 스코어 각각에 대하여 소프트맥스 연산을 적어도 한 번 적용하도록 하여, 세그멘테이션 스코어의 각각의 값이 0과 1 사이 범위의 값을 가지도록 노말라이징된 소프트맥스 스코어 각각을 생성하도록 할 수 있다.
소프트맥스 레이어(230)에서 소프트맥스 스코어 각각이 생성되면, 학습 장치(100)는 CNN 모듈(200)로 하여금, (i) 소프트맥스 스코어 각각에 대하여, 소프트맥스 스코어와 이에 대응하는 GT를 참조하여 소프트맥스 로스를 출력하기 위한 연산인, 다항 로지스틱 로스 연산(Multinomial Logistic Loss Operation)을 적어도 한 번 적용하도록 하여 각각의 소프트맥스 로스를 생성하도록 하며, (ii) 소프트맥스 스코어 각각에 대하여 픽셀 임베딩 연산(Pixel Embedding Operation)을 적어도 한 번 적용하도록 하여, 각각의 임베딩 로스를 생성하되, 각각의 임베딩 로스는 CNN 모듈의 학습 프로세스를 수행하는 도중에 차선 각각의 세그멘테이션 스코어의 각각의 평균 중 다른 차선 간의 평균의 차이는 커지도록 하고 차선 각각의 세그멘테이션 스코어의 분산 중 각각의 동일 차선 내부의 분산은 작아지도록 하는데 사용된다. 여기서, 픽셀 임베딩 연산과 다항 로지스틱 로스 연산에 대해 자세히 설명하기로 한다.
앞서 말했듯이, 픽셀 임베딩 연산은 차선 각각의 세그멘테이션 스코어의 각각의 평균 중 다른 차선 사이의 평균의 차이는 커지도록 하고 차선 각각의 세그멘테이션 스코어의 분산 중 각각의 동일 차선 내부의 분산은 작아지도록 하는 CNN 모듈을 학습하는데 사용되는 임베딩 로스 각각을 생성한다.
Figure pat00019
임베딩 로스 각각은 상기 수식을 이용해 산출된다. 각 문자가 의미하는 바를 설명하면, 입력 이미지가 차선 및 적어도 하나의 배경 등을 포함하는 복수 개의 클러스터를 포함한다고 할 때,
Figure pat00020
는 입력 이미지 상의 차선 및 배경 등을 포함하는 클러스터의 개수,
Figure pat00021
는 각각의 클러스터 안의 픽셀의 개수,
Figure pat00022
는 각각의 클러스터에 포함된 픽셀 각각에 대응하는 소프트맥스 스코어의 각각의 평균,
Figure pat00023
는 각각의 픽셀에 대응하는 소프트맥스 스코어 및 각각의 픽셀에 대응하는
Figure pat00024
를 참조하여 산출된 분산 중 최대값,
Figure pat00025
는 서로 다른 클러스터에 대응하는
Figure pat00026
간의 차이 중 최소값을 의미한다.
상기 수식에서,
Figure pat00027
부분은 분산에 관한 로스를 의미하고,
Figure pat00028
부분은 평균에 관한 로스를 의미한다. 분모의
Figure pat00029
은 노말라이제이션을 위한 것이다. 이때,
Figure pat00030
가
Figure pat00031
대신 사용되는데, 왜냐하면
Figure pat00032
로 나누면 임베딩 로스가 너무 커져 소프트맥스 로스와 균형이 맞지 않기 때문이다. 이러한 임베딩 로스는, 같은 차선 내의 픽셀에 대응하는 세그멘테이션 스코어 간의 분산을
Figure pat00033
이하의 값으로 줄이고, 서로 다른 차선 내의 픽셀의 평균 간의 차이를
Figure pat00034
이상의 값으로 늘릴 수 있다. 본 발명의 임베딩 로스는 상기 수식을 통해 연산될 수 있으나, 이에 한정되는 것은 아니다.
다음으로 다항 로지스틱 로스 연산에 대해 설명하면, 이는 소프트맥스 스코어 및 이에 대응하는 GT를 참조하여 소프트맥스 로스를 출력하는 연산이다.
Figure pat00035
상기 수식에 따라 다항 로지스틱 로스 각각이 산출될 수 있다. 이 때, s는 입력 이미지 한 개에 포함되는 픽셀의 개수, l은 제i 픽셀이 이에 대응하는 GT 라벨 상에서 어떤 클러스터에 속하는지를 나타내는 원핫인코딩(One-Hot-Encoding) 벡터, P(i)는 각각의 픽셀에 대응하는 각각의 소프트맥스 스코어를 의미한다.
여기서, 각각의 소프트맥스 스코어는 각각의 픽셀이 어느 클러스터에 속하는지를 벡터 내의 가장 큰 원소 값을 통해 가리키는데, (i) 원핫인코딩 벡터를 나타내는 1과 (ii) 소프트맥스 스코어에 로그를 씌운 벡터 사이에 벡터 내적(Vector Dot Product) 연산이 수행되는 것이다. 예를 들어, 2번째 차선에 포함되는 특정 픽셀의 소프트맥스 스코어가 (0.1, 0.8, 0.1) 및 l 벡터가 (0, 1, 0)으로 표현된다면, 특정 픽셀의 로스 값은
Figure pat00036
로 산출된다. 이러한 방식으로 계산된 픽셀 별 로스 값 각각이 합해진 후 픽셀 개수로 나누어져 소프트맥스 로스가 생성될 수 있다. 각각의 소프트맥스 로스는 상기 수식을 통해 산출될 수 있으나, 이에 한정되는 것은 아니다.
상기 로스 레이어(240)에서 출력된 각각의 소프트맥스 로스 및 각각의 임베딩 로스는 백프로파게이션을 통해 CNN 장치의 적어도 하나의 파라미터를 학습하는 데 사용된다.
이후로, CNN 모듈(200)의 학습 프로세스가 완료된 경우에 테스트 장치가 수행한 프로세스에 대해서는 도 2를 참조해 설명한다.
도 2를 참조하면, CNN 모듈(200)이 입력 이미지를 수신해 디코딩 레이어(220)의 출력으로 세그멘테이션 스코어 각각을 생성하고, 소프트맥스 레이어(230)에서 상기 세그멘테이션 스코어 각각에 대하여 소프트맥스 연산을 적어도 한 번 적용한다. 테스트 프로세스에서는 상기 레이어의 파라미터가 모두 학습된 상태이므로, 로스를 구하는 과정과 백프로파게이션 과정은 생략된다.
도 3은 각각의 차선의 각각의 위치에 따라 각각의 차선 내의 픽셀 수의 분산 각각이 특정 임계치 이상인 이미지의 예시다.
도3을 참조하면, 도 3의 이미지 상에서 각각의 차선의 픽셀 수가 픽셀의 위치에 따라 불균형함을 알 수 있다. 즉, 근거리 영역에 위치한 각각의 차선은 각각의 차선에 픽셀이 많아 두껍게 보이지만, 원거리 영역에 위치한 각각의 차선의 픽셀은 각각의 차선에 픽셀이 적어 얇게 보인다. 그러므로 차선의 픽셀 수의 분산이 크게 나온다. 그런 이유로, 적어도 하나의 분산이 특정 임계치 이상인 경우, 본 발명에 따른 세그멘테이션 방법이 적용되어, 차선을 검출하는데 더 정확한 효과를 얻을 수 있을 것이다.
도 4a는 도 3이 종래의 기술에 따라 세그멘테이션된 이미지의 세그멘테이션 스코어를 나타낸 도면이고, 도 4b는 도 3이 본 발명의 예시에 따라 세그멘테이션된 이미지의 세그멘테이션 스코어를 나타낸 도면이다.
도 4a를 참조하면, 차선 픽셀이 상대적으로 적은 특정 영역의 세그멘테이션 스코어는 차선 픽셀이 상대적으로 많은 소정의 영역의 세그멘테이션 스코어와 크게 차이가 날 것이다. 이때, 특정 영역은 원거리에 위치한 차선 픽셀 또는 여러 이유로 인하여 상대적으로 적은 차선 픽셀을 포함할 수 있다. 그리고 소정의 영역은 근거리에 위치한 차선 픽셀 또는 여러 이유로 인하여 상대적으로 많은 차선 픽셀을 포함할 수 있다. 예를 들어, 도 4a의 가장 왼쪽 차선을 참고하면, 맨 위쪽 픽셀 수가 적은 차선의 세그멘테이션 스코어는 0.89이지만, 중간 부분과 가장 아래쪽 부분의 세그멘테이션 스코어는 각각 1.05, 1.12이다. 그러므로 가장 왼쪽 차선의 세그멘테이션 스코어 간에 큰 차이를 보인다. 도 4a의 제일 오른쪽 차선 역시 마찬가지로, 중간 부분과 가장 아래쪽 부분의 세그멘테이션 스코어가 각각 2.02, 2.09인데 비해 맨 위쪽 부분의 세그멘테이션 스코어는 1.72이다.
특정 영역에 차선 픽셀이 조금만 있는 경우에는 차선의 픽셀이 아닌 도로의 픽셀이 많다 보니 CNN모듈(200)이 특정 영역의 픽셀을 차선으로 판단할 개연성이 적다. 따라서 세그멘테이션 결과가 출력되었을 때 차선 픽셀이 적은 특정 영역이 흐릿하게 표현될 수 있다.
그에 반하여, 도 4b에서와 같이, 백프로파게이션을 통해 CNN 장치가 학습되었으므로, 가장 왼쪽 차선의 맨 위, 중간, 맨 아래의 세그멘테이션 스코어가 서로 비슷하게 산출될 수 있다. 비슷하게, 중간 차선의 위쪽 부분과 아래쪽 부분의 세그멘테이션 스코어도 서로 비슷하게 산출될 수 있다. 그리고 가장 오른쪽 차선의 맨 위, 중간, 맨 아래의 세그멘테이션 스코어도 서로 비슷하게 산출될 수 있다.
학습 방법 및 테스트 방법은 자율주행 자동차의 레벨 4를 충족시키기 위해 필요한 HD 지도와의 콜라보레이션을 지원하는데 사용될 수 있다.
본 발명 기술분야의 통상의 기술자에게 이해될 수 있는 바로서, 위에서 설명된 이미지, 예컨대 원본 이미지, 원본 레이블 및 추가 레이블과 같은 이미지 데이터의 송수신이 학습 장치 및 테스트 장치의 통신부들에 의하여 이루어질 수 있으며, 특징 맵과 연산을 수행하기 위한 데이터가 학습 장치 및 테스트 장치의 프로세서(및/또는 메모리)에 의하여 보유/유지될 수 있고, 컨벌루션 연산, 디컨벌루션 연산, 로스 값 연산 과정이 주로 학습 장치 및 테스트 장치의 프로세서에 의하여 수행될 수 있으나, 본 발명이 이에 한정되지는 않을 것이다.
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (8)

  1. 적어도 하나의 차선을 가진 입력 이미지를 세그멘테이션 하는 학습 방법에 있어서,
    (a) 상기 입력 이미지가 획득되면, 학습 장치가, CNN(Convolutional Neural Network) 모듈로 하여금 상기 입력 이미지에 대하여 컨벌루션 연산을 적어도 한 번 적용하도록 하여 특징 맵을 생성하고 상기 특징 맵에 대하여 디컨벌루션 연산을 적어도 한 번 적용하도록 하여 상기 입력 이미지 상의 각각의 픽셀에 대한 각각의 세그멘테이션 스코어(Segmentation Score)를 생성하도록 하는 단계;
    (b) 상기 학습 장치가, 상기 CNN 모듈로 하여금, 상기 각각의 세그멘테이션 스코어에 대하여 소프트맥스 연산(Softmax Operation)을 적어도 한 번 적용하도록 하여 각각의 소프트맥스 스코어를 생성하도록 하는 단계;
    (c) 상기 학습 장치가, 상기 CNN 모듈로 하여금, (I) (i) 상기 소프트맥스 스코어 각각에 대하여 다항 로지스틱 로스 연산(Multinomial Logistic Loss Operation)을 적어도 한 번 적용하도록 하여 각각의 소프트맥스 로스를 생성하도록 하고, (ii) 상기 소프트맥스 스코어 각각에 대하여 픽셀 임베딩 연산(Pixel Embedding Operation)을 적어도 한 번 적용하도록 하여, 상기 차선 각각의 상기 세그멘테이션 스코어의 각각의 평균 중 다른 차선 간의 평균의 차이는 커지도록 하고 상기 차선 각각의 상기 세그멘테이션 스코어의 분산 중 각각의 동일 차선 내부의 분산은 작아지도록 상기 CNN 모듈의 학습을 유도하는 각각의 임베딩 로스를 생성한 후, (II) 각각의 상기 소프트맥스 로스 및 각각의 상기 임베딩 로스를 이용한 백프로파게이션을 통해 상기 CNN 모듈의 적어도 하나의 파라미터를 학습하도록 하는 단계;
    를 포함하는 것을 특징으로 하는 방법.
  2. 제1 항에 있어서,
    Figure pat00037

    상기 임베딩 로스 각각은 상기 수식을 통해 산출되고,
    상기 입력 이미지가 상기 차선 및 적어도 하나의 배경 부분을 갖는 복수 개의 클러스터를 포함한다고 하면,
    Figure pat00038
    는 상기 입력 이미지 상의 상기 차선 및 상기 배경 부분을 포함하는 상기 클러스터의 개수,
    Figure pat00039
    는 각각의 상기 클러스터 안의 픽셀의 개수,
    Figure pat00040
    는 각각의 상기 클러스터에 포함된 픽셀 각각에 대응하는 소프트맥스 스코어의 각각의 평균,
    Figure pat00041
    는 각각의 상기 픽셀에 대응하는 상기 소프트맥스 스코어 및 각각의 상기 픽셀에 대응하는 상기
    Figure pat00042
    를 참조하여 산출된 분산 중 최대값,
    Figure pat00043
    는 서로 다른 클러스터에 대응하는
    Figure pat00044
    간의 차이 중 최소값을 의미하는 것을 특징으로 하는 방법.
  3. 제 1 항에 있어서,
    각각의 상기 다항 로지스틱 로스는 다음의 수식을 이용해 산출되고,
    Figure pat00045

    이 때, s는 상기 입력 이미지 한 개에 포함되는 상기 픽셀의 개수, l은 제i 픽셀이 이에 대응하는 GT 라벨 상에서 어떤 클러스터에 속하는지를 나타내는 원핫인코딩(One-Hot-Encoding) 벡터, P(i)는 상기 픽셀 각각에 대응하는 각각의 소프트맥스 스코어를 의미하는 것을 특징으로 하는 방법.
  4. 적어도 하나의 차선을 가진 테스트 이미지를 세그멘테이션 하는 테스트 방법에 있어서,
    (a) 학습 장치가, (1) CNN(Convolutional Neural Network) 모듈로 하여금 트레이닝 이미지에 대하여 컨벌루션 연산을 적어도 한 번 적용하도록 하여 학습용 특징 맵을 생성한 후, 상기 학습용 특징 맵에 대하여 디컨벌루션 연산을 적어도 한 번 적용하도록 하여 상기 트레이닝 이미지 상의 각각의 픽셀에 대한 학습용 세그멘테이션 스코어(Segmentation Score) 각각을 생성하도록 하고; (2) 상기 CNN 모듈로 하여금 상기 학습용 세그멘테이션 스코어 각각에 대하여 소프트맥스 연산(Softmax Operation)을 적어도 한 번 적용하도록 하여 학습용 소프트맥스 스코어 각각을 생성하도록 하고; (3) 상기 CNN 모듈로 하여금, (I) (i) 상기 학습용 소프트맥스 스코어 각각에 대하여 다항 로지스틱 로스 연산(Multinomial Logistic Loss Operation)을 적어도 한 번 적용하도록 하여 소프트맥스 로스 각각을 생성하도록 하고, (ii) 상기 학습용 소프트맥스 스코어 각각에 대하여 픽셀 임베딩 연산(Pixel Embedding Operation)을 적어도 한 번 적용하도록 하여, 상기 차선 각각의 상기 학습용 세그멘테이션 스코어의 각각의 평균 중 다른 차선 간의 평균의 차이는 커지도록 하고 상기 차선 각각의 상기 학습용 세그멘테이션 스코어의 분산 중 각각의 동일 차선 내부의 분산은 작아지도록 상기 CNN 모듈의 학습을 유도하는 각각의 임베딩 로스를 생성한 후, (II) 각각의 상기 소프트맥스 로스 및 각각의 상기 임베딩 로스를 이용한 백프로파게이션을 통해 상기 CNN 모듈의 적어도 하나의 파라미터를 학습하도록 한 상태에서, 상기 테스트 이미지가 획득되면, 테스트 장치가, 상기 CNN 모듈로 하여금 상기 테스트 이미지에 대하여 컨벌루션 연산을 적어도 한 번 적용하도록 하여 테스트용 특징 맵을 생성한 후, 상기 테스트용 특징 맵에 대하여 디컨벌루션 연산을 적용하도록 하여 상기 테스트 이미지 상의 각각의 픽셀에 대한 테스트용 세그멘테이션 스코어 각각을 생성하도록 하는 단계; 및
    (b) 상기 테스트 장치가, 상기 CNN 모듈로 하여금 상기 테스트용 세그멘테이션 스코어 각각에 대하여 소프트맥스 연산을 적용하도록 하여 테스트용 소프트맥스 스코어 각각을 생성하도록 하는 단계;
    를 포함하는 것을 특징으로 하는 방법.
  5. 적어도 하나의 차선을 가진 입력 이미지를 세그멘테이션 하는 학습 장치에 있어서,
    인스트럭션을 저장하는 적어도 하나의 메모리; 및
    (I) CNN(Convolutional Neural Network) 모듈로 하여금 상기 입력 이미지에 대하여 컨벌루션 연산을 적어도 한 번 적용하도록 하여 특징 맵을 생성하고 상기 특징 맵에 대하여 디컨벌루션 연산을 적어도 한 번 적용하도록 하여 상기 입력 이미지 상의 각각의 픽셀에 대한 각각의 세그멘테이션 스코어(Segmentation Score)를 생성하도록 하는 프로세스, (II) 상기 CNN 모듈로 하여금 상기 각각의 세그멘테이션 스코어에 대하여 소프트맥스 연산(Softmax Operation)을 적어도 한 번 적용하도록 하여 각각의 소프트맥스 스코어를 생성하도록 하는 프로세스, (III) 상기 CNN 모듈로 하여금 (1) (i) 상기 소프트맥스 스코어 각각에 대하여 다항 로지스틱 로스 연산(Multinomial Logistic Loss Operation)을 적어도 한 번 적용하도록 하여 각각의 소프트맥스 로스를 생성하도록 하고, (ii) 상기 소프트맥스 스코어 각각에 대하여 픽셀 임베딩 연산(Pixel Embedding Operation)을 적어도 한 번 적용하도록 하여, 상기 차선 각각의 상기 세그멘테이션 스코어의 각각의 평균 중 다른 차선 간의 평균의 차이는 커지도록 하고 상기 차선 각각의 상기 세그멘테이션 스코어의 분산 중 각각의 동일 차선 내부의 분산은 작아지도록 상기 CNN 모듈의 학습을 유도하는 각각의 임베딩 로스를 생성한 후, (2) 각각의 상기 소프트맥스 로스 및 각각의 상기 임베딩 로스를 이용한 백프로파게이션을 통해 상기 CNN 모듈의 적어도 하나의 파라미터를 학습하도록 하는 프로세스를 수행하기 위한 상기 인스트럭션을 실행하도록 구성된 적어도 하나의 프로세서;
    를 포함하는 것을 특징으로 하는 학습 장치.
  6. 제 5 항에 있어서,
    Figure pat00046

    상기 임베딩 로스 각각은 상기 수식을 통해 산출되고,
    상기 입력 이미지가 상기 차선 및 적어도 하나의 배경 부분을 갖는 복수 개의 클러스터를 포함한다고 하면,
    Figure pat00047
    는 상기 입력 이미지 상의 상기 차선 및 상기 배경 부분을 포함하는 상기 클러스터의 개수,
    Figure pat00048
    는 각각의 상기 클러스터 안의 픽셀의 개수,
    Figure pat00049
    는 각각의 상기 클러스터에 포함된 픽셀 각각에 대응하는 소프트맥스 스코어의 각각의 평균,
    Figure pat00050
    는 각각의 상기 픽셀에 대응하는 상기 소프트맥스 스코어 및 각각의 상기 픽셀에 대응하는 상기
    Figure pat00051
    를 참조하여 산출된 분산 중 최대값,
    Figure pat00052
    는 서로 다른 클러스터에 대응하는
    Figure pat00053
    간의 차이 중 최소값을 의미하는 것을 특징으로 하는 학습 장치.
  7. 제 5항에 있어서,
    각각의 상기 다항 로지스틱 로스는 다음의 수식을 이용해 산출되고,
    Figure pat00054

    이 때, s는 상기 입력 이미지 한 개에 포함되는 상기 픽셀의 개수, l은 제i 픽셀이 이에 대응하는 GT 라벨 상에서 어떤 클러스터에 속하는지를 나타내는 원핫인코딩(One-Hot-Encoding) 벡터, P(i)는 상기 픽셀 각각에 대응하는 각각의 소프트맥스 스코어를 의미하는 것을 특징으로 하는 학습 장치.
  8. 적어도 하나의 차선을 가진 테스트 이미지를 세그멘테이션 하는 테스트 장치에 있어서,
    인스트럭션을 저장하는 적어도 하나의 메모리; 및
    학습 장치가, (1) CNN(Convolutional Neural Network) 모듈로 하여금 트레이닝 이미지에 대하여 컨벌루션 연산을 적어도 한 번 적용하도록 하여 학습용 특징 맵을 생성한 후, 상기 학습용 특징 맵에 대하여 디컨벌루션 연산을 적어도 한 번 적용하도록 하여 상기 트레이닝 이미지 상의 각각의 픽셀에 대한 학습용 세그멘테이션 스코어(Segmentation Score) 각각을 생성하도록 하고, (2) 상기 CNN 모듈로 하여금 상기 학습용 세그멘테이션 스코어 각각에 대하여 소프트맥스 연산(Softmax Operation)을 적어도 한 번 적용하도록 하여 학습용 소프트맥스 스코어 각각을 생성하도록 하고, (3) 상기 CNN 모듈로 하여금, (3-1) (i) 상기 학습용 소프트맥스 스코어 각각에 대하여 다항 로지스틱 로스 연산(Multinomial Logistic Loss Operation)을 적어도 한 번 적용하도록 하여 소프트맥스 로스 각각을 생성하도록 하고, (ii) 상기 학습용 소프트맥스 스코어 각각에 대하여 픽셀 임베딩 연산(Pixel Embedding Operation)을 적어도 한 번 적용하도록 하여, 상기 차선 각각의 상기 학습용 세그멘테이션 스코어의 각각의 평균 중 다른 차선 간의 평균의 차이는 커지도록 하고 상기 차선 각각의 상기 학습용 세그멘테이션 스코어의 분산 중 각각의 동일 차선 내부의 분산은 작아지도록 상기 CNN 모듈의 학습을 유도하는 각각의 임베딩 로스를 생성한 후, (3-2) 각각의 상기 소프트맥스 로스 및 각각의 상기 임베딩 로스를 이용한 백프로파게이션을 통해 상기 CNN 모듈의 적어도 하나의 파라미터를 학습하도록 한 상태에서, (I) 상기 CNN 모듈로 하여금 상기 테스트 이미지에 대하여 컨벌루션 연산을 적용하도록 하여 테스트용 특징 맵을 생성한 후, 상기 테스트용 특징 맵에 대하여 디컨벌루션 연산을 적용하도록 하여 상기 테스트 이미지 상의 각각의 픽셀에 대한 테스트용 세그멘테이션 스코어 각각을 생성하도록 하는 프로세스, 및 (II) 상기 CNN 모듈로 하여금 상기 테스트용 세그멘테이션 스코어 각각에 대하여 소프트맥스 연산을 적용하도록 하여 테스트용 소프트맥스 스코어 각각을 생성하도록 하는 프로세스를 수행하기 위한 상기 인스트럭션을 실행하도록 구성된 적어도 하나의 프로세서;
    를 포함하는 것을 특징으로 하는 테스트 장치.
KR1020190119515A 2019-01-23 2019-09-27 자율주행 자동차의 레벨 4를 충족시키기 위해 필요한 hd 지도와의 콜라보레이션을 지원하는 임베딩 로스 및 소프트맥스 로스를 이용하여 적어도 하나의 차선을 가지는 이미지를 세그멘테이션하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치 KR102252155B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/255,339 2019-01-23
US16/255,339 US10311578B1 (en) 2019-01-23 2019-01-23 Learning method and learning device for segmenting an image having one or more lanes by using embedding loss to support collaboration with HD maps required to satisfy level 4 of autonomous vehicles and softmax loss, and testing method and testing device using the same

Publications (2)

Publication Number Publication Date
KR20200091781A true KR20200091781A (ko) 2020-07-31
KR102252155B1 KR102252155B1 (ko) 2021-05-17

Family

ID=66673298

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190119515A KR102252155B1 (ko) 2019-01-23 2019-09-27 자율주행 자동차의 레벨 4를 충족시키기 위해 필요한 hd 지도와의 콜라보레이션을 지원하는 임베딩 로스 및 소프트맥스 로스를 이용하여 적어도 하나의 차선을 가지는 이미지를 세그멘테이션하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치

Country Status (5)

Country Link
US (1) US10311578B1 (ko)
EP (1) EP3686842B1 (ko)
JP (1) JP6916548B2 (ko)
KR (1) KR102252155B1 (ko)
CN (1) CN111476811B (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10890916B2 (en) * 2019-01-30 2021-01-12 StradVision, Inc. Location-specific algorithm selection for optimized autonomous driving
US10776673B2 (en) * 2019-01-31 2020-09-15 StradVision, Inc. Learning method and learning device for sensor fusion to integrate information acquired by radar capable of distance estimation and information acquired by camera to thereby improve neural network for supporting autonomous driving, and testing method and testing device using the same
CN112241728B (zh) * 2020-10-30 2023-04-07 中国科学院合肥物质科学研究院 采用注意力机制学习上下文信息的实时车道线检测方法及系统
CN112329908A (zh) * 2021-01-04 2021-02-05 中国人民解放军国防科技大学 一种用于神经网络模型测试的图像生成方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160053729A (ko) * 2014-11-05 2016-05-13 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 이미지 세그멘테이션 방법 및 이미지 세그멘테이션 장치
US20170287137A1 (en) * 2016-03-31 2017-10-05 Adobe Systems Incorporated Utilizing deep learning for boundary-aware image segmentation

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11074495B2 (en) * 2013-02-28 2021-07-27 Z Advanced Computing, Inc. (Zac) System and method for extremely efficient image and pattern recognition and artificial intelligence platform
US9558268B2 (en) * 2014-08-20 2017-01-31 Mitsubishi Electric Research Laboratories, Inc. Method for semantically labeling an image of a scene using recursive context propagation
US10387773B2 (en) * 2014-10-27 2019-08-20 Ebay Inc. Hierarchical deep convolutional neural network for image classification
CN107438754A (zh) * 2015-02-10 2017-12-05 御眼视觉技术有限公司 用于自主车辆导航的稀疏地图
JP6663926B2 (ja) * 2015-05-13 2020-03-13 グーグル エルエルシー ＤｅｅｐＳｔｅｒｅｏ：実世界の画像から新たなビューを予測するための学習
US9633282B2 (en) * 2015-07-30 2017-04-25 Xerox Corporation Cross-trained convolutional neural networks using multimodal images
US9710714B2 (en) * 2015-08-03 2017-07-18 Nokia Technologies Oy Fusion of RGB images and LiDAR data for lane classification
US9767381B2 (en) * 2015-09-22 2017-09-19 Xerox Corporation Similarity-based detection of prominent objects using deep CNN pooling layers as features
US9965705B2 (en) * 2015-11-03 2018-05-08 Baidu Usa Llc Systems and methods for attention-based configurable convolutional neural networks (ABC-CNN) for visual question answering
US9773196B2 (en) * 2016-01-25 2017-09-26 Adobe Systems Incorporated Utilizing deep learning for automatic digital image segmentation and stylization
US9830529B2 (en) * 2016-04-26 2017-11-28 Xerox Corporation End-to-end saliency mapping via probability distribution prediction
US9947102B2 (en) * 2016-08-26 2018-04-17 Elekta, Inc. Image segmentation using neural network method
US10345449B2 (en) * 2016-12-02 2019-07-09 Verizon Connect Ireland Limited Vehicle classification using a recurrent neural network (RNN)
US9953236B1 (en) * 2017-03-10 2018-04-24 TuSimple System and method for semantic segmentation using dense upsampling convolution (DUC)
GB201709672D0 (en) * 2017-06-16 2017-08-02 Ucl Business Plc A system and computer-implemented method for segmenting an image
US9947103B1 (en) * 2017-10-03 2018-04-17 StradVision, Inc. Learning method and learning device for improving image segmentation and testing method and testing device using the same
US10095977B1 (en) * 2017-10-04 2018-10-09 StradVision, Inc. Learning method and learning device for improving image segmentation and testing method and testing device using the same
US10089743B1 (en) * 2017-10-05 2018-10-02 StradVision, Inc. Method for segmenting an image and device using the same
CN108470320B (zh) * 2018-02-24 2022-05-20 中山大学 一种基于cnn的图像风格化方法及系统
US10140544B1 (en) * 2018-04-02 2018-11-27 12 Sigma Technologies Enhanced convolutional neural network for image segmentation
GB201809604D0 (en) * 2018-06-12 2018-07-25 Tom Tom Global Content B V Generative adversarial networks for image segmentation
CN109145939B (zh) * 2018-07-02 2021-11-02 南京师范大学 一种小目标敏感的双通道卷积神经网络语义分割方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160053729A (ko) * 2014-11-05 2016-05-13 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 이미지 세그멘테이션 방법 및 이미지 세그멘테이션 장치
US20170287137A1 (en) * 2016-03-31 2017-10-05 Adobe Systems Incorporated Utilizing deep learning for boundary-aware image segmentation

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"ClusterNet: Instance Segmentation in RGB-D Images", ARXIV.ORG, 24 July 2018 *
"Towards End-to-End Lane Detection: an Instance Segmentation Approach", 2018 IEEE Intelligent Vehicles Symposium(pp. 286-291), 26 June 2018 *

Also Published As

Publication number Publication date
US10311578B1 (en) 2019-06-04
CN111476811A (zh) 2020-07-31
JP2020119531A (ja) 2020-08-06
JP6916548B2 (ja) 2021-08-11
CN111476811B (zh) 2023-08-29
EP3686842A1 (en) 2020-07-29
EP3686842B1 (en) 2022-07-13
KR102252155B1 (ko) 2021-05-17

Similar Documents

Publication Publication Date Title
KR102280395B1 (ko) 차선 후보 픽셀의 분류를 통해 차선을 검출하는 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
KR102337376B1 (ko) 레인 마스크(Lane Mask)를 사용하여 후처리 없이 입력 이미지에 포함된 하나 이상의 차선을 검출하는 방법 및 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
KR20200027428A (ko) 에지 이미지를 이용하여 객체를 검출하는 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
KR102313119B1 (ko) 자율주행 자동차의 레벨 4를 충족시키기 위해 요구되는 hd 맵 업데이트에 이용될 적어도 하나의 어댑티브 로스 가중치 맵을 이용한 어텐션 드리븐 이미지 세그먼테이션 학습 방법 및 학습 장치, 그리고 이를 이용한 테스팅 방법 및 테스팅 장치
KR102337358B1 (ko) 모바일 장치 또는 소형 네트워크에 적용 가능한 하드웨어를 최적화하는데 사용될 수 있는 roi를 풀링하기 위하여, 마스킹 파라미터를 이용하는 방법 및 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
KR102296509B1 (ko) 자율 주행 자동차의 레벨 4를 충족시키기 위해 영역의 클래스에 따라 모드를 전환하여 그리드 셀 별로 가중 컨벌루션 필터를 이용한 감시용 이미지 세그멘테이션 방법 및 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
KR20200091781A (ko) 자율주행 자동차의 레벨 4를 충족시키기 위해 필요한 hd 지도와의 콜라보레이션을 지원하는 임베딩 로스 및 소프트맥스 로스를 이용하여 적어도 하나의 차선을 가지는 이미지를 세그멘테이션하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
CN107480726A (zh) 一种基于全卷积和长短期记忆单元的场景语义分割方法
KR20200047307A (ko) 유용한 학습 데이터를 취사 선별하기 위한 cnn 기반 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
US10551845B1 (en) Method and computing device for generating image data set to be used for hazard detection and learning method and learning device using the same
KR102314524B1 (ko) 자율 주행 상황에서 장애물 검출을 위한 cnn 학습용 이미지 데이터 세트의 생성 방법 및 컴퓨팅 장치
JP2020068013A (ja) 障害物の下段ラインを基準にｒｏｉを検出する学習方法及び学習装置、そしてこれを利用したテスト方法及びテスト装置｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ， ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｄｅｔｅｃｔｉｎｇ ｒｏｉ ｏｎ ｔｈｅ ｂａｓｉｓ ｏｆ ｂｏｔｔｏｍ ｌｉｎｅｓ ｏｆ ｏｂｓｔａｃｌｅｓ ａｎｄ ｔｅｓｔｉｎｇ ｍｅｔｈｏｄ，ｔｅｓｔｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
US11113574B1 (en) Methods for performing self-supervised learning of deep-learning based detection network by using deep Q-network and devices using the same
KR20200027889A (ko) CNN(Convolutional Neural Network)을 사용하여 차선을 검출하기 위한 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
JP2020038663A (ja) 障害物を検出する学習方法及び学習装置そしてこれを利用したテスト方法及びテスト装置｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ， ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｄｅｔｅｃｔｉｎｇ ｏｂｓｔａｃｌｅｓ ａｎｄ ｔｅｓｔｉｎｇ ｍｅｔｈｏｄ， ｔｅｓｔｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
KR20200027888A (ko) 차선 모델을 이용하여 차선을 검출할 수 있는 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
CN111488786B (zh) 基于cnn的监视用客体检测器的方法及装置
KR20200047304A (ko) 근접 장애물의 하단 라인과 상단 라인을 검출하여 객체 존재성을 검출하는 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
KR20200031994A (ko) Cnn 기반 차선 검출을 위한 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
KR20200047305A (ko) 리그레션 로스(Regression loss)를 이용한 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
US10373004B1 (en) Method and device for detecting lane elements to plan the drive path of autonomous vehicle by using a horizontal filter mask, wherein the lane elements are unit regions including pixels of lanes in an input image

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20190927

PA0201 Request for examination
PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20210223

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20210510

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20210511

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20240221

Start annual number: 4

End annual number: 4