KR20200115705A - 자율주행용 클래스 레이블링 장치 - Google Patents

자율주행용 클래스 레이블링 장치 Download PDF

Info

Publication number
KR20200115705A
KR20200115705A KR1020190027201A KR20190027201A KR20200115705A KR 20200115705 A KR20200115705 A KR 20200115705A KR 1020190027201 A KR1020190027201 A KR 1020190027201A KR 20190027201 A KR20190027201 A KR 20190027201A KR 20200115705 A KR20200115705 A KR 20200115705A
Authority
KR
South Korea
Prior art keywords
unit
bounding box
task unit
segmentation
autonomous driving
Prior art date
Application number
KR1020190027201A
Other languages
English (en)
Other versions
KR102177880B1 (ko
Inventor
이동열
이진언
길호평
김병민
박상우
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020190027201A priority Critical patent/KR102177880B1/ko
Priority to US16/809,540 priority patent/US11386674B2/en
Priority to CN202010148436.0A priority patent/CN111666805B/zh
Publication of KR20200115705A publication Critical patent/KR20200115705A/ko
Application granted granted Critical
Publication of KR102177880B1 publication Critical patent/KR102177880B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06K9/00791—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06K9/627—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Mechanical Engineering (AREA)
  • Electromagnetism (AREA)
  • Biophysics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Remote Sensing (AREA)
  • Biomedical Technology (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

자율주행용 클래스 레이블링 장치가 개시된다. 본 발명의 자율주행용 클래스 레이블링 장치는 카메라에 의해 촬영된 영상에서 자율주행에 필요한 객체를 디텍션하여 객체에 대한 바운딩 박스를 생성하고 각 객체에 대한 속성정보를 검출하는 디텍션 모듈; 상기 디텍션 모듈에 의해 검출된 상기 바운딩 박스의 모든 픽셀들에 대해 클래스를 결정하고, 결정된 클래스 중 적어도 하나 이상을 돈 케어(Don't care) 처리하는 세그먼테이션 모듈; 및 상기 디텍션 모듈에 의해 검출된 상기 바운딩 박스를 이용하여 차선 및 도로 경계 중 적어도 하나를 검출하는 레인 로드 바운더리 검출 모듈을 포함하는 것을 특징으로 한다.

Description

자율주행용 클래스 레이블링 장치{CLASS LABELING APPARATUS FOR AUTONOMOUS DRIVING}
본 발명은 자율주행용 클래스 레이블링 장치에 관한 것으로서, 더욱 상세하게는 딥러닝을 기반으로 차량의 자율주행에 필요한 클래스들을 정확하게 인식하여 자동으로 레이블링하는 자율주행용 클래스 레이블링 장치에 관한 것이다.
자율주행에서 영상인식은 차량, 보행자, 신호등, 차선, 횡단보도 등 다양한 객체를 인식하는 것으로, 각 객체의 상대적 위치, 속도, 크기와 같은 다양한 속성까지 그 대상으로 한다. 대상 및 속성의 다양성으로 인해 다른 인식 영역과 비교하여 보다 많은 어려움이 있다. 그러나 학습 데이터의 충분한 다양성과 보유량을 갖춘다면 자율주행 영상인식분야 또한 딥러닝 기술로 해결이 가능할 것으로 예측되고 있다.
그러나 국가별 지리적 특성 및 법규 특성이 다르기 때문에 학습 데이터를 취득하는 것은 어려운 문제이다. 일 예로 Cityscape, KITTI와 같은 학습데이터는 국내의 도로 상황과는 많은 차이가 있어 국내의 도로에서 바로 활용되는 것에는 어려움이 있다.
데이터 취득의 중요성에도 불구하고 몇몇의 선진 업체를 제외하고는 자율주행을 위한 인식 대상범위 및 학습 데이터 기술 취득 전략은 불명확하거나 일부 주요 기술 개발에만 국한되어 있다. 특히 대부분의 경우 수동 annotation 툴을 사용하여 데이터의 레이블링(labeling)으로 비효율적으로 진행하고 있다. 이 경우 요구되는 레이블링 방식 또는 법규의 변화에 따라 다시 애노테이션(annotation)을 해야 하는 번거로움으로 인해 상당한 자원이 소모된다.
최근 들어, Semi-automated annotation툴을 통해 Apolloscape와 BDD dataset이 공개되었다. Semi-automated annotation툴은 기존에 가장 많이 사용되던 Cityscape와 KITTI와 비교하면 상당히 혁신적인 방법임에는 분명하나 아직 주요 객체 검출만을 목적으로 하고 있어 여전히 인식대상이 부족한 측면이 있다. 즉, 교통 신호등(traffic sign)이나 차량 램프(Vehicle lamp) 등과 같이 사람과 비교하여 운전에 필수적인 정보들이 검출대상에서 제외되어 있으며, 애노테이션하는데 있어 계속적으로 상당한 인적 자원과 시간적 자원이 소모되는 실정이다.
본 발명의 배경기술은 대한민국 공개특허공보 10-2018-0097966호(2018.09.03)의 '자율 주행을 위한 영상 처리 방법 및 장치'에 개시되어 있다.
본 발명은 전술한 문제점을 개선하기 위해 창안된 것으로서, 본 발명의 일 측면에 따른 목적은 딥러닝을 기반으로 차량의 자율주행에 필요한 클래스들을 정확하게 인식하여 자동으로 레이블링하는 자율주행용 클래스 레이블링 장치를 제공하는 데 있다.
본 발명의 일 측면에 따른 자율주행용 클래스 레이블링 장치는 카메라에 의해 촬영된 영상에서 자율주행에 필요한 객체를 디텍션하여 객체에 대한 바운딩 박스를 생성하고 각 객체에 대한 속성정보를 검출하는 디텍션 모듈; 상기 디텍션 모듈에 의해 검출된 상기 바운딩 박스의 모든 픽셀들에 대해 클래스를 결정하고, 결정된 클래스 중 적어도 하나 이상을 돈 케어(Don't care) 처리하는 세그먼테이션 모듈; 및 상기 디텍션 모듈에 의해 검출된 상기 바운딩 박스를 이용하여 차선 및 도로 경계 중 적어도 하나를 검출하는 레인 로드 바운더리 검출 모듈을 포함하는 것을 특징으로 한다.
본 발명의 상기 디텍션 모듈은 상기 카메라에 의해 획득된 영상을 분석하여 객체를 검출하고, 검출된 객체 각각에 상기 바운딩 박스를 검출하는 디텍션부; 상기 디텍션부에 의해 상기 바운딩 박스로 검출된 객체별로 서브속성을 검출하는 클래시피케이션 태스크부; 상기 디텍션부에 의해 검출된 상기 바운딩 박스를 크롭하여 상기 바운딩 박스 내 객체와 관련된 픽셀을 검출하는 인스턴스 세그먼테이션 태스크부; 상기 디텍션부에 의해 검출된 상기 바운딩 박스의 객체와의 거리를 라이다로부터부터 입력된 거리값을 이용하여 검출하는 거리값 리그레션 태스크부; 및 상기 디텍션부에 의해 상기 바운딩 박스로 검출된 차량 및 보행자 중 적어도 하나의 위치를 예측하는 트래킹 태스크부를 포함하는 것을 특징으로 한다.
본 발명의 상기 디텍션부는 상기 바운딩 박스를 필요로 하는 객체들의 위치에 대한 영상 내 좌표를 검출하는 것을 특징으로 한다.
본 발명의 상기 좌표는 상기 바운딩 박스의 좌상단과 상기 바운딩 박스의 폭과 높이로 표현되는 것을 특징으로 한다.
본 발명의 상기 클래시피케이션 태스크부는 객체 중 표지판의 서브속성을 검출하는 것을 특징으로 한다.
본 발명의 상기 거리값 리그레션 태스크부는 상기 바운딩 박스의 좌표값과 관련된 포인트 클라우드 좌표값을 추출하고, 좌표값 중에 차량과 최소 거리를 갖는 값을 객체의 거리값으로 결정하는 것을 특징으로 한다.
본 발명의 상기 클래시피케이션 태스크부, 상기 인스턴스 세그먼테이션 태스크부, 상기 거리값 리그레션 태스크부 및 상기 트래킹 태스크부 중 적어도 하나는 Multi-scale 및 모든 영역 방향으로　shift data augmention을 수행하여 각 네트워크들을 학습시키는 것을 특징으로 한다.
본 발명의 상기 클래시피케이션 태스크부, 상기 인스턴스 세그먼테이션 태스크부, 상기 거리값 리그레션 태스크부 및 상기 트래킹 태스크부 중 적어도 하나는 zero shot learning, one shot learning 및 low shot learning 기술 중 적어도 하나를 이용하여 네트워크를 학습시키는 것을 특징으로 한다.
본 발명의 상기 클래시피케이션 태스크부, 상기 인스턴스 세그먼테이션 태스크부, 상기 거리값 리그레션 태스크부 및 상기 트래킹 태스크부 중 적어도 하나는 left rotation, right rotation 및 flip rotation 중 적어도 하나의 방식을 이용하는 ensemble 기법을 적용하여 네트워크를 학습시키는 것을 특징으로 한다.
본 발명의 상기 세그먼테이션 모듈은 상기 카메라에 의해 촬영된 이미지의 모든 픽셀들에 대해 각 픽셀들의 클래스를 결정하는 세그먼테이션부; 및 상기 세그먼테이션부에 의해 결정된 영역 중 적어도 하나를 돈 케어 처리하는 돈 케어 처리부를 포함하는 것을 특징으로 한다.
본 발명의 상기 돈 케어 처리부는 원본 이미지에서 돈 케어로 판단되는 바운딩 박스를 검출하여 세그먼테이션 이미지를 생성하고, 생성된 세그먼테이션 이미지의 데이터셋와 휴먼 레이블러가 레이블한 데이터셋을 각각 학습시켜 성능 평가 결과를 비교하고, 비교 결과에 따라 세그먼테이션 이미지의 데이터셋이 휴먼 레이블러가 생성한 데이터셋보다 인식 성능이 향상시킬 때까지 반복 학습시키는 것을 특징으로 한다.
본 발명의 상기 레인 로드 바운더리 검출부는 인스턴스 딥러닝 네트워크를 활용하여 상기 카메라에 의해 촬영된 이미지에서 pixel-wise class 및 instance output을 출력하는 프리 인스턴스 세그먼테이션부; 및 상기 프리 인스턴스 세그먼테이션부로부터 출력된 pixel-wise class 및 instance output을 통해 레인 또는 도로 형태에 대한 B-스플라인을 디텍션하는 B-스플라인 디텍션부를 포함하는 것을 특징으로 한다.
본 발명의 일 측면에 따른 자율주행용 클래스 레이블링 장치는 자율주행에 필요한 양질의 학습 데이터를 자동으로 확보할 수 있도록 한다.
본 발명의 다른 측면에 따른 자율주행용 클래스 레이블링 장치는 기존의 수동 애노테이션 툴을 이용하지 않고 자동화된 레이블링을 수행하여 레이블링 방식 또는 법규의 변화에 따라 애노테이션을 다시 수행하는 번거로움을 미연에 해소할 수 있고, 기존의 수동 애노테이션 툴을 이용하는 방식에 비해 학습 데이터의 생산 속도를 크게 향상시킬 수 있다.
본 발명의 또 다른 측면에 따른 자율주행용 클래스 레이블링 장치는 일반적인 도로 환경(포장, 비포장, 교외, 도심지 등) 및 다양한 날씨에도 자율주행에 필수적인 모든 객체를 인식할 수 있다.
본 발명의 또 다른 측면에 따른 자율주행용 클래스 레이블링 장치는 딥러닝 기반의 자동 추론작업을 통해 데이터 스페시피케이션(Specification)의 변경시에도 애노테이션 데이터 재생성에 필요한 시간을 최소화시킬 수 있다.
도 1 은 본 발명의 일 실시예에 따른 자율주행용 클래스 레이블링 장치의 블럭 구성도이다.
도 2 는 본 발명의 일 실시예에 따른 클래스의 예시도이다.
도 3 은 본 발명의 일 실시예에 따른 이미지 내 바운딩 박스로 검출된 각 객체의 예를 나타낸 도면이다.
도 4 는 본 발명의 일 실시예에 따른 바운딩 박스로 검출된 각 객체의 서브 속성을 검출하는 예를 나타낸 도면이다.
도 5 는 본 발명의 일 실시예에 따른 노운 프라이어 기반 세그먼테이션 예를 나타낸 도면이다.
도 6 은 본 발명의 일 실시예에 따른 돈 케어 대상의 예를 나타낸 도면이다.
도 7 은 본 발명의 일 실시예에 따른 돈 케어 처리부의 동작을 개념적으로 나타낸 도면이다.
도 8 은 본 발명의 일 실시예에 따른 레인 로드 바운더리 검출부의 동작을 개념적으로 나타낸 도면이다.
이하에서는 본 발명의 일 실시예에 따른 자율주행용 레이블링 장치를 첨부된 도면들을 참조하여 상세하게 설명한다. 이러한 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 이용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야할 것이다.
본 명세서에서 설명된 구현은, 예컨대, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호로 구현될 수 있다. 단일 형태의 구현의 맥락에서만 논의(예컨대, 방법으로서만 논의)되었더라도, 논의된 특징의 구현은 또한 다른 형태(예컨대, 장치 또는 프로그램)로도 구현될 수 있다. 장치는 적절한 하드웨어, 소프트웨어 및 펌웨어 등으로 구현될 수 있다. 방법은, 예컨대, 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그래밍가능한 로직 디바이스 등을 포함하는 프로세싱 디바이스를 일반적으로 지칭하는 프로세서 등과 같은 장치에서 구현될 수 있다. 프로세서는 또한 최종-사용자 사이에 정보의 통신을 용이하게 하는 컴퓨터, 셀 폰, 휴대용/개인용 정보 단말기(personal digital assistant: "PDA") 및 다른 디바이스 등과 같은 통신 디바이스를 포함한다.
도 1 은 본 발명의 일 실시예에 따른 자율주행용 클래스 레이블링 장치의 블럭 구성도이고, 도 2 는 본 발명의 일 실시예에 따른 클래스의 예시도이며, 도 3 은 본 발명의 일 실시예에 따른 영상 내 바운딩 박스로 검출된 각 객체의 예를 나타낸 도면이며, 도 4 는 본 발명의 일 실시예에 따른 바운딩 박스로 검출된 각 객체의 서브 속성을 검출하는 예를 나타낸 도면이며, 도 5 는 본 발명의 일 실시예에 따른 노운 프라이어 기반 세그먼테이션 예를 나타낸 도면이며, 도 6 은 본 발명의 일 실시예에 따른 돈 케어 대상의 예를 나타낸 도면이며, 도 7 은 본 발명의 일 실시예에 따른 돈 케어 처리부의 동작을 개념적으로 나타낸 도면이며, 도 8 은 본 발명의 일 실시예에 따른 레인 로드 바운더리 검출부의 동작을 개념적으로 나타낸 도면이다.
도 1 을 참조하면, 본 발명의 일 실시예에 따른 자율주행용 클래스 레이블링 장치는 딥러닝을 기반으로 차량의 자율주행에 필요한 클래스들을 정확하게 인식하여 자동으로 레이블링하는 것으로써, 카메라(10), 라이다(LiDAR, Light Detection And Ranging)(20), 디텍션(Detection) 모듈(30), 세그먼테이션(Segmentation) 모듈(40), 및 레인 로드 바운더리(Lane road boundary) 검출 모듈(50)을 포함한다.
클래스는 차량의 자율주행에 객체를 분류한 것으로써, 도 2 에 도시된 바와 같다.
도 2 를 참조하면, 클래스에는 Vehicle, Indicator Status, Pedestrian, Human pose(or Hand gesture), Cyclist, Motorcyclist, Headlight/ Taillight, Unknown, Moving Object, Traffic Sign, Traffic Light, Structural Element, Road Hazard, Road Roughness 등이 포함될 수 있다.
클래스는 상기한 실시예에 한정되는 것은 아니며, 더욱 세분화된 클래스로도 분류될 수 있다.
카메라(10)는 차량에 설치되어 차량 주변을 촬영하고 촬영된 영상을 디텍션 모듈(20), 세그먼테이션 모듈(40) 및 레인 로드 바운더리 검출 모듈(50) 중 적어도 하나에 입력한다.
카메라(10)는 좌측 전방 카메라, 중앙 전방 카메라, 우측 전방 카메라 및 후방 카메라를 포함한 복수 개가 구비될 수 있는데, 본 실시예에서 카메라(10)는 차량의 전방유리 안쪽의 중앙위에 장착될 수 있으며, 카메라(10)를 통해 취득되는 시간당 최대 데이터량은 480Tbyte일 수 있다.
카메라(10)를 통해 수집되는 영상에는 차량이 주행중인 도로와 주변 차량 등에 대한 정보 뿐만 아니라, 주변의 환경과 조명 및 날씨 등에 대한 정보도 수집될 수 있다. 예를 들어, 주변의 지형지물과 건물, 도로 표지판, 교통 표지판, 밝기, 낮과 밤, 맑은 날, 흐린 날, 안개, 눈, 비 등의 날씨에 대한 정보도 수집될 수 있다.
라이다(20)는 광을 조사하여 주변에 존재하는 객체와의 거리를 측정하고, 측정된 각 객체와의 거리를 디텍션 모듈(20), 세그먼테이션 모듈(40) 및 레인 로드 바운더리 검출 모듈(50) 중 적어도 하나에 입력한다. 본 실시예에서, 라이다(20)를 통해 회득될 수 있는 시간당 최대 데이터량은 46Tbyte일 수 있다.
라이다(20)는 객체와의 거리를 정확하고 빠르게 얻을 수 있기 때문에 위치 인식, 장애물 감지, 이동 물체 추적에 이용될 수 있다. 또한, 라이다(20)는 광을 조사하는 각도를 조절하여 한 번의 스캔으로 복수 개 객체와의 거리를 얻을 수 있다.
디텍션 모듈(20)은 카메라(10)로부터 입력된 영상 내 각 객체에 대해 자율주행에 필요한 객체를 디텍션하여 객체에 대한 바운딩 박스를 출력함과 더불어 각 객체에 대한 속성정보를 검출한다.
디텍션 모듈(20)은 디텍션부(31), 클래시피케이션 태스크부(Classification task)(32), 인스턴스 세그먼테이션(Instance segmentation) 태스크부(32), 거리값 리그레션(Regression) 태스크부(34) 및 트래킹(Tracking) 태스크부(35)를 포함한다.
디텍션부(31)는 도 3 에 도시된 바와 같이 카메라(10)에 의해 획득된 영상을 분석하여 각 객체를 검출하고, 검출된 각 객체의 바운딩 박스(Bounding Box)를 생성한다. 이 경우, 디텍션부(31)는 검출된 바운딩 박스를 필요로 하는 객체들의 위치에 대한 영상 내 좌표를 검출한다.
영상 내 각 바운딩 박스의 좌표값은 바운딩 박스의 좌상단과 바운딩 박스의 폭과 높이로 표현될 수 있다.
이와 같이, 디텍션부(31)에 의해 바운딩 박스가 생성되면, 클래시피케이션 태스크부(32), 인스턴스 세그먼테이션 태스크부(33), 거리값 리그레션 태스크부(34) 및 트래킹 태스크부(35) 각각은 검출된 바운딩 박스에 대해 트레이닝(Training) 및 인퍼런싱(Inferencing)을 수행하여 해당 클래스들의 모든 속성정보를 각각 검출한다. 여기서, 바운딩 박스에 대해 트레이닝(Training) 및 인퍼런싱(Inferencing)을 수행하는 것에 대해서는 후술한다.
먼저, 클래시피케이션 태스크부(32)는 도 4 에 도시된 바와 같이 디텍션부(31)에 의해 바운딩 박스로 검출된 객체별로 서브속성을 검출한다.
예를 들어, 클래시피케이션 태스크부(32)에 의해 서브속성이 검출될 수 있는 객체로는 표지판이 있으며, 이러한 표지판은 과속 제한 표지판인지 공사 안내 표지판인지 등으로 서브속성이 검출될 수 있다.
인스턴스 세그먼테이션 태스크부(33)는 디텍션부(31)에 의해 검출된 바운딩 박스를 크롭(Crop)하여 객체와 관련된 픽셀과 관련없는 픽셀들로 구분하고, 이 중 객체와 관련된 픽셀들만을 검출한다.
거리값 리그레션 태스크부(34)는 디텍션부(31)에 의해 검출된 바운딩 박스의 좌표값과 관련된 포인트 클라우드 좌표값을 추출하고, 이들 포인트 클라우드 좌표값 중 차량과 최소 거리(Distance)를 갖는 좌표값을 해당 객체의 거리값으로 결정한다.
통상적으로, Traffic Sign이나 Traffic light의 경우, 라이다(20)에 의해 검출된 센싱 정보에 해당 시점의 포인트 클라우드 3D 좌표값이 포함되어 있다.
이에, 거리값 리그레션 태스크부(34)는 상기한 라이다(20)로 검출된 센싱정보를 이용하여 바운딩 박스의 좌표값과 관련된 포인트 클라우드 좌표값을 추출하고, 이들 포인트 클라우드 좌표값 중 차량과 최소 거리(Distance)를 갖는 값을 해당 객체의 거리값으로 결정할 수 있다.
트래킹 태스크부(35)는 디텍션부(31)에 의해 바운딩 박스로 검출된 차량 및 보행자의 위치를 예측한다. 즉, 트래킹 태스크부(35)는 디텍션부(31)에 의해 바운딩 박스로 차량 및 보행자가 검출되면 멀티 이미지 시퀀스 정보를 활용하여 상기한 차량 및 보행자의 움직임을 추적하여 차량 및 보행자의 미래의 위치 및 행동을 예측한다.
여기서, 상기한 클래시피케이션 태스크부(32), 인스턴스 세그먼테이션 태스크부(33), 거리값 리그레션 태스크부(34) 및 트래킹 태스크부(35) 각각은 상기한 바와 같은 속성정보를 검출하기 위해, 바운딩 박스에 대해 트레이닝 및 인퍼런싱을 수행한다.
클래시피케이션 태스크부(32), 인스턴스 세그먼테이션 태스크부(33), 거리값 리그레션 태스크부(34) 및 트래킹 태스크부(35) 각각은 이미지에서 객체의 모든 크기 및 위치를 적절히 검출하기 위하여, Multi-scale 및 모든 영역 방향으로　shift data augmention을 수행하여 각 네트워크들을 학습시키는 방식으로 트레이닝을 수행한다. 　
즉, 클래시피케이션 태스크부(32), 인스턴스 세그먼테이션 태스크부(33), 거리값 리그레션 태스크부(34) 및 트래킹 태스크부(35) 각각은 하나의 이미지를 여러 사이즈로　리사이즈(resize)하여 네트워크를 학습시키고,　또한 여러 방향으로　쉬프트(shift)시켜(쉬프트　과정에서 일부 이미지는 소실되고 일부 이미지는 제로 패딩(zero padding)됨)　학습시킨다.
또한, 실차 로깅 데이터를 취득하고 레이블링된 데이터를 얻는데에는 상당한 시간이 걸릴 뿐만이 아니라 다양한 데이터를 얻기 어렵기 때문에, 클래시피케이션 태스크부(32), 인스턴스 세그먼테이션 태스크부(33), 거리값 리그레션 태스크부(34) 및 트래킹 태스크부(35) 각각은 시뮬레이션 툴(simultation tool)을 사용하여 시나리오 베이스로 다양한 영상 및 레이블링 데이터를 얻을 수 있다. 이후 이 데이터를 실차 데이터의 domain으로 conversion하여 네트워크의 학습이미지로 사용한다.
딥러닝 기술 중　supervised learning의 가장 큰 단점은 데이터를 학습시키는데 너무나 많은 데이터가 필요하다는 것이다. 이에, 클래시피케이션 태스크부(32), 인스턴스 세그먼테이션 태스크부(33), 거리값 리그레션 태스크부(34) 및 트래킹 태스크부(35) 각각은 zero shot learning, one shot learning 및 low shot learning 기술을 적용하여 인퍼런싱을 수행한다.
즉, 클래시피케이션 태스크부(32), 인스턴스 세그먼테이션 태스크부(33), 거리값 리그레션 태스크부(34) 및 트래킹 태스크부(35) 각각은 네트워크 학습을 위해 사용될 수 있는 이미지가 적은 상황에서, 한 장의 이미지나 zero image 또는 몇 개의 이미지만을 학습에 사용하여 네트워크를 개발할 수 있다.
또한, 네트워크의 성능을 극도로 향상시키기 위하여, 클래시피케이션 태스크부(32), 인스턴스 세그먼테이션 태스크부(33), 거리값 리그레션 태스크부(34) 및 트래킹 태스크부(35) 각각은 left rotation, right rotation 및 flip rotation 등의 방식으로 ensemble 기법을 적용하여 인퍼런싱 성능을 향상시킬 수 있다.
세그먼테이션 모듈(40)은 이미지의 모든 픽셀들에 대해 각 픽셀들의 클래스를 결정하고 이들 클래스 중 의미없는 클래스를 돈 케어 처리하는 것으로써, 세그먼테이션부(41) 및 돈 케어 처리부(42)를 포함한다.
세그먼테이션부(41)는 세그먼테이션 이미지의 모든 픽셀들에 대해 각 픽셀들의 클래스를 결정한다.
이러한 세그먼테이션부(41)는 사전 Key prior 기반 딥러닝 객체 인식 기술을 이용할 수 있다.
즉, 사전 Key prior 기반 딥러닝 객체 인식 기술은 Multi-stage 네트워크 단계에서 네트워크의 시너지 효과를 높이기 위하여 서로 다른 딥러닝 네트워크간의 출력 결과들을 공유하여 다른 네트워크에서 사용하는 방식으로써, 도 5 에 도시된 바와 같이 각 바운딩 박스에 대하여 박운딩 박스 정보 이외에 네트워크 중간 결과인 피쳐 맵(Feature map)과 클래스 정보가 검출되는데, 이들 피쳐 맵(Feature map)과 클래스 정보를 연관(Concatenate)시켜 학습시 해당 영역에 대한 인식 정확도를 높인다.
돈 케어 처리부(42)는 세그먼테이션부(41)에 의해 결정된 영역 중 의미없는 영역, 즉 이미지 품질이나 학습에 안좋은 영향을 줄 수 있는 영역을 찾아 돈 케어로 만든다.
즉, 돈 케어 처리부(42)는 도 6 에 도시된 바와 같이, 작은 차량이나 화질이 낮고 사람도 레이블 하기 어려운 객체에 대하여 학습에 사용하면 좋을지 안 좋을지 판단하기 어려운데 이를 딥러닝이 결정하여 학습과 평가가 필요 없다면 돈 케어로 자동 생성한다.
또한,. 객체 외에 이미지 내에서 배경 또는 알 수 없는 동적 물체들이 존재하는데, 돈 케어 처리부(42)는 이들 물체들을 학습과 평가에 사용할지 돈 케어로 레이블링하여 학습과 평가에 사용하지 않을지를 결정한다.
도 7 을 참조하면, 돈 케어 처리부(42)에서 제너레이터(Generator)는 원본 이미지에서 돈 케어로 판단되는 바운딩 박스(영역 또는 객체)를 검출하여 세그먼테이션 이미지를 생성한다. 이 경우, 제너레이터는 최초 세그먼테이션 이미지에 대해서는 돈 케어로 판단되는 바운딩 박스를 랜덤으로 생성한다.
이후, 디스크리미네이터(Discriminator)는 상기한 바와 같이 생성된 세그먼테이션 이미지(dataset)와 휴먼 레이블러(human labler)가 레이블한 데이터셋(dataset)들을 비교하여 비교 결과에 따라 제너레이터의 성능 향상시킨다.
즉, 디스크리미네이터는 target 임베딩 네트워크를 기준으로 성능을 향상시키는데, 해당 네트워크를 앞서 생성된 두 개의 데이터셋(세그먼테이션 이미지(dataset)와 휴먼 레이블러(human labler)가 레이블한 dataset)을 사용하여 각각 학습시킨 후 성능 평가 결과를 비교하고, 세그먼테이션 이미지(dataset)가 휴먼 레이블러가 생성한 데이터셋보다 인식 성능이 향상시킬 때까지 제너레이터를 반복 학습시킨다.
여기서, 타겟 임베딩 네트워크라는 하드웨어 제약하에서 동작하는 중형 이하의 딥러닝 네트워크이다.
레인 로드 바운더리 검출 모듈(50)은 디텍션부(31)에서 검출된 바운딩 박스를 이용하여 차선 및 도로 경계를 예측하는 것으로써, 프리 인스턴스 세그먼테이션부(51) 및 B-스플라인 디텍션부(52)를 포함한다.
도 8 을 참조하면, 프리 인스턴스 세그먼테이션부(51)는 DBSCAN과 end-to-end proposal free 방식의 인스턴스 딥러닝 네트워크를 활용하여 카메라(10)에 의해 촬영된 이미지에서pixel-wise class 및 instance output을 출력한다.
B-스플라인 디텍션부(52)는 프리 인스턴스 세그먼테이션부(51)에 의해 pixel-wise class 및 instance output을 출력하면 이 pixel-wise class 및 instance output을 통해 레인 또는 도로 형태에 대한 B-스플라인을 디텍션하는, 즉 B-스플라인의 컨트롤 포인트(Control point)들을 검출한다. 여기서, B-스플라인은 높은 자유도를 가져 다양한 레인이나 도로 형태를 나타낼 수 있다.
이와 같이, 본 발명의 일 실시예에 따른 자율주행용 클래스 레이블링 장치는 자율주행에 필요한 양질의 학습 데이터를 자동으로 확보할 수 있도록 한다.
또한, 본 발명의 일 실시예에 따른 자율주행용 클래스 레이블링 장치는 기존의 수동 애노테이션 툴을 이용하지 않고 자동화된 레이블링을 수행하여 레이블링 방식 또는 법규의 변화에 따라 애노테이션을 다시 수행하는 번거로움을 미연에 해소할 수 있고, 기존의 수동 애노테이션 툴을 이용하는 방식에 비해 학습 데이터의 생산 속도를 크게 향상시킬 수 있다.
또한, 본 발명의 일 실시예에 따른 자율주행용 클래스 레이블링 장치는 일반적인 도로 환경(포장, 비포장, 교외, 도심지 등) 및 다양한 날씨에도 자율주행에 필수적인 모든 객체를 인식할 수 있다.
또한, 본 발명의 일 실시예에 따른 자율주행용 클래스 레이블링 장치는 딥러닝 기반의 자동 추론작업을 통해 데이터 스페시피케이션(Specification)의 변경시에도 애노테이션 데이터 재생성에 필요한 시간을 최소화시킬 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며 당해 기술이 속하는 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의하여 정해져야할 것이다.
10: 카메라 20: 라이다
20: 디텍션 모듈 31: 디텍션부
32: 클래시피케이션 태스크부 33: 인스턴스 세그먼테이션 태스크부
34: 거리값 리그레션 태스크부 35: 트래킹 태스크부
40: 세그먼테이션 모듈 41: 세그먼테이션부
42: 돈 케어 처리부 50: 레인 로드 바운더리 검출 모듈
51: 프리 인스턴스 세그먼테이션부 52: B-스플라인 디텍션부

Claims (12)

  1. 카메라에 의해 촬영된 영상에서 자율주행에 필요한 객체를 디텍션하여 객체에 대한 바운딩 박스를 생성하고 각 객체에 대한 속성정보를 검출하는 디텍션 모듈;
    상기 디텍션 모듈에 의해 검출된 상기 바운딩 박스의 모든 픽셀들에 대해 클래스를 결정하고, 결정된 클래스 중 적어도 하나 이상을 돈 케어(Don't care) 처리하는 세그먼테이션 모듈; 및
    상기 디텍션 모듈에 의해 검출된 상기 바운딩 박스를 이용하여 차선 및 도로 경계 중 적어도 하나를 검출하는 레인 로드 바운더리 검출 모듈을 포함하는 자율주행용 클래스 레이블링 장치.
  2. 제 1 항에 있어서, 상기 디텍션 모듈은
    상기 카메라에 의해 획득된 영상을 분석하여 객체를 검출하고, 검출된 객체 각각에 상기 바운딩 박스를 검출하는 디텍션부;
    상기 디텍션부에 의해 상기 바운딩 박스로 검출된 객체별로 서브속성을 검출하는 클래시피케이션 태스크부;
    상기 디텍션부에 의해 검출된 상기 바운딩 박스를 크롭하여 상기 바운딩 박스 내 객체와 관련된 픽셀을 검출하는 인스턴스 세그먼테이션 태스크부;
    상기 디텍션부에 의해 검출된 상기 바운딩 박스의 객체와의 거리를 라이다로부터부터 입력된 거리값을 이용하여 검출하는 거리값 리그레션 태스크부; 및
    상기 디텍션부에 의해 상기 바운딩 박스로 검출된 차량 및 보행자 중 적어도 하나의 위치를 예측하는 트래킹 태스크부를 포함하는 것을 특징으로 하는 자율주행용 클래스 레이블링 장치.
  3. 제 2 항에 있어서, 상기 디텍션부는
    상기 바운딩 박스를 필요로 하는 객체들의 위치에 대한 영상 내 좌표를 검출하는 것을 특징으로 하는 자율주행용 클래스 레이블링 장치.
  4. 제 3 항에 있어서, 상기 좌표는 상기 바운딩 박스의 좌상단과 상기 바운딩 박스의 폭과 높이로 표현되는 것을 특징으로 하는 자율주행용 클래스 레이블링 장치.
  5. 제 2 항에 있어서, 상기 클래시피케이션 태스크부는 객체 중 표지판의 서브속성을 검출하는 것을 특징으로 하는 자율주행용 클래스 레이블링 장치.
  6. 제 2 항에 있어서, 상기 거리값 리그레션 태스크부는 상기 바운딩 박스의 좌표값과 관련된 포인트 클라우드 좌표값을 추출하고, 좌표값 중에 차량과 최소 거리를 갖는 값을 객체의 거리값으로 결정하는 것을 특징으로 하는 자율주행용 클래스 레이블링 장치.
  7. 제 2 항에 있어서, 상기 클래시피케이션 태스크부, 상기 인스턴스 세그먼테이션 태스크부, 상기 거리값 리그레션 태스크부 및 상기 트래킹 태스크부 중 적어도 하나는 Multi-scale 및 모든 영역 방향으로　shift data augmention을 수행하여 각 네트워크들을 학습시키는 것을 특징으로 하는 자율주행용 클래스 레이블링 장치.
  8. 제 2 항에 있어서, 상기 클래시피케이션 태스크부, 상기 인스턴스 세그먼테이션 태스크부, 상기 거리값 리그레션 태스크부 및 상기 트래킹 태스크부 중 적어도 하나는 zero shot learning, one shot learning 및 low shot learning 기술 중 적어도 하나를 이용하여 네트워크를 학습시키는 것을 특징으로 하는 자율주행용 클래스 레이블링 장치.
  9. 제 2 항에 있어서, 상기 클래시피케이션 태스크부, 상기 인스턴스 세그먼테이션 태스크부, 상기 거리값 리그레션 태스크부 및 상기 트래킹 태스크부 중 적어도 하나는 left rotation, right rotation 및 flip rotation 중 적어도 하나의 방식을 이용하는 ensemble 기법을 적용하여 네트워크를 학습시키는 것을 특징으로 하는 자율주행용 클래스 레이블링 장치.
  10. 제 1 항에 있어서, 상기 세그먼테이션 모듈은
    상기 카메라에 의해 촬영된 이미지의 모든 픽셀들에 대해 각 픽셀들의 클래스를 결정하는 세그먼테이션부; 및
    상기 세그먼테이션부에 의해 결정된 영역 중 적어도 하나를 돈 케어 처리하는 돈 케어 처리부를 포함하는 것을 특징으로 하는 자율주행용 클래스 레이블링 장치.
  11. 제 10 항에 있어서, 상기 돈 케어 처리부는
    원본 이미지에서 돈 케어로 판단되는 바운딩 박스를 검출하여 세그먼테이션 이미지를 생성하고, 생성된 세그먼테이션 이미지의 데이터셋와 휴먼 레이블러가 레이블한 데이터셋을 각각 학습시켜 성능 평가 결과를 비교하고, 비교 결과에 따라 세그먼테이션 이미지의 데이터셋이 휴먼 레이블러가 생성한 데이터셋보다 인식 성능이 향상시킬 때까지 반복 학습시키는 것을 특징으로 하는 자율주행용 클래스 레이블링 장치.
  12. 제 1 항에 있어서, 상기 레인 로드 바운더리 검출부는
    인스턴스 딥러닝 네트워크를 활용하여 상기 카메라에 의해 촬영된 이미지에서 pixel-wise class 및 instance output을 출력하는 프리 인스턴스 세그먼테이션부; 및
    상기 프리 인스턴스 세그먼테이션부로부터 출력된 pixel-wise class 및 instance output을 통해 레인 또는 도로 형태에 대한 B-스플라인을 디텍션하는 B-스플라인 디텍션부를 포함하는 것을 특징으로 하는 자율주행용 클래스 레이블링 장치.
KR1020190027201A 2019-03-08 2019-03-08 자율주행용 클래스 레이블링 장치 KR102177880B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020190027201A KR102177880B1 (ko) 2019-03-08 2019-03-08 자율주행용 클래스 레이블링 장치
US16/809,540 US11386674B2 (en) 2019-03-08 2020-03-04 Class labeling system for autonomous driving
CN202010148436.0A CN111666805B (zh) 2019-03-08 2020-03-05 用于自动驾驶的类别标记系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190027201A KR102177880B1 (ko) 2019-03-08 2019-03-08 자율주행용 클래스 레이블링 장치

Publications (2)

Publication Number Publication Date
KR20200115705A true KR20200115705A (ko) 2020-10-08
KR102177880B1 KR102177880B1 (ko) 2020-11-12

Family

ID=72336489

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190027201A KR102177880B1 (ko) 2019-03-08 2019-03-08 자율주행용 클래스 레이블링 장치

Country Status (3)

Country Link
US (1) US11386674B2 (ko)
KR (1) KR102177880B1 (ko)
CN (1) CN111666805B (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102310612B1 (ko) * 2021-06-17 2021-10-13 주식회사 인피닉 라이다 점군에서 특정된 객체 정보를 이용한 2d 이미지 객체 예측 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102310609B1 (ko) * 2021-05-14 2021-10-13 주식회사 인피닉 3d 데이터를 이용한 2d 이미지의 전처리 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102343051B1 (ko) * 2021-06-17 2021-12-24 주식회사 인피닉 라이다 점군으로부터 카메라 이미지의 바운딩 박스를 조정하는 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
CN114627451A (zh) * 2020-12-10 2022-06-14 动态Ad有限责任公司 运载工具、用于运载工具的方法和存储介质
KR20230017001A (ko) 2021-07-27 2023-02-03 주식회사 케이티 딥러닝 네트워크 제공장치 및 딥러닝 네트워크 제공방법

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11727272B2 (en) * 2019-06-19 2023-08-15 Nvidia Corporation LIDAR-based detection of traffic signs for navigation of autonomous vehicles
CN114755673A (zh) * 2020-12-25 2022-07-15 欧特明电子股份有限公司 多传感器自动驾驶系统
KR102325124B1 (ko) * 2021-04-27 2021-11-12 주식회사 모빌테크 기계 학습 및 모노 카메라로 물체의 위치 정보를 획득하는 차량
KR102376397B1 (ko) 2021-09-27 2022-03-21 국방과학연구소 Ai 자율주행 모방학습 데이터 증강 방법
WO2023059222A1 (ru) * 2021-10-04 2023-04-13 Общество с ограниченной ответственностью "ЭвоКарго" Способ картографирования местности для автономных транспортных средств
CN114111814B (zh) * 2021-10-21 2024-07-09 北京百度网讯科技有限公司 高精地图数据处理方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120072020A (ko) * 2010-12-23 2012-07-03 한국전자통신연구원 자율주행 시스템의 주행정보 인식 방법 및 장치
KR20150084234A (ko) * 2014-01-13 2015-07-22 한화테크윈 주식회사 차량 및 차선 위치 검출 시스템 및 방법
JP2016126613A (ja) * 2015-01-06 2016-07-11 トヨタ自動車株式会社 道路境界線認識装置及び道路境界線認識方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180097966A (ko) 2017-02-24 2018-09-03 삼성전자주식회사 자율 주행을 위한 영상 처리 방법 및 장치
KR20180099280A (ko) * 2017-02-28 2018-09-05 삼성전자주식회사 가상 차로 생성 장치 및 방법
CN107730906A (zh) * 2017-07-11 2018-02-23 银江股份有限公司 斑马线车辆不礼让行人行为的视觉检测系统
KR102541559B1 (ko) * 2017-08-04 2023-06-08 삼성전자주식회사 관심 객체를 검출하는 방법 및 장치
US10303956B2 (en) * 2017-08-23 2019-05-28 TuSimple System and method for using triplet loss for proposal free instance-wise semantic segmentation for lane detection
KR102421855B1 (ko) * 2017-09-28 2022-07-18 삼성전자주식회사 주행 차로를 식별하는 방법 및 장치
US10657390B2 (en) * 2017-11-27 2020-05-19 Tusimple, Inc. System and method for large-scale lane marking detection using multimodal sensor data
CN109389046B (zh) * 2018-09-11 2022-03-29 昆山星际舟智能科技有限公司 用于自动驾驶的全天候物体识别与车道线检测方法
JP2020086545A (ja) * 2018-11-15 2020-06-04 トヨタ自動車株式会社 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120072020A (ko) * 2010-12-23 2012-07-03 한국전자통신연구원 자율주행 시스템의 주행정보 인식 방법 및 장치
KR20150084234A (ko) * 2014-01-13 2015-07-22 한화테크윈 주식회사 차량 및 차선 위치 검출 시스템 및 방법
JP2016126613A (ja) * 2015-01-06 2016-07-11 トヨタ自動車株式会社 道路境界線認識装置及び道路境界線認識方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114627451A (zh) * 2020-12-10 2022-06-14 动态Ad有限责任公司 运载工具、用于运载工具的方法和存储介质
KR20220083533A (ko) * 2020-12-10 2022-06-20 모셔널 에이디 엘엘씨 LiDAR 정보와 카메라 정보의 병합
KR102310609B1 (ko) * 2021-05-14 2021-10-13 주식회사 인피닉 3d 데이터를 이용한 2d 이미지의 전처리 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102310612B1 (ko) * 2021-06-17 2021-10-13 주식회사 인피닉 라이다 점군에서 특정된 객체 정보를 이용한 2d 이미지 객체 예측 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102343051B1 (ko) * 2021-06-17 2021-12-24 주식회사 인피닉 라이다 점군으로부터 카메라 이미지의 바운딩 박스를 조정하는 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR20230017001A (ko) 2021-07-27 2023-02-03 주식회사 케이티 딥러닝 네트워크 제공장치 및 딥러닝 네트워크 제공방법

Also Published As

Publication number Publication date
KR102177880B1 (ko) 2020-11-12
CN111666805B (zh) 2024-02-06
US11386674B2 (en) 2022-07-12
US20200285866A1 (en) 2020-09-10
CN111666805A (zh) 2020-09-15

Similar Documents

Publication Publication Date Title
KR102177880B1 (ko) 자율주행용 클래스 레이블링 장치
CN107729801B (zh) 一种基于多任务深度卷积神经网络的车辆颜色识别系统
US10037604B2 (en) Multi-cue object detection and analysis
Alvarez et al. Combining priors, appearance, and context for road detection
Haltakov et al. Semantic segmentation based traffic light detection at day and at night
Zakaria et al. Lane detection in autonomous vehicles: A systematic review
Mahaur et al. Road object detection: a comparative study of deep learning-based algorithms
CN111259796A (zh) 一种基于图像几何特征的车道线检测方法
Nguyen et al. Real-time vehicle detection using an effective region proposal-based depth and 3-channel pattern
Liu et al. Multi-type road marking recognition using adaboost detection and extreme learning machine classification
CN110909656B (zh) 一种雷达与摄像机融合的行人检测方法和系统
Yebes et al. Learning to automatically catch potholes in worldwide road scene images
Jensen et al. Traffic light detection at night: Comparison of a learning-based detector and three model-based detectors
Hasegawa et al. Robust detection and recognition of japanese traffic sign in the complex scenes based on deep learning
Liu et al. Real-time traffic light recognition based on smartphone platforms
Tang et al. Robust vehicle surveillance in night traffic videos using an azimuthally blur technique
Barshooi et al. Nighttime Driver Behavior Prediction Using Taillight Signal Recognition via CNN-SVM Classifier
Nayak et al. Reference Test System for Machine Vision Used for ADAS Functions
CN113392804B (zh) 一种基于多角度的交警目标数据集的场景化构建方法及系统
Rani et al. Traffic sign detection and recognition using deep learning-based approach with haze removal for autonomous vehicle navigation
Afdhal et al. Evaluation of benchmarking pre-trained cnn model for autonomous vehicles object detection in mixed traffic
Kiruthika Devi et al. A deep learning-based residual network model for traffic sign detection and classification
Ng et al. Real-Time Detection of Objects on Roads for Autonomous Vehicles Using Deep Learning
Hodges Deep learning based vision for driverless vehicles in hazy environmental conditions
Widyantoro Road and Roadside Detection using Machine Learning Approaches

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right